ASAP Top

AC-CREST@ふんが研のページ

TCAノードについて †

↑

ZEUS †

部品名前備考
CPUIntel Xeon E5-2670 2.6GHzSandybrigde-E
Mem8GB DDR3-1600 x 16 ECC w/ Registered64GB
MotherSuperMicro X9DRG-QF
Primary DiskIntel SSD 330 Series SSDSC2CT120A3K5 128GB付け方に注意、ただSATAに刺してあるだけ
Secondary DiskSeagate ST3000DM001 3TB HDD x 2ソフトウェアRAID0にする予定
FPGAAltera Stratix IV GX EP4SGX290筑波大の塙先生からの借り物。PEACH2として動作
GPUNVIDIA Tesla K20m本体と別に買ったので保証はないらしいが大丈夫だろう

DSC_3719.JPG, slot{1,2}.jpgを見てね
現在は，メモリをCPU1,CPU2共に32GBずつ抜いて，全体で64GBになっている．

↑

PEACH2(Altera FPGA) †

筑波の塙先生から、Altera Stratix IV 290GX(参照)をPEACH2の実機として借り、別途RTLとドライバ塙先生から貰ったPEACH関連のドライバをもらった。

↑

NVIDIA K20m †

/usr/local/cuda/5.0/samples/1_Utilities/deviceQuery/deviceQuery Starting...

CUDA Device Query (Runtime API) version (CUDART static linking)
Detected 2 CUDA Capable device(s)

Device 0: "Tesla K20m"

 CUDA Driver Version / Runtime Version          5.0 / 5.0
 CUDA Capability Major/Minor version number:    3.5
 Total amount of global memory:                 4800 MBytes (5032706048 bytes)
 (13) Multiprocessors x (192) CUDA Cores/MP:    2496 CUDA Cores
 GPU Clock rate:                                706 MHz (0.71 GHz)
 Memory Clock rate:                             2600 Mhz
 Memory Bus Width:                              320-bit
 L2 Cache Size:                                 1310720 bytes
 Max Texture Dimension Size (x,y,z)             1D=(65536), 2D=(65536,65536), 3D=(4096,4096,4096)
 Max Layered Texture Size (dim) x layers        1D=(16384) x 2048, 2D=(16384,16384) x 2048
 Total amount of constant memory:               65536 bytes
 Total amount of shared memory per block:       49152 bytes
 Total number of registers available per block: 65536
 Warp size:                                     32
 Maximum number of threads per multiprocessor:  2048
 Maximum number of threads per block:           1024
 Maximum sizes of each dimension of a block:    1024 x 1024 x 64
 Maximum sizes of each dimension of a grid:     2147483647 x 65535 x 65535
 Maximum memory pitch:                          2147483647 bytes
 Texture alignment:                             512 bytes
 Concurrent copy and kernel execution:          Yes with 2 copy engine(s)
 Run time limit on kernels:                     No
 Integrated GPU sharing Host Memory:            No
 Support host page-locked memory mapping:       Yes
 Alignment requirement for Surfaces:            Yes
 Device has ECC support:                        Enabled
 Device supports Unified Addressing (UVA):      Yes
 Device PCI Bus ID / PCI location ID:           2 / 0
 Compute Mode:
    < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

Device 1: "Tesla K20m"

 CUDA Driver Version / Runtime Version          5.0 / 5.0
 CUDA Capability Major/Minor version number:    3.5
 Total amount of global memory:                 4800 MBytes (5032706048 bytes)
 (13) Multiprocessors x (192) CUDA Cores/MP:    2496 CUDA Cores
 GPU Clock rate:                                706 MHz (0.71 GHz)
 Memory Clock rate:                             2600 Mhz
 Memory Bus Width:                              320-bit
 L2 Cache Size:                                 1310720 bytes
 Max Texture Dimension Size (x,y,z)             1D=(65536), 2D=(65536,65536), 3D=(4096,4096,4096)
 Max Layered Texture Size (dim) x layers        1D=(16384) x 2048, 2D=(16384,16384) x 2048
 Total amount of constant memory:               65536 bytes
 Total amount of shared memory per block:       49152 bytes
 Total number of registers available per block: 65536
 Warp size:                                     32
 Maximum number of threads per multiprocessor:  2048
 Maximum number of threads per block:           1024
 Maximum sizes of each dimension of a block:    1024 x 1024 x 64
 Maximum sizes of each dimension of a grid:     2147483647 x 65535 x 65535
 Maximum memory pitch:                          2147483647 bytes
 Texture alignment:                             512 bytes
 Concurrent copy and kernel execution:          Yes with 2 copy engine(s)
 Run time limit on kernels:                     No
 Integrated GPU sharing Host Memory:            No
 Support host page-locked memory mapping:       Yes
 Alignment requirement for Surfaces:            Yes
 Device has ECC support:                        Enabled
 Device supports Unified Addressing (UVA):      Yes
 Device PCI Bus ID / PCI location ID:           3 / 0
 Compute Mode:
    < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >
deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 5.0, CUDA Runtime Version = 5.0, NumDevs = 2, Device0 = Tesla K20m, Device1 = Tesla K20m
↑

起動時にK20とPEACH2をロードする †

起動するたびに/dev内のデバイスファイルがなくなってしまう．
Nvidia GPUの場合はdeviceQueryなどのGPUを使ったプログラムを起動することで復活する．
PEACH2はinit.shを実行したら復活する
↓
/etc/rc.d/rc.localに以下の追記をし、起動時に勝手に読み込まれるようにした
(出力のリダイレクト先をミスるとエラーになる…)

/opt/tca/wakeup_GPU_PEACH2.sh 1>/var/log/wakeupGPUPEACH2 2>&1

なお、起動時にsudoできるように/etc/sudoers以下の部分をコメントアウト

#Defaults    requiretty

/opt/tca/wakeup_GPU_PEACH2.sh

#/bin/sh
export LD_LIBRARY_PATH=/usr/local/cuda/5.0/lib64:$LD_LIBRARY_PATH
/usr/local/cuda/5.0/samples/1_Utilities/deviceQuery/deviceQuery
echo "Load PEACH2 Driver"
cd /opt/tca/PEACH2-PCIe-driver
bash /opt/tca/PEACH2-PCIe-driver/init.sh 0
echo "Load NVIDIA Driver"
cd /opt/tca/NVIDIA-p2p-driver
bash /opt/tca/NVIDIA-p2p-driver/init.sh
ls /dev | egrep 'nvidia|peach2'
echo "DDR3 Routing"
/opt/tca/PEACH2-PCIe-driver/set_nodeinfo 0 0 /opt/tca/PEACH2-PCIe-driver/memorymap.txt /opt/tca/PEACH2-PCIe-driver/routing.txt /opt/tca/PEACH2-PCIe-driver/null.txt
cat /sys/class/tca/peach2_0/routing/*
↑

BIOSアップデート †

2013-05-16: X9DRGQF_LAC_t3153.binをもらったけどまだ入れてない

2013-06-03: IPMIをアップデートし、BIOSも無事アップデート完了

  1. IPMIをver2.0以上にする(IPMIによるzeusの電源管理)
  2. http://www.supermicro.com.tw/support/resources/results.aspxから必要なファイルをDL
  3. 中身のami.batからIPMICHK.EXEとダブルクォーテーションを消す 
    $ IPMICHK.EXE "AFUDOSU.EXE  %1  /P  /B  /N  /K  /R /FDT /MER /OPR"
↓
$ AFUDOSU.EXE  %1  /P  /B  /N  /K  /R /FDT /MER /OPR
  4. http://memorva.jp/internet/pc/dos_usb.phpを見てDOSの起動ディスクを作る
    "3.FreeDOSを使う場合"からを参照
    FAT32でフォーマットした方が良さげ
  5. USBを刺して、起動。以下のコマンドでアップデート開始 もちろん、事前にBIOS設定画面でUSBが最初にブートされるようにしておく 
    $ ami.bat the_name_of_new_bios.bin
  6. 最後に、マザー上の"JBT1"ディップスイッチを押して、CMOSクリアをする
  7. なお、"JBT1"を押した後には日付がおかしくなっていることがある。BIOS設定画面で確認すべし

SupermicroのFAQはまじで役に立たない、BIOSアップデートとか情報すくなくて苦労した。

↑

PEACH2とJTAG †

USB-BlasterをそのままPEACH2に繋げると、ケーブルが激しく曲がってしまい通信できなくなる
よって、適当な延長ケーブルを作って、繋げる事とした
PEACH2wJTAG.JPGを参照

↑

謝辞 †

↑

関連するページ †

トップ   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS