AC-CREST のバックアップ(No.13)

TCAノードについて
PEACH2とJTAG
謝辞
関連するページ

AC-CREST@ふんが研のページ

TCAノードについて †

ZEUS †

部品	名前	備考
CPU	Intel Xeon E5-2670 2.6GHz	Sandybrigde-E
Mem	8GB DDR3-1600 x 16 ECC w/ Registered	64GB
Mother	SuperMicro X9DRG-QF
Primary Disk	Intel SSD 330 Series SSDSC2CT120A3K5 128GB	付け方に注意、ただSATAに刺してあるだけ
Secondary Disk	Seagate ST3000DM001 3TB HDD x 2	ソフトウェアRAID0にする予定
FPGA	Altera Stratix IV GX EP4SGX290	筑波大の塙先生からの借り物。PEACH2として動作
GPU	NVIDIA Tesla K20m	本体と別に買ったので保証はないらしいが大丈夫だろう

DSC_3719.JPG, slot{1,2}.jpgを見てね
現在は，メモリをCPU1,CPU2共に32GBずつ抜いて，全体で64GBになっている．

↑

PEACH2(Altera FPGA) †

筑波の塙先生から、Altera Stratix IV 290GX(参照)をPEACH2の実機として借り、別途RTLとドライバ塙先生から貰ったPEACH関連のドライバをもらった。

↑

NVIDIA K20m †

/usr/local/cuda/5.0/samples/1_Utilities/deviceQuery/deviceQuery Starting...

CUDA Device Query (Runtime API) version (CUDART static linking)
Detected 2 CUDA Capable device(s)

Device 0: "Tesla K20m"

 CUDA Driver Version / Runtime Version          5.0 / 5.0
 CUDA Capability Major/Minor version number:    3.5
 Total amount of global memory:                 4800 MBytes (5032706048 bytes)
 (13) Multiprocessors x (192) CUDA Cores/MP:    2496 CUDA Cores
 GPU Clock rate:                                706 MHz (0.71 GHz)
 Memory Clock rate:                             2600 Mhz
 Memory Bus Width:                              320-bit
 L2 Cache Size:                                 1310720 bytes
 Max Texture Dimension Size (x,y,z)             1D=(65536), 2D=(65536,65536), 3D=(4096,4096,4096)
 Max Layered Texture Size (dim) x layers        1D=(16384) x 2048, 2D=(16384,16384) x 2048
 Total amount of constant memory:               65536 bytes
 Total amount of shared memory per block:       49152 bytes
 Total number of registers available per block: 65536
 Warp size:                                     32
 Maximum number of threads per multiprocessor:  2048
 Maximum number of threads per block:           1024
 Maximum sizes of each dimension of a block:    1024 x 1024 x 64
 Maximum sizes of each dimension of a grid:     2147483647 x 65535 x 65535
 Maximum memory pitch:                          2147483647 bytes
 Texture alignment:                             512 bytes
 Concurrent copy and kernel execution:          Yes with 2 copy engine(s)
 Run time limit on kernels:                     No
 Integrated GPU sharing Host Memory:            No
 Support host page-locked memory mapping:       Yes
 Alignment requirement for Surfaces:            Yes
 Device has ECC support:                        Enabled
 Device supports Unified Addressing (UVA):      Yes
 Device PCI Bus ID / PCI location ID:           2 / 0
 Compute Mode:
    < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

Device 1: "Tesla K20m"

 CUDA Driver Version / Runtime Version          5.0 / 5.0
 CUDA Capability Major/Minor version number:    3.5
 Total amount of global memory:                 4800 MBytes (5032706048 bytes)
 (13) Multiprocessors x (192) CUDA Cores/MP:    2496 CUDA Cores
 GPU Clock rate:                                706 MHz (0.71 GHz)
 Memory Clock rate:                             2600 Mhz
 Memory Bus Width:                              320-bit
 L2 Cache Size:                                 1310720 bytes
 Max Texture Dimension Size (x,y,z)             1D=(65536), 2D=(65536,65536), 3D=(4096,4096,4096)
 Max Layered Texture Size (dim) x layers        1D=(16384) x 2048, 2D=(16384,16384) x 2048
 Total amount of constant memory:               65536 bytes
 Total amount of shared memory per block:       49152 bytes
 Total number of registers available per block: 65536
 Warp size:                                     32
 Maximum number of threads per multiprocessor:  2048
 Maximum number of threads per block:           1024
 Maximum sizes of each dimension of a block:    1024 x 1024 x 64
 Maximum sizes of each dimension of a grid:     2147483647 x 65535 x 65535
 Maximum memory pitch:                          2147483647 bytes
 Texture alignment:                             512 bytes
 Concurrent copy and kernel execution:          Yes with 2 copy engine(s)
 Run time limit on kernels:                     No
 Integrated GPU sharing Host Memory:            No
 Support host page-locked memory mapping:       Yes
 Alignment requirement for Surfaces:            Yes
 Device has ECC support:                        Enabled
 Device supports Unified Addressing (UVA):      Yes
 Device PCI Bus ID / PCI location ID:           3 / 0
 Compute Mode:
    < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 5.0, CUDA Runtime Version = 5.0, NumDevs = 2, Device0 = Tesla K20m, Device1 = Tesla K20m

↑

起動後の設定 †

起動するたびに/dev内のデバイスファイルがなくなってしまう．
Nvidia GPUの場合はdeviceQueryなどのGPUを使ったプログラムを起動することで復活する．
PEACH2はinit.shを実行したら復活する

/opt/tca/wakeup_GPU_PEACH2.sh

#/bin/sh
export LD_LIBRARY_PATH=/usr/local/cuda/5.0/lib64:$LD_LIBRARY_PATH
/usr/local/cuda/5.0/samples/1_Utilities/deviceQuery/deviceQuery
echo "Load PEACH2 Driver"
cd /opt/tca/PEACH2-PCIe-driver
bash /opt/tca/PEACH2-PCIe-driver/init.sh 0
echo "Load NVIDIA Driver"
cd /opt/tca/NVIDIA-p2p-driver
bash /opt/tca/NVIDIA-p2p-driver/init.sh
ls /dev | egrep 'nvidia|peach2'
echo "DDR3 Routing"
/opt/tca/PEACH2-PCIe-driver/set_nodeinfo 0 0 /opt/tca/PEACH2-PCIe-driver/memorymap.txt /opt/tca/PEACH2-PCIe-driver/routing.txt /opt/tca/PEACH2-PCIe-driver/null.txt
cat /sys/class/tca/peach2_0/routing/*

↑

BIOSアップデート †

2013-05-16: X9DRGQF_LAC_t3153.binをもらったけどまだ入れてない

2013-06-03: IPMIをアップデートし、BIOSも無事アップデート完了

IPMIをver2.0以上にする(IPMIによるzeusの電源管理)
http://www.supermicro.com.tw/support/resources/results.aspxから必要なファイルをDL

中身のami.batからIPMICHK.EXEとダブルクォーテーションを消す

$ IPMICHK.EXE "AFUDOSU.EXE  %1  /P  /B  /N  /K  /R /FDT /MER /OPR"
↓
$ AFUDOSU.EXE  %1  /P  /B  /N  /K  /R /FDT /MER /OPR

http://memorva.jp/internet/pc/dos_usb.phpを見てDOSの起動ディスクを作る
"3.FreeDOSを使う場合"からを参照
FAT32でフォーマットした方が良さげ
USBを刺して、起動。以下のコマンドでアップデート開始もちろん、事前にBIOS設定画面でUSBが最初にブートされるようにしておく
```
$ ami.bat the_name_of_new_bios.bin
```
最後に、マザー上の"JBT1"ディップスイッチを押して、CMOSクリアをする
なお、"JBT1"を押した後には日付がおかしくなっていることがある。BIOS設定画面で確認すべし

SupermicroのFAQはまじで役に立たない、BIOSアップデートとか情報すくなくて苦労した。

↑

PEACH2とJTAG †

USB-BlasterをそのままPEACH2に繋げると、ケーブルが激しく曲がってしまい通信できなくなる
よって、適当な延長ケーブルを作って、繋げる事とした
PEACH2wJTAG.JPGを参照

↑

謝辞 †

日本語
\section{謝辞} 本件研究は、JST-CREST 研究領域「ポストペタスケール高性能計算に資するシステムソフトウェア技術の創出」、研究課題「ポストペタスケール時代に向けた演算加速機構・通信機構統合環境の研究開発」による。

英語
\section{Acknowledgement} The present study is supported in part by the JST/CREST program entitled ``Research and Development on Unified Environment of Accelerated Computing and Interconnection for Post-Petascale Era" in the research area of ``Development of System Software Technologies for post-Peta Scale High Performance Computing".

↑