ASAP Top

AC-CREST@ふんが研のページ

TCAノードについて

ZEUS

部品名前備考
CPU(UPDATE:2014/07)Intel Xeon E5-2680V2 2.8GHzIvy brigde-E P
Mem8GB DDR3-1600 x 16 ECC w/ Registered64GB
MotherSuperMicro X9DRG-QF
Primary DiskIntel SSD 330 Series SSDSC2CT120A3K5 128GB付け方に注意、ただSATAに刺してあるだけ
Secondary DiskSeagate ST3000DM001 3TB HDD x 2ソフトウェアRAID0にする予定
FPGAAltera Stratix IV GX EP4SGX290筑波大の塙先生からの借り物。PEACH2として動作
GPU NVIDIA Tesla K20m本体と別に買ったので保証はないらしいが大丈夫だろう

DSC_3719.JPG, slot{1,2}.jpgを見てね
現在は,メモリをCPU1,CPU2共に32GBずつ抜いて,全体で64GBになっている.

PEACH2(Altera FPGA)

筑波の塙先生から、Altera Stratix IV 290GX(参照)をPEACH2の実機として借り、別途RTLとドライバ塙先生から貰ったPEACH関連のドライバをもらった。

NVIDIA K20m

/usr/local/cuda/5.0/samples/1_Utilities/deviceQuery/deviceQuery Starting...

CUDA Device Query (Runtime API) version (CUDART static linking)
Detected 2 CUDA Capable device(s)

Device 0: "Tesla K20m"

 CUDA Driver Version / Runtime Version          5.0 / 5.0
 CUDA Capability Major/Minor version number:    3.5
 Total amount of global memory:                 4800 MBytes (5032706048 bytes)
 (13) Multiprocessors x (192) CUDA Cores/MP:    2496 CUDA Cores
 GPU Clock rate:                                706 MHz (0.71 GHz)
 Memory Clock rate:                             2600 Mhz
 Memory Bus Width:                              320-bit
 L2 Cache Size:                                 1310720 bytes
 Max Texture Dimension Size (x,y,z)             1D=(65536), 2D=(65536,65536), 3D=(4096,4096,4096)
 Max Layered Texture Size (dim) x layers        1D=(16384) x 2048, 2D=(16384,16384) x 2048
 Total amount of constant memory:               65536 bytes
 Total amount of shared memory per block:       49152 bytes
 Total number of registers available per block: 65536
 Warp size:                                     32
 Maximum number of threads per multiprocessor:  2048
 Maximum number of threads per block:           1024
 Maximum sizes of each dimension of a block:    1024 x 1024 x 64
 Maximum sizes of each dimension of a grid:     2147483647 x 65535 x 65535
 Maximum memory pitch:                          2147483647 bytes
 Texture alignment:                             512 bytes
 Concurrent copy and kernel execution:          Yes with 2 copy engine(s)
 Run time limit on kernels:                     No
 Integrated GPU sharing Host Memory:            No
 Support host page-locked memory mapping:       Yes
 Alignment requirement for Surfaces:            Yes
 Device has ECC support:                        Enabled
 Device supports Unified Addressing (UVA):      Yes
 Device PCI Bus ID / PCI location ID:           2 / 0
 Compute Mode:
    < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

Device 1: "Tesla K20m"

 CUDA Driver Version / Runtime Version          5.0 / 5.0
 CUDA Capability Major/Minor version number:    3.5
 Total amount of global memory:                 4800 MBytes (5032706048 bytes)
 (13) Multiprocessors x (192) CUDA Cores/MP:    2496 CUDA Cores
 GPU Clock rate:                                706 MHz (0.71 GHz)
 Memory Clock rate:                             2600 Mhz
 Memory Bus Width:                              320-bit
 L2 Cache Size:                                 1310720 bytes
 Max Texture Dimension Size (x,y,z)             1D=(65536), 2D=(65536,65536), 3D=(4096,4096,4096)
 Max Layered Texture Size (dim) x layers        1D=(16384) x 2048, 2D=(16384,16384) x 2048
 Total amount of constant memory:               65536 bytes
 Total amount of shared memory per block:       49152 bytes
 Total number of registers available per block: 65536
 Warp size:                                     32
 Maximum number of threads per multiprocessor:  2048
 Maximum number of threads per block:           1024
 Maximum sizes of each dimension of a block:    1024 x 1024 x 64
 Maximum sizes of each dimension of a grid:     2147483647 x 65535 x 65535
 Maximum memory pitch:                          2147483647 bytes
 Texture alignment:                             512 bytes
 Concurrent copy and kernel execution:          Yes with 2 copy engine(s)
 Run time limit on kernels:                     No
 Integrated GPU sharing Host Memory:            No
 Support host page-locked memory mapping:       Yes
 Alignment requirement for Surfaces:            Yes
 Device has ECC support:                        Enabled
 Device supports Unified Addressing (UVA):      Yes
 Device PCI Bus ID / PCI location ID:           3 / 0
 Compute Mode:
    < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >
deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 5.0, CUDA Runtime Version = 5.0, NumDevs = 2, Device0 = Tesla K20m, Device1 = Tesla K20m

起動時にK20とPEACH2をロードする

起動するたびに/dev内のデバイスファイルがなくなってしまう.
Nvidia GPUの場合はdeviceQueryなどのGPUを使ったプログラムを起動することで復活する.
PEACH2はinit.shを実行したら復活する

/etc/rc.d/rc.localに以下の追記をし、起動時に勝手に読み込まれるようにした
(出力のリダイレクト先をミスるとエラーになる…)

/opt/tca/wakeup_GPU_PEACH2.sh 1>/var/log/wakeupGPUPEACH2 2>&1

なお、起動時にsudoできるように/etc/sudoers以下の部分をコメントアウト

#Defaults    requiretty

/opt/tca/wakeup_GPU_PEACH2.sh

#/bin/sh
export LD_LIBRARY_PATH=/usr/local/cuda/5.0/lib64:$LD_LIBRARY_PATH
/usr/local/cuda/5.0/samples/1_Utilities/deviceQuery/deviceQuery
echo "Load PEACH2 Driver"
cd /opt/tca/PEACH2-PCIe-driver
bash /opt/tca/PEACH2-PCIe-driver/init.sh 0
echo "Load NVIDIA Driver"
cd /opt/tca/NVIDIA-p2p-driver
bash /opt/tca/NVIDIA-p2p-driver/init.sh
ls /dev | egrep 'nvidia|peach2'
echo "DDR3 Routing"
/opt/tca/PEACH2-PCIe-driver/set_nodeinfo 0 0 /opt/tca/PEACH2-PCIe-driver/memorymap.txt /opt/tca/PEACH2-PCIe-driver/routing.txt /opt/tca/PEACH2-PCIe-driver/null.txt
cat /sys/class/tca/peach2_0/routing/*

BIOSアップデート

2013-05-16: X9DRGQF_LAC_t3153.binをもらったけどまだ入れてない

2013-06-03: IPMIをアップデートし、BIOSも無事アップデート完了

  1. IPMIをver2.0以上にする(IPMIによるzeusの電源管理)
  2. http://www.supermicro.com.tw/support/resources/results.aspxから必要なファイルをDL
  3. 中身のami.batからIPMICHK.EXEとダブルクォーテーションを消す
    $ IPMICHK.EXE "AFUDOSU.EXE  %1  /P  /B  /N  /K  /R /FDT /MER /OPR"
    ↓
    $ AFUDOSU.EXE  %1  /P  /B  /N  /K  /R /FDT /MER /OPR
  4. http://memorva.jp/internet/pc/dos_usb.phpを見てDOSの起動ディスクを作る
    "3.FreeDOSを使う場合"からを参照
    FAT32でフォーマットした方が良さげ
  5. USBを刺して、起動。以下のコマンドでアップデート開始 もちろん、事前にBIOS設定画面でUSBが最初にブートされるようにしておく
    $ ami.bat the_name_of_new_bios.bin
  6. 最後に、マザー上の"JBT1"ディップスイッチを押して、CMOSクリアをする
  7. なお、"JBT1"を押した後には日付がおかしくなっていることがある。BIOS設定画面で確認すべし

SupermicroのFAQはまじで役に立たない、BIOSアップデートとか情報すくなくて苦労した。

2015-04-06: 先日zeusのBIOSをアップデートしたときは上で紹介されてたDOSの起動ディスクの作り方だとうまく行かなかった。 DOS起動ディスクを作れれば他の方法でもいける模様。(by golden)

2016-01-07: PEACH3とK40mの組み合わせでは今のBIOSだとだめかもしれない。ということでweb上の最新版にBIOSをアップデートする。

web上の最新版アップデート

現状最新版はX9DRGQF5_325らしい。 X9DRGQF5_325.zipを解答し、中のREADMEを見てみる。 ================================================ FOR <filename>.zip ================================================

	1. Save this file to your computer.
	2. extract the files to a DOS bootable device (such as a bootable USB stick, or CD).
	2. Boot to a DOS prompt and type AMI.BAT BIOSname.###.
	4. Do not interrupt the process until the flashing is complete.
	5. After you see the message of BIOS has completed the update, unplug the AC, clear the CMOS and plug in the AC and power on the system.
	6. Go to the BIOS setup screen and press F9 to load the default and press F10 to save and exit.
	

とあるのでUSBで起動できるDOSを用意し、その中にZ9DRGQF5_325.zipを解凍せずそのまま入れ、ami.batを起動すればいけるようだ。 ちなみに価格.comでsupermicroのBIOSアップデートは自己解凍だから圧縮されたまま扱うべきとのスレッドもあった。http://bbs.kakaku.com/bbs/05407213567/SortID=9261419/

というわけでやってみる。

http://dosmania.blog.fc2.com/blog-entry-4.html ここのRMPrepUSBを使う方法を参照してUSB起動FreeDOSを作る。kernel.sysの最新版がどうのこうとかあるけどそれはとりあえず無視してみる。

解凍しないでいいわけ無かった。 FreeDOSを一度終了して解凍してからやり直す。 今回はどうもうまくいったらしい

BIOSの設定を以前メールでもらったものに設定しなおす(これもwikiに載せなければ) さらにBIOS>Advanced>PCIe/PCI/PnP Configuration > Above 4G Decoding and set をEnableにしなければPCI回りにアラートが出てしまったので勝手にEnableにした。

どうもK40で使えてるっぽいけど案の定waitで止まる。

PEACH2とJTAG

USB-BlasterをそのままPEACH2に繋げると、ケーブルが激しく曲がってしまい通信できなくなる
よって、適当な延長ケーブルを作って、繋げる事とした
PEACH2wJTAG.JPGを参照

謝辞

関連するページ


トップ   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS