AC-CREST のバックアップの現在との差分(No.7)

追加された行はこの色です。
削除された行はこの色です。
[[ASAP Top]]

#contents

AC-CREST@ふんが研のページ

*TCAノードについて [#yaea2f9a]
**ZEUS [#ne117acc]
| 部品 | 名前 | 備考 |
| CPU | [[Intel Xeon E5-2670 2.6GHz:http://ark.intel.com/ja/products/64595/Intel-Xeon-Processor-E5-2670-20M-Cache-2_60-GHz-8_00-GTs-Intel-QPI]] | Sandybrigde-E |
| CPU | (UPDATE:2014/07)[[Intel Xeon E5-2680V2 2.8GHz:http://ark.intel.com/ja/products/75277]] | Ivy brigde-E P|
| Mem | [[8GB DDR3-1600 x 16 ECC w/ Registered:http://www.costcentral.com/proddetail/SuperMicro_Hynix_Memory/MEMDR380LHL02ER16/11584732/]] | 64GB |
| Mother | [[SuperMicro X9DRG-QF:http://www.supermicro.com.tw/products/motherboard/Xeon/C600/X9DRG-QF.cfm]] |  |
| Primary Disk | [[Intel SSD 330 Series SSDSC2CT120A3K5 128GB:http://laineema.gger.jp/archives/4144823.html]] | 付け方に注意、ただSATAに刺してあるだけ |
| Secondary Disk | [[Seagate ST3000DM001 3TB HDD x 2:http://raipc.livedoor.biz/archives/51885336.html]] | ソフトウェアRAID0にする予定 |
| FPGA | Altera Stratix IV GX EP4SGX290 | 筑波大の塙先生からの借り物。PEACH2として動作 |
| GPU |　NVIDIA Tesla K20m | 本体と別に買ったので保証はないらしいが大丈夫だろう|
| FPGA | [[Altera Stratix IV GX EP4SGX290:http://www.altera.co.jp/devices/fpga/stratix-fpgas/stratix-iv/overview/stxiv-overview.html]] | 筑波大の塙先生からの借り物。PEACH2として動作 |
| GPU |[[ NVIDIA Tesla K20m:http://www.nvidia.com/object/tesla-servers.html]] | 本体と別に買ったので保証はないらしいが大丈夫だろう|



#ref(DSC_3719.JPG)
DSC_3719.JPG, slot{1,2}.jpgを見てね~
現在は，メモリをCPU1,CPU2共に32GBずつ抜いて，全体で64GBになっている．

**PEACH2(Altera FPGA) [#y8184e5a]
筑波の塙先生から、Altera Stratix IV 290GX([[参照:http://www.altera.co.jp/literature/lit-stratix-iv.jsp]])をPEACH2の実機として借り、別途RTLをもらった。
筑波の塙先生から、Altera Stratix IV 290GX([[参照:http://www.altera.co.jp/literature/lit-stratix-iv.jsp]])をPEACH2の実機として借り、別途RTLとドライバ[[塙先生から貰ったPEACH関連のドライバ]]をもらった。

**BIOS [#e357026d]
X9DRGQF_LAC_t3153.binをもらったけどまだ入れてない

**NVIDIA K20m [#q6406aa4]
/usr/local/cuda/5.0/samples/1_Utilities/deviceQuery/deviceQuery Starting...

 CUDA Device Query (Runtime API) version (CUDART static linking)
 Detected 2 CUDA Capable device(s)
Device 0: "Tesla K20m"
  CUDA Driver Version / Runtime Version          5.0 / 5.0
  CUDA Capability Major/Minor version number:    3.5
  Total amount of global memory:                 4800 MBytes (5032706048 bytes)
  (13) Multiprocessors x (192) CUDA Cores/MP:    2496 CUDA Cores
  GPU Clock rate:                                706 MHz (0.71 GHz)
  Memory Clock rate:                             2600 Mhz
  Memory Bus Width:                              320-bit
  L2 Cache Size:                                 1310720 bytes
  Max Texture Dimension Size (x,y,z)             1D=(65536), 2D=(65536,65536), 3D=(4096,4096,4096)
  Max Layered Texture Size (dim) x layers        1D=(16384) x 2048, 2D=(16384,16384) x 2048
  Total amount of constant memory:               65536 bytes
  Total amount of shared memory per block:       49152 bytes
  Total number of registers available per block: 65536
  Warp size:                                     32
  Maximum number of threads per multiprocessor:  2048
  Maximum number of threads per block:           1024
  Maximum sizes of each dimension of a block:    1024 x 1024 x 64
  Maximum sizes of each dimension of a grid:     2147483647 x 65535 x 65535
  Maximum memory pitch:                          2147483647 bytes
  Texture alignment:                             512 bytes
  Concurrent copy and kernel execution:          Yes with 2 copy engine(s)
  Run time limit on kernels:                     No
  Integrated GPU sharing Host Memory:            No
  Support host page-locked memory mapping:       Yes
  Alignment requirement for Surfaces:            Yes
  Device has ECC support:                        Enabled
  Device supports Unified Addressing (UVA):      Yes
  Device PCI Bus ID / PCI location ID:           2 / 0
  Compute Mode:
     < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

Device 1: "Tesla K20m"
  CUDA Driver Version / Runtime Version          5.0 / 5.0
  CUDA Capability Major/Minor version number:    3.5
  Total amount of global memory:                 4800 MBytes (5032706048 bytes)
  (13) Multiprocessors x (192) CUDA Cores/MP:    2496 CUDA Cores
  GPU Clock rate:                                706 MHz (0.71 GHz)
  Memory Clock rate:                             2600 Mhz
  Memory Bus Width:                              320-bit
  L2 Cache Size:                                 1310720 bytes
  Max Texture Dimension Size (x,y,z)             1D=(65536), 2D=(65536,65536), 3D=(4096,4096,4096)
  Max Layered Texture Size (dim) x layers        1D=(16384) x 2048, 2D=(16384,16384) x 2048
  Total amount of constant memory:               65536 bytes
  Total amount of shared memory per block:       49152 bytes
  Total number of registers available per block: 65536
  Warp size:                                     32
  Maximum number of threads per multiprocessor:  2048
  Maximum number of threads per block:           1024
  Maximum sizes of each dimension of a block:    1024 x 1024 x 64
  Maximum sizes of each dimension of a grid:     2147483647 x 65535 x 65535
  Maximum memory pitch:                          2147483647 bytes
  Texture alignment:                             512 bytes
  Concurrent copy and kernel execution:          Yes with 2 copy engine(s)
  Run time limit on kernels:                     No
  Integrated GPU sharing Host Memory:            No
  Support host page-locked memory mapping:       Yes
  Alignment requirement for Surfaces:            Yes
  Device has ECC support:                        Enabled
  Device supports Unified Addressing (UVA):      Yes
  Device PCI Bus ID / PCI location ID:           3 / 0
  Compute Mode:
     < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

 deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 5.0, CUDA Runtime Version = 5.0, NumDevs = 2, Device0 = Tesla K20m, Device1 = Tesla K20m

**起動時にK20とPEACH2をロードする [#xf84d609]
%%起動するたびに/dev内のデバイスファイルがなくなってしまう．%%~
%%Nvidia GPUの場合はdeviceQueryなどのGPUを使ったプログラムを起動することで復活する．%%~
%%PEACH2はinit.shを実行したら復活する%%~
↓~
/etc/rc.d/rc.localに以下の追記をし、起動時に勝手に読み込まれるようにした~
(出力のリダイレクト先をミスるとエラーになる…)
 /opt/tca/wakeup_GPU_PEACH2.sh 1>/var/log/wakeupGPUPEACH2 2>&1
なお、起動時にsudoできるように/etc/sudoers以下の部分をコメントアウト
 #Defaults    requiretty

/opt/tca/wakeup_GPU_PEACH2.sh
 #/bin/sh
 export LD_LIBRARY_PATH=/usr/local/cuda/5.0/lib64:$LD_LIBRARY_PATH
 /usr/local/cuda/5.0/samples/1_Utilities/deviceQuery/deviceQuery
 echo "Load PEACH2 Driver"
 cd /opt/tca/PEACH2-PCIe-driver
 bash /opt/tca/PEACH2-PCIe-driver/init.sh 0
 echo "Load NVIDIA Driver"
 cd /opt/tca/NVIDIA-p2p-driver
 bash /opt/tca/NVIDIA-p2p-driver/init.sh
 ls /dev | egrep 'nvidia|peach2'
 echo "DDR3 Routing"
 /opt/tca/PEACH2-PCIe-driver/set_nodeinfo 0 0 /opt/tca/PEACH2-PCIe-driver/memorymap.txt /opt/tca/PEACH2-PCIe-driver/routing.txt /opt/tca/PEACH2-PCIe-driver/null.txt
 cat /sys/class/tca/peach2_0/routing/*


**BIOSアップデート [#e357026d]
2013-05-16: X9DRGQF_LAC_t3153.binをもらったけどまだ入れてない

2013-06-03: IPMIをアップデートし、BIOSも無事アップデート完了

+IPMIをver2.0以上にする([[IPMIによるzeusの電源管理]])
+[[http://www.supermicro.com.tw/support/resources/results.aspx]]から必要なファイルをDL
+中身のami.batからIPMICHK.EXEとダブルクォーテーションを消す
 $ IPMICHK.EXE "AFUDOSU.EXE  %1  /P  /B  /N  /K  /R /FDT /MER /OPR"
 ↓
 $ AFUDOSU.EXE  %1  /P  /B  /N  /K  /R /FDT /MER /OPR
+[[http://memorva.jp/internet/pc/dos_usb.php]]を見てDOSの起動ディスクを作る~
"3.FreeDOSを使う場合"からを参照~
FAT32でフォーマットした方が良さげ
+USBを刺して、起動。以下のコマンドでアップデート開始
もちろん、事前にBIOS設定画面でUSBが最初にブートされるようにしておく
 $ ami.bat the_name_of_new_bios.bin
+最後に、マザー上の"JBT1"ディップスイッチを押して、CMOSクリアをする
+なお、"JBT1"を押した後には日付がおかしくなっていることがある。BIOS設定画面で確認すべし

SupermicroのFAQはまじで役に立たない、BIOSアップデートとか情報すくなくて苦労した。

2015-04-06: 先日zeusのBIOSをアップデートしたときは上で紹介されてたDOSの起動ディスクの作り方だとうまく行かなかった。
DOS起動ディスクを作れれば他の方法でもいける模様。(by golden)

2016-01-07: PEACH3とK40mの組み合わせでは今のBIOSだとだめかもしれない。ということでweb上の最新版にBIOSをアップデートする。

***web上の最新版アップデート [#e85bb9d5]
現状最新版はX9DRGQF5_325らしい。
X9DRGQF5_325.zipを解答し、中のREADMEを見てみる。
================================================
FOR <filename>.zip
================================================
	1. Save this file to your computer.

	2. extract the files to a DOS bootable device (such as a bootable USB stick, or CD).

	2. Boot to a DOS prompt and type AMI.BAT BIOSname.###.

	4. Do not interrupt the process until the flashing is complete.

	5. After you see the message of BIOS has completed the update, unplug the AC, clear the CMOS and plug in the AC and power on the system.

	6. Go to the BIOS setup screen and press F9 to load the default and press F10 to save and exit.
	
とあるのでUSBで起動できるDOSを用意し、その中にZ9DRGQF5_325.zipを解凍せずそのまま入れ、ami.batを起動すればいけるようだ。
ちなみに価格.comでsupermicroのBIOSアップデートは自己解凍だから圧縮されたまま扱うべきとのスレッドもあった。http://bbs.kakaku.com/bbs/05407213567/SortID=9261419/

というわけでやってみる。

http://dosmania.blog.fc2.com/blog-entry-4.html
ここのRMPrepUSBを使う方法を参照してUSB起動FreeDOSを作る。kernel.sysの最新版がどうのこうとかあるけどそれはとりあえず無視してみる。

↓

解凍しないでいいわけ無かった。
FreeDOSを一度終了して解凍してからやり直す。
今回はどうもうまくいったらしい

BIOSの設定を以前メールでもらったものに設定しなおす（これもwikiに載せなければ)
さらにBIOS>Advanced>PCIe/PCI/PnP Configuration > Above 4G Decoding and set
をEnableにしなければPCI回りにアラートが出てしまったので勝手にEnableにした。

どうもK40で使えてるっぽいけど案の定waitで止まる。

2016-01-08:zeusでBIOSアップデート後にCMOSクリアを忘れた.zeusが無限再起動地獄に陥り死んだかと思った.CMOSクリアしたら無事起動した.

*PEACH2とJTAG [#t7715aa6]
USB-BlasterをそのままPEACH2に繋げると、ケーブルが激しく曲がってしまい通信できなくなる~
よって、適当な延長ケーブルを作って、繋げる事とした~
PEACH2wJTAG.JPGを参照

*謝辞 [#d3d54c56]
-日本語~
\section{謝辞}
本件研究は、JST-CREST 研究領域「ポストペタスケール高性能計算に資するシステムソフトウェア技術の創出」、研究課題「ポストペタスケール時代に向けた演算加速機構・通信機構統合環境の研究開発」による。

-英語~
\section{Acknowledgement}
The present study is supported in part by the JST/CREST program entitled ``Research and Development on Unified Environment of Accelerated Computing and
Interconnection for Post-Petascale Era" in the research area of ``Development of System Software Technologies for post-Peta Scale High Performance Computing".

*関連するページ [#o0c51d8f]
-[[Altera関係]]
-[[Quartus II]]
-[[Altera FPGA]]