AC-CREST のバックアップ差分(No.14)

追加された行はこの色です。
削除された行はこの色です。
[[ASAP Top]]

#contents

AC-CREST@ふんが研のページ

*TCAノードについて [#yaea2f9a]
**ZEUS [#ne117acc]
| 部品 | 名前 | 備考 |
| CPU | [[Intel Xeon E5-2670 2.6GHz:http://ark.intel.com/ja/products/64595/Intel-Xeon-Processor-E5-2670-20M-Cache-2_60-GHz-8_00-GTs-Intel-QPI]] | Sandybrigde-E |
| Mem | [[8GB DDR3-1600 x 16 ECC w/ Registered:http://www.costcentral.com/proddetail/SuperMicro_Hynix_Memory/MEMDR380LHL02ER16/11584732/]] | 64GB |
| Mother | [[SuperMicro X9DRG-QF:http://www.supermicro.com.tw/products/motherboard/Xeon/C600/X9DRG-QF.cfm]] |  |
| Primary Disk | [[Intel SSD 330 Series SSDSC2CT120A3K5 128GB:http://laineema.gger.jp/archives/4144823.html]] | 付け方に注意、ただSATAに刺してあるだけ |
| Secondary Disk | [[Seagate ST3000DM001 3TB HDD x 2:http://raipc.livedoor.biz/archives/51885336.html]] | ソフトウェアRAID0にする予定 |
| FPGA | Altera Stratix IV GX EP4SGX290 | 筑波大の塙先生からの借り物。PEACH2として動作 |
| GPU |　NVIDIA Tesla K20m | 本体と別に買ったので保証はないらしいが大丈夫だろう|



DSC_3719.JPG, slot{1,2}.jpgを見てね~
現在は，メモリをCPU1,CPU2共に32GBずつ抜いて，全体で64GBになっている．

**PEACH2(Altera FPGA) [#y8184e5a]
筑波の塙先生から、Altera Stratix IV 290GX([[参照:http://www.altera.co.jp/literature/lit-stratix-iv.jsp]])をPEACH2の実機として借り、別途RTLとドライバ[[塙先生から貰ったPEACH関連のドライバ]]をもらった。


**NVIDIA K20m [#q6406aa4]
/usr/local/cuda/5.0/samples/1_Utilities/deviceQuery/deviceQuery Starting...

 CUDA Device Query (Runtime API) version (CUDART static linking)
 Detected 2 CUDA Capable device(s)
Device 0: "Tesla K20m"
  CUDA Driver Version / Runtime Version          5.0 / 5.0
  CUDA Capability Major/Minor version number:    3.5
  Total amount of global memory:                 4800 MBytes (5032706048 bytes)
  (13) Multiprocessors x (192) CUDA Cores/MP:    2496 CUDA Cores
  GPU Clock rate:                                706 MHz (0.71 GHz)
  Memory Clock rate:                             2600 Mhz
  Memory Bus Width:                              320-bit
  L2 Cache Size:                                 1310720 bytes
  Max Texture Dimension Size (x,y,z)             1D=(65536), 2D=(65536,65536), 3D=(4096,4096,4096)
  Max Layered Texture Size (dim) x layers        1D=(16384) x 2048, 2D=(16384,16384) x 2048
  Total amount of constant memory:               65536 bytes
  Total amount of shared memory per block:       49152 bytes
  Total number of registers available per block: 65536
  Warp size:                                     32
  Maximum number of threads per multiprocessor:  2048
  Maximum number of threads per block:           1024
  Maximum sizes of each dimension of a block:    1024 x 1024 x 64
  Maximum sizes of each dimension of a grid:     2147483647 x 65535 x 65535
  Maximum memory pitch:                          2147483647 bytes
  Texture alignment:                             512 bytes
  Concurrent copy and kernel execution:          Yes with 2 copy engine(s)
  Run time limit on kernels:                     No
  Integrated GPU sharing Host Memory:            No
  Support host page-locked memory mapping:       Yes
  Alignment requirement for Surfaces:            Yes
  Device has ECC support:                        Enabled
  Device supports Unified Addressing (UVA):      Yes
  Device PCI Bus ID / PCI location ID:           2 / 0
  Compute Mode:
     < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

Device 1: "Tesla K20m"
  CUDA Driver Version / Runtime Version          5.0 / 5.0
  CUDA Capability Major/Minor version number:    3.5
  Total amount of global memory:                 4800 MBytes (5032706048 bytes)
  (13) Multiprocessors x (192) CUDA Cores/MP:    2496 CUDA Cores
  GPU Clock rate:                                706 MHz (0.71 GHz)
  Memory Clock rate:                             2600 Mhz
  Memory Bus Width:                              320-bit
  L2 Cache Size:                                 1310720 bytes
  Max Texture Dimension Size (x,y,z)             1D=(65536), 2D=(65536,65536), 3D=(4096,4096,4096)
  Max Layered Texture Size (dim) x layers        1D=(16384) x 2048, 2D=(16384,16384) x 2048
  Total amount of constant memory:               65536 bytes
  Total amount of shared memory per block:       49152 bytes
  Total number of registers available per block: 65536
  Warp size:                                     32
  Maximum number of threads per multiprocessor:  2048
  Maximum number of threads per block:           1024
  Maximum sizes of each dimension of a block:    1024 x 1024 x 64
  Maximum sizes of each dimension of a grid:     2147483647 x 65535 x 65535
  Maximum memory pitch:                          2147483647 bytes
  Texture alignment:                             512 bytes
  Concurrent copy and kernel execution:          Yes with 2 copy engine(s)
  Run time limit on kernels:                     No
  Integrated GPU sharing Host Memory:            No
  Support host page-locked memory mapping:       Yes
  Alignment requirement for Surfaces:            Yes
  Device has ECC support:                        Enabled
  Device supports Unified Addressing (UVA):      Yes
  Device PCI Bus ID / PCI location ID:           3 / 0
  Compute Mode:
     < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

 deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 5.0, CUDA Runtime Version = 5.0, NumDevs = 2, Device0 = Tesla K20m, Device1 = Tesla K20m

**起動後の設定 [#xf84d609]
起動するたびに/dev内のデバイスファイルがなくなってしまう．~
Nvidia GPUの場合はdeviceQueryなどのGPUを使ったプログラムを起動することで復活する．~
PEACH2はinit.shを実行したら復活する
**起動時にK20とPEACH2をロードする [#xf84d609]
%%起動するたびに/dev内のデバイスファイルがなくなってしまう．%%~
%%Nvidia GPUの場合はdeviceQueryなどのGPUを使ったプログラムを起動することで復活する．%%~
%%PEACH2はinit.shを実行したら復活する%%~
↓~
/etc/rc.d/rc.localに以下の追記をし、起動時に勝手に読み込まれるようにした~
(出力のリダイレクト先をミスるとエラーになる…)
 /opt/tca/wakeup_GPU_PEACH2.sh 1>/var/log/wakeupGPUPEACH2 2>&1
なお、起動時にsudoできるように/etc/sudoers以下の部分をコメントアウト
 #Defaults    requiretty

/opt/tca/wakeup_GPU_PEACH2.sh
 #/bin/sh
 export LD_LIBRARY_PATH=/usr/local/cuda/5.0/lib64:$LD_LIBRARY_PATH
 /usr/local/cuda/5.0/samples/1_Utilities/deviceQuery/deviceQuery
 echo "Load PEACH2 Driver"
 cd /opt/tca/PEACH2-PCIe-driver
 bash /opt/tca/PEACH2-PCIe-driver/init.sh 0
 echo "Load NVIDIA Driver"
 cd /opt/tca/NVIDIA-p2p-driver
 bash /opt/tca/NVIDIA-p2p-driver/init.sh
 ls /dev | egrep 'nvidia|peach2'
 echo "DDR3 Routing"
 /opt/tca/PEACH2-PCIe-driver/set_nodeinfo 0 0 /opt/tca/PEACH2-PCIe-driver/memorymap.txt /opt/tca/PEACH2-PCIe-driver/routing.txt /opt/tca/PEACH2-PCIe-driver/null.txt
 cat /sys/class/tca/peach2_0/routing/*


**BIOSアップデート [#e357026d]
2013-05-16: X9DRGQF_LAC_t3153.binをもらったけどまだ入れてない

2013-06-03: IPMIをアップデートし、BIOSも無事アップデート完了

+IPMIをver2.0以上にする([[IPMIによるzeusの電源管理]])
+[[http://www.supermicro.com.tw/support/resources/results.aspx]]から必要なファイルをDL
+中身のami.batからIPMICHK.EXEとダブルクォーテーションを消す
 $ IPMICHK.EXE "AFUDOSU.EXE  %1  /P  /B  /N  /K  /R /FDT /MER /OPR"
 ↓
 $ AFUDOSU.EXE  %1  /P  /B  /N  /K  /R /FDT /MER /OPR
+[[http://memorva.jp/internet/pc/dos_usb.php]]を見てDOSの起動ディスクを作る~
"3.FreeDOSを使う場合"からを参照~
FAT32でフォーマットした方が良さげ
+USBを刺して、起動。以下のコマンドでアップデート開始
もちろん、事前にBIOS設定画面でUSBが最初にブートされるようにしておく
 $ ami.bat the_name_of_new_bios.bin
+最後に、マザー上の"JBT1"ディップスイッチを押して、CMOSクリアをする
+なお、"JBT1"を押した後には日付がおかしくなっていることがある。BIOS設定画面で確認すべし

SupermicroのFAQはまじで役に立たない、BIOSアップデートとか情報すくなくて苦労した。

*PEACH2とJTAG [#t7715aa6]
USB-BlasterをそのままPEACH2に繋げると、ケーブルが激しく曲がってしまい通信できなくなる~
よって、適当な延長ケーブルを作って、繋げる事とした~
PEACH2wJTAG.JPGを参照

*謝辞 [#d3d54c56]
-日本語~
\section{謝辞}
本件研究は、JST-CREST 研究領域「ポストペタスケール高性能計算に資するシステムソフトウェア技術の創出」、研究課題「ポストペタスケール時代に向けた演算加速機構・通信機構統合環境の研究開発」による。

-英語~
\section{Acknowledgement}
The present study is supported in part by the JST/CREST program entitled ``Research and Development on Unified Environment of Accelerated Computing and
Interconnection for Post-Petascale Era" in the research area of ``Development of System Software Technologies for post-Peta Scale High Performance Computing".

*関連するページ [#o0c51d8f]
-[[Altera関係]]
-[[Quartus II]]
-[[Altera FPGA]]