- 追加された行はこの色です。
- 削除された行はこの色です。
[[ASAP Top]]
#contents
AC-CREST@ふんが研のページ
*TCAノードについて [#yaea2f9a]
**ZEUS [#ne117acc]
| 部品 | 名前 | 備考 |
| CPU | [[Intel Xeon E5-2670 2.6GHz:http://ark.intel.com/ja/products/64595/Intel-Xeon-Processor-E5-2670-20M-Cache-2_60-GHz-8_00-GTs-Intel-QPI]] | Sandybrigde-E |
| CPU | (UPDATE:2014/07)[[Intel Xeon E5-2680V2 2.8GHz:http://ark.intel.com/ja/products/75277]] | Ivy brigde-E P|
| Mem | [[8GB DDR3-1600 x 16 ECC w/ Registered:http://www.costcentral.com/proddetail/SuperMicro_Hynix_Memory/MEMDR380LHL02ER16/11584732/]] | 64GB |
| Mother | [[SuperMicro X9DRG-QF:http://www.supermicro.com.tw/products/motherboard/Xeon/C600/X9DRG-QF.cfm]] | |
| Primary Disk | [[Intel SSD 330 Series SSDSC2CT120A3K5 128GB:http://laineema.gger.jp/archives/4144823.html]] | 付け方に注意、ただSATAに刺してあるだけ |
| Secondary Disk | [[Seagate ST3000DM001 3TB HDD x 2:http://raipc.livedoor.biz/archives/51885336.html]] | ソフトウェアRAID0にする予定 |
| FPGA | [[Altera Stratix IV GX EP4SGX290:http://www.altera.co.jp/devices/fpga/stratix-fpgas/stratix-iv/overview/stxiv-overview.html]] | 筑波大の塙先生からの借り物。PEACH2として動作 |
| GPU |[[ NVIDIA Tesla K20m:http://www.nvidia.com/object/tesla-servers.html]] | 本体と別に買ったので保証はないらしいが大丈夫だろう|
DSC_3719.JPG, slot{1,2}.jpgを見てね~
現在は,メモリをCPU1,CPU2共に32GBずつ抜いて,全体で64GBになっている.
**PEACH2(Altera FPGA) [#y8184e5a]
筑波の塙先生から、Altera Stratix IV 290GX([[参照:http://www.altera.co.jp/literature/lit-stratix-iv.jsp]])をPEACH2の実機として借り、別途RTLとドライバ[[塙先生から貰ったPEACH関連のドライバ]]をもらった。
**NVIDIA K20m [#q6406aa4]
/usr/local/cuda/5.0/samples/1_Utilities/deviceQuery/deviceQuery Starting...
CUDA Device Query (Runtime API) version (CUDART static linking)
Detected 2 CUDA Capable device(s)
Device 0: "Tesla K20m"
CUDA Driver Version / Runtime Version 5.0 / 5.0
CUDA Capability Major/Minor version number: 3.5
Total amount of global memory: 4800 MBytes (5032706048 bytes)
(13) Multiprocessors x (192) CUDA Cores/MP: 2496 CUDA Cores
GPU Clock rate: 706 MHz (0.71 GHz)
Memory Clock rate: 2600 Mhz
Memory Bus Width: 320-bit
L2 Cache Size: 1310720 bytes
Max Texture Dimension Size (x,y,z) 1D=(65536), 2D=(65536,65536), 3D=(4096,4096,4096)
Max Layered Texture Size (dim) x layers 1D=(16384) x 2048, 2D=(16384,16384) x 2048
Total amount of constant memory: 65536 bytes
Total amount of shared memory per block: 49152 bytes
Total number of registers available per block: 65536
Warp size: 32
Maximum number of threads per multiprocessor: 2048
Maximum number of threads per block: 1024
Maximum sizes of each dimension of a block: 1024 x 1024 x 64
Maximum sizes of each dimension of a grid: 2147483647 x 65535 x 65535
Maximum memory pitch: 2147483647 bytes
Texture alignment: 512 bytes
Concurrent copy and kernel execution: Yes with 2 copy engine(s)
Run time limit on kernels: No
Integrated GPU sharing Host Memory: No
Support host page-locked memory mapping: Yes
Alignment requirement for Surfaces: Yes
Device has ECC support: Enabled
Device supports Unified Addressing (UVA): Yes
Device PCI Bus ID / PCI location ID: 2 / 0
Compute Mode:
< Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >
Device 1: "Tesla K20m"
CUDA Driver Version / Runtime Version 5.0 / 5.0
CUDA Capability Major/Minor version number: 3.5
Total amount of global memory: 4800 MBytes (5032706048 bytes)
(13) Multiprocessors x (192) CUDA Cores/MP: 2496 CUDA Cores
GPU Clock rate: 706 MHz (0.71 GHz)
Memory Clock rate: 2600 Mhz
Memory Bus Width: 320-bit
L2 Cache Size: 1310720 bytes
Max Texture Dimension Size (x,y,z) 1D=(65536), 2D=(65536,65536), 3D=(4096,4096,4096)
Max Layered Texture Size (dim) x layers 1D=(16384) x 2048, 2D=(16384,16384) x 2048
Total amount of constant memory: 65536 bytes
Total amount of shared memory per block: 49152 bytes
Total number of registers available per block: 65536
Warp size: 32
Maximum number of threads per multiprocessor: 2048
Maximum number of threads per block: 1024
Maximum sizes of each dimension of a block: 1024 x 1024 x 64
Maximum sizes of each dimension of a grid: 2147483647 x 65535 x 65535
Maximum memory pitch: 2147483647 bytes
Texture alignment: 512 bytes
Concurrent copy and kernel execution: Yes with 2 copy engine(s)
Run time limit on kernels: No
Integrated GPU sharing Host Memory: No
Support host page-locked memory mapping: Yes
Alignment requirement for Surfaces: Yes
Device has ECC support: Enabled
Device supports Unified Addressing (UVA): Yes
Device PCI Bus ID / PCI location ID: 3 / 0
Compute Mode:
< Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >
deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 5.0, CUDA Runtime Version = 5.0, NumDevs = 2, Device0 = Tesla K20m, Device1 = Tesla K20m
**起動時にK20とPEACH2をロードする [#xf84d609]
%%起動するたびに/dev内のデバイスファイルがなくなってしまう.%%~
%%Nvidia GPUの場合はdeviceQueryなどのGPUを使ったプログラムを起動することで復活する.%%~
%%PEACH2はinit.shを実行したら復活する%%~
↓~
/etc/rc.d/rc.localに以下の追記をし、起動時に勝手に読み込まれるようにした~
(出力のリダイレクト先をミスるとエラーになる…)
/opt/tca/wakeup_GPU_PEACH2.sh 1>/var/log/wakeupGPUPEACH2 2>&1
なお、起動時にsudoできるように/etc/sudoers以下の部分をコメントアウト
#Defaults requiretty
/opt/tca/wakeup_GPU_PEACH2.sh
#/bin/sh
export LD_LIBRARY_PATH=/usr/local/cuda/5.0/lib64:$LD_LIBRARY_PATH
/usr/local/cuda/5.0/samples/1_Utilities/deviceQuery/deviceQuery
echo "Load PEACH2 Driver"
cd /opt/tca/PEACH2-PCIe-driver
bash /opt/tca/PEACH2-PCIe-driver/init.sh 0
echo "Load NVIDIA Driver"
cd /opt/tca/NVIDIA-p2p-driver
bash /opt/tca/NVIDIA-p2p-driver/init.sh
ls /dev | egrep 'nvidia|peach2'
echo "DDR3 Routing"
/opt/tca/PEACH2-PCIe-driver/set_nodeinfo 0 0 /opt/tca/PEACH2-PCIe-driver/memorymap.txt /opt/tca/PEACH2-PCIe-driver/routing.txt /opt/tca/PEACH2-PCIe-driver/null.txt
cat /sys/class/tca/peach2_0/routing/*
**BIOSアップデート [#e357026d]
2013-05-16: X9DRGQF_LAC_t3153.binをもらったけどまだ入れてない
2013-06-03: IPMIをアップデートし、BIOSも無事アップデート完了
+IPMIをver2.0以上にする([[IPMIによるzeusの電源管理]])
+[[http://www.supermicro.com.tw/support/resources/results.aspx]]から必要なファイルをDL
+中身のami.batからIPMICHK.EXEとダブルクォーテーションを消す
$ IPMICHK.EXE "AFUDOSU.EXE %1 /P /B /N /K /R /FDT /MER /OPR"
↓
$ AFUDOSU.EXE %1 /P /B /N /K /R /FDT /MER /OPR
+[[http://memorva.jp/internet/pc/dos_usb.php]]を見てDOSの起動ディスクを作る~
"3.FreeDOSを使う場合"からを参照~
FAT32でフォーマットした方が良さげ
+USBを刺して、起動。以下のコマンドでアップデート開始
もちろん、事前にBIOS設定画面でUSBが最初にブートされるようにしておく
$ ami.bat the_name_of_new_bios.bin
+最後に、マザー上の"JBT1"ディップスイッチを押して、CMOSクリアをする
+なお、"JBT1"を押した後には日付がおかしくなっていることがある。BIOS設定画面で確認すべし
SupermicroのFAQはまじで役に立たない、BIOSアップデートとか情報すくなくて苦労した。
*PEACH2とJTAG [#t7715aa6]
USB-BlasterをそのままPEACH2に繋げると、ケーブルが激しく曲がってしまい通信できなくなる~
よって、適当な延長ケーブルを作って、繋げる事とした~
PEACH2wJTAG.JPGを参照
*謝辞 [#d3d54c56]
-日本語~
\section{謝辞}
本件研究は、JST-CREST 研究領域「ポストペタスケール高性能計算に資するシステムソフトウェア技術の創出」、研究課題「ポストペタスケール時代に向けた演算加速機構・通信機構統合環境の研究開発」による。
-英語~
\section{Acknowledgement}
The present study is supported in part by the JST/CREST program entitled ``Research and Development on Unified Environment of Accelerated Computing and
Interconnection for Post-Petascale Era" in the research area of ``Development of System Software Technologies for post-Peta Scale High Performance Computing".
*関連するページ [#o0c51d8f]
-[[Altera関係]]
-[[Quartus II]]
-[[Altera FPGA]]