[[ASAP Top]] #contents AC-CREST@ふんが研のページ *TCAノードについて [#yaea2f9a] **ZEUS [#ne117acc] | 部品 | 名前 | 備考 | | CPU | [[Intel Xeon E5-2670 2.6GHz:http://ark.intel.com/ja/products/64595/Intel-Xeon-Processor-E5-2670-20M-Cache-2_60-GHz-8_00-GTs-Intel-QPI]] | Sandybrigde-E | | Mem | [[8GB DDR3-1600 x 16 ECC w/ Registered:http://www.costcentral.com/proddetail/SuperMicro_Hynix_Memory/MEMDR380LHL02ER16/11584732/]] | 64GB | | Mother | [[SuperMicro X9DRG-QF:http://www.supermicro.com.tw/products/motherboard/Xeon/C600/X9DRG-QF.cfm]] | | | Primary Disk | [[Intel SSD 330 Series SSDSC2CT120A3K5 128GB:http://laineema.gger.jp/archives/4144823.html]] | 付け方に注意、ただSATAに刺してあるだけ | | Secondary Disk | [[Seagate ST3000DM001 3TB HDD x 2:http://raipc.livedoor.biz/archives/51885336.html]] | ソフトウェアRAID0にする予定 | | FPGA | Altera Stratix IV GX EP4SGX290 | 筑波大の塙先生からの借り物。PEACH2として動作 | | GPU | NVIDIA Tesla K20m | 本体と別に買ったので保証はないらしいが大丈夫だろう| DSC_3719.JPG, slot{1,2}.jpgを見てね~ 現在は,メモリをCPU1,CPU2共に32GBずつ抜いて,全体で64GBになっている. **PEACH2(Altera FPGA) [#y8184e5a] 筑波の塙先生から、Altera Stratix IV 290GX([[参照:http://www.altera.co.jp/literature/lit-stratix-iv.jsp]])をPEACH2の実機として借り、別途RTLとドライバ[[塙先生から貰ったPEACH関連のドライバ]]をもらった。 **NVIDIA K20m [#q6406aa4] /usr/local/cuda/5.0/samples/1_Utilities/deviceQuery/deviceQuery Starting... CUDA Device Query (Runtime API) version (CUDART static linking) Detected 2 CUDA Capable device(s) Device 0: "Tesla K20m" CUDA Driver Version / Runtime Version 5.0 / 5.0 CUDA Capability Major/Minor version number: 3.5 Total amount of global memory: 4800 MBytes (5032706048 bytes) (13) Multiprocessors x (192) CUDA Cores/MP: 2496 CUDA Cores GPU Clock rate: 706 MHz (0.71 GHz) Memory Clock rate: 2600 Mhz Memory Bus Width: 320-bit L2 Cache Size: 1310720 bytes Max Texture Dimension Size (x,y,z) 1D=(65536), 2D=(65536,65536), 3D=(4096,4096,4096) Max Layered Texture Size (dim) x layers 1D=(16384) x 2048, 2D=(16384,16384) x 2048 Total amount of constant memory: 65536 bytes Total amount of shared memory per block: 49152 bytes Total number of registers available per block: 65536 Warp size: 32 Maximum number of threads per multiprocessor: 2048 Maximum number of threads per block: 1024 Maximum sizes of each dimension of a block: 1024 x 1024 x 64 Maximum sizes of each dimension of a grid: 2147483647 x 65535 x 65535 Maximum memory pitch: 2147483647 bytes Texture alignment: 512 bytes Concurrent copy and kernel execution: Yes with 2 copy engine(s) Run time limit on kernels: No Integrated GPU sharing Host Memory: No Support host page-locked memory mapping: Yes Alignment requirement for Surfaces: Yes Device has ECC support: Enabled Device supports Unified Addressing (UVA): Yes Device PCI Bus ID / PCI location ID: 2 / 0 Compute Mode: < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) > Device 1: "Tesla K20m" CUDA Driver Version / Runtime Version 5.0 / 5.0 CUDA Capability Major/Minor version number: 3.5 Total amount of global memory: 4800 MBytes (5032706048 bytes) (13) Multiprocessors x (192) CUDA Cores/MP: 2496 CUDA Cores GPU Clock rate: 706 MHz (0.71 GHz) Memory Clock rate: 2600 Mhz Memory Bus Width: 320-bit L2 Cache Size: 1310720 bytes Max Texture Dimension Size (x,y,z) 1D=(65536), 2D=(65536,65536), 3D=(4096,4096,4096) Max Layered Texture Size (dim) x layers 1D=(16384) x 2048, 2D=(16384,16384) x 2048 Total amount of constant memory: 65536 bytes Total amount of shared memory per block: 49152 bytes Total number of registers available per block: 65536 Warp size: 32 Maximum number of threads per multiprocessor: 2048 Maximum number of threads per block: 1024 Maximum sizes of each dimension of a block: 1024 x 1024 x 64 Maximum sizes of each dimension of a grid: 2147483647 x 65535 x 65535 Maximum memory pitch: 2147483647 bytes Texture alignment: 512 bytes Concurrent copy and kernel execution: Yes with 2 copy engine(s) Run time limit on kernels: No Integrated GPU sharing Host Memory: No Support host page-locked memory mapping: Yes Alignment requirement for Surfaces: Yes Device has ECC support: Enabled Device supports Unified Addressing (UVA): Yes Device PCI Bus ID / PCI location ID: 3 / 0 Compute Mode: < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) > deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 5.0, CUDA Runtime Version = 5.0, NumDevs = 2, Device0 = Tesla K20m, Device1 = Tesla K20m **起動時にK20とPEACH2をロードする [#xf84d609] %%起動するたびに/dev内のデバイスファイルがなくなってしまう.%%~ %%Nvidia GPUの場合はdeviceQueryなどのGPUを使ったプログラムを起動することで復活する.%%~ %%PEACH2はinit.shを実行したら復活する%%~ ↓~ /etc/rc.d/rc.localに以下の追記をし、起動時に勝手に読み込まれるようにした~ (出力のリダイレクト先をミスるとエラーになる…) /opt/tca/wakeup_GPU_PEACH2.sh 1>/var/log/wakeupGPUPEACH2 2>&1 なお、起動時にsudoできるように/etc/sudoers以下の部分をコメントアウト #Defaults requiretty /opt/tca/wakeup_GPU_PEACH2.sh #/bin/sh export LD_LIBRARY_PATH=/usr/local/cuda/5.0/lib64:$LD_LIBRARY_PATH /usr/local/cuda/5.0/samples/1_Utilities/deviceQuery/deviceQuery echo "Load PEACH2 Driver" cd /opt/tca/PEACH2-PCIe-driver bash /opt/tca/PEACH2-PCIe-driver/init.sh 0 echo "Load NVIDIA Driver" cd /opt/tca/NVIDIA-p2p-driver bash /opt/tca/NVIDIA-p2p-driver/init.sh ls /dev | egrep 'nvidia|peach2' echo "DDR3 Routing" /opt/tca/PEACH2-PCIe-driver/set_nodeinfo 0 0 /opt/tca/PEACH2-PCIe-driver/memorymap.txt /opt/tca/PEACH2-PCIe-driver/routing.txt /opt/tca/PEACH2-PCIe-driver/null.txt cat /sys/class/tca/peach2_0/routing/* **BIOSアップデート [#e357026d] 2013-05-16: X9DRGQF_LAC_t3153.binをもらったけどまだ入れてない 2013-06-03: IPMIをアップデートし、BIOSも無事アップデート完了 +IPMIをver2.0以上にする([[IPMIによるzeusの電源管理]]) +[[http://www.supermicro.com.tw/support/resources/results.aspx]]から必要なファイルをDL +中身のami.batからIPMICHK.EXEとダブルクォーテーションを消す $ IPMICHK.EXE "AFUDOSU.EXE %1 /P /B /N /K /R /FDT /MER /OPR" ↓ $ AFUDOSU.EXE %1 /P /B /N /K /R /FDT /MER /OPR +[[http://memorva.jp/internet/pc/dos_usb.php]]を見てDOSの起動ディスクを作る~ "3.FreeDOSを使う場合"からを参照~ FAT32でフォーマットした方が良さげ +USBを刺して、起動。以下のコマンドでアップデート開始 もちろん、事前にBIOS設定画面でUSBが最初にブートされるようにしておく $ ami.bat the_name_of_new_bios.bin +最後に、マザー上の"JBT1"ディップスイッチを押して、CMOSクリアをする +なお、"JBT1"を押した後には日付がおかしくなっていることがある。BIOS設定画面で確認すべし SupermicroのFAQはまじで役に立たない、BIOSアップデートとか情報すくなくて苦労した。 *PEACH2とJTAG [#t7715aa6] USB-BlasterをそのままPEACH2に繋げると、ケーブルが激しく曲がってしまい通信できなくなる~ よって、適当な延長ケーブルを作って、繋げる事とした~ PEACH2wJTAG.JPGを参照 *謝辞 [#d3d54c56] -日本語~ \section{謝辞} 本件研究は、JST-CREST 研究領域「ポストペタスケール高性能計算に資するシステムソフトウェア技術の創出」、研究課題「ポストペタスケール時代に向けた演算加速機構・通信機構統合環境の研究開発」による。 -英語~ \section{Acknowledgement} The present study is supported in part by the JST/CREST program entitled ``Research and Development on Unified Environment of Accelerated Computing and Interconnection for Post-Petascale Era" in the research area of ``Development of System Software Technologies for post-Peta Scale High Performance Computing". *関連するページ [#o0c51d8f] -[[Altera関係]] -[[Quartus II]] -[[Altera FPGA]]