AC-CREST
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
[[ASAP Top]]
#contents
AC-CREST@ふんが研のページ
*TCAノードについて [#yaea2f9a]
**ZEUS [#ne117acc]
| 部品 | 名前 | 備考 |
| CPU | (UPDATE:2014/07)[[Intel Xeon E5-2680V2 2.8GHz:htt...
| Mem | [[8GB DDR3-1600 x 16 ECC w/ Registered:http://www...
| Mother | [[SuperMicro X9DRG-QF:http://www.supermicro.co...
| Primary Disk | [[Intel SSD 330 Series SSDSC2CT120A3K5 1...
| Secondary Disk | [[Seagate ST3000DM001 3TB HDD x 2:http...
| FPGA | [[Altera Stratix IV GX EP4SGX290:http://www.alte...
| GPU |[[ NVIDIA Tesla K20m:http://www.nvidia.com/object/...
DSC_3719.JPG, slot{1,2}.jpgを見てね~
現在は，メモリをCPU1,CPU2共に32GBずつ抜いて，全体で64GBに...
**PEACH2(Altera FPGA) [#y8184e5a]
筑波の塙先生から、Altera Stratix IV 290GX([[参照:http://w...
**NVIDIA K20m [#q6406aa4]
/usr/local/cuda/5.0/samples/1_Utilities/deviceQuery/devic...
CUDA Device Query (Runtime API) version (CUDART static l...
Detected 2 CUDA Capable device(s)
Device 0: "Tesla K20m"
CUDA Driver Version / Runtime Version 5.0 / 5.0
CUDA Capability Major/Minor version number: 3.5
Total amount of global memory: 4800 MBy...
(13) Multiprocessors x (192) CUDA Cores/MP: 2496 CUD...
GPU Clock rate: 706 MHz ...
Memory Clock rate: 2600 Mhz
Memory Bus Width: 320-bit
L2 Cache Size: 1310720 ...
Max Texture Dimension Size (x,y,z) 1D=(6553...
Max Layered Texture Size (dim) x layers 1D=(1638...
Total amount of constant memory: 65536 by...
Total amount of shared memory per block: 49152 by...
Total number of registers available per block: 65536
Warp size: 32
Maximum number of threads per multiprocessor: 2048
Maximum number of threads per block: 1024
Maximum sizes of each dimension of a block: 1024 x 1...
Maximum sizes of each dimension of a grid: 21474836...
Maximum memory pitch: 21474836...
Texture alignment: 512 bytes
Concurrent copy and kernel execution: Yes with...
Run time limit on kernels: No
Integrated GPU sharing Host Memory: No
Support host page-locked memory mapping: Yes
Alignment requirement for Surfaces: Yes
Device has ECC support: Enabled
Device supports Unified Addressing (UVA): Yes
Device PCI Bus ID / PCI location ID: 2 / 0
Compute Mode:
< Default (multiple host threads can use ::cudaSetDe...
Device 1: "Tesla K20m"
CUDA Driver Version / Runtime Version 5.0 / 5.0
CUDA Capability Major/Minor version number: 3.5
Total amount of global memory: 4800 MBy...
(13) Multiprocessors x (192) CUDA Cores/MP: 2496 CUD...
GPU Clock rate: 706 MHz ...
Memory Clock rate: 2600 Mhz
Memory Bus Width: 320-bit
L2 Cache Size: 1310720 ...
Max Texture Dimension Size (x,y,z) 1D=(6553...
Max Layered Texture Size (dim) x layers 1D=(1638...
Total amount of constant memory: 65536 by...
Total amount of shared memory per block: 49152 by...
Total number of registers available per block: 65536
Warp size: 32
Maximum number of threads per multiprocessor: 2048
Maximum number of threads per block: 1024
Maximum sizes of each dimension of a block: 1024 x 1...
Maximum sizes of each dimension of a grid: 21474836...
Maximum memory pitch: 21474836...
Texture alignment: 512 bytes
Concurrent copy and kernel execution: Yes with...
Run time limit on kernels: No
Integrated GPU sharing Host Memory: No
Support host page-locked memory mapping: Yes
Alignment requirement for Surfaces: Yes
Device has ECC support: Enabled
Device supports Unified Addressing (UVA): Yes
Device PCI Bus ID / PCI location ID: 3 / 0
Compute Mode:
< Default (multiple host threads can use ::cudaSetDe...
deviceQuery, CUDA Driver = CUDART, CUDA Driver Version =...
**起動時にK20とPEACH2をロードする [#xf84d609]
%%起動するたびに/dev内のデバイスファイルがなくなってしま...
%%Nvidia GPUの場合はdeviceQueryなどのGPUを使ったプログラ...
%%PEACH2はinit.shを実行したら復活する%%~
↓~
/etc/rc.d/rc.localに以下の追記をし、起動時に勝手に読み込...
(出力のリダイレクト先をミスるとエラーになる…)
/opt/tca/wakeup_GPU_PEACH2.sh 1>/var/log/wakeupGPUPEACH2...
なお、起動時にsudoできるように/etc/sudoers以下の部分をコ...
#Defaults requiretty
/opt/tca/wakeup_GPU_PEACH2.sh
#/bin/sh
export LD_LIBRARY_PATH=/usr/local/cuda/5.0/lib64:$LD_LIB...
/usr/local/cuda/5.0/samples/1_Utilities/deviceQuery/devi...
echo "Load PEACH2 Driver"
cd /opt/tca/PEACH2-PCIe-driver
bash /opt/tca/PEACH2-PCIe-driver/init.sh 0
echo "Load NVIDIA Driver"
cd /opt/tca/NVIDIA-p2p-driver
bash /opt/tca/NVIDIA-p2p-driver/init.sh
ls /dev | egrep 'nvidia|peach2'
echo "DDR3 Routing"
/opt/tca/PEACH2-PCIe-driver/set_nodeinfo 0 0 /opt/tca/PE...
cat /sys/class/tca/peach2_0/routing/*
**BIOSアップデート [#e357026d]
2013-05-16: X9DRGQF_LAC_t3153.binをもらったけどまだ入れて...
2013-06-03: IPMIをアップデートし、BIOSも無事アップデート...
+IPMIをver2.0以上にする([[IPMIによるzeusの電源管理]])
+[[http://www.supermicro.com.tw/support/resources/results...
+中身のami.batからIPMICHK.EXEとダブルクォーテーションを消す
$ IPMICHK.EXE "AFUDOSU.EXE %1 /P /B /N /K /R /FDT ...
↓
$ AFUDOSU.EXE %1 /P /B /N /K /R /FDT /MER /OPR
+[[http://memorva.jp/internet/pc/dos_usb.php]]を見てDOSの...
"3.FreeDOSを使う場合"からを参照~
FAT32でフォーマットした方が良さげ
+USBを刺して、起動。以下のコマンドでアップデート開始
もちろん、事前にBIOS設定画面でUSBが最初にブートされるよう...
$ ami.bat the_name_of_new_bios.bin
+最後に、マザー上の"JBT1"ディップスイッチを押して、CMOSク...
+なお、"JBT1"を押した後には日付がおかしくなっていることが...
SupermicroのFAQはまじで役に立たない、BIOSアップデートとか...
2015-04-06: 先日zeusのBIOSをアップデートしたときは上で紹...
DOS起動ディスクを作れれば他の方法でもいける模様。(by gold...
2016-01-07: PEACH3とK40mの組み合わせでは今のBIOSだとだめ...
***web上の最新版アップデート [#e85bb9d5]
現状最新版はX9DRGQF5_325らしい。
X9DRGQF5_325.zipを解答し、中のREADMEを見てみる。
================================================
FOR <filename>.zip
================================================
1. Save this file to your computer.
2. extract the files to a DOS bootable device (such as a...
2. Boot to a DOS prompt and type AMI.BAT BIOSname.###.
4. Do not interrupt the process until the flashing is co...
5. After you see the message of BIOS has completed the u...
6. Go to the BIOS setup screen and press F9 to load the ...
とあるのでUSBで起動できるDOSを用意し、その中にZ9DRGQF5_32...
ちなみに価格.comでsupermicroのBIOSアップデートは自己解凍...
というわけでやってみる。
http://dosmania.blog.fc2.com/blog-entry-4.html
ここのRMPrepUSBを使う方法を参照してUSB起動FreeDOSを作る。...
↓
解凍しないでいいわけ無かった。
FreeDOSを一度終了して解凍してからやり直す。
今回はどうもうまくいったらしい
BIOSの設定を以前メールでもらったものに設定しなおす（これ...
さらにBIOS>Advanced>PCIe/PCI/PnP Configuration > Above 4G...
をEnableにしなければPCI回りにアラートが出てしまったので勝...
どうもK40で使えてるっぽいけど案の定waitで止まる。
2016-01-08:zeusでBIOSアップデート後にCMOSクリアを忘れた.z...
*PEACH2とJTAG [#t7715aa6]
USB-BlasterをそのままPEACH2に繋げると、ケーブルが激しく曲...
よって、適当な延長ケーブルを作って、繋げる事とした~
PEACH2wJTAG.JPGを参照
*謝辞 [#d3d54c56]
-日本語~
\section{謝辞}
本件研究は、JST-CREST 研究領域「ポストペタスケール高性能...
-英語~
\section{Acknowledgement}
The present study is supported in part by the JST/CREST p...
Interconnection for Post-Petascale Era" in the research a...
*関連するページ [#o0c51d8f]
-[[Altera関係]]
-[[Quartus II]]
-[[Altera FPGA]]
終了行:
[[ASAP Top]]
#contents
AC-CREST@ふんが研のページ
*TCAノードについて [#yaea2f9a]
**ZEUS [#ne117acc]
| 部品 | 名前 | 備考 |
| CPU | (UPDATE:2014/07)[[Intel Xeon E5-2680V2 2.8GHz:htt...
| Mem | [[8GB DDR3-1600 x 16 ECC w/ Registered:http://www...
| Mother | [[SuperMicro X9DRG-QF:http://www.supermicro.co...
| Primary Disk | [[Intel SSD 330 Series SSDSC2CT120A3K5 1...
| Secondary Disk | [[Seagate ST3000DM001 3TB HDD x 2:http...
| FPGA | [[Altera Stratix IV GX EP4SGX290:http://www.alte...
| GPU |[[ NVIDIA Tesla K20m:http://www.nvidia.com/object/...
DSC_3719.JPG, slot{1,2}.jpgを見てね~
現在は，メモリをCPU1,CPU2共に32GBずつ抜いて，全体で64GBに...
**PEACH2(Altera FPGA) [#y8184e5a]
筑波の塙先生から、Altera Stratix IV 290GX([[参照:http://w...
**NVIDIA K20m [#q6406aa4]
/usr/local/cuda/5.0/samples/1_Utilities/deviceQuery/devic...
CUDA Device Query (Runtime API) version (CUDART static l...
Detected 2 CUDA Capable device(s)
Device 0: "Tesla K20m"
CUDA Driver Version / Runtime Version 5.0 / 5.0
CUDA Capability Major/Minor version number: 3.5
Total amount of global memory: 4800 MBy...
(13) Multiprocessors x (192) CUDA Cores/MP: 2496 CUD...
GPU Clock rate: 706 MHz ...
Memory Clock rate: 2600 Mhz
Memory Bus Width: 320-bit
L2 Cache Size: 1310720 ...
Max Texture Dimension Size (x,y,z) 1D=(6553...
Max Layered Texture Size (dim) x layers 1D=(1638...
Total amount of constant memory: 65536 by...
Total amount of shared memory per block: 49152 by...
Total number of registers available per block: 65536
Warp size: 32
Maximum number of threads per multiprocessor: 2048
Maximum number of threads per block: 1024
Maximum sizes of each dimension of a block: 1024 x 1...
Maximum sizes of each dimension of a grid: 21474836...
Maximum memory pitch: 21474836...
Texture alignment: 512 bytes
Concurrent copy and kernel execution: Yes with...
Run time limit on kernels: No
Integrated GPU sharing Host Memory: No
Support host page-locked memory mapping: Yes
Alignment requirement for Surfaces: Yes
Device has ECC support: Enabled
Device supports Unified Addressing (UVA): Yes
Device PCI Bus ID / PCI location ID: 2 / 0
Compute Mode:
< Default (multiple host threads can use ::cudaSetDe...
Device 1: "Tesla K20m"
CUDA Driver Version / Runtime Version 5.0 / 5.0
CUDA Capability Major/Minor version number: 3.5
Total amount of global memory: 4800 MBy...
(13) Multiprocessors x (192) CUDA Cores/MP: 2496 CUD...
GPU Clock rate: 706 MHz ...
Memory Clock rate: 2600 Mhz
Memory Bus Width: 320-bit
L2 Cache Size: 1310720 ...
Max Texture Dimension Size (x,y,z) 1D=(6553...
Max Layered Texture Size (dim) x layers 1D=(1638...
Total amount of constant memory: 65536 by...
Total amount of shared memory per block: 49152 by...
Total number of registers available per block: 65536
Warp size: 32
Maximum number of threads per multiprocessor: 2048
Maximum number of threads per block: 1024
Maximum sizes of each dimension of a block: 1024 x 1...
Maximum sizes of each dimension of a grid: 21474836...
Maximum memory pitch: 21474836...
Texture alignment: 512 bytes
Concurrent copy and kernel execution: Yes with...
Run time limit on kernels: No
Integrated GPU sharing Host Memory: No
Support host page-locked memory mapping: Yes
Alignment requirement for Surfaces: Yes
Device has ECC support: Enabled
Device supports Unified Addressing (UVA): Yes
Device PCI Bus ID / PCI location ID: 3 / 0
Compute Mode:
< Default (multiple host threads can use ::cudaSetDe...
deviceQuery, CUDA Driver = CUDART, CUDA Driver Version =...
**起動時にK20とPEACH2をロードする [#xf84d609]
%%起動するたびに/dev内のデバイスファイルがなくなってしま...
%%Nvidia GPUの場合はdeviceQueryなどのGPUを使ったプログラ...
%%PEACH2はinit.shを実行したら復活する%%~
↓~
/etc/rc.d/rc.localに以下の追記をし、起動時に勝手に読み込...
(出力のリダイレクト先をミスるとエラーになる…)
/opt/tca/wakeup_GPU_PEACH2.sh 1>/var/log/wakeupGPUPEACH2...
なお、起動時にsudoできるように/etc/sudoers以下の部分をコ...
#Defaults requiretty
/opt/tca/wakeup_GPU_PEACH2.sh
#/bin/sh
export LD_LIBRARY_PATH=/usr/local/cuda/5.0/lib64:$LD_LIB...
/usr/local/cuda/5.0/samples/1_Utilities/deviceQuery/devi...
echo "Load PEACH2 Driver"
cd /opt/tca/PEACH2-PCIe-driver
bash /opt/tca/PEACH2-PCIe-driver/init.sh 0
echo "Load NVIDIA Driver"
cd /opt/tca/NVIDIA-p2p-driver
bash /opt/tca/NVIDIA-p2p-driver/init.sh
ls /dev | egrep 'nvidia|peach2'
echo "DDR3 Routing"
/opt/tca/PEACH2-PCIe-driver/set_nodeinfo 0 0 /opt/tca/PE...
cat /sys/class/tca/peach2_0/routing/*
**BIOSアップデート [#e357026d]
2013-05-16: X9DRGQF_LAC_t3153.binをもらったけどまだ入れて...
2013-06-03: IPMIをアップデートし、BIOSも無事アップデート...
+IPMIをver2.0以上にする([[IPMIによるzeusの電源管理]])
+[[http://www.supermicro.com.tw/support/resources/results...
+中身のami.batからIPMICHK.EXEとダブルクォーテーションを消す
$ IPMICHK.EXE "AFUDOSU.EXE %1 /P /B /N /K /R /FDT ...
↓
$ AFUDOSU.EXE %1 /P /B /N /K /R /FDT /MER /OPR
+[[http://memorva.jp/internet/pc/dos_usb.php]]を見てDOSの...
"3.FreeDOSを使う場合"からを参照~
FAT32でフォーマットした方が良さげ
+USBを刺して、起動。以下のコマンドでアップデート開始
もちろん、事前にBIOS設定画面でUSBが最初にブートされるよう...
$ ami.bat the_name_of_new_bios.bin
+最後に、マザー上の"JBT1"ディップスイッチを押して、CMOSク...
+なお、"JBT1"を押した後には日付がおかしくなっていることが...
SupermicroのFAQはまじで役に立たない、BIOSアップデートとか...
2015-04-06: 先日zeusのBIOSをアップデートしたときは上で紹...
DOS起動ディスクを作れれば他の方法でもいける模様。(by gold...
2016-01-07: PEACH3とK40mの組み合わせでは今のBIOSだとだめ...
***web上の最新版アップデート [#e85bb9d5]
現状最新版はX9DRGQF5_325らしい。
X9DRGQF5_325.zipを解答し、中のREADMEを見てみる。
================================================
FOR <filename>.zip
================================================
1. Save this file to your computer.
2. extract the files to a DOS bootable device (such as a...
2. Boot to a DOS prompt and type AMI.BAT BIOSname.###.
4. Do not interrupt the process until the flashing is co...
5. After you see the message of BIOS has completed the u...
6. Go to the BIOS setup screen and press F9 to load the ...
とあるのでUSBで起動できるDOSを用意し、その中にZ9DRGQF5_32...
ちなみに価格.comでsupermicroのBIOSアップデートは自己解凍...
というわけでやってみる。
http://dosmania.blog.fc2.com/blog-entry-4.html
ここのRMPrepUSBを使う方法を参照してUSB起動FreeDOSを作る。...
↓
解凍しないでいいわけ無かった。
FreeDOSを一度終了して解凍してからやり直す。
今回はどうもうまくいったらしい
BIOSの設定を以前メールでもらったものに設定しなおす（これ...
さらにBIOS>Advanced>PCIe/PCI/PnP Configuration > Above 4G...
をEnableにしなければPCI回りにアラートが出てしまったので勝...
どうもK40で使えてるっぽいけど案の定waitで止まる。
2016-01-08:zeusでBIOSアップデート後にCMOSクリアを忘れた.z...
*PEACH2とJTAG [#t7715aa6]
USB-BlasterをそのままPEACH2に繋げると、ケーブルが激しく曲...
よって、適当な延長ケーブルを作って、繋げる事とした~
PEACH2wJTAG.JPGを参照
*謝辞 [#d3d54c56]
-日本語~
\section{謝辞}
本件研究は、JST-CREST 研究領域「ポストペタスケール高性能...
-英語~
\section{Acknowledgement}
The present study is supported in part by the JST/CREST p...
Interconnection for Post-Petascale Era" in the research a...
*関連するページ [#o0c51d8f]
-[[Altera関係]]
-[[Quartus II]]
-[[Altera FPGA]]
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
