AC-CREST のバックアップ(No.19)

[ トップ ]   [ 新規 | 一覧 | 検索 | 最終更新 | ヘルプ | ログイン ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• AC-CREST へ行く。
  • 1 (2013-02-18 (月) 09:02:31)
  • 2 (2013-04-02 (火) 06:57:33)
  • 3 (2013-04-02 (火) 10:29:58)
  • 4 (2013-04-04 (木) 04:02:57)
  • 5 (2013-04-11 (木) 12:03:58)
  • 6 (2013-05-23 (木) 13:26:12)
  • 7 (2013-05-24 (金) 14:33:27)
  • 8 (2013-05-27 (月) 15:22:27)
  • 9 (2013-05-28 (火) 06:32:57)
  • 10 (2013-06-03 (月) 15:15:24)
  • 11 (2013-06-04 (火) 06:35:14)
  • 12 (2013-06-05 (水) 10:09:14)
  • 13 (2013-06-08 (土) 08:04:05)
  • 14 (2013-06-08 (土) 19:53:55)
  • 15 (2013-06-08 (土) 19:53:55)
  • 16 (2013-06-13 (木) 03:20:06)
  • 17 (2014-08-29 (金) 03:40:41)
  • 18 (2015-04-04 (土) 11:50:56)
  • 19 (2016-01-03 (日) 18:36:28)

---

ASAP Top

AC-CREST@ふんが研のページ

TCAノードについて †

ZEUS †

DSC_3719.JPG, slot{1,2}.jpgを見てね
現在は，メモリをCPU1,CPU2共に32GBずつ抜いて，全体で64GBになっている．

PEACH2(Altera FPGA) †

筑波の塙先生から、Altera Stratix IV 290GX(参照)をPEACH2の実機として借り、別途RTLとドライバ塙先生から貰ったPEACH関連のドライバをもらった。

NVIDIA K20m †

/usr/local/cuda/5.0/samples/1_Utilities/deviceQuery/deviceQuery Starting...

CUDA Device Query (Runtime API) version (CUDART static linking)
Detected 2 CUDA Capable device(s)

Device 0: "Tesla K20m"

 CUDA Driver Version / Runtime Version          5.0 / 5.0
 CUDA Capability Major/Minor version number:    3.5
 Total amount of global memory:                 4800 MBytes (5032706048 bytes)
 (13) Multiprocessors x (192) CUDA Cores/MP:    2496 CUDA Cores
 GPU Clock rate:                                706 MHz (0.71 GHz)
 Memory Clock rate:                             2600 Mhz
 Memory Bus Width:                              320-bit
 L2 Cache Size:                                 1310720 bytes
 Max Texture Dimension Size (x,y,z)             1D=(65536), 2D=(65536,65536), 3D=(4096,4096,4096)
 Max Layered Texture Size (dim) x layers        1D=(16384) x 2048, 2D=(16384,16384) x 2048
 Total amount of constant memory:               65536 bytes
 Total amount of shared memory per block:       49152 bytes
 Total number of registers available per block: 65536
 Warp size:                                     32
 Maximum number of threads per multiprocessor:  2048
 Maximum number of threads per block:           1024
 Maximum sizes of each dimension of a block:    1024 x 1024 x 64
 Maximum sizes of each dimension of a grid:     2147483647 x 65535 x 65535
 Maximum memory pitch:                          2147483647 bytes
 Texture alignment:                             512 bytes
 Concurrent copy and kernel execution:          Yes with 2 copy engine(s)
 Run time limit on kernels:                     No
 Integrated GPU sharing Host Memory:            No
 Support host page-locked memory mapping:       Yes
 Alignment requirement for Surfaces:            Yes
 Device has ECC support:                        Enabled
 Device supports Unified Addressing (UVA):      Yes
 Device PCI Bus ID / PCI location ID:           2 / 0
 Compute Mode:
    < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

Device 1: "Tesla K20m"

 CUDA Driver Version / Runtime Version          5.0 / 5.0
 CUDA Capability Major/Minor version number:    3.5
 Total amount of global memory:                 4800 MBytes (5032706048 bytes)
 (13) Multiprocessors x (192) CUDA Cores/MP:    2496 CUDA Cores
 GPU Clock rate:                                706 MHz (0.71 GHz)
 Memory Clock rate:                             2600 Mhz
 Memory Bus Width:                              320-bit
 L2 Cache Size:                                 1310720 bytes
 Max Texture Dimension Size (x,y,z)             1D=(65536), 2D=(65536,65536), 3D=(4096,4096,4096)
 Max Layered Texture Size (dim) x layers        1D=(16384) x 2048, 2D=(16384,16384) x 2048
 Total amount of constant memory:               65536 bytes
 Total amount of shared memory per block:       49152 bytes
 Total number of registers available per block: 65536
 Warp size:                                     32
 Maximum number of threads per multiprocessor:  2048
 Maximum number of threads per block:           1024
 Maximum sizes of each dimension of a block:    1024 x 1024 x 64
 Maximum sizes of each dimension of a grid:     2147483647 x 65535 x 65535
 Maximum memory pitch:                          2147483647 bytes
 Texture alignment:                             512 bytes
 Concurrent copy and kernel execution:          Yes with 2 copy engine(s)
 Run time limit on kernels:                     No
 Integrated GPU sharing Host Memory:            No
 Support host page-locked memory mapping:       Yes
 Alignment requirement for Surfaces:            Yes
 Device has ECC support:                        Enabled
 Device supports Unified Addressing (UVA):      Yes
 Device PCI Bus ID / PCI location ID:           3 / 0
 Compute Mode:
    < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 5.0, CUDA Runtime Version = 5.0, NumDevs = 2, Device0 = Tesla K20m, Device1 = Tesla K20m

起動時にK20とPEACH2をロードする †

起動するたびに/dev内のデバイスファイルがなくなってしまう．
Nvidia GPUの場合はdeviceQueryなどのGPUを使ったプログラムを起動することで復活する．
PEACH2はinit.shを実行したら復活する
↓
/etc/rc.d/rc.localに以下の追記をし、起動時に勝手に読み込まれるようにした
(出力のリダイレクト先をミスるとエラーになる…)

/opt/tca/wakeup_GPU_PEACH2.sh 1>/var/log/wakeupGPUPEACH2 2>&1

なお、起動時にsudoできるように/etc/sudoers以下の部分をコメントアウト

#Defaults    requiretty

/opt/tca/wakeup_GPU_PEACH2.sh

#/bin/sh
export LD_LIBRARY_PATH=/usr/local/cuda/5.0/lib64:$LD_LIBRARY_PATH
/usr/local/cuda/5.0/samples/1_Utilities/deviceQuery/deviceQuery
echo "Load PEACH2 Driver"
cd /opt/tca/PEACH2-PCIe-driver
bash /opt/tca/PEACH2-PCIe-driver/init.sh 0
echo "Load NVIDIA Driver"
cd /opt/tca/NVIDIA-p2p-driver
bash /opt/tca/NVIDIA-p2p-driver/init.sh
ls /dev | egrep 'nvidia|peach2'
echo "DDR3 Routing"
/opt/tca/PEACH2-PCIe-driver/set_nodeinfo 0 0 /opt/tca/PEACH2-PCIe-driver/memorymap.txt /opt/tca/PEACH2-PCIe-driver/routing.txt /opt/tca/PEACH2-PCIe-driver/null.txt
cat /sys/class/tca/peach2_0/routing/*

BIOSアップデート †

2013-05-16: X9DRGQF_LAC_t3153.binをもらったけどまだ入れてない

2013-06-03: IPMIをアップデートし、BIOSも無事アップデート完了

1. IPMIをver2.0以上にする(IPMIによるzeusの電源管理)
2. http://www.supermicro.com.tw/support/resources/results.aspxから必要なファイルをDL
3. 中身のami.batからIPMICHK.EXEとダブルクォーテーションを消す

   $ IPMICHK.EXE "AFUDOSU.EXE  %1  /P  /B  /N  /K  /R /FDT /MER /OPR"
   ↓
   $ AFUDOSU.EXE  %1  /P  /B  /N  /K  /R /FDT /MER /OPR

4. http://memorva.jp/internet/pc/dos_usb.phpを見てDOSの起動ディスクを作る
   "3.FreeDOSを使う場合"からを参照
   FAT32でフォーマットした方が良さげ
5. USBを刺して、起動。以下のコマンドでアップデート開始 もちろん、事前にBIOS設定画面でUSBが最初にブートされるようにしておく

   $ ami.bat the_name_of_new_bios.bin

6. 最後に、マザー上の"JBT1"ディップスイッチを押して、CMOSクリアをする
7. なお、"JBT1"を押した後には日付がおかしくなっていることがある。BIOS設定画面で確認すべし

SupermicroのFAQはまじで役に立たない、BIOSアップデートとか情報すくなくて苦労した。

2015-04-06: 先日zeusのBIOSをアップデートしたときは上で紹介されてたDOSの起動ディスクの作り方だとうまく行かなかった。 DOS起動ディスクを作れれば他の方法でもいける模様。(by golden)

2016-01-07: PEACH3とK40mの組み合わせでは今のBIOSだとだめかもしれない。ということでweb上の最新版にBIOSをアップデートする。

web上の最新版アップデート †

現状最新版はX9DRGQF5_325らしい。 X9DRGQF5_325.zipを解答し、中のREADMEを見てみる。 ================================================ FOR <filename>.zip ================================================

	1. Save this file to your computer.

	2. extract the files to a DOS bootable device (such as a bootable USB stick, or CD).

	2. Boot to a DOS prompt and type AMI.BAT BIOSname.###.

	4. Do not interrupt the process until the flashing is complete.

	5. After you see the message of BIOS has completed the update, unplug the AC, clear the CMOS and plug in the AC and power on the system.

	6. Go to the BIOS setup screen and press F9 to load the default and press F10 to save and exit.
	

とあるのでUSBで起動できるDOSを用意し、その中にZ9DRGQF5_325.zipを解凍せずそのまま入れ、ami.batを起動すればいけるようだ。 ちなみに価格.comでsupermicroのBIOSアップデートは自己解凍だから圧縮されたまま扱うべきとのスレッドもあった。http://bbs.kakaku.com/bbs/05407213567/SortID=9261419/

というわけでやってみる。

http://dosmania.blog.fc2.com/blog-entry-4.html ここのRMPrepUSBを使う方法を参照してUSB起動FreeDOSを作る。kernel.sysの最新版がどうのこうとかあるけどそれはとりあえず無視してみる。

↓

解凍しないでいいわけ無かった。 FreeDOSを一度終了して解凍してからやり直す。 今回はどうもうまくいったらしい

BIOSの設定を以前メールでもらったものに設定しなおす（これもwikiに載せなければ) さらにBIOS>Advanced>PCIe/PCI/PnP Configuration > Above 4G Decoding and set をEnableにしなければPCI回りにアラートが出てしまったので勝手にEnableにした。

どうもK40で使えてるっぽいけど案の定waitで止まる。

PEACH2とJTAG †

USB-BlasterをそのままPEACH2に繋げると、ケーブルが激しく曲がってしまい通信できなくなる
よって、適当な延長ケーブルを作って、繋げる事とした
PEACH2wJTAG.JPGを参照

謝辞 †

• 日本語
  \section{謝辞} 本件研究は、JST-CREST 研究領域「ポストペタスケール高性能計算に資するシステムソフトウェア技術の創出」、研究課題「ポストペタスケール時代に向けた演算加速機構・通信機構統合環境の研究開発」による。

• 英語
  \section{Acknowledgement} The present study is supported in part by the JST/CREST program entitled ``Research and Development on Unified Environment of Accelerated Computing and Interconnection for Post-Petascale Era" in the research area of ``Development of System Software Technologies for post-Peta Scale High Performance Computing".

関連するページ †

• Altera関係
• Quartus II
• Altera FPGA

     

Site admin: asap member

PukiWiki 1.5.2 © 2001-2019 PukiWiki Development Team. Powered by PHP 5.4.16. HTML convert time: 0.024 sec.