Multi-GPU system with ExpEther
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
[[ASAP Top]]
#contents
----
* Multi-GPU system with ExpEther [#r3e8633e]
ExpEtherという仮想化技術により、ホスト(CPU)と複数のデバイ...
ExpEtherではPCIeのパケットをEthernetのフレームにカプセル...
そのため、このシステムのユーザからはホストのマザーボード...
GPU-BOXはこれのプロトタイプで、8個のExpEther NICと3000Wの...
最大8台のGPUを搭載することができる。
このGPU-BOXは、2013年度卒の野村先輩(通称のむさん)から脈々...
しかし、2015年2月から市販品のExpEther I/O拡張ユニット (N8...
基本的には入れ物が変わっただけで、ExpEther NICに変化は無...
このシステムの売りは主に拡張性にある。
ExpEther I/O拡張ユニットをEthernet switchにつなぐだけでGP...
「この拡張性が既存のデータセンタに光をもたらす」とか云々...
** 実機環境 [#ydb6ae69]
- 2015/02/{02,09}
|CPU|[[Intel Xeon E5-1650 @ 3.20GHz:http://ark.intel.com/...
|Host Memory|16GB|
|OS|CentOS 6.3|
|CUDA|Toolkit 5.5|
|GPU|[[NVIDIA Tesla K20c:http://www.nvidia.com/object/tes...
|ExpEther board|[[NEC N8007-104:http://support.express.ne...
|I/O expansion box|[[NEC N8000-1005:http://support.expres...
|Switch|[[Mellanox SX1012:http://jp.mellanox.com/page/pro...
|Network|10Gb Ethernet x2|
** これまでにやってきたこと [#i69a1697]
- のむさん
-- 主に通信関連のマイクロベンチマークを取る
-- GPU-BOXが複数ノード構成のマルチGPUシステムよりも優れて...
- 三石
-- CUDA版Linpackで評価を取る
--- 意外と通信しまくっていたため性能が悪かった
--- 結局excelにまとめただけでお蔵入り
-- Graph500を用いてBFSの高速化
--- 通信量の削減と通信の隠蔽
** 一般的なシングルホストマルチGPUシステム (common system...
ここでいうcommon systemとは、1つのマザーボードのPCIeスロ...
基本的にcommon systemでできることはExpress systemでもでき...
つまり、common systemのコードがそのままExpress systemでも...
ただし、そのまま利用できるからといって性能的に使い物にな...
PCIeの帯域幅と10Gb Ethernetの帯域幅に大きな差があるためで...
- 10Gb Ethernetの帯域幅 = 1.25GB/sec (10Gbps)
- PCIeの帯域幅 = 6GB/sec (50Gbps) (これはPCIeの世代やマシ...
//このことを考慮していないコードが性能的に使い物にならな...
そのため、高速化のためには通信量の削減や通信の隠蔽などが...
** Express systemを使うときの注意事項 [#ye4d86b6]
- [[Multi-GPU system with ExpEther/注意事項]]
** 実機評価@NECで覚えておくと便利なコマンド [#e1ebe920]
- lspci -tvv: デバイスの確認
- nvidia-smi: デバイスの確認
- /usr/local/cuda/samples/1_Utilities/deviceQuery/deviceQ...
- ifconfig: 実機評価@NECでデータのやり取りを行うのに使う...
$ ifconfig eth16 down
$ ifconfig eth16 192.168.0.3
$ ifconfig eth16 up
//** 参考 [#xa3de05f]
//- [[PCI Express wikipedia:http://ja.wikipedia.org/wiki/...
//- [[パソコンの森：PCI-Expressについて:http://pcnomori.b...
written by mits(2015-02-14)
終了行:
[[ASAP Top]]
#contents
----
* Multi-GPU system with ExpEther [#r3e8633e]
ExpEtherという仮想化技術により、ホスト(CPU)と複数のデバイ...
ExpEtherではPCIeのパケットをEthernetのフレームにカプセル...
そのため、このシステムのユーザからはホストのマザーボード...
GPU-BOXはこれのプロトタイプで、8個のExpEther NICと3000Wの...
最大8台のGPUを搭載することができる。
このGPU-BOXは、2013年度卒の野村先輩(通称のむさん)から脈々...
しかし、2015年2月から市販品のExpEther I/O拡張ユニット (N8...
基本的には入れ物が変わっただけで、ExpEther NICに変化は無...
このシステムの売りは主に拡張性にある。
ExpEther I/O拡張ユニットをEthernet switchにつなぐだけでGP...
「この拡張性が既存のデータセンタに光をもたらす」とか云々...
** 実機環境 [#ydb6ae69]
- 2015/02/{02,09}
|CPU|[[Intel Xeon E5-1650 @ 3.20GHz:http://ark.intel.com/...
|Host Memory|16GB|
|OS|CentOS 6.3|
|CUDA|Toolkit 5.5|
|GPU|[[NVIDIA Tesla K20c:http://www.nvidia.com/object/tes...
|ExpEther board|[[NEC N8007-104:http://support.express.ne...
|I/O expansion box|[[NEC N8000-1005:http://support.expres...
|Switch|[[Mellanox SX1012:http://jp.mellanox.com/page/pro...
|Network|10Gb Ethernet x2|
** これまでにやってきたこと [#i69a1697]
- のむさん
-- 主に通信関連のマイクロベンチマークを取る
-- GPU-BOXが複数ノード構成のマルチGPUシステムよりも優れて...
- 三石
-- CUDA版Linpackで評価を取る
--- 意外と通信しまくっていたため性能が悪かった
--- 結局excelにまとめただけでお蔵入り
-- Graph500を用いてBFSの高速化
--- 通信量の削減と通信の隠蔽
** 一般的なシングルホストマルチGPUシステム (common system...
ここでいうcommon systemとは、1つのマザーボードのPCIeスロ...
基本的にcommon systemでできることはExpress systemでもでき...
つまり、common systemのコードがそのままExpress systemでも...
ただし、そのまま利用できるからといって性能的に使い物にな...
PCIeの帯域幅と10Gb Ethernetの帯域幅に大きな差があるためで...
- 10Gb Ethernetの帯域幅 = 1.25GB/sec (10Gbps)
- PCIeの帯域幅 = 6GB/sec (50Gbps) (これはPCIeの世代やマシ...
//このことを考慮していないコードが性能的に使い物にならな...
そのため、高速化のためには通信量の削減や通信の隠蔽などが...
** Express systemを使うときの注意事項 [#ye4d86b6]
- [[Multi-GPU system with ExpEther/注意事項]]
** 実機評価@NECで覚えておくと便利なコマンド [#e1ebe920]
- lspci -tvv: デバイスの確認
- nvidia-smi: デバイスの確認
- /usr/local/cuda/samples/1_Utilities/deviceQuery/deviceQ...
- ifconfig: 実機評価@NECでデータのやり取りを行うのに使う...
$ ifconfig eth16 down
$ ifconfig eth16 192.168.0.3
$ ifconfig eth16 up
//** 参考 [#xa3de05f]
//- [[PCI Express wikipedia:http://ja.wikipedia.org/wiki/...
//- [[パソコンの森：PCI-Expressについて:http://pcnomori.b...
written by mits(2015-02-14)
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
