1.概要
ここでは本プロジェクトが運用する並列スーパーコンピュータシステムであるCray XC30について説明しています。
この機器の利用を希望する方は、下記の要項に従って利用申請を行ってください。
本システムは世界のスーパーコンピュータ性能ランキング"Top500"(2014/11)において、63位(国内6位)を獲得しています。
Cray XC30 (スカラ型並列計算機)
- システム概要
- ノード数 1060
- Intel HASWELL 2.6GHz×24×1060= 25440 コア
- 計 1058 TFlops,
- 主記憶 135.6 TB, 128GB/ノード
- ディスク 820 TB
2. 利用申請
- XC30システムの利用を希望される方は「XC30募集要項」を御覧ください。
- 平成29年度共同利用のカテゴリ変更・追加募集を行っています(締切: 平成29年8月24日(木) 11:00 AM JST)
3. 利用方法など
- HPCネットワークへの接続方法
- XC30システム利用の手引き[随時更新中]
利用者向けメーリングリスト
4. システム情報
-
ハードウェア構成
-
基本性能
-
キュー構成
※ [ ] 内は2014年9月に行われたアップグレード前の情報です。アップグレード後の情報は順次、追加・更新していきます。
システム全体 | 理論性能 | 1058 Tflops [ 502Tflops ] |
---|---|---|
ノード数 | 1060 [ 1512 ] | |
総主記憶容量 | 135.6 TB [94.25TB] | |
ストレージ | 820TB | |
インターコネクト | Aries,隣接ノード間通信 9.4-16GB/s | |
ネットワークトポロジー | Dragonfly, 階層的All-to-All,バイセクションバンド幅によるB/F=0.028 | |
消費電力(Linpack実行時) | 614kW [ 737kW ] | |
計算ノード | CPU | Intel Xeon E5-2690 v3 (12 core 2.6GHz) x 2 [ Intel Xeon E5-2670 2.6GHz ] |
コア数 | 24 [16] | |
主記憶容量 | DDR4-2133,容量: 128GB/node,バンド幅:136GB/s/node, B/F=0.136 [ DDR3 1600,容量: 64GB/node,バンド幅:102.4GB/s/node, B/F=0.3 ] |
|
熱設計電力 | [ 230W ] | |
※ 以下の情報は2014年9月に行われたアップグレード後の情報です。
HPCC (HPL=High Performance Linpack, GFFT, STREAM)の計測結果は以下の数値となっています。
項目 | ピーク性能 | 実測値 | ピーク性能比 |
演算性能(全ノード=1060 node) | 1058TFlops | 801.4TFlops(HPL) | 75.7% |
演算性能(1 node) | 998.4GFlops | 758.3GFlops(HPL) | 76.0% |
メモリスループット(1 node) | 136GB/s | 119GB/s(STREAM) | 87.5% |
フーリエ変換(1 node) | 998.4GFlops | 22.8GFlops(GFFT) | 2.3% |
フーリエ変換(1 chassis=64node) | 31948.8GFlops | 438.6GFlops(GFFT) | 1.4% |
フーリエ変換(1 cabinet=192node) | 95846.4GFlops | 1761.2GFlops(GFFT) | 1.8% |
Largeキュー
このキューは各カテゴリごとに以下の設定値でジョブを実行できるキューです。
カテゴリ | XC-A | XC-B+ | XC-B | XC-MD | XC-Trial |
キュー名 | Large-A | Large-B+ | Large-B | Large-MD | Large-T |
最大同時利用可能コア数 | 12000 | 2064 | 1296 | 672 | 144 |
単一ジョブ最大コア数 | 12000 | 2064 | 648 | 336 | 144 |
最大同時実行数(括弧内は混雑した場合の値) | 10(1) | 10(1) | 10(1) | 10(1) | 5(1) |
継続時間 | 8 hour | 8 hour | 8 hour | 8 hour | 4 hour |
Bulkキュー
このキューは各カテゴリごとに以下の設定値でジョブを実行できるキューです。
Largeキューと比べ、最大同時利用可能コア数が少ないかわりに、混雑した場合にも最大同時実行数が変わらないのが特徴です。
カテゴリ | XC-A | XC-B+ | XC-B | XC-MD |
キュー名 | Bulk-A | Bulk-B+ | Bulk-B | Bulk-MD |
最大同時利用可能コア数 | 2400 | 960 | 480 | 240 |
単一ジョブ最大コア数 | 528 | 288 | 144 | 72 |
最大同時実行数 | 10 | 10 | 10 | 10 |
継続時間 | 8 hour | 8 hour | 8 hour | 8 hour |
Shortキュー
このキューは各カテゴリごとに以下の設定値でジョブを実行できるキューです。
Largeキューと比べ、最大同時利用可能コア数は大きく、最大同時実行数,継続時間は小さく設定されています。
主にコードの並列化効率,スケーリング等を調べるために使われることを想定されています。
優先順位を高く設定しています。shortキューでのプロダクトランの実行はご遠慮ください。
カテゴリ | XC-A | XC-B+ | XC-B | XC-MD |
キュー名 | Short-A | Short-B+ | Short-B | Short-MD |
最大同時利用可能コア数 | 12000 | 4128 | 2064 | 2064 |
単一ジョブ最大コア数 | 12000 | 4128 | 2064 | 2064 |
最大同時実行数 | 1 | 1 | 1 | 1 |
継続時間 | 1 hour | 1 hour | 1 hour | 1 hour |
(注)「同時利用可能最大コア数」とは、一人のユーザが同時に実行するジョブで使用しているコア数の合計の最大値です。
例)同時利用可能最大コア数が2400の場合、最大で、2400コア使用のジョブ1本、あるいは1200コア使用のジョブ2本、を実行できます。
同時に実行できるジョブ本数には上限を設けます(例: 800コアx4本、ジョブをサブミットしても、3本までしか同時実行されない、など)。
CfCAキュー
-CfCAの計算機共同利用に携わるメンバーが利用可能なキューです。
-CfCAキューが使用できるコア数の上限はおよそ8000です。
(CfCAキューの使用コア数が8000を超えている場合、CfCAキューで投入された新たなジョブは実行されません。使用コア数が8000以下の状況で新たなジョブが実行されることで、一時的に8000コアを超える場合があります。)
-CfCAキューの同時実行数、実行時間は他のキューと異なりますが、上記制限内で実行されますので一般ユーザのジョブを阻害することはありません。
-CfCAキューのために8000コアをリザーブするわけではありません。CfCAキューが使用していないコアは一般ユーザのジョブのために利用されます。
#今年度(2014年7月現在)の状況は以下の通りです。
-主な利用者は大須賀、井上、高橋、川島、滝脇の5名です。
-また、XT4(2980コア)での実績として、CfCAキューが使用した年間平均コア数は約700です。