XD2000を含めた各計算機の利用申請フォームはこちらです。
1. 概要
ここでは本プロジェクトが運用する並列スーパーコンピュータシステムであるHPE Cray XD2000について説明しています。 この機器の利用を希望する方は、下記の要項に従って利用申請を行ってください。
HPE Cray XD2000 (スカラ型並列計算機)
HPE Cray XD2000はシステムMとシステムPから成り、いずれのアーキテクチャも旧システムXC50のそれを強化したものです。
システムMはXC50と比べてメモリバンド幅が強化されています。
システムPはXC50と比べてメモリ量が強化されています。
2. 利用申請
- XD2000システムの利用を希望される方は「XD2000募集要項」を御覧ください。
3. 問い合わせ
XD2000に関する質問を問い合わせフォームから受け付けます。
https://www.cfca.nao.ac.jp/inquiry
2024年度ユーザ追加・カテゴリ変更募集ではカテゴリSの募集を行いませんが，
試験運用期間中にシステム全体(システムMとPのどちらか一方，またはその両方)を使った計算の実行を希望される場合は，問い合わせフォームからお問い合わせ下さい。TACで受け付けるか否かを決定いたします。
4. 利用方法など
5. システム情報
| システム全体 | 理論性能 | 1.989 Pflops (システムM)1.416Pflops (システムP) 0.573Pflops |
|---|---|---|
| ノード数 | 288 (システムM) 208 (システムP) 80 |
|
| 総コア数 | 32256 | |
| 総主記憶容量 | 67.6 TB | |
| ストレージ | 15 PB | |
| インターコネクト | (システムM) Infiniband NDR400, 隣接ノード間通信(双方向) 100GB/s (システムP) Infiniband NDR200, 隣接ノード間通信(双方向) 50GB/s |
|
| ネットワークトポロジー | (システムM) Full bi-section fat tree tree topology, バイセクションバンド幅(50GB/s) (システムP) Full bi-section fat tree tree topology, バイセクションバンド幅(25GB/s) |
|
| 消費電力 | ||
| システムM 計算ノード | CPU | Intel Xeon CPU Max 9480 (56 cores, 1.9 GHz, 3.4 TFlops) x 2基 |
| コア数 | 2 (CPU数) x 56個 (各CPUが持つコア数) = 112個 | |
| 主記憶容量 | CPU内蔵の高帯域幅メモリ(HBM), 容量: 128GB/node, バンド幅: 3.2 TB/s/node, B/F=0.47 | |
| 熱設計電力 | ||
| システムP 計算ノード | CPU | Intel Xeon Platinum 8480+ (56 cores, 2.0 GHz, 3.6 TFlops) x 2基 |
| コア数 | 2 (CPU数) x 56個 (各CPUが持つコア数) = 112個 | |
| 主記憶容量 | DDR5-4800, 容量: 512GB/node, バンド幅: 1.2TB/s/node, B/F=0.17 | |
| 熱設計電力 | ||
6. キュー構成
XD2000では，下記のように，システムMではlargeキューとbulkキュー，システムPではlargeキューが設定されています。
システムM
largeキュー
このキューは各カテゴリごとに以下の設定値でジョブを実行できるキューです。
| カテゴリ | XD-A | XD-B+ | XD-B | XD-MD | XD-Trial |
| キュー名 | M-large-a | M-large-bp | M-large-b | M-large-md | M-large-t |
| 最大同時利用可能コア数(ノード数) | 11648(104) | 2128(19) | 672(6) | 448(4) | 112(1) |
| 単一ジョブ最大コア数(ノード数) | 11648(104) | 2128(19) | 336(3) | 224(2) | 112(1) |
| 最大同時投入数 | 無制限 | 無制限 | 無制限 | 無制限 | 無制限 |
| 最大同時実行数(括弧内は混雑した場合の値) | 10(1) | 10(1) | 10(1) | 10(1) | 5(1) |
| 継続時間 | 24 hour | 24 hour | 24 hour | 24 hour | 4 hour |
bulkキュー
このキューは各カテゴリごとに以下の設定値でジョブを実行できるキューです。 largeキューと比べ、最大同時利用可能コア数が少ないかわりに、混雑した場合にも最大同時実行数が変わらないのが特徴です。
| カテゴリ | XD-A | XD-B+ | XD-B | XD-MD |
| キュー名 | M-bulk-a | M-bulk-bp | M-bulk-b | M-bulk-md |
| 最大同時利用可能コア数(ノード数) | 1344(12) | 672(6) | 336(3) | 112(1) |
| 単一ジョブ最大コア数 | 336(3) | 336(3) | 224(2) | 112(1) |
| 最大同時投入数 | 無制限 | 無制限 | 無制限 | 無制限 |
| 最大同時実行数 | 10 | 10 | 10 | 10 |
| 継続時間 | 12 hour | 12 hour | 12 hour | 12 hour |
testキュー
このキューは各カテゴリごとに以下の設定値でジョブを実行できるキューです。 largeキューと比べ、最大同時利用可能コア数は大きく、最大同時実行数,継続時間は小さく設定されています。 主にコードの並列化効率,スケーリング等を調べるために使われることを想定されています。
| カテゴリ | XD-A | XD-B+ | XD-B | XD-MD |
| キュー名 | M-test-a | M-test-bp | M-test-b | M-test-md |
| 最大同時利用可能コア数 (ノード数) | 11648(104) | 11648(104) | 1120(10) | 1120(10) |
| 単一ジョブ最大コア数 | 11648(104) | 11648(104) | 1120(10) | 1120(10) |
| 最大同時投入数 | 3 | 3 | 3 | 3 |
| 最大同時実行数 | 1 | 1 | 1 | 1 |
| 継続時間 | 0.5 hour | 0.5 hour | 0.5 hour | 0.5 hour |
(注)「同時利用可能最大コア数」とは、一人のユーザが同時に実行するジョブで使用しているコア数の合計の最大値です。 例）同時利用可能最大コア数が2400の場合、最大で、2400コア使用のジョブ1本、あるいは1200コア使用のジョブ2本、を実行できます。 同時に実行できるジョブ本数には上限を設けます（例： 800コアx4本、ジョブをサブミットしても、3本までしか同時実行されない、など）。
システムP
largeキュー
このキューは各カテゴリごとに以下の設定値でジョブを実行できるキューです。P-large-b*は，P-larg-bの単一ジョブ最大コア数ではメモリが不足するジョブを実行するためのキューで，P-large-bの2倍の単一ジョブ最大コア数がご利用いただけます(最大同時利用可能コア数は同じ)。P-large-b*は審査で必要性が認められた場合に付与されます。詳しくは募集要項をご覧ください。
| カテゴリ | XD-A | XD-B+ | XD-B | XD-B* | XD-MD | XD-Trial |
| キュー名 | P-large-a | P-large-bp | P-large-b | P-large-b* | P-large-md | P-large-t |
| 最大同時利用可能コア数(ノード数) | 4480 (40) | 2576 (23) | 896 (8) | 896 (8) | 672 (6) | 112 (1) |
| 単一ジョブ最大コア数(ノード数) | 4480 (40) | 2576 (23) | 448 (4) | 896 (8) | 336 (3) | 112 (1) |
| 最大同時投入数 | 無制限 | 無制限 | 無制限 | 無制限 | 無制限 | 無制限 |
| 最大同時実行数(括弧内は混雑した場合の値) | 10(1) | 10(1) | 10(1) | 10(1) | 10(1) | 5(1) |
| 継続時間 | 24 hour | 24 hour | 24 hour | 24 hour | 24 hour | 4 hour |
testキュー
このキューは各カテゴリごとに以下の設定値でジョブを実行できるキューです。 largeキューと比べ、最大同時利用可能コア数は大きく、最大同時実行数,継続時間は小さく設定されています。 主にコードの並列化効率,スケーリング等を調べるために使われることを想定されています。
| カテゴリ | XD-A | XD-B+ | XD-B | XD-MD |
| キュー名 | P-test-a | P-test-bp | P-test-b | P-test-md |
| 最大同時利用可能コア数 | 4480(40) | 4480(40) | 1120(10) | 1120(10) |
| 単一ジョブ最大コア数 | 4480(40) | 4480(40) | 1120(10) | 1120(10) |
| 最大同時投入数 | 3 | 3 | 3 | 3 |
| 最大同時実行数 | 1 | 1 | 1 | 1 |
| 継続時間 | 0.5 hour | 0.5 hour | 0.5 hour | 0.5 hour |
(注)「同時利用可能最大コア数」とは、一人のユーザが同時に実行するジョブで使用しているコア数の合計の最大値です。 例）同時利用可能最大コア数が2400の場合、最大で、2400コア使用のジョブ1本、あるいは1200コア使用のジョブ2本、を実行できます。 同時に実行できるジョブ本数には上限を設けます（例： 800コアx4本、ジョブをサブミットしても、3本までしか同時実行されない、など）。