1. XC50に関連する機材の概要
CfCAが運用している機材の中で、XC50利用者に直接関係するものを抜き出した概念図を以下に示します。個人のパソコンとは異なり、高速ネットワークで接続された、役割の異なる複数のシステムで構成されています。利用者のローカルなマシンから天文台ネットワークにはVPNを使って接続します(VPN接続の詳細はこちらを参照)。
水沢キャンパスにはスーパーコンピュータXC50 (アテルイⅡ)と関連する機材が、三鷹キャンパスには解析サーバ とファイルサーバ があります(他に計算サーバ、中規模サーバ、GPUクラスタを運用していますので、詳細はそれぞれのページをご覧ください)。
水沢キャンパスにある機材
- ログインノード
XC50にログインしたときに入るのはログインノードです。4台のサーバ(xc01.cfca.nao.ac.jpからxc04.cfca.nao.ac.jp)で構成されています。
ログインノードには、以下に挙げるhome領域とwork領域がマウントされています。 - home領域
ログインノードからは「/home/アカウント名」で参照できます。容量が小さく、プログラムやスクリプトファイルなどの開発・保存用の領域として利用します。
- work領域
ログインノードからは、/work/アカウント名/で参照できます。
計算結果を保存するためのファイルシステム(Lustreファイルシステム、容量は約6.5PB)が用意してあり、計算ノード群のすべてのノードと高速ネットワークで接続され、計算結果を書き込みます。ここにあるデータは、アクセス日時(atime)と属性変更日時(ctime)の両方が60日以上前のファイルを自動的に削除します。削除されたくないファイルは、touchコマンド等でアクセス日時を変更する必要があります。
- 計算ノード (XC50本体)
XC50での計算はログインノードではなく、1005台ある計算ノード群で行われます。この計算ノード群がXC50の本体に対応します。計算ノードへのログインはできません。
三鷹キャンパスにある機材
XC50に関係する三鷹キャンパスにある機材は、「解析サーバ」と「ファイルサーバ」です。その他、「計算サーバ」や「中規模サーバ」・「GPUクラスタ」を運用しています。
- 解析サーバ
- ファイルサーバ
XC50で計算して得たデータの解析と可視化をおこなうサーバです。XC50の/work領域は、解析サーバの/xc-workにマウントにされており、解析サーバから直接ファイルを読むことができます(ただし、解析サーバからの書き込みはできません)。
計算データの中長期的は保存のために、ファイルサーバを運用しています。
ファイルサーバの利用には別途申請が必要です。詳細はファイルサーバのページをご覧ください。
ファイルサーバは、解析サーバの/glv?と/misc/work???にマウントしていますので、解析サーバから直接データを読み込むことができます。
2. XC50でのシミュレーション実行について
XC50に限らず多数の利用者が同時に利用するシステムでは、個人のパソコンやワークステーションでおこなうように、./a.outなどで直接計算を実行してしまうと、計算実行の競合がおこり、計算資源を有効に活用できません。そのため、利用者が実行したいシミュレーションのリストを作り、各計算を順番に計算ノードに割り当てて交通整理をおこなうジョブ管理システムを導入しています。ここで「ジョブ」とは、ジョブ管理システムで処理される計算のことを指します。XC50では、PBS (Portable Batch System)というジョブ管理システムを使っています。XC50で計算をおこなうためには、ログインノードで実行するのではなく、ジョブをqsubというコマンドで「投入」する必要があります。ジョブの投入方法については、XC50の利用の手引きをご覧ください。
3. 控えて頂きたい行為
利用者の皆様の利便性のため、XC50では迷惑行為を防ぐための制限を設けておりません。そのため、特に以下の２つの行為はお控えいただきますよう、ご協力をよろしくお願いいたします。
ログインノードでの負荷のかかるプロセスの実行
ログインノードは4台しかなく、1台に多くの利用者がログインして利用しています。ログインノードでのシミュレーションの実行はもちろんのこと、CPUとメモリを大きく使用するプロセスの実行(例えば可視化など)は、ほかの利用者の迷惑になりますので、お控え下さい。
ノード当たり40コアを大きく下回る並列計算の実行
計算資源はコア単位ではなくノード単位で割り当てられるため、たとえば並列数1の計算を実行してしまうと、残り39コアは無駄になってしまいます。デバッグの際にはそのような計算が必要な場面もあると思いますが、本計算用では、ノード当たり40コアを大きく下回る並列計算はお控え下さい。
