解析サーバはシミュレーションデータを解析・可視化するためのサーバ群です。各サーバはそれぞれ多数の演算コア、大容量のメインメモリと各種解析・可視化ソフトウェアがインストールされており、CfCAの共同利用計算機のアカウントを持つ全てのユーザーが使用することができます。また解析サーバには大容量ファイルサーバ群が10GbEの高速ネットワークで接続され、一体のシステムとして運用されています。

現在運用されている解析サーバーは以下の通りです。これらの解析サーバは全てCfCA HPCネットワーク内に存在します。

表1. CfCA解析サーバ
ホスト名	ドメイン名	主演算装置 (全機器で共通)	主記憶容量 (全機器で共通)	設置場所 (全機器とも)
an[09-14]	an[09-14].cfca.nao.ac.jp	Intel Xeon CPU E5-2697 v4 (18 cores) ✕ 2	1 TB	国立天文台三鷹

2. 解析サーバーの利用案内

ここでは、解析サーバを利用する上で必要となる事柄を紹介していますので、解析サーバの利用を希望する方は必ず目を通して下さい。

CfCAの共同利用計算機のアカウントを持つ全ての利用者が解析サーバーを利用することができます。
従いまして解析サーバの利用のあたっては、各利用者は他の利用者の利便を絶対に損なわないようにしてください。
利用者が使用できるCPUとメモリは1ノード当たり計算資源の50%です。利用者が1ノードで実行中のジョブとプロセスの合計使用量が50%以下になるようご協力をお願い致します。
また、プロセス数もCPUコア数の50%です。過度にネットワークに負荷をかける解析もご遠慮願います。
これらの利用ポリシーが守られていないとこちらで判断した場合、警告無く利用者のプロセスを終了することをご了承下さい。
現在解析サーバでは1人当たりの同時利用ジョブ数の制限などはしていませんが、利用状況によっては今後ジョブ管理システムの導入を検討する可能性もあります。

2.2 ユーザーアカウントとログイン

CfCAの共同利用計算機のアカウントを持つユーザーであれば新たに申請すること無く、同じアカウントでそのまま解析サーバを使用できます。
解析サーバへはsshを用いて、

% ssh an.cfca.nao.ac.jp -l username -X

とすることで何れかの計算機にログインすることができます。

ユーザーのパスワードとシェルの変更は、それぞれ例えば解析サーバにログインして、

% yppasswd

や

% ypchsh

とすれば行えます。
(注) パスワード長は12文字以上にすべきという原則が自然科学研究機構の情報セキュリティ対策基準にて定められています(5.4節, (3) 2)。利用者各位もこちらへの準拠をお願いいたします。
HPCネットワークで使用できるシェルは、bash、csh、ksh、sh、tcsh、zsh です。ypcshでシェルを変更する場合は必ず絶対パスで指定してください。
設定が反映されるまで数分かかりますのでご注意願います。
なおこの変更は XC50、GRAPE システム、計算サーバにも反映されてしまいますので御注意ください。

2.3 ユーザー環境設定

解析サーバでは必要なソフトウェアの切替とそのための環境変数の設定がmoduleコマンドを用いて行うことが出来ます。
利用可能なソフトウェアの環境変数モジュールは、以下のコマンドで知ることが出来ます。

% module avail

現在読み込まれている環境変数モジュールは、次のコマンドで知ることが出来ます。

% module list

例えばIntelコンパイラを使用したい場合は以下のようにして、Intelコンパイラの環境変数モジュールを読み込んでください。

% module load intel

異なるバージョンのソフトウェアに切り替えたい場合は、以下のようにしてください。

% module switch intel/2018

※ 同じソフトウェアの異なるバージョンを同時に読み込むことはできません。
モジュールを削除するには以下のようにしてください。

% module unload intel/2018

2.4 ユーザーのディスク環境

CfCAの共同利用計算機にアカウントを持つ全ての利用者は、アカウント取得と同時に解析サーバにホーム領域が与えられます。

表2. ディスク環境
ディスク領域	ソフトリミット※1	ハードリミット※2、※3	メールによるクォータ超過時の通知	備考
/home/アカウント名	1TB	1.5TB	あり

※1. ソフトリミットを超過した場合、7日後に書き込みが出来なくなります。
※2. ハードリミットを超えた書き込みは出来ません。
※3. より大容量のディスク領域が必要な場合は、ファイルサーバをご利用ください。
書き込みができなくなった場合はソフトリミット以下まで容量を減らして下さい。
容量の確認には"quota"コマンドをお使い下さい。
リミット超過の警告メールを転送するために /home/(ユーザーアカウント名)/ 下に .forward ファイルを作成しご自身のメールアカウントを記載して下さい。
メール転送の設定を行っていない場合、こちらで転送設定を行わせていただくことがありますのでご了承願います。

2.5 データ転送

計算結果を解析する場合は、scpを用いて解析サーバへデータ転送を行ってください。
また、ファイルをHPCネットワーク外部へ転送する場合、
アクセス許可された外部マシン側から受け取るようにして転送してください。

外部マシン% scp username@an09.cfca.nao.ac.jp:/home/username/hogehoge.c ./

なお、現在解析サーバーからインターネットへのアクセスは制限されており外部へのwebアクセスはできません。

xc50システムのwork領域が/xc-workに読み込み専用でマウントされています。
xc50からファイルサーバへデータを転送する際にご利用下さい。

2.6 計算資源の制限方法

CPU利用率を制限するには cpulimit コマンドを使用します。
以下の使用例では指定したプログラムのCPU使用率を 50% に制限しています。

% cpulimit -e プログラム名 -l 50

また、すでに実行中のジョブについてはプロセスIDを指定して制限できます。

% cpulimit -p プロセスID -l 50

3. 利用可能なアプリケーション

各アプリケーションで使用可能なバージョンは module aveil コマンドでご確認下さい。
また、天文シミュレーションプロジェクトでは、解析サーバで利用可能なアプリケーションの操作法に関するサポートは行なっておりません。

3.1 コンパイラ/解析言語

GNU Compiler
% module load gcc
Intel Compiler
% module load intel
同時使用2ライセンス：ライセンスエラーが出た人はちょっとタイミングをずらして使ってください。
PGI Compiler
% module load pgi
MPI
% module load mpi
※ ノード間並列はできません。

3.2 可視化ソフト

IDL (起動コマンド CUI: idl, GUI: idlde)
% module load idl
8ライセンス：全ライセンスが使用されてる場合はライセンスが解放されるのを待つ or 7分のデモモードとなります。
※ユーザーがIDLを使用せずに放置(idle状態に)すると３時間で自動timeoutして終了します。
※1ユーザーの同時使用は１ライセンスまでとしてください。
複数ライセンスを長時間同時使用している場合は、ライセンスの混み具合を見てkillする場合がありますのでご注意ください。

IDL：Harris Geospatial 株式会社
AVS/Express Developer (起動コマンド express)
% module load avs
2ライセンス
- AVS 開発元（アメリカ） AVS Inc.
- AVS日本製品情報サイバネットシステム株式会社
GDL - GNU Data Languade (起動コマンド gdl)
paraview
gnuplot (起動コマンド gnuplot)
% module load gnuplot
gnuplot home page
PGPLOT Graphics Subroutine Library