You are here

ゲストさん、ようこそ。 ログインはこちら / アカウント作成はこちら

解析サーバ

解析サーバ 利用の手引き


お知らせ

  • FAQが追加されました。(2017-08-31)
  • 解析サーバan08が水沢に移設されました。(2017-01-20)
  • Python バージョン3.5がインストールされました。(2016-12-08)
  • FAQが追加されました。(2016-12-07)

Last Updated: 2017/8/31




1. システムの概要


解析サーバはシミュレーションデータを解析・可視化するためのサーバ群です。各サーバはそれぞれ多数の演算コア、大容量のメインメモリと各種解析・可視化ソフトウェアがインストールされており、CfCAの共同利用計算機のアカウントを持つ全てのユーザーが使用することができます。また解析サーバには大容量ファイルサーバ群が10GbEの高速ネットワークで接続され、一体のシステムとして運用されています。

現在、運用されている解析サーバーは以下の通りです。これらの解析サーバは全てHPCネットワーク内に存在します。

表1. CfCA解析サーバ
ホスト名 ドメイン名 主演算装置 主記憶装置 設置場所
an[00-07] an[00-07].cfca.nao.ac.jp AMD Opteron 6172 2.1GHz ✕ 2 計24コア 256GB 国立天文台三鷹キャンパス
an08 an08.cfca.nao.ac.jp AMD Opteron 6172 2.1GHz ✕ 2 計24コア 256GB 国立天文台水沢キャンパス



2. 解析サーバーの利用案内


ここでは、解析サーバを利用する上で必要となる事柄を紹介していますので、解析サーバの利用を希望する方は必ず目を通して下さい。

2.1 利用ポリシー

CfCAの共同利用計算機のアカウントを持つ全ての利用者が解析サーバーを利用することができます。
従いまして解析サーバの利用のあたっては、各利用者は他の利用者の利便を絶対に損なわないようにしてください。
利用者が使用できるCPUとメモリは1ノード当たり計算資源の50%です。利用者が1ノードで実行中のジョブとプロセスの合計使用量が50%以下になるようご協力をお願い致します。
また、プロセス数もCPUコア数の50%です。 過度にネットワークに負荷をかける解析もご遠慮願います。
これらの利用ポリシーが守られていないとこちらで判断した場合、警告無く利用者のプロセスを終了することをご了承下さい。
現在解析サーバでは1人当たりの同時利用ジョブ数の制限などはしていませんが、利用状況によっては今後ジョブ管理システムの導入を検討する可能性もあります。

2.2 ユーザーアカウントとログイン

CfCAの共同利用計算機のアカウントを持つユーザーであれば新たに申請すること無く、同じアカウントでそのまま解析サーバを使用できます。
解析サーバへはsshを用いて、

% ssh an.cfca.nao.ac.jp -l username -X

とすることで 何れかの計算機にログインすることができます。

ユーザーのパスワードとシェルの変更は、それぞれ例えば解析サーバにログインして、

% yppasswd

% ypchsh

とすれば行えます。
HPCネットワークで使用できるシェルは、bash、csh、ksh、sh、tcsh、zsh です。ypcshでシェルを変更する場合は必ず絶対パスで指定してください。
設定が反映されるまで数分かかりますのでご注意願います。
なおこの変更は XC30、GRAPE システム、計算サーバにも反映されてしまいますので御注意ください。

2.3 ユーザー環境設定

解析サーバでは必要なソフトウェアの切替とそのための環境変数の設定がmoduleコマンドを用いて行うことが出来ます。
利用可能なソフトウェアの環境変数モジュールは、以下のコマンドで知ることが出来ます。

% module avail

※ ここで表示されるモジュールの内、実際に使用できる環境変数モジュールは、intel、pgi、nemo、maple、mathematica、pgplot、gnuplot、rstudio、visit、yt、avs、idl、root です。
現在読み込まれている環境変数モジュールは、次のコマンドで知ることが出来ます。

% module list

Intelコンパイラを使用したい場合は以下のようにして、Intelコンパイラの環境変数モジュールを読み込んでください。

% module load intel/12.0

異なるバージョンのソフトウェアに切り替えたい場合は、以下のようにしてください。

% module switch intel/12.1

※ 同じソフトウェアの異なるバージョンを同時に読み込むことはできません。
モジュールを削除するには以下のようにしてください。

% module unload intel/12.1

2.4 ユーザーのディスク環境

CfCAの共同利用計算機にアカウントを持つ全ての利用者は、アカウント取得と同時に解析サーバにホーム領域が与えられます。

表2. ディスク環境
ディスク領域 解析サーバ ソフトリミット※1 ハードリミット※2、※3 メールによるクォータ超過時の通知 備考
/home/アカウント名 an00-an08 1TB 1.5TB あり

※1. ソフトリミットを超過した場合、7日後に書き込みが出来なくなります。
※2. ハードリミットを超えた書き込みは出来ません。
※3. より大容量のディスク領域が必要な場合は、ファイルサーバをご利用ください。
書き込みができなくなった場合はソフトリミット以下まで容量を減らして下さい。
容量の確認には"quota"コマンドをお使い下さい。
リミット超過の警告メールを転送するために /home/(ユーザーアカウント名)/ 下に .forward ファイルを作成しご自身のメールアカウントを記載して下さい。
メール転送の設定を行っていない場合、こちらで転送設定を行わせていただくことがありますのでご了承願います。

2.5 データ転送

計算結果を解析する場合は、scpを用いて解析サーバへデータ転送を行ってください。
また、ファイルをHPCネットワーク外部へ転送する場合、
アクセス許可された外部マシン側から受け取るようにして転送してください。

外部マシン% scp username@an01.cfca.nao.ac.jp:/home/username/hogehoge.c ./

なお、現在解析サーバーからインターネットへのアクセスは制限されており外部へのwebアクセスはできません。

xc30システムのwork領域が/xc-workに読み込み専用でマウントされています。
xc30からファイルサーバへデータを転送する際にご利用下さい。

2.6 計算資源の制限方法

CPU利用率を制限するには cpulimit コマンドを使用します。
以下の使用例では指定したプログラムのCPU使用率を 50% に制限しています。

% cpulimit -e プログラム名 -l 50

また、すでに実行中のジョブについてはプロセスIDを指定して制限できます。

% cpulimit -p プロセスID -l 50

3. 利用可能なアプリケーション


天文シミュレーションプロジェクトでは、解析サーバで利用可能なアプリケーションに関するサポートは行なっておりません。

3.1 コンパイラ/解析言語

  • GNU Compiler
    • gcc バージョン 4.4.7
    • g77 バージョン 3.4.6
    • gfortran バージョン 4.4.7
  • Intel Compiler
    バージョン : 14.0, 13.1, 12.1, 12.0
    % module load intel

    同時使用2ライセンス:ライセンスエラーが出た人はちょっとタイミングをずらして使ってください。

  • PGI Compiler
    バージョン 13.10, 12.10, 11.10, 10.9
    % module load pgi
  • GUPC (General Unified Parallel C)
    バージョン 4.7.0
  • MPI
    % module load mpich-x86_64

    ※ ノード間並列はできません。

3.2 可視化ソフト

  • IDL (起動コマンド CUI: idl, GUI: idlde)
    バージョン : 8.3, 8.2, 8.1
    % module load idl

    8ライセンス:全ライセンスが使用されてる場合はライセンスが解放されるのを待つ or 7分のデモモードとなります。
    ※ユーザーがIDLを使用せずに放置(idle状態に)すると3時間で自動timeoutして終了します。
    1ユーザーの同時使用は1ライセンスまでとしてください。
    複数ライセンスを長時間同時使用している場合は、ライセンスの混み具合を見てkillする場合がありますのでご注意ください。

    IDL製品情報 Exelis VIS 株式会社

  • AVS/Express Developer (起動コマンド express)
    バージョン : 8.2, 8.1, 8.0, 7.3
    % module load avs

    2ライセンス

  • GDL - GNU Data Languade バージョン 0.9.2 (起動コマンド gdl)
  • paraview バージョン 3.8.1
  • gnuplot (起動コマンド gnuplot)
    バージョン : 5.0.0, 4.6.6, 4.6.4, 4.4.4
    % module load gnuplot

    gnuplot home page

  • PLplot バージョン 5.9.7

    コンパイルするときは以下のオプションを指定して下さい。

    g++ plplottest.cc `pkg-config --cflags --libs plplotd-c++`

  • PGPLOT Graphics Subroutine Library バージョン 5.2.2
  • % module load pgplot
  • ROOT
  • % module load root
  • ImageMagick
  • RStudio (起動コマンド rstudio)
  • % module load rstudio
  • yt
  • バージョン : 2.6

    % module load yt

    ドキュメント

  • VisIt
  • バージョン : 2.7.1, 2.8.0, 2.10.0
    環境変数の設定

    $ module load visit

    現在 VisIt は parallel mode で起動しても serial mode で立ち上がります。

  • POV-Ray
  • バージョン : 3.6

    % module load povray

3.3 数式処理ソフト

3.4 スクリプト言語

  • Perl
    バージョン 5.10.1
  • Python
    バージョン 2.6.6
    • matplotlib バージョン 0.99.1.1
    • numpy バージョン 1.4.1
    • scipy バージョン 0.7.2

    バージョン3.5を使用する場合

    % module load anaconda/3

    バージョン2.7を使用する場合

    % module load anaconda/2
  • Ruby
    バージョン 1.8.7

3.5 その他のソフト

  • NEMO
  • % module load nemo



4. その他


4.1 よくある質問とその答え (FAQ)

Q.Mac OS XからVisItを使用するとエラーが発生して使用できません。
A.
以下のようなエラーが発生する場合Xquartzの設定を行う必要があります。

libGL error: No matching fbConfigs or visuals found
libGL error: failed to load driver: swrast
X Error of failed request: BadValue (integer parameter out of range for operation)
Major opcode of failed request: 154 (GLX)
Minor opcode of failed request: 3 (X_GLXCreateContext)
Value in failed request: 0x0
Serial number of failed request: 34
Current serial number in output stream: 35
Running: engine_ser2.10.0 -host 127.0.0.1 -port 5600
libGL error: No matching fbConfigs or visuals found
libGL error: failed to load driver: swrast
X Error of failed request: BadValue (integer parameter out of range for operation)
Major opcode of failed request: 154 (GLX)
Minor opcode of failed request: 3 (X_GLXCreateContext)
Value in failed request: 0x0
Serial number of failed request: 34
Current serial number in output stream: 35

解決方法

  1. Xquartzのバージョンを2.7.10以降にアップデートする
  2. ターミナルから以下のコマンドを実行する
    % defaults write org.macosforge.xquartz.X11 enable_iglx -bool true

Q.最新のPythonを使用することは可能でしょうか?
A.
最新のPythonを使用するにはご自身のホームディレクトリにPythonをインストールしていただく必要があります。
一例としてAnacondaを用いる方法を以下に示します。
1. https://www.continuum.io/ からLinux 64bit対応のインストーラをダウンロードしてホームディレクトリに置きます。
2. (bashの場合)以下のようにしてインストールを開始します。

% bash Anaconda3-4.2.0-Linux-x86_64.sh

デフォルトでホームディレクトリ直下にインストールされ、環境変数の設定も行われます。
3. 使用方法
環境変数の設定が済んでいる場合、AnacondaのPythonが使用されます。

% python --version
Python 3.5.2 :: Anaconda 4.2.0 (64-bit)

Q.解析サーバに外部のftpサーバからデータを送ることは可能でしょうか?
A.
解析サーバを含むHPCネットワーク内の機材はセキュリティの観点からftpによる接続を許可しておりません。
お手数をおかけいたしますが、scpコマンドなどを用いたデータ転送をお願いいたします。

Q.新年度になってから、利用申請をしていない場合でも、解析サーバーの/home/や/xc-work/にあるデータにはアクセスできるのでしょうか。
A.
新年度の利用申請を行われていない場合、新年度からXC30及び解析サーバにあるデータへはアクセスできなくなります。
新年度までに利用申請が間に合わなかった場合でも、解析サーバの/homeおよびファイルサーバのデータが消去されることはありません。

4.2 質問コーナー

質問がある方はこちらからどうぞ
質問コーナー(プログラミング以外の要望・意見・質問などの受付窓口)