現在地

ゲストさん、ようこそ。 ログインはこちら / アカウント作成はこちら

解析サーバ

解析サーバ 利用の手引き


お知らせ

(2018-12-20)
作業の遅れにより利用の手引き(このページ)の情報が現状と整合的でなくなっております。ご不便をおかけして申し訳ありません。
順次改定を進めて参りますが、不明な点がございましたらお問い合わせください。

また、一部のソフトウェアは新機材でのセットアップが終わっていないため旧機材を継続して運用しています。
新機材にまだ存在していないソフトウェア、および不具合があった場合などは旧機材をご利用ください。
不具合と思われる場合はお問い合わせフォームからご報告いただけますようお願いいたします。

(2018-12-19)
anaconda 2系、および 3系が利用可能になりました。

(2018-12-12)
CfCA News 等でお知らせさせていただいておりますが、12月12日に解析サーバが更新されました。
an.cfca.nao.ac.jp を指定することで新機材に接続されます。問題があった場合には
旧機材 ( an00.cfca.nao.ac.jp または an01.cfca.nao.ac.jp ) をご利用ください。
ただし、AVS-Express, idl, intel Compiler, maple, Mathematica, pgi Compiler については
ライセンス認証の制約のため旧機材ではご利用になれません。

    Last Updated: 2018/12/20




    1. システムの概要


    解析サーバはシミュレーションデータを解析・可視化するためのサーバ群です。各サーバはそれぞれ多数の演算コア、大容量のメインメモリと各種解析・可視化ソフトウェアがインストールされており、CfCAの共同利用計算機のアカウントを持つ全てのユーザーが使用することができます。また解析サーバには大容量ファイルサーバ群が10GbEの高速ネットワークで接続され、一体のシステムとして運用されています。

    現在運用されている解析サーバーは以下の通りです。これらの解析サーバは全てCfCA HPCネットワーク内に存在します。

    表1. CfCA解析サーバ
    ホスト名 ドメイン名 主演算装置 主記憶装置 設置場所
    an[09-14] an[09-14].cfca.nao.ac.jp Intel Xeon CPU E5-2697 v4 ✕ 2 1TB 国立天文台三鷹キャンパス
    an[00-01] an[00-01].cfca.nao.ac.jp AMD Opteron 6172 2.1GHz ✕ 2 256GB 国立天文台三鷹キャンパス



    2. 解析サーバーの利用案内


    ここでは、解析サーバを利用する上で必要となる事柄を紹介していますので、解析サーバの利用を希望する方は必ず目を通して下さい。

    2.1 利用ポリシー

    CfCAの共同利用計算機のアカウントを持つ全ての利用者が解析サーバーを利用することができます。
    従いまして解析サーバの利用のあたっては、各利用者は他の利用者の利便を絶対に損なわないようにしてください。
    利用者が使用できるCPUとメモリは1ノード当たり計算資源の50%です。利用者が1ノードで実行中のジョブとプロセスの合計使用量が50%以下になるようご協力をお願い致します。
    また、プロセス数もCPUコア数の50%です。 過度にネットワークに負荷をかける解析もご遠慮願います。
    これらの利用ポリシーが守られていないとこちらで判断した場合、警告無く利用者のプロセスを終了することをご了承下さい。
    現在解析サーバでは1人当たりの同時利用ジョブ数の制限などはしていませんが、利用状況によっては今後ジョブ管理システムの導入を検討する可能性もあります。

    2.2 ユーザーアカウントとログイン

    CfCAの共同利用計算機のアカウントを持つユーザーであれば新たに申請すること無く、同じアカウントでそのまま解析サーバを使用できます。
    解析サーバへはsshを用いて、

    % ssh an.cfca.nao.ac.jp -l username -X

    とすることで 何れかの計算機にログインすることができます。

    ユーザーのパスワードとシェルの変更は、それぞれ例えば解析サーバにログインして、

    % yppasswd

    % ypchsh

    とすれば行えます。
    HPCネットワークで使用できるシェルは、bash、csh、ksh、sh、tcsh、zsh です。ypcshでシェルを変更する場合は必ず絶対パスで指定してください。
    設定が反映されるまで数分かかりますのでご注意願います。
    なおこの変更は XC50、GRAPE システム、計算サーバにも反映されてしまいますので御注意ください。

    2.3 ユーザー環境設定

    解析サーバでは必要なソフトウェアの切替とそのための環境変数の設定がmoduleコマンドを用いて行うことが出来ます。
    利用可能なソフトウェアの環境変数モジュールは、以下のコマンドで知ることが出来ます。

    % module avail

    ※ ここで表示されるモジュールの内、実際に使用できる環境変数モジュールは、intel、pgi、nemo、maple、mathematica、pgplot、gnuplot、rstudio、visit、yt、avs、idl、root です。
    現在読み込まれている環境変数モジュールは、次のコマンドで知ることが出来ます。

    % module list

    Intelコンパイラを使用したい場合は以下のようにして、Intelコンパイラの環境変数モジュールを読み込んでください。

    % module load intel/2018

    異なるバージョンのソフトウェアに切り替えたい場合は、以下のようにしてください。

    % module switch intel/2018

    ※ 同じソフトウェアの異なるバージョンを同時に読み込むことはできません。
    モジュールを削除するには以下のようにしてください。

    % module unload intel/2018

    2.4 ユーザーのディスク環境

    CfCAの共同利用計算機にアカウントを持つ全ての利用者は、アカウント取得と同時に解析サーバにホーム領域が与えられます。

    表2. ディスク環境
    ディスク領域 ソフトリミット※1 ハードリミット※2、※3 メールによるクォータ超過時の通知 備考
    /home/アカウント名 1TB 1.5TB あり

    ※1. ソフトリミットを超過した場合、7日後に書き込みが出来なくなります。
    ※2. ハードリミットを超えた書き込みは出来ません。
    ※3. より大容量のディスク領域が必要な場合は、ファイルサーバをご利用ください。
    書き込みができなくなった場合はソフトリミット以下まで容量を減らして下さい。
    容量の確認には"quota"コマンドをお使い下さい。
    リミット超過の警告メールを転送するために /home/(ユーザーアカウント名)/ 下に .forward ファイルを作成しご自身のメールアカウントを記載して下さい。
    メール転送の設定を行っていない場合、こちらで転送設定を行わせていただくことがありますのでご了承願います。

    2.5 データ転送

    計算結果を解析する場合は、scpを用いて解析サーバへデータ転送を行ってください。
    また、ファイルをHPCネットワーク外部へ転送する場合、
    アクセス許可された外部マシン側から受け取るようにして転送してください。

    外部マシン% scp username@an01.cfca.nao.ac.jp:/home/username/hogehoge.c ./

    なお、現在解析サーバーからインターネットへのアクセスは制限されており外部へのwebアクセスはできません。

    xc50システムのwork領域が/xc-workに読み込み専用でマウントされています。
    xc50からファイルサーバへデータを転送する際にご利用下さい。

    2.6 計算資源の制限方法

    CPU利用率を制限するには cpulimit コマンドを使用します。
    以下の使用例では指定したプログラムのCPU使用率を 50% に制限しています。

    % cpulimit -e プログラム名 -l 50

    また、すでに実行中のジョブについてはプロセスIDを指定して制限できます。

    % cpulimit -p プロセスID -l 50

    3. 利用可能なアプリケーション


    天文シミュレーションプロジェクトでは、解析サーバで利用可能なアプリケーションの操作法に関するサポートは行なっておりません。

    3.1 コンパイラ/解析言語

    • GNU Compiler
      • gcc バージョン 4.4.7
      • g77 バージョン 3.4.6
      • gfortran バージョン 4.4.7
    • Intel Compiler
      バージョン : 14.0, 13.1, 12.1, 12.0
      % module load intel

      同時使用2ライセンス:ライセンスエラーが出た人はちょっとタイミングをずらして使ってください。

    • PGI Compiler
      バージョン 13.10, 12.10, 11.10, 10.9
      % module load pgi
    • GUPC (General Unified Parallel C)
      バージョン 4.7.0
    • MPI
      % module load mpich-x86_64

      ※ ノード間並列はできません。

    3.2 可視化ソフト

    • IDL (起動コマンド CUI: idl, GUI: idlde)
      バージョン : 8.7
      % module load idl

      8ライセンス:全ライセンスが使用されてる場合はライセンスが解放されるのを待つ or 7分のデモモードとなります。
      ※ユーザーがIDLを使用せずに放置(idle状態に)すると3時間で自動timeoutして終了します。
      1ユーザーの同時使用は1ライセンスまでとしてください。
      複数ライセンスを長時間同時使用している場合は、ライセンスの混み具合を見てkillする場合がありますのでご注意ください。

      IDL製品情報 Exelis VIS 株式会社

    • AVS/Express Developer (起動コマンド express)
      バージョン : 8.4
      % module load avs

      2ライセンス

    • GDL - GNU Data Languade バージョン 0.9.2 (起動コマンド gdl)
    • paraview バージョン 3.8.1
    • gnuplot (起動コマンド gnuplot)
      バージョン : 5.2.5
      % module load gnuplot

      gnuplot home page

    • PLplot バージョン 5.9.7

      コンパイルするときは以下のオプションを指定して下さい。

      g++ plplottest.cc `pkg-config --cflags --libs plplotd-c++`

    • PGPLOT Graphics Subroutine Library バージョン 5.2.2
    • % module load pgplot
    • ROOT
    • % module load root
    • ImageMagick
    • RStudio (起動コマンド rstudio)
    • % module load rstudio
    • yt
    • バージョン : 2.6

      % module load yt

      ドキュメント

    • VisIt
    • バージョン : 2.7.1, 2.8.0, 2.10.0
      環境変数の設定

      $ module load visit

      現在 VisIt は parallel mode で起動しても serial mode で立ち上がります。

    • POV-Ray
    • バージョン : 3.6

      % module load povray

    3.3 数式処理ソフト

    3.4 スクリプト言語

    • Perl
      バージョン 5.10.1
    • Python
      バージョン 2.6.6
      • matplotlib バージョン 0.99.1.1
      • numpy バージョン 1.4.1
      • scipy バージョン 0.7.2

      バージョン3.5を使用する場合

      % module load anaconda/3

      バージョン2.7を使用する場合

      % module load anaconda/2
    • Ruby
      バージョン 1.8.7

    3.5 その他のソフト

    • NEMO
    • % module load nemo



    4. その他


    4.1 質問コーナー

    よくある質問とその回答についてはこちらをご覧ください。
    それ以外の質問がある方は以下のリンクからどうぞ。
    質問コーナー(プログラミング以外の要望・意見・質問などの受付窓口)