GPU試験利用

2.1 構成

2.2 ストレージ

/home/<username > および /gwork0/<username > が利用できます．
/gwork0 は，中規模サーバ，GPU系と共通のストレージで，解析サーバからも使用できます．
quota は以下のコマンドで確認することができます．

$ quota -s

2.3 アクセス方法

本機材はその他のシステム同様，CfCA-HPCネットワーク内に設置されています．
VPNを用いてHPCネットワークに接続し，g00.cfca.ac.jp にログインしてください．

$ ssh -l アカウント名 g00.cfca.nao.ac.jp

VPNによる接続方法の詳細はHPCネットワークへの接続方法を御覧下さい。
CfCA共同利用計算機のアカウント名(本Webシステムのアカウント名ではありません)は本Webシステムのアカウント情報から確認することができます。
また初期NISパスワードは利用申請受理後にメールで配信されます。

3.2 ジョブ管理システム

GPUクラスタではジョブ管理システムとしてOpenPBS (version 20.0.0)を導入しています．
ログインノードからジョブ管理システムを用いてジョブを実行して下さい．
試験公開中のため，予告なくキューの設定を改定することがあります．
現時点でのキューは以下の通りです．

dgx-debug	最大8GPU, 128CPU, walltime 10 min
dgx-small	最大2GPU, 16CPU, walltime 48h
dgx-half	最大4GPU, 32CPU, walltime 12h
dgx-full	最大8GPU, 128CPU, walltime 3h

制限値の実態は

[g00 ~]$ qstat -Qf

で確認できます．

利用可能なキュー

利用可能なキューは随時変更される可能性があります．

$ qstat -Qf

などで確認して下さい．

ジョブの投入方法

計算の投入に必要な最小のジョブスクリプトは以下の通りです．test.sh など適当な名前で保存してください．
ジョブスクリプトのシェルを bash 以外をにするとmoduleの環境変数が読み込まれないことがあります．bashを指定するよにしてください．

#! /bin/bash
#PBS -q dgx-small
#PBS -l walltime=00:00:60
#PBS -l select=1:ngpus=2:ncpus=8
module load nvhpc
cd $PBS_O_WORKDIR
./a.out > a.log
# mpiexec -n 8 a.out # ※ MPI プログラムの場合

プログラムを実行するディレクトリの設定が必要です。
以下のようにプログラムを実行するディレクトリをcd コマンドで設定してください。

cd /home/YOUR_ACOUNT/DIR

ジョブスクリプトを投入したディレクトリは $PBS_O_WORKDIR という環境変数に格納されます．
したがって投入ディレクトリへの移動は以下のように記述することもできます．

cd $PBS_O_WORKDIR

ジョブスクリプトの最終行でプログラムを実行しています．
標準出力が多くなったときに不具合が生じることがあるため，リダイレクトは必ず書くようにしてください．

./a.out > a.log

スクリプトを作成後，qsubコマンドでジョブを投入します．

% qsub test.sh

1つのジョブが使用できるメモリは default で 64GiB に制限されています．
さらに多くのメモリが必要な場合には，

#PBS -l select=1:ngpus=2:ncpus=8:mem=128gb

などとして必要量を確保してください．
今のところ上限は設けておりませんが，過剰に確保せずに必要量を指定してご利用下さい．

MPIジョブのためのジョブスクリプト

[2021年7月17日] MPIプログラムを起動するのに数分かかります．Walltime が 1分程度だとプロセスが立つ前にタイムアウトします．余裕をみて少なくとも5分以上設定するようにしてください．
MPIプロセスはmpiexec で起動する必要があります．最も単純なジョブスクリプトは以下のようなものです．
-np オプションでプロセス数を指定します．

#!/bin/bash
#PBS -q dgx-small
#PBS -l walltime=00:00:60
#PBS -l select=1:ngpus=2:ncpus=8
cd $PBS_O_WORKDIR
module load nvhpc
mpiexec -np 8 a.out

ジョブの確認

qstat -a

以下は表示例です。

bash-4.2$ qstat -a

g00:
Req'd Req'd Elap
Job ID Username Queue Jobname SessID NDS TSK Memory Time S Time
--------------- -------- -------- ---------- ------ --- --- ------ ----- - -----
135.g00 <user_name> dgx-full hello.sh 18366 1 1 -- 00:00 R 00:00

状態(S の列，Status の意味) は以下の種類がある．

E (Exiting)	実行済みで終了中
H (Held)	保留状態
Q (Queued)	キュー待機状態
R (Running)	実行中
S (Suspended)	中断中

ジョブの消去

以下のコマンドによってジョブをキャンセルできます。

qdel <JOB-ID>

JOB-ID は上記qstat コマンドで調べることができます。