Cray Programming Environment (CPE) 環境におけるMPIプログラムの実行方法(暫定案)

XD2000ユーザのみなさま

XD2000 の Cray Programming Environment (CPE) 環境において計算実行に不具合があり、皆様にはご迷惑をおかけしております。
調査の結果、上記の現象ではMPIプロセス総数が64以上の場合にMPI_Init以降の処理が実行されなくなっていることがわかりました。

根本的な解決には至っていないため暫定策となりますが、以下のように ジョブスクリプトを変更することで、CPE 環境でMPIプログラムを実行することが可能です。

PrgEnv-cray, PrgEnv-gnu, PrgEnv-intel にて MPI_Init以降の処理に進むことが確認されています。

(1) PMIの置き換え

export SLURM_MPI_TYPE=pmi2
export LD_LIBRARY_PATH=/lib64:${LD_LIBRARY_PATH}
(2) Cray MPICHの設定変更 

export FI_OFI_RXM_USE_SRX=0
export FI_VERBS_PREFER_XRC=0

ただし、この環境であってもMPI-IOがうまくいかない可能性があります。

こちらの内容は以下のページでもご覧になれます。
今後も新たな情報がありましたら、以下のページに追記していきますので、適宜ご確認ください。
https://www.cfca.nao.ac.jp/xd2000_cpe_tentative_plan

ご不明な点などございましたら以下からお問い合わせください。
https://www.cfca.nao.ac.jp/consult