お知らせ
はじめに
中規模サーバは計算サーバとXC50の中間程度の規模の計算需要に対応するための計算機群で，
計算サーバよりもコア数やメモリが多く利用でき，XC50よりは1ノードを長時間占有することができます．
現在試験運用中で，利用できるのはCfCAの計算資源（XC50，計算サーバ，GPU，GRAPE）を既に利用中のユーザです．
中規模サーバ単独での利用申請は受け付けておりませんので，上記のシステムのうち用途として近いものに申請してください．
申請が採択されると自動的に中規模サーバの利用（およびGPU試験利用）が可能になります．
試験運用期間は 2021年6月9日（水）から2021年度末を予定しています．
システム概要
ログインノード：母禮（モレ）
| アドレス | more.cfca.nao.ac.jp |
| CPU | 仮想ホストの AMD EPYC 7282 のうちの 8 コア |
| 主記憶 | 32 GiB/node |
| OS | Ubuntu 20.04 LTS |
計算ノード：[e001-006]
| ノード数 | 6 |
| CPU | AMD EPYC 7402(24 cores) x 2 / node |
| 主記憶 | 512 GB/node |
| OS | Ubuntu 20.04 LTS |
計算ノード：[e007-010]
| ノード数 | 4 |
| CPU | AMD EPYC 74F3(24 cores) x 2 / node |
| 主記憶 | 512 GB/node |
| OS | Ubuntu 20.04 LTS |
環境設定
解析サーバ・計算サーバ・GPUなどではホームディレクトリを共有しておりますが、各システムごとに読み込むべき設定が異なるので、処理を切り分ける必要があります。その切り分けに対応した初期設定ファイルの例を提供しております。詳しくは 解析サーバ 利用の手引き 2.3.1 シェルの環境設定ファイルをご参照ください。
利用申請
既にCfCAの共同利用計算機ユーザである場合には利用申請不要です．
中規模サーバ単独での利用申請は受け付けておりません．
現在共同利用計算機ユーザで無い方で中規模サーバの利用を希望される場合には，
ご自身の研究に対して適合するCfCA共同利用計算機システムの利用申請を行ってください．
申請が採択されるとご利用になれます．（同時にGPU試験利用機材も利用可能になります．）
利用方法
ジョブスケジューラはPBSで，利用可能なキューは
| キュー名 | 備考 | Walltime |
| debug | e001を1node占有 SMT on | 00:10:00 |
| small | e002,e003,e007 最大6コア（1ノードあたり最大8ジョブ）SMT on | 168:00:00 |
| single | e[004-006], e[008-010]を1node 占有 SMT on | 48:00:00 |
です．
small は SMT on で 96 cpu に見えますがPBSがジョブに配分できる CPU を 48 に設定しています．
Walltime等は随時変更される可能性があります．最新のものは
$ qstat -Qf
で確認してください．
※ SMT : Simultaneous Multi Threading ( Intel で言うところの Hyperthreading )
コンパイラ
gcc および gfortran 利用可能です．
解析サーバとOSが異なるため，いまのところ intel Compiler 等は利用できません．
近いうちにAOCC (AMD Optimizing C/C++ Compiler) の導入を予定しています．
その他各種ソフトウェア環境の整備を希望される場合は問い合わせフォームからお問い合わせください．
MPI環境は，現在OpenMPIのみ利用可能になっています．
$ module load ompi4
としてOpenMPI環境を load すると
mpic++ mpicc mpiCC mpicxx mpif77 mpif90 mpifort
が利用できます．
module load ompi4 はジョブスクリプト内にも記述が必要です．
ジョブスクリプトの例
※ bash 以外を指定すると正常に動作しないことがあります
#!/bin/bash
#PBS -q single
#PBS -m n
#PBS -l nodes=1:ppn=10
#PBS -l walltime=00:30:00cd $PBS_O_WORKDIR
module load ompi4
mpiexec -n 10 ./a.out
ストレージ
中規模サーバおよびGPU用ストレージとして /gwork0/<username >が利用できます．
<username >ディレクトリは作成済みですが，存在しない場合にはお問い合わせください．
三鷹のシステム共通の /home も読み書きが可能ですが，残容量が少ないため，なるべく /gwork0 をご利用ください．
quotaはまず2TBに設定されます．（歴史的事情からGPUユーザは20TBに設定されます．）
拡張を希望される場合はお問合せください．
お問い合わせ
本システムに関するお問い合わせは「各種問い合わせ」からお願い致します。