ファイルサーバを含めた各計算機の利用申請フォームはこちらです。
お知らせ
- glv1 からのデータ移行の手引き
- 1 ファイルサーバ概要
- 2 募集要項および利用申請
- 3 ファイルサーバ利用の手引き
- 3.1 fs50, fs51 に領域を持っている場合
- 3.2 glv0, glv1 に領域を持っている場合
- 3.3 cfcafs[00-49] (/misc/workXXX) に領域を持っている場合
- 3.4 割当容量の年次減衰
- 4 その他の注意事項
Last Updated: 2024/04/09
1. ファイルサーバ概要
データ量が大きくなり、解析サーバの "/home/ユーザアカウント名"のホームディレクトリだけでは足りなくなった場合、もしくは研究計画上そうなることが予想される場合のためにCfCAではファイルサーバを運用しています。
利用を希望される方は、「2. 募集要項および利用申請」をご参照の上、ファイルサーバの利用申請を行ってください。
申請が受理されrると、ディレクトリが作成され、その旨がメールで通知されます。
ファイルサーバは、数十台のラックマウントサーバにより構成されたデータストレージです。 各サーバにはRAID6，または ZFS (raidz3) で冗長化されたボリュームが存在し、 各ボリュームはNFSファイル共有により 10GbE または 25GbE の高速ネットワークを介して解析サーバに接続されています。 2019-2021 年度に供用開始した glv0，および glv1 ではGlusterFSという分散ファイルシステムを使って複数台のサーバでひとつのボリュームを構成しています。2022年度以降に供用開始した fs5x は ZFS を使ってボリュームを束ねています。各サーバの構成は以下の通りです。
| ホスト名 | ボリューム構成 |
| cfcafs[26-29] | 約40TB x 3 合計 約120TB |
| cfcafs[30-48] | 約120TB x 1 |
| cfcafs50:/fs50, cfcafs51:/fs51 | 1.6 PiB (1.8PiB) ZFS (raidz3) |
| cfcafs51:/fs52 | 2.1 PiB (2.3PB) ZFS (raidz2) |
| cfcafs01:/fs60 | 2.1 PiB (2.3PB) ZFS (raidz2) |
| glfs[100-102] /glv0 | 1.7 PB (distributed GlusterFS volume) |
| glfs103 /glv1 | 1.6 PB (distributed GlusterFS volume) |
2. 募集要項および利用申請
2.1 応募資格
ファイルサーバに利用申請できるのはファイルサーバ申請時に共同利用計算機 (Cray XC50、GPUクラスタ、計算サーバ) を利用されている方のみです。
2.2 申請方法と利用期間
希望容量に関わらず、すべての容量について随時申請が可能です。
（これまで希望容量が10TBの場合に限り随時申請が可能で、10TBを超える申請については年2回の定期申請のみ受け付けていました。しかし、2025年度の追加募集開始以降はこの制限が廃止されました。）
申請フォームは上部メニューおよびこちらにあります。申請受理もしくは不受理の通知は、申請受付後10営業日以内に電子メールにておこないます。利用申請してから 1 時間以内に受付確認のメール(自動送信)が届かない場合には、お手数ですがお問い合わせフォームよりお問い合わせ下さい。
採択された容量は採択日から次年度末まで使用可能です。つまり2026年4月1日から3月31日までに採択された申請は，2027年度末の2028年3月31日まで使用可能です。
その後、採択された容量は，利用期間を過ぎると毎年度末に13%減衰します(下限10TiB)。 詳しくは割当容量の年次減衰をご覧ください。
3. ファイルサーバ 利用の手引き
ファイルサーバの利用に際しては後の「4. その他の注意事項」を必ずお読みください。
解析サーバで cfcafs_quota コマンドを実行することで以下のように現在の利用状況および保持しているディレクトリの位置を確認することができます。
an13:~$ cfcafs_quota
Directory Used Quota
-----------------------------------------------------------
/fs50/<userid> 14.95 22.92
-----------------------------------------------------------
Total allocated capacity : 22.92
Entitled capacity fy2023 : 22.92
Used : 14.95
(Unit : TiB)
Last Updated on Wed Jul 12 03:15:11 JST 2023
Total allocated capacity は現在保有している quota の合計、Entitled capacity fyYYYY は YYYY 年度の年次減衰が反映された値です。
年次減衰未反映かつ、Used が Entitled より大きい場合は CfCA 側の減衰作業が完了次第書き込みができなくなるため、
ファイルを整理するか、受付期間中に増量の申請を行うようにしてください。
このコマンドで確認できる値は通常1日に1回更新されます。次節以降に記載しているサーバ毎の方法では最長1時間毎に更新を行なっております。
お急ぎの場合はサーバ毎の値を確認するようにしてください。
（パスが通っていない場合は /usr/local/bin/cfcafs_quota を実行してください。）
3.1 fs50, fs51, fs52 に領域を持っている場合
ディレクトリは解析サーバに"/misc/fsXX/ユーザアカウント名"という名前でオートマウントされます。 (XXはサーバ名の末尾2桁の数字で、利用開始時にメールで通知されます。) 解析サーバからディレクトリが見えない場合、一度 "ls /misc/fsXX/ユーザアカウント名" などのコマンドを用いてアクセスすることでマウントされます。 ディレクトリは一定時間アクセスがなかった場合、自動的にアンマウントされます。
"/fsXX/ユーザアカウント名" でもアクセス可能です．
quota 情報は1時間に1度 /fsXX/userspace.txt に書き込まれています。単位は TiB です。 /fsXX/p-userspace.txt には byte 単位の利用状況が書き込まれます。 quota をユーザがコマンドで直接確認することはできません。 またディレクトリを計算ノードから参照することはできません。
3.1 glv0, glv1 に領域を持っている場合
各ユーザのディレクトリは解析サーバに "/glvX/ユーザアカウント名" という名前で常時マウントされています。 quota 情報は1時間に1度 /glvX/userspace.txt に書き込まれています。ユーザがコマンドで直接確認することはできません。 ディレクトリを計算ノードから参照することはできません。 負荷低減のためnoatimeでマウントしています．最終アクセス時刻は保存されません．
ファイルシステムの性質上、ls （tabによる補完を含む）や du といったメタデータを読み込むコマンドを多数のファイルに対して実行すると応答に非常に時間がかかります。ファイルシステムの仕様上の問題のため短期的には改善できません。ご不便とは思いますが同一ディレクトリ内のファイル数を絞るなどしてご利用ください。
3.3 cfcafs[00-49] (/misc/workXXX) に領域を持っている場合
ディレクトリは解析サーバに"/misc/workXXX/ユーザアカウント名"という名前でオートマウントされます。 (XXXはユーザのディレクトリが作成されたファイルシステムの位置を示す3桁の数字で、利用開始時にメールで通知されます。) 解析サーバからディレクトリが見えない場合、一度 "ls /misc/workXXX/ユーザアカウント名" などのコマンドを用いてアクセスすることでマウントされます。 ディレクトリは一定時間アクセスがなかった場合、自動的にアンマウントされます。
3.4 割当容量の年次減衰
10TiBを超える容量を割り当てられていて、採択容量の有効期間内に新たな申請が採択されなかった場合、有効期間の末日(年度末)を起点として，以降，毎年度末に10TiBを下限として割り当て容量が13%削減されます。
新年度割当=max(前年度割当*0.87, 10TiB)
この年次減衰作業でファイルが削除されることはありませんが、維持が必要な場合は採択された容量の有効期間内に申請を忘れないようにご注意ください。
実際にクォータが減衰する時期を確認されたい場合は、個人ページの「ファイルサーバ採択年度」をご覧ください。
「ファイルサーバ採択年度」に記載されている年度の末日を起点として、以降、毎年度末にクォタが13%ずつ減衰します。
4. その他の注意事項
- ファイルサーバ機材は冗長化されており、運用は細心の注意を払っておこなっておりますが、予期せぬデータ消失の可能性もあることを御承知おきください。ファイルサーバ利用に当たっての不慮の事故や自然災害等による利用者データの破損・消失、プログラム実行結果やその遅延等により利用者が受け得る如何なる損害についても、本プロジェクトとしては一切の補償・保証を行うことが出来ません。また、ファイルサーバ上の利用者データについて本プロジェクトとしてはバックアップの保管等は全く行っていません。あらかじめ御了承ください。計算コードや実行条件といった、再計算に必要なデータは複数の場所に保存することを強く推奨します。
- ファイルサーバを利用する上で相応しくない行為があったとこちらで判断した場合、警告無くファイルサーバの利用を停止させて頂きます。
- 利用状況により、別ディスクへの移動をお願いすることがあります。
- 利用状況により、ディスク領域1つに複数ユーザを割り当てることがあります。
- 利用状況により、必ずしも申請時に希望された容量を割り当てることが出来ない可能性があります。
- ファイルサーバで利用出来る全容量の上限は物理容量で約240 TBとさせていただきます。実効容量[1]では約216 TBとなります。
- 制限以上の容量が必要になった場合、必要な容量で再度申請を行ってください。この際、追加したい容量ではなく、希望する総容量で申請する必要があることに注意してください。
年2回行われる募集(希望容量>10 TB)に申請してください - ネットワーク帯域を過度に消費するデータ転送はご遠慮下さい。
- ファイルサーバ利用中に共同利用計算機のアカウントが無くなった場合は、その時点から一年後に領域を返却していただきます。データの引き上げにはご自身の共同利用計算機アカウントが必要になりますのでご注意ください。
半年間共同利用アカウントの申請を行わなかった場合、データの削除を行います。ファイルサーバの利用申請から1年間ご利用の無かったディレクトリについては返却していただきます。
[1] HDDの容量が1 TB=10^12 Byte表記であるのに対して、ソフトウェアからは 多くの場合1 TB=2^40 Byte(=1 TiB)として認識されるために、TB表示の場合には最大で約9%の表記ずれが生じます（kB表示であれば約2.3%）。 申請容量が40 TB未満の場合には10^12 Byte単位で制限を掛けているため、必ず申請容量よりも多く表示されますが、 40 TB以上の場合には40 TBや120 TBのサーバを占有するという配分になっていることがあり、申請容量よりも少なく表示されることになります。 どのような資源配分になるかは、機材の空き状況に依存しているためユーザ毎に厳密な数値は異なります。 大容量の方ほど影響が大きくなりますが、仕様としてご理解いただけますようお願いいたします。