ファイルサーバ

Last Updated: 2023/07/12


1. ファイルサーバ概要

データ量が大きくなり、解析サーバの "/home/ユーザアカウント名"のホームディレクトリだけでは足りなくなった場合、もしくは研究計画上そうなることが予想される場合のためにCfCAではファイルサーバを運用しています。
利用を希望される方は、「2. 募集要項および利用申請」をご参照の上、ファイルサーバの利用申請を行ってください。
申請が受理されrると、ディレクトリが作成され、その旨がメールで通知されます。

ファイルサーバは、数十台のラックマウントサーバにより構成されたデータストレージです。 各サーバにはRAID6,または ZFS (raidz3) で冗長化されたボリュームが存在し、 各ボリュームはNFSファイル共有により 10GbE または 25GbE の高速ネットワークを介して解析サーバに接続されています。 2019-2021 年度に供用開始した glv0,および glv1 ではGlusterFSという分散ファイルシステムを使って複数台のサーバでひとつのボリュームを構成しています。2022年度以降に供用開始した fs50, fs51 は ZFS を使ってボリュームを束ねています。各サーバの構成は以下の通りです。

表1. CfCAファイルサーバ
ホスト名 ボリューム構成
cfcafs[00-29] 約40TB x 3 合計 約120TB
cfcafs[30-48] 約120TB x 1
cfcafs[50-51] /fs[50-51] 1.6 PiB (1.8PiB) ZFS (raidz3)
glfs[100-102] /glv0 1.7 PB (distributed GlusterFS volume)
glfs103 /glv1 1.6 PB (distributed GlusterFS volume)

 


2. 募集要項および利用申請

2020年度から運用方法が改訂となりました。希望容量が10 TBより大きい場合と10 TB以下の場合で申請方法が異なります。

2.1 応募資格

  • 随時申請[希望容量≦10TB]:ファイルサーバに利用申請できるのはファイルサーバ申請時に共同利用計算機 (Cray XC50、GPUクラスタ、計算サーバ) を利用されている方のみです。
  • 定期申請[10TB<希望容量]:ファイルサーバに利用申請できるのはファイルサーバ利用時に共同利用計算機 (Cray XC50、GPUクラスタ、計算サーバ) を利用されている方のみです。

2.2 希望容量 > 10 TBの場合

XC50 (XC-Trial以外) と同じ日程で、年2回 (4月利用開始分と10月利用開始分)の申請受付と審査を行います。
既にファイルサーバに容量をお持ちの場合は、容量変更の時点で共同利用計算機にアカウントがある方のみ申請を受け付けます。
次年度利用の申請がなかった場合は、3月末でディスククォータを自動的に13%削減します。したがって現在利用されている方で、次年度も同じ容量を継続して利用したい場合には毎年度申請をする必要がありますのでご注意ください。ただし,この自動的な容量の削減の下限値は10 TBであり、10TB よりも容量が減ることはありません。

申請の締め切りや審査結果の通知時期については、CfCA Newsをご確認ください。
また、申請の受け付け期間中は、 トップページの「お知らせ」にも締め切りの情報を掲示します。
審査結果はWebログイン時に表示されるユーザ情報画面に記載されます。

2.3 希望容量 ≦ 10 TBの場合

随時申請を受け付けます。このページの上部にあるリンクをクリックして申請ページへ行ってください(要ウェブログイン)。一度割り当てられた容量は半永久的に利用することができます。申請受理もしくは不受理の通知は、申請受付後10営業日以内に電子メールにておこないます。
利用申請してから 1 時間以内に受付確認のメール(自動送信)が届かない場合には、お手数ですが以下のリンク先のお問い合わせフォームよりお問い合わせ下さい。

各種問合わせ

 


3. ファイルサーバ 利用の手引き

ファイルサーバの利用に際しては後の「4. その他の注意事項」を必ずお読みください。

解析サーバで cfcafs_quota コマンドを実行することで以下のように現在の利用状況および保持しているディレクトリの位置を確認することができます。

an13:~$ cfcafs_quota 
Directory                         Used   Quota
-----------------------------------------------------------
/fs50/<userid>                    14.95   22.92
-----------------------------------------------------------
Total allocated capacity : 22.92
Entitled capacity fy2023 : 22.92
Used : 14.95
(Unit : TiB)

Last Updated on Wed Jul 12 03:15:11 JST 2023

Total allocated capacity は現在保有している quota の合計、Entitled capacity fyYYYY は YYYY 年度の年次減衰が反映された値です。
年次減衰未反映かつ、Used が Entitled より大きい場合は CfCA 側の減衰作業が完了次第書き込みができなくなるため、
ファイルを整理するか、受付期間中に増量の申請を行うようにしてください。
このコマンドで確認できる値は通常1日に1回更新されます。次節以降に記載しているサーバ毎の方法では最長1時間毎に更新を行なっております。
お急ぎの場合はサーバ毎の値を確認するようにしてください。
(パスが通っていない場合は /usr/local/bin/cfcafs_quota を実行してください。)

3.1 fs50, fs51 に領域を持っている場合

ディレクトリは解析サーバに"/misc/fsXX/ユーザアカウント名"という名前でオートマウントされます。 (XXはサーバ名の末尾2桁の数字で、利用開始時にメールで通知されます。) 解析サーバからディレクトリが見えない場合、一度 "ls /misc/fsXX/ユーザアカウント名" などのコマンドを用いてアクセスすることでマウントされます。 ディレクトリは一定時間アクセスがなかった場合、自動的にアンマウントされます。
"/fsXX/ユーザアカウント名" でもアクセス可能です.
quota 情報は1時間に1度 /fsXX/userspace.txt に書き込まれています。単位は TiB です。 /fsXX/p-userspace.txt には byte 単位の利用状況が書き込まれます。 quota をユーザがコマンドで直接確認することはできません。 ディレクトリを計算ノードから参照することはできません。

3.1 glv0, glv1 に領域を持っている場合

各ユーザのディレクトリは解析サーバに "/glvX/ユーザアカウント名" という名前で常時マウントされています。 quota 情報は1時間に1度 /glvX/userspace.txt に書き込まれています。ユーザがコマンドで直接確認することはできません。 ディレクトリを計算ノードから参照することはできません。 負荷低減のためnoatimeでマウントしています.最終アクセス時刻は保存されません.

ファイルシステムの性質上、ls (tabによる補完を含む)や du といったメタデータを読み込むコマンドを多数のファイルに対して実行すると応答に非常に時間がかかります。ファイルシステムの仕様上の問題のため短期的には改善できません。ご不便とは思いますが同一ディレクトリ内のファイル数を絞るなどしてご利用ください。

3.3 cfcafs[00-49] (/misc/workXXX) に領域を持っている場合

ディレクトリは解析サーバに"/misc/workXXX/ユーザアカウント名"という名前でオートマウントされます。 (XXXはユーザのディレクトリが作成されたファイルシステムの位置を示す3桁の数字で、利用開始時にメールで通知されます。) 解析サーバからディレクトリが見えない場合、一度 "ls /misc/workXXX/ユーザアカウント名" などのコマンドを用いてアクセスすることでマウントされます。 ディレクトリは一定時間アクセスがなかった場合、自動的にアンマウントされます。

3.4 割当容量の年次減衰

10TiBを超える容量を割り当てられていて、次年度募集時に申請を行わなかった場合、次の年度の前半に10TiBを下限として割り当て容量が13%削減されます。
新年度割当=max(前年度割当*0.87, 10TiB)
この年次減衰作業でファイルが削除されることはありませんが、維持が必要な場合は年度末募集での申請を忘れないようにご注意ください。

4. その他の注意事項

 

  • ファイルサーバ機材は冗長化されており、運用は細心の注意を払っておこなっておりますが、予期せぬデータ消失の可能性もあることを御承知おきください。ファイルサーバ利用に当たっての不慮の事故や自然災害等による利用者データの破損・消失、プログラム実行結果やその遅延等により利用者が受け得る如何なる損害についても、本プロジェクトとしては一切の補償・保証を行うことが出来ません。また、ファイルサーバ上の利用者データについて本プロジェクトとしてはバックアップの保管等は全く行っていません。あらかじめ御了承ください。計算コードや実行条件といった、再計算に必要なデータは複数の場所に保存することを強く推奨します。
  • ファイルサーバを利用する上で相応しくない行為があったとこちらで判断した場合、警告無くファイルサーバの利用を停止させて頂きます。
  • 利用状況により、別ディスクへの移動をお願いすることがあります。
  • 利用状況により、ディスク領域1つに複数ユーザを割り当てることがあります。
  • 利用状況により、必ずしも申請時に希望された容量を割り当てることが出来ない可能性があります。
  • ファイルサーバで利用出来る全容量の上限は物理容量で約240 TBとさせていただきます。実効容量[1]では約216 TBとなります。
  • 制限以上の容量が必要になった場合、年2回行われる募集(希望容量>10 TB)に申請してください
  • ネットワーク帯域を過度に消費するデータ転送はご遠慮下さい。
  • ファイルサーバ利用中に共同利用計算機のアカウントが無くなった場合は、その時点から一年後に領域を返却していただきます。データの引き上げにはご自身の共同利用計算機アカウントが必要になりますのでご注意ください。
  • 半年間共同利用アカウントの申請を行わなかった場合、データの削除を行います。
  • ファイルサーバの利用申請から1年間ご利用の無かったディレクトリについては返却していただきます。

 

[1] HDDの容量が1 TB=10^12 Byte表記であるのに対して、ソフトウェアからは 多くの場合1 TB=2^40 Byte(=1 TiB)として認識されるために、TB表示の場合には最大で約9%の表記ずれが生じます(kB表示であれば約2.3%)。 申請容量が40 TB未満の場合には10^12 Byte単位で制限を掛けているため、必ず申請容量よりも多く表示されますが、 40 TB以上の場合には40 TBや120 TBのサーバを占有するという配分になっていることがあり、申請容量よりも少なく表示されることになります。 どのような資源配分になるかは、機材の空き状況に依存しているためユーザ毎に厳密な数値は異なります。 大容量の方ほど影響が大きくなりますが、仕様としてご理解いただけますようお願いいたします。