お知らせ
- ファイルサーバ[希望容量>10TB) 2021年度募集の申請受付を開始しました。 (2020-12-18)
Last Updated: 2021/01/06
1. システム概要
- ファイルサーバとは、数十台のラックマウントサーバにより構成された総容量約7PBの大規模データストレージシステムです。 各サーバにはRAID6で冗長化されたボリュームが存在し、 各ボリュームはNFSファイル共有により10GbEの高速ネットワークを介して解析サーバに接続されています。 2019年度供用開始分からはGlusterFSという分散ファイルシステムを使って複数台のサーバでひとつのボリュームを構成しています。 各サーバの構成は以下の通りです。
ホスト名 | ボリューム構成 |
cfcafs[00-29] | 約40TB x 3 合計 約120TB |
cfcafs[30-49] | 約120TB x 1 |
glffs[100-102] /glv0 | 総容量 1.08 PB (distributed GlusterFS volume) |
glfs203 /glv1 | 総容量 1.08 PB (distributed GlusterFS volume) |
2. 募集要項および利用申請
-
2020年度から運用方法が改訂となりました。希望容量が10TBより大きい場合と10TB以下の場合で申請方法が異なります。
2.1 応募資格
- ファイルサーバに利用申請できるのは、ファイルサーバ利用時に共同利用計算機(Cray XC50 システム、GRAPE システム、計算サーバシステム)を利用されている方のみです。
2.2 希望容量>10TBの場合
-
XC50システム(XC-Trial以外)と同じ日程で、年2回(4月利用開始分と10月利用開始分)の申請受付と審査を行います。
既にファイルサーバに容量をお持ちの場合は、容量変更の時点で共同利用計算機にアカウントがある方のみ申請を受け付けます。
3月末でディスククォータを13%削減しますので,現在利用されている方も継続して同じ容量を利用したい場合は, 毎年度申請する必要がありますので,ご注意ください。ただし10TB以下にはしません。
申請の締め切りや審査結果の通知時期については、CfCA Newsをご確認ください。
また、申請の受け付け期間中は、 トップページの「お知らせ」にも締め切りの情報を掲示します。
審査結果はWebログイン時に表示されるユーザ情報画面に記載されます。
2.3 希望容量≦10TBの場合
-
随時申請を受け付けます。一度割り当てられた容量は半永久的に利用することができます。申請受理もしくは不受理の通知は、申請受付後10営業日以内に電子メールにておこないます。
- 〒181-8588 東京都三鷹市大沢2-21-1
自然科学研究機構 国立天文台 天文シミュレーションプロジェクト ※ クリックすると、各種問い合わせフォームへと移動します。
もしも利用申請してから 1 時間以内に受付確認のメール(自動送信)が届かない場合には、お手数ですが以下のページよりお問い合わせ下さい。
3. ファイルサーバ 利用の手引き
データ量が大きくなりすぎて、解析サーバの "/home/ユーザアカウント名"のホームディレクトリだけでは足りなくなった場合はファイルサーバを利用してください。
利用を希望される方は、上記の「募集要項および利用申請」をご参照の上、ファイルサーバの利用申請を行ってください。
申請が受理された後、ディレクトリが作成されます。 ファイルサーバ群の利用に際しては下記の注意事項を必ずお読みください。
3.1 glv0 に領域を持っている場合
各ユーザのディレクトリは解析サーバに "/glv0/ユーザアカウント名" という名前で常時マウントされています。 quota 情報は1時間に1度 /glv0/userspace.txt に書き込まれています。ユーザがコマンドで直接確認することはできません。 ディレクトリを計算ノードから参照することはできません。 負荷低減のためnoatimeでマウントしています.最終アクセス時刻は保存されません.
ファイルシステムの性質上、ls (tabによる補完を含む)や du といったメタデータを読み込むコマンドを多数のファイルに対して実行すると応答に非常に時間がかかります。ファイルシステムの仕様上の問題のため短期的には改善できません。ご不便とは思いますが同一ディレクトリ内のファイル数を絞るなどしてご利用ください。
3.2 cfcafs[00-49]に領域を持っている場合
ディレクトリは解析サーバに"/misc/workXXX/ユーザアカウント名"という名前でオートマウントされます。 (XXXはユーザのディレクトリが作成されたファイルシステムの位置を示す3桁の数字で、利用開始時にメールで通知されます。) 解析サーバからディレクトリが見えない場合、一度 "ls /misc/workXXX/ユーザアカウント名" などのコマンドを用いてアクセスすることでマウントされます。 ディレクトリは一定時間アクセスがなかった場合、自動的にアンマウントされます。
[注意事項]
- 冗長化されたファイルサーバの運用を細心の注意を払っておこなっておりますが、予期せぬデータ消失の可能性もあることを御承知おきください。ファイルサーバ利用に当たっての不慮の事故や自然災害等による利用者データの破損・消失、プログラム実行結果やその遅延等により利用者が受け得る如何なる損害についても、本プロジェクトとしては一切の補償・保証を行うことが出来ません。また、ファイルサーバ上の利用者データについて本プロジェクトとしてはバックアップの保管等は全く行っていません。あらかじめ御了承ください。
- ファイルサーバを利用する上で相応しくない行為があったとこちらで判断した場合、警告無くファイルサーバの利用を停止させて頂きます。
- 利用状況により、別ディスクへの移動をお願いすることがあります。
- 利用状況により、ディスク領域1つに複数ユーザを割り当てることがあります。
- 利用状況により、必ずしも申請時に希望された容量を割り当てることが出来ない可能性があります。
- ファイルサーバで利用出来る全容量の上限は物理容量で約240TBとさせていただきます。実効容量[1]では約216TBとなります。
- 各ディレクトリにはquota制限がかけられています、使用可能な容量はユーザ情報のページで確認できます。
制限以上の容量が必要になった場合、年2回行われる募集(希望容量>10TB)に申請してください - ネットワーク帯域を過度に消費するデータ転送はご遠慮下さい。
- ファイルサーバ利用中に共同利用計算機のアカウントが無くなった場合は、その時点から一年後に領域を返却していただきます。データの引き上げにはご自身の共同利用計算機アカウントが必要になりますのでご注意ください。
半年間共同利用アカウントの申請を行わなかった場合、データの削除を行います。ファイルサーバの利用申請から1年間ご利用の無かったディレクトリについては返却していただきます。
[1] HDDの容量が1TB=10^12Byte表記であるのに対して、ソフトウェアからは 多くの場合1TB=2^40Byte(=1TiB)として認識されるために、TB表示の場合には最大で約9%の表記ずれが生じます(kB表示であれば約2.3%)。 申請容量が40TB未満の場合には10^12Byte単位で制限を掛けているため、必ず申請容量よりも多く表示されますが、 40TB以上の場合には40TBや120TBのサーバを占有するという配分になることがあり、申請容量よりも少なく表示されることになります。 どのような資源配分になるかは、機材の空き状況に依存しているためユーザ毎に厳密な数値は異なります。 大容量の方ほど影響が大きくなりますが、仕様としてご理解いただけますようお願いいたします。