評価基準となる項目
XD2000の申請では各研究課題について,以下の五項目について評価してください.
【研究意義】
大規模数値シミュレーションやコード開発によって得られる成果の学術的意義が大きいものであるか?
【独創性】
研究課題の目的,方法などに新しい視点や独自性が導入されているか?
【研究計画】
研究計画が良く練られ,常識的な期間内に所期の成果が達成できると期待できるか?
【準備状況】
大規模数値シミュレーション用コードの準備が十分に行われているか?評価にあたっては必要な CPU時間,並列化効率などを考慮して下さい.
【研究遂行能力】
期間内に研究が遂行できる能力があるか?関連する過去の研究課題の成果を参考にしてください.
審査の観点にならない項目
この時,以下の点は審査の観点には含めないでください.
- 申請者が他機関の計算資源(富岳など)を使用できるかどうか.
- 公開コードを使用しているのか否か.申請者が公開コードを用いていても,その研究に独自性を加えている部分のコードは書いていることもあります.申請者のコード開発の能力が上記の項目の評価に影響を与える場合にのみコード開発能力を審査の観点としてください.
- 申請者が若手や学生か否か.この観点は TAC (Time Allocation Committee)で考慮します.この観点で の評価を二重に考慮するのを防ぐため,この観点では審査しないでください.
- 申請者の所属機関が日本にあるか外国にあるか?
- 準備状況における並列化効率に関して,パラメータサーベイなどで小・中規模の計算を大量に行う場合,実際の計算規模よりも大きな規模の並列化効率は考慮する必要はありません.
評価方法
カテゴリによって審査方法に差があります.ご自分の審査するカテゴリと審査方法をご確認ください.
カテゴリ A審査
カテゴリ A に応募されたものに関し,評価基準にしたがって「科学的観点からの評価」と「計算資源見積もりについての評価」を分けて審査してください。科学評価は、5段階の相対評価で数字を記入してください。「1」が最高点の申請書, 「5」が最低点の申請書です.その際,5 段階の各数字を持つ申請数はそれぞれ全申請数の約 2 割としてください.
追加募集においてはそれぞれのスコアの分布を2割ずつにする必要はなく,通年の申請と同様の基準を用いてください.ただし,同じスコアがついていると審査が難しいので順位もつけてください.
通年,および追加募集でスコアを上記の分布でつけられない場合,意図を説明してください.
計算資源見積もりについての評価は申請書で要求されている計算資源が適正かどうかを〇か×で記入してください。また,理由もご記入ください.○の場合は,以下が想定されます.
- XD-A の要求資源として適正
- XD-B+の要求資源として適正
×をつける場合として想定されるのは以下のようなものです.
- XD-A または XD-B+の要求資源として過大
- XD-A または XD-B+の要求資源として過小
- 要求資源と実計算との乖離が大きい
- 見積もりの根拠説明が不十分
XD-A の適正なノード時間積は通年で約 50-250 k nodes hours (全体の約 2- 10%)で、XD-B+での適正なノード時間積は通年で約 25-130 nodes hours (全体の約 1-5%)です。それ以上は投入できても実行できないと思われます。適正なノード時間積の見積もりは通年のものです.申請が短期間(あるいは長期間)での実行を想定している場合はその分だけ小さくしたもの(大きくしたもの)が適正な値となります。システムMが搭載するメモリ量はノード当たり128 GB/nodeで,システムPでは512 GB/nodeです。
P-large-b*について
システムPにおいて大メモリを要するジョブ実行のために設置されたP-large-b*キューの単一ジョブ最大ノード数は,通常のP-large-bキューの2倍です(同時実行可能最大ノード数はP-large-bと同じです)。
カテゴリAに不採択だった場合に,P-large-b*キューの利用を希望する申請に関しては,数行で記述された計算内容の記述とメモリ使用量から鑑みて,P-large-b*の利用が妥当だと思われる申請書に対して「○」,妥当でないと思われる申請書に対して「☓」と採点表に記してください。その理由をコメント欄にお書きください。
「採択」を付ける場合として以下のコメントが想定されます。
- メモリ使用量の見積もりは妥当で,P-large-b*の利用が適正である。
「不採択」を付ける場合として以下のコメントが想定されます。
- メモリ使用量が小さいため,P-large-b*を利用する必要がない。
- メモリ使用量の見積もりが誤っている。
- メモリ使用量の見積もりの根拠説明が不十分である。
カテゴリ B審査
カテゴリ B に応募されたものに関し、採択できると判断した申請書に対して「採択」,採択できないと判断した申請書に関して「不採択」と記してください.また,「不採択」の場合,その理由を必ずコメント欄にお書きください.
不採択の基準を揃えるため,全申請数の約1割を不採択としてください.追加募集では、通年の申請と同様の基準を用いてください.
通年,および追加募集でスコアを上記の分布でつけられない場合,意図を説明してください.
XD-Bの適正なノード時間積は通年で約13-60 k nodes hours (全体の約0.5-2.5%)です。適正なノード時間積の見積もりは通年のものです。申請が短期間(あるいは長期間)の実行を想定している場合はその分だけ小さくしたもの(大きくしたもの)が適正な値となります。システムMが搭載するメモリ量はノード当たり128 GB/nodeで,システムPでは512 GB/nodeです。
P-large-b*について
システムPにおいて大メモリを要するジョブ実行のために設置されたP-large-b*キューの単一ジョブ最大ノード数は,通常のP-large-bキューの2倍です(同時実行可能最大ノード数はP-large-bと同じです)。 P-large-b*を希望する申請に関しては,メモリ使用量の見積もりから鑑みて,P-large-b*の利用が妥当だと思われる申請書に対して「採択」,妥当でないと思われる申請書に対して「不採択」と採点表に記してください。その理由を「採択」と「不採択」に関わらずコメント欄にお書きください。
「採択」を付ける場合として以下のコメントが想定されます。
- メモリ使用量の見積もりは妥当で,P-large-b*の利用が適正である。
「不採択」を付ける場合として以下のコメントが想定されます。
- メモリ使用量が小さいため,P-large-b*を利用する必要がない。
- メモリ使用量の見積もりが誤っている。
- メモリ使用量の見積もりの根拠説明が不十分である。
カテゴリ MD審査
カテゴリ MD に応募されたものに関し、採択できると判断した申請書に対して
「採択」,採択できないと判断した申請書に関して「不採択」と記してください.また,「不採択」の場合,その理由を必ずコメント欄にお書きください.
MD に関しては不採択の基準の目安はありません.
XD-MDの適正なノード時間積は通年で約6-30 k nodes hours (全体の約0.25-1.3%)です。適正なノード時間積の見積もりは通年のものです。申請が短期間(あるいは長期間)の実行を想定している場合はその分だけ小さくしたもの(大きくしたもの)が適正な値となります。システムMが搭載するメモリ量はノード当たり128 GB/nodeで,システムPでは512 GB/nodeです。
コメント
申請書についてコメント欄に具体的に記してください.審査前にコメントの意図について TAC から質問をする場合があります.
カテゴリ A に関してはすべての申請書に対して必ず申請者へのコメントをお願いします.よいと評価した申請書の場合も,不十分と評価した申請書の場合も,必ずコメントをお願いします.
カテゴリ B に関しては,不採択と評価した申請書と,P-large-b*の利用を希望する申請書に対して,必ず申請者へのコメントをお願いします.
カテゴリ MD に関しては,不採択と評価した申請書に対して必ず申請者へのコメントをお願いします.
コメントの例は以下のような物になりますが,その他のことでも結構です.基本的にすべてのレフェリーコメントは申請者に公開します.もし申請者に見せたくない(見せるべきでない)コメントがある場合は{ }で囲ってください.{ }で括られたコメントはTAC が当該申請の採択不採択を最終決定する際に参考にします。
- わかりやすく書かれた申請書である.大きな科学的成果が期待できる
- 必要とする計算時間の見積もりが正しくない.根拠は〇〇である
- 計画の遂行は困難と予想される.理由は〇〇である.
- 研究計画の独自性が不十分と思われる.{他の研究者によって提出された申請書と文章がほぼ同一である}