SSブログ

科研費審査スコア分析 [科学・技術]

科研費の審査で不採択だった課題について、審査結果の一部が申請者に開示される制度がある。大型科研費を除くと、審査点の平均値や低評価を下した審査委員の人数など、限られた統計情報が伝えられるに過ぎない。だがデータを丁寧に分析すると、評価点の分布を何となく類推できることもある。その一例を考えてみよう。

kakenhiscore.gif右の表は、開示情報の一部を抜粋したものである(評価の数値は実例をもとに修正を加えたフィクションである)。審査点は審査項目ごと4点満点で、複数の書面審査委員が採点する(別に相対評価の総合評点もあるがここでは触れない)。科研費のカテゴリごとに審査委員の数は決まっているが、審査委員の自己申告で利害関係(身近な共同研究者など)のある課題は評価者から外れることになっているので、申請課題によっては規定数より少人数で審査されることもある。この例では平均点が3.40なので、個々の採点が整数値であることを鑑みると審査委員の人数は5の倍数とわかる。もし規定の審査委員数が6人(基盤Bなどの場合)とすると、この課題は一名が利害関係者で辞退し5人が審査に当たったと推定できる。

審査委員が否定的な評価(2か1)を付けた場合、そう評価した根拠を選択肢から選ぶことになっている。例えば「研究課題の学術的重要性」という審査項目では、「学術的に重要な課題か」「独自性・創造性が認められるか」「国内外の研究動向と研究の位置づけは明確か」「科学技術や社会への波及効果が期待できるか」という4つの選択肢(複数回答可)が示されている。この例では、4項目中3つで低評価が認定されている。5人中の3人がそれぞれ別の観点で低く評価したかもしれないし、特定の一名だけが3項目にダメ出しした可能性もある。この表だけではその違いは判断できないが、平均点が3.40なので実は低い評価をした審査委員は一人だけだったと特定できる。

その理由はこうだ。仮にこの審査項目で2または1を付けた審査委員が二人いたとする。すると審査点平均値は最大で(4+4+4+2+2)/5=3.2のはずで、3.40に届かない。当然、三人以上の委員が2または1を付けた可能性もない。この例であり得るスコアの分布は、4点が3人で3点と2点が一人ずつ、または4点が4人と1点が一人、のいずれかに限られる。つまり、5人中4人は満場一致かそれに近い高得点で申請課題を評価しているが、残る一人だけなぜか全否定に近い辛辣な判断を下したことになる。基盤BやCなどは二段階審査制度を採用しており、ボーダーライン付近の申請課題は第2ラウンドで同じ審査委員により再度採点されるが、一人でもとことんネガティブな人がいると復活当選する見込みはおそらく低い。

科研費の審査委員は、任期が終わったあとに名簿が公表される。もちろんどの委員がどの課題に何点をつけたかは(採点した当人以外は)誰にもわからない。ただ一人だけ審査評価が不自然に低い場合、上述のとおり申請者は開示情報からある程度それを読み解くことができる。研究者も人の子、学説の対立か特定の研究分野への偏見かはたまた個人的な怨恨か、本来は中立であるべき審査に私情を挟むことがないとは言い切れない。申請者があとから審査委員名簿を見たときに、「やはりオマエだったか」と溜飲を下げることもあるかもしれない。

共通テーマ:日記・雑感