科研費申請書を生成AIに査読させるときに効果的な”忖度なし”のプロンプト

生成AI人気ランキング:ChatGPT vs. Claude vs. Gemini

科研費申請書を効果的に査読させるためのプロンプト

 

効果的なプロンプトを作るためのヒント

なぜ「不採択」という言葉を入れるかどうかで、結果が劇的に変わるのか?

面白い質問ですね。それは、AI(特に大規模言語モデル)の根本的な動作原理に関わる、非常に重要なポイントです。

なぜ「不採択」という言葉を入れるだけで結果が劇的に変わるのか、理由は大きく分けて4つあります。

1. 明確な「役割」と「視点」が設定されるから

AIに与える指示(プロンプト)は、AIに特定の「役割」を演じさせるようなものです。

  • 「厳しく査読して」の場合:
    • AIの役割は「査読者」です。査読者は、論文や申請書の良い点と悪い点をバランス良く評価しようとします。そのため、当たり障りのない総評や、改善点の軽い指摘に留まりがちです。視点が「評価」なので、全体を俯瞰してしまいます。
  • 「不採択の原因を教えて」の場合:
    • AIの役割は「不採択という決定を下した審査員」または「失敗の原因を分析する専門家」に変わります。この役割の目的は、良い点を探すことではなく、「なぜダメだったのか」という明確な根拠を見つけ出すことです。視点が「欠陥の特定」に強制的に絞り込まれます。

2. 「思考のプロセス」が逆になるから

人間が何かを考えるときと同じように、AIも思考の順序があります。

  • 「厳しく査読して」の場合:
    • 順方向の思考をします。「この文章を読んで、良い点、悪い点は何か?」と考え、網羅的にリストアップしようとします。
  • 「不採択の原因を教えて」の場合:
    • **逆方向の思考(バックワード・リーズニング)**をします。「結論=不採択」というゴールが先に決まっています。AIはその結論にたどり着くための、最も説得力のある「論理的な道筋(=不採択の理由)」を過去の膨大なデータから必死に探し出そうとします。これにより、最も致命的だと思われる欠陥を優先的に、かつ具体的に指摘せざるを得なくなります。

3. AIの「丁寧すぎる」という安全装置を外せるから

現在のAIは、ユーザーを不快にさせないよう、できるだけ協力的で、ポジティブな側面を強調するように設計されています。これは一種の「安全装置(ガードレール)」です。

  • 「厳しく査読して」の場合:
    • この指示だけでは、AIは「厳しさ」のレベルを測りかねます。安全装置が働き、「厳しいけれど、希望も持たせる」ような、遠慮がちな回答になりやすいのです。
  • 「不採択の原因を教えて」の場合:
    • これは「すでに起きてしまったネガティブな事実」を前提とするため、AIは遠慮する必要がなくなります。「ユーザーを傷つけるかもしれない」という安全装置をバイパスし、「事実を客観的に説明する」というタスクに集中できるため、より率直で厳しい指摘が可能になります。

4. 評価基準が具体的になるから

  • 「厳しい」 は非常に主観的で曖昧な言葉です。
  • 「不採択」 は、科研費の文脈においては、「新規性がない」「実現可能性が低い」「インパクトが不明確」「論理に飛躍がある」といった、具体的で典型的な落選理由と強く結びついています。AIは学習データからこのパターンを知っているため、「不採択」という言葉に反応し、それらの具体的な評価基準に沿って欠陥を探し始めます。

まとめ

分かりやすく表にすると、このようになります。

項目 「厳しく査読して」 「不採択の原因を教えて」
AIの役割 バランスの取れた査読者 失敗の原因を分析する専門家
思考の方向 網羅的・総花的 欠点探索・批判的
ゴール 改善点を提案する 不採択の根拠を発見する
結果 焦点がぼやけやすい、遠慮がち 致命的な欠陥が明確になる、率直

つまり、「不採択」という一言は、AIを**「優しいコーチ」から「冷徹な検死官」へと役割変更させる魔法の言葉**なのです。AIに求める結果が「改善点の発見」である以上、この役割変更は極めて効果的と言えます。

(Gemini 2.5 Pro)

 

大きく分けて二つの理由があります。


1. プロンプトがモデルに与える「フレーミング効果」

・前提条件を明示すると探索空間が狭まる

  • 「不採択の理由を教えて」と書くと、モデルは 「欠点を列挙するタスク」 に最適化されます。
  • 逆に「厳しく査読して」だけだと、
    1. 長所・短所のバランスを取る
    2. 申請書が採択される可能性も残す
    3. 口調を丁寧にする
      …といった“曖昧な査読パターン”を含む広い分布から出力を選ぼうとします。

・学習データ中の「不採択レビュー」パターンを呼び出す

LLM は大量の論文査読コメントや審査報告書を学習しています。

  • “不採択”という単語は、多くの場合「重大な欠陥の具体的指摘→改善勧告」という文脈で出現するため、モデルがそのテンプレートを強く想起します。
  • その結果、指摘が鋭く、ネガティブ寄りにシフトするわけです。

2. 指示の具体性がモデルの「確信度」を高める

  • LLM の内部では、生成確率が高い単語列ほど“確信度”が高くなります。
  • 「不採択なので欠点を列挙してほしい」と指定すると、評価軸(欠点探し)と結論(不採択)が完全に決まるため、モデルは迷いなく批判的記述を選択します。
  • 反対に結論が決まっていない状態では、肯定・否定の両スタンスをほどよく混ぜた“穏当な文章”が確率的に優勢になりやすいのです。

まとめ

  • キーワード「不採択」を入れること自体が、モデルに「徹底的に欠点を探す」という役割をインプリントする。
  • その結果、同じ資料でも指摘の数・具体性・トーンが劇的に変わる。
  • ただし「不採択前提」で書かせると確認バイアスがかかるので、最終判断では「採択され得る長所」も別途評価しておくのが安全です。

(ChatGPT o3)

 

生成AIの動作原理の話ですね。

生成AIは、入力されたプロンプトに含まれる単語やフレーズから、次に来る可能性の高いトークン(単語や文字)を確率的に予測していきます。

「不採択」という前提条件の影響:

  1. トークン生成の方向性が決定される
    • 「不採択の原因を教えて」と入力すると、AIは「問題点」「欠陥」「不足」といった否定的な評価に関連するトークンを生成する確率が高くなります
    • 最初の数トークンで否定的な文脈が確立されると、その後の生成も一貫してその文脈に沿って進みます
  2. 注意機構(Attention)の焦点
    • Transformerベースのモデルでは、「不採択」というキーワードが他のトークンとの関連性を計算する際の重要な基準点となります
    • 申請書の内容を処理する際、「不採択」と関連性の高い要素(弱点、不明瞭な記述、論理の飛躍など)により強い注意が向けられます
  3. 生成の一貫性
    • 一度「この申請書には○○という問題がある」という方向で生成が始まると、AIは自己整合性を保とうとするため、その後も問題点を探し続ける傾向があります
    • これは自己回帰的な生成プロセスの特性で、前に生成したトークンが次のトークン予測に影響を与え続けるためです

つまり、「不採択」という前提は、AIの確率的な予測プロセスに強いバイアスをかけ、批判的な視点での分析に特化した回答を生成させる効果があるんです。

(Claude Opus 4)