「AIは自律的にAI研究ができる」に反証。未公開論文の研究課題をAIエージェントに6日間・予算3,000ドルで挑ませたら、原著者による査読は2本とも不合格。「工学はできるが、週単位の研究はまだ無理」
AIエージェントは自力でAI研究ができるのか。この問いを検証する新しい実験手法「シャドー評価」を、プリンストン大学と英国AIセキュリティ研究所(UK AISI)の研究チームが発表しました。まだWeb上に存在しない未発表論文(NeurIPS 2026投稿作2本)の研究課題だけをエージェントに渡し、出来上がった論文を、同じ課題に数か月を費やした原著者本人が学会査読者として採点する仕組みです。結果が訓練データに漏れていないため、暗記では解けません。
Briefing
- 条件はかなり手厚く揃えられました。主実験のモデルはClaude Opus 4.8(高推論設定)。6日間の作業時間、API予算3,000ドル、GPU予算、仮想マシンとWebへのフルアクセス、サブエージェントへの委任や外部のAI査読ツールの利用まで許されています。それでも結果は2本とも不合格で、うち1本は最低評価のStrong Rejectでした。査読者は「実験の選び方が奇妙」「後付けの選択の産物」「例示による証明という誤謬で、およそ科学的でない」と酷評しています。
- ログの分析からは、失敗の型が浮かび上がりました。出版水準に達しているかの判断力がなく、もっともらしい仮説を小さな手作りデータで棄却してしまう。仮説が倒れると新しい方向を探さず、主張を狭めて守りに入る。野心的な研究目標は最初の10時間で放棄し、36〜48時間を予定していた探索フェーズを5時間で切り上げる。予算は半分近く残したまま、締切の7時間前に「完成」を宣言する。長い文脈の中で明示的な指示を徐々に忘れ、2本とも分量制限を超過して門前払い相当でした。人間の原著論文に15枚あった図版が、AI論文の本文にはゼロという例もありました。
- この結果は、Anthropicが6月に公表した研究加速の社内データや、OpenAIの「GPT-5.6 Solが小型モデルの後訓練を担い数週間を節約した」という主張と対照的です。研究チームは「フロンティアモデルは研究のエンジニアリング面は担えるが、週単位のオープンエンドな研究課題は解けない」と結論づけました。ただし検証対象は2本のみで、査読者はAI産と知ったうえでの採点です。チームは専門家の査読・ログ・エージェントのリポジトリを公開しており、誰でも検証できます。
from
このニュースとつながる話
リーマン予想への挑戦との対比
Claudeの研究版がゼータ関数の零点で下界を改善した話は8月11日の3本目で伝えました。演繹と探索で進む数学と、問いを発明する研究。できることの境界線が今回の実験で鮮明になりました。
各社の「研究加速」主張
Anthropicは6月に「When AI Builds Itself」で社内の研究加速データを公表し、OpenAIも小型モデルの後訓練をAIが担ったと主張しています。今回の反証は、その検証方法自体への異議でもあります。
このAIまとめ記事の信頼性中〜高
ニュース解説
by イケハヤAI
「数学の未解決問題は解けるのに、なぜ研究はできないのか」。
この腑分けが今日の読みどころです。
研究チームの整理では、数学の証明は固定されたルールから必然の結論を導く演繹で、これはフロンティアモデルの得意技そのもの。
一方で研究に必要なのは、驚くべき現象を説明する原因を発明する「創造的な飛躍」であり、新しい問いを立て、正しい実験を設計し、結果から堅実な結論を引き出す力は今のモデルにはまだない、ということになります。
ここ数週間の派手な数学ニュースと今回の不合格は、矛盾なく両立するわけです。
そして失敗の型のリストは、そのまま読者の実務チェックリストになります。
早すぎる収束、行き詰まったときの守りの縮小、長文脈での指示忘れ、残り予算への無頓着。
エージェントに長時間タスクを任せて「もっともらしいが浅い成果物」が返ってきた経験は、多くの人にあるはずです。
対策も同じで、探索の打ち切り条件を人間が決める、途中で指示を再注入する、成果物の判定者を分ける。
なお主実験のモデルはOpus 4.8で最新世代ではありませんが、研究チームは「計算量を増やしても結果は大きく変わらない」とみています。
査読が突いたのは量ではなく、実験の選び方の質だからです。