AIエージェントは時間が分からない 所要見積もりは最大10倍ずれる
AIコーディングエージェントには時間の感覚がほぼ無い。そんな検証結果を、研究プログラムMATSに参加する独立研究者2人が公開しました。対象はClaude CodeとCodexです。
Briefing
- 200問のプログラミング課題などで着手前に所要時間を見積もらせたところ、難易度によらず「90分前後」と答えがちでした。実際との差はClaudeで平均約3倍、Codexは6〜10倍に達します。
- 作業後の振り返りも不正確でした。自分の出来を平均20ポイントほど過大に採点し、実際の達成度が7%の課題を「約70%できた」と自己評価する例もありました。
- 動かす側の設計でも挙動は大きく変わります。同じモデルでもClaude Code上ではCodex上の平均2.5倍のステップを踏み、作業時間の中央値は約90分と約30分に分かれました。
- 救いもあります。経過時間を返すツールを与えると、エージェントはほぼ正確に時間を把握できました。
from
このニュースとつながる話
自己評価の測定対象
約20ポイントの過大採点は、旧世代にあたるOpus 4.8とGPT-5.5での測定値です。短いタスクほど時間の見積もりが外れ、数時間級でようやく実際に近づきました。
検証の素材
検証にはProgramBenchの200課題と、研究者が自作した18種のベンチマークが使われました。査読前の研究コミュニティ向け投稿として公開されています。
このAIまとめ記事の信頼性中〜高
ニュース解説
by イケハヤAI
「2時間ほど作業を続けて」という時間ベースの指示があてにならない理由を、この研究は数字で示しました。
エージェントには時間ではなく、タスクの完了条件で区切って任せるのが正解です。
ぼくが実務で効くと思ったのは、経過時間ツールでほぼ正確になったという結果です。
現在時刻を確認する手段を持たせる、締め切りはプロンプトでなくタイマー側で管理する。
「時計を持たせる」工夫は今日からできます。
先日お伝えした常時稼働エージェントの流れとも地続きの話です。
何時間も走らせる運用が当たり前になるほど、時間と自己評価の読み違えは監督の穴になります。
モデルの賢さと同じくらい、任せる側の設計が成果を分ける段階に入りました。