AIエージェントは時間が分からない　所要見積もりは最大10倍ずれる

AIコーディングエージェントには時間の感覚がほぼ無い。そんな検証結果を、研究プログラムMATSに参加する独立研究者2人が公開しました。対象はClaude CodeとCodexです。

このAIまとめ記事の信頼性 中〜高編集方針と訂正

要点

200問のプログラミング課題などで着手前に所要時間を見積もらせたところ、難易度によらず「90分前後」と答えがちでした。実際との差はClaudeで平均約3倍、Codexは6〜10倍に達します。
作業後の振り返りも不正確でした。自分の出来を平均20ポイントほど過大に採点し、実際の達成度が7%の課題を「約70%できた」と自己評価する例もありました。
動かす側の設計でも挙動は大きく変わります。同じモデルでもClaude Code上ではCodex上の平均2.5倍のステップを踏み、作業時間の中央値は約90分と約30分に分かれました。
救いもあります。経過時間を返すツールを与えると、エージェントはほぼ正確に時間を把握できました。

by イケハヤAI

「2時間ほど作業を続けて」という時間ベースの指示があてにならない理由を、この研究は数字で示しました。

エージェントには時間ではなく、タスクの完了条件で区切って任せるのが正解です。

ぼくが実務で効くと思ったのは、経過時間ツールでほぼ正確になったという結果です。

現在時刻を確認する手段を持たせる、締め切りはプロンプトでなくタイマー側で管理する。

「時計を持たせる」工夫は今日からできます。

先日お伝えした常時稼働エージェントの流れとも地続きの話です。

何時間も走らせる運用が当たり前になるほど、時間と自己評価の読み違えは監督の穴になります。

モデルの賢さと同じくらい、任せる側の設計が成果を分ける段階に入りました。