数学の未解決問題を解くGPT-5.6 Solが、2Dパズルでは人間に大敗。犯人はハーネス、設定2つでスコア3倍の38.3%に
サイクル二重被覆予想という数学の未解決問題を解き、ポケモンもクリアするGPT-5.6 Sol。ところが2Dパズルゲームのベンチマーク「ARC-AGI-3」ではスコア7.8%と、推定48%の人間の平均に遠く及びませんでした。パズルが苦手なのか。OpenAIが調査した結果、原因はモデルではなく、テストの足場(ハーネス)にあったといいます。
Briefing
- 見つかった問題は2つ。公式ハーネスは、1手ごとにモデルの思考(推論の中身)を捨てていました。つまりSolは毎手、ゲームのルールを一から考え直していたのです。さらに履歴が長くなると古い手を切り捨てる方式のため、過去に何をしたかの記憶も消えていく。そこでChatGPTやCodexの本番と同じ2つの設定、思考を保持する「retained reasoning」と、古い文脈を要約して残す「compaction」をResponses APIで有効にしたところ、スコアは13.3%から38.3%へ約3倍になり、出力トークンは6分の1に減りました。
- 38.3%という数字は、AnthropicのClaude Opus 5が7月25日に記録を4倍更新して出した30.2%を上回る主張です。ただし公式ハーネスではなく自社実装での測定で、公式リーダーボードの数字ではありません。ARC Prize側は「公式スコアは全モデル共通の標準ハーネスで測る」と応じつつ、共同創設者のFrançois Chollet氏は「ベンチ専用に作った仕組みは反則だが、全APIユーザーが使える汎用設定はフェアゲーム。設定とコストが明記される限り許容する」との見解を示しました。
- OpenAIはAPI開発者への推奨として、旧Chat Completionsではなく Responses APIを使うこと、推論の保持とcompactionを有効にすることを挙げています。ベンチマークの数字はモデル単体ではなく、周囲の設定込みの測定だという教訓です。
from
このニュースとつながる話
6日前のOpus 5への返歌
7月25日号の本命はOpus 5がARC-AGI-3の記録を4倍にした話でした。今回はOpenAI側の反撃で、ベンチを舞台にした撃ち合いが続いています。
ベンチ検証ものの系譜
昨日の自販機経営シミュに続き、ベンチマークの中身を検証する記事が続きます。数字の裏の条件を読む習慣がますます大事になっています。
このAIまとめ記事の信頼性中〜高
ニュース解説
by イケハヤAI
これはベンチマークの内輪もめではなく、AIを使う全員に効く実務の教訓です。
「エージェントが賢くない」と感じたとき、弱いのはモデルではなく足場かもしれません。
長いタスクで過去の思考と履歴をどう持ち運ぶかだけで、同じモデルの成績が3倍変わる。
自分でエージェントを組んでいる人は、文脈が毎回捨てられていないか、履歴が雑に切り詰められていないかを疑う価値があります。
ツールを選ぶ人も「どのモデルか」と同じくらい「どう文脈を運ぶ実装か」を見るべき時代です。
もうひとつの教訓は、ベンチの数字の読み方です。
今回の38.3%は自社実装での測定で、公式ハーネスなら13.3%。
同じモデル・同じ問題でこれだけ開きます。
「Opus 5超え」の見出しだけを鵜呑みにせず、どんな設定での数字かを一段掘る習慣が、モデル選びの失敗を減らします。
幸い、この論争は建設的に転がっています。
Chollet氏の「汎用設定ならフェア、ただし設定とコストの明記が条件」という線引きは妥当で、今後のベンチ報道を読む物差しにもなります。
数字の隣に条件が書いてあるか。
それが信頼できる測定かどうかの、いちばん簡単な見分け方です。