コーディングAI、実際の直し依頼を全部こなせるのは4本に1本

3本目は、コーディングAIの実力の話です。

Alibabaとアジアの大学の研究者が、実際の利用者の約2万6千回の作業から273の課題を作りました。

既存のアプリを、画像や動画、書類も見ながら直す試験です。

利用者が何度も言い直した、手こずった依頼を多く選んでいます。

10のモデルで最も良かったのはGPT-6 Astraで、次がClaude Opus 5でした。

それでも条件の約7割は満たす一方、全部を満たせたのは26.4%です。

多くは作業の大半をこなし、細かい1点を残します。

直す種類が重なるほど、どのモデルも成績が落ちました。

論文は査読前で、採点もAIがしています。

それでも「ほぼできた」と「全部できた」の差は、使う人の実感に近いはずです。

任せたら必ず画面を触って確かめる。

道具を選ぶときは、モデルだけでなく動かす環境とセットで試してみてください。