Claude Codeか素朴な道具か、正答率はほぼ同じ　差は費用に

2本目は、コーディングAIの「ハーネス」を比べた研究です。

ハーネスは、モデルに道具を持たせて作業を回す外枠のことで、Claude Codeもその1つです。

同じモデルで外枠だけを替えたところ、正答率の差は、同じ設定のやり直しで出るぶれと変わりませんでした。

違いが出たのは費用です。

Claude Codeは毎ステップ約1万6,600トークンの説明文と道具の定義を送り直し、mini-SWE-agentは1,000未満でした。

そのぶん1問の値段が最大3倍になります。

著者は、ハーネスが買うのは「負け方が減ることと請求書」で、正答率ではないと書いています。

今日やることは、APIの請求画面で1回あたりの入力トークンを確かめることです。

安いモデルを大きな外枠で回しているなら、軽い道具で同じ仕事を試すと費用が下がるかもしれません。

ただ思考をオフにすると11点落ちたので、そこは残しましょう。