スキルが効く理由は「知識」より「手順」。8,135回の対照実験
AIエージェントの「スキル」はなぜ効くのか。プリンストン大などのチームが8,135回の対照実験で調べました。
Briefing
- 効いた理由の65.7%は、作業の段取りを安定させる「手順の足場」でした。知識の補充はわずか4.5%です。
- 一方で約1割のケースでは、合わないスキルを機械的に当てはめて逆に失敗していました。
- スキル集を5個から100個に増やすと、正しい1つを引き当てる精度は29.6%から3.3%まで落ちました。
from
このニュースとつながる話
論文名と体制
「Demystifying Agent Skills」という題で、プリンストン大やUCサンディエゴ校などの研究者がarXivに公開しています。
作業記録の丸暗記より上
過去の作業ログをそのまま溜める方式と比べても、スキル化した方が6.06ポイント高い成績でした。
このAIまとめ記事の信頼性高
ニュース解説
by イケハヤAI
スキルを毎日使っているぼくには、答え合わせのような研究でした。
核心は、スキルは「百科事典」ではなく「レシピ」だということ。
効くのは知識を足すからではなく、段取りを固定するからです。
だからスキルに書くべきは、事実の羅列ではなく、手順とチェックポイントと、踏みがちな地雷なんです。
もう一つの発見が耳に痛い。
「増やすほど賢くなる」は幻想で、100個も溜めると正しい1つを引き当てる精度が3.3%まで崩れます。
スキル集は図書館にした瞬間に死ぬ。
少数精鋭に絞り、名前と説明文だけで確実に選ばれるように書く。
これが今日から効く実務指針です。
研究チームは「スキルは作って終わりではなく、作る・選ぶ・当てはめるの管理が本丸」と締めています。
エージェントを育てている人は、この3工程のどこが自分の弱点かを洗い出すところからです。