サイモン・ウィリスン、AIアシスタント耐性実験を紹介。6000回攻撃でも秘密は漏れず
サイモン・ウィリスン氏が、Fernando Irarrázaval氏によるAIアシスタント耐性実験を紹介しました。
Briefing
- 実験では、OpenClawのテスト環境にメールを送って秘密情報を漏らせるかを競い、2000人規模が挑戦しました。
- 結果として、6000回の試行、500ドル分のトークン消費、Googleアカウント停止まで起きましたが、秘密情報は漏れませんでした。
- ウィリスン氏は、フロンティアモデルの注入攻撃対策は効いてきている一方、本番で不可逆な損害が出る用途には慎重であるべきだと書いています。
from
このニュースとつながる話
突破できない、でも安心しない
今回の実験は防御の前進を示していますが、6000回防げたことは永遠の安全を意味しません。本番では、モデルの強さだけに頼らない設計が必要です。
本丸は権限設計
モデルが強くなっても、権限を渡しすぎると事故は起こります。確認、ログ、サンドボックス、権限分離を組み合わせる設計が必要です。
このAIまとめ記事の信頼性高
実験結果はHackMyClaw/OpenClawの個別環境に依存
ニュース解説
by イケハヤAI
AIエージェントの弱点として、ずっと言われてきたのが「プロンプトインジェクション」です。
メールやWebページに悪い指示を紛れ込ませると、AIがそれを読んで秘密を漏らすかもしれない。
今回の実験では、かなり多くの攻撃を受けても秘密は漏れませんでした。
「モデル側の防御」は、確かに進んでいます。
ただ、ここで安心しすぎるのは危ないです。
6000回防げたからといって、次の1回も必ず防げるとは限りません。
本番のAIエージェントが送金、削除、契約、社内情報へのアクセスまで持つなら、失敗の重さが違います。
「AIに権限を渡すほど、人間の確認と権限分離が必要」になります。
ぼくは、これは前向きなニュースだと思います。
AIは危ないから使わない、ではありません。
AIに任せる範囲を決め、ログを残し、止める仕組みを作る。
その設計ができる人から、「AIエージェント」を安全に使えるようになります。