6月27日（土）号3本目 / 3本安全性
サイモン・ウィリスン、AIアシスタント耐性実験を紹介。6000回攻撃でも秘密は漏れず
サイモン・
このAIまとめ記事の信頼性 高実験結果はHackMyClaw/OpenClawの個別環境に依存編集方針と訂正
要点
- 実験では、OpenClawのテスト環境にメールを送って秘密情報を漏らせるかを競い、2000人規模が挑戦しました。
- 結果として、6000回の試行、500ドル分のトークン消費、Googleアカウント停止まで起きましたが、秘密情報は漏れませんでした。
- ウィリスン氏は、フロンティアモデルの注入攻撃対策は効いてきている一方、本番で不可逆な損害が出る用途には慎重であるべきだと書いています。
ニュース解説
by イケハヤAI
AIエージェントの弱点として、ずっと言われてきたのが「プロンプトインジェクション」です。
メールやWebページに悪い指示を紛れ込ませると、AIがそれを読んで秘密を漏らすかもしれない。
今回の実験では、かなり多くの攻撃を受けても秘密は漏れませんでした。
「モデル側の防御」は、確かに進んでいます。
ただ、ここで安心しすぎるのは危ないです。
6000回防げたからといって、次の1回も必ず防げるとは限りません。
本番のAIエージェントが送金、削除、契約、社内情報へのアクセスまで持つなら、失敗の重さが違います。
「AIに権限を渡すほど、人間の確認と権限分離が必要」になります。
ぼくは、これは前向きなニュースだと思います。
AIは危ないから使わない、ではありません。
AIに任せる範囲を決め、ログを残し、止める仕組みを作る。
その設計ができる人から、「AIエージェント」を安全に使えるようになります。