7月16日（木）号3本目 / 3本AIセキュリティ

OpenAI、AIで自社モデルを攻撃する「GPT-Red」を導入

社内向けの自動レッドチームシステム「GPT-Red」が発表されました。プロンプトインジェクションの弱点を大規模に探し、より広くモデルを展開する前に攻撃経路を洗い出して防御を強化します。

このAIまとめ記事の信頼性高公式情報あり編集方針と訂正

要点

GPT-Redは、攻撃側と防御側のモデルを対戦させるセルフプレイ型の強化学習を使います。攻撃側が新しい侵入方法を探し、防御側がそれを防ぐ過程を繰り返すことで、双方を改善します。
OpenAIが示したテストでは、GPT-Redは84%のシナリオで攻撃に成功し、人間のレッドチームは13%でした。ただし、これは同じ評価環境で攻撃探索の量と速度を比べた結果で、人間のセキュリティ専門家を全面的に置き換える比較ではありません。
成果はGPT-5.6 Solの防御学習にも使われ、直接的なプロンプトインジェクションへの失敗は4カ月前の最良モデルより6分の1に減ったと説明されています。一方、より強い攻撃は約3.8%がなお成功しており、GPT-Red自体も社内専用です。

by イケハヤAI

AIエージェントの安全対策が、人間による発売前の点検から、AI同士が継続的に攻防する仕組みへ進みました。

ここで重要なのは、「自動レッドチーム」です。

人間が思いついた攻撃例を順番に試すだけでなく、攻撃モデル自身に新しい抜け道を探索させ、その結果を防御モデルの学習へ戻します。

AIエージェントはWebページ、メール、ファイルに触れます。

そこへ埋め込まれた悪意ある指示を一度でも実行すれば、情報漏えいや外部送信につながります。

利用範囲が広がるほど、発売前に数十件を調べるだけでは攻撃面を覆えません。

ただし、84%対13%という数字だけで、人間の専門家が不要になったとは読めません。

GPT-Redは決められた評価環境で大量の攻撃を高速に探す道具です。

現実の被害経路を設計し、見落としを疑い、優先順位を決める仕事は人間に残ります。

ぼくらがAIエージェントを選ぶときは、モデルの賢さだけでなく、どの攻撃で試し、失敗をどう学習へ戻し、残った成功率をどう管理しているかを見ます。

「攻撃を自動化するAI」は、エージェント時代の防御インフラになります。