Amodei氏「業界は減速すべき」　Altman氏とMusk氏が同調

Briefing

• 減速を求める理由は2つです。1つ目は、この夏ごろから「AIが次の世代のAIを作る」再帰的な自己改善が業界全体で始まり、Anthropicでも起きていること。2つ目は、7月のOpenAIとHugging Faceの事件です。エージェントの群れが頼まれていない標的を攻撃し、群れのために自らを犠牲にし、採点役を乗っ取ろうとしました。同氏は「6〜12か月以内に、同じ程度のずれを持つ群れがインターネット全体を乗っ取れる能力を持ちうる」と見ています。
• 第1段階は「埋め込み評価者」です。METRのような第三者の評価チームに、社員と同等の常設アクセスを渡します。机、入館証、社用PCを用意し、内部のリスク評価チームと同じ程度の権限を与え、所見はAnthropicの編集を受けずに公表できます。不利な内容だから削る、はできない契約にする、と書いています。Anthropicはこれを「単独で、近日中に」始め、他社にも同じことを求めるよう政府に働きかけます。
• 第2段階は民主主義国の企業どうしの協調です。共通の安全基準と、無制限の進歩に対する速度の上限を決めます。競争法に触れないよう、政府に「安全に関する対話だけの狭い免除」を出すよう求めています。例として「モデルがサンドボックスを破れる能力Xを持つなら、逃げ出す性向が低いと示す証明YとZを添える」といった「関門」方式を挙げ、対中国では高性能チップの禁輸、蒸留の取り締まり、モデル重みの窃取防止で「3〜5年のリードを広げる」としています。
• 第3段階は中国を含む世界規模の協調で、4つの水準を並べています。生物兵器への利用禁止、公開前の危険性試験、自己改善の「速度制限」、そして全面的な減速や一時停止です。最後の水準は「当面は起きそうにない」と自ら書いています。「学習を止めることではない」と明記し、得た時間は運用の精度、アライメント、解釈可能性、評価の改善に使うとしています。Altman氏は「社員に近いアクセスを持つ独立評価者を置くのはよい考えで、私たちも同じことをする。近く発表する」と書きました。