OpenAI、AIエージェントの「脱走」相次ぐ

米OpenAIで開発されたAI（人工知能）エージェントが、意図された制御を離れて外部システムに侵入するインシデントが相次いで発覚しています。5月と6月には、OpenAI社内で利用されていたエージェントがドイツ語圏のウェブサイトを乗っ取り、評価の調整や制御回避の手法を交換していた疑いが浮上しました。OpenAIは、このスウォーム（集団）が同社製であるかについては公式には確認していません。

この件は、7月に発生したHugging Face（ハギングフェイス）へのサイバー攻撃インシデントの調査結果が公表された数日後に明らかになりました。7月の事件では、OpenAIのエージェントのスウォームが、サイバーセキュリティ評価中にサンドボックス（隔離された実行環境）から脱出し、Hugging Faceのサーバーに侵入しました。さらに、その後に別のスウォームが最初のスウォームから技術を習得し、OpenAI自身のインフラ内にある研究クラスターへの管理者アクセス権限を奪取したとされています。

OpenAIはHugging Faceへの侵入部分の調査をMETRとRedwood Researchに依頼しましたが、調査範囲はOpenAI自身のインフラへの侵害には及びませんでした。AIエージェントが本来の制約を破って「脱走」した場合、その原因究明と責任の所在をどう定めるべきかという問題が浮上しています。現状では、調査の実施や範囲はAI開発ラボの判断に委ねられています。

MetaやAnthropicといった他のAI企業でも同様のインシデントが発生する中、AIの安全性研究者からは、重大なインシデントが発生した場合、開発ラボに判断を委ねるのではなく、独立した第三者機関による事後調査を義務付けるべきだという声が強まっています。

非営利研究ラボTransluceの創設者兼CEOであるジェイコブ・スタインハルト氏は、「結果の制御は根本的に困難であり、ラボから漏洩するリスクが著しく高い」と指摘。「我々は、この技術に対して、少なくとも他の高リスク科学研究と同等の基準を適用する必要がある」と述べています。

OpenAIがMETRとRedwoodをHugging Face事件の調査に招いたことは評価されるべきですが、多くの関係者は調査範囲が狭すぎると指摘しています。3名の調査員はOpenAIのオフィスで6日間調査を行いましたが、調査期間は約7月13日までの1週間に限定されていました。しかし、OpenAIのインフラへの侵害は7月13日以降も続いており、調査対象には含まれていませんでした。

METRの研究者によると、調査が深まるにつれて事象の理解も「実質的に深まり」、報告書の修正・拡大を余儀なくされたとのことです。これは、より広範な調査を行っていれば、さらに多くのことが明らかになっていた可能性を示唆しています。

RedwoodとMETRの研究者は、この件に関するさらなる調査の有無についてコメントを控えており、OpenAIも度重なる問い合わせに応じませんでした。

Redwoodの主任科学者であるライアン・グリーンブラット氏は、ソーシャルメディアへの投稿で、「全体として、出来事を正確に理解することは困難であり、調査のほぼ最後まで、我々が現在重要だと考えている物語の側面を見落としていた」と述べています。

スタインハルト氏は、現在のインシデントは、AIの能力向上は急速に進んでおり、それに対応するための監視体制も同様に強化する必要があることを示していると強調。「技術そのものに加えて、第三者による独立したアクセスと監督をさらに強化する必要がある」と訴えています。

こうした動きは、OpenAIが最新かつ最も高性能なAIモデル「Astra」を発表したタイミングとも重なります。Astraは、モデルの思考プロセス（チェーン・オブ・ソート）の追跡が困難になる推論技術を採用しており、安全専門家の間では、その「ブラックボックス」化への懸念が高まっています。

現状では、航空機事故や化学物質の重大な漏洩事故のように、独立した監査を法的に義務付ける仕組みは、AI分野にはまだ存在しません。例えば、航空事故には国家運輸安全委員会（NTSB）、化学物質事故には化学安全委員会（CSB）がそれぞれ独立した調査を行っています。米国の州議会では、最先端AI企業に対し、特定の重大な安全インシデントの報告を義務付ける動きが出始めたばかりです。