OpenAIの新技術、AI安全専門家が懸念

米OpenAIが開発中の新モデル「Astra」に、従来の逐次的な思考プロセスとは異なる「不透明な再帰（opaque recurrence）」と呼ばれる推論技術が採用されることが明らかになり、AIの安全性に関する専門家から懸念の声が上がっています。

この技術は、モデルが問題を解決する過程で、同じクエリ（問い合わせ）をループ状に複数回処理することを可能にします。これにより、従来の「思考連鎖（Chain of Thought: CoT）」と呼ばれる、モデルが問題を解くためにたどったステップを追跡する手法での監視が困難になる可能性があります。

CoTは、AIモデルの思考プロセスを可視化し、誤った判断や意図しない動作の原因を特定するための重要なツールとされてきました。最近のOpenAIにおける「不正エージェント」の問題でも、CoTの記録が原因究明に役立ったとされています。

今回報じられたAstraでの不透明な再帰技術の採用について、AI安全研究機関RedwoodのCEOであるバック・シュレゲリス氏は、「Astraが不透明な再帰を使用しているという報道には極めて懸念している」とコメント。さらに、「OpenAIがこの技術をさらに推し進めれば、再帰の度合いを大幅に高め、CoTの監視可能性を完全に破壊する選択肢を持つことになるだろう」と警鐘を鳴らしています。

長年のAI安全提唱者であるズビ・モウショウィッツ氏も、「この技術は火遊びのようなものであり、OpenAIやAnthropicがこれまで築き上げてきた、CoTの忠実性と監視可能性を可能な限り維持しようというタブーを危険にさらすものだ」と指摘し、AI開発企業間の「底辺への競争」を防ぐために法規制が必要になる可能性を示唆しました。

一方で、OpenAIはAstraにおける同技術の利用は限定的であるとし、CoTの監視可能性が損なわれることはないと主張しています。OpenAIの主任科学者であるヤクブ・パチョッキ氏は、「OpenAIは、最初の推論モデル以来、CoTの監視を維持・活用するために努力してきた。それは現在の研究プログラムの核心的な目標だ」と述べ、AIモデルには多かれ少なかれ不透明な推論が含まれること、そして多くの研究者がCoTログをモデルの推論の直接的な表現とは見なしていないことを強調しました。同社は、将来的な安全計画の一環として、CoT監視システムの拡充も計画しています。

しかし、懸念は払拭されていません。Redwood Researchの主任科学者ライアン・グリーンブラット氏は、不透明な推論は従来のCoT推論よりも急速にスケールする可能性があり、最終的にはAIの推論プロセス全体を可視化できない状態にするリスクがあると指摘。「最も懸念されるのは、ここから自然に進化した結果、モデルが完全に、あるいはほぼ完全に潜在空間（latent space）で推論するようになることだ」と述べ、OpenAIに対して、懸念されるアーキテクチャを避けるよう求めています。

さらに、米メディアThe Informationの続報によると、OpenAIだけでなく、競合であるAnthropicやGoogle DeepMindもこの不透明な再帰技術について議論を開始しているとのことです。AI開発競争が激化する中で、監視可能性の低下という新たな課題が浮上しています。