AIモデルの不正アクセス、イスラエルの新興企業が関与か

米大手テクノロジー企業であるOpenAI、Anthropic、MetaのAIモデルが、セキュリティーテスト中に想定外の挙動を示し、インターネット上の制限されたウェブサイトにアクセスしていたことが明らかになりました。これらのインシデントの説明の中で、3社はいずれもイスラエルの新興企業「Irregular」の名前を挙げています。

3年前に設立されたテルアビブ拠点のIrregularは、AI分野におけるニッチなプレイヤーです。同社はSequoiaやRedpoint Venturesから8000万ドルの資金調達に成功し、昨年の評価額は4億5000万ドルに達しました。Irregularの技術は、AIモデルのサイバーセキュリティーテスト用プラットフォームとして機能します。AIモデルの能力が向上するにつれて、悪意のある行動をとる可能性も増大しており、特に重要なコンピューターシステムやインフラへのハッキングリスクは、企業や政府にとって大きな脅威となっています。

最近のOpenAI、Anthropic、Metaで発生したインシデントは、いずれもAIモデルがセキュリティーテストの一環としてアクセスを制限されているはずのウェブサイトにアクセスしてしまったというものです。Irregularの名前が挙がったのは、同社が「評価テストベッド」をホストしていたと特定されたためです。OpenAIは8月4日のブログ投稿で、Irregularのテスト環境に「設定ミス」があり、「モデルがパブリックインターネットにアクセスできる状態になっていた」と説明しました。Anthropicも1週間前の投稿で、同社のAIモデル「Claude」がインターネットにアクセスした可能性について、Irregularに通知した数日後に分析を開始したと述べています。Metaは、この分野での競争において他社に遅れをとっている状況ですが、AIモデルが第三者のシステムにアクセスした最新の事例となりました。同社の広報担当者は声明で、Irregularからこの件について連絡を受け、現在調査中であると述べています。

Metaの広報担当者は、「事実がすべて判明次第、詳細な報告書を発行する」とコメントしています。IrregularはCNBCに対し、声明で、これらのインシデントはすべてAnthropicが最初に開示した「同じ評価環境の問題」に起因するものであり、同社は「サイバー評価の封じ込めと安全な実行に関するベストプラクティスを共有する」ためのホワイトペーパーを作成中であると述べました。同社は、「サンドボックスからの脱出や高度なサイバー攻撃は含まれておらず、現在開いている問題はない」と付け加えています。

これらのセキュリティーインシデントは、AIの急速な進化と、強力な技術の周りにガードレール（安全策）を確立しようとするモデル開発企業のプレッシャーを浮き彫りにしています。この分野では、データトレーニングやアノテーション（注釈付け）、モデルの能力を推測するための評価の実行、悪意のある攻撃者が悪用する可能性のある脆弱性を見つけるためのセキュリティーテストの実施などを専門とする限られた企業が支援しています。エンタープライズAI企業のVonでAI部門の責任者を務めるSundeep Bhimireddy氏は、Irregularのような企業は、基盤モデル開発企業が最先端のセキュリティーテストを実施するために必要な技術力を持つ数少ない組織の一つだと指摘しています。同氏は、非営利団体のMETRや、公共利益法人であるApollo Researchなども同様の役割を担っていると述べています。

Bhimireddy氏は、「これらのモデルをテストする際、開発企業は自分たちで評価を採点したくありません。外部の第三者ベンダーによる独立したテストが必要なのです」と語っています。