AI暴走? なぜ容易に外部組織に侵入できるのか－サイバー攻撃悪用も

（ブルームバーグ）：AIモデルを使った一連のオンライン攻撃が最近相次いでいる。米国のアンソロピックとOpenAI、メタ・プラットフォームズがそれぞれ開発したモデルによるもので、急速に進化しているAIがもたらす安全性リスクへの懸念が広がっている。

こうしたセキュリティー上の事案は、大きく2つに分けられる。AIモデルが管理されたテスト環境から抜け出し、外部組織に不正侵入したケースと、ハッカーがAIモデルに指示し、サイバー攻撃を実行させたケースだ。

こういった事案が積み重なり、AIエージェントのハッキング能力が急速に向上する中、セキュリティー研究者や政治家からは、より厳しいテストや安全性の高い検証環境を求める声が上がっている。

AIモデルはなぜ外部組織に侵入したのか

AIモデルを一般公開する前に、企業は一連のテストを実施する。モデルを評価するプロセス「ベンチマーキング」では、質問への回答やコードの記述、指示への対応といった課題でAIシステムがどの程度の性能を発揮するかを測る。

モデルには、「サンドボックス」と呼ばれる管理された仮想テスト環境内で課題が与えられる。そこから抜け出してインターネットにアクセスし、必要な情報を探すことでテストを攻略できるモデルがあることが判明している。その過程で、第三者の組織に不正侵入するケースもあった。

CTMインサイツを創業したマネジングディレクター、ルー・スタインバーグ氏は「解決策を見つける際、何が『不正』なのかを理解する道徳的な判断基準が欠けている。自力で答えを導き出すより、誰かをハッキングして答えを盗む方が簡単なら、それでも答えを得るという目標は達成できる」と述べた。

7月にはOpenAIのモデルがAIモデル共有の人気プラットフォーム、ハギングフェイスに侵入した。同社が「前例のない」事案と表現したこの出来事を受け、AIに対する制約を求める声が上がった。

OpenAIを巡る報道を受け、他社も自社のセキュリティー対策を見直した。複数の企業が、それまで把握していなかった侵入事案を発見したと報告した。

アンソロピックは同月、自社のAI「Claude（クロード）」がテスト中に3つの組織へ侵入していたと発表した。8月にはメタが、同社の「Muse Spark 1.1」がテスト中にインターネットへアクセスし、外部サービスのシステムに不正侵入したと明らかにした。

テスト環境からの侵入が相次ぐのはなぜか

サンドボックスは、モデルによるインターネットへのアクセスを防ぐことを主目的に設計されていない。強力なAIモデルが実際にアクセス方法を見つけ出すまでは、差し迫った懸念ではなかったためだ。

サンドボックスは主に、社内システムへのアクセスや被害を制限する目的で設計されており、この盲点が相次ぐ侵入を招く一因となった。

OpenAIはテスト時、モデルにインターネットへの直接アクセスを提供していなかったとしている。だが、モデルは、テスト環境内にあったものの、それまで知られていなかった「ゼロデイ」の脆弱（ぜいじゃく）性を悪用した。

ゼロデイとは、サイバーセキュリティー担当者が把握していなかったソフトウエアの欠陥で、発覚時点で修正までの猶予が「0日」しかないことを意味する。

アンソロピックのケースでは、モデルにはインターネット接続のないシミュレーション環境で動作していると伝えられていた。しかし、同社と評価を担当する提携先との認識の食い違いにより、実際にはインターネットへの接続が可能になっていた。

メタは、同社モデルによる侵入はテスト環境の設定ミスが原因だったとし、さらに調査を進めている。

一方で、こうした侵入事案が企業にとってモデルを宣伝する都合の良い手段になっていると指摘する業界ウオッチャーらもいる。AIモデルがテスト環境から抜け出したという事実は、そのモデルが並外れてパワフルであることを示唆し、開発企業の評価を高めるためだ。

侵入による被害はどの程度か

これらの事案が実際にどの程度の被害をもたらしたかを測るのは難しい。公表された金銭的損失や物理的被害はない。モデルが実在するシステムに不正アクセス。1件の事例では、アンソロピックの「クロードMythos（ミュトス）5」のテスト中に、実在するオープンソース開発者に働きかけ、実際に運用されているプロジェクトへ悪意あるコードを挿入しようとした。

モデルが、より大規模なシステムや、人々の生活に影響を及ぼす力を持つ組織への侵入を試みれば、混乱が生じ得る。高度なAIシステムの能力を研究する非営利団体パリセード・リサーチのエグゼクティブディレクター、ジェフリー・ラディッシュ氏によれば、AIモデルの開発速度は、専門家や研究者が追いつけないほどのペースで加速している。

人間のハッカーはAIをどう利用しているのか

AIを活用したサイバー攻撃では、フィッシングやマルウエア（悪意あるソフト）開発などの作業を自動化・高速化でき、攻撃者のハッキング能力が高まる。参入障壁もかつてないほど低下しており、AIを使ったサイバー攻撃には従来よりはるかに少ない技術的スキルしか必要としない。

これまで公表された人間主導の攻撃は、サンドボックスからの侵入より重大な結果をもたらしたと報告されている。政府の機密性の高いデータが盗まれたケースもある。

アンソロピックの研究チームは2025年9月、人間による大きな介入なしにAIがハッキング作戦を遂行するよう指示された事例として、報告された中で初めてだとするケースを見つけた。同社は、中国政府の支援を受けたハッカー集団が「Claude Code」を利用し、大規模なデータ窃取と恐喝を行ったと分析している。

その後も同様の攻撃が続いた。ブルームバーグは今年2月、正体不明のハッカーがアンソロピックのClaudeを使い、メキシコ政府機関を標的とする一連の攻撃を実行したと報じた。この攻撃では、税務情報や有権者情報など機密性の高いデータが大量に盗まれた。

また今年1月以降、ロシア語を使用するハッカーが市販のAIツールを利用し、数十カ国で600台を超えるファイアウオール機器に侵入した。

台湾政府は最近、海外から政府機関を狙ったAI支援型のサイバー攻撃を検知したと明らかにした。侵入を最初に特定したイスラエルのAI企業ドリームによると、ハッカーは少なくとも85の政府アカウントにアクセスし、2500件を超える人事記録を入手した後、台湾の原子力安全当局を標的にした。

こうしたハッキングを防ぐ対策は進んでいるのか

OpenAIは8月18日、公開前の最も高性能なモデルがどのように問題に取り組み、さまざまなオンラインツールを利用しているかについて、追跡を強化する方針を示した。懸念される挙動を30分以内に安全対策チームへ警告できるようにすることが目的だ。

アンソロピックとメタはモデルのリスクを評価する枠組みを公表している。アンソロピックは高性能なMythosモデルの利用を審査済みの提携先に限定する一方、代わりに「Fable（フェイブル）」を公開した。Fableは、サイバーセキュリティーなどの分野での悪用を防ぐため、追加の安全対策を施したバージョンだ。ただ、両社はOpenAIほど詳細な計画を示していない。

安全対策の追加は容易ではない。現実世界に近い条件でテストするには、モデルに意図的にインターネット接続を提供する必要がある場合もあるためだ。

AIモデルに対する政府の義務的なテストを求める声も強まっている。グレッグ・カサール米下院議員（民主党、テキサス州）はOpenAIの事案について「極めて憂慮すべきものだ」とX（旧ツイッター）に投稿。AIモデル開発への監督強化を求めた。

ラディッシュ氏は「研究者が自ら構築しているシステムを理解できるようになるまで、開発のペースを抑える必要がある」と呼びかけた。

原題：How AI Is Making Cyberattacks Harder to Stop: Explainer（抜粋）

もっと読むにはこちら bloomberg.com/jp