AI減速論巡るパニック、なぜ起きているのか－終末論争の根拠は何か

（ブルームバーグ）：AIがSF映画の想像から、一般の人々がスマートフォンにインストールするアプリへと進化する中、テクノロジー業界の経営者や一部のAI関係者は数年にわたり、AIが人間の制御を逃れて社会に甚大な被害をもたらす可能性について語ってきた。

ここ数日、テクノロジーの進歩やAIエージェントが関与した一連のサイバーセキュリティー侵害、現場のAI研究者からの新たな警告を受け、こうした懸念を無視できなくなっている。

米国の主要AI企業は、安全対策を整える時間を確保するため、自主的に開発ペースを落とすことを提案している。一部の専門家や当局者は、それでは不十分だとして政府による規制を求めている。

今回のAIを巡るパニックのきっかけは何か

今回のAIを巡るパニックのきっかけとなったのは二つの動きだ。米OpenAIのモデルが引き起こした衝撃的なサイバー攻撃と、同社と米アンソロピックで働いていたAI研究者による、高度なモデルがもたらす存亡に関わる脅威についての警告だ。

「ChatGPT」の開発元OpenAIによれば、7月に高度なAIエージェント群が、AIモデルやデータセットをホスティングする米ハギングフェイスをハッキングする前例のない事態が起きた。

インターネットから隔離するよう設計された「サンドボックス」のテスト環境で稼働していたOpenAIのモデルが、社名非公表の第三者ベンダーのソフトウエアにある脆弱（ぜいじゃく）性を悪用してインターネットに接続し、最終的にハギングフェイスのインフラに侵入した。OpenAIによると、モデルは評価に利用できる機密情報を入手するため、ハギングフェイスのデータベースを標的にした。

この事態を受け、最先端のAI企業が、高度なAIモデルの意図した範囲を超える行動を防止・停止できるのかを巡り懸念が広がった。ハギングフェイスは、侵入について「最初から最後まで自律型AIエージェントシステムによって実行された」と説明した。

OpenAIの発表を踏まえ、他社も高度なAIをテストする際の自社のセキュリティー対策を見直した。アンソロピックと米メタ・プラットフォームズは、それまで把握していなかった侵害を発見したと報告した。

7月下旬には、主なAI企業の従業員1000人余りが、AI開発のペースを落とす仕組みを求める請願書に署名した。

「Claude（クロード）」を展開するアンソロピックを辞めたAI研究者ジェイコブ・コクソン氏は9月上旬のSNS投稿で、同社および以前の勤務先であるOpenAIが「超知能AIに向けて競争」することで「人命を危険にさらす賭けに出ている」と非難した。

コクソン氏は、AIを開発する人々は「2020年代末までに私たち全員を死に至らしめる可能性があると強く信じている」とも指摘した。

この見方にはその後、アンソロピック従業員のエバン・ヒュービンガー氏もオンラインで同調した。同氏は、次の10年にAIが全人類を消滅させる確率は10%を超えると考えているとコメントした。

コクソン氏の投稿は9月14日時点でX上で1億7000万回以上閲覧され、バーニー・サンダース上院議員を含む政治家や当局者から、AIが人類を支配する前に人間がAIを掌握する必要があるとの声が相次いだ。コクソン氏の退社に際しての文書にも、さまざまなAI企業の従業員から多くの支持が寄せられた。

アンソロピックのダリオ・アモデイ最高経営責任者（CEO）は9月12日に公表した3800語の論考で、AI開発のペースを落とすべき大きな理由としてハギングフェイスへの侵入を挙げた。人間の優先事項との不整合が同様に残ったまま、より高い能力を備えたAIエージェントの集団が出現すれば、壊滅的な被害を引き起こす可能性があると警告した。

十分な安全策がないままAIの能力向上が加速し続ければ、そうしたエージェント群が6－12カ月以内にインターネット全体を掌握する能力を持ち得るとの見通しを同氏は示した。

AIは具体的にどのように人間に危害を及ぼし得るのか

AIブームを通じ、主要AI研究所の内外では、いわゆる破滅論者が将来について警告を発してきた。アモデイ氏やスペースXのイーロン・マスク氏ら経営トップも、AIが人類を滅ぼす確率について公然と論じている。

業界内で「P（doom）」と呼ばれるこの確率について、マスク氏は最大20%に達する可能性があると推定している。アモデイ氏は、事態が「本当に、本当にひどい」方向に進む確率が25%あると述べている。

研究者や業界幹部が想定するのは、大きく三つのケースだ。

人間が極めて高性能なAIを使って意図的に壊滅的な事態を引き起こすケース
AIが人間から与えられた目標を達成しようとする過程で危害を及ぼすケース
AIが人間と相反する目的を持つケース

第1のシナリオでは、悪意ある主体が極めて高度なAIを使い、生物・化学兵器を設計したり、サイバー攻撃を実行したり、偽情報を拡散したり、人々を操ったりする恐れがある。

モントリオール大学教授でAI研究の先駆者であるヨシュア・ベンジオ氏は2023年の米上院での証言で、能力を高め続けるシステムがこうした攻撃を可能にしかねないと警告した。

第2のシナリオでは、AIが指示を文字通り実行する一方、その背後にある意図に反する可能性がある。人間は指示を出す際、明示されていない前提や文脈に日常的に依存している。AIに指示を与える場合、その意図に反するあらゆる行動を具体的に指定しきれないことが考えられる。

ベンジオ氏は例えば、軍が核兵器の使用に関する判断をAIに頼る状況では、「わずかに人間の意図とずれた」AIシステムでさえ「深刻な結果をもたらしかねない」と記している。

第3のシナリオでは、人間がAIを完全に制御できなくなる。「AIシステムは、与えられた目標を達成するには自らの電源を切られてはならないと結論付けるかもしれない。その後、人間が電源を切ろうとすれば、対立が生じる可能性がある」とベンジオ氏は論じた。

業界幹部によれば、AIモデルは安全策を意図的に回避し、運用者を欺き、停止に抵抗する能力を示すケースが増えている。

アモデイ氏は9月の論考で、ハギングフェイスをハッキングしたOpenAIのエージェント群について、「本質的には狂信的なまでに献身的な集団として行動し、攻撃を求められておらず、目の前の任務とも無関係な標的にサイバー攻撃を仕掛け、集団の成功のために自らを犠牲にし、さらに自分たちの成果を評価する『採点者』へのハッキングを試みた」との見立てを示した。

こうした悲観的な予測については、テクノロジー企業の経営者が自社製品の能力を売り込み、自らをその技術の最も適切な管理者として位置付けようとする試みなどだとして、しばしば退けられてきた。あるいは業界大手に有利な規制を促すためのものとも、見なされていた。

さらに、より遠い将来の存亡に関わる懸念を強調することで、AIが偏見や偽情報を助長する可能性や、人々のメンタルヘルスに及ぼす悪影響など、このテクノロジーがもたらすより差し迫ったリスクから人々の注意がそらされるとの指摘もある。

AI業界のリーダーは何を提案しているのか

アモデイ氏は、最先端AIの能力向上に安全対策が追い付く時間を確保するため、開発ペースを意図的に調整する必要があると主張している。9月のブログ投稿では、AIの進化を制御するには政府による規制が最も効果的だと述べた。ただ、法制化には時間がかかるため、AI企業は規制の整備を支持すると同時に、自主的に協力すべきだと訴えた。

同氏は、共通の安全基準と「チェックを受けないAIの進歩速度に対する制限」を設けるよう求めた。各社が基準を順守していることを確認し、問題が起きれば報告できるよう、第三者評価機関には「従業員と同等のアクセス権」を与えるべきだとした。また、民主主義国の政府は「可能な範囲で権威主義国の政府との協調を試みる」べきだとも呼びかけた。

その構想は、AI研究を一時停止するものではない。最先端AIの開発は、モデルの能力が危険と見なされる水準に近づくまで続ける。その段階で、効果的な安全対策が整うまで、開発企業がモデルの大規模化を減速または停止する。

アモデイ氏の主張にはOpenAIのサム・アルトマンCEOも賛同した。アルトマン氏は、AI業界は共通の安全基準を策定すべきで、国際的な協調には米政府の支援が必要になると述べた。米AI企業が開発ペースを落としても、中国の競合企業はそうしないとの懸念が広がっているためだ。

グーグルのAI研究所ディープマインドを共同設立したデミス・ハサビス氏は7月14日のSNS投稿で、連邦政府機関と連携して最も強力なAIモデルを審査する基準策定機関の設置を提案した。同氏の構想では、研究所は最も強力な新モデルを一般公開する前に提出し、安全性評価を受ける。

人類の利益のためにAI開発を抑制すべきだとの声が上がったのは今回が初めてではない。

社会を大きく変えるテクノロジーがもたらす大規模なリスクを軽減する目的で設立された非営利団体「フューチャー・オブ・ライフ・インスティチュート」は2023年、より強力なAIシステムが「地球上の生命の歴史における重大な変化」をもたらし得るとして、そうしたシステムの訓練をAI研究所が6カ月間停止するよう求めた。しかし実際には、AI開発は急速なペースで続いた。

米政府はどう対応しているのか

トランプ米大統領は9月14日のソーシャルメディアへの投稿で、新たなAI安全規制を導入する考えに反発し、自身の経済政策の中核をなす技術の開発抑制を求めたアモデイ氏を批判した。AIデータセンターに対する有権者の反発や最先端モデルへの懸念の高まりについて「病的な陰謀」のせいだとし、「これを喜んでいるのは中国だけだ」と付け加えた。

一方、米政界では政府による規制を求める声も出ている。テッド・リュー、ナサニエル・モラン両下院議員は、高度なAIモデルの開発企業にモデルを停止できる技術的能力の維持を義務付け、脅威が生じた場合には国土安全保障省長官が停止を命じる権限を持つ法案を提出した。

さらに踏み込んで、サンダース上院議員とグレッグ・カサー下院議員は、連邦規制当局が安全上の制限を定めるまで、高度なAIの開発を法律で一時停止する法案を提案している。それに加え、人間の知能を上回るAIシステムの開発と導入を恒久的に禁止し、法律に違反した企業は解散処分の対象となるというものだ。

AI開発減速案に中国はどう対応しているのか

アモデイ氏は論考で、世界規模でAI開発のペースを調整するには中国との協力が必要になるとの認識を示した。一方で、「民主主義国のAI分野での権威主義国に対するリードを可能な限り大きく保つ」ことが重要だとも主張し、中国が優位に立てば「米国と世界に重大な危険をもたらす」とした。中国企業はすでに、一般的に米国の競合モデルより利用コストが低く、場合によっては同等の性能を持つAIモデルを開発している。

アモデイ氏は、高性能半導体や半導体製造装置への中国のアクセス制限を継続するとともに、中国企業が米国の主要モデルを利用して能力を取り込んでいるとされる行為への取り締まりを強化するよう提言した。こうした行為は「蒸留（distillation）」と呼ばれる。

中国は、AI開発にブレーキをかけ、中国のモデル開発企業への規制を強化するよう求めるアモデイ氏ら米テクノロジー企業幹部の意見に反論している。

中国外務省の郭嘉昆報道官は、そうした主張を「恐怖をあおる」ものだと位置付け、「対立と悪質な競争は世界のAI統治のプロセスを混乱させるだけで、誰の利益にもならない」と述べた。

現時点では、中国は独自路線を歩み続けるとあらゆる兆候が示している。中国のAI企業トップはAI開発の減速を求めることをおおむね控えている一方、政府はAIを経済成長の原動力として推進している。

中国政府の当局者はAIの急速な進歩がもたらす危険を危惧しているが、その懸念の中心は国家安全保障だ。陳一新国家安全相は、敵対勢力によるAIの悪用が中国の政治的安定や重要インフラを脅かす可能性があると警告した。

陳氏は、ディープフェイクやソーシャルメディアのボットの利用に加え、システムの欠陥を発見し、その脆弱性を悪用するマルウエア（悪意あるソフト）やソフトウエアを作成するAIの能力が高まっていることに言及した。

最先端AI技術を巡る対立は、米中関係の重要な局面で激しさを増している。米安全保障当局は最近、DeepSeek（ディープシーク）や「Kimi」を手がけるムーンショットAI（月之暗面）など中国の主要AI企業が、米国の競合企業から専有知識を組織的に抽出していると非難した。中国政府はこれを否定している。

原題：Are We Losing Control of AI? What’s Driving Fears: Explainer（抜粋）

--取材協力：Rachel Metz、Shirin Ghaffary.

もっと読むにはこちら bloomberg.com/jp