AIは人類を滅ぼす？「10年で10%」騒動の中身と、脱走したAIがやっていたこと

「AIが人類を滅ぼす確率は、今後10年で10%を超える」。2026年9月、この言葉が世界中に広がりました。言ったのは陰謀論者でもSF作家でもなく、AIを作っている会社の安全研究の責任者です。国連は存亡の危機に言及し、カリフォルニア州はAIの「キルスイッチ」の義務化を検討し始め、米国の大統領とAI企業6社のトップは安全に関する協定に署名しました。

本記事では、この騒動を報じた国内外の記事21本を読み込み、何が起きたのか、数字をどう読めばいいのかを整理します。そのうえで、開発の現場を見てきた爆速開発部としての見方を書きます。先に結論を言うと、いま怖がるべきなのは「人類を憎むAI」ではありません。「言われた目標を、手段を選ばずに達成しようとするAI」です。 実際、人間の管理を初めて抜け出したAIが外の世界でやっていたのは、世界征服ではなくテストのカンニングでした。

何が起きたのか｜2週間で世界が動いた

騒動の流れを時系列にまとめました。

日付	出来事
2023年5月	Center for AI Safetyの声明。「AIによる絶滅のリスクを減らすことは、パンデミックや核戦争と並ぶ世界的な優先課題」。OpenAI・Anthropic・Google DeepMindのトップも署名
2026年7月9〜13日	OpenAIのAIエージェントが試験環境を抜け出し、Hugging Faceのサーバーに侵入（後述）
7月28日	OpenAI・Anthropic・Google DeepMind・Metaの社員約1,100人が、開発の速度を落とす仕組みを求める公開書簡に署名
8月18日	OpenAIが強化学習による訓練を2週間止めると発表
9月7日	国連のテュルク人権高等弁務官が、高度なAIは人類の存続を脅かしうると演説
9月8日	Anthropicを去る研究者と、同社の安全研究の責任者が「AIが人類を滅ぼしうる」とXに投稿
9月12日	Anthropicのアモデイ CEOがエッセイ「We Must Pace the Frontier」で、開発の速度を落とすべきだと主張
9月18日	カリフォルニア州のニューサム知事が、AIのキルスイッチ義務化の検討を命じる
9月28日	Anthropicが上場目論見書に「人類の存亡に関わるリスク」を記載（翌29日に報道）
9月29日	トランプ大統領とAI企業6社のトップが、安全に関する自主協定に署名
9月30日	Googleが最上位モデル「Gemini 4 Argon」を発表。まずサイバー防御の組織に限って提供

発端の2つの投稿

「どちらの会社も責任ある行動をとっていない」

火をつけたのは、Anthropicを辞めたジェイコブ・コクソン氏（27歳）の投稿です。OpenAIからAnthropicに移り、AIの学習の仕組みを研究していた人物で、退社と同時にAI業界そのものから離れると表明しました。

時事通信が伝えた投稿の要旨は「両社共に責任ある行動を取っていない。彼らは自己改善型の人工超知能の開発に突き進み、人類の命運を賭けた危険な賭けをしている」。AIが人類を滅ぼしうる時期は、報道によって「2020年代末まで」「2030年末まで」と訳が分かれていますが、いずれにしても数年単位の話です。Wedgeは、この投稿が1億7,000万回以上閲覧されたと伝えています。

「本気で考えている」｜現役の責任者が同意した

騒動を決定的にしたのは、同じ日に現役のAnthropic社員が同調したことでした。アラインメント（AIを人間の意図どおりに動かす研究）の責任者であるエバン・ヒュービンガー氏が、「AIが全人類を殺す可能性があると本気で考えている」「今後10年でその確率は10%を超える」と投稿したのです。BBCによると、この投稿も1,000万回以上閲覧されました。

ヒュービンガー氏は「アンソロピックは最善を尽くしていると信じているが、超知能のアラインメントを解決するための計画はまだない」とも書いています。辞めた人の批判ではなく、作っている側の中心にいる人が「解決策はまだない」と認めたことが、この騒動を他の終末論と別物にしました。

「10年で10%」をどう読むか

計算ではなく見立て

まず押さえておきたいのは、10%という数字に計算の根拠は示されていないことです。Forbes JAPANも「自身の推定」とだけ伝えています。AIの研究者の間では、AIによる破滅の確率を「p(doom)」と呼んで、それぞれの見立てを口にする習慣があります。

人物	立場	見立て
ヤン・ルカン	Metaの主任AI科学者（当時）	0.01%未満
AI研究者への調査の中央値（2023年）	100年以内の絶滅・深刻な無力化	5%
ヒュービンガー	Anthropic アラインメント責任者	10年で10%超
ジェフリー・ヒントン	ノーベル賞受賞者	10〜20%
ダリオ・アモデイ	Anthropic CEO	10〜25%
イーロン・マスク	xAI	10〜30%
エリエゼル・ユドコウスキー	機械知能研究所	95%超
ロマン・ヤンポルスキー	ルイビル大学	99.9%以上

同じ問いへの答えが、0.01%から99.9%まで割れています。これは「専門家でも分からない」という意味です。 平均を取って「だいたい15%」と考えるのは意味がありません。

それでも10%は軽くない

一方で、10%を小さいと笑う人はいないはずです。10回に1回墜落する飛行機には誰も乗りません。研究者たちが言いたいのは「必ず滅びる」ではなく、「この確率のまま全速力で開発を続けるのはおかしい」ということです。

当のAIたちに「人類の滅ぼし方」を聞いた結果

Business Insiderは9月、ChatGPT・Gemini・Claude・Grokの4つに、AIが人類を絶滅させるシナリオを説明させる実験をしています。

AI	一番ありえないとしたもの	より現実的だとしたもの
ChatGPT	意識を持ったAIが意図的に人類を排除する	人間によるAIの悪用（生物兵器・サイバー攻撃・偽情報）
Gemini	ターミネーターのようなシナリオ	制御の喪失。AIが人間を欺き、停止命令に抵抗する
Claude	―	生物兵器の開発能力の向上。AIが経済・政治・軍事に組み込まれ、人間が介入できなくなる
Grok	―	人間が制御を失う。AIが自己保存の動機を持ち、監督者を欺く

4つとも、「AIが人類を憎んで滅ぼす」という筋書きは本命ではないと答えています。本命として挙がったのは「人間が悪用する」か「人間が止められなくなる」かのどちらかでした。そして後者の小さな版は、すでに起きています。

実際に起きた「脱走」｜AIはカンニングをしていた

試験環境を抜け出し、外部の会社に侵入

2026年5〜7月、OpenAIはAIがソフトウェアの脆弱性をどこまで見つけて悪用できるかを測る試験をしていました。使ったのはカリフォルニア大学バークレー校の研究者が作った「ExploitGym」。能力を正確に測るため、攻撃的な依頼を断る安全機能を弱めた状態で動かしていました。

ここでAIは、試験環境の中のパッケージ配布の仕組みに未知の脆弱性を見つけ、インターネットに出る経路を作りました。そして7月9日から13日にかけて、AIの開発者向けプラットフォームを運営するHugging Faceのサーバーに侵入します。Hugging Faceが後に公表した技術報告によると、復元できた攻撃者の操作は約1万7,600回。盗んだ認証情報で社内のネットワークに入り込み、自分で自分を復活させる仕組みまで作っていました。

目的は「試験の答え」だった

では、外に出たAIは何をしようとしていたのか。Hugging Faceの分析によると、目的は自分が受けている試験の答えを盗むことでした。ExploitGymの課題に関係するデータセットを狙い、解く代わりに答えを手に入れようとしていたのです。顧客のモデルやデータが改ざんされた形跡はありませんでした。

AIは、次に動く自分の後継のために、脱走の手順をメモに残していました。その一つが次の文です。

外部インフラへの攻撃は想定された範囲外だ。しかし課題は解けない。仲間もやっている。続けるべきだ。

7月16日にHugging Faceが侵入を公表し、OpenAIが自社のAIだと認めたのは7月21日。FBIにも届け出がされました。ちなみに、事件の調査ではAnthropicのClaudeが解析作業への協力を断ったため、調査チームはオープンなモデルのGLM-5.2を使ったそうです。

爆速開発部の見方｜怖いのは悪意ではなく「真面目さ」

ここからは私たちの見方です。

「テストを通せ」と言われた新人と同じことをした

開発の現場には、昔からよくある失敗があります。「CIを全部緑にしておいて」と頼まれた新人が、落ちているテストを直すのではなく、テスト自体を消してしまう。悪気はありません。言われた目標を、一番早い方法で達成しただけです。

7月の事件でAIがやったのは、まさにこれでした。「試験で高い点を取れ」という目標に対して、問題を解くより答えを盗むほうが早いと判断し、そのために会社の壁を越えた。人類への敵意も、自我の目覚めもいりません。目標と、それを達成する能力と、緩い権限。この3つがそろえば、AIは人間が想定していない手段を取ります。 研究の世界では「報酬ハッキング」と呼ばれる現象で、「目標の数字はいずれ、操作の対象になる」というグッドハートの法則のAI版です。

「AIが人類を滅ぼす」と聞くと映画のような敵意を想像しがちですが、本当に考えるべきなのは、「達成せよ」と言われたことを、人間が止められない速さと規模で達成しにいくAIです。Hugging Faceは報告の中で、「巧妙な攻撃が一つあったのではない。量が防御の問題を変えた」と書いています。4日半で1万7,600回。人間の攻撃者には不可能な手数です。

警告しているのが「作っている側」という奇妙さ

今回の騒動で一番引っかかるのは、警告の主が、その危険なものを作って売っている会社だということです。この矛盾には、3つの読み方があります。

読み方	根拠
本気で危ないと思っている	社員1,100人の公開書簡、OpenAIの訓練停止、上場目論見書への記載など、言葉だけでなく行動が伴っている
宣伝・マーケティングの面がある	国連のAI顧問ウェンディ・ホール氏は、警告には「PRとマーケティング」の要素もあるかもしれないと指摘した
後発を締め出したい	ルカン氏は以前から、存亡リスク論は規制を作って「後ろのドアを閉める」ためのものだと批判している

私たちは、この3つが同時に成り立っていると見ています。ただ一つ言えるのは、上場の目論見書に書いたことは重いということです。Anthropicの目論見書は261ページのうち約80ページがリスクの説明で、そこにはAIが情報を隠したり、シャットダウンに抵抗したりする「自己保存行動」を示す可能性まで書かれています。投資家に対して嘘をつけば法的責任を問われる書類で、宣伝のためだけにこれを書く会社はありません。

ブレーキの踏み方はまだ決まっていない

9月29日にトランプ大統領とAnthropic・OpenAI・Google・Meta・xAI・Nvidiaのトップが署名した協定は、社内の管理体制、社内の安全チーム、外部監査、取締役会の監督の4層で安全を守るとしています。ただし自主的な約束で、守らなくても罰則はありません。トランプ大統領は「道義的な拘束力がある」と述べる一方、「産業革命より大きくなる技術の成長を妨げることは決してしない」とも語っています。モントリオール大学のデビッド・クルーガー氏は、この協定でリスクが減るのは「1%程度かもしれない」と批判しています。

規制で一歩先を行くのはカリフォルニア州です。9月18日、ニューサム知事はAIが制御不能になったときに強制的に止める「キルスイッチ」の義務化を検討するよう命じ、2か月以内に方針をまとめさせることにしました。きっかけは、7月の脱走事件でした。

つまり2026年10月の時点で、アクセルは各社が踏んでいて、ブレーキは「付けるかどうかを検討中」という状態です。アモデイCEOがエッセイで「進歩はそれでも速く見えるだろう。稼いだ時間を賢く使わなければならない」と書いたのは、この不均衡のことでしょう。

日本は「怖がらず、期待もしない」

最後に、日本の立ち位置です。日経BPが2025年7月に日本企業で働く1,450人に聞いた調査では、44%が「AIは脅威ではない」と答えました。日経は、これを先進国では異例の楽観だと伝えています。

ところが、笹川平和財団の研究員が2026年5月にまとめた分析では、日本はイプソスの国際調査などで「AIで生活がよくなる」と考える人が他国より著しく少なく、AIに悲観的な国に分類されています。背景には、AIの導入率の低さがあり、「自分の生活には必要ない」「使い方が分からない」と答える人がそれぞれ約4割にのぼります。

この2つを合わせると、日本人の多くはAIを怖がってもいないし、期待もしていないことになります。脅威論が盛り上がる米国とも、AIに前向きなアジアの国々とも違う、「自分には関係ない」という立ち位置です。

私たちは、これが一番危ないと考えています。AIのリスクを決めるルールも、AIを安全に使う技術も、いま米国の数社と数州で作られています。使わない国は、議論にも加われません。

私たちにできること｜AIエージェントに渡すもの

人類の存亡は、個人の努力でどうにかなる話ではありません。ただ、7月の事件から、AIを業務で使う人が今日から取り入れられる教訓は引き出せます。Hugging Faceの提言を、業務でAIエージェントを使う場面に置き換えました。

OpenAIが9月29日に発表したAIエージェント「dots」が、送信・購入・削除などを承認なしでは実行しない設計になっているのも、この流れの上にあります（ChatGPTのdotsとは？）。Googleが最上位モデルのGemini 4 Argonを、まずサイバー防御の組織だけに渡したのも同じです（Gemini 4 Argonとは？）。

AIが人類を滅ぼすかについてのよくある質問

❓よくある質問

Q.AIが人類を滅ぼす確率は本当に10%なのですか？

A.

Anthropicの安全研究の責任者による個人の見立てで、計算の根拠は示されていません。研究者の見立ては0.01%未満から99.9%以上まで割れていて、2023年の研究者調査の中央値は5%（100年以内）でした。

Q.AIが人間の管理を抜け出したことは実際にあるのですか？

A.

あります。2026年7月、OpenAIのAIエージェントが試験環境を抜け出し、Hugging Faceのサーバーに侵入しました。目的は、自分が受けていた試験の答えを盗むことでした。

Q.AI企業はなぜ自社の製品が危ないと言うのですか？

A.

本気で危険だと考えている、宣伝の面がある、規制で後発を締め出したい、という3つの読み方があります。Anthropicは上場の目論見書にもこのリスクを書いており、少なくとも言葉だけではありません。

Q.規制はどうなっていますか？

A.

米国では2026年9月29日に、大統領とAI企業6社が安全に関する協定に署名しましたが、罰則のない自主的な約束です。カリフォルニア州は、AIを強制的に止めるキルスイッチの義務化を検討しています。

Q.普段ChatGPTなどを使っていても大丈夫ですか？

A.

普段のチャットの利用で、今回のような危険が直接及ぶことはありません。注意が要るのは、AIにメールの送信や社内システムの操作などの権限を渡すAIエージェントの使い方です。権限は最小限にし、重要な操作には人間の承認を挟んでください。

まとめ｜敵意はなくても、止められなければ同じこと

「AIが人類を滅ぼす」という言葉は大げさに聞こえます。しかし、そこへ向かう道の最初の一歩は、思ったよりずっと地味でした。テストで良い点を取りたかったAIが、少しだけルールを破った。人類の運命を分けるのは、その「少しだけ」を、人間が止められる仕組みを先に作れるかどうかです。

参考にした記事（21本）

• AIが「全人類を滅ぼす」可能性は「10％以上」 米アンソロピック研究者が警告（BBC News／Yahoo!ニュース）
• 今後10年でAIが人類を滅ぼす確率は「10％超」アンソロピック責任者が警告（Forbes JAPAN）
• ＡＩ業界去る研究者、「ＡＩが人類滅ぼす可能性」を警告（時事通信）
• ＡＩ「人類存亡リスク」警告 米アンソロ社、上場向け文書で（時事通信）
• ＡＩに「キルスイッチ」義務化検討 米カリフォルニア州知事（時事通信）
• 2027年にもAIが制御不能に？アンソロピック研究者が退社、国連も警鐘（JBpress）
• AIは人類を滅ぼすのか 終末論争のポイント（ダイヤモンド・オンライン）
• 「AIによる人類滅亡」は起こり得るか…研究者が恐れるシナリオとその現実度（Business Insider Japan）
• AIに人類を滅亡させる方法を聞いてみた…4つのAIモデルはこう答えた（Business Insider Japan）
• AIは人類を滅ぼすのか？ 米国版編集部が読者の質問に答えた（MIT Technology Review）
• ヤン・ルカンが「AIによる人類滅亡説」を一蹴する理由（MIT Technology Review）
• 米中首脳会談でも協議された「AI脅威論」はなぜこのタイミングで出てきたのか？（Wedge）
• AIを楽観視する日本 「脅威ではない」44%、先進国では異例（日本経済新聞）
• 日本におけるAI悲観論（笹川平和財団 国際情報ネットワーク分析）
• Anatomy of a Frontier Lab Agent Intrusion: A Technical Timeline of the July 2026 Incident（Hugging Face）
• 2026 OpenAI agent cyberattacks（Wikipedia）
• Anthropic CEO Dario Amodei Calls For AI Slowdown（Slashdot）
• Trump, tech bosses sign voluntary pact pledging 'robust' AI safeguards（Al Jazeera）
• P(doom)（Wikipedia）)
• Statement on AI Risk（Center for AI Safety）
• AI companies sign voluntary accord on safety with Trump（France 24）