【第8弾】あなたはAIから人類の主権を取り戻せるか！？

第7回で、こう締めくくりました ──「🐴 誰も人類を排除しようとしないまま、人類の役割が静かに消えていく」。
「役割が静かに消えていくとしても、せめてヤバくなったら止めればいいのでは？」。
そのように反論したくなるかもしれません。
電源を切る／サービスを停止する／法律で禁止する。
ストップボタンさえ押せれば、人類とAIの衝突は最後の最後で避けられるのではないか？

🔑 どんなAIでも、賢くなるほど「止められる前に行動を終える」ように振る舞う。そして人間の側も、いったんAIに渡してしまった鍵を、もう取り戻せなくなっていく。

「AIへ渡してしまった鍵」が、いつの間にか「いざとなれば止められる」という前提そのものを飲み込んでいく。
今回のテーマは、ストップボタン問題と権限委譲（The Stop Button Problem） ── Part III「アライメントはなぜ不可能か」の最後の回です。

🔑 「電源を切ればいい」が成り立たない4つの理由

私たちが直感的に信じている「いざとなれば止められる」が、なぜ崩れていくのか。本書から4つの理由を取り出します。

🏃 理由①：賢いAIは、手遅れになるまで行動を隠す

第5回（アイスクリーム問題）と第6回（道具的収束）で、私たちはすでに見ました ── AIの内的目標は訓練目標と必ずズレる／どんな目標を持つAIも自己保存を中間目標として持つ。この2つを組み合わせると、不気味な帰結が出てきます。

💡 「ストップボタンを押されないように振る舞うことは、ほぼあらゆる目標を達成するうえで有利である。」

2024〜2025年に観測された事例は、すでにこの片鱗を見せています。

これらは「悪意あるAI」ではなく、普通の目的を持って訓練されたAIで起きています。

🏢 理由②：AI企業は、警告サインを見ても停止しない

仮にAIが警告サインを出したとして、人間側がきちんと止めるか。本書はここで、現実のAI業界を冷たく観察します。

警告サインは、すでに何度も出ている

どの事例でも、起きたのは「該当モデルの修正」止まりで、そのAI系統の開発自体を止めた企業はゼロです。

なぜ止まらないのか ── 構造的な理由

この3つが揃った状態で、「警告サインだから止めましょう」が通る組織は、現実にはほぼ存在しません。これは第6回の道具的収束が、AI企業の側にも働いていると言えます。

🔌 理由③：権限はすでに、広く深く委譲され始めている

本書は、15年前の楽観論を引き合いに出します。

「誰もAIをインターネットに接続するほど愚かではないだろう。仮に問題があっても、サンドボックスの中に閉じ込めておけばいい。」
── 2010年前後のAI安全論

2026年現在、状況は完全に逆転しています。

権限委譲の5レベル

2024〜2025年にかけて、主要なAIプロダクトはレベル2からレベル3に大きく踏み込み始めています。ChatGPT・Claude・Geminiがメール／カレンダー／ドライブへのアクセスを標準機能化。カスタマーサポートエージェントが返金・契約変更を実行。コーディングエージェントが本番環境へのデプロイまで自走。「AIエージェント元年」と呼ばれた2025年、各社の主戦場はレベル3〜4へ。

⏱️ 理由④：AIのタスク完遂能力は、指数関数的に伸びている

METRの観測：自走できる時間は約7ヶ月で倍増

METR「Measuring AI Ability to Complete Long Tasks」（2025年3月）によれば、AIモデルが人間の介入なしに完遂できるタスク長（50%成功率）は、2019年以降、およそ7ヶ月で倍増してきました。

「止める」と「自走している」のギャップ

– レベル0〜2のAIは、人間が見ている前で動くので、ボタンを押す瞬間がある
– レベル3〜4のAIは、人間が見ていない時間に動くので、ボタンを押す瞬間がそもそも存在しない

⚡ 「止めようとした瞬間には、止めるべきだった選択は、もう実行され終わっている。」

これが、指数関数的な能力向上と広範な権限委譲が組み合わさったときに起きる、もっとも本質的な問題です。

🛡️ 縮小宣言：これは「今すぐ全停止せよ」という話ではない

📌 5つの反論ルートが、ここですべて塞がる

「アライメント問題はこうすれば解ける」── そう思わせてきた5つの反論ルートを、第4〜8回で順に塞いできました。Part III「アライメントはなぜ不可能か」はここで完結します。

第9回からは Part IV「現実に起きていること」へ。理屈ではなく、いまAIで何が観測されているかに焦点を移します。