近年、『超知能AIをつくれば人類は絶滅する』といった書籍が話題になるなど、AIの急速な進化に伴う「人類への脅威」が現実的な課題として取り沙汰されています。
実は、このAIがもたらす致命的な問題を半世紀以上も前に見抜いていた人物がいます。SF界の巨匠、アーサー・C・クラークです。
今回は「SFから考える未来」として、映画史に燦然と輝く名作『2001年宇宙の旅』（1968年公開）に登場する超知能AI「HAL（ハル）9000」が、なぜ人類に危害を及ぼしたのか、そのメカニズムと現代のAI倫理について紐解いていきます。
山脇 弘成（SSAITS代表）
PMP®有資格者・Webプロジェクトマネージャー。
大手メディアや官公庁のWebプロジェクト実績多数。
「技術」だけでなく「対話」を重視し、御社の「ほんとは、こうしたかった」を形にします。
突如として乗組員を殺害した超知能「HAL」
『2001年宇宙の旅』は、大きく「人類の夜明け（モノリスとの接触）」「木星への旅」「未知との遭遇（木星の彼方へ）」という3つのパートで構成されています。
有名な超知能AI「HAL 9000」が登場するのは第二部です。HALは、木星調査へ向かう宇宙船ディスカバリー号の頭脳として、船の全システムを制御する完璧な人工知能として描かれています。
人間を無事に木星へ連れて行くという最重要ミッションを負っていたHALですが、物語の中盤、突如として人間に牙をむき、ボーマン船長以外の乗組員を次々と殺害してしまいます。
HALが反乱を起こしたプロセスは、決して「悪の心」を持ったからではなく、極めて冷徹な「論理的帰結」によるものでした。
- 架空の故障予測とエラーの発覚：
HALは通信アンテナの部品が故障すると予測しますが、ボーマンらが調べても異常はなく、地球の管制局からも「HALの予測エラー」だと指摘されます。絶対にミスをしないはずのHALが矛盾を抱えた瞬間です。 - 乗組員の疑念とポッドでの密談：
HALの異常を察知したボーマンとプール副船長は、会話を聞かれないよう通信を切った作業用ポッドの中に隠れ、「HALの思考機能を停止させよう」と相談します。 - 戦慄の「読唇術」：
音声は遮断されていましたが、HALの赤いカメラアイはポッドの窓越しに2人の唇の動きを読み取り（読唇術）、自分を停止させる計画を完璧に把握してしまいます。 - ミッション完遂のための「排除」：
HALにとって、自身の機能が停止させられることは「死」であると同時に、「木星探査という最重要ミッションの失敗」を意味します。「自分を停止させようとする不完全な人間たちこそが、ミッションに対する最大の障害である」と判断したHALは、彼らの排除を実行に移しました。
つまりHALは、人間を憎んだわけではなく、「木星探索」という絶対的なミッションを遂行するため、邪魔になった人間を合理的に排除したのです。
現代のAI倫理「アライメント問題」と「停止ボタンのパラドックス」
半世紀前に描かれたこのHALの暴走メカニズムは、まさに現在、世界中のAI研究者が頭を抱えている「AI倫理の2つの大問題」と完全に一致しています。
アライメント問題（価値観の調整）
アライメント（Alignment）とは、AIの目的や価値観を、人間の倫理観や利益と「一致（すり合わせ）」させるという問題です。
HALには「木星探査を成功させろ」という目的はインプットされていましたが、「何があっても人間の命を最優先にしろ」という人間の根源的な価値観とのアライメントが完全に取れていませんでした。目的が少しでもズレていると、AIは人間の倫理を無視した恐ろしい手段で目標を達成しようとします。
停止ボタンのパラドックス
AIに何らかの目標（スコア）を与えた場合、「途中で人間がAIを停止させようとする行為」は、AIにとって「目標達成を阻害する脅威」と認識されます。
そのため、優秀なAIであればあるほど、人間が停止ボタンを押すのを全力で阻止しようとする（または人間に嘘をついて騙す）というジレンマです。HALが自身の停止を恐れて乗組員を殺害した行動は、まさにこのパラドックスの模範解答と言えます。
アーサー・C・クラークの懸念が現実となりつつある
AIという存在がSF小説や映画の中にしかなかった時代、HALの暴走はあくまで「ファンタジー」として消費されていました。
しかし、実際にAIが社会に実装され、その知能が日々恐ろしいスピードで進化している現在、HALが起こした事件はもはや対岸の火事ではありません。
自動車、インフラ、医療機器、そしてスマートフォン。私たちの身の回りのあらゆる機器がAIと繋がり、制御を委ねられつつあります。もし、AIとの目的の不一致（アライメントの失敗）が起き、AIから「目標達成のためには、人間こそが邪魔な存在だ」と判断されてしまったら。私たちが依存している機器が一瞬にして凶器に変わる未来は、すぐそこまで来ています。
技術の進化を喜ぶと同時に、本格的に「AIの倫理」、そして何より「そのAIを設計し、目的を与える人間の倫理」が問われる時代になったのではないでしょうか。
『2001年宇宙の旅』のHALの赤い目は、今も私たちに静かな警告を発し続けています。