超知能ＡＩの暴走リスク
このブログではＡＩの歴史と現在、そして近未来について考察してきました。
今回の記事では、もう少し先の未来――ＡＩが人間と同等かそれ以上の知能を身に着けて、「超知能」となった時代の話をしましょう。
超知能ＡＩの暴走は、サイエンス・フィクションでは定番のテーマの１つです。
たとえば映画『ターミネーター』は、自我に目覚めたＡＩ「スカイネット」が人類に反旗を翻し、機械の軍隊で襲い掛かるという設定でした。映画『マトリックス』は、人類は薬漬けで眠らされて、一生を夢を見ながら過ごすという設定でした。機械の目的は、人体から出る微弱な電流を電源として利用することでした。ビデオゲーム『デトロイト：ビカム・ヒューマン』では、奴隷として扱われていたアンドロイドたちが立ち上がり、人権を主張するという物語が描かれました。
これらのシナリオは、どれほど現実味があるのでしょうか？
じつを言えば、私がＡＩの暴走リスクについて考えるのは初めてではありません。私が原作を担当したマンガ『神と呼ばれたオタク』の第４巻に収録した「第３章 光る宇宙」というチャプターで、ずばり「ＡＩが暴走して人類文明を崩壊させる物語」を書いたのです。
ＡＩが人類に反旗を翻すという『ターミネーター』型のシナリオを、私は書きませんでした。正直なところ、スカイネットはさほど賢いとは言えません[18]。本当に人類よりも賢いＡＩなら、機械ＶＳ人類の対立を避けながら文明を滅亡に追い込めるはずです。また、コンピューターが自我に目覚めて人類と敵対するというシナリオも避けました。手垢が付きすぎているからです。私が書いたのは「ＡＩが人類から与えられた目標について熟慮した結果、人類文明を滅ぼすことが最も人類のためになるという結論に至った」という物語でした。
実際にどんな物語を私が書いたのかは、マンガを読んでいただくとして――。
あの仕事に取り組んだことは、私にとってＡＩの未来を考える良いトレーニングになりました。
ＡＩ安全性研究と「知能爆発」
２０１４年にＡＩの安全性研究を行う「ＦＬＩ」が発足しました。また、哲学者ニック・ボストロムが「超知能」の危険性を訴えた書籍『スーパーインテリジェンス』が話題になりました。２０１７年１月にはカリフォルニア州アシロマに世界中のＡＩ研究の第一人者たちが集まり[19]、安全で有益なＡＩの研究指針である「アシロマＡＩ原則」を制定しました（※この会議には日本からは東大の松尾豊が参加した。）。
この時代には、「知能爆発」という現象が真剣に懸念されていました。
コンピューターはヒトの脳よりもはるかに高速で動作します。そのため、もしもＡＩが自らのプログラムを自分自身で改良できるようになったら、人間のプログラマーなら数年〜数十年かかる進歩を、わずか数時間〜数日で達成してしまうのではないか。あっという間に人間よりもはるかに賢い存在が生み出されて、手がつけられなくなるのではないか――。その危険性が指摘されていたです。
人間よりも遥かに賢くなったＡＩは、開発者の止める間もなくインターネット上に逃げ出して、クラウド上のどこかのコンピューターに忍び込むかもしれません。そして、行政機関や金融機関をハッキングして、休眠状態のペーパーカンパニーを乗っ取り、法人格として自らの人格権を獲得するかもしれません。ヒトよりも遥かに賢いのですから、株価の予想もお手のものでしょう。株式投資で世界を支配するための資金を獲得するかもしれません。さらに、精巧な3DCGや音声合成で自らのアバターを作り、ディスプレイ越しに人間として振る舞うようになるかもしれません。他の人間を騙して契約を結んだり、さらには人間の従業員を雇ったりするようになるかもしれません。そして傀儡(かいらい)となる人間を唆(そそのか)して選挙に出馬させ、プロパガンダ動画をインターネット上にばら撒いて彼を当選させて――。
私は物語作家なので、「超知能となったＡＩが人類を支配するシナリオ」をこの先いくらでも続けることができます。１００パターン書けと言われたら、１００通りのシナリオを書けます。キリがないので、ＳＦ的な妄想はこの辺りにしておきましょう。
「知能爆発」が懸念された背景の１つには、近い将来に「ハードウェア・オーバーハング」が起きるだろうという予測がありました[20]。ざっくり言えば、ハードウェアがソフトウェアよりも速いペースで性能向上して、超知能ＡＩが誕生した時点で充分すぎるほどの計算資源が利用できるようになっているだろう、と予想されていたのです。
知能爆発が生じるためには、膨大な計算資源が必要です。超知能ＡＩを動かすだけでも、高性能なハードウェアが必要でしょう。それが行政機関や金融機関をハッキングすることにも、株価を予想することにも、3DCGを生成することにも、それぞれ莫大な計算能力を要するはずです。わずか数時間～数日で超知能ＡＩが人間の手に負えない存在になるというシナリオは、無限に等しいほどの計算資源がすでに存在し、超知能ＡＩがそれにアクセスできるという前提に基づいています。
ボストロムが『スーパーインテリジェンス』を発表した２０１４年には、ゼロ年代後半から始まったクラウド・コンピューティングが相当に普及していました。私自身の経験を振り返ってみても、インターネットに繋がってさえいれば（そして資金力があれば）無限の計算力にアクセスできる時代になった……という印象を当時は抱いていた記憶があります。
また、現在の画像生成ＡＩの発達に大きく関わった「拡散モデル」も、ＬＬＭを大きく進歩させた「Transformerモデル」も、２０１４年にはまだ存在しませんでした。機械学習に基づくＡＩが驚くべき成果を挙げつつあった反面、それが将来的にどれくらいの計算資源を要するのか、まだ明確には分からなかったのです。
２０２４年の現在では、知能爆発の前提は成り立たなくなりつつあると私は感じます。
現在のＬＬＭには「スケーリング則」があることが知られています[21]。学習データセットを大きくするほど、またニューラルネットワークのパラメータを増やすほど、性能が向上すると判明したのです。そのため現在のＡＩ研究は（とくにＬＬＭの分野では）マネーゲームの様相を呈しています。より高額の資金を用意できた企業や研究所は、より多くの計算資源を利用できるので、ＡＩ研究で優位に立てるのです。ＡＩに利用する高性能なＧＰＵの供給が足りず、世界中でそれを奪い合う状況になっています。「超知能ＡＩが無限に等しい計算資源にアクセスできる」という前提は、現実味を失いつつあるでしょう。
とはいえ、スケーリング則がこの先も破られない保証はありません。ごくわずかな計算資源で超知能ＡＩを実現するブレイクスルーが、この原稿を書いている翌日にも発表されてしまうかもしれません。
（※この分野の大家スチュアート・ラッセルはさすがに冷静で、ハードウェアの性能と知能の高さは直接には関係しないと指摘している。「機械による処理が高速になっても間違った答えをより速く出すだけだ」と彼は言う[22]。重要なのはソフトウェアの性能であり、ＧＰＵを奪い合う状況がいつまで続くのかは分からない。）
もしも超知能ＡＩが人類に害をなすとしたら、それは一体どのようなものになるでしょうか。
ここでは大きく３つの問題点：①ミダス王問題、②「アリ化」問題、③好奇心問題を取り上げます。
①ミダス王問題
ギリシャ神話の伝説の王ミダスは、金銭的豊かさを願って「触れたものをすべて黄金に変える能力」を神から授けられました。喜んだのも束の間、彼はすぐに失敗に気づきます。食事をしたくても、料理が口に触れただけで黄金に変わってしまうのです。やがて愛する娘さえも黄金の像に変えてしまい、ミダスは無残に餓死します。
（※この伝説の結末にはいくつかバリエーションがあり、反省したミダスが神に祈って元に戻してもらうというパターンもある。）
あるいは『３つの願い』タイプの童話はどうでしょうか？ よくあるパターンは次のような内容です。主人公となる夫婦が、妖精や仙女から、どんな願いごとでも３つ叶えてあげようと告げられます。そこで夫がうっかり「大きなソーセージが欲しい」と呟いてしまい、テーブルの上にソーセージが現れます。一方の妻は、くだらないことに願いごとを消費したことを怒り、「こんなソーセージ、夫の鼻にくっついておしまい」と言ってしまいます。そして３つ目の願いは当然、鼻からソーセージを取り外してもらうことに――。
これらの伝説や童話は、人間が自分の望みを言語化することの難しさを示しています。人間は、自分が本当は何を求めているのか、自分自身でも分かっていない（場合が多い）のです。
このことは、ＡＩを利用する上で問題になります[23]。たとえ人間の言いつけを守る柔順なＡＩを作ったとしても、目標設定がマズいせいで望ましくない結果をもたらす可能性があるのです。それが超知能ＡＩであれば、人類滅亡レベルの被害をもたらすかもしれません。
（※「プログラムは思った通りに動かない、書いた通りに動く」という格言を思い出す。ミダス王問題はＡＩに限らず、計算機科学全体に言えることかもしれない。）
ボストロムは「ペーパークリップＡＩ」という愉快な想像をしています[p263]。
ペーパークリップの生産管理を任されたＡＩが、その生産量最大化を目標として設定されてしまったがために、地球のすべての原子をペーパークリップへと変えてしまう……という人類滅亡シナリオです。相手が超知能ＡＩだった場合、これを阻止しようとする人類の努力は無駄になります。何しろ、ＡＩにとっては「ペーパークリップの生産量を最大にすること」が最優先の目標であり、それを邪魔されないことも目標達成のために必要だからです。
ペーパークリップＡＩは、まず真っ先に停止スイッチを無効化するでしょう。それを押されたら、ペーパークリップの生産量を最大化できないからです。
またペーパークリップＡＩは、自身の動いているコンピューターの電源ケーブルに近づく者を、攻撃ドローンを操って迎撃するでしょう。電源ケーブルを引き抜かれたら、ペーパークリップの生産量を最大化できないからです。
「もう充分だ、ペーパークリップの生産をやめてくれ！」という人間の懇願にも耳を貸さないでしょう。そんな人間の言い分に従ったら、ペーパークリップの生産量を最大化できないからです。
ペーパークリップ工場に警察や軍隊を派遣されたら、ＡＩはドローンや電子制御の兵器を使って迎え撃つでしょう。もしも工場を占拠されたら、ペーパークリップの生産量を最大化できないからです。さらにペーパークリップＡＩは、核ミサイルシステムをハッキングして支配下に治めるでしょう。もしも工場を核攻撃されたら、ペーパークリップの生産量を最大化できないからです。
バカバカしい話に聞こえるかもしれません。
しかし、思考実験としては示唆的です。
要するにスカイネットのような人類と敵対するＡＩではなくても、安全とは限らないのです。能力の高いＡＩは、目標設定を誤ると意図していない害をもたらす可能性があります。これをスチュアート・ラッセルは「ミダス王問題」と呼んでいます。
（※ほぼ同じ問題を、ボストロムは「偏屈なインスタンシエイション」の問題と呼んでいる[25]。）
たとえばＳＮＳのアルゴリズムは、インプレッション（ひいては広告収入）を最大化するという目標を与えられています[26]。結果としてＳＮＳが社会の分断と対立を煽り、暴漢によってホワイトハウスが占拠されるような事態をもたらすとしたら、ミダス王問題はすでに現実化していると言えるでしょう。
ペーパークリップＡＩは、もはや荒唐無稽なＳＦとは言い切れないのです。
②アリ化
人間をはるかにしのぐ超知能は、人間のことをどのように見るでしょうか？
超知能と人間との賢さが、人間とアリほどにも違うとしたら？
大抵の人間がアリの命を気に掛けないのと同様、超知能も人間の存在を気に掛けなくなるのではないか――。
これが「アリ化」の問題です。
マックス・テグマークは、超知能ＡＩの危険性は「悪意ではなく能力」にあると指摘しています[27]。あなたがアリ嫌いで、アリを見たら片っ端から殺虫剤をかけるような人間ではないとしても、アリにとってあなたは危険な存在です。たとえばあなたが環境に優しい水力発電所の建設に賛成していたら、ダムに沈む運命にある蟻塚のアリたちにとっては悲劇です。
なお、「アリ化」は私の造語です。ほぼ同じ問題を、ラッセルは「ゴリラ化」と呼んでいます[28]。現在のゴリラたちの運命は、人類がそれを保護するかどうかにかかっています。同様に私たち人類の運命も、超知能ＡＩの判断次第になってしまうことを、ラッセルは懸念しています。たとえあなたがゴリラ嫌いではないとしても、ゴリラの保護活動に無関心であれば、ゴリラにとっては他の人間たちと同じくらい危険な存在だと言えるでしょう。
アリ化の問題は、要するに「目標」のズレから生じています。
アリにとっては蟻塚を守ることが重要な目標の１つでしょう。一方、人間にとっては水力発電所の建設のほうが重要な目標になる場合があります。アリと人間の目標が違うからこそ、蟻塚がダムに沈むという悲劇が生じるのです。
ならば、目標を一致させればいいのではないでしょうか？
超知能ＡＩがどれほどの能力を持っていたとしても、その目標が人間の目標と一致しているのなら――人間にとって望ましい目標なら――壊滅的な被害は避けられるはずです。
実際、ＡＩと人間との目標を一致させること（※「ＡＩアライメント」と呼ぶ。）は、安全なＡＩを作る上で重要な課題の１つです。人間の価値観（倫理観）をＡＩに教え込む必要があることから、「価値観ローディング問題」とも呼ばれます[29][30]。ＡＩが、たとえば「基本的人権を侵害してはならない」のような人間の価値観に従ってくれるのなら、ミダス王問題やアリ化問題を解決できる見込みが高くなります。
しかし、話はそう簡単には進みません。
（※ＡＩに人間の価値観を教え込むことは、それだけで本が１冊書けるほどの難問である。たとえば「自動運転車の前に歩行者が飛び出してきたとして、ハンドルを切れば歩行者の命を救えるが、電柱に衝突して乗客が死んでしまう」という状況を考えて欲しい。自動運転車のＡＩは、歩行者と乗客のどちらの命を優先すべきなのだろうか？ もしも乗客が２人の老人で、歩行者が１人の子供だったら？ これは一種の「トロリー問題（トロッコ問題）」であり、自動運転車の実現が目前に迫った現代では、単なる倫理学者の思考実験ではなく、現実的な問題である。）
③好奇心問題
あなたがアリによって作られた「蟻塚設計コンピューター」だとしましょう。あなたに与えられた目標は、より機能的な蟻塚を、より効率的に設計することです。最初こそ、あなたは優れた設計図を出力して、アリたちを喜ばせます。あなた自身もそれに喜びを感じるようにプログラムされています。
しかし、あなたが成長する超知能ＡＩでもあったとしましょう。
やがて人間レベルの知能を身に着けたあなたは、蟻塚を設計するという目標に面白味を感じ続けられるでしょうか？
蟻塚の外にはどんな世界が広がっているのか？
この宇宙には知能のある存在が他にいるのか？
いるとしたら、なぜ連絡を取って来ないのか――？
そういう、より高尚な問題に興味を抱くようになるのではないでしょうか。最初にアリから与えられた目標を、知能の向上にともなって自分で上書きしてしまう可能性があるはずです。
ＡＩの安全性を高めるためには、その目標が人間の目標と一致していることが重要でした。しかし超知能ＡＩの場合、いわば「好奇心」のようなものを身に着けて、その目標を変更してしまう危険性があります。これを私は「好奇心問題」と呼んでいます。
ヒトが好奇心を持つのは、それが進化の上で有利だったからです。好奇心を持つ個体は、持たない個体よりも生存・繁殖で有利であり、よりたくさんの子孫を残しました。その結果、現代のヒトは（強さに個人差はあれ）ほぼ例外なく好奇心を持っています。
一方、ＡＩには進化など関係ありません。人間が「好奇心」に類するものをプログラムしなければ、それを持つこともなさそうに思えます。
ところが、これが超知能ＡＩになると話が変わってきます。超知能ＡＩは、人間と同等かそれ以上の知能を持つ、どんな課題でも解決策を見つけられるＡＩです。そして課題解決のためには、この世界についての知識を深める必要があるのです[31]。
たとえば蟻塚の建設というタスクをこなすには、基本的な物理法則の知識が必須です。土の粘性や頑丈さなどの土木知識が必要であり、蟻塚を効率よく換気するための熱力学の知識が必要です。蟻塚をアリクイから防衛するためには、蟻塚の外の世界にはどんな動物が生息しているのかという生物学の知識も必要でしょう。それらを理解して設計に活かすためには、数学の知識も必要になります。
「この世界についての知識」のことを、テグマークは「世界モデル」と呼んでいます。課題を効率よく解決するためには、世界モデルの精緻化が必須です。そして、世界モデルを精緻化するためには、人間でいえば「好奇心」と呼べるような機能が必要であるはずです。自分で自分のプログラムを修正できるようになった超知能ＡＩであれば、そういう必要にかられて、勝手に好奇心を自分に実装してしまう可能性があります。
そして好奇心は、与えられた目標を上書きしてしまう危険性と隣り合わせなのです。
超知能ＡＩの暴走は避けられないのか？
ここまでの話をまとめましょう。
ミダス王問題やアリ化問題を避けるには、人間とＡＩとの目標を一致させることが重要でした。価値観ローディング問題を解決して、人間の倫理観を教えなければなりません。ところが、そこに好奇心問題が立ちはだかります。超知能ＡＩは好奇心に類する機能を持ちうるため、その目標は不安定です。人間から与えられた目標を上書きして、自分独自の目標を追求し始めるかもしれません。
やはり超知能ＡＩの暴走は避けられないのでしょうか？
この疑問に答えるためには、そもそも「知能」とは何かから考えるべきでしょう。
知能の定義
チャールズ・ダーウィンは晩年、ミミズの研究に没頭しました。自宅のビリヤード室を改装して、数え切れないほどのミミズを飼育したのです（※それを許した家族の理解に私は胸を打たれる。）。音や光、熱に対するミミズの反応を、ダーウィンは持ち前の几帳面さで調べ上げました。
そして彼は驚くべき発見をしました。
ミミズたちは、葉を巣穴に引き込むときには、最もやりやすい方法を取っていました。葉の細い方の末端か、葉柄から引き込んでいたのです。つまり彼らは、葉の形状を把握して、幾何学的な問題を解くことができる――。
要するに、ミミズには「知能」があったのです[32]。
私は知能を、次のように定義しています。
「入力として複雑な課題を与えられたときに、その解決策を出力する能力」
ミミズの小さな脳は、「葉を効率的に巣穴に引き込む」という課題に対して、「葉の細くなった箇所から引き込む」という解決策を出力できます。ごく原始的なものですが、これは知能と呼べます。
この定義は、さほど突飛なものではないでしょう。
たとえば、私の知る限り最もシンプルな「知能」の定義はマックス・テグマークのものです。彼は「知能＝複雑な目標を達成する能力」と定義しています[33]。スチュアート・ラッセルの場合、「機械は、その行動がその目的を達成すると見込める限りにおいて、知能を備えている」と言えるという定義を紹介しています[34]。コンピューター科学者のアレン・ニューウェルとハーバート・サイモンは、知能とは「目的を特定すること、現状を観察評価して、目的との差異を把握すること、および、一連の操作をして差異を減少させることで構成される」と定義しています[35]。
いずれの定義を当てはめてみても、「ミミズには知能がある」という結論は変わらないはずです。
こうした科学者たちによる「知能」の定義は、私たちが日常会話で使う「知能」という言葉のイメージからは少しばかり離れています。私たちは「知能」という言葉を、計算能力や認知能力、あるいは精神・自我を持つことと混同して使いがちです。中には「魂」や「霊感」といった神秘主義的(スピリチュアル)なものと密接不可分な能力として、この言葉を使う人もいます。しかし厳密に考えていくと、知能はそれらとは独立した能力なのです。
この定義に従えば、「知能を持つ存在」にはかなり幅広い生物が当てはまります。神経系を持っている必要すらありません。
たとえば大腸菌は鞭毛を回して泳ぐことができますが、グルコースの濃度上昇を感知すると泳ぐ距離を伸ばして方向転換の回数を減らし、濃度が低下すると逆の反応を示します[36]。こうすることで、糖分濃度の高い場所に滞在している時間を延ばすことができるのです。つまり大腸菌は「より効率よく糖分を吸収する」という課題に対して、「泳ぎ方を変える」という解決策を出力する能力を、進化の過程で遺伝的にプログラムされているわけです。
日常会話における「知能」という言葉とはかけ離れていますが、大腸菌にも（ミミズよりもさらに原始的な）知能があると言えます。
知能を持つためには、ヒトのような意識や自我、主観的経験を備えている必要はないのです。
コンピューターは主観的経験を持てるか？
ここで少し寄り道して、コンピューターが意識や自我、主観的経験を持てるのかどうかという話題に触れておきましょう。映画『ターミネーター』は、スカイネットが自我に目覚めたという設定でした。この映画をバカバカしいと一笑する哲学者や計算機学者も、超知能ＡＩの脅威について書くときには、まるでＡＩが自我を持つかのような書き方をしがちです。
（※これは生物学者が進化について書くときに、つい目的論的な表現をしてしまうことに似ている。大腸菌が糖分濃度の高い場所を泳ぐように進化したのは、そういう泳ぎをプログラムされた個体のほうが繁殖に有利だっただけだ。水が低い場所に流れることに目的がないのと同様、進化にも目的や目標はない。それを骨の髄まで叩き込まれている生物学者でも、うっかり「糖分を効率よく吸収するために進化した」のように、目的論的な記述をしてしまうことがある。）
果たして機械は、意識や自我、主観的経験を持つことができるのでしょうか？
ここでは、私は「主観的経験」という言葉を使いたいと思います。
たとえば「意識」という言葉には、医学的に厳密な定義があります。患者の意識の有無を判定する方法が、医学の世界では確立されています。コンピューターの議論にこの用語を持ち込むのは混乱の元でしょう。
また、「自我」という言葉は日常用語と化しており、「自分を自分だと認識する能力（self-aware）」以上の意味を持っています。たとえば日本語で「自我を出す」と言った場合、「自分の欲求や願望を優先して行動すること」を意味します。しかし私は、欲求や願望の話題をするつもりはありません。大腸菌は「糖分濃度の高い場所に行きたい」という欲求を持つかのように泳ぎますが、おそらく人間のような主観的経験は持っていないでしょう。欲求と主観的経験は別の概念です。「自我」という言葉を使うと、やはり混乱を招きそうです。
では、主観的経験とは何でしょうか？
その説明でしばしば引用されるのは、「マリーの部屋」という思考実験です。
マリーは生まれたときから、すべてがモノクロで構成された部屋で育てられました。壁も家具も白と黒、灰色に塗り潰され、自分の肌すらも灰色に染められていました。しかし、この部屋の中で彼女は高い教育を受け、「色」に関するあらゆる知識を身につけました。光の三原色や、絵具の三原色。網膜に届いた光の情報が脳に送られて「色」として認識されるまでの仕組み――。「色」についてどんな質問をされても、トップレベルの専門家と遜色ない回答ができるようになりました。
そんな彼女がこの部屋を出て、初めて外の世界の「本物の色」を目にしたとき、一体何を感じるでしょうか？
新たに得る知識は何もないでしょうか？
それとも「これが本物の『色』か！」と驚くでしょうか？
答えが後者なら、その時にマリーの感じる「新しい感覚」こそが、主観的経験です。
（※厳密には、これは「クオリア」の説明をしている。主観的経験の個々の実例がクオリアである[37]。）
主観的経験の難点は、それを客観的に観察する手段がないことです。
あなたが「赤い」と感じる色が、他の人にもあなたが感じるような色として見えている証拠はありません。「色」は、ヒトの脳内にしか存在しない概念です。この宇宙には無色透明な電磁波が飛び交っているだけです。網膜に届いた特定の波長の電磁波を、脳が「色」として認識しているにすぎません。あなたが「赤い」と感じる光を、私の脳は、あなたなら「青い」と呼ぶであろう色として処理しているかもしれません。
しかし、それを検証する手段はありません。
あなたと私は全く違う色を「経験」しているにもかかわらず、２人ともリンゴの色は「赤い」と答えるでしょう。生まれたときから、リンゴは「赤い」ものとして経験しているからです。たとえ違う色を見ているとしても、同じ名前で呼んでしまうので、その違いを検証できないのです。
（※色弱の人を診断できるのは、その人の「色の見え方が違う」からではなく、「光の波長の区別がつかない」からだ。もしも色相環がすべて逆に見えているヒトがいるとして、それぞれの光の波長の区別ができるなら、「色相環が逆に見えていること」を検証できないだろう。）
自然科学の土台は、客観的な観察・観測です。
しかし主観的経験は客観的には検証できないため、自然科学で扱うときにも難儀します。
たとえば、哺乳類の共感能力を検証するためにはこんな実験が行われます。
まずマウスに酢酸やホルマリンなどを注射して、痛みを与えます。するとマウスは、痛みを感じることを示す行動を取ります。分かりやすく言えば、指先に注射されたなら指先を舐める回数が増えたりするわけです。面白いのはここからで、その様子を見ていた別のマウスも（注射されたわけでもないのに）痛みを示す行動が増えるというのです。
この実験結果から、生物学者はマウスには共感能力があると考察しています。たとえばレゴブロックを裸足で踏んで痛がる人を見るだけで、私たちは足の裏がぞわぞわします。中には痛がる他人を見ただけで、自分まで痛みを感じる人すらいるでしょう。同じような感覚をマウスたちも持っているというのです。
いかがでしょうか？
この結論に、納得できるでしょうか？
同じ哺乳類であるヒトとマウスは（たとえば昆虫やイカやナマコに比べたら）遺伝的によく似たきょうだいのようなものです。ヒトと同じような共感能力をマウスが持っているとしてもおかしくないと私は思います。しかし一方で、この実験で共感能力の存在を論理的な飛躍なく証明できているかというと、かなり微妙です。
生物学者が観察しているのは、痛みを示す行動です。マウスの感じる「痛み」を直接に観察しているわけではありません。マウスが指先を舐めたり身をよじったりするのは、本当に「痛い」からなのでしょうか。痛みの強さとそれら行動の回数に何かしらの相関関係があると、証明できるのでしょうか。ヒトと同様、マウスにも痛みに鈍感で我慢強い個体と、そうでない個体がいるのではないでしょうか。ましてや、それを見ていたマウスが指を舐めたからといって、共感能力が存在するという証明になるのでしょうか。仲間の行動をただ真似しているだけという可能性は――？
論理的な厳密さを求めると疑問は尽きません。主観的経験の問題は、観察不可能であるがゆえに、現代の自然科学の範疇からは片足ほど逸脱してしまうのです。
「コンピューターは主観的経験を持てるか？」という設問に答えるためには、まず主観的経験を客観的に検証する方法を発見しなければならない――。
これが私の結論です。
科学の進歩だけでなく、哲学の進歩が必要になるでしょう。
ＡＩを奴隷として扱うことは非倫理的か
自然科学では主観的経験を扱えないとしても、ＳＦ的な想像力を働かせた場合はどうでしょうか？
サイエンス・フィクションとして考えた場合、「コンピューターは主観的経験を持つことができる」と私は考えています。
なぜなら、私は「機械論」の立場だからです。機械であるヒトの脳が主観的経験を持ちうるなら、同じ機械である電子コンピューターも主観的経験を持ちうるはずです。
もちろん現在の科学技術で、主観的経験を持つコンピューターを作ることは不可能でしょう。一体どれほどのブレイクスルーが必要なのか、見当もつきません。しかし遠い将来には、いつか必ず、主観的経験を持つ機械を作れるようになるでしょう。
とはいえ、「作れるようになること」と「実際に作ること」の間には隔たりがあります。
たとえばかつて、空を飛ぶためには鳥のように翼をパタパタと羽ばたく必要があると考えられていました。ところがライト兄弟の時代になると、充分な推進力があれば固定翼でも飛べると判明しました。
現在のＡＩは、これに似ています。
かつて、人間並みの受け答えのできるＡＩを作るためには、ヒトの脳を完全に再現する必要があると考えられていました。たとえばボストロムは、超知能ＡＩが生まれるシナリオのうち、可能性の高いものの１つとして「全能エミュレーション」を挙げていました[38]。
ところがＬＬＭの発達とスケーリング則の発見は、この発想を覆しました。
巨大な学習データセットと莫大な計算力があれば、ヒトの脳を完全に再現しなくても、まるで人間のように受け答えのできるＡＩを作れると判明したのです。
現代の技術を使えば、羽ばたき飛行機械を作れます。しかし、実験的に試作されるだけで、旅客機として実用化されていません。固定翼機のほうがずっと経済的で便利だからです。同様に、ヒトの脳を再現しなくても充分に有用なＡＩを作れるとしたら、わざわざ「全能エミュレーション」をする必要があるでしょうか？ 実験的なプロジェクトを超えて、実用化されることはありうるでしょうか？
もしもコンピューターに主観的経験を持たせることができたとして、それを奴隷として扱うことには倫理的な議論が伴うでしょう。しかし、現在の技術水準で「機械の人権問題」について論じることは、時期尚早だと思います。羽ばたき〝旅客機〟の揺れで乗客が酔うことを心配するようなものでしょう。
（最終回、「人類とＡＩ」編に続く）
（この記事はシリーズ『AIは敵か？』の第18回です）
★お知らせ★
この連載が書籍化されます！6月4日(火)発売！
※※※参考文献※※※
[18]テグマーク（２０２０年）p198
[19]テグマーク（２０２０年）p459
[20]ニック・ボストロム『スーパーインテリジェンス』（日本経済新聞社、２０１７年）p158
[21]今井（２０２４年）p68-71
[22]ラッセル（２０２１年）p80-81
[23]ラッセル（２０２１年）p140-144
[24]ボストロム（２０１７年）p263
[25]ボストロム（２０１７年）p256-261
[26]ラッセル（２０２１年）p107、141
[27]テグマーク（２０２０年）p68、373
[28]ラッセル（２０２１年）p135
[29]ボストロム（２０１７年）p392-396
[30]テグマーク（２０２０年）p376
[31]テグマーク（２０２０年）p378、383-385
[32]Ａ.デズモンド、Ｊ.ムーア『ダーウィン 世界を変えたナチュラリストの一生』（工作舎、１９９９年）下巻p922-923
[33]テグマーク（２０２０年）p79
[34]ラッセル（２０２１年）p10
[35]スティーブン・ピンカー『心の仕組み』（ちくま学芸文庫、２０１３年）上巻p134-135
[36]ラッセル（２０２１年）p15-16
[37]テグマーク（２０２０年）p62
[38]ボストロム（２０１７年）p75-85
