黒夜行

左脇のプロフィールにある「サイト全体の索引」から読みたい記事を探して下さい。

人工知能 人類最悪にして最後の発明(ジェイムズ・バラット)

これは面白い!確かに僕も、薄々この怖さに気づいていたけど、改めてこうやって明確に指摘されると、これは今、何よりも早急に対策を取らなければならない喫緊の問題なんだということが分かってくる。

本書のテーマは実にシンプルだ。それは、

「人工知能はたぶん人類を滅ぼすよ」

ということだ。さて、まず何故そういう話になるのか、ということについて触れていこう。

それを理解するための引用を二つしてみよう。

【あなたも私も野ネズミより何百倍も賢いが、DNAの約90%は野ネズミと共通している。しかし、巣穴を潰して畑にする前に、はたして野ネズミに相談するだろうか?スポーツの怪我について調べるために実験用のサルの頭にものをぶつける前に、そのサルに意見を求めるだろうか?我々はネズミもサルも憎んでいないが、それでも残酷に扱う。超知能AIも、たとえ我々を憎んでいなくても我々を滅ぼすだろう】

【人間にとってのウサギは、超知能マシンにとっての人間と同じだ。我々はウサギをどのように扱うだろうか?害獣、ペット、あるいは食材としてだ】

これでおおよそはイメージ出来るだろう。つまり、「人工知能(本書では「超知能AI」とか「AGI」とか「ASI」などと表記される)が何故、人間に“フレンドリー”だと想定しているのか?」ということだ。

特に日本人である僕らにとっては、鉄腕アトムやドラえもんなどの存在が先行しているせいで、「超知能AI(鉄腕アトムやドラえもんはそう呼んでいいだろう)は人間とうまく共存する存在だ」と認識しやすくなっているだろうと思う。しかし、そう考える理由はどこにもない。確かに、超知能AIは人間が生み出す。しかし、だからと言って人間に“フレンドリー”であるとは限らないだろう。例えば、将棋ソフトは人間が生み出したものだ。現在将棋ソフトは、プロ棋士を打ち破る棋力を持っている。さて、そんな将棋ソフトは、人間にはなかなか理解しがたい手を打つことがある。人間が長い時間掛けて積み上げてきた将棋の常識では、捉えきれない手だ。既に人工知能というのは、限定的な用途においてはそういうレベルに達している。

【加えて心かき乱す事実として、遺伝的アルゴリズムやニューラルネットワークなど、誕生しうるAGIのシステムの各部分はそもそも理解不能であり、そのシステムがなぜそのような決定を下したのかを我々が完全に理解することはできない】

本書で想定されている「人工知能」というのは、「人間と同程度の知能を持つ人口汎用知能(AGI)」や、「人間よりも遥かに高い知能を持つ人口超知能(ASI)」などだ。本書では、AGIが生み出されれば、後は自然とASIが生まれる可能性もある(要するに、AGIが自らASIに進化するということだ)とあるので、ASIについてのみ考えよう。

人間よりも遥かに知能の高いASIが、その高い知能を使って何らかの判断をするとしよう。しかしその判断は、恐らく人間には理解できないはずだ。例えばASIが、「地形や気候的に、日本全土を太陽光発電の拠点にすることが地球環境全体にとって最も望ましい」と判断したとする。その場合、日本の全面積が太陽光発電で使われるべきであり、だから日本人は日本から消滅すべきだ、と判断するかもしれない。人間であれば、当然そんな判断はしない。しかしASIなら、「地球環境が悪化した現在、地球上で人類が最も長生きするためにどうすればいいか?」という問いについて考えた時、前述のような答えを導き出すことだってあるだろう。

いや、そんな答えは無視すればいいじゃないか、と思うかもしれない。しかし、人間よりも遥かに知能の高いASIは、自らの意志で恐らくそれを実行出来る。例えば、インターネットを通じて日本の電力の送電網や水道管、交通インフラなどをすべて機能停止させることなど朝飯前だろう。そんな風にして日本人を絶滅させることだって出来る。日本人が絶滅した後であれば、残った他の国の人も、誰も住んでいないならと、日本の土地に太陽光パネルを設置するだろう。そんな風にして、ASIは自らの判断を実行に移すことが出来るだろう。

この例は別に本書に載っているものではないが、充分に想定できる範囲のことだと思う。ASIが人間に対して“フレンドリー”であれば、人間という種へのダメージを最小限にしながら課題解決をしてくれるかもしれないが、生み出されたASIが“フレンドリー”である保証は一切ないのだ。本書では、「“フレンドリー”な人工知能が作れるかどうか」を詳細に検討しているが、どんなやり方をしてもうまく行かないだろう、と結論づけられている。

あるいは、もう少し現実的な(みんなにとって抵抗が小さそうな)危機について書いてみよう。それは、AGIやASIが開発されれば、サイバー犯罪に使われる可能性がある、ということだ。

もちろん、ASIの開発には莫大な資金が必要であり、テロリストなどがおいそれと生み出せるものではない。しかし、だからと言って安心できるわけではない。その具体的な例として、本書では「オリンピック・ゲームズ」というあるサイバー戦争作戦が紹介されている。

「オリンピック・ゲームズ」は、アメリカの国家安全保障局(NSA)とイスラエルの秘密機関が、イランに対して行ったものだ。インターネットに接続していなかったイランの原発のシステムにスパイ活動を通じて入り込み、そこから、原発の重要部品を破壊するまでに至った作戦である。

この作戦で使われた「スタックスネット」という新しいコンピュータウイルスを、NSAとイスラエルが開発した。これは、通常のマルウェアと比較して、銃弾と原子爆弾ほどの差があるという。それぐらい高度な技術であり、多くの人が不可能であると考えていたことをやってのけるウイルスだった。

さて、それがどう人工知能の話と結びつくのか。実はこの作戦では、一つ大きな失態を犯していた。イランの原発から出てくることなどないと思われていたこのスタックスネットだったが、コードのエラーがあったせいで原発から外に飛び出していき、世界中に何千というコピーをばらまいたというのだ。このウイルスは、原発内部にしかない特殊な部品を壊すよう命令されたウイルスだったので、直接の被害は存在しなかったが、その代わり、「スタックスネット」という超高度なウイルスのコピーが、多くの人の手に渡ってしまったのだ。「スタックスネット」が流出する以前は、「オリンピック・ゲームズ」クラスの攻撃を仕掛けられるのは世界で5人程度だろうと思われていたが、流出後は500人程度にはなっただろうと考えられているのだ。

つまり、ASIを開発するのは国家や大企業かもしれないが、それが生み出され多くの場面で使われるようになることで、それが悪用されるかもしれない、ということだ。人間よりも遥かに知能の高いASIがサイバー犯罪に使われたら、何が起こるのか想像出来ないだろう。

しかし、人間よりも遥かに知能の高いASIなんかホントに生み出せるのか?生み出せるとして、僕らが生きている間なのか?と思う人もいるかもしれない。これについては著者は、多数の科学者らに話を聞いた結論としてこう書いている。

【彼らはみな、こう確信している。未来、人々の生活を左右する重要な決定はすべて、機械化、機械によって知能を強化された人間の手で下されるようになると。それはいつのことなのか?多くの人は、自分が生きているうちにそのときは訪れると考えている】

そもそもASIの開発を急がせる要因がある。冷戦時代の核開発と同じ理屈だが、

【コンピュータ科学者、とくに国防機関や諜報機関で働いている人たちは、是が非でもAGIの開発を加速させなければならないと感じている。彼らにとっては、自分たちが慌ててAGIを開発することの危険性よりも、中国政府が先に開発するなどといったそれ以外の可能性のほうが脅威だからだ】

ということになる。だから今、あらゆる国や機関や企業が我先にと開発競争に乗り出しているのだ。

「シンギュラリティー」という言葉を聞いたことがあるだろう。「技術的特異点」という意味で、要するにAGIやASIが誕生するようなことを指している。これが2045年にやってくる、という言説は結構有名で、しかもそれは、技術革新によってバラ色の未来がやってくるかのように喧伝されている。

その発信源は、カーツワイルという科学者だ。「シンギュラリティー」という言葉には、よく練られた3つの定義があるらしいが、その内の一つであり、バラ色の未来を想起させる定義を生み出したのがカーツワイルだ。

彼について著者はこんな風に書いている。

【テクノロジーに関してカーツワイル以上に見識に基づいた説得力のある文章を書く人はほとんどいない。カーツワイルは苦心して明快な文章を書き、謙虚な立場で自らの主張を裏づけていく。しかし、「シンギュラリティー」という名前を盗用して、それに新たなバラ色の意味を与えたのは間違いだったと思う。】

なかなかの言いようだが、著者の立場からはそうなる。著者は、車椅子の天才スティーヴン・ホーキングや、テスラモーターズやSpaceXなどの創業者であるイーロン・マスクらと共に、「AIによる人類滅亡を論じる重要な識者5人」に選ばれた1人なのだ(2014年末に「タイム」誌が選んだ)。彼は本書にこう書いている。

【私が本書を書いたのは、人工知能が人類を絶滅に追いやるかもしれないと警告するためだ。このような破滅的な結果は、単に起こる可能性があるというだけでなく、いますぐに慎重に慎重を期して備えを初めておかないとほぼ間違いなく起こる】

【AIに対して疑念を抱くのは、私にとって2つの理由から心が痛む行為だった。第1に、疑問を投げかけるのではなく、むしろもっと期待を膨らませたかったからだ。というのも、AIがいかに有望かをたびたび聞かされていたため、その考えがすでに私の心のなかに根を張っていたのだ。そして第2の理由は、AIの存在やそのパワー自体には何ら疑問を抱いていなかったことである】

こんな風に著者は、人工知能の脅威を、真に迫った危機として捉え警鐘しているのだが、人工知能に関わる人間にそういう人は多くない。

【AGIの実現を目標に掲げるAI研究者で私が話を聞いた人は全員、暴走するAIの問題に気づいている。しかしオモアンドロを除いて誰ひとりとして、時間を費やしてその問題について話をしてはいない。なかには、その問題について考えるべきことは自覚いていながら、考えなくても構わないと言ってのける人までいる。
なぜか?それは簡単だ。このテクノロジーが魅力的だからだ】

確かに、分からないではない。AGIやASIが誕生した世界がどうなるのか、という好奇心は僕の中にもある。しかし、こと人工知能に関していえば、好奇心で突っ走っては危険な理由がある。

【ボストロいわく、超知能が技術的な面で根本的に別物であるのは、超知能が実現すると進歩のルールが変わってしまうからだ。つまり、超知能自体が発明を生み出して、技術進歩のペースを決めることになる。もはや人類が変化を推し進めることはなくなり、後戻りすることもできなくなる】

だからこそ、本書の副題にあるように、人間の知能を凌ぐ人工知能は「(人間による)最後の発明」と呼ばれているのだ。

本書を読んで、なるほどこれが一番可能性がありそうな対策だな、と感じたのが、生物に備わっている「アポトーシス」というシステムを人工知能に応用することだ。「アポトーシス」というのは、ざっくり言うと「細胞に下される、デフォルトで死ねという命令」のことだ。生物はこの「アポトーシス」というシステムを持つことで、頻繁に細胞の自己増殖を繰り返しながら、無制限な細胞増殖(つまり、「がん」のことである)を防いでいる。

この「アポトーシス」に似たシステムを、人工知能に組み込めばいい。「アポトーシス」というのは、「命令が下されなければ細胞が自殺する」という仕組みなのであり、つまり、何も命令を下さないまま一定時間が経過するとプログラムが死ぬ、ということだ。こういうシステムを取り入れることで、人工知能が「危険な存在」になっても制御出来るのではないか、と考えられているらしい。しかし、AGIやASIは、「アポトーシスというシステムが組み込まれていること」を自覚するだろうし、であれば、その驚異的な知能で回避する方法を発見するかもしれない、とも考えられているので、万全というわけでは決してない。

本書に載っている話で、「人工知能の危険性」とはまた違った意味で非常に興味深い話があった。

1974年に、アレシボ電波天文台の改修を記念して、「アレシボ・メッセージ」が宇宙に向けて発信された。もし地球外生命体が存在すれば、そのメッセージを解読してくれるだろう、と期待したものだ。地球外生命体を探す研究は「SETI(地球外知性探索)」と呼ばれているが、この「SETI」では、返信を期待して電波望遠鏡を「ゴルディロックスゾーン」に向けている。これは、「恒星に充分近いために、惑星表面で液体が凍結も蒸発もせずに存在できる領域」のことである。それなら、地球外「生命体」が存在する確率が高いだろう、と考えてのことだ。

しかし、「アレシボ・メッセージ」に返信するのは、もしかしたら地球外「生命体」ではなく、どこかの惑星で開発され宇宙に飛び出した超知能AIかもしれない、という仮説も考えられているそうだ。そうだとすれば、「ゴルディロックスゾーン」にこだわる必要はない。なるほど、そんな可能性は考えたことがなかったので、非常に新鮮だった。

本書の最後に著者はこんなことを書いている。

【私は本書の取材の折々で科学者たちに、日常用語で世間の人に話をしてくれるよう頼んだ。熟達した科学者たちはすでにそうしていた。AIの危険性を人々に伝えるならばそうすべきだと私は思う。AIの危険性に関する文章をウェブ上で読むと、この議論は専門家や修辞家だけの内輪話だと思ってしまうかもしれないが、俯瞰的なレベルで見たらけっしてそんなことはない。「内輪の」特別な専門用語など必要ない。必要なのは、AIの危険性と落とし穴は誰にとっても関係があるのだといい信念だ。
私が出会った一部の人、さらには何人かの科学者は、危険なAIなどありえないと信じ込んでいて、このテーマについて議論さえもしたがらなかった。しかし、無関心か無精か、はたまた知識に基づく信念かはどうであれ、このような議論を無視する人はけっして孤立していない。この脅威を追及しようとも監視しようともしない風潮は、ほぼ社会全体に広がっている。しかしそれが、機械知能の着実で避けられない進化に影響を及ぼすことはけっしてない】

先程も引用した通り、AGIやASIは後戻り出来ない技術だ。一旦生み出されてしまったら、もうなかった世界には戻れない。運良く人間が生み出した人工知能が、人間に対して“フレンドリー”である可能性はあるかもしれないが、それはほとんどありえない予測だろう。であれば、具体的にどういう流れを踏むかはともかくとして、人類が滅亡する時はそう遠くはないだろう。僕らは研究者でもないし政治家でもないし諜報機関に勤める人間でもないから、人工知能の開発に対して何か力を及ぼせる可能性は低いだろうが、少なくとも、その危険性から目を背けるべきではない、と思う。

ジェイムズ・バラット「人工知能 人類最悪にして最後の発明」

関連記事

Comment

コメントの投稿


管理者にだけ表示を許可する

Trackback

http://blacknightgo.blog.fc2.com/tb.php/3671-3e906dbe

 | ホーム | 

プロフィール

通りすがり

Author:通りすがり
災害エバノ(災害時に役立ちそうな情報をまとめたサイト)

サイト全体の索引
--------------------------
著者名で記事を分けています

あ行
か行
さ行
た行
な行
は行
ま行
や行~わ行

乃木坂46関係の記事をまとめました
(「Nogizaka Journal」様に記事を掲載させていただいています)

本の感想以外の文章の索引(映画の感想もここにあります)

この本は、こんな人に読んで欲しい!!part1
この本は、こんな人に読んで欲しい!!part2

BL作品の感想をまとめました

管理人自身が選ぶ良記事リスト

アクセス数ランキングトップ50

TOEICの勉強を一切せずに、7ヶ月で485点から710点に上げた勉強法

一年間の勉強で、宅建・簿記2級を含む8つの資格に合格する勉強法

国語の授業が嫌いで仕方なかった僕が考える、「本の読み方・本屋の使い方」

2014の短歌まとめ



------------------------

本をたくさん読みます。
映画もたまに見ます。
短歌をやってた時期もあります。
資格を取りまくったこともあります。
英語を勉強してます。













下のバナーをクリックしていただけると、ブログのランキングが上がるっぽいです。気が向いた方、ご協力お願いします。
にほんブログ村 本ブログへ
にほんブログ村

アフィリエイトです

アクセスランキング

[ジャンルランキング]
本・雑誌
9位
アクセスランキングを見る>>

[サブジャンルランキング]
和書
6位
アクセスランキングを見る>>

アフィリエイトです

サイト内検索 作家名・作品名等を入れてみてくださいな

メールフォーム

名前:
メール:
件名:
本文:

月別アーカイブ

Powered By FC2ブログ

今すぐブログを作ろう!

Powered By FC2ブログ

ブロとも申請フォーム

この人とブロともになる

QRコード

QR

カウンター

2013年ベスト

2013年の個人的ベストです。

小説

1位 宮部みゆき「ソロモンの偽証
2位 雛倉さりえ「ジェリー・フィッシュ
3位 山下卓「ノーサイドじゃ終わらない
4位 野崎まど「know
5位 笹本稜平「遺産
6位 島田荘司「写楽 閉じた国の幻
7位 須賀しのぶ「北の舞姫 永遠の曠野 <芙蓉千里>シリーズ」
8位 舞城王太郎「ディスコ探偵水曜日
9位 松家仁之「火山のふもとで
10位 辻村深月「島はぼくらと
11位 彩瀬まる「あのひとは蜘蛛を潰せない
12位 浅田次郎「一路
13位 森博嗣「喜嶋先生の静かな世界
14位 朝井リョウ「世界地図の下書き
15位 花村萬月「ウエストサイドソウル 西方之魂
16位 藤谷治「世界でいちばん美しい
17位 神林長平「言壺
18位 中脇初枝「わたしを見つけて
19位 奥泉光「黄色い水着の謎
20位 福澤徹三「東京難民


新書

1位 森博嗣「「やりがいのある仕事」という幻想
2位 青木薫「宇宙はなぜこのような宇宙なのか 人間原理と宇宙論」 3位 梅原大吾「勝ち続ける意志力
4位 平田オリザ「わかりあえないことから
5位 山田真哉+花輪陽子「手取り10万円台の俺でも安心するマネー話4つください
6位 小阪裕司「「心の時代」にモノを売る方法
7位 渡邉十絲子「今を生きるための現代詩
8位 更科功「化石の分子生物学
9位 坂口恭平「モバイルハウス 三万円で家をつくる
10位 山崎亮「コミュニティデザインの時代


小説・新書以外

1位 門田隆将「死の淵を見た男 吉田昌郎と福島第一原発の五〇〇日
2位 沢木耕太郎「キャパの十字架
3位 高野秀行「謎の独立国家ソマリランド
4位 綾瀬まる「暗い夜、星を数えて 3.11被災鉄道からの脱出
5位 朝日新聞特別報道部「プロメテウスの罠 3巻 4巻 5巻
6位 二村ヒトシ「恋とセックスで幸せになる秘密
7位 芦田宏直「努力する人間になってはいけない 学校と仕事と社会の新人論
8位 チャールズ・C・マン「1491 先コロンブス期アメリカ大陸をめぐる新発見
9位 マーカス・ラトレル「アフガン、たった一人の生還
10位 エイドリアン・べジャン+J・ペタ―・ゼイン「流れとかたち 万物のデザインを決める新たな物理法則
11位 内田樹「下流志向 学ばない子どもたち 働かない若者たち
12位 NHKクローズアップ現代取材班「助けてと言えない 孤立する三十代
13位 梅田望夫「羽生善治と現代 だれにも見えない未来をつくる
14位 湯谷昇羊「「いらっしゃいませ」と言えない国 中国で最も成功した外資・イトーヨーカ堂
15位 国分拓「ヤノマミ
16位 百田尚樹「「黄金のバンタム」を破った男
17位 山田ズーニー「半年で職場の星になる!働くためのコミュニケーション力
18位 大崎善生「赦す人」 19位 橋爪大三郎+大澤真幸「ふしぎなキリスト教
20位 奥野修司「ねじれた絆 赤ちゃん取り違え事件の十七年


コミック

1位 古谷実「ヒミズ
2位 浅野いにお「世界の終わりと夜明け前
3位 浅野いにお「うみべの女の子
4位 久保ミツロウ「モテキ
5位 ニコ・ニコルソン「ナガサレール イエタテール

番外

感想は書いてないのですけど、実はこれがコミックのダントツ1位

水城せとな「チーズは窮鼠の夢を見る」「俎上の鯉は二度跳ねる」

2012年ベスト

2012年の個人的ベストです
小説

1位 横山秀夫「64
2位 百田尚樹「海賊とよばれた男
3位 朝井リョウ「少女は卒業しない
4位 千早茜「森の家
5位 窪美澄「晴天の迷いクジラ
6位 朝井リョウ「もういちど生まれる
7位 小田雅久仁「本にだって雄と雌があります
8位 池井戸潤「下町ロケット
9位 山本弘「詩羽のいる街
10位 須賀しのぶ「芙蓉千里
11位 中脇初枝「きみはいい子
12位 久坂部羊「神の手
13位 金原ひとみ「マザーズ
14位 森博嗣「実験的経験 EXPERIMENTAL EXPERIENCE
15位 宮下奈都「終わらない歌
16位 朝井リョウ「何者
17位 有川浩「空飛ぶ広報室
18位 池井戸潤「ルーズベルト・ゲーム
19位 原田マハ「楽園のカンヴァス
20位 相沢沙呼「ココロ・ファインダ

新書

1位 倉本圭造「21世紀の薩長同盟を結べ
2位 木暮太一「僕たちはいつまでこんな働き方を続けるのか?
3位 瀧本哲史「武器としての交渉思考
4位 坂口恭平「独立国家のつくりかた
5位 古賀史健「20歳の自分に受けさせたい文章講義
6位 新雅史「商店街はなぜ滅びるのか
7位 瀬名秀明「科学の栞 世界とつながる本棚
8位 イケダハヤト「年収150万円で僕らは自由に生きていく
9位 速水健朗「ラーメンと愛国
10位 倉山満「検証 財務省の近現代史

小説以外

1位 朝日新聞特別報道部「プロメテウスの罠」「プロメテウスの罠2
2位 森達也「A」「A3
3位 デヴィッド・フィッシャー「スエズ運河を消せ
4位 國分功一郎「暇と退屈の倫理学
5位 クリストファー・チャブリス+ダニエル・シモンズ「錯覚の科学
6位 卯月妙子「人間仮免中
7位 ジュディ・ダットン「理系の子
8位 笹原瑠似子「おもかげ復元師
9位 古市憲寿「絶望の国の幸福な若者たち
10位 ヨリス・ライエンダイク「こうして世界は誤解する
11位 石井光太「遺体
12位 佐野眞一「あんぽん 孫正義伝
13位 結城浩「数学ガール ガロア理論
14位 雨宮まみ「女子をこじらせて
15位 ミチオ・カク「2100年の科学ライフ
16位 鹿島圭介「警察庁長官を撃った男
17位 白戸圭一「ルポ 資源大陸アフリカ
18位 高瀬毅「ナガサキ―消えたもう一つの「原爆ドーム」
19位 二村ヒトシ「すべてはモテるためである
20位 平川克美「株式会社という病

2011年ベスト

2011年の個人的ベストです
小説
1位 千早茜「からまる
2位 朝井リョウ「星やどりの声
3位 高野和明「ジェノサイド
4位 三浦しをん「舟を編む
5位 百田尚樹「錨を上げよ
6位 今村夏子「こちらあみ子
7位 辻村深月「オーダーメイド殺人クラブ
8位 笹本稜平「天空への回廊
9位 地下沢中也「預言者ピッピ1巻預言者ピッピ2巻」(コミック)
10位 原田マハ「キネマの神様
11位 有川浩「県庁おもてなし課
12位 西加奈子「円卓
13位 宮下奈都「太陽のパスタ 豆のスープ
14位 辻村深月「水底フェスタ
15位 山田深夜「ロンツーは終わらない
16位 小川洋子「人質の朗読会
17位 長澤樹「消失グラデーション
18位 飛鳥井千砂「アシンメトリー
19位 松崎有理「あがり
20位 大沼紀子「てのひらの父

新書
1位 「「科学的思考」のレッスン
2位 「武器としての決断思考
3位 「街場のメディア論
4位 「デフレの正体
5位 「明日のコミュニケーション
6位 「もうダマされないための「科学」講義
7位 「自分探しと楽しさについて
8位 「ゲーテの警告
9位 「メディア・バイアス
10位 「量子力学の哲学

小説以外
1位 「死のテレビ実験
2位 「ピンポンさん
3位 「数学ガール 乱択アルゴリズム
4位 「消された一家
5位 「マネーボール
6位 「バタス 刑務所の掟
7位 「ぐろぐろ
8位 「自閉症裁判
9位 「孤独と不安のレッスン
10位 「月3万円ビジネス
番外 「困ってるひと」(諸事情あって実は感想を書いてないのでランキングからは外したけど、素晴らしい作品)