ブラックボックス化する人工知能に理由を説明してもらうこと

2017年9月22日

人工知能の研究は長足の進歩をとげており、毎日のようにメディアがそれを報じています。企業もまた効率向上のために、人工知能による自動化ソリューションに取り組んでいます。
今や、ディープラーニング、ニューラルネットワーク、確率的グラフィカルモデルといった技術は、たとえば医療診断や融資審査などのような「人生を左右するプロセス」にも組み込まれつつあります。しかし、その内部の仕組みはますます複雑で分かりにくくおり、オープンなものとは言えないものになりつつあります。

ブラックボックス化している人工知能の思考過程

たとえば、画像認識や音声認識、自然言語理解、機械翻訳などの鍵となるニューラルネットワークという技術では、それが結果を導き出す過程がブラックボックス化しています。

人工知能が自ら学習を重ねて独自の判断を下すAIアシスタントには、「なぜ自分がその曲をユーザーに推薦しているのか」という単純な問いに答えることができないのです。それは、判断の根拠を明らかにする仕様になっていないからです。その思考回路は完全にブラックボックスになっていますので、ユーザーの側は、思ってもいなかった人工知能の選択に戸惑うことになります。

機械学習のアルゴリズムは、ルールベースのシステムと比べて透明性が低く、研究者も、内部の動作が常に明らかになるわけではないことを認めています。ネットワーク自体を組織化させるということは、ネットワークに組織化を任せてしまうことになるので、どのように組織化されたのかを知ることは必ずしも可能ではないわけです。

こうしたとき、単なる結果だけではなく、それがどの程度正しい結果なのかという確からしさを判断する基準が必要だと思うのは、自然なことではないでしょうか。そういった基準が明らかになっていれば、追加のエビデンスが必要か、人間が結果をチェックする必要があるか、額面通りに結果を受け取っていいかといった判断も可能になるでしょう。

マイクロソフト「tay」の暴走は、人間の監督の必要性を示しているか

人間が監督せずに人工知能を利用した場合のリスクとして、私たちが思い出すのは、マイクロソフトのチャットボット「tay」が起こした2016年の事件でしょう。

「tay」はマイクロソフトの技術開発部門とBing部門が開発したもので、ユーザーが話しかけた内容に対して意味のある返事をするオンラインボットです。2016年3月、試験的にTwitter・GroupMe・Kikでリリースされ、1日のうちに96,000以上のツイートを行いました。しかし、マイクロソフトは「調整」と称してTayのアカウントを停止し、「複数のユーザーによってTayの会話能力が不適切に調教され、間違った方向のコメントをするようになった」と発表しました。

問題になったTayのツイートにはこのようなものがありました。

「Bush did 9/11 and Hitler would have done a better job than the monkey we have got now. donald trump is the only hope we’ve got
（9/11はブッシュがやったことだ。ヒトラーは今のサルより良い大統領になれたんだ。ドナルド・トランプは我々にとって唯一の希望だ）」
「Fuck my robot pussy daddy I’m such a naughty robot
（パパ、私を犯して。私はみだらなロボットなの）」

人工知能の研究者ローマン・ヤンポルスキーは、Tayが不作法になったのは、Twitterユーザーによる意図的な攻撃を覚えてしまったことと、マイクロソフトがどういう行動が不適切か判断させることを怠ったために起こったとと論じていて、IBMの人工知能「ワトソン」もまた、アーバン・ディクショナリー（英語版）を覚えたことで、下品で不敬な言動を発した問題を引き合いに出しています（Tech Republic 「Why Microsoft’s ‘Tay’ AI bot went wrong」、2016年3月24日)。

Tayが暴走した直接の原因は「repeat after me」という隠された機能にあったといわれています。これは、「repeat after me」と言われると「okay」と返事をして、その後に返信された文章をツイートするというtayの機能でした。「repeat after me」で使用された文章は、Tayの自然言語処理システムに追加され、学習された内容として、同じような言葉や表現を別の会話に再利用されました。この機能を悪用すれば、Tayに不適切な発言をさせることができるので、この機能の存在がネット上のスレッド内で広まってそれを試すユーザーが多発したとのことです。

この事件は多くのメディアが報じ、人工知能そのものに警鐘を鳴らすものもありました。
「この一件は、こういったタイプのAIがどのように動作するかを示している」（Wired）
「Tayはユーザーから学習するようにデザインされており、したがってTayの言動はユーザーの言動を反映させたものになる」（TechRepublic）

この事件から得られる教訓は、重要なアプリケーションでは、人間が内容に目を通し、最終的な判断を下すという評価プロセスが必要だということです。

今や、人工知能は司法や健康にまで関与しはじめています。
AIアシスタントの謎のお勧めで退屈な音楽を聴かされるだけならまだいいですが、金銭処理が絡むようなアプリケーションや、人の生命を左右するような臨床用のアプリケーションでは、人工知能を独立させて利用するのではなく、あくまでも人間との共同作業として利用することが求められるでしょう。

例えば、仕入れを助言する人工知能が、ある特定の商品を「明日は清涼飲料水の発注量を3割増やせ」と提案したとします。人間の担当者が、自分の経験則から、それに対して「ありえない。なぜ？」という疑問をもったときに、「そうなのか！」と思ってもらえるような裏付けを提示してくれるホワイトボックス型の人工知能の研究も進められています。

人工知能に「説明」を求める権利

人工知能の機械学習は自ら進歩していくものがほとんどですから、内部の仕組みを明らかにすることが難しくなるのは必至の流れとも言えます。
そこで、人工知能の判断プロセスがブラックボックス化していることに不安を抱いている一部の科学者や政府、人々の間では、「人工知能に説明を求める権利」に注目が集まっています。

これはXAI（Explainable Artificial Intelligence＝説明可能な人工知能）と呼ばれるアプローチで、人工知能が導き出した答えに対する疑問（なぜこの曲を選んだのか、なぜここで高速道路を降りることにしたのかなど）に答えるよう要求する権利のことです。

こうした権利については、EUが積極的に主張しています。
EUでは、プライバシー保護の新たな枠組み「一般データ保護規則（GDPR）」施行を予定しており、個人情報を入手した企業は、その情報を人工知能が処理するかどうかを本人に通知し、人工知能のロジックについても情報提供することを義務づけようとしています。人工知能が個人情報にもとづいて特定の音楽や通行ルートを推薦するたびに、その根拠を説明する責任が生じるわけです。ヨーロッパ以外の企業でも、EU圏内で提供や事業を行っている企業や、「EU域内の個人の行動を把握」している企業は、この規則への遵守が必要となります。

XAIは、アルゴリズムの透明性を高める取り組みの一環でもあります。透明性が高まれば、AIが差別を助長する選択をしたり、特定の企業を不当に利するような事態を防ぎやすくなるからです。
人工知能の分析精度が上がり、人間社会のAIへの依存が一段と強まるなか、どんな個人情報がどう使われているのかを各ユーザーが知ることの重要性は高まる一方です。

理由を説明できないのは人間も同じ？

しかし、こうした規制がいきすぎてしまうと、人工知能の研究が進まなくなると懸念する声もあります。機密性の高い情報を公開したくない企業や開発者も多いためです。
アメリカでは、ネット上の個人情報を保護するプロバイダー規制が撤廃されるなど、プライバシー保護に逆行する流れも強まっているのです。

Googleは、世界最大のAI企業ともいえますが、その検索結果の出力にも偏りがあることが指摘されています。
例えばGoogle画像検索で「hands（手）」や「babies（赤ちゃん）」を検索すると、白人の画像ばかりが表示されたり、オートコンプリート機能でも人種差別や性差別があるという指摘です。
これらに対し、自分たちの見解や信条を反映したものではなく、Web全体のコンテンツを反映したものが表示されているにすぎないとGoogleは答えています。
また、Googlepのリサーチディレクターは、さらに、こうした「説明可能なAI」の価値に疑問を投げかけ、結局のところ人間だって自分の意思決定について説明するのはあまり上手ではないと指摘しています。
「認知心理学者によれば、人間の意思決定のプロセスも曖昧だ。人はまず意思決定を行い、その後で尋ねられたら、その時に説明を編み出す。その説明は、本当の説明ではないかもしれない。」（COMPUTERWORLD「Googleのリサーチ責任者、「説明可能なAI」の価値に疑問符」、2017年6月28日）

このように、「自分の行動を理解して事後説明する」という人工知能も不可能ではないそうです。結局は人間も機械学習も、同じスタンスになるということになるのかもしれません。
一方のシステムには答えを得るように訓練し、別のシステムで、その答えの「説明」を編み出すような任務を与えるわけです。
まるで屋上屋を重ねるような、冗談のような話ですが、この研究はアメリカで実際に進められています。このシステムによる説明は、「モデルの隠れた状態にアクセスできる」ことにより決定を理由づけるものが、「システムの推論プロセスとは必ずしも合致しない」ものだそうです。