| 抄録: | 本論文は,日本語コーパスを学習させた深層学習モデルを対象として,学習結果の根拠を示す分類パターンを,学習によって構築された重み付きネットワークから抽出して,その分類パターンの解釈を支援するシステムの構築と,その有効性の検証について述べている.
本論文は5章から構成されている.
弟1章では,本研究の背景と目的,課題に対するアプローチなどについて述
べている.まず,深層学習がどのように発展したのか,どのような種類があるか,その過程で発生した問題は何かなど,深層学習の歴史について解説している.そして,近年増加する深層学習の活用例や,今後どのように使われていくかなどの最新研究について述べた後,現在,深層学習において重要視されている問題点として,深層学習のブラックボックス問題を取り上げている.その上で,ブラックボックス問題に対する本研究のアプローチとして,自然言語処理分野での,深層学習の重みネットワークを用いたテキスト分類パターンの解釈支援システムについて述べている.その後,論文全体の構成について述べている.
第2章では,本研究に関連する研究として,まず,深層学習の出力に寄与する入力に注目した研究について,特にアテンションと呼ばれる手法について先行研究を紹介している.また,本研究との違いとして,アテンションは学習済みネットワークの内部に注目しているわけではないという点を述べている.次に,深層学習の学習ネットワークの解釈に注目した研究について,画像処理分野で中間層の学習過程に注目した先行研究について述べている.また,本研究との違いとして,画像処理分野では中間層の画像化が容易であるが,自然言語処理分野では中間層の可視化が難しい点を述べている.最後に,深層学習の説明可能性に注目した研究について,説明可能なAlについての先行研究を紹介している.また,本研究との違いとして,本研究では,モデルの精度や信頼性などの評価ではなく,人間が学習結果に納得するためのシステムの構築を行っていることについて述べている.
第3章では,単純な深層学習モデルである, DNN (Deep Neural Network)から分類パターンを抽出し,解釈支援を行うシステムの構築について述べている.
こでは,学習済みのDNNの重みの値によって情報の重要度が決まるとし,重みの積から出力に寄与する特徴,または,各中間層ノードに寄与する特徴を取得する手法を提案している.また,取得した情報は可視化インタフェースによって解釈支援システムの利用者に提供していることを述べている.解釈支援システムの評価実験として,動物の生態に関する文章や映画のレビュー,受験に関するツイート集合などを題材とし, 14人の被験者に提案システムを用いて解釈を行ってもらったことを述べている.得られた解釈の内容が学習に用いた文章集合に対して妥当かどうか調査したところ, 90%近くの解釈が妥当であったとして,提案システムの有効性を確認している.
第4章では,実際に自然言語処理分野で広く扱われているRNN (Recurrent Neural Network)モデルについて,分類パターンを抽出し,解釈支援を行うシステムの構築について述べている. こでは, RNNの重み付きネットワークがHMM (Hidden Markov Model)と類似している点に注目して, RNNの重みを一種の確率変数をみなして一つのHMMと捉えることを述べ,単語の時系列パターンに対する尤度を算出することで,時系列情報を含んだ分類パターンを取得する手法を提案している.また,取得した分類パターンは,単語をノード,単語の時系列を矢印付きエッジとする解釈支援ネットワークとして表示し,解釈支援システムの利用者に提供することを述べている.解釈支援システムの評価実験として,アニメの登場人物のセリフ集合やAmazonの家電問品やゲームソフトのレビュー集合を題材とし, 8人の被験者に提案システムを用いて各文章集合に対する解釈を行ってもらったことを述べている.提案システムにおいて解釈内容が文章集合に対して妥当かどうか調査したところ, 95%近くの解釈が妥当であったとして,提案システムの有効性を確認している.
第5章は結言で,本研究において,日本語コーパスを学習させた深層学習ネットワークにおける,分類根拠を表す分類パターンの解釈を支援するシステムの構築を, DNNとRNNの2つの深層学習モデルを対象として行ったこと述べている.また,構築したシステムの有効性を検証する実験として, DNNのシステムにおいては,分類パターンに対する被験者の解釈の90%近くが妥当であると確認され, Nのシステムにおいては,分類パターンに対する被験者の解釈の95 %近くが妥当であると確認されたことから,両解釈支援システムは一定の効果があったと結論を述べている. |
