JP6929539B2 - ノン・ファクトイド型質問応答システム及び方法並びにそのためのコンピュータプログラム - Google Patents

Description

この発明は質問応答システムに関し、特に、簡単な単語で答えられるような事実に関する質問ではなく、理由、方法、定義等のノン・ファクトイド型質問に対する質問応答システムの改良に関する。

因果関係は、なぜ型質問応答タスクにおける最も重要な意味的知識である。なぜ型質問応答タスクとは、「なぜ津波が起きるのですか？」というようななぜ型質問に対する回答を大量のテキストからなるテキストアーカイブを検索して取り出すタスクである。このための先行技術として、非特許文献１に開示されたものがある。この非特許文献１は、「なぜなら」のような手掛かり語又は「Ａが原因でＢが起こる」のような特定の因果関係パターンを用いて回答パッセージ中の因果関係を認識し、認識した因果関係を回答選択又は回答ランキングの手掛かりとして用いていた。こうした処理を行う例としては、回答パッセージの正誤分類、正しさの度合いによる回答パッセージのランキング等がある。

J.-H. Oh, K. Torisawa, C. Hashimoto, M. Sano, S. De Saeger, and K. Ohtake. Why-question answering using intra- and inter-sentential causal relations. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (ACL 2013), pp. 1733-1743, Sofia, Bulgaria, August, 2013.

しかし、明示的な手掛かり語又はパターンに依存する先行技術には、回答パッセージ内の因果関係が明示的な形ではなく（手掛かり語なしで）暗黙に表現されている場合に、因果関係を的確に認識できないという問題がある。例えば、以下の様な質問と回答を用いる場合が想定される。

ここで、下線を引いた部分CE1は因果関係を表しているが、手掛かり語は用いられていない。CE1のような表現には手掛かり語がないため、従来の技術ではこの因果関係を認識できず、したがって上のような問いに、回答１のような回答を見つけることはできないと推定される。

また、なぜ型質問応答タスクにおいて因果関係が最も重要な意味的知識であることは前述したとおりだが、因果関係に関する意味的知識のみで回答が推定できる質問だけではなく、それ以外の意味的関係についての質問もある。したがって、一般的なノン・ファクトイド型質問についても高い精度で回答を見つけられる質問応答システムが望ましい。

それ故に本発明の目的は、手掛かり語を明示的に含まないような因果関係等の意味的関係の表現を含む回答のパターンを利用することにより、ノン・ファクトイド型質問に的確な回答を与えることができるノン・ファクトイド型質問応答システム及びそのためのコンピュータプログラムを提供することである。

本発明の第１の局面に係るノン・ファクトイド型質問応答システムは、文章内に出現する第１の意味的関係を表す表現に着目して、ノン・ファクトイド型の質問に対する応答を生成する。このノン・ファクトイド型質問応答システムは、第１の意味的関係を表す複数個の表現を記憶する第１の表現記憶手段と、質問と、当該質問に対する回答候補を含む複数個の回答パッセージとを受信する質問・回答受信手段と、複数個の回答パッセージの各々から、第１の意味的関係を表す意味的関係表現を抽出する第１の表現抽出手段と、質問と、複数個の回答パッセージとの組み合わせの各々に対し、第１の表現記憶手段が記憶している複数個の表現から、当該組み合わせに最も関連する表現である関連表現を選択する関連表現選択手段と、質問と、複数個の回答パッセージと、当該回答パッセージに対する意味的関係表現と、当該質問と当該回答パッセージとの組み合わせに対する関連表現の１つとからなる組み合わせの各々を入力として受け、質問に対する回答を複数個の回答パッセージ中から選択するように予め機械学習により学習した回答選択手段とを含む。

好ましくは、ノン・ファクトイド型質問応答システムは、さらに、質問と、複数個の回答パッセージとの組み合わせの各々に対し、第１の表現記憶手段が記憶した複数個の表現内における、質問に出現する各単語と当該回答パッセージに出現する各単語との第１の意味的相関関係量を算出する第１の意味的相関関係量算出手段を含む。回答選択手段は、質問と、複数個の回答パッセージと、当該回答パッセージに対する意味的関係表現と、質問と当該回答パッセージとの組み合わせに対する関連表現との組み合わせを入力として受け、入力中の各単語に対する重みとして第１の意味的相関関係量を用いて、当該回答パッセージが質問に対する回答である尺度を表す評価値を算出し出力するように予め機械学習により学習した評価手段と、複数個の回答パッセージの各々に対して評価手段が出力する評価値を用いて複数個の回答パッセージのいずれかを質問に対する回答として選択する選択手段とを含む。

より好ましくは、ノン・ファクトイド型質問応答システムは、文書アーカイブから、第１の意味的関係を表す表現を抽出して第１の表現記憶手段に格納する第１の意味的関係表現抽出手段をさらに含む。

さらに好ましくは、第１の意味的相関関係量算出手段は、第１の表現記憶手段が記憶した、第１の意味的関係を表す複数個の表現に含まれる単語対の第１の意味的相関関係量を、各単語対に対して算出し記憶する第１の意味的相関関係量記憶手段と、質問と、複数個の回答パッセージとの組み合わせの各々について、当該質問内の単語と、当該回答パッセージ内の１つの単語との対ごとに、第１の意味的相関関係量を第１の意味的相関関係量記憶手段から読出し、一方の軸に質問内の単語が配列され、他方の軸に当該回答パッセージ内の単語が配列されたマトリクスであって、一方の軸と他方の軸との交差する位置のセルに、当該位置に対応する単語同士の第１の意味的相関関係量がそれぞれ配置された第１のマトリクスを生成する第１のマトリクス生成手段と、第１のマトリクスの一方の軸に配置された各単語に対して、他方の軸方向に配置された第１の意味的相関関係量の最大値を記憶する第１の単語−文マトリクス、及び第１のマトリクスの他方の軸に配置された各単語に対して、一方の軸方向に配置された第１の意味的相関関係量の最大値を記憶する第２の単語−文マトリクスからなる２つの第２のマトリクスを生成する第２のマトリクス生成手段とを含む。ノン・ファクトイド型質問応答システムは、さらに、回答選択手段に与えられる、質問内に出現する単語の各々に対しては、第１の単語−文マトリクスの第１の意味的相関関係量を、回答パッセージ内に出現する単語の各々に対しては第２の単語−文マトリクスの第１の意味的相関関係量をそれぞれ用いて重み付けをするための手段を含む。

好ましくは、２つの第２のマトリクスに記憶される第１の意味的相関関係量の各々は所定の区間で正規化されている。

より好ましくは、第１の意味的関係は因果関係である。

さらに好ましくは、因果関係を表す表現の各々は、原因部と結果部とを含む。関連表現選択手段は、質問から名詞、動詞及び形容詞を抽出する第１の単語抽出手段と、第１の表現記憶手段が記憶している表現から、第１の単語抽出手段が抽出した名詞を結果部に全て含むものを所定個数だけ選択する第１の表現選択手段と、第１の表現記憶手段が記憶している表現から、第１の単語抽出手段が抽出した名詞を全て含み、かつ、第１の単語抽出手段が抽出した動詞又は形容詞を少なくとも１つだけ結果部に含むものを所定個数だけ選択する第２の表現選択手段と、複数個の回答パッセージの各々について、第１の表現選択手段及び第２の表現選択手段が選択した表現のうちで、当該回答パッセージと共通する単語を結果部に持ち、かつ当該共通する単語に対する重み付けにより算出されるスコアによって当該回答パッセージと最も関連が高いと判定されるものを選択する関連因果関係表現選択手段とを含む。

好ましくは、ノン・ファクトイド型質問応答システムは、文章内に出現する第１の意味的関係を表す表現と、第２の意味的関係を表す表現とに着目することで、ノン・ファクトイド型の質問に対する応答を生成する。このノン・ファクトイド型質問応答システムは、さらに、第２の意味的関係を表す複数個の表現を記憶する第２の表現記憶手段と、質問と、複数個の回答パッセージの各々との組み合わせに対し、第２の表現記憶手段が記憶した複数個の表現内における、質問に出現する各単語と当該回答パッセージに出現する各単語との相関関係を表す第２の意味的相関関係量を算出する第２の意味的相関関係量算出手段を含む。評価手段は、質問と、複数個の回答パッセージと、当該回答パッセージに対する第１の表現抽出手段が抽出した意味関係表現と、質問と当該回答パッセージとに対する関連表現との組み合わせを入力として受け、入力中の各単語に対する重みとして第１の意味的相関関係量と第２の意味的相関関係量を用いることにより、評価値を出力するように予め機械学習により学習したニューラルネットワークを含む。

より好ましくは、第２の意味的関係は、特定の意味的関係に限定されない、通常の意味的関係であり、第２の表現記憶手段は、無作為に収集された表現を記憶する。

本発明の第２の局面に係るコンピュータプログラムは、コンピュータを、上記したいずれかの装置の各手段として機能させる。

本発明の第３の局面に係るノン・ファクトイド型質問に対する応答方法は、文章内に出現する所定の第１の意味的関係を表す表現に着目することで、ノン・ファクトイド型の質問に対する応答を生成する、コンピュータにより実現される方法である。この方法は、コンピュータが、第１の意味的関係を表す複数個の表現を記憶した第１の記憶装置と通信可能に接続するステップと、コンピュータが、質問と、当該質問に対する回答候補を含む複数個の回答パッセージとを入力装置を介して受信するステップと、コンピュータが、複数個の回答パッセージの各々から、第１の意味的関係を表す表現を抽出するステップと、コンピュータが、質問と、複数個の回答パッセージとの組み合わせの各々に対し、第１の表現記憶手段が記憶した複数個の表現から、当該組み合わせに最も関連する表現を選択するステップと、コンピュータが、質問と、複数個の回答パッセージと、抽出するステップにおいて抽出された複数個の表現と、選択するステップにおいて選択された表現の１つとからなる組み合わせの各々を、質問に対する回答を複数個の回答パッセージ中から選択するように予め機械学習により学習した回答選択手段に入力してその出力を得ることにより、質問に対する応答を生成するステップとを含む。

好ましくは、この方法はさらに、コンピュータが、質問と、複数個の回答パッセージとの組み合わせの各々に対し、第１の表現記憶手段が記憶した複数個の表現内における、質問に出現する各単語と当該回答パッセージに出現する各単語との相関関係を表す第１の意味的相関関係量を算出するステップを含む。選択するステップは、コンピュータが、質問と、複数個の回答パッセージと、当該回答パッセージから抽出するステップにおいて抽出された表現と、質問と当該回答パッセージとに対して選択ステップにおいて選択された表現との組み合わせの各々を、当該回答パッセージが質問に対する回答である尺度を表す評価値を算出し出力するように予め機械学習により学習した評価手段に入力として与えるステップを含む。評価手段は、評価値の算出において、入力中の各単語に対する重みとして、第１の意味的相関関係量を用い、方法はさらに、コンピュータが、複数個の回答パッセージの各々に対して評価手段が出力する評価値を用いて複数個の回答パッセージのいずれかを質問に対する回答として選択するステップを含む。

本発明の第４の局面に係るノン・ファクトイド質問応答システムは、質問文と、当該質問文に対する複数個の回答パッセージとを受ける質問・回答受信手段と、複数個の回答パッセージから、複数個の回答内因果関係表現を抽出する因果関係表現抽出手段と、大量の文書からなる文書アーカイブから抽出された複数個のアーカイブ因果関係表現を記憶したアーカイブ因果関係表現記憶手段とを含む。回答内因果関係表現及びアーカイブ因果関係表現の各々は、原因部と結果部とを含む。ノン・ファクトイド型質問応答システムはさらに、アーカイブ因果関係表現記憶手段に記憶されている複数個のアーカイブ因果関係表現について、回答パッセージの各々との関連度の大きさに基づいてランキングし、質問と回答パッセージと組合せの各々について、ランクの上位のアーカイブ因果関係表現を選択するためのランキング手段と、質問と、複数個の回答パッセージと、複数個の回答内因果関係表現と、ランキング手段により選択されたアーカイブ因果関係表現とを入力として受け、質問に対する回答として、複数個の回答パッセージのいずれかを選択するように予め機械学習により学習した分類手段とを含む。

好ましくは、ノン・ファクトイド型質問応答システムはさらに、各回答パッセージに使用されている各単語対の相関関係を表す尺度である相関関係量を記憶する相関関係量記憶手段と、質問と、回答パッセージの各々との組み合わせの各々について、質問から抽出された単語と、回答パッセージから抽出された単語の組合せの各々に対して、相関関係量を相関関係量記憶手段から読出し、分類手段に与えられる質問と回答パッセージとの各単語に対して相関関係量に応じた重みを付すための重み付与手段とを含む。

より好ましくは、重み付与手段は、質問と、回答パッセージの各々との組み合わせの各々について、質問から抽出された単語と、回答パッセージから抽出された単語の組合せの各々に対して、相関関係量を相関関係量記憶手段から読出し、一方の軸が質問から抽出された単語の配列、他方の軸が回答パッセージから抽出された単語の配列、一方の軸と他方の軸との交差する位置に、各軸の当該位置に対応する単語同士の相関関係量が、それぞれ配置された単語−単語相関関係量マトリクスからなる第１のマトリクスを生成する第１のマトリクス生成手段と、相関関係量マトリクスの一方の軸に配置された各単語に対して、他方の軸方向に配置された相関関係量の最大値を記憶する第１の単語−文マトリクス、及び相関関係量マトリクスの他方の軸に配置された各単語に対して、一方の軸方向に配置された相関関係量の最大値を記憶する第２の単語−文マトリクスからなる２つの第２のマトリクスを生成する第２のマトリクス生成手段と、分類手段に与えられる、質問を表す単語ベクトルの各々に対しては第１のマトリクス及び第１の単語−文マトリクスを用い、回答パッッセージを表す単語ベクトルの各々に対しては第１のマトリクス及び前記第２の単語−文マトリクスを用いて、それぞれ因果関係アテンションによる重み付けをするための手段とを含む。

さらに好ましくは、第１のマトリクス、及び２つの第２のマトリクスに記憶される相関関係量は、０から１の間で正規化されている。

ランキング手段は、質問から名詞、動詞及び形容詞を抽出する第１の単語抽出手段と、アーカイブ因果関係表現から、第１の単語抽出手段により抽出された名詞を全て含むものを所定個数だけ選択する第１のアーカイブ因果関係表現選択手段と、アーカイブ因果関係表現から、第１の単語抽出手段により抽出された名詞を全て含み、かつ、第１の単語抽出手段により抽出された動詞又は形容詞を少なくとも１つ含むものを所定個数だけ選択する第２のアーカイブ因果関係表現選択手段と、回答パッセージの各々について、第１及び第２のアーカイブ因果関係選択手段により選択されたアーカイブ因果関係表現のうちで、当該回答パッセージと共通する単語を結果部に持ち、かつ当該共通する単語に対する重み付けにより算出されるスコアによって当該回答パッセージと最も関連が高いと判定されるものを選択する関連因果関係表現選択手段とを含んでもよい。

本発明の第１の実施の形態に係るノン・ファクトイド型質問応答システムの概略構成を示すブロック図である。 図１に示す質問関連アーカイブ因果関係表現選択部の概略構成を示すブロック図である。 単語間の相互情報量マトリクスの構成を示す概略図である。 本発明の第１の実施の形態で用いられる、マルチカラムの畳み込みニューラルネットワークの概略構成を示す図である。 畳み込みニューラルネットワーク内の構成を説明するための模式図である。 本発明の第１の実施の形態に係るノン・ファクトイド型質問応答システムの学習過程を説明するための模式図である。 本発明の第１の実施の形態に係るノン・ファクトイド型質問応答システムとコンピュータにより実現するためのプログラムの制御構造を示すフローチャートである。 本発明の第１の実施の形態に係るノン・ファクトイド型質問応答システムによる実験結果を表形式で示す図である。 本発明の第１の実施の形態に係るノン・ファクトイド型質問応答システムの性能を従来技術と比較したグラフである。 本発明の第１の実施の形態に係るノン・ファクトイド型質問応答システムを実現するコンピュータシステムの外観を示す図である。 図１０に外観を示すコンピュータシステムのハードウェア構成を示すブロック図である。 本発明の第２の実施の形態に係るノン・ファクトイド型質問応答システムの概略構成を示すブロック図である。 図１２に示す類似度アテンションマトリクス生成部の概略構成を示すブロック図である。 図１２に示す畳み込みニューラルネットワーク内の概略構成を示すための模式図である。 第２の実施の形態に係るノン・ファクトイド型質問応答システムをコンピュータにより実現するためのプログラムの制御構造を示すフローチャートである。 第２の実施の形態に係るノン・ファクトイド型質問応答システムによる回答の精度を従来の手法及び第１の実施の形態の精度とあわせて表形式で示す図である。

以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。なお、以下の実施の形態では、第１の意味的関係表現として因果関係を例にするが、本発明はそのような実施の形態には限定されない。後述するように、材料関係（例：＜ＡでＢを生産する＞、（トウモロコシ、バイオ燃料）等）必要関係（例：＜ＡはＢに必須だ＞、（日光、光合成）等）、使用関係（例：＜ＡをＢに使う＞、（ｉＰＳ細胞、再生医療）、等）及び予防関係（例：＜ＡでＢを防ぐ＞、（ワクチン、インフルエンザ）、等）又はこれらの任意の組み合わせを用いることができる。

［基本的な考え方］
上記したCE1のような因果関係表現は、手掛かり語を用いて「地震により海底が上下し、その周辺の海水も上下に動くため、津波が発生する。」（CE2）のように言い換えて表現できる（「ため」が手掛かり語）。このような文章は２０１１年の東日本大震災と関係のない文脈でも生じ得ることと、この表現だけでは上記した質問に対する答えとしては不十分であることに注意が必要である。しかし、このような因果関係表現を明示的な手掛かり語等を用いて自動的に認識でき、なんらかの手段によってこのような明示的な手掛かり語等がない因果関係表現を補完することができれば、なぜ型質問応答タスクの回答の精度を高めることができる。

以下の実施の形態では、入力された質問と回答パッセージとの双方に関連した因果関係表現を、明示的な手掛かり語等を含む大量のテキストアーカイブから選択する。回答パッセージとは、質問に対する回答である可能性を有するとして既存の文書から抽出された文書の断片のことをいう。選択された因果関係表現を、質問と回答パッセージとともに畳み込みニューラルネットワークに与えて、質問に対する回答として正しい確率を表すスコアを各回答パッセージに付与し、質問に対する回答として最も正しいと思われる回答を選択する。以下の説明では、テキストアーカイブから抽出した因果関係表現をアーカイブ因果関係表現と呼び、回答パッセージから抽出した因果関係表現を回答内因果関係表現と呼ぶ。以下の実施の形態では、質問と回答パッセージとの双方に深く関連するアーカイブ因果関係表現を抽出して用いるが、これらの因果関係表現を関連因果関係表現と呼ぶ。

以下の実施の形態ではまた、アーカイブ因果関係表現を用いて暗黙の因果関係表現を補完するという考え方を採用している。例えば上に挙げた回答パッセージと、明示的な手掛かり語等を含む因果関係表現CE2とは、共通する単語（海と水）を持つことに注目し、そのような共通の単語は、仮に暗黙の因果関係表現を特定することができない場合でも、十分な回答を発見するための手掛かりとして使用できる筈であると考えた。つまり、アーカイブ因果関係表現と、回答パッセージとの間で共通する単語に十分に注意を払えば、回答パッセージ内の暗黙の因果関係表現を認識できないときでも、その言い換えとして明示的な手掛かり語を含むアーカイブ因果関係表現を推定でき、その結果、質問に対する精度を高めることができると考えられる。本明細書では、このような考え方を因果関係アテンション(Causality-Attention：以下「CA」)と呼ぶ。

すなわち、海、及び水、のような共通の単語は、質問とその回答との間の因果関係に直接的にせよ間接的にせよ関係していると想定する。本明細書では、そのような共通の単語をCA単語（Causality-Attention words）と呼び、アーカイブ因果関係表現からそうした単語を抽出する。以下の実施の形態では、分類器は、与えられた質問に対する原因又は理由を見つける際に、そのようなCA単語に着目して回答の選択を行う。こうした機能を実現するために、以下の実施の形態では、後述するように複数の畳み込みニューラルネットワークからなるマルチカラムニューラルネットワーク（Multi Column Neural Network：MCNN）を分類器として用いる。CA単語に着目するという意味で、このMCNNをCA-MCNNと呼ぶ。

［第１の実施の形態］
〔構成〕
＜ノン・ファクトイド型質問応答システム３０＞
図１を参照して、本願の１実施の形態に係るノン・ファクトイド型質問応答システム３０は、質問３２を受ける質問受付部５０と、質問受付部５０が受け付けた質問を既存の質問応答システム３４に与えることにより、質問応答システム３４から何らかの形で質問３２に対する回答パッセージを所定個数だけ受信する応答受信部５２と、大量の文書からなるウェブアーカイブを記憶したウェブアーカイブ記憶部５６と、ウェブアーカイブ記憶部５６に記憶されたウェブアーカイブ、質問受付部５０が受付けた質問１３０、及び応答受信部５２が質問応答システム３４から受信した回答パッセージを用いて、後述する因果関係アテンションマトリクスを算出するための因果関係アテンション処理部４０とを含む。

因果関係アテンション処理部４０は、ウェブアーカイブ記憶部５６から既存の技術により手掛かり語等を用いて因果関係表現を抽出する因果関係表現抽出部５８と、因果関係表現抽出部５８が抽出した因果関係表現（アーカイブ因果関係表現）を記憶するアーカイブ因果関係表現記憶部６０と、アーカイブ因果関係表現記憶部６０に記憶されたアーカイブ因果関係表現に含まれる単語を抽出し、[-1,1]で正規化された単語間の相関関係を表す１つの尺度である相互情報量を算出する相互情報量算出部６２と、双方の軸に各単語を配置し、一方軸上の単語と他方軸上の単語との交差位置に、その単語対の間の相互情報量を配置した、相互情報量マトリクスを記憶する相互情報量マトリクス記憶部６４と、相互情報量マトリクス記憶部６４に記憶された相互情報量マトリクスと、質問受付部５０が受付けた質問１３０と、質問１３０に対して得られた回答パッセージとを用い、質問１３０に対する各回答パッセージの評価値であるスコアを算出する際に用いられる因果関係アテンションマトリクスを生成する因果関係アテンションマトリクス生成部９０とを含む。因果関係アテンションマトリクス生成部９０の構成については後述する。なお、本実施の形態では、因果関係表現から得られた、単語同士の相関関係を表す尺度である相互情報量を因果関係アテンションとして用いるが、相関関係を表す尺度としてはこれ以外のものも使用できる。例えば、因果関係表現の集合内における単語間の共起頻度、Dice係数、Jaccard係数等、相関関係を表す他の尺度を用いてもよい。

ノン・ファクトイド型質問応答システム３０はさらに、応答受信部５２が受信した回答パッセージ、質問受付部５０が受け付けた質問１３０、アーカイブ因果関係表現記憶部６０に記憶されたアーカイブ因果関係表現、及び因果関係アテンションマトリクス生成部９０により生成された因果関係アテンションマトリクスを用いて、質問３２に対する回答パッセージのスコアを算出し出力する分類部５４と、質問３２に対する回答候補として、分類部５４により出力されたスコアと回答パッセージとを関連付けて記憶する回答候補記憶部６６と、回答候補記憶部６６に記憶された回答候補をスコアにしたがって降順にソートし、最も高いスコアの回答候補を回答３６として出力する回答候補ランキング部６８とを含む。

〈分類部５４〉
分類部５４は、応答受信部５２が受信した回答パッセージを記憶するための回答パッセージ記憶部８０と、回答パッセージ記憶部８０に記憶された回答パッセージに含まれる因果関係表現を抽出する因果関係表現抽出部８２と、因果関係表現抽出部８２により回答パッセージから抽出された関係表現を記憶する回答内因果関係表現記憶部８４とを含む。このように回答パッセージから抽出された因果関係表現を回答内因果関係表現と呼ぶ。

分類部５４はさらに、アーカイブ因果関係表現記憶部６０に記憶されたアーカイブ因果関係表現から、質問受付部５０が受け付けた質問１３０と回答パッセージ記憶部８０に記憶された回答パッセージの各々との組合せに対して最も関連するアーカイブ因果関係表現をそれぞれ抽出する関連因果関係表現抽出部８６と、関連因果関係表現抽出部８６により抽出された因果関係表現を記憶する関連因果関係表現記憶部８８とを含む。関連因果関係表現抽出部８６により抽出されるアーカイブ因果関係表現は、回答パッセージ内因果関係表現の言い換えと考えられる。

分類部５４はさらに、質問受付部５０が受け付けた質問１３０、回答内因果関係表現記憶部８４により記憶された回答内因果関係表現、関連因果関係表現記憶部８８に記憶された関連因果関係表現、及び因果関係アテンションマトリクス生成部９０により生成された因果関係アテンションマトリクスの入力を受け、回答パッセージ記憶部８０に記憶された回答パッセージが質問１３０に対する回答として正しいものである確率を示すスコアを出力するように、予め学習済のニューラルネットワーク９２とを含む。

ニューラルネットワーク９２は、後述するようにマルチカラムの畳み込みニューラルネットワークである。ニューラルネットワーク９２は、因果関係アテンションマトリクス生成部９０により生成された因果関係アテンションにより、回答パッセージ記憶部８０に記憶された回答パッセージの内で、質問１３０に含まれる単語と関連があると思われる単語に特に注目してスコアを算出する。このように、質問１３０に含まれる単語と関連があると思われる単語というのは、人間の場合には各自が持つ、因果関係に関する常識に基づいて選択しているものと思われる。そこで、本実施の形態では、このように相互情報量に基づいて、回答パッセージ中の単語に着目し回答パッセージを評価することを前述のとおり因果関係アテンションと呼ぶ。また、こうした因果関係アテンションを用いて回答パッセージにスコア付するマルチカラムのニューラルネットワーク９２をCA-MCNNと呼ぶ。このニューラルネットワーク９２の構成については図４及び図５を参照して後述する。

《関連因果関係表現抽出部８６》
関連因果関係表現抽出部８６は、質問受付部５０が受け付けた質問１３０から内容語を抽出し、アーカイブ因果関係表現記憶部６０に記憶されているアーカイブ因果関係表現のうち、質問１３０から抽出した単語を結果部に持つものを選択する質問関連アーカイブ因果関係表現選択部１１０と、質問関連アーカイブ因果関係表現選択部１１０が選択したアーカイブ因果関係表現を記憶する質問関連因果関係表現記憶部１１２と、回答パッセージ記憶部８０に記憶された回答パッセージの各々について、回答パッセージと共通する単語をどの程度含むかを示す所定の計算式に基づいて、質問関連因果関係表現記憶部１１２に記憶された質問関連因果関係表現をランキングし、最上位の質問関連因果関係表現を、質問及び回答パッセージの組に関連する因果関係表現として選択し出力するランキング部１１４とを含む。ランキング部１１４がランキングに使用する所定の式は以下の式で表される重み付け単語出現数wgt-wc(x,y)である。なお以下では、重み付け単語出現数wgt-wc(x,y)以外にも３つの評価値wc(x,y)、ratio(x,y)、及びwgt-ratio(x,y)を定義してある。これらはいずれもニューラルネットワーク９２への入力となる。

ここで、MW(x,y)は表現x内の内容語であって、かつ表現yの中にも存在するものの集合を表し、Word(x)は表現x内の内容語の集合を表し、idf(x)は単語xの文書頻度の逆数を表す。上記ランキング部１１４による処理では、xは質問関連因果関係の原因部を表し、yは回答パッセージを表す。

−質問関連アーカイブ因果関係表現選択部１１０−
関連因果関係表現抽出部８６内の質問関連アーカイブ因果関係表現選択部１１０の概略構成を図２に示す。図２を参照して、質問関連アーカイブ因果関係表現選択部１１０は、質問１３０を質問受付部５０から受け、質問１３０に含まれる名詞を抽出する名詞抽出部１５０と、質問１３０に含まれる動詞及び形容詞を抽出する動詞・形容詞抽出部１５２と、アーカイブ因果関係表現記憶部６０を検索し、名詞抽出部１５０により抽出された名詞を全て結果部に含むアーカイブ因果関係表現を取り出し、質問関連因果関係表現記憶部１１２に格納するための第１検索部１５４と、アーカイブ因果関係表現記憶部６０を検索し、名詞抽出部１５０が抽出した名詞の全てと、動詞・形容詞抽出部１５２が抽出した動詞及び形容詞の少なくとも一つとを結果部に含むアーカイブ因果関係表現を抽出し、質問関連因果関係表現記憶部１１２に格納するための第２検索部１５６とを含む。

《因果関係アテンションマトリクス生成部９０》
本実施の形態では、因果関係アテンションという概念により、ニューラルネットワーク９２による回答パッセージのスコアリング時に、質問及び回答パッセージに含まれるCA単語に他より大きな重み付けを与える。そのために用いるのが相互情報量マトリクスである。ここでの重み付けは、質問に含まれるCA単語と回答パッセージに含まれるCA単語が、どの程度の因果関係的な関連性を持つかを表すものであり、本実施の形態ではその値として単語間の相互情報量を用いる。

P(x,y)は、単語x及び単語ｙがそれぞれ同じアーカイブ因果関係表現の原因部及び結果部に存在する確率を示すものとする。この確率は、図１に示すアーカイブ因果関係表現記憶部６０に記憶された全てのアーカイブ因果関係表現から統計的に得られる。P(x,*)及びP(*,y)をそれぞれ、単語x及び単語yがアーカイブ因果関係表現の全体においてそれぞれ原因部及び結果部に現れる確率を示すものとする。すると、単語x及びyの間の因果関係的関連性の強さは、以下のように[-1,1]の範囲で正規化された点別相互情報量（npmi）により表される。

本実施の形態では、以下に述べるように２種類の因果関係アテンションマトリクスを用いる。第１は単語‐単語マトリクスＡであり、第２は単語‐文マトリクス＾Ａである。単語‐文マトリクス＾Ａにはさらに２種類がある。一方は質問内の各単語からみた、回答パッセージ内の各単語との相互情報量の最大値からなるマトリクス＾Ａ_qであり、他方は回答パッセージの各単語からみた、質問内の各単語との相互情報量の最大値からなるマトリクス＾Ａ_pである。（ハット記号「＾」は、本来、直後の文字の直上に記載すべきものである。）

質問ｑ及び回答パッセージｐとすると、マトリクスＡ∈Ｒ^|p|×|q|は以下の式により求める。

ただし、q_j及びp_iはそれぞれ、質問のj番目の単語及び回答パッセージのi番目の単語を表す。A[i,j]にはnpmi(・)＞０のときのみnpmi(・)の値が代入され、それ以外の場合は０となるのでnpmi(・)＞０となるCA単語しか本実施の形態の因果関係アテンションには影響しない。なお、npmi(・)＜０のときにもマトリクスＡ[i,j]に値を代入するような実施の形態も可能である。実験では、式(3)のように、npmi(・)＜０のときには０に置換したほうがよい結果が得られたため、本実施の形態では式(3)の制約をＡ[i,j]に課している。

質問中の単語q_j（又は回答パッセージ中の単語p_i）には、その単語q_j（又は単語p_i）と因果関係的に深く関係している単語が、対応する文、すなわち回答パッセージ（又は質問）内に多く出現していれば、因果関係アテンション表現中において大きなアテンション重みが与えられる。しかし、質問とその回答パッセージとのペア中に現れる単語数は少ないので、マトリクスＡは疎な行列となる。このため、モデルパラメータW_q´及びW_p´を効果的に学習するのは困難である。この問題を解決するために、このマトリクスＡから上記したマトリクス＾Ａ_q及び、マトリクス＾Ａ_p（まとめて「＾Ａ」と書く。）を生成し、これらを用いる。これらについては図３を参照して後述する。

図１を参照して、因果関係アテンション処理部４０の因果関係アテンションマトリクス生成部９０は、質問受付部５０からの質問１３０、及び回答パッセージ記憶部８０に記憶された回答パッセージの各々の組合せごとに、それらに含まれる内容語を全て抽出するための単語抽出部１２０と、単語抽出部１２０により抽出された質問の単語を横軸に、回答パッセージの単語を縦軸に配置し、横軸及び縦軸の交差位置に、その位置に対応する２単語の相互情報量を相互情報量マトリクス記憶部６４から読出し、負の値を０に置換して配置した第１の相互情報量マトリクスを算出する第１のマトリクス算出部１２２と、第１のマトリクス算出部１２２が算出した第１の相互情報量マトリクスから、以下に述べる方法で２つの第２の相互情報量マトリクスを算出する第２のマトリクス算出部１２４とを含む。相互情報量の負の値を０に置換しているので、第１の相互情報量マトリクス内の相互情報量の値は、[0,1]の範囲で正規化されている。

図３を参照して、第１の相互情報量マトリクスＡ１７０は、前述したとおり、横軸に質問から抽出した単語を配置し、縦軸に、処理対象の回答パッセージから抽出した単語を配置し、それらが交差する位置に、その交差位置に対応する単語間の相互情報量を相互情報量マトリクス記憶部６４から読み出し、負の値を０に置換して格納したマトリクスである。これに対して、第２のマトリクスは、マトリクス＾Ａ_q１８０及びマトリクス＾Ａ_p１８２の２つからなる。マトリクス＾Ａ_q１８０は、相互情報量マトリクスＡ１７０のうち、質問に含まれる各単語に対応して各列に記憶されている相互情報量の最大値を求めて得られるものである。マトリクス＾Ａ_ｐ１８２は、相互情報量マトリクスＡ１７０のうち、回答パッセージに含まれる各単語に対応して各行に記憶されている相互情報量の最大値を求めて得られるものである。したがって、マトリクス＾Ａ_q１８０及びマトリクス＾Ａ_p１８２のいずれにおいても、相互情報量の値は[0,1]の範囲に正規化されている。

質問中の単語（「質問語」という。）の因果関係アテンションの特徴量は、マトリクス＾Ａにおいて、質問語と、全ての回答パッセージ中の単語（「回答語」という。）との可能な全ての組み合わせの中で最も高い値であるnpmi値により表される。同様に、回答語の因果関係アテンションの特徴量は、マトリクス＾Ａにおいて、回答語と全ての質問語との可能な全ての組み合わせの中で最も高い値であるnpmi値により表される。これは、マトリクス＾Ａ内の単語の因果関係アテンションの特徴量は、マトリクスＡから抽出した最も重要な因果関係アテンション特徴量により表現されることを示唆している。

この処理により、２つの因果関係アテンション特徴量マトリクスが得られる。一方は質問に関するマトリクス＾Ａ_q１８０であり、他方は回答パッセージに関するマトリクス＾Ａ_p１８２である。

例えば、列１７２（「津波」に対応する。）を下に見ていくと、相互情報量の最大値は「地震」の「０．６５」である。すなわち、「津波」という質問語は、「地震」という回答語と最も強い因果関係的関連を有する。同様に、各列の最大値を求めることでマトリクス＾Ａ_q１８０が得られる。また、例えば行１７４（「地震」に対応する。）を横に見ていくと、最大値は「津波」の「０．６５」である。すなわち、「地震」という回答語と最も強い因果関係的関連を有する質問語は「津波」である。これを各行について求めていくことでマトリクス＾Ａ_p１８２が得られる。実際には、図３から分かるようにマトリクス＾Ａ_q１８０は１行の横ベクトルであり、マトリクス＾Ａ_p１８２は１列の縦ベクトルとなる。

〈畳み込みニューラルネットワーク〉
図４を参照して、図１に示すニューラルネットワーク９２は、後述するように、質問、回答パッセージ、回答内因果関係表現（回答CE）、及び関連因果関係表現（関連CE）を受けて、因果関係アテンションによる重み付けを行った単語ベクトルを生成する入力層２００と、入力層２００の出力を受けて特徴量ベクトルを出力する畳み込み／プーリング層２０２と、畳み込み／プーリング層２０２の出力を受けて、入力された質問に対し、入力された回答が正しい回答である確率を出力する出力層２０４とを含む。このニューラルネットワーク９２は、４つのカラムＣ１〜Ｃ４を持つ。

《入力層２００》
入力層２００は、質問が入力される第１カラムＣ１と、回答パッセージが入力される第２カラムＣ２と、回答内因果関係表現（回答CE）が入力される第３カラムＣ３と、関連因果関係表現（関連CE）が入力される第４カラムＣ４とを含む。

第１カラムＣ１及び第２カラムＣ２は、それぞれ質問及び回答パッセージを構成する単語列の入力を受け、それらを単語ベクトルに変換する機能と、前述した因果関係アテンションにより各単語ベクトルに重み付けを行う機能２１０とを持つ。第３カラムＣ３及び第４カラムＣ４は、因果関係アテンションによる重み付けの機能２１０は持たないが、それぞれ回答内因果関係表現と関連因果関係表現に含まれる単語列を単語埋め込みベクトルに変換する機能を持つ。

本実施の形態では、単語列ｔに含まれるｉ番目の単語をｄ次元の単語埋め込みベクトルx_iで表す（後述する実験ではｄ＝300）。単語列はｄ×｜ｔ｜の単語埋め込みベクトル列Ｘにより表される。ここで、｜ｔ｜は単語列ｔの長さを表す。すると、ベクトル列Ｘは以下の式(9)により表される。

x_i:i+jはx_i,…,x_i+jの埋め込みベクトルを連結したものであり、ｉ＜１又はｉ＞｜ｔ｜ではいずれもゼロパディングされたものを表すものとする。

因果関係アテンションは、質問中の単語及び回答パッセージ中の単語に対して与えられる。本実施の形態では、単語列tに対するd×t次元のアテンションベクトル列Ｘ´をCA単語に基づいて算出する。CA単語は、質問と考えられる回答との間の因果関係を直接的又は間接的に表すものであり、アーカイブ因果関係表現から自動的に抽出される。ここでは、単語列ｔに対する単語埋め込みベクトル列Ｘとアテンションベクトル列Ｘ´について、成分別に加算することで重み付けされた単語埋め込みベクトル列＾Ｘを得る。

《畳み込み／プーリング層２０２》
畳み込み／プーリング層２０２は、４つのカラムＣ１〜Ｃ４に対応して設けられた４つの畳み込みニューラルネットワークと、それらの出力をそれぞれ受けてマックスプーリングによる結果を出力する４つのプーリング層とを含む。

すなわち、図５を参照して、畳み込み／プーリング層２０２内の、あるカラム３９０は、入力層４００、畳み込み層４０２、及びプーリング層４０４からなっているものとする。ただし畳み込み／プーリング層２０２はこのような構成には限定されず、この３つの層を複数個備えているものでもよい。

入力層４００には、入力層２００の対応するカラムからの単語ベクトル列Ｘ_１、…、Ｘ_|ｔ|が入力される。この単語ベクトル列Ｘ_１、…、Ｘ_|ｔ|は、行列Ｔ＝［Ｘ_１、Ｘ_２、…、Ｘ_|ｔ|］^Ｔとして表される。この行列Ｔに対して、次の畳み込み層４０２によりＭ個の素性マップｆ₁〜ｆ_Mが適用される。各素性マップはベクトルであって、各素性マップの要素であるベクトルは連続する単語ベクトルからなるｎグラム４１０に対してｗで示されるフィルタを適用しながらｎグラム４１０を移動させてその出力をそれぞれ得ることにより計算される。ｎは任意の自然数である。素性マップｆの出力をＯとすると、Ｏのｉ番目の要素Ｏ_iは次の式(10)により表される。

なお、素性マップの全体にわたりｎを等しくしてもよいし、異なるものがあってもよい。ｎとしては、２、３、４及び５程度が適当であろう。本実施の形態では、フィルタの重み行列は全ての畳み込みニューラルネットワークにおいて等しくしてある。これらは互いに異なっていてもよいが、実際、互いに等しくした方が、各重み行列を独立に学習する場合より精度が高くなる。

この素性マップの各々について、次のプーリング層４０４は、いわゆるマックスプーリングを行う。すなわち、プーリング層４０４は、例えば素性マップｆ_Mの要素のうち、最大の要素４２０を選択し、要素４３０として取出す。これを素性マップの各々に対して行うことによって、要素４３０、…、４３２を取出し、これらをｆ₁からｆ_Mの順番に連接して図４に示す出力層２０４にベクトル４４０として出力する。各プーリング層からはこのようにして得られたベクトル４４０等が出力層２０４に出力される。

《出力層２０４》
出力層２０４では、これら特徴ベクトルの類似度を類似度算出部２１２が算出し、Softmax層２１６に与える。また、４つのカラムＣ１〜Ｃ４に与えられる単語列の間で単語マッチング２０８が行われ、共通する単語数の指標である、式(1)に示す４つの値を共通単語数の計数部２１４が算出しSoftmax層２１６に与える。Softmax層２１６は入力に対して線形ソフトマックス関数を適用し、回答パッセージが質問に対して正しい回答である確率を出力する。

本実施の形態では、２つの特徴ベクトルの類似度は以下のように算出する。なお、類似度としてはこれ以外にコサイン類似度等、他のベクトル類似度も適用可能である。

本実施の形態では、この類似度を用いて以下の４種類の類似度スコアsv₁(n)〜sv₄(n)を算出し、用いた。

これらはいずれも類似度算出部２１２により算出され出力層２０４に与えられる。

なお、本実施の形態では、上に示したような特徴ベクトルの類似度のみを出力層２０４への入力としたが、入力する情報はこれに限定されない。例えば、特徴ベクトルそのものを用いてもよいし、特徴ベクトルとそれらの類似度の組み合わせを用いてもよい。

なお、ノン・ファクトイド型質問応答システム３０をコンピュータにより実現するためのコンピュータプログラムの制御構造を示すフローチャートを図７に示す。図７に示すコンピュータプログラムの構成についての説明は、ノン・ファクトイド型質問応答システム３０の動作の説明と重複する部分があるので、動作の説明とともに行う。

〔動作〕
ノン・ファクトイド型質問応答システム３０の動作には、学習フェーズと実際の質問に対する応答を出力する稼働フェーズとがある。

＜学習フェーズ＞
図１を参照して、質問３２が与えられるに先立ち、因果関係表現抽出部５８によりウェブアーカイブ記憶部５６からアーカイブ因果関係表現が抽出され、相互情報量算出部６２により相互情報量マトリクスが計算されて相互情報量マトリクス記憶部６４に記憶されている。

第１のマトリクス算出部１２２及び第２のマトリクス算出部１２４で用いられる重みパラメータについては、学習用の質問とそれに対する回答パッセージと、それら回答が質問に対する正しい答えか否かを人手で付したラベルとからなる学習データにより学習がされている。ニューラルネットワーク９２についても、同様の学習データを用いて入力された質問と回答パッセージとの組合せに対してそれが正しい組合せであることを示す確率を出力するように、通常のニューラルネットワークと同様、誤差逆伝播法を用いて予め学習がされる。

＜稼働フェーズ＞
稼働フェーズのノン・ファクトイド型質問応答システム３０の動作の概略について図６を参照して説明する。まず、大量のウェブテキストアーカイブから因果関係表現を自動認識する処理４６０を行い、大量のアーカイブ因果関係表現４６２を集める。この中から、共起頻度に基づいて因果関係関連性が高い単語対を選択することで、因果関係の関連単語４６６を抽出する処理４６４を行う。この関連単語４６６から、因果関係アテンション４６８を表現する情報が得られる。この因果関係アテンション４６８により、質問と回答パッセージの中で因果関係を表すとして特に着目すべき単語に、他より大きな重みが与えられる。

一方、質問４７０と回答パッセージ４７２の組が与えられると、アーカイブから抽出したアーカイブ因果関係表現４６２の中で、質問と回答パッセージに含まれる単語を多く含む因果関係を選択する処理４７４を行う。この結果、回答パッセージ内の回答内因果関係の言い換え表現４７６（関連因果関係表現）が得られる。

こうして得られた質問４７０、回答パッセージ４７２，回答パッセージ中に含まれる因果関係表現、因果関係アテンション４６８、及び回答パッセージに対応する因果関係の言い換え表現（関連因果関係表現）４７６を全てニューラルネットワーク９２に与える。回答パッセージ４７２が質問４７０に対する正しい回答である確率がニューラルネットワーク９２により算出される。この確率を各回答パッセージに対して算出し、正しい回答である確率が最も高い回答パッセージを、質問４７０に対する回答として選択する。

より具体的には、図１を参照して、稼働フェーズに先立ち、因果関係表現抽出部５８によりウェブアーカイブからアーカイブ因果関係表現が抽出されアーカイブ因果関係表現記憶部６０に記憶される。また、アーカイブ因果関係表現記憶部６０に記憶された因果関係表現から、相互情報量算出部６２が単語間の相互情報量を算出し、相互情報量マトリクスとして相互情報量マトリクス記憶部６４に記憶する。

実際に質問３２が質問受付部５０に与えられると、質問受付部５０はこの質問を応答受信部５２に与える。応答受信部５２は、この質問を質問応答システム３４に送信する（図７のステップ４８０）。質問受付部５０はまた、質問３２を質問１３０として関連因果関係表現抽出部８６、因果関係アテンションマトリクス生成部９０の単語抽出部１２０、及びニューラルネットワーク９２に与える。

応答受信部５２は、質問応答システム３４から質問３２に対する回答パッセージを所定個数（例えば２０個）受信する。応答受信部５２は、これらの回答パッセージを分類部５４の回答パッセージ記憶部８０に格納する（図７のステップ４８２）。

図２を参照して、質問関連アーカイブ因果関係表現選択部１１０の名詞抽出部１５０は、質問１３０を質問受付部５０から受け、質問１３０に含まれる名詞を抽出し、第１検索部１５４及び第２検索部１５６に与える。動詞・形容詞抽出部１５２は、質問１３０に含まれる動詞及び形容詞を抽出し、第２検索部１５６に与える（図７のステップ４８４）。第１検索部１５４は、アーカイブ因果関係表現記憶部６０を検索し、名詞抽出部１５０により抽出された名詞を全て結果部に含むアーカイブ因果関係表現を取り出し、取り出されたアーカイブ因果関係表現を質問関連因果関係表現記憶部１１２に格納する（図７のステップ４８６）。第２検索部１５６は、アーカイブ因果関係表現記憶部６０を検索し、名詞抽出部１５０が抽出した名詞の全てを含み、動詞・形容詞抽出部１５２が抽出した動詞及び形容詞の少なくとも一つを結果部に含むアーカイブ因果関係表現を抽出し、質問関連因果関係表現記憶部１１２に格納する（図７のステップ４９０）。

全ての回答パッセージが受信され、かつ質問関連アーカイブ因果関係表現選択部１１０による処理が全て完了すると、以下、回答パッセージ記憶部８０に記憶された各回答パッセージに対し、ステップ４９２で以下の処理（図７に示す処理４９４）が行われる。

まず、因果関係表現抽出部８２は、既存の因果関係表現の抽出アルゴリズムを用いて、処理対象の回答パッセージから回答内因果関係表現を抽出し、回答内因果関係表現記憶部８４に格納する（図７のステップ５００）。ランキング部１１４は、処理対象の回答パッセージについて、重み付け単語出現数wgt-wc(x,y)を計算し（図７のステップ５０２）、この重み付け単語出現数を用いて質問関連因果関係表現記憶部１１２に記憶された質問関連因果関係表現をランキングする。ランキング部１１４はさらに、最上位の質問関連因果関係表現を、質問及び処理中の回答パッセージの組に関連する因果関係表現として選択し出力する（図７のステップ５０４）。関連因果関係表現記憶部８８は、関連因果関係表現抽出部８６により回答パッセージごとに１つ出力された関連因果関係表現を記憶する。

因果関係アテンション処理部４０の因果関係アテンションマトリクス生成部９０において、単語抽出部１２０は、質問受付部５０が受け付けた質問及び処理中の回答パッセージに出現する単語を全て抽出し、第１のマトリクス算出部１２２に与える（図７のステップ５０６）。第１のマトリクス算出部１２２は、質問文の単語を横軸、処理中の回答パッセージの単語を縦軸とした行列を生成するために、２次元の配列を宣言する（図７のステップ５０８）。第１のマトリクス算出部１２２はさらに、これら単語の交差位置のセルに、対応する単語の間の相互情報量を相互情報量マトリクス記憶部６４から読み出し、負の値を０に置換して配置することで、それら単語同士の相互情報量マトリクスＡ１７０（第１マトリクス１７０）を生成する（図７のステップ５１０）。第２のマトリクス算出部１２４は、第１のマトリクス算出部１２２が算出した第１の相互情報量マトリクスから、既に述べた方法で２つの第２の相互情報量マトリクス＾Ａ_q１８０（第２マトリクス１８０）及び＾Ａ_p１８２（第２マトリクス１８２）を算出する（図７のステップ５１２）。

質問３２に対して、回答パッセージ記憶部８０に記憶された回答パッセージごとに上記した関連アーカイブ因果関係表現の抽出、相互情報量マトリクスＡ１７０、＾Ａ_q１８０及び＾Ａ_p１８２の算出が終わると（図７のステップ５００，５０４，及び５１２までの処理が全て完了すると）、図４を参照して、ニューラルネットワーク９２の第１カラムには、質問受付部５０が受け付けた質問が与えられる。第２カラムには処理中の回答パッセージが与えられる。第３カラムには、回答内因果関係表現記憶部８４に記憶された、処理中の回答パッセージから抽出した全ての回答内因果関係表現が所定のデリミタを介して連結して与えられる。第４カラムには、関連因果関係表現記憶部８８に記憶された、処理中の回答パッセージに関連する因果関係表現が与えられる（図７のステップ５１４）。

これらはいずれもニューラルネットワーク９２の入力層２００において単語埋め込みベクトルに変換される。第１カラムの質問、第２カラムの回答パッセージを構成する各単語の単語埋め込みベクトルに対しては、相互情報量マトリクス＾Ａ_q及び＾Ａ_pから得られた重みが乗じられる。ニューラルネットワーク９２の出力層２０４では、まずこれらの特徴ベクトルの４種類の類似度スコアsv₁(n)〜sv₄(n)が算出され、Softmax層２１６に対して出力される。なお、上記したようにこのような類似度スコアではなく、特徴ベクトルそのもの、又は特徴ベクトルと類似度の組み合わせをSoftmax層２１６への入力としてもよい。

さらに、第１カラムＣ１〜第４カラムＣ４に与えられた単語列については、前述したとおり単語マッチングが行われ、共通の単語数の指標である、式(1)示す４つの値が出力層２０４に与えられる。

Softmax層２１６は出力層２０４からの出力に基づいて、入力された回答パッセージが質問に対する正しい回答である確率を出力する。この値は、図１に示す回答候補記憶部６６に各回答候補とともに蓄積される（図７のステップ５１６）。

回答候補ランキング部６８は、回答候補に対して上記処理が全て完了した後、回答候補記憶部６６に記憶された回答候補をスコアにしたがって降順にソートし、最も高いスコアの回答候補、又はスコア上位のＮ個（Ｎ＞１）の回答候補を回答３６として出力する。

〔実験〕
以下、本実施の形態の構成を用いて行った実験結果の例を示す。この実験では、８５０文の質問と、それら各質問に対する上位２０個ずつの回答パッセージ（合計で１７，０００個の質問‐回答パッセージのペア）とを用いた。このデータのうち、１５，０００ペアは学習データとし、１，０００ペアを開発データ、残りの１，０００ペアをテストデータとした。開発データは、ニューラルネットワーク９２のハイパーパラメータの一部（フィルタのウィンドウサイズ、フィルタ数、及びミニバッチ数）を決定するのに用いた。

フィルタパラメータとして、｛２，３，４，５，６｝の中の３，４，５個の連続した数を用いて異なるウィンドウサイズのフィルタを構成し、ウィンドウサイズの各組合せに対するフィルタ数は｛２５，５０，７５，１００｝から選択した。可能なハイパーパラメータの組合せの数は１２０通りである。実験ではこれら全てを用い、開発データに対する平均精度を基準として最もよい設定値を選択した。全ての処理において、出力層では０．５のドロップアウトを適用した。学習データ全体を用いて１０エポックの学習を行った。各エポックは多数のミニバッチに分割して行った。

ニューラルネットワーク９２の学習では、ミニバッチ確率的勾配降下法を用い、フィルタWと因果関係アテンションの重みを（-0.01,0.01）の範囲でランダムに初期化した。

評価はＰ＠１（最上位回答の精度）及びＭＡＰ（平均適合率の平均）を用いて行った。Ｐ＠１はいくつの質問に対して正しいトップ回答が得られたかを示す。ＭＡＰはシステムによりランキングされたトップｎ個の回答の全体的な質を測定するもので、以下の式により算出される。

ただしＱはテストデータ内の質問の集合を示し、Answer_qは質問ｑ∈Ｑに対する正しい回答の集合である。Prec(k)は上位ｎ個の回答パッセージにおけるカットオフｋでの適合率であり、rel(k)はランクｋの項目が集合Answer_q内の正解なら１、誤りなら０となる指標である。

図８に、上記実施の形態による結果と、対照例による結果とを表形式で示す。この図に示す対照例等の記号を以下に示す。

〈OH13〉 非特許文献１に示された教師あり学習システム。単語ｎ―グラム、単語クラス、及び回答内因果関係を素性として用いる、SVMによるシステム。

〈OH16〉 後掲の参考文献１に示された準教師あり学習システム。準教師あり学習の初期システムとして上記OH13によるものを用いて、アーカイブ因果関係表現を用いて学習データを拡張するもの。

〈Base〉 質問、回答パッセージ、及び回答内因果関係表現とそれらに関連する共通語カウントのみを入力とするベースラインのMCNNシステム。上記実施の形態で、因果関係アテンションも関連因果関係表現も用いないもの。

〈Proposed-CA〉 上記実施の形態で、関連因果関係表現のみを用い、因果関係アテンションを用いないもの。

〈Proposed-R_CE〉 上記実施の形態で、因果関係アテンションのみを用い、関連因果関係表現を用いないもの。

〈Proposed〉上記実施の形態に係るシステム。

〈Ubound〉質問に対するｎ個の正しい回答がテストデータ内にあれば常にそれらｎ個をトップｎ個の回答として見つけ出すシステム。今回の実験における回答選択性能の上限を示す。

図８から分かるように、本願実施の形態に係るシステムは、従来技術と比較して安定して高い性能を示した。より詳しくは、関連因果関係表現を用いて因果関係の言い換えをすることにより、Ｐ＠１が４〜６％向上することが分かる（図８の参照符号５２０→５２４，５２２→５２６）。また、因果関係アテンションを用いることにより、Ｐ＠１が６％向上することが分かる（参照符号５２０→５２２、５２４→５２６）。

さらに、図８から、本願発明ではＲ（Ｐ＠１）が８１．８％（５４／６６、参照符号５２６と参照符号５２８）に達している事がわかる。この結果、質問に対して少なくとも１つの正しい回答を本願発明のシステムが取り出すことができれば、なぜ型質問に対して高い再現率でトップ回答を見つけ出せることがわかった。

さらに、本発明によるトップ回答の精度を調べるために、上記OH13及びOH16とProposedによるトップ回答の質について検討した。そのために、システムごとに、テストデータでの各質問に対するトップ回答のみを選び、各システムにより付与されたスコアによって全てのトップ回答をランキングした。さらに、各ランクにおけるトップ回答のランクの適合率を計算した。結果を図９に示す。

図９において、ｘ軸はランキングされたリストの、全てのトップ回答に対するトップ回答の累積率を示し、ｙ軸はｘ軸上の各点における適合率を示す。図９を参照して、トップ回答の３０％について評価した場合、本願発明（グラフ５３０）では１００％の適合率を示した。この値はOH13（グラフ５３４）及びOH16（グラフ５３２）のいずれと比較しても非常に高い。この結果から、本願発明によるシステムでは、トップ回答の質が先行技術と比較して効率的に改善されていることが分かる。

〔コンピュータによる実現〕
本発明の実施の形態に係るノン・ファクトイド型質問応答システム３０は、コンピュータハードウェアと、そのコンピュータハードウェア上で実行されるコンピュータプログラムとにより実現できる。図１０はこのコンピュータシステム６３０の外観を示し、図１１はコンピュータシステム６３０の内部構成を示す。

図１０を参照して、このコンピュータシステム６３０は、メモリポート６５２及びDVD（Digital Versatile Disk）ドライブ６５０を有するコンピュータ６４０と、キーボード６４６と、マウス６４８と、モニタ６４２とを含む。

図１１を参照して、コンピュータ６４０は、メモリポート６５２及びDVDドライブ６５０に加えて、CPU（中央処理装置）６５６と、CPU６５６、メモリポート６５２及びDVDドライブ６５０に接続されたバス６６６と、ブートプログラム等を記憶する読出専用メモリ（ROM）６５８と、バス６６６に接続され、プログラム命令、システムプログラム及び作業データ等を記憶するランダムアクセスメモリ（RAM）６６０と、ハードディスク６５４を含む。コンピュータシステム６３０はさらに、他端末との通信を可能とするネットワーク６６８への接続を提供するネットワークインターフェイス（I/F）６４４を含む。

コンピュータシステム６３０を上記した実施の形態に係るノン・ファクトイド型質問応答システム３０の各機能部として機能させるためのコンピュータプログラムは、DVDドライブ６５０又はメモリポート６５２に装着されるDVD６６２又はリムーバブルメモリ６６４に記憶され、さらにハードディスク６５４に転送される。又は、プログラムはネットワーク６６８を通じてコンピュータ６４０に送信されハードディスク６５４に記憶されてもよい。プログラムは実行の際にRAM６６０にロードされる。DVD６６２から、リムーバブルメモリ６６４から又はネットワーク６６８を介して、直接にRAM６６０にプログラムをロードしてもよい。

このプログラムは、コンピュータ６４０を、上記実施の形態に係るノン・ファクトイド型質問応答システム３０の各機能部として機能させるための複数の命令からなる命令列を含む。コンピュータ６４０にこの動作を行わせるのに必要な基本的機能のいくつかはコンピュータ６４０上で動作するオペレーティングシステム若しくはサードパーティのプログラム又はコンピュータ６４０にインストールされる、ダイナミックリンク可能な各種プログラミングツールキット又はプログラムライブラリにより提供される。したがって、このプログラム自体はこの実施の形態のシステム、装置及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能又はプログラミングツールキット又はプログラムライブラリ内の適切なプログラムを実行時に動的に呼出すことにより、上記したシステム、装置又は方法としての機能を実現する命令のみを含んでいればよい。もちろん、プログラムのみで必要な機能を全て提供してもよい。

［第２の実施の形態］
〔構成〕
上記第１の実施の形態では、アテンションとして因果関係アテンションのみを用いた。これだけでも実験で確認したように従来のものと比較してノン・ファクトイド型質問応答システムにおける回答の質を高められることが分かった。しかし本発明はそのような実施の形態には限定されない。他の関係についてのアテンションを用いることもできる。ただし、なぜ型質問に対する正しい回答としての条件を満たすような回答候補を導く出すことができるようなアテンションを用いる必要がある。

ここで、なぜ型質問に対する正しい回答が持つべき性質として、以下の３つを考える必要がある。

１）質問のトピックに対する適合性
２）質問が求める理由又は原因の提示
３）質問が求める理由又は原因と、質問のトピックとの間の因果関係
これらが全て現れる回答候補であれば、なぜ型質問に対する正しい回答を与えると考えることができる。

上記第１の実施の形態では、これらのうち、２）の理由又は原因の提示と、３）の因果関係とについて考慮されているが、１）のトピックに関する適合性については特に明示的には考慮されていない。この第２の実施の形態では、質問のトピックに対する適合性に関するアテンションを用い、これを因果関係アテンションと同時に用いて質問に対する回答を求める。すなわち、単一の観点から見たアテンションだけではなく、互いに異なる観点によるアテンションを用いて回答を求める。そのために以下の第２の実施の形態では、質問及び回答候補の各単語について、それぞれ異なる観点から見た文脈での単語の意味に着目し、これらをニューラルネットワークへの入力の際のアテンション（重み）とする。

この第２の実施の形態では、トピックに関する適合性についての観点として、一般的なテキストの文脈における単語の意味を用いる。すなわち、因果関係、材料関係などという特定的な単語の意味的関係ではなく、それら意味的関係と特に関係を持たない一般的な文脈における単語と単語との意味的関係を用いる。トピックに関する適合性は、多くの場合、質問で出現する単語と回答候補に出現する単語とが意味的に類似しているか否かに基づいて判定できる。そうした類似する単語は、互いに類似した文脈に出現することが多い。したがって、トピックに関する適合性として、一般的文脈から学習した単語埋め込みベクトル（「一般単語埋め込みベクトル」と呼ぶ。）の類似度を用いることとする。

図１２に、第２の実施の形態に係るノン・ファクトイド型質問応答システム７３０のブロック図を示す。図１２を参照して、このノン・ファクトイド型質問応答システム７３０が図１に示すノン・ファクトイド型質問応答システム３０と異なるのは、ノン・ファクトイド型質問応答システム３０の構成に加えて、ウェブアーカイブ記憶部５６に記憶されたウェブアーカイブに基づき、質問と回答パッセージとの組み合わせ毎に、出現する単語同士の類似度のマトリクスを因果関係アテンションマトリクス生成部９０と因果関係アテンション処理部４０と同様に生成する類似度アテンション処理部７４０を含む点である。

また、図１の分類部５４に代えて、類似度アテンション処理部７４０により生成された類似度アテンションを因果関係アテンションと同時に用いて回答候補のスコアを算出する機能を持つ分類部７５４を持つ点においもてノン・ファクトイド型質問応答システム７３０はノン・ファクトイド型質問応答システム３０と異なっている。

なお、分類部７５４が分類部５４と異なるのは、分類部５４のニューラルネットワーク９２に代えて、類似度アテンションと因果関係アテンションとを同時に用いて各回答パッセージのスコアを算出する機能を持つニューラルネットワーク７９２を含む点のみである。

類似度アテンション処理部７４０は、ウェブアーカイブ記憶部５６に記憶されたテキストに出現する単語の各々について意味ベクトルを算出する意味ベクトル算出部７５８を含む。本実施の形態では、意味ベクトルとしては一般単語埋め込みベクトルを用いる。

類似度アテンション処理部７４０はさらに、これら単語のうちの２つの単語の組み合わせの全てについてその意味ベクトルの類似度を算出することにより、それら２つの単語の類似度を算出する類似度算出部７６２と、類似度算出部７６２により２つの単語の組み合わせごとに算出された類似度を、横軸及び縦軸に各単語を配したマトリクスとして記憶する類似度マトリクス記憶部７６４とを含む。類似度マトリクス記憶部７６４が記憶するマトリクスは、ノン・ファクトイド型質問応答システム７３０に出現する単語を全て横軸及び縦軸に配置し、横軸の単語と縦軸の単語との交点の位置にそれら単語の間の類似度を記憶したものである。

類似度アテンション処理部７４０はさらに、質問受付部５０からの質問１３０と、回答パッセージ記憶部８０から読み出された回答パッセージとからそれぞれに出現する単語と、類似度マトリクス記憶部７６４に記憶された類似度マトリクスとを用いて、ニューラルネットワーク７９２がスコア計算に使用する類似度アテンションを記憶したマトリクス（類似度アテンションマトリクス）を生成するための類似度アテンションマトリクス生成部７９０を含む。ニューラルネットワーク７９２は、質問１３０に対する各回答パッセージのスコアを算出する際に、質問１３０とその回答パッセージとの間で類似度アテンションマトリクス生成部７９０により算出された類似度アテンションマトリクスを用いる。ニューラルネットワーク７９２の構成については図１４を参照して後述する。

図１３に、類似度アテンションマトリクス生成部７９０の構成をブロック図形式で示す。図１３を図１と比較すると分かるように、類似度アテンションマトリクス生成部７９０と図１に示す因果関係アテンションマトリクス生成部９０とはパラレルな構造を持つ。

図１３を参照して、類似度アテンションマトリクス生成部７９０は、質問受付部５０からの質問１３０、及び回答パッセージ記憶部８０に記憶された回答パッセージの各々の組合せごとに、それらに含まれる内容語を全て抽出するための単語抽出部８２０と、単語抽出部８２０により抽出された質問の単語を横軸に、回答パッセージの単語を縦軸に配置し、横軸及び縦軸の交差位置に、その位置に対応する２単語の類似度を類似度マトリクス記憶部７６４から読出して配置した類似度量マトリクスを算出する第３のマトリクス算出部８２２と、第３のマトリクス算出部８２２が算出した類似度マトリクスから、以下に述べる方法で２つの第４の類似度マトリクスを算出する第４のマトリクス算出部８２４とを含む。全ての類似度マトリクス内の類似度の値は[0,1]の範囲で正規化されている。

第４のマトリクス算出部８２４による２つの第４の類似度マトリクスの生成方法は、図３に示す第２のマトリクス１８０及び１８２の生成方法と同じである。したがって、ここではその詳細は繰り返さない。

図１４に、ニューラルネットワーク７９２の概略構成を示す。図１４に示すニューラルネットワーク７９２の構成は、図４に示すニューラルネットワーク９２の構成とほぼ同様である。ニューラルネットワーク７９２がニューラルネットワーク９２と異なるのは、図４の入力層２００に代えて、入力層９００を持つことである。入力層９００の第３カラム及び第４カラムは入力層２００のものと同じである。入力層９００の第１カラムＣ１及び第２カラムＣ２は、それぞれ質問及び回答パッセージを構成する単語列の入力を受け、それらを単語ベクトルに変換する機能と、前述した因果関係アテンションと類似度アテンションとを要素ごとに加えた値により各単語ベクトルに重み付けを行う機能９１０とを持つ点で入力層２００と異なる。本実施の形態では、因果関係アテンションと類似度アテンションとの対応する要素の双方に重みを加えた上で両者を加算することにしている。この重みはニューラルネットワーク７９２の学習パラメータの一部をなす。これ以外の点ではニューラルネットワーク７９２は図４に示すニューラルネットワーク９２と同様の構成である。したがってそれら共通する部分についての説明はここでは繰り返さない。

〔動作〕
この第２の実施の形態に係るノン・ファクトイド型質問応答システム７３０は以下のように動作する。

学習時のノン・ファクトイド型質問応答システム７３０の動作は、ノン・ファクトイド型質問応答システム３０と同様である。ただし、学習に先立って、意味ベクトル算出部７５８及び類似度算出部７６２が、ウェブアーカイブ記憶部５６に記憶されたテキストから類似度マトリクスを算出し、類似度マトリクス記憶部７６４に記憶する点が異なる。さらに、ノン・ファクトイド型質問応答システム７３０においては、ウェブアーカイブ記憶部５６に記憶されたテキストから算出される類似度マトリクスと相互情報量マトリクスとに基づいて、学習データの質問と回答パッセージとの組み合わせごとに、類似度アテンションと因果関係アテンションとを計算し、これらを同時に用いてニューラルネットワーク７９２の学習を行う点でも、ノン・ファクトイド型質問応答システム７３０の学習はノン・ファクトイド型質問応答システム３０の学習と異なっている。

学習は、学習データを繰返し用いてニューラルネットワーク７９２のパラメータを繰返し更新し、パラメータの変化量が所定のしきい値より小さくなった時点で終了する。ただし、学習の終了タイミングはそれだけに限定されるわけではない。たとえば同じ学習データを用いて所定回数の学習を行った時点を終了としてもよい。

稼働時のノン・ファクトイド型質問応答システム７３０の動作も、類似度アテンションを使用することを除き、第１の実施の形態のノン・ファクトイド型質問応答システム３０と同様である。より具体的には、図１２に示す質問受付部５０、応答受信部５２、回答パッセージ記憶部８０、因果関係表現抽出部８２、回答内因果関係表現記憶部８４、関連因果関係表現抽出部８６、関連因果関係表現記憶部８８、及び因果関係アテンション処理部４０は第１の実施の形態と同様に動作する。

意味ベクトル算出部７５８及び類似度算出部７６２は予め類似度マトリクスを生成し類似度マトリクス記憶部７６４に記憶しておく。

質問３２がノン・ファクトイド型質問応答システム７３０に与えられると、第１の実施の形態と同様、その質問に対する回答パッセージが質問応答システム３４から集められ、それらから抽出された回答内因果関係表現が回答内因果関係表現記憶部８４に記憶される。同様に、ウェブアーカイブ記憶部５６からアーカイブ因果関係表現が抽出され、回答パッセージと質問１３０とに基づいて関連因果関係表現がアーカイブ因果関係表現から抽出され、関連因果関係表現記憶部８８に記憶される。

質問１３０から得られた単語と、回答パッセージから因果関係アテンションマトリクスが因果関係アテンションマトリクス生成部９０により生成される。同様に、類似度アテンションマトリクスが類似度アテンションマトリクス生成部７９０により生成される。これらのアテンションはニューラルネットワーク７９２に与えられる。ニューラルネットワーク７９２は、質問と回答パッセージを構成する単語の各々を入力として受け、因果関係アテンションと類似度アテンションとを加算した重み付をしてニューラルネットワークの隠れ層に入力する。この結果、そのペアに対するスコアがニューラルネットワーク７９２から出力される。

回答パッセージの各々と、質問とのペアの全てについてこうしてスコアを算出し、スコアの上位のものを回答候補記憶部６６に記憶する。以下、回答候補ランキング部６８により回答候補をランキングし、ランキングの上位の回答候補を回答３６として出力する。

図１５に、この第２の実施の形態に係るノン・ファクトイド型質問応答システム７３０をコンピュータにより実現するためのコンピュータプログラムの制御構造をフローチャート形式で示す。図１５に示すプログラムが図７に示す第１の実施の形態のものと異なるのは、図７の処理４９４に代えて、一般の文脈によるアテンションを計算するためのステップを含む処理９５０を含む点である。

処理９５０は、処理４９４と比べると、処理４９４のステップ５０８に代えて、２つの２次元の配列を準備するステップ９５２と、ステップ９５２からステップ５１０と別に分岐し、第３マトリクスを算出するステップ９５４と、ステップ９５４で算出された第３マトリクスに基づき、図３に示す手法と同じ手法で２つの第４マトリクスを算出するステップ９５６とを含む点と、図７のステップ５１４に代えて、ステップ５００の出力、ステップ５０４の出力、ステップ５１２の出力、及びステップ９５６の出力をニューラルネットワーク７９２に与えるステップ９５８を含む点とが異なる。

この第２の実施の形態では、ニューラルネットワーク７９２の第１カラムには、質問受付部５０が受け付けた質問が与えられる。第２カラムには処理中の回答パッセージが与えられる。第３カラムには、回答内因果関係表現記憶部８４に記憶された、処理中の回答パッセージから抽出した全ての回答内因果関係表現が所定のデリミタを介して連結して与えられる。第４カラムには、関連因果関係表現記憶部８８に記憶された、処理中の回答パッセージに関連する因果関係表現が与えられる。

これらはいずれもニューラルネットワーク７９２の入力層９００において単語埋め込みベクトルに変換される。第１カラムの質問、第２カラムの回答パッセージを構成する各単語の単語埋め込みベクトルに対しては、相互情報量マトリクス＾Ａ_q及び＾Ａ_pから得られた重みに、第３マトリクス及び第４マトリクスから得られた重みを要素ごとに加算したものが乗じられる。

〔実験結果〕
第１の実施の形態について図８に示したものと異なる条件ではあるが、ベースライン、第１の実施の形態のシステム、及び第２の実施の形態のシステムによって得られた回答の精度を図１６に表形式で示す。

図１６において、OH13は図８に示したものと同様の手法で、本実験のベースラインとなるものである。図８と同様、図１６からも分かるように、ベースラインの手法と比較して、第１の実施の形態はかなりの性能向上をもたらしている。しかし、第２の実施の形態によれば、第１の実施の形態と比較してさらに一段と高い精度が得られた。

なお、図１６に結果を示す実験は、１７，０００件の質問・回答対（８５０質問に対する２０件の回答候補）について、10-fold Cross Validation（学習：１５，０００件、開発：１，０００件、評価：１，０００件）を行った結果である。図１６において、「Ｐ＠１」は最上位結果の精度を示し、「ＭＡＰ」は上位２０件全体の品質を表す。また、図８の実験とは、10-fold Cross Validationを行っている点が異なっている。

以上のように、本発明の第１の実施の形態及び第２の実施の形態によれば、従来の手法に対して非常に高い精度でノン・ファクトイド型の質問に対する回答を得ることができる。たとえば工場の製造ラインで生じた問題、最終的に得られた製品に生じた問題、ソフトウェアの試験で生じた問題、何らかの実験過程で生じた問題等を学習データとしてこれら質問応答システムを構築することにより、様々な実際的な質問に対する有用な回答を得ることができる。その結果、工場における生産効率の向上、工業製品及びソフトウェアの効率的な設計、実験計画の効率化等がもたらされ、産業の発展に大きな貢献をすることができる。さらに、用途としては製造業に限らず、教育分野、顧客対応、官庁における自動応答、ソフトウェアの操作説明等のサービスへの適用も可能である。

第２の実施の形態では、因果関係アテンションと類似度アテンションとの２種類のアテンションを同時に用いている。しかし本発明はそのような実施の形態には限定されない。アプリケーションに応じてさらに他の種類のアテンションを用いてもよい。たとえば、特開2015-121896号公報に開示されている以下のような関係を用いたアテンションを採用できる。また、因果関係アテンション又は類似度アテンションのいずれか又は双方に代えて、上記関係のいずれかまたは２種類以上のアテンションを用いることもできる。

−材料関係（例：＜ＡでＢを生産する＞、（トウモロコシ、バイオ燃料）等）
−必要関係（例：＜ＡはＢに必須だ＞、（日光、光合成）等）
−使用関係（例：＜ＡをＢに使う＞、（ｉＰＳ細胞、再生医療）、等）
−予防関係（例：＜ＡでＢを防ぐ＞、（ワクチン、インフルエンザ）、等）
このような意味的関係を用いることで、例えば、「なぜインフルエンザにワクチンが使えるのか？」、「なぜｉＰＳ細胞が注目されるのか？」、「なぜ植物に日光が必要なのか？」等の質問（それぞれ、予防関係、使用関係、必要関係に対応）により高い精度で回答が可能となる。

このような関係によるアテンションについては、因果関係アテンションと同様にして取得できる。これら関係を表す表現を取得する方法としては、前記した特開2015-121896号公報に記載されたものを使用できる。すなわち、意味的関係パターンを抽出する際の元となる、特定のパターン（これをシードパターンと呼ぶ。)のグループと単語の意味クラス情報とをデータベースに記憶しておく。ウェブアーカイブ記憶部５６から、これらデータベースに記憶されたシードパターンに類似したパターンを抽出することで意味的関係パターンのデータベースを構築する。それら意味的パターンに合致する表現をウェブアーカイブから収集し、収集された表現の集合内における単語の相互情報量を計算してその関係に関するアテンションマトリクスを生成する。さらに、質問及び各回答パッセージからも同様に単語を抽出し、先に作成しておいたアテンションマトリクスから図３に示すのと同じ方法で２つのマトリクスを生成し、これらをニューラルネットワークへの入力の各単語への重みとする。

なお、アテンションとして３種類以上を用いる場合、図１２に示す分類部７５４と同様のものを関係ごとに準備し、ニューラルネットワーク７９２のカラム数をそれにあわせて増加させてもよい。又は、特定の意味的関係のための分類部７５４のみを準備し、他の意味的関係についてはアテンションのみを計算するようにしてもよい。この場合、ニューラルネットワーク７９２内部では、これらアテンションを要素ごとに加算した値を各単語への重みとすればよい。

［参考文献一覧］
〔参考文献１〕 J.-H. Oh, K. Torisawa, C. Hashimoto, R. Iida, M. Tanaka, and J. Kloetzer. A semi-supervised learning approach to why-question answering. In Proceedings of AAAI ’16, pages 3022-3029, 2016.

今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。

３０、７３０ ノン・ファクトイド型質問応答システム
３２、１３０ 質問
３４ 質問応答システム
３６ 回答
４０ 因果関係アテンション処理部
５０ 質問受付部
５２ 応答受信部
５４、７５４ 分類部
５６ ウェブアーカイブ記憶部
５８、８２ 因果関係表現抽出部
６０ アーカイブ因果関係表現記憶部
６２ 相互情報量算出部
６４ 相互情報量マトリクス記憶部
６６ 回答候補記憶部
６８ 回答候補ランキング部
８０ 回答パッセージ記憶部
８４ 回答内因果関係表現記憶部
８６ 関連因果関係表現抽出部
８８ 関連因果関係表現記憶部
９０ 因果関係アテンションマトリクス生成部
９２、７９２ ニューラルネットワーク
１１０ 質問関連アーカイブ因果関係表現選択部
１１２ 質問関連因果関係表現記憶部
１１４ ランキング部
１２０、８２０ 単語抽出部
１２２ 第１のマトリクス算出部
１２４ 第２のマトリクス算出部
１５０ 名詞抽出部
１５２ 動詞・形容詞抽出部
１５４ 第１検索部
１５６ 第２検索部
１７０ 相互情報量マトリクスＡ
１８０、１８２ マトリクス
２００、９００ 入力層
２０２、９０２ 畳み込み／プーリング層
２０４、９０４ 出力層
２０８ 単語マッチング
２１６、９１６ Softmax層
７４０ 類似度アテンション処理部
７５８ 意味ベクトル算出部
７６２ 類似度算出部
７６４ 類似度マトリクス記憶部
７９０ 類似度アテンションマトリクス生成部
８２２ 第３のマトリクス算出部
８２４ 第４のマトリクス算出部

Claims (12)

1. 文章内に出現する第１の意味的関係を表す表現に着目して、ノン・ファクトイド型の質問に対する応答を生成するノン・ファクトイド型質問応答システムであって、
   前記第１の意味的関係を表す複数個の表現を記憶する第１の表現記憶手段と、
   質問と、当該質問に対する回答候補を含む複数個の回答パッセージとを受信する質問・回答受信手段と、
   前記複数個の回答パッセージの各々から、前記第１の意味的関係を表す意味的関係表現を抽出する第１の表現抽出手段と、
   前記質問と、前記複数個の回答パッセージとの組み合わせの各々に対し、前記第１の表現記憶手段が記憶している前記複数個の表現から、当該組み合わせに最も関連する表現である関連表現を選択する関連表現選択手段と、
   前記質問と、前記複数個の回答パッセージと、当該回答パッセージに対する前記意味的関係表現と、当該質問と当該回答パッセージとの組み合わせに対する前記関連表現の１つとからなる組み合わせの各々を入力として受け、前記質問に対する回答を前記複数個の回答パッセージ中から選択するように予め機械学習により学習した回答選択手段とを含む、ノン・ファクトイド型質問応答システム。
2. さらに、前記質問と、前記複数個の回答パッセージとの組み合わせの各々に対し、前記第１の表現記憶手段が記憶した前記複数個の表現内における、前記質問に出現する各単語と当該回答パッセージに出現する各単語との第１の意味的相関関係量を算出する第１の意味的相関関係量算出手段を含み、
   前記回答選択手段は、前記質問と、前記複数個の回答パッセージと、当該回答パッセージに対する前記意味的関係表現と、前記質問と当該回答パッセージとの組み合わせに対する前記関連表現との組み合わせを入力として受け、入力中の各単語に対する重みとして前記第１の意味的相関関係量を用いて、当該回答パッセージが前記質問に対する回答である尺度を表す評価値を算出し出力するように予め機械学習により学習した評価手段と、
   前記複数個の回答パッセージの各々に対して前記評価手段が出力する前記評価値を用いて前記複数個の回答パッセージのいずれかを前記質問に対する回答として選択する選択手段とを含む、請求項１に記載のノン・ファクトイド型質問応答システム。
3. 文書アーカイブから、前記第１の意味的関係を表す表現を抽出して前記第１の表現記憶手段に格納する第１の意味的関係表現抽出手段をさらに含む、請求項１又は請求項２に記載のノン・ファクトイド型質問応答システム。
4. 前記第１の意味的相関関係量算出手段は、
   前記第１の表現記憶手段が記憶した、前記第１の意味的関係を表す複数個の表現に含まれる単語対の前記第１の意味的相関関係量を、各単語対に対して算出し記憶する第１の意味的相関関係量記憶手段と、
   前記質問と、前記複数個の回答パッセージとの組み合わせの各々について、当該質問内の単語と、当該回答パッセージ内の単語との対ごとに、前記第１の意味的相関関係量を前記第１の意味的相関関係量記憶手段から読出し、一方の軸に前記質問内の単語が配列され、他方の軸に当該回答パッセージ内の単語が配列されたマトリクスであって、前記一方の軸と前記他方の軸との交差する位置のセルに、当該位置に対応する単語同士の前記第１の意味的相関関係量がそれぞれ配置された第１のマトリクスを生成する第１のマトリクス生成手段と、
   前記第１のマトリクスの前記一方の軸に配置された各単語に対して、前記他方の軸方向に配置された前記第１の意味的相関関係量の最大値を記憶する第１の単語−文マトリクス、及び前記第１のマトリクスの前記他方の軸に配置された各単語に対して、前記一方の軸方向に配置された前記第１の意味的相関関係量の最大値を記憶する第２の単語−文マトリクスからなる２つの第２のマトリクスを生成する第２のマトリクス生成手段とを含み、
   さらに、前記回答選択手段に与えられる、前記質問内に出現する単語の各々に対しては、前記第１の単語−文マトリクスの前記第１の意味的相関関係量を、前記回答パッセージ内に出現する単語の各々に対しては前記第２の単語−文マトリクスの前記第１の意味的相関関係量をそれぞれ用いて重み付けをするための手段を含む、請求項２に記載のノン・ファクトイド型質問応答システム。
5. 前記２つの第２のマトリクスに記憶される前記第１の意味的相関関係量の各々は所定の区間で正規化されている、請求項４に記載のノン・ファクトイド型質問応答システム。
6. 前記第１の意味的関係は因果関係である、請求項１〜請求項５の何れかに記載のノン・ファクトイド型質問応答システム。
7. 前記因果関係を表す表現の各々は、原因部と結果部とを含み、
   前記関連表現選択手段は、
   前記質問から名詞、動詞及び形容詞を抽出する第１の単語抽出手段と、
   前記第１の表現記憶手段が記憶している表現から、前記第１の単語抽出手段が抽出した名詞を前記結果部に全て含むものを所定個数だけ選択する第１の表現選択手段と、
   前記第１の表現記憶手段が記憶している表現から、前記第１の単語抽出手段が抽出した名詞を全て含み、かつ、前記第１の単語抽出手段が抽出した動詞又は形容詞を少なくとも１つだけ前記結果部に含むものを所定個数だけ選択する第２の表現選択手段と、
   前記複数個の回答パッセージの各々について、前記第１の表現選択手段及び前記第２の表現選択手段が選択した表現のうちで、当該回答パッセージと共通する単語を前記結果部に持ち、かつ当該共通する単語に対する重み付けにより算出されるスコアによって当該回答パッセージと最も関連が高いと判定されるものを選択する関連因果関係表現選択手段とを含む、請求項６に記載のノン・ファクトイド型質問応答システム。
8. 前記ノン・ファクトイド型質問応答システムは、文章内に出現する前記第１の意味的関係を表す表現と、第２の意味的関係を表す表現とに着目することで、ノン・ファクトイド型の質問に対する応答を生成するノン・ファクトイド型質問応答システムであって、さらに、
   前記第２の意味的関係を表す複数個の表現を記憶する第２の表現記憶手段と、
   前記質問と、前記複数個の回答パッセージの各々との組み合わせに対し、前記第２の表現記憶手段が記憶した前記複数個の表現内における、前記質問に出現する各単語と当該回答パッセージに出現する各単語との相関関係を表す第２の意味的相関関係量を算出する第２の意味的相関関係量算出手段を含み、
   前記評価手段は、前記質問と、前記複数個の回答パッセージと、当該回答パッセージに対する前記第１の表現抽出手段が抽出した前記意味関係表現と、前記質問と当該回答パッセージとに対する前記関連表現との組み合わせを入力として受け、入力中の各単語に対する重みとして前記第１の意味的相関関係量と前記第２の意味的相関関係量を用いることにより、前記評価値を出力するように予め機械学習により学習したニューラルネットワークを含む、請求項２に記載のノン・ファクトイド型質問応答システム。
9. 前記第２の意味的関係は、特定の意味的関係に限定されない、通常の意味的関係であって、
   前記第２の表現記憶手段は、無作為に収集された表現を記憶する、請求項８に記載のノン・ファクトイド型質問応答システム。
10. コンピュータを、請求項１〜請求項９のいずれかに記載の各手段として機能させる、コンピュータプログラム。
11. 文章内に出現する所定の第１の意味的関係を表す表現に着目することで、ノン・ファクトイド型の質問に対する応答を生成する、コンピュータにより実現される、ノン・ファクトイド型質問に対する応答方法であって、
    前記コンピュータが、前記第１の意味的関係を表す複数個の表現を記憶した第１の記憶装置と通信可能に接続するステップと、
    前記コンピュータが、質問と、当該質問に対する回答候補を含む複数個の回答パッセージとを入力装置を介して受信するステップと、
    前記コンピュータが、前記複数個の回答パッセージの各々から、前記第１の意味的関係を表す表現を抽出するステップと、
    前記コンピュータが、前記質問と、前記複数個の回答パッセージとの組み合わせの各々に対し、前記第１の表現記憶手段が記憶した前記複数個の表現から、当該組み合わせに最も関連する表現を選択するステップと、
    前記コンピュータが、前記質問と、前記複数個の回答パッセージと、前記抽出するステップにおいて抽出された複数個の表現と、前記選択するステップにおいて選択された表現の１つとからなる組み合わせの各々を、前記質問に対する回答を前記複数個の回答パッセージ中から選択するように予め機械学習により学習した回答選択手段に入力してその出力を得ることにより、前記質問に対する応答を生成するステップとを含む、ノン・ファクトイド型質問に対する応答方法。
12. さらに、前記コンピュータが、前記質問と、前記複数個の回答パッセージとの組み合わせの各々に対し、前記第１の表現記憶手段が記憶した前記複数個の表現内における、前記質問に出現する各単語と当該回答パッセージに出現する各単語との相関関係を表す第１の意味的相関関係量を算出するステップを含み、
    前記選択するステップは、前記コンピュータが、前記質問と、前記複数個の回答パッセージと、当該回答パッセージから前記抽出するステップにおいて抽出された前記表現と、前記質問と当該回答パッセージとに対して前記選択ステップにおいて選択された前記表現との組み合わせの各々を、当該回答パッセージが前記質問に対する回答である尺度を表す評価値を算出し出力するように予め機械学習により学習した評価手段に入力として与えるステップを含み、
    前記評価手段は、前記評価値の算出において、前記入力中の各単語に対する重みとして、前記第１の意味的相関関係量を用い、
    前記方法はさらに、前記コンピュータが、前記複数個の回答パッセージの各々に対して前記評価手段が出力する前記評価値を用いて前記複数個の回答パッセージのいずれかを前記質問に対する回答として選択するステップを含む、請求項１１に記載のノン・ファクトイド型質問に対する応答方法。

Images