JP7232831B2 - 複雑な回答の補強証拠取り出し - Google Patents

Description

本明細書に記載の実施形態は、情報取り出しのためのシステムおよび方法に関する。より詳細には、本明細書に記載の実施形態は、取り出された証拠のクエリ結果の処理に関する。

質問に対する回答にスコアを付ける方法の１つは、それらの回答を含むパッセージ内の証拠を検索することと、そのような証拠にスコアを付けることとを含む。この方法は、回答が、一般に変形の数が少ない１つの単語（例えば名前）または句を有する単一の具体的な実体である場合にはよく機能する。例えば、「ニューヨーク州の州都はどこか」という質問が与えられ、その回答が「オールバニー」である場合、「オールバニー」という用語を含み、質問に対するこの回答を補強するパッセージの補強証拠取り出しを行うことができ、次に、それらのパッセージが質問にどの程度答えているかの累積スコアを計算することができる。しかし、多くの異なる方式で表現することができる、より長くてより複雑な回答に関連付けられた質問には、上記の方法が適用できない場合がある。例えば、「金はなぜ高価か」という質問が与えられ、回答候補が「希少で美しく、宝飾品を製作するのにきわめて有用であるため」である場合、データのコーパスが上記のような完全な回答をその通りに含む多くの文書（ある場合）を含むことを期待するのは非現実的である。

米国特許第７，１３９，７５２号

Yuan et al., "Watson and Healthcare," IBM developer Works, 2011 "The era of Cognitive Systems:An inside Look at IBM Watson and How it works" by Rob High, IBM Readbooks 2012 Lidan Wang, Ming Tan, and Chin-Yew Lin. "News Citation Recommendation with Implicit and Explicit Semantics" Association of Computational Linguistics (ACL) 2016 Dheeraj Mekala, Vivek Gupta, Harish Karnick, "Words are not Equal: Graded Weighting Model for building Composite Document Vectors", European Chapter of ACL 2017 Papineni et al. BLEU: a method forautomatic evaluation of machine translation, ACL 2012 Chin-Yew Lin, Rouge: A package for automatic evaluation of summaries. In Workshop of Text summarization branches out, 2004 David M. Blei, Michael I. Jordan,Thomas L. Griffiths, and Jushua B. Tenenbaum, (2003), "Hierarchical topic models and the nested Chinese restaurant process," in Proceedings of the 16th International Conference on Neural Information Processing Systems(NIPS'03) S. Thrun, L. K. Saul, and B.Shlolcopf (Eds.) MIT Press, Cambridge, MA. USA, 17-24 2004

本発明は、複雑な回答の補強証拠を取り出すことを目的とする。

上記およびその他の問題を解決するために、本明細書に記載の実施形態は、質問に対する回答を生成するためのシステムおよび方法を提供する。本明細書で提供されるシステムおよび方法では、補強証拠検索によって、スコアが付けられている回答を部分的にのみ含む可能性があるパッセージを見つけることができるように、回答内の用語がオプションとして設定される。また、パッセージが質問に答えている程度だけでなく、パッセージが回答候補に言及している程度も判断するために、パッセージ・スコアを使用する。したがって、本明細書に記載のシステムおよび方法は、従来の設計および技術と比較してより効率的かつ正確に質問に対する複雑な回答のための補強証拠を生成することができる、改良された質問回答（ＱＡ）システムを提供する。

例えば、一実施形態は、質問に対する回答を生成するためのシステムを提供する。このシステムは、複数の質問用語を有する質問を受け取り、質問に対する複数の回答候補を特定するように構成された電子プロセッサを含み、複数の回答候補のそれぞれが複数の回答用語を含む。電子プロセッサは、複数の回答候補のそれぞれについて、複数の質問用語の１つまたは複数の質問用語のうちの少なくとも１つの質問用語と、回答候補に含まれる複数の回答用語のうちの１つまたは複数の回答用語とを含む補強証拠パッセージを判断するために、複数のデータ供給源を検索するようにさらに構成される。電子プロセッサは、スコアリング機構を使用して、複数の回答候補のそれぞれのための補強証拠パッセージのそれぞれにスコアを付けるようにも構成される。スコアリング機構は、複数の質問用語との補強証拠パッセージの第１の関連度を計算することと、複数の回答候補のうちの１つの回答候補の複数の回答用語との補強証拠パッセージの第２の関連度を計算することとを含む。スコアリング機構は、第１の関連度と第２の関連度とを結合することによって、補強証拠パッセージのスコアを求めることも含む。電子プロセッサは、複数の回答候補のそれぞれのための補強証拠パッセージのそれぞれにスコアを付けることに関連付けられたスコアに基づいて、質問に対する複数の回答候補をランク付けし、複数の回答候補のランク付けに基づいて質問に対する回答を提供するようにも構成される。

別の実施形態は、質問に対する回答を生成する方法を提供する。この方法は、複数の質問用語を有する質問を受け取ることと、質問に対する複数の回答候補を特定することとを含み、複数の回答候補のそれぞれが複数の回答用語を含む。この方法は、複数の回答候補のそれぞれについて、複数の質問用語の１つまたは複数の質問用語のうちの少なくとも１つの質問用語と、回答候補に含まれる複数の回答用語のうちの１つまたは複数の回答用語とを含む補強証拠パッセージを判断するために、複数のデータ供給源を検索することも含む。この方法は、スコアリング機構を使用して、複数の回答候補のそれぞれのための補強証拠パッセージのそれぞれにスコアを付けることも含み、スコアリング機構は、複数の質問用語との補強証拠パッセージの第１の関連度を計算し、複数の回答候補のうちの１つの回答候補の複数の回答用語との補強証拠パッセージの第２の関連度を計算し、第１の関連度と第２の関連度とを結合することによって、補強証拠パッセージのスコアを求める。この方法は、複数の回答候補のそれぞれのための補強証拠パッセージのそれぞれにスコアを付けることに関連付けられたスコアに基づいて質問に対する複数の回答候補をランク付けすることと、複数の回答候補のランク付けに基づいて質問に対する回答を提供することとをも含む。

別の実施形態は、電子プロセッサによって実行されると１組の機能を実行する命令を記憶する非一過性のコンピュータ可読媒体を提供する。この１組の機能は、複数の質問用語を有する質問を受け取ることと、複数の回答候補のそれぞれが複数の回答用語を含む、質問に対する複数の回答候補を特定することと、複数の回答候補のそれぞれについて、複数の質問用語の１つまたは複数の質問用語のうちの少なくとも１つの質問用語と、回答候補に含まれる複数の回答用語のうちの１つまたは複数の回答用語とを含む補強証拠パッセージを判断するために、複数のデータ供給源を検索することと、スコアリング機構を使用して、複数の回答候補のそれぞれのための補強証拠パッセージのそれぞれにスコアを付けることであって、スコアリング機構が、複数の質問用語との補強証拠パッセージの第１の関連度を計算し、複数の回答候補のうちの１つの回答候補の複数の回答用語との補強証拠パッセージの第２の関連度を計算し、第１の関連度と第２の関連度とを結合することによって補強証拠パッセージのスコアを求める、スコアを付けることと、複数の回答候補のそれぞれのための補強証拠パッセージのそれぞれにスコアを付けることに関連付けられたスコアに基づいて質問に対する複数の回答候補をランク付けすることと、複数の回答候補のランク付けに基づいて質問に対する回答を提供することとを含む。

本発明の他の態様は、詳細な説明および添付図面を熟読すれば明らかになるであろう。

ある実施形態による質問回答（ＱＡ）システムの概略図である。 ある実施形態による、図１のＱＡシステムに含まれるコンピューティング・デバイスを示すブロック図である。 ある実施形態による、図１のＱＡシステムのアーキテクチャを示すシステム図である。 ある実施形態による、図３のシステム図において示されるＱＡシステムの動作図である。 図１のＱＡシステムに含まれる文脈依存回答候補処理モジュールを示す図である。 ある実施形態による、図１のＱＡシステムによって実行される質問と回答候補とを処理する方法を示すフロー・チャートである。 ある実施形態による、ＱＡシステムによって実行される質問に対する回答を生成するための図６の方法の詳細を示すフロー・チャートである。

１つまたは複数の実施形態について、以下の説明および添付図面で説明し、図示する。これらの実施形態は、本明細書に示す特定の詳細には限定されず、様々な方法で修正することができる。また、本明細書に記載されていない他の実施形態も存在し得る。また、本明細書で１つのコンポーネントによって実行されるものとして記載されている機能は、分散方式で複数のコンポーネントによって実行することもできる。同様に、複数のコンポーネントによって実行される機能が統合され、単一のコンポーネントによって実行されてもよい。同様に、特定の機能を実行するものとして記載されているコンポーネントが、本明細書に記載されていない追加の機能も実行してもよい。例えば、特定の方式で「構成され」ているデバイスまたは構造は、少なくともその方式で構成されるが、記載されていない方式でも構成され得る。また、本明細書に記載の一部の実施形態は、非一過性のコンピュータ可読媒体に記憶されている命令を実行することによって、記載されている機能を実行するように構成された１つまたは複数の電子プロセッサを含み得る。同様に、本明細書に記載の実施形態は、記載されている機能を実行するように１つまたは複数の電子プロセッサによって実行可能な命令を記憶する非一過性のコンピュータ可読媒体として実装することもできる。本願で使用されている「非一過性のコンピュータ可読媒体」は、あらゆるコンピュータ可読媒体を含むが、一過性の伝播する信号からなるものではない。したがって、非一過性のコンピュータ可読媒体は、例えば、ハード・ディスク、ＣＤ－ＲＯＭ、光学式ストレージ・デバイス、磁気ストレージ・デバイス、ＲＯＭ（読み取り専用メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、レジスタ・メモリ、プロセッサ・キャッシュ、またはこれらの任意の組み合わせを含み得る。

また、本明細書で使用する語句および用語は、説明のためのものであり、限定的であるものと見なされるべきではない。例えば、「含む（including）」、「含有する（containing）」、「備える（comprising）」、「有する（having）」、および本明細書に記載のこれらの様々な変形は、その前に記載されているものおよびその均等物と、追加のものとを包含することを意図している。「接続されている」および「結合されている」という用語は、広義に使用されており、直接および関節的接合および結合の両方を包含する。また、「接続されている」および「結合されている」という用語は、物理的または機械的接続または結合には限定されず、直接と間接とを問わず、電気的接続または結合も包含し得る。また、電子通信および電子的通知は、有線接続、無線接続、またはこれらの組み合わせを使用して行うことができ、直接、または１つまたは複数の介在デバイスを介して様々な種類のネットワーク、通信チャネル、および接続により送信することができる。また、第１および第２、上部および下部などの関係語は、本明細書では単に、１つの実体または動作を他の実体または動作と区別するために使用されているに過ぎないことがあり、必ずしもそのような実体または動作間の実際のそのような関係または順序付けを必要も含意もしない。

また、以下の説明では、例示の実施形態の例示の実装形態を詳細に例示するためと、例示の実施形態の機構についての理解を助けるために、例示の実施形態の様々な要素の複数の様々な例を使用することを理解されたい。これらの例は、非限定的であることを意図しており、例示の実施形態の機構を実装するための様々な可能性を網羅することを意図していない。当業者には、本明細書に照らして、本発明の思想および範囲から逸脱することなく、本明細書に記載の例に加えてまたはそれらに代えて利用することができる、これらの様々な要素の多くの他の代替実装形態があることがわかるであろう。

全体像としては、質問回答システム（ＱＡ）は、自然言語で提示される所与の主題の領域に関連する質問に回答する（図２に示すような）、データ処理ハードウェア上で実行される人工知能アプリケーションである。ＱＡシステムは、ネットワークを介した入力、電子文書またはその他のデータのコーパス、コンテンツ作成者からのデータ、１人または複数のコンテンツ・ユーザからの情報、およびその他のあり得る入力源からの他のこのような入力を含む、様々な供給源から入力を受け取る。データ・ストレージ・デバイスが、データのコーパスを記憶する。コンテンツ作成者は、ＱＡシステムとともにデータのコーパスの一部として使用するための文書の内容を作成する。文書は、ＱＡシステムで使用するための任意のファイル、テキスト、記事またはデータ供給源を含み得る。例えば、ＱＡシステムは、領域または主題分野（例えば金融領域、医療領域、法律領域など）に関する知識体系にアクセスし、知識体系（知識ベース）は、オントロジーなどの領域固有情報の構造化リポジトリ、または領域に関連する非構造化データ、または領域に関する自然言語文書の集合などであるがこれらには限定されない、様々な構成で編成することができる。

コンテンツ・ユーザがＱＡシステムに質問を入力し、ＱＡシステムがコーパス内の文書、文書の一部文、データの一部などを評価することによって、データのコーパス内の内容を使用してその入力された質問に答える。意味内容についての文書の所与の一部の評価時に、ＱＡシステムからそのような文書のクエリを行うための様々な規定が使用されることがある（例えば、ＱＡシステムに適格な質問としてクエリを送り、それが次にＱＡシステムによって解釈され、その質問に対する１つまたは複数の回答を含む応答が提供される）。意味内容とは、単語、句、符号、および記号などの記号表現と、それらが表すもの、その明示的意味、または含意との関係に基づく内容であり、言い換えると、意味内容とは自然言語処理を使用するなどして表現を解釈する内容である。

例えば、以下で詳述するように、ＱＡシステムは、入力された質問を受け取り、その質問を構文解析して質問の主要な特徴を抽出し、抽出された特徴を使用してクエリを構築し、次にそれらのクエリをデータのコーパスに適用する。データのコーパスへのクエリの適用に基づいて、ＱＡシステムはデータのコーパスで、データのコーパスのうちの入力された質問に対する有用な応答を含む何らかの可能性を有する部分を探すことによって、１組の推測、または入力された質問に対する回答候補を生成する。次に、ＱＡシステムは、様々な推論アルゴリズムを使用して、入力された質問の言語と、クエリの適用時に見つかったデータのコーパスの部分のそれぞれにおいて使用されている言語との深い解析を行う。数百さらには数千もの適用可能な推論アルゴリズムがあり得、そのそれぞれが異なる解析、例えば、比較、自然言語解析、字句解析などを行い、スコアを生成する。例えば、推論アルゴリズムの中には、入力された質問の言語内の用語および同義語とデータのコーパスのうちの見つかった部分との一致を調べるものがある。別の推論アルゴリズムには、言語の時間的特徴または空間的特徴を調べるものがあり、また別のアルゴリズムは、データのコーパスの各部分の供給源を評価し、その正確さを評価するものがある。

様々な推論アルゴリズムから得られるスコアは、その推論アルゴリズムが対象としている特定の分野に基づいて、入力された質問によってあり得る応答が推測される程度を示す。ある実施形態では、次に、統計モデルに照らしてそれぞれの結果スコアに重み付けをする。統計モデルは、ＱＡシステムのトレーニング期間中に特定の領域のための２つの類似したパッセージ間に推測を確立するにあたって推論アルゴリズムがいかに有効に機能するかを捉える。統計モデルは、あり得る応答すなわち回答候補が質問によって推測されるという証拠に関してＱＡシステムが有する信頼性のレベルを集計するために使用される。このプロセスは、他の回答候補よりも有意に強力であるものとして浮上した回答候補をＱＡシステムが特定するまで回答候補のそれぞれについて繰り返され、これにより、入力された質問に対する最終的回答またはランク付けされた１組の回答を生成する。

上述のように、ＱＡシステムおよび機構は、データまたは情報のコーパスの情報にアクセスし、それを分析し、次にそのデータの解析に基づいて回答結果を生成することによって動作する。データのコーパスの情報へのアクセスは、典型的には、構造化レコードの集合内にあるものについての質問に答えるデータベース・クエリと、非構造化データ（テキスト、マークアップ言語など）の集合に対するクエリに応答して文書リンクの集合を出力する検索とを含む。従来の質問回答システムは、データのコーパスと入力された質問とに基づいて回答を生成し、データのコーパスについて質問の集合に対する回答を検証し、コーパス・データを使用してデジタル・テキストのエラーを訂正し、あり得る回答すなわち回答候補のプールから質問に対する回答を選択することができる。ある実施形態では、ＱＡシステムは、本明細書に記載の機能を実行するように構成された、米国ニューヨーク州アーモンクのインターナショナル・ビジネス・マシーンズ・コーポレーションから入手可能なＩＢＭ Ｗａｔｓｏｎ（ＴＭ）ＱＡシステムを含み得る。ＱＡシステム全般について上述したように、ＩＢＭ Ｗａｔｓｏｎ（ＴＭ）ＱＡシステムは、入力された質問を受け取り、入力された質問を解析して質問の主要な特徴を抽出し、システムはそれらの主要な特徴を使用して、データのコーパスに適用されるクエリを構築する。データのコーパスへのクエリの適用に基づいて、システムは、データのコーパス全体で、入力された質問に対する有用な応答を含む何らかの可能性があるデータのコーパスの部分を探すことによって、１組の推測、または入力された質問に対する回答候補を生成する。ＩＢＭ Ｗａｔｓｏｎ（ＴＭ）ＱＡシステムは、次に、様々な推論アルゴリズムを使用して、入力された質問の言語と、クエリの適用時に見つかったデータのコーパスの各部分のそれぞれで使用されている言語との深い解析を行う。次に、システムは、あり得る応答すなわち回答候補が質問によって推測されるという証拠に関する信頼性のレベルを集計する統計モデルに照らして、様々な推論から得られたスコアに重み付けしてもよい。このプロセスを回答候補のそれぞれについて繰り返して、入力された質問を出したユーザに対して提示することができる回答候補のランク付けされたリスト、またはその中から最終的回答が選択され、ユーザに提示される回答候補のランク付けされたリストを生成することができる。ＩＢＭ Ｗａｔｓｏｎ（ＴＭ）ＱＡシステムに関する追加情報は、Yuan et al., "Watson and Healthcare," IBM developer Works,2011および"The era of Cognitive Systems: An inside Look at IBM Watson and How it works" by Rob High, IBM Readbooks 2012に記載されている。

図１は、ある実施形態による質問回答（ＱＡ）システム１００の概略図である。ＱＡシステム１００は、１つまたは複数のコンピューティング・デバイス１０４と、ネットワーク１０２を介した電子文書のコーパス１０６とを含む。ネットワーク１０２は、ＱＡシステム１００がローカル環境とグローバル環境、例えばインターネットを含む、任意の規模の環境で動作することができるように、様々な実施形態でローカル・ネットワーク接続とリモート接続とを含む。

図２は、例示の実施形態の態様が実装されるコンピューティング・デバイス１０４のブロック図である。コンピューティング・デバイス１０４は、本発明の例示の実施形態のためのプロセッサを実装するコンピュータ使用可能コードまたは命令が配置された、図１に示すようなサーバまたはクライアントまたはユーザ・デバイスとすることができる。ある実施形態では、コンピューティング・デバイス１０４は、電子プロセッサ２０２と、メモリ２０４と、ユーザ・インターフェース２１０と、通信インターフェース２１２と、バス２１４とを含む。図２に示すように、メモリ２０４は、オペレーティング・システム２０６と、１つまたは複数のソフトウェア・プログラム２０８とを含むことができる。電子プロセッサ２０２は、メモリ２０４に記憶された１組の命令を解釈し、実行する、少なくとも１つのプロセッサまたはマイクロプロセッサを含み得る。電子プロセッサ２０２は、メモリ２０４に記憶されているソフトウェア・プログラム２０８内のコンピュータ可読命令（「ソフトウェア」）にアクセスし、実行する。ソフトウェアは、ファームウェア、１つまたは複数のアプリケーション、プログラム・データ、フィルタ、ルール、１つまたは複数のプログラム・モジュールおよびその他の実行可能命令を含み得る。例えば、ソフトウェアは、本明細書に記載の方法を含む１組の機能を実行するための命令およびそれに付随するデータを含むことができる。メモリ２０４は、読み取り専用メモリ（「ＲＯＭ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）（例えばダイナミックＲＡＭ（「ＤＲＡＭ」）、シンクロナスＤＲＡＭ（「ＳＤＲＡＭ」）など）、電気的消去可能プログラマブル読み取り専用メモリ（「ＥＥＰＲＯＭ」）、フラッシュ・メモリ、ハード・ディスク、セキュア・デジタル（「ＳＤ」）カード、その他の適合するメモリ・デバイス、またはこれらの組み合わせなど、非一過性のコンピュータ可読媒体を含む。メモリ２０４は、様々なコンポーネントが互い遠隔にあるが電子プロセッサ２０２によりアクセスすることができる、分散アーキテクチャを有してもよい。

ユーザ・インターフェース２１０は、タッチ・スクリーン、マウス、キーボード、コンピュータ画面、マイクロフォンなどの１つまたは複数のヒューマン－マシン・インターフェース（ＨＭ）を含み得る。通信インターフェース２１２は、コンピューティング・デバイス１０４に外部ネットワーク（例えば、無線ネットワーク、インターネットなど）との通信ゲートウェイを提供する。通信インターフェース２１２は、例えば、Ｅｔｈｅｒｎｅｔ（Ｒ）カードもしくはアダプタ、または無線ローカル・エリア・ネットワーク（ＷＬＡＮ）カードもしくはアダプタ（例えば、ＩＥＥＥ規格８０２．１１ａ／ｂ／ｇ／ｎ）を含み得る。通信インターフェース２１２は、外部ネットワーク上での適切な通信を可能にするために、アドレス接続、制御接続またはデータ接続あるいはこれらの組み合わせを含むことができる。

バス２１４またはその他のコンポーネント相互接続により、コンピューティング・デバイス１０４のコンポーネント間の接続を可能にすることができる。バス２１４は、例えば、当技術分野で知られているように、１つまたは複数のバスまたはその他の有線または無線接続とすることができる。図を簡単にするために省かれているが、バス２１４は、通信を可能にするために、コントローラ、バッファ（例えばキャッシュ）、ドライバ、リピータおよび受信器またはその他の同様のコンポーネントなどの追加の要素を有し得る。バス２１４は、上記のコンポーネント間での適切な通信を可能にするために、アドレス接続、制御接続、データ接続、またはこれらの組み合わせも含み得る。

図３に、ある実施形態によるＱＡシステム１００（サーバ１０４）のアーキテクチャ３００を示すシステム図を示す。図３に示すシステムは、回答供給源知識ベース２１と、構造化および非構造化データの一次供給源１１と、クエリ解析モジュール３１２と、回答候補生成モジュール３２５と、証拠収集モジュール（補強パッセージ取り出しモジュール３４０と、回答候補処理およびスコアリング・モジュール３５０とを含む）と、回答ランク付けモジュール３６０とを含む。図３に示すように、アーキテクチャ３００は、ユーザ・クエリまたは質問を受け取り、解析するための機能を実装する質問解析モジュール３１２を含む。ある実施形態によると、「ユーザ」とは、システム１００と対話する１人または複数の人物を指し、「ユーザ・クエリ」という用語は、ユーザによって提示されるクエリ（およびその文脈）１９を指す。ただし、本明細書で使用する「ユーザ」という用語は、電子的手段によってクエリを生成するユーザ・デバイス１１０も指すことがあり、その場合、「ユーザ・クエリ」という用語は、そのような電子的に生成されるクエリを指す。回答候補生成モジュール３２５は、取り出されたデータの解析に基づいて、回答候補を含む複数の出力データ構造を生成する。証拠収集モジュール５０は、並列処理動作として並列して、回答候補を有するパッセージに基づいて証拠を解析し、回答候補のそれぞれにスコアを付けるために、一次供給源１１と知識ベース２１とを含む電子文書のコーパス１０６とインターフェースする。

回答候補生成モジュール３３５の機能モジュールの実装の結果として、回答候補生成モジュール３３５は、クエリを生成し、（ローカルおよび分散）供給源データベースまたは同様のメモリ・ストレージ・デバイス内の構造化および非構造化一次データ供給源１１に対してクエリを実行するように構成される。このクエリは、回答候補リスト３９を生成するために、構造化（知識ベース）、または半構造化（例えばＷｉｋｉｐｅｄｉａ、ＩＭＤＢデータベース、ＸＢＲＬで書かれたＳＥＣ提出文書の集合など）、または非構造化データ（テキスト・リポジトリ）に対して実行される。

ある実施形態では、図３のアーキテクチャは、共通解析システム（CommonAnalysis System（ＣＡＳ））回答候補構造を使用することができ、本明細書で以下で詳述するように、補強パッセージ取り出しを実装することができる。この処理は図３に記載されており、証拠収集モジュール５０は、パッセージの解析と回答候補のそれぞれのスコア付けとを並列処理動作として並列して行うための別々の処理モジュールとして、補強パッセージ取り出しモジュール３４０と回答候補処理およびスコアリング・モジュール３５０とを含む。回答供給源知識ベース２１（図１に示す電子文書のコーパス１０６の部分）が、関係の集合（例えば型付きリスト）を含む（事前計算またはその他による）構造化または半構造化供給源の１つまたは複数のデータベースを含むことができる。例示の実装形態では、回答供給源知識ベース２１は、メモリ・ストレージ・システム、例えばハード・ドライブに記憶されたデータベースを含み得る。回答ランク付けモジュール３６０が、回答候補にランク付けし、ユーザ・デバイス１１０ないし１１２によって提供されるディスプレイ・インターフェース（図示せず）を介してユーザに返される応答９９を決定する機能を提供する。応答は、回答、または前の回答を精緻化した回答、または、質問に対する十分に適格な回答が見つからない場合は、質問に応答した明確化の要求であってもよい。

前述のように、本明細書に記載の実施形態は、解析エンジンおよび非構造化情報管理アプリケーションなどの、様々な非構造化情報管理アーキテクチャ（Unstructured Information Management Architecture（ＵＩＭＡ））コンポーネント間のデータ交換を扱うＵＩＭＡのサブシステムである共通解析システム（Common Analysis System（ＣＡＳ））を使用することができる。ＣＡＳは、プログラミング言語とは独立した型システムを介してデータ・モデリングをサポートし、高機能な索引付け機構によるデータ・アクセスを提供し、テキスト・データの注釈作成のサポートを提供する。ＣＡＳは、画像、ビデオまたはその他の非テキスト形式の解析に有用であるように、文書とその注釈とのリンクの複数の定義も可能にする。

ある実施形態では、共通解析構造（ＣＡＳ）型のデータ構造形態は、参照によりその内容および開示の全体が本明細書に記載されているかのように組み込まれる米国特許第７，１３９，７５２号に記載のように実装される。本明細書に記載のように、様々な基準に基づいてＣＡＳ型データ構造５９で与えられるスコアを使用して回答候補のスコアを計算するために、複数の並列処理モジュールを実装することができる。例えば、基準は、回答が類似した語彙関係および意味関係を満たすか否か、回答とクエリとがいかによく対応しているか、用語がいかによく一致し、用語が同様の順序で存在しているかなどを考慮することができる。したがって、複数のモジュールを使用して異なる回答候補を処理し、したがって場合によっては可能なスコアリング・モジュールの数に応じて多数のスコアを与えることができることがわかるであろう。

図３に示すように、回答ランク付けモジュール３６０は、証拠収集モジュール５０（補強パッセージ取り出しモジュール３４０と回答候補処理およびスコアリング・モジュール３５０とを含む）から出力される複数のＣＡＳ型データ構造５９を受け取り、各回答候補のスコアを生成する。

図４は、ある実施形態による、図３に示すアーキテクチャの動作図３００である。図４は、図３に示すシステム・コンポーネントへの入力として供給され、またはシステム・コンポーネントによる出力として生成されるデータ構造を定義するデータ・モデルも示す。図４に示すように、質問処理モジュール３１０が、例えばユーザによって、ユーザのウェブ・ベースのブラウザ・デバイスを介して入力された質問１９を含む入力を受け取る。入力される質問１９は、「金はなぜ高価であるか」などの文字列を含み得る。質問処理モジュール３１０は、質問解析モジュール３１２と検索エンジン３１４とを含む。検索エンジン３１４は、検索一次構造化および非構造化供給源、例えば、Ｇｏｏｇｌｅ、またはＷｉｋｉｐｅｄｉａのローカル・コピー、またはデータベース・ルックアップを含み得る。検索エンジン３１４は、抽象クエリからエンジン固有のクエリを生成し、それを検索エンジンのためのクエリ構文にフォーマットし、次にそのクエリを処理し、検索結果ヒット・リストをＣＡＳ型データ構造に付加するクエリ・ジェネレータを有する。検索オブジェクトは、検索エンジン・クエリと、検索エンジンの識別子と、検索結果とを含む。図４に示すように、例示のＣＡＳ型データ構造内のデータは質問解析処理モジュール３１０の検索結果モジュールから出力され、並列して処理されることが可能である。回答候補の並列検索を開始するために、検索ヒットＣＡＳスプリッタ３１５を使用することができる。並列動作のために、見つかった検索結果のそれぞれを処理するためと回答候補生成モジュール３２５において本明細書に記載の技術を使用して回答候補生成を（並列で）行うためにモジュール３２０における並列検索結果処理が適用されるように（分割作業）、検索リスト（検索結果パッセージ）がＣＡＳスプリッタ３１５によって分配される。

検索結果処理モジュール３２０と回答候補生成モジュール３２５とから出力される（例示のＣＡＳ型データ構造３９の）データは、補強パッセージ取り出しモジュール３４０への入力のために回答候補を並列化するのに使用される回答候補ＣＡＳスプリッタ３３０で再び並列処理される。回答候補の各組について、各ＣＡＳ型データ構造が１つまたは複数の回答候補を含むようにＣＡＳ型データ構造が別々のＣＡＳ型データ構造に分割されてよく、証拠収集モジュール５０（補強パッセージ取り出しモジュール３４０と回答処理およびスコアリング・モジュール３５０とを含む）とに送られる。モジュール３４２で、補強パッセージが取り出される。候補ＣＡＳスプリッタ３３０の後で機能が開始される。補強パッセージ取り出し３４２によって作成された補強パッセージ・レコードを補強パッセージ・スプリッタ３４４によって分割することができ、さらに、これらのレコードは多数ある可能性があるため、スプリッタ３４４はこれらの新たなＣＡＳ型データ構造を（前に計算されたすべての情報、すなわち文脈、クエリ、回答候補、補強パッセージとともに）回答処理およびスコアリング・モジュール３５０に送ることができる。

結果は、（他の要素も含むが特に）回答候補と質問用語と補強パッセージの３つの項目を含む、１つまたは複数のＣＡＳ型データ構造を含む。１つの質問につきこのようなＣＡＳ型データ構造が数千個生成され得るため、これらの候補は並列してスコアが付けられてもよい。一実施形態では、回答処理およびスコアリング・モジュール３５０によって行われる候補スコア付けは、文脈依存回答候補処理モジュール３５２（回答スコアがパッセージの文脈に依存する）と、文脈非依存回答候補処理モジュール３５４（パッセージとは独立して回答にスコアを付けることができる）の２つのクラスに分けることができる。例えば、回答候補が文書のタイトルから得られる場合、スコアはパッセージの内容に依存しない可能性があり、したがって文脈非依存である。それに対して、テキスト対応付け、文法関係、または語彙関係および意味関係に基づく他の種類の回答候補スコア付けは、クエリとパッセージとの比較を伴うことがあり、したがって文脈依存である。これらの方法のいくつかはパッセージにおける文法関係および意味関係の計算に依存し得るため、モジュール３５２での文脈依存回答候補処理の前に、（検索結果処理モジュール３４０での検索結果処理で）検索結果が処理されてもよい。

回答処理およびスコアリング・モジュール３５０の結果は、ＣＡＳ型データ構造を使用して保存される。回答ランク付けおよび処理３６０時に、回答候補の特徴を集約し、マージすることができ、最終回答候補スコアリング機能を適用して、ユーザに提供される最終スコアを生成することができる。

図５は、ある実施形態による図４に示す文脈依存回答候補処理ブロック３５２のブロック図である。図５に示すように、文脈依存回答候補処理モジュール３５２は、検索結果処理モジュール３４０からクエリ用語と回答候補用語とを受け取る。文脈依存回答候補処理ブロック３５２は、出力をマージおよびランク付けブロック３６０に提供する。ある実施形態では、文脈依存回答候補処理ブロック３５２は、パッセージ用語質問回答（ＱＡ）突き合わせモジュール４０２と、単語埋め込み意味ＱＡ突き合わせモジュール４０４と、トピック・ラベルＱＡ突き合わせモジュール４０６と、変換メトリックＱＡ突き合わせモジュール４０８と、統計ＱＡ突き合わせモジュール４１０とを含む。

ある実施形態では、パッセージ用語ＱＡ突き合わせモジュール４０２は、質問１９内の質問用語の一致スコアを計算し、回答候補３９内の回答候補用語の一致スコアを別に計算し、次に（例えば乗算するかまたは調和平均をとることによって）２つのスコアを結合するスコアラを含む。ある実施形態では、パッセージ用語ＱＡ突き合わせモジュール４０２は、質問１９の焦点からかけ離れている質問用語を無視するように構成される。ある実施形態では、パッセージ用語ＱＡ突き合わせモジュール４０２は、任意の用語の対の一致度を評価するために、分布意味論を使用して用語の意味的な類似度を判定する。

ある実施形態では、単語埋め込み意味ＱＡ突き合わせモジュール４０４は、パッセージと質問と回答候補のそれぞれを、単語埋め込みの空間内の集約用語ベクトルとして表し、それらの集約用語ベクトルにわたる距離メトリックを計算することによって、質問１９のためと回答候補３９のためのパッセージの意味的スコアを別々に計算するスコアラを含む。ある実施形態では、２つのスコアは（例えば、乗算によってまたは調和平均をとることによって）結合される。一実施形態では、スコアラは距離メトリックとしてコサインを使用する。別の実施形態では、スコアラは、ＷＭＤ（word mover's distance）を距離メトリックとして使用する。ある実施形態では、スコアラは、参照により本明細書に記載されているかのように組み込まれる、Lidan Wang, Ming Tan, and Chin-Yew Lin. "News Citation Recommendation with Implicit and Explicit Semantics." Association of Computational Linguistics (ACL) 2016のSection 3.3に記載されているようなプーリングおよび類似度計算を使用する。ある実施形態では、スコアラは、参照により本明細書に記載されているかのように組み込まれる、European Chapter of ACL 2017に提出されたDheeraj Mekala, Vivek Gupta, Harish Karnick, "Words are not Equal: Graded Weighting Model for building Composite Document Vectors,"のSection 3.2.1に記載されている用語重み付け方式を使用する。

図６は、ある実施形態による、質問と回答候補を処理する方法５００を示すフロー・チャートである。方法５００は、図３および図４に示すアーキテクチャを使用するなどして、ＱＡシステム１００によって実行可能である。図６に示すように、質問１９と回答候補３９が与えられると、方法５００はキーワード検索クエリを生成することを含む（ブロック５１０）。ブロック５１０の出力は、キーワード検索クエリを使用してクエリを実行するブロック５２０に提供される。ＱＡシステムは、キーワード・クエリに基づいて、電子文書のコーパス１０６から（例えば補強パッセージ取り出し３４０を使用して）パッセージを取り出すように構成される（ブロック５３０）。ブロック５３０の出力は、回答処理およびスコアリング・モジュール３５０での回答処理のためにパッセージを提供するブロック５４０に提供される。ブロック５３０の出力は、文脈依存回答候補処理を実行するブロック５４０に提供される。ブロック５４０の出力は、回答候補のマージとランク付けとを行うブロック５５０に提供される。

図７は、ある実施形態による、文脈依存回答候補処理を使用して質問に対する回答を生成する方法５００のさらなる詳細を示すフロー・チャートである。ブロック６１０で、方法５００は質問処理モジュール３１０で複数の質問用語を有する質問１９を受け取ることを含む。ブロック６２０で、方法５００は、回答候補生成モジュール３２５を使用して質問１９に対する複数の回答候補を特定することを含み、特定される回答候補のそれぞれはいくつかの回答用語を含む。いくつかの回答候補のそれぞれについて、方法５００は、複数の質問用語の１つまたは複数の質問用語のうちの少なくとも１つの質問用語と、回答候補に含まれる複数の回答用語のうちの１つまたは複数の回答用語とを含む補強証拠パッセージを判断するために、コーパス・データ１０６を検索することを含む（ブロック６３０）。ある実施形態では、方法５００は、質問と回答候補とを使用してキーワード検索クエリを生成することを含み、オプションとして質問内と回答候補内の用語のすべてがタグ付けされる。ある実施形態では、質問処理モジュール３１０からのキーワード検索クエリを使用してデータのコーパス１０６から複数の証拠パッセージが取り出される。

ある実施形態では、方法５００は、各補強証拠パッセージについて１組のパッセージ・スコアラを反復適用することを含む。方法５００は、代替回答が回答候補と一致するように代替回答の裏付けとして補強証拠パッセージが質問に答えるとパッセージ・スコアラのそれぞれが判断する程度に対してスコアを付けることをさらに含む。ある実施形態では、１組のパッセージ・スコアラのスコアラごとに、補強証拠パッセージのスコアが、そのパッセージ・スコアラの代替回答の最終決定を示す１つの最終スコアに統合される。一実施例では、補強証拠パッセージのスコアは、スコアを合計するかまたはスコアの最大値をとることによって結合される。ある実施形態では、方法５００は、質問に基づくパッセージの意味スコアと、回答候補に基づくパッセージの別の意味スコアとを計算することを含む。一実施例では、方法５００は距離メトリックとしてコサインを使用して両方の意味スコアを結合することを含む。別の実施例では、方法５００は、距離メトリックとしてＷＭＤ（word mover's distance）を使用して両方の意味スコアを結合することを含む。ある実施形態では、パッセージ・スコアラは、ＢＬＥＵメトリック・スコアまたはＲｏｕｇｅメトリック・スコアのうちの少なくとも一方を使用して、質問および回答候補との１組のパッセージの類似度を計算する。ＢＬＥＵメトリック・スコアについては、参照により本明細書に記載されているかのように組み込まれる、Papineni et al. BLEU: a method for automatic evaluation of machine translation, ACL 2012に記載されている。Ｒｏｕｇｅメトリック・スコアについては、参照により本明細書に記載されているかのように組み込まれる、Chin-Yew Lin, Rouge: A package for automatic evaluation of summaries. In Workshop of Text summarization branches out, 2004に記載されている。ある実施形態では、パッセージ・スコアラは、パッセージを質問と回答候補とに関係づけるために、自動的にラベル付けされたトピックを使用する。パッセージ、質問および回答は、それぞれの本旨を捉えるトピックによって自動的にラベル付けされる。トピック・ラベルは、例えばＷｉｋｉｐｅｄｉａおよびその他のコーパス資源から計算された、または潜在的ディリクレ配分（Latent Dirichlet Allocation（ＬＤＡ））法によって得られた単語および文書埋め込みからなど、様々な方法で自動的に生成することができる。ＬＤＡ法については、参照により本明細書に記載されているかのように組み込まれる、David M. Blei, Michael I. Jordan, Thomas L. Griffiths, and Jushua B.Tenenbaum, (2003), "Hierarchical topic models and the nested Chinese restaurant process," in Proceedings of the 16th International Conferenceon Neural Information Processing Systems (NIPS'03)およびS.Thrun, L. K. Saul, and B. Schlolkopf (Eds.) MIT Press, Cambridge, MA. USA,17-24 2004に記載されている。

ある実施形態では、方法５００は、パッセージ内のトピック用語の、質問および回答候補内のトピック用語との重複を評価する（例えば厳密な一致を探す）ことによって、パッセージの一致スコアを計算することをさらに含む。トピック用語重複スコアは、質問と回答候補とで別々に計算され、（例えば乗算によって、または調和平均をとることによって）最終スコアのために互いに結合される。

ある実施形態では、方法５００は、２つの短いテキスト間の類似度を計算することをさらに含む。質問とそれらの質問に対する既知の正しい回答との対を使用してモデルがトレーニングされる。このモデルを使用して、質問と補強パッセージとの類似度を計算することができる。このモデルを使用して、回答候補と補強パッセージとの類似度を計算することもできる。次に、この２つの類似度スコアが（乗算によってまたは調和平均をとることによって）結合される。

ある実施形態では、方法５００は、複数の質問用語と複数の回答用語のそれぞれの一致スコアを計算することと、複数の質問用語と複数の回答用語のそれぞれについて得られた一致スコアを結合することとをさらに含む。ある実施形態では、一致スコアを結合することは、複数の質問用語と複数の回答用語の一致スコアを乗算することを含む。ある実施形態では、一致スコアを結合することは、複数の質問用語の一致スコアと複数の回答用語の一致スコアとの調和平均を求めることを含む。

方法５００は、スコアリング機構を使用して複数の回答候補のそれぞれのための補強証拠パッセージのそれぞれにスコアを付けることをさらに含む（ブロック６４０）。ある実施形態では、スコアリング機構は、複数の質問用語との補強証拠パッセージの第１の関連度を計算し、複数の回答候補のうちの１つの回答候補の複数の回答用語との補強証拠パッセージの第２の関連度も計算する。ある実施形態では、方法５００は、用語の語彙的近似と、分布意味論と、統計モデルとからなるグループから選択された１つまたは複数の重み付けを使用して、第１の関連度と第２の関連度とを求めることを含む。ある実施形態では、方法５００は、第１の関連度と第２の関連度とを結合することによって補強証拠パッセージのスコアを求めることを含む。

方法５００は、複数の回答候補のそれぞれのための補強証拠パッセージに関連付けられたスコアに基づいて、質問に対する複数の回答候補にランク付けすることも含む（ブロック６５０）。ブロック６６０で、方法は、複数の回答候補のランク付けに基づいて質問１９に対する回答を提供することを含む。ある実施形態では、方法５００は、各質問用語の重みを計算し、パッセージ内で見つかった各質問用語の重みの和をすべての質問用語の重みの和で割ることによって、パッセージの一致スコアを求めることを含む。

本明細書に示す方法５００は、ＱＡシステム１００を使用して質問に対する回答を決定することを可能にする。上述のように、ＱＡシステム１００は、いくつかの質問用語を有する質問１９を受け取り、それぞれがいくつかの回答用語を有する回答候補を特定する。ＱＡシステム１００は、電子文書のコーパス１０６で、質問用語のうちの１つまたは複数の質問用語と回答用語のうちの１つまたは複数の回答用語とに関連する補強証拠パッセージを検索するように構成される。ＱＡシステム１００は、質問用語の関連度の計算値を回答用語の関連度の計算値と結合するスコアリング・アルゴリズムを使用して補強証拠パッセージにスコアを付けるようにさらに構成される。ＱＡシステム１００は、質問に対するあり得る回答にスコアを付け、ランク付けし、モジュール３６０で実行されるスコア付けおよびランク付けに基づいて質問に対する回答を提供するようにさらに構成される。

様々な特徴および利点については、添付の特許請求の範囲に記載されている。

Claims (18)

1. 質問に対する回答を生成する方法であって、
   電子プロセッサによって、複数の質問用語を有する質問を受け取るステップと、
   前記電子プロセッサによって、複数の回答候補のそれぞれが複数の回答用語を含む、前記質問に対する前記複数の回答候補を特定するステップと、
   前記複数の回答候補のそれぞれについて、前記質問と前記回答候補を使用してキーワード検索クエリを生成し、当該キーワード検索クエリを使用して、前記複数の質問用語のうちの１つまたは複数の質問用語のうちの少なくとも１つの質問用語と、前記回答候補に含まれる前記複数の回答用語のうちの１つまたは複数の回答用語とを含む補強証拠パッセージを複数のデータ供給源から検索するステップと、
   前記電子プロセッサによって、スコアリング機構を使用して、前記複数の回答候補のそれぞれのための前記補強証拠パッセージのそれぞれにスコアを付けるステップであって、前記スコアリング機構は、前記複数の質問用語との前記補強証拠パッセージの第１の関連度を計算し、前記複数の回答候補のうちの１つの回答候補の前記複数の回答用語との前記補強証拠パッセージの第２の関連度を計算し、前記第１の関連度と前記第２の関連度とを結合することによって前記補強証拠パッセージのスコアを求める、前記スコアを付けるステップと、
   前記電子プロセッサによって、前記複数の回答候補のそれぞれのための前記補強証拠パッセージのそれぞれにスコアを付けることに関連付けられた前記スコアに基づいて、前記質問に対する前記複数の回答候補にランク付けするステップと、
   前記複数の回答候補のランク付けに基づいて前記質問に対する回答を提供するステップと
   を含む、方法。
2. 前記質問と前記回答候補とを使用してキーワード検索クエリを生成する際に、オプションとして前記質問に含まれる前記質問用語と前記回答候補に含まれる前記回答用語のすべてがタグ付けされる、請求項１に記載の方法。
3. 用語の語彙近接と、分散意味論と、統計モデルとからなるグループから選択された１つまたは複数の重み付けを使用して前記第１の関連度と前記第２の関連度とを求めるステップをさらに含む、請求項２に記載の方法。
4. 前記補強証拠パッセージのそれぞれについて１組のパッセージ・スコアラを反復適用するステップと、
   前記補強証拠パッセージが代替回答の裏付けとして前記質問に回答すると前記パッセージ・スコアラのそれぞれが判断する程度に対してスコアを付けるステップであって、前記代替回答が前記回答候補と一致する、前記スコアを付けるステップと
   をさらに含む、請求項３に記載の方法。
5. 前記複数の質問用語の第１の一致スコアを計算するステップと、
   前記複数の回答用語の第２の一致スコアを計算するステップと、
   前記第１の一致スコアと前記第２の一致スコアとを結合するステップと
   をさらに含む、請求項１に記載の方法。
6. 前記キーワード検索クエリを使用してデータのコーパスから前記複数の補強証拠パッセージを取り出すステップをさらに含む、請求項２に記載の方法。
7. 前記補強証拠パッセージのそれぞれについて１組のパッセージ・スコアラを反復適用するステップと、
   前記補強証拠パッセージが代替回答の裏付けとして前記質問に回答すると前記パッセージ・スコアラのそれぞれが判断する程度に対してスコアを付けるステップであって、前記代替回答が前記回答候補と一致する、前記スコアを付けるステップと
   をさらに含む、請求項６に記載の方法。
8. 各質問用語の重みを計算し、パッセージ内で見つかった各質問用語の重みの和をすべての前記質問用語の重みの和で割ることによって、前記パッセージの一致スコアを求めるステップをさらに含む、請求項７に記載の方法。
9. 前記１組のパッセージ・スコアラのそれぞれについて、前記補強証拠パッセージの前記スコアを、当該パッセージ・スコアラの前記代替回答についての最終決定を示す１つの最終スコアに結合するステップをさらに含む、請求項７に記載の方法。
10. 前記補強証拠パッセージの前記スコアを合計することと前記スコアの最大値をとることとのうちの少なくとも一方によって、前記補強証拠パッセージの前記スコアを結合するステップをさらに含む、請求項９に記載の方法。
11. 前記第１の一致スコアと前記第２の一致スコアとを乗算することによって前記第１の一致スコアと前記第２の一致スコアとを結合するステップをさらに含む、請求項５に記載の方法。
12. 前記第１の一致スコアと前記第２の一致スコアとの調和平均を求めることによって前記第１の一致スコアと前記第２の一致スコアとを結合するステップをさらに含む、請求項５に記載の方法。
13. パッセージの第１の意味スコアを計算するステップであって、前記第１の意味スコアが前記質問に関連付けられている、前記第１の意味スコアを計算するステップと、
    前記パッセージの第２の意味スコアを計算するステップであって、前記第２の意味スコアが前記回答候補に関連付けられている、前記第２の意味スコアを計算するステップと、
    前記第１の意味スコアと前記第２の意味スコアとを結合するステップと
    をさらに含む、請求項７に記載の方法。
14. 距離メトリックとしてコサインを使用して前記第１の意味スコアと前記第２の意味スコアとを結合するステップをさらに含む、請求項１３に記載の方法。
15. 距離メトリックとしてＷＭＤ（word mover's distance）を使用することによって前記第１の意味スコアと前記第２の意味スコアとを結合するステップをさらに含む、請求項１３に記載の方法。
16. 前記パッセージ・スコアラが、前記質問および前記回答候補との１組のパッセージの類似度を計算するために、ＢＬＥＵメトリック・スコアまたはＲｏｕｇｅメトリック・スコアのうちの少なくとも一方を使用する、請求項７に記載の方法。
17. 請求項１ないし１６のいずれかに記載の方法のすべてのステップを実行するようになされた手段を含むシステム。
18. コンピュータ・プログラムであって、前記コンピュータ・プログラムがコンピュータ・システム上で実行されると、請求項１ないし１６のいずれかに記載の方法のすべてのステップを実行するための命令を含むコンピュータ・プログラム。

Images