JP6178208B2 - 質問分野判定装置及び質問分野判定方法 - Google Patents

Description

本発明は、質問文の分野を判定する質問分野判定装置及び質問分野判定方法に関する。

音声認識技術や質問応答技術の発展により、ユーザの自然文形式の質問に対して受け答えをするエージェント型のサービスが普及しつつある。エージェント型のサービスは天気や乗り換え案内、雑談、歴史や社会等の客観的な事実といった様々な質問に対して回答することができる。質問を「今日の天気を教えて」といった自然な文章で実施でき、まるで自分専用の秘書がパソコンや携帯端末に存在しているように利用できる点が特徴となっている。

特許文献１には、典型的な質問応答のためのシステム構成が開示されている。ユーザからの質問内容を解析し質問のタイプをＷｈｏ、Ｗｈｅｒｅ、Ｗｈｅｎといったいわゆる５Ｗ１Ｈの枠組みに沿って分類し、それぞれ異なる方式で回答抽出を行っている。また、特許文献２には、雑談対話を行うための典型的な枠組みが開示されている。

特開２００２−１３２８１１号公報 特許第５１５０５８３号公報

天気や乗り換え案内、雑談等ユーザがする質問の分野によって、回答を生成するための方法は大きく異なるため、エージェント型のサービスではこういった質問に回答するためには実際に回答を生成する処理の前に、その質問の対象分野を判定する処理を実施する必要がある（質問分野判定）。特にユーザが誰かに話しかけている感覚を得るために画面上にエージェントを視覚化したキャラクターを表示する場合があり、そのキャラクターに対する質問文（以下、雑談と呼ぶ。例えば「あなたの年齢は？」）と客観的な事実（例えば「総理大臣の年齢は？」）とは、文章の構成は非常に類似しているが求められる動作は大きく異なるため、それを選り分けるための方法が重要となる。

上記の特許文献１に示される方法では、文末の表現が「だれ」ならＷｈｏといったように文章の単純な素性に従って質問のタイプを分類している。雑談と客観的な事実に関する質問とは特に文末表現等の単純な素性では区別が難しい。そのため、特許文献１に示される方法では適切に質問分野を判定することはできず、それに特化した判定方法が必要である。また、エージェント型のサービスで行われる入力には雑談と客観的な事実に関する質問とが混在するため、特許文献２に示されるような雑談対話が主体のシステムにもそれらを峻別する方法が求められる。

本発明は、上記の問題点に鑑みてなされたものであり、例えば、ユーザの質問に対して雑談及び客観的な事実に対する応答を含む受け答えを可能とするように、質問文が特定の分野の質問文であるか否かを正確に判定する質問分野判定装置及び質問分野判定方法を提供することを目的とする。

上記の目的を達成するために、本発明に係る質問分野判定装置は、質問文を入力する質問文入力手段と、質問文入力手段によって入力された質問文から、質問対象であるエンティティを抽出するエンティティ抽出手段と、質問文入力手段によって入力された質問文から、特定の分野の質問文を想定した言語モデルによるパープレキシティの値を算出するパープレキシティ算出手段と、エンティティ抽出手段によるエンティティの抽出結果、及びパープレキシティ算出手段によって算出されたパープレキシティの値に基づいて、質問文入力手段によって入力された質問文が特定の分野の質問文であるか否かを判定する判定手段と、を備える。

本発明に係る質問分野判定装置では、質問文からのエンティティの抽出結果、及び質問文から算出されたパープレキシティの値の両者が考慮された上で、質問文が特定の分野の質問文であるか否かが判定される。これにより、本発明に係る質問分野判定装置によれば、質問文が特定の分野の質問文であるか否かを正確に判定することが可能になる。

パープレキシティ算出手段は、質問文に含まれる単語の前後関係に基づいて、パープレキシティの値を算出することとしてもよい。この構成によれば、適切かつ確実にパープレキシティの値を算出することができ、適切かつ確実に本発明を実施することができる。

判定手段は、エンティティの抽出結果に応じた閾値を設定し、設定した閾値とパープレキシティの値とを比較して、質問文が特定の分野の質問文であるか否かを判定することとしてもよい。この構成によれば、適切かつ確実に判定を行うことができ、適切かつ確実に本発明を実施することができる。

質問分野判定装置は、判定手段によって、質問文が特定の分野の質問文であると判定された場合には、第１の方法によって当該質問文に対する回答を生成して出力する第１回答手段と、判定手段によって、質問文が特定の分野以外の分野の質問文であると判定された場合には、第１の方法とは異なる第２の方法によって当該質問文に対する回答を生成して出力する第２回答手段と、を更に備えることとしてもよい。この構成によれば、質問文に対する回答を出力することができる。

判定手段は、エンティティの抽出結果、及びパープレキシティの値に基づいて、質問文が特定の分野の質問文である度合いを算出し、質問分野判定装置は、判定手段によって算出された度合いに応じて、当該質問文に対する回答を行うための、エンティティ抽出手段によって抽出されたエンティティに関する情報追加を要求する情報追加要求手段を更に備えることとしてもよい。この構成によれば、質問を把握するために必要な情報を取得することができる。

ところで、本発明は、上記のように質問分野判定装置の発明として記述できる他に、以下のように質問分野判定方法の発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。

即ち、本発明に係る質問分野判定方法は、質問文を入力する質問文入力ステップと、質問文入力ステップにおいて入力された質問文から、質問対象であるエンティティを抽出するエンティティ抽出ステップと、質問文入力ステップにおいて入力された質問文から、特定の分野の質問文を想定した言語モデルによるパープレキシティの値を算出するパープレキシティ算出ステップと、エンティティ抽出ステップにおけるエンティティの抽出結果、及びパープレキシティ算出ステップにおいて算出されたパープレキシティの値に基づいて、質問文入力ステップにおいて入力された質問文が特定の分野の質問文であるか否かを判定する判定ステップと、を含む。

本発明では、質問文からのエンティティの抽出結果、及び質問文から算出されたパープレキシティの値の両者が考慮された上で、質問文が特定の分野の質問文であるか否かが判定される。これにより、本発明によれば、質問文が特定の分野の質問文であるか否かを正確に判定することが可能になる。

本発明の第１実施形態に係る質問分野判定装置である質問応答装置の構成、及び当該質問応答装置を含んで構成される質問応答システムを示す図である。 客観的事実以外に関する質問文に対する回答を生成するための情報を示すテーブルである。 本発明の実施形態に係る質問分野判定装置である質問応答装置のハードウェア構成を示す図である。 本発明の第１実施形態に係る質問分野判定装置である質問応答装置で実行される処理（質問分野判定方法）を示すフローチャートである。 本発明の第２実施形態に係る質問分野判定装置である質問応答装置の構成、及び当該質問応答装置を含んで構成される質問応答システムを示す図である。 エンティティ−プロパティ型の知識データを示す表である。 ユーザの過去の質問履歴を示す表である。

以下、図面と共に本発明に係る質問分野判定装置及び質問分野判定方法の実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

図１に本発明の第１実施形態に係る質問分野判定装置である質問応答装置１０、及び当該質問応答装置１０を含んで構成される質問応答システム１を示す。質問応答システム１は、質問応答装置１０と、ユーザ端末２０とを含んで構成されている。質問応答システム１は、ユーザ端末２０から質問応答装置１０に対して質問文が送信され、当該質問文への応答が質問応答装置１０において生成されてユーザ端末２０に送信されるシステムである。

ユーザ端末２０は、ユーザから質問文を入力するためのキーボードや音声入力機能等の入力手段と、モニター等の質問文に対する回答を出力する出力手段を備えた一般的な端末（装置）である。また、ユーザ端末２０は、通信ネットワークを介して質問応答装置１０との間で通信を行うことができる。通信ネットワークは、例えば、インターネットや移動体通信網等の公衆通信網、専用線である。また、本実施形態における装置間の接続は、上記の通信ネットワークに限られず、同一物理装置内の通信バス、あるいはそれらを組み合わせものであってもよい。具体的には、ユーザ端末２０は、ユーザによって用いられるパーソナルコンピュータや携帯電話機等に相当する。

ユーザ端末２０は、上記の入力手段が用いられたユーザの操作等によって質問文を入力する。質問文は、例えば、ユーザによってキーボードが用いられたものでもよいし、ユーザの音声を入力して音声認識によって得られたものでもよい。ユーザ端末２０は、入力した質問文をテキスト文章（プレーンテキスト）の形式で質問応答装置１０に送信する。質問文の例としては、「あなたのお名前は」や「アメリカ大統領の名前は」「人類初の宇宙飛行士は誰」といったものが挙げられる。

ここで、質問文には複数の分野がある。例えば分野としては、客観的事実に関する質問文と、客観的事実以外に関する質問文とがある。客観的事実に関する質問文とは、案内、雑談、歴史や社会等の、本実施形態に係る質問応答装置１０とは関係がない客観的な事実についての質問文である。上記の質問文の例の「アメリカ大統領の名前は」「人類初の宇宙飛行士は誰」という質問文は、客観的事実に関する質問文に相当する。

客観的事実以外に関する質問文とは、本実施形態に係る質問応答装置１０の存在を前提とした質問である。例えば、質問応答装置１０との質問応答を行うためにユーザ端末２０上に表示されたキャラクター（エージェントを視覚化したキャラクター）に対する質問である。上記の質問文の例の「あなたのお名前は」という質問文は、客観的事実以外に関する質問文に相当する。

ユーザ端末２０は、入力した質問文の送信に応じて質問応答装置１０から送信される当該質問文に対する回答を受信する。ユーザ端末２０は、受信した回答の表示出力等の出力を行う。このように、質問応答システム１では、ユーザの質問に対して雑談及び客観的な事実に対する応答を含む受け答えが可能である。

引き続いて、本実施形態に係る質問応答装置１０の機能について説明する。図１に示すように質問応答装置１０は、質問文入力部１１と、エンティティ抽出部１２と、パープレキシティ算出部１３と、判定部１４と、客観的事実応答部１５と、その他質問応答部１６とを備えて構成される。

質問文入力部１１は、質問文を入力する質問文入力手段である。具体的には、質問文入力部１１は、ユーザ端末２０から質問文であるテキスト文章（プレーンテキスト）のデータを受信することで質問文を入力する。質問文入力部１１は、入力した質問文をエンティティ抽出部１２、パープレキシティ算出部１３及びパープレキシティ算出部１３に出力する。

エンティティ抽出部１２は、質問文入力部１１から入力された質問文から、質問対象であるエンティティ（Ｅｎｔｉｔｙ）を抽出するエンティティ抽出手段である。質問対象であるエンティティとは、質問文が何に対して質問するものであるか示すものであり、質問文の主語となる部分である。例えば、「アメリカ大統領の名前は」という質問文では「アメリカ大統領」が、「人類初の宇宙飛行士は誰」では「人類初の宇宙飛行士」が、それぞれエンティティに相当する。具体的には例えば、エンティティ抽出部１２は、以下のようにエンティティを抽出する。

エンティティの抽出には、機械学習の一手法である系列ラベリングの手法を応用する。系列ラベリングは、単語系列等の系列データに対し、予め与えられたラベルを付与する。系列ラベリングを本実施形態におけるエンティティ抽出に応用する際の動作例を説明する。

エンティティ抽出部１２は、入力した質問文であるテキストを、意味をもつ最小の単位である形態素に分割する。形態素への分割は、例えば、従来から用いられている形態素解析器を用いることができる。質問文が「アメリカ大統領の名前は」というものであれば、形態素解析の結果は「アメリカ／大統領／の／名前／は」となる。ここで「／」は形態素の区切りを表している。

続いて、エンティティ抽出部１２は、ＢＩＯ形式と呼ばれる三種類のラベルを各形態素に付与する。それぞれ、Ｂは検出したい区間（ここではエンティティ）の頭（当該区間の最初のエンティティ）、Ｉは当該区間の途中、Ｏは当該区間以外の部分を指す。上記の例では、ラベリング結果は例えば、「アメリカ（Ｂ）／大統領（Ｉ）／の（Ｏ）／名前（Ｏ）／は（Ｏ）」となる。各形態素の後に付けられた（Ｂ）（Ｉ）（Ｏ）は、ぞれぞれのラベルが付与されたことを表す。最後にＢラベルを付与した形態素から続くＩラベルを付与した形態素を全て取り出して、最終結果であるエンティティとする。上記の例では、「アメリカ（Ｂ）／大統領（Ｉ）」をエンティティとする。

上記の例では、５つの形態素に対して３種類のラベルを付与するため、３の５乗通りのラベル付けの可能性がある。系列ラベリングの手法では、一般にラベル対象の系列（例えば、形態素の系列）が与えられた場合のラベル系列の条件付き確率を、機械学習の手法を用いて計算する。予め正解のラベルを付与した文字列を用いて、ラベル対象の系列とラベルとの関係を学習しておく。実際のラベリングを行う段階でそれらの関係を用いて各ラベル付与の可能性（上記の例では３の５乗通り）に対する確率を計算し、もっともらしい系列を出力する。

系列ラベリングについては従来の方法を用いることができる。例えば、ＣＲＦ＋＋等の市販されている、又は無償で公開されている多数のツールの何れかを用いて上記の動作を実装することができる。

また、エンティティの抽出には必ずしも機械学習の手法を用いる必要はない。例えば文頭に「ＸＸの」といった物事の主語を表す表現が出現した場合に「ＸＸ」の部分をエンティティとみなす単純な方法や構文解析に基づき主格に当たる部分を抽出する方法等によってエンティティを抽出してもよい。

エンティティ抽出部１２は、抽出したエンティティを判定部１４に出力する。また、質問文がまともな質問の形をしてない、あるいは質問文にエンティティが含まれないこと等により、エンティティの抽出が行えない場合がある。その場合、エンティティ抽出部１２は、エンティティの抽出が行えなかった旨を判定部１４に通知する。

パープレキシティ算出部１３は、質問文入力部１１から入力された質問文から、特定の分野の質問文を想定した言語モデルによるパープレキシティ（ｐｅｒｐｌｅｘｉｔｙ）の値（ｐｐｌ）を算出するパープレキシティ算出手段である。特定の分野の質問文を想定した言語モデルによるパープレキシティの値とは、入力した質問文が上記の特定の種別の質問文であると仮定した場合の適合度合いを示す値である。本実施形態では、特定の分野の質問文は、客観的事実に関する質問文である。言語モデルとは、例えば、ある言語を想定した場合の単語間及び品詞間の関係をモデル化したものである。本実施形態では、以下のように質問文に含まれる単語の前後関係に基づく言語モデルを用いて、パープレキシティ（客観的事実パープレキシティ）の値を算出する。

言語モデルには、様々な表現方法があるが、本実施形態ではＮグラムモデルを利用する。例えば、Ｎ＝２の場合は２単語の連なりに関する確率（Ｐ（ｗ_ｉ｜ｗ_ｉ−１）、ｗ_ｉは文章中のｉ番目の単語）を表現する。これにより、単語の出現が一つ前の単語のみに依存するという仮定のもとで文章の出現確率Ｐ（ｗ_１，…，ｗ_ｎ）（ｎは文章中の単語の数）を、条件付き確率をかけあわせたΠＰ（ｗ_ｉ｜ｗ_ｉ−１）と計算することができる。

言語モデルは、想定した応用分野の文章例を学習することで作成される。言語モデルの生成については従来の方法を用いることができる。例えば、ＳＲＩＬＭ等の一般的なツールが存在するため、これらのツールに文章例を入力することで言語モデルを作成可能である。本実施形態においては、雑談等の他の意図の質問を取り除いた、客観的事実に関する質問文のみの文例より作成された言語モデルを用いる。

パープレキシティ算出部１３は、上記の言語モデルに係る情報を予め記憶しておき、当該情報に基づいてパープレキシティの値を算出する。パープレキシティ算出部１３は、入力した質問文であるテキストを、意味をもつ最小の単位である形態素に分割する。形態素への分割は、エンティティ抽出部１２による形態素への分割と同様に行う。なお、パープレキシティ算出部１３は、エンティティ抽出部１２による形態素への分割の結果を利用することとしてもよい。あるいは、エンティティ抽出部１２及びパープレキシティ算出部１３による処理の前に、例えば、質問文入力部１１が形態素への分割を行って、分割の結果をエンティティ抽出部１２及びパープレキシティ算出部１３に入力してよい。

パープレキシティ算出部１３は、分割後の形態素である各単語の質問文中の位置関係に基づき、以下の式に基づきエントロピーＨを算出する。

各単語位置において、Ｐ（ｗ_ｉ｜ｗ_ｉ−１，ｗ_ｉ−２，…，ｗ_１）はそれ以前までの単語の系列から見た場合の、その単語の出現確率（例えば、「アメリカ／大統領／の」と出現した場合の「名前」が出現する確率）となる。言語モデルを利用することで、この値を計算することができる。この（対数の）平均値をとるため、おおよそその文章が、想定する言語モデルを対象とした場合にどの程度珍しいものであるかを評価することができる。

パープレキシティ算出部１３は、２のエントロピー乗（２^Ｈ）をパープレキシティの値として算出する。上記のように算出したパープレキシティの値は、値が低い程、入力した質問文が客観的事実に関する質問文であると仮定した場合の適合度合いが高いことを示している。パープレキシティ算出部１３は、算出したパープレキシティの値を判定部１４に出力する。

判定部１４は、エンティティ抽出部１２によるエンティティの抽出結果、及びパープレキシティ算出部１３によって算出されたパープレキシティの値に基づいて、質問文入力部１１によって入力された質問文が客観的事実に関する質問文であるか否かを判定する判定手段である。判定部１４は、エンティティ抽出部１２によるエンティティの抽出結果（エンティティが抽出されたか否か）に応じた閾値を設定し、設定した閾値とパープレキシティの値とを比較して、上記の判定を行う。

基本的には、パープレキシティの値が低い場合に、入力された質問文が客観的事実に関する質問文であるとみなす。ただし、より客観的事実に関する質問文であるということに確信をもつための情報として、エンティティが抽出されたか否かの情報を考慮する。

具体的には、判定部１４は、予め２つの閾値であるｔｈｒ１及びｔｈｒ２を記憶しておく。ｔｈｒ１はエンティティが抽出されていない場合に使用する第１の閾値であり、ｔｈｒ２よりも小さい値が設定される。ｔｈｒ２はエンティティが抽出されていた場合に使用する第１の閾値である。例えば、ｔｈｒ１＝１０、ｔｈｒ２＝１００と設定することができる。判定部１４は、エンティティ抽出部１２によるエンティティの抽出結果に応じて、ｔｈｒ１又はｔｈｒ２を閾値として設定する。判定部１４は、設定した閾値とパープレキシティの値とを比較する。

判定部１４は、比較の結果、パープレキシティの値が閾値以下である（あるいは、閾値より小さい）とされた（つまり、客観的事実に関する質問文を想定した言語モデルによって珍しくないとされた質問文である）場合に、入力された質問文が客観的事実に関する質問文であると判定する。その場合には、判定部１４は、質問文を客観的事実応答部１５に出力する。

判定部１４は、比較の結果、パープレキシティの値が閾値を超える（あるいは、閾値以上である）とされた（つまり、客観的事実に関する質問文を想定した言語モデルによって珍しいとされた質問文である）場合に、入力された質問文が客観的事実以外に関する質問文であると判定する。その場合には、判定部１４は、質問文をその他質問応答部１６に出力する。

客観的事実応答部１５は、判定部１４によって、質問文が客観的事実に関する質問文であると判定された場合には、第１の方法によって当該質問文に対する回答を生成して出力する第１回答手段である。具体的には、単純な構成としては例えば、客観的事実応答部１５は、以下のように回答を生成する。まず、客観的事実応答部１５は、判定部１４から質問文が入力されると、入力した質問文であるテキストを、意味をもつ最小の単位である形態素に分割する。なお、形態素への分割結果は、上述したエンティティ抽出部１２等によるものを利用することとしてもよい。客観的事実応答部１５は、分割後の形態素である単語のうちの名詞をキーワードとして、外部検索エンジン３０に対してキーワード検索の要求（問い合わせ）を行う。

外部検索エンジン３０は、キーワード検索の要求を受信し、要求に含まれるキーワードを用いて検索対象の文書（例えば、Ｗｅｂページ）に対する検索を行う装置である。外部検索エンジン３０は、検索を実行することによって、当該キーワードを含む検索対象を抽出し、抽出した検索対象を示す情報あるいは検索対象自体の情報（例えば、Ｗｅｂページを示す情報であるＵＲＬあるいはＷｅｂページ自体）を検索の要求元に送信する。質問応答装置１０と外部検索エンジン３０とは、通信ネットワークを介して接続されており、通信を行うことができる。

客観的事実応答部１５は、上記の要求に対する外部検索エンジン３０からの応答を、入力した質問文に対する回答として（生成して）出力する。具体的には、客観的事実応答部１５は、入力した質問文に対する回答として、Ｗｅｂページを示す情報であるＵＲＬあるいはＷｅｂページ自体をユーザ端末２０に送信する。例えば、入力された質問文が「人類初の宇宙飛行士は」である場合には、「人類」「初」「宇宙飛行士」との単語（名詞）が検索キーワードとして抽出され、それらによって検索されたＷｅｂページ（それらの検索キーワードを含むＷｅｂページ）が、入力した質問文に対する回答として客観的事実応答部１５（質問応答装置１０）からユーザ端末２０に送信される。

客観的事実応答部１５は、特許文献１に示されように検索結果の文書に含まれる単語から、検索キーワードとの関係に基づき特定の単語を回答として出力することとしてもよい。また、客観的事実応答部１５は、質問文であるテキストの入力により客観的な事実を想定した質問応答が可能な機能であれば、どのような機能によって実現されてもよい。

その他質問応答部１６は、判定部１４によって、質問文が客観的事実以外に関する質問文であると判定された場合には、第１の方法とは異なる第２の方法によって当該質問文に対する回答を生成して出力する第２回答手段である。具体的には、その他質問応答部１６は、予め記憶したルールに基づいて雑談に受け答えする等、客観的質問ではない質問文に対する回答を生成する。例えば、その他質問応答部１６は、図２のテーブルに示すようなユーザの質問（質問文）と回答とを対応付けた情報を記憶しておき、当該情報に基づいて質問文に対する回答を生成する。

その他質問応答部１６は、図２に示すテーブルにおいて、ユーザの質問（質問文）のうち判定部１４から入力した質問文と一致する回答を取得し、入力した質問文に対する回答として（生成して）ユーザ端末２０に送信する。

また、その他質問応答部１６は、質問文であるテキストの入力により客観的な事実以外を想定した質問応答が可能な機能であれば、どのような機能によって実現されてもよい。以上が、質問応答装置１０の機能構成である。

図３に本実施形態に係る質問応答装置１０のハードウェア構成を示す。図３に示すように質問応答装置１０は、ＣＰＵ（Central Processing Unit）１０１、主記憶装置であるＲＡＭ（RandomAccess Memory）１０２及びＲＯＭ（Read Only Memory）１０３、通信を行うための通信モジュール１０４、並びにハードディスク等の補助記憶装置１０５等のハードウェアを備えるコンピュータを含むものとして構成される。これらの構成要素がプログラム等により動作することにより、上述した質問応答装置１０の機能が発揮される。以上が、本実施形態に係る質問応答装置１０の構成である。

引き続いて、図４のフローチャートを用いて、本実施形態に係る質問応答装置１０で実行される処理である質問分野判定方法を説明する。本処理は、ユーザ端末２０から質問文が質問応答装置１０に送信されることによって開始される。本処理では、まず、質問文入力部１１によって質問文が受信されて入力される（Ｓ０１、質問文入力ステップ）。入力された質問文は、質問文入力部１１からエンティティ抽出部１２、パープレキシティ算出部１３及びパープレキシティ算出部１３に出力される。

続いて、エンティティ抽出部１２によって、質問文入力部１１から入力された質問文からエンティティが抽出される（Ｓ０２、エンティティ抽出ステップ）。エンティティの抽出結果が、エンティティ抽出部１２から判定部１４に通知される。

一方で、パープレキシティ算出部１３によって、質問文入力部１１から入力された質問文からパープレキシティの値が算出される（Ｓ０３、パープレキシティ算出ステップ）。算出されたパープレキシティの値は、パープレキシティ算出部１３から判定部１４に出力される。なお、Ｓ０２の処理とＳ０３の処理とは互いに独立した処理であるため、処理の順序は必ずしも上記の通りでなくてもよい。

続いて、判定部１４によって、以下のようにエンティティの抽出結果、及びパープレキシティの値に基づいて、入力された質問文が客観的事実に関する質問文であるか否かが判定される。まず、エンティティが抽出されたか否かが判断される（Ｓ０４、判定ステップ）。エンティティが抽出されていなかった場合（Ｓ０４のＮＯ）には、判定部１４によって、閾値にｔｈｒ１が設定されて、パープレキシティの値とｔｈｒ１とが比較される（Ｓ０５、判定ステップ）。即ち、パープレキシティの値がかなり低いか否かが判断される。

エンティティが抽出されていた場合（Ｓ０４のＹＥＳ）には、判定部１４によって、閾値にｔｈｒ２が設定されて、パープレキシティの値とｔｈｒ２とが比較される（Ｓ０６、判定ステップ）。即ち、パープレキシティの値がある程度低いか否かが判断される。

比較の結果、パープレキシティの値が閾値（ｔｈｒ１又はｔｈｒ２）以下であるとされた場合（Ｓ０５又はＳ０６のＹＥＳ）、判定部１４よって、入力された質問文が客観的事実に関する質問文であると判定され、質問文が客観的事実応答部１５に出力される。続いて、客観的事実応答部１５によって、入力された質問文に対する回答が生成され、ユーザ端末に送信されることで出力される（Ｓ０７、第１回答ステップ）。回答の生成は、外部検索エンジン３０へのキーワード検索の要求により行われる。

Ｓ０５又はＳ０６における比較の結果、パープレキシティの値が閾値（ｔｈｒ１又はｔｈｒ２）を超えるとされた場合（Ｓ０５及びＳ０６のＮＯ）、判定部１４よって、入力された質問文が客観的事実以外に関する質問文であると判定され、質問文がその他質問応答部１６に出力される。続いて、その他質問応答部１６によって、入力された質問文に対する回答が生成され、ユーザ端末に送信されることで出力される（Ｓ０８、第２回答ステップ）。回答の生成は、図２に示すテーブルが参照されることにより行われる。Ｓ０７又はＳ０８において質問応答装置１０から送信された回答は、ユーザ端末２０によって受信され、ユーザが認識可能な形式で出力される。以上が、本実施形態に係る質問応答装置１０で実行される処理である質問分野判定方法である。

上述したように、本実施形態では、質問文からのエンティティの抽出結果、及び質問文から算出されたパープレキシティの値の両者が考慮された上で、質問文が客観的事実に関する質問文であるか否かが判定される。エンティティの抽出においては、質問文がまともな質問の形をしていると共に質問文にその主語にあたる部分が含まれている場合にエンティティが抽出される。即ち、本実施形態では、パープレキシティの値とエンティティの存在とに基づいて、より客観的事実に関する質問文であると確信できるか否かを評価する。このように、パープレキシティの値のみではなく、エンティティが抽出できたか否かの情報を用いることで、より柔軟にパープレキシティの値を評価し、正確に質問文が客観的事実に関する質問文であるか否かが判定することができる。また、これにより、ユーザの質問に対して雑談及び客観的な事実に対する応答を含む受け答えが可能である質問応答システム１において、ユーザの質問に対する的確な応答が可能になる。

なお、本実施形態では、質問文が客観的事実に関する質問文であるか否かを判定していたが、客観的事実に関する質問文以外でも任意の分野に関する質問文であるか否かを判定することとしてもよい。その場合、当該分野の質問文を想定した言語モデルを用いてパープレキシティの値を算出する。

また、本実施形態のように質問文に含まれる単語の前後関係に基づく言語モデルによりパープレキシティの値を算出することとしてもよい。この構成によれば、適切かつ確実にパープレキシティの値を算出することができ、適切かつ確実に本発明を実施することができる。但し、その他の方法（上記以外の言語モデルを用いて）でパープレキシティの値を算出することができれば、その方法が用いられてもよい。

また、本実施形態のようにエンティティの抽出結果に応じた閾値を設定し、設定した閾値とパープレキシティの値とを比較して判定を行うこととしてもよい。この構成によれば、適切かつ確実に判定を行うことができ、適切かつ確実に本発明を実施することができる。

また、本実施形態のように客観的事実応答部１５及びその他質問応答部１６といった質問文に対して回答を生成する手段を備えていることとしてもよい。この構成によれば、質問文に対する回答を出力することができる。但し、質問文に対する回答を生成することは、本発明として必ずしも必須のことではない。即ち、本発明は、質問文が客観的事実に関する質問文であるか否かの判定を行って、判定結果を出力するものであってもよい。

また、本実施形態の機能は、質問応答装置１０に本発明に係る機能が全て備えられていた。しかしながら、本発明に係る機能は、必ずしも質問応答装置１０に全て備ええられている必要はない。即ち、本発明に係る機能の物理配置は、上述した実施形態のものに限られない。例えば、本発明に係る機能の一部が、ユーザ端末２０に備えられてもよい。その場合、質問応答装置１０とユーザ端末２０とで本発明に係る質問分野判定装置（質問分野判定システム）を構成する。このように本発明に係る質問分野判定装置は、複数の物理的な装置によって構成されていてもよい。

引き続いて、本実施形態の変形例について説明する。上述した実施形態では、質問文が客観的事実に関する質問文であるか否かの判定には、エンティティ抽出部１２によるエンティティの抽出可否、即ち、エンティティの「有り」「なし」を用いていた。しかしながら、エンティティの抽出において、エンティティの「有り」「なし」だけでなく、その確信度合いを示す確率値を算出することができ、これを判定に用いることもできる。ＣＲＦ等の多くの系列ラベリング手法では、検出候補のラベルの系列について、系列が与えられた場合の確率値を計算し、最も高い確率が得られる系列を出力するため、その値を利用することができる。

この場合、判定部１４は、エンティティの「有り」「なし」ではなく、確率値の範囲に対して閾値を適用する。例えば、確率値が０．０以上０．３未満はｔｈｒ１＝１０、０．３以上０．７未満はｔｈｒ２＝５０、０．７以上１．０以下はｔｈｒ＝１００とし、これとパープレキシティの値を比較する。これによってエンティティの抽出に関する確信の程度によって、客観的事実の言語モデルの適合度合いの程度を柔軟に考慮に入れることが可能となる。例えば、閾値を２つのみ利用する場合に比べて、エンティティが抽出されたがその系列が抽出される確率が低い場合には通常時よりもややパープレキシティの値が高くないと質問文が客観的事実に関する質問文であるとはみなさない、といった動作が可能になる。

引き続いて、本発明に係る第２実施形態について説明する。図５に本発明の第２実施形態に係る質問分野判定装置である質問応答装置１０ａ、及び当該質問応答装置１０ａを含んで構成される質問応答システム１ａを示す。本発明に係る第２実施形態は、特段の説明がない部分については第１実施形態と同様である。本実施形態に係る質問応答装置１０ａでは、判定部１４ａ及び客観的事実応答部１５ａが、第１実施形態に係る判定部１４及び客観的事実応答部１５と異なる機能を有している。また、本実施形態に係る質問応答装置１０ａは、第１実施形態に係る質問応答装置１０に加えて新たな機能部として追加情報督促部１７ａを備えている。

判定部１４ａは、エンティティ抽出部１２によるエンティティの抽出結果、及びパープレキシティ算出部１３によって算出されたパープレキシティの値に基づいて、質問文が客観的事実に関する質問文である度合いを算出し、算出した度合いに基づいて、質問文が客観的事実に関する質問文であるか否かを判定する。当該度合いとして、判定部１４ａは、質問文が客観的事実に関する質問文である確率を算出する。即ち、判定部１４ａは、エンティティの抽出結果及びパープレキシティの値から直接、質問文が客観的事実に関する質問文であるか否かを判定するのではなく、一旦、質問文が客観的事実に関する質問文である確率を０から１までの間の値として計算する。

質問文が客観的事実に関する質問文である確率は、例えば、ナイーブベイズ分類器等のクラス分類の手法により求められる。ここでは、質問文が客観的事実に関する質問文である確率をＰ（ｔ＝１｜ｐｐｌ，ｅ）と表記する。ｔ＝１の場合は、質問文が客観的事実に関する質問文であることを示し、ｔ＝０の場合は、それ以外を示す。ｐｐｌはパープレキシティの値を示す。ｅはエンティティ抽出の有無を示す。

ナイーブベイズ分類器では、客観的事実に関する質問文とそうではない質問文を文例とした学習モデルを使用して、下記の式によりＰ（ｔ＝１｜ｐｐｌ，ｅ）を計算する。
Ｐ（ｔ＝１｜ｐｐｌ，ｅ）＝Ｐ（ｐｐｌ，ｅ｜ｔ＝１）×Ｐ（ｔ＝１）／Ｐ（ｐｐｌ，ｅ）
上記の式において、右辺は客観的事実に関する質問文の場合のパープレキシティの値及びエンティティ抽出の有無の組に関する確率（Ｐ（ｐｐｌ，ｅ｜ｔ＝１））と、客観的事実に関する質問文の確率（客観的事実に関する質問がされる確率）（Ｐ（ｔ＝１））との積を、パープレキシティの値及びエンティティ抽出の有無の組に関する確率（Ｐ（ｐｐｌ，ｅ））で割った値である。それぞれの値は充分な質問文例を得ることで推定可能である。

具体的には、Ｐ（ｐｐｌ，ｅ｜ｔ＝１）は、客観的事実に関する質問文例のうち、対象のパープレキシティの値及びエンティティ抽出の有無の組（パープレキシティ算出部１３によって算出されたパープレキシティの値、及びエンティティ抽出部１２によるエンティティの抽出結果の組）が出現した割合により推定される。Ｐ（ｔ＝１）は、客観的事実に関する質問文例とそうではない質問文例とを含む全文例に対して、客観的事実に関する質問文例が含まれていた割合により推定される。Ｐ（ｐｐｌ，ｅ）は、全文例に対して、対象のパープレキシティの値及びエンティティ抽出の有無の組が出現した割合により推定される。

上記のように客観的事実に関する質問文についての確率を算出することで、正確に質問文が客観的事実に関する質問文である度合いを把握することができる。判定部１４ａは、予め設定された新たな閾値（Ｒｔｈｒ）を保持しておき、質問文が客観的事実に関する質問文ではないと判定した場合、算出した確率が閾値以上であるか否かを判断する。算出した確率が閾値以上であると判断された場合には、ユーザが質問の意図としては何らかの客観的事実を尋ねているが、充分な情報がない場合とみなすことができる。この場合、更にユーザに質問文に対する回答を行うための追加情報を促す。判定部１４ａは、算出した確率が閾値以上であると判断した場合、追加情報をユーザに対して促す（要求する）旨を追加情報督促部１７ａに通知する。また、エンティティ抽出部１２によってエンティティが抽出されている場合には、判定部１４ａは、当該エンティティを合わせて追加情報督促部１７ａに通知する。

追加情報督促部１７ａは、当該質問文に対する回答を行うための、エンティティ抽出部１２によって抽出されたエンティティに関する情報追加を要求する情報追加要求手段である。追加情報督促部１７ａは、判定部１４ａからの通知を受け取ると、ユーザ端末２０に情報追加を促す（要求する）旨の情報を送信（返信）することで当該要求を行う。例えば、ユーザ端末２０に送信する情報（返信）としては、「もう少しはっきりお聞きください。主語、述語、疑問詞を含めてください。例えば「アメリカの大統領の名前はなんですか？」」といったものである。既にエンティティが抽出できている場合（即ち、判定部１４ａから追加情報督促部１７ａにエンティティが通知された場合）、追加情報督促部１７ａは、そのエンティティの文字列を使って返信することも可能である。例えば、当初ユーザ端末２０から入力された質問文が「アメリカ大統領ですか」というものであった場合、抽出されている「アメリカ大統領」とのエンティティを用いて、「アメリカ大統領の何をお調べしますか？」といった返信をすることもできる。

ユーザ端末２０は、送信された情報を受信して表示出力等の出力を行う。ユーザ端末２０のユーザは、当該出力により追加情報の必要を認識して、ユーザ端末２０に対して上記の出力に応じた追加情報の入力を行う。ユーザ端末２０は、入力した追加情報を質問応答装置１０ａに送信する。質問応答装置１０ａは、当該追加情報を受信する。追加情報は、当初の質問文と同様に処理されてもよいし、当初の質問文と追加情報とを合わせて客観的事実応答部１５ａに入力して、客観的事実応答部１５ａによって、当初の質問文と追加情報とから回答が生成されてもよい。

また、追加情報督促部１７ａは、エンティティ−プロパティ（Ｅｎｔｉｔｙ−Ｐｒｏｐｅｒｔｙ）型の知識データを予め保持しておき、抽出済みのエンティティに対応するプロパティ値を列挙してユーザに選択を促してもよい。エンティティ−プロパティ型の知識データは、客観的事実に関する質問に回答する際に用いられるデータ表現の形態の一つであり、ある事実をその主体であるエンティティとその主体がもつ属性であるプロパティ（Ｐｒｏｐｅｒｔｙ）の値（Ｖａｌｕｅ）との組で表現する。図６にエンティティ−プロパティ型の知識データを示す。

追加情報督促部１７ａは、エンティティ−プロパティ型の知識データにおいて、抽出されたエンティティに対応付けられているプロパティを返信に含めることができる。知識データが図６に示す例では、「アメリカ」というエンティティが抽出されていた場合には、例えば「アメリカの何をお調べしますか？大統領・首相、面積、人口についてお答えできます」との情報により追加情報を督促する。

また、追加情報督促部１７ａは、別の閾値（Ｐｔｈ）を保持しておき、知識データにおいて、抽出されたエンティティに対応付けられたプロパティの種類がそれより少ない場合は、追加情報を督促するまでもなく、当該知識データを用いて該当するエンティティに対する情報を全て質問文に対する回答として返信してしまってもよい。知識データが図６に示す例では、返信は「アメリカの大統領・首相はｘｘｘｘｘ氏です。面積はｙｙｙｙｙ平方メートル、人口はｚｚｚｚｚ人です」となる。

更に、追加情報督促部１７ａは、ユーザ端末２０から過去に送信された質問文であるユーザの過去の質問履歴を保持しておき、そこから質問例を返却してもよい。ユーザの過去の質問履歴の例を図７に示す。この質問履歴では、質問文と当該質問文から抽出されたエンティティと当該質問文から算出されたパープレキシティの値とが対応付けられている。質問文に対応付けられたエンティティは、例えば、過去にエンティティ抽出部１２によって抽出されたものである。質問文に対応付けられたパープレキシティの値は、例えば、過去にパープレキシティ算出部１３によって算出されたものである。なお、過去の質問履歴については、ユーザの区別をせずに全てのユーザの過去の質問履歴を利用することができる。

追加情報督促部１７ａは、処理対象の質問文と同じエンティティを抽出した質問履歴を探す。追加情報督促部１７ａは、当該質問履歴をもとに情報追加を促す。エンティティとして「アメリカ」が抽出された場合は、図７に示す質問履歴の例では、「アメリカの大統領って誰ですか」「大統領って誰ですアメリカ」「アメリカみんなでこんにちは」の三つの履歴が抽出される。最も単純には、追加情報督促部１７ａは、これらの質問履歴を全てユーザに回答例として返信する。例えば、回答文は「アメリカの何をお調べしますか？例えば「アメリカの大統領って誰ですか」「大統領って誰ですアメリカ」「アメリカみんなでこんにちは」」と回答することができる。

長期的に運用をすると上記の履歴が大量に出力されることも考えられるため、これらをパープレキシティの値で絞り込んでもよい。例えば、パープレキシティの値が、予め設定された閾値（例えば、３０００）以下のもののみを出力することとしてもよい。この場合、「アメリカの大統領って誰ですか」「大統領って誰ですアメリカ」の２つの質問履歴をユーザに提示することになる。

加えて、質問文だけでなく、回答の品質についても何らかの判断基準をもっておき、回答品質が高い質問履歴のみ返答してもよい。例えば、客観的事実応答部１５ａが外部検索エンジン３０から取得した検索結果の数を評価値として検索結果が多く得られた質問文だけを使用するようにしてもよい。どういった指標を実際に用いるかは、客観的事実応答部１５ａが回答を評価する際の機構に依存して決定する。

上述したように本実施形態によれば、入力した質問文が、客観的事実に関する質問文であるか否か十分に判定できない場合であっても、質問を把握するために必要な情報を取得することができる。また、これにより、ユーザの質問に対する的確な応答が可能になる。

１，１ａ…質問応答システム、１０，１０ａ…質問応答装置、１１…質問文入力部、１２…エンティティ抽出部、１３…パープレキシティ算出部、１４，１４ａ…判定部、１５，１５ａ…客観的事実応答部、１６…その他質問応答部、１７ａ…追加情報督促部、１０１…ＣＰＵ、１０２…ＲＡＭ、１０３…ＲＯＭ、１０４…通信モジュール、１０５…補助記憶装置、２０…ユーザ端末、３０…外部検索エンジン。

Claims (6)

1. 質問文を入力する質問文入力手段と、
   前記質問文入力手段によって入力された質問文から、質問対象であるエンティティを抽出するエンティティ抽出手段と、
   前記質問文入力手段によって入力された質問文から、特定の分野の質問文を想定した言語モデルによるパープレキシティの値を算出するパープレキシティ算出手段と、
   前記エンティティ抽出手段によるエンティティの抽出結果、及び前記パープレキシティ算出手段によって算出されたパープレキシティの値に基づいて、前記質問文入力手段によって入力された質問文が前記特定の分野の質問文であるか否かを判定する判定手段と、
   を備える質問分野判定装置。
2. 前記パープレキシティ算出手段は、前記質問文に含まれる単語の前後関係に基づいて、前記パープレキシティの値を算出する請求項１に記載の質問分野判定装置。
3. 前記判定手段は、前記エンティティの抽出結果に応じた閾値を設定し、設定した閾値と前記パープレキシティの値とを比較して、前記質問文が前記特定の分野の質問文であるか否かを判定する請求項１又は２に記載の質問分野判定装置。
4. 前記判定手段によって、前記質問文が前記特定の分野の質問文であると判定された場合には、第１の方法によって当該質問文に対する回答を生成して出力する第１回答手段と、
   前記判定手段によって、前記質問文が前記特定の分野以外の分野の質問文であると判定された場合には、第１の方法とは異なる第２の方法によって当該質問文に対する回答を生成して出力する第２回答手段と、
   を更に備える請求項１〜３の何れか一項に記載の質問分野判定装置。
5. 前記判定手段は、前記エンティティの抽出結果、及び前記パープレキシティの値に基づいて、前記質問文が前記特定の分野の質問文である度合いを算出し、
   前記判定手段によって算出された前記度合いに応じて、当該質問文に対する回答を行うための、前記エンティティ抽出手段によって抽出されたエンティティに関する情報追加を要求する情報追加要求手段を更に備える請求項１〜４の何れか一項に記載の質問分野判定装置。
6. 質問文を入力する質問文入力ステップと、
   前記質問文入力ステップにおいて入力された質問文から、質問対象であるエンティティを抽出するエンティティ抽出ステップと、
   前記質問文入力ステップにおいて入力された質問文から、特定の分野の質問文を想定した言語モデルによるパープレキシティの値を算出するパープレキシティ算出ステップと、
   前記エンティティ抽出ステップにおけるエンティティの抽出結果、及び前記パープレキシティ算出ステップにおいて算出されたパープレキシティの値に基づいて、前記質問文入力ステップにおいて入力された質問文が前記特定の分野の質問文であるか否かを判定する判定ステップと、
   を含む質問分野判定方法。

Images