JP6976155B2

JP6976155B2 - 類似テキスト抽出装置、自動応答システム、類似テキスト抽出方法、およびプログラム

Info

Publication number: JP6976155B2
Application number: JP2017241527A
Authority: JP
Inventors: 嵩博小堀; 善彬北川
Original assignee: Yahoo Japan Corp
Current assignee: Yahoo Japan Corp
Priority date: 2017-12-18
Filing date: 2017-12-18
Publication date: 2021-12-08
Anticipated expiration: 2037-12-18
Also published as: JP2019109654A

Description

本発明は、類似テキスト抽出装置、自動応答システム、類似テキスト抽出方法、およびプログラムに関する。

従来、形態素の重複度によって文章同士の類似度を求める技術が知られている（例えば、特許文献１参照）。この技術では、一の文章から得られた全形態素に対し、他の文章から得られた形態素と一致する形態素の割合を、文章同士の類似度として求めている。

また、単語をベクトル化する技術であって、メモリリソースが足りなくなることを懸念し、一部の代表的な単語について概念ベクトルを求めておき、希少な単語に関しては、代表的な単語に対応付けられている概念ベクトルの重心から求められる複数の文ベクトルのうち、希少な単語が出現する文の文ベクトルに基づいて概念ベクトルを補完する技術が知られている（例えば、特許文献２参照）。

特開２００４−１７１２１５号公報特開２００６−１１９７１４号公報

従来の技術では、類似度の高いテキスト群を簡便に抽出することができない場合があった。

本発明は、このような事情を考慮してなされたものであり、類似度の高いテキスト群を簡便に抽出することができる類似テキスト抽出装置、自動応答システム、類似テキスト抽出方法、およびプログラムを提供することを目的の一つとする。

本発明の一態様は、複数の対象テキストのそれぞれについて、前記テキストごとに単語分割を行い単語ベクトルを生成する単語ベクトル生成部と、前記単語ベクトル生成部により生成された単語ベクトルに基づいて、前記対象テキストの特徴を示す文ベクトルを生成する文ベクトル生成部と、前記文ベクトル生成部により生成された文ベクトルに基づいて、前記複数の対象テキストから互いに類似する対象テキストを抽出する抽出部と、を備える類似テキスト抽出装置である。

本発明の一態様によれば、類似度の高いテキスト群を簡便に抽出することができる。

類似テキスト抽出装置１００の機能構成と使用環境の一例を示す図である。発話ＤＢ１０から取得される複数の対象テキストの一例を示す図である。単語分割部１１２および単語ベクトル生成部１１６が類似テキスト抽出装置１００とは別体の装置である場合に実行される処理の流れの一例を示すシーケンス図である。類似度算出部１２０により実行される処理の流れの一例を示すフローチャートである。代表固有名詞を「赤坂見附」としてラベル化処理した場合の実験結果を示す図である。他の例による実験結果を示す図である。類似テキスト抽出装置１００の処理結果を利用する自動応答装置５００の機能構成と使用環境の一例を示す図である。自動応答装置５００による処理内容を概念的に示す図である。

［概要］
以下、図面を参照し、本発明の類似テキスト抽出装置、類似テキスト抽出方法、およびプログラムの実施形態について説明する。類似テキスト抽出装置は、一以上のハードウェアプロセッサにより実現される。類似テキスト抽出装置は、抽出対象のテキスト（以下、対象テキスト）から、任意に選択された第１対象テキストと類似する類似対象テキストを抽出する装置である。対象テキストは、例えば、発話をテキスト化したものであり、更に具体的には、人工知能（Artificial Intelligence; AI）により動作する自動応答装置と、人である利用者との間で行われた発話のテキスト情報である。発話は、テキスト入力とテキスト表示の形式で行われてもよいし、音声によって行われてもよい。後者の場合、音声認識などによってテキスト化された情報が発話のテキスト情報となる。なお、対象テキストは、このような発話に限らず、会話型のＳＮＳ（Social Networking Service）で交換されたメッセージでもよいし、ビデオチャットなどで交換された人同士の発話をテキスト化したものでもよい。

類似テキスト抽出装置が判断する「類似」とは、表層的な類似すなわち固有名詞などの文言の一致や言い回しの類似ではなく、意味的な類似である。意味的な類似とは、各対象テキストが抽象化された意味合いとして似ていることをいう。従って、「〇〇（地名）で食事をする場所を尋ねている」といった抽象的な意味が共通する場合、仮に地名自体や言い回しが似ていなくても、意味的な類似性は高いと判断される。

［全体構成］
図１は、類似テキスト抽出装置１００の機能構成と使用環境の一例を示す図である。類似テキスト抽出装置１００は、例えば、導出部１１０と、類似度算出部１２０と、類似テキスト抽出部１３０とを備える。導出部１１０は、単語分割部１１２と、ラベル化処理部１１４と、単語ベクトル生成部１１６と、文ベクトル生成部１１８とを備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。図１に示す各構成要素は、例えば、ネットワークを介して通信可能である。ネットワークは、例えば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）、インターネット、無線基地局、プロバイダ端末などを含む。

類似テキスト抽出装置１００は、図１に示す構成の他、図示しないキーボードやマウス、タッチパネルなどの入力装置、ディスプレイやスピーカなどの出力装置、記憶媒体を装着可能なドライブ装置などを備えてもよい。

類似テキスト抽出装置１００は、発話ＤＢ（データベース）１０から発話のログ情報を取得する。この発話のログ情報は、複数の対象テキストを含む。前述したように、対象テキストは、自動応答装置と利用者との間で行われた会話に含まれる発話のテキスト情報である。発話ＤＢ１０は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置により記憶されているデータベースである。

［導出部］
導出部１１０は、複数の対象テキストのそれぞれについて、コーパスにおける対象テキストを分割した単語と他の単語との共起性に基づいて導出された、分割した単語の単語ベクトルに基づいて、対象テキストの特徴を示す対象文ベクトルを導出する。なお、導出部１１０のラベル化処理部１１４は、分割した単語の単語ベクトルと共に分割した単語のカテゴリ情報を取得し、分割した単語のうち概念的に共通する固有名詞を一つの抽象化されたラベルまたは代表固有名詞に置換する。そして、導出部１１０は、コーパスにおけるラベルまたは代表固有名詞と他の単語との共起性に基づいて導出された代表固有名詞の単語ベクトルを、概念的に共通する固有名詞の単語ベクトルとする。具体例については以下に順を追って説明する。

図２は、発話ＤＢ１０から取得される複数の対象テキストの一例を示す図である。対象テキストは、発話主体が一回の発話を行うごとに区切られたものである。導出部１１０は、このような複数の対象テキストを単語分割部１１２に出力し、単語への分割を依頼する。

単語分割部１１２は、例えば、MeCabなどの形態素解析エンジンを用いて動作し、対象テキストのそれぞれを単語に分割すると共に、分割した単語のそれぞれについて、名詞、動詞、形容詞、形容動詞、助動詞、助詞などの品詞を判別する。また、単語分割部１１２は、名詞に関しては、更に固有名詞、人名、場所名などの詳細内容を判別する。単語分割部１１２は、対象テキストを分割した単語の情報と、上記の判別結果とを導出部１１０に返す。なお、単語分割部１１２は、類似テキスト抽出装置１００とは別体の装置により実現されてもよい。

ラベル化処理部１１４は、単語分割部１１２から取得した単語の情報を参照し、例えば、場所名を特定の場所名（固有名詞）に置換する。図２の例では、対象テキスト（１）と対象テキスト（３）は、例えば以下のように単語に分割されて、括弧書きのように品詞や詳細内容が付与されている。
（１）紀尾井町（固有名詞、場所名）／の（助詞）／地図（名詞）／を（助詞）／見せて（動詞）
（３）丸の内（固有名詞、場所名）／の（助詞）／レストラン（名詞）／を（助詞）／教えて（動詞）

上記の例では、ラベル化処理部１１４は、固有名詞かつ場所名である「紀尾井町」と「丸の内」が概念的に共通する固有名詞であると判定する。そして、「丸の内」および「紀尾井町」を［LOCATION］などの共有する抽象化されたラベルに置き換える処理を行う（ラベル化処理）。［LOCATION］というラベルでなく、代表固有名詞、例えば「紀尾井町」などに置き換える処理を行ってもよい。また、ラベル化処理部１１４は、複数の場所名あるいは場所を示す名詞が「の」、「にある」などの助詞を挟んで存在する場合、それらをまとめて代表固有名詞に置換してもよい。例えば、ラベル化処理部１１４は、「丸の内／の／ハンバーガーショップ」をまとめて「紀尾井町」に置換してもよい。これらの処理によって、類似テキスト抽出装置１００は、場所に関する質問やコメントに関しては、特有の場所に依存することなく対象テキストの意味的な類似を判定することができる。

導出部１１０は、ラベル化処理部１１４による処理が終了すると、例えば、対象テキストを分割した単語から助詞などの機能表現を除外する処理を行う。そして、除外後の単語を単語ベクトル生成部１１６に出力して、単語ベクトルの生成を依頼する。

単語ベクトル生成部１１６は、コーパスに含まれる単語を、他の単語との共起性に基づいて決定される分散表現としての単語ベクトルに変換する。コーパスは、予め単語ベクトル生成部１１６において用意されたものであってもよいし、類似テキスト抽出装置１００から提供されたものであってもよい。例えば、単語ベクトル生成部１１６は、ｗｏｒｄ２ｖｅｃと称されているニューラルネットワークに基づく手法を利用して、コーパスに含まれる複数の単語のそれぞれを単語ベクトルに変換し、導出部１１０に返す。これによって、導出部１１０は単語ベクトルを取得する。なお、単語ベクトル生成部１１６は、類似テキスト抽出装置１００とは別体の装置により実現されてもよい。

図３は、単語分割部１１２および単語ベクトル生成部１１６が類似テキスト抽出装置１００とは別体の装置である場合に実行される処理の流れの一例を示すシーケンス図である。まず、類似テキスト導出部１００の導出部１１０は、発話ＤＢ１０から複数の対象テキストを取得する（Ｓ１００）。次に、導出部１１０は、複数の対象テキストを単語分割部１１２（図では単語分割装置）に出力する（Ｓ１０２）。単語分割部１１２は、入力された複数の対象テキストのそれぞれに対して形態素解析処理を行い（Ｓ１０４）、処理結果を導出部１１０に返す（Ｓ１０６）。

次に、ラベル化処理部１１４がラベル化処理を行い（Ｓ１０８）、導出部１１０が機能表現を除外する処理を行う（Ｓ１１０）。そして、導出部１１０は、Ｓ１０８およびＳ１１０の処理を経て残った単語（以下、「フィルタ済単語」と称する）の情報を、単語ベクトル生成部１１６（図では単語ベクトル生成装置）に出力する（Ｓ１１２）。単語ベクトル生成部１１６は、ｗｏｒｄ２ｖｅｃを利用して単語ベクトルを生成し（Ｓ１１４）、生成した単語ベクトルを導出部１１０に出力する。

［類似度算出部］
類似度算出部１２０は、導出部１１０によって取得された単語ベクトルに基づいて、第１対象テキストと、第１対象テキスト以外の複数の第２対象テキストとの類似度を算出する。第１対象テキストとは、例えば、発話ＤＢ１０から取得された複数の対象テキストから選択された任意の対象テキストである。また、第１対象テキストは、任意に考えられた発話であってもよい。第１対象テキストの指定は、例えば、前述した入力装置を介して行われる。

図４は、類似度算出部１２０により実行される処理の流れの一例を示すフローチャートである。類似度算出部１２０は、まず、対象テキストのそれぞれについて、対象ベクトルに含まれる単語の単語ベクトルに基づいて、文ベクトルを導出する（Ｓ２００）。

例えば、類似度算出部１２０は、式（１）に示すように、対象テキストから得られたフィルタ済単語の単語ベクトルを加算し、フィルタ済単語の数で除算することで、対象テキストの文ベクトルを導出する。式中、Ｖｔｘは文ベクトルであり、ｗｖ（ｎ）はｎ番目のフィルタ済単語の単語ベクトルであり、ｋは対象テキストから得られたフィルタ済単語の数である。
Ｖｔｘ＝｛ｗｖ（１）＋ｗｖ（２）＋…＋ｗｖ（ｋ）｝／ｋ …（１）

ここで、類似度算出部１２０は、式（２）に示すように、対象テキストから得られたフィルタ済単語の単語ベクトルに重み係数を乗算してから加算し（加重和を求め）、フィルタ済単語の数で除算することで、対象テキストの文ベクトルを導出してもよい。式中、αｎはｎ番目のフィルタ済単語に乗算する重み係数である。重み係数は、任意の規則で定められてよいが、例えば、（Ａ）動詞や形容動詞を重くするなど、品詞に応じて定めてもよいし、（Ｂ）先頭と末尾を大きくする（あるいはその逆）など、対象テキストにおける出現位置に応じて定められてもよい。いずれの場合も、類似度算出部１２０は、品詞の種別または対象テキストにおける出現位置をフィルタ済単語のそれぞれについて特定し、特定した結果に基づいて重み係数を決定する。
Ｖｔｘ＝｛α１・ｗｖ（１）＋α２・ｗｖ（２）＋…＋αｋ・ｗｖ（ｋ）｝／ｋ …（２）

図４に戻り、類似度算出部１２０は、第１対象テキストの指定を受け付ける（Ｓ２０２）。第１対象ベクトルの指定は、Ｓ２００よりも前に行われてもよい。また、複数の第１対象ベクトルが指定されてもよい。第１対象テキスト以外の対象テキストが第２対象テキストとして扱われる。以下、第１対象テキストについて求められた文ベクトルを第１対象文ベクトルと称し、第２対象テキストについて求められた文ベクトルを第２対象文ベクトルと称する。

次に、類似度算出部１２０は、第２対象文ベクトルのそれぞれについて、第１対象文ベクトルとの類似度を算出する（Ｓ２０４）。類似度算出部１２０は、例えば、第２対象文ベクトルと第１対象文ベクトルとのコサイン類似度を、それらの類似度として算出する。

なお、Ｓ２０４の処理に先立って、類似度算出部１２０は、例えばｄｏｃ２ｖｅｃなどを利用して第１対象文ベクトルと類似する第２対象文ベクトルを粗く抽出し、抽出したものについてＳ２０４の処理を行ってもよい。

［類似テキスト抽出部］
類似テキスト抽出部１３０は、類似度算出部１２０により算出された類似度が高い一以上の第２対象文ベクトルの元となった第２対象テキストを、第１対象テキストと類似する類似対象テキストとして抽出する。「類似度が高い」とは、ある基準値よりも高いことを意味してもよいし、類似度が高い順に並べた場合に所定順位以上であることを意味してもよい。類似テキスト抽出部１３０により抽出された類似対象テキストは、第１対象テキストと意味的に類似するものとして、正規表現ＤＢ１５０に登録される。

正規表現ＤＢ１５０は、自動応答装置において、例えば、類似対象テキストに合致する発話が利用者によってなされた場合、その発話は第１対象テキストと同じ意味であると判断する、という基準として用いられる。詳しくは、後述する。本実施形態の類似テキスト抽出装置１００によって、テキスト同士の類似度を簡便に求めることができるため、これを用いて正規表現ＤＢを構築することで、自動応答装置の応答基準情報を簡便に生成することができる。

［実験結果］
図５は、代表固有名詞を「赤坂見附」としてラベル化処理した場合の実験結果を示す図である。また、図６は、他の例による実験結果を示す図である。これらの実験は、２０００万発話の対象テキストを対象として、上記説明した手法によって行われた。図５の例は、第１対象テキストを「赤坂見附の地図を見せて」とし、第１対象テキストを含めて類似度の高い上位２０個の対象テキストを抽出したものである。また、図６の例は、第１対象テキストを「高速道路の渋滞状況を教えて」とし、第１対象テキストを含めて類似度の高い上位２０個の対象テキストを抽出したものである。図示するように、意味的に近い対象テキストが抽出されていることがわかる。

［適用例］
図７は、類似テキスト抽出装置１００の処理結果を利用する自動応答装置５００の機能構成と使用環境の一例を示す図である。類似テキスト抽出装置１００と自動応答装置５００を合わせて自動応答システム５０が構成されてもよい。なお、自動応答システム５０は、類似テキスト抽出装置１００と自動応答装置５００を統合した一つの装置であってもよい。

自動応答装置５００は、ネットワークＮＷを介して端末装置４００と通信する。端末装置４００は、例えば、スマートフォンなどの携帯電話、タブレット端末、パーソナルコンピュータなどである。ネットワークＮＷは、例えば、ＷＡＮやＬＡＮ、インターネット、無線基地局、プロバイダ端末などを含む。端末装置４００および自動応答装置５００は、それぞれ、ネットワークＮＷに接続するための各種通信インターフェースを備える。

端末装置４００は、利用者の発話の入力を受け付けるための入力デバイス（タッチパネル、マイクなど）を備える。端末装置４００は、利用者によって入力された発話の内容を示すテキスト情報あるいは音声情報を、自動応答装置５００に送信する。

自動応答装置５００は、例えば、正規表現抽出部５１０と、応答内容作成部５２０と、類似度算出部５３０とを備える。なお、類似度算出部５３０は必須の構成ではなく、省略されてもよい。自動応答装置５００は、類似テキスト抽出装置１００によって作成された正規表現ＤＢ１５０を利用して以下に説明する処理を行う。

図８は、自動応答装置５００による処理内容を概念的に示す図である。例えば、端末装置４００から「渋谷を地図で見せて」なる発話が受信されたとする。正規表現抽出部５１０は、単語分割部１１２と同様の形態素解析機能を有し、受信された発話を品詞に分割する。そして、固有名詞かつ場所名に該当する渋谷を符号に変換した検索キーを生成し、正規表現ＤＢ１５０を検索する。

正規表現ＤＢ１５０には、例えば、第１対象テキストの内容のうち固有名詞を抽象化された符号に変換した情報（正規表現）が登録されている。一例として、図示するように、（固有名詞、場所）を示す符号に対して「の地図を見せて」、「を地図で見せて」などのテキストが付与された情報が、正規表現として登録されている。

応答内容作成部５２０は、各第１対象テキストに対して応答すべき内容を、予め保持している。図８の例では、ヒットした「（固有名詞、場所）を地図で見せて」に対応する第１対象テキスト「（固有名詞、場所）の地図を見せて」を正規表現ＤＢ１５０から取得し、地図の情報を提供すればよいことを認識する。

そして、応答内容作成部５２０は、（固有名詞、場所）の部分に、正規表現抽出部５１０によって符号化された元情報である「渋谷」を埋め込むことで、「渋谷の地図を見たい」という利用者の意思を認識する。応答内容作成部５２０は、ネットワーク検索などを行い、渋谷の地図の画像情報、あるいはそれを呼び出すためのＵＲＬ（Uniform Resource Locator）などの参照情報を端末装置４００に送信する。

類似度算出部５３０は、正規表現抽出部５１０が発話ＤＢ１５０を検索した結果、ヒットしなかった場合に機能する。類似度算出部５３０は、例えば、類似テキスト抽出装置１００の導出部１１０および類似度算出部１２０と同様の機能を有し、端末装置４００から受信された発話を対象テキストとした場合の文ベクトルと、正規表現ＤＢ１５０に格納された各第１対象テキストに対応する第１対象文ベクトルとを取得する。そして、端末装置４００から受信された発話を対象テキストとした場合の文ベクトルと各第１対象文ベクトルとの類似度を算出し、最も類似度が高い第１対象ベクトルを、応答内容作成部５２０に出力する。応答内容作成部５２０は、入力された第１対象ベクトルに基づいて、端末装置４００への応答内容を決定する。これによって、正規表現ＤＢ１５０に登録されていない対象テキストに対しても、適切な応答を端末装置４００に返すことができる。

以上説明した実施形態の類似テキスト抽出装置によれば、複数の対象テキストのそれぞれについて、コーパスにおける対象テキストを分割した単語と他の単語との共起性に基づいて、分割した単語ごとの単語ベクトルを生成する単語ベクトル生成部１１６と、単語ベクトル生成部１１６により生成された単語ベクトルに基づいて、対象テキストの特徴を示す文ベクトルを生成する文ベクトル生成部１１８と、文ベクトル生成部１１８により生成された文ベクトルに基づいて、複数の対象テキストから互いに類似する対象テキストを抽出する抽出部１３０と、を備えることにより、類似度の高いテキスト群を簡便に抽出することができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

５０自動応答システム
１００類似テキスト抽出装置
１１０導出部
１１５ラベル化処理部
１２０類似度算出部
１３０類似テキスト抽出部
１５０正規表現ＤＢ
２００単語分割装置
３００単語ベクトル生成装置
５００自動応答装置
５１０正規表現抽出部
５２０応答内容作成部
５３０類似度算出部

Claims

複数の対象テキストのそれぞれについて、前記対象テキストごとに単語分割を行い単語ベクトルを生成する単語ベクトル生成部と、
前記単語ベクトル生成部により生成された単語ベクトルに基づいて、前記対象テキストの特徴を示す文ベクトルを生成する文ベクトル生成部と、
前記文ベクトル生成部により生成された文ベクトルに基づいて、前記複数の対象テキストから互いに類似する対象テキストを抽出する抽出部と、
前記単語分割を行った単語の単語ベクトルと共に前記単語分割を行った単語のカテゴリ情報を取得し、前記単語分割を行った単語のうち概念的に共通する固有名詞を抽象的なラベルに置換するラベル化処理部と、
を備える類似テキスト抽出装置。
複数の対象テキストのそれぞれについて、前記対象テキストごとに単語分割を行い単語ベクトルを生成する単語ベクトル生成部と、
前記単語ベクトル生成部により生成された単語ベクトルに基づいて、前記対象テキストの特徴を示す文ベクトルを生成する文ベクトル生成部と、
前記文ベクトル生成部により生成された文ベクトルに基づいて、前記複数の対象テキストから互いに類似する対象テキストを抽出する抽出部と、
前記単語分割を行った単語の単語ベクトルと共に前記単語分割を行った単語のカテゴリ情報を取得し、前記単語分割を行った単語のうち概念的に共通する固有名詞を一つの代表固有名詞に置換するラベル化処理部と、
を備える類似テキスト抽出装置。
前記単語ベクトル生成部は、単語の共起性に基づき前記単語ベクトルを生成することを特徴とする、
請求項１または２に記載の類似テキスト抽出装置。
前記対象テキストは、会話コーパスから抽出されたことを特徴とする、
請求項１から３のうちいずれか１項に記載の類似テキスト抽出装置。
前記文ベクトル生成部は、前記対象テキストについて前記単語ベクトル生成部により生成された単語ベクトルに対して統計処理を行うことで、当該対象テキストの前記文ベクトルを生成する、
請求項１から４のうちいずれか１項記載の類似テキスト抽出装置。
前記文ベクトル生成部は、前記対象テキストについて前記単語ベクトル生成部により生成された単語ベクトルの平均を求めることで、当該対象テキストの前記文ベクトルを生成する、
請求項５記載の類似テキスト抽出装置。
前記複数の対象テキストのうち第１対象テキストについて前記文ベクトル生成部により生成された第１対象文ベクトルと、前記複数の対象テキストのうち前記第１対象テキスト以外の複数の第２対象テキストについて前記文ベクトル生成部により生成された複数の第２対象文ベクトルとの類似度を算出する算出部を更に備え、
前記抽出部は、前記算出部により算出された前記類似度が高い一以上の第２対象文ベクトルの元となった前記第２対象テキストを、前記第１対象テキストと類似する類似対象テキストとして前記複数の対象テキストから抽出する、
請求項１から６のうちいずれか１項記載の類似テキスト抽出装置。
前記単語ベクトル生成部は、前記単語分割を行った単語から機能表現を除外した単語について前記単語ベクトルを生成する、
請求項１から７のうちいずれか１項記載の類似テキスト抽出装置。
請求項７記載の類似テキスト抽出装置と、
利用者の発話に基づく検索キーで、前記抽出部により抽出された類似対象テキストと対応する前記第１対象テキストとが対応付けられた類似テキスト群を複数含むデータベースを検索し、検索結果に基づいて、前記利用者の発話に対して自動応答する自動応答装置と、
を備える自動応答システム。
前記自動応答装置は、前記利用者の発話に該当する前記類似対象テキストまたは前記第１対象テキストが前記データベースに存在しない場合、前記利用者の発話との類似度の高い前記第１対象テキストを前記データベースから抽出し、前記抽出した前記第１対象テキストを用いて、前記利用者の発話に対して自動応答する、
請求項９記載の自動応答システム。
コンピュータが、
複数の対象テキストのそれぞれについて、前記対象テキストごとに単語分割を行い単語ベクトルを生成し、
前記生成した単語ベクトルに基づいて、前記対象テキストの特徴を示す文ベクトルを生成し、
前記生成した文ベクトルに基づいて、前記複数の対象テキストから互いに類似する対象テキストを抽出し、
前記単語分割を行った単語の単語ベクトルと共に前記単語分割を行った単語のカテゴリ情報を取得し、
前記単語分割を行った単語のうち概念的に共通する固有名詞を抽象的なラベルに置換する、
類似テキスト抽出方法。
コンピュータに、
複数の対象テキストのそれぞれについて、前記対象テキストごとに単語分割を行い単語ベクトルを生成させ、
前記生成させた単語ベクトルに基づいて、前記対象テキストの特徴を示す文ベクトルを生成させ、
前記生成させた文ベクトルに基づいて、前記複数の対象テキストから互いに類似する対象テキストを抽出させ、
前記単語分割を行った単語の単語ベクトルと共に前記単語分割を行った単語のカテゴリ情報を取得させ、
前記単語分割を行った単語のうち概念的に共通する固有名詞を抽象的なラベルに置換させる、
プログラム。