JP6647475B2 - 言語処理装置、言語処理システムおよび言語処理方法 - Google Patents

Description

この発明は、言語処理装置、言語処理システムおよび言語処理方法に関する。

大量の情報から必要な情報を提示する技術の一つとして質問応答技術がある。質問応答技術は、ユーザが普段使用している言葉をそのまま入力とし、ユーザが必要とする情報を過不足なく出力することを目的としている。ユーザが普段使用している言葉を扱う上で、処理対象の文に存在する未知語、すなわち事前に用意された文書に使用されていない単語を適切に扱うことが重要である。

例えば、非特許文献１に記載される従来の技術では、大規模コーパスを用いた機械学習によって単語および文の周囲の文脈を判断することによって、処理対象の文を単語および文の意味を表す数値ベクトル（以下、意味ベクトルと記載する）で表現している。意味ベクトルの作成に使用される大規模コーパスには大量の語彙が含まれるため、処理対象の文に未知語が生じにくいという利点がある。

Ｔｏｍａｓ Ｍｉｋｏｌｏｖ， Ｋａｉ Ｃｈｅｎ， Ｇｒｅｇ Ｃｏｒｒａｄｏ， ａｎｄ Ｊｅｆｆｒｅｙ Ｄｅａｎ， "Ｅｆｆｉｃｉｅｎｔ Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｗｏｒｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｉｎ Ｖｅｃｔｏｒ Ｓｐａｃｅ"， ＩＣＬＲ ２０１３．

非特許文献１に記載される従来の技術は、大規模コーパスを用いることにより、未知語の問題に対処している。
しかしながら、非特許文献１に記載される従来の技術では、互いに異なる単語および文であっても、その周囲の文脈が似ていると、これらは類似した意味ベクトルにマッピングされる。このため、意味ベクトルで表現される単語および文の意味が曖昧になり、区別が難しくなるという課題があった。

例えば、“冷凍庫での冷凍食品の保存期間の目安を教えて”という文Ａと、“製氷室での冷凍食品の保存期間の目安を教えて”という文Ｂとでは、“冷凍庫”および“製氷室”という互いに異なる単語が含まれているが、“冷凍庫”の周囲の文脈と“製氷室”の周囲の文脈とが同じである。このため、非特許文献１に記載される従来の技術では、文Ａと文Ｂが類似した意味ベクトルにマッピングされて区別が難しくなる。文Ａと文Ｂとが正しく区別されないと、文Ａと文Ｂとを質問文としたときに正しい応答文が選択されなくなる。

この発明は上記課題を解決するものであり、未知語の問題に対処しつつ、処理対象の文の意味を曖昧にすることなく、処理対象の文に対応する適切な応答文を選択することができる言語処理装置、言語処理システムおよび言語処理方法を得ることを目的とする。

この発明に係る言語処理装置は、質問応答データベース（以下、質問応答ＤＢと記載する）、形態素解析部、第１のベクトル作成部、第２のベクトル作成部、ベクトル統合部、および応答文選択部を備える。質問応答ＤＢには、複数の質問文と複数の応答文とが対応付けて登録されている。形態素解析部は、処理対象の文を形態素解析する。第１のベクトル作成部は、処理対象の文に含まれる単語に対応する次元を有し、次元の要素が質問応答ＤＢにおける単語の出現回数である、Ｂａｇ−ｏｆ−Ｗｏｒｄｓベクトル（以下、ＢｏＷベクトルと記載する）を、形態素解析部によって形態素解析された文から作成する。第２のベクトル作成部は、処理対象の文の意味を表す意味ベクトルを、形態素解析部によって形態素解析された文から作成する。ベクトル統合部は、ＢｏＷベクトルと意味ベクトルとを統合した統合ベクトルを作成する。応答文選択部は、ベクトル統合部によって作成された統合ベクトルに基づいて、質問応答ＤＢから、処理対象の文に対応する質問文を特定して、特定した質問文に対応する応答文を選択する。

この発明によれば、未知語の問題は存在するが、文の意味を曖昧にすることなく文のベクトル表現が可能なＢｏＷベクトルと、未知語の問題に対処できるが、文の意味が曖昧になる可能性がある意味ベクトルとを統合した統合ベクトルが応答文の選択に使用される。言語処理装置は、統合ベクトルを参照することで、未知語の問題に対処しつつ、処理対象の文の意味を曖昧にすることなく、処理対象の文に対応する適切な応答文を選択することができる。

この発明の実施の形態１に係る言語処理システムの構成を示すブロック図である。 質問応答ＤＢの登録内容の例を示す図である。 図３Ａは、実施の形態１に係る言語処理装置の機能を実現するハードウェア構成を示すブロック図である。図３Ｂは、実施の形態１に係る言語処理装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。 実施の形態１に係る言語処理方法を示すフローチャートである。 形態素解析処理を示すフローチャートである。 ＢｏＷベクトル作成処理を示すフローチャートである。 意味ベクトル作成処理を示すフローチャートである。 統合ベクトル作成処理を示すフローチャートである。 応答文選択処理を示すフローチャートである。 この発明の実施の形態２に係る言語処理システムの構成を示すブロック図である。 実施の形態２に係る言語処理方法を示すフローチャートである。 重要概念ベクトル作成処理を示すフローチャートである。 実施の形態２における統合ベクトル作成処理を示すフローチャートである。 この発明の実施の形態３に係る言語処理システムの構成を示すブロック図である。 実施の形態３に係る言語処理方法を示すフローチャートである。 未知語率算出処理を示すフローチャートである。 重み調節処理を示すフローチャートである。 実施の形態３における統合ベクトル作成処理を示すフローチャートである。

以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る言語処理システム１の構成を示すブロック図である。言語処理システム１は、ユーザから入力された文に対応する応答文を選択して出力するシステムであり、言語処理装置２、入力装置３および出力装置４を備える。
入力装置３は、処理対象の文の入力を受け付ける装置であって、例えば、キーボード、マウスまたはタッチパネルにより実現される。出力装置４は、言語処理装置２により選択された応答文を出力する装置であり、例えば、応答文を表示する表示装置、応答文を音声で出力する音声出力装置（スピーカなど）である。

言語処理装置２は、入力装置３が受け付けた処理対象の文（以下、入力文と記載する）を言語処理した結果に基づいて、入力文に対応する応答文を選択する。言語処理装置２は、形態素解析部２０、ＢｏＷベクトル作成部２１、意味ベクトル作成部２２、ベクトル統合部２３、応答文選択部２４および質問応答ＤＢ２５を備える。形態素解析部２０は、入力装置３から取得した入力文を形態素解析する。

ＢｏＷベクトル作成部２１は、入力文に対応するＢｏＷベクトルを作成する第１のベクトル作成部である。ＢｏＷベクトルは、文を、Ｂａｇ−ｔｏ−Ｗｏｒｄｓと呼ばれるベクトル表現方法で表したものである。ＢｏＷベクトルは、入力文に含まれる単語に対応する次元を有しており、次元の要素は、質問応答ＤＢ２５における、次元に対応する単語の出現回数である。なお、単語の出現回数は、入力文に単語が存在するか否かを示す値であってもよい。例えば、ある単語が入力文に少なくとも一つ出現していれば、出現回数を１とし、それ以外であれば、出現回数を０とする。

意味ベクトル作成部２２は、入力文に対応する意味ベクトルを作成する第２のベクトル作成部である。意味ベクトルにおける次元のそれぞれは、ある概念に対応しており、この概念との意味的な距離に対応する数値が次元の要素である。例えば、意味ベクトル作成部２２は、意味ベクトル作成器として機能する。意味ベクトル作成器は、大規模コーパスを使用した機械学習によって、形態素解析された入力文から、入力文の意味ベクトルを作成する。

ベクトル統合部２３は、ＢｏＷベクトルと意味ベクトルを統合した統合ベクトルを作成する。例えば、ベクトル統合部２３は、ニューラルネットワークとして機能する。ニューラルネットワークは、ＢｏＷベクトルと意味ベクトルを任意の次元の一つの統合ベクトルに変換する。すなわち、統合ベクトルは、ＢｏＷベクトルの要素と意味ベクトルの要素を備える一つのベクトルである。

応答文選択部２４は、統合ベクトルに基づいて、質問応答ＤＢ２５から、入力文に対応する質問文を特定し、特定した質問文に対応する応答文を選択する。例えば、応答文選択部２４は、応答文選択器として機能する。応答文選択器は、質問応答ＤＢ２５における、質問文と応答文ＩＤとの対応関係を学習することで事前に構築される。応答文選択部２４によって選択された応答文は出力装置４に送出される。出力装置４は、応答文選択部２４によって選択された応答文を視覚的または聴覚的に出力する。

質問応答ＤＢ２５には、複数の質問文と複数の応答文とが対応付けて登録されている。図２は、質問応答ＤＢ２５の登録内容の例を示す図である。質問応答ＤＢ２５には、図２に示すように、質問文、質問文に対応する応答文ＩＤ、応答文ＩＤに対応する応答文の組み合わせが登録されている。質問応答ＤＢ２５において、１つの応答文ＩＤに対して複数の質問文が対応してもよい。

図３Ａは、言語処理装置２の機能を実現するハードウェア構成を示すブロック図である。図３Ｂは、言語処理装置２の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図３Ａおよび図３Ｂにおいて、マウス１００とキーボード１０１は、図１に示す入力装置３であり、入力文を受け付ける。表示装置１０２は、図１に示す出力装置４であり、入力文に対応する応答文を表示する。補助記憶装置１０３は、質問応答ＤＢ２５のデータを記憶する。補助記憶装置１０３は、言語処理装置２とは独立して設けられた記憶装置であってもよい。例えば、言語処理装置２は、通信インタフェースを介して、クラウド上に存在する補助記憶装置１０３を利用してもよい。

言語処理装置２における形態素解析部２０、ＢｏＷベクトル作成部２１、意味ベクトル作成部２２、ベクトル統合部２３および応答文選択部２４のそれぞれの機能は、処理回路により実現される。すなわち、言語処理装置２は、図４を用いて後述するステップＳＴ１からステップＳＴ６までの処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。

処理回路が、図３Ａに示す専用のハードウェアの処理回路１０４である場合、処理回路１０４は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはこれらを組み合わせたものが該当する。形態素解析部２０、ＢｏＷベクトル作成部２１、意味ベクトル作成部２２、ベクトル統合部２３および応答文選択部２４のそれぞれの機能を別々の処理回路で実現してもよいし、これらの機能をまとめて１つの処理回路で実現してもよい。

処理回路が、図３Ｂに示すプロセッサ１０５である場合に、形態素解析部２０、ＢｏＷベクトル作成部２１、意味ベクトル作成部２２、ベクトル統合部２３および応答文選択部２４のそれぞれの機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。ソフトウェアまたはファームウェアは、プログラムとして記述されて、メモリ１０６に記憶される。

プロセッサ１０５は、メモリ１０６に記憶されたプログラムを読み出して実行することで、形態素解析部２０、ＢｏＷベクトル作成部２１、意味ベクトル作成部２２、ベクトル統合部２３および応答文選択部２４のそれぞれの機能を実現する。
すなわち、言語処理装置２は、プロセッサ１０５により実行されるときに、図４に示すステップＳＴ１からステップＳＴ６までの処理が結果的に実行されるプログラムを記憶するためのメモリ１０６を備える。これらのプログラムは、形態素解析部２０、ＢｏＷベクトル作成部２１、意味ベクトル作成部２２、ベクトル統合部２３および応答文選択部２４の手順または方法をコンピュータに実行させるものである。
メモリ１０６は、コンピュータを、形態素解析部２０、ＢｏＷベクトル作成部２１、意味ベクトル作成部２２、ベクトル統合部２３および応答文選択部２４として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。

メモリ１０６には、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ−ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。

形態素解析部２０、ＢｏＷベクトル作成部２１、意味ベクトル作成部２２、ベクトル統合部２３および応答文選択部２４のそれぞれの機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。例えば、形態素解析部２０、ＢｏＷベクトル作成部２１および意味ベクトル作成部２２は、専用のハードウェアとしての処理回路で機能を実現する。ベクトル統合部２３および応答文選択部２４については、プロセッサ１０５がメモリ１０６に記憶されたプログラムを読み出して実行することにより機能を実現してもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせにより上記機能のそれぞれを実現することができる。

次に動作について説明する。
図４は、実施の形態１に係る言語処理方法を示すフローチャートである。
入力装置３が、入力文を取得する（ステップＳＴ１）。続いて、形態素解析部２０は、入力装置３から入力文を取得して、入力文を形態素解析する（ステップＳＴ２）。

ＢｏＷベクトル作成部２１は、形態素解析部２０により形態素解析された文から、入力文に対応するＢｏＷベクトルを作成する（ステップＳＴ３）。
意味ベクトル作成部２２は、形態素解析部２０により形態素解析された文から、入力文に対応する意味ベクトルを作成する（ステップＳＴ４）。

次に、ベクトル統合部２３は、ＢｏＷベクトル作成部２１により作成されたＢｏＷベクトルと意味ベクトル作成部２２により作成された意味ベクトルとを統合した統合ベクトルを作成する（ステップＳＴ５）。
応答文選択部２４は、ベクトル統合部２３により作成された統合ベクトルに基づいて、質問応答ＤＢ２５から、入力文に対応する質問文を特定して、特定した質問文に対応する応答文を選択する（ステップＳＴ６）。

図５は、形態素解析処理を示すフローチャートであって、図４のステップＳＴ２の処理の詳細を示している。形態素解析部２０は、入力装置３から入力文を取得する（ステップＳＴ１ａ）。形態素解析部２０は、入力文を形態素に分割して単語ごとに分かち書きをすることで、形態素解析された文を作成する（ステップＳＴ２ａ）。形態素解析部２０は、形態素解析した文を、ＢｏＷベクトル作成部２１と意味ベクトル作成部２２へ出力する（ステップＳＴ３ａ）。

図６は、ＢｏＷベクトル作成処理を示すフローチャートであり、図４のステップＳＴ３の処理の詳細を示している。ＢｏＷベクトル作成部２１は、形態素解析部２０により形態素解析された文を取得する（ステップＳＴ１ｂ）。次に、ＢｏＷベクトル作成部２１は、処理対象の単語が質問応答ＤＢ２５に出現したか否かを判定する（ステップＳＴ２ｂ）。

処理対象の単語が質問応答ＤＢ２５に出現したと判定した場合（ステップＳＴ２ｂ；ＹＥＳ）、ＢｏＷベクトル作成部２１は、処理対象の単語に対応するＢｏＷベクトルの次元に出現回数を設定する（ステップＳＴ３ｂ）。
処理対象の単語が質問応答ＤＢ２５に出現しないと判定した場合（ステップＳＴ２ｂ；ＮＯ）、ＢｏＷベクトル作成部２１は、処理対象の単語に対応するＢｏＷベクトルの次元に“０”を設定する（ステップＳＴ４ｂ）。

次に、ＢｏＷベクトル作成部２１は、入力文に含まれる全ての単語を処理対象としたか否かを確認する（ステップＳＴ５ｂ）。入力文に含まれる単語のうち、未処理の単語がある場合（ステップＳＴ５ｂ；ＮＯ）、ＢｏＷベクトル作成部２１は、ステップＳＴ２ｂに戻り、未処理の単語を処理対象として前述した一連の処理を繰り返す。
入力文に含まれる全ての単語を処理対象とした場合（ステップＳＴ５ｂ；ＹＥＳ）、ＢｏＷベクトル作成部２１は、ＢｏＷベクトルをベクトル統合部２３に出力する（ステップＳＴ６ｂ）。

図７は、意味ベクトル作成処理を示すフローチャートであり、図４のステップＳＴ４の処理の詳細を示している。意味ベクトル作成部２２は、形態素解析部２０から、形態素解析された文を取得する（ステップＳＴ１ｃ）。
意味ベクトル作成部２２は、形態素解析された文から、意味ベクトルを作成する（ステップＳＴ２ｃ）。意味ベクトル作成部２２が事前に構築された意味ベクトル作成器である場合、意味ベクトル作成器は、例えば、入力文に含まれる単語ごとにその品詞を表す単語ベクトルを作成し、入力文に含まれる単語の単語ベクトルの平均値を単語に対応する意味ベクトルの次元の要素とする。
意味ベクトル作成部２２は、意味ベクトルをベクトル統合部２３に出力する（ステップＳＴ３ｃ）。

図８は、統合ベクトル作成処理を示すフローチャートであり、図４のステップＳＴ５の処理の詳細を示している。ベクトル統合部２３は、ＢｏＷベクトル作成部２１からＢｏＷベクトルを取得し、意味ベクトル作成部２２から意味ベクトルを取得する（ステップＳＴ１ｄ）。

次に、ベクトル統合部２３は、ＢｏＷベクトルと意味ベクトルを統合して統合ベクトルを作成する（ステップＳＴ２ｄ）。ベクトル統合部２３は、作成した統合ベクトルを応答文選択部２４へ出力する（ステップＳＴ３ｄ）。
ベクトル統合部２３が事前に構築されたニューラルネットワークである場合、ニューラルネットワークは、ＢｏＷベクトルと意味ベクトルとを任意の次元の一つの統合ベクトルに変換する。ニューラルネットワークは、複数のノードが入力層、中間層および出力層で階層化されており、前段の層におけるノードと後段の層におけるノードとがエッジで接続され、エッジには、当該エッジで接続されたノード間の結合度合いを示す重みが設定される。

ニューラルネットワークでは、ＢｏＷベクトルの次元と意味ベクトルの次元を入力として、上記重みを用いた演算を繰り返すことにより、入力文に対応した統合ベクトルが作成される。ニューラルネットワークの上記重みは、質問応答ＤＢ２５から入力文に対応する適切な応答文を選択可能な統合ベクトルが作成されるように、バックプロパゲーションにより、学習用データを用いて予め学習されている。

例えば、“冷凍庫での冷凍食品の保存期間の目安を教えて”という文Ａと、“製氷室での冷凍食品の保存期間の目安を教えて”という文Ｂは、統合ベクトルに統合されたＢｏＷベクトルにおける、“冷凍庫”という単語に対応する次元と“製氷室”という単語に対応する次元についてのニューラルネットワークの上記重みが大きくなる。これにより、統合ベクトルに統合されたＢｏＷベクトルにおいて、文Ａと文Ｂとで相違する単語に対応する次元の要素が強調されるので、文Ａと文Ｂを正しく区別することができる。

図９は、応答文選択処理を示すフローチャートであり、図４のステップＳＴ６の処理の詳細を示している。まず、応答文選択部２４は、ベクトル統合部２３から統合ベクトルを取得する（ステップＳＴ１ｅ）。次に、応答文選択部２４は、入力文に対応する応答文を質問応答ＤＢ２５から選択する（ステップＳＴ２ｅ）。
ＢｏＷベクトルを作成したときに入力文に含まれていた未知語の数が多くても、応答文選択部２４は、統合ベクトルにおける意味ベクトルの要素を参照することで、単語の意味を特定できる。また、意味ベクトルだけでは文の意味が曖昧になる場合であっても、応答文選択部２４は、統合ベクトルにおけるＢｏＷベクトルの要素を参照することで、入力文の意味を曖昧にすることなく、入力文を特定できる。
例えば、前述した文Ａと文Ｂとが正しく区別されるので、応答文選択部２４は、文Ａに対応する正しい応答文を選択することができ、文Ｂに対応する正しい応答文を選択することができる。

応答文選択部２４が事前に構築された応答文選択器である場合、応答文選択器は、質問応答ＤＢ２５における、質問文と応答文ＩＤとの対応関係を学習して事前に構築される。
例えば、形態素解析部２０が、質問応答ＤＢ２５に登録された複数の質問文のそれぞれを形態素解析する。ＢｏＷベクトル作成部２１が、形態素解析された質問文からＢｏＷベクトルを作成し、意味ベクトル作成部２２が、形態素解析された質問文から意味ベクトルを作成する。ベクトル統合部２３が、質問文に対応するＢｏＷベクトルと質問文に対応する意味ベクトルとを統合して、質問文に対応する統合ベクトルを作成する。応答文選択器は、質問文に対応する統合ベクトルと応答文ＩＤとの対応関係を事前に機械学習する。
このように構築された応答文作成器は、未知の入力文に対しても、当該入力文についての統合ベクトルから、入力文に対応する応答文ＩＤを特定して、特定した応答ＩＤに対応する応答文を選択することができる。

また、応答文選択器は、入力文と最も類似度が高い質問文に対応する応答文を選択するものであってもよい。この類似度は、統合ベクトルのコサイン類似度またはユークリッド距離により算出される。応答文選択部２４は、ステップＳＴ２ｅで選択した応答文を出力装置４に出力する（ステップＳＴ３ｅ）。これにより、出力装置４が表示装置であれば、応答文を表示し、出力装置４が音声出力装置であれば、応答文を音声で出力する。

以上のように、実施の形態１に係る言語処理装置２において、ベクトル統合部２３が、入力文に対応するＢｏＷベクトルと入力文に対応する意味ベクトルとを統合した統合ベクトルを作成する。応答文選択部２４が、ベクトル統合部２３によって作成された統合ベクトルに基づいて、質問応答ＤＢ２５から、入力文に対応する応答文を選択する。
このように構成することで、言語処理装置２は、未知語の問題に対処しつつ、入力文の意味を曖昧にすることなく、入力文に対応する適切な応答文を選択することができる。

実施の形態１に係る言語処理システム１は、言語処理装置２を備えるので、上記と同様の効果が得られる。

実施の形態２．
ＢｏＷベクトルは、様々な種類の単語に対応する次元のベクトルであるが、処理対象の文に含まれる単語に限ると、次元に対応する単語が処理対象の文には存在せず、ほとんどの次元の要素が０である疎なベクトルとなる場合が多い。意味ベクトルは、次元の要素が様々な単語の意味を表す数値であるため、ＢｏＷベクトルに比べて密なベクトルとなる。実施の形態１では、疎なＢｏＷベクトルと密な意味ベクトルを、直接、ニューラルネットワークによって一つの統合ベクトルに変換していた。このため、ＢｏＷベクトルの次元に対して少量の教師データでバックプロパゲーションによる学習が行われると、少量の教師データに特化した汎用能力の低い重みが学習される、いわゆる“過学習”と呼ばれる現象が起こる可能性がある。そこで、実施の形態２では、過学習の発生を抑制するため、統合ベクトルを作成する前に、ＢｏＷベクトルをより密なベクトルに変換するものである。

図１０は、この発明の実施の形態２に係る言語処理システム１Ａの構成を示すブロック図である。図１０において、図１と同一構成要素には同一符号を付して説明を省略する。言語処理システム１Ａは、ユーザから入力された文に対応する応答文を選択して出力するシステムであり、言語処理装置２Ａ、入力装置３および出力装置４を備えて構成される。言語処理装置２Ａは、入力文を言語処理した結果に基づいて、入力文に対応する応答文を選択する装置であり、形態素解析部２０、ＢｏＷベクトル作成部２１、意味ベクトル作成部２２、ベクトル統合部２３Ａ、応答文選択部２４、質問応答ＤＢ２５、および重要概念ベクトル作成部２６を備える。

ベクトル統合部２３Ａは、重要概念ベクトル作成部２６が作成した重要概念ベクトルと意味ベクトル作成部２２が作成した意味ベクトルを統合した統合ベクトルとを作成する。例えば、ベクトル統合部２３Ａとして事前に構築されたニューラルネットワークにより、重要概念ベクトルと意味ベクトルとを任意の次元の一つの統合ベクトルに変換する。

重要概念ベクトル作成部２６は、ＢｏＷベクトル作成部２１が作成したＢｏＷベクトルから、重要概念ベクトルを作成する第３のベクトル作成部である。重要概念ベクトル作成部２６は、重要概念抽出器として機能する。重要概念抽出器は、ＢｏＷベクトルの要素のそれぞれに重みパラメータを掛けることにより、重要概念に対応する次元を有した重要概念ベクトルを算出する。ここで、“概念”とは単語および文の“意味”であり、“重要”とは、応答文を選択する上での有用性を指している。すなわち、重要概念とは、応答文を選択する上で有用な単語および文の意味である。なお、“概念”は、下記の参考文献１に詳細が記載されている。
（参考文献１）笠原要， 松澤和光， 石川勉， “国語辞書を利用した日常語の類似性判別”， 情報処理学会論文誌， ３８（７）， ｐｐ．１２７２−１２８３（１９９７）．

言語処理装置２Ａにおける、形態素解析部２０、ＢｏＷベクトル作成部２１、意味ベクトル作成部２２、ベクトル統合部２３Ａ、応答文選択部２４および重要概念ベクトル作成部２６のそれぞれの機能は、処理回路によって実現される。
すなわち、言語処理装置２Ａは、図１１を用いて後述するステップＳＴ１ｆからステップＳＴ７ｆまでの処理を実行するための処理回路を備える。
処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するプロセッサであってもよい。

次に動作について説明する。
図１１は、実施の形態２に係る言語処理方法を示すフローチャートである。
図１１のステップＳＴ１ｆからステップＳＴ４ｆまでの処理は、図４のステップＳＴ１からステップＳＴ４までと同じ処理であり、図１１のステップＳＴ７ｆの処理は、図４のステップＳＴ６と同じ処理であるので、説明を省略する。

重要概念ベクトル作成部２６は、ＢｏＷベクトル作成部２１からＢｏＷベクトルを取得し、取得したＢｏＷベクトルよりも密な重要概念ベクトルを作成する（ステップＳＴ５ｆ）。重要概念ベクトル作成部２６により作成された重要概念ベクトルは、ベクトル統合部２３Ａに出力される。ベクトル統合部２３Ａは、重要概念ベクトルと意味ベクトルを統合した統合ベクトルを作成する（ステップＳＴ６ｆ）。

図１２は、重要概念ベクトル作成処理を示すフローチャートであり、図１１のステップＳＴ５ｆの処理の詳細を示している。まず、重要概念ベクトル作成部２６は、ＢｏＷベクトル作成部２１からＢｏＷベクトルを取得する（ステップＳＴ１ｇ）。続いて、重要概念ベクトル作成部２６は、ＢｏＷベクトルから重要概念を抽出して重要概念ベクトルを作成する（ステップＳＴ２ｇ）。

重要概念ベクトル作成部２６が重要概念抽出器である場合、重要概念抽出器は、下記式（１）に従い、入力文ｓに対応するＢｏＷベクトルｖ_ｓ ^ｂｏｗの要素のそれぞれに対して、行列Ｗで示す重みパラメータを掛ける。これにより、ＢｏＷベクトルｖ_ｓ ^ｂｏｗが重要概念ベクトルｖ_ｓ ^ｃｏｎに変換される。ここで、入力文ｓに対応するＢｏＷベクトルｖ_ｓ ^ｂｏｗ＝（ｘ_１，ｘ_２，・・・，ｘ_ｉ，・・・，ｘ_Ｎ）、重要概念ベクトルｖ_ｓ ^ｃｏｎ＝（ｙ_１，ｙ_２，・・・，ｙ_ｊ，・・・，ｙ_Ｄ）である。

重要概念ベクトルｖ_ｓ ^ｃｏｎでは、入力文ｓに含まれる単語に対応する次元の要素が重み付けされる。重みパラメータは、Ａｕｔｏｅｎｃｏｄｅｒ、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）、ＳＶＤ（Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）を用いて決定してもよく、応答文の単語分布を予測するようにバックプロパゲーションして決定してもよく、人手で決定してもよい。
重要概念ベクトル作成部２６は、重要概念ベクトルｖ_ｓ ^ｃｏｎをベクトル統合部２３Ａに出力する（ステップＳＴ３ｇ）。

図１３は、実施の形態２における統合ベクトル作成処理を示すフローチャートであり、図１１のステップＳＴ６ｆの処理の詳細を示している。ベクトル統合部２３Ａは、重要概念ベクトル作成部２６から重要概念ベクトルを取得し、意味ベクトル作成部２２から意味ベクトルを取得する（ステップＳＴ１ｈ）。

次に、ベクトル統合部２３Ａは、重要概念ベクトルと意味ベクトルとを統合して、統合ベクトルを作成する（ステップＳＴ２ｈ）。ベクトル統合部２３Ａは、統合ベクトルを応答文選択部２４へ出力する（ステップＳＴ３ｈ）。
ベクトル統合部２３Ａが事前に構築されたニューラルネットワークである場合、ニューラルネットワークは、重要概念ベクトルと意味ベクトルを任意の次元の一つの統合ベクトルに変換する。実施の形態１で示したように、ニューラルネットワークの重みは、入力文に対応する応答文を選択可能な統合ベクトルが作成されるように、学習用データを用いたバックプロパゲーションにより予め学習されている。

以上のように、実施の形態２に係る言語処理装置２Ａは、ＢｏＷベクトルの要素のそれぞれを重み付けした重要概念ベクトルを作成する重要概念ベクトル作成部２６を備える。ベクトル統合部２３Ａは、重要概念ベクトルと意味ベクトルとを統合した統合ベクトルを作成する。このように構成することで、言語処理装置２Ａでは、ＢｏＷベクトルについての過学習が抑制される。

実施の形態２に係る言語処理システム１Ａは、言語処理装置２Ａを備えるので、上記と同様の効果が得られる。

実施の形態３．
実施の形態２では、入力文における未知語の比率（以下、未知語率と記載する）を考慮せずに、重要概念ベクトルと意味ベクトルとを統合している。このため、入力文の未知語率が高い場合であっても、応答文選択部が、統合ベクトルにおいて、重要概念ベクトルと意味ベクトルとを参照する比率（以下、参照比率と記載する）は変わらない。この場合、応答文選択部が、統合ベクトルにおける重要概念ベクトルと意味ベクトルのうち、入力文に含まれる未知語に起因して、入力文を十分に表現できていないベクトルを参照すると、適切な応答文を選択できないことがある。そこで、実施の形態３では、応答文を選択する精度の低下を防ぐため、入力文の未知語率に応じて重要概念ベクトルと意味ベクトルとの参照比率を変更して統合するものである。

図１４は、この発明の実施の形態３に係る言語処理システム１Ｂの構成を示すブロック図である。図１４において、図１および図１０と同一構成要素には同一符号を付して説明を省略する。言語処理システム１Ｂは、ユーザから入力された文に対応する応答文を選択して出力するシステムであり、言語処理装置２Ｂ、入力装置３および出力装置４を備えて構成される。言語処理装置２Ｂは、入力文を言語処理した結果に基づいて、入力文に対応する応答文を選択する装置であり、形態素解析部２０、ＢｏＷベクトル作成部２１、意味ベクトル作成部２２、ベクトル統合部２３Ｂ、応答文選択部２４、質問応答ＤＢ２５、重要概念ベクトル作成部２６、未知語率算出部２７および重み調節部２８を備える。

ベクトル統合部２３Ｂは、重み調節部２８から取得した重み付きの重要概念ベクトルと重み付きの意味ベクトルとを統合した統合ベクトルを作成する。未知語率算出部２７は、ＢｏＷベクトルを作成したときに入力文に含まれていた未知語の数と意味ベクトルを作成したときに入力文に含まれていた未知語の数を用いて、ＢｏＷベクトルに対応する未知語率と意味ベクトルに対応する未知語率を算出する。重み調節部２８は、ＢｏＷベクトルに対応する未知語率および意味ベクトルに対応する未知語率に基づいて、重要概念ベクトルと意味ベクトルとを重み付けする。

言語処理装置２Ｂにおける、形態素解析部２０、ＢｏＷベクトル作成部２１、意味ベクトル作成部２２、ベクトル統合部２３Ｂ、応答文選択部２４、重要概念ベクトル作成部２６、未知語率算出部２７および重み調節部２８のそれぞれの機能は、処理回路により実現される。すなわち、言語処理装置２Ｂは、図１５を用いて後述するステップＳＴ１ｉからステップＳＴ９ｉまでの処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するプロセッサであってもよい。

次に動作について説明する。
図１５は、実施の形態３に係る言語処理方法を示すフローチャートである。
まず、形態素解析部２０は、入力装置３が受け付けた入力文を取得する（ステップＳＴ１ｉ）。形態素解析部２０は、入力文を形態素解析する（ステップＳＴ２ｉ）。形態素解析された入力文は、ＢｏＷベクトル作成部２１および意味ベクトル作成部２２に出力される。形態素解析部２０は、入力文に含まれる全ての単語の数を未知語率算出部２７に出力する。

ＢｏＷベクトル作成部２１は、形態素解析部２０により形態素解析された文から、入力文に対応するＢｏＷベクトルを作成する（ステップＳＴ３ｉ）。このとき、ＢｏＷベクトル作成部２１は、入力文に含まれる単語のうち、質問応答ＤＢ２５に存在しなかった単語である未知語の数を未知語率算出部２７に出力する。

意味ベクトル作成部２２は、形態素解析部２０により形態素解析された文から、入力文に対応する意味ベクトルを作成し、重み調節部２８に出力する（ステップＳＴ４ｉ）。このとき、意味ベクトル作成部２２は、入力文に含まれる単語のうち、意味ベクトル作成器に事前に登録されていなかった単語に相当する未知語の数を、未知語率算出部２７に出力する。

次に、重要概念ベクトル作成部２６は、ＢｏＷベクトル作成部２１から取得したＢｏＷベクトルに基づいて、ＢｏＷベクトルをより密なベクトルとした重要概念ベクトルを作成する（ステップＳＴ５ｉ）。重要概念ベクトル作成部２６は、重要概念ベクトルを重み調節部２８に出力する。

未知語率算出部２７は、入力文における全単語の数、ＢｏＷベクトルを作成したときに入力文に含まれていた未知語の数、および意味ベクトルを作成したときに入力文に含まれていた未知語の数を用いて、ＢｏＷベクトルに対応する未知語率と、意味ベクトルに対応する未知語率とを算出する（ステップＳＴ６ｉ）。ＢｏＷベクトルに対応する未知語率と意味ベクトルに対応する未知語率は、未知語率算出部２７から重み調節部２８に出力される。

重み調節部２８は、未知語率算出部２７から取得したＢｏＷベクトルに対応する未知語率および意味ベクトルに対応する未知語率に基づいて、重要概念ベクトルと意味ベクトルを重み付けする（ステップＳＴ７ｉ）。ＢｏＷベクトルに対応する未知語率が大きい場合には、意味ベクトルの参照比率が高くなるように重みを調節し、意味ベクトルに対応する未知語率が大きい場合、重要概念ベクトルの参照比率が高くなるように重みを調節する。

ベクトル統合部２３Ｂは、重み調節部２８から取得した重み付きの重要概念ベクトルと重み付きの意味ベクトルを統合した統合ベクトルを作成する（ステップＳＴ８ｉ）。
応答文選択部２４は、ベクトル統合部２３Ｂによって作成された統合ベクトルに基づいて、質問応答ＤＢ２５から、入力文に対応する応答文を選択する（ステップＳＴ９ｉ）。例えば、応答文選択部２４は、統合ベクトルにおける重要概念ベクトルと意味ベクトルをそれぞれの重みに応じて参照することで、質問応答ＤＢ２５から、入力文に対応する質問文を特定し、特定した質問文に対応する応答文を選択する。

図１６は、未知語率算出処理を示すフローチャートであり、図１５のステップＳＴ６ｉの処理の詳細を示している。まず、未知語率算出部２７は、形態素解析部２０から、形態素解析された入力文ｓの全単語数Ｎ_ｓを取得する（ステップＳＴ１ｊ）。未知語率算出部２７は、ＢｏＷベクトル作成部２１から、入力文ｓにおける単語のうち、ＢｏＷベクトルを作成したときの未知語の数Ｋ_ｓ ^ｂｏｗを取得する（ステップＳＴ２ｊ）。未知語率算出部２７は、意味ベクトル作成部２２から、入力文ｓにおける単語のうち、意味ベクトルを作成したときの未知語の数Ｋ_ｓ ^ｗ２ｖを取得する（ステップＳＴ３ｊ）。

未知語率算出部２７は、入力文ｓの全単語数Ｎ_ｓと、ＢｏＷベクトルに対応する未知語の数Ｋ_ｓ ^ｂｏｗとを用いて、下記式（２）に従って、ＢｏＷベクトルに対応する未知語率ｒ_ｓ ^ｂｏｗを算出する（ステップＳＴ４ｊ）。
ｒ_ｓ ^ｂｏｗ＝Ｋ_ｓ ^ｂｏｗ／Ｎ_ｓ ・・・（２）

未知語率算出部２７は、入力文ｓの全単語数Ｎ_ｓと意味ベクトルに対応する未知語の数Ｋ_ｓ ^ｗ２ｖを用いて、下記式（３）に従い、意味ベクトルに対応する未知語率ｒ_ｓ ^ｗ２ｖを算出する（ステップＳＴ５ｊ）。未知語の数Ｋ_ｓ ^ｗ２ｖは、意味ベクトル作成器に事前に登録されていない単語の数に相当する。
ｒ_ｓ ^ｗ２ｖ＝Ｋ_ｓ ^ｗ２ｖ／Ｎ_ｓ ・・・（３）

未知語率算出部２７は、ＢｏＷベクトルに対応する未知語率ｒ_ｓ ^ｂｏｗと意味ベクトルに対応する未知語率ｒ_ｓ ^ｗ２ｖを重み調節部２８に出力する（ステップＳＴ６ｊ）。
なお、ｔｆ−ｉｄｆを用いた単語の重要度に応じた重みを考慮して未知語率ｒ_ｓ ^ｂｏｗと未知語率ｒ_ｓ ^ｗ２ｖを算出してもよい。

図１７は、重み調節処理を示すフローチャートであって、図１５のステップＳＴ７ｉの処理の詳細を示している。まず、重み調節部２８は、未知語率算出部２７から、ＢｏＷベクトルに対応する未知語率ｒ_ｓ ^ｂｏｗおよび意味ベクトルに対応する未知語率ｒ_ｓ ^ｗ２ｖを取得する（ステップＳＴ１ｋ）。

重み調節部２８は、重要概念ベクトル作成部２６から重要概念ベクトルｖ_ｓ ^ｃｏｎを取得する（ステップＳＴ２ｋ）。重み調節部２８は、意味ベクトル作成部２２から意味ベクトルｖ_ｓ ^ｗ２ｖを取得する（ステップＳＴ３ｋ）。

重み調節部２８は、ＢｏＷベクトルに対応する未知語率ｒ_ｓ ^ｂｏｗおよび意味ベクトルに対応する未知語率ｒ_ｓ ^ｗ２ｖに基づいて、重要概念ベクトルｖ_ｓ ^ｃｏｎと意味ベクトルｖ_ｓ ^ｗ２ｖとを重み付けする（ステップＳＴ４ｋ）。例えば、重み調節部２８は、未知語率ｒ_ｓ ^ｂｏｗおよび未知語率ｒ_ｓ ^ｗ２ｖに応じて、重要概念ベクトルｖ_ｓ ^ｃｏｎの重みｆ（ｒ_ｓ ^ｂｏｗ，ｒ_ｓ ^ｗ２ｖ）を算出し、意味ベクトルｖ_ｓ ^ｗ２ｖの重みｇ（ｒ_ｓ ^ｂｏｗ，ｒ_ｓ ^ｗ２ｖ）を算出する。ｆおよびｇは任意の関数であり、下記式（４）および（５）で表してもよい。係数ａ，ｂは、人手で設定された値であってもよく、ニューラルネットワークが、バックプロパゲーションによる学習で決定した値であってもよい。
ｆ（ｘ，ｙ）＝ａｘ／（ａｘ＋ｂｙ） ・・・（４）
ｇ（ｘ，ｙ）＝ｂｙ／（ａｘ＋ｂｙ） ・・・（５）

次に、重み調節部２８は、重要概念ベクトルｖ_ｓ ^ｃｏｎの重みｆ（ｒ_ｓ ^ｂｏｗ，ｒ_ｓ ^ｗ２ｖ）と意味ベクトルｖ_ｓ ^ｗ２ｖの重みｇ（ｒ_ｓ ^ｂｏｗ，ｒ_ｓ ^ｗ２ｖ）を用いて、下記式（６）および（７）に従って、重み付きの重要概念ベクトルｕ_ｓ ^ｃｏｎおよび重み付きの意味ベクトルｕ_ｓ ^ｗ２ｖを算出する。
ｕ_ｓ ^ｃｏｎ＝ｆ（ｒ_ｓ ^ｂｏｗ，ｒ_ｓ ^ｗ２ｖ）ｖ_ｓ ^ｃｏｎ ・・・（６）
ｕ_ｓ ^ｗ２ｖ＝ｇ（ｒ_ｓ ^ｂｏｗ，ｒ_ｓ ^ｗ２ｖ）ｖ_ｓ ^ｗ２ｖ ・・・（７）

例えば、入力文ｓにおける未知語率ｒ_ｓ ^ｂｏｗが閾値よりも大きい場合、重み調節部２８は、意味ベクトルｖ_ｓ ^ｗ２ｖの参照比率が高くなるように重みを調節する。入力文ｓにおける未知語率ｒ_ｓ ^ｗ２ｖが閾値よりも大きい場合には、重み調節部２８は、重要概念ベクトルｖ_ｓ ^ｃｏｎの参照比率が高くなるように重みを調節する。重み調節部２８は、重み付きの重要概念ベクトルｕ_ｓ ^ｃｏｎと重み付きの意味ベクトルｕ_ｓ ^ｗ２ｖをベクトル統合部２３Ｂに出力する（ステップＳＴ５ｋ）。

図１８は、統合ベクトル作成処理を示すフローチャートであり、図１５のステップＳＴ８ｉの処理の詳細を示している。まず、ベクトル統合部２３Ｂは、重み調節部２８から、重み付きの重要概念ベクトルｕ_ｓ ^ｃｏｎおよび重み付きの意味ベクトルｕ_ｓ ^ｗ２ｖを取得する（ステップＳＴ１ｌ）。ベクトル統合部２３Ｂは、重み付きの重要概念ベクトルｕ_ｓ ^ｃｏｎと重み付きの意味ベクトルｕ_ｓ ^ｗ２ｖを統合した統合ベクトルを作成する（ステップＳＴ２ｌ）。例えば、ベクトル統合部２３Ｂがニューラルネットワークである場合、ニューラルネットワークは、重み付きの重要概念ベクトルｕ_ｓ ^ｃｏｎと重み付きの意味ベクトルｕ_ｓ ^ｗ２ｖを任意の次元の一つの統合ベクトルに変換する。ベクトル統合部２３Ｂは、統合ベクトルを応答文選択部２４に出力する（ステップＳＴ３ｌ）。

なお、実施の形態３では、未知語率算出部２７および重み調節部２８を、実施の形態２の構成に適用した場合を示したが、実施の形態１の構成に適用してもよい。
例えば、重み調節部２８が、ＢｏＷベクトル作成部２１からＢｏＷベクトルを、直接、取得して、ＢｏＷベクトルに対応する未知語率および意味ベクトルに対応する未知語率に基づいて、ＢｏＷベクトルと意味ベクトルとを重み付けしてもよい。このようにしても、入力文の未知語率に応じて、ＢｏＷベクトルと意味ベクトルとの参照比率を変更することができる。

以上のように、実施の形態３に係る言語処理装置２Ｂにおいて、未知語率算出部２７が、未知語の数Ｋ_ｓ ^ｂｏｗおよび未知語の数Ｋ_ｓ ^ｗ２ｖを用いて、ＢｏＷベクトルに対応する未知語率ｒ_ｓ ^ｂｏｗおよび意味ベクトルに対応する未知語率ｒ_ｓ ^ｗ２ｖを算出する。重み調節部２８は、未知語率ｒ_ｓ ^ｂｏｗおよび未知語率ｒ_ｓ ^ｗ２ｖに基づいて、重要概念ベクトルｖ_ｓ ^ｃｏｎと意味ベクトルｖ_ｓ ^ｗ２ｖとを重み付けする。ベクトル統合部２３Ｂは、重み付きの重要概念ベクトルｕ_ｓ ^ｃｏｎと重み付きの意味ベクトルｕ_ｓ ^ｗ２ｖとを統合した統合ベクトルを作成する。このように構成することで、言語処理装置２Ｂは、入力文に対応する適切な応答文を選択することができる。

実施の形態３に係る言語処理システム１Ｂは、言語処理装置２Ｂを備えるので、上記と同様の効果が得られる。

なお、本発明は上記実施の形態に限定されるものではなく、本発明の範囲内において、実施の形態のそれぞれの自由な組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。

この発明に係る言語処理装置は、未知語の問題に対処しつつ、処理対象の文の意味を曖昧にすることなく、処理対象の文に対応する適切な応答文を選択できるので、質問応答技術が適用された様々な言語処理システムに利用可能である。

１，１Ａ，１Ｂ 言語処理システム、２，２Ａ，２Ｂ 言語処理装置、３ 入力装置、４ 出力装置、２０ 形態素解析部、２１ ＢｏＷベクトル作成部、２２ 意味ベクトル作成部、２３，２３Ａ，２３Ｂ ベクトル統合部、２４ 応答文選択部、２５ 質問応答データベース（質問応答ＤＢ）、２６ 重要概念ベクトル作成部、２７ 未知語率算出部、２８ 重み調節部、１００ マウス、１０１ キーボード、１０２ 表示装置、１０３ 補助記憶装置、１０４ 処理回路、１０５ プロセッサ、１０６ メモリ。

Claims (7)

1. 複数の質問文と複数の応答文とが対応付けて登録された質問応答データベースと、
   処理対象の文を形態素解析する形態素解析部と、
   前記処理対象の文に含まれる単語に対応する次元を有し、次元の要素が前記質問応答データベースにおける単語の出現回数であるＢａｇ−ｏｆ−Ｗｏｒｄｓベクトルを、前記形態素解析部によって形態素解析された文から作成する第１のベクトル作成部と、
   前記処理対象の文の意味を表す意味ベクトルを、前記形態素解析部によって形態素解析された文から作成する第２のベクトル作成部と、
   前記Ｂａｇ−ｏｆ−Ｗｏｒｄｓベクトルと前記意味ベクトルとを統合した統合ベクトルを作成するベクトル統合部と、
   前記ベクトル統合部によって作成された統合ベクトルに基づいて、前記質問応答データベースから、前記処理対象の文に対応する前記質問文を特定して、特定した前記質問文に対応する前記応答文を選択する応答文選択部と
   を備えたことを特徴とする言語処理装置。
2. 前記Ｂａｇ−ｏｆ−Ｗｏｒｄｓベクトルの要素のそれぞれを重み付けした重要概念ベクトルを作成する第３のベクトル作成部を備え、
   前記ベクトル統合部は、前記重要概念ベクトルと前記意味ベクトルとを統合した統合ベクトルを作成すること
   を特徴とする請求項１記載の言語処理装置。
3. 前記Ｂａｇ−ｏｆ−Ｗｏｒｄｓベクトルが作成されたときに前記処理対象の文に含まれていた未知語の数と前記意味ベクトルが作成されたときに前記処理対象の文に含まれていた未知語の数とを用いて、前記Ｂａｇ−ｏｆ−Ｗｏｒｄｓベクトルに対応する未知語の比率と前記意味ベクトルに対応する未知語の比率とを算出する未知語率算出部と、
   前記Ｂａｇ−ｏｆ−Ｗｏｒｄｓベクトルに対応する未知語の比率および前記意味ベクトルに対応する未知語の比率に基づいて、ベクトルの重みを調節する重み調節部とを備え、
   前記ベクトル統合部は、前記重み調節部により重み調節されたベクトルの統合ベクトルを作成すること
   を特徴とする請求項２記載の言語処理装置。
4. 請求項１から請求項３のうちのいずれか１項記載の言語処理装置と、
   前記処理対象の文の入力を受け付ける入力装置と、
   言語処理装置によって選択された前記応答文を出力する出力装置と
   を備えたことを特徴とする言語処理システム。
5. 複数の質問文と複数の応答文とが対応付けて登録された質問応答データベースを備えた言語処理装置の言語処理方法において、
   形態素解析部が、処理対象の文を形態素解析するステップと、
   第１のベクトル作成部が、前記処理対象の文に含まれる単語に対応する次元を有し、次元の要素が前記質問応答データベースにおける単語の出現回数であるＢａｇ−ｏｆ−Ｗｏｒｄｓベクトルを、前記形態素解析部によって形態素解析された文から作成するステップと、
   第２のベクトル作成部が、前記処理対象の文の意味を表す意味ベクトルを、前記形態素解析部によって形態素解析された文から作成するステップと、
   ベクトル統合部が、前記Ｂａｇ−ｏｆ−Ｗｏｒｄｓベクトルと前記意味ベクトルとを統合した統合ベクトルを作成するステップと、
   応答文選択部が、前記ベクトル統合部によって作成された統合ベクトルに基づいて、前記質問応答データベースから、前記処理対象の文に対応する前記質問文を特定して、特定した前記質問文に対応する前記応答文を選択するステップと
   を備えたことを特徴とする言語処理方法。
6. 第３のベクトル作成部が、前記Ｂａｇ−ｏｆ−Ｗｏｒｄｓベクトルの要素を重み付けした重要概念ベクトルを作成するステップを備え、
   前記ベクトル統合部は、前記重要概念ベクトルと前記意味ベクトルとを統合した統合ベクトルを作成すること
   を特徴とする請求項５記載の言語処理方法。
7. 未知語率算出部が、前記Ｂａｇ−ｏｆ−Ｗｏｒｄｓベクトルが作成されたときに前記処理対象の文に含まれていた未知語の数と前記意味ベクトルが作成されたときに前記処理対象の文に含まれていた未知語の数とを用いて、前記Ｂａｇ−ｏｆ−Ｗｏｒｄｓベクトルに対応する未知語の比率と前記意味ベクトルに対応する未知語の比率とを算出するステップと、
   重み調節部が、前記Ｂａｇ−ｏｆ−Ｗｏｒｄｓベクトルに対応する未知語の比率および前記意味ベクトルに対応する未知語の比率に基づいて、ベクトルの重みを調節するステップとを備え、
   前記ベクトル統合部は、前記重み調節部により重み調節されたベクトルの統合ベクトルを作成すること
   を特徴とする請求項５または請求項６記載の言語処理方法。

Images