JP7133351B2 - 生成方法、生成プログラムおよび生成装置 - Google Patents

Description

本発明は、生成方法、生成プログラムおよび生成装置に関する。

機械学習を用いて、入力情報に基づいて出力情報を生成する分類器等のシステムを生成する技術が用いられている。しかし、入力情報に欠損がある場合、出力情報の精度が低下する可能性があるため、欠損した情報を予測する技術が用いられる。

関連する技術として、トレーニングデータをデータ学習プログラムに入力して分類器を作成し、欠損値を含むデータから生成した入力データを分類器に入力して、欠損値を予測する技術が提案されている（例えば、特許文献１を参照）。

また、関連する技術として、欠損値を含むフィールドが複数ある場合に欠損値を含むフィールド以外のフィールドのデータから欠損値を予測し、補間する技術が提案されている（例えば、特許文献２を参照）。

また、関連する技術として、iterative inversion法と誤差逆伝搬により、不完全なセンサ情報の欠損値を推定しモデル獲得を行う技術が提案されている（例えば、特許文献３を参照）。

また、関連する技術として、欠損値のうちの予測したい目的変数を受け付け、重回帰分析の結果をもとに、目的変数を含むレコードの各説明変数の値及び係数から目的変数の値を計算する技術が提案されている（例えば、特許文献４を参照）。

特開２００７－３３４７１９号公報 特開２０００－４００７９号公報 特開平８－２１２１８４号公報 特開２０１４－６３４３２号公報

例えば、入力情報のうち文章が欠損している場合、入力情報内の他の情報を用いて文章を予測することが考えられる。しかし、文章内の単語の数が可変であり、単語の順番を考慮することになるため、欠損している文章を直接予測することは困難である。そして、欠損した文章の予測精度が低下すると、出力情報の精度も低下する。

１つの側面として、本発明は、文章が入力されないことが出力に与える影響を抑制することを目的とする。

１つの態様では、生成方法は、コンピュータが、第１の入力項目に対応付けて入力された第１の単語と、第２の入力項目に対応付けて入力された第１の文章と、前記第１の単語及び前記第１の文章の組みに応じた第１の情報と、を含む学習情報を取得し、前記学習情報に基づき、前記第１の単語と、前記第１の文章に対して文章変換パラメータを用いて行う文章変換により得られる第１の中間情報との組みに対して第１の変換パラメータを用いて行う第１の変換により得られる情報が前記第１の情報に最も近くなるように前記文章変換パラメータ及び前記第１の変換パラメータを調整することによって、前記文章変換パラメータ及び前記第１の変換パラメータを生成すると共に、前記第１の単語に対して第２の変換パラメータを用いて行う第２の変換により得られる情報と前記第１の中間情報との差が最も小さくなるように前記第２の変換パラメータを生成し、前記第２の入力項目に対応付けられた文章の入力を受け付けずに、前記第１の入力項目に対応付けられた第２の単語の入力を受け付けると、前記第２の単語と、前記第２の単語に対して前記第２の変換パラメータを用いて行う前記第２の変換により得られる第２の中間情報との組みに対して前記第１の変換パラメータを用いて前記第１の変換を行うことにより第２の情報を生成し、前記第２の単語の入力と前記第２の入力項目に対応付けられた第２の文章の入力とを共に受け付けると、前記第２の単語と、前記第２の文章に対して前記文章変換パラメータを用いて行う前記文章変換により得られる第３の中間情報との組みに対して前記第１の変換パラメータを用いて前記第１の変換を行うことにより第３の情報を生成する、処理を実行する。

１つの側面によれば、文章が入力されないことが出力に与える影響を抑制することができる。

生成装置の一例を示す図である。 入力情報および出力情報の一例を示す図である。 各情報およびパラメータの例を示す図である。 パラメータ生成方法の一例を示す図である。 中間情報の例を示す図である。 中間情報に変換するパラメータの生成方法の例を示す図である。 入力情報から中間情報への変換方法の例を示す図である。 他の入力情報に変換するパラメータの生成方法の第１の例を示す図である。 他の入力情報に変換するパラメータの生成方法の第２の例を示す図である。 入力情報から他の入力情報への変換方法の例を示す図である。 学習時における処理の一例を示すフローチャートである。 運用時における処理の一例を示すフローチャートである。 入力情報を示す行列式の例を示す図である。 実施例における各情報およびパラメータを示す図である。 欠損および外れ値を含む情報の例を示す図である。 生成装置のハードウェア構成の一例を示す図である。

以下、図面を参照して、実施形態について説明する。図１は、生成装置１の一例を示す図である。生成装置１は、コンピュータの一例である。生成装置１は、例えば、サーバ、パーソナルコンピュータ、またはタブレット端末等である。

生成装置１は、取得部１１と第１生成部１２と第２生成部１３と判定部１４と変換部１５と第３生成部１６と記憶部１７とを含む。

取得部１１は、第１の入力項目に対応付けて入力された第１の単語と、第２の入力項目に対応付けて入力された第１の文章と、第１の単語及び第１の文章の組みに応じた第１の情報と、を含む学習情報を取得する。

第１生成部１２は、学習情報に基づき、第１の単語、及び第１の文章に応じた第１の文章とは異なる形式の第１の中間情報の組みを、第１の情報に応じた情報に変換する第１の変換パラメータを生成する。

第２生成部１３は、第１の単語を、第１の中間情報に変換する第２の変換パラメータを生成する。第１生成部１２および第２生成部１３は、パラメータ生成部の一例である。

判定部１４は、入力情報に欠損があるか判定する。なお、生成装置１は、入力情報が学習情報に存在しない情報を含む場合等に、すなわち、入力情報に外れ値がある場合にも、欠損がある場合と同様の処理を行うこととする。

変換部１５は、第２の入力項目に対応付けられた文章の入力を受け付けずに、第１の入力項目に対応付けられた第２の単語の入力を受け付けると、第２の変換パラメータにより第２の単語を変換して、第２の中間情報を生成する。

第３生成部１６は、第１の変換パラメータにより第２の単語及び第２の中間情報の組みを変換して、第２の情報を生成する。変換部１５および第３生成部１６は、情報生成部の一例である。

記憶部１７は、生成された各種パラメータ、中間情報等を記憶する。

図２は、入力情報および出力情報の一例を示す図である。図２に示す入力情報および出力情報は、映画に関する情報である。図２に示す入力情報の入力項目は、映画のジャンル（ｘ_１）、製作会社（ｘ_２）、映画の概要（ｘ_３）を含む。映画のジャンル（ｘ_１）、製作会社（ｘ_２）、は、単語で表現され、映画の概要（ｘ_３）は、文章で表現される。出力情報の項目は、面白さ（ｙ）を含む。なお、以下の説明において、各項目を、記号（ｘ_１、ｘ_２、ｘ_３、ｙ）を用いて表現することがある。

図３は、各情報およびパラメータの例を示す図である。図３に示すように、入力情報ｘ_１は、パラメータｗ_１を用いた分類器により中間情報ｘ_１’に変換される。同様に、入力情報ｘ_２は、パラメータｗ_２を用いた分類器により中間情報ｘ_２’に変換される。また、入力情報ｘ_３は、パラメータｗ_３を用いた分類器により中間情報ｘ_３’に変換される。また、中間情報ｘ_１’、ｘ_２’、ｘ_３’は、パラメータｗ_ｈを用いた分類器によりｙに変換される。

生成装置１は、学習情報としてｘ_１～ｘ_３、ｙを取得した場合、学習情報に基づいて各パラメータ（ｗ_１～ｗ_３、ｗ_ｈ）を生成する。また、生成装置１は、未知の出力情報を生成するために入力情報ｘ_１～ｘ_３を取得した場合、入力情報ｘ_１～ｘ_３と生成した各パラメータ（ｗ_１～ｗ_３、ｗ_ｈ）とを用いてｙを生成する。

図４は、パラメータ生成方法の一例を示す図である。図４に示す例では、学習情報として、ｘ_１～ｘ_３、ｙが与えられているとする。そして、第１生成部１２は、ｘ_１～ｘ_３、ｙに基づいて、各パラメータ（ｗ_１～ｗ_３、ｗ_ｈ）を生成する。第１生成部１２は、ｘ_１～ｘ_３、ｙと初期パラメータに基づいて、ｙの予測値ｐｒｅｄ＿ｙを生成し、ｐｒｅｄ＿ｙがｙに近づくように、パラメータを調整する。そして、第１生成部１２は、あるパラメータを用いて生成した予測値ｐｒｅｄ＿ｙがｙに最も近い場合、そのパラメータ（ｗ_１～ｗ_３、ｗ_ｈ）を記憶部１７に記憶する。記憶部１７に記憶されたパラメータ（ｗ_１～ｗ_３、ｗ_ｈ）は、運用時において、入力情報から未知の出力情報を生成するために用いられる。

図５は、中間情報の例を示す図である。図５に示す例では、中間情報ｘ_３’は、行列で表される。ｘ_３が文章である場合、中間情報ｘ_３’は、例えば、文章の意味を示す。中間情報ｘ_３’は、入力情報ｘ_３より少ない次元数の行列であるとする。よって、生成装置１は、入力情報ｘ_３が欠損している場合に、入力情報ｘ_３を予測するよりも容易に中間情報ｘ_３’を予測することができる。

図６は、中間情報に変換するパラメータの生成方法の例を示す図である。図６に示す例では、第２生成部１３は、ｘ_１を取得し、ｘ_１から中間情報ｘ_３’を生成するためのパラメータｗ’_３１を生成する。第２生成部１３は、例えば、ｘ_１と初期のパラメータｗ’_３１に基づいて、中間情報ｘ_３’の予測値であるｐｒｅｄ１＿ｘ_３’を生成する。そして、第２生成部１３は、ｐｒｅｄ１＿ｘ_３’とｘ_３’との差が最も小さくなるようにｗ’_３１を生成する。ｘ_３’は、第１生成部１２が学習情報に基づいて生成したパラメータｗ_３と入力情報とｘ_３を用いて、第２生成部１３が予め生成した値である。

第２生成部１３は、同様に、ｘ_２を取得し、ｘ_２から中間情報ｘ_３’を生成するためのパラメータｗ’_３２を生成する。

変換部１５は、入力情報ｘ_３が欠損している場合、ｗ’_３１を用いて、ｘ_１からｘ_３’を生成する。または、変換部１５は、入力情報ｘ_３が欠損している場合、ｗ’_３２を用いて、ｘ_２からｘ_３’を生成する。

図６におけるｘ_１またはｘ_２は、第１の単語の一例である。ｘ_３は、第１の文章の一例である。ｗ’_３１またはｗ’_３２は、第２の変換パラメータの一例である。

図７は、入力情報から中間情報への変換方法の例を示す図である。運用時の入力情報にｘ_３が欠損している場合、変換部１５は、第２生成部１３が生成したｗ’_３１を用いて、ｘ_１からｘ_３’＿１を生成する。さらに、変換部１５は、第２生成部１３が生成したｗ’_３２を用いて、ｘ_２からｘ_３’＿２を生成する。

変換部１５は、ｘ_１から生成したｘ_３’＿１とｘ_２から生成したｘ_３’＿２とに基づいて、ｘ_３’を生成する。変換部１５は、例えば、ｘ_３’＿１とｘ_３’＿２との平均値を、ｘ_３’とする。変換部１５は、ｘ_３’＿１とｘ_３’＿２とのいずれかをｘ_３’としてもよい。

図７におけるｘ_１、ｘ_２は、第２の単語の一例であり、ｘ_３’は、第２の中間情報の一例である。ｘ_１、ｘ_２、ｘ_３’から生成されるｙは、第２の情報の一例である。

図８は、他の入力情報に変換するパラメータの生成方法の第１の例を示す図である。図８に示す例では、第２生成部１３は、ｘ_１を取得し、ｘ_１からｘ_２を生成するためのパラメータｗ_２１を生成する。第２生成部１３は、例えば、ｘ_１と初期のパラメータｗ_２１に基づいて、ｘ_２の予測値であるｐｒｅｄ１＿ｘ_２を生成する。そして、第２生成部１３は、ｐｒｅｄ１＿ｘ_２とｘ_２との差が最も小さくなるようにｗ_２１を生成する。

第２生成部１３は、同様に、ｘ_３を取得し、ｘ_３からｘ_２を生成するためのパラメータｗ_２３を生成する。

図９は、他の入力情報に変換するパラメータの生成方法の第２の例を示す図である。第２生成部１３は、図８に示した方法と同様の方法により、各入力情報を他の入力情報に変換するためのパラメータを生成する。

例えば、第２生成部１３は、ｘ_１をｘ_２に変換するためのパラメータｗ_２１、およびｘ_１をｘ_３に変換するためのパラメータｗ_３１を生成する。また、第２生成部１３は、ｘ_２をｘ_１に変換するためのパラメータｗ_１２、およびｘ_２をｘ_３に変換するためのパラメータｗ_３２を生成する。また、第２生成部１３は、ｘ_３をｘ_１に変換するためのパラメータｗ_１３、およびｘ_３をｘ_２に変換するためのパラメータｗ_２３を生成する。

図１０は、入力情報から他の入力情報への変換方法の例を示す図である。運用時の入力情報にｘ_２が欠損している場合、変換部１５は、第１生成部１２が生成したｗ_２１を用いて、ｘ_１からｘ_２＿１を生成する。さらに、変換部１５は、第１生成部１２が生成したｗ_２３を用いて、ｘ_２からｘ_２＿３を生成する。

変換部１５は、ｘ_１から生成したｘ_２＿１とｘ_３から生成したｘ_２＿３とに基づいて、ｘ_２を生成する。変換部１５は、例えば、ｘ_２＿１とｘ_２＿３との平均値を、ｘ_２とする。変換部１５は、例えば、ｘ_２＿１とｘ_２＿３とのいずれかをｘ_２としてもよい。

図１１は、学習時における処理の一例を示すフローチャートである。取得部１１は、分類器のパラメータを生成するための学習情報を取得する（ステップＳ１０１）。学習情報は、例えば、第１の入力項目（例えば、ジャンル、製作会社等）に対応付けて入力された第１の単語と、第２の入力項目（例えば、概要を示す文章）に対応付けて入力された第１の文章を含む。また、学習情報は、第１の単語及び第１の文章の組みに応じた第１の情報（例えば、面白さ）を含む。

第１生成部１２は、第１の単語及び第１の中間情報の組みを、第１の情報に応じた情報に変換するパラメータを生成する（ステップＳ１０２）。ステップＳ１０２で生成されるパラメータは、第１の変換パラメータの一例である。ステップＳ１０２で生成されるパラメータは、例えば、図３に示すＷ_１、Ｗ_２、およびＷ_ｈの組である。

第２生成部１３は、取得部１１が取得した入力情報の入力項目毎に繰り返し処理を開始する（ステップＳ１０３）。第２生成部１３は、処理対象の項目の入力情報が文章であるか判定する（ステップＳ１０４）。

入力情報が文章である場合（ステップＳ１０４でＹＥＳ）、第２生成部１３は、入力情報を他の入力情報に応じた中間情報に変換するためのパラメータを生成する（ステップＳ１０５）。第２生成部１３は、例えば、ｘ_１を、ｘ_３の中間情報であるｘ_３’に変換するためのパラメータＷ’_３１を生成する（図６参照）。ステップＳ１０５で生成されるパラメータは第２のパラメータの一例である。

入力情報が文章でない場合（ステップＳ１０４でＮＯ）、第２生成部１３は、入力情報を他の入力情報に変換するためのパラメータを生成する（ステップＳ１０６）。第２生成部１３は、例えば、ｘ_１を、ｘ_２に変換するためのパラメータＷ_２１を生成する（図８参照）。

第２生成部１３は、取得部１１が取得した入力情報の全項目についてステップＳ１０４～Ｓ１０６の処理を実行した場合、繰り返し処理を終了する（ステップＳ１０７）。

図１２は、運用時における処理の一例を示すフローチャートである。取得部１１は、入力情報を受け付ける（ステップＳ２０１）。入力情報は、例えば、単語および文章である。

判定部１４は、入力情報に欠損があるか判定する（ステップＳ２０２）。判定部１４は入力情報のうちの一部または全部が不足している場合、入力情報が欠損していると判定する。

入力情報に欠損があると判定された場合（ステップＳ２０２でＹＥＳ）、変換部１５は、欠損した入力情報毎の繰り返し処理を開始する（ステップＳ２０３）。

変換部１５は、欠損している情報が文章であるか判定する（ステップＳ２０４）。欠損している情報が文章である場合（ステップＳ２０４でＹＥＳ）、変換部１５は、第２生成部１３が生成した第２のパラメータを用いて入力情報を変換して、欠損した入力情報の中間情報を生成する（ステップＳ２０５）。中間情報は、入力情報とは異なる形式であるとする。変換部１５は、例えば、図７の例に示すように、ｗ’_３１を用いて、ｘ_１からｘ_３’＿１を生成する。

欠損している情報が文章でない場合（ステップＳ２０４でＮＯ）、変換部１５は、第１生成部１２が生成したパラメータを用いて、入力情報を欠損した入力情報に変換する（ステップＳ２０６）。変換部１５は、繰り返し処理を終了する（ステップＳ２０７）。変換部１５は、例えば、第１生成部１２が生成したｗ_２１を用いて、ｘ_１からｘ_２＿１を生成する。

第３生成部１６は、欠損していた情報が文章であるか判定する（ステップＳ２０８）。文章が欠損していた場合、ステップＳ２０５の処理で中間情報が生成されている。よって、ステップＳ２０８でＹＥＳの場合、第３生成部１６は、第１のパラメータを用いて、入力情報および中間情報の組に応じた出力情報を生成する（ステップＳ２０９）。第３生成部１６は、例えば、入力情報（ｘ_１、ｘ_２）と、中間情報ｘ_３’と、学習時に得られたＷ_ｈ、Ｗ_１、Ｗ_２、とに基づいて出力情報ｙを生成する。

ステップＳ２０２、またはステップＳ２０８でＮＯの場合、第３生成部１６は、第１のパラメータを用いて入力情報に応じた出力情報を生成する（ステップＳ２１０）。第３生成部１６は、例えば、入力情報（ｘ_１、ｘ_２、ｘ_３）と、学習時に得られたＷ_ｈ、Ｗ_１、Ｗ_２、Ｗ_３とに基づいて出力情報ｙを生成する。

なお、生成装置１は、学習時に学習情報が欠損を含む場合、欠損を除く学習情報に対して、図１１に示す処理を実行し、パラメータを生成する。これにより、生成装置１は、欠損がノイズとなり、学習精度が低下することを防ぐことができる。また、生成装置１は、学習情報の欠損について、図１２のステップＳ２０３～Ｓ２０７と同様の処理を実行し、入力情報または中間情報を生成する。これにより、生成装置１は、学習情報の欠損を補うことができるので、学習情報の量を増やし、出力情報の精度を向上させることができる。

以上のように本実施形態の生成装置１は、学習時に、単語から文章に応じた中間情報を生成するためのパラメータを生成する。そして、生成装置１は、運用時に、文章が入力されない（欠損している）場合に、生成したパラメータを用いて中間情報を生成し、その中間情報を用いて出力情報を生成する。そのため、生成装置１は、文章のように予測が困難な情報が欠損していたとしても、中間情報を用いて出力情報を生成することができる。

また、中間情報は、入力情報より次元が少ない情報であるため、生成装置１は、他の情報を用いて容易に中間情報を予測することできる。

＜実施例＞
図１３は、入力情報を示す行列式の例を示す図である。図１３に示す入力情報は、図２に示す入力情報に対応している。図１３（ａ）は、”ａｃｔｉｏｎ”を示す入力情報ｘ_１を示す行列式である。図１３（ａ）の行数は、映画ジャンルの数に対応している。また、２行目が”ａｃｔｉｏｎ”を示すとする。よって、入力情報ｘ_１が”ａｃｔｉｏｎ”である場合、行列式の２行目の値が１となる。

図１３（ｂ）は、”Ｄｉｓｎｅｙ”を示す入力情報ｘ_２を示す行列式である。図１３（ｂ）の行数は、製作会社の数に対応している。また、１行目が”Ｄｉｓｎｅｙ”を示すとする。よって、入力情報ｘ_２が”Ｄｉｓｎｅｙ”である場合、行列式の１行目の値が１となる。

図１３（ｃ）は、”ダイナミックな映画”を示す入力情報ｘ_３を示す行列式である。図１３（ｃ）の行数は、登録単語数に対応し、列数（次元数）は、入力情報内の単語数に対応している。また、２行目が”ダイナミック”を示し、４行目が”な”を示し、５行目が”映画”を示す。

なお、実際の運用において登録単語数は、例えば、約１０万語であり、入力情報内の単語数は約１０語であるとする。その場合、パターン数は、１０万×１０＝１００万パターンとなる。このパターン数は、入力情報が単語である場合のパターン数と比べると大きく異なるため、単語から文章を直接予測することは困難である。

しかし、中間情報ｘ_３’は、図５に示すように１次元の情報である。すなわち、入力情報から中間情報ｘ_３’に変換すると含まれる単語の順序は失われるが、単語の意味は失われない。

（１）学習時における第１のパラメータ生成処理の例
以下、学習時における第１生成部１２によるパラメータ生成の例について説明する。図１４は、実施例における各情報およびパラメータを示す図である。ｈは、中間情報ｘ_１’、ｘ_２’、ｘ_３’の組を示す。ｈ以外の各情報、パラメータは図３に示す例と同様である。

中間情報ｘ_１’、ｘ_２’、ｘ_３’は、下記の式（１）～（３）のように表される。

また、中間情報ｘ_１’、ｘ_２’、ｘ_３’の組を示すｈは、下記の式（４）のように表される。

また、出力情報ｙの予測値であるｐｒｅｄ＿ｙは、下記の式（５）のように表される。

なお、式（５）のsoftmax関数は、以下のように定義される。
softmax(x)＝exp(x)/sum(exp(x))

第１生成部１２は、ｐｒｅｄ＿ｙとｙとが近づくように、各パラメータ（ｗ_１～ｗ_３、ｗ_ｈ）を調整する。第１生成部１２は、例えば、バックプロパゲーションを用いて学習する。ｐｒｅｄ＿ｙとｙとの差（ｌｏｓｓ）としては、SoftMaxCrossEntropy、またはMean Squared Error（ＭＳＥ）等が用いられる。

運用時において、第３生成部１６は、第１生成部１２が生成した各パラメータ（ｗ_１～ｗ_３、ｗ_ｈ）を用いてｐｒｅｄ＿ｙを算出し、算出されたｐｒｅｄ＿ｙから予測した値を出力情報ｙとして出力する。例えば、式（５）のｐｒｅｄ＿ｙでは、１行目の０．９が最も大きく、１行目が”ｖｅｒｙ ｇｏｏｄ”を示す場合、第３生成部１６は、ｙが”ｖｅｒｙ ｇｏｏｄ”であると予測する。

（２）学習時における第２のパラメータ生成処理の例
次に、学習時において、第２生成部１３が中間情報ｘ_３’を生成するためのパラメータを生成する方法の例を示す。以下の説明は、図６に示す処理の実施例に相当する。ｘ_１に基づく中間情報ｘ_３’の予測値であるｐｒｅｄ１＿ｘ_３’は、下記の式（６）のように表される。

また、ｐｒｅｄ１＿ｘ_３’とｘ_３’との差は、ＭＳＥを用いた場合、下記の式（７）のように表される。

第２生成部１３は、式（７）に示すｌｏｓｓが最も小さくなるようにパラメータｗ’_３１を生成する。同様に、第２生成部１３は、ｘ_２から中間情報ｘ_３’を生成するためのパラメータｗ’_３２を生成する。

（３）運用時に文章（ｘ_３）が欠損していた場合の出力情報生成処理の例
次に運用時において、文章（ｘ_３）が欠損していた場合の出力情報生成処理を説明する。第３生成部１６は、入力情報ｘ_１と学習時に生成されたｗ_１とに基づいて、下記の式（８）のように中間情報ｘ_１’を生成する。

また、第３生成部１６は、入力情報ｘ_２と学習時に生成されたｗ_２とに基づいて、下記の式（９）のように中間情報ｘ_２’を生成する。

そして、変換部１５は、学習時に第２生成部１３が生成したｗ’_３１に基づいて、下記の式（１０）のように、入力情報ｘ_１をｘ_３’＿１に変換する。

そして、変換部１５は、学習時に第２生成部１３が生成したｗ’_３２に基づいて、下記の式の式（１１）のように、入力情報ｘ_２をｘ_３’＿２に変換する。

そして、変換部１５は、下記の式（１２）のように、ｘ_１から生成したｘ_３’＿１とｘ_２から生成したｘ_３’＿２との平均値を、ｘ_３’とする。

中間情報の組ｈは、上記の式（１０）～（１２）のように生成されたｘ_１’、ｘ_２’、ｘ_３’を用いると、下記の式（１３）のように表される。

第３生成部１６は、学習時に生成されたＷ_ｈと上記のように算出されたｈとに基づいて下記の式（１４）のように出力情報ｙを生成する。この出力情報ｙは、第２の情報の一例である。

（４）運用時に単語（ｘ_２）が欠損していた場合の出力情報生成処理の例
次に運用時において、単語（ｘ_２）が欠損していた場合の出力情報生成処理を説明する。変換部１５は、学習時に生成されたｗ_２１に基づいて、下記の式（１５）のように入力情報ｘ_１を入力情報ｘ_２の予測値であるｐｒｅｄ１＿ｘ_２に変換する。

また、変換部１５は、学習時に生成されたｗ_２３に基づいて、下記の式（１６）のように入力情報ｘ_３を入力情報ｘ_２の予測値であるｐｒｅｄ３＿ｘ_２に変換する。

式（１６）におけるＷ_２３ｓｕｍ（ｘ_３）は、下記の式（１７）のように計算される。

変換部１５は、上記のように生成されたｐｒｅｄ１＿ｘ_２、およびｐｒｅｄ３＿ｘ_２の平均値を計算することにより、下記の式（１８）のようにｘ_２を生成する。

上記ｘ_２のうち、３行目の０．４２が最も大きい値であるため、変換部１５は、０．４２を１に変換し、他の数字を０に変換する。変換部１５は、下記の式（１９）のようなｘ_２を得る。

第３生成部１６は、上記の計算で得られたｘ_２を含む入力情報（ｘ_１、ｘ_２、ｘ_３）と、学習時に得られたＷ_ｈ、Ｗ_１、Ｗ_２、Ｗ_３とに基づいて出力情報ｙを生成する。

図１５は、欠損および外れ値を含む情報の例を示す図である。図１５（ａ）は、欠損を含む入力情報の例である。図１５（ａ）のｘ_１は、全ての要素が０であるため、判定部１４は、欠損があると判定する。

図１５（ｂ）は、外れ値を含む入力情報の例である。図１５（ｂ）のｘ_１およびｘ_２の組は、学習時の入力情報に存在しなかった組み合わせであるとする。判定部１４は、このような入力情報に含まれる値を、外れ値であるとみなしてもよい。

図１５（ｃ）は、外れ値を含む入力情報の例である。図１５（ｃ）のｘ_３は、学習時の入力情報に存在しなかった情報であるとする。判定部１４は、このような入力情報に含まれる値を、外れ値であるとみなしてもよい。

次に、生成装置１のハードウェア構成の一例を説明する。図１６は、生成装置１のハードウェア構成の一例を示す図である。図１６の例に示すように、生成装置１において、バス１００に、プロセッサ１１１とメモリ１１２と補助記憶装置１１３と通信インタフェース１１４と媒体接続部１１５と入力装置１１６と出力装置１１７とが接続される。

プロセッサ１１１は、メモリ１１２に展開されたプログラムを実行する。実行されるプログラムには、実施形態における処理を行う生成プログラムが適用されてもよい。

メモリ１１２は、例えば、Random Access Memory(RAM)である。補助記憶装置１１３は、種々の情報を記憶する記憶装置であり、例えばハードディスクドライブや半導体メモリ等が適用されてもよい。補助記憶装置１１３に実施形態の処理を行う生成プログラムが記憶されていてもよい。

通信インタフェース１１４は、Local Area Network（LAN）、Wide Area Network（WAN）等の通信ネットワークに接続され、通信に伴うデータ変換等を行う。

媒体接続部１１５は、可搬型記録媒体１１８が接続可能なインタフェースである。可搬型記録媒体１１８には、光学式ディスク（例えば、Compact Disc(CD)やDigital Versatile Disc(DVD))、半導体メモリ等が適用されてもよい。可搬型記録媒体１１８に実施形態の処理を行う生成プログラムが記録されていてもよい。

入力装置１１６は、例えば、キーボード、ポインティングデバイス等であり、ユーザからの指示及び情報等の入力を受け付ける。

出力装置１１７は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザへの問い合わせ又は指示、及び処理結果等を出力する。生成装置１は、出力装置１１７を用いて、生成したパラメータ、および出力情報等を出力（表示または印刷等）してもよい。

図１に示す記憶部１７は、メモリ１１２、補助記憶装置１１３または可搬型記録媒体１１８等により実現されてもよい。図１に示す取得部１１、第１生成部１２、第２生成部１３、判定部１４、変換部１５、および第３生成部１６は、メモリ１１２に展開された生成プログラムをプロセッサ１１１が実行することにより実現されてもよい。

メモリ１１２、補助記憶装置１１３および可搬型記録媒体１１８は、コンピュータが読み取り可能であって非一時的な有形の記憶媒体であり、信号搬送波のような一時的な媒体ではない。

＜その他＞
本実施形態は、以上に述べた実施の形態に限定されるものではなく、本実施形態の要旨を逸脱しない範囲内で様々な変更、追加、省略が適用可能である。

１ 生成装置
１１ 取得部
１２ 第１生成部
１３ 第２生成部
１４ 判定部
１５ 変換部
１６ 第３生成部
１７ 記憶部
１００ バス
１１１ プロセッサ
１１２ メモリ
１１３ 補助記憶装置
１１４ 通信インタフェース
１１５ 媒体接続部
１１６ 入力装置
１１７ 出力装置
１１８ 可搬型記録媒体

Claims (5)

1. コンピュータが、
   第１の入力項目に対応付けて入力された第１の単語と、第２の入力項目に対応付けて入力された第１の文章と、前記第１の単語及び前記第１の文章の組みに応じた第１の情報と、を含む学習情報を取得し、
   前記学習情報に基づき、前記第１の単語と、前記第１の文章に対して文章変換パラメータを用いて行う文章変換により得られる第１の中間情報との組みに対して第１の変換パラメータを用いて行う第１の変換により得られる情報が前記第１の情報に最も近くなるように前記文章変換パラメータ及び前記第１の変換パラメータを調整することによって、前記文章変換パラメータ及び前記第１の変換パラメータを生成すると共に、前記第１の単語に対して第２の変換パラメータを用いて行う第２の変換により得られる情報と前記第１の中間情報との差が最も小さくなるように前記第２の変換パラメータを生成し、
   前記第２の入力項目に対応付けられた文章の入力を受け付けずに、前記第１の入力項目に対応付けられた第２の単語の入力を受け付けると、前記第２の単語と、前記第２の単語に対して前記第２の変換パラメータを用いて行う前記第２の変換により得られる第２の中間情報との組みに対して前記第１の変換パラメータを用いて前記第１の変換を行うことにより第２の情報を生成し、
   前記第２の単語の入力と前記第２の入力項目に対応付けられた第２の文章の入力とを共に受け付けると、前記第２の単語と、前記第２の文章に対して前記文章変換パラメータを用いて行う前記文章変換により得られる第３の中間情報との組みに対して前記第１の変換パラメータを用いて前記第１の変換を行うことにより第３の情報を生成する、
   処理を実行することを特徴とする生成方法。
2. 前記第１の中間情報は、前記第１の文章の意味を示す、前記第１の文章とは異なる形式の情報である
   ことを特徴とする請求項１記載の生成方法。
3. 前記第１の中間情報を示す行列の次元数は、前記第１の文章を示す行列の次元数より少ない
   ことを特徴とする請求項１または２記載の生成方法。
4. 第１の入力項目に対応付けて入力された第１の単語と、第２の入力項目に対応付けて入力された第１の文章と、前記第１の単語及び前記第１の文章の組みに応じた第１の情報と、を含む学習情報を取得し、
   前記学習情報に基づき、前記第１の単語と、前記第１の文章に対して文章変換パラメータを用いて行う文章変換により得られる第１の中間情報との組みに対して第１の変換パラメータを用いて行う第１の変換により得られる情報が前記第１の情報に最も近くなるように前記文章変換パラメータ及び前記第１の変換パラメータを調整することによって、前記文章変換パラメータ及び前記第１の変換パラメータを生成すると共に、前記第１の単語に対して第２の変換パラメータを用いて行う第２の変換により得られる情報と前記第１の中間情報との差が最も小さくなるように前記第２の変換パラメータを生成し、
   前記第２の入力項目に対応付けられた文章の入力を受け付けずに、前記第１の入力項目に対応付けられた第２の単語の入力を受け付けると、前記第２の単語と、前記第２の単語に対して前記第２の変換パラメータを用いて行う前記第２の変換により得られる第２の中間情報との組みに対して前記第１の変換パラメータを用いて前記第１の変換を行うことにより第２の情報を生成し、
   前記第２の単語の入力と前記第２の入力項目に対応付けられた第２の文章の入力とを共に受け付けると、前記第２の単語と、前記第２の文章に対して前記文章変換パラメータを用いて行う前記文章変換により得られる第３の中間情報との組みに対して前記第１の変換パラメータを用いて前記第１の変換を行うことにより第３の情報を生成する、
   処理をコンピュータに実行させるための生成プログラム。
5. 第１の入力項目に対応付けて入力された第１の単語と、第２の入力項目に対応付けて入力された第１の文章と、前記第１の単語及び前記第１の文章の組みに応じた第１の情報と、を含む学習情報を取得する取得部と、
   前記学習情報に基づき、前記第１の単語と、及び前記第１の文章に対して文章変換パラメータを用いて行う文章変換により得られる第１の中間情報との組みに対して第１の変換パラメータを用いて行う第１の変換により得られる情報が前記第１の情報に最も近くなるように前記文章変換パラメータ及び前記第１の変換パラメータを調整することによって、前記文章変換パラメータ及び前記第１の変換パラメータを生成すると共に、前記第１の単語に対して第２の変換パラメータを用いて行う第２の変換により得られる情報と前記第１の中間情報との差が最も小さくなるように前記第２の変換パラメータを生成するパラメータ生成部と、
   前記第２の入力項目に対応付けられた文章の入力を受け付けずに、前記第１の入力項目に対応付けられた第２の単語の入力を受け付けると、前記第２の単語と、前記第２の単語に対して前記第２の変換パラメータを用いて行う前記第２の変換により得られる第２の中間情報との組みに対して前記第１の変換パラメータを用いて前記第１の変換を行うことにより第２の情報を生成し、前記第２の単語の入力と前記第２の入力項目に対応付けられた第２の文章の入力とを共に受け付けると、前記第２の単語と、前記第２の文章に対して前記文章変換パラメータを用いて行う前記文章変換により得られる第３の中間情報との組みに対して前記第１の変換パラメータを用いて前記第１の変換を行うことにより第３の情報を生成する情報生成部と、
   を備えることを特徴とする生成装置。

Images