JP7265837B2 - 学習装置および学習方法 - Google Patents

Description

本発明は、学習装置および学習方法に関する。

従来、入力された情報の解析結果に基づいて、入力された情報と関連する情報を検索もしくは生成し、検索もしくは生成した情報を応答として出力する技術が知られている。このような技術の一例として、入力されたテキストに含まれる単語、文章、文脈を多次元ベクトルに変換して解析し、解析結果に基づいて、入力されたテキストと類似するテキストや、入力されたテキストに続くテキストを類推し、類推結果を出力する自然言語処理の技術が知られている。

特開２０００－３５３１６０号公報

"word2vecによる自然言語処理"，西尾泰和，2014年05月発行，ISBN978-4-87311-683-9

しかしながら、上記の従来技術では、所定の概念の理解を援助する情報を出力することができない場合がある。

例えば、上記の従来技術では、入力されたテキストと類似するテキストや、入力されたテキストに続くテキスト等、利用者が予測しうる情報を出力しているに過ぎない。このため、例えば、たとえ話等、利用者の理解を援助する情報を出力することができない場合がある。

本願は、上記に鑑みてなされたものであって、所定の概念の理解を援助する情報を出力することを目的とする。

本願に係る学習装置は、所定の構造を有する文章に含まれる単語群を抽出する抽出部と、同一の文章から抽出された単語群に含まれる各単語の概念を示すベクトルが、当該文章と対応するベクトルの合成で構成されるようにするように、前記単語から当該単語の概念を示すベクトルを生成するモデルを学習する学習部とを有することを特徴とする。

実施形態の一態様によれば、所定の概念の理解を援助する情報を出力することができる。

図１は、実施形態に係る学習装置が実行する学習処理の一例を示す図である。 図２は、実施形態に係る学習装置の構成例を示す図である。 図３は、実施形態に係る正解データデータベースに登録される情報の一例を示す図である。 図４は、実施形態に係るベクトルデータベースに登録される情報の一例を示す図である。 図５は、実施形態に係る測地線データベースに登録される情報の一例を示す図である。 図６は、実施形態に係る学習装置が比較する構造の一例を示す図である。 図７は、実施形態に係る学習処理の流れの一例を説明するフローチャートである。 図８は、実施形態に係る測定処理の流れの一例を説明するフローチャートである。 図９は、ハードウェア構成の一例を示す図である。

以下に、本願に係る学習装置および学習方法を実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る学習装置および学習方法が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

［実施形態］
〔１－１．学習装置の一例〕
まず、図１を用いて、学習装置が実行する処理の一例について説明する。図１は、実施形態に係る学習装置が実行する学習処理の一例を示す図である。図１では、学習装置１０は、以下に説明する学習処理を実行する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。

より具体的には、学習装置１０は、インターネット等の所定のネットワークＮを介して、入力装置１００や情報処理装置２００（例えば、図２を参照）といった任意の装置と通信が可能である。

ここで、入力装置１００は、マイクなどの音声を取得する音声取得装置を用いて、利用者の発言を取得する。そして、入力装置１００は、任意の音声認識技術を用いて、発言をテキストデータに変換し、変換後のテキストデータを学習装置１０へと送信する。また、情報処理装置２００は、スピーカ等の音声を出力する装置を用いて、学習装置１０から受信したテキストデータの読み上げを行う。なお、情報処理装置２００は、学習装置１０から受信したテキストデータを所定の表示装置に表示してもよい。

なお、入力装置１００や情報処理装置２００は、スマートフォンやタブレット等のスマートデバイス、デスクトップＰＣ（Personal Computer）やノートＰＣ等、サーバ装置等の情報処理装置により実現される。なお、入力装置１００および情報処理装置２００は、例えば、同一の情報処理装置によって実現されてもよく、例えば、ロボット等の装置によって実現されてもよい。

〔１－２．学習装置の処理について〕
ここで、ある事柄についてたとえ話を生成することができるのであれば、その事柄の概念を理解しているとも考えられる。また、かかる事柄の抽象化度が高い程、事柄をより良く理解しているとも考えられる。このため、学習装置１０が事柄をより高度に抽象化できるのであれば、その事柄の概念を理解している（事柄の概念を学習している）と言うことができる。また、学習装置１０が、ある事柄の概念をたとえ話にすることができるのであれば、利用者にその事柄をより容易に理解させることができるとも考えられる。

そこで、学習装置１０は、入力された事柄を精度良く抽出するために、以下の学習処理を実行する。まず、学習装置１０は、所定の構造を有する文章に含まれる複数の単語（以下、「単語群」と記載する）を抽出する。そして、学習装置１０は、同一の文章から抽出された単語群に含まれる各単語の概念を示すベクトルが、その文章と対応するベクトルの合成を構成するように、単語から単語の概念を示すベクトルを生成するモデルを学習する。すなわち、学習装置１０は、各単語のベクトルを合成した際に、ある文章から抽出した文章と対応するベクトルを構成するように、単語から単語の概念を示すベクトルを生成するモデルを学習する。より具体的には、学習装置１０は、文章と対応するベクトルとして、文章と対応する測地線の接ベクトルを構成するように、各単語の概念を示すベクトルを生成するモデルを学習する。

例えば、学習装置１０は、正解データとして入力された文章から第１単語、第２単語、および第３単語を抽出したものとする。このような場合、学習装置１０は、ｗｏｒｄ２ｖｅｃ等の技術を用いて、各単語を多次元量（ベクトル）へと変換する。ここで、ｗｏｒｄ２ｖｅｃでは、単語が入力された際に、単語が有する特徴（概念等）を示すベクトルへと変化させるモデルを用いて、単語をベクトルへと変換する。そして、学習装置１０は、第１単語のベクトルを含むベクトル空間（分散表現空間）において、第１単語のベクトルと、第２単語のベクトルと、第３単語のベクトルとが測地線を構成するように、バックプロパゲーション等、各種任意の学習手法を用いて、ｗｏｒｄ２ｖｅｃ（ｗ２ｖ）で用いるモデルの修正を行う。

例えば、学習装置１０は、単語をｎ次元のベクトルへと変化するモデルを用いて、第１単語、第２単語、および第３単語をベクトルに変換する。より具体的な例を挙げると、学習装置１０は、第１単語、第２単語および第３単語をモデルに入力することで、第１単語のベクトル「（ａ１、ａ２・・・・ａｎ）」、第２単語のベクトル「（ｂ１、ｂ２・・・・ｂｎ）」、および第３単語のベクトル「（ｃ１、ｃ２・・・・ｃｎ）」を取得する。

このような場合、学習装置１０は、第１単語のベクトル「（ａ１、ａ２・・・・ａｎ）」、第２単語のベクトル「（ｂ１、ｂ２・・・・ｂｎ）」、および第３単語のベクトル「（ｃ１、ｃ２・・・・ｃｎ）」が、共通する測地線の接ベクトルとなるように、モデルの修正を行う。より具体的には、学習装置１０は、第１単語のベクトルの方向に第１単語のベクトルを移動させたベクトルが第２単語のベクトルとなり、第２単語のベクトルの方向に第２単語のベクトルを移動させたベクトルが第３単語のベクトルとなるように、モデルの修正を行う。

このような処理の結果、学習装置１０は、第１単語、第２単語および第３単語を含む文章が有する概念であって、文章が有する構成を考慮した概念を一つの測地線へと落とし込むことができる。このような文章の概念及び構造を落とし込んだ分散表現空間上で、各文章の測地線同士を比較した場合には、文章の構造を考慮した上で、文章の抽象化された概念同士を比較することができる。

例えば、「「月曜日」は「曜日」の「１つ目」である」という第１文章と「「１月１日」は「一年」の「初日」である」という第２文章とを考える。例えば、学習装置１０は、「月曜日」を第１単語とし、「曜日」を第２単語とし「１つ目」を第３単語とし、上述した学習により生成されたモデルを用いて各単語をベクトル化した場合は、「月曜日」を示すベクトルを生成するとともに、「曜日」のベクトルとして、「月曜日」のベクトルの先に「月曜日」のベクトルを移動させたベクトルと、「１つ目」のベクトルとして、「曜日」のベクトルの先に「曜日」のベクトルを移動させたベクトルとを生成する。また、例えば、学習装置１０は、「１月１日」を第１単語とし、「一年」を第２単語とし「初日」を第３単語とし、上述した学習により生成されたモデルを用いて各単語をベクトル化した場合は、「１月１日」を示すベクトルを生成するとともに、「一年」のベクトルとして、「１月１日」のベクトルの先に「１月１日」のベクトルを移動させたベクトルと、「初日」のベクトルとして、「一年」のベクトルの先に「一年」のベクトルを移動させたベクトルとを生成する。すなわち、学習装置１０は、文章における出現順序（すなわち、構造）を接ベクトルの順番として保持する測地線を生成する。

ここで、算出した測地線からなる空間（以下、「測地線空間」と記載する。）上においては、第１文章の測地線と第２文章の測地線とのユークリッド距離とが近くなるとは限らない。しかしながら、第１文章および第２文章においては、文章構造が類似している。例えば、第１文章および第２文章では、第１単語が日付に関連する単語であり、第２単語が日付を含む単語であり、第３単語が第２単語において第１単語が示す意味を示す単語である。このため、測地線空間上においては、第１文章の測地線の形状（例えば、曲率等といった曲がり具合等）と第２文章の測地線の形状とが類似すると予測される。

このため、例えば、学習装置１０は、正解データとなる様々な文章の測地線を測地線空間上に落とし込んでおき、測地線空間上において、処理対象となる文章の測地線と類似する測地線（例えば、処理対象となる文章の測地線をアフィン変換した測地線や、アフィン変換した測地線と類似する測地線等、形状が類似する測地線）が示す文章を出力した場合は、処理対象となる文章と構造が類似する文章、すなわち、処理対象となる文章のたとえ話を出力することができると考えられる。

そこで、学習装置１０は、以下の測定処理を実行する。まず、学習装置１０は、上述した学習処理によって学習が行われたモデルを用いて、利用者から受け付けた文章に含まれる単語の概念を示すベクトルを静止絵する。そして、学習装置１０は、生成したベクトルを接ベクトルとする測地線を生成し、生成した測地線と他の文章と対応する測地線との類似性に基づいて、利用者から受付けた文章と同様の構造を有する文章を測地線空間上から特定する。そして、学習装置１０は、特定した文章を出力する。より具体的には、学習装置１０は、利用者から受付けた文章が有する概念を示すたとえとして、生成した文章を出力する。

〔１－３．学習処理や測定処理の利用例について〕
ここで、学習装置１０は、上述したたとえ話を出力する処理を任意の目的で実行してよい。例えば、学習装置１０は、利用者に概念を教示するために、上述した学習処理や測定処理を利用してもよい。より具体的な例を挙げると、学習装置１０は、利用者が知識を有する分野でのたとえ話を生成することで、効率的に人に概念を理解させてもよい。

例えば、学習装置１０は、利用者から文章Ａおよび分野Ｄの指定を受付ける。このような場合、学習装置１０は、測地線空間上において、分野Ｄに属する文章の測地線のうち、文章Ａと類似する測地線を抽出する。そして、学習装置１０は、抽出した測地線が示す文章Ｂを出力することで、利用者が指定した分野Ｄでのたとえ話を出力してもよい。より具体的には、学習装置１０は、「文章Ａに含まれる各単語の関係は、文章Ｂに含まれる各単語の関係みたいなもの」等といった応答を出力してもよい。

このように、学習装置１０は、文章Ａを構成する単語のみならず、文章Ａの構造（各単語の関係性）を文章Ａの概念の構成要素として学習し、構成要素が類似する概念（すなわち、文章Ｂの概念）を測地線空間上で抽出し、抽出した概念の構成要素を用いて、文章Ａの概念のたとえ話を生成する。

なお、例えば、学習装置１０は、利用者からたとえ話の条件を受付けてもよい。例えば、学習装置１０は、文章Ａおよび分野Ｄの指定と共に、たとえのベースとなる単語Ｃの指定を受付ける。このような場合、学習装置１０は、分野Ｄに属する文章の測地線のうち、文章Ａと類似する測地線であって、単語Ｃのベクトル（すなわち、単語Ｃの概念）を接ベクトルとする測地線を選択し、選択した測地線が示す文章を出力する。この結果、学習装置１０は、文章Ａに含まれる各単語の関係性を、単語Ｃを用いて例えたたとえ話を出力することができるので、利用者の理解を促進させることができる。

一方、上述したようなたとえ話の精度は、入力された文章の理解度を図る指標となりえる。そこで、学習装置１０は、上述した測定処理により利用者から受付けた文章と単語群の関係性の連鎖が類似する文章を応答として出力し、利用者との対話を通して効率的な学習を行ってもよい。

例えば、学習装置１０は、利用者から文章Ａおよび分野Ｄの指定を受付ける。このような場合、学習装置１０は、測地線空間上において、分野Ｄに属する文章の測地線のうち、文章Ａの測地線と構造が類似する複数の測地線を候補として抽出する。そして、学習装置１０は、抽出した測地線のうち、正答である最も可能性が高い測地線を用いてたとえ話を生成し、生成したたとえ話を出力する。この結果、利用者からたとえ話が正しい旨の入力を受付けた場合は、処理を終了する。一方、学習装置１０は、利用者からたとえ話が間違っている旨の入力を受付けた場合は、その測地線を候補から除外するように、最も正答である可能性が高い測地線を再選択し、他の測地線からたとえ話を再生成する。そして、学習装置１０は、再生成したたとえ話を出力する。このような処理を繰りかえす際に、正答である最も可能性が高い測地線を選択する際のアルゴリズムを段階的に補正すればよい。すなわち、学習装置１０は、利用者から受付けた文章の測地線と類似する測地線を特定する際の特定アルゴリズム（換言すると、測地線同士の類似性を特定するアルゴリズム）を段階的に補正すればよい。

〔１－４．学習処理について〕
なお、学習装置１０は、任意の数の単語を含む文章を測地線空間上に落とし込んでよい。例えば、学習装置１０は、モデルを用いて、文章に含まれるｎ個の単語のベクトルを算出する。そして、学習装置１０は、２～ｎまでの自然数をｉとおいた場合に、ｉ－１番目に出現する単語のベクトルの先にその単語のベクトルを移動したベクトルがｉ番目に出現する単語のベクトルとなるように、モデルの学習を行えばよい。

なお、学習装置１０は、単語群が所定の構造を有する文章、すなわち、各単語が所定の関係性を有する文章であれば、任意の文章を正解データとし、上述した学習処理を実行すればよい。この際、学習装置１０は、文章の内容が属する分野（例えば、医療分野や技術分野等）等に関わらず、任意の文章を正解データとして学習してよい。

〔１－５．類似性の判断について〕
ここで、学習装置１０は、フィッシャー情報行列を用いて、測地線同士の比較を行ってもよい。より具体的には、学習装置１０は、利用者から受付けた文章の測地線をパラメータとするフィッシャー情報行列と、他の文章の測地線をパラメータとするフィッシャー情報行列との類似性に基づいて、利用者から受付けた文章と同様の構造を有する文章を特定してもよい。すなわち、学習装置１０は、測地線ξを有する確率密度関数の統計モデルにおける統計的不変性同士の比較結果に基づいて、測地線の比較を行ってもよい。

〔１－６．数式の一例について〕
ここで、上述した学習処理や測地線同士の比較は、以下の数式によって表すことができる。例えば、情報幾何学において、測地線ξの点ｐと点ｐ’とをつなぐ接続は、以下の式（１）で表すことができる。ここで、式（１）では、点ｐ’のダッシュをチルダで示した。

ここで、各単語のベクトルは、測地線ξの接ベクトル（一次微分）となる。このため、１番目の単語のベクトルを接ベクトルｄξとし、２番目の単語のベクトルをｄξ’とすると、ｄξ’は、式（２）に示す接ベクトルｄξの移動で示すことができる。また、３番目の単語のベクトルをｄξ’’とすると、ｄξ’’は、式（３）に示す接ベクトルｄξ’の移動で示すことができる。

ここで、測地線同士の比較において、フィッシャー情報行列を用いた処理を考える。ある測地線ξをパラメータとした場合、統計モデルｐ（ｘ）における確率密度関数をｐ（ｘ，ξ）とすると、分布状況を考慮した内積値ｇ_ｉｊ（ξ）は、以下の式（４）で表すことができる。ここで、式（４）中の∂_ｉは、式（５）に示すξ_ｉの偏微分を示す。また、式（４）のＥは、式（６）に示す関数である。

このような内積値ｇ_ｉｊ（ξ）の値同士を比較することで、学習装置１０は、測地線同士の比較を実現することができる。

〔１－７．学習装置１０が実行する処理の一例〕
次に、図１を用いて、学習装置１０が実行する学習処理および測定処理の一例について説明する。まず、学習装置１０は、正解データとなる文章を用いた学習処理を実行する。具体的には、学習装置１０は、所定のモデルを用いて、文章に含まれる各単語をベクトル化する（ステップＳ１）。例えば、学習装置１０は、文章＃１から単語＃１－１、単語＃１－２、単語＃１－３を抽出した場合は、各単語をベクトル＃１－１、ベクトル＃１－２、ベクトル＃１－３へとベクトル化する。

そして、学習装置１０は、各単語のベクトルを接ベクトルと見做した際に１つの測地線を構成するように、単語をベクトル化するモデルの修正を行う（ステップＳ２）例えば、学習装置１０は、ベクトル＃１－１の先にベクトル＃１－１を移動したベクトルが、ベクトル＃１－２となり、ベクトル＃１－２の先にベクトル＃１－２を移動したベクトルが、ベクトル＃１－３となるように、モデルの修正を行う。すなわち、学習装置１０は、文章＃１から抽出した各単語のベクトルが、測地線Ｇ１の接ベクトルを構成するように、単語をベクトル化するモデルを学習する。

続いて、学習装置１０は、測定処理を実行する。まず、学習装置１０は、学習したモデルを用いて、正解データの測地線を生成する（ステップＳ３）。例えば、学習装置１０は、文章＃２に含まれる単語群＃２から各単語のベクトル＃２－１～＃２－３を生成し、生成したベクトル＃２－１～＃３－１を接ベクトルとする測地線、すなわち、文章＃２に対応する測地線＃２を生成する。また、学習装置１０は、他にも、各種文章に対応する測地線を生成しておく。

また、学習装置１０は、利用者の発言Ａを入力として受付ける（ステップＳ４）。このような場合、学習装置１０は、発言Ａに含まれる単語群である発言単語群から、モデルを用いてベクトルを生成し、生成したベクトルを接ベクトルとする測地線を発言Ａに対応する測地線を発言測地線として生成する。そして、学習装置１０は、発言測地線と正解データの測地線とを比較し、類似する測地線を特定する（ステップＳ５）。

続いて、学習装置１０は、類似する測地線と対応する文章を選択し（ステップＳ６）、選択した文章を発言Ａに対するたとえ話として出力する（ステップＳ７）。例えば、学習装置１０は、文章＃１と対応する測地線＃１と、文章＃２と対応する測地線＃２とのうち、発言測地線と測地線＃１とが類似する場合、測地線＃１と対応する文章＃１を選択し、選択した文章に基づく応答を出力する。この結果、例えば、ロボット等の情報処理装置２００は、文章＃１に基づく応答を発言Ｂとして音声出力することができる。

〔２．学習装置の構成〕
以下、上記した学習処理を実現する学習装置１０が有する機能構成の一例について説明する。図２は、実施形態に係る学習装置の構成例を示す図である。図２に示すように、学習装置１０は、通信部２０、記憶部３０、および制御部４０を有する。

通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、入力装置１００、および情報処理装置２００との間で情報の送受信を行う。

記憶部３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、正解データデータベース３１、ベクトルデータベース３２、測地線データベース３３、およびモデルデータベース３４を記憶する。

正解データデータベース３１には、正解データとなる文章が登録されている。例えば、図３は、実施形態に係る正解データデータベースに登録される情報の一例を示す図である。図３に示す例では、正解データデータベース３１には、「文章ＩＤ（Identifier）」、「文章データ」、「第１単語」、「第２単語」等といった項目を有する情報が登録される。

ここで、「文章ＩＤ（Identifier）」は、正解データとなる文章を識別するための情報である。また、「文章データ」とは、文章のテキストデータである。また、「第１単語」とは、対応付けられた「文章データ」に含まれる単語群のうち、文章内に最初に出現する単語であり、「第２単語」とは、対応付けられた「文章データ」に含まれる単語群のうち、文章内に２番目に出現する単語である。なお、正解データデータベース３１には、「第１単語」や「第２単語」以外にも、文章に含まれる単語が順に登録されているものとする。

例えば、図３に示す例では、文章ＩＤ「ＩＤ＃１」、文章データ「文章データ＃１」、第１単語「単語＃１－１」、および第２単語「単語＃１－２」が対応付けて登録されている。このような情報は、文章ＩＤ「ＩＤ＃１」が示す文章が文章データ「文章データ＃１」であり、かかる文章中に第１単語「単語＃１－１」および第２単語「単語＃１－２」が順に含まれている旨を示す。

なお、図３に示す例では、「文章データ＃１」、「単語＃１－１」、「単語＃１－２」等といった概念的な値について記載したが、実際には文章のテキストデータや単語のテキストデータが登録されることとなる。

図２に戻り、説明を続ける。ベクトルデータベース３２には、各単語のベクトルが登録されている。例えば、図４は、実施形態に係るベクトルデータベースに登録される情報の一例を示す図である。図４に示す例では、ベクトルデータベース３２には、「単語」および「ベクトル情報」が登録されている。ここで、「単語」とは、ベクトルの元となる単語のテキストデータである。また、「ベクトル情報」とは、対応付けられた単語からモデルを用いて生成したベクトル、すなわち、単語の概念を示すベクトルである。

例えば、図４に示す例では、ベクトルデータベース３２には、単語「単語＃１－１」、およびベクトル情報「ベクトル＃１」が対応付けて登録されている。このような情報は、単語「単語＃１－１」の概念を示すベクトルが「ベクトル＃１」である旨を示す。なお、図４に示す例では、「ベクトル＃１」といった概念的な値について記載したが、実際には、ベクトルデータベース３２には、モデルを用いて生成した多次元量であるベクトルが登録されることとなる。

図２に戻り、説明を続ける。測地線データベース３３には、各文章と対応する測地線の情報が登録される。例えば、図５は、実施形態に係る測地線データベースに登録される情報の一例を示す図である。図５に示す例では、測地線データベース３３には、「文章ＩＤ」、および「測地線情報」といった情報が対応付けて登録される。ここで、「測地線情報」とは、対応付けられた「文章ＩＤ」が示す文章と対応する測地線を示す情報であり、例えば、測地線を構成する確率密度関数である。より具体的には、「測地線情報」とは、対応付けられた「文章ＩＤ」が示す文章に含まれる各単語のベクトルを接ベクトルとする測地線である。

例えば、図５に示す例では、測地線データベース３３には、文章ＩＤ「ＩＤ＃１」および測地線情報「測地線情報＃１」が登録されている。このような情報は、文章ＩＤ「ＩＤ＃１」が示す文章の測地線が「測地線情報＃１」により示される測地線である旨を示す。なお、図５に示す例では、「測地線情報＃１」といった概念的な値について記載したが、実際には、測地線データベース３３には、測地線を構成する関数が登録されることとなる。

図２に戻り、説明を続ける。モデルデータベース３４には、単語が入力されると、単語が示す概念を示すベクトルを出力するモデルが登録されている。例えば、モデルデータベース３４には、ｗ２ｖにおいて単語をベクトル化するニューラルネットワークにおけるノード同士の接続関係、各ノードに用いられる関数、各ノード間で値を伝達する際の重みである接続係数等が登録される。このようなモデルを修正することで、学習装置１０は、文章に含まれる各単語のベクトルが文章と対応する測地線の接ベクトルを構成するように、各単語をベクトル化するモデルを学習する。例えば、学習装置１０は、文章に複数の単語が含まれる場合、最初に出現する単語のベクトルをそのベクトルの先に移動したベクトルが、２番目に出現する単語のベクトルとなり、２番目に出現する単語のベクトルをそのベクトルの先に移動したベクトルが、３番目に出現する単語のベクトルとなるように、単語をベクトル化するモデルを学習する。

なお、モデルは、単語群に関する情報が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された情報に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、文章と対応する測地線の接ベクトルを構成するように、文章に含まれる各単語のベクトルを示す情報を出力するよう、コンピュータを機能させるためのモデルである。

制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、学習装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

また、制御部４０は、記憶部３０に記憶されるモデルに従った情報処理により、モデルの入力層に入力された単語に関する情報に対し、モデルが有する係数（すなわち、モデルが学習した特徴に対応する係数）に基づく演算を行い、モデルの出力層から、各単語の概念を示すベクトルを出力層から出力する。

図２に示すように、制御部４０は、抽出部４１、学習部４２、生成部４３、特定部４４、および出力部４５を有する。なお、抽出部４１および学習部４２は、上述した学習処理を実行し、選択部４３～出力部４５は、上述した測定処理を実行する。

抽出部４１は、所定の構造を有する文章に含まれる単語群を抽出する。例えば、抽出部４１は、図示を省略した任意の装置から正解データとして文章を受信すると、形態素解析等により、文章に含まれる単語群を抽出する。そして、抽出部４１は、受信した文章と、文章に含まれる単語群とを正解データデータベース３１に登録する。例えば、抽出部４１は、単語群に含まれる各単語を、文章中に出現する順に、正解データデータベース３１に登録する。

学習部４２は、同一の文章から抽出された単語群に含まれる各単語の概念を示すベクトルが、その文章と対応するベクトルの合成を構成するように、単語から単語の概念を示すベクトルを生成するモデルを学習する。例えば、学習部４２は、同一の文章から抽出された単語群に含まれる各単語の概念を示すベクトルが、文章と対応する測地線の接ベクトルを構成するように、単語からその単語の概念を示すベクトルを生成するモデルを学習する。すなわち、学習部４２は、モデルデータベース３２に登録されたモデルの学習を行う。

例えば、学習部４２は、モデルデータベース３４に登録されたモデルを読み出す。また、学習部４２は、正解データデータベース３１に登録された文章を読出し、読み出した文章に含まれる各単語をベクトル化する。そして、学習部４２は、各単語と各単語のベクトルとを対応付けてベクトルデータベース３３に登録する。

続いて、学習部４２は、ベクトルデータベース３３に登録された各単語のベクトルを用いて、モデルの修正を行う。より具体的には、学習部４２は、ベクトルデータベース３２に登録されたベクトルの中から、同一の文章に含まれる単語のベクトルを抽出する。そして、学習部４２は、抽出したベクトルが同一の測地線の接ベクトルとなるように、モデルの修正を行う。換言すると、学習部４２は、ある文章においてｉ－１番目に出現する単語のベクトルの先にその単語のベクトルを移動したベクトルがｉ番目に出現する単語のベクトルとなるように、モデルの学習を行う。

例えば、学習部４２は、ある文章においてｉ－１番目に出現する単語からモデルが生成したベクトルの先にそのベクトルを移動したベクトル（以下、「指標ベクトル」と記載する。）と、ｉ番目に出現する単語からモデルが生成したベクトルとを比較する。そして、学習部４２は、ｉ番目に出現する単語から生成するベクトルが指標ベクトルに近づくように、モデルが有する接続係数を修正する。

なお、学習部４２は、同一の文章に含まれる単語群のうち、３つ以上の単語について、同時に、ｉ－１番目に出現する単語からモデルが生成したベクトルの先にそのベクトルを移動したベクトルが、ｉ番目に出現する単語からモデルが生成したベクトルとなるようにモデルの学習を行ってもよい。また、学習部４２は、複数の文章について、同時に、上述したモデルの学習を行ってもい。このような処理を各文章および各単語について繰り返し実行することで、学習部４２は、同一の文章に含まれる単語群を、その文章と対応する測地線の接ベクトルに変換するモデルを学習することができる。

このような学習部４２の学習処理により生成されたモデルを用いて、各文章の単語群をベクトルに変換した場合は、文章と対応する測地線を得ることができる。このような測地線同士の比較を行うことで、文章が有する単語間の関係性の構造を比較することができる。例えば、図６は、実施形態に係る学習装置が比較する構造の一例を示す図である。例えば、図６に示す例では、文章＃１には、単語＃１－１～＃１－３が含まれており、文章＃２には、単語＃２－１～＃２－３が含まれている。

ここで、文章＃１では、単語＃１－１が文章＃１のベースとなる概念を示し、単語＃１－２がベースのバリエーションを示すという構成＃１－１を有する。また、文章＃１では、単語＃１－３が、単語＃１－１および単語＃１－２からなる概念を修飾するという構成＃１－２を有するものとする。このような文章＃１に含まれる各単語を、学習部４２が実行する学習処理によって学習が行われたモデルを用いてベクトル化した場合、文章＃１の構造を測地線に落とし込むことができると考えられる。例えば、学習装置１０は、単語＃１－１のベクトルを単語＃１－１のベクトルの先に移動したベクトルが、単語＃１－２となるように、単語をベクトル化するので、文章において各単語＃１－１～単語＃１－３が出現する順序を測地線の関数に落とし込むことができる。

ここで、文章＃２においても同様に、単語＃２－１が文章＃２のベースとなる概念を示し、単語＃２－２がベースのバリエーションを示すという構成＃２－１を有する。また、文章＃２では、単語＃２－３が、単語＃２－１および単語＃２－２からなる概念を修飾するという構成＃２－２を有するものとする。このような文章＃２を測地線に変換した場合、個々の単語＃２－１～＃２－３が単語＃１－１～＃１－３と類似せずとも、構成＃２－１および構成＃２－２が構成＃１－１および構成＃１－２と類似する場合は、文章＃２の測地線が文章＃１の測地線と類似すると考えられる。

そこで、学習装置１０は、文章＃１の測地線と文章＃２の測地線とが類似する場合には、文章＃１と文章＃２とが類似する構造を有すると推定し、文章＃１の構造が示す概念のたとえ話に文章＃２が利用可能であると判定する。例えば、学習装置１０は、以下に説明する測定処理を実行することで、文章＃１のたとえ話を生成する。

図２に戻り、説明を続ける。生成部４３は、学習部４２により学習されたモデルを用いて、正解データである各文章を測地線に変換する。例えば、生成部４３は、学習済みのモデルを用いて、正解データデータベース３１に登録された各単語をベクトル化する。また、生成部４３は、各単語のベクトルを改めてベクトルデータベース３２に登録するとともに、同一の文章に含まれる各単語のベクトルから文章と対応する測地線の関数を算出する。そして、生成部４３は、算出した測地線の関数を文章ＩＤと対応付けて測地線データベース３３に登録することで、各文章に含まれる単語の概念や、各文章の構造を反映させた測地線空間を生成する。

また、生成部４３は、入力装置１００を介して、利用者が入力した文章を受付けた場合は、学習部４２により学習されたモデルを用いて、利用者から受け付けた文章に含まれる単語の概念を示すベクトルを生成する。例えば、生成部４３は、抽出部４１と同様に形態素解析等を用いて、利用者から受付けた文章に含まれる単語群を抽出する。そして、静止絵部４３は、学習済みのモデルを用いて、抽出した単語群をそれぞれベクトルに変換し、変換後のベクトルを接ベクトルとする測地線、すなわち、利用者から受付けた文章と対応する測地線を算出する。

特定部４４は、利用者から受付けた文章と対応する測地線と、他の文章と対応する測地線との類似性に基づいて、利用者から受付けた文章と同様の構造を有する文章を特定する。例えば、特定部４４は、利用者から受付けた文章と対応する測地線を生成部４３から受付けると、受付けた測地線と、測地線データベース３３に登録された各測地線とを比較することで、利用者から受け付けた文章と構造が類似する他の文章を検索する。例えば、特定部４４は、利用者から受付けた文章と対応する測地線と曲率等といった形状が最も類似する測地線を測地線データベース３３から検索し、検索した測地線と対応する文章を特定する。

なお、特定部４４は、利用者から受付けた文章の測地線をパラメータとするフィッシャー情報行列と、他の文章の測地線をパラメータとするフィッシャー情報行列との類似性に基づいて、利用者から受付けた文章と同様の構造を有する文章を特定してもよい。例えば、特定部４４は、上述した式（４）～（６）を用いて、測地線データベース３３に登録された各測地線ごとに、各測地線をパラメータとするフィッシャー情報行列を算出する。このようなフィッシャー情報行列は、測地線情報として測地線データベース３３に登録されていてもよい。また、特定部４４は、利用者から受付けた文章の測地線をパラメータとするフィッシャー情報行列を算出する。そして、特定部４４は、各フィッシャー情報行列を比較することで、利用者から受付けた文章の測地線と類似する測地線を特定する。

出力部４５は、特定部４４により特定された文章を、利用者から受付けた文章が有する概念を示すたとえ話として出力する。例えば、出力部４５は、特定部４４によって特定された文章を正解データデータベース３１から読み出す。そして、出力部４５は、読み出した文章を、利用者から受付けた文章が有する概念を示すたとえ話として出力する。

〔３．学習装置が実行する処理の流れの一例〕
次に、図７を用いて、学習装置１０が実行する学習処理の流れの一例について説明する。図７は、実施形態に係る学習処理の流れの一例を説明するフローチャートである。まず、学習装置１０は、正解データとなる文章を取得すると（ステップＳ１０１）、取得した文章から単語群を抽出する（ステップＳ１０２）。そして、学習装置１０は、単語群の各単語をベクトル化し（ステップＳ１０３）、各単語のベクトルが同じ測地線の接ベクトルとなるように、モデルの学習を行い（ステップＳ１０４）、処理を終了する。

次に、図８を用いて、学習装置１０が実行する測定処理の流れの一例について説明する。図８は、実施形態に係る測定処理の流れの一例を説明するフローチャートである。まず、学習装置１０は、利用者の発言等、利用者が入力した文章を取得すると（ステップＳ２０１）、文章に含まれる各単語群のベクトルを算出し、算出した各単語のベクトルを接ベクトルと見做すことで、文章と対応する測地線を算出する（ステップＳ２０２）。また、学習装置１０は、類似する測地線を特定し（ステップＳ２０３）、特定した測地線と対応する文章を用いて、入力された文章のたとえ話を生成し（ステップＳ２０４）、生成したたとえ話を出力して（ステップＳ２０５）、処理を終了する。

〔４．変形例〕
上記では、学習装置１０による学習処理および測定処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、学習装置１０が実行する学習処理のバリエーションについて説明する。

〔４－１．学習処理について〕
上述した例では、学習装置１０は、正解データとして受付けた文章の各単語をベクトル化し、各単語のベクトルを接ベクトルとする測地線を算出した。ここで、学習装置１０は、所定の構造を有する文章であれば、任意の文章を正解データとして採用してよい。

また、例えば、学習装置１０は、文章に含まれる単語間の関係性の構造に応じて、接ベクトルの順番を変化させてもよい。例えば、学習装置１０は、第１の構造を有する文章を測地線空間に落とし込む場合は、各単語が文書中に出現する順序で、各単語のベクトルを接ベクトルとする測地線を生成する。一方、学習装置１０は、第１の構造とは逆の概念を形成する第２の構造を有する文章を測地線空間に落とし込む場合は、各単語が文書中に出現する順序とは逆の順序で、各単語のベクトルを接ベクトルとする測地線を生成してもよい。また、学習装置１０は、同様に、文章の構造に応じて異なる順番で、各単語のベクトルが文章と対応する測地線の接ベクトルとなるように、単語をベクトル化するモデルを学習してもよい。また、学習装置１０は、文章と対応するベクトルを各単語のベクトルが構成する場合は、測地線以外にも、任意の手法を用いて、文章と対応するベクトルを構成するように、各単語のベクトルを生成すればよい。

〔４－２．装置構成〕
上述した例では、学習装置１０は、学習装置１０内で学習処理および測定処理を実行した。しかしながら、実施形態は、これに限定されるものではない。例えば、学習装置１０は、学習処理のみを実行し、測定処理については、他の装置が実行してもよい。例えば、学習装置１０が上述した学習処理によって生成した測地線空間をプログラムパラメータとして用いるプログラムを実行することで、学習装置１０以外の情報処理装置が、上述した測定処理を実現してもよい。また、学習装置１０は、正解データデータベース３１や測地線データベース３３を外部のストレージサーバに記憶させてもよい。

〔４－３．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文章中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

〔５．プログラム〕
また、上述してきた実施形態に係る学習装置１０は、例えば図９に示すような構成のコンピュータ１０００によって実現される。図９は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ、フラッシュメモリ等により実現される。

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

例えば、コンピュータ１０００が学習装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムまたはデータ（例えば、モデル）を実行することにより、制御部４０の機能を実現する。コンピュータ１０００の演算装置１０３０は、これらのプログラムまたはデータ（例えば、モデル）を一次記憶装置１０４０から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。

〔６．効果〕
上述したように、学習装置１０は、所定の構造を有する文章に含まれる単語群を抽出する。そして、学習装置１０は、同一の文章から抽出された単語群に含まれる各単語の概念を示すベクトルが、その文章と対応するベクトルの合成を構成するように、単語から単語の概念を示すベクトルを生成するモデルを学習する。例えば、学習装置１０は、文章と対応するベクトルとして、文章と対応する測地線の接ベクトルを構成するように、各単語の概念を示すベクトルを生成するモデルを学習する。このため、学習装置１０は、文章に含まれる各単語の関係性の構造同士を比較可能な測地線空間空間を生成することができるので、例えば、たとえ話等、利用者の理解を援助する情報を出力することができる。

また、学習装置１０は、学習されたモデルを用いて、利用者から受け付けた文章に含まれる単語の概念を示すベクトルを生成する。そして、学習装置１０は、生成されたベクトルを接ベクトルとする測地線と、他の文章と対応する測地線との類似性に基づいて、利用者から受付けた文章と同様の構造を有する文章を特定する。このため、学習装置１０は、各文章に含まれる単語の概念のみならず、各文章が有する構造同士の類似性に基づいて、利用者から受付けた文章と類似する文章を特定することができる。

また、学習装置１０は、特定された文章を、利用者から受付けた文章が有する概念を示すたとえとして出力する。このため、学習装置１０は、適切なたとえ話を出力することができる。

また、学習装置１０は、利用者から受付けた文章の測地線をパラメータとするフィッシャー情報行列と、他の文章の測地線をパラメータとするフィッシャー情報行列との類似性に基づいて、利用者から受付けた文章と同様の構造を有する文章を特定する。このため、学習装置１０は、測地線同士を適切に比較することができるので、利用者から受付けた文章と構造が類似する他の文章を特定することができる。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、生成部は、生成手段や生成回路に読み替えることができる。

２０ 通信部
３０ 記憶部
３１ 正解データデータベース
３２ ベクトルデータベース
３３ 測地線データベース
３４ モデルデータベース
４０ 制御部
４１ 抽出部
４２ 学習部
４３ 生成部
４４ 特定部
４５ 出力部
１００ 入力装置
２００ 情報処理装置

Claims (3)

1. 所定の文章に含まれる単語群を抽出する抽出部と、
   単語の特徴に基づいて当該単語をベクトル化するモデルを用いて、前記所定の文章から抽出された単語群に含まれる各単語をそれぞれベクトル化し、各単語と対応するベクトルを前記所定の文章に出現する順序で、ある単語と対応するベクトルの始点を当該単語の直前に出現する単語と対応するベクトルの終点となるように並べた際に、各単語と対応するベクトルのそれぞれが前記所定の文章が属する分野として前記所定の文章とともに指定された分野に対応する測地線に対する接線ベクトルとなるように前記モデルを再学習させることで、前記所定の文章が属する分野として前記所定の文章とともに指定された分野の文章が有する概念および構造を前記モデルに学習させる学習部と、
   比較対象となる文章ごとに、当該文章と対応する分野として指定された分野に基づき、当該文章に含まれる単語と対応するベクトルを前記学習部により学習されたモデルを用いて生成し、当該文章に出現する順に、ある単語と対応するベクトルの始点を当該単語の直前に出現する単語と対応するベクトルの終点となるように並べた際に、各ベクトルが連続する接ベクトルとなる測地線を前記比較対象となる文章ごとに生成する生成部と、
   前記測地線の類似性に基づいて、前記比較対象となる文章の類似性を特定する特定部と
   を有することを特徴とする学習装置。
2. 前記特定部は、比較対象となる文章から生成された測地線をパラメータとするフィッシャー情報行列の類似性に基づいて、前記比較対象となる文章の類似性を特定する
   ことを特徴とする請求項１に記載の学習装置。
3. 学習装置が実行する学習方法であって、
   所定の文章に含まれる単語群を抽出する抽出工程と、
   単語の特徴に基づいて当該単語をベクトル化するモデルを用いて、前記所定の文章から抽出された単語群に含まれる各単語をそれぞれベクトル化し、各単語と対応するベクトルを前記所定の文章に出現する順序で、ある単語と対応するベクトルの始点を当該単語の直前に出現する単語と対応するベクトルの終点となるように並べた際に、各単語と対応するベクトルのそれぞれが前記所定の文章が属する分野として前記所定の文章とともに指定された分野に対応する測地線に対する接線ベクトルとなるように前記モデルを再学習させることで、前記所定の文章が属する分野として前記所定の文章とともに指定された分野の文章が有する概念および構造を前記モデルに学習させる学習工程と、
   比較対象となる文章ごとに、当該文章と対応する分野として指定された分野に基づき、当該文章に含まれる単語と対応するベクトルを前記学習工程により学習されたモデルを用いて生成し、当該文章に出現する順に、ある単語と対応するベクトルの始点を当該単語の直前に出現する単語と対応するベクトルの終点となるように並べた際に、各ベクトルが連続する接ベクトルとなる測地線を前記比較対象となる文章ごとに生成する生成工程と、
   前記測地線の類似性に基づいて、前記比較対象となる文章の類似性を特定する特定工程と
   を含むことを特徴とする学習方法。

Images