JP6400038B2 - 抽出装置および抽出方法 - Google Patents

Description

本発明は、抽出装置および抽出方法に関する。

従来、入力された情報の解析結果に基づいて、入力された情報と関連する情報を検索もしくは生成し、検索もしくは生成した情報を応答として出力する技術が知られている。このような技術の一例として、入力されたテキストに含まれる単語、文章、文脈を多次元ベクトルに変換して解析し、解析結果に基づいて、入力されたテキストと類似するテキストや、入力されたテキストに続くテキストを類推し、類推結果を出力する自然言語処理の技術が知られている。

特開２００６−１２７０７７号公報

『大偏差原理と数理物理学／ヴァラダン』、千代延 大造、数理科学 Ｎｏ．５４６，ＤＥＣＥＭＢＥＲ ２００８

しかしながら、上記の従来技術では、利用者の創作を援助する情報を出力することができない場合がある。例えば、上記の従来技術では、入力されたテキストと類似するテキストや、入力されたテキストに続くテキスト等、利用者が予測しうる情報を出力しているに過ぎず、入力されたテキストと関連するが利用者が予測しえない情報を出力することが困難である。このため、上記の従来技術では、利用者にひらめきを与えるような情報を提供することができない。

本願は、上記に鑑みてなされたものであって、利用者の創作を援助する情報を出力することを目的とする。

本願にかかる抽出装置は、指定された基準単語の分散表現と他の単語の分散表現との間の類似度を算出する算出部と、前記算出部が算出した類似度の分布を確率分布として推定する推定部と、大偏差原理に基づいて、前記基準単語の分散表現と他の単語の分散表現の類似度の確率分布が、サンプルサイズを増やしたときに近づく平均分布形状から外れていく挙動を分析し、その挙動に基づいて、所定の分布形状を抽出する分布形状抽出部と前記抽出された分布形状において、ある閾値以上の確率で現れる単語を出力候補として抽出する抽出部とを有することを特徴とする。

実施形態の一態様によれば、利用者の創作を援助する情報を出力することができる。

図１は、実施形態にかかる情報提供装置の一例を示す図である。 図２は、実施形態にかかる情報提供装置が有する機能構成の一例を示す図である。 図３は、実施形態にかかる情報提供装置が単語の矢印構造のパターンを抽出する処理の一例を示す図である。 図４は、分散表現空間上で圏論の構造が有するアナロジーの一例を示す図である。 図５は、実施形態に係る情報提供装置が特定する圏論構造の一例を示す図である。 図６は、実施形態にかかる情報提供装置がＨａｓｋｅｌｌを用いてアナロジーを抽出する処理の一例を示す図である。 図７は、実施形態にかかる情報提供装置が出力候補とする単語群と基準単語との関係性を説明する図である。 図８は、実施形態にかかる情報提供装置が大偏差原理を用いて特定する分布形状の一例を示す図である。 図９は、実施形態にかかる情報提供装置が学習する学習器と復元器との一例を示す図である。 図１０は、実施形態にかかる情報提供装置による学習処理と学習処理の効果とを説明するための図である。 図１１は、実施形態にかかる情報提供装置が実行する学習処理の流れを説明するフローチャートである。 図１２は、実施形態にかかる情報提供装置が圏論の構造から出力候補となる単語群を抽出する処理流れを説明するフローチャートである。 図１３は、実施形態にかかる情報提供装置が大偏差原理に基づいて単語群を抽出する処理の流れを説明するフローチャートである。 図１４は、ハードウェア構成の一例を示す図である。

以下に、本願にかかる抽出装置および抽出方法を実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願にかかる抽出装置および抽出方法が限定されるものではない。また、以下の実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

〔１．情報提供装置の一例〕
まず、図１を用いて、情報提供装置１０が実行する処理の一例について説明する。図１は、実施形態にかかる情報提供装置の一例を示す図である。例えば、図１に示す例では、情報提供装置１０は、複数の利用者がブレインストーミング等の会議を行っている際に、利用者の発言を入力情報として取得し、取得した入力情報に基づいて、通常の思考では浮かばないような発言を生成し、生成した発言を音声に変換してロボット等に出力させることで、利用者の思考を支援する処理の一例について記載した。なお、以下の説明では、情報提供装置１０が実行する処理を学習処理と抽出処理とに分けて説明する。

図１に示した情報提供装置１０は、サーバ装置等の情報処理装置により実現される。なお、情報提供装置１０は、単一の情報処理装置に実現されてもよく、例えば、クラウドネットワーク上に存在する複数の情報処理装置が協調して実現されてもよい。このような、情報提供装置１０は、利用者の発言をテキストデータに変換し、テキストデータを自然言語処理により解析する。そして、情報提供装置１０は、解析結果に基づいて、会議や利用者の思考を支援する発言を生成し、生成した発言を出力する。

〔１−１．抽出処理の一例〕
ここで、従来技術では、入力されたテキストを構成する複数次元の単語ベクトルで示す分散表現を用いて、入力されたテキストと類似するテキストや、入力されたテキストに続くテキストを類推する。しかしながら、従来技術では、入力されたテキストと分散表現が類似するテキスト、すなわち、利用者が予測しうるテキストを出力するに過ぎない。このため、従来技術では、利用者が思いもしなかった情報や、利用者に新規なひらめきを与えるような情報、すなわち、利用者のセレンディピティ（ひらめき、気づき、驚き）を起こし得る情報を提供することができなかった。また、例えば、単純に入力されたテキストとは分散表現が類似しないテキストを出力した場合には、利用者の思考とは関係がないテキストを出力することとなり、利用者の思考を阻害する場合がある。

〔１−１−１．圏論を用いた概念抽出〕
そこで、情報提供装置１０は、以下の処理を実行する。まず、情報提供装置１０は、利用者の発言等を入力情報として受付ける。また、情報提供装置１０は、入力情報が属する分野を特定する。ここで、入力情報が属する分野とは、例えば、利用者の発言に含まれる単語が医療分野に属する単語であるか、物理学分野に属する単語であるか、料理分野に属する単語であるか等、入力情報が主に使用されている技術的な分野である。

続いて、情報提供装置１０は、特定された分野に属する複数の単語が有する圏論の構造に基づいて、単語が有する概念を抽出する。より具体的には、情報提供装置１０は、入力された文章から動詞および名詞を抽出し、抽出された動詞を名詞間の関係性を示す矢印に置き換えることで名詞間の関係を矢印構造のパターンとして抽出し、抽出された矢印構造のパターンを用いて、入力された文章を抽象化した概念を特定する。そして、情報提供装置１０は、同様の概念を有する他の文章を特定する。例えば、情報提供装置１０は、入力情報が属する分野とは異なる分野に属する複数の単語から、特定した概念を有する他の文章、すなわち、抽出された矢印構造のパターンと同様のパターンを有する単語群を抽出する。

より具体的には、情報提供装置１０は、矢印構造のパターンとして、圏論の構造を有するパターンを抽出し、抽出したパターンと同様のパターンを有する他の単語群を抽出する。ここで、圏論とは、数学的構造とその間の関係を抽象的に扱う数学理論であり、ある種構造を有する対象と、その構造を反映するような対象間の射の組み合わせにより、対象の中身を考慮せずに特徴を見つける手法である。例えば、圏論を用いた場合には、ある集合に含まれる各要素の中身を特定せずとも、その集合の外側からその集合が有する特徴を見つけることができる。このような圏論の手法を、単語間の関係性に適用した場合、単語が属する分野（すなわち、単語の種類）によらず、単語の並びの構造から、単語が属する分野に属する単語同士が有する特徴を抽象化した概念を示すことができる。ここで、発明等の発想やアイデアを示す単語群が有する構造と同じ構造を有する他の単語群を検索した場合、そのような単語群は、他の発想やアイデア等を示す単語群である可能性が高い。

そこで、情報提供装置１０は、入力情報に含まれる単語群が有する圏論の構造を特定する。そして、情報提供装置１０は、特定した圏論の構造と同じ構造を有する他の単語群を他分野等から抽出することで、同一のアナロジーを有する他のアイデアを抽出することができる。

また、圏論の構造には、単語間の関連性のみならず、構造間の関係性を示す関手（函手）と呼ばれる構造が存在する。このような関手は、名詞を圏に属する要素と見做した場合、名詞と他の名詞との関連性を示す単語、すなわち、動詞に対応付けられると考えられる。そこで、情報提供装置１０は、入力情報として受付けた文章に含まれる動詞を圏論の関手と見做して、文章が有する圏論の構造を抽出する。

また、圏論においては、関手は、ある構造を有するクラスを、同様の構造を有する他のクラスへと変換する関数等によって表すことができる。このため、関手は、例えば、ある分野に属する発想やアイデアを、他分野に属する発想やアイデアであって、同様のアナロジーを有する発想やアイデアに変換する作用を有すると考えられる。そこで、情報提供装置１０は、各単語間の構造や、単語間の構造同士を関連付ける関手等、圏論の構造に基づいて、入力された単語群とは異なる分野から、同様のアナロジーを有する単語群を抽出する。

〔１−１−２．圏論を用いた処理の一例〕
例えば、情報提供装置１０は、圏論の構造として、単語間の結合および分解を示すカルテシアン積の関係を示す構造に基づいて、特定された単語が属する分野とは異なる分野に属する単語を抽出する。より具体的には、情報提供装置１０は、入力された文章に含まれる動詞を名詞間の関係を示す関手と見做し、入力された文章に含まれる名詞間の構造を圏論の構造にあてはめて抽出する。そして、情報提供装置１０は、抽出した圏論の構造と同様の構造を有する他の単語群を、入力された単語が属する分野とは異なる分野に属する単語を抽出する。

また、例えば、情報提供装置１０は、関手同士の構造に基づいて、出力候補となる単語を抽出してもよい。例えば、圏論には、１つの圏から異なる関手によって導かれた２つの圏を関連付けるアナロジー型と呼ばれる構造が存在する。このようなアナロジー型と呼ばれる構造を単語間の関連性にあてはめた場合、例えば、同じアナロジーを有する２つの異なる分野間の関係を示すこととなる。そこで、情報提供装置１０は、アナロジー型の構造に基づいて、入力された単語群とは異なる分野に属する単語群であって、同様のアナロジーを有する単語群を抽出してもよい。例えば、情報提供装置１０は、第１分野に属する単語群を受付けた場合には、アナロジー型の構造として、第１分野に属する単語と第２分野に属する単語とを関連付ける第１関手と、第１分野に属する単語と第３分野に属する単語とを関連付ける第２関手と、第２分野に属する単語と第４分野に属する単語とを関連付ける第３関手と、第３分野に属する単語と第４分野に属する単語とを関連付ける第４関手との関係性を示す構造を特定する。すなわち、情報提供装置１０は、動詞間の関連性を示す構造を特定する。そして、情報提供装置１０は、特定した構造と同様の構造を有する他の単語群を抽出してもよい。また、例えば、情報提供装置１０は、第１分野に属する単語群から、アナロジー型の構造により対応付けられた第４分野に属する単語群を抽出してもよい。

また、例えば、情報提供装置１０は、圏論の構造として、関手間の関係性を示す随伴関手に基づいて、出力候補となる単語を抽出してもよい。すなわち、情報提供装置１０は、圏論の構造として、双対アナロジー型の構造に基づき、出力候補となる単語を抽出してもよい。より具体的には、圏論には、ある圏から関手によって導かれたその圏場への射を示す双対アナロジー型の構造が存在する。このような双対アナロジー型と呼ばれる構造を、単語間の関連性にあてはめた場合、第１分野に属する単語群から、第１分野と随伴関係にある分野である第２分野に属する単語群が有する特徴を含む単語群であって、第１分野に属する他の単語群への射となる関手により表されることとなる。そこで、情報提供装置１０は、このような双対アナロジー型の構造を表す随伴関手の構造を特定し、特定した構造と同様の構造を有する他の単語群を抽出してもよい。また、情報提供装置１０は、随伴関手の構造に基づいて、入力された単語群と同じ分野に属する単語群であって、異なる分野に属する単語群が有する特徴（例えば、その分野における技術の特徴）を含む単語群を出力候補として抽出してもよい。

また、情報提供装置１０は、圏論の構造として、特定された分野とは異なる分野上のクライスリトリプルに基づいて、特定された分野とは異なる分野に属する複数の単語に、他の分野に属する複数の単語が有する関連性を埋め込んだ複数の単語を、出力候補として抽出してもよい。例えば、圏論には、ある圏Ｃにおいて圏を変えない関手、圏Ｃに含まれる要素Ａを他の要素ＴＡに変換する自然変換、ＡからＴＢへの射に対してＴＡからＴＢへの射を与える操作からなる三つ組みのクライスリトリプルと呼ばれる構造が存在する。このような構造を単語間の関連性にあてはめた場合、ある分野に属する発想やアイデア等に、同一分野に属する他の発想やアイデアを組込む構造を示すこととなる。そこで、情報提供装置１０は、このようなクライスリトリプルの構造を特定し、特定した構造と同様の構造を有する他の単語群を抽出してもよい。また、情報提供装置１０は、クライスリトリプルの構造に基づいて、入力された単語群から出力候補となる単語群、すなわち、他の発想やアイデアの概念が組込まれた単語群を出力候補として抽出してもよい。

〔１−１−３．大偏差原理を用いたセレンディピティの抽出〕
ここで、圏論を用いて抽出された単語群は、入力された単語群と同様のアナロジーを有する他分野に属する単語群であったり、他のアイデアや発想の概念が組み込まれた単語群となりえる。しかしながら、このような単語群は、元の単語群から利用者が容易に導き出すことができる概念を有する場合がある。特に、利用者のセレンディピティを起こし得るような概念は、利用者の発言に含まれる概念からある程度の類似性を有する概念のうち、利用者が想像もしていないような概念であると考えられる。

しかしながら、利用者の発言に含まれる単語群から、セレンディピティを起こすような概念を有する単語群を抽出するのは、困難である。より具体的には、分散表現空間上に投影される単語の数は、有限であるため、入力された単語群を基準として、統計的にどの程度の類似性を有する単語群を出力すれば利用者のセレンディピティを起こし得るかが解りづらい。

そこで、情報提供装置１０は、大偏差原理を用いて、セレンディピティを起こし得る単語群の抽出を行う。より具体的には、情報提供装置１０は、圏論の構造に基づいて抽出された単語群に含まれる単語を基準単語とする。また、情報提供装置１０は、基準単語の分散表現と他の単語の分散表現との間のコサイン類似度を算出し、算出したコサイン類似度の分布を確率分布として推定する。そして、情報提供装置１０は、大偏差原理に基づいて、基準単語の分散表現と他の単語の分散表現のコサイン類似度の確率分布が、他の単語の数（サンプルサイズ）を増やした時に近づく平均分散形状から外れた分布形状に基づいて、出力候補とする単語を抽出する。より具体的には、情報提供装置１０は、確率分布が平均分布形状から外れた分布形状となる単語を、セレンディピティを起こし得る単語として抽出する。

例えば、情報提供装置１０は、サンプルとする単語群を選択し、選択した単語群と基準単語とのコサイン類似度の分布から、基準単語と他の単語との間のコサイン類似度の分布の確率分布を推定する。そして、情報提供装置１０は、大偏差原理に基づいて、サンプルとする単語群の数を増やしていった際に近づく確率分布の分布形状が、平均的な分布形状から外れているか否かを判定し、確率分布の分布形状が平均的な分布形状から外れている場合には、サンプルとした単語群がセレンディピティを起こし得る単語群であるとして、出力候補とする。

なお、情報提供装置１０は、任意の分布形状を平均的な分布形状とすることができる。例えば、情報提供装置１０は、正規分布や二項分布等を平均的な分布形状としてよい。また、情報提供装置１０は、分布形状が平均的な分布形状からどれくらい外れている際に、サンプルとした単語群を出力候補とするかについては、任意の値が設定可能である。

例えば、情報提供装置１０は、基準単語の分散表現と、サンプルとした他の単語の分散表現との間のコサイン類似度を算出する。そして、情報提供装置１０は、コサイン類似度の分布の確率分布を推定し、大偏差原理に基づいて、他の単語の数を増やした際に推定された確率分布が近づく分布形状を特定し、特定した分布形状に基づいて、サンプルとした単語を出力候補とするか否かを判定する。より具体的には、情報提供装置１０は、ヴァラダンの補題を用いて、基準単語の分散表現と他の単語の分散表現とのコサイン類似度が属する確率の確率測度のレート関数を算出する。そして、情報提供装置１０は、レート関数を用いて、基準単語の分散表現と他の単語の分散表現のコサイン類似度の確率分布が他の単語の数を増やしたときに近づく分布形状を特定する。

このような処理を、圏論を用いて抽出された単語群に含まれる単語ごと、または、単語群ごとに実行することで、情報提供装置１０は、セレンディピティを起こし得る単語群を抽出することができる。例えば、情報提供装置１０は、圏論を用いて抽出された単語群の分散表現空間上における重心または中心を１つの基準単語と見做し、大偏差原理に基づいて、基準単語と他の単語とのコサイン類似度の分布を推定し、推定結果に基づいて、基準単語とのコサイン類似度が平均的なコサイン類似度を外れた複数の単語を抽出すればよい。また、情報提供装置１０は、基準単語とのコサイン類似度が平均的なコサイン類似度を外れた複数の単語のうち、圏論を用いて抽出された単語群と同じ圏論の構造を有する単語群を抽出してもよい。

〔１−２．学習処理の一例〕
ここで、圏論や大偏差原理に基づいて、セレンディピティを起こし得る単語群を抽出できたとしても、その単語群をそのまま出力した場合には、単語同士の係り受けが不明確となり、セレンディピティが生じる可能性が悪化する恐れがある。

そこで、情報提供装置１０は、ＲＮＮ（Recurrent Neural Network）の技術を用いて、抽出された単語群から係り受けを考慮した文章、すなわち、自然な文章を生成し、生成した文章を出力してもよい。例えば、情報提供装置１０は、特許出願における明細書や小説等、単語間の係り受けを含む文章を学習データとして収集し、収集した文章から単語群を抽出する。そして、情報提供装置１０は、単語群に含まれる各単語が文章中に出現する順番とともに単語群が有する特徴を学習する学習器と、単語群に含まれる各単語と各単語が文章中に出現する順番とを文章中における各単語の係り受けとともに、学習器によって学習された特徴から復元する復元器とを同時に学習する。

例えば、情報提供装置１０は、リカレントニューラルネットワークの学習器と復元器とを準備する。また、端末配信装置１０は、単語群に含まれる各単語を学習データとした文章中に出現する順番で、学習器となるリカレントニューラルネットワークに入力し、各単語が文章中に出現する順番とともに単語群が有する特徴を学習器に学習させる。また、情報提供装置１０は、学習器が学習した特徴を復元器となるリカレントニューラルネットワークに入力し、特徴から単語群に含まれる各単語を学習データとした文章中に出現する順番で抽出するとともに、学習データとした文章中における各単語の係り受けを抽出するように復元器を学習させる。すなわち、情報提供装置１０は、単語群に含まれる単語が文章中に出現する順番と単語群の特徴とを学習するとともに、特徴から、学習データとした文章に含まれる各単語の係り受けとともに、各単語を入力した順で復元するように、学習器と復元器とに含まれる各ニューロン間の計数を同時に学習（修正）する。

また、情報提供装置１０は、上述した学習処理によって学習が行われた学習器を用いて、抽出処理によって抽出された単語群の特徴を取得し、上述した学習処理によって学習が行われた復元器を用いて、取得された特徴から単語群を係り受けと共に復元させる。すなわち、情報提供装置１０は、上述した抽出処理によって抽出された単語群を学習器に入力するとともに、学習器の出力を復元器に入力することで、抽出処理によって抽出された単語群を係り受けと共に復元する。そして、情報提供装置１０は、係り受けとともに復元された単語群、すなわち、抽出処理によって抽出された単語群を含む文章を、処理結果として利用者に提供する。この結果、情報提供装置１０は、抽出された単語群を、自然な文章として出力することができるので、利用者にセレンディピティを起こさせる可能性を増大させることができる。

〔１−３．抽出処理および学習処理の一例〕
次に、図１を用いて、情報提供装置１０が実行する抽出処理および学習処理の一例について説明する。例えば、図１に示す例では、情報提供装置１０は、抽出処理に先駆けて、学習器と復元器との学習を行う学習処理を実行する（ステップＳ１）。このような学習処理においては、情報提供装置１０は、明細書等の所定の文章を学習データとしてインターネット等を介して収集し、収集した文章に含まれる単語群を抽出する（ステップＳ２）。続いて、情報提供装置１０は、抽出した単語群に含まれる各単語を、学習データとした文章内で出力する順(以下、「出現順」と記載する)で、学習器に入力し、特徴と出現順とを学習させる（ステップＳ３）。そして、情報提供装置１０は、学習器の学習結果から、特徴を学習した単語群に含まれる各単語を、係り受けとともに、出現順に復元するように、復元器の学習を行う（ステップＳ４）。なお、ステップＳ３およびステップＳ４に示す処理は、同時におこなわれることとなる。このような処理を繰り返すことで、情報提供装置１０は、単語群に含まれる各単語の自然な係り受けを作成可能な学習器と復元器とを生成することができる。

続いて、情報提供装置１０が実行する抽出処理の一例について説明する。例えば、情報提供装置１０は、会議における利用者の発言Ａや発言Ｂを入力として受付ける（ステップＳ５）。より具体的には、情報提供装置１０は、利用者が発声した発言Ａをテキストデータに変換し、変換後のテキストデータを入力情報として取得する。

かかる場合、情報提供装置１０は、圏論に基づく構成と大偏差原理とに基づいて、入力情報が有するアナロジーと同様のアナロジーを有する情報であって、利用者にセレンディピティを生じさせるような情報を抽出する抽出処理を実行する（ステップＳ６）。以下、
、情報提供装置１０が実行する抽出処理の流れをステップＳ７〜ステップＳ１３に分けて説明する。

まず、情報提供装置１０は、入力情報が属する分野を特定する（ステップＳ７）。例えば、情報提供装置１０は、形態素解析等を用いて、利用者の発言のテキストデータを解析し、テキストデータに含まれる単語群を抽出する。そして、情報提供装置１０は、抽出した単語群がどのような分野において使用されている単語群であるかを特定する。例えば、情報提供装置１０は、「眼鏡型」、「腕時計型」、「表示」、「スマートデバイス」等といった単語が単語群に含まれる場合は、入力情報が属する分野を「ウェアラブルデバイス」とする。なお、情報提供装置１０は、例えば、入力情報に含まれるであろう単語と、その単語が含まれる入力情報が属する分野とを予め対応付けて記憶し、入力情報に含まれる単語と対応付けられた分野を、入力情報が属する分野として特定してもよく、例えば、ウェブ上の検索サービス等を用いて、入力情報に含まれる単語と関連する分野を検索し、検索結果として得られる分野を入力情報が属する分野としてもよい。

続いて、情報提供装置１０は、入力情報に含まれる動詞を圏論の関手と見做して、名詞間が有する圏論の構造を特定する（ステップＳ８）。そして、情報提供装置１０は、圏論の構造に基づいて、選択した単語群とは異なる分野に属する単語群を抽出する（ステップＳ９）。例えば、情報提供装置１０は、分散表現空間内に投影された各単語群が有する圏論の構造を特定し、ステップＳ９にて抽出した単語群と同様の構造を有する単語群であって、ステップＳ９にて抽出した単語群とは異なる分野に属する単語群を抽出する。

また、情報提供装置１０は、抽出した単語群と他の単語とのコサイン類似度の確率分布を推定する（ステップＳ１０）。そして、情報提供装置１０は、大偏差原理に基づいて、確率分布が平均的な分布から外れる単語群を抽出する（ステップＳ１１）。例えば、情報提供装置１０は、公開特許公報や特許公報等、各種の技術について記載された文献データベースから、特定した分野の文献データを取得する。続いて、情報提供装置１０は、取得した文献データの形態素解析を行い、文献データ内から単語を抽出する。そして、情報提供装置１０は、抽出した各単語の類似性等を考慮して、各単語を投影した分散表現空間を作成する。なお、このような分散表現空間は、いわゆるＷ２Ｖ（Word 2 Vector）の技術等を利用することで実現される。

また、情報提供装置１０は、サンプルとする他の単語を選択し、抽出した単語群や、抽出した単語群に含まれる単語を基準単語として、基準単語と他の単語とのコサイン類似度を算出し、算出したコサイン類似度の分布を確率分布とする。そして、情報提供装置１０は、大偏差原理に基づいて、サンプルとする他の単語を増大させた際における確率分布の分布の挙動が、平均的な分布からずれていく挙動を分析し、分析結果に基づいて、出力候補とする単語を抽出する。より具体的には、情報提供装置１０は、分析結果に基づいて、所定の分布形状となる確率分布を特定し、特定した分布形状においてある閾値以上の確率で現れる単語を出力候補として抽出する。

また、情報提供装置１０は、学習処理によって学習された学習器に対してステップＳ１１にて抽出した単語群を入力し、単語群を学習器に入力することで得られた特徴を復元器で復元することで、単語群とともに単語群の係り受けを取得する（ステップＳ１２）。そして、情報提供装置１０は、取得した単語群と係り受けとを用いて、出力する文章を生成し（ステップＳ１３）、生成した文章を応答として出力する（ステップＳ１４）。例えば、情報提供装置１０は、ステップＳ１１にて抽出した単語群を含み、かつ、各単語群の係り受けを含む文章を発言Ｃとしてロボット等に読み出させることで、利用者に提案を行う。

このような提案が行われた場合、利用者は、提案された単語の概念に基づいて、あらたなひらめきを生じさせる可能性が高い。このため、情報提供装置１０は、利用者のセレンディピティを起こさせることができる。

〔２．情報提供装置の構成〕
次に、図２を用いて、図１に示した学習処理および抽出処理を実行する情報提供装置１０の構成について説明する。図２は、実施形態にかかる情報提供装置が有する機能構成の一例を示す図である。図２に示すように、情報提供装置１０は、入力装置３０および出力装置３１と接続されている。また、情報提供装置１０は、通信部１１、記憶部１２、および制御部１６を有する。

通信部１１は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１は、マイクやキーボード等の入力装置３０と、モニタやプリンタ、音声を発声することができるロボット等の出力装置３１と接続され、各種情報の送受信を行う。

記憶部１２は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部１２は、文献データベース１３、モデルデータベース１４、および分散表現空間データベース１５を有する。

文献データベース１３には、各種分野に属する文献が登録されている。例えば、文献データベース１３には、公開特許公報、公表特許公報、特許公報、論文等、過去になされたアイデアの概念を含む文献が登録されている。

モデルデータベース１４には、学習処理によって学習されるモデル、すなわち、ＲＮＮである学習器と復元器とのデータが登録されている。例えば、モデルデータベース１４には、学習器と復元器とに含まれる各ニューロン間の接続や、各ニューロン間の接続係数等が登録されている。

分散表現空間データベース１５には、各種分野に属する単語の分散表現が登録されている。例えば、分散表現空間データベース１５には、文献データベース１３に登録された文献に含まれる単語を示すベクトルが登録されている。なお、各単語の分散表現は、各単語同士の関係性に基づいて生成されるため、各単語同士の向きやコサイン類似度は、各単語同士が有する概念や共起性の類似度に対応することとなる。

制御部１６は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、情報提供装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部１６は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

図２に示すように、制御部１６は、受付部１７、分野特定部１８、構造抽出部１９、概念特定部２０、類似度算出部２１、分布推定部２２、出力候補抽出部２３、出力生成部２４、出力部２５、収集部２６、およびＲＮＮ学習部２７を有する。なお、各部１７〜２５は、抽出処理を実現するための機能構成であり、各部２６、２７は、学習処理を実現するための機能構成である。このため、情報提供装置１０は、例えば、各部１７〜２５を有する抽出装置と、各部２６、２７を有する学習装置とが協調して動作することにより、実現されてもよい。

〔２−１．圏論を用いた抽出処理を実現する構成例〕
受付部１７は、利用者の発言を入力情報として受付ける。例えば、受付部１７は、マイクやキーボード等により実現される入力装置３０から利用者の発言を取得する。かかる場合、受付部１７は、受付けた利用者の発言をテキストデータに変換する。そして、受付部１７は、変換後のテキストデータを分野特定部１８に出力する。

分野特定部１８は、入力情報が属する分野を特定する。例えば、分野特定部１８は、受付部１７から受付けたテキストデータの形態素解析を行い、テキストデータに含まれる単語がどのような分野において使用されている単語であるかを特定する。そして、分野特定部１８は、特定した分野とテキストデータとを構造抽出部１９に通知する。

構造抽出部１９は、入力されたテキストデータに含まれる動詞と名詞とを抽出し、動詞を矢印と見做した際の構造である矢印構造のパターンを抽出する。すなわち、構造抽出部１９は、入力されたテキストデータが有する構造を抽出する。より具体的には、構造抽出部１９は、矢印構造のパターンとして、圏論の構造を有するパターンを抽出する。

概念特定部２０は、構造抽出部１９によって抽出されたパターンを用いて、入力された文章を抽象化した概念を特定する。そして、概念特定部２０は、特定した概念と同様の概念を有する文章に含まれる単語群を、分野特定部１８によって特定された分野とは異なる分野から特定する。すなわち、概念特定部２０は、入力された文章と同様の概念（アナロジー）を含む文章の単語群を特定する。

例えば、図３は、実施形態にかかる情報提供装置が単語の矢印構造のパターンを抽出する処理の一例を示す図である。例えば、図３に示す例では、分野「中華」に関連する文章に含まれる単語群と、分野「和食」に関連する文章に含まれる単語群との一例について記載した。

例えば、「生肉を炒めることで肉炒めを作る」といった文章から、名詞「生肉」、動詞「炒める」、名詞「肉炒め」が抽出されたものとする。このような場合、動詞「炒める」は、名詞「生肉」を名詞「肉炒め」へと変換する矢印構造を示すものと考えられる。また、「ごはんを炒めることでチャーハンを作る」といった文章から、名詞「ごはん」、動詞「炒める」、名詞「チャーハン」が抽出されたものとする。このような場合、動詞「炒める」は、名詞「ごはん」を名詞「チャーハン」へと変換する矢印構造を示すものと考えられる。このため、図３中（Ａ）に示すように、文章中に含まれる動詞は、名詞間の関係性（例えば、素材と料理等）を示す矢印として示すことができると考えられる。このような矢印は、圏論の構造における関手と見做すことができる。

また、例えば、分野「中華」と分野「和食」との関係性について考慮する。このような場合、「ゆでる」という動詞が、「炒める」という動詞と同様に、名詞間の関係性を示す矢印として示すことができると考えられる。このため、「炒める」という動詞を「ゆでる」という動詞に変換する関手は、分野「中華」を分野「和食」に変換する関手を示唆すると考えられる。

そこで、概念特定部２０は、構造抽出部１９によって抽出されたパターンから、圏論の構造を特定し、特定した圏論の構造に基づいて、出力候補となる単語を抽出する。例えば、概念特定部２０は、分野特定部１８によって特定された分野とは異なる分野に属する複数の単語のうち、構造抽出部１９によって特定された圏論の構造と同じ構造を有する複数の単語を抽出する。

ここで、図４を用いて、分散表現空間上において圏論の構造が示すアナロジーの一例について説明する。図４は、分散表現空間上で圏論の構造が有するアナロジーの一例を示す図である。例えば、図４中（Ａ）に示すように、ウェブ関連の分野に属する単語を含む圏を考える。このような圏においては、単語間の結合および分解を示すカルテシアン積の関係を示す構造により、ウェブ関連の分野における発想やアイデアのアナロジーを表現することができる。例えば、図４中（Ａ）に示す例では、「検索連動広告」という単語を「Ｙ」、「検索」という単語を「Ｘ_１」、広告という単語を「Ｘ_２」とした際に、「Ｙ」を「Ｘ_１」へと変換する関手「ｆ_１」は、「検索連動広告」から「検索」という単語を抽出する処理に対応し、「Ｙ」を「Ｘ_２」へと変換する関手「ｆ_２」は、「検索連動広告」から「広告」という単語を抽出する処理に対応する。また、「Ｙ」を「Ｘ_１×Ｘ_２」へと変換する関手「ｆ」は、「検索連動広告」を「検索×広告」というように単語が有する意味の要素を分解する処理に対応する。また、「Ｘ_１×Ｘ_２」を「Ｘ_１」へと変換する関手「π_１」や、「Ｘ_１×Ｘ_２」を「Ｘ_２」へと変換する関手「π_２」は、「検索×広告」という意味の要素を、「検索」や「広告」といった各要素を示す単語へと変換する処理に対応する。

一方、リアル店舗に関連する技術の単語を含む圏において、図４中（Ａ）に示したカルテシアン積の構造と同様の構造を考えた場合、図４中（Ｂ）に示すような単語間の構造を得ることができる。例えば、図４中（Ｂ）に示す例では、「カード決済連動広告」という単語を「Ｙ」、「カード決済」という単語を「Ｘ_１」、広告という単語を「Ｘ_２」とした際に、「Ｙ」を「Ｘ_１」へと変換する関手「ｆ_１」は、「カード決済連動広告」から「カード決済」という単語を抽出する処理に対応し、「Ｙ」を「Ｘ_２」へと変換する関手「ｆ_２」は、「カード決済連動広告」から「広告」という単語を抽出する処理に対応する。また、「Ｙ」を「Ｘ_１×Ｘ_２」へと変換する関手「ｆ」は、「カード決済連動広告」を「カード決済×広告」というように単語が有する意味の要素を分解する処理に対応する。また、「Ｘ_１×Ｘ_２」を「Ｘ_１」へと変換する関手「π_１」や、「Ｘ_１×Ｘ_２」を「Ｘ_２」へと変換する関手「π_２」は、「カード決済×広告」という意味の要素を、「カード決済」や「広告」といった各要素を示す単語へと変換する処理に対応する。

このように、カルテシアン積の構造は、各単語の意味そのものを示すのではなく、各単語間の意味の関係性、すなわち、アナロジーを示していると考えられる。このため、情報提供装置１０は、圏論における構造を考慮することで、各単語の中身に関係なく、抽象化した発想を抽出することができると考えられる。そこで、概念特定部２０は、圏論における構造が同じ単語群を、特定された分野とは異なる分野から抽出することで、同様のアナロジーを有する他分野に属する単語群を抽出する。より具体的には、概念特定部２０は、入力情報に含まれる単語群が有する構造と同じ構造を有する単語群を、文献データベース１３に登録された文献のうち、分野特定部１８が特定した分野とは異なる分野の文献に含まれる文章から特定する。

なお、圏論における構造は、上述したカルテシアン積に限定されるものではない。以下、図５を用いて、構造抽出部１９および概念特定部２０が考慮する圏論の構造の一例について説明する。例えば、図５は、実施形態に係る情報提供装置が特定する圏論構造の一例を示す図である。例えば、概念特定部２０は、圏論の構造として、図５中（Ａ）に示すように、単語間の結合および分解を示すカルテシアン積の関係を示す構造を有するパターンを抽出する。

また、概念特定部２０は、名詞間の関係性を示す矢印を圏論の関手として、圏論の構造を有するパターンを抽出する。ここで、関手は、同じ圏に属する単語間のみならず、他の圏に属する単語であって、同様の構造を有する単語間を示すことができる。そこで、概念特定部２０は、図５中（Ｂ）に示すように、ある分野における単語間の関係性の構造と一致する単語間の関係性であって、他の分野における単語間の関係性を抽出してもよい。例えば、概念特定部２０は、画像処理に属する単語間の関係性に基づいて、音声認識に属する単語間の関係性を抽出してもよい。

また、概念特定部２０は、図５中（Ｃ）に示すように、アナロジー型の自然変換を示す構造を抽出してもよい。例えば、概念特定部２０は、画像処理に関する単語を「Ｘ」、言語処理に関する単語を「Ｙ」、バーチャルに関する単語を含む圏を現実世界に関する単語を含む圏に変換する関手「Ｆ」、ウェブに関する単語を含む圏をスマートデバイスに関する単語を含む圏に変換する関手「Ｇ」を考える。すると、概念特定部２０は、図５中（Ｃ）に示すように、「Ｆ（Ｘ）」が「Ｆ（ｆ）」により「Ｆ（Ｙ）」に変換される構造を、「Ｆ（Ｘ）」を「Ｇ（Ｘ）」に変換する関手「ηＸ」と「Ｆ（Ｙ）」を「Ｇ（Ｙ）」に変換する関手「ηＹ」とにより、「Ｇ（Ｘ）」が「Ｇ（ｆ）」により「Ｇ（Ｙ）」に変換される構造へと結びつけることができる。すなわち、概念特定部２０は、１つの圏から異なる関手によって導かれた２つの圏を結びつけるアナロジー型の構造に基づいて、同じアナロジーを持つ２つの異業種を抽出することができる。

また、概念特定部２０は、図５中（Ｄ）に示すように、関手間の関係性を示す随伴関手の構造を有するパターンを抽出してもよい。例えば、コンテンツを「Ｘ」、広告を「Ａ」とした際に、ＸをＡへと変換する関手「Ｆ」、ＡをＸへと変換する関手「Ｇ」を考える。このような場合、関手「Ｇ」は、関手「ηＧ」により関手「ＧＦＧ」へと変換され、関手「ＧＦＧ」は、関手「Ｇε」により関手「Ｇ」へと変換される。また、関手「Ｆ」は、関手「Ｆη」により関手「ＦＧＦ」へと変換され、関手「ＦＧＦ」は、関手「εＦ」により関手「Ｆ」へと変換される。このような随伴関手の構造は、関手によって導かれた圏からその圏上への射や、ある圏から関手によって導かれたその圏上への射を示す。このため、このような随伴関手の構造を単語群から特定した場合には、ある分野における技術的な概念に対し、その分野と随伴関係にある他の分野における技術的な概念を組み込む関係を示すことができる。そこで、概念特定部２０は、随伴関手の構造を有するパターンを抽出することで、入力情報が示す概念に対し、入力情報が属する分野と随伴関係にある他の分野の概念を組み込んだ概念を示す単語群を抽出してもよい。

また、概念特定部２０は、図５中（Ｅ）に示すように、第１の圏に属する単語に第２の圏に属する単語が有する関連性を埋め込むクライスリトリプルの構造を有するパターンを抽出してもよい。例えば、ある圏に属する単語「ａ」を単語「ｍｂ」へと変換する関手を関手「ｆ」とし、単語「ｍａ」を単語「ｍｂ」へと変換する関手を関手「ｆ＊」とする。このような場合、関手「ｆ」の定義域である単語「ａ」を「ｍａ」へと持ち上げる（すなわち、関手「ｆ」と関手「ｆ＊」との合成）構成については、ある概念の中に他の概念を埋め込む操作を示すと考えられる。そこで、概念特定部２０は、クライスリトリプルの構造に基づいて、入力情報が示す概念に他の概念を組み込んだ概念を示す単語群を抽出することができる。

なお、概念特定部２０は、上述した各処理をＨａｓｋｅｌｌと呼ばれるプログラミング言語を用いて実現する。例えば、図６は、実施形態にかかる情報提供装置がＨａｓｋｅｌｌを用いてアナロジーを抽出する処理の一例を示す図である。例えば、図６中（Ａ）に示すように、圏論においては、ある分野Ａに属する発明Ａの概念が有する構造と、ある分野Ｂに属する発明Ｂが有する概念とは、同様のアナロジー、すなわち、同様の構造を有すると考えられる。すなわち、圏論においては、あるアナロジーを中心として分野Ａの圏から分野Ｂの圏への変換が対象であると考えられる。換言すると、圏論においては、分野Ｂの圏における構造が分野Ａの圏における構造と同じであるならば、同一のアナロジーを有している（単語の中身によらない抽象的な概念を示している）と予測される。

このような構造を抽出するため、概念特定部２０は、図６中（Ｂ）に示すように、Ｈａｓｋｅｌｌと呼ばれるプログラミング言語を用いたデータベースを使用して、アナロジーを示す構造を特定する。例えば、概念特定部２０は、文献データベース１３を参照し、発明Ａの言語記載から抽出される単語リスト［ａ１，ａ２，・・・］と、発明Ｂの言語記載から抽出される単語リスト［ｂ１，ｂ２，・・・］を生成する。そして、概念特定部２０は、動的型作成と動的型抽出とを同時に行う。すなわち、概念特定部２０は、動的に作り出した型のマッチパーサを同時に利用して正解データを自力で見つけだし、学習と測定とを同時に実施する。例えば、概念特定部２０は、各単語リストから型（構造のパターン）を生成して関数ｆとし、型のリストからさらに型を生成して関数ｆ（ｆ）とする。そして、概念特定部２０は、リストから型を抽出する関数を関数ｇ（ｆ）とする。

例えば、Ｈａｓｋｅｌｌにおいて、図５中（Ａ）に示すカルテシアン積の構造については、「prod=foldr(\as bs->[a:b|a<-as,b<-bs])[[]]」で示すことができる。また、Ｈａｓｋｅｌｌにおいて、図５中（Ｂ）に示すアナロジー型の関手の構造については、「class Functor (f :: * -> *) where fmap :: (a -> b) -> (f a -> f b)」および「instance Functor Maybe where fmap f (Just x) = Just (f x) fmap _ Nothing = Nothing」で示すことができる。また、Ｈａｓｋｅｌｌにおいて、図５中（Ｃ）に示すアナロジー型の自然変換の構造については、「nat :: (Functor f, Functor g) => f a -> g a」といった文章を、各関手について設定することで示すことができる。また、Ｈａｓｋｅｌｌにおいて、図５中（Ｄ）に示す双対アナロジー型の随伴関手の構造については、「class Adjunction f g where」、「leftAd :: (f a -> b) -> (a -> g b)」、「rightAd :: (a -> g b) -> (f a -> b)」、「-- Adjoint laws」、「-- 1. leftAd . rightAd = id」、および「-- 2. rightAd . leftAd = id」で示すことができる。また、Ｈａｓｋｅｌｌにおいて、図５中（Ｅ）に示すクライスリトリプルの構造については、「class Monad m where」、「(>>=) :: m a -> (a -> m b) -> m b」、「return :: a -> m a」、「(>>) :: m a -> m b -> m b」、「m >> n = m >>= \_ -> n」、「fail :: String -> m a」、および「fail = error」で示すことができる。そこで、概念特定部２０は、上述したＨａｓｋｅｌｌのスクリプトを用いて、入力された分野に属する単語群が有する構造、すなわちアナロジーを抽出し、抽出したアナロジーを有する他分野に属する単語群を抽出する。

なお、情報提供装置１０は、特定した構造と完全に一致する構造を有する単語群を特定する必要はない。すなわち、情報提供装置１０は、特定した構造の完全マッチではなく、近似マッチを利用することで、より広い範囲の分野から類似した構造を抽出し、アイデア創発のための単語群を抽出してもよい。また、情報提供装置１０は、他分野における類似構造の単語群の係り受け関係を用いて、ある分野の文の係り受けを修正した新たな文を生成することにより、その分野の新たな創作として抽出するなどの使い方をしてもよい。例えば、情報提供装置１０は、「ＲＮＮを用いたセレンディピティ創発」という文章を「セレンディピティ創発を用いたＲＮＮ」に修正することで、新たな創作の抽出を行ってもよい。

〔２−２．大偏差原理を用いた抽出処理を実現する構成例〕
図２に戻り、説明を続ける。類似度算出部２１は、概念特定部２０によって特定された単語群を基準単語とし、基準単語の分散表現と他の単語の分散表現との間のコサイン類似度を算出する。例えば、類似度算出部２１は、分散表現空間データベース１５に分散表現が含まれる各単語の分散表現を特定し、基準単語の分散表現とのコサイン類似度を算出する。

分布推定部２２は、基準単語以外の単語からサンプルとなる単語群を選択し、類似度算出部２１が算出した基準単語との間のコサイン類似度の分布を確率分布として推定する。そして、出力候補抽出部２３は、大偏差原理に基づいて、基準単語の分散表現と他の単語の分散表現のコサイン類似度の確率分布が他の単語の数を増やしたときに、分布形状が平均的な分布形状から外れていく挙動に基づいて、出力候補とする単語を抽出する。より具体的には、出力候補抽出部２３は、基準単語の分散表現と他の単語の分散表現のコサイン類似度の確率分布が他の単語の数を増やしたときに、分布形状が平均的な分布形状から外れていく挙動を分析し、その挙動に基づいて、所定の分布形状を抽出し、抽出した分布形状に基づいて、対応する単語を出力候補として抽出する。例えば、出力候補抽出部２３は、様々な単語群について、大偏差原理に基づき、確率分布が平均的な分布形状から外れていく挙動を分析する。そして、出力候補抽出部２３は、平均的な分布形状から外れていく確率分布を推定した際に、所定の閾値以上の確率で含まれる単語を出力候補として選択する。

より具体的には、出力候補抽出部２３は、基準単語以外の単語からサンプルとなる単語群を選択し、ヴァラダンの補題を用いて、基準単語の分散表現とサンプルとなる単語の分散表現とのコサイン類似度が属する確率の確率測度のレート関数を算出する。そして、出力候補抽出部２３は、算出したレート関数を用いて、分布形状が平均的な分布形状から外れていく挙動を分析する。

例えば、図７は、実施形態にかかる情報提供装置が出力候補とする単語群と基準単語との関係性を説明する図である。なお、図７に示す例では、基準単語と他の単語とのコサイン類似度の分布の一例について記載した。例えば、利用者が同じアナロジーとして理解することができる概念の範囲と、利用者にセレンディピティを起こし得る概念の範囲とは、双対関係にあると考えられる。そこで、利用者の発言に含まれるアナロジーと同一または類似するアナロジーを有するとともに（すなわち、理解させやすい概念を有するとともに）、利用者にセレンディピティを生じさせうる概念を出力する場合には、図７中（Ａ）に示すように、利用者が同じアナロジーとして理解できる範囲のうち、図７中（Ｂ）に示すようにセレンディピティを生じさせる範囲と重複する範囲に属する概念を提供すればよい。すなわち、情報提供装置１０は、図７中（Ｃ）に示す範囲に属する概念を生じさせうる単語群を出力すればよい。

ここで、基準となる単語群のアナロジーと同一または類似するアナロジーであるが、セレンディピティを起こす程異なるわけでもないアナロジーを有する単語群は、図７中（Ｄ）に示すように、基準となる単語群とのコサイン類似度が平均の範囲内に収まると考えられる。一方、基準となる単語群のアナロジーと同一または類似するアナロジーであって、セレンディピティを起こしえるアナロジーを有する単語群は、図７中（Ｅ）に示すように、基準となる単語群とのコサイン類似度が平均の範囲外にずれると考えられる。

そこで、出力候補抽出部２３は、大偏差原理を用いて、基準となる単語群からのコサイン類似度が平均から外れている単語群を出力対象として抽出する。より具体的には、出力候補抽出部２３は、大偏差原理を用いて、基準単語の分散表現と他の単語の分散表現のコサイン類似度の確率分布が、平均的な分布形状から外れていく挙動を分析し、分析結果に基づいて、出力候補とする単語を抽出する。

例えば、図８は、実施形態にかかる情報提供装置が大偏差原理を用いて特定する分布形状の一例を示す図である。例えば、出力候補抽出部２３は、図１中（Ａ）に示すように、基準単語と他の単語との間のコサイン類似度の分布を確率分布として推定する。そして、出力候補抽出部２３は、大偏差原理を用いて、図８中（Ｂ）に示すように、各分布が生じる確率を特定する。例えば、図８中（Ｃ）に示す確率は、図８中（Ｄ）に示す分布が生じる確率であり、図８中（Ｅ）に示す確率は、図８中（Ｆ）に示す分布が生じる確率であり、図８中（Ｇ）に示す確率は、図８中（Ｈ）に示す分布が生じる確率である。

ここで、セレンディピティを起こしえるアナロジーを有する単語群は、コサイン類似度が平均からずれていると予測されるが、このような単語群とのコサイン類似度を確率分布とした場合、図８中（Ａ）や（Ｆ）に示すような分布形状よりも、図８中（Ｈ）に示すような形状を有すると予測される。すなわち、アナロジーを有する単語群がサンプルに含まれる際に推定される確率分布の形状が生じる確率は、平均以下となり、図８中（Ｂ）に示す各分布が生じる確率において、平均から外れた領域に属すると予測される。

そこで、出力候補抽出部２３は、大偏差原理を用いて、基準単語の分散表現と他の単語の分散表現のコサイン類似度の確率分布が、サンプルサイズを増やしたときに近づく平均分布形状から外れていく挙動を分析し、その挙動に基づいて、所定の分布形状を抽出する。例えば、出力候補抽出部２３は、生じる確率が低い分布形状を抽出する。ここで、抽出される分布形状を確率分布と見做した場合は、セレンディピティが生じやすい単語との確率が最も高くなっていると予測される。そこで、出力候補抽出部２３は、抽出された分布形状を確率分布と見做した際に、ある閾値以上の確率で現れる単語を出力候補として抽出する。

なお、情報提供装置１０は、情報提供装置１０の出力に対する評価等に応じて、大偏差原理を用いた処理におけるパラメータを調整してもよい。例えば、情報提供装置１０は、抽出処理および学習処理の結果出力された文章から利用者が適切なアイデアを出せたか否かのフィードバックを用いて、大偏差原理に用いられる各種のパラメータを調整してもよい。

〔２−３．学習処理の結果を用いた出力を実現する構成例〕
図２に戻り、説明を続ける。出力生成部２４は、後述する収集部２６およびＲＮＮ学習部２７によって学習された学習器（エンコーダ）と復元器（デコーダ）とを用いて、出力候補抽出部２３が抽出した単語群から、単語群に含まれる各単語の係り受けを取得する。そして、出力生成部２４は、各単語の係り受けを考慮した文章を出力対象として生成する。より具体的には、出力生成部２４は、モデルデータベース１４から学習器および復元器を読出し、学習器に単語群を入力する。そして、出力生成部２４は、復元器を用いて、学習器が取得した特徴から各単語と各単語の係り受けとを復元し、復元した単語と係り受けとから出力対象となる文章を生成する。

出力部２５は、出力生成部２４が生成した文章を出力する。例えば、出力部２５は、出力生成部２４によって生成された文章を音声に変換し、出力装置３１等から出力することで、利用者の発言に対する応答を実現する。

〔２−４．学習処理を実現する構成例〕
収集部２６は、学習データの収集を行い、学習データに含まれる単語群を抽出する。例えば、収集部２６は、明細書や小説等の文章のデータを学習データとして収集し、文献データベース１３に登録する。そして、収集部２６は、文献データベース１３に登録された文章から、単語群を抽出し、抽出した単語群をＲＮＮ学習部２７に出力する。

ＲＮＮ学習部２７は、学習器と復元器との学習を行う。すなわち、ＲＮＮ学習部２７は、収集部２６によって抽出された単語群に含まれる各単語が文章中に出現する順番とともに単語群が有する特徴を学習する学習器を学習する。同時に、ＲＮＮ学習部２７は、単語群に含まれる各単語と、各単語が文章中に出現する順番とを文章中における各単語の係り受けとともに、学習器が学習した特徴から復元する復元器を学習する。

例えば、図９は、実施形態にかかる情報提供装置が学習する学習器と復元器との一例を示す図である。図９に示すように、ＲＮＮ学習部２７は、学習器および復元器として、リカレントニューラルネットワークの学習を行う。例えば、ＲＮＮ学習部２７は、図９中（Ａ）に示す学習器に対し、図９中（Ｂ）に示すように、単語群に含まれる単語Ｘ_１〜Ｘ_Ｔを、単語群の抽出元となる文章中に出現する順番で、学習器となるＲＮＮのノードに入力し、各単語が文章中に出現する順番と単語群が有する特徴とを学習結果「ｃ」として出力するように、ノード間の接続係数を設定する。そして、ＲＮＮ学習部２７は、学習器の出力を、図９中（Ｃ）に示す出力ノードに伝達させる。

また、ＲＮＮ学習部２７は、図９中（Ｄ）に示す復元器に対し、出力ノードの出力を入力する。そして、ＲＮＮ学習部２７は、図９中（Ｅ）に示すように、学習結果「ｃ」から単語群に含まれる各単語を、単語群の抽出元となる文章中に出現する順番で、Ｙ_１〜Ｙ_Ｔとして復元するとともに、単語群の抽出元となる文章中の係り受けを復元するように、図９中（Ｆ）に示すノード間の接続係数を設定する。すなわち、ＲＮＮ学習部２７は、単語群の抽出元となる文章を正解データとして、文章から抽出した単語群の特徴と、単語群の出現順序と、単語間の係り受けとの学習を行う。ＲＮＮ学習部２７は、このような学習器と復元器との学習を同時に実行する。この結果、ＲＮＮ学習部２７は、単語群から、単語群の係り受けを復元する学習器および復元器の組を生成することができる。

なお、図９中（Ａ）および（Ｄ）に示す学習器および復元器は、図９中（Ｇ）に示す学習器と等価である。図９中（Ｇ）に示す波付きの「ｈ」は、ノードの出力に対応し、「ｈ」は、ノードへの入力に対応し、パラメータ「ｚ」および「ｒ」は、ノード間の接続係数に対応する。

このような学習器と復元器との学習を行うことで、情報提供装置１０は、抽出処理によって抽出された単語群から自然な文章を生成することができる。例えば、図１０は、実施形態にかかる情報提供装置による学習処理と学習処理の効果とを説明するための図である。例えば、情報提供装置１０は、学習時において、学習器に対し、明細書等の文章から抜き出した名詞等の単語群を入力し、復元器が元の明細書の文章を復元するように学習を行う。この結果、学習器および復元器は、学習処理によって、明細書中における単語間の係り受けの学習を行うことができる。

続いて、情報提供装置１０は、抽出処理によって抽出された単語群の出力時においては、抽出された単語群を学習済みの学習器に入力する。この結果、復元器は、単語群から係り受けを考慮した文章を生成し、出力することができる。

なお、情報提供装置１０は、生成する文章のバリエーションを増やすために、出力用の構文木と、構文木の各節点（ノード）や葉（リーフ）に対応する修飾語とをあらかじめ保持し、学習器および復元器から生成した文章に対して、構文木にマッチする修飾語を追加することで、出力する文章のバリエーションを増やしてもよい。また、情報提供装置１０は、任意の文章解析技術を用いて、入力した単語群から生成された生成文の尤度を算出し、算出した尤度が所定の閾値よりも低い場合に、単語を類似する他の単語へと置き換えることで、尤度がより高い文章に修正してもよい。

〔３．情報提供装置が用いる数式の一例〕
次に、上述した抽出処理と学習処理とを実行する際に使用する数式の一例について説明する。以下の説明では、学習処理に用いられる数式の一例について説明し、その後、抽出処理に用いられる数式の一例について説明する。

〔３−１．学習処理に用いられる数式の一例〕
例えば、時刻「ｔ」における学習器の「ｊ」番目のノードの状態を「ｈ_ｊ ^＜ｔ＞」と記載すると、学習器における各ノードの状態は、以下の式（１）で表すことができる。ここで、式（１）中の波付き「ｈ_ｊ ^＜ｔ＞」は、式（２）で表すことができ、「ｚ_ｊ」および「ｒ_ｊ」は、以下の式（３）および式（４）で表される。ここで、「ｘ_ｔ」は、「ｔ」番目の入力を示す。また、式（２）〜式（４）の「Ｗ」および「Ｕ」は、学習器の接続係数を示すパラメータである。

すると、学習器による学習結果は、式（５）で示すことができる。

ここで、学習器の出力は、復元器の各ノードへと伝達される。このような復元器のノードへの入力は、式（６）で示すことができる。

すると、時刻「ｔ」における復元器の「ｊ」番目のノードの状態を「ｈ´_ｊ ^＜ｔ＞」とすると、「ｈ´_ｊ ^＜ｔ＞」は、以下の式（７）で示すことができる。ここで、式（７）中の波付き「ｈ´_ｊ ^＜ｔ＞」は、以下の式（８）で表すことができ、「ｚ´_ｊ」および「ｒ´_ｊ」は、以下の式（９）および式（１０）で表される。また、式（８）〜式（１０）の「Ｗ´」および「Ｕ´」は、復元器の接続係数を示すパラメータである。

例えば、情報提供装置１０は、学習器が単語群の特徴および順番を学習し、復元器が学習器の出力から係り受けとともに各単語を順番通りに出力することができるよう、式（１）〜式（１０）における「Ｗ」、「Ｕ」、「Ｗ´」および「Ｕ´」の値を学習する。

〔３−２．抽出処理に用いられる数式の一例〕
次に、抽出処理において、大偏差原理に基づいて、セレンディピティを生じさせうる単語を抽出する処理に用いる数式の一例について説明する。例えば、分散表現空間を学習する際に用いた文章中の全単語数を「Ｔ」、周辺の単語の数を「ｃ」、コーパス全体の単語数をＷとおくと、Ｗ２Ｖ（Word 2 Vector）における確率モデルは、以下の式（１１）で示される。

また、確率測度のレート関数は、以下の式（１２）で示される。

ここで、式（１２）に示す確率速度のレート関数を、ヴァラダンの補題より求める。例えば、各単語の識別子を「ｘ」、式（１２）に示す確率測度「ｐ_ｋ」を「φ（ｘ）」、レート関数を「Ｉ（ｘ）」と置くと、レート関数「Ｉ（ｘ）」は、以下の式（１３）を満たすこととなる。

例えば、情報提供装置１０は、式（１３）を用いて、レート関数を算出し、算出したレート関数に基づいて、確率分布の挙動を推定する。そして、情報提供装置１０は、推定した挙動に基づいて、セレンディピティを生じさせうる単語の確率測度が所定の閾値よりも大きくなるような分布形状を特定し、特定した分布形状に基づいて、セレンディピティを生じさせうる単語を抽出する。

〔４．情報提供装置１０が実行する処理の流れ〕
次に、図１１〜図１３を用いて、情報提供装置１０が実行する処理の流れについて説明する。まず、図１１を用いて、情報提供装置１０が実行する学習処理の流れの一例について説明する。図１１は、実施形態にかかる情報提供装置が実行する学習処理の流れを説明するフローチャートである。

まず、情報提供装置１０は、明細書等の文章を収集する（ステップＳ１０１）。そして、情報提供装置１０は、収集した文章から単語群を抽出する（ステップＳ１０２）。また、情報提供装置１０は、抽出した単語群を、出現順に学習器に入力し、特徴を抽出させるとともに（ステップＳ１０３）、復元器を用いて、抽出した特徴から、係り受けとともに単語群を復元する（ステップＳ１０４）。そして、情報提供装置１０は、正解データ、すなわち、単語群の抽出元となる文章と復元器の出力との差が所定の閾値以内であるか否かを判定し（ステップＳ１０５）、閾値以内である場合は（ステップＳ１０５：Ｙｅｓ）、処理を終了する。一方、情報提供装置１０は、正解データと復元器の出力との差が所定の閾値を超える場合は（ステップＳ１０５：Ｎｏ）、正解データに近づくように、学習器と復元器との学習を行い（ステップＳ１０６）、ステップＳ１０２を実行する。

次に、図１２を用いて、圏論の構造から出力候補となる単語群を抽出する処理の流れの一例について説明する。図１２は、実施形態にかかる情報提供装置が圏論の構造から出力候補となる単語群を抽出する処理の流れを説明するフローチャートである。例えば、情報提供装置１０は、利用者の発言等、入力された情報が属する分野を特定する（ステップＳ２０１）、続いて、情報提供装置１０は、特定した分野に属する単語の動詞を矢印に置き換えることで名詞間の関係を示す矢印構造のパターンを抽出する（ステップＳ２０２）。すなわち、情報提供装置１０は、特定した分野における圏論の構造を抽出する。また、情報提供装置１０は、矢印構造のパターンに基づいて、入力された文章を抽象化した概念を特定する（ステップＳ２０３）。そして、情報提供装置１０は、特定した概念を示す構造に基づいて、出力候補となる単語群を抽出し（ステップＳ２０４）、処理を終了する。

次に、図１３を用いて、大偏差原理に基づいて、セレンディピティを生じさせうる単語群を抽出する処理の流れの一例について説明する。図１３は、実施形態にかかる情報提供装置が大偏差原理に基づいて単語群を抽出する処理の流れを説明するフローチャートである。

例えば、情報提供装置１０は、単語群に含まれる各単語と他の単語とのコサイン類似度を算出する（ステップＳ３０１）。続いて、情報提供装置１０は、コサイン類似度の分布を確率分布として推定する（ステップＳ３０２）。そして、情報提供装置１０は、大偏差原理に基づいて、サンプルサイズを増やした際における確率分布が平均的な分布形状から外れていく挙動を分析する（ステップＳ３０３）。また、情報提供装置１０は、分析結果に基づいて、所定の分布形状となる確率分布を特定し（ステップＳ３０４）、特定した確率分布に基づいて、出力対象となる単語群を抽出する（ステップＳ３０５）。そして、情報提供装置１０は、学習器と復元器とを用いて、単語群から係り受けを復元し、復元した係り受けを含む文章を出力し（ステップＳ３０６）、処理を終了する。

〔５．変形例〕
上記では、図１に例示した態様を用いながら、情報提供装置１０が実行する処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、情報提供装置１０が実行する抽出処理のバリエーションについて説明する。

〔５−１．処理の実行形態について〕
上述した例では、情報提供装置１０は、セレンディピティを起こさせる可能性を高めるため、入力された文章に含まれる単語群が有する圏論の構造に基づいて、同様の構造を有する他分野に属する単語群を抽出する第１の抽出処理とともに、大偏差原理に基づいて、抽出した単語群から、さらにセレンディピティを起こさせる可能性が高い単語群を抽出する第２の抽出処理を行った。また、情報提供装置１０は、学習器および復元器の学習処理を実行し、学習器および復元器を用いて、第１の抽出処理および第２の抽出処理により抽出された単語群から係り受けを含む文章を生成した。しかしながら、実施形態は、これに限定されるものではない。

すなわち、情報提供装置１０は、第１の抽出処理または第２の抽出処理のいずれか一方のみを実行してもよい。また、情報提供装置１０は、学習処理を行わずに、各抽出処理の結果抽出された単語群を、そのまま出力してもよい。すなわち、情報提供装置１０は、各抽出処理および学習処理を、それぞれ個別に実現してもよい。

〔５−２．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

〔５−３．ハードウェア構成について〕
また、上述してきた実施形態に係る情報提供装置１０は、例えば図１４に示すような構成のコンピュータ１０００によって実現される。図１４は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一時的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ、フラッシュメモリ等により実現される。

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

例えば、コンピュータ１０００が情報提供装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部１６の機能を実現する。

〔６．効果〕
上述したように、情報提供装置１０は、指定された基準単語の分散表現と他の単語の分散表現との間の類似度を算出し、算出した類似度の分布を確率分布として推定する。そして、情報提供装置１０は、大偏差原理に基づいて、基準単語の分散表現と他の単語の分散表現の類似度の確率分布が、サンプルサイズを増やしたときに近づく平均分布形状から外れていく挙動を分析し、その挙動に基づいて、所定の分布形状を抽出する。その後、情報提供装置１０は、抽出された分布形状において、ある閾値以上の確率で現れる単語を出力候補として抽出する。このため、情報提供装置１０は、セレンディピティを生じさせる単語群を出力することができる結果、利用者の創作を援助する情報を出力することができる。

また、情報提供装置１０は、基準単語の分散表現と、他の単語の分散表現との間のコサイン類似度を算出し、算出したコサイン類似度の分布を確率分布として推定する。そして、情報提供装置１０は、ヴァラダンの定理を用いて、基準単語の分散表現と他の単語の分散表現との類似度が属する確率の確率測度のレート関数を算出し、算出したレート関数を用いて、基準単語の分散表現と他の単語の分散表現の類似度の確率分布が他の単語の数を増やしたときの挙動を特定する。このため、情報提供装置１０は、セレンディピティを生じさせる単語群を出力することができる結果、利用者の創作を援助する情報を出力することができる。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。

１０ 情報提供装置
１１ 通信部
１２ 記憶部
１３ 文献データベース
１４ モデルデータベース
１５ 分散表現空間データベース
１６ 制御部
１７ 受付部
１８ 分野特定部
１９ 構造抽出部
２０ 概念特定部
２１ 類似度算出部
２２ 分布推定部
２３ 出力候補抽出部
２４ 出力生成部
２５ 出力部
２６ 収集部
２７ ＲＮＮ学習部
３０ 入力装置
３１ 出力装置

Claims (5)

1. 指定された基準単語の分散表現と他の単語の分散表現との間の類似度を算出する算出部と、
   前記算出部が算出した類似度の分布を確率分布として推定する推定部と、
   大偏差原理に基づいて、前記基準単語の分散表現と他の単語の分散表現の類似度の確率分布が、サンプルサイズを増やしたときに近づく平均分布形状から外れていく挙動を分析し、その挙動に基づいて、所定の分布形状を抽出する分布形状抽出部と
   前記抽出された分布形状において、ある閾値以上の確率で現れる単語を出力候補として抽出する抽出部と
   を有することを特徴とする抽出装置。
2. 前記算出部は、前記類似度として、前記基準単語の分散表現と、他の単語の分散表現との間のコサイン類似度を算出する
   ことを特徴とする請求項１に記載の抽出装置。
3. 前記抽出部は、前記基準単語の分散表現と他の単語の分散表現との類似度が属する確率の確率測度のレート関数を用いて、前記基準単語の分散表現と他の単語の分散表現の類似度の確率分布が前記サンプルサイズを増やしたときの挙動を分析する
   ことを特徴とする請求項１または２に記載の抽出装置。
4. 前記抽出部は、ヴァラダンの定理を用いて、前記基準単語の分散表現と他の単語の分散表現との類似度が属する確率の確率測度のレート関数を算出する
   ことを特徴とする請求項３に記載の抽出装置。
5. 抽出装置が実行する抽出方法であって、
   指定された基準単語の分散表現と他の単語の分散表現との間の類似度を算出する算出工程と、
   前記算出工程で算出した類似度の分布を確率分布として推定する推定工程と、
   大偏差原理に基づいて、前記基準単語の分散表現と他の単語の分散表現の類似度の確率分布が、サンプルサイズを増やしたときに近づく平均分布形状から外れていく挙動を分析し、その挙動に基づいて、所定の分布形状を抽出する分布形状抽出工程と
   前記抽出された分布形状において、ある閾値以上の確率で現れる単語を出力候補として抽出する抽出工程と
   を含むことを特徴とする抽出方法。

Images