JP6461032B2 - Extraction apparatus and extraction method - Google Patents
Extraction apparatus and extraction method Download PDFInfo
- Publication number
- JP6461032B2 JP6461032B2 JP2016055498A JP2016055498A JP6461032B2 JP 6461032 B2 JP6461032 B2 JP 6461032B2 JP 2016055498 A JP2016055498 A JP 2016055498A JP 2016055498 A JP2016055498 A JP 2016055498A JP 6461032 B2 JP6461032 B2 JP 6461032B2
- Authority
- JP
- Japan
- Prior art keywords
- word
- information providing
- providing apparatus
- field
- word group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims description 86
- 239000000284 extract Substances 0.000 claims description 85
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 description 95
- 238000000034 method Methods 0.000 description 53
- 230000008569 process Effects 0.000 description 44
- 238000012545 processing Methods 0.000 description 41
- 230000014509 gene expression Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 19
- 238000003860 storage Methods 0.000 description 17
- 230000006399 behavior Effects 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 11
- 230000009977 dual effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 241000209094 Oryza Species 0.000 description 5
- 235000007164 Oryza sativa Nutrition 0.000 description 5
- 238000013459 approach Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000000306 recurrent effect Effects 0.000 description 5
- 235000009566 rice Nutrition 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 241000723353 Chrysanthemum Species 0.000 description 4
- 235000007516 Chrysanthemum Nutrition 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 235000013305 food Nutrition 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 235000013372 meat Nutrition 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 235000020995 raw meat Nutrition 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010411 cooking Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000003607 modifier Substances 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003756 stirring Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、抽出装置および抽出方法に関する。 The present invention relates to an extraction apparatus and an extraction method.
従来、入力された情報の解析結果に基づいて、入力された情報と関連する情報を検索もしくは生成し、検索もしくは生成した情報を応答として出力する技術が知られている。このような技術の一例として、入力されたテキストに含まれる単語、文章、文脈を多次元ベクトルに変換して解析し、解析結果に基づいて、入力されたテキストと類似するテキストや、入力されたテキストに続くテキストを類推し、類推結果を出力する自然言語処理の技術が知られている。 2. Description of the Related Art Conventionally, a technique for searching or generating information related to input information based on an analysis result of input information and outputting the searched or generated information as a response is known. As an example of such a technology, words, sentences, and contexts contained in the input text are converted into multidimensional vectors and analyzed, and based on the analysis result, text similar to the input text or input A natural language processing technique for analogizing text following text and outputting an analogy result is known.
しかしながら、上記の従来技術では、利用者の創作を援助する情報を出力することができない場合がある。例えば、上記の従来技術では、入力されたテキストと類似するテキストや、入力されたテキストに続くテキスト等、利用者が予測しうる情報を出力しているに過ぎず、入力されたテキストと関連するが利用者が予測しえない情報を出力することが困難である。このため、上記の従来技術では、利用者にひらめきを与えるような情報を提供することができない。 However, in the above-described conventional technology, there are cases where information for assisting the creation of the user cannot be output. For example, in the above-described prior art, only information that can be predicted by the user, such as text similar to the input text or text following the input text, is output, and is related to the input text. However, it is difficult to output information that the user cannot predict. For this reason, the above-described conventional technology cannot provide information that gives inspiration to the user.
本願は、上記に鑑みてなされたものであって、利用者の創作を援助する情報を出力することを目的とする。 The present application has been made in view of the above, and an object thereof is to output information that assists the creation of a user.
本願にかかる抽出装置は、入力された文章から動詞および名詞を抽出する関係抽出部と、前記抽出された動詞を前記名詞間の関係性を示す矢印に置き換えることで前記名詞間の関係を矢印構造のパターンとして抽出する抽出部と、前記抽出された矢印構造のパターンに基づいて、前記入力された文章を抽象化した概念を特定する特定部とを有することを目的とする。 An extraction apparatus according to the present application includes a relationship extraction unit that extracts a verb and a noun from an input sentence, and an arrow structure that indicates the relationship between the nouns by replacing the extracted verb with an arrow indicating the relationship between the nouns. It is an object of the present invention to include an extraction unit that extracts a pattern as a pattern and a specifying unit that specifies a concept obtained by abstracting the input sentence based on the extracted arrow structure pattern.
実施形態の一態様によれば、利用者の創作を援助する情報を出力することができる。 According to one aspect of the embodiment, information that assists the creation of the user can be output.
以下に、本願にかかる抽出装置および抽出方法を実施するための形態(以下、「実施形態」と記載する。)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願にかかる抽出装置および抽出方法が限定されるものではない。また、以下の実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out an extraction apparatus and an extraction method according to the present application (hereinafter referred to as “embodiments”) will be described in detail with reference to the drawings. In addition, the extraction apparatus and the extraction method concerning this application are not limited by this embodiment. Moreover, in the following embodiment, the same code | symbol is attached | subjected to the same site | part and the overlapping description is abbreviate | omitted.
〔1.情報提供装置の一例〕
まず、図1を用いて、情報提供装置10が実行する処理の一例について説明する。図1は、実施形態にかかる情報提供装置の一例を示す図である。例えば、図1に示す例では、情報提供装置10は、複数の利用者がブレインストーミング等の会議を行っている際に、利用者の発言を入力情報として取得し、取得した入力情報に基づいて、通常の思考では浮かばないような発言を生成し、生成した発言を音声に変換してロボット等に出力させることで、利用者の思考を支援する処理の一例について記載した。なお、以下の説明では、情報提供装置10が実行する処理を学習処理と抽出処理とに分けて説明する。
[1. Example of information providing device)
First, an example of processing executed by the
図1に示した情報提供装置10は、サーバ装置等の情報処理装置により実現される。なお、情報提供装置10は、単一の情報処理装置に実現されてもよく、例えば、クラウドネットワーク上に存在する複数の情報処理装置が協調して実現されてもよい。このような、情報提供装置10は、利用者の発言をテキストデータに変換し、テキストデータを自然言語処理により解析する。そして、情報提供装置10は、解析結果に基づいて、会議や利用者の思考を支援する発言を生成し、生成した発言を出力する。
The
〔1−1.抽出処理の一例〕
ここで、従来技術では、入力されたテキストを構成する複数次元の単語ベクトルで示す分散表現を用いて、入力されたテキストと類似するテキストや、入力されたテキストに続くテキストを類推する。しかしながら、従来技術では、入力されたテキストと分散表現が類似するテキスト、すなわち、利用者が予測しうるテキストを出力するに過ぎない。このため、従来技術では、利用者が思いもしなかった情報や、利用者に新規なひらめきを与えるような情報、すなわち、利用者のセレンディピティ(ひらめき、気づき、驚き)を起こし得る情報を提供することができなかった。また、例えば、単純に入力されたテキストとは分散表現が類似しないテキストを出力した場合には、利用者の思考とは関係がないテキストを出力することとなり、利用者の思考を阻害する場合がある。
[1-1. Example of extraction process)
Here, in the prior art, text similar to the input text or text following the input text is inferred using a distributed expression represented by a multi-dimensional word vector constituting the input text. However, the prior art merely outputs text whose distributed representation is similar to the input text, that is, text that can be predicted by the user. For this reason, the conventional technology provides information that the user has never thought of, information that gives the user a new inspiration, that is, information that can cause the user's serendipity (inspiration, awareness, surprise). I could not. Also, for example, if text that does not resemble a simple input text is output, text that is not related to the user's thought will be output, which may hinder the user's thought. is there.
〔1−1−1.圏論を用いた概念抽出〕
そこで、情報提供装置10は、以下の処理を実行する。まず、情報提供装置10は、利用者の発言等を入力情報として受付ける。また、情報提供装置10は、入力情報が属する分野を特定する。ここで、入力情報が属する分野とは、例えば、利用者の発言に含まれる単語が医療分野に属する単語であるか、物理学分野に属する単語であるか、料理分野に属する単語であるか等、入力情報が主に使用されている技術的な分野である。
[1-1-1. (Concept extraction using category theory)
Therefore, the
続いて、情報提供装置10は、特定された分野に属する複数の単語が有する圏論の構造に基づいて、単語が有する概念を抽出する。より具体的には、情報提供装置10は、入力された文章から動詞および名詞を抽出し、抽出された動詞を名詞間の関係性を示す矢印に置き換えることで名詞間の関係を矢印構造のパターンとして抽出し、抽出された矢印構造のパターンを用いて、入力された文章を抽象化した概念を特定する。そして、情報提供装置10は、同様の概念を有する他の文章を特定する。例えば、情報提供装置10は、入力情報が属する分野とは異なる分野に属する複数の単語から、特定した概念を有する他の文章、すなわち、抽出された矢印構造のパターンと同様のパターンを有する単語群を抽出する。
Subsequently, the
より具体的には、情報提供装置10は、矢印構造のパターンとして、圏論の構造を有するパターンを抽出し、抽出したパターンと同様のパターンを有する他の単語群を抽出する。ここで、圏論とは、数学的構造とその間の関係を抽象的に扱う数学理論であり、ある種構造を有する対象と、その構造を反映するような対象間の射の組み合わせにより、対象の中身を考慮せずに特徴を見つける手法である。例えば、圏論を用いた場合には、ある集合に含まれる各要素の中身を特定せずとも、その集合の外側からその集合が有する特徴を見つけることができる。このような圏論の手法を、単語間の関係性に適用した場合、単語が属する分野(すなわち、単語の種類)によらず、単語の並びの構造から、単語が属する分野に属する単語同士が有する特徴を抽象化した概念を示すことができる。ここで、発明等の発想やアイデアを示す単語群が有する構造と同じ構造を有する他の単語群を検索した場合、そのような単語群は、他の発想やアイデア等を示す単語群である可能性が高い。
More specifically, the
そこで、情報提供装置10は、入力情報に含まれる単語群が有する圏論の構造を特定する。そして、情報提供装置10は、特定した圏論の構造と同じ構造を有する他の単語群を他分野等から抽出することで、同一のアナロジーを有する他のアイデアを抽出することができる。
Therefore, the
また、圏論の構造には、単語間の関連性のみならず、構造間の関係性を示す関手(函手)と呼ばれる構造が存在する。このような関手は、名詞を圏に属する要素と見做した場合、名詞と他の名詞との関連性を示す単語、すなわち、動詞に対応付けられると考えられる。そこで、情報提供装置10は、入力情報として受付けた文章に含まれる動詞を圏論の関手と見做して、文章が有する圏論の構造を抽出する。
In addition, the structure of category theory includes not only the relationship between words but also a structure called a functor that indicates the relationship between structures. Such a functor is considered to be associated with a word indicating a relationship between a noun and another noun, that is, a verb when the noun is regarded as an element belonging to the category. Therefore, the
また、圏論においては、関手は、ある構造を有するクラスを、同様の構造を有する他のクラスへと変換する関数等によって表すことができる。このため、関手は、例えば、ある分野に属する発想やアイデアを、他分野に属する発想やアイデアであって、同様のアナロジーを有する発想やアイデアに変換する作用を有すると考えられる。そこで、情報提供装置10は、各単語間の構造や、単語間の構造同士を関連付ける関手等、圏論の構造に基づいて、入力された単語群とは異なる分野から、同様のアナロジーを有する単語群を抽出する。
In category theory, a functor can be represented by a function or the like that converts a class having a certain structure into another class having a similar structure. For this reason, for example, it is considered that the functor has an action of converting an idea or idea belonging to a certain field into an idea or idea belonging to another field and having a similar analogy. Therefore, the
〔1−1−2.圏論を用いた処理の一例〕
例えば、情報提供装置10は、圏論の構造として、単語間の結合および分解を示すカルテシアン積の関係を示す構造に基づいて、特定された単語が属する分野とは異なる分野に属する単語を抽出する。より具体的には、情報提供装置10は、入力された文章に含まれる動詞を名詞間の関係を示す関手と見做し、入力された文章に含まれる名詞間の構造を圏論の構造にあてはめて抽出する。そして、情報提供装置10は、抽出した圏論の構造と同様の構造を有する他の単語群を、入力された単語が属する分野とは異なる分野に属する単語を抽出する。
[1-1-2. Example of processing using category theory]
For example, the
また、例えば、情報提供装置10は、関手同士の構造に基づいて、出力候補となる単語を抽出してもよい。例えば、圏論には、1つの圏から異なる関手によって導かれた2つの圏を関連付けるアナロジー型と呼ばれる構造が存在する。このようなアナロジー型と呼ばれる構造を単語間の関連性にあてはめた場合、例えば、同じアナロジーを有する2つの異なる分野間の関係を示すこととなる。そこで、情報提供装置10は、アナロジー型の構造に基づいて、入力された単語群とは異なる分野に属する単語群であって、同様のアナロジーを有する単語群を抽出してもよい。例えば、情報提供装置10は、第1分野に属する単語群を受付けた場合には、アナロジー型の構造として、第1分野に属する単語と第2分野に属する単語とを関連付ける第1関手と、第1分野に属する単語と第3分野に属する単語とを関連付ける第2関手と、第2分野に属する単語と第4分野に属する単語とを関連付ける第3関手と、第3分野に属する単語と第4分野に属する単語とを関連付ける第4関手との関係性を示す構造を特定する。すなわち、情報提供装置10は、動詞間の関連性を示す構造を特定する。そして、情報提供装置10は、特定した構造と同様の構造を有する他の単語群を抽出してもよい。また、例えば、情報提供装置10は、第1分野に属する単語群から、アナロジー型の構造により対応付けられた第4分野に属する単語群を抽出してもよい。
Further, for example, the
また、例えば、情報提供装置10は、圏論の構造として、関手間の関係性を示す随伴関手に基づいて、出力候補となる単語を抽出してもよい。すなわち、情報提供装置10は、圏論の構造として、双対アナロジー型の構造に基づき、出力候補となる単語を抽出してもよい。より具体的には、圏論には、ある圏から関手によって導かれたその圏場への射を示す双対アナロジー型の構造が存在する。このような双対アナロジー型と呼ばれる構造を、単語間の関連性にあてはめた場合、第1分野に属する単語群から、第1分野と随伴関係にある分野である第2分野に属する単語群が有する特徴を含む単語群であって、第1分野に属する他の単語群への射となる関手により表されることとなる。そこで、情報提供装置10は、このような双対アナロジー型の構造を表す随伴関手の構造を特定し、特定した構造と同様の構造を有する他の単語群を抽出してもよい。また、情報提供装置10は、随伴関手の構造に基づいて、入力された単語群と同じ分野に属する単語群であって、異なる分野に属する単語群が有する特徴(例えば、その分野における技術の特徴)を含む単語群を出力候補として抽出してもよい。
In addition, for example, the
また、情報提供装置10は、圏論の構造として、特定された分野とは異なる分野上のクライスリトリプルに基づいて、特定された分野とは異なる分野に属する複数の単語に、他の分野に属する複数の単語が有する関連性を埋め込んだ複数の単語を、出力候補として抽出してもよい。例えば、圏論には、ある圏Cにおいて圏を変えない関手、圏Cに含まれる要素Aを他の要素TAに変換する自然変換、AからTBへの射に対してTAからTBへの射を与える操作からなる三つ組みのクライスリトリプルと呼ばれる構造が存在する。このような構造を単語間の関連性にあてはめた場合、ある分野に属する発想やアイデア等に、同一分野に属する他の発想やアイデアを組込む構造を示すこととなる。そこで、情報提供装置10は、このようなクライスリトリプルの構造を特定し、特定した構造と同様の構造を有する他の単語群を抽出してもよい。また、情報提供装置10は、クライスリトリプルの構造に基づいて、入力された単語群から出力候補となる単語群、すなわち、他の発想やアイデアの概念が組込まれた単語群を出力候補として抽出してもよい。
In addition, the
〔1−1−3.大偏差原理を用いたセレンディピティの抽出〕
ここで、圏論を用いて抽出された単語群は、入力された単語群と同様のアナロジーを有する他分野に属する単語群であったり、他のアイデアや発想の概念が組み込まれた単語群となりえる。しかしながら、このような単語群は、元の単語群から利用者が容易に導き出すことができる概念を有する場合がある。特に、利用者のセレンディピティを起こし得るような概念は、利用者の発言に含まれる概念からある程度の類似性を有する概念のうち、利用者が想像もしていないような概念であると考えられる。
[1-1-3. (Extraction of serendipity using the principle of large deviation)
Here, the word group extracted using category theory is a word group belonging to another field having the same analogy as the input word group, or a word group incorporating concepts of other ideas and ideas. Yeah. However, such a word group may have a concept that a user can easily derive from the original word group. In particular, a concept that can cause a user's serendipity is considered to be a concept that the user has not imagined among concepts that have a certain degree of similarity from the concept included in the user's remarks.
しかしながら、利用者の発言に含まれる単語群から、セレンディピティを起こすような概念を有する単語群を抽出するのは、困難である。より具体的には、分散表現空間上に投影される単語の数は、有限であるため、入力された単語群を基準として、統計的にどの程度の類似性を有する単語群を出力すれば利用者のセレンディピティを起こし得るかが解りづらい。 However, it is difficult to extract a word group having a concept that causes serendipity from a word group included in a user's utterance. More specifically, since the number of words projected on the distributed representation space is finite, if a word group having a statistical degree of similarity is output based on the input word group, it is used. It is difficult to understand whether it can cause the serendipity of a person.
そこで、情報提供装置10は、大偏差原理を用いて、セレンディピティを起こし得る単語群の抽出を行う。より具体的には、情報提供装置10は、圏論の構造に基づいて抽出された単語群に含まれる単語を基準単語とする。また、情報提供装置10は、基準単語の分散表現と他の単語の分散表現との間のコサイン類似度を算出し、算出したコサイン類似度の分布を確率分布として推定する。そして、情報提供装置10は、大偏差原理に基づいて、基準単語の分散表現と他の単語の分散表現のコサイン類似度の確率分布が、他の単語の数(サンプルサイズ)を増やした時に近づく平均分散形状から外れた分布形状に基づいて、出力候補とする単語を抽出する。より具体的には、情報提供装置10は、確率分布が平均分布形状から外れた分布形状となる単語を、セレンディピティを起こし得る単語として抽出する。
Therefore, the
例えば、情報提供装置10は、サンプルとする単語群を選択し、選択した単語群と基準単語とのコサイン類似度の分布から、基準単語と他の単語との間のコサイン類似度の分布の確率分布を推定する。そして、情報提供装置10は、大偏差原理に基づいて、サンプルとする単語群の数を増やしていった際に近づく確率分布の分布形状が、平均的な分布形状から外れているか否かを判定し、確率分布の分布形状が平均的な分布形状から外れている場合には、サンプルとした単語群がセレンディピティを起こし得る単語群であるとして、出力候補とする。
For example, the
なお、情報提供装置10は、任意の分布形状を平均的な分布形状とすることができる。例えば、情報提供装置10は、正規分布や二項分布等を平均的な分布形状としてよい。また、情報提供装置10は、分布形状が平均的な分布形状からどれくらい外れている際に、サンプルとした単語群を出力候補とするかについては、任意の値が設定可能である。
In addition, the
例えば、情報提供装置10は、基準単語の分散表現と、サンプルとした他の単語の分散表現との間のコサイン類似度を算出する。そして、情報提供装置10は、コサイン類似度の分布の確率分布を推定し、大偏差原理に基づいて、他の単語の数を増やした際に推定された確率分布が近づく分布形状を特定し、特定した分布形状に基づいて、サンプルとした単語を出力候補とするか否かを判定する。より具体的には、情報提供装置10は、ヴァラダンの補題を用いて、基準単語の分散表現と他の単語の分散表現とのコサイン類似度が属する確率の確率測度のレート関数を算出する。そして、情報提供装置10は、レート関数を用いて、基準単語の分散表現と他の単語の分散表現のコサイン類似度の確率分布が他の単語の数を増やしたときに近づく分布形状を特定する。
For example, the
このような処理を、圏論を用いて抽出された単語群に含まれる単語ごと、または、単語群ごとに実行することで、情報提供装置10は、セレンディピティを起こし得る単語群を抽出することができる。例えば、情報提供装置10は、圏論を用いて抽出された単語群の分散表現空間上における重心または中心を1つの基準単語と見做し、大偏差原理に基づいて、基準単語と他の単語とのコサイン類似度の分布を推定し、推定結果に基づいて、基準単語とのコサイン類似度が平均的なコサイン類似度を外れた複数の単語を抽出すればよい。また、情報提供装置10は、基準単語とのコサイン類似度が平均的なコサイン類似度を外れた複数の単語のうち、圏論を用いて抽出された単語群と同じ圏論の構造を有する単語群を抽出してもよい。
By executing such processing for each word included in the word group extracted using category theory or for each word group, the
〔1−2.学習処理の一例〕
ここで、圏論や大偏差原理に基づいて、セレンディピティを起こし得る単語群を抽出できたとしても、その単語群をそのまま出力した場合には、単語同士の係り受けが不明確となり、セレンディピティが生じる可能性が悪化する恐れがある。
[1-2. Example of learning process)
Here, even if a word group that can cause serendipity can be extracted based on the category theory and the principle of large deviation, if the word group is output as it is, the dependency between the words becomes unclear and serendipity occurs. The possibility is likely to worsen.
そこで、情報提供装置10は、RNN(Recurrent Neural Network)の技術を用いて、抽出された単語群から係り受けを考慮した文章、すなわち、自然な文章を生成し、生成した文章を出力してもよい。例えば、情報提供装置10は、特許出願における明細書や小説等、単語間の係り受けを含む文章を学習データとして収集し、収集した文章から単語群を抽出する。そして、情報提供装置10は、単語群に含まれる各単語が文章中に出現する順番とともに単語群が有する特徴を学習する学習器と、単語群に含まれる各単語と各単語が文章中に出現する順番とを文章中における各単語の係り受けとともに、学習器によって学習された特徴から復元する復元器とを同時に学習する。
Therefore, the
例えば、情報提供装置10は、リカレントニューラルネットワークの学習器と復元器とを準備する。また、端末配信装置10は、単語群に含まれる各単語を学習データとした文章中に出現する順番で、学習器となるリカレントニューラルネットワークに入力し、各単語が文章中に出現する順番とともに単語群が有する特徴を学習器に学習させる。また、情報提供装置10は、学習器が学習した特徴を復元器となるリカレントニューラルネットワークに入力し、特徴から単語群に含まれる各単語を学習データとした文章中に出現する順番で抽出するとともに、学習データとした文章中における各単語の係り受けを抽出するように復元器を学習させる。すなわち、情報提供装置10は、単語群に含まれる単語が文章中に出現する順番と単語群の特徴とを学習するとともに、特徴から、学習データとした文章に含まれる各単語の係り受けとともに、各単語を入力した順で復元するように、学習器と復元器とに含まれる各ニューロン間の計数を同時に学習(修正)する。
For example, the
また、情報提供装置10は、上述した学習処理によって学習が行われた学習器を用いて、抽出処理によって抽出された単語群の特徴を取得し、上述した学習処理によって学習が行われた復元器を用いて、取得された特徴から単語群を係り受けと共に復元させる。すなわち、情報提供装置10は、上述した抽出処理によって抽出された単語群を学習器に入力するとともに、学習器の出力を復元器に入力することで、抽出処理によって抽出された単語群を係り受けと共に復元する。そして、情報提供装置10は、係り受けとともに復元された単語群、すなわち、抽出処理によって抽出された単語群を含む文章を、処理結果として利用者に提供する。この結果、情報提供装置10は、抽出された単語群を、自然な文章として出力することができるので、利用者にセレンディピティを起こさせる可能性を増大させることができる。
In addition, the
〔1−3.抽出処理および学習処理の一例〕
次に、図1を用いて、情報提供装置10が実行する抽出処理および学習処理の一例について説明する。例えば、図1に示す例では、情報提供装置10は、抽出処理に先駆けて、学習器と復元器との学習を行う学習処理を実行する(ステップS1)。このような学習処理においては、情報提供装置10は、明細書等の所定の文章を学習データとしてインターネット等を介して収集し、収集した文章に含まれる単語群を抽出する(ステップS2)。続いて、情報提供装置10は、抽出した単語群に含まれる各単語を、学習データとした文章内で出力する順(以下、「出現順」と記載する)で、学習器に入力し、特徴と出現順とを学習させる(ステップS3)。そして、情報提供装置10は、学習器の学習結果から、特徴を学習した単語群に含まれる各単語を、係り受けとともに、出現順に復元するように、復元器の学習を行う(ステップS4)。なお、ステップS3およびステップS4に示す処理は、同時におこなわれることとなる。このような処理を繰り返すことで、情報提供装置10は、単語群に含まれる各単語の自然な係り受けを作成可能な学習器と復元器とを生成することができる。
[1-3. Example of extraction processing and learning processing)
Next, an example of extraction processing and learning processing executed by the
続いて、情報提供装置10が実行する抽出処理の一例について説明する。例えば、情報提供装置10は、会議における利用者の発言Aや発言Bを入力として受付ける(ステップS5)。より具体的には、情報提供装置10は、利用者が発声した発言Aをテキストデータに変換し、変換後のテキストデータを入力情報として取得する。
Subsequently, an example of an extraction process executed by the
かかる場合、情報提供装置10は、圏論に基づく構成と大偏差原理とに基づいて、入力情報が有するアナロジーと同様のアナロジーを有する情報であって、利用者にセレンディピティを生じさせるような情報を抽出する抽出処理を実行する(ステップS6)。以下、
、情報提供装置10が実行する抽出処理の流れをステップS7〜ステップS13に分けて説明する。
In such a case, the
The flow of the extraction process executed by the
まず、情報提供装置10は、入力情報が属する分野を特定する(ステップS7)。例えば、情報提供装置10は、形態素解析等を用いて、利用者の発言のテキストデータを解析し、テキストデータに含まれる単語群を抽出する。そして、情報提供装置10は、抽出した単語群がどのような分野において使用されている単語群であるかを特定する。例えば、情報提供装置10は、「眼鏡型」、「腕時計型」、「表示」、「スマートデバイス」等といった単語が単語群に含まれる場合は、入力情報が属する分野を「ウェアラブルデバイス」とする。なお、情報提供装置10は、例えば、入力情報に含まれるであろう単語と、その単語が含まれる入力情報が属する分野とを予め対応付けて記憶し、入力情報に含まれる単語と対応付けられた分野を、入力情報が属する分野として特定してもよく、例えば、ウェブ上の検索サービス等を用いて、入力情報に含まれる単語と関連する分野を検索し、検索結果として得られる分野を入力情報が属する分野としてもよい。
First, the
続いて、情報提供装置10は、入力情報に含まれる動詞を圏論の関手と見做して、名詞間が有する圏論の構造を特定する(ステップS8)。そして、情報提供装置10は、圏論の構造に基づいて、選択した単語群とは異なる分野に属する単語群を抽出する(ステップS9)。例えば、情報提供装置10は、分散表現空間内に投影された各単語群が有する圏論の構造を特定し、ステップS9にて抽出した単語群と同様の構造を有する単語群であって、ステップS9にて抽出した単語群とは異なる分野に属する単語群を抽出する。
Subsequently, the
また、情報提供装置10は、抽出した単語群と他の単語とのコサイン類似度の確率分布を推定する(ステップS10)。そして、情報提供装置10は、大偏差原理に基づいて、確率分布が平均的な分布から外れる単語群を抽出する(ステップS11)。例えば、情報提供装置10は、公開特許公報や特許公報等、各種の技術について記載された文献データベースから、特定した分野の文献データを取得する。続いて、情報提供装置10は、取得した文献データの形態素解析を行い、文献データ内から単語を抽出する。そして、情報提供装置10は、抽出した各単語の類似性等を考慮して、各単語を投影した分散表現空間を作成する。なお、このような分散表現空間は、いわゆるW2V(Word 2 Vector)の技術等を利用することで実現される。
Further, the
また、情報提供装置10は、サンプルとする他の単語を選択し、抽出した単語群や、抽出した単語群に含まれる単語を基準単語として、基準単語と他の単語とのコサイン類似度を算出し、算出したコサイン類似度の分布を確率分布とする。そして、情報提供装置10は、大偏差原理に基づいて、サンプルとする他の単語を増大させた際における確率分布の分布の挙動が、平均的な分布からずれていく挙動を分析し、分析結果に基づいて、出力候補とする単語を抽出する。より具体的には、情報提供装置10は、分析結果に基づいて、所定の分布形状となる確率分布を特定し、特定した分布形状においてある閾値以上の確率で現れる単語を出力候補として抽出する。
In addition, the
また、情報提供装置10は、学習処理によって学習された学習器に対してステップS11にて抽出した単語群を入力し、単語群を学習器に入力することで得られた特徴を復元器で復元することで、単語群とともに単語群の係り受けを取得する(ステップS12)。そして、情報提供装置10は、取得した単語群と係り受けとを用いて、出力する文章を生成し(ステップS13)、生成した文章を応答として出力する(ステップS14)。例えば、情報提供装置10は、ステップS11にて抽出した単語群を含み、かつ、各単語群の係り受けを含む文章を発言Cとしてロボット等に読み出させることで、利用者に提案を行う。
In addition, the
このような提案が行われた場合、利用者は、提案された単語の概念に基づいて、あらたなひらめきを生じさせる可能性が高い。このため、情報提供装置10は、利用者のセレンディピティを起こさせることができる。
When such a proposal is made, the user is likely to generate a new inspiration based on the concept of the proposed word. For this reason, the
〔2.情報提供装置の構成〕
次に、図2を用いて、図1に示した学習処理および抽出処理を実行する情報提供装置10の構成について説明する。図2は、実施形態にかかる情報提供装置が有する機能構成の一例を示す図である。図2に示すように、情報提供装置10は、入力装置30および出力装置31と接続されている。また、情報提供装置10は、通信部11、記憶部12、および制御部16を有する。
[2. Configuration of information providing device]
Next, the configuration of the
通信部11は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部11は、マイクやキーボード等の入力装置30と、モニタやプリンタ、音声を発声することができるロボット等の出力装置31と接続され、各種情報の送受信を行う。 The communication unit 11 is realized by, for example, a NIC (Network Interface Card). The communication unit 11 is connected to an input device 30 such as a microphone and a keyboard and an output device 31 such as a monitor, a printer, and a robot that can utter voice, and transmits and receives various types of information.
記憶部12は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部12は、文献データベース13、モデルデータベース14、および分散表現空間データベース15を有する。
The storage unit 12 is realized by, for example, a semiconductor memory device such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk. The storage unit 12 includes a document database 13, a
文献データベース13には、各種分野に属する文献が登録されている。例えば、文献データベース13には、公開特許公報、公表特許公報、特許公報、論文等、過去になされたアイデアの概念を含む文献が登録されている。 Documents belonging to various fields are registered in the document database 13. For example, in the document database 13, documents including concepts of ideas made in the past, such as published patent publications, published patent publications, patent publications, and papers, are registered.
モデルデータベース14には、学習処理によって学習されるモデル、すなわち、RNNである学習器と復元器とのデータが登録されている。例えば、モデルデータベース14には、学習器と復元器とに含まれる各ニューロン間の接続や、各ニューロン間の接続係数等が登録されている。
In the
分散表現空間データベース15には、各種分野に属する単語の分散表現が登録されている。例えば、分散表現空間データベース15には、文献データベース13に登録された文献に含まれる単語を示すベクトルが登録されている。なお、各単語の分散表現は、各単語同士の関係性に基づいて生成されるため、各単語同士の向きやコサイン類似度は、各単語同士が有する概念や共起性の類似度に対応することとなる。
In the distributed
制御部16は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等のプロセッサによって、情報提供装置10内部の記憶装置に記憶されている各種プログラムがRAM等を作業領域として実行されることにより実現される。また、制御部16は、コントローラ(controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。
The control unit 16 is a controller. For example, various programs stored in a storage device inside the
図2に示すように、制御部16は、受付部17、分野特定部18、構造抽出部19、概念特定部20、類似度算出部21、分布推定部22、出力候補抽出部23、出力生成部24、出力部25、収集部26、およびRNN学習部27を有する。なお、各部17〜25は、抽出処理を実現するための機能構成であり、各部26、27は、学習処理を実現するための機能構成である。このため、情報提供装置10は、例えば、各部17〜25を有する抽出装置と、各部26、27を有する学習装置とが協調して動作することにより、実現されてもよい。
As shown in FIG. 2, the control unit 16 includes a receiving
〔2−1.圏論を用いた抽出処理を実現する構成例〕
受付部17は、利用者の発言を入力情報として受付ける。例えば、受付部17は、マイクやキーボード等により実現される入力装置30から利用者の発言を取得する。かかる場合、受付部17は、受付けた利用者の発言をテキストデータに変換する。そして、受付部17は、変換後のテキストデータを分野特定部18に出力する。
[2-1. Configuration example for realizing extraction processing using category theory]
The
分野特定部18は、入力情報が属する分野を特定する。例えば、分野特定部18は、受付部17から受付けたテキストデータの形態素解析を行い、テキストデータに含まれる単語がどのような分野において使用されている単語であるかを特定する。そして、分野特定部18は、特定した分野とテキストデータとを構造抽出部19に通知する。
The
構造抽出部19は、入力されたテキストデータに含まれる動詞と名詞とを抽出し、動詞を矢印と見做した際の構造である矢印構造のパターンを抽出する。すなわち、構造抽出部19は、入力されたテキストデータが有する構造を抽出する。より具体的には、構造抽出部19は、矢印構造のパターンとして、圏論の構造を有するパターンを抽出する。 The structure extraction unit 19 extracts verbs and nouns included in the input text data, and extracts an arrow structure pattern which is a structure when the verb is regarded as an arrow. That is, the structure extraction unit 19 extracts the structure of the input text data. More specifically, the structure extracting unit 19 extracts a pattern having a category theory structure as an arrow structure pattern.
概念特定部20は、構造抽出部19によって抽出されたパターンを用いて、入力された文章を抽象化した概念を特定する。そして、概念特定部20は、特定した概念と同様の概念を有する文章に含まれる単語群を、分野特定部18によって特定された分野とは異なる分野から特定する。すなわち、概念特定部20は、入力された文章と同様の概念(アナロジー)を含む文章の単語群を特定する。
The
例えば、図3は、実施形態にかかる情報提供装置が単語の矢印構造のパターンを抽出する処理の一例を示す図である。例えば、図3に示す例では、分野「中華」に関連する文章に含まれる単語群と、分野「和食」に関連する文章に含まれる単語群との一例について記載した。 For example, FIG. 3 is a diagram illustrating an example of processing in which the information providing apparatus according to the embodiment extracts a pattern of word arrow structures. For example, in the example illustrated in FIG. 3, an example of a word group included in a sentence related to the field “Chinese Chinese” and a word group included in a sentence related to the field “Japanese food” is described.
例えば、「生肉を炒めることで肉炒めを作る」といった文章から、名詞「生肉」、動詞「炒める」、名詞「肉炒め」が抽出されたものとする。このような場合、動詞「炒める」は、名詞「生肉」を名詞「肉炒め」へと変換する矢印構造を示すものと考えられる。また、「ごはんを炒めることでチャーハンを作る」といった文章から、名詞「ごはん」、動詞「炒める」、名詞「チャーハン」が抽出されたものとする。このような場合、動詞「炒める」は、名詞「ごはん」を名詞「チャーハン」へと変換する矢印構造を示すものと考えられる。このため、図3中(A)に示すように、文章中に含まれる動詞は、名詞間の関係性(例えば、素材と料理等)を示す矢印として示すことができると考えられる。このような矢印は、圏論の構造における関手と見做すことができる。 For example, it is assumed that the noun “raw meat”, the verb “stir fry”, and the noun “stir-fried meat” are extracted from a sentence such as “making fried meat by frying raw meat”. In such a case, the verb “fried” is considered to indicate an arrow structure that converts the noun “raw meat” into the noun “fried meat”. Further, it is assumed that the noun “rice”, the verb “stir fry”, and the noun “fried rice” are extracted from a sentence such as “fry rice to make fried rice”. In such a case, the verb “fried” is considered to indicate an arrow structure that converts the noun “gohan” to the noun “fried rice”. For this reason, as shown in FIG. 3A, it is considered that the verbs included in the sentence can be shown as arrows indicating the relationship between the nouns (for example, material and cooking). Such an arrow can be regarded as a functor in the category theory structure.
また、例えば、分野「中華」と分野「和食」との関係性について考慮する。このような場合、「ゆでる」という動詞が、「炒める」という動詞と同様に、名詞間の関係性を示す矢印として示すことができると考えられる。このため、「炒める」という動詞を「ゆでる」という動詞に変換する関手は、分野「中華」を分野「和食」に変換する関手を示唆すると考えられる。 Also, for example, consider the relationship between the field “Chinese Chinese” and the field “Japanese food”. In such a case, it is considered that the verb “boiled” can be shown as an arrow indicating the relationship between nouns, similarly to the verb “fried”. For this reason, it is considered that the functor that converts the verb “fried” into the verb “boiled” suggests a functor that converts the field “Chinese” into the field “Japanese food”.
そこで、概念特定部20は、構造抽出部19によって抽出されたパターンから、圏論の構造を特定し、特定した圏論の構造に基づいて、出力候補となる単語を抽出する。例えば、概念特定部20は、分野特定部18によって特定された分野とは異なる分野に属する複数の単語のうち、構造抽出部19によって特定された圏論の構造と同じ構造を有する複数の単語を抽出する。
Therefore, the
ここで、図4を用いて、分散表現空間上において圏論の構造が示すアナロジーの一例について説明する。図4は、分散表現空間上で圏論の構造が有するアナロジーの一例を示す図である。例えば、図4中(A)に示すように、ウェブ関連の分野に属する単語を含む圏を考える。このような圏においては、単語間の結合および分解を示すカルテシアン積の関係を示す構造により、ウェブ関連の分野における発想やアイデアのアナロジーを表現することができる。例えば、図4中(A)に示す例では、「検索連動広告」という単語を「Y」、「検索」という単語を「X1」、広告という単語を「X2」とした際に、「Y」を「X1」へと変換する関手「f1」は、「検索連動広告」から「検索」という単語を抽出する処理に対応し、「Y」を「X2」へと変換する関手「f2」は、「検索連動広告」から「広告」という単語を抽出する処理に対応する。また、「Y」を「X1×X2」へと変換する関手「f」は、「検索連動広告」を「検索×広告」というように単語が有する意味の要素を分解する処理に対応する。また、「X1×X2」を「X1」へと変換する関手「π1」や、「X1×X2」を「X2」へと変換する関手「π2」は、「検索×広告」という意味の要素を、「検索」や「広告」といった各要素を示す単語へと変換する処理に対応する。 Here, an example of the analogy indicated by the category theory structure in the distributed representation space will be described with reference to FIG. FIG. 4 is a diagram illustrating an example of an analogy of the category theory structure in the distributed representation space. For example, as shown in FIG. 4A, consider a category including words belonging to a web-related field. In such a category, an analogy of ideas and ideas in the web-related field can be expressed by a structure showing a relationship of Cartesian products indicating connection and decomposition between words. For example, in the example shown in FIG. 4A, when the word “search-linked advertisement” is “Y”, the word “search” is “X 1 ”, and the word “advertisement” is “X 2 ”, The functor “f 1 ” that converts “Y” to “X 1 ” corresponds to the process of extracting the word “search” from “search-linked advertisement” and converts “Y” to “X 2 ”. The functor “f 2 ” corresponds to a process of extracting the word “advertisement” from “search-linked advertisement”. Also, the functor “f” that converts “Y” to “X 1 × X 2 ” corresponds to the process of disassembling the meaning element of the word, such as “search-linked advertisement” to “search x advertisement”. To do. Also, "X 1 × X 2" a and functor "[pi 1" be converted to "X 1", functor "[pi 2" as "X 1 × X 2" is converted to "X 2" is This corresponds to a process of converting an element meaning “search × advertisement” into a word indicating each element such as “search” and “advertisement”.
一方、リアル店舗に関連する技術の単語を含む圏において、図4中(A)に示したカルテシアン積の構造と同様の構造を考えた場合、図4中(B)に示すような単語間の構造を得ることができる。例えば、図4中(B)に示す例では、「カード決済連動広告」という単語を「Y」、「カード決済」という単語を「X1」、広告という単語を「X2」とした際に、「Y」を「X1」へと変換する関手「f1」は、「カード決済連動広告」から「カード決済」という単語を抽出する処理に対応し、「Y」を「X2」へと変換する関手「f2」は、「カード決済連動広告」から「広告」という単語を抽出する処理に対応する。また、「Y」を「X1×X2」へと変換する関手「f」は、「カード決済連動広告」を「カード決済×広告」というように単語が有する意味の要素を分解する処理に対応する。また、「X1×X2」を「X1」へと変換する関手「π1」や、「X1×X2」を「X2」へと変換する関手「π2」は、「カード決済×広告」という意味の要素を、「カード決済」や「広告」といった各要素を示す単語へと変換する処理に対応する。 On the other hand, when a structure similar to the Cartesian product structure shown in (A) of FIG. 4 is considered in a category including technical words related to a real store, the word spacing shown in (B) of FIG. Can be obtained. For example, in the example shown in FIG. 4B, when the word “card payment linked advertisement” is “Y”, the word “card payment” is “X 1 ”, and the word “advertisement” is “X 2 ”. , “Y 1 ” to “X 1 ”, the functor “f 1 ” corresponds to the process of extracting the word “card payment” from “card payment linked advertisement”, and “Y” is changed to “X 2 ”. The functor “f 2 ” that converts to “corresponds to” corresponds to a process of extracting the word “advertisement” from “card payment linked advertisement”. The function “f” for converting “Y” to “X 1 × X 2 ” is a process of decomposing elements of meanings of words such as “card payment linked advertisement” to “card payment x advertisement”. Corresponding to Also, "X 1 × X 2" a and functor "[pi 1" be converted to "X 1", functor "[pi 2" as "X 1 × X 2" is converted to "X 2" is This corresponds to a process of converting an element meaning “card payment × advertisement” into a word indicating each element such as “card payment” or “advertisement”.
このように、カルテシアン積の構造は、各単語の意味そのものを示すのではなく、各単語間の意味の関係性、すなわち、アナロジーを示していると考えられる。このため、情報提供装置10は、圏論における構造を考慮することで、各単語の中身に関係なく、抽象化した発想を抽出することができると考えられる。そこで、概念特定部20は、圏論における構造が同じ単語群を、特定された分野とは異なる分野から抽出することで、同様のアナロジーを有する他分野に属する単語群を抽出する。より具体的には、概念特定部20は、入力情報に含まれる単語群が有する構造と同じ構造を有する単語群を、文献データベース13に登録された文献のうち、分野特定部18が特定した分野とは異なる分野の文献に含まれる文章から特定する。
Thus, the Cartesian product structure is considered not to indicate the meaning of each word but to indicate the relationship of meaning between words, that is, an analogy. For this reason, it is considered that the
なお、圏論における構造は、上述したカルテシアン積に限定されるものではない。以下、図5を用いて、構造抽出部19および概念特定部20が考慮する圏論の構造の一例について説明する。例えば、図5は、実施形態に係る情報提供装置が特定する圏論構造の一例を示す図である。例えば、概念特定部20は、圏論の構造として、図5中(A)に示すように、単語間の結合および分解を示すカルテシアン積の関係を示す構造を有するパターンを抽出する。
The structure in category theory is not limited to the Cartesian product described above. Hereinafter, an example of the category structure considered by the structure extracting unit 19 and the
また、概念特定部20は、名詞間の関係性を示す矢印を圏論の関手として、圏論の構造を有するパターンを抽出する。ここで、関手は、同じ圏に属する単語間のみならず、他の圏に属する単語であって、同様の構造を有する単語間を示すことができる。そこで、概念特定部20は、図5中(B)に示すように、ある分野における単語間の関係性の構造と一致する単語間の関係性であって、他の分野における単語間の関係性を抽出してもよい。例えば、概念特定部20は、画像処理に属する単語間の関係性に基づいて、音声認識に属する単語間の関係性を抽出してもよい。
Further, the
また、概念特定部20は、図5中(C)に示すように、アナロジー型の自然変換を示す構造を抽出してもよい。例えば、概念特定部20は、画像処理に関する単語を「X」、言語処理に関する単語を「Y」、バーチャルに関する単語を含む圏を現実世界に関する単語を含む圏に変換する関手「F」、ウェブに関する単語を含む圏をスマートデバイスに関する単語を含む圏に変換する関手「G」を考える。すると、概念特定部20は、図5中(C)に示すように、「F(X)」が「F(f)」により「F(Y)」に変換される構造を、「F(X)」を「G(X)」に変換する関手「ηX」と「F(Y)」を「G(Y)」に変換する関手「ηY」とにより、「G(X)」が「G(f)」により「G(Y)」に変換される構造へと結びつけることができる。すなわち、概念特定部20は、1つの圏から異なる関手によって導かれた2つの圏を結びつけるアナロジー型の構造に基づいて、同じアナロジーを持つ2つの異業種を抽出することができる。
Further, the
また、概念特定部20は、図5中(D)に示すように、関手間の関係性を示す随伴関手の構造を有するパターンを抽出してもよい。例えば、コンテンツを「X」、広告を「A」とした際に、XをAへと変換する関手「F」、AをXへと変換する関手「G」を考える。このような場合、関手「G」は、関手「ηG」により関手「GFG」へと変換され、関手「GFG」は、関手「Gε」により関手「G」へと変換される。また、関手「F」は、関手「Fη」により関手「FGF」へと変換され、関手「FGF」は、関手「εF」により関手「F」へと変換される。このような随伴関手の構造は、関手によって導かれた圏からその圏上への射や、ある圏から関手によって導かれたその圏上への射を示す。このため、このような随伴関手の構造を単語群から特定した場合には、ある分野における技術的な概念に対し、その分野と随伴関係にある他の分野における技術的な概念を組み込む関係を示すことができる。そこで、概念特定部20は、随伴関手の構造を有するパターンを抽出することで、入力情報が示す概念に対し、入力情報が属する分野と随伴関係にある他の分野の概念を組み込んだ概念を示す単語群を抽出してもよい。
In addition, the
また、概念特定部20は、図5中(E)に示すように、第1の圏に属する単語に第2の圏に属する単語が有する関連性を埋め込むクライスリトリプルの構造を有するパターンを抽出してもよい。例えば、ある圏に属する単語「a」を単語「mb」へと変換する関手を関手「f」とし、単語「ma」を単語「mb」へと変換する関手を関手「f*」とする。このような場合、関手「f」の定義域である単語「a」を「ma」へと持ち上げる(すなわち、関手「f」と関手「f*」との合成)構成については、ある概念の中に他の概念を埋め込む操作を示すと考えられる。そこで、概念特定部20は、クライスリトリプルの構造に基づいて、入力情報が示す概念に他の概念を組み込んだ概念を示す単語群を抽出することができる。
Further, as shown in FIG. 5E, the
なお、概念特定部20は、上述した各処理をHaskellと呼ばれるプログラミング言語を用いて実現する。例えば、図6は、実施形態にかかる情報提供装置がHaskellを用いてアナロジーを抽出する処理の一例を示す図である。例えば、図6中(A)に示すように、圏論においては、ある分野Aに属する発明Aの概念が有する構造と、ある分野Bに属する発明Bが有する概念とは、同様のアナロジー、すなわち、同様の構造を有すると考えられる。すなわち、圏論においては、あるアナロジーを中心として分野Aの圏から分野Bの圏への変換が対象であると考えられる。換言すると、圏論においては、分野Bの圏における構造が分野Aの圏における構造と同じであるならば、同一のアナロジーを有している(単語の中身によらない抽象的な概念を示している)と予測される。
The
このような構造を抽出するため、概念特定部20は、図6中(B)に示すように、Haskellと呼ばれるプログラミング言語を用いたデータベースを使用して、アナロジーを示す構造を特定する。例えば、概念特定部20は、文献データベース13を参照し、発明Aの言語記載から抽出される単語リスト[a1,a2,・・・]と、発明Bの言語記載から抽出される単語リスト[b1,b2,・・・]を生成する。そして、概念特定部20は、動的型作成と動的型抽出とを同時に行う。すなわち、概念特定部20は、動的に作り出した型のマッチパーサを同時に利用して正解データを自力で見つけだし、学習と測定とを同時に実施する。例えば、概念特定部20は、各単語リストから型(構造のパターン)を生成して関数fとし、型のリストからさらに型を生成して関数f(f)とする。そして、概念特定部20は、リストから型を抽出する関数を関数g(f)とする。
In order to extract such a structure, the
例えば、Haskellにおいて、図5中(A)に示すカルテシアン積の構造については、「prod=foldr(\as bs->[a:b|a<-as,b<-bs])[[]]」で示すことができる。また、Haskellにおいて、図5中(B)に示すアナロジー型の関手の構造については、「class Functor (f :: * -> *) where fmap :: (a -> b) -> (f a -> f b)」および「instance Functor Maybe where fmap f (Just x) = Just (f x) fmap _ Nothing = Nothing」で示すことができる。また、Haskellにおいて、図5中(C)に示すアナロジー型の自然変換の構造については、「nat :: (Functor f, Functor g) => f a -> g a」といった文章を、各関手について設定することで示すことができる。また、Haskellにおいて、図5中(D)に示す双対アナロジー型の随伴関手の構造については、「class Adjunction f g where」、「leftAd :: (f a -> b) -> (a -> g b)」、「rightAd :: (a -> g b) -> (f a -> b)」、「-- Adjoint laws」、「-- 1. leftAd . rightAd = id」、および「-- 2. rightAd . leftAd = id」で示すことができる。また、Haskellにおいて、図5中(E)に示すクライスリトリプルの構造については、「class Monad m where」、「(>>=) :: m a -> (a -> m b) -> m b」、「return :: a -> m a」、「(>>) :: m a -> m b -> m b」、「m >> n = m >>= \_ -> n」、「fail :: String -> m a」、および「fail = error」で示すことができる。そこで、概念特定部20は、上述したHaskellのスクリプトを用いて、入力された分野に属する単語群が有する構造、すなわちアナロジーを抽出し、抽出したアナロジーを有する他分野に属する単語群を抽出する。
For example, in Haskell, for the Cartesian product structure shown in FIG. 5A, “prod = foldr (\ as bs-> [a: b | a <-as, b <-bs]) [[] ] ”. Also, in Haskell, for the analogy type functor structure shown in FIG. 5B, “class Functor (f :: *-> *) where fmap :: (a-> b)-> (fa- > fb) ”and“ instance Functor Maybe where fmap f (Just x) = Just (fx) fmap_Nothing = Nothing ”. Also, in Haskell, for the analogy-type natural transformation structure shown in (C) of Fig. 5, the sentence "nat :: (Functor f, Functor g) => fa-> ga" is set for each participant. You can show that. Further, in Haskell, the structure of the dual analogy type adjoint function shown in FIG. 5D is “class Adjunction fg where”, “leftAd :: (fa-> b)-> (a-> gb) "," RightAd :: (a-> gb)-> (fa-> b) ","-Adjoint laws ","-1. leftAd. RightAd = id ", and"-2. rightAd. LeftAd = id ”. In Haskell, the structure of the chrysanthemum triple shown in FIG. 5E is “class Monad m where”, “(>> =) :: ma-> (a-> mb)-> mb”, "Return :: a-> ma", "(>>) :: ma-> mb-> mb", "m >> n = m >> = \ _-> n", "fail :: String-> “ma” and “fail = error”. Therefore, the
なお、情報提供装置10は、特定した構造と完全に一致する構造を有する単語群を特定する必要はない。すなわち、情報提供装置10は、特定した構造の完全マッチではなく、近似マッチを利用することで、より広い範囲の分野から類似した構造を抽出し、アイデア創発のための単語群を抽出してもよい。また、情報提供装置10は、他分野における類似構造の単語群の係り受け関係を用いて、ある分野の文の係り受けを修正した新たな文を生成することにより、その分野の新たな創作として抽出するなどの使い方をしてもよい。例えば、情報提供装置10は、「RNNを用いたセレンディピティ創発」という文章を「セレンディピティ創発を用いたRNN」に修正することで、新たな創作の抽出を行ってもよい。
Note that the
〔2−2.大偏差原理を用いた抽出処理を実現する構成例〕
図2に戻り、説明を続ける。類似度算出部21は、概念特定部20によって特定された単語群を基準単語とし、基準単語の分散表現と他の単語の分散表現との間のコサイン類似度を算出する。例えば、類似度算出部21は、分散表現空間データベース15に分散表現が含まれる各単語の分散表現を特定し、基準単語の分散表現とのコサイン類似度を算出する。
[2-2. Configuration example for realizing extraction processing using the large deviation principle]
Returning to FIG. 2, the description will be continued. The similarity calculating unit 21 uses the word group specified by the
分布推定部22は、基準単語以外の単語からサンプルとなる単語群を選択し、類似度算出部21が算出した基準単語との間のコサイン類似度の分布を確率分布として推定する。そして、出力候補抽出部23は、大偏差原理に基づいて、基準単語の分散表現と他の単語の分散表現のコサイン類似度の確率分布が他の単語の数を増やしたときに、分布形状が平均的な分布形状から外れていく挙動に基づいて、出力候補とする単語を抽出する。より具体的には、出力候補抽出部23は、基準単語の分散表現と他の単語の分散表現のコサイン類似度の確率分布が他の単語の数を増やしたときに、分布形状が平均的な分布形状から外れていく挙動を分析し、その挙動に基づいて、所定の分布形状を抽出し、抽出した分布形状に基づいて、対応する単語を出力候補として抽出する。例えば、出力候補抽出部23は、様々な単語群について、大偏差原理に基づき、確率分布が平均的な分布形状から外れていく挙動を分析する。そして、出力候補抽出部23は、平均的な分布形状から外れていく確率分布を推定した際に、所定の閾値以上の確率で含まれる単語を出力候補として選択する。
The
より具体的には、出力候補抽出部23は、基準単語以外の単語からサンプルとなる単語群を選択し、ヴァラダンの補題を用いて、基準単語の分散表現とサンプルとなる単語の分散表現とのコサイン類似度が属する確率の確率測度のレート関数を算出する。そして、出力候補抽出部23は、算出したレート関数を用いて、分布形状が平均的な分布形状から外れていく挙動を分析する。
More specifically, the output
例えば、図7は、実施形態にかかる情報提供装置が出力候補とする単語群と基準単語との関係性を説明する図である。なお、図7に示す例では、基準単語と他の単語とのコサイン類似度の分布の一例について記載した。例えば、利用者が同じアナロジーとして理解することができる概念の範囲と、利用者にセレンディピティを起こし得る概念の範囲とは、双対関係にあると考えられる。そこで、利用者の発言に含まれるアナロジーと同一または類似するアナロジーを有するとともに(すなわち、理解させやすい概念を有するとともに)、利用者にセレンディピティを生じさせうる概念を出力する場合には、図7中(A)に示すように、利用者が同じアナロジーとして理解できる範囲のうち、図7中(B)に示すようにセレンディピティを生じさせる範囲と重複する範囲に属する概念を提供すればよい。すなわち、情報提供装置10は、図7中(C)に示す範囲に属する概念を生じさせうる単語群を出力すればよい。
For example, FIG. 7 is a diagram illustrating a relationship between a word group that is an output candidate of the information providing apparatus according to the embodiment and a reference word. In the example illustrated in FIG. 7, an example of the distribution of cosine similarity between the reference word and other words is described. For example, the range of concepts that a user can understand as the same analogy and the range of concepts that can cause serendipity to the user are considered to be in a dual relationship. Therefore, in the case of outputting a concept having an analogy that is the same as or similar to the analogy included in the user's remarks (that is, having a concept that is easy to understand) and that can cause the user to generate serendipity, FIG. As shown in (A), it is only necessary to provide a concept belonging to a range that overlaps with a range causing serendipity as shown in (B) in FIG. 7 in a range that the user can understand as the same analogy. That is, the
ここで、基準となる単語群のアナロジーと同一または類似するアナロジーであるが、セレンディピティを起こす程異なるわけでもないアナロジーを有する単語群は、図7中(D)に示すように、基準となる単語群とのコサイン類似度が平均の範囲内に収まると考えられる。一方、基準となる単語群のアナロジーと同一または類似するアナロジーであって、セレンディピティを起こしえるアナロジーを有する単語群は、図7中(E)に示すように、基準となる単語群とのコサイン類似度が平均の範囲外にずれると考えられる。 Here, a word group having an analogy that is the same as or similar to the analogy of the reference word group, but not so different as to cause serendipity, is a reference word as shown in FIG. The cosine similarity with the group is considered to be within the average range. On the other hand, a word group having an analogy that is the same as or similar to the analogy of the reference word group and can cause serendipity is similar to the cosine similarity with the reference word group as shown in FIG. The degree is considered to be out of the average range.
そこで、出力候補抽出部23は、大偏差原理を用いて、基準となる単語群からのコサイン類似度が平均から外れている単語群を出力対象として抽出する。より具体的には、出力候補抽出部23は、大偏差原理を用いて、基準単語の分散表現と他の単語の分散表現のコサイン類似度の確率分布が、平均的な分布形状から外れていく挙動を分析し、分析結果に基づいて、出力候補とする単語を抽出する。
Therefore, the output
例えば、図8は、実施形態にかかる情報提供装置が大偏差原理を用いて特定する分布形状の一例を示す図である。例えば、出力候補抽出部23は、図1中(A)に示すように、基準単語と他の単語との間のコサイン類似度の分布を確率分布として推定する。そして、出力候補抽出部23は、大偏差原理を用いて、図8中(B)に示すように、各分布が生じる確率を特定する。例えば、図8中(C)に示す確率は、図8中(D)に示す分布が生じる確率であり、図8中(E)に示す確率は、図8中(F)に示す分布が生じる確率であり、図8中(G)に示す確率は、図8中(H)に示す分布が生じる確率である。
For example, FIG. 8 is a diagram illustrating an example of a distribution shape specified by the information providing apparatus according to the embodiment using the large deviation principle. For example, the output
ここで、セレンディピティを起こしえるアナロジーを有する単語群は、コサイン類似度が平均からずれていると予測されるが、このような単語群とのコサイン類似度を確率分布とした場合、図8中(A)や(F)に示すような分布形状よりも、図8中(H)に示すような形状を有すると予測される。すなわち、アナロジーを有する単語群がサンプルに含まれる際に推定される確率分布の形状が生じる確率は、平均以下となり、図8中(B)に示す各分布が生じる確率において、平均から外れた領域に属すると予測される。 Here, a word group having an analogy that can cause serendipity is predicted to have a cosine similarity that deviates from the average. When the cosine similarity with such a word group is assumed to be a probability distribution, FIG. It is predicted to have a shape as shown in (H) in FIG. 8 rather than a distribution shape as shown in A) and (F). That is, the probability that the shape of the probability distribution estimated when a word group having analogy is included in the sample is less than the average, and in the probability that each distribution shown in FIG. Is expected to belong to.
そこで、出力候補抽出部23は、大偏差原理を用いて、基準単語の分散表現と他の単語の分散表現のコサイン類似度の確率分布が、サンプルサイズを増やしたときに近づく平均分布形状から外れていく挙動を分析し、その挙動に基づいて、所定の分布形状を抽出する。例えば、出力候補抽出部23は、生じる確率が低い分布形状を抽出する。ここで、抽出される分布形状を確率分布と見做した場合は、セレンディピティが生じやすい単語との確率が最も高くなっていると予測される。そこで、出力候補抽出部23は、抽出された分布形状を確率分布と見做した際に、ある閾値以上の確率で現れる単語を出力候補として抽出する。
Therefore, the output
なお、情報提供装置10は、情報提供装置10の出力に対する評価等に応じて、大偏差原理を用いた処理におけるパラメータを調整してもよい。例えば、情報提供装置10は、抽出処理および学習処理の結果出力された文章から利用者が適切なアイデアを出せたか否かのフィードバックを用いて、大偏差原理に用いられる各種のパラメータを調整してもよい。
Note that the
〔2−3.学習処理の結果を用いた出力を実現する構成例〕
図2に戻り、説明を続ける。出力生成部24は、後述する収集部26およびRNN学習部27によって学習された学習器(エンコーダ)と復元器(デコーダ)とを用いて、出力候補抽出部23が抽出した単語群から、単語群に含まれる各単語の係り受けを取得する。そして、出力生成部24は、各単語の係り受けを考慮した文章を出力対象として生成する。より具体的には、出力生成部24は、モデルデータベース14から学習器および復元器を読出し、学習器に単語群を入力する。そして、出力生成部24は、復元器を用いて、学習器が取得した特徴から各単語と各単語の係り受けとを復元し、復元した単語と係り受けとから出力対象となる文章を生成する。
[2-3. Configuration example for realizing output using learning process results]
Returning to FIG. 2, the description will be continued. The
出力部25は、出力生成部24が生成した文章を出力する。例えば、出力部25は、出力生成部24によって生成された文章を音声に変換し、出力装置31等から出力することで、利用者の発言に対する応答を実現する。
The
〔2−4.学習処理を実現する構成例〕
収集部26は、学習データの収集を行い、学習データに含まれる単語群を抽出する。例えば、収集部26は、明細書や小説等の文章のデータを学習データとして収集し、文献データベース13に登録する。そして、収集部26は、文献データベース13に登録された文章から、単語群を抽出し、抽出した単語群をRNN学習部27に出力する。
[2-4. Configuration example for realizing learning processing]
The collection unit 26 collects learning data and extracts a word group included in the learning data. For example, the collection unit 26 collects text data such as a description or a novel as learning data and registers it in the literature database 13. Then, the collection unit 26 extracts a word group from the sentences registered in the document database 13 and outputs the extracted word group to the
RNN学習部27は、学習器と復元器との学習を行う。すなわち、RNN学習部27は、収集部26によって抽出された単語群に含まれる各単語が文章中に出現する順番とともに単語群が有する特徴を学習する学習器を学習する。同時に、RNN学習部27は、単語群に含まれる各単語と、各単語が文章中に出現する順番とを文章中における各単語の係り受けとともに、学習器が学習した特徴から復元する復元器を学習する。
The
例えば、図9は、実施形態にかかる情報提供装置が学習する学習器と復元器との一例を示す図である。図9に示すように、RNN学習部27は、学習器および復元器として、リカレントニューラルネットワークの学習を行う。例えば、RNN学習部27は、図9中(A)に示す学習器に対し、図9中(B)に示すように、単語群に含まれる単語X1〜XTを、単語群の抽出元となる文章中に出現する順番で、学習器となるRNNのノードに入力し、各単語が文章中に出現する順番と単語群が有する特徴とを学習結果「c」として出力するように、ノード間の接続係数を設定する。そして、RNN学習部27は、学習器の出力を、図9中(C)に示す出力ノードに伝達させる。
For example, FIG. 9 is a diagram illustrating an example of a learning device and a restoring device that the information providing apparatus according to the embodiment learns. As shown in FIG. 9, the
また、RNN学習部27は、図9中(D)に示す復元器に対し、出力ノードの出力を入力する。そして、RNN学習部27は、図9中(E)に示すように、学習結果「c」から単語群に含まれる各単語を、単語群の抽出元となる文章中に出現する順番で、Y1〜YTとして復元するとともに、単語群の抽出元となる文章中の係り受けを復元するように、図9中(F)に示すノード間の接続係数を設定する。すなわち、RNN学習部27は、単語群の抽出元となる文章を正解データとして、文章から抽出した単語群の特徴と、単語群の出現順序と、単語間の係り受けとの学習を行う。RNN学習部27は、このような学習器と復元器との学習を同時に実行する。この結果、RNN学習部27は、単語群から、単語群の係り受けを復元する学習器および復元器の組を生成することができる。
Further, the
なお、図9中(A)および(D)に示す学習器および復元器は、図9中(G)に示す学習器と等価である。図9中(G)に示す波付きの「h」は、ノードの出力に対応し、「h」は、ノードへの入力に対応し、パラメータ「z」および「r」は、ノード間の接続係数に対応する。 Note that the learning device and the restoring device shown in FIGS. 9A and 9D are equivalent to the learning device shown in FIG. In FIG. 9 (G), “h” with a wave corresponds to the output of the node, “h” corresponds to an input to the node, and parameters “z” and “r” are connections between the nodes. Corresponds to the coefficient.
このような学習器と復元器との学習を行うことで、情報提供装置10は、抽出処理によって抽出された単語群から自然な文章を生成することができる。例えば、図10は、実施形態にかかる情報提供装置による学習処理と学習処理の効果とを説明するための図である。例えば、情報提供装置10は、学習時において、学習器に対し、明細書等の文章から抜き出した名詞等の単語群を入力し、復元器が元の明細書の文章を復元するように学習を行う。この結果、学習器および復元器は、学習処理によって、明細書中における単語間の係り受けの学習を行うことができる。
By performing learning with such a learning device and a restoring device, the
続いて、情報提供装置10は、抽出処理によって抽出された単語群の出力時においては、抽出された単語群を学習済みの学習器に入力する。この結果、復元器は、単語群から係り受けを考慮した文章を生成し、出力することができる。
Subsequently, at the time of outputting the word group extracted by the extraction process, the
なお、情報提供装置10は、生成する文章のバリエーションを増やすために、出力用の構文木と、構文木の各節点(ノード)や葉(リーフ)に対応する修飾語とをあらかじめ保持し、学習器および復元器から生成した文章に対して、構文木にマッチする修飾語を追加することで、出力する文章のバリエーションを増やしてもよい。また、情報提供装置10は、任意の文章解析技術を用いて、入力した単語群から生成された生成文の尤度を算出し、算出した尤度が所定の閾値よりも低い場合に、単語を類似する他の単語へと置き換えることで、尤度がより高い文章に修正してもよい。
Note that the
〔3.情報提供装置が用いる数式の一例〕
次に、上述した抽出処理と学習処理とを実行する際に使用する数式の一例について説明する。以下の説明では、学習処理に用いられる数式の一例について説明し、その後、抽出処理に用いられる数式の一例について説明する。
[3. Example of mathematical formula used by information providing apparatus]
Next, an example of mathematical formulas used when executing the above-described extraction process and learning process will be described. In the following description, an example of a mathematical expression used for the learning process will be described, and then an example of a mathematical expression used for the extraction process will be described.
〔3−1.学習処理に用いられる数式の一例〕
例えば、時刻「t」における学習器の「j」番目のノードの状態を「hj <t>」と記載すると、学習器における各ノードの状態は、以下の式(1)で表すことができる。ここで、式(1)中の波付き「hj <t>」は、式(2)で表すことができ、「zj」および「rj」は、以下の式(3)および式(4)で表される。ここで、「xt」は、「t」番目の入力を示す。また、式(2)〜式(4)の「W」および「U」は、学習器の接続係数を示すパラメータである。
[3-1. Example of mathematical formula used for learning process]
For example, when the state of the “j” -th node of the learning device at time “t” is described as “h j <t> ”, the state of each node in the learning device can be expressed by the following equation (1). . Here, “h j <t> ” with a wave in formula (1) can be expressed by formula (2), and “z j ” and “r j ” can be expressed by the following formula (3) and formula ( 4). Here, “x t ” indicates the “t” th input. Further, “W” and “U” in the equations (2) to (4) are parameters indicating the connection coefficient of the learning device.
すると、学習器による学習結果は、式(5)で示すことができる。 Then, the learning result by the learning device can be expressed by Expression (5).
ここで、学習器の出力は、復元器の各ノードへと伝達される。このような復元器のノードへの入力は、式(6)で示すことができる。 Here, the output of the learning device is transmitted to each node of the restoring device. The input to such a restorer node can be expressed by equation (6).
すると、時刻「t」における復元器の「j」番目のノードの状態を「h´j <t>」とすると、「h´j <t>」は、以下の式(7)で示すことができる。ここで、式(7)中の波付き「h´j <t>」は、以下の式(8)で表すことができ、「z´j」および「r´j」は、以下の式(9)および式(10)で表される。また、式(8)〜式(10)の「W´」および「U´」は、復元器の接続係数を示すパラメータである。 Then, if the state of the “j” -th node of the decompressor at time “t” is “h ′ j <t> ”, “h ′ j <t> ” can be expressed by the following equation (7). it can. Here, “h ′ j <t> ” with a wave in formula (7) can be expressed by the following formula (8), and “z ′ j ” and “r ′ j ” 9) and the formula (10). In addition, “W ′” and “U ′” in Expression (8) to Expression (10) are parameters indicating the connection coefficient of the restorer.
例えば、情報提供装置10は、学習器が単語群の特徴および順番を学習し、復元器が学習器の出力から係り受けとともに各単語を順番通りに出力することができるよう、式(1)〜式(10)における「W」、「U」、「W´」および「U´」の値を学習する。
For example, in the
〔3−2.抽出処理に用いられる数式の一例〕
次に、抽出処理において、大偏差原理に基づいて、セレンディピティを生じさせうる単語を抽出する処理に用いる数式の一例について説明する。例えば、分散表現空間を学習する際に用いた文章中の全単語数を「T」、周辺の単語の数を「c」、コーパス全体の単語数をWとおくと、W2V(Word 2 Vector)における確率モデルは、以下の式(11)で示される。
[3-2. Example of mathematical formula used for extraction processing]
Next, in the extraction process, an example of a mathematical expression used for the process of extracting a word that can cause serendipity based on the large deviation principle will be described. For example, if the total number of words in a sentence used when learning a distributed expression space is “T”, the number of surrounding words is “c”, and the total number of words in the corpus is W, W2V (
また、確率測度のレート関数は、以下の式(12)で示される。 The rate function of the probability measure is expressed by the following equation (12).
ここで、式(12)に示す確率速度のレート関数を、ヴァラダンの補題より求める。例えば、各単語の識別子を「x」、式(12)に示す確率測度「pk」を「φ(x)」、レート関数を「I(x)」と置くと、レート関数「I(x)」は、以下の式(13)を満たすこととなる。 Here, the rate function of the probability velocity shown in Equation (12) is obtained from Varadan's lemma. For example, if the identifier of each word is “x”, the probability measure “p k ” shown in Equation (12) is “φ (x)”, and the rate function is “I (x)”, then the rate function “I (x) ) "Satisfies the following expression (13).
例えば、情報提供装置10は、式(13)を用いて、レート関数を算出し、算出したレート関数に基づいて、確率分布の挙動を推定する。そして、情報提供装置10は、推定した挙動に基づいて、セレンディピティを生じさせうる単語の確率測度が所定の閾値よりも大きくなるような分布形状を特定し、特定した分布形状に基づいて、セレンディピティを生じさせうる単語を抽出する。
For example, the
〔4.情報提供装置10が実行する処理の流れ〕
次に、図11〜図13を用いて、情報提供装置10が実行する処理の流れについて説明する。まず、図11を用いて、情報提供装置10が実行する学習処理の流れの一例について説明する。図11は、実施形態にかかる情報提供装置が実行する学習処理の流れを説明するフローチャートである。
[4. Flow of processing executed by information providing apparatus 10]
Next, the flow of processing executed by the
まず、情報提供装置10は、明細書等の文章を収集する(ステップS101)。そして、情報提供装置10は、収集した文章から単語群を抽出する(ステップS102)。また、情報提供装置10は、抽出した単語群を、出現順に学習器に入力し、特徴を抽出させるとともに(ステップS103)、復元器を用いて、抽出した特徴から、係り受けとともに単語群を復元する(ステップS104)。そして、情報提供装置10は、正解データ、すなわち、単語群の抽出元となる文章と復元器の出力との差が所定の閾値以内であるか否かを判定し(ステップS105)、閾値以内である場合は(ステップS105:Yes)、処理を終了する。一方、情報提供装置10は、正解データと復元器の出力との差が所定の閾値を超える場合は(ステップS105:No)、正解データに近づくように、学習器と復元器との学習を行い(ステップS106)、ステップS102を実行する。
First, the
次に、図12を用いて、圏論の構造から出力候補となる単語群を抽出する処理の流れの一例について説明する。図12は、実施形態にかかる情報提供装置が圏論の構造から出力候補となる単語群を抽出する処理の流れを説明するフローチャートである。例えば、情報提供装置10は、利用者の発言等、入力された情報が属する分野を特定する(ステップS201)、続いて、情報提供装置10は、特定した分野に属する単語の動詞を矢印に置き換えることで名詞間の関係を示す矢印構造のパターンを抽出する(ステップS202)。すなわち、情報提供装置10は、特定した分野における圏論の構造を抽出する。また、情報提供装置10は、矢印構造のパターンに基づいて、入力された文章を抽象化した概念を特定する(ステップS203)。そして、情報提供装置10は、特定した概念を示す構造に基づいて、出力候補となる単語群を抽出し(ステップS204)、処理を終了する。
Next, an example of the flow of processing for extracting a word group as an output candidate from the category theory structure will be described with reference to FIG. FIG. 12 is a flowchart for explaining a flow of processing in which the information providing apparatus according to the embodiment extracts a word group as an output candidate from the category theory structure. For example, the
次に、図13を用いて、大偏差原理に基づいて、セレンディピティを生じさせうる単語群を抽出する処理の流れの一例について説明する。図13は、実施形態にかかる情報提供装置が大偏差原理に基づいて単語群を抽出する処理の流れを説明するフローチャートである。 Next, an example of the flow of processing for extracting a word group that can cause serendipity based on the large deviation principle will be described with reference to FIG. FIG. 13 is a flowchart illustrating the flow of processing in which the information providing apparatus according to the embodiment extracts a word group based on the large deviation principle.
例えば、情報提供装置10は、単語群に含まれる各単語と他の単語とのコサイン類似度を算出する(ステップS301)。続いて、情報提供装置10は、コサイン類似度の分布を確率分布として推定する(ステップS302)。そして、情報提供装置10は、大偏差原理に基づいて、サンプルサイズを増やした際における確率分布が平均的な分布形状から外れていく挙動を分析する(ステップS303)。また、情報提供装置10は、分析結果に基づいて、所定の分布形状となる確率分布を特定し(ステップS304)、特定した確率分布に基づいて、出力対象となる単語群を抽出する(ステップS305)。そして、情報提供装置10は、学習器と復元器とを用いて、単語群から係り受けを復元し、復元した係り受けを含む文章を出力し(ステップS306)、処理を終了する。
For example, the
〔5.変形例〕
上記では、図1に例示した態様を用いながら、情報提供装置10が実行する処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、情報提供装置10が実行する抽出処理のバリエーションについて説明する。
[5. (Modification)
In the above, an example of processing executed by the
〔5−1.処理の実行形態について〕
上述した例では、情報提供装置10は、セレンディピティを起こさせる可能性を高めるため、入力された文章に含まれる単語群が有する圏論の構造に基づいて、同様の構造を有する他分野に属する単語群を抽出する第1の抽出処理とともに、大偏差原理に基づいて、抽出した単語群から、さらにセレンディピティを起こさせる可能性が高い単語群を抽出する第2の抽出処理を行った。また、情報提供装置10は、学習器および復元器の学習処理を実行し、学習器および復元器を用いて、第1の抽出処理および第2の抽出処理により抽出された単語群から係り受けを含む文章を生成した。しかしながら、実施形態は、これに限定されるものではない。
[5-1. Processing execution mode)
In the above-described example, the
すなわち、情報提供装置10は、第1の抽出処理または第2の抽出処理のいずれか一方のみを実行してもよい。また、情報提供装置10は、学習処理を行わずに、各抽出処理の結果抽出された単語群を、そのまま出力してもよい。すなわち、情報提供装置10は、各抽出処理および学習処理を、それぞれ個別に実現してもよい。
That is, the
〔5−2.その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
[5-2. Others]
In addition, among the processes described in the above embodiment, all or part of the processes described as being automatically performed can be performed manually, or the processes described as being performed manually can be performed. All or a part can be automatically performed by a known method. In addition, the processing procedures, specific names, and information including various data and parameters shown in the document and drawings can be arbitrarily changed unless otherwise specified. For example, the various types of information illustrated in each drawing is not limited to the illustrated information.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Further, each component of each illustrated apparatus is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured.
また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 In addition, the above-described embodiments can be appropriately combined within a range in which processing contents do not contradict each other.
〔5−3.ハードウェア構成について〕
また、上述してきた実施形態に係る情報提供装置10は、例えば図14に示すような構成のコンピュータ1000によって実現される。図14は、ハードウェア構成の一例を示す図である。コンピュータ1000は、出力装置1010、入力装置1020と接続され、演算装置1030、一次記憶装置1040、二次記憶装置1050、出力IF(Interface)1060、入力IF1070、ネットワークIF1080がバス1090により接続された形態を有する。
[5-3. (Hardware configuration)
Further, the
演算装置1030は、一次記憶装置1040や二次記憶装置1050に格納されたプログラムや入力装置1020から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置1040は、RAM等、演算装置1030が各種の演算に用いるデータを一時的に記憶するメモリ装置である。また、二次記憶装置1050は、演算装置1030が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ROM(Read Only Memory)、HDD、フラッシュメモリ等により実現される。
The
出力IF1060は、モニタやプリンタといった各種の情報を出力する出力装置1010に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、USB(Universal Serial Bus)やDVI(Digital Visual Interface)、HDMI(登録商標)(High Definition Multimedia Interface)といった規格のコネクタにより実現される。また、入力IF1070は、マウス、キーボード、およびスキャナ等といった各種の入力装置1020から情報を受信するためのインタフェースであり、例えば、USB等により実現される。
The output IF 1060 is an interface for transmitting information to be output to an
なお、入力装置1020は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置1020は、USBメモリ等の外付け記憶媒体であってもよい。
The
ネットワークIF1080は、ネットワークNを介して他の機器からデータを受信して演算装置1030へ送り、また、ネットワークNを介して演算装置1030が生成したデータを他の機器へ送信する。
The network IF 1080 receives data from other devices via the network N and sends the data to the
演算装置1030は、出力IF1060や入力IF1070を介して、出力装置1010や入力装置1020の制御を行う。例えば、演算装置1030は、入力装置1020や二次記憶装置1050からプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行する。
The
例えば、コンピュータ1000が情報提供装置10として機能する場合、コンピュータ1000の演算装置1030は、一次記憶装置1040上にロードされたプログラムを実行することにより、制御部16の機能を実現する。
For example, when the computer 1000 functions as the
〔6.効果〕
上述したように、情報提供装置10は、入力された文章から動詞および名詞を抽出し、抽出された動詞を名詞間の関係性を示す矢印に置き換えることで名詞間の関係を矢印構造のパターンとして抽出する。そして、情報提供装置10は、抽出された矢印構造のパターンに基づいて、入力された文章を抽象化した概念を特定する。この結果、情報提供装置10は、例えば、入力された文章と同様の概念を有する他の文章を取得し、取得した文章を出力することができるので、利用者の創作を援助する情報を出力することができる。
[6. effect〕
As described above, the
また、情報提供装置10は、矢印構造のパターンとして、圏論の構造を有するパターンを抽出する。例えば、情報提供装置10は、圏論の構造として、単語間の結合および分解を示すカルテシアン積の関係を示す構造を有するパターンを抽出する。また、情報提供装置10は、名詞間の関係性を示す矢印を圏論の関手として、圏論の構造を有するパターンを抽出する。
Further, the
また、情報提供装置10は、圏論の構造として、第1分野に属する単語と第2分野に属する単語とを関連付ける第1関手と、第1分野に属する単語と第3分野に属する単語とを関連付ける第2関手と、第2分野に属する単語と第4分野に属する単語とを関連付ける第3関手と、第3分野に属する単語と第4分野に属する単語とを関連付ける第4関手との関係性を示すアナロジー型の構造を有するパターンを抽出する。また、情報提供装置10は、圏論の構造として、関手間の関係性を示す随伴関手の構造を有するパターンを抽出する。また、情報提供装置10は、圏論の構造として、第1の圏に属する単語に第2の圏に属する単語が有する関連性を埋め込むクライスリトリプルの構造を有するパターンを抽出する。
Further, the
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 As described above, some of the embodiments of the present application have been described in detail with reference to the drawings. However, these are merely examples, and various modifications, including the aspects described in the disclosure section of the invention, based on the knowledge of those skilled in the art, It is possible to implement the present invention in other forms with improvements.
また、上記してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。 Moreover, the above-mentioned “section (module, unit)” can be read as “means”, “circuit”, and the like. For example, the control unit can be read as control means or a control circuit.
10 情報提供装置
11 通信部
12 記憶部
13 文献データベース
14 モデルデータベース
15 分散表現空間データベース
16 制御部
17 受付部
18 分野特定部
19 構造抽出部
20 概念特定部
21 類似度算出部
22 分布推定部
23 出力候補抽出部
24 出力生成部
25 出力部
26 収集部
27 RNN学習部
30 入力装置
31 出力装置
DESCRIPTION OF
Claims (8)
前記抽出された動詞を前記名詞間の関係性を示す矢印に置き換えることで前記名詞間の関係を矢印構造のパターンとして抽出する抽出部と、
前記抽出された矢印構造のパターンに基づいて、前記入力された文章を抽象化した概念を特定する特定部と
を有することを特徴とする抽出装置。 A relationship extraction unit that extracts verbs and nouns from input sentences;
An extraction unit for extracting the relationship between the nouns as an arrow structure pattern by replacing the extracted verb with an arrow indicating the relationship between the nouns;
An extraction apparatus comprising: a specifying unit that specifies a concept obtained by abstracting the input sentence based on the extracted arrow structure pattern.
ことを特徴とする請求項1に記載の抽出装置。 The extraction device according to claim 1, wherein the extraction unit extracts a pattern having a category theory structure as the arrow structure pattern.
ことを特徴とする請求項2に記載の抽出装置。 The extraction device according to claim 2, wherein the extraction unit extracts a pattern having a structure indicating a Cartesian product relationship indicating connection and decomposition between words as the category theory structure.
ことを特徴とする請求項2または3に記載の抽出装置。 The extraction device according to claim 2 or 3, wherein the extraction unit extracts a pattern having the category theory structure by using an arrow indicating the relationship between the nouns as a category theory feature.
ことを特徴とする請求項2〜4のうちいずれか1つに記載の抽出装置。 The extraction unit includes, as the category theory structure, a first functor that associates a word belonging to the first field and a word belonging to the second field, and a word belonging to the first field and a word belonging to the third field. A second functor to associate, a third functor to associate a word belonging to the second field and a word belonging to the fourth field, and a fourth to associate a word belonging to the third field and a word belonging to the fourth field. The extraction device according to any one of claims 2 to 4, wherein a pattern having an analogy structure indicating a relationship with a functor is extracted.
ことを特徴とする請求項4または5に記載の抽出装置。 The extraction device according to claim 4 or 5 , wherein the extraction unit extracts a pattern having a structure of an accompanying hand indicating a relationship between the hands as the structure of the category theory.
ことを特徴とする請求項2〜6のうちいずれか1つに記載の抽出装置。 The extraction unit extracts, as the category theory structure, a pattern having a Chrysali triple structure in which a word belonging to the second category is embedded in a word belonging to the first category. Item 7. The extraction device according to any one of Items 2 to 6.
入力された文章から動詞および名詞を抽出する関係抽出工程と、
前記抽出された動詞を前記名詞間の関係性を示す矢印に置き換えることで前記名詞間の関係を矢印構造のパターンとして抽出する抽出工程と、
前記抽出された矢印構造のパターンを用いて、前記入力された文章を抽象化した概念を特定する特定工程と
を含むことを特徴とする抽出方法。 An extraction method executed by an extraction device,
A relationship extraction step of extracting verbs and nouns from the input text;
An extraction step of extracting the relationship between the nouns as an arrow structure pattern by replacing the extracted verb with an arrow indicating the relationship between the nouns;
And a specifying step of specifying a concept obtained by abstracting the input sentence using the extracted arrow structure pattern.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016055498A JP6461032B2 (en) | 2016-03-18 | 2016-03-18 | Extraction apparatus and extraction method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016055498A JP6461032B2 (en) | 2016-03-18 | 2016-03-18 | Extraction apparatus and extraction method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017173865A JP2017173865A (en) | 2017-09-28 |
JP6461032B2 true JP6461032B2 (en) | 2019-01-30 |
Family
ID=59971200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016055498A Active JP6461032B2 (en) | 2016-03-18 | 2016-03-18 | Extraction apparatus and extraction method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6461032B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3997105B2 (en) * | 2002-04-11 | 2007-10-24 | 株式会社ピートゥピーエー | Conversation control system, conversation control device |
JP4378106B2 (en) * | 2003-05-08 | 2009-12-02 | 株式会社リコー | Document search apparatus, document search method and program |
JP2005063030A (en) * | 2003-08-08 | 2005-03-10 | Ricoh Co Ltd | Method for expressing concept, method and device for creating expression of concept, program for implementing this method, and recording medium for recording this program |
JP2008071329A (en) * | 2006-09-15 | 2008-03-27 | Yasushi Suga | Method for diagramming and symbolizing sentence structure, and computer software for diagram input/output |
-
2016
- 2016-03-18 JP JP2016055498A patent/JP6461032B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017173865A (en) | 2017-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bandi et al. | The power of generative ai: A review of requirements, models, input–output formats, evaluation metrics, and challenges | |
Wang et al. | Enabling conversational interaction with mobile ui using large language models | |
JP6611053B2 (en) | Subject estimation system, subject estimation method and program | |
JP6649536B1 (en) | Dialogue processing device, learning device, dialogue processing method, learning method and program | |
JP2019079088A (en) | Learning device, program parameter and learning method | |
WO2017136674A1 (en) | Generating feature embeddings from a co-occurrence matrix | |
JP6400038B2 (en) | Extraction apparatus and extraction method | |
JP6391617B2 (en) | Learning device, sentence automatic generation device, and learning method | |
CN105989067A (en) | Method for generating text abstract from image, user equipment and training server | |
CN111368082A (en) | Emotion analysis method for domain adaptive word embedding based on hierarchical network | |
KR102697095B1 (en) | Method, apparatus and computer program for buildding knowledge graph using qa model | |
JP6770709B2 (en) | Model generator and program for machine learning. | |
CN109241993B (en) | Evaluation object emotion classification method and device integrating user and overall evaluation information | |
JP6082657B2 (en) | Pose assignment model selection device, pose assignment device, method and program thereof | |
JP6964481B2 (en) | Learning equipment, programs and learning methods | |
CN112307738A (en) | Method and device for processing text | |
JP6680655B2 (en) | Learning device and learning method | |
JP6461032B2 (en) | Extraction apparatus and extraction method | |
JP2019021218A (en) | Learning device, program parameter, learning method and model | |
JP6526607B2 (en) | Learning apparatus, learning method, and learning program | |
Kumar et al. | ManuBERT: A pretrained Manufacturing science language representation model | |
CN114419409A (en) | Multi-modal malicious fan map detection method based on face recognition and hierarchical fusion strategy | |
Pandit et al. | How good is your model ‘really’? on ‘wildness’ of the in-the-wild speech-based affect recognisers | |
Zhou et al. | Embedded collaborative filtering for" cold start" prediction | |
JP7099254B2 (en) | Learning methods, learning programs and learning devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170919 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180821 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6461032 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |