JP6011856B2 - 文書間関係推定モデル学習装置、文書間関係推定装置、方法、及びプログラム - Google Patents

文書間関係推定モデル学習装置、文書間関係推定装置、方法、及びプログラム Download PDF

Info

Publication number
JP6011856B2
JP6011856B2 JP2012247625A JP2012247625A JP6011856B2 JP 6011856 B2 JP6011856 B2 JP 6011856B2 JP 2012247625 A JP2012247625 A JP 2012247625A JP 2012247625 A JP2012247625 A JP 2012247625A JP 6011856 B2 JP6011856 B2 JP 6011856B2
Authority
JP
Japan
Prior art keywords
learning
documents
predicate
divided
relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012247625A
Other languages
English (en)
Other versions
JP2014096058A (ja
Inventor
東中　竜一郎
竜一郎 東中
松尾　義博
義博 松尾
一 森田
一 森田
学 奥村
学 奥村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Tokyo Institute of Technology NUC
Original Assignee
Nippon Telegraph and Telephone Corp
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, Tokyo Institute of Technology NUC filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2012247625A priority Critical patent/JP6011856B2/ja
Publication of JP2014096058A publication Critical patent/JP2014096058A/ja
Application granted granted Critical
Publication of JP6011856B2 publication Critical patent/JP6011856B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、文書間関係推定モデル学習装置、文書間関係推定装置、方法、及びプログラムに係り、特に、文書間の関係を推定するための文書間関係推定モデル学習装置、文書間関係推定装置、方法、及びプログラムに関する。
インターネットの普及に伴い、人間がアクセスできるデータの量は飛躍的に増えた。たとえば、インターネット上には今数十億を超える文書があるとされる。これらのデータをすべて読むのは不可能であり、効率的な閲覧手段が必要である。一つの解決策はデータを構造化し、閲覧しやすくすることである。構造化とは、たとえば、データ間に関連性を与え、構造を与えることを指す。もし文書間に関係が付与されていたとすると、ある文書についての反対意見を得たければ、その文書について「反対」の関係にある文書の一覧を取得し、それらのみ閲覧するといったことが可能になる。しかしながら、現在多くの文書間に関係性が付与されていない。そこで、文書間の関係を自動的に同定し、関係性を付与する手法が提案されている。
非特許文献１では、ＱＡサイトに投稿された発言間の関係性をマルコフロジックネットワーク（ＭＬＮ：Markov Logic Network）と呼ばれる教師あり学習の手法で関係づけを行っている。関係性としては、「類似」（発言同士が同様の内容を保持している）や「包含」（片方の発言がもう片方の内容を完全に含み、新たな内容も含んでいる）などである。
ＭＬＮについては、非特許文献２に詳述されている。ＭＬＮは、確率的に推論を行う仕組みとして、近年注目されているものである。
ＭＬＮでは重み付きの述語を扱うことができ、このため、かならず成り立つわけではないような関係も論理的な関係と同時に扱うことができる。現実的な、おおよそ成り立つ関係について、重みを学習によって決定し、推定に役立てることが可能な学習手法である。
Hikaru Yokono; Takaaki Hasegawa; Genichiro Kikui; Manabu Okumura Identification of relations between answers with global constraints for Community-based Question Answering services, Proc. IJCNLP, 2011年. 吉川克正、浅原正幸、松本裕治、「Markov Logic による日本語述語項構造解析」、情報処理学会研究報告（NL-199）、2010年.
しかしながら、ＭＬＮで扱う整数計画問題はＮＰ困難であり、扱う事例の数が増えるに従い、指数的に計算時間がかかる、という問題がある。
本発明は、上記の事情を鑑みてなされたもので、文書間の関係を推定するためのＭＬＮを用いた推定モデルを効率よく学習することができる文書間関係推定モデル学習装置、方法、及びプログラムを提供することを目的とする。また、ＭＬＮを用いた文書間の関係の推定を効率よく行うことができる文書間関係推定装置、方法、及びプログラムを提供することを目的とする。
上記の目的を達成するために本発明に係る文書間関係推定モデル学習装置は、複数の学習用文書からなる学習用文書群を、複数の分割文書群に分割する分割手段と、前記複数の分割文書群の各々に対して、前記分割文書群における学習用文書間の各々について文書間の特徴を示す観測述語を抽出すると共に、前記分割文書群における学習用文書の各々の特徴を示す観測述語を抽出する特徴抽出手段と、前記複数の分割文書群の各々に対して、前記分割文書群における学習用文書間の各々について予め与えられた文書間の関係と、前記特徴抽出手段によって前記分割文書群に対して抽出された前記観測述語とに基づいて、前記観測述語又は文書間の関係を示す潜在述語を用いて記述された各論理式を用いて構築されるマルコフロジックネットワーク（ＭＬＮ：Markov Logic Network）における各論理式の重みを用いて、前記マルコフロジックネットワークにより、推定対象の文書間の特徴を示す観測述語及び前記推定対象の文書の各々の特徴を示す観測述語に対して尤もらしい、前記推定対象の文書間の関係を示す潜在述語を推定するための推定モデルにおける各論理式の重みを学習する学習手段とを含み、前記学習手段は、他の分割文書群に対して学習された前記推定モデルにおける各論理式の重みを用いて、前記マルコフロジックネットワークにより、前記分割文書群の学習用文書間の各々の関係を示す潜在述語を推定し、前記推定された前記潜在述語が示す学習用文書間の各々の関係と、前記学習用文書間の各々について予め与えられた文書間の関係とが一致するように、前記推定モデルにおける各論理式の重みを学習することを、前記複数の分割文書群の各々に対して繰り返し、前記学習手段は、前記分割文書群に対して前記推定モデルにおける各論理式の重みを学習する際に、他の分割文書群に対する学習において推定された前記学習用文書間の各々の関係を示す潜在述語を、前記分割文書群に関する観測述語として追加し、前記特徴抽出手段によって前記分割文書群に対して抽出された前記観測述語と前記追加された前記観測述語に基づいて、前記追加された観測述語と文書間の関係を示す潜在述語とを用いて記述された論理式を含む前記推定モデルにおける各論理式の重みを学習する。
また、本発明に係る文書間関係推定モデル学習装置は、複数の学習用文書からなる学習用文書群を、複数の分割文書群に分割する分割手段と、前記複数の分割文書群の各々に対して、前記分割文書群における学習用文書間の各々について文書間の特徴を示す観測述語を抽出すると共に、前記分割文書群における学習用文書の各々の特徴を示す観測述語を抽出する特徴抽出手段と、前記複数の分割文書群の各々に対して、前記分割文書群における学習用文書間の各々について予め与えられた文書間の関係と、前記特徴抽出手段によって前記分割文書群に対して抽出された前記観測述語とに基づいて、前記観測述語又は文書間の関係を示す潜在述語を用いて記述された各論理式を用いて構築されるマルコフロジックネットワーク（ＭＬＮ：Markov Logic Network）における各論理式の重みを用いて、前記マルコフロジックネットワークにより、推定対象の文書間の特徴を示す観測述語及び前記推定対象の文書の各々の特徴を示す観測述語に対して尤もらしい、前記推定対象の文書間の関係を示す潜在述語を推定するための推定モデルにおける各論理式の重みを学習する学習手段とを含み、前記学習手段は、他の分割文書群に対して学習された前記推定モデルにおける各論理式の重みを用いて、前記マルコフロジックネットワークにより、前記分割文書群の学習用文書間の各々の関係を示す潜在述語を推定し、前記推定された前記潜在述語が示す学習用文書間の各々の関係と、前記学習用文書間の各々について予め与えられた文書間の関係とが一致するように、前記推定モデルにおける各論理式の重みを学習することを、前記複数の分割文書群の各々に対して繰り返し、前記分割手段は、前記学習用文書群を、他の分割文書群と重複するように前記複数の分割文書群に分割し、前記学習手段は、前記分割文書群に対して前記推定モデルにおける各論理式の重みを学習する際に、他の分割文書群に対する学習において推定された前記学習用文書間の各々の関係を示す潜在述語を、観測述語として追加し、前記他の分割文書群と重複する学習用文書に関する前記追加された観測述語と前記観測述語に対応する潜在述語とを用いて記述される論理式、及び複数の潜在述語間の関係を記述した論理式を含む、前記推定モデルにおける各論理式の重みを学習する。
本発明に係る文書間関係推定モデル学習方法は、分割手段によって、複数の学習用文書からなる学習用文書群を、複数の分割文書群に分割し、特徴抽出手段によって、前記複数の分割文書群の各々に対して、前記分割文書群における学習用文書間の各々について文書間の特徴を示す観測述語を抽出すると共に、前記分割文書群における学習用文書の各々の特徴を示す観測述語を抽出し、学習手段によって、前記複数の分割文書群の各々に対して、前記分割文書群における学習用文書間の各々について予め与えられた文書間の関係と、前記特徴抽出手段によって前記分割文書群に対して抽出された前記観測述語とに基づいて、前記観測述語又は文書間の関係を示す潜在述語を用いて記述された各論理式を用いて構築されるマルコフロジックネットワーク（ＭＬＮ：Markov Logic Network）における各論理式の重みを用いて、前記マルコフロジックネットワークにより、推定対象の文書間の特徴を示す観測述語及び前記推定対象の文書の各々の特徴を示す観測述語に対して尤もらしい、前記推定対象の文書間の関係を示す潜在述語を推定するための推定モデルにおける各論理式の重みを学習することを含み、前記学習手段によって学習することは、他の分割文書群に対して学習された前記推定モデルにおける各論理式の重みを用いて、前記マルコフロジックネットワークにより、前記分割文書群の学習用文書間の各々の関係を示す潜在述語を推定し、前記推定された前記潜在述語が示す学習用文書間の各々の関係と、前記学習用文書間の各々について予め与えられた文書間の関係とが一致するように、前記推定モデルにおける各論理式の重みを学習することを、前記複数の分割文書群の各々に対して繰り返し、前記学習手段によって学習することは、前記分割文書群に対して前記推定モデルにおける各論理式の重みを学習する際に、他の分割文書群に対する学習において推定された前記学習用文書間の各々の関係を示す潜在述語を、前記分割文書群に関する観測述語として追加し、前記特徴抽出手段によって前記分割文書群に対して抽出された前記観測述語と前記追加された前記観測述語に基づいて、前記追加された観測述語と文書間の関係を示す潜在述語とを用いて記述された論理式を含む前記推定モデルにおける各論理式の重みを学習する。
また、本発明に係る文書間関係推定モデル学習方法は、分割手段によって、複数の学習用文書からなる学習用文書群を、複数の分割文書群に分割し、特徴抽出手段によって、前記複数の分割文書群の各々に対して、前記分割文書群における学習用文書間の各々について文書間の特徴を示す観測述語を抽出すると共に、前記分割文書群における学習用文書の各々の特徴を示す観測述語を抽出し、学習手段によって、前記複数の分割文書群の各々に対して、前記分割文書群における学習用文書間の各々について予め与えられた文書間の関係と、前記特徴抽出手段によって前記分割文書群に対して抽出された前記観測述語とに基づいて、前記観測述語又は文書間の関係を示す潜在述語を用いて記述された各論理式を用いて構築されるマルコフロジックネットワーク（ＭＬＮ：Markov Logic Network）における各論理式の重みを用いて、前記マルコフロジックネットワークにより、推定対象の文書間の特徴を示す観測述語及び前記推定対象の文書の各々の特徴を示す観測述語に対して尤もらしい、前記推定対象の文書間の関係を示す潜在述語を推定するための推定モデルにおける各論理式の重みを学習することを含み、前記学習手段によって学習することは、他の分割文書群に対して学習された前記推定モデルにおける各論理式の重みを用いて、前記マルコフロジックネットワークにより、前記分割文書群の学習用文書間の各々の関係を示す潜在述語を推定し、前記推定された前記潜在述語が示す学習用文書間の各々の関係と、前記学習用文書間の各々について予め与えられた文書間の関係とが一致するように、前記推定モデルにおける各論理式の重みを学習することを、前記複数の分割文書群の各々に対して繰り返し、前記分割手段によって分割することは、前記学習用文書群を、他の分割文書群と重複するように前記複数の分割文書群に分割し、前記学習手段によって学習することは、前記分割文書群に対して前記推定モデルにおける各論理式の重みを学習する際に、他の分割文書群に対する学習において推定された前記学習用文書間の各々の関係を示す潜在述語を、観測述語として追加し、前記他の分割文書群と重複する学習用文書に関する前記追加された観測述語と前記観測述語に対応する潜在述語とを用いて記述される論理式、及び複数の潜在述語間の関係を記述した論理式を含む、前記推定モデルにおける各論理式の重みを学習する。
本発明に係る文書間関係推定装置は、複数の文書からなる推定対象の文書群を、複数の推定用分割文書群に分割する推定用分割手段と、前記複数の推定用分割文書群の各々に対して、前記推定用分割文書群における文書間の各々について文書間の特徴を示す観測述語を抽出すると共に、前記推定用分割文書群における文書の各々の特徴を示す観測述語を抽出する推定用特徴抽出手段と、前記複数の推定用分割文書群の各々に対して、上記の文書間関係推定モデル学習装置によって学習された前記推定モデル、及び前記推定用特徴抽出手段によって抽出された前記推定用分割文書群に対する前記観測述語に基づいて、前記マルコフロジックネットワークにより、前記推定用分割文書群における前記文書間の関係を示す潜在述語を推定する推定用文書間関係推定手段と、を含んで構成されている。
本発明に係る文書間関係推定方法は、推定用分割手段によって、複数の文書からなる推定対象の文書群を、複数の推定用分割文書群に分割し、推定用特徴抽出手段によって、前記複数の推定用分割文書群の各々に対して、前記推定用分割文書群における文書間の各々について文書間の特徴を示す観測述語を抽出すると共に、前記推定用分割文書群における文書の各々の特徴を示す観測述語を抽出し、推定用文書間関係推定手段によって、前記複数の推定用分割文書群の各々に対して、上記の文書間関係推定モデル学習方法によって学習された前記推定モデル、及び前記推定用特徴抽出手段によって抽出された前記推定用分割文書群に対する前記観測述語に基づいて、前記マルコフロジックネットワークにより、前記推定用分割文書群における前記文書間の関係を示す潜在述語を推定することを含む。
本発明に係るプログラムは、コンピュータを、上記の文書間関係推定モデル学習装置の各手段として機能させるためのプログラムである。
以上説明したように、本発明の文書間関係推定モデル学習装置、方法、及びプログラムによれば、学習用文書群を、複数の分割文書群に分割し、複数の分割文書群の各々に対して、分割文書群の各学習用文書について観測述語を抽出し、複数の分割文書群の各々に対して、ＭＬＮにおける各論理式の重みを繰り返し学習することにより、文書間の関係を推定するためのＭＬＮを用いた推定モデルを効率よく学習することができる、という効果が得られる。
また、本発明の文書間関係推定装置、方法、及びプログラムによれば、推定用文書群を、複数の分割文書群に分割し、複数の分割文書群の各々に対して、分割文書群の各文書について観測述語を抽出し、学習された各論理式の重みを用いて、ＭＬＮにより、文書間の関係を推定することにより、ＭＬＮを用いた文書間の関係の推定を効率よく行うことができる、という効果が得られる。
本発明の第１の実施の形態に係る発言間関係推定装置の構成を示す概略図である。 動的述語を利用する方法を説明するための図である。 本発明の第１の実施の形態に係る発言間関係推定装置におけるモデル学習処理ルーチンの内容を示すフローチャートである。 本発明の第１の実施の形態に係る発言間関係推定装置におけるモデルを学習する際の処理ルーチンの内容を示すフローチャートである。 本発明の第１の実施の形態に係る発言間関係推定装置における発言間関係推定処理ルーチンの内容を示すフローチャートである。 動的述語を利用する方法を説明するための図である。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
＜システム構成＞
図１に示すように、本発明の第１の実施の形態に係る発言間関係推定装置１００は、発言を示すテキストデータの集合が入力され、各発言間の関係を出力する。１つの発言は１つ以上の文からなるテキストデータである。この発言間関係推定装置１００は、ＣＰＵと、ＲＡＭと、後述するモデル学習処理ルーチン及び発言間関係推定処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。図１に示すように、発言間関係推定装置１００は、入力部１０と、演算部２０と、出力部３０とを備えている。
入力部１０は、入力された発言の集合を受け付ける。本実施の形態の例では、発言の集合として、マイクロブログサービスの一つであるツイッター（Ｒ）における発言（ツイート）の集合を用いる。今回、ツイッターのまとめサイトであるtogetter（Ｒ）でまとめられたツイートをクロールすることで、この発言の集合を作成した。特定の検索キーワードが含まれるツイートを検索して取得し、取得されたツイートを発言の集合としてもよい。
なお、togetter （Ｒ）は、個人が自身のお気に入りのツイートを「まとめ」として登録することのできるサービスで、一定のトピックに関係するツイートが雑多に集められている。
また、学習データとして入力された発言の集合には、発言間の関係性ラベルとして、関係のあるなしを示すラベルが付与されている。また、関係のあるなし以外にも、「演繹」「帰納」「矛盾」「類似」「その他」のラベルが、発言間の関係性ラベルとして付与されている。なお、これらの入力されるラベルは人手で付与したものである。
また、入力部１０は、上記の関係性がツイート間にあるかないか、あるとしたらどの関係かを推定するために入力された、未知の発言の集合を受け付ける。
演算部２０は、発言集合データベース２１、事例分割部２３、分割データ記憶部２４、特徴量抽出部２５、学習制御部２６、論理式生成部２７、モデル学習部２８、特徴量追加部２９、モデル記憶部３１、入力発言集合データベース３２、事例分割部３３、分割データ記憶部３４、特徴量抽出部３５、論理式生成部３６、関係推定部３７、及び特徴量追加部３８を備えている。
発言集合データベース２１は、入力部１０により受け付けた学習データとしての発言の集合を、発言間の関係と共に記憶する。
事例分割部２３は、学習データをいくつかに分割する。与えられた学習データ（発言）をD個とすると、この発言の集合をN分割し、それぞれ部分集合をD1・・・DNとして、分割データ記憶部２４に記憶させる。たとえば、ツイートが100個あり4つに分割する場合、25個ずつの4つの部分集合に分割する。なお、この部分集合が、分割文書群の一例である。
特徴量抽出部２５は、分割データ記憶部２４に記憶されている部分集合毎に、当該分集合の各発言及び各発言間について特徴量を抽出する。これらは観測述語と呼ばれる。たとえば、ツイートaがあり、ツイートbにリプライしているとすると、tweet(a)，tweet(b), in_reply_to(a,b)という観測述語を抽出する。これらは、a がツイートであること、b がツイートであること、そして、aがbにリプライしていることを表す述語である。加えて、ツイートa が@...という形でツイートbのユーザ名に言及している場合、reply(a,b) という観測述語を抽出する。また、ツイートaとツイートbとが同ユーザによる発言の場合、述語sameuser(a,b)を抽出する。その他、ツイートを投稿された時間で並べた場合、ツイートaとツイートbの間に、ツイートaのユーザによる発言が存在するかどうかを表す述語や、発言集合において、あるツイートが時間的にそのユーザの最初のツイートであるかどうかを表す述語を抽出する。
特徴量抽出部２５は、さらに、各発言に対して形態素解析を行い、各ツイートがどのような単語を持つかを表すbag-of-words の述語やaとbの単語の重複度なども観測述語として抽出する。これらに加え、一般の文書分類において、機械学習の際に用いられるような素性を観測述語として抽出してもよい。
例えば、発言ペアのどちらが長いか、発言ペアが連続する発言かどうか、発言間の投稿間隔、反意語となる単語対が発言間にあるか、発言ペアが同じURLを含むかどうか、発言ペアが同じ固有表現を含むか否か、発言ペアが括弧で囲まれた同じ表現を含むかどうか、発言ペアが異なる固有名詞を含むかどうか、発言間における単語ベクトルのコサイン類似度、発言間の名詞の包含度の各々を表わす述語を、発言間の特徴を示す観測述語として抽出してもよい。
また、上記の観測述語に対し、潜在述語というものがある。潜在述語とは、観測述語ではない述語を指し、データそのものからは得られないものである。潜在述語は機械学習における、推定したいラベルに対応する。特徴量抽出部２５は、学習データに付与された関係性ラベル（正解ラベル）の情報から、潜在述語も抽出する。たとえば、ツイートaとツイートbに関係ありとのラベルが付与されていると、has_aa_relation(a,b)という潜在述語が作られる。has_aa_relationは二つの発言の間に関係があるという事を表す述語である。
論理式生成部２７は、ある観測述語・潜在述語の組み合わせがあるとき、ある潜在述語が成立するということを表す論理式を作成する。たとえば、「tweet(a) & tweet(b) & in_reply_to(a,b)という組み合わせであればhas_aa_relation(a,b)という潜在述語が成立する」という内容の論理式を作成する。どう組み合わせてどの潜在述語に結び付けるかは、人手で作成した論理式生成テンプレートによる。
また、論理式には重み付き論理式と重みなし論理式がある。重み付き論理式は、その論理式の成立しやすさを重みとして保持する。重みなし論理式は「制約」とも呼ばれ、必ず成立する論理式である。
論理式生成部２７は、基本的な制約として、推移律と呼ばれる、ツイートi とjにある関係R が成り立ち、ツイートjとkに同じくRが成り立つ場合、ツイートiとkにも同様の関係Rが成り立つという制約を示す論理式を生成する。例えば、あるツイートに類似している２つのツイートj、k は類似しているという制約を示す論理式を生成する。
以上のように、論理式生成部２７は、部分集合毎に、当該部分集合について特徴量抽出部２５が出力した特徴（観測述語の集合）と、当該部分集合について後述する特徴量追加部２９によって追加された特徴（観測述語の集合）とに基づいて、論理式生成テンプレートを用いて、各述語及び潜在述語を用いて記述された各論理式を生成する。
学習制御部２６は、分割した学習データのそれぞれについて順番に推定・学習を行うように制御する。
学習制御部２６は、学習データを分割した発言の部分集合D1、・・・、DNについて、部分集合D1に対して推定を行い、学習し、部分集合D2に部分集合D1での推定結果を組み込むと共に部分集合D1での学習結果を用いて、推定を行い、学習し、・・・、部分集合DNに部分集合D(N-1)の推定結果を組み込むと共に部分集合D(N-1)での学習結果を用いて推定し、学習するという一連の処理を１イタレーションとして、何度かイタレーションすることで学習を行う。ここで、推定結果は、学習データを分割した発言の部分集合に対して、クローズドに求めた推定結果のことである。まず推定を行い、推定結果と正しい解の差分が小さくなるように学習を行う。学習の初段階では、うまく推定できないが、イタレーションを繰り返すことでうまく推定できるよう学習される。イタレーション数は、たとえば10回である。
一つ前の部分集合に対する推定結果を、次の部分集合に対する学習に生かすため、動的述語を生成し、次の部分集合を用いた学習に入れ込む処理を行う。動的述語を利用して学習・推定を行う考え方を図２に示す。
ＭＬＮ上に動的述語を実装するため、潜在述語（Hidden predicate）と観測述語（Observed predicate）を組み合わせて動的述語を表現する。
実際には、動的述語dp を表すため、dpをユーザが定義する際に、自動で内部的に潜在述語dyn_dpと観測述語obs_dpの２つを定義する。この二つの述語を動的述語として動かすため、一つ目の事例（部分集合）D1で潜在述語dyn_dpが推論によって得られた場合、二つ目の事例（部分集合）D2の観測述語に観測述語obs_dpとして加える処理をＭＬＮに追加する。この観測述語obs_dpは、図２では「データ１で真と推定された潜在述語の集合が観測述語化したもの」として２つ目の事例（部分集合）で観測述語として表され、潜在述語dyn_dpは図２では「動的述語の集合」として表され、推定の結果真となった動的述語のみが、次のデータ（部分集合）における観測述語として追加される。
つまり、動的述語は、既に分類された事例を表す際は観測述語、分類中の事例を表す際は潜在述語として扱える述語として実装される。ある問題を解いた結果を、次の問題で用いるために、推論の結果である潜在述語を次の問題における観測述語として動的に加えるため、述語の名前と種類を書き換えて次の問題に追加する処理を追加する。
簡単な例として、単語列中の固有表現（地名）を判定する場合を挙げる。
observed: word （観測述語として単語自身）
hidden: loc （推定する対象の述語として地名の一部かどうか）
dynamic: dloc （動的な述語として、以前の推定結果を表すための述語（dyn_dlocとobs_dlocが自動的に定義される））
weight w_word:WORD->Double; （単語wの地名らしさw_wordを重みとして学習させる）
factor: for Id i, WORD w
if word(i, w) add [loc(i)] * w_word(w);
そして、以下のように、loc(i)と推定された場合は、dyn_dloc(i)も真を取るようにする。これは図２で推定された潜在述語から動的述語へのアークに対応する（図２のＡ参照）。
factor: for Id i
if loc(i): dyn_dloc(i);
また、以下のように、一つ前の単語(i-1)が地名と推定された場合の単語(i)の地名らしさをw_lastとして学習する。これは図２の動的述語が観測述語化されたものから、データ２の潜在述語へのアークに対応する。
weight w_last:Double;
factor: for Id i
if obs_dloc(i-1) add[loc(i)]*w_last;
たとえば、以下の3単語が連続してあったとし、それぞれの単語が分割された各データだとする。
word(1, "東京都")
--分割
word(2, "新宿区")
--分割
word(3, "新宿")
上記のように分割された三つの事例を与えたときに、一つ目の事例で1つめの単語が地名と推定されloc(1)が真になったとき、dyn_dloc(1)も同様に真となり、二つ目の事例で2つめの単語について推論する際にはobs_dloc(1)が有効となる。よって、二つ目の事例ではobs_dloc(1)とword(2,"新宿区")という２つの観測述語から推論を行うことができる。ここでさらにloc(2)と推論が行われた場合、3つ目の事例ではobs_dloc(2)とword(3,"新宿")という２つの述語が観測可能として推論を行う。
以上のように、一つ前の部分集合で得られた動的述語が観測述語化されたものから、現在の部分集合の潜在述語へのアークに対応する論理式を用いるために、論理式生成部２７は、論理式生成プレートに従って、一つ前の部分集合で得られた動的述語が観測述語化されたものと、現在の部分集合についての潜在述語とを用いて記述された論理式を生成する。例えば、ある動的述語が観測述語化されたものと、ある観測述語との組み合わせがあるとき、ある潜在述語が成立するということを表す論理式を生成する。
なお、本例では、動的述語は連続した事例（部分集合）でしか有効にしていないが、
factor: for Id i
if obs_dloc(i): dyn_dloc(i);
のように、再度、値を真としなおすようにすれば、分割をまたがった事例にも過去の推定結果を持ち越すことが可能である。
モデル学習部２８は、まず、論理式生成部２７によって部分集合Ｄｎについて生成された論理式と、現時点での各論理式の重みとを用いて、部分集合Ｄｎの発言のペアの各々について、推論を行い、尤もらしい関係性ラベル（潜在述語）の集合を得る。具体的には、後述する（１）式中の確率が最も大きくなる場合の、真となる潜在述語の集合をラベルとして出力する。
また、モデル学習部２８は、ＭＬＮを用い、上記の推論によって得られた潜在述語の集合が表す発言間の関係と、部分集合Ｄｎについて予め与えられた発言間の関係とが一致するように、各論理式の重みを学習して、各論理式の重みを更新する。ＭＬＮでは、与えられた論理式について、すべての制約を表わす論理式を満たしつつ、観測述語について行われた推論結果が、正解データとして与えられた述語の集合に近づくように、各論理式の重みが決定される。ここで学習された論理式の重みの集合がモデルとなり、重みの集合を表わすモデルが、モデル記憶部３１に記憶される。
モデル学習部２８は、上記の推論及び学習を、各部分集合Ｄｎについて繰り返し行う。
ここで、ＭＬＮの学習について簡単に説明する。ＭＬＮは、述語の集合Ｘに対してある確率を与える。この確率を最大化する述語の集合（潜在述語を含む）が、ＭＬＮにおける推論結果となる。ＭＬＮは、実際には一階述語論理式の集合として表される。論理式には、違反を許容する重み付きの論理式と、違反を許容しない論理式を混在させることができ、制約を表わす論理式は、違反を許容しない論理式として記述される。
述語の集合Ｘに対する確率は、述語を論理式中の変数に代入することで成立する(真となる)論理式すべてについて重みの和をとり、exponentialを取り、正規化したものである。例えば、述語の集合Ｘに対する確率は、以下の（１）式で表される。
ここで、Zは正規化のための定数であり、wiがi番目の論理式に対応する重みである。niは、ある述語の集合X上で真をとる論理式、例えば、tweet(i) & tweet(j) & in_reply_to(i,j) のそれぞれについて、カウントが１増える。論理式の一部のみが真でもカウントはされない。この場合、論理式 tweet(i) & tweet(j) & in_reply_to(i,j) が真になる回数 niは、X中に、この論理式が真になる i と j の組が存在する数と同じとなる。
特徴量追加部２９は、上述したように、部分集合Ｄｎで潜在述語dyn_dpが推論によって得られた場合、次の部分集合Ｄ（ｎ＋１）の観測述語obs_dpとして加えるために、モデル学習部２８による部分集合Ｄｎに対する推論で得られた真となる潜在述語の集合から、動的述語を観測述語化したものを生成し、次の部分集合Ｄ（ｎ＋１）の観測述語として追加する。
入力発言集合データベース３２は、入力部１０により受け付けた推定対象データとしての発言の集合を記憶する。入力されたツイート集合、具体的には、ツイッターから取得できる情報である、ID、発言内容、in_reply_to属性、及びユーザ名からなるデータの集合が、入力発言集合データベース３２に記憶される。
事例分割部３３は、推定対象データをいくつかに分割する。与えられた推定対象データ（発言）をD個とすると、この発言の集合をN分割し、それぞれ部分集合をD1・・・DNとして、分割データ記憶部３４に記憶させる。なお、この部分集合が、推定用分割文書群の一例である。
特徴量抽出部３５は、上記の特徴量抽出部２５と同様に、分割データ記憶部３４に記憶されている部分集合毎に、当該部分集合の各発言の特徴を示す観測述語を生成すると共に、当該部分集合の発言の全ペアについてペア間の特徴を示す観測述語を生成する。
論理式生成部３６は、分割データ記憶部３４に記憶されている部分集合毎に、上記の論理式生成部２７と同様に、当該部分集合について特徴量抽出部３５が出力した特徴（観測述語の集合）及び特徴量追加部３８が出力した特徴（観測述語の集合）に基づいて、論理式生成テンプレートを用いて、各述語及び潜在述語を用いて記述された各論理式を生成する。
関係推定部３７は、分割データ記憶部３４に記憶されている部分集合毎に、当該部分集合の発言のペアについて、論理式生成部３６によって生成された各論理式、及びモデル記憶部３１に記憶されたモデルの重みを用いて、推論を行い、尤もらしい関係性ラベル（潜在述語）の集合を得る。具体的には、上記（１）式中の確率が最も大きくなる場合の、真となる潜在述語の集合をラベルとして出力する。たとえば、ツイートx とツイートyについて、has_aa_relation(x,y) が真だと推論されたとすると、x とy の間に関係があると出力する。
関係推定部３７により推定された潜在述語が表す発言の各ペアの関係性を、出力部３０により出力する。
特徴量追加部３８は、上記の特徴量追加部２９と同様に、部分集合Ｄｎで潜在述語dyn_dpが推論によって得られた場合、次の部分集合Ｄ（ｎ＋１）の観測述語obs_dpとして加えるために、関係推定部３７による部分集合Ｄｎに対する推論で得られた真となる潜在述語の集合から、動的述語を観測述語化したものを生成し、次の部分集合Ｄ（ｎ＋１）の観測述語として追加する。
＜発言間関係推定装置の作用＞
次に、第１の実施の形態に係る発言間関係推定装置１００の作用について説明する。まず、発言の集合と、各発言間に対して手動で付与した発言間の関係を示すラベルの集合とを含む学習データが発言間関係推定装置１００に入力されると、発言間関係推定装置１００によって、入力された、学習データが、発言集合データベース２１へ格納される。
そして、発言間関係推定装置１００によって、図３に示すモデル学習処理ルーチンが実行される。
まず、ステップＳ１０１において、発言集合データベース２１に格納された学習データの発言の集合をＮ個の部分集合に分割して、分割データ記憶部２４に格納する。
ステップＳ１０２では、分割データ記憶部２４に格納された部分集合Ｄｎ毎に、当該部分集合Ｄｎの各発言に対して、形態素解析処理を行う。次のステップＳ１０３では、分割データ記憶部２４に格納された部分集合Ｄｎ毎に、当該部分集合Ｄｎの各発言から、発言の特徴を示す観測述語を生成する。
そして、ステップＳ１０４において、分割データ記憶部２４に格納された部分集合Ｄｎ毎に、当該部分集合Ｄｎの発言の全ペアの各々に対して、発言間の特徴を示す観測述語を生成する。また、予め付与された発言間の関係を示すラベルの集合に基づいて、発言間の関係を示す潜在述語を生成する。
次のステップＳ１０５では、部分集合を識別するための変数ｎに、初期値１を設定する。
次のステップＳ１０６では、上記ステップＳ１０３、Ｓ１０４で生成された観測述語、及び部分集合Ｄｎの発言ペアの各々の関係性を示す潜在述語を用いて記述される論理式を、論理式生成プレートに従って生成する。また、後述するステップＳ１１０で追加された観測述語化された動的述語、及び部分集合Ｄｎの発言ペアの各々の関係性を示す潜在述語を用いて記述される論理式を、論理式生成プレートに従って生成する。また、制約を表わす論理式も生成する。
ステップＳ１０７において、上記ステップＳ１０６で生成された論理式と、部分集合Ｄｎの発言ペアについて予め付与された関係性を示すラベルに基づいて生成された潜在述語の集合とに基づいて、各論理式の重みを学習し、モデル記憶部３１に記憶されている重みの集合を表すモデルを更新する。
ここで、上記ステップＳ１０７は、図４に示す処理ルーチンによって実現される。
ステップＳ１２０では、現時点での各論理式の重みを用いて、上記ステップＳ１０６で生成された論理式に基づいて、上記（１）式中の確率が最も大きくなる場合の、真となる潜在述語の集合を求め、部分集合Ｄｎの発言間の各ペアの関係を推定する。
そして、ステップＳ１２１において、部分集合Ｄｎの発言間のペアについて予め付与された関係性を示すラベルに基づいて生成された潜在述語の集合と、上記ステップＳ１２０で推定された部分集合Ｄｎの発言の各ペアの関係（真となる潜在述語の集合）とを比較して、両者が一致するように、各論理式の重みを学習して更新し、当該処理ルーチンを終了する。
そして、ステップＳ１０８において、ｎが、分割数を示すＮ未満であるか否かを判定する。ｎがＮ未満である場合には、ステップＳ１０９において、ｎを１だけインクリメントする。そして、ステップＳ１１０において、上記ステップＳ１２０で推定された、一つ前の部分集合Ｄ（ｎ−１）の発言ペアの関係性を示す潜在述語の集合から、各動的述語を観測述語化したものを生成し、部分集合Ｄｎに対する観測述語の集合として追加し、上記ステップＳ１０６へ戻る。
一方、上記ステップＳ１０８において、ｎが、Ｎ以上であると判断された場合には、ステップＳ１１１へ移行し、繰り返しを終了するか否かを判定する。例えば、上記ステップＳ１０５〜Ｓ１１１の繰り返し回数が、予め定められた繰り返し回数の上限値に到達した場合には、繰り返しを終了すると判断し、ステップＳ１１２において、上記ステップＳ１２１で最終的に更新された各論理式の重みを、学習結果としてモデル記憶部３１に格納して、モデル学習処理ルーチンを終了する。
一方、上記ステップＳ１０５〜Ｓ１１１の繰り返し回数が、予め定められた繰り返し回数の上限値に到達していない場合には、繰り返しを終了しないと判断し、上記ステップＳ１０５へ戻る。
そして、発言間の関係を推定する推定対象の発言集合が発言間関係推定装置１００に入力されると、発言間関係推定装置１００によって、入力された発言集合が、入力発言集合データベース３２へ格納される。
そして、発言間関係推定装置１００によって、図５に示す発言間関係推定処理ルーチンが実行される。
まず、ステップＳ１３１において、入力発言集合データベース３２に格納された発言の集合をＮ個の部分集合に分割して、分割データ記憶部３４に格納する。
ステップＳ１３２では、分割データ記憶部３４に格納された部分集合Ｄｎ（ｎ＝１，・・・，Ｎ）毎に、分割集合Ｄｎの各発言に対して、形態素解析処理を行う。次のステップＳ１３３では、分割データ記憶部３４に格納された部分集合Ｄｎ毎に、分割集合Ｄｎの各発言から、発言の特徴を示す観測述語を生成する。
そして、ステップＳ１３４において、分割データ記憶部３４に格納された部分集合Ｄｎ毎に、分割集合Ｄｎの発言の全ペアの各々に対して、発言間の特徴を示す観測述語を生成する。
次のステップＳ１３５では、部分集合を識別するための変数ｎに、初期値１を設定する。
そして、ステップＳ１３６において、部分集合Ｄｎについて、上記ステップＳ１３３、Ｓ１３４で生成された観測述語、及び部分集合Ｄｎの発言ペアの各々の関係性を示す潜在述語を用いて記述される論理式を、論理式生成プレートに従って生成する。また、後述するステップＳ１４０で追加された観測述語化された動的述語、及び部分集合Ｄｎの発言ペアの各々の関係性を示す潜在述語を用いて記述される論理式を、論理式生成プレートに従って生成する。また、制約を表わす論理式も生成する。
ステップＳ１３７において、部分集合Ｄｎについて、モデル記憶部３１に記憶されている各論理式の重みを用いて、上記ステップＳ１３６で生成された論理式に基づいて、上記（１）式中の確率が最も大きくなる場合の、真となる潜在述語の集合を求め、部分集合Ｄｎの発言間の各ペアの関係を推定する。
そして、ステップＳ１３８において、ｎが、分割数を示すＮ未満であるか否かを判定する。ｎがＮ未満である場合には、ステップＳ１３９において、ｎを１だけインクリメントする。そして、ステップＳ１４０において、上記ステップＳ１３７で推定された、一つ前の部分集合Ｄ（ｎ−１）の発言ペアの関係性を示す潜在述語の集合から、各動的述語を観測述語化したものを生成し、部分集合Ｄｎに対する観測述語の集合として追加し、上記ステップＳ１３６へ戻る。
一方、上記ステップＳ１３８において、ｎが、Ｎ以上であると判断された場合には、ステップＳ１４１へ移行し、上記ステップＳ１３７で推定された各ペアの関係を出力部３０により出力して、発言間関係推定処理ルーチンを終了する。
以上説明したように、第１の実施の形態に係る発言間関係推定装置によれば、学習データの発言集合を、複数の部分集合に分割し、複数の部分集合の各々に対して、当該部分集合の各発言について観測述語を抽出し、複数の部分集合の各々に対して、ＭＬＮにおける各論理式の重みを繰り返し学習することにより、発言間の関係を推定するためのＭＬＮを用いた推定モデルを効率よく学習することができる。
また、推定対象の発言集合を、複数の部分集合に分割し、複数の部分集合の各々に対して、部分集合の各発言について観測述語を抽出し、学習された各論理式の重みを用いて、ＭＬＮにより、発言間の関係を推定することにより、ＭＬＮを用いた発言間の関係の推定を効率よく行うことができる。
大規模な学習事例からマルコフロジックネットワークを用いてデータ間の関係性を学習する際に、学習の効率化のため、事例を分割して学習する。これにより、問題のサイズを分割することができ、整数計画問題を高速に解くことができる。また、分割された情報を全体で共有するために動的述語を導入して、一つ前の部分集合から得た潜在述語の集合から動的述語を観測述語化したものを生成し、次の部分集合に対する観測述語として追加するとともに、観測述語化した述語と潜在述語の組み合わせを用いて記述した論理式についての論理式テンプレートを用いて、当該論理式を生成することにより、分割した事例間の関係を間接的に表すことができる。
ＭＬＮの学習が大きなデータに対しても行えるようになり、汎用性が広がる。より多くの事例からの学習が可能になるため、関係推定の精度が向上し、情報抽出システムの精度が高まる。
次に、第２の実施の形態に係る発言間関係推定装置について説明する。なお、第２の実施の形態に係る発言間関係推定装置は、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。
第２の実施の形態では、学習データを重複するように分割している点と、潜在述語間の関係を考慮した論理式を生成している点とが、第１の実施の形態と異なっている。
第２の実施の形態に係る発言間関係推定装置１００では、事例分割部２３によって、学習データを重複するように分割する。与えられた学習データ（発言）をD個とすると、この発言の集合をN分割し、それぞれ部分集合をD1・・・DNとして、分割データ記憶部２４に記憶させる。たとえば、100サンプルある場合、各部分集合が他の部分集合と重複するように、1-25，1-50，26-75，51-100という4つのデータに分割する。最初が25サンプルしかないのは、重複すべき直前のデータが無いためである。
論理式生成部２７は、上記の第１の実施の形態と同様に論理式を生成するとともに、部分集合Ｄｎ毎に、潜在述語間の関係を記述した論理式、すなわち、複数の潜在述語の組み合わせがあるとき、ある潜在述語が成立することを表す論理式を生成する。潜在述語間の関係を記述した論理式を生成する場合には、データが完全に分断されるのを避けるため、上述したように、データを重複させながら分割する。
また、図６のようにデータを重複させて分割する場合には、重複部分について、ある分割されたデータで行った推定を踏まえて、次の分割されたデータ上で再度推定を行うために、重複部分について推定した結果を次の分割されたデータ上に加えた観測述語（動的述語）が存在すれば次のデータ上で対応する潜在述語が真となる重みつきの論理式を生成するための論理式テンプレートを加える。
論理式生成部２７は、以下に示すように、一つ前の部分集合Ｄ（ｎ−１）で真と推定された潜在述語の集合のうち、部分集合Ｄｎと重複する部分に関する潜在述語の各々について観測述語化した述語があるとき、当該述語に対応する、部分集合Ｄｎ内の潜在述語が真となることを表す論理式を生成する。なお、この論理式は、図６の動的述語が観測述語化されたものから、自身の潜在述語に対するアークに対応している。
factor:for Id i
if obs_dloc(i) add [loc(i)] * w_dloc;
この論理式と、上記の潜在述語間の関係を記述した論理式とを加えることで、ある潜在述語についての二度目の推定では、前後の分割された部分集合を考慮して推定を行うことができる。データを重複させて分割する場合には、この二度目の推定結果を、重複部分に関する潜在述語の推定結果とする。
特徴量追加部２９は、部分集合Ｄｎで潜在述語dyn_dpが推論によって得られた場合、次の部分集合Ｄ（ｎ＋１）の観測述語obs_dpとして加えるために、モデル学習部２８により部分集合Ｄｎに対する推論で得られた真となる潜在述語の集合のうち、部分集合Ｄ（ｎ＋１）と重複する部分に関する潜在述語の集合から、動的述語を観測述語化したものを生成し、次の部分集合Ｄ（ｎ＋１）の観測述語として追加する。
事例分割部３３は、推定対象の発言の集合を重複するように分割する。与えられた未知の発言をD個とすると、この発言の集合をN分割し、それぞれ部分集合をD1・・・DNとして、分割データ記憶部３４に記憶させる。
論理式生成部３６は、論理式生成部２７と同様に、部分集合Ｄｎ毎に、潜在述語間の関係を考慮した論理式、すなわち、複数の潜在述語の組み合わせがあるとき、ある潜在述語が成立することを表す論理式を含んで、各論理式を生成する。
また、論理式生成部３６は、一つ前の部分集合Ｄ（ｎ−１）と部分集合Ｄｎとで重複する部分に関する潜在述語の各々についての動的述語を観測述語化したものがあるとき、部分集合Ｄｎ内の対応する潜在述語が真となることを表す論理式を更に生成する。
関係推定部３７は、分割データ記憶部３４に記憶されている部分集合毎に、当該部分集合の発言のペアについて、論理式生成部３６によって生成された各論理式、及びモデル記憶部３１に記憶されたモデルの重みを用いて、推論を行い、尤もらしい関係性ラベル（潜在述語）の集合を得る。
特徴量追加部３８は、関係推定部３７による部分集合Ｄｎに対する推論で得られた真となる潜在述語の集合のうち、部分集合Ｄ（ｎ＋１）と重複する部分に関する潜在述語の集合について、動的述語を観測述語化したものを生成し、次の部分集合Ｄ（ｎ＋１）の観測述語として追加する。
なお、第２の実施の形態に係る発言間関係推定装置１００の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
このように、同じ潜在述語に対して二度推定を行うことで、データの分割をまたいだ潜在述語間の関係を扱うことができる。
＜実施例＞
学習データを元にＭＬＮによってモデルを学習し、テストを行った。ここでは、93ツイートからなるデータを４分割して、学習・テストを行った実験結果を示す。ツイート間の関係のあるなしのみの関係を扱った。この実験はクローズドな実験であり、学習とテストに同じデータを用いている。
学習時間については分割有りのほうが学習の回数が多くなることからやや時間が増えたが、推定する時間は分割した場合のほうが半分程度となっており、大幅に高速化されていることが分かる。
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、発言以外の文書データ間の関係を推定することに、本発明を適用してもよい。
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
１０ 入力部
２０ 演算部
２１ 発言集合データベース
２３、３３ 事例分割部
２４、３４ 分割データ記憶部
２６ 学習制御部
２５、３５ 特徴量抽出部
２７、３６ 論理式生成部
２８ モデル学習部
２９、３８ 特徴量追加部
３０ 出力部
３１ モデル記憶部
３２ 入力発言集合データベース
３７ 関係推定部
１００ 発言間関係推定装置

Claims (7)

  1. 複数の学習用文書からなる学習用文書群を、複数の分割文書群に分割する分割手段と、
    前記複数の分割文書群の各々に対して、前記分割文書群における学習用文書間の各々について文書間の特徴を示す観測述語を抽出すると共に、前記分割文書群における学習用文書の各々の特徴を示す観測述語を抽出する特徴抽出手段と、
    前記複数の分割文書群の各々に対して、前記分割文書群における学習用文書間の各々について予め与えられた文書間の関係と、前記特徴抽出手段によって前記分割文書群に対して抽出された前記観測述語とに基づいて、前記観測述語又は文書間の関係を示す潜在述語を用いて記述された各論理式を用いて構築されるマルコフロジックネットワーク（ＭＬＮ：Markov Logic Network）における各論理式の重みを用いて、前記マルコフロジックネットワークにより、推定対象の文書間の特徴を示す観測述語及び前記推定対象の文書の各々の特徴を示す観測述語に対して尤もらしい、前記推定対象の文書間の関係を示す潜在述語を推定するための推定モデルにおける各論理式の重みを学習する学習手段とを含み、
    前記学習手段は、
    他の分割文書群に対して学習された前記推定モデルにおける各論理式の重みを用いて、前記マルコフロジックネットワークにより、前記分割文書群の学習用文書間の各々の関係を示す潜在述語を推定し、前記推定された前記潜在述語が示す学習用文書間の各々の関係と、前記学習用文書間の各々について予め与えられた文書間の関係とが一致するように、前記推定モデルにおける各論理式の重みを学習することを、前記複数の分割文書群の各々に対して繰り返し、
    前記学習手段は、前記分割文書群に対して前記推定モデルにおける各論理式の重みを学習する際に、他の分割文書群に対する学習において推定された前記学習用文書間の各々の関係を示す潜在述語を、前記分割文書群に関する観測述語として追加し、前記特徴抽出手段によって前記分割文書群に対して抽出された前記観測述語と前記追加された前記観測述語に基づいて、前記追加された観測述語と文書間の関係を示す潜在述語とを用いて記述された論理式を含む前記推定モデルにおける各論理式の重みを学習する
    文書間関係推定モデル学習装置。
  2. 複数の学習用文書からなる学習用文書群を、複数の分割文書群に分割する分割手段と、
    前記複数の分割文書群の各々に対して、前記分割文書群における学習用文書間の各々について文書間の特徴を示す観測述語を抽出すると共に、前記分割文書群における学習用文書の各々の特徴を示す観測述語を抽出する特徴抽出手段と、
    前記複数の分割文書群の各々に対して、前記分割文書群における学習用文書間の各々について予め与えられた文書間の関係と、前記特徴抽出手段によって前記分割文書群に対して抽出された前記観測述語とに基づいて、前記観測述語又は文書間の関係を示す潜在述語を用いて記述された各論理式を用いて構築されるマルコフロジックネットワーク（ＭＬＮ：Markov Logic Network）における各論理式の重みを用いて、前記マルコフロジックネットワークにより、推定対象の文書間の特徴を示す観測述語及び前記推定対象の文書の各々の特徴を示す観測述語に対して尤もらしい、前記推定対象の文書間の関係を示す潜在述語を推定するための推定モデルにおける各論理式の重みを学習する学習手段とを含み、
    前記学習手段は、
    他の分割文書群に対して学習された前記推定モデルにおける各論理式の重みを用いて、前記マルコフロジックネットワークにより、前記分割文書群の学習用文書間の各々の関係を示す潜在述語を推定し、前記推定された前記潜在述語が示す学習用文書間の各々の関係と、前記学習用文書間の各々について予め与えられた文書間の関係とが一致するように、前記推定モデルにおける各論理式の重みを学習することを、前記複数の分割文書群の各々に対して繰り返し、
    前記分割手段は、前記学習用文書群を、他の分割文書群と重複するように前記複数の分割文書群に分割し、
    前記学習手段は、前記分割文書群に対して前記推定モデルにおける各論理式の重みを学習する際に、他の分割文書群に対する学習において推定された前記学習用文書間の各々の関係を示す潜在述語を、観測述語として追加し、前記他の分割文書群と重複する学習用文書に関する前記追加された観測述語と前記観測述語に対応する潜在述語とを用いて記述される論理式、及び複数の潜在述語間の関係を記述した論理式を含む、前記推定モデルにおける各論理式の重みを学習する
    文書間関係推定モデル学習装置。
  3. 複数の文書からなる推定対象の文書群を、複数の推定用分割文書群に分割する推定用分割手段と、
    前記複数の推定用分割文書群の各々に対して、前記推定用分割文書群における文書間の各々について文書間の特徴を示す観測述語を抽出すると共に、前記推定用分割文書群における文書の各々の特徴を示す観測述語を抽出する推定用特徴抽出手段と、
    前記複数の推定用分割文書群の各々に対して、請求項１又は２に記載の文書間関係推定モデル学習装置によって学習された前記推定モデル、及び前記推定用特徴抽出手段によって抽出された前記推定用分割文書群に対する前記観測述語に基づいて、前記マルコフロジックネットワークにより、前記推定用分割文書群における前記文書間の関係を示す潜在述語を推定する推定用文書間関係推定手段と、
    を含む文書間関係推定装置。
  4. 分割手段によって、複数の学習用文書からなる学習用文書群を、複数の分割文書群に分割し、
    特徴抽出手段によって、前記複数の分割文書群の各々に対して、前記分割文書群における学習用文書間の各々について文書間の特徴を示す観測述語を抽出すると共に、前記分割文書群における学習用文書の各々の特徴を示す観測述語を抽出し、
    学習手段によって、前記複数の分割文書群の各々に対して、前記分割文書群における学習用文書間の各々について予め与えられた文書間の関係と、前記特徴抽出手段によって前記分割文書群に対して抽出された前記観測述語とに基づいて、前記観測述語又は文書間の関係を示す潜在述語を用いて記述された各論理式を用いて構築されるマルコフロジックネットワーク（ＭＬＮ：Markov Logic Network）における各論理式の重みを用いて、前記マルコフロジックネットワークにより、推定対象の文書間の特徴を示す観測述語及び前記推定対象の文書の各々の特徴を示す観測述語に対して尤もらしい、前記推定対象の文書間の関係を示す潜在述語を推定するための推定モデルにおける各論理式の重みを学習することを含み、
    前記学習手段によって学習することは、
    他の分割文書群に対して学習された前記推定モデルにおける各論理式の重みを用いて、前記マルコフロジックネットワークにより、前記分割文書群の学習用文書間の各々の関係を示す潜在述語を推定し、前記推定された前記潜在述語が示す学習用文書間の各々の関係と、前記学習用文書間の各々について予め与えられた文書間の関係とが一致するように、前記推定モデルにおける各論理式の重みを学習することを、前記複数の分割文書群の各々に対して繰り返し、
    前記学習手段によって学習することは、前記分割文書群に対して前記推定モデルにおける各論理式の重みを学習する際に、他の分割文書群に対する学習において推定された前記学習用文書間の各々の関係を示す潜在述語を、前記分割文書群に関する観測述語として追加し、前記特徴抽出手段によって前記分割文書群に対して抽出された前記観測述語と前記追加された前記観測述語に基づいて、前記追加された観測述語と文書間の関係を示す潜在述語とを用いて記述された論理式を含む前記推定モデルにおける各論理式の重みを学習する
    文書間関係推定モデル学習方法。
  5. 分割手段によって、複数の学習用文書からなる学習用文書群を、複数の分割文書群に分割し、
    特徴抽出手段によって、前記複数の分割文書群の各々に対して、前記分割文書群における学習用文書間の各々について文書間の特徴を示す観測述語を抽出すると共に、前記分割文書群における学習用文書の各々の特徴を示す観測述語を抽出し、
    学習手段によって、前記複数の分割文書群の各々に対して、前記分割文書群における学習用文書間の各々について予め与えられた文書間の関係と、前記特徴抽出手段によって前記分割文書群に対して抽出された前記観測述語とに基づいて、前記観測述語又は文書間の関係を示す潜在述語を用いて記述された各論理式を用いて構築されるマルコフロジックネットワーク（ＭＬＮ：Markov Logic Network）における各論理式の重みを用いて、前記マルコフロジックネットワークにより、推定対象の文書間の特徴を示す観測述語及び前記推定対象の文書の各々の特徴を示す観測述語に対して尤もらしい、前記推定対象の文書間の関係を示す潜在述語を推定するための推定モデルにおける各論理式の重みを学習することを含み、
    前記学習手段によって学習することは、
    他の分割文書群に対して学習された前記推定モデルにおける各論理式の重みを用いて、前記マルコフロジックネットワークにより、前記分割文書群の学習用文書間の各々の関係を示す潜在述語を推定し、前記推定された前記潜在述語が示す学習用文書間の各々の関係と、前記学習用文書間の各々について予め与えられた文書間の関係とが一致するように、前記推定モデルにおける各論理式の重みを学習することを、前記複数の分割文書群の各々に対して繰り返し、
    前記分割手段によって分割することは、前記学習用文書群を、他の分割文書群と重複するように前記複数の分割文書群に分割し、
    前記学習手段によって学習することは、前記分割文書群に対して前記推定モデルにおける各論理式の重みを学習する際に、他の分割文書群に対する学習において推定された前記学習用文書間の各々の関係を示す潜在述語を、観測述語として追加し、前記他の分割文書群と重複する学習用文書に関する前記追加された観測述語と前記観測述語に対応する潜在述語とを用いて記述される論理式、及び複数の潜在述語間の関係を記述した論理式を含む、前記推定モデルにおける各論理式の重みを学習する
    文書間関係推定モデル学習方法。
  6. 推定用分割手段によって、複数の文書からなる推定対象の文書群を、複数の推定用分割文書群に分割し、
    推定用特徴抽出手段によって、前記複数の推定用分割文書群の各々に対して、前記推定用分割文書群における文書間の各々について文書間の特徴を示す観測述語を抽出すると共に、前記推定用分割文書群における文書の各々の特徴を示す観測述語を抽出し、
    推定用文書間関係推定手段によって、前記複数の推定用分割文書群の各々に対して、請求項４又は５に記載の文書間関係推定モデル学習方法によって学習された前記推定モデル、及び前記推定用特徴抽出手段によって抽出された前記推定用分割文書群に対する前記観測述語に基づいて、前記マルコフロジックネットワークにより、前記推定用分割文書群における前記文書間の関係を示す潜在述語を推定すること
    を含む文書間関係推定方法。
  7. コンピュータを、請求項１又は２記載の文書間関係推定モデル学習装置又は請求項３記載の文書間関係推定装置を構成する各手段として機能させるためのプログラム。
JP2012247625A 2012-11-09 2012-11-09 文書間関係推定モデル学習装置、文書間関係推定装置、方法、及びプログラム Active JP6011856B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012247625A JP6011856B2 (ja) 2012-11-09 2012-11-09 文書間関係推定モデル学習装置、文書間関係推定装置、方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012247625A JP6011856B2 (ja) 2012-11-09 2012-11-09 文書間関係推定モデル学習装置、文書間関係推定装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2014096058A JP2014096058A (ja) 2014-05-22
JP6011856B2 true JP6011856B2 (ja) 2016-10-19

Family

ID=50939074

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012247625A Active JP6011856B2 (ja) 2012-11-09 2012-11-09 文書間関係推定モデル学習装置、文書間関係推定装置、方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6011856B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7161091B2 (ja) * 2017-10-31 2022-10-26 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
JP7363407B2 (ja) * 2019-11-21 2023-10-18 オムロン株式会社 追加学習装置、方法、及びプログラム
CN111859982B (zh) * 2020-06-19 2024-04-26 北京百度网讯科技有限公司 语言模型的训练方法、装置、电子设备及可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2763317B2 (ja) * 1989-02-20 1998-06-11 富士通株式会社 データ処理装置の学習処理方式

Also Published As

Publication number Publication date
JP2014096058A (ja) 2014-05-22

Similar Documents

Publication Publication Date Title
CN108959246B (zh) 基于改进的注意力机制的答案选择方法、装置和电子设备
US20210232762A1 (en) Architectures for natural language processing
Agrawal et al. Learning emotion-enriched word representations
Zhu et al. Flexible end-to-end dialogue system for knowledge grounded conversation
US20180357240A1 (en) Key-Value Memory Networks
US7865356B2 (en) Method and apparatus for providing proper or partial proper name recognition
CN111506714A (zh) 基于知识图嵌入的问题回答
US8239349B2 (en) Extracting data
WO2019212006A1 (ja) 事象予測装置、予測モデル生成装置および事象予測用プログラム
CN112328800A (zh) 自动生成编程规范问题答案的系统及方法
JP2016170636A (ja) 接続関係推定装置、方法、及びプログラム
Khasnabish et al. Detecting programming language from source code using bayesian learning techniques
Polignano et al. Identification Of Bot Accounts In Twitter Using 2D CNNs On User-generated Contents.
JP6011856B2 (ja) 文書間関係推定モデル学習装置、文書間関係推定装置、方法、及びプログラム
Caicedo et al. Bootstrapping semi-supervised annotation method for potential suicidal messages
EP3413218A1 (en) Key-value memory networks
Alabdullatif et al. Classification of Arabic Twitter users: a study based on user behaviour and interests
Violos et al. Clustering documents using the 3-gram graph representation model
WO2021160822A1 (en) A method for linking a cve with at least one synthetic cpe
Chaonithi et al. A hybrid approach for Thai word segmentation with crowdsourcing feedback system
Umare et al. A survey on machine learning techniques to extract chemical names from text documents
Lee N-Gram Language Model
JP5717103B2 (ja) 文書間関係推定装置、方法、及びプログラム
Sheeba et al. A fuzzy logic based improved keyword extraction from meeting transcripts
Singha et al. Bengali Text Summarization with Attention-Based Deep Learning

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20141209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160907

R150 Certificate of patent or registration of utility model

Ref document number: 6011856

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250