JP5717103B2 - 文書間関係推定装置、方法、及びプログラム - Google Patents
文書間関係推定装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP5717103B2 JP5717103B2 JP2012143175A JP2012143175A JP5717103B2 JP 5717103 B2 JP5717103 B2 JP 5717103B2 JP 2012143175 A JP2012143175 A JP 2012143175A JP 2012143175 A JP2012143175 A JP 2012143175A JP 5717103 B2 JP5717103 B2 JP 5717103B2
- Authority
- JP
- Japan
- Prior art keywords
- document
- documents
- relationship
- learning
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 22
- 230000014509 gene expression Effects 0.000 claims description 67
- 238000000605 extraction Methods 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 description 9
- 230000000877 morphologic effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000006698 induction Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
図1に示すように、本発明の実施の形態に係る発言間関係推定装置100は、発言を示すテキストデータの集合が入力され、各発言間の関係を出力する。1つの発言は1つ以上の文からなるテキストデータである。この発言間関係推定装置100は、CPUと、RAMと、後述するモデル学習処理ルーチン及び発言間関係推定処理ルーチンを実行するためのプログラムを記憶したROMとを備えたコンピュータで構成され、機能的には次に示すように構成されている。図1に示すように、発言間関係推定装置100は、入力部10と、演算部20と、出力部30とを備えている。
if tweet(i) : |Id k:has_aa_relation(k,i)|<=1;
上記のように制約の論理式が記述される。これで、has_aa_relation(k,i)を満たすk が最大一つとなる。
上記の論理式は、iとjが類似、jとkが類似ならばiとkも類似であることを表わす。
上記の論理式は、ツイートとツイートでない定数の間には応答関係は存在しないことを表わす。
tweet(j) tweet(k) in_reply_to(i、j) (jがi に対してリプライしている)
in_reply_to(j、k) (kがjに対してリプライしている)
has_span(i、j、"1-5") (iとjの間隔が1~5の間)
次に、本実施の形態に係る発言間関係推定装置100の作用について説明する。まず、発言の集合と、各発言間に対して手動で付与した発言間の関係を示すラベルの集合とが発言間関係推定装置100に入力されると、発言間関係推定装置100によって、入力された、発言の集合が、発言集合データベース21へ格納され、入力された、発言間の関係を示すラベルが、発言間関係データベース22に格納される。
学習データを元にMLNによってモデルを学習し、交差検定によって、上記の実施の形態で説明した手法の評価を行った。ここでは、三つの条件で比較した。3つの条件は、ツイッター向け素性有り&制約有り、ツイッター向け素性無し&制約あり、ツイッター向け素性無し&ツイッター向け制約無しである。ツイッター向け素性とは、上記で説明した「in_reply_to」、「reply」、「sameuser」、「latestutt」、及び「firstutt」を含む述語である。ツイッター向け制約とは、上記の実施の形態で説明した、発言は関係を持つ先が一つであるという制約である。なお、ここでは、発言間に関係があるかどうか(ツイート間について、has_aa_relationが真か)を推定することを行う。その他の潜在ラベルについても同様の推定は可能である。
20 演算部
21 発言集合データベース
22 発言間関係データベース
25 特徴量生成部
26 モデル学習部
27 モデル記憶部
28 入力発言集合データベース
29 特徴量生成部
30 出力部
31 関係同定部
100 発言間関係推定装置
251 形態素解析部
252 固有表現抽出部
253 発言間特徴生成部
254 発言間制約生成部
Claims (8)
- 時間情報及びユーザ情報が各々付与された複数の文書からなる文書群における全ての文書間の各々について、文書間の内容の関連性と、文書間の応答関係、及び文書間における何れか一方の文書が同一のユーザ情報が付与された文書のうちの先頭または最後の文書であるか否かを示す特徴を抽出する特徴抽出手段と、
前記文書群における全ての文書間の各々について、前記特徴抽出手段によって抽出された前記文書間に対する前記特徴と、前記特徴に基づいて文書間の関係を推定するための予め学習された推定モデルとに基づいて、前記文書間の関係を推定する関係推定手段と、
を含む文書間関係推定装置。 - 文書群の各文書について、前記文書が他の文書と関係がある場合、前記文書と関係がある前記他の文書が1つである制約を生成する制約生成手段を更に含み、
前記関係推定手段は、前記文書群における全ての文書間の各々について、前記特徴抽出手段によって抽出された前記文書間に対する前記特徴と、前記制約生成手段によって生成された前記制約と、前記特徴及び前記制約に基づいて文書間の関係を推定するための予め学習された推定モデルとに基づいて、前記文書間の関係を推定する請求項1記載の文書間関係推定装置。 - 前記特徴は、文書間の特徴を示す述語であって、
前記関係推定手段は、
前記推定モデルとして、前記特徴を示す述語又は前記推定される前記文書間の関係を示す潜在述語を用いて記述された各論理式を用いて構築されるマルコフ論理ネットワーク(MLN:Markov Logic Network)における各論理式の重みを用いて、前記マルコフ論理ネットワークにより、前記制約生成手段によって生成された前記文書間に対する前記制約を記述した論理式を満足し、かつ、前記特徴抽出手段によって抽出された前記文書間に対する前記特徴を示す述語に対して尤もらしい、前記文書間の関係を示す潜在述語を推定する請求項2記載の文書間関係推定装置。 - 前記文書間の特徴は、前記文書間のうちの先の文書が後の文書の返信先であること、後の文書が先の文書のユーザに対して返信していること、前記文書のユーザ情報が同じであること、先の文書が同じユーザ情報が付与された文書のうちの最後の文書であること、及び先の文書が同じユーザ情報が付与された文書のうちの最初の文書であることの少なくとも一つを含む請求項1〜請求項3の何れか1項記載の文書間関係推定装置。
- 時間情報及びユーザ情報が各々付与された複数の学習用文書からなる学習用文書群における全ての学習用文書間の各々について、前記特徴を抽出する学習用特徴抽出手段と、
前記学習用文書群における全ての学習用文書間の各々について予め定められた文書間の関係と、前記学習用特徴抽出手段によって前記学習用文書群における全ての学習用文書間の各々について抽出された前記学習用文書間に対する前記特徴とに基づいて、前記推定モデルを学習する学習手段と、
を更に含む請求項1〜請求項4の何れか1項記載の文書間関係推定装置。 - 前記学習用文書群における各学習用文書について、前記学習用文書が他の学習用文書と関係がある場合、前記学習用文書と関係がある前記他の学習用文書が1つである制約を生成する学習用制約生成手段を更に含み、
前記学習手段は、前記学習用文書群における全ての学習用文書間の各々について予め定められた文書間の関係と、前記学習用特徴抽出手段によって前記学習用文書群における全ての学習用文書間の各々について抽出された前記学習用文書間に対する前記特徴と、前記学習用制約生成手段によって生成された各学習用文書に対する前記制約とに基づいて、前記推定モデルを学習する請求項5記載の文書間関係推定装置。 - 特徴抽出手段によって、時間情報及びユーザ情報が各々付与された複数の文書からなる文書群における全ての文書間の各々について、文書間の内容の関連性と、文書間の応答関係、及び文書間における何れか一方の文書が同一のユーザ情報が付与された文書のうちの先頭または最後の文書であるか否かを示す特徴を抽出し、
関係推定手段によって、前記文書群における全ての文書間の各々について、前記特徴抽出手段によって抽出された前記文書間に対する前記特徴と、前記特徴に基づいて文書間の関係を推定するための予め学習された推定モデルとに基づいて、前記文書間の関係を推定する
文書間関係推定方法。 - コンピュータを、請求項1〜請求項6の何れか1項記載の文書間関係推定装置を構成する各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012143175A JP5717103B2 (ja) | 2012-06-26 | 2012-06-26 | 文書間関係推定装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012143175A JP5717103B2 (ja) | 2012-06-26 | 2012-06-26 | 文書間関係推定装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014006802A JP2014006802A (ja) | 2014-01-16 |
JP5717103B2 true JP5717103B2 (ja) | 2015-05-13 |
Family
ID=50104439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012143175A Expired - Fee Related JP5717103B2 (ja) | 2012-06-26 | 2012-06-26 | 文書間関係推定装置、方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5717103B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6296651B2 (ja) * | 2014-04-04 | 2018-03-20 | 日本放送協会 | 文書間関係抽出装置およびプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007287134A (ja) * | 2006-03-20 | 2007-11-01 | Ricoh Co Ltd | 情報抽出装置、及び情報抽出方法 |
JP2011180988A (ja) * | 2010-03-03 | 2011-09-15 | Tokyo Institute Of Technology | 感情極性推定装置、感情極性推定方法及び感情極性推定処理プログラム |
-
2012
- 2012-06-26 JP JP2012143175A patent/JP5717103B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014006802A (ja) | 2014-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Montejo-Ráez et al. | Ranked wordnet graph for sentiment polarity classification in twitter | |
US9747895B1 (en) | Building language models for a user in a social network from linguistic information | |
US20170185581A1 (en) | Systems and methods for suggesting emoji | |
US10755177B1 (en) | Voice user interface knowledge acquisition system | |
US9710829B1 (en) | Methods, systems, and articles of manufacture for analyzing social media with trained intelligent systems to enhance direct marketing opportunities | |
US20160196336A1 (en) | Cognitive Interactive Search Based on Personalized User Model and Context | |
US11429834B1 (en) | Neural-based agent assistance interface for providing answers based on a query vector | |
Chatzakou et al. | Detecting variation of emotions in online activities | |
US10009466B2 (en) | System and method for a cognitive system plug-in answering subject matter expert questions | |
US20160196313A1 (en) | Personalized Question and Answer System Output Based on Personality Traits | |
Krishnan et al. | " You're Mr. Lebowski, I'm the Dude": Inducing Address Term Formality in Signed Social Networks | |
CN114528919A (zh) | 自然语言处理方法、装置及计算机设备 | |
Kumar et al. | An analysis on sarcasm detection over twitter during COVID-19 | |
Hou et al. | The COVMis-stance dataset: stance detection on twitter for COVID-19 misinformation | |
Sarkar et al. | NLP algorithm based question and answering system | |
Hussain et al. | A technique for perceiving abusive bangla comments | |
Liao et al. | Status, identity, and language: A study of issue discussions in GitHub | |
Lorenc et al. | Benchmark of public intent recognition services | |
JP5717103B2 (ja) | 文書間関係推定装置、方法、及びプログラム | |
Balali et al. | A supervised approach to predict the hierarchical structure of conversation threads for comments | |
JP6011856B2 (ja) | 文書間関係推定モデル学習装置、文書間関係推定装置、方法、及びプログラム | |
Moraes et al. | Polarity detection of foursquare tips | |
Seon et al. | Improving domain action classification in goal-oriented dialogues using a mutual retraining method | |
WO2021139220A1 (zh) | 疫情监控方法、装置、计算机设备和存储介质 | |
Cole | An information diffusion approach for detecting emotional contagion in online social networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140609 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150310 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5717103 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |