JP5436356B2

JP5436356B2 - 期間別主題語句抽出装置及び方法及びプログラム

Info

Publication number: JP5436356B2
Application number: JP2010153246A
Authority: JP
Inventors: 京介西田; 考藤村; 高秀星出
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2010-07-05
Filing date: 2010-07-05
Publication date: 2014-03-05
Anticipated expiration: 2030-07-05
Also published as: JP2012014643A

Description

本発明は、期間別主題語句抽出装置及び方法及びプログラムに係り、特に、文書集合を期間別に集計し、各期間における文書のタイトル中に出現する語句の統計情報と各期間における文書の全文中に出現する語句の統計情報を基に、期間別の主題を表す語句と、抽出した全主題語句間の関連度を算出する期間別主題語句抽出装置及び方法及びプログラムに関する。

近年では情報科学の発展により、我々が扱う文書数は爆発的に増加している。これらの文書集合から、期間毎の主要な題目（主題）と、主題語句間の関連度を算出する手法の需要が高まっている。期間毎の主題語句と主題語句間の関連度が同時に算出できれば、話題の関連と推移を確認することが容易となる。

所望の時刻における話題性の強度を判定する話題度算出装置が公知である（例えば、特許文献１参照）。この話題度算出装置では、ある時刻における語句の話題度を数値として取得できるが、ある期間における話題度は算出できない。また、ある語句が話題であるかどうかの判断を行うには閾値の設定を行われねばならず、他の期間と比べ当該期間で話題になっている語句を統計的に判断して収集することができない。また、従来技術における、閾値を代表としたパラメータのチューニングは非常に難しい。

また、文書が属するカテゴリ別に主題語を抽出する主題語抽出技術がある（例えば、特許文献２参照）。しかし、この主題語抽出技術では期間別の主題語を抽出することはできない。また、抽出した主題語句間の関連度も算出できない。

各期間の主題語句と、主題語句間の関連度が算出できれば、例えば特許文献２にて公知の可視化技術などを用いて、期間別の主題語とその関連を一目で確認できる。

特開２００７−３２３４３４号公報特開２００９−８６８５９号公報

上記のように、現在は期間毎に主題語句を抽出し、抽出した主題語句間の関連度と併せて出力する技術は存在しない。また、従来技術では、入力する文書集合に合わせてパラメータチューニングを実施する必要がある。

本発明は、上記従来技術の問題点に鑑みて、文書を期間別に集計し、各期間における文書のタイトル中における語句の出現に関する統計情報と、各期間における文書の全文中における語句の出現に関する統計情報を基に、期間毎に主題を表す語句を統計的に抽出し、全主題語句間の関連度を計算する期間別主題語句抽出装置及び方法及びプログラムを提供すること、を目的とするものである。

上記の課題を解決するため、本発明（請求項１）は、文書集合から各期間の主題を表す語句を抽出する期間別主題語句抽出装置であって、
文書集合を期間別に分割する期間別文書分割手段と、
文書を語句の集合に分解する形態素解析手段と、
各期間の文書のタイトル中に出現する語句の統計情報を集計し、第１の記憶手段に格納するタイトル中語句統計情報集計手段と、
各期間の文書の全文中に出現する語句の統計情報を集計し、第２の記憶手段に格納する全文中語句統計情報集計手段と、
前記第１の記憶手段に格納されている前記タイトル中語句統計情報集計手段の集計結果と前記第２の記憶手段に格納されている全文中語句統計情報手段の集計結果を入力として、「期間ｃに属する文書のタイトル中に語句ｗが出現する比率と、前記期間ｃを除く期間に属する文書の全文中に語句ｗが出現する比率が等しい」という帰無仮説の下でフィッシャーの正確確率検定の片側検定を行った結果、有意確率が有意水準αよりも小さな値となる語句を、当該期間cの主題を表す語句として複数抽出する主題語句抽出手段と、を有する。

また、本発明（請求項２）は、各主題語句が含まれる文書を収集する主題語句文書収集手段と、
前記主題語句文書収集手段の収集結果を基に、２つの主題語句間の関連度を計算する主題語句関連度算出手段を更に有する。

また、本発明（請求項３）は、期間別文書分割手段、形態素解析手段、タイトル中統計情報集計手段、全文中語句統計情報集計手段、主題語句抽出手段、記憶手段を有する装置において、文書集合から各期間の主題を表す語句を抽出する期間別主題語句抽出方法であって、
前記期間別文書分割手段が、前記文書集合を期間別に分割する期間別文書分割ステップと、
前記形態素解析手段が、文書を語句の集合に分解する形態素解析ステップと、
前記タイトル中語句統計情報集計手段が、各期間の文書のタイトル中に出現する語句の統計情報を集計し、第１の記憶手段に格納するタイトル中語句統計情報集計ステップと、
全文中語句統計情報集計手段が、各期間の文書の全文中に出現する語句の統計情報を集計し、第２の記憶手段に格納する全文中語句統計情報集計ステップと、
前記主題語句抽出手段が、前記第１の記憶手段に格納されている前記タイトル中語句統計情報集計ステップでの集計結果と前記第２の記憶手段に格納されている全文中語句統計情報ステップでの集計結果を入力として、「期間ｃに属する文書のタイトル中に語句ｗが出現する比率と、前記期間ｃを除く期間に属する文書の全文中に語句ｗが出現する比率が等しい」という帰無仮説の下でフィッシャーの正確確率検定の片側検定を行った結果、有意確率が有意水準αよりも小さな値となる語句を、当該期間cの主題を表す語句として複数抽出する主題語句抽出ステップと、を行う。

また、本発明（請求項４）は、主題語句文書収集手段と主題語句関連度算出手段を更に有する装置において、
前記主題語句文書収集手段が、各主題語句が含まれる文書を収集する主題語句文書収集ステップと、
前記主題語句関連度算出手段が、前記主題語句文書収集ステップにおける収集結果を基に、２つの主題語句間の関連度を計算する主題語句関連度算出ステップと、を更に行う。

また、本発明（請求項５）は、請求項１または２に記載の期間別主題語句抽出装置を構成する各手段としてコンピュータを機能させるための期間別主題語句抽出プログラムである。

上記のように構成された期間別主題語句抽出装置によれば、期間別に集計した文書集合から、文書のタイトル中に出現する語句の統計情報と文書の全文中に出現する語句の統計情報とを区別して利用し、さらに、統計的検定を用いるので、期間別の主題を表す語句を、難解なパラメータチューニングを実施することなく抽出できる。

本発明の第１の実施の形態における主題語句抽出装置の構成図である。本発明の第１の実施の形態における主題語句抽出装置の動作のフローチャートである。本発明の第１の実施の形態における2008年8月における「北京五輪」に関するフィッシャーの正確確率検定を用いた主題語句判定の例である。本発明の第１の実施の形態における2008年8月における語句が主題語句かどうかの判定の例である。本発明の第２の実施の形態における主題語句抽出装置の構成図である。本発明の第２の実施の形態における主題語句抽出装置の動作のフローチャートである。本発明の第２の実施の形態における主題語句間の関連度の例である。

以下図面と共に、本発明の実施の形態を説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態における期間別主題語句抽出装置の構成を示す。

同図に示す期間別主題語句抽出装置１０は、期間別文書分割部１１と形態素解析部１２とタイトル中語句統計情報集計部１３と全文中語句統計情報集計部１４と主題語句抽出部１５から構成され、文書集合を入力として受け取り、期間別の主題語句を出力する。

図２は、本発明の第１の実施の形態における期間別主題語句抽出装置の動作のフローチャートである。

ステップ１０１）期間別文書分割部１１は、入力文書を期間別にそれぞれ集計する。ここで、期間とは、一定の時期から他の一定の時期までの間で、「2010年1月1日〜2010年1月31日」「2010年2月1日〜2010年2月28日」などを指す。月単位・日単位・時間単位のいずれも指定可能で、各期間の長さは不均一でも良い。

ステップ１０２）形態素解析部１２は、文書を受け取って語句に分割する。ここで、語句とは、１つ以上の形態素（名詞、形容詞、動詞）から構成される文字列を指す。

ステップ１０３）タイトル中語句統計情報集計部１３は、期間ｃに属する文書のタイトル中に語句ｗが出現する文書数の合計Ｔｃ（ｗ）をタイトル中の語句統計情報として、全期間・全語句について集計し、メモリ（図示せず）に格納する。

ステップ１０４）全文中語句統計情報集計部１４は、期間ｃに属する文書の全文中に語句ｗが出現する文書数の合計Ｄｃ（ｗ）を全文中の語句統計情報として、全期間・全語句について集計し、メモリ（図示せず）に格納する。

ここで、前記語句統計情報とは、語句の出現に関する情報の統計量（合計、比率、平均、尤度、中央値、最頻値、分散、標準偏差など）を意味するものであって、必ずしも語句の出現する文書数の合計に限られるものではなく、例えば、語句の出現する頻度、語句の出現する段落数、語句の出現する日数などで構成される統計量としても良い。

ステップ１０５）主題語句抽出部１５は、メモリ（図示せず）に格納されている前記タイトル中の語句統計情報と前記全文中の語句統計情報を基に、「期間ｃに属する文書のタイトル中に語句ｗが出現する比率と、前記期間ｃを除く期間に属する文書の全文中に語句ｗが出現する比率が等しい」という帰無仮説の下でフィッシャーの正確確率検定の片側検定を行う。具体的には、前記期間ｃに属する文書（Ｎｃ個）のうち、タイトル中に前記語句ｗが出現する文書（Ｔｃ（ｗ）個）の比率Ｔｃ（ｗ）／Ｎｃが、前記期間ｃを除く期間に属する文書のうち、全文中に語句ｗが出現する文書の比率

よりも有意水準αで有意に高いとき（文献「金明哲、"テキストデータの統計科学入門"，岩波書店、2009」参照）、語句ｗを期間ｃの主題語句として出力する。フィッシャーの正確確率検定は、カイ二乗検定に比べ、文書数が少ない場合でも正確に検定を行える利点がある。

図３は、フィッシャーの正確確率検定において、２００８年８月において語句「北京五輪」が主題かどうかを判断するために用いる２×２の分割表である。この例では、２００８年８月におけるタイトル中に「北京五輪」が出現する文書の比率44/4444が、他の期間における全文中に「北京五輪」出現する比率279/772822よりも有意に高いため（有意確率0.0001938が、有意水準α＝０．０１よりも低い）、「北京五輪」は主題語として抽出される。

図４は、有意水準α＝０．０１として抽出された２００８年８月の主題を表す語句の例である。２００８年８月と強く関連するオリンピックに関する語句が主題語句と判断される一方で、「プロ野球」という他の期間でも出現する語句については主題語句とは判断されていないことがわかる。

ここで、前記主題語句抽出部１５とは、要するに、前記タイトル中の語句統計情報と前記全文中の語句統計情報を比較できる機能を有していればよく、具体的には、前記タイトル中の語句統計情報と前記全文中の語句統計情報の差分により順位付けした上位からＮ個の語句を抽出する機能などがある。また、前記期間ｃのタイトル中と前記期間ｃを除く期間の全文中という比較は、前記期間ｃのタイトル中と全期間の全文中という比較にしてもよい。

また、本発明で使用するパラメータは前記有意水準αのみであるが、統計的検定ではαとして0.05や0.01を用いることが一般的であり、入力する文書集合に合わせて変更する必要は無い。
［第２の実施の形態］
図５は、本発明の第２の実施の形態における主題語句抽出装置の構成を示す。

同図に示す期間別主題語句抽出装置２０は、期間別文書分割部２１と形態素解析部２２とタイトル中語句統計情報集計部２３と全文中語句統計情報集計部２４と主題語句抽出部２５と主題語句文書収集部２６と主題語句関連度算出部２７から構成される。図５に示す構成は、図１に示す主題語句抽出装置１０主題語句文書収集部２６と主題語句関連度算出部２７が付加された構成であり、文書集合を入力として受け取り、期間別の主題語句と、主題語句間の関連度を出力する。

図６は、本発明の第２の実施の形態における主題語句抽出装置の動作のフローチャートである。

ステップ２０１〜２０５）当該ステップは図４に示すステップ１０１〜１０５と同様の動作であるので、その説明を省略する。

ステップ２０６）主題語句別文書集計部は、各主題語句ｔが含まれる文書を、主題語句文書集合Sｔとして、全主題語句について収集する。

ステップ２０７）主題語句関連度算出部は、２つの主題語句ｔ_１とｔ_２の主題語句文書集合Ｓｔ_１とＳｔ_２に含まれる語句ｗの情報を用いて、関連度Ｒ（ｔ_１，ｔ_２）を計算し、出力する。

ここで、Ｎ_１は前記Ｓｔ_１に含まれる語句の種類数、Ｎ_２は前記Ｓｔ_２に含まれる語句の種類数、Ｎ_３は前記Ｓｔ_１と前記Ｓｔ_２の両方に含まれる語句の種類数を表す。

なお、関連度Ｒは２つの主題語句文書集合の関連が分かるものであればいかなるものでもよく、Jaccard係数や、各語句の出現頻度をベクトル化してcosine similarityやユークリッド距離などを用いて計算してもよい。

図７は、主題語句間の関連度の例である。オリンピックに関する語句の関連度が他の語句に比べ高いことが分かる。

また、本発明は、Q&Aコミュニティ上の質問回答文書、ブログエントリ、ニュース記事など様々な文書集合に対して適用可能である。

上記の図１に示す第１の実施の形態における主題語句抽出装置の構成要素及び、図５に示す第２の実施の形態における主題語句抽出装置の構成要素の動作をプログラムとして構築し、主題語句抽出装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

また、構築されたプログラムをハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。

なお、本発明は、上記の実施の形態に限定されること無く、特許請求の範囲内において、種々変更・応用が可能である。

本発明は、文書集合から期間別に主題語句を抽出し、主題語句間の関連度を計算可能な期間別主題語句抽出手法であり、情報整理の支援に利用可能である。

１０，２０主題語句抽出装置
１１，２１期間別文書分割部
１２，２２形態素解析部
１３，２３タイトル中語句統計情報集計部
１４，２４全文中語句統計情報集計部
１５，２５主題語句抽出部
２０主題語句抽出装置
２６主題語句文書収集部
２７主題語句関連度算出部

Claims

文書集合から各期間の主題を表す語句を抽出する期間別主題語句抽出装置であって、
文書集合を期間別に分割する期間別文書分割手段と、
文書を語句の集合に分解する形態素解析手段と、
各期間の文書のタイトル中に出現する語句の統計情報を集計し、第１の記憶手段に格納するタイトル中語句統計情報集計手段と、
各期間の文書の全文中に出現する語句の統計情報を集計し、第２の記憶手段に格納する全文中語句統計情報集計手段と、
前記第１の記憶手段に格納されている前記タイトル中語句統計情報集計手段の集計結果と前記第２の記憶手段に格納されている全文中語句統計情報手段の集計結果を入力として、「期間ｃに属する文書のタイトル中に語句ｗが出現する比率と、前記期間ｃを除く期間に属する文書の全文中に語句ｗが出現する比率が等しい」という帰無仮説の下でフィッシャーの正確確率検定の片側検定を行った結果、有意確率が有意水準αよりも小さな値となる語句を、当該期間cの主題を表す語句として複数抽出する主題語句抽出手段と、
を有することを特徴とする期間別主題語句抽出装置。
各主題語句が含まれる文書を収集する主題語句文書収集手段と、
前記主題語句文書収集手段の収集結果を基に、２つの主題語句間の関連度を計算する主題語句関連度算出手段を
更に有する請求項１記載の期間別主題語句抽出装置。
期間別文書分割手段、形態素解析手段、タイトル中統計情報集計手段、全文中語句統計情報集計手段、主題語句抽出手段、記憶手段を有する装置において、文書集合から各期間の主題を表す語句を抽出する期間別主題語句抽出方法であって、
前記期間別文書分割手段が、前記文書集合を期間別に分割する期間別文書分割ステップと、
前記形態素解析手段が、文書を語句の集合に分解する形態素解析ステップと、
前記タイトル中語句統計情報集計手段が、各期間の文書のタイトル中に出現する語句の統計情報を集計し、第１の記憶手段に格納するタイトル中語句統計情報集計ステップと、
全文中語句統計情報集計手段が、各期間の文書の全文中に出現する語句の統計情報を集計し、第２の記憶手段に格納する全文中語句統計情報集計ステップと、
前記主題語句抽出手段が、前記第１の記憶手段に格納されている前記タイトル中語句統計情報集計ステップでの集計結果と前記第２の記憶手段に格納されている全文中語句統計情報ステップでの集計結果を入力として、「期間ｃに属する文書のタイトル中に語句ｗが出現する比率と、前記期間ｃを除く期間に属する文書の全文中に語句ｗが出現する比率が等しい」という帰無仮説の下でフィッシャーの正確確率検定の片側検定を行った結果、有意確率が有意水準αよりも小さな値となる語句を、当該期間cの主題を表す語句として複数抽出する主題語句抽出ステップと、
を行うことを特徴とする期間別主題語句抽出方法。
主題語句文書収集手段と主題語句関連度算出手段を更に有する装置において、
前記主題語句文書収集手段が、各主題語句が含まれる文書を収集する主題語句文書収集ステップと、
前記主題語句関連度算出手段が、前記主題語句文書収集ステップにおける収集結果を基に、２つの主題語句間の関連度を計算する主題語句関連度算出ステップと、
を更に行う請求項３記載の期間別主題語句抽出方法。
請求項１または２に記載の期間別主題語句抽出装置を構成する各手段としてコンピュータを機能させるための期間別主題語句抽出プログラム。