JP5820765B2 - 話題語獲得装置及び方法及びプログラム - Google Patents

Description

本発明は、話題語獲得装置及び方法及びプログラムに係り、特に、指定した場所に関して話題になっている語を獲得するための話題語獲得装置及び方法及びプログラムに関する。

指定した場所に関して話題になっている語（以下、話題語と呼ぶ）を知ることができれば便利である。例えば、旅行の計画を立てる際には、様々な場所に行くことを検討するが、候補となった旅行先に関して、その土地で食べられる食べ物や面白い施設などが話題語として提示できれば、旅行先を決定する上で参考となる。

指定した場所に関する話題語を獲得する技術としては、場所などの状況に関連する文書を検索し、文書に含まれる話題語を獲得する方法が挙げられる。また、対象となる地域全体での全キーワードの出現頻度をn、該当するキーワードの出現頻度をs、指定した場所での全キーワードの出現頻度をkとすると、指定した場所での該当キーワードの出現頻度はsk/nであることが期待されるが、それと比較して実際の指定した場所での該当キーワードの出現頻度がrであったときにその事象が起こる確率を計算し、その確率値に基づいて話題語を獲得する方法が想定される。

特開2012-22443号公報

しかしながら、特許文献１の方法では、指定した場所に関する文書を検索する必要があるため、話題語獲得の処理に時間がかかってしまうという問題があった。また、確率を計算する方法としてはポアソン確率などを計算することが考えられるが、このような確率値の計算は複雑であるため、やはり話題語獲得の処理に時間がかかってしまうという問題があった。この問題を回避するためには予め話題語の候補を限定することが考えられるが、話題語の候補を頻度の高いものに限定するという方法では、頻度が少ないがその場所で話題となっている話題語を除去してしまうため、獲得される話題語が不適切なものになってしまい、問題を解決できない。

本発明は上記の問題点に鑑みてなされたものであって、全キーワードの場所毎の分布と各キーワードの場所毎の分布との違いを算出し、分布に違いがみられるキーワードを話題語の候補として用いることにより、処理に時間をかけずに適切な話題語を獲得することが可能な話題語獲得装置及び方法及びプログラムを提供することを目的とする。

上記の課題を解決するため、本発明（請求項１）は、指定した場所に関する話題語を獲得する話題語獲得装置であって、
入力された全てのキーワードがどの場所に関して多く出現しているか示す全キーワード分布を算出し、各キーワードの場所毎の個別キーワード分布を算出し、該全キーワード分布と該個別キーワード分布とから場所毎の分布違いを表す分布相違スコアを算出し、キーワード毎にキーワードスコア記憶手段に格納する前処理手段と、
入力されたキーワードに基づいて前記キーワードスコア記憶手段を参照し、該入力されたキーワードに対する分布相違スコアを取得し、該分布相違スコアが高いキーワードの上位N件を選択して出力する話題語獲得手段と、を有する。

また、本発明（請求項２）は、前記前処理手段に、
ある場所に関するキーワードの出現頻度が格納されたキーワード頻度記憶手段と、
前記キーワード頻度記憶手段中のキーワードの頻度を足し合わせることにより全キーワード頻度を求める全キーワード頻度算出手段と、
前記キーワード頻度記憶手段の各キーワードの場所毎の頻度を取得する個別キーワード頻度取得手段と、
前記全キーワード頻度から得られる全キーワード分布と前記個別キーワード頻度から得られる個別キーワード分布から前記分布相違スコアを算出する分布相違スコア算出手段と、
を含む。

また、本発明（請求項３）は、前記分布相違スコア算出手段において、
前記分布相違スコアを、カルバック・ライブラー・ダイバージェンス、または、ジェンセン・シャノン・ダイバージェンスを用いて求める。

また、本発明（請求項４）は、前記話題語獲得手段において、
前記分布相違スコアが高いキーワードの上位Ｒ％を選択して出力する。

上記のように本発明によれば、全キーワードの場所毎の分布と各キーワードの場所毎の分布との違いを算出し、分布に違いがみられるキーワードを話題語の候補として用いることにより、処理に時間をかけずに適切な話題語を獲得することができる。

本発明の一実施の形態における話題語獲得装置の構成図である。 本発明の一実施の形態における話題語獲得の前処理のフローチャートである。 本発明の一実施の形態におけるキーワード頻度データベースの例である。 本発明の一実施の形態における全キーワード頻度の取得結果の例である。 本発明の一実施の形態における分布相違スコアの算出結果の例である。 本発明の一実施の形態における話題語獲得処理のフローチャートである。

以下、図面と共に本発明の実施の形態を説明する。

図１は、本発明の位置実施の形態における話題語獲得装置の構成図である。

図１に示す話題語獲得装置１００は、全キーワード頻度取得部１と、個別キーワード頻度取得部２と、分布相違スコア算出部３と、分布相違スコア取得部４と、話題語候補選択部５と、キーワード頻度データベース６と、キーワードスコアデータベース７を有する。

キーワード頻度データベース６は、文書内でキーワードが出現した場所毎の頻度が格納されている。キーワードスコアデータベース７は、キーワード毎の分布相違スコアを格納する。

全キーワード頻度取得部１は、キーワード頻度データベース６を参照して、全キーワードの場所毎の頻度を取得する。

個別キーワード頻度取得部２は、キーワード頻度データベース６を参照して、入力された個別のキーワードの場所毎の頻度を取得する。

分布相違スコア算出部３は、全キーワードの場所毎の分布と各キーワードの場所毎の分布との違いを表す分布相違スコアを算出し、キーワードと分布相違スコアの組をキーワードスコアデータベース７に格納する。

分布相違スコア取得部４は、キーワードスコアデータベース７を参照して、入力されたキーワードに対する分布相違スコアを取得する。

話題語候補選択部５は、入力のキーワード集合の中から、分布相違スコアの高い上位N件のキーワードを選択して話題語候補集合を出力する。

次に、話題語獲得装置１００の動作をより具体的に説明する。

本発明は、分布相違スコアを算出するまでの話題語獲得の前処理と、話題語獲得処理に分けられる。

図２は、本発明の一実施の形態における話題語獲得の前処理のフローチャートである。

ステップ１０１） 全キーワード頻度取得部１では、キーワード頻度データベース６を参照して、全キーワードの場所毎の頻度を取得する。キーワード頻度データベース６の例を図３に示す。キーワード頻度データベース６は、各キーワードがどの場所に関して述べられているかを表すデータベースである。キーワードがどの場所に関して述べられているかを算出する方法はどのようなものでもかまわない。例えば、文書の中で「今日は横浜でコーヒーを飲みました」というようにキーワード「コーヒー」と場所「横浜」が文中で一緒に出現した場合に、頻度を１増やすというようにして算出することが考えられる。全キーワード頻度は、各場所に関して、キーワード頻度データベース６中のキーワードの頻度を足し合わせることによって取得する。例えば場所L1の場合、（１００＋５＋３０＋１５０＋５０＋１０＋・・・）として求める。全キーワード頻度を取得した結果の例を図４に示す。

ステップ１０２） 個別キーワード頻度取得部２では、キーワード頻度データベース６を参照して、入力された個別のキーワードの場所毎の頻度を取得する。キーワード頻度データベース６の各行が、そのキーワードに関する個別キーワード頻度となる。

ステップ１０３） 分布相違スコア算出部３では、全キーワードの場所毎の分布と各キーワードの場所毎の分布との違いを表す分布相違スコアを算出し、キーワードと分布相違スコアの組をキーワードスコアデータベース７に格納する。ここでは、分布相違スコアとして、カルバック・ライブラー・ダイバージェンス（以下、KLダイバージェンスと呼ぶ）を用いることとする。分布相違スコアは全キーワードの場所毎の分布と各キーワードの場所毎の分布との違いを表していればどのようなものでもよく、ジェンセン・シャノン・ダイバージェンスを用いたりしてもかまわない。KLダイバージェンスは以下の式で計算できる。

ここで、P(x)は全キーワード頻度から得られる頻度の分布、Q(x)は個別キーワードから得られる頻度の分布を表す。xには各場所が入り、例えばP(L1)＝２００００／（２００００＋１００００＋８００００＋６００００＋５００００＋１００００＋１００００）≒０．０８３３となる。KLダイバージェンスを分布相違スコアとして各キーワードの分布相違スコアを算出した結果の例を図５に示す。得られたキーワードと分布相違スコアの組をキーワードスコアデータベース７に格納する。

ステップ１０４） 全てのキーワードについてスコアを算出したならば、処理当該前処理を終了し、未処理のキーワードがある場合にはステップ１０２に戻る。

図６は、本発明の一実施の形態における話題語獲得処理のフローチャートである。

ステップ２０１） 分布相違スコア取得部４では、キーワードスコアデータベース７を参照して、入力されたキーワードに対する分布相違スコアを取得する。ここでは、入力として、図５で示した６つのキーワードが与えられたものとする。図５の各分布相違スコアが取得される。

ステップ２０２） 全てのキーワードについてスコアを取得した場合にはステップ２０３に移行し、未取得のキーワードのスコアがある場合はステップ２０１に移行する。

ステップ２０３） 話題語候補選択部５では、入力のキーワード集合の中から、分布相違スコアの高いキーワードを選択して話題語候補集合を出力する。ここでは、分布相違スコアの高い上位N件を選択することとし、N=2とする。選択方法はこれに限るものではなく、Nに異なる値を用いたり、上位N件ではなく上位R%のキーワードを選択したりしてもよい。分布相違スコアをもとに上位２件のキーワードを選択すると、「大仏」および「ビール工場」が得られる。

このように、全キーワードから得られる頻度の分布と違いを表す分布相違スコアを求め、話題語の候補を分布相違スコアの高いものに限定することにより、適切な話題語の候補を残すことができ、それによって獲得される話題語も適切なものとなる。一方、話題語の候補を頻度の高いものに限定してしまうと、この例の場合では「コーヒー」および「カレー」が選択されることとなってしまい、その場所に関して話題になっているとはいえない不適切な話題語候補となってしまうことがわかる。

なお、上記の図１に示す話題語獲得装置の各構成要素の動作をプログラムとして構築し、話題語獲得装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

１ 全キーワード頻度取得部
２ 個別キーワード頻度取得部
３ 分布相違スコア算出部
４ 分布相違スコア取得部
５ 話題語候補選択部
６ キーワード頻度データベース
７ キーワードスコアデータベース

Claims (8)

1. 指定した場所に関する話題語を獲得する話題語獲得装置であって、
   入力された全てのキーワードがどの場所に関して多く出現しているか示す全キーワード分布を算出し、各キーワードの場所毎の個別キーワード分布を算出し、該全キーワード分布と該個別キーワード分布とから、場所毎の分布違いを表す分布相違スコアを算出し、キーワード毎にキーワードスコア記憶手段に格納する前処理手段と、
   入力されたキーワードに基づいて前記キーワードスコア記憶手段を参照し、該入力されたキーワードに対する分布相違スコアを取得し、該分布相違スコアが高いキーワードの上位N件を選択して出力する話題語獲得手段と、
   を有することを特徴とする話題語獲得装置。
2. 前記前処理手段は、
   ある場所に関するキーワードの出現頻度が格納されたキーワード頻度記憶手段と、
   前記キーワード頻度記憶手段中のキーワードの頻度を足し合わせることにより全キーワード頻度を求める全キーワード頻度算出手段と、
   前記キーワード頻度記憶手段の各キーワードの場所毎の頻度を取得する個別キーワード頻度取得手段と、
   前記全キーワード頻度から得られる全キーワード分布と前記個別キーワード頻度から得られる個別キーワード分布から前記分布相違スコアを算出する分布相違スコア算出手段と、
   を含む
   請求項１記載の話題語獲得装置。
3. 前記分布相違スコア算出手段は、
   前記分布相違スコアを、カルバック・ライブラー・ダイバージェンス、または、ジェンセン・シャノン・ダイバージェンスを用いて求める
   請求項２記載の話題語獲得装置。
4. 前記話題語獲得手段は、
   前記分布相違スコアが高いキーワードの上位Ｒ％を選択して出力する
   請求項１記載の話題語獲得装置。
5. 指定した場所に関する話題語を獲得する話題語獲得方法であって、
   前処理手段が、入力された全てのキーワードがどの場所に関して多く出現しているか示す全キーワード分布を算出し、各キーワードの場所毎の個別キーワード分布を算出し、該全キーワード分布と該個別キーワード分布とから、場所毎の分布違いを表す分布相違スコアを算出し、キーワード毎にキーワードスコア記憶手段に格納する前処理ステップと、
   話題語獲得手段が、入力されたキーワードに基づいて前記キーワードスコア記憶手段を参照し、該入力されたキーワードに対する分布相違スコアを取得し、該分布相違スコアが高いキーワードの上位N件を選択して出力する話題語獲得ステップと、
   を行うことを特徴とする話題語獲得方法。
6. 前記前処理ステップにおいて、
   ある場所に関するキーワードの出現頻度が格納されたキーワード頻度記憶手段中のキーワードの頻度を足し合わせることにより全キーワード頻度を求める全キーワード頻度算出ステップと、
   前記キーワード頻度記憶手段の各キーワードの場所毎の頻度を取得する個別キーワード頻度取得ステップと、
   前記全キーワード頻度から得られる全キーワード分布と前記個別キーワード頻度から得られる個別キーワード分布から前記分布相違スコアを算出する分布相違スコア算出ステップと、
   を含む
   請求項５記載の話題語獲得方法。
7. 前記分布相違スコア算出ステップにおいて
   前記分布相違スコアを、カルバック・ライブラー・ダイバージェンス、または、ジェンセン・シャノン・ダイバージェンスを用いて求める
   請求項６記載の話題語獲得方法。
8. コンピュータを、
   請求項１乃至４のいずれか１項に記載の話題語獲得装置の各手段として機能させるための話題語獲得プログラム。

Images