JP5824415B2 - 住所特徴語抽出装置及び方法及びプログラム - Google Patents

Description

本発明は、特定の場所について書かれた文書の場所推定に利用できる住所特徴語抽出装置及び方法及びプログラムに係り、特に、場所を推定する際に利用する特徴語数の増加を目的とし、特定地域に関する特徴語のスコア算出と、特徴語に対するユーザの認知度に基づいた住所特徴語抽出装置及び方法及びプログラムに関する。

近年、インターネットを利用したユーザの情報発信手段が多様化してきている。これまでは、ユーザの情報発信手段としてブログが広く利用されてきたが、新しい発信手段としてTwitter(登録商標)(http://www.twitter.com)が急速に広まってきた。このTwitter（登録商標）は、１４０文字以内の短い文章を多くのユーザへ情報を発信できる。また、利用方法はブログと異なり、１日に何度も情報発信するユーザが多いため、ユーザの日常的な情報発信ツールへと浸透している。以下、本明細書では、ブログで発信する情報を「文書」、Twitter(登録商標)で発信する文書を「短文書」と呼ぶ。

このTwitter（登録商標）を利用し、多くの技術開発が行われている。代表的な技術として、Twitter（登録商標）を利用したローカルイベント検出技術がある（例えば、非特許文献１参照）。この技術では、Twitter（登録商標）に対して短文書を分析し、ユーザが情報発信した場所を推定し、緯度、経度を短文書に付与している。この場所推定により、推定した場所近くでのイベントを抽出し、そのイベントをローカルイベントとして利用している。この技術の特徴は、誰でも知っている有名なイベントではなく、あまり知られていない比較的小規模なローカルイベントを抽出できることであり、これらのローカルイベントを自動抽出できることでユーザがより網羅的にイベントを知ることができる。この技術はユーザが情報発信している場所を推定することが重要であり、短文書の分析精度に大きく影響を受ける。

K. Watanabe, O. Ochi, M. Okabe, and R. Onai, Jasmin:A Real-time Local-event Detection System based on Geolocation Information Propagated to Microblogs. In Proc. ACM CIKM'11, pages 2541-2544, 2011.

上記従来の手法では、位置情報をもった施設情報ＤＢを手掛かりとして短文書の場所推定を行っている。ここで、施設情報ＤＢは店舗名を中心とした施設名と緯度経度情報で構成されている。場所推定では、施設情報ＤＢが店舗名の空間的分布度合いを算出し、場所推定に利用する施設名を抽出して利用している。図１、図２を用いて具体的に説明する。図１は、施設名「野菜ストア」の空間的分布を示している。「野菜ストア」はチェーン展開などの理由で、施設情報ＤＢには同じ施設名で複数登録されている。この場合、「野菜ストア」は広く分布しているため、短文書に「野菜ストア」を書いたユーザがどの場所にいるかを特定することは困難である。

次に、図２には、「横浜定食屋」の空間的分布を示している。「横浜定食屋」は数も少なく空間的な広がりが狭いため、短文書に「横浜定食屋」と書いたユーザの場所は高い確率で推定できる。

このように、施設情報ＤＢを利用して空間的分布の狭い施設名を用いて短文書を書いたユーザの場所を推定している。

ここで、従来手法を利用した場合、空間分布の狭い施設名は非常に少なく、また、空間分布の狭い施設名はユーザに広く知られていない場所が多いため、場所を推定できる短文書の数が少ないという問題がある。

本発明は、上記の点に鑑みなされたもので、施設名に限定しない幅広い特徴語を抽出し、それら特徴語を用いて短文書の場所推定数を従来技術以上に推定することが可能な住所特徴語抽出装置及び方法及びプログラムを提供することを目的とする。

上記の課題を解決するため、本発明（請求項１）は、特定の場所について書かれた文書の場所推定に利用する住所の特徴語を抽出する住所特徴語抽出装置であって、
住所と作成者が付与された文書を保持する文書記憶手段と、
入力された位置情報に対応する前記文書記憶手段の文書の特徴語について、文外書を作成した作成者群の特定地域での認知度を求め、作成者に対応付けて偏り記憶手段に格納する文書作成確率偏り算出手段と、
前記文書記憶手段から取得した文書を対象として、広域から広域内の狭域へのエリアの縮尺の変化に伴う、該文書に出現する各特徴語の出現確率の変化に基づいて該特徴語の順位上昇率を算出する順位上昇率算出手段と、
前記偏り記憶手段から取得した前記特定地域での認知度と、前記特徴語の順位上昇率から、特徴語スコアを求める特徴語スコア算出手段と、
前記特徴語スコアの上位Ｎ件の特徴語を本文に含む文書に、入力された住所を付与して住所不定文書記憶手段に格納する位置情報付与手段と、を有する。

また、本発明（請求項２）は、前記文書作成確率偏り算出手段において、
前記作成者が作成した文書が特定地域について作成される確率とエントロピーに基づき前記文書の特定地域の偏りを求める手段を含む。

また、本発明（請求項３）は、前記特徴語スコア算出手段において、
前記文書を作成した作成者の数に応じて前記特徴語スコアを算出する手段を含む。

また、本発明（請求項４）は、前記順位上昇率算出手段において、
前記文書記憶手段から取得した全文書のうち、前記入力された位置情報に属する地域に存在する文書の数と属さない地域に存在する文書の数を用いて前記特徴語の順位上昇率を算出する手段を含む。

また、本発明（請求項５）は、前記順位上昇率算出手段において、
前記特徴語の順位上昇率を、縮尺毎に、前記文書記憶手段から取得した全文書の数と、該全文書における入力された前記位置情報と同じ文書の数と、該全文書における該入力された位置情報と同じ文書内での単語出現頻度から、出現回数が該単語出現頻度以上のスコアの単語を特徴語とし、該スコアに応じて特徴語に順位を付与し、該順位に基づいて、前記順位上昇率を算出する手段を含む。

従来の技術では、空間分布の狭い施設名は非常に少なく、また、空間分布の狭い施設名はユーザに広く知られていない場合が多いため、場所を推定できる短文書の数が少ないという問題があった。これに対し、本発明によれば、施設名に限定することなく、多くの特徴語を対象として、特定地域に関する特徴語、かつ、多くのユーザに知られていない特徴語としてのスコアを算出でき、従来技術以上に場所推定できる住所不定文書の数が多くなる。

従来技術における施設名分布（その１）である。 従来技術における施設名分布（その２）である。 本発明の一実施の形態における住所特徴語抽出装置の構成図である。 本発明の一実施の形態における文書記憶部のデータ例である。 本発明の一実施の形態におけるエリア情報記憶部のデータ例である。 本発明の一実施の形態における文書作成確率の偏り記憶部のデータ例である。 本発明の一実施の形態における縮尺情報記憶部のデータ例である。 本発明の一実施の形態における単語基本スコア情報記憶部のデータ例である。 本発明の一実施の形態における住所不定文書情報記憶部のデータ例である。 本発明の一実施の形態における縮尺とエリアの階層である。 本発明の一実施の形態における縮尺とエリア別の文書の例である。 本発明の一実施の形態における全体動作のフローチャートである。 本発明の一実施の形態における文書スコア算出のフローチャートである。 本発明の一実施の形態における特徴語スコア算出のフローチャートである。

まず、本発明の概要を説明する。

本発明では、特定の地域にしか出現せず、かつ、狭域の地域の特定のユーザ層に認知された特徴語を用いて短文書の場所を推定するため、特徴語のスコアを下記の式を用いて算出する。

特徴語スコア＝「特徴語の順位上昇率」×「特定地域での認知度」
「特徴語の順位上昇率」は、広域の狭域での特徴語の出現頻度を基に算出し、この値が大きい場合は特定地域で利用される特徴語とする。具体的には、広域の地域においてはあまり出現する確率は高くないが、狭域の地域においては出現する確率が高い特徴語のスコアを大きくする。また、広域と狭域の両方で出現確率が高い場合は広く知られた特徴語としてスコアを小さくする。そのための算出方法として、ポアソン分布を用いる。例えば、特徴語「青ガエル」（渋谷の待ち合わせ場所）は東京都全体では出現確率が低いが、「東京都渋谷区」では出現率が高いため地域を特定できる特徴語となる。特徴語「ハチ公前」は東京都全体と東京都渋谷区でも高い出現率のため、広く知られた特徴語である。

「特定地域での認知度」は、特徴語を含む文書を作成したユーザ群を基に算出し、この値が大きい場合はある特定のユーザ群にのみ知られている特徴語であることを示し、値が小さい場合は幅広いユーザに認知された有名な特徴語であることを示している。具体的には、ある特徴語を含む文書を作成したユーザが幅広い地域について文書を多く発信している場合、ニュースやその他手段で誰でも知り得る有名な特徴語として考える。そのため、「特定地域での認知度」を算出する場合は、ユーザが各地域に関して文書を書く確率からエントロピーを求める。このエントロピーが大きい場合は特定地域に認識があると判断し、小さい場合は幅広い地域に関して認識が高いと判断する。

以下、図面と共に本発明の実施の形態を説明する。

図３は、本発明の一実施の形態における住所特徴語抽出装置の構成を示す。

同図に示す住所特徴語抽出装置は、位置情報入力部１、文書収集部２、文書作成確率の偏り算出部３、順位上昇率算出部４、特徴語スコア算出部５、位置情報付与部６、文書記憶部７、エリア情報記憶部８、文書作成確率の偏り記憶部９、縮尺情報記憶部１０、単語基本スコア記憶部１１、住所不定文書記憶部１２から構成される。

このうち、文書記憶部７、エリア情報記憶部８、文書作成確率の偏り記憶部９、縮尺情報記憶部１０、単語基本スコア記憶部１１、住所不定文書記憶部１２は、ハードディスクやメモリ等の記憶媒体である。

文書記憶部７は、図４に示すように、予めURL、住所、タイトル、本文、作者ＩＤの各項目を保持する。

エリア情報記憶部８は、図５に示すように、予めエリア名、上位エリア、住所名を保持する。

文書作成確率の偏り記憶部９は、図６に示すように、文書作成確率の偏り算出部３で求められた作者ＩＤと文書作成確率の偏りを保持する。

縮尺情報記憶部１０は、図７に示すように、予め縮尺番号と対応エリアを保持する。

単語記憶スコア記憶部１１は、図８に示すように、順位上昇率算出部４で算出された単語名毎の出現頻度と文書数を保持する。

住所不定文書情報記憶部１２は、図９に示すように、本文、作者ＩＤ、投稿時間、場所を保持する。

エリア情報記憶部８のエリア情報と縮尺情報記憶部１０の縮尺情報の階層関係について、図１０を用いて説明する。各縮尺番号において、エリア名は１個以上存在し、各エリア名は図１０に示すように、上位と下位の階層関係にある。例えば、エリア１の下位には、エリア２、エリア３が存在し、エリア４の上位にはエリア２が存在する。図７の縮尺情報と図５のエリア情報は、これら縮尺番号に応じたエリア名の階層関係を示している。図１１に図１０に対応する縮尺とエリア別の文書の例を示す。

以下に、住所特徴語抽出装置の動作を説明する。

図１２は、本発明の一実施の形態における全体動作のフローチャートを示し、図１３は、文書作成確率の偏り算出部における文書スコア算出のフローチャートであり、図１４は、順位上昇算出部における特徴語スコア算出のフローチャートである。

ステップ１００） 位置情報入力部１において、位置情報を受け取る。

本実施の形態では、受け取る位置情報は「東京都千代田区」や「東京都千代田区大手町」などの住所のテキスト表現とする。ここで、受け取る位置情報はテキスト表現の住所やＧＰＳ情報のように緯度、経度情報であっても実施可能である。本実施の形態では、位置情報入力部１に「東京都千代田区大手町」が入力されたものとして説明する。

ステップ１１０） 文書収集部２は、位置情報入力部１から位置情報を取得する。ここでは、位置情報として「東京都千代田区大手町」を取得したとする。文書収集部２は、文書記憶部７にアクセスし、格納された文書情報から住所に「東京都千代田区大手町」を持つ文書情報を抽出する。当該ステップでは、図４の文書記憶部７の住所において、「東京都千代田区大手町」をもつ文書情報を全て抽出する。これら抽出した文書情報を文書作成確率の偏り算出部３と順位上昇率算出部４に出力する。

ステップ１２０） 文書作成確率の偏り算出部３は、文書情報の本文内容が多くのユーザに知られている有名な情報かどうか（認知度）を示す文書スコアを算出する。当該ステップの処理について、図１３のフローチャートを用いて説明する。

ステップ２１０） 文書作成確率の偏り算出部３は、文書収集部３から文書情報としてURL、住所、タイトル、本文、作者ＩＤを取得すると、エリア情報記憶部８にアクセスし、住所に対応するエリア名を抽出する。ここで、エリア情報記憶部８には、図５に示すような情報が格納されており、「東京都千代田区」はエリア名として「エリア２」を持つ。次に、各作成者ＩＤ_j（ｊ＝0,1,2,…，ｚ）の作成した文書に対し、作者ＩＤ_jが作成した全文書数ｍ_jを下記の式で算出する。

ステップ２２０） 各作者ＩＤ_j（ｊ＝0,1,2,…，ｚ）に対して、下記の式により各エリアｉへの文書作成確率p_iを算出する。

ステップ２３０） 各作者ＩＤ_j（ｊ＝0,1,2,…，ｚ）に対して、下記の式によりエリア全体への文書作成確率の偏りを表すエントロピーを算出する。

各作者ＩＤ_j（ｊ＝0,1,2,…，ｚ）と上記の式で算出した文書作成確率の偏りを対応付けて文書作成確率の偏り記憶部７に格納する。文書作成確率の偏りは、図６に示すように、作者ＩＤ、文書作成確率の偏りから構成される。

ステップ１３０） 順位上昇算出部４により特徴語の順位上昇率を求め、特徴語スコア算出部５により特徴語スコアを算出する。当該ステップの詳細な処理を図１４を用いて説明する。

ステップ３１０） 順位上昇率算出部４は、制御変数ｔに−１を代入し、文書収集部２から入力された情報と文書情報を読み出す。ここでは、住所情報として「東京都千代田区大手町」を読み出す。

ステップ３２０） 順位上昇率算出部４は、制御変数ｔにｔ＋１を代入する。ｔは縮尺を表しており、ループ回数の最大数をｔ_maxとする。ここでは、ｔ＝−１のため、ｔ＝０とし、ｔ_maxは図１０から３とする。

ステップ３３０） 順位情報率算出部４は、エリア情報記憶部８にアクセスし、縮尺ｔに該当する縮尺のエリア名を抽出する。ここでは、ｔ＝０のため、縮尺０のエリア名を抽出する。

次に、順位情報確率算出部４は、以下の手順で文書情報に含まれる特徴語のスコアを算出する。

１）文書収集部２から取得した全文書の数ｎを算出する。

２）文書情報の本文を形態素解析し、形態素解析して抽出した単語の全文書中での出現頻度を単語基本スコア記憶部１１にアクセスし抽出する。ここで、抽出した単語の出現頻度をｓとする。

３）全文書情報に対し、入力された住所と同じ文書の数を算出し、ｋとする。

４）全文書情報に対し、入力された住所と同じ文書内での単語の出現頻度ｒを算出する。

５）出現頻度ｒのポアソン確率を下記の式で算出する。

６）上記の５）のポアソン確率を用いて、出現回数がｒ以上の確率を算出する。

上記のスコアP(x>r)の単語を文書中の全特徴語とする。

ステップ３４０） 順位情報確率算出部４は、ステップ３３０で算出したP(x>r)の単語のスコアに応じて降順でソートし、順位を付与する。縮尺ｔがt_max未満であればステップ３２０に移行し、そうでなければステップ３５０に移行する。

ステップ３５０） 順位情報確率算出部４は、ステップ３２０〜３４０で算出した順位から各縮尺の平均順位と縮尺と最下層の順位を求め、これらの順位を基に下記の式で特徴語の順位上昇率を算出する。

文書を執筆した作者ＩＤ，特徴語、算出した特徴語の順位上昇率を特徴語スコア算出部５へ出力する。

ステップ３６０） 特徴語スコア算出部５は、順位上昇率算出部４から作者ＩＤ，特徴語と順位上昇率を取得すると、作者ＩＤを基に文書作成確率の偏り記憶部９にアクセスし、作者ＩＤの文書作成確率の偏りを下記の式で算出する。

次に、特徴語スコア算出部５は、下記の式で特徴語のスコアを算出する。

算出した特徴語スコアを位置情報付与部６に出力する。

ステップ１４０） 位置情報付与部６は、ステップ３５０で算出された特徴語スコアを降順でソートし、上位Ｎ件を抽出する。次に、住所不定文書記憶部１２にアクセスし、抽出した上位Ｎ件の特徴語を本文に含む単文書に位置情報入力部１で受け付けた住所を付与する。ここで、住所不定文書記憶部１２の住所の欄には、位置情報入力部１で受け付けた住所を記録する。

なお、上記の図３に示す住所特徴語抽出装置の各構成要素の動作をプログラムとして構築し、住所特徴語抽出装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

１ 位置情報入力部
２ 文書収集部
３ 文書作成確率の偏り算出部
４ 順位上昇率算出部
５ 特徴語スコア算出部
６ 位置情報付与部
７ 文書記憶部
８ エリア情報記憶部
９ 文書作成確率の偏り記憶部
１０ 縮尺情報記憶部
１１ 単語基本スコア記憶部
１２ 住所不定文書記憶部

Claims (8)

1. 特定の場所について書かれた文書の場所推定に利用する住所の特徴語を抽出する住所特徴語抽出装置であって、
   住所と作成者が付与された文書を保持する文書記憶手段と、
   入力された位置情報に対応する前記文書記憶手段の文書の特徴語について、該文書を作成した作成者群の特定地域での認知度を求め、作成者に対応付けて偏り記憶手段に格納する文書作成確率偏り算出手段と、
   前記文書記憶手段から取得した文書を対象として、広域から広域内の狭域へのエリアの縮尺の変化に伴う、該文書に出現する各特徴語の出現確率の変化に基づいて該特徴語の順位上昇率を算出する順位上昇率算出手段と、
   前記偏り記憶手段から取得した前記特定地域での認知度と、前記特徴語の順位上昇率から、特徴語スコアを求める特徴語スコア算出手段と、
   前記特徴語スコアの上位Ｎ件の特徴語を本文に含む文書に、入力された住所を付与して住所不定文書記憶手段に格納する位置情報付与手段と、
   を有することを特徴とする住所特徴語抽出装置。
2. 前記文書作成確率偏り算出手段は、
   前記作成者が作成した文書が特定地域について作成される確率とエントロピーに基づき前記文書の特定地域の偏りを求める手段を含む
   請求項１記載の住所特徴語抽出装置。
3. 前記特徴語スコア算出手段は、
   前記文書を作成した作成者の数に応じて前記特徴語スコアを算出する手段を含む
   請求項１記載の住所特徴語抽出装置。
4. 前記順位上昇率算出手段は、
   前記文書記憶手段から取得した全文書のうち、前記入力された位置情報に属する地域に存在する文書の数と属さない地域に存在する文書の数を用いて前記特徴語の順位上昇率を算出する手段を含む
   請求項１記載の住所特徴語抽出装置。
5. 前記順位上昇率算出手段は、
   前記特徴語の順位上昇率を、縮尺毎に、前記文書記憶手段から取得した全文書の数と、該全文書における入力された前記位置情報と同じ文書の数と、該全文書における該入力された位置情報と同じ文書内での単語出現頻度から、出現回数が該単語出現頻度以上のスコアの単語を特徴語とし、該スコアに応じて特徴語に順位を付与し、該順位に基づいて、前記順位上昇率を算出する手段を含む
   請求項１記載の住所特徴語抽出装置。
6. 特定の場所について書かれた文書の場所推定に利用する住所の特徴語を抽出する住所特徴語抽出方法であって、
   住所と作成者が付与された文書を保持する文書記憶手段から、入力された位置情報に対応する文書を取得し、該文書を作成した作成者群の特定地域での認知度を求め、作成者に対応付けて偏り記憶手段に格納する文書作成確率偏り算出ステップと、
   前記文書記憶手段から取得した文書を対象として、広域から広域内の狭域へのエリアの縮尺の変化に伴う、該文書に出現する各特徴語の出現確率の変化に基づいて該特徴語の順位上昇率を算出する順位上昇率算出ステップと、
   前記偏り記憶手段から取得した前記特定地域での認知度と、前記特徴語の順位上昇率から、特徴語スコアを求める特徴語スコア算出ステップと、
   前記特徴語スコアの上位Ｎ件の特徴語を本文に含む文書に、入力された住所を付与して住所不定文書記憶手段に格納する位置情報付与ステップと、
   を行うことを特徴とする住所特徴語抽出方法。
7. 前記文書作成確率偏り算出ステップにおいて、
   前記作成者が作成した文書が特定地域について作成される確率とエントロピーに基づき前記文書の特定地域の偏りを求める
   請求項６記載の住所特徴語抽出方法。
8. コンピュータを、
   請求項１乃至５のいずれか１項に記載の住所特徴語抽出装置の各手段として機能させるための住所特徴語抽出プログラム。

Images