JP5798081B2 - 情報検索装置及び方法及びプログラム - Google Patents

Description

本発明は、情報検索装置及び方法及びプログラムに係り、特に、検索者が地理的範囲を地図上の表示範囲で指定すると共に、時間を指定して検索を行うことができる文書検索サービスにおいて、その条件下で特徴的なキーワードを検索前に表示させることで検索者の検索を支援するための情報検索装置及び方法及びプログラムに関する。

インターネット上の文書を検索する検索エンジンにおけるキーワード提示機能として、現在どのようなキーワードでの検索が増加しているか解析を行い、増加しているキーワードを提示することで、検索者の検索を支援しているというものがある(例えば、非特許文献１参照)。

このような時間的に特徴的なキーワードを抽出するためには、検索対象文書の投稿時刻情報とその中に含まれるキーワードのデータや、検索エンジンの検索ログデータ（検索時刻と投入キーワード）を任意の単位（例として１日単位や１時間単位）で解析し、出現回数が急増した特徴的なキーワードを検出する。特徴的であるかは標準偏差やポアソン確率を用いることで判定可能である。例えば、品質管理において利用される管理図による手法では過去数日間（任意の期間）の移動平均値に対して３σ以上（σは標準偏差）上昇している場合に異常値と判定しており、その場合に特徴的であると判定することができる。検索対象文書のデータを使用する際には、特許文献１の技術を用いれば検索対象文書から時間表現を抽出することができ、それを投稿時刻の代わりに利用することができる。また、特許文献２の技術を用いれば文書内の固有表現のみを抽出することができるので、双方の出力を時間情報と固有表現の組み合わせのデータとなり、上記検索ログデータと同様に特徴的なキーワードを抽出可能である。

また、文書内のテキストを解析して地名情報を特定する手法が提案されている（例えば、非特許文献２参照）。この手法の結果を用いることで各文書がどの地域に関係しているかを解析することが可能である。これを用いることで、予め用意しておいたキーワード集合がどの地域に関係付けられた文書で出現しているか解析でき、地理的な条件下における検索キーワードの推薦が可能となる。具体的な手法としては、地域を東西・南北それぞれ200ｍや緯度経度で8秒毎などの固定の値で区切り（メッシュと呼ぶ）、メッシュ毎に関連する文書集合中の各キーワードの頻度を分析する。複数のメッシュを含むある地域において、あるキーワードの頻度が全体の頻度分布中で特徴的に高い場合、そのキーワードは当該地域での推薦すべきキーワードであると判定できる。特徴的であるかは前記と同様に全メッシュにおける平均出現頻度に対して当該メッシュでの出現頻度が3σ（σは標準偏差）以上高い場合に特徴的と判断しても良いし、ポアソン確率を用いることで判定可能である。

上記を組み合わせて、時間と地理的な情報双方を用いて特徴的なキーワードを抽出するためには、例えば、地理的に（緯度、経度）の２次元の分布に時間（日単位）の次元を加えて３次元における分布情報を保持することで可能だと考える。地理的には緯度経度を8000ミリ秒毎に区切り、時間的には１日単位で区切ることで、図１のような３次元メッシュを作成する事ができ、それぞれのメッシュのデータとしては検索対象文書中で地理と時間が対応する文書に含まれるキーワードとその頻度情報が格納される。３次元メッシュを用いて、各メッシュ（複数選択可）で特徴的なキーワードを取得するためには、メッシュに含まれる全キーワードそれぞれに対して、ポアソン確率を計算することで可能である。ポアソン確率は下記の式で計算可能であり、その確率が高いキーワードが特徴的であると言える。

上記の式中に用いられている各変数は下記の通りである。

・n ：全検索対象文書数；
・s ：全検索対象文書内での当該キーワードの出現頻度；
・k ：当該メッシュ内の全キーワードの出現頻度の合計；
・r ：当該メッシュ内での当該キーワードの出現頻度；
ただし、当該機能での計算においてn , sは事前に設定しておく。

特開２０１１−０８６１５２号公報 特開２００７−３２３２７１号公報

Google急上昇ワード http://www.google.co.jp/m/trends 平野徹、他：地理的距離と有名度を用いた地名曖昧性解消 情報処理学会全国大会 2008.

しかしながら、上記従来の技術では、指定した時間的条件下での統計的に特徴的でも、ユーザに有用とは限らないという問題がある。

ある時間的条件において特徴的でも、既にその前の時間的条件下で話題となった情報が慣性的に高頻度で存在しているだけで、ユーザとして有用と感じられない場合がある。これは、一般に話題というものは世間に広まる段階で注目を集めるが、広まった後には会話や文書（検索対象となるWeb文書を想定）においては残留するものの、注目する度合いは低下するという傾向があるためである。つまり、文書上に登場する頻度と注目される度合いの間には、世間に広まる段階では相関度が高いが、広まった後は文書上の頻度は残留するものの、注目される度合いは早期に低下してしまう。そのため、文書上の頻度のみに着目して特徴的かを判断することは、世間に広まった後ではユーザの注目度と異なった情報推薦になっている可能性があるという課題がある。そのため、出現頻度が上昇中のキーワードを出力する方がユーザにとって有用である。

図２に、ある地理的範囲における、あるキーワードの特徴度の推移の例を示す。この場合は月単位で時間指定を行える。このキーワードが特徴的であるかという閾値を0.6とした場合、5月〜8月は超えているため特徴的であると言える。しかし、7月をピークに特徴度が下がっているため、特徴度が閾値を超えているからといって、8月を指定した条件下で当該キーワードを出力してもユーザはうれしさを感じない場合が考えられる。

本発明は、上記の点に鑑みなされたもので、指定された時間情報、地理情報で特徴的なキーワードを出力する際に、注目度の高いキーワードを出力でき、ユーザの利便性を高めることが可能な情報検索装置及び方法及びプログラムを提供することを目的とする。

上記の課題を解決するため、本発明（請求項１）は、検索者が、時間と、地図上の表示範囲で指定した地理的範囲に基づいて特徴的なキーワードを提示するための情報検索装置であって、
時間情報と経度番号、緯度番号を合わせてメッシュ番号とし、該メッシュ番号毎のキーワードのスコアからなる３次元メッシュ記憶手段と、
前記検索者から入力された地理範囲及び時間範囲に含まれるメッシュＩＤに基づいて、前記３次元メッシュ記憶手段からキーワードを出力候補として抽出するキーワード抽出手段と、
地理的な範囲を固定し、指定時刻と過去に規定のＮ単位分の時刻におけるキーワードに対応する合計値を取得して特徴度を求める特徴度計算手段と、
前記特徴度の時間的遷移から上昇傾向にあるキーワードを出力する出力キーワード決定手段と、を有し、
前記出力キーワード決定手段は、
前記特徴度の時間的遷移を、
最小二乗法により、特徴度f(t)=αt＋β(但し、tは時間変数、αは係数、βは固定値)の型式の一次方程式に近似させ、係数αが正であり、該特徴度が閾値以上のキーワードを出力する手段を含む。

また、本発明（請求項２）は、検索者が、時間と、地図上の表示範囲で指定した地理的範囲に基づいて特徴的なキーワードを提示するための情報検索装置であって、
時間情報と経度番号、緯度番号を合わせてメッシュ番号とし、該メッシュ番号毎のキーワードのスコアからなる３次元メッシュ記憶手段と、
前記検索者から入力された地理範囲及び時間範囲に含まれるメッシュＩＤに基づいて、前記３次元メッシュ記憶手段からキーワードを出力候補として抽出するキーワード抽出手段と、
地理的な範囲を固定し、指定時刻と過去に規定のＮ単位分の時刻におけるキーワードに対応する合計値を取得して特徴度を求める特徴度計算手段と、
前記特徴度の時間的遷移から上昇傾向にあるキーワードを出力する出力キーワード決定手段と、を有し、
前記特徴度計算手段において、未来のＮ´単位も含める。

また、本発明（請求項３）は、検索対象文書を入力とし、各ページに対して、ページ番号を決定し、該ページ番号に対応させてキーワード、地名表現、地理情報、時間情報を抽出し、解析結果記憶手段に格納する文書解析手段と、
前記解析結果記憶手段の情報を取得し、前記地理情報から緯度番号、経度番号を抽出し、時間情報と合わせてメッシュ番号とし、該メッシュ番号ごとにキーワードの数を合計し、前記３次元メッシュ記憶手段に格納する前処理手段を更に有する。

上記のように、本発明によれば、指定された時間情報、地理範囲で特徴的なキーワードを出力する際に、周辺時刻での特徴度を考慮して、出力するキーワードのトレンドが上昇中のキーワードのみを出力することで、ユーザの利便性を向上できる。

時間と地理的情報を用いて特徴キーワードを抽出する例である。 ある地理的範囲における、あるキーワードの特徴度の推移の例である。 本発明の一実施の形態におけるインタフェースのイメージである。 本発明の一実施の形態における情報検索装置の構成図である。 本発明の一実施の形態における前処理の動作を示す図である。 本発明の一実施の形態における文書解析部の処理を示す図である。 本発明の一実施の形態における３次元メッシュテーブルの例である。 本発明の一実施の形態におけるキーワード抽出処理の動作を示す図である。 本発明の一実施の形態におけるキーワード抽出処理部の処理を説明するための図である。 本発明の実施例２のキーワード抽出処理部の処理を説明するための図である。 本発明の実施例２の閾値設定の例である。

以下、図面と共に本発明の実施の形態を説明する。

本発明を実施する際の処理は「前処理」と「キーワード抽出処理」に分けられる。

「前処理」は検索対象文書を解析し、３次元メッシュの各メッシュに格納するデータを抽出・計算し、保存領域に格納する処理である。

「キーワード抽出処理」は検索者が指定した時間及び地理的範囲に応じて、特徴的なキーワードを出力する機能である。

本発明が想定するサービスは、検索者が図３のようなインタフェースを用いて地理的範囲と時間を指定した上で、キーワードによる検索を行う検索サービスであり、本発明を用いることで検索者のキーワード入力を補助することが可能である。

図４は、本発明の一実施の形態における情報検索装置の構成を示す。

同図に示す情報検索装置は、前処理部１００とキーワード抽出処理部２００、解析結果保存テーブル１０、３次元メッシュテーブル２０から構成される。解析結果保存テーブル１０と３次元メッシュテーブル２０は、メモリやハードディスク等の記憶媒体である。

前処理部１００は、文書解析部１１０と３次元メッシュテーブル作成部１２０を有し、キーワード抽出処理部２００は、メッシュ番号計算部２１０、キーワード取得部２２０、特徴度計算部２３０、出力キーワード決定部２４０を有する。

以下に、前処理部１００で行われる前処理と、キーワード抽出処理部２００で行われるキーワード抽出処理について説明する。

［前処理］
図５に前処理の流れを示す。

文書解析部１１０は、検索対象文書が入力されると、後述する方法により、ページ番号毎に、キーワード、地理情報、時間情報を抽出し、解析結果保存テーブル１０に格納する。

３次元メッシュテーブル作成部１２０は、解析結果保存テーブル１０の情報を読み込み、３次元メッシュテーブル２０を生成する。

図６に基づいて、前処理部１００の処理を説明する。

文書解析部１１０は、検索対象文書を入力とし、各ページに対して下記の処理を行う。

ステップ１１１） ページ番号決定：
ページ番号をユニークに決定する。

ステップ１１２） 推薦候補キーワード抽出：
文書中の推薦候補キーワードを抽出する。当該推薦候補キーワードの抽出などには、特許文献２等で示される従来の手法を用いることができる。

ステップ１１３） 地名表現抽出：
文書中に記述された地名と思われる表現を抽出する。地名は必ずしも完全な住所でなくとも、断片的な地名（例えば「浜松」など）でも構わない。これには非特許文献１等で示される従来の手法を用いることができる。

ステップ１１４） 地理情報抽出：
抽出した地名表現から緯度経度情報を抽出する。地名とその領域が記された辞書を用意しておき、文書中に表れる地名をパターンマッチする方法を使うことができる。

ステップ１１５） 時間情報抽出：
文中の時間表現を抽出する。時間表現の抽出には特許文献１等で示される従来の手法を用いることができる。抽出の際には任意の単位の時間情報とする（例：日単位など）。

ステップ１１６） 解析結果保存：解析結果保存テーブル１０に以下のような情報を保存する。

＜ページ番号＞＜キーワード＞＜地理情報（緯度経度）＞＜時間情報＞
次に、３次元メッシュテーブル作成部１２０について説明する。

３次元メッシュテーブル作成部１２０は、地理情報の緯度及び経度それぞれを8000ミリ秒単位など任意の単位で集約して番号を決定する。例えば日本の西端、南端をそれぞれ0番として、8000ミリ秒単位で1番、2番と番号を決定し、各緯度及び経度を番号に変換する。

次に、解析結果保存テーブル１０の時間情報と上記で変換された経度番号、緯度番号を合わせてメッシュ番号とする。

例：20110908-5350-6000 (時間情報-緯度番号-経度番号)
次に、メッシュ番号毎のキーワードのスコアを求め、３次元メッシュテーブル２０に図７に示す構造で保存する。ここで、キーワードのスコアとしては、キーワードの出現頻度の合計値、または、キーワードが出現する文書数の合計値等を用いることが可能である。１つのページ番号の地理情報、時間情報に複数のデータがある場合は全ての組み合わせについて、加算を行う。メッシュの時間の単位は任意に（日、月、年）などの単位を用いても良い。図７は日単位の例である。

［キーワード抽出処理］
次に、キーワード抽出処理について説明する。

キーワード抽出部２００は、検索者が図３のインタフェースを用いて指定した時間（yyyy.mm.dd ３次元メッシュ作成時の時間単位）と地理範囲（南西の点の緯度経度、東北の点の緯度経度）を入力として、出力する。処理の流れを図８に示す。時間は任意の単位での指定とする。

ステップ２０１） メッシュ番号計算：
メッシュ番号計算部２１０は、入力された時間情報、地理範囲に含まれるメッシュIDを計算し、リストとしてメッシュ情報取得部２２０に入力する。

ステップ２０２） キーワード取得：
キーワード取得部２２０は、入力されたメッシュIDのリストをキーとして３次元メッシュ番号テーブル２０からキーワードデータを取得する。

ステップ２０３） 特徴度計算：
特徴度計算部２３０は、キーワードデータ取得部２２０が取得した全てのキーワードに対して、地理範囲は固定し、時間情報を指定時刻と過去に規定のN単位分の時刻それぞれにおいて、キーワードデータを３次元メッシュテーブル２０から順次取得し、それぞれの出力候補キーワードの特徴度を計算する。特徴度の計算は、「従来の技術」章で示したポアソン確率の計算や、"当該範囲とその他の範囲"と"当該キーワードの割合と多のキーワードの割合"の分割表を用いてカイ二乗値を計算し、当該範囲で当該キーワードの割合の象限の値を特徴度としてもよい。

ステップ２０４） 出力キーワード決定：
出力キーワード決定部２４０は、特徴度を計算した各キーワードに対して、過去N単位と当該指定時間の特徴度の遷移を最小二乗法により一次方程式へ近似させた場合に、特徴度f(t)は時間変数tと、係数α, 固定値βを用いて、f(t)＝αt＋βとして表す。なお、最小二乗法による一次方程式への近似の際に、過去N単位だけでなく、指定時刻よりも未来方向にN単位も含めて行うことも可能である。

上記のキーワード抽出処理部２００の動作例を図９に示す。

（１）キーワード取得部２２０において、メッシュ番号テーブル２０からメッシュＩＤリストの範囲のキーワードを全て取得する。

（２）特徴度計算部２３０は、地理的範囲を固定して、過去のN単位毎に出力候補語の特徴度を計算する。図９では、Keyword A, Keyword B, Keyword C, Keyword Dの４つのキーワードの特徴度を示している。

（３）出力キーワード決定部２４０は、最小二乗法による一次方程式への近似として、例えば、Keyword Aについては、α＝0.2とした場合、
Keyword A: f(t)=0.2t+βa
のように計算する。各キーワードの特徴度が所定の閾値を越え、傾きが正のキーワードのみを出力する。

以下に、上記の実施の形態の動作を具体的に説明する。

［実施例１］
出力キーワード決定部２４０において、当該時刻の特徴度Sに対して、事前に設定しておいた閾値Tを用いて、「S≧T」かつ「α≧0」であるキーワードを出力することで、注目度合いが上昇しているキーワードのみを出力できる。キーワードの出力順は特徴度順としてもよいし、下記の式を用いて双方の値を考慮したS'でソートしても良い。γは規定の定数、
S'＝S+γα
［実施例２］
図１０は、本発明の実施例２のキーワード抽出処理部の処理を説明するための図である。

本実施例では、出力キーワード決定部２４０において、図９に示す（３）までの処理に加えて、傾きに応じて特徴度の閾値を設定し、当該閾値Tを特徴度の近似方程式の傾きαによって変化させる。Tは例えば下記のような式で決定することが考えられる。T_base及びBは規定の定数とする。

図１１に示すように、当該時刻の特徴度Sが計算された閾値T(α)よりも高いキーワードを出力することで、上昇中のキーワードを出力しやすくなる。また、傾きαが高ければ特徴度自体が高くなくても出力できるため、注目が高まり始めているキーワードも出力できる。

キーワードの出力順は特徴度Sの順に出力しても、T(α)と特徴度Sの差の大きさ順に出力しても良い。

なお、上記の図４の情報検索装置の各構成要素の動作をプログラムとして構築し、情報検索装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

１０ 解析結果保存テーブル
２０ ３次元メッシュテーブル
１００ 前処理部
１１０ 文書解析部
１２０ ３次元メッシュテーブル作成部
２００ キーワード抽出処理部
２１０ メッシュ番号計算部
２２０ キーワード取得部
２３０ 特徴度計算部
２４０ 出力キーワード決定部

Claims (6)

1. 検索者が、時間と、地図上の表示範囲で指定した地理的範囲に基づいて特徴的なキーワードを提示するための情報検索装置であって、
   時間情報と経度番号、緯度番号を合わせてメッシュ番号とし、該メッシュ番号毎のキーワードのスコアからなる３次元メッシュ記憶手段と、
   前記検索者から入力された地理範囲及び時間範囲に含まれるメッシュＩＤに基づいて、前記３次元メッシュ記憶手段からキーワードを出力候補として抽出するキーワード抽出手段と、
   地理的な範囲を固定し、指定時刻と過去に規定のＮ単位分の時刻におけるキーワードに対応する合計値を取得して特徴度を求める特徴度計算手段と、
   前記特徴度の時間的遷移から上昇傾向にあるキーワードを出力する出力キーワード決定手段と、を有し、
   前記出力キーワード決定手段は、
   前記特徴度の時間的遷移を、
   最小二乗法により、特徴度f(t)=αt＋β(但し、tは時間変数、αは係数、βは固定値)の型式の一次方程式に近似させ、係数αが正であり、該特徴度が閾値以上のキーワードを出力する手段を含む
   ことを特徴とする情報検索装置。
2. 検索者が、時間と、地図上の表示範囲で指定した地理的範囲に基づいて特徴的なキーワードを提示するための情報検索装置であって、
   時間情報と経度番号、緯度番号を合わせてメッシュ番号とし、該メッシュ番号毎のキーワードのスコアからなる３次元メッシュ記憶手段と、
   前記検索者から入力された地理範囲及び時間範囲に含まれるメッシュＩＤに基づいて、前記３次元メッシュ記憶手段からキーワードを出力候補として抽出するキーワード抽出手段と、
   地理的な範囲を固定し、指定時刻と過去に規定のＮ単位分の時刻におけるキーワードに対応する合計値を取得して特徴度を求める特徴度計算手段と、
   前記特徴度の時間的遷移から上昇傾向にあるキーワードを出力する出力キーワード決定手段と、を有し、
   前記特徴度計算手段は、未来のＮ´単位も含める
   ことを特徴とする情報検索装置。
3. 検索対象文書を入力とし、各ページに対して、ページ番号を決定し、該ページ番号に対応させてキーワード、地名表現、地理情報、時間情報を抽出し、解析結果記憶手段に格納する文書解析手段と、
   前記解析結果記憶手段の情報を取得し、前記地理情報から緯度番号、経度番号を抽出し、時間情報と合わせてメッシュ番号とし、該メッシュ番号ごとにキーワードの数を合計し、前記３次元メッシュ記憶手段に格納する前処理手段を更に有する
   請求項１又は２記載の情報検索装置。
4. 検索者が、時間と、地図上の表示範囲で指定した地理的範囲に基づいて特徴的なキーワードを提示するための情報検索方法であって、
   時間情報と経度番号、緯度番号を合わせてメッシュ番号とし、該メッシュ番号毎のキーワードのスコアからなる３次元メッシュ記憶手段を有する装置において、
   キーワード抽出手段が、前記検索者から入力された地理範囲及び時間範囲に含まれるメッシュＩＤに基づいて、前記３次元メッシュ記憶手段からキーワードを出力候補として抽出するキーワード抽出ステップと、
   特徴度計算手段が、地理的な範囲を固定し、指定時刻と過去に規定のＮ単位分、または、未来のＮ´単位分の時刻におけるキーワードに対応する合計値を取得して特徴度を求める特徴度計算ステップと、
   出力キーワード決定手段が、前記特徴度の時間的遷移から上昇傾向にあるキーワードを出力する出力キーワード決定ステップと、を行い、
   前記出力キーワード決定ステップにおいて、
   前記特徴度の時間的遷移を、
   最小二乗法により、特徴度f(t)=αt＋β(但し、tは時間変数、αは係数、βは固定値)の型式の一次方程式に近似させ、係数αが正であり、該特徴度が閾値以上のキーワードを出力する
   ことを特徴とする情報検索方法。
5. 検索対象文書を入力とし、各ページに対して、ページ番号を決定し、該ページ番号に対応させてキーワード、地名表現、地理情報、時間情報を抽出し、解析結果記憶手段に格納する文書解析ステップと、
   前記解析結果記憶手段の情報を取得し、前記地理情報から緯度番号、経度番号を抽出し、時間情報と合わせてメッシュ番号とし、該メッシュ番号ごとにキーワードの数を合計し、前記３次元メッシュ記憶手段に格納する前処理ステップを更に行う
   請求項４記載の情報検索方法。
6. コンピュータを、
   請求項１乃至３のいずれか１項に記載の情報検索装置の各手段として機能させるための情報検索プログラム。

Images