JP5345987B2 - 文書検索装置、文書検索方法および文書検索プログラム - Google Patents

Description

本発明は、文書集合の中から指定された場所または日時を含む状況に応じた文書を検索する技術に関する。

現在、キーワードが入力されるとそのキーワードに関する文書を検索するシステムが数多く存在する。特に、近年では、指定された場所や日時などの状況に応じたキーワードに関する文書の検索を行う方法が提案されてきている。

特許文献１では、場所に応じたキーワードに関する文書の検索を行っている。特許文献２では、日時に応じたキーワードに関する文書の検索を行っている。

特開２０００−１６３４３６号公報 特開２００５−８５１０９号公報

しかしながら、特許文献１および特許文献２の方法では、場所や日時などの状況に応じた文書を検索したい場合に、状況に加えて適切なキーワードを入力として指定しなければならないという問題があった。

ある状況において話題になっている事物を知りたいような場合には、何が話題になっているかをユーザは把握していないため、所望の検索結果を得るために適切なキーワードを入力することは困難であると考えられる。

また、状況に関連する文書を検索し、検索された文書から特徴語を抽出して選択し、特徴語と状況に関連する文書を提示することにより、状況に応じて話題になっている事物に関する文書を検索することができるが、検索された文書から特徴語を抽出する処理に時間がかかるため、検索を行うのに時間がかかるという問題があった。

本発明は上記の問題点に鑑みてなされたものであって、あらかじめ様々な状況から特徴語を取得するための特徴語インデクスを作成し、特徴語インデクスを参照して状況に関連する特徴語を取得して選択し、特徴語と状況に関連する文書を検索して提示することによって、状況に応じて話題になっている事物に関する文書を高速に検索することを可能とした文書検索装置、方法、プログラムを提供することを目的とする。

上記の課題は、文書集合の中から、指定された検索のための分類軸として考慮した状況に応じた文書を検索する文書検索装置であって、文書中に含まれる前記状況を解析する状況解析手段と、前記状況解析手段によって解析された状況を含む検索インデクスを作成する検索インデクス作成手段と、前記状況解析手段によって解析された各状況における文書から、状況との距離に基づいて特徴語を抽出する特徴語抽出手段と、文書検索時に入力された状況から、前記特徴語抽出手段によって抽出された特徴語を検索するための特徴語インデクスを作成する特徴語インデクス作成手段と、指定された検索のための分類軸として考慮した状況を入力する状況入力手段と、前記特徴語インデクスを参照して、前記状況入力手段によって入力された状況に関する特徴語を選択する特徴語選択手段と、前記検索インデクスを参照して、前記状況入力手段によって入力された状況と前記特徴語選択手段によって選択された特徴語に関連する文書を検索する検索結果取得手段と、を備えることにより解決できる。

請求項１〜７に記載の発明によれば、入力された状況に関連する文書に含まれる特徴語を選択し、選択された特徴語を含む状況関連文書を提示するため、状況に応じて話題になっている事物に関する文書を高速に検索することができる。

本発明の実施例における文書検索装置１００の構成図。 本発明の実施例における文書検索装置１００の前処理の動作を示すフローチャート。 本発明の実施例における文書検索装置１００の文書検索処理の動作を示すフローチャート。 本発明の実施例における文書の例を示す説明図。 本発明の実施例における場所の解析結果の例を示す説明図。 本発明の実施例における日時の解析結果の例を示す説明図。 本発明の実施例における転置インデクスの例を示す説明図。 本発明の実施例における状況インデクスの例を示す説明図。 本発明の実施例における「２０１０年５月５日」を含む文書とそれらの文書から特徴語候補を抽出した例を示す説明図。 本発明の実施例における「２０１０年５月５日」に関する文書から抽出された特徴語候補にスコアを付与した例を示す説明図。 本発明の実施例における日時に関する特徴語インデクスの例を示す説明図。 本発明の実施例における場所に関する特徴語インデクスの例を示す説明図。 本発明の実施例における取得された特徴語の例を示す説明図。 本発明の実施例における特徴語提示結果の例を示す説明図。 本発明の実施例における検索結果の例を示す説明図。

以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。

図１は、本発明の実施例である文書検索装置１００の構成を示す図である。

図１に示す文書検索装置１００は、状況解析手段としての状況解析部１と、検索インデクス作成手段としての検索インデクス作成部２と、特徴語抽出手段としての特徴語抽出部３と、特徴語インデクス作成手段としての特徴語インデクス作成部４と、状況入力手段としての状況入力部５と、特徴語提示手段としての特徴語提示部６と、特徴語入力手段としての特徴語入力部７と、検索結果取得手段としての検索結果取得部８と、検索インデクスデータベース９と、特徴語インデクスデータベース１０を有する。

前記文書検索装置１００は、例えばコンピュータにより構成され、通常のコンピュータのハードウェアリソース、例えばＲＯＭ、ＲＡＭ、ＣＰＵ、キーボードなどの入力装置、表示ディスプレイ、プリンターなどの出力装置、通信インタフェース、ハードディスク、記録媒体駆動装置等（図示省略）を備えている。

このハードウェアリソースとソフトウェアリソース（ＯＳ、アプリケーションなど）との協働の結果、前記文書検索装置１００は、図１に示すように、状況解析部１、検索インデクス作成部２、特徴語抽出部３、特徴語インデクス作成部４、状況入力部５、特徴語提示部６、特徴語入力部７、検索結果取得部８、検索インデクスデータベース９、特徴語インデクスデータベース１０を実装する。

前記検索インデクスデータベース９と特徴語インデクスデータベース１０は、ハードディスクあるいはＲＡＭなどの保存手段・記憶手段に構築されているものとする。

状況解析部１は、後述する前処理段階において文書検索装置１００に入力された文書中に含まれる、検索のための分類軸として考慮した場所または日時などの状況を解析する。

検索インデクス作成部２は、状況解析部１によって解析された状況を含む検索インデクスを作成し、検索インデクスデータベース９に格納する。

特徴語抽出部３は、状況解析部１によって解析された各状況における文書から、状況との距離に基づいて特徴語を抽出する。

特徴語インデクス作成部４は、後述する文書検索段階において入力された状況から、前記抽出された特徴語を検索するための特徴語インデクスを作成し、特徴語インデクスデータベース１０に格納する。

状況入力部５は、ユーザからの状況を文書検索段階において入力する。

特徴語提示部６は、特徴語インデクスデータベース１０を参照して前記入力された状況に関する特徴語を取得して提示する。

特徴語入力部７は、前記特徴語提示部６により取得された特徴語の中から、例えばユーザが選択した１つまたは複数の特徴語を入力する。

検索結果取得部８は、検索インデクスデータベース９を参照して前記状況入力部５から入力された状況と前記特徴語入力部７から入力された特徴語に関連する文書を検索する。

次に、文書検索装置１００の動作について説明する。

本発明は、文書の検索を行うための検索インデクスおよび特徴語インデクスを作成するための前処理段階と、実際に文書を検索する段階の２つに分かれている。

図２は、文書検索装置１００の前処理の動作を示すフローチャートである。

まず、状況解析部１が、入力された文書中に含まれる状況を解析する（ステップＳ１０１）。

検索インデクス作成部２が、状況を含む検索インデクスを作成し、検索インデクスデータベース９に格納する（ステップＳ１０２）。

特徴語抽出部３が、各状況における文書から、状況との距離に基づいて特徴語を抽出する（ステップＳ１０３）。

特徴語インデクス作成部４が、状況から特徴語を検索するための特徴語インデクスを作成し、特徴語インデクスデータベース１０に格納する（ステップＳ１０４）。

図３は、文書検索装置１００の文書検索処理の動作を示すフローチャートである。

まず、文書検索を行なうユーザが状況入力部５によって状況を入力する（ステップＳ２０１）。

特徴語提示部６が、特徴語インデクスデータベース１０を参照して入力された状況に関する特徴語を取得し、例えば表示ディスプレイに表示してユーザに提示する（ステップＳ２０２）。

特徴語入力部７が、前記取得し提示された特徴語の中から、ユーザが１つまたは複数選択した特徴語を入力する（ステップＳ２０３）。

検索結果取得部８が、検索インデクスデータベース９を参照し、状況入力部５によって入力された状況と前記ユーザが選択し特徴語入力部７によって入力された特徴語に関連する文書を検索する（ステップＳ２０４）。

次に、文書検索装置１００の動作をより具体的に説明する。この例では、状況として場所および日時の２つを考慮することとする。考慮する状況はこれに限るものではなく、状況を表すものであれば天気などの様々な状況を考慮したりしてもかまわない。

図２に示したフローチャートにしたがって前処理の動作を具体的に説明する。

ステップＳ１０１では、状況解析部１により、入力された文書中に含まれる状況を解析する。文書の例を図４に示す。ここでは、文書中に含まれる場所の解析方法として、文書を形態素解析して単語に分割し、固有表現抽出を行って地名を抽出し、地名に対して位置情報が対応付けられた位置情報辞書を参照して位置情報を付与することとする。場所の解析方法はこれに限るものではなく、文書から地名を表す文字列を探索したり、地名に対して位置情報を付与せずに地名の表記を場所としたりしてもかまわない。場所の解析結果の例を図５に示す。

また、ここでは、文書中に含まれる日時の解析方法として、文書を形態素解析して単語に分割し、固有表現抽出を行って日時表現を抽出し、その日時表現のパターンから日時を取得することとする。日時の解析方法はこれに限るものではなく、文書中に「…月…日」のような文字列のパターンに一致した場合に該当部分を日時表現としたり、「今日」などの単語を文書の作成日時をもとに実際の日時に変換したりしてもかまわない。日時の解析結果の例を図６に示す。

ステップＳ１０２では、検索インデクス作成部２により、状況を含む検索インデクスを作成して検索インデクスデータベース９に格納する。ここでは、状況を含む検索インデクスとして、キーワード検索を行うための転置インデクスおよび状況に関する検索を行うための状況インデクスを作成する。

転置インデクスの作成では、文書検索において一般的に用いられている転置インデクス作成手法を用いる。転置インデクスの例を図７に示す。この図において、単語「ＡＢＣ」に対する（１，１）は、文書番号１の文書本文の１番目の単語が「ＡＢＣ」であったことを意味する。

状況インデクスの作成では、文書に対して状況解析部１で解析した状況を付与する。状況インデクスの例を図８に示す。検索インデクスの作成方法はこれに限るものではなく、転置インデクスの代わりにＮグラムに基づくインデクスを作成したりしてもかまわない。

ステップＳ１０３では、特徴語抽出部３により、各状況における文書から状況との距離に基づいて特徴語を抽出する。ここでは、場所と日時のそれぞれの状況について、状況を複数の単位に分割し、それぞれの状況に関する文書を取得してその文書から特徴語を抽出することとする。

場所については対象とする地域を１ｋｍ×１ｋｍのメッシュに分割し、それぞれのメッシュに含まれる場所に関する文書から特徴語を抽出することとする。日時については対象とする日時を１日ごとに分割し、それぞれの日に含まれる日時に関する文書から特徴語を抽出することとする。各状況の決め方はこれに限るものではなく、メッシュの大きさを変更したり、日時をさらに午前と午後に分割したりしてもかまわない。

また、ここでは、各状況における文書全体から人名・地名・組織名を特徴語候補として抽出し、各状況における文書に含まれる状況と特徴語候補との距離に基づいて特徴語候補にスコアを付与し、特徴語候補のスコアをもとに特徴語を抽出することとする。

特徴語の抽出の仕方は、文書に含まれる状況との距離に基づいていればこれに限るものではなく、各状況における一部の文書を利用したり、人名・地名・組織名以外の固有表現を特徴語候補として抽出したり、固有表現以外の一般的な名詞を特徴語候補として抽出したり、名詞以外の品詞を持つものを特徴語候補として抽出したり、各状況における頻出する文字列を特徴語候補として抽出したり、各状況における文書に含まれる特徴語候補の出現頻度を考慮したり、各状況における文書に含まれる特徴語候補のそれ以外の状況での出現頻度を考慮したり、複数の文書のタイトルに共通する文字列や単語列を特徴語として抽出したり、スコアによらずすべての特徴語候補を特徴語としたりしてもかまわない。

日時に関する例として、「２０１０年５月５日」を含む文書とそれらの文書から特徴語候補を抽出した例を図９に示す。ここでは、各状況における文書に含まれる状況と特徴語候補との距離は、状況を表す文字列と特徴語候補の文字列との間に挟まれた文字列の文字数に１を加えた値の逆数とし、特徴語が出現する文書における距離の総和を特徴語候補のスコアとする。距離の求め方はこれに限るものではなく、距離の最大値をスコアとしたりしてもかまわない。

図９の各特徴語候補に対してスコアを求めた結果を図１０に示す。この特徴語候補のスコアをもとに、特徴語を抽出する。ここでは、特徴語のスコアが高い上位３個の特徴語候補を特徴語として抽出することとする。特徴語の抽出の仕方はこれに限るものではなく、抽出する特徴語の個数を変更したり、上位Ｘ％の特徴語を抽出したりしてもかまわない。図１０より、特徴語として「ＡＢＣ」「ＸＹＺ」「ＤＥＦ」が抽出される。

ステップＳ１０４では、特徴語インデクス作成部４により、状況から特徴語を検索するための特徴語インデクスを作成し特徴語インデクスデータベース１０に格納する。日時に関する特徴語インデクスを作成した結果を図１１に示す。場所に関しても同様にして特徴語インデクスを作成する。場所に関する特徴語インデクスを作成した結果を図１２に示す。

次に、図３に示したフローチャートにしたがって文書検索処理の動作を具体的に説明する。この例では、文書検索を行うユーザが「３５°３７′Ｎ １３９°５３′Ｅ」で表される位置に存在しており、文書検索を行う日時が「２０１０／５／５（水）」であるものとする。

ステップＳ２０１では、状況入力部５により、状況を入力する。ここでは、ユーザが現在置かれている状況である場所「３５°３７′Ｎ １３９°５３′Ｅ」および日時「２０１０／５／５（水）」を入力することとする。状況の入力の仕方はこれに限るものではなく、現在置かれている場所以外を入力としたり、現在置かれている日時以外を入力としたり、位置情報ではなく地名を場所として入力したり、時・分・秒までの詳細な日時を指定したりしてもかまわない。

ステップＳ２０２では、特徴語提示部６により、特徴語インデクスデータベース１０を参照して入力された状況に関する特徴語を取得して提示する。ここでは、入力された日時と一致する日時に対応する特徴語を検索し、入力された場所を含むメッシュに対応する特徴語を検索することとする。

特徴語の検索の仕方はこれに限るものではなく、入力された日時を含む日時の範囲に対応する特徴語を検索したり、入力された場所を含むメッシュを中心としたメッシュの範囲に対応する特徴語を検索したりしてもかまわない。入力された日時は図９における「２０１０年５月５日」という日時に一致するため、それに対応する特徴語が検索される。同様に、入力された場所は図１２における「３５°３０′Ｎ １３９°４５′Ｅ〜３５°６０′Ｎ １３９°９０′Ｅ」というメッシュに含まれるため、このメッシュに対応する特徴語が検索される。検索された特徴語をもとに、入力された状況に関する特徴語を取得する。

ここでは、場所および日時に関して検索された特徴語のスコアの積を計算し、その値が０．１以上のものを特徴語として取得することとする。特徴語の取得の仕方はこれに限るものではなく、スコアの和を計算したり、スコアによらず検索されたすべての特徴語を取得したり、スコアの閾値を変更したり、スコアの高い上位Ｘ％の特徴語を取得したりしてもよい。特徴語を取得した結果の例を図１３に示す。取得した特徴語を、例えば図示省略の表示ディスプレイに表示して提示する。ここでは、特徴語スコアの高い順に上位２件の特徴語を提示することとする。

特徴語の提示の仕方はこれに限るものではなく、上位Ｎ件の特徴語を提示したり、上位Ｘ％の特徴語を提示したり、特徴語スコアの値がＹ以上の特徴語を提示したり、人名などの種別ごとにそれぞれ１件ずつ特徴語を提示したり、特徴語とともに特徴語スコアを提示したり、特徴語スコアの値に応じてフォントの大きさを変化させて提示したりしてもかまわない。特徴語を提示した結果の例を図１４に示す。

ステップＳ２０３では、特徴語入力部７によって、前記取得し提示された特徴語の中からユーザが１つまたは複数選択した特徴語を入力する。ここでは、特徴語として「ＸＹＺ」が選択されたこととする。特徴語の選択の仕方はこれに限るものではなく、複数の特徴語を選択できるようにしてもかまわない。

ステップＳ２０４では、検索結果取得部８により、検索インデクスデータベース９を参照して、入力された状況と選択された特徴語に関連する文書を検索する。ここでは、例えば図７の転置インデクスを参照して、従来の文書検索において一般的に用いられている方法を用いて特徴語を含む文書を検索し、検索された文書の中から、さらに例えば図８の状況インデクスを参照して、入力された日時と一致する日時を持ち、入力された場所との距離が一定以内である場所を持ち、選択された特徴語「ＸＹＺ」を文書のタイトルまたは本文中に含む文書を検索することとする。

文書の検索の仕方はこれに限るものではなく、入力された日時の一部と一致する日時を持つ文書を検索したり、入力された場所が地名を表す文字列だった場合にその文字列を本文中に含む文書を検索したりしてもかまわない。また、文書に対するスコアは、特徴語を含む文書を検索することによって得られる適合度であるとする。文書に対するスコアの算出方法はこれに限るものではなく、文書中の特徴語と日時との距離の近さを考慮したり、文書中の特徴語と場所との距離の近さを考慮したりしてもかまわない。検索された文書の例を図１５に示す。

尚、今回の実施例では、特徴語提示部６により特徴語をユーザに提示し、前記提示した特徴語の１つまたは複数をユーザが選択し、特徴語入力部７により入力することとしたが、特徴語をユーザに提示することなく、特徴語提示部６で算出した特徴語スコアの値に応じて自動的に特徴語を選択するようにしてもかまわない。

このように、本実施例で説明した処理により、入力された状況に関連する文書に含まれる特徴語を選択し、選択された特徴語を含む状況関連文書を提示することで、状況に応じて話題になっている事物に関する文書を検索することができる。

なお、本実施例の文書検索装置１００は、上述した一連の動作を実行させるプログラムをコンピュータにインストールすることにより実現することが可能である。また、当該プログラムを文書検索装置として利用されるコンピュータに接続されるハードディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭなどの可搬記憶媒体に格納しておき、コンピュータにインストールして実行させることも可能である。また、当該プログラムをネットワークのサーバに格納しておき、そこからダウンロードしてインストールする形態をとることも可能である。

なお、本発明は、上記の実施の形態及び実施例に限定されることなく、種々変更・応用が可能である。

本発明は、場所や日時などの状況を考慮した検索を行う検索システムの開発などに利用可能である。

１…状況解析部
２…検索インデクス作成部
３…特徴語抽出部
４…特徴語インデクス作成部
５…状況入力部
６…特徴語提示部
７…特徴語入力部
８…検索結果取得部
９…検索インデクスデータベース
１０…特徴語インデクスデータベース
１００…文書検索装置

Claims (7)

1. 文書集合の中から、指定された検索のための分類軸として考慮した状況に応じた文書を検索する文書検索装置であって、
   文書中に含まれる前記状況を解析する状況解析手段と、
   前記状況解析手段によって解析された状況を含む検索インデクスを作成する検索インデクス作成手段と、
   前記状況解析手段によって解析された各状況における文書から、状況との距離に基づいて特徴語を抽出する特徴語抽出手段と、
   文書検索時に入力された状況から、前記特徴語抽出手段によって抽出された特徴語を検索するための特徴語インデクスを作成する特徴語インデクス作成手段と、
   指定された検索のための分類軸として考慮した状況を入力する状況入力手段と、
   前記特徴語インデクスを参照して、前記状況入力手段によって入力された状況に関する特徴語を選択する特徴語選択手段と、
   前記検索インデクスを参照して、前記状況入力手段によって入力された状況と前記特徴語選択手段によって選択された特徴語に関連する文書を検索する検索結果取得手段と、
   を有することを特徴とする文書検索装置。
2. 前記特徴語抽出手段は、
   前記文書から特徴語候補を抽出し、文書に含まれる状況と前記特徴語候補との距離に基づいて特徴語候補にスコアを付与し、該特徴語候補のスコアをもとに特徴語を抽出する
   ことを特徴とする請求項１に記載の文書検索装置。
3. 前記特徴語選択手段は、
   前記特徴語インデクスを参照して、前記入力された状況に関する特徴語を取得して提示する特徴語提示手段と、
   前記特徴語提示手段によって取得された特徴語の中から１つまたは複数の特徴語を入力する特徴語入力手段と、
   を含む請求項１または２に記載の文書検索装置。
4. 文書集合の中から、指定された検索のための分類軸として考慮した状況に応じた文書を検索する文書検索方法であって、
   状況解析手段が、文書中に含まれる前記状況を解析する状況解析工程と、
   検索インデクス作成手段が、前記状況解析手段によって解析された状況を含む検索インデクスを作成する検索インデクス作成工程と、
   特徴語抽出手段が、前記状況解析手段によって解析された各状況における文書から、状況との距離に基づいて特徴語を抽出する特徴語抽出工程と、
   特徴語インデクス作成手段が、文書検索時に入力された状況から、前記特徴語抽出手段によって抽出された特徴語を検索するための特徴語インデクスを作成する特徴語インデクス作成工程と、
   状況入力手段が、指定された検索のための分類軸として考慮した状況を入力する状況入力工程と、
   特徴語選択手段が、前記特徴語インデクスを参照して、前記状況入力手段によって入力された状況に関する特徴語を選択する特徴語選択工程と、
   検索結果取得手段が、前記検索インデクスを参照して、前記状況入力手段によって入力された状況と前記特徴語選択手段によって選択された特徴語に関連する文書を検索する検索結果取得工程と、
   を有することを特徴とする文書検索方法。
5. 前記特徴語抽出工程は、
   前記文書から特徴語候補を抽出し、文書に含まれる状況と前記特徴語候補との距離に基づいて特徴語候補にスコアを付与し、該特徴語候補のスコアをもとに特徴語を抽出する
   ことを特徴とする請求項４に記載の文書検索方法。
6. 前記特徴語選択工程は、
   特徴語提示手段が、前記特徴語インデクスを参照して、前記入力された状況に関する特徴語を取得して提示する特徴語提示工程と、
   特徴語入力手段が、前記特徴語提示手段によって取得された特徴語の中から１つまたは複数の特徴語を入力する特徴語入力工程と、
   を含むことを特徴とする請求項４または５に記載の文書検索方法。
7. 請求項４ないし６のいずれか１項に記載の文書検索方法における各工程をコンピュータに実行させる文書検索プログラム。

Images