JP5321258B2

JP5321258B2 - 情報収集システムおよび情報収集方法ならびにそのプログラム

Info

Publication number: JP5321258B2
Application number: JP2009138230A
Authority: JP
Inventors: 悠一籔
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2009-06-09
Filing date: 2009-06-09
Publication date: 2013-10-23
Anticipated expiration: 2029-06-09
Also published as: JP2010286888A

Description

本発明は、情報を収集する情報収集システムおよび情報収集方法ならびにそのプログラムに関する。

コンピュータ装置が接続された通信ネットワークにおいて、各コンピュータ装置の記憶する情報を収集する情報収集システムが存在する。例えば、一般にインターネット上に公開されたウェブページの検索エンジンと呼ばれるものは、このような情報収集システムに該当する。なお情報収集システムの技術として特許文献１が開示されている。

特開２０００−０２０５４２号公報

上述のような情報収集システムは、与えられたキーワードまたはＵＲＬに対して、幅優先探索による情報収集や、もしくは対象とするウェブページにリンクされて繋がった他のウェブページから情報収集を行う、といった手法が利用されてきた。しかし、前者の場合、大量のデータを収集できるが不必要なデータも多く収集されてしまうという問題がある。また、後者の場合、目的のデータのみを収集することはできるが、得られた情報に広がりがない、つまり、元の検索対象の情報に関連する新たな情報を収集するのが難しいという問題がある。

そこでこの発明は、与えられた検索キーに基づいて、意味的に関連する広がりのある情報を所望の量だけ収集することのできる情報収集システムおよび情報収集方法ならびにそのプログラムを提供することを目的としている。

上記目的を達成するために、本発明は、検索キーに基づいて検索手段が検索した検索キー対応検索結果情報と、当該検索キー対応検索結果情報に含まれるリンク先情報に基づいて前記検索手段が検索したリンク先対応検索結果情報と、の関連度の高低を判定する検索結果情報関連度判定手段と、前記検索キー対応検索結果情報の中から当該検索キー対応検索結果情報を代表するキーワードと関連度の高い単語を抽出する関連語抽出手段と、前記検索キー対応検索結果情報と関連度の高いリンク先対応検索結果情報の検索に用いた前記リンク先情報と、前記関連度の高い単語とを、新たな検索キーとして特定する新検索キー特定手段と、を備えることを特徴とする情報収集システムである。

また本発明は、上述の情報収集システムにおいて、前記新たな検索キーを用いた検索を繰り返す前記検索手段の前記新たな検索キーを用いた検索回数を制限する検索回数制限手段と、を備えることを特徴とする。

また本発明は、上述の情報収集システムにおいて、前記検索結果情報関連度判定手段は、前記検索キー対応検索結果情報に含まれる各単語の当該検索キー対応検索結果情報内の出現頻度と、前記リンク先対応検索結果情報に含まれる各単語の当該リンク先対応検索結果情報内の出現頻度とを用いて、前記検索キー対応検索結果情報と、前記リンク先対応検索結果情報との関連度の高低を判定することを特徴とする。

また本発明は、上述の情報収集システムにおいて、前記関連語抽出手段は、前記検索キー対応検索結果情報の中から前記代表するキーワードを含む文を抽出し、当該文に出てくる他の単語のうち、出現頻度の高い単語を前記代表するキーワードと関連度の高い単語として抽出することを特徴とする。

また本発明は、情報収集システムにおける情報収集方法であって、前記情報収集システムの検索結果情報関連度判定手段が、検索キーに基づいて検索手段が検索した検索キー対応検索結果情報と、当該検索キー対応検索結果情報に含まれるリンク先情報に基づいて前記検索手段が検索したリンク先対応検索結果情報と、の関連度の高低を判定し、前記情報収集システムの関連語抽出手段が、前記検索キー対応検索結果情報の中から当該検索キー対応検索結果情報を代表するキーワードと関連度の高い単語を抽出し、前記情報収集システムの新検索キー特定手段が、前記検索キー対応検索結果情報と関連度の高いリンク先対応検索結果情報の検索に用いた前記リンク先情報と、前記関連度の高い単語とを、新たな検索キーとして特定することを特徴とする情報収集方法である。

また本発明は、上述の情報収集方法において、前記情報収集システムの検索回数制限手段が、前記新たな検索キーを用いた検索を繰り返す前記検索手段の前記新たな検索キーを用いた検索回数を制限することを特徴とする。

また本発明は、情報収集システムのコンピュータを、検索キーに基づいて検索手段が検索した検索キー対応検索結果情報と、当該検索キー対応検索結果情報に含まれるリンク先情報に基づいて前記検索手段が検索したリンク先対応検索結果情報と、の関連度の高低を判定する検索結果情報関連度判定手段、前記検索キー対応検索結果情報の中から当該検索キー対応検索結果情報を代表するキーワードと関連度の高い単語を抽出する関連語抽出手段、前記検索キー対応検索結果情報と関連度の高いリンク先対応検索結果情報の検索に用いた前記リンク先情報と、前記関連度の高い単語とを、新たな検索キーとして特定する新検索キー特定手段、として機能させることを特徴とするプログラムである。

また本発明は、上述の各手段に加え、情報収集システムのコンピュータを、さらに、前記新たな検索キーを用いた検索を繰り返す前記検索手段の前記新たな検索キーを用いた検索回数を制限する検索回数制限手段、として機能させることを特徴とするプログラムである。

本発明によれば、検索手段は、検索キーに基づいて検索した検索キー対応検索結果情報と、その検索キー対応検索結果情報に含まれるＵＲＬのうち、関連度の高いＵＲＬを新たな検索キーとした場合の検索結果である検索キー対応検索結果情報や、さらにその検索キー対応検索結果情報に含まれるＵＲＬのうち、関連度の高いＵＲＬを新たな検索キーとした場合の検索結果である検索キー対応検索結果情報を、予め定められた検索回数に達するまで順に収集する。また、検索手段は、自装置が検索した検索キー対応検索結果情報のウェブページデータにおいて、そのデータを代表するキーワードに関連する関連語を、新たな検索キーとして関連語抽出装置より受け付け、その関連語を示す新たな検索キーに基づいて検索した検索キー対応検索結果情報を収集する。これにより、本情報収集システムでは、与えられた検索キーに基づいて、意味的に関連する広がりのある情報を所望の量だけ収集することができる。

情報収集システムの構成を示す第１のブロック図である。情報収集システムの各装置の機能構成を示す図である。情報収集システムの処理フローを示す図である。単語出現順位表のデータ例を示す図である。出力装置の表示例を示す図である。情報収集システムの構成を示す第２のブロック図である。

以下、本発明の一実施形態による情報収集システムを図面を参照して説明する。
図１は同実施形態による情報収集システムの構成を示す第１のブロック図である。
本実施形態の情報収集システムは、検索キーの入力を受け付ける入力装置１、検索キーに基づいて情報を収集するフォーカスドクローラ２、収集された情報を記憶する収集データ管理装置３、収集された情報に格納されている単語の関連語を抽出する関連語抽出装置４、収集された情報の中かからユーザ所望の情報を検索および表示処理する検索表示装置５、表示処理された情報をモニタ等に出力する出力装置６の各装置を備えている。

図２は、同実施形態による情報収集システムの各装置の機能構成を示す図である。
次に、フォーカスドクローラ２、収集データ管理装置３、関連語抽出装置４、検索表示装置５の各装置の機能構成について説明する。
図２で示すように、フォーカスドクローラ２において、符号２１は、他の装置と通信を行う通信処理部である。また２２は、検索キーに基づいて情報を収集する情報収集部である。また２３は、入力装置１等から情報の入力を受け付ける入力受付部である。また２４は、検索キーに基づいて検索した検索キー対応検索結果情報と、当該検索キー対応検索結果情報に含まれるリンク先情報（ＵＲＬ等）に基づいて検索したリンク先対応検索結果情報との関連度の高低を判定し、関連度の高いリンク先対応検索結果情報を特定する文書分類部である。

また、収集データ管理装置３において、符号３１は他の装置と通信を行う通信処理部３１である。また３２はフォーカスドクローラ２から受信した情報を管理するデータ管理部である。また３３は検索キー対応検索結果情報からキーワードを抽出するキーワード抽出部である。また３４は検索キー対応検索結果情報等の情報を記憶するデータ記憶部３４である。また３５は収集したＵＲＬの情報を記憶する収集対象ＵＲＬ記憶部である。
また、関連語抽出装置４において、符号４１は他の装置と通信を行う通信処理部である。また４２は検索キー対応検索結果情報の中からキーワードを含む文を抽出し、当該文に出てくる他の単語のうち出現頻度の高い単語を、キーワードと関連度の高い関連語として抽出する関連語抽出処理部４２である。
また、検索表示装置５において、符号５１は他の装置と通信を行う通信処理部である。また５２は収集データ管理装置３の記憶する情報を検索し出力装置６へ表示処理する表示処理部である。

そして、本実施形態による情報収集システムは、検索キーに基づいてフォーカスドクローラ２の情報収集部２２（検索手段）が検索した検索キー対応検索結果情報と、当該検索キー対応検索結果情報に含まれるリンク先情報に基づいてフォーカスドクローラ２の情報収集部２２が検索したリンク先対応検索結果情報と、の関連度の高低を判定し、また、検索キー対応検索結果情報の中から当該検索キー対応検索結果情報を代表するキーワードと関連度の高い関連語を抽出する。
また情報収集システムは、検索キー対応検索結果情報と関連度の高いリンク先対応検索結果情報の検索に用いたＵＲＬ（リンク先情報）と、抽出した関連度の高い関連語とを、新たな検索キーとして特定する。
そして情報収集システムは、フォーカスドクローラ２の新たな検索キーを用いた検索回数を制限し、その検索回数に基づいて、フォーカスドクローラ２の情報収集部２２が情報を収集する。
このような処理により、本実施形態による情報収集システムは、与えられた検索キーに基づいて、意味的に関連する広がりのある情報を所望の量だけ収集する処理を行う。

図３は情報収集システムの処理フローを示す図である。
次に、本実施形態による、情報収集システムの処理フローについて図１〜図３を用いて詳細に説明する。
まず、フォーカスドクローラ２の入力受付部２３は、入力装置１から情報を収集する始点となる単語又はＵＲＬを、検索キーとして受け付ける（ステップＳ１０１）。次に、フォーカスドクローラ２の情報収集部２２が、その検索キーが単語かＵＲＬかを判定する（ステップＳ１０２）。そして単語であれば、フォーカスドクローラ２の情報収集部２２（Ｗｅｂ検索エンジン）は、単語の検索キーを用いて、インターネット通信網に接続されている各ウェブサーバから情報を検索する（ステップＳ１０３）。情報収集部２２は、その検索結果で最上位の順位として検索できたウェブページのＵＲＬを収集データ管理装置３へ通知する（ステップＳ１０４）。収集データ管理装置３のデータ管理部３２は、通知を受けたウェブページのＵＲＬを新たな検索キーとして、収集対象ＵＲＬ記憶部３５の待ち行列に登録する（ステップＳ１０５）。なお、ステップＳ１０２において検索キーがＵＲＬであると判定した場合には、フォーカスドクローラ２の情報収集部２２は、そのＵＲＬを、収集対象ＵＲＬ記憶部３５の待ち行列に保存するよう収集データ管理装置３へ指示する（ステップＳ１０６）。

次に、フォーカスドクローラ２の情報収集部２２は、収集データ管理装置３の収集対象ＵＲＬ記憶部３５の待ち行列に順に記録されているＵＲＬの転送を収集データ管理装置３へ要求し（ステップＳ１０７）、その結果、収集データ管理装置３のデータ管理部３２からＵＲＬを受信する（ステップＳ１０８）。そしてフォーカスドクローラ２の情報収集部２２は、受信したＵＲＬに基づいて、インターネット通信網に接続されたウェブサーバの配信するウェブページデータ（以下、検索キー対応検索結果情報と呼ぶ）を検索・収集処理（ステップＳ１０９）し、その検索キー対応検索結果情報を受信する。次に、フォーカスドクローラ２の文書分類部２４は、検索キーに基づいて収集した検索キー対応検索結果情報内にリンク先のＵＲＬが含まれるかどうかを判定する（ステップＳ１１０）。

例えば、ウェブページデータ内からＵＲＬとして出現する文字列（.htmlや.htm）が検索できればＵＲＬが含まれると判定し、そのＵＲＬを抽出する。次に、文書分類部２４は、検索キー対応検索結果情報に含まれるリンク先のＵＲＬをキーとして、インターネット通信網に接続されている各ウェブサーバからウェブページデータ（以下、リンク先対応検索結果情報と呼ぶ）を検索・収集処理する（ステップＳ１１１）。そして、その検索・収集処理に基づいて収集した、リンク先対応検索結果情報を一時メモリ等に記憶する。そして、文書分類部２４は、検索キー対応検索結果情報と、リンク先対応検索結果情報とが類似しているかどうかを判定する（ステップＳ１１２）。この類似判定の処理の詳細については後述する。文書分類部２４は、検索キー対応検索結果情報と、リンク先対応検索結果情報とが類似している場合には、検索キー対応検索結果情報と類似度の高いリンク先対応検索結果情報の収集に用いたＵＲＬと、そのＵＲＬを特定した元である、検索キー対応検索結果情報のＵＲＬとを、収集データ管理装置３へ通知する（ステップＳ１１３）。収集データ管理装置３のデータ管理部３２は、通知を受けた類似度の高いリンク先対応検索結果情報の収集に用いたＵＲＬ（新たな検索キー）と、そのＵＲＬを特定した元である、検索キー対応検索結果情報のＵＲＬとの組を、収集対象ＵＲＬ記憶部３５の待ち行列に登録する（ステップＳ１１４）。

また、フォーカスドクローラ２の情報収集部２２は、フォーカスドクローラ２のＩＤと、検索キーとなるＵＲＬ等を含むメタ情報と、ステップＳ１０９において検索キーにより収集した検索キー対応検索結果情報と、を収集データ管理装置３へ送信し（ステップＳ１１５）、収集データ管理装置３のデータ管理部２が、メタ情報に対応付けてウェブページデータをデータ記憶部３４に記録する（ステップＳ１１６）。なお、検索キーとなるＵＲＬが、収集データ管理装置３の収集対象ＵＲＬ記憶部３５の待ち行列から読み取ったものであれば、そのＵＲＬと、そのＵＲＬを特定した元である、検索キー対応検索結果情報のＵＲＬの組がメタ情報に格納される。

そして、フォーカスドクローラ２の情報収集部２２は、取得した検索キーによる、検索キー対応検索結果情報の収集が終了すると、再度、ステップＳ１０７のように、収集データ管理装置３の収集対象ＵＲＬ記憶部３５の待ち行列に順に記録されているＵＲＬと、そのＵＲＬを特定した元である、検索キー対応検索結果情報のＵＲＬの組の転送を収集データ管理装置３へ要求し、その結果、ステップＳ１０８と同様に、収集データ管理装置３のデータ管理部３２から、それら、待ち行列に順に記録されているＵＲＬと、そのＵＲＬを特定した元である、検索キー対応検索結果情報のＵＲＬの組を受信する。そしてフォーカスドクローラ２の情報収集部２２は、ステップＳ１０９と同様に、そのＵＲＬを新たな検索キーとして、検索キー対応検索結果情報を収集する。このとき、収集データ管理装置３のデータ管理部３２は、待ち行列の最前列のＵＲＬをフォーカスドクローラ２へ送信すると、そのＵＲＬを待ち行列から削除する。そして情報収集部２２は、検索キー対応検索結果情報を収集すると、その情報を文書分類部２４へ通知すると共に、収集対象ＵＲＬ記憶部３５の待ち行列に新たに最前列に記録された次のＵＲＬの要求を、収集データ管理装置３へ繰り返す。これらの処理により、収集データ管理装置３では、フォーカスドクローラ２が収集した検索キー対応検索結果情報のウェブページデータが順次、データ記憶部３４に記録されていく。

収集データ管理装置３では、収集された各検索キー対応検索結果情報のウェブページデータから、それぞれのウェブページデータにおいて代表するキーワードを抽出する。この抽出の処理は、キーワード抽出部３３が、検索キー対応検索結果情報のウェブページデータに含まれる文書情報を形態素解析し単語に分割する。そして、検索キー対応検索結果情報のウェブページデータ内で出現する各単語の頻度（出現回数）をそれぞれ計算し、最も頻度（出現回数）の多い名詞の単語を、各検索キー対応検索結果情報のキーワードとして抽出する。そして、キーワード抽出部３３は、データ記憶部３４において、既に記録された各検索キー対応検索結果情報のウェブページデータに対応付けて、それぞれのキーワードを登録する。

次に関連語抽出装置の処理について説明する。
関連語抽出装置４の関連語抽出処理部４２は、データ記憶部３４に記録されている検索キー対応検索結果情報と、その情報に対応付けられて記録されている当該検索キー対応検索結果情報のウェブページにおけるキーワードを読み取る。そして関連語抽出処理部４２は、検索キー対応検索結果情報のウェブページデータの中から、キーワードに関連する関連語の抽出処理を行う。ここで、関連語の抽出処理は、まず、検索キー対応検索結果情報を代表するキーワードが、当該検索キー対応検索結果情報内において出現する文章を抽出する。そして、そのキーワードの出現する文に含まれる他の単語のうち、出現頻度（出現回数）の高い単語を、キーワードと関連度の高い単語として抽出する。出現頻度の高い単語は、出現回数が上位の所定の数の単語を抽出したり、閾値以上の出現回数を抽出したりすることにより行う。そして、関連語抽出装置４の関連語抽出処理部４２は、抽出した１つまたは複数の単語を新たな検索キーとして、フォーカスドクローラ２へ出力する。フォーカスドクローラ２は、新たな検索キーを受信すると、その検索キーを自装置のメモリ等に格納する。そして、情報収集部２２は、自装置のメモリに登録された新たな検索キーに基づいて、順次、インターネット通信網に接続されたウェブサーバから、検索キー対応検索結果情報となるウェブページデータを収集する。そして、この収集した検索キー対応検索結果情報を用いて、上述のステップＳ１１０〜ステップＳ１１６の処理が行われる。

なお、情報収集部２２は、収集データ管理装置３の収集対象ＵＲＬ記憶部３５に記録されたＵＲＬや、関連語抽出装置４から受信する単語などの、新たな検索キーを用いた収集検索処理を繰り返す回数（検索回数）を記憶しておき、入力を受け付けた最初の検索キーに基づく収集検索処理から、その繰り返し回数をカウントし、最大の検索回数に達した場合には、収集検索処理を終了する。この検索回数に達したかどうかを判定する処理部を収集データ管理装置３や、関連語抽出装置４が保持しており、それら装置が、検索回数に達した場合に、ＵＲＬや単語などの新たな検索キーの記憶部への蓄積やフォーカスドクローラに対する通知を中止するようにしてもよい。

以上の処理によれば、フォーカスドクローラ２は、検索キーに基づいて検索した検索キー対応検索結果情報と、その検索キー対応検索結果情報に含まれるＵＲＬのうち、関連度の高いＵＲＬを新たな検索キーとした場合の検索結果である検索キー対応検索結果情報や、さらにその検索キー対応検索結果情報に含まれるＵＲＬのうち、関連度の高いＵＲＬを新たな検索キーとした場合の検索結果である検索キー対応検索結果情報を、予め定められた検索回数に達するまで順に収集する。
また、フォーカスドクローラ２は、自装置が検索した検索キー対応検索結果情報のウェブページデータにおいて、そのデータを代表するキーワードに関連する関連語を、新たな検索キーとして関連語抽出装置４より受け付け、その関連語を示す新たな検索キーに基づいて検索した検索キー対応検索結果情報を収集する。これにより、本情報収集システムでは、与えられた検索キーに基づいて、意味的に関連する広がりのある情報を所望の量だけ収集することができる。

次に、検索キー対応検索結果情報とリンク先対応検索結果情報とが類似しているかどうかの判定処理について説明する。
本実施形態においては、検索キー対応検索結果情報とリンク先対応検索結果情報の各ウェブページデータの相違度を測定することにより、検索キー対応検索結果情報とリンク先対応検索結果情報とが類似しているかどうかを判定する。
まず、検索キー対応検索結果情報の示すウェブページデータと、そのウェブページデータに含まれているリンク先であるリンク先対応検索結果情報の示すウェブページデータをｄ２（以下、検索キー対応検索結果情報ｄ２と呼ぶ）、ｄ１（以下、リンク先対応検索結果情報ｄ１と呼ぶ）とする。そして、フォーカスドクローラ２の文書分類部２４は、リンク先対応検索結果情報ｄ１，検索キー対応検索結果情報ｄ２に含まれる文書情報を形態素解析して単語に分割する。そして、リンク先対応検索結果情報ｄ１と検索キー対応検索結果情報ｄ２のそれぞれから自立語を抽出する。

図４は単語出現順位表のデータ例を示す図である。
次に、フォーカスドクローラ２の文書分類部２４は、リンク先対応検索結果情報ｄ１と検索キー対応検索結果情報ｄ２のそれぞれから抽出した自立語の単語を用いて、図４で示すような単語出現順位表を生成する。図４で示すように、単語出現順位表は、リンク先対応検索結果情報ｄ１内の各自立語の単語の当該リンク先対応検索結果情報ｄ１における出現頻度に基づく順位、または、検索キー対応検索結果情報ｄ２内の各自立語の単語の当該検索キー対応検索結果情報ｄ２における出現頻度に基づく順位、を示す情報である。そして、リンク先対応検索結果情報ｄ１の単語出現順位表をＲａｎｋ（ｄ１）、検索キー対応検索結果情報ｄ２の単語出現順位表をＲａｎｋ（ｄ２）とする。また、リンク先対応検索結果情報ｄ１に含まれる単語ｘの順位をｒｄ１（ｘ）、検索キー対応検索結果情報ｄ２に含まれる単語ｘの順位をｒｄ２（ｘ）とする。例えば、図４においてｒｄ１（ａ）、ｒｄ２（ｅ）はそれぞれ各検索結果情報における順位の１位、３位の単語を示す。そして、このとき、リンク先対応検索結果情報ｄ１と、検索キー対応検索結果情報ｄ２の相違度Ｄ_ｄ１ｄ２は、式（１）のように定義することができる。

この式（１）より、Ｄ_ｄ１ｄ２は小さいほどリンク先対応検索結果情報ｄ１と、検索キー対応検索結果情報ｄ２が類似していることを表す。ただし、検索キー対応検索結果情報ｄ２に出現しない単語ｘの、当該検索キー対応検索結果情報ｄ２における順位ｒｄ２（ｘ）は、式（２）のように定義することができる。

この手法によりリンク先対応検索結果情報ｄ１と、検索キー対応検索結果情報ｄ２の相違度を求め、相違度の値が閾値以下であれば、文書分類部２４は、リンク先対応検索結果情報ｄ１の収集に用いたＵＲＬを、収集データ管理装置３へ通知し、収集対象ＵＲＬ記憶部３５の待ち行列に追加するよう要求する。

例として、図４を使って、リンク先対応検索結果情報ｄ１と、検索キー対応検索結果情報ｄ２の相違度Ｄ_ｄ１ｄ２を求める。
まず、最初に単語aに関して相違度を求める。ｒｄ１（ａ）はＲａｎｋ（ｄ１）より１位となる。同様にｒｄ２（ａ）は２位となる。よって単語aの相違度は、|１−２｜／（１＋２）＝０．３３となる。次に、単語ｄについて相違度を求める。ｒｄ１（ｄ）はＲａｎｋ（ｄ１）より４位となる。しかし、検索キー対応検索結果情報ｄ２には単語ｄが存在しない。このときrｄ２(d)は式（２）を用いて、４+１の掲載により５となる。これは検索キー対応検索結果情報ｄ２中の頻度が最下位である順位に１を足したものである。よって単語ｄの相違度は、｜４−５｜／（４＋５）＝０．１１となる。同様に各単語について相違度を求め、それらの総和を求めると、Ｄ_ｄ１ｄ２＝１．１７となる。このＤ_ｄ１ｄ２と閾値を比べ閾値以下であれば、リンク先対応検索結果情報ｄ１と、検索キー対応検索結果情報ｄ２は類似していると判断し、閾値よりも大きければリンク先対応検索結果情報ｄ１と、検索キー対応検索結果情報ｄ２は類似していないと判断する。

図５は出力装置の表示例を示す図である。
次に、検索表示装置５の処理について説明する。
入力装置１からの指示に基づいて、検索表示装置５は、収集データ管理装置３に対して、出力装置６へ表示するデータを要求する。すると、収集データ管理装置３のデータ管理部３２は、データ記憶部３４から、各収集した検索キー対応検索結果情報と、そのメタ情報と、その検索キー対応検索結果情報のキーワードとを取り出す。そして、データ管理部３２は、メタ情報に含まれる、ＵＲＬとそのＵＲＬを特定した元である、検索キー対応検索結果情報のＵＲＬの組の親子関係に基づいて、検索キー対応検索結果情報の親子関係を特定し、その親子関係を表す図を、各検索キー対応検索結果情報のキーワードにより出力装置６へ出力する。図５では、各検索キー対応検索結果情報のキーワードをその親子関係に基づいて表示した様子を示している。

図６は情報収集システムの構成を示す第２のブロック図である。
上述の例では、情報収集システムが、フォーカスドクローラ２を１つ備える場合の例について説明したが、図６で示すように、情報収集システムは、フォーカスドクローラ２を複数有するマルチフォーカスドクローラ２０を有するようにしても良い。この場合、マルチフォーカスドクローラ２０内の各フォーカスドクローラ２は連携して、順に収集データ管理装置３の収集対象ＵＲＬ記憶部３５からＵＲＬを取得して、または、関連語抽出装置４から新たな検索キーとなる関連語を取得して、それぞれが情報収集を行う。これにより、収集処理の負荷分散を行うことができる。

なお、上述の情報収集システムでは、複数の装置により、上記各処理を実行しているが、何れかの複数の装置の処理を１つの装置で実行させる場合や、１つの装置の機能を別々の装置で実行する場合も想定される。つまり、入力装置１、フォーカスドクローラ２、収集データ管理装置３、関連語抽出装置４、検索表示装置５のうちの、何れか複数の装置の機能が１つの装置で実行されるようにしてもよい。またフォーカスドクローラ２の情報収集部２２と文書分類部２２の機能が、別々の装置で実行されるようにしてもよい。

上述の各装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１・・・入力装置
２・・・フォーカスドクローラ
３・・・収集データ管理装置
４・・・関連語抽出装置
５・・・検索表示装置

Claims

検索キーに基づいて検索手段が検索した検索キー対応検索結果情報と、当該検索キー対応検索結果情報に含まれるリンク先情報に基づいて前記検索手段が検索したリンク先対応検索結果情報と、の関連度の高低を判定する検索結果情報関連度判定手段と、
前記検索キー対応検索結果情報の中から当該検索キー対応検索結果情報を代表するキーワードと関連度の高い単語を抽出する関連語抽出手段と、
前記検索キー対応検索結果情報と関連度の高いリンク先対応検索結果情報の検索に用いた前記リンク先情報と、前記関連度の高い単語とを、新たな検索キーとして特定する新検索キー特定手段と、
を備えることを特徴とする情報収集システム。
前記新たな検索キーを用いた検索を繰り返す前記検索手段の前記新たな検索キーを用いた検索回数を制限する検索回数制限手段と、
を備えることを特徴とする請求項１に記載の情報収集システム。
前記検索結果情報関連度判定手段は、
前記検索キー対応検索結果情報に含まれる各単語の当該検索キー対応検索結果情報内の出現頻度と、前記リンク先対応検索結果情報に含まれる各単語の当該リンク先対応検索結果情報内の出現頻度とを用いて、前記検索キー対応検索結果情報と、前記リンク先対応検索結果情報との関連度の高低を判定する
ことを特徴とする請求項１または請求項２に記載の情報収集システム。
前記関連語抽出手段は、
前記検索キー対応検索結果情報の中から前記代表するキーワードを含む文を抽出し、当該文に出てくる他の単語のうち、出現頻度の高い単語を前記代表するキーワードと関連度の高い単語として抽出する
ことを特徴とする請求項２または請求項３に記載の情報収集システム。
情報収集システムにおける情報収集方法であって、
前記情報収集システムの検索結果情報関連度判定手段が、検索キーに基づいて検索手段が検索した検索キー対応検索結果情報と、当該検索キー対応検索結果情報に含まれるリンク先情報に基づいて前記検索手段が検索したリンク先対応検索結果情報と、の関連度の高低を判定し、
前記情報収集システムの関連語抽出手段が、前記検索キー対応検索結果情報の中から当該検索キー対応検索結果情報を代表するキーワードと関連度の高い単語を抽出し、
前記情報収集システムの新検索キー特定手段が、前記検索キー対応検索結果情報と関連度の高いリンク先対応検索結果情報の検索に用いた前記リンク先情報と、前記関連度の高い単語とを、新たな検索キーとして特定する
ことを特徴とする情報収集方法。
前記情報収集システムの検索回数制限手段が、前記新たな検索キーを用いた検索を繰り返す前記検索手段の前記新たな検索キーを用いた検索回数を制限する
ことを特徴とする請求項５に記載の情報収集方法。
情報収集システムのコンピュータを、
検索キーに基づいて検索手段が検索した検索キー対応検索結果情報と、当該検索キー対応検索結果情報に含まれるリンク先情報に基づいて前記検索手段が検索したリンク先対応検索結果情報と、の関連度の高低を判定する検索結果情報関連度判定手段、
前記検索キー対応検索結果情報の中から当該検索キー対応検索結果情報を代表するキーワードと関連度の高い単語を抽出する関連語抽出手段、
前記検索キー対応検索結果情報と関連度の高いリンク先対応検索結果情報の検索に用いた前記リンク先情報と、前記関連度の高い単語とを、新たな検索キーとして特定する新検索キー特定手段、
として機能させることを特徴とするプログラム。
請求項７の各手段に加え、情報収集システムのコンピュータを、さらに、前記新たな検索キーを用いた検索を繰り返す前記検索手段の前記新たな検索キーを用いた検索回数を制限する検索回数制限手段、
として機能させることを特徴とするプログラム。