JPH1091638A

JPH1091638A - 検索システム

Info

Publication number: JPH1091638A
Application number: JP8245049A
Authority: JP
Inventors: Setsu Suzuoka; 節鈴岡; Shinichi Sugano; 伸一菅野; Shinsuke Sawajima; 信介澤島; Tetsuya Yamane; 徹也山根
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1996-09-17
Filing date: 1996-09-17
Publication date: 1998-04-10
Anticipated expiration: 2016-09-17
Also published as: JP4025379B2; US5933832A

Abstract

(57)【要約】【課題】ネットワーク上に散在する膨大な検索対象デ
ータを効率良く取得しデータベース化する検索システム
を提供すること。【解決手段】ネットワーク上でロボットを用いて収集
したデータをもとにデータベースを作成し、検索要求に
応じてデータベース検索を行なう検索システムにおい
て、データベース化の対象とすべきデータの更新頻度の
範囲がデータベース固有に割り当てられ、データの更新
頻度が該割り当てられた更新頻度の範囲内にあることま
たはデータの属するデータ群における平均的な更新頻度
が該割り当てられた更新頻度の範囲内にあることを少な
くとも条件として、該当するデータを収集し所定の構造
のデータベースを作成するデータベース作成手段を備え
たことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ネットワーク上に
分散したデータの検索システムに関する。

【０００２】

【従来の技術】Ａｌｔａｖｉｓｔａ（ｈｔｔｐ：／／ｗ
ｗｗ．ａｌｔａｖｉｓｔａ．ｃｏｍ／）、Ｌｙｃｏｓ
（ｈｔｔｐ：／／ｗｗｗ．ｌｙｃｏｓ．ｃｏｍ／）、Ｙ
ａｈｏｏ！（ｈｔｔｐ：／／ｗｗｗ．ｙａｈｏｏ．ｃｏ
ｍ／）などロボットを用いたネットワーク上の検索シス
テムは多数存在する。これらはロボットと呼ばれる機械
的にネットワーク上で情報を収集するソフトウェアを用
いている。そして、収集したデータをデータベース化
し、利用者が検索できるようにしている。

【０００３】上記ロボットは、ネットワーク上でＨＴＭ
Ｌ（ＨｙｐｅｒＴｅｘｔＭａｒｋｕｐＬａｎｇｕ
ａｇｅ）で記述された文章を探し、そこに記載されてい
るリンク先を辿って、ネットワーク上に存在するデータ
を収集する。データベース化については、フルテキスト
サーチをするものもあれば、タイトルやＵＲＬといった
部分のみを検索対象とするようなものもある。

【０００４】上記データベースは、量が多いので分散化
されている場合もある。しかし、あくまでも量が多いた
めの単なる分割であり、何らかの意味を持って分割して
はいない。

【０００５】上記検索には、キーワード検索が行なわれ
る。すなわち、探したい文章に含まれているであろう語
を入力して、検索を行なう。一方、人気のあるサイトへ
のアクセス集中を分散させ、トラフィックを軽減するた
めに、ミラーサイトが設けられることがある。例えば、
ＰｏｉｎｔＣａｓｔＮｅｔｗｏｒｋ（ＰＣＮ）社の
Ｉ−Ｓｅｒｖｅｒ（ｈｔｔｐ：／／ｗｗｗ．ｐｏｉｎｔ
ｃａｓｔ．ｃｏｍ／ｐｒｏｄｕｃｔｓ／ｉｓｅｒｖｅ
ｒ．ｈｔｍｌ）ではＰＣＮ本社へ定期的に情報をプリフ
ェッチして、ミラーサイトを管理している。

【０００６】

【発明が解決しようとする課題】従来、ネットワーク上
に分散したデータの検索システムにおいては、以下のよ
うな問題点があった。（１）増大するデータを扱うのが困難になりつつある。
例えばＷＷＷ上のページデータが１９９６年で世界で４
０００万以上あると言われ、今後も指数関数的に増加す
ると予想される。現在、ページ数も、１ページあたりの
データ量も急激に増大する傾向にある。このように急増
するデータを単に量により分割するだけでは、データベ
ース管理が極めて困難である。

【０００７】（２）更新頻度が高い情報を扱うのが困難
である。一日に何度も更新されるデータについては、現
在の検索システムではロボット探索対象から外してい
る。この理由は、頻繁に更新されるデータをロボットで
情報収集してデータベース化しても、そのデータが検索
される前に更新されることが少なくないからである。こ
のような場合には、検索結果に現れたページを見ても、
既になくなっていたり、内容が全く別のものに変更され
たために利用者の意図したものとは別ものもが表示され
たりする不都合が生じる。

【０００８】本発明は、上記事情を考慮してなされたも
ので、ネットワーク上に散在する膨大な検索対象データ
を効率良く取得しデータベース化する検索システムを提
供することを目的とする。また、本発明は、極めて更新
頻度の高いデータをも効果的にデータベース化する検索
システムを提供することを目的とする。

【０００９】

【課題を解決するための手段】本発明（請求項１）は、
ネットワーク（例えば、インターネットのＷＷＷ）上で
ロボットを用いて収集したデータ（例えばページのよう
なハイパーメディアデータ）をもとにデータベースを作
成し、検索要求に応じてデータベース検索を行なう検索
システムにおいて、データベース化の対象とすべきデー
タの更新頻度（例えば、統計的な更新頻度、あるいは最
終更新時刻）の範囲がデータベース固有に割り当てら
れ、データの更新頻度が該割り当てられた更新頻度の範
囲内にあることまたはデータの属するデータ群（例え
ば、サイト）における平均的な更新頻度が該割り当てら
れた更新頻度の範囲内にあることを少なくとも条件とし
て、該当するデータを収集し所定の構造のデータベース
を作成するデータベース作成手段を備えたことを特徴と
する。

【００１０】データベースは、例えば、データのアドレ
スとキーワードの組からなる構造を持つ。具体的には、
例えば、ページのＵＲＬにキーワードを付加したもので
ある。

【００１１】本発明（請求項２）は、請求項１に記載の
検索システムにおいて、既にデータベース化したデータ
の更新頻度または該データの属するデータ群における平
均的な更新頻度が、そのデータベースに割り当てられた
前記更新頻度の範囲外のものとなった場合には、該デー
タを対象とし得る他のデータベースにて該データをデー
タベース化の対象とさせるための処理を行う処理手段を
さらに備えたことを特徴とする。

【００１２】本発明（請求項３）は、請求項１に記載の
検索システムにおいて、利用者から与えられた検索要求
に応答して、互いに同一でない前記更新頻度の範囲が割
り当てられて作成された複数の前記データベースを連携
させて検索を行い、得られた検索結果を返す検索手段を
さらに備えたことを特徴とする。

【００１３】本発明（請求項４）は、請求項１に記載の
検索システムにおいて、前記検索要求で更新頻度範囲お
よび更新時刻範囲の少なくとも一方が指定されている場
合には、前記検索手段は、指定された更新頻度範囲およ
び更新時刻範囲の少なくとも一方に該当するデータにつ
いてのみ検索を行い、前記検索要求で検索範囲の指定が
ない場合には、前記検索手段は、全データを対象とし
て、または更新頻度範囲および更新時刻範囲の少なくと
も一方のデフォルト値で制限された範囲を対象として検
索を行うことを特徴とする。

【００１４】本発明（請求項５）は、請求項１ないし４
のいずれか１項に記載の検索システムにおいて、前記検
索システムを構成するハードウェアのうち更新頻度の高
い（例えば、統計的な更新頻度の高い、あるいは最終更
新時刻の新しい）データに対応する部分ほど、高い処理
能力を持たせることを特徴とする。

【００１５】本発明（請求項６）は、請求項５に記載の
検索システムにおいて、前記高い処理能力は、より高速
な計算機を用いることおよびより多数の計算機を用いる
ことの少なくとも一方によって実現することを特徴とす
る。

【００１６】本発明によれば、データの更新頻度の高さ
（あるいは最終更新時刻の新しさなど）を人気の度合い
と見做せば、人気の度合い応じて異なったデータベース
にてデータを管理することができる。また、人気の高い
すなわちアクセス頻度の高いデータベースを処理する計
算機を強力にし、アクセス頻度の低い膨大な量のデータ
については処理能力の低い計算機を割り当てることによ
り、ハードウェア資源を効率的に使用したシステムを構
築できる。これによって、膨大なデータを対象とした効
果的な検索システムを提供することができる。

【００１７】本発明（請求項７）は、ネットワーク上で
ロボットを用いて収集したデータをもとにデータベース
を作成し、データベース検索を行なう検索システムにお
いて、外部からの参照要求に応答して取得されたデータ
およびロボットを用いて収集されたデータを保持するキ
ャッシュ手段と、外部から参照要求が与えられた場合
に、前記キャッシュ手段に該当するデータが保持されて
いるならば、前記キャッシュ手段からデータを提供し、
前記キャッシュ手段に該当するデータが保持されていな
いならば、該データを保持する本来のサーバーから該デ
ータを取得して提供するデータ提供手段とを備えたこと
を特徴とする。

【００１８】本検索システムは、プロキシーも兼ねるも
のであり、これによって、利用者が要求したデータがシ
ステム内にあるならば、それが利用者からの要求によっ
て取得したものであっても、それがロボットによって収
集されたものであっても、それを利用者に提示すること
ができる。

【００１９】これによって、極めて更新頻度が高いデー
タに対しても、検索を適用することができる。本発明
（請求項８）は、請求項７に記載の検索システムにおい
て、外部から参照要求されたデータについての統計処理
を行って、今後参照要求されるデータを予測する予測手
段と、予測されたデータおよび予め明示的に指定された
データを、ロボットを用いて取得し前記キャッシュ手段
にプリフェッチするプリフェッチ手段とをさらに備えた
ことを特徴とする。

【００２０】本発明では、取得可能なすべてのデータを
ロボットを用いてあらかじめ収集せずに、あらかじめ指
定したデータおよび利用者からの統計的観点から参照要
求があると思われるデータについてロボットによりデー
タをプリフェッチしておくので、適切なデータに対して
効果的にミラー化される。

【００２１】本発明（請求項９）は、請求項７に記載の
検索システムにおいて、前記プリフェッチ手段は、取得
対象となるデータの更新頻度に応じた頻度で該データを
取り直すことを特徴とする。

【００２２】本発明（請求項１０）は、請求項７に記載
の検索システムにおいて、前記検索要求に応答して行う
検索で対象とするデータの範囲の制約条件として、ロボ
ットで収集されたデータに限る条件、外部からの参照要
求に応答して取得されたデータに限る条件、同じ名前ま
たはアドレスを持つデータについては最新のものだけに
限る条件、動的または対話的に生成されたデータ以外の
ものに限る条件、および指定されたサイト群またはデー
タ群に限る条件のうち少なくとも１つを課すことを特徴
とする。

【００２３】本発明（請求項１１）は、請求項７に記載
の検索システムにおいて、前記キャッシュ手段は、取得
されたデータにその更新時刻情報および収集時刻情報の
少なくとも一方を付加して保持することを特徴とする。

【００２４】これによって、取得元のデータの名前が同
じでも時刻によって異なるデータに対しても管理でき
る。なお、以上の各装置に係る発明は、方法に係る説明
としても成立する。また、上記の発明は、相当する手順
あるいは手段をコンピュータに実行させるためのプログ
ラムを記録した機械読取り可能な媒体としても成立す
る。

【００２５】

【発明の実施の形態】以下、図面を参照しながら発明の
実施の形態を説明する。まず、語句の定義を行う。プロ
キシー（Ｐｒｏｘｙ）とは、クライアント（例えば利用
者端末）からサーバー（例えばＷＷＷサイト）への資源
アクセスの際にアプリケーションレベルにおいて、クラ
イアントとサーバーの間に入り、クライアントからの資
源アクセス要求をサーバーに対して中継し、サーバーか
らの応答をクライアントに対して中継する機能を有する
サーバーのことを言う。

【００２６】ページ（ｐａｇｅ）とは、ハイパーテキス
トのページを意味するものとする。ＷＷＷの世界では、
１つのページはユニークなＵＲＬを持つ。ＵＲＬ（Ｕｎ
ｉｆｏｒｍＲｅｓｏｕｃｅＬｏｃａｔｉｏｎ）と
は、ページデータをアクセスするのに必要な情報であ
る。ＵＲＬは、プロトコル、ドメイン名、ポート番号、
パス名の情報を含む。

【００２７】ＣＧＩ（ＣｏｍｍｏｎＧａｔｅｗａｙ
Ｉｎｔｅｒｆａｃｅ）とは、対話的なページや動的なペ
ージを作るためにサーバーからプログラムを起こすため
のインターフェースである。

【００２８】ロボット（Ｒｏｂｏｔ）とは、Ｈｙｐｅｒ
ＴｅｘｔＭａｒｋｕｐＬａｎｇｕａｇｅ（ＨＴＭ
Ｌ）やＳｔａｎｄａｒｄＧｅｎｅｒａｌｉｚｅｄＭ
ａｒｋｕｐＬａｎｇｕａｇｅ（ＳＧＭＬ）のようなハ
イパーテキストで記述された文書を読み、そこに書かれ
ているリンクを機械的に辿りながら文書をネットワーク
上で収集するものであり、ソフトウェアにより実現され
る。ロボットの代わりにスパイダー（ｓｐｉｄｅｒ）あ
るいはワンダラー（Ｗａｎｄｅｒｅｒ）などと呼ばれる
こともある。

【００２９】ロボットの基本的な動作は次のようにな
る。（手順１）指定されたＵＲＬの根を探訪リストに登録す
る。（手順２）ロボットは、探訪リストに従いページを取得
する。（手順３）取得されたページを解析してＵＲＬを抽出す
る。（手順４）抽出されたＵＲＬを探訪リストに追加する
（ただし、ＵＲＬの重複登録はしない）。以降、手順２〜４を繰り返す。なお、ページの取得頻度
は、該ページの更新頻度に応じて決めるようにしても良
い。

【００３０】次に、本実施形態を概略的に説明する。本
実施形態では、ネットワーク中に分散されたデータの一
例としてページを扱うものとする。

【００３１】前述したように、例えば、ＷｏｒｌｄＷ
ｉｄｅＷｅｂ（ＷＷＷ）上のページ数（ページの種
類）は４０００万を越えると言われる。この数は、今後
も指数関数的に増え続けると予測されている。このよう
な膨大な量のページを単一のデータベースで管理するこ
とは極めて困難である。

【００３２】データベースを分割する最も単純な方法
は、サイト（ドメイン）単位でデータベースを分割する
ことであるが、こうすると、どのデータベースも等しく
高速でなければならない。データベースを分割すること
ができても、すべてが高速でなければならないとする
と、データベース構築の負担は依然高い。

【００３３】そこで、第１の実施形態では、データベー
スの内容を人気の度合いに応じて分割するようにしてい
る。そして、人気の高いデータベースは高速なシステム
（例えば大容量メモリを持つマシン）の上に載せ、人気
があまりないデータベースは低速なシステムの上に載せ
るようにする。このようにすると、人気の高いデータベ
ースを載せるマシンだけ高速なマシンを使えば良くな
り、データベース構築の負担を効果的に軽減することが
できる。

【００３４】ここで、ページの人気の高さを知るために
は厳密に言うとネットワークの視聴率調査などをしなけ
ればならないが、そのような作業は大きな困難を伴い現
実的ではない。そこで、本実施形態では、次のような良
く成り立つ近似を使う。まず「ページが飽きられずに高
い人気を保ためには、絶えずコンテンツをアップデート
していく必要がある」と考える。そして、その逆をとっ
て「データの更新頻度が高いページは、人気の高いペー
ジである」と近似する。つまり、本実施形態では、人気
のバロメーターとしてデータの更新頻度を使い、データ
ベースの内容をデータの更新頻度に応じて分割する。な
お、ページの更新頻度はロボットを走行させることによ
り取得できる情報である。

【００３５】ところで、更新頻度が高いページには１日
に何度も更新されるものもある。このようなページに対
して時々しかアクセスしない方法を採る場合、実際のペ
ージデータと検索システム内のデータベースとが不一致
となる状態が発生する。特に、データベース検索の結果
をもとにページを参照しにいくと、既に該当ページがな
くなっていたり、ページ自体はあっても内容が別のもの
に変更されてたりすることがあり、このような場合に不
具合が発生する。

【００３６】一方、データベースの陳腐化による矛盾を
軽減するためには、ロボットが非常に高頻度にページを
アクセスする必要がある。しかし、不定期に頻繁に変更
されるページの最新情報に追い付くために頻繁にアクセ
スすることは、無用なトラフィックを増大させ、情報を
保持するサイトにも検索システム側にも不利益を被らせ
る。

【００３７】そこで、第２の実施形態では、データベー
ス化した元データを保存しておき、それを利用者に提示
するようにしている。このようにすると、実際のページ
の変化には多少遅れるが、無駄にトラフィックを増やす
こともなく、しかも検索結果に対応した元ページを常に
見ることができる。

【００３８】なお、第１の実施形態と第２の実施形態を
組み合わせることも可能である。この場合には、両者の
効果を得ることができる。以下、本発明の実施形態につ
いて詳しく説明する。

【００３９】（第１の実施形態）まず、第１の実施形態
について説明する。本実施形態のシステム構成例を、図
１、図４、図６に示す。

【００４０】本実施形態では、複数のデータベースを容
易し、データの更新頻度に応じてデータベースを使い分
ける。すなわち、各データベースに、対象とするページ
データの更新頻度の範囲を割り当てる。そして、ユーザ
が要求するキーワードについて検索を行なう際には、複
数のデータベースを連携させて検索し、結果をまとめて
利用者に提示する。

【００４１】各データベースへのページ分担方法には、
例えば次のようなものが考えられる。（ａ）統計的更新頻度情報によって分担（ｂ）最終更新時刻によって分担（ｃ）統計的更新頻度情報と最終更新時刻との総合的情
報によって分担ここで、（ｂ）の最終更新時刻によって
分担する方法について説明する。

【００４２】あるページは、更新された直後は頻繁にア
クセスされ（つまり人気があり）、最後に更新されてか
ら時間が経過している程、アクセスされる頻度が少ない
（つまり人気がない）と考えられる。そこで、例えば図
３のように、最終更新時刻の範囲に応じて、格納すべき
データベースを分担する。

【００４３】あるページに関する情報を格納するデータ
ベースを決定する方法には、例えば次のようなものが考
えられる。（１）サイト単位に格納すべきデータベースを決定す
る。この場合には、サイト内のデータの更新頻度の平均
値を評価値に用いる。（２）サイト内のディレクトリ単位に格納すべきデータ
ベースを決定する。この場合には、ディレクトリ内のデ
ータの更新頻度の平均値を評価値に用いる。（３）データ単位に格納すべきデータベースを決定す
る。この場合には、そのデータの更新頻度を評価値に用
いる。

【００４４】ここで、更新頻度は、上記の統計的更新頻
度情報や最終更新時刻などである。なお、上記の（１）
〜（３）の方法は、併用可能である。例えば、サイトＡ
についてはサイト単位にデータベースに入れ、サイトＢ
については、データ単位にデータベースに入れるように
しても良い。また、サイトＣ内で、ディレクトリａにつ
いてはディレクトリ単位にデータベースに入れ、ディレ
クトリｂについてはデータ単位にデータベースに入れる
ようにすることも可能である。

【００４５】また、更新頻度が高いデータほど、内部ネ
ットワークにつながれたサーバにおくことも考えられ
る。例えば、更新頻度が高い方のデータを組織内のイン
トラネットにおき、更新頻度が低い方のデータをインタ
ーネットに直接接続された場所で管理する。

【００４６】なお、本実施形態では、データベースには
ページ自体ではなくキーワードとＵＲＬとを格納するも
のとする。また、ページを全文検索などして抽出したキ
ーワードをＵＲＬに付加して格納し、キーワードでＵＲ
Ｌを検索するものとする。

【００４７】また、本実施形態では、語単位もしくはキ
ーワード単位のデータベースについて述べているが、文
字単位のデータベースであっても良い。次に、図１、図
４、図６に示す各システム構成例について説明する。

【００４８】図１の構成例では、ネットワーク１００
に、複数のロボットとデータベースとの組（１０１と１
０２，１１１と１１２，１２１と１２２）からなる検索
装置１００，１１０，１２０、複数のＷＷＷサイト（１
３１，１３２）、利用者端末（１３３）が接続されてい
る。

【００４９】各データベースには、前述したようなペー
ジ分担方法で、対象とする更新頻度を割り当てる。第１
のロボット１０２は、高頻度に変化するサイト群もしく
はデータ群を集め（例えばＷＷＷサイト１３１，１３２
から集め）、それをデータベース化して第１のデータベ
ース１０１に格納する。

【００５０】第３のロボット１２２は、低頻度に変化す
るサイト群もしくはデータ群を集め、それをデータベー
ス化して第３のデータベース１２１に格納する。第２の
ロボット１１２は、それ以外の中頻度に変化するサイト
群もしくはデータ群を集め、それをデータベース化して
第２のデータベース１１１に格納する。

【００５１】高頻度、低頻度、それ以外の中頻度に夫々
対応する実際の統計的更新頻度情報（あるいは、最終更
新時刻など）の範囲は、適宜設定する。次に、動的なデ
ータベースの分担変更について述べている。

【００５２】本実施形態では、統計から得られる更新頻
度情報に応じて分割された各データベースに該当するペ
ージのＵＲＬを入れるが、時間とともにページの更新頻
度（あるいはページの属するサイトの平均的な更新頻度
等）は変化することがあるので、あるページの更新頻度
（あるいはページの属するサイトの平均的な更新頻度
等）がそのページを分担した初期のデータベースの持つ
更新頻度の範囲を逸脱する場合が発生する。従って、あ
るページを分担中のデータベースから適切な更新頻度範
囲を持つデータベースにそのページデータもしくはサイ
トを受け持つように依頼するようにするのが望ましい。
この依頼は、データベース間の交渉により実現されるも
のとする。

【００５３】例えば、図１において、第１のロボット１
０２は、統計的に高頻度のデータ群を取り寄せ第１のデ
ータベース１０１に格納する。しかし、当初高頻度で更
新されていたデータの更新頻度が自分が受け持つ範囲よ
りも低下したならば、そのデータを第２のロボット１１
２とデータベース１１１に引き受けてもらう。また、更
新頻度が大きく落ちた場合には、第３のロボット１２２
とデータベース１２１に担当を替えるよう依頼する。

【００５４】図２に、図１のように更新頻度に応じてロ
ボットが複数台あり、それぞれにデータベースがある場
合の各検索装置の処理手順の一例を示す。ステップＳ２
１で、他の検索装置からページの分担を依頼されている
かどうか調べ、あればステップＳ２７を行い、なければ
ステップＳ２２を行う。

【００５５】ステップＳ２２で、それぞれのロボット
は、指定されたページを１つ選び、そのページを取得す
る。このときのページの統計的更新頻度に比例した頻度
でページを取得するようにスケジュールする。なお、そ
のページについて統計的更新頻度の情報がない場合に
は、そのページを含むサイトのページのうち得られてい
る統計的更新頻度の平均的な値あるいはデフォルト値な
どで代用すれば良い。

【００５６】ステップＳ２３で、取得したページが前回
と変わっているか否かにより、そのページの統計的更新
情報を更新する。もし、ネットワークや相手サーバのト
ラブルにより、そのページの取得に失敗した場合には、
そのページの取得に失敗したという記録を残して、ステ
ップＳ２２に戻る。

【００５７】ステップＳ２４で、新しい更新頻度が自ら
が担当している範囲内かどうかを調べる。ステップＳ２
５で、もし自らの担当範囲外になったならば、それを範
囲内に含む検索装置に以降の処理を依頼する。このと
き、そのページのデータは消去する。

【００５８】ステップＳ２６で、もし自らの担当範囲内
ならば、取得したページをデータベース化し、格納す
る。例えば、ページデータを形態素解析し、単語レベル
に分解し、単語を含むページという形にデータベース化
する。このとき、そのページの前のデータは消去する。

【００５９】ステップＳ２７で、他の検索装置から依頼
があった場合には、そのページを自ロボットで扱うこと
ができるように、そのページを登録し、そのページの統
計的更新頻度情報を設定する。

【００６０】本実施形態において、検索利用者がデータ
ベース検索を行う場合、利用者端末１３３から複数のデ
ータベース１０１，１１１，１２１のすべてに検索要求
を出す方法と、いずれか１つのデータベース１に検索要
求を出す方法が考えられる。後者のいずれか１つのデー
タベースに検索要求を出す場合には、その検索要求を受
け取ったデータベースのみが結果を返すようなモード
と、そのデータベースが他のデータベースにも問い合わ
せに行き結果をマージして返すようなモードが考えられ
る。

【００６１】次に、図４の構成例について説明する。図
４は、基本的には図１と同様であり、データの更新頻度
に応じた複数のデータベース２０１〜２０３が用意され
ているが、ロボット２０４を一台で兼用する点に関して
図１の構成例と相違する。

【００６２】図５に、図４のように、ロボットが１台で
データベースが複数ある場合の検索装置の処理手順の一
例を示す。ステップＳ１１で、指定されたページを１つ
選び、ロボット２０４を用いてそのページを取得する。
このときのページの統計的更新頻度に比例した頻度でペ
ージを取得するようにスケジュールする。なお、そのペ
ージについて統計的更新頻度の情報がない場合には、そ
のページを含むサイトのページのうち得られている統計
的更新頻度の平均的な値あるいはデフォルト値などで代
用すれば良い。

【００６３】ステップＳ１２で、取得したページが前回
と変わっているか否かにより、そのページの統計的更新
情報を更新する。もし、ネットワークや相手サーバのト
ラブルにより、そのページの取得に失敗した場合には、
そのページの取得に失敗したという記録を残して、ステ
ップＳ１１に戻る。

【００６４】ステップＳ１３で、ステップＳ１１で取得
したページの新しい統計的更新確率により、そのページ
をどのデータベースに担当させるかを決定する。ステッ
プＳ１４で、ページ情報をデータベース化する。例え
ば、ページデータを形態素解析し、単語レベルに分解
し、単語を含むページという形にデータベース化する。
このデータをステップＳ１３で決めたデータベースに格
納する。このとき、そのページの前のデータは消去す
る。もし、ここで、これまで格納されていたデータベー
スと異なるデータベースに格納されていたならば、それ
をも消去する。もし、取得したページが前回から変更が
ない場合には、データベース化は行わないが、格納すべ
きデータベースがそれにより変更された場合には、デー
タの移動のみを行う。

【００６５】以上のように、ロボットの数はデータベー
スの数と一致している必要はない。例えば、図４の場
合、ロボットの数は２台でも４台以上でも良い。各ロボ
ットとデータベースとの対応関係は適宜設定すれば良
い。

【００６６】なお、検索利用者によるデータベース検索
については前述した図１と同様である。次に、図６の構
成例について説明する。図６の検索装置３００は、デー
タベース全体を取りまとめるデータベース・フロントエ
ンド（ＤＢＦ）３０１が設けられている点が図４の検索
装置２００と相違する。

【００６７】本構成例では、このＤＢＦ３０１が利用者
端末１３３からの検索要求を受付け、適切なデータベー
スに問い合わせて、結果を利用者に提示する。次に、デ
ータベース検索における検索対象範囲の指定について説
明する。

【００６８】本第１の実施形態では、検索要求にて、キ
ーワードを用いた検索条件の他に、対象とする更新頻度
の範囲および／または更新時刻の範囲を指定できるよう
にすると好ましい。また、検索要求において明示的に更
新頻度が指定されていない場合に、データベースあるい
はＤＢＦの方でデフォルト値（例えば最も更新頻度の高
いデータベースのみといった更新頻度範囲）をもって検
索を行なうようにしても良い。

【００６９】ここで、図７に、図６の検索装置における
検索手順の一例を示す。利用者が利用者端末１３３から
データベース・フロントエンド３０１に向けて検索要求
を送り出すと、ステップＳ３１で、データベースフロン
トエンド３０１は利用者端末３０８からの検索要求を受
け取る。

【００７０】ステップＳ３２で、その検索要求が更新頻
度範囲指定を持つかどうかを判定する。もし持つなら
ば、ステップＳ３３で、利用者の検索要求の対象範囲に
応じて適切な範囲のデータベースでのみ検索を行う。

【００７１】もし持たないならば、ステップＳ３４で、
すべてのデータベースで検索を行う。ステップＳ３５
で、結果をマージして利用者端末３０８に返す。

【００７２】次に、システムのハードウェア構成に関し
て説明する。本第１の実施形態では、更新頻度の高い方
（例えば、統計的更新頻度情報の高い方、あるいは最終
更新時刻の新しい方など）を受け持つデータベース（ま
たはデータベースおよびロボット）などを構成する計算
機には、更新頻度の低い方（例えば、統計的更新頻度情
報の低い方、あるいは最終更新時刻の古い方など）を受
け持つデータベース（またはデータベースおよびロボッ
ト）などを構成する計算機よりも、高速性について同等
以上のものを用い、あるいは台数について同数以上を用
いるなどして、更新頻度が高いデータを検索するデータ
ベースを担当する計算機の方がそうでないデータベース
を担当する計算機よりも処理能力が同じかより高いよう
にシステムを構成すると好ましい。

【００７３】すなわち、更新頻度が高い方のデータを担
当するデータベースの方が更新頻度が低い方のデータを
担当するデータベースよりも頻繁に利用されるので、更
新頻度が高い方のデータを担当するデータベースの方の
みについて処理能力を上げるだけで、全体の処理能力を
効果的に向上させることができる。

【００７４】従って、本実施形態のように更新頻度に応
じてデータベースを分割することにより、更新頻度の高
いデータベースを載せる計算機だけ高速なものを使えば
良くなり、データベース構築の負担を効果的に軽減する
ことができる。

【００７５】例えば、図８のように、第１の検索装置４
１０を構成する計算機群が更新頻度が高いデータ群を担
当し、第２の検索装置４０１を構成する計算機群が更新
頻度が低いデータ群を担当している場合には、第１の計
算機群４１０においてはデータベースをハードウェア的
に二重化して高速化している。高速化の手段としては、
ハードウェアを多重化する他にも、速い素子を使った計
算機を使うとか、メモリの容量を大きくするなどの方法
がある。

【００７６】以上では、本実施形態についてネットワー
クを１つとして説明したが、図９のように複数のネット
ワーク５００〜５０４が結合された環境であっても良
い。さらに、ネットワーク５００〜５０４が組織や国の
ように物理的にまったく離れた場所を結合しているもの
であっても良い。

【００７７】（第２の実施形態）次に、第２の実施形態
について説明する。本実施形態では、検索システムにプ
ロキシー機能も装備し、検索結果として参照されるべき
ページデータを既に持っているならば、そのデータをネ
ットワークを介して新たに取りに行くことはせずに、既
に持っているデータを返す。

【００７８】これにより、前述した頻繁に変化するペー
ジの問題にも対処することができる。すなわち、頻繁に
変化するページでは、検索結果として示されるリンクを
辿ったときには、既にそのページがなくなっていたり、
更新されていて役にたたないことがある。これに対し
て、検索用データベースで用いたデータを提示するので
あれば、このような問題は生じない。

【００７９】すなわち、頻繁に変化するページは、図１
３に示すようにサンプリング的に取得し、次の取得まで
内容を保持しておく。これにより、例えば図１３中のｔ
１でページが消失しあるいは内容が別のものに移行され
るなどしても、最後にサンプリングしたｔ０のときの内
容を提示することができる。

【００８０】図１０に、本実施形態のシステム構成例を
示す。図１０に示すように、本実施形態の検索装置６０
１は、ネットワーク６００に接続されており、ロボット
６０２、キャッシュ６０３、データベース化部６０４、
データベース６０５、データベース・フロントエンド
（ＤＢＦ）６０７、ＷＷＷフロントエンド６０６を有す
る。また、図１０には示していないが、ネットワーク６
００を介して各ＷＷＷサイトや利用者端末が接続されて
いるものとする。また、図１０中では、データベースを
１つとして表わしているが、複数に分割されていても良
い。また、複数のデータベースに第１の実施形態にて説
明した発明を適用し、データの更新頻度に応じてデータ
ベースに情報の格納を分担させても良い。

【００８１】本実施形態では、データベースにはページ
のＵＲＬを格納するものとする。また、ページを全文検
索などして抽出したキーワードをＵＲＬに付加して格納
し、キーワードでＵＲＬを検索するのもとする。

【００８２】最初にデータベース化までを説明し、次に
利用方法について説明する。データベース化まで手順の
一例を以下に示す。まず、ロボット６０２を用いて、探
訪リストに従って、ネットワーク６００を介して他のＷ
ＷＷサイトからデータを収集する。もし自身も独自コン
テンツを持つＷＷＷサイトであるならば、自身からもデ
ータを収集する。その収集したものをキャッシュ６０３
に格納する。キャッシュ６０３に格納されているものの
中からデータベース化部６０４により検索用データベー
ス６０５を作成する。例えば、語単位でのキーワード検
索を行なう場合には、データベース化部６０４では、キ
ャッシュ６０３内のデータを形態素解析し、語単位でデ
ータベース化する。これにより、利用者から特定の語を
含む情報を要求された場合に、即座にデータベース検索
が可能となる。ここで、本検索装置では、データベース
化するときのデータの在処として、そのデータを取得し
たネットワーク上のアドレス（ＵＲＬ）ではなく、キャ
ッシュ６０３に格納されているデータのアドレスを用い
る。

【００８３】一方、ユーザからの参照要求によりＷＷＷ
フロントエンド６０６がアクセスして取得したページ
も、キャッシュ６０３に格納するとともに、上記と同様
にデータベース化しておく。

【００８４】次に利用する際の手順の一例を以下に示す
。利用者は、ネットワーク６００を介して、検索装置
６０１のＷＷＷフロントエンド６０６にアクセスし、検
索要求を出す。その要求は、データベース・フロントエ
ンド（ＤＢＦ）６０７に伝えられ、複数のデータベース
がある場合には、適切なデータベースが選択され、それ
に検索要求を出す。データベース・フロントエンド（Ｄ
ＢＦ）６０７では、複数のデータベースに検索要求を出
した場合には、それらの結果を取りまとめて、ＷＷＷフ
ロントエンド６０６を介して利用者に検索結果を提示す
る。利用者は、検索結果の中で、さらにその中身を見て
みたいと思うものがあれば、検索装置６０１のＷＷＷフ
ロントエンド６０６に参照要求を出す。ＷＷＷフロント
エンド６０６では、参照を要求されたページが自キャッ
シュ６０３に格納されているものであるならば、該ペー
ジをキャッシュ６０３から取り出して参照要求者に返
す。もし自キャッシュ６０３になければ、その旨を参照
要求者に返す。

【００８５】ここで、検索装置では、取得可能なすべて
のデータをロボットを用いて収集せずに、予め指定され
たデータに加えて、統計的観点から参照要求があると思
われるデータについてロボットによりデータをプリフェ
ッチしておくようにしても良い。これは、ＷＷＷ上のす
べてのデータを検索対象としない場合や、実際のページ
の更新頻度ではなく、利用者の要求に基づいてデータを
更新する場合に有効である。

【００８６】すなわち、ＷＷＷ上のすべてのデータを検
索対象としない場合には、どの範囲をロボットで収集す
るかが問題となる。そこで、この検索サーバ兼プロキシ
ーへの要求に現れるページやサイトを統計処理し、その
頻度が高いデータやサイトのデータを優先的にロボット
を用いてあらかじめプリフェッチしておく。このときに
は、実際のページの更新情報が高いもの程よくそのペー
ジをロボットが訪問するのみならず、そのページに対す
る参照要求の発生確率が高いページほど良くそのページ
をロボットが訪問するようにする。これにより、システ
ム管理者が特別に指定しなくても、適切なデータに対し
てミラー化される。

【００８７】上記のような検索装置に構成例を図１１に
示す。図１１の検索装置７０１は、図１０の検索装置６
０１にユーザ要求記録部７０８を追加したものである。
従って、相当する部分の説明は省略し、相違する部分を
中心に説明を行う。

【００８８】図１２に、本検索装置７０１による情報収
集の処理手順を示す。ステップＳ４１で、利用者のアク
セスログを解析し、そのサイトで良く参照されるページ
やサイトの情報を得る。

【００８９】ステップＳ４２で、上記とは別にシステム
管理者などにより明示的に指示されたページやサイトの
情報をステップＳ４１で得たものとマージする。ステッ
プＳ４３で、上記で得たデータを、その統計的更新確率
にしたがってロボットを用いて取得する。もし、ページ
について統計的更新確率情報が得られていなかったとき
には、そのページを含むサイトのページのわかっている
統計的更新確率情報の平均値で代用する。さらに、その
サイトの統計的更新確率情報もわからない場合には、知
っているすべてのサイトの統計的更新確率情報もしくは
デフォルト値で代用する。この統計的更新確率情報に比
例した頻度でデータを繰り返し取得する。また、あるサ
イトがある時刻に更新される可能性が高いことがわかっ
たならば、その時刻よりも少し後に情報を取に行くよう
にする。

【００９０】さて、本検索装置７０１は、プロキシーも
兼ねているので、利用者は検索要求でなく、単にネット
ワーク上の情報が欲しいときには、参照要求を検索装置
７０１に出す。その参照要求は、ＷＷＷフロントエンド
７０６を介して、ユーザ要求記録部７０８に出され、こ
こで要求データの記録が残される。ここで要求されたデ
ータがキャッシュ７０３にあれば、それをそのまま返
し、なければネットワーク７００を介してデータを取り
に行き、そのデータをキャッシュ７０３に一旦格納した
後、ＷＷＷフロントエンド７０７を介して利用者に返
す。

【００９１】このように、図１１の検索装置では、利用
者がどのデータに関心が高いかといった情報がユーザ要
求記録部７０８に格納されている。従って、ロボットで
データを予め収集するときに、ロボットで取得できるす
べてのデータを取ろうとするのではなく、ユーザ要求記
録部７０８に格納されているデータと明示的に指示され
た取得すべきデータとを取得する。

【００９２】なお、取得すべきでないデータ群を指定し
て、それらはユーザ要求記録部７０８にあるものであっ
ても取得しないようにしても良い。ところで、頻繁に更
新されるデータについては、ユーザ要求記録部７０８の
記録を見ても有効でないと考えられる。なぜならば、再
び訪れたときにはそのデータが消滅している可能性が高
い。従って、そのようなデータについては、サイトもし
くはデータへのパスのみを有効な情報とし、同じデータ
でなくても同じサイトのデータならばロボットによって
取得するようにする。

【００９３】例えば、以下のような番号を名前とするよ
うなＵＲＬは一時的にのみ存在している可能性が高い。ｈｔｔｐ：／／ｗｗｗ．ｔｓｂ．ｃｏ．ｊｐ／ｆｏｏ／
１２４６３８９．ｈｔｍｌこのような場合には、このファイルを再び取得するので
はなく、このファイルへのリンクを張っているファイル
を取得し、そのファイルからリンクを辿った先のファイ
ルを取得する。

【００９４】図１１の検索装置では、プリフェッチした
ものが将来使われると仮定している。ここでプリフェッ
チする対象は、文字情報、画像、音声、動画などのメデ
ィアを任意に選択できるものとする。例えば、記憶容量
の制約から文字情報のみをプリフェッチするように指定
したが、そのページに動画が入っていた場合には、その
動画は利用者が参照したときにネットワークを介して取
りに行くか、表示されないかのいずれかになる。

【００９５】次に、図１０や図１１の検索装置における
ページの取得頻度に関して説明する。ロボットは、同じ
ＵＲＬのページを定期的に取得しに行くが、その際、対
象ページの更新頻度に応じた頻度で該ページを取り直す
のが好ましい。すなわち、対象ページが統計的に一日に
変更される回数に比例した回数だけ、該ページを取得し
に行く。ただし、指定したデータが消滅したならば、二
度とそのデータを取りに行かないようにする。また、取
得したデータがハイパーリンクとなっている場合には、
リンク先の情報も取りに行くことも可能である。

【００９６】また、指定したサイト群やＵＲＬ群のデー
タについては、利用者がリロード要求を出しても、それ
に応じないようにする。これにより、検索サーバから同
じＵＲＬに対する一定回数以上の要求がでないことが保
証される。

【００９７】次に、図１０や図１１の検索装置における
検索対象に関して説明する。本実施形態では、ロボット
で収集したデータもプロキシーのキャッシュの中に入れ
ておき、利用者が直接要求したデータと同じ場所で管理
する。

【００９８】ここで、参照したコンテンツが暗号化され
ていない有料データのこともあるし、利用者のプライバ
シーの問題もあるので、検索システムが検索対象とする
データに制限が加えられるようにしても良い。

【００９９】制限の与え方としては、以下の条件を１つ
以上組み合わせたものとする。（１）ロボットで収集したものに限る、（２）プロキシ
ーとしてデータを保持しているものに限る、（３）同じ
名前もしくはアドレスを持つ情報については最新のもの
だけに限る、（４）ＣＧＩなどにより動的もしくは対話
的に生成された情報は除く、（５）指定したサイト群や
ＵＲＬ群に限る。

【０１００】例えば、図１０において、データをキャッ
シュ６０４に入れるときに、そのデータの取得状況も記
録しておく。すなわち、そのデータが、ロボットで収集
したものか、利用者が直接要求したものか、ＣＧＩなど
により動的もしくは対話的に生成されたものか（これは
ＵＲＬのパス名にＣＧＩやＢＩＮという文字を含むかど
うかで判定する）、指定されたサイト群かＵＲＬ群かな
どの情報も、データと一緒に記録しておく。そして、管
理者がどの種類のデータはキャッシュ内のデータについ
て検索が可能かどうかを指定できるようにしておく。検
索システムでは、この指定に従って、条件の合うものだ
けをデータベース化する。

【０１０１】次に、図１０や図１１の検索装置における
収集データのアドレスの付け替えについて説明する。本
実施形態では、収集したデータを検索装置のキャッシュ
に格納する際に、該収集データのアドレスもしくはＵＲ
Ｌを付け変えて格納しておいても良い。すなわち、デー
タの位置がネットワークのある場所から検索装置内のキ
ャッシュに移動したのであるから、ドメイン名を検索装
置のドメイン名に変えるようにする。次に、パス名の先
頭に元のドメイン名を付加する。例えば、以下のように
する。

【０１０２】元のＵＲＬｈｔｔｐ：／／ｗｗｗ．ｆｏ
ｏ．ｃｏ．ｊｐ／ｂａｒ／ｉｎｄｅｘ．ｈｔｍｌ検索装置のドメイン名ｗｗｗ．ｓｅａｒｃｈ．ｃｏ．
ｊｐ新たなＵＲＬｈｔｔｐ：／／ｗｗｗ．ｓｅａｒｃｈ．
ｃｏ．ｊｐ／ｗｗｗ．ｆｏｏ．ｃｏ．ｊｐ／ｂａｒ／ｉ
ｎｄｅｘ．ｈｔｍｌこのようにすることにより、データのミラー化が実現で
きる。

【０１０３】次に、図１０や図１１の検索装置における
収集データの時刻管理について説明する。本実施形態で
は、収集データに更新時刻データも付与して管理するよ
うにしても良い。通常のプロキシーのように同じアドレ
ス（ＵＲＬ）に対しては、最新のデータのみを保持する
だけでなく、過去のデータも管理して保持する。ここで
の時刻は、そのデータが有効になった時刻、あるいはそ
れに加えて無効になった時刻とを持つ。

【０１０４】有効になった時刻は、同一ＵＲＬで内容が
更新されたような場合には、サーバーから通知される更
新時刻が変化するので、その時刻が無効になった時刻に
なり、データそのものが消滅した場合には、アクセスに
行ったことにより消滅したことが判った時刻とする。

【０１０５】アドレス（ＵＲＬ名）は、時刻管理をする
ために付け替えて管理する。まず、データの位置がネッ
トワークのある場所から検索装置内のキャッシュに移動
したのであるから、ドメイン名を検索装置のドメイン名
に変える。次に、パス名の先頭に元のドメイン名を付加
する。例えば、以下のようにする。

【０１０６】元のＵＲＬｈｔｔｐ：／／ｗｗｗ．ｆｏ
ｏ．ｃｏ．ｊｐ／ｂａｒ／ｉｎｄｅｘ．ｈｔｍｌ検索装置のドメイン名ｗｗｗ．ｓｅａｒｃｈ．ｃｏ．
ｊｐ新たなＵＲＬｈｔｔｐ：／／ｗｗｗ．ｓｅａｒｃｈ．
ｃｏ．ｊｐ／ｗｗｗ．ｆｏｏ．ｃｏ．ｊｐ／ｂａｒ／ｉ
ｎｄｅｘ．ｈｔｍｌさらに、これに時刻の情報も付与する。例えば、１９９
６年３月２３日１６：３９から１９９６年４月３０日１
０：２３まで有効であったデータならば、以下のように
する。

【０１０７】ｈｔｔｐ：／／ｗｗｗ．ｓｅａｒｃｈ．ｃ
ｏ．ｊｐ／ｗｗｗ．ｆｏｏ．ｃｏ．ｊｐ／ｂａｒ／ｉｎ
ｄｅｘ．ｈｔｍｌ／１９９６０３２３１６３９−１９９
６０４３０１０２３また、以下のような変形も考えられる。

【０１０８】ｈｔｔｐ：／／ｗｗｗ．ｓｅａｒｃｈ．ｃ
ｏ．ｊｐ／ｗｗｗ．ｆｏｏ．ｃｏ．ｊｐ／ｂａｒ／ｉｎ
ｄｅｘ．ｈｔｍｌ／１９９６．３．２３．１６．３９−
１９９６．４．３０．１０．２３なお、以上説明したきた本発明の実施の形態における各
構成は、相当する手順あるいは手段をコンピュータに実
行させるためのプログラムを作成し、これをコンピュー
タに実行させることにより実現可能である。

【０１０９】また、上記プログラムを機械読取り可能な
媒体に記録し、コンピュータがこの媒体からプログラム
を読取って実行するように構成することも可能である。
本発明は、上述した実施の形態に限定されるものではな
く、その技術的範囲において種々変形して実施すること
ができる。

【０１１０】

【発明の効果】本発明によれば、データの更新頻度に応
じて異なったデータベースにてデータを管理することが
できる。この結果、例えば、そのデータベースが管理す
るデータの更新頻度の高さに応じて計算機等の持つ処理
能力を設定することができ、ネットワーク上に分散され
た膨大なデータを効果的に管理することができる。

【０１１１】また、本発明によれば、検索システムにプ
ロキシー機能をも内蔵させたので、プロキシーに格納さ
れているデータを検索し提示することができる。この結
果、例えば、極めて更新頻度が高いデータに対しても、
検索サービス・参照サービスを提供することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る検索装置の構成
例を示す図

【図２】同検索装置の処理手順の一例を示すフローチャ
ート

【図３】最終更新時刻によってデータベースを分担する
方法を説明するための図

【図４】同実施形態に係る検索装置の他の構成例を示す
図

【図５】同検索装置の処理手順の一例を示すフローチャ
ート

【図６】同実施形態に係る検索装置のさらに他の構成例
を示す図

【図７】同検索装置の処理手順の一例を示すフローチャ
ート

【図８】同実施形態に係る検索装置のさらに他の構成例
を示す図

【図９】複数のネットワークが接続された場合のシステ
ム構成の一例を示す図

【図１０】本発明の第２の実施形態に係る検索装置の構
成例を示す図

【図１１】本発明の第２の実施形態に係る他の検索装置
の構成例を示す図

【図１２】同検索装置の処理手順の一例を示すフローチ
ャート

【図１３】頻繁に変化するページのサンプリングを説明
するため図

【符号の説明】

１００，５００〜５０４，６００…ネットワーク１００，１１０，１２０，２００，３００，４０１，４
１０，６０１…検索装置１０２，１１２，１２２，２０４，６０２…ロボット１０１，１０１−１，１０１−２，１１１，１２１，６
０５…データベース１３１，１３２…ＷＷＷサイト１３３…利用者端末３０１，３０１−１，３０１−２，６０７…データベー
ス・フロントエンド（ＤＢＦ）６０３…キャッシュ６０４…データベース化部６０６…ＷＷＷフロントエンド７０８…ユーザ要求記録部

───────────────────────────────────────────────────── フロントページの続き (72)発明者山根徹也神奈川県川崎市幸区小向東芝町１番地株式会社東芝研究開発センター内

Claims

【特許請求の範囲】

【請求項１】ネットワーク上でロボットを用いて収集し
たデータをもとにデータベースを作成し、検索要求に応
じてデータベース検索を行なう検索システムにおいて、データベース化の対象とすべきデータの更新頻度の範囲
がデータベース固有に割り当てられ、データの更新頻度
が該割り当てられた更新頻度の範囲内にあることまたは
データの属するデータ群における平均的な更新頻度が該
割り当てられた更新頻度の範囲内にあることを少なくと
も条件として、該当するデータを収集し所定の構造のデ
ータベースを作成するデータベース作成手段を備えたこ
とを特徴とする検索システム。
【請求項２】既にデータベース化したデータの更新頻度
または該データの属するデータ群における平均的な更新
頻度が、そのデータベースに割り当てられた前記更新頻
度の範囲外のものとなった場合には、該データを対象と
し得る他のデータベースにて該データをデータベース化
の対象とさせるための処理を行う処理手段をさらに備え
たことを特徴とする請求項１に記載の検索システム。
【請求項３】利用者から与えられた検索要求に応答し
て、互いに同一でない前記更新頻度の範囲が割り当てら
れて作成された複数の前記データベースを連携させて検
索を行い、得られた検索結果を返す検索手段をさらに備
えたことを特徴とする請求項１に記載の検索システム。
【請求項４】前記検索要求で更新頻度範囲および更新時
刻範囲の少なくとも一方が指定されている場合には、前
記検索手段は、指定された更新頻度範囲および更新時刻
範囲の少なくとも一方に該当するデータについてのみ検
索を行い、前記検索要求で検索範囲の指定がない場合には、前記検
索手段は、全データを対象として、または更新頻度範囲
および更新時刻範囲の少なくとも一方のデフォルト値で
制限された範囲を対象として検索を行うことを特徴とす
る請求項１に記載の検索システム。
【請求項５】前記検索システムを構成するハードウェア
のうち更新頻度の高いデータに対応する部分ほど、高い
処理能力を持たせることを特徴とする請求項１ないし４
のいずれか１項に記載の検索システム。
【請求項６】前記高い処理能力は、より高速な計算機を
用いることおよびより多数の計算機を用いることの少な
くとも一方によって実現することを特徴とする請求項５
に記載の検索システム。
【請求項７】ネットワーク上でロボットを用いて収集し
たデータをもとにデータベースを作成し、データベース
検索を行なう検索システムにおいて、外部からの参照要求に応答して取得されたデータおよび
ロボットを用いて収集されたデータを保持するキャッシ
ュ手段と、外部から参照要求が与えられた場合に、前記キャッシュ
手段に該当するデータが保持されているならば、前記キ
ャッシュ手段からデータを提供し、前記キャッシュ手段
に該当するデータが保持されていないならば、該データ
を保持する本来のサーバーから該データを取得して提供
するデータ提供手段とを備えたことを特徴とする検索シ
ステム。
【請求項８】外部から参照要求されたデータについての
統計処理を行って、今後参照要求されるデータを予測す
る予測手段と、予測されたデータおよび予め明示的に指定されたデータ
を、ロボットを用いて取得し前記キャッシュ手段にプリ
フェッチするプリフェッチ手段とをさらに備えたことを
特徴とする請求項７に記載の検索システム。
【請求項９】前記プリフェッチ手段は、取得対象となる
データの更新頻度に応じた頻度で該データを取り直すこ
とを特徴とする請求項７に記載の検索システム。
【請求項１０】前記検索要求に応答して行う検索で対象
とするデータの範囲の制約条件として、ロボットで収集
されたデータに限る条件、外部からの参照要求に応答し
て取得されたデータに限る条件、同じ名前またはアドレ
スを持つデータについては最新のものだけに限る条件、
動的または対話的に生成されたデータ以外のものに限る
条件、および指定されたサイト群またはデータ群に限る
条件のうち少なくとも１つを課すことを特徴とする請求
項７に記載の検索システム。
【請求項１１】前記キャッシュ手段は、取得されたデー
タにその更新時刻情報および収集時刻情報の少なくとも
一方を付加して保持することを特徴とする請求項７に記
載の検索システム。