JPH10512699A - コンピュータのネットワークからワールドワイドウェッブ上のページを捜し出したり、ドキュメントを捜し出したりするためのシステム及び方法 - Google Patents

Abstract

(57)【要約】 迅速に、ネットワークによって接続されているコンピュータからワールドワイドウェッブ上のウェッブページをフェッチして解析するためのウェッブクローラーシステム及び方法であり、ランダムアクセスメモリ（ＲＡＭ）に記憶されたハッシュテーブル及びシーケンシャルウェッブインフォメーションディスクファイルを含む。システムに既知である全てのウェッブページについて、ウェッブクローラーシステムは、ハッシュテーブルにより小さなエントリーを記憶するのに加えて、シーケンシャルディスクファイルにエントリーを記憶する。ハッシュテーブルエントリーは、識別値、対応するウェッブページが上手くフェッチされた時だけ真がセットされるフェッチフラグ、対応するエントリーがシーケンシャルディスクファイルのどこに記憶されているかを示すファイル位置インジケータを含む。シーケンシャルディスクファイルのエントリーの各々は、対応するウェッブページのＵＲＬ及びそのウェッブページに関するフェッチステータス情報を含む。ウェッブインフォメーションディスクファイルへの全てのアクセスは入力バッファを経由してシーケンシャルに行われ、単一のＩ／Ｏオペレーションとして、シーケンシャルディスクファイルからの多数のエントリーが入力バッファへ移されるようにする。従って、シーケンシャルディスクファイルは入力バッファからアクセスされる。同様に、シーケンシャルファイルに加えられるべき全ての新しいエントリーは付加バッファに記憶され、付加バッファが一杯になった時はいつでも、付加バッファの内容はシーケンシャルファイルの最後に加えられる。このようにして、ウェッブインフォメーションディスクファイルへのランダムアクセスは排除され、ディスクアクセス制限によって引き起こされる待ち時間は減少される。

Description

【発明の詳細な説明】 コンピュータのネットワークからワールドワイドウェッブ上のページを捜し出し たり、ドキュメントを捜し出したりするためのシステム及び方法 発明の分野 本発明は、一般的に、コンピュータのネットワークからワールドワイドウェッ ブ（ＷＷＷ）上のページと呼ばれるドキュメントにアクセスしたり、ドキュメン トを捜し出したりするためのシステム及び方法に関し、特に、迅速にワールドワ イドウェッブ上のページを捜し出して解析するためのシステム及び方法に関する 。 発明の背景 ここではウェッブページと呼ぶウェッブドキュメントは、インターネットに接 続された多数のサーバーコンピュータ（ここでは以後「サーバー」と呼ぶ。）上 に記憶される。ウェッブ上の各々のページは別個のＵＲＬ（ユニバーサルリソー スロケータ−universal resource locator）を有する。ウェッブサーバー上に記 憶された多数のドキュメントはＨＴＭＬ（ハイパーテキストマークアップランゲ ージ−hypertext markup language）と呼ばれる標準のドキュメント記述言語で 書かれている。ＨＴＭＬを使用して、ウェッブドキュメントのデザイナーは、ド キュメント中でハイパーテキストリンクもしくはアノテーションをドキュメント 中の特定の語又は句と関連付けて、ウェッブページの視覚的な外観及び内容を記 述する。ハイパーテキストリンクは、その語又は句に関する情報を提供する他の ウェッブドキュメントもしくは同一のドキュメント中の他の部分のＵＲＬを識別 する。 インターネットに接続されたウェッブクライアント上で動くウェッブブラウザ ー（ＨＴＭＬドキュメントを表示したり、ウェッブサーバーと通信したりするよ うに設計されたコンピュータプログラム）を使用して、ユーザーはＷＷＷ上に記 憶されたドキュメントにアクセスする。一般的に、ユーザーが、ウェッブブラウ ザーで表示されるドキュメント内でハイパーテキストリンク（一般的に、強調さ れた語もしくは句としてウェッブブラウザーで表示される。）を選ぶことによっ て、ユーザはドキュメントにアクセスする。そして、ウェッブブラウザーは、要 求されたドキュメントのＵＲＬによって識別されるウェッブサーバーへ、要求さ れたドキュメントのＨＴＴＰ（ハイパーテキスト転送プロトコル−hypaertext t ransfer protocol）要求を出す。その要求に応答して、やはりＨＴＴＰを使用し て、指名されたウェッブサーバーは要求されたドキュメントをウェッブブラウザ ーに返す。 １９９５年の末以後、ワールドワイドウェッブ（以後、「ウェッブ」と呼ぶ。 ）として知られているインターネット部分のページ数は、先の１年間に数倍にも なり、少なくとも３０００万ページに達するようになった。本発明は、ウェッブ が増大し続ける時に、ウェッブ上のページの経路を維持し続けるためのシステム を実施することを意図している。 ウェッブ上のページを捜し出すためのシステムは、「ウェッブクローラー（We b crawler）」や「ウェッブスパイダー（Web spider）」や「ウェッブロボット （Web robot）」として様々に知られている。本発明は「ウェッブスクーター（W eb scooter）」としてつくられてきた。何故ならば、それは既知のウェッブクロ ーラーのどれよりも非常に速いからである。本文では、「ウェッブクローラー」 、「ウェッブスパイダー」、「ウェッブスクーター」、「ウェッブクローラーコ ンピュータシステム」、「ウェッブスクーターコンピュータシステム」という語 を相互に互換性を有する語として使用する。 一般的に、従来技術のウェッブクローラーは以下のように動作する。既知のウ ェッブページのルートセットから開始して、全ての既知のウェッブページに対す る別個のエントリーについて、ディスクファイルがつくられる。更なるウェッブ ページがフェッチされ、他のページへのそれらのリンクが解析される時、まだウ ェッブクローラーに知られていないウェッブページを参照するために、ディスク ファイルに更なるエントリーがつくられる。エントリーの各々は、他のステータ ス情報と共に、対応するウェッブページが処理されているかどうかを示す。ウェ ッブクローラーはウェッブページを次のように処理する。（Ａ）処理されている ページ中の他のウェッブページへの全てのリンクを識別し、関連する情報を記憶 して、まだ処理されていない識別された全てのウェッブページを、処理されるべ きウェッブページのリスト、もしくは他の同等のデータ構造に加える。（Ｂ）ウ ェッブページをインデクサ、もしくは他のドキュメント処理システムに送る。 一般的に、既に処理されたウェッブページに関する情報はディスクファイルに 記憶される。何故ならば、ディスクファイルの情報量は、ランダムアクセスメモ リ（ＲＡＭ）に記憶するには大きすぎるからである。例えば、もし平均１００バ イトの情報がウェッブページのエントリーの各々に対して記憶されるならば、３ ０００万ウェッブページを表すデータファイルは約３ギガバイトになり、これは ＲＡＭに実際に記憶するには大きすぎる。 次に、１ウェッブページを処理する時に発生するディスクＩ／Ｏについて考え る。この説明のために、典型的な１ウェッブページは２０個の他のウェッブペー ジへのリファレンスを有し、ディスク記憶装置は１秒あたり５０シークよりも多 くの処理はできないと仮定する。ウェッブクローラーは、処理されているページ 中の２０個のページリファレンスの各々を評価して、ウェッブクローラーがそれ らのページについて既に知っているかどうかを決定しなければならない。これを 実施するために、ウェッブクローラーはウェッブインフォメーションディスクフ ァイルから２０個のレコードの検索を試みなければならない。もし、特定ページ のリファレンスのレコードが既に存在するならば、そのリファレンスは捨てられ る。何故ならば、更なる処理は不要だからである。しかしながら、もし特定ペー ジのレコードが見つからないならば、そのページのアドレスの可能なエイリアス の各々に対してレコードを捜し出す試みがなされなければならない。それによっ て、標準の１ウェッブページを解析するのに必要なディスクレコードの平均シー ク数は、１ページあたり約５０ディスクシークにまで増大する。 特定ページのリファレンスのディスクファイルのレコードがまだ存在していな いならば、参照されたページの新しいレコードがつくられてディスクファイルに 加えられる。そして、そのページリファレンスが、処理されるべきページの待ち 行列に加えられるか、もしくはそのページがまだフェッチされて処理されていな いことを示すのに、そのディスクファイルエントリ自体が使用される。 このように、単に１ウェッブページを処理するのに、（存在するレコードを読 み出し、新しいレコードを書き込むために）おおよそ２０ディスクシークが必要 となる。結果として、１秒あたり５０ディスクシークの制限を与えられているの で、１秒あたり約１ウェッブページしか処理されない。 加えて、ネットワークアクセス待ち時間の問題がある。ウェッブサーバー及び ウェッブサーバーとウェッブクローラーコンピュータ上の両方で使用される特定 のハードウェアとソフトウェアの位置によって、ウェッブページを検索する時間 は大きく変わるけれども、平均的に、ウェッブページを検索するのには約３秒か かる。このように、ネットワーク待ち時間もやはり、従来技術のウェッブクロー ラーによって処理されるウェッブページ数を１秒あたり約０．３３ウェッブペー ジに制限する恐れがある。ディスク「シーク」制限、ネットワーク待ち時間、及 び他の遅延要因のために、代表的な従来技術のウェッブクローラーは１日あたり 約３０，０００ウェッブページよりも多くのページを処理することができない。 ウェッブページがウェッブに追加される速度、及びウェッブページが削除され たり、改訂されたりする速度の理由から、１日あたり３０，０００ウェッブペー ジの処理では、ウェッブ上の全てのウェッブページの真に最新のディレクトリー もしくはインデックスを維持するには不十分である。理想的には、ウェッブクロ ーラーは１日あたり少なくとも２５０万ウェッブページを訪れる（すなわち、フ ェッチ及び解析する）ことができなければならない。 従って、非常に高速の性能を持つウェッブクローラが必要となる。本発明の目 的は、１日あたり数百万のウェッブページを処理することができるように改良さ れたウェッブクローラーを提供することである。本発明の関連する目的は、主に 、ウェッブクローラーのＣＰＵの処理速度によってのみ、ウェッブクローラーの 動作速度が制限されるようにするために、前記のディスク「シーク」制限及びネ ットワーク待ち時間制限を解決するような改良されたウェッブクローラーを提供 することである。更に、本発明の別の関連する目的は、平均して、１秒あたり少 なくとも３０ウェッブページ、より好ましくは１秒あたり少なくとも１００ウェ ッブページをフェッチ及び解析することができるウェッブクローラーシステムを 提 供することである。 発明の概要 本発明の本質は、請求項１に記述されているようなウェッブページを捜し出す ためのシステム及び請求項６に記述されているようなウェッブページを捜し出す ための方法に存在する。 以後に、迅速に、ワールドワイドウェッブ上のウェッブページのディレクトリ ーを捜し出して作成するためのシステム及び方法を説明する。ウェッブクローラ ーシステムは、ランダムアクセスメモリ（ＲＡＭ）に記憶されたハッシュテーブ ル及び代表的なディスク記憶装置である第２のメモリに記憶されたシーケンシャ ルファイル（ここでは、「シーケンシャルディスクファイル」もしくは「ウェッ ブインフォメーションディスクファイル」と呼ぶ。）を含む。システムにとって 既知である全てのウェッブページに対して、ウェッブクローラーシステムは、ハ ッシュテーブルにより小さなエントリーを記憶するのに加えて、シーケンシャル ディスクファイルにエントリーを記憶する。ハッシュテーブルのエントリーは、 識別値、対応するウェッブページが上手くフェッチされた時だけ真にセットされ るフェッチフラグ、対応するエントリーがシーケンシャルディスクファイルのど こに記憶されているかを示すファイル位置インジケーターを含む。シーケンシャ ルディスクファイルエントリーの各々は、対応するウェッブページのＵＲＬとそ のウェッブページに関するフェッチステータス情報を含む。 ウェッブインフォメーションディスクファイルへの全てのアクセスは、単一の Ｉ／Ｏオペレーションとして、シーケンシャルディスクファイルから多数のエン トリを入力バッファに移すといったように、入力バッファを経由して、シーケン シャルに行われる。従って、シーケンシャルディスクファイルは入力バッファか らアクセスされる。同様に、シーケンシャルファイルに加えられる全ての新しい エントリーは付加バッファに記憶され、付加バッファが一杯になった時はいつで も、付加バッファの内容はシーケンシャルディスクファイルの最後に加えられる 。このようにして、ウェッブインフォメーションディスクファイルへのランダム ア クセスは排除され、ディスクアクセス制限によって引き起こされる待ち時間は最 小化される。 ウェッブページを捜し出して、そのページを処理するためのプロシジャーは、 シーケンシャルにシーケンシャルファイルの全てのエントリーを見直し、設定さ れた選定規準を満たす次のエントリーを選ぶことを含む。処理する次のファイル エントリーを選ぶ時、ハッシュテーブルは、最新のエントリー候補の全ての既知 のエイリアスと照合されて、エイリアスでそのウェッブページが既にフェッチさ れているかどうかを決定する。もしエイリアス下でそのウェッブページは既にフ ェッチされているならば、そのシーケンシャルファイルのエントリーのエラータ イプフィールドは「非−選定エイリアス」として記録され、その候補エントリー は選ばれない。 一度、次のウェッブページのリファレンスエントリーが選ばれると、ウェッブ クローラーシステムは対応するウェッブページへのフェッチを試みる。もし、フ ェッチが不成功ならば、そのウェッブページのシーケンシャルファイルエントリ ーのフェッチステータス情報は、ウェッブクローラーに返されたエラーリターン コードに従ってフェッチ失敗として記録される。もし、フェッチが成功ならば、 そのウェッブページの（入力バッファ中の）シーケンシャルディスクファイルの エントリーの類似のフェッチフラグと同様に、そのウェッブページのハッシュテ ーブルエントリーのフェッチフラグがセットされる。加えて、フェッチされたウ ェッブページ中のＵＲＬリンクの各々が解析される。もしそのリンクによって参 照されるＵＲＬもしくはそのＵＲＬの規定されたエイリアスのいずれかのエント リーが既にハッシュテーブルにあるならば、そのＵＲＬリンクの更なる処理は必 要ではない。もしこのようなエントリーがハッシュテーブル中に見つからないな らば、そのＵＲＬは、まだウェッブページのウェッブクローラのデータベースに 含まれていない「新しい」ウェッブページを表しており、従って、新しいウェッ ブページのエントリーがシーケンシャルディスクファイルに加えられる（すなわ ち、そのエントリーは付加バッファのディスクファイルの一部に加えられる。） 。その新しいディスクファイルのエントリーは処理されているリンクによって参 照されるＵＲＬを含み、「未フェッチ」と登録される。加えて、対応する新しい エ ントリーがハッシュテーブルに加えられ、そしてそのエントリーのフェッチフラ グはクリアされて、対応するウェッブページはまだフェッチされていないことを 示すようにする。フェッチされたページ中の全てのＵＲＬリンクの処理に加えて 、更なる処理のために、ウェッブクローラーはフェッチされたページをインデク サーに送る。 図面の簡単な説明 添付図を参照して例示された以下の好ましい実施態様の説明によって、本発明 のより詳細な理解が得られるであろう。 ・図１は本発明の好ましい実施態様に従うウェッブクローラーシステムの好ま しい実施態様のブロック図である。 ・図２は本発明の好ましい実施態様で使用されるハッシュテーブルの仕組みの ブロック図である。 ・図３は本発明の好ましい実施態様で使用されるシーケンシャルなウェッブイ ンフォメーションディスクファイル及び関連するデータ構造のブロック図である 。 ・図４は本発明の好ましい実施態様で使用されるウェッブクローラープロシジ ャーのフローチャートである。 好ましい実施態様の説明 図１について、ウェッブスクーターコンピュータシステム１０２を含む分散コ ンピュータシステム１００が示されている。通信インターフェース１０４及び一 セットのインターネットや他のネットワークへの接続１０６によって、ウェッブ スクーターはインターネットやウェッブページインデクシングコンピュータ（We b page indexing computer）１０８に接続される。ある実施態様では、ウェッブ ページインデクシングコンピューター１０８は、ローカルもしくはワイドエリア ネットワーク接続を使用せずに、専用通信チャネルを通って、ウェッブスク ーター１０２に直接接続される。ウェッブスクーター１０２が接続されるインタ ーネット部分は、（Ａ）ウェッブページを記憶するウェッブサーバー１１０及び （Ｂ）ここでは総体的に参照番号１１２で参照されている、分散ネームサービス （ＤＮＳ）として知られているサービスに協力するサーバーである。本文では、 ＤＮＳ１１２は、全てのインターネットのホスト名に対して規定された全てのエ イリアス一セットを全ての要求者に提供し、そしてインターネットのホスト名及 びそれらのエイリアスは、全てのＵＲＬの先頭部分を形成すると仮定する。 好ましい実施態様では、ウェッブスクーター１０２はデジタルイクイップメン ト社製のアルファワークステーションコンピューターであるが、実際は、あらゆ るタイプのコンピューターをウェッブスクーターコンピュータとして使用するこ とができる。好ましい実施態様では、ウェッブスクーター１０２はＣＰＵ１１４ 、前記の通信インターフェース１０４、ユーザーインターフェース１１６、ラン ダムアクセスメモリ（ＲＡＭ）１１８、ディスクメモリ（ｄｉｓｋ）１２０を含 む。好ましい実施態様では、通信インターフェース１０４は非常に高性能の通信 インターフェースであり、１秒あたり少なくとも３０ウェッブページの平均フェ ッチスループットで、１０００以上の重複する通信要求を取り扱うことができる 。 好ましい実施態様では、ウェッブスクーターのＲＡＭは１ギガバイトのランダ ムアクセスメモリを有し、以下のものを記憶する。 ・マルチタスクオペレーティングシステム１２２。 ・ＤＮＳ１１２からエイリアス情報をフェッチするためであるのに加えて、ウ ェッブページをフェッチするためでもあるインターネット通信マネージャープロ グラム１２４。 ・ホスト名に対して規定されたエイリアスを表す情報を記憶するホスト名テー ブル１２６。 ・ウェッブインフォメーションハッシュテーブル１３０。 ・ハッシュテーブルマネージャープロシジャー１３２。 ・入力バッファ１３４及び付加バッファ１３６。 ・ハッシュテーブル１３０、入力バッファ１３４、付加バッファ１３６へのア クセスを制御するためのミューテックス（ｍｕｔｅｘ）１３８。 ・ウェッブスクータープロシジャー１４０。 ・Ｔ１スレッドの実行を決定するためのスレッドデータストラクチャー１４２ 。 ここで、Ｔ１の値はウェッブスクーターコンピューターシステム１０２のオ ペレーターが選ぶことができる整数である。（例えば、好ましい実施態様では、 Ｔ１は１０００の値にセットされる。） より詳細を以下に説明するように、ディスク記憶装置１２０は、入力バッファ １３４及び付加バッファ１３６を経由して、シーケンシャルにアクセスされるウ ェッブインフォメーションディスクファイル１５０を記憶する。 ホスト名テーブル１２６は、特に、ＤＮＳ１１２にとって既知である各ホスト 名の全てのエイリアスを表す情報を記憶する。エイリアスは、ウェッブスクータ ープロシジャー１４０によって特定のウェッブページのＵＲＬのホスト名部分の 代わりにされる効果的なＵＲＬの先頭部分の一セットであり、特定のウェッブペ ージのエイリアスのＵＲＬの一セットを成す。 次に、上記データ構造及びプロシジャーの使用及び動作を図１−図４及び表１ −表２を参照して説明する。表１−表２は共にウェッブスクータープロシジャー の疑似コード表現を含む。ここで使用される疑似コードは、この説明の目的のた めだけにつくられているが、その疑似コードは一般的なコンピュータ言語の規約 を使用しており、当業者である全てのコンピュータプログラマーが容易に理解可 能であるように設計されている。 ウェッブインフォメーションハッシュテーブル 図２に関して、ウェッブインフォメーションハッシュテーブル１３０は、フェ ッチされて解析されたウェッブページのＵＲＬリンクによって参照される各ウェ ッブページに加えて、ウェッブスクーターシステムによってフェッチされて解析 された各ウェッブページに対する別個のエントリー１６０を含む。このようなエ ントリーの各々は、以下を含む。 ・対応するウェッブページに固有な識別値１６２。 ・対応するウェッブページがウェッブスクーターによってフェッチされて解析 されたかどうかを示す１ビットの「フェッチフラグ」１６４。 ・ウェッブインフォメーションディスクファイル１５０の対応するエントリー の位置を示すファイル位置値１６６。 好ましい実施態様では、識別値の各々は６３ビットの長さであり、ファイル位 置値は各々３２ビットの長さである。結果として、好ましい実施態様において、 ハッシュテーブルエントリーの各々は丁度１２バイトを占める。ハッシュテーブ ルエントリーのサイズそのものは重要でないが、ハッシュテーブルエントリー１ ６０の各々は対応するディスクファイルエントリーよりもかなり小さい（例えば 、平均して少なくとも７５％小さい。）ということは重要である。 ハッシュテーブルマネージャー１３２は、その「インターフェース」１７０を 経由して、ウェッブスクータープロシジャー１４０から以下の２種類のプロシジ ャーコールを受け取る。 ・第１の要求はハッシュテーブルマネージャー１３２に特定のＵＲＬのエント リーが存在するかどうかを問い合わせ、そして、もし存在するならば、その記録 のフェッチフラグが、対応するウェッブページが先にフェッチされて解析された ことを示すかどうかを問い合わせる。 ・第２の要求は、特定のＵＲＬ及び特定のディスクファイル位置の新しいエン トリーをハッシュテーブル１３０に記憶するようにハッシュテーブルマネージャ ーに要求する。 ハッシュテーブルマネージャー１３２は識別ハッシュ関数１７２を使用して、 そこに現れる全てのＵＲＬの６３ビットの識別値を計算する。識別関数１７２は 、確実に全ての固有のＵＲＬが同様に固有の識別値に変換されるように設計され ている。識別関数は全ての固有のウェッブページのＵＲＬの圧縮されたコードを つくる。通常の当業者であれば、適切な識別関数の設計を理解している。約２²⁵ から２²⁶のウェッブページがあると、識別値は２⁶³の別個の値を持つことが可能 であるということを注記する。 ハッシュテーブルが既に固有のＵＲＬのエントリーを有するかどうかを、ウェ ッブスクータープロシジャー１４０がハッシュテーブルマネージャー１３２に問 い合わせる時、ハッシュテーブルマネージャーは、（Ａ）前記の識別ハッシュ関 数１７２を使用して、固有のＵＲＬの識別値をつくる。（Ｂ）ハッシュテーブル １３０のどこにその識別値を有するエントリーを記憶するかを決定するハッシュ テーブル位置関数１７４にその値を送る。（Ｃ）実際に、このようなエントリー がハッシュテーブルに記憶されているかどうかを決定する。（Ｄ）もしマッチす るエントリーが見つからないならば、失敗値（例えば、−１）を返す。（Ｅ）も しハッシュテーブルにそのエントリーが見つかったならば、成功値（例えば、０ ）及びそのエントリーのフェッチフラグ値とディスク位置値を返す。 好ましい実施態様では、識別値の所定数の低位ビットに基づいて、ハッシュテ ーブル位置関数１７４はハッシュテーブルエントリーの位置を決定し、同一の低 位ビットを持つ全ての識別値のエントリーのブロックのチェーンに続く。ハッシ ュテーブル１３０中の、与えられた値の低位ビットのエントリー１６０は、１ブ ロックあたりＢ１エントリーのブロックに配置される。ここで、Ｂ１は調整可能 なパラメーターである。好ましい実施態様で使用される上記の方法は、ハッシュ テーブル１３０に高密度な方法でデータを記憶するという利点がある。当業者は 理解しているように、多くの他のハッシュテーブル位置関数を使用することがで きる。 ウェッブスクータープロシジャー１４０が、ハッシュテーブルマネージャー１ ３２に特定のＵＲＬ及び特定のディスクファイル位置の新しいハッシュテーブル のエントリーを記憶することを要求する時、ハッシュテーブルマネージャーは、 （Ａ）前記の識別ハッシュ関数１７２を使用して、特定のＵＲＬの識別値をつく る。（Ｂ）ハッシュテーブル１３０のどこに識別値を有するエントリーを記憶し なければならないかを決定するハッシュテーブル位置関数１７４にその値を送る 。（Ｃ）ハッシュテーブルの所定の位置に、対応するウェッブページがまだフェ ッチされていないことを示すフェッチフラグ値、識別値、特定のディスクファイ ル位置と共に新しいエントリー１６０を記憶する。 ウェッブインフォメーションディスクファイル及びバッファ 図３及び表２に関して、入力バッファ１３４及び付加バッファ１３６は、どち らのバッファもＲＡＭに配置されており、これらのバッファの使用によって、デ ィスクアクセスの動作は最小化される。入力バッファ及び付加バッファの管理は 、ディスクファイルマネージャーとしても知られているバックグラウンドのシー ケンシャルディスクファイル及びバッファハンドラープロシジャーによって実施 される。 好ましい実施態様では、入力バッファ及び付加バッファはサイズが各々５０か ら１００メガバイトである。入力バッファ１３４は、ウェッブインフォメーショ ンディスクファイル１５０の、シーケンシャルに並べられた連続部分を記憶する のに使用される。ウェッブスクータープロシジャーは、入力バッファ１３４、付 加バッファ１３６、ディスクファイル１５０の使用の調整を要求される多数の他 のブックキーピングポインター（bookkeeping pointer）に加えて、入力バッフ ァの処理されるべき次のエントリーへのポインター１７６、及びウェッブインフ ォメーションディスクファイル１５０の入力バッファ１３４に転送されるべき次 のエントリー１８０へのポインター１７８を維持する。 単一のＩ／Ｏ動作として、多数のエントリーがシーケンシャルディスクファイ ルから入力バッファへ移されるといったように、ウェッブインフォメーションデ ィスクファイル１５０への全てのアクセスは、入力バッファ１３４を経由して、 シーケンシャルに行われる。従って、シーケンシャルディスクファイル１５０は 入力バッファからアクセスされる。同様に、シーケンシャルファイルに加えられ る全ての新しいエントリーは付加バッファ１３６に記憶され、付加バッファが一 杯になった時はいつでも、付加バッファの内容がシーケンシャルファイルの最後 に加えられる。このようにして、ウェッブインフォメーションディスクファイル へのランダムアクセスは減少され、ディスクアクセス制限によって引き起こされ る待ち時間は最小化される。 ウェッブスクーターによって入力バッファ１３４の全てのエントリーがスキャ ンされる度に、入力バッファのエントリーへの全ての更新がウェッブインフォメ ーションディスクファイル１５０に再度記憶され、付加バッファ１３６の全ての エントリーがディスクファイル１５０の最後に加えられる。加えて、付加バッフ ァ１３６はクリアされ、ディスクファイルのエントリーの次の一セットが、（ポ インター１７８によって示される）入力バッファ１３４にコピーされるべきエン トリーの最後の一セットの直後から、入力バッファ１３４にコピーされる。ウェ ッブスクータープロシジャーによってディスクファイルの最後のエントリーがス キャンされると、スキャンはディスクファイル１５０の先頭に戻る。 付加バッファ１３６が新しいエントリーで一杯になった時はいつでも、その中 身はディスクファイル１５０の最後に加えられ、そして、付加バッファはクリア されて新しいエントリーを受け取る。 ウェッブインフォメーションディスクファイル１５０のエントリー１８０の各 々は以下を記憶する。 ・エントリーによって参照されるウェッブページのＵＲＬを記憶する可変長の ＵＲＬフィールド１８２。 ・ウェッブスクーターによって、対応するウェッブページがフェッチされて解 析されたかどうかを示すフェッチフラグ１８４。 ・参照されたウェッブページがフェッチされ、解析され、そしてインデックス を付けられた日付及び時間を示すタイムスタンプ１８６。 ・ウェッブページのサイズを示すサイズ値１８８。 ・もし何か、エントリーが重複している（すなわち、エイリアスのＵＲＬの） エントリーで、無視されるべきであるといったような場合に、又は、参照される ウェッブページにフェッチする最後の試みが行われた時に発生したエラータイプ を示すエラータイプ値１９０。 ・ここでは取り上げない他のフェッチステータスパラメーター１９２。 ＵＲＬフィールド１８２は可変長であるので、ウェッブインフォメーションデ ィスクファイル１５０のレコード１８０もまた可変長である。 ウェッブスクータープロシジャー 図１−図４及び表１の疑似コードに関して、好ましい実施態様におけるウェッ ブスクータープロシジャー１４０は以下の通り動作する。ウェッブスクータープ ロシジャーが実行を開始する時、そのプロシジャーはシステムのデータ構造を初 期化する（２００）。 ・既に存在しているウェッブインフォメーションディスクファイル１５０をス キャンし、シーケンシャルファイルの全てのエントリーに対するエントリーにつ いてハッシュテーブル１３０を初期化する。 ・シーケンシャルディスクのエントリーの第１のバッチをディスクファイル１ ５０から入力バッファ１３４にコピーする。 ・空の付加バッファ１３６を新しいシーケンシャルファイルのエントリー用に 定義する。 ・入力バッファ１３４、付加バッファ１３６、ハッシュテーブル１３０へのア クセスを制御するためのミューテックス１３８を定義する。 それから、ウェッブスクーターイニシャライザーはＴ１個のスレッドを開始し （例えば、好ましい実施態様では１０００個のスレッドが開始される。）、スレ ッドの各々は同一のスクータープロシジャーを実施する。 ウェッブスクーターイニシャライザープロシジャーの実施の前に既に存在して いるウェッブインフォメーションディスクファイル１５０のエントリー一セット は既知のウェッブページの「ルートセット」１４４と呼ばれる。「アクセス可能 」なウェッブページの一セットは、ルートセット中のＵＲＬリンクによって参照 される全てのウェッブページ及び他のアクセス可能なウェッブページ中のＵＲＬ リンクによって参照される全てのウェッブページから成る。このように、いくつ かのウェッブページはウェッブスクーター１０２にとってアクセス不可であるよ うにすることが可能である。何故ならば、ルートセットと「アクセス不可な」ウ ェッブページとの間にはＵＲＬリンクがないからである。 様々なチャネルによって、このようなウェッブページに関する情報が使用可能 になると、更なるエントリーの「マニュアル」挿入もしくは更なるエントリーを 含むための他の仕組みによって、ウェッブインフォメーションディスクファイル １５０を拡張することができ（それによって、ルートセット１４４を拡張する。 ）、以前にアクセス不可であったウェッブページをアクセス可能にする。 以下は、全ての同時に実行されるスレッドによって実行されるウェッブスクー タープロシジャーの説明である。プロシジャーの第１のステップはミューテック ス（２０２）を要求して待つことである。ミューテックスの所有権が要求され、 ２つのスレッドが同一のディスクファイルのエントリーを処理しないように、そ して２つのスレッドが同時にハッシュテーブル、入力バッファ、不可バッファも しくはディスクファイルへの情報の書き込みを試みないようにする。ハッシュテ ーブル１３０、入力バッファ１３４、付加バッファ１３６、ディスクファイル１ ５０はここでは総合的に「保護されたデータ構造」と呼ばれる。なぜならば、ミ ューテックスの使用によって、それらは総合的に保護されているからである。一 度スレッドがミューテックスを所有すると、そのスレッドが規定された選定規準 （２０４）を満たすエントリーを捜し出し、そのエントリーを選ぶまで、そのス レッドは入力バッファ中のディスクファイルのエントリーを（ポインター１７６ によって示される）まだスキャンされていない次のエントリーからスキャンする （２０４）。 例えば、デフォルトの選定規準は次の通りである。「エントリーによって、一 度もフェッチされていない、もしくは最後にフェッチされて解析されたのがＨ１ 時間よりも以前であると示されているようなウェッブページを参照する全てのエ ントリー。ここで、Ｈ１はオペレーターが選定可能な値である。ただし、エント リーは重複しているエントリーであることをエラータイプフィールドが示してい る（すなわち、以下に説明されるように「非−選定エイリアス」である。）エン トリーを除く。」もしＨ１が１６８にセットされるならば、最後にフェッチされ て解析されたのが１週間よりも前であるようなウェッブページを参照する全ての エントリーが選定規準を満たす。ウェッブページの大きさが考慮されるような選 定規準の別の例は次の通りである。「一度もフェッチされていないウェッブペー ジ、もしくは最後にフェッチされて解析されたのがＨ１時間よりも前であり、大 きさがＳ１よりも大きいようなウェッブページ、もしくは最後にフェッチされて 解析されたのがＨ２時間よりも前であり、大きさがＳ１以下であるようなウェッ ブページを表しているエントリー。ただし、エントリーが「非−選定エイリアス 」であることをエラータイプフィールドが示しているエントリーを除く。ここで Ｓ１、Ｈ１、Ｈ２はオペレーターが選定可能な値である。」 処理すべき次のエントリーを選定する時、ハッシュテーブルを検索して現在の エントリー候補の全ての既知のエイリアスを見つけ、エイリアスでそのウェッブ ページが既にフェッチされたかどうかを決定する。特に、もしエントリーが、規 定された選定規準を満たすならば、ホスト名テーブル１２６の情報を使用して、 そのエントリーのＵＲＬの全ての既知のエイリアスがつくられ、それからハッシ ュテーブル１３０が検索され、参照されたウェッブページがそのエイリアスのＵ ＲＬ下でフェッチされたことを示すフェッチフラグを有するエイリアスのＵＲＬ のいずれかのエントリーを、そのハッシュテーブルが記憶しているかどうかを調 べる。もし入力バッファ中の現在のエントリー候補によって参照されるウェッブ ページが、エイリアスのＵＲＬ下で既にフェッチされていると判断されるならば 、その入力バッファのエントリーのエラータイプフィールド１９０は変更され、 このエントリーは「非−選定エイリアス」であると示すようにする。このように して、今回及び以後、エントリーが更なる処理のために選定されるのを防ぐ。 一度、ウェッブページのリファレンスエントリーが選定されると、ミューテッ クスは解放され、他のスレッドが保護されたデータ構造にアクセス可能となる（ ２０６）。それから、ウェッブスクータープロシジャーは対応するウェッブペー ジをフェッチするのを試みる（２０８）。フェッチが成功したか、もしくは失敗 した後、再度、そのプロシジャーはミューテックスを要求して待ち（２１０）、 再度、そのプロシジャーが保護されたデータ構造を使用できるようにする。 もしフェッチが不成功ならば（２１２−Ｎ）、そのウェッブページのシーケン シャルファイルのエントリー中のフェッチステータス情報を、ウェッブクローラ ーへ返されたエラーリターンコードに従ってフェッチ失敗として記録する（２１ ４）。もしフェッチが成功ならば（２１２−Ｙ）、（入力バッファの）シーケン シャルディスクファイルのエントリー１８０中のそのウェッブページのフェッチ フラグ１８４のように、ハッシュテーブルのエントリー１６０中のそのウェッブ ページのフェッチフラグ１６４がセットされる。加えて、フェッチされたウェッ ブページのＵＲＬリンクの各々が解析される（２１６）。 フェッチされたウェッブページが解析された、もしくはフェッチ失敗が入力バ ッファのエントリーに記録された後、ミューテックスは解放され、他のスレッド が保護されたデータ構造にアクセスできるようにする（２１８）。 次に、フェッチされたウェッブページのＵＲＬリンクを解析するためのプロシ ジャーを図４Ｂを参照して説明する。ウェッブページは、インデクシングシステ ム１０８によってインデックスを付けるための適切な情報を保有していない画像 ファイルのようなドキュメントへのＵＲＬリンクを保有することができるという ことをここで注記する。しばしば、これらの参照されるドキュメントは、それら を参照するウェッブページの構成要素として使用される。本文では、画像ファイ ルや他のインデックス付け不可ファイルのような構成要素のファイルへのＵＲＬ リンクは、「他のウェッブページへのＵＲＬリンク」とはしない。インデックス 付け不可ファイルへのこれらのＵＲＬリンクは、ウェッブスクータープロシジャ ーによって無視される。 一度、他のウェッブページに接続する全てのＵＲＬを処理してしまうと（２３ ０）、インデックスを付けるためのインデクサーにフェッチされたウェッブペー ジを送り（２３２）、ウェッブスクーターによる、フェッチされたウェッブペー ジの処理を完了する。そうでない場合には、ウェッブページへの次のＵＲＬリン クが選定される（２３４）。もし選定されたリンクに関連するＵＲＬのハッシュ テーブルのエントリーが既に存在するならば、そのリンクの更なる処理を要求せ ず、もし解析されているウェッブページにどれか未処理のＵＲＬリンクが残って いるならば、次のＵＲＬリンクを選定する（２３４）。 もし選定されたリンクに関連するＵＲＬのハッシュテーブルのエントリーがま だ存在しないならば、ホスト名テーブル１２６の情報を使用して、そのエントリ ーのＵＲＬの全ての既知のエイリアスをつくる。それから、ハッシュテーブル１ ３０を検索し、そのテーブルが、そのエイリアスのＵＲＬのいずれかのエントリ ーを記憶しているかどうかを調べる（２３８）。もしハッシュテーブル中にその エイリアスのＵＲＬのいずれかのエントリーが存在するならば、そのリンクの更 なる処理を要求せず、そしてもし解析されたウェッブページにどれか未処理のＵ ＲＬリンクが残っているならば、次のＵＲＬリンクを選定する（２３４）。 もしハッシュテーブル中に選定されたリンクのＵＲＬもしくはそのエイリアス のいづれかのエントリーが見つからないならば、そのＵＲＬは、まだウェッブペ ージのウェッブクローラーのデータベースに含まれていない「新しい」ウェッブ ページを表し、従って新しいウェッブページのエントリーが、付加バッファ中の ディスクファイルの一部に加えられる（２４０）。その新しいディスクファイル のエントリーは処理されたリンクによって参照されるＵＲＬを含み、「未フェッ チ」と記録される。加えて、対応する新しいエントリーがハッシュテーブルに加 えられ、そしてそのエントリーのフェッチフラグはクリアされて、対応するウェ ッブページはまだフェッチされていないことを示すようにする（２４０）。それ から、もしウェッブページ中にどれか未処理のＵＲＬリンクが存在するならば、 ウェッブページの処理はウェッブページの次の未処理のＵＲＬリンクについて継 続する。 目的及び動作が本文の範囲外であるようなプロシジャーによって、ウェッブイ ンフォメーションディスクファイル１５０へのインデックスとして、ウェッブイ ンフォメーションハッシュテーブル１３０は使用される。何故ならば、ハッシュ テーブル１３０は、既知のウェッブページの各々のディスクファイル位置の値を 保有するからである。いいかえると、ウェッブインフォメーションハッシュテー ブル中の対応するエントリーのディスクファイルアドレスを最初に読み出し、そ れからそのアドレスにあるウェッブインフォメーションディスクファイルのエン トリーを読み出すことによって、ウェッブインフォメーションディスクファイル 中のエントリーはアクセスされる。 他の実施態様 好ましい実施態様のハッシュテーブル構造１３０の代わりに、バランスドツリ ー（balanced tree）、スキップリスト（skip list）といったような、ウェッブ インフォメーションハッシュテーブル１３０の同一の属性を有する全てのデータ 構造を使用することが可能である。 解法として、本発明は３つの基本の仕組みを使用して、従来技術のウェッブク ローラーの速度制限を克服している。 第１に、どのウェッブページリンクがまだウェッブクローラーに知られていな い新しいウェッブページを表しているかを決定するのに十分な情報を含むウェッ ブページディレクトリテーブルが、ＲＡＭ中に記憶され、ディスクファイルにア クセスする必要なく、受け取られたウェッブページを解析できるようにしている 。 第２に、より完全なウェッブページディレクトリはシーケンシャルな順番にだ けアクセスされ、ディスクアクセスがウェッブクローラーの実施速度に重要な影 響を持たない程度まで、実施されるディスクアクセスの数を減少するような大き な入力及び付加バッファによって、それらのアクセスを実施する。 第３に、ウェッブスクータープロシジャーを実行するための多数の同時にアク ティブなスレッドを使用し、そしてウェッブサーバーへの、同様の数の同時の通 信チャネルを操作可能な通信インターフェースを備えることによって、本発明は ネットワークアクセス待ち時間によって引き起こされる遅延を避ける。 特に、多数のスレッドがウェッブページフェッチ要求に対する応答を待ってい る間に、他のスレッドは受け取ったウェッブページを解析している。同一のウェ ッブスクータープロシジャーを実施する多数のスレッドを使用することによって 、受け取られたウェッブページを処理できるようになるためにミューテックスを 待っている受け取られたウェッブページに関するスレッドの待ち行列が、平均的 に存在するようである。また、ウェッブページのフェッチは、時間的にずれて行 われる傾向にある。結果として、ウェッブスクーターは殆どウェッブページを受 け取るために待っていたり、他にする仕事がないという状態にはならない。マル チプロセッサーのワークステーションを使用し、そしてウェッブスクータープロ シジャーを同時に実行するスレッドの数を更に増大することによって、ウェッブ スクーターのスループットを更に増大することが可能である。 いくつかの特定の実施態様を参照して本発明を説明したが、この説明は本発明 の例であり、本発明を限定するものとして解釈されてはならない。ここで提示さ れ、請求された本発明の範囲から逸脱することなく、さまざまな改修が可能であ る。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ， ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，Ｓ Ｚ，ＵＧ)，ＡＭ，ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，Ｂ Ｙ，ＣＡ，ＣＨ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＳ，ＦＩ ，ＧＢ，ＧＥ，ＨＵ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ， ＫＺ，ＬＫ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＮ，Ｍ Ｗ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ ，ＳＩ，ＳＫ，ＴＪ，ＴＴ，ＵＡ，ＵＺ，ＶＮ 【要約の続き】 ーケンシャルに行われ、単一のＩ／Ｏオペレーションと して、シーケンシャルディスクファイルからの多数のエ ントリーが入力バッファへ移されるようにする。従っ て、シーケンシャルディスクファイルは入力バッファか らアクセスされる。同様に、シーケンシャルファイルに 加えられるべき全ての新しいエントリーは付加バッファ に記憶され、付加バッファが一杯になった時はいつで も、付加バッファの内容はシーケンシャルファイルの最 後に加えられる。このようにして、ウェッブインフォメ ーションディスクファイルへのランダムアクセスは排除 され、ディスクアクセス制限によって引き起こされる待 ち時間は減少される。

Claims (1)

1. 【特許請求の範囲】 １．各ウェッブページは固有のＵＲＬ（ユニバーサルリソースロケータ）を有し 、少なくともいくつかの前記ウェッブページは他のウェッブページへのＵＲＬリ ンクを含んでいるような、遠隔地に配置されたアクセス可能なコンピュータに記 憶されているウェッブページを含むデータセットを捜し出すためのシステムであ り、 対応するＵＲＬに従って、前記の遠隔地に配置されたコンピュータから特定 のウェッブページをフェッチするための通信インターフェースと、 エントリーの各々が対応するウェッブページのＵＲＬ及びフェッチステータ ス情報を示すような一セットのエントリーを有するウェッブインフォメーション ファイルと、 ＲＡＭ（ランダムアクセスメモリ）に記憶されていて、エントリーの各々が 、対応するウェッブページの識別値及びフェッチステータス情報を示すようなエ ントリー一セットを有するウェッブインフォメーションテーブルと、 ウェッブインフォメーションファイルのエントリーが前記フェッチステータ ス情報に基づく事前に規定された選定規準を満たすようなウェッブページをフェ ッチするための命令と、受け取られた各々のウェッブページ中の各々のＵＲＬリ ンクについて、ウェッブインフォメーションテーブル中に対応するエントリーが 既に存在するかどうかを決定し、ウェッブインフォメーションテーブルに対応す るエントリーを有していないＵＲＬリンクの各々について、ウェッブインフォメ ーションテーブルに新しいエントリーを加え、ウェッブインフォメーションファ イルに対応する新しいエントリーを加えるための命令とを含む、前記システムに よって実行される、ウェッブページをフェッチして解析するためのウェッブスク ータープロシジャーを実行する手段と を備えるシステム。 ２．重複する時間期間中に、各々がウェッブスクータープロシジャーを実行する ような多数のスレッドを含み、スレッドのいくつかがウェッブページをフェッチ している間に、ウェッブページの他のスレッドは、フェッチされたウェッブ ページを解析しているような手段を含む請求項１に記載のシステム。 ３．ミューテックスを含み、スレッドの各々によって実行される前記ウェッブス クータープロシジャーは、ウェッブインフォメーションテーブル及びウェッブイ ンフォメーションファイルにアクセスする前にミューテックスを要求して待つた めの命令を含む請求項２に記載のシステム。 ４．入力バッファ及び付加バッファと、 シーケンシャルに並べられたエントリーのブロックをウェッブインフォメー ションファイルから入力バッファへ記憶するためのファイルマネージャーと、 入力バッファ中のウェッブインフォメーションファイルのエントリーをスキ ャンして解析し、前記の事前に規定された選定規準を満たす前記ウェッブインフ ォメーションファイルのエントリーを捜し出す前記ウェッブスクータープロシジ ャーと、 前記ウェッブインフォメーションファイルに加えられるべき全てのエントリ ーを前記付加バッファに記憶する前記ウェッブスクータープロシジャーと、付加 バッファ中の多数のエントリーをウェッブインフォメーションファイルに移すた めの前記ファイルマネージャーと を含む請求項３に記載のシステム。 ５．第２のメモリー中のエントリーの各々は第１のメモリー中の対応するエント リーのアドレスを含む請求項１に記載のシステム。 ６．各ウェッブページは固有のＵＲＬ（ユニバーサルリソースロケーター）を有 し、少なくともいくつかの前記ウェッブページは他のウェッブページへのＵＲＬ リンクを含んでいるような、遠隔地に配置されているがアクセス可能なコンピュ ータに記憶されているウェッブページを含むデータセットを捜し出す方法であり 、 各エントリーが、対応するウェッブページのＵＲＬ及びフェッチステータス 情報を示すような一セットのエントリーを有するウェッブインフォメーションフ ァイルを記憶するステップと、 各エントリーが、対応するウェッブページの識別値及びフェッチステータス 情報を示すような一セットのエントリーを有するウェッブインフォメーション テーブルをＲＡＭ（ランダムアクセスメモリ）に記憶するステップと、 （Ａ）ウェッブインフォメーションファイル中のエントリーをシーケンシャ ルにスキャンして、前記エントリーのどれが事前に規定された選定規準を満たす かを決定し、（Ｂ）ウェッブインフォメーションファイルのエントリーが前記の 事前に規定された選定規準を満たすようなウェッブページをフェッチし、（Ｃ） 受け取られたウェッブページの別のウェッブページへのＵＲＬリンクの各々につ いて、対応するエントリーが既にウェッブインフォメーションテーブル中に存在 するかどうかを決定し、（Ｄ）ウェッブインフォメーションテーブル中に対応す るエントリーを有していないＵＲＬリンクの各々について、ウェッブインフォメ ーションテーブルに新しいエントリーを付加し、ウェッブインフォメーションフ ァイルに対応する新しいエントリーを付加することを含む、ウェッブページをフ ェッチして解析するためのウェッブスクータープロシジャーを実行するステップ と を備える方法。 ７．重複する時間期間中に多数のスレッドにおいて前記ウェッブスクータープロ シジャーを実行し、スレッドのいくつかがウェッブページをフェッチしている間 に、ウェッブページの他のスレッドはフェッチされたウェッブページを解析する ようにすることを含む請求項６に記載の方法。 ８．ミューテックスを定義し、 前記スレッドの各々において前記ウェッブスクータープロシジャーを実行し ている間に、ウェッブインフォメーションテーブル及びウェッブインフォメーシ ョンファイルにアクセスする前に、ミューテックスを要求して待つこと を含む請求項７に記載の方法。 ９．前記ＲＡＭに、「入力バッファ」及び「付加バッファ」を定義し、 シーケンシャルに並べられたエントリーのブロックをウェッブインフォメー ションファイルから入力バッファへ記憶し、 シーケンシャルにウェッブインフォメーションファイルのエントリーをスキ ャンする前記のステップは、入力バッファのウェッブインフォメーションファイ ルのエントリーをスキャンして、前記ウェッブインフォメーションファイル のエントリーのどれが前記の事前に規定された選定規準を満たすかを決定するこ とを含むステップを備え、 前記ファイルに加えられるべき全てのエントリーを前記付加バッファに記憶 し、 付加バッファの多数のエントリーをウェッブインフォメーションファイルに 移す ステップを備えている請求項８に記載の方法。 10．ウェッブインフォメーションテーブルのエントリーの各々はウェッブインフ ォメーションファイルの対応するエントリーのアドレスを含み、 ウェッブインフォメーションテーブルの対応するエントリーのアドレスを読 み出して、それから前記アドレスにある前記ウェッブインフォメーションファイ ルの前記の１エントリーを読み出すことによって、前記ウェッブインフォメーシ ョンファイルの前記エントリーの１つにアクセスすること を含む請求項６に記載の方法。 11．各データセットはアドレスによって固有に識別され、少なくともいくつかの データセットは、コンピュータに記憶された他のデータセットの接続アドレスを １つ以上含むような、ネットワークによって接続されたコンピュータに記憶され ているデータセットを捜し出すための装置であり、 識別されたデータセットの要求をコンピュータに送り、前記の要求に応答し てデータセットを受け取るための、ネットワークに接続された通信インターフェ ースと、 各々が対応するデータセットのアドレス及び対応するデータセットのステー タス情報を含んでいるようなエントリーの第１の一セットを記憶している第１の メモリと、 各々が対応するデータセットのアドレスの符号化及び対応するデータセット のステータス情報の符号化を含んでいるようなエントリーの第２の一セットを記 憶している第２のメモリと、 第１と第２のメモリ及び通信インターフェースに接続され、シーケンシャル に第１の一セットのエントリーを読み出し、事前に規定されたステータスに基 づく選定規準を満たすような対応するエントリーを第１の一セット中に有する識 別されたデータセットの要求をつくり、識別されたデータセットを受け取るのに 応答して、前記の第１及び第２の一セットに、第２の一セットに対応するエント リーが存在しない受け取られたデータセットの少なくともアドレスの集合の各々 に対応する新しいエントリーをつくるスレッド手段と を備える装置。 12．第２の一セットのエントリーの各々は第１の一セットの対応するエントリー のアドレスを含み、エントリーの前記の第２の一セットはエントリーの第１の一 セットにインデックスを付けるためのものであるような請求項１１に記載の装置 。 13．スレッド手段のいくつかが前記の要求をつくり、識別されたデータセットを 受け取っている間に、他のスレッド手段は前記第１と第２のメモリに新しいエン トリーをつくっているような多数の前記スレッドを含む請求項１１に記載の装置 。 14．ミューテックスを含み、前記スレッド手段の各々は、第１のメモリ及び第２ のメモリにアクセスする前にミューテックスを要求して待つロジックを含むよう な請求項１３に記載の装置。 15．前記第２のメモリに配置された入力バッファ及び付加バッファと、 第１のメモリのシーケンシャルに並べられたエントリーのグループを入力バ ッファに記憶するマネージャーと、 入力バッファのエントリーをスキャンして解析し、前記の事前に規定された ステータスに基づく選定規準を満たす前記エントリーを捜し出す手段を含む前記 スレッド手段の各々と、 前記第１のメモリに加えられるべき全てのエントリーを前記付加バッファに 記憶する前記スレッド手段の各々と、 付加バッファの多数のエントリーを第１のメモリに移す手段も有する前記マ ネージャーと を含む請求項１４に記載の装置。 16．各データセットはアドレスによって固有に識別され、少なくともいくつかの 前記データセットは、コンピュータに記憶された他のデータセットの接続アドレ スを１つ以上含むような、ネットワークによって接続されたコンピュータに記憶 されたデータセットを捜し出す方法であり、 （Ａ）各々が対応するデータセットのアドレス及び対応するデータセットのス テータス情報を含んでいるような、エントリーの第１の一セットを第１のメモリ に記憶するステップと、 （Ｂ）各々が対応するデータセットのアドレスの符号化及び対応するデータセ ットのステータス情報の符号化を含んでいるような、エントリーの第２の一セッ トを第２のメモリに記憶するステップと、 （Ｃ）シーケンシャルに第１の一セットのエントリーを読み出すステップと、 （Ｄ）事前に規定されたステータスに基づく選定規準を満たす、第１の一セッ トの対応するエントリーを有する識別されたデータセットの要求を、ネットワー クを経由してコンピュータに伝送するステップと、 （Ｅ）識別されたデータセットを受け取るのに応答して、前記第１及び第２の 一セットに、第２の一セットに対応するエントリーが存在しない少なくとも受け 取られたデータセットのアドレスの集合の各々に対応する新しいエントリーをつ くるステップ を備える方法。 17．前記ステップＢは、第２の一セットのエントリーの各々に、第１の一セット の対応するエントリーのアドレスを記憶し、エントリーの前記の第２の一セット はエントリーの第１の一セットにインデックスを付けるためのものであるような 請求項１６に記載の方法。 18．重複する時間期間中に多数のスレッドにおいてステップＣ、Ｄ、Ｅを実行し 、スレッドのいくつかがデータセットをフェッチしている間に、データセットの 他のスレッドは、フェッチされたデータセットを解析しているようにすることを 含む請求項１６に記載の方法。 19．ミューテックスを定義し、 前記スレッドの各々は、第１及び第２のメモリのエントリーの第１及び第２ の一セットにアクセスする前にミューテックスを要求して待つこと を含むような請求項１８に記載の方法。 20．前記第２のメモリに入力バッファ及び付加バッファを定義し、 シーケンシャルに並べられたエントリーのブロックをエントリーの第１の一 セットから入力バッファに記憶し、 前記のシーケンシャルに読み出すステップは、入力バッファのエントリーを シーケンシャルに読み出し、前記入力バッファのエントリーのどれが前記の事前 に規定されたステータスに基づく選定規準を満たすかを決定するステップを備え 、 前記第１のメモリに加えられるべき全てのエントリーを前記付加バッファに 記憶し、 付加バッファの多数のエントリーを第１のメモリに移すこと を含む請求項１９に記載の方法。