JP3771822B2 - データ検索の方法、システム、およびプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本願発明は、電子データのリポジトリ（貯蔵庫）にあるコンテンツに関するインデックス可能メタデータを集める方法、システム、プログラムに関する。
【０００２】
【従来の技術】
インターネット上のドキュメントの場所を探す場合、通常、ユーザーはインターネット検索エンジンを使用する。インターネットユーザーは、１のまたは複数の条件を、必要に応じて検索用ブーリアン演算子を含めて入力し、検索要求を検索エンジンを含むサーバーに対して送信する。検索エンジンはウェブサイトの情報のインデックスを管理している。このインデックスは特定ウェブアドレスまたはＵＲＬに対する検索タームを提供する。検索エンジンデータベース内のＵＲＬに対するインデックス・タームがインターネットユーザーの検索照会を満たした場合は、ＵＲＬが照会の回答として返される。
【０００３】
検索エンジンのプロバイダは、ユーザーに返す検索結果をより精度よく、かつ、多数のヒットを得られるようにするために継続してＵＲＬデータベースを更新する必要がある。検索エンジン提供会社は、検索されたＨＴＭＬページ内のメタ・タグとコンテンツを元にウェブページを探索し、カテゴライズ（分類）するロボットをしばしば使用する。ロボットは、ＨＴＭＬページを検索することで、ウェブのハイパーテキスト構造の自動巡回を行うプログラムである。そしてその際に、検索されたページから参照されるすべてのドキュメントを再帰的に検索する。ウェブページにアクセスしインデックスするために検索エンジンによりリリースされたウェブロボットは、ウェブ・クローラもしくはウェブ・スパイダーと呼ばれる。
【０００４】
ロボットにより集められたＵＲＬに対するインデックス可能タームのデータベースを有する検索エンジンは極めて一般的で有名である。しかし、ロボットが集めたＵＲＬデータベースの留意すべき短所として、ウェブサイトのＵＲＬの更新が定期的にしか行われないので、既にインデックスしたページをロボットが再度チェックするまで、ＵＲＬデータベースが不正確で時代遅れのものになりかねないというものがある。その上、現在の検索エンジンロボットは、ＨＴＭＬページを検索し、かつ、ＨＴＭＬコンテンツを解析して、検索エンジンデータベースのインデックス検索タームを作成するように設計されている。しかし、多くのウェブページは、ＨＴＭＬページを巡回するように設計された従来の検索エンジンロボットではアクセスおよび解析ができないフォーマットでコンテンツを提供している。そのようなコンテンツは、例えば、ＭＰＥＧ、Ｓｈｏｃｋｗａｖｅ、ＺＩＰファイルなどさまざまなマルチメディアフォーマットでエンコードされている。さらに、ウェブサイトのコンテンツは、ＣＧＩ、Ｊａｖａ（Ｒ）プログラム、マイクロソフト・アクティブ・サーバー・ページ（Ｒ）などのようなプログラムで使用される検索タームを提供し、データベースを照会し、検索結果を返すことによりアクセス可能となる動的なものであるかもしれない。そのように動的にアクセス可能なデータは、通常、従来技術の検索エンジンロボットでは認識できず、検索エンジンのＵＲＬデータベースにインデックスされなかった。
【０００５】
さらなる短所として、ウェブロボットがウェブサーバの過負荷となり、かつ、セキュリティ上の危険となることが知られている。この理由のため、ウェブサイトのプロバイダが自己の情報を公開することを望む場合であっても、多くのウェブサイトは検索エンジンのウェブロボットによるコンテンツへのアクセスとカタログ作成を制限するファイアウォールを使用する。ウェブサイトのプロバイダは、ロボットがアクセスとインデックスの作成を許可されないサイト上のＵＲＬを記述した”ｒｏｂｏｔ．ｔｘｔ”ファイルを作成することによりウェブロボットのサイトへのアクセスを制限する。そのような検索エンジンのウェブロボットに対する制限のために、検索エンジンのユーザーにとって非常に興味あるウェブページにウェブロボットはアクセスできないかもしれない。
【０００６】
中には、人手で分類を行う検索エンジンもある。例えば、ヤフー（Ｒ）はウェブページについての人手による報告を受け取り、それからウェブページをデータベースに含めるためにカテゴライズ（分類）する。このアプローチは非常に時間がかかる。その上、人手により分類を行うアプローチはロボットを使用するアプローチのように多くのページのカタログを作成できない。なぜなら、ロボットを使用するアプローチは、新しいページのためにインターネット（ワールド・ワイド・ウェブ）を継続的に巡回するものであり、また、ユーザーにより報告されるコンテンツに制限されないからである。
【０００７】
【発明が解決しようとする課題】
したがって、ウェブページのカタログ作成技術を改良する必要がある。
【０００８】
【課題を解決するための手段】
上記の従来技術の制限を打ち破るために、好適な実施例はデータ・リポジトリにおけるアドレス・ロケーションのコンテンツに関するインデックス可能メタデータを集めるために、コンテンツプロバイダにより管理されるデータ・リポジトリを検索する方法、システム、プログラムを開示する。コンテンツプロバイダによりカスタマイズ可能な設定（セッティング、ｓｅｔｔｉｎｇ）がアクセスされる。カスタマイズされた設定はコンテンツプロバイダのデータ・リポジトリの検索方法を規定する。コンテンツプロバイダのデータ・リポジトリでのコンテンツページの内容は、カスタマイズされた設定により規定される命令に従ってアクセスされる。アクセスされたコンテンツページからのメタデータが生成され、データ・リポジトリのアクセスされたアドレス可能ロケーションに対するメタデータのインデックスにそのメタデータが追加される。
【０００９】
さらなる実施例においては、カスタマイズ可能な設定がコンテンツプロバイダのデータ・リポジトリにおいてアドレス可能ロケーションを規定するようにするとよい。この場合、コンテンツページへのアクセスには、規定されたアドレス可能ロケーションのコンテンツページへのアクセスが含まれ、メタデータがアクセスされたコンテンツページに対して生成される。
【００１０】
さらに、カスタマイズ可能な設定は少なくとも１のアドレス可能ロケーションに対する照会タームを規定する。照会タームが存在するアドレス可能ロケーションそれぞれに対して、アドレス可能ロケーションで照会タームが照会結果を入手するために使用される。そして、データ・リポジトリのアドレス可能ロケーションに対するメタデータのインデックスを追加するため、入手した照会結果からにメタデータが生成される。
【００１１】
さらに実施例では、カスタマイズ可能な設定が妥当性検証プログラムを指示する。設定で指示される妥当性検証プログラムは、アクセスされたコンテンツページそれぞれに対して実行される。それぞれのコンテンツページに対する妥当性検証結果が妥当性検証プログラムにより生成され、コンテンツページそれぞれの特徴が記述される。データ・リポジトリのアドレス可能ロケーションに対するメタデータのインデックスに追加するために、妥当性検証の出力結果からメタデータが生成される。
【００１２】
さらに、コンテンツページ内で参照される埋め込みファイルの解析機能を有するパーサから決定がなされる。参照埋め込みファイルが解析され、インデックスを追加するために、解析された埋め込みファイルのコンテンツに対してメタデータが生成される。
【００１３】
データ・リポジトリはその所有者にメタデータを集める方法についてより適切なコントロールを可能とし、好適な実施例はデータ・リポジトリでのＵＲＬに対するインデックス可能メタデータを集めるためにデータ・リポジトリ検索技術を提供する。例えば、好適な実施例はコンテンツプロバイダにインデックス可能メタデータを検索するためのＵＲＬを定義できるようにする。さらに、好適な実施例を使用して、動画ファイルやＳｈｏｃｋｗａｖｅファイルやＺＩＰファイルのような従来技術の検索ロボットではアクセスできないフォーマットでエンコードされたコンテンツに対するメタデータを集められるようにするとよい。さらに、好適な実施例を使用して、データ・リポジトリの所有者は、そのＵＲＬにおけるいずれのコンテンツが一定の妥当性検証基準を満足するかどうかや、選択された認証子（ｑｕａｌｉｆｉｅｒ）の条件を満足するかどうかを示すメタデータを生成するための妥当性検証プログラムを選択することにより、何のメタデータが供給されるかコントロールするとよい。
【００１４】
これらの好適な実施例による技術は、ウェブロボットがただ単にテキストフォーマットで記述されたコンテンツを検索し、マルチメディアファイルやその他の圧縮ファイルのような非テキストエンコードの埋め込みファイルにはアクセスしない現状の技術を改良する。さらに、データ・リポジトリの所有者がどのようにＵＲＬを検索し、メタデータを集めるのかを決めることを可能とすることで、データ・リポジトリの所有者は検索結果の質を向上させるために、データ・リポジトリに利用できるインデックス可能メタデータを向上することができる。
【００１５】
その上、ＵＲＬサイトに密接な関係を有するメタデータ集めるために、好適な実施例のコレクションツールはＵＲＬページに関するメタデータを商業的に集めることに従事するデータウェアハウス会社により使用される。データウェアハウスは、登録者のＵＲＬに関するメタデータを集めるためにコンテンツプロバイダへの登録を提供もしくは販売をすることができ、また、興味ある団体や組織にメタデータを販売もしくはライセンスすることができる。
【００１６】
【発明の実施の形態】
以下の説明では、出願書類の一部を構成する本願発明の実施例を図示した添付図面が参照される。本願発明の範囲から離れることなく、他の実施例が実現され、かつ、構成および処理の変更が行われ得ることが理解される。
【００１７】
図１にはコンテンツプロバイダ２とメタデータウェアハウス４の関係が図示されている。メタデータウェアハウス４はＵＲＬ上のインデックス可能メタデータを異なるコンテンツプロバイダ２から集める。ＵＲＬデータベースを更新するのに使用するために、メタデータウェアハウス４はこの情報を検索エンジンプロバイダに提供する。あるいは、メタデータウェアハウス４は、検索エンジンデータベースのためのインデックス可能メタデータを集めている検索エンジンプロバイダの一部であってもよい。インターネットユーザーが検索時に自己のサイトのＵＲＬを探索できるようにするために、コンテンツプロバイダ２はメタデータウェアハウス４が事故のウェブサイトの情報を使用することを望んでいる。コンテンツプロバイダ２の閲覧可能コンテンツがリポジトリ８に保持されている。インターネットユーザーは示されたＵＲＬによりリポジトリ８内のデータにアクセスすることができる。リポジトリが動的データを含んでいる場合、インターネットユーザーは、リポジトリ８内の動的データにアクセスするために、ＣＧＩコマンドとともにパラメータを供給しなければならない。データ・リポジトリ８は、インターネットを通じてアクセス可能な非ＨＴＭＬファイルコンテンツと同様にＨＴＭＬページを含んでいてもよい。データ・リポジトリ８内の非ＨＴＭＬファイルコンテンツは動的データ、すなわち、動画ファイルやＳｈｏｃｋｗａｖｅファイルのような描画もしくは処理にプラグイン・アプリケーションが要求されるファイルフォーマット、もしくは、その他すべてのマルチメディアフォーマットで保持されるデータを含めることができる。
【００１８】
メタデータウェアハウス４は下記に詳述する、リポジトリ８内のＵＲＬにあるコンテンツ上の情報を探すためにリポジトリ８を検索し、リポジトリ８内のアクセスされたＵＲＬにあるコンテンツに基づいてメタデータ１０を生成する、コレクションツール６を提供する。好適には、メタデータ１０はインターネットのようなネットワークを通じてウェアハウス４に提供される。コレクションツール６は、離れた場所からリポジトリ８を検索するためにウェアハウス４のサーバにより実行される。あるいは、コンテンツプロバイダ２が、リポジトリ８にアクセス可能な自己のコンピュータでコレクションツール６を実行してメタデータ１０を集め、ウェアハウス４のサーバに返送するようにしてもよい。
【００１９】
図１は、従来技術のウェブロボットがコンテンツプロバイダ２のデータ・リポジトリ８内のＵＲＬ上のインデックス可能メタデータを集めるのを邪魔するアクセス障壁の存在を図示する。アクセス障壁は、通常ＨＴＭＬウェブページの情報を解析し集めることしかできない従来技術のロボットがアクセスできない、例えば、ＭＰＥＧ（もしくは他の全てのマルチメディアファイルフォーマット）、Ｓｈｏｃｋｗａｖｅ、ＺＩＰファイル、ＣＧＩ、ＸＭＬ、Ｊａｖａ（Ｒ）プログラムなどのエンコーディング・フォーマットを含むことができる。さらに、アクセス障壁１２はロボットにデータ・リポジトリ８のＵＲＬを巡回できなくするファイアウォールを含むこともできる。
【００２０】
図２は、コレクションツール６のプログラム構成要素を図示する。コレクションツール６は、ウェブページ巡回技術として知られるロボット型機能を含み、インデックス可能メタデータをリポジトリ８内のＵＲＬにあるコンテンツから集めるよう設計されている。コレクションツール６は、検索命令ファイル２０と呼ばれる構造化ドキュメントに基づいて検索手順を決定する。検索命令ファイル２０は、コンテンツプロバイダのデータ・リポジトリ８において、コレクションツール６がアクセスするようにプログラムされているＵＲＬのところに記憶することができる。あるいは、ウェアハウス４がコンテンツプロバイダ２にコレクションツール６を提供する場合は、検索命令ファイル２０をコレクションツール６のインストールパッケージに含め、コレクションツール６と一緒にインストールするようにしてもよい。
【００２１】
コレクションツール６は、ＨＴＭＬ、ＸＭＬ、Ｓｈｏｃｋｗａｖｅ、ＭＰＥＧ、ＪＰＥＧ、ＺＩＰファイルやその他のマルチメディアフォーマット、圧縮ファイルのような、さまざまなコンテンツ・エンコードのデータを解析し、集める機能を有するパーサ２２ａ，ｂ，…，ｎをさらに含む。これらのパーサ２２ａ，ｂ，…，ｎにより、コレクションツール６は、ウェブページに存在するさまざまなタイプのコンテンツから、インデックス可能メタデータを集めることができる。このようにして、好適な実施例では、インデックス可能メタデータ１０は、ＨＴＭＬその他のテキストフォーマットでエンコードされたコンテンツに制限されず、マルチメディアファイルフォーマットのような他のフォーマットでエンコードされたコンテンツに関する情報を含んでもよい。
【００２２】
コレクションツール６は更に、ページが前もって決められた一定の条件を満たしているかどうかを決定するためにＵＲＬのページを処理するプログラムである妥当性検証プログラム２４ａ，ｂ，…，ｎを含む。そのような妥当性検証プログラム２４ａ，ｂ，…，ｎは、一定の基準にウェブページが適合しているかどうかを出力する。例えば、妥当性検証プログラム２４ａ，ｂ，…，ｎには、下記の妥当性検証プログラムのいずれでもよい。
【００２３】
ＷＷＷコンソーシアム（Ｗ３Ｃ）ＨＴＭＬ妥当性検証サービス：ＨＴＭＬページがＸＭＬの適格性とともにＷ３ＣのＨＴＭＬ／ＸＨＴＭＬ標準勧告に適合しているかどうかを判断する。
【００２４】
ＸＭＬ適格性検査および妥当性検証プログラム：ＸＭＬドキュメントの適格性をチェックし、また、オプションとして妥当性もチェックする。
【００２５】
ボビー（ＢＯＢＢＹ）：障害者に対するウェブページのアクセシビリティ（アクセスし易いかどうか）の解析をウェブベースで行う。ボビーによるアクセシビリティ解析はＷ３Ｃウェブコンテンツ・アクセシビリティ・ガイドラインに基づいて行われる。例えば、ボビーに認証されるためにはウェブサイトは、非テキスト要素（画像、アニメーション、音声データ、ビデオデータなど）の内容と同等のテキストを提供すること、グラフおよびチャートの要約を提供すること、すべての色付き情報が色なしでも使用できるように保証すること、ドキュメントのテキストと非テキストコンテンツと同等なテキスト（脚注など）の自然言語の変更が明確にわかるようにすること、コンテンツを論理的に構成すること、サポートされていないかもしれない特徴（アプレットやプラグインなど）に対する代替コンテンツを明確に提供すること、などが必要である。
【００２６】
セキュリティ：妥当性検証プログラム２４ａ，ｂ，…，ｎは、任意ののセキュリティ設定、または、セキュリティ保証を判断し、それらセキュリティ設定に関するインデックス可能情報を返す。
【００２７】
プライバシー：妥当性検証プログラム２４ａ，ｂ，…，ｎは、いずれかのプライバシーの保証、または、トラストイー（ＴＲＵＳＴｅ）プライバシープログラムの認証を受け、かつプログラムに参加していることを表すＴＲＵＳＴｅ認証シールのようなそのＵＲＬでのプライバシー保護の程度を認証したブランドロゴもしくはしるしの有無を判断する。
【００２８】
格付けまたは賞：妥当性検証プログラム２４ａ，ｂ，…，ｎは、そのサイトが特別な格付けや賞を受けているかどうかを判断する。好適な実施例では、コンテンツプロバイダ２は、ウェアハウス４に対して特定の格付けや賞を定義する。
【００２９】
最適ブラウザ：妥当性検証プログラム２４ａ，ｂ，…，ｎは、当該ＵＲＬのウェブページを閲覧するのに好適なブラウザが示されているかどうかを判断する。
【００３０】
保証および承認：妥当性検証プログラム２４ａ，ｂ，…，ｎは、サイトがいずれかの特定の保証または承認を受けているかどうかを決定する。好適な実施例では、コンテンツプロバイダ２は、ウェアハウス４に対してチェックのためにいずれかの保証または承認を定義する。例えば、コンテンツプロバイダ２は、コレクションツール６が、承認の一定レベルを保証するために、特定の宗教団体からの支持についてページをチェックするようにリクエストする。
【００３１】
警告：妥当性検証プログラム２４ａ，ｂ，…，ｎは、サイトが”１８歳未満禁止”や”アダルトコンテンツ”のようないずれかの警告を有しているかどうかを判断する。好適な実施例では、コンテンツプロバイダ２はウェアハウス４に対してチェックのために何らかの特定の警告を規定する。
【００３２】
妥当性検証プログラム２４ａ，ｂ，…，ｎは、ウェブページまたはページ内コンテンツの他のいかなる特徴をもチェックするようにしてもよい。その上、妥当性検証プログラム２４ａ，ｂ，…，ｎは、非ＨＴＭＬ形式ページの特徴をレビューするために、種々のコンテンツ・エンコーディングのためのパーサ・プログラムを含んでいてもよい。例えば、妥当性検証プログラム２４ａ，ｂ，…，ｎは、アダルトコンテンツ、暴力的描写、”Ｒ”指定や”ＸＸＸ”指定などのコンテンツに関する警告があるかどうかを判断するために、ＭＰＥＧやアップル社ＱｕｉｃｋＴｉｍｅ（Ｒ）ファイルのようなムービーファイルを解析する。
【００３３】
妥当性検証プログラム２４ａ，ｂ，…，ｎは、コンテンツファイルを審査するためにパーサ２２ａ，ｂ，…，ｎを利用してもよいし、代わりに妥当性検証プログラム２４ａ，ｂ，…，ｎは、コンテンツファイルを審査するためにパーサを自分自身に含んでいてもよい。
【００３４】
図３はリポジトリ８内のＵＲＬの処理方法をコレクションツール６に命令する検索命令ファイル２０の構成要素を図示する。好適な実施例では、コンテンツプロバイダ２は、コレクションツール６がリポジトリ８をどのように検索するのかをコントロールするために、検索命令ファイル２０を調整する。検索ＵＲＬリスト５０は、コレクションツール６が、検索命令ファイル２０内の他の構成要素に従いアクセスし検索するＵＲＬを示している。照会タームリスト５２は、特定ＵＲＬのウェブページから動的データにアクセスするために、コレクションツール６が、その特定ＵＲＬに対して適用する検索タームのリストを提供する。リポジトリ８は、アクセスされ、照会タームに対応して動的データを生成するＣＧＩまたはＪａｖａ（Ｒ）プログラムを含んでもよい。コレクションツール６は、そのＵＲＬページの照会が実行されるとき、そのページに与える検索タームを含むＵＲＬを構築する。照会ターム認証子５４は、照会結果が認証述部を満足しているかどうかを判断するために、１以上の照会タームに対する照会結果に適用する述部を提供する。
【００３５】
パスワード５６は、コレクションツール６が特定ＵＲＬに存在するデータにアクセスするためのパスワードを示している。これらのパスワードにより、コレクションツール６は保護されたサイトに進入し、また、ファイアウォールの後にあるページを検索することが可能になる。再帰的検索設定５８は、検索ＵＲＬ５０にリストされて、コレクションツール６がアクセスしたＵＲＬにおいて、どのようにコレクションツール６がＵＲＬリンクを検索するかを示す。例えば、再帰的検索設定５８はコレクションツール６にＵＲＬのすべてのリンクを再帰的に検索するように命令する。あるいは、再帰的検索設定５８はＵＲＬ上のリンクをすべて検索しないように命令してもよいし、また検索の深さや再帰的検索の範囲を制限してもよい。
【００３６】
禁止ＵＲＬリスト６０は、コレクションツール６のアクセス禁止ＵＲＬを示している。禁止ＵＲＬリスト６０は、コレクションツール６に、検索ＵＲＬ５０内にリストされたＵＲＬで、リンクを通じて再帰的にアクセスされる特定のＵＲＬをアクセスさせないようにするのに使用される。妥当性検証プログラム６２は、コレクションツール６がアクセスしたページに対して実行すべき１以上の妥当性検証プログラム２４ａ，ｂ，…，ｎを表す。チェックパラメータ６４は、妥当性検証プログラム２４ａ，ｂ，…，ｎが審査されるウェブページに対してチェックすべき特定の内容を示す。例えば、チェックパラメータ６４は、妥当性検証プログラム２４ａ，ｂ，…，ｎが検索すべき承認、保証、警告、格付けなどののしるしを示している。妥当性検証プログラム６２のためのチェックパラメータが存在しない場合には、妥当性検証プログラム６２は、既定の一定の基準にページが従っているかどうかを判断するボビーやＸＭＬ適格性検査および妥当性検証プログラムのようなチェックを実行するためにユーザーパラメータを要求しない。
【００３７】
妥当性検証結果認証子６６は、そのＵＲＬでコンテンツを検証する妥当性検証プログラム２４ａ，ｂ，…，ｎからの出力に適用する認証子を提供する。そのＵＲＬに対する妥当性検証プログラム２４ａ，ｂ，…，ｎの出力が認証述部を満足しない場合は、そのＵＲＬに対するメタデータは返されず、非認証ＵＲＬはウェアハウス４に提供されたメタデータに含めるためにインデックスされない。例えば、認証子は、ボビーの規則に従って作成されていないページの検索結果を返さないように指示し得る。もし、ボビー妥当性検証プログラム２４ａ，ｂ，…，ｎが、そのＵＲＬのコンテンツが、ボビー認証子により、ボビーの規則に従っていないと判断した場合は、そのＵＲＬに対するメタデータが返されず、そのＵＲＬはインデックスされない。あるいは、チェックされたＵＲＬが規則に従っていないことを示して、あるいは規則に従っていないとのある格付けをされて、メタデータが返される。そのような規則に従わないことを示すメタデータにより、インターネットを検索する者は、規則に従っていないページの場所を突き止めることができる。それぞれの検索命令ファイル２０で選択された妥当性検証プログラム６２に対して分離された妥当性検証結果認証子６６が存在する。妥当性検証結果認証子６６が全く存在しない場合は、妥当性検証結果認証子６６からの出力にかかわらずそのページに対するメタデータは返されない。妥当性検証プログラム２４ａ，ｂ，…，ｎからの出力に対する認証子が満足されないとき、コレクションツール６は、いずれの非認証ＵＲＬに対するデータも提供しない。あるいは、コレクションツール６はそのＵＲＬに対するメタデータを使用した非認証動作出力を含まなくてもよいが、コレクションツールはそのＵＲＬに対する他の認証メタデータがウェアハウス４に提供され得るようにする。この方法によれば、どのようにＵＲＬがインターネットユーザーの検索照会に対応して返されるのかを調整するために、コンテンツプロバイダ２は提供されたメタデータのタイプをコントロールすることができる。
【００３８】
ページ属性認証子６８は、コンテンツの日付やバイトサイズなどのような、ページを認証するための属性を示している。
【００３９】
ウェアハウス４は、コンテンツプロバイダ２に検索命令ファイル２０内の検索設定を行うのを可能とするためのＧＵＩを開発するとよい。例えば、コンテンツプロバイダ２がウェアハウス４とインターネットを経由して通信した場合に、コンテンツプロバイダ２は、どのようにコレクションツール６がリポジトリ８を検索するのかをコントロールする検索命令ファイル２０内の検索設定を選ぶために、ウェブブラウザのＧＵＩを使用するとよい。ＧＵＩによりコンテンツプロバイダ２は使用する妥当性検証プログラム２４ａ，ｂ，…，ｎを選択することができ、妥当性検証結果認証子６６を妥当性検証プログラム２４ａ，ｂ，…，ｎのために選択することもできる。このことで、コンテンツプロバイダ２は、どのようにコレクションツール６がリポジトリ８を検索するのかをカスタマイズすることができる。
【００４０】
図４は、コンテンツプロバイダ２がウェアハウス４に提出した１以上のＵＲＬページの検索処理を実行するために、コレクションツール６に実装されたプログラム論理を図示する。制御は、コレクションツールが実行されることで、ブロック１００から始まる。コンテンツプロバイダ２は、リポジトリ８を含むファイアウォール内部で、内部的にコレクションツール６を実行する。あるいは、サーバ外部からリポジトリ８を含むファイアウォールに対して、ウェアハウス４がコレクションツール６を実行する。コンテンツプロバイダ２とウェアハウス４は、リポジトリ８のＵＲＬのためのインデックス可能メタデータによりウェアハウスのＵＲＬデータベースが定期的に更新されていることを保証するために、コレクションツールを実行する定期的スケジュールを決める。さらに、コンテンツプロバイダ２は、リポジトリ８のコンテンツの更新もしくは変更の後、のようにコレクションツール６をいつ実行するかを決定する。
【００４１】
実行開始後に、コレクションツール６が実行されるコンテンツプロバイダ２のコンピュータ、リポジトリ８、もしくはウェアハウス４のサーバ上のディレクトリで管理されている検索命令ファイル２０にコレクションツール６はアクセスする。コレクションツール６は検索ＵＲＬリスト内のそれぞれのＵＲＬに対してブロック１０６からブロック１４８のステップを実行する。ブロック１０６で考慮すべきＵＲＬページのために提供されたパスワードがある場合は、コレクションツールは、ブロック１０８で、ＵＲＬページにアクセスしたときにそのパスワードを使用し、それ以外の場合は、コレクションツールはブロック１１０でＵＲＬページにアクセスする。ブロック１１２で照会タームリスト５２にＵＲＬページに対する照会タームがある場合、コレクションツール６はブロック１１４でそれぞれの提供された照会タームを検索タームに対する動的データ入手するためにＵＲＬページに送信する。ブロック１１６で照会結果を受け取った後、コレクションツール６はブロック１１８で、すべての照会タームもしくは特定の照会タームに対する認証子が、照会ターム認証子５４にあるかどうかの判断をする。従って、いくつかの認証子がすべての照会タームもしくは特定の照会タームに対する照会結果のために使用される。認証子が存在する場合、コレクションツール６はブロック１２０で認証子を満足しない照会結果を考慮して非認証動作を実行し、認証子を満足する照会結果のために認証動作を実行する。非認証動作では、そのＵＲＬページに対するメタデータの認証されなかった照会結果を追加せず、その代わりに、もしくはそれとともに照会結果が認証されなかったという内容の情報が追加される。認証動作は、そのＵＲＬページに対するメタデータ内の認証照会結果を追加され、その代わりに、もしくはそれとともに照会結果が認証されたという内容の情報が追加される。検索タームに対する認証子がない場合は、コレクションツール６は、ブロック１２２でそのＵＲＬページに対するメタデータに、照会結果の情報を追加する。
【００４２】
図５では、制御はブロック１２０または１２２からブロック１２４へ進む。ブロック１２４では、妥当性検証プログラム６２がそれぞれの妥当性検証プログラム２４ａ，ｂ，…，ｎを実行のために選択するように指示したかどうかをコレクションツール６が判断する。選択されていれば、コレクションツール６はブロック１２６でそれぞれの選択された妥当性検証プログラム２４ａ，ｂ，…，ｎをＵＲＬページに対し実行し、そして妥当性検証プログラム２４ａ，ｂ，…，ｎに対して用意されたすべてのチェックパラメータ６４が使用される。ブロック１２８でいずれかの特定の妥当性検証プログラム２４ａ，ｂ，…，ｎのための妥当性検証結果認証子６６が存在する場合は、これらの認証子を有する妥当性検証プログラムのために、コレクションツール６はブロック１３０で妥当性検証結果が認証子を満足するかどうかを判断する。認証子が満足された場合（ブロック１３０の”ＹＥＳ”の矢印の場合）、または、妥当性検証結果認証子が存在しない場合（ブロック１２８の”ＮＯ”の矢印の場合）は、コレクションツール６はブロック１３２でそのＵＲＬページに対するメタデータに妥当性検証結果に関する情報を追加する。妥当性検証結果が認証子を満足しない場合は、コレクションツール６はブロック１４０で、メタデータ内の検索ＵＲＬページ上にいずれの情報も追加せず、検索ＵＲＬ５０内の次のＵＲＬページを考慮するためにブロック１６０へ進む非認証動作を実行する。あるいは、非認証動作はコレクションツール６が認証子が満足されなかったＵＲＬページに対するメタデータ内の指定の情報を追加し、検索命令ファイル２０の命令に従い、さらにそのＵＲＬページに対するメタデータを集めるために、ブロック１３４へ進んでもよい。
【００４３】
妥当性検証プログラム６２内のすべての選択された妥当性検証プログラムを考慮し、妥当性検証プログラムの出力がすべての認証子を満足した後、制御はブロック１２４または１３２からブロック１３４へ進む。ブロック１３４でページ属性認証子６８が存在する場合、コレクションツール６はブロック１３６でそのＵＲＬページがページ属性認証子を満足するかどうかを判断する。満足する場合は、コレクションツールはブロック１３８でそのＵＲＬページに対して、メタデータ内の満足する属性に情報を追加する。そうでなく、ページ属性が満足しない場合は、コレクションツール６はブロック１４０で、メタデータ内の検索ＵＲＬページ上にいかなる情報も追加せず、検索ＵＲＬリスト５０のうちの次のＵＲＬページを考慮するためにブロック１６０へ進むステップを含む非認証動作を実行する。あるいは、非認証動作はコレクションツール６が認証子を満足しないＵＲＬページに対するメタデータ内の特定の情報を追加し、検索命令ファイル２０内で命令されたようにＵＲＬページに対するメタデータを集めるためにブロック１４２へ進めることに関係する。
【００４４】
ブロック１３４から枝分かれして、もしくは、ブロック１３８から、制御はブロック１４２へ進む。ブロック１４２では、コレクションツール６によりＵＲＬページがＸＭＬ、ＨＴＭＬ、ＤＨＴＭＬといったフォーマットのいずれであるかが判断され、ブロック１４４でそのＵＲＬページのフォーマットの解析機能を有するパーサ２２ａ，ｂ，…，ｎを選択する。
【００４５】
コレクションツール６は、次に、例えば、そのＵＲＬページに対するメタデータを生成するためにブロック１４６で解析を行うためにパーサを呼び出し、選択したパーサ２２ａ，ｂ，…，ｎを使用する。パーサ２２ａ，ｂ，…，ｎは、インデックス可能メタデータをＵＲＬページから、従来技術として知られる方法で生成する。例えば、パーサ２２ａ，ｂ，…，ｎは、”ｔｈｅ””ａｎｄ”など通常使用される単語を除いて、可視テキストデータ全体にインデックスしてもよいし、ドキュメントのスペシャル・キーワード・メタ・タグに含まれるキーワードをインデックスしてもよいし、さらに、例えば”ｐｏｌｉｔｉｃｓ（政治）”と”ｐｏｌｉｔｉｃｉａｎ（政治家）”と”ｐｏｌｉｔｉｃａｌ（政治的）”のような関連語を自動的にインデックス可能メタデータとするようにしてもよい。
【００４６】
もしブロック１４８でＵＲＬページが、埋め込み画像、Ｓｈｏｃｋｗａｖｅファイル、ＺＩＰファイルその他のエンコードファイルのような埋め込みファイルへの参照を含んでいる場合は、ブロック１５０で、それぞれの埋め込みファイルへの参照に対してコレクションツール６がそれぞれの埋め込みファイルの解析機能を有するパーサ２２ａ，ｂ，…，ｎを選択する。埋め込みファイルは、ＨＴＭＬの”ＨＲＥＦ”宣言を使用して生成されたハイパーテキストリンクといったハイパーリンクを通じての参照ファイルから区別される。リンクが張られたファイルはブラウザがアクセスするＨＴＭＬページである。通常、埋め込みファイルはアプレットとして、または、その埋め込みファイルをオープンもしくは表示するために使用するプラグイン・アプリケーションを定義するオブジェクト・タグ、もしくは、埋め込みファイルのコンテンツを処理可能とするオブジェクト・タグとして参照される。コレクションツール６は、そのＵＲＬページに対するメタデータに情報を追加するためにそれぞれの埋め込みファイルを解析し、インデックス可能メタデータを埋め込みファイルコンテンツから生成するのにブロック１５２で選択されたパーサを使用する。パーサ、もしくは、コレクションツール６は、埋め込みファイルのコンテンツを処理または表示するためにオブジェクト・タグに示された埋め込みファイル対するプラグイン・アプリケーションを使用する。ブロック１４８から枝分かれして、または、ブロック１５２から、コレクションツール６はブロック１５４で、そのＵＲＬページが他のＵＲＬページへのリンクを含んでいるかどうかを判断する。もし、リンクが含まれており、かつ、ブロック１５８で再帰的検索設定が再帰的検索を制限していない場合、コレクションツール６はそれぞれのリンクされた禁止ＵＲＬとしてリストされていないＵＲＬページに対してステップ１０６からステップ１５０をブロック１５８で実行する。ブロック１５４から枝分かれして、ブロック１５６の”ＹＥＳ”の枝またはブロック１５８から、制御はブロック１６０で検索ＵＲＬ５０にリストされた次のＵＲＬページを処理するために戻る。
【００４７】
好適な実施例は、現在の検索ロボットおよび検索エージェントを改良する、コンテンツプロバイダのサイトでＵＲＬを検索するＵＲＬメタデータのコレクションツール６を提供する。好適な実施例を使用すれば、コンテンツプロバイダ２は、自己のリポジトリ８のＵＲＬに対するインデックス可能メタデータが最新のものであることを保証するために、いつリポジトリ８の検索を行うかを制御できる。さらに、コンテンツプロバイダ２に検索スケジューリングを制御可能とすることで、検索エージェントもしくは検索ロボットがコンテンツプロバイダ２のサーバに過負荷をかけるという現状技術の問題を避けることができる。例えば、コンテンツプロバイダ２はサーバが空いている時間帯にコレクションツール６が検索を行うようにスケジュールすることができる。
【００４８】
その上、好適な実施例によれば、インデックス可能メタデータを検索し集めるために、コレクションツール６に対して特定のＵＲＬを定義することもできる。さらに、コレクションツール６は、マルチメディア・コンテンツやＳｈｏｃｋｗａｖｅファイルやＺＩＰファイル、その他の非テキストマルチメディアファイルのような現在の検索エンジンではインデックスができないコンテンツ・エンコーディングに対してもインデックス可能メタデータを集めることができる。その上、好適な実施例によれば、コンテンツプロバイダ２は、妥当性検証ページや一定の基準を満足しないページからのメタデータを排除する認証子により情報がインデックスけされるかどうかを制御することができる。この場合に、好適な実施例は、ウェブサイトのＵＲＬ上のインデックス可能メタデータを集めるためのより改良され、より制御可能なツールを提供する。そして、そのツールにより、コンテンツプロバイダ２はどのようにインデックス可能メタデータを集めるのかを制御できる。
【００４９】
いったんウェアハウス４がメタデータ１０をさまざまなコンテンツプロバイダ２から集めれば、ウェアハウス４は検索エンジンデータベースに追加するために、インデックス可能メタデータを検索エンジン会社やその他の興味ある団体に提供することができる。さらに、データウェアハウスはコレクションツールを自分のＵＲＬに関するメタデータの収集方法の制御を希望する者を登録するためのビジネスモデルの一部として使用してもよい。データウェアハウスは、商業的利用目的でＵＲＬに対するメタデータのデータベースを開発するために、コレクションツールを使用することができる。さらに、データウェアハウスは、コンテンツプロバイダがコレクションツールを使用する際、収益を得るためにコレクションツールプログラムが実行され、または、設定されるタイミングで広告を表示することもできる。
【００５０】
[他の実施例と結論]
以下に、本願発明を完成するためのいくつかの他に取りうる実施例を記述する。
【００５１】
好適な実施例は、ソフトウェア、ファームウェア、ハードウェア、もしくはそれらの混合を提供する標準的なプログラミングおよびエンジニアリングの技術を使用した方法、装置、プログラムとして実現される。好適な実施例の機能を定義するプログラムは、コンピュータに対してさまざな情報メディア、例えば、コンピュータ可読媒体、伝送媒体、磁性体記憶メディア、フレキシブルディスク、ＣＤ−ＲＯＭやネットワーク伝送線、無線伝送メディア、ラジオ電波、赤外線信号などを通じてプログラムへのアクセスを実現するファイルサーバなどにより配布され得る。当然、当業者は本願発明の範囲を離れることなく構成の変更がされ得ることを認識するだろう。そのような情報伝送媒体は、本願発明の機能を指示するコンピュータ可読命令を実行する場合に、別の本願発明の実施例として表現される。
【００５２】
好適な実施例は、追加のメタデータインデックス機能を実現するために使用されるコレクションツールに含まれるプログラム構成要素の一態様を提供している。さらなる実施例では、コレクションツールはここに記述した以外の基準に従いページを検査するようにしてもよい。
【００５３】
好適な実施例は、コンテンツプロバイダによる検索命令ファイル２０内部の設定の一態様を説明している。他の実施例では、コレクションツール６がウェブページとメタデータが返ってくるのかに対する追加のレベルのコントロールを提供する、さまざまなタイプのここに説明された以外の設定をコンテンツプロバイダ２は設定してもよい。
【００５４】
図４から図６の好適な論理は、一定の順番で発生する処理の一態様を説明している。別の実施例では、論理の処理が異なった順番で行われたり、変更されたり、削除されたりして、本願発明の好適な実施例が実現される。その上、ステップが上記論理に追加されることもあるが、それでもなお本願発明に準拠している。さらに、ここで説明される処理は、連続して行われてもよいし、一定の処理を並行して行ってもよい。
【００５５】
まとめとして、好適な実施例は、ウェブサイトでのアドレス・ロケーションのコンテンツに関するインデックス可能メタデータを集めるために、コンテンツプロバイダにより管理されるウェブサイトを検索するための方法、システム、プログラムを提供する。コンテンツプロバイダがカスタマイズ可能な設定がアクセスされる。カスタマイズされた設定は、コンテンツプロバイダのウェブサイトの検索方法に関する命令を供給する。カスタマイズされた設定は、コンテンツプロバイダのウェブサイトにあるコンテンツページの処理をコントロールするために使用される。アクセスされたコンテンツページからのメタデータが生成され、そのウェブサイトのアドレス可能ロケーションに対するメタデータのインデックスに追加される。
【００５６】
上記の本願発明の好適な実施例は、説明を目的として記述されたものあって、すべての実施態様を記述するものではなく、実施例に開示された形式に発明を限定する意図ではない。上記の開示によれば、多くの変更例とバリエーションが実現可能である。本願発明の範囲は発明の詳細な説明の記載により制限されるのではなく、特許請求の範囲により定まるものであることに留意されたい。上記の仕様、例、データにより本願発明の一態様の製造および使用を完全に説明される。本願発明の多くの実施例が本願発明の精神と範囲を離れることなく実現される。
【００５７】
本願発明は、ハードウエア、ソフトウエア、またはハードウエア及びソフトウエアの組み合わせとして実現可能である。ハードウエアとソフトウエアの組み合わせによる実行において、所定のプログラムを有するコンピュータ・システムにおける実行が典型的な例として挙げられる。かかる場合、該所定プログラムが該コンピュータ・システムにロードされ実行されることにより、該プログラムは、コンピュータ・システムを制御し、本願発明にかかる処理を実行させる。このプログラムは、任意の言語・コード・表記によって表現可能な命令群から構成される。そのような命令群は、システムが特定の機能を直接、または１．他の言語・コード・表記への変換、２．他の媒体への複製、のいずれか一方もしくは双方が行われた後に、実行することを可能にするものである。もちろん、本願発明は、そのようなプログラム自体のみならず、プログラムを記録した媒体もその範囲に含むものである。本願発明の機能を実行するためのプログラムは、フロッピー（Ｒ）・ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＤＶＤ、ハード・ディスク装置、ＲＯＭ、ＭＲＡＭ、ＲＡＭ等の任意のコンピュータ読み取り可能な記録媒体に格納することができる。かかるプログラムは、記録媒体への格納のために、通信回線で接続する他のコンピュータ・システムからダウンロードしたり、他の記録媒体から複製したりすることができる。また、かかるプログラムは、圧縮し、または複数に分割して、単一または複数の記録媒体に格納することもできる。
【図面の簡単な説明】
【図１】本願発明の好適な実施例による、コンテンツプロバイダとデータ・リポジトリのためにインデックス可能メタデータを集めるウェアハウスとの関係を図示したものである。
【図２】本願発明の好適な実施例による、ＵＲＬにおけるインデックス付け可能メタデータを集めるために使用されるコレクションツールのプログラム構成要素を図示したものである。
【図３】本願発明の好適な実施例による、コレクションツールがＵＲＬを検索するために使用するファイルの構造を図示したである。
【図４】本願発明の好適な実施例による、ＵＲＬからインデックス付け可能メタデータを集めるコレクションツールの実行論理を図示したものである。
【図５】本願発明の好適な実施例による、ＵＲＬからインデックス付け可能メタデータを集めるコレクションツールの実行論理を図示したものである。
【図６】本願発明の好適な実施例による、ＵＲＬからインデックス付け可能メタデータを集めるコレクションツールの実行論理を図示したものである。

Claims (44)

1. データ・リポジトリのアドレス・ロケーションでコンテンツに関するインデックス可能メタデータを集めるために、前記データ・リポジトリを検索するシステムが、異なるコンテンツプロバイダにより管理される前記データ・リポジトリを検索する方法であって、
   前記システムが備える、コンテンツプロバイダによりカスタマイズ可能な設定にアクセスする手段が、前記コンテンツプロバイダによりカスタマイズ可能な設定にアクセスするステップであって、前記カスタマイズ可能な設定が、前記データ・リポジトリを検索する方法に関する命令を提供し、前記設定が、前記コンテンツ・プロバイダにより提供された前記データ・リポジトリでアドレス可能なロケーションを提供する、ステップと、
   前記システムが備える、データ・リポジトリのコンテンツページにアクセスする手段が、前記データ・リポジトリのコンテンツページにアクセスするステップであって、前記アドレス可能なロケーションのコンテンツページへアクセスするステップを含むステップと、
   前記システムが備える、命令に従って前記コンテンツページのコンテンツにアクセスする手段が、前記命令に従って前記コンテンツページのコンテンツにアクセスするステップと、
   前記システムが備える、アクセスされたコンテンツページからメタデータを生成する手段が、前記データ・リポジトリにおけるアクセスされたアドレス可能ロケーションに対するメタデータのインデックスに加えるために、アクセスされた前記コンテンツページから、前記アクセスされた前記コンテンツページについてのメタデータを生成するステップと、
   前記設定が、少なくとも１つのアドレス可能なロケーションに対する照会タームを提供するステップであって、
   前記システムが備える、照会タームを使用する手段が、照会タームが存在する前記アドレス可能なロケーションそれぞれに対し、照会結果を取得するために前記アドレス可能なロケーションで前記照会タームを使用するステップと、
   前記システムが備える、取得した照会結果からメタデータを生成する手段が、前記データ・リポジトリにおけるアクセスされた前記アドレス可能なロケーションに対するメタデータのインデックスに加えるために、取得した照会結果からメタデータを生成するステップと、
   を含むステップと、
   前記設定が、少なくとも１つの検索タームに対する照会ターム認証子を提供するステップであって、
   前記システムが備える、判断する手段が、少なくとも１つの照会ターム認証子を有する照会タームそれぞれに対して、前記照会タームに対する前記照会結果が前記照会タームに対する照会ターム認証子それぞれを満足するかどうかを判断するステップであって、前記照会結果が前記照会結果を生成した照会タームに対する照会ターム認証子それぞれを満足する場合に前記照会結果に対する前記メタデータが生成される、ステップと、
   前記システムが備える、非認証動作を実行する手段が、前記照会ターム認証子を満足しない前記照会結果それぞれに対して非認証動作を実行するステップと、
   を含むステップと、
   を含む方法。
2. 前記非認証動作においては前記インデックスの前記照会結果に対するメタデータを追加しない、請求項１に記載の方法。
3. 前記アドレス可能ロケーションがＵＲＬアドレスを含む、請求項１に記載の方法。
4. 前記設定が、少なくとも１つのアドレス可能ロケーションに対するパスワードを提供し、
   前記システムが備える、パスワードを使用する手段が、前記パスワードが提供された前記アドレス可能ロケーションのコンテンツページにアクセスするために前記パスワードを使用するステップを更に含む、
   請求項１に記載の方法。
5. 前記設定が、前記コンテンツページに含まれるリンクされたアドレス可能ロケーションに対するハイパーテキストリンクを検索するかどうかを指示する再帰的検索設定をさらに含み、
   前記システムが備える、データ・リポジトリのコンテンツページにアクセスする前記手段が、再帰的検索設定がそれぞれの再帰的にリンクされたアドレス可能ロケーションを検索することを指示する場合に、リンクされたアドレス可能ロケーションそれぞれのコンテンツページにアクセスするステップであって、前記コンテンツページ内のリンクされた前記アドレス可能ロケーションで再帰的にアクセスされたそれぞれのコンテンツページ対してメタデータが生成される、ステップ、をさらに含む、
   請求項１に記載の方法。
6. 前記設定が前記データ・リポジトリの禁止のアドレス可能ロケーションを提供し、
   リンクされたアドレス可能ロケーションが禁止のアドレス可能ロケーションである場合はそれぞれのコンテンツページに対するメタデータが生成されない、
   請求項５に記載の方法。
7. 前記システムが備える、コンテンツページのフォーマットを判断する手段が、前記コンテンツページのフォーマットを判断するステップと、
   前記システムが備える、パーサを選択する手段が、判断された前記フォーマットの解析機能を有する複数のパーサのうちの１つを選択するステップと、
   前記システムが備える、コンテンツページを解析する手段が、選択された前記パーサで前記コンテンツページを解析するステップであって、前記インデックスに加えるために、前記解析されたコンテンツページからメタデータが生成される、ステップと、
   を含む請求項１に記載の方法。
8. 前記システムが備える、パーサを判断する手段が、前記コンテンツページで参照されている埋め込みファイルの解析機能を有するパーサを判断するステップと、
   前記システムが備える、埋め込みファイルのコンテンツを解析する手段が、前記埋め込みファイル前記のコンテンツを解析するステップと、
   前記システムが備える、埋め込みファイルの解析されたコンテンツに対するメタデータを生成する手段が、前記埋め込みファイルの解析された前記コンテンツに対するメタデータを前記インデックスに加えて生成するステップと、
   を含む請求項１に記載の方法。
9. 前記埋め込みファイルがマルチメディア・フォーマットでエンコードされている、請求項８に記載の方法。
10. 前記システムが備える、コレクションツールをコンテンツプロバイダに配信する手段が、前記設定を使用してコンテンツプロバイダのデータ・リポジトリに対するアクセス機能およびメタデータ生成機能を有するコレクションツールをコンテンツプロバイダに配信するステップと、
    前記システムが備える、複数のコンテンツプロバイダからメタデータを集める手段が、自己のデータ・リポジトリ上にメタデータを集めるために、前記コレクションツールを使用する複数のコンテンツプロバイダからメタデータを集めるステップと、
    を含む請求項１に記載の方法。
11. 前記システムが備える、コンテンツプロバイダから電子署名を受け取る手段が、前記コレクションツールを使用し、メタデータを提供するコンテンツプロバイダから電子署名を受け取るステップを含む、請求項１０に記載の方法。
12. データ・リポジトリのアドレス・ロケーションでコンテンツに関するインデックス可能メタデータを集めるために、前記データ・リポジトリを検索するシステムが、異なるコンテンツプロバイダにより管理される前記データ・リポジトリを検索する方法であって、
    前記システムが備える、コンテンツプロバイダによりカスタマイズ可能な設定にアクセスする手段が、前記コンテンツプロバイダによりカスタマイズ可能な設定にアクセスするステップであって、前記カスタマイズ可能な設定が、前記データ・リポジトリを検索する方法に関する命令を提供し、前記設定が、前記コンテンツ・プロバイダにより提供された前記データ・リポジトリでアドレス可能なロケーションを提供する、ステップと、
    前記システムが備える、データ・リポジトリのコンテンツページにアクセスする手段が、前記データ・リポジトリのコンテンツページにアクセスするステップであって、前記アドレス可能なロケーションのコンテンツページへアクセスするステップを含むステップと、
    前記システムが備える、命令に従って前記コンテンツページのコンテンツにアクセスする手段が、前記命令に従って前記コンテンツページのコンテンツにアクセスするステップと、
    前記システムが備える、アクセスされたコンテンツページからメタデータを生成する手段が、前記データ・リポジトリにおけるアクセスされたアドレス可能ロケーションに対するメタデータのインデックスに加えるために、アクセスされた前記コンテンツページから、前記アクセスされた前記コンテンツページについてのメタデータを生成するステップと、
    前記システムが備える、妥当性検証プログラムを実行する手段が、前記設定によって示される妥当性検証プログラムを、それぞれのアクセスされたコンテンツページに対して実行するステップと、
    前記システムが備える、妥当性検証結果を生成する手段が、それぞれの前記コンテンツページの特徴を記述した前記妥当性検証プログラムにより、それぞれのアクセスされたコンテンツページに対する妥当性検証結果を生成するステップと、
    前記システムが備える、妥当性検証結果からメタデータを生成する手段が、前記データ・リポジトリにおけるアクセスされたアドレス可能ロケーションに対するメタデータの前記インデックスに加えるために、前記妥当性検証結果からメタデータを生成するステップと、
    を含む方法。
13. 前記設定が、少なくとも１つの妥当性検証プログラムとともに使用する少なくとも１つのパラメータをさらに含み、
    前記システムが備える、妥当性検証プログラム実行時にパラメータを使用する手段が、前記妥当性検証プログラム実行時に前記パラメータを使用するステップであって、前記妥当性検証結果が、前記妥当性検証プログラムとともに使用された前記少なくとも１つのパラメータに関する前記コンテンツページの特徴を示す、ステップを含む、
    請求項１２に記載の方法。
14. 前記設定が、少なくとも１つの妥当性検証プログラムとともに使用される少なくとも１つの妥当性検証結果認証子を含み、
    前記妥当性検証結果が、前記妥当性検証結果をもたらした前記妥当性検証プログラムとともに提供された前記少なくとも１つの妥当性検証結果認証子を満足するかどうかを、前 記システムが備える、妥当性検証結果を判断する手段が、判断するステップであって、前記妥当性検証結果が前記妥当性検証結果認証子を満足する場合に前記妥当性検証結果に対するメタデータが前記インデックスに追加される、ステップを含む、
    請求項１２に記載の方法。
15. 前記妥当性検証結果が前記妥当性検証結果認証子を満足しない場合に、前記アドレス可能ロケーションの前記コンテンツページに対するメタデータが前記インデックスに追加されない、請求項１４に記載の方法。
16. データ・リポジトリのアドレス・ロケーションでコンテンツに関するインデックス可能メタデータを集めるために異なるコンテンツプロバイダにより管理される前記データ・リポジトリを検索するシステムであって、
    前記コンテンツプロバイダによりカスタマイズ可能な設定にアクセスする手段であって、前記カスタマイズ可能な設定が、前記データ・リポジトリを検索する方法に関する命令を提供し、前記設定が、前記コンテンツ・プロバイダにより提供された前記データ・リポジトリでアドレス可能なロケーションを提供する、手段と、
    前記データ・リポジトリのコンテンツページにアクセスする手段であって、前記アドレス可能なロケーションのコンテンツページへアクセスする手段を含む手段と、
    前記命令に従って前記コンテンツページのコンテンツにアクセスする手段と、
    前記データ・リポジトリにおけるアクセスされたアドレス可能ロケーションに対するメタデータのインデックスに加えるために、アクセスされた前記コンテンツページから、前記アクセスされた前記コンテンツページについてのメタデータを生成する手段と、
    前記設定が、少なくとも１つのアドレス可能なロケーションに対する照会タームを提供する手段であって、
    照会タームが存在する前記アドレス可能なロケーションそれぞれに対し、照会結果を取得するために前記アドレス可能なロケーションで前記照会タームを使用する手段と、
    前記データ・リポジトリにおけるアクセスされた前記アドレス可能なロケーションに対するメタデータのインデックスに加えるために、取得した照会結果からメタデータを生成する手段と、
    を含む手段と、
    前記設定が、少なくとも１つの検索タームに対する照会ターム認証子を提供する手段であって、
    少なくとも１つの照会ターム認証子を有する照会タームそれぞれに対して、前記照会タームに対する前記照会結果が前記照会タームに対する照会ターム認証子それぞれを満足するかどうかを判断する手段であって、前記照会結果が前記照会結果を生成した照会タームに対する照会ターム認証子それぞれを満足する場合に前記照会結果に対する前記メタデータが生成される、手段と、
    前記照会ターム認証子を満足しない前記照会結果それぞれに対して非認証動作を実行する手段と、
    を含む手段と、
    を含むシステム。
17. 前記非認証動作においては前記インデックスの前記照会結果に対するメタデータを追加しない、請求項１６に記載のシステム。
18. 前記アドレス可能ロケーションがＵＲＬアドレスを含む、請求項１６に記載のシステム。
19. 前記設定が、少なくとも１つのアドレス可能ロケーションに対するパスワードを提供し、
    前記パスワードが提供された前記アドレス可能ロケーションのコンテンツページにアクセスするために前記パスワードを使用する手段を更に含む、
    請求項１６に記載のシステム。
20. 前記設定が、前記コンテンツページに含まれるリンクされたアドレス可能ロケーションに対するハイパーテキストリンクを検索するかどうかを指示する再帰的検索設定をさらに含み、
    再帰的検索設定がそれぞれの再帰的にリンクされたアドレス可能ロケーションを検索することを指示する場合に、リンクされたアドレス可能ロケーションそれぞれのコンテンツページにアクセスする手段であって、前記コンテンツページ内のリンクされた前記アドレス可能ロケーションで再帰的にアクセスされたそれぞれのコンテンツページ対してメタデータが生成される、手段、をさらに含む、
    請求項１６に記載のシステム。
21. 前記設定が前記データ・リポジトリの禁止のアドレス可能ロケーションを提供し、
    リンクされたアドレス可能ロケーションが禁止のアドレス可能ロケーションである場合はそれぞれのコンテンツページに対するメタデータが生成されない、
    請求項２０に記載のシステム。
22. 前記コンテンツページのフォーマットを判断する手段と、
    判断された前記フォーマットの解析機能を有する複数のパーサのうちの１つを選択する手段と、
    選択された前記パーサで前記コンテンツページを解析する手段であって、前記インデックスに加えるために、前記解析されたコンテンツページからメタデータが生成される、手段と、
    を含む請求項１６に記載のシステム。
23. 前記コンテンツページで参照されている埋め込みファイルの解析機能を有するパーサを判断する手段と、
    前記埋め込みファイル前記のコンテンツを解析する手段と、
    前記埋め込みファイルの解析された前記コンテンツに対するメタデータを前記インデックスに加えて生成する手段と、
    を含む請求項１６に記載のシステム。
24. 前記埋め込みファイルがマルチメディア・フォーマットでエンコードされている、請求項２３に記載のシステム。
25. 前記設定を使用してコンテンツプロバイダのデータ・リポジトリに対するアクセス機能およびメタデータ生成機能を有するコレクションツールをコンテンツプロバイダに配信する手段と、
    自己のデータ・リポジトリ上にメタデータを集めるために、前記コレクションツールを使用する複数のコンテンツプロバイダからメタデータを集める手段と、
    を含む請求項１６に記載のシステム。
26. データ・リポジトリのアドレス・ロケーションでコンテンツに関するインデックス可能メタデータを集めるために、異なるコンテンツプロバイダにより管理される前記データ・リポジトリを検索するシステムであって、
    前記コンテンツプロバイダによりカスタマイズ可能な設定にアクセスする手段であって、前記カスタマイズ可能な設定が、前記データ・リポジトリを検索する方法に関する命令を提供し、前記設定が、前記コンテンツ・プロバイダにより提供された前記データ・リポジトリでアドレス可能なロケーションを提供する、手段と、
    前記データ・リポジトリのコンテンツページにアクセスする手段であって、前記アドレス可能なロケーションのコンテンツページへアクセスする手段を含む手段と、
    前記命令に従って前記コンテンツページのコンテンツにアクセスする手段と、
    前記データ・リポジトリにおけるアクセスされたアドレス可能ロケーションに対するメタデータのインデックスに加えるために、アクセスされた前記コンテンツページから、前記アクセスされた前記コンテンツページについてのメタデータを生成する手段と、
    前記設定によって示される妥当性検証プログラムを、それぞれのアクセスされたコンテンツページに対して実行する手段と、
    それぞれの前記コンテンツページの特徴を記述した前記妥当性検証プログラムにより、それぞれのアクセスされたコンテンツページに対する妥当性検証結果を生成する手段と、
    前記データ・リポジトリにおけるアクセスされたアドレス可能ロケーションに対するメタデータの前記インデックスに加えるために、前記妥当性検証結果からメタデータを生成する手段と、
    を含むシステム。
27. 前記設定が、少なくとも１つの妥当性検証プログラムとともに使用する少なくとも１つのパラメータをさらに含み、
    前記妥当性検証プログラム実行時に前記パラメータを使用する手段であって、前記妥当性検証結果が、前記妥当性検証プログラムとともに使用された前記少なくとも１つのパラメータに関する前記コンテンツページの特徴を示す、手段を含む、
    請求項２６に記載のシステム。
28. 前記設定が、少なくとも１つの妥当性検証プログラムとともに使用される少なくとも１つの妥当性検証結果認証子を含み、
    前記妥当性検証結果が、前記該妥当性検証結果をもたらした前記妥当性検証プログラムとともに提供された前記少なくとも１つの妥当性検証結果認証子を満足するかどうかを判断する手段であって、前記妥当性検証結果が前記妥当性検証結果認証子を満足する場合に前記妥当性検証結果に対するメタデータが前記インデックスに追加される、手段を含む、
    請求項２６に記載のシステム。
29. 前記妥当性検証結果が前記妥当性検証結果認証子を満足しない場合に、前記アドレス可能ロケーションの前記コンテンツページに対するメタデータが前記インデックスに追加されない、請求項２８に記載のシステム。
30. データ・リポジトリのアドレス・ロケーションでコンテンツに関するインデックス可能メタデータを集めるために異なるコンテンツプロバイダにより管理される前記データ・リポジトリを検索するプログラムであって、
    前記コンテンツプロバイダによりカスタマイズ可能な設定にアクセスするステップであって、前記カスタマイズ可能な設定が、前記データ・リポジトリを検索する方法に関する命令を提供し、前記設定が、前記コンテンツ・プロバイダにより提供された前記データ・リポジトリでアドレス可能なロケーションを提供する、ステップと、
    前記データ・リポジトリのコンテンツページにアクセスするステップであって、前記アドレス可能なロケーションのコンテンツページへアクセスするステップを含むステップと、
    前記命令に従って前記コンテンツページのコンテンツにアクセスするステップと、
    前記データ・リポジトリにおけるアクセスされたアドレス可能ロケーションに対するメタデータのインデックスに加えるために、アクセスされた前記コンテンツページから、前記アクセスされた前記コンテンツページについてのメタデータを生成するステップと、
    前記設定が、少なくとも１つのアドレス可能なロケーションに対する照会タームを提供するステップであって、
    照会タームが存在する前記アドレス可能なロケーションそれぞれに対し、照会結果を取得するために前記アドレス可能なロケーションで前記照会タームを使用するステップと、
    前記データ・リポジトリにおけるアクセスされた前記アドレス可能なロケーションに対するメタデータのインデックスに加えるために、取得した照会結果からメタデータを生成するステップと、
    を含むステップと、
    前記設定が、少なくとも１つの検索タームに対する照会ターム認証子を提供するステップであって、
    少なくとも１つの照会ターム認証子を有する照会タームそれぞれに対して、前記照会タームに対する前記照会結果が前記照会タームに対する照会ターム認証子それぞれを満足するかどうかを判断するステップであって、前記照会結果が前記照会結果を生成した照会タームに対する照会ターム認証子それぞれを満足する場合に前記照会結果に対する前記メタデータが生成される、ステップと、
    前記照会ターム認証子を満足しない前記照会結果それぞれに対して非認証動作を実行するステップと、
    を含むステップと、
    をコンピュータに実行させるためのプログラム。
31. 前記非認証動作においては前記インデックスの前記照会結果に対するメタデータを追加しない、請求項３０に記載のプログラム。
32. 前記アドレス可能ロケーションがＵＲＬアドレスを含む、請求項３０に記載のプログラム。
33. 前記設定が、少なくとも１つの前記アドレス可能ロケーションに対するパスワードを提供し、
    前記パスワードが提供された前記アドレス可能ロケーションのコンテンツページにアクセスするために前記パスワードを使用するステップを更にコンピュータに実行させるための、
    請求項３０に記載のプログラム。
34. 前記設定が、前記コンテンツページに含まれるリンクされたアドレス可能ロケーションに対するハイパーテキストリンクを検索するかどうかを指示する再帰的検索設定をさらに含み、
    再帰的検索設定がそれぞれの再帰的にリンクされたアドレス可能ロケーションを検索することを指示する場合に、リンクされたアドレス可能ロケーションそれぞれのコンテンツページにアクセスするステップであって、前記コンテンツページ内のリンクされた前記アドレス可能ロケーションで再帰的にアクセスされたそれぞれのコンテンツページ対してメタデータが生成される、ステップを更にコンピュータに実行させるための、
    請求項３０に記載のプログラム。
35. 前記設定が前記データ・リポジトリの禁止のアドレス可能ロケーションを提供し、
    リンクされたアドレス可能ロケーションが禁止のアドレス可能ロケーションである場合はそれぞれのコンテンツページに対するメタデータが生成されない、
    請求項３４に記載のプログラム。
36. 前記コンテンツページのフォーマットを判断するステップと、
    判断された前記フォーマットの解析機能を有する複数のパーサのうちの１つを選択するステップと、
    選択された前記パーサで前記コンテンツページを解析するステップであって、前記インデックスに加えるために、前記解析されたコンテンツページからメタデータが生成される、ステップと
    を更にコンピュータに実行させるための、請求項３０に記載のプログラム。
37. 前記コンテンツページで参照されている埋め込みファイルの解析機能を有するパーサを判断するステップと、
    前記埋め込みファイル前記のコンテンツを解析するステップと、
    前記埋め込みファイルの解析された前記コンテンツに対するメタデータを前記インデックスに加えて生成するステップと、
    を更にコンピュータに実行させるための、請求項３０に記載のプログラム。
38. 前記埋め込みファイルがマルチメディア・フォーマットでエンコードされている、請求項３７に記載のプログラム。
39. 前記設定を使用してコンテンツプロバイダのデータ・リポジトリに対するアクセス機能およびメタデータ生成機能を有するコレクションツールをコンテンツプロバイダに配信するステップと、
    自己のデータ・リポジトリ上にメタデータを集めるために、前記コレクションツールを使用する複数のコンテンツプロバイダからメタデータを集めるステップと、
    を更にコンピュータに実行させるための、請求項３０に記載のプログラム。
40. 前記コレクションツールを使用し、メタデータを提供するコンテンツプロバイダから電子署名を受け取るステップを更にコンピュータに実行させるための、請求項３９に記載のプログラム。
41. データ・リポジトリのアドレス・ロケーションでコンテンツに関するインデックス可能メタデータを集めるために、異なるコンテンツプロバイダにより管理される前記データ・リポジトリを検索するプログラムであって、
    前記コンテンツプロバイダによりカスタマイズ可能な設定にアクセスするステップであって、前記カスタマイズ可能な設定が、前記データ・リポジトリを検索する方法に関する命令を提供し、前記設定が、前記コンテンツ・プロバイダにより提供された前記データ・リポジトリでアドレス可能なロケーションを提供する、ステップと、
    前記データ・リポジトリのコンテンツページにアクセスするステップであって、前記アドレス可能なロケーションのコンテンツページへアクセスするステップを含むステップと、
    前記命令に従って前記コンテンツページのコンテンツにアクセスするステップと、
    前記データ・リポジトリにおけるアクセスされたアドレス可能ロケーションに対するメタデータのインデックスに加えるために、アクセスされた前記コンテンツページから、前記アクセスされた前記コンテンツページについてのメタデータを生成するステップと、
    前記設定によって示される妥当性検証プログラムを、それぞれのアクセスされたコンテンツページに対して実行するステップと、
    それぞれの前記コンテンツページの特徴を記述した前記妥当性検証プログラムにより、それぞれのアクセスされたコンテンツページに対する妥当性検証結果を生成するステップと、
    前記データ・リポジトリにおけるアクセスされたアドレス可能ロケーションに対するメタデータの前記インデックスに加えるために、前記妥当性検証結果からメタデータを生成するステップと、
    をコンピュータに実行させるためのプログラム。
42. 前記設定が、少なくとも１つの妥当性検証プログラムとともに使用する少なくとも１つのパラメータをさらに含み、
    前記妥当性検証プログラム実行時に前記パラメータを使用するステップであって、 前記妥当性検証結果が、前記妥当性検証プログラムとともに使用された前記少なくとも１つのパラメータに関する前記コンテンツページの特徴を示す、ステップをコンピュータに実行させるための、
    請求項４１に記載のプログラム。
43. 前記設定が、少なくとも１つの妥当性検証プログラムとともに使用される少なくとも１つの妥当性検証結果認証子を含み、
    前記妥当性検証結果が、前記該妥当性検証結果をもたらした前記妥当性検証プログラムとともに提供された前記少なくとも１つの妥当性検証結果認証子を満足するかどうかを判断するステップであって、前記妥当性検証結果が前記妥当性検証結果認証子を満足する場合に前記妥当性検証結果に対するメタデータが前記インデックスに追加される、ステップをコンピュータに実行させるための、
    請求項４１に記載のプログラム。
44. 前記妥当性検証結果が前記妥当性検証結果認証子を満足しない場合に、前記アドレス可能ロケーションの前記コンテンツページに対するメタデータが前記インデックスに追加されない、請求項４３に記載のプログラム。

Images