JP3586272B2 - サーチエンジン、検索システム、および記憶媒体 - Google Patents
サーチエンジン、検索システム、および記憶媒体 Download PDFInfo
- Publication number
- JP3586272B2 JP3586272B2 JP2002508887A JP2002508887A JP3586272B2 JP 3586272 B2 JP3586272 B2 JP 3586272B2 JP 2002508887 A JP2002508887 A JP 2002508887A JP 2002508887 A JP2002508887 A JP 2002508887A JP 3586272 B2 JP3586272 B2 JP 3586272B2
- Authority
- JP
- Japan
- Prior art keywords
- page
- update date
- index page
- database
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明はネットワーク上に分散したデータを検索するサーチエンジン、検索システム、検索システムにおけるデータベース作成方法および記憶媒体に関する。
【０００２】
【従来の技術】
Ａｌｔａｖｉｓｔａ（ｈｔｔｐ：／／ｗｗｗ．ａｌｔａｖｉｓｔａ．ｃｏｍ／）、Ｌｙｃｏｓ（ｈｔｔｐ：／／ｗｗｗ．ｌｙｃｏｓ．ｃｏｍ／）、Ｙａｈｏｏ！（ｈｔｔｐ：／／ｗｗｗ．ｙａｈｏｏ．ｃｏｍ／）などロボットを用いたネットワーク上の検索エンジンは多数存在する。これらはロボットと呼ばれる機械的にネットワーク上で情報を収集するソフトウェアを用いている。そして、収集したデータをデータベース化（ページ情報に対して形態素解析（morphological analysis）を行い、インデックステーブルを作成してデータベースに格納すること）し、利用者が検索できるようにしている。
【０００３】
上記ロボットは、ネットワーク上でＨＴＭＬ（Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）で記述された文章を探し、そこに記載されているリンク先を辿って、ネットワーク上に存在するデータを収集する。データベース化については、フルテキストサーチをするものもあれば、タイトルやＵＲＬといった部分のみを検索対象とするようなものもある。
【０００４】
上記データベースは、量が多いので分散化されている場合もある。しかし、あくまでも量が多いための単なる分割であり、何らかの意味を持って分割してはいない。
【０００５】
上記検索には、キーワード検索が行なわれる。すなわち、探したい文章に含まれているであろう語を入力して、検索を行なう。
【０００６】
一方、人気のあるサイトへのアクセス集中を分散させ、トラフィックを軽減するために、ミラーサイトが設けられることがある。例えば、Ｐｏｉｎｔ Ｃａｓｔ Ｎｅｔｗｏｒｋ（ＰＣＮ）社のＩ−Ｓｅｒｖｅｒ（ｈｔｔｐ：／／ｗｗｗ．ｐｏｉｎｔｃａｓｔ．ｃｏｍ／ｐｒｏｄｕｃｔｓ／ｉｓｅｒｖｅｒ．ｈｔｍｌ）ではＰＣＮ本社へ定期的に情報をプリフェッチして、ミラーサイトを管理している。
【０００７】
【発明が解決しようとする課題】
従来、ネットワーク上に分散したデータの検索エンジンにおいては、以下のような問題点があった。
【０００８】
（１）増大するデータを扱うのが困難になりつつある。
例えばＷＷＷ(World Wide Web)上のページデータが１９９６年で世界で４０００万以上あると言われ、今後も指数関数的に増加すると予想される。現在、ページ数も、１ページあたりのデータ量も急激に増大する傾向にある。
このように急増するデータを単に量により分割するだけでは、データベース管理が極めて困難である。
【０００９】
（２）更新頻度が低い情報はアクセスが少ない傾向にある。更新頻度が低いページは、一般に情報が古く、アクセスが少ない傾向にある。このため更新頻度の高いページを優先的に表示する検索システムが有効である。
【００１０】
（３）従来検索エンジンにドメイン、或いはＵＲＬを登録すると、ロボットがドメインあるいはＵＲＬを巡回し、巡回によって抽出されたファイルからその検索キーワードを抽出すると同時に更新日を取得する。そして取得した更新日に従ってファイルの新しさを判断し、検索結果の表示に優先度を付ける。
【００１１】
しかし、フレームタグによって構成されたインデックスページの場合、各フレームでリンクされるページが更新されてもインデックスページが更新されない限り、更新日が古いままになってしまい、検索結果と内容が合わなくなるという問題がる。また、更新頻度の低いページを検索対象から外すシステムの場合、フレーム対応のページが特別不利に扱われてしまうという問題がある。
【００１２】
本発明は上記事情に鑑みてなされたもので、その目的は、データベース化されたネットワーク上に散在する膨大な検索対象データの更新日付を、リンク先のページの更新日付の中の最新の更新日付に変更することにより正確な更新頻度情報を得ることのできるサーチエンジン、検索システム、検索システムにおけるデータベース作成方法、および記憶媒体を提供することである。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、この発明のサーチエンジンは、ネットワーク上の情報のインデックスページであって、少なくともＵＲＬ(Uniform Resource Locator)またはドメイン、更新日およびキーワードを含むインデックスページを格納したデータベースと、指定されたドメインあるいはＵＲＬに基づいて前記データベースを巡回し、前記インデックスページの更新日と、このインデックスページからリンクするウエブサイト上のページの更新日を取得し、そのうち最新の更新日をインデックスページの更新日とする巡回ロボットとから構成される。
また、この発明の検索システムは、ネットワーク上の情報のインデックスページであって、少なくともＵＲＬ(Uniform Resource Locator)またはドメイン、更新日およびキーワードを含むインデックスページを格納したデータベースと、指定されたドメインあるいはＵＲＬに基づいて前記データベースを巡回し、前記インデックスページの更新日と、このインデックスページからリンクするウエブサイト上のページの更新日を取得し、そのうち最新の更新日をインデックスページの更新日とする巡回ロボットと、指定されたキーワードに基づいて前記データベースを検索するエンジンとから構成される。
【００１４】
また、この発明の記憶媒体は、ネットワーク上の情報のインデックスページであって、少なくともＵＲＬ(Uniform Resource Locator)またはドメイン、更新日およびキーワードを含むインデックスページを格納したデータベースを有し、検索要求に応じてデータベース検索を行う検索システムにおけるデータベースをコンピュータに作成させるためのプログラムを有した記憶媒体であって、指定されたドメインあるいはＵＲＬに基づいて前記データベースを巡回し、前記インデックスページの更新日と、このインデックスページからリンクするウエブサイト上のページの更新日を取得させる手順と、前記取得した更新日のうち最新の更新日をインデックスページの更新日に設定する手順とを、コンピュータに実行させるためのプログラムが記憶される。
【００１５】
また、データベースの巡回は、インデックスページと同一ドメインを対象として行われる。
【００１６】
また、インデックスページ及びリンク先のページはフレームタグによって構成され、前記フレーム内のページの最新の更新日がインデックスページの更新日として設定される。
【００１７】
この発明によれば、巡回ロボットが取得したインデックスページの更新日をリンク先のページの更新日と比較し、リンク先のページの更新日の方が新しい場合はインデックスページの更新日をリンク先のページの更新日に置き換える。
【００１８】
【発明の実施の形態】
以下、図面を参照しながら、発明の実施の形態を説明する。
【００１９】
まず、語句の定義を行う。
【００２０】
ページ（ｐａｇｅ）とは、ハイパーテキストのページを意味するものとする。ＷＷＷの世界では、１つのページはユニークなＵＲＬを持つ。
【００２１】
ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕrｃｅ Ｌｏｃａｔor）とは、ページデータをアクセスするのに必要な情報である。ＵＲＬは、プロトコル、ドメイン名、ポート番号、パス名の情報を含む。
【００２２】
ロボット（Ｒｏｂｏｔ）とは、ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ＨＴＭＬ）やＳｔａｎｄａｒｄ Ｇｅｎｅｒａｌｉｚｅｄ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ＳＧＭＬ）のようなハイパーテキストで記述された文書を読み、そこに書かれているリンクを機械的に辿りながら文書をネットワーク上で収集するものであり、ソフトウェアにより実現される。ロボットの代わりにスパイダー（ｓｐｉｄｅｒ）あるいはワンダラー（Ｗａｎｄｅｒｅｒ）などと呼ばれることもある。
【００２３】
ロボットの基本的な動作は次のようになる。
【００２４】
（手順１）指定されたホームページをvisiting listに登録する。
（手順２）ロボットは、visiting listに従いページを取得する。
（手順３）取得されたページを解析してＵＲＬを抽出する。
（手順４）抽出されたＵＲＬをvisiting listに追加する（ただし、ＵＲＬの重複登録はしない）。
以降、手順２〜４を繰り返す。なお、ページの取得頻度は、該ページの更新頻度に応じて決めるようにしても良い。
【００２５】
次に、本実施形態について説明する。
【００２６】
本実施形態では、ネットワーク中に分散されたデータの一例としてページを扱うものとする。
【００２７】
図１は、本発明のサーチエンジンを含む検索システム全体の構成図を示す。同図に示すように、ネットワーク１には、ウエブサーバ９、１１、ユーザＰＣ１３、サーチサーバ１９、およびサーチエンジン２１が接続される。サーチエンジン２１は巡回ロボット(robot)３、データベース５およびエンジン１７とで構成される。巡回ロボット３は、登録されたドメイン、ＵＲＬにアクセスし、更新日を取得し、キーワードを抽出する。また、リンク先のページにアクセスし、更新日を取得し、キーワードを抽出する。取得した更新日および抽出したキーワードをデータベース５に登録する。データベースは、インデックスページからなるvisiting listを格納する。インデックスページは例えば図２に示すように、ＵＲＬ、キーワードおよび属性情報からなり、属性情報は更新日付を含む。エンジン１７は、指定されたキーワードに基づいてデータベース５を検索する。サーチサーバ１９は例えばフレッシュアイ（株式会社ニューズウォッチの商標）Infoseek（楽天株式会社の商標）等に代表されるサーチサーバ１９である。
【００２８】
次に、図３乃至図８を参照して本発明のサーチエンジンの動作について説明する。
【００２９】
始めに、ユーザは、フレームを含むホームページを作成し、ウエブサーバ９（１１）にアップロードしているものとする。
【００３０】
図３のステップＳ１において、ユーザはドメインまたはＵＲＬを登録する。すなわち、ユーザＰＣ１３の画面上に、例えば図５に示すような、ドメインまたはＵＲＬ入力画面（サーチエンジンの登録画面）が表示される。ユーザは、検索ドメインまたはＵＲＬを入力し、登録ボタン１５を選択する。この結果、図４に示すように巡回ロボット３はユーザにより入力されたドメインまたはＵＲＬをデータベース５内のvisiting listに登録する。
【００３１】
次に、図３のステップＳ３において、インデックスページへのアクセスが行われる。すなわち、図４に示すように巡回ロボット３は、登録されたドメインまたはＵＲＬをウエブサーバ１１に送信し、ウエブサーバは受信したドメインまたはＵＲＬに基づいてインデックスページをアクセスし、巡回ロボットに送信する。
【００３２】
巡回ロボット３はウエブサーバ１１から送信されたインデックスページの更新日Ａを取得する。次に、図３のステップＳ７において、そのインデックスページに登録されているキーワードを抽出する。
【００３３】
次に、図３ステップＳ９において、リンク先にアクセスする。すなわち、図４に示すように、巡回ロボット３は、インデックスページに含まれるリンク先アドレスをウエブサーバ９（１１）に送信する。ウエブサーバ９（１１）はリンク先アドレスに基づいて、ウエブサーバ９（１１）上のリンク先のページにアクセスし、そのページを巡回ロボット３に送信する。次に、図３のステップＳ１１において、更新日Ｂを取得する。すなわち、図４に示すように、巡回ロボット３は、リンク先のページの更新日Ｂを取得し、さらに、キーワードを抽出する。そして、図３のステップＳ１３において、更新日ＡとＢの比較を行い、ステップＳ１５において、更新日を更新する。すなわち、図４に示すように、インデックスページの更新日Ａよりも、リンク先ページの更新日Ｂの方が大きい（日付が新しい）場合には、インデックスページの更新日をＢとする。そして、図３のステップＳ１７において、キーワードを抽出し、ステップＳ１９において、インデックスページのキーワードに追加する。そして、ステップＳ２１において、巡回が終了したか否かを判断する。巡回が終了していなければ、ステップＳ９に戻り、ステップＳ９乃至Ｓ２１を再度繰り返し実行する。
【００３４】
一方、ステップＳ２１において、巡回を終了したと判断すると、ステップＳ２３において、巡回ロボット３は得られた更新日とキーワードをデータベース５に登録する。
【００３５】
図６は、巡回ロボット３がフレーム内のページの最新の更新日をインデックスページの更新日とする一例を示す図である。すなわち、図５に示すドメインまたはＵＲＬの登録画面を用いてユーザにより、例えばwww.domain.com/index.htmlが登録されたものとする。また、現在のインデックスページの更新日付は２０００年３月１４日であるとする。そして、フレームが２０００年２月１４日の更新日付を有するtitle.htmlのリンク先ページと、２０００年８月１日の更新日付を有するmenu.htmlのリンク先ページと、２０００年８月８日の更新日付を有するwelcom.htmlのリンク先ページから構成されているものとする。巡回ロボット３は、これらのリンク先ページの更新日付を取得し、それらの更新日付を比較し、最も新しい更新日付である、２０００年８月８日をインデックスページの更新日付として設定する。
【００３６】
なお、ユーザが検索を行う場合には、例えばサーチサーバ１９のページ（例えばフレッシュアイ（株式会社ニューズウォッチの商標）やInfoseek（楽天株式会社の商標）等により提供されるホームページ等）により提供される、例えば図７に示すような、検索のためのキーワード入力画面からキーワードを入力し、検索ボタン１７を選択すると、図１に示すエンジン１７によりキーワード検索が行われ、例えば図８に示すような検索結果が表示される。この例では、検索結果として、「www.domain.com/index.html ２０００年８月８日更新」がサーチサーバ１９のページに表示される。
【００３７】
なお、巡回ロボット３が巡回する範囲としては、各フレームの指定でリンクされているページに限定してもよい。また、同一ドメイン内に限定してもよい。
【００３８】
【発明の効果】
フレッシュアイ（株式会社ニューズウォッチの商標）やInfoseek（楽天株式会社の商標）などのロボット巡回型の検索エンジンの場合、フレーム対応のページについてはインデックスページが更新されずに主にフレームごとにリンクされるページが更新されるため、更新頻度が極めて低いものとして扱われてしまう。本発明によれば、フレーム対応の検索サービスであっても、非フレーム対応のページと同様の検索機能を得ることが可能となる。
【図面の簡単な説明】
【図１】この発明の一実施形態における検索エンジンの構成例を示す図である。
【図２】インデックスページの構成を示す図である。
【図３】本発明の一実施形態の動作を示すフローチャートである。
【図４】巡回ロボット、ウエブサーバ、およびユーザのそれぞれの動作を示すフローチャートである。
【図５】登録するドメインまたはＵＲＬを入力する画面例を示す図である。
【図６】登録したＵＲＬの画面例を示す図である。
【図７】キーワードを入力する際の画面例を示す図である。
【図８】サーチエンジンによる検索結果の画面例を示す図である。
【符号の説明】
１…ネットワーク
３…巡回ロボット
５…データベース
９、１１…ウエブサーバ
１３…ユーザＰＣ
１５…登録ボタン
１７…エンジン
１９…サーチサーバ
２１…サーチエンジン
【発明の属する技術分野】
この発明はネットワーク上に分散したデータを検索するサーチエンジン、検索システム、検索システムにおけるデータベース作成方法および記憶媒体に関する。
【０００２】
【従来の技術】
Ａｌｔａｖｉｓｔａ（ｈｔｔｐ：／／ｗｗｗ．ａｌｔａｖｉｓｔａ．ｃｏｍ／）、Ｌｙｃｏｓ（ｈｔｔｐ：／／ｗｗｗ．ｌｙｃｏｓ．ｃｏｍ／）、Ｙａｈｏｏ！（ｈｔｔｐ：／／ｗｗｗ．ｙａｈｏｏ．ｃｏｍ／）などロボットを用いたネットワーク上の検索エンジンは多数存在する。これらはロボットと呼ばれる機械的にネットワーク上で情報を収集するソフトウェアを用いている。そして、収集したデータをデータベース化（ページ情報に対して形態素解析（morphological analysis）を行い、インデックステーブルを作成してデータベースに格納すること）し、利用者が検索できるようにしている。
【０００３】
上記ロボットは、ネットワーク上でＨＴＭＬ（Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）で記述された文章を探し、そこに記載されているリンク先を辿って、ネットワーク上に存在するデータを収集する。データベース化については、フルテキストサーチをするものもあれば、タイトルやＵＲＬといった部分のみを検索対象とするようなものもある。
【０００４】
上記データベースは、量が多いので分散化されている場合もある。しかし、あくまでも量が多いための単なる分割であり、何らかの意味を持って分割してはいない。
【０００５】
上記検索には、キーワード検索が行なわれる。すなわち、探したい文章に含まれているであろう語を入力して、検索を行なう。
【０００６】
一方、人気のあるサイトへのアクセス集中を分散させ、トラフィックを軽減するために、ミラーサイトが設けられることがある。例えば、Ｐｏｉｎｔ Ｃａｓｔ Ｎｅｔｗｏｒｋ（ＰＣＮ）社のＩ−Ｓｅｒｖｅｒ（ｈｔｔｐ：／／ｗｗｗ．ｐｏｉｎｔｃａｓｔ．ｃｏｍ／ｐｒｏｄｕｃｔｓ／ｉｓｅｒｖｅｒ．ｈｔｍｌ）ではＰＣＮ本社へ定期的に情報をプリフェッチして、ミラーサイトを管理している。
【０００７】
【発明が解決しようとする課題】
従来、ネットワーク上に分散したデータの検索エンジンにおいては、以下のような問題点があった。
【０００８】
（１）増大するデータを扱うのが困難になりつつある。
例えばＷＷＷ(World Wide Web)上のページデータが１９９６年で世界で４０００万以上あると言われ、今後も指数関数的に増加すると予想される。現在、ページ数も、１ページあたりのデータ量も急激に増大する傾向にある。
このように急増するデータを単に量により分割するだけでは、データベース管理が極めて困難である。
【０００９】
（２）更新頻度が低い情報はアクセスが少ない傾向にある。更新頻度が低いページは、一般に情報が古く、アクセスが少ない傾向にある。このため更新頻度の高いページを優先的に表示する検索システムが有効である。
【００１０】
（３）従来検索エンジンにドメイン、或いはＵＲＬを登録すると、ロボットがドメインあるいはＵＲＬを巡回し、巡回によって抽出されたファイルからその検索キーワードを抽出すると同時に更新日を取得する。そして取得した更新日に従ってファイルの新しさを判断し、検索結果の表示に優先度を付ける。
【００１１】
しかし、フレームタグによって構成されたインデックスページの場合、各フレームでリンクされるページが更新されてもインデックスページが更新されない限り、更新日が古いままになってしまい、検索結果と内容が合わなくなるという問題がる。また、更新頻度の低いページを検索対象から外すシステムの場合、フレーム対応のページが特別不利に扱われてしまうという問題がある。
【００１２】
本発明は上記事情に鑑みてなされたもので、その目的は、データベース化されたネットワーク上に散在する膨大な検索対象データの更新日付を、リンク先のページの更新日付の中の最新の更新日付に変更することにより正確な更新頻度情報を得ることのできるサーチエンジン、検索システム、検索システムにおけるデータベース作成方法、および記憶媒体を提供することである。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、この発明のサーチエンジンは、ネットワーク上の情報のインデックスページであって、少なくともＵＲＬ(Uniform Resource Locator)またはドメイン、更新日およびキーワードを含むインデックスページを格納したデータベースと、指定されたドメインあるいはＵＲＬに基づいて前記データベースを巡回し、前記インデックスページの更新日と、このインデックスページからリンクするウエブサイト上のページの更新日を取得し、そのうち最新の更新日をインデックスページの更新日とする巡回ロボットとから構成される。
また、この発明の検索システムは、ネットワーク上の情報のインデックスページであって、少なくともＵＲＬ(Uniform Resource Locator)またはドメイン、更新日およびキーワードを含むインデックスページを格納したデータベースと、指定されたドメインあるいはＵＲＬに基づいて前記データベースを巡回し、前記インデックスページの更新日と、このインデックスページからリンクするウエブサイト上のページの更新日を取得し、そのうち最新の更新日をインデックスページの更新日とする巡回ロボットと、指定されたキーワードに基づいて前記データベースを検索するエンジンとから構成される。
【００１４】
また、この発明の記憶媒体は、ネットワーク上の情報のインデックスページであって、少なくともＵＲＬ(Uniform Resource Locator)またはドメイン、更新日およびキーワードを含むインデックスページを格納したデータベースを有し、検索要求に応じてデータベース検索を行う検索システムにおけるデータベースをコンピュータに作成させるためのプログラムを有した記憶媒体であって、指定されたドメインあるいはＵＲＬに基づいて前記データベースを巡回し、前記インデックスページの更新日と、このインデックスページからリンクするウエブサイト上のページの更新日を取得させる手順と、前記取得した更新日のうち最新の更新日をインデックスページの更新日に設定する手順とを、コンピュータに実行させるためのプログラムが記憶される。
【００１５】
また、データベースの巡回は、インデックスページと同一ドメインを対象として行われる。
【００１６】
また、インデックスページ及びリンク先のページはフレームタグによって構成され、前記フレーム内のページの最新の更新日がインデックスページの更新日として設定される。
【００１７】
この発明によれば、巡回ロボットが取得したインデックスページの更新日をリンク先のページの更新日と比較し、リンク先のページの更新日の方が新しい場合はインデックスページの更新日をリンク先のページの更新日に置き換える。
【００１８】
【発明の実施の形態】
以下、図面を参照しながら、発明の実施の形態を説明する。
【００１９】
まず、語句の定義を行う。
【００２０】
ページ（ｐａｇｅ）とは、ハイパーテキストのページを意味するものとする。ＷＷＷの世界では、１つのページはユニークなＵＲＬを持つ。
【００２１】
ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕrｃｅ Ｌｏｃａｔor）とは、ページデータをアクセスするのに必要な情報である。ＵＲＬは、プロトコル、ドメイン名、ポート番号、パス名の情報を含む。
【００２２】
ロボット（Ｒｏｂｏｔ）とは、ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ＨＴＭＬ）やＳｔａｎｄａｒｄ Ｇｅｎｅｒａｌｉｚｅｄ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ＳＧＭＬ）のようなハイパーテキストで記述された文書を読み、そこに書かれているリンクを機械的に辿りながら文書をネットワーク上で収集するものであり、ソフトウェアにより実現される。ロボットの代わりにスパイダー（ｓｐｉｄｅｒ）あるいはワンダラー（Ｗａｎｄｅｒｅｒ）などと呼ばれることもある。
【００２３】
ロボットの基本的な動作は次のようになる。
【００２４】
（手順１）指定されたホームページをvisiting listに登録する。
（手順２）ロボットは、visiting listに従いページを取得する。
（手順３）取得されたページを解析してＵＲＬを抽出する。
（手順４）抽出されたＵＲＬをvisiting listに追加する（ただし、ＵＲＬの重複登録はしない）。
以降、手順２〜４を繰り返す。なお、ページの取得頻度は、該ページの更新頻度に応じて決めるようにしても良い。
【００２５】
次に、本実施形態について説明する。
【００２６】
本実施形態では、ネットワーク中に分散されたデータの一例としてページを扱うものとする。
【００２７】
図１は、本発明のサーチエンジンを含む検索システム全体の構成図を示す。同図に示すように、ネットワーク１には、ウエブサーバ９、１１、ユーザＰＣ１３、サーチサーバ１９、およびサーチエンジン２１が接続される。サーチエンジン２１は巡回ロボット(robot)３、データベース５およびエンジン１７とで構成される。巡回ロボット３は、登録されたドメイン、ＵＲＬにアクセスし、更新日を取得し、キーワードを抽出する。また、リンク先のページにアクセスし、更新日を取得し、キーワードを抽出する。取得した更新日および抽出したキーワードをデータベース５に登録する。データベースは、インデックスページからなるvisiting listを格納する。インデックスページは例えば図２に示すように、ＵＲＬ、キーワードおよび属性情報からなり、属性情報は更新日付を含む。エンジン１７は、指定されたキーワードに基づいてデータベース５を検索する。サーチサーバ１９は例えばフレッシュアイ（株式会社ニューズウォッチの商標）Infoseek（楽天株式会社の商標）等に代表されるサーチサーバ１９である。
【００２８】
次に、図３乃至図８を参照して本発明のサーチエンジンの動作について説明する。
【００２９】
始めに、ユーザは、フレームを含むホームページを作成し、ウエブサーバ９（１１）にアップロードしているものとする。
【００３０】
図３のステップＳ１において、ユーザはドメインまたはＵＲＬを登録する。すなわち、ユーザＰＣ１３の画面上に、例えば図５に示すような、ドメインまたはＵＲＬ入力画面（サーチエンジンの登録画面）が表示される。ユーザは、検索ドメインまたはＵＲＬを入力し、登録ボタン１５を選択する。この結果、図４に示すように巡回ロボット３はユーザにより入力されたドメインまたはＵＲＬをデータベース５内のvisiting listに登録する。
【００３１】
次に、図３のステップＳ３において、インデックスページへのアクセスが行われる。すなわち、図４に示すように巡回ロボット３は、登録されたドメインまたはＵＲＬをウエブサーバ１１に送信し、ウエブサーバは受信したドメインまたはＵＲＬに基づいてインデックスページをアクセスし、巡回ロボットに送信する。
【００３２】
巡回ロボット３はウエブサーバ１１から送信されたインデックスページの更新日Ａを取得する。次に、図３のステップＳ７において、そのインデックスページに登録されているキーワードを抽出する。
【００３３】
次に、図３ステップＳ９において、リンク先にアクセスする。すなわち、図４に示すように、巡回ロボット３は、インデックスページに含まれるリンク先アドレスをウエブサーバ９（１１）に送信する。ウエブサーバ９（１１）はリンク先アドレスに基づいて、ウエブサーバ９（１１）上のリンク先のページにアクセスし、そのページを巡回ロボット３に送信する。次に、図３のステップＳ１１において、更新日Ｂを取得する。すなわち、図４に示すように、巡回ロボット３は、リンク先のページの更新日Ｂを取得し、さらに、キーワードを抽出する。そして、図３のステップＳ１３において、更新日ＡとＢの比較を行い、ステップＳ１５において、更新日を更新する。すなわち、図４に示すように、インデックスページの更新日Ａよりも、リンク先ページの更新日Ｂの方が大きい（日付が新しい）場合には、インデックスページの更新日をＢとする。そして、図３のステップＳ１７において、キーワードを抽出し、ステップＳ１９において、インデックスページのキーワードに追加する。そして、ステップＳ２１において、巡回が終了したか否かを判断する。巡回が終了していなければ、ステップＳ９に戻り、ステップＳ９乃至Ｓ２１を再度繰り返し実行する。
【００３４】
一方、ステップＳ２１において、巡回を終了したと判断すると、ステップＳ２３において、巡回ロボット３は得られた更新日とキーワードをデータベース５に登録する。
【００３５】
図６は、巡回ロボット３がフレーム内のページの最新の更新日をインデックスページの更新日とする一例を示す図である。すなわち、図５に示すドメインまたはＵＲＬの登録画面を用いてユーザにより、例えばwww.domain.com/index.htmlが登録されたものとする。また、現在のインデックスページの更新日付は２０００年３月１４日であるとする。そして、フレームが２０００年２月１４日の更新日付を有するtitle.htmlのリンク先ページと、２０００年８月１日の更新日付を有するmenu.htmlのリンク先ページと、２０００年８月８日の更新日付を有するwelcom.htmlのリンク先ページから構成されているものとする。巡回ロボット３は、これらのリンク先ページの更新日付を取得し、それらの更新日付を比較し、最も新しい更新日付である、２０００年８月８日をインデックスページの更新日付として設定する。
【００３６】
なお、ユーザが検索を行う場合には、例えばサーチサーバ１９のページ（例えばフレッシュアイ（株式会社ニューズウォッチの商標）やInfoseek（楽天株式会社の商標）等により提供されるホームページ等）により提供される、例えば図７に示すような、検索のためのキーワード入力画面からキーワードを入力し、検索ボタン１７を選択すると、図１に示すエンジン１７によりキーワード検索が行われ、例えば図８に示すような検索結果が表示される。この例では、検索結果として、「www.domain.com/index.html ２０００年８月８日更新」がサーチサーバ１９のページに表示される。
【００３７】
なお、巡回ロボット３が巡回する範囲としては、各フレームの指定でリンクされているページに限定してもよい。また、同一ドメイン内に限定してもよい。
【００３８】
【発明の効果】
フレッシュアイ（株式会社ニューズウォッチの商標）やInfoseek（楽天株式会社の商標）などのロボット巡回型の検索エンジンの場合、フレーム対応のページについてはインデックスページが更新されずに主にフレームごとにリンクされるページが更新されるため、更新頻度が極めて低いものとして扱われてしまう。本発明によれば、フレーム対応の検索サービスであっても、非フレーム対応のページと同様の検索機能を得ることが可能となる。
【図面の簡単な説明】
【図１】この発明の一実施形態における検索エンジンの構成例を示す図である。
【図２】インデックスページの構成を示す図である。
【図３】本発明の一実施形態の動作を示すフローチャートである。
【図４】巡回ロボット、ウエブサーバ、およびユーザのそれぞれの動作を示すフローチャートである。
【図５】登録するドメインまたはＵＲＬを入力する画面例を示す図である。
【図６】登録したＵＲＬの画面例を示す図である。
【図７】キーワードを入力する際の画面例を示す図である。
【図８】サーチエンジンによる検索結果の画面例を示す図である。
【符号の説明】
１…ネットワーク
３…巡回ロボット
５…データベース
９、１１…ウエブサーバ
１３…ユーザＰＣ
１５…登録ボタン
１７…エンジン
１９…サーチサーバ
２１…サーチエンジン
Claims (9)
- ネットワーク上の情報のインデックスページであって、少なくともＵＲＬ(Uniform Resource Locator)またはドメイン、更新日およびキーワードを含むインデックスページを格納したデータベースと、
指定されたドメインあるいはＵＲＬに基づいて前記データベースを巡回し、前記インデックスページの更新日と、このインデックスページからリンクするウエブサイト上のページの更新日を取得し、そのうち最新の更新日をインデックスページの更新日とする巡回ロボットと、
を具備することを特徴とするサーチエンジン。 - 前記巡回ロボットは前記インデックスページと同一ドメインを巡回対象とする請求項１記載のサーチエンジン。
- 前記インデックスページ及びリンク先のページはフレームタグによって構成され、前記巡回ロボットは前記フレーム内のページの最新の更新日をインデックスページの更新日とすることを特徴とする請求項１記載のサーチエンジン。
- ネットワーク上の情報のインデックスページであって、少なくともＵＲＬ(Uniform Resource Locator)またはドメイン、更新日およびキーワードを含むインデックスページを格納したデータベースと、
指定されたドメインあるいはＵＲＬに基づいて前記データベースを巡回し、前記インデックスページの更新日と、このインデックスページからリンクするウエブサイト上のページの更新日を取得し、そのうち最新の更新日をインデックスページの更新日とする巡回ロボットと、
指定されたキーワードに基づいて前記データベースを検索するエンジンと、
を具備することを特徴とする検索システム。 - 前記巡回ロボットは前記インデックスページと同一ドメインを巡回対象とする請求項４記載の検索システム。
- 前記インデックスページ及びリンク先のページはフレームタグによって構成され、前記巡回ロボットは前記フレーム内のページの最新の更新日をインデックスページの更新日とすることを特徴とする請求項４記載の検索システム。
- ネットワーク上の情報のインデックスページであって、少なくともＵＲＬ(Uniform Resource Locator)またはドメイン、更新日およびキーワードを含むインデックスページを格納したデータベースを有し、検索要求に応じてデータベース検索を行う検索システムにおけるデータベースをコンピュータに作成させるためのプログラムを有した記憶媒体であって、
指定されたドメインあるいはＵＲＬに基づいて前記データベースを巡回し、前記インデックスページの更新日と、このインデックスページからリンクするウエブサイト上のページの更新日を取得させる手順と、
前記取得した更新日のうち最新の更新日をインデックスページの更新日に設定する手順と、
をコンピュータに実行させるためのプログラムを記憶したコンピュータ読取り可能な記憶媒体。 - 前記コンピュータに前記データベースを巡回させる際に、前記インデックスページと同一ドメインを巡回させることを特徴とする請求項７記載の記憶媒体。
- 前記インデックスページおよびリンク先のページはフレームタグによって構成され、前記コンピュータに、前記フレームページ内のページの最新の更新日をインデックスページの更新日に設定させることを特徴とする請求項７記載の記憶媒体。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2000/008430 WO2002044946A1 (fr) | 2000-11-29 | 2000-11-29 | Moteur de recherche |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004151739A Division JP2004318898A (ja) | 2004-05-21 | 2004-05-21 | サーチエンジン、検索システム、検索システムにおけるデータベース作成方法、および記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2002044946A1 JPWO2002044946A1 (ja) | 2004-04-02 |
| JP3586272B2 true JP3586272B2 (ja) | 2004-11-10 |
Family
ID=11736729
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002508887A Expired - Fee Related JP3586272B2 (ja) | 2000-11-29 | 2000-11-29 | サーチエンジン、検索システム、および記憶媒体 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP3586272B2 (ja) |
| KR (2) | KR100496384B1 (ja) |
| WO (1) | WO2002044946A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8307275B2 (en) * | 2005-12-08 | 2012-11-06 | International Business Machines Corporation | Document-based information and uniform resource locator (URL) management |
| JP4983401B2 (ja) * | 2007-05-25 | 2012-07-25 | 富士ゼロックス株式会社 | 情報処理装置及び制御プログラム |
| JP2008299788A (ja) * | 2007-06-04 | 2008-12-11 | Fujitsu Ltd | ウェブサーバ装置、ウェブサーバプログラムおよびウェブサーバ装置の管理方法 |
| JP5531741B2 (ja) * | 2010-04-09 | 2014-06-25 | 船井電機株式会社 | テレビジョン装置 |
| JP2020197876A (ja) * | 2019-05-31 | 2020-12-10 | Ｇｍｏ Ｔｅｃｈ株式会社 | 情報処理システム、プログラム、及び、情報処理方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03174653A (ja) * | 1989-12-01 | 1991-07-29 | Matsushita Electric Ind Co Ltd | キーワード管理方法およびその装置 |
| JPH117449A (ja) * | 1997-06-16 | 1999-01-12 | Hitachi Ltd | ハイパーテキスト情報収集方法 |
| JPH11212852A (ja) * | 1998-01-28 | 1999-08-06 | Nec Software Chubu Ltd | Ｔｃｐ／ｉｐ通信ホームページ読出方法及びその装置並びに情報記録媒体 |
| JP2908425B1 (ja) * | 1998-04-10 | 1999-06-21 | 日本電気ソフトウェア株式会社 | フレームを使用しているホームページのマーキング・再表示方式 |
| JPH11296428A (ja) * | 1998-04-14 | 1999-10-29 | Nec Home Electron Ltd | ホームページの更新チェック方法および装置並びに更新チェックのための制御プログラムを格納した読み出し可能な記録媒体 |
-
2000
- 2000-11-29 WO PCT/JP2000/008430 patent/WO2002044946A1/ja active IP Right Grant
- 2000-11-29 KR KR10-2002-7006827A patent/KR100496384B1/ko not_active IP Right Cessation
- 2000-11-29 KR KR10-2004-7019523A patent/KR20050004274A/ko not_active Application Discontinuation
- 2000-11-29 JP JP2002508887A patent/JP3586272B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2002044946A1 (ja) | 2004-04-02 |
| KR20050004274A (ko) | 2005-01-12 |
| KR20020070293A (ko) | 2002-09-05 |
| KR100496384B1 (ko) | 2005-06-21 |
| WO2002044946A1 (fr) | 2002-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9940398B1 (en) | Customization of search results for search queries received from third party sites | |
| US6321228B1 (en) | Internet search system for retrieving selected results from a previous search | |
| EP0777187B1 (en) | A history display apparatus | |
| US5933827A (en) | System for identifying new web pages of interest to a user | |
| JP4648455B2 (ja) | 個人化検索方法および個人化検索システム | |
| US7552109B2 (en) | System, method, and service for collaborative focused crawling of documents on a network | |
| JP5474038B2 (ja) | モバイルサイトマップ | |
| US7613685B2 (en) | System and method for personalized presentation of web pages | |
| US6094649A (en) | Keyword searches of structured databases | |
| Lewandowski | A three-year study on the freshness of web search engine databases | |
| Wöber | Domain specific search engines | |
| KR100434902B1 (ko) | 지식 기반 맞춤 정보 제공 시스템 및 그 서비스 방법 | |
| JP4769822B2 (ja) | ページグループを用いた情報検索サービス提供サーバー、方法及びシステム | |
| JP2003141155A (ja) | Ｗｅｂページ検索システムおよびＷｅｂページ検索プログラム | |
| JP3586272B2 (ja) | サーチエンジン、検索システム、および記憶媒体 | |
| JP2004206629A (ja) | 異種データソース統合検索サーバシステム | |
| KR20000017909A (ko) | 인터넷상에서의 정보검색장치 및 이를 이용한 정보검색방법 | |
| KR20020032060A (ko) | 근접 검색식을 이용한 정보 검색 시스템 및 방법 | |
| JP2004054918A (ja) | 情報処理システム、情報表示装置、コンピュータプログラム、及び記録媒体 | |
| JPH10222534A (ja) | 情報検索装置 | |
| JP2004318898A (ja) | サーチエンジン、検索システム、検索システムにおけるデータベース作成方法、および記憶媒体 | |
| Rao et al. | A user-profile assisted meta search engine | |
| JP5525424B2 (ja) | 文書検索装置、文書検索方法及び文書検索プログラム | |
| KR100688344B1 (ko) | 위치기반 지능형 검색 서비스 방법 | |
| JPH11265402A (ja) | データ処理システム及びデータ処理システムを制御するプログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040323 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040524 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040803 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040805 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070813 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080813 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090813 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |