JP5165717B2 - デッドリンク判定装置及び方法 - Google Patents

Description

本発明は、デッドリンク判定装置及び方法に関する。特に、通信ネットワーク上のＷｅｂコンテンツのリンク切れを検出するデッドリンク判定装置及び方法に関する。

インターネット上には、膨大な情報が開示されている。ユーザがインターネットからこのユーザが所望する情報を取得するには、端末を使って検索サイトに接続し、検索サイトから得られる検索結果から、ユーザが所望する情報が含まれると思われるＷｅｂページに接続する場合が多い。

検索エンジンがインターネット上の膨大な情報に基づいて検索結果を提供するには、予めインターネット上の情報を収集しておく必要がある。まず、検索エンジンのクローラがインターネット上の各Ｗｅｂサイトを巡回し、Ｗｅｂサイトに含まれるリンク先のＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｅｃｅ Ｌｏｃａｔｏｒ）やＷｅｂサイトの情報を取得しデータベースに蓄積する。次にインデクサが、蓄積された情報に対してインデックスを付与する。そして、検索エンジンは、検索要求があった場合、インデックスが付与された情報を検索して検索結果を端末に送信する。

ところで、検索エンジンが最新の情報に基づく検索結果を返すためには、データベースに蓄積された情報は、常に最新の情報であることが好ましい。しかし、データベースに蓄積された情報も膨大なものとなるので、クローラがこの蓄積された情報全てについて、くまなく収集し、最新の状態に更新するにも限界がある。
一方、Ｗｅｂサイトによっては、ＵＲＬで指定されたアドレスからコンテンツが削除又は移動されるものもある。このため、検索エンジンに蓄積されたＵＲＬが、コンテンツが削除又は移動される前の古いＵＲＬとなり、デッドリンク（リンク切れ）となることもある。そして、このデッドリンクとなったＵＲＬが検索結果に含まれる場合、ユーザに不要な情報を提供することになり、検索サービスの低下につながるおそれもある。

そこで、デッドリンクとなったＵＲＬを効率よく探し出す装置及び方法が求められている（例えば、特許文献１及び特許文献２）。

特開２００１−２８２６０４号公報 特開２００３−２８０９７４号公報

特許文献１に記載の装置は、Ｗｅｂページの構造をツリー表示し、デッドリンクとなったＵＲＬがある場合にはその旨を表示する。すなわち、特許文献１に記載の装置は、個々のＷｅｂサイトについてデッドリンクの有無を報知する。しかし、特許文献１に記載の装置では、検索エンジンに蓄積された全てのＵＲＬに対してデッドリンクの有無を判定するには非効率的である。

特許文献２に記載の装置は、アクセスログファイルを参照してリンク切れを示すエラーコードを検出することで、そのときにアクセスしたＷｅｂページのＵＲＬがデッドリンクであると判定する。しかし、検索エンジンのデータベースには膨大な量のＵＲＬが蓄積されており、クローラがデータベースに蓄積されている全てのＵＲＬに基づいてＷｅｂサイトを巡回するにも多大な時間を要する。このため、クローラがアクセスする度に網羅的にデッドリンクを検出するのは効率的ではない。

そこで、本発明は、デッドリンクの発生を効率的に検出することができるデッドリンク判定装置及び方法を提供することを目的とする。

（１）検索サーバ及びＷｅｂサーバに通信可能に接続され、前記Ｗｅｂサーバのコンテンツがデッドリンクであるか否かを判定するデッドリンク判定装置であって、前記検索サーバで使用されたクエリの中で使用頻度が所定値より高いクエリを記憶するクエリ記憶手段と、前記検索サーバ及び前記Ｗｅｂサーバの巡回用のＵＲＬを記憶するＵＲＬ記憶手段と、前記検索サーバの検索結果を得るためのＵＲＬに、前記クエリ記憶手段に記憶されている前記クエリをパラメータとして含むＵＲＬを生成するＵＲＬ生成手段と、前記ＵＲＬ生成手段により生成された前記ＵＲＬを前記ＵＲＬ記憶手段に記憶させる第１ＵＲＬ記憶制御手段と、前記ＵＲＬ記憶手段に記憶されているＵＲＬを取得して、当該ＵＲＬに基づいて前記検索サーバ又は前記Ｗｅｂサーバを巡回し、当該ＵＲＬのコンテンツを取得する巡回取得手段と、前記巡回取得手段により取得したコンテンツを解析して、デッドリンクであるか否かの判定及び前記コンテンツに含まれるＵＲＬの抽出を行う解析手段と、前記解析手段により抽出された前記ＵＲＬを前記ＵＲＬ記憶手段に記憶させる第２ＵＲＬ記憶制御手段と、前記解析手段により前記デッドリンクであると判定されたＵＲＬを出力する出力手段と、を、備えるデッドリンク判定装置。

（１）に記載の発明によれば、デッドリンク判定装置は、前記検索サーバで使用されたクエリの中で使用頻度が所定値より高いクエリに基づいて、当該クエリをパラメータとして含むＵＲＬを生成し、巡回取得手段が当該ＵＲＬに基づいて検索サーバ又はＷｅｂサーバを巡回して当該ＵＲＬのコンテンツを取得する。また、デッドリンク判定装置は、巡回取得手段が取得したコンテンツを解析して、当該コンテンツがデッドリンクであるか否かを判定すると共に、コンテンツが検索サーバから得られたものである場合にコンテンツに含まれるＵＲＬの抽出を行う。そして、デッドリンク判定装置は、デッドリンクであると判定されたコンテンツのＵＲＬを出力する。
これにより、デッドリンク判定装置は、使用頻度の高いクエリに基づく検索結果として取得されるＵＲＬのコンテンツに対してデッドリンクの判定を行うことができる。使用頻度の高いクエリの検索結果として取得されるコンテンツは、ユーザによりアクセスされる可能性が高いコンテンツである場合が多い。したがって、デッドリンク判定装置は、参照されやすいコンテンツに対して選択的にデッドリンクの判定を行うことができ、またデッドリンクの発生を効率的に検出することができる。

（２）前記ＵＲＬ記憶手段は、キューにより実装される（１）に記載のデッドリンク判定装置。

（２）に記載の発明によれば、（１）に記載の発明に加えて、ＵＲＬ記憶手段はキューにより実装される。キューは先入れ先出しのデータ構造である。このため、巡回取得手段は、ＵＲＬ記憶手段に記憶されたＵＲＬのうち、一番古いＵＲＬから順番に取り出して巡回することができる。

（３）前記ＵＲＬ記憶手段は、前記ＵＲＬのうち所定の部分が共通する複数のＷｅｂページにより構成されるＷｅｂサイト毎に記憶領域を有し、前記解析手段は、前記コンテンツに含まれるＵＲＬを抽出し、抽出したＵＲＬが、前記ＵＲＬ記憶手段に前記記憶領域を有する前記ＷｅｂサイトのＵＲＬの前記所定の部分と共通するか否かを判定し、前記第２ＵＲＬ記憶制御手段は、前記解析手段の判定に応じて、前記解析手段により抽出された前記ＵＲＬを前記Ｗｅｂサイト毎の記憶領域に振り分けて記憶させる（１）又は（２）に記載のデッドリンク判定装置。

（３）に記載の発明によれば、（１）又は（２）に記載の発明に加えて、ＵＲＬ記憶手段は、Ｗｅｂサイト毎の記憶領域を有する。解析手段は、抽出したＵＲＬが、ＵＲＬ記憶手段に記憶領域を有するＷｅｂサイトに属するものであるかを判定する。そして、第２ＵＲＬ記憶制御手段は、解析手段の判定に応じて、解析手段が抽出したＵＲＬをＵＲＬ記憶手段においてＷｅｂサイト毎に設けられた記憶領域に振り分けて記憶させる。例えば、頻繁に検索対象となるＷｅｂサイト毎に記憶領域を設けた場合に、巡回取得手段は、その当該Ｗｅｂサイト用に設けられた記憶領域からＵＲＬを取得する。このため、デッドリンク判定装置は、当該Ｗｅｂサイトに含まれるＵＲＬを集中的に巡回してデッドリンクの判定を行うことができる。

（４）通信ネットワーク上にある前記Ｗｅｂサーバのコンテンツがデッドリンクであるか否かを判定するデッドリンク判定方法であって、検索に使用された回数が平均値より高いクエリを記憶するクエリ記憶手段と、検索サーバ及び前記Ｗｅｂサーバの巡回用のＵＲＬを記憶するＵＲＬ記憶手段と、を備え、コンピュータに、検索結果を得るためのＵＲＬとして、前記クエリ記憶手段に記憶されている前記クエリをパラメータとして含むＵＲＬを生成するステップと、前記ＵＲＬ生成手段により生成された前記ＵＲＬを前記ＵＲＬ記憶手段に記憶させるステップと、前記ＵＲＬ記憶手段に記憶されているＵＲＬを取得して、当該ＵＲＬに基づいて前記通信ネットワークを巡回し、当該ＵＲＬのコンテンツを取得するステップと、取得したコンテンツを解析して、デッドリンクであるか否かの判定及び前記コンテンツに含まれるＵＲＬの抽出を行うステップと、抽出された前記ＵＲＬを前記ＵＲＬ記憶手段に記憶させるステップと、前記デッドリンクであると判定されたＵＲＬを出力するステップと、を実行させるデッドリンク判定方法。

（４）に記載の発明によれば、（１）と同様の効果を奏することができる方法を提供することができる。

本発明によれば、デッドリンクの発生を効率的に検出することができるデッドリンク判定装置及び方法を提供することができる。

本発明の実施形態に係るＷｅｂ検索システムの全体構成及びデッドリンク判定装置の機能構成を示す図である。 本発明の実施形態に係るＵＲＬ記憶部の内部構成を示す概念図である。 本発明の実施形態に係る管理テーブルを示す図である。 本発明の実施形態に係るデッドリンク判定装置の制御部がＵＲＬを生成して記憶する処理の流れを示すフローチャートである。 本発明の実施形態に係るデッドリンク判定装置の制御部がデッドリンクを判定する処理の流れを示すフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。なお、以下に説明する実施形態は、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

図１を参照して、本実施形態の一例である、Ｗｅｂ検索システム１の全体構成について説明する。図１は、本発明の実施形態に係るＷｅｂ検索システム１の全体構成及びデッドリンク判定装置１０の機能構成を示す図である。

Ｗｅｂ検索システム１は、デッドリンク判定装置１０と、検索サーバ２０と、Ｗｅｂサーバ３０と、で構成される。デッドリンク判定装置１０と、検索サーバ２０と、Ｗｅｂサーバ３０とはそれぞれ通信ネットワークＮを介して互いに通信可能である。

デッドリンク判定装置１０は、Ｗｅｂサーバ３０上に公開され、検索サーバ２０により提供されるコンテンツについて、当該コンテンツのＵＲＬがデッドリンク（リンク切れ）となっているか否かを判定する。詳細は後述する。

検索サーバ２０は、検索エンジン２１を有し、検索サービスを提供する。この検索サーバ２０は、検索結果として、Ｗｅｂサーバ３０で提供するコンテンツにアクセスするためのＵＲＬを提供する。

Ｗｅｂサーバ３０は、通信ネットワークＮ上でＷｅｂサイト等のコンテンツを提供する。

通信ネットワークＮは、光回線やＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）等の有線通信網（公衆回線網）や、携帯電話機あるいはＰＨＳ等を端末とした移動体通信網により形成される。通信ネットワークＮは、具体的には、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等のコンピュータネットワークにより構成される。

図１を参照して、デッドリンク判定装置１０の構成について説明する。

デッドリンク判定装置１０は、記憶部１１と、操作部１２と、表示部１３と、制御部１４とを備える。

記憶部１１は、ハードディスク装置や光磁気ディスク装置、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性のメモリ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性のメモリ、あるいはこれらの組み合わせによるコンピュータ読み取り可能及び書き込み可能な記憶媒体により構成される。

記憶部１１は、クエリ記憶手段としてのクエリ記憶部１１１と、ＵＲＬ記憶手段としてのＵＲＬ記憶部１１２とを備える。

クエリ記憶部１１１は、検索サーバ２０の検索エンジン２１において使用されたクエリの中で使用頻度が所定値より高いクエリを記憶する。本実施形態では、このクエリは、検索サーバ２０において検索に使用されたクエリについて集計されて昇順に順位付けが行われた結果、上位から所定順位内にあるクエリである。クエリ記憶部１１１は、後述の制御部１４が定期的に検索サーバ２０に接続して取得したクエリを記憶する。なお、クエリ記憶部１１１は、集計された結果、使用回数の平均値より高いクエリを記憶してもよい。

ＵＲＬ記憶部１１２は、後述の巡回取得部１４３が巡回するためのＵＲＬを記憶する。ＵＲＬ記憶部１１２は、キューにより実装される。
ここで、図２を参照してＵＲＬ記憶部１１２の内部構成について説明する。図２は、ＵＲＬ記憶部１１２の内部構成を示す概念図である。

ＵＲＬ記憶部１１２は、複数のキューにより実装される。本実施形態では、ＵＲＬ記憶部１１２は、第１キュー１１２ａと、第２キュー１１２ｂと、第３キュー１１２ｃと、第４キュー１１２ｄとを備える。

第１キュー１１２ａ及び第２キュー１１２ｂは、所定のＷｅｂサイト毎に設けられた記憶領域であり、指定されたＷｅｂサイトに属するコンテンツのＵＲＬがそれぞれ格納される。本実施形態では、例えば、Ｗｅｂサイト「ａ」用の記憶領域として第１キュー１１２ａが設けられており、また、Ｗｅｂサイト「ｂ」用の記憶領域として第２キュー１１２ｂが設けられている。
第３キュー１１２ｃは、後述の巡回取得部１４３が検索サーバ２０にアクセスするためのキューであり、後述のＵＲＬ生成部１４１が生成したＵＲＬが格納される。
第４キュー１１２ｄは、後述の巡回取得部１４３が収集したＵＲＬのうち、第１キュー１１２ａ、第２キュー１１２ｂ又は第３キュー１１２ｃに格納されないＵＲＬが格納される。

図１に戻って、操作部１２は、デッドリンク判定装置１０に対する入力の受け付けを行うものであり、キーボード、マウス、タッチペン、タッチパネル等により構成されるものとする。

表示部１３は、デッドリンク判定装置１０の管理者にデータの入力を受け付ける画面を表示したり、デッドリンク判定装置１０による演算処理結果の画面を表示したりするものであり、ブラウン管表示装置（ＣＲＴ）、液晶表示装置（ＬＣＤ）等のディスプレイ装置を含む。

制御部１４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央処理装置）等により構成されており、デッドリンク判定装置１０の各処理の実行を制御する。制御部１４は、下記の各部の機能を実現するためのプログラムを記憶部１１から読み込んで実行することによりその機能を実現させるものであってもよいし、また、専用のハードウェアにより実現されるものであってもよい。

制御部１４は、ＵＲＬ生成手段としてのＵＲＬ生成部１４１と、第１ＵＲＬ記憶制御手段としての第１ＵＲＬ記憶制御部１４２と、巡回取得手段としての巡回取得部１４３と、解析手段としての解析部１４４と、第２ＵＲＬ記憶制御手段としての第２ＵＲＬ記憶制御部１４５と、出力手段としての出力部１４６と、を備える。

ＵＲＬ生成部１４１は、後述の巡回取得部１４３が巡回するためのＵＲＬを生成する。詳細には、ＵＲＬ生成部１４１は、検索エンジン２１から、クエリ記憶部１１１に記憶されているクエリの検索結果を得るために検索サーバ２０に送信されるＵＲＬを生成する。すなわち、ＵＲＬ生成部１４１は、クエリ記憶部１１１から読み込んだクエリをパラメータとして含むＵＲＬを生成する。

第１ＵＲＬ記憶制御部１４２は、ＵＲＬ生成部１４１が生成したＵＲＬをＵＲＬ記憶部１１２に記憶させる。本実施形態では、第１ＵＲＬ記憶制御部１４２は、当該ＵＲＬをＵＲＬ記憶部１１２の第３キュー１１２ｃに記憶させる。

巡回取得部１４３は、ＵＲＬ記憶部１１２に記憶されているＵＲＬを読み出して、当該ＵＲＬに基づいて通信ネットワークＮ上の検索サーバ２０又はＷｅｂサーバ３０を巡回する。巡回取得部１４３は、いわゆるクローラであり、ＵＲＬ記憶部１１２から読み出したＵＲＬに基づいて検索サーバ２０又はＷｅｂサーバ３０に接続し、当該検索サーバ２０又はＷｅｂサーバ３０から提供されるデータを取得して、取得したデータを解析部１４４に出力する。

ここで、ＵＲＬ記憶部１１２には、ＵＲＬ生成部１４１が生成したＵＲＬが記憶されているので、巡回取得部１４３は、当該ＵＲＬに基づいて検索サーバ２０に接続する。ＵＲＬ生成部１４１が生成したＵＲＬは、クエリ記憶部１１１から読み込んだクエリをパラメータとして含む。したがって、巡回取得部１４３は、当該ＵＲＬに基づいて検索サーバ２０の検索エンジン２１に当該クエリについての検索結果を出力させる検索命令を送信することになる。具体的には、巡回取得部１４３は、ＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）プロトコルのＧＥＴメソッドを使用して、検索エンジン２１から検索結果を取得する。
したがって、このＵＲＬのコンテンツは、検索サーバ２０において使用頻度の高いクエリの検索結果を含むため、結果として検索サーバ２０のユーザにアクセスされやすいＵＲＬをリンク先として含むことになる。

ここで、巡回取得部１４３がＵＲＬ記憶部１１２からＵＲＬを取得するタイミングは、ＵＲＬ記憶部１１２に設けられた複数のキュー毎にそれぞれ異なるようにしてもよい。ＵＲＬ記憶部１１２に設けられた複数のキューのうち、第１キュー１１２ａ及び第２キュー１１２ｂは、所定のＷｅｂサイトに属するコンテンツのＵＲＬのみがそれぞれ格納される。このため、巡回取得部１４３は、指定されたＷｅｂサイト毎（当該ＷｅｂサイトのＷｅｂサーバ３０）に、間隔を調整して接続し、コンテンツを取得することができる。

巡回取得部１４３がＵＲＬ記憶部１１２からＵＲＬを取り出すタイミングは、例えば、図３に示すような管理テーブル５０により管理される。この管理テーブル５０は、記憶部１１に記憶される。ここで図３を参照して、管理テーブル５０について説明する。図３は、管理テーブル５０を示す図である。

管理テーブル５０は、クロール対象のＷｅｂサイト名と、後述の解析部１４４が参照する解析内容と、クロール間隔と、記憶先キューとがそれぞれ関連付けられている。

例えば、図３の管理テーブル５０によると、クロール対象のＷｅｂサイトのうち、Ｗｅｂサイト「ａ」というサイトの場合、クロール間隔は２秒であり、記憶先キューは、第１キュー１１２ａである。したがって、巡回取得部１４３は、第１キュー１１２ａから２秒間隔でＵＲＬを取り出し、当該ＵＲＬに基づいてコンテンツを取得する。

図１に戻って、解析部１４４は、巡回取得部１４３が取得したコンテンツについて、管理テーブル５０の解析内容を参照して、解析を行う。管理テーブル５０の解析内容には、解析部１４４がどのように解析するかについて記載されている。例えば、管理テーブル５０の解析内容は、クロール対象サイトごとに、「検索結果からＵＲＬを抽出する」といった内容や、「ＨＴＴＰプロトコルのステータスコードが「３０３」の場合はデッドリンクと判定する」といった内容のように、解析の指示内容が記載されている。

まず、解析部１４４は、巡回取得部１４３が取得したコンテンツが検索サーバ２０から取得した検索結果であるか否かを判定する。
解析部１４４は、当該コンテンツが検索サーバ２０から取得した検索結果であると判定した場合、当該コンテンツを解析して、当該コンテンツに含まれるＵＲＬを第２ＵＲＬ記憶制御部１４５に出力する。
また、解析部１４４は、当該コンテンツが検索サーバ２０から取得した検索結果ではないと判定した場合、当該コンテンツについて、デッドリンクであるか否かを判定する。

デッドリンクの判定は、上述のように、管理テーブル５０を参照して行われ、例えば、コンテンツのＵＲＬのＷｅｂサーバ３０にリクエストを送信し、返信されるレスポンス・データに含まれるステータス・コードにより判定できる。例えば、ＨＴＴＰプロトコルでステータス・コードが「４０４ （Ｎｏｔ Ｆｏｕｎｄ）」であれば、ＵＲＬで指定したファイルが存在しなかったことを示すため、解析部１４４は、当該コンテンツがデッドリンクであると判定できる。また、解析部１４４は、管理テーブル５０を参照し、ステータス・コードが「３０３」や「４０３」であってもデッドリンクであると判定する場合もある。
解析部１４４は、当該コンテンツがデッドリンクであると判定した場合には、当該ＵＲＬを出力部１４６に出力する。また、解析部１４４は、コンテンツのＵＲＬがデッドリンクでないと判定した場合、解析に係る処理を終了する。

第２ＵＲＬ記憶制御部１４５は、解析部１４４が検索サーバ２０から取得したコンテンツであると判定したコンテンツに含まれるＵＲＬをＵＲＬ記憶部１１２に記憶させる。このとき、第２ＵＲＬ記憶制御部１４５は、当該ＵＲＬが所定のＷｅｂサイトに属するコンテンツのＵＲＬであるか否かを判定する。所定のＷｅｂサイトは、ＵＲＬ記憶部１１２の第１キュー１１２ａ又は第２キュー１１２ｂに関連付けられたサイトである。

また、第２ＵＲＬ記憶制御部１４５は、例えば、所定のＷｅｂサイトのＵＲＬと解析部１４４から入力されたＵＲＬとを比較して所定の部分が共通するか否かを判定する。所定の部分とは、例えば、当該Ｗｅｂサイトのドメイン名を示す部分である。そして、第２ＵＲＬ記憶制御部１４５は、解析部１４４から入力されたＵＲＬが所定のＷｅｂサイトに属するコンテンツのＵＲＬであると判定した場合、ＵＲＬ記憶部１１２における当該Ｗｅｂサイト用に設けられたキュー（第１キュー１１２ａ又は第２キュー１１２ｂ）に記憶させる。
例えば、第２ＵＲＬ記憶制御部１４５は、解析部１４４から受け取ったＵＲＬをＷｅｂサイト「ａ」に属するコンテンツのＵＲＬであると判定した場合、本実施形態では、当該ＵＲＬを第１キュー１１２ａに記憶させる。

また、第２ＵＲＬ記憶制御部１４５は、解析部１４４から入力されたＵＲＬが所定のサイトに属さないコンテンツのＵＲＬであると判定した場合、本実施形態では第４キュー１１２ｄに当該ＵＲＬを記憶させる。

出力部１４６は、解析部１４４がデッドリンクであると判定したコンテンツのＵＲＬを出力する。例えば、出力部１４６は、検索サーバ２０の検索エンジン２１や表示部１３等に、当該ＵＲＬを出力する。

続いて、図４及び図５を参照して、デッドリンク判定装置１０が行う処理について説明する。図４はデッドリンク判定装置１０の制御部１４がＵＲＬを生成して記憶する処理の流れを示すフローチャートである。

ステップＳ１１では、制御部１４のＵＲＬ生成部１４１は、クエリ記憶部１１１からクエリを取得する。そして、ＵＲＬ生成部１４１は、検索エンジン２１から、クエリ記憶部１１１に記憶されているクエリの検索結果を得るため、検索結果のＵＲＬを生成する（ステップＳ１２）。

ステップＳ１３では、第１ＵＲＬ記憶制御部１４２は、ＵＲＬ生成部１４１が生成したＵＲＬをＵＲＬ記憶部１１２（第３キュー１１２ｃ）に記憶させる。

図５は、デッドリンク判定装置１０の制御部１４がデッドリンクを判定する処理の流れを示すフローチャートである。

ステップＳ２１では、制御部１４の巡回取得部１４３は、ＵＲＬ記憶部１１２から巡回用のＵＲＬを取得する。そして、巡回取得部１４３は、取得したＵＲＬに基づいて検索サーバ２０又はＷｅｂサーバ３０に接続し、当該ＵＲＬのコンテンツを取得する（ステップＳ２２）。

ステップＳ２３では、制御部１４の解析部１４４は、コンテンツが検索サーバ２０から取得した検索結果であるか否かを判定する。解析部１４４は、この判定がＹＥＳの場合、ステップＳ２４に処理を移し、この判定がＮＯの場合、ステップＳ２６に処理を移す。

ステップＳ２４では、解析部１４４は、検索サーバ２０から取得したコンテンツ、すなわち、検索結果を解析し、ＵＲＬを抽出する。このとき、第２ＵＲＬ記憶制御部１４５は、解析部１４４が出力したＵＲＬについて、所定のＷｅｂサイトに属するコンテンツのＵＲＬであるかを判定し、所定のＷｅｂサイトに属すると判定した場合は、当該Ｗｅｂサイト用に設けられたＵＲＬ記憶部１１２の記憶領域（本実施形態では第１キュー１１２ａ又は第２キュー１１２ｂ）に振り分けて記憶させる。

ステップＳ２５では、第２ＵＲＬ記憶制御部１４５は、ステップＳ２４にて抽出されたＵＲＬをＵＲＬ記憶部１１２に記憶させる。この処理が終了すると、第２ＵＲＬ記憶制御部１４５は、処理をステップＳ２８に移す。

ステップＳ２６では、制御部１４の解析部１４４は、コンテンツがデッドリンクであるか否かを判定する。解析部１４４は、この判定がＹＥＳの場合、ステップＳ２７に処理を移し、この判定がＮＯの場合、ステップＳ２８に処理を移す。

ステップＳ２７では、制御部１４の解析部１４４は、デッドリンクであると判定したコンテンツのＵＲＬを出力部１４６に出力する。そして出力部１４６は、当該コンテンツのＵＲＬを出力する。

ステップＳ２８では、制御部１４は、終了指示があったか否かを判定する。終了指示は、例えば、デッドリンク判定装置１０の管理者が操作部１２により上記の処理を終了する指示を入力することにより行われる。制御部１４は、この判定がＹＥＳの場合、本フローチャートの処理を終了し、この判定がＮＯの場合、ステップＳ２１に処理を移す。

上述の実施形態によれば、デッドリンク判定装置１０は、検索サーバ２０で使用されたクエリの中で使用頻度が所定値より高いクエリをクエリ記憶部１１１に記憶しておき、ＵＲＬ生成部１４１がクエリ記憶部１１１からクエリを読み出して、当該クエリをパラメータとして含むＵＲＬを生成する。そして、デッドリンク判定装置１０は、ＵＲＬ記憶部１１２に生成されたＵＲＬを記憶させ、ＵＲＬ記憶部１１２からＵＲＬを順次読み出して当該ＵＲＬが示すＷｅｂページのコンテンツ（データ）を取得する。そして、デッドリンク判定装置１０は、コンテンツがデッドリンクであるか否かを判定し、デッドリンクである場合は、当該コンテンツのＵＲＬを出力する。また、デッドリンク判定装置１０は、検索サーバ２０の検索結果である場合は当該コンテンツに含まれるＵＲＬをＵＲＬ記憶部１１２に記憶させ、さらにそのＵＲＬについてのデッドリンクの判定を繰り返す。このため、デッドリンク判定装置１０は、使用頻度の高いクエリの検索結果に基づいて巡回取得部１４３がクロールするＵＲＬを定めることができる。使用頻度の高いクエリの検索結果として示されたＵＲＬは、頻繁にアクセスされやすいＵＲＬということができる。したがって、デッドリンク判定装置１０は、アクセス頻度が高いと想定されるＵＲＬについて選択的にクロールし、デッドリンクの判定を行うことができるため効率的である。

また、上述の実施形態によれば、ＵＲＬ記憶部１１２は、キューにより実装され、巡回取得部１４３が取得したコンテンツであって、検索サーバ２０の検索結果であるコンテンツに含まれるＵＲＬは全てＵＲＬ記憶部１１２に記憶される。キューは先入れ先出しのデータ構造であるため、巡回取得部１４３は、キューに記憶された順に巡回することができる。

また、上述の実施形態によれば、ＵＲＬ記憶部１１２は、所定のＷｅｂサイト毎に複数の記憶領域（キュー）を有する。そして、解析部１４４がデッドリンクでないと判定したコンテンツに含まれるＵＲＬについて、第２ＵＲＬ記憶制御部１４５は、ＵＲＬ記憶部１１２に記憶領域が設けられたＷｅｂサイトに属するコンテンツのＵＲＬであるか否かを判定し、それぞれの記憶領域に振り分けて記憶させる。また、記憶部１１には、管理テーブル５０が記憶されており、制御部１４は当該管理テーブル５０にしたがって巡回取得部１４３の挙動を管理し、巡回取得部１４３の管理手段として機能する。このため、例えば、著名な検索ポータルサイトや通販サイト等のようにアクセス頻度が高くかつ更新頻度の高いＷｅｂサイトに対して、巡回取得部１４３が巡回する頻度を調節してデッドリンクの判定を行うことができる。そして、デッドリンク判定装置１０は、巡回取得部１４３が短時間で大量のアクセスを行い、接続先のサーバに多大な負荷をかけるような事態を防止できる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

本実施形態では、ＵＲＬ記憶部１１２には、所定のＷｅｂサイトに対応して設けられた第１キュー１１２ａ及び第２キュー１１２ｂと、検索サーバ２０に対応して設けられた第３キュー１１２ｃと、所定のＷｅｂサイト以外のサイトに対応して設けられた第４キュー１１２ｄの４つの記憶領域を有するとしたが、記憶領域（キュー）の数は４つに限らず、これより多くの数の記憶領域（キュー）を設けてもよい。

１０ デッドリンク判定装置
１４ 制御部
２０ 検索サーバ
３０ Ｗｅｂサーバ
１１１ クエリ記憶部
１１２ ＵＲＬ記憶部
１１２ａ 第１キュー
１１２ｂ 第２キュー
１１２ｃ 第３キュー
１１２ｄ 第４キュー
１４１ ＵＲＬ生成部
１４２ 第１ＵＲＬ記憶制御部
１４３ 巡回取得部
１４４ 解析部
１４５ 第２ＵＲＬ記憶制御部
１４６ 出力部
Ｎ 通信ネットワーク

Claims (5)

1. 互いに異なるＵＲＬを記憶する複数の記憶領域を有する記憶手段と、
   前記複数の記憶領域のそれぞれと、巡回対象サイトと、解析内容とが対応付けられて設定されているテーブルと、
   前記複数の領域の各々からＵＲＬを読み出し、読み出したＵＲＬに基づいて前記巡回対象サイトを巡回してコンテンツを取得する取得手段と、
   前記テーブルを参照し、取得されたコンテンツの取得元の前記巡回対象サイトに対応する前記解析内容に基づいて前記取得されたコンテンツを解析して、前記取得されたコンテンツがデッドリンクであるか否か判定する判定手段と、
   を具備するデッドリンク判定装置。
2. 前記テーブルにおいて、検索サーバ以外の巡回対象サイトに対しては、前記解析内容として、デッドリンクの判定が設定される、
   請求項１に記載のデッドリンク判定装置。
3. 前記テーブルにおいて、さらに、前記複数の記憶領域のそれぞれと、巡回間隔とが対応付けられて設定されている、
   請求項１又は２に記載のデッドリンク判定装置。
4. 前記テーブルにおいて、検索サーバに対する巡回間隔は、検索サーバ以外の巡回対象サイトに対する巡回間隔よりも短く設定される、
   請求項３に記載のデッドリンク判定装置。
5. コンピュータが、
   互いに異なるＵＲＬを記憶する複数の記憶領域の各々からＵＲＬを読み出し、
   読み出されたＵＲＬに基づいて巡回対象サイトを巡回してコンテンツを取得し、
   前記複数の記憶領域のそれぞれと、巡回対象サイトと、解析内容とが対応付けられて設定されているテーブルを参照し、取得されたコンテンツの取得元の前記巡回対象サイトに対応する前記解析内容に基づいて前記取得されたコンテンツを解析して、前記取得されたコンテンツがデッドリンクであるか否か判定する、
   デッドリンク判定方法。

Images