JP4396242B2

JP4396242B2 - 文書リンク構造情報作成装置及び方法

Info

Publication number: JP4396242B2
Application number: JP2003398989A
Authority: JP
Inventors: 明鈴木
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2003-11-28
Filing date: 2003-11-28
Publication date: 2010-01-13
Anticipated expiration: 2023-11-28
Also published as: US7401287B2; US20050120292A1; JP2005157965A

Description

本発明は、ウェブ文書群のリンク構造を示す文書リンク構造情報を生成するための技術に関し、特に文書のリダイレクトが存在する場合に対処するための技術に関する。

ＷＷＷ（ワールド・ワイド・ウェブ）等に存在するＨＴＭＬ(HyperText Markup Language)で記述されたウェブ文書は、相互にリンクを張り合うことにより、各ウェブ文書をノードとするネットワーク構造を構成している。このネットワーク構造は、ハイパーテキスト構造又はハイパーリンク構造と呼ばれている。

従来より、このようなウェブ文書群がリンクによって構成する接続関係の構造を図式的に表示するためのソフトウエアが各種開発されている。

例えば特許文献１には、リンクで結ばれたデータをカード単位で表示可能なハイパーメディアシステムにおいて、カードを示すアイコン同士の間を、リンクを示す矢印で結んだネットワーク図形式の表示を行うシステムが開示されている。

また、特許文献２及び３には、文書群が構成するハイパーテキスト構造を、文書をノードとしリンクをエッジとした木構造の形式で表示するシステムが開示されている。

特開平６−１４９６４８号公報特開平４−３２１１４４号公報特開平１０−２２２４１５号公報

ＷＷＷでは、あるＵＲＬ(Uniform Resource Locator)で指し示されたウェブ文書が、別のＵＲＬのウェブ文書へとリダイレクト（転送）される場合がある。リダイレクトは、ウェブサイトを移転する場合等に利用される。リダイレクトには、ウェブサーバプログラム自体にリダイレクトを設定する方式、ウェブサーバにリダイレクトを示すＣＧＩスクリプトを組み込む方式、ウェブ文書の中にメタタグを用いてリダイレクトの記述を組み込んでおく方式など、様々な方式がある。

図１１に示すように、あるウェブ文書Ａのリンク記述に示されるリンク先のウェブ文書Ｂ１が、別のウェブ文書Ｂ２にリダイレクトされている場合を考える。この場合、ウェブ文書Ｂ１はＵＲＬとして存在するだけで文書実体がないか、或いはＵＲＬの移転の説明等の簡単な内容を持つかであり、リンク先としての内容的な意味は持たないのが普通である。リンク先としての内容的な意味を持つのはウェブ文書Ｂ２である。

しかしながら、上記特許文献１〜３に示された従来技術をリダイレクトを含むウェブ文書群のリンク構造に適用した場合、図１２に示すように、ウェブ文書ＡからＢ１へのリンクを示す矢印は表示されるが、ウェブ文書ＡとＢ２の関係は表示されない。特にウェブ文書Ｂ１にＢ２へのリンクが記述されていない場合（ウェブサーバプログラムにリダイレクトが設定された場合など）、ウェブ文書中のリンク記述から文書間リンクの存在を検出する方式では、ＡからＢ１を介してＢ２に至るといった間接的なリンク関係すら示されなくなってしまう。

本発明は、リダイレクトが存在する場合でも、文書内容面でのリンク関係を示すことが可能な文書リンク構造情報作成装置を提供する。

本発明は、ウェブ文書中からリンク記述を検出し該リンク記述が示すリンク先のウェブ文書をウェブサーバから取得する取得処理を繰り返すことにより、ウェブ文書間のリンクを示すリンク情報を収集するリンク情報収集部と、前記取得処理において、ウェブ文書中のリンク記述が示すリンク先のウェブ文書から別のウェブ文書へのリダイレクトを検出するリダイレクト検出部と、前記リダイレクト検出部で検出されたリダイレクトについて、該リダイレクトのリダイレクト元のウェブ文書をリンク先とするリンク記述を含むウェブ文書から、該リダイレクトのリダイレクト先のウェブ文書へのリンクを示すリンク情報を生成するリンク追加部と、前記リンク情報収集部で収集されたリンク情報群と、前記リンク追加部で生成されたリンク情報群とに基づき、ウェブ文書群のリンク構造を示す文書リンク構造情報を作成する構造情報作成部と、を備える文書リンク構造情報作成装置を提供する。

ここで、ウェブ文書とは、基本的には、ＨＴＭＬ等のハイパーテキスト記述言語で記述された文書である。ウェブ文書は、リンク先のウェブ文書を特定する情報を該記述言語の規定に従って記述したリンク記述を含み得る。文書リンク構造情報は、それらウェブ文書間のリンク構造を図式表示するための基礎となる情報である。文書リンク構造情報は、ウェブ文書間のリンク関係を木構造で表現するものでも、ハイパーテキスト構造で表現するものでもよい。また、リダイレクト検出部は、前記取得処理の際の前記ウェブサーバからの応答に含まれるLocationフィールドのデータに基づき、リダイレクト先のウェブ文書を特定するものであってもよいし、前記リンク記述に含まれる所定形式のリダイレクト先情報を検出することにより、リダイレクト先のウェブ文書を特定するものであってもよい。

本発明の好適な態様では、前記リンク情報収集部が収集したリンク情報群から、前記リダイレクト検出部で検出されたリダイレクトのリダイレクト元のウェブ文書をリンク先とするリンク情報を、実質的に削除するリンク削除部、を更に備え、前記構造情報作成部は、該リンク削除部による削除処理を経た後のリンク情報群に基づき前記文書リンク構造情報を作成する。

ここで、リンク情報を「実質的に削除する」とは、そのリンク情報を文字通り削除する場合と、そのリンク情報が無効である旨の情報を該リンク情報に対応づけて記録する場合の両方が含まれる。

また、別の好適な態様では、前記リンク追加部は、ウェブ文書中のリンク記述が示すリンク先が複数回のリダイレクトを経てそれ以上リダイレクトされない最終的なリダイレクト先のウェブ文書に到達している場合、該リンク記述を含むウェブ文書から該最終的なリダイレクト先のウェブ文書へのリンクを示すリンク情報を生成する。

以下、図面を参照して、本発明の好適な実施の形態を説明する。

図１は、本発明に係る文書リンク構造情報作成装置の構成の一例を示す機能ブロック図である。

クローラー１０は、特許請求の範囲におけるリンク情報収集部に対応するものであり、ＷＷＷ又は企業内のイントラネット上にあるウェブ文書中のリンク記述をたどって行くことで、ウェブ文書間のリンクの情報を収集する機能モジュールである。ウェブ文書は、ＨＴＭＬ(Hypertext Markup Language)で記述された文書であり、以下では簡単のため特に紛れのない時には単に「文書」と呼ぶこともある。

クローラー１０は、ウェブ文書を解析してアンカータグ（『<A HREF="...(リンク先のURLを示す文字列）">』）などの、ＨＴＭＬのリンク記述を検出し、リンク記述を見つけるとそのリンク記述に示されるリンク先ＵＲＬの文書の取得処理を実行する。この取得処理では、該リンク先ＵＲＬで示される文書を要求する取得要求（GETリクエストなど）を発行する。この取得要求に対し、要求に係るＵＲＬの文書を管理するウェブサーバから該文書を取得できた場合、クローラー１０は、取得した文書に対して、上述したリンク記述の検出処理及びそのリンク先の取得処理を実行する。クローラー１０は、スタート地点として与えられた１以上のウェブ文書から解析を始め、上記のリンク記述の検出処理及びそのリンク先の取得処理を繰り返していくことで、ウェブ文書やそれらのリンク関係の情報を収集する。この繰り返しが、クローラー１０によるウェブの「巡回」である。クローラー１０は、この巡回の過程で取得したウェブ文書の実体データ（すなわちＨＴＭＬで記述された文書データ）を文書格納部１４へと格納し、同じく巡回処理の過程で検出したウェブ文書間のリンクの情報をリンク情報格納部１６へと格納する。これまでに説明したクローラー１０の機能は、ロボット検索型のサーチエンジンがウェブ文書を収集するために用いている既存のクローラー乃至スパイダーと同等のものである。

以上のようなクローラー１０による巡回処理により、リンク情報格納部１６には、巡回処理の過程で検出したウェブ文書についての管理情報が登録された文書テーブルと、検出したリンクについての管理情報が登録されたリンクテーブルとが形成される。文書テーブルのデータ内容の一例を図２に、リンクテーブルのデータ内容の一例を図３に示す。

文書テーブルには、図２に示すように、検出したウェブ文書ごとに、その文書に割り当てた一意的な文書ＩＤ１０２、その文書のＵＲＩ(Uniform Resource Identifier)１０４（ＵＲＬでももちろんよい）、その文書が存在するか否かを示す状態情報１０６、及び文書格納部１４に格納された文書データへのポインタ１０８が登録される。状態情報１０６が存在するのは、次のような理由からである。すなわち、クローラー１０の巡回処理の過程では、ウェブ文書が検出されるのは、スタート地点として与えられたウェブ文書を除き、他のウェブ文書中のリンク記述に示されるＵＲＬ（又はＵＲＩ）からである。しかし、そのＵＲＬには実際にはウェブ文書が存在しない（すなわち、取得要求に対してウェブサーバからウェブ文書が返されない）こともあり得る。したがって、リンク記述のＵＲＬから文書が取得できた場合は、状態情報１０６は「存在」となり、そうでない場合は「非存在」となる。

リンクテーブルには、図３に示すように、検出されたリンクごとに、そのリンクのリンク元のウェブ文書の文書ＩＤ（リンク元ＩＤ１１２）と、リンク先のウェブ文書の文書ＩＤ（リンク先ＩＤ１１４）が登録される。図３の例は、例えば、文書Ａの中から文書Ｂ及びＤへのリンク記述、文書Ｄの中から文書Ｅ及びＦへのリンク記述が検出された場合のものである。クローラー１０は、ウェブ文書中からリンク記述を検出した場合、リンクテーブルに１つのエントリを追加し、当該ウェブ文書の文書ＩＤをそのエントリのリンク元に、そのリンク記述のＵＲＬが示すウェブ文書の文書ＩＤをリンク先に、それぞれ登録する。

クローラー１０は、以上に説明した機能に加え、リダイレクト検出部１２を備えている。リダイレクト検出部１２は、クローラー１０の上記リンク記述検出及びリンク先文書取得の処理の際に、ＵＲＬのリダイレクトを検出する。検出の対象とする「リダイレクト」には、以下の４つのものが含まれる。
（１）ウェブサーバプログラムの設定によるもの
（２）リダイレクト先情報を含んだＣＧＩ(Common Gateway Interface)を用いるもの
（３）リンク記述中にリダイレクト先のＵＲＬが記述されているもの
（４）メタタグを用いるもの

以下これら４つの方式のリダイレクトについて、順に説明を行う。説明では、図１１に示したリダイレクトの例を利用する。

まず（１）について説明する。この方式は、ウェブサーバプログラムが参照する設定ファイルに、該サーバ内の文書のＵＲＬ（リダイレクト元）から別のＵＲＬ（リダイレクト先）へのリダイレクトを記述する方式である。例えばApacheサーバの場合、".htaccess"ファイルにこのようなリダイレクト内容を記述する。

このときのリダイレクト検出部１２によるリダイレクト検出の流れを示す。クローラー１０は、図１１に例示したように、文書Ａの中から文書Ｂ１へのリンク記述を検出した場合、その文書Ｂ１のＵＲＬを示した取得要求を発行する。この要求を受け取ったウェブサーバは、その要求に係るＵＲＬ（文書Ｂ１）が上述の設定ファイルに設定されたリダイレクト元に該当する場合、その設定ファイルの設定に応じて301(Moved Parmanently),302(Moved Temporarily),303(See Other)等のステータスコード(HTTP/1.1の場合)と、リダイレクト先のＵＲＬを含んだLocationフィールドと、を含んだ応答をクローラー１０に返す。図１１の例では、文書Ｂ２のＵＲＬをLocationフィールドに含んだ応答が返される。クローラー１０のリダイレクト検出部１２は、この応答のステータスコード及びLocationフィールドから、要求したリンク先ＵＲＬがリダイレクトされたこと、及びそのリダイレクト先のＵＲＬ（文書Ｂ２）を認識する。リダイレクト検出部１２は、取得要求を行ったリンク先のＵＲＬ（文書Ｂ１）を「リダイレクト元」とし、これに対するウェブサーバからの応答に示されたリダイレクト先のＵＲＬ（文書Ｂ２）を「リダイレクト先」として示すリダイレクト情報をリダイレクト情報格納部１８に格納する。

図４は、リダイレクト情報格納部１８に格納されるリダイレクトテーブルのデータ構造の一例を示す図である。図４に示すように、リダイレクトテーブルには、検出されたリダイレクトごとに、そのリダイレクト元のウェブ文書の文書ＩＤ（リダイレクト元ＩＤ１２２）と、リダイレクト先のウェブ文書の文書ＩＤ（リンク先ＩＤ１２４）が登録される。リダイレクト検出部１２は、リダイレクトを検出した場合、リダイレクトテーブルに１つのエントリを追加し、そのエントリにリダイレクト元とリダイレクト先の文書ＩＤ１２２及び１２４を登録する。

次に、上述の（２）のケースを説明する。この方式は、ウェブサーバ中に、リダイレクトのためのＣＧＩスクリプトを組み込むものである。すなわち、図１１の例において、文書Ｂ１がリダイレクトのＣＧＩとなっている場合である。このＣＧＩは、例えば、リダイレクト先の文書Ｂ２のＵＲＬをLocationフィールドに含んだ応答を生成するという処理が記述されたものである。クローラー１０から文書Ｂ１に対する取得要求を受け取った場合、ウェブサーバは、ＣＧＩである文書Ｂ１を呼び出し、取得要求中にＣＧＩに対するパラメータがあればこれをそのＣＧＩに渡す。これを受けたＣＧＩは、文書Ｂ２のＵＲＬをLocationフィールドに含んだ応答を生成し、ウェブサーバに返す。ウェブサーバがこの応答をクローラー１０に返すと、クローラー１０のリダイレクト検出部１２は、その応答に基づきリダイレクトが行われたことを検知し、そのリダイレクトのリダイレクト元及びリダイレクト先をリダイレクトテーブルに登録する。このときのリダイレクト検出部１２の処理は、（１）の場合と同様である。

次に（３）のケースを説明する。これは、文書Ａ中のリンク記述に、リンク先のＵＲＩに加え、パラメータとして（このリンク先からの）リダイレクト先のＵＲＬが含まれている場合である。『http://foo.bar.baz/log.?redirect=http://foo.bar.baz/b2.html』がそのようなリンク記述の一例である。この例では『?redirect=』より後に示される文字列がリダイレクト先のＵＲＬを示している。これは、（２）と同様ＣＧＩによりリダイレクトを行うものであるが、リダイレクト先がリンク記述に含まれている点が異なる。クローラー１０がこのようなリダイレクト先情報を含むＵＲＬに対する取得要求を発行すると、そのＵＲＬを管理するウェブサーバは、取得要求に係るＵＲＬが示すＣＧＩを呼び出し、該ＵＲＬ中のパラメータをそのＣＧＩに渡す。すると、ＣＧＩがそのパラメータに示されるリダイレクト先ＵＲＬの文書Ｂ２を取得し、ウェブサーバがその文書Ｂ２をクローラー１０に返す。

この方式が用いられている場合、クローラー１０のリダイレクト検出部１２は、文書Ａのリンク記述を解析することでリダイレクトの有無、及びリダイレクトがある場合にはそのリダイレクト先ＵＲＬを認識することができる。すなわち、リダイレクト検出部１２は、リダイレクト先を示すパラメータの記述形式を記憶しており、解析対象のリンク記述からその記述形式に合致するものを認識した場合、リダイレクトがあると認識する。そして、（１）のケースと同様、そのリンク記述が示すリンク先をリダイレクト元１２２、リンク記述中に含まれたリダイレクト先のＵＲＬをリダイレクト先１２４としたリダイレクト情報をリダイレクトテーブルに登録する。

次に（４）のケースを説明する。この方式は、ウェブ文書中にリダイレクト内容を示したメタタグを組み込む方式である。『<meta http-equiv="refresh" content="3,http://foo.bar.baz/b2.html>』が、このようなメタタグの一例である。この例では、『content=』で示されるパラメータの中の『http://foo.bar.baz/b2.html』が、リダイレクト先のＵＲＬである。

図１１の例で、文書Ｂ１に対しこのようなメタタグ（文書Ｂ２がリダイレクト先に設定されている）が含まれている場合を考える。クローラー１０が、文書Ａ中のリンク記述に基づき、文書Ｂ１の取得要求をウェブサーバに送ると、ウェブサーバはその文書Ｂ１をクローラー１０に送る。クローラー１０のリダイレクト検出部１２は、その文書Ｂ１のＨＴＭＬ記述を解析し、リダイレクトのメタタグを検出すると、そのメタタグの記述から、文書Ｂ１がＢ２にリダイレクトされていることを認識し、このリダイレクトの情報を（１）のケースと同様に、リダイレクト情報格納部１８のリダイレクトテーブルに登録する。

以上に説明した方式の他に、文書Ｂ１の取得要求に対して、サーバが、単に「このページはＸＸＸに移転しました」（ＸＸＸは移転先Ｂ２のＵＲＬ）のように移転を知らせるメッセージを含んだウェブ文書Ｂ１を返す方式も、広義のリダイレクトの一種と考えることができる。ブラウザによるウェブ文書閲覧において、この文書Ｂ１がウェブサーバから返されてきた場合、ユーザは、その文書Ｂ１に示されたＵＲＬをクリックしたり、ブラウザのＵＲＬ入力欄に入力したりすることで、リダイレクト先の文書Ｂ２の取得をブラウザに指示することになる。いわば手動によるリダイレクトである。このような手動によるリダイレクトも、ある程度ならば、リダイレクト検出部１２により自動検出することができる。例えば、ウェブページ移転を示すメッセージの言語上の特徴（例えばＵＲＬの文字列の後に「に移転した」乃至その類似表現が存在するなど）をいくつかリダイレクト検出部１２に登録しておき、リダイレクト検出部１２がウェブサーバから取得したウェブ文書の本文の記述に対して自然言語解析を行うことで、該ウェブ文書の本文記述が、登録された特徴を満足する場合、そのウェブ文書がリダイレクトを示すものであると判定する。移転のメッセージを含むウェブ文書であると判定した場合は、そのウェブ文書をリダイレクト元１２２とし、そのメッセージに示されるＵＲＬの文書をリダイレクト先１２４としたリダイレクト情報をリダイレクトテーブルに登録する。

以上、リダイレクト検出部１２の動作を説明した。クローラー１０のウェブ巡回に伴い、リダイレクト検出部１２が以上に説明した動作によりリダイレクトを検出し、検出したリダイレクトの情報をリダイレクト情報格納部１８へと登録していく。クローラー１０が所定の終了条件を満たしてウェブ巡回を終了した時には、リンク情報格納部１６にはその巡回の際に検出された各文書の情報（文書テーブル：図２）と、各リンクの情報（リンクテーブル：図３）が存在し、リダイレクト情報格納部１８にはその巡回の間に検出された各リダイレクトの情報（リダイレクトテーブル：図４）が存在する。

仮想リンク処理部２０は、リンク情報格納部１６とリダイレクト情報格納部１８に格納された情報に基づき、リダイレクトを考慮した文書同士の実質的なリンク関係を求める。そして、求めた実質的なリンク関係の情報に従い、ウェブ文書中のリンク記述から求められたリンク構造の情報（すなわちリンク情報格納部１６に格納されているリンクテーブル）に修正を加える。

最も重要な修正は、リダイレクトを反映したリンクの追加である。すなわち、図１１のように、ある文書Ａ中のリンク記述が示すリンク先の文書Ｂ１が、別の文書Ｂ２にリダイレクトされている場合、そのリンク記述を含む文書Ａからリダイレクト先の文書Ｂ２へのリンクの追加を行う。好適な実施例では、このようにリダイレクトに対応して追加するリンクには、クローラー１０が文書中から検出したリンク記述が示すリンクと区別するために、仮想的なリンクである旨の情報を付加する。以下、リンク記述が示すリンクを実リンクと呼び、仮想リンク処理部２０が追加するリンクを仮想リンクと呼ぶ。

また、図４の例で文書Ｆからリダイレクトされた文書Ｇが更に文書Ｈにリダイレクトされているように、リダイレクト先の文書が更に別の文書へリダイレクトされるような場合もある。このようにリダイレクトが複数回連鎖する場合、仮想リンク処理部２０は、連鎖の途中の個々のリダイレクトに対応する仮想リンクを追加することはせず、最終的なリダイレクト先までの仮想リンクを１つだけ追加する。

例えば、図３のリンクテーブルと図４のリダイレクトテーブルが与えられた場合、文書Ｄのリンク先の文書Ｆは文書Ｇにリダイレクトされ、更にこの文書Ｇから文書Ｈへとリダイレクトされている。ここで、文書Ｈはリダイレクトされておらず、実体的内容を持つ文書であるとする。この場合、仮想リンク処理部２０は、文書Ｄから最終的なリダイレクト先の文書Ｈへの仮想リンクのみを追加し、ＤからＦ、あるいはＤからＧへの仮想リンクは追加しない。

仮想リンク処理部２０は、リンク情報格納部１６のリンクテーブルと、リダイレクト情報格納部１８のリダイレクトテーブルを照合することで、この仮想リンクの追加を実行する。例えば次のような手順となる。すなわち、仮想リンク処理部２０は、そのリンクテーブルの各リンク情報のリンク先１１４と、そのリダイレクトテーブルの各リダイレクト情報のリダイレクト元１２２とを照合して、これらが一致するリンク情報とリダイレクト情報のペアを検出する。そして、そのペアのリンク情報のリンク元１１２から、リダイレクト情報のリダイレクト先１２４への仮想リンクを生成する。

また、このように生成した仮想リンク（仮にＸとする）のリンク先と一致するリダイレクト元を持つリダイレクト情報がリダイレクトテーブルにあれば、その仮想リンクＸのリンク元から、そのリダイレクト情報のリダイレクト先への仮想リンクＹを生成し、元の仮想リンクＸを削除する。この処理を繰り返せば、リンク元から、これ以上リダイレクトのない最終的なリダイレクト先への仮想リンクのみが残ることになる。

また、リンク元から最終的なリダイレクト先への仮想リンクは、次のような処理でも実現できる。すなわちこの処理では、リダイレクトテーブルの中で、あるリダイレクト情報Ｕのリダイレクト先１２４が別のリダイレクト情報Ｖのリダイレクト元１２２と一致する組合せがないか調べ、そのようなものがあれば、それら２つのリダイレクト情報を縮約して、リダイレクト情報Ｕのリダイレクト元１２２からリダイレクト情報Ｖのリダイレクト先１２４への１つのリダイレクト情報に置き換える。リンクテーブルとリダイレクトテーブルを照合する前に、リダイレクトテーブルに変化がなくなるまでこの処理を繰り返し適用してリダイレクトテーブルを縮約し、その後でこのリダイレクトテーブルとリンクテーブルに対し上記の照合処理を適用すればよい。

また、好適な実施例では、仮想リンク処理部２０は、リンク情報格納部１６のリンクテーブルから、仮想リンクを生成した場合、その仮想リンクのリンク元をリンク元とする実リンク（言い換えれば、リダイレクト元をリンク先とする実リンク）を削除する。この実リンクは、リダイレクトされている実体的な内容のない文書へのリンクなので、リンク構造を見るユーザの立場からすれば、削除してしまった方が、実体的な文書同士のつながりが分かりやすくなる。この削除は、その実リンクを示すリンク情報を文字通り削除することで実現してもよいし、そのリンク情報が無効である旨の情報を追加することで実質的に削除するというやり方で実現してもよい。後者を「みなし削除」と呼ぶことにする。

以上、仮想リンク処理部２０の処理内容を説明した。仮想リンク処理部２０は、クローラー１０によるウェブ巡回が終わった後のリンク情報格納部１６及びリダイレクト情報格納部１８のテーブルを用いて、上述の処理を実行する。仮想リンク処理部２０は、この処理の結果を、修正リンク情報格納部２２に出力する。

修正リンク情報格納部２２に格納される修正リンクテーブルの一例を図５に示す。このテーブルは、各リンクごとに、リンク元ＩＤ１３１，リンク先ＩＤ１３３，実リンク状態情報１３５，みなし削除情報１３７，及び仮想リンク状態情報１３９からなるリンク情報を有する。

リンク元ＩＤ１３１及びリンク先ＩＤ１３３は、当該リンクのリンク元及びリンク先のウェブ文書のＩＤである。

実リンク状態情報１３５及び仮想リンク状態情報１３９は、それぞれ、それらリンク元及びリンク先の間の実リンク及び仮想リンクの状態を示す情報である。前述のように実リンクとはクローラー１０が取得したウェブ文書（及びスタート時点のウェブ文書）の中のリンク記述が示すリンクであり、仮想リンクとは仮想リンク処理部２０がリンク元と（そのリンク先の最終的な）リダイレクト先とを結んで作成したリンクである。単にリンク関係を表示するだけならば、実リンクと仮想リンクの区別はいらないが、本実施の形態では、実リンクと仮想リンクとを区別して表示するなどの処理を可能にするため、それら両種類のリンクの状態をそれぞれ個別に修正リンクテーブルに記録しておく。各状態情報１３５及び１３７は、リンクが「存在」するか、否（「非存在」）かを示す。同じリンク元とリンク先の間に実リンクと仮想リンクの両方が存在する場合もある。

図５は、図３のリンクテーブルと図４のリダイレクトテーブルから作成された修正リンクテーブルの例である。このため、図３に示された各リンクは、図５のテーブルでは実リンク状態情報１３５が「存在」、仮想リンク状態情報１３９が「非存在」となっており、図４のリダイレクトを考慮してできた文書ＡからＣへの仮想リンク、及びＤからＨへの仮想リンクについては、仮想リンク状態情報１３９が「存在」、実リンク状態情報１３５が「非存在」となっている。

みなし削除情報１３７は、当該リンクが仮想リンク処理部２０により「みなし削除」されているかどうかを示す情報である。すなわち、この図５の例では、ある実リンクのリンク先の文書が別の文書にリダイレクトされている場合、仮想リンク処理部２０がこの実リンクの「みなし削除」情報１３７をみなし削除「あり」にセットすることで、その実リンクをみなし削除する。図５の例では、文書ＡからＢ、ＤからＦの各実リンクがみなし削除されている。リンクを削除する場合、リンクテーブルから該リンクについてのエントリ自体を削除してもよいのだが、この例では、みなし削除情報１３７の情報により当該リンクが削除された旨を表現し、当該リンクの情報エントリ自体は残した。これは、実リンクの情報はウェブ文書自体に記述されているものなので、残しておけば、文書のリンク構造の解析に役立つ場合があるからである。

仮想リンク処理部２０は、以上のような処理により修正リンク情報格納部２２内に修正リンクテーブルを生成するとともに、リンク情報格納部１６内の文書テーブルを修正リンク情報格納部２２に格納する。

木構造データ作成部２４は、修正リンク情報格納部２２の修正リンクテーブル及び文書テーブルに基づき、ウェブ文書群が構成する木構造を求める。すなわち、修正リンク情報格納部２２が格納する情報は、ウェブ文書群が構成するハイパーリンク構造を示しているが、これを木構造に変換するのである。木構造データ作成部２４は、指定された起点のウェブ文書（複数ある場合もある）から順に、修正リンクテーブル中の、実リンク情報１３５または仮想リンク情報１３９が「存在」するリンクを深さ優先探索又は幅優先探索でたどっていくことで、ウェブ文書群がなす木構造を求め、その木構造を示す木構造データを作成する。なお、ハイパーリンク構造から木構造を作成する方法は、上述の特許文献２，３をはじめとして様々なものが提案されており、木構造データ作成部２４はそれら従来手法を用いたものでよい。

ここで、木構造データ作成部２４は、動作モードの１つとして、修正リンク情報格納部２４のテーブル（図６）のみなし削除情報１３７を参照し、この情報が「みなし削除あり」になっているリンクについては、木構造作成の際の探索の対象から外すというモードを有する。このモードが選択された場合、リダイレクトに関連してみなし削除されたリンクは、木構造データに含まれなくなる。

図６は、木構造データ作成部２４が作成する木構造データの一例を示す図である。木構造データは、親文書ＩＤ１４２，子文書ＩＤ１４４，及びリンク種別１４６の項目を含む。木構造データの１つのエントリ（１行）は、ウェブ文書同士の木構造内での１つの親子関係を表している。例えば図６の第１行目のエントリは、木構造において文書Ａが、文書Ｄを子として持っていることを示している。また、リンク種別１４６は、その親子関係のリンクが実リンクであるか、仮想リンクであるかを示している。このリンク種別１４６の情報は、木構造を表示する際に、その中の個々の親子関係のリンクが実リンクであるか仮想リンクであるかを表示形態上で区別するためなどに用いることができる。

なお、みなし削除されたリンクも木構造に含める場合は、図６のデータ構造に、更に、親子関係のリンクがみなし削除されているものか否かを示すデータ項目を付け加えることが好適である。これにより、木構造データを図式的に表示する装置は、その項目を参照することで、みなし削除されたリンクを、そうでないリンクと表示形態上で区別することができる（例えばみなし削除されたリンクや、そのリンク先の文書は薄く表示するなど）。

要求処理部２６は、この文書リンク構造情報作成装置に対してＬＡＮ（ローカルエリアネットワーク）やインターネットなどのデータ通信ネットワークを介し、クライアント装置から木構造データの要求（木構造要求２００）を受け付けて処理する機能モジュールである。要求処理部２６は、クライアント装置から木構造データ要求２００を受け取ると、木構造データ作成部２４に木構造データ２０２を作成させ、作成された木構造データをクライアント装置へ送信する。クライアント装置は、その木構造データを解釈して、ウェブ文書をノードとし、文書間の親子関係をノード間のエッジで示した木構造の図式表示を行う。なお、木構造データ作成部２４が、木構造データ２０２に基づき木構造の図式を示す画像データを作成し、これを要求処理部２６を介してクライアント装置に提供してもよい。また、要求処理部２６が、木構造データ２０２と対応づけて、各ウェブ文書のＩＤとＵＲＬの関係を示した文書テーブル（図２参照）をクライアント装置に提供することとすれば、クライアント装置は、例えば表示した木構造上でユーザが選択したノードに対応するウェブ文書を、そのノードに対応するＵＲＬを用いてＨＴＴＰで取得して、表示することもできる。また、この場合、木構造を表示する際に、文書テーブルの状態情報１０６を参照し、「非存在」の文書はノードとして表示しないようにすることもできる。

また、木構造データ作成部２４が作成する木構造の起点とすべき１乃至複数のウェブ文書のＵＲＬを、この木構造要求２００にて指定することもできる。この場合、要求処理部２６は、例えば、起点とすべきウェブ文書のＵＲＬを入力するための入力画面を、ウェブ文書としてクライアント装置に提供する機能を備える。クライアント装置を操作するユーザは、その入力画面上で、起点とすべきウェブ文書のＵＲＬを入力する。この入力が終了し、ユーザが該入力画面上に設けられた送信ボタンを選択すると、このようにして入力された複数のＵＲＬを含む木構造要求１００のデータが、クライアント装置からこの文書リンク構造情報作成装置へと送信される。これを受けた要求処理部２６がその要求を木構造データ作成部２４に渡し、木構造データ作成部２４がその要求に示される起点をルートとした木構造データを、修正リンク情報格納部２２内の情報に基づき作成する。

以上、本発明に係る文書リンク構造情報作成装置の機能面での構成の一例を説明した。このような文書リンク構造情報作成装置は、一般的なコンピュータシステムを利用して構築することができる。例えば、典型的なコンピュータシステムは、図７に示すように、ＣＰＵ（中央演算ユニット）３０、ＲＡＭ（ランダムアクセスメモリ）３２、ＨＤＤ（ハードディスクドライブ）３４及びＬＡＮインタフェース３６が、バス３８を介して相互接続されている。図７のコンピュータシステムのＨＤＤ３４に、図１の各機能モジュール１０，１２，２０，２４の機能を記述したプログラムをインストールすれば、図１の文書リンク構造情報作成装置が得られる。ＣＰＵ３０が、ＲＡＭ３２を利用してそのプログラムを実行することで、上述の各機能が実現される。この装置は、ＬＡＮインタフェース３６を介して、ローカルエリアネットワークへ、そしてインターネットへと接続されており、ＬＡＮ又はインターネット上にあるクライアント装置から木構造要求２００を受け付けることができる。

以上説明したように、この実施の形態では、まず、巡回処理の過程でウェブ文書のリダイレクトの有無を監視し、あるリンク元文書のリンク先の文書がリダイレクトされていることを検出した場合は、そのリンク元文書からリダイレクト先の文書へのリンクを新たに追加することとした。これにより、文書内容面での繋がりを示すリンクをユーザに提示することが可能になる。

また、この実施の形態では、リンク元文書からリダイレクト先文書へのリンクを追加した場合、リンク元文書からリンク先文書（すなわち当該リダイレクトのリダイレクト元）へのリンクを実質的に削除することとした。これにより、ユーザに対する木構造の表示から、文書自体が存在しないか又はリンク先としての内容を実質的に持たないことが一般的なリダイレクト元の文書へのリンクを省くことができる。リダイレクト元の文書は、ユーザ（ウェブ閲覧者）にとって、リダイレクトされる際に一時的に見える（もしくはまったく目に触れない）ものなので、そもそもユーザが認識する必要が薄い。したがって、このようなリンクを木構造表示から省くことで、ユーザにとって分かりやすい表示を提供することができる。

例えば、ウェブ文書のリンク記述から求められるリンク状況が図３に示すものであり、図４に示すリダイレクトが行われている場合でも、従来の方式では、図８のように、ウェブ文書中のリンク記述が直接的に示す文書ＡからＢへのリンク、ＤからＦへのリンクが示され、内容面で繋がりを持つ文書ＡとＣ、文書ＤとＨの関係は示されない。これに対し、本実施の形態によれば、図９に示すように、内容面で繋がりを持つ文書ＡとＣ、文書ＤとＨの関係を表示することができるとともに、リンク先としての内容を担っていない文書Ｂへのリンク、及び文書Ｆへのリンクが木構造中に示されないようにすることができる。

また、本実施の形態では、木構造データに、各リンクが実リンクであるか仮想リンクであるかを示す情報を含めることで、木構造表示の際に両者を異なる表示形態で表示することができる。

また、本実施の形態では、ある文書中のリンク記述が示すリンク先が、複数回のリダイレクトが連鎖して最終的なリダイレクト先へとリダイレクトされる場合、当該文書から最終的なリダイレクト先へのリンクのみを木構造に含めるとこととした。これにより、リダイレクトされる途中の文書へのリンクを省いて、実質的な内容面での繋がりを示すリンクのみを表示することができる。

以上に説明した実施の形態はあくまで例示を目的としたものであり、限定的に解釈されるべきではない。上記実施の形態に対し、本発明の範囲内で様々な変形が可能である。

例えば、上記実施の形態では、リダイレクト情報に基づき追加したリンクを仮想リンクとし、ウェブ文書中のリンク記述に直接的に示される実リンクと区別したが、表示上で実リンクと仮想リンクを区別しないのであれば、両者を同列に取り扱ってもよい。この場合、図５の修正リンクテーブルの実リンク状態情報１３５及び仮想リンク状態情報１３７の項目は不要になり、図６の木構造データのリンク種別の情報も不要になる。

また、上記実施の形態では、クローラー１０及びリダイレクト検出部１２が巡回を終了した後のリンク情報格納部１６及びリダイレクト情報格納部１８の情報に基づき、仮想リンク処理部２０がリダイレクトを反映したリンクの追加や削除を行ったが、クローラー１０によるウェブ巡回と並行してリンクの追加や削除を行ってもよい。例えば、図１０に示すように、リダイレクト検出部１２ａが、クローラー１０の巡回処理に伴ってリダイレクトを検出するごとに、そのリダイレクトのリダイレクト元をリンク先としたリンク情報をリンク情報格納部１６ａのリンクテーブルから求め、そのリンク情報のリンク元から当該リダイレクトのリダイレクト先へのリンクをリンクテーブルに追加するようにすればよい。このとき、リダイレクト途中のリンクを木構造に表示しないモードの場合は、リダイレクト元をリンク先とするリンク情報をリンクテーブルから削除するようにすればよい。

また、上記実施の形態では、ウェブ文書間の関係を木構造表示するための木構造データを作成したが、本発明の適用は、木構造データの作成に限られるものではない。例えば、ウェブ文書間のハイパーテキスト構造（ネットワーク構造）を表示するためのデータを作成する場合にも、本発明は適用可能である。この場合、修正リンク情報格納部２２に形成された修正リンクテーブルが、ハイパーテキスト構造を表すものとして利用できる。

本発明に係る文書リンク構造情報作成装置の構成の一例を示す機能ブロック図である。リンク情報格納部に形成される文書テーブルのデータ内容を例示した図である。リンク情報格納部に形成されるリンクテーブルのデータ内容を例示した図である。リダイレクト情報格納部に形成されるリダイレクトテーブルのデータ内容を例示した図である修正リンク情報格納部に格納される修正後のリンクテーブルの一例を示す図である。木構造データ作成部が作成する木構造データの一例を示す図である。本発明に係る文書リンク構造情報作成装置のベースとなるハードウエア構成の一例を示す図である。従来方式での木構造表示の一例を示す図である。実施の形態による木構造表示の一例を示す図である。変形例に係る文書リンク構造情報作成装置の構成の一例を示す機能ブロック図である。リダイレクトを含むウェブ文書間の関係の一例を図式で示した図である。図１１の関係を、従来方式で図式表示した表示例を示す図である。

符号の説明

１０クローラー、１２リダイレクト検出部、１４文書格納部、１６リンク情報格納部、１８リダイレクト情報格納部、２０仮想リンク処理部、２２修正リンク情報格納部、２４木構造データ作成部、２６要求処理部、２００木構造要求、２０２木構造データ。

Claims

ウェブ文書中からリンク記述を検出し該リンク記述が示すリンク先のウェブ文書をウェブサーバから取得する取得処理を繰り返すことにより、ウェブ文書間のリンクを示すリンク情報を収集するリンク情報収集部と、
前記取得処理において、ウェブ文書中のリンク記述が示すリンク先のウェブ文書から別のウェブ文書へのリダイレクトを検出するリダイレクト検出部と、
前記リダイレクト検出部で検出されたリダイレクトについて、該リダイレクトのリダイレクト元のウェブ文書をリンク先とするリンク記述を含むウェブ文書から、該リダイレクトのリダイレクト先のウェブ文書へのリンクを示すリンク情報を生成するリンク追加部と、
前記リンク情報収集部で収集されたリンク情報群と、前記リンク追加部で生成されたリンク情報群とに基づき、ウェブ文書群のリンク構造を示す文書リンク構造情報を作成する構造情報作成部と、
を備え、前記リダイレクト検出部は、前記取得処理の際の前記ウェブサーバからの応答に含まれるLocationフィールドのデータに基づき、リダイレクト先のウェブ文書を特定することを特徴とする文書リンク構造情報作成装置。
ウェブ文書中からリンク記述を検出し該リンク記述が示すリンク先のウェブ文書をウェブサーバから取得する取得処理を繰り返すことにより、ウェブ文書間のリンクを示すリンク情報を収集するリンク情報収集部と、
前記取得処理において、ウェブ文書中のリンク記述が示すリンク先のウェブ文書から別のウェブ文書へのリダイレクトを検出するリダイレクト検出部と、
前記リダイレクト検出部で検出されたリダイレクトについて、該リダイレクトのリダイレクト元のウェブ文書をリンク先とするリンク記述を含むウェブ文書から、該リダイレクトのリダイレクト先のウェブ文書へのリンクを示すリンク情報を生成するリンク追加部と、
前記リンク情報収集部で収集されたリンク情報群と、前記リンク追加部で生成されたリンク情報群とに基づき、ウェブ文書群のリンク構造を示す文書リンク構造情報を作成する構造情報作成部と、
を備え、前記リダイレクト検出部は、前記リンク記述に含まれる所定形式のリダイレクト先情報を検出することにより、リダイレクト先のウェブ文書を特定することを特徴とする文書リンク構造情報作成装置。
前記リンク情報収集部が収集したリンク情報群から、前記リダイレクト検出部で検出されたリダイレクトのリダイレクト元のウェブ文書をリンク先とするリンク情報を削除する処理、又は当該リンク情報が無効である旨の情報を記録するという処理、を行うリンク削除部、を更に備え、
前記構造情報作成部は、該リンク削除部による削除処理を経た後のリンク情報群に基づき前記文書リンク構造情報を作成する、
ことを特徴とする請求項１又は２に記載の文書リンク構造情報作成装置。
前記リンク追加部は、ウェブ文書中のリンク記述が示すリンク先が複数回のリダイレクトを経てそれ以上リダイレクトされない最終的なリダイレクト先のウェブ文書に到達している場合、該リンク記述を含むウェブ文書から該最終的なリダイレクト先のウェブ文書へのリンクを示すリンク情報を生成する、ことを特徴とする請求項１又は２に記載の文書リンク構造情報作成装置。
ウェブ文書中からリンク記述を検出し該リンク記述が示すリンク先のウェブ文書をウェブサーバから取得する取得処理を繰り返すことによりウェブ文書間のリンク群を検出し、検出したリンク群に基づき、ウェブ文書群が構成するリンク構造を示す文書リンク構造情報を作成する文書リンク構造情報作成装置であって、
前記取得処理においてウェブ文書中のリンク記述が示すリンク先のウェブ文書が別のウェブ文書へとリダイレクトされていることが検知された場合、該リンク記述を含む該ウェブ文書から該リダイレクトによるリダイレクト先である該別のウェブ文書へのリンクを示す情報を前記文書リンク構造情報に追加すると共に、前記リダイレクト先は、前記取得処理の際の前記ウェブサーバからの応答に含まれるLocationフィールドのデータに基づき特定することを特徴とする文書リンク構造情報作成装置。
ウェブ文書中からリンク記述を検出し該リンク記述が示すリンク先のウェブ文書をウェブサーバから取得する取得処理を繰り返すことによりウェブ文書間のリンク群を検出し、検出したリンク群に基づき、ウェブ文書群が構成するリンク構造を示す文書リンク構造情報を作成する文書リンク構造情報作成装置であって、
前記取得処理においてウェブ文書中のリンク記述が示すリンク先のウェブ文書が別のウェブ文書へとリダイレクトされていることが検知された場合、該リンク記述を含む該ウェブ文書から該リダイレクトによるリダイレクト先である該別のウェブ文書へのリンクを示す情報を前記文書リンク構造情報に追加すると共に、前記リダイレクト先は、前記リンク記述に含まれる所定形式のリダイレクト先情報を検出することにより特定することを特徴とする文書リンク構造情報作成装置。
コンピュータシステムを、
ウェブ文書中からリンク記述を検出し該リンク記述が示すリンク先のウェブ文書をウェブサーバから取得する取得処理を繰り返すことにより、ウェブ文書間のリンクを示すリンク情報を収集するリンク情報収集部、
前記取得処理において、ウェブ文書中のリンク記述が示すリンク先のウェブ文書から別のウェブ文書へのリダイレクトを検出するリダイレクト検出部、
前記リダイレクト検出部で検出されたリダイレクトについて、該リダイレクトのリダイレクト元のウェブ文書をリンク先とするリンク記述を含むウェブ文書から、該リダイレクトのリダイレクト先のウェブ文書へのリンクを示すリンク情報を生成するリンク追加部、
前記リンク情報収集部で収集されたリンク情報群と、前記リンク追加部で生成されたリンク情報群とに基づき、ウェブ文書群のリンク構造を示す文書リンク構造情報を作成する構造情報作成部、
として機能させるためのプログラムであって、前記リダイレクト検出部は、前記取得処理の際の前記ウェブサーバからの応答に含まれるLocationフィールドのデータに基づき、リダイレクト先のウェブ文書を特定することを特徴とするプログラム。
コンピュータシステムを、
ウェブ文書中からリンク記述を検出し該リンク記述が示すリンク先のウェブ文書をウェブサーバから取得する取得処理を繰り返すことにより、ウェブ文書間のリンクを示すリンク情報を収集するリンク情報収集部、
前記取得処理において、ウェブ文書中のリンク記述が示すリンク先のウェブ文書から別のウェブ文書へのリダイレクトを検出するリダイレクト検出部、
前記リダイレクト検出部で検出されたリダイレクトについて、該リダイレクトのリダイレクト元のウェブ文書をリンク先とするリンク記述を含むウェブ文書から、該リダイレクトのリダイレクト先のウェブ文書へのリンクを示すリンク情報を生成するリンク追加部、
前記リンク情報収集部で収集されたリンク情報群と、前記リンク追加部で生成されたリンク情報群とに基づき、ウェブ文書群のリンク構造を示す文書リンク構造情報を作成する構造情報作成部、
として機能させるためのプログラムであって、前記リダイレクト検出部は、前記リンク記述に含まれる所定形式のリダイレクト先情報を検出することにより、リダイレクト先のウェブ文書を特定することを特徴とするプログラム。