JP5405190B2 - コンテンツ管理情報収集システム、及びコンテンツ管理情報収集方法 - Google Patents

Description

本発明は、コンテンツ管理情報収集システム、及びコンテンツ管理情報収集方法に関するものである。

従来から、コンピュータ端末や携帯電話機からインターネットやイントラネット等の通信網内から情報を閲覧することが広く行われている。このような情報閲覧においては、ＨＴＭＬ（HyperText Markup Language）とＨＴＴＰ（Hyper Text Transfer Protocol）と呼ばれるプロトコルを用いて情報を送受信している。ここでは、ＵＲＩ（Uniform Resource Identifier）やＵＲＬ（Uniform Resource Locator）と呼ばれるコンテンツの格納場所を一意に識別する識別子を利用して、Ｗｅｂサイトと呼ばれるインターネットやイントラネット上のサーバにアクセスを行い、コンテンツを取得している。また、ＨＴＭＬで記述された文書コンテンツ内にはハイパーリンク（単に、「リンク」とも言う）と呼ばれる他のコンテンツの格納先を示す情報が埋め込まれており、これによって端末のユーザは次々と関連性の高いコンテンツを参照することが可能になっている。

一方で、インターネット上のコンテンツは非常に膨大な数が存在し、リンクをたどるだけでは目的のコンテンツにたどり着くのは容易ではない。この問題に対処するために、検索システムや検索エンジンと呼ばれるインターネット上のコンテンツの検索機能を実現するシステムが存在する。これらの検索システムは主に３つの機能要素から構成されており、第１の機能要素は、コンテンツを収集するためのクローラと呼ばれる資源収集機能、第２の機能要素は、インデクサと呼ばれる収集された情報資源を解析し、検索可能な状態の情報に変換する機能、第３の機能要素は、クエリーサーバと呼ばれるキーワードやそれに準ずる関連情報を元に、収集された情報資源から適切な情報を返答する機能である（非特許文献１参照。）。

このような検索システムを実現するにあたって、クローラによる情報資源の収集を効率化するために種々の工夫が検討されている。例えば、ブラウザと呼ばれる情報閲覧手段に履歴保存機能を設けることで、情報資源の収集作業を補助させることが実現されている（下記特許文献１参照。）。また、情報資源を自動的に収集するための資源収集エージェントの数を増やし、並列的に情報資源を収集することで情報資源の網羅性や収集効率を上げることが検討されている（下記特許文献２参照。）。さらには、検索結果のＷｅｂページについてリンク切れの有無をチェックして、リンク切れを生じていれば該当リンクのＵＲＬを検索用データベースから削除することによって、検索用データベースの効率的な更新を実現している（下記特許文献３参照。）。

特開２００５−１９００６５号公報 特開２０００−１２２９１２号公報 特開２００１−３３７９７３号公報

Kevin Hemenway, Tara Calishain, "Spidering Hacks", O’REILLY, Oct. 2003

しかしながら、上述した検索システムに関する従来技術においては、コンテンツの更新やコンテンツの削除についての情報は、クローラ等の収集機能によってコンテンツを収集して初めて取得することができるものである。そのために、例えば、コンテンツが仮に削除されていたとしても、検索タイミングによっては検索結果においてそのコンテンツがあたかも存在しているように表示されてしまう。このような問題に対処するためには、コンテンツの収集周期を短くすることが考えられるが、コンテンツを保存しているサーバ装置の負荷を増大させてしまうことになるため、むやみに収集周期を短くすることは望ましくない。さらには、この収集周期の短縮化による負荷の増大は、ユーザの閲覧処理にも影響を与えてしまう結果となる。

そこで、本発明は、かかる課題に鑑みて為されたものであり、コンテンツの更新や削除のタイミングに対応した管理情報を効率的に取得することが可能なコンテンツ管理情報収集システム、及びコンテンツ管理情報収集方法を提供することを目的とする。

上記課題を解決するため、本発明のコンテンツ管理情報収集システムは、通信網内からコンテンツを受信する情報通信端末からコンテンツの受信を要求するコンテンツ要求を受信するとともに、通信網内のコンテンツを配信するサーバ及び情報通信端末からコンテンツに関するメタ情報を受信する要求受信手段と、要求受信手段によって受信されたコンテンツ要求及びメタ情報に基づいて、コンテンツの格納先情報と情報通信端末の種別を示す端末種別とを含む管理情報を、コンテンツを識別するコンテンツ識別情報に関連づけて格納するとともに、管理情報をコンテンツ要求に基づいて逐次更新する管理情報格納手段と、管理情報格納手段によって格納された管理情報を参照することにより、収集対象のコンテンツに対応する格納先情報を特定し、当該特定された格納先情報に基づいて格納先情報に対応するコンテンツを通信網から収集するコンテンツ収集手段と、コンテンツ収集手段によって収集されたコンテンツからリンク情報を抽出し、リンク情報によって特定されるリンク先コンテンツの格納先情報を含む管理情報を、リンク先コンテンツを識別するコンテンツ識別情報に関連づけて、管理情報格納手段に格納するリンク先抽出手段とを備え、管理情報格納手段は、要求受信手段によって受信されたメタ情報に含まれる端末種別に該当する端末種別を有するものが管理情報の中に存在しない場合には、当該メタ情報からコンテンツのデータ内容を識別するための内容識別情報を抽出し、内容識別情報が同一である管理情報が格納されていない場合は、内容識別情報及び端末種別を含む管理情報を、コンテンツ識別情報に関連づけて格納する一方で、内容識別情報が同一である管理情報が既に格納されている場合は、当該管理情報をメタ情報に含まれる端末種別を追加するように更新し、さらに、コンテンツ収集手段によって収集されたコンテンツに基づいて、管理情報格納手段によって格納されているコンテンツに対応する管理情報を更新する、ことを特徴とする。

或いは、本発明のコンテンツ管理情報収集方法は、要求受信手段が、通信網内からコンテンツを受信する情報通信端末からコンテンツの受信を要求するコンテンツ要求を受信するとともに、通信網内のコンテンツを配信するサーバ及び情報通信端末からコンテンツに関するメタ情報を受信する要求受信ステップと、管理情報格納手段が、要求受信手段によって受信されたコンテンツ要求及びメタ情報に基づいて、コンテンツの格納先情報と情報通信端末の種別を示す端末種別とを含む管理情報を、コンテンツを識別するコンテンツ識別情報に関連づけて格納するとともに、管理情報をコンテンツ要求に基づいて逐次更新する管理情報格納ステップと、コンテンツ収集手段が、管理情報格納手段によって格納された管理情報を参照することにより、収集対象のコンテンツに対応する格納先情報を特定し、当該特定された格納先情報に基づいて格納先情報に対応するコンテンツを通信網から収集するコンテンツ収集ステップと、リンク先抽出手段が、コンテンツ収集手段によって収集されたコンテンツからリンク情報を抽出し、リンク情報によって特定されるリンク先コンテンツの格納先情報を含む管理情報を、リンク先コンテンツを識別するコンテンツ識別情報に関連づけて、管理情報格納手段に格納するリンク先抽出ステップとを備え、管理情報格納ステップでは、要求受信手段によって受信されたメタ情報に含まれる端末種別に該当する端末種別を有するものが管理情報の中に存在しない場合には、当該メタ情報からコンテンツのデータ内容を識別するための内容識別情報を抽出し、内容識別情報が同一である管理情報が格納されていない場合は、内容識別情報及び端末種別を含む管理情報を、コンテンツ識別情報に関連づけて格納する一方で、内容識別情報が同一である管理情報が既に格納されている場合は、当該管理情報をメタ情報に含まれる端末種別を追加するように更新し、さらに、コンテンツ収集手段によって収集されたコンテンツに基づいて、管理情報格納手段によって格納されているコンテンツに対応する管理情報を更新する、ことを特徴とする。

このようなコンテンツ管理情報収集システム、及びコンテンツ管理情報収集方法によれば、情報通信端末と通信網との間で中継されたコンテンツ要求を基に、コンテンツの格納先情報を含むコンテンツ管理情報が、該当コンテンツに関するコンテンツ識別情報に関連づけて格納されるとともに、その管理情報はコンテンツの要求の際に逐次更新される。さらに、格納された管理情報が参照されることにより、収集対象のコンテンツが特定されて収集されるとともに、収集されたコンテンツに基づいて管理情報が更新される。さらに、収集されたコンテンツからリンク情報が抽出され、そのリンク情報が示すコンテンツの格納先情報を含む管理情報もコンテンツ識別情報に関連付けて格納されることにより、リンク先のコンテンツも収集対象に加えられる。これにより、情報通信端末と通信網との間で送受信されるコンテンツ要求によって効率的にコンテンツに関する管理情報が取得及び更新され、その管理情報を基に収集対象を特定することで、コンテンツの更新や削除のタイミングに対応して、必要な管理情報をタイムリーに取得することができる。

要求受信手段は、情報通信端末からコンテンツ検索要求を受信し、当該コンテンツ検索要求に応じてコンテンツ検索結果を返信した後に、情報通信端末からコンテンツ検索結果に対応するコンテンツ要求を受信し、管理情報格納手段は、要求受信手段によって受信されたコンテンツ要求に基づいて、管理情報を格納するとともに、管理情報をコンテンツ要求に基づいて逐次更新することとしてもよい。

また、要求受信手段は、情報通信端末との間で、情報通信端末から通信網に送信されるコンテンツ要求、及び当該コンテンツ要求に応じて通信網から返信されるコンテンツを中継し、管理情報格納手段は、情報中継手段によって中継されたコンテンツ要求及びコンテンツに基づいて、管理情報を格納するとともに、管理情報をコンテンツに基づいて逐次更新することとしてもよい。

管理情報格納手段は、コンテンツに含まれるメタ情報からコンテンツの格納状態を示す状態情報を抽出し、状態情報を管理情報に含めて格納し、コンテンツ収集手段は、管理情報に含まれる状態情報に基づいてコンテンツが収集可能か否かを判定することにより、収集対象のコンテンツを特定する、ことが好ましい。こうすれば、中継されたコンテンツからコンテンツに関する状態情報が抽出されて、それに基づいてコンテンツ収集可能な否かが判定されるので、無駄なコンテンツ収集に関する通信トラフィックが削減されて、効率的なコンテンツ収集が可能にされる。

また、管理情報格納手段は、コンテンツに含まれるメタ情報からコンテンツの更新有無を識別するための更新情報を抽出し、更新情報を管理情報に含めて格納し、コンテンツ収集手段は、管理情報に含まれる更新情報に基づいてコンテンツの更新有無を判定することにより、収集対象のコンテンツを特定する、ことも好ましい。かかる構成を採れば、中継されたコンテンツからコンテンツに関する更新情報が抽出されて、それに基づいて収集が必要なコンテンツのみが特定されるので、全体のコンテンツの管理情報を最新の状態に保つことが容易となる。

さらに、管理情報格納手段は、コンテンツに含まれるメタ情報からコンテンツの種別を示す種別情報を抽出し、コンテンツ収集手段は、種別情報に基づいてコンテンツが分析可能か否かを判定することにより、収集対象のコンテンツを特定する、ことも好ましい。この場合、中継されたコンテンツからコンテンツに関する種別情報が抽出されて、それに基づいて分析が可能なコンテンツのみが収集されるので、無駄なコンテンツ収集に関する通信トラフィックが削減されて、効率的なコンテンツ収集が可能にされる。

またさらに、コンテンツ収集手段は、要求受信手段によって受信されたコンテンツ要求に基づいて、コンテンツの収集頻度を集計し、収集頻度に基づいてコンテンツの重要度を判別することにより、収集対象のコンテンツを特定する、ことも好ましい。こうすれば、中継されたコンテンツからコンテンツに関する収集頻度が集計されて、それに基づいてコンテンツの重要度が判別されて収集されるので、より重要度の高いコンテンツの管理情報を最新の状態に保つことが容易となる。

さらにまた、コンテンツ収集手段は、要求受信手段によって受信されたコンテンツ要求に基づいて、コンテンツの収集頻度を集計し、集計頻度に基づいてコンテンツの優先度を決定することにより、収集対象のコンテンツを優先度に応じて収集する、ことも好ましい。かかる構成を採れば、中継されたコンテンツからコンテンツに関する収集頻度が集計されて、それに基づいてコンテンツの優先度が判別されて収集されるので、より優先度の高いコンテンツの管理情報を最新の状態に保つことが容易となる。

また、管理情報格納手段は、コンテンツに含まれるメタ情報からコンテンツのデータ内容を識別するための内容識別情報を抽出し、内容識別情報を含む管理情報を、コンテンツを識別するコンテンツ識別情報に関連づけて格納するとともに、内容識別情報が同一である管理情報が既に格納されている場合は、当該管理情報をメタ情報に基づいて更新する、ことも好ましい。通信網内のコンテンツは格納場所が異なっていても情報資源が異なっているとは限らないため、コンテンツのデータ内容が同一であるものは同一の管理情報としてコンテンツを管理することにより、無駄なコンテンツ収集に関する通信トラフィックが削減されて、効率的なコンテンツ収集が可能にされる。
また、コンテンツ収集手段は、収集対象のコンテンツ毎にコンテンツ収集手段による収集回数を一定時間カウントし、収集回数が閾値を超えていないコンテンツを収集する、ことも好ましい。

本発明によれば、コンテンツの更新や削除のタイミングに対応した管理情報を効率的に取得することができる。

本発明の第１実施形態にかかるコンテンツ管理情報収集システムの概略構成図である。 図１のコンテンツ管理情報収集システムの構成をより詳細に示すブロック図である。 図１のコンテンツ管理情報収集システムを構成するサーバ装置のハードウェア構成を示す図である。 図２の管理情報格納部に格納された管理情報のデータ構成を示す図である。 （ａ）は、図２の管理情報格納部に格納されたレスポンスコードテーブルのデータ構成を示す図、（ｂ）は、図２の管理情報格納部に格納されたＵＵＰＶテーブルのデータ構成を示す図、（ｃ）は、図２の管理情報格納部に格納された認証コンテンツリストのデータ構成を示す図である。 （ａ）は、図２の管理情報格納部に格納された収集可能コンテンツリストのデータ構成を示す図、（ｂ）は、図２の管理情報格納部に格納されたサーバ負荷耐性テーブルのデータ構成を示す図、（ｃ）は、図２の管理情報格納部に格納された人気コンテンツリストのデータ構成を示す図である。 図２の管理情報格納部に格納されたリンクテーブルのデータ構成を示す図である。 図１のコンテンツ管理情報収集システムにおけるコンテンツ収集動作を示すシーケンス図である。 図１のコンテンツ管理情報収集システムにおけるコンテンツ中継時の動作を示すシーケンス図である。 図１のコンテンツ管理情報収集システムにおけるコンテンツ中継時の動作を示すシーケンス図である。 図１のコンテンツ管理情報収集システムにおける管理情報の更新時の動作を示すシーケンス図である。 図１のコンテンツ管理情報収集システムにおけるコンテンツの優先収集時の動作を示すシーケンス図である。 本発明の第２実施形態にかかるコンテンツ管理情報収集システムの概略構成図である。 図１３のコンテンツ管理情報収集システムの構成をより詳細に示すブロック図である。 図１４の管理情報格納部に格納された管理情報のデータ構成を示す図である。 （ａ）は、図１４の管理情報格納部に格納されたレスポンスコードテーブルのデータ構成を示す図、（ｂ）は、図１４の管理情報格納部に格納されたＵＵＰＶテーブルのデータ構成を示す図である。 図１３のコンテンツ管理情報収集システムにおけるコンテンツ検索処理時の動作を示すシーケンス図である。 図１３のコンテンツ管理情報収集システムにおけるコンテンツ検索処理時の動作を示すシーケンス図である。

以下、図面とともに本発明によるコンテンツ管理情報収集システム及びコンテンツ管理情報収集方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

［第１実施形態］
図１は、本発明の第１実施形態にかかるコンテンツ管理情報収集システム１の概略構成図、図２は、図１のコンテンツ管理情報収集システム１の構成をより詳細に示すブロック図である。図１に示すように、本実施形態にかかるコンテンツ管理情報収集システム１は、情報中継用サーバ１１、管理情報補正用サーバ１２、情報収集用サーバ１３、及びデータベースサーバ１４とを備えており、移動体通信網、インターネット、及びイントラネット等によって構成される通信ネットワークＮＷを介して、複数の携帯通信端末（情報通信端末）２と相互にデータ通信が可能な状態で接続されている。このコンテンツ管理情報収集システム１は、携帯通信端末２からの検索要求を受けて、通信ネットワークＮＷ内のコンテンツに関する検索情報を返信するいわゆる検索エンジンである。

この携帯通信端末２は、ＨＴＴＰを用いて通信を行う機能を有し、通信ネットワークＮＷ内の情報資源の格納位置を示すＵＲＬを指定することで、通信ネットワークＮＷ内のサーバ装置（図示せず）からＨＴＴＰを用いてコンテンツをダウンロード（受信）して情報表示する機能を有する。このコンテンツには、ＨＴＴＰヘッダと呼ばれるデータ領域内にそのコンテンツに関するヘッダ情報が記載されている。なお、携帯通信端末２としては、携帯電話機のほか、通信ネットワークNWとの間でデータ通信が可能なパーソナルコンピュータ、ＰＤＡ（Personal Digital Assistants）等の各種の情報通信端末を使用することができる。

コンテンツ管理情報収集システム１は、情報中継用サーバ１１、管理情報補正用サーバ１２、情報収集用サーバ１３、及びデータベースサーバ１４からなるコンピュータシステムを構成している。ここで、図３は、コンテンツ管理情報収集システム１を構成するサーバ装置のハードウェア構成図である。このように、サーバ装置は、物理的には、同図に示すように、ＣＰＵ２２、主記憶装置であるＲＡＭ２３及びＲＯＭ２４、ハードディスク装置、メモリカード等の補助記憶装置２６、入力デバイスである入力キー、マイク等の入力装置２７、スピーカ、ディスプレイ等の出力装置２８、通信ネットワークＮＷとの間でのデータの送受信を司る通信モジュール２５などを含む情報処理装置として構成されている。各サーバ装置によって実現される機能は、図３に示すＣＰＵ２２、ＲＡＭ２３等のハードウェア上に所定のプログラムを読み込ませることにより、ＣＰＵ２２の制御のもとで通信モジュール２５、入力装置２７、出力装置２８を動作させるとともに、ＲＡＭ２３や補助記憶装置２６におけるデータの読み出し及び書き込みを行うことで実現される。

なお、情報中継用サーバ１１、管理情報補正用サーバ１２、情報収集用サーバ１３、及びデータベースサーバ１４は、それぞれが物理的に独立したサーバ装置であってもよいし、複数が統合されて１つのサーバ装置として構成されていてもよいし、それぞれが複数のサーバ装置にさらに分割されてもよい。

以下、コンテンツ管理情報収集システム１を構成する各サーバ装置の機能について詳細に説明する。

まず、情報中継用サーバ１１は、携帯通信端末２との間で、携帯通信端末２から通信ネットワークＮＷに送信される情報要求信号であるＨＴＴＰリクエスト（コンテンツ要求）、及びこのＨＴＴＰリクエストに応じて通信ネットワークＮＷから携帯通信端末２に向けて返信されるコンテンツを中継するサーバ装置であり、要求受信手段として動作する。詳細には、情報中継用サーバ１１は、ＨＴＴＰリクエストの中継の際に、そのＨＴＴＰリクエストを送信した携帯通信端末２の識別情報（端末ＩＤ）と、ＨＴＴＰリクエストに含まれるＵＲＬとを対応付けて一次保存する機能と、そのＨＴＴＰリクエストに対する通信ネットワークＮＷからの応答を、携帯通信端末２に中継する機能を有する。さらに、情報中継用サーバ１１は、その応答からヘッダ情報を抽出する機能と、そのヘッダ情報と一次保存しておいたＵＲＬ及び端末ＩＤとを突合する機能と、応答に含まれるコンテンツの本文からメッセージダイジェストと呼ばれるコンテンツの特徴を示す文字列をハッシュ関数を用いて計算する機能と、突合されたヘッダ情報とメッセージダイジェストとを、コンテンツメタ情報としてＵＲＬ及びコンテンツとともに管理情報補正用サーバ１２に送出する機能とを有している。

情報中継用サーバ１１が出力するコンテンツメタ情報には、例えば、コンテンツを配信したサーバのアドレスであるサーバＩＰアドレス、携帯通信端末２の端末種別を示すＵＡ（ユーザエージェント）、コンテンツの更新日時を示す最終更新日時（Last Modified）、コンテンツの容量を示すサイズ（Content-Length）、コンテンツ作成日（Date）、コンテンツのデータに関する種別を示すコンテンツ種別（Content-type）、コンテンツ転送先（Location）、コンテンツ参照元（Referer）、コンテンツ言語（Content-Language）、コンテンツ有効期限（Age）などが含まれている。

管理情報補正用サーバ１２は、情報中継用サーバ１１から送られたＵＲＬとそれに対応するコンテンツメタ情報を分析し、コンテンツの更新有無やコンテンツの格納状態、コンテンツの種別、コンテンツの同一性、コンテンツの重要度、及びサーバの処理能力等を判断し、それらの判断結果を基にデータベースサーバ１４内の該当するコンテンツの管理情報を格納及び更新する。この管理情報補正用サーバ１２は、図２に示すように、機能的な構成要素として、情報受信部１２１、情報抽出部１２２、及び管理情報格納・更新部（管理情報格納手段）１２３を備えている。

情報受信部１２１は、情報中継用サーバ１１が中継したコンテンツメタ情報とそれに対応するＵＲＬとを受け取る。また、情報受信部１２１は、受け取ったコンテンツメタ情報及びＵＲＬを情報抽出部１２２に出力する。

情報抽出部１２２は、コンテンツメタ情報の中からＵＡ、最終更新日時や、サイズ等の全ての情報要素を抽出し、それらの情報要素をＵＲＬとともに管理情報格納・更新部１２３に出力する。

管理情報格納・更新部１２３は、ＵＲＬに基づいてデータベースサーバ１４の管理情報格納部（管理情報格納手段）１４２を参照し、該当ＵＲＬに対応するコンテンツの管理情報が存在するか否かを判定し、存在する場合にはその管理情報を読み出す。図４は、管理情報格納部１４２に格納された管理情報のデータ構成を示す図である。同図に示すように、管理情報には、ＵＲＬ“http://www.aaa.com/index.htm”と、コンテンツの格納状態を示す状態“ＯＫ”と、次回のコンテンツの収集時刻を示す次収集日時“2008/09/25 10:00”と、前回のコンテンツの収集時刻を示す前収集日時“2008/09/20 10:00”と、コンテンツの更新時を示す更新日時“2008/09/15 13:00”と、コンテンツの容量を示すサイズ“3510”と、ＵＡ“A,B,C”と、メッセージダイジェスト“89f…”とが、コンテンツを識別するコンテンツＩＤ“0001”に関連づけて格納されている。

そして、管理情報格納・更新部１２３は、情報中継用サーバ１１から受け取ったヘッダ情報に含まれるＨＴＴＰリクエストに対する応答状態を示すレスポンスコードを抽出および確認する。その結果、そのレスポンスコードがコンテンツの格納状態が異常であることを示している場合（例えば、コード“404:Not Found”のようにコンテンツが削除された状態を示す場合）には、該当する管理情報格納部１４２の管理情報に含まれる状態を“ＮＧ”に更新する。

また、管理情報格納・更新部１２３は、情報抽出部１２２によって抽出された情報要素と管理情報とを比較することによって、コンテンツが更新されているか否かの判断も行う。具体的には、最新更新日時、メッセージダイジェスト、サイズ等のコンテンツの更新有無を識別するための更新情報に基づいて、最新更新日時が更新されている場合には、管理情報格納部１４２の管理情報に含まれる次収集日時を、次回のコンテンツの収集タイミングに変更する。さらに、管理情報格納・更新部１２３は、最新更新日時が記載されていない場合には、メッセージダイジェストやサイズが変化しているか否かを判断し、変化している場合はコンテンツが更新されたと見なして、次収集日時を次回の収集タイミングに設定する。

また、管理情報格納・更新部１２３は、情報抽出部１２２によって抽出された情報要素にＵＡが含まれる場合、管理情報に含まれるＵＡに該当するＵＡが存在するか否かを判定する。その結果、該当するＵＡが存在しない場合には、コンテンツのデータ内容の同一性を識別するための内容識別情報として、最新更新日時、サイズ、メッセージダイジェストを用いて、これらと管理情報格納部１４２から読み出された管理情報に含まれるデータとを比較する。そして、管理情報格納・更新部１２３は、これらのデータが一致しない場合にはコンテンツが同一でないと判断し、情報抽出部１２２によって抽出された情報要素及びＵＲＬに基づいて、管理情報のレコードを追加する。一方、これらのデータが一致した場合にはコンテンツが同一であると判断し、情報抽出部１２２によって抽出されたＵＡを、該当する管理情報のＵＡに追加して更新する。

さらに、管理情報格納・更新部１２３は、情報抽出部１２２によって抽出された情報要素に基づいて、管理情報格納部１４２内のレスポンスコードテーブルに新規レコードを格納するとともに、そのレスポンスコードテーブルを基に管理情報格納部１４２内のＵＵＰＶテーブル及び認証コンテンツリストを定期的に更新する。図５（ａ）は、管理情報格納部１４２に格納されたレスポンスコードテーブルのデータ構成を示す図であり、図５（ｂ）は、ＵＵＰＶテーブルのデータ構成を示す図である、図５（ｃ）は、認証コンテンツリストのデータ構成を示す図である。

図５（ａ）に示すように、レスポンスコードテーブルには、情報中継用サーバ１１によってＨＴＴＰリクエストが中継される毎にレコードが追加され、そのレスポンスコードテーブルには、アクセス日時“2008/09/25 10:01:05”、ＵＲＬ“http://www.aaa.com/index.htm”、サーバＩＰアドレス“1.1.1.1”、端末ＩＤ“0001”、コンテンツ種別“html”、レスポンスコード“200”が含まれている。

また、図５（ｂ）に示すように、ＵＵＰＶテーブルには、該当ＵＲＬ“http://www.aaa.com/index.htm”に対してコンテンツを収集した頻度の集計値を示すＵＵ（Unique user）数“10335”、及びＰＶ（Page View）数“165155”が記録される。このＵＵ数は、ＵＲＬにアクセスした端末ＩＤの数をカウントとすることにより計算され、ＰＶ数は、ＵＲＬ毎のアクセス数をカウントすることにより計算される。

さらに、図５（ｃ）に示すように、コンテンツの取得の際に認証処理を必要とするＵＲＬであることを示す認証コンテンツリストが作成及び更新される。すなわち、レスポンスコードテーブルに基づいて、同一ＵＲＬに複数の端末ＩＤからアクセスをしており、かつ、レスポンスコードが異なっているようなＵＲＬが特定され、そのＵＲＬが認証コンテンツリストに逐次追加される。

併せて、管理情報格納・更新部１２３は、情報抽出部１２２によって抽出されたコンテンツ種別に基づいて、コンテンツが分析可能なものであるか否かを判定し、その判定結果に基づいて管理情報格納部１４２内の収集可能コンテンツリストにレコードを格納する。図６（ａ）は、管理情報格納部１４２に格納された収集可能コンテンツリストのデータ構成を示す図である。同図に示すように、収集可能コンテンツリストには、コンテンツ種別がテキストやHTML等の分析可能なコンテンツである場合のＵＲＬ“http://www.aaa.com/index.htm”が追加される。

情報収集用サーバ１３は、図２に示すように、機能的な構成要素として、コンテンツ収集部（コンテンツ収集手段）１３１、及びリンク先抽出部（リンク先抽出手段）１３２を含んでいる。

コンテンツ収集部１３１は、データベースサーバ１４に格納された管理情報を参照することにより、管理情報の更新が必要なコンテンツを特定する。具体的には、管理情報に含まれる次収集日時と現在時刻とを比較し、次収集日時が現在時刻を経過している管理情報であって、状態が“NG”でないものを抽出し、この管理情報に含まれるＵＲＬを、収集対象のコンテンツの格納先情報として特定する。すなわち、コンテンツ収集部１３１は、コンテンツの状態によってそのコンテンツが収集可能か否かを判定する。この場合、ＵＲＬが抽出できなかった場合には、コンテンツ収集部１３１は、管理情報格納部１４２内のＵＵＰＶテーブルを参照してＵＲＬを抽出してもよい。具体的には、ＵＵ数又はＰＶ数が一定値以上であるＵＲＬを抽出してもよい。

そして、コンテンツ収集部１３１は、抽出されたＵＲＬを基に、以下の手順で処理する。すなわち、コンテンツ収集部１３１は、ＵＲＬを基にしたコンテンツの格納先のＩＰアドレスを要求するＤＮＳリクエストを、通信ネットワークＮＷに向けて送信し、格納先のサーバ装置のＩＰアドレスを取得する。そして、コンテンツ収集部１３１は、そのＩＰアドレスに対するアクセス数を予め一定時間カウントしておき、そのカウント数がデータベースサーバ１４内に格納されたＩＰアドレス毎のアクセス数に関する閾値を超えていないか否かを判定する。その結果、カウント数が閾値を超えていない場合には、そのＩＰアドレスを用いて通信ネットワークＮＷに対してＨＴＴＰリクエストを送信することによって、該当ＵＲＬに対応するコンテンツを収集すると同時に、そのＩＰアドレスに対するアクセス数をカウントアップ（増分）する。このアクセス数に関する閾値は、管理情報格納部１４２に格納されたＵＵＰＶテーブルに基づいて、ＩＰアドレス毎にＰＶ数やＵＵ数が集計され、その集計結果を基準にして予め設定されている。

なお、コンテンツ収集部１３１は、ＨＴＴＰリクエストの送信の際に、管理情報に含まれるＵＡを付加して送信してもよい。このＵＡは、その文字列が異なる場合はコンテンツが異なることが知られており、そのため、ＵＡをＨＴＴＰリクエストに含めることで、同一条件でのコンテンツの管理情報の更新が可能になる。この場合、管理情報に含まれる複数のＵＡのうち、代表的なものを選択すればよい。

リンク先抽出部１３２は、コンテンツ収集部１３１によって収集されたコンテンツの本文からリンク情報を抽出する。例えば、リンク先抽出部１３２は、ＨＴＭＬで記述されたコンテンツ本文から、ハイパーリンク“<a href="http//www.aaa.com/a.htm">リンク</a>”という記述を抽出し、その中に含まれているリンク先のＵＲＬを示すリンク情報“http//www.aaa.com/a.htm”をさらに抽出する。そして、リンク先抽出部１３２は、抽出した全てのリンク情報“http//www.aaa.com/a.htm”を、リンク元のＵＲＬ“http//www.aaa.com/index.htm”に対応付けたリンクテーブルとして、管理情報格納部１４２に格納する。このリンク情報は、リンク先のコンテンツを識別するための識別情報としても使用されている。図７には、リンクテーブルのデータ構成の一例を示している。

さらに、リンク先抽出部１３２は、抽出したリンク先のＵＲＬが管理情報に存在しない場合には、管理情報格納部１４２内のＵＵＰＶテーブル、収集可能コンテンツリスト、認証コンテンツリスト、及びレスポンスコードテーブルを参照して管理情報に追加する。ＵＵＰＶテーブルは、コンテンツの収集頻度によってコンテンツの重要度を判別して、その判別結果によって収集対象コンテンツを特定するために参照される。具体的には、ＵＵ数又はＰＶ数が一定値以上であるＵＲＬであって、収集可能コンテンツリストに存在するとともに、認証コンテンツリストに存在しないで、かつ、レスポンスコードテーブル内に存在する場合であってレスポンスコードが正常値（例えば、コード“2XX”のようにＨＴＴＰリクエストが正常に処理された状態を示す場合）であるＵＲＬを、管理情報に追加する。

また、コンテンツ収集部１３１は、収集されたコンテンツのＨＴＴＰヘッダを解析し、コンテンツ状態を示すレスポンスコード、最終更新日時や、サイズ情報などを抽出する。さらに、コンテンツ収集部１３１は、コンテンツの本文を対象にして、データサイズ、メッセージダイジェストを計算する。このメッセージダイジェストの計算に用いるハッシュ関数にはＭＤ５等が用いられるが、コンテンツのデータを圧縮できる関数で有れば様々な関数で代用できる。そして、コンテンツ収集部１３１は、収集したコンテンツをデータベースサーバ１４のコンテンツ格納部１４１に格納するとともに、このコンテンツに対応する管理情報を解析結果に基づいて更新する。また、コンテンツ収集部１３１は、収集したコンテンツと同一のものがコンテンツ格納部１４１に存在しない場合には、コンテンツＩＤを新たに付与し、ＵＲＬ、サイズ、メッセージダイジェストを、コンテンツＩＤに関連づけるとともに、更新日時を現在日時に設定して管理情報を作成し、その管理情報を管理情報格納部１４２内に格納する。

以下、図８〜１１を参照して、コンテンツ管理情報収集システム１の動作について説明するとともに、併せてコンテンツ管理情報収集システム１におけるコンテンツ管理情報収集方法について詳述する。図８は、コンテンツ管理情報収集システム１におけるコンテンツ収集動作を示すシーケンス図、図９及び図１０は、コンテンツ管理情報収集システム１におけるコンテンツ中継時の動作を示すシーケンス図、図１１は、コンテンツ管理情報収集システム１における管理情報の更新時の動作を示すシーケンス図である。

まず、図８を参照して、情報収集用サーバ１３によってコンテンツ収集処理が定期的に起動される（ステップＳ０１）。そうすると、情報収集用サーバ１３からデータベースサーバ１４に対して収集対象のコンテンツに関するＵＲＬリストが要求される（ステップＳ０２）。これに対して、データベースサーバ１４から、管理情報に格納されたＵＲＬから収集対象のＵＲＬリストが作成されて返答される（ステップＳ０３，Ｓ０４）。

次に、情報収集用サーバ１３から情報中継用サーバ１１を経由して、ＵＲＬリストに含まれるＵＲＬを基にしたＤＮＳリクエストが送信される（ステップＳ０５）。これに応答して、通信ネットワークＮＷからＵＲＬに対応するＩＰアドレスが返される（ステップＳ０６）。これに対して、情報収集用サーバ１３にて、該当ＩＰアドレスに対するアクセス数が予め決定された閾値を超えていないかが判定されることにより、ＵＲＬに対応するサーバ装置の負荷が確認される（ステップＳ０７）。

その後、サーバの負荷が閾値以下であれば、情報収集用サーバ１３から通信ネットワークNWに向けてそのＩＰアドレスを用いてＨＴＴＰリクエストが送信される（ステップＳ０８）。その結果、通信ネットワークNWからコンテンツが返信され（ステップＳ０９）、情報収集用サーバ１３によってコンテンツのヘッダ情報及び本文が解析される（ステップＳ１０）。そして、解析結果に応じて、データベースサーバ１４内のコンテンツ及びそれに対応する管理情報が更新される（ステップＳ１１，Ｓ１２）。ステップＳ０５〜Ｓ１２までの処理は、ＵＲＬリストの分だけ繰り返され、コンテンツの収集を完了する（ステップＳ１３）。

次に、図９〜１０を参照して、コンテンツ管理情報収集システム１におけるコンテンツ中継時の動作について説明する。

まず、携帯通信端末２のユーザから特定のＵＲＬを指定したコンテンツの要求入力が受け付けられる（ステップＳ２１）。そうすると、情報中継用サーバ１１によって、携帯通信端末２からのＨＴＴＰリクエストが通信ネットワークＮＷに中継され（ステップＳ２２）、携帯通信端末２の端末ＩＤとＨＴＴＰリクエストに含まれるＵＲＬとが対応付けて保持される（ステップＳ２３）。その後、情報中継用サーバ１１によって、それに対する通信ネットワークＮＷからの応答としてコンテンツが受信され、携帯通信端末２に中継される（ステップＳ２４）。そのとき、中継するコンテンツの中からＨＴＴＰヘッダが抽出される（ステップＳ２５）。次に、情報中継用サーバ１１により、コンテンツの本文からメッセージダイジェストが計算される（ステップＳ２６）。さらに、情報中継用サーバ１１により、ＨＴＴＰヘッダと一次保持しておいたＵＲＬ及び端末ＩＤとが突合される（ステップＳ２７）。

情報中継用サーバ１１によって中継されたコンテンツは、携帯通信端末２によって受信されてディスプレイ等の情報出力手段に出力される（ステップＳ２９）。一方、情報中継用サーバ１１によって取得されたＵＲＬ、及びヘッダ情報とメッセージダイジェストを含むコンテンツメタ情報は、管理情報補正用サーバ１２に送出される（ステップＳ３０）。

これに対して、管理情報補正用サーバ１２では、受け取ったＵＲＬに基づいて、当該ＵＲＬを含むコンテンツに関する管理情報の参照要求をデータベースサーバ１４に送る（ステップＳ３１）。この参照要求に応じて、データベースサーバ１４から管理情報補正用サーバ１２に対して、当該ＵＲＬに対応するコンテンツメタ情報を含む管理情報が返される（ステップＳ３２）。それに伴って、管理情報補正用サーバ１２は、コンテンツメタ情報及び管理情報の分析を開始する（ステップＳ３３）。

最初に、管理情報補正用サーバ１２は、コンテンツメタ情報の情報要素と管理情報とを比較して、コンテンツが更新されているかを判定して、それによって該当するコンテンツの管理情報の更新が必要か否かを判断する（ステップＳ３４）。コンテンツが更新されていると判定された場合には、データベースサーバ１４の管理情報における次更新日時を次回の収集タイミングに更新する（ステップＳ３５）。

また、管理情報補正用サーバ１２は、ＨＴＴＰヘッダに含まれるレスポンスコードが“404”であるか否かによりコンテンツが削除されていないかを判定する（ステップＳ３６）。その結果、コンテンツが削除されたと判定された場合には、データベースサーバ１４の管理情報の状態を“ＮＧ”に変更する（ステップＳ３７）。

次に、管理情報補正用サーバ１２は、ＨＴＴＰヘッダに端末種別を示すＵＡが記載されているか否かを判定する（ステップＳ３８）。ＵＡが含まれている場合には、管理情報に含まれるＵＡのリストの中に該当するＵＡが含まれているかを確認した後に、最新更新日時、サイズ、メッセージダイジェスト等の内容識別情報を用いて、管理情報に対応するコンテンツと情報中継用サーバ１１によって中継されたコンテンツとの同一性を判断する。その結果、コンテンツが同一であると判断された場合は、管理情報のＵＡにＨＴＴＰヘッダに記載されていたＵＡを追加し、コンテンツが異なると判断された場合は、今回中継されたコンテンツに関する管理情報のレコードを新規に作成する（ステップＳ３９）。

さらに、管理情報補正用サーバ１２は、ＨＴＴＰヘッダに含まれるコンテンツ種別に基づいて、コンテンツが分析可能であることを判断することによって、コンテンツの収集可否を決定する（ステップＳ４０）。そして、コンテンツが分析可能であると判断されたＵＲＬを、データベースサーバ１４の収集可能コンテンツリストに追加する（ステップＳ４１）。この収集可能コンテンツリストは、情報収集用サーバ１３においてリンク先のコンテンツを収集するか否かを判断する際に用いられる。

次に、図１１を参照して、管理情報補正用サーバ１２によるデータベースサーバ１４内の情報の更新動作について説明する。

管理情報補正用サーバ１２の管理情報等の更新動作は、定時起動等により定期的に起動される（ステップＳ５１）。まず、管理情報補正用サーバ１２は、データベースサーバ１４に格納したレスポンスコードテーブルをもとにして、ＵＲＬ毎のＵＵＰＶテーブルを更新する（ステップＳ５２）。次に、管理情報補正用サーバ１２は、サーバ負荷耐性テーブルを更新する（ステップＳ５３、図６（ｂ））。このサーバ負荷耐性テーブルは、ＵＲＬによって特定されるコンテンツ配信元のサーバのＩＰアドレス毎のアクセスに対する耐性を示すものであり、情報収集用サーバ１３のコンテンツ収集部１３１によってコンテンツの収集の有無を判断する際のする際の閾値として参照される。

さらに、管理情報補正用サーバ１２は、データベースサーバ１４内のレスポンスコードテーブルに基づいて認証コンテンツリストを更新する（ステップＳ５４）。この認証コンテンツリストは、コンテンツ取得の際に認証処理を必要とするＵＲＬを示すものであり、コンテンツ収集部１３１がコンテンツの収集可否を判断するために参照される。また、管理情報補正用サーバ１２は、レスポンスコードテーブルに基づいてＵＲＬ毎のコンテンツの収集頻度を集計し、その結果に基づいて、ＵＲＬ毎のコンテンツの人気度を示す人気コンテンツリストを作成及び更新する（ステップＳ５５、図６（ｃ））。この人気コンテンツリストは、ＵＲＬ毎の収集頻度の微分値が人気度として更新されており、コンテンツ収集部１３１がコンテンツの重要度を判断して、その重要度に従って収集対象のコンテンツを特定するために参照される。例えば、微分値が所定の閾値を超えた場合に収集対象のコンテンツとして特定される。これにより、管理情報補正用サーバ１２による管理情報等の更新動作が完了される（ステップＳ５６）。

以上説明したコンテンツ管理情報収集システム１及びコンテンツ管理情報収集システム方法によれば、携帯通信端末２と通信ネットワークＮＷとの間で中継されたＨＴＴＰリクエスト及びコンテンツを基に、ＵＲＬを含む管理情報が格納されるとともに、その管理情報はコンテンツの中継の際に逐次更新される。さらに、格納された管理情報が参照されることにより、収集対象のコンテンツが特定されて収集されるとともに、収集されたコンテンツに基づいて管理情報が更新される。さらに、収集されたコンテンツからリンクが抽出され、そのリンクが示すＵＲＬを含む管理情報も管理情報として格納されることにより、リンク先のコンテンツも収集対象に加えられる。これにより、携帯通信端末２と通信ネットワークＮＷとの間で送受信されるＨＴＴＰリクエストリクエスト及びコンテンツによって効率的にコンテンツに関する管理情報が取得及び更新され、その管理情報を基に収集対象を特定することで、コンテンツの更新や削除のタイミングに対応して、必要な管理情報をタイムリーに取得することができる。

また、中継されたコンテンツからコンテンツに関する格納状態が抽出されて、それに基づいてコンテンツ収集可能な否かが判定される。さらに、コンテンツを取得する際に認証処理が必要なサイトか否かも判定される。これにより、無駄なコンテンツ収集に関する通信トラフィックが削減されて、効率的なコンテンツ収集が可能にされる。また、検索エンジンとして使用された際に、ユーザが検索結果からコンテンツを取得する際のエラーを低減することができる。

また、中継されたコンテンツからコンテンツに関する更新情報が抽出されて、それに基づいて収集が必要なコンテンツのみが特定されるので、全体のコンテンツの管理情報を最新の状態に保つことが容易となる。つまり、更新が予測されるコンテンツの収集タイミングを直近のタイミングに設定することで、サーバ装置やネットワークの負荷を上げることなく、常に最新のコンテンツを保持することができる。

さらに、中継されたコンテンツからコンテンツに関する種別情報が抽出されて、それに基づいて分析が可能なコンテンツのみが収集されるので、無駄なコンテンツ収集に関する通信トラフィックが削減されて、効率的なコンテンツ収集が可能にされる。

また、中継されたコンテンツからコンテンツに関する収集頻度が集計されて、それに基づいてコンテンツの重要度が判別されて収集されるので、より重要度の高いコンテンツの管理情報を最新の状態に保つことが容易となる。

また、コンテンツに含まれるメタ情報からコンテンツのデータ内容を識別するための内容識別情報が抽出されて、コンテンツの同一性が判断された上で管理情報が更新される。これは、通信網内のコンテンツは格納場所が異なっていても情報資源が異なっているとは限らないためである。これにより、コンテンツのデータ内容が同一であるものは同一の管理情報としてコンテンツを管理することにより、無駄なコンテンツ収集に関する通信トラフィックが削減されて、効率的なコンテンツ収集が可能にされる。さらに、検索エンジンとして使用した場合に、同一のコンテンツを検索結果として生成する際に効率的に生成することができる。

さらに、ＵＲＬに対応するサーバ毎の負荷耐性を考慮してコンテンツを収集することで、サーバの処理に対する影響を抑えることができる。

また、携帯通信端末２の端末種別（機種）を判断した後にコンテンツの同一性を判断するので、機種別に個別にコンテンツを管理する必要が無くなり、機種別に管理すべきか、機種間で同じコンテンツとして管理すべきかを決定することで効率的にコンテンツの管理が可能になる。また、コンテンツの検索結果を返す際にもユーザが検索結果を閲覧した際にコンテンツを表示できないといった事態を回避することができる。

ここで、コンテンツ管理情報収集システム１では、情報収集用サーバ１３で収集したコンテンツのＵＲＬについてのみ、管理情報補正用サーバ１２によって情報を補正させている。このような構成により、通常ではリンクの張られていないプライベートなサイトや、認証領域等の到達不可能なＵＲＬについての情報収集を極力排除することが可能になる。その結果、情報収集の網羅性とプライバシー保護とを両立できるという利点を有する。

［第２実施形態］
次に、本発明の第２実施形態について説明する。図１３は、本発明の第２実施形態にかかるコンテンツ管理情報収集システム２０１の概略構成図、図１４は、図１３のコンテンツ管理情報収集システム２０１の構成をより詳細に示すブロック図である。コンテンツ管理情報収集システム２０１の第１実施形態との相違点は、携帯通信端末２からの情報要求信号及びコンテンツを中継する情報中継用サーバ１１の代わりに、携帯通信端末２からの通信ネットワークＮＷ内のコンテンツの検索要求を処理する要求受信手段としての検索エンジン用サーバ２１１を備えている点である。

検索エンジン用サーバ２１１は、通信ネットワークＮＷ内のコンテンツの検索機能を実現するシステムであり、データベースサーバ１４のコンテンツ格納部１４１に格納されたコンテンツを基に、インデクサ機能によってコンテンツを解析して検索可能な情報に変換し、クエリーサーバ機能により携帯通信端末２から送られたキーワード等の検索キーを基にして複数のコンテンツの中から適切なコンテンツ関連情報を返信する。

具体的には、検索エンジン用サーバ２１１は、携帯通信端末２から検索キーワードを含む検索クエリー（コンテンツ検索要求）を受信すると、インデクサ機能によって解析された情報の中から、検索キーワードに合致したコンテンツタイトル、コンテンツ抜粋データ等からなるリストを含む検索結果ページ（コンテンツ検索結果）を返信する。その際、検索エンジン用サーバ２１１は、携帯通信端末２からの検索ログ（以下、「クリックログ」と言う。）として、携帯通信端末２の端末ＩＤ、検索日時、検索結果のコンテンツタイトルに対応するＵＲＬのリスト、携帯通信端末２の端末機種を示すＵＡ、検索結果ページ送信時刻等の情報を一時保持する。ここで、コンテンツタイトルに対応するＵＲＬのリストは、管理情報格納部１４２を参照することにより特定することができる。

また、検索エンジン用サーバ２１１は、検索結果ページのコンテンツタイトルの中から、特定コンテンツの受信を要求するコンテンツ要求を携帯通信端末２から受信する機能も有する。詳細には、携帯通信端末２から検索結果ページの中の特定コンテンツタイトルを選択する選択情報（クリック位置に関する情報等）を受信し、その選択情報を基に該当コンテンツを特定する。さらに、検索エンジン用サーバ２１１は、該当コンテンツに対応するＵＲＬを管理情報格納部１４２を参照することにより判別し、携帯通信端末２からのコンテンツ要求を、該当するＵＲＬを含むＨＴＴＰリクエストに変換（「リダイレクト」とも言う）して携帯通信端末２に返信する。これによって、携帯通信端末２がＨＴＴＰリクエストを通信ネットワークＮＷに中継することで、検索結果ページを基に所望のコンテンツを受信することができる。その際、検索エンジン用サーバ２１１は、クリックログとして、携帯通信端末２の端末ＩＤ、クリック日時、携帯通信端末２のＵＡ、クリック位置情報、閲覧対象コンテンツのＵＲＬ、及びリダイレクト（コンテンツ閲覧）時刻等の情報を一時保持する。

ここで、検索エンジン用サーバ２１１は、携帯通信端末２からのコンテンツ検索要求時及びコンテンツ要求時に保持したクリックログを、その都度管理情報補正用サーバ１２に送信する。これに対して、管理情報補正用サーバ１２によって第１実施形態と同様にして、管理情報格納部１４２内のコンテンツの管理情報が追加又は更新される。

すなわち、管理情報補正用サーバ１２の情報受信部１２１は、検索エンジン用サーバ２１１から閲覧対象のコンテンツのＵＲＬを含むクリックログを受信すると、管理情報格納・更新部１２３に転送し、管理情報格納・更新部１２３は、そのクロックログに基づいて管理情報格納部１４２のコンテンツ管理情報を格納又は更新する。図１５は、管理情報格納部１４２に格納された管理情報のデータ構成を示し、この管理情報には、ＵＲＬ“http://www.aaa.com/index.htm”と、次回のコンテンツの収集タイミングを示す次収集日時“2008/09/25 10:00”と、前収集日時“2008/09/20 10:00”と、ＵＡ“A,B,C”とが、コンテンツを識別するコンテンツＩＤ“0001”に関連づけて格納される。なお、クリックログからは特定できないような「状態」、「更新日時」、「サイズ」や「コンテンツダイジェスト」等の項目は、ＮＵＬＬに設定しても良いし、予め定められたデフォルトの情報に記録されても良い。

また、管理情報格納・更新部１２３は、クリックログを参照して、管理情報格納部１４２内のレスポンスコードテーブルに新規レコードを格納するとともに、そのレスポンスコードテーブルを基に管理情報格納部１４２内のＵＵＰＶテーブルを定期的に更新する。図１６（ａ）は、管理情報格納部１４２に格納されたレスポンスコードテーブルのデータ構成を示す図であり、図１６（ｂ）は、ＵＵＰＶテーブルのデータ構成を示す図である。図１６（ａ）に示すように、レスポンスコードテーブルには、検索エンジン用サーバ２１１によってコンテンツタイトルの選択情報が受信される毎にレコードが追加され、そのレスポンスコードテーブルには、選択要求が受信された日時を示すアクセス日時“2008/09/25 10:01:05”、該当コンテンツタイトルに対応するＵＲＬ“http://www.aaa.com/index.htm”、及び携帯通信端末２に関する端末ＩＤ“0001”が含まれている。また、図１６（ｂ）に示すように、ＵＵＰＶテーブルには、該当ＵＲＬ“http://www.aaa.com/index.htm”に対してコンテンツを要求した頻度の集計値を示すＵＵ（Unique user）数“10335”、及びＰＶ（Page View）数“165155”が記録される。

上述のようにして格納および更新されたコンテンツに関する管理情報を参照することにより、情報収集用サーバ１３のコンテンツ収集部１３１は、収集対象のコンテンツの格納先情報を特定する。その際、コンテンツ収集部１３１は、管理情報に含まれるＵＲＬ及びＵＵＰＶテーブルを参照し、ＵＵ数又はＰＶ数が一定値以上であるＵＲＬを、重要度の高いコンテンツであると判別し、そのＵＲＬを収集対象に加えるように管理情報の「次収集日時」を更新する。

なお、コンテンツ収集部１３１は、第１実施形態と同様にして、ＵＲＬに対応するＩＰアドレス毎のアクセス数をカウントしておいて、そのアクセス数が所定の閾値を超えないようにコンテンツの収集タイミングを調整することもできる。この場合は、ＵＵＰＶテーブルを参照することにより該当ＵＲＬへのＵＵ数、又はＰＶ数を特定し、その数が多いものほどサーバ装置の処理能力が高いと判定して、ＵＵ数、ＰＶ数に応じて上記閾値を設定してもよい。

また、情報収集用サーバ１３のリンク先抽出部１３２は、コンテンツ収集部１３１によって収集されたコンテンツからリンク情報を抽出し、抽出したリンク情報に含まれるＵＲＬが管理情報に存在しない場合には、ＵＵＰＶテーブルを参照して該当ＵＲＬを管理情報に追加する。具体的には、リンク先抽出部１３２は、ＵＵ数又はＰＶ数が一定値以上であるＵＲＬを、重要度の高いコンテンツに関するものとして管理情報に追加する。

以下、図１７を参照して、コンテンツ管理情報収集システム２０１におけるコンテンツ検索処理時の動作について説明する。

まず、携帯通信端末２のユーザから検索キーワードを含むコンテンツ検索要求入力が受け付けられる（ステップＳ２２１）。そうすると、検索エンジン用サーバ２１１によって、検索クエリーが通信ネットワークＮＷを介して携帯通信端末２から受信され（ステップＳ２２２）、それを契機にデータベースサーバ１４を利用したコンテンツの検索処理が開始される（ステップＳ２２３）。これにより、検索エンジン用サーバ２１１により検索キーワードに合致するコンテンツタイトルリストを含む検索結果ページが取得されて（ステップＳ２２４）、検索処理が終了する（ステップＳ２２５）。その後、検索エンジン用サーバ２１１から携帯通信端末２に対して、検索結果ページが返信されるとともに（ステップＳ２２６）、検索要求に関するクリックログが記録される。

これに対して、携帯通信端末２において検索結果ページが閲覧されるとともに、その検索結果ページの中から受信対象のコンテンツが選択される（ステップＳ２２７）。その結果、携帯通信端末２から検索エンジン用サーバ２１１に向けて、コンテンツタイトルの選択情報が送信され（ステップＳ２２８）、検索エンジン用サーバ２１１において、そのコンテンツタイトルの選択情報を基にクリックログが記録される（ステップＳ２２９）。その後、検索エンジン用サーバ２１１から携帯通信端末２に対して、該当コンテンツに対応するＵＲＬを含むリダイレクト指示が送られ、このリダイレクト指示を基にして、携帯通信端末２から通信ネットワークＮＷにＨＴＴＰリクエストが送信されることにより、所望のコンテンツが受信される（ステップＳ２３１）。

検索エンジン用サーバ２１１によって記録されたクリックログは、その都度管理情報補正用サーバ１２に送信される（ステップＳ２２９）。これに対して、管理情報補正用サーバ１２では、受け取ったクリックログに含まれるＵＲＬに基づいて、当該ＵＲＬを含むコンテンツに関する管理情報の参照要求をデータベースサーバ１４に送る（ステップＳ２３２）。この参照要求に応じて、データベースサーバ１４から管理情報補正用サーバ１２に対して、当該ＵＲＬに対応するコンテンツメタ情報を含む管理情報が返される（ステップＳ２３３）。それに伴って、管理情報補正用サーバ１２は、コンテンツメタ情報及び管理情報の分析を開始する（ステップＳ２３４）。その後、図１０を参照して説明したステップＳ３４〜Ｓ４１の処理と同様にして、データベースサーバ１４内の情報を追加、更新する。

ここで、コンテンツ管理情報収集システム１におけるコンテンツ収集時の動作、管理情報更新時の動作は、図８、図１１を参照して説明した動作と同様である。

以上説明したコンテンツ管理情報収集システム２０１によっても、携帯通信端末２から検索エンジンに送信されたコンテンツ要求を基に、ＵＲＬを含む管理情報が格納されるとともに、その管理情報はコンテンツ要求の際に逐次更新される。さらに、格納された管理情報が参照されることにより、収集対象のコンテンツが特定されて収集されるとともに、収集されたコンテンツに基づいて管理情報が更新される。さらに、収集されたコンテンツからリンクが抽出され、そのリンクが示すＵＲＬを含む管理情報も管理情報として格納されることにより、リンク先のコンテンツも収集対象に加えられる。これにより、携帯通信端末２と検索エンジンとの間で送受信される検索クエリー及びコンテンツ選択情報によって効率的にコンテンツに関する管理情報が取得及び更新され、その管理情報を基に収集対象を特定することで、コンテンツの更新や削除のタイミングに対応して、重要性の高いコンテンツの管理情報をタイムリーに取得することができる。

なお、本発明は、前述した実施形態に限定されるものではない。例えば、情報収集用サーバ１３は、データベースサーバ１４内の人気コンテンツリストを参照して、コンテンツの優先度を決定して、その優先度に応じて優先的にコンテンツを収集するように動作してもよい。

図１２は、この場合の情報収集用サーバ１３によるコンテンツの優先収集動作を示すシーケンス図である。まず、情報収集用サーバ１３は、定期的に優先収集を開始し（ステップＳ６１）、データベースサーバ１４から人気コンテンツリストを参照要求して読み出す（ステップＳ６２，Ｓ６３）。そして、その人気コンテンツリストに含まれる人気度に基づいて、優先的に処理するＵＲＬを決定し、そのＵＲＬを対象にして、図８のステップＳ０５〜Ｓ１２の動作と同様にして、コンテンツの収集及び管理情報の更新を繰り返す（ステップＳ６４〜Ｓ７２）。

このような優先収集動作によれば、コンテンツの優先度が判別されて収集されるので、より優先度の高いコンテンツの管理情報を最新の状態に保つことが容易となる。

また、検索エンジン用サーバ２１１は、携帯通信端末２からのコンテンツ要求に対するリダイレクト指示を送信する際には、それに併せて該当コンテンツに関するメタ情報（管理情報）を通信ネットワークＮＷから収集してもよい。このようにすることで、クリックログのみから取得できないコンテンツの管理情報（例えば、コンテンツの状態や更新日時等）も第１実施形態と同様に取得することができる。図１８は、このような場合のコンテンツ管理情報収集システム２０１におけるコンテンツ検索処理時の動作を示すシーケンス図である。図１８におけるステップＳ３２１〜Ｓ３３０，Ｓ３３３〜Ｓ３３５の動作は、図１７のステップＳ２２１〜Ｓ２２８，Ｓ２３０〜２３４の動作と同一である。検索エンジン用サーバ２１１は、携帯通信端末２にリダイレクト指示を送信（ステップＳ３２９）した直後に、該当ＵＲＬを送信先にしてＨＴＴＰ ＨＥＡＤメソッドを利用したＨＴＴＰリクエストを送信し、該当ＵＲＬによって特定されるサーバ装置からコンテンツ本体（メッセージボディ）を除くＨＴＴＰヘッダ情報を取得する（ステップＳ３３１）。このＨＴＴＰ ＨＥＡＤメソッドで得られるヘッダ情報は、通常のＨＴＴＰリクエストによって得られる情報と同一である。そして、検索エンジン用サーバ２１１は、そのヘッダ情報とクリックログとを突合した後に、クリックログとヘッダ情報を権利情報補正用サーバ１２に送信する（ステップＳ３３２）。このように、ＨＴＴＰ ＨＥＡＤメソッドを利用することで、ネットワークやサーバ装置に負荷をかけることなくコンテンツの管理情報を収集することができる。

また、情報収集用サーバ１３のコンテンツ収集部１３１は、携帯通信端末２からのコンテンツ要求時に作成されるクロックログに基づいて、収集対象のコンテンツのＵＲＬを判別しているが、携帯通信端末２からの検索クエリー受信時に作成されるクリックログに基づいて、ＵＲＬを判別してもよい。具体的には、コンテンツ収集部１３１は、検索クエリー受信時に作成されるクロックログに含まれるＵＲＬのリストをデータベースサーバ１４内に保持しておいて、そのリストに含まれるＵＲＬを、出現回数等で順位付けすることにより、収集対象として加えるように動作してもよい。このようにしても、携帯通信端末２のユーザにとって重要度の高いコンテンツを特定することができる。

また、検索エンジン用サーバ２１１は、携帯通信端末２からの検索クエリー受信時と、携帯通信端末２からのコンテンツ要求時とで、別々のタイミングでクリックログを作成し管理情報補正用サーバ１２に送信しているが、コンテンツ要求時の同一のタイミングで１つのクリックログを作成し送信してもよい。この場合のクリックログは、検索クエリー受信時に作成される検索結果ページの各コンテンツタイトルに対するリンク情報を基にして、携帯通信端末２からのコンテンツ要求の受信時にまとめて作成される。このリンク情報には、携帯通信端末２の端末ＩＤ、検索キーワード、検索結果ページ上の位置を示す位置情報、リダイレクト先ＵＲＬ等を含めることができ、例えば、検索キーワードとして“コーヒー”が指定された場合には、“<a href =“http://search.com/search.cgi?searchword=コーヒー&position=1&user_id=001&redirect=http://aaa.com/index.htm&.....”>http://aaa.com/index.htm</a>”のように作成される。このようなリンク情報を利用すれば、携帯通信端末２のユーザによる検索結果ページ上のコンテンツタイトルの選択（クリック）時に、選択されたコンテンツタイトルに結びつけられたリンク情報から、クリックログをまとめて作成することができる。

１，２０１…コンテンツ管理情報収集システム、２…携帯通信端末、１１…情報中継用サーバ（要求受信手段）、２１１…検索エンジン用サーバ（要求受信手段）、１２…管理情報補正用サーバ、１３…情報収集用サーバ、１２３…管理情報格納・更新部（管理情報格納手段）、１３１…コンテンツ収集部（コンテンツ収集手段）、１３２…リンク先抽出部（リンク先抽出手段）、１４２…管理情報格納部（管理情報格納手段）、ＮＷ…通信ネットワーク。

Claims (10)

1. 通信網内からコンテンツを受信する情報通信端末からコンテンツの受信を要求するコンテンツ要求を受信するとともに、前記通信網内のコンテンツを配信するサーバ及び前記情報通信端末から前記コンテンツに関するメタ情報を受信する要求受信手段と、
   前記要求受信手段によって受信されたコンテンツ要求及び前記メタ情報に基づいて、前記コンテンツの格納先情報と前記情報通信端末の種別を示す端末種別とを含む管理情報を、前記コンテンツを識別するコンテンツ識別情報に関連づけて格納するとともに、前記管理情報を前記コンテンツ要求に基づいて逐次更新する管理情報格納手段と、
   前記管理情報格納手段によって格納された前記管理情報を参照することにより、収集対象のコンテンツに対応する格納先情報を特定し、当該特定された格納先情報に基づいて前記格納先情報に対応するコンテンツを前記通信網から収集するコンテンツ収集手段と、
   前記コンテンツ収集手段によって収集されたコンテンツからリンク情報を抽出し、前記リンク情報によって特定されるリンク先コンテンツの格納先情報を含む管理情報を、前記リンク先コンテンツを識別するコンテンツ識別情報に関連づけて、前記管理情報格納手段に格納するリンク先抽出手段とを備え、
   前記管理情報格納手段は、
   前記要求受信手段によって受信された前記メタ情報に含まれる端末種別に該当する端末種別を有するものが前記管理情報の中に存在しない場合には、当該メタ情報から前記コンテンツのデータ内容を識別するための内容識別情報を抽出し、
   前記内容識別情報が同一である管理情報が格納されていない場合は、前記内容識別情報及び前記端末種別を含む管理情報を、前記コンテンツ識別情報に関連づけて格納する一方で、前記内容識別情報が同一である管理情報が既に格納されている場合は、当該管理情報を前記メタ情報に含まれる前記端末種別を追加するように更新し、
   さらに、前記コンテンツ収集手段によって収集されたコンテンツに基づいて、前記管理情報格納手段によって格納されている前記コンテンツに対応する管理情報を更新する、
   ことを特徴とするコンテンツ管理情報収集システム。
2. 前記要求受信手段は、前記情報通信端末からコンテンツ検索要求を受信し、当該コンテンツ検索要求に応じてコンテンツ検索結果を返信した後に、前記情報通信端末から前記コンテンツ検索結果に対応する前記コンテンツ要求を受信し、
   前記管理情報格納手段は、前記要求受信手段によって受信されたコンテンツ要求に基づいて、前記管理情報を格納するとともに、前記管理情報を前記コンテンツ要求に基づいて逐次更新する、
   ことを特徴とする請求項１記載のコンテンツ管理情報収集システム。
3. 前記要求受信手段は、前記情報通信端末との間で、前記情報通信端末から前記通信網に送信されるコンテンツ要求、及び当該コンテンツ要求に応じて前記通信網から返信されるコンテンツを中継し、
   前記管理情報格納手段は、前記情報中継手段によって中継されたコンテンツ要求及びコンテンツに基づいて、前記管理情報を格納するとともに、前記管理情報を前記コンテンツに基づいて逐次更新する、
   ことを特徴とする請求項１記載のコンテンツ管理情報収集システム。
4. 前記管理情報格納手段は、前記コンテンツに含まれるメタ情報から前記コンテンツの格納状態を示す状態情報を抽出し、前記状態情報を前記管理情報に含めて格納し、
   前記コンテンツ収集手段は、前記管理情報に含まれる前記状態情報に基づいて前記コンテンツが収集可能か否かを判定することにより、収集対象のコンテンツを特定する、
   ことを特徴とする請求項３記載のコンテンツ管理情報収集システム。
5. 前記管理情報格納手段は、前記コンテンツに含まれるメタ情報から前記コンテンツの更新有無を識別するための更新情報を抽出し、前記更新情報を前記管理情報に含めて格納し、
   前記コンテンツ収集手段は、前記管理情報に含まれる前記更新情報に基づいて前記コンテンツの更新有無を判定することにより、収集対象のコンテンツを特定する、
   ことを特徴とする請求項３又は４記載のコンテンツ管理情報収集システム。
6. 前記管理情報格納手段は、前記コンテンツに含まれるメタ情報から前記コンテンツの種別を示す種別情報を抽出し、
   前記コンテンツ収集手段は、前記種別情報に基づいて前記コンテンツが分析可能か否かを判定することにより、収集対象のコンテンツを特定する、
   ことを特徴とする請求項３〜５のいずれか一項に記載のコンテンツ管理情報収集システム。
7. 前記コンテンツ収集手段は、前記要求受信手段によって受信された前記コンテンツ要求に基づいて、前記コンテンツの収集頻度を集計し、前記収集頻度に基づいて前記コンテンツの重要度を判別することにより、収集対象のコンテンツを特定する、
   ことを特徴とする請求項１〜６のいずれか一項に記載のコンテンツ管理情報収集システム。
8. 前記コンテンツ収集手段は、前記要求受信手段によって受信された前記コンテンツ要求に基づいて、前記コンテンツの収集頻度を集計し、前記収集頻度に基づいて前記コンテンツの優先度を決定することにより、前記収集対象のコンテンツを前記優先度に応じて収集する、
   ことを特徴とする請求項１〜６のいずれか一項に記載のコンテンツ管理情報収集システム。
9. 前記コンテンツ収集手段は、前記収集対象のコンテンツ毎に前記コンテンツ収集手段による収集回数を一定時間カウントし、前記収集回数が閾値を超えていないコンテンツを収集する、
   ことを特徴とする請求項１〜８のいずれか一項に記載のコンテンツ管理情報収集システム。
10. 要求受信手段が、通信網内からコンテンツを受信する情報通信端末からコンテンツの受信を要求するコンテンツ要求を受信するとともに、前記通信網内のコンテンツを配信するサーバ及び前記情報通信端末から前記コンテンツに関するメタ情報を受信する要求受信ステップと、
    管理情報格納手段が、前記要求受信手段によって受信されたコンテンツ要求及び前記メタ情報に基づいて、前記コンテンツの格納先情報と前記情報通信端末の種別を示す端末種別とを含む管理情報を、前記コンテンツを識別するコンテンツ識別情報に関連づけて格納するとともに、前記管理情報を前記コンテンツ要求に基づいて逐次更新する管理情報格納ステップと、
    コンテンツ収集手段が、前記管理情報格納手段によって格納された前記管理情報を参照することにより、収集対象のコンテンツに対応する格納先情報を特定し、当該特定された格納先情報に基づいて前記格納先情報に対応するコンテンツを前記通信網から収集するコンテンツ収集ステップと、
    リンク先抽出手段が、前記コンテンツ収集手段によって収集されたコンテンツからリンク情報を抽出し、前記リンク情報によって特定されるリンク先コンテンツの格納先情報を含む管理情報を、前記リンク先コンテンツを識別するコンテンツ識別情報に関連づけて、前記管理情報格納手段に格納するリンク先抽出ステップとを備え、
    前記管理情報格納ステップでは、
    前記要求受信手段によって受信された前記メタ情報に含まれる端末種別に該当する端末種別を有するものが前記管理情報の中に存在しない場合には、当該メタ情報から前記コンテンツのデータ内容を識別するための内容識別情報を抽出し、
    前記内容識別情報が同一である管理情報が格納されていない場合は、前記内容識別情報及び前記端末種別を含む管理情報を、前記コンテンツ識別情報に関連づけて格納する一方で、前記内容識別情報が同一である管理情報が既に格納されている場合は、当該管理情報を前記メタ情報に含まれる前記端末種別を追加するように更新し、
    さらに、前記コンテンツ収集手段によって収集されたコンテンツに基づいて、前記管理情報格納手段によって格納されている前記コンテンツに対応する管理情報を更新する、
    ことを特徴とするコンテンツ管理情報収集方法。

Images