JP5231604B2 - クロールサーバ及び方法 - Google Patents

Description

本発明は、クロールサーバ及び方法に関し、特に、ネットワーク上の文書や画像などの各種データを周期的に取得し、自動的にデータベース化するクローラのアクセス周期を調整するクロールサーバ及び方法に関する。

近年、ユーザがＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）上のＷｅｂページなどを検索しようとする際には、検索システムを利用することが一般的である。検索システムでは、ユーザからの検索要求に対して瞬時に検索結果を返信するために、クローラと呼ばれるプログラムを用いて対象となるＷｅｂページから情報を収集し、検索用のインデックスデータを予め生成しておくこととしている。

ところで、クローラは検索の対象となるＷｅｂページから常時情報を収集するわけではなく、離散的なタイミングで情報を収集するため、あるＷｅｂページについて一度情報を収集してから次に当該Ｗｅｂページの情報を収集するまでの間に当該Ｗｅｂページが更新された場合、検索用のインデックスデータにはその更新の内容が反映されない期間が生じることとなる。したがって、このような検索システムにおける検索精度は、インデックスデータの鮮度（収集したＷｅｂページの情報の新しさ）に左右されるため、近年では、インデックスデータの鮮度を向上させる様々な試みがなされている。
例えば、特許文献１には、Ｗｅｂページに対するクローラの巡回頻度をユーザのアクセス実態に基づいて変更することで、インデックスデータの鮮度を保つ検索システムが開示されている。この検索システムでは、ツールバー装置を利用してユーザが実際に閲覧したＷｅｂページを示す閲覧情報を収集し、この閲覧情報からクローラの巡回頻度を決定している。

また、近年、現在の状況や雑記などを記載した短い文章の投稿を受け付け他のユーザに閲覧・返信させることで、ユーザ間でコミュニケーションを図るＴＷＩＴＴＥＲ（登録商標）などを代表とするショートブログサービスが頻繁に利用されている。
１つの文章が短いショートブログは、投稿が容易であるため、ショートブログサービス内ではＷｅｂページに比べて非常に高い頻度で新たなショートブログが投稿されている。このとき、ショートブログの中には、Ｗｅｂページを引用して投稿されるものも多数あり、このようなショートブログを引用して新たなショートブログが投稿（リツイート）される結果、あるＷｅｂページがショートブログサービス内の多くのユーザに注目される場合がある。

特開２００９−０４８３８０号公報

ところで、上記特許文献１の検索システムでは、既に多くのユーザにより閲覧された後のＷｅｂページの巡回頻度を向上させるため、検索精度の向上といった観点からは、必ずしも適切とはいえなかった。また、近年、大きな注目を集めているショートブログサービス内の状況を検索結果に反映するものでもなく、検索精度の向上に対して更なる改善が求められていた。

そこで、本発明は、検索精度の更なる向上を実現するとともに、ショートブログサービス内で注目されているＷｅｂページ（ＵＲＬ）をＷＷＷ上のユーザに流通可能なクロールサーバ及び方法を提供することを目的とする。

（１） 予め定めたＵＲＬにアクセスし関連するデータを取得するクローラの前記ＵＲＬへのアクセス周期を調整するクロールサーバであって、所定の周期で、ショートブログサーバが管理するショートブログサービス内で前記所定の周期の間に投稿されたショートブログが引用するＵＲＬの引用頻度を、前記ＵＲＬごとに算出する引用頻度算出手段と、前記引用頻度算出手段が算出した前記引用頻度が所定値以上上昇したことに基づいて、当該ＵＲＬへのアクセス周期をより短く調整するスケジュール変更手段と、を備えるクロールサーバ。

（１）のクロールサーバによれば、ショートブログサービス内で投稿されたショートブログが引用するＵＲＬの引用頻度が所定値以上上昇したことに基づいて、クローラによる当該ＵＲＬへのアクセス周期をより短くなるように変更する。
ここで、Ｗｅｂページ（ＵＲＬ）がショートブログサービス内で多くのユーザに注目されている場合には、ショートブログが引用するＵＲＬの引用頻度が上昇するものと考えられる。このようなＷｅｂページは、近い将来においてショートブログサービス以外のＷＷＷ上のユーザも注目するものと予測されるため、本発明のクロールサーバでは、多くのユーザが閲覧を望むであろうＷｅｂページに対するクローラのアクセス周期をより短く調整する。
これにより、本発明のクロールサーバでは、ＷＷＷ上の検索システムの検索精度の更なる向上を図ることができるとともに、ショートブログサービス内の状況をＷＷＷ上の検索結果に反映（すなわち、ショートブログサービス内で注目されているＷｅｂページを流通）することができる。

（２） 前記スケジュール変更手段は、前記周期の間における引用頻度の上昇率が大きいほど、当該ＵＲＬへの前記アクセス周期を短く調整する、（１）に記載のクロールサーバ。

（２）のクロールサーバによれば、ショートブログサービス内で注目されているＷｅｂページ（ＵＲＬ）を、ＷＷＷ上のユーザに流通することができる。

（３） 前記スケジュール変更手段は、前記周期の間における引用頻度の下降率が大きいほど、当該ＵＲＬへの前記アクセス周期を長く調整する、（１）又は（２）に記載のクロールサーバ。

（３）のクロールサーバによれば、ショートブログサービス内で注目されていないＷｅｂページ（ＵＲＬ）に対しては、クローラのアクセス周期を長く調整するため、ショートブログサービス内の状況を適切に検索結果に反映できる。

（４） 前記スケジュール変更手段は、前記アクセス周期を変更した前記ＵＲＬの引用頻度の上昇率が特定値以下となった場合に、前記アクセス周期を変更前の周期に戻す、（１）から（３）のいずれかに記載のクロールサーバ。

（４）のクロールサーバによれば、ショートブログサービス内で注目が収まってくると、当該Ｗｅｂページ（ＵＲＬ）に対するクローラのアクセス周期を元に戻す。これにより、ショートブログサービス内の注目度にあった必要な期間だけ、Ｗｅｂ検索システムのクローラのアクセス周期を短くすることができ、アクセス周期を短くすることによる通信負荷の増加や検索システムのシステム負荷を適切に管理することができる。
なお、特定値以下の上昇率については管理者が適宜設定することができ、例えば、上昇率「０」としてもよく、また、マイナスの上昇率（下降）となった場合に、クローラのアクセス周期を元に戻すこととしてもよい。また、引用頻度自体は未だ上昇しているが上昇率は低下している場合（上昇が鈍化してきた場合）に、クローラのアクセス周期を元に戻すこととしてもよい。

（５） 前記スケジュール変更手段は、前記引用頻度算出手段が算出した前記引用頻度が所定値以上上昇したことに基づいて、当該ＵＲＬが示すＷｅｂページに含まれるリンク先ＵＲＬへのアクセス周期をより短く調整し、更に当該リンク先ＵＲＬが示すＷｅｂページに含まれるリンク先ＵＲＬへのアクセス周期をより短く調整する処理を所定回数繰り返す（１）から（４）のいずれかに記載のクロールサーバ。

（５）のクロールサーバによれば、ショートブログサービス内で多くのユーザに引用されているＷｅｂページ（ＵＲＬ）のみならず、当該Ｗｅｂページ（ＵＲＬ）に含まれるリンク先のＷｅｂページ（ＵＲＬ）についても、クローラのアクセス周期を短く調整することができる。したがって、当該引用されているＷｅｂページ（ＵＲＬ）を介して多くのユーザからクリックされ、閲覧される可能性の高い、当該引用されているＷｅｂページ（ＵＲＬ）から所定回数以内のクリック操作でリーチ可能なＷｅｂページ（ＵＲＬ）についても、クローラのアクセス周期を短く調整することができる。

（６） 前記スケジュール変更手段は、前記周期の間における引用頻度の上昇率が大きいほど、前記リンク先ＵＲＬへのアクセス周期をより短くする調整する処理をより多く繰り返す（５）に記載のクロールサーバ。

（６）のクロールサーバによれば、ショートブログサービス内で注目されているＷｅｂページ（ＵＲＬ）ほど、当該引用されているＷｅｂページ（ＵＲＬ）からより離れた範囲のＷｅｂページ（ＵＲＬ）についてもアクセス周期を短く調整することができる。したがって、より注目されているＷｅｂページ（ＵＲＬ）ほど、より多くのクリック操作を経てリーチ可能なＷｅｂページ（ＵＲＬ）についても、クローラのアクセス周期を短く調整することができる。

（７） 予め定めたＵＲＬにアクセスし関連するデータを取得するクローラの前記ＵＲＬへのアクセス周期を調整する方法であって、コンピュータが実行する、所定の周期で、ショートブログサーバが管理するショートブログサービス内で前記所定の周期の間に投稿されたショートブログが引用するＵＲＬの引用頻度を、前記ＵＲＬごとに算出するステップと、算出した前記引用頻度が所定値以上上昇したことに基づいて、当該ＵＲＬへのアクセス周期をより短く調整するステップと、を含む方法。

（７）の方法によれば、（１）のクロールサーバと同様の効果を奏する。

本発明によれば、検索精度の更なる向上を実現するとともに、ショートブログサービス内で注目されているＷｅｂページ（ＵＲＬ）をＷＷＷ上のユーザに流通することができる。

本発明のクロールサーバの機能構成を示すブロック図である。 引用頻度データベースを示す図である。 スケジュールデータベースを示す図である。 本発明のクロールサーバの動作を示す図である。 本発明のクロールサーバの処理の流れを示すフローチャートである。 本発明のクロールサーバの処理の流れを示すフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。

［クロールサーバ１の構成］
初めに、図１を参照して、本発明のクロールサーバ１の機能構成について説明する。
本発明のクロールサーバ１は、ショートブログサービスを管理するショートブログサーバ１００と通信可能に接続され、スケジュール調整部１０と、クロール部２０と、を含んで構成される。
なお、ショートブログサーバ１００は、ショートブログサービス内で投稿されたショートブログを記憶するショートブログデータベース１１０を含む。ここで、ショートブログサービス内で投稿されたショートブログは、文字数制限（例えば、１４０文字以内）のあるテキスト情報を含み、このテキスト情報には、ユーザが作成したコメントに加え、Ｗｅｂページの所在を示すＵＲＬが含まれる場合がある。そのため、ショートブログデータベース１１０には、ＵＲＬを含むショートブログが記憶される。

＜スケジュール調整部１０＞
スケジュール調整部１０は、クロール部２０（クローラ２１）のＷｅｂページ（ＵＲＬ）へのアクセス周期を調整するため、引用頻度算出手段１１と、スケジュール変更手段１２と、引用頻度データベース１３と、スケジュールデータベース１４と、を含んで構成される。

引用頻度算出手段１１は、所定の周期でショートブログサーバ１００のショートブログデータベース１１０にアクセスし、ショートブログサービス内で投稿されたショートブログのうちＵＲＬを引用する（含む）ショートブログを抽出する。このとき、本発明では、引用頻度の変化（上昇率）を算出することとしているため、引用頻度算出手段１１は、所定の周期の間の差分（新たに投稿されたショートブログ）のみを抽出する。
引用頻度算出手段１１は、所定の周期の間に投稿されたＵＲＬを引用するショートブログを抽出すると、ＵＲＬごとに、当該所定の周期の間にショートブログに引用された回数など（引用頻度、上昇率など）を算出する。
ここで、所定の周期については、管理者が任意に設定することができる。なお、１つの文章が短いショートブログは、投稿が容易であるため、ショートブログサービス内ではＷｅｂページに比べて非常に短い頻度で新たなショートブログが投稿されている。そのため、引用頻度算出手段１１は、比較的短い周期（例えば、１時間ごとなどのように、一日のうちに数度）でショートブログデータベース１１０にアクセスすることが好ましい。

また、引用頻度算出手段１１は、算出した引用頻度などの情報を引用頻度データベース１３に記憶する。
ここで、図２を参照して、引用頻度データベース１３について説明する。引用頻度データベース１３は、ＵＲＬごとに引用頻度算出手段１１により算出された各種情報、例えば、引用頻度（引用回数）や引用頻度の上昇率（変化）を記憶する。
なお、本発明では、ショートブログサービス内のＵＲＬの引用頻度の変化に基づいて、クローラ２１のアクセス周期を変更することとしているが、引用頻度の変化は、引用頻度の多少により大きな影響を受ける（例えば、０から１に変化した場合には、無限大の上昇となる）。そこで、本実施形態では、引用頻度の上昇率を引用頻度で補正した上昇スコアを引用頻度データベース１３に記憶し、このような上昇スコアに基づいて、対応するＵＲＬの引用頻度が急上昇中であるか、急下降中であるかを判定することとしている。本実施形態では、例えば、上昇スコアが「＋２０以上」である場合に、急上昇中であると判定され、上昇スコアが「−２０以下」である場合に、急下降中であると判定される。このような急上昇中（急下降中）であるか否かの判定についても、引用頻度算出手段１１が算出し、引用頻度データベース１３に記憶しておくこととしてもよい。
引用頻度の上昇率の補正は、任意の方法で行うことができ、また、補正することなく引用頻度の上昇率のみで急上昇中であるか否かなどを判定することも、本発明に含まれる。

スケジュール変更手段１２は、引用頻度の上昇率（より詳細には上昇スコア）に基づいて、対応するＵＲＬへのクローラ２１のアクセス周期を調整する。なお、アクセス周期の調整の程度については、管理者が任意に設定することができる。

具体的には、スケジュール変更手段１２は、引用頻度の上昇率（上昇スコア）が所定値以上（すなわち、急上昇中と判定）であることを条件に、対応するＵＲＬへのクローラ２１のアクセス周期をより短く調整することができる。このとき、スケジュール変更手段１２は、上昇スコアが大きいほど、対応するＵＲＬへのクローラ２１のアクセス周期を短く調整することとしてもよい。図２を参照して、ＵＲＬ１の上昇スコアは「＋３５」であり、ＵＲＬ２の上昇スコアは「＋２２」である。そこで、スケジュール変更手段１２は、ＵＲＬ１へのクローラ２１のアクセス周期を、ＵＲＬ２へのクローラ２１のアクセス周期よりも短く調整することとしてもよい。
また、スケジュール変更手段１２は、引用頻度の下降率（上昇スコアのマイナスの値の絶対値）が所定値以上（すなわち、急下降中と判定）であることを条件に、対応するＵＲＬへのクローラ２１のアクセス周期をより長く調整することとしてもよい。このとき、スケジュール変更手段１２は、下降率が大きいほど、対応するＵＲＬへのクローラ２１のアクセス周期を長く調整することとしてもよい。
また、スケジュール変更手段１２は、引用頻度の上昇率又は下降率が特定値以下（上昇スコアの絶対値が特定値以下）となることを条件に、対応するＵＲＬへのクローラ２１のアクセス周期を変更前の周期に戻すこととしてもよい。このとき、特定値以下の上昇率（下降率）については、管理者が任意に設定することができ、例えば、上昇率「０」としてもよく、また、上昇から下降に転じた場合や下降から上昇に転じた場合の値としてもよく、また、上昇や下降の割合が鈍化してきた場合の値（ＵＲＬ１を参照して、上昇スコア「＋３５」から「＋２５（未だ急上昇中）」となった場合）などとしてもよい。

また、スケジュール変更手段１２は、変更したアクセス周期などの情報をスケジュールデータベース１４に記憶する。
ここで、図３を参照して、スケジュールデータベース１４について説明する。スケジュールデータベース１４は、ＵＲＬごとにクローラ２１のアクセス周期を記憶する。ここで、スケジュールデータベース１４は、変更前及び変更後のアクセス周期を記憶することとしてもよい。なお、スケジュールデータベース１４は、変更前のアクセス周期として、ＵＲＬごとに基本となるアクセス周期を記憶しておくこととしてもよい。
図２及び図３を参照して、急上昇中と判定された「ＵＲＬ１」及び「ＵＲＬ２」のアクセス周期が短く変更され、急下降中と判定された「ＵＲＬ３」のアクセス周期が長く変更されている。特に、上昇スコアのより大きい「ＵＲＬ１」のアクセス周期は、「ＵＲＬ２」のアクセス周期よりも短く変更されている。

＜クロール部２０＞
クロール部２０は、ＷＷＷ上の検索システムに用いるインデックスデータを生成するため、クローラ２１と、インデックスデータベース２２と、を含んで構成される。

クローラ２１は、スケジュールデータベース１４に記憶されたアクセス周期に従い、ＷＷＷ上のＷｅｂページにアクセスし、各種データを収集するとともに、収集した各種データから、検索システムに用いるインデックスデータを生成する。
インデックスデータベース２２は、クローラ２１により生成されたインデックスデータを記憶し、ユーザから検索要求を受けた際に参照される。検索システムでは、インデックスデータベース２２に記憶されたインデックスデータを用いることで、ユーザからの検索要求に対して瞬時に検索結果を返信する。

＜クロールサーバ１の動作＞
続いて、図４を参照して、本発明のクロールサーバ１の動作について説明する。
ユーザＵ１が「ＵＲＬ１」を引用するショートブログを投稿し、当該ショートブログを引用してユーザＵ２，Ｕ３，Ｕ４などの多くのユーザが新たなショートブログを投稿（リツイート）したため、ショートブログサービス内でＵＲＬ１の引用頻度が急上昇し、ＵＲＬ１（Ｗｅｂページ）が大きな注目を集めている。このような注目を集めるＵＲＬ１が取り扱う出来事は、ショートブログサービス以外のサービスを利用するユーザにも注目されるものであり、図４では、ＷＷＷ上のユーザＵ１１が検索システムを用いて当該出来事を取り扱うＷｅｂページを検索しようとしている。

このとき、図４（１）に示すように、クローラ２１のＵＲＬ１へのアクセス周期が長い場合、多くのユーザに注目されている期間中にクローラ２１がＵＲＬ１にアクセスするとは限らず、インデックスデータの鮮度（反映するＵＲＬの情報の新しさ）が悪くなる。その結果、ユーザＵ１１が検索したとしても、多くのユーザに注目されているＵＲＬ１を検索結果として提供できない可能性がある。あるいは、更新されたＵＲＬ１（Ｗｅｂページ）に追加されたキーワードに係る検索クエリに対応できない可能性がある。

そこで、本発明のクロールサーバ１では、引用頻度算出手段１１がショートブログサービス内の引用頻度の変化を算出し、算出した引用頻度の変化からスケジュール変更手段１２がクローラ２１のアクセス周期を変更する。
これにより、クローラ２１は、ショートブログサービス内で注目度が高い期間中にＵＲＬ１にアクセスすることができ、インデックスデータの鮮度を良くすることができる。その結果、ＷＷＷ上のユーザＵ１１が、ショートブログサービス内で多くのユーザに注目されているＵＲＬ１を検索した場合であっても、当該ＵＲＬ１（Ｗｅｂページ）を検索結果として適切に提供することができる。あるいは、更新されたＵＲＬ１（Ｗｅｂページ）に追加されたキーワードに係る検索クエリにタイムリーに対応して、ＵＲＬ１（Ｗｅｂページ）を適切に検索結果として提供することができる。すなわち、本発明のクロールサーバ１では、ショートブログサービス内で注目されているＵＲＬを、他のサービスに流通することができる。

［クロールサーバ１のハードウェア構成］
以上説明したクロールサーバ１のハードウェアは、１又は複数の一般的なコンピュータによって構成することができる。一般的なコンピュータは、例えば、制御部として、中央処理装置（ＣＰＵ）を備える他、記憶部として、メモリ（ＲＡＭ、ＲＯＭ）、ハードディスク（ＨＤＤ）及び光ディスク（ＣＤ、ＤＶＤなど）を、ネットワーク通信装置として、各種有線及び無線ＬＡＮ装置を、表示装置として、例えば、液晶ディスプレイ、プラズマディスプレイなどの各種ディスプレイを、入力装置として、例えば、キーボード及びポインティング・デバイス（マウス、トラッキングボールなど）を適宜備え、これらは、バスラインにより接続されている。このような一般的なコンピュータにおいて、ＣＰＵは、クロールサーバ１を統括的に制御し、各種プログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、本発明に係る各種機能を実現している。

［クロールサーバ１の処理］
続いて、図５及び図６を参照して、本発明のクロールサーバ１の処理について説明する。

＜スケジュール調整処理＞
図５を参照して、クロールサーバ１によるスケジュール調整処理について説明する。
Ｓ１，Ｓ２：引用頻度算出手段１１は、管理者が設定した周期でショートブログデータベース１１０にアクセスし、当該期間内にショートブログサービス内で引用された回数（引用頻度）を、ＵＲＬごとに算出する（Ｓ１）。続いて、引用頻度算出手段１１は、前回周期時からの引用頻度の変化（上昇率／下降率）に基づいて、ショートブログサービス内における対応するＵＲＬの引用頻度が急上昇中であるか、急下降中であるかを判定する（Ｓ２）。このとき、引用頻度算出手段１１は、引用頻度の変化を引用頻度で補正した上昇スコアを算出し、当該上昇スコアに基づいて、急上昇中であるか、急下降中であるかを判定することとしてもよい。

Ｓ３：続いて、スケジュール変更手段１２は、Ｓ１，Ｓ２で算出された引用頻度の変化に基づいて、クローラ２１のアクセス周期の変更を行う。詳細は図６を参照して説明するが、この処理では、スケジュール変更手段１２は、例えば、引用頻度が急上昇中のＵＲＬに対するアクセス周期を短くするとともに、引用頻度の急上昇が鈍化したＵＲＬに対するアクセス周期を変更前に戻すなどの処理を行う。

＜スケジュール調整処理＞
図６を参照して、クロールサーバ１によるアクセス周期変更処理の詳細について説明する。
Ｓ１１〜Ｓ１３：スケジュール変更手段１２は、前回の周期時にアクセス周期を変更したＵＲＬであるか否かを判定する（Ｓ１１）。このとき、前回の周期時にアクセス周期を変更したＵＲＬである場合には、スケジュール変更手段１２は、上昇スコアの絶対値が特定値以下であるか否かを判定し（Ｓ１２）、特定値以下であるＵＲＬについては、アクセス周期を変更前の周期に戻し、スケジュール調整処理を終了する。

Ｓ１４，Ｓ１５：他方、前回の周期時にアクセス周期を変更していないＵＲＬや、変更していたとしても上昇スコアの絶対値が特定値以上のＵＲＬについては、スケジュール変更手段１２は、ショートブログサービス内での引用頻度が急上昇中であるか否かを判定する（Ｓ１４）。このとき、急上昇中であるＵＲＬについては、スケジュール変更手段１２は、上昇スコアが高い（上昇）ほど短くなるようにアクセス周期を短縮し（Ｓ１５）、スケジュール調整処理を終了する。

Ｓ１６、Ｓ１７：他方、急上昇中でないＵＲＬについては、スケジュール変更手段１２は、ショートブログサービス内での引用頻度が急下降中であるか否かを判定する（Ｓ１６）。このとき、急下降中であるＵＲＬについては、スケジュール変更手段１２は、上昇スコアが低い（下降）ほど長くなるようにアクセス周期を延長し（Ｓ１７）、スケジュール調整処理を終了する。

［クロールサーバ１の効果］
近年、新たに登場したサービスであるショートブログは投稿が容易であり、また、リツイートなどの形で他人のショートブログを引用した新たなショートブログが次々と投稿されるため、あるＵＲＬ（Ｗｅｂページ）に対する注目度は、従来にない速度で急上昇することがある。
この点、本発明のクロールサーバ１によれば、ショートブログサービス内で投稿されるショートブログでの引用頻度が急上昇したＵＲＬ（Ｗｅｂページ）については、検索システムのクローラ２１がより頻繁にアクセスするように、アクセス周期を短縮する。

これにより、近い将来においてショートブログサービス以外のＷＷＷ上のユーザが注目するものと予測されるＷｅｂページを適切にインデックスデータに反映でき、ＷＷＷ上の検索システムの検索精度の更なる向上を図ることができる。すなわち、従来にない速度で急激に変化する注目度に対応した検索結果をユーザに提供することができ、ショートブログサービス内で注目されているＷｅｂページをＷＷＷ上のユーザに流通することができる。

また、クロールサーバ１では、ショートブログでの引用頻度が急下降したＵＲＬ（Ｗｅｂページ）については、クローラ２１のアクセス周期を長く調整するため、ショートブログサービス内の注目度を適切に検索結果に反映できる。

また、クロールサーバ１では、ショートブログでの引用頻度が特定値以下となったＵＲＬ（Ｗｅｂページ）に対しては、クローラ２１のアクセス周期を元に戻す。これにより、ショートブログサービス内の注目度にあった必要な期間だけ、クローラ２１のアクセス周期を短くすることができ、アクセス周期を短くすることによる通信負荷の増加や検索システムのシステム負荷を適切に管理することができる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

上記実施形態では、ショートブログサービス内での引用頻度の上昇率（急上昇スコア）が大きいＵＲＬ（Ｗｅｂページ）についてのみクローラ２１のアクセス周期をより短くすることとしているが、これに限られるものではない。例えば、当該Ｗｅｂページで設定されたリンクに基づいて到達可能なＷｅｂページ（リンク先ＵＲＬにより特定されるＷｅｂページ）についても、クローラ２１のアクセス周期をより短く調整することとしてもよい。
このとき、クローラ２１のアクセス周期をより短く調整するＷｅｂページの範囲は、引用頻度の上昇率（急上昇スコア）に基づいて決定することとしてもよい。すなわち、引用頻度の上昇率（急上昇スコア）が大きいほど、広い範囲のＷｅｂページ（急上昇したＷｅｂページからより多くのクリック操作で到達可能な範囲のＷｅｂページ）のアクセス周期をより短く調整することとしてもよい。より具体的には、引用頻度の上昇率（急上昇スコア）が第１の値である場合には、当該ＵＲＬ（Ｗｅｂページ）に含まれるリンク先ＵＲＬにより特定されるＷｅｂページまでクローラ２１のアクセス周期をより短く調整する一方で、引用頻度（急上昇スコア）が第１の値よりも大きい第２の値である場合には、リンク先ＵＲＬにより特定されるＷｅｂページだけでなく、当該リンク先ＵＲＬにより特定されるＷｅｂページで設定されたリンクに基づいて到達可能なＷｅｂページにまでクローラ２１のアクセス周期をより短く調整することとしてもよい。
そこで、スケジュール変更手段１２は、引用頻度算出手段１１が算出した引用頻度が所定値以上上昇したことに基づいて、当該ＵＲＬが示すＷｅｂページに含まれるリンク先ＵＲＬへのアクセス周期をより短く調整し、更に当該リンク先ＵＲＬが示すＷｅｂページに含まれるリンク先ＵＲＬへのアクセス周期をより短く調整する処理を所定回数繰り返す、こととしてもよい。このとき、スケジュール変更手段１２は、リンク先ＵＲＬへのアクセス周期をより短く調整する処理を繰り返す所定回数を、周期の間における引用頻度の上昇率が大きいほど、より多く繰り返す、こととしてもよい。

１ クロールサーバ
１０ スケジュール調整部
１１ 引用頻度算出手段
１２ スケジュール変更手段
１３ 引用頻度データベース
１４ スケジュールデータベース
２０ クロール部
２１ クローラ
２２ インデックスデータベース
１００ ショートブログサーバ
１１０ ショートブログデータベース

Claims (6)

1. 予め定めたＵＲＬにアクセスし関連するデータを取得するクローラの前記ＵＲＬへのアクセス周期を調整するクロールサーバであって、
   所定の周期で、ショートブログサーバが管理するショートブログサービス内で前記所定の周期の間に投稿されたショートブログが引用するＵＲＬの引用頻度を、前記ＵＲＬごとに算出する引用頻度算出手段と、
   前記引用頻度算出手段が算出した前記引用頻度が所定値以上上昇したことに基づいて、当該ＵＲＬへのアクセス周期をより短く調整し、当該ＵＲＬが示すＷｅｂページに含まれるリンク先ＵＲＬへのアクセス周期をより短く調整し、更に当該リンク先ＵＲＬが示すＷｅｂページに含まれるリンク先ＵＲＬへのアクセス周期をより短く調整する処理を所定回数繰り返すスケジュール変更手段と、
   を備えるクロールサーバ。
2. 前記スケジュール変更手段は、前記周期の間における引用頻度の上昇率が大きいほど、当該ＵＲＬへの前記アクセス周期を短く調整する、
   請求項１に記載のクロールサーバ。
3. 前記スケジュール変更手段は、前記周期の間における引用頻度の下降率が大きいほど、当該ＵＲＬへの前記アクセス周期を長く調整する、
   請求項１又は２に記載のクロールサーバ。
4. 前記スケジュール変更手段は、前記アクセス周期を変更した前記ＵＲＬの引用頻度の上昇率が特定値以下となった場合に、前記アクセス周期を変更前の周期に戻す、
   請求項１から３のいずれかに記載のクロールサーバ。
5. 前記スケジュール変更手段は、前記周期の間における引用頻度の上昇率が大きいほど、前記リンク先ＵＲＬへのアクセス周期をより短くする調整する処理をより多く繰り返す請求項１から４のいずれかに記載のクロールサーバ。
6. 予め定めたＵＲＬにアクセスし関連するデータを取得するクローラの前記ＵＲＬへのアクセス周期を調整する方法であって、
   コンピュータが実行する、
   所定の周期で、ショートブログサーバが管理するショートブログサービス内で前記所定の周期の間に投稿されたショートブログが引用するＵＲＬの引用頻度を、前記ＵＲＬごとに算出するステップと、
   算出した前記引用頻度が所定値以上上昇したことに基づいて、当該ＵＲＬへのアクセス周期をより短く調整し、当該ＵＲＬが示すＷｅｂページに含まれるリンク先ＵＲＬへのアクセス周期をより短く調整し、更に当該リンク先ＵＲＬが示すＷｅｂページに含まれるリンク先ＵＲＬへのアクセス周期をより短く調整する処理を所定回数繰り返すステップと、
   を含む方法。

Images