JP5084820B2 - クロールシステム、サーバ及び有害ｕｒｌリスト更新方法 - Google Patents

Description

本発明は、インターネット上のＷｅｂページを取得するクロールシステム、サーバ及び有害ＵＲＬリスト更新方法に関する。

従来、端末からＷｅｂページの送信要求情報を受信したＷｅｂサーバは、原則的に送信要求情報に含まれるＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）に対応付けられているＷｅｂページを端末に送信する。しかし、Ｗｅｂページには、わいせつな画像データ、暴力的な表現を含んだ情報、犯罪に関する情報等の不良なデータ又は有害なデータが含まれている場合がある。

そこで、Ｗｅｂサーバと端末（クライアント装置）とを中継する管理サーバにおいて、有害なデータに含まれるキーワードを予め設定しておき、キーワードを含むＷｅｂサイトを検索サーバに検索させ、検索結果を取得してそこから抽出したＵＲＬを不良ＵＲＬとして登録する管理サーバが示されている（例えば、特許文献１参照）。特許文献１に記載の管理サーバでは、端末からコンテンツに対する送信要求の際に、要求のＵＲＬが不良ＵＲＬであるか否かを判定している。

特開２００４−４６７３９号公報

しかし、特許文献１に記載の管理サーバを使用する場合には、端末で有害か否かを判定しない。つまり、端末のユーザごとに有害であるか否かのレベルが異なる場合であっても、特許文献１に記載の管理サーバを使用する場合には、一律の判断しかできない。

また、特許文献１に記載の管理サーバは、端末からコンテンツの送信要求を受信して有害なＷｅｂページであるか否かを判断するので、管理サーバに処理が集中して管理サーバに負荷がかかる場合等、端末とのレスポンスが遅延することが懸念される。

本発明は、端末ごとに有害判定を行いつつ、迅速なレスポンスをも考慮したクロールシステム、サーバ及び有害ＵＲＬリスト更新方法を提供することを目的とする。

本発明者らは、端末から送信されたＵＲＬに基づき、そのＵＲＬが示すＷｅｂページが有害か否かを判定して、その結果を有害ＵＲＬリストとして端末に送信し、端末に判断させることで端末での迅速性を担保しつつ、端末でも独自の有害判定をさせることを見出し、本発明を完成するに至った。本発明は、具体的には次のようなものを提供する。

（１） 複数の端末とクロールサーバとが通信ネットワークを介して接続されたクロールシステムであって、
前記複数の端末の各々は、前記端末又は前記端末を使用するユーザの少なくともいずれかに関する端末ユーザ属性情報を含んだクエリにより取得したＷｅｂページが有害であるか否かを判定し、有害であると判定した場合に、前記Ｗｅｂページを示すＵＲＬを端末有害ＵＲＬリストに登録する端末有害ＵＲＬリスト登録手段と、
前記端末ユーザ属性情報を含んだクエリにより取得した前記Ｗｅｂページを示すＵＲＬを前記クロールサーバに送信するＵＲＬ送信手段と、
を備え、
前記クロールサーバは、
前記端末から送信された前記ＵＲＬを受信するＵＲＬ受信手段と、
前記ＵＲＬ受信手段が前記ＵＲＬを受信したことに応じて、前記ＵＲＬをクロール先リストに登録するクロール登録手段と、
前記クロール登録手段が所定の期間内に登録した前記ＵＲＬを前記クロール先リストから読み出して、前記端末ユーザ属性情報を含まないクエリにより、読み出した前記ＵＲＬが示すＷｅｂページを取得するクロール手段と、
前記クロール手段により取得した前記Ｗｅｂページが有害であるか否かを判定する有害判定手段と、
前記有害判定手段により有害であると判定されたことに応じて、前記Ｗｅｂページを示すＵＲＬを有害ＵＲＬリストに登録する有害ＵＲＬリスト登録手段と、
を備える、
クロールシステム。

本発明のこのような構成によれば、端末又は端末のユーザの少なくともいずれかに関する端末ユーザ属性情報を含んだクエリによりＷｅｂページを取得した端末からそのＷｅｂページを示すＵＲＬを受信してクロール先リストに登録し、クロール先リストのＵＲＬの端末ユーザ属性情報を含まないクエリによってＷｅｂページを取得してこのＷｅｂページが有害であるか否かを判定し、有害と判定された場合には、そのＷｅｂページを示すＵＲＬを有害ＵＲＬリストに登録する。

よって、クロールサーバは、端末から送信されたＵＲＬをクロール対象にして、端末ユーザ属性情報を除いたＵＲＬが示すＷｅｂページが有害か否かを判定するので、ユーザや端末に依存しない一般的な基準により有害か否かの判定を行うことができる。

また、本発明のこのような構成によれば、端末は、端末ユーザ属性情報を含んだクエリを用いて当該端末ユーザ属性情報に即した有害判定を行いつつ、その判定の対象になったＵＲＬについて、クロールサーバは、端末ユーザ属性情報を含まないクエリを用いて当該端末ユーザ属性情報の影響を排除して当該有害判定を行うことができるので、端末とクロールサーバとがそれぞれ異なる目的に応じた有害判定を効果的かつ効率的に行うことができる。

（２） 前記クロールサーバは、前記有害ＵＲＬリスト登録手段により登録された前記ＵＲＬを含む前記有害ＵＲＬリストを前記複数の端末に配信する有害ＵＲＬリスト配信手段を備え、
前記複数の端末の各々は、受け付けたクエリに含まれるＵＲＬが、前記クロールサーバから受信した前記有害ＵＲＬリストに含まれる場合に、前記ＵＲＬが示すＷｅｂページが有害であると判定する有害ＵＲＬ判定手段を備える、
（１）に記載のクロールシステム。

本発明のこのような構成によれば、端末においてＵＲＬが有害であるか否かを判定するために有害ＵＲＬリストを配信するので、一般的な基準により有害か否かの判定するＵＲＬを配信することで、端末では、配信された有害ＵＲＬリストを受信して、有害判定が必要なＵＲＬについて、受信した有害ＵＲＬリストに当該ＵＲＬが含まれていれば、そのＵＲＬが示すＷｅｂページを有害であると判定することができる。また、この配信された有害ＵＲＬリストを用いた判定を、当該ＵＲＬが示すＷｅｂページの内容を確認する前の段階で行うことで、端末での迅速性を担保することができる。

（３） 前記クロールサーバの前記有害判定手段は、前記Ｗｅｂページが有害であることを示す所定のキーワードを所定量以上含む場合に、前記Ｗｅｂページが有害であると判定する、
（１）又は（２）に記載のクロールシステム。

本発明のこのような構成によれば、Ｗｅｂページが有害であるか否かを、例えば、卑猥な単語等を含む所定のキーワードを所定量以上含む場合に、そのＷｅｂページが有害であると判定できる。

（４） 端末又は前記端末を使用するユーザの少なくともいずれかに関する端末ユーザ属性情報を含んだクエリによりＷｅｂページを取得する前記端末が送信した、前記Ｗｅｂページを示すＵＲＬを受信するＵＲＬ受信手段と、
前記ＵＲＬ受信手段が前記ＵＲＬを受信したことに応じて、前記ＵＲＬをクロール先リストに登録するクロール登録手段と、
前記クロール登録手段が所定の期間内に登録した前記ＵＲＬを前記クロール先リストから読み出して、前記端末ユーザ属性情報を含まないクエリにより、読み出した前記ＵＲＬが示すＷｅｂページを取得するクロール手段と、
前記クロール手段により取得した前記Ｗｅｂページが有害であるか否かを判定する有害判定手段と、
前記有害判定手段により有害であると判定されたことに応じて、前記Ｗｅｂページを示すＵＲＬを有害ＵＲＬリストに登録する有害ＵＲＬリスト登録手段と、
を備える、
クロールサーバ。

（５） 複数の端末と、前記複数の端末の各々に対して通信ネットワークを介して接続されたクロールサーバとの連携によって有害ＵＲＬリストを更新する有害ＵＲＬリスト更新方法であって、
前記複数の端末の各々が、前記端末又は前記端末を使用するユーザの少なくともいずれかに関する端末ユーザ属性情報を含んだクエリにより取得したＷｅｂページが有害であるか否かを判定し、有害であると判定した場合に、前記Ｗｅｂページを示すＵＲＬを端末有害ＵＲＬリストに登録するステップと、
前記複数の端末の各々が、前記端末ユーザ属性情報を含んだクエリにより取得した前記Ｗｅｂページを示すＵＲＬを前記クロールサーバに送信するステップと、
前記クロールサーバが、前記端末から送信された前記ＵＲＬを受信するステップと、
前記クロールサーバが、前記ＵＲＬを受信したことに応じて、前記ＵＲＬをクロール先リストに登録するステップと、
前記クロールサーバが、所定の期間内に登録した前記ＵＲＬを前記クロール先リストから読み出して、前記端末ユーザ属性情報を含まないクエリにより、読み出した前記ＵＲＬが示すＷｅｂページを取得するステップと、
前記クロールサーバが、取得した前記Ｗｅｂページが有害であるか否かを判定するステップと、
前記クロールサーバが、有害であると判定した前記Ｗｅｂページを示すＵＲＬを有害ＵＲＬリストに登録するステップと、
を含む、
有害ＵＲＬリスト更新方法。

本発明によれば、クロールサーバは、端末から送信されたＵＲＬをクロール対象にして、端末ユーザ属性情報を除いたＵＲＬが示すＷｅｂページが有害か否かを判定するので、クロールシステムは、ユーザや端末に依存しない一般的な基準により有害か否かの判定を行うことができる。

本実施形態に係るクロールシステムの全体構成並びにクロールサーバ及びユーザ端末の機能構成を示す図である。 本実施形態に係るクロール先リスト並びにクロールサーバ及び端末の有害ＵＲＬリストの例を示す図である。 本実施形態に係るクロールシステムのオンライン処理のフローチャートである。 本実施形態に係るＵＲＬの例を示す図である。 本実施形態に係るクロールシステムのバッチ処理のフローチャートである。

以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲は、これに限られるものではない。

（実施形態）
［クロールシステム１００の全体構成並びにクロールサーバ１及びユーザ端末３の機能構成］
図１は、本実施形態に係るクロールシステム１００の全体構成並びにクロールサーバ１及びユーザ端末３の機能構成を示す図である。図２は、本実施形態に係るクロール先リスト２１、有害ＵＲＬリスト２３及び有害ＵＲＬリスト４１の例を示す図である。

図１に示すクロールシステム１００は、クロールサーバ１と、複数のユーザ端末３と、Ｗｅｂサーバ５と、通信ネットワーク９とにより構成される。

クロールサーバ１は、ユーザ端末３から受信したＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を含むクロール先リスト２１（後述する）に基づいて、Ｗｅｂサーバ５を定期的に巡回してＷｅｂページを取得（クロール）する。そして、クロールサーバ１は、その取得したＷｅｂページが有害なＷｅｂページであるか否かを判定するサーバである。クロールサーバ１は、制御部１０と、記憶部２０とを備える。

制御部１０は、ＵＲＬ受信手段１１と、クロール登録手段１２と、クロール手段１３と、有害判定手段１４と、有害ＵＲＬリスト登録手段１５と、有害ＵＲＬリスト配信手段１６とを備える。

ＵＲＬ受信手段１１は、有害なＷｅｂページであるかのチェック対象であるＷｅｂページを示すＵＲＬをユーザ端末３から受信する制御部である。チェック対象のＷｅｂページとは、ユーザ端末３において、対象のＷｅｂページが記憶されたＷｅｂサーバ５のＵＲＬの後ろに端末ユーザ属性情報を追加したクエリによって取得されたＷｅｂページをいう。また、端末ユーザ属性情報とは、端末ＩＤ（ｉｄｅｎｔｉｆｉｅｒ）等の、そのユーザ端末３を特定する情報又はユーザＩＤ等のユーザ端末３を使用するユーザを特定する情報の少なくともいずれかを含むものをいう。なお、ＵＲＬ受信手段１１が受信するチェック対象のＷｅｂページを示すＵＲＬには、追加された端末ユーザ属性情報を含まない。

クロール登録手段１２は、ＵＲＬ受信手段１１によって受信したチェック対象のＷｅｂページを示すＵＲＬを、クロール先リスト２１に登録する制御部である。クロール登録手段１２は、オンライン処理にて行われ、ユーザ端末３の各々からＵＲＬを受信した都度記憶する。

クロール手段１３は、クロール先リスト２１を参照して、該当のＵＲＬのＷｅｂページを記憶するＷｅｂサーバ５に対してアクセスし、Ｗｅｂページを取得する制御部である。

有害判定手段１４は、クロール手段１３で取得したＷｅｂページが有害なキーワードを含むか否かを、有害キーワードＤＢ２２（ＤＢ：データベース）を参照して判定する制御部である。有害判定手段１４は、有害なキーワードを所定数（所定量）以上含む場合に、そのＷｅｂページが有害であると判定する。

有害ＵＲＬリスト登録手段１５は、有害判定手段１４において有害であると判定されたＷｅｂページを示すＵＲＬを、有害ＵＲＬリスト２３に追加登録する制御部である。

有害ＵＲＬリスト配信手段１６は、有害ＵＲＬリスト２３に追加登録されたＵＲＬを、ユーザ端末３に対して送信する制御部である。クロール手段１３、有害判定手段１４、有害ＵＲＬリスト登録手段１５及び有害ＵＲＬリスト配信手段１６は、バッチ処理にて所定の時間間隔で行われる。

記憶部２０は、クロール先リスト２１と、有害キーワードＤＢ２２と、有害ＵＲＬリスト２３とを備える。

クロール先リスト２１は、ユーザ端末３から受信したチェック対象であるＷｅｂページを示すＵＲＬを登録する記憶領域である。図２（ａ）に一例を示すように、クロール先リスト２１は、ＵＲＬ２１ａと、格納日２１ｂと、チェック済フラグ２１ｃとを備える。ＵＲＬ２１ａには、ユーザ端末３から受信したＵＲＬを格納する。格納日２１ｂには、クロール先リスト２１に登録した日付を格納する。チェック済フラグ２１ｃには、クロール手段１３によってクロールしたか否かのフラグを格納するが、「０」がクロール未済、「１」がクロール済を示す。なお、クロール先リスト２１は、チェック済フラグ２１ｃを有さずに、クロール手段１３による処理の後に、そのクロール対象のＵＲＬを削除してもよい。

有害キーワードＤＢ２２は、例えば、誹謗中傷や卑猥な単語、語句を含む、有害なＷｅｂページ特有のキーワードを記憶するＤＢである。この有害キーワードＤＢ２２には、一般的に有害と認められるキーワードを記憶する。

有害ＵＲＬリスト２３は、有害であると判定されたＷｅｂページを示すＵＲＬを追加登録する記憶領域である。図２（ｂ）は、有害ＵＲＬリスト２３の一例を示したものである。有害ＵＲＬリスト２３は、ＵＲＬ２３ａと、登録日２３ｂとを備える。ＵＲＬ２３ａには、有害であると判定されたＷｅｂページを示すＵＲＬを格納する。登録日２３ｂには、有害ＵＲＬリスト２３にＵＲＬを登録した日付を格納する。そして、有害ＵＲＬリスト２３に追加登録されたＵＲＬは、有害ＵＲＬリスト配信手段１６によって、例えば、ツールバーのプログラムに有害ＵＲＬリストとして含んで、各々のユーザ端末３に送信される。

本実施形態のクロールサーバ１のハードウェアは、一般的なコンピュータによって構成してもよい。一般的なコンピュータは、例えば、制御部１０として、中央処理装置（ＣＰＵ）を備える他、記憶部２０として、メモリ（ＲＡＭ、ＲＯＭ）、ハードディスク（ＨＤＤ）及び光ディスク（ＣＤ、ＤＶＤ等）を、ネットワーク通信装置として、各種有線及び無線ＬＡＮ装置を、表示装置として、例えば、液晶ディスプレイ、プラズマディスプレイ等の各種ディスプレイを、入力装置として、例えば、キーボード及びポインティング・デバイス（マウス、トラッキングボール等）を適宜備え、これらはバスラインにより接続されている。このような一般的なコンピュータにおいて、ＣＰＵは、クロールサーバ１を統括的に制御し、各種プログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、本発明に係る各種機能を実現している。

ユーザ端末３は、例えば、パーソナルコンピュータ（ＰＣ）や、携帯電話機等の携帯端末である。ユーザ端末３は、通信機能を有し、Ｗｅｂブラウザを搭載してＷｅｂページが閲覧できる端末であれば、どのような装置であってもよい。ユーザ端末３は、制御部３０と、記憶部４０とを備える。

制御部３０は、有害ＵＲＬ判定手段３１と、Ｗｅｂページ取得手段３２と、キーワード有害判定手段３３と、端末有害ＵＲＬリスト登録手段３４と、ＵＲＬ送信手段３５とを備える。

有害ＵＲＬ判定手段３１は、ユーザ端末３が受け付けたクエリに含まれるＵＲＬが、有害ＵＲＬリスト４１に登録されているか否かを判定する制御部である。有害ＵＲＬリスト４１に登録されている場合には、そのＵＲＬが示すＷｅｂページは有害なＷｅｂページであると判定して、ユーザ端末３は、Ｗｅｂサーバ５に対してＷｅｂページの取得をせずに処理を終了する。

Ｗｅｂページ取得手段３２は、有害ＵＲＬ判定手段３１においてＵＲＬが有害ＵＲＬリスト４１に登録されていないと判定された場合に、そのＵＲＬに基づきＷｅｂサーバ５に対してＷｅｂページを取得する制御部である。この場合には、Ｗｅｂページ取得手段３２は、ＵＲＬに端末ユーザ属性情報を含んだＷｅｂページの取得要求によって、Ｗｅｂページを取得する。

キーワード有害判定手段３３は、Ｗｅｂページ取得手段３２により取得したＷｅｂページが有害なキーワードを含むか否かを、有害キーワードＤＢ４２を参照して判定する制御部である。

端末有害ＵＲＬリスト登録手段３４は、キーワード有害判定手段３３によってＷｅｂページが有害なキーワードを含むと判定した場合に、そのＷｅｂページを示すＵＲＬを有害ＵＲＬリスト４１に登録する制御部である。

ＵＲＬ送信手段３５は、キーワード有害判定手段３３における判定に関係なく、Ｗｅｂページ取得手段３２によって取得されたＷｅｂページを示すＵＲＬをクロールサーバ１に対して送信する制御部である。この場合、クロールサーバ１に対して送信するＵＲＬには、Ｗｅｂページ取得手段３２にてＷｅｂページを取得する際に含んだ端末ユーザ属性情報を含まない。

記憶部４０は、有害ＵＲＬリスト４１と、有害キーワードＤＢ４２とを備える。

有害ＵＲＬリスト４１は、有害なＷｅｂページを示すＵＲＬを記憶する記憶領域である。クロールサーバ１から有害ＵＲＬリスト２３に追加登録された対象のＵＲＬを含む有害ＵＲＬリストが、例えば、Ｗｅｂブラウザのツールバーのプログラムに含んで配信されることで、ユーザ端末３は、受信した都度有害ＵＲＬリスト４１を更新する。また、有害ＵＲＬリスト４１は、端末有害ＵＲＬリスト登録手段３４によって登録されるＵＲＬを含む。

図２（ｃ）は、有害ＵＲＬリスト４１の一例を示したものである。有害ＵＲＬリスト４１に含む項目は、クロールサーバ１の有害ＵＲＬリスト２３と同様である。レコード４１ｘは、クロールサーバ１の有害ＵＲＬリスト２３に記憶されているものと同じである。レコード４１ｙは、端末有害ＵＲＬリスト登録手段３４によって登録されたものであり、各ユーザ端末３に独自のものである。よって、有害ＵＲＬリスト４１は、クロールサーバ１の有害ＵＲＬリスト２３に有するＵＲＬと、ユーザ端末３で独自に登録したＵＲＬとを含む。

有害キーワードＤＢ４２は、例えば、誹謗中傷や卑猥な単語、語句を含む有害なＷｅｂページ特有のキーワードを記憶するＤＢである。有害キーワードＤＢ４２は、ユーザ端末３のユーザごとに、有害であると判断する有害キーワードをカスタマイズすることができる。よって、有害キーワードＤＢ４２は、ユーザ端末３ごとにその内容が異なる。また、有害キーワードＤＢ４２と、クロールサーバ１の有害キーワードＤＢ２２とは、内容が異なるものになる。

Ｗｅｂサーバ５は、ユーザ端末３から閲覧可能な複数のＷｅｂページを格納するサーバであり、Ｗｅｂページを記憶する記憶部と、Ｗｅｂサーバ５の全体を制御する制御部とを備える。Ｗｅｂサーバ５のハードウェアは、一般的なコンピュータによって構成してよい。

通信ネットワーク９は、クロールサーバ１と、ユーザ端末３と、Ｗｅｂサーバ５との間で通信を行うための、例えば、インターネット等の通信回線である。通信ネットワーク９は、有線であってもよいし、その一部又は全部が無線であってもよい。

［クロールシステム１００の処理］
次に、クロールシステム１００の処理について説明する。ここでは、ユーザ端末３及びクロールサーバ１の処理について、ユーザ端末３でＵＲＬを指定したクエリ要求を受け付けた都度、即時に実行するオンライン処理と、所定の時間間隔で定期的に実行するバッチ処理とに分けて説明する。図３は、本実施形態に係るクロールシステム１００のオンライン処理のフローチャートである。図４は、本実施形態に係るＵＲＬの例を示す図である。図５は、本実施形態に係るクロールシステム１００のバッチ処理のフローチャートである。

図３のオンライン処理は、ユーザ端末３がＷｅｂブラウザを起動した状態で、クエリ要求を受け付けたことで開始する。

図３のＳ１：ユーザ端末３の制御部３０（有害ＵＲＬ判定手段３１）は、クエリ要求に含まれるＵＲＬが有害ＵＲＬリスト４１に存在するかか否かを判定する。クエリ要求に含まれるＵＲＬが有害ＵＲＬリスト４１に存在する場合（Ｓ１：ＹＥＳ）には、制御部３０は、処理をＳ２に移し、クエリ要求に含まれるＵＲＬが示すＷｅｂページは有害であると判定する。そして、制御部３０は、例えば、ユーザ端末３に有害なＷｅｂページのために閲覧できない旨を表示して、本処理を終了する。他方、クエリ要求に含まれるＵＲＬが有害ＵＲＬリスト４１に存在しない場合（Ｓ１：ＮＯ）には、制御部３０は、処理をＳ３に移す。

Ｓ３：制御部３０（Ｗｅｂページ取得手段３２）は、Ｗｅｂサーバ５に対してＷｅｂページの取得要求を行う。Ｗｅｂページの取得要求は、端末ユーザ属性情報を含んだＵＲＬを送信することで、ユーザ端末３が所望のＷｅｂページを取得できる。図４（ａ）に示すＵＲＬ５０は、端末ユーザ属性情報５１を含んでいる。そして、Ｗｅｂページ取得手段３２は、Ｗｅｂサーバ５から該当のＷｅｂページを取得する。

Ｓ４：制御部３０（キーワード有害判定手段３３）は、有害キーワードＤＢ４２を参照して、取得したＷｅｂページが有害なキーワードを所定数以上含むか否かを判定する。取得したＷｅｂページが有害なキーワードを所定数以上含む場合（Ｓ４：ＹＥＳ）には、制御部３０は、処理をＳ５に移し、当該Ｗｅｂページは有害であると判定する。その後、制御部３０は、処理をＳ６に移す。他方、取得したＷｅｂページが有害なキーワードを含まない場合（Ｓ４：ＮＯ）には、制御部３０は、当該Ｗｅｂページは有害ではないと判定する。そして、制御部３０は、処理をＳ７に移す。

Ｓ６：制御部３０（端末有害ＵＲＬリスト登録手段３４）は、有害であると判定したＷｅｂページを示すＵＲＬを、有害ＵＲＬリスト４１に登録する。

Ｓ７：制御部３０（ＵＲＬ送信手段３５）は、有害判定の対象になったＷｅｂページを示すＵＲＬを、クロールサーバ１に対して送信する。ここで、クロールサーバ１に送信するＵＲＬは、端末ユーザ属性情報を含まない。図４（ｂ）に示すＵＲＬ５２は、クロールサーバ１に送信するＵＲＬの一例であり、端末ユーザ属性情報５１が除かれたものである。

Ｓ７の処理では、ユーザ端末３で有害であると判定したＷｅｂページも、有害ではないと判定したＷｅｂページも、いずれの場合もそのＷｅｂページのＵＲＬをクロールサーバ１に送信している。これは、ユーザ端末３で取得したＷｅｂページは、ユーザ端末３の属性等を含んで取得したものであり、ユーザ端末３での判定結果が無害であっても、一般的に無害とは限らないからである。また、有害か無害かの判定は、グレーゾーンもあり、クロールサーバ１での判断基準とユーザ端末３での判断基準とは異なることが想定されるからである。

Ｓ１１：クロールサーバ１の制御部１０（ＵＲＬ受信手段１１）は、ユーザ端末３からＷｅｂページを示すＵＲＬを受信する。

Ｓ１２：制御部１０（クロール登録手段１２）は、受信したＵＲＬをクロール先リスト２１に登録する。その後、制御部１０は、処理を終了する。

次に、バッチ処理について説明する。図５のバッチ処理は、クロールサーバ１において、スケジューリングにあわせて、例えば、毎週末や３日おき等、定期的に実行される。

Ｓ２１：クロールサーバ１の制御部１０（クロール手段１３）は、クロール処理を行う。具体的には、クロール手段１３は、クロール先リスト２１に格納されたＵＲＬが示すＷｅｂサーバ５をクロール（巡回）することで、Ｗｅｂページを取得する。

Ｓ２２：制御部１０（有害判定手段１４）は、Ｗｅｂページを取得するごとに、取得したＷｅｂページが有害なキーワードを所定数以上含むか否かを判定する。Ｗｅｂページが有害なキーワードを所定数以上含む場合（Ｓ２２：ＹＥＳ）には、制御部１０は、処理をＳ２３に移す。他方、Ｗｅｂページが有害なキーワードを所定数以上は含まない場合（Ｓ２２：ＮＯ）には、制御部１０は、処理をＳ２４に移す。

Ｓ２３：制御部１０（有害ＵＲＬリスト登録手段１５）は、該当のＷｅｂページを示すＵＲＬを、有害ＵＲＬリスト２３に登録する。

Ｓ２４：制御部１０は、取得したすべてのＷｅｂページについて有害判定を行ったか否かを判定する。取得したすべてのＷｅｂページについて有害判定を行った場合（Ｓ２４：ＹＥＳ）には、制御部１０は、処理をＳ２５に移す。他方、すべてのＷｅｂページについて有害判定を行っていない場合（Ｓ２４：ＮＯ）には、制御部１０は、処理をＳ２２に移す。

Ｓ２５：制御部１０（有害ＵＲＬリスト配信手段１６）は、有害ＵＲＬリスト２３に追加されたＷｅｂページを示すＵＲＬを抽出した有害ＵＲＬリストを、ユーザ端末３の各々に配信する。

Ｓ３１：ユーザ端末３の制御部３０は、クロールサーバ１から送信された有害ＵＲＬリストを受信して、有害ＵＲＬリスト４１に追加登録する。その後、制御部３０は、本処理を終了する。

このように、クロールシステム１００は、クロールサーバ１がユーザ端末３から送信されたＵＲＬをクロール対象にして、端末ユーザ属性情報を除いたＵＲＬが示すＷｅｂページが有害か否かを判定するので、ユーザやユーザ端末３に依存しない一般的な基準による有害か否かの判定を行うことができる。そして、クロールサーバ１は、ユーザ端末３においてＵＲＬが有害であるか否かを判定するために有害ＵＲＬリストを配信するので、一般的な基準により有害か否かの判定するＵＲＬを配信することで、ユーザ端末３では、配信されたＵＲＬを受信して、そのＵＲＬが示すＷｅｂページを有害であると判定することができる。また、ユーザ端末３は、この配信された有害ＵＲＬリストを用いた判定をＷｅｂページの内容を確認する前の段階で行うことで、ユーザ端末３での迅速性を担保することができる。

また、クロールシステム１００は、ユーザ端末３では、端末ユーザ属性情報を含んだクエリを用い、クロールサーバ１では、端末ユーザ属性情報を含まないクエリを用いるので、ユーザ端末３とクロールサーバ１とがそれぞれ異なる目的に応じて、有害なＷｅｂページであるか否かの判定を効果的かつ効率的に行うことができる。

（変形形態）
本実施形態は、クロールサーバでの処理を、オンライン処理とバッチ処理とに分けて説明した。これは、発明時点でのクロールサーバ（Ｗｅｂサーバ）での処理に要する時間や負荷を考慮したものであるが、すべてをリアルタイムに処理してもよい。リアルタイムで処理をすることで、ユーザ端末においてクエリ要求に含まれるＵＲＬが示すＷｅｂページが一般的に有害であるか否かの判定を、クロールサーバ側でより早く確認し、その結果をその他のユーザ端末にもより速く配信することができる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１ クロールサーバ
３ ユーザ端末
５ Ｗｅｂサーバ
１０，３０ 制御部
１１ ＵＲＬ受信手段
１２ クロール登録手段
１３ クロール手段
１４ 有害判定手段
１５ 有害ＵＲＬリスト登録手段
１６ 有害ＵＲＬリスト配信手段
２０，４０ 記憶部
２１ クロール先リスト
２２，４２ 有害キーワードＤＢ
２３，４１ 有害ＵＲＬリスト
３１ 有害ＵＲＬ判定手段
３２ Ｗｅｂページ取得手段
３３ キーワード有害判定手段
３４ 端末有害ＵＲＬリスト登録手段
３５ ＵＲＬ送信手段

Claims (5)

1. 複数の端末とクロールサーバとが通信ネットワークを介して接続されたクロールシステムであって、
   前記複数の端末の各々は、前記端末又は前記端末を使用するユーザの少なくともいずれかに関する端末ユーザ属性情報を含んだクエリにより取得したＷｅｂページが有害であるか否かを判定し、有害であると判定した場合に、前記Ｗｅｂページを示すＵＲＬを端末有害ＵＲＬリストに登録する端末有害ＵＲＬリスト登録手段と、
   前記端末ユーザ属性情報を含んだクエリにより取得した前記Ｗｅｂページを示すＵＲＬを前記クロールサーバに送信するＵＲＬ送信手段と、
   を備え、
   前記クロールサーバは、
   前記端末から送信された前記ＵＲＬを受信するＵＲＬ受信手段と、
   前記ＵＲＬ受信手段が前記ＵＲＬを受信したことに応じて、前記ＵＲＬをクロール先リストに登録するクロール登録手段と、
   前記クロール登録手段が所定の期間内に登録した前記ＵＲＬを前記クロール先リストから読み出して、前記端末ユーザ属性情報を含まないクエリにより、読み出した前記ＵＲＬが示すＷｅｂページを取得するクロール手段と、
   前記クロール手段により取得した前記Ｗｅｂページが有害であるか否かを判定する有害判定手段と、
   前記有害判定手段により有害であると判定されたことに応じて、前記Ｗｅｂページを示すＵＲＬを有害ＵＲＬリストに登録する有害ＵＲＬリスト登録手段と、
   を備える、
   クロールシステム。
2. 前記クロールサーバは、前記有害ＵＲＬリスト登録手段により登録された前記ＵＲＬを含む前記有害ＵＲＬリストを前記複数の端末に配信する有害ＵＲＬリスト配信手段を備え、
   前記複数の端末の各々は、受け付けたクエリに含まれるＵＲＬが、前記クロールサーバから受信した前記有害ＵＲＬリストに含まれる場合に、前記ＵＲＬが示すＷｅｂページが有害であると判定する有害ＵＲＬ判定手段を備える、
   請求項１に記載のクロールシステム。
3. 前記クロールサーバの前記有害判定手段は、前記Ｗｅｂページが有害であることを示す所定のキーワードを所定量以上含む場合に、前記Ｗｅｂページが有害であると判定する、
   請求項１又は請求項２に記載のクロールシステム。
4. 端末又は前記端末を使用するユーザの少なくともいずれかに関する端末ユーザ属性情報を含んだクエリによりＷｅｂページを取得する前記端末が送信した、前記Ｗｅｂページを示すＵＲＬを受信するＵＲＬ受信手段と、
   前記ＵＲＬ受信手段が前記ＵＲＬを受信したことに応じて、前記ＵＲＬをクロール先リストに登録するクロール登録手段と、
   前記クロール登録手段が所定の期間内に登録した前記ＵＲＬを前記クロール先リストから読み出して、前記端末ユーザ属性情報を含まないクエリにより、読み出した前記ＵＲＬが示すＷｅｂページを取得するクロール手段と、
   前記クロール手段により取得した前記Ｗｅｂページが有害であるか否かを判定する有害判定手段と、
   前記有害判定手段により有害であると判定されたことに応じて、前記Ｗｅｂページを示すＵＲＬを有害ＵＲＬリストに登録する有害ＵＲＬリスト登録手段と、
   を備える、
   クロールサーバ。
5. 複数の端末と、前記複数の端末の各々に対して通信ネットワークを介して接続されたクロールサーバとの連携によって有害ＵＲＬリストを更新する有害ＵＲＬリスト更新方法であって、
   前記複数の端末の各々が、前記端末又は前記端末を使用するユーザの少なくともいずれかに関する端末ユーザ属性情報を含んだクエリにより取得したＷｅｂページが有害であるか否かを判定し、有害であると判定した場合に、前記Ｗｅｂページを示すＵＲＬを端末有害ＵＲＬリストに登録するステップと、
   前記複数の端末の各々が、前記端末ユーザ属性情報を含んだクエリにより取得した前記Ｗｅｂページを示すＵＲＬを前記クロールサーバに送信するステップと、
   前記クロールサーバが、前記端末から送信された前記ＵＲＬを受信するステップと、
   前記クロールサーバが、前記ＵＲＬを受信したことに応じて、前記ＵＲＬをクロール先リストに登録するステップと、
   前記クロールサーバが、所定の期間内に登録した前記ＵＲＬを前記クロール先リストから読み出して、前記端末ユーザ属性情報を含まないクエリにより、読み出した前記ＵＲＬが示すＷｅｂページを取得するステップと、
   前記クロールサーバが、取得した前記Ｗｅｂページが有害であるか否かを判定するステップと、
   前記クロールサーバが、有害であると判定した前記Ｗｅｂページを示すＵＲＬを有害ＵＲＬリストに登録するステップと、
   を含む、
   有害ＵＲＬリスト更新方法。

Images