JP5165720B2 - スパムブログ抽出装置及び方法 - Google Patents

Description

本発明は、スパムブログ抽出装置及び方法に関する。

従来、特定のサイトへ誘導することを目的として、自動的に作成して投稿する「スパムブログ」と呼ばれるブログが存在する。スパムブログは、「スプログ」（ｓｐｌｏｇ）とも呼ばれる。このスパムブログは、インターネットにおいて様々な問題が生じる危険性がある。例えば、ブログサービス提供業者にとって、スパムブログは、サーバや回線を高負荷にするため、サービスに支障が出る危険性がある。また、企業等は、自社の製品や情報がどの程度の検索ランクになっているのか知りたいニーズが存在する。しかし、スパムブログによって検索ランクが狂わされてしまうという危険性がある。そして、スパムブログによって、例えば、検索サービスからユーザの欲する情報に到達できなくなる危険性がある。

このようなスパムブログに対する対策として、スパムであると判定するいくつかの方法が開示されている。例えば、特許文献１に記載の方法は、機械的に大量生産されたスパム投稿を発見するものである。その方法は、リンク数と段落数から求めた文書の構造定型性スコア、発信者単位の文書におけるリンクの被参照最大数の割合から求めた内容定型性スコア、及び文書の時刻の偏差である時刻定型性スコアと、予め設定されている閾値とを比較して、所定の値以上に定型的に作成されていると見做せる場合に、発信文書の発信源がスパムであると判定するものである。

特開２００９−３０１１３９号公報

しかし、特許文献１に記載のように、スパムブログそのもののパターンに着目する方法では、次々に新しい未知のスパムのパターンが出現し、消滅するスパムブログに対応して効率的かつ効果的にスパムブログの判定を行うには、当該新しい未知のスパムのパターンが出現するたびにスコアの計算手法を更新していく必要があり、限界があった。

このような状況において、本発明は、未知のブログについてより効率的かつ効果的にスパムブログを抽出可能なスパムブログ抽出装置及び方法を提供することを目的とする。

本発明者らは、スパムブログが引用するＷｅｂサイトが所定の基準を満たす場合に、そのＷｅｂサイトをブラックリストとして管理し、当該ブラックリストを使用してスパムブログを判定することを見出し、本発明を完成するに至った。本発明は、具体的には次のようなものを提供する。

（１） スパムブログ記憶手段に記憶されたスパムブログが引用するＷｅｂサイトのＵＲＬを記憶して、所定の基準を満たした前記ＷｅｂサイトのＵＲＬをスパムブログ判定用ＵＲＬとして加えてスパムブログ判定用ＵＲＬリストを更新する判定用リスト更新手段と、判定対象ブログを受け付けたことに応じて、受け付けた前記判定対象ブログがスパムであるか否かを、前記スパムブログ判定用ＵＲＬリストを素性として使用して機械学習により判定するスパムブログ判定手段と、前記スパムブログ判定手段によりスパムであると判定された場合に、スパムであると判定された前記判定対象ブログが引用するＷｅｂサイトであって前記Ｗｅｂサイト以外のＷｅｂサイトのＵＲＬを、スパムブログ判定用ＵＲＬリストの候補として抽出する候補リスト抽出手段と、を備えるスパムブログ抽出装置。

本発明のこのような構成によれば、スパムブログ抽出装置は、ツール等により自動生成されるために圧倒的に生成頻度及び消滅頻度の高いスパムブログの判定に、スパムブログが引用し、所定の基準を満たすＷｅｂサイトのリストであるスパムブログ判定用ＵＲＬリストを使用することで、処理を簡単にして、効率的かつ効果的にスパムブログ判定を行うことができる。また、スパムブログ抽出装置は、スパムブログ判定がされたスパムブログが引用する他のＷｅｂサイトをスパムブログ判定用ＵＲＬリストの候補として抽出できる。

（２） 前記候補リスト抽出手段により抽出された前記スパムブログ判定用ＵＲＬリストの候補を出力する候補リスト出力手段と、前記候補リスト出力手段により出力された前記スパムブログ判定用ＵＲＬリストの候補に含まれるＷｅｂサイトのＵＲＬについて登録要求を受け付けたことに応じて、当該ＷｅｂサイトのＵＲＬを前記スパムブログ判定用ＵＲＬリストに登録する判定用リスト登録手段と、を備える、（１）に記載のスパムブログ抽出装置。

本発明のこのような構成によれば、スパムブログ抽出装置は、スパムブログ判定用ＵＲＬリストの候補として他のＷｅｂサイトのリストを出力するので、出力された管理端末等において、他のＷｅｂサイトがスパムブログに対応付けられたＷｅｂサイトであるか否かの確認を、管理者等に行わせることができる。また、スパムブログ抽出装置は、管理者によって確認されたスパムブログ判定用ＵＲＬリストの候補の入力を受け付けることで、受け付けた候補をスパムブログ判定用ＵＲＬリストとして登録できる。よって、スパムブログ抽出装置は、未知なブログに対してスパムブログであるか否かの判定を、スパムブログ判定用ＵＲＬリストを参照することで効率的に行うことができる。

（３） 受け付けた前記判定対象ブログを蓄積するブログ蓄積手段と、前記候補リスト抽出手段により抽出された前記スパムブログ判定用ＵＲＬリストの候補に基づいて、前記ブログ蓄積手段に蓄積された前記判定対象ブログを用いた前記スパムブログ判定手段を、前記候補リスト抽出手段により前記スパムブログ判定用ＵＲＬリストの候補が新たに抽出されなくなるまで繰返す反復実行手段と、前記反復実行手段による繰返し処理の間、前記候補リスト抽出手段により抽出された前記スパムブログ判定用ＵＲＬリストの候補が示すＷｅｂサイトをオーソリティに対応付け、前記ブログ蓄積手段に蓄積された前記判定対象ブログをハブに対応付けて、ＨＩＴＳ理論を応用して当該Ｗｅｂサイトのオーソリティスコアを計算するＨＩＴＳ理論応用計算手段と、前記ＨＩＴＳ理論応用計算手段により計算された前記オーソリティスコアが所定の閾値以上である場合に、前記スパムブログ判定用ＵＲＬリストの候補を前記スパムブログ判定用ＵＲＬリストに登録する判定用リスト登録手段と、を備える、（１）に記載のスパムブログ抽出装置。

本発明のこのような構成によれば、スパムブログ抽出装置は、スパムブログ判定用ＵＲＬリストの候補に基づいて、蓄積された判定対象ブログを用いたスパムブログ判定手段を、候補リスト抽出手段により新たな候補が抽出されなくなるまで繰返し、ＨＩＴＳ理論を応用してＷｅｂサイトのオーソリティスコアを計算した結果が所定の閾値以上である場合に、スパムブログ判定用ＵＲＬリストの候補をスパムブログ判定用ＵＲＬリストに登録するので、スパムブログ判定用ＵＲＬリストの精度の向上を図り、スパムブログの候補が参照するさらに未知なＷｅｂサイトを自動的に発見することができる。

（４） 前記スパムブログ判定手段によりスパムであると判定された前記判定対象ブログを前記スパムブログ記憶手段に記憶するスパムブログ記憶制御手段を備える、（１）から（３）までのいずれかに記載のスパムブログ抽出装置。

本発明のこのような構成によれば、スパムブログ抽出装置は、スパムであると判定された判定対象ブログをスパムブログとして記憶するので、スパムブログ判定用ＵＲＬリストを更新する元データとして活用できる。

（５） スパムブログを記憶するスパムブログ記憶手段を有するコンピュータによって実行されるスパムブログ抽出方法であって、前記コンピュータが、前記スパムブログ記憶手段に記憶された前記スパムブログが引用するＷｅｂサイトのＵＲＬを記憶して、所定の基準を満たした前記ＷｅｂサイトのＵＲＬをスパムブログ判定用ＵＲＬとして加えてスパムブログ判定用ＵＲＬリストを更新する判定用リスト更新ステップと、前記コンピュータが、判定対象ブログを受け付けたことに応じて、受け付けた前記判定対象ブログがスパムであるか否かを、前記スパムブログ判定用ＵＲＬリストを素性として使用して機械学習により判定するスパムブログ判定ステップと、前記コンピュータが、前記スパムブログ判定ステップによりスパムであると判定された場合に、スパムであると判定された前記判定対象ブログが引用するＷｅｂサイトであって前記Ｗｅｂサイト以外のＷｅｂサイトのＵＲＬを、スパムブログ判定用ＵＲＬリストの候補として抽出する候補リスト抽出ステップと、を含むスパムブログ抽出方法。

本発明によれば、未知のブログについてより効率的かつ効果的にスパムブログを抽出可能なスパムブログ抽出装置及び方法を提供することができる。

第１実施形態に係るスパムブログ抽出システムの全体構成及びスパムブログ抽出装置の機能構成を示す図である。 第１実施形態に係るスパムブログ抽出装置の機械学習による判定結果を説明するための図である。 第１実施形態に係るスパムブログ抽出装置での処理の概要を示す図である。 第１実施形態に係るスパムブログ抽出装置の判定用リスト更新処理のフローチャートである。 第１実施形態に係るスパムブログ抽出装置のスパムブログ判定処理のフローチャートである。 第１実施形態に係るスパムブログ抽出装置の候補リスト抽出処理のフローチャートである。 第１実施形態に係るスパムブログ抽出装置の判定用リスト登録処理のフローチャートである。 第２実施形態に係るスパムブログ抽出システムの全体構成及びスパムブログ抽出装置の機能構成を示す図である。 第２実施形態に係るＨＩＴＳ理論を説明するための図である。 第２実施形態に係るスパムブログ抽出装置の判定用リスト登録処理のフローチャートである。 図１０に続くフローチャートである。

以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

（第１実施形態）
［スパムブログ抽出システム１００の全体構成及びスパムブログ抽出装置１の機能構成］
図１は、第１実施形態に係るスパムブログ抽出システム１００の全体構成及びスパムブログ抽出装置１の機能構成を示す図である。図２は、第１実施形態に係るスパムブログ抽出装置１の機械学習による判定結果を説明するための図である。

図１に示すように、スパムブログ抽出システム１００は、スパムブログ抽出装置１と、ブログサーバ３と、管理端末５と、通信ネットワーク９とにより構成される。

スパムブログ抽出装置１は、管理端末５から受け付けたスパムブログを記憶し、記憶したスパムブログが引用する外部の商用サイト（Ｗｅｂサイト）等が所定の基準を満たす場合に、そのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）をスパムブログ判定用ＵＲＬリストに追加する装置である。

ここで、スパムブログとは、商用サイト等の検索ランクを上位にするために、例えば、機械的に作成されたブログ記事をいう。また、ブログ記事とは、ブログを構成する１つ１つの記事をいう。外部の商用サイト等とは、例えば、あるスパムブログを示すＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）文書にアンカータグ等により「ｈｔｔｐ：／／〜」等のリンクが張られている場合に、そのリンクが示すリンク先のサイトをいう。外部の商用サイト自身は、一般的に通常のＷｅｂサイトであって、スパムではない。

また、スパムブログ抽出装置１は、判定対象のブログ記事（判定対象ブログ）をブログサーバ３から受け付けて、スパムブログ判定用ＵＲＬリストを素性として用いて判定対象のブログ記事がスパムブログであるか否かを機械学習により判定し、スパムブログであると判定された判定対象のブログ記事が引用する上述の商用サイト等以外の未知サイトのＵＲＬを、スパムブログ判定用ＵＲＬリストの候補として抽出する装置である。スパムブログ抽出装置１は、制御部１０と、記憶部２０とを備える。

制御部１０は、スパムブログ受付部１１と、判定用リスト更新手段としての判定用リスト更新部１２と、判定対象ブログ受付部１３と、スパムブログ判定手段としてのスパムブログ判定部１４と、スパムブログ記憶制御手段としてのスパムブログ記憶制御部１５と、候補リスト抽出手段としての候補リスト抽出部１６と、候補リスト出力手段としての候補リスト出力部１７と、判定用リスト登録手段としての判定用リスト登録部１９とを備える。

スパムブログ受付部１１は、管理端末５から指定されたスパムブログを受け付ける制御部である。受け付けるスパムブログは、管理端末５において管理者が手動で判定したものでもよいし、自動で判定したものでもよい。また、スパムブログ受付部１１は、管理端末５から受け付けたスパムブログを、スパムブログＤＢ２１（ＤＢ：データベース）（スパムブログ記憶手段）に記憶させる制御部である。

判定用リスト更新部１２は、スパムブログＤＢ２１に記憶されたスパムブログが引用する商用サイト等のＷｅｂサイトのＵＲＬを記憶し、所定の基準を満たした場合に、その商用サイト等のＵＲＬをスパムブログ判定用ＵＲＬリスト２３に追加更新する制御部である。

判定対象ブログ受付部１３は、ブログサーバ３から判定対象のブログ記事を受け付ける制御部である。判定対象ブログ受付部１３は、ブログサーバ３においてブログ記事が更新された都度、ブログサーバ３から送信されたブログ記事を受け付けてもよいし、スパムブログ抽出装置１からブログサーバ３に対して、例えば、毎日決まった時刻にブログ記事の送信を依頼することで、新たに更新されたブログ記事をブログサーバ３から受け付けてもよい。

スパムブログ判定部１４は、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）エンジン２２を用いた学習モデルにより、判定対象ブログ受付部１３が受け付けた判定対象のブログ記事がスパムブログであるか否かを判定する制御部である。その仕組みとして、スパムブログ判定部１４は、予めスパムブログのブログ記事と、スパムブログではないブログ記事（通常のブログ記事）とを学習し、統計的処理を実施し、スパムブログのブログ記事と、通常のブログ記事との区別の基準を示す基準データを生成しておく。そして、スパムブログ判定部１４のＳＶＭエンジン２２を用いた判定は、２つのクラス（スパムブログのブログ記事の集合及び通常のブログ記事の集合）のいずれかに属する訓練事例から、未知の事例がいずれかのクラスに属するかを判定するものである。

ここで、ＳＶＭエンジン２２を用いた学習モデルでの学習結果３０について、図２を用いて説明する。ＳＶＭエンジン２２を用いたスパムブログ判定部１４は、スパムブログか否かのラベルが未知の事例であるブログ記事に対して、ラベルを推定する分類器である。スパムブログ等を事例にした上で、スパムブログのブログ記事から生成された事例と、通常のブログ記事から生成された事例との２つの識別面３１，３２同士の距離（マージン）が特徴空間上で最大になるような識別面３１，３２を算出する。このように、スパムブログ判定部１４は、スパムブログ等を事例という形に変換した上で、学習するようになっている。

スパムブログ判定部１４は、識別面３１，３２に最も近接するスパムブログから生成された事例と、通常のブログ記事から生成された事例とを各々サポートベクタ３３，３４として、ラベルが未知の事例の分類に利用する。スパムブログ判定部１４は、スパムブログから生成された事例と、通常のブログ記事から生成された事例とを事例にした上で、統計処理をすることによって、スパムブログから生成された事例群と、通常のブログ記事から生成された事例群とを区別するための識別データである識別面を生成する。

そして、スパムブログ判定部１４は、スパムブログか否かのラベルが未知の事例であるブログ記事に対して、学習結果３０を用いて、どの位置に該当するものであるかを、例えば、スパムブログ判定用ＵＲＬリスト２３に記憶された商用サイトのＵＲＬの引用関係を素性として使用することで分類する。素性とは、入力されたデータを特徴付けるものである。このように、スパムブログ抽出装置１は、既知のモデルであるＳＶＭエンジン２２を使用して機械学習による判定をすることができる。そして、スパムブログ抽出装置１は、スパムブログ判定部１４によって判定対象のブログ記事がスパムブログであるか否かを判定することで、機械学習自体をやり直すことなく、素性をメンテナンスするだけで対応でき、スパムブログであるか否かの判定に用いることができる。

図１に戻り、スパムブログ記憶制御部１５は、スパムブログ判定部１４による判定結果として、スパムブログであると判定された判定対象のブログ記事を、スパムブログＤＢ２１に記憶させる制御部である。

候補リスト抽出部１６は、スパムブログ判定部１４による判定結果として、スパムブログであると判定された判定対象のブログ記事が引用する他の商用サイト等のＵＲＬを抽出する制御部である。ここで、他の商用サイト等とは、判定対象のブログ記事が引用する商用サイト等のＵＲＬのうち、その前の処理で対象にした商用サイト等を除く商用サイト等をいう。また、候補リスト抽出部１６は、抽出した他の商用サイト等のＵＲＬを、スパムブログ判定用ＵＲＬ候補リスト２４に記憶させる。

候補リスト出力部１７は、候補リスト抽出部１６で抽出した他の商用サイト等のＵＲＬを管理端末５に対して抽出する制御部である。

判定用リスト登録部１９は、管理端末５から他の商用サイト等のＵＲＬを受け付けて、スパムブログ判定用ＵＲＬリスト２３に登録する制御部である。

記憶部２０は、スパムブログＤＢ２１と、ＳＶＭエンジン２２と、スパムブログ判定用ＵＲＬリスト２３と、スパムブログ判定用ＵＲＬ候補リスト２４とを備える。

スパムブログＤＢ２１は、スパムブログを記憶するＤＢである。スパムブログＤＢ２１に記憶されたスパムブログは、上述のとおりに、スパムブログ受付部１１により管理端末５から直接受け付けたものと、スパムブログ判定部１４によってスパムブログであると判定された結果、記憶されたものとを含む。

ＳＶＭエンジン２２は、上述のとおりスパムブログであるか否かを判断するプログラムである。スパムブログ判定用ＵＲＬリスト２３は、商用サイト等のＵＲＬを少なくとも含むリストである。スパムブログ判定用ＵＲＬ候補リスト２４は、スパムブログ判定用ＵＲＬリスト２３に登録する候補として、スパムブログ判定用ＵＲＬリスト２３に記憶された商用サイト等のＵＲＬを除く他の商用サイト等のＵＲＬを少なくとも含むリストである。

第１実施形態のスパムブログ抽出装置１のハードウェアは、一般的なコンピュータによって構成してもよい。一般的なコンピュータは、例えば、制御部１０として、中央処理装置（ＣＰＵ）を備える他、記憶部２０として、メモリ（ＲＡＭ、ＲＯＭ）、ハードディスク（ＨＤＤ）及び光ディスク（ＣＤ、ＤＶＤ等）を、ネットワーク通信装置として、各種有線及び無線ＬＡＮ装置を、表示装置として、例えば、液晶ディスプレイ、プラズマディスプレイ等の各種ディスプレイを、入力装置として、例えば、キーボード及びポインティング・デバイス（マウス、トラッキングボール等）を適宜備え、これらはバスラインにより接続されている。このような一般的なコンピュータにおいて、ＣＰＵは、スパムブログ抽出装置１を統括的に制御し、各種プログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、本発明に係る各種機能を実現している。

ブログサーバ３は、ブログ記事を記憶するサーバであり、ブログ記事を記憶する記憶部と、ブログサーバ３の全体を制御する制御部とを備える。ブログサーバ３のハードウェアは、一般的なコンピュータによって構成してよい。

管理端末５は、例えば、パーソナルコンピュータ（ＰＣ）や、携帯電話機等の携帯端末である。管理端末５は、通信機能を有し、スパムブログ抽出装置１に対してデータの送受信が可能な端末であれば、どのような装置でもよい。

なお、第１実施形態では、スパムブログ抽出装置１と、ブログサーバ３とを別々の装置として説明しているが、スパムブログ抽出装置１がブログサーバ３の機能をも有して、１台のコンピュータによって実現してもよい。

通信ネットワーク９は、スパムブログ抽出装置１と、ブログサーバ３と、管理端末５との間で通信を行うための、例えば、インターネット等の通信回線である。通信ネットワーク９は、有線であってもよいし、その一部又は全部が無線であってもよい。

［処理の概要］
次に、スパムブログ抽出装置１での処理の概要について説明する。図３は、第１実施形態に係るスパムブログ抽出装置１での処理の概要を示す図である。

図３（ａ）は、複数のスパムブログ４１（４１Ａ〜４１Ｄ）と、複数の未知ブログ４２（判定対象ブログ）と、複数のスパムブログ４１及び複数の未知ブログ４２が引用する商用サイト５０とを概念的に示す図である。スパムブログ４１は、既にスパムであることが判明しているブログ記事である。未知ブログ４２は、商用サイト５０を引用しているが、スパムであるか否かが判明していないブログ記事である。制御部１０は、このスパムブログ４１と商用サイト５０との関係を記憶し、例えば、スパムブログ４１との引用関係が所定の基準を満たす商用サイト５０のＵＲＬをスパムブログ判定用ＵＲＬリスト２３に追加更新する。このことにより、制御部１０は、未知ブログ４２についても、スパムブログ判定用ＵＲＬリスト２３を素性として使用して、機械学習によりスパムブログであるか否かを判定できるようになる。

図３（ｂ）は、複数の未知ブログ４２（４２Ａ〜４２Ｄ）が商用サイト５０以外に引用することを示す図である。未知ブログ４２Ａ〜４２Ｄは、商用サイト５０の他に未知サイト５１をも引用している。制御部１０は、上述の図３（ａ）の手順にしたがってこれらの未知ブログ４２Ａ〜４２Ｄがスパムであるか否かを判定し、スパムであると判定された場合には、これらの未知ブログ４２Ａ〜４２Ｄが引用する未知サイト５１のＵＲＬを抽出して、抽出した未知サイト５１のＵＲＬをスパムブログ判定用ＵＲＬ候補リスト２４に登録する。そして、制御部１０は、管理端末５からの指示を受け付けたり、所定の判定条件に合致することにより、スパムブログ判定用ＵＲＬ候補リスト２４に登録されたＵＲＬをスパムブログ判定用ＵＲＬリスト２３に自動的に登録することができる。このような処理を繰返し実行することによって、制御部１０は、次々と未知サイト５１のＵＲＬをスパムブログ判定用ＵＲＬリスト２３に登録することができる。そして、スパムブログ抽出装置１は、次々と新しい未知のスパムのパターンが出現しては消滅するスパムブログに対応して、効率的かつ効果的にスパムブログの判定を行うことができる。

［スパムブログ抽出装置１の処理］
次に、スパムブログ抽出装置１での処理について説明する。図４は、第１実施形態に係るスパムブログ抽出装置１の判定用リスト更新処理のフローチャートである。図５は、第１実施形態に係るスパムブログ抽出装置１のスパムブログ判定処理のフローチャートである。図６は、第１実施形態に係るスパムブログ抽出装置１の候補リスト抽出処理のフローチャートである。図７は、第１実施形態に係るスパムブログ抽出装置１の判定用リスト登録処理のフローチャートである。まず、スパムブログ抽出装置１の判定用リスト更新処理について説明する。

図４のＳ１１：制御部１０（スパムブログ受付部１１）は、管理端末５からスパムブログを受け付ける。

Ｓ１２：制御部１０（スパムブログ受付部１１）は、Ｓ１１で受け付けたスパムブログを、スパムブログＤＢ２１に記憶させる。

Ｓ１３：制御部１０（判定用リスト更新部１２）は、スパムブログＤＢ２１に記憶されたスパムブログが引用するＷｅｂサイトのＵＲＬを記憶する。

Ｓ１４：制御部１０（判定用リスト更新部１２）は、Ｓ１３において記憶したＷｅｂサイトのＵＲＬごとに、所定の基準を満たすか否かを判断する。所定の基準を満たす場合（Ｓ１４：ＹＥＳ）には、制御部１０は、処理をＳ１５に移す。他方、所定の基準を満たさない場合（Ｓ１４：ＮＯ）には、制御部１０は、本処理を終了する。

Ｓ１５：制御部１０（判定用リスト更新部１２）は、所定の基準を満たしたＷｅｂサイトのＵＲＬを、スパムブログ判定用ＵＲＬリスト２３に登録することで、スパムブログ判定用ＵＲＬリスト２３を更新する。その後、制御部１０は、本処理を終了する。

このように、スパムブログ抽出装置１は、スパムブログが引用するＷｅｂサイトが所定の基準を満たす場合に、そのＷｅｂサイトのＵＲＬをスパムブログ判定用ＵＲＬリスト２３に登録することができる。よって、スパムブログ抽出装置１は、ツール等により自動生成されるために圧倒的に生成頻度及び消滅頻度の高いスパムブログの判定にスパムブログ判定用ＵＲＬリスト２３を使用することができ、そのことで処理を簡単にして、効率的かつ効果的にスパムブログ判定を行うことができる。

次に、スパムブログ抽出装置１のスパムブログ判定処理について説明する。

図５のＳ２１：制御部１０（判定対象ブログ受付部１３）は、判定対象ブログをブログサーバ３から受け付ける。

Ｓ２２：制御部１０（スパムブログ判定部１４）は、Ｓ２１で受け付けた判定対象ブログがスパムであるか否かを判断する。判定対象ブログがスパムである場合（Ｓ２２：ＹＥＳ）には、制御部１０は、処理をＳ２３に移す。他方、判定対象ブログがスパムではない場合（Ｓ２２：ＮＯ）には、制御部１０は、当該判定対象ブログがスパムではない旨の情報を当該判定対象ブログを受け付けたブログサーバ３等に返信して（図示しない）、本処理を終了する。

Ｓ２３：制御部１０（スパムブログ記憶制御部１５）は、当該判定対象ブログがスパムである旨の情報を当該判定対象ブログを受け付けたブログサーバ３等に返信して（図示しない）、スパムであると判断した判定対象ブログを、スパムブログＤＢ２１に記憶させる。このように、スパムブログ抽出装置１は、スパムであると判定された判定対象ブログをスパムブログとして記憶するので、スパムブログ判定用ＵＲＬリスト２３を更新する元データとして活用できる。

次に、スパムブログ抽出装置１の候補リスト抽出処理について説明する。

図６のＳ３１：制御部１０（候補リスト抽出部１６）は、上述のＳ２２〜Ｓ２３でスパムと判定され、スパムブログＤＢ２１に記憶された判定対象ブログが引用する他のＷｅｂサイトのＵＲＬを、スパムブログ判定用ＵＲＬリストの候補として抽出する。また、制御部１０は、抽出した他のＷｅｂサイトのＵＲＬを、スパムブログ判定用ＵＲＬ候補リスト２４に登録する。

Ｓ３２：制御部１０（候補リスト出力部１７）は、Ｓ３１で抽出した他のＷｅｂサイトのＵＲＬを、管理端末５に対して出力する。このようにすることで、管理端末５では、スパムブログ判定用ＵＲＬリストの候補である他のＷｅｂサイトを受信でき、管理端末５の管理者が、受信した他のＷｅｂサイトを確認することができる。そして、管理者は、受信した他のＷｅｂサイトを、スパムブログによって検索ランクが上位になっているものであるか否かを検証するのに用いることができる。

次に、スパムブログ抽出装置１の判定用リスト登録処理について説明する。

図７のＳ４１：制御部１０（判定用リスト登録部１９）は、上述のＳ３２で管理端末５に出力された、他のＷｅｂサイトのＵＲＬに基づいて当該Ｗｅｂサイトを確認した管理者の操作に応じて、管理端末５からＷｅｂサイトのＵＲＬを受け付ける。

Ｓ４２：制御部１０（判定用リスト登録部１９）は、Ｓ４１で受け付けたＷｅｂサイトのＵＲＬが、Ｓ３２で出力したものであるか否かを判断する。これは、受け付けたＷｅｂサイトのＵＲＬがスパムブログ判定用ＵＲＬ候補リスト２４に記憶されているものであるか否かにより判断できる。ＷｅｂサイトのＵＲＬがスパムブログ抽出装置１によって出力したものである場合（Ｓ４２：ＹＥＳ）には、制御部１０は、処理をＳ４３に移す。他方、ＷｅｂサイトのＵＲＬがスパムブログ抽出装置１によって出力したものではない場合（Ｓ４２：ＮＯ）には、制御部１０は、本処理を終了する。

Ｓ４３：制御部１０（判定用リスト登録部１９）は、受け付けたＷｅｂサイトのＵＲＬをスパムブログ判定用ＵＲＬリスト２３に記憶させる。その後、制御部１０は、本処理を終了する。

上述の処理により、図３（ｂ）に示す未知サイト５１をスパムブログ判定用ＵＲＬリスト２３に記憶させた場合に、この未知サイト５１を引用している未知ブログ４２のブログ記事がスパムブログであるか否かを判断することができる。よって、この処理を繰返すことで、スパムブログ抽出装置１は、スパムブログの候補である未知ブログ４２が参照する未知サイトをさらに見つけることができる。

（第２実施形態）
第１実施形態では、スパムブログ抽出装置は、判定対象ブログが引用する他のＷｅｂサイトのＵＲＬを、スパムブログ判定用ＵＲＬリストの候補として抽出して、管理端末に対して出力するものであった。第２実施形態では、抽出したスパムブログ判定用ＵＲＬリストの候補を、自動的にスパムブログ判定用ＵＲＬリストに登録するものを説明する。より具体的には、第２実施形態では、スパムブログの判定を、新たな候補リストが抽出されなくなるまで繰返し、ＨＩＴＳ（Ｈｙｐｅｒｌｉｎｋ−Ｉｎｄｕｃｅｄ Ｔｏｐｉｃ Ｓｅａｒｃｈ）理論を応用してスコアを算出し、抽出したスパムブログ判定用ＵＲＬリストの候補を、スコアに基づいて自動的にスパムブログ判定用ＵＲＬリストに登録するものを説明する。なお、以降の説明において、上述した第１実施形態と同様の機能を果たす部分には、同一の符号又は末尾に同一の符号を付して、重複する説明を適宜省略する。

［スパムブログ抽出システム３００の全体構成及びスパムブログ抽出装置３０１の機能構成］
図８は、第２実施形態に係るスパムブログ抽出システム３００の全体構成及びスパムブログ抽出装置３０１の機能構成を示す図である。図９は、第２実施形態に係るＨＩＴＳ理論を説明するための図である。

スパムブログ抽出システム３００は、スパムブログ抽出装置３０１と、ブログサーバ３と、管理端末５と、通信ネットワーク９とにより構成される。

スパムブログ抽出装置３０１は、制御部３１０と、記憶部３２０とを備える。制御部３１０は、スパムブログ受付部１１と、判定用リスト更新部１２と、判定対象ブログ受付部１３と、スパムブログ判定部１４と、スパムブログ記憶制御部１５と、候補リスト抽出部１６との他に、反復実行手段としての反復実行部３１Ｂと、ＨＩＴＳ理論応用計算手段としてのＨＩＴＳ理論応用計算部３１Ａと、判定用リスト登録手段としての判定用リスト登録部３１９とを備える。

反復実行部３１Ｂは、候補リスト抽出部１６により抽出されたスパムブログ判定用ＵＲＬ候補リスト３２４に基づいて、ブログ蓄積ＤＢ３２５に蓄積されたブログ（判定対象ブログ）を用いたスパムブログ判定部１４による判定を、候補リスト抽出部１６が新たに抽出しなくなるまで繰返す制御部である。

ＨＩＴＳ理論応用計算部３１Ａは、反復実行部３１Ｂによる繰返し処理の間、候補リスト抽出部１６で抽出した他の商用サイト等のＵＲＬが示すＷｅｂサイトをオーソリティに対応付け、ブログ蓄積ＤＢ３２５に記憶されたブログをハブに対応付けて、ＨＩＴＳ理論を応用して、それぞれオーソリティスコア及びハブスコアを計算する制御部である。

判定用リスト登録部３１９は、ＨＩＴＳ理論応用計算部３１Ａにより算出されたオーソリティスコアが所定の閾値以上（例えば、０．８以上）である場合に、他の商用サイト等のＵＲＬをスパムブログ判定用ＵＲＬリスト２３に登録する制御部である。

記憶部３２０は、スパムブログＤＢ２１と、ＳＭＶエンジン２２と、スパムブログ判定用ＵＲＬリスト２３との他に、スパムブログ判定用ＵＲＬ候補リスト３２４と、ブログ蓄積ＤＢ３２５とを備える。

スパムブログ判定用ＵＲＬ候補リスト３２４は、その一例として、例えば、他の商用サイト等のＵＲＬを記憶するＵＲＬ部の他に、スコア部と、判定部とを有する。スコア部は、ＨＩＴＳ理論を応用して計算したオーソリティスコアであり、値が大きいほどスパムである可能性が高い。また、判定部は、「○」か「×」かで表し、判定部の「×」は、スパムブログ判定用リストにＵＲＬ部のＵＲＬを登録をするか否かの判定の結果、登録するものであり、「○」は、スパムブログ判定用リストにＵＲＬ部のＵＲＬを登録しなくてよいものである。スコア部及び判定部については、ＨＩＴＳ理論応用計算部３１Ａ及び判定用リスト登録部３１９により格納されるが、処理については、後述する。

ブログ蓄積ＤＢ３２５は、判定対象ブログ受付部１３により受け付けた判定対象ブログを蓄積するＤＢである。ブログ蓄積ＤＢ３２５に蓄積されるブログは、直近１週間分等の所定の期間内に受け付けたものであってよい。

ここで、第２実施形態で用いるＨＩＴＳ理論の応用について、ＨＩＴＳ理論を説明する図９に基づき説明する。第２実施形態では、ＨＩＴＳアルゴリズムの「重要なページにリンクされているページは、やはり重要である」を応用し、「スパムブログが引用している商用サイト等以外の他の商用サイト等は、やはりスパムブログにより不当に検索ランクが上位にされているものである」とする理論を用いる。

図９に示すオーソリティは、スパムブログ判定用ＵＲＬ候補リスト３２４のＵＲＬ部に記憶された他の商用サイト等のＵＲＬが示すＷｅｂサイトに対応する。また、図９に示すハブは、ブログ蓄積ＤＢ３２５に蓄積されたブログに対応する。オーソリティとハブとは相互再帰的な関係にあり、あるＷｅｂサイトのオーソリティスコアは、そのページを引用しているスパムブログ数であるハブスコアの和であり、ハブスコアは、そのスパムブログが引用する他の商用サイト等のＵＲＬが示すＷｅｂサイトのオーソリティスコアの和である。オーソリティスコア及びハブスコアは、正規化して０から１の間の値として示され、反復実行処理の結果を用いて、都度それらのスコアを計算する。

［スパムブログ抽出装置３０１の処理］
次に、スパムブログ抽出装置３０１での処理について説明する。図１０及び図１１は、第２実施形態に係るスパムブログ抽出装置３０１の判定用リスト登録処理のフローチャートである。なお、第２実施形態において、判定用リスト更新処理、スパムブログ判定処理及び候補リスト抽出処理は、第１実施形態とほぼ同様であるため、その説明を省略する。なお、スパムブログ判定処理において、制御部３１０は、判定対象ブログを受け付けた後に、ブログ蓄積ＤＢ３２５に受け付けた判定対象ブログを蓄積する処理を行う。また、候補リスト抽出処理において、制御部３１０は、抽出した他のＷｅｂサイトのＵＲＬを、スパムブログ判定用ＵＲＬ候補リスト３２４に登録するまでの処理にとどめ、抽出した他のＷｅｂサイトのＵＲＬを管理端末５に対して出力する処理は、任意である。

図１０のＳ３４１：制御部３１０（反復実行部３１Ｂ、スパムブログ判定部１４）は、スパムブログ判定用ＵＲＬ候補リスト３２４に基づいて、ブログ蓄積ＤＢ３２５に蓄積されたブログを用いたスパムブログ判定処理を行う。

Ｓ３４２：制御部３１０（反復実行部３１Ｂ、候補リスト抽出部１６）は、スパムブログであると判定されたブログが引用する他のＷｅｂサイトのＵＲＬが存在するか否かを判断する。他のＷｅｂサイトのＵＲＬが存在する場合（Ｓ３４２：ＹＥＳ）には、制御部３１０は、処理をＳ３４３に移す。他方、他のＷｅｂサイトのＵＲＬが存在しない場合（Ｓ３４３：ＮＯ）には、制御部３１０は、本処理を終了する。

Ｓ３４３：制御部３１０（反復実行部３１Ｂ）は、他のＷｅｂサイトのＵＲＬを抽出して、スパムブログ判定用ＵＲＬ候補リスト３２４に登録する。

Ｓ３４４：制御部３１０（ＨＩＴＳ理論応用計算部３１Ａ）は、スパムブログ判定用ＵＲＬ候補リスト３２４に登録されたＵＲＬが示すＷｅｂサイトを、オーソリティに対応付ける。

Ｓ３４５：制御部３１０（ＨＩＴＳ理論応用計算部３１Ａ）は、スパムブログＤＢ２１に記憶されたスパムブログを、ハブに対応付ける。

Ｓ３４６：制御部３１０（ＨＩＴＳ理論応用計算部３１Ａ）は、ＨＩＴＳ理論応用計算処理を行う。具体的には、ＨＩＴＳ理論応用計算部３１Ａは、スパムブログ判定用ＵＲＬ候補リスト３２４に登録されたＵＲＬについて、オーソリティスコアを計算する。

Ｓ３４７：制御部３１０は、スパムブログ判定用ＵＲＬ候補リスト３２４のＵＲＬ部に対応するスコア部に、オーソリティスコアを格納する。

Ｓ３４８：制御部３１０（判定用リスト登録部３１９）は、Ｓ３４６で計算したオーソリティスコアの値が所定の閾値以上であるか否かを判断する。所定の閾値以上の場合（Ｓ３４８：ＹＥＳ）には、制御部３１０は、スパムブログ判定用ＵＲＬ候補リスト３２４のＵＲＬ部に対応する判定部に、登録するものであることを示す「×」を格納し、処理をＳ３４９に移す。他方、所定の閾値以上ではない場合（Ｓ３４８：ＮＯ）には、制御部３１０は、スパムブログ判定用ＵＲＬ候補リスト３２４のＵＲＬ部に対応する判定部に、登録しないものであることを示す「○」を格納し、処理を図１１のＳ３５０に移す。

Ｓ３４９：制御部３１０（判定用リスト登録部３１９）は、所定の閾値以上のＷｅｂサイトのＵＲＬを、スパムブログ判定用ＵＲＬリスト２３に登録する。

図１１のＳ３５０：制御部３１０は、Ｓ３４６で計算したハブスコアの値が所定の閾値（例えば、０．９）以上であるか否かを判断する。所定の閾値以上の場合（Ｓ３５０：ＹＥＳ）には、制御部３１０は、処理をＳ３５１に移す。他方、所定の閾値以上ではない場合（Ｓ３５０：ＮＯ）には、制御部１０は、処理を図１０のＳ３４１に移す。

Ｓ３５１：制御部３１０は、所定の閾値以上のブログをスパムブログＤＢ２１に登録する。

Ｓ３５２〜Ｓ３５４：図４のＳ１３〜Ｓ１５の処理と同様である。Ｓ３５４での処理の後、制御部３１０は、処理を図１０のＳ３４１に移す。

このように、スパムブログ抽出装置３０１は、スパムブログ判定用ＵＲＬ候補リスト３２４に基づいて、ブログ蓄積ＤＢ３２５に蓄積されたブログを用いたスパムブログ判定部１４による処理を、候補リスト抽出部１６により新たな候補が抽出されなくなるまで繰返し、ＨＩＴＳ理論を応用してＷｅｂサイトのオーソリティスコアを計算した結果が所定の閾値以上である場合に、スパムブログ判定用ＵＲＬ候補リスト３２４のＵＲＬをスパムブログ判定用ＵＲＬリスト２３に登録するので、スパムブログ判定用ＵＲＬリスト２３の精度の向上を図り、スパムブログの候補が参照するさらに未知なＷｅｂサイトを自動的に発見することができる。

以上、本発明の実施形態について説明したが、本発明は、上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１，３０１ スパムブログ抽出装置
３ ブログサーバ
５ 管理端末
１０，３１０ 制御部
１１ スパムブログ受付部
１２ 判定用リスト更新部
１３ 判定対象ブログ受付部
１４ スパムブログ判定部
１５ スパムブログ記憶制御部
１６ 候補リスト抽出部
１７ 候補リスト出力部
１９，３１９ 判定用リスト登録部
２０，３２０ 記憶部
２１ スパムブログＤＢ
２２ ＳＶＭエンジン
２３ スパムブログ判定用ＵＲＬリスト
２４，３２４ スパムブログ判定用ＵＲＬ候補リスト
４１，４１Ａ，４１Ｂ，４１Ｃ，４１Ｄ スパムブログ
４２，４２Ａ，４２Ｂ，４２Ｃ，４２Ｄ 未知ブログ
５０ 商用サイト
５１ 未知サイト
１００，３００ スパムブログ抽出システム
３１Ａ ＨＩＴＳ理論応用計算部
３１Ｂ 反復実行部
３２５ ブログ蓄積ＤＢ

Claims (4)

1. 判定対象ブログを受け付けたことに応じて、受け付けた前記判定対象ブログがスパムであるか否かを、スパムブログ判定用ＵＲＬリストを素性として使用して機械学習により判定するスパムブログ判定手段と、
   前記スパムブログ判定手段によりスパムであると判定された場合に、スパムであると判定された前記判定対象ブログが引用するＷｅｂサイトであって前記Ｗｅｂサイト以外のＷｅｂサイトのＵＲＬを、スパムブログ判定用ＵＲＬリストの候補として抽出する候補リスト抽出手段と、
   受け付けた前記判定対象ブログを蓄積するブログ蓄積手段と、
   前記候補リスト抽出手段により抽出された前記スパムブログ判定用ＵＲＬリストの候補に基づいて、前記ブログ蓄積手段に蓄積された前記判定対象ブログを用いた前記スパムブログ判定手段を、前記候補リスト抽出手段により前記スパムブログ判定用ＵＲＬリストの候補が新たに抽出されなくなるまで繰返す反復実行手段と、
   前記反復実行手段による繰返し処理の間、前記候補リスト抽出手段により抽出された前記スパムブログ判定用ＵＲＬリストの候補が示すＷｅｂサイトをオーソリティに対応付け、前記ブログ蓄積手段に蓄積された前記判定対象ブログをハブに対応付けて、ＨＩＴＳ理論を応用して当該Ｗｅｂサイトのオーソリティスコアを計算するＨＩＴＳ理論応用計算手段と、
   前記ＨＩＴＳ理論応用計算手段により計算された前記オーソリティスコアが所定の閾値以上である場合に、前記スパムブログ判定用ＵＲＬリストの候補を前記スパムブログ判定用ＵＲＬリストに登録する判定用リスト登録手段と、
   を備えるスパムブログ抽出装置。
2. スパムブログ記憶手段に記憶されたスパムブログが引用するＷｅｂサイトのＵＲＬを記憶して、所定の基準を満たした前記ＷｅｂサイトのＵＲＬをスパムブログ判定用ＵＲＬとして加えて前記スパムブログ判定用ＵＲＬリストを更新する判定用リスト更新手段を備える、
   請求項１に記載のスパムブログ抽出装置。
3. 前記スパムブログ判定手段によりスパムであると判定された前記判定対象ブログを前記スパムブログ記憶手段に記憶するスパムブログ記憶制御手段を備える、
   請求項２に記載のスパムブログ抽出装置。
4. コンピュータによって実行されるスパムブログ抽出方法であって、
   前記コンピュータが、判定対象ブログを受け付けたことに応じて、受け付けた前記判定対象ブログがスパムであるか否かを、スパムブログ判定用ＵＲＬリストを素性として使用して機械学習により判定するスパムブログ判定ステップと、
   前記コンピュータが、前記スパムブログ判定ステップによりスパムであると判定された場合に、スパムであると判定された前記判定対象ブログが引用するＷｅｂサイトであって前記Ｗｅｂサイト以外のＷｅｂサイトのＵＲＬを、スパムブログ判定用ＵＲＬリストの候補として抽出する候補リスト抽出ステップと、
   前記コンピュータが、受け付けた前記判定対象ブログをブログ蓄積手段に蓄積するブログ蓄積ステップと、
   前記コンピュータが、前記候補リスト抽出ステップにより抽出された前記スパムブログ判定用ＵＲＬリストの候補に基づいて、前記ブログ蓄積手段に蓄積された前記判定対象ブログを用いた前記スパムブログ判定ステップを、前記候補リスト抽出ステップにより前記スパムブログ判定用ＵＲＬリストの候補が新たに抽出されなくなるまで繰返す反復実行ステップと、
   前記コンピュータが、前記反復実行ステップによる繰返し処理の間、前記候補リスト抽出ステップにより抽出された前記スパムブログ判定用ＵＲＬリストの候補が示すＷｅｂサイトをオーソリティに対応付け、前記ブログ蓄積手段に蓄積された前記判定対象ブログをハブに対応付けて、ＨＩＴＳ理論を応用して当該Ｗｅｂサイトのオーソリティスコアを計算するＨＩＴＳ理論応用計算ステップと、
   前記コンピュータが、前記ＨＩＴＳ理論応用計算ステップにより計算された前記オーソリティスコアが所定の閾値以上である場合に、前記スパムブログ判定用ＵＲＬリストの候補を前記スパムブログ判定用ＵＲＬリストに登録する判定用リスト登録ステップと、
   を含むスパムブログ抽出方法。

Images