JP4934572B2

JP4934572B2 - Ｓｐａｍ特徴情報生成装置、ｓｐａｍ情報フィルタリング装置および情報検索装置およびその方法

Info

Publication number: JP4934572B2
Application number: JP2007295787A
Authority: JP
Inventors: 聡哉栗島; 禅北山; 良治片岡
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2007-11-14
Filing date: 2007-11-14
Publication date: 2012-05-16
Anticipated expiration: 2027-11-14
Also published as: JP2009122931A

Description

本発明は、インターネットなどの通信ネットワークにあるＳＰＡＭ情報の特徴を示すＳＰＡＭ特徴情報を生成するＳＰＡＭ特徴情報生成装置、ＳＰＡＭ特徴情報によりＳＰＡＭ情報をフィルタリングするＳＰＡＭ情報フィルタリング装置、ならびに、ＳＰＡＭ情報をフィルタリングして残った非ＳＰＡＭ情報を閲覧させるための情報検索装置およびその方法に関するものである。

近年では、ブログといわれるようなＷｅｂサービスの人気が高い。ブログでは、日記などの情報を書き込んだ記事が、書き込んだ人とは別の人の端末に表示される。

ブログの中には、端末から送信されたキーワードを含む記事を示す検索結果を表示させるものもある。こうするためには、予め記事が収集され、記事に含まれたキーワードと当該記事のタイトルなどの両方を含むインデクスが生成される。そして、検索エンジンが、送信されたキーワードを含むインデクスを検索し、対応する記事を示す検索結果を生成して端末に表示させる。検索エンジンは、ときには、キーワードに対する適合度が高い記事の検索結果だけを生成し表示させる。

この出願の発明に関連する先行技術文献情報としては次のものがある。
ｇｏｏブログ，[online]，２００７年，[２００７年９月２１日検索]，インターネット<URL:http://blog.goo.ne.jp/>

ところで、最近では、商品の評判などを書き込んだ記事が多い。主目的が、例えばアフィリエイト収入であるなら、その記事は望まれないのだが、検索結果には反映されてしまう。こうした記事は俗にＳＰＡＭといわれる。広告目的の記事なども然りである。かかる記事は、例えば、自動生成された意味のありそうな内容、検索結果のままの内容、芸能人名を羅列しただけの内容を含むことがあり、やはりＳＰＡＭである。また、かかるＳＰＡＭで儲けているサービスもある。

こうして、ＳＰＡＭにより記事数は大変多くなっている。そのため、インデクス生成および検索、並びに、検索結果の表示に長時間を要し、また、検索結果にＳＰＡＭに関するものが含まれるという、いわゆる検索結果の精度低下を招くという問題が発生している。

本発明は、上記の課題に鑑みてなされたものであり、ＳＰＡＭのフィルタリングつまり排除に関連する技術を提供し、インデクス生成および検索、並びに、検索結果表示の迅速化、検索結果の精度向上に寄与することを目的とする。

上記の課題を解決するために、第１の本発明によれば、ＳＰＡＭ情報を取得し、取得したＳＰＡＭ情報に基づいて、ＳＰＡＭ特徴情報を生成することで、ＳＰＡＭ特徴情報に基づいて、ＳＰＡＭ情報をフィルタリングすることができる。

第１の本発明によれば、ＳＰＡＭ情報をフィルタリングすることで、インデクス生成および検索が迅速化される。

第２の本発明によれば、ＳＰＡＭ情報をフィルタリングして残った非ＳＰＡＭ情報についてのインデクス生成および検索、並びに、検索結果の送信を行うことで、検索結果の表示が迅速化され、検索結果の精度が向上する。

第１の本発明によれば、ＳＰＡＭ情報を取得し、取得したＳＰＡＭ情報に基づいて、ＳＰＡＭ特徴情報を生成することで、ＳＰＡＭ特徴情報に基づいて、ＳＰＡＭ情報をフィルタリングすることができる。

以下、本発明の実施の形態を図面を参照して説明する。

図１は、本実施の形態に係る情報検索装置の構成と利用形態を示す図である。

情報検索装置は、キーワードにより文書を検索する装置であり、ウェブサーバなどにより構成される。情報検索装置は、同図に示すように、例えば、インターネットなどの通信ネットワークＮにあるＳＰＡＭ情報の場所を示す場所情報が予め記憶される特定場所情報記憶部１と、ＳＰＡＭ情報の特徴を示すＳＰＡＭ特徴情報が記憶されることになるＳＰＡＭ特徴情報記憶部２と、特定場所情報記憶部１から場所情報を読み出し、読み出した場所情報の場所にあるＳＰＡＭ情報を取得し、取得したＳＰＡＭ情報に基づいて、取得したＳＰＡＭ情報の特徴を示すＳＰＡＭ特徴情報を生成し、ＳＰＡＭ特徴情報記憶部２に記憶させるＳＰＡＭ特徴情報生成部３と、通信ネットワークＮにおけるＳＰＡＭ情報と非ＳＰＡＭ情報の各場所を示す場所情報が区別せずに予め記憶される場所情報記憶部４と、非ＳＰＡＭ情報が記憶されることになる非ＳＰＡＭ情報記憶部５と、場所情報記憶部４から場所情報を読み出し、通信ネットワークの読み出した場所情報の場所にある情報を取得し、ＳＰＡＭ特徴情報記憶部２からＳＰＡＭ特徴情報を読み出し、読み出したＳＰＡＭ特徴情報に基づいて、取得した情報の全体の中に混在するＳＰＡＭ情報をフィルタリングし、残った非ＳＰＡＭ情報を非ＳＰＡＭ情報記憶部５に記憶させるＳＰＡＭ情報フィルタリング部６と、非ＳＰＡＭ情報記憶部５に記憶された非ＳＰＡＭ情報に含まれたキーワードと当該非ＳＰＡＭ情報を示す情報とを含むインデクス情報を生成するインデクス情報生成部７と、生成されたインデクス情報が記憶されるインデクス情報記憶部８と、非ＳＰＡＭ情報を閲覧したいユーザに使用されるＰＣ（パーソナルコンピュータ）などの端末Ｔから送信されたキーワードを受信し、受信したキーワードを含むインデクス情報をインデクス情報記憶部８から検索するインデクス情報検索部９と、検索されたインデクス情報に基づいて、検索されたインデクス情報に対応する非ＳＰＡＭ情報を示す検索結果情報を生成し、端末Ｔに送信する検索結果情報生成送信部１０とを備える。

特定場所情報記憶部１とＳＰＡＭ特徴情報記憶部２とＳＰＡＭ特徴情報生成部３とで構成される部分をＳＰＡＭ特徴情報生成装置という。ＳＰＡＭ特徴情報生成装置と場所情報記憶部４と非ＳＰＡＭ情報記憶部５とＳＰＡＭ情報フィルタリング部６とで構成される部分をＳＰＡＭ情報フィルタリング装置という。

情報検索装置は、１つのコンピュータまたは複数のコンピュータを通信回線で接続したコンピュータシステムに構成され、コンピュータが予め記憶装置に記憶されたコンピュータプログラムを読み込んで実行することで実現される。ＳＰＡＭ情報フィルタリング装置、ＳＰＡＭ特徴情報生成装置も同様である。

ＳＰＡＭ情報は、背景技術の説明にならえば、ＳＰＡＭといわれるブログの記事である。そうならば、非ＳＰＡＭ情報は、ＳＰＡＭ情報でないブログの記事であり、場所情報は、ブログの記事のＵＲＬ（Uniform Resource Locator）やＩＰアドレス（Internet Protocol Address）である。インデクス情報は、いわゆるインデクスの集合体ではなく、個々のインデクスである。検索結果情報は、いわゆる検索結果である。

次に、本実施の形態に係るＳＰＡＭ特徴情報生成方法、ＳＰＡＭ情報フィルタリング方法、インデクス情報生成方法および情報検索方法を説明する。

まず、ＳＰＡＭ特徴情報生成方法を説明する。

図２は、ＳＰＡＭ特徴情報生成方法のフローチャートである。同図に示すように、まず、ＳＰＡＭ特徴情報生成部３が、特定場所情報記憶部１から場所情報を読み出し、読み出した場所情報の場所にある情報つまりＳＰＡＭ情報を取得する（ステップＳ１）。次に、ＳＰＡＭ特徴情報生成部３は、取得したＳＰＡＭ情報に基づいて、取得したＳＰＡＭ情報の特徴を示すＳＰＡＭ特徴情報を生成する（ステップＳ３）。例えば、ＳＰＡＭ特徴情報生成部３は、図３に示すように、記事の日本語形態素解析、キーワードの取得、ＨＴＭＬ（HyperText Markup Language）のタグ、ＣＳＳ（Cascading Style Sheets）のスタイル情報などの要素への分解などを行い、各要素の出現頻度、複数要素が共に出現する頻度、出現位置などから、ＳＰＡＭ情報に特徴的に含まれる要素を抽出し、この要素を含むＳＰＡＭ情報を排除するルールを生成する。このルールは、ＳＰＡＭ情報の特徴を示すので、ＳＰＡＭ特徴情報という。次に、ＳＰＡＭ特徴情報生成部３は、生成したＳＰＡＭ特徴情報をＳＰＡＭ特徴情報記憶部２に記憶させる（ステップＳ５）。

次に、ＳＰＡＭ情報フィルタリング方法を説明する。

図４は、ＳＰＡＭ情報フィルタリング方法のフローチャートである。同図に示すように、まず、ＳＰＡＭ情報フィルタリング部６が、場所情報記憶部４から場所情報を読み出し、読み出した場所情報の場所にある情報を取得する（ステップＳ１１）。ＳＰＡＭ情報フィルタリング部６は、ＳＰＡＭ情報と非ＳＰＡＭ情報のいずれか一方であるがそのように区別できない情報を取得することになる。次に、ＳＰＡＭ情報フィルタリング部６は、ＳＰＡＭ特徴情報記憶部２からＳＰＡＭ特徴情報を読み出し、読み出したＳＰＡＭ特徴情報に基づいて、取得した情報の全体の中に混在するＳＰＡＭ情報をフィルタリングする（ステップＳ１３）。ＳＰＡＭ情報フィルタリング部６は、ＳＰＡＭ情報と非ＳＰＡＭ情報の区別ができない情報のそれぞれにつき、情報がＳＰＡＭ特徴情報であるルールに合致するか否かにより、情報がＳＰＡＭ情報であるか否かを判定し、ＳＰＡＭ情報であるなら情報を排除する。次に、ＳＰＡＭ情報フィルタリング部６は、取得した情報の全体の中から排除されずに残った情報つまり非ＳＰＡＭ情報を非ＳＰＡＭ情報記憶部５に記憶させる（ステップＳ１５）。

次に、インデクス情報生成方法および情報検索方法を説明する。

図５は、インデクス情報生成方法および情報検索方法のフローチャートである。同図に示すように、インデクス情報生成方法では、インデクス情報生成部７が、非ＳＰＡＭ情報記憶部５に記憶された非ＳＰＡＭ情報に含まれたキーワードと当該非ＳＰＡＭ情報を示す情報とを含むインデクス情報を生成し、インデクス情報記憶部８に記憶させる（ステップＳ２１）。インデクス情報生成部７は、一般的なインデクスの生成方法にならえば、非ＳＰＡＭ情報の場所情報、非ＳＰＡＭ情報のタイトルや要約文をインデクス情報に含ませ、インデクス情報記憶部８に記憶させる。

情報検索方法では、インデクス情報検索部９が、ユーザの操作により端末Ｔから送信されたキーワードを受信し（ステップＳ２３）、受信したキーワードを含むインデクス情報をインデクス情報記憶部８から検索する（ステップＳ２５）。次に、検索結果情報生成送信部１０が、検索されたインデクス情報に基づいて、検索されたインデクス情報に対応する非ＳＰＡＭ情報を示す検索結果情報を生成し（ステップＳ２７）、端末Ｔに送信する（ステップＳ２９）。検索結果情報生成送信部１０は、一般的な検索結果の生成方法にならえば、インデクス情報内の非ＳＰＡＭ情報の場所情報、非ＳＰＡＭ情報のタイトルや要約文を検索結果情報に含ませ、端末Ｔに送信する。

一般的なブログの記事の閲覧方法にならえば、端末Ｔは、送信された検索結果情報に基づいて、検索結果情報に含まれた非ＳＰＡＭ情報のタイトルや要約文を表示する。そして、端末Ｔは、いわゆるマウスクリックなどにより、検索結果情報に含まれた場所情報の場所から非ＳＰＡＭ情報を取得して表示する。これにより、端末Ｔのユーザは、閲覧したかった非ＳＰＡＭ情報を閲覧することができる。

したがって、本実施の形態によれば、ＳＰＡＭ情報を取得し、取得したＳＰＡＭ情報に基づいて、ＳＰＡＭ特徴情報を生成することで、ＳＰＡＭ特徴情報に基づいて、ＳＰＡＭ情報をフィルタリングすることができる。

また、ＳＰＡＭ情報をフィルタリングすることで、残った非ＳＰＡＭ情報についてだけインデクスを生成すればよく、インデクス生成が迅速化される。また、インデクス数が少なくなるので、インデクス検索が迅速化される。

また、迅速なインデクス検索により生成した検索結果を送信することで、検索結果の表示が迅速化される。また、検索結果にＳＰＡＭに関するものが含まれず、つまり、検索結果の精度が向上する。

なお、本実施の形態は一例であり、これに本発明は限定されない。例えば、ブログの記事でなく、通信ネットワークにある他の情報（いわゆるページ記述言語で記述されるような情報）を対象としてもよい。また、インターネットでなく、構内ネットワークや広域ネットワークを対象としてもよい。

また、本実施の形態の各方法を装置に実行させるコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に格納し、陳列などして流通させたり、当該コンピュータプログラムをインターネットなどの通信網を介して伝送させてもよい。

本実施の形態に係る情報検索装置の構成と利用形態を示す図である。ＳＰＡＭ特徴情報生成方法のフローチャートである。ＳＰＡＭ特徴情報の生成についての説明図である。ＳＰＡＭ情報フィルタリング方法のフローチャートである。インデクス情報生成方法および情報検索方法のフローチャートである。

符号の説明

１…特定場所情報記憶部
２…ＳＰＡＭ特徴情報記憶部
３…ＳＰＡＭ特徴情報生成部
４…場所情報記憶部
５…非ＳＰＡＭ情報記憶部
６…ＳＰＡＭ情報フィルタリング部
７…インデクス情報生成部
８…インデクス情報記憶部
９…インデクス情報検索部
１０…検索結果情報生成送信部
Ｎ…通信ネットワーク
Ｔ…端末

Claims

通信ネットワークにあるＳＰＡＭ情報の場所を示す場所情報が予め記憶される特定場所情報記憶部と、前記ＳＰＡＭ情報の特徴を示すＳＰＡＭ特徴情報が記憶されることになるＳＰＡＭ特徴情報記憶部と、前記特定場所情報記憶部から場所情報を読み出し、読み出した場所情報の場所にあるＳＰＡＭ情報を取得し、取得したＳＰＡＭ情報に基づいて、取得したＳＰＡＭ情報の特徴を示すＳＰＡＭ特徴情報を生成し、前記ＳＰＡＭ特徴情報記憶部に記憶させるＳＰＡＭ特徴情報生成部とを備えるＳＰＡＭ特徴情報生成装置と、
通信ネットワークにおけるＳＰＡＭ情報と非ＳＰＡＭ情報の各場所を示す場所情報が区別せずに予め記憶される場所情報記憶部と、
前記非ＳＰＡＭ情報が記憶されることになる非ＳＰＡＭ情報記憶部と、
前記場所情報記憶部から場所情報を読み出し、読み出した場所情報の場所にある情報を取得し、前記ＳＰＡＭ特徴情報記憶部からＳＰＡＭ特徴情報を読み出し、読み出したＳＰＡＭ特徴情報に基づいて、取得した情報の全体の中に混在するＳＰＡＭ情報をフィルタリングし、残った非ＳＰＡＭ情報を前記非ＳＰＡＭ情報記憶部に記憶させるＳＰＡＭ情報フィルタリング部と
を備えることを特徴とするＳＰＡＭ情報フィルタリング装置。
請求項１記載のＳＰＡＭ情報フィルタリング装置と、
前記非ＳＰＡＭ情報記憶部に記憶された非ＳＰＡＭ情報に含まれたキーワードと当該非ＳＰＡＭ情報を示す情報とを含むインデクス情報を生成するインデクス情報生成部と、
前記生成されたインデクス情報が記憶されるインデクス情報記憶部と、
前記非ＳＰＡＭ情報を閲覧したいユーザに使用される端末から送信されたキーワードを受信し、受信したキーワードを含むインデクス情報を前記インデクス情報記憶部から検索するインデクス情報検索部と、
前記検索されたインデクス情報に基づいて、検索されたインデクス情報に対応する非ＳＰＡＭ情報を示す検索結果情報を生成し、前記端末に送信する検索結果情報生成送信部と
を備えることを特徴とする情報検索装置。
請求項１記載のＳＰＡＭ情報フィルタリング装置におけるＳＰＡＭ情報フィルタリング方法であって、
前記ＳＰＡＭ情報フィルタリング部が、前記場所情報記憶部から場所情報を読み出し、読み出した場所情報の場所にある情報を取得し、前記ＳＰＡＭ特徴情報記憶部からＳＰＡＭ特徴情報を読み出し、読み出したＳＰＡＭ特徴情報に基づいて、取得した情報の全体の中に混在するＳＰＡＭ情報をフィルタリングし、残った非ＳＰＡＭ情報を前記非ＳＰＡＭ情報記憶部に記憶させることを特徴とするＳＰＡＭ情報フィルタリング方法。
請求項２記載の情報検索装置における情報検索方法であって、
前記インデクス情報検索部が、前記非ＳＰＡＭ情報を閲覧したいユーザに使用される端末から送信されたキーワードを受信し、受信したキーワードを含むインデクス情報を前記インデクス情報記憶部から検索し、前記検索結果情報生成送信部が、前記検索されたインデクス情報に基づいて、検索されたインデクス情報に対応する非ＳＰＡＭ情報を示す検索結果情報を生成し、前記端末に送信することを特徴とする情報検索方法。
請求項３または４記載の方法をコンピュータに実行させるコンピュータプログラム。
請求項５記載のコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体。