JP5618968B2 - 類似ページ検出装置、類似ページ検出方法、類似ページ検出プログラム - Google Patents

Description

本発明は、記載内容が類似しているＷｅｂページを検出する技術に関する。

近年では、インターネットが一般化したことにより、Ｗｅｂ上の情報量は飛躍的に増加している。そのため、現在では、これら大量の情報を効率よく整理して扱う技術が必須となっている。

類似ページの検出方法としては、従来、例えば下記非特許文献１に記載のものが知られている。

柴田知秀、姜ナウン、黒橋禎夫、「同一文抽出に基づく類似ページの検出と分類」、人工知能学会論文誌、２５巻１号Ｆ（２０１０年）、ｐｐ．２２４−２３２

非特許文献１では、文単位で類似ページを検出することで、包含関係、一部重複、同一などを判定しているが、これは基本的には文単位で内容が一致している場合のみ検出ができる。

発明者らは、大量のＷｅｂページに記載されている情報の中で、類似しているページを整理しておくことで、様々な情報処理を効率よく行えると考えている。特に、Ｗｅｂ情報を検索するといった利用例を考えた場合、ある単語で検索した結果では、類似した概要文となるページがある場合は、まとまっていた方が便利である。この類似とは、完全に同一な文ではなく、ある程度似ている場合も類似と扱われていることが望ましいと考えられる。

その観点では、前述の非特許文献１に記載の手法では、基本的には同一内容の場合のみ類似として扱われるため、不十分であるといえる。

本発明は上記課題を解決するものであり、その目的は、記載内容が類似しているＷｅｂページを検出することで、大量の情報の整理や統合を効率的に行える類似ページ検出装置、方法、プログラムを提供することにある。

本発明では、類似ページを検出するために、文単位かつ文を構成する上で特徴となるであろう単語を抽出し、その単語列を基にハッシュ（異なるデータである場合は異なった値となることが保証される値変換方式：ＭＤ５，ＳＨＡ２５６など）を計算する。この値が同じ場合は類似している文が含まれている、ということで、記述内容が類似しているページ群を検出することができる。

文を構成する上で、特徴となる単語は、名詞や形容詞語幹、動詞語幹等が挙げられる。これは、語尾などの活用する部分は、言い替えなどで多様性が考えられるが、類似しているかという判断の場合、重視する度合いは低いと考えられるからである。ここで、特徴となる単語のことを「選別語」とする。

また、文は長さがまちまちであることは自然なことであるが、基本的には、長い文からは上記選別語が多く抽出でき、短い文は少なくなる。特に、「選別語」が一個だった場合は数多くのページに類似文が現れるであろうことは容易に予想できる。これは、類似ページを見つける計算を行う上でも無駄となるため、「選別語」が任意の個数より少ない場合はハッシュを計算しないことで類似判定処理の回数が減り、結果、処理が高速になると考えられる。

ただし、「選別語」の種類、特に名詞に関しては、その意味により重視の度合いが違うと考えられる。特に情報検索を考えた場合、たくさんの文書に現れるような一般名詞よりも、専門分野でよく使われるような単語や人物・製品に関する名前といった固有名詞の方が重要である。

この重要性を反映するために、先の「選別語」において、固有名詞が出現しない、かつ、任意の個数（「選別語しきい値」とする）より少ない場合はハッシュの計算を行わず、固有名詞が含まれる場合には、後続する文の「選別語」も加えたものからハッシュを計算することとする。

これは、利用例として挙げた情報検索においては、提示される概要文は一文とは限らず、ある程度の長さを持つ。よって、固有名詞が含まれているが短い文であった場合は、この任意の長さ（「文長しきい値」とする）の範囲内で、後続の文の「選別語」も加味することで、類似ページの取りこぼしを防ぐ。

以上の方法でページに含まれている文毎にハッシュを計算し、同一のハッシュ値を持つページ群を取りまとめることで、類似ページの情報を効率よく取得することができる。

本発明の類似ページ検出装置は、Ｗｅｂ上の情報から類似しているＷｅｂページを検出する類似ページ検出装置であって、Ｗｅｂページの情報が格納されたＷｅｂページ情報データベースと、前記Ｗｅｂページ情報データベース内のＷｅｂページ情報を取り出して、各ページの各文毎に形態素解析を行い、文を構成する上で特徴となる単語を表す選別語を抽出し、前記抽出された選別語の数が、設定された選別語しきい値よりも大である場合は当該抽出された選別語群のハッシュ値を計算し、前記選別語の数が前記選別語しきい値よりも小さい場合であって、固有名詞からなる重要語が存在し且つ原文の長さが設定した文長しきい値を超えていないときは、当該文およびその次の文を統合した文から抽出した選別語群のハッシュ値を計算するハッシュ計算手段と、前記計算されたハッシュ値と、当該ページのＵＲＬ、そのページの何文目かを示す文番号および当該文に重要語が有るか無いかの情報とを組として記録するハッシュ記録手段と、前記ハッシュ記録手段に記録された情報に基づいて、同一ハッシュ値を持つページ群をまとめて、類似ページ群を検出するハッシュ集約手段と、を備えたことを特徴としている。

本発明によれば、類似ページ群の検出を効率よく行なうことができ、これによって大量の情報の整理や統合を効率的に行なうことが可能となる。

また、固有名詞が含まれているが短い文であった場合に、類似ページの取りこぼしを防ぐことができる。

本発明の類似ページ検出装置の実施形態例を示す構成図。 本発明の類似ページ検出方法の実施形態例におけるハッシュ計算処理の流れを示すフローチャート。 本発明の類似ページ検出方法の実施形態例におけるハッシュ計算処理の流れの続きを示すフローチャート。 本発明の類似ページ検出方法の実施形態例におけるハッシュ計算処理の流れの続きを示すフローチャート。 本発明の類似ページ検出方法の実施形態例におけるハッシュ計算処理の流れの続きを示すフローチャート。 本発明の類似ページ検出方法の実施形態例におけるハッシュ集約処理の流れを示すフローチャート。 本発明の類似ページ検出装置の実施形態例におけるＷｅｂページの例を示す説明図。

以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。図１は本発明の実施形態例における類似ページ検出装置１００の構成を示している。

図２〜図５は本発明の類似ページ検出方法の実施形態例におけるハッシュ計算処理の流れを示すフローチャート、図６は本実施形態例におけるハッシュ集約処理の流れを示すフローチャートである。

図１において、１１０は、例えば図７に示すＷｅｂページの情報が格納されたＷｅｂページ情報データベースである。１２０は、前記Ｗｅｂページ情報データベース１１０内のＷｅｂページ情報を取り出して、各ページの各文毎に形態素解析を行い、文を構成する上で特徴となる単語を表す選別語を抽出し、該抽出された選別語の数に応じて後述する図２〜図５のハッシュ計算処理を行なうハッシュ計算手段としてのハッシュ計算装置である。

１３０は、重要度の高い固有名詞や、重要語として扱いたい単語、長めの単語列などが格納された重要語データベースである。

１４０は、ハッシュ計算装置１２０により抽出された選別語群に重要語が含まれており、且つその原文の長さが予め設定した文長しきい値を超えていないときに、文中の必要な品詞又は重要語と原文がハッシュ計算装置１２０によって登録される重要語一時記録装置である。

１５０は、前記ハッシュ計算装置１２０によって計算されたハッシュ値と、当該ページのＵＲＬ、そのページの何文目かを示す文番号および当該文に重要語が有るか無いかの情報との組が、ハッシュ計算装置１２０によってページ単位で記録されるページ単位ハッシュ一時記録装置である。

１６０は、ページ単位ハッシュ一時記録装置１５０の記録内容が、１ページ毎にハッシュ計算装置１２０によって転送され記録されるハッシュ記録装置である。この際、ハッシュ計算装置１２０は、ページ単位ハッシュ一時記録装置１５０内のハッシュ値をページ単位で整理し、同一ハッシュ値を持つ文がある場合は、文書の先頭に近い方のみをハッシュ記録装置１６０に登録し、全て異なるハッシュ値が記録されている場合はそのまま転送してハッシュ記録装置１６０に記録する。

前記ページ単位ハッシュ一時記録装置１５０およびハッシュ記録装置１６０によって本発明のハッシュ記録手段を構成している。

１７０は、ハッシュ記録装置１６０に記録された情報について、同一ハッシュ値を持つＷｅｂページをまとめて、類似ページ群を検出し、類似ページ群記録装置１８０へ記録する、ハッシュ集約手段としてのハッシュ集約装置である。

本実施形態例の類似ページ検出装置１００は、例えばコンピュータにより構成され、通常のコンピュータのハードウェアリソース、例えばＲＯＭ，ＲＡＭ，ＣＰＵ、入力装置、出力装置、通信インターフェース、ハードディスク、記録媒体およびその駆動装置を備えている。

このハードウェアリソースとソフトウェアリソース（ＯＳ、アプリケーションなど）との協働の結果、類似ページ検出装置１００は、図１に示すように、Ｗｅｂページ情報データベース１１０、ハッシュ計算装置１２０、重要語データベース１３０、重要語一時記録装置１４０、ページ単位ハッシュ一時記録装置１５０、ハッシュ記録装置１６０、ハッシュ集約装置１７０および類似ページ群記録装置１８０を実装する。

前記Ｗｅｂページ情報データベース１１０、重要語データベース１３０、重要語一時記録装置１４０、ページ単位ハッシュ一時記録装置１５０、ハッシュ記録装置１６０および類似ページ群記録装置１８０は、ハードディスクあるいはＲＡＭなどの保存手段・記憶手段に構築されているものとする。

尚、Ｗｅｂページ情報データベース１１０は、実装せず外部設置とし、ネットワークを介して接続するように構成してもよい。

図２はハッシュ計算装置１２０が行う処理を表し、ステップＳ１ではＷｅｂページを全部読み出したか否かを判定し、判定結果がＮｏの場合、ステップＳ２においてＷｅｂページ情報データベース１１０から１ページ分の情報を読み出し、ステップＳ３において次の文はあるか否かを判定し、有る場合はステップＳ４において、１文毎に単語の品詞情報を検査し、必要な品詞、もしくは重要語であれば選別語群として重要語一時記録装置１４０に記録する。重要語一次記録装置１４０に選別語が記録されている場合は、記録内容に選別語を追加する。ステップＳ５では、選別語が選別語しきい値よりも多いか少ないかを判定する。

図３のステップＳ６は、図２のステップＳ５の判定の結果、選別語が選別語しきい値よりも多い場合と、後述する選別語の統合により原文の長さが文長しきい値を超えた場合に（図４のステップＳ１０，Ｓ１２の処理の後に）、ハッシュ計算装置１２０が、選別語を整列させて、ハッシュ値を計算し、ページ単位ハッシュ一時記録装置１５０へ登録し、重要語一時記録装置１４０をクリアする処理を示している。

図４は、図２のステップＳ５の判定の結果、選別語が選別語しきい値より少ない場合に、ハッシュ計算装置１２０が行う処理を表し、ステップＳ７では選別語群に重要語が含まれているか否かを判定し、含まれている場合はステップＳ１０において、原文の長さは文長しきい値を超えているか否かを判定し、超えていない場合はステップＳ１１において選別語を重要語一時記録装置１４０へ登録し、超えている場合はステップＳ１２において重要語一時記録装置１４０をクリアする。

図５は、図２のステップＳ３の判定の結果、次の文が無いと判定された場合にハッシュ計算装置１２０が行なう処理を表し、ステップＳ８では、ページ単位ハッシュ一時記録装置１５０の記録内容に対して、ページ単位でハッシュ値の整理を行い、同一ハッシュ値を持つ文がある場合は、文書の先頭に近い方のみをハッシュ記録装置１６０に登録し、ステップＳ９ではページ単位ハッシュ一時記録装置１５０をクリアする。

図６は、図２のステップＳ１の判定結果がＹｅｓである（Ｗｅｂページを全部読み出した）場合にハッシュ集約装置１７０が行なう処理を表し、ステップＳ１３では、ハッシュ記録装置１６０に記録された情報について、同一ハッシュ値を持つＷｅｂページをまとめ、類似ページ群記録装置１８０へ記録し、処理を終了する。

次に、上記のように構成された装置の詳細を説明する。ハッシュ計算装置１２０は、Ｗｅｂページの情報をＷｅｂページ情報データベース１１０から取り出し、各文毎に処理を行う。文毎に形態素解析を行い、「選別語」として別途設定しておいた品詞となった語を抽出する。本実施例では「選別語」の対象を「一般名詞」、「動詞語幹」、「形容詞語幹」、「重要語」とする。また、「選別語しきい値」を３、「文長しきい値」を３０文字とする。

「重要語」は、一般的には、利用する形態素解析器のユーザ辞書機能を利用する。「重要語」として扱いたい単語や長めの単語列などを重要語データベース１３０として追加して形態素解析に反映されるようにする。表３に示すような、一般的には「ヨツハシ／カメラ」と分割される単語を「ヨツハシカメラ」と登録しておくことで、一つの「重要語」として扱えるようにする。

また、カタカナ語やアルファベット語を重要語に類する単語として扱う機能を持つ形態素解析器を用いてもよい。

もしくは、形態素解析を行った結果に対して、重要語データベース１３０のエントリが含まれていた場合は、その単語を「重要語」として扱う処理を追加してもよい。以下、具体的な処理の流れを図２〜図６を参照しながら説明する。

まず図７（ａ）に示すページの１文目として、ＴＩＴＬＥである「今日は誕生日」に対して、ハッシュ計算装置１２０が形態素解析処理を行い、「今日（一般名詞）／は（助詞）／誕生日（一般名詞）」という結果を得る（図２のステップＳ１〜Ｓ４）。一文目からは、「今日／誕生日」という選別語群を得るが、「選別語しきい値」の数に満たず、「重要語」も含まれないので、ハッシュ値は計算されないことになる（図２のステップＳ５，図４のステップＳ７）。

次に、２文目である「ＰＳ３を誕生日プレゼントにもらった。」を同様に処理する。形態素解析により、「ＰＳ３（重要語）／を（助詞）／誕生日（一般名詞）／プレゼント（一般名詞）／に（助詞）／もら（動詞語幹）／っ（動詞活用）／た（助動詞）／。（文末）」が得られ、「ＰＳ３／誕生日／プレゼント／もら」が選別語群となる（図２のステップＳ３，Ｓ４）。

選別語の数が「選別語しきい値」より多いため、この選別語群を辞書順で整列させ、ハッシュ値を計算する（図２のステップＳ５，図３のステップＳ６）。ここでは、ハッシュ計算手法としてＭＤ５を用いることとする。ハッシュ値として、「１２３４５６７８９０」を得る。この選別語群には、重要語が含まれるが、「選別語しきい値」より多かったため、重要語一時記録装置１４０へは登録されない。結果として、ハッシュ値、ＵＲＬ、何文目かを示す文番号と重要語の有無を表す数値を組として、ページ単位ハッシュ一時記録装置１５０に記録する。

次に、３文目である「とても嬉しい。」を同様に処理する（図２のステップＳ３，Ｓ４）。形態素解析により、「とても（副詞）／嬉し（形容詞語幹）／い（活用語尾）／。（文末）」が得られ、「嬉し」が選別語群となるが、「選別語しきい値」よりも少なく、「重要語」も含まれないため、ハッシュ値は計算されない（図２のステップＳ５，図４のステップＳ７）。

次に、４文目である「早速、近所のヨツバシカメラへ行ってｔｏｒｕｎｅｎを購入して、色々と設定、繋げて、今日の映画特集を録画してみた。」を同様に処理する。形態素解析により、「早速（副詞）／、／近所（一般名詞）／の（助詞）／ヨツバシカメラ（重要語）／へ（助詞）／行（動詞語幹）／っ（動詞活用）／て（活用語尾）／ｔｏｒｕｎｅｎ（重要語）／を（助詞）／購入（動詞語幹）／し（動詞語幹）／て（活用語尾）／、（読点）／色々（副詞）／と（助詞）／設定（動詞語幹）／、（読点）／繋げ（動詞語幹）／て（活用語尾）／、（読点）／今日（一般名詞）／の（助詞）／映画（一般名詞）／特集（一般名詞）／を（助詞）／録画（動詞語幹）／し（動詞語幹）／て（活用語尾）／み（動詞語幹）／た（活用語尾）／。（文末）」が得られ、「近所／ヨツバシカメラ／行／ｔｏｒｕｎｅｎ／購入／し／設定／繋げ／今日／映画／特集／録画／し／み」が選別語群となる（図２のステップＳ３，Ｓ４）。

選別語の数が「選別語しきい値」より多いため、この選別語群を辞書順で整列させ、ハッシュ値を計算し、「０９８７６５４３２１」を得る（図２のステップＳ５，図３のステップＳ６）。

この選別語群には、重要語が含まれるが、「選別語しきい値」より多かったため、重要語一時記録装置１４０へは登録されず、ハッシュ値、ＵＲＬ、何文目かを示す文番号と重要語の有無を表す数値を組として、ページ単位ハッシュ一時記録装置１５０に記録する。

上記で、１ページ（図７（ａ）に示すページ）分のハッシュ値計算が完了することになる（図２のステップＳ３の判定結果が無となる）ので、図５のステップＳ８において、このハッシュ値をまとめる。ページ単位ハッシュ一時記録装置１５０には、すべて異なるハッシュ値が記録されているので、このままハッシュ記録装置１６０へ転送される。そして図５のステップＳ９において、ハッシュ計算装置１２０がページ単位ハッシュ一時記録装置１５０をクリアする。

次のページ（図７（ｂ）に示すページ）も同様に処理する。１文目として、ＴＩＴＬＥである「誕生日おめでとう！」に対してハッシュ計算装置１２０が形態素解析処理を行い（図２のステップＳ１〜Ｓ４）、「誕生日（一般名詞）／おめでとう（定型詞）／！（感嘆詞）」という結果を得る。一文目からは、「誕生日」という選別語群を得るが、「選別語しきい値」の数に満たず、「重要語」も含まれないので、ハッシュ値は計算されないことになる（図２のステップＳ５，図４のステップＳ７）。

次に、２文目である「ｕｓｒ１さん、おめでとう！」を同様に処理する。形態素解析により、「ｕｓｒ１（重要語）／さん（一般名詞）／、（読点）／おめでとう（定型詞）／！（感嘆詞）」が得られ、「ｕｓｒ１／さん」が選別語群となる（図２のＳ３，Ｓ４）。選別語の数が「選別語しきい値」より少ないのでハッシュ値は計算されないが、「重要語」を含み（図２のステップＳ５，図４のステップＳ７）、且つ２文目の原文長が文長しきい値の３０文字を超えていないため、重要語一時記録装置１４０に選別語群である「ｕｓｒ１／さん」と原文の長さである１３文字を記録する。

次に、３文目である「＞ ＰＳ３を誕生日プレゼントにもらった。」を同様に処理する。形態素解析により、「＞（記号）／ （空白）／ＰＳ３（重要語）／を（助詞）／誕生日（一般名詞）／プレゼント（一般名詞）／に（助詞）／もら（動詞語幹）／っ（動詞活用）／た（助動詞）／。（文末）」が得られ、「ＰＳ３／誕生日／プレゼント／もら」が選別語群となる（図２のステップＳ３，Ｓ４）。 選別語の数が「選別語しきい値」より多いため、この選別語群を辞書順で整列させ、ハッシュ値を計算して「１２３４５６７８９０」を得る。続けて、重要語一時記録装置１４０には、２文目から抽出された選別語群が登録されているので、ハッシュ計算装置１２０は、２文目と３文目から抽出された選別語を統合する。 この時、２文目の選別語数が選別語しきい値より少なく且つ「重要語」を含んでいることから、図２のステップＳ５，図４のステップＳ７が実行され、そして原文の長さが、２文目の１３文字に３文目の２０文字が加えられて「文長しきい値」である３０文字を超えるので、図４のステップＳ１０の判定結果がＹｅｓとなる。そこで図４のステップＳ１２において重要語一時記録装置１４０をクリアした後、図３のステップＳ６において、別途前記統合された選別語群を辞書順に整列させ、ハッシュ値を計算して、ページ単位ハッシュ一時記録装置１５０に記録する。

以下、同様な処理を行った後の、ハッシュ記録装置１６０の内容を表１に示す。

すべてのページに対してハッシュ計算の処理を行った後、図６のステップＳ１３においてハッシュ集約装置１７０がハッシュ集約処理を行う。

ここでは、ハッシュ記録装置１６０に記録されたハッシュ値を基に、同じハッシュ値を持つレコードをまとめていく。この処理は、全体の量が少ない場合は、ハッシュ値を基にソートで整列を行い、同値のものをまとめることになる。全体の量が多い場合は、ＭａｐＲｅｄｕｃｅといった分散処理ソフトウェアを使えば同じハッシュ値を持つページ群をまとめることができる。最後に、ＵＲＬ毎に整理を行い、類似ページ群記録装置１８０に出力し記録する。表２に本実施例における出力結果例を示す。

以上のように本実施形態例によれば、Ｗｅｂページ間の類似度を、当該ページの文から抽出した複数の特徴となる単語（選別語）についてのハッシュ値に基づいて判断することにより、完全一致でないページ同士についても類似しているものとして整理、記録することができる。

また、選別語の数が前記選別語しきい値よりも小さい場合であっても、固有名詞からなる重要語が存在し且つ原文の長さが設定した文長しきい値を超えていないときは、当該文およびその次の文を統合した文から抽出した選別語群のハッシュ値を計算するので、重要語が含まれているが短い文である場合に、類似ページの取りこぼしを防ぐことができる。

尚、図１のＷｅｂページ情報データベース１１０にはＨＴＭＬデータそのものを蓄積しておき、別途、本文抽出、文区切り、形態素解析などを行なうページ解析処理装置を追加して構成しても良い。

また、本実施形態の類似ページ検出装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の類似ページ検出方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＨＤＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。

１００…類似ページ検出装置
１１０…Ｗｅｂページ情報データベース
１２０…ハッシュ計算装置
１３０…重要語データベース
１４０…重要語一時記録装置
１５０…ページ単位ハッシュ一時記録装置
１６０…ハッシュ記録装置
１７０…ハッシュ集約装置
１８０…類似ページ群記録装置

Claims (3)

1. Ｗｅｂ上の情報から類似しているＷｅｂページを検出する類似ページ検出装置であって、
   Ｗｅｂページの情報が格納されたＷｅｂページ情報データベースと、
   前記Ｗｅｂページ情報データベース内のＷｅｂページ情報を取り出して、各ページの各文毎に形態素解析を行い、文を構成する上で特徴となる単語を表す選別語を抽出し、前記抽出された選別語の数が、設定された選別語しきい値よりも大である場合は当該抽出された選別語群のハッシュ値を計算し、前記選別語の数が前記選別語しきい値よりも小さい場合であって、固有名詞からなる重要語が存在し且つ原文の長さが設定した文長しきい値を超えていないときは、当該文およびその次の文を統合した文から抽出した選別語群のハッシュ値を計算するハッシュ計算手段と、
   前記計算されたハッシュ値と、当該ページのＵＲＬ、そのページの何文目かを示す文番号および当該文に重要語が有るか無いかの情報とを組として記録するハッシュ記録手段と、
   前記ハッシュ記録手段に記録された情報に基づいて、同一ハッシュ値を持つページ群をまとめて、類似ページ群を検出するハッシュ集約手段と、を備えたことを特徴とする類似ページ検出装置。
2. Ｗｅｂ上の情報から類似しているＷｅｂページを検出する類似ページ検出方法であって、
   ハッシュ計算手段が、Ｗｅｂページの情報が格納されたＷｅｂページ情報データベース内のＷｅｂページ情報を取り出して、各ページの各文毎に形態素解析を行い、文を構成する上で特徴となる単語を表す選別語を抽出するステップと、前記抽出された選別語の数が、設定された選別語しきい値よりも大である場合は当該抽出された選別語群のハッシュ値を計算するステップと、前記選別語の数が前記選別語しきい値よりも小さい場合であって、固有名詞からなる重要語が存在し且つ原文の長さが設定した文長しきい値を超えていないときは、当該文およびその次の文を統合した文から抽出した選別語群のハッシュ値を計算するステップと、前記計算されたハッシュ値と、当該ページのＵＲＬ、そのページの何文目かを示す文番号および当該文に重要語が有るか無いかの情報とを組としてハッシュ記録手段に記録するステップと、
   ハッシュ集約手段が、前記ハッシュ記録手段に記録された情報に基づいて、同一ハッシュ値を持つページ群をまとめて、類似ページ群を検出するハッシュ集約ステップと、を備えたことを特徴とする類似ページ検出方法。
3. コンピュータを請求項１に記載の各手段として機能させる類似ページ検出プログラム。

Images