JP5427119B2

JP5427119B2 - 類似文書検索装置、類似文書検索方法、そのプログラムおよび記録媒体

Info

Publication number: JP5427119B2
Application number: JP2010135349A
Authority: JP
Inventors: 真詞田本; 理吉岡; 敏高橋
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2010-06-14
Filing date: 2010-06-14
Publication date: 2014-02-26
Anticipated expiration: 2030-06-14
Also published as: JP2012003333A

Description

本発明は、或る文書に類似した文書を複数の文書から検索する装置等に関し、特に、文書に含まれる話題の重要度に基づき類似性を判定する類似文書検索装置、類似文書検索方法、そのプログラムおよび記録媒体に関する。

従来の類似文書検索手法（例えば、特許文献１）においては、検索したい内容の文書（標本文書）と検索対象である１以上の文書（参照文書）のそれぞれについて特徴量を求め、これら特徴量間の距離を算出して、その距離が小さい文書を類似文書として抽出する。特徴量は、例えば文書に含まれる各単語をそれぞれ単語概念ベクトルに変換し、それら全ての単語概念ベクトルの重心として得られるベクトル（文書ベクトル）として定義される。この文書ベクトルを計算する際には、類似文書の検索精度を高めるために、単語に対してＴＦ−ＩＤＦなどの単語の出現頻度をもとに決定した重みを付すという方法をとるのが一般的である。

特開２００９−２７７０９９号公報特開２００９−２１１２７７号公報

文書間の類似性を人間が判定する場合には、主に文書に含まれる重要な話題の共通性に着目して判定するのが一般的である。これに対し、従来の類似文書検索手法においては、文書に含まれる単語の出現頻度に重み付けをしており、つまり、大きな重みが付された単語に着目して類似性が判定されている。しかし、文書の類似性を判定する上で重要となる話題の中心をなす単語は、必ずしも出現頻度が高いとは限らず、出現の頻度が高いからといって話題の中心をなす単語であるとは限らない。従って、従来の類似文書検索手法においては、文書の類似性を判定する上で必ずしも重要でない単語にも大きな重みが与えられてしまう場合があり、その場合、重要な話題の共通性を類似度に反映できないため、人間による類似性の判定精度と差が生じるという問題がある。また、このような問題を回避するために、単語の重み付けのみを人為的に行うという方法も考えられるが、効率面やコスト面などの新たな問題が生じる。

本発明の目的は、文書間の類似性を文書に含まれる話題の重要度を加味して判定することより、従来より判定精度に優れた類似文書検索を可能とする類似文書検索装置、類似文書検索方法、そのプログラムおよび記録媒体を提供することにある。

本発明の類似文書検索装置は、単語概念ベースと話題分類部と話題ベクトル計算部と話題カテゴリ分類部と重要度計算部と類似度計算部とを備える。

単語概念ベースは、単語とその特徴量である単語概念ベクトルの対の集合が格納されるデータベースである。

話題分類部は、文書を構成する各単語について、単語概念ベースから得られた各単語の単語概念ベクトルに基づき複数の話題に分類する。

話題ベクトル計算部は、話題の特徴量である話題ベクトルを、話題に分類された各単語の単語概念ベクトルの重心として求める。

話題カテゴリ分類部は、複数の話題について、話題ベクトルに基づき複数の話題カテゴリに分類する。

重要度計算部は、或る話題カテゴリｐに属する話題を含む文書の集合Ｐにおける、各話題カテゴリｉ（ｉは話題カテゴリ分類部で分類されたｐを含む各話題カテゴリの識別子）に属する話題を含む文書の出現頻度分布Ｐ(ｉ)と、全文書の集合Ｑにおける、各話題カテゴリｉに属する話題を含む文書の出現頻度分布Ｑ(ｉ)との分布の差を、或る話題カテゴリｐの重要度として、全ての話題カテゴリについて重要度を求める。

類似度計算部は、２つの文書について、話題カテゴリごとに、当該話題カテゴリに属する話題の話題ベクトルの類似度を求め、これを当該話題カテゴリの重要度で正規化する計算を、全ての話題カテゴリについて実行し、その総和を当該２つの文書の類似度として求める。

以上の構成の下で、標本文書と各参照文書との類似度を以下のように求める。

予め複数の参照文書について、話題の分類、当該各話題の話題ベクトルの計算、当該各話題の話題カテゴリへの分類、及び各話題カテゴリの重要度の計算を、話題分類部、話題ベクトル計算部、話題カテゴリ分類部、及び重要度計算部においてそれぞれ実行しておく。

そして、標本文書について、話題の分類、当該各話題の話題ベクトルの計算、及び当該各話題の前記各話題カテゴリへの分類を、話題分類部、話題ベクトル計算部、及び話題カテゴリ分類部においてそれぞれ実行し、類似度計算部において、参照文書ごとに標本文書との類似度を求める。

本発明の類似文書検索装置、類似文書検索方法、そのプログラムおよび記録媒体によれば、文書間の類似性を文書に含まれる話題の重要度を加味して判定を行うため、従来より判定精度に優れた類似文書検索が可能となる。

類似文書検索装置１００の構成例を示すブロック図。類似文書検索装置１００の処理フロー例を示す図。文書と話題と話題カテゴリとの関係を示す図。或る話題カテゴリに属する話題を含む文書の集合Ｐと全文書の集合Ｑとの関係を示す図。

図1は本発明の類似文書検索装置１００の構成例を示すブロック図である。また、図２はその処理フロー例である。類似文書検索装置１００は、単語概念ベース１１０と話題分類部１２０と話題ベクトル計算部１３０と話題カテゴリ分類部１４０と重要度計算部１５０と類似度計算部１６０と検索結果表示部１７０とを備える。以下、まず、これら各部の機能を説明した上で、この装置を用いて複数の参照文書から標本文書と類似性の高い文書を検索する方法を説明する。

単語概念ベース１１０は、単語とその特徴量である単語概念ベクトルとの対の集合が格納されるデータベースである。単語概念ベース１１０は既存のものを用いることができ、例えば国語辞典の語義文から作成される辞書概念ベースや、新聞記事等の文書を大量に集めたコーパスから作成されるコーパスから作成されるコーパス概念ベースなどが知られている。このような単語概念ベースは一般に、単語間の類似性が高いほど、概念ベクトル間の距離が近いという性質を持つ。

話題分類部１２０は、文書を構成する各単語について、単語概念ベースから得られた各単語の単語概念ベクトルに基づき複数の話題に分類する。図３に示す例の場合、文書Ｄ₁、Ｄ₂、Ｄ₃に含まれる各単語（図形やアルファベットで表示）をそれぞれ２つ、３つ、３つの話題に分類している。分類は、単語概念ベクトル間の距離が近いものを任意の方法でクラスタリングすればよい。

話題ベクトル計算部１３０は、話題の特徴量である話題ベクトルを、話題に分類された各単語の単語概念ベクトルの重心として求める。

話題カテゴリ分類部１４０は、複数の話題について、話題ベクトルに基づき複数の話題カテゴリに分類する。図３に示す例では、４つの話題カテゴリｐ、ｒ、ｓ、ｔに分類している。分類は、話題ベクトル間の距離が近いものを任意の方法でクラスタリングすればよい。

重要度計算部１５０は、或る話題カテゴリｐに属する話題を含む文書の集合Ｐにおける、各話題カテゴリｉ（ｉは話題カテゴリ分類部１４０で分類されたｐを含む各話題カテゴリの識別子）に属する話題を含む文書の出現頻度分布Ｐ(ｉ)と、全文書の集合Ｑにおける、各話題カテゴリｉに属する話題を含む文書の出現頻度分布Ｑ(ｉ)との分布の差を、前記或る話題カテゴリの重要度として、全ての話題カテゴリについて重要度を求める。

形式的な内容や偶発的な挿入など、重要性の低い話題カテゴリは、文書の重要な話題に関わりなく文書全体に一様に出現するため、他の話題カテゴリとの共起関係において従属性が低い。ここでは、着目する或る話題カテゴリを変数とし、当該話題カテゴリに共起する話題カテゴリ分類部１４０で分類された各話題カテゴリの出現頻度分布を考えたときに、着目する或る話題カテゴリの出現頻度分布と全話題カテゴリの出現頻度分布との差を重要度の尺度にする。

図３に示す例の場合、例えば、着目する或る話題カテゴリが話題カテゴリｐであるとき、これに属する話題を含む文書の集合Ｐは、文書Ｄ₁とＤ₂である。そして、文書Ｄ₁とＤ₂に含まれる話題が各話題カテゴリｉ（＝ｐ、ｒ、ｓ、ｔ）に出現する頻度は、Ｐ(ｐ)＝２（Ｄ₁の話題とＤ₂の話題の両方）、Ｐ(ｒ)＝２、Ｐ(ｓ)＝１（Ｄ₂の話題のみ）、Ｐ(ｔ)＝０（Ｄ₁の話題、Ｄ₂の話題ともに無し）である。一方、全文書の集合Ｑに含まれる話題が各話題カテゴリに出現する頻度は、Ｑ(ｐ)＝２（Ｄ₁の話題とＤ₂の話題）、Ｐ(ｒ)＝３（Ｄ₁〜Ｄ₃のすべての話題）、Ｐ(ｓ)＝２（Ｄ₂の話題とＤ₃の話題）、Ｐ(ｔ)＝１（Ｄ₃の話題）である。そして、このように求めたＰ(ｉ)とＱ(ｉ)を用いて、例えば次式により話題カテゴリｐの重要度Ｄ_KL(ｐ)を求める。

そして、同様な手順で話題カテゴリｒ、ｓ、ｔについても重要度を求める。

式(1)で求めた重要度は、カルバック・ライブラー情報量であり、或る話題カテゴリを含む文書集合Ｐにおける各話題カテゴリｉの共起関係と全文書集合Ｑにおける各話題カテゴリｉの共起関係との差が、当該或る話題カテゴリの重要度として反映される。つまり、Ｐ(ｉ)とＱ(ｉ)との分布の差が大きい話題カテゴリほど重要度が高くなり、逆にＰ(ｉ)＝Ｑ(ｉ)の場合は重要度は０となる。図４は、式(1)で求められる話題カテゴリの共起関係の差を模式化して表したものである。図４中の３つの話題カテゴリｕ₁、ｕ₂、ｕ₃のうち、他の話題カテゴリと共起関係にある話題カテゴリｕ₁は、独立した話題カテゴリｕ₂、ｕ₃と比べて重要度が低くなる。このような話題カテゴリには、形式的内容や偶発などが含まれるため、類似度算出において、これらの話題カテゴリが占める割合が相対的に低くなる。

類似度計算部１６０は、２つの文書について、話題カテゴリごとに、当該話題カテゴリに属する話題の話題ベクトルの類似度を求め、これを当該話題カテゴリの重要度で正規化する計算を、全ての話題カテゴリについて実行し、その総和を当該２つの文書の類似度として求める。

具体的には２つの話題ベクトル（例えばｐ₁、ｐ₂）の類似度は、例えば次式のコサイン距離として求めることができる。

そして、例えば図３に示すように、２つの文書Ｄ₁、Ｄ₂が共通して含む文書カテゴリｐ（重要度Ｄ_KL(ｐ)）の話題（話題ベクトルｐ₁、ｐ₂）と文書カテゴリｒ（重要度Ｄ_KL(ｒ)）の話題（話題ベクトルｒ₁、ｒ₂）に基づき、その類似度を２つの文書Ｄ₁、Ｄ₂の類似度を次式のように求める。

そして、検索結果表示部１７０は各文書の類似度に基づき、検索結果を表示する。

次に、この装置を用いて複数の参照文書から標本文書と類似性の高い文書を検索する方法を図２の処理フロー例（Ｓ１〜Ｓ９）に従い説明する。

予め複数の参照文書について、話題の分類、当該各話題の話題ベクトルの計算、当該各話題の話題カテゴリへの分類、及び各話題カテゴリの重要度の計算を、話題分類部１２０、話題ベクトル計算部１３０、話題カテゴリ分類部１４０、及び重要度計算部１５０においてそれぞれ実行しておく（Ｓ１〜Ｓ４）。

続いて、標本文書（任意の文書。参照文書として用いた文書であっても構わない。）について、話題の分類、当該各話題の話題ベクトルの計算、及び当該各話題の前記各話題カテゴリへの分類を、話題分類部１２０、話題ベクトル計算部１３０、及び話題カテゴリ分類部１４０においてそれぞれ実行し（Ｓ５〜Ｓ７）、類似度計算部１６０において、参照文書ごとに標本文書との類似度を求める（Ｓ８）。そして、検索結果表示部１７０において、標本文書に対する各参照文書の類似度に基づき、標本文書に類似する参照文書の検索結果を表示する（Ｓ９）。表示方法は任意であり、例えば、類似度を降順に並べることで、標本文書と類似性の高い参照文書のリストを表示できる。

以上のように本発明の類似文書検索装置、類似文書検索方法、そのプログラムおよび記録媒体によれば、文書間の類似性を文書に含まれる話題の重要度を加味して判定を行うため、従来の装置と比べて判定精度に優れた類似文書検索が可能となる。

上記の各処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

また、本発明の類似文書検索装置をコンピュータによって実現する場合、装置の各部が有す機能の処理内容はプログラムによって記述される。そのプログラムは、例えば、ハードディスク装置に格納されており、実行時には必要なプログラムやデータがＲＡＭ(Random Access Memory)に読み込まれる。その読み込まれたプログラムがＣＰＵにより実行されることにより、コンピュータ上で各処理内容が実現される。なお、処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

上記の処理機能を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよいが、具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

また、上述した実施形態とは別の実行形態として、コンピュータが可搬型記録媒体から直接このプログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

Claims

単語とその特徴量である単語概念ベクトルの対の集合が格納された単語概念ベースと、
文書を構成する各単語について、単語概念ベースから得られた各単語の単語概念ベクトルに基づき複数の話題に分類する話題分類部と、
話題の特徴量である話題ベクトルを、話題に分類された各単語の単語概念ベクトルの重心として求める話題ベクトル計算部と、
複数の話題について、話題ベクトルに基づき複数の話題カテゴリに分類する話題カテゴリ分類部と、
或る話題カテゴリｐに属する話題を含む文書の集合Ｐにおける、各話題カテゴリｉ（ｉは話題カテゴリ分類部で分類されたｐを含む各話題カテゴリの識別子）に属する話題を含む文書の出現頻度分布Ｐ(ｉ)と、全文書の集合Ｑにおける、各話題カテゴリｉに属する話題を含む文書の出現頻度分布Ｑ(ｉ)との分布の差を、或る話題カテゴリｐの重要度として、全ての話題カテゴリについて重要度を求める重要度計算部と、
２つの文書について、話題カテゴリごとに、当該話題カテゴリに属する話題の話題ベクトルの類似度を求め、これを当該話題カテゴリの重要度で正規化する計算を、全ての話題カテゴリについて実行し、その総和を当該２つの文書の類似度として求める類似度計算部と、
を備え、
予め複数の参照文書について、話題の分類、当該各話題の話題ベクトルの計算、当該各話題の話題カテゴリへの分類、及び各話題カテゴリの重要度の計算を、話題分類部、話題ベクトル計算部、話題カテゴリ分類部、及び重要度計算部においてそれぞれ実行しておき、
標本文書について、話題の分類、当該各話題の話題ベクトルの計算、及び当該各話題の前記各話題カテゴリへの分類を、話題分類部、話題ベクトル計算部、及び話題カテゴリ分類部においてそれぞれ実行し、
類似度計算部において、参照文書ごとに標本文書との類似度を求めることにより、標本文書に類似する文書を検索する類似文書検索装置。
請求項１に記載の類似文書検索装置であって、
前記重要度計算部は、前記或る話題カテゴリｐの重要度Ｄ_KL(ｐ)を、

により求めることを特徴とする類似文書検索装置。
請求項１又は２に記載の類似文書検索装置であって、
前記類似度計算部は、各話題の話題ベクトルｐ₁、ｐ₂の類似度をコサイン距離

として求めることを特徴とする類似文書検索装置。
単語とその特徴量である単語概念ベクトルの対の集合が格納された単語概念ベースを用い、
複数の参照文書について、
類似文書検索装置の話題分類部が、文書を構成する各単語について、単語概念ベースから得られた各単語の単語概念ベクトルに基づき複数の話題に分類する第１話題分類ステップを実行し、
類似文書検索装置の話題ベクトル計算部が、話題の特徴量である話題ベクトルを、話題に分類された各単語の単語概念ベクトルの重心として求める第１話題ベクトル計算ステップを実行し、
類似文書検索装置の話題カテゴリ分類部が、複数の話題について、話題ベクトルに基づき複数の話題カテゴリに分類する第１話題カテゴリ分類ステップを実行し、
類似文書検索装置の重要度計算部が、或る話題カテゴリｐに属する話題を含む文書の集合Ｐにおける、各話題カテゴリｉ（ｉは話題カテゴリ分類部で分類されたｐを含む各話題カテゴリの識別子）に属する話題を含む文書の出現頻度分布Ｐ(ｉ)と、全文書の集合Ｑにおける、各話題カテゴリｉに属する話題を含む文書の出現頻度分布Ｑ(ｉ)との分布の差を、或る話題カテゴリｐの重要度として、全ての話題カテゴリについて重要度を求める重要度計算ステップを実行し、
標本文書について、
類似文書検索装置の話題分類部が、文書を構成する各単語について、単語概念ベースから得られた各単語の単語概念ベクトルに基づき複数の話題に分類する第２話題分類ステップを実行し、
類似文書検索装置の話題ベクトル計算部が、話題の特徴量である話題ベクトルを、話題に分類された各単語の単語概念ベクトルの重心として求める第２話題ベクトル計算ステップを実行し、
類似文書検索装置の話題カテゴリ分類部が、複数の話題について、話題ベクトルに基づき前記複数の話題カテゴリに分類する第２話題カテゴリ分類ステップを実行し、
類似文書検索装置の類似度計算部が、標本文書と参照文書について、話題カテゴリごとに、当該話題カテゴリに属する話題の話題ベクトルの類似度を求め、これを当該話題カテゴリの重要度で正規化する計算を、全ての話題カテゴリについて実行し、その総和を標本文書と当該参照文書の類似度として、全ての参照文書について標本文書との類似度を求める類似度計算ステップ
を実行する類似文書検索方法。
請求項４に記載の類似文書検索方法であって、
前記重要度計算ステップは、前記或る話題カテゴリｐの重要度Ｄ_KL(ｐ)を、

により求めることを特徴とする類似文書検索方法。
請求項４又は５に記載の類似文書検索方法であって、
前記類似度計算ステップは、各話題の話題ベクトルｐ₁、ｐ₂の類似度をコサイン距離

として求めることを特徴とする類似文書検索方法。
請求項１乃至３のいずれかに記載の類似文書検索装置としてコンピュータを機能させるためのプログラム。
請求項１乃至３のいずれかに記載の類似文書検索装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。