JPH09128402A

JPH09128402A - 文書類似度計算装置および文書分類装置

Info

Publication number: JPH09128402A
Application number: JP7281918A
Authority: JP
Inventors: Mamiko Oka; 満美子岡
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1995-10-30
Filing date: 1995-10-30
Publication date: 1997-05-16

Abstract

(57)【要約】【目的】情報の内容・主題を反映して文書データの類
似度を計算することができる文書類似度計算装置、また
これに基づき情報の分類を行なうことができる文書分類
装置を提供する。【構成】主題関係表現抽出部２は、文書データ記憶部
１からひとつの文書データが読み出し、文書データのテ
キスト部分を形態素解析する。形態素解析結果から、複
数の語句とその間の関係を表わす関係表現を抽出する。
抽出された関係表現のうち、関係表現を構成する自立語
群が同じで、矛盾しない関係を持つものを集め、頻度を
数える。得られた頻度に基づき、所定の基準に従って、
その文書データの主題を表わす関係表現を選択する。類
似度計算部３は、任意の２つの文書データの類似度を、
主題関係表現抽出部２で抽出された主題関係表現の類似
度に基づいて計算し、記憶部４に記憶する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テキスト情報を含む文
書データの類似度を計算する文書類似度計算装置、およ
び、類似度に基づき文書データを分類する文書分類装置
に関するものである。

【０００２】

【従来の技術】得たい情報を探すための第１歩として、
大量の文書情報の概要を見るために文書を分類する文書
分類装置がある。分類する方法としては、文書の類似度
を計算し、それに基づいて分類するものが提案されてい
る。例えば、特開平２−１５８８７１号公報に記載され
ている「文書分類装置」では、キーワードの出現頻度に
よる自己情報量に基づいて文書を分類する。また、“Ｓ
ｃａｔｔｅｒ／Ｇａｔｈｅｒ：ＡＣｌｕｓｔｅｒ−
ｂａｓｅｄＡｐｐｒｏａｃｈｔｏＢｒｏｗｓｉｎ
ｇＬａｒｇｅＤｏｃｕｍｅｎｔＣｏｌｌｅｃｔｉ
ｏｎｓ”（ＳＩＧＩＲ ’９２）には、テキストに出現
する単語の頻度を用いて類似度を計算する旨が記載され
ている。

【０００３】しかしながら、キーワードや出現単語とい
った単語を単位とした場合、単語がいろいろな意味で使
われていても同じものとして頻度が数えられてしまう。
そのため、キーワードの頻度や出現単語の頻度は文書の
内容や主題を十分に反映していない。したがって、この
ような方法に基づく文書の類似度は正確なものとは言え
ず、この類似度に基づく分類も正確ではない。

【０００４】

【発明が解決しようとする課題】本発明は、上述した事
情に鑑みてなされたもので、情報の内容・主題を反映し
て文書データの類似度を計算することができる文書類似
度計算装置、またこれに基づき情報の分類を行なうこと
ができる文書分類装置を提供することを目的とするもの
である。

【０００５】

【課題を解決するための手段】請求項１に記載の発明
は、文書類似度計算装置において、少なくともテキスト
情報を含むような文書データを入力する文書データ入力
手段と、該文書データ入力手段から入力された各文書デ
ータのテキスト部分から複数の語句とその間の関係から
なる関係表現のうち主題を表わす関係表現を抽出する主
題関係表現抽出手段手段と、任意の２つの文書データの
類似度を前記主題を表わす関係表現の類似度に基づいて
計算する類似度計算手段を有することを特徴とするもの
である。

【０００６】請求項２に記載の発明は、文書分類装置に
おいて、請求項１に記載の文書類似度計算装置と、前記
類似度計算手段において計算された類似度に基づいて文
書データを分類する情報分類手段と、該情報分類手段に
よる分類結果を出力する出力手段を有することを特徴と
するものである。

【０００７】

【作用】請求項１に記載の発明によれば、入力された各
文書データのテキスト部分から、複数の語句とその間の
関係からなる関係表現のうち、主題を表わす関係表現を
抽出し、抽出した主題を表わす関係表現の類似度に基づ
いて、任意の２つの文書データの類似度を計算する。こ
れにより、文書の主題によって類似度を判定できるとと
もに、同じ単語が使用されていても、その意味的な関係
を考慮して類似度を判定することができる。

【０００８】また、請求項２に記載の発明によれば、請
求項１に記載の発明によって計算された類似度を用い
て、文書データを分類する。これにより、文書の内容・
主題を反映した分類を行なうことができる。

【０００９】

【実施例】図１は、本発明の文書類似度計算装置の一実
施例を示す構成図である。図中、１は文書データ記憶
部、２は主題関係表現抽出部、３は類似度計算部、４は
記憶部である。

【００１０】文書データ記憶部１は、大量の文書データ
を記憶している記憶装置である。この文書データ記憶部
１は、例えば、磁気ディスクのような情報を記憶できる
ものであればどのような構成でもよい。また、すべての
情報の実体が存在する必要はなく、例えば、実体はネッ
トワーク上などにある文書データが仮想的に管理されて
いるものでもよい。また、記憶されている文書データ
は、少なくとも自然言語で記述されたテキストを含むも
のであれば、絵や図形などを含んでいてもよい。

【００１１】主題関係表現抽出部２は、文書データ記憶
部１に記憶された各文書データのテキスト部分から、文
書データの内容を表わす主題関係表現を抽出する。類似
度計算部３は、任意の２つの文書データの類似度を、主
題関係表現抽出部２で抽出された主題関係表現の類似度
に基づいて計算する。記憶部４は、類似度計算部３で計
算された２つの文書データ間の類似度を記憶する。

【００１２】図２は、主題関係表現抽出部２の詳細の一
例を示す構成図である。図中、２１は形態素解析部、２
２は関係表現抽出部、２３は関係表現選択部である。形
態素解析部２１は、文書データ記憶部１からひとつの文
書データが読み出し、文書データのテキスト部分を形態
素解析する。形態素解析の方法としては、従来用いられ
ている種々の解析手法を利用することができる。関係表
現抽出部２２は、形態素解析部２１による形態素解析結
果から、複数の語句とその間の関係を表わす関係表現を
抽出する。関係表現選択部２３は、ひとつの文書データ
から抽出された関係表現のうち、関係表現を構成する自
立語群が同じで、矛盾しない関係を持つものを集め、こ
れらの関係表現をひとつにまとめて頻度を数え、これを
各関係表現の重要度とする。また、それらの中から、最
も抽象度の低い関係を代表として選ぶ。各関係表現の重
要度が得られると、あらかじめ決められている基準にし
たがって重要度に基づいて関係表現を選択する。このよ
うにして選択した関係表現が、主題を表わす関係表現で
ある。このように、表現が異なっても同じ関係を表わす
と思われる関係表現をまとめた上で、出現頻度の高い関
係表現を選択することにより、主題を表わす関係表現を
選択できる。

【００１３】以下、具体例を用いながら、本発明の文書
類似度計算装置の一実施例における動作の一例を説明す
る。文書データ記憶部１から、ひとつの文書データが読
み出され、形態素解析部２１において文書データのテキ
スト部分が形態素解析される。関係表現抽出部２２で
は、形態素解析結果から、関係表現を抽出する。ここで
は二つの語句とその間の関係からなる関係表現を抽出す
るものとする。

【００１４】関係表現抽出部２２は、関係表現抽出規則
を用いて、形態素解析結果から前自立語群＋付属語群＋後自立語群からなる表現を抽出し、自立語群間の関係を与えて、例
えば、｛関係自立語群１自立語群２｝のように表わされる関係表現にする。

【００１５】図３は、関係表現抽出規則の一例の説明図
である。図３に示す関係表現抽出規則は、前自立語群、
付属語群、後自立語群、リレーション記号がそれぞれ対
応づけて登録されている。テキストの形態素解析結果か
ら前自立語群＋付属語群＋後自立語群という表現を抽出
したとき、それぞれ、前自立語群、付属語群、後自立語
群が適合する規則を見つける。そして、その規則に対応
づけられているリレーション記号を得て、前自立語群と
後自立語群とともに、関係表現｛関係自立語群１自
立語群２｝を生成する。なお、図３においては、サ変動
詞の語幹を単に「サ変」と略記している。

【００１６】図４は、関係表現の抽出例の説明図であ
る。例えば、図４（Ａ）に示す例文を形態素解析し、そ
の形態素解析結果から前自立語群＋付属語群＋後自立語
群という表現を抽出すると、図４（Ｂ）に示す６つの表
現が抽出される。例えば、１行目の「我々＋が＋実現」
という表現は、「名詞」＋「が」＋「サ変動詞語幹」で
ある。この表現を図３に示す関係表現抽出規則に当ては
めると、図３の１行目に示す規則と一致する。そのた
め、この表現のリレーション記号として［ガ］が得られ
る。得られたリレーション記号を関係とし、前自立語で
ある「我々」および後自立語である「実現」とともに、
関係表現｛［ガ］我々実現｝が生成される。他の表
現についても同様であり、図３に示した関係表現抽出規
則に従い、図４（Ｂ）に示した各表現から、図４（Ｃ）
に示した関係表現が生成される。

【００１７】関係表現抽出部２２によって生成された関
係表現は、関係表現選択部２３に送出される。関係表現
選択部２３は、ひとつの文書データから抽出された関係
表現のうち、重複するものについてその頻度を数える。
その際に、全く同じものだけでなく、例えば、「システ
ムを実現」、「システムの実現」、「システム実現」、
「実現されたシステム」のように、表現は異なっても同
じ関係を表わすと思われる関係表現をひとつにまとめ
る。

【００１８】図５は、関係表現が有する情報の一例の説
明図である。図５では、ある関係と、その関係と矛盾し
ない関係を対にして示している。例えば、上述のよう
に、「システムを実現」と矛盾しない関係として、「シ
ステムの実現」、「システム実現」、「実現されたシス
テム」等の表現がある。これらは関係［ノ］、［φ］、
［スル］にあたり、図５の２行目に示すように、関係
［ヲ］と矛盾しない関係である。

【００１９】図５に示すような情報を用いることによ
り、各関係表現と矛盾しない関係表現を得ることができ
る。例えば、図４（Ｃ）の２行目に示した関係表現
｛［スル］システム実現｝と矛盾しない関係表現は、
次の通りである。｛［ヲ］システム実現｝｛［ノ］システム実現｝｛［直結］システム実現｝｛［スル］システム実現｝このような矛盾しない関係表現は、ひとつにまとめられ
る。

【００２０】また、図５には、関係の抽象度も示してい
る。抽象度とは、関係の曖昧さを表わす数字である。例
えば、関係［ガ］のように、表わされる関係がはっきり
しているものには小さな値が、関係［ノ］や［直結］と
いった複数の関係に対応しうる抽象的な関係には大きな
値が割当てられている。関係表現選択部２３は、図５に
示す情報を用いて集めた矛盾しない関係表現の中から、
最も抽象度の低い関係を代表として選ぶ。上述の４つの
関係表現の場合、｛［ヲ］システム実現｝が最も低い抽象度を有するので、これが代表として選択
される。

【００２１】上述のようにして矛盾しない関係表現をひ
とつにまとめて頻度を数え、これを各関係表現群の重要
度とする。各関係表現群の重要度が得られると、関係表
現選択部２３は、あらかじめ決められている基準にした
がって重要度に基づいて関係表現群を選択する。この基
準は、重要度の高いほうから何個、関係表現の数に対し
て何分の一、テキストの量に対して何分の一など、種々
のものが考えられる。

【００２２】このように、表現が異なっても同じ関係を
表わすと思われる関係表現をまとめて関係表現群とした
上で、出現頻度の高い関係表現群を選択することによ
り、主題を表わす関係表現群を選択できる。選択された
関係表現群では、上述のように抽象度の最も低い関係表
現が代表として選択されている。

【００２３】上述のようにして、一つの文書データの主
題を表わす関係表現を抽出することができる。主題関係
表現抽出部２は、この処理を各文書データについて行な
い、すべての文書データの主題を表わす関係表現を抽出
する。

【００２４】上述の例では、出現頻度の高さのみによっ
て重要度を計算する単純な方法を述べたが、重要度の与
え方は種々考えられる。例えば、関係表現抽出部２２で
関係表現を抽出する際に、文の主節に現れるものには高
い点を、従属節に現れるものには低い点を与えたり、接
続詞等から判断して重要文だと思われる文中に現れたも
のには高い点を与えたり、章立てなどから判断して主要
な章や節と思われるところに現れたものには高い点を与
えるなどしておき、出現頻度に応じてこれらの点を足し
て重要度とするなどしてもよい。

【００２５】主題関係表現抽出部２においてすべての文
書データの主題関係表現が抽出されると、類似度計算部
３において、文書データ記憶部１に記憶されているすべ
ての文書データ間の組合せについて、文書データ間の類
似度を計算する。

【００２６】各文書データの主題を表わす関係情報が、
二つの語句Ｗａ，Ｗｂとその間の関係ＲＥＬよりなる場
合の、文書データの分類の動作の一例について説明す
る。類似度計算部３は、文書データ記憶部１に記憶され
ている文書データから二つの文書ＤＯＣ１，ＤＯＣ２を
読み出す。続いて、類似度計算部３は、二つの文書ＤＯ
Ｃ１，ＤＯＣ２に付与されている主題を表わす関係表現
のうち、それぞれ一つずつの関係表現ＫＲ１，ＫＲ２を
選び、その類似度を計算する。

【００２７】関係表現ＫＲ１は、語句Ｗａ１，Ｗｂ１と
その間の関係ＲＥＬ１より成り、関係表現ＫＲ２は、語
句Ｗａ２，Ｗｂ２とその間の関係ＲＥＬ２により成るも
のとする。関係表現ＫＲ１，ＫＲ２は、ＫＲ１＝（ＲＥＬ１Ｗａ１Ｗｂ１）ＫＲ２＝（ＲＥＬ２Ｗａ２Ｗｂ２）のように表わされる。

【００２８】関係表現ＫＲ１とＫＲ２の類似度ＳＩＭ
（ＫＲ１，ＫＲ２）は、関係ＲＥＬ１とＲＥＬ２の類似
度ＳＩＭ（ＲＥＬ１，ＲＥＬ２）、語句同士の類似度Ｓ
ＩＭ（Ｗａ１，Ｗａ２）、ＳＩＭ（Ｗｂ１，Ｗｂ２）、
ＳＩＭ（Ｗａ１，Ｗｂ２）、ＳＩＭ（Ｗｂ１，Ｗａ２）
に基づいて計算する。

【００２９】図６は、関係間の類似度のレベルの一例の
説明図、図７は、関係の類似度のレベルとスコアの一例
の説明図である。関係ＲＥＬ１とＲＥＬ２の類似度ＳＩ
Ｍ（ＲＥＬ１，ＲＥＬ２）は、一致度を幾つかのレベル
に分けてスコアを与える。図６に示すように、関係のす
べての組合せに対して、それぞれ類似度のレベルを与え
ておく。図６では、レベルの数が少ないほど、類似して
いることを示している。同じ関係についてはレベル１と
して、同じ関係であることを示している。

【００３０】これらのレベルに対応づけて、図７に示す
ようにスコアが与えられている。図７では、レベル１に
はスコア１００を、レベル２にはスコア８０を、レベル
３にはスコア５０を、レベル４にはスコア１０をそれそ
れ対応させている。２つの関係が同じ場合には、レベル
１となり、スコアは１００となる。

【００３１】語句同士の類似度ＳＩＭ（Ｗａ１，Ｗａ
２）、ＳＩＭ（Ｗｂ１，Ｗｂ２）、ＳＩＭ（Ｗａ１，Ｗ
ｂ２）、ＳＩＭ（Ｗｂ１，Ｗａ２）は、次のようにして
求める。語句Ｗ１とＷ２がともに単語のときは、シソー
ラスを用いて単語間の類似度を計算する。類似度の計算
は、例えば、全く同じ単語の場合には１００とし、同じ
でない場合には共通の親までの距離が近いほど類似度を
大きくするなど、従来から提案されている種々の方法を
用いることができる。また、語句Ｗ１とＷ２に複合語が
含まれる場合には、同じ単語が含まれる割合や、その語
順によって類似度を計算するなどの方法が従来から提案
されており、これらを用いて類似度を計算することがで
きる。さらに、これにもシソーラスを組み合わせて、類
似の単語が含まれる場合についても考慮するようにして
もよい。

【００３２】類似度ＳＩＭ（ＫＲ１，ＫＲ２）は、ＳＩ
Ｍ（ＲＥＬ１，ＲＥＬ２）、ＳＩＭ（Ｗａ１，Ｗａ
２）、ＳＩＭ（Ｗｂ１，Ｗｂ２）、ＳＩＭ（Ｗａ１，Ｗ
ｂ２）、ＳＩＭ（Ｗｂ１，Ｗａ２）に、それぞれ重みｗ
１、ｗ２、ｗ３、ｗ４、ｗ５を乗算したうえで、これら
を乗算あるいは加算するなどの方法により求めることが
できる。乗算する場合の例を次に示す。ＳＩＭ（ＫＲ１，ＫＲ２）＝ｗ１・ＳＩＭ（ＲＥＬ１，
ＲＥＬ２）×ｗ２・ＳＩＭ（Ｗａ１，Ｗａ２）×ｗ３・
ＳＩＭ（Ｗｂ１，Ｗｂ２）×ｗ４・ＳＩＭ（Ｗａ１，Ｗ
ｂ２）×ｗ５・ＳＩＭ（Ｗｂ１，Ｗａ２）なお、乗算する場合には、類似度が非常に小さい場合に
も０にならないようにするなどの工夫が必要である。ま
た、重みｗ１〜ｗ５は、例えば、関係の類似度の重みｗ
１を大きくして、関係が同じ場合を優先するようにした
り、関係表現中で異なる位置にある語句Ｗａ１とＷｂ
２、Ｗａ２とＷｂ１は、類似度が大きくても位置が異な
るため重みｗ４、ｗ５を小さくするなどが考えられる。

【００３３】このようにして、文書ＤＯＣ１の主題を表
わす関係表現と、文書ＤＯＣ２の主題を表わす関係表現
とのすべての組合せについて、類似度ＳＩＭ（ＫＲ１，
ＫＲ２）を計算する。このとき、文書ＤＯＣ１，ＤＯＣ
２の間の類似度ＳＩＭ（ＤＯＣ１，ＤＯＣ２）は、次式
によって計算される。ＳＩＭ（ＤＯＣ１，ＤＯＣ２）＝Σ_i=1 ⁿΣ_j=1 ^mｓｃｏｒ
ｅ（ＫＲｉ）・ｓｃｏｒｅ（ＫＲｊ）・ＳＩＭ（ＫＲ
ｉ，ＫＲｊ）ここで、文書ＤＯＣ１の主題を表わす関係表現の数はｉ
個、文書ＤＯＣ２の主題を表わす関係表現の数はｊ個と
している。また、ｓｃｏｒｅ（ＫＲｉ），ｓｃｏｒｅ
（ＫＲｊ）は、関係表現選択部２３で与えた関係表現の
重要度である。

【００３４】文書ＤＯＣ１，ＤＯＣ２の間の類似度ＳＩ
Ｍ（ＤＯＣ１，ＤＯＣ２）は、上述の計算式に限らず、
関係表現の重要度は加味せず、関係表現の類似度のみを
加算するなど、種々の計算方法を用いることが可能であ
る。また、関係の類似度のみ、あるいは語句同士の類似
度のみなど、利用する値についても適宜設定可能であ
る。

【００３５】このようにして、すべての文書の組合せに
対して、文書間の類似度を計算し、記憶部４に記憶す
る。その後、記憶部４に記憶されている文書間の類似度
を読み出し、種々の処理に用いることができる。もちろ
ん、記憶部４に記憶させず、類似度計算部３からの出力
を、直接他の装置の入力として与えるように構成しても
よい。

【００３６】図８は、本発明の文書分類装置の一実施例
を示す構成図である。図中、図１と共通の部分には同一
の符号を付して説明を省略する。５は情報分類部、６は
出力部である。文書分類装置は、図１に示した文書類似
度計算装置の各構成に加えて、情報分類部５および出力
部６を持つ。情報分類部５は、類似度計算部３において
計算された類似度に基づいて、文書を分類する。出力部
６は、例えばディスプレイなどの出力装置によって構成
され、情報分類部５の分類結果を出力する。

【００３７】情報分類部５は、類似度計算部３で計算さ
れた文書間の類似度にしたがって、文書データを分類す
る。分類には、種々の公知の自動ドキュメント分割プロ
グラムなどを使用することができる。分類された文書デ
ータは出力部６に送出され、例えばディスプレイ上に、
分類結果が表示される。

【００３８】上述の文書類似度計算装置の説明では、文
書データ記憶部１内のすべての文書の組合せについて、
文書間の類似度を計算すると説明したが、本発明はこれ
に限らない。例えば、ひとつの文書を特定し、その文書
と他の文書との間の類似度を計算するように構成しても
よい。これによって、特定した文書と類似する文書を検
索することも可能である。さらには、例えば、２つの文
書のみが入力され、その２つの文書間の類似度を計算す
るように構成してもよい。

【００３９】

【発明の効果】以上の説明から明らかなように、本発明
によれば、情報の内容・主題を反映して文書データの類
似度を計算することができる。また、この計算結果を用
いることにより、計算された類似度に基づき情報の分類
を行なうことができるという効果がある。

【図面の簡単な説明】

【図１】本発明の文書類似度計算装置の一実施例を示
す構成図である。

【図２】主題関係表現抽出部２の詳細の一例を示す構
成図である。

【図３】関係表現抽出規則の一例の説明図である。

【図４】関係表現の抽出例の説明図である。

【図５】関係表現が有する情報の一例の説明図であ
る。

【図６】関係間の類似度のレベルの一例の説明図であ
る。

【図７】関係の類似度のレベルとスコアの一例の説明
図である。

【図８】本発明の文書分類装置の一実施例を示す構成
図である。

【符号の説明】

１…文書データ記憶部、２…主題関係表現抽出部、３…
類似度計算部、４…記憶部、５…情報分類部、６…出力
部、２１…形態素解析部、２２…関係表現抽出部、２３
…関係表現選択部。

Claims

【特許請求の範囲】

【請求項１】少なくともテキスト情報を含むような文
書データを入力する文書データ入力手段と、該文書デー
タ入力手段から入力された各文書データのテキスト部分
から複数の語句とその間の関係からなる関係表現のうち
主題を表わす関係表現を抽出する主題関係表現抽出手段
手段と、任意の２つの文書データの類似度を前記主題を
表わす関係表現の類似度に基づいて計算する類似度計算
手段を有することを特徴とする文書類似度計算装置。
【請求項２】請求項１に記載の文書類似度計算装置
と、前記類似度計算手段において計算された類似度に基
づいて文書データを分類する情報分類手段と、該情報分
類手段による分類結果を出力する出力手段を有すること
を特徴とする文書分類装置。