JPH0740275B2 - キーワード重要度自動評価装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、キーワード重要度自動評価装置に係り、詳し
くは、新聞記事データベース等の検索のために、個々の
記事からキーワードを自動的に抽出し、かつ、それらの
キーワードのもとの記事中における統計的、構文的、意
味的な重要度を評価し、キーワードを統合的な重要度の
順に順位付けする装置に関する。

〔従来の技術〕

従来、新聞記事等からキーワ等を自動的に抽出する方式
としてはフリーターム方式と統制キーワード方式が知ら
れている。

フリーターム方式では、まず対象新聞記事等の分かち書
きを、漢字、ひらがな等の字種の変わり目、あるいは、
「、」、「。」等の区切り記号に着目してキーワード抽
出を行い、さらに分かち書き用の辞書を用いて語を品詞
単位に分割する。次に、接頭語、接尾語を登録した辞書
との照合により、分かち書きされた語から接頭語、接尾
語を取り去り、さらに、複合語の分割を、最小単位の単
語を登録した語い辞書を利用して、例えば「情報検索」
を「情報」と「検索」のように分割する。次に、数字の
単位語を登録した単位語辞書、並びに「昨日」、「傾
向」、「いま」のような不要語あるいはストップワード
などと称するひらがな列・漢字列から成る語であって一
般的でキーワードとはならない語を登録した不要語辞書
を作成しておき、これらの辞書と分かち書きされた語と
の照合を行い、数字の単位語、並びにストップワードを
取り除き、あわせて数字も取り除いて、残った語の中で
名詞をキーワードとする。

統制キーワード方式は、上記フリーターム方式の処理に
おいてキーワードとされた語について、キーワードとす
る語を登録した辞書と照合を行いキーワードを選択する
方式である。

〔発明が解決しようとする問題点〕

上記従来技術のフリーターム方式と統制キーワード方式
は、いずれもキーワード抽出だけのためのものであり、
キーワードの記事中における統計的、構文的、意味的な
重要度までも評価して出力するものではなかった。その
結果、新聞記事等に対してインデクサと呼ばれるキーワ
ード付けの専門家が付けるキーワードの数は通常５〜６
個であるのに対して、従来技術によると、20個以上もの
キーワードが付けられることになり、このため、新聞記
事データベース等をキーワード検索する際に多数の不必
要な記事がキーワード検索に適合して、精度が低く能率
が悪いとか、データベース中に不必要なキーワードのた
めの記憶スペースを大量に確保しなければならないとい
う欠点を有していた。

本発明の目的は、キーワード検索を高精度、高能率なも
のにするために、個々の新聞記事等からのキーワード抽
出において、該抽出されたキーワードの重要度を評価し
て重要なキーワードによる検索を可能ならしめるキーワ
ード重要度自動評価装置を提供することに有る。

〔問題点を解決するための手段及び作用〕

本発明のキーワード重要度自動評価装置は、入力処理
部、名詞抽出部、接辞・数詞削除部、不要語削除部、シ
ソーラス・重要語辞書照合部、並立語認定部、上中位語
認定部、出現位置認定部、出現頻度認定部、語重要度評
価部及び接頭語辞書、接尾語辞書、「昨日」、「傾向」
などの一般的な語でキーワードにはならない語を登録し
た不要語辞書、キーワードになり得る語を登録し、さら
にそれらの語の相互関係として、同義語、上位語、下位
語、関連語といった語関係を示したシソーラス辞書、特
に重要な語であるとしてキーワードとしたい固有名、地
名等を登録した重要語辞書などから構成される。

入力処理部では、磁気記憶装置等に記録さている新聞記
事データベース等から記事を読み込み、名詞抽出部で
は、読み込まれた記事中から、「は」、「が」、「を」
等の助詞の直前の漢字カタカナ列を名詞として抽出し、
それらを抽出名詞テーブルに登録する。接辞・数詞削除
部では、抽出名詞テーブルの中の個々の語に対して接頭
語辞書、接尾語辞書と照合を行って個々の語の中の接頭
語、接尾語、助数詞を削除し、かつ個々の語の中の数詞
も削除し、抽出名詞テーブルを更新する。不要語削除部
では、抽出名詞テーブルの語に対して、不要語辞書と照
合を行って照合した不要語を削除し、抽出名詞テーブル
を更新する。

シソーラス・重要語辞書照合部では、更新された抽出名
詞テーブル中の語に対して、シソーラス及び重要語辞書
と照合を行って照合した語をキーワード候補としてキー
ワード候補テーブルに登録する。

並立語認定部では、キーワード候補テーブルの語で、も
との記事中において「ＡやＢ」、「ＡとＢ」、「Ａ、
Ｂ」のように並立に表現されている語を並立語として認
定し、上中位語認定部では、キーワード候補テーブルの
語について、シソーラスにおいて下位語が有る語を上中
位語として認定し、出現位置認定部では、キーワード候
補テーブルの語について、もとの記事中での出現位置が
文の最初から所定文字目（90文字目）までゝあるかを認
定し、出現頻度認定部では、キーワード候補テーブルの
語について、もとの記事中で全部で何回出現しているか
をカウントする。

これらの各認定部の認定結果を語特徴認定テーブルに登
録し、語重要度評価部では、語特徴認定テーブルの結果
に基づいて、上記の各認定部において認定された語に各
認定項目ごとに固有の評価点を与えて、その後、個々の
語について評価点を合計し総合計の順に語の重要度を決
める。

〔実施例〕

以下、本発明の一実施例について図面により説明する。

第１図は本発明のキーワード重要度自動評価装置の一実
施例の基本構成図である。１はキーボード、電算写植等
の入力装置である。２は入力装置１によって読み込ま
れ、磁気記憶装置等に文字コードの形式で記録されてい
るデータベースで、こゝでは新聞記事データベースとす
る。３は新聞記事データベース２からの読み込みを行う
入力処理部である。

４は読み込まれた新聞記事中から、「は」、「が」、
「を」等の助詞の直前に位置する漢字カタカナ列を名詞
として抽出する名詞抽出部である。５は名詞抽出部４で
抽出された名詞が登録される抽出名詞テーブルである。

６は抽出名詞テーブル５の中の個々の語に対して接頭語
辞書７、接尾語辞書８との照合を行って個々の中の接頭
語、接尾語、助数詞を削除し、かつ個々の語の中の数詞
も削除し、抽出名詞テーブル５を更新する接辞・数詞削
除部である。7,8はそれぞれ接頭語辞書（助数詞を含
む）、接尾語辞書（助数詞も含む）である。

９は更新された抽出名詞テーブル５の中の個々の語に対
して、不要語辞書10と照合を行って、照合した不要語を
削除し、抽出名詞テーブル５を更新する不要語削除部で
ある。10は「昨日」、「傾向」などの一般的な語でキー
ワードにはならないものを登録した不要語辞書である。

11は更新された抽出名詞テーブル５の中の個々の語に対
して、シソーラス辞書12並びに重要語辞書13と照合を行
うシソーラス・重要語照合部である。12はシソーラス辞
書で、これはキーワードになる得る語を登録し、さらに
それらの語の相互関係として、同義語、上位語、下位
語、関連語といった語関係を示したものである。13は特
に重要な語であるとして、キーワードとしたい固有名、
地名等を登録した重要語辞書である。14はシソーラス・
重要語辞書照合部11で照合のとれた語がキーワード候補
語として登録されるキーワード候補テーブルである。

15はキーワード候補テーブル14中の語について、もとの
新聞記事中に並立に表現されているか否かを認定する並
立語認定部である。16はキーワード候補テーブル14中の
語について、シソーラス辞書12で下位語が有る語を上中
位語として認定する上中位語認定部である。17はキーワ
ード候補テーブル14中の語について、もとの新聞記事中
での出現位置が文の最初から所定文字目（本発明では90
文字目）までゝであるかを認定する出現位置認定部であ
る。18はキーワード候補テーブル14中の語について、も
との新聞記事中で全部で何回出現しているかをカウント
する出現頻度認定部である。19は各認定部15〜18では認
定した結果が登録される語特徴認定テーブルである。

20は語特徴認定テーブル19に基づいて、上記の各認定部
15〜18において認定された個々の語に対して各認定項目
ごとに固有の評価点を与え、その後、個々の語について
評価点を合計して、総合計の順に語の重要度を決める語
重要度評価部である。21は語重要度評価部20の結果を出
力する印字装置、22は同じく語重要度評価部20の結果を
登録する結果ファイルである。

まず、キーワード抽出の対象となる新聞記事がキーボー
ド、電算写植等の入力装置１から読み込まれ、磁気記憶
装置等に記録されて新聞記事データベース２となる。こ
の新聞記事データベース２からキーワード抽出対象新聞
記事が入力処理部３によって入力される。名詞抽出部４
は、この処理対象新聞記事中から、「は」、「が」、
「を」等の助詞の直前に位置する漢字カタカナ列を名詞
として抽出し、それらが抽出名詞テーブル５に登録され
る。第２図（イ）に抽出名詞テーブル５に登録された抽
出名詞の内容の一部を示す。

次に、接辞・数詞削除部６は、抽出名詞テーブル５に登
録されている語に対して接頭語辞書（助数詞も含む）
７、接尾語辞書（助数詞も含む）８と照合を行って個々
の語の中の接頭語、接尾語、助数詞を削除し、かつ個々
の語の中の数詞も削除し、抽出名詞テーブル５を更新す
る。第２図（ロ）に、この接辞・数詞が削除された抽出
名詞テーブル５の一部を示す。次に、不要語削除部９
は、更新された抽出名詞テーブル５の中の個々の語に対
して、不要語辞書10と照合を行って、照合のとれた「調
査」、「昨日」、「傾向」などの一般的な語でキーワー
ドにはならない不要語を削除し、抽出名詞テーブル５を
更新する。第２図（ハ）に、この不要語が削除された抽
出名詞テーブル５の一部を示す。

次に、シソーラス・重要語辞書照合部11は、更新された
抽出名詞テーブル５の中の個々の語に対して、シソーラ
ス辞書12及び重要語辞書13と照合を行って、照合のとれ
た語をキーワード候補としてキーワード候補テーブル14
に登録する。第２図（ニ）に、このようにしてキーワー
ド候補テーブル14に登録された語の一部を示す。

次に、並立語認定部15はキーワード候補テーブル14中の
語について、それが新聞記事データベース２のもとの新
聞記事中で、「ＡやＢ」、「ＡとＢ」、「Ａ、Ｂ」の
Ａ、Ｂのように並立に表現されているか否かを認定し、
その結果を語特徴認定テーブル19に登録する。次に上中
位語認定部16はキーワード候補テーブル14中の語につい
て、シソーラスで下位語が有る語を上中位語として認定
してその結果を語特徴認定テーブル19に登録する。次
に、出現位置認定部17はキーワード候補テーブル14中の
語について、もとの新聞記事中での出現位置が文の最初
から予め定めた文字位置までゝであるかを認定して、そ
の結果を語特徴認定テーブル19に登録する。なお、実験
では文の最初から80〜90文字目程度が最適で、それより
小さくても、あるいは大きくてもあまり意味がないこと
が確かめられた。そこで、本発明では、その最大をとっ
て文の最初から90文字目としたものである。

次に、出現頻度認定部18はキーワード候補テーブル14中
の語について、もとの新聞記事中で全部で何回出現して
いるかをカウントしてその結果を語特徴認定テーブル19
に登録する。

第３図は語特徴認定テーブル19の内容例で、キーワード
候補テーブル14中の各語に対する上記各認定部15〜18で
の認定の有無を、有の場合は「○」、無の場合は無印で
示したものである。

次に、語重要度評価部20は語特徴認定テーブル19に基づ
いて、上記各認定部15〜18において認定された個々の語
に対して各認定項目ごとに固有の評価点を与え、その
後、個々の語について評価点を合計して、総合計の順に
語の重要度を決め、印字装置21へ結果を出力し、また磁
気記憶装置などの結果ファイル22に登録する。第４図は
語の重要度評価結果の一例を示したもので、語が評価さ
れた重要度の順に並べられている。

キーワードの重要度の総合的順位付けの精度は実験によ
って確認されていて、一般新聞紙から無作為に選んだ20
0記事を実験サンプルとして、この200記事中の必要なキ
ーワードの95％までが、各記事での重要度の上位10位の
語群に中に含まれている。従って、例えば本装置の出力
結果の上位10個をキーワードとすることにより、従来の
技術では個々の新聞記事に対して20個以上のキーワード
が付けられていたのに対して、入力新聞記事につけるキ
ーワードの数を1/2以下にでき、その結果、新聞記事デ
ータベースのキーワードによる検索を高精度かつ高能率
にし、またデータベース中のキーワードのための記憶容
量も1/2以下にできることゝなる。

〔発明の効果〕

以上説明したように、本発明のキーワード重要度自動評
価装置は、従来の技術に加えて、並立語認定部、上中位
認定部、出現位置認定部、出現頻度認定部、語重要度評
価部などを備え、並立語認定部ではキーワード候補語に
ついて、並立に表現されているかどうかを認定し、上中
位語認定部ではキーワード候補語について、その語がシ
ソーラスにおいて上中位語であるかどうかを認定し、出
現位置認定部では、キーワード候補語について、もとの
新聞記事中等での出現位置が文の最初から90文字位置ま
でゝあるかを認定し、出現頻度認定部では、キーワード
候補語について、もとの新聞記事中等で全部で何回出現
しているかをカウントし、語重要度評価部では、上記の
各認定部において認定された個々の語に対して各認定部
ごとに固有の評価点を与え、その後、個々の語について
評価点を合計して、総合計の順に語の重要度を精度良く
決めるものである。

このため、従来の技術では、個々の新聞記事等に対して
キーワードを抽出するだけで、しかも20個以上ものキー
ワードが付けられていて、その中に不適切なキーワード
も多数含まれていて、これらのキーワードをキーワード
検索で使用すると多数の不適切な記事が抽出されるな
ど、検索の精度が低く、かつ非能率的であったのに対し
て、本装置はキーワードを抽出するだけでなく、抽出さ
れたキーワードを、もとの記事中での統計的、構文的、
意味的な総合的な重要度の順に出力することができるこ
とにより、例えば本装置の出力結果の上位10個をキーワ
ードとすることにより、入力新聞記事等につけるキーワ
ードの数を1/2以下にでき、その結果記事データベース
のキーワードによる検索を高精度かつ高能率にし、また
データベース中のキーワードのための記憶容量も1/2以
下にできる利点が有る。

また、抽出するキーワード（キーワード候補）自体は、
接辞・数詞削除部、不要語削除部及びシソーラス・重要
語辞書照合部により十分絞り込まれているため、各認定
部における処理は軽減される。さらに、出現位置認定部
では、文の最初から90文字目までに着目するだけでよ
く、検索領域が削減できる。

【図面の簡単な説明】

第１図は本発明のキーワード重要度自動評価装置の一実
施例の基本構成図、第２図は第１図の抽出名詞テーブル
の内容の遷移及びキーワード候補テーブルの内容の一例
を示す図、第３図は第１図の語特徴認定テーブルの内容
の一例を示す図、第４図はキーワード候補テーブル中の
語の重要度評価結果の一例を示す図である。 １……入力装置、２……新聞記事データベース、３……
入力処理部、４……名詞抽出部、５……抽出名詞テーブ
ル、６……接辞・数詞削除部、７……接頭語辞書、８…
…接尾語辞書、９……不要語削除部、10……不要語辞
書、11……シソーラス・重要語辞書照合部、12……シソ
ーラス辞書、13……重要語辞書、14……キーワード候補
テーブル、15……並立語認定部、16……上中位語認定
部、17……出現位置認定部、18……出現頻度認定部、19
……語特徴認定テーブル、20……語重要度評価部、21…
…印字装置、22……結果ファイル。

Claims (1)

【特許請求の範囲】
1. 【請求項１】接頭接尾語辞書、キーワードにならない一
   般的語を登録した不要語辞書、同義語、上位語、下位
   語、関連語等の語の相互関係を示すシソーラス辞書、特
   にキーワードとしたい重要な語を登録した重要語辞書を
   備え、記事データベースの個々の記事からキーワードを
   自動的に抽出し、それらのキーワードの記事中における
   統計的、構文的、意味的な重要度を自動的に評価するキ
   ーワード重要度自動評価装置において、 記事データベースから記事を読み込む入力処理部と、 前記入力処理部で読み込まれた記事中から名詞を抽出す
   る名詞抽出部と、 前記名詞抽出部で抽出された名詞を格納する抽出名詞テ
   ーブルと、 前記抽出名詞テーブル中の個々の語に対して前記接頭接
   尾語辞書と照合を行って、接頭語、接尾語、助数詞、数
   詞等を削除し、該抽出名詞テーブルを更新する接辞・数
   詞削除部と、 前記抽出名詞テーブル中の語に対して、前記不要語辞書
   と照合を行って照合した不要語を削除し、該抽出名詞テ
   ーブルを更新する不要語削除部と、 前記接辞・数詞削除部と不要語削除部により更新された
   前記抽出名詞テーブル中の語に対して、前記シソーラス
   辞書及び重要語辞書と照合を行って照合した語をキーワ
   ード候補とするシソーラス・重要語辞書照合部と、 前記シソーラス・重要語辞書照合部で得られたキーワー
   ド候補を格納するキーワード候補テーブルと、 前記キーワード候補テーブルの語について、前記記事デ
   ータベースのもとの記事中において並立に表現されてい
   る語を並立語として認定する並立語認定部と、 前記キーワード候補テーブルの語について、シソーラス
   辞書において下位語がある語を上中位語として認定する
   上中位語認定部と、 前記キーワード候補テーブルの語について、前記記事デ
   ータベースのもとの記事中での出現位置が、文の最初か
   ら90文字目までであるかを認定する出現位置認定部と、 前記キーワード候補テーブルの語について、前記記事デ
   ータベースのもとの記事中での出現頻度を認定する出現
   頻度認定部と、 前記各認定部での認定結果を格納する語特徴認定テーブ
   ルと、 前記語特徴認定テーブルに基づいて、前記各認定部にお
   いて認定された語に認定項目ごとの固有の評価点を与
   え、その総合計の順に語の重要度を決める語重要度評価
   部と、 を有することを特徴とするキーワード重要度自動評価装
   置。