JP3220885B2

JP3220885B2 - キーワード付与システム

Info

Publication number: JP3220885B2
Application number: JP17246493A
Authority: JP
Inventors: 忠博木山; 洋辻
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1993-06-18
Filing date: 1993-06-18
Publication date: 2001-10-22
Anticipated expiration: 2016-10-22
Also published as: US5642518A; JPH0778182A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、文書データに対するキ
ーワードの付与システムに係り、特に、大量の文書デー
タに対してキーワードを自動的に付与する場合に好適な
キーワード付与システムに関する。

【０００２】

【従来の技術】従来の、キーワード付与システムは、例
えば、特開平２−４５８７６号公報に記載されている。
これは抽出したキーワード候補を利用者に提示し、利用
者により選択されたキーワードを検索キーワードとして
付与している。従来の、キーワード付与システムでは、
不要な単語をキーワードとしてみなすことがあり、利用
者が明示的にキーワードを指定することにより不要な単
語を除去している。例えば、特開平２−４５８７６号公
報に記載されている文書検索装置は、キーワード抽出範
囲を指定し、この中からキーワードを抽出し、抽出した
キーワードのうち必要なキーワードを利用者が選択し、
不要語を取り除いて、利用者により選択されたキーワー
ドのみを検索キーワードとしている。

【０００３】

【発明が解決しようとする課題】上記従来技術では、検
索キーワードを決定する場合に、常に、利用者が判定す
る作業が発生すると同時に、この利用者が決定したキー
ワード以外を他の利用者は利用できず、また、規模が小
さな文書データを対象とする場合、その作業による利用
者への負担は少ないが、膨大な量の文書データを対象と
する場合には利用者への負担は非常に大きくなるという
問題があった。また、文書データに対する検索キーワー
ド付与は人手で行なう場合が多く、自分で作成した文章
ならば検索キーワードの付与も容易に可能であるが、第
３者が多量の文書データに対し検索キーワードを付与す
るための作業には多くの時間を費やし非常に困難な作業
となるという問題があった。本発明の目的は、上記問題
を解決するために、複数の分野の文書データと、分野内
での各単語の出現頻度を利用し、大半のキーワードを自
動的に抽出し付与するシステムを提供することにある。

【０００４】

【課題を解決するための手段】上記目的を達成するた
め、複数の各文書データ内の各単語の出現回数を検出
し、単語出現頻度テーブルに登録し、該単語出現頻度テ
ーブルに基づき各分野における単語の出現頻度を求め、
分野別出現単語集計テーブルに登録し、該分野別出現単
語集計テーブルの出現頻度を基に文書データから分野別
のキーワードを抽出し、該分野別出現単語集計テーブル
の出現頻度を基に文書データから分野別のキーワードと
なりえない不要語を抽出し、抽出した分野別のキーワー
ドと分野別の不要語をキーワード・不要語辞書に登録
し、文書データにキーワードを付与する際、前記辞書に
登録されたキーワードと不要語を参照し、キーワードを
付与する文書データ中の単語からキーワードとなる単語
を抽出し、抽出したキーワードを該文書データに付与す
るようにしている。また、前記各単語の出現回数は、文
書データを構成する項目を検出し、文書データ内の各項
目別の単語の出現回数を検出し、文書データ内の単語の
合計出現回数を求めて得る。また、前記各分野における
単語の出現頻度は、同一分野の文書データ数に対する単
語の出現する文書データ数の割合をその単語の出現頻度
として求めて得る。また、前記文書データからの分野別
のキーワードの抽出は、１つの分野のみに出現している
単語を該分野のキーワードとして抽出すると共に、１以
上の分野に出現していない単語を該単語が出現している
分野のキーワードとして抽出するようにしている。ま
た、前記文書データから分野別のキーワードとなりえな
い不要語を抽出は、全ての分野で全ての文書データに出
現している単語を全分野共通の不要語として抽出するよ
うにしている。さらに、前記文書データから分野別のキ
ーワードとなりえない不要語を抽出は、１以上の分野で
全ての文書データに出現している単語を該各分野の不要
語として抽出するようにしている。また、前記キーワー
ドおよび不要語として抽出された単語以外の単語の出現
頻度を前記分野別出現単語集計テーブルに基づき分野別
に表示し、利用者に対してキーワードとしてあるいは不
要語として辞書登録するか否か問合せ、利用者の指示に
応じてキーワードとしてあるいは不要語としてキーワー
ド・不要語辞書に登録するようにしている。さらに、前
記キーワードおよび不要語として抽出された単語以外の
単語の出現頻度を前記分野別出現単語集計テーブルに基
づき分野別に表示した後、利用者に指示された単語に対
して、該単語に関する文書データ別の出現回数を前記単
語出現頻度テーブルに基づき表示するようにしている。
また、文書データへのキーワードの付与は、キーワード
付与対象の文書データに対して一般辞書を参照して単語
分割し、キーワード・不要語辞書を参照してキーワード
付与対象の文書データ中に該文書データの分野でキーワ
ードとなる単語が存在する場合に、該単語を該文書デー
タのキーワードとして付与するようにしている。さら
に、文書データへのキーワードの付与は、キーワード付
与対象の文書データに対して一般辞書を参照して単語分
割し、キーワード・不要語辞書を参照してキーワード付
与対象の文書データ中に該文書データの分野でキーワー
ドとならず、かつ、不要語ともならない単語が存在する
場合に、該単語を該文書データのキーワードとして付与
するようにしている。さらに、文書データへのキーワー
ドの付与は、キーワード付与対象の文書データに対して
一般辞書を参照して単語分割し、キーワード・不要語辞
書を参照してキーワード付与対象の文書データ中に該文
書データの分野でキーワードとならず、かつ、不要語と
もならない単語が存在する場合に、該文書データのキー
ワードとして該単語を付与するか否か利用者に問合せ、
利用者が付与すると指示した場合に、該単語を該文書デ
ータのキーワードとして付与するようにしている。さら
に、前記文書データのキーワードとして付与した該文書
データの分野でキーワードとならず、かつ、不要語とも
ならない単語を該文書データの分野におけるキーワード
としてキーワード・不要語辞書に登録するようにしてい
る。

【０００５】

【作用】本発明のキーワード付与システムは、文書デー
タを参照し、文書データを単語分割し、分割結果を単語
分割テーブルに登録し、この単語分割テーブルを参照し
て単語の出現頻度を検出し、単語出現頻度テーブルに登
録し、この単語出現頻度テーブルを参照し、分野別の単
語の出現頻度を集計し分野別出現単語集計テーブルとし
てワークエリアに格納し、次いで、分野別出現単語集計
テーブルを参照してキーワードとなる単語を抽出し、キ
ーワード・不要語辞書に格納し、次に、分野別出現単語
集計テーブルを参照して不要語となる単語を抽出し、キ
ーワード・不要語辞書に格納する。そして、ワークエリ
ア中の分野別出現単語集計テーブルを参照し、キーワー
ドまたは不要語として抽出済みでない語を利用者が選択
することによりキーワードまたは不要語として、キーワ
ード・不要語辞書に格納する。次に、文書データａとキ
ーワード・不要語辞書ｄを参照し、キーワードが付与さ
れていない文書データに対してキーワードを付与し、キ
ーワード付文書データとして登録する。これにより、人
手による文書データへのキーワードの付与作業に費やす
膨大な作業を省くことができる。また、キーワードでも
不要語でもない単語が存在する場合に、新たなキーワー
ドとして類推し付与することが可能となり、キーワード
の自己増殖が可能となる。

【０００６】

【実施例】以下、本発明の実施例を、図面により詳細に
説明する。図１は、本発明のキーワード付与システムの
一実施例を示す機能ブロック図である。文書データ単語
分割部１は、文書データａを参照し、文書データを一般
辞書（ワードプロセッサ、機械翻訳等で使用される辞
書）を参照して単語分割し、分割結果を単語分割テーブ
ルｂに登録する。単語出現頻度検出部２は、単語分割テ
ーブルｂを参照し、単語の出現頻度を検出し、単語出現
頻度テーブルｃに登録する。分野別単語出現頻度集計部
３は、単語出現頻度テーブルｃを参照し、分野別の単語
の出現頻度を集計しワークエリアに格納する。集計結果
を参照しキーワード抽出部４でキーワードとなる単語を
抽出し、キーワード・不要語辞書ｄに格納する。集計結
果を参照し不要語抽出部５で不要語となる単語を抽出
し、キーワード・不要語辞書ｄに格納する。辞書編集部
６は、ワークエリア中の集計結果を参照し、キーワード
または不要語として抽出済みでない語を利用者が選択す
ることによりキーワードまたは不要語として、キーワー
ド・不要語辞書ｄに格納する。キーワード付与処理７
は、文書データａとキーワード・不要語辞書ｄを参照
し、キーワードが付与されていない文書データに対して
キーワードを付与し、キーワード付文書データｅとして
登録する。このようにキーワード付与機能を持たせるこ
とにより、文書データに対するキーワードの自動付与を
実現する。図から明らかなように、文書データ単語分割
部１、単語出現頻度検出部２、分野別単語出現頻度集計
部３、キーワード抽出部４、不要語抽出部５、キーワー
ド付与部６は処理を示し、文書データａ、単語分割テー
ブルｂ、単語出現頻度テーブルｃ、キーワード・不要語
辞書ｄ、キーワード付文書データｅはファイル（テーブ
ルとも呼ぶ）である。

【０００７】図２２は、図１の機能ブロック図で示され
た本発明の一実施例のキーワード付与システムにおける
キーワード付与処理を表すＰＡＤ図である。文書データ
単語分割処理０１は、文書データａを参照し、文書デー
タを単語分割し、分割結果を単語分割テーブルｂに登録
する。単語出現頻度検出処理０２は、単語分割テーブル
ｂを参照し、単語の出現頻度を検出し、単語出現頻度テ
ーブルｃに登録する。分野別単語出現頻度集計処理０３
は、単語出現頻度テーブルｃを参照し、分野別の単語の
出現頻度を集計しワークエリアに格納する。次に、キー
ワード抽出処理０４は、集計結果を参照してキーワード
となる単語を抽出し、キーワード・不要語辞書ｄに格納
する。次に、不要語抽出処理０５は、集計結果を参照し
て不要語となる単語を抽出し、キーワード・不要語辞書
ｄに格納する。次に、辞書編集処理０６は、ワークエリ
ア中の集計結果を参照し、キーワードまたは不要語とし
て抽出済みでない語を利用者が選択することによりキー
ワードまたは不要語として、キーワード・不要語辞書ｄ
に格納する。次に、キーワード付与処理０７は、文書デ
ータａとキーワード・不要語辞書ｄを参照し、キーワー
ドが付与されていない文書データに対してキーワードを
付与し、キーワード付文書データｅとして登録する。

【０００８】図２は、図１におけるキーワード付与シス
テムの全体的なハードウェア構成を示すブロック図であ
る。入出力装置８は、データの入力、および、各種情報
の表示を行なう。プロセッサ９は、プログラムに基づ
き、図１における処理を実行する。記憶装置１１０は、
図１における文書データａや各種プログラムを格納す
る。さらに、記憶装置１１０は、プロセッサ９の各処理
実行用のメモリであるワーキングエリア１００（単語分
割テーブルｂ、単語出現頻度テーブルｃなどが格納され
る。）、文書データ単語分割部格納エリア１０、単語出
現頻度検出部格納エリア２０、分野別単語出現頻度集計
部格納エリア３０、キーワード抽出部格納エリア４０、
不要語抽出部格納エリア５０、辞書編集部格納エリア６
０、キーワード付与部格納エリア７０、キーワード・不
要語辞書格納エリア８０（キーワード・不要語辞書ｄが
格納される。）、各種文書データ格納エリア９０（文書
データａ、キーワード付文書データｅなどが格納され
る。）の記憶部を持っている。記憶装置１１０に格納さ
れる各プログラムは、プロセッサ９において実行され
る。その実行に際して、必要に応じて入出力装置８が用
いられる。

【０００９】図３は、図１における文書データ単語分割
部の処理を表すのＰＡＤ図（ＰｒｏｂｌｅｍＡｎａｌ
ｙｓｉｓＤｉａｇｒａｍ）である。文書データａから
文書データを取得し単語分割を行ない単語分割テーブル
ｂに格納するまでの処理を示したものである。以下、こ
の処理をＰＡＤ図に従って説明する。文書データａを参
照し、先頭文書データから末尾文書データまで以下の処
理を行なう（ステップ１１）。まず、文書データａから
一文書分のデータ（図４参照）を取得し（ステップ１
２）、文書データを単語分割し見出し文字列、品詞をそ
れぞれ単語分割テーブルｂ（図５参照）の見出し文字列
ｂ１、品詞ｂ２に格納する（ステップ１３）。次に、文
書データ中の単語の位置、項目をそれぞれ単語分割テー
ブルｂの位置ｂ３、項目ｂ４に格納する（ステップ１
４）。次に、該当する文書データの分野名、文書番号を
単語分割テーブルｂの分野名ｂ５、文書Ｎｏｂ６に格納
する（ステップ１５）。次に、処理の対象を次の文書デ
ータに移動する（ステップ１６）。ステップ１１〜ステ
ップ１６により、図４に示す文書データａを取得し単語
分割を行ない、図５に示す単語分割テーブルｂに格納す
る。

【００１０】図４は、文書データａの内の文書データ例
であり、分野名、文書番号付きの文書データの例であ
る。分野名が「言語処理」、文書番号が「１」であり、
文書データは「題名」「要旨」「目的」など項目により
構成されている。図５は、単語分割テーブルｂの例であ
り、見出し文字列ｂ１、品詞ｂ２、位置ｂ３、項目ｂ
４、分野名ｂ５、文書Ｎｏｂ６の項目により構成されて
いる。見出し文字列ｂ１は分割された単語を構成する文
字列、品詞Ｃ２は単語の品詞、位置ｂ３は該当する単語
が存在する文書データ中の位置、分野名ｂ５は該当する
文書データの分野名、文書Ｎｏｂ６は文書データの識別
番号を表している。

【００１１】図６は、図１における単語出現頻度検出部
の処理を表わすＰＡＤ図であり、同一文書データ内に出
現する各単語の出現回数を求める処理を示したものであ
る。以下、この処理をＰＡＤ図に従って説明する。単語
分割テーブルｂを参照し、単語分割テーブルの先頭レコ
ードから末尾レコードまで以下の処理を行なう（ステッ
プ２１）。まず、単語分割テーブルｂを参照し、１レコ
ード分の情報（単語分割テーブルｂの各行の情報であ
り、例えば、１行目の「題名、名詞、１行目、題名、言
語処理、１」が１レコード分の情報である。）を取得し
（ステップ２２）、見出し文字列ｂ１と品詞ｂ２が等し
い他のレコードを単語分割テーブルｂより検索し保持す
る（ステップ２３）。次に、該当するレコードを構成す
る項目が存在するか判別し（ステップ２４）、項目が存
在する場合に、項目別の各単語の出現回数を求め単語出
現頻度テーブルｃに格納する（ステップ２５）。次に、
文書データ全体の各単語の出現回数を求め単語出現頻度
テーブルｃ（図７参照）に格納する（ステップ２６）。
次に、処理の対象となるレコードを次のレコードへ移動
する（ステップ２７）。ステップ２１〜ステップ２７に
より、図５に示す単語分割テーブルｂから図７に示す単
語出現頻度テーブルｃが生成される。図７は、図１にお
ける単語出現頻度テーブルｃの例であり、見出し文字列
Ｃ１、品詞Ｃ２、題名Ｃ３〜まとめＣ８、合計Ｃ９、分
野名Ｃ１０、文書ＮｏＣ１１の項目により構成されてい
る。見出し文字列Ｃ１は分割された単語を構成する文字
列、品詞Ｃ２は単語の品詞、題名Ｃ３〜まとめＣ８は文
書データを構成する各項目中に出現する単語の出現回
数、合計Ｃ９は文書データ中に出現する単語の出現回
数、分野名Ｃ１０は該当する文書データの分野名、文書
ＮｏＣ１１は文書データの識別番号を表している。

【００１２】図８は、図１における分野別単語出現頻度
集計部３の処理を表すＰＡＤ図である。本処理は、分野
毎の各単語の出現頻度を集計する処理である。以下、こ
の処理をＰＡＤ図に従って説明する。まず、単語出現頻
度テーブルｃを参照し、同一分野の文書データ数を求め
保持する（ステップ３１）。次に、各分野毎に、出現回
数の合計（例えば、文書Ｎｏ．１における見出し文字列
‘自然語’の出現回数の合計は１９である。）が１回以
上の各見出し単語の出現文書数を求め保持する（ステッ
プ３２）。次に、ステップ３１とステップ３２で保持し
た同一分野の文書データ数と出現文書数を基に、同一分
野内における各単語の出現頻度（〈出現文書数〉／〈同
一分野の文書データ数〉×１００％）を求め単語別に、
見出し文字列と品詞と出現頻度を分野別出現単語集計テ
ーブル（図９参照）に格納する（ステップ３３）。ステ
ップ３１〜ステップ３３により、図７に示す単語出現頻
度テーブルｃから図９に示す分野別出現単語集計テーブ
ルが生成される。なお、本テーブルはワーキングエリア
中に格納される。図９は、分野別出現単語集計テーブル
の例であり、見出し文字列Ｗ１、品詞Ｗ２、出現頻度Ｗ
３の項目により構成されている。見出し文字列Ｗ１は単
語を構成する文字列、品詞Ｗ２は単語の品詞、出現頻度
Ｗ３は文書データが対象とする分野内での各単語の出現
頻度を表し、本実施例では「言語処理」「電気回路」
「食品」の３つの分野を対象としている。

【００１３】図１０は、図１におけるキーワード抽出部
４の処理を表すＰＡＤ図であり、分野別の各単語の出現
頻度を基に文書データ中のキーワードを抽出する処理で
ある。以下、ＰＡＤ図に従って処理を説明する。分野別
出現単語出現テーブルの先頭レコードから末尾レコード
まで以下の処理を行なう（ステップ４１）。また、１レ
コード分の情報を分野別出現単語集計テーブルより取得
し（ステップ４２）、該当する単語の見出し文字列が１
つの分野のみに出現しているか判別し（ステップ４
３）、出現している場合に、該当する単語を出現してい
る１つのみの分野のキーワードとしてキーワード・不要
語辞書ｄ（図１６参照）に登録し（ステップ４４）、出
現していない場合に、該当する単語が出現していない分
野が１つ以上あるか判別し（ステップ４５）、１つ以上
の分野が存在する場合に、該当する単語が出現している
１つ以上の分野のキーワードとしてキーワード・不要語
辞書ｄに登録する（ステップ４６）。次に、処理の対象
となるレコードを次のレコードへ移動する（ステップ４
７）。ステップ４１〜ステップ４７により、図９に示す
分野別出現単語集計テーブルを基にキーワードを抽出し
図１６に示すキーワード・不要語辞書ｄに格納される。
この時に、格納される単語は、図１６の見出し文字列ｄ
１の「アナログ」から「解析」までの単語である。

【００１４】図１１は、図１における不要語抽出部５の
処理を表すＰＡＤ図であり、分野別の各単語の出現頻度
を基に文書データ中の不要語抽出する処理である。以
下、ＰＡＤ図に従って処理を説明する。分野別出現単語
集計テーブルの先頭レコードから末尾レコードまで以下
の処理を行なう（ステップ５１）。また、１レコード分
の情報を分野別出現単語集計テーブルより取得し（ステ
ップ４２）、該当する単語の見出し文字列が全ての分野
の全ての文書データ中に出現しているか（すなわち、全
ての分野において出現頻度１００％）判別し（ステップ
５３）、出現している場合に、該当する単語を全ての分
野の不要語としてキーワード・不要語辞書ｄに登録し
（ステップ５４）、出現していない場合に、該当する単
語が分野中の全ての文書データに対して出現している
（すなわち、出現頻度１００％）分野が１つ以上あるか
判別し（ステップ５５）、１つ以上の分野が存在する場
合に、該当する１つ以上の分野の不要語としてキーワー
ド・不要語辞書ｄに登録する（ステップ５６）。次に、
処理の対象となるレコードを次のレコードへ移動する
（ステップ５７）。ステップ５１〜ステップ５７によ
り、図９に示す分野別出現単語集計テーブルを基に不要
語を抽出し図１６に示すキーワード・不要語辞書ｄに格
納される。この時に、格納される単語は、図１６の見出
し文字列ｄ１の「検討」から「課題」までの単語であ
る。

【００１５】図１２は、図１における辞書編集部６の処
理を表すＰＡＤ図であり、キーワードまたは不要語とし
てキーワード・不要語辞書ｄに登録済みでない語に対す
る辞書登録に関する確認を利用者に促し辞書登録を行な
う処理である。以下、ＰＡＤ図に従って処理を説明す
る。キーワードまたは不要語としてキーワード・不要語
辞書ｄに登録済みでない単語の分野別出現単語集計テー
ブルの情報を利用者に提示し（ステップ６０１）、提示
した単語を不要語としてキーワード・不要語辞書ｄに登
録するか否か利用者の確認を促す（ステップ６０２）。
このときの利用者への提示例を図１３の［画面１］に示
す。次に、利用者の指示を判別し（ステップ６０３）、
不要語として辞書登録すると指示した場合に、全ての分
野に対する不要語としてキーワード・不要語辞書に登録
し処理を終了する（ステップ６０４）。また、利用者が
不要語として登録しないと指示した場合に、利用者によ
る編集を行なった後に辞書登録するか否か利用者に問合
せ（ステップ６０６）、否の場合、処理を終了する（ス
テップ６０７）。この時の利用者への問合せ例を図１３
の［画面２］に示す。次に、画面上でのマウス入力を常
に受け付ける（ステップ６０８）。次に、編集する単語
の指定を利用者に促し、マウスピックにより指定された
単語を認識する（ステップ６０９）。このときの利用者
に対する問合せの例を図１４の［画面３］に示す。ま
た、このときに指定された単語が「方法」であるとす
る。次に、画面上の「終了」アイコンが指定されるまで
以下の処理を行なう（ステップ６１０）。「キーワード
登録」、「不要語登録」、「出現頻度詳細情報表示」の
３つのアイコンのどれが利用者により指定されたか判別
する（ステップ６１１）。「キーワード登録」アイコン
が指定された場合、該当する単語をキーワードとする分
野の指定を利用者に促し（ステップ６１２）、利用者に
より指定された分野のキーワードとしてキーワード・不
要語辞書ｄに登録する（ステップ６１３）。「不要語登
録」アイコンが指定された場合、該当する単語を不要語
とする分野の指定を利用者に促し（ステップ６１４）、
利用者により指定された分野の不要語としてキーワード
・不要語辞書ｄに登録する（ステップ６１５）。「出現
頻度詳細情報表示」アイコンが指定された場合、ユーザ
が指定した単語の単語出現頻度テーブルの情報を利用者
に提示する（ステップ６１６）。このとき「方法」とい
う単語に対して「出現頻度詳細情報表示」アイコンを指
定した場合の例を図１４の「画面４」に示し、単語出現
頻度テーブルの情報の提示例を図１５に示す。また、図
１５に示す例は、単語出現頻度テーブルの情報を利用者
が見た後に「不要語登録」アイコンを指定し辞書登録を
行なう例を示している。ステップ６０１〜ステップ６１
６により、キーワード抽出部４と不要語抽出部５により
登録されてない単語を、利用者が介入し各単語をキーワ
ードまたは不要語としてキーワード・不要語辞書ｄに登
録することができる。図１３〜図１５は上記説明の通り
である。

【００１６】図１６は、図１におけるキーワード・不要
語辞書ｄの格納例であり、見出し文字列ｄ１、品詞ｄ
２、キーワード対象分野ｄ３、不要語対象分野ｄ４の項
目により構成されている。見出し文字列ｄ１は単語の見
出し文字列、品詞ｄ２は単語の品詞、キーワード対象分
野ｄ３は該当する単語がキーワードとなる分野、不要語
対象分野ｄ４は該当する単語が不要語となる分野を表し
ている。見出し文字列ｄ１「アナログ」〜「解析」はキ
ーワード抽出部４により抽出しキーワードとして格納さ
れた単語であり、見出し文字列ｄ１「検討」〜「課題」
は不要語抽出部５により抽出し不要語として格納された
単語である。また、「方法」〜「入力」は辞書編集部６
によりユーザの判断により登録し格納した例であり、さ
らに、見出し文字列ｄ１「アナログ」〜「解析」に対し
ては、辞書編集部６によりユーザの判断で不要語対象分
野が登録格納されている。

【００１７】図１７は、図１におけるキーワード付与部
７の処理を表すＰＡＤ図であり、キーワードが付与され
ていない文書データに対してキーワードを付与する処理
である。以下、ＰＡＤ図に従って処理を説明する。文書
データａの先頭文書データから末尾文書データまで以下
の処理を行なう（ステップ７０１）。まず、１文書分の
データを取得する（ステップ７０２）。次に、該文書デ
ータの対象分野名（例えば、‘言語処理’）を取得する
（ステップ７０３）。次に、基本的な機能語および内容
語を格納している一般辞書を参照して、文書データの単
語分割を行ない単語分割結果を保持し、キーワード・不
要語辞書ｄを参照して、各単語のキーワード対象分野ｄ
３と不要語対象分野ｄ４を取得する（ステップ７０
４）。次に、単語分割結果の先頭単語から末尾単語まで
以下の処理を行なう（ステップ７０５）。まず、文書デ
ータの単語が該文書データの属する対象分野のキーワー
ドであるか判別し（ステップ７０６）、キーワードであ
る場合に、文書データのキーワードとして先の単語を付
与し（ステップ７０７）、キーワードでない場合に、該
当する文書データの対象分野の不要語であるか判別し
（ステップ７０８）、不要語でない場合（すなわち、単
語が見出し文字列にない場合）に、その単語を文書デー
タのキーワードとして付与する（ステップ７０９）。ス
テップ７０６の判定の後、処理の対象を次の単語へ移動
する（ステップ７１０）。ステップ７０５のループの
後、処理の対象を次の文書データに移動する（ステップ
７１１）。また、ステップ７０９でキーワードとして該
当する単語を文書データに対して付与する場合に、利用
者に対してキーワードとして付与するか否か問合せ、キ
ーワードとして付与すると利用者が指示した場合に、文
書データに対して該当する単語をキーワードとして付与
し、該当する対象分野のキーワードとしてキーワード・
不要語辞書に登録することにより、より確実に文書デー
タに対してキーワード付与が可能となる。ステップ７０
１〜ステップ７１１により、キーワードが付与されてい
ない文書データに対して、図１８に示す例の通りにキー
ワードが付与される。図１８は、キーワードが付与され
ていない文書データに対して、キーワード付与部７によ
りキーワードが付与された例である。

【００１８】以上、述べたように、本実施例によれば、
従来は人手により付与されていた文書データへのキーワ
ード付与を、複数の分野の文書データと、分野内での各
単語の出現頻度を利用し、大半のキーワードを抽出し自
動的に付与することにより、人手による文書データへの
キーワードの付与作業に費やす膨大な作業を省くことが
できるようになるという効果がある。また、キーワード
と同時に不要語を抽出することにより、キーワードを付
与する場合に、キーワードでも不要語でもない単語が存
在する場合に、新たなキーワードとして類推し付与する
ことが可能となり、キーワードの自己増殖が可能とな
る。また、本実施例のキーワード抽出部４および不要語
抽出部５により抽出されなかった単語の大半は不要語で
あることは明らかであるが、この中に分野中で頻繁に使
用されるキーワードが存在している可能性があり、辞書
編集部を設け利用者が介入することにより、このキーワ
ードを利用者が選択することにより容易にキーワードお
よび不要語の辞書登録が可能となる。

【００１９】次に、本発明のキーワード付与システムに
より生成したキーワード・不要語辞書を利用した自然語
インタフェースの例を説明する。図１９は、本発明のキ
ーワード付与システムにより生成したキーワード・不要
語辞書を自然語インタフェースで利用し自然語による文
書検索を実現するシステムの機能ブロック図であり、自
然語インタフェース部Ｆはキーワード・不要語辞書を参
照し、自然語を理解し利用者が要求する文書データをキ
ーワード付文書データｅから検索し、利用者に提示す
る。自然語インタフェース部により、図２０に示される
ような利用者により入力された自然語を、キーワード・
不要語辞書を参照し用語認定を行ない、入力文中に含ま
れているキーワードを認識し、認識したキーワードを含
む文書データをキーワード付文書データｅから検索し、
利用者に提示する。図２１は、検索された文書データの
利用者への提示例である。このように、キーワード・不
要語辞書ｅを自然語インタフェースで利用することによ
り、自然語による文書データの検索が可能となる。

【００２０】

【発明の効果】本発明によれば、従来は人手により付与
されていた文書データへのキーワード付与を、複数の分
野の文書データと、分野内での各単語の出現頻度を利用
し、キーワードを抽出し自動的に付与することにより、
人手による文書データへのキーワードの付与作業に費や
す膨大な作業を省くことができるという効果がある。ま
た、キーワードでも不要語でもない単語が存在する場合
に、新たなキーワードとして類推し付与することが可能
となり、キーワードの自己増殖が可能となるという効果
がある。

【図面の簡単な説明】

【図１】本発明のキーワード付与システムの一実施例を
示す機能ブロック図である。

【図２】本発明のキーワード付与システムの一実施例の
全体的なハードウェア構成を示すブロック図である。

【図３】文書データ単語分割部の処理を示すＰＡＤ図で
ある。

【図４】文書データの一例を示す図である。

【図５】単語分割テーブルの一例を示す図である。

【図６】単語出現頻度検出部の処理を示すＰＡＤ図であ
る。

【図７】単語出現頻度テーブルの一例を示す図である。

【図８】分野別単語出現頻度集計部の処理を示すＰＡＤ
図である。

【図９】分野別単語出現頻度集計テーブルの一例を示す
図である。

【図１０】キーワード抽出部の処理を示すＰＡＤ図であ
る。

【図１１】不要語抽出部の処理を示すＰＡＤ図である。

【図１２】辞書編集部の処理を示すＰＡＤ図である。

【図１３】利用者に提示する画面の例を示す図である。

【図１４】利用者に提示する画面の他の例を示す図であ
る。

【図１５】利用者に提示する画面のさらに他の例を示す
図である。

【図１６】キーワード・不要語辞書の一例を示す図であ
る。

【図１７】キーワード付与部の処理を示すＰＡＤ図であ
る。

【図１８】文書データに対してキーワード付与部により
キーワード付与した例を示す図である。

【図１９】キーワード・付不要語辞書を自然語インタフ
ェースで利用した自然語による文書検索を実現するシス
テムの機能ブロック図を示す図である。

【図２０】自然語インタフェースにおいて利用者により
入力される自然語の例を示す図である。

【図２１】自然語インタフェースにおいて検索された文
書データの利用者への提示例である。

【図２２】図１の機能ブロック図で示された本発明の一
実施例のキーワード付与システムにおけるキーワード付
与処理を表すＰＡＤ図である。

【符号の説明】

１文書データ単語分割部２単語出現頻度検出部３分野別単語出現頻度集計部４キーワード抽出部５不要語抽出部６辞書編集部７キーワード付与部８入出力装置９プロセッサ１１０記憶装置ａ文書データｂ単語分割テーブルｃ単語出現頻度テーブルｄキーワード・不要語辞書ｅキーワード付文書データＦ自然語インターフェース部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開昭57−182279（ＪＰ，Ａ) 特開平２−148265（ＪＰ，Ａ) 特開平１−112331（ＪＰ，Ａ) 原「出現度数と分野情報を利用したキーワード抽出法の検討」情報処理学会第 43回（平成３年後期）全国大会講演論文集（３）ｐ．185−186（平３−10−19) 長尾，水谷，池田「日本語文献における重要語の自動抽出」情報処理，Ｖｏｌ．17，Ｎｏ．２，1976，ｐ．110−117 （昭51−２−15) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 17/30 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】入力装置と、記憶装置と、プロセッサを
備え、分野別の文書データからキーワードとなる語を抽
出し、該文書データに付与するキーワード付与システム
において、前記プロセッサは、複数の各文書データを構成する項目を検出し、文書デー
タ内の各項目別の単語の出現回数を検出し、文書データ
内の単語の合計出現回数を単語出現頻度テーブルに登録
する手段と、該単語出現頻度テーブルに基づき各分野における同一分
野の文書データ数に対する単語の出現する文書データ数
の割合によって単語の出現頻度を求め、分野別出現単語
集計テーブルに登録する手段と、該分野別出現単語集計テーブルの出現頻度を基に、１つ
の分野のみに出現している単語を該分野のキーワードと
して抽出すると共に、ある単語が出現していない分野が
１つ以上ある該単語について、該単語が出現している分
野のキーワードとして抽出する手段と、該分野別出現単語集計テーブルの分野相互の出現頻度を
基に、少なくとも１つの分野で全ての文書データに出現
している単語を、分野別のキーワードとなりえない不要
語として抽出する手段と、前記キーワードあるいは不要語として抽出された単語以
外の単語の出現頻度を前記分野別出現単語集計テーブル
に基づき分野別に表示し、利用者に対してキーワードあ
るいは不要語として辞書登録するか否か問合せ、利用者
の指示に応じてキーワードあるいは不要語としてキーワ
ード・不要語辞書に登録する手段と、文書データにキーワードを付与する際、キーワード付与
対象の文書データに対して一般辞書を参照して単語分割
し、前記辞書に登録されたキーワードと不要語を参照
し、キーワードを付与する文書データ中の単語から該文
書の分野でキーワードとなる単語が存在する場合に、該
単語をキーワードとして該文書データに付与し、該文書
データの分野でキーワードとならず、かつ、不要語とも
ならない単語が存在する場合に、利用者への問合せに対
する利用者の指示に応じて該単語をキーワードとして該
文書データに付与するキーワード付与手段を備えること
を特徴とするキーワード付与システム。