New! Search for patents from more than 100 countries including Australia, Brazil, Sweden and more

JP3220885B2 - キーワード付与システム - Google Patents

キーワード付与システム

Info

Publication number
JP3220885B2
JP3220885B2 JP17246493A JP17246493A JP3220885B2 JP 3220885 B2 JP3220885 B2 JP 3220885B2 JP 17246493 A JP17246493 A JP 17246493A JP 17246493 A JP17246493 A JP 17246493A JP 3220885 B2 JP3220885 B2 JP 3220885B2
Authority
JP
Japan
Prior art keywords
word
keyword
document data
unnecessary
step
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP17246493A
Other languages
English (en)
Other versions
JPH0778182A (ja
Inventor
忠博 木山
洋 辻
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to JP17246493A priority Critical patent/JP3220885B2/ja
Publication of JPH0778182A publication Critical patent/JPH0778182A/ja
Application granted granted Critical
Publication of JP3220885B2 publication Critical patent/JP3220885B2/ja
Anticipated expiration legal-status Critical
Application status is Expired - Lifetime legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34Browsing; Visualisation therefor
    • G06F16/345Summarisation for human users
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99943Generating database or data structure, e.g. via user interface

Description

【発明の詳細な説明】

【0001】

【産業上の利用分野】本発明は、文書データに対するキ
ーワードの付与システムに係り、特に、大量の文書デー
タに対してキーワードを自動的に付与する場合に好適な
キーワード付与システムに関する。

【0002】

【従来の技術】従来の、キーワード付与システムは、例
えば、特開平2−45876号公報に記載されている。
これは抽出したキーワード候補を利用者に提示し、利用
者により選択されたキーワードを検索キーワードとして
付与している。従来の、キーワード付与システムでは、
不要な単語をキーワードとしてみなすことがあり、利用
者が明示的にキーワードを指定することにより不要な単
語を除去している。例えば、特開平2−45876号公
報に記載されている文書検索装置は、キーワード抽出範
囲を指定し、この中からキーワードを抽出し、抽出した
キーワードのうち必要なキーワードを利用者が選択し、
不要語を取り除いて、利用者により選択されたキーワー
ドのみを検索キーワードとしている。

【0003】

【発明が解決しようとする課題】上記従来技術では、検
索キーワードを決定する場合に、常に、利用者が判定す
る作業が発生すると同時に、この利用者が決定したキー
ワード以外を他の利用者は利用できず、また、規模が小
さな文書データを対象とする場合、その作業による利用
者への負担は少ないが、膨大な量の文書データを対象と
する場合には利用者への負担は非常に大きくなるという
問題があった。また、文書データに対する検索キーワー
ド付与は人手で行なう場合が多く、自分で作成した文章
ならば検索キーワードの付与も容易に可能であるが、第
3者が多量の文書データに対し検索キーワードを付与す
るための作業には多くの時間を費やし非常に困難な作業
となるという問題があった。本発明の目的は、上記問題
を解決するために、複数の分野の文書データと、分野内
での各単語の出現頻度を利用し、大半のキーワードを自
動的に抽出し付与するシステムを提供することにある。

【0004】

【課題を解決するための手段】上記目的を達成するた
め、複数の各文書データ内の各単語の出現回数を検出
し、単語出現頻度テーブルに登録し、該単語出現頻度テ
ーブルに基づき各分野における単語の出現頻度を求め、
分野別出現単語集計テーブルに登録し、該分野別出現単
語集計テーブルの出現頻度を基に文書データから分野別
のキーワードを抽出し、該分野別出現単語集計テーブル
の出現頻度を基に文書データから分野別のキーワードと
なりえない不要語を抽出し、抽出した分野別のキーワー
ドと分野別の不要語をキーワード・不要語辞書に登録
し、文書データにキーワードを付与する際、前記辞書に
登録されたキーワードと不要語を参照し、キーワードを
付与する文書データ中の単語からキーワードとなる単語
を抽出し、抽出したキーワードを該文書データに付与す
るようにしている。また、前記各単語の出現回数は、文
書データを構成する項目を検出し、文書データ内の各項
目別の単語の出現回数を検出し、文書データ内の単語の
合計出現回数を求めて得る。また、前記各分野における
単語の出現頻度は、同一分野の文書データ数に対する単
語の出現する文書データ数の割合をその単語の出現頻度
として求めて得る。また、前記文書データからの分野別
のキーワードの抽出は、1つの分野のみに出現している
単語を該分野のキーワードとして抽出すると共に、1以
上の分野に出現していない単語を該単語が出現している
分野のキーワードとして抽出するようにしている。ま
た、前記文書データから分野別のキーワードとなりえな
い不要語を抽出は、全ての分野で全ての文書データに出
現している単語を全分野共通の不要語として抽出するよ
うにしている。さらに、前記文書データから分野別のキ
ーワードとなりえない不要語を抽出は、1以上の分野で
全ての文書データに出現している単語を該各分野の不要
語として抽出するようにしている。また、前記キーワー
ドおよび不要語として抽出された単語以外の単語の出現
頻度を前記分野別出現単語集計テーブルに基づき分野別
に表示し、利用者に対してキーワードとしてあるいは不
要語として辞書登録するか否か問合せ、利用者の指示に
応じてキーワードとしてあるいは不要語としてキーワー
ド・不要語辞書に登録するようにしている。さらに、前
記キーワードおよび不要語として抽出された単語以外の
単語の出現頻度を前記分野別出現単語集計テーブルに基
づき分野別に表示した後、利用者に指示された単語に対
して、該単語に関する文書データ別の出現回数を前記単
語出現頻度テーブルに基づき表示するようにしている。
また、文書データへのキーワードの付与は、キーワード
付与対象の文書データに対して一般辞書を参照して単語
分割し、キーワード・不要語辞書を参照してキーワード
付与対象の文書データ中に該文書データの分野でキーワ
ードとなる単語が存在する場合に、該単語を該文書デー
タのキーワードとして付与するようにしている。さら
に、文書データへのキーワードの付与は、キーワード付
与対象の文書データに対して一般辞書を参照して単語分
割し、キーワード・不要語辞書を参照してキーワード付
与対象の文書データ中に該文書データの分野でキーワー
ドとならず、かつ、不要語ともならない単語が存在する
場合に、該単語を該文書データのキーワードとして付与
するようにしている。さらに、文書データへのキーワー
ドの付与は、キーワード付与対象の文書データに対して
一般辞書を参照して単語分割し、キーワード・不要語辞
書を参照してキーワード付与対象の文書データ中に該文
書データの分野でキーワードとならず、かつ、不要語と
もならない単語が存在する場合に、該文書データのキー
ワードとして該単語を付与するか否か利用者に問合せ、
利用者が付与すると指示した場合に、該単語を該文書デ
ータのキーワードとして付与するようにしている。さら
に、前記文書データのキーワードとして付与した該文書
データの分野でキーワードとならず、かつ、不要語とも
ならない単語を該文書データの分野におけるキーワード
としてキーワード・不要語辞書に登録するようにしてい
る。

【0005】

【作用】本発明のキーワード付与システムは、文書デー
タを参照し、文書データを単語分割し、分割結果を単語
分割テーブルに登録し、この単語分割テーブルを参照し
て単語の出現頻度を検出し、単語出現頻度テーブルに登
録し、この単語出現頻度テーブルを参照し、分野別の単
語の出現頻度を集計し分野別出現単語集計テーブルとし
てワークエリアに格納し、次いで、分野別出現単語集計
テーブルを参照してキーワードとなる単語を抽出し、キ
ーワード・不要語辞書に格納し、次に、分野別出現単語
集計テーブルを参照して不要語となる単語を抽出し、キ
ーワード・不要語辞書に格納する。そして、ワークエリ
ア中の分野別出現単語集計テーブルを参照し、キーワー
ドまたは不要語として抽出済みでない語を利用者が選択
することによりキーワードまたは不要語として、キーワ
ード・不要語辞書に格納する。次に、文書データaとキ
ーワード・不要語辞書dを参照し、キーワードが付与さ
れていない文書データに対してキーワードを付与し、キ
ーワード付文書データとして登録する。これにより、人
手による文書データへのキーワードの付与作業に費やす
膨大な作業を省くことができる。また、キーワードでも
不要語でもない単語が存在する場合に、新たなキーワー
ドとして類推し付与することが可能となり、キーワード
の自己増殖が可能となる。

【0006】

【実施例】以下、本発明の実施例を、図面により詳細に
説明する。図1は、本発明のキーワード付与システムの
一実施例を示す機能ブロック図である。文書データ単語
分割部1は、文書データaを参照し、文書データを一般
辞書(ワードプロセッサ、機械翻訳等で使用される辞
書)を参照して単語分割し、分割結果を単語分割テーブ
ルbに登録する。単語出現頻度検出部2は、単語分割テ
ーブルbを参照し、単語の出現頻度を検出し、単語出現
頻度テーブルcに登録する。分野別単語出現頻度集計部
3は、単語出現頻度テーブルcを参照し、分野別の単語
の出現頻度を集計しワークエリアに格納する。集計結果
を参照しキーワード抽出部4でキーワードとなる単語を
抽出し、キーワード・不要語辞書dに格納する。集計結
果を参照し不要語抽出部5で不要語となる単語を抽出
し、キーワード・不要語辞書dに格納する。辞書編集部
6は、ワークエリア中の集計結果を参照し、キーワード
または不要語として抽出済みでない語を利用者が選択す
ることによりキーワードまたは不要語として、キーワー
ド・不要語辞書dに格納する。キーワード付与処理7
は、文書データaとキーワード・不要語辞書dを参照
し、キーワードが付与されていない文書データに対して
キーワードを付与し、キーワード付文書データeとして
登録する。このようにキーワード付与機能を持たせるこ
とにより、文書データに対するキーワードの自動付与を
実現する。図から明らかなように、文書データ単語分割
部1、単語出現頻度検出部2、分野別単語出現頻度集計
部3、キーワード抽出部4、不要語抽出部5、キーワー
ド付与部6は処理を示し、文書データa、単語分割テー
ブルb、単語出現頻度テーブルc、キーワード・不要語
辞書d、キーワード付文書データeはファイル(テーブ
ルとも呼ぶ)である。

【0007】図22は、図1の機能ブロック図で示され
た本発明の一実施例のキーワード付与システムにおける
キーワード付与処理を表すPAD図である。文書データ
単語分割処理01は、文書データaを参照し、文書デー
タを単語分割し、分割結果を単語分割テーブルbに登録
する。単語出現頻度検出処理02は、単語分割テーブル
bを参照し、単語の出現頻度を検出し、単語出現頻度テ
ーブルcに登録する。分野別単語出現頻度集計処理03
は、単語出現頻度テーブルcを参照し、分野別の単語の
出現頻度を集計しワークエリアに格納する。次に、キー
ワード抽出処理04は、集計結果を参照してキーワード
となる単語を抽出し、キーワード・不要語辞書dに格納
する。次に、不要語抽出処理05は、集計結果を参照し
て不要語となる単語を抽出し、キーワード・不要語辞書
dに格納する。次に、辞書編集処理06は、ワークエリ
ア中の集計結果を参照し、キーワードまたは不要語とし
て抽出済みでない語を利用者が選択することによりキー
ワードまたは不要語として、キーワード・不要語辞書d
に格納する。次に、キーワード付与処理07は、文書デ
ータaとキーワード・不要語辞書dを参照し、キーワー
ドが付与されていない文書データに対してキーワードを
付与し、キーワード付文書データeとして登録する。

【0008】図2は、図1におけるキーワード付与シス
テムの全体的なハードウェア構成を示すブロック図であ
る。入出力装置8は、データの入力、および、各種情報
の表示を行なう。プロセッサ9は、プログラムに基づ
き、図1における処理を実行する。記憶装置110は、
図1における文書データaや各種プログラムを格納す
る。さらに、記憶装置110は、プロセッサ9の各処理
実行用のメモリであるワーキングエリア100(単語分
割テーブルb、単語出現頻度テーブルcなどが格納され
る。)、文書データ単語分割部格納エリア10、単語出
現頻度検出部格納エリア20、分野別単語出現頻度集計
部格納エリア30、キーワード抽出部格納エリア40、
不要語抽出部格納エリア50、辞書編集部格納エリア6
0、キーワード付与部格納エリア70、キーワード・不
要語辞書格納エリア80(キーワード・不要語辞書dが
格納される。)、各種文書データ格納エリア90(文書
データa、キーワード付文書データeなどが格納され
る。)の記憶部を持っている。記憶装置110に格納さ
れる各プログラムは、プロセッサ9において実行され
る。その実行に際して、必要に応じて入出力装置8が用
いられる。

【0009】図3は、図1における文書データ単語分割
部の処理を表すのPAD図(Problem Anal
ysis Diagram)である。文書データaから
文書データを取得し単語分割を行ない単語分割テーブル
bに格納するまでの処理を示したものである。以下、こ
の処理をPAD図に従って説明する。文書データaを参
照し、先頭文書データから末尾文書データまで以下の処
理を行なう(ステップ11)。まず、文書データaから
一文書分のデータ(図4参照)を取得し(ステップ1
2)、文書データを単語分割し見出し文字列、品詞をそ
れぞれ単語分割テーブルb(図5参照)の見出し文字列
b1、品詞b2に格納する(ステップ13)。次に、文
書データ中の単語の位置、項目をそれぞれ単語分割テー
ブルbの位置b3、項目b4に格納する(ステップ1
4)。次に、該当する文書データの分野名、文書番号を
単語分割テーブルbの分野名b5、文書Nob6に格納
する(ステップ15)。次に、処理の対象を次の文書デ
ータに移動する(ステップ16)。ステップ11〜ステ
ップ16により、図4に示す文書データaを取得し単語
分割を行ない、図5に示す単語分割テーブルbに格納す
る。

【0010】図4は、文書データaの内の文書データ例
であり、分野名、文書番号付きの文書データの例であ
る。分野名が「言語処理」、文書番号が「1」であり、
文書データは「題名」「要旨」「目的」など項目により
構成されている。図5は、単語分割テーブルbの例であ
り、見出し文字列b1、品詞b2、位置b3、項目b
4、分野名b5、文書Nob6の項目により構成されて
いる。見出し文字列b1は分割された単語を構成する文
字列、品詞C2は単語の品詞、位置b3は該当する単語
が存在する文書データ中の位置、分野名b5は該当する
文書データの分野名、文書Nob6は文書データの識別
番号を表している。

【0011】図6は、図1における単語出現頻度検出部
の処理を表わすPAD図であり、同一文書データ内に出
現する各単語の出現回数を求める処理を示したものであ
る。以下、この処理をPAD図に従って説明する。単語
分割テーブルbを参照し、単語分割テーブルの先頭レコ
ードから末尾レコードまで以下の処理を行なう(ステッ
プ21)。まず、単語分割テーブルbを参照し、1レコ
ード分の情報(単語分割テーブルbの各行の情報であ
り、例えば、1行目の「題名、名詞、1行目、題名、言
語処理、1」が1レコード分の情報である。)を取得し
(ステップ22)、見出し文字列b1と品詞b2が等し
い他のレコードを単語分割テーブルbより検索し保持す
る(ステップ23)。次に、該当するレコードを構成す
る項目が存在するか判別し(ステップ24)、項目が存
在する場合に、項目別の各単語の出現回数を求め単語出
現頻度テーブルcに格納する(ステップ25)。次に、
文書データ全体の各単語の出現回数を求め単語出現頻度
テーブルc(図7参照)に格納する(ステップ26)。
次に、処理の対象となるレコードを次のレコードへ移動
する(ステップ27)。ステップ21〜ステップ27に
より、図5に示す単語分割テーブルbから図7に示す単
語出現頻度テーブルcが生成される。図7は、図1にお
ける単語出現頻度テーブルcの例であり、見出し文字列
C1、品詞C2、題名C3〜まとめC8、合計C9、分
野名C10、文書NoC11の項目により構成されてい
る。見出し文字列C1は分割された単語を構成する文字
列、品詞C2は単語の品詞、題名C3〜まとめC8は文
書データを構成する各項目中に出現する単語の出現回
数、合計C9は文書データ中に出現する単語の出現回
数、分野名C10は該当する文書データの分野名、文書
NoC11は文書データの識別番号を表している。

【0012】図8は、図1における分野別単語出現頻度
集計部3の処理を表すPAD図である。本処理は、分野
毎の各単語の出現頻度を集計する処理である。以下、こ
の処理をPAD図に従って説明する。まず、単語出現頻
度テーブルcを参照し、同一分野の文書データ数を求め
保持する(ステップ31)。次に、各分野毎に、出現回
数の合計(例えば、文書No.1における見出し文字列
‘自然語’の出現回数の合計は19である。)が1回以
上の各見出し単語の出現文書数を求め保持する(ステッ
プ32)。次に、ステップ31とステップ32で保持し
た同一分野の文書データ数と出現文書数を基に、同一分
野内における各単語の出現頻度(〈出現文書数〉/〈同
一分野の文書データ数〉×100%)を求め単語別に、
見出し文字列と品詞と出現頻度を分野別出現単語集計テ
ーブル(図9参照)に格納する(ステップ33)。ステ
ップ31〜ステップ33により、図7に示す単語出現頻
度テーブルcから図9に示す分野別出現単語集計テーブ
ルが生成される。なお、本テーブルはワーキングエリア
中に格納される。図9は、分野別出現単語集計テーブル
の例であり、見出し文字列W1、品詞W2、出現頻度W
3の項目により構成されている。見出し文字列W1は単
語を構成する文字列、品詞W2は単語の品詞、出現頻度
W3は文書データが対象とする分野内での各単語の出現
頻度を表し、本実施例では「言語処理」「電気回路」
「食品」の3つの分野を対象としている。

【0013】図10は、図1におけるキーワード抽出部
4の処理を表すPAD図であり、分野別の各単語の出現
頻度を基に文書データ中のキーワードを抽出する処理で
ある。以下、PAD図に従って処理を説明する。分野別
出現単語出現テーブルの先頭レコードから末尾レコード
まで以下の処理を行なう(ステップ41)。また、1レ
コード分の情報を分野別出現単語集計テーブルより取得
し(ステップ42)、該当する単語の見出し文字列が1
つの分野のみに出現しているか判別し(ステップ4
3)、出現している場合に、該当する単語を出現してい
る1つのみの分野のキーワードとしてキーワード・不要
語辞書d(図16参照)に登録し(ステップ44)、出
現していない場合に、該当する単語が出現していない分
野が1つ以上あるか判別し(ステップ45)、1つ以上
の分野が存在する場合に、該当する単語が出現している
1つ以上の分野のキーワードとしてキーワード・不要語
辞書dに登録する(ステップ46)。次に、処理の対象
となるレコードを次のレコードへ移動する(ステップ4
7)。ステップ41〜ステップ47により、図9に示す
分野別出現単語集計テーブルを基にキーワードを抽出し
図16に示すキーワード・不要語辞書dに格納される。
この時に、格納される単語は、図16の見出し文字列d
1の「アナログ」から「解析」までの単語である。

【0014】図11は、図1における不要語抽出部5の
処理を表すPAD図であり、分野別の各単語の出現頻度
を基に文書データ中の不要語抽出する処理である。以
下、PAD図に従って処理を説明する。分野別出現単語
集計テーブルの先頭レコードから末尾レコードまで以下
の処理を行なう(ステップ51)。また、1レコード分
の情報を分野別出現単語集計テーブルより取得し(ステ
ップ42)、該当する単語の見出し文字列が全ての分野
の全ての文書データ中に出現しているか(すなわち、全
ての分野において出現頻度100%)判別し(ステップ
53)、出現している場合に、該当する単語を全ての分
野の不要語としてキーワード・不要語辞書dに登録し
(ステップ54)、出現していない場合に、該当する単
語が分野中の全ての文書データに対して出現している
(すなわち、出現頻度100%)分野が1つ以上あるか
判別し(ステップ55)、1つ以上の分野が存在する場
合に、該当する1つ以上の分野の不要語としてキーワー
ド・不要語辞書dに登録する(ステップ56)。次に、
処理の対象となるレコードを次のレコードへ移動する
(ステップ57)。ステップ51〜ステップ57によ
り、図9に示す分野別出現単語集計テーブルを基に不要
語を抽出し図16に示すキーワード・不要語辞書dに格
納される。この時に、格納される単語は、図16の見出
し文字列d1の「検討」から「課題」までの単語であ
る。

【0015】図12は、図1における辞書編集部6の処
理を表すPAD図であり、キーワードまたは不要語とし
てキーワード・不要語辞書dに登録済みでない語に対す
る辞書登録に関する確認を利用者に促し辞書登録を行な
う処理である。以下、PAD図に従って処理を説明す
る。キーワードまたは不要語としてキーワード・不要語
辞書dに登録済みでない単語の分野別出現単語集計テー
ブルの情報を利用者に提示し(ステップ601)、提示
した単語を不要語としてキーワード・不要語辞書dに登
録するか否か利用者の確認を促す(ステップ602)。
このときの利用者への提示例を図13の[画面1]に示
す。次に、利用者の指示を判別し(ステップ603)、
不要語として辞書登録すると指示した場合に、全ての分
野に対する不要語としてキーワード・不要語辞書に登録
し処理を終了する(ステップ604)。また、利用者が
不要語として登録しないと指示した場合に、利用者によ
る編集を行なった後に辞書登録するか否か利用者に問合
せ(ステップ606)、否の場合、処理を終了する(ス
テップ607)。この時の利用者への問合せ例を図13
の[画面2]に示す。次に、画面上でのマウス入力を常
に受け付ける(ステップ608)。次に、編集する単語
の指定を利用者に促し、マウスピックにより指定された
単語を認識する(ステップ609)。このときの利用者
に対する問合せの例を図14の[画面3]に示す。ま
た、このときに指定された単語が「方法」であるとす
る。次に、画面上の「終了」アイコンが指定されるまで
以下の処理を行なう(ステップ610)。「キーワード
登録」、「不要語登録」、「出現頻度詳細情報表示」の
3つのアイコンのどれが利用者により指定されたか判別
する(ステップ611)。「キーワード登録」アイコン
が指定された場合、該当する単語をキーワードとする分
野の指定を利用者に促し(ステップ612)、利用者に
より指定された分野のキーワードとしてキーワード・不
要語辞書dに登録する(ステップ613)。「不要語登
録」アイコンが指定された場合、該当する単語を不要語
とする分野の指定を利用者に促し(ステップ614)、
利用者により指定された分野の不要語としてキーワード
・不要語辞書dに登録する(ステップ615)。「出現
頻度詳細情報表示」アイコンが指定された場合、ユーザ
が指定した単語の単語出現頻度テーブルの情報を利用者
に提示する(ステップ616)。このとき「方法」とい
う単語に対して「出現頻度詳細情報表示」アイコンを指
定した場合の例を図14の「画面4」に示し、単語出現
頻度テーブルの情報の提示例を図15に示す。また、図
15に示す例は、単語出現頻度テーブルの情報を利用者
が見た後に「不要語登録」アイコンを指定し辞書登録を
行なう例を示している。ステップ601〜ステップ61
6により、キーワード抽出部4と不要語抽出部5により
登録されてない単語を、利用者が介入し各単語をキーワ
ードまたは不要語としてキーワード・不要語辞書dに登
録することができる。図13〜図15は上記説明の通り
である。

【0016】図16は、図1におけるキーワード・不要
語辞書dの格納例であり、見出し文字列d1、品詞d
2、キーワード対象分野d3、不要語対象分野d4の項
目により構成されている。見出し文字列d1は単語の見
出し文字列、品詞d2は単語の品詞、キーワード対象分
野d3は該当する単語がキーワードとなる分野、不要語
対象分野d4は該当する単語が不要語となる分野を表し
ている。見出し文字列d1「アナログ」〜「解析」はキ
ーワード抽出部4により抽出しキーワードとして格納さ
れた単語であり、見出し文字列d1「検討」〜「課題」
は不要語抽出部5により抽出し不要語として格納された
単語である。また、「方法」〜「入力」は辞書編集部6
によりユーザの判断により登録し格納した例であり、さ
らに、見出し文字列d1「アナログ」〜「解析」に対し
ては、辞書編集部6によりユーザの判断で不要語対象分
野が登録格納されている。

【0017】図17は、図1におけるキーワード付与部
7の処理を表すPAD図であり、キーワードが付与され
ていない文書データに対してキーワードを付与する処理
である。以下、PAD図に従って処理を説明する。文書
データaの先頭文書データから末尾文書データまで以下
の処理を行なう(ステップ701)。まず、1文書分の
データを取得する(ステップ702)。次に、該文書デ
ータの対象分野名(例えば、‘言語処理’)を取得する
(ステップ703)。次に、基本的な機能語および内容
語を格納している一般辞書を参照して、文書データの単
語分割を行ない単語分割結果を保持し、キーワード・不
要語辞書dを参照して、各単語のキーワード対象分野d
3と不要語対象分野d4を取得する(ステップ70
4)。次に、単語分割結果の先頭単語から末尾単語まで
以下の処理を行なう(ステップ705)。まず、文書デ
ータの単語が該文書データの属する対象分野のキーワー
ドであるか判別し(ステップ706)、キーワードであ
る場合に、文書データのキーワードとして先の単語を付
与し(ステップ707)、キーワードでない場合に、該
当する文書データの対象分野の不要語であるか判別し
(ステップ708)、不要語でない場合(すなわち、単
語が見出し文字列にない場合)に、その単語を文書デー
タのキーワードとして付与する(ステップ709)。ス
テップ706の判定の後、処理の対象を次の単語へ移動
する(ステップ710)。ステップ705のループの
後、処理の対象を次の文書データに移動する(ステップ
711)。また、ステップ709でキーワードとして該
当する単語を文書データに対して付与する場合に、利用
者に対してキーワードとして付与するか否か問合せ、キ
ーワードとして付与すると利用者が指示した場合に、文
書データに対して該当する単語をキーワードとして付与
し、該当する対象分野のキーワードとしてキーワード・
不要語辞書に登録することにより、より確実に文書デー
タに対してキーワード付与が可能となる。ステップ70
1〜ステップ711により、キーワードが付与されてい
ない文書データに対して、図18に示す例の通りにキー
ワードが付与される。図18は、キーワードが付与され
ていない文書データに対して、キーワード付与部7によ
りキーワードが付与された例である。

【0018】以上、述べたように、本実施例によれば、
従来は人手により付与されていた文書データへのキーワ
ード付与を、複数の分野の文書データと、分野内での各
単語の出現頻度を利用し、大半のキーワードを抽出し自
動的に付与することにより、人手による文書データへの
キーワードの付与作業に費やす膨大な作業を省くことが
できるようになるという効果がある。また、キーワード
と同時に不要語を抽出することにより、キーワードを付
与する場合に、キーワードでも不要語でもない単語が存
在する場合に、新たなキーワードとして類推し付与する
ことが可能となり、キーワードの自己増殖が可能とな
る。また、本実施例のキーワード抽出部4および不要語
抽出部5により抽出されなかった単語の大半は不要語で
あることは明らかであるが、この中に分野中で頻繁に使
用されるキーワードが存在している可能性があり、辞書
編集部を設け利用者が介入することにより、このキーワ
ードを利用者が選択することにより容易にキーワードお
よび不要語の辞書登録が可能となる。

【0019】次に、本発明のキーワード付与システムに
より生成したキーワード・不要語辞書を利用した自然語
インタフェースの例を説明する。図19は、本発明のキ
ーワード付与システムにより生成したキーワード・不要
語辞書を自然語インタフェースで利用し自然語による文
書検索を実現するシステムの機能ブロック図であり、自
然語インタフェース部Fはキーワード・不要語辞書を参
照し、自然語を理解し利用者が要求する文書データをキ
ーワード付文書データeから検索し、利用者に提示す
る。自然語インタフェース部により、図20に示される
ような利用者により入力された自然語を、キーワード・
不要語辞書を参照し用語認定を行ない、入力文中に含ま
れているキーワードを認識し、認識したキーワードを含
む文書データをキーワード付文書データeから検索し、
利用者に提示する。図21は、検索された文書データの
利用者への提示例である。このように、キーワード・不
要語辞書eを自然語インタフェースで利用することによ
り、自然語による文書データの検索が可能となる。

【0020】

【発明の効果】本発明によれば、従来は人手により付与
されていた文書データへのキーワード付与を、複数の分
野の文書データと、分野内での各単語の出現頻度を利用
し、キーワードを抽出し自動的に付与することにより、
人手による文書データへのキーワードの付与作業に費や
す膨大な作業を省くことができるという効果がある。ま
た、キーワードでも不要語でもない単語が存在する場合
に、新たなキーワードとして類推し付与することが可能
となり、キーワードの自己増殖が可能となるという効果
がある。

【図面の簡単な説明】

【図1】本発明のキーワード付与システムの一実施例を
示す機能ブロック図である。

【図2】本発明のキーワード付与システムの一実施例の
全体的なハードウェア構成を示すブロック図である。

【図3】文書データ単語分割部の処理を示すPAD図で
ある。

【図4】文書データの一例を示す図である。

【図5】単語分割テーブルの一例を示す図である。

【図6】単語出現頻度検出部の処理を示すPAD図であ
る。

【図7】単語出現頻度テーブルの一例を示す図である。

【図8】分野別単語出現頻度集計部の処理を示すPAD
図である。

【図9】分野別単語出現頻度集計テーブルの一例を示す
図である。

【図10】キーワード抽出部の処理を示すPAD図であ
る。

【図11】不要語抽出部の処理を示すPAD図である。

【図12】辞書編集部の処理を示すPAD図である。

【図13】利用者に提示する画面の例を示す図である。

【図14】利用者に提示する画面の他の例を示す図であ
る。

【図15】利用者に提示する画面のさらに他の例を示す
図である。

【図16】キーワード・不要語辞書の一例を示す図であ
る。

【図17】キーワード付与部の処理を示すPAD図であ
る。

【図18】文書データに対してキーワード付与部により
キーワード付与した例を示す図である。

【図19】キーワード・付不要語辞書を自然語インタフ
ェースで利用した自然語による文書検索を実現するシス
テムの機能ブロック図を示す図である。

【図20】自然語インタフェースにおいて利用者により
入力される自然語の例を示す図である。

【図21】自然語インタフェースにおいて検索された文
書データの利用者への提示例である。

【図22】図1の機能ブロック図で示された本発明の一
実施例のキーワード付与システムにおけるキーワード付
与処理を表すPAD図である。

【符号の説明】

1 文書データ単語分割部 2 単語出現頻度検出部 3 分野別単語出現頻度集計部 4 キーワード抽出部 5 不要語抽出部 6 辞書編集部 7 キーワード付与部 8 入出力装置 9 プロセッサ 110 記憶装置 a 文書データ b 単語分割テーブル c 単語出現頻度テーブル d キーワード・不要語辞書 e キーワード付文書データ F 自然語インターフェース部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭57−182279(JP,A) 特開 平2−148265(JP,A) 特開 平1−112331(JP,A) 原「出現度数と分野情報を利用したキ ーワード抽出法の検討」情報処理学会第 43回(平成3年後期)全国大会講演論文 集(3)p.185−186(平3−10−19) 長尾,水谷,池田「日本語文献におけ る重要語の自動抽出」情報処理,Vo l.17,No.2,1976,p.110−117 (昭51−2−15) (58)調査した分野(Int.Cl.7,DB名) G06F 17/30 JICSTファイル(JOIS)

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 入力装置と、記憶装置と、プロセッサを
    備え、分野別の文書データからキーワードとなる語を抽
    出し、該文書データに付与するキーワード付与システム
    において、 前記プロセッサは、 複数の各文書データを構成する項目を検出し、文書デー
    タ内各項目別の単語の出現回数を検出し、文書データ
    内の単語の合計出現回数を単語出現頻度テーブルに登録
    する手段と、 該単語出現頻度テーブルに基づき各分野における同一分
    野の文書データ数に対する単語の出現する文書データ数
    の割合によって単語の出現頻度を求め、分野別出現単語
    集計テーブルに登録する手段と、 該分野別出現単語集計テーブルの出現頻度を基に、1つ
    の分野のみに出現している単語を該分野のキーワードと
    して抽出すると共に、ある単語が出現していない分野が
    1つ以上ある該単語について、該単語が出現している分
    野のキーワードとして抽出する手段と、 該分野別出現単語集計テーブルの分野相互の出現頻度を
    基に、少なくとも1つの分野で全ての文書データに出現
    している単語を、分野別のキーワードとなりえない不要
    として抽出する手段と、前記キーワードあるいは不要語として抽出された単語以
    外の単語の出現頻度を前記分野別出現単語集計テーブル
    に基づき分野別に表示し、利用者に対してキーワードあ
    るいは不要語として辞書登録するか否か問合せ、利用者
    の指示に応じてキーワードあるいは不要語として キーワ
    ード・不要語辞書に登録する手段と、 文書データにキーワードを付与する際、キーワード付与
    対象の文書データに対して一般辞書を参照して単語分割
    し、前記辞書に登録されたキーワードと不要語を参照
    し、キーワードを付与する文書データ中の単語から該文
    書の分野でキーワードとなる単語が存在する場合に、該
    単語をキーワードとして該文書データに付与し、該文書
    データの分野でキーワードとならず、かつ、不要語とも
    ならない単語が存在する場合に、利用者への問合せに対
    する利用者の指示に応じて該単語をキーワードとして該
    文書データに付与するキーワード付与手段を備えること
    を特徴とするキーワード付与システム。
JP17246493A 1993-06-18 1993-06-18 キーワード付与システム Expired - Lifetime JP3220885B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17246493A JP3220885B2 (ja) 1993-06-18 1993-06-18 キーワード付与システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP17246493A JP3220885B2 (ja) 1993-06-18 1993-06-18 キーワード付与システム
US08/258,755 US5642518A (en) 1993-06-18 1994-06-13 Keyword assigning method and system therefor

Publications (2)

Publication Number Publication Date
JPH0778182A JPH0778182A (ja) 1995-03-20
JP3220885B2 true JP3220885B2 (ja) 2001-10-22

Family

ID=15942485

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17246493A Expired - Lifetime JP3220885B2 (ja) 1993-06-18 1993-06-18 キーワード付与システム

Country Status (2)

Country Link
US (1) US5642518A (ja)
JP (1) JP3220885B2 (ja)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3282937B2 (ja) * 1995-01-12 2002-05-20 日本アイ・ビー・エム株式会社 情報検索方法及びシステム
JPH08329105A (ja) * 1995-05-31 1996-12-13 Canon Inc 文書処理方法及びその装置
JP3254642B2 (ja) * 1996-01-11 2002-02-12 株式会社日立製作所 索引の表示方法
US5873107A (en) * 1996-03-29 1999-02-16 Apple Computer, Inc. System for automatically retrieving information relevant to text being authored
US5960383A (en) * 1997-02-25 1999-09-28 Digital Equipment Corporation Extraction of key sections from texts using automatic indexing techniques
JP3607462B2 (ja) 1997-07-02 2005-01-05 松下電器産業株式会社 関連キーワード自動抽出装置及びこれを用いた文書検索システム
EP1032896B1 (en) * 1997-11-24 2002-03-27 BRITISH TELECOMMUNICATIONS public limited company Information management and key term retrieval
JP3622503B2 (ja) 1998-05-29 2005-02-23 株式会社日立製作所 特徴文字列抽出方法および装置とこれを用いた類似文書検索方法および装置並びに特徴文字列抽出プログラムを格納した記憶媒体および類似文書検索プログラムを格納した記憶媒体
US6418429B1 (en) * 1998-10-21 2002-07-09 Apple Computer, Inc. Portable browsing interface for information retrieval
JP3566111B2 (ja) 1998-11-30 2004-09-15 松下電器産業株式会社 記号辞書作成方法及び記号辞書検索方法
US6510427B1 (en) * 1999-07-19 2003-01-21 Ameritech Corporation Customer feedback acquisition and processing system
NO20003974A (no) * 2000-02-18 2001-08-20 Ziad Badarneh Manöverinnretning
US6999914B1 (en) * 2000-09-28 2006-02-14 Manning And Napier Information Services Llc Device and method of determining emotive index corresponding to a message
US6671697B1 (en) * 2000-09-29 2003-12-30 Arthur Thibodeau Rental property caching and searching system and process
EP1244027A1 (de) * 2001-03-23 2002-09-25 Siemens Business Services GmbH & Co. OHG Methode zur Einordnung eines Dokuments in einen Dokumentenbestand
US6952711B2 (en) 2001-06-01 2005-10-04 Microchip Technology Incorporated Maximally negative signed fractional number multiplication
US7096179B2 (en) * 2001-08-15 2006-08-22 Siemens Corporate Research, Inc. Text-based automatic content classification and grouping
US8078545B1 (en) 2001-09-24 2011-12-13 Aloft Media, Llc System, method and computer program product for collecting strategic patent data associated with an identifier
WO2003027894A1 (en) * 2001-09-26 2003-04-03 The Trustees Of Columbia University In The City Of New York System and method of generating dictionary entries
US7580831B2 (en) * 2002-03-05 2009-08-25 Siemens Medical Solutions Health Services Corporation Dynamic dictionary and term repository system
US6847966B1 (en) 2002-04-24 2005-01-25 Engenium Corporation Method and system for optimally searching a document database using a representative semantic space
US7131117B2 (en) * 2002-09-04 2006-10-31 Sbc Properties, L.P. Method and system for automating the analysis of word frequencies
JP2004102678A (ja) * 2002-09-10 2004-04-02 Minolta Co Ltd データ管理装置及びデータ管理プログラム
US7395256B2 (en) * 2003-06-20 2008-07-01 Agency For Science, Technology And Research Method and platform for term extraction from large collection of documents
US20050106539A1 (en) * 2003-11-17 2005-05-19 International Business Machines Corporation Self-configuring keyword derivation
US20070162935A1 (en) * 2004-02-10 2007-07-12 Sony Corporation Program search device
US7783476B2 (en) * 2004-05-05 2010-08-24 Microsoft Corporation Word extraction method and system for use in word-breaking using statistical information
US7110949B2 (en) * 2004-09-13 2006-09-19 At&T Knowledge Ventures, L.P. System and method for analysis and adjustment of speech-enabled systems
US7043435B2 (en) * 2004-09-16 2006-05-09 Sbc Knowledgfe Ventures, L.P. System and method for optimizing prompts for speech-enabled applications
US8688673B2 (en) * 2005-09-27 2014-04-01 Sarkar Pte Ltd System for communication and collaboration
US20060074980A1 (en) * 2004-09-29 2006-04-06 Sarkar Pte. Ltd. System for semantically disambiguating text information
JP4524640B2 (ja) * 2005-03-31 2010-08-18 ソニー株式会社 情報処理装置および方法、並びにプログラム
US7676463B2 (en) * 2005-11-15 2010-03-09 Kroll Ontrack, Inc. Information exploration systems and method
US8112324B2 (en) 2006-03-03 2012-02-07 Amazon Technologies, Inc. Collaborative structured tagging for item encyclopedias
US8402022B2 (en) * 2006-03-03 2013-03-19 Martin R. Frank Convergence of terms within a collaborative tagging environment
JP2007281618A (ja) * 2006-04-03 2007-10-25 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US10042927B2 (en) 2006-04-24 2018-08-07 Yeildbot Inc. Interest keyword identification
US8069182B2 (en) * 2006-04-24 2011-11-29 Working Research, Inc. Relevancy-based domain classification
US20080091548A1 (en) * 2006-09-29 2008-04-17 Kotas Paul A Tag-Driven Concept-Centric Electronic Marketplace
US7873640B2 (en) * 2007-03-27 2011-01-18 Adobe Systems Incorporated Semantic analysis documents to rank terms
CN100520767C (zh) 2007-05-31 2009-07-29 腾讯科技(深圳)有限公司 在网络上判断文章重要性的方法和系统、及滑动窗口
US8606795B2 (en) * 2008-07-01 2013-12-10 Xerox Corporation Frequency based keyword extraction method and system using a statistical measure
JP5415550B2 (ja) 2009-10-05 2014-02-12 株式会社東芝 類似コンテンツ検索装置及びプログラム
EP2383970B1 (en) * 2010-04-30 2013-07-10 beyo GmbH Camera based method for text input and keyword detection
US9715332B1 (en) 2010-08-26 2017-07-25 Cypress Lake Software, Inc. Methods, systems, and computer program products for navigating between visual components
US8661361B2 (en) 2010-08-26 2014-02-25 Sitting Man, Llc Methods, systems, and computer program products for navigating between visual components
US8780130B2 (en) 2010-11-30 2014-07-15 Sitting Man, Llc Methods, systems, and computer program products for binding attributes between visual components
CN103198057B (zh) * 2012-01-05 2017-11-07 深圳市世纪光速信息技术有限公司 一种自动给文档添加标签的方法和装置
EP2637128B1 (en) 2012-03-06 2018-01-17 beyo GmbH Multimodal text input by a keyboard/camera text input module replacing a conventional keyboard text input module on a mobile device
JP6172447B2 (ja) * 2013-05-22 2017-08-02 日本電気株式会社 関連性判定システム、方法、およびプログラム
US10089336B2 (en) * 2014-12-22 2018-10-02 Oracle International Corporation Collection frequency based data model

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5276616A (en) * 1989-10-16 1994-01-04 Sharp Kabushiki Kaisha Apparatus for automatically generating index

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
原「出現度数と分野情報を利用したキーワード抽出法の検討」情報処理学会第43回(平成3年後期)全国大会講演論文集(3)p.185−186(平3−10−19)
長尾,水谷,池田「日本語文献における重要語の自動抽出」情報処理,Vol.17,No.2,1976,p.110−117(昭51−2−15)

Also Published As

Publication number Publication date
US5642518A (en) 1997-06-24
JPH0778182A (ja) 1995-03-20

Similar Documents

Publication Publication Date Title
US7096218B2 (en) Search refinement graphical user interface
US6021416A (en) Dynamic source code capture for a selected region of a display
US6782387B1 (en) System for document management and information processing
US5721897A (en) Browse by prompted keyword phrases with an improved user interface
US6026409A (en) System and method for search and retrieval of digital information by making and scaled viewing
US7383269B2 (en) Navigating a software project repository
US20060075327A1 (en) User interface for presentation of a document
US6829734B1 (en) Method for discovering problem resolutions in a free form computer helpdesk data set
US6209125B1 (en) Method and apparatus for software component analysis
US5907838A (en) Information search and collection method and system
US6272490B1 (en) Document data linking apparatus
US6496838B1 (en) Database reconciliation method and system
US20040098385A1 (en) Method for indentifying term importance to sample text using reference text
US20020059215A1 (en) Data search apparatus and method
US5794233A (en) Browse by prompted keyword phrases
US20020111939A1 (en) Image data retrieval apparatus and method capable of facilitating retrieval of desired image data from image database
US7890533B2 (en) Method and system for information extraction and modeling
US6823491B1 (en) System and method for a dynamically integrated search engine
Dunlop Time, relevance and interaction modelling for information retrieval
JPH07325827A (ja) ハイパーテキスト自動生成装置
JP2000311040A (ja) データ引き渡し装置、データ引き渡し方法、及びデータ引き渡しプログラムを記録した記録媒体
JPH1074210A (ja) 文献検索支援方法及び装置およびこれを用いた文献検索サービス
JP2000076109A (ja) データ表示装置およびデータ表示方法
Cheb-Terrab et al. A computational approach for the analytical solving of partial differential equations
Hancock-Beaulieu et al. An evaluation of interactive query expansion in an online library catalogue with a graphical user interface

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070817

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080817

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080817

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090817

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100817

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100817

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110817

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120817

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130817

Year of fee payment: 12

EXPY Cancellation because of completion of term