JPH08320873A - キーワード自動抽出方法および装置 - Google Patents
キーワード自動抽出方法および装置Info
- Publication number
- JPH08320873A JPH08320873A JP7126524A JP12652495A JPH08320873A JP H08320873 A JPH08320873 A JP H08320873A JP 7126524 A JP7126524 A JP 7126524A JP 12652495 A JP12652495 A JP 12652495A JP H08320873 A JPH08320873 A JP H08320873A
- Authority
- JP
- Japan
- Prior art keywords
- character string
- importance
- character
- keyword
- appearance frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【目的】 辞書などをあらかじめ作成し、その後保守し
ていく労力を大幅に削減し、キーワード候補を自動的に
抽出する。 【構成】 キーワード候補自動抽出装置は、キーワード
を抽出するためのデータとなる文書が記録されている文
書ファイル１０と、文字列の出現頻度を計算するＮグラ
ム頻度情報計算部１１と、文書ファイル１０の文書に含
まれる文字列の重要度を計算する文字列重要度計算部１
２と、文書ファイル１０から抽出された文字列とその文
字列の重要度が記録される文字列重要度テーブル１３
と、文字列重要度テーブル１３から無意味な文字列を排
除しキーワード候補を抽出する文字列選別部１４と、文
字列選別部１４によって抽出されたキーワード候補が記
録されるキーワード候補テーブル１５で構成されてい
る。
ていく労力を大幅に削減し、キーワード候補を自動的に
抽出する。 【構成】 キーワード候補自動抽出装置は、キーワード
を抽出するためのデータとなる文書が記録されている文
書ファイル１０と、文字列の出現頻度を計算するＮグラ
ム頻度情報計算部１１と、文書ファイル１０の文書に含
まれる文字列の重要度を計算する文字列重要度計算部１
２と、文書ファイル１０から抽出された文字列とその文
字列の重要度が記録される文字列重要度テーブル１３
と、文字列重要度テーブル１３から無意味な文字列を排
除しキーワード候補を抽出する文字列選別部１４と、文
字列選別部１４によって抽出されたキーワード候補が記
録されるキーワード候補テーブル１５で構成されてい
る。
Description
【０００１】
【産業上の利用分野】本発明は、キーワード検索できる
テキストデータベースを作成する際に必要となるキーワ
ードを自動的に抽出する方法および装置に関する。
テキストデータベースを作成する際に必要となるキーワ
ードを自動的に抽出する方法および装置に関する。
【０００２】
【従来の技術】従来、文章中からキーワード等を自動的
に抽出する方法としてフリーターム方式と統制キーワー
ド方式があった。
に抽出する方法としてフリーターム方式と統制キーワー
ド方式があった。
【０００３】フリーターム方式では、まず文章の分かち
書きを、字種や区切り記号に着目してキーワード抽出を
行い、さらに分かち書き用の辞書を用いて語を品詞単位
に分割する。次に、接尾語を登録した辞書との照合によ
り、分かち書きされた語から接頭語、接尾語を取り去
り、さらに、複合語の分割を、最小単位の単語を登録し
た語彙辞書を利用して分割する。次に、不要語辞書との
照合により、分かち書きされた語から不要語も取り除い
て残った語の中で名詞をキーワードとする。
書きを、字種や区切り記号に着目してキーワード抽出を
行い、さらに分かち書き用の辞書を用いて語を品詞単位
に分割する。次に、接尾語を登録した辞書との照合によ
り、分かち書きされた語から接頭語、接尾語を取り去
り、さらに、複合語の分割を、最小単位の単語を登録し
た語彙辞書を利用して分割する。次に、不要語辞書との
照合により、分かち書きされた語から不要語も取り除い
て残った語の中で名詞をキーワードとする。
【０００４】統制キーワード方式では、上記フリーター
ム方式の処理においてキーワードとされた語について、
キーワードとする語を登録した辞書であるキーワード辞
書と照合を行いキーワードを選択する方式である。
ム方式の処理においてキーワードとされた語について、
キーワードとする語を登録した辞書であるキーワード辞
書と照合を行いキーワードを選択する方式である。
【０００５】
【発明が解決しようとする課題】上記フリーターム方式
と統制キーワード方式では語彙辞書、不要語辞書、また
統制キーワード方式ではさらにキーワード辞書を用いる
が、キーワードおよび不要語は文章の文脈に依存するも
のであり、これを無視した画一的な不要語、キーワード
の辞書では文章によってはキーワードとして必要な語を
削除したり、不必要な語をキーワードにしてしまうこと
があった。また、これら語彙辞書、不要語辞書、キーワ
ード辞書をあらかじめ作成しておかねばならないが、こ
れには膨大な労力が必要であり、新語の発生やその用法
が変化すればその度に辞書を入手によって更新しなけれ
ばならなかった。
と統制キーワード方式では語彙辞書、不要語辞書、また
統制キーワード方式ではさらにキーワード辞書を用いる
が、キーワードおよび不要語は文章の文脈に依存するも
のであり、これを無視した画一的な不要語、キーワード
の辞書では文章によってはキーワードとして必要な語を
削除したり、不必要な語をキーワードにしてしまうこと
があった。また、これら語彙辞書、不要語辞書、キーワ
ード辞書をあらかじめ作成しておかねばならないが、こ
れには膨大な労力が必要であり、新語の発生やその用法
が変化すればその度に辞書を入手によって更新しなけれ
ばならなかった。
【０００６】本発明の目的は、辞書などをあらかじめ作
成し、その後保守していく労力を大幅に削減し、キーワ
ード候補を自動的に抽出するキーワード自動抽出方法お
よび装置を提供することである。
成し、その後保守していく労力を大幅に削減し、キーワ
ード候補を自動的に抽出するキーワード自動抽出方法お
よび装置を提供することである。
【０００７】
【課題を解決するための手段】請求項１のキーワード自
動抽出方法には、与えられた文章に対してＮグラムを求
める処理と、求められる文字列の重要度を計算する処理
と、求められた文字列から無意味な文字列を排除する処
理とを施すことにより、前記与えられた文章のキーワー
ド候補を抽出するものである。
動抽出方法には、与えられた文章に対してＮグラムを求
める処理と、求められる文字列の重要度を計算する処理
と、求められた文字列から無意味な文字列を排除する処
理とを施すことにより、前記与えられた文章のキーワー
ド候補を抽出するものである。
【０００８】請求項２のキーワード自動抽出方法は、前
記文字列の重要度を計算する処理が、前記Ｎグラムを求
める処理により求められた文字列の出現頻度と、実際に
出現した文字列の種類の総数によって、当該文字列の出
現頻度を正規化することにより、文字列の重要度を算出
するものである。
記文字列の重要度を計算する処理が、前記Ｎグラムを求
める処理により求められた文字列の出現頻度と、実際に
出現した文字列の種類の総数によって、当該文字列の出
現頻度を正規化することにより、文字列の重要度を算出
するものである。
【０００９】請求項３のキーワード自動抽出方法は、前
記無意味な文字列を排除する処理が、重要度が求められ
た文字列を順次調べ、当該文字列より重要度が小さく、
かつ当該文字列の部分文字列となっている文字列をキー
ワード候補から除外することにより、無意味な文字列を
排除するものである。
記無意味な文字列を排除する処理が、重要度が求められ
た文字列を順次調べ、当該文字列より重要度が小さく、
かつ当該文字列の部分文字列となっている文字列をキー
ワード候補から除外することにより、無意味な文字列を
排除するものである。
【００１０】請求項４のキーワード自動抽出方法は、前
記文字列の出現頻度の正規化が、与えられた文書から長
さがｎ（ｎは所定の自然数）までの文字列を抽出し、重
複を排除して、その出現頻度とともにテーブルに登録す
るステップと、前記テーブルから、文字列の長さ別の種
類を計数するステップと、長さがｎまでの各文字列にお
いて、各当該文字列の長さ以下の長さの文字列の種類の
総数と、文字列の出現頻度を乗じることで、各文字列の
重要度を計算するステップにより実現される。
記文字列の出現頻度の正規化が、与えられた文書から長
さがｎ（ｎは所定の自然数）までの文字列を抽出し、重
複を排除して、その出現頻度とともにテーブルに登録す
るステップと、前記テーブルから、文字列の長さ別の種
類を計数するステップと、長さがｎまでの各文字列にお
いて、各当該文字列の長さ以下の長さの文字列の種類の
総数と、文字列の出現頻度を乗じることで、各文字列の
重要度を計算するステップにより実現される。
【００１１】請求項５のキーワード自動抽出方法は、前
記無意味な文字列を排除する処理が、長さが１からｎ
（ｎは所定の自然数）までの各長さの文字列とその重要
度を登録したｎ個のテーブルを結合するステップと、該
テーブルの文字列を重要度の順にソートするステップ
と、ソートしたテーブルから文字列を逐次読み出し、該
文字列が他の文字列の部分としてキーワード候補テーブ
ル上に登録されているか否かを検査するステップと、該
文字列が他の文字列の部分として前記キーワード候補テ
ーブル上に登録されていた場合には、該文字列を前記キ
ーワード候補テーブルに登録しないステップにより実現
される。
記無意味な文字列を排除する処理が、長さが１からｎ
（ｎは所定の自然数）までの各長さの文字列とその重要
度を登録したｎ個のテーブルを結合するステップと、該
テーブルの文字列を重要度の順にソートするステップ
と、ソートしたテーブルから文字列を逐次読み出し、該
文字列が他の文字列の部分としてキーワード候補テーブ
ル上に登録されているか否かを検査するステップと、該
文字列が他の文字列の部分として前記キーワード候補テ
ーブル上に登録されていた場合には、該文字列を前記キ
ーワード候補テーブルに登録しないステップにより実現
される。
【００１２】請求項６から１０のキーワード自動抽出装
置は、それぞれ請求項１から５のキーワード自動抽出方
法を実施するものである。
置は、それぞれ請求項１から５のキーワード自動抽出方
法を実施するものである。
【００１３】
【作用】まず、与えられた文章全体における任意の文字
列に対する重要度を計算し、文字列重要度テーブルに登
録する。次に、文字列重要度テーブルの文字列の中から
無意味な文字列を削除することによって、重要度で順序
つけられたキーワードの候補リストを生成する。
列に対する重要度を計算し、文字列重要度テーブルに登
録する。次に、文字列重要度テーブルの文字列の中から
無意味な文字列を削除することによって、重要度で順序
つけられたキーワードの候補リストを生成する。
【００１４】これにより、辞書をあらかじめ作成する労
力が不要になる。
力が不要になる。
【００１５】
【実施例】次に、本発明の実施例について図面により説
明する。
明する。
【００１６】図１は本発明の一実施例のキーワード自動
抽出装置の構成図である。
抽出装置の構成図である。
【００１７】本実施例のキーワード候補自動抽出装置
は、キーワードを抽出するためのデータとなる文書が記
録されている文書ファイル１０と、文書ファイル１０に
記録されている文書を読み込み、その文書に含まれる任
意の文字列を抽出し、該文字列の出現頻度を計数するＮ
グラム頻度情報計数部１１と、文字列の出現頻度と実際
に出現した文字列の種類の総数頻度から文字列の重要度
を計算する文字列重要度計算部１２と、文書ファイル１
０から抽出された文字列と文字列重要度計算部１２によ
って計数されたその文字列の重要度が記録される文字列
重要度テーブル１３と、文字列重要度テーブル１３から
無意味な文字列を排除しキーワード候補を抽出する文字
列選別部１４と、文字列選別部１４によって抽出された
キーワード候補が記録されるキーワード候補テーブル１
５で構成されている。
は、キーワードを抽出するためのデータとなる文書が記
録されている文書ファイル１０と、文書ファイル１０に
記録されている文書を読み込み、その文書に含まれる任
意の文字列を抽出し、該文字列の出現頻度を計数するＮ
グラム頻度情報計数部１１と、文字列の出現頻度と実際
に出現した文字列の種類の総数頻度から文字列の重要度
を計算する文字列重要度計算部１２と、文書ファイル１
０から抽出された文字列と文字列重要度計算部１２によ
って計数されたその文字列の重要度が記録される文字列
重要度テーブル１３と、文字列重要度テーブル１３から
無意味な文字列を排除しキーワード候補を抽出する文字
列選別部１４と、文字列選別部１４によって抽出された
キーワード候補が記録されるキーワード候補テーブル１
５で構成されている。
【００１８】図２はＮグラム頻度情報計数部１１と文字
列重要度計算部１２の処理を示すフローチャートであ
る。まず、文書ファイル１０に記録されている文書を１
文ごとに読み込み（ステップ２１）、その文から部分文
字列を作り、さらにその各部分文字列を先頭の文字から
ｎ（ｎは所定の自然数）以下の部分文字列を作り、文字
列テーブル１６に出力する（ステップ２２，２３）。次
に、各文字列長さの部分文字列の種類と各種類の部分文
字列の文章中の出現頻度を求め、各文字列長さに応じた
テーブル（Ｎグラムテーブル）１７に格納する（ステッ
プ２４）。ここで、テーブル１７に記録される出現頻度
は実際の出現頻度から１を引いたものである。最後に、
各部分文字列Ｘの重要度ＩX を次式により算出し、部分
文字列Ｘのｎグラム重要度テーブル１８に格納する（ス
テップ２６）。
列重要度計算部１２の処理を示すフローチャートであ
る。まず、文書ファイル１０に記録されている文書を１
文ごとに読み込み（ステップ２１）、その文から部分文
字列を作り、さらにその各部分文字列を先頭の文字から
ｎ（ｎは所定の自然数）以下の部分文字列を作り、文字
列テーブル１６に出力する（ステップ２２，２３）。次
に、各文字列長さの部分文字列の種類と各種類の部分文
字列の文章中の出現頻度を求め、各文字列長さに応じた
テーブル（Ｎグラムテーブル）１７に格納する（ステッ
プ２４）。ここで、テーブル１７に記録される出現頻度
は実際の出現頻度から１を引いたものである。最後に、
各部分文字列Ｘの重要度ＩX を次式により算出し、部分
文字列Ｘのｎグラム重要度テーブル１８に格納する（ス
テップ２６）。
【００１９】ＩX ＝Ｙ×Ｓ ・・・・・（１） ここで、ＹはＮグラムテーブル１７に格納されている部
分文字列Ｘの出現頻度、Ｓは部分文字列Ｘの長さＮ以下
の部分文字列の種類の総数である。
分文字列Ｘの出現頻度、Ｓは部分文字列Ｘの長さＮ以下
の部分文字列の種類の総数である。
【００２０】図３は文字列選別部１４の処理を示すフロ
ーチャートである。まず、全てのＮグラム重要度テーブ
ル１８を合併し、部分文字列を重要度の高い順に並べか
え、文字列重要度テーブル１３に記録する（ステップ３
１）。次に、文字列重要度テーブル１３に記録された部
分文字列を重要度の高いものから順にキーワード候補と
して抽出する（ステップ３２）。そして抽出した部分文
字列がキーワード候補テーブル１５にすでに記録されて
いる文字列の部分文字列になっていなければ、抽出した
文字列をキーワード候補テーブル１５に記録する（ステ
ップ３５）。文字列重要度テーブル１３にある全ての文
字列について以上の操作を繰り返す。
ーチャートである。まず、全てのＮグラム重要度テーブ
ル１８を合併し、部分文字列を重要度の高い順に並べか
え、文字列重要度テーブル１３に記録する（ステップ３
１）。次に、文字列重要度テーブル１３に記録された部
分文字列を重要度の高いものから順にキーワード候補と
して抽出する（ステップ３２）。そして抽出した部分文
字列がキーワード候補テーブル１５にすでに記録されて
いる文字列の部分文字列になっていなければ、抽出した
文字列をキーワード候補テーブル１５に記録する（ステ
ップ３５）。文字列重要度テーブル１３にある全ての文
字列について以上の操作を繰り返す。
【００２１】こうしてキーワード候補テーブル１５に記
録された文字列がその重要度の高いものから順に選択部
分におけるキーワード候補となっている。
録された文字列がその重要度の高いものから順に選択部
分におけるキーワード候補となっている。
【００２２】次の文章は文書ファイル１０に記録されて
いる文書の第１の例である。 「核融合炉の開発は着実に進展している それは巨額の開発資金を要するので 開発に関する議論が重要である 本研究は核融合炉実用化を評価するため 実用炉の費用を計算する解析コードを作成した 費用の解析にはデータベースを取り入れた 本コードの試算によってアスペスト比が３程度の場合経
済的には 成立し難いことがわかった」 次は文字列テーブル１６の内容である。 「核融合炉の開発は着実に進展している 融合炉の開発は着実に進展している 合炉の開発は着実に進展している 炉の開発は着実に進展している の開発は着実に進展している 開発は着実に進展している 発は着実に進展している は着実に進展している 着実に進展している 実に進展している に進展している 進展している 展している している ている いる る それは巨額の開発資金を要するので れは巨額の開発資金を要するので （略） し難いことがわかった 難いことがわかった いことがわかった ことがわかった とがわかった がわかった わかった かった った た」 次はＮグラムテーブル１７（ｎ＝３の場合）の内容の一
部である。 「の解析 ０ の開発 １ の試算 ０ の場合 ０ の費用 ０ アスペ ０ コード １ スを取 ０ 開発資 ０ 核融合 １ 額の開 ０ 本研究 ０ 融合炉 １ 用の解 ０ 用を計 ０」 表１は文字列長別の文字列の種類の数を示している。
いる文書の第１の例である。 「核融合炉の開発は着実に進展している それは巨額の開発資金を要するので 開発に関する議論が重要である 本研究は核融合炉実用化を評価するため 実用炉の費用を計算する解析コードを作成した 費用の解析にはデータベースを取り入れた 本コードの試算によってアスペスト比が３程度の場合経
済的には 成立し難いことがわかった」 次は文字列テーブル１６の内容である。 「核融合炉の開発は着実に進展している 融合炉の開発は着実に進展している 合炉の開発は着実に進展している 炉の開発は着実に進展している の開発は着実に進展している 開発は着実に進展している 発は着実に進展している は着実に進展している 着実に進展している 実に進展している に進展している 進展している 展している している ている いる る それは巨額の開発資金を要するので れは巨額の開発資金を要するので （略） し難いことがわかった 難いことがわかった いことがわかった ことがわかった とがわかった がわかった わかった かった った た」 次はＮグラムテーブル１７（ｎ＝３の場合）の内容の一
部である。 「の解析 ０ の開発 １ の試算 ０ の場合 ０ の費用 ０ アスペ ０ コード １ スを取 ０ 開発資 ０ 核融合 １ 額の開 ０ 本研究 ０ 融合炉 １ 用の解 ０ 用を計 ０」 表１は文字列長別の文字列の種類の数を示している。
【００２３】
【表１】 次はｎグラム重要度テーブル１８の内容の一部（ｎ＝
３）である。
３）である。
【００２４】「の解析 ０ の開発 ３２９ の試算 ０ の場合 ０ の費用 ０ アスペ ０ コード ３２９ スを取 ０ 開発資 ０ 核融合 ３２９ 額の開 ０ 本研究 ０ 融合炉 ３２９ 用の解 ０ 用を計 ０」 次はｎグラム重要度テーブル１８を合併し重要度で文字
列をソート（０は除外）した文字列重要度テーブル１３
の内容の一部である。 「６０３ する ４６８ の ４５３ 核融合炉 ４０２ 開発 ３９０ る ３２９ 融合炉 ３２９ 核融合 ３２９ コード ３２９ の開発 ３１２ を ３１２ は ３１２ に ２３４ 用 ２３４ た ２３４ す ２３４ ー ２０１ 炉の ２０１ 融合 ２０１ 費用 ２０１ 実用 ２０１ 合炉 ２０１ 核融 ２０１ 解析 ２０１ コー ２０１ の開 ２０１ には ２０１ ード （以下略）」 次はキーワード候補テーブル１５の内容の一部である。 「する ６０３ の ４６８ 核融合炉 ４５３ 開発 ４０２ コード ３２９ の開発 ３２９ を ３１２ は ３１２ に ３１２ 用 ２３４ た ２３４ 炉の ２０１ 費用 ２０１ 実用 ２０１ 解析 ２０１ には ２０１ ス １５６ し １５６ が １５６ 要 ７８ 本 ７８ 成 ７８ 算 ７８ れ ７８ で ７８ て ７８ っ ７８ い ７８」 次の文章は文書ファイル１０に記録されている文書の第
２の例である。 「赤字を出してほめられた「日本の銀行」のウラ事情 銀行というのは奇妙な世界に見えるだろう。太郎銀行が
今３月期で８００億円もの不良積権を償却し、経常利益
が２８００億円の赤字になることを発表した。普通なら
赤字決算は評判の悪いものだが、ＡＡ省、ＢＢは高く高
く”評価”したし、株価は１日で２７０円もはね上がっ
た。赤字を出してほめられるのだから、ほめられる方も
こそばゆいだろうが、世間の人が「なぜだ！！」と思う
のもムリはない。
列をソート（０は除外）した文字列重要度テーブル１３
の内容の一部である。 「６０３ する ４６８ の ４５３ 核融合炉 ４０２ 開発 ３９０ る ３２９ 融合炉 ３２９ 核融合 ３２９ コード ３２９ の開発 ３１２ を ３１２ は ３１２ に ２３４ 用 ２３４ た ２３４ す ２３４ ー ２０１ 炉の ２０１ 融合 ２０１ 費用 ２０１ 実用 ２０１ 合炉 ２０１ 核融 ２０１ 解析 ２０１ コー ２０１ の開 ２０１ には ２０１ ード （以下略）」 次はキーワード候補テーブル１５の内容の一部である。 「する ６０３ の ４６８ 核融合炉 ４５３ 開発 ４０２ コード ３２９ の開発 ３２９ を ３１２ は ３１２ に ３１２ 用 ２３４ た ２３４ 炉の ２０１ 費用 ２０１ 実用 ２０１ 解析 ２０１ には ２０１ ス １５６ し １５６ が １５６ 要 ７８ 本 ７８ 成 ７８ 算 ７８ れ ７８ で ７８ て ７８ っ ７８ い ７８」 次の文章は文書ファイル１０に記録されている文書の第
２の例である。 「赤字を出してほめられた「日本の銀行」のウラ事情 銀行というのは奇妙な世界に見えるだろう。太郎銀行が
今３月期で８００億円もの不良積権を償却し、経常利益
が２８００億円の赤字になることを発表した。普通なら
赤字決算は評判の悪いものだが、ＡＡ省、ＢＢは高く高
く”評価”したし、株価は１日で２７０円もはね上がっ
た。赤字を出してほめられるのだから、ほめられる方も
こそばゆいだろうが、世間の人が「なぜだ！！」と思う
のもムリはない。
【００２５】さよう、銀行ならではの事情があったので
ある。
ある。
【００２６】民間の株式会社は業績が悪くなったり、不
良債権を抱え込めば赤字決算になるのは当り前だが、銀
行はＡＡ省が認めてくれなければ赤字にできないのであ
る。昨年の決算で不良債権を大量に抱えた某銀行の決算
が問題になった。ＢＢの関係者の中には赤字にすべきだ
という意見もあったが、ＡＡ省は「ノー」。ＡＡ省は信
用不安に火がつくことを極度に警戒するし、銀行もイメ
ージを損なうことを嫌うからだ。何のことはない。粉飾
とまではいわないが、合法的な操作で何とか利益を出し
て辻褄を合わせることを指導しているようなものだ。
良債権を抱え込めば赤字決算になるのは当り前だが、銀
行はＡＡ省が認めてくれなければ赤字にできないのであ
る。昨年の決算で不良債権を大量に抱えた某銀行の決算
が問題になった。ＢＢの関係者の中には赤字にすべきだ
という意見もあったが、ＡＡ省は「ノー」。ＡＡ省は信
用不安に火がつくことを極度に警戒するし、銀行もイメ
ージを損なうことを嫌うからだ。何のことはない。粉飾
とまではいわないが、合法的な操作で何とか利益を出し
て辻褄を合わせることを指導しているようなものだ。
【００２７】ところが長引く株価低迷でもうこの手が使
えない。不良債権は次々と表面化して増えてくる。太郎
銀行は８０００億を一気に償却したとほめられているが
全部なくなるわけではない。
えない。不良債権は次々と表面化して増えてくる。太郎
銀行は８０００億を一気に償却したとほめられているが
全部なくなるわけではない。
【００２８】ＡＡ省もかつて収益力ナンバーワンの太郎
銀行が踏み切るならば世間も納得し、信用不安になるま
いという読みがある。後に赤字決算の銀行が続きやす
い。一方、太郎銀行は単純な赤字決算と違う。８０００
億円も一度に償却し、積立金を崩して赤字を埋められる
のは体力のあることを天下にしめすもの。追随できるな
らやってご覧という自負もある。
銀行が踏み切るならば世間も納得し、信用不安になるま
いという読みがある。後に赤字決算の銀行が続きやす
い。一方、太郎銀行は単純な赤字決算と違う。８０００
億円も一度に償却し、積立金を崩して赤字を埋められる
のは体力のあることを天下にしめすもの。追随できるな
らやってご覧という自負もある。
【００２９】かくてＡＡ省と太郎銀行の思惑は一致した
のである。」 表２は上記文書例中の文字列の出現頻度の一部を示して
いる
のである。」 表２は上記文書例中の文字列の出現頻度の一部を示して
いる
【００３０】
【表２】 表３は上記文書例中の文字列長別の文字列の種類の数の
一部を示している。
一部を示している。
【００３１】
【表３】 表４は上記文書例中の文字列を重要度の高い順にソート
したときの上位文字列を示している。
したときの上位文字列を示している。
【００３２】
【表４】 表５は上記文書例からキーワード候補の文字列の一部を
重要度とともに示したものである。
重要度とともに示したものである。
【００３３】
【表５】
【００３４】
【発明の効果】以上説明したように本発明によれば、与
えられた文書とその選択部分を自動的に解析し、キーワ
ード候補の抽出をすることによって、あらかじめ人手に
より辞書を作成する労力を大幅に削減できる。
えられた文書とその選択部分を自動的に解析し、キーワ
ード候補の抽出をすることによって、あらかじめ人手に
より辞書を作成する労力を大幅に削減できる。
【００３５】また、本発明は、未知語などの辞書や構文
などのルール等、与えられる文章以外の情報を一切使用
しないため、静的にはプログラムおよびデータサイズが
非常に小さくて済み、動的には情報処理における辞書検
索やルール適用などの複雑かつ重い処理が不要であるの
で、メインフレームはもちろん、パソコンなどプロセッ
サ処理能力に制限がある環境下においても、十分な機能
および処理速度を発揮できる。
などのルール等、与えられる文章以外の情報を一切使用
しないため、静的にはプログラムおよびデータサイズが
非常に小さくて済み、動的には情報処理における辞書検
索やルール適用などの複雑かつ重い処理が不要であるの
で、メインフレームはもちろん、パソコンなどプロセッ
サ処理能力に制限がある環境下においても、十分な機能
および処理速度を発揮できる。
【００３６】また、本発明を、例えば実施例に示したよ
うな時事刻々流れるニュース記事などに適用するとき、
事前の辞書登録やルール教示などを一切必要としないた
め、初めて遭遇する未知語が含まれており、かつそれが
内容上重要であるような場合にも、内容の分野の如何に
かかわらず、その未知語をキーワード候補として捕捉で
きるという、応用上の顕著な利点がある。
うな時事刻々流れるニュース記事などに適用するとき、
事前の辞書登録やルール教示などを一切必要としないた
め、初めて遭遇する未知語が含まれており、かつそれが
内容上重要であるような場合にも、内容の分野の如何に
かかわらず、その未知語をキーワード候補として捕捉で
きるという、応用上の顕著な利点がある。
【００３７】さらに、本発明を、全国紙新聞記事１年分
のように、各分野の内容がまんべんなく出現するよう
な、十分大規模な文章群に対して適用すれば、得られた
キーワード候補は特定の専門分野に偏らない性格を持つ
ため、簡便な「一般語群抽出方法または装置」として利
用でき、得られた一般語群は、例えば専門分野の文献の
キーワードから一般語を除外するために有効に利用でき
ることは明らかである。
のように、各分野の内容がまんべんなく出現するよう
な、十分大規模な文章群に対して適用すれば、得られた
キーワード候補は特定の専門分野に偏らない性格を持つ
ため、簡便な「一般語群抽出方法または装置」として利
用でき、得られた一般語群は、例えば専門分野の文献の
キーワードから一般語を除外するために有効に利用でき
ることは明らかである。
【図１】本発明の一実施例のキーワード自動抽出装置の
ブロック図である。
ブロック図である。
【図２】Ｎグラム頻度情報計算部１１と文字列重要度計
算部１２の処理を示すフローチャートである。
算部１２の処理を示すフローチャートである。
【図３】文字列選別部１４の処理を示すフローチャート
である。
である。
１０ 文書ファイル １１ Ｎグラム頻度情報計算部 １２ 文字列重要度計算部 １３ 文字列重要度テーブル １４ 文字列選別部 １５ キーワード候補テーブル １６ 文字列テーブル １７ ｎグラムテーブル １８ ｎグラム重要度テーブル ２１〜２５，３１〜３５ ステップ
Claims (10)
- 【請求項１】 与えられた文章に対してＮグラムを求め
る処理と、求められる文字列の重要度を計算する処理
と、求められた文字列から無意味な文字列を排除する処
理とを施すことにより、前記与えられた文章のキーワー
ド候補を抽出するキーワード自動抽出方法。 - 【請求項２】 前記文字列の重要度を計算する処理が、
前記Ｎグラムを求める処理により求められた文字列の出
現頻度と、実際に出現した文字列の種類の総数によっ
て、当該文字列の出現頻度を正規化することにより、文
字列の重要度を算出するものである、請求項１記載のキ
ーワード自動抽出方法。 - 【請求項３】 前記無意味な文字列を排除する処理が、
重要度が求められた文字列を順次調べ、当該文字列より
重要度が小さく、かつ当該文字列の部分文字列となって
いる文字列をキーワード候補から除外することにより、
無意味な文字列を排除するものである、請求項１または
２記載のキーワード自動抽出方法。 - 【請求項４】 前記文字列の出現頻度の正規化が、与え
られた文書から長さがｎ（ｎは所定の自然数）までの文
字列を抽出し、重複を排除して、その出現頻度とともに
テーブルに登録するステップと、前記テーブルから、文
字列の長さ別の種類を計数するステップと、長さがｎま
での各文字列において、各当該文字列の長さ以下の長さ
の文字列の種類の総数と、文字列の出現頻度を乗じるこ
とで、各文字列の重要度を計算するステップにより実現
される、請求項２記載のキーワード自動抽出方法。 - 【請求項５】 前記無意味な文字列を排除する処理が、
長さが１からｎ（ｎは所定の自然数）までの各長さの文
字列とその重要度を登録したｎ個のテーブルを結合する
ステップと、該テーブルの文字列を重要度の順にソート
するステップと、ソートしたテーブルから文字列を逐次
読み出し、該文字列が他の文字列の部分としてキーワー
ド候補テーブル上に登録されているか否かを検査するス
テップと、該文字列が他の文字列の部分として前記キー
ワード候補テーブル上に登録されていた場合には、該文
字列を前記キーワード候補テーブルに登録しないステッ
プにより実現される、請求項３記載のキーワード自動抽
出方法。 - 【請求項６】 与えられた文章に対して、Ｎグラムを得
る手段と、求められる文字列の重要度を計算する手段
と、求められた文字列から無意味な文字列を排除する手
段とを有するキーワード自動抽出装置。 - 【請求項７】 前記重要度を計算する手段が、前記Ｎグ
ラムを得る手段により求められた文字列の出現頻度と、
実際に出現した文字列の種類の総数によって、当該文字
列の出現頻度を正規化するものである、請求項６記載の
キーワード自動抽出装置。 - 【請求項８】 前記無意味な文字列を排除する手段が、
重要度が求められた文字列を順次求め、当該文字列より
重要度が小さく、かつ当該文字列の部分文字列となって
いる文字列をキーワード候補から除外するものである、
請求項６または７記載のキーワード自動抽出装置。 - 【請求項９】 前記文字列の出現頻度の正規化が、与え
られた文書から長さがｎ（ｎは所定の自然数）までの文
字列を抽出し、重複を排除して、その出現頻度とともに
テーブルに登録するステップと、前記テーブルから、文
字列の長さ別の種類を計数するステップと、長さがｎま
での各文字列において、各当該文字列の長さ以下の長さ
の文字列の種類の総数と、文字列の出現頻度を乗じるこ
とで、各文字列の重要度を計算するステップにより実現
される、請求項７記載のキーワード自動抽出装置。 - 【請求項１０】 前記無意味な文字列を排除する処理
が、長さが１からｎ（ｎは所定の自然数）までの各長さ
の文字列とその重要度を登録したｎ個のテーブルを結合
するステップと、該テーブルの文字列を重要度の順にソ
ートするステップと、ソートしたテーブルから文字列を
逐次読み出し、該文字列が他の文字列の部分としてキー
ワード候補テーブル上に登録されているか否かを検査す
るステップと、該文字列が他の文字列の部分として前記
キーワード候補テーブル上に登録されていた場合には、
該文字列を前記キーワード候補テーブルに登録しないス
テップにより実現される、請求項８記載のキーワード自
動抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12652495A JP3416918B2 (ja) | 1995-05-25 | 1995-05-25 | キーワード自動抽出方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12652495A JP3416918B2 (ja) | 1995-05-25 | 1995-05-25 | キーワード自動抽出方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08320873A true JPH08320873A (ja) | 1996-12-03 |
| JP3416918B2 JP3416918B2 (ja) | 2003-06-16 |
Family
ID=14937345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12652495A Expired - Fee Related JP3416918B2 (ja) | 1995-05-25 | 1995-05-25 | キーワード自動抽出方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3416918B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11338883A (ja) * | 1998-05-29 | 1999-12-10 | Hitachi Ltd | 特徴文字列抽出方法および装置とこれを用いた類似文書検索方法および装置並びに特徴文字列抽出プログラムを格納した記憶媒体および類似文書検索プログラムを格納した記憶媒体 |
| WO2010024116A1 (ja) * | 2008-08-26 | 2010-03-04 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 公開された検索エンジンを用いた検索装置、検索方法及び検索プログラム |
| JP2010182238A (ja) * | 2009-02-09 | 2010-08-19 | Nippon Telegr & Teleph Corp <Ntt> | 引用検出装置、原典文書データベース生成装置、その方法、プログラム及び記録媒体 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03135669A (ja) * | 1989-06-29 | 1991-06-10 | Tokyo Electric Power Co Inc:The | キーワード自動抽出システム |
| JPH06282572A (ja) * | 1993-03-29 | 1994-10-07 | Nec Corp | キーワード自動抽出装置 |
-
1995
- 1995-05-25 JP JP12652495A patent/JP3416918B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03135669A (ja) * | 1989-06-29 | 1991-06-10 | Tokyo Electric Power Co Inc:The | キーワード自動抽出システム |
| JPH06282572A (ja) * | 1993-03-29 | 1994-10-07 | Nec Corp | キーワード自動抽出装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11338883A (ja) * | 1998-05-29 | 1999-12-10 | Hitachi Ltd | 特徴文字列抽出方法および装置とこれを用いた類似文書検索方法および装置並びに特徴文字列抽出プログラムを格納した記憶媒体および類似文書検索プログラムを格納した記憶媒体 |
| US6473754B1 (en) | 1998-05-29 | 2002-10-29 | Hitachi, Ltd. | Method and system for extracting characteristic string, method and system for searching for relevant document using the same, storage medium for storing characteristic string extraction program, and storage medium for storing relevant document searching program |
| WO2010024116A1 (ja) * | 2008-08-26 | 2010-03-04 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 公開された検索エンジンを用いた検索装置、検索方法及び検索プログラム |
| JPWO2010024116A1 (ja) * | 2008-08-26 | 2012-01-26 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｓｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | 公開された検索エンジンを用いた検索装置、検索方法及び検索プログラム |
| US8150823B2 (en) | 2008-08-26 | 2012-04-03 | International Business Machines Corporation | Private searching on a public search engine |
| JP5306356B2 (ja) * | 2008-08-26 | 2013-10-02 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 公開された検索エンジンを用いた検索装置、検索方法及び検索プログラム |
| JP2010182238A (ja) * | 2009-02-09 | 2010-08-19 | Nippon Telegr & Teleph Corp <Ntt> | 引用検出装置、原典文書データベース生成装置、その方法、プログラム及び記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3416918B2 (ja) | 2003-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106649783B (zh) | 一种同义词挖掘方法和装置 | |
| US7197449B2 (en) | Method for extracting name entities and jargon terms using a suffix tree data structure | |
| Ushioda | Hierarchical clustering of words and application to NLP tasks | |
| CN113886604A (zh) | 一种职位知识图谱生成方法和系统 | |
| Singh et al. | Writing Style Change Detection on Multi-Author Documents. | |
| CN112668281B (zh) | 基于模板的语料自动化扩充方法、装置、设备及介质 | |
| Elbarougy et al. | A proposed natural language processing preprocessing procedures for enhancing arabic text summarization | |
| Begum et al. | Analysis of legal case document automated summarizer | |
| CN111680146A (zh) | 确定新词的方法、装置、电子设备及可读存储介质 | |
| Seon et al. | Named Entity Recognition using Machine Learning Methods and Pattern-Selection Rules. | |
| JP4361299B2 (ja) | 評価表現抽出装置、プログラム、及び記憶媒体 | |
| JP3123836B2 (ja) | テキスト型データベース装置 | |
| JP3416918B2 (ja) | キーワード自動抽出方法および装置 | |
| Jabbar et al. | A comparative review of Urdu stemmers: Approaches and challenges | |
| Patel et al. | Influence of Gujarati STEmmeR in supervised learning of web page categorization | |
| Vaishali Kadam et al. | Design and development of marathi word stemmer | |
| Maheswari et al. | Rule based morphological variation removable stemming algorithm | |
| CN109727591B (zh) | 一种语音搜索的方法及装置 | |
| Arora et al. | Jambu: A historical linguistic database for South Asian languages | |
| CN113158693A (zh) | 基于汉语关键词的维吾尔语关键词生成方法、装置、电子设备及存储介质 | |
| Seresangtakul et al. | Thai-Isarn dialect parallel corpus construction for machine translation | |
| Vo et al. | VietSentiLex: a sentiment dictionary that considers the polarity of ambiguous sentiment words | |
| Saroj et al. | Rule based Event Extraction System from Newswires and Social Media Text in Indian Languages (EventXtract-IL) for English and Hindi Data. | |
| CN111538805A (zh) | 一种基于深度学习和规则引擎的文本信息抽取方法及系统 | |
| JP7312841B2 (ja) | 法律分析装置、及び法律分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |