JP4222811B2 - キーワード抽出装置並びにプログラムおよび記録媒体 - Google Patents
キーワード抽出装置並びにプログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP4222811B2 JP4222811B2 JP2002315397A JP2002315397A JP4222811B2 JP 4222811 B2 JP4222811 B2 JP 4222811B2 JP 2002315397 A JP2002315397 A JP 2002315397A JP 2002315397 A JP2002315397 A JP 2002315397A JP 4222811 B2 JP4222811 B2 JP 4222811B2
- Authority
- JP
- Japan
- Prior art keywords
- keyword
- word
- candidate
- words
- constituent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、キーワード抽出装置並びにプログラムおよび記録媒体に関し、具体的には、短単位の単語だけではなく、複合名詞や複合名詞句のような長い単位のキーワード抽出に関し、文書検索装置や文書登録装置等に応用して好適である。
【０００２】
【従来の技術】
文書中からキーワードを抽出することは、キーワードを検索や分類のために文書の情報として付与したり、文書検索結果の一覧表示で文書の内容を簡潔に表現する補助情報として表示する際に必要となる重要な技術である。
【０００３】
通常、文書中からキーワードを抽出するためには、形態素解析技術により、単語分割し品詞付けを行い、そのうちの特定の品詞（特に名詞）の単語についてそのキーワードとするか否かを評価する。
これは、対象分野での専門用語や単語のキーワード性（特許文献１参照）に基づき判定する。また、複合語であれば、それを構成する単語のキーワード性や複合語構成上の役割といった情報を用意し、それらに基づき判定する（非特許文献１参照）。
しかしながら、こうした判定に用いるキーワードに関する情報を事前に辞書等に用意しておくことを前提としているが、これらを設定・保守することは容易ではない。
【０００４】
そこで、こうしたキーワードのための情報を必要とせずに、キーワード候補を文字種により判別したり（特許文献２参照）、単語の長さとその使用頻度に基づいてキーワード性を計算する抽出装置が提案されている（特許文献３参照）。
しかしながら、キーワード候補の評価に、特許文献２および特許文献３で行っているような単語の出現頻度を考慮する場合、短単位の単語ベースのキーワードならよいが、複合名詞等をベースにするキーワードの場合は、同一のキーワード候補単語については、出現頻度に反映されるが、同一の構成単語を含んでいる関連単語の場合は、同一視されず、それぞれの出現頻度には反映されない。
【０００５】
また、単語の文書内頻度（Ｔｆ：ＴｅｒｍＦｒｅｑｕｅｎｃｙ）と対象文書データベース中での単語の出現文書数（Ｄｆ：ＤｏｃｕｍｅｎｔＦｒｅｑｕｅｎｃｙ）の逆数（Ｉｄｆ：Ｉｎｖｅｒｔｅｄ ＤＦ）の積をキーワード指標とするＴｆ＊Ｉｄｆ法が知られている（非特許文献２参照）。
これは、キーワードのための情報を必要としない方法であるが、対象データベースがあらかじめ定まっている必要があり、可能性のあるキーワード候補について事前に統計処理を必要とする問題とともに、出現頻度についても、上述の問題がある。
【０００６】
また、上記のキーワードのための事前の情報や統計情報の取得の問題を回避し、また出現頻度に関わる問題を解決するために、特許文献４の「キーワード抽出装置」は、単語の複合度あるいは類似単語を出現頻度に反映した疑似出現頻度を用いて、キーワード候補の評価を改善し、また、単語長から単語複合度、重複文字列の割合から疑似出現頻度を簡易に得る方法である。
【０００７】
さらに、特許文献５の「キーワード抽出装置及びキーワード表示装置」は、疑似出現頻度を取得する場合、文書内でキーワード候補同士の組合せ数の計算で、計算量が多くなってしまうのを改善するために、文書内での文字単位の出現頻度により少ない計算量で誤字出現頻度を計算する方法である。
【０００８】
【特許文献１】
特開昭６２−２８７３３７号公報
【非特許文献１】
小川 他「短単位キーワードに基づくテキストデータベース装置」、情報処理学会、データベース研究会９０−６， １９９２
【特許文献２】
特開平１−０２８７７０号公報
【特許文献３】
特開昭６３−２４４２５９号公報
【非特許文献２】
長尾真、佐藤理史編「岩波講座ソフトウェア科学 １５ 自然言語処理，岩波書店、１９９６．４．２６， ｐ．４１１−４２１
【特許文献４】
特開平８−９５９８２号公報
【特許文献５】
特開平９−３１１８７１号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、特許文献４の技術は、文字列の重複検査の計算量の問題があり、一方、特許文献５では、文字の出現頻度に基づく処理のため、キーワード候補と無関係な同一の文字が用いられている場合、統計に雑音が多く混入する問題がある。
また、特許文献４や特許文献５では、文字や文字列に意味がある日本語の複合語に効果がある方法であったが、英語などのアルファベットを用いた言語の単語に対しては有効でない。
【００１０】
本発明は、上述の実情を考慮してなされたものであって、キーワードのための事前の情報や統計情報の取得の問題を回避し、また出現頻度に関わる問題を単語レベルでの処理により上記の問題を回避するキーワード抽出装置並びにプログラムおよび記録媒体を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記の課題を解決するために、本発明の請求項１のキーワード抽出装置は、電子化された文書を単語に分割して品詞を付与する単語解析部と、キーワードの候補として抽出すべきパターンを記述したキーワード候補抽出規則と、前記単語解析部により解析された解析結果をもとに、前記キーワード候補抽出規則によりキーワード候補を抽出するキーワード候補抽出部と、前記キーワード候補の構成単語に基づいて評価するキーワード候補評価部と、前記キーワード候補評価部が評価した結果に基づいて前記キーワード候補からキーワードを抽出するキーワード抽出部とを備え、
前記キーワード候補評価部は、前記キーワード候補に対し、
（１）このキーワード候補の構成単語数あるいはこの構成単語数に応じた値、
および、
（２）このキーワード候補の構成単語ごとの当該電子化文書内における出現頻度に基づく修正単語頻度、
の双方の重み付き線形和あるいは積の値によって評価する
ことを特徴とする。
【００１８】
また、本発明の請求項２は、請求項１に記載のキーワード抽出装置において、前記修正単語頻度は、前記キーワード候補に対し、このキーワード候補の構成単語ごとの頻度数の総和をこのキーワード候補の構成単語数で除した値とすることを特徴とする。
【００１９】
また、本発明の請求項３は、請求項１または２に記載のキーワード抽出装置において、前記構成単語数に応じた値は、構成単語数の対数値であることを特徴とする。
【００２１】
また、本発明の請求項４は、請求項１乃至３のいずれかに記載のキーワード抽出装置において、前記キーワード抽出部が抽出したキーワードのうち、同一の構成単語を含むキーワード同士を組にして出力するキーワード出力部を備えることを特徴とする。
【００２３】
また、本発明の請求項５のプログラムは、コンピュータを用いて、文書データからキーワードを抽出するためのプログラムであって、前記コンピュータを、請求項１乃至４のいずれかに記載のキーワード抽出装置の各部として機能させるためのプログラムである。
また、本発明の請求項６の記録媒体は、請求項５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００２４】
以上の構成により、複合名詞や「の」や「ｏｆ」で結ばれた複合名詞句のレベルでキーワード抽出を行う場合、キーワード候補を構成する単語（構成単語）に着目することにより、事前にキーワードのための情報を用意したり、統計処理を行うことなくキーワード評価が可能になる。
また、英語のような変化のある単語をその基本形で構成単語を見ることにより、適切な頻度集計ができるので、より適切なキーワード評価が可能になる。
また、構成単語を扱う場合、キーワード評価に影響を与える品詞、あるいは影響を与えない品詞や単語を別途用意することで、内容語を優先したり、「の」や「ｏｆ」などの機能語を無視することで、より適切なキーワード評価が可能になる。
また、構成単語数の代わりに構成単語数の対数をとってキーワード候補の評価値を計算することによって、構成単語数が多いキーワード候補の過剰な評価を回避することが可能になる。
また、キーワード候補のその構成単語のすべてが、他のキーワード候補の構成単語に含まれている場合には、キーワードとしては抽出しないようにすることによって、キーワード集合の冗長性を排除することが可能になる。
【００２５】
【発明の実施の形態】
以下、図面を参照して本発明に係る好適な実施形態を説明する。
図１は、本発明のキーワード抽出装置が適用されるキーワード抽出システムの全体構成を示すブロック図であり、同図に示すように、キーワード抽出システムは、複数の電子化された文書データを保持する文書データベース１０と、キーボード、マウス、タッチパネル等により構成されて文書データベース１０中の文書名を指定する入力装置２０と、入力装置２０によって指定された文書名の電子化文書データを文書データベース１０から読み込む文書入力装置３０と、この読み込まれた文書データからキーワードを抽出する本発明に係るキーワード抽出装置４０と、抽出されたキーワードに関する情報をディスプレイやプリンタあるいはネットワークに接続した他の装置へ出力する出力装置５０とを含んでいる。
【００２６】
＜実施形態１＞
図２は、本発明のキーワード抽出装置４０に係る実施形態の機能構成を示すブロック図であり、キーワード抽出装置４０は、単語解析部４１、単語辞書４２、キーワード候補抽出部４３、キーワード候補抽出規則４４、キーワード候補評価部４５、キーワード抽出部４６とから構成される。
【００２７】
単語解析部４１は、文書データベース１０に記憶されたキーワード抽出装置４０の入力対象となる文書データを文書入力装置３０から渡され、品詞情報や基本形情報をもった単語辞書４２を参照し、対象となる文書データの文ごとに単語に分割し、品詞を付与し、また必要に応じて単語の基本形を解析して、単語単位の解析結果を出力する。
この単語解析部４１は、従来技術の形態素解析技術によって実現される。
【００２８】
例えば、図３に示す日本語文書の第４文（本文の先頭文）を単語解析部４１で処理した結果は、図４に示すような単語に分割される。
図４において、「基本形」とは、日本語では、活用しない単語はその単語そのもの、活用する単語はその終止形である。以降の説明では、活用しない単語の基本形は、単語そのものと同じであるから図中では省略している。
また、英語のような変化のある単語の場合は、適切な頻度集計ができないため、その基本形を用いることでより適切な評価が行えるようになる。
例えば、Ｃｏｍｐｕｔｅｒｓという単語が対象文書中に出てきた場合には、その基本形（Ｃｏｍｐｕｔｅｒ）を単語辞書から取り出すようにする。
【００２９】
キーワード候補抽出部４３は、単語解析部４１の結果をもとに、抽出するべきキーワード候補の単語のパターン
（構成）に関する規則（キーワード候補抽出規則４４）に従いキーワード候補を抽出する。
キーワード候補抽出規則４４は、例えば、図５に示したように、リーフノードが品詞名である書換え規則として、下記の記法のもとで記述してある。
【００３０】
Ｘ＋Ｙ ：ＸとＹがこの順序で並んでいる
（Ｘ｜Ｙ｜Ｚ） ：ＸかＹかＺ
｛Ｘ｝． ：Ｘが省略されるか、Ｘが１つ存在する
｛Ｘ｝＊ ：Ｘの０以上の繰り返し
｛Ｘ｝＋ ：Ｘの１以上の繰り返し
【００３１】
図５に例示した規則では、キーワード候補として次の２種類を定義している。（１）キーワード候補Ａは、前／後に接頭辞／接尾辞の付加を許す名詞類の１つ以上の並びあるいはその複合の並びであり、単独の名詞あるいは名詞連続の複合名詞がキーワード候補となる。
（２）キーワード候補Ｂは、上記のキーワード候補Ａの複合名詞が格助詞「の」で連結された並びであり、「の」で連結された名詞句がキーワード候補となる。
【００３２】
この図５の規則によれば、図３の第４文からは、図６に示すキーワード候補が抽出される。ここで、抽出された各キーワード候補には、図７に示すように、各キーワード候補を構成する単語と品詞および基本形の情報が付加されている。
【００３３】
キーワード候補の抽出方法は、上述のようなキーワード候補抽出規則を使用するものに限定はされず、従来技術によって構成されてもよい。
また、単語解析部４１とキーワード候補抽出部４３とは、対象文書全体の単語解析結果を得てからキーワード候補を抽出するようにしてもよいし、あるいは、１文ごとに単語解析結果を得て、その文についてのキーワード候補を抽出することを全文の処理が終わるまで繰り返すようにしてもよい。
【００３４】
キーワード候補評価部４５は、キーワード候補抽出部４３により抽出されたキーワード候補について、その構成単語に基づいてキーワード候補の評価を行う。
ここで、キーワード候補中の構成単語に英語のような変化のある単語が含まれている場合は、その単語の基本形に替えて頻度を収集するようにして、適切な頻度集計ができ、より適切なキーワード評価が可能となる。
この評価は、例えば、キーワード候補Ｋｊについて、次のような評価値Ｅ（Ｋｊ）によって行う。
【００３５】
Ｅ（Ｋｊ）＝Ｆ（Ａ（ＷＮｊ），Ｂ（Ｗｆｊ））
ここで、ＷＮｊ：キーワード候補Ｋｊの構成単語数
Ｗｆｊ：キーワード候補Ｋｊの修正単語頻度
また、この修正単語頻度Ｗｆｊは次のようにして求める。
Ｗｆｊ＝Ｓｆｊ／ＷＮｊ
ここで、Ｓｆｊ：キーワード候補Ｋｊの構成単語ごとの頻度の総和
【００３６】
例えば、上記の関数Ｆは次のいずれとしてもよい。
Ｅ（Ｋｊ）＝ａ＊Ａ（ＷＮｊ）＋ｂ＊Ｂ（Ｗｆｊ）
あるいは、
Ｅ（Ｋｊ）＝Ａ（ＷＮｊ）＊Ｂ（Ｗｆｊ）
【００３７】
上記の式で、ａおよびｂは重み係数であり、Ａ（Ｘ）およびＢ（Ｘ）はＸをパラメータとする関数であり、例えば、上記第１の式で、ａ＝ｂ＝１、Ａ（Ｘ）＝Ｘ、Ｂ（Ｘ）＝Ｘとすると、
Ｅ（Ｋｊ）＝ＷＮｊ＋Ｗｆｊ
であり、以下の説明では、この評価式を使用することにする。
【００３８】
さらに、上記の第１の式で、ａ＝ｂ＝１、Ａ（Ｘ）＝ｌｏｇ（Ｘ）、Ｂ（Ｘ）＝Ｘとすると、
Ｅ（Ｋｊ）＝ｌｏｇ（ＷＮｊ）＋Ｗｆｊ
であり、また、上記第２の式で、ａ＝１、Ａ（Ｘ）＝ｌｏｇ（Ｘ）、Ｂ（Ｘ）＝Ｘとすると、
Ｅ（Ｋｊ）＝ｌｏｇ（ＷＮｊ）＊Ｗｆｊ
という評価式が使用できる。
【００３９】
図８のフローチャートをもとに、キーワード候補評価部４５の処理手順について詳細に説明する。
まず、単語解析部４１で解析された単語に対して、単語ごとの頻度を集計した単語表を作成して記憶装置等に格納する（ステップＳ１）。
単語解析部４１で図４のように分割された第４文に関する単語表は、図９に示したようになる。尚、以降で、この表を参照して、キーワード候補の構成単語ごとに頻度を求めるため、単語は辞書順にソートされている方がよい。
【００４０】
キーワード候補抽出部４３で抽出されたキーワード候補に関する表を作成して記憶装置等に格納する（ステップＳ２）。
このキーワード候補表は、キーワード候補抽出部４３で抽出の際に得られたキーワード候補Ｋｊごとに、単語構成、頻度、構成単語数ＷＮｊ、構成単語の総頻度Ｓｆｊ、修正単語頻度Ｗｆｊおよびキーワード評価値Ｅ（Ｋｊ）からなる情報を保持する。
また、キーワード候補は、単語表と同様に重複して現れることもあるので、同一のキーワード候補の重複は取り除き、頻度として計数して、表中に設定する。
さらに、キーワード候補の順序は、本説明では出現順とするが、これに特に限定するものではない。
【００４１】
図１０は、第４文中のキーワード候補の設定状態を抜き出した図で、単語構成の情報と頻度が設定されている。図中、単語構成に関する欄では、「｜」で単語の切れ目、「．」で接辞（接頭辞、接尾辞）の切れ目を表すものとする。
また、図中の第４文のキーワード候補では、「工業製品」が他に１回、「輸出規制」が他に２回出現しているので、頻度が各々２、３となっているが、他の頻度は１になっている。尚、「工業製品」と「輸出規制」は、各々第１文、第２文に現れているので、他のキーワード候補より先行して出ている。
【００４２】
以下のステップＳ３からＳ９までは、キーワード候補ごとに処理が行われる。
キーワード候補表から順次キーワード候補を取り出し、すべてのキーワード候補の処理が終われば（ステップＳ３の「なし」）、処理を終了する。
これにより、キーワード候補表のすべての欄が埋まり、すべてのキーワード候補の評価値が得られる。
【００４３】
キーワード候補表からキーワード候補を取り出せた場合（ステップＳ３の「あり」）、対象のキーワード候補の「構成単語数ＷＮｊ」欄と「構成単語総頻度Ｓｆｊ」欄を、以降の加算処理のためにゼロクリアする（ステップＳ４）。
例えば、図１１のキーワード候補「工業製品」の「構成単語数ＷＮｊ」欄と「構成単語総頻度Ｓｆｊ」欄がゼロに設定されている。
【００４４】
次のステップＳ５からＳ７までは、対象キーワード候補の構成単語ごとに処理が行われる。
キーワード候補の単語構成に示される構成単語について、順次構成単語Ｗｊｉを取り出し、すべての構成単語の処理が終われば（ステップＳ５の「なし」）、構成単語ごとの処理を終了し、対象キーワード候補の構成単語数と構成単語総頻度が得られるステップＳ８へ進む。
【００４５】
キーワード候補の単語構成に示される構成単語について、構成単語を取り出せた場合（ステップＳ５の「あり」）、その構成単語Ｗｊｉに対する「構成単語数ＷＮｊ」欄に１を加算する（ステップＳ６）。
例えば、単語構成の「工業｜製品」のうちの「工業」を取り出した場合、構成単語「工業」分として、「構成単語数ＷＮｊ」欄に１を加算する。
【００４６】
単語表を参照して、この構成単語Ｗｊｉの単語頻度を得て、「構成単語総頻度Ｓｆｊ」欄に加算し（ステップＳ７）、再び、ステップＳ５に戻る。
例えば、上記の単語構成の「工業｜製品」の場合には、構成単語「製品」を取り出し、「構成単語数ＷＮｊ」欄に１加算し、「製品」の単語頻度「２」を「構成単語総頻度Ｓｆｊ」欄に加算すると、キーワード候補表の「工業製品」は図１２のように設定される。
【００４７】
修正単語頻度Ｗｆｊを計算し、「修正単語頻度Ｗｆｊ」欄に設定する（ステップＳ８）。
この修正単語頻度Ｗｆｊは、例えば、「構成単語総頻度Ｓｆｊ」欄の値を「構成単語数ＷＮｊ」の値で除した値をとして計算する。
図１２のキーワード候補「工業製品」では、Ｓｆｊが「４」、ＷＮｊが「２」であるから、Ｗｆｊは４／２＝２となる。
【００４８】
最後に、キーワード候補の「評価値Ｅ（Ｋｊ）」を計算し、「評価値Ｅ（Ｋｊ）」欄に設定し（ステップＳ９）、再び、ステップＳ３に戻り、以降、順次キーワード候補を取り出しながら、全キーワード候補に対して、上記の処理を繰り返す。
このキーワード候補の「評価値Ｅ（Ｋｊ）」は、例えば、「構成単語数ＷＮｊ」と「修正単語頻度Ｗｆｊ」を加算した値として設定する。
【００４９】
上述した例のキーワード候補「工業製品」では、ＷＮｊが「２」、Ｗｆｊが「２」であるから、Ｅ（Ｋｊ）＝２＋２＝４となるので、「工業製品」に対するキーワード候補表は図１３のような設定になる。
さらに、第４文の最後のキーワード候補「日本」の処理が終わった時点でのキーワード候補表は図１４のようになり、また、全キーワード候補の処理が終わった時点でのキーワード候補表は図１５のようになる。
【００５０】
キーワード抽出部４６は、キーワード候補評価部４５により評価された結果に基づいて、評価値が高いキーワード候補ほどキーワード性が高いという仮定から、次のような基準でキーワード候補の中からキーワードを抽出する。
（１）評価値が上位Ｎのキーワード候補
（２）評価値がキーワード候補全体の上位Ｍ分の一のキーワード候補
（３）評価値がＡ以上のキーワード候補
【００５１】
例えば、上位１０位までを抽出基準とすると、図１６に示したようなキーワードを抽出できる（図１６では、同点があるので１１キーワードが抽出される）。
【００５２】
図１７のフローチャートを用いて、本実施形態１の処理手順を説明する。
まず、利用者あるいは利用アプリケーションが指示したキーワード抽出の対象文書について、品詞情報や基本形情報をもった単語辞書を参照し、対象となる文書の文ごとに単語に分割し、品詞を付与し、また必要に応じて単語の基本形を解析して、単語単位の解析結果を出力する（ステップＳ１１）。
例えば、図３の日本語文書の第４文（本文の先頭文）の単語解析処理した結果は図４のようになる。
【００５３】
ステップＳ１１の文書の単語解析処理の結果をもとに、抽出するべきキーワード候補の単語のパターン
（構成）に関する規則（例えば、図５に示すキーワード候補抽出規則）に従ってキーワード候補を抽出する（ステップＳ１２）。
図５の規則によれば、図３の第４文部分からは、図６のキーワード候補が抽出され、抽出された各キーワード候補には、図７のようにこれを構成する単語と品詞および基本形の情報が付加されている。
【００５４】
ステップＳ１２のキーワード候補抽出処理により抽出されたキーワード候補について、その構成単語に基づいてキーワード候補の評価を行う（ステップＳ１３）。
全キーワード候補の処理が終わった時点でのキーワードの評価値は図１５に示すように設定される。
【００５５】
この評価は、例えば、キーワード候補Ｋｊについて、次のような評価値Ｅ（Ｋｊ）を計算する。
Ｅ（Ｋｊ）＝Ｆ（Ａ（ＷＮｊ），Ｂ（Ｗｆｊ））
ここで、ＷＮｊ：Ｋｊの構成単語数
Ｗｆｊ：Ｋｊの修正単語頻度
【００５６】
この修正単語頻度Ｗｆｊは次のように求める。
Ｗｆｊ＝Ｓｆｊ／ＷＮｊ
ここで、Ｓｆｊ：Ｋｊの構成単語ごとの頻度の総和
【００５７】
例えば、これらの計算値から次のいずれかの式で評価値を求める。
Ｅ（Ｋｊ）＝ａ＊Ａ（ＷＮｊ）＋ｂ＊Ｂ（Ｗｆｊ）
または
Ｅ（Ｋｊ）＝Ａ（ＷＮｊ）＊Ｂ（Ｗｆｊ）
【００５８】
ステップＳ１３のキーワード候補評価処理により評価された結果に基づいてキーワード抽出を行う（ステップＳ１４）。
評価値が高いキーワード候補ほどキーワード性が高いので、いずれかを基準としてキーワードを抽出する。
（１）評価値が上位Ｎのキーワード候補
（２）評価値がキーワード候補全体の上位Ｍ分の一のキーワード候補
（３）評価値がＡ以上のキーワード候補
例えば、上位１０位までをキーワードとして抽出するとすると、図１６のようになる（同点があるので１１キーワード）。
【００５９】
＜実施形態２＞
上述の実施形態１では、キーワード候補のその構成単語のすべてが、他のキーワード候補の構成単語に含まれている場合であっても、キーワード候補をキーワードとして抽出していた。
本実施形態２では、キーワード候補のその構成単語のすべてが、他のキーワード候補の構成単語に含まれている場合には、キーワードとしては抽出しないようにする。これにより、キーワード集合の冗長性を排除することが可能になる。
【００６０】
このために、キーワード抽出部４６において、キーワード候補抽出部４３で記憶装置等に記憶したキーワード候補表中のキーワード候補について、その構成単語のすべてを含む他のキーワード候補があるか否かを検査し、ある場合は、キーワード候補表において無効の扱いをする。
この処理は、
・構成単語数の少ないキーワード候補から検査する
・自身の構成単語数より構成単語数が少ないキーワード候補は検査しない
等により処理の効率化ができる。
【００６１】
本実施形態２のキーワード抽出部４６によれば、図１５に示したキーワード候補のうち、
・「通常兵器」は、「通常兵器関連」に含まれているので無効とする。
・「規制」は、「輸出規制」に含まれているので無効とする。
・「対象」は、「規制対象」に含まれているので無効とする。
・「国」は、「３カ国」に含まれているので無効とする。
・「共産圏」は、「対共産圏輸出統制委員会」に含まれているので無効とする。
・「輸出」は、「輸出規制」に含まれているので無効とする。
【００６２】
これにより、上位１０位までをキーワードとして抽出すると、図１８に示すような結果になる（１１キーワード）。
【００６３】
＜実施形態３＞
上述の実施形態では、キーワード候補評価部４５で評価値を計算するために構成単語数を用いていたが、本実施形態３では構成単語数の代わりに構成単語数の対数値を用いて評価値を計算する。
図１５のキーワード候補表に対して、ｅを底とする自然対数として計算して評価値を求めた場合、図１９に示すように「評価値２」の欄を追加したキーワード候補表が求められる。ここで、図１９は、実施形態２の構成単語が含まれるキーワード候補の排除した場合である。
この図１９のキーワード候補表から評価値２の上位１０位は、図２０に示したようになり、「朝鮮民主主義人民共和国」が上位１０位からおちているのが確認できる。
このように、構成単語数の対数をとることにより構成単語数が多いキーワード候補の過剰評価を抑える効果がある。
【００６４】
＜実施形態４＞
上述の実施形態によって抽出されたキーワードを次のようにディスプレイのような表示装置やプリンタのような出力装置へ出力することによって、利用者にわかりやすく出力することができる。
（１）評価値の大きい順に出力する。
例えば、図１８または図２０のように抽出されたキーワードを順位、評価値およびキーワードを組として図２１または図２２に示すように出力する。
【００６５】
（２）同一の構成単語を含むキーワードを組にして出力する。
この出力形式は多数考えられるが、例えば、図２１に示したキーワードを図２３に示すように出力する。
これは、上位のキーワードの構成単語をキーとして、同一の構成単語をもつキーワードを評価値の順に並べる。重複して現れる場合は、省略してもよいが、図２３では括弧を付けて重複を表している。また、その構成単語を含む他のキーワードがなければ、その構成単語の行は表示しない。
【００６６】
＜実施形態５＞
上述した実施形態では、キーワード候補抽出部４３で用いたキーワード候補抽出規則４４による２種類のキーワード候補（単独の名詞あるいは名詞連続の複合名詞（キーワード候補Ａ）と、複合名詞が格助詞「の」で連結された並び（キーワード候補Ｂ））のうち、キーワード候補Ｂについて説明しなかった。
【００６７】
まず、キーワード候補評価部４５において、キーワード候補Ｂを含んだキーワード候補の評価値に影響を与える構成単語の選定について説明する。
例えば、図６および図７では、キーワード候補Ｂが
（７）通常兵器の部品
（８）工業製品の輸出規制
として抽出されている。
上述の実施形態のように、「の」を構成単語として含めると、単語解析部４１の結果「の」の頻度は１３（図９参照）であるから、「通常兵器の部品」の構成単語数は４、総頻度は１８となり、修正単語頻度は４.５、従って評価値は８.５になる。
また、「工業製品の輸出規制」の評価値は、５＋（２＋２＋７＋７＋１３）／５＝１１.２となる。
したがって、キーワード候補の評価値に、「の」による過大評価が生じてしまう。
一方、「の」を構成単語に数えないようにすると、上記の２つキーワード候補と対象文書中の他のキーワード候補Ｂは、図２４のように評価値を与えられ、適切なキーワード評価を行える。
【００６８】
したがって、本実施形態５では、キーワード候補中の構成単語の選定のために、次のいずれか一方または双方の処理を加える。
（１）構成単語品詞リストを用意して、特定の品詞の単語だけを構成単語とする。
例えば、「一般名詞」等を含むような構成単語品詞リストを用いることによって、キーワード評価に影響を与える品詞、あるいは影響を与えない品詞を指定できるので、内容語を優先したより適切なキーワード評価が可能になる。
【００６９】
（２）非構成単語品詞リストを用意して特定の品詞の単語を構成単語から除く、あるいは、非構成単語リストを用意して特定の単語を構成単語から除く。
上述の場合、「格助詞の」や「接辞（接頭辞、接尾辞）」を含むような非構成単語品詞リストを用いることによって、「の」による過大評価を生じないようにできる。
【００７０】
このように構成単語を扱う場合、キーワード評価に影響を与える品詞、あるいは影響を与えない品詞や単語を別途用意することで、内容語を優先したり、「の」や「ｏｆ」などの機能語を無視することで、より適切なキーワード評価が可能になる。
【００７１】
＜実施形態６＞
さらに、本発明は上述した実施形態のみに限定されたものではない。上述した実施形態のキーワード抽出装置を構成する各機能（単語解析部、キーワード候補抽出部、キーワード候補評価部、キーワード抽出部等）をそれぞれプログラム化し、単語辞書、キーワード抽出規則、構成単語品詞リスト等をデータ化し、あらかじめＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、コンピュータに搭載したＣＤ−ＲＯＭドライブのような媒体駆動装置にこのＣＤ−ＲＯＭを装着して、これらのプログラムをコンピュータのメモリあるいは記憶装置に格納し、それを実行することによって、本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
【００７２】
なお、記録媒体としては半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ−Ｒ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）等のいずれであってもよい。
【００７３】
また、ロードしたプログラムを実行することにより上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステム等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれる。
【００７４】
また、上述したプログラムをサーバコンピュータの磁気ディスク等の記憶装置に格納しておき、インターネット等の通信網で接続された利用者のコンピュータからダウンロード等の形式で頒布する場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
【００７５】
【発明の効果】
以上説明したように本発明によれば、複合名詞や「の」や「ｏｆ」で結ばれた複合名詞句のレベルでキーワード抽出を行う場合、キーワード候補を構成する単語（構成単語）に着目することにより、事前にキーワードのための情報を用意したり、統計処理を行うことなくキーワード評価が可能になる。
また、英語のような変化のある単語をその基本形で構成単語を見ることにより、適切な頻度集計ができるので、より適切なキーワード評価が可能になる。
また、構成単語を扱う場合、キーワード評価に影響を与える品詞、あるいは影響を与えない品詞や単語を別途用意することで、内容語を優先したり、「の」や「ｏｆ」などの機能語を無視することで、より適切なキーワード評価が可能になる。
また、構成単語数の代わりに構成単語数の対数をとってキーワード候補の評価値を計算することによって、構成単語数が多いキーワード候補の過剰な評価を回避することが可能になる。
また、キーワード候補のその構成単語のすべてが、他のキーワード候補の構成単語に含まれている場合には、キーワードとしては抽出しないようにすることによって、キーワード集合の冗長性を排除することが可能になる。
【図面の簡単な説明】
【図１】 本発明のキーワード抽出装置が適用されるキーワード抽出システムの全体構成を示すブロック図である。
【図２】 本発明のキーワード抽出装置に係る実施形態１の機能構成を示すブロック図である。
【図３】 キーワード抽出の説明で使用する日本語文書の例である。
【図４】 図３に示す日本語文書の第４文（本文の先頭文）を単語に分割した例である。
【図５】 キーワード候補抽出規則の例である。
【図６】 図５のキーワード候補抽出規則によって、図３の第４文から抽出されたキーワード候補の例である。
【図７】 抽出された各キーワード候補を構成する単語と品詞および基本形の情報を示す例である。
【図８】 キーワード候補評価部の処理手順を示すフローチャートである。
【図９】 図４の文例で単語ごとに頻度を集計した単語表の例である。
【図１０】 図４の文例の第４文中のキーワード候補の設定状態を示すキーワード候補表の例である。
【図１１】 キーワード候補の「構成単語数ＷＮｊ」欄と「構成単語総頻度Ｓｆｊ」欄がゼロに設定されている状態を示す図である。
【図１２】 単語構成のうちの構成単語分として、「構成単語数ＷＮｊ」欄および「構成単語総頻度Ｓｆｊ」欄に頻度を加算した場合の状態を示す図である。
【図１３】 キーワード候補「工業製品」に対するキーワード候補表の設定状態を示す図である。
【図１４】 第４文の最後のキーワード候補「日本」の処理が終わった時点でのキーワード候補表の設定状態を示す図である。
【図１５】 全キーワード候補の処理が終わった時点でのキーワード候補表の設定状態を示す図である。
【図１６】 上位１０位までを抽出基準として抽出したキーワードの例を示す図である。
【図１７】 実施形態１の処理手順を示すフローチャートである。
【図１８】 キーワード候補のその構成単語のすべてが、他のキーワード候補の構成単語に含まれている場合に抽出されるキーワードの例を示す図である。
【図１９】 キーワード候補の評価を構成単語数ではなく、構成単語数の対数とした場合のキーワード候補表の設定状態を示す図である。
【図２０】 図１９のキーワード候補表から上位１０位を抽出したキーワードの例を示す図である。
【図２１】 図１８のように抽出されたキーワードの出力例である。
【図２２】 図１９のように抽出されたキーワードの出力例である。
【図２３】 同一の構成単語を含むキーワードを組にした出力例である。
【図２４】 複合名詞が格助詞「の」で連結された並びからなるキーワード候補のキーワード候補表の設定状態を示す図である。
【符号の説明】
１０…文書データベース、２０…入力装置、３０…文書入力装置、４０…キーワード抽出装置、４１…単語解析部、４２…単語辞書、４３…キーワード候補抽出部、
４４…キーワード候補抽出規則、４５…キーワード候補評価部、４６…キーワード抽出部、５０…出力装置。
【発明の属する技術分野】
本発明は、キーワード抽出装置並びにプログラムおよび記録媒体に関し、具体的には、短単位の単語だけではなく、複合名詞や複合名詞句のような長い単位のキーワード抽出に関し、文書検索装置や文書登録装置等に応用して好適である。
【０００２】
【従来の技術】
文書中からキーワードを抽出することは、キーワードを検索や分類のために文書の情報として付与したり、文書検索結果の一覧表示で文書の内容を簡潔に表現する補助情報として表示する際に必要となる重要な技術である。
【０００３】
通常、文書中からキーワードを抽出するためには、形態素解析技術により、単語分割し品詞付けを行い、そのうちの特定の品詞（特に名詞）の単語についてそのキーワードとするか否かを評価する。
これは、対象分野での専門用語や単語のキーワード性（特許文献１参照）に基づき判定する。また、複合語であれば、それを構成する単語のキーワード性や複合語構成上の役割といった情報を用意し、それらに基づき判定する（非特許文献１参照）。
しかしながら、こうした判定に用いるキーワードに関する情報を事前に辞書等に用意しておくことを前提としているが、これらを設定・保守することは容易ではない。
【０００４】
そこで、こうしたキーワードのための情報を必要とせずに、キーワード候補を文字種により判別したり（特許文献２参照）、単語の長さとその使用頻度に基づいてキーワード性を計算する抽出装置が提案されている（特許文献３参照）。
しかしながら、キーワード候補の評価に、特許文献２および特許文献３で行っているような単語の出現頻度を考慮する場合、短単位の単語ベースのキーワードならよいが、複合名詞等をベースにするキーワードの場合は、同一のキーワード候補単語については、出現頻度に反映されるが、同一の構成単語を含んでいる関連単語の場合は、同一視されず、それぞれの出現頻度には反映されない。
【０００５】
また、単語の文書内頻度（Ｔｆ：ＴｅｒｍＦｒｅｑｕｅｎｃｙ）と対象文書データベース中での単語の出現文書数（Ｄｆ：ＤｏｃｕｍｅｎｔＦｒｅｑｕｅｎｃｙ）の逆数（Ｉｄｆ：Ｉｎｖｅｒｔｅｄ ＤＦ）の積をキーワード指標とするＴｆ＊Ｉｄｆ法が知られている（非特許文献２参照）。
これは、キーワードのための情報を必要としない方法であるが、対象データベースがあらかじめ定まっている必要があり、可能性のあるキーワード候補について事前に統計処理を必要とする問題とともに、出現頻度についても、上述の問題がある。
【０００６】
また、上記のキーワードのための事前の情報や統計情報の取得の問題を回避し、また出現頻度に関わる問題を解決するために、特許文献４の「キーワード抽出装置」は、単語の複合度あるいは類似単語を出現頻度に反映した疑似出現頻度を用いて、キーワード候補の評価を改善し、また、単語長から単語複合度、重複文字列の割合から疑似出現頻度を簡易に得る方法である。
【０００７】
さらに、特許文献５の「キーワード抽出装置及びキーワード表示装置」は、疑似出現頻度を取得する場合、文書内でキーワード候補同士の組合せ数の計算で、計算量が多くなってしまうのを改善するために、文書内での文字単位の出現頻度により少ない計算量で誤字出現頻度を計算する方法である。
【０００８】
【特許文献１】
特開昭６２−２８７３３７号公報
【非特許文献１】
小川 他「短単位キーワードに基づくテキストデータベース装置」、情報処理学会、データベース研究会９０−６， １９９２
【特許文献２】
特開平１−０２８７７０号公報
【特許文献３】
特開昭６３−２４４２５９号公報
【非特許文献２】
長尾真、佐藤理史編「岩波講座ソフトウェア科学 １５ 自然言語処理，岩波書店、１９９６．４．２６， ｐ．４１１−４２１
【特許文献４】
特開平８−９５９８２号公報
【特許文献５】
特開平９−３１１８７１号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、特許文献４の技術は、文字列の重複検査の計算量の問題があり、一方、特許文献５では、文字の出現頻度に基づく処理のため、キーワード候補と無関係な同一の文字が用いられている場合、統計に雑音が多く混入する問題がある。
また、特許文献４や特許文献５では、文字や文字列に意味がある日本語の複合語に効果がある方法であったが、英語などのアルファベットを用いた言語の単語に対しては有効でない。
【００１０】
本発明は、上述の実情を考慮してなされたものであって、キーワードのための事前の情報や統計情報の取得の問題を回避し、また出現頻度に関わる問題を単語レベルでの処理により上記の問題を回避するキーワード抽出装置並びにプログラムおよび記録媒体を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記の課題を解決するために、本発明の請求項１のキーワード抽出装置は、電子化された文書を単語に分割して品詞を付与する単語解析部と、キーワードの候補として抽出すべきパターンを記述したキーワード候補抽出規則と、前記単語解析部により解析された解析結果をもとに、前記キーワード候補抽出規則によりキーワード候補を抽出するキーワード候補抽出部と、前記キーワード候補の構成単語に基づいて評価するキーワード候補評価部と、前記キーワード候補評価部が評価した結果に基づいて前記キーワード候補からキーワードを抽出するキーワード抽出部とを備え、
前記キーワード候補評価部は、前記キーワード候補に対し、
（１）このキーワード候補の構成単語数あるいはこの構成単語数に応じた値、
および、
（２）このキーワード候補の構成単語ごとの当該電子化文書内における出現頻度に基づく修正単語頻度、
の双方の重み付き線形和あるいは積の値によって評価する
ことを特徴とする。
【００１８】
また、本発明の請求項２は、請求項１に記載のキーワード抽出装置において、前記修正単語頻度は、前記キーワード候補に対し、このキーワード候補の構成単語ごとの頻度数の総和をこのキーワード候補の構成単語数で除した値とすることを特徴とする。
【００１９】
また、本発明の請求項３は、請求項１または２に記載のキーワード抽出装置において、前記構成単語数に応じた値は、構成単語数の対数値であることを特徴とする。
【００２１】
また、本発明の請求項４は、請求項１乃至３のいずれかに記載のキーワード抽出装置において、前記キーワード抽出部が抽出したキーワードのうち、同一の構成単語を含むキーワード同士を組にして出力するキーワード出力部を備えることを特徴とする。
【００２３】
また、本発明の請求項５のプログラムは、コンピュータを用いて、文書データからキーワードを抽出するためのプログラムであって、前記コンピュータを、請求項１乃至４のいずれかに記載のキーワード抽出装置の各部として機能させるためのプログラムである。
また、本発明の請求項６の記録媒体は、請求項５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００２４】
以上の構成により、複合名詞や「の」や「ｏｆ」で結ばれた複合名詞句のレベルでキーワード抽出を行う場合、キーワード候補を構成する単語（構成単語）に着目することにより、事前にキーワードのための情報を用意したり、統計処理を行うことなくキーワード評価が可能になる。
また、英語のような変化のある単語をその基本形で構成単語を見ることにより、適切な頻度集計ができるので、より適切なキーワード評価が可能になる。
また、構成単語を扱う場合、キーワード評価に影響を与える品詞、あるいは影響を与えない品詞や単語を別途用意することで、内容語を優先したり、「の」や「ｏｆ」などの機能語を無視することで、より適切なキーワード評価が可能になる。
また、構成単語数の代わりに構成単語数の対数をとってキーワード候補の評価値を計算することによって、構成単語数が多いキーワード候補の過剰な評価を回避することが可能になる。
また、キーワード候補のその構成単語のすべてが、他のキーワード候補の構成単語に含まれている場合には、キーワードとしては抽出しないようにすることによって、キーワード集合の冗長性を排除することが可能になる。
【００２５】
【発明の実施の形態】
以下、図面を参照して本発明に係る好適な実施形態を説明する。
図１は、本発明のキーワード抽出装置が適用されるキーワード抽出システムの全体構成を示すブロック図であり、同図に示すように、キーワード抽出システムは、複数の電子化された文書データを保持する文書データベース１０と、キーボード、マウス、タッチパネル等により構成されて文書データベース１０中の文書名を指定する入力装置２０と、入力装置２０によって指定された文書名の電子化文書データを文書データベース１０から読み込む文書入力装置３０と、この読み込まれた文書データからキーワードを抽出する本発明に係るキーワード抽出装置４０と、抽出されたキーワードに関する情報をディスプレイやプリンタあるいはネットワークに接続した他の装置へ出力する出力装置５０とを含んでいる。
【００２６】
＜実施形態１＞
図２は、本発明のキーワード抽出装置４０に係る実施形態の機能構成を示すブロック図であり、キーワード抽出装置４０は、単語解析部４１、単語辞書４２、キーワード候補抽出部４３、キーワード候補抽出規則４４、キーワード候補評価部４５、キーワード抽出部４６とから構成される。
【００２７】
単語解析部４１は、文書データベース１０に記憶されたキーワード抽出装置４０の入力対象となる文書データを文書入力装置３０から渡され、品詞情報や基本形情報をもった単語辞書４２を参照し、対象となる文書データの文ごとに単語に分割し、品詞を付与し、また必要に応じて単語の基本形を解析して、単語単位の解析結果を出力する。
この単語解析部４１は、従来技術の形態素解析技術によって実現される。
【００２８】
例えば、図３に示す日本語文書の第４文（本文の先頭文）を単語解析部４１で処理した結果は、図４に示すような単語に分割される。
図４において、「基本形」とは、日本語では、活用しない単語はその単語そのもの、活用する単語はその終止形である。以降の説明では、活用しない単語の基本形は、単語そのものと同じであるから図中では省略している。
また、英語のような変化のある単語の場合は、適切な頻度集計ができないため、その基本形を用いることでより適切な評価が行えるようになる。
例えば、Ｃｏｍｐｕｔｅｒｓという単語が対象文書中に出てきた場合には、その基本形（Ｃｏｍｐｕｔｅｒ）を単語辞書から取り出すようにする。
【００２９】
キーワード候補抽出部４３は、単語解析部４１の結果をもとに、抽出するべきキーワード候補の単語のパターン
（構成）に関する規則（キーワード候補抽出規則４４）に従いキーワード候補を抽出する。
キーワード候補抽出規則４４は、例えば、図５に示したように、リーフノードが品詞名である書換え規則として、下記の記法のもとで記述してある。
【００３０】
Ｘ＋Ｙ ：ＸとＹがこの順序で並んでいる
（Ｘ｜Ｙ｜Ｚ） ：ＸかＹかＺ
｛Ｘ｝． ：Ｘが省略されるか、Ｘが１つ存在する
｛Ｘ｝＊ ：Ｘの０以上の繰り返し
｛Ｘ｝＋ ：Ｘの１以上の繰り返し
【００３１】
図５に例示した規則では、キーワード候補として次の２種類を定義している。（１）キーワード候補Ａは、前／後に接頭辞／接尾辞の付加を許す名詞類の１つ以上の並びあるいはその複合の並びであり、単独の名詞あるいは名詞連続の複合名詞がキーワード候補となる。
（２）キーワード候補Ｂは、上記のキーワード候補Ａの複合名詞が格助詞「の」で連結された並びであり、「の」で連結された名詞句がキーワード候補となる。
【００３２】
この図５の規則によれば、図３の第４文からは、図６に示すキーワード候補が抽出される。ここで、抽出された各キーワード候補には、図７に示すように、各キーワード候補を構成する単語と品詞および基本形の情報が付加されている。
【００３３】
キーワード候補の抽出方法は、上述のようなキーワード候補抽出規則を使用するものに限定はされず、従来技術によって構成されてもよい。
また、単語解析部４１とキーワード候補抽出部４３とは、対象文書全体の単語解析結果を得てからキーワード候補を抽出するようにしてもよいし、あるいは、１文ごとに単語解析結果を得て、その文についてのキーワード候補を抽出することを全文の処理が終わるまで繰り返すようにしてもよい。
【００３４】
キーワード候補評価部４５は、キーワード候補抽出部４３により抽出されたキーワード候補について、その構成単語に基づいてキーワード候補の評価を行う。
ここで、キーワード候補中の構成単語に英語のような変化のある単語が含まれている場合は、その単語の基本形に替えて頻度を収集するようにして、適切な頻度集計ができ、より適切なキーワード評価が可能となる。
この評価は、例えば、キーワード候補Ｋｊについて、次のような評価値Ｅ（Ｋｊ）によって行う。
【００３５】
Ｅ（Ｋｊ）＝Ｆ（Ａ（ＷＮｊ），Ｂ（Ｗｆｊ））
ここで、ＷＮｊ：キーワード候補Ｋｊの構成単語数
Ｗｆｊ：キーワード候補Ｋｊの修正単語頻度
また、この修正単語頻度Ｗｆｊは次のようにして求める。
Ｗｆｊ＝Ｓｆｊ／ＷＮｊ
ここで、Ｓｆｊ：キーワード候補Ｋｊの構成単語ごとの頻度の総和
【００３６】
例えば、上記の関数Ｆは次のいずれとしてもよい。
Ｅ（Ｋｊ）＝ａ＊Ａ（ＷＮｊ）＋ｂ＊Ｂ（Ｗｆｊ）
あるいは、
Ｅ（Ｋｊ）＝Ａ（ＷＮｊ）＊Ｂ（Ｗｆｊ）
【００３７】
上記の式で、ａおよびｂは重み係数であり、Ａ（Ｘ）およびＢ（Ｘ）はＸをパラメータとする関数であり、例えば、上記第１の式で、ａ＝ｂ＝１、Ａ（Ｘ）＝Ｘ、Ｂ（Ｘ）＝Ｘとすると、
Ｅ（Ｋｊ）＝ＷＮｊ＋Ｗｆｊ
であり、以下の説明では、この評価式を使用することにする。
【００３８】
さらに、上記の第１の式で、ａ＝ｂ＝１、Ａ（Ｘ）＝ｌｏｇ（Ｘ）、Ｂ（Ｘ）＝Ｘとすると、
Ｅ（Ｋｊ）＝ｌｏｇ（ＷＮｊ）＋Ｗｆｊ
であり、また、上記第２の式で、ａ＝１、Ａ（Ｘ）＝ｌｏｇ（Ｘ）、Ｂ（Ｘ）＝Ｘとすると、
Ｅ（Ｋｊ）＝ｌｏｇ（ＷＮｊ）＊Ｗｆｊ
という評価式が使用できる。
【００３９】
図８のフローチャートをもとに、キーワード候補評価部４５の処理手順について詳細に説明する。
まず、単語解析部４１で解析された単語に対して、単語ごとの頻度を集計した単語表を作成して記憶装置等に格納する（ステップＳ１）。
単語解析部４１で図４のように分割された第４文に関する単語表は、図９に示したようになる。尚、以降で、この表を参照して、キーワード候補の構成単語ごとに頻度を求めるため、単語は辞書順にソートされている方がよい。
【００４０】
キーワード候補抽出部４３で抽出されたキーワード候補に関する表を作成して記憶装置等に格納する（ステップＳ２）。
このキーワード候補表は、キーワード候補抽出部４３で抽出の際に得られたキーワード候補Ｋｊごとに、単語構成、頻度、構成単語数ＷＮｊ、構成単語の総頻度Ｓｆｊ、修正単語頻度Ｗｆｊおよびキーワード評価値Ｅ（Ｋｊ）からなる情報を保持する。
また、キーワード候補は、単語表と同様に重複して現れることもあるので、同一のキーワード候補の重複は取り除き、頻度として計数して、表中に設定する。
さらに、キーワード候補の順序は、本説明では出現順とするが、これに特に限定するものではない。
【００４１】
図１０は、第４文中のキーワード候補の設定状態を抜き出した図で、単語構成の情報と頻度が設定されている。図中、単語構成に関する欄では、「｜」で単語の切れ目、「．」で接辞（接頭辞、接尾辞）の切れ目を表すものとする。
また、図中の第４文のキーワード候補では、「工業製品」が他に１回、「輸出規制」が他に２回出現しているので、頻度が各々２、３となっているが、他の頻度は１になっている。尚、「工業製品」と「輸出規制」は、各々第１文、第２文に現れているので、他のキーワード候補より先行して出ている。
【００４２】
以下のステップＳ３からＳ９までは、キーワード候補ごとに処理が行われる。
キーワード候補表から順次キーワード候補を取り出し、すべてのキーワード候補の処理が終われば（ステップＳ３の「なし」）、処理を終了する。
これにより、キーワード候補表のすべての欄が埋まり、すべてのキーワード候補の評価値が得られる。
【００４３】
キーワード候補表からキーワード候補を取り出せた場合（ステップＳ３の「あり」）、対象のキーワード候補の「構成単語数ＷＮｊ」欄と「構成単語総頻度Ｓｆｊ」欄を、以降の加算処理のためにゼロクリアする（ステップＳ４）。
例えば、図１１のキーワード候補「工業製品」の「構成単語数ＷＮｊ」欄と「構成単語総頻度Ｓｆｊ」欄がゼロに設定されている。
【００４４】
次のステップＳ５からＳ７までは、対象キーワード候補の構成単語ごとに処理が行われる。
キーワード候補の単語構成に示される構成単語について、順次構成単語Ｗｊｉを取り出し、すべての構成単語の処理が終われば（ステップＳ５の「なし」）、構成単語ごとの処理を終了し、対象キーワード候補の構成単語数と構成単語総頻度が得られるステップＳ８へ進む。
【００４５】
キーワード候補の単語構成に示される構成単語について、構成単語を取り出せた場合（ステップＳ５の「あり」）、その構成単語Ｗｊｉに対する「構成単語数ＷＮｊ」欄に１を加算する（ステップＳ６）。
例えば、単語構成の「工業｜製品」のうちの「工業」を取り出した場合、構成単語「工業」分として、「構成単語数ＷＮｊ」欄に１を加算する。
【００４６】
単語表を参照して、この構成単語Ｗｊｉの単語頻度を得て、「構成単語総頻度Ｓｆｊ」欄に加算し（ステップＳ７）、再び、ステップＳ５に戻る。
例えば、上記の単語構成の「工業｜製品」の場合には、構成単語「製品」を取り出し、「構成単語数ＷＮｊ」欄に１加算し、「製品」の単語頻度「２」を「構成単語総頻度Ｓｆｊ」欄に加算すると、キーワード候補表の「工業製品」は図１２のように設定される。
【００４７】
修正単語頻度Ｗｆｊを計算し、「修正単語頻度Ｗｆｊ」欄に設定する（ステップＳ８）。
この修正単語頻度Ｗｆｊは、例えば、「構成単語総頻度Ｓｆｊ」欄の値を「構成単語数ＷＮｊ」の値で除した値をとして計算する。
図１２のキーワード候補「工業製品」では、Ｓｆｊが「４」、ＷＮｊが「２」であるから、Ｗｆｊは４／２＝２となる。
【００４８】
最後に、キーワード候補の「評価値Ｅ（Ｋｊ）」を計算し、「評価値Ｅ（Ｋｊ）」欄に設定し（ステップＳ９）、再び、ステップＳ３に戻り、以降、順次キーワード候補を取り出しながら、全キーワード候補に対して、上記の処理を繰り返す。
このキーワード候補の「評価値Ｅ（Ｋｊ）」は、例えば、「構成単語数ＷＮｊ」と「修正単語頻度Ｗｆｊ」を加算した値として設定する。
【００４９】
上述した例のキーワード候補「工業製品」では、ＷＮｊが「２」、Ｗｆｊが「２」であるから、Ｅ（Ｋｊ）＝２＋２＝４となるので、「工業製品」に対するキーワード候補表は図１３のような設定になる。
さらに、第４文の最後のキーワード候補「日本」の処理が終わった時点でのキーワード候補表は図１４のようになり、また、全キーワード候補の処理が終わった時点でのキーワード候補表は図１５のようになる。
【００５０】
キーワード抽出部４６は、キーワード候補評価部４５により評価された結果に基づいて、評価値が高いキーワード候補ほどキーワード性が高いという仮定から、次のような基準でキーワード候補の中からキーワードを抽出する。
（１）評価値が上位Ｎのキーワード候補
（２）評価値がキーワード候補全体の上位Ｍ分の一のキーワード候補
（３）評価値がＡ以上のキーワード候補
【００５１】
例えば、上位１０位までを抽出基準とすると、図１６に示したようなキーワードを抽出できる（図１６では、同点があるので１１キーワードが抽出される）。
【００５２】
図１７のフローチャートを用いて、本実施形態１の処理手順を説明する。
まず、利用者あるいは利用アプリケーションが指示したキーワード抽出の対象文書について、品詞情報や基本形情報をもった単語辞書を参照し、対象となる文書の文ごとに単語に分割し、品詞を付与し、また必要に応じて単語の基本形を解析して、単語単位の解析結果を出力する（ステップＳ１１）。
例えば、図３の日本語文書の第４文（本文の先頭文）の単語解析処理した結果は図４のようになる。
【００５３】
ステップＳ１１の文書の単語解析処理の結果をもとに、抽出するべきキーワード候補の単語のパターン
（構成）に関する規則（例えば、図５に示すキーワード候補抽出規則）に従ってキーワード候補を抽出する（ステップＳ１２）。
図５の規則によれば、図３の第４文部分からは、図６のキーワード候補が抽出され、抽出された各キーワード候補には、図７のようにこれを構成する単語と品詞および基本形の情報が付加されている。
【００５４】
ステップＳ１２のキーワード候補抽出処理により抽出されたキーワード候補について、その構成単語に基づいてキーワード候補の評価を行う（ステップＳ１３）。
全キーワード候補の処理が終わった時点でのキーワードの評価値は図１５に示すように設定される。
【００５５】
この評価は、例えば、キーワード候補Ｋｊについて、次のような評価値Ｅ（Ｋｊ）を計算する。
Ｅ（Ｋｊ）＝Ｆ（Ａ（ＷＮｊ），Ｂ（Ｗｆｊ））
ここで、ＷＮｊ：Ｋｊの構成単語数
Ｗｆｊ：Ｋｊの修正単語頻度
【００５６】
この修正単語頻度Ｗｆｊは次のように求める。
Ｗｆｊ＝Ｓｆｊ／ＷＮｊ
ここで、Ｓｆｊ：Ｋｊの構成単語ごとの頻度の総和
【００５７】
例えば、これらの計算値から次のいずれかの式で評価値を求める。
Ｅ（Ｋｊ）＝ａ＊Ａ（ＷＮｊ）＋ｂ＊Ｂ（Ｗｆｊ）
または
Ｅ（Ｋｊ）＝Ａ（ＷＮｊ）＊Ｂ（Ｗｆｊ）
【００５８】
ステップＳ１３のキーワード候補評価処理により評価された結果に基づいてキーワード抽出を行う（ステップＳ１４）。
評価値が高いキーワード候補ほどキーワード性が高いので、いずれかを基準としてキーワードを抽出する。
（１）評価値が上位Ｎのキーワード候補
（２）評価値がキーワード候補全体の上位Ｍ分の一のキーワード候補
（３）評価値がＡ以上のキーワード候補
例えば、上位１０位までをキーワードとして抽出するとすると、図１６のようになる（同点があるので１１キーワード）。
【００５９】
＜実施形態２＞
上述の実施形態１では、キーワード候補のその構成単語のすべてが、他のキーワード候補の構成単語に含まれている場合であっても、キーワード候補をキーワードとして抽出していた。
本実施形態２では、キーワード候補のその構成単語のすべてが、他のキーワード候補の構成単語に含まれている場合には、キーワードとしては抽出しないようにする。これにより、キーワード集合の冗長性を排除することが可能になる。
【００６０】
このために、キーワード抽出部４６において、キーワード候補抽出部４３で記憶装置等に記憶したキーワード候補表中のキーワード候補について、その構成単語のすべてを含む他のキーワード候補があるか否かを検査し、ある場合は、キーワード候補表において無効の扱いをする。
この処理は、
・構成単語数の少ないキーワード候補から検査する
・自身の構成単語数より構成単語数が少ないキーワード候補は検査しない
等により処理の効率化ができる。
【００６１】
本実施形態２のキーワード抽出部４６によれば、図１５に示したキーワード候補のうち、
・「通常兵器」は、「通常兵器関連」に含まれているので無効とする。
・「規制」は、「輸出規制」に含まれているので無効とする。
・「対象」は、「規制対象」に含まれているので無効とする。
・「国」は、「３カ国」に含まれているので無効とする。
・「共産圏」は、「対共産圏輸出統制委員会」に含まれているので無効とする。
・「輸出」は、「輸出規制」に含まれているので無効とする。
【００６２】
これにより、上位１０位までをキーワードとして抽出すると、図１８に示すような結果になる（１１キーワード）。
【００６３】
＜実施形態３＞
上述の実施形態では、キーワード候補評価部４５で評価値を計算するために構成単語数を用いていたが、本実施形態３では構成単語数の代わりに構成単語数の対数値を用いて評価値を計算する。
図１５のキーワード候補表に対して、ｅを底とする自然対数として計算して評価値を求めた場合、図１９に示すように「評価値２」の欄を追加したキーワード候補表が求められる。ここで、図１９は、実施形態２の構成単語が含まれるキーワード候補の排除した場合である。
この図１９のキーワード候補表から評価値２の上位１０位は、図２０に示したようになり、「朝鮮民主主義人民共和国」が上位１０位からおちているのが確認できる。
このように、構成単語数の対数をとることにより構成単語数が多いキーワード候補の過剰評価を抑える効果がある。
【００６４】
＜実施形態４＞
上述の実施形態によって抽出されたキーワードを次のようにディスプレイのような表示装置やプリンタのような出力装置へ出力することによって、利用者にわかりやすく出力することができる。
（１）評価値の大きい順に出力する。
例えば、図１８または図２０のように抽出されたキーワードを順位、評価値およびキーワードを組として図２１または図２２に示すように出力する。
【００６５】
（２）同一の構成単語を含むキーワードを組にして出力する。
この出力形式は多数考えられるが、例えば、図２１に示したキーワードを図２３に示すように出力する。
これは、上位のキーワードの構成単語をキーとして、同一の構成単語をもつキーワードを評価値の順に並べる。重複して現れる場合は、省略してもよいが、図２３では括弧を付けて重複を表している。また、その構成単語を含む他のキーワードがなければ、その構成単語の行は表示しない。
【００６６】
＜実施形態５＞
上述した実施形態では、キーワード候補抽出部４３で用いたキーワード候補抽出規則４４による２種類のキーワード候補（単独の名詞あるいは名詞連続の複合名詞（キーワード候補Ａ）と、複合名詞が格助詞「の」で連結された並び（キーワード候補Ｂ））のうち、キーワード候補Ｂについて説明しなかった。
【００６７】
まず、キーワード候補評価部４５において、キーワード候補Ｂを含んだキーワード候補の評価値に影響を与える構成単語の選定について説明する。
例えば、図６および図７では、キーワード候補Ｂが
（７）通常兵器の部品
（８）工業製品の輸出規制
として抽出されている。
上述の実施形態のように、「の」を構成単語として含めると、単語解析部４１の結果「の」の頻度は１３（図９参照）であるから、「通常兵器の部品」の構成単語数は４、総頻度は１８となり、修正単語頻度は４.５、従って評価値は８.５になる。
また、「工業製品の輸出規制」の評価値は、５＋（２＋２＋７＋７＋１３）／５＝１１.２となる。
したがって、キーワード候補の評価値に、「の」による過大評価が生じてしまう。
一方、「の」を構成単語に数えないようにすると、上記の２つキーワード候補と対象文書中の他のキーワード候補Ｂは、図２４のように評価値を与えられ、適切なキーワード評価を行える。
【００６８】
したがって、本実施形態５では、キーワード候補中の構成単語の選定のために、次のいずれか一方または双方の処理を加える。
（１）構成単語品詞リストを用意して、特定の品詞の単語だけを構成単語とする。
例えば、「一般名詞」等を含むような構成単語品詞リストを用いることによって、キーワード評価に影響を与える品詞、あるいは影響を与えない品詞を指定できるので、内容語を優先したより適切なキーワード評価が可能になる。
【００６９】
（２）非構成単語品詞リストを用意して特定の品詞の単語を構成単語から除く、あるいは、非構成単語リストを用意して特定の単語を構成単語から除く。
上述の場合、「格助詞の」や「接辞（接頭辞、接尾辞）」を含むような非構成単語品詞リストを用いることによって、「の」による過大評価を生じないようにできる。
【００７０】
このように構成単語を扱う場合、キーワード評価に影響を与える品詞、あるいは影響を与えない品詞や単語を別途用意することで、内容語を優先したり、「の」や「ｏｆ」などの機能語を無視することで、より適切なキーワード評価が可能になる。
【００７１】
＜実施形態６＞
さらに、本発明は上述した実施形態のみに限定されたものではない。上述した実施形態のキーワード抽出装置を構成する各機能（単語解析部、キーワード候補抽出部、キーワード候補評価部、キーワード抽出部等）をそれぞれプログラム化し、単語辞書、キーワード抽出規則、構成単語品詞リスト等をデータ化し、あらかじめＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、コンピュータに搭載したＣＤ−ＲＯＭドライブのような媒体駆動装置にこのＣＤ−ＲＯＭを装着して、これらのプログラムをコンピュータのメモリあるいは記憶装置に格納し、それを実行することによって、本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
【００７２】
なお、記録媒体としては半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ−Ｒ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）等のいずれであってもよい。
【００７３】
また、ロードしたプログラムを実行することにより上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステム等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれる。
【００７４】
また、上述したプログラムをサーバコンピュータの磁気ディスク等の記憶装置に格納しておき、インターネット等の通信網で接続された利用者のコンピュータからダウンロード等の形式で頒布する場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
【００７５】
【発明の効果】
以上説明したように本発明によれば、複合名詞や「の」や「ｏｆ」で結ばれた複合名詞句のレベルでキーワード抽出を行う場合、キーワード候補を構成する単語（構成単語）に着目することにより、事前にキーワードのための情報を用意したり、統計処理を行うことなくキーワード評価が可能になる。
また、英語のような変化のある単語をその基本形で構成単語を見ることにより、適切な頻度集計ができるので、より適切なキーワード評価が可能になる。
また、構成単語を扱う場合、キーワード評価に影響を与える品詞、あるいは影響を与えない品詞や単語を別途用意することで、内容語を優先したり、「の」や「ｏｆ」などの機能語を無視することで、より適切なキーワード評価が可能になる。
また、構成単語数の代わりに構成単語数の対数をとってキーワード候補の評価値を計算することによって、構成単語数が多いキーワード候補の過剰な評価を回避することが可能になる。
また、キーワード候補のその構成単語のすべてが、他のキーワード候補の構成単語に含まれている場合には、キーワードとしては抽出しないようにすることによって、キーワード集合の冗長性を排除することが可能になる。
【図面の簡単な説明】
【図１】 本発明のキーワード抽出装置が適用されるキーワード抽出システムの全体構成を示すブロック図である。
【図２】 本発明のキーワード抽出装置に係る実施形態１の機能構成を示すブロック図である。
【図３】 キーワード抽出の説明で使用する日本語文書の例である。
【図４】 図３に示す日本語文書の第４文（本文の先頭文）を単語に分割した例である。
【図５】 キーワード候補抽出規則の例である。
【図６】 図５のキーワード候補抽出規則によって、図３の第４文から抽出されたキーワード候補の例である。
【図７】 抽出された各キーワード候補を構成する単語と品詞および基本形の情報を示す例である。
【図８】 キーワード候補評価部の処理手順を示すフローチャートである。
【図９】 図４の文例で単語ごとに頻度を集計した単語表の例である。
【図１０】 図４の文例の第４文中のキーワード候補の設定状態を示すキーワード候補表の例である。
【図１１】 キーワード候補の「構成単語数ＷＮｊ」欄と「構成単語総頻度Ｓｆｊ」欄がゼロに設定されている状態を示す図である。
【図１２】 単語構成のうちの構成単語分として、「構成単語数ＷＮｊ」欄および「構成単語総頻度Ｓｆｊ」欄に頻度を加算した場合の状態を示す図である。
【図１３】 キーワード候補「工業製品」に対するキーワード候補表の設定状態を示す図である。
【図１４】 第４文の最後のキーワード候補「日本」の処理が終わった時点でのキーワード候補表の設定状態を示す図である。
【図１５】 全キーワード候補の処理が終わった時点でのキーワード候補表の設定状態を示す図である。
【図１６】 上位１０位までを抽出基準として抽出したキーワードの例を示す図である。
【図１７】 実施形態１の処理手順を示すフローチャートである。
【図１８】 キーワード候補のその構成単語のすべてが、他のキーワード候補の構成単語に含まれている場合に抽出されるキーワードの例を示す図である。
【図１９】 キーワード候補の評価を構成単語数ではなく、構成単語数の対数とした場合のキーワード候補表の設定状態を示す図である。
【図２０】 図１９のキーワード候補表から上位１０位を抽出したキーワードの例を示す図である。
【図２１】 図１８のように抽出されたキーワードの出力例である。
【図２２】 図１９のように抽出されたキーワードの出力例である。
【図２３】 同一の構成単語を含むキーワードを組にした出力例である。
【図２４】 複合名詞が格助詞「の」で連結された並びからなるキーワード候補のキーワード候補表の設定状態を示す図である。
【符号の説明】
１０…文書データベース、２０…入力装置、３０…文書入力装置、４０…キーワード抽出装置、４１…単語解析部、４２…単語辞書、４３…キーワード候補抽出部、
４４…キーワード候補抽出規則、４５…キーワード候補評価部、４６…キーワード抽出部、５０…出力装置。
Claims (6)
- 電子化された文書を単語に分割して品詞を付与する単語解析部と、キーワードの候補として抽出すべきパターンを記述したキーワード候補抽出規則と、前記単語解析部により解析された解析結果をもとに、前記キーワード候補抽出規則によりキーワード候補を抽出するキーワード候補抽出部と、前記キーワード候補の構成単語に基づいて評価するキーワード候補評価部と、前記キーワード候補評価部が評価した結果に基づいて前記キーワード候補からキーワードを抽出するキーワード抽出部とを備え、
前記キーワード候補評価部は、前記キーワード候補に対し、
（１）このキーワード候補の構成単語数あるいはこの構成単語数に応じた値、
および、
（２）このキーワード候補の構成単語ごとの当該電子化文書内における出現頻度に基づく修正単語頻度、
の双方の重み付き線形和あるいは積の値によって評価する
ことを特徴とするキーワード抽出装置。 - 請求項１に記載のキーワード抽出装置において、前記修正単語頻度は、前記キーワード候補に対し、このキーワード候補の構成単語ごとの頻度数の総和をこのキーワード候補の構成単語数で除した値とすることを特徴とするキーワード抽出装置。
- 請求項１または２に記載のキーワード抽出装置において、前記構成単語数に応じた値は、構成単語数の対数値であることを特徴とする請求項１又は２に記載のキーワード抽出装置。
- 請求項１乃至３のいずれかに記載のキーワード抽出装置において、前記キーワード抽出部が抽出したキーワードのうち、同一の構成単語を含むキーワード同士を組にして出力するキーワード出力部を備えることを特徴とするキーワード抽出装置。
- コンピュータを用いて、文書データからキーワードを抽出するためのプログラムであって、前記コンピュータを、請求項１乃至４のいずれかに記載のキーワード抽出装置の各部として機能させるためのプログラム。
- 請求項５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002315397A JP4222811B2 (ja) | 2002-10-30 | 2002-10-30 | キーワード抽出装置並びにプログラムおよび記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002315397A JP4222811B2 (ja) | 2002-10-30 | 2002-10-30 | キーワード抽出装置並びにプログラムおよび記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004151926A JP2004151926A (ja) | 2004-05-27 |
| JP4222811B2 true JP4222811B2 (ja) | 2009-02-12 |
Family
ID=32459413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002315397A Expired - Fee Related JP4222811B2 (ja) | 2002-10-30 | 2002-10-30 | キーワード抽出装置並びにプログラムおよび記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4222811B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103116587A (zh) * | 2011-11-17 | 2013-05-22 | 阿里巴巴集团控股有限公司 | 一种可缺省关键词的挖掘方法、数据搜索方法及设备 |
| JP2017004127A (ja) * | 2015-06-05 | 2017-01-05 | 富士通株式会社 | テキスト分割プログラム、テキスト分割装置、及びテキスト分割方法 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8886661B2 (en) | 2006-03-23 | 2014-11-11 | Nec Corporation | Information extraction system, information extraction method, information extraction program, and information service system |
| JP4985096B2 (ja) * | 2007-05-22 | 2012-07-25 | 富士ゼロックス株式会社 | 文書解析システム、および文書解析方法、並びにコンピュータ・プログラム |
| JP4959621B2 (ja) * | 2008-04-04 | 2012-06-27 | 株式会社野村総合研究所 | キーワード抽出システム |
| KR101931859B1 (ko) * | 2016-09-29 | 2018-12-21 | (주)시지온 | 전자문서의 대표 단어 선정 방법, 전자 문서 제공 방법, 및 이를 수행하는 컴퓨팅 시스템 |
-
2002
- 2002-10-30 JP JP2002315397A patent/JP4222811B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103116587A (zh) * | 2011-11-17 | 2013-05-22 | 阿里巴巴集团控股有限公司 | 一种可缺省关键词的挖掘方法、数据搜索方法及设备 |
| CN103116587B (zh) * | 2011-11-17 | 2015-09-09 | 阿里巴巴集团控股有限公司 | 一种可缺省关键词的挖掘方法、数据搜索方法及设备 |
| JP2017004127A (ja) * | 2015-06-05 | 2017-01-05 | 富士通株式会社 | テキスト分割プログラム、テキスト分割装置、及びテキスト分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004151926A (ja) | 2004-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7752032B2 (en) | Apparatus and method for translating Japanese into Chinese using a thesaurus and similarity measurements, and computer program therefor | |
| JP3636941B2 (ja) | 情報検索方法と情報検索装置 | |
| US5369577A (en) | Text searching system | |
| US5708829A (en) | Text indexing system | |
| US5323316A (en) | Morphological analyzer | |
| JP3719415B2 (ja) | 情報検索方法、情報検索システム、およびプログラム | |
| JP5273735B2 (ja) | テキスト要約方法、その装置およびプログラム | |
| JP2009525520A (ja) | 検索結果リストにおける電子文書を関連性に基づきランク付けおよびソートする評価方法、およびデータベース検索エンジン | |
| Gupta et al. | Text summarization of Hindi documents using rule based approach | |
| JP5718405B2 (ja) | 発話選択装置、方法、及びプログラム、対話装置及び方法 | |
| Antognini et al. | GameWikiSum: a novel large multi-document summarization dataset | |
| Gupta et al. | Features selection and weight learning for Punjabi text summarization | |
| JP4222811B2 (ja) | キーワード抽出装置並びにプログラムおよび記録媒体 | |
| JP4969209B2 (ja) | 検索システム | |
| US9009023B2 (en) | Computer-readable medium having sentence dividing program stored thereon, sentence dividing apparatus, and sentence dividing method | |
| JPH0944523A (ja) | 関連語提示装置 | |
| JP2003263441A (ja) | キーワード決定データベース作成方法、キーワード決定方法、装置、プログラム、および記録媒体 | |
| Lindemann et al. | Building corpus-based frequency lemma lists | |
| JP2007172179A (ja) | 意見抽出装置、意見抽出方法、および意見抽出プログラム | |
| Al Oudah et al. | Wajeez: An extractive automatic arabic text summarisation system | |
| JP6181890B2 (ja) | 文献解析装置、文献解析方法およびプログラム | |
| Steiner et al. | Growing trees from morphs: Towards data-driven morphological parsing | |
| JP4985096B2 (ja) | 文書解析システム、および文書解析方法、並びにコンピュータ・プログラム | |
| JP4373478B2 (ja) | 文書検索装置及び文書検索方法 | |
| JP2001357065A (ja) | 類似文検索方法及び装置並びに類似文検索プログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050218 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080603 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080718 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081118 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081118 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111128 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111128 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121128 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131128 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |