JPH09330331A

JPH09330331A - 成句検出方法

Info

Publication number: JPH09330331A
Application number: JP8147715A
Authority: JP
Inventors: Takashi Kanbayashi; 隆神林
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1996-06-10
Filing date: 1996-06-10
Publication date: 1997-12-22

Abstract

(57)【要約】【課題】名詞語の出現順序を調査して成句検出を行う
ことにより、辞書に未登録の語もキーワード候補となる
ことを可能にする。【解決手段】形態素解析部３１は、日本語テキスト４
１を形態素解析し、品詞情報を持った形態素の順序配列
４２を得る。成句候補作成部３２は、形態素順序配列４
２を順に走査して、名詞語が２語以上連続している時
に、それを名詞語リストとして、その出現回数を付加し
て成句候補リスト４４に登録する。成句検出部（１）３
３は、成句候補リスト４４を走査して、出現回数が２回
以上の名詞語リストを成句として検出する。また、出現
回数が１回の名詞語リストは細分割リスト４５に登録す
る。成句検出部（２）３４は、細分割リスト４５の各名
詞語リストについて部分名詞語リストを作成し、２回以
上出現した部分名詞語リストを成句として検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は成句検出方法に係
り、詳しくは日本語テキストからのキーワード抽出に好
適な成句検出方法に関するものである。

【０００２】

【従来の技術】近年、ＷＷＷ（Ｗorld Ｗide Ｗed）の
発展に伴い、インターネット上に公開されている情報を
集めてきて、それに対する検索インデックスを作成して
提供する、検索エンジンが日本でも数多く発表されてい
る。利用者が検索エンジンに対してあるキーワードを入
力すると、検索エンジンは検索インデックスを走査し
て、そのキーワードを含む情報を利用者に提示する。集
めてきたテキスト情報からのキーワードが抽出がうまく
いけば、よりよい検索インデックスが出来上がり、検索
エンジンの質が高くなる。

【０００３】テキスト情報からキーワードを抽出するに
は、まず、テキストを語に分割し、次に、各語の頻度を
計算し、頻度に重み付けをして、最後に、重み付けの高
い語をキーワードとして選択する、というのが一般的で
ある。

【０００４】英語の場合、各語はスペース（空白）によ
って区切られているので、スペースを基に分割してやる
だけで十分であるが、日本語の場合、基本的に文章内に
語を分けるスペースは存在しないので、形態素解析を行
なう必要がある。形態素解析を行うことにより、日本語
テキストは形態素、つまり、語に分割することができ
る。

【０００５】大部分の形態素解析は辞書に基づいて行な
われており、辞書に登録されている語は正しく分割され
るが、登録されていない語は、未定議語として一字ごと
に分割されてしまうか、登録されている複数の語に分割
される。つまり、特定の専門分野の用語などは、キーワ
ードとなる可能性が非常に高いのにもかかわらず、辞書
に登録されていないために、バラバラの語に分割されて
しまい、キーワードとして抽出され得ないという問題が
ある。

【０００６】

【発明が解決しようとする課題】本発明の目的は、形態
素解析の結果、辞書に未登録のため、細かく分割されて
しまった複数の語を、キーワード抽出時のキーワード候
補となるように、一つの語（成句）として検出すること
にある。

【０００７】

【課題を解決するための手段】本発明では、名詞以外の
語は成句となり得ないと仮定し、日本語テキストについ
て形態素解析した各語の出現順序のうち、名詞語のみの
出現順序に着目する。出現順序が連続している名詞語の
並びを検索し、それが同一テキスト内で２回以上出現し
ている場合は、その名詞語の並びを成句（一つの語）と
見なすことにする。

【０００８】また、１回しか出現していない名詞語の並
びに関しては、できるだけ長い成句が検出されるよう
に、構成される名詞語の数が多い順に名詞語の並びを部
分的に切り出して、部分名詞語列を求める。これらの名
詞語列について出現回数を調べ、２回以上出現する部分
名詞語列については成句と見なすことにする。

【０００９】日本語の場合、複数の名詞語の出現順序が
連続しているということは、それらの名詞語がテキスト
内ではくっついていたことを示しており、辞書には登録
されていないものの、一つの語であった可能性がある。
さらに、それらが同一テキスト内で２回以上出現してい
るということは、それらがテキスト内で意識的に用いら
れたことを示している。したがって、このような名詞語
の並びは、キーワードとなり得る意味のある一つの語で
あると推定される。また、連続して出現した名詞語の並
びの部分名詞語列についても出現回数を調べるので、検
出される成句が名詞語の並びの区切りと一致していなく
ても、検出が可能である。

【００１０】

【発明の実施の形態】以下、本発明の一実施例について
図面を用いて説明する。図１に、本発明にかかるシステ
ムの概略ブロック図を示す。本システムは、成句検出対
象の日本語テキスト等を入力する入力装置１０、検出さ
れた成句等を出力する出力装置２０、本発明の成句検出
を司る処理装置（ＣＰＵ）３０、及び、処理装置３０の
作業用メモリ等に用いられるメモリ装置４０からなる。
処理装置３０は、機能上、形態素解析部３１と成句候補
作成部３２と成句検出部（１）３３と成句検出部（２）
３４に大別される。また、メモリ装置４０には、入力さ
れた日本語テキスト４１、検出された成句リスト４８、
さらに、後述の各途中結果データ４２〜４７などが格納
される。

【００１１】図２に、本発明による成句検出処理の概略
フローチャートを示す。ここで、成句検出対象の日本語
テキストは、入力装置２０より入力され、処理装置３０
を通してすでにメモリ装置４０に取り込まれているとす
る。

【００１２】形態素順序配列設定１００：形態素解析部
３１にて、まず、日本語テキスト４１を形態素解析し
て、各形態素（語）を出現順に配列した形態素順序配列
４２を得る。形態素順序配列４２の各形態素（語）は、
当該形態素の品詞情報を保持している。

【００１３】成句候補リスト作成１１０：成句候補作成
部３２では、形態素順序配列４２を順に走査して、名詞
語が２語以上連続する形態素の集合を名詞語リスト４３
として抽出し、成句候補リスト４４に登録する。成句候
補リスト４４内の名詞語リストは出現回数を保持してお
り、同一の名詞語リストが抽出されると、成句候補リス
ト４４に登録済みの該当名詞語リストの出現回数を１つ
増やす。

【００１４】成句検出（１）１２０：成句検出部（１）
３３では、成句候補リスト４４を走査して、出現回数が
２回以上の名詞語リストについて、当該名詞語リストの
各要素（形態素）を結合して一語とし、成句として成句
リスト４８に登録する。また、成句候補リスト４４を走
査して、出現回数が１回の名詞語リストは細分割リスト
４５に登録する。

【００１５】成句検出（２）１３０：成句検出部（２）
３４では、細分割リスト４５の各名詞語リストについ
て、構成される形態素の個数の多い順に部分名詞語リス
ト４６に分割し、該部分名詞語リスト４６を要素とする
部分成句候補リスト４７を作成する。そして、該部分成
句候補リスト４７を走査して、２回以上出現した部分名
詞語リストを成句として成句リスト４８に登録する。

【００１６】図３乃至図８に各処理の詳細フローチャー
ト、図９乃至図１２に具体的処理例を示す。以下、これ
らの図に基づいて各処理の詳細を説明する。

【００１７】図３は、形態素順序配列設定の詳細フロー
チャートである。まず、形態素順序配列４２を空に、ｉ
（出現順序）を０に初期化する（ステップ２０１，２０
２）。次に、日本語テキスト４１を形態素解析して得ら
れる各形態素を、順次、ｉをインデックスとして形態素
順序配列４２に格納し（ステップ２０３）、ｉを１つ増
やす（ステップ２０４）。これを、解析して得られる形
態素がなくなるまで続ける（ステップ２０５）。この結
果、例えば図９の具体例において、日本語テキストが
（Ａ）のような内容の場合、形態素順序配列は（Ｂ）の
ようになる。

【００１８】図４は、成句候補リスト作成の詳細フロー
チャートである。まず、成句候補リスト４４を空に、さ
らに、名詞語リスト４３も空に、ｉを０に初期化する
（ステップ３０１，３０２，３０３）。次に、ｉをイン
デックスとする形態素を形態素順序配列４２から取り出
し（ステップ３０４）、その形態素が名詞かどうか判定
する（ステップ３０５）。そして、名詞の場合は、当該
形態素を名詞語リスト４３に加え（ステップ３０６）、
ステップ３１１，３１２を経てステップ３０４に戻り、
次の形態素を取り出す。一方、名詞でない場合は、そこ
が成句候補の区切りとなるので、その時点での名詞語リ
スト４３の要素（形態素）の個数を調べる（ステップ３
０７）。ここで、名詞語リスト４３が２個以上ある場合
のみ、同一の名詞語リストが既に成句候補リスト４４に
登録済みか判定し（ステップ３０８）、登録済みであれ
ば、成句候補リスト４４中の該当名詞語リストの出現回
数を１つ増やし（ステップ４０９）、未登録であれば、
当該名詞語リスト４３を成句候補リスト４４に登録し、
その出現回数を１とする（ステップ４１０）。その後、
名詞語リスト４３の要素の個数に関係なく、名詞語リス
ト４３を新たに初期化する（ステップ４１１）。これに
より、名詞語が連続して出現しない場合には、成句とは
なり得ないため除外される。以上の動作を、ｉが形態素
順序配列４２の最大インデックスになるまで続ける（ス
テップ４１３）。この結果、図９の具体例の場合、
（Ｃ）に示すように、「形態／素／解析」が出現回数２
として成句候補リスト４４に登録される。

【００１９】図５は、成句検出（１）の詳細フローチャ
ートである。まず、細分割リスト４５を空に初期化する
（ステップ４０１）。次に、成句候補リスト４４の要素
である名詞語リストを１つ取り出し（ステップ４０
２）、その出現回数を調べる（ステップ４０３）。そし
て、出現回数が２以上の名詞語リストの場合は、それは
成句と認められるので、当該名詞語リストの要素を１つ
の語にして成句とし、成句リスト４８に登録する（ステ
ップ４０４）。また、出現回数が１のものは、細分割リ
スト４５に登録する（ステップ４０５）。これを、成句
候補リスト４４の要素（名詞語リスト）がなくなるまで
続ける（ステップ４０６）。この結果、図９の例の場
合、名詞語リスト「形態／素／解析」が成句として認め
られ、「形態素解析」が成句リスト４８に登録される。

【００２０】図６は、成句検出（２）の全体のフローチ
ャートである。成句検出（２）は、図１０に例を示すよ
うに、細分割リスト４５の要素である１回しか出現して
いない連続した名詞語の並び（名詞語リスト）の中で
も、部分的に一致するものがある時は、その部分名詞語
リストを成句として検出するものである。この場合、で
きるだけ長い成句（図１０の例では、３つの名詞語を含
む部分名詞語リスト「共出頻度係数」）から先に検
出されるように、部分名詞語リストを求め、出現回数を
調べる必要がある。

【００２１】図６のフローチャートにおいて、まず、前
処理として、成句検出（１）の処理で得られた細分割リ
スト４５を、名詞語リストの要素の個数が多い順にソー
トして（ステップ５０１）、最もたくさんの要素を持つ
名詞語リストの要素の個数ＬＥＮを求め、それから１つ
減じた数ｌｅｎを、求める部分名詞語リストの要素の個
数として初期設定する（ステップ５０２）。図１０の例
では、ＬＥＮ＝４、ｌｅｎ＝３である。次に、細分割リ
スト４５の名詞語リストについて、ｌｅｎ個の要素を持
つ部分名詞語リスト４６に順次分割して、該部分名詞語
リスト４６を要素とする部分成句候補リスト４７を作る
（ステップ５０３）。なお、部分成句候補リストの作成
処理の詳細については、図７で後述する。この部分成句
候補リスト４７の要素である部分名詞語リストを順に走
査していき（ステップ５０４）、当該名詞語リストがす
でに成句として成句リスト４８に登録されている場合、
および、全く同一の部分名詞語リストが該部分成句候補
リスト４７内にある（つまり、２回以上出現している）
場合は、当該部分名詞語リストを一語にして成句として
検出し、すでに登録済みのものを除いて、該検出された
成句を成句リスト４８に登録する（ステップ５０５，５
０６）。

【００２２】その後、この部分名詞語リストを成句とし
て検出した後処理として、当該部分名詞語リストを含む
すべての名詞語リストを細分割リスト４５から抜き出
し、該抜き出した各名詞語リストに関して細分割リスト
４５を修正する（ステップ５０７）。なお、この細分割
リストの修正処理の詳細については、図８で後述する。

【００２３】部分成句候補リスト４７内の、ｌｅｎ個の
要素を持つ各部分名詞語リストについて、以上の成句検
出を繰り返す（ステップ５０８）。そして、それが終了
した場合、ｌｅｎの値を１つ減らし（ステップ５０
９）、再び部分成句候補リスト４７を作成して同様に成
句検出を行う。これを、ｌｅｎの値が２になるまで繰り
返す（ステップ５１０）。ｌｅｎの値が１の名詞語は成
句となり得ないので、ｌｅｎ＝１のケースは処理する必
要がない。

【００２４】図１０の例の場合、ｌｅｎ＝３では、図１
１に示すように、（Ａ）の細分割リストに対して、部分
成句候補リストは（Ｂ）のようになり、「共用頻度係
数」の部分名詞語リストが（Ｃ）のように成句として検
出される。また、ｌｅｎ＝２では、図１２に示すよう
に、修正処理後の（Ａ）の細分割リストに対して、部分
成句候補リストは（Ｂ）のようになり、「共用頻度」の
部分名詞語リストが（Ｃ）のように成句として検出され
る。

【００２５】図７は、長さｌｅｎの部分名詞語リストを
要素とする部分成句候補リスト作成の詳細フローチャー
トである。まず、部分成句候補リスト４７を空に初期化
し（ステップ６０１）、細分割リスト４５の要素である
１回しか出現していない連続した名詞語の並び（名詞語
リスト）を順に走査し（ステップ６０２）、その名詞語
リストの要素の個数がｌｅｎ以上か判定する（ステップ
６０４）。そして、当該名詞語リストの要素の個数がｌ
ｅｎと同じ時には、当該名詞語リストそのものを部分成
句候補リスト４７に登録する（ステップ６０５）。この
結果、図１１の（Ｂ）に示すように、ｌｅｎ＝３の場
合、「共出頻度ベクトル」、「共出頻度情報」が
そのまま部分成句候補リスト４７に登録される。一方、
当該名詞語リストの要素の個数がｌｅｎより長い時に
は、当該名詞語リストの先頭（又は最後）から順に要素
数ｌｅｎの部分名詞語リストに分割して、それらを部分
成句候補リスト４７に登録する（ステップ６０６）。こ
の結果、図１１の場合、例えば「個別共出頻度係
数」は「個別共出頻度」と「個別頻度係数」の
部分名詞語リストに分割されて、部分成句候補リスト４
７に登録される。図１２のｌｅｎ＝２の場合についても
同様である。以上の処理を、細分割リスト４５のすべて
の名詞語リストについて繰り返す（ステップ６０７）。

【００２６】図８は、細分割リストの修正の詳細フロー
チャートである。これは、部分名詞語リストを成句とし
て検出した後処理として、その部分名詞語リストを含む
すべての名詞語リストを細分割リスト４５から抜き出
し、この抜き出した各名詞語リストに関して、細分割リ
ストを修正してやる処理である。

【００２７】まず、細分割リスト４５の名詞語リストを
走査して（ステップ７０１）、当該名詞語リストが成句
として検出した部分名詞語リストを含むか判定する（ス
テップ７０２）。そして、成句の部分名詞語リストを含
む場合、当該名詞語リストについて、部分名詞語リスト
前の部分としての前部分名詞語リストと、部分名詞語リ
ストより後ろの部分としての後部分名詞語リストを抽出
して、それぞれ細分割候補リストとする（ステップ７０
３）。例えば、図１０の例の場合、「高共出頻度」が
成句として検出される部分名詞語リストであるので、
「高」が前部分名詞語リスト、「語」が後部分名詞語リ
ストとなる。この細分割候補リストの前および後部分名
詞語リストを順に走査し（ステップ７０４）、当該部分
名詞語リストの要素の個数が２以上で、当該部分名詞語
リストと同一のものが成句リスト４８に登録されていな
い場合に限り、この前あるいは後部分名詞語リストを、
細分割リスト４５の適当な位置（その部分名詞語リスト
の要素の個数と同じ部分名詞語リストのソート位置）に
付け加える（ステップ７０５，７０６，７０７）。細分
割候補リストの前および後部分名詞語リストの走査をす
べて終えたなら（ステップ７０８）、当該名詞語リスト
を細分割リストから取り除く（ステップ７０９）。以上
の処理を、細分割リスト４５の各名詞語リストについて
繰り返す。

【００２８】

【発明の効果】本発明では、日本語テキストの形態素解
析された後の名詞語のみの出現順序を調査し、連続して
出現する名詞語の並びが２回以上出現する場合に成句と
して検出することにより、辞書に登録されていない語で
も、キーワード候補となるべき一つの語として扱うこと
が可能となる。また、本発明では、連続して出現した名
詞語の並びの部分名詞語列についても出現回数を調べる
ので、検出される成句が名詞語の並びの区切りと一致し
ていなくても、成句の検出が可能である。

【図面の簡単な説明】

【図１】本発明にかかる一実施例のシステム構成図であ
る。

【図２】本発明の全体の処理フローチャートである。

【図３】形態素順序配列の設定の詳細フローチャートで
ある。

【図４】成句候補リストの作成の詳細フローチャートで
ある。

【図５】２回以上出現する名詞語リストの成句検出の詳
細フローチャートである。

【図６】部分名詞語リストの成句検出の全体的フローチ
ャートである。

【図７】長さｌｅｎの部分成句候補リスト作成の詳細フ
ローチャートである。

【図８】検出した部分名詞語リストによる細分割リスト
の修正の詳細フローチャートである。

【図９】成句候補リストの具体的処理例である。

【図１０】名詞語リストの部分一致による成句検出の具
体例である。

【図１１】長さｌｅｎ＝３の部分一致による成句検出の
処理例である。

【図１２】長さｌｅｎ＝２の部分一致による成句検出の
処理例である。

【符号の説明】

１０入力装置２０出力装置３０処理装置３１形態素解析部３２成句候補作成部３３成句検出部（１）３４成句検出部（２）４０メモリ装置４１日本語テキスト４２形態素順序配列４３名詞語リスト４４成句候補リスト４５細分割リスト４６部分名詞語リスト４７部分成句候補リスト４８成句リスト

Claims

【特許請求の範囲】

【請求項１】日本語テキストを形態素解析し、その結
果得られる品詞情報を持った形態素の列に対して、名詞
語のみの出現順序を調査し、連続して出現する名詞語の
並びが２回以上出現する場合に、その名詞語の並びを成
句とすることを特徴とする成句検出方法。
【請求項２】請求項１記載の成句検出方法において、
１回しか出現していない名詞語の並びについては、出来
上がる部分名詞語列が含む名詞語数の多い順に、その語
数だけの名詞語を持つ部分名詞語列を求め、これらの部
分名詞語列に対して出現回数を調査し、出現回数が２回
以上になる部分名詞語列を成句とすることを特徴とする
成句検出方法。