JP3332142B2 - 形態素解析装置とその方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の単語が結合
されて構成される用語をその構成要素である複数の単語
に分解する形態素解析において既に正しく形態素解析さ
れた情報を用例として蓄積し、この用例を利用して文字
列の形態素解析を行う形態素解析装置とその方法に関す
る。

【０００２】

【従来の技術】従来の形態素解析装置（文献：久光、新
田「尤度つき形態素解析の汎用アルゴリズムとそれを利
用した尤度基準」信学論、DII,Vol.J77,D-2,No.5,pp.95
9-969,1994年 5月参照）では、品詞別に記述された単語
辞書と品詞の接続ルールを記述した連接辞書を参照する
ことによって、入力された文字列であるテキストを解析
し、単語境界、単語の品詞情報等を抽出している。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来の形態素解析装置では、漢字を中心とした簡易な解析
法を用いていたため、特に複合語の文字列に対して単語
境界や読み誤りが多く発生していた。

【０００４】例えば、「日本産業開発会社債権者会」を
形態素解析すると、正しくは「日本｜産業｜開発｜会｜
社債権者｜会」のところを「日本｜産業｜開発｜会社｜
債権者｜会」というような形態素解析がなされることが
多い。ここで、「日本産業開発会社」というものは実在
しないものとする。

【０００５】このように、長い複合語を形態素解析する
には、単語固有の属性、複合語内の構造、複合語の長さ
等の要因が複雑に影響しあうことを考慮せねばならず困
難な問題を含んでいた。

【０００６】更に、膨大な量の単語辞書と連接辞書の作
成に手間がかかり、また辞書を新規作成したり拡張する
などのメンテナンス作業にも手間取った。

【０００７】本発明は、上記に鑑みてなされたもので、
その目的とするところは、単語辞書や連接辞書を作成す
ることなく、長い複合語に対しても正しい形態素解析を
容易に行うことができる形態素解析装置とその方法を提
供することにある。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、請求項１記載の本発明は、各語句をキーワードと
し、該語句を正しく形態素に分割した形態素情報を用例
として格納するデータファイルを備えた形態素解析装置
が行う形態素解析方法であって、前記形態素解析装置に
設けられた最長一致検索手段が、入力された文字列の部
分文字列を前記データファイルに格納された各キーワー
ドと照合して、キーワードに対して最も長く一致する部
分文字列を検索し、前記形態素解析装置に設けられた抽
出手段が、前記検索した部分文字列の形態素情報を前記
データファイルから抽出し、前記形態素解析装置に設け
られた連結手段が、前記検索および抽出を繰り返して、
前記入力された文字列を組み立てる各部分文字列の形態
素情報を抽出し、この抽出した各部分文字列の形態素情
報を連結することを要旨とする。

【０００９】また、請求項２記載の本発明は、各語句を
キーワードとし、該語句を正しく形態素に分割した形態
素情報を用例として格納するデータファイルと、入力さ
れた文字列の部分文字列を前記データファイルに格納さ
れた各キーワードと照合して、キーワードに対して最も
長く一致する部分文字列を検索する最長一致検索手段
と、この最長一致検索手段で検索した部分文字列の形態
素情報を前記データファイルから抽出する抽出手段と、
前記最長一致検索手段および前記抽出手段による処理を
繰り返して、前記入力された文字列を組み立てる各部分
文字列の形態素情報を抽出し、この抽出した各部分文字
列の形態素情報を連結する連結手段とを有することを要
旨とする。

【００１０】本発明にあっては、各語句をキーワードと
し、該語句を正しく形態素に分割した形態素情報を用例
としてデータファイルに格納しておき、入力文字列の部
分文字列を各キーワードと照合して、最も長く一致する
部分文字列を検索し、この検索した部分文字列の形態素
情報をデータファイルから抽出する検索・抽出処理を繰
り返して、入力文字列を組み立てる各部分文字列の形態
素情報を抽出し、この各部分文字列の形態素情報を連結
して、入力文字列を形態素解析した結果を得ている。

【００１１】

【発明の実施の形態】以下、図面を用いて本発明の実施
の形態について説明する。

【００１２】図１は、本発明の一実施形態に係る形態素
解析装置の構成を示すブロック図である。本実施形態の
形態素解析装置は、各語句を正しく形態素解析した結果
を用例としてデータファイルに格納しておき、この格納
した用例を利用して比較的長い複合語を形態素解析する
ものであり、各語句をキーワードとし、該語句を正しく
形態素に分割した形態素情報を用例として格納するデー
タファイル１と、文字列情報を入力する文字情報入力部
２と、この入力された文字列の部分文字列をデータファ
イル１に格納された各キーワードと照合して、キーワー
ドに対して最も長く一致する部分文字列をデータファイ
ル１から検索して抽出する検索抽出処理を繰り返し行っ
て、入力文字列を構成する各部分文字列を抽出する最長
一致検索抽出部３と、この最長一致検索抽出部３で抽出
された各部分文字列の形態素情報を連結して組み立てる
組立連結部４と、この組立連結部４で連結された形態素
情報を入力文字列の解析結果として出力する解析結果出
力部５とを有する。

【００１３】データファイル１は、図２に示されるよう
に、既に正しく形態素解析された語句についての形態素
情報１１が用例として格納されている。法人名、個人名
はすべて実在するものが格納されている。

【００１４】このデータファイル１は、前記語句をキー
ワード１０としている。例えば、項番１にあるように、
キーワード１０の語句「日本産業開発会」に対する形態
素情報１１は、

【表１】 と記述されている。

【００１５】文字情報入力部２は、本実施形態の形態素
解析装置で形態素解析させる文字情報を入力する。本装
置で形態素解析させるのに効果的な文字情報は長い複合
語である。

【００１６】最長一致検索抽出部３は、前記データファ
イル１を参照して、データファイル１のキーワード１０
と前記文字情報入力部２から入力した文字情報の部分文
字列とを照合して最長一致検索し、検索が一致した部分
の形態素情報を抽出する。

【００１７】文字情報として「日本産業開発会社債権者
会」が入力された場合について具体的に説明する。ま
ず、入力文字列の最初の１文字「日」を検索キーとして
設定し、この検索キーとキーワード１０の最初の１文字
とを照合する。その結果、項番１「日本産業開発会」、
項番６「日本工業振興会」、項番７「日本産業協会」が
検索候補に挙げられる。

【００１８】次に、検索キーを、入力文字列の最初の２
文字「日本」として、データファイル１を検索する。そ
の結果も、前回の「日」を検索キーとした場合と同様の
検索結果が得られる。

【００１９】次に、検索キーを、入力文字列の最初の３
文字「日本産」として、データファイル１を検索する
と、項番１「日本産業開発会」と項番７「日本産業協
会」が検索候補に挙げられる。次に検索キーを入力文字
列の最初の４文字「日本産業」としたときも同様に、項
番１と項番７が検索候補に挙げられる。そして、検索キ
ーを入力文字列の最初の５文字「日本産業開」としたと
きに、項番１の「日本産業開発会」のみが検索候補とし
て挙がる。

【００２０】更に、検索キーを入力文字列の最初の７文
字「日本産業開発会」とした場合も、項番１が検索候補
に挙げられるが、検索キーを入力文字列の最初の８文字
「日本産業開発会社」としたときは１件も検索候補が挙
がらない。従って、検索キーの７文字「日本産業開発
会」がキーワード１０の項番１と最長一致し、更に前記
検索キーは項番１のキーワード１０全体と一致している
ので、項番１の形態素情報１１「日本｜産業｜開発｜
会」（｜は形態素の区切りを示す）を抽出する。入力文
字列の「日本産業開発会」部分が形態素解析されたこと
になる。

【００２１】次に、入力文字列の「日本産業開発会」以
外の残りの部分文字列「社債権者会」については、前記
と同様に、この部分文字列の最初の１文字「社」から順
に１文字ずつ増やしたものを検索キーとして設定する。
この場合は、検索キーを「社」としてから、検索キーを
１文字ずつ増やして「社債権者会」とするまで、項番２
の「社債権者会」のみが検索候補として挙げられる。従
って、入力文字列の部分文字列「社債権者会」がキーワ
ード１０の項番２と最長一致したとして、項番２の形態
素情報１１「社債｜権者｜会」が抽出される。

【００２２】入力文字列の「社債権者会」以降には文字
がないので、入力文字列に対する形態素解析を終える。

【００２３】以上のように、最長一致検索抽出部３で
は、データファイル１のキーワード１０と照合する入力
文字列の検索キーを、入力文字列の部分文字列の最初か
ら１文字ずつ増やして設定し、検索候補が挙がらなくな
るまで検索キーの文字数を増やし続ける。検索候補が挙
がらなくなった直前の検索キーがキーワード１０と最長
一致したものであり、キーワード１０との部分一致でな
く全体一致したときに、このときの形態素情報１１を抽
出する。

【００２４】組立連結部４は、前記入力文字列の部分文
字列毎に抽出された形態素情報１１を連結して、入力文
字列全体に対する形態素情報を組み立てて、これが前記
入力文字列を形態素解析した結果とする。

【００２５】例えば、前記のような入力文字列「日本産
業開発会社債権者会」の場合には、入力文字列の部分文
字列「日本産業開発会」と部分文字列「社債権者会」に
対する各形態素情報１１「日本｜産業｜開発｜会」と
「社債｜権者｜会」とを連結して、入力文字列「日本産
業開発会社債権者会」に対する各形態素情報「日本｜産
業｜開発｜会｜社債｜権者｜会」を得る。解析結果出力
部５は、入力文字列を上記のように形態素解析した結果
を出力する。

【００２６】次に、上記構成の形態素解析装置の動作を
図３のフローチャートを用いて説明する。

【００２７】ステップＳ１：文字情報入力部２にて、形
態素解析する文字列を入力する。

【００２８】ステップＳ２：まず、部分文字列番号ｉに
１を設定する。ここでｉは、前記入力文字列を、データ
ファイル１のキーワード１０と最長一致する部分文字列
に分けたときの、部分文字列の順番を示す。例えば、前
記入力文字列「日本産業開発会社債権者会」の場合に
は、データファイル１のキーワード１０と最長一致する
「日本産業開発会」はｉ＝１の部分文字列であり、「社
債権者会」はｉ＝２の部分文字列である。このステップ
Ｓ２からステップＳ１０までの処理は、最長一致検索抽
出部３で行われる。

【００２９】ステップＳ３：部分文字列中の文字の順番
を示す文字番号ｊに１を設定する。

【００３０】ステップＳ４：ｉ番目の部分文字列のｊ番
目の文字をＭ（ｉ，ｊ）とする。

【００３１】例えば、前記と同様の入力文字列「日本産
業開発会社債権者会」の場合には、１番目の部分文字列
「日本産業開発会」については、

【表２】 ２番目の部分文字列「社債権者会」については、

【表３】 というように、Ｍ（ｉ，ｊ）が設定される。

【００３２】以降では、新たに文字列「ＮＴＴ情報通信
研究所総務課」と入力された場合について説明する。最
初はどこまでが部分文字列番号ｉ＝１の部分文字列だか
不明であるが、最初の文字「Ｎ」をＭ（１，１）とす
る。

【００３３】ステップＳ５：Ｍ（ｉ，ｊ）がブランク
（空白）となっているか否かを判断する。ブランクであ
れば、ステップＳ９へ進み、ブランクでなければステッ
プＳ６へ進む。

【００３４】つまり、Ｍ（ｉ，ｊ）がブランクであれ
ば、入力文字列の最後の文字がＭ（ｉ，ｊ−１）であ
り、入力文字列が終わったことがわかり、以降の検索処
理は行わず、ステップＳ９へ進む。

【００３５】ステップＳ６：ｉ番目の部分文字列Ｍ
（ｉ，１）・・・Ｍ（ｉ，ｊ）を検索キーとして、この
検索キーとデータファイル１のキーワード１０の前方か
らｊ番目までの文字とを照合してデータファイル１を検
索する。最初は、Ｍ（１，１）に設定される「Ｎ」１文
字が検索キーとなる。検索キー「Ｎ」でデータファイル
１を検索すると、キーワード１０の最初の文字が「Ｎ」
である項番３「ＮＴＴ情報通信研究所」と項番８の「Ｎ
ＴＴ通信研究所」と項番９「ＮＴＴ」と項番１０「ＮＨ
Ｋ」と項番１１「ＮＨＫ技術研究所」の５件が検索候補
に挙げられる。

【００３６】ステップＳ７：ステップＳ６で、ｊ文字の
部分文字列からなる検索キーとキーワード１０の前方か
らｊ文字の文字列とを照合した結果、ｊ文字文の部分検
索にて検索候補が挙げられたか否かを判断し、検索候補
が挙げられればステップＳ８へ進み、挙げられなければ
ステップＳ９へ進む。

【００３７】ステップＳ８：ステップＳ７で検索候補が
挙げられたので、次に検索キーの文字数を１文字増やす
ために文字番号ｊに１を加えてステップＳ４へ戻る。例
えば、最初ｊ＝１に１を加えてｊ＝２とし、ステップＳ
４以降において、Ｍ（１，２）に入力文字列の２番目の
文字「Ｔ」を設定し、検索キーを「ＮＴ」として検索す
る準備を行う。

【００３８】ステップＳ９：ステップＳ５で入力文字列
の最後が検出されるか、あるいは、ステップＳ７で検索
候補が挙げられなかったときに、ｊ−１分の文字列とし
ての検索キー「Ｍ（ｉ，１）・・・Ｍ（ｉ，ｊ−１）」
がキーワード１０の全文字列との完全一致か否かを判断
する。キーワード１０との全体一致であれば、ステップ
Ｓ１０へ進み、全体一致でなければステップＳ１１へ進
む。

【００３９】ステップＳ１０：ステップＳ７で検索キー
「Ｍ（ｉ，１）・・・Ｍ（ｉ，ｊ）」では検索候補が挙
げられず、更に、ステップＳ９ではｊ−１文字からなる
検索キー「Ｍ（ｉ，１）・・・Ｍ（ｉ，ｊ−１）」によ
る検索でデータファイル１の所定の項番にあるキーワー
ド１０の全文字列と最長一致すると、この最長一致した
キーワード１０の所定の項番にある形態素情報１１を抽
出する。これでｉ番目の部分文字列に対する形態素解析
が得られたことになる。

【００４０】例えば、ステップＳ８でｊ＝１１となり、
検索キー「ＮＴＴ情報通信研究所総」のときステップＳ
７でデータファイル１の検索では検索候補が挙がらない
ため、ｊ＝１０のときの検索キー「ＮＴＴ情報通信研究
所」がデータファイル１の項番３にあるキーワード１０
の全文字列と最長一致したことになる。そこで、項番３
の形態素情報「ＮＴＴ｜情報｜通信｜研究｜所」を抽出
する。

【００４１】ステップＳ１１：ステップＳ９で、ｉ番目
の部分文字列についてはキーワード１０と全体一致せ
ず、ｉ−１番目までの部分文字列に対してはそれぞれに
対応するキーワード１０と全体一致しているのでステッ
プＳ１０で得られたｉ−１番目までの部分文字列に関す
るそれぞれの形態素情報１１を出力し、また、ｉ番目の
部分文字列に対しては一致するキーワード１０がないこ
とを出力する。

【００４２】ステップＳ１２：入力文字列のうち、未検
索の文字列があるか否かを判断し、未検索の文字列があ
ればステップＳ１３へ進み、未検索の文字列がなければ
ステップＳ１４へ進む。

【００４３】ステップＳ１３：部分文字列番号ｉに１を
加え、次に部分文字列に関する最長一致検索を行うため
に、ステップＳ３へ戻る。

【００４４】例えば、前記と同様の例では、入力文字列
が「ＮＴＴ情報通信研究所総務課」のとき、１番目の部
分文字列「ＮＴＴ情報通信研究所」の形態素情報がステ
ップＳ１０で抽出されると、入力文字列のうち「総務
課」が未検索であるので、部分文字列番号ｉが２とな
り、「総務課」部分は２番目の部分文字列となる。そし
て、この部分文字列「総務課」に関する最長一致検索を
ステップＳ３以降の処理で前記と同様に行う。

【００４５】ステップＳ１４：ステップＳ１２で未検索
の入力文字は無いと判断され、入力文字列に対する形態
素情報の抽出が完了したので、組立連結部４で、１番目
からｉ（最後の部分文字列の番号）番目の部分文字列に
対する各形態素情報を連結して、入力文字列全体の形態
素情報を得る。

【００４６】つまり、入力文字列に対する形態素解析が
終わったことになる。

【００４７】ステップＳ１５：解析結果出力部５で、前
記入力文字列に対する形態素解析の結果を出力する。

【００４８】上記のように本実施形態によれば、既に正
しく形態素解析された結果を組み合わせることにより、
長い複合語の形態素解析の結果を得ているため、従来の
ように誤った形態素解析をするようなことがない。

【００４９】また、データファイル１の拡張のために
は、単に新たな語句に対して正しく形態素解析した結果
を追加補充すればよくデータファイル１のメンテナンス
作業は容易にできる。

【００５０】更に、本実施形態では、従来のような単語
辞書や連接辞書を必要とせず、また、当然これらの辞書
を新規作成したり拡張したりの面倒なメンテナンス作業
を要することはない。

【００５１】更に、単語固有の属性や複合語内の構造な
どを考慮せずとも長い複合語の形態素解析が容易に正し
くできる。

【００５２】なお、本発明は上記実施形態に限定される
ことなく様々な実施の態様をとり得る。例えば、本実施
形態では、長い複合語の形態素解析を行うことを説明し
たが、データファイル１に格納されている用例そのも
の、すなわち、キーワード１０にある語句が入力されて
も、この語句に対する形態素解析の結果を当然得ること
ができる。

【００５３】

【発明の効果】以上説明したように、本発明によれば、
各語句をキーワードとし、該語句を正しく形態素解析し
た形態素情報をデータファイルに格納しておき、入力文
字列の部分文字列を各キーワードと照合して最長一致検
索を行い、各部分文字列の形態素情報を抽出し、この抽
出した各形態素情報を連結して入力文字列に対する形態
素解析結果を得ているので、入力文字列が長い複合語で
あっても、この長い複合語を組み立てる各語句をデータ
ファイル上のキーワードとの最長一致検索により得るこ
とにより正しい形態素解析結果を容易に得ることができ
る。

【００５４】また、本発明によれば、単語固有の属性や
複合語内の構造などを考慮せずとも長い複合語の形態素
解析が容易に正しくできる。更に、従来のような単語辞
書や連接辞書を必要とせず、また、これらの辞書を新規
更新する面倒なメンテナンス作業も必要なくなる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る形態素解析装置の構
成を示すブロック図である。

【図２】図１の形態素解析装置に使用されているデータ
ファイルの構成を示す図である。

【図３】図１の形態素解析装置の作用を示すフローチャ
ートである。

【符号の説明】

１ データファイル ２ 文字情報入力部 ３ 最長一致検索抽出部 ４ 組立連結部 ５ 解析結果出力部

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 各語句をキーワードとし、該語句を正し
   く形態素に分割した形態素情報を用例として格納するデ
   ータファイルを備えた形態素解析装置が行う形態素解析
   方法であって、 前記形態素解析装置に設けられた最長一致検索手段が、
   入力された文字列の部分文字列を前記データファイルに
   格納された各キーワードと照合して、キーワードに対し
   て最も長く一致する部分文字列を検索し、前記形態素解析装置に設けられた抽出手段が、前記 検索
   した部分文字列の形態素情報を前記データファイルから
   抽出し、前記形態素解析装置に設けられた連結手段が、 前記検索
   および抽出を繰り返して、前記入力された文字列を組み
   立てる各部分文字列の形態素情報を抽出し、この抽出し
   た各部分文字列の形態素情報を連結することを特徴とす
   る形態素解析方法。
2. 【請求項２】 各語句をキーワードとし、該語句を正し
   く形態素に分割した形態素情報を用例として格納するデ
   ータファイルと、 入力された文字列の部分文字列を前記データファイルに
   格納された各キーワードと照合して、キーワードに対し
   て最も長く一致する部分文字列を検索する最長一致検索
   手段と、 この最長一致検索手段で検索した部分文字列の形態素情
   報を前記データファイルから抽出する抽出手段と、 前記最長一致検索手段および前記抽出手段による処理を
   繰り返して、前記入力された文字列を組み立てる各部分
   文字列の形態素情報を抽出し、この抽出した各部分文字
   列の形態素情報を連結する連結手段とを有することを特
   徴とする形態素解析装置。