JPH10240736A - 形態素解析装置 - Google Patents

Abstract

(57)【要約】 【課題】未登録語を含むテキストの解析精度を上げる形
態素解析装置の提供。 【解決手段】入力手段１から入力された文字列は、形態
素解析手段２によって、単語に分割される。統計情報格
納手段５には未登録語である可能性の高い単語の並びが
登録され、登録する情報としては単語の表記、単語の品
詞、単語長、字種がある。未登録語推定手段７は、形態
素解析手段２の結果と、統計情報格納手段５に登録され
ているデータとを比較して、未登録語と推定できる箇所
及び範囲を検出する。その際、未登録語として検出され
るのは、形態素解析手段２によって解析失敗情報の付加
されている箇所に限らない。検出された箇所について
は、解析結果の単語区切り、品詞などを修正して出力手
段８で最終的な解析結果として出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、形態素解析装置に
関し、特に、未登録語を含むテキストを解析できるよう
にした形態素解析装置に関する。

【０００２】

【従来の技術】日本語のテキストを単語に分割する形態
素解析装置では、単語の表記と品詞を登録した単語辞
書、品詞間の接続の可否を登録した品詞接続表を使用す
るのが一般的である。

【０００３】固有名詞やカタカナ語を含めた単語数は莫
大であり、且つ、新しい単語も生じているため、単語辞
書にすべての単語を登録しておくことは、実際上不可能
である。このため、形態素解析装置では、単語辞書に登
録されていない単語（これを「未登録語」という）が含
まれているテキストの処理を規定しておく必要がある。

【０００４】従来の形態素解析装置では、単語辞書の検
索、あるいは品詞接続で失敗した箇所を対象にして、未
登録語の処理を行っている。すなわち、入力テキストの
一部が単語辞書中のどの単語とも一致しない場合や、単
語検索はできても、前後の単語との品詞接続が失敗した
場合に、未登録語の処理が必要になる。その際、未登録
語の一部が切り出されて、見かけ上、解析できる場合が
ある。そこで、解析に失敗した箇所が未登録語の一部分
である場合を考慮して、未登録語全体の範囲を推定する
処理を行う。

【０００５】未登録語の範囲を推定するための従来方法
としては、同一の文字種（漢字、カタカナなど）が連続
する部分を単語とする方法がある。例えば特開昭６３−
９５５７３号公報、特開昭６３−９５５７４号公報、あ
るいは文献（「未登録語を含む日本語文の形態素解
析」、吉村ほか、情報処理学会論文誌Ｖｏｌ．３０、Ｎ
ｏ．３、ｐｐ．２９４−３０１）等の記載が参照され
る。因みに、上記特開昭６３−９５５７３号公報には、
漢字かな混じりの日本語文の形態素解析における未知語
処理に際して、未知語は自立語であると前提することに
より、「ひらがな列」の未知語を的確に決定できるよう
にした未知語処理方法が提案されている。また、上記特
開昭６３−９５５７４号公報には、解析対象文字列の先
頭文字から２字以上漢字が連続しており、解析対象文字
列の直前の文字が漢字であった場合には先行単語の解析
に戻ることにより、より正確な解析を行い未知語処理回
数を減らすようにした形態素解析方法が提案されてい
る。

【０００６】また助詞や活用語尾になりやすいひらがな
を指標とする方法として、例えば特開平１−２２００６
７号公報、特開平２−４１５６０号公報の記載が参照さ
れる。上記特開平１−２２００６７号公報には、形態素
解析に行き詰まった文字位置を中心に入力文から部分文
字列を切り出し、この部分文字列から助詞に注目してひ
らがな未登録語を抽出することにより長いひらがなの未
登録語も精度よく抽出可能とした方式が、また上記特開
平２−４１５６０号公報には、活用語尾、付属語等のひ
らがな文字列を解析し、未登録語を自立語部分とする文
節を抽出することにより、単語辞書に収容されていない
未登録語を含む文章が入力文として与えられた時にも形
態素解析を続行できるようにした未登録語処理方式が提
案されている。

【０００７】

【発明が解決しようとする課題】上記したように、従来
の形態素解析装置では、単語辞書検索の失敗、あるい
は、前後の単語との品詞接続の失敗箇所を対象として、
未登録語処理を行っている。

【０００８】しかし、未登録語が誤った区切り方をされ
て、見掛け上解析に成功することがあり、この場合、未
登録語処理を行うことができない。たとえば、「赤峰」
という人名が未登録語であったとしても、「赤」と
「峰」という２語が単語辞書に登録されていれば、２語
からなる複合語として解析される。このため、未登録語
処理が行われず、解析を誤ったままになる、という問題
点を有している。

【０００９】したがって、本発明は、上記問題点に鑑み
てなされたものであって、その目的は、未登録語が登録
後の組み合わせに分割されて見かけ上解析に成功した箇
所についても未登録語処理の対象とすることができ、そ
の結果未登録語を含むテキストの解析精度を向上する形
態素解析装置を提供することにある。

【００１０】

【課題を解決するための手段】前記目的を達成するた
め、本発明の形態素解析装置は、日本語文字列を入力す
る入力手段と、単語に関する情報を登録した単語辞書
と、品詞の接続の可否を登録する品詞接続表と、前記単
語辞書と前記品詞接続表を使用して前記入力手段から入
力した文字列を解析する形態素解析手段と、日本語テキ
ストの解析結果から抽出した統計情報を登録する統計情
報格納手段と、前記形態素解析手段の出力と前記統計情
報格納手段に登録している統計情報を参照して未登録語
である可能性の高い範囲を検出する未登録語推定手段
と、形態素解析結果を出力する出力手段を備えることを
特徴とする。

【００１１】

【発明の実施の形態】本発明の実施の形態について以下
に説明する。本発明は、その好ましい実施の形態におい
て、単語に関する情報を登録した単語辞書（図１の３）
と、品詞の接続の可否を登録する品詞接続表（図１の
４）と、を参照して、入力手段（図１の１）から入力し
た文字列を解析する形態素解析手段（図１の２）と、解
析結果中に出現する単語の並び及び該単語の並びが未登
録語である頻度もしくは確率等の統計情報を格納した統
計情報格納手段（図１の５）と、統計情報格納手段に格
納されている情報を参照して、形態素解析手段の解析結
果から未登録語を推定し、更に未登録語として推定した
文字列が実際に単語辞書中に未登録であるかを確認し、
未登録である場合、解析結果を修正する未登録語推定手
段（図１の７）と、形態素解析結果を出力する出力手段
（図１の８）を備え、未登録語推定手段（図１の７）
は、しきい値記憶手段（図１の６）に記憶されたしきい
値と統計情報とを比較して、統計情報格納手段に格納さ
れている情報を使用するか否かを決定する。

【００１２】また、本発明は、好ましい実施の形態にお
いて、単語に関する情報を登録した単語辞書（図９の
３）と品詞の接続の可否を登録する品詞接続表（図９の
４）とを参照して入力手段（図９の１）から入力した文
字列を解析する形態素解析手段（図９の２）と、未登録
後を含まない場合の解析結果中に出現する単語の並び及
び該単語の並びの出現頻度もしくは確率情報を格納した
統計情報格納手段（図９の９５）と、統計情報格納手段
に格納されている情報を参照して前記形態素解析手段の
解析結果から未登録語を推定し、更に未登録語として推
定した文字列が実際に前記単語辞書に未登録であるかを
確認し、未登録である場合前記解析結果を修正する未登
録語推定手段（図９の９７）と、形態素解析結果を出力
する出力手段（図１の８）を備え、未登録語推定手段
（図１の９７）は、しきい値記憶手段（図１の６）に記
憶されたしきい値と統計情報とを比較して、未登録語と
みなすかどうかの判定を行う。

【００１３】このように本発明の実施の形態によれば、
未登録語が登録後の組み合わせに分割されて見かけ上解
析に成功した箇所も、未登録語処理の対象とすることが
でき、その結果、解析精度を向上する。なお、形態素解
析手段、未登録語推定手段等はコンピュータ等情報処理
装置上に実装されるプログラム及びデータで実現するこ
とができる。

【００１４】

【実施例】上記した本発明の実施の形態について更に詳
細に説明すべく、本発明の実施例について図面を参照し
て以下に説明する。

【００１５】図１は、本発明の形態素解析装置の一実施
例の構成を示すブロック図である。

【００１６】図１を参照して、本実施例は、入力手段
１、形態素解析手段２、単語辞書３、品詞接続表４、統
計情報格納手段５、しきい値記憶手段６、未登録語推定
手段７、及び、出力手段８を備えて構成されている。

【００１７】このうち、入力手段１は、文書中のテキス
トを入力する手段である。形態素解析手段２は、単語辞
書３および品詞接続表４を参照して、入力手段１から入
力されたテキストを単語に分割する。単語辞書３は、単
語の表記と品詞を記憶する。品詞接続表４は、２品詞の
組み合わせについて、隣接の可否を記憶する。統計情報
格納手段５は、解析結果中に出現する単語の組み合わせ
について、頻度あるいは確率を格納する。

【００１８】図２は、統計情報格納手段５の内容の一例
を示す図である。図２を参照して、Ａ欄は、登録されて
いる情報の番号であり、Ｂ欄には、単語の並びが、単語
の字種と単語の長さを対として記述される。Ｂ欄におい
て、左括弧及び右括弧でくくられているのが、１単語分
の情報で、初めに単語の字種、続いて単語の長さを示し
ている。またＣ欄は、Ｂ欄に記述されている単語の並び
が出現したときに、その並びが未登録語である確率を格
納している。

【００１９】図２を参照して、Ｎｏ．２のデータの例で
は、単語の並びを示す欄には、「（漢字、１）（漢字、
１）（漢字、１）」が格納されており、これは、長さが
１の漢字単語が３語連続した場合に、その３語が未登録
語である確率が０．８であることを示している。

【００２０】統計情報格納手段５に登録する内容は、上
記した字種、単語長には限定されない。また、長さや品
詞の情報を複数持たせることもできる。

【００２１】図３は、統計情報格納手段５の内容の別の
例を示す図である。図３を参照して、Ａ欄は、登録され
ている情報の番号である。Ｂ欄には、単語の並びが、単
語の字種と、単語の長さ、品詞で記述される。Ｂ欄にお
いて、左括弧及び右括弧でくくられているのが１単語分
の情報であり、初めに単語の字種、続いて単語の長さ、
単語の品詞が記述される。Ｃ欄は、Ｂ欄に記述されてい
る単語の並びが出現したときに、その並びが未登録語で
ある確率を格納している。

【００２２】図３において、単語並び欄における、記号
“／”は複数の情報のいずれか、また“−”は数値の範
囲、“＊”は任意の値を許すことを示している。

【００２３】図３を参照すると、Ｎｏ．１のデータの例
では、長さが２で字種が漢字の名詞が２語連続した場合
に、その２語が未登録語である確率が０．１２であるこ
とを示しており、Ｎｏ．２のデータの例では、長さが１
で字種が漢字の名詞が２語連続し、その後に、長さが１
で字種が漢字で、品詞が名詞または接尾（すなわち名詞
／接尾）である単語がある場合に、その３語が未登録語
である確率が０．７８であることを示している。また、
Ｎｏ．３のデータの例では、長さが１から３（長さ１−
３）で字種がカタカナの名詞の後に、長さが２で字種が
カタカナで品詞は任意の単語（品詞が＊）がある場合
に、その２語が未登録語である確率が０．６３であるこ
とを示している。

【００２４】統計情報格納手段５に登録する内容に、未
登録語の前後、あるいはその一方の単語の情報を含める
こともできる。

【００２５】図４は、統計情報格納手段５の内容の別の
例を示す図である。図４を参照して、Ａ欄、Ｂ欄は、図
２のＡ欄（登録されている情報の番号）、Ｂ欄（単語の
並びを、単語の字種と単語の長さを対として記述する）
と同様である。Ｄ欄は、Ｂ欄の前の単語列の情報を記述
し、Ｅ欄は後の単語の情報を記述する。Ｃ欄は、Ｄ欄、
Ｂ欄、Ｅ欄に合致する単語の並びがあるときにＢ欄で記
述する部分が未登録語である確率を記述する。その際、
Ｄ欄、Ｅ欄に対応する単語が未登録語かどうかは考慮し
ない。

【００２６】図４を参照して、Ｎｏ．１のデータの例で
は、長さが１の漢字単語が３語連続し、その前後に長さ
１のひらがな単語がある場合、３語の漢字単語が未登録
語である確率が０．８であることを示している。なお、
Ｄ欄、Ｅ欄で“＊”が記述してあるのは、任意の単語列
を示す。例えば図４を参照して、Ｎｏ．２のデータの例
では、長さが２のカタカナ単語が２語連続し、その後に
長さ１の漢字単語がある場合、２語のカタカナ単語が未
登録語である確率が０．６８であることを示している。

【００２７】統計情報格納手段５に登録する内容に、単
語の字種だけでなく表記そのものを記述するようにして
もよい。図５は、統計情報格納手段５の内容の別の例を
示す図である。図５を参照して、Ａ欄、Ｂ欄、Ｃ欄、Ｄ
欄、Ｅ欄は、図４のそれぞれの対応する欄と同様であ
る。ただし、単語情報として単語表記を使用でき、引用
符でくくって記述している。

【００２８】図５を参照して、Ｎｏ．１のデータの例で
は、長さが１の漢字単語が３語連続し、その前に長さ１
のひらがな単語があり、後に“を”または“の”がある
場合、３語の漢字単語が未登録語である確率が０．８で
あることを示している。

【００２９】また、単語表記の一部分を使用することも
できる。例えば未登録語の直前の単語については最後の
文字だけ、直後の単語については先頭の文字だけを使用
することが考えられる。

【００３０】再び図１を参照して、しきい値記憶手段６
は、統計情報格納手段５に登録されている個々の情報の
うち、解析に使用する情報を決定するためのしきい値を
記憶する。

【００３１】未登録語推定手段７は、統計情報格納手段
５を使用して、形態素解析手段２の解析結果から未登録
語を推定して、解析結果を修正する。未登録語推定手段
７は、統計情報格納手段５に登録されている情報を使用
するかどうかを決めるために、しきい値記憶手段６を参
照する。また、未登録語と推定した文字列が、実際に未
登録語であるか否かを確認するために、単語辞書３を参
照する。

【００３２】図６は、本実施例における未登録語推定手
段７の動作を説明するための流れ図である。図６を参照
して、未登録語推定手段７の動作について説明する。

【００３３】解析結果の末尾であるか否かを判定し（ス
テップ６１）、最後まで処理したならば終了する（ステ
ップ６１のＹｅｓ分岐）。

【００３４】解析結果の未処理部分の先頭部分を、統計
情報格納手段５で検索する（ステップ６２）。検索の際
に、解析結果は、統計情報格納手段５に登録されている
情報に合わせ、字種や単語長の情報に変換する。統計情
報格納手段５に登録されていない場合には（ステップ７
２の「なし」分岐）、処理対象を先頭の次の単語にして
検索を繰り返す（ステップ６６）。

【００３５】統計情報格納手段５から検索したデータの
確率を、しきい値記憶手段７に記憶されているしきい値
と比較する（ステップ６３）。この確率がしきい値より
も小さい場合には（ステップ６３の「ＮＧ」分岐）、処
理対象を先頭の次の単語を対象にして検索を繰り返す
（ステップ６６）。

【００３６】確率としきい値の比較判定で確率がしきい
値以上である場合（ステップ６３の「ＯＫ」分岐）、統
計情報格納手段５に登録されていた情報の未登録語部分
と対応する単語列の表記が単語辞書３に登録されている
かどうかを調べる（ステップ６４）。単語辞書３に登録
されている場合には（ステップ６４の「登録」分岐）、
未登録語ではないので、処理対象を先頭の次の単語を対
象にして検索を繰り返す（ステップ６６）。

【００３７】単語辞書３に登録されていない場合には
（ステップ６４の「未登録」分岐）、解析結果のうち統
計情報格納手段５に登録されていた情報の未登録語部分
と対応する単語列を未登録語に変更する（ステップ６
５）。

【００３８】再び図１を参照して、出力手段８は、未登
録語推定手段５で修正した形態素解析結果を出力する。

【００３９】以下では、具体例として、「会議はハルビ
ンで開催する。」という日本語テキストの例を用いて、
本実施例の動作を説明する。

【００４０】統計情報格納手段５には、図２に示した情
報が登録されているものとする。また、単語辞書３に
は、「ハルビン」という単語は登録されておらず、しき
い値記憶手段６には、しきい値として０．７５が記憶さ
れているものとする。

【００４１】（ａ）入力手段１から上記の「会議はハル
ビンで開催する。」というテキストが入力される。

【００４２】（ｂ）形態素解析手段２によってテキスト
は単語に分割される。分割結果の例を図７に示す。図７
では、解析結果として、単語の表記と、品詞を示してい
る。すなわち、「会議」（名詞）、「は」（助詞）、
「ハル」（人名）、「ビン」（名詞）、「で」（助
詞）、「開催」（サ変名詞）、「する」（サ変語尾）、
「。」（記号）、と分割されている。「ハルビン」が単
語辞書３に登録されていないため、「ハル」と「ビン」
の２語として解析されている。

【００４３】（ｃ）解析結果が未登録語推定手段７に渡
され、未登録語の推定が行われる。

【００４４】（ｄ）解析結果の先頭部分を統計情報格納
手段５から検索する（図６のステップ６２）。解析結果
の先頭部分を、統計情報格納手段５に登録されている字
種と単語長の形式に合わせて直すと、（漢字、２）、
（ひらがな、１）、（カタカナ、２）、（カタカナ、
２）、…、という並びになり、これは統計情報格納手段
５に登録されていない。

【００４５】（ｅ）２番目の単語から始まる、（ひらが
な、１）、（カタカナ、２）、（カタカナ、２）、（ひ
らがな、１）、…、という並び（「はハルビンで…」）
を統計情報格納手段５で検索するが、これも登録されて
いないため、検索位置を３単語目からに変更する。

【００４６】（ｆ）（カタカナ、２）、（カタカナ、
２）、（ひらがな、１）、（漢字、２）、…、という並
び（「ハルビンで開催…」）を、統計情報格納手段５で
検索する。図２のＮｏ．３のデータが、先頭部分に一致
する。

【００４７】（ｇ）図２のＮｏ．３のデータの確率０．
８と、しきい値記憶手段７に記憶されているしきい値
０．７５と、を比較する（図６のステップ６３）。この
場合、データの確率の方が大きいので次の処理に進む。

【００４８】（ｈ）登録されていたデータ（カタカナ、
２）（カタカナ、２）に対応する単語の表記「ハルビ
ン」が単語辞書３に登録されているかどうかを調べる
（図６のステップ６４）。この例では単語辞書３に登録
されていない。

【００４９】（ｉ）このため解析結果を修正する。この
修正結果を図８に示す。解析結果を修正した結果、図８
に示すように「ハル」と「ビン」とがひとつの未登録語
となっている。すなわち、「ハルビン」はその品詞とし
て未登録語とされている。

【００５０】（ｊ）残りの解析結果についても同様に統
計情報格納手段５の検索を行う。この例では、一致する
データが検索されない。

【００５１】（ｋ）解析結果の最後まで処理したら、未
登録語推定手段７の処理を終了する（図６のステップ６
１）。

【００５２】（ｌ）修正された解析結果が出力手段８に
渡される。

【００５３】以上のようにして、最初は分割を誤ってい
た未登録語の「ハルビン」がひとつの単語として解析さ
れる。

【００５４】以上の本実施例の動作の説明では、統計情
報格納手段５として、図２に示す形式を用いたが、他の
形式の場合にも同様に実行できる。また、未登録語の品
詞として「未登録語」を与えたが、前後の文字列を基に
品詞を推定する技術が知られており、この技術を本実施
例に適用してもよいことは勿論である。

【００５５】以上の実施例では、統計情報格納手段５に
登録する統計情報として、登録する単語列が未知語であ
る条件付き確率を使用しているが、以下のような情報を
使用することもできる。

【００５６】（１）統計情報を調べたテキストにおい
て、登録する単語列が未登録語として出現した回数。

【００５７】（２）上記回数をテキスト中の単語数で割
ったもの（テキスト全体での出現確率）。

【００５８】また統計情報格納手段５に格納するデータ
を、確率あるいは出現回数で予め制限することもでき
る。登録する情報の信頼性を高めるため、確率と出現回
数の両方が一定以上のものを登録することもできる。

【００５９】字種の区分について、上記実施例で示した
ほかに、数字、漢数字、英字、句読点などを区別するこ
とも考えられる。

【００６０】ひとつの単語で複数の字種を含む場合に
は、（１）数の多いもので代表させる、（２）先頭また
は末尾の文字の字種を用いる、（３）字種の優先順位を
決めておく、（４）それぞれの字種で統計情報を検索し
数値の大きいもの（あるいは小さいもの）を優先する、
などの方法が考えられる。

【００６１】次に本発明の第２の実施例について図面を
参照して説明する。

【００６２】図９は、本発明の形態素解析装置の第２の
実施例の構成を示すブロック図である。

【００６３】図９を参照して、入力手段１、形態素解析
手段２、単語辞書３、品詞接続表４、しきい値記憶手段
６、出力手段８は、図１に示した前記実施例と同じであ
るため、その説明を省略する。

【００６４】統計情報格納手段９５は、未登録語を含ま
ない場合の解析結果中に出現する単語の組み合わせにつ
いて、頻度あるいは確率を格納する。

【００６５】図１０は、統計情報格納手段９５の内容の
一例を示す図である。図１０を参照して、Ａ欄は登録さ
れている情報の番号である。Ｂ欄は解析結果に出現した
単語の並びを単語の字種と単語の長さで記述する。左括
弧及び右括弧でくくられているのが１単語分の情報であ
り、初めに単語の字種、続いて単語の長さを記述してい
る。Ｃ欄は記述される単語の並びの出現確率を記述して
あり、頻繁に出現する単語の並びほど確率が大きくな
る。

【００６６】図１０を参照して、Ｎｏ．２のデータの例
では、統計情報を獲得するのに使用したテキスト中での
連続する２単語の延べ数に占める、長さが１の漢字単語
が２語連続した場合の数の割合が０．０００６であるこ
とを示している。図１０の例では、２単語の組み合わせ
について確率が登録されているが、他の語数の組み合わ
せについても登録できる。

【００６７】なお、統計情報格納手段９５において、単
語の情報として、品詞や単語の表記を利用することもで
きるのは、前記第１の実施例と同様である。

【００６８】未登録語推定手段９７は、統計情報格納手
段９５を利用して、形態素解析手段２の解析結果から未
登録語を推定して、解析結果を修正する。未登録語推定
手段９７は、解析結果に含まれる単語の並びのうち出現
確率の小さなものを未登録語と推定する。未登録語と見
なすかどうかの判定に、しきい値記憶手段６を参照す
る。また、未登録語と推定した文字列が実際に未登録語
であるかどうかを確認するために単語辞書３を参照す
る。

【００６９】図１１は、本発明の第２の実施例における
未登録語推定手段９７の動作を説明するための流れ図で
ある。図１１を参照して、未登録語推定手段７の動作に
ついて説明する。

【００７０】解析結果の末尾であるか判定し（ステップ
１１１）、最後まで処理したならば終了する（ステップ
１１１のＹｅｓ分岐）。

【００７１】解析結果の未処理部分の先頭部分を統計情
報格納手段９５で検索する（ステップ１１２）。検索の
際に、解析結果は統計情報格納手段９５に登録されてい
る情報に合わせ、字種や単語長の情報に変換する。統計
情報格納手段９５に登録されていない場合には（ステッ
プ１１２の「なし」分岐）、ステップ１１４の単語辞書
３の参照に進む。

【００７２】統計情報格納手段９５に登録されている場
合には（ステップ１１２の「あり」分岐）、統計情報格
納手段９５から検索したデータの確率をしきい値記憶手
段７に記憶されているしきい値と比較する（ステップ１
１３）。

【００７３】比較の結果、確率がしきい値よりも大きい
場合には（ステップ１１３のＮＧ）、処理対象を先頭の
次の単語を対象にして検索を繰り返す（ステップ１１
６）。

【００７４】比較の結果、確率がしきい値以下の場合に
は（ステップ１１３の「ＯＫ」分岐）、統計情報格納手
段９５に登録されている情報に対応する単語列の表記が
単語辞書３に登録されているか否かを調べる（ステップ
１１４）。

【００７５】単語辞書３に登録されている場合には（ス
テップ１１４の「登録」分岐）、未登録語ではないの
で、処理対象を先頭の次の単語を対象にして検索を繰り
返す（ステップ１１６）。

【００７６】単語辞書３に登録されていない場合には
（ステップ１１４の「未登録」分岐）解析結果のうち統
計情報格納手段９５に登録されていた情報と対応する単
語列を未登録語に変更する（ステップ１１５）。

【００７７】以下では、「会議はハルビンで開催す
る。」という日本語テキストの例を用いて本実施例の動
作を説明する。統計情報格納手段９５には、図１０に示
した情報が登録されているものとする。また、単語辞書
には、「ハルビン」という単語は登録されておらず、し
きい値記憶手段６にはしきい値として０．００５が記憶
されているものとする。

【００７８】（ａ）入力手段１から上記のテキストが入
力される。

【００７９】（ｂ）形態素解析手段２によってテキスト
は単語に分割される。分割結果の例を図７に示す。

【００８０】（ｃ）解析結果が未登録語推定手段９７に
渡され、未登録語の推定が行われる。

【００８１】（ｄ）解析結果の先頭部分を統計情報格納
手段９５から検索する（ステップ１１２）。検索結果の
先頭部分を統計情報格納手段９５に登録されている字種
と単語長の形式に合わせて直すと、（漢字、２）、（ひ
らがな、１）、（カタカナ、２）、（カタカナ、２）、
…、という並びになる。（漢字、２）、（ひらがな、
１）という並びが、図１０のＮｏ．１のデータにマッチ
し、確率が０．０１になる。

【００８２】（ｅ）図１０のＮｏ．１のデータの確率
０．０１としきい値記憶手段７に記憶されているしきい
値０．００５とを比較する（ステップ１１３）。データ
の確率の方が大きいので、次の単語の処理に進む（ステ
ップ１１６）。

【００８３】（ｆ）３番目の単語から始まる「ハル」、
「ビン」の処理の時に、（カタカナ、２）、（カタカ
ナ、２）という並びが、図１０のＮｏ．３のデータにマ
ッチし、確率が０．０００６になる。

【００８４】（ｇ）データの確率０．０００６としきい
値記憶手段７に記憶されている値０．００５を比較す
る。データの確率の方が小さいので次の処理に進む。

【００８５】（ｈ）登録されていたデータ（カタカナ、
２）、（カタカナ、２）に対応する単語の表記「ハルビ
ン」が単語辞書３に登録されているか否かを調べる（ス
テップ１１４）。この例では登録されていない。

【００８６】（ｉ）解析結果を修正する。修正結果は、
図８に示すようになる。「ハル」と「ビン」がひとつの
未登録語となっている。

【００８７】（ｊ）残りの解析結果についても同様に統
計情報格納手段９５の検索を行う。この例では、しきい
値より小さな確率を持つデータは検索されない。

【００８８】（ｋ）解析結果の最後まで処理したら未登
録語推定手段９７の処理を終了する（ステップ１１
１）。

【００８９】（ｌ）修正された解析結果が出力手段８に
渡される。

【００９０】以上のように、最初は分割を誤っていた未
登録語の「ハルビン」がひとつの単語として解析され
る。本実施例では、しきい値記憶手段６には、単一の数
値を記憶しているが、単語数に応じて別の値を使用する
こともできる。図１２に、複数のしきい値を記憶するし
きい値記憶手段６の例を示す。すなわち、図１２を参照
して、単語数に応じて異なるしきい値が設定されてい
る。

【００９１】

【発明の効果】以上説明したように、本発明の形態素解
析装置によれば、未登録語が登録後の組み合わせに分割
されて見かけ上解析に成功した箇所も、未登録語処理の
対象とすることができ、その結果、解析精度を向上す
る、という効果を奏する。

【００９２】また、本発明の形態素解析装置によれば、
使用する統計情報を選別するしきい値を変更すること
で、未登録語の漏れを減らす、あるいは未登録語の検出
精度を高めるかを選択することができる、という効果も
有する。

【図面の簡単な説明】

【図１】本発明の一実施例の構成を示すブロック図であ
る。

【図２】本発明の一実施例における統計情報格納手段５
の内容の一例を示す図である。

【図３】本発明の一実施例における統計情報格納手段５
の内容の第２の例を示す図である。

【図４】本発明の一実施例における統計情報格納手段５
の内容の第３の例を示す図である。

【図５】本発明の一実施例における統計情報格納手段５
の内容の第４の例を示す図である。

【図６】本発明の一実施例における未登録語推定手段７
の動作を説明するための流れ図である。

【図７】本発明の一実施例を説明するための図であり、
形態素解析手段２の解析結果の例を示す図である。

【図８】本発明の一実施例を説明するための図であり、
未登録語推定手段７によって修正された解析結果の例を
示す図である。

【図９】本発明の第２の実施例の構成を示すブロック図
である。

【図１０】本発明の第２の実施例における統計情報格納
手段９５の内容の一例を示す図である。

【図１１】本発明の第２の実施例における未登録語推定
手段９７の動作を説明するための流れ図である。

【図１２】本発明の実施例におけるしきい値記憶手段６
の変形例を示す図である。

【符号の説明】

１ 入力手段 ２ 形態素解析手段 ３ 単語辞書 ４ 品詞接続表 ５、９５ 統計情報格納手段 ６ しきい値記憶手段 ７、９７ 未登録語推定手段 ８ 出力手段

Claims (11)

【特許請求の範囲】
1. 【請求項１】文字列を入力する入力手段と、 単語に関する情報を登録した単語辞書と、 品詞の接続の可否を登録する品詞接続表と、 前記単語辞書と前記品詞接続表とを参照して前記入力手
   段から入力した文字列を解析する形態素解析手段と、 文字列の解析結果から抽出した統計情報を登録する統計
   情報格納手段と、 前記形態素解析手段の出力と前記統計情報格納手段に登
   録されている統計情報とを参照して未登録語である可能
   性の高い範囲を検出する未登録語推定手段と、 形態素解析結果を出力する出力手段と、 を備えたことを特徴とする形態素解析装置。
2. 【請求項２】前記統計情報格納手段が、未登録語を含ま
   ない文書の解析結果から抽出した統計情報を登録し、 前記未登録語推定手段が、前記形態素解析手段の解析結
   果から前記統計情報格納手段に登録されていない組み合
   わせを未登録語として抽出する、 ことを特徴とする請求項１記載の形態素解析装置。
3. 【請求項３】前記統計情報格納手段が、未登録語を含む
   文書の解析結果から抽出した統計情報を登録し、 前記未登録語推定手段が、前記形態素解析手段の解析結
   果から前記統計情報格納手段に登録されている組み合わ
   せを未登録語として抽出する、 ことを特徴とする請求項１記載の形態素解析装置。
4. 【請求項４】前記統計情報格納手段に登録される統計情
   報が、単語の長さおよび字種の並びから取り出した情報
   を含む、 ことを特徴とする請求項２又は３記載の形態素解析装
   置。
5. 【請求項５】前記統計情報格納手段に登録される統計情
   報が、単語の長さ、字種、および品詞の並びから取り出
   した情報を含む、 ことを特徴とする請求項２又は３記載の形態素解析装
   置。
6. 【請求項６】前記統計情報格納手段に登録される統計情
   報が、単語の表記、長さ、字種、および品詞の並びから
   取り出した情報を含む、 ことを特徴とする請求項２又は３記載の形態素解析装
   置。
7. 【請求項７】単語に関する情報を登録した単語辞書と品
   詞の接続の可否を登録する品詞接続表とを参照して入力
   した文字列を解析する形態素解析手段と、 単語の並び、及び、該単語の並びが未登録語である頻度
   もしくは確率などの統計情報を格納した統計情報格納手
   段と、 前記統計情報格納手段に格納されている情報を参照して
   前記形態素解析手段の解析結果から未登録語を推定し、
   更に未登録語として推定した文字列が実際に前記単語辞
   書に未登録であるかを確認し、未登録である場合には前
   記形態素解析手段の解析結果を修正する未登録語推定手
   段と、 を含むことを特徴とする形態素解析装置。
8. 【請求項８】単語に関する情報を登録した単語辞書と品
   詞の接続の可否を登録する品詞接続表とを参照して入力
   した文字列を解析する形態素解析手段と、 未登録後を含まない場合の文字列中に出現する単語の並
   び、及び、該単語の並びの出現頻度もしくは確率などの
   統計情報を格納した統計情報格納手段と、 前記統計情報格納手段に格納されている情報を参照して
   前記形態素解析手段の解析結果から未登録語を推定し、
   更に未登録語として推定した文字列が実際に前記単語辞
   書に未登録であるかを確認し、未登録である場合には前
   記形態素解析手段の解析結果を修正する未登録語推定手
   段と、 を含むことを特徴とする形態素解析装置。
9. 【請求項９】前記未登録語推定手段が、前記統計情報格
   納手段に格納されている単語の並びが入力文字列の解析
   結果と照合した際、前記単語の並びの統計情報を予め定
   めたしきい値として比較して未登録語の推定を行うこと
   を特徴とする請求項７又は８記載の形態素解析装置。
10. 【請求項１０】単語に関する情報を登録した単語辞書と
    品詞の接続の可否を登録する品詞接続表とを参照して入
    力した文字列を解析する形態素解析処理と、 単語の並び及び該単語の並びが未登録語である頻度もし
    くは確率情報を格納した統計情報格納手段に格納されて
    いる情報を参照して、前記形態素解析処理の解析結果か
    ら未登録語を推定し、更に未登録語として推定した文字
    列が実際に前記単語辞書に未登録であるかを確認し、未
    登録である場合には、前記形態素解析処理による解析結
    果を修正して形態素解析結果を出力する処理と、 の上記各処理を情報処理装置で実行させるプログラムを
    記録した記録媒体。
11. 【請求項１１】単語に関する情報を登録した単語辞書と
    品詞の接続の可否を登録する品詞接続表とを参照して入
    力した文字列を解析する形態素解析処理と、 未登録後を含まない場合の文字列中に出現する単語の並
    び及び該単語の並びの出現頻度もしくは確率情報を格納
    した統計情報格納手段に格納されている情報を参照し
    て、前記形態素解析処理の解析結果から未登録語を推定
    し、更に未登録語として推定した文字列が実際に前記単
    語辞書に未登録であるかを確認し、未登録である場合に
    は、前記形態素解析処理による解析結果を修正して形態
    素解析結果を出力する処理と、 の上記各処理を情報処理装置で実行させるプログラムを
    記録した記録媒体。