JPS6395572A - 日本語文形態素解析における未知語処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 技術分野 この発明は１日本語文形態素解析における未知語処理方
法に関するものであり、漢字かな混じりの日本語文を英
語文に自動翻訳する日英翻訳機をはじめ、光学的文字読
取装置（○ＣＲ）や音声ワープロなどにも応用し得るも
のである。

従来技術 日英翻訳機等においては、入力された日本語文の形態素
解析を行なって、その解析結果として日本語構文解析等
に必要な情報を辞書システムより検索して構文解析部へ
送出する処理がなされている。

そして、この形態素解析処理において、その解析用単語
辞書に登録されていない文字列があった場合には、それ
を「未知語」として処理しなければならない。

このような日本語文の形態素解析方法については１例え
ば、工業技術院　電子技術総合研究所発行（昭和５９年
１月）の「日英科学技術文献の速報システムに関する研
究、日本記形態素解析システム説明ｉ　（Ｓｙｍｂｏｌ
ｉｃＳ３６００版）Ｖｅｒｓｉｏｎ、　Ｉ　Ｊに記載さ
れている。

しかしながら、このような従来の漢字かな混じ゛りの日
本語文の形態素解析における未知語処理方法では、辞書
検索に失敗した際、直前単語を変更できなかったら一意
的に、その直前単語の先頭を未知語部の先頭としていた
ため、「ひらがな列」に対する解析に尤度がないという
問題点があった。

目　　　的 この発明は上記の点に鑑みてなされたものであり、漢字
かな混じりの日本語文の形態素解析における未知語処理
に際して、未知語は自立語であるという前提のもとに、
「ひらがな列」の未知語を的確に決定できるようにする
ことを目的とする。

眉二」父 この発明は上記の目的を達成するため、漢字かな混じり
の日本語文から解析対象文字列を切り出し、その解析対
象文字列に対して単語辞書を検索して候補単語を抽出し
、その候補単語のいずれかを選択して確定処理を行なう
と共に、候補単語を抽出できず、且つ先行単語の変更が
不可能となった時には未知語の処理を行なう日本語文形
態素解析において、 未知語部０先頭文字がひらがなであったとき、その先頭
文字の次の文字からひらがな以外の字種を探索し。

ひらがな以外の字種が検出できたら、その検出文字から
単語抽出を行ない、１つでも候補単語を検出できたら上
記先頭文字から上記検出文字の直前の文字までを未知語
とし、 ひらがな以外の字種が検出できなかったら、上記先頭文
字の次の文字から順に単語抽出を行なって、自立語であ
る候補単語を検出できたらその自立語の直後の文字から
さらに単語抽出を行ない、１つでも候補単語が検出でき
たら上記先頭文字から上記自立語の直前の文字までを未
知語と決定するようにしたものである。

以下、この発明の一実施例に基づいて具体的に説明する
。

第１図はこの発明を実施した形態素解析処理のブロック
図であり、１は解析対象文字列作成部。

２は単語抽出部、３は単語選択部、４は確定処理部であ
る。

解析対象文字列作成部１は、入力された漢字かな混じり
の日本語文から単語選択部３で選択した単語の区切りま
でを除いた残りの文字列を「解析対象文字列」とする。

単語抽出部２は、形態素解析用辞書（単語辞書）２ａを
検索すると共に１２品詞分類表２ｂ、活用語尾表２Ｃ，
接続重み行列表２ｄ、及び文節末可否表２８を用いて解
析対象文字列に対する候補単語を抽出し、「候補単語り
スト」を作成する。

単語選択部３は、単語抽出部２によって作成された「候
補単語りスト」が空でなかったら、そのリストの直前単
語を「単語リスト」に積む。

そして、「候補単語りスト」の各単語に対して評価式に
より評価値を求め、その中で最大の評価値をもつ単語を
第一候補とする。

もし「候補単語りスト」が空であって、先行単語の変更
が不可能となった時には未知語処理を行なうが、その詳
細は後述する。

確定処理部４は、単語選択部３によって作成された「単
語りスト」から「確定単語リスト」を作成する処理を行
なって次のプロセスに移る。

次に、第２図のフローチャートによって、単語選択部３
におけるこの発明による「ひらがな列」に関する未知語
処理について説明する。

なお、第２図において、Ｐは文字列のポインタで、先頭
は「０」である、Ｑは単語の表記の長さであり、ＫＫＲ
は先行単語の掛りコード（接続重み行列表の検索に利用
）であって、未知語のデフォルト値はｒｌｏＯＪとする
。

解析対象文字列に対する「候補単語りスト」が空で、且
つ先行単語の変更が不可能である場合に未知語処理を行
なうが、その際に未知語部（未知語処理の対象となる文
字列）の先頭文字がひらがなであった時に、この第２図
のフローチャートに従って未知語処理を行なう。

まず、ステップ１ではポインタＰは「０」で、ステップ
２でＱをｒＯＪにする。　次いで、ステップ３でポイン
タＰを＋１すると共にＫＫＲを「１００」にする。

そして、ステップ４（１１Ｊ断１）でポインタＰの゛指
す位置の字種を判定する。

その結果、「ひらがな以外」の字種であれば、ステップ
１５へ進んでその文字（以下「検出文字」という９から
単語抽出処理を行ない、その結果をステップ１６（判断
２）で判定する。

この判定で候補単語リストが「空」でなければ、すなわ
ち候補単語が１つ以上検出できていれば。

ステップ１７でＰ＝ＯからＰ＝Ｐ（現在値）−１まで、
すなわち先頭文字から検出文字の直前の文字までの文字
列を未知語と決定してこのルーチンを抜ける。

候補単語リストが「空」であれば、候補単語が１つも検
出できなかったので、ステップ３へ戻って、ポインタＰ
をさらに１つ進めて同様の処理を繰り返す。

一方、ステップ４でポインタＰの指す位はの字種が「ひ
らがなＪであった時には、ステップ５へ進んで単語抽出
処理を行なう。

すなわち、未知語部の先頭文字の次の文字から。

第１図の形態素解祈用辞書２　ａ、品詞分類表２ｂ。

活用語尾表２ｃ、及び接続重み行列表２ｄを検索して候
補単語の抽出を行ない、「候補単語りストＪを作成する
。

そして、ステップ６でその結果が「空」であるか否かを
判断し、「空」であればステップ３へ戻り、ポインタＰ
をさらに１進めて同様の処理を繰り返す。

ステップ６で「空」でなければ候補単語があるので、ス
テップ７でその中に助詞が有るか否かを判断し、無けれ
ばステップ１８　（判断３）へ進んで、候補単語中に自
立語（名詞、動詞、形容詞。

形容動詞、副詞など）があるか否かを判断する。

その結果、自立語がなければステップ３へ戻るが、自立
語があればステップ１９へ進み、その自立語の単語の表
記の長さをＱとし、その掛りコードをＫＫＲとして、ス
テップ２０でポインタＰをＰ十〇にする（Ｑだけ進める
）。

そして、ステップ２１で上記自立語の直後の文字から単
語抽出処理を行なって、その結果をステップ２２（判断
４）で判定し、候補単語リストが「空」でなければ、後
述するステップ１４へ進み、「空」であればステップ２
３へ進んでポインタＰをＰ−Ｑにして（Ｑだけ戻して）
ステップ３へ戻る。

ステップ１４では、ｐ＝ｏからＰ＝Ｐ（現在値）−Ｑ−
１まで、すなわち先頭文字から自立語の直前の文字まで
の文字列を未知語と決定してこのルーチンを抜ける。

ステップ７で助詞が有と判断すると、ステップ８へ進ん
でその助詞の表記の長さをＱにし、ステップ９でその助
詞の掛りコードをＫＫＲにし、さらにステップＩＯでポ
インタＰをＱだけ進めてＰ十〇にする。

そして、ステップ１１でポインタＰの指す文字の字種を
判定する。すなわち、探索された助詞の直後の文字が字
種変化を起こしているか否かを判断する。

その文字が「ひらがな以外」であれば１字種変化を起こ
しているのでステップ１４へ進み、Ｐ＝０〜Ｐ＝Ｐ（現
在値）−Ｑ−１の文字列、すなわち先頭文字から助詞の
直前の文字までの文字列を未知語と決定する。

ステップ１１の判断で「ひらがな」であれば。

字種変化を起こしていないのでステップ１２へ進み、助
詞の直後の文字からステップ５と同様な単語抽出処理を
行なう。

そして、ステップ１３でその結果を判断して。

「候補単語リスト」が「空」であれば、候補単語が見つ
からなかったので、ステップ２４でポインタをＰ−Ｑ（
助詞の先頭文字）にしてステップ３へ戻り、ポインタを
１つ進めて同様な処理を繰り返す。

ステップ１３で「候補単語リスト」が「空」でなければ
、候補単語があったのでステップ１４へ進み、前述のよ
うにＰ＝ＯからＰ＝Ｐ（現在値）−ｆｌ−１まで、この
場合は先頭文字から助詞の直前の文字までの文字列を未
知語と決定してこのルーチンを抜ける。

ここで、具体的な例として、「我社はごがん路線を歩ま
ない。」という日本語文が入力された場合について説明
する。

形態素解析用辞書に「ごかん」が登録されてなかったと
すると、未知語部（未知語処理対象の文字列）の先頭文
字が「ご」となり、その未知語部の文字列とポインタＰ
との関係は次のようになる。

Ｐ−＋０１２３４５６７８９１０ どかん路線を歩まない。

そして、第２図の処理がＰ＝３まで進んだところで字種
変化が起き、ステップ４　（判断ｌ）からとステップ１
５へ進んで単語抽出処理を行なう。

それによって、候補単語として「路線」（名詞）が抽出
できるので、ステップ１６（判断２）からステップ１７
へ進んで、Ｐ＝０の「ご」からＰ＝Ｐ（現在値）−１＝
３−１＝２の「ん」までの文字列「ごかん」が未知語と
決定される。

次に、他の具体例として、「この列車はしなかわどまり
だ。」という日本語文が入力され、形態素解析用辞書に
「しなかわ」が登録されていなかった場合、未知語部の
先頭文字が「シ」となり。

その文字列とポインタＰとの関係は次のようになる。

Ｐ→０　１　２３４５６７８ しながわどまりだ。

この場合、第２図のステップ３〜６の処理がＰ＝２まで
進んだところで、格助詞「が」（Ｑ＝１）が検出でき、
ステップ７〜１２へ進んで、ポインタＰを３　（Ｐ＋１
１１＝２＋１＝３）　にして、「わ」から単語抽出処理
（ステップ１２）を行なうが。

その結果は候補単語が見つからす「空Ｊとなる。

そこで、ステップ１３からステップ２４へ進んでポイン
タＰをＱだけ戻して２にし、ステップ３へ戻って「わど
・・・」の未知語処理を進める。

そして、Ｐ＝４のときのステップ５の単語抽出処理で、
候補単語としてｒどまり」（動詞：自立語、Ｑ＝３）が
検出される。

それによりステップ１８〜２１へ進み、ポインタＰを７
　（Ｐ＋１２＝４＋３＝７）にして単語抽出処理（ステ
ップ２１）を行なう。

ここで、候補単語として断定の助動詞「だ」が検出され
るので、ステップ２２（判断４）からステップ１４へ進
み、Ｐ＝０の先頭文字「シ」からＰ＝Ｐ（現在値）　−
Ｑ　−１＝　７−３−１　＝　３の「わ」（自立語「ど
まり」の直前の文字）までの文字列、すなわち「しなが
わ」を未知語と決定する。

効果 以上説明してきたように、この発明によれば、漢字かな
混りの日本語文の形態素解析における未知語処理に際し
、「ひらがな列」の未知語を的確に決定することができ
る。

【図面の簡単な説明】

第１図はこの発明を実施した形態素解析処理のブロック
図、 第２図はその単語選択部におけるこの発明に係る「ひら
がな列」に関する未知語処理のフロー図である。 １・・・解析対象文字列作成部

Claims (1)

1. 【特許請求の範囲】 １　漢字かな混じりの日本語文から解析対象文字列を切
   り出し、その解析対象文字列に対して単語辞書を検索し
   て候補単語を抽出し、その候補単語のいずれかを選択し
   て確定処理を行なうと共に、候補単語を抽出できず、且
   つ先行単語の変更が不可能となつた時には未知語の処理
   を行なう日本語文形態素解析において、 未知語部の先頭文字がひらがなであつたとき、その先頭
   文字の次の文字からひらがな以外の字種を探索し、 ひらがな以外の字種が検出できたら、その検出文字から
   単語抽出を行ない、１つでも候補単語を検出できたら上
   記先頭文字から上記検出文字の直前の文字までを未知語
   とし、 ひらがな以外の字種が検出できなかつたら、上記先頭文
   字の次の文字から順に単語抽出を行なつて、自立語であ
   る候補単語を検出できたらその自立語の直後の文字から
   さらに単語抽出を行ない、１つでも候補単語が検出でき
   たら上記先頭文字から上記自立語の直前の文字までを未
   知語とすることを特徴とする未知語処理方法。