JPS6395573A

JPS6395573A - 日本語文形態素解析における未知語処理方法

Info

Publication number: JPS6395573A
Application number: JP61242530A
Authority: JP
Inventors: Satoshi Okugawa; 奥川　聡
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1986-10-13
Filing date: 1986-10-13
Publication date: 1988-04-26

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】韮豊欠互この発明は、日本語文形態素解析における未知語処理方
法に関するものであり、漢字かな混じりの日本語文を英
語文に自動翻訳する日英翻訳機をはじめ、光学的文字読
取装置（○ＣＲ）や音声ワープロなどにも応用し得るも
のである。

従来技術日英翻訳機等においては、入力された日本語文の形態素
解析を行なって、その解析結果として日本語構文解析等
に必要な情報を辞書システムより検索して構文解析部へ
送出する処理がなされている。

そして、この形態素解析処理において、その解析用単語
ｎ？に登録されていない文字列があった場合には、それ
を「未知語」として処理しなければならない。

このような日本語文の形態素解析方法については、例え
ば、工業技術院　電子技術総合研究所発行（昭和５９年
１月）の「日英科学技術文献の速報システムに関する研
究、日本語形態素解析システム説明書（ＳｙＩＩｌｂｏ
ｌｉｃｓ　３６００版）Ｖｅｒｓｉｏｎ、　Ｉ　Ｊに記
載されている。

しかしながら、このような従来の漢字かな混じりの日本
語文の形態素解析における未知語処理方法では、辞書検
索に失敗した際、直前単語を変更′できなかったら一意
的に、その直前単語の先頭を未知語部の先頭としていた
ため、「ひらがな列」に対する解析に尤度がないという
開面点があった。

旦−煎この発明は上記の点に２みてなされたものであり、漢字
かな混じりの日本語文の形態素解析における未知語処理
に際して、未知語は自立語であるという前提で、「ひら
がな列Ｊの未知語を的確に決定できるようにすることを
目的とする。

構成この発明は上記の目的を達成するため、漢字かな混じり
の日本語文から解析対象文字列を切り出し、その解析対
象文字列に対して単語辞書を検索して候補単語を抽出し
、その候補単語のいずれかを選択して確定処理を行なう
と共に、候補単語を抽出できず、且つ先行単語の変更が
不可能となった時には未知語の処理を行なう日本語文形
態素解析において。

未知語部の先頭文字がひらがなであったとき、その先頭
文字の次の文字から単語抽出を行なって助詞を探索し。

探索できたら、その助詞の直後の文字が字種変化を起こ
しているか否かを判断して１字種変化を起こしている場
合には上記先頭文字から上記助詞の直前の文字までを未
知語とし、字種変化を起こしていない場合には、上記助詞の直後の
文字から単語抽出を行なって、１つでも候補単語が検出
できたら上記先頭文字から上記助詞の直前の文字までを
未知語と決定するようにしたものである。

以下、この発明の一実施例に基づいて具体的に説明する
。

第１図はこの発明を実施した形態素解析処理のブロック
図であり、１は解析対象文字列作成部。

２は単語抽出部、３は単語選択部、４は確定処理部であ
る。

解析対象文字列作成部１は、入力された漢字がな混じり
の日本語文から、単語選択部３で選択した単語の区切り
までを除いた残りの文字列を「解析対象文字列」とする
。

単語抽出部２は、形態素解析用辞書（単語辞書）２ａを
検索すると共に１１品詞分類表２ｂ、活用語尾表２ｃ、
接続重み行列表２ｄ、及び文節末可否表２８を用いて解
析対象文字列に対する候補単語を抽出し、「候補単語り
スト」を作成する。

単語選択部３は、単語抽出部２によって作成された「候
補単語りスト」が空でなかったら、そのリストの直前単
語を「単語りスト」に積む。

そして、「候補単語りスト」の各単語に対して評価式に
より評価値を求め、その中で最大の評価値をもつ単語を
第一候補とする。

もし「候補単語りストＪが空であって、先行単語の変更
が不可能となった時には未知語処理を行た「単語りスト
Ｊから「確定単語りスト」を作成する処理を行なって次
のプロセスに移る。

次に、第２図のフローチャートによって、単語選択部３
におけるこの発明による「ひらがな列」に関する未知語
処理について説明する。

なお、第２図において、Ｐは文字列のポインタで、先頭
は「０」である。Ｑは単語の表記の長さであり、ＫＫＲ
は先行単語の掛りコード（接続重み行列表の検索に利用
）であって、未知語のデフォルト値はｒｌｏＯＪ　とす
る。

解析対象文字列に対する「候補単Ｈｉリスト」が空で、
且つ先行単語の変更が不可能である場合に未知語処理を
行なうが、その際に未知語部の先頭文字がひらがなであ
った時に、この第２図のフローチャートに従って未知語
処理を行なう。

まず、ステップ１ではポインタＰは「０」で。

ステップ２でａをｒＯＪにする。そして、ステップ３で
ポインタＰを＋１し、ステップ４でＫＫＲをｒｌｏＯＪ
にして、ステップ５で単語抽出処理を行なう。

すなわち、未知語部の先頭文字の次の文字から、第１図
の形態素Ｍ析用辞杏２　ａ　＋品詞分類表２ｂ。

活用語尾衣２Ｃ，及び接続重み行列表２ｄを検索して候
補単語の抽出を行ない、「候補単語りスト」を作成する
。

そして、ステップ６でその結果が「空」であるか否かを
判断し、「空」であればステップ３へ戻り、ポインタを
さらに＋１して同様の処理を繰り返す。

ステップ６で「空」でなければ候補単語があるので、ス
テップ７でその中に助詞が有るか否かを判断し、無けれ
ばやはりステップ３へ戻る。

助詞が有れば、ステップ８へ進んでその助詞の表記の長
さをＱにし、ステップ９でその助詞の掛りコードをＫＫ
Ｒにし、さらにステップ１０でポインタＰを現在のＰに
αを加えた値（ｐ＋１２）にする６そして、ステップ１１（判断ｌ）でポインタＰの指す文
字の字種を判定する。すなわち、探索された助詞の直後
の文字が字種変化を起こしているか否かを判断する。

その文字が「ひらがな以外」であれば１字種変化を起こ
しているのでステップ１４へ進み、Ｐ＝０〜ｐ＝ｐ（現
在値）−Ｑ　−１の文字列、すなわち先頭文字から助詞
の直前の文字までの文字列を未知語と決定する。

ステップ１１の判断で「ひらがな」であれば、字種変化
を起こしていないのでステップ１２へ進み、助詞の直後
の文字からステップ５と同様な単語抽出処理を行なう。

そして、ステップ１３（判断２）でその結果を判断し、
「候補単語りスト」が「空」であれば、候補単語が見つ
からなかったので、ステップ１５でポインタをＰ−ｕ（
助詞の先頭文字）にしてステップ３へ戻り、ポインタを
＋１して同様な処理を繰り返す。

「候補単語りスト」が「空」でなければ、候補単語があ
ったのでステップ１４へ進み、前述のようにＰ＝０−Ｐ
＝Ｐ（現在値）−Ｑ−１の文字列を未知語と決定する。

ここで、具体的な例として、「この事実が世の中にえい
きようを多大に与えた。」という日本語文が入力された
場合について説明する。

形態素解析用辞書に「えいきよう」が登録されてなかっ
たとすると、未知語部（未知語処理対象の文字列）の先
頭文字が「え」となり、その未知語部の文字列とポイン
タＰとの関係は次のようになる。

Ｐ→０１２３４５６７８９＋０１１えいきようを多大に与えた。

そして、第２図の処理がＰ＝５まで進むと、ステップ５
の単語抽出処理で助詞「を」（ｎ＝１）を探索でき、ス
テップ１０でＰを「６」にする（Ｐ−１Ｇ＝５＋１＝６
）。

このＰ＝６の文字「多」は漢字であるため、ステップ１
１（判断１）で「ひらがな以外」と判断され、ステップ
１４へ進んで、Ｐ＝０の「え」からＰ＝Ｐ（現在値）−
Ｑ−１＝６−１−１＝４の「う」までの文字列「えいき
ょう」が未知語と決定される。

また、例えばｒこの事実は世の中にえいきようがある。

」という日本語文が入力された場合、やはり形態素解析
用辞書に「えいきよう」が登録されていなかったとする
と、未知語部の先頭文字が「え」となり、その文字列と
ポインタＰとの関係は次のようになる。

Ｐ→０１２３４５６７８えいきょうがある。

この場合も、第２図の処理がＰ＝５まで進むと助詞「が
」（ｎ＝１）を探索でき、ステップ１０でポインタＰを
６　　（Ｐ＋ｎ＝５＋１＝６）にする。

このＰ＝６の文字「あＪはひらがなのため、ステップ１
１（判断１）の判断で「ひらがなＪとなり、ステップ１
２へ進んでＰ＝６からの文字列に対して単語抽出処理を
行なう。

それによって、動詞ｒあるＪが抽出できるので、ステッ
プ１４へ進んで、Ｐ＝０の「え」からＰ＝Ｐ（現在値）
−Ｑ−１＝６−１−１＝４の「う」までの文字列「えい
きよう」が未知語と決定される。

効果以上説明してきたように、この発明によれば。

漢字かな混りの日本語文の形態素解析における未知語処
理に際し、「ひらがな列」の未知語を的確に決定するこ
とができる。

【図面の簡単な説明】

第１図はこの発明を実施した形態素解析処理のブロック
図、第２図はその単語選択処理部におけるこの発明による「
ひらがな列」に関する未知語処理のフロー図である。１・・・解析対象文字列作成部２・・・単語抽出部　　　２ａ・・・形態素解析用辞書
３・・・単語選択部　　　４・・・確定処理部第１図入力日本語文構文解析処理へ

Claims

【特許請求の範囲】１　漢字かな混じりの日本語文から解析対象文字列を切
り出し、その解析対象文字列に対して単語辞書を検索し
て候補単語を抽出し、その候補単語のいずれかを選択し
て確定処理を行なうと共に、候補単語を抽出できず、且
つ先行単語の変更が不可能となつた時には未知語の処理
を行なう日本語文形態素解析において、未知語部の先頭文字がひらがなであつたとき、その先頭
文字の次の文字から単語抽出を行なつて助詞を探索し、探索できたら、その助詞の直後の文字が字種変化を起こ
しているか否かを判断して、字種変化を起こしている場
合には上記先頭文字から上記助詞の直前の文字までを未
知語とし、字種変化を起こしていない場合には、上記助詞の直後の
文字から単語抽出を行なつて、１つでも候補単語が検出
できたら上記先頭文字から上記助詞の直前の文字までを
未知語とすることを特徴とする未知語処理方法。