JPS62247451A - 日本語処理装置の単語辞書構成法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔技術分野〕 本発明は日本語処理装置に用いられる単語辞書の構成法
に係り、詳しくは、仮名漢字変換、漢字仮名変換、文字
認識等の多機能の日本語文章処理を可能とする単語辞書
の構成法に関する。

〔従来技術〕

日本語ワードプロセッサにおいては、通常、仮名漢字変
換機能が備えられている。この種仮名漢字変換では、仮
名文字列に対して、単語の切り出し時に品詞間の接続チ
ェックを行うことが一般的である。この処理は形態素解
析と呼ばれているが。

この形態素解析はＯＣＲ（光学的文字読取装置りにおけ
る文字認識の後処理（誤認識文字の訂正）にも取り入れ
られ始めてきている。しかしながら、仮名漢字変換と文
字認識の分野では、例えば、入力文章がそれぞれ仮名文
と漢字仮名混り文というように異なるため、従来は別々
の単語辞書が用いられ、アルゴリズムやプログラムも共
通化されていないのが普通である。

〔目　的〕

本発明の目的は、入力文章中の単語が単語辞書中に登録
されていない表記をされていても、これを単語と認定で
きるようにするための情報を単語辞書中に付加して、仮
名漢字変換、漢字仮名変換。

文字認識等の多機能の日本語文章処理を可能にすること
にある。

〔構　成〕

本発明は、単語の漢字仮名混り表記を発生させるため、
読み表記対応データを付加した単語辞書構成とする。こ
れにより、仮名漢字変換、漢字仮名変換、文字認識の後
処理等に共通の形態素解析処理を利用することができる
ようになる。以下、本発明の一実施例について図面によ
り詳述する。

第１図は本発明の単語辞書を適用した多機能日本語処理
装置の全体構成図を示す、キーボード１０は文字を入力
する他に各種のモード（仮名漢字変換、漢字仮名変換、
ＯＣＲ文字認識等）を指定するのに用いる。ＯＣＲ入力
装置１１１は原稿を光学的に読取り入力する。処理装置
１２はキーボード１０やＯＣＲ入力装置１１１からの入
力情報について、指定されたモードに従った処理を実行
し。

出力袋５ｉｊ１６に出力する。出力装置１６はディスプ
レイ装置、プリンタ等を総称して示したものである。処
理装置１２の処理に必要なプログラムはプログラムメモ
リ（ＲＯＭ）１３に格納されるが、キーボード入力によ
る仮名漢字変換、ＯＣＲ文字認識の後処理、ＯＣＲ入力
された文字列の仮名漢字変換や漢字仮名変換について出
来るだけ共通のアルゴリズムが利用される。データメモ
リ（ＲＡＭ）１４は処理装置１２での処理途中のデータ
やパラメータを格納するのに用いられる。単語辞書メモ
リ１５には後述する読み表記対応データを付加した単語
辞書が格納されている。

第２図に全体の処理の流れを示す。処理１０１でモード
（ｎ＝１，２ｔ　３，４）を選択する。ｎ＝１はキーボ
ード１０より入力された仮名文字列（ローマ字入力で仮
名変換されたものも含む）を漢字仮名混り文に変換する
モードである。ｎ＝２はＯＣＲ入力装置１１より入力さ
れた仮名文字列または一部漢字の混ざった文字列を認識
し、完全な（出来る限り漢字表記をするという意味で）
漢字混り文に変換するモードである０例えば、ＯＣＲ入
力されたｒ車でほこをはこぶ」を「車で箱を運ぶ」に変
換する。ｎ＝３はＯＣＲ入力入力ｆ１ｌｌより入力され
た文章の認ｍ（文字認識及びその後処理）を行うモード
である。ｎ＝４はＯＣＲ入力装置１１より入力された漢
字仮名混り文を仮名文字列に変換するモードである。

ｎ≧２のモードの場合、処理１０２で文字認識を行い、
処理１０３で誤認識文字の自動検出を行う。

各モード（ｎ＝１〜４）は処理１０４で一緒になり、「
。」または「、」で区切られた部分を１ユニツトとして
ユニットの切り出しを行う、処理１０５で文章の終りを
判定し、文章の終りの場合（切り出すユニットが存在し
ない場合）は処理を終了するが、それ以外の場合は切り
出したユニットについて１０６以降の処理を実行する。

ｎ≧２のモードでは、処理１０６で候補文字列を作成し
た後（第１位候補文字から順に代入していく）、処理１
０７で形態素解析を、処理１０８で該当ユニットの評価
値を計算する。その後、処理１０９で候補文字が終りか
どうか判定し、終りでなければ処理１０６に戻る。この
ようにして、すべての候補文字列に対して形態素解析を
行い、ユニットの評価値の計算が終了すると、処理１１
０で最大評価値をもつ候補文字列を当該ユニットの文字
列として選択する。一方、ｎ＝１のモードの場合は、処
理１１５で形態素解析を行う、なお、処理１０７と１１
５は同じサブルーチンで実行される。

処理１１１でｎ＝２を判定し、ｎ＝１と２のモードの場
合は、処理１１２で単語の表記文字列に変換した後、処
理１１３で該文字列を出力して処理１０４に戻る。ｎ　
＝　３のモードの場合は、処理１１０で選択した文字列
をそのまＮ出力する。ｎ＝４の場合は、処理１１４で単
語の読みの文字列に変換して出力する。第８図に入力文
字列と各モードでの出力文字列の例を示す。

二〜で、モード４の文字認識＋漢字仮名変換機能は、例
えば単音節発生装置と組み合せることにより、文章読上
げ装置の一部として利用することができるので、文字認
識の確認用としても活用できる。

第２図における処理１０７と１１５の形態素解析の詳細
フローを第３図に示す、第３図において。

モード１とモード２，３，４とが処理上具なるのは、処
理２０３と２０３、及び処理２２１と２２２の２箇所だ
けである。このうち、処理２０３が従来の形態解析機能
に対して本発明により新たに追加された処理である。こ
の処理２０３は、解析対象の漢字仮名混り文字列に対し
て、単語辞書中の単語の漢字仮名混り表記を可能な限り
発生させ、マツチングをとるという辞書引きのための処
理である。この処理２０３を新たに付加することにより
、仮名漢字変換処理（モード１）だけではなく、ＯＣＲ
後処理（モード２．３）、漢字仮名変換処理（モード４
）とが同一アルゴリズムで実現することができるように
なる。それ以外の処理は公知技術であるので（例えば特
開昭５９−２２１７３３号）、第３図の説明は省略する
。

第４図は第３図の処理２０３の詳細フローを示したもの
である。ニーでは、解析対象文字列は６文字以内とし、
具体例として「計算きを使い」を入力した場合について
説明する。第５図は単語辞書の構成を示している。

処理３０１で解析対象文字列を入力し、処理３０２で先
頭が仮名かどうか判定し、仮名の場合は処理３０３，３
０４を、漢字の場合は処理３０５゜３０６を実行する１
本例の場合、先頭文字「計」は漢字であるので、処理３
０５で漢字列［計算」が切り出される。処理３０６では
、単語辞書３０７（第１図の単語メモリ１５中にある）
中の表記の部分をキーとして、「計算」と先頭から完全
にまたは部分的にマツチする単語を検索し、その結果得
られた候補単語をメモリ３０８（第１図のデータメモリ
１４に対応）にストックしておく、こシでは、「計」、
「計算」、「計算機」が候補単語として検出されたとす
る。

処理３０９では、それらの候補単語が「完全マツチング
」であるかを判定する。「完全マツチング」とは、候補
単語の読みまたは表記が対象文字列の先頭から一致し、
包含されるようなマツチングをいう０例えば、候補単語
の「計」と「計算」は、対象文字列の「計算きを使い」
とは「完全マツチング」であるが、「計算機」は「き」
と「機」の部分が異なるので「完全マツチング」ではな
い。

完全マツチングした候補単語「計」と「計算」について
は、その単語情報（読み、表記、品詞、頻度等）が処理
３１３，３１４を経て次ステツプ（第３図の処理２０４
）へ出力される。

一方、候補単語「計算機」については、処理３１０以下
の処理が実行される。まず、処理３１０で、単語辞書中
の単語の読み、表記、読み表記対応データとから可能な
漢字仮名混り表記を発生させる。第６図に発生された表
記の例を示す。読み表記対応データは、「表記」中の漢
字を含む部分の文字列と対応する「読み」中の部分仮名
文字列の長さを意味する。第７図に「計算機」での例を
示す、即ち、「けい」、「さん」、「き」の３つの部分
仮名文字列の長さはそれぞれ２，２．１であるが、最後
の値を除いたｒ２，２Ｊだけを単語辞書に登録しておけ
ば十分である。もし、表記中に仮名文字が混ざっている
場合には、次の規則にしたがって部分列に分割する。切
り取った文字列の中に漢字を１字だけ含み、かつ、仮名
から漢字に字種変化する場所で区切る（例、読み出す→
「読み」、「出す」）、なお、発生する漢字仮名混り表
記が可能が単語表記をすべてカバーできるためには、単
語の表記はなるべく漢字で記されていることが望ましい
（例、「つり道具」→「釣り道具」）、また、表記の漢
字の個数が０個または１個であるときには、読み表記デ
ータはＯとしておく８次に、処理３１１で対象文字列と
漢字仮名混り表記とのマツチングをとり、マツチングを
とれＮば該単語情報を次ステツプへ出力する（処理３１
２．３１３）、これを候補単語すべてについて繰り返す
（処理３１４）。

モードｎ≧２の場合、上記の形態素解析処理を実行した
後、第２図の処理１０８〜１１０を行うことにより、最
も尤度の高い候補文字を決定することができる。処理１
１０では、処理１０８で計算した単語の評価値の累積和
をユニットの評価値として利用する。

また、第４図の処理３１０では使用字種の制限を設ける
ことにより、任意の指定した字種範囲（例、教育漢字ひ
らがな）での単語表記を得ることが出来、それを第２図
の処理１１３で出力することにより、ＯＣＲ入力装置１
１から読み取った入力文字列を、指定された字種範囲の
文字列へ変換して出力することも容易に可能となる。

〔効　果〕

以上の説明から明らかな如く、本発明の単語辞書構成に
よれば、単語辞書用メモリをそれほど増加することなく
、文字認識の後処理、漢字仮名変換、部分的に漢字入力
された日本文の仮名漢字変換あるいは機械翻訳（日本語
から外国語へなど）における形態解析等への応用が可能
である。

【図面の簡単な説明】

第１図は本発明の単語辞書を適用した多機能日本語処理
装置の一実施例のブロック図、第２図は第１図の全体の
処理の流れを示す図、第３図は形態素解析の処理の流れ
を示す図、第４図は第３図の処理２０３の詳細を示す図
、第５図は本発明の単語辞書の構成例を示す図、第６図
は漢字仮名混り表記の一例を示す図、第７図は読み書き
対応データの説明図、第８図は各モード対応の入出力文
字列の一例を示す図である。 １０・・・キーボード、　　１１・・・ＯＣＲ入力入力
、１２・・・処理装置、　１３・・・プログラムメモリ
、１４・・・データメモリ、　　１５・・・単語メモリ
、１６・・・出力装置。

Claims (1)

【特許請求の範囲】
1. （１）仮名漢字変換処理、漢字仮名変換処理、文字認識
   処理等を行う日本語処理装置において、単語辞書を、単
   語の漢字仮名混り表記を発生させるため読み表記対応デ
   ータを付加した構成とすることを特徴とする単語辞書構
   成法。