JP2681663B2 - 日本文訂正候補文字抽出方法 - Google Patents

Description

【発明の詳細な説明】 「産業上の利用分野」 この発明は日本文文書データベース作成のため、入力
装置から読み込まれた漢字かな混じりの日本文文字列に
含まれる誤字の自動訂正を行うための候補文字を抽出す
る日本文訂正候補文字抽出方法に関するものである。

「従来の技術」 新聞記事、出版用原稿、科学技術論文等の多量の日本
文文書を電子ファイル化して日本文文書データベースを
作成する場合、読み取り結果に混入する誤読文字や誤
字、脱字を単語辞書および文法辞書を用いた形態素解析
や修正者によるチェックによって検出した後、その修正
や自動訂正を実施するためには、正確候補の含有率の高
い候補抽出を行う必要がある。従来の訂正候補抽出の手
段としては、入力装置が認識時に出力する訂正候補文字
群の中から前後の文字との組み合わせにより作成した文
字列で単語辞書を索引して該当する単語の有無から訂正
候補を抽出する方式がある。

また文字の連接確率に応じて予め収集した日本文訂正
候補辞書を用いて、脱字として検出された位置の前後の
文字によりこの辞書を索引して候補文字を抽出し、最も
文字連接確率が高い候補を選択する方式がある。このよ
うな方式の例は、例えば、前者は特願昭60−34444号、
後者では、特願昭61−238059号等に詳しく紹介されてい
る。

ところが、前者では、入力装置の認識環境により正字
とは全く掛けはなれた認識結果が選択されたり、単語辞
書が大規模になるにしたがって検索に要する処理時間が
増大したり、送り仮名抜け等の脱字を含む誤りに対応で
きないという欠点があった。

また、後者の例でも、文字単位の確率的な処理である
ため、文字間の確率が高くても必ずしも単語レベルの正
確が上位の候補として出現せず、また誤字が前提である
ため、同様に送り仮名抜け等の脱字が出現する誤りに対
応できないという欠点があった。

この発明の目的は予め漢字１文字の動詞となる単語の
見出し、その単語の活用形・活用行をコード化した活用
情報、単語の優先度を格納した活用文字テーブルと、予
め動詞の活用形の活用語尾となるひらがな文字を格納し
た活用語尾テーブルと、品詞に応じてその前方に文法的
に接続する動詞の活用形が格納された文法辞書とを作成
し、漢字列の直後のひらがな列に未知語が発生した場
合、あるいは漢字２文字単語に未知語が発生した場合
に、活用文字テーブルと活用語尾テーブルとを用いて活
用語尾の訂正候補文字を抽出し、更に文法辞書を用いて
訂正候補を選択することで、訂正精度の向上、処理性能
の向上ならびに脱字の誤りに対応する訂正候補を抽出す
る日本文訂正候補文字抽出方法を提供することにある。

「課題を解決するための手段」 この発明は予め漢字１文字の動詞となる単語の見出
し、その単語の活用形・活用行をコード化した活用情
報、動詞同形語における単語の優先度をそれぞれ対とし
格納して、漢字１文字の見出しをキーとして索引する活
用文字テーブルと、予め動詞の活用形・活用行をコード
化した活用情報ごとに、各活用形の活用語尾となるひら
がな文字を格納した活用語尾テーブルと、品詞に応じて
その前方の動詞の活用形が格納された文法辞書とを作成
し、 未知語でない漢字１文字単語とその後方にひらがな未
知語の単語が認定されている場合に、漢字１文字をキー
として活用文字テーブルを索引して該当する漢字１文字
動詞の活用情報を取りだし、さらにこの活用情報により
活用語尾テーブルから所定の活用語尾を訂正候補文字と
して抽出して、文法辞書を用いて原文内の未知語の後方
の単語との文法的な接続関係が成立する活用形の活用語
尾を正確の訂正候補として選択し、 未知語でない漢字２文字単語とその後方にひらがな未
知語の単語が認定されている場合あるいは未知語である
漢字２文字単語が認定されている場合に、それぞれの漢
字１文字をキーとして同様に活用語尾を取りだして、前
方の漢字１文字については連用形の活用語尾を抽出し、
後方の漢字１文字については所定の活用形の活用語尾を
訂正候補文字として抽出して、文法辞書を用いて後方の
単語との文法的な接続関係が成立する正確の訂正候補を
選択し、 抽出した複数の活用形の活用語尾が後方の単語と文法
的な接続関係が成立する場合には、連用形および連体形
の活用語尾を正解の訂正候補として選択し、 活用文字テーブルに同形の見出しで異なった活用情報
を有する含有のレコードが存在する場合は、単語の優先
度に応じた順序で訂正候補の抽出を行う事を特徴とす
る。

従来技術とは、次のステップを有するため、入力装置
の認識環境が悪く認識精度が低下する場合や脱字が出現
する誤りに対しても訂正精度が高い候補抽出・正確候補
選択が可能、という点が異なる。

・予め漢字１文字の動詞となる単語の見出し、その単語
の活用形・活用行をコード化した活用情報、動詞同形語
における単語の優先度をそれぞれ対として格納して、漢
字１文字の見出しをキーとして索引する活用文字テーブ
ルと、予め動詞の活用形・活用行をコード化した活用情
報ごとに、各活用形の活用語尾となるひらがな文字を格
納した活用語尾テーブルと、品詞に応じてその前方に文
法的に接続する動詞の活用形が格納された文法辞書とを
作成し、これを用いて候補抽出及び選択を行っている。

・未知語でない漢字１文字単語と誤字や脱字で未知語化
したその後方のひらがなの単語が認定されている場合
に、漢字１文字をキーとして活用文字テーブルを索引し
て該当する漢字１文字動詞の活用情報を取りだし、さら
にこの活用情報により活用語尾テーブルから所定の活用
語尾を訂正候補文字として抽出して、文法辞書を用いて
原文内の未知語の後方の単語との文法的な接続関係が成
立する活用形の活用語尾を正解の訂正候補として選択す
る。

・未知語でない漢字２文字単語とその後方にひらがな未
活用の単語が認定されている場合あるいは未知語である
漢字２文字単語が認定されている場合に、それぞれの漢
字１文字をキーとして同様に活用語尾を取りだして、前
方の漢字１文字については連用形の活用語尾を抽出し、
後方の漢字１文字については所定の活用形の活用語尾を
訂正候補文字として抽出して後方の単語との文法的な接
続関係が成立する正解の訂正候補を選択する。

・抽出した複数の活用形の活用語尾が後方の単語と文法
的な接続関係が成立する場合には、連用形および連体形
の活用語尾を正解の訂正候補として選択する。

・活用文字テーブルに同形の見出しで異なった活用情報
を有する複数のレコードが存在する場合は、単語の優先
度に応じた順序で訂正候補の抽出を行う。

「実施例」 第１図はこの発明の実施例における構成例を示す図で
ある。

１は漢字OCR、ペンタッチ、キーボード等の入力装
置、２は入力あるいは読み込みを行う入力処理部、３は
入力され磁気装置に文字コードの形式で記録されている
読み取り結果の入力日本文データベース、４は日本語単
語辞書、５は品詞に応じてその前方の動詞の活用形が格
納された文法辞書、６は日本語単語辞書４および文法辞
書５を用いた形態素解析によって、単語の位置的あるい
は文法的に不連続な接続箇所の文字を未知語として検出
する未知語検出部、７は予め漢字１文字の動詞となる単
語の見出し、活用形・活用行をコード化した活用情報、
単語の優先度をそれぞれ対として格納して、漢字１文字
の見出しをキーとして索引する活用文字テーブル、８は
予め動詞のコード化された活用形・活用行を活用情報ご
とに、各活用形の活用語尾となるひらがな文字を格納し
た活用語尾テーブル、９は活用文字テーブルと活用語尾
テーブルを用いて未知語に対して訂正候補文字を抽出す
る訂正候補文字抽出部、10は抽出された訂正候補文字に
ついて、文法辞書を用いて後方の単語との文法的な接続
関係が成立する訂正候補を選択する訂正候補選択部、11
は誤り救済された日本文文書データベース、12はCPU/メ
モリから成る処理装置である。

この方式では、入力装置１で読み込んだ結果である入
力日本文データベース３に対して、形態素解析によっ
て、単語の位置的あるいは文法的に不連続な接続箇所の
文字を未知語として未知語検出部６で検出する。これに
先だって予め動詞となる漢字１文字単語の見出し、活用
情報、優先度を格納して、見出しをキーとして索引する
活用文字テーブル７と活用情報ごとに活用形の活用語尾
となるひらがな文字を格納した活用語尾テーブル８を作
成し、未知語に対して活用文字テーブル７と活用語尾テ
ーブル８を用いて訂正候補文字抽出部９で、訂正候補文
字を抽出する。さらに抽出された訂正候補文字が複数あ
る場合には、文法辞書を用いて後方の単語との文法的な
接続関係が成立する訂正候補選択部10で訂正候補を選択
する。

以下、第１図の構成による具体的処理例について説明
する。

第２図は、活用語尾が誤字となった場合の処理例を示
す図である。

ここで、13は活用語尾誤りを含む原文、14は活用語尾
誤りの文字、15は正字、16は未知語でない動詞漢字１文
字単語、17は原文内の未知語の後方の単語、18は未知語
化したひらがな単語、19は活用文字テーブル７の漢字１
文字の見出し部でかつテーブルのキー部、20は活用文字
テーブル７の活用情報部、21は品詞の接続関係を記述し
た文法辞書５の品詞部、22は文法辞書５の前方接続活用
形、23は活用語尾テーブル８の活用情報部、24は各活用
形に対する活用語尾文字、25は活用語尾誤り訂正後の原
文文字列、26は訂正された活用語尾である。

原文文字列13を形態素解析し、漢字１文字の単語とそ
の後方で未知語化したひらがなの単語が認定されている
場合であり、「使む」、「見ち」が抽出されたとする。
この条件に応じて起動されると、まず、漢字１文字単語
「使」をキーとして活用文字テーブル７を索引し、キー
が存在する場合、該当する漢字１文字動詞の活用情報
「五段・ワ行」を取りだし、この活用情報により活用語
尾テーブル８のキーを決定する。一方、未知語化したひ
らがなの単語の後方にある単語「と」の品詞（接続助
詞）をキーとして文法辞書５を索引し、この品詞の前方
に接続可能な用言活用形として「動詞・終止形」を抽出
する。先に抽出した活用情報「五段・ワ行」と該当する
活用形「動詞・終止形」を用いて活用語尾テーブル８を
検索して訂正候補とする活用語尾「う」を抽出する。こ
の際、候補は１個なので活用語尾の見出し「う」を正解
の訂正候補として選択する。

「見ち」についても同様にして活用語尾の見出し
「る」を正解の訂正候補として選択する。

第３図は、活用語尾が誤字および脱字となった場合の
処理例を示す図である。

ここで、27は未知語でない漢字２文字単語、28は脱字
となった活用語尾の正字、29は未知語でない漢字２文字
単語の前方の漢字１文字、30は脱字に対して訂正された
活用語尾である。

この処理例では、原文文字列13を形態素解析し、未知
語でない漢字２文字の単語とその後方で未知語化したひ
らがなの単語が認定されている場合であり、「埋込む」
が抽出されている。

起動されると、まず、未知語でない漢字２文字単語27
「埋込」のうち、前方の漢字１文字29「埋」をキーとし
て活用文字テーブル７を索引し、キーが存在する場合、
該当する漢字１文字動詞の活用情報「下一段・マ行」を
取りだし、さらにこの活用情報により活用語尾テーブル
８での連用形の活用語尾「め」を抽出する。つぎに、第
２文字目漢字「込」をキーとして活用文字テーブル７を
索引し、該当する漢字１文字動詞の活用情報「五段・マ
行」を取りだし、さらにこの活用情報により活用語尾テ
ーブル８を索引して、訂正候補となる活用語尾群「ま」
〜「め」を抽出する。一方、未知語化したひらがなの単
語の後方にある単語「ます」の品詞（助動詞）をキーと
して文法辞書５を検索し、この品詞の前方に接続可能な
用言活用形として「動詞・連用形」を抽出する。そし
て、先に抽出した訂正候補となる活用語尾群「ま」〜
「め」より該当する活用形「動詞・連用形」に対応する
訂正候補として活用語尾「み」を抽出する。この結果、
候補は１個なので活用語尾の見出し「み」を正解の訂正
候補として選択する。

第４図は、漢字２文字単語が未知語で後方単語が名詞
である場合の処理例を示す図である。

ここで、31は未知語となった漢字２文字単語の前方文
字、32は未知語となった漢字２文字単語の後方文字、33
は名詞である後方単語、34は１個に選択できない活用語
尾の訂正候補である。

この処理例では、原文文字列13を形態素解析し、未知
語となった漢字２文字の単語とその後方で未知語でない
名詞の単語が認定されている場合であり、「引出」が抽
出されている。

起動されると、まず、未知語である漢字２文字の前方
の文字31「引」をキーとして活用文字テーブル７を索引
し、キーが存在する場合、該当する漢字１文字動詞の活
用情報「五段・カ行」を取りだし、さらにこの活用情報
により活用語尾テーブル８での連用形の活用語尾「き」
を抽出する。つぎに、第２文字目漢字32「出」をキーと
して活用文字テーブル７を索引し、該当する漢字１文字
動詞の活用情報「五段・サ行」を取りだし、さらにこの
活用情報により活用語尾テープ８を索引して、訂正候補
となる活用語尾群「さ」〜「せ」を抽出する。一方、未
知語化したひらがな単語の後方にある単語「方法」の品
詞（名詞）をキーとして文法辞書５を索引し、この品詞
前方に接続可能な用言活用形として「動詞・連用形」お
よび「動詞・連体形」を抽出する。そして、先に抽出し
た訂正候補となる活用語尾群「さ」〜「せ」より該当す
る活用形「動詞・連用形」および「動詞・連体形」に対
応する訂正候補として活用語尾「し」および「す」を抽
出する。この結果、候補は２個となるが、これ以上絞り
込めないので、活用語尾の見出し「し」および「す」を
正確の訂正候補34として選択する。

第５図は、異なる活用情報を有する同形の見出しのレ
コードが存在する場合の処理例を示す図である。

ここで、35は同形の見出しが存在する場合の活用文字
テーブル、36は同形の見出しの読み部、37は同形の見出
しの中での優先度、38は活用語尾の訂正候補群、39は優
先度により選択された活用語尾である。

この処理例では、原文文字列13を形態素解析し、漢字
１文字の単語とその後方で未知語化したひらがなの単語
が認定されている場合であり、「生み」が抽出されてい
る。この条件で起動されると、まず、漢字１文字単語
「生」をキーとして活用文字テーブル35を索引すると、
該当するレコードが複数存在するので、該当する全ての
漢字１文字動詞の活用情報「五段・マ行」、「サ変・生
ずる」、「五段・ラ行」を取りだし、これらの活用情報
に応じて活用語尾テーブル８を索引して活用語尾訂正候
補群を抽出する。一方、未知語化したひらがなの単語の
後方にある単語「ない」の品詞（助動詞）をキーとして
文法辞書５を索引し、この品詞の前方に接続可能な用言
活用形として「動詞・未然形」を抽出する。先に抽出し
た活用語尾訂正候補群と該当する活用形「動詞・未然
形」を用いて同形の見出し「生」の活用情報ごとに活用
語尾の訂正候補群38を選択する。この結果、候補は３個
となる。さらに活用文字テーブル内の優先度37に応じて
活用語尾の見出し「ま」を正解の第１位訂正候補39とし
て選択する。この際、第２位「じ」、第３位「ら」も訂
正候補として抽出する。

このような構造および作用となっているから、従来の
技術に比べて、入力装置の認識環境が悪く認識精度が低
下する場合に、認識結果に含まれる送り仮名の誤字や脱
字が出現する誤りに対しても訂正精度が高い候補抽出・
正解候補選択が可能であり、たとえ人手による認識を行
う場合でも負荷の軽減を図ることができるという改善が
あった。

「発明の効果」 以上説明したように、予め漢字１文字の動詞となる単
語の見出し、その単語の活用形・活用行をコード化した
活用情報、動詞同形語における単語の優先度をそれぞれ
対として格納して、漢字１文字の見出しをキーとして索
引する活用文字テーブルと、予め動詞の活用形・活用行
をコード化した活用情報ごとに、各活用形の活用語尾と
なるひらがな文字を格納した活用語尾テーブルと、品詞
に応じてその前方に文法的に接続する動詞の活用形が格
納された文法辞書とを作成し、 未知語でない漢字１文字単語とその後方にひらがな未
知語の単語が認定されている場合に、漢字１文字をキー
として活用文字テーブルを索引して該当する漢字１文字
動詞の活用情報を取りだし、さらにこの活用情報により
活用語尾テーブルから所定の活用語尾を訂正候補文字と
して抽出して、文法辞書を用いて原文内の未知語の後方
の単語との文法的な接続関係が成立する活用形の活用語
尾を正確の訂正候補として選択し、 未知語でない漢字２文字単語とその後方にひらがな未
知語の単語が認定されている場合あるいは未知語である
漢字２文字単語が認定されている場合に、それぞれの漢
字１文字をキーとして同様に活用語尾を取りだして、前
方の漢字１文字については連用形の活用語尾を抽出し、
後方の漢字１文字については所定の活用形の活用語尾を
訂正候補文字として抽出して、文法辞書を用いて後方の
単語との文法的な接続関係が成立する正解の訂正候補を
選択し、 抽出した複数の活用形の活用語尾が後方の単語と文法
的な接続関係が成立する場合には、連用形および連体形
の活用語尾を正解の訂正候補として選択し、 活用文字テーブルに同形の見出しで異なった活用情報
を有する複数のレコードが存在する場合は、単語の優先
度に応じた順序で訂正候補の抽出を行って、訂正候補抽
出および選択を行うのであるから、 入力装置の認識環境が悪く認識精度が低下する場合
に、認識結果に含まれる送り仮名の誤字や脱字が出現す
る誤りに対しても訂正精度が高い候補抽出・正解候補選
択が可能であり、たとえ人手による確認を行う場合でも
負荷の軽減を図ることができるという利点があった。

【図面の簡単な説明】

第１図はこの発明の実施例における構成例を示す図、第
２図から第５図はそれぞれ第１図のこの発明による具体
的処理例を示す図である。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】予め漢字１文字の動詞となる単語の見出
   し、その単語の活用形・活用行をコード化した活用情
   報、動詞同形語における単語の優先度をそれぞれ対とし
   て格納する活用文字テーブルと、 予め動詞の活用形・活用行をコード化した活用情報ごと
   に、各活用形の活用語尾となるひらがな文字を格納する
   活用語尾テーブルと、 予め品詞に応じてその前方に文法的に接続する動詞の活
   用形を格納する文法辞書とを備え、 日本語単語辞書および文法辞書を用いた形態素解析によ
   って、単語の位置的あるいは文法的に不連続な接続個所
   の文字を未知語として検出し、 その検出した未知語に対して上記活用文字テーブルと上
   記活用語尾テーブルとを用いて訂正候補文字を抽出し、 その抽出された訂正候補文字について後方の単語との文
   法的な接続関係を用いて訂正候補を選択する日本文訂正
   候補文字抽出方法であって、 未知語でない漢字１文字単語とその後方にひらがな未知
   語の単語が認定されている場合に、漢字１文字をキーと
   して上記活用文字テーブルを索引して該当する漢字１文
   字動詞の活用情報を取りだし、さらにこの活用情報によ
   り上記活用語尾テーブルから所定の活用語尾を訂正候補
   文字として抽出して、原文内の未知語の後方の単語との
   文法的な接続関係が成立する前方の活用形の活用語尾を
   上記文法辞書を索引して正解の訂正候補として選択し、 未知語でない漢字２文字単語とその後方にひらがな未知
   語の単語が認定されている場合、あるいは未知語である
   漢字２文字が認定されている場合に、それぞれの漢字１
   文字をキーとして上記活用文字テーブルを索引して該当
   する漢字１文字動詞の活用情報を取りだし、さらにこの
   活用情報により上記活用語尾テーブルから所定の活用語
   尾を取りだして、前方の漢字１文字については連用形の
   活用語尾を抽出してこれを正確の訂正候補として選択
   し、後方の漢字１文字については所定の活用形の活用語
   尾を訂正候補文字として抽出して、原文内の後方の単語
   との文法的な接続関係が成立する活用形の活用語尾を上
   記文法辞書を索引して正確の訂正候補として選択する事
   を特徴とする日本文訂正候補文字抽出方法。