JPH0244459A - 日本文訂正候補文字抽出方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 「産業上の利用分野」 この発明は日本文文書データヘース作成のため、入力装
置から読み込まれた漢字かな混じりの日本文文字列に含
まれる誤字の自動訂正を行うための候補文字を抽出する
日本文訂正候補文字抽出装置に関するものである。

「従来の技術」 新聞記事、出版用原稿、科学技術論文等の多量の日本文
文書を電子ファイル化して日本文文書データヘースを作
成する場合、読み取り結果に混入する誤読文字や誤字、
脱字を単語辞書および文法辞四を用いた形態素解析や修
正者によるチエツクによって検出した後、その修正や自
動訂正を実施するためには、正解候補の含有率の高い候
補抽出を行う必要がある。従来の訂正候補抽出の手段と
しては、入力装置が認識時に出力する訂正候補文字群の
中から前後の文字との組み合わせにより作成した文字列
で単語辞書を索引して該当する単語の有無から訂正候補
を抽出する方式がある。

また文字の連接確率に応して予め収集した日本文訂正候
補辞書を用いて、誤字として検出された位置の前後の文
字によりこの辞書を索引して候補文字を抽出し、最も文
字連接確率が高い候補を選択する方式がある。このよう
な方式の例は、例えば、前者は特願昭６０−３４４４４
号、後者では、特願昭６１−２３８０５９号等に詳しく
紹介されている。

ところが、前者では、入力装置の認識環境により正字と
は全く掛けはなれた認識結果が選択されたり、単語辞書
が大規模になるにしたがって検索に要する処理時間が増
大したり、送り仮名抜は等の脱字を含む誤りに対応でき
ないという欠点があった。

また、後者の例でも、文字単位の確率的な処理であるた
め、文字間の確率が高くても必ずしも単語レベルの正解
が上位の候補として出現せず、また誤字が前提であるた
め、同様に送り仮名抜は等の脱字が出現する誤りに対応
できないという欠点があった。

この発明の目的は予め漢字１文字の動詞となる単語の見
出し、その単語の活用型・活用行をコード化した活用情
報、品詞、単語の優先度を格納した活用文字テーブルと
、予め動詞の活用形の活用語尾となるひらがな文字を格
納した活用語尾テーブルとを作成し、漢字列の直後のひ
らがな列に未知語が発生した場合あるいは漢字２文字単
語に未知語が発生した場合に該当のテーブルを用いて活
用語尾の訂正候補文字を抽出し、さらに後方の単語との
文法的な接続関係が成立する訂正候補を選択することで
、訂正精度の向上、処理性能の向上ならびに脱字の誤り
に対応する訂正候補を抽出する日本文訂正候補文字抽出
装置を提供することにある。

「課題を解決するための手段」 この発明は予め漢字１文字の動詞となる単語の見出し、
その単語の活用型・活用行をコード化した活用情報、品
詞、動詞同形語における単語の優先度をそれぞれ対とし
格納して、漢字１文字の見出しをキーとして索引する活
用文字テーブルと、予め動詞の活用型・活用行をコード
化した活用情報ごとに、各活用形の活用語尾となるひら
がな文字を格納した活用語尾テーブルとを作成し、未知
語でない漢字１文字単語とその後方にひらがな未知語の
単語が認定されている場合に、漢字１文字をキーとして
活用文字テーブルを索引して該当する漢字１文字動詞の
活用情報を取りだし、さらにこの活用情報により活用語
尾テーブルから所定の活用語尾を訂正候補文字として抽
出して原文内の未知語の後方の単語との文法的な接続関
係が成立する活用形の活用語尾を正解の訂正候補として
選択する手段と、 未知語でない漢字２文字単語とその後方にひらがな未知
語の単語が認定されている場合あるいは未知語である漢
字２文字単語が認定されている場合に、それぞれの漢字
１文字をキーとして同様に活用語尾を取りだして、前方
の漢字１文字については連用形の活用語尾を抽出し、後
方の漢字１文字については所定の活用形の活用語尾を訂
正候補文字として抽出して後方の単語との文法的な接続
関係が成立する正解の訂正候補を選択する手段と、抽出
した複数の活用形の活用語尾が後方の単語と文法的な接
続関係が成立する場合には、連用形および連体形の活用
語尾を正解の訂正候補として選択する手段と、 活用文字テーブルに同形の見出しで異なった活用情報を
有する複数のレコードが存在する場合は、単語の優先度
に応じた順序で訂正候補の抽出を行う手段とを備える事
を特徴とする。

従来技術とは、次の手段を有するため、入力装置の認識
環境が悪く認識精度が低下する場合や脱字が出現する誤
りに対しても訂正精度が高い候補抽出・正解候補選択が
可能、という点が異なる。

・予め漢字１文字の動詞となる単語の見出し、その単語
の活用型・活用行をコード化した活用情報、品詞、動詞
同形語における単語の優先度をそれぞれ対とし格納して
、漢字１文字の見出しをキーとして索引する活用文字テ
ーブルと、予め動詞の活用型・活用行をコード化した活
用情報ごとに、各活用形の活用語尾となるひらがな文字
を格納した活用語尾テーブルとを作成し、これを用いて
候補抽出を行っている。

未知語でない漢字１文字単語と誤字や脱字で未知語化し
たその後方のひらがなの単語が認定されている場合に、
漢字１文字をキーとして活用文字テーブルを索引して該
当する漢字１文字動詞の活用情報を取りだし、さらにこ
の活用情報により活用語尾テーブルから所定の活用語尾
を訂正候補文字として抽出して原文内の未知語の後方の
単語との文法的な接続関係が成立する活用形の活用語尾
を正解の訂正候補として選択する。

・未知語でない漢字２文字単語とその後方にひらがな未
知語の単語が認定されている場合あるいは未知語である
漢字２文字単語が認定されている場合に、それぞれの漢
字１文字をキーとして同様に活用語尾を取りだして、前
方の漢字１文字については連用形の活用語尾を抽出し、
後方の漢字１文字については所定の活用形の活用語尾を
訂正候補文字として抽出して後方の単語との文法的な接
続関係が成立する正解の訂正候補を選択する。

・抽出した複数の活用形の活用語尾が後方の単語と文法
的な接続関係が成立する場合には、連用形および連体形
の活用語尾を正解の訂正候補として選択する。

・活用文字テーブルに同形の見出しで異なった活用情報
を有する複数のレコードが存在する場合は、単語の優先
度に応じた順序で訂正候補の抽出を行う。

「実施例」 第１図はこの発明の実施例における構成例を示す図であ
る。

■は漢字ＯＣＲ，ベンタッチ、キーボード等の入力装置
、２は入力あるいは読み込みを行う人力処理部、３は入
力され磁気装置に文字コードの形成で記録されている読
み取り結果の入力日本文データヘース、４は日本語単語
辞書、５は文法辞書、６は日本語単語辞書４および文法
辞書５を用いた形態素解析によって、単語の位置的ある
いは文法的に不連続な接続箇所の文字を未知語として検
出する未知語検出部、７は予め漢字１文字の動詞となる
単語の見出し、活用型・活用行をコード化した活用情報
、品詞、単語の優先度をそれぞれ対として格納して、漢
字１文字の見出しをキーとして索引する活用文字テーブ
ル、８は予め動詞のコード化された活用型・活用行を活
用情報ごとに、各活用形の活用語尾となるひらがな文字
を格納した活用語尾テーブル、９は活用文字テーブルと
活用語尾テーブルを用いて未知語に対して訂正候補文字
を抽出する訂正候補文字抽出部、１０は抽出された訂正
候補文字について後方の単語との文法的な接続関係が成
立する訂正候補を選択する訂正候補選択部、２は誤り救
済された日本文文書データベース、１２はＣＰＵ／メモ
リから成る処理装置である。

この方式では、入力装置ｌで読み込んだ結果である入力
日本文データヘース３に対して、形態素解析によって、
単語の位置的あるいは文法的に不連続な接続箇所の文字
を未知語として未知語検出部６で検出する。これに先だ
って予め動詞となる漢字１文字単語の見出し、活用情報
、品詞、優先度を格納して、見出しをキーとして索引す
る活用文字テーブル７と活用情報ごとに活用形の活用語
尾となるひらがな文字を格納した活用語尾チーフル８を
作成し、未知語に対して活用文字テーブル７と活用語尾
テーブル８を用いて訂正候補文字抽出部９で、訂正候補
文字を抽出する。さらに抽出された訂正候補文字が複数
ある場合には、後方の単語との文法的な接続関係が成立
する訂正候補選択部ＩＯで訂正候補を選択する。

以下、第１図の構成による具体的処理例について説明す
る。

第２図は、活用語尾が誤字となった場合の処理例を示す
図である。

ここで、１３は活用語尾誤りを含む原文、１４は活用語
尾誤りの文字、１５は正字、１６は未知語でない動詞漢
字１文字単語、１７は原文内の未知語の後方の単語、１
８は未知語化したひらがな単語、１９は活用文字テーブ
ル７の漢字１文字の見出し部でかつテーブルのキ一部、
２０は活用文字テーブル７の活用情報部、２１は品詞の
接続関係を記述した文法辞書５の品詞部、２２は文法辞
書５の前方接続活用形、２３は活用語尾テーブル８の活
用情報部、２４は各活用形に対する活用語尾文字、２５
は活用語尾誤り訂正後の原文文字列、２６は訂正された
活用語尾である。

原文文字列１３を形態素解析し、漢字１文字の単語とそ
の後方で未知語化したひらがなの単語が認定されている
場合であり、「使む」、「見ら」が抽出されたとする。

この条件に応じて起動されると、まず、漢字１文字単語
「使Ｊをキーとして活用文字テーブル７を索引し、キー
が存在する場合、該当する漢字１文字動詞の活用情報「
五段・ワ行」を取りだし、この活用情報により活用語尾
テーブル８のキーを決定する。一方、未知語化したひら
がなの単語の後方にある単語「と」の品詞（接続助詞）
をキーとして文法辞書５を索引し、この品詞の前方に接
続可能な用言活用形として「動詞・終止形」を抽出する
。先に抽出した活用情報「五段・ワ行」と該当する活用
形「動詞・終止形」を用いて活用語尾テーブル８を検索
して訂正候補とする活用語尾「う」を抽出する。この際
、候補は１個なので活用語尾の見出し「う」を正解の訂
正候補として選択する。

「見ち」についても同様にして活用語尾の見出し［る」
を正解の訂正候補として選択する。

第３図は、活用語尾が誤字および脱字となった場合の処
理例を示す図である。

ここで、２７は未知語でない漢字２文字単語、２８は脱
字となった活用語尾の正字、２９は未知語でない漢字２
文字単語の前方の漢字１文字、３０は脱字に対して訂正
された活用語尾である。

この処理例では、原文文字列１３を形態素解析し、未知
語でない漢字２文字の単語とその後方で未知語化したひ
らがなの単語が認定されている場合であり、「埋込む」
が抽出されている。

起動されると、まず、未知語でない漢字２文字栄語２７
「埋込」のうち、前方の漢字１文字２９「埋」をキーと
して活用文字テーブル７を索引し、キーが存在する場合
、該当する漢字１文字動詞の活用情報「下一段・マ行」
を取りだし、さらにこの活用情報により活用語尾テーブ
ル８での連用形の活用語尾「め」を抽出する。つぎに、
第２文字目漢字［込」をキーとして活用文字チーフル７
を索引し、該当する漢字１文字動詞の活用情報「五段・
マ行」を取りだし、さらにこの活用情報によリ・活用語
尾テーブルＢを索引して、訂正候補となる活用語尾群「
ま」〜「め」を抽出する。一方、未知語化したひらがな
の単語の後方にある単語「ます」の品詞（助動詞）をキ
ーとして文法辞書５を索引し、この品詞の前方に接続可
能な用言活用形として［動詞・連用形」を抽出する。そ
して、先に抽出した訂正候補となる活用語尾群「ま」〜
「め」より該当する活用形「動詞・連用形」に対応する
訂正候補として活用語尾「み」を抽出する。

この結果、候補は１個なので活用語尾の見出し「み」を
正解の訂正候補として選択する。

第４図は、漢字２文字単語が未知語で後方単語が名詞で
ある場合の処理例を示す図である。

ここで、３１は未知語となった漢字２文字単語の前方文
字、３２は見知語となった漢字２文字単語の後方文字、
３３は名詞である後方単語、３４は１個に選択できない
活用語尾の訂正候補である。

この処理例では、原文文字列１３を形態素解析し、未知
語となった漢字２文字の単語とその後方で未知語でない
名詞の単語が認定されている場合であり、［引出Ｊが抽
出されている。

起動されると、まず、未知語である漢字２文字の前方の
文字３１「引」をキーとして活用文字テーブル７を索引
し、キーが存在する場合、該当する漢字１文字動詞の活
用情報「五段・力行」を取りだし、さらにこの活用情報
により活用語尾チーフル８での連用形の活用語尾「き」
を抽出する。

つぎに、第２文字目漢字３２「出」をキーとして活用文
字テーブル７を索引し、該当する漢字１文字動詞の活用
情報「五段・す行」を取りだし、さらにこの活用情報に
より活用語尾テープ８を索引して、訂正候補となる活用
語尾群「さ」〜「せ」を抽出する。一方、未知語化した
ひらがな単語の後方にある単語「方法」の品詞（名詞）
をキーとして文法辞書５を索引し、この品詞前方に接続
可能な用言活用形として「動詞・連用形」および「動詞
・連体形」を抽出する。そして、先に抽出した訂正候補
となる活用語尾群「さ」〜「せ」より該当する活用形「
動詞・連用形」および「動詞・連体形」に対応する訂正
候補として活用語尾「シ」オよび「すｊを抽出する。こ
の結果、候補は２個となるが、これ以上絞り込めないの
で、活用語尾の見出し［しｊおよび「す」を正解の訂正
候補３４として選択する。

第５図は、異なる活用情報を有する同形の見出しのレコ
ー１が存在する場合の処理例を示す図である。

ここで、３５は同形の見出しが存在する場合の活用文字
テーブル、３６は同形の見出しの読み部、３７は同形の
見出しの中での優先度、３Ｂは活用語尾の訂正候補群、
３９は優先度により選択された活用語尾である。

この処理例では、原文文字列１３を形態素解析し、漢字
１文字の単語とその後方で未知語化したひらがなの単語
が認定されている場合であり、「生みＪが抽出されてい
る。この条件で起動されると、まず、漢字１文字単語「
生」をキーとして活用文字テーブル３５を索引すると、
該当するレコードが複数存在するので、該当する全ての
漢字１文字動詞の活用情ヤμ「五段・マ行」、［す変・
する」、「五段・う行」を取りだし、これらの活用情報
に応して活用語尾テーブル８を索引して活用語尾訂正候
補群を抽出する。一方、未知語化したひらがなの単語の
後方にある単語「ない」の品詞（助動詞）をキーとして
文法辞書５を索引し、この品詞の前方に接続可能な用言
活用形として「動詞・未然形」を抽出する。先に抽出し
た活用語尾訂正候補群と該当する活用形「動詞・未然形
」を用いて同形の見出し１−生」の・活用情報ごとに活
用語尾の訂正候補群３８を選択する。この結果、候補は
３個となる。さらに活用文字テーブル内の優先度３７に
応じて活用語尾の見出し「ま」を正解の第１位訂正候補
３９として選択する。この際、第２位「じ」、第３位「
ら」も訂正候補として抽出する。

このような構造および作用となっているから、従来の技
術に比べて、人力装置の認識環境が悪く認識精度が低下
する場合に、認識結果に含まれる送り仮名の誤字や脱字
が出現する誤りに対しても訂正精度が高い候補抽出・正
解候補選択が可能であり、たとえ人手による認識を行う
場合でも負荷の軽減を図ることができるという改善があ
った。

「発明の効果」 以上説明したように、予め漢字１文字の動詞となる単語
の見出し、その単語の活用型・活用行をコード化した活
用情報、品詞、動詞同形語における単語の優先度をそれ
ぞれ対として格納して、漢字１文字の見出しをキーとし
て索引する活用文字テーブルと、予め動詞の活用型・活
用行をコード化した活用情報ごとに、各活用形の活用語
尾となるひらがな文字を格納した活用語尾テーブルとを
作成し、 未知語でない漢字１文字単語とその後方にひらがな未知
語の単語が認定されている場合に、漢字１文字をキーと
して活用文字テーブルを索引して該当する漢字１文字動
詞の活用情報を取りだし、さらにこの活用情報により活
用語尾テーブルから所定の活用語尾を訂正候補文字とし
て抽出して原文内の未知語の後方の単語との文法的な接
続関係が成立する活用形の活用語尾を正解の訂正候補と
して選択する手段と、 未知語でない漢字２文字単語とその後方にひらがな未知
語の単語が認定されている場合あるいは未知語である漢
字２文字単語が認定されている場合に、それぞれの漢字
１文字をキーとして同様に活用語尾を取りだして、前方
の漢字１文字については連用形の活用語尾を抽出し、後
方の漢字１文字については所定の活用形の活用語尾を訂
正候補文字として抽出して後方の単語との文法的な接続
関係が成立する正解の訂正候補を選択する手段と、抽出
した複数の活用形の活用語尾が後方の単語と文法的な接
続関係が成立する場合には、連用形および連体形の活用
語尾を正解の訂正候補として選択する手段と、 活用文字テーブルに同形の見出しで異なった゛活用情報
を有する複数のレコードが存在する場合は、単語の優先
度に応した順序で訂正候補の抽出を行う手段とを用いて
、訂正候補抽出および選択を行うのであるから、 入力装置の認識環境が悪く認識精度が低下する場合に、
認識結果に含まれる送り仮名の誤字や脱字が出現する誤
りに対しても訂正精度が高い候補抽出・正解候補選択が
可能であり、たとえ人手による確認を行う場合でも負荷
の軽減を図ることができるという利点があった。

【図面の簡単な説明】

第１図はこの発明の実施例における構成例を示す図、第
２Ｉ２１から第５図はそれぞれ第１図のこの発明による
具体的処理例を示す図である。 特許出願人　　日本電信電話株式会社

Claims (1)

【特許請求の範囲】
1. （１）日本語単語辞書および文法辞書を用いた形態素解
   析によって、単語の位置的あるいは文法的に不連続な接
   続箇所の文字を未知語として検出する未知語検出部と、 予め漢字１文字の動詞となる単語の見出し、その単語の
   活用型・活用行をコード化した活用情報、品詞、動詞同
   形語における単語の優先度をそれぞれ対とし格納して、
   漢字１文字の見出しをキーとして索引する活用文字テー
   ブルと、 予め動詞の活用型・活用行をコード化した活用情報ごと
   に、各活用形の活用語尾となるひらがな文字を格納した
   活用語尾テーブルと、 活用文字テーブルと活用語尾テーブルを用いて未知語に
   対して訂正候補文字を抽出する訂正候補文字抽出部と、 抽出された訂正候補文字について後方の単語との文法的
   な接続関係を用いて訂正候補を選択する訂正候補選択部
   とを有する日本文訂正候補文字抽出装置であって、 未知語でない漢字１文字単語とその後方にひらがな未知
   語の単語が認定されている場合に、漢字１文字をキーと
   して活用文字テーブルを索引して該当する漢字１文字動
   詞の活用情報を取りだし、さらにこの活用情報により活
   用語尾テーブルから所定の活用語尾を訂正候補文字とし
   て抽出して原文内の未知語の後方の単語との文法的な接
   続関係が成立する活用形の活用語尾を正解の訂正候補と
   して選択する手段と、 未知語でない漢字２文字単語とその後方にひらがな未知
   語の単語が認定されている場合あるいは未知語である漢
   字２文字単語が認定されている場合に、それぞれの漢字
   １文字をキーとして活用文字テーブルを索引して該当す
   る漢字１文字動詞の活用情報を取りだし、さらにこの活
   用情報により活用語尾テーブルから所定の活用語尾を取
   りだして、前方の漢字１文字については連用形の活用語
   尾を抽出し、後方の漢字１文字については所定の活用形
   の活用語尾を訂正候補文字として抽出して原文内の後方
   の単語との文法的な接続関係が成立する活用形の活用語
   尾を正解の訂正候補として選択する手段と、 抽出した複数の活用形の活用語尾が後方の単語と文法的
   な接続関係が成立する場合には、連用形および連体形の
   活用語尾を正解の訂正候補として選択する手段と、 活用文字テーブルに同形の見出しで異なった活用情報を
   有する複数のレコードが存在する場合は、単語の優先度
   に応じた順序で訂正候補の抽出を行う手段とを備える事
   を特徴とする日本文訂正候補文字抽出装置。