JP3033904B2 - 文字認識後処理方法 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は文字認識後処理方法に係り、特にスペースと
スペースによって挟まれた文字列の集まりによって文章
が構成される英文などについて文字認識結果を修正する
のに好適な文字認識後処理方法に関する。

〔従来の技術〕

本発明の主たる対象である英文の文字認識に関連する
従来技術としては、例えば「英文文書認識処理における
文字の大きさと位置に着目した文字分類方式」（鈴木ほ
か；昭和63年度電子情報通信学会春季全国大会予稿集，
第１−191頁）に、行内の文字の高さが揃っていること
を前提とし、行内の文字の外接矩形の上端と下端のヒス
トグラムから２本の基準線を抽出し、この基準線と文字
との位置関係から、行単位で文字を分類する手法が述べ
られている。これを従来の技術Ａと称す。

これ以外にも、文字認識または文字認識結果の修正に
関して、次に述べるような様々な手法が提案されてい
る。

例えば、特開昭57−162087号公報には、光学的文字読
取装置において、前後の文字画像のｙ座標の位置関係お
よび認識結果の関係の妥当性を調べることにより認識結
果の信頼性を向上させる手法が述べられている。これを
従来の技術Ｂと称す。また、特開昭57−162087号公報に
は、文字画像の中心と基底点との差を基底点補正値とし
て辞書中に持ち、この基底点補正値を用いることで認識
結果の信頼性を向上させる手法か述べられている。これ
を従来の技術Ｃと称す。さらには、特開昭61−39175号
公報には、類似文字に対しては、その前後の文字の種類
より文字種を決定し結果を修正する手法が述べられてい
るこれを従来の技術Ｄと称す。さらに、特開昭63−3099
1号公報には、文字認識装置において、第一候補文字の
文字種の並びから訂正を必要とする文字と訂正後の文字
種を判定し、訂正を必要とする文字の認識候補文字群中
の判定した文字種と同じ文字種の認識候補を第一候補と
する手法が述べられている。これを従来の技術Ｅとす
る。

〔発明が解決しようとする課題〕

しかし、前記各従来技術には次のような問題点があ
る。

まず、従来の技術Ａは、認識対象の文書がスキューし
た場合、ヒストグラムから高さのピークを得ることが困
難であるので、スキュー補正の処理が必要となる。ま
た、処理が行単位であるので、行内フォントサイズが変
化する文書に対処できない。さらに、外接矩形の上端と
下端の座標を用いるので、ノイズによる影響が大きい。

従来の技術Ｂは、処理を行っている文字と、その前後
の文字との間の関係に矛盾が生じた場合に、どの文字が
誤認識であるかを特定できないため、リジェクトになる
文字が増加してしまう。

従来の技術Ｃは、基底点補正値がフォントによりばら
つくので、マルチフォントの文書への対応が困難であ
る。

従来の技術Ｄは、前後の文字とその間の文字の種類が
同一であるという前提に基づいているが、これが一般的
に成り立つ保証がなく、また、英数時OCRにそのまま適
用すると類似文字が多くなり、修正が困難である。

従来の技術Ｅは、第一候補文字種の並びから文字列の
種類を判定するため、第一候補文字の信頼性がある程度
高くなるパターンマッチングを行わないと、正確な文字
種の判定ができない。したがって、マルチフォントへの
適用が難しい。

本発明の目的は、上に述べたような問題点を改善した
文字認識後処理方法を提供することにある。さらに具体
的には、マルチフォント、マルチサイズの英文文字認識
の場合、類似した大文字と小文字（ｖとＶ等）や類似し
た記号（，と’等）、その他の形状の似ている文字（数
字の１と小文字のｌ等）の区別が非常に難しいが、本発
明の目的は、文字列単位にフォントやフォントサイズが
変化しても、そのような類似した文字を区別し修正する
ことができ、かつスキューに強い文字認識後処理方法を
提供することにある。

〔課題を解決するための手段及び作用〕

本発明は、文字認識の後処理において、スペースとス
ペースで挾まれた文字列を処理単位として、認識結果の
文字列より「基準文字」を抽出し、該基準文字の高さお
よび位置を基準として、文字列中の他の文字の高さおよ
び位置より文字の属性を判定し、判定した属性に適合さ
せるように文字列中の文字の認識結果を修正することを
基本とする。

本発明の主要な特徴は、複数の基準文字候補を抽出
し、それぞれの基準文字候補を基準文字として文字列中
の文字の認識結果を修正し、その修正結果より各基準文
字候補の信頼性を調べ、最も信頼性が高い一つの基準文
字候補を基準文字に選定することにある（請求項１）。

本発明の他の主要な特徴は、基準文字の位置の情報を
文字画像の基準位置の情報として基準文字の前後の文字
へ伝播し、この前後の文字からさらに他の文字へ基準位
置の情報を順次修正しつつ伝播することにより、文字列
中の基準文字以外の文字の認識結果を、その文字画像の
高さおよび位置の情報と基準文字の高さおよび伝播され
た基準位置の情報より文字の属性を判定して修正するこ
とにある（請求項５）。

以下の説明においては英文文字認識を例に用いるが、
本発明は、スペースとスペースで挟まれた文字列に文章
が分解される他の同様な言語の場合にも適用可能であ
る。

「基準文字」として抽出される文字は、例えば次の
（ａ）から（ｄ）の条件の全部または一部を満たす文字
が選ばれる。

（ａ） 認識結果の信頼性が高い文字であること（認識
特性）。

（ｂ） 誤認識しにくい文字であること（認識特性）。

（ｃ） 文字画像の相対的な高さがどのフォントでも安
定していること（文字特性）。

（ｄ） 文字画像の領域分割線の下基準線の位置がどの
フォントでも安定していること（文字特性）。なお、領
域分割線については、例えば、特開平１−78396号公報
にその決定方法が詳述されている。

上記（ａ）および（ｂ）の条件は認識系に依存する
が、例えば簡単なパターンマッチングによる認識系の場
合、条件（ａ）に関しては、入力パターンと第一候補文
字の辞書との距離をD1、第二候補文字の辞書との距離を
D2とするとき、次の評価関数 Ｅ＝（D2−D1）/D1 を用い、Ｅ＞β（閾値）のときに認識結果の信頼性が高
い、Ｅ≦βのときに認識結果の信頼性が低いとすること
ができる。

上記（ｃ）および（ｄ）の条件については、文字に関
する経験的な知識より予め評価することができ、例えば
「ｔ」等はフォントにより文字画像の相対的な高さの違
いが大きいため、（「ｈ」と高さが等しいフォントも、
それより高さが低いフォントもある）、基準文字として
用いるのに適当でない。

また文字画像の「高さ」は、行に対し垂直な方向の文
字サイズに対応するもので、例えば文字画像の上端の位
置と下端の位置との差である。文字画像の「位置」は、
行に対して垂直な方向の位置であり、例えば文字画像の
下端の位置、あるいは、文字画像の領域分割線の下基準
線の位置を用いることができる。

文字列中の基準文字以外の文字の修正は、具体的に
は、例えば基準文字の高さおよび位置を基準とし、文字
列中の他の文字の高さおよび位置より次に述べるような
属性判定を行い、判定された属性と第一候補が異なると
きには、第二位以下の候補から該当属性の文字を選ん
で、これを第一候補と入れ替えることにより行う。な
お、予め誤認しやすい類似文字のテーブルを用意し、候
補中に適当な文字が見つからないときに、このテーブル
を検索して適当な文字を捜すようにしてもよい。

文字画像の高さを基準とした属性の判定は、例えば基
準文字画像の高さｈと他の文字画像の高さＨとを比較
し、その差が閾値より小さいとき、差が閾値より大きく
且つＨ＞ｈのとき、差が閾値より大きく且つＨ＜ｈのと
きに、例えば第１表または第２表に示すような文字群に
属すると判定する。なお、第１表は基準文字が「絶対大
文字の高さ（大文字レベルの高さ）」を持つ文字である
ときに適用され、第２表は基準文字が「絶対小文字の高
さ（小文字レベルの高さ）」を持つ文字であるときに適
用される。

位置を基準とした属性判定は、例えば基準文字画像の
下端位置（ベースライン）または領域分割線の下基準線
の位置を基準とし、文字画像の位置との上下関係によっ
て第３表に従い属性を決定する。

なお、前記判定の閾値を適当に選ぶことにより、ノイ
ズ等の影響を減らすことができるが、基準文字画像の高
さに応じて判定閾値を可変にしてもよい。例えば基準文
字の高さと係数との積を閾値とすることができる。この
ような可変閾値とすると、フォントサイズの変化や画像
の読取密度の変化に強くなる。

また基準文字は、文字列をサーチし、最初に見つかっ
た条件を満たす文字に決めることもできるが、基準文字
の精度を向上させるために、条件を満たす文字をすべて
基準文字候補として抽出し、その中から信頼性の高いも
のを選択する。

より具体的には、絶対大文字高さの基準文字候補の
間、または絶対小文字高さの基準文字候補の間では、例
えば前記評価関数Ｅから判定した信頼性が高いものを基
準文字として選択することができる。この方法では信頼
性が同じ程度で選択できない場合には、それぞれの基準
文字候補を基準文字として用いた修正結果から信頼性を
判定することにより、基準文字候補より基準文字を選択
することができる。絶対大文字高さの基準文字候補と絶
対小文字高さの基準文字候補との間においても、前記評
価関数による信頼性の高い候補を選択したり、あるい
は、それぞれの基準文字候補を用いた修正結果の矛盾を
調べ、矛盾が生じたときに、より信頼性が高い候補を基
準文字に選ぶことができる。

さらに、対象としている文字列中に基準文字の条件を
満足した文字が見つからない場合、他の文字列中の基準
文字を代用してもよい。ただし、マルチサイズ文書を対
象としている場合、フォントサイズが異なる他の文字列
の基準文字を使用しないような判断基準を定めるべきで
ある。

基準位置の情報の伝播中の修正は、具体的には、例え
ば次のような方法が可能である。なお、認識結果
が「’」のようにフォントによって位置情報補正定数α
の値が大きく異なる場合に、基準位置の修正を行わない
ようにすべきである。

（ア） 文字列中の文字に伝播された基準位置と、その
文字画像自体の位置とを比較し、その差が所定の閾値以
下のときのみ、その文字画像自体の位置を改めて基準位
置として次の文字へ伝播する。

（イ） 伝播された基準高さおよび基準位置の情報を用
いて修正された認識結果（第一候補文字）に応じて、例
えば次式のような演算によって次の文字に伝播すべき基
準位置を修正する。

Ｐ＝Ｂ＋α×Ｈ （１）式 α：修正後の第一候補文字に固有の定数 （位置情報補正定数） B:文字画像の位置情報 （下端または下分割線の位置座標） H:文字画像の高さ P:修正された位置情報 （下端または下分割線の位置座標） （ウ） 伝播された基準位置と文字画像自体の位置との
差が閾値以下のときに、その文字画像自体の位置を次の
文字へ伝播する修正後の基準位置とし、他方、その差が
閾値を越えたときに上記（イ）で述べたような演算によ
って基準位置を修正する。

本発明による文字認識結果の修正法は、文字列を処理
単位とするため、文字例単位のフォントサイズの変化な
どに対応でき、また、行単位の処理に比べ本質的にスキ
ュ−に強い。さらに、文字列内において基準位置を順次
修正する方法をとる場合には、文字列内でも無視できな
いほど大きなスキュ−に対しても、その影響を排除し、
信頼性の高い文字認識結果の修正が可能になる。

〔実施例〕

以下、図面により本発明の各実施例を説明することに
する。

第１図は、本発明に係る文字認識装置の一例を示すハ
ードウェア構成図である。１は処理対象の英文文書の２
値画像を入力するスキャナー、２はその２値画像データ
を記憶するためのイメージメモリである。３は文字切出
し、特徴抽出、辞書照合、後処理などの処理を実行する
中央処理装置、４はそのような処理のプログラムおよび
パラメータ類を格納したプログラムメモリ、５は処理に
よって得られたデータを記憶するためのデータメモリ、
６は文字認識のための辞書を格納した辞書メモリであ
る。後述のコンフュージョンテーブル（類似文字のテー
ブル）は辞書メモリ６またはプログラムメモリ４に置く
ことができる。

全体的な処理の流れは次の通りである。スキャナー１
によって英文文書が読み取られ、その２値画像データが
イメージメモリ２に蓄積される。この２値画像データよ
り行切出し、文字切出しが行われる。切り出された個々
の文字画像の特徴が抽出され、辞書メモリ６内の各文字
の辞書と比較照合され、距離が小さい順に最高第ｎ位ま
での候補文字が選ばれる。また、本発明に関係する後処
理（認識結果の修正処理）に利用されるデータも抽出さ
れ、データメモリ５に記憶される。

次に、本発明による認識結果の修正のための後処理が
実行されるが、これについては実施例毎に説明する。

まず、実施例１〜10について、主に第４表に示す認識
結果を例に説明する。

なお、第４表において、「文字画像の高さ」は文字画
像の上下端の位置の差または上下基準線の位置の差、
「文字画像の位置」は文字画像の下端または下基準線の
位置の座標である。「認識結果の信頼性」、「誤認識の
可能性」、「高さ（文字画像の高さ）の安定性」および
「位置（文字画像の下端または下基準線の位置）の安定
性」はそれぞれ第一候補についての基準文字としての前
記条件（ａ），（ｂ），（ｃ）および（ｄ）に相当す
る。「（第一候補についての）文字列判定文字としての
有用性」については、文字種による修正に関連するもの
で、その内容について後述する。「第一，第二，第三候
補のCT」は、コンフュージョンテーブルから検索される
誤認識しやすい文字（コンフュージュン文字）である。

実施例１ 処理フローは第２図の通りである。

まず、文字認識結果より、スペースとスペースとに挟
まれた文字列を抽出する（処理100）。

次に、抽出した文字列を左から順に調べ、最初に見つ
かった誤認識の可能性が小さく、かつ文字画像の高さお
よび位置が安定した文字、すなわち、前述の基準文字の
条件（ｂ），（ｃ）および（ｄ）を満たす文字を基準文
字として抽出する（処理110）。第４表の例では、文字
列の３番目の文字「ｅ」が基準文字として抽出される。

次に文字画像の高さを利用した修正処理を文字列中の
基準文字以外の各文字に対して実行する（処理120,13
0）。

処理120で、基準文字の高さを基準とした各文字の属
性判定を行う。第３図と第４図に文字画像の高さによる
属性判定の具体例を示す。第３図は、文字列の１番目の
絶対小文字高さの文字「ａ」が基準文字として選ばれた
場合であり、２番目と３番目の文字は第２表の（ｉ）、
４番目の文字は第２表の（ｈ）、最後の文字（記号）は
第２表の（ｊ）にそれぞれ属するものと判定される。第
４図は文字列の先頭の絶対大文字高さの文字が基準文字
として選ばれた場合であり、この場合は第１表に従って
属性判定がなされる。第４表の例では、基準文字「ｅ」
は絶対小文字高さの文字であるので、第２表に従った属
性判定となる。即ち、基準文字「ｅ」の文字画像の高さ
は第４表より10であり、他の各文字画像の高さはそれぞ
れ第４表の「文字画像の高さ」に示す通りである。文字
画像の高さの差の判定閾値を３とすると、文字列中の１
番目、２番目、７番目の文字は第２表中の（ｈ）のグル
ープ（絶対小文字の高さを有する文字）に判定され、文
字列中の４番目、５番目、６番目、８番目の文字は第２
表中の（ｉ）のグループ（絶対小文字高さより高い文
字）に判定される。

次の処理130において、各文字の第一候補と属性判定
の結果とを比較する。文字列の２番目の文字の第一候補
「Ｗ」は絶対大文字の高さを有する文字であり、属性判
定結果と矛盾する。そこで、属性判定結果すなわち「絶
対小文字高さの文字」を第二位以下の候補より捜すと、
第二候補「ｗ（小文字）」が見つかる。そこで、２番目
の文字の第一候補を第二候補と入れ替える。他の文字は
属性判定結果と矛盾しない。かくして、文字画像の高さ
による修正後の第一候補文字列は、 ［ｓ（小）,w（小）,1（イチ）,I（大）,i,n,9］ となる。

なお、処理120,130において適当な文字が候補中に見
つからない場合、コンフュージョンテーブルを検索し、
各候補文字について得られたコンフュージョン文字（第
４表参照）を候補文字と同じに扱う。

次に文字画像の位置による修正処理を文字列中の各文
字について実行する（処理140,150）。

まず処理140において、基準文字の文字画像の位置
（下端位置または下基準線位置）と各文字画像の位置と
を比較することにより、第３表に示す属性判定を行う。
第５図は文字画像の位置による属性判定の具体例を示
す。先頭の文字が基準文字として選ばれた場合、２番目
の文字の属性は第３表の（ｋ）、最後の文字（記号）の
属性は第３表の（ｍ）である。第４表の例では、基準文
字「ｅ」の文字画像の位置は19で、他の文字画像の位置
はそれぞれ第４表に示す通りであるので、判定の閾値を
３とすると、属性判定の結果は、文字列中の８番目の文
字が第３表の（ｋ）のグループとなり、残りの文字（基
準文字は除く）が（１）のグループとなる。

次の処理150で、この属性判定結果について第一候補
列（文字画像の高さにより修正後）を検索すると、９番
目の文字の第一候補「９」は基準文字画像の位置と等し
い文字であるので属性判定結果と矛盾する。そこで、属
性判定結果に合致する文字を候補中から捜すと、第二候
補「ｇ」があるので、これを第一候補と入れ替える。か
くして、修正後の第一候補文字列は、 ［ｓ（小）,w（小）,1（イチ）,I（大）,i,n,g］ となる。

なお、処理140,150においても、候補中に適当な文字
がないときには、コンフュージョン文字より適当な文字
を捜す。

次に文字列の種類を推定して認識結果の修正を行う
（処理160,170）。

まず処理160において、第一候補文字列（ここまでに
修正された結果）より第４表に示す「文字列判定文字と
しての有用性」が“有”の文字を捜し、これを文字列判
定文字とする。この文字列判定文字とは、文字列の種類
を推定するための基準となる文字のことで、その条件は
他の種類の文字と誤認識しやすい文字（例えば数字の１
と小文字のｌ、Ｓと５等）でないことである。この例で
は、第一候補文字列中のs,w,i,n,gが文字列判定文字と
選ばれる。これは全て小文字であるので、第５表に従っ
て、この文字列の種類を英小文字列であると推定する。

次の処理170において、推定した文字列種類と第一候
補とを比較し、一致しない文字については第二位以下の
候補より該当する種類の文字を捜し、候補中に適当な文
字が見つからないときにはコンフュージョンテーブルか
ら捜し、見つかった文字を第一候補と入れ替える。

この例では、４番目の１（数字）が推定した文字の種
類と違う。その第二候補のＩ（大文字）も不適当であ
る。第三候補のｊは小文字であるが、その文字画像の下
端位置が第４表に示されている４番目の文字画像の位置
と整合しないので適当でない。このように、この実施例
では、文字画像の位置の整合性も条件に追加している
（他の実施例でも同様）。そこでコンフュージョンテー
ブルを検索すると、小文字のｌ（エル）があり、これが
適当であるので第一候補と入れ替える。かくして、最終
的な第一候補文字列は、すべての小文字の［swelling］
になり、これが結果として出力される。

なお、文字列種類の推定の精度は、その前に文字画像
の高さおよび位置による修正を行ったことにより向上す
る。これについて第６表に示す例によって説明する。

まず、文字画像の高さおよび位置による修正の処理前
に文字列の種類の推定を行う場合を考える。この場合、
第一候補はすべて文字列判定文字に選ぶことができな
い。すなわち、９はｇと誤認識することが多く、１（数
字）はｌ（小文字）またはＩ（大文字）と誤認識するこ
とが多く、Ｏ（大文字）は０（数字）またはｏ（小文
字）と誤認識することが多く、Ｓはｓ（小文字）または
５（数字）と誤認識することが多く、ｓはＳ（大文字）
または５と誤認識すること多く、いずれも文字列判定文
字としての条件を満たさない。したがって、文字列の種
類を推定できず、文字列種類による修正が有効に働かな
い。

他方、文字画像の高さおよび位置による修正処理後に
おいては、処理後の脱一候補文字列中のｇは文字判定文
字となる（文字画像の位置による処理によって９と誤認
識する可能性は小さい）。１（数字）は文字列判定文字
とはならない（文字画像の高さおよび位置を用いた処理
を行っても数字の１や大文字のＩとの識別が困難）。ｏ
（小文字）は文字判定文字となる（ｇと同様）。ｓは文
字列判定文字となる（ｇと同様）。したがって、文字列
は英小文字列と推定される。その結果、第一候補文字列
中の数字の１が小文字のｌ（エル）に修正され、正解が
得られる。

なお、各文字毎に、文字画像の高さによる修正と位置
による修正を連続的に行ってもよい。

実施例２ 処理フローは第２図と同じである。

この実施例においては、処理110で基準文字の条件
（ａ），（ｂ），（ｃ）および（ｄ）を全て満足する最
初に見つかった文字を基準文字として抽出する。第４表
に示した例では、文字列中の７番目の文字「ｎ」が基準
文字として抽出される。これ以外は実施例１と同様であ
る。

実施例３ 処理フローは第６図の通りである。

処理111では基準文字の条件（ａ），（ｂ），（ｃ）
および（ｄ）の全てを満たす文字をすべて基準文字候補
として抽出することが、実施例１および実施例２の対応
処理（第２図の処理110）と異なる。なお、第４表の例
では、条件を満たす基準文字候補は７番目の「ｎ」だけ
であるので、自動的にこれが唯一の基準文字となる。

そして、処理120,130において、各基準文字候補をそ
れぞれ基準文字として扱って他の文字の認識結果の修正
を行う。

処理131は追加された処理である。ここでは、各基準
文字候補を用いて修正された第一候補文字列と、修正前
の第一候補文字列とのハミング（Humming）距離をそれ
ぞれ比較し、ハミング距離が最も小さくなった一つの基
準文字候補を信頼性が高いと判断し基準文字に選択し、
それを用いて修正された第一候補文字列を有効とする。

処理140から170は実施例１および実施例２の対応処理
と同様である。

ここで、ハミング距離について、第７表に示す例によ
って説明する。

この表において、各修正結果の↑印で指す文字が修正
前の第一候補と一致しない文字であるので、１番目の文
字「ｎ」を基準文字としたときのハミング距離は４、８
番目の文字「ｒ」を基準文字としたときのハミング距離
は２である。したがって、ハミング距離が小さくなった
８番目の文字「ｒ」を基準文字に選択する。なお、第７
表中のΔは置き換えるべき適当な文字が見つからなかっ
たことを意味し、これは基準文字選択の評価から除外さ
れる。

このような基準文字候補の選択方法は、絶対大文字高
さの基準文字候補が二つ以上抽出された場合、または絶
対小文字高さの基準文字候補が二つ以上抽出された場合
に効果的である。

なお、基準文字選択の処理（処理131）を、文字画像
による修正処理の後で行うことも可能である。

実施例４ 処理フローは第７図の通りである。

処理111において基準文字の条件を満たす文字が複数
見つかれば、それぞれ基準文字候補として抽出すること
は実施例３と同様であるが、最終的な基準文字の選択は
文字画像の高さによる修正の処理ループ（処理120,130
のループ）内に追加された処理132で行われる。

処理120,130において、各基準文字候補を用いた文字
列中の各文字について順に文字画像の高さによる修正を
行うが、各文字の修正結果が得られる都度、その矛盾が
ないか処理132で調べる。例えば、同じ文字について、
絶対大文字高さの基準文字候補を基準としたときに高さ
が高いと判定され、逆に絶対小文字高さの基準文字候補
を基準としたときに高さが低いと判定されたならば、こ
れは明らかに矛盾であるので、その時点で信頼性が低い
ほうの基準文字候補を排除する。ただし、それまでの修
正結果については、選択されない基準文字候補を用いた
修正結果も有効として、文字画像の位置による修正に利
用する。

このような基準文字候補の選択方法は、絶対大文字高
さの基準文字候補と絶対小文字高さの基準文字候補とが
抽出された場合に効果的である。

これ以外は実施例３と同様である。

実施例５ 処理フローは第８図の通りである。

この実施例は、処理112が追加されたことが第６図の
実施例３と異なる。この処理112においては、抽出され
た基準文字候補について、例えば前記評価関数による信
頼性を比較し、予め設定した有意の差が認められたとき
には、信頼性が低い基準文字候補から除外して基準文字
候補を絞り込むことにより、修正処理の負担を軽減す
る。最終的な基準文字の選択は処理131で行う。

実施例６ 処理フローは第９図の通りである。

この実施例は、処理112が追加されたことが第７図の
実施例４と異なる。処理112の内容は上記実施例５で述
べた通りである。

実施例７ 処理フローは第10図の通りである。この図から明らか
なように、この実施例は第８図の実施例５と第９図の実
施例６を組み合せたもので、処理112で基準文字候補を
絞り込み、さらに処理132で修正結果の矛盾による基準
文字候補の絞り込みを行い、処理131によって最終的な
基準文字を選択する。

なお、処理131を文字画像の位置による処理の後で行
ってもよい。

実施例８ 処理フローは第11図の通りである。

この実施例は、処理110において処理対象文字列より
一つの基準文字を捜すが、見つからないときには、処理
113によって他の文字列より同様の条件で一つの基準文
字を捜す。これ以外は実施例１と同様である。

実施例９ 処理フローは第12図の通りである。

この実施例は、文字画像の高さによる修正後に処理13
3を追加したことが実施例８と異なる。即ち、この実施
例においては、他の文字列の基準文字を用いた場合に
は、前述のようにフォントサイズが違う他の文字列の基
準文字の利用を避ける必要があるため、処理133によっ
て、他の文字列から抽出された基準文字が適当であるか
否かのチェックを行い、不適当と判断したときには文字
画像の高さによる修正結果を無効にするものである。

第８表に他の文字列の基準文字を用いる場合の例を示
し、説明する。

この例では、処理文字列（you）に基準文字として適
当な文字が存在しないので、前の文字列（for）中の基
準文字としての条件を満たす３番目の文字ｒを処理文字
列（you）の基準文字として用いる。処理133では、この
基準文字を用いた文字画像の高さによる修正結果と第一
候補文字列とのハミング距離を調べ、それが処理文字列
の文字数の1/2より小さいときに基準文字は適当と判定
する。この例ではハミング距離は１であるので、基準文
字は適当であると判定される。

実施例10 処理フローは第13図の通りである。

この実施例においては、処理111で処理文字列中の基
準文字候補の抽出を行い、抽出できないときに処理114
で他の文字列より同様の基準文字候補の抽出を行う。基
準文字の選択は実施例７（第10図）におけると同様の処
理112,131,132で行い、さらに、実施例９（第12図）と
同様に他の文字列から抽出された基準文字候補について
のチェックを処理133で行う。

なお、基準文字画像の高さに応じて属性判定の閾値を
可変設定してもよいことは前述の通りである。これは処
理文字列中または他の文字列中の条件を満たす文字をす
べて基準文字候補として抽出し、それぞれを基準文字と
して用いて文字画像の高さによる修正を行う場合も同様
である。

次に、第９表に示す認識結果を例として実施例11に説
明する。

実施例11 処理フローは第14図の通りである。

この実施例は、これまでの各実施例と同様に文字画像
の高さ、位置による修正を行い（処理120,130,140,15
0）、その後に文字列の種類による修正を行い（処理16
0,170）、さらに、この文字列の種類による修正の後
に、該文字列中の位置の妥当性による修正を加えたもの
である（処理180）。本実施例では、文字列中におい
て、文字の存在可能な位置（文字列の先頭、文字列の末
尾、その他）を用いることで、文字列中の異なる文字種
が存在した場合にも、認識結果の修正を行うことが可能
となる。

処理112において、文字列内で文字画像の高さ、最下
座標が安定かつ認識結果の信頼性のある文字中から最も
適当であると思われる文字が基準文字として選択され
る。第９表の例の場合、上記条件を満たす文字は「ｂ」
のみであるので、「ｂ」が基準文字となる。基準文字が
決定された後に、誤基準文字の画像の高さよりも、文字
高さ、位置の処理を行う際のスレッシュホールドを決定
する（処理115）。

次に、文字画像の高さを利用した処理を行う（処理12
0,130）。第９表の例の場合は、基準文字「ｂ」は絶対
文字高さの高い文字であるので、それぞれの文字につい
て文字画像の高さから次のような判定が行われる。基準
文字「ｂ」の高さは17であり、スレッシュホールドを３
とするとき、絶対文字の高さを有する文字画像は、！
（17）,!（16）,2（17）,4（16）,s（17）であり、絶対
大文字の高さよりも低い文字画像は−（５）,,（５）で
ある。

この判定に基づいて候補文字中の検索を行うと、
「ｓ」は絶対大文字の高さを有さない文字であるので適
当ではなく、「６」が候補文字中で適当な文字である。
したがって、文字画像の高さによる処理後の第一候補文
字列は［!!b−246,］となる。

次に、文字画像の位置による処理を行う（処理140,15
0）。高さによる処理の場合と同様にして、基準文字
「ｂ」の最下座標は21であり、スレッシュホールドを３
とすると、最下座標が基準文字の最下座標と等しいの
は、！（20）,!（21）,2（20）,4（20）,6（21）,,（2
0）であり、最下座標が、基準文字の最下座標より高い
のは−（26）である。

この判定に基づいて候補文字中の検索を行う
と、「，」は最下座標が基準文字の最下座標より低い文
字であるので適当ではなく、「→」が候補文字中で適当
な文字である。したがって、文字画像の位置による処理
後の第一候補文字列は［!!b−246.］となる。

次に、文字列の種類の決定を行う（処理160）。

第９表の例の場合、文字列判定文字は「ｂ、−、4,
6」であるので、文字列の種類を一意に決定できない
（記号、数字，英小文字の組み合わせである）。従っ
て、文字列の種類による修正は行われない。

最後に文字列の位置による修正を行う（処理180）。
それぞれの文字には、文字列中で存在できる位置が記憶
されており、第９表の場合は以下の第10表に示す通りで
ある。

第10表において、文字列の中央とは、文字列の先頭、
末尾以外の文字を表す。また、「○」印が文字列中の各
文字が存在可能な位置を表す。この情報に基づいて認識
結果の修正を行うと次のようになる。「！」は文字列の
先頭の存在できない文字であるので適当ではなく、
「ｉ」が候補文字中で適当な文字である。同様に、
「！」は文字列の中央に存在できない文字であるので適
当ではなく「ｉ」が候補文字中で適当な文字である。従
って、文字列中の位置による後処理の結果は［1ib−24
6.］となる。

第14図のフローでは、文字列の種類による修正の後
に、文字列中の位置による修正を行っているが、この順
番は、どちらを先に行ってもかまない。

次に、第11表に示す認識結果を例として、基準位置の
情報の伝播中の修正に関連する実施例12〜14を説明す
る。

実施例12 基本処理フロ−は第15図の通りである。これは、第２
図における文字列の処理160,170のかわりに位置情報の
修正処理190が追加されたものである。

まず、文字認識結果より、スペ−スとスペ−スとに挟
まれた文字列を抽出する（処理100）。

次に、抽出した文字列を左から順に調べ、前記基準文
字としての条件（ａ），（ｂ），（ｃ）および（ｄ）を
すべて満たす。最初に見つかった文字を基準文字として
抽出する（処理110）。第11表の例では、文字列の２番
目の文字「ｒ」が基準文字として抽出される。

次に文字画像の高さを利用した修正処理を文字列中の
基準文字以外の各文字に対して実行する（処理120,13
0）。

処理120で、基準文字の高さを基準高さとした各文字
の属性判定を行う。ここでは基準文字「ｒ」は絶対小文
字高さの文字であるので、第２表に従った属性判定であ
る。基準文字「ｒ」の文字画像の高さは第11表より11で
あり、他の各文字画像の高さはそれぞれ第11表の「文字
画像の高さ」に示す通りである。文字画像の高さの差の
判定閾値を３とすると、文字列中の３番目,5番目,6番
目,7番目の文字は第２表中の（ｈ）のグル−プ（絶対小
文字の高さを有する文字）に判定され、また、文字列中
の１番目,4番目,8番目の文字は第２表中の（ｉ）のグル
−プ（絶対小文字高さより高い文字）に判定される。

次の処理130において、各文字の第一候補と高さによ
る属性判定の結果とを比較する。文字列の３番目の文字
の第一候補「○」は絶対大文字の高さを有する文字であ
り、属性判定結果と矛盾する。そこで、属性判定結果す
なわち「絶対小文字高さの文字」を第二位以下の候補よ
り捜すと、第二候補「ｏ（小文字）」が見つかる。そこ
で、３番目の文字の第一候補を第二候補と入れ替える。
６番目の文字「Ｓ」も同様であるので、第二候補の「ｓ
（小文字）」を第一候補と入れ替える。他の文字は高さ
による属性判定結果と矛盾しない。かくして、文字画像
の高さによる修正後の第一候補文字列は、 「ｐ（小」,r,o（オー）,P（大）,o（オー）,s,a,l
（エル）］ となる。

なお、処理120,130において適当な文字が候補中に見
つからない場合、コンフュ−ジョンテ−ブルを検索する
ことによって、さらに適当な文字を捜すようにしてもよ
い。

次に、基準文字から前方（左側）および後方（右側）
へ基準位置を順次伝播し、文字画像の位置による属性判
定（処理140）、この判定結果による認識結果の修正
（処理150）、および次の文字へ伝播する基準位置の修
正（処理190）を行う。ただし、本実施例においては基
準位置情報の修正は前記（ア）の方法によって行われ
る。また、処理150で置き換えるべき適当な文字が候補
中に見つからないときに、コンフユ−ジョンテ−ブルを
検索して適当な文字を捜すようにしてもよい。

まず基準文字の左隣の文字、すなわち文字列の１番目
の文字については、基準文字画像の位置がそのまま基準
位置として伝播される。１番目の文字画像の位置は第11
表より４で、伝播された基準位置10との差は６であるの
で、属性判定の閾値を３とすると、第３表の（ｋ）のグ
ループに属すると判定される（処理140）。これは第一
候補の「ｐ小文字）」と適合するので、第一候補の入れ
替えは行わない（処理150）。また、基準位置との差は
閾値以上であるので、位置情報の修正も行われない（処
理190）。

１番目の文字については、その左側に文字がないの
で、左方向への処理はここで終了し、右側への処理が続
けられることになる。

基準文字の右隣の文字、すなわち文字列の３番目の文
字については、基準文字画像の位置がそのまま基準位置
として伝播される。３番目の文字画像の位置は第11表よ
り12であり、伝播された基準位置10との差は２で、属性
判定の閾値を３とすると、第３表の（１）のグループに
属すると判定される（処理140）。これは第一候補（高
さによる修正後）の「ｏ（小文字）」と適合するので、
第一候補の入れ替えは行われない（処理150）。

次に処理190による基準位置の必要な修正が行われ
る。３番目の文字画像の位置は12で、これに伝播された
基準位置は10であるので、その差は２である。位置修正
のための判定閾値を３とすると、位置の差は閾値以下で
あるので、基準位置は３番目の文字画像の位置（12）に
修正されて４番目の文字へ伝播される。

４番目の文字画像については、その位置（６）と伝播
された基準位置（12）との差が位置による属性判定の閾
値（３）を越え、かつ基準位置より低いので、第３表の
（ｋ）のグル−プに属する。したがって、第二候補の
「ｐ（小文字）」を第一候補の「Ｐ（大文字）」と入れ
替える。また、４番目の文字画像の位置と基準位置との
差は位置修正のための判定閾値を越えるため、基準位置
を修正せずに次の文字へ伝播する。

５番目の文字画像については、その位置（14）と基準
位置（12）との差は属性判定閾値（３）より小さいの
で、認識結果は修正しない。また、位置の差は位置修正
判定閾値（３）より小さいので、文字画像の位置（14）
を基準位置として次の文字へ伝播する。

６番目の文字画像も同様であり、認識結果は修正せ
ず、基準位置（14）をその文字画像の位置（14）に修正
して次の文字へ伝播する。

以下同様の処理によって、修正後の第一候補文字列は ［proposal］ となり、これは正解である。

第11表の例における基準位置の修正と文字画像の位置
による属性判定の様子を第12表に示す。また、基準位置
の修正の様子を第16図に示す。第16図から明らかなよう
に、基準位置の修正によって、相当に大きなスキュ−が
あって、文字画像の位置による認識結果の修正を正しく
行うことができる。

実施例13 処理フロ−は第15図と同じである。前記実施例12との
違いは、処理190における基準位置の修正を前記（ウ）
の方法によって行うことである。

基準位置の修正の様子は次の通りである。ただし、位
置修正判定のための閾値を３とする。また、位置情報修
正定数（α）は、ここでは、第３表（ｋ）のグループに
属する文字は1/3、第３表の（１）のグループに属する
文字は０とする。

１番目と３番目の文字には基準文字画像の位置がその
まま基準位置として伝播される。

３番目の文字では、その文字画像の位置と基準位置と
の差は３以下であるので、次の文字に伝播する基準位置
は３番目の文字画像の位置（12）に修正される。

４番目の文字では、その文字画像の位置（６）と伝播
された基準位置（12）との差が３を越えるので、次の文
字へ伝播する基準位置は前記（１）式に従って修正され
る。ここでは、高さおよび位置による修正後の第一候補
は「ｐ小文字）」であり、位置情報（Ｂ）は６、高さ
（Ｈ）は21、位置情報修正定数（α）は1/3であるか
ら、修正後の基準位置は、６＋1/3×21＝13となる。

以下同様にして、基準位置は第13表および第17図に示
すように順次修正されつつ伝播される。

なお、第13表において、基準位置の→は修正されたこ
とを示す。また「位置情報補正定数（α）」は、文字画
像の高さおよび位置による修正後の第一候補文字の位置
情報補正定数である。

第17図から明らかなように、本実施例においても基準
位置の修正によってスキュ−の影響は排除されるため、
スキュ−に極めて強くなる。

なお、各実施例においては触れなかったが、前述のよ
うに、文字画像の高さおよび位置による属性判定のため
の閾値を、基準文字画像の高さに応じて変化させるよう
にしてもよい。また、文字列より基準文字の条件を満た
す文字をすべて基準文字候補として抽出し、最終的に一
つを基準文字として選択してもよいことは前述の通りで
ある。この基準文字の選択は、例えば、各基準文字候補
を基準文字として扱って文字画像の高さによる認識結果
の修正を行い、それぞれの修正結果と修正前の認識結果
のハミング距離を比較し、ハミング距離が最小の基準文
字候補を基準文字に選び、これも文字画像の位置による
修正に使用してもよい。

〔発明の効果〕

以上の説明から明らかなように、本発明によれば、次
のような効果が得られる。

（１）スペースとスペースで挟まれた文字列を処理単位
として、文字列より基準文字を抽出し、次に基準文字の
画像の持つ高さおよび位置の情報を文字列中の他の各文
字に伝播させることにより、それらの文字の認識結果を
修正するため、文字列毎にフォントやフォントサイズが
変化するような英文の文字認識の場合でも、類似した大
文字と小文字や類似した記号、その他の形状の似ている
文字を高い精度で区別し、誤認識文字を修正することが
できる。さらに、文字列を処理単位とするので、原稿の
スキューの影響を受けにくく、行単位の処理と違ってス
キュー補正を省くことが可能になる。

（２）文字列の種類の判別と修正を文字画像の高さおよ
び位置の情報による修正後に行うことにより、文字列の
種類の判定精度を向上して文字列種類による修正を効果
的に行うことができる。

（３）文字列の種類による修正の前あるいは後に、当該
文字列中の位置の妥当性（文字の存在可能位置）による
修正を加えることにより、文字列中に異なる文字種が存
在した場合にも認識結果の修正を行うことが可能にな
る。

（４）文字列内において基準位置情報を伝播させる際に
必要な修正を順次行うことにより、原稿の全体的スキュ
−および局所的スキュ−に対して非常に強く、相当大き
なスキュ−がある原稿の場合でも、スキュ−補正処理を
行わずに文字認識結果の修正が可能になる。

【図面の簡単な説明】

第１図は本発明を実現する文字認識装置の一例を示すハ
−ドウェア構成図、第２図は本発明の実施例１を説明す
るための処理フロ−チャ−ト、第３図は絶対小文字高さ
の基準文字が選ばれたときの文字画像の高さによる属性
判定の例を示す図、第４図は絶対大文字高さの基準文字
が選ばれたときの文字画像の高さによる属性判定の例を
示す図、第５図は文字画像の位置による属性判定の例を
示す図、第６図から第15図は本発明の実施例２〜13を説
明するための処理フローチャート、第16図は本発明の実
施例12における基準位置の修正の様子を示す図、第17図
は本発明の実施例13における基準位置の修正の様子を示
す図である。 １……スキヤナ−、２……イメ−ジメモリ、 ３……中央処理装置、４……プログラムメモリ、 ５……デ−タメモリ、６……辞書メモリ。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭59−167783（ＪＰ，Ａ) 特開 昭55−112687（ＪＰ，Ａ) 特開 昭64−53284（ＪＰ，Ａ) 特開 昭64−59478（ＪＰ，Ａ) 特開 昭62−187988（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/03 G06K 9/46 G06K 9/62

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】認識結果の文字列より基準文字を抽出し、
   該基準文字の高さおよび位置を基準として、文字列中の
   他の文字の高さおよび位置より文字の属性を判定し、判
   定した属性に適合させるように文字列中の文字の認識結
   果を修正する文字認識後処理方法であって、 複数の基準文字候補を抽出し、それぞれの基準文字候補
   を基準文字として文字列中の文字の認識結果を修正し、
   その修正結果より各基準文字候補の信頼性を調べ、最も
   信頼性が高い一つの基準文字候補を基準文字に選定する
   ことを特徴とする文字認識後処理方法。
2. 【請求項２】処理すべき文字列中に基準文字が見つから
   ない場合に、他の文字列より基準文字を抽出し、該基準
   文字の高さおよび位置に関する情報を利用することを特
   徴とする請求項（１）記載の文字認識後処理方法。
3. 【請求項３】請求項（１）または（２）記載の方法によ
   る修正結果より文字列の種類を推定し、推定した文字列
   の種類に適合するように前記修正結果をさらに修正する
   ことを特徴とする文字認識後処理方法。
4. 【請求項４】文字列の種類による修正の前あるいは後
   に、文字列中の文字の位置の妥当性による修正を加える
   ことを特徴とする請求項（３）記載の文字認識後処理方
   法。
5. 【請求項５】認識結果の文字列より基準文字を抽出し、
   該基準文字の高さおよび位置を基準として、文字列中の
   他の文字の高さおよび位置より文字の属性を判定し、判
   定した属性に適合させるように文字列中の文字の認識結
   果を修正する文字認識後処理方法であって、 基準文字の位置の情報を文字画像の基準位置の情報とし
   て基準文字の前後の文字へ伝播し、この前後の文字から
   さらに他の文字へ基準位置の情報を順次修正しつつ伝播
   することにより、文字列中の基準文字以外の文字の認識
   結果を、その文字画像の高さおよび位置の情報と基準文
   字の高さおよび伝播された基準位置の情報より文字の属
   性を判定して修正することを特徴とする文字認識後処理
   方法。
6. 【請求項６】伝播された基準位置と文字画像の位置との
   差が閾値以下のときに、その文字画像の位置を基準位置
   として次の文字へ伝播し、伝播された基準位置と文字画
   像の位置との差が閾値を越えたときは基準位置を修正せ
   ずに次の文字へ伝播することを特徴とする請求項（５）
   記載の文字認識後処理方法。
7. 【請求項７】伝播された基準位置と文字画像の位置との
   差が閾値以下のときに、その文字画像の位置を基準位置
   として次へ伝播し、伝播された基準位置と文字画像の位
   置との差が閾値を越えたときは基準位置を、その文字画
   像の位置および高さ並びにその修正後の認識結果の文字
   に固有の定数に基づき所定の演算により修正して次の文
   字へ伝播することを特徴とする請求項（５）記載の文字
   認識後処理方法。