JP3487400B2 - 文字認識装置、文字認識方法、及び、記憶媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は文字認識装置、文字
認識方法および該文字認識方法を実行させるためのプロ
グラムを記録した記憶媒体に係り、特に、文字認識技術
を補う形で文字認識結果を補正する後処理技術に関り、
文字認識の結果、認識対象と二つ以上の候補文字との距
離差が小さく確信度が低くなるためにリジェクトされ易
い認識対象に対して、各候補文字の特徴的な部分を見つ
け出し、その部分を再照合することによって文字認識の
精度を向上させた文字認識装置、文字認識方法および記
憶媒体に関する。

【０００２】

【従来の技術】画像データから文字コードに変換する文
字認識の技術は、例えば、計算機システムにおけるマン
マシンインタフェースを実現する一手段としての光学式
文字読み取り装置（ＯＣＲ）の主要技術として発展し、
現在、手書きや印刷された文字を読み取る技術は、実用
期を迎え、伝票や帳票に限らず一般の文書にいたるまで
そのアプリケーションも拡がりを見せている。

【０００３】このような文字認識技術の更なる発展のた
めには、今後、次の３つの基礎技術の確立が望まれてい
る。すなわち、第１は、マルチメディア文書等の図形混
在文書における正確な文字抽出技術、第２は、各種の大
きさや様々な字体に対応し得る多字種認識技術、第３
は、文字認識技術を補う形で文字認識結果を補正する後
処理技術である。本発明は、第３の技術課題である文字
認識結果を補正する後処理技術に関るものである。

【０００４】文字認識を行う場合、入力画像と辞書に登
録された全ての文字との照合を行う。照合した結果、最
も距離の短いと認められた文字が認識結果となり、その
距離の短さ、並びに、認識対象と第１候補との距離およ
び認識対象と第２候補との距離の差が、認識結果におけ
る確信度の指標になることが多い。普通、文字認識装置
は、何らかの方法で算出された確信度にしきい値を設け
て、文字認識結果を受け付け、或いは、リジェクトする
ように設定されている。

【０００５】

【発明が解決しようとする課題】しかしながら、実際に
誤判別を無くすようにしきい値を設けると、リジェクト
率が高くなり、認識効率が著しく下がってしまうことが
多い。逆に、リジェクト率を下げるようにしきい値を設
定すると、誤判別した結果を受け付けてしまう可能性が
増えてしまう。このように、適正なしきい値を設定する
ことは非常に困難であるといった問題点があった。

【０００６】この発明は、このような従来の問題点に着
目してなされたもので、その目的とするところは、文字
認識の結果、認識対象と二つ以上の候補文字との距離差
が小さく確信度が低くなるためにリジェクトされ易い認
識対象に対して、各候補文字の特徴的な部分を見つけ出
し、その部分を再照合することによって文字認識の精度
を向上させた文字認識装置、文字認識方法および記憶媒
体を提供することにある。

【０００７】

【課題を解決するための手段】本発明は、認識対象の文
字画像について特徴的な部分領域を特定する文字特徴領
域検出手段と、認識対象の文字画像から前記特徴的な部
分領域を切り出す部分文字切り出し手段と、前記部分文
字切り出し手段によって切り出された部分領域の画像に
ついて文字認識処理を施すことにより、前記認識対象の
文字画像の一部を認識し、該認識結果を用いて、前記認
識対象の文字認識を行う文字認識手段とを具備すること
を特徴とする文字認識装置（以下、前者の装置と言う）
として表現することができる。

【０００８】また、別の一面から見た本発明は、認識対
象の文字画像について文字認識処理を施す第１文字認識
手段と、前記第１文字認識手段の文字認識結果として得
られる複数の候補文字について、確信度を評価する文字
照合結果評価手段と、前記複数の候補文字の確信度が何
れも低いと評価された場合に、各候補文字の特徴的な部
分領域を特定する文字特徴領域検出手段と、認識対象の
文字画像から前記各候補文字の特徴的な部分領域に対応
する部分領域を切り出す部分文字切り出し手段と、前記
部分文字切り出し手段によって切り出された部分領域の
画像について文字認識処理を施すことにより、前記認識
対象の文字画像の一部を認識する第２文字認識手段と、
前記第１文字認識手段および前記第２文字認識手段の認
識結果に基づいて、前記認識対象がどの候補文字と近い
か判別する認識結果総合判定手段とを具備することを特
徴とする文字認識装置（以下、後者の装置と言う）とし
て表現することもできる。

【０００９】両装置において、文字毎に特徴的な部分領
域が指定された文字認識辞書部を具備する場合には、前
記文字特徴領域検出手段は、前記辞書部を参照して特徴
的な部分領域を特定するようにしてもよい。

【００１０】後者の装置においては、前記文字特徴領域
検出手段は、前記複数の候補文字間の違いの大きい領域
を該候補文字データに基づき算出し、各候補文字の特徴
的な部分領域を特定するようにしてもよい。

【００１１】また、後者の装置においては、前記第１文
字認識手段の文字認識処理において参照される文字認識
辞書部を具備し、前記文字特徴領域検出手段は、前記文
字認識辞書部に登録されている各候補文字データを比較
することにより候補文字間の違いの大きい領域を算出
し、各候補文字の特徴的な部分領域を特定するようにし
てもよい。

【００１２】また、前記文字認識辞書部に登録されてい
る文字データが、該文字画像を複数ブロックに分割した
ときのブロック毎の複数方向への特徴量を表す方向ベク
トルで表記される場合には、前記文字特徴領域検出手段
は、前記文字認識辞書部内の候補文字における同一ブロ
ックの方向ベクトルについて差の絶対値を計算し、該差
の絶対値に基づいて候補文字間の違いの大きい領域を算
出するようにしてもよい。

【００１３】このとき、前記文字特徴領域検出手段は、
前記文字認識辞書部内の候補文字における同一ブロック
の差の絶対値計算において、特定の向きの方向ベクトル
成分の差の絶対値だけを、或いは、各向きの方向ベクト
ルの成分の差の絶対値の合計を用いるようにしてもよ
い。

【００１４】本発明は、認識対象の文字画像について特
徴的な部分領域を特定する文字特徴領域検出ステップ
と、認識対象の文字画像から前記特徴的な部分領域を切
り出す部分文字切り出しステップと、前記部分文字切り
出しステップによって切り出された部分領域の画像につ
いて文字認識処理を施すことにより、前記認識対象の文
字画像の一部を認識し、該認識結果を用いて、前記認識
対象の文字認識を行う文字認識ステップとを具備するこ
とを特徴とする文字認識方法（以下、前者の方法と言
う）として表現することができる。

【００１５】別の一面から見た本発明は、認識対象の文
字画像について文字認識処理を施す第１文字認識ステッ
プと、前記第１文字認識ステップの文字認識結果として
得られる複数の候補文字について、確信度を評価する文
字照合結果評価ステップと、前記複数の候補文字の確信
度が何れも低いと評価された場合に、各候補文字の特徴
的な部分領域を特定する文字特徴領域検出ステップと、
認識対象の文字画像から前記各候補文字の特徴的な部分
領域に対応する部分領域を切り出す部分文字切り出しス
テップと、前記部分文字切り出しステップによって切り
出された部分領域の画像について文字認識処理を施すこ
とにより、前記認識対象の文字画像の一部を認識する第
２文字認識ステップと、前記第１文字認識ステップおよ
び前記第２文字認識ステップの認識結果に基づいて、前
記認識対象がどの候補文字と近いか判別する認識結果総
合判定ステップとを具備することを特徴とする文字認識
方法（以下、後者の方法と言う）として表現することも
できる。

【００１６】両発明において、前記文字特徴領域検出ス
テップは、文字毎に特徴的な部分領域が指定された辞書
部を参照して特徴的な部分領域を特定するようにしても
よい。

【００１７】後者の方法においては、前記文字特徴領域
検出ステップは、前記複数の候補文字間の違いの大きい
領域を該候補文字データに基づき算出し、各候補文字の
特徴的な部分領域を特定するようにしてもよい。

【００１８】また、後者の方法においては、前記文字特
徴領域検出ステップは、前記第１文字認識ステップの文
字認識処理において参照される文字認識辞書部に登録さ
れている各候補文字データを比較することにより候補文
字間の違いの大きい領域を算出し、各候補文字の特徴的
な部分領域を特定するようにしてもよい。

【００１９】また、前記文字認識辞書部に登録されてい
る文字データが、該文字画像を複数ブロックに分割した
ときのブロック毎の複数方向への特徴量を表す方向ベク
トルで表記される場合には、前記文字特徴領域検出ステ
ップは、前記文字認識辞書部内の候補文字における同一
ブロックの方向ベクトルについて差の絶対値を計算し、
該差の絶対値に基づいて候補文字間の違いの大きい領域
を算出するようにしてもよい。

【００２０】このとき、前記文字特徴領域検出ステップ
は、前記文字認識辞書部内の候補文字における同一ブロ
ックの差の絶対値計算において、特定の向きの方向ベク
トル成分の差の絶対値だけを、或いは、各向きの方向ベ
クトルの成分の差の絶対値の合計を用いるようにしても
よい。

【００２１】本発明は、コンピュータに、認識対象の文
字画像について特徴的な部分領域を特定する文字特徴領
域検出ステップと、認識対象の文字画像から前記特徴的
な部分領域を切り出す部分文字切り出しステップと、前
記部分文字切り出しステップによって切り出された部分
領域の画像について文字認識処理を施すことにより、前
記認識対象の文字画像の一部を認識し、該認識結果を用
いて、前記認識対象の文字認識を行う文字認識ステップ
とを実行させるためのプログラムを記録した記録媒体
（以下、前者の記録媒体と言う）として表現することも
できる。

【００２２】別の一面から見た本発明は、コンピュータ
に、認識対象の文字画像について文字認識処理を施す第
１文字認識ステップと、前記第１文字認識ステップの文
字認識結果として得られる複数の候補文字について、確
信度を評価する文字照合結果評価ステップと、前記複数
の候補文字の確信度が何れも低いと評価された場合に、
各候補文字の特徴的な部分領域を特定する文字特徴領域
検出ステップと、認識対象の文字画像から前記各候補文
字の特徴的な部分領域に対応する部分領域を切り出す部
分文字切り出しステップと、前記部分文字切り出しステ
ップによって切り出された部分領域の画像について文字
認識処理を施すことにより、前記認識対象の文字画像の
一部を認識する第２文字認識ステップと、前記第１文字
認識ステップおよび前記第２文字認識ステップの認識結
果に基づいて、前記認識対象がどの候補文字と近いか判
別する認識結果総合判定ステップとを実行させるための
プログラムを記録した記録媒体として表現することもで
きる（以下、後者の記録媒体と言う）。

【００２３】両記録媒体において、前記文字特徴領域検
出ステップは、文字毎に特徴的な部分領域が指定された
辞書部を参照して特徴的な部分領域を特定するようにし
てもよい。

【００２４】後者の記録媒体において、前記文字特徴領
域検出ステップは、前記複数の候補文字間の違いの大き
い領域を候補文字データに基づき算出し、各候補文字の
特徴的な部分領域を特定するようにしてもよい。

【００２５】また、後者の記録媒体において、前記文字
特徴領域検出ステップは、前記第１文字認識ステップの
文字認識処理において参照される文字認識辞書部に登録
されている各候補文字データを比較することにより候補
文字間の違いの大きい領域を算出し、各候補文字の特徴
的な部分領域を特定するようにしてもよい。

【００２６】また、前記文字認識辞書部に登録されてい
る文字データが、該文字画像を複数ブロックに分割した
ときのブロック毎の複数方向への特徴量を表す方向ベク
トルで表記される場合には、前記文字特徴領域検出ステ
ップは、前記文字認識辞書部内の候補文字における同一
ブロックの方向ベクトルについて差の絶対値を計算し、
該差の絶対値に基づいて候補文字間の違いの大きい領域
を算出するようにしてもよい。

【００２７】ここで、前記文字特徴領域検出ステップ
は、前記文字認識辞書部内の候補文字における同一ブロ
ックの差の絶対値計算において、特定の向きの方向ベク
トル成分の差の絶対値だけを、或いは、各向きの方向ベ
クトルの成分の差の絶対値の合計を用いるようにしても
よい。

【００２８】そして、本発明によれば、文字特徴領域検
出手段（文字特徴領域検出ステップ）により認識対象の
文字画像について特徴的な部分領域を特定して、部分文
字切り出し手段（部分文字切り出しステップ）により認
識対象の文字画像から特徴的な部分領域を切り出し、文
字認識手段（文字認識ステップ）により、切り出された
部分領域の画像について文字認識処理を施すことにより
認識対象の文字画像の一部を認識し、該認識結果を用い
て認識対象の文字認識を行う。例えば、文字認識の結
果、認識対象と二つ以上の候補文字との距離差が小さく
確信度がしきい値より低くなるためにリジェクトされ易
い認識対象に対しても、各候補文字の特徴的な部分を見
つけ出し、その部分について再度文字認識するので、結
果として文字認識の精度を向上させることが可能とな
る。

【００２９】また、本発明によれば、認識対象の文字画
像に対する第１文字認識手段（第１文字認識ステップ）
による文字認識結果として得られる複数の候補文字につ
いて、文字照合結果評価手段（文字照合結果評価ステッ
プ）により確信度を評価したとき、複数の候補文字の確
信度が何れも低いと評価された場合に、文字特徴領域検
出手段（文字特徴領域検出ステップ）により各候補文字
の特徴的な部分領域を特定し、部分文字切り出し手段
（部分文字切り出しステップ）により認識対象の文字画
像から各候補文字の特徴的な部分領域に対応する部分領
域を切り出し、第２文字認識手段（第２文字認識ステッ
プ）では、切り出された部分領域の画像について文字認
識処理を施すことにより認識対象の文字画像の一部を認
識し、さらに認識結果総合判定手段（認識結果総合判定
ステップ）により、第１文字認識手段（第１文字認識ス
テップ）および第２文字認識手段（第２文字認識ステッ
プ）の認識結果に基づいて、認識対象がどの候補文字と
近いか判別するようにしている。このように、第１文字
認識処理の結果、認識対象と二つ以上の候補文字との距
離差が小さく確信度がしきい値より低くなるためにリジ
ェクトされ易い認識対象に対しても、各候補文字の特徴
的な部分を見つけ出し、その部分について第２文字認識
処理によって再照合してどの候補文字が近いか判別する
ので、結果として文字認識の精度を向上させることが可
能となる。

【００３０】また、本発明の好ましい実施の形態におい
ては、文字特徴領域検出手段（文字特徴領域検出ステッ
プ）において、文字毎に特徴的な部分領域が指定された
辞書部を参照して特徴的な部分領域を特定するようにし
ている。

【００３１】また、本発明の好ましい実施の形態におい
ては、特に、文字特徴領域検出手段（文字特徴領域検出
ステップ）において、複数の候補文字間の違いの大きい
領域を辞書部の該候補文字データに基づき算出し、各候
補文字の特徴的な部分領域を特定するようにしている。
なお、ここで、『候補文字間の違いの大きい領域』と
は、要するに、文字画像を複数ブロックに分割したとき
に、候補文字間でブロック毎の特徴量の差が大きいブロ
ックを含む領域を意味するものである。

【００３２】また、本発明の好ましい実施の形態におい
ては、特に、文字特徴領域検出手段（文字特徴領域検出
ステップ）において、第１文字認識手段の文字認識処理
において参照される文字認識辞書部に登録されている各
候補文字データを比較することにより候補文字間の違い
の大きい領域を算出し、各候補文字の特徴的な部分領域
を特定するようにしている。なお、ここで、『候補文字
間の違いの大きい領域』とは、要するに、文字画像を複
数ブロックに分割したときに、候補文字間でブロック毎
の特徴量の差が大きいブロックを含む領域を意味するも
のである。

【００３３】また、本発明の好ましい実施の形態におい
ては、特に、文字認識辞書部に登録されている文字デー
タが、該文字画像を複数ブロックに分割したときのブロ
ック毎の複数方向への特徴量を表す方向ベクトルで表記
される場合に、文字特徴領域検出手段（文字特徴領域検
出ステップ）において、文字認識辞書部内の候補文字に
おける同一ブロックの方向ベクトルについて差の絶対値
を計算し、該差の絶対値に基づいて候補文字間の違いの
大きい領域を算出するようにしている。なお、ここで、
『候補文字間の違いの大きい領域』とは、要するに、文
字画像を複数ブロックに分割したときに、候補文字間で
ブロック毎の特徴量の差が大きいブロックを含む領域を
意味するものである。

【００３４】さらに、本発明の好ましい実施の形態にお
いては、文字特徴領域検出手段（文字特徴領域検出ステ
ップ）において、文字認識辞書部内の候補文字における
同一ブロックの差の絶対値計算において、特定の向きの
方向ベクトル成分の差の絶対値だけを、或いは、各向き
の方向ベクトルの成分の差の絶対値の合計を用いるのが
望ましい。

【００３５】

【発明の実施の形態】以下、本発明の文字認識装置、文
字認識方法および記憶媒体の実施の形態について、図面
を参照して詳細に説明する。

【００３６】図１は本発明の一実施形態に係る文字認識
装置の構成図である。同図において、本実施形態の文字
認識装置は、サンプル画像１３３を入力して辞書部１２
２に文字の特徴量と文字コードを蓄積する学習系１０２
と、認識対象である入力画像１３１に対して辞書部１２
２を参照して文字認識処理を行う認識系１０１とを備え
て構成されている。

【００３７】まず、学習系１０２は、辞書作成部１２１
および辞書部１２２を備えて構成され、辞書作成部１２
１は、サンプル画像１３３の文字画像から特徴量を算出
して、該特徴量および文字コードを辞書部１２２に登録
する。また、辞書部１２２は、認識系１０１で用いられ
る文字認識用辞書であり、文字の特徴量および文字コー
ドのデータベースとして構築される。

【００３８】また、認識系１０１は、第１文字認識エン
ジン部（第１文字認識手段）１１１、文字照合結果評価
部（文字照合結果評価手段）１１２、文字特徴領域検出
部（文字特徴領域検出手段）１１３、部分文字切り出し
部（部分文字切り出し手段）１１４、第２文字認識エン
ジン部（第２文字認識手段）１１５、認識結果総合判定
部（認識結果総合判定手段）１１６および認識結果出力
部１１７を備えた構成である。

【００３９】まず、第１文字認識エンジン部１１１は、
認識対象の文字画像について文字認識処理を施すもので
あり、入力文字画像１３１を辞書部１２２に登録されて
いる文字データと照合し、認識結果として、候補文字の
リスト、並びに、認識対象文字と各候補文字との差を表
す距離ベクトルを出力する。

【００４０】また、文字照合結果評価部１１２は、第１
文字認識エンジン部１１１の文字認識結果として得られ
る複数の候補文字について、確信度を評価するものであ
る。また文字特徴領域検出部１１３は、複数の候補文字
の確信度が何れも低いと評価された場合に、各候補文字
の特徴的な部分領域を特定するものであり、部分文字切
り出し部１１４は、認識対象の文字画像から各候補文字
の特徴的な部分領域に対応する部分領域を切り出すもの
であり、第２文字認識エンジン部１１５は、部分文字切
り出し部１１４によって切り出された部分領域の画像に
ついて文字認識処理を施すことにより、認識対象の文字
画像の一部を認識するものである。

【００４１】また、認識結果総合判定部１１６は、第１
文字認識エンジン部１１１による文字画像全体の照合結
果と、第２文字認識エンジン部１１５による部分文字の
照合結果とに基づいて、総合的に認識対象文字の認識結
果を算定するものであり、さらに、認識結果出力部１１
７は認識の結果を出力するものである。

【００４２】次に、図２は、本実施形態の文字認識装置
における動作を概略的に説明する概略フローチャートで
ある。以下では、図２の手順にしたがって、図３から図
７までの説明図を参照しながら、各ステップの処理を詳
細に説明する。

【００４３】まず、ステップ２０１で入力画像１３１が
入力されると、ステップ２０２の第１文字認識処理で
は、第１文字認識エンジン部１１１により認識対象文字
の特徴抽出を行ってから、辞書部１２２に登録されてい
る文字データとの照合を行う。照合の結果、最も近似す
る文字から近似しない文字までの各候補文字のリスト、
並びに、認識対象文字と各候補文字との差を表す距離ベ
クトル２１１が出力される。

【００４４】第１文字認識エンジン部１１１における第
１文字認識処理では、従来の文字認識アルゴリズムを用
いる。すなわち、図３に示すような認識対象の文字画像
について、縦方向、横方向、斜め４５度方向、および斜
め１３５度方向の各方向ベクトルを算出し、この方向ベ
クトルと辞書部１２２に登録された文字データのものと
の照合を行い、各々の候補文字との相似具合を距離ベク
トルで表す。尚、辞書部１２２には、サンプル画像群１
３３から得られた文字の特徴量が記憶されている。図４
には、辞書部１２２に登録されている文字”３”につい
ての方向ベクトルを例示する。

【００４５】また、第１文字認識エンジン部１１１から
は、候補リストおよび候補文字との距離ベクトルが認識
結果として出力される。図５には、図３に示した認識対
象”３”に対して得られた候補リストおよび距離ベクト
ルを示す。候補リストは、候補の順位が高い文字から低
い文字への順に並べられた候補文字コードであり、図５
の例では、”３”，”８”，”２”，…の順に出力され
ている。また距離ベクトルは、候補順にしたがって並べ
られた各候補についての距離ベクトルであり、図５の例
では、距離ベクトルの大きさが小さい（短い）ほど認識
対象の文字に近く、大きさが大きい（長い）ほど認識対
象の文字と離れていることを示している。

【００４６】次に、ステップ２０３では、文字照合結果
評価部１１２による文字照合結果評価処理が行われる。
すなわち、第１文字認識処理（ステップ２０２）の認識
結果である候補リストおよび距離ベクトル２１１を評価
することによって、認識結果の確信度を算出するもので
ある。

【００４７】文字照合結果評価処理において、文字認識
の結果の確信度を評価するには、以下のような方法が利
用できる。

【００４８】まず、第１の方法は、距離ベクトルに基づ
いて評価する方法である。すなわち、第１候補の距離が
短くかつ第１候補と第２候補の距離差が大きい場合は確
信度が高いとし、逆に、第１候補の距離が長くかつ第１
候補と第２候補の距離差が小さい場合は確信度が低いと
見なす。

【００４９】これを定式化すれば、Ｄ1を第１候補の距
離、Ｄ2を第２候補の距離、Ｄ1_thrsldをＤ1のしきい
値、Ｄ1Ｄ2_thrsldを第１候補および第２候補の距離差
におけるしきい値としたとき、次式（数１）のように表
される。

【００５０】

【数１】 if（（Ｄ1＜Ｄ1_thrsld）ＡＮＤ（Ｄ1−Ｄ2＞Ｄ1Ｄ2_thrsld）） 確信度＝高い else 確信度＝低い （数１） また、第２の方法は、クラスタリングによる判別法であ
る。つまり、クラスタリングの手法を用い、サンプルデ
ータを使って文字毎に確信度が高いクラスタを作成して
おく。文字認識の結果から各文字候補との距離ベクトル
を作成し、この距離ベクトルが予め作成されたクラスタ
の中に入るかどうかをチェックし、クラスタに入った場
合は、クラスタ中心との距離、並びに、どの文字のクラ
スタに入ったかをもチェックすることによって文字認識
結果の確信度を計るものである。

【００５１】以上のようにして、文字認識結果の確信度
が得られると、ステップ２０４ではこれを判断し、確信
度が高い場合は該認識結果は確定され、ステップ２０９
に進んで該認識結果が認識結果出力部１１７へ渡され
る。

【００５２】しかしながら、確信度が所定のしきい値よ
り低い場合には確定できず、さらに詳しく調べる必要が
ある。つまり、文字認識の結果の確信度が低い場合に、
直ちにリジェクトすればリジェクト率が高くなってしま
うので、リジェクト率を下げるべく、確信度が低い場合
には、ステップ２０５〜２０８により、その文字をさら
に詳しく調べ、局所情報を使って再認識を行うのであ
る。

【００５３】まず、ステップ２０５では、文字特徴領域
検出部１１３により、候補文字の特徴的な部分領域を特
定するが、候補文字によって、その特徴的な領域が各々
異なるため、各々の候補に対して特徴領域の検出を行
う。文字特徴領域検出処理の方法には、以下のような方
法が利用できる。

【００５４】まず、第１の方法は、予め特徴領域を設定
する方法である。すなわち、文字認識装置の設計者或い
はユーザが、各文字について、予め特徴的な領域を指定
し、該データを辞書部１２２に登録しておくものであ
る。

【００５５】例えば、文字数が少ない場合には、各文字
についてその特徴的な領域を割り出し、文字毎に設定す
ると同時に、候補文字の組合せについても調べるべき部
分領域を設ける。

【００５６】図６には特徴領域の具体的な例を示す。図
６（ａ）は、候補文字が”ぱ”と”ば”の場合を示し、
この場合、特徴領域は右上の斜線部となり、該領域が続
く処理で詳しく調べられることとなる。また、図６
（ｂ）では、候補文字が”３”と”８”の場合を示し、
この場合、特徴領域は左中央部となり、該領域が続く処
理で詳しく調べられることとなる。

【００５７】また、文字数が多い場合には、組合せによ
るデータ量の急激な増加を避けるため、候補文字毎の領
域設定を行う。

【００５８】次に、第２の方法は、辞書データを用いて
動的に設定する方法である。すなわち、任意の２つの候
補文字の最も異なる領域を自動的に検出し、その最も異
なる部分領域を詳しく調べることによって、認識対象が
両候補の中のどの候補とより近いかを推定するものであ
る。以下、この第２の方法の手順を説明する。

【００５９】まず、第１文字認識エンジン部１１１より
出力された認識結果から、第１候補と第２候補の文字コ
ードを取り出す。次に、第１および第２の両候補の文字
コードを使って、辞書部１２２から各候補文字の方向ベ
クトルを取り出す。そして、両候補文字の方向ベクトル
を比較することによって、最も異なる部分領域を見つけ
出す。

【００６０】ここで、両候補文字の方向ベクトルから最
も異なる領域を見つけるには、以下のような方法が利用
できる。

【００６１】第１の方法は、特定の向きの方向ベクトル
から違いを見つける方法である。先ず、比較する特定の
方向を決め、該方向の成分の方向ベクトルを用意する。
この時、文字の全体領域は、図４に示すように、５×５
のブロックに分けられている。次に、両候補文字の各ブ
ロックにおける方向ベクトルの差を計算し、その絶対値
を取り、さらに、差の絶対値が大きいブロックを両候補
文字の違いが著しい部分領域として検出するものであ
る。

【００６２】次に、第２の方法は、全ての向きの方向ベ
クトルから違いを見つける方法である。すなわち、垂直
方向、水平方向、斜め４５度方向、および斜め１３５度
方向の全ての方向について、各方向毎のベクトル差分の
絶対値の和を両候補文字の違いの指標とする。つまり、
該絶対値の和の大きいブロックを両候補文字の違いが著
しい部分領域として検出するものである。

【００６３】次に、ステップ２０６では、部分文字切り
出し部１１４により、認識対象の文字画像から各候補文
字の特徴的な部分領域に対応する部分領域を切り出し
て、新しい入力文字画像を構成する。その際、特徴的な
部分が繋がっている場合には繋がって部分を切り出し、
矩形になっていない場合は矩形になるように足りない部
分を白あるいは黒で塗りつぶした部分を付け加える。ま
た、特徴的な部分が繁がってない場合は、離れた部分を
繋ぎ合わせてから矩形になるように白あるいは黒の部分
を付け加えるようにしている。

【００６４】このように入力画像について部分領域を切
り出して部分文字の入力画像を生成してから、同じ手順
で、辞書部１２２の文字データに基づき、候補文字につ
いて対応する部分の特徴量ベクトルを切り出し、再び辞
書部１２２ａに登録する。尚、辞書部１２２ａは説明の
し易さから辞書部１２２と分けているが、当然ながら、
同一のものであっても良い。

【００６５】次に、ステップ２０７では、第２文字認識
エンジン部１１５により、部分文字切り出し処理で切り
出された部分領域の画像について文字認識処理を施し、
認識対象の文字画像の一部を認識する。つまり、部分入
力画像と部分候補文字と照合することによって、部分入
力文字がどの候補文字とより近いかを判別する。

【００６６】さらに、ステップ２０８では、認識結果総
合判定部１１６により、第１文字認識処理（ステップ２
０２）による文字画像全体の照合結果と、第２文字認識
処理（ステップ２０７）による部分文字の照合結果とに
基づいて、総合的に認識対象文字の認識結果を算定す
る。つまり、部分文字の認識結果と全体文字の認識結果
とを認識結果総合判定部１１６でチェックすることによ
って、元の文字がどの文字であるかを総合的に判別する
ものである。

【００６７】認識結果総合判定処理では、入力文字の全
体画像での照合結果と部分画像による照合結果とに基づ
いて、文字認識の結果とその結果の信頼度を最終的に決
める。その処理手順のフローチャートを図７に示す。

【００６８】まずステップ７０１では、全体画像による
照合結果が部分画像による照合結果と等価であれば、ス
テップ７０５で、認識結果を全体画像による照合結果と
し、確信度を「高い」とする。

【００６９】全体画像による照合結果が部分画像による
照合結果と等価でなければ、ステップ７０２に進み、全
体画像による確信度が部分画像による確信度よりも大き
いか否かを判断する。もし大きければステップ７０４に
進んで、認識結果を全体画像による照合結果とし、確信
度を「低い」とする。また全体画像による確信度が部分
画像による確信度以下であれば、ステップ７０３に進ん
で、認識結果を部分画像による照合結果とし、確信度を
「低い」とする。

【００７０】以上のように、本実施形態の文字認識装置
では、認識対象の文字画像に対する第１文字認識エンジ
ン部１１１による文字認識結果として得られる複数の候
補文字について、文字照合結果評価部１１２により確信
度を評価したとき、複数の候補文字の確信度が何れも低
いと評価された場合に、文字特徴領域検出部１１３によ
り各候補文字の特徴的な部分領域を特定し、部分文字切
り出し部１１４により認識対象の文字画像から各候補文
字の特徴的な部分領域に対応する部分領域を切り出し、
第２文字認識エンジン部１１５では、切り出された部分
領域の画像について文字認識処理を施すことにより認識
対象の文字画像の一部を認識し、さらに認識結果総合判
定部１１６により、第１文字認識エンジン部１１１およ
び第２文字認識エンジン部１１５の認識結果に基づい
て、認識対象がどの候補文字と近いか判別するように
し、第１文字認識処理の結果、認識対象と二つ以上の候
補文字との距離差が小さく確信度がしきい値より低くな
るためにリジェクトされ易い認識対象に対しても、各候
補文字の特徴的な部分を見つけ出し、その部分について
第２文字認識処理によって再照合してどの候補文字が近
いか判別するので、結果として文字認識の精度を向上さ
せることが可能となる。

【００７１】

【発明の効果】以上の説明から明らかなように、本発明
によれば、文字特徴領域検出手段（文字特徴領域検出ス
テップ）により認識対象の文字画像について特徴的な部
分領域を特定して、部分文字切り出し手段（部分文字切
り出しステップ）により認識対象の文字画像から特徴的
な部分領域を切り出し、文字認識手段（文字認識ステッ
プ）により、切り出された部分領域の画像について文字
認識処理を施すことにより認識対象の文字画像の一部を
認識し、該認識結果を用いて認識対象の文字認識を行う
こととしたので、例えば、文字認識の結果、認識対象と
二つ以上の候補文字との距離差が小さく確信度がしきい
値より低くなるためにリジェクトされ易い認識対象に対
しても、各候補文字の特徴的な部分を見つけ出し、その
部分について再度文字認識するので、結果として文字認
識の精度を向上させ得る文字認識装置、文字認識方法お
よび記憶媒体を提供することができる。

【００７２】また、本発明によれば、認識対象の文字画
像に対する第１文字認識手段（第１文字認識ステップ）
による文字認識結果として得られる複数の候補文字につ
いて、文字照合結果評価手段（文字照合結果評価ステッ
プ）により確信度を評価したとき、複数の候補文字の確
信度が何れも低いと評価された場合に、文字特徴領域検
出手段（文字特徴領域検出ステップ）により各候補文字
の特徴的な部分領域を特定し、部分文字切り出し手段
（部分文字切り出しステップ）により認識対象の文字画
像から各候補文字の特徴的な部分領域に対応する部分領
域を切り出し、第２文字認識手段（第２文字認識ステッ
プ）では、切り出された部分領域の画像について文字認
識処理を施すことにより認識対象の文字画像の一部を認
識し、さらに認識結果総合判定手段（認識結果総合判定
ステップ）により、第１文字認識手段（第１文字認識ス
テップ）および第２文字認識手段（第２文字認識ステッ
プ）の認識結果に基づいて、認識対象がどの候補文字と
近いか判別することとし、第１文字認識処理の結果、認
識対象と二つ以上の候補文字との距離差が小さく確信度
がしきい値より低くなるためにリジェクトされ易い認識
対象に対しても、各候補文字の特徴的な部分を見つけ出
し、その部分について第２文字認識処理によって再照合
してどの候補文字が近いか判別することとしたので、結
果として文字認識の精度を向上させ得る文字認識装置、
文字認識方法および記憶媒体を提供することができる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る文字認識装置の構成
図である。

【図２】実施形態の文字認識装置における動作を概略的
に説明する概略フローチャートである。

【図３】認識対象の文字画像を例示する説明図である。

【図４】辞書部に登録されている文字”３”についての
方向ベクトルを例示する説明図である。

【図５】図３の認識対象”３”に対して得られた候補リ
ストおよび距離ベクトルを例示する説明図である。

【図６】特徴領域の具体例を示す説明図であり、図６
（ａ）は候補文字が”ぱ”と”ば”の場合、図６（ｂ）
は候補文字が”３”と”８”の場合である。

【図７】認識結果総合判定処理の処理手順を説明するフ
ローチャートである。

【符号の説明】

１０１ 認識系 １０２ 学習系 １１１ 第１文字認識エンジン部（第１文字認識手段） １１２ 文字照合結果評価部（文字照合結果評価手段） １１３ 文字特徴領域検出部（文字特徴領域検出手段） １１４ 部分文字切り出し部（部分文字切り出し手段） １１５ 第２文字認識エンジン部（第２文字認識手段） １１６ 認識結果総合判定部（認識結果総合判定手段） １１７ 認識結果出力部 １２１ 辞書作成部 １２２，１２２ａ 辞書部 １３１ 入力画像 １３２ 認識結果 １３３ サンプル画像

フロントページの続き (56)参考文献 特開 平３−22189（ＪＰ，Ａ) 特開 平８−255223（ＪＰ，Ａ) 特開 昭62−280985（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/00 - 9/82

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 文字データが登録された文字認識辞書部
   と、 認識対象の文字画像について、前記文字認識辞書部に登
   録された文字データを参照して、文字認識処理を施す第
   １文字認識手段と、 前記第１文字認識手段の文字認識結果として得られる複
   数の候補文字について、確信度を評価する文字照合結果
   評価手段と、 前記複数の候補文字の確信度が何れも低いと評価された
   場合に、前記文字認識辞書部に登録されている各候補文
   字データを比較することにより候補文字間の違いの大き
   い領域を算出し、各候補文字の特徴的な部分領域を特定
   する文字特徴領域検出手段と、 認識対象の文字画像から前記各候補文字の特徴的な部分
   領域に対応する部分領域を切り出す部分文字切り出し手
   段と、 前記部分文字切り出し手段によって切り出された部分領
   域の画像について文字認識処理を施すことにより、前記
   認識対象の文字画像の一部を認識する第２文字認識手段
   と、 前記第１文字認識手段および前記第２文字認識手段の認
   識結果に基づいて、前記認識対象がどの候補文字と近い
   か判別する認識結果総合判定手段と、を具備し、さらに前記文字認識辞書部に登録されている文字データは、該
   文字画像を複数ブロックに分割したときのブロック毎の
   複数方向への特徴量を表す方向ベクトルで表記されてお
   り、かつ前記文字特徴領域検出手段は、前記文字認識辞
   書部内の候補文字における同一ブロックの方向ベクトル
   について差の絶対値を計算し、該差の絶対値に基づいて
   候補文字間の違いの大きい領域を前記ブロック単位で特
   定するものである、 ことを特徴とする文字認識装置。
2. 【請求項２】 前記文字特徴領域検出手段は、前記文字
   認識辞書部内の候補文字における同一ブロックの差の絶
   対値計算において、特定の向きの方向ベクトル成分の差
   の絶対値だけを、或いは、各向きの方向ベクトルの成分
   の差の絶対値の合計を用いることを特徴とする請求項１
   に記載の文字認識装置。
3. 【請求項３】 認識対象の文字画像について、文字認識
   辞書部に登録された文字データを参照して、文字認識処
   理を施す第１文字認識ステップと、 前記第１文字認識ステップの文字認識結果として得られ
   る複数の候補文字について、確信度を評価する文字照合
   結果評価ステップと、 前記複数の候補文字の確信度が何れも低いと評価された
   場合に、前記文字認識辞書部に登録されている各候補文
   字データを比較することにより候補文字間の違いの大き
   い領域を算出し、各候補文字の特徴的な部分領域を特定
   する文字特徴領域検出ステップと、 認識対象の文字画像から前記各候補文字の特徴的な部分
   領域に対応する部分領域を切り出す部分文字切り出しス
   テップと、 前記部分文字切り出しステップによって切り出された部
   分領域の画像について文字認識処理を施すことにより、
   前記認識対象の文字画像の一部を認識する第２文字認識
   ステップと、 前記第１文字認識ステップおよび前記第２文字認識ステ
   ップの認識結果に基づいて、前記認識対象がどの候補文
   字と近いか判別する認識結果総合判定ステップと、を具
   備し、さらに前記文字認識辞書部に登録されている文字データは、該
   文字画像を複数ブロックに分割したときのブロック毎の
   複数方向への特徴量を表す方向ベクトルで表記されてお
   り、かつ 前記文字特徴領域検出ステップは、前記文字認識辞書部
   内の候補文字における同一ブロックの方向ベクトルにつ
   いて差の絶対値を計算し、該差の絶対値に基づいて候補
   文字間の違いの大きい領域を前記ブロック単位で特定す
   るものである、 ことを特徴とする文字認識方法。
4. 【請求項４】 前記文字特徴領域検出ステップは、前記
   文字認識辞書部内の候補文字における同一ブロックの差
   の絶対値計算において、特定の向きの方向ベクトル成分
   の差の絶対値だけを、或いは、各向きの方向ベクトルの
   成分の差の絶対値の合計を用いることを特徴とする請求
   項３に記載の文字認識方法。
5. 【請求項５】 コンピュータに、認識対象の文字画像に
   ついて、文字認識辞書部に文字画像を複数ブロックに分
   割したときのブロック毎の複数方向への特徴量を表す方
   向ベクトルで表記して登録された文字データを参照し
   て、文字認識処理を施す第１文字認識ステップと、 前記第１文字認識ステップの文字認識結果として得られ
   る複数の候補文字について、確信度を評価する文字照合
   結果評価ステップと、 前記複数の候補文字の確信度が何れも低いと評価された
   場合に、前記文字認識辞書部内の候補文字における同一
   ブロックの方向ベクトルについて差の絶対値を計算し、
   該差の絶対値に基づいて候補文字間の違いの大きい領域
   を算出し、各候補文字の特徴的な部分領域を前記ブロッ
   ク単位で特定する文字特徴領域検出ステップと、 認識対象の文字画像から前記各候補文字の特徴的な部分
   領域に対応する部分領域を切り出す部分文字切り出しス
   テップと、 前記部分文字切り出しステップによって切り出された部
   分領域の画像について文字認識処理を施すことにより、
   前記認識対象の文字画像の一部を認識する第２文字認識
   ステップと、 前記第１文字認識ステップおよび前記第２文字認識ステ
   ップの認識結果に基づいて、前記認識対象がどの候補文
   字と近いか判別する認識結果総合判定ステップと、 を実行させるためのプログラムを記録した記録媒体。
6. 【請求項６】 前記文字特徴領域検出ステップは、前記
   文字認識辞書部内の候補文字における同一ブロックの差
   の絶対値計算において、特定の向きの方向ベクトル成分
   の差の絶対値だけを、或いは、各向きの方向ベクトルの
   成分の差の絶対値の合計を用いることを特徴とする請求
   項５に記載の記録媒体。