JPH11272800A

JPH11272800A - 文字認識装置

Info

Publication number: JPH11272800A
Application number: JP10069172A
Authority: JP
Inventors: Yuichi Nakatani; 裕一中谷
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1998-03-19
Filing date: 1998-03-19
Publication date: 1999-10-08
Anticipated expiration: 2018-03-19
Also published as: US6233354B1; JP3099797B2

Abstract

(57)【要約】【課題】一部欠けた文字を有する単語画像の認識精度
の向上をはかる。【解決手段】キー文字選択手段は、他の文字候補の切
り出し領域のサイズ情報を評価する際に基準となる文字
候補を選択する。要注意文字選択手段は、キー文字の切
り出し領域のサイズ情報を基準として、他の文字候補の
切り出し領域のサイズ情報を評価し、逸脱したサイズ情
報を持つ文字候補を要注意文字として選択する。再文字
認識手段は、キー文字の切り出し領域のサイズ情報を基
準として、要注意文字選択手段によって選択された各々
の文字候補に対して当該文字候補の切り出し領域のサイ
ズ情報を推定し、そのサイズ情報に基づいて入力単語画
像より当該文字候補の切り出しを行い、切り出された領
域の外枠を文字認識辞書のテンプレートの文字枠と一致
させて文字認識を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文字認識装置に関
し、特に文字列画像を入力として個別文字の認識結果を
出力する文字認識装置に関する。

【０００２】

【従来の技術】画像として与えられた単語を認識する場
合、従来は例えば特開平６−３４８９１１のように単語
画像を２値化してその黒画素連結成分に外接する外接矩
形を求め、それら外接矩形を前後の外接矩形との距離な
どの図形的特徴に基づいて統合し、統合された矩形領域
を文字認識しておき、文字認識結果を辞書に記憶してお
いた正しい単語スペルと照合して合致度が大きいものを
結果として出力していた。

【０００３】

【発明が解決しようとする課題】上記従来技術における
問題点は、画像中で一部欠けた文字があると正しく読め
ないということである。その理由は、矩形領域を文字認
識する際、その外接矩形が文字認識辞書内の文字の文字
枠と一致していると仮定しているためである。この仮定
は文字の一部が欠けている場合には成り立たず、その文
字に対する文字認識結果は著しく妥当性を欠いたものに
なる恐れが有る。

【０００４】例えばＹという文字を含む画像が、図１５
の（Ａ）のように切り出されているとする。（Ａ）はＹ
の右側の一部が欠けている場合である。一方、図１５の
（Ｃ）のようなＹという文字種に対するテンプレートが
文字認識辞書として用意されているとする。

【０００５】一般に文字認識装置は認識対象画像の外接
矩形と文字認識辞書のテンプレートの文字枠とを一致さ
せてから類似度を算出する。例えば図１５（Ａ）は、テ
ンプレートの文字枠と一致させるために図１５（Ｂ）の
ように変形された後、図１５（Ｃ）との類似度が算出さ
れることになる。変形後の（Ｂ）とテンプレート（Ｃ）
とは類似度が低いため、誤認識の原因となる。

【０００６】すなわち、切り出された文字に欠けがある
と、正解文字種のテンプレートとの間の類似性が低くな
り、さらに正解以外の文字種のテンプレートとの間に偶
然高い類似性を持ってしまう恐れもあるため、正しい文
字認識結果が得られなくなるという問題がある。

【０００７】本発明の目的は、一部欠けた文字を有する
単語画像をより高い信頼度で認識する手段を提供するこ
とにある。

【０００８】

【課題を解決するための手段】本発明は、切り出された
文字候補の認識結果とサイズ情報に基づいて単独確信度
を求め、前記単独確信度が高い文字候補をキー文字とし
て選択するキー文字選択手段(図１の２２)と、キー文字
のサイズ情報を基準として、その他の文字候補の認識結
果とサイズ情報より当該文字候補の相対確信度を求め、
前記相対確信度の低い文字候補を要注意文字として選択
する要注意文字選択手段(図１の２３)と、キー文字のサ
イズ情報を基準として、選択された要注意文字のサイズ
情報を推定し、かかるサイズ情報に基づいて改めて要注
意文字の切り出し及び文字認識を行う再文字認識手段
(図１の２４)とを備える。

【０００９】

【作用】キー文字選択手段は、他の文字候補の切り出し
領域のサイズ情報を評価する際に基準となる文字候補を
選択する。要注意文字選択手段は、キー文字の切り出し
領域のサイズ情報を基準として、他の文字候補の切り出
し領域のサイズ情報を評価し、逸脱したサイズ情報を持
つ文字候補を要注意文字として選択する。再文字認識手
段は、キー文字の切り出し領域のサイズ情報を基準とし
て、要注意文字選択手段によって選択された各々の文字
候補に対して当該文字候補の切り出し領域のサイズ情報
を推定し、そのサイズ情報に基づいて入力単語画像より
当該文字候補の切り出しを行い、切り出された領域の外
枠を文字認識辞書のテンプレートの文字枠と一致させて
文字認識を行う。

【００１０】

【発明の実施の形態】以下、本発明の第１の実施の形態
について図面を参照しながら詳細に説明する。図１は本
実施の形態の構成を説明するブロック構成図である。図
１を参照すると、本実施の形態の文字認識装置は入力装
置１、データ処理装置２、記憶装置３、及び出力装置４
から構成される。

【００１１】入力装置１は、認識対象となる単語画像を
入力する装置である。

【００１２】データ処理装置２は、正解単語候補生成手
段２１、キー文字選択手段２２、要注意文字選択手段２
３、及び再文字認識手段２４から構成される。

【００１３】正解単語候補生成手段２１は、入力装置１
で入力された認識対象単語画像に対して文字切り出しと
文字認識とを行い、文字認識の結果である文字種を組み
合わせていくつかの正解単語候補を生成する。

【００１４】キー文字選択手段２２は、正解単語候補生
成手段２１が生成した各正解単語候補の中に含まれる個
々の文字候補について、その文字候補に関する確信度
（以下、単独確信度と呼ぶ）を、当該文字候補の認識結
果とサイズ情報に基づいて算出する。そして単独確信度
が閾値以上の文字候補をキー文字として選択する。

【００１５】単独確信度は、例えば、その文字候補の文
字認識スコアと、当該文字候補のサイズ情報を基に単独
サイズ辞書３１を参照して得られる単独サイズスコア
と、基準線から見たその文字候補の外接矩形下端の高さ
と、その文字候補の外接矩形の縦及び横の長さと、その
文字候補の前後の文字候補の外接矩形との間隔と、を用
いて算出する。

【００１６】要注意文字選択手段２３は、各正解単語候
補に含まれるキー文字以外の個々の文字候補について、
その文字候補に関する確信度(以下、相対確信度と呼ぶ)
を、当該文字候補の認識結果とサイズ情報に基づいて算
出する。そして、その相対確信度が閾値以下の文字候補
を要注意文字として選択する。

【００１７】相対確信度は、例えば、その文字候補の文
字認識スコアと、キー文字及び当該文字候補のサイズ情
報を基に相対サイズ辞書３３を参照して得られる相対サ
イズスコアと、基準線から見たその文字候補の外接矩形
下端の高さと、その文字候補の外接矩形の縦及び横の長
さと、その文字候補の前後の文字候補の外接矩形との間
隔と、を用いて算出する。

【００１８】再文字認識手段２４は、要注意文字選択手
段２３により選択された各要注意文字に対し、サイズ推
定辞書３４を参照して要注意文字の切り出し領域のサイ
ズ情報を決定し、そのサイズ情報に従って認識対象単語
画像から改めて要注意文字を切り出し、文字認識を行
う。そしてその結果に基づいて要注意文字の認識スコア
を修正する。

【００１９】記憶装置３は単独サイズ辞書３１と、相対
サイズ辞書３３と、サイズ推定辞書３４を記憶してい
る。

【００２０】図２は単独サイズ辞書３１と、相対サイズ
辞書３３と、サイズ推定辞書３４の具体例を説明する図
である。

【００２１】単独サイズ辞書３１は、文字種と文字のサ
イズ情報の組み合わせに対して、前記文字種の文字が前
記文字のサイズ情報を有する場合のスコアを単独サイズ
スコアとして記憶している。

【００２２】例えば図２の（Ａ）は、文字種Ｅに関し、
サイズ情報を文字の外接矩形の縦及び横の長さとして、
文字Ｅが各サイズ情報を有する場合のスコアを、テーブ
ルの形で記憶している様子を示している。

【００２３】相対サイズ辞書３３は、第１の文字種、第
１の文字のサイズ情報、第２の文字種および第２の文字
のサイズ情報の組み合わせに対して、前記第１の文字種
の文字が前記第１の文字のサイズ情報を有している場合
に前記第２の文字種の文字が前記第２の文字のサイズ情
報を有する場合のスコアを相対サイズスコアとして対応
付けて記憶している。

【００２４】例えば図２の（Ｂ）は、文字種Ｅと文字種
Ｌに関し、サイズ情報を文字の外接矩形の縦及び横の長
さとして、文字Ｅの外接矩形の縦の長さが８、横の長さ
が６である場合に、文字Ｌが各サイズ情報を有する場合
のスコアを、テーブルの形で記憶している様子を示して
いる。

【００２５】サイズ推定辞書３４は、第１の文字種、第
１の文字のサイズ情報および第２の文字種の組み合わせ
に対して、前記第１の文字種の文字が前記第１の文字の
サイズ情報を有している場合の前記第２の文字種の文字
のサイズ情報の推定値を記憶している。

【００２６】例えば、図２の（Ｃ）は、文字種Ｅと、文
字種Ｌ及び文字種Ｚに関し、サイズ情報を文字の外接矩
形の縦及び横の長さとして、文字Ｅの外接矩形の縦の長
さが８，横の長さが６である場合に、文字Ｌ及び文字Ｚ
のサイズ情報の推定値を、テーブルの形で記憶している
様子を示している。

【００２７】出力装置４は正解単語候補を修正された文
字認識スコアとともに出力する。

【００２８】次に、本実施の形態の動作について図面を
参照ながら詳細に説明する。図３は本実施の形態の動作
を説明する流れ図である。また、認識対象単語画像とし
て図４に示すような画像が入力されるとする。

【００２９】まずステップＡ１では、入力装置１から入
力された認識対象単語画像に対し正解単語候補生成手段
２１を用いることにより、文字切り出しと文字認識とを
行い正解単語候補を生成する。

【００３０】例えば、前述した特開平６−３４８９１１
で行われているように、まず認識対象単語画像を２値化
し、２値画像から黒画素連結成分の外接矩形を検出し、
それらを外接矩形のサイズや外接矩形間の距離に基づい
てより大きな外接矩形に統合し、統合された各々の外接
矩形にそれぞれ１つの文字が含まれていると仮定して文
字認識を行い、その結果である文字種および文字認識ス
コアを得る。そして得られた文字種を組み合わせて正し
い単語のスペルと照合し合致度の高いものからいくつか
を正解単語候補として生成することができる。

【００３１】ここで、図４に示す認識対象単語画像に対
して、正解単語候補として「ＡＰＰＬＥ」と「ＡＰＰＺ
Ｅ」が生成されたとする。

【００３２】またステップＡ１の段階で正解単語候補の
基準線を求めておく。基準線は例えば図５のように、単
語画像を文字列方向に１ラインずつ走査して黒画素のヒ
ストグラムを作成し、下端から上端へヒストグラムの値
の変化量を調べ、増加量が一定値以上となるラインを基
準線とすることで設定することができる。

【００３３】次にステップＡ２では、ステップＡ１で生
成された各正解単語候補に含まれる個々の文字候補につ
いて、その単独確信度を当該文字候補の認識結果とサイ
ズ情報に基づいて算出する。そして単独確信度が閾値以
上の文字候補をキー文字として選択する。

【００３４】単独確信度は、例えば、その文字候補の文
字認識スコアと、当該文字候補のサイズ情報を基に単独
サイズ辞書３１を参照して得られる単独サイズスコア
と、基準線から見たその文字候補の外接矩形下端の高さ
と、その文字候補の外接矩形の縦及び横の長さと、その
文字候補の前後の文字候補の外接矩形との間隔と、を用
いて算出する。

【００３５】図６はステップＡ２の詳細を説明する流れ
図である。

【００３６】まずステップＢ１では、各正解単語候補に
含まれる個々の文字候補について、その外接矩形の縦及
び横の長さを基に、単独サイズ辞書３１内のテーブルを
参照して単独サイズスコアを求める。図２（Ａ）は前記
テーブルの例を示している。

【００３７】前記テーブルは、例えば、各文字種ごとに
その外接矩形の縦及び横の長さからなる２次元ベクトル

【００３８】

【数１】

【００３９】を学習データより集め、その分布が平均
μ、分散共分散行列Σの正規分布Ｎ（μ，Σ）に従うも
のと仮定してその母数（μ，Σ）を

【００４０】

【数２】

【００４１】

【数３】

【００４２】として推定し、Ｎ（μ’，Σ’）の平均値
μ’からのマハラノビス距離の２乗

【００４３】

【数４】

【００４４】を単独サイズスコアとすることにより作成
することができる。

【００４５】ただしＳｕｍ（，，）はその第１項の整数
と第２項の整数を両端とする閉区間にふくまれる全ての
整数について第３項の総和をとることを意味する。

【００４６】図４の例では、例えば５文字目の文字Ｅの
外接矩形の縦の長さが８，横の長さが６であったとする
と、図２(A)のテーブルを参照することにより、単独サ
イズスコア２０が求まる。

【００４７】ステップＢ２では、各正解単語候補に含ま
れる個々の文字候補について、その外接矩形の縦及び横
の長さ以外の図形的特徴量を求める。図形的特徴量とし
て、例えば、その文字の外接矩形とその前後の外接矩形
との間隔や、正解単語候補の基準線から当該文字候補の
外接矩形下端までの高さなどを用いることができる。

【００４８】ステップＢ３では、各正解単語候補に含ま
れる個々の文字候補について、ステップＢ１で求められ
た単独サイズスコア、ステップＢ２で求められた図形的
特徴量、及びステップＡ１で求められた文字認識スコア
を用いて単独確信度を求め、前記単独確信度が閾値以上
となる文字候補をキー文字として選択する。

【００４９】単独確信度は、例えば次のようにして求め
る。予め学習用文字サンプルを用意しておき、人間がそ
れらをキー文字にすべきサンプルとキー文字にすべきで
ないサンプルとに分けておく。そしてその両者の各文字
について、単独サイズスコア、前後の文字の外接矩形と
の間隔、単語基準線からその文字の外接矩形下端までの
高さ、及び文字認識スコアからなる５次元ベクトルをそ
れぞれ

【００５０】

【数５】

【００５１】及び

【００５２】

【数６】

【００５３】として求めておく。そして、それらから

【００５４】

【数７】

【００５５】及び

【００５６】

【数８】

【００５７】を計算しておく。そして、正解単語候補に
含まれる個々の文字候補に関する前記５次元ベクトルを
ｙとし、

【００５８】

【数９】

【００５９】の値を単独確信度として求める。この場合
のキー文字選択に用いる閾値は、例えば０とすることが
できる。

【００６０】図４の例では、例えば５文字目の文字Ｅが
キー文字として選ばれたとする。

【００６１】ステップＡ３では、各正解単語候補に含ま
れるキー文字以外の個々の文字候補について、相対確信
度を当該文字候補の認識結果とサイズ情報に基づいて算
出する。そして、その相対確信度が閾値以下の文字候補
を要注意文字として選択する。

【００６２】相対確信度は、例えば、その文字候補の文
字認識スコアと、キー文字及び当該文字候補のサイズ情
報を基に相対サイズ辞書３３を参照して得られる相対サ
イズスコアと、基準線から見たその文字候補の外接矩形
下端の高さと、その文字候補の外接矩形の縦及び横の長
さと、その文字候補の前後の文字候補の外接矩形との間
隔と、を用いて算出する。

【００６３】図７はステップＡ３の詳細を説明する流れ
図である。

【００６４】ステップＣ１では、ステップＡ２で得られ
た全てのキー文字に対しステップＣ３以下の処理を行っ
たか否かを判定し、全て処理済であれば終了する。そう
でなければステップＣ２へすすむ。

【００６５】ステップＣ２では、ステップＡ２で得られ
たキー文字のうちステップＣ３以下の処理が行われてい
ないものの中から１つを選ぶ。選ぶ順序は適当でよい
が、例えば単独確信度の高い順とすることができる。

【００６６】ステップＣ３では、ステップＣ２で選ばれ
たキー文字と同じ正解単語候補に含まれる各々の文字候
補について、その外接矩形の縦及び横の長さ、並びに、
ステップＣ２で選ばれたキー文字の外接矩形の縦及び横
の長さを基に、相対サイズ辞書３３内のテーブルを参照
して相対サイズスコアを求める。図２（Ｂ）は前記テー
ブルの例を示している。

【００６７】前記テーブルは、例えば、任意の２つの文
字種ｉとｊについて、これらが同一単語内にある学習デ
ータを収集し、各学習データの文字ｉとｊについて、そ
の外接矩形の縦及び横の長さからなる４次元ベクトル
（ｘ１，ｙ１，ｘ２，ｙ２）を求め、前記４次元ベクト
ルの分布Ｐｉｊ（ｘ１，ｙ１，ｘ２，ｙ２）を４次元正
規分布と仮定してその母数の推定値を求め、一方の文字
種の文字の外接矩形の縦及び横の長さ（ｘ１，ｙ１）が
与えられたときの、他方の文字種の文字の外接矩形の縦
及び横の長さ（ｘ２，ｙ２）の条件付き分布Ｐｉｊ（ｘ
２，ｙ２｜ｘ１，ｙ１）の平均値を算出し、前記平均値
からのマハラノビス距離の２乗を相対サイズスコアとす
ることにより作成することができる。正規分布の母数の
推定値の求め方及びマハラノビス距離の求め方について
は、ステップＢ１と同様に行うことができる。

【００６８】図４の例において、正解単語候補「ＡＰＰ
ＬＥ」に対し、４文字目の文字Ｌに該当する文字候補の
切り出し領域の縦及び横の長さがそれぞれ８と２であっ
たとする。キー文字である５文字目の文字Ｅに該当する
文字候補の切り出し領域の縦及び横の長さは８と６であ
り、これを基に図２（Ｂ）のテーブルを参照することに
より、４文字目の文字Ｌに該当する文字候補の相対サイ
ズスコア８０が求まる。

【００６９】ステップＣ４では、ステップＣ２で選ばれ
たキー文字と同じ正解単語候補に含まれる各々の文字候
補について、その外接矩形の縦及び横の長さ以外の図形
的特徴量を求める。図形的特徴量として、例えば、その
文字の外接矩形とその前後の外接矩形との間隔や、正解
単語候補の基準線から当該文字候補の外接矩形下端まで
の高さなどを用いることができる。これらはステップＢ
４で求めたものと同じであるので、ステップＢ４でこれ
らの値を記憶しておいてここで再利用することもでき
る。

【００７０】ステップＣ５では、ステップＣ２で選ばれ
たキー文字と同じ正解単語候補に含まれる各々の文字候
補について、ステップＣ３で求められた相対サイズスコ
ア及びステップＣ４で求められた図形的特徴量を用いて
相対確信度を求め、前記相対確信度が閾値以下となる文
字候補を要注意文字として選択する。

【００７１】相対確信度は、例えば次のようにして求め
る。予め学習用文字サンプルを用意しておき、人間がそ
れらを要注意文字にすべきでないサンプルと要注意文字
にすべきであるサンプルとに分けておく。あとはステッ
プＢ３で行ったのと同様にして相対確信度を求めること
ができる。閾値は、例えば０に設定する。

【００７２】図４の例では、正解単語候補「ＡＰＰＬ
Ｅ」に対しては４番目の文字Ｌが、「ＡＰＰＺＥ」に対
しては４番目の文字Ｚが、要注意文字として選ばれたと
する。

【００７３】ステップＡ４では、再文字認識手段２４と
サイズ推定辞書３４を用いることより、ステップＡ３で
選択された各要注意文字に対して文字切り出しと文字認
識をやり直し、その結果に基づいて各要注意文字の文字
認識スコアを訂正する。

【００７４】図８はステップＡ４の詳細を説明する流れ
図である。

【００７５】ステップＤ１では、ステップＡ２で得られ
た全てのキー文字に対しステップＤ３以下の処理を行っ
たか否かを判定し、全て処理済であれば終了する。そう
でなければステップＤ２へすすむ。

【００７６】ステップＤ２では、ステップＡ２で得られ
たキー文字のうちステップＤ３以下の処理が行われてい
ないものの中から１つを選ぶ。選ぶ順序は適当でよい
が、例えば単独確信度の高い順に選ぶ。

【００７７】ステップＤ３では、ステップＤ２で選ばれ
たキー文字と同じ正解単語候補に含まれる各々の要注意
文字について、前記キー文字の外接矩形の縦及び横の長
さを基に、サイズ推定辞書３４内のテーブルを参照して
要注意文字の切り出し領域のサイズ情報を決定する。図
２（Ｃ）は前記テーブルの例を示している。

【００７８】前記テーブルは、例えば、ある文字種ｉの
外接矩形の縦及び横の長さが（ｘ１，ｙ１）である時
の、文字種ｊの外接矩形の縦及び横の長さ（ｘ２，ｙ
２）の推定値を、ステップＣ３ででてきたＰｉｊを用い
て最尤推定値

【００７９】

【数１０】

【００８０】として求めることにより作成できる。

【００８１】図４の例において、正解単語候補「ＡＰＰ
ＬＥ」に対し、４文字目の文字Ｌに該当する文字候補の
切り出し領域の縦及び横の長さの推定値は、図２（Ｃ）
のテーブルを参照することにより、それぞれ８と７とな
る。また、正解単語候補「ＡＰＰＺＥ」に対し、４文字
目の文字Ｚに該当する文字候補の切り出し領域の縦及び
横の長さの推定値も、同様に８と７となる。

【００８２】ステップＤ４では、ステップＤ２で選ばれ
たキー文字と同じ正解単語候補に含まれる各々の要注意
文字に対して、ステップＤ３で決定された切り出し領域
の縦及び横の長さを基に、認識対象単語画像から矩形領
域を切り出す。

【００８３】但しステップＤ３で決定されたのは切り出
し領域の縦及び横の長さのみで、切り出し位置は決定さ
れていないため、ステップＤ３で決定された縦及び横の
長さを持つ矩形領域を単語画像上に複数設定し、それぞ
れの矩形領域の図形的特徴をもとに評価を行い、所定の
条件を満たす矩形領域を選択して切り出しを行う。

【００８４】例えば、図９に示すように、要注意文字の
外接矩形と角を共有する矩形領域を設定する。矩形の角
は４つなので設定される矩形領域は４つとなる。これら
４つの矩形領域に対し図形的特徴を求める。図形的特徴
としては、例えば、基準線から見た矩形領域下端の高さ
や、その前後の文字候補の外接矩形との間隔を用いるこ
とができる。

【００８５】矩形領域の選択方法としては、例えばステ
ップＢ３と同様にして実現できる。すなわち、予め学習
用矩形領域サンプルを用意しておき、人間がそれらを切
り出しを行うべきグループと切り出しを行うべきでない
グループとに分けておく。ここで、切り出しを行うべき
でない場合とは、隣接する文字と重なりが大きい場合な
どが該当する。そして、それぞれのグループにおいて前
記図形的特徴を要素とする特徴ベクトルを各サンプルか
ら求め、各グループの特徴ベクトルの平均値と共分散行
列を求めておく。矩形領域の選択にあたっては、前記４
つの矩形領域のそれぞれについて得られる前記特徴ベク
トルに関し、前記平均値と共分散行列を用いて各グルー
プからのマハラノビス距離を求め、切り出しを行うべき
グループの平均値に近い場合に、その矩形領域を選択す
る。

【００８６】図９の例では、図９の１及び２が選択され
て切り出され、図９の３及び４は隣接する文字候補との
重なりが大きいため選択されなかったとする。

【００８７】ステップＤ５では、ステップＤ４で切り出
された矩形領域に対して文字認識を行う。その際ステッ
プＤ４で切り出された矩形領域の外枠を文字認識辞書側
の文字枠と一致させる。そして文字認識の結果によって
要注意文字の文字認識スコアを修正する。修正方法とし
ては、例えば、要注意文字に対するそれまでの文字認識
スコアを消去し、ここで得られた文字認識スコアのうち
最良のもので上書きする方法などが考えられる。

【００８８】図９の例において、図９の１及び２に対し
て文字枠を一致させて文字認識を行うと、図９の１、２
ともに文字Ｚよりも文字Ｌとの類似度の方が高くなり、
要注意文字であった４番目の文字候補の文字認識スコア
は修正されて、文字種Ｌに対するものが最も大きくな
る。

【００８９】ステップＡ５では、出力装置４を用いるこ
とにより、正解単語候補を、修正された文字認識スコア
とともに出力する。

【００９０】次に、従来技術では文字Ｌよりも文字Ｚに
対する類似度の方が高くなるのに対し、本発明では文字
Ｚよりも文字Ｌに対する類似度の方が高くなることを、
図１０を用いて説明する。

【００９１】今、文字認識辞書に１文字種につき２種類
のテンプレートが用意されているとし、文字種Ｌについ
ては図１０の（ａ）と（ｂ）、文字種Ｚについては図１
０の（ｃ）と（ｄ）が用意されているとする。これら２
種類のテンプレートの役割は、黒画素が存在すべき領域
に白画素があるかどうかをチェックするためのものと、
白画素が存在すべき領域に黒画素があるかどうかをチェ
ックするためのものである。（ａ）及び（ｃ）が前者で
あり、ｃ１及びｃ２が黒画素が存在すべき領域を表して
いる。また、（ｂ）及び（ｄ）が後者であり、ｅ１、ｅ
２１及びｅ２２が白画素が存在すべき領域を表してい
る。

【００９２】文字認識の対象として切り出された領域
は、その外形がテンプレートの文字枠と一致するように
変形される。なお、ここではテンプレートの大きさは２
８ｘ２８であるとする。

【００９３】図４の例では４文字目に欠けがあるため、
そのまま一致するように変形された場合、図１０の
（ｆ）のようになる。一方、本発明では図９の１及び２
に示すような領域で切り出された後に一致するように変
形されるため、図１０の（ｅ）のようになる。すなわ
ち、図１０の（ｆ）は従来技術における認識対象を表
し、図１０の（ｅ）は本発明における認識対象を表して
いる。

【００９４】最初に図１０の（ｆ）と文字種Ｌとの類似
度を求める。図１０の（ｆ）と図１０の（ａ）とを重ね
合わせ、黒画素が存在すべき領域ｃ１と（ｆ）の白画素
領域について、重なった部分の面積Ｓ１を算出する。こ
れは本来黒画素があるべき領域に白画素が有ることへの
ペナルティと意味付けることができ、図の例では、Ｓ１
＝０になる。また図１０の（ｆ）と図１０の（ｂ）とを
重ね合わせ、白画素が存在すべき領域ｅ１と（ｆ）の黒
画素領域について、重なった部分の面積Ｓ２を算出す
る。これは本来白画素があるべき領域に黒画素が有るこ
とへのペナルティと意味付けることができ、図の例で
は、Ｓ２＝３４０になる。類似度を１０００−Ｓ１−Ｓ
２と定義すると、図１０の（ｆ）と文字種Ｌとの類似度
は６６０となる。

【００９５】次に図１０の（ｆ）と文字種Ｚとの類似度
を求める。図１０の（ｆ）と図１０の（ｃ）とを重ね合
わせ、黒画素が存在すべき領域ｃ２と（ｆ）の白画素領
域について、重なった部分の面積Ｓ１を算出する。図の
例では、Ｓ１＝２８になる。また図１０の（ｆ）と図１
０の（ｄ）とを重ね合わせ、白画素が存在すべき領域ｅ
２１及びｅ２２と（ｆ）の黒画素領域について、重なっ
た部分の面積Ｓ２を算出する。図の例では、Ｓ２＝１５
０になる。１０００−Ｓ１−Ｓ２を計算した結果、図１
０の（ｆ）と文字種Ｚとの類似度は８２２となる。

【００９６】これより図１０の（ｆ）に関しては、文字
種Ｌとの類似度６６０よりも、文字種Ｚとの類似度８２
２の方が大きくなっていることがわかる。

【００９７】一方、図１０の（ｅ）に対して同様に文字
種Ｌとの類似度を求めると、図の例ではＳ１＝８４、Ｓ
２＝０になり、類似度は９１６となる。また文字種Ｚと
の類似度は、図の例ではＳ１＝３２０、Ｓ２＝３３２に
なり、類似度は３４８になる。これより、図１０の
（ｅ）に関しては、文字種Ｚとの類似度３４８よりも、
文字種Ｌとの類似度９１６の方が大きくなっていること
がわかる。

【００９８】次に、本発明の第２の実施の形態の構成つ
いて図面を参照しながら詳細に説明する。図１１は本実
施の形態の構成を説明するブロック構成図である。図１
１を参照すると、本実施の形態の構成は、相対サイズ辞
書３３が第２相対サイズ辞書３５に置き換わっている点
で、図１に示された第１の実施の形態の構成と異なる。

【００９９】図１２は第２相対サイズ辞書３５の具体例
を説明する図である。第２相対サイズ辞書３５は、同一
フォントの文字群に対し、各文字のサイズ情報に関する
比を記憶している。

【０１００】例えば図１２は、サイズ情報を文字の外接
矩形の横の長さとして、フォントナンバー１の文字群に
対して、Ａ，Ｅ，Ｌ，Ｐ，Ｚの各文字の外接矩形の横の
長さの比１６：２０：１４：１８：１０を、フォントナ
ンバー２の文字群に対して、Ａ，Ｅ，Ｌ，Ｐ，Ｚの各文
字の外接矩形の横の長さの比１６：１０：２０：２５：
１０を、テーブルの形で記憶していることを示してい
る。

【０１０１】前記テーブルは、例えば、予め各フォント
ごとに学習用のサンプルデータを用意しておき、各文字
のサンプルデータの外接矩形の横幅を実測し、比を求め
ることにより作成できる。

【０１０２】次に本実施の形態の動作について図面を参
照しながら詳細に説明する。本実施の形態の動作は、ス
テップＡ３を除いて、図３に示す第１の実施の形態の動
作と同じである。

【０１０３】本実施の形態はステップＡ３で、各正解単
語候補に含まれる個々の文字候補について、相対確信度
をキー文字及び当該文字候補のサイズ情報を基に第２相
対サイズ辞書３５を参照することにより算出し、その相
対確信度が閾値以下の文字候補を要注意文字として選択
する。

【０１０４】図１３は本実施の形態におけるステップＡ
３の詳細を説明する流れ図である。

【０１０５】ステップＨ１では、ステップＡ１で得られ
た全て正解単語候補に対しステップＨ３以下の処理を行
ったか否かを判定し、全て処理済であれば終了する。そ
うでなければステップＨ２へすすむ。

【０１０６】ステップＨ２では、ステップＡ１で得られ
た正解単語候補のうちステップＨ３以下の処理が行われ
ていないものの中から１つを選ぶ。

【０１０７】ステップＨ３では、ステップＨ２で選ばれ
た正解単語候補に含まれる個々の文字候補について、第
２相対サイズ辞書３５を参照しながら以下のようにして
相対確信度を算出する。

【０１０８】正解単語候補に含まれるＰ個の文字候補に
ついて、認識結果がＣ₁ ，…，Ｃ_P、外接矩形の横幅が
Ｘ₁ ，…，Ｘ_p であったとする。まず、正解単語候補中
の文字候補群のサイズ情報と最も似たサイズ情報を持つ
フォントを選択する。具体的には、

【０１０９】

【数１１】

【０１１０】を最小とするｉ，ｋを求め、ｉ’，ｋ’と
おく。ここで、ｉはフォントナンバーを表し、ｉ’は選
択されたフォントのフォントナンバーを表す。また、ｘ
_i （Ｃ_j ）は、第２相対サイズ辞書を参照することによ
り得られる、フォントナンバーｉのフォントにおける文
字種Ｃ_j のサイズ情報の比を表す。また、Ｋｅｙ（ｊ）
は正解単語候補中のｊ番目の文字がキー文字であれば
２、そうでなければ１をとる関数であり、キー文字に対
する誤差の重みを大きくする働きをする。

【０１１１】フォントが選択された後、各文字候補の相
対確信度を、−｜ｋ’ｘ＿｛ｉ’｝（Ｃ＿ｊ）−Ｘ＿
｛ｊ｝｜により算出する。

【０１１２】例えば、正解単語候補「ＡＰＰＬＥ」にお
いて、各文字候補の外接矩形の横の長さＸ₁ ，…，Ｘ_p
が順に８，９，９，２，１０であったとする。この時、
図２の第２相対サイズ辞書を参照することにより、フォ
ントナンバー１のフォントに対しては、Ｆ１（ｋ）＝｜
１６ｋ−８｜＋｜１８ｋ−９｜＋｜１８ｋ−９｜＋｜１
４ｋ−２｜＋２｜２０ｋ−１０｜となるから、これを最
小とするｋはｋ＝０．５となる。ここでｉ＝１のときの
Ｆ_i （ｋ）が最小となったとすると、正解単語候補「Ａ
ＰＰＬＥ」の各文字に対する相対確信度は順に、０，
０，０，−５，０となる。

【０１１３】ステップＨ４では、ステップＨ３で計算さ
れた正解単語候補中の各文字候補に対する相対確信度と
閾値とを比較し、閾値以下の相対確信度を持つ文字候補
を要注意文字として選択する。

【０１１４】例えば閾値が−３とすると、上述の例で
は、正解単語候補「ＡＰＰＬＥ」の中から４文字目の文
字Ｌに該当する文字候補が要注意文字として選ばれるこ
とになる。

【０１１５】次に、本発明の第３の実施の形態の構成つ
いて図面を参照しながら詳細に説明する。図１４は本実
施の形態の構成を説明するブロック構成図である。図１
４を参照すると、本実施の形態の構成は、２値画像生成
手段２０と２値画像バッファ３２とを有する点で、図１
に示された第１の実施の形態の構成と異なる。

【０１１６】認識対象単語画像が多値画像で、用いる文
字認識手段が２値画像のみを対象としていた場合、２値
画像に変換してから文字認識を行う必要がある。しかし
背景と文字を完全に分かつような閾値が存在しないこと
も多い。そこで２値画像生成手段２０において複数の閾
値により複数の２値画像を生成し、２値画像バッファに
格納する。

【０１１７】２値画像生成手段２０では、生成された２
値画像のうち１つを選択して正解単語候補生成手段２１
に出力し、それ以外の２値画像は２値画像バッファに出
力する。

【０１１８】正解単語候補生成手段２１、キー文字選択
手段２２及び要注意文字選択手段２３では、前記選択し
た２値画像を用いて、第１の実施の形態と同様の処理を
行う。

【０１１９】再文字認識手段２４は、前記選択された２
値画像を用いて第１の実施の形態と同様に切り出し領域
を決定し、前記選択された２値画像及び２値画像バッフ
ァから読み出した２値画像に対して、前記決定した切り
出し領域と同位置の矩形領域を切り出して、要注意文字
の再文字認識を行う。

【０１２０】

【発明の効果】本発明の効果は、単語画像に含まれる欠
けがある文字に対してより信頼性の高い文字認識が行え
ることである。その理由は、単語画像に含まれる文字候
補のうち、欠けがない文字候補のサイズ情報から欠けが
ある文字候補のサイズ情報を推定することで、欠けがあ
る文字候補の外接矩形と文字認識辞書のテンプレートの
文字枠とを一致させて照合する際の類似度が低くなるこ
とを防ぐことができるからである。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の構成を示すブロッ
ク図である。

【図２】単独サイズ辞書、相対サイズ辞書、サイズ推定
辞書の例を示す図である。

【図３】本発明の第１の実施の形態の動作を示す流れ図
である。

【図４】入力画像の例を示す図である。

【図５】基準線の求め方を説明する図である。

【図６】図３のステップＡ２における動作を示す流れ図
である。

【図７】図３のステップＡ３における動作を示す流れ図
である。

【図８】図３のステップＡ４における動作を示す流れ図
である。

【図９】切り出し領域の設定の仕方を説明する図であ
る。

【図１０】文字Ｌと文字Ｚに対する類似度の違いを説明
する図である。

【図１１】本発明の第２の実施の形態の構成を示すブロ
ック図である。

【図１２】第２相対サイズ辞書の例を示す図である。

【図１３】第２の実施の形態における、図３のステップ
Ａ３における動作を示す流れ図である。

【図１４】本発明の第３の実施の形態の構成を示すブロ
ック図である。

【図１５】従来技術の課題を説明する図である。

【符号の説明】

１入力装置２データ処理装置２０２値画像生成手段２１正解単語候補生成手段２２キー文字選択手段２３要注意文字選択手段２４再文字認識手段３記憶装置３１単独サイズ辞書３２２値画像バッファ３３相対サイズ辞書３４サイズ推定辞書３５第２相対サイズ辞書４出力装置

Claims

【特許請求の範囲】

【請求項１】認識対象である単語画像に対し、文字候補
を切り出して文字認識を行い、文字認識結果である文字
種に基づいて前記文字候補を組み合わせて単語候補を生
成する単語候補生成手段と、文字種と文字のサイズ情報の組み合わせに対して、前記
文字種の文字が前記文字のサイズ情報を有する場合のス
コアを単独サイズスコアとして記憶する単独サイズ辞書
と、前記単語候補に含まれる文字候補について、当該文字候
補の認識結果とサイズ情報を文字種と文字のサイズ情報
として前記単独サイズ辞書を参照することにより単独サ
イズスコアを求め、前記単独サイズスコアと当該文字候
補の認識結果に少なくとも基づいて当額文字候補の単独
確信度を算出し、前記算出された単独確信度があらかじ
め記憶する所定の値よりも高い場合に前記文字候補をキ
ー文字として選択し、キー文字として１つも選択されな
かった場合には単独確信度が高い文字候補から少なくと
も１つのキー文字を選択するキー文字選択手段と、第１の文字種、第１の文字のサイズ情報、第２の文字種
および第２の文字のサイズ情報の組み合わせに対して、
前記第１の文字種の文字が前記第１の文字のサイズ情報
を有している場合に前記第２の文字種の文字が前記第２
の文字のサイズ情報を有する場合のスコアを相対サイズ
スコアとして対応付けて記憶する相対サイズ辞書と、前記単語候補に含まれる文字候補のうち前記キー文字と
して選択されなかった文字候補に対し、当該文字候補の
認識結果とサイズ情報を第１の文字種、第１の文字のサ
イズ情報とし、当該文字候補の認識結果と同じ単語候補
に含まれる少なくとも１つのキー文字の認識結果とサイ
ズ情報を第２の文字種、第２の文字のサイズ情報とし
て、相対サイズ辞書を参照して相対サイズスコアを求
め、少なくとも前記相対サイズスコアに基づいて当該文
字候補の相対確信度を算出し、前記算出された相対確信
度があらかじめ記憶する所定の値よりも低い場合に、当
該文字候補を要注意文字として選択する要注意文字選択
手段と、第１の文字種、第１の文字のサイズ情報および第２の文
字種の組み合わせに対して、前記第１の文字種の文字が
前記第１の文字のサイズ情報を有している場合の前記第
２の文字種の文字のサイズ情報の推定値を記憶するサイ
ズ推定辞書と、前記要注意文字として選択された文字候補に対し、当該
文字候補の認識結果を第２の文字種とし、当該文字候補
について要注意文字の選択の際に用いられたキー文字の
認識結果とサイズ情報を第１の文字種、第１の文字のサ
イズ情報とし、サイズ推定辞書を参照して当該文字候補
のサイズ情報の推定値を算出し、前記単語画像において
当該文字候補の位置を基準に、前記推定値で与えられる
サイズ情報に基づいて切り出し領域を設定し、前記設定
された切り出し領域の外枠が文字の外接矩形であるとし
て文字認識を行う再文字認識手段とを備えたことを特徴
とする文字認識装置。
【請求項２】同一フォントの文字群に対し、各文字のサ
イズ情報に関する比を記憶する第２相対サイズ辞書を備
え、前記要注意文字選択手段が、前記単語候補に含まれる文
字候補群に対し、各文字候補のサイズ情報及び当該文字
候補がキー文字として選択されているかどうかを基に第
２相対サイズ辞書を参照することにより相対確信度を算
出し、前記算出された相対確信度があらかじめ記憶する
所定の値よりも低い場合に、当該文字候補を要注意文字
として選択することを特徴とする請求項１記載の文字認
識装置。
【請求項３】認識対象である単語画像に対して複数の異
なる閾値により２値化を行い、複数の２値化画像を生成
する２値画像生成手段と、前記複数の２値化画像を記憶する２値画像バッファを有
し、前記再文字認識手段が、前記単語画像に切り出し領域を
設定する際に、前記２値画像バッファに記憶された前記
複数の２値化画像に対しても前記単語画像に設定される
切り出し領域と同位置に切り出し領域を設定し、前記単
語画像及び前記複数の２値化画像のそれぞれに設定され
た切り出し領域に対し、切り出し領域の外枠が文字の外
接矩形であるとして文字認識を行うことを特徴とする請
求項１又は２記載の文字認識装置。