JP3756309B2

JP3756309B2 - 文字認識装置

Info

Publication number: JP3756309B2
Application number: JP02876198A
Authority: JP
Inventors: 真司尾野
Original assignee: グローリー工業株式会社
Priority date: 1998-02-10
Filing date: 1998-02-10
Publication date: 2006-03-15
Anticipated expiration: 2018-02-10
Also published as: JPH11232387A

Description

【０００１】
【発明の属する技術分野】
本発明は、帳票類に予め印刷された定型情報（罫線、枠線やプレ印刷文字など）を含む記入領域の画像を参照画像として記憶し、認識対象となる帳票類の記入領域の入力画像を参照画像と対比して該記入領域に記入された記入文字を認識する文字認識装置に関し、特に、解析的な形（パラメータ）で表現できない多種多様な定型情報が、非ドロップアウトカラーで印刷され、画像入力系の機差、帳票搬送時の変動、帳票上の定型情報に印刷ズレが生じた場合でも、処理に要するメモリを少なく、処理時間を低減しつつ、入力画像から正確に定型情報の除去を行い、高い精度の文字認識を行う文字認識装置に関する。
【０００２】
【従来の技術】
従来、罫線、枠線又はプレ印刷文字などの非ドロップアウトカラーで予め印刷された定型情報を含む帳票上に記入された文字を読み取る技術が知られている。
【０００３】
例えば、特開平９−３４９９５号公報には、黒ランレングス情報に基づき、定型情報の構造を解析し、抽出された定型情報を入力画像から消去した後、残りの画像を用いて文字切り出し及び文字認識を行うよう構成した画像処理装置が開示されている。
【０００４】
ところが、かかる従来技術は、解析的な形（パラメータ）で表現できる定型情報を取り扱う場合には有効であるが、パラメータで表現できない定型情報を取り扱う場合には適用が難しい。
【０００５】
このため、パラメータで表現できない定型情報を取り扱う場合には、定型情報を参照画像としてあらかじめ準備しておき、入力画像から参照画像を減算することになる。
【０００６】
例えば、特開昭５８−２０７１８４号公報には、定型情報を参照画像として登録保存しておき、その参照画像を入力画像から減算し、残りの画像で文字切り出し及び文字認識を行うよう構成した記録情報認識装置が開示されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、この従来技術を用いて例えば定型情報を含む帳票上の文字を読み取る場合には、精密な位置合わせ（照合）を行わないので、定型情報の残骸が生じたり、定型情報に近接した記入文字が非接触にも関わらず消去され、結果的に認識精度が低下するという問題が生ずる。
【０００８】
その理由は、伸縮及び傾斜等の画像入力系の機差や、搬送速度のバラツキによる画像の伸縮や回転等の帳票搬送時の変動や、枠線の伸縮、枠線とプレ印刷文字がともに平行移動する変動、枠線とプレ印刷文字の相対位置関係の変動などの帳票上の定型情報の印刷ズレが生じるからである。
【０００９】
このため、定型情報を有する参照画像と入力画像とを位置合わせ（照合）する際に、図形相互の回転角と平行移動量を得る一般化ハフ（Hough）変換を用いて、回転角及び平行移動量に限定し、その変動を吸収して位置合わせを行う技術が知られている。
【００１０】
しかし、かかる技術を用いるためには、ハフ空間を形成するための膨大なメモリが必要になるという問題が生じる。
【００１１】
例えば、平行移動の分解能が１画素、回転角の分解能が１度である場合において、２５６画素×２５６画素からなる画像の照合を行う際には、パラメータ空間用に数十メガバイトのメモリ容量が必要となる。
【００１２】
また、この一般化ハフ変換では、参照画像と入力画像の各エッジ点間の全ての組み合わせから回転量及び平行移動量を求めるため、エッジ数が増加すれば増加する程処理時間が累増するという問題もある。
【００１３】
そこで、本発明では、上記問題点を解決し、解析的な形（パラメータ）で表現できない多種多様な定型情報が、非ドロップアウトカラーで印刷され、画像入力系の機差、帳票搬送時の変動、帳票上の定型情報に印刷ズレが生じた場合でも、処理に要するメモリを少なく、処理時間を低減しつつ、入力画像から正確に定型情報の除去を行い、高い精度の文字認識を行う文字認識装置を提供することを目的とする。また、定型情報が文字で構成され、その文字と記入文字が接触、重畳した場合であっても、定型情報と記入文字との接触箇所を正確に抽出し、接触、重畳による欠損部分を修復することで、文字認識の精度を高める文字認識装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記目的を達成するため、第１の発明は、帳票類に予め印刷された定型情報を含む記入領域の画像を参照画像として記憶し、認識対象となる帳票類の記入領域の入力画像を前記参照画像と対比して該記入領域に記入された記入文字を認識する文字認識装置において、画像入力系の光学系設定情報を記憶する記憶手段と、前記記憶手段に記憶した光学系設定情報と帳票の傾き角度に基づいて、入力画像と参照画像とのずれを補正すべく前記参照画像を回転、伸縮又は傾斜する第１の変形手段と、前記第１の変形手段により変形された前記変形画像と前記入力画像との平行移動ずれを補正する平行移動量を算出して、前記変形画像を該算出した平行移動量に基づき平行移動して補正参照画像に変形する第２の変形手段と、前記入力画像から前記補正参照画像の画素情報を除いた差分画像を生成し、前記記入文字と定型情報との接触による欠落を補完して該記入文字を修復する修復手段と、前記修復手段が修復した差分画像から各記入文字を切り出して認識する認識手段とを具備し、前記第２の変形手段は、前記変形画像を２値化処理した２値画像から、連結した黒画素を包含する矩形領域であるブロックを抽出するブロック抽出手段と、前記ブロック抽出手段が抽出したブロックのうち、所定のしきい値よりも小さいブロックをそのまま単位領域とし、該所定のしきい値以上の大きさを有するブロックを所定数のブロックに分割して単位領域とする単位領域抽出手段と、前記単位領域抽出手段が抽出した単位領域ごとに入力画像の対応部分との前記平行移動量を算定し、算定した平行移動量に基づいて前記単位領域をそれぞれ平行移動する平行移動手段とを具備することを特徴とする。
【００１５】
また、第２の発明は、第１の発明において、本発明では、前記単位領域抽出手段は、前記ブロック抽出手段が抽出したブロックのうち、所定のしきい値以上の大きさを有するブロックを分割して単位領域とする際、分割された領域が重複するようにブロックを組み合わせて単位領域とすることを特徴とする。
【００１６】
また、第３の発明は、第１の発明において、前記修復手段は、前記入力画像を形成する画素のうち、前記記入文字と定型情報とが交差又は重複する画素に接触属性を付与し、該接触属性を有する複数の画素列が互いに所定の位置関係にある場合に、画素列相互間に所在する画素を黒画素にして有効属性を付与することを特徴とする。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。なお、本実施の形態では、文字認識装置に入力される帳票種類は、該装置の操作者が予め指定することとする。
【００２０】
まず最初に、本実施の形態で用いる帳票及び認識対象領域の一例について説明する。
【００２１】
図２は、本実施の形態で用いる帳票及び認識対象領域の一例を示す図である。
【００２２】
同図に示すように、この帳票３０は、○○○○○○株式会社が使用する帳票であり、払込通知票３１及び収入金額領収書控３２を切り取り線で結合したものである。
【００２３】
ここで、この帳票３０の払込通知票３１には、請求金額欄３１ａ及び支払期限欄３１ｂ等があるため、文字認識装置は、これらの欄に記入された記入文字を認識する必要がある。
【００２４】
ここで、請求金額欄３１ａの枠線は矩形であるため、解析的な形（パラメータ）で表現できる定型情報となるが、支払期限欄３１ｂは、矩形の四角を丸くしているため、解析的な形（パラメータ）で表現しずらい定型情報となる。
【００２５】
このため、以下では、この支払期限欄３１ｂに記入される文字を認識する場合に焦点を当てて説明することとする。
【００２６】
図１は、本実施の形態で用いる文字認識装置の構成を示す機能ブロック図である。
【００２７】
同図に示すように、この文字認識装置は、多値画像入力部１１と、帳票位置検出部１２と、書式情報記憶部１３と、画像切出部１４と、参照画像記憶部１５と、機差情報記憶部１６と、参照画像補正部１７と、照合部１８と、減算処理部１９と、接触有無判定部２０と、文字切出部２１と、欠損補正処理部２２と、文字認識部２３と、辞書格納部２４と、後処理部２５とからなる。
【００２８】
多値画像入力部１１は、帳票を光学的に読み取って該帳票に対応する多値画像を取得するイメージスキャナ等の入力装置であり、帳票位置検出部１２は、多値画像入力部１１が取得した入力画像に含まれる帳票の４頂点の座標を検出する処理部である。
【００２９】
書式情報記憶部１３は、認識対象領域の位置及び大きさ並びに文字種などの帳票の書式に係わるパラメータを記憶する記憶部であり、画像切出部１４は、書式情報記憶部１３に記憶された書式情報に基づいて、入力画像から認識対象領域を切り出す処理部である。
【００３０】
参照画像記憶部１５は、認識対象領域に対応する参照画像を記憶する記憶部であり、機差情報記憶部１６は、ＣＣＤの取付角度θccd や像倍率α等の光学的設定情報を記憶する記憶部である。
【００３１】
参照画像補正部１７は、機差情報記憶部１６が記憶する機差情報と、帳票位置検出部１２が検出した帳票の傾き角度θdoc とを用いて、参照画像記憶部１５に記憶した参照画像の画像変換を行う処理部である。
【００３２】
照合部１８は、入力画像と参照画像を照合して、入力画像中での定型情報の平行移動量を算出する処理部であり、減算処理部１９は、入力画像から参照画像を減算して、記入文字のみからなる差分画像を作成する処理部である。
【００３３】
接触有無判定部２０は、減算処理後の差分画像について、記入文字と参照画像の接触判定及び接触している位置の抽出を行う処理部である。
【００３４】
文字切出部２１は、書式情報記憶部１３に記憶した書式情報に基づいて差分画像から輪郭抽出を行い、連結した黒画素を包含する矩形ブロックを抽出する処理部であり、欠損補正処理部２２は、文字切出部２１が切り出した矩形ブロックに含まれる記入文字の欠損を補完する補正を行う処理部である。
【００３５】
文字認識部２３は、書式情報記憶部１３に記憶した書式情報及び辞書格納部２４に記憶した文字認識辞書を用いて文字切出部２１が切り出した矩形ブロックに含まれる文字の認識を行う処理部であり、後処理部２５は、認識結果を整理して出力する処理部である。
【００３６】
なお、多値画像入力部１１と、帳票位置検出部１２と、書式情報記憶部１３と、画像切出部１４と、参照画像記憶部１５と、機差情報記憶部１６と、参照画像補正部１７と、照合部１８とで請求項１の補正手段を構成し、減算処理部１９と、接触有無判定部２０と、文字切出部２１と、欠損補正処理部２２とで請求項１の修復手段を構成し、文字認識部２３と、辞書格納部２４とで請求項１の認識手段を構成している。
【００３７】
次に、上記構成を有する文字認識装置の処理内容及び動作について処理手順に沿って具体的に説明する。
【００３８】
まず、文字認識処理に先だって、書式情報記憶部１３、参照画像記憶部１５及び機差情報記憶部１６に、帳票に関する書式、認識対象領域に対応する参照画像及び機差情報を格納するとともに、辞書格納部２４に文字認識辞書を格納する。
【００３９】
なお、本実施の形態では、説明の便宜上、これら情報の格納は操作者による設定操作によって、帳票の文字認識を実際にさせる前に、予め行なっておく。
【００４０】
そして、かかる準備が完了したならば、多値画像入力部が、ローラー又はベルト等の搬送手段によって搬送された帳票等の原稿を読み取り、図示しない多値画像メモリへ一旦格納する。
【００４１】
次に、帳票位置検出部１２が、図３（ａ）に示すように、多値画像メモリに記憶された入力画像の４辺（上下左右辺）から各軸に垂直な方向に画素値を走査し、同図（ｂ）に示すように、
Ｅ(i)＝ｆ(i+2)＋ｆ(i+1)−ｆ(i-1)−ｆ(i-2)
の計算式にしたがって、注目画素の近傍での濃度値Ｅがしきい値以上となる座標値列を算出する。
【００４２】
そして、この上下左右辺ごとに算出した画素値列から帳票の上下左右端の４本の回帰直線を算出するとともに、かかる回帰直線の傾きから帳票の傾き角度θdoc を算定し、これらの回帰直線の交点から帳票の４頂点の座標を得る。
【００４３】
なお、この帳票位置検出部１２は、算定した帳票の傾き角度θdoc を参照画像の補正部１７へ出力するとともに、帳票の傾き角度θdoc 及び帳票の４頂点の座標を画像切出部１４へ出力する。
【００４４】
次に、参照画像記憶部１５及び機差情報記憶部１６から、認識対象領域に対応する参照画像及び機差情報をそれぞれ読み出し、参照画像補正部１７に対して出力する。ここで、ＣＣＤの取付角度θccd が正常でない場合には、画像入力時に画像に傾斜が生じ、像倍率が1.0でない場合には、画像入力時に画像に伸縮が生じることになるが、これらは予め基準帳票を用いて情報を収集し、機差情報記憶部１６に記憶してある。
【００４５】
そして、参照画像補正部１７では、光学系設定情報（ＣＣＤ取付角度θccd 、像倍率α）及び帳票位置検出部１２が算定した帳票の傾き角度θdoc に基づいて、図４（ａ）に示す変換式により画像変換を行う。ただし、補正前の画像をｆ(Xin,Yin)とし、補正後の画像をg(Xout,Yout)とすることとする。
【００４６】
例えば、図４（ｂ）に示す参照画像が参照画像記憶部１５に記憶されている場合には、かかる画像変換の結果により、図４（ｃ）に示すように参照画像が変換されることになる。
【００４７】
このようにして、照合部１８及び減算処理部１９で問題となる変形（回転、伸縮、傾斜、平行移動）のうち、回転、伸縮及び傾斜に関する変形が参照画像補正部１７で吸収されることになる。なお、作成された参照画像は、照合部１８に出力される。
【００４８】
次に、画像切出部１４は、指定された帳票種類及び認識対象領域に対応する書式情報（認識対象領域の位置と大きさ、文字種などのパラメータ）を書式情報記憶部１３から読み出し、帳票位置検出部１２で検出した帳票の傾き角度θdoc 及び帳票の４頂点の座標に基づいて入力画像から認識対象領域を切り出し、これを２値化処理して、図示しない認識対象領域メモリに格納する。
【００４９】
なお、かかる２値化処理では、文字部や定型情報部を黒画素に変換し、背景部分を白画素へ変換する。この際、黒画素の属性を「有効」、白画素の属性を「無効」として記憶しておく。
【００５０】
次に、照合部１８は、図５に示す手順で、入力画像中での定型情報の平行移動量を算出する。
【００５１】
図５に示すように、この照合部１８は、まず最初に入力画像の輪郭点の座標及びその方向性（以下「輪郭点情報」と言う。）と、参照画像の輪郭点情報とをそれぞれ抽出する（ステップ４０１及び４０２）。例えば、参照画像補正部１７から受け取った参照画像が図６（ａ）に示すものである場合には、その輪郭点情報は図６（ｂ）のようになる。
【００５２】
その後、参照画像から抽出した輪郭点情報から２値画像上の連結した黒画素を包含する矩形（以下「ブロック」と言う。）を抽出する（ステップ４０３）。なお、参照画像の輪郭点情報が図６（ｂ）に示すものである場合には、図６（ｃ）に示すように７個のブロックが抽出される。
【００５３】
次に、かかるブロックのうち、ブロックの大きさが所定のしきい値以下のブロックをそれぞれ単位領域として抽出する（ステップ４０４）。例えば、図６（ｃ）に示すブロックのうち、ブロック１〜ブロック６までの６個のブロックが単位領域として抽出される。
【００５４】
また、図６（ｃ）に示すブロック７のように、ブロックの大きさが所定のしきい値以上の場合には、ブロック７自体を単位領域とみなすのではなく、このブロック７を領域分割して各領域を単位領域とみなす。
【００５５】
具体的には、図７（ａ）に示すように、垂直軸および水平軸方向の輪郭点の周辺分布を作成し、その周辺分布の度数がＮ等分される座標を算出し、同図（ｂ）に示すように、Ｎ×Ｎの領域に分割する。そして、分割された領域が重複するように４個の分割領域を用いて１個の単位領域を構成し、同図（ｃ）に示すように（Ｎ−１）×（Ｎ−１）個の単位領域を抽出する。なお、ここではＮ＝４の場合を示している。
【００５６】
このようにして、単位領域の作成が終了したならば、単位領域番号を示す変数ｉをインクリメントしつつ、参照画像の各単位領域ごとに入力画像中での定型情報の平行移動量を算出する（ステップ４０５〜４０７）。
【００５７】
例えば、図６（ａ）に示す参照画像が存在する場合には、同図（ｃ）に示すブロック１〜６と、図７（ｃ）に示す９個のブロックの合計１５個の単位領域について入力画像中での平行移動量を算出することになる。
【００５８】
具体的には、第ｉ番目の単位領域をセットし（ステップ４０５）、参照画像の輪郭点の方向成分と一致する入力画像上の輪郭点を、水平、垂直方向ともに(−δ)画素から(＋δ)画素の範囲を探索し、一致する位置に対応する２次元（２δ＋１）×（２δ＋１）のマップ上の座標へ加点する（ステップ４０６）。そして、全ての輪郭点についての処理が終了した時点で、マップ上で最高得点となる位置を算出し、平行移動量を得る（ステップ４０７）。ただし、ここでは、平行移動量の範囲を水平、垂直方向共に(−δ)画素から(＋δ)画素に制限することとする。
【００５９】
このように、参照画像をブロック化し、その大きさに従って単位領域を決定し、個々のブロックでの平行移動量を抽出することにより、印刷ズレを吸収することが可能になる。
【００６０】
例えば、定型情報の枠線部と文字部で印刷ズレ量が異なる場合や定型情報の枠線部のみが伸縮している場合などでも高精度な位置合わせが可能になる。
【００６１】
また、この照合部１８では、参照画像補正部１７において回転、伸縮、傾斜の変動を吸収した後に入力画像と参照画像の照合を行うこととしているので、平行移動量を算出する構成が可能になり、照合に必要なメモリサイズを抑制でき、処理時間も低減できる。
【００６２】
次に、減算処理部１９は、入力画像から参照画像を減算することにより、記入文字のみで構成された差分画像を作成する。ここでは、照合部１８が抽出した単位領域ごとの平行移動量に従って補正された参照画像を、単位領域ごとに入力画像から減算する。なお、照合は輪郭点情報を用いて行なうが、減算は元の画像から画素を取り除くことにより行なう。
【００６３】
ただし、入力画像の画素属性が「有効」の画素については、その位置に対応する参照画像上の画素属性が「有効」である場合には、入力画像の画素属性を「仮接触境界」へ変更し、入力画像の画素属性が「無効」の画素については、画素属性を変更しない。単なる画像間の減算を行うと、罫線に接触する文字の欠落を招くからである。
【００６４】
具体的には、図８（ａ）に示す入力画像と同図（ｂ）に示す参照画像とが得られた場合には、入力画像から参照画像を減算した差分画像は、同図（ｃ）に示すように、「有効」「仮接触境界」「無効」の３種の属性を持つ画素から形成される。
【００６５】
次に、接触有無判定部２０は、減算処理部１９が作成した差分画像を用いて記入文字と定型情報の接触の有無を調べる。
【００６６】
例えば、入力画像及び参照画像の一部が図９（ａ）及び（ｂ）に示すような画素構成となっている場合には、同図（ｃ）に示す差分画像が得られることになるため、この接触有無判定部２０では、画素属性が「仮接触境界」である画素に注目し、該注目画素の４近傍に「有効」属性の画素が存在する場合には、注目画素の属性を「接触境界」へ変更し、注目画素の４近傍に「有効」属性の画素が存在しない場合には、該注目画素の属性を「無効」へと変更する。
【００６７】
なお、「接触境界」に属性変更された画素が無い場合には、記入文字と定型情報との「接触なし」と判定し、属性変更された画素がある場合には、「接触有り」と判定する。
【００６８】
かかる接触判定処理を行うことにより、記入文字と参照画像の接触判定及び接触している位置（接触面）つまり「接触境界」の画素を容易に抽出できることになり、その結果、図８（ｄ）及び図９（ｄ）に示すような「有効」、「接触境界」、「無効」の３種の属性を持つ画素で形成された差分画像が得られる。
【００６９】
次に、文字切出部２１は、接触有無判定部２０が接触判定した「接触境界」を有する差分画像から輪郭抽出を行い、抽出した差分画像の輪郭点情報を用いて、その連結情報から２値画像上の連結した黒画素を包含する矩形（ブロック）を抽出する。
【００７０】
ここで、差分画像に「接触境界」の属性を有する画素が存在しない場合には、抽出結果をそのまま文字切り出し結果として文字認識部２３へ転送し、「接触境界」の属性を有する画素が存在する場合には、欠損補正処理部２２へ抽出結果を転送する。
【００７１】
欠損補正処理部２２は、「接触境界」の画素属性を有する差分画像上の接触面に対して、図１０に示すように、接触面の２つの端点の近傍輪郭点の座標列から２本の回帰直線を算出し、得られた２本の直線方程式を接触面の情報として記憶する。
【００７２】
そして、接触面の組合せが図１１に示す５種類の欠損パターンのいずれかのパターンに該当するか否かを照らし合わせ、図１２に示す計算式を用いて該組合せが接触面を形成するか否かを評価する。
【００７３】
具体的には、図１１に示す欠損パターン１は、文字をなす直線又は曲線の線分と罫線等の定型情報とが交差する場合に生ずる欠損を示し、欠損パターン２は、文字をなす線分が分岐する箇所で定型情報と交差する場合に生ずる欠損を示す。
【００７４】
また。欠損パターン３は、文字をなす円弧状の線分が定型情報と重複する場合に生ずる欠損を示し、欠損パターン４は、文字をなす線分の端部が定型情報と重複する場合に生ずる欠損を示し、欠損パターン５は、文字をなす線分が途切れることなくその一部が定型情報と重複する場合に生ずる欠損を示す。
【００７５】
そして、これらの欠損が判明した場合には、図１１及び図１３に点線で示すように接触面の端点同士を結合し、この結合線と２つの接触面に囲まれた内側を黒画素すなわち「有効」に変換する。
【００７６】
上記処理を行うことにより、修復された文字画像が得られ、例えば図８（ｄ）に示す差分画像は、同図（ｅ）に示すような、定型情報の文字と記入文字が接触した部分及び定型情報の枠線と記入文字が接触した部分が修復された状態となる。
【００７７】
そして、欠損補正処理部２２は、かかる欠損部の修復を終了したならば、文字切出部２１が修復後の差分画像から文字を切り出し、文字認識部２３が１文字ごとに文字認識処理し、後処理部２５が結果を整理して出力する。
【００７８】
上述してきたように、本実施の形態では、解析的な形（パラメータ）で表現できない多種多様な定型情報が、非ドロップアウトカラーで印刷され、帳票の画像入力時の変動（回転、伸縮、傾斜など）や定型情報の印刷ズレ（平行移動など）が生じた場合でも、入力画像から正確に定型情報の除去を行い、記入文字のみを抽出することができるため、高い精度の文字認識が実現できる。
【００７９】
また、定型情報が文字で構成され、その文字と記入文字が接触、重畳した場合でも、定型情報と記入文字との接触箇所が正確に抽出できるため、接触、重畳による欠損部分の修復も可能となり、文字認識の精度を更に向上させることができる。
【００８０】
なお、本実施の形態では、解析的な形（パラメータ）で表現できない多種多様な定型情報を例に挙げて説明したが、本発明はこれに限定されるものではなく、パラメータ表現できる場合であっても画像照合によって文字認識を行う場合には、同様に適用することができる。
【００８１】
また、文字認識装置に入力される帳票種類は、該装置の操作者がその都度、予め指定することとしたが、帳票種別を別途自動的に読取って判断してもよい。
【００８２】
【発明の効果】
以上詳細に説明したように、第１の発明は、帳票類に予め印刷された定型情報を含む記入領域の画像を参照画像として記憶し、認識対象となる帳票類の記入領域の入力画像を前記参照画像と対比して該記入領域に記入された記入文字を認識する文字認識装置において、画像入力系の光学系設定情報を記憶する記憶手段と、前記記憶手段に記憶した光学系設定情報と帳票の傾き角度に基づいて、入力画像と参照画像とのずれを補正すべく前記参照画像を回転、伸縮又は傾斜する第１の変形手段と、前記第１の変形手段により変形された前記変形画像と前記入力画像との平行移動ずれを補正する平行移動量を算出して、前記変形画像を該算出した平行移動量に基づき平行移動して補正参照画像に変形する第２の変形手段と、前記入力画像から前記補正参照画像の画素情報をを除いた差分画像を生成し、前記記入文字と定型情報との接触による欠落を補完して該記入文字を修復する修復手段と、前記修復手段が修復した差分画像から各記入文字を切り出して認識する認識手段とを具備し、前記第２の変形手段は、前記変形画像を２値化処理した２値画像から、連結した黒画素を包含する矩形領域であるブロックを抽出するブロック抽出手段と、前記ブロック抽出手段が抽出したブロックのうち、所定のしきい値よりも小さいブロックをそのまま単位領域とし、該所定のしきい値以上の大きさを有するブロックを所定数のブロックに分割して単位領域とする単位領域抽出手段と、前記単位領域抽出手段が抽出した単位領域ごとに入力画像の対応部分との前記平行移動量を算定し、算定した平行移動量に基づいて前記単位領域をそれぞれ平行移動する平行移動手段とを具備して構成したので、下記に示す効果が得られる。
【００８３】
１）解析的な形（パラメータ）で表現できない多種多様な定型情報が、非ドロップアウトカラーで印刷され、画像入力系の機差、帳票搬送時の変動、帳票上の定型情報に印刷ズレが生じた場合でも、処理に要するメモリを少なく、処理時間を低減しつつ、入力画像から正確に定型情報の除去を行い、高い精度の文字認識を行うことができる。
【００８４】
２）定型情報が文字で構成され、その文字と記入文字が接触、重畳した場合であっても、定型情報と記入文字との接触箇所を正確に抽出し、接触、重畳による欠損部分を修復することで、文字認識の精度を高めることができる。
【００８５】
３）画像入力系の光学系設定情報を記憶しておき、記憶した光学系設定情報と帳票の傾き角度に基づいて、参照画像を回転、伸縮又は傾斜し、その後変形された変形画像と入力画像との平行移動量を算出して、該変形画像を平行移動するよう構成したので、ハフ変換を行う場合と比べてメモリ容量を大幅に低減しつつ、文字認識を行うことができる。
【００８６】
４）変形画像を２値化処理した２値画像から、連結した黒画素を包含するブロックを抽出し、抽出したブロックのうち、所定のしきい値よりも小さいブロックをそのまま単位領域とし、該所定のしきい値以上の大きさを有するブロックを所定数のブロックに分割して単位領域をさらに抽出し、この単位領域ごとに入力画像の対応部分との平行移動量を算定し、算定した平行移動量に基づいて単位領域をそれぞれ平行移動するよう構成したので、搬送速度のばらつき等によって画像の伸び縮みが生じた場合であっても対応することができる。
【００８７】
また、第２の発明は、抽出したブロックのうち、所定のしきい値以上の大きさを有するブロックを分割して単位領域とする際、分割された領域が重複するようにブロックを組み合わせて単位領域とするよう構成したので、印刷文字だけでなく、罫線等の定型情報に幅広く適用することができる。
【００８８】
また、第３の発明は、入力画像を形成する画素のうち、記入文字と定型情報とが交差又は重複する画素に接触属性を付与し、該接触属性を有する複数の画素列が互いに所定の位置関係にある場合に、画素列相互間に所在する画素を黒画素にして有効属性を付与するよう構成したので、記入文字が定型情報と接触（交差、重複）する場合であっても、精度良く文字認識を行うことができる。
【図面の簡単な説明】
【図１】本実施の形態で用いる文字認識装置の構成を示す機能ブロック図。
【図２】本実施の形態で用いる帳票及び認識対象領域の一例を示す図。
【図３】図１に示す帳票位置検出部の検出処理を説明するための図。
【図４】図１に示す参照画像補正部が用いる変換式等を示す図。
【図５】図１に示す照合部における定型情報の平行移動量の算出手順を示すフローチャート。
【図６】図１に示す照合部が参照画像から抽出するブロックの一例を示す図。
【図７】ブロックの大きさが所定のしきい値以上である場合の単位領域生成手順を示す図。
【図８】差分画像の欠損部を修復するまでの流れの一例を示す図。
【図９】仮接触属性及び接触属性付与の一例を示す図。
【図１０】図１に示す欠損補正処理部が行う回帰直線の算出の説明に用いる図。
【図１１】図１に示す欠損補正処理部が補正対象とする接触面相互の組合せパターンを示す図。
【図１２】図１に示す欠損補正処理部が用いる計算式を示す図。
【図１３】図１に示す欠損補正処理部による補正前後の一例を示す図。
【符号の説明】
１１…多値画像入力部、１２…帳票位置検出部、
１３…書式情報記憶部、１４…画像切出部、１５…参照画像記憶部、
１６…機差情報記憶部、１７…参照画像補正部、１８…照合部、
１９…減算処理部、２０…接触有無判定部、２１…文字切出部、
２２…欠損補正処理部、２３…文字認識部、２４…辞書格納部、
２５…後処理部、
３０…帳票、３１…払込通知票、３１ａ…請求金額欄、
３１ｂ…支払期限欄、３２…収入金額領収書控

Claims

帳票類に予め印刷された定型情報を含む記入領域の画像を参照画像として記憶し、認識対象となる帳票類の記入領域の入力画像を前記参照画像と対比して該記入領域に記入された記入文字を認識する文字認識装置において、
画像入力系の光学系設定情報を記憶する記憶手段と、
前記記憶手段に記憶した光学系設定情報と帳票の傾き角度に基づいて、入力画像と参照画像とのずれを補正すべく前記参照画像を回転、伸縮又は傾斜する第１の変形手段と、
前記第１の変形手段により変形された前記変形画像と前記入力画像との平行移動ずれを補正する平行移動量を算出して、前記変形画像を該算出した平行移動量に基づき平行移動して補正参照画像に変形する第２の変形手段と、
前記入力画像から前記補正参照画像の画素情報を除いた差分画像を生成し、前記記入文字と定型情報との接触による欠落を補完して該記入文字を修復する修復手段と、
前記修復手段が修復した差分画像から各記入文字を切り出して認識する認識手段と
を具備し、
前記第２の変形手段は、
前記変形画像を２値化処理した２値画像から、連結した黒画素を包含する矩形領域であるブロックを抽出するブロック抽出手段と、
前記ブロック抽出手段が抽出したブロックのうち、所定のしきい値よりも小さいブロックをそのまま単位領域とし、該所定のしきい値以上の大きさを有するブロックを所定数のブロックに分割して単位領域とする単位領域抽出手段と、
前記単位領域抽出手段が抽出した単位領域ごとに入力画像の対応部分との前記平行移動量を算定し、算定した平行移動量に基づいて前記単位領域をそれぞれ平行移動する平行移動手段と
を具備することを特徴とする文字認識装置。
前記単位領域抽出手段は、
前記ブロック抽出手段が抽出したブロックのうち、所定のしきい値以上の大きさを有するブロックを分割して単位領域とする際、分割された領域が重複するようにブロックを組み合わせて単位領域とする
ことを特徴とする請求項１記載の文字認識装置。
前記修復手段は、
前記入力画像を形成する画素のうち、前記記入文字と定型情報とが交差又は重複する画素に接触属性を付与し、該接触属性を有する複数の画素列が互いに所定の位置関係にある場合に、画素列相互間に所在する画素を黒画素にして有効属性を付与する
ことを特徴とする請求項１記載の文字認識装置。