JP3985928B2

JP3985928B2 - 画像処理方法、画像処理装置、文字認識装置及び記憶媒体

Info

Publication number: JP3985928B2
Application number: JP2000035091A
Authority: JP
Inventors: 史裕長谷川
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2000-02-14
Filing date: 2000-02-14
Publication date: 2007-10-03
Anticipated expiration: 2020-02-14
Also published as: JP2001222683A

Description

【０００１】
【発明の属する技術分野】
本発明は、一般的には画像処理の分野に係り、特に、帳票の濃淡画像から文字認識のための２値画像を生成する目的に好適な２値化技術に関する。
【０００２】
【従来の技術】
一般に光学的文字認識装置においては、帳票の濃淡画像を２値化して得られた２値画像に対し文字認識を行うが、２値画像の画質によって認識精度が大きく左右される。そこで、濃淡画像の画素値（濃度）分布に応じて適応的に２値化閾値を決定するような技術が考案されている。また、特開平１０−１４３６０８号公報に開示されているように、ある２値化閾値を用いて濃淡画像を２値化し、得られた２値画像の平均線幅が既定範囲外ならば２値化閾値を変更して２値化をやり直すことによって、文字認識に適した２値画像を得ようとする技術なども考案されている。
【０００３】
【発明が解決しようとする課題】
帳票の多くは、文字記入領域に白を背景として黒又は紺などの文字が記入されるが、文字記入領域に白以外の背景色が用いられた帳票や、文字記入領域毎に異なった背景色が用いられた帳票も少なくない。後者の帳票でも、背景色として明度の高い色が用いられるため、人間にとっては記入された文字が見づらいということはない。しかし、そのような背景色は、比較的明度の低い色の非常に細かなドットを印刷することによって表現されるため、帳票の濃淡画像を２値化して得られる２値画像中に、数ドット程度の細かなノイズ（黒画素）が多数現れることがある。このようなノイズの多い２値画像に対し文字認識を行うと認識率が悪化しやすく、特に、文字が記入されていない文字記入領域では、文字が存在しないにも拘わらずノイズが文字と誤認される可能性がある。
【０００４】
特開平１０−１４３６０８号公報に開示されている技術の場合、そのような細かいノイズがあると平均線幅を精度よく検出できなくなるため、特に、文字が全く記入されていない領域では、そのようなノイズだけを手がかりに２値化閾値が決定されることになるため、適切な２値化閾値を設定できず、その結果としてノイズの多い２値画像が生成されてしまい認識率の悪化を招くことがある。
【０００５】
よって、本発明の目的は、文字記入領域に白以外の背景色が用いられた帳票の濃淡画像からノイズの少ない２値画像を生成可能な画像処理方法及び装置を提供することにある。
【０００６】
また、網が掛けられた文字記入領域、特に部分的に網が掛けられた文字記入領域では、網を構成するドットがノイズとして２値画像に残りやすく、このようなノイズも認識率を悪化させる原因となっている。
【０００７】
よって、本発明のもう１つの目的は、文字記入領域に網が掛けられている帳票などの濃淡画像から、ノイズの少ない２値画像を生成可能な画像処理方法及び装置を提供することにある。
【０００８】
本発明のもう１つの目的は、文字記入領域毎に背景色が異なる帳票や、文字記入領域に部分的又は全体的に網が掛けられた帳票に対しても高精度な文字認識が可能な文字認識装置を提供することにある。
【０００９】
【課題を解決するための手段】
本発明にあっては、前記目的を達成するため、処理対象画像中の処理対象領域について、画素値分布により該処理対象領域の２値化閾値を算出し、該算出された２値化閾値と、処理対象領域内の各画素値との差の２乗平均値を計算する。そして、計算された２乗平均値が所定の閾値以下の場合、前記処理対象領域には文字がないと判断し、該処理対象領域を白画素で埋める。一方、計算された２乗平均値が所定の閾値より大きい場合、処理対象領域内を該算出された２値化閾値により２値化した場合における黒ランの総数に対する、所定の長さより短い黒ランの総数の割合（評価値）を計算し、該評価値を既定値と比較することにより２値化閾値を再設定する。詳しくは、評価値が既定値以上であると、２値化閾値を所定量下げて評価値を再計算し、該評価値が既定値を下回った時の２値化閾値を設定する。そして、該再設定された２値化閾値により当該処理対象領域を２値化し、２値画像を生成する。
【００１２】
以上の本発明の特徴及びその他の特徴については、実施の形態に関連して以下に具体的に説明する。
【００１３】
【発明の実施の形態】
図１に、本発明の実施の一形態である文字認識装置のブロック構成の一例を示す。図１に見られるように、この文字認識装置は、文字認識の対象となる帳票の濃淡画像を入力する濃淡画像入力部１００、入力された濃淡画像を蓄積するための入力画像記憶部１１０、入力された濃淡画像の文字記入領域を特定する文字記入領域特定部１２０、各文字記入領域毎に２値化閾値を適応的に決定する２値化閾値決定部１３０、各文字記入力域毎に文字の有無を判定する文字有無判定部１４０、文字が記入されている各文字記入領域に対する２値化閾値を最適化する２値化閾値最適化部１５０、各文字記入領域の２値画像を生成する２値画像生成部１６０、生成された２値画像を蓄積するための２値画像蓄積部１７０、各文字記入領域の２値画像を用いて文字認識を行う文字認識部１８０、文字認識装置全体の動作や装置内の前記各部の動作の制御を行う制御部１９０から構成される。なお、文字認識部１８０と、それ以外の部分（２値画像生成のための画像処理装置）とを別装置として分離し、それらの間をバスやネットワークを介して接続する構成も可能である。文字有無判定部１４０は、画素値差２乗平均計算部１４１と判定部１４２からなり、２値化閾値最適化部１５０は黒ラン計数部１５１、評価値計算部１５２、判定部１５３及び２値化閾値再設定部１５４からなる。
【００１４】
図２は、この文字認識装置における２値画像生成のための画像処理に関連した動作を主として示すフローチャートである。
【００１５】
なお、図１に示す文字認識装置（又は画像処理装置の部分）は必ずしも専用のハードウェアによって実現される必要はなく、例えば図３に示すようなＣＰＵ２０１、メモリ２０２、ハードディスク２０３、入力装置（イメージスキャナ、キーボード、マウスなど）２０４、各種記憶媒体（磁気ディスク、光ディスク、光磁気ディスク、メモリカードなど）２０７の読み書きのための媒体ドライブ２０５、ディスプレイ２０６、外部の機器やネットワークとの通信のための通信装置（モデム、ネットワークアダプタなど）２１０などをバス２１０で接続した一般的な構成のコンピュータを利用し、ソフトウェアにより実現することもできる。この場合、図１の各部の機能（又は文字認識部１８０を除く部分の機能）をコンピュータ上で実現させるためのプログラム、換言すれば、図２に示す処理の全体（又は文字認識処理を除く処理）をコンピュータ上で実行させるためのプログラムは、例えば、それが記録された記憶媒体２０７から媒体ドライブ２０５によってメモリ２０２に読み込まれたり、外部装置より通信装置２０８によってメモリ２０２に読み込まれたり、あるいはハードディスク２０３からメモリ２０２に読み込まれ、ＣＰＵ２０１により実行される。このプログラムを、それを固定記憶させた半導体ＲＯＭとして実装してもよい。このようなプログラムが記録された各種記憶媒体２０７や半導体ＲＯＭなどの記憶媒体も本発明に包含されるものである。また、帳票の濃淡画像は、例えば入力装置２０４に含まれるスキャナによって帳票から読み込まれたり、記憶媒体２０７から読み込まれたり、あるいは通信装置２０８によって外部機器から入力される。
【００１６】
次に、図１に示したブロック構成に基づいて、この文字認識装置の動作を順を追って説明する。
【００１７】
まず、濃淡画像入力部１００によって、認識しようとする帳票の濃淡画像が入力され、入力画像蓄積部１１０に蓄積される（図２，ステップＳ１）。
【００１８】
次に、文字記入領域特定部１２０において、入力画像蓄積部１１０に蓄積されている濃淡画像（以下、入力帳票画像）の文字記入領域が特定される（ステップＳ２）。特定された各文字記入領域の位置情報などは、帳票の処理が終了するまで制御部１９０の管理下で保存されるが、その保存のための記憶手段は図２中には示されていない。この文字記入領域の特定は様々な方法で行うことができるが、例えば、特開平１０−９１７８３号公報に開示されているように、認識しようとしている帳票と同一フォーマットの未記入の帳票画像（参照画像）と、入力帳票画像との位置合わせを行い、参照画像上の位置座標で定義された文字記入領域の位置座標値を用いて入力帳票画像上の各文字記入領域の位置を推定する方法が用いられる。
【００１９】
以下、特定された個々の文字記入領域毎の処理が行われる。制御部１９０によって、１つの文字記入領域が処理対象領域として選ばれる（ステップＳ３）。
【００２０】
２値化閾値決定部１３０により、処理対象領域に対する２値化閾値が、入力帳票画像の処理対象領域における画素値（濃度）分布に応じ適応的に決定される（ステップＳ４）。ここでは、２値化閾値の決定方法として判別分析法が用いられる。判別分析法によれば、処理対象領域内の画素値ヒストグラムにおいて、画素値の集合を、ある値ｔで２つのクラスに分割したときに、クラス内分散が最小、クラス間分散が最大となるような値ｔを処理対象領域に対する２値化閾値とする。より具体的には、値ｔ未満の画素値のクラス（１）内の分散をｖ１、画素値平均値をｅ１、画素数をｎ１、値ｔ以上の画素値のクラス（２）内の分散をｖ２、画素値平均値をｅ２、画素数をｎ２として、クラス内分散Ｖｃ、クラス間分散Ｖｂを
Ｖｃ（ｔ）＝ｎ１ｖ１＋ｎ２ｖ２
Ｖｂ（ｔ）＝ｎ１ｎ２（ｅ１−ｅ２）＾２
（ここで、Ａ＾２はＡの２乗を意味する）
と定義し、
Ｖｂ（ｔ）／Ｖｃ（ｔ）の値が最大となる値ｔを２値化閾値とする。
【００２１】
このような方法で決定された２値化閾値を用いれば、白以外の背景色が用いられた領域でも、背景を白、文字を黒に適正に２値化することができる。しかしながら、領域内に文字が存在しない場合、２値化閾値決定のための画素値のクラス分割の合理性は保証されず、従来技術に関連して前述したような白黒が入り交じった２値画像となる可能性がある。
【００２２】
このような不都合を回避するため、文字有無判定部１４０において、処理対象領域内の文字の有無が判定される（ステップＳ５，Ｓ６）。すなわち、ステップＳ５で、画素値差２乗平均計算部１４１によって、処理対象領域内の画素値とステップＳ４で決定された２値化閾値との差の２乗平均Ａｖが計算される。この２乗平均Ａｖは次式で表すことができる。式中、ＰｉとＮは処理対象領域内の各画素値と画素数、ｔはステップＳ４で決定された２値化閾値である。
【００２３】
【数１】

この２乗平均Ａｖは、文字が存在する領域では大きな値をとり、文字が存在しない領域では小さな値をとる傾向が認められる。網が掛けられた領域では、Ａｖの値は一様濃度の領域に比べ増加するが、文字が存在する領域より十分小さな値をとる。そこで、ステップＳ６で、判定部１４２において、Ａｖの値がある規定値以下ならば処理対象領域内に文字が存在しないと判定される。
【００２４】
文字が存在しないと判定された処理対象領域に対しては、２値画像生成部１６０により全て白画素の２値画像が生成される（ステップＳ７）。換言すれば、画素値に関係なく白画素とするような十分に低い２値化閾値を用いた２値化処理が行われる。得られた２値画像は２値画像蓄積部１７０に保存される。
【００２５】
Ａｖ値が規定値を超えた場合は文字が存在する処理対象領域である可能性が高い。このような処理対象領域の一部に網が掛かっている場合に、ステップＳ４で決定された２値化閾値を用いて２値化すると、網を構成するドットがノイズとして再現されてしまうことがある。また、領域全体に網が掛かっている場合でも、網掛けの状態によっては同様のノイズが残る恐れがある。このような網掛けによる不都合を避けるため、２値化閾値最適化部１５０において次のような手順によって２値化閾値の最適化が行われる（ステップＳ８〜Ｓ１１）。
【００２６】
まず、黒ラン計数部１５１において、処理対象領域内をステップＳ４で決定された２値化閾値で２値化した場合における黒ランの総数と、ある所定の長さより短い黒ランの個数を計数する（ステップＳ８）。次に、評価値計算部１５２において、計数された黒ランの総数に対する短い黒ランの個数の割合を算出する（ステップＳ９）。網を構成するドットがノイズとして２値画像中に残る場合、短い黒ランの割合が非常に高くなるので、この割合を２値画像の画質の評価値として算出したわけである。そして、判定部１５３において、ステップＳ９で算出された評価値をある既定値と比較し、評価値が既定値以上ならば２値化閾値が不適切であると判定し、評価値が既定値より小さいならば現在の２値化閾値が適切であると判定する（ステップＳ１０）。
【００２７】
現在の２値化閾値が不適切であると判定された場合、つまり、網を構成するドットが黒画素として残ってしまう場合には、そのような黒画素が発生しにくくなるように、２値化閾値再設定部１５４において２値化閾値を現在の２値化閾値より所定値だけ低い値に設定し直す（ステップＳ１１）。そして、再設定された２値化閾値を用いて２値化した場合における黒ランの総数と短い黒ランの個数を黒ラン計数部１５１で再度計数し（ステップＳ８）、その計数結果を用いて評価値計算部１５２で評価値を再度算出し（ステップＳ９）、この評価値を用いて２値化閾値の適否の判定を判定部１５３で行う（ステップＳ１０）。この判定でも２値化閾値が不適切と判定された場合には、２値化閾値再設定部１５４で２値化閾値をさらに所定値だけ低い値に設定し直し（ステップＳ１１）、再びその評価を繰り返す。このようにして、評価値が既定値を越えず、かつ、それ近い２値化閾値を設定する。
【００２８】
評価値と比較される既定値を適切に選んでおくならば、以上のような手順によって設定された２値化閾値を用いて２値化を行えば、文字が記入された領域に対し、その背景が白であろうと白以外であろうと、また、網が掛けられていようといまいと、ノイズの少ない２値画像を生成することができる。
【００２９】
なお、予め定めた値を２値化閾値の初期値として用いて同様の手順により最適な２値化閾値を設定することもできるが、上に述べたように領域内の画素値分布に基づいて適応的に決定した２値化閾値を初期値として用いれば、領域に網が掛けられていなければ、その初期値を直ちに最適な２値化閾値として設定することができ、また、網掛けがない場合であっても、より少ない処理回数で効率よく最適な２値化閾値を設定可能である。また、黒ラン計数部１４１において、水平方向、垂直方向のいずれかの方向の黒ランだけを計数対象としてもよいが、水平方向の黒ランと垂直方向の黒ランの両方を対象に計数すれば、より正確な画質評価が可能である。
【００３０】
判定部１５３で２値化閾値が適切であると判定されると、つまり、最適な２値化閾値が設定されると、２値化画像生成部１６０において、その２値化閾値を用いて処理対象領域内の濃淡画像の２値化が行われ、２値画像が生成される（ステップＳ１２）。生成された２値画像は２値画像蓄積部１７０に蓄積される。
【００３１】
１つの文字記入領域に対する処理が終わると、制御部１９０は入力帳票画像中の全ての文字記入領域に対する処理が完了したか調べ（ステップＳ１３）、未処理の文字記入領域が残っているならば、その１つの文字記入領域を処理対象領域として選択し（ステップＳ３）、それに対する処理を開始させる。
【００３２】
全ての文字記入領域の２値画像が生成されると、制御部１９０は、２値画像蓄積部１７０に蓄積された２値画像を文字認識部１８０へ渡し、各文字記入領域に対する文字認識を行わせる（ステップＳ１８０）。前述のように、文字が記入されていない文字記入領域では、その２値画像は全て白画素とされているため、ノイズを文字と誤認識するような問題は起こらない。白以外の背景に文字が記入された文字記入領域や、部分的又は全体的に網が掛けられた文字記入領域においても、２値画像中にノイズが生じにくいため精度の良い文字認識が可能である。
【００３３】
なお、文字認識部１８０は、例えば、２値画像から個々の文字画像を切り出し、各文字画像から抽出した特徴量と認識辞書に登録された特徴量との距離計算を行うことによって文字を同定するような公知の構成のものでよいので、これ以上の説明は省略する。
【００３４】
【発明の効果】
本発明によれば、次のような効果が得られる。
（１）文字が記入されていない領域の２値画像は全て白画素とされるため、その領域の背景色が白以外の場合でも、背景のノイズが２値画像に残らず、したがって、そのような領域において背景のノイズを文字と誤認識するような問題を回避できる。
（２）領域内の画素値分布に基づいて適応的に決定した２値化閾値と画素値との差の２乗平均を用いることにより、背景が白以外の領域でも網が掛けられている領域でも、領域内の文字の有無を確実に判定可能である。
（３）文字が記入されていると判断される領域に対しては、その背景が白であろうと白以外であろうと、また、網が掛けられていようといまいと、ノイズの少ない２値画像を生成することができ、したがって精度のよい文字認識が可能である。
【図面の簡単な説明】
【図１】本発明の実施の一形態である文字認識装置のブロック構成の一例を示すブロック図である。
【図２】文字認識装置の動作を説明するためのフローチャートである。
【図３】本発明をソフトウェアにより実施するために利用可能なコンピュータの一例を示すブロック図である。
【符号の説明】
１００濃淡画像入力部
１１０入力画像蓄積部
１２０文字記入領域特定部
１３０２値化閾値計算部
１４０文字有無判定部
１５０２値化閾値最適化部
１６０２値画像生成部
１７０２値画像蓄積部
１８０文字認識部
１９０制御部

Claims

画像処理装置おける画像処理方法であって、
処理対象画像を入力するステップと、
前記処理対象画像中の処理対象領域について、画素値分布により該処理対象領域の２値化閾値を算出するステップと、
前記算出された２値化閾値と、前記処理対象領域内の各画素値との差の２乗平均値を計算するステップと、
前記計算された前記２乗平均値が所定の閾値以下の場合、前記処理対象領域には文字がないと判断し、該処理対象領域を白画素で埋めるステップと、
前記計算された前記２乗平均値が所定の閾値より大きい場合、前記処理対象領域内を前記算出された２値化閾値により２値化した場合における黒ランの総数に対する、所定の長さより短い黒ランの総数の割合（以下、評価値）を計算し、評価値を既定値と比較して、前記評価値が前記既定値以上であると、前記２値化閾値を所定量下げて前記評価値を再計算し、該評価値が前記既定値を下回った時の２値化閾値を再設定するステップと、
前記再設定された２値化閾値により前記処理対象領域を２値化し、２値画像を生成するステップと、
を有することを特徴とする画像処理方法。
前記処理対象領域は、前記処理対象画像における文字が記入された領域であることを特徴とする請求項１に記載の画像処理方法。
請求項１又は２記載の画像処理方法により生成された２値画像に対し文字認識を行うことを特徴とする文字認識方法。
処理対象画像を入力する画像入力手段と、
前記処理対象画像中の処理対象領域について、画素値分布により該処理対象領域の２値化閾値を算出する手段と、
前記算出された前記２値化閾値と、前記処理対象領域内の各画素値との差の２乗平均値を計算する手段と、
前記計算された２乗平均値が所定の閾値以下の場合、前記処理対象領域には文字がないと判断し、該処理対象領域を白画素で埋める手段と、
前記計算された２乗平均値が所定の閾値より大きい場合、前記処理対象領域内を前記算出された２値化閾値により２値化した場合における黒ランの総数に対する、所定の長さより短い黒ランの総数の割合（以下、評価値）を計算し、評価値を既定値とを比較して、前記評価値が前記既定値以上であると、前記２値化閾値を所定量下げて前記評価値を再計算し、該評価値が前記既定値を下回った時の２値化閾値を再設定する手段と、
前記再設定された２値化閾値により前記処理対象領域を２値化し、２値画像を生成する手段と、
を有することを特徴とする画像処理装置。
前記処理対象領域は、前記処理対象画像における文字が記入された領域であることを特徴とする請求項４に記載の画像処理装置。
請求項４又は５に記載の画像処理装置により生成された２値画像に対し文字認識を行う文字認識手段を有することを特徴とする文字認識装置。
コンピュータを、請求項４ないし６に記載した画像処理装置もしくは文字認識装置として機能させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。