JP4409713B2 - 文書画像認識装置及び記録媒体 - Google Patents
文書画像認識装置及び記録媒体 Download PDFInfo
- Publication number
- JP4409713B2 JP4409713B2 JP2000102968A JP2000102968A JP4409713B2 JP 4409713 B2 JP4409713 B2 JP 4409713B2 JP 2000102968 A JP2000102968 A JP 2000102968A JP 2000102968 A JP2000102968 A JP 2000102968A JP 4409713 B2 JP4409713 B2 JP 4409713B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- binarization
- character
- character image
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Character Input (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、スキャナやデジタルカメラ等で取り込んだ多値画像から、文字を認識する文書画像認識装置及び記録媒体に関する。
【０００２】
【従来の技術】
画像の特徴を解析するとき、多値画像から対象図形と背景を分離した２値画像を作成して取り扱うことが多い。画像の２値化は、多値画像の階調値がしきい値以下のときは黒とし、しきい値を超えるときは白とするしきい値処理によって行われる。通常、２値画像の黒の部分は対象図形を、白の部分は背景を表している。
【０００３】
しきい値を決める手法には、与えられた多値画像の階調ヒストグラムを求めた結果、２つのピークをもつ分布になる場合、この２つの山の間の谷をしきい値とするモード法や、階調ヒストグラムにおいて、階調値の集合をしきい値ｔで２つのクラス（ｔ以上とｔ未満）に分割したと仮定したとき、２つのクラス間の分離（分散値）が最も良くなるようにパラメータ（しきい値ｔ）を決める（文献：電子情報通信学会論文誌８０／４Ｖｏｌ．Ｊ６３−Ｄ Ｎｏ．４，ｐ．３４９−３５６参照）、判別分析における判別基準を用いた２値化処理などがある。
【０００４】
文書画像認識装置では、このような２値化処理によって作成された２値画像を認識用画像として扱い、文字の抽出（コード化）が行われていた。
【０００５】
【発明が解決しようとする課題】
前記従来のものには、次のような課題があった。
【０００６】
従来の２値化処理では、抽出対象である文字画像の背景に色が付いている場合、読み取られた文字画像と背景色の濃度が近くなるため、適切なしきい値を求めることが困難となり、作成された２値画像において背景領域の一部が文字画像と共に黒画素として表されることがあった。このような２値画像を用いて文字認識を行うと認識精度が低くなるといった問題が発生していた。また、このような２値画像は、見やすさといった点から、表示用の画像としては適さないといった問題があった。
【０００７】
本発明は、このような従来の課題を解決し、入力された多値画像から文字画像とそれ以外の性質の異なる画像領域を適切に、かつ高速に２値化することを目的とする。
【０００８】
【課題を解決するための手段】
図１は本発明の原理説明図である。図１中、１は入力多値画像、１０ａは画像２値化手段、１４ａは画像認識手段である。
【０００９】
本発明は前記従来の課題を解決するため次のように構成した。
【００１０】
（１）：入力多値画像１から２値画像を作成する画像２値化手段１０ａと、該作成した２値画像の認識を行う画像認識手段１４ａとを備えた文書画像認識装置において、前記画像２値化手段１０ａは、前記入力多値画像１を文字画像領域と背景画像領域とに分離し、該分離した各文字画像領域に対して２値化処理を行い、該２値化処理時の２値化しきい値から前記背景画像領域の２値化しきい値を決定して前記背景画像領域の２値化処理を行う。
【００１１】
（２）：前記（１）の文書画像認識装置において、前記画像２値化手段１０ａは、前記入力多値画像１に含まれる低階調の代表値を選んで２値化処理を行い、該作成された２値画像から文字画像を多く含む文字画像領域とそれ以外の背景画像領域とに分離する。
【００１２】
（３）：前記（１）の文書画像認識装置において、前記画像２値化手段１０ａは、前記分離した文字画像領域内が全て文字画像の単一階調である場合、該単一階調の文字画像領域に背景画像が含まれるように該文字画像領域を変更して、２値化処理を行う。
【００１３】
（４）：前記（１）の文書画像認識装置において、前記画像２値化手段１０ａは、前記分離した各文字画像領域に対して行った２値化処理時の各２値化しきい値を求め、前記２値化処理された領域を含むように拡大した矩形内の領域を前記求めた２値化しきい値で２値化処理する。
【００１４】
（５）：入力多値画像を文字画像領域と背景画像領域とに分離し、該分離した各文字画像領域に対して２値化処理を行い、該２値化処理時の２値化しきい値から前記背景画像領域の２値化しきい値を決定して前記背景画像領域の２値化処理を行う画像２値化手段１０ａと、該２値化処理で作成した２値画像の認識を行う画像認識手段１４ａと、してコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体とする。
【００１５】
（作用）
前記構成に基づく作用を説明する。
【００１６】
画像２値化手段１０ａで入力多値画像１から２値画像を作成し、画像認識手段１４ａで作成した２値画像の認識を行う文書画像認識装置において、前記画像２値化手段１０ａで、前記入力多値画像１を文字画像領域と背景画像領域とに分離し、該分離した各文字画像領域に対して２値化処理を行い、該２値化処理時の２値化しきい値から前記背景画像領域の２値化しきい値を決定して前記背景画像領域の２値化処理を行う。このため、文字画像の背景に色が付いている画像であっても高精度に２値化でき、かつ一定しきい値で２値化処理を行うため高速に２値化することができる。
【００１７】
また、前記画像２値化手段１０ａで、前記入力多値画像１に含まれる低階調の代表値を選んで２値化処理を行い、該作成された２値画像から文字画像を多く含む文字画像領域とそれ以外の背景画像領域とに分離する。このため、低階調である黒い部分のみ２値化して、容易に文字画像領域を分離することができる。
【００１８】
さらに、前記画像２値化手段１０ａで、前記分離した文字画像領域内が全て文字画像の単一階調である場合、該単一階調の文字画像領域に背景画像が含まれるように該文字画像領域を変更して、２値化処理を行う。このため、文字画像領域内が全て文字画像の場合でも、文字画像が細く出力されることを防止し、適切な２値化を行うことができる。
【００１９】
また、前記画像２値化手段１０ａで、前記分離した各文字画像領域に対して行った２値化処理時の各２値化しきい値を求め、前記２値化処理された領域を含むように拡大した矩形内の領域を前記求めた２値化しきい値で２値化処理する。このため、文字画像領域として、抽出されなかった文字画像部分を適切に２値化処理することができる。
【００２０】
さらに、入力多値画像を文字画像領域と背景画像領域とに分離し、該分離した各文字画像領域に対して２値化処理を行い、該２値化処理時の２値化しきい値から前記背景画像領域の２値化しきい値を決定して前記背景画像領域の２値化処理を行う画像２値化手段１０ａと、該２値化処理で作成した２値画像の認識を行う画像認識手段１４ａと、してコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体とする。このため、この記録媒体のプログラムをコンピュータにインストールすることで、文字画像の背景に色が付いている画像であっても高精度に２値化でき、かつ高速に２値化することができる文書画像認識装置を容易に提供することができる。
【００２１】
【発明の実施の形態】
本発明の文書画像認識装置は、入力多値画像から文字画像を多く含む画像領域とそれ以外の画像領域に分離し、該分離された２種類の画像領域に対して異なる画像処理を行い、高速に２値画像を作成する２値化処理手段を備えるものである。
【００２２】
また、入力多値画像の文字画像に含まれる低階調（黒）の代表値を選んで２値化処理を行い、該作成された２値画像から文字画像に含まれる画素を抽出し、文字画像を多く含む画像領域とそれ以外の背景画像領域を分離する２値画像領域分離手段を備えるものである。
【００２３】
さらに、前記２値画像領域分離手段により求められた文字画像を多く含む画像領域に対して個々に判別分析における判別基準を用いた２値化処理を行い、２値画像を作成する文字画像領域２値化手段と、該文字画像領域２値化手段で求められた文字画像領域の分散値から、その文字画像領域内が単一階調であることを判断する単一階調画像領域判別手段と、該単一階調画像領域判別手段により単一階調と判断された文字画像領域に、背景画像が含まれるように文字画像領域を膨張し、再度判別分析における判別基準を用いた２値化処理を行う単一階調画像領域２値化手段とを備えるものである。
【００２４】
また、前記文字画像領域２値化手段により求められた個々の文字画像領域のしきい値から最適なしきい値を求め、前記文字画像領域２値化手段により２値化処理された領域を含むｎ×ｍ矩形内の背景画像領域を２値化することで、文字画像領域に含まれなかった文字画像部分を２値化処理する背景画像領域２値化手段を備えるものである。
【００２５】
このような手段を備えることにより、入力された多値画像から文字画像とそれ以外の性質の異なる画像領域とに分離された２値画像が作成されるため、従来技術で問題になっていた背景色のある文字画像の適切な２値化を行うことができる。
【００２６】
以下、図面を参照して本発明の実施の形態を説明する。
【００２７】
（１）：文書画像認識装置の構成の説明
図２は本発明の実施の形態における文書画像認識装置の構成の説明図である。図２において、文書画像認識装置には、多値画像２値化部１０と２値画像認識部１４が設けてある。また、多値画像２値化部１０には、文字画像領域検出部１１、文字画像領域２値化部１２、背景画像領域２値化部１３が設けてある。
【００２８】
この文書画像認識装置は、多値画像（グレースケールイメージ）を入力とし、多値画像２値化部１０で各画素を文字画像領域と背景画像領域のいずれかを意味する値を持つ２値画像に変換するものである。
【００２９】
文字画像領域検出部１１は、グレースケールイメージ全体に代表的なしきい値で２値化処理を実行し、文字画像を多く含む領域を決定するものである。文字画像領域２値化部１２は、文字画像を多く含む領域について個々に２値化処理を実行するものである。背景画像領域２値化部１３は、文字画像領域のしきい値を基に背景画像領域の２値化処理を実行し、最終的な２値画像を出力するものである。２値画像認識部１４は、多値画像２値化部１０で作成した２値画像から文字を認識し、認識結果を出力するものである。
【００３０】
（２）：多値画像２値化部の文字画像領域検出部の説明
図３は文字画像領域検出部の処理の説明図である。図３において、文字画像領域検出部１１の処理は、先ず一定しきい値２値化処理Ｓ１を行い、次にラベリング処理Ｓ２を行い、最後に有効セグメント領域抽出処理（文字画像領域検出）Ｓ３を行うものである（２値画像領域分離手段）。
【００３１】
一定しきい値２値化処理Ｓ１では、入力グレースケールイメージに対して、一定しきい値で２値化を行う。このときのしきい値は、文字画像の中でもより黒い部分のみが２値化される階調を選ぶ。
【００３２】
ラベリング処理Ｓ２では、前記一定しきい値２値化処理Ｓ１で得られた２値画像の連結成分の集合をラベリング処理により抽出する。
【００３３】
有効セグメント領域抽出処理（文字画像領域検出）Ｓ３では、文字画像に適さないサイズの連結部分を排除する（サイズにより罫線や１ドットのゴミ等を除く）ことで、有効なセグメントを選び、その選んだセグメントの外接矩形をとり、文字画像領域とする。
【００３４】
（具体的イメージによる説明）
図４は２値画像領域分離手段のイメージによる説明図であり、図４（ａ）は入力グレースケールイメージである。図４（ａ）において、文字画像は、薄い黒い部分（灰色部分）ａ１、ｂ１とより黒い部分ａ２、ｂ２とから成り、背景は白い部分である。
【００３５】
図４（ｂ）は一定しきい値２値化処理Ｓ１の処理結果である。図４（ｂ）において、一定しきい値２値化処理Ｓ１の処理で、一定しきい値で２値化処理して文字画像中のより黒い部分ａ２、ｂ２のみを２値化し、ラベリング処理Ｓ２、文字画像領域検出Ｓ３を行って、より黒い部分ａ２、ｂ２の外接矩形（点線で示してある）を抽出する。
【００３６】
図４（ｃ）は背景領域と文字画像領域に分離したグレースケールイメージの説明である。図４（ｃ）において、図４（ｂ）の外接矩形座標をグレースケールイメージ（図４（ａ）参照））に適応して、背景領域を含んだ文字画像領域（点線内）と、他の背景領域（点線外）とに分離する。
【００３７】
このように外接矩形を取るのは、文字画像中のより黒い部分以外の文字画像領域と背景画像領域を部分２値化領域に含ませるためである。本実施の形態の２値化処理で使用している、判別分析における判別基準を用いた２値化処理では、抽出対象階調画像（文字画像）と非抽出対象画像（背景画像）を含む領域にすることで、最適な２値化が行われるからである。
【００３８】
また、文字画像領域を決める従来の方法として、文字画像全体のエッジを抽出する（画素間の階調の変化量を計算する）ようなソーベルフィルタ処理が用いられることがある。これに対し、本発明では、一定しきい値２値化処理を用いることで計算量を減らし、より高速な文字画像領域の検出を行っている。
【００３９】
（３）：多値画像２値化部の文字画像領域２値化部の説明
文字画像領域２値化部１２では、文字画像領域検出部１１で決定した文字画像を多く含む領域（外接矩形の文字画像領域）について、領域毎に判別分析における判別基準を用いた２値化処理を行うものである。
【００４０】
図５は文字画像領域２値化部の説明図であり、図５（ａ）は文字画像領域２値化部の処理の説明である。図５（ａ）において、文字画像領域２値化部１２の処理は、先ず文字画像領域の２値化しきい値・分散値算出処理Ｓ１１を行い、次に文字画像領域に背景が含まれているかを領域内分散値により判定Ｓ１２を行う。この判定で、文字画像領域に背景が含まれている場合は文字画像領域内の２値化処理Ｓ１３を行い、もし背景が含まれていない場合は文字画像領域膨張処理Ｓ１４を行い再度文字画像領域の２値化しきい値・分散値算出処理Ｓ１１に戻る。
【００４１】
・この文字画像領域の２値化しきい値・分散値算出処理Ｓ１１では、先ず各文字画像領域について、判別分析における判別基準を用いた２値化しきい値の算出とクラス内分散値の算出処理が行われる。
【００４２】
（２値化しきい値とクラス内分散値の算出方法の説明）
以下、２値化しきい値とクラス内分散値の算出方法を説明する。図５（ｂ）は階調ヒストグラムの説明である。図５（ｂ）において、横軸は階調、縦軸は画素数を示している。なお、階調は左から右方向に黒から白に変化するものである。
【００４３】
与えられた領域のしきい値をｔとして、ｔ以上の階調を持つ画素と、それより小さな値を持つ画素の２つのグループに分ける。この２つのグループをクラス１、クラス２とする。クラス１の画素数をω1(t)、クラス１の平均階調をＭ1(t)、クラス２の画素数をω2(t)、クラス２の平均階調をＭ2(t)とおき、全画素の平均階調をＭT とおくと、クラス間分散σＢ2 は次の式で与えられる。
【００４４】
σＢ2 ＝ω1(Ｍ1 −ＭT )2＋ω2(Ｍ2 −ＭT )2＝ω1 ω2(Ｍ1 −Ｍ2)2
ここで、ｔを変化させてクラス間分散σＢ2 を最大にするｔの値を求め、その領域内の２値化しきい値とする。
【００４５】
（文字画像領域に背景が含まれているかの判定の説明）
・次に文字画像領域に背景が含まれているかを領域内分散値による判定Ｓ１２を行う（単一階調画像領域判別手段）。これは、文字画像領域内がすべて文字画像で背景画像を含まない場合、上記の判別分析における判別基準を用いた２値化しきい値の算出方法では、微小な階調差を感知してしきい値を求めてしまうため、そのしきい値で正しく２値化できずに文字画像が細く出力されるといった現象が起きる。
【００４６】
図６は判別分析における判別基準を用いた２値化処理例の説明図であり、図６（ａ）は領域内がすべて文字画像で背景画像を含まない例の説明である。図６（ａ）において、文字画像領域内がすべて文字画像で、ａ１の階調の画素とａ２の階調の画素よりなり、文字画像領域内の画素がすべて２値化対象の階調となっている。この場合、その領域内で２値化しきい値を求めてしまうため、図６（ａ）の右図のように文字画像が細く出力される（ａ２の階調の画素のみ出力される）ことになる。このため、判別分析における判別基準を用いた２値化処理では正しく２値化できないことになる。
【００４７】
・文字画像領域内がすべて文字画像で背景画像を含まない場合、このような領域のクラス間分散値は、背景を含む領域に比べ小さい値を取ることから判断できる。このため、クラス間分散しきい値を定め、そのしきい値以下の領域に対しては、周囲の背景を取り込むように領域膨張を行い（文字画像領域膨張処理Ｓ１４）、該膨張した新たな領域について２値化しきい値とクラス間分散値の算出を再度行う。
【００４８】
図６（ｂ）は単一階調画像領域２値化手段の説明である。図６（ｂ）において、図６（ｂ）の左のように、文字画像領域内のすべての画素（ａ１の階調の画素とａ２の階調の画素）が２値化対象の階調となっている場合、図６（ｂ）の中央のように、領域を広げて（膨張して）背景画像（白い部分）を取り込む。次に、広げた領域について、再度、判別分析における判別基準を用いた２値化しきい値とクラス間分散値の算出を行う。
【００４９】
・クラス間分散がクラス間分散しきい値より大きく、文字画像領域内に背景画像が含まれると判断した領域については、求めた２値化しきい値により、２値画像を作成する（文字画像領域２値化手段）。
【００５０】
図６（ｃ）は領域内に文字画像と背景画像が含まれると判断した領域の例の説明である。図６（ｃ）において、左図のように文字画像領域内に背景（白い部分）が含まれている場合は、判別分析における判別基準を用いた２値化処理で適切なしきい値が求まり、右図のように適切な２値化処理が行われる。
【００５１】
以上の処理を文字画像領域検出部１１で決定した全ての文字画像領域に対して行うことで、文字画像の２値化が行われる。
【００５２】
（４）：背景画像領域２値化部の説明
前記（３）では文字画像領域検出部１１で検出した領域について２値化処理を行った。しかし、この領域は、文字画像の中でもより黒い部分の外接矩形であるため、この領域外にも文字画像が含まれている可能性がある。したがって、背景画像領域２値化部１３では、背景画像領域について２値化を行い、この領域に含まれる文字画像の抽出を行う。
【００５３】
図７は背景画像領域２値化部の処理の説明図である。図７において、先ず、文字画像領域２値化しきい値を用いて背景画像領域の２値化しきい値を算出する（Ｓ２１）。次に、該算出した２値化しきい値を用いて背景画像領域の２値化処理を行う（Ｓ２２）。
【００５４】
（背景画像領域の２値化例の説明）
ａ：文字画像領域２値化しきい値から代表例を選ぶ方法（第１の方法）
第１の方法として、文字画像領域検出部１１で求めた各領域のしきい値（記憶装置等に記憶しておく）から代表値を選び、背景画像領域全面に適応する方法である。例えば、各領域のしきい値から最も低い（黒い）階調を背景画像領域のしきい値とする。このしきい値が文字画像領域検出部１１で用いた一定しきい値の階調より高い（白い）場合、本来掠れるはずであった背景画像領域中の文字画像が２値化されるため、より文字らしくなる。なお、しきい値の選び方として、各領域のしきい値の平均、又は、最も高い（白い）階調を用いることもできる。
【００５５】
図８は背景画像領域２値化の例１の説明図である。図８において、先ず、上図の▲１▼のように、２値画像領域分離手段を用いて、文字画像領域（点線内の領域１、領域２）を求める。次に、中図の▲２▼のように、各文字画像領域内を文字画像領域２値化手段、及び単一階調画像領域２値化手段を用いて２値化する。この時、領域１内の２値化しきい値をｔ1 、領域２内の２値化しきい値をｔ2 とする（ｔ1 ＞ｔ2 ）。最後に、下図の▲３▼のように、文字画像領域内の２値化しきい値のうち最も階調が低いｔ2 で背景画像領域の２値化を行い、文字画像部分の抽出を行う。
【００５６】
ｂ：文字画像領域２値化部で求めた各領域のしきい値をその領域の周囲の背景画像領域に適応させる方法（第２の方法）
第２の方法として、文字画像領域２値化部で求めた各領域のしきい値をその領域の周囲の背景画像領域に適応させる方法である。この方法では、狭い領域で求めた２値化しきい値がその周囲にのみ用いられるため、１文字毎の２値化がより適切に行えるようになる。
【００５７】
図９は背景画像領域２値化の例２の説明図である。図９において、先ず、上図の▲１▼のように、２値画像領域分離手段を用いて、文字画像領域（点線内の領域１、領域２）を求める。次に、中図の▲２▼のように、各文字画像領域内を文字画像領域２値化手段、及び単一階調画像領域２値化手段を用いて２値化する。この時、領域１内の２値化しきい値をｔ1 、領域２内の２値化しきい値をｔ2 とする（ｔ1 ＞ｔ2 ）。最後に、下図の▲３▼のように、各文字画像領域を含むｎ×ｍ領域（一点鎖線内）を各文字画像領域内の２値化しきい値で２値化する。即ち、領域１を含むｎ×ｍ領域は２値化しきい値ｔ1 で２値化し、領域２を含むｎ×ｍ領域は２値化しきい値ｔ2 で２値化する。これにより、背景画像領域内に残った文字画像部分を２値化する。なお、領域ｎ×ｍの範囲は、文字となると予測できる範囲まで拡大するものである。また、２値化の結果は黒で示してある。
【００５８】
以上、実施の形態で説明したように、入力された多値画像から文字画像とそれ以外の性質の異なる画像領域（背景画像領域）とに分離し、先ず、分離した各文字画像領域に対して２値化処理を行い、該２値化処理時の２値化しきい値から背景画像領域の２値化しきい値を決定して背景画像領域の２値化処理を行い、２値画像を作成する。そのため、従来できなかった文字画像の背景に色が付いているような画像であっても、高精度かつ高速に２値画像が作成できる。また、この２値画像を用いることで認識精度を向上することができる。
【００５９】
（５）：プログラムのインストールの説明
画像２値化手段１０ａ、画像認識手段１４ａ、多値画像２値化部１０、文字画像領域検出部１１、文字画像領域２値化部１２、背景画像領域２値化部１３、２値画像認識部１４等は、プログラムで構成でき、主制御部（ＣＰＵ）が実行するものであり、主記憶に格納されているものである。このプログラムは、一般的な、コンピュータで処理されるものである。このコンピュータは、主制御部、主記憶、ファイル装置、表示装置、キーボード等の入力手段である入力装置などのハードウェアで構成されている。
【００６０】
このコンピュータに、本発明のプログラムをインストールする。このインストールは、フロッピィ、光磁気ディスク等の可搬型の記録（記憶）媒体に、これらのプログラムを記憶させておき、コンピュータが備えている記録媒体に対して、アクセスするためのドライブ装置を介して、或いは、ＬＡＮ等のネットワークを介して、コンピュータに設けられたファイル装置にインストールされる。そして、このファイル装置から処理に必要なプログラムステップを主記憶に読み出し、主制御部が実行するものである。
【００６１】
【発明の効果】
以上説明したように、本発明によれば次のような効果がある。
【００６２】
（１）：画像２値化手段で、入力多値画像を文字画像領域と背景画像領域とに分離し、該分離した各文字画像領域に対して２値化処理を行い、該２値化処理時の２値化しきい値から前記背景画像領域の２値化しきい値を決定して前記背景画像領域の２値化処理を行うため、文字画像の背景に色が付いている画像であっても高精度に２値化でき、かつ一定しきい値で２値化処理を行うため高速に２値化することができる。
【００６３】
（２）：画像２値化手段で、入力多値画像に含まれる低階調の代表値を選んで２値化処理を行い、該作成された２値画像から文字画像を多く含む文字画像領域とそれ以外の背景画像領域とに分離するため、低階調である黒い部分のみ２値化して、容易に文字画像領域を分離することができる。
【００６４】
（３）：画像２値化手段で、分離した文字画像領域内が全て文字画像の単一階調である場合、該単一階調の文字画像領域に背景画像が含まれるように該文字画像領域を変更して、２値化処理を行うため、文字画像領域内が全て文字画像の場合でも、文字画像が細く出力されることを防止し、適切な２値化を行うことができる。
【００６５】
（４）：画像２値化手段で、分離した各文字画像領域に対して行った２値化処理時の各２値化しきい値を求め、前記２値化処理された領域を含むように拡大した矩形内の領域を前記求めた２値化しきい値で２値化処理するため、文字画像領域として、抽出されなかった文字画像部分を適切に２値化処理することができる。
【００６６】
（５）：入力多値画像を文字画像領域と背景画像領域とに分離し、該分離した各文字画像領域に対して２値化処理を行い、該２値化処理時の２値化しきい値から前記背景画像領域の２値化しきい値を決定して前記背景画像領域の２値化処理を行う画像２値化手段と、該２値化処理で作成した２値画像の認識を行う画像認識手段と、してコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体とするため、この記録媒体のプログラムをコンピュータにインストールすることで、文字画像の背景に色が付いている画像であっても高精度に２値化でき、かつ高速に２値化することができる文書画像認識装置を容易に提供することができる。
【図面の簡単な説明】
【図１】本発明の原理説明図である。
【図２】実施の形態における文書画像認識装置の構成の説明図である。
【図３】実施の形態における文字画像領域検出部の処理の説明図である。
【図４】実施の形態における２値画像領域分離手段のイメージによる説明図である。
【図５】実施の形態における文字画像領域２値化部の説明図である。
【図６】実施の形態における判別分析における判別基準を用いた２値化処理例の説明図である。
【図７】実施の形態における背景画像領域２値化部の処理の説明図である。
【図８】実施の形態における背景画像領域２値化の例１の説明図である。
【図９】実施の形態における背景画像領域２値化の例２の説明図である。
【符号の説明】
１ 入力多値画像
１０ａ 画像２値化手段
１４ａ 画像認識手段
【発明の属する技術分野】
本発明は、スキャナやデジタルカメラ等で取り込んだ多値画像から、文字を認識する文書画像認識装置及び記録媒体に関する。
【０００２】
【従来の技術】
画像の特徴を解析するとき、多値画像から対象図形と背景を分離した２値画像を作成して取り扱うことが多い。画像の２値化は、多値画像の階調値がしきい値以下のときは黒とし、しきい値を超えるときは白とするしきい値処理によって行われる。通常、２値画像の黒の部分は対象図形を、白の部分は背景を表している。
【０００３】
しきい値を決める手法には、与えられた多値画像の階調ヒストグラムを求めた結果、２つのピークをもつ分布になる場合、この２つの山の間の谷をしきい値とするモード法や、階調ヒストグラムにおいて、階調値の集合をしきい値ｔで２つのクラス（ｔ以上とｔ未満）に分割したと仮定したとき、２つのクラス間の分離（分散値）が最も良くなるようにパラメータ（しきい値ｔ）を決める（文献：電子情報通信学会論文誌８０／４Ｖｏｌ．Ｊ６３−Ｄ Ｎｏ．４，ｐ．３４９−３５６参照）、判別分析における判別基準を用いた２値化処理などがある。
【０００４】
文書画像認識装置では、このような２値化処理によって作成された２値画像を認識用画像として扱い、文字の抽出（コード化）が行われていた。
【０００５】
【発明が解決しようとする課題】
前記従来のものには、次のような課題があった。
【０００６】
従来の２値化処理では、抽出対象である文字画像の背景に色が付いている場合、読み取られた文字画像と背景色の濃度が近くなるため、適切なしきい値を求めることが困難となり、作成された２値画像において背景領域の一部が文字画像と共に黒画素として表されることがあった。このような２値画像を用いて文字認識を行うと認識精度が低くなるといった問題が発生していた。また、このような２値画像は、見やすさといった点から、表示用の画像としては適さないといった問題があった。
【０００７】
本発明は、このような従来の課題を解決し、入力された多値画像から文字画像とそれ以外の性質の異なる画像領域を適切に、かつ高速に２値化することを目的とする。
【０００８】
【課題を解決するための手段】
図１は本発明の原理説明図である。図１中、１は入力多値画像、１０ａは画像２値化手段、１４ａは画像認識手段である。
【０００９】
本発明は前記従来の課題を解決するため次のように構成した。
【００１０】
（１）：入力多値画像１から２値画像を作成する画像２値化手段１０ａと、該作成した２値画像の認識を行う画像認識手段１４ａとを備えた文書画像認識装置において、前記画像２値化手段１０ａは、前記入力多値画像１を文字画像領域と背景画像領域とに分離し、該分離した各文字画像領域に対して２値化処理を行い、該２値化処理時の２値化しきい値から前記背景画像領域の２値化しきい値を決定して前記背景画像領域の２値化処理を行う。
【００１１】
（２）：前記（１）の文書画像認識装置において、前記画像２値化手段１０ａは、前記入力多値画像１に含まれる低階調の代表値を選んで２値化処理を行い、該作成された２値画像から文字画像を多く含む文字画像領域とそれ以外の背景画像領域とに分離する。
【００１２】
（３）：前記（１）の文書画像認識装置において、前記画像２値化手段１０ａは、前記分離した文字画像領域内が全て文字画像の単一階調である場合、該単一階調の文字画像領域に背景画像が含まれるように該文字画像領域を変更して、２値化処理を行う。
【００１３】
（４）：前記（１）の文書画像認識装置において、前記画像２値化手段１０ａは、前記分離した各文字画像領域に対して行った２値化処理時の各２値化しきい値を求め、前記２値化処理された領域を含むように拡大した矩形内の領域を前記求めた２値化しきい値で２値化処理する。
【００１４】
（５）：入力多値画像を文字画像領域と背景画像領域とに分離し、該分離した各文字画像領域に対して２値化処理を行い、該２値化処理時の２値化しきい値から前記背景画像領域の２値化しきい値を決定して前記背景画像領域の２値化処理を行う画像２値化手段１０ａと、該２値化処理で作成した２値画像の認識を行う画像認識手段１４ａと、してコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体とする。
【００１５】
（作用）
前記構成に基づく作用を説明する。
【００１６】
画像２値化手段１０ａで入力多値画像１から２値画像を作成し、画像認識手段１４ａで作成した２値画像の認識を行う文書画像認識装置において、前記画像２値化手段１０ａで、前記入力多値画像１を文字画像領域と背景画像領域とに分離し、該分離した各文字画像領域に対して２値化処理を行い、該２値化処理時の２値化しきい値から前記背景画像領域の２値化しきい値を決定して前記背景画像領域の２値化処理を行う。このため、文字画像の背景に色が付いている画像であっても高精度に２値化でき、かつ一定しきい値で２値化処理を行うため高速に２値化することができる。
【００１７】
また、前記画像２値化手段１０ａで、前記入力多値画像１に含まれる低階調の代表値を選んで２値化処理を行い、該作成された２値画像から文字画像を多く含む文字画像領域とそれ以外の背景画像領域とに分離する。このため、低階調である黒い部分のみ２値化して、容易に文字画像領域を分離することができる。
【００１８】
さらに、前記画像２値化手段１０ａで、前記分離した文字画像領域内が全て文字画像の単一階調である場合、該単一階調の文字画像領域に背景画像が含まれるように該文字画像領域を変更して、２値化処理を行う。このため、文字画像領域内が全て文字画像の場合でも、文字画像が細く出力されることを防止し、適切な２値化を行うことができる。
【００１９】
また、前記画像２値化手段１０ａで、前記分離した各文字画像領域に対して行った２値化処理時の各２値化しきい値を求め、前記２値化処理された領域を含むように拡大した矩形内の領域を前記求めた２値化しきい値で２値化処理する。このため、文字画像領域として、抽出されなかった文字画像部分を適切に２値化処理することができる。
【００２０】
さらに、入力多値画像を文字画像領域と背景画像領域とに分離し、該分離した各文字画像領域に対して２値化処理を行い、該２値化処理時の２値化しきい値から前記背景画像領域の２値化しきい値を決定して前記背景画像領域の２値化処理を行う画像２値化手段１０ａと、該２値化処理で作成した２値画像の認識を行う画像認識手段１４ａと、してコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体とする。このため、この記録媒体のプログラムをコンピュータにインストールすることで、文字画像の背景に色が付いている画像であっても高精度に２値化でき、かつ高速に２値化することができる文書画像認識装置を容易に提供することができる。
【００２１】
【発明の実施の形態】
本発明の文書画像認識装置は、入力多値画像から文字画像を多く含む画像領域とそれ以外の画像領域に分離し、該分離された２種類の画像領域に対して異なる画像処理を行い、高速に２値画像を作成する２値化処理手段を備えるものである。
【００２２】
また、入力多値画像の文字画像に含まれる低階調（黒）の代表値を選んで２値化処理を行い、該作成された２値画像から文字画像に含まれる画素を抽出し、文字画像を多く含む画像領域とそれ以外の背景画像領域を分離する２値画像領域分離手段を備えるものである。
【００２３】
さらに、前記２値画像領域分離手段により求められた文字画像を多く含む画像領域に対して個々に判別分析における判別基準を用いた２値化処理を行い、２値画像を作成する文字画像領域２値化手段と、該文字画像領域２値化手段で求められた文字画像領域の分散値から、その文字画像領域内が単一階調であることを判断する単一階調画像領域判別手段と、該単一階調画像領域判別手段により単一階調と判断された文字画像領域に、背景画像が含まれるように文字画像領域を膨張し、再度判別分析における判別基準を用いた２値化処理を行う単一階調画像領域２値化手段とを備えるものである。
【００２４】
また、前記文字画像領域２値化手段により求められた個々の文字画像領域のしきい値から最適なしきい値を求め、前記文字画像領域２値化手段により２値化処理された領域を含むｎ×ｍ矩形内の背景画像領域を２値化することで、文字画像領域に含まれなかった文字画像部分を２値化処理する背景画像領域２値化手段を備えるものである。
【００２５】
このような手段を備えることにより、入力された多値画像から文字画像とそれ以外の性質の異なる画像領域とに分離された２値画像が作成されるため、従来技術で問題になっていた背景色のある文字画像の適切な２値化を行うことができる。
【００２６】
以下、図面を参照して本発明の実施の形態を説明する。
【００２７】
（１）：文書画像認識装置の構成の説明
図２は本発明の実施の形態における文書画像認識装置の構成の説明図である。図２において、文書画像認識装置には、多値画像２値化部１０と２値画像認識部１４が設けてある。また、多値画像２値化部１０には、文字画像領域検出部１１、文字画像領域２値化部１２、背景画像領域２値化部１３が設けてある。
【００２８】
この文書画像認識装置は、多値画像（グレースケールイメージ）を入力とし、多値画像２値化部１０で各画素を文字画像領域と背景画像領域のいずれかを意味する値を持つ２値画像に変換するものである。
【００２９】
文字画像領域検出部１１は、グレースケールイメージ全体に代表的なしきい値で２値化処理を実行し、文字画像を多く含む領域を決定するものである。文字画像領域２値化部１２は、文字画像を多く含む領域について個々に２値化処理を実行するものである。背景画像領域２値化部１３は、文字画像領域のしきい値を基に背景画像領域の２値化処理を実行し、最終的な２値画像を出力するものである。２値画像認識部１４は、多値画像２値化部１０で作成した２値画像から文字を認識し、認識結果を出力するものである。
【００３０】
（２）：多値画像２値化部の文字画像領域検出部の説明
図３は文字画像領域検出部の処理の説明図である。図３において、文字画像領域検出部１１の処理は、先ず一定しきい値２値化処理Ｓ１を行い、次にラベリング処理Ｓ２を行い、最後に有効セグメント領域抽出処理（文字画像領域検出）Ｓ３を行うものである（２値画像領域分離手段）。
【００３１】
一定しきい値２値化処理Ｓ１では、入力グレースケールイメージに対して、一定しきい値で２値化を行う。このときのしきい値は、文字画像の中でもより黒い部分のみが２値化される階調を選ぶ。
【００３２】
ラベリング処理Ｓ２では、前記一定しきい値２値化処理Ｓ１で得られた２値画像の連結成分の集合をラベリング処理により抽出する。
【００３３】
有効セグメント領域抽出処理（文字画像領域検出）Ｓ３では、文字画像に適さないサイズの連結部分を排除する（サイズにより罫線や１ドットのゴミ等を除く）ことで、有効なセグメントを選び、その選んだセグメントの外接矩形をとり、文字画像領域とする。
【００３４】
（具体的イメージによる説明）
図４は２値画像領域分離手段のイメージによる説明図であり、図４（ａ）は入力グレースケールイメージである。図４（ａ）において、文字画像は、薄い黒い部分（灰色部分）ａ１、ｂ１とより黒い部分ａ２、ｂ２とから成り、背景は白い部分である。
【００３５】
図４（ｂ）は一定しきい値２値化処理Ｓ１の処理結果である。図４（ｂ）において、一定しきい値２値化処理Ｓ１の処理で、一定しきい値で２値化処理して文字画像中のより黒い部分ａ２、ｂ２のみを２値化し、ラベリング処理Ｓ２、文字画像領域検出Ｓ３を行って、より黒い部分ａ２、ｂ２の外接矩形（点線で示してある）を抽出する。
【００３６】
図４（ｃ）は背景領域と文字画像領域に分離したグレースケールイメージの説明である。図４（ｃ）において、図４（ｂ）の外接矩形座標をグレースケールイメージ（図４（ａ）参照））に適応して、背景領域を含んだ文字画像領域（点線内）と、他の背景領域（点線外）とに分離する。
【００３７】
このように外接矩形を取るのは、文字画像中のより黒い部分以外の文字画像領域と背景画像領域を部分２値化領域に含ませるためである。本実施の形態の２値化処理で使用している、判別分析における判別基準を用いた２値化処理では、抽出対象階調画像（文字画像）と非抽出対象画像（背景画像）を含む領域にすることで、最適な２値化が行われるからである。
【００３８】
また、文字画像領域を決める従来の方法として、文字画像全体のエッジを抽出する（画素間の階調の変化量を計算する）ようなソーベルフィルタ処理が用いられることがある。これに対し、本発明では、一定しきい値２値化処理を用いることで計算量を減らし、より高速な文字画像領域の検出を行っている。
【００３９】
（３）：多値画像２値化部の文字画像領域２値化部の説明
文字画像領域２値化部１２では、文字画像領域検出部１１で決定した文字画像を多く含む領域（外接矩形の文字画像領域）について、領域毎に判別分析における判別基準を用いた２値化処理を行うものである。
【００４０】
図５は文字画像領域２値化部の説明図であり、図５（ａ）は文字画像領域２値化部の処理の説明である。図５（ａ）において、文字画像領域２値化部１２の処理は、先ず文字画像領域の２値化しきい値・分散値算出処理Ｓ１１を行い、次に文字画像領域に背景が含まれているかを領域内分散値により判定Ｓ１２を行う。この判定で、文字画像領域に背景が含まれている場合は文字画像領域内の２値化処理Ｓ１３を行い、もし背景が含まれていない場合は文字画像領域膨張処理Ｓ１４を行い再度文字画像領域の２値化しきい値・分散値算出処理Ｓ１１に戻る。
【００４１】
・この文字画像領域の２値化しきい値・分散値算出処理Ｓ１１では、先ず各文字画像領域について、判別分析における判別基準を用いた２値化しきい値の算出とクラス内分散値の算出処理が行われる。
【００４２】
（２値化しきい値とクラス内分散値の算出方法の説明）
以下、２値化しきい値とクラス内分散値の算出方法を説明する。図５（ｂ）は階調ヒストグラムの説明である。図５（ｂ）において、横軸は階調、縦軸は画素数を示している。なお、階調は左から右方向に黒から白に変化するものである。
【００４３】
与えられた領域のしきい値をｔとして、ｔ以上の階調を持つ画素と、それより小さな値を持つ画素の２つのグループに分ける。この２つのグループをクラス１、クラス２とする。クラス１の画素数をω1(t)、クラス１の平均階調をＭ1(t)、クラス２の画素数をω2(t)、クラス２の平均階調をＭ2(t)とおき、全画素の平均階調をＭT とおくと、クラス間分散σＢ2 は次の式で与えられる。
【００４４】
σＢ2 ＝ω1(Ｍ1 −ＭT )2＋ω2(Ｍ2 −ＭT )2＝ω1 ω2(Ｍ1 −Ｍ2)2
ここで、ｔを変化させてクラス間分散σＢ2 を最大にするｔの値を求め、その領域内の２値化しきい値とする。
【００４５】
（文字画像領域に背景が含まれているかの判定の説明）
・次に文字画像領域に背景が含まれているかを領域内分散値による判定Ｓ１２を行う（単一階調画像領域判別手段）。これは、文字画像領域内がすべて文字画像で背景画像を含まない場合、上記の判別分析における判別基準を用いた２値化しきい値の算出方法では、微小な階調差を感知してしきい値を求めてしまうため、そのしきい値で正しく２値化できずに文字画像が細く出力されるといった現象が起きる。
【００４６】
図６は判別分析における判別基準を用いた２値化処理例の説明図であり、図６（ａ）は領域内がすべて文字画像で背景画像を含まない例の説明である。図６（ａ）において、文字画像領域内がすべて文字画像で、ａ１の階調の画素とａ２の階調の画素よりなり、文字画像領域内の画素がすべて２値化対象の階調となっている。この場合、その領域内で２値化しきい値を求めてしまうため、図６（ａ）の右図のように文字画像が細く出力される（ａ２の階調の画素のみ出力される）ことになる。このため、判別分析における判別基準を用いた２値化処理では正しく２値化できないことになる。
【００４７】
・文字画像領域内がすべて文字画像で背景画像を含まない場合、このような領域のクラス間分散値は、背景を含む領域に比べ小さい値を取ることから判断できる。このため、クラス間分散しきい値を定め、そのしきい値以下の領域に対しては、周囲の背景を取り込むように領域膨張を行い（文字画像領域膨張処理Ｓ１４）、該膨張した新たな領域について２値化しきい値とクラス間分散値の算出を再度行う。
【００４８】
図６（ｂ）は単一階調画像領域２値化手段の説明である。図６（ｂ）において、図６（ｂ）の左のように、文字画像領域内のすべての画素（ａ１の階調の画素とａ２の階調の画素）が２値化対象の階調となっている場合、図６（ｂ）の中央のように、領域を広げて（膨張して）背景画像（白い部分）を取り込む。次に、広げた領域について、再度、判別分析における判別基準を用いた２値化しきい値とクラス間分散値の算出を行う。
【００４９】
・クラス間分散がクラス間分散しきい値より大きく、文字画像領域内に背景画像が含まれると判断した領域については、求めた２値化しきい値により、２値画像を作成する（文字画像領域２値化手段）。
【００５０】
図６（ｃ）は領域内に文字画像と背景画像が含まれると判断した領域の例の説明である。図６（ｃ）において、左図のように文字画像領域内に背景（白い部分）が含まれている場合は、判別分析における判別基準を用いた２値化処理で適切なしきい値が求まり、右図のように適切な２値化処理が行われる。
【００５１】
以上の処理を文字画像領域検出部１１で決定した全ての文字画像領域に対して行うことで、文字画像の２値化が行われる。
【００５２】
（４）：背景画像領域２値化部の説明
前記（３）では文字画像領域検出部１１で検出した領域について２値化処理を行った。しかし、この領域は、文字画像の中でもより黒い部分の外接矩形であるため、この領域外にも文字画像が含まれている可能性がある。したがって、背景画像領域２値化部１３では、背景画像領域について２値化を行い、この領域に含まれる文字画像の抽出を行う。
【００５３】
図７は背景画像領域２値化部の処理の説明図である。図７において、先ず、文字画像領域２値化しきい値を用いて背景画像領域の２値化しきい値を算出する（Ｓ２１）。次に、該算出した２値化しきい値を用いて背景画像領域の２値化処理を行う（Ｓ２２）。
【００５４】
（背景画像領域の２値化例の説明）
ａ：文字画像領域２値化しきい値から代表例を選ぶ方法（第１の方法）
第１の方法として、文字画像領域検出部１１で求めた各領域のしきい値（記憶装置等に記憶しておく）から代表値を選び、背景画像領域全面に適応する方法である。例えば、各領域のしきい値から最も低い（黒い）階調を背景画像領域のしきい値とする。このしきい値が文字画像領域検出部１１で用いた一定しきい値の階調より高い（白い）場合、本来掠れるはずであった背景画像領域中の文字画像が２値化されるため、より文字らしくなる。なお、しきい値の選び方として、各領域のしきい値の平均、又は、最も高い（白い）階調を用いることもできる。
【００５５】
図８は背景画像領域２値化の例１の説明図である。図８において、先ず、上図の▲１▼のように、２値画像領域分離手段を用いて、文字画像領域（点線内の領域１、領域２）を求める。次に、中図の▲２▼のように、各文字画像領域内を文字画像領域２値化手段、及び単一階調画像領域２値化手段を用いて２値化する。この時、領域１内の２値化しきい値をｔ1 、領域２内の２値化しきい値をｔ2 とする（ｔ1 ＞ｔ2 ）。最後に、下図の▲３▼のように、文字画像領域内の２値化しきい値のうち最も階調が低いｔ2 で背景画像領域の２値化を行い、文字画像部分の抽出を行う。
【００５６】
ｂ：文字画像領域２値化部で求めた各領域のしきい値をその領域の周囲の背景画像領域に適応させる方法（第２の方法）
第２の方法として、文字画像領域２値化部で求めた各領域のしきい値をその領域の周囲の背景画像領域に適応させる方法である。この方法では、狭い領域で求めた２値化しきい値がその周囲にのみ用いられるため、１文字毎の２値化がより適切に行えるようになる。
【００５７】
図９は背景画像領域２値化の例２の説明図である。図９において、先ず、上図の▲１▼のように、２値画像領域分離手段を用いて、文字画像領域（点線内の領域１、領域２）を求める。次に、中図の▲２▼のように、各文字画像領域内を文字画像領域２値化手段、及び単一階調画像領域２値化手段を用いて２値化する。この時、領域１内の２値化しきい値をｔ1 、領域２内の２値化しきい値をｔ2 とする（ｔ1 ＞ｔ2 ）。最後に、下図の▲３▼のように、各文字画像領域を含むｎ×ｍ領域（一点鎖線内）を各文字画像領域内の２値化しきい値で２値化する。即ち、領域１を含むｎ×ｍ領域は２値化しきい値ｔ1 で２値化し、領域２を含むｎ×ｍ領域は２値化しきい値ｔ2 で２値化する。これにより、背景画像領域内に残った文字画像部分を２値化する。なお、領域ｎ×ｍの範囲は、文字となると予測できる範囲まで拡大するものである。また、２値化の結果は黒で示してある。
【００５８】
以上、実施の形態で説明したように、入力された多値画像から文字画像とそれ以外の性質の異なる画像領域（背景画像領域）とに分離し、先ず、分離した各文字画像領域に対して２値化処理を行い、該２値化処理時の２値化しきい値から背景画像領域の２値化しきい値を決定して背景画像領域の２値化処理を行い、２値画像を作成する。そのため、従来できなかった文字画像の背景に色が付いているような画像であっても、高精度かつ高速に２値画像が作成できる。また、この２値画像を用いることで認識精度を向上することができる。
【００５９】
（５）：プログラムのインストールの説明
画像２値化手段１０ａ、画像認識手段１４ａ、多値画像２値化部１０、文字画像領域検出部１１、文字画像領域２値化部１２、背景画像領域２値化部１３、２値画像認識部１４等は、プログラムで構成でき、主制御部（ＣＰＵ）が実行するものであり、主記憶に格納されているものである。このプログラムは、一般的な、コンピュータで処理されるものである。このコンピュータは、主制御部、主記憶、ファイル装置、表示装置、キーボード等の入力手段である入力装置などのハードウェアで構成されている。
【００６０】
このコンピュータに、本発明のプログラムをインストールする。このインストールは、フロッピィ、光磁気ディスク等の可搬型の記録（記憶）媒体に、これらのプログラムを記憶させておき、コンピュータが備えている記録媒体に対して、アクセスするためのドライブ装置を介して、或いは、ＬＡＮ等のネットワークを介して、コンピュータに設けられたファイル装置にインストールされる。そして、このファイル装置から処理に必要なプログラムステップを主記憶に読み出し、主制御部が実行するものである。
【００６１】
【発明の効果】
以上説明したように、本発明によれば次のような効果がある。
【００６２】
（１）：画像２値化手段で、入力多値画像を文字画像領域と背景画像領域とに分離し、該分離した各文字画像領域に対して２値化処理を行い、該２値化処理時の２値化しきい値から前記背景画像領域の２値化しきい値を決定して前記背景画像領域の２値化処理を行うため、文字画像の背景に色が付いている画像であっても高精度に２値化でき、かつ一定しきい値で２値化処理を行うため高速に２値化することができる。
【００６３】
（２）：画像２値化手段で、入力多値画像に含まれる低階調の代表値を選んで２値化処理を行い、該作成された２値画像から文字画像を多く含む文字画像領域とそれ以外の背景画像領域とに分離するため、低階調である黒い部分のみ２値化して、容易に文字画像領域を分離することができる。
【００６４】
（３）：画像２値化手段で、分離した文字画像領域内が全て文字画像の単一階調である場合、該単一階調の文字画像領域に背景画像が含まれるように該文字画像領域を変更して、２値化処理を行うため、文字画像領域内が全て文字画像の場合でも、文字画像が細く出力されることを防止し、適切な２値化を行うことができる。
【００６５】
（４）：画像２値化手段で、分離した各文字画像領域に対して行った２値化処理時の各２値化しきい値を求め、前記２値化処理された領域を含むように拡大した矩形内の領域を前記求めた２値化しきい値で２値化処理するため、文字画像領域として、抽出されなかった文字画像部分を適切に２値化処理することができる。
【００６６】
（５）：入力多値画像を文字画像領域と背景画像領域とに分離し、該分離した各文字画像領域に対して２値化処理を行い、該２値化処理時の２値化しきい値から前記背景画像領域の２値化しきい値を決定して前記背景画像領域の２値化処理を行う画像２値化手段と、該２値化処理で作成した２値画像の認識を行う画像認識手段と、してコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体とするため、この記録媒体のプログラムをコンピュータにインストールすることで、文字画像の背景に色が付いている画像であっても高精度に２値化でき、かつ高速に２値化することができる文書画像認識装置を容易に提供することができる。
【図面の簡単な説明】
【図１】本発明の原理説明図である。
【図２】実施の形態における文書画像認識装置の構成の説明図である。
【図３】実施の形態における文字画像領域検出部の処理の説明図である。
【図４】実施の形態における２値画像領域分離手段のイメージによる説明図である。
【図５】実施の形態における文字画像領域２値化部の説明図である。
【図６】実施の形態における判別分析における判別基準を用いた２値化処理例の説明図である。
【図７】実施の形態における背景画像領域２値化部の処理の説明図である。
【図８】実施の形態における背景画像領域２値化の例１の説明図である。
【図９】実施の形態における背景画像領域２値化の例２の説明図である。
【符号の説明】
１ 入力多値画像
１０ａ 画像２値化手段
１４ａ 画像認識手段
Claims (5)
- 入力多値画像に含まれる低階調の代表値を２値化しきい値に用いて該入力多値画像の２値化処理を行って第１の２値画像を作成し、該作成された第１の２値画像を基に、前記入力多値画像を、文字画像を多く含む文字画像領域とそれ以外の背景画像領域とに分離し、該文字画像領域毎に判別分析における判別基準を用いて２値化しきい値を決定して２値化処理を行い、該文字画像領域毎の２値化しきい値から前記背景画像領域の２値化しきい値を決定して前記背景画像領域の２値化処理を行い、第２の２値画像を作成する画像２値化手段と、
前記第２の２値画像の認識を行う画像認識手段と
を備えることを特徴とした文書画像認識装置。 - 前記画像２値化手段は、
前記文字画像領域毎に当該文字画像領域内に背景画像が含まれるか否かを判定する判定手段を更に備え、
前記背景画像が含まれないと判定した文字画像領域については背景画像が含まれるように変更し、
前記背景画像が含まれると判定した文字画像領域については、判別分析における判別基準を用いて２値化しきい値を決定して２値化処理を行う、
ことを特徴とした請求項１記載の文書画像認識装置。 - 前記画像２値化手段は、前記各文字画像領域毎に決定した２値化しきい値を用いて、当該文字画像領域及び当該文字画像領域の周囲の背景画像領域の２値化処理を行う
ことを特徴とした請求項１記載の文書画像認識装置。 - 前記画像２値化手段は、前記文字画像領域内の、前記判別分析における判別基準を用いて決定した前記２値化しきい値以上の階調の画素群の平均階調と前記判別分析における判別基準を用いて決定した前記２値化しきい値より小さい階調の画素群の平均階調との間の分散値が、所定の分散しきい値以下であるか否かにより前記文字画像領域内が全て文字画像であるか否かを判定する判定手段を更に備え、
前記判定手段で背景画像が含まれると判定されるまで、前記文字画像領域を膨張し、該膨張後の文字画像領域について前記判別分析における判別基準を用いて２値化しきい値を決定する処理を繰り返し、
前記判定手段で背景画像が含まれると判定した前記文字画像領域について、前記判別分析における判別基準を用いて決定した２値化しきい値による２値化処理を行う
ことを特徴とする請求項１記載の文書画像認識装置。 - 入力多値画像に含まれる低階調の代表値を２値化しきい値に用いて該入力多値画像の２値化処理を行って第１の２値画像を作成し、該作成された第１の２値画像を基に、前記入力多値画像を、文字画像を多く含む文字画像領域とそれ以外の背景画像領域とに分離し、該文字画像領域毎に判別分析における判別基準を用いて２値化しきい値を決定して２値化処理を行い、該文字画像領域毎の２値化しきい値から前記背景画像領域の２値化しきい値を決定して前記背景画像領域の２値化処理を行い、第２の２値画像を作成する画像２値化手段と、
前記第２の２値画像の認識を行う画像認識手段と
してコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000102968A JP4409713B2 (ja) | 2000-04-05 | 2000-04-05 | 文書画像認識装置及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000102968A JP4409713B2 (ja) | 2000-04-05 | 2000-04-05 | 文書画像認識装置及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001291056A JP2001291056A (ja) | 2001-10-19 |
| JP4409713B2 true JP4409713B2 (ja) | 2010-02-03 |
Family
ID=18616743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000102968A Expired - Lifetime JP4409713B2 (ja) | 2000-04-05 | 2000-04-05 | 文書画像認識装置及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4409713B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1398726B1 (en) | 2002-09-11 | 2008-07-30 | Samsung Electronics Co., Ltd. | Apparatus and method for recognizing character image from image screen |
| KR100703284B1 (ko) | 2003-01-30 | 2007-04-03 | 삼성전자주식회사 | 영상신호의 이진화 장치 및 방법 |
| JP6173542B1 (ja) * | 2016-08-10 | 2017-08-02 | 株式会社Pfu | 画像処理装置、画像処理方法、および、プログラム |
| JP6294524B1 (ja) * | 2017-02-15 | 2018-03-14 | ソフネック株式会社 | 画像処理方法、及びコンピュータプログラム |
-
2000
- 2000-04-05 JP JP2000102968A patent/JP4409713B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001291056A (ja) | 2001-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gllavata et al. | A robust algorithm for text detection in images | |
| Parker et al. | An approach to license plate recognition | |
| US5073953A (en) | System and method for automatic document segmentation | |
| US7379594B2 (en) | Methods and systems for automatic detection of continuous-tone regions in document images | |
| US7346211B2 (en) | Image type classification using color discreteness features | |
| US4757551A (en) | Character recognition method and system capable of recognizing slant characters | |
| US7379593B2 (en) | Method for image segmentation from proved detection of background and text image portions | |
| JP2008148298A (ja) | 画像における異なった内容の領域を識別する方法、画像における異なった内容の領域を識別する装置、および画像における異なった内容の領域を識別するコンピュータ・プログラムを具現するコンピュータ読み取り可能な媒体 | |
| US6985628B2 (en) | Image type classification using edge features | |
| KR20010110416A (ko) | 비디오 스트림 분류가능 심볼 고립 방법 및 시스템 | |
| WO2003034335A2 (en) | Method and apparatus for discriminating between different regions of an image | |
| JP2000207489A (ja) | 文字抽出方法、装置および記録媒体 | |
| US6269186B1 (en) | Image processing apparatus and method | |
| US6289120B1 (en) | Method and system for processing images of forms which have irregular construction and/or determining whether characters are interior to a form | |
| US20110194759A1 (en) | Mouth Removal Method For Red-Eye Detection And Correction | |
| JP4409713B2 (ja) | 文書画像認識装置及び記録媒体 | |
| JPH0565911B2 (ja) | ||
| US20060269132A1 (en) | Apparatus and method for detecting white areas within windows and selectively merging the detected white areas into the enclosing window | |
| JPH10285399A (ja) | 画像の二値化方法 | |
| JPH064704A (ja) | 罫線識別方法及び領域識別方法 | |
| JP3150762B2 (ja) | グラディエントベクトルの抽出方式及び文字認識用特徴抽出方式 | |
| JPH10232926A (ja) | 画像処理装置及びその方法 | |
| JP4213357B2 (ja) | 画像処理装置、画像処理方法及び該方法を実行させるためのプログラム | |
| JP4738645B2 (ja) | 網掛け領域検出装置、網掛け領域検出方法、プログラムおよび記憶媒体 | |
| JPH0535914A (ja) | 画像傾き検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061018 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090310 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090507 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090507 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20090507 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090623 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091006 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091008 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091110 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091112 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4409713 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131120 Year of fee payment: 4 |
|
| EXPY | Cancellation because of completion of term |