JP3645403B2

JP3645403B2 - Character reading apparatus and character reading method

Info

Publication number: JP3645403B2
Application number: JP26416097A
Authority: JP
Inventors: 圭滝沢; 正人須田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1997-09-29
Filing date: 1997-09-29
Publication date: 2005-05-11
Anticipated expiration: 2017-09-29
Also published as: JPH11110485A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば、くじ付き郵便はがき等の多色印字された背景に印字された文字を読み取る文字読取装置に関する。
【０００２】
【従来の技術】
従来の文字読取装置の文字読取手順としては、まず、紙や金属等の物体表面上に書かれた文字列を多値画像として入力して、その多値画像から行範囲を抽出する（行範囲抽出処理）。行範囲とは、文字の並びに垂直な方向において、文字列が存在する範囲である。そして、この抽出された行範囲についてのみ２値画像を生成して（２値化処理）、個々の文字パターンを抽出し（文字検出切り出し処理）、その抽出された文字パターンを文字認識して、読み取り結果として文字列を出力する。
【０００３】
以下、行範囲抽出処理、２値化処理、文字検出切り出し処理について従来手法を詳しく説明する。
【０００４】
（１）行範囲抽出処理
まず、入力された多値画像から最小射影を求める。最小射影は、文字パターンの並んでいる方向に多値画像をスキャンし、各ライン毎の輝度値の最小値を求めることにより得られる１次元波形である。次に微分値の計算を行う。最後に、微分の絶対値の極大値を求め、２つの極大値にはさまれた区間を行範囲として抽出する。
【０００５】
（２）２値化処理
まず、多値画像から輝度ヒストグラムを生成する。次に、輝度ヒストグラムから、２値化の閾値を決定する。ここでは、２値化の閾値の決定法の代表的な方法として、クラス間分散を用いる方法を挙げる。
【０００６】
２値化の閾値の決定は、輝度値を、閾値よりも大きなクラスと小さなクラスの２つのクラスに分ける処理である。閾値をｋとした場合のクラス間分散を、すべてのｋについて求める。クラス間分散を最大にするｋを２値化の閾値として求める。
【０００７】
この方法は、直感的には、２つのクラス各々のまとまりがよく、かつ、クラス間の分離がよくなるように閾値を決定する方法であり、パラメータの調整をすることなく、安定して適当な２値化の閾値が得られるという特徴を持つ。
【０００８】
最後に、多値画像において、閾値よりも大きな画素と小さな画素をそれぞれ、白と黒に置き換えることにより、２値画像を生成する。
【０００９】
（３）文字検出切り出し処理
まず、２値画像に対してラベリングを行う。次に、ラベルフィルタリングにより、ラベリングにより得られたラベルの中で、文字パターンとしてのサイズの基準を満たさないものを除去する。これは、文字パターンとして極端に小さなノイズ的なラベルと、極端に大きな背景模様のラベルを除去する目的で行う。最後に、文字パターンの抽出処理を行う。この処理の入力であるラベルには、ラベルフィルタリングによって取り除かれないような背景ノイズや背景模様が含まれる可能性がある。そこで、文字パターンのサイズと、印字ピッチ等の事前に得られている情報を基づいて、入力のラベルから文字パターンに対応するラベルのみを抽出する。
【００１０】
【発明が解決しようとする課題】
従来の行範囲抽出処理では、特に、多色印字された背景に印字された文字の多値画像の場合、行範囲が抽出が困難であるという問題点があった。すなわち、図１に示すように、多値画像中に背景模様が存在する場合、最小射影の微分波形の絶対値において、複数の極大値が現れ、また、行範囲の境界が大きな極大値として現れない。従来の行範囲抽出手法では、最小射影の微分波形の絶対値において、大きな値を持つ極大値の対を見つけるので、このような場合には、行範囲が正しく抽出できなくなる。
【００１１】
また、従来のクラス間分散を用いて閾値決定を行う２値化処理では、文字パターン列に対する背景の面積が大きく、かつ、文字パターン列と背景の輝度値が近い場合に適当な閾値が得られないという問題点があった。これは、従来の閾値決定法では、文字パターンと背景の面積が等しいという仮定を置いているからである。文字パターン列に対する背景の面積が大きく、文字パターン列と背景の輝度値が近い場合には、輝度ヒストグラムは例えば図２のようになる。このような場合に閾値決定法によって得られる閾値は、図２に示すように、適当な閾値よりも明るい方つまり背景側に寄り、従って背景ノイズを含んだ２値画像が生成されることになる。
【００１２】
さらに、従来の文字検出切り出し処理では、背景模様と文字パターンとの接触を想定しておらず、背景模様に接触した文字パターンから、文字パターンを切り出す処理は行われない。したがって、背景模様と文字パターンとが接触した場合には、その文字パターンの認識はできなくなるという問題点があった。これは、背景模様と接触した文字パターンは、ラベルフィルタリングにより、文字パターンとしての基準を満たさないとして除去され、文字検出切り出し処理の結果として得られる文字パターン列の中に含まれなくなることがあるからである。
【００１３】
そこで、本発明は、上記問題点に鑑み、多色印刷された背景に印字されている文字でも、背景模様や輝度値の変動に影響されずに確実に読み取ることができる精度の高い文字読取装置および文字読取方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明の文字読取装置は、入力された画像の部分画像を予め定められた文字列方向に走査して最小射影情報を求める手段と、前記最小射影情報から高周波数成分を除去する高周波成分除去手段と、前記高周波数成分の除去された最小射影情報に基づき行領域を抽出する行抽出手段と、この行抽出手段で抽出された行領域の画像を２値化する２値化手段と、この２値化手段で得られた２値化画像に対しラベリングを行うラベリング手段と、このラベリング手段で得られた各ラベルのサイズに基づき背景画像の接触した文字のラベルを検出したとき、そのラベルのペリフェラル特徴と予め定められた文字サイズに基づき該文字ラベルから文字のみを切り出す第１の文字切出手段と、前記ラベリング手段で得られたラベルより、予め定められた文字サイズおよび文字間隔に基づき文字を切り出す第２の文字切出手段と、前記第１および第２の文字切出手段で切り出された文字を認識して前記入力画像の文字情報を読み取る文字読取手段とを有するものである。
【００１５】
本発明の文字読取装置は、入力された画像の部分画像を予め定められた文字列方向に走査して最小射影情報を求める手段と、前記最小射影情報から高周波数成分を除去する高周波成分除去手段と、前記高周波数成分の除去された最小射影情報を微分して、その微分値が負となる位置と正となる位置とに挟まれた射影値の変化しない領域を行領域として抽出する行抽出手段と、この行抽出手段で抽出された行領域の画像の輝度分布を求める手段と、前記輝度分布のうち、背景の輝度に対応する分布領域を予め定められた基準に従って削除して得られた輝度分布に基づき２値化閾値を決定する手段と、前記２値化閾値を用いて前記行領域の画像を２値化する２値化手段と、この２値化手段で得られた２値化画像に対しラベリングを行うラベリング手段と、このラベリング手段で得られた各ラベルのサイズに基づき背景画像の接触した文字のラベルを検出したとき、そのラベルのペリフェラル特徴と予め定められた文字サイズおよび文字間隔に基づき該文字ラベルから文字のみを切り出す第１の文字切出手段と、前記ラベリング手段で得られたラベルのサイズに基づき文字のラベルを検出したら、予め定められた文字サイズおよび文字間隔に基づき文字を切り出す第２の文字切出手段と、前記第１および第２の文字切出手段で切り出された文字を認識して前記入力画像の文字情報を読み取る文字読取手段とを有するものである。
【００１６】
本発明の文字読取方法は、入力された画像の部分画像を予め定められた文字列方向に走査して最小射影情報を求めるステップと、前記最小射影情報から高周波数成分を除去するステップと、前記高周波数成分の除去された最小射影情報に基づき行領域を抽出するステップと、前記抽出された行領域の画像を２値化するステップと、前記２値化画像に対しラベリングを行うステップと、前記ラベリングにより得られた各ラベルのサイズに基づき背景画像の接触した文字のラベルを検出したとき、そのラベルのペリフェラル特徴と予め定められた文字サイズに基づき該文字ラベルから文字のみを切り出す第１の文字切出ステップと、前記ラベリングにより得られたラベルより、予め定められた文字サイズおよび文字間隔に基づき文字を切り出す第２の文字切出ステップと、前記第１および第２の文字切出ステップで切り出された文字を認識して前記入力画像の文字情報を読み取るステップとを有するものである。
【００１７】
本発明の文字読取方法は、入力された画像の部分画像を予め定められた文字列方向に走査して最小射影情報を求めるステップと、前記最小射影情報から高周波数成分を除去するステップと、前記高周波数成分の除去された最小射影情報を微分して、その微分値が正の極大値となる位置と負の極大値となる位置とに挟まれた射影値の変化しない領域を行領域として抽出するステップと、前記抽出された行領域の画像の輝度分布を求めるステップと、前記輝度分布のうち、背景の輝度に対応する分布領域を予め定められた基準に従って削除して得られた輝度分布に基づき２値化閾値を決定するステップと、前記２値化閾値を用いて前記行領域の画像を２値化するステップと、前記２値化画像に対しラベリングを行うステップと、前記ラベリングにより得られた各ラベルのサイズに基づき背景画像の接触した文字のラベルを検出したとき、そのラベルのペリフェラル特徴と予め定められた文字サイズに基づき該文字ラベルから文字のみを切り出す第１の文字切出ステップと、前記ラベリングにより得られたラベルのサイズに基づき文字のラベルを検出したら、予め定められた文字サイズおよび文字間隔に基づき文字を切り出す第２の文字切出ステップと、前記第１および第２の文字切出ステップで切り出された文字を認識して前記入力画像の文字情報を読み取るステップとを有するものである。
【００２４】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
【００２５】
本発明は、多色印刷された背景に文字が印刷された対象物、例えば、くじ付き郵便はがきのくじ番号やチケットの発行番号から文字を読み取るものである。
【００２６】
図３は、本発明の文字読取装置を適用した、くじ付郵便はがき選別装置の概略構成を示すしたもので、搬送ライン１、集積部３、読取部５、認識部７、制御部１３、選別ゲート９〜１１、集積部１５〜１７から構成される。
【００２７】
搬送ライン１は、くじ付年賀はがき（以下単に「はがき」と呼ぶ）２を選別する集積部３から、はがき２を順次１枚ずつ取り出して搬送する上記各部に搬送するものである。
【００２８】
読取部５は、搬送ライン１の途中に設けられ搬送されて来るはがき２に記載されているくじ番号を読みとる例えばＣＣＤカメラ等で構成されている。読取部５で読み取られた文字情報は認識部７に送られる。
【００２９】
認識部７では、読取部５で読み取られた文字情報（くじ番号）とあらかじめ記憶されている当選番号とを照合し、現在搬送ライン１にて搬送中のはがき２のくじ番号が当選番号に一致しているか否かの判断を行うようになっている。
【００３０】
認識部７には制御部１３が接続され、制御部１３では、認識部７における判断結果に基づいて搬送ライン１の近傍に配置されている選別ゲート９、１０、１１を駆動制御するようになっている。
【００３１】
選別ゲート９は、はずれのはがきをはずれ集積部１５に導くものであり、選別ゲート１０は、あたりはがきをあたり集積部１６に導くものであり、選別ゲート１１は、読取不能等のはがきをその他集積部１７に導くものである。
【００３２】
このような構成において、認識部７は、搬送中のはがき２から読取部５で読み取られたくじ番号と所定の当選番号との一致を例えば複合類似度により判定し、一致していれば「当選」と判断して選別ゲート１０を駆動させる指令信号を、逆に不一致であれば「はずれ」と判断して選別デート９を駆動させる指令信号をそれぞれ制御部１３に出力することになり、この結果、搬送されて来たはがきが夫々の当否に基づいてはずれ集積部１５あるいはあたり集積部１６に導かれる。
【００３３】
このような構成により、人手を介することなく、くじの当否を自動判定できるので、大量のくじ付きはがきの当否判定も迅速に処理することができる。
【００３４】
図４は、図３のくじ付き郵便はがき選別装置の読取部５に用いられる文字読取装置の構成例を示したもので、光電変換部１０１、行範囲抽出部１０２、２値化部１０３、文字検出切り出し部１０４、文字認識部１０５から構成されている。
【００３５】
本発明の文字読取装置は、くじ付きはがきに印字されているくじ番号等のように、紙等の物体に多色印刷された背景に印字されている文字を読み取る際に特に効果がある。例えば、読取対象である文字（くじ付きはがきの場合、くじ番号）の印字されている領域の画像は、図５のような画像であり、文字読み取り処理を難しくする次のような特徴を持つ。
【００３６】
・複数の背景模様が存在する。
【００３７】
・背景模様が文字パターンに接触する場合がある。
【００３８】
・背景と文字パターンとのコントラストが低い。
【００３９】
次に、図６を参照して図４の文字読取装置の処理動作の概略を説明する。
【００４０】
まず、光電変換部１０１では、搬送ライン１で搬送されてくるはがきのくじ番号の印字されている面の画像を多値画像として入力する。
【００４１】
行範囲抽出部１０２では、得られた多値画像に対して、行範囲の抽出を行う。２値化部１０３では、得られた行の範囲についてのみ２値化を行う。文字検出切り出し部１０４では、文字パターン列を個々の文字パターンとして抽出する。文字認識部１０５では、抽出された個々の文字パターンについて、例えば、予め用意された辞書に登録されている文字パターンとのマッチングを行って、文字認識処理を行う。
【００４２】
次に、本発明の特徴である、行範囲抽出部１０２、２値化部１０３、文字検出切り出し部１０４について詳細に述べる。
【００４３】
（１）行範囲抽出部
行範囲抽出部１０２の処理動作について図７を参照して説明する。
【００４４】
入力多値画像Ｇ（ｘ、ｙ）の予め定められた印字文字の領域の画像、すなわち、部分画像ｇ（ｘ、ｙ）に対して、次のような最小射影Ｐ_min（ｙ）を求める（ステップＳ１）。最小射影とは、文字パターンの並んでいる方向に部分画像ｇ（ｘ、ｙ）をスキャンした結果得られた、そのラインの射影値の最小値である。
【００４５】
【数１】

【００４６】
ここで、部分画像ｇ（ｘ、ｙ）は、処理の高速化のため、ｘ方向の範囲を限定した画像を用いる。なお、図７では、部分画像ｇ（ｘ、ｙ）として、Ｇ（ｘ、ｙ）をｘ方向に三等分した真ん中の画像を用いている。
【００４７】
最小射影Ｐ_mim で、行の範囲は、図７のように幅と深さの大きな谷として現れる。谷として現れるものは、行範囲に対応するもののみではなく、背景模様に対応する谷や、画像の高周波成分もある。
【００４８】
そこで、文字パターン列以外に対応する谷を除去する目的で、Ｐ_mim （ｙ）から高周波成分を取り除いて平滑化された波形Ｐ”_mim （ｙ）を計算する（ステップＳ２）。Ｐ”_mim （ｙ）を求める前に、一旦次のような波形Ｐ’_mim （ｙ）を計算する。
【００４９】
【数２】

【００５０】
Ｐ’_mim からＰ”_mim の計算は、次のように行う。
【００５１】
【数３】

【００５２】
ここで、ｗは、平滑化の幅であり、文字パターン列の高さよりも多少小さめに設定する。文字パターンの高さは、フォントの大きさと、光電変換部１０１での入力解像度から予測できる。
【００５３】
次に、Ｐ”_mim （ｙ）から谷を検出することにより、行の範囲を抽出する（ステップＳ３）。具体的には、図８のようにＰ”_mim （ｙ）の一次微分を求め、負の値と正の値との間にはさまれた、一次微分の値が「０」（射影値の変化のない）の範囲を行の範囲として抽出する。
【００５４】
（２）２値化部
２値化部１０３の処理動作について図９を参照して説明する。
【００５５】
まず、抽出された行範囲についての多値画像の輝度ヒストグラムｈ（ｚ）を求める（ステップＳ１１）。
【００５６】
次に、輝度ヒストグラムから背景の輝度に対応する分布領域を予め定められた基準に従って削除する（ステップＳ１２）。すなわち、クラス間分散を用いる閾値決定法をｈ（ｚ）に直接適用するのではなく、ｈ（ｚ）に対してヒストグラムカットを行いｈ′（ｚ）を求め、ｈ′（ｚ）に対して、従来同様の閾値決定法を適用する（ステップＳ１３）。
【００５７】
ヒストグラムカットは、次のように行う。ｚ＞ｚ_areaを満たすｚ（輝度値）の範囲に含まれるｈ（ｚ）面積が、ヒストグラムの全体の面積のＴ_area％となるような、ｚ_areaを求める。ｚ＞ｚ_areaを満たすｚについて、ｈ（ｚ）の値を「０」に置き換える。得られる波形をｈ′（ｚ）とする。
【００５８】
ヒストグラムカットを行う目的は、ヒストグラムにおいて、背景に相当する部分の面積を減らし、クラス間分散を用いる閾値決定法により適当な閾値が得られるようにすることである。
【００５９】
Ｔ_area％の値は、ヒストグラムにおいて、
・背景に対応する部分を完全には除去しない
・背景に対応する部分の面積を十分に減らす
の２つの条件を満たすような値に設定しておく。
【００６０】
最後に、決定された閾値にて入力多値画像の行範囲の領域について２値化を行う（ステップＳ１４）。
【００６１】
（３）文字検出切り出し部
文字検出切り出し部１０４の処理動作について図１０を参照して説明する。
【００６２】
まず、２値画像に対してラベリングを行う（ステップＳ２１）。次に、接触文字パターン切り出し処理で、例えば、図１０の右から２番めの「０」のように背景模様と接触している文字パターンを背景模様から切り出す処理を行う（ステップＳ２２）。ここで、読取対象としている文字（文字パターン）のサイズは予め定められているものである。従って、ラベルのサイズも各文字毎に予め定めることができるので、背景模様と接触している場合は、ラベルが予め定められた大きさより大きいものとなる。そこで、このラベルの大きさに基づき背景模様と接触している文字パターンを判断することができる。
【００６３】
最後に、文字パターンの抽出処理では、文字パターンのサイズと、印字ピッチ等の事前に得られている情報を基づいて、ラベルから文字パターン列を構成する個々の文字パターンを抽出する（ステップＳ２３）。このとき、背景模様と接触している文字パターン（図１０では、右から２番目の「０」）のラベルからも文字パターンのみを抽出する。
【００６４】
ここで、背景模様に接触した文字パターン（図１０の右から２番目の「０」）に着目して、ステップＳ２２の切り出し処理およびステップＳ２３の文字パターンの抽出処理について、図１１を参照して詳しく述べる。
【００６５】
まず、文字パターンと背景模様が接触してできたラベルを見つける。これは、ラベルの外接矩形の大きさと、位置に基づいて求める。背景模様が文字パターンの上にある場合には、得られたラベルに対して、次のようにして切り出しを行い、背景模様が文字パターンの下にある場合には、次のアルゴリズムを上下逆にして切り出しを行う。
【００６６】
文字抽出処理では、まず、ペリフェラルパターンＰＥＲＩ（ｘ）を求める（ステップＳ３１）。ペリフェラルパターンは、図１２（ａ）に示すようなラベルの外接矩形内を下から上に向ってスキャンし、図１２（ｂ）に示すように、外接矩形の下端から最初にぶつかる黒画素までの距離をペリフェラルパターンの値とする。
【００６７】
そして、ペリフェラルパターンから、文字パターンの水平範囲を求める（ステップＳ３２）。ＰＥＲＩ（ｘ）が閾値Ｈ_thよりも大きな値を持つ水平方向の範囲を、水平範囲として抽出する。閾値Ｈ_thは、文字サイズが既知であることから予め定めることができる値である。
【００６８】
つづいて、ペリフェラルパターンの値の「０」から閾値Ｈ_stdまでの範囲を、文字パターンの垂直の範囲として抽出する（ステップＳ３３）。閾値Ｈ_stdは、文字サイズが既知であることから予め定めることができる値である。
【００６９】
最後に、切り出された矩形範囲に対応する範囲を、ラベル画像から切り出す（ステップＳ３４）。
【００７０】
なお、図１０のステップＳ２２で、ラベルのサイズが予め定められたサイズとほぼ同じものに対しては、ステップＳ２３の文字パターン抽出処理では、図１１に示す処理を行わずに、予め定められた各種文字パターンのサイズおよび印字ピッチ等に基づき、その文字パターン領域を切り出せばよい。
【００７１】
以上説明したように、上記実施形態によれば、背景模様や、輝度値の変動に影響を受けにくい、行範囲の抽出ができる。また、調整が容易になるという効果もある。これは、調整用のパラメータが少なく、パラメータは、変動の少ない文字パターン列の高さのみを考慮して設定すればよいからである。
【００７２】
また、２値化処理の際、輝度ヒストグラムに対する簡単な操作により、文字パターン列に対する背景の面積が大きく、かつ、文字パターン列と背景の輝度値が近い場合のような、従来の閾値決定法では適当な閾値が得られない多値画像に対しても適当な閾値が得られるようになる。これにより、２値化処理の性能が向上する。
【００７３】
さらに、従来の方法により検出切り出しができないような、文字パターンと背景模様が接触する場合にも、文字パターン列を検出切り出しすることができるようになる。これは、文字パターン列の認識率の向上につながる。
【００７４】
【発明の効果】
以上説明したように、多色印刷された背景に印字されている文字でも、背景模様や輝度値の変動に影響されずに確実に読み取ることができる。
【図面の簡単な説明】
【図１】従来の行範囲抽出処理の問題点を説明するための図。
【図２】従来の２値化閾値決定方法の問題点を説明するための図。
【図３】本発明の文字読取装置を適用した、くじ付郵便はがき選別装置の概略構成を示した図。
【図４】本発明の文字読取装置の概略構成を示した図。
【図５】本実施形態の文字読取装置に入力される多値画像の一例を示した図。
【図６】図４の文字読取装置の処理動作の概略を説明するための図。
【図７】行範囲抽出部の処理動作について説明するための図。
【図８】図７のステップＳ３の処理方法をより詳細に説明するための図。
【図９】２値化部の処理動作について説明するための図。
【図１０】文字検出切り出し部の処理動作について説明するための図。
【図１１】背景模様に接触した文字パターンに着目して、図１０のステップＳ２２の切り出し処理およびステップＳ２３の文字パターンの抽出処理についてより詳細に説明するための図。
【図１２】図１１のステップＳ３１のペリフェラルパターンの計算方法について説明するための図。
【符号の説明】
１０１…光電変換部
１０２…行範囲抽出部
１０３…２値化部
１０４…文字検出切り出し部
１０５…文字認識部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a character reading device that reads characters printed on a multicolored background such as a postcard with a lottery.
[0002]
[Prior art]
As a character reading procedure of a conventional character reading device, first, a character string written on the surface of an object such as paper or metal is input as a multi-value image, and a line range is extracted from the multi-value image (line range). Extraction process). The line range is a range in which a character string exists in a direction perpendicular to the character sequence. Then, a binary image is generated only for the extracted line range (binarization processing), individual character patterns are extracted (character detection cut-out processing), the extracted character patterns are character-recognized, A character string is output as a read result.
[0003]
Hereinafter, conventional methods will be described in detail with respect to line range extraction processing, binarization processing, and character detection cutout processing.
[0004]
(1) Row range extraction process First, the minimum projection is obtained from the input multi-valued image. The minimum projection is a one-dimensional waveform obtained by scanning a multi-value image in a direction in which character patterns are arranged and obtaining a minimum value of luminance values for each line. Next, the differential value is calculated. Finally, the maximum value of the absolute value of the differentiation is obtained, and an interval between the two maximum values is extracted as a row range.
[0005]
(2) Binarization process First, a luminance histogram is generated from a multi-valued image. Next, a threshold value for binarization is determined from the luminance histogram. Here, as a representative method for determining the binarization threshold, a method using inter-class variance is given.
[0006]
Determination of the threshold value for binarization is a process of dividing the luminance value into two classes, a class larger than the threshold and a smaller class. The variance between classes when the threshold value is k is obtained for all k. K that maximizes the inter-class variance is obtained as a threshold for binarization.
[0007]
Intuitively, this method is a method of determining a threshold value so that each of the two classes is well-organized and the separation between the classes is good. It has a feature that a threshold value can be obtained.
[0008]
Finally, in a multi-valued image, a binary image is generated by replacing pixels larger and smaller than the threshold with white and black, respectively.
[0009]
(3) Character detection clipping process First, labeling is performed on a binary image. Next, labels that do not satisfy the size standard as a character pattern are removed from the labels obtained by labeling by label filtering. This is done for the purpose of removing extremely small noisy labels and extremely large background pattern labels as character patterns. Finally, a character pattern extraction process is performed. The label that is the input of this processing may include background noise and a background pattern that cannot be removed by label filtering. Therefore, only the label corresponding to the character pattern is extracted from the input label based on the information obtained in advance such as the size of the character pattern and the print pitch.
[0010]
[Problems to be solved by the invention]
The conventional line range extraction process has a problem that it is difficult to extract the line range, particularly in the case of a multi-valued image of characters printed on a multi-color printed background. That is, as shown in FIG. 1, when a background pattern is present in a multivalued image, a plurality of maximum values appear in the absolute value of the differential waveform of the minimum projection, and the boundary of the row range appears as a large maximum value. Absent. In the conventional row range extraction method, a maximum value pair having a large value is found in the absolute value of the differential waveform of the minimum projection. In such a case, the row range cannot be correctly extracted.
[0011]
In the binarization processing in which threshold determination is performed using the variance between classes, an appropriate threshold value is obtained when the background area for the character pattern string is large and the luminance value of the character pattern string and the background is close. There was no problem. This is because the conventional threshold value determination method assumes that the area of the character pattern and the background is equal. When the area of the background with respect to the character pattern string is large and the luminance value of the character pattern string and the background is close, the luminance histogram is, for example, as shown in FIG. In such a case, as shown in FIG. 2, the threshold value obtained by the threshold value determination method is closer to the brighter side than the appropriate threshold value, that is, toward the background side, so that a binary image including background noise is generated. .
[0012]
Further, in the conventional character detection cutout process, the contact between the background pattern and the character pattern is not assumed, and the process of cutting out the character pattern from the character pattern in contact with the background pattern is not performed. Therefore, when the background pattern and the character pattern come into contact with each other, there is a problem that the character pattern cannot be recognized. This is because the character pattern in contact with the background pattern is removed by label filtering as not satisfying the criteria for the character pattern, and may not be included in the character pattern string obtained as a result of the character detection cutout process. It is.
[0013]
Therefore, in view of the above problems, the present invention provides a highly accurate character reader that can reliably read even characters printed on a multicolored background without being affected by fluctuations in the background pattern or brightness value. Another object of the present invention is to provide a character reading method.
[0014]
[Means for Solving the Problems]
The character reader according to the present invention includes a means for obtaining a minimum projection information by scanning a partial image of an input image in a predetermined character string direction, and a high frequency component removal means for removing a high frequency component from the minimum projection information. A line extracting means for extracting a line area based on the minimum projection information from which the high frequency component has been removed, a binarizing means for binarizing the image of the line area extracted by the line extracting means, Labeling means for performing labeling on the binarized image obtained by the binarizing means, and when a label of a character in contact with the background image is detected based on the size of each label obtained by the labeling means, the peripheral of the label A first character extracting unit that extracts only characters from the character label based on the characteristics and a predetermined character size, and a predetermined character from the label obtained by the labeling unit Second character cutout means for cutting out characters based on noise and character spacing; and character reading means for recognizing characters cut out by the first and second character cutout means and reading character information of the input image It is what has.
[0015]
The character reader according to the present invention includes a means for obtaining a minimum projection information by scanning a partial image of an input image in a predetermined character string direction, and a high frequency component removal means for removing a high frequency component from the minimum projection information. A line extraction that differentiates the minimum projection information from which the high-frequency component has been removed and extracts an area where the projection value does not change between the position where the differential value is negative and the position where the differential value is positive as a line area Means for obtaining the luminance distribution of the image of the row area extracted by the row extracting means, and the distribution area corresponding to the luminance of the background is deleted from the luminance distribution according to a predetermined criterion. Means for determining a binarization threshold based on the luminance distribution; binarization means for binarizing the image of the row region using the binarization threshold; and binarization obtained by the binarization means Labeling to label images And when the label of the character touching the background image is detected based on the size of each label obtained by the labeling means, the character label is determined based on the peripheral characteristics of the label and the predetermined character size and character spacing. A first character cutting means for cutting out only a character; and a second character for cutting out a character based on a predetermined character size and a character interval when a character label is detected based on the label size obtained by the labeling means. It has a cutting means, and a character reading means for recognizing the character cut by the first and second character cutting means and reading the character information of the input image.
[0016]
The character reading method of the present invention includes a step of obtaining a minimum projection information by scanning a partial image of an input image in a predetermined character string direction, a step of removing a high frequency component from the minimum projection information, Extracting a row region based on the minimum projection information from which high-frequency components are removed, binarizing the image of the extracted row region, labeling the binarized image, and A first character that cuts out only a character from a character label based on a peripheral feature of the label and a predetermined character size when a label of the character touching the background image is detected based on the size of each label obtained by labeling A step of cutting out characters based on a predetermined character size and character spacing from the cutting step and the label obtained by the labeling. A character extraction step of, by recognizing the characters cut out by the first and second character extraction step reading character information of the input image in which a step.
[0017]
The character reading method of the present invention includes a step of obtaining a minimum projection information by scanning a partial image of an input image in a predetermined character string direction, a step of removing a high frequency component from the minimum projection information, Differentiate the minimum projection information from which high-frequency components are removed, and extract the region where the projection value does not change between the position where the differential value becomes a positive maximum value and the position where the differential value becomes a negative maximum value as a row area A luminance distribution obtained by deleting a distribution region corresponding to the luminance of a background from the luminance distribution according to a predetermined criterion. Determining a binarization threshold based on the binarization threshold, binarizing the image of the row region using the binarization threshold, labeling the binarized image, and labeling When a label of a character touching the background image is detected based on the size of each obtained label, a first character cutout that cuts out only the character from the character label based on the peripheral characteristics of the label and a predetermined character size. An extraction step; a second character extraction step of extracting a character based on a predetermined character size and character interval when a character label is detected based on the label size obtained by the labeling; And the step of recognizing the character extracted in the character extraction step 2 and reading the character information of the input image.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0025]
The present invention reads characters from an object on which characters are printed on a multicolor printed background, for example, a lottery number of a postcard with a lottery or an issue number of a ticket.
[0026]
FIG. 3 shows a schematic configuration of a lottery postcard sorting device to which the character reading device of the present invention is applied. The conveyance line 1, the stacking unit 3, the reading unit 5, the recognition unit 7, the control unit 13, the sorting unit. It consists of gates 9 to 11 and stacking units 15 to 17.
[0027]
The transport line 1 is used for picking up the postcards 2 one by one from the stacking unit 3 for selecting the lottery New Year's postcards (hereinafter simply referred to as “postcards”) 2 and transporting the postcards 2 one by one.
[0028]
The reading unit 5 is configured by, for example, a CCD camera or the like that reads a lottery number provided on the postcard 2 that is provided and conveyed in the middle of the conveyance line 1. The character information read by the reading unit 5 is sent to the recognition unit 7.
[0029]
The recognizing unit 7 collates the character information (lottery number) read by the reading unit 5 with a pre-stored winning number, and the lottery number of the postcard 2 currently being conveyed on the conveying line 1 matches the winning number. Judgment is made as to whether or not it is done.
[0030]
A control unit 13 is connected to the recognition unit 7, and the control unit 13 drives and controls the

selection gates

9, 10, 11 arranged in the vicinity of the transport line 1 based on the determination result in the recognition unit 7. ing.
[0031]
The sorting gate 9 is used to guide the postcards that come off to the stacking unit 15, the sorting gate 10 is used to guide the postcards to the stacking unit 16, and the sorting gate 11 collects other postcards that cannot be read. It leads to the part 17.
[0032]
In such a configuration, the recognizing unit 7 determines whether the lottery number read by the reading unit 5 from the postcard 2 being transported matches a predetermined winning number based on, for example, the composite similarity. , The command signal for driving the sorting gate 10 is output to the control unit 13 as a result. The postcards that have been conveyed are guided to the stacking unit 15 or the stacking unit 16 on the basis of whether or not each postcard is correct.
[0033]
With such a configuration, it is possible to automatically determine whether or not a lottery is successful without any manual intervention, so that it is possible to quickly determine whether or not a lot of lottery postcards are successful.
[0034]
FIG. 4 shows an example of the configuration of a character reading device used in the reading unit 5 of the lottery postcard sorting device of FIG. 3. The photoelectric conversion unit 101, line range extraction unit 102, binarization unit 103, character It comprises a detection cutout unit 104 and a character recognition unit 105.
[0035]
The character reader of the present invention is particularly effective when reading characters printed on a background printed in multicolor on an object such as paper, such as a lottery number printed on a postcard with lottery. For example, the image of the area where the character to be read (the lottery number in the case of a postcard with lottery) is printed is an image as shown in FIG. 5 and has the following characteristics that make the character reading process difficult.
[0036]
・ There are multiple background patterns.
[0037]
・ The background pattern may touch the character pattern.
[0038]
-The contrast between the background and the character pattern is low.
[0039]
Next, an outline of the processing operation of the character reading device of FIG. 4 will be described with reference to FIG.
[0040]
First, in the photoelectric conversion unit 101, an image of a surface on which a postcard lottery number printed on the transport line 1 is printed is input as a multi-value image.
[0041]
The line range extraction unit 102 extracts line ranges from the obtained multi-valued image. The binarization unit 103 binarizes only the obtained row range. The character detection cutout unit 104 extracts a character pattern string as individual character patterns. The character recognition unit 105 performs character recognition processing by, for example, matching each extracted character pattern with a character pattern registered in a dictionary prepared in advance.
[0042]
Next, the line range extraction unit 102, the binarization unit 103, and the character detection cutout unit 104, which are features of the present invention, will be described in detail.
[0043]
(1) Line Range Extraction Unit The processing operation of the line range extraction unit 102 will be described with reference to FIG.
[0044]
The following minimum projection P _min (y) is obtained for an image of a predetermined print character area of the input multi-valued image G (x, y), that is, a partial image g (x, y) ( Step S1). The minimum projection is a minimum projection value of the line obtained as a result of scanning the partial image g (x, y) in the direction in which the character patterns are arranged.
[0045]
[Expression 1]

[0046]
Here, as the partial image g (x, y), an image in which the range in the x direction is limited is used in order to increase the processing speed. In FIG. 7, the middle image obtained by dividing G (x, y) into three equal parts in the x direction is used as the partial image g (x, y).
[0047]
In the minimum projection P _mim , the row range appears as a valley having a large width and depth as shown in FIG. What appears as a valley is not only the one corresponding to the row range, but also the valley corresponding to the background pattern and the high-frequency component of the image.
[0048]
Therefore, in order to remove the valleys corresponding to the non-character pattern string by removing high frequency components from the P _mim (y) "to calculate the _mim (y) (step S2) .P" smoothed waveform P _mim ( Before _obtaining y), the following waveform P ′ _mim (y) is once calculated.
[0049]
[Expression 2]

[0050]
Calculated from the P _'mim of P _"mim is carried out in the following manner.
[0051]
[Equation 3]

[0052]
Here, w is the width of smoothing, and is set slightly smaller than the height of the character pattern string. The height of the character pattern can be predicted from the font size and the input resolution in the photoelectric conversion unit 101.
[0053]
Next, a range of rows is extracted by detecting valleys from P ″ _mim (y) (step S3). Specifically, as shown in FIG. 8, the first derivative of P ″ _mim (y) is obtained, A range between the negative value and the positive value and having a first derivative value of “0” (no change in projection value) is extracted as a row range.
[0054]
(2) Binarization Unit The processing operation of the binarization unit 103 will be described with reference to FIG.
[0055]
First, the luminance histogram h (z) of the multi-value image for the extracted row range is obtained (step S11).
[0056]
Next, the distribution area corresponding to the background brightness is deleted from the brightness histogram in accordance with a predetermined criterion (step S12). That is, instead of directly applying a threshold determination method using interclass variance to h (z), a histogram cut is performed on h (z) to obtain h ′ (z), and h ′ (z) is obtained. Then, the same threshold value determination method as in the prior art is applied (step S13).
[0057]
The histogram cut is performed as follows. z> h (z) area in the range of satisfying the z _area z (luminance value), such that T _area% of the total area of the histogram, determining the z _area. For z satisfying z> z _area , the value of h (z) is replaced with “0”. Let the waveform obtained be h ′ (z).
[0058]
The purpose of performing the histogram cut is to reduce the area of the portion corresponding to the background in the histogram so that an appropriate threshold value can be obtained by the threshold value determination method using interclass variance.
[0059]
The value of T _area % is
A value corresponding to the two conditions of not completely removing the portion corresponding to the background and sufficiently reducing the area of the portion corresponding to the background is set.
[0060]
Finally, binarization is performed on the region of the row range of the input multivalued image with the determined threshold value (step S14).
[0061]
(3) Character Detection Cutout Unit The processing operation of the character detection cutout unit 104 will be described with reference to FIG.
[0062]
First, labeling is performed on a binary image (step S21). Next, in the contact character pattern cut-out process, for example, a character pattern in contact with the background pattern such as “0” that is the second from the right in FIG. 10 is cut out from the background pattern (step S22). Here, the size of the character (character pattern) to be read is predetermined. Accordingly, since the size of the label can be determined in advance for each character, the label is larger than the predetermined size when in contact with the background pattern. Therefore, the character pattern in contact with the background pattern can be determined based on the size of the label.
[0063]
Finally, in the character pattern extraction process, individual character patterns constituting the character pattern string are extracted from the label based on information obtained in advance such as the size of the character pattern and the print pitch (step S23). . At this time, only the character pattern is extracted from the label of the character pattern in contact with the background pattern (in FIG. 10, the second “0” from the right).
[0064]
Here, focusing on the character pattern (second “0” from the right in FIG. 10) in contact with the background pattern, the cutout process in step S22 and the character pattern extraction process in step S23 will be described with reference to FIG. Describe in detail.
[0065]
First, find a label made by contacting the character pattern with the background pattern. This is obtained based on the size and position of the circumscribed rectangle of the label. When the background pattern is above the character pattern, the label obtained is cut out as follows, and when the background pattern is below the character pattern, the following algorithm is turned upside down. To cut out.
[0066]
In the character extraction process, first, a peripheral pattern PERI (x) is obtained (step S31). The peripheral pattern is scanned from the bottom to the top of the circumscribed rectangle of the label as shown in FIG. 12 (a), and from the lower end of the circumscribed rectangle to the first black pixel that hits as shown in FIG. 12 (b). Let the distance be the value of the peripheral pattern.
[0067]
Then, the horizontal range of the character pattern is obtained from the peripheral pattern (step S32). A horizontal range where PERI (x) is larger than the threshold value H _th is extracted as a horizontal range. The threshold value H _th is a value that can be determined in advance because the character size is known.
[0068]
Subsequently, the range from “0” of the peripheral pattern value to the threshold value H _std is extracted as the vertical range of the character pattern (step S33). The threshold value H _std is a value that can be determined in advance because the character size is known.
[0069]
Finally, a range corresponding to the cut out rectangular range is cut out from the label image (step S34).
[0070]
Note that in step S22 in FIG. 10, the label size is almost the same as the predetermined size, and the character pattern extraction processing in step S23 is performed in advance without performing the processing shown in FIG. The character pattern area may be cut out based on the size and print pitch of various character patterns.
[0071]
As described above, according to the above-described embodiment, it is possible to extract a row range that is not easily affected by a background pattern or a change in luminance value. Also, there is an effect that adjustment becomes easy. This is because the number of parameters for adjustment is small, and the parameters need only be set considering only the height of the character pattern string with little variation.
[0072]
In the binarization process, the conventional threshold value determination method, such as when the area of the background with respect to the character pattern string is large and the luminance value of the character pattern string and the background is close by a simple operation on the luminance histogram, An appropriate threshold value can be obtained even for a multi-valued image for which an appropriate threshold value cannot be obtained. Thereby, the performance of the binarization process is improved.
[0073]
Furthermore, a character pattern string can be detected and cut out even when a character pattern and a background pattern contact each other, which cannot be detected and cut out by a conventional method. This leads to an improvement in the recognition rate of the character pattern string.
[0074]
【The invention's effect】
As described above, even characters printed on a multicolored background can be reliably read without being affected by variations in the background pattern and the luminance value.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining problems of a conventional row range extraction process.
FIG. 2 is a diagram for explaining problems of a conventional binarization threshold value determining method.
FIG. 3 is a diagram showing a schematic configuration of a lottery postcard sorting apparatus to which the character reading apparatus of the present invention is applied.
FIG. 4 is a diagram showing a schematic configuration of a character reading apparatus according to the present invention.
FIG. 5 is a diagram showing an example of a multi-value image input to the character reading device according to the present embodiment.
6 is a diagram for explaining the outline of the processing operation of the character reading device in FIG. 4;
FIG. 7 is a diagram for explaining a processing operation of a row range extraction unit.
FIG. 8 is a diagram for explaining the processing method of step S3 of FIG. 7 in more detail.
FIG. 9 is a diagram for explaining the processing operation of the binarization unit;
FIG. 10 is a diagram for explaining a processing operation of a character detection cutout unit.
FIG. 11 is a diagram for explaining in more detail the cutout process in step S22 and the character pattern extraction process in step S23 of FIG. 10 by focusing on the character pattern in contact with the background pattern.
FIG. 12 is a diagram for explaining a peripheral pattern calculation method in step S31 of FIG. 11;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 101 ... Photoelectric conversion part 102 ... Line range extraction part 103 ... Binarization part 104 ... Character detection clipping part 105 ... Character recognition part

Claims

Means for scanning the partial image of the input image in a predetermined character string direction to obtain minimum projection information;
  High-frequency component removing means for removing high-frequency components from the minimum projection information;
  A row extraction means for extracting a row region based on the minimum projection information from which the high frequency component has been removed;
  Binarization means for binarizing the image of the row area extracted by the row extraction means;
  Labeling means for labeling the binarized image obtained by the binarization means;
  When a label of a character touching the background image is detected based on the size of each label obtained by the labeling means, a first character is cut out from the character label based on the peripheral characteristics of the label and a predetermined character size. Character extraction means,
  Second character cutting means for cutting out characters based on a predetermined character size and character spacing from the label obtained by the labeling means;
  Character reading means for recognizing characters cut out by the first and second character cutting means and reading character information of the input image;
  A character reading device comprising:

Means for scanning the partial image of the input image in a predetermined character string direction to obtain minimum projection information;
  High-frequency component removing means for removing high-frequency components from the minimum projection information;
  A line extraction means for differentiating the minimum projection information from which the high-frequency component has been removed, and extracting, as a row area, an area where the projection value is not changed between the position where the differential value is negative and the position where the differential value is positive; ,
  Means for obtaining the luminance distribution of the image of the row area extracted by the row extraction means;
  Means for determining a binarization threshold based on a luminance distribution obtained by deleting a distribution region corresponding to the luminance of the background of the luminance distribution according to a predetermined criterion;
  Binarization means for binarizing the image of the row region using the binarization threshold;
  Labeling means for labeling the binarized image obtained by the binarization means;
  When a label of a character touching the background image is detected based on the size of each label obtained by the labeling means, only the character is extracted from the character label based on the peripheral characteristics of the label and a predetermined character size and character spacing. First character cutting means for cutting;
  A second character cutout unit that cuts out a character based on a predetermined character size and character spacing when a label of the character is detected based on the label size obtained by the labeling unit;
  Character reading means for recognizing characters cut out by the first and second character cutting means and reading character information of the input image;
  A character reading device comprising:

The character according to claim 1, wherein the high-frequency component removing unit removes a high-frequency component from the minimum projection information according to a parameter determined based on a predetermined character height. Reader.

Scanning a partial image of the input image in a predetermined character string direction to obtain minimum projection information; and
  Removing high frequency components from the minimum projection information;
  Extracting a row region based on the minimum projection information from which the high frequency component has been removed;
  Binarizing the image of the extracted row region;
  Labeling the binarized image; and
  When a label of a touched character in the background image is detected based on the size of each label obtained by the labeling, a first character that cuts out only the character from the character label based on the peripheral characteristics of the label and a predetermined character size Character extraction step;
  A second character cutting step of cutting out characters based on a predetermined character size and character spacing from the label obtained by the labeling;
  Recognizing the character cut out in the first and second character cutting steps and reading the character information of the input image;
  A character reading method comprising:

Scanning a partial image of the input image in a predetermined character string direction to obtain minimum projection information; and
  Removing high frequency components from the minimum projection information;
  Differentiating the minimum projection information from which the high frequency component has been removed, a region where the projection value does not change sandwiched between a position where the differential value becomes a positive maximum value and a position where the differential value becomes a negative maximum value is defined as a row region. Extracting, and
  Obtaining a luminance distribution of the image of the extracted row region;
  Determining a binarization threshold based on a luminance distribution obtained by deleting a distribution area corresponding to the luminance of the background of the luminance distribution according to a predetermined criterion;
  Binarizing the image of the row region using the binarization threshold;
  Labeling the binarized image; and
  When a label of a touched character in the background image is detected based on the size of each label obtained by the labeling, a first character that cuts out only the character from the character label based on the peripheral characteristics of the label and a predetermined character size Character extraction step;
  A second character cutting step of cutting a character based on a predetermined character size and character spacing when a label of the character is detected based on the label size obtained by the labeling;
  Recognizing the character cut out in the first and second character cutting steps and reading the character information of the input image;
  A character reading method comprising:

6. The character reading method according to claim 4, wherein a high frequency component is removed from the minimum projection information within a range determined based on a predetermined character height.