JP4732626B2

JP4732626B2 - Form processing method, apparatus, and program

Info

Publication number: JP4732626B2
Application number: JP2001216880A
Authority: JP
Inventors: 和歳鵜飼
Original assignee: Glory Ltd
Current assignee: Glory Ltd
Priority date: 2001-07-17
Filing date: 2001-07-17
Publication date: 2011-07-27
Anticipated expiration: 2021-07-17
Also published as: JP2003030586A

Description

【０００１】
【発明の属する技術分野】
この発明は、帳票処理方法および装置並びにプログラムに関し、特に、地紋等のある帳票類の記載事項を認識する帳票処理方法および装置並びにプログラムに関する。
【０００２】
【従来の技術】
近年、画像処理技術や認識技術等の向上に伴って、様々な書類に対して文字認識処理を実施し、書類の記載事項を電子化する機会が増大してきている。このような文字認識処理を実施する装置としては、例えば、特開平４−１１１０８５号公報に記載されているパターン認識装置等がある。
【０００３】
文字認識処理は、印字された文字はもちろんのこと、手書きされた文字をも認識することができる。しかしながら、その認識率は、種々の条件によって変化し、その条件によっては、文字の認識率が大幅に低下してしまう場合がある。
【０００４】
例えば、文字認識処理の対象が帳票類である場合、当該帳票の下地に模様がある場合には、文字認識率が低下する可能性がある。特に、手形や小切手の金額欄等のように文字を記入する欄の下地に横縞模様等が入っている場合には、その傾向がより顕著である。
【０００５】
【発明が解決しようとする課題】
上述のように、帳票類に対して文字認識処理を施す場合、対象となる帳票類の下地に模様がある場合には、文字認識率が低下する場合があった。このため、文字認識処理に先立って、帳票を読み取って得た帳票画像から下地部分を除去することが考えられる。
【０００６】
しかしながら、無条件に帳票画像から下地部分を除去する処理を行った場合には、帳票画像によっては文字認識率が低下してしまうことがあった。
【０００７】
そこで、この発明は、帳票画像からの下地除去を適切に行い、当該帳票画像中の文字の認識率を向上させることのできる帳票処理方法および装置並びにプログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上述した目的を達成するため、請求項１の発明は、帳票を読み取って得た帳票画像に基づいて前記帳票の記入内容を認識する帳票処理方法において、前記帳票画像を読み取り、指定された領域の濃淡画像より文字が印字または記入されていない背景領域を切出し、前記切り出された背景領域に対して、背景の濃淡差を減少させる背景一様化処理を行い、前記背景一様化処理を行った帳票画像の各画素の方向毎の濃度勾配のうちの最大値を当該画素の濃度勾配強度とし、該濃度勾配強度値が所定値以上の画素が所定数以上ある場合に、前記背景領域に対して横縞模様や交差模様と縦縞模様との少なくとも一つの模様を除去するフィルタ処理を行い、該フィルタ処理の前後で、所定値以下の明るさの画素の数が所定割合以上減少した場合に、下地を除去する下地除去処理の前記認識における有効性があると判断し、前記有効性があると判定された場合は、前記帳票画像のうち、少なくとも文字記入欄に対して前記フィルタ処理による下地除去処理を実施し、前記下地除去処理を実施した後に前記記入内容の認識を行うことを特徴とする。
【０００９】
また、請求項２の発明は、帳票を読み取って得た帳票画像に基づいて前記帳票の記入内容を認識する帳票処理装置において、前記帳票画像を読み取り、指定された領域の濃淡画像より文字が印字または記入されていない背景領域を切り出す切出手段と、前記切出手段により切り出された背景領域に対して、背景の濃淡差を減少させる背景一様化処理を行う背景一様化手段と、前記背景一様化手段により背景一様化処理を行った帳票画像の各画素の方向毎の濃度勾配のうちの最大値を当該画素の濃度勾配強度とし、前記濃度勾配強度値が所定値以上の画素が所定数以上ある場合に、前記背景領域に対して横縞模様や交差模様と縦縞模様との少なくとも一つの模様を除去するフィルタ処理を行い、該フィルタ処理の前後で、所定値以下の明るさの画素の数が所定割合以上減少した場合に、下地を除去する下地除去処理の前記認識における有効性があると判断する有効性判断手段と、前記有効性判断手段により有効性があると判定された場合は、前記帳票画像のうち、少なくとも文字記入欄に対して前記フィルタ処理による下地除去処理を実施する下地除去手段と、前記下地除去手段による下地除去処理を実施した後に前記記入内容の認識を行う認識手段とを具備することを特徴とする。
【００１０】
また、請求項３の発明は、帳票を読み取って得た帳票画像に基づいて、コンピュータに前記帳票の記入内容を認識させる帳票処理プログラムにおいて、前記帳票画像を読み取り、指定された領域の濃淡画像より文字が印字または記入されていない背景領域を切り出す切出処理と、前記切出処理により切り出された背景領域に対して、背景の濃淡差を減少させる背景一様化処理と、前記背景一様化処理を行った帳票画像の各画素の方向毎の濃度勾配のうちの最大値を当該画素の濃度勾配強度とし、前記濃度勾配強度値が所定値以上の画素が所定数以上ある場合に、前記背景領域に対して横縞模様や交差模様と縦縞模様との少なくとも一つの模様を除去するフィルタ処理を行い、該フィルタ処理の前後で、所定値以下の明るさの画素の数が所定割合以上減少した場合に、下地を除去することの前記認識における有効性があると判断する有効性判断処理と、前記有効性判断処理により有効性があると判定された場合は、前記帳票画像のうち、少なくとも文字記入欄に対して前記フィルタ処理により下地を除去する下地除去処理と、前記下地除去処理を実施した後に前記記入内容の認識を行う認識処理とをコンピュータに実行させることを特徴とする。
【００１８】
【発明の実施の形態】
以下、この発明に係る帳票処理方法および装置並びにプログラムの一実施の形態について、添付図面を参照して詳細に説明する。
【００１９】
図１は、この発明を適用した帳票処理装置の構成例を示すブロック図である。
同図に示すように、帳票処理装置１０は、画像入力部１と画像保持部２、２値化部３、文字切出部４、下地除去部５、文字認識部６、辞書データ保持部７、結果判定部８、結果出力部９を具備して構成される。なお、この帳票処理装置１０は、ハードディスク等の周辺装置を含むコンピュータ装置および当該コンピュータ装置を動作させるソフトウェアにより構成することが可能である。
【００２０】
画像入力部１は、帳票を読み取って得た帳票画像を取得するもので、図示しないスキャナ等から出力される画像データを受け付ける。画像保持部２は、画像入力部１が取得した帳票画像を保持する。２値化部３は、画像保持部２が保持している帳票画像（濃度画像）を２値画像に変換する。文字切出部４は、２値化部３が出力する２値画像中の指定された領域（例えば、金額欄）内の文字を切り出し、文字が記載されている領域を特定する。下地除去部５は、画像保持部２に保持されている帳票画像から下地の除去を行う。文字認識部６は、帳票画像中の文字を認識する。辞書データ保持部７は、文字認識部６が文字認識を行う際に必要な辞書データを保持している。結果判定部８は、文字認識部６による文字認識の精度を判定し、認識結果を出力するか拒絶するかを判定する。結果出力部９は、結果判定部８の判定結果に従って、認識結果を出力する。
【００２１】
次に、帳票処理装置１０の動作について説明する。図２は、帳票処理装置１０の動作の流れを示すフローチャートである。
【００２２】
まず、帳票処理装置１０は、画像入力部１が帳票画像を取得し、これを画像保持部２に保持する（ステップ１０１）。
【００２３】
続いて、２値化部３および文字切出部４で特定された金額欄中の文字位置の情報を用い、背景領域切出処理を行う（ステップ１０２）。背景領域切出処理は、金額欄等の予め指定された領域内の背景領域（ここでは、指定された領域内のうち、文字が印字または記入されていない領域を背景領域と称する）を切り出す処理であるが、その詳細については後述する。
【００２４】
次に、下地除去部５により下地絵柄除去処理を行う（ステップ１０３）。下地絵柄除去処理は、画像保持部２に保持されている帳票画像から必要に応じて下地を除去する処理であるが、その詳細については後述する。
【００２５】
次に、文字認識部６により個別文字認識処理を行う（ステップ１０４）。個別文字認識処理は、辞書データ保持部７に保持されている辞書を参照して、帳票画像中の文字を認識する処理であるが、その詳細については後述する。
【００２６】
個別文字認識処理が終了すると、当該処理の結果に基づいて結果判定部８が、認識結果をリジェクトするか否かを判定する（ステップ１０５）。そして、その結果を結果出力部９が出力して（ステップ１０６）、処理を終了する。
【００２７】
次に、ステップ１０２の背景領域切出処理について説明する。図３は、背景領域切出処理の流れを示すフローチャートである。
【００２８】
背景領域切出処理では、まず、２値化部３が、画像保持部２に保持されている濃度画像を取得する（ステップ２０１）。ここで取得する濃度画像は、図４に示すような手形２０のうち金額欄２１等の部分画像や、図５に示すような小切手３０のうち金額欄３１等の部分画像である。この部分画像は、金額欄２１、３１以外にも文字が記入若しくは印字されている部分である場合もあり、その部分は、最終的に文字認識を施そうとする部分となる。なお、２値化部３は、必ずしも画像保持部２から濃度画像として部分画像を取得する必要はなく、帳票全体の濃度画像を取得した後に、必要な部分画像を予め指定された座標に基づいて取得するようにしてもよい。
【００２９】
続いて、２値化部３は、取得した濃度画像からノイズの除去を行い（ステップ２０２）、ノイズを除去した濃度画像を２値化する（ステップ２０３）。
【００３０】
次に、文字切出部４が、２値化部３により２値化された画像から文字を切り出す（ステップ２０４）。ここでの文字の切り出しは、文字認識を行うためではなく、文字が記入若しくは印字されている部分を特定するために行うものである。文字の切り出しを終えると、文字切出部４は、他の部分、つまり、文字が記入若しくは印字されていない部分を背景領域として決定する（ステップ２０５）。例えば、図６（ａ）に示す金額欄のように文字が左寄りに印字されている場合には、右寄りの領域４１を背景領域とし、図６（ｂ）に示す金額欄のように文字が右寄りに印字されている場合には、左寄りの領域４２を背景領域とする。また、２値化部３が２値化した画像が、小切手の振出日欄であった場合には、図７に示すように、文字が記入若しくは印字されていない領域４３を背景領域とする。
【００３１】
次に、ステップ１０３の下地絵柄除去処理について説明する。図８は、下地絵柄除去処理の流れを示すフローチャートである。
【００３２】
下地絵柄除去処理は、下地除去部５によって行われるが、下地除去部５は、まず、画像保持部２から濃度画像を取得する（ステップ３０１）。ここで取得する濃度画像は、上述の２値化部３が取得した濃度画像と同様に金額欄２１や金額欄３１等の部分画像である。なお、説明の都合上、ここで取得した濃度画像を「Image0」と称することとする。
【００３３】
続いて、下地除去部５は、取得した濃度画像(Image0)から背景領域切出処理で決定された背景領域を切り出す（ステップ３０２）。同様に、切り出した背景領域を「Image1」と称することとする。
【００３４】
次に、下地除去部５は、切り出した背景領域(Image1)に対して背景一様化処理を施す（ステップ３０３）。背景一様化処理は、背景の濃淡差を減少させる処理であり、その処理の流れは、図９に示すようになる。図９は、背景一様化処理の流れを示すフローチャートである。
【００３５】
背景一様化処理では、下地除去部５が、まず、背景領域の画像(Image1)を取得する（ステップ３３１）。そして、取得した画像の濃度値のヒストグラムを作成し（ステップ３３２）、そのピーク値の濃度値Ａを算出する（ステップ３３３）。濃度値Ａを算出すると、Image1に対して濃度値Ａ以上の濃度の全ての画素を濃度値Ａの画素に変換し（ステップ３３４）、その変換した画像を出力する（ステップ３３５）。この処理により、ステップ３３２で作成したヒストグラムが、例えば、図１０（ａ）に示すようなものである場合には、その処理結果は、同図（ｂ）に示すようなものとなる。なお、図１０においては、濃度値を８ビットで表し、濃度値０が黒、濃度値２５５が白となる。
【００３６】
ところで、背景領域の画像(Image1)の濃度のヒストグラムは、その画像によって異なるものである。例えば、背景が縞模様の場合、比較的黒色に近い縞の幅が比較的白色に近い縞の幅よりも狭い場合には、図１１（ａ）に示すような濃度ヒストグラムとなり、比較的黒色に近い縞の幅が比較的白色に近い縞の幅よりも広い場合には、図１１（ｂ）に示すような濃度ヒストグラムとなる。いずれの場合も、背景一様化処理を施すことで、白色に近い側の画素が濃度値Ａの画素に変更されることとなる。なお、同様に、背景一様化処理を施した画像を「Image2」と称する。
【００３７】
さて、背景一様化処理が終了すると、下地除去部５は、背景一様化処理が施された画像(Image2)の各画素の強度値Ｂを算出する（図８、ステップ３０４）。強度値Ｂの算出は、ロビンソンオペレータにより算出する。ロビンソンオペレータは、各画素の濃度勾配の強度を強度値として求めることができるが、その強度値の算出方法については、その詳細は、特開平４−１１１０８５号公報に記載されており、ここでは概略のみを説明する。
【００３８】
図１２は、ロビンソンオペレータを示した図であり、ロビンソンオペレータは、３×３画素の各画素に重みが付けられている８種類のマスクＭ０〜Ｍ７で構成されている。各マスクＭ０〜Ｍ７は、そのマスクが有する方向の勾配強度を抽出するためのものである。例えば、マスクＭ０により画像を走査すれば、各画素毎に図中上方向の勾配強度が求められる。同様に、マスクＭ１〜Ｍ７により画像を走査することによって、各画素毎に８方向毎の濃度勾配強度を求めることができる。このようにして各画素毎に求めた濃度勾配強度の中から最大値のものを当該画素の濃度勾配強度とする。
【００３９】
Image2の各画素の強度値Ｂを求めると、下地除去部５は、その強度値Ｂが所定の値（例えば１５）以上の画素が一定数以上あるか否かを判定する（図８、ステップ３０５）。ここでは、強度値が所定値以上の画素が一定数以上あるということは、その画像が文字認識に影響を与えるものとしている。
【００４０】
判定の結果、強度値が所定値以上の画素が一定数以上あった場合には（ステップ３０５でＹＥＳ）、下地除去部５は、背景領域の画像(Image1)に対してフィルタ処理を施す（ステップ３０６）。このフィルタ処理では、Image1に対して、例えば、図１３（ａ）に示す垂直メジアンフィルタを用いる。垂直メジアンフィルタは、横縞模様や交差模様の除去に有効なフィルタである。
【００４１】
垂直メジアンフィルタをかけた場合、ある注目画素に対して、注目画素と、その上下それぞれの４画素の計９画素のそれぞれの濃度値を取得し、その中央値、つまり、９画素の濃度値を昇順若しくは降順に並べた際の５番目の濃度値の値を注目画素の濃度値とするものである。これにより、９画素中で比較的暗い部分が４画素以下であれば、その注目画素は、比較的明るい濃度値に変わるため、結果的に比較的細くて黒い部分がなくなることになる。
【００４２】
また、ステップ３０６のフィルタ処理に際しては、図１３（ｂ）に示す水平メジアンフィルタを用いてもよい。この水平メジアンフィルタは、縦縞模様の除去に有効なものであるため、垂直メジアンフィルタと水平メジアンフィルタを処理対象の画像に応じて使い分けてもよく、両者を同時に利用してもよい。なお、同様に、フィルタ処理を施した画像を「Image3」と称する。
【００４３】
フィルタ処理が終了すると、下地除去部５は、背景領域の画像(Image1)を２値化するための２値化しきい値Ｃを算出し（ステップ３０７）、Image1のしきい値Ｃ以下の濃度値の画素数Ｄを算出するとともに（ステップ３０８）、Image3のしきい値Ｃ以下の濃度値の画素数Ｅを算出する（ステップ３０９）。そして、画素数Ｅが画素数Ｄの２分の１以下であった場合には（ステップ３１０でＹＥＳ）、Image3を作成したのと同様のフィルタ処理を濃度画像(Image0)に施し（ステップ３１１）、その結果得られた濃度画像（Image4と称する）を出力して処理を終了する（ステップ３１２）。
【００４４】
ところで、ステップ３１０で画像数Ｅが画素数Ｄの２分の１以下であるか否かを判定しているのは、フィルタ処理の有効性を確認しているもので、ここでは、図１４（ａ）に示すようなImage1の濃度ヒストグラムが、フィルタ処理により(Image3)、図１４（ｂ）に示すような濃度ヒストグラムとなったことを確認している。つまり、フィルタ処理により、濃度ヒストグラムに現れる比較的明るい濃度の山と比較的暗い濃度の山のうち、比較的暗い濃度の山が減少したことが確認できればよいものとしている。これは、比較的明るい濃度の山は、上述した背景一様化処理で減少させることができるためである。
【００４５】
また、ステップ３０６のフィルタ処理において、垂直メジアンフィルタのみを用いた場合に、画像数Ｅが画素数Ｄの２分の１未満であった場合には、ステップ３０６に戻って、水平メジアンフィルタを用いたフィルタ処理を行うようにしてもよい。
【００４６】
ここで、メジアンフィルタについて補足すると、メジアンフィルタは、その窓幅を変更することで、その性質を変更することができる。例えば、上述の説明では、メジアンフィルタの窓幅を９としているが、この窓幅は、帳票類に多く使われる背景模様とチェックライタにより印字される文字を考慮して決定したのもである。チェックライタ文字には、縦縞と横縞のいずれかを有しているものがあるが、通常、黒色部分の割合が多い縞模様となっている。そして、メジアンフィルタの窓幅の設定により、チャックライタ文字の特徴を除去することなく、背景模様のみを除去することが可能となる。
【００４７】
一方、Image2の各画素の強度値Ｂを求めた際に、その強度値Ｂから当該画像がが文字認識に影響を与えない、つまり、強度値Ｂが所定の値（例えば１５）以上の画素が一定数未満であると判定した場合や（ステップ３０５でＮＯ）、フィルタ処理の有効性が確認できなかった、つまり、画素数Ｅが画素数Ｄの２分の１を越えた場合には（ステップ３１０でＮＯ）、下地除去部５は、画像保持部２から取得した濃度画像(Image0)をそのまま出力して処理を終了する（ステップ３１３）。
【００４８】
最後に、ステップ１０４の個別文字認識処理について説明する。個別文字認識処理については、従来から実施されているどのような方法を用いてもよく、例えば、特開平４−１１１０８５号公報に記載されている方法を用いてもよい。このため、ここでは、個別文字認識処理については、概略のみを説明する。
【００４９】
図１５は、個別文字認識処理の流れを示すフローチャートである。個別文字認識処理は、文字認識部６が、下地除去部５の処理結果の画像（上述のImage0若しくはImage4）に対して行うもので、ます、当該画像に対して背景一様化処理を行う（ステップ４０１）。この背景一様化処理は、上述したものと同様の処理であり、背景の濃淡差を減少させる。
【００５０】
続いて、文字認識部６は、背景一様化処理を施した画像に対して、そのコントラストの強調処理と（ステップ４０２）、平滑化処理を処理を実行する（ステップ４０３）。そして、平滑化を行った画像から文字の特徴量を算出し（ステップ４０４）、その特徴量を用いて辞書データ保持部７に保持されている辞書データとのマッチング処理を行い（ステップ４０５）、処理を終了する。
【００５１】
【発明の効果】
以上説明したように、この発明によれば、帳票を読み取って得た帳票画像に対して、その一部分に下地除去処理を実施し、当該下地除去処理を実施した場合の有効性を確認した後に、帳票画像全体に対して下地除去処理を実施して文字認識処理を行うように構成したので、下地除去処理が有効な帳票画像に対しては、下地除去により文字認識の認識率を向上させることができ、下地除去処理が不要な帳票画像に対しては、下地除去処理を行わず、認識率の低下を回避できる。
【図面の簡単な説明】
【図１】この発明を適用した帳票処理装置の構成例を示すブロック図である。
【図２】帳票処理装置１０の動作の流れを示すフローチャートである。
【図３】背景領域切出処理の流れを示すフローチャートである。
【図４】手形の画像例を示した図である。
【図５】小切手の画像例を示した図である。
【図６】背景領域の決定方法を説明するための図（１）である。
【図７】背景領域の決定方法を説明するための図（２）である。
【図８】下地絵柄除去処理の流れを示すフローチャートである。
【図９】背景一様化処理の流れを示すフローチャートである。
【図１０】背景一様化処理を説明するための濃度ヒストグラムの例を示した図（１）である。
【図１１】背景一様化処理を説明するための濃度ヒストグラムの例を示した図（２）である。
【図１２】ロビンソンオペレータを示した図である。
【図１３】メジアンフィルタの構成例を示した図である。
【図１４】フィルタ処理の有効性を説明するための図である。
【図１５】個別文字認識処理の流れを示すフローチャートである。
【符号の説明】
１画像入力部
２画像保持部
３２値化部
４文字切出部
５下地除去部
６文字認識部
７辞書データ保持部
８結果判定部
９結果出力部
１０帳票処理装置
２０手形
２１金額欄
３０小切手
３１金額欄
４１領域
４２領域
４３領域
Ｍ０マスク
Ｍ１マスク
Ｍ２マスク
Ｍ３マスク
Ｍ４マスク
Ｍ５マスク
Ｍ６マスク
Ｍ７マスク[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a form processing method, apparatus, and program, and more particularly, to a form processing method, apparatus, and program for recognizing the description items of forms such as a background pattern.
[0002]
[Prior art]
In recent years, along with improvements in image processing technology, recognition technology, and the like, there are increasing opportunities to perform character recognition processing on various documents and digitize the items described in the documents. As an apparatus for performing such character recognition processing, for example, there is a pattern recognition apparatus described in Japanese Patent Laid-Open No. 4-111085.
[0003]
The character recognition process can recognize not only printed characters but also handwritten characters. However, the recognition rate varies depending on various conditions, and the character recognition rate may be significantly lowered depending on the conditions.
[0004]
For example, when the object of character recognition processing is a form, and there is a pattern on the background of the form, the character recognition rate may be reduced. This tendency is more conspicuous particularly when a horizontal stripe pattern or the like is included in the background of a field for entering characters such as a bill or check amount field.
[0005]
[Problems to be solved by the invention]
As described above, when character recognition processing is performed on a form or the like, if there is a pattern on the background of the target form or the like, the character recognition rate may decrease. For this reason, it is conceivable to remove the background portion from the form image obtained by reading the form prior to the character recognition process.
[0006]
However, when the process of removing the background portion from the form image unconditionally is performed, the character recognition rate may be lowered depending on the form image.
[0007]
Therefore, an object of the present invention is to provide a form processing method, apparatus, and program that can appropriately remove the background from the form image and improve the recognition rate of characters in the form image.
[0008]
[Means for Solving the Problems]
In order to achieve the above-mentioned object, the invention of claim 1 is a form processing method for recognizing the entry contents of the form based on the form image obtained by reading the form . A background area in which characters are not printed or filled out from a grayscale image is cut out, a background uniformization process is performed on the cutout background area to reduce a background grayscale difference, and the background uniformization process is performed. When the maximum value of the density gradients in the direction of each pixel of the form image is the density gradient intensity of the pixel, and the density gradient intensity value is equal to or greater than a predetermined number, the background area When a filter process is performed to remove at least one of a horizontal stripe pattern, a cross pattern, and a vertical stripe pattern, and before and after the filter process, the number of pixels having a brightness equal to or lower than a predetermined value is decreased by a predetermined ratio or more, If it is determined that the background removal processing to be removed is effective in the recognition, and if it is determined to be effective, the background removal processing by the filter processing is performed on at least the character entry column of the form image. And the entry content is recognized after the background removal process.
[0009]
According to a second aspect of the present invention, in the form processing apparatus for recognizing the entry contents of the form based on the form image obtained by reading the form, the form image is read and characters are printed from the grayscale image of the designated area. Or a cutting out means for cutting out a background area that is not filled, and a background uniformizing means for performing a background uniformizing process for reducing the difference in density of the background with respect to the background area cut out by the cutting out means; The maximum value of the density gradients in the direction of each pixel of the form image subjected to background uniformization processing by the background uniformizing means is the density gradient strength of the pixel, and the pixels having the density gradient strength value equal to or greater than a predetermined value Is applied to the background area to remove at least one pattern of horizontal stripes, crossing patterns and vertical stripes, and before and after the filter process, the brightness of a predetermined value or less When the number of primes has decreased by a predetermined percentage or more, the effectiveness determination means for determining that the background removal process for removing the background is effective in the recognition, and the effectiveness determination means have determined that there is effectiveness. In this case, at least the character entry column in the form image is subjected to background removal processing by the background processing by the filter processing, and the entry content is recognized after the background removal processing by the background removal device is performed. And a recognition means .
[0010]
According to a third aspect of the present invention, in the form processing program for causing a computer to recognize the entry contents of the form on the basis of the form image obtained by reading the form, the form image is read and the grayscale image of the designated area is used. A cutout process for cutting out a background area in which characters are not printed or written, a background uniformizing process for reducing a background density difference for the background area cut out by the cutout process, and the background uniformization When the maximum value of the density gradients in the direction of each pixel of the processed form image is set as the density gradient intensity of the pixel, and the number of pixels having the density gradient intensity value equal to or larger than a predetermined value is greater than or equal to a predetermined number, the background A filtering process is performed on the region to remove at least one of a horizontal stripe pattern, a cross pattern, and a vertical stripe pattern, and before and after the filtering process, the number of pixels having a brightness equal to or lower than a predetermined value is a predetermined percentage. If it is determined that the effectiveness of the removal of the background is effective in the recognition and the effectiveness determination process determines that the removal of the background is effective, Further, the present invention is characterized in that at least a background removal process for removing a background by the filtering process on at least a character entry column and a recognition process for recognizing the entry content after the background removal process is performed .
[0018]
DETAILED DESCRIPTION OF THE INVENTION
DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, an embodiment of a form processing method and apparatus and a program according to the present invention will be described in detail with reference to the accompanying drawings.
[0019]
FIG. 1 is a block diagram showing a configuration example of a form processing apparatus to which the present invention is applied.
As shown in the figure, the form processing apparatus 10 includes an image input unit 1, an image holding unit 2, a binarizing unit 3, a character cutting unit 4, a background removing unit 5, a character recognition unit 6, and a dictionary data holding unit 7. The result determination unit 8 and the result output unit 9 are provided. The form processing apparatus 10 can be configured by a computer device including peripheral devices such as a hard disk and software for operating the computer device.
[0020]
The image input unit 1 acquires a form image obtained by reading a form, and accepts image data output from a scanner or the like (not shown). The image holding unit 2 holds the form image acquired by the image input unit 1. The binarizing unit 3 converts the form image (density image) held by the image holding unit 2 into a binary image. The character cutout unit 4 cuts out characters in a designated area (for example, a monetary amount column) in the binary image output from the binarization unit 3 and specifies an area in which the characters are described. The background removal unit 5 removes the background from the form image held in the image holding unit 2. The character recognition unit 6 recognizes characters in the form image. The dictionary data holding unit 7 holds dictionary data necessary for the character recognition unit 6 to perform character recognition. The result determination unit 8 determines the accuracy of character recognition by the character recognition unit 6 and determines whether to output the recognition result or reject it. The result output unit 9 outputs the recognition result according to the determination result of the result determination unit 8.
[0021]
Next, the operation of the form processing apparatus 10 will be described. FIG. 2 is a flowchart showing an operation flow of the form processing apparatus 10.
[0022]
First, in the form processing apparatus 10, the image input unit 1 acquires a form image and holds it in the image holding unit 2 (step 101).
[0023]
Subsequently, using the information on the character position in the amount column specified by the binarizing unit 3 and the character extracting unit 4, a background region extracting process is performed (step 102). The background area extraction process is a process of cutting out a background area in a predetermined area such as a money amount field (here, an area in which no characters are printed or filled in the specified area is referred to as a background area). The details will be described later.
[0024]
Next, a background pattern removal process is performed by the background removal unit 5 (step 103). The background pattern removal process is a process of removing the background from the form image held in the image holding unit 2 as necessary, and details thereof will be described later.
[0025]
Next, individual character recognition processing is performed by the character recognition unit 6 (step 104). The individual character recognition process is a process for recognizing characters in the form image with reference to the dictionary held in the dictionary data holding unit 7, and details thereof will be described later.
[0026]
When the individual character recognition process ends, the result determination unit 8 determines whether or not to reject the recognition result based on the result of the process (step 105). And the result output part 9 outputs the result (step 106), and complete | finishes a process.
[0027]
Next, the background area extraction process in step 102 will be described. FIG. 3 is a flowchart showing the flow of the background region extraction process.
[0028]
In the background region extraction process, first, the binarizing unit 3 acquires a density image held in the image holding unit 2 (step 201). The density image acquired here is a partial image such as the money amount column 21 in the bill 20 as shown in FIG. 4 or a partial image such as the money amount column 31 in the check 30 as shown in FIG. This partial image may be a portion where characters are entered or printed in addition to the money amount fields 21 and 31, and that portion is finally a portion to be subjected to character recognition. The binarizing unit 3 does not necessarily need to acquire a partial image as a density image from the image holding unit 2, and after acquiring the density image of the entire form, the necessary partial image is obtained based on coordinates designated in advance. You may make it acquire.
[0029]
Subsequently, the binarizing unit 3 removes noise from the acquired density image (step 202), and binarizes the density image from which noise has been removed (step 203).
[0030]
Next, the character cutout unit 4 cuts out characters from the image binarized by the binarization unit 3 (step 204). The character segmentation here is not performed for character recognition but for identifying a portion where characters are entered or printed. When the character cutout is completed, the character cutout unit 4 determines another portion, that is, a portion where no character is entered or printed as a background region (step 205). For example, when a character is printed to the left as in the amount column shown in FIG. 6A, the right region 41 is used as the background region, and the character is shifted to the right as in the amount column shown in FIG. 6B. Is printed on the left side, the area 42 on the left side is set as the background area. When the binarized image by the binarization unit 3 is a check date column, as shown in FIG. 7, an area 43 where no characters are entered or printed is set as a background area.
[0031]
Next, the background pattern removal process in step 103 will be described. FIG. 8 is a flowchart showing the flow of the background pattern removal process.
[0032]
The background pattern removal process is performed by the background removal unit 5, and the background removal unit 5 first acquires a density image from the image holding unit 2 (step 301). The density image acquired here is a partial image such as the money amount column 21 and the money amount column 31 like the density image acquired by the binarization unit 3 described above. For convenience of explanation, the acquired density image is referred to as “Image0”.
[0033]
Subsequently, the background removing unit 5 cuts out the background area determined by the background area cutting process from the acquired density image (Image0) (step 302). Similarly, the cut-out background area is referred to as “Image1”.
[0034]
Next, the background removing unit 5 performs background equalization processing on the cut-out background region (Image1) (step 303). The background uniformizing process is a process of reducing the background density difference, and the flow of the process is as shown in FIG. FIG. 9 is a flowchart showing the flow of background uniformization processing.
[0035]
In the background uniformization process, the background removal unit 5 first acquires an image (Image1) of the background area (step 331). Then, a histogram of density values of the acquired image is created (step 332), and the density value A of the peak value is calculated (step 333). When the density value A is calculated, all pixels having a density equal to or higher than the density value A for Image1 are converted to pixels of density value A (step 334), and the converted image is output (step 335). As a result of this processing, when the histogram created in step 332 is as shown in FIG. 10A, for example, the processing result is as shown in FIG. In FIG. 10, the density value is represented by 8 bits, the density value 0 is black, and the density value 255 is white.
[0036]
By the way, the density histogram of the image (Image 1) in the background region differs depending on the image. For example, when the background is a striped pattern, if the width of the stripes that are relatively black is narrower than the width of the stripes that are relatively white, the density histogram shown in FIG. When the width of the near stripe is wider than the width of the stripe near relatively white, a density histogram as shown in FIG. In any case, by performing the background uniformization process, the pixel on the side close to white is changed to a pixel of density value A. Similarly, an image that has undergone background uniformization processing is referred to as “Image2”.
[0037]
Now, when the background uniformizing process is completed, the background removing unit 5 calculates the intensity value B of each pixel of the image (Image2) subjected to the background uniformizing process (FIG. 8, step 304). The intensity value B is calculated by the Robinson operator. The Robinson operator can determine the intensity of the density gradient of each pixel as an intensity value. Details of the intensity value calculation method are described in Japanese Patent Laid-Open No. 4-111085. I will explain only.
[0038]
FIG. 12 is a diagram showing the Robinson operator. The Robinson operator is composed of eight types of masks M0 to M7 in which each pixel of 3 × 3 pixels is weighted. Each of the masks M0 to M7 is for extracting the gradient strength in the direction of the mask. For example, if the image is scanned with the mask M0, the gradient strength in the upward direction in the figure is obtained for each pixel. Similarly, by scanning the image with the masks M1 to M7, it is possible to obtain the density gradient strength for each of the eight directions for each pixel. In this way, the maximum value of the density gradient intensities obtained for each pixel is set as the density gradient intensity of the pixel.
[0039]
When the intensity value B of each pixel of Image2 is obtained, the background removal unit 5 determines whether or not there are a certain number or more of pixels whose intensity value B is equal to or greater than a predetermined value (for example, 15) (FIG. 8, step 305). ). Here, the fact that there are more than a certain number of pixels having an intensity value equal to or greater than a predetermined value means that the image affects character recognition.
[0040]
As a result of the determination, if there are a certain number of pixels having an intensity value equal to or greater than a predetermined value (YES in step 305), the background removal unit 5 performs a filtering process on the image (Image1) in the background area (step 1). 306). In this filter processing, for example, a vertical median filter shown in FIG. The vertical median filter is an effective filter for removing horizontal stripe patterns and cross patterns.
[0041]
When the vertical median filter is applied, the density value of a total of nine pixels including the target pixel and the four pixels above and below the target pixel is obtained for a certain target pixel, and the median value, that is, the density value of nine pixels is obtained. The value of the fifth density value when arranged in ascending or descending order is used as the density value of the target pixel. As a result, if the relatively dark portion in 9 pixels is 4 pixels or less, the target pixel changes to a relatively bright density value, and as a result, the relatively thin and black portion disappears.
[0042]
In the filtering process in step 306, a horizontal median filter shown in FIG. 13B may be used. Since this horizontal median filter is effective for removing the vertical stripe pattern, the vertical median filter and the horizontal median filter may be used properly according to the image to be processed, or both may be used simultaneously. Similarly, the image subjected to the filter process is referred to as “Image3”.
[0043]
When the filtering process is completed, the background removal unit 5 calculates a binarization threshold C for binarizing the image (Image1) in the background area (step 307), and the density value equal to or lower than the threshold C of Image1. The number of pixels D is calculated (step 308), and the number E of pixels having a density value equal to or lower than the threshold value C of Image3 is calculated (step 309). If the number of pixels E is less than half of the number of pixels D (YES in step 310), the same filter processing as that for creating Image3 is applied to the density image (Image0) (step 311). Then, the resulting density image (referred to as Image4) is output and the process is terminated (step 312).
[0044]
Incidentally, whether or not the number of images E is less than or equal to one-half of the number of pixels D in step 310 is the confirmation of the effectiveness of the filter processing. Here, FIG. It has been confirmed that the density histogram of Image1 as shown in a) has become a density histogram as shown in FIG. 14B by filtering (Image3). That is, it is only necessary to confirm that a relatively dark density peak among the relatively bright density peaks and the relatively dark density peaks appearing in the density histogram is reduced by the filter processing. This is because a relatively light density peak can be reduced by the above-described background uniformization process.
[0045]
If only the vertical median filter is used in the filtering process of step 306 and the number of images E is less than half the number of pixels D, the process returns to step 306 to use the horizontal median filter. The filtering process may be performed.
[0046]
Here, supplementing the median filter, the median filter can change its property by changing its window width. For example, in the above description, the window width of the median filter is set to 9, but this window width is determined in consideration of a background pattern often used for forms and characters printed by a check writer. Some checkwriter characters have either vertical stripes or horizontal stripes, but usually have a striped pattern with a large proportion of black portions. By setting the window width of the median filter, only the background pattern can be removed without removing the characteristics of the chuck writer character.
[0047]
On the other hand, when the intensity value B of each pixel of Image2 is obtained, the image does not affect character recognition from the intensity value B, that is, pixels whose intensity value B is a predetermined value (for example, 15) or more. If it is determined that the number is less than a certain number (NO in step 305), the effectiveness of the filtering process cannot be confirmed, that is, if the number of pixels E exceeds one half of the number of pixels D (step In step 310, the background removal unit 5 outputs the density image (Image0) acquired from the image holding unit 2 as it is and ends the processing (step 313).
[0048]
Finally, the individual character recognition process in step 104 will be described. For the individual character recognition process, any method conventionally used may be used. For example, a method described in Japanese Patent Laid-Open No. 4-111085 may be used. For this reason, only an outline of the individual character recognition process will be described here.
[0049]
FIG. 15 is a flowchart showing the flow of the individual character recognition process. The individual character recognition process is performed by the character recognition unit 6 on an image (Image0 or Image4 described above) as a result of processing by the background removal unit 5, and a background uniformization process is performed on the image (see FIG. Step 401). This background uniformization process is the same process as described above, and reduces the difference in density of the background.
[0050]
Subsequently, the character recognition unit 6 performs contrast enhancement processing (step 402) and smoothing processing (step 403) on the image subjected to the background uniformization processing. Then, the feature amount of the character is calculated from the smoothed image (step 404), matching processing with the dictionary data held in the dictionary data holding unit 7 is performed using the feature amount (step 405), The process ends.
[0051]
【The invention's effect】
As described above, according to the present invention, a form image obtained by reading a form is subjected to a background removal process on a part thereof, and after confirming the effectiveness when the background removal process is performed, Since the background removal process is performed on the entire form image to perform the character recognition process, it is possible to improve the recognition rate of character recognition by removing the background for the form image for which the background removal process is effective. In addition, for a form image that does not require background removal processing, the background removal processing is not performed, and a reduction in recognition rate can be avoided.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration example of a form processing apparatus to which the present invention is applied.
FIG. 2 is a flowchart showing an operation flow of the form processing apparatus 10;
FIG. 3 is a flowchart showing a flow of background region extraction processing;
FIG. 4 is a diagram illustrating an example of a bill image.
FIG. 5 is a diagram showing an example of an image of a check.
FIG. 6 is a diagram (1) illustrating a method for determining a background region.
FIG. 7 is a diagram (2) for explaining a background region determination method;
FIG. 8 is a flowchart showing the flow of a background pattern removal process.
FIG. 9 is a flowchart showing a flow of background equalization processing.
FIG. 10 is a diagram (1) illustrating an example of a density histogram for explaining background uniformization processing;
FIG. 11 is a diagram (2) illustrating an example of a density histogram for explaining background uniformization processing;
FIG. 12 is a diagram showing a Robinson operator.
FIG. 13 is a diagram illustrating a configuration example of a median filter.
FIG. 14 is a diagram for explaining the effectiveness of filter processing.
FIG. 15 is a flowchart showing a flow of individual character recognition processing.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Image input part 2 Image holding part 3 Binarization part 4 Character extraction part 5 Background removal part 6 Character recognition part 7 Dictionary data holding part 8 Result judgment part 9 Result output part 10 Form processing apparatus 20 Bill 21 Amount of money column 30 Check 31 Amount field 41 Area 42 Area 43 Area M0 Mask M1 Mask M2 Mask M3 Mask M4 Mask M5 Mask M6 Mask M7 Mask

Claims

In the form processing method for recognizing the entry contents of the form based on the form image obtained by reading the form,
Read the form image, cut out the background area where characters are not printed or filled in from the shaded image of the specified area,
A background uniformizing process is performed on the cut-out background area to reduce a background gradation difference,
The maximum value of the density gradients in the direction of each pixel of the form image subjected to the background uniforming process is set as the density gradient intensity of the pixel, and there are a predetermined number or more of pixels having the density gradient intensity value equal to or larger than a predetermined value. A filtering process for removing at least one of a horizontal stripe pattern, a cross pattern, and a vertical stripe pattern is performed on the background area, and the number of pixels having a brightness equal to or lower than a predetermined value is determined before and after the filtering process. When the ratio is reduced by more than a percentage, it is determined that the background removal process for removing the background is effective in the recognition,
If it is determined that there is validity, at least the character entry column of the form image is subjected to the background removal process by the filter process,
The form processing method, wherein the entry content is recognized after the background removal processing is performed.

In the form processing device that recognizes the entry contents of the form based on the form image obtained by reading the form,
A cutting means for reading the form image and cutting out a background area in which characters are not printed or filled in from a grayscale image of a designated area;
A background uniformizing means for performing a background uniformizing process for reducing a background density difference with respect to the background region cut out by the cutting means;
The maximum value of the density gradients in the direction of each pixel of the form image subjected to background uniformization processing by the background uniformizing unit is set as the density gradient strength of the pixel, and the density gradient strength value is equal to or greater than a predetermined value. When the number of pixels is greater than or equal to a predetermined number, the background region is subjected to a filter process for removing at least one of a horizontal stripe pattern, an intersecting pattern, and a vertical stripe pattern, and the brightness is equal to or less than a predetermined value before and after the filter process. Effectiveness determination means for determining that the recognition of the background removal processing for removing the background is effective in the recognition when the number of pixels decreases by a predetermined percentage or more;
If it is determined that the validity determination means is effective, the background removal means for performing the background removal processing by the filter processing on at least the character entry column of the form image,
A form processing apparatus comprising: recognition means for recognizing the entry content after performing the background removal processing by the background removal means .

Based on the form image obtained by reading the form, in the form processing program for causing the computer to recognize the entry contents of the form,
A cutting process for reading out the form image and cutting out a background area in which characters are not printed or filled in from a grayscale image of a designated area;
A background uniformization process for reducing a background shade difference with respect to a background region cut out by the cutting process;
The maximum value of the density gradients in the direction of each pixel of the form image subjected to the background uniforming process is defined as the density gradient intensity of the pixel, and there are a predetermined number or more of pixels having the density gradient intensity value equal to or greater than a predetermined value. A filtering process for removing at least one of a horizontal stripe pattern, a cross pattern, and a vertical stripe pattern is performed on the background area, and the number of pixels having a brightness equal to or lower than a predetermined value is determined before and after the filtering process. An effectiveness determination process for determining that the removal of the background is effective in the recognition when the ratio is decreased by more than a ratio ;
If it is determined that the validity is determined by the validity determination process, a background removal process for removing the background by the filter process for at least the character entry column in the form image;
A recognition process for recognizing the written content after performing the background removal process;
A form processing program characterized by causing a computer to execute .