JP4300083B2

JP4300083B2 - Form reader

Info

Publication number: JP4300083B2
Application number: JP2003325409A
Authority: JP
Inventors: 好博嶋; 征飯田; 正一石井
Original assignee: Hitachi Computer Peripherals Co Ltd; Hitachi Ltd
Current assignee: Hitachi Ltd; Hitachi Information and Telecommunication Engineering Ltd
Priority date: 2003-09-18
Filing date: 2003-09-18
Publication date: 2009-07-22
Anticipated expiration: 2023-09-18
Also published as: JP2005092543A

Description

本発明は赤色の印鑑が押印された帳票から印影を除去した画像を生成して文字を読み取る帳票読取り装置に関する。 The present invention relates to a form reading apparatus that generates an image from which a seal is removed from a form with a red seal stamp and reads characters.

帳票の画像をスキャナで採取し文字認識を行なう場合、帳票中の印影が文字と重なり文字認識の邪魔になることがある。そこで、文字認識の障害となる帳票中の印影を除去する必要がある。従来、特開平５−２８３１３号公報（特許文献１）では、印影を除去する方法として、赤色フィルタと青色フィルタを併設し、赤色フィルタによって赤色の印影がドロップアウト（脱落）することが記載されている。また、従来、特開平８−２１２２９４号公報（特許文献２）では、印影読取りモードと文字読取りモードを設け、印影の色成分のみを有効なドットとして印影色イメージデータを生成することが記載されている。また、従来、特開平９−８１６６６号公報（特許文献３）、特開２００２−１８３６６１号公報（特許文献４）では、印鑑の色と記入文字の色が異なる場合、色分離により印鑑の色部分のみを取り出して、取り消し線が記載された位置を基に印鑑が存在するかどうかの判定を行なうことが記載されている。また、従来、特開２０００−２５１０７２号公報（特許文献５）では、押印と同色のプレ印刷を含む帳票画像からプレ印刷画像を除去して印影を抽出することが記載されている。従来、特開２００２−２６９５４７号公報（特許文献６）では、白黒画像の黒ランを用いて、角印と捺印欄枠とを区別して印影を抽出することが記載されている。また、従来、特開平８−２２１５０７号公報（特許文献７）では、文末に押印された印影部分を文字認識結果と文末に出現する可能性のある単語と比較して検証し、文字認識結果に含まれる印影部分を除去することが記載されている。 When a form image is collected by a scanner and character recognition is performed, an imprint in the form may overlap with characters and interfere with character recognition. Therefore, it is necessary to remove the imprint in the form that becomes an obstacle to character recognition. Conventionally, in Japanese Patent Laid-Open No. 5-28313 (Patent Document 1), as a method for removing an imprint, a red filter and a blue filter are provided together, and the red imprint is dropped out by the red filter. Yes. Conventionally, JP-A-8-212294 (Patent Document 2) describes that an imprint reading mode and a character reading mode are provided, and imprint color image data is generated using only the color component of the imprint as effective dots. Yes. Conventionally, in Japanese Patent Application Laid-Open No. 9-81666 (Patent Document 3) and Japanese Patent Application Laid-Open No. 2002-183661 (Patent Document 4), when the color of the seal is different from the color of the written character, the color portion of the seal is separated by color separation. It is described that it is determined whether or not a seal is present based on the position where the strikethrough is written. Conventionally, Japanese Patent Laid-Open No. 2000-251072 (Patent Document 5) describes that a pre-printed image is removed from a form image including pre-printing of the same color as that of a stamp and a stamp is extracted. Conventionally, Japanese Patent Laid-Open No. 2002-269547 (Patent Document 6) describes that a black and white image is used to distinguish a square mark from a stamped column frame and extract a seal image. Conventionally, in Japanese Patent Application Laid-Open No. 8-221507 (Patent Document 7), an imprinted part stamped at the end of a sentence is verified by comparing it with a character recognition result and a word that may appear at the end of the sentence. It is described that an imprinted part included is removed.

特開平５−２８３１３号公報Japanese Patent Laid-Open No. 5-28313

特開平８−２１２２９４号公報JP-A-8-212294 特開平９−８１６６６号公報JP-A-9-81666 特開２００２−１８３６６１号公報JP 2002-183661 A 特開２０００−２５１０７２号公報Japanese Patent Laid-Open No. 2000-255102 特開２００２−２６９５４７号公報JP 2002-269547 A 特開平８−２２１５０７号公報JP-A-8-221507

しかしながら、赤色フィルタによって赤色の印影をドロップアウトする従来方法や、印影の色成分のみを有効なドットとして印影色イメージデータを生成する従来方法では、赤色の記入文字、即ち、印影と同色の記入文字は消去されるので、印影と同色の記入文字を読み取ることはできないという問題がある。また、取り消し線が記載された位置を基に印鑑が存在するかどうかを判定する従来方法では、取り消し線がなく任意の位置に押印された印影を抽出することが考慮されていないという問題がある。また、角印と捺印欄枠とを区別して印影を抽出する従来方法では、捺印欄枠の付近に押印されていることが前提であり、帳票の任意の位置に押印された印影を抽出することが考慮されていないという問題がある。また、帳票画像からプレ印刷画像を除去して印影を抽出する従来方法では、予めプレ印刷画像を用意しておく必要があり、帳票のレイアウトが微妙に変わっている帳票に対して、すべてプレ印刷画像を具備させることは煩雑になるという問題がある。また、文末に押印された印影部分を文字認識結果と文末に出現する可能性のある単語と比較して検証し、文字認識結果に含まれる印影部分を除去する従来方法では、印影と文字との重なりを考慮しておらず、もし、印影と文字が重なった場合、文末に出現する可能性のある単語と比較して印影部分を除去することは困難であるという問題がある。 However, in the conventional method in which the red imprint is dropped out by the red filter and the imprint color image data is generated using only the color component of the imprint as effective dots, the red character, that is, the character of the same color as the imprint Is erased, there is a problem that it is impossible to read the same characters as the seal. Further, in the conventional method for determining whether or not a seal exists on the basis of a position where a strikethrough is described, there is a problem that extraction of a seal imprinted at an arbitrary position without a strikethrough is not considered. . In addition, the conventional method of extracting imprints by distinguishing between square marks and stamped field frames is based on the premise that the stamps are stamped in the vicinity of the stamped field frames, and the stamps imprinted at arbitrary positions on the form are extracted. There is a problem that is not considered. In addition, in the conventional method of extracting a stamp image by removing a pre-printed image from a form image, it is necessary to prepare a pre-printed image in advance, and all the pre-prints for forms whose form layout has changed slightly. There is a problem that providing images is complicated. Also, in the conventional method of verifying the imprinted part stamped at the end of a sentence by comparing the character recognition result with a word that may appear at the end of the sentence, and removing the imprinted part included in the character recognition result, The overlap is not considered, and if the seal and the character overlap, there is a problem that it is difficult to remove the seal portion compared to a word that may appear at the end of the sentence.

本発明は、上記問題点に鑑みてなされたものであり、その目的は、任意の位置に印鑑が押印された帳票に対して、印影色と異なった記入文字と印影が重なった帳票の読取りにおいて、印影色と同色で記入された文字列をドロップアウトすることなく、印影をドロップアウトして、印影と重なった異色の記入文字および印影と重ならない同色の記入文字を正確に読み取る帳票読取り装置を提供することである。 The present invention has been made in view of the above-mentioned problems, and its purpose is to read a form in which a seal stamp is stamped at an arbitrary position and a form in which an input character different from an imprint color and an imprint are overlapped. , Without dropping out the character string written in the same color as the imprint color, drop out the imprint, and the form reading device that accurately reads the different colored input characters that overlap the imprint and the same color that does not overlap the imprint Is to provide.

本発明は、印鑑が押印された印影領域を検出し、印影領域のカラー画像から印影を消去した２値画像を生成し、入力された白黒２値画像に当該印影を消去した２値画像を貼り付け合成し、合成した２値画像を基に文字を認識するようにしている。 The present invention detects an imprint area where a seal is stamped, generates a binary image in which the imprint is erased from the color image of the imprint area, and pastes the binary image from which the imprint has been erased on the input black and white binary image. The character is recognized based on the combined binary image.

また、本発明は、印鑑が押印された印影領域を検出するため、カラー画像から印鑑色と同じ系統の画素を抽出し、当該画素の塊を連結成分として抽出し、当該連結成分の外接矩形を求め、外接矩形のサイズまたは外接矩形内の赤色画素の密度を検出し、当該サイズまたは密度をもとに外接矩形を印影領域として抽出するようにしている。 Further, in order to detect an imprinted region where the seal is imprinted, the present invention extracts pixels of the same system as the seal color from the color image, extracts a block of the pixels as a connected component, and defines a circumscribed rectangle of the connected component. The size of the circumscribed rectangle or the density of red pixels in the circumscribed rectangle is detected, and the circumscribed rectangle is extracted as an imprint area based on the size or density.

また、本発明は、印影領域のカラー画像から印影を消去した２値画像を生成するため、カラー画像の三原色成分から一つの原色成分を選択し、当該原色成分を濃度値とみなして各画素を白黒２値化し、もし注目画素の２値化結果が黒色となった場合、当該注目画素を色識別して、色識別結果が選択した原色系であると判断される注目画素を白色反転するようにしている。 Further, the present invention generates a binary image in which the imprint is erased from the color image in the imprint region, so that one primary color component is selected from the three primary color components of the color image, and each pixel is regarded as the density value. When the binarization result of the pixel of interest becomes black, the pixel of interest is color-identified, and the pixel of interest determined to be the primary color system selected by the color identification result is inverted to white. I have to.

また、本発明は、入力された白黒２値画像に印影を消去した部分２値画像を貼り付け合成した白黒２値画像を読取りフィールドごとに表示する手段と、入力されたカラー画像を読取りフィールドごとに表示する手段と、読取りフィールドごとに上記合成した白黒２値画像またはカラー画像をフィールドごとに切り替える手段とを備え、読取りフィールドと印影領域との重なりの有無を検出し、読取りフィールドが印影領域と重なるフィールドにおいて、入力されたカラー画像を表示するようにしている。 The present invention also provides means for displaying, for each reading field, a black and white binary image obtained by pasting and synthesizing a partial binary image from which an imprint has been deleted to the input black and white binary image, and reading the input color image for each reading field. And a means for switching the composite black-and-white binary image or color image for each reading field for each field, detecting the presence or absence of overlap between the reading field and the imprint area, and the reading field as an imprint area. The input color image is displayed in the overlapping field.

本発明によれば、印影色と同色の記入文字を含む帳票から印影領域を検出することができるため、印影と同色の記入文字を有する帳票を読み取ることができ、多様な帳票を読取り対象とできるという効果がある。 According to the present invention, since an imprint area can be detected from a form including characters of the same color as the seal color, it is possible to read a form having the characters of the same color as the seal and to read various forms. There is an effect.

また、本発明によれば、印影領域を抽出して当該領域の印影を除去した２値部分画像を生成し、元ぼ白黒２値画像に貼り付け合成することができるため、印影を除去した白黒２値画像で印影と重なった文字を正確に読み取ることができるという効果がある。 In addition, according to the present invention, a binary partial image in which an imprint area is extracted and the imprint of the area is removed can be generated and pasted and synthesized on the original black and white binary image. There is an effect that a character overlapped with an imprint can be accurately read in a binary image.

また、本発明によれば、印影領域をサイズや赤色画素の密度により限定して検出しているため、部分的に赤色の枠線や赤色の記入文字があっても、除去されることなく、印影のみを除去するという効果がある。 In addition, according to the present invention, since the imprint region is limited and detected by the size and the density of red pixels, even if there is a partial red border or red entry character, it is not removed, This has the effect of removing only the imprint.

また、本発明によれば、読取り結果を画面を介して修正する場合、表示するカラー画像と２値画像を印影の重なり有無によって切り替えることができるため、人間が読取りにくい印影と文字が重なった部分があるような帳票であっても、正確に読取り結果を修正することができるという効果がある。 Further, according to the present invention, when the reading result is corrected via the screen, the color image to be displayed and the binary image can be switched depending on whether or not the imprint is overlapped. There is an effect that the read result can be corrected accurately even if the form has a certain form.

以下、本発明の一実施例を図面に従い説明する。
図１は、本発明の一実施例である帳票読取り装置の構成図である。カラー画像入力部１００では帳票の表面画像をカラー画像１１０および白黒２値画像１１１の２面の画像として採取する。ここで、白黒２値画像１１１は、各画素において３原色成分の最小値を濃淡画像とする画像から、２値化処理により生成される。３原色成分の最小値を濃淡画像として２値化するため、色付きの画素および黒色の濃い画素はすべて、２値化画像では黒色となる。従って、印影部分や印影と同色の記入文字や異色の記入文字、罫線は黒色の２値画像となる。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a configuration diagram of a form reading apparatus according to an embodiment of the present invention. The color image input unit 100 collects a surface image of a form as a two-sided image of a color image 110 and a monochrome binary image 111. Here, the black-and-white binary image 111 is generated by binarization processing from an image in which the minimum value of the three primary color components is a grayscale image in each pixel. Since the minimum values of the three primary color components are binarized as a grayscale image, all the colored pixels and black dark pixels are black in the binarized image. Accordingly, the imprinted character, the character of the same color as the imprint, the character of different color, and the ruled line become a black binary image.

画像処理部１０１は、印影の領域座標を検出する印影領域検出部１０３、印影領域内のカラー画像を切出して印影色をドロップアウトして２値化画像を生成する領域カラー画像２値化部１０４、領域内のカラー画像２値化結果を白黒２値画像１１１に貼り付ける画像貼り付け合成部１０２からなる。採取したカラー画像１１０は、印影領域検出部１０３において、任意の位置に押印された印影に対して、印影領域の座標を抽出する。そして、当該領域座標を基に、領域カラー画像２値化部１０４において、カラー画像を２値化する。ここでは、各画素ごとに、印影色を有する画素をドロップアウトして白色に、その他の色を有する画素を黒色にするカラー２値化を行なう。画像貼り付け合成部１０２では、白黒２値画像１１１の内部で抽出された印影領域内を上記領域カラー画像２値化結果である部分画像で置き換えて貼り付けることにより、新しい白黒２値画像１１２を生成する。この合成された白黒２値画像１１２は、印影領域は印影色がドロップアウトされた２値画像であり、それ以外の部分は３原色成分の最小値を濃淡画像として２値化された２値画像となる。 The image processing unit 101 includes an imprint region detection unit 103 that detects the region coordinates of the imprint, and a region color image binarization unit 104 that generates a binarized image by cutting out a color image in the imprint region and dropping out the imprint color. The image pasting / combining unit 102 pastes the binarized result of the color image in the region to the black and white binary image 111. In the collected color image 110, the imprint area detection unit 103 extracts the coordinates of the imprint area with respect to the imprint imprinted at an arbitrary position. Then, based on the area coordinates, the area color image binarization unit 104 binarizes the color image. Here, for each pixel, color binarization is performed in which a pixel having an imprint color is dropped out to be white and a pixel having another color is black. The image pasting / combining unit 102 replaces and pastes the imprint area extracted inside the black and white binary image 111 with the partial image which is the result of binarizing the area color image, thereby pasting the new black and white binary image 112. Generate. The synthesized black and white binary image 112 is a binary image in which the imprint area is a dropout of the imprint color, and the other portion is a binary image binarized with the minimum value of the three primary color components as a grayscale image. It becomes.

画像処理部１０１から出力された合成された白黒２値画像１１２は、文字認識部１０５において文字が読み取られ文字コードに変換される。文字修正部１０６では、文字認識部１０５で読み取られた文字認識結果の修正を画面に帳票の画像を表示して行なう。印影領域においては、印影と異色の記入文字は黒色となり、印影はドロップされ白色となるので、印影と重なった記入文字を黒色として正確に文字認識部１０５において読むことができるという効果がある。また、印影とは重ならない同色、又は異色の記入文字は黒色となり、正確に文字認識部１０５において読むことができるという効果がある。 Characters of the synthesized black and white binary image 112 output from the image processing unit 101 are read by the character recognition unit 105 and converted into character codes. The character correction unit 106 corrects the character recognition result read by the character recognition unit 105 by displaying a form image on the screen. In the seal imprint area, the characters that are different in color from the seal imprint are black, and the seal imprint is dropped and becomes white. Therefore, there is an effect that the character recognition unit 105 can accurately read the characters overlapped with the seal imprint as black. In addition, the same or different colored characters that do not overlap with the seal are black, and the character recognition unit 105 can read the characters accurately.

これらの処理を行う帳票読取り装置は、カラー画像入力部、画像処理部、文字認識部、文字修正部からなる。カラー画像入力部は、光学読取装置のスキャナを入力部に持つ。画像処理部は入力部で読み取られた画像データをもとに印影領域の検出、領域カラー画像２値化、および部分画像の貼り付け合成の処理を行う。また、文字認識部で文字を読み取る。これら、画像処理部、文字認識部は小型の計算機のプログラムにより構成される。このプログラムは、帳票読取装置のハードディスクや、ＣＤ−ＲＯＭなどの記憶装置に記憶される。また、文字修正部は、その結果を表示するCRTなどの表示装置から構成される。 A form reading apparatus that performs these processes includes a color image input unit, an image processing unit, a character recognition unit, and a character correction unit. The color image input unit has a scanner of the optical reading device as an input unit. The image processing unit performs processing of detecting an imprint region, binarizing a region color image, and pasting and combining partial images based on image data read by the input unit. In addition, the character recognition unit reads the character. These image processing unit and character recognition unit are configured by a small computer program. This program is stored in a storage device such as a hard disk of a form reading device or a CD-ROM. In addition, the character correction unit is composed of a display device such as a CRT that displays the result.

図２は、本発明の対象としたカラーの帳票画像の一例である。帳票画像２００はカラー画像１１０の一例であり、文字列２０１、２０３、２０４、２０５、２０６と印影２０７、及び枠線２０２からなる。印影色は、印影２０７に示すように赤色であり、記入文字色は赤色と黒色である。印影と重ならない記入された文字列２０１は赤色である。また、印影と重なっている記入文字列２０４、２０６の色は黒色である。金額の右端部分と、支払い者の右端部分が印影と重なっている。 FIG. 2 is an example of a color form image targeted by the present invention. The form image 200 is an example of a color image 110 and includes character strings 201, 203, 204, 205, 206, an imprint 207, and a frame line 202. The imprint color is red as indicated by the imprint 207, and the text color is red and black. The entered character string 201 that does not overlap the seal is red. In addition, the color of the input character strings 204 and 206 overlapping the seal impression is black. The rightmost part of the amount and the rightmost part of the payer overlap the imprint.

図３は、本発明の対象とした白黒画像の一例であり、カラー画像入力部１００により２面同時に採取される画像の内の一面の画像である。白黒画像３００は、各画素において３原色成分の最小値を濃淡画像とする画像から２値化処理により生成される白黒２値画像１１１の一例である。文字列３０１、３０３、３０４、３０５、３０６および枠線３０２は黒色である。また、印影３０７も同じく黒色である。記入文字列３０４、３０６が印影３０７と重なっており、従来法のように、当該白黒画像３００を直接、文字認識部１０５で読み取ると、印影３０７が障害となって正確に文字を読み取ることが困難である。そのため、カラー情報を用いて印影領域を検出し、検出した印影領域にカラー２値化処理を行なう。 FIG. 3 is an example of a black and white image that is the subject of the present invention, and is an image of one of the two images simultaneously collected by the color image input unit 100. The black-and-white image 300 is an example of a black-and-white binary image 111 generated by binarization processing from an image in which the minimum value of the three primary color components is a grayscale image at each pixel. The character strings 301, 303, 304, 305, 306 and the frame line 302 are black. Also, the imprint 307 is also black. The entered character strings 304 and 306 overlap with the seal imprint 307, and if the black and white image 300 is directly read by the character recognition unit 105 as in the conventional method, it is difficult to accurately read the characters because the seal imprint 307 is an obstacle. It is. Therefore, an imprint area is detected using color information, and color binarization processing is performed on the detected imprint area.

図４は、印影領域の検出結果を説明する図である。カラー画像２００に対して、印影領域を抽出した結果画像を４００で示す。印影領域検出部１０３において検出した印影領域を４０７で示す。印影領域は矩形の頂点座標で出力される。 FIG. 4 is a diagram for explaining the detection result of the seal impression area. A result image obtained by extracting an imprint region with respect to the color image 200 is indicated by 400. An imprint area detected by the imprint area detection unit 103 is indicated by 407. The imprint area is output in rectangular vertex coordinates.

図５は、印影領域のカラー画像を２値化した結果の２値画像である。領域カラー画像２値化部１０４において印影領域４０７内部のカラー画像を切出し、切り出した部分カラー画像に対して赤色をドロップアウトして２値化して結果画像５００である。印影部分が消去されて白色となっており、記入文字列の部分および枠線が黒色となっている。 FIG. 5 is a binary image obtained as a result of binarizing the color image of the seal impression area. The area color image binarization unit 104 cuts out the color image inside the imprint area 407 and binarizes the cut out partial color image by dropping out red color to obtain a result image 500. The imprinted portion is erased to be white, and the entered character string portion and the frame line are black.

図６は、画像処理部１０１によって合成された白黒２値画像１１２の一例であり、白黒２値画像１１１の内部で抽出された印影領域内に、上記領域カラー画像２値化結果である部分画像を貼り付けた新しい白黒２値画像である。領域カラー画像２値化結果である部分画像を貼り付けた新しい白黒２値画像を６００で示す。赤色の記入文字列６０１が黒色となっている。また、黒色の記入文字列６０４、６０６には重なっていた印影が消えており、全文字が黒色となっている。このように、印影と重ならない同色の文字列が消去されず黒色となり、かつ印影の重なる異色の文字列が消去されず黒色となっており、印影が重なった文字列を正確に読み取ることができるという効果がある。 FIG. 6 shows an example of the black and white binary image 112 synthesized by the image processing unit 101, and the partial image that is the result of binarization of the above-described area color image in the imprint area extracted inside the black and white binary image 111. Is a new black-and-white binary image pasted. A new black and white binary image pasted with a partial image as a result of binarizing the area color image is indicated by 600. The red entry character string 601 is black. Also, the black and white character strings 604 and 606 are erased, and all the characters are black. In this way, the character string of the same color that does not overlap with the seal imprint is black without being erased, and the character string with a different color that overlaps the seal imprint is black without being erased, so that the character string with the seal imprint can be accurately read. There is an effect.

図７は、印影領域検出部１０３の処理過程を説明する図である。入力はカラー画像の三原色成分であり、出力は印影領域の座標である。先ず、ステップ７００で印影領域検出処理が開始され、ステップ７０１で三原色成分を入力する。次いで、ステップ７０２で赤色画素を抽出する。ここで、各画素の三原色成分の大きさの比較により、赤色成分の大きい画素を赤色画素とする。ステップ７０３で帳票画像の全面で当該赤色画素の個数を計数し、ステップ７０４で赤色画素の個数が所定値より大きいかどうかを判定する。所定値より赤色画素の個数が大きい場合、ステップ７０５で本印影領域検出の処理はリジェクトとして、ステップ７０６で終了する。一方、赤色画素の個数が所定値より小さい場合、ステップ７０７で赤色画素を黒色、それ以外の画素を白色とする２値画像に対して黒色画素の塊を融合して連結成分として抽出する。融合した連結成分の外接矩形が印影領域の候補となる。次いで、ステップ７０８で連結成分の外接矩形のサイズ検定を行なう。ここでは、予め決められた印影のサイズの範囲をもとに、連結成分の外接矩形のサイズが所定サイズ条件を満たすかどうかの検定をおこなう。本ステップにより、赤色記入文字列のように横に長い領域は印影領域ではないと判定される。さらに、赤色記入文字のように小さい領域は印影領域ではないと判定される。本ステップでは、印影と同色の記入文字であっても、印影領域の候補としないようにしているので、印影と重ならない同色の記入文字は消去されることは無いという効果がある。さらに、ステップ７０９で連結成分の外接矩形内の画素密度を計測し、画素密度の小さい領域は印影領域候補ではないとする。一方、矩形内の画素密度が大きい領域は印影領域候補とする。ステップ７１０で複数個または単数の印影領域候補の座標を出力して、ステップ７１１で印影領域検出処理を終了する。このように、印影領域の検出処理において、候補領域を求め、候補領域のサイズおよび候補領域内の画素密度を基に候補領域に対する検定を行なっているので、印影領域と同色の文字領域との区別をつけることができ、印影領域のみを検出するという効果がある。 FIG. 7 is a diagram for explaining the process of the seal impression area detection unit 103. The input is the three primary color components of the color image, and the output is the coordinates of the impression area. First, in step 700, the imprint region detection process is started, and in step 701, the three primary color components are input. Next, in step 702, red pixels are extracted. Here, by comparing the sizes of the three primary color components of each pixel, a pixel having a large red component is defined as a red pixel. In step 703, the number of red pixels is counted on the entire surface of the form image, and in step 704, it is determined whether the number of red pixels is larger than a predetermined value. If the number of red pixels is larger than the predetermined value, the main imprint area detection process is rejected in step 705 and the process ends in step 706. On the other hand, if the number of red pixels is smaller than the predetermined value, in step 707, a black image block is merged with a binary image in which the red pixels are black and the other pixels are white, and extracted as a connected component. The circumscribed rectangle of the merged connected component becomes a candidate for the imprint region. Next, in step 708, the size of the circumscribed rectangle of the connected component is tested. Here, based on a predetermined size range of the seal impression, it is tested whether the size of the circumscribed rectangle of the connected component satisfies a predetermined size condition. By this step, it is determined that a horizontally long region such as a red entry character string is not an imprinted region. Further, it is determined that a small area such as a red entry character is not an imprint area. In this step, even if an entry character has the same color as the seal imprint, it is not considered as a candidate for the seal imprint area, so that the entry character of the same color that does not overlap the seal impression is not erased. Further, in step 709, the pixel density in the circumscribed rectangle of the connected component is measured, and it is assumed that the region with a low pixel density is not a candidate for the imprint region. On the other hand, an area having a high pixel density in the rectangle is set as a seal impression area candidate. In step 710, the coordinates of a plurality or a single imprint region candidate are output, and in step 711, the imprint region detection process is terminated. In this way, in the imprint area detection process, the candidate area is obtained, and the candidate area is tested based on the size of the candidate area and the pixel density in the candidate area, so that the imprint area is distinguished from the character area of the same color. This has the effect of detecting only the seal impression area.

図８は、領域カラー画像２値化部１０４の処理過程を説明する図である。ステップ８００で印影領域内のカラー画像を２値化する処理を開始する。先ず、ステップ８０１で印影領域候補の座標を入力する。領域の座標としては、矩形の頂点座標でよい。ステップ８０２で、領域内のカラー画像を部分画像として切出し、ステップ８０３でカラーの部分画像の三原色成分から赤色成分画像を選択し、２値化対象の濃淡画像とみなす。ステップ８０４で画像の縦方向の走査、ステップ８０５で画像の横方向の走査を繰り返し、ステップ８０６で注目画素の濃淡画像値を２値化する。ここでは、黒色が濃淡値が暗い、白色が濃淡値が明るいとして、注目画素を白色または黒色に２値化する。ステップ８０７では、注目画素が黒色か白色かを判定し、もし、注目画素が黒色の場合、ステップ８０８で注目画素の色識別を行なう。ここでは、注目画素の三原色成分を基に、赤色成分の値を他の二原色成分、即ち、青色成分、緑色成分の値と比較し、もし、赤色成分の値が他の原色成分の値より大きい場合、注目画素は赤色と判定する。そして、ステップ８０９で、注目画素が赤色の場合、ステップ８１０で注目画素を白化、即ち、白色に置き換える。本処理過程の出力はビット詰めされた白黒２値画像の形式とするため、ステップ８１１で白黒画素を８個単位で１バイトの画像データにビット詰めを行なう。ステップ８１２で領域カラー画像２値化処理を終了する。本処理過程では、ステップ８０３、ステップ８０６で三原色成分のうちの赤色成分を選択して濃淡画像として２値化するだけでなく、さらに、ステップ８１０で注目画素が赤色であれば、注目画素を白化するという処理を行なっており、帳票画像の赤色をより正確にドロップアウトすることができるという効果がある。このため、赤色の印影がドロップアウトされ白色となり、記入文字や枠線が黒色となる。記入文字や枠線に印影が重なっている箇所は、三原色成分の値の比較結果より赤色とは判断されないことでドロップアウトされず、２値化処理の結果、黒色となる。 FIG. 8 is a diagram for explaining the processing steps of the area color image binarization unit 104. In step 800, processing for binarizing the color image in the seal impression area is started. First, in step 801, the coordinates of the seal impression area candidate are input. The coordinates of the region may be rectangular vertex coordinates. In step 802, the color image in the region is cut out as a partial image. In step 803, a red component image is selected from the three primary color components of the color partial image, and is regarded as a grayscale image to be binarized. In step 804, scanning of the image in the vertical direction is repeated, and in step 805, scanning of the image in the horizontal direction is repeated. In step 806, the grayscale image value of the target pixel is binarized. Here, assuming that black has a dark gray value and white has a light gray value, the pixel of interest is binarized to white or black. In step 807, it is determined whether the pixel of interest is black or white. If the pixel of interest is black, color identification of the pixel of interest is performed in step 808. Here, based on the three primary color components of the pixel of interest, the value of the red component is compared with the values of the other two primary color components, i.e., the blue component and the green component, and the red component value is greater than the values of the other primary color components. If larger, the target pixel is determined to be red. In step 809, if the target pixel is red, in step 810, the target pixel is whitened, that is, replaced with white. Since the output of this process is in the form of a bit-filled black and white binary image, bit packing is performed on the 1-byte image data in units of 8 black and white pixels in step 811. In step 812, the region color image binarization processing is terminated. In this process, in step 803 and step 806, not only the red component of the three primary color components is selected and binarized as a grayscale image, but also if the target pixel is red in step 810, the target pixel is whitened. There is an effect that the red color of the form image can be more accurately dropped out. For this reason, the red stamp is dropped out to become white, and the entered characters and the frame line become black. The portion where the seal mark overlaps with the entered character or the frame line is not dropped out because it is not determined to be red from the comparison result of the values of the three primary color components, and becomes black as a result of the binarization process.

図９は、画像貼り付け合成部１０２の処理過程を説明する図である。ここでは、白黒２値画像１１１と部分画像である印影領域カラー画像の２値化画像とを貼り合わせ、合成された白黒２値画像１１２を生成する。ステップ９００で画像貼り付け合成処理が開始される。先ず、ステップ９０１で印影領域の左上頂点座標を入力する。そして、ステップ９０２で印影領域の横幅、高さを入力する。ステップ９０３で画像を縦方向に走査し、ステップ９０４で画像を横方向に走査しながら、ステップ９０５から９０８までの処理を繰り返す。先ず、ステップ９０５で、貼り付け先の画素位置を算出する。次いで、ステップ９０６で貼り付け元の画素位置を算出する。ステップ９０７で貼り付け元の注目画素の値を読取り、ステップ９０８で貼り付け先の画素に上記注目画素の値を埋め込む。以上の処理を、縦方向、横方向に注目画素を移動させながら行なう。ステップ９０９で画像貼り付け合成処理を終了する。このように、印影領域の部分画像のみ赤色をドロップアウトした２値画像を貼り付けるため、赤色の記入文字列がドロップアウトすることはないという効果がある。 FIG. 9 is a diagram for explaining the process of the image pasting / combining unit 102. Here, the black-and-white binary image 111 and the binary image of the impression image color image which is a partial image are pasted together to generate a combined black-and-white binary image 112. In step 900, the image pasting synthesis process is started. First, in step 901, the upper left vertex coordinates of the seal impression area are input. In step 902, the width and height of the seal impression area are input. In step 903, the image is scanned in the vertical direction, and in step 904, the process from steps 905 to 908 is repeated while the image is scanned in the horizontal direction. First, in step 905, the pixel position of the pasting destination is calculated. Next, in step 906, the pixel position of the pasting source is calculated. In step 907, the value of the target pixel of the pasting source is read, and in step 908, the value of the target pixel is embedded in the pasting destination pixel. The above processing is performed while moving the pixel of interest in the vertical and horizontal directions. In step 909, the image pasting synthesis process is terminated. In this way, since the binary image in which red is dropped out is pasted only on the partial image in the seal impression area, there is an effect that the red character string is not dropped out.

図１０は、読取りフィールドと印鑑領域の重なりを説明する図である。帳票画像１０００は白黒２値画像１１１の一例である。帳票画像１０００において、文字を読み取る読取りフィールドは、１００１、１００２、１００３である。また、印影領域は１００４である。読取りフィールドは、定型的な帳票の場合、予め書式として与えることができる。また、レイアウトが微妙に異なる準定型的な帳票の場合、枠線を抽出して枠の配置から読取りフィールドを検出することができる。印影領域１００４は、印影領域検出部１０３により検出することができる。本実施例では、読取りフィールド１００２と１００３が印影領域１００４と部分的に重なっている。この印影と読取りフィールドが重なっている場合、読取り結果の誤りやリジェクトを人間が修正するため、当該白黒画像１０００を画面に表示しても、読取りフィールド１００２、１００３に記入された文字列のある文字が目視によっても読み取ることが困難である。一方、カラー画像１１０では、印影と重なった文字列であっても、人間が目視で文字を読み取ることは容易である。そこで、文字修正部１０６では、読取りフィールドの画面表示を白黒画像とカラー画像の２種類に切り替えて、印影が重なった文字列であっても、人間が目視で容易に確認、修正できるようにする。 FIG. 10 is a diagram for explaining the overlap between the reading field and the seal area. The form image 1000 is an example of the black and white binary image 111. In the form image 1000, reading fields for reading characters are 1001, 1002, and 1003. The imprint area is 1004. The reading field can be given as a format in the case of a standard form. Further, in the case of a semi-standard form with a slightly different layout, it is possible to extract a frame line and detect a reading field from the arrangement of the frame. The imprint area 1004 can be detected by the imprint area detection unit 103. In this embodiment, the reading fields 1002 and 1003 partially overlap the imprint area 1004. If this imprint and the reading field overlap, a human being corrects an error or rejection of the reading result, so even if the black and white image 1000 is displayed on the screen, a character with a character string written in the reading fields 1002 and 1003 However, it is difficult to read even visually. On the other hand, in the color image 110, even if the character string overlaps with the seal, it is easy for a human to read the character visually. In view of this, the character correction unit 106 switches the screen display of the reading field to two types, that is, a black and white image and a color image, so that even a character string with a seal imprint can be easily confirmed and corrected by human eyes. .

図１１は、文字修正部１０６のフィールド画像表示の処理過程を説明する図である。ステップ１１００でフィールド画像表示の処理を開始する。ステップ１１０１でカラー画像１１０を入力し、ステップ１１０２で白黒画像１１０または１１２を入力する。ステップ１１０３でフィールド情報として読取り領域の位置座標を入力する。また、ステップ１１０４で印影領域の位置座標を入力する。フィールドの画面表示は、ステップ１１０５で順次、フィールドが尽きるまで行なわれる。先ず、ステップ１１０６で注目フィールド座標が設定され、ステップ１１０７で印影領域と注目フィールドとの重なりの有無を判定する。そして、ステップ１１０８で、印影領域と注目フィールドが重なっている場合、ステップ１１０７で注目フィールドをカラー画像で表示する。一方、ステップ１１０８で、印影領域と注目フィールドが重なっていない場合、ステップ１１１０で注目フィールドを白黒画像で表示する。これらの画面表示によって人間が画面を目視で観察しながら、帳票の読取り結果の修正を行ない、ステップ１１０５でフィールドが尽きれば、当該帳票の画面を介した読取り結果の修正はステップ１１１１で終了する。本発明の文字修正処理により、印影と重なった文字列で人間が目視で読取りが困難な白黒画像の場合でも、カラー画像を切り替えて表示するため、容易に文字を観察できるという効果がある。 FIG. 11 is a diagram for explaining the process of field image display processing by the character correction unit 106. In step 1100, field image display processing is started. In step 1101, the color image 110 is input, and in step 1102, the black and white image 110 or 112 is input. In step 1103, the position coordinates of the reading area are input as field information. In step 1104, the position coordinates of the seal impression area are input. The screen display of the field is sequentially performed in step 1105 until the field is exhausted. First, the field of interest coordinates are set in step 1106, and in step 1107, it is determined whether or not there is an overlap between the seal impression area and the field of interest. If the seal impression area and the target field overlap in step 1108, the target field is displayed as a color image in step 1107. On the other hand, if it is determined in step 1108 that the seal impression area and the target field do not overlap, in step 1110 the target field is displayed as a black and white image. With these screen displays, humans visually observe the screen and correct the reading result of the form. When the field is exhausted in step 1105, the correction of the reading result through the screen of the form ends in step 1111. . According to the character correction processing of the present invention, even in the case of a black-and-white image that is difficult for humans to read visually with a character string that overlaps with an imprint, the color image is switched and displayed, so that the character can be easily observed.

本発明の一実施例である帳票読取り装置の構成図である。It is a block diagram of the form reading apparatus which is one Example of this invention. 本発明の対象としたカラーの帳票画像の一例である。It is an example of the color form image made into the object of this invention. 本発明の対象とした白黒画像の一例であり、カラー画像入力部１００により２面同時に採取される画像の内の一面の画像である。It is an example of a black and white image that is a subject of the present invention, and is an image of one of the two images that are simultaneously collected by the color image input unit 100. 印影領域の検出結果を説明する図である。It is a figure explaining the detection result of an imprint area. 印影領域のカラー画像を２値化した結果の２値画像である。It is a binary image as a result of binarizing the color image of the seal impression area. 合成された白黒２値画像１１２の一例であり、白黒２値画像１１１の内部で抽出された印影領域内に、上記領域カラー画像２値化結果である部分画像を貼り付けた新しい白黒２値画像である。A new monochrome binary image which is an example of a synthesized monochrome binary image 112 and in which a partial image which is the result of binarization of the above-described area color image is pasted in an imprint area extracted within the monochrome binary image 111 It is. 印影領域検出部１０３の処理過程を説明する図である。It is a figure explaining the process of the imprint area detection part. 領域カラー画像２値化部１０４の処理過程を説明する図である。FIG. 6 is a diagram for explaining a processing process of an area color image binarization unit 104. 画像貼り付け合成部１０２の処理過程を説明する図である。It is a figure explaining the process of the image sticking synthetic | combination part. 読取りフィールドと印鑑領域の重なりを説明する図である。It is a figure explaining the overlap of a reading field and a seal stamp area. 文字修正部１０６の処理過程を説明する図である。FIG. 10 is a diagram illustrating a processing process of a character correction unit 106.

Explanation of symbols

１０２…画像貼り付け合成部、１０３…印影領域検出部、１０４…領域カラー画像２値化部、１０５…文字認識部、１０６…文字修正部、１１０…カラー画像、１１１…白黒２値画像、１１２…貼り付け合成後の白黒２値画像、２００…カラー帳票画像、２０１…赤色記入文字、２０４…黒色記入文字、２０６…黒色記入文字、２０７…赤色印影、３００…白黒２値帳票画像、４０７…検出した印影領域、５００…印影領域のカラー２値化結果画像、６００…貼り付け合成後の白黒２値帳票画像、７０７…融合した連結成分抽出処理ステップ、７０８…連結成分の外接矩形のサイズ検定処理ステップ、７０９…連結成分の外接矩形内の画素密度検定、８０３…赤色成分画像の選択、８０８…注目画素の色識別、１００２…読取りフィールド、１００４…印影領域、１１０７…印影領域と注目フィールドの重なり判定。
DESCRIPTION OF SYMBOLS 102 ... Image pasting composition part, 103 ... Imprint area detection part, 104 ... Area color image binarization part, 105 ... Character recognition part, 106 ... Character correction part, 110 ... Color image, 111 ... Monochrome binary image, 112 ... Black and white binary image after pasting, 200... Color document image, 201... Red input character, 204. Black input character, 206. Black input character, 207. Detected imprint region, 500 ... Color binarization result image of the imprint region, 600 ... Black and white binary form image after pasting and composition, 707 ... Merged connected component extraction processing step, 708 ... Size test of circumscribed rectangle of connected component Processing step 709 ... Pixel density test in circumscribed rectangle of connected component, 803 ... Selection of red component image, 808 ... Color identification of target pixel, 1002 ... Reading field, 004 ... imprint area, 1107 ... overlap determination of the field of interest with the imprint area.

Claims

In a form reading apparatus having an image input unit for inputting image data, a recognition unit for recognizing characters from the input image data, and an output unit for outputting the recognition result,
The recognition unit generates a color image and a black and white binary image from the input image data, extracts pixels of the same system as the seal color from the color image, extracts a block of the pixels as a connected component, Obtain a circumscribed rectangle of the connected component, detect the size of the circumscribed rectangle or the density of red pixels in the circumscribed rectangle, and extract the circumscribed rectangle as an imprint region based on the size or density,
Generating a binary image in which the imprint is erased from the red component image selected from the three primary color components of the color image in the imprint region, and pasting and synthesizing the binary image in which the imprint is erased to the black and white binary image;
A form reading apparatus for recognizing characters based on the synthesized binary image.

2. The form reading apparatus according to claim 1, wherein the binary image is generated by selecting a red primary color component from the color image, considering the primary color component as a density value, and binarizing each pixel into black and white. A form reading apparatus characterized in that, when the binarization result of a pixel is black, if the red component of the pixel of interest is darker than the blue component and the green component, the pixel of interest is white.

In the recognition unit of the form reading apparatus having an image input unit for inputting image data, a recognition unit for recognizing a form from the input image data, and an output unit for outputting the recognition result,
A first step of generating a color image and a black and white binary image from the input image data;
A second step of detecting an imprinted region where a seal is imprinted from the color image;
The second step is
Extracting a pixel of the same system as the seal color from the color image, extracting a block of the pixel as a connected component, obtaining a circumscribed rectangle of the connected component, a size of the circumscribed rectangle or a circumscribed rectangle Detecting the density of red pixels, and extracting the circumscribed rectangle as an imprint area based on the size or density,
A third step of generating a binary image in which the imprint is erased from the red component image selected from the three primary color components of the color image in the imprint region;
A fourth step of pasting and synthesizing the binary image from which the imprint has been deleted to the monochrome binary image;
And a fifth step of recognizing a character based on the synthesized binary image.

The program according to claim 3, wherein the third step includes:
A step of selecting a red primary color component from the color image, a step of considering each primary color component as a density value and binarizing each pixel into black and white, and a binarization result of a target pixel is black. And a step of setting the target pixel to white when the red component of the target pixel is darker than the blue component and the green component.