JP4635845B2 - OCR device, form-out method, and form-out program - Google Patents
OCR device, form-out method, and form-out program Download PDFInfo
- Publication number
- JP4635845B2 JP4635845B2 JP2005343159A JP2005343159A JP4635845B2 JP 4635845 B2 JP4635845 B2 JP 4635845B2 JP 2005343159 A JP2005343159 A JP 2005343159A JP 2005343159 A JP2005343159 A JP 2005343159A JP 4635845 B2 JP4635845 B2 JP 4635845B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- difference
- rotation angle
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、光学的読み取り手段によって入力された帳票の画像データの中から記入された文字画像を抽出し出力するOCR装置に関し、より詳しくは、入力された帳票の画像データの中から記入された文字画像のみを抽出し、出力するフォームアウト機能を備えたOCR装置に関する。 The present invention relates to an OCR apparatus that extracts and outputs a character image entered from form image data input by an optical reading means, and more specifically, input from the input form image data. The present invention relates to an OCR apparatus having a form-out function for extracting and outputting only a character image.
従来、OCR技術を応用し、光学的に読み取られた帳票等から記入された文字画像のみを分離抽出する技術(フォームアウト)として、例えば、ドロップアウト処理技術が開発され実用化されている。
ドロップアウト処理技術とは、予め帳票を作成する際に、罫線等のフォームを赤や緑といったカラーで印刷し、文字入力後の帳票からカラー部分の画像を除去して文字画像のみを抽出する技術であり、各種帳票類の読み取り・入力処理に広く活用されている。
Conventionally, for example, a dropout processing technique has been developed and put into practical use as a technique (form-out) for separating and extracting only a character image written from a form or the like optically read by applying an OCR technique.
Dropout processing technology is a technology that prints forms such as ruled lines in red or green when creating a form in advance, and removes only the character image by removing the color image from the form after entering characters. It is widely used for reading and inputting various forms.
しかしながら、従来のドロップアウト方式では、読み取り及び除去が可能なドロップアウトカラーが読み取り装置等によって様々に異なるため、処理可能な色が特定の色に限定されてしまい、汎用性や利便性、経済性等に欠けるという問題があった。
このため、このようなドロップアウト処理を用いない方法として、予め帳票の固定的なフォームを記憶しておき、文字入力後の帳票からこの固定フォームのみを削除して文字画像を抽出する方法が採られるようになった。
However, in the conventional dropout method, the dropout color that can be read and removed varies depending on the reading device or the like, so that the processable color is limited to a specific color, and is versatile, convenient, and economical. There was a problem of lacking.
For this reason, as a method not using such dropout processing, a fixed form of a form is stored in advance, and only the fixed form is deleted from the form after character input to extract a character image. It came to be able to.
ところが、この種の帳票フォームを固定・記憶するフォームアウトの方法では、画像の位置ずれ等があるとフォームアウト処理ができないという事態が生じることがあった。
そこで、これまで、このような帳票フォームを利用したフォームアウト方式を改善する技術として種々の提案がなされてきた。
However, in the form-out method of fixing and storing this type of form, there may occur a situation in which the form-out process cannot be performed if there is an image misalignment or the like.
So far, various proposals have been made as techniques for improving the form-out method using such a form.
例えば、特許文献1には、文字が書き込まれたテンプレートから基準テンプレートを除去するための微細位置合わせの方法等が提案されている。
また、特許文献2には、帳票上に特別のマークを設けることなく位置合わせを行う画像位置合わせ方法等が提案されている。
さらに、特許文献3には、黒背景機能なしで、専用マークを用いずに、用紙中の罫線の有無に左右されずに用紙の位置合わせを可能にする用紙位置合わせ装置等が提案されている。
For example,
Furthermore,
しかしながら、上述の特許文献1に提案されている位置合わせの方法等では、参照画像と入力画像の位置合わせの際、画像を縦軸、横軸に投射し、それぞれ黒画素数を比較するようにしているため、縮尺誤差や回転による歪みを発生するコピー機やFAX等には対応できないという問題が生じた。
また、特許文献2に提案されている画像位置合わせ方法等では、罫線の交差部分(十字点)を検出して位置合わせを行うようにしているため、罫線を含まない帳票ではフォームアウトができないという問題があった。
さらに、上特許文献3に提案されている用紙位置合わせ装置等では、入力画像全体が同一の伸縮率・回転角で変形していることを前提としており、局所的な変形誤差を考慮していなかった。このため、プリンタでの帳票印刷時や、スキャナ装置での搬送時に生じる非線形の歪みには対応できないという問題が発生した。
However, in the registration method proposed in
Further, in the image alignment method proposed in
Furthermore, the paper alignment device proposed in the
本発明は、以上のような従来の技術が有する問題を解決するために提案されたものであり、入力された帳票の読み取り位置指定用マークや罫線の有無、印刷機器によるサイズ誤差、印刷ズレ、入力画像の伸縮、又は局所的な変形等に拘わらず、どのような用紙・帳票類であってもフォームアウトが可能なOCR装置の提供を目的とする。 The present invention has been proposed in order to solve the above-described problems of the prior art, and whether or not there is a reading position designation mark or ruled line in the input form, a size error due to a printing device, a printing misalignment, It is an object of the present invention to provide an OCR apparatus that can form out any paper / form regardless of expansion / contraction of the input image or local deformation.
上記目的を達成するため、本発明のOCR装置は、請求項1に記載するように、光学的読み取り手段によって入力された帳票の画像データの中から記入された文字画像を抽出し出力するOCR装置であって、前記光学的読み取り手段によって帳票の画像データを入力する画像入力部と、入力した未記入帳票の画像データを参照画像として記憶する参照画像記憶部と、入力した未記入帳票の画像データの一部を所定の回転角及び拡大率で変換し、辞書画像として記憶する辞書画像記憶部と、入力した記入済み帳票の画像と前記辞書画像との差分画像を生成する差分画像生成部と、前記差分画像生成部によって生成された差分画像に基づいて前記記入済み帳票画像の回転角及び拡大率を検出する回転角・拡大率検出部と、前記回転角・拡大率検出部で検出された回転角及び拡大率によって前記参照画像を変換する参照画像回転・拡大部と、前記参照画像回転・拡大部によって変換された参照画像と前記未記入帳票画像との差分画像を生成し出力する出力画像生成部とを備えた構成としてある。
In order to achieve the above object, an OCR apparatus according to the present invention extracts and outputs a character image entered from image data of a form input by an optical reading means, as described in
このような構成からなる本発明のOCR装置によれば、画像入力部によって入力された記入済み帳票画像の回転角及び拡大率を検出し、検出された回転角及び拡大率によって参照画像を変換させることによって、処理対象となる記入済み帳票画像と参照画像の双方のフォームを一致させるようにしてある。そして、変換された参照画像と記入済み帳票画像との差分画像を生成し、出力することでフォームアウトを実現している。
このため、回転や伸縮によって生じた歪みを検出し、補正することができる。
したがって、画像スキャン時に発生するサイズ誤差(拡大・縮小)、印刷ズレ、入力画面の伸縮等が生じても、これらを補正し、フォームアウト処理を確実に実施することができる。
According to the OCR apparatus of the present invention having such a configuration, the rotation angle and enlargement rate of the completed form image input by the image input unit are detected, and the reference image is converted based on the detected rotation angle and enlargement rate. Thus, the forms of the completed form image and the reference image to be processed are matched. Then, a differential image between the converted reference image and the completed form image is generated and output, thereby realizing form-out.
For this reason, distortion caused by rotation or expansion / contraction can be detected and corrected.
Therefore, even if a size error (enlargement / reduction), printing misalignment, expansion / contraction of the input screen, or the like that occurs during image scanning occurs, these can be corrected and the form-out process can be performed reliably.
また、本発明のOCR装置は、入力された未記入帳票の画像データを一以上の行及び列に分割することにより複数の分割画像を生成する画像分割部と、前記画像分割部によって生成された分割画像を二値化し、二値化して得られた画素のうち一方の画素からなる画像の輪郭長の和を計算する特徴抽出部と、前記画像分割部によって生成された分割画像の中から前記輪郭長の和が最も大きい分割画像を検出する最大特徴領域検出部と、前記最大特徴領域検出部によって検出された分割画像を所定の回転角及び拡大率によって複数の画像データに変換する拡大・回転加工部と、を備え、前記辞書画像記憶部が、前記拡大・回転加工部によって変換された複数の画像データを辞書画像として記憶する構成としてある。 Further, OCR apparatus of the present invention, an image dividing unit that generates a plurality of divided images by dividing the image data of blank form that is input to one or more rows and columns, generated by the image dividing unit A feature extraction unit that binarizes a divided image and calculates a sum of contour lengths of an image composed of one of the pixels obtained by binarization, and the divided image generated by the image dividing unit A maximum feature region detection unit that detects a divided image having the largest sum of contour lengths, and an enlargement / rotation that converts the divided image detected by the maximum feature region detection unit into a plurality of image data with a predetermined rotation angle and enlargement ratio A processing unit, and the dictionary image storage unit stores a plurality of image data converted by the enlargement / rotation processing unit as a dictionary image.
そして、本発明のOCR装置は、請求項3に記載するように、前記差分画像生成部は、前記記入済み帳票画像をラスタ走査し、所定の画像データを取得するラスタ走査手段と、前記ラスタ走査手段によって取得した画像データから前記辞書画像の領域に相当する領域を抽出する領域抽出手段と、抽出した領域において、前記記入済み帳票画像と前記辞書画像との差分画像を生成する差分画像生成手段とを、備えた構成としてある。
In the OCR apparatus according to the present invention, as described in
このような構成からなる本発明のOCR装置によれば、未記入帳票の画像データを複数に分割し、その中でも最も特徴量の大きい分割画像を抽出し、この分割画像を所定の回転角及び拡大率で変換し複数の辞書画像を作成するようにしている。
また、記入済み帳票の画像データ上で、これらすべての辞書画像をラスタ走査し、各位置においてを差分画像を生成するようにしてある。
このため、記入済み帳票画像の回転角及び拡大率の正確な検出につながり、結果、精度の高いフォームアウトが可能となる。
According to the OCR apparatus of the present invention having such a configuration, the image data of an unfilled form is divided into a plurality of parts, and a divided image having the largest feature amount is extracted, and the divided image is subjected to a predetermined rotation angle and enlargement. It is converted at a rate to create multiple dictionary images.
Further, all these dictionary images are raster-scanned on the image data of the completed form, and a difference image is generated at each position.
This leads to accurate detection of the rotation angle and magnification of the completed form image, and as a result, highly accurate form-out is possible.
また、本発明のOCR装置は、前記回転角・拡大率検出部は、前記差分画像生成部によって生成された差分画像を二値化し、二値化して得られた画素のうち一方の画素の合計面積を計算する画素面積計算手段と、前記差分画像生成部によって生成された差分画像の中から前記合計面積が最も小さい差分画像を抽出する差分画像抽出手段と、前記差分画像抽出手段によって抽出された差分画像の生成にかかる辞書画像の回転角及び拡大率を、前記記入済み帳票画像の回転角及び拡大率とする回転角・拡大率決定手段とを備えた構成としてある。 Further, OCR apparatus of the present invention, the rotation angle and the enlargement ratio detector, binarizes the difference image generated by the difference image generation unit, the sum of one pixel among pixels obtained by binarizing Pixel area calculation means for calculating the area, difference image extraction means for extracting the difference image having the smallest total area from the difference images generated by the difference image generation section, and the difference image extraction means Rotation angle / magnification rate determining means for setting the rotation angle and magnification rate of the dictionary image for generating the difference image as the rotation angle and magnification rate of the completed form image is provided.
このような構成からなる本発明のOCR装置によれば、差分画像生成部によって生成された複数の差分画像の中から、差分を表す画素の面積が最も少ない差分画像を抽出するようにしてある。また、その面積が予め定めた閾値以下であることを条件としてある。
このため、記入済み帳票画像の回転角や拡大率の決定に際し、一定以上の精度を保つことが可能となる。
したがって、最終的なフォームアウト出力において、高い品質を維持することができる。
According to the OCR apparatus of the present invention having such a configuration, a difference image having the smallest area of pixels representing a difference is extracted from a plurality of difference images generated by the difference image generation unit. The condition is that the area is not more than a predetermined threshold value.
For this reason, it is possible to maintain a certain level of accuracy when determining the rotation angle and enlargement ratio of the completed form image.
Therefore, high quality can be maintained in the final form-out output.
また、本発明のOCR装置は、前記参照画像回転・拡大部によって変換された参照画像を、一以上の行及び列に分割することによって複数の小領域参照画像を生成する参照画像分割部と、前記小領域参照画像と前記入力済み帳票画像との位置を合わせる位置合わせ部とを備え、前記出力画像生成部は、前記位置合わせ部により小領域ごとの位置合わせが行われた後に、各小領域画像と記入済み帳票画像との差分画像を生成し出力する構成としてある。 Further, OCR apparatus of the present invention, the reference image that has been converted by said reference image rotation and expansion unit, the reference image dividing unit that generates a plurality of small regions a reference image by dividing into one or more rows and columns, An alignment unit that aligns the positions of the small region reference image and the input form image, and the output image generation unit performs alignment for each small region after the alignment unit performs alignment for each small region. A difference image between the image and the completed form image is generated and output.
特に、前記位置合わせ部は、前記参照画像分割部によって生成された各小領域参照画像ごとに前記記入済み帳票画像を所定の指定位置を基準として重ね合わせる基準位置合わせ手段と、前記指定位置を基準に一定の範囲内で前記各小領域参照画像及び/又は前記記入済み帳票画像を移動させる画像ずらし手段と、前記範囲内で前記各小領域参照画像と記入済み帳票画像との差分画像を生成する小領域差分画像生成手段と、生成された差分画像の中から差分絶対値が最も少ない各差分画像を抽出する小領域差分画像抽出手段と、前記小領域差分画像抽出手段によって抽出された各差分画像の生成に係る各小領域参照画像及び/又は入力済み帳票画像の位置をもって、画像の位置を決定する位置決定手段とを備えた構成としてある。 In particular, the positioning unit includes a reference alignment means for superimposing the completed form image for each small area reference image generated by the reference image dividing section based on the predetermined specified position, relative to the designated position Generating a difference image between the small area reference image and the completed form image within the range, and an image shifting means for moving the small area reference image and / or the completed form image within the predetermined range. Small area difference image generation means, small area difference image extraction means for extracting each difference image having the smallest difference absolute value from the generated difference images, and each difference image extracted by the small area difference image extraction means And a position determining means for determining the position of the image based on the position of each small region reference image and / or the input form image.
このような構成からなる本発明のOCR装置によれば、差分画像の生成の際、記入済み帳票画像と参照画像との位置合わせを小領域単位で行うこととしている。
したがって、局所的な歪みも補正できるため、さらに精度の高いフォームアウトを実現できる。
また、位置合わせのためのマークや罫線等が不要なので、帳票作成の際の制限が無くなり、利便性を向上することができる。
According to the OCR apparatus of the present invention having such a configuration, when the difference image is generated, the completed form image and the reference image are aligned in units of small areas.
Therefore, since local distortion can also be corrected, a more accurate form-out can be realized.
In addition, since there is no need for alignment marks, ruled lines, etc., there are no restrictions when creating a form, and convenience can be improved.
また、本発明のフォームアウト方法は、光学的読み取り手段によって入力された帳票の画像データの中から記入された文字画像を抽出し出力するフォームアウト方法であって、未記入帳票の画像データを入力するステップ、入力した未記入帳票の画像データを参照画像として記憶するステップ、入力した未記入帳票の画像データの一部を所定の回転率及び拡大率で変換し、辞書画像として記憶するステップ、記入済み帳票の画像データを入力するステップ、前記記入済み帳票画像と前記辞書画像との差分画像を生成するステップ、前記差分画像に基づいて前記記入済み帳票画像の回転率及び拡大率を検出するステップ、検出された回転率及び拡大率によって前記参照画像を変換するステップ、変換された参照画像と前記未記入帳票画像との差分画像を生成し出力するステップとを有する方法としてある。 The form-out method of the present invention is a form-out method for extracting and outputting a character image filled out from image data of a form input by an optical reading means, and inputting image data of an unfilled form A step of storing the inputted image data of the unfilled form as a reference image, a step of converting a part of the image data of the inputted unfilled form at a predetermined rotation rate and enlargement ratio, and storing it as a dictionary image, filling Inputting image data of a completed form, generating a difference image between the completed form image and the dictionary image, detecting a rotation rate and an enlargement rate of the completed form image based on the difference image, Converting the reference image according to the detected rotation rate and magnification rate, and the difference between the converted reference image and the blank form image There as a method having a step of generating and outputting an image.
このように、本発明は上述した装置発明としてだけでなく、方法発明としても実現化することができる。
これによって、具体的な装置構成に限定されることなく、前記各ステップを備える限り、本発明を実現化することができ、汎用性の高いフォームアウト方法を提供することができる。
Thus, the present invention can be realized not only as the device invention described above but also as a method invention.
As a result, the present invention can be realized and a highly versatile form-out method can be provided as long as each step is provided without being limited to a specific apparatus configuration.
また、本発明のフォームアウトプログラムは、光学的読み取り手段によって入力された帳票の画像データの中から記入された文字画像を抽出し出力するためにコンピュータを、前記光学的読み取り手段によって帳票の画像データを入力する手段、入力した未記入帳票の画像データを参照画像として記憶する手段、入力した未記入帳票の画像データの一部を所定の回転角及び拡大率で変換し、辞書画像として記憶する手段、入力した記入済み帳票の画像データと前記辞書画像との差分画像を生成する手段、前記差分画像に基づいて前記記入済み帳票画像の回転角及び拡大率を検出する手段、検出された回転角及び拡大率によって前記参照画像を変換する手段、変換された参照画像と前記未記入帳票画像との差分画像を生成し出力する手段、として機能させるためのプログラムとしてある。
Also, the form-out program of the present invention, a computer to extract a character image that has been entered from the image data of a form that is input by the optical reading means outputs the image data of the form by the optical reading means , Means for storing the image data of the input blank form as a reference image, means for converting a part of the input image data of the blank form at a predetermined rotation angle and enlargement ratio, and storing it as a dictionary image Means for generating a difference image between the input image data of the completed form and the dictionary image, means for detecting a rotation angle and an enlargement ratio of the completed form image based on the difference image, a detected rotation angle and Means for converting the reference image according to an enlargement ratio; means for generating and outputting a difference image between the converted reference image and the blank form image; There a program for functioning.
このように本発明はプログラムとしても実現化することができる。
これにより、OCR装置のみならずパーソナルコンピュータやスキャナにプログラムをインストールし各々の装置が連携することによって本発明を実現することができ、汎用性,拡張性に優れたフォームアウトプログラムとして提供することができる。
Thus, the present invention can also be realized as a program.
As a result, the present invention can be realized by installing a program not only in the OCR apparatus but also in a personal computer or a scanner, and the respective apparatuses cooperate with each other, and can be provided as a form-out program excellent in versatility and expandability it can.
本発明のOCR装置によれば、入力画像の歪み(サイズ誤差、印刷ズレ、伸縮、スキュー等)に対応できるようになり、確実なフォームアウトが可能となる。
また、局所的な歪みも吸収できるため、精度の高いフォームアウトを実現することができる。
さらに、従来の帳票に必要とされてきた位置合わせのためのマークや罫線が不要となるので、利便性を高めることができる。
これにより、入力された帳票の読み取り位置指定用マークや罫線の有無、印刷機器によるサイズ誤差、印刷ズレ、入力画像の伸縮、又は局所的な変形等に拘わらず、どのような用紙・帳票類であってもフォームアウトが可能な、汎用性,拡張性等に優れ、かつ、信頼性の高いOCR装置を実現することができる。
According to the OCR apparatus of the present invention, it becomes possible to cope with distortion (size error, printing misalignment, expansion / contraction, skew, etc.) of an input image, and reliable form-out is possible.
Moreover, since local distortion can also be absorbed, a highly accurate form-out can be realized.
Furthermore, since the alignment marks and ruled lines required for conventional forms are not necessary, the convenience can be improved.
As a result, regardless of whether there is a reading position designation mark or ruled line on the input form, size error due to the printing device, printing misalignment, expansion / contraction of the input image, or local deformation, etc. Even in such a case, it is possible to realize an OCR device that is formable, has excellent versatility, expandability, and the like, and has high reliability.
以下、本発明のOCR装置の好ましい実施形態について、図面を参照しつつ説明する。
ここで、以下の実施形態に示す本発明のOCR装置は、プログラム(ソフトウェア)の命令によりコンピュータで実行される処理,手段,機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理・機能を行わせる。すなわち、本発明のOCR装置における各処理・手段は、プログラムとコンピュータとが協働した具体的手段によって実現される。
なお、プログラムの全部又は一部は、例えば、磁気ディスク,光ディスク,半導体メモリ,その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。
Hereinafter, preferred embodiments of the OCR apparatus of the present invention will be described with reference to the drawings.
Here, the OCR apparatus of the present invention shown in the following embodiments is realized by processing, means, and functions executed by a computer according to instructions of a program (software). The program sends a command to each component of the computer to perform predetermined processing and functions as shown below. That is, each processing / means in the OCR apparatus of the present invention is realized by specific means in which a program and a computer cooperate.
Note that all or part of the program is provided by, for example, a magnetic disk, optical disk, semiconductor memory, or any other computer-readable recording medium, and the program read from the recording medium is installed in the computer and executed. The The program can also be loaded and executed directly on a computer through a communication line without using a recording medium.
図1は、本発明の一実施形態に係るOCR装置の主な構成を示すブロック図である。
本実施形態のOCR装置1は、入力装置10、データ処理装置20及び記憶装置40から構成される。
以下、本実施形態の主な構成について、各々詳細な説明を行う。
FIG. 1 is a block diagram showing a main configuration of an OCR apparatus according to an embodiment of the present invention.
The
Hereinafter, the main configuration of the present embodiment will be described in detail.
[入力装置10]
入力装置10は、画像入力部11を有する。画像入力部11は、帳票を光学的に読み取り画像データとして入力するものである。具体的には、スキャナ装置等がこれに相当する。
なお、入力装置10によって入力された画像データは、データ処理装置20に出力される。
[Input device 10]
The
Note that image data input by the
[データ処理装置20]
データ処理装置20は、画像分割部21、特徴抽出部22、最大特徴領域検出部23、拡大・回転加工部24、差分画像生成部31、回転角・拡大率検出部32、参照画像回転・拡大部33、参照画像分割部34、位置合わせ部35、及び出力画像生成部36を備える。
画像分割部21は、入力装置10から与えられた未記入帳票Aの画像データを複数の小領域に分割するものである。具体的には、画像データを、縦方向(行)及び横方向(列)に一以上分割することによって複数の碁盤目状の分割画像を生成するものである。例えば、2行2列に分割すると、4つの小領域に分かれた分割画像が生成されることとなる。
[Data processing device 20]
The data processing device 20 includes an image segmentation unit 21, a feature extraction unit 22, a maximum feature
The image dividing unit 21 divides the image data of the blank form A given from the
特徴抽出部22は、画像分割部21によって生成された分割画像を二値化し、二値化して得られた二つの画素(白画素及び黒画素)のうち、一方の画素の輪郭追跡処理を行い、その輪郭の長さの和を計算するものである。
例えば、二値化して得られた画素のうち、黒画素の輪郭追跡処理を行う場合、分割画像を走査し、最初に発見された黒画素を追跡開始点として所定方向に輪郭画素(黒画素と白画素の境界部)を追跡していき、再び追跡開始点に戻ったときに一つの輪郭線が形成されるので、この各輪郭線の長さの総和(特徴量)を計算することとなる。
なお、特徴量は、その領域(分割画像)に含まれる罫線、文字、模様等の複雑さを表す指標となるものである。
The feature extraction unit 22 binarizes the divided image generated by the image division unit 21 and performs contour tracking processing of one pixel among two pixels (white pixel and black pixel) obtained by binarization. The sum of the lengths of the contours is calculated.
For example, among the pixels obtained by binarization, when performing a contour tracking process of a black pixel, a divided image is scanned, and a contour pixel (a black pixel and a black pixel) is scanned in a predetermined direction with the first black pixel found as a tracking start point. Since a single contour line is formed when the white pixel boundary) is tracked and the tracking start point is returned again, the total length (feature value) of each contour line is calculated. .
The feature amount serves as an index representing the complexity of ruled lines, characters, patterns, and the like included in the region (divided image).
最大特徴領域検出部23は、画像分割部21によって生成された分割画像の中から最も大きな特徴量を有する分割画像を選び出すものである。
そして、拡大・回転加工部24は、最大特徴領域検出部23で検出した最も特徴量の大きい小領域の画像データを、回転、拡大(縮小)させるものである。
具体的には、回転角は、−6゜から+6゜まで1゜刻みの13通り、拡大率は、−10%から+10%まで2%刻みの11通りのすべての組み合わせについて加工し、合計143通りの加工済み小領域画像データを、辞書画像記憶部42に記憶する。
The maximum feature
The enlargement / rotation processing unit 24 rotates and enlarges (reduces) the image data of the small region having the largest feature amount detected by the maximum feature
Specifically, the rotation angle is processed in 13 ways in increments of 1 ° from −6 ° to + 6 °, and the enlargement ratio is processed in all 11 combinations in increments of 2% from −10% to + 10%. The processed small area image data is stored in the dictionary
差分画像生成部31は、辞書画像と記入済み帳票Bの入力画像との差分画像を生成するものである。詳細には、図2に示すとおり、ラスタ走査手段311、領域抽出手段312及び差分画像生成手段313を有しており、各手段の一連の動作により差分画像生成部31としての機能を果たすものとなっている。
ラスタ走査手段311は、入力装置10から与えられた記入済み帳票Bの画像データ上で、辞書画像記憶部42に記憶された143パターンの辞書画像をラスタ走査するものである。
The difference
The raster scanning means 311 performs raster scanning of the 143 pattern dictionary images stored in the dictionary
領域抽出手段312は、ラスタ走査手段311によって得た画像データにより、記入済み帳票Bの画像上における辞書画像領域と同一の領域を抽出するものである。
差分画像生成手段313は、領域抽出手段312によって得た領域において、各辞書画像パターンごとに差分画像を生成するものである。
なお、差分画像生成部31によって生成された差分画像は、回転角・拡大率検出部32に出力される。
The area extracting unit 312 extracts the same area as the dictionary image area on the image of the completed form B from the image data obtained by the raster scanning unit 311.
The difference image generation unit 313 generates a difference image for each dictionary image pattern in the region obtained by the region extraction unit 312.
The difference image generated by the difference
回転角・拡大率検出部32は、記入済み帳票Bの入力画像の回転角や拡大率を検出するものである。
具体的には、回転角・拡大率検出部32は、図3に示すように、画素面積計算手段321、差分画像抽出手段322及び回転角・拡大率決定手段323を有しており、各手段の一連の動作により回転角・拡大率検出部32としての機能を果たすものとなっている。
画素面積計算手段321は、差分画像生成部31で生成された差分画像を黒画素及び白画素に二値化し、一方の画素(例えば、白画素)の合計面積を計算するものである。これは、差分画像生成に関わった辞書画像と記入済み帳票画像との差異の大きさを測定するためである。
The rotation angle / magnification
Specifically, as shown in FIG. 3, the rotation angle / magnification
The pixel area calculation unit 321 binarizes the difference image generated by the difference
差分画像抽出手段322は、画素面積計算手段321によって計算された一方の画素の合計面積が最小となるところの差分画像を抽出するものである。
回転角・拡大率決定手段323は、差分画像抽出手段322によって抽出された差分画像の生成に関わった辞書画像を抽出し、その辞書画像の回転角及び拡大率を記入済み帳票Bの入力画像の回転角・拡大率であると判断するものである。
なお、回転角・回転率の判断においては、上記最小面積が、所定の閾値以下であることを限定条件としてもよい。
The difference
The rotation angle / magnification
In the determination of the rotation angle / rotation rate, the limiting condition may be that the minimum area is a predetermined threshold value or less.
参照画像回転・拡大部33は、参照画像記憶部41に記憶された参照画像の画像データを、回転角・拡大率検出部32でもとめた回転角及び拡大率で変換するものである。
この変換処理によって、記入済み帳票Bの入力画像に生じていた回転や拡大・縮小に係る歪みが、相対的に補正されることとなる。
参照画像分割部34は、参照画像回転・拡大部33で変換した参照画像を、複数の小領域に分割するものである。
具体的な処理については、画像分割部21と同様であり、参照画像を縦方向(行)及び横方向(列)に一以上分割することによって複数の分割画像を生成するものである。
The reference image rotation / enlargement unit 33 converts the image data of the reference image stored in the reference image storage unit 41 with the rotation angle and the enlargement rate stopped by the rotation angle / enlargement
By this conversion processing, the distortion associated with the rotation or enlargement / reduction that has occurred in the input image of the completed form B is relatively corrected.
The reference
The specific processing is the same as that of the image dividing unit 21, and a plurality of divided images are generated by dividing the reference image into one or more in the vertical direction (row) and the horizontal direction (column).
位置合わせ部35は、記入済み帳票Bの入力画像と参照画像分割部34によって生成された参照画像の分割画像との位置合わせを行うものである。
具体的には、位置合わせ部35は、図4に示すように、基準位置合わせ手段351、画像ずらし手段352、小領域差分画像生成手段353、小領域差分画像抽出手段354及び位置決定手段355を有し、各手段の一連の動作により位置合わせ部35としての機能を果たすものとなっている。
The
Specifically, as shown in FIG. 4, the
基準位置合わせ手段351は、参照画像分割部34によって生成された各小領域参照画像ごとに記入済み帳票Bの入力画像を重ね合わせるものである。具体的には、所定の基準位置(例えば、画像の重心など)に双方の画像の位置を合わせることとなる。
画像ずらし手段352は、前記基準位置から一定の範囲内において、各小領域参照画像又は記入済み帳票の入力画像の位置をずらす動作を行う。
このように画像位置の微調整を行うことによって、フォームアウトの精度を高めることができる。
The reference positioning means 351 superimposes the input image of the completed form B for each small area reference image generated by the reference
The image shifting means 352 performs an operation of shifting the position of each small area reference image or the input image of the completed form within a certain range from the reference position.
By performing fine adjustment of the image position in this way, the accuracy of form-out can be increased.
小領域差分画像生成手段353は、画像ずらし手段352における一定の範囲内で、各小領域参照画像と記入済み帳票画像との差分画像を生成するものである。
小領域差分画像抽出手段354は、小領域差分画像生成手段353によって生成された差分画像の中から差分絶対値が最も少ない差分画像を各小領域ごとに抽出するものである。
位置決定手段355は、上記小領域差分画像抽出手段354によって抽出された差分画像の生成に関わった小領域参照画像又は記入済み帳票画像の位置をもって各画像の位置とするものである。
そして、出力画像生成部36では、上記位置合わせ部35によって決定した位置にしたがって、各小領域参照画像ごとに記入済み帳票画像との差分画像が生成され、その合成画像が出力されることとなる。
The small area difference image generating means 353 generates a difference image between each small area reference image and the completed form image within a certain range in the image shifting means 352.
The small area difference image extracting means 354 extracts a difference image having the smallest difference absolute value from the difference images generated by the small area difference image generating means 353 for each small area.
The position determining means 355 determines the position of each image based on the position of the small area reference image or the completed form image related to the generation of the difference image extracted by the small area difference
Then, in the output
[記憶装置40]
記憶装置は、参照画像記憶部41及び辞書画像記憶部42を有する。
参照画像記憶部41は、入力装置10(画像入力部11)からの未記入帳票Aの画像を記憶するものである。
一方、辞書画像記憶部42は、データ処理装置20によって分割・変換加工された未記入帳票Aの画像を記憶するものである。
[Storage device 40]
The storage device includes a reference image storage unit 41 and a dictionary
The reference image storage unit 41 stores an image of the blank form A from the input device 10 (image input unit 11).
On the other hand, the dictionary
[フォームアウト方法]
次に、以上のような構成からなる一実施形態のOCR装置における動作フローについて図5及び図6を参照しつつ説明する。
図5は、本発明の一実施形態に係るOCR装置における辞書画像の生成フローを示したフローチャートである。
また、図6は、本発明の一実施形態に係るOCR装置における記入済み帳票のフォームアウトフローを示したフローチャートである。
[Form-out method]
Next, an operation flow in the OCR apparatus according to the embodiment having the above-described configuration will be described with reference to FIGS.
FIG. 5 is a flowchart showing a dictionary image generation flow in the OCR apparatus according to the embodiment of the present invention.
FIG. 6 is a flowchart showing a form-out flow of a completed form in the OCR apparatus according to an embodiment of the present invention.
[辞書画像生成]
最初に、本発明の一実施形態に係るOCR装置における辞書画像の生成フローについて、図5を参照しつつ説明する。
まず、入力装置10で入力された未記入帳票Aの画像データは、参照画像記憶部41とデータ処理装置20(画像分割部21)に供給される(ステップA1)。
画像分割部21では、図7に示すように、未記入帳票Aの画像データの全体又は一部を複数の小領域に分割する(ステップA2)。
例えば、縦方向はM行、横方向はN列(但し、M、Nは自然数)に分割することによって、M×N個の碁盤目状の小領域が形成される。
[Dictionary image generation]
First, a dictionary image generation flow in the OCR apparatus according to an embodiment of the present invention will be described with reference to FIG.
First, the image data of the blank form A input by the
As shown in FIG. 7, the image dividing unit 21 divides all or part of the image data of the unfilled form A into a plurality of small areas (step A2).
For example, M × N grid-like small regions are formed by dividing the vertical direction into M rows and the horizontal direction into N columns (where M and N are natural numbers).
次に、特徴抽出部22が、ステップA2により生成された各分割画像についてそれぞれ特徴となるデータ(特徴量)を抽出する(ステップA3)。特徴量とは、小領域に含まれる罫線や文字や模様等の複雑さを表すものであり、具体的には、分割画像を二値化して得た二値の画素(白画素及び黒画素)のうち、例えば黒画素部分の輪郭長の総和を計算することによって求めることができる。
そして、最大特徴領域抽出部23が、M×N個の各分割画像の中から、ステップA3で抽出した特徴量が最大であるところの領域(最大特徴領域)を抽出する(ステップA4)。すなわち、前記輪郭長が最大であるところの分割画像を抽出する。
Next, the feature extraction unit 22 extracts data (feature amount) that is a feature of each divided image generated in step A2 (step A3). The feature amount represents the complexity of ruled lines, characters, patterns, and the like included in a small area, and specifically, binary pixels (white pixels and black pixels) obtained by binarizing a divided image. Of these, for example, it can be obtained by calculating the sum of the contour lengths of the black pixel portions.
Then, the maximum feature
次に、拡大・回転加工部24が、ステップA4で抽出した領域の画像を様々な回転角・拡大率で変換加工する(ステップA5)。
具体的には、図8に示すように、回転角θは−6゜≦θ≦6゜の範囲で1゜刻み、拡大率Rは、0.90≦R≦1.10で0.02刻みの各組み合わせで変換することにより、143パターンの加工画像が生成されることとなる。
ここで、分割画像の回転角及び拡大率について一定の適用範囲を設けたのは、回転角や拡大率の幅を広くとり過ぎると、補正が追いつかず大きな誤差が生じる場合があり、一方、狭すぎると補正の適用範囲が小さくなり本発明の機能を十分に発揮できないためである。
Next, the enlargement / rotation processing unit 24 converts and processes the image of the region extracted in step A4 with various rotation angles and enlargement ratios (step A5).
Specifically, as shown in FIG. 8, the rotation angle θ is in increments of 1 ° within a range of −6 ° ≦ θ ≦ 6 °, and the enlargement ratio R is in increments of 0.02 with 0.90 ≦ R ≦ 1.10. By converting each combination of the above, a processed image of 143 patterns is generated.
Here, a certain range of application is provided for the rotation angle and enlargement ratio of the divided images. If the rotation angle and enlargement ratio are too wide, correction may not catch up and a large error may occur. If it is too large, the application range of the correction becomes small and the function of the present invention cannot be fully exhibited.
ただし、入力画像の歪みの大小は、入力装置の相違等、ユーザーによって異なることから、回転角、拡大率の範囲やそのパターン数は変更可能としてある。
なお、実際の画像データの変換においては、領域の縦方向をy軸、横方向をx軸とみたて、もとの画像座標を(x,y)、変換後の画像座標を(x’,y’)とした場合、以下の一次変換式が用いられる。
However, since the magnitude of the distortion of the input image varies depending on the user, such as the difference in input devices, the rotation angle, the range of the enlargement ratio, and the number of patterns can be changed.
In actual image data conversion, assuming that the vertical direction of the region is the y-axis and the horizontal direction is the x-axis, the original image coordinates are (x, y), and the converted image coordinates are (x ′, In the case of y ′), the following primary conversion equation is used.
そして、これら加工された画像データのすべては記憶装置40に送られ、辞書画像としてメモリー(辞書画像記憶部42)に記憶される(ステップA6)。
以上のステップを通して生成された辞書画像は、後のフォームアウト処理に必要とされるものである。要約すると、これらの辞書画像は、記入済み帳票の入力画像の歪み(回転や拡大・縮小等)を判定するために利用され、結果、確実なフォームアウトを可能とするものである。なお、辞書画像を利用したフォームアウトの詳細については、後述のフォームアウトフローの中で説明する。
All of the processed image data is sent to the storage device 40 and stored as a dictionary image in the memory (dictionary image storage unit 42) (step A6).
The dictionary image generated through the above steps is required for subsequent form-out processing. In summary, these dictionary images are used to determine the distortion (rotation, enlargement / reduction, etc.) of the input image of the completed form, and as a result, reliable form-out is possible. The details of form-out using a dictionary image will be described in a later-described form-out flow.
[フォームアウト]
次に、本発明の一実施形態に係るOCR装置における記入済み帳票のフォームアウトフローについて、図6を参照しつつ説明する。
まず、入力装置10は、記入済み帳票Bの画像データを取り込み(ステップB1)、データ処理装置20に出力する。
データ処理装置20では、図9に示すように、差分画像生成部31が、入力装置10からの記入済み帳票Bの入力画像上ですべての辞書画像をラスタ走査し、各々差分画像を生成する(ステップB2)。
そして、ステップB2で生成された各差分画像を利用して、記入済み帳票Bの入力画像の回転角・拡大率を検出する(ステップB3)。
[Form Out]
Next, a form-out flow of a completed form in the OCR apparatus according to an embodiment of the present invention will be described with reference to FIG.
First, the
In the data processing device 20, as shown in FIG. 9, the differential
Then, the rotation angle / magnification rate of the input image of the completed form B is detected using each difference image generated in step B2 (step B3).
具体的には、各差分画像を黒画素及び白画素に二値化し、相違部分(例えば、白画素部分)の面積を測定する。次に、この面積が最も小さくなるときの差分画像を抽出する。そして、この差分画像の生成に関わった辞書画像を抽出し、該辞書画像の回転角・拡大率を記入済み帳票画像の回転角・拡大率と判定するものである。
例えば、ここで抽出された差分画像の辞書画像が、未記入帳票画像を回転角5゜、拡大率0.90で変換されたものである場合には、記入済み帳票の入力画像は、回転角5゜、拡大率0.90で変形されて入力したものであると判定される。
Specifically, each difference image is binarized into a black pixel and a white pixel, and an area of a different portion (for example, a white pixel portion) is measured. Next, the difference image when this area becomes the smallest is extracted. Then, a dictionary image related to the generation of the difference image is extracted, and the rotation angle / magnification rate of the dictionary image is determined as the rotation angle / magnification rate of the completed form image.
For example, when the dictionary image of the difference image extracted here is a non-filled form image converted at a rotation angle of 5 ° and an enlargement ratio of 0.90, the input image of the filled form has a rotation angle of It is determined that the input is deformed at 5 ° and an enlargement ratio of 0.90.
ここで、辞書画像は、上述の通り、所定の範囲(本実施形態においては、回転角が−6゜から+6゜、拡大率が0.90から1.10の範囲)で変換された画像であるので、ステップB3で検出可能な回転角・拡大率も同一の範囲に限られる。
すなわち、上記範囲を超える変形が記入済み帳票の入力画面に生じている場合には、その回転角・拡大率は検出できず、フォームアウト不能を示すエラーコードが出力され、処理は終了する(ステップB4 NO)。
一方、回転角・拡大率が検出された場合は、次のステップ(ステップB5)にすすむ(ステップB4 YES)。
Here, as described above, the dictionary image is an image converted in a predetermined range (in this embodiment, a rotation angle is −6 ° to + 6 ° and an enlargement ratio is 0.90 to 1.10). Therefore, the rotation angle / magnification rate that can be detected in step B3 is also limited to the same range.
That is, when a deformation exceeding the above range occurs on the input screen of the completed form, the rotation angle / magnification rate cannot be detected, an error code indicating that form-out is impossible is output, and the process ends (step B4 NO).
On the other hand, if the rotation angle / magnification rate is detected, the process proceeds to the next step (step B5 YES) (step B4 YES).
ステップB5では、ステップB4で検出された回転角・拡大率によって、参照画像を変換し(ステップB5)、M行N列(但し、M、Nは自然数)の小領域に分割する(ステップB6)。
次に、分割された小領域ごとに、記入済み帳票Bの入力画像と分割した参照画像との位置合わせを試みる(ステップB7)。
In step B5, the reference image is converted based on the rotation angle / magnification rate detected in step B4 (step B5), and divided into small regions of M rows and N columns (where M and N are natural numbers) (step B6). .
Next, for each divided small area, an attempt is made to align the input image of the completed form B with the divided reference image (step B7).
具体的には、図10で示すように、まず変換・分割した参照画像を、記入済み帳票の入力画像の指定位置(例えば、各画像の重心位置)に合わせた状態を基準として、該参照画像をx方向に±K画素、y方向に±L画素(但し、K、Lは自然数)の範囲でずらし、各ずらし位置で記入済み帳票画像と該参照画像との差分画像を生成する。
その際、上記参照画像の白紙部分では差分を取らないよう(差分は0(ゼロ)固定)にする。記入済み帳票では、その部分に文字が記入される可能性があるためである。
Specifically, as shown in FIG. 10, the reference image is first converted and divided on the basis of a state in which the reference image is matched with the designated position of the input image of the completed form (for example, the centroid position of each image). Are shifted in the range of ± K pixels in the x direction and ± L pixels in the y direction (where K and L are natural numbers), and a difference image between the completed form image and the reference image is generated at each shifted position.
At that time, the difference is not taken in the blank portion of the reference image (the difference is fixed to 0 (zero)). This is because there is a possibility that characters will be entered in the completed form.
また、図11に示すように、各ずらし位置において差分画像から各小領域の差分の絶対値の和(Sum i,j(p,q)) (0≦i≦M−1,0≦j≦N−1,−K≦p≦K,−L≦q≦L)を求める。
そして、各ずらし位置での差分絶対値の和(Sum i,j(p、q))を比較し、小領域(i,j)ごとに、この差分絶対値の和(Sum i,j(p、q))が最小となるずらし位置(p(i,j),q(i,j))を保持する。
具体的には、図11に示すような式の通りとなる。
Further, as shown in FIG. 11, the sum of the absolute values of the differences between the small regions from the difference image (Sum i, j (p, q)) (0 ≦ i ≦ M−1, 0 ≦ j ≦) at each shift position. N-1, -K≤p≤K, -L≤q≤L).
Then, the sum of absolute differences (Sum i, j (p, q)) at each shift position is compared, and the sum of absolute differences (Sum i, j (p) for each small region (i, j). , Q)) is held at the minimum shift position (p (i, j), q (i, j)).
Specifically, the equation is as shown in FIG.
このようにして位置p(i,j)、q(i,j)が決まれば(ステップB8 YES)、図12に示す小領域ごとに差分画像を生成し、それらをつなぎ合わせ、全体の差分画像を生成する(ステップB9)。
一方、入力画像が、許容範囲外の変形がされたものであったり、参照画像と異なるフォーマット画像等の場合には、位置合わせは失敗と判断され、フォームアウト不能を示すエラーコードが出力され、処理は終了する(ステップB8 NO)。
以上のステップに従ってフォームアウト処理を実施することにより、図13に示すように、差分画像には読み取り対象となる文字画像のみが抽出される。
If the positions p (i, j) and q (i, j) are determined in this way (step B8 YES), a difference image is generated for each small region shown in FIG. Is generated (step B9).
On the other hand, if the input image has been deformed out of the allowable range, or is a format image or the like different from the reference image, the alignment is determined to be unsuccessful, and an error code indicating that form-out is impossible is output The process ends (NO at step B8).
By performing the form-out process according to the above steps, as shown in FIG. 13, only the character image to be read is extracted from the difference image.
以上説明したように、本実施形態のOCR装置1によれば、画像分割部21が参照画像を碁盤目状の部分画像に分割し、最大特徴領域検出部23がその中で最も特徴のある小領域のみを抽出し、拡大・回転加工部24がその小領域を複数の回転角・拡大率の組み合わせで変換し、回転角・拡大率検出部32がその各変換パターンと入力画像を重ね合わせることで、帳票の拡大・縮小率及びスキュー角を判定し、補正できるようにしてある。
その結果、出力画像生成部36によって、確実にフォームアウト出力ができるようにしている。
As described above, according to the
As a result, the output
このため、入力画面のサイズ誤差、印刷ズレ、伸縮等が生じてもこれらの歪みを吸収し、確実にフォームアウト処理を行うことができる。
また、画像を分割し小領域単位で処理を行うことによって、局所的な歪みにも対応できるため、精度の高いフォームアウトを実現することができる。
さらに、従来の帳票に必要とされてきた位置合わせのためのマークや罫線が不要となるので、利便性を高めることができる。
また、従来発生していた罫線除去エラー頻度が低減し、データエントリーの工数削減も可能となる。
For this reason, even if a size error, printing misalignment, expansion / contraction, etc. of the input screen occur, these distortions can be absorbed and the form-out process can be performed reliably.
Further, by dividing the image and performing processing in units of small areas, it is possible to cope with local distortions, so that it is possible to realize a highly accurate form-out.
Furthermore, since the alignment marks and ruled lines required for conventional forms are not necessary, the convenience can be improved.
In addition, the frequency of ruled line removal errors that has conventionally occurred can be reduced, and the man-hours for data entry can be reduced.
以上、本発明のOCR装置について、好ましい実施形態を示して説明したが、本発明にかかるOCR装置は、上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、本発明のOCR装置は、辞書画像を生成する際に行う最大特徴領域の変形(回転、拡大)の組み合わせを、任意の範囲やステップに変更してもよい。
また、辞書画像を生成する際、最大特徴領域を加工するときの拡大率を縦方向と横方向とで可変してもよい。
さらに、複数の参照画像を記憶し複数の帳票に対応させる帳票識別機能を備えた構成であってもよい。
Although the preferred embodiment of the OCR apparatus of the present invention has been described above, the OCR apparatus according to the present invention is not limited to the above-described embodiment, and various modifications can be made within the scope of the present invention. It goes without saying that it is possible.
For example, the OCR device of the present invention may change the combination of deformation (rotation, enlargement) of the maximum feature region performed when generating a dictionary image to an arbitrary range or step.
Further, when generating a dictionary image, the enlargement ratio when processing the maximum feature area may be varied between the vertical direction and the horizontal direction.
Furthermore, the structure provided with the form identification function which memorize | stores a some reference image and respond | corresponds to a some form may be sufficient.
本発明は、画像入力手段、データ処理手段、記憶手段を備えたOCR装置に好適に利用することができる。 The present invention can be suitably used for an OCR apparatus including an image input unit, a data processing unit, and a storage unit.
1 OCR装置
10 入力装置
20 データ処理装置
40 記憶装置
A 未記入帳票
B 記入済み帳票
1
Claims (8)
光学的読み取り手段によって帳票の画像データを入力する画像入力部と、
入力した未記入帳票の画像データを参照画像として記憶する参照画像記憶部と、
入力した未記入帳票の画像データの一部を所定の回転角及び拡大率で変換し、辞書画像として記憶する辞書画像記憶部と、
入力した記入済み帳票の画像データと前記辞書画像との差分画像を生成する差分画像生成部と、
前記差分画像生成部によって生成された差分画像に基づいて前記記入済み帳票画像の回転角及び拡大率を検出する回転角・拡大率検出部と、
前記回転角・拡大率検出部で検出された回転角及び拡大率によって前記参照画像を変換する参照画像回転・拡大部と、
前記参照画像回転・拡大部によって変換された参照画像と前記未記入帳票画像との差分画像を生成し出力する出力画像生成部と、を備えることを特徴とするOCR装置。 An OCR device that extracts and outputs a character image entered from image data of a form input by an optical reading means,
An image input unit for inputting image data of a form by optical reading means;
A reference image storage unit for storing the image data of the input blank form as a reference image;
A dictionary image storage unit that converts a part of the image data of the input blank form with a predetermined rotation angle and enlargement ratio and stores it as a dictionary image;
A difference image generation unit for generating a difference image between the input image data of the completed form and the dictionary image;
A rotation angle / magnification rate detection unit that detects a rotation angle and a magnification rate of the completed form image based on the difference image generated by the difference image generation unit;
A reference image rotation / enlargement unit that converts the reference image according to the rotation angle and the enlargement rate detected by the rotation angle / enlargement rate detection unit;
An OCR apparatus comprising: an output image generation unit that generates and outputs a difference image between the reference image converted by the reference image rotation / enlargement unit and the blank image.
前記画像分割部によって生成された分割画像を二値化し、二値化して得られた画素のうち一方の画素からなる画像の輪郭長の和を計算する特徴抽出部と、
前記画像分割部によって生成された分割画像の中から前記輪郭長の和が最も大きい分割画像を検出する最大特徴領域検出部と、
前記最大特徴領域検出部によって検出された分割画像を所定の回転角及び拡大率によって複数の画像データに変換する拡大・回転加工部と、を備え、
前記辞書画像記憶部が、
前記拡大・回転加工部によって変換された複数の画像データを辞書画像として記憶することを特徴とする請求項1に記載のOCR装置。 An image dividing unit that generates a plurality of divided images by dividing the image data of the input blank form into one or more rows and columns;
A feature extraction unit that binarizes the divided image generated by the image dividing unit and calculates a sum of contour lengths of images formed from one of the pixels obtained by binarization;
A maximum feature region detecting unit for detecting a divided image having the largest sum of the contour lengths from among the divided images generated by the image dividing unit;
An enlargement / rotation processing unit that converts the divided image detected by the maximum feature region detection unit into a plurality of image data with a predetermined rotation angle and enlargement ratio;
The dictionary image storage unit
The OCR apparatus according to claim 1, wherein a plurality of image data converted by the enlargement / rotation processing unit is stored as a dictionary image.
前記記入済み帳票画像をラスタ走査し、所定の画像データを取得するラスタ走査手段と、
前記ラスタ走査手段によって取得した画像データから前記辞書画像の領域に相当する領域を抽出する領域抽出手段と、
抽出した領域において、前記記入済み帳票画像と前記辞書画像との差分画像を生成する差分画像生成手段と、を備えることを特徴とする請求項1又は2に記載のOCR装置。 The difference image generation unit
Raster scanning means for raster-scanning the completed form image and obtaining predetermined image data;
An area extracting means for extracting an area corresponding to the area of the dictionary image from the image data acquired by the raster scanning means;
3. The OCR apparatus according to claim 1, further comprising: a difference image generation unit configured to generate a difference image between the completed form image and the dictionary image in the extracted area.
前記差分画像生成部によって生成された差分画像を二値化し、二値化して得られた画素のうち一方の画素の合計面積を計算する画素面積計算手段と、
前記差分画像生成部によって生成された差分画像の中から前記合計面積が最も小さい差分画像を抽出する差分画像抽出手段と、
前記差分画像抽出手段によって抽出された差分画像の生成にかかる辞書画像の回転角及び拡大率を、前記記入済み帳票画像の回転角及び拡大率とする回転角・拡大率決定手段と、を備えることを特徴とする請求項1乃至3のいずれか一項に記載のOCR装置。 The rotation angle / magnification detection unit is
Pixel area calculation means for binarizing the difference image generated by the difference image generation unit and calculating the total area of one of the pixels obtained by binarization;
A difference image extraction means for extracting a difference image having the smallest total area from the difference images generated by the difference image generation unit;
A rotation angle / magnification rate determination unit that sets the rotation angle and magnification of the dictionary image used to generate the difference image extracted by the difference image extraction unit as the rotation angle and magnification of the completed form image. The OCR device according to any one of claims 1 to 3, wherein
前記小領域参照画像と前記入力済み帳票画像との位置を合わせる位置合わせ部と、を備え、 An alignment unit for aligning the position of the small area reference image and the input form image,
前記出力画像生成部は、前記位置合わせ部により小領域ごとの位置合わせが行われた後に、各小領域画像と記入済み帳票画像との差分画像を生成し出力することを特徴とする請求項1乃至4のいずれか一項に記載のOCR装置。 The output image generation unit generates and outputs a differential image between each small region image and a completed form image after the alignment unit performs alignment for each small region. The OCR apparatus as described in any one of thru | or 4.
前記参照画像分割部によって生成された各小領域参照画像ごとに前記記入済み帳票画像を所定の指定位置を基準として重ね合わせる基準位置合わせ手段と、 A standard positioning means for superimposing the completed form image on the basis of a predetermined designated position for each small area reference image generated by the reference image dividing unit;
前記指定位置を基準に一定の範囲内で前記各小領域参照画像及び/又は前記記入済み帳票画像を移動させる画像ずらし手段と、 Image shifting means for moving each small area reference image and / or the completed form image within a certain range based on the specified position;
前記範囲内で前記各小領域参照画像と記入済み帳票画像との差分画像を生成する小領域差分画像生成手段と、 A small area difference image generating means for generating a difference image between each small area reference image and the completed form image within the range;
生成された差分画像の中から差分絶対値が最も少ない差分画像を小領域ごとに抽出する小領域差分画像抽出手段と、 A small area difference image extracting means for extracting, for each small area, a difference image having the smallest difference absolute value from the generated difference images;
前記小領域差分画像抽出手段によって抽出された各差分画像の生成に係る各小領域参照画像及び/又は入力済み帳票画像の位置をもって、画像の位置を決定する位置決定手段と、を備えることを特徴とする請求項5に記載のOCR装置。 Position determining means for determining the position of the image based on the position of each small area reference image and / or the input form image related to the generation of each differential image extracted by the small area difference image extracting means. The OCR apparatus according to claim 5.
未記入帳票の画像データを入力するステップ、 A step of inputting image data of a blank form,
入力した未記入帳票の画像データを参照画像として記憶するステップ、 Storing the input blank image data as a reference image;
入力した未記入帳票の画像データの一部を所定の回転率及び拡大率で変換し、辞書画像として記憶するステップ、 Converting a part of the image data of the input blank form with a predetermined rotation rate and enlargement rate and storing it as a dictionary image;
記入済み帳票の画像データを入力するステップ、 The step of inputting the image data of the completed form,
前記記入済み帳票の画像データと辞書画像との差分画像を生成するステップ、 Generating a difference image between the image data of the completed form and a dictionary image;
前記差分画像に基づいて前記記入済み帳票画像の回転率及び拡大率を検出するステップ、 Detecting a rotation rate and an enlargement rate of the completed form image based on the difference image;
検出された回転率及び拡大率によって前記参照画像を変換するステップ、 Converting the reference image according to the detected rotation rate and magnification rate;
変換された参照画像と前記未記入帳票画像との差分画像を生成し出力するステップと、を有することを特徴とするフォームアウト方法。 And a step of generating and outputting a difference image between the converted reference image and the blank form image.
前記光学的読み取り手段によって帳票の画像データを入力する手段、 Means for inputting image data of a form by the optical reading means;
入力した未記入帳票の画像データを参照画像として記憶する手段、 Means for storing the image data of the entered blank form as a reference image;
入力した未記入帳票の画像データの一部を所定の回転角及び拡大率で変換し、辞書画像として記憶する手段、 Means for converting a part of the image data of the entered blank form with a predetermined rotation angle and enlargement ratio and storing it as a dictionary image;
入力した記入済み帳票の画像データと前記辞書画像との差分画像を生成する手段、 Means for generating a difference image between the image data of the entered completed form and the dictionary image;
前記差分画像に基づいて前記記入済み帳票画像の回転角及び拡大率を検出する手段、 Means for detecting a rotation angle and an enlargement ratio of the completed form image based on the difference image;
検出された回転角及び拡大率によって前記参照画像を変換する手段、 Means for converting the reference image according to the detected rotation angle and magnification;
変換された参照画像と前記未記入帳票画像との差分画像を生成し出力する手段、 Means for generating and outputting a difference image between the converted reference image and the blank form image;
として機能させるためのフォームアウトプログラム。 Form-out program to function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005343159A JP4635845B2 (en) | 2005-11-29 | 2005-11-29 | OCR device, form-out method, and form-out program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005343159A JP4635845B2 (en) | 2005-11-29 | 2005-11-29 | OCR device, form-out method, and form-out program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007148846A JP2007148846A (en) | 2007-06-14 |
JP4635845B2 true JP4635845B2 (en) | 2011-02-23 |
Family
ID=38210184
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005343159A Expired - Fee Related JP4635845B2 (en) | 2005-11-29 | 2005-11-29 | OCR device, form-out method, and form-out program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4635845B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023181149A1 (en) * | 2022-03-23 | 2023-09-28 | 日本電気株式会社 | Character recognition system, character recognition method, and recording medium |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001043317A (en) * | 1999-08-02 | 2001-02-16 | Hitachi Eng Co Ltd | Character inspection device and its dictionary automatic generation method |
JP2001325563A (en) * | 2000-03-10 | 2001-11-22 | Fujitsu Ltd | Device and method for image collation and image collation program |
JP2002324236A (en) * | 2001-04-25 | 2002-11-08 | Hitachi Ltd | Method for discriminating document and method for registering document |
JP2002366895A (en) * | 2001-05-30 | 2002-12-20 | Internatl Business Mach Corp <Ibm> | Method and system for image processing, and program |
JP2003030583A (en) * | 2001-07-11 | 2003-01-31 | Oki Electric Ind Co Ltd | Method and device for identifying chart classification, and method and device for identifying format classification |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3591049B2 (en) * | 1995-05-18 | 2004-11-17 | 凸版印刷株式会社 | Automatic magnification angle setting device |
-
2005
- 2005-11-29 JP JP2005343159A patent/JP4635845B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001043317A (en) * | 1999-08-02 | 2001-02-16 | Hitachi Eng Co Ltd | Character inspection device and its dictionary automatic generation method |
JP2001325563A (en) * | 2000-03-10 | 2001-11-22 | Fujitsu Ltd | Device and method for image collation and image collation program |
JP2002324236A (en) * | 2001-04-25 | 2002-11-08 | Hitachi Ltd | Method for discriminating document and method for registering document |
JP2002366895A (en) * | 2001-05-30 | 2002-12-20 | Internatl Business Mach Corp <Ibm> | Method and system for image processing, and program |
JP2003030583A (en) * | 2001-07-11 | 2003-01-31 | Oki Electric Ind Co Ltd | Method and device for identifying chart classification, and method and device for identifying format classification |
Also Published As
Publication number | Publication date |
---|---|
JP2007148846A (en) | 2007-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5934762B2 (en) | Document modification detection method by character comparison using character shape characteristics, computer program, recording medium, and information processing apparatus | |
JP5559619B2 (en) | A method for detecting changes in printed documents using image comparison analysis | |
US20130020386A1 (en) | Information input output method using dot pattern | |
KR101235226B1 (en) | Image processor and image processing method and recording medium | |
JPH1173501A (en) | Reference picture preparation method and pattern detection device | |
JP5861503B2 (en) | Image inspection apparatus and method | |
JP2007335920A (en) | Image processing apparatus and image processing program | |
US7079265B2 (en) | Distortion correction device for correcting imaged object to produce plane image without distortion | |
US8064636B2 (en) | Image processing apparatus and method of controlling the same | |
JP6665595B2 (en) | Character recognition device, method and program | |
JP4565396B2 (en) | Image processing apparatus and image processing program | |
JP4013060B2 (en) | Image correction method and image correction apparatus | |
JP6413542B2 (en) | Image processing apparatus and image processing program | |
JP4635845B2 (en) | OCR device, form-out method, and form-out program | |
JP4910635B2 (en) | Image processing apparatus and image processing program | |
JP2009025856A (en) | Document discrimination program and document discrimination device | |
JP5844698B2 (en) | Character recognition device | |
JPH06311333A (en) | Picture processing unit | |
JP4803001B2 (en) | Image processing apparatus and image processing program | |
JP2000076378A (en) | Character recognizing method | |
JP3606218B2 (en) | Document classification device, character reading device, authenticity determination device, and methods thereof | |
JP2007328652A (en) | Image processing device and image processing program | |
JP5146199B2 (en) | Difference extraction apparatus and difference extraction program | |
JP2008206037A (en) | Image processing apparatus and image processing program | |
JP4517667B2 (en) | Document image collation device, document image alignment method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081016 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100817 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101007 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101026 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101108 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131203 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4635845 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |