WO2004107257A1 - 帳票処理プログラム、方法及び装置 - Google Patents
帳票処理プログラム、方法及び装置 Download PDFInfo
- Publication number
- WO2004107257A1 WO2004107257A1 PCT/JP2003/006828 JP0306828W WO2004107257A1 WO 2004107257 A1 WO2004107257 A1 WO 2004107257A1 JP 0306828 W JP0306828 W JP 0306828W WO 2004107257 A1 WO2004107257 A1 WO 2004107257A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- character frame
- recognition
- frame image
- character
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/12—Detection or correction of errors, e.g. by rescanning the pattern
- G06V30/127—Detection or correction of errors, e.g. by rescanning the pattern with the intervention of an operator
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/1429—Identifying or ignoring parts by sensing at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99937—Sorting
Definitions
- the present invention relates to a form processing program, a method and an apparatus for optically reading a form in which characters are written by hand and recognizing characters, and in particular, reading out a color of a part of the form that does not need to be recognized by opening the color.
- the present invention relates to a form processing program, method, and apparatus for processing images. Background art
- the form In the process of recognizing the characters of a read image by reading a form in which necessary information is entered in a character frame by a scanner (optical reader), the form is read with a scanner to improve the accuracy of character recognition in the read image. At this time, a color other than the characters entered on the form is dropped to obtain a recognition image of only the characters to be recognized.
- Fig. 25 shows a conventional form processing work screen.
- a recognition image 200 consisting only of handwritten characters obtained by reading a form by dropping a field frame or the like is displayed on the left side of the screen, and a recognition image 200 is displayed on the right side.
- a recognition result 202 having a predetermined format format created by recognizing a handwritten character of 0 is displayed.
- the recognition image 200 consisting of only handwritten characters it is difficult to see whether the handwritten content corresponds to the item of the recognition result 202 because the field frame and the like are dropped out. If there is an error, it makes it difficult to correct the recognition result.
- a non-gateway image is a color image because a color print is performed on the doorway part, and the non-gateway image is more protected than a dropout image which is a monotone image. Disclosure of the invention
- the present invention provides a form processing program executed by a computer. This form processing program is
- a form reading step for reading and storing a recognized image obtained by adding a color of an unnecessary part of the filled form to a scanner by a scanner
- a completed form is obtained by recognizing a character by recognizing a recognized image by drop-art reading
- a previously stored form drop-out part is compared with a character frame image serving as a form drop-out part.
- the completed form image can be restored by compositing, and the text of the recognition image can be displayed on the screen in which field of the form, and the recognition result can be checked and corrected easily and reliably.
- the character frame image which is a non-dropout image of a blank form only needs to store the image data of the form type, and saves the color image data of all forms as a non-dropout image as in the conventional case. Compared to the case, the storage amount of image data can be greatly reduced.
- a scanner as an optical reading device used for reading a form can be used easily and at a reduced cost because a general-purpose color scanner capable of setting a reading color can be used, and the completed form can be read only once. Good workability.
- Rotation angle detection step to detect the rotation angle 0 for rotation, and parallel movement to detect the parallel movement amount (X, y) for overlapping one of the recognition image and the character frame image with the rotation angle of 0
- An amount detecting step to detect the rotation angle 0 for rotation
- parallel movement to detect the parallel movement amount (X, y) for overlapping one of the recognition image and the character frame image with the rotation angle of 0
- An amount detecting step to detect the rotation angle S and the translation amount (X, y) to synthesize a pixel value.
- the rotation angle detection step and the translation amount detection step use the relationship between the center coordinate positions in a plurality of fields corresponding to the character frame image and the recognition image to obtain a rotation angle of 0 and a translation amount (X, y).
- the rotation angle detection step and the parallel movement amount detection step include a plurality of rotation angles and a plurality of parallel movements detected using the relationship between the center coordinate positions in a plurality of fields corresponding to the character frame image and the recognition image. Find the median of the quantities. As a result, it is possible to accurately detect the positional displacement between the recognition image and the character frame image, and to perform image synthesis with correct alignment.
- the character frame image reading step reads the character frame image from a plurality of forms of different types, saves the character frame image with the type identifier recognized from the read image, and reads the form from the completed form.
- the read image is saved with the type identifier recognized from the read image, and the combined display step includes a character frame having an identifier matching the identifier of the recognized image. It is characterized by selecting and superimposing images.
- the form processing program of the present invention is intended to process a plurality of types of forms, and to continuously read in a state in which different types of handwritten completed forms are mixed, and to superimpose the form with a character frame image corresponding to the type. Thus, the completed form image can be restored.
- the compositing display step displays a filled-out form image in which the stored recognition image is superimposed on the character frame image when necessary after correcting the recognition result. In this way, if the content of the recognition result becomes a problem after processing the recognition result by reading the form, the filled-in form image can be reproduced and the content can be collated at any time.
- the composite display step is performed when the pixel of the recognition image and the pixel of the character frame image overlap. In this case, the pixel value of the recognition pixel is selected. As described above, the input contents to be recognized can be easily confirmed by superimposing the input characters as recognition images.
- the composite display step performs composite display by fixing the density of the recognized image and the density of the character frame image to a predetermined density.
- the combined display is performed by changing the density of the recognition image and the density of the character frame image.
- the composite display is performed by changing the density value so that the density ratio (contrast) between the recognition image and the character frame image becomes a predetermined value.
- the present invention provides a form processing method. This form processing method,
- the present invention provides a form processing device.
- This form processing device reads a character frame image reading unit that reads all colors of a form having an unfilled character frame and saves the color as a character frame image, and drops a color of an unrecognized part of the filled form.
- a document reading unit that reads and stores the recognized image, a character recognition unit that recognizes the characters in the recognized image, and a composite display unit that displays the completed form image in which the recognized image is superimposed on the character frame image together with the character recognition result. It is characterized by having.
- FIG. 1 is a block diagram of a functional configuration showing an embodiment of the present invention
- FIG. 2 is an explanatory diagram of a hardware environment of a computer to which the present invention is applied;
- FIG. 3 is an explanatory diagram of a form using a drop paper sheet;
- Figure 4 is an explanatory diagram of a completed form to be read
- FIG. 5 is an explanatory diagram of a character frame image obtained by non-drop-art reading
- FIG. 6 is an explanatory diagram of a recognized image obtained by drop-art reading
- FIG. 7 is an explanatory diagram of a composite image generated by the present invention
- FIG. 8 is an explanatory diagram of the image synthesizing process in the present invention using the character frame image and the read image;
- Figure 9 is an illustration of the format definition file in Figure 1;
- Figure 10 is an explanatory diagram of the character frame image file in Figure 1;
- Figure 11 is an illustration of the recognition image file of Figure 1;
- FIG. 12 is a flowchart of the form processing according to the present invention.
- Fig. 13 is a flowchart of the character frame image reading process in Fig. 12;
- Fig. 14 is a flowchart of the form reading process in Fig. 12;
- FIG. 15 is a flowchart of the character recognition processing in FIG. 12;
- FIG. 16 is a flowchart of the image synthesis processing in FIG. 12;
- Fig. 17 is an illustration of the process for detecting the deviation of the rotation angle between the character frame image and the recognition image
- Fig. 18 is an explanatory diagram of processing to detect the shift of the parallel movement amount between the character frame image and the recognition image after correcting the shift of the rotation angle;
- FIG. 19 is a flowchart of the image superimposition process in FIG. 16;
- FIG. 20 is an explanatory diagram of an image when the density of the character frame image is changed;
- FIG. 21 is an explanatory diagram of the process of assigning black to the palette color table
- Fig. 22 is a flowchart of the form confirmation process for restoring the form image from the database
- FIG. 23 is an explanatory diagram of a work screen for confirmation and correction in which the synthesized image according to the present invention is displayed side by side along with the recognition result;
- Fig. 24 is an explanatory view of a work screen in which the synthesized image side of Fig. 23 is enlarged;
- Fig. 25 is an explanatory view of a work screen in which a conventional recognition image and a recognition result are displayed side by side;
- FIG. 1 is a block diagram of a functional configuration showing an embodiment of a form processing according to the present invention.
- a form processing device 10 of the present invention is realized by a personal computer or the like, and has a scanner (optical reading device) 11 connected as a form input device. Also, a display unit 40 is connected to display the processing result. Further, the form processing device 10 is connected as a client to the server 12 via a network such as a LAN, and the server 12 stores the processing result of the form processing device 10 in the database 15. .
- the form processing device 10 has a character frame image reading unit 14, a form reading unit 16, a character recognition unit 18, a composite display unit 20, a format definition file 22, a character frame image file 24, and a recognition image file 2. 6.
- a recognition result file 28 and an image memory 38 functioning as a work memory are provided. Further, the combined display section 20 is provided with a rotation angle detection section 30, a parallel movement amount detection section 32, an affinity conversion section 34 and a density adjustment section 36.
- the character frame image reading unit 14 reads all the colors of a drop-down color one-sheet having a plurality of fields with unfilled character frames with the scanner 11 and stores them in the character frame image file 24 as character frame images. Also, in this embodiment, format definition information describing which part of the form is to be subjected to character recognition for the read result of the character frame image is created and stored in the format definition file 22.
- a type ID is printed on each form in advance as an identifier indicating the type of the form. Therefore, regarding the format definition information for the character frame image file 24 and the format definition file 22, Each is stored with a type ID.
- the form reading unit 16 reads the recognition image obtained by dropping the color of the unnecessary part of the completed form, that is, the unnecessary part such as a field serving as a character frame, with the scanner 11, and reads the recognition image into the recognition image file. 2 Save to 6.
- This recognition image file 26 is stored by attaching the type ID entered in the form and the form ID set for each form to store the recognition image.
- the character recognition unit 18 recognizes handwritten characters in the reading target area specified by the format definition information read from the format definition file 22 based on the type ID of the recognized image acquired by the form reading unit 16. Then, a document according to a predetermined format is created based on the character recognition result, and is stored in the recognition result file 28 as the recognition result.
- the composite display section 20 reads the corresponding character frame image from the character frame image file 24 based on the type ID when the character recognition result generated by the character recognition section 18 is corrected, etc., and superimposes it on the recognition image.
- the completed form image is displayed on the display unit 40 alongside the recognized image.
- the rotation angle detection unit 30 detects a rotation angle (rotation shift angle) 0 for superimposing the recognition image and the character frame image.
- the translation amount detection unit 32 detects the translation amount (X, y) for superimposing the two in a state where the character frame is rotated by the rotation angle 0 at which the recognized image is detected.
- the affinity conversion unit 34 obtains a correspondence relationship for each pixel between the recognition image and the character frame image based on the rotation angle 0 and the translation amount (X, y), and synthesizes pixel values.
- the composite display section 20 is provided with a density adjusting section 36 so as to adjust the density of the character frame image and the recognition image in the composited and displayed adjusted image as needed.
- the form processing apparatus 10 of the present invention in FIG. 1 is realized by, for example, computer hardware resources as shown in FIG.
- the CPU 101 has a RAM 101 in the path 101, a hard disk controller (software) 104, and a floppy disk driver (software).
- the hard disk controller 104 is connected to the hard disk drive 106 and loads a program for executing the form processing of the present invention. When the computer starts up, the hard disk drive 106 is connected. The required program is called from, expanded on RAM I02 and executed by CPU100.
- a floppy disk drive (hardware) 112 is connected to the floppy disk driver 110, and it can read from and write to the floppy disk (R).
- a CD drive (hardware) 116 is connected to the CD-ROM driver 114 so that data programs stored on a CD can be read.
- the mouse controller 1 118 transmits the input operation of the mouse 120 to the CPU 100.
- the keyboard controller 122 transmits the input operation of the keyboard 124 to the CPU 100.
- the display controller 126 displays on the display unit 128.
- the communication port 130 uses a communication line 132 such as a LAN, connects a database server that stores documents created by reading forms, and further connects via a network such as the Internet. Communicates with external devices.
- the scanner driver 1336 drives the externally connected scanner 11 as software realized by the execution of a program by the CPU 100. Drop-art reading with specified color is possible.
- FIG. 3 is an explanatory diagram of an unfilled form using dropout color paper to be read according to the present invention.
- the form 42 is printed by designating an input sag-scale or color image as a drop color.
- a predetermined dropout color for example, blue is used to indicate a character frame and necessary item characters as illustrated.
- the form 42 has a plurality of fields 46 used as character frames. In this example, fill one field 4 6 with one character
- the form 42 is created as follows.
- the form name is displayed in the upper left corner of the form 42, and the type ID 44 is printed behind it.
- FIG. 4 is an explanatory diagram of a completed form 45 to be read in the present invention. Fields 4 6 of the completed form 4 5 are filled with characters as necessary, and the characters are filled out using ⁇ black '' which is different from the dropout color ⁇ blue '' .
- FIG. 5 is an explanatory diagram of a character frame image 48 obtained by dropout reading by the function of the character frame image reading unit 14.
- the character frame image 48 is read by setting the blank form 42 in FIG. 3 in the scanner 11 and scanning all colors.
- the character frame image 48 obtained by drop reading is read as an image with a black background, and the range of character recognition is determined by finding the end of the form from the black background of the character frame image 48.
- Information can be generated.
- the coordinates of each field 46 on the image surface are created as format definition information that determines the character recognition target area, and saved with the type ID added to the format definition file 22 in Fig. 1. Is done.
- the character frame image 48 itself is attached to the character frame image file 24 with the type ID.
- FIG. 6 is an explanatory diagram of the recognition image 50 obtained by drop-out reading the completed form 45 of FIG. That is, when reading the completed form 45, a monochrome recognition image in which the field 46 and its item characters have been erased by reading the form by dropping the form's dropout color, for example, "blue" with the color of the light source of the scanner 11 Get 5 0.
- the type ID since the type ID is not used for the gateway, it can be read as it is in the recognition image 50.
- the recognition image 50 obtained by this dropout reading is also read as an image with a black background, and by finding the edge of the form from the black background, the text is obtained based on the format definition information specified by the type ID 44. The coordinate position of the field for character recognition can be specified.
- FIG. 7 is an explanatory diagram of a composite image 54 generated according to the present invention. That is, a form filled with handwritten characters by superimposing and rotating the character frame image 48 in Fig. 5 and the recognition image 5.0 in Fig. 6 so that there is no deviation between the two images. The image can be restored as a composite image 54.
- FIG. 8 is an explanatory diagram of the image synthesizing process of the character frame image and the read image in the present invention using the images of FIGS. 3 to 7.
- the blank form 42 is set in the scanner 11 as it is, read as the character frame image 48 by the non-dropout reading 56, and is stored with its type ID.
- the filled-out form 45 is set in the scanner 11, and a read-out is performed on the form 58, and a recognition image 50 0 of only the typed character and the type ID in which the field and its item characters are dropped is recorded. Get.
- FIG. 9 is an explanatory diagram of the format definition file 22 of FIG.
- the form definition file 22 stores the form definition information by adding a type ID to each type of blank form.
- the format definition information is information indicating which part of the form is to be recognized as a character.
- Field coordinates are stored for each field ID, and a rotation angle and a flatness for correcting an image shift, which will be clarified later. Stores the field center coordinates used for detecting the line movement amount.
- the character frame image with the type ID “001” has four fields of field ID 0 0;! To 004.
- FIG. 10 is an explanatory diagram of the character frame image file 24 of FIG.
- the character frame image file 24 is provided with a type ID indicating the type of the form, and the character frame image image data read by the non-updating printer for each form.
- pixel data forming an image is stored in a predetermined image code format.
- each pixel data is, for example, RGB pixel data.
- FIG. 11 is an explanatory diagram of the recognized image file 26 of FIG.
- the recognized image image data read by the scanner 11 by the non-droplet reading specifically, the pixel data constituting the image
- the recognized image image data read by the scanner 11 by the non-droplet reading specifically, the pixel data constituting the image
- the form ID is a unique identifier assigned to each completed form that has been entered.Similar to the type ID, the ability to print on a form in advance with a non-dropout color or the device when reading the form Either the form ID may be added as an identifier in order.
- the recognized image data stored with the form ID and the type ID is monochrome pixel data because the recognized image is a monochrome image.
- FIG. 12 is a flowchart of the form processing of the present invention by the form processing apparatus 10 of FIG. 1.
- the processing procedure of this flowchart represents the processing contents of the form processing program according to the present invention.
- the processing procedure of the form processing according to the present invention is as follows. Step S1: A character frame image reading process of reading a plurality of types of unfilled forms as a character frame image, adding a type ID, and storing the image is performed. At this time, format definition information that specifies the reading target area of the character frame image is generated and saved at the same time.
- Step S2 The completed form is read by drop-letting to obtain a recognition image as a monochrome image of only the type ID and the entered characters, and is stored with the form ID and the type ID attached.
- Step S3 The recognition image read in step S2 is subjected to character recognition processing for a character reading field based on the format definition information acquired by the type ID, and has a predetermined format. Perform character recognition processing to place the read characters on the read document.
- Step S4 Check whether there is a processing request for the recognition result. If there is a processing request, proceed to step S5. If there is no processing request, proceed to step S7.
- Step S5 The character frame image is read based on the type ID of the form for which the processing request has been made, and the combined display processing is performed in which the character frame image is combined with the currently processed recognition image and overlapped.
- Step S6 The combined image obtained by the combined display processing is displayed side by side with the recognition result, and the recognition result confirmation processing is performed.
- Step S7 If it is determined that the log-off operation is completed due to the end of a series of processing by reading the filled out form, the processing is terminated. If the processing is not completed, the processing from step S2 is repeated.
- FIG. 13 is a flowchart of the character frame image reading process in FIG. The procedure of the character frame image reading process is as follows. Step S 1: Scan the blank form with full color setting for scanner 11.
- Step S2 Recognize the type ID from the read image.
- Step S3 Generate format definition information indicating the position of the character frame from the read image.
- Step S4 The type ID is added to the format definition information and stored in the format definition file 22.
- Step S5 The type ID is added to the character frame image, and the character frame image is saved in the character frame image file 24.
- Step S6 Check whether all types of forms have been processed. If not, return to step S1. If all types of forms have been processed, end the process.
- FIG. 14 is a flowchart of the form reading process in FIG. 12 and has the following processing procedure.
- Step S1 The color of the light source of the scanner 11 1 is set to the dropout color of the form, and the completed form is read.
- Step S2 Recognize the type ID from the read image.
- Step S3 The type ID and the form ID are attached to the recognized image, and are stored in the recognized image file 26.
- Step S4 Check whether there is an unprocessed form. If there is an unprocessed form, return to step S1; otherwise, end the processing.
- FIG. 15 is a flowchart of the character recognition process in FIG. 12, and has the following processing procedure.
- Step S1 The recognition image read from the scanner 11 is taken in as a character recognition processing target.
- Step S2 The format definition information is imported by referring to the format definition file 22 according to the type ID.
- Step S3 Set a field to be recognized in the recognized image from the format definition information.
- Step S4 Recognize the character string in the setting field.
- Step S5 The recognized character string is arranged at a designated position in a prepared document prepared in advance.
- Step S6 Check whether all fields of the form have been recognized. If not, return to step S4. If recognized, proceed to step S7.
- Step S7 Check whether there is any unprocessed recognized image. If there is an unprocessed recognized image, return to step S1; otherwise, end the process.
- FIG. 16 is a flowchart of the image synthesizing process in FIG. 12, and has the following processing procedure. Step S1: The created document to be checked is read and displayed on the screen.
- Step S2 The recognition image corresponding to the form ID is read from the recognition image file.
- Step S3 The character frame image corresponding to the type ID is read from the character frame image file 24.
- Step S4 A rotation angle detection process for detecting a difference between the rotation angles of the character frame image and the recognition image is executed.
- Step S5 Detect the parallel displacement (x, y) indicating the displacement in the X-axis and Y-axis directions between the character frame image and the recognized image with the rotational displacement due to the rotation angle 0 detected in step S4 corrected.
- a parallel movement amount detection process is performed.
- Step S6 Based on the detected rotation angle 0 and the translation amount (X, y), an affine transformation process is performed to find the correspondence between the character frame image, the recognized image and each pixel.
- Step S7 Image superimposition processing is performed to superimpose corresponding pixels of the character frame image and the recognition image.
- the details of the rotation angle detection processing in step S4 and the parallel movement amount detection processing in step S5 for correcting the displacement between the two images when the character frame image and the recognition image are superimposed will be described.
- FIG. 17 is an explanatory diagram when a deviation of the rotation angle between the character frame image and the recognition image is detected.
- Fig. 17 (A) shows a character frame image 62.
- four fields 64-1, 64-2, 64-3, and 64-4 are arranged, and each field is displayed.
- the center coordinates are given the coordinates of the center points ⁇ , P, Q, and R from the format definition information.
- a straight line 6 6 connecting the center point ⁇ ⁇ ⁇ ⁇ ⁇ of the field 6 4-1 and the center point Q of the diagonally located field 6 4-3 is set to the field Calculate as the angle with the vertical reference line 68 passing through the center point 0 of 6 4—1.
- the reference angle 0 1 ′ is set as the center point o of the field 74-1.
- the angle is detected as an angle with respect to a vertical reference line 78 passing through the center point o of the field 74-1, which is the straight line connecting the center point Q of the diagonally located fields 74-4.
- the reference angles 0 1 and 0 1 ′ with respect to the character frame image 62 and the recognition image 72 are taken into account that the form to be read has distortion and expansion and contraction, and the character frame image 62 and the recognition image are considered.
- 7 2 Obtain a plurality of reference angles 0 m, ⁇ m J and express the rotation angle 6> using the required value of the difference (0'm—0 m) as follows.
- Rotation angle median (, z 2 %) where m: element number (1 ⁇ ")
- n number of elements
- the angle of the straight line 6 6 connecting the field 6 44-1 and the field 6 4-3 with respect to the vertical reference line 6 8 is set as the reference angle 01.
- the angle of the straight line connecting field 64-1 and the center point 0, P of field 64-2 to the vertical reference line 68 is determined as 02, and furthermore, the fields 64-1 and The angle of the straight line connecting the center points ⁇ and R of fields 6 4-4 with respect to the vertical reference line 68 is determined as the reference angle 03.
- the reference obtained as an angle of the straight line 76 connecting the center points o and Q of the fields 74-1 and 74-2 with respect to the vertical reference line 78.
- the angle of the field 7 4 — 1 and the field 7 4 — 2 with respect to the vertical reference line 78 connecting the center points o and p of the field 7 4 — 2 is calculated as 0 2 ′, and the fields 7 4-1 and 7
- the angle of the straight line connecting the center points o and r of 4 with respect to the vertical reference line 78 is detected as the reference angle 0 3 ′.
- the three reference angles in the character frame image 62 and the recognition image 72 are as follows. Find the difference as follows.
- FIG. 18 is an explanatory diagram of a process of detecting a shift in the amount of parallel movement between the character frame image and the recognition image performed after correcting the shift of the rotation angle 0 detected in FIG.
- the recognition image 72 fixed, the character frame image 62 is rotated about the rotation angle ⁇ obtained by the processing of FIG. 17 around the center point of the field 64_1.
- field 6 4-4 moves to field 6 4-4'.
- the distance between the recognition image 72 and the rotated character frame image 62 is obtained for a plurality of fields, and the median value is used as the translation amount.
- the distance obtained for a plurality of fields of the recognition image 72 and the character frame image 62 is bm ( ⁇ , m is 1 to! 1)
- ⁇ the amount of translation Xm is given by the following equation.
- n number of elements
- Step 6 Recognition form coordinates
- 16 Step 6 Perform the affine transformation process of S 6
- the pixel of the character frame image 62 corresponding to the pixel of is obtained.
- Which pixel of the recognition image 72 corresponds to each pixel of the character frame image 62 using each affine transformation is given by the following equation.
- x, y Parallel movement amount for superimposition
- the character frame image 62 is rotated by the rotation angle 0 minutes detected in Fig. 17
- the parallel movement amount may be detected after the character frame image 62 is fixed and the recognition image 72 side is rotated by the detected rotation angle ⁇ .
- FIG. 19 is a flowchart showing details of the image superimposing process in step S7 of FIG. 16, and comprises the following processing procedure.
- Step S1 Based on the detection of the rotation angle 0 and the translation amount (x, y), the recognition image and the character frame image in which the correspondence of each pixel is obtained by the affine transformation are read.
- Step S2 Change the densities of the recognition image and the character frame image to the predetermined default densities.
- Step S3 Extract one pixel of the recognition image.
- Step S4 Check whether the pixel of the recognition image is black. If black, proceed to step S5. Otherwise, proceed to step S6.
- Step S5 If the pixels of the recognition image are black, the pixels of the recognition image are arranged at the pixels of the composite image.
- Step S6 If the pixels of the recognition image are not black, combine the pixels of the character frame image. It is arranged at the pixel of the formed image.
- Step S7 It is checked whether or not all the pixels have been processed. If not, the process returns to step S3. If the process is completed, the process proceeds to step S8.
- Step S8 Check whether there is a density change request, and if there is a change request, proceed to step S9; otherwise, end the process.
- Step S9 Change the character frame image and the recognized image to the specified density and display them.
- the colors of both images are simply set at a 1: 1 ratio. If it overlaps with, the written characters will become thin and the visibility will be reduced. For example, if the character frame image is white and the recognized image is black, if the two are overlaid at a one-to-one ratio, the color of the composite image will be gray and visibility will be reduced.
- the color of the character in the recognized image is used as it is for the portion where the character is written in the recognized image, and the color of the character frame image is used for the portion where no character is written.
- the more important parts are the written characters, so it is necessary to dilute the background character frame to make the written characters stand out.
- a method is needed to make the characters lighter and the background darker.
- step S2 of FIG. 19 basically, the images are superimposed with the densities of the recognition image and the character frame image as a predetermined default density, and after the superposition, the images are superimposed on the screen.
- the recognition image is made darker and the character frame image is made lighter.
- the background is hard to see, the process of making the characters lighter and making the background darker is performed by the operator.
- This is the density change processing of step S9 corresponding to the density change request of step S8 in FIG.
- it is output as a composite image when the images are superimposed in Fig. 19.
- Color C. ut can be defined by the following equation.
- C aut Q--a) C in + afiC bknded (4)
- C in is the RGB luminance of the target image
- the density of the character frame image and the recognition image can be changed by changing the mixing ratio and the adjustment ratio] 3 as a parameter in the adjustment ratio of ⁇ RGB luminance, that is, equation (4).
- the density of the recognition image is fixed to the density of the read image, and the density of the background character frame image is changed as necessary.
- the setting method of is adopted.
- the superimposed character frame image density is automatically set so that the contrast with the recognized image becomes a predetermined value according to the character frame image density.
- the method of automatically setting the character frame image density so that the contrast between the character frame image density and the recognition image density becomes a predetermined value is used when the density of the form is particularly high. It is very effective when it is thin, and is convenient because the user does not need to specify the density.
- FIG. 20 is an explanatory diagram of an image when the density of the character frame image is changed in the image superimposing process of FIG.
- Figure 20 (A) is an image in which the recognition image serving as the input character and the character frame image serving as the background are superimposed with the default values obtained by reading without changing the density.
- FIG. 20 (B) is an image in which the density of the character frame image is reduced and superimposed, and it can be seen that the visibility of the entered character on the recognition image is improved.
- FIG. 21 is an explanatory diagram of the process of allocating black to the palette color table of the character frame image in the image superposition process of FIG. Figure 19 Image
- a composite image is output by superimposing a recognition image that is a monochrome image and a character frame image that is a color image realized by a palette color table.
- the color of the composite image depends on the palette color table of the character frame image, but black is often not present on this palette color table. Therefore, black must be assigned to the palette color table of the character frame image in order to express the black of the characters that will be the part of the recognition image in the composite image.
- the assignment of black to a palette color table where no black color exists is a combination of the palette color — the two colors that are the most similar from the table, for example, the palette color table 8 4 in Figure 21 (A).
- Code conversion is performed on the empty data of the character frame image as shown in 2 1 (C).
- 21 (C) converts the code number "2 1 2" to the code number "2 1 1” in the input code 88 in the pixel image of the character frame image. Convert and output as output code 92. That is, as shown in FIG. 21 (B), by replacing the code number 2 12 with black, the color data A ′ of the original code number 2 12 It is converted to the color data A with the number 2 1 1 and output. As a result, even if black is assigned to a specific color in the palette color table of the character frame image, the color lost due to the assignment is converted to the closest color, and the color of the color in the character frame image is converted to the closest color. Changes can be minimized. In addition, there are cases where a composite image requires white in addition to black.
- the color data B, B 'of White is assigned to the color data B and, and the color data B 'is dealt with by code conversion of the code number by the code conversion unit 90 so that the color data B becomes a color of the same color.
- FIG. 22 is a flowchart of a form confirmation process for restoring a form image from the database 15 of FIG. That is, the completed form is read by the scanner 11, the recognition result is confirmed by displaying the composite image with the character frame image, and when necessary corrections and the like are completed, the document created as the recognition result is sent to the server 12. Transferred and stored in database 15 In this way, if the document created as a recognition result stored in the database 15 is found as a post-processing process, while checking the form recognition result, an unusual part is found, Then, the form image is restored, and recognition result confirmation processing is performed to confirm whether there is any error in the recognition result.
- the processing procedure of FIG. 22 for such recognition result confirmation processing is as follows. Step S1: Acquire the form recognition result from database 15 and display it on the screen.
- Step S2 The presence / absence of a form restoration request is checked. If there is a form restoration request, the process proceeds to step S3. If not, the process proceeds to step S4.
- Step S3 Based on the form restoration request, the character frame image is acquired from the database 15 by the type ID, and the recognition image is acquired by the form ID. Combine and display images. However, in this case, since the rotation angle 0 and the translation amount (x, y) for correcting the image shift are stored in the database, the rotation angle detection as shown in FIG. It is not necessary to detect the amount of translation.
- Step S4 If there is an instruction to log off, the process ends; otherwise, the process returns to step S1.
- Fig. 23 shows a composite image according to the present invention displayed on the created document obtained as a result of recognition by reading the completed form. It is an explanatory view of a work screen. In FIG.
- a created document 98 is displayed on the right side of the work screen 94, and a composite form image 96 obtained by superimposing the character frame image and the recognition image is displayed on the left side. For this reason, the operator looked at the work screen 94 and compared the recognition result arranged as the character recognition result in the created document 98 with the entry content of the composite form image 96 on the left, and the correct recognition result Can be checked whether or not it is obtained.
- FIG. 24 shows a case where the composite form image on the left side of the work screen 94 of FIG. 23 is enlarged and displayed, and the enlarged display makes it possible to more clearly recognize the contents of the form.
- the form to be processed according to the present invention is not limited by its size, format, etc., as long as it is a form in which a field as a character entry frame is specified, and can be applied to appropriate form processing as it is. Further, the present invention includes appropriate modifications without impairing its purpose and advantages, and is not limited by the numerical values shown in the above embodiments.
- the form is obtained in advance by non-dropout reading.
- the completed form image can be restored by combining it with the saved character frame image and displayed on the screen alongside the recognition result, and the correspondence between the recognition result and the field in the read form can be displayed. Clear recognition is possible, and recognition and correction work of the form reading result can be performed easily and reliably.
- the character frame image to be added when reading the completed form it is only necessary to save the character frame image for the type of the form to be read, and all the read images of the form without dropout are saved.
- the amount of image data storage required for restoring the filled-out read form can be greatly reduced as compared with the case of performing the above. That is, in the present invention, it is necessary to save the image data as color image data. Since the number of character frame images to be written can be the same as that of the form, only a few tens of types of color image data need to be saved, compared to the image data of a completed form that is read on a daily basis.
- the recognition image obtained by the document readout used for restoring the filled-out form by combining with the character frame image can be a monochrome image, even if the number of forms is large, the recognition image to be saved can be saved.
- the storage capacity of image data can be greatly reduced compared to the storage of color image data.
- the scanner used in the present invention does not require a special scanner capable of simultaneously obtaining a non-drop-up scanned image and a drop-art scanned image at the same time as reading a form. It is easy to introduce, cost reduction is possible, and it is necessary to save the character frame image by reading the form for the type before overlaying the characters. Just by reading, the completed form image can be restored by combining it with the saved character frame image, so that the work efficiency of the reading operation can be improved.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Character Input (AREA)
- Character Discrimination (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
帳票処理プログラムは、コンピュータに、未記入の文字枠を備えた帳票の全ての色をスキャナで読み取って文字枠画像として保存する文字枠画像読取ステップと、記入済みの帳票の認識不要部分の色をドロップアウトした認識画像をスキャナで読み取って保存する帳票読取ステップと、認識画像の文字を認識する文字認識ステップと、文字認識結果の修正時等に、認識画像を文字枠画像に重ね合わせた記入済み帳票画像を表示する合成表示ステップとを実行させる。
Description
明 細 書 帳票処理プログラム、 方法及び装置 技術分野
本発明は、 文字が手書きで記入された帳票を光学的に読み取って文字 を認識する帳票処理プログラム、 方法及び装置に関し、 特に、 帳票の認 識不要な部分の色をド口ップアゥトして読み取った画像を処理する帳票 処理プログラム、 方法及び装置に関する。 背景技術
文字枠に必要事項が記入された帳票をスキャナ (光学的読取装置) に より読み取って読取画像の文字を認識する処理にあっては、 読取画像に おける文字認識の精度を高めるため、 スキャナで読み取る際に、 帳票の 記入文字以外の色をドロップァゥ卜させて認識対象となる記入文字のみ の認識画像を取得している。
具体的には、 黒を使用する記入文字以外のドロップアゥトカラ一で文 字枠や必要事項が印刷された帳票を準備し、 次の手順で帳票の文字認識 を行う。
(手順 1 ) 認識対象となる記入済みの帳票を黒背景付きとしてスキャナ で読み取る。 このとき光源の色を帳票のドロップアウトカラーに合わせ てフィールド枠等の認識に不要な部分をドロップァゥトさせる。
(手順 2 ) 文字枠画像と認識対象帳票の黒背景から帳票の端を見つけだ すことで、 認識対象範囲を定め、 その範囲内の文字認識を行う。
しかしながら、 帳票上のフィールド枠等をドロップアウトして読み取 つた認識画像を認識結果と共に画面上に並べて表示させて確認する場合、 認識画像は手書きされた文字のみのため、 書かれている内容がどの項目 のものであるかが分からず、 内容を確認し誤りがあれば認識結果を修正 する作業が困難となる。
図 2 5は従来の帳票処理の作業画面であり、 画面左側にフィールド枠 等をドロップアゥトして帳票を読取った手書き文字のみからなる認識画 像 2 0 0を表示し、 右側に認識画像 2 0 0の手書文字の認識により作成 された所定の書式フォーマツ トをもった認識結果 2 0 2を表示している。 しかしながら、 手書文字のみからなる認識画像 2 0 0は、 フィールド枠 等がドロップアウトしているため、 手書きされた内容が認識結果 2 0 2 の項目に対応するかが分りにくく、 内容を確認し誤りがある場合、 認識 結果を修正する作業を困難にしている。
この問題を解決するため、 従来の帳票読取りにあっては、 特殊な O C R付スキャナを使用し、 帳票の 1回の読取操作でドロップアウト画像と 非ドロップァゥト画像を同時に取り込み、 非ドロップァゥト画像を認識 結果と共に画面表示して確認修正が容易にできるようにしている。
(特許文献 1 )
特開平 6— 6 8 2 9 9号公報
しかしながら、 このような従来のドロップアウト画像と非ドロップァ ゥト画像を同時に取り込む方法にあっては、 特殊な〇 C R付スキャナを 必要とする問題があり、 汎用のスキャナが使用できないためにコストァ ップになるという問題がある。 また汎用のスキャナを使用する際には、 読取色を替えて同じ帳票を 2回読み取る必要があり、 スキャナ読取操作 に手間と時間がかかる問題がある。
更に、 一度読み取ったド口ップアゥト画像及び非ド口ップアゥト画像 は、 認識結果を確認している際に疑問点が出たような場合には、 画面上 に再現して認識結果に誤りがないか確認する必要があり、 このためドロ ップアウト画像及び非ドロップ画像を保存する必要がある。 しかし、 帳 票一枚につき 2枚分の画像データの保存が必要となり、 日常処理として 読み取る帳票の数は膨大であるため、 全体的にみた画像データの保存量 が大幅に増加するという問題がある。 特に非ド口ップ画像はド口ップア ゥト部分にカラ一印刷をしているためにカラー画像となり、 ドロップァ ゥト画像がモノク口一画像であるのに比べ、 非ド口ップアゥト画像の保
発明の開示
本発明は、 帳票のドロップアウト部分を予め読取っておくことで、 帳 票のドロップァゥト画像から記入済み帳票画像を簡単に再現できるよう した帳票処理プログラム、 方法及び装置を提供することを目的とする。 本発明は、 コンピュータにより実行される帳票処理プログラムを提供 する。 この帳票処理プログラムは、 コンピュータに、
未記入の文字枠を備えた帳票の全ての色をスキャナで読み取って文字 枠画像として保存する文字枠画像読取ステップと、
記入済みの帳票の認識不要部分の色をド口ップアゥトした認識画像を スキャナで読み取って保存する帳票読取ステツプと、
認識画像の文字を認識する文字認識ステップと、
文字認識結果と共に、 認識画像を文字枠画像に重ね合わせた記入済み 帳票画像を表示する合成表示ステツプと、
を実行させることを特徴とする。
このような本発明の帳票処理プログラムによれば、 記入済みの帳票を ドロップァゥト読取りで認識画像を取得して文字認識した場合、 予め保 存している帳票ドロップアゥト部分となる文字枠画像との合成で記入済 帳票画像が復元でき、 認識画像の文字が帳票のどのフィールドに書かれ たものか画面上で対応させることができ、 認識結果の確認と修正が簡単 且つ確実にできる。 また未記入帳票の非ドロップァゥト画像である文字 枠画像は、 帳票の種類分の画像データを保存するだけで済み、 従来のよ うに非ドロップァゥト画像として全帳票分のカラー画像データを保存す る場合に比べ、 画像デ一夕の保存量を大幅に低減できる。 また帳票読取 に使用する光学読取装置としてのスキャナは、 読取色を設定可能な汎用 のカラ一スキャナが使用できることから導入が容易でコストダウンにな り、 更に、 記入済帳票の読取りは 1回で良いから作業性が高い。
ここで、 合成表示ステップは、 認識画像と文字枠画像を重ね合わせる
ための回転角度 0を検出する回転角度検出ステップと、 認識画像と文字 枠画像の一方を回転角度 0だけ回転させた状態で重ね合わせるための平 行移動量 (X , y ) を検出する平行移動量検出ステップと、 回転角 Sと 平行移動量 (X , y ) に基づいて認識画像と文字枠画像との各画素毎に 対応関係を求めて画素値を合成する画素合成ステップとを備え、 更に、 回転角度検出ステツプ及び平行移動量検出ステツプは、 文字枠画像と認 識画像で対応している複数のフィールドにおける中心座標位置の関係を 利用して回転角度 0及び平行移動量 (X , y ) を検出することを特徴と する。具体的に、回転角度検出ステツプ及び平行移動量検出ステツプは、 文字枠画像と認識画像で対応している複数のフィールドにおける中心座 標位置の関係を利用して検出した複数の回転角度及び平行移動量のうち の中央値を求める。 これによつて認識画像と文字枠画像との位置ずれを 正確に検出して正しく位置合わせした画像合成ができる。
文字枠画像読取ステツプは、 種類の異なる複数の帳票から文字枠画像 を読み取ると共に、 読取画像から認識した種別識別子を付して文字枠画 像を保存し、 帳票読取ステップは、 記入済みの帳票から認識不要部分の 色をド口ップアゥトした認識画像を読み取ると共に、 読取画像から認識 した種別識別子を付して読取画像を保存し、 合成表示ステップは、 認識 画像の識別子に一致する識別子を持つ文字枠画像を選択して重ね合わせ ることを特徴とする。 このように本発明の帳票処理プログラムは、 複数 種類の帳票を処理対象とし、 種類の異なる手書きによる記入済み帳票が 混在した状態で連続的に読み込んでも、 種別に対応した文字枠画像との 重ね合わせにより記入済み帳票画像を復元できる。
合成表示ステップは、 認識結果を修正した後の必要時に、 保存されて いる認識画像を文字枠画像に重ね合わせた記入済み帳票画像を表示する。 このように帳票の読取による認識結果の処理後に、 認識結果の内容が問 題となった場合は、 いつでも記入済帳票画像を再現して内容の照合がで きる。
合成表示ステツプは、 認識画像の画素と文字枠画像の画素が重なる場
合は、 認識画素の画素値を選択する。 このように認識画像としての記入 文字を優先させる重ね合わせにより、 認識対象となる記入内容の確認が 行い易い。
合成表示ステツプは、 認識画像の濃度と文字枠画像の濃度を予め定め た濃度に固定して合成表示させる。 また合成表示ステップは、 認識画像 の濃度と文字枠画像の濃度を変更して合成表示させる。 更に合成表示ス テツプは、 認識画像と文字枠画像の濃度比率 (コントラスト) が所定値 となるよう濃度値を変更して合成表示させる。 このように文字枠画像お よび認識画像における文字の濃度調節や色の変更を行うことで、 記入さ れた文字の視認性を向上できる。 合成表示ステップは、 前記認識画像を 文字枠画像に重ね合わせた合成画像を、 前記認識結果の表示画面上に並 ベて表示させる。
本発明は、 帳票処理方法を提供する。 この帳票処理方法は、
未記入の文字枠を備えた帳票の全ての色を読み取って文字枠画像として 保存する文字枠画像読取ステップと、
記入済みの帳票の認識不要部分の色をド口ップアゥトした認識画像を 読み取って保存する帳票読取ステップと、
認識画像の文字を認識する文字認識ステツプと、
文字認識結果と共に、 認識画像を文字枠画像に重ね合わせた記入済み帳 票画像を表示する合成表示ステップと、
を備えたことを特徴とする。
本発明は帳票処理装置を提供する。 この帳票処理装置は、 未記入の文 字枠を備えた帳票の全ての色を読み取って文字枠画像として保存する文 字枠画像読取部と、 記入済みの帳票の認識不要部分の色をドロップァゥ トレた認識画像を読み取って保存する帳票読取部と、 認識画像の文字を 認識する文字認識部と、 文字認識結果と共に認識画像を文字枠画像に重 ね合わせた記入済み帳票画像を表示する合成表示部とを備えたことを特 徴とする。
なお、 本発明の帳票処理方法及び帳票処理装置の詳細は、 帳票処理プ
ログラムと基本的に同じになる。 図面の簡単な説明
図 1は本発明の実施形態を示した機能構成のブロック図 ;
図 2は本発明が適用されるコンピュータのハードウエア環境の説明図; 図 3はドロップァゥトカラ一用紙を使用した帳票の説明図 ;
図 4は読取対象とする記入済帳票の説明図;
図 5は非ドロップァゥト読取りにより取得された文字枠画像の説明図 ; 図 6はドロップアゥト読取りにより取得された認識画像の説明図; 図 7は本発明により生成される合成画像の説明図 ;
図 8は文字枠画像と読取画像を用いた本発明における画像合成処理の説 明図 ;
図 9は図 1の書式定義ファイルの説明図 ;
図 1 0は図 1の文字枠画像ファイルの説明図 ;
図 1 1は図 1の認識画像ファイルの説明図;
図 1 2は本発明による帳票処理のフローチャート ;
図 1 3は図 1 2における文字枠画像読取処理のフローチャート ; 図 1 4は図 1 2における帳票読取処理のフローチヤ一ト ;
図 1 5は図 1 2における文字認識処理のフローチヤ一ト ;
図 1 6は図 1 2における画像合成処理のフローチヤ一ト ;
図 1 7は文字枠画像と認識画像の回転角度のずれを検出する処理の説明 図 ;
図 1 8は回転角度のずれを補正した後に行う文字枠画像と認識画像の平 行移動量のずれを検出する処理の説明図 ;
図 1 9は図 1 6における画像重ね合わせ処理のフローチヤ一ト ; 図 2 0は文字枠画像の濃度を変えた場合の画像説明図 ;
図 2 1はパレツトカラ一テーブルに黒を割り当てる処理の説明図; 図 2 2はデータベースから帳票画像を復元する帳票確認処理のフローチ ヤー卜
図 2 3は認識結果に並べて本発明による合成画像を並べて表示する確認 修正のための作業画面の説明図 ;
図 2 4は図 2 3の合成画像側を拡大表示した作業画面の説明図 ; 図 2 5は従来の認識画像と認識結果を並べて表示した作業画面の説明 図 ; 発明を実施するための最良の形態
図 1は、 本発明による帳票処理の実施形態を示した機能構成のブロッ ク図である。 図 1において、 本発明の帳票処理装置 1 0はパーソナルコ ンピュータなどで実現され、 帳票の入力デバイスとしてスキャナ (光学 的読取装置) 1 1を接続している。 また処理結果を表示するためデイス プレイュニット 4 0を接続する。 更に帳票処理装置 1 0はサーバ 1 2に 対し L A Nなどのネッ トワークを介してクライアントとして接続されて おり、 サーバ 1 2は帳票処理装置 1 0の処理結果をデータベース 1 5に 保存するようにしている。帳票処理装置 1 0には文字枠画像読取部 1 4、 帳票読取部 1 6、 文字認識部 1 8、 合成表示部 2 0、 書式定義ファイル 2 2、 文字枠画像ファイル 2 4、 認識画像ファイル 2 6、 認識結果ファ ィル 2 8、 さらにワークメモリとして機能する画像メモリ 3 8が設けら れている。 また合成表示部 2 0には回転角度検出部 3 0、 平行移動量検 出部 3 2、 ァフィ ン変換部 3 4及び濃度調整部 3 6が設けられている。 文字枠画像読取部 1 4は、 未記入の文字枠による複数フィールドを備え たドロップァゥトカラ一帳票の全ての色をスキャナ 1 1で読取って文字 枠画像として文字枠画像ファイル 2 4に格納する。 またこの実施形態に あっては、 文字枠画像の読取結果について、 帳票のどの部分を文字認識 するかを記述している書式定義情報を作成し、 書式定義ファイル 2 2に 格納する。 文字枠画像読取部 1 4が処理する未記入のドロップアウトカ ラー帳票は、 通常、 複数種類準備されており、 各帳票には予め帳票の種 別を示す識別子として種別 I Dが印刷されている。 従って文字枠画像フ アイル 2 4及び書式定義ファイル 2 2に対する書式定義情報については、
それぞれ種別 I Dをつけて保存している。 帳票読取部 1 6は記入済みの 帳票の認識不要部分、 すなわち文字枠となるフィ一ルドなどの不要部分 の色をドロップァゥトした認識画像をスキャナ 1 1により読取って、 認 識画像を認識画像ファイル 2 6に保存する。 この認識画像ファイル 2 6 への保存は、 帳票に記入されている種別 I Dと帳票毎に設定された帳票 I Dを付して認識画像を保存する。 文字認識部 1 8は、 帳票読取部 1 6 で取得された認識画像の種別 I Dによって書式定義ファイル 2 2から読 み出された書式定義情報で指定される読取対象領域について手書文字を 認識し、 文字認識結果により所定の書式フォ一マツ卜に従ったドキュメ ントを作成して、 認識結果として認識結果ファイル 2 8に保存する。 合 成表示部 2 0は、 文字認識部 1 8で生成された文字認識結果の修正時等 に、 種別 I Dにより文字枠画像ファイル 2 4から対応する文字枠画像を 読み出し認識画像と重ねあわせた記入済み帳票画像をディスプレイュニ ッ ト 4 0に認識画像と並べて表示する。 この合成表示部 2 0における認 識画像と文字枠画像の重ね合わせ表示のため、 2つの画像のずれを検出 して修正するため、 回転角度検出部 3 0、 平行移動量検出部 3 2及びァ フィ ン変換部 3 4が設けられている。 回転角度検出部 3 0は認識画像と 文字枠画像を重ね合わせるための回転角度 (回転ずれ角度) 0を検出す る。 平行移動量検出部 3 2は例えば文字枠が応に対し認識画像を検出さ れた回転角度 0だけ回転させた状態で、 両者を重ね合わせるための平行 移動量 (X , y ) を検出する。 ァフィ ン変換部 3 4は回転角度 0と平行 移動量 (X , y ) に基づいて、 認識画像と文字枠画像との各画素ごとに 対応関係を求めて画素値を合成する。 さらに合成表示部 2 0には濃度調 整部 3 6が設けられ、 合成表示された記入済み調整画像において必要に 応じて文字枠画像と認識画像の濃度を調整するようにしている。
図 1における本発明の帳票処理装置 1 0は、 例えば図 2のようなコン ピュー夕のハードウェア資源により実現される。 図 2のコンピュータに おいて、 C P U 1 0 0のパス 1 0 1には R A M 1 0 2、 ハードディスク コントローラ (ソフト) 1 0 4、 フロッピィディスク ドライバ (ソフト)
1 1 0、 CD— ROMドライバ (ソフト) 1 1 4、 マウスコントローラ 1 1 8、 キ一ボードコントローラ 1 2 2、 ディスプレイコントローラ 1 2 6、 通信用ポード 1 3 0、 スキャナドライバ 1 3 6が接続される。 ハ 一ドディスクコントローラ 1 04はハ一ドディスクドライブ 1 0 6を接 続し、本発明の帳票処理を実行するプログラムをローディングしており、 コンピュ一夕の起動時に八一ドディスク ドライブ 1 0 6から必要なプロ グラムを呼び出して、 RAM I 0 2上に展開し、 C PU 1 0 0により実 行する。 フロッピィディスクドライバ 1 1 0にはフロッピィディスク ド ライブ (ハード) 1 1 2が接続され、 フロッピィディスク (R) に対す る読み書きができる。 C D— ROMドライバ 1 1 4に対しては、 CDド ライブ (ハード) 1 1 6が接続され、 CDに記憶されたデータゃプログ ラムを読み込むことができる。 マウスコント口一ラ 1 1 8はマウス 1 2 0の入力操作を C PU 1 0 0に伝える。 キーポ一ドコントローラ 1 2 2 はキーポード 1 24の入力操作を C P U 1 0 0に伝える。 ディスプレイ コントローラ 1 2 6は表示部 1 2 8に対して表示を行う。 通信用ポ一ド 1 3 0は LANなどの通信回線 1 3 2を使用し、 帳票読取により作成さ れたドキュメントを保存するデータベースサーバを接続し、 更に、 イン ターネッ ト等のネッ トワークを介して外部装置との間で通信を行う。 ス キヤナドライバ 1 3 6は C PU 1 0 0によるプログラムの実行で実現さ れるソフトウエアとして外部接続されたスキャナ 1 1を駆動するもので あり、 フルカラ一対応の非ド口ップアゥト読取と特定のド口ップアゥト カラ一を指定したドロップァゥト読取ができる。
図 3は、 本発明の読取対象となるドロップアウトカラー用紙を使用し た未記入の帳票の説明図である。 図 3において、 帳票 42は入力のダレ —スケールあるいはカラー画像をドロップァゥトカラ一に指定して印刷 されている。 以下の実施形態にあっては所定のドロップァゥトカラ一例 えば青を使用して文字枠や必要な項目文字を図示のように示した場合を 例にとっている。 帳票 4 2は文字枠として使用されるフィールド 4 6を 複数配置している。 この例ではひとつのフィールド 4 6に 1文字を記入
するように帳票 4 2が作成されている。 帳票 4 2の左上隅には帳票名が 表示され、 その後ろに種別 I D 4 4を印刷している。 この種別 I D 4 4 として所定の文字列あるいはバーコ一ドなどが使用され、 帳票 4 2にお ける ドロップアウトカラー以外の色、 例えばドロップアウトカラ一が 「青」であった場合には「黒」を使用して種別 I D 4 4を印刷している。 図 4は、 本発明において読取対象とする記入済み帳票 4 5の説明図で ある。 記入済み帳票 4 5のフィールド 4 6には必要に応じて文字が記入 されており、 文字の記入色はドロップアウトカラーである 「青」 とは異 なる 「黒」 を使用して記入している。
図 5は、 文字枠画像読取部 1 4の機能により ドロップアウト読取によ り取得された文字枠画像 4 8の説明図である。 文字枠画像 4 8は図 3の 未記入の帳票 4 2をスキャナ 1 1にセッ トして全ての色をスキャンする ようにして読取っている。 またドロップァゥト読取により得られた文字 枠画像 4 8は黒背景付きの画像として読取られており、 文字枠画像 4 8 の黒背景から帳票の端を見つけ出すことで文字の認識対象範囲を定める 書式定義情報を生成することができる。 すなわち文字枠画像 4 8にあつ ては画像面の各フィールド 4 6の座標が文字認識対象領域を定める書式 定義情報として作成されて、 図 1の書式定義ファイル 2 2に種別 I Dを 付して保存される。 同時に文字枠画像 4 8そのものが種別 I Dを付して 文字枠画像ファイル 2 4に保存される。
図 6は、 図 4の記入済み帳票 4 5のドロップアゥト読取により取得さ れた認識画像 5 0の説明図である。 すなわち記入済み帳票 4 5を読取る 際に帳票のドロップアウトカラーである例えば 「青」 にスキャナ 1 1の 光源の色をあわせて読取ることでフィールド 4 6やその項目文字を消し 去ったモノクロの認識画像 5 0を取得する。 また種別 I Dについてはド 口ップアゥトカラ一を使用していないことから、 認識画像 5 0にそのま ま読取ることができる。 このドロップァゥト読取により取得された認識 画像 5 0も黒を背景とした画像として読取られ、 黒背景から帳票の端を 見つけ出すことで種別 I D 4 4で特定された書式定義情報に基づき、 文
字認識のためのフィールドの座標位置を特定することができる。
図 7は、 本発明により生成される合成画像 5 4の説明図である。 すな わち図 5の文字枠画像 4 8と図 6の認識画像 5.0を対象に両画像のずれ をなくすように回転及び平行移動を行って重ね合わせることにより、 手 書文字が記入された帳票画像を合成画像 5 4として復元することができ る。
図 8は、 図 3〜図 7の各画像を用いた本発明における文字枠画像と読 取画像の画像合成処理の説明図である。 図 8において、 未記入の帳票 4 2はそのままスキャナ 1 1にセッ トされて、 非ドロップアウト読取 5 6 により文字枠画像 4 8として読取られ、 その種別 I Dを付して保存され る。 一方、 記入済み帳票 4 5はスキャナ 1 1にセッ トされて、 ド口ップ ァゥト読取 5 8が行われ、 フィールドやその項目文字がドロップァゥト された記入文字及び種別 I Dのみの認識画像 5 0を得る。 そして認識結 果の修正などの際に読取元となった記入済み帳票 4 5を復元したい場合 には、 文字枠画像 4 8と認識画像 5 0の合成 6 0により合成画像 5 4を 生成してディスプレイュニット 4 0上に認識結果と並べて表示させる。 図 9は、 図 1の書式定義ファイル 2 2の説明図である。 書式定義ファ ィル 2 2には未記入の帳票の種別ごとに種別 I Dを付して、 書式定義情 報を保存している。 書式定義情報は帳票のどの部分を文字認識するかを 示す情報であり、 フィールド I Dごとにフィールド座標が格納され、 さ らに後の説明で明らかにする画像ずれを修正するための回転角度及び平 行移動量の検出に使用するフィ一ルド中心座標を保存している。 例えば 種別 I D 「 0 0 1」 の文字枠画像は、 フィールド I Dに 0 0 ;!〜 0 0 4 の 4フィ一ルドを備えており、 例えばフィールド I D == 0 0 1について フィ一ルド座標 「P 1 1 , P 1 2 , P 1 3 , P 1 4」 を格納し、 更にフ ィールド中心座標 「P 1 0」 を格納している。
図 1 0は、 図 1の文字枠画像ファイル 2 4の説明図である。 文字枠画 像ファイル 2 4には、 帳票の種別を示す種別 I Dを付して帳票毎に非ド 口ップアゥトカラ一読取により読取られた文字枠画像イメージデ一夕、
具体的には画像を構成ずる画素データが所定の画像コ一ド形式にしたが つて格納されている。 この例では文字枠画像はカラ一画像であることか ら、 各画素データは例えば R G B画素データとなる。
図 1 1は、 図 1の認識画像ファイル 2 6の説明図である。 認識画像フ アイル 2 6にはスキャナ 1 1により非ドロップァゥト読取により読取ら れた認識画像イメージデータ、 具体的には画像を構成する画素データが 所定の画像コード形式にしたがって帳票 I Dと種別 I Dを付して保存さ れている。 帳票 I Dは入力された記入済み帳票 1枚ごとに付された固有 の識別子であり、 種別 I Dと同様、 帳票に予め非ドロップアウトカラー により印刷しておく力 あるいは帳票を読取った際に装置側で順番に帳 票 I Dを識別子として付すかのいずれかでよい。 また帳票 I Dと種別 I Dを付して格納された認識画像イメージデータは認識画像がモノクロ画 像であることから、 白黒画素データとなっている。
図 1 2は、 図 1の帳票処理装置 1 0による本発明の帳票処理のフロ一 チャートであり、 このフローチャートの処理手順が本発明による帳票処 理プログラムの処理内容を表すことになる。 この本発明による帳票処理 の処理手順は次のようになる。 ステップ S 1 :複数種類の未記入の帳票を文字枠画像として読取って種 別 I Dを付して保存する文字枠画像読取処理を実行する。 尚、 この際に 文字枠画像の読取対象領域を特定する書式定義情報を生成して、 同時に 保存する。
ステップ S 2 : 記入済みの帳票をドロップァゥト読取りして種別 I D及 び記入文字のみのモノク口画像としての認識画像を取得し、 帳票 I D及 び種別 I Dを付して保存する。
ステップ S 3 : ステップ S 2で読取った認識画像に対し、 種別 I Dによ り取得した書式定義情報による文字読取フィ一ルドを対象に、 文字認識 処理を実行して所定のフォ一マツ トを持ったドキュメントに読取った文 字を配置する文字認識処理を実行する。
ステップ S 4 : 認識結果の処理要求の有無をチェックし、 処理要求があ ればステップ S 5に進み、 処理要求がなければステップ S 7に進む。 ステップ S 5 : 処理要求の対象となった帳票の種別 I Dにより文字枠画 像を読み出し、 現在処理をしている認識画像と合成して重ね合わせる合 成表示処理を実行する。
ステップ S 6 : 合成表示処理により得られた合成画像を認識結果と並べ て表示させて認識結果の確認処理を行わせる。
ステップ S 7 : 記入済みの帳票読取による一連の処理の終了によるログ オフを判別すると処理を終了し、 処理未終了であればステップ S 2から の処理を繰り返す。 図 1 3は、 図 1 2における文字枠画像読取処理のフローチヤ一トであ る。 この文字枠画像読取処理の手順は次のようになる。 ステップ S 1 : スキャナ 1 1に対しフルカラー設定で未記入の帳票を読 取る。
ステップ S 2 : 読取画像から種別 I Dを認識する。
ステップ S 3 : 読取画像から文字枠の位置を示す書式定義情報を生成す る。
ステップ S 4 : 書式定義情報に種別 I Dを付して書式定義ファイル 2 2 に保存する。
ステップ S 5 : 文字枠画像に種別 I Dを付して文字枠画像ファイル 2 4 に保存する。
ステップ S 6 : 全種類の帳票を処理したか否かチェックし、 未処理であ ればステップ S 1に戻り、 全種類の帳票が処理済みであれば処理を終了 する。 図 1 4は、 図 1 2における帳票読取処理のフローチャートであり、 次 の処理手順となる。
ステップ S 1 : スキャナ 1 1の光源の色を帳票のドロップアウトカラー に設定して記入済みの帳票を読取る。
ステップ S 2 :読取画像から種別 I Dを認識する。
ステップ S 3 : 認識画像に種別 I Dと帳票 I Dを付して認識画像フアイ ル 2 6に保存する。
ステップ S 4 : 未処理帳票の有無をチエツクし、 未処理帳票があればス テツプ S 1に戻り、 無ければ処理を終了する。 図 1 5は、 図 1 2における文字認識処理のフローチャートであり、 次 の処理手順となる。 ステップ S 1 : スキャナ 1 1から読取った認識画像を文字認識処理対象 として取り込む。
ステップ S 2 : 種別 I Dにより書式定義ファイル 2 2を参照して書式定 義情報を取り込む。
ステップ S 3 :書式定義情報から認識画像における認識対象のフィ一ル ドを設定する。
ステツプ S 4 : 設定フィ一ルドの文字列を認識する。
ステップ S 5 : 認識した文字列を予め用意された作成ドキュメントの指 定位置に配置する。
ステップ S 6 : 帳票の全フィールドを認識したか否かチェックし、 認識 していなければステツプ S 4に戻り、 認識していればステツプ S 7に進 む。
ステップ S 7 : 未処理の認識画像の有無をチェックし、 未処理認識画像 があればステップ S 1に戻り、 無ければ処理を終了する。 図 1 6は、 図 1 2における画像合成処理のフローチャートであり、 次 の処理手順となる。
ステップ S 1 : 確認対象となる作成ドキュメントを読み込んで画面表示 する。
ステップ S 2 : 帳票 I Dに対応する認識画像を認識画像ファイルから読 み込む。
ステップ S 3 : 種別 I Dに対応する文字枠画像を文字枠画像ファイル 2 4から読み込む。
ステップ S 4 : 文字枠画像と認識画像の回転角のずれを検出する回転角 度検出処理を実行する。
ステップ S 5 : ステップ S 4で検出した回転角度 0による回転ずれを修 正した状態で文字枠画像と認識画像の X軸及び Y軸方向のずれを示す平 行移動量 (x, y ) を検出する平行移動量検出処理を実行する。
ステップ S 6 :検出された回転角度 0と平行移動量 (X , y ) に基づい て文字枠画像と認識画像と各画素ごとに対応関係を求めるァフィン変換 処理を実行する。
ステップ S 7 : 文字枠画像と認識画像の各対応する画素を重ね合せる画 像重ね合せ処理を実行する。 ここで、 文字枠画像と認識画像を重ね合せる際の両画像のずれを修正 するためのステップ S 4の回転角度検出処理とステツプ S 5の平行移動 量検出処理の詳細を説明する。 図 1 7は、 文字枠画像と認識画像の回転 角度のずれを検出したときの説明図である。
図 1 7 ( A ) は文字枠画像 6 2であり、 この例では 4つのフィールド 6 4 - 1 , 6 4 - 2 , 6 4 - 3 , 6 4— 4が配置されており、 各フィー ルドの中心座標はその書式定義情報から中心点〇, P , Q , Rの座標が 与えられている。 この文字枠画像 6 2における基準角度 0 1として、 例 えばフィールド 6 4— 1の中心点〇と対角位置にあるフィ一ルド 6 4— 3の中心点 Qを結ぶ直線 6 6とフィ一ルド 6 4— 1の中心点 0を通る垂 直基準線 6 8との角度として求める。 同様に図 1 7 ( B ) の認識画像 7 2についても、 基準角度 0 1 ' としてフィ一ルド 7 4— 1の中心点 oと
対角位置にあるフィールド 7 4— 3の中心点 Qを結ぶ直線 7 6のフィー ルド 7 4— 1の中心点 oを通る垂直基準線 7 8に対する角度として検出 する。 このような文字枠画像 6 2及び認識画像 7 2に対ずる基準角度 0 1 , 0 1 ' としては読取対象とする帳票に歪みや伸縮があることを考慮 し、文字枠画像 6 2及び認識画像 7 2にっき複数の基準角度 0 m, Θ mJ を求め、 それぞれの差 (0 'm— 0 m) の差の必要値をとつて回転角度 6> をこれを表現すると次のようになる。
回転角度 =中央値 ( , z2… ) 但し、 m:要素番号 (1~")
n:要素数
:文字枠画像基準角度
認識画像基準角度 ここで文字枠画像 6 2及び認識画像 7 2について求める複数の基準角 度について説明する。 例えば図 1 7 (A) の文字枠画像 6 2にあっては 基準角度 0 1 としてフィ一ルド 6 4— 1 とフィールド 6 4— 3を結ぶ直 線 6 6の垂直基準線 6 8に対する角度を求めているが、 これに加えフィ ールド 6 4— 1 とフィールド 6 4— 2の中心点 0, Pを結ぶ直線の垂直 基準線 6 8に対する角度を 0 2として求め、 更にフィールド 6 4 — 1と フィ一ルド 6 4— 4の中心点〇, Rを結ぶ直線の垂直基準線 6 8に対す る角度を基準角度 0 3として求める。 また図 1 7 (B ) の認識画像 7 2 についても同様にフィールド 7 4— 1 とフィールド 7 4— 3の中心点 o , Qを結ぶ直線 7 6の垂直基準線 7 8に対する角度として求めた基準角度 θ 1 ' に加え、 フィールド 7 4 — 1 とフィールド 7 4 — 2の中心点 o, pを結ぶ垂直基準線 7 8に対する角度を 0 2 ' として求め、 フィールド 7 4 - 1とフィールド 7 4— 4の中心点 o , rを結ぶ直線の垂直基準線 7 8に対する角度を基準角度 0 3 ' として検出する。 そして、 このよう な文字枠画像 6 2及び認識画像 7 2における 3つの基準角度について次
のようにして差を求める。
X 1 = ( 0 1, - Θ 1 )
X 2 = ( θ 2 ' ~ 9 2 )
X 3 = ( θ 3 ' - Θ 3)
としてそして、 3つの角度差の中央値を回転角度 0とする。 勿論、 各画 像毎に求める基準角度の数は、 3つ以上であれば適宜の数として良い。 図 1 8は、 図 1 7で検出した回転角度 0のずれを補正した後に行う文 字枠画像と認識画像の平行移動量のずれを検出処理の説明図である。 図 1 8において、 例えば認識画像 7 2を固定した状態で文字枠画像 6 2を 図 1 7の処理で求めた回転角度 Θ分だけフィ一ルド 6 4 _ 1の中心点〇 を中心に回転させると、'例えばフィ一ルド 6 4— 4はフィールド 6 4— 4 ' に移動する。 そこで認識画像 7 2のフィールド 7 4— 4の中心点 r に対応する回転後の文字枠画像 6 2におけるフィールド 6 4— 4 ' の中 心 R ' とを結ぶベクトル 8 0にっき X軸方向及び Y軸方向の移動距離 X = ( X , y ) を求める。 この場合についても基準角度の場合と同様に複 数のフィールドについて認識画像 7 2と回転後の文字枠画像 6 2との間 の距離を求め、 その中央値を平行移動量とする。 ここで認識画像 7 2と 文字枠画像 6 2の複数フィールドについて求めた距離を bm (伹し、 m は 1〜! 1 ) とすると <平行移動量 Xmは次式で与えられる。
Xm = (brm -b m' ) (2 ) 平行移動量 =中央値 (^ , 2… „ ) 但し、 m:要素番号
n:要素数
:文字枠画像回転後座標
も':認識帳票座標 このようにして文字枠画像 6 2と認識画像 7 2におけるずれを補正す るための回転角度 0及び平行移動量 X= (x, y)が検出されたならば、 図 1 6のステップ S 6のァフィン変換処理を行って認識画像 7 2の任意
の画素に対応する文字枠画像 6 2の画素を求める。 この文字枠画像 6 2 の各画素について各ァフィン変換を用いて認識画像 7 2のどの画素が対 応するかは次式で与えられる。
Χ',Υ':認識画像のピクセル座標
Θ:重ね合わせのための回転角度
x, y:重ね合わせのための平行移動量 なお、 図 1 8の平行移動量の検出にあっては、 文字枠画像 6 2を、 図 1 7で検出した回転角度 0分だけ回転させているが、 逆に文字枠画像 6 2を固定して認識画像 7 2側を、 検出した回転角 Θだけ回転した後に、 平行移動量を検出するようにしてもよい。
図 1 9は、 図 1 6のステップ S 7における画像重ね合わせ処理の詳細 を示したフローチャートであり、 次の処理手順からなる。 ステップ S 1 : 回転角度 0と平行移動量 (x, y ) の検出に基づき、 ァ フィン変換により、 各画素の対応関係が取られた認識画像と文字枠画像 を読み込む。
ステップ S 2 : 認識画像と文字枠画像の濃度を予め定めたデフォルトの 濃度に変更する。
ステップ S 3 : 認識画像の画素を 1つ抽出する。
ステップ S 4 : 認識画像の画素は黒か否かチェックし、 黒であればステ ップ S 5に進み、 そうでなければステップ S 6に進む。
ステップ S 5 :認識画像の画素が黒の場合、 認識画像の画素を合成画像 の画素に配置する。
ステップ S 6 : 認識画像の画素が黒でない場合、 文字枠画像の画素を合
成画像の画素に配置する。
ステップ S 7 : 全画素を処理したか否かチェックし、 未処理であればス テツプ S 3に戻り、 処理が済めばステツプ S 8に進む。
ステップ S 8 :濃度変更要求の有無をチェックし、 変更要求があればス テツプ S 9に進み、 なければ処理を終了する。
ステップ S 9 :文字枠画像と認識画像を、 指定された濃度に変更して表 示する。 このような図 1 9の画像重ね合わせ処理にあっては、 文字枠画像と認 識画像の色を重ねて 1つの画像として出力させる場合、 単純に両者の画 像の色を 1対 1の割合で重ねると、 記入された文字が薄くなり、 視認性 が低下する。 例えば文字枠画像が白で認識画像が黒の場合、 1対 1の割 合で両者を重ねると合成画像の色は灰色となり、 視認性が低下する。 そ こで本発明にあっては、 認識画像の文字の記入部分については認識画像 の文字の色をそのまま使い、 文字の記入のない部分については文字枠画 像の色を使うようにしている。 これにより、 認識画像に存在する記入文 字の部分の視認性を向上することができる。また重ね合わせ後の画像で、 より重要な部分は記入された文字などであることから、 記入された文字 などを際立たせるため、 背景となる文字枠部分を薄める必要がある。 一 方、 背景が見づらいような場合には逆に文字を薄くし背景を濃くするよ うな方法が必要である。
本発明にあっては、 図 1 9のステップ S 2に示すように、 基本的には 認識画像と文字枠画像の濃度を所定のデフォルト濃度として画像の重ね 合わせを行い、 重ね合わせ後に画面上で見て、 例えば記入された文字が 見づらい場合には認識画像を濃くし文字枠画像を薄くし、 一方、 背景が 見づらいような場合には文字を薄くして背景を濃くするといつた処理を、 オペレータからの指示によりできるようにしており、 これが図 1 9のス テツプ S 8の濃度変更要求に対応するステツプ S 9の濃度変更処理とな る。 ここで、 図 1 9の画像重ね合わせの際に合成画像として出力される
色 C。u tは次式で定義することができる。
Caut = Q- - a)Cin + afiCbknded (4) 但し、 Cin:対象画像の RGB輝度
(:。 κί:出力される RGB輝度
CbUnded: RG輝度の最大値
": cinと c¾1』の混合比率
β RGB輝度の調整比率 即ち (4 ) 式につき、 パラメータとして混合比率ひや調整比率 ]3を変 更することで、 文字枠画像と認識画像の濃度を変更することができる。 本発明にあっては、 文字が記入された認識画像については、 認識画像の 濃度を読取画像の濃度に固定し背景となる文字枠画像濃度を必要に応じ て変更させるが、 基本的には次の設定方法を採用している。
( 1 ) 文字枠画像濃度のデフォルト値をそのまま利用する。
( 2 ) 重ね合わせ表示後に文字枠画像濃度の濃度値を変えて再表示さ せる。
( 3 ) 文字枠画像濃度に応じて認識画像とのコントラストが所定値と なるように、 重ね合わせの文字枠画像濃度を自動的に設定する。 このような文字枠画像濃度の設定方法のうち、 文字枠画像濃度と認識 画像濃度とのコントラストを所定値になるように文字枠画像濃度を自動 設定する方法が、 帳票の濃度が特に濃い場合や薄い場合に非常に有効で あり、 ユーザによる濃度指定が不要となる点で利便性が高い。
図 2 0は、 図 1 9の画像重ね合わせ処理において文字枠画像の濃度を 変えた場合の画像説明図である。 図 2 0 ( A ) は、 記入文字となる認識 画像と背景となる文字枠画像の濃度を変更せずに読取りによるデフオル ト値のまま重ね合わせた画像である。 これに対し図 2 0 ( B ) は、 文字 枠画像の濃度を薄めて重ね合わせた画像であり、 これによつて認識画像 上の記入文字の視認性が向上していることが分かる。
図 2 1は、 図 1 9の画像重ね合わせ処理における文字枠画像のパレツ トカラ一テーブルに黒を割り当てる処理の説明図である。 図 1 9の画像
重ね合わせ処理にあっては、 モノクロ画像である認識画像とパレツ トカ ラーテーブルで実現されるカラ一画像となる文字枠画像を重ねて合成画 像を出力している。 この場合、 合成画像のカラーは文字枠画像のパレツ トカラ一テーブルを依存することになるが、 このパレットカラ一テープ ルには黒が存在していないことが多い。 したがって、 合成画像における 認識画像の部分となる記入文字の黒を表現するため、 文字枠画像のパレ ッ トカラ一テーブルに黒を割り当てなければならない。 このように黒が 存在しないパレッ 卜カラ一テーブルに対する黒の割当は、 パレッ トカラ —テーブルの中から最も似ている 2つの色の組合わせ、 例えば図 2 1 ( A ) のパレッ トカラーテーブル 8 4におけるコード番号 2 1 1のカラ —データ Aとコード番号 2 1 2のカラーデータ A, を見つけ出し、 図 2 1 ( B ) のように一方のコ一ド番号 2 1 2にっき、 そのカラーデータを 黒に置き換える。 このようにコード番号 2 1 2のカラ一データ A ' が黒 に置き換えられると、 文字枠画像におけるコード番号 2 1 2にっき正し いカラ一デ一夕 A ' による色が表現できないことから、 図 2 1 ( C ) の ように文字枠画像のカラ一データについてコード変換を行う。 図 2 1 ( C ) のコード変換部 9 0は、 文字枠画像デ一夕の画素デ一夕における 入力コード 8 8にっき、 コ一ド番号 「 2 1 2」 をコード番号 「2 1 1」 に変換して出力コード 9 2として出力する。 即ち、 図 2 1 ( B ) のよう にコード番号 2 1 2を黒に置き換えたことにより、 元のコード番号 2 1 2のカラーデータ A ' についてはコード変換部 9 0により最も近い色で あるコード番号 2 1 1のカラ一データ Aに変換して出力する。 これによ つて、 文字枠画像のパレッ トカラーテーブルの特定の色に黒に割り当て ても、 その割当てにより失われた色は最も近い色に変換されることとな り、 文字枠画像における色の変化を最小限に抑えることができる。 また 合成画像にあっては、 黒以外にも白を必要とするケースも存在する。 同 様に、 白についても文字枠画像のパレツ トカラーテ一ブルには存在しな いことが多いため、 黒の場合と同様 > 黒を割り当てたカラーデータ A, A, 以外に、 次に最も近い色のカラーデータ B , B ' を見つけ、 一方の
カラーデータ B, に白を割り当て、 カラーデータ B ' については、 その コード番号をコード変換部 9 0により、 近い色のカラ一デ一夕 Bとなる ようにコード変換することで対応する。
図 2 2は、 図 1のデータベース 1 5から帳票画像を復元する帳票確認 処理のフローチャートである。 即ち、 スキャナ 1 1で記入済みの帳票を 読み取って、 文字枠画像との合成画像の表示で認識結果を確認し、 必要 な修正などが済むと、 認識結果として作成されたドキュメントはサーバ 1 2に転送され、 データベース 1 5に保存されている。 このように、 デ 一夕ベース 1 5に保存されている認識結果としての作成済ドキュメント について、 後の処理として帳票認識結果を確認している途中で内容的に おかしな個所を発見した場合に、 元となった帳票画像を復元し、 認識結 果に誤りがないか否かを確認する認識結果確認処理を行うことになる。 このような認識結果確認処理として図 2 2の処理手順は次のようになる。 ステップ S 1 : データべ一ス 1 5から帳票認識結果を取得して画面表示 する。
ステップ S 2 : 帳票復元要求の有無をチェックしており、 帳票復元要求 があればステツプ S 3に進み、 なければステツプ S 4に進む。
ステップ S 3 : 帳票復元要求に基づき、 データべ一ス 1 5から種別 I D によって文字枠画像を取得すると共に、 帳票 I Dにより認識画像を取得 し、 図 1 9の画像重ね合わせ処理の手順に従って 2つの画像を合成して 表示する。 但し、 この場合にはデータベースに画像ずれを修正するため の回転角度 0及び平行移動量 (x, y ) が保存されていることから、 図 1 7のような回転角度の検出や図 1 8の平行移動量の検出は不要となる。 ステップ S 4 : ログオフの指示があれば処理を終了し、 なければステツ プ S 1に戻る。 図 2 3は、 記入済帳票の読取りによる認識結果として得られた作成ド キュメントに並べて本発明による合成画像を表示した確認修正のための
作業画面の説明図である。 図 2 3において、 作業画面 9 4の右側に作成 ドキュメント 9 8が表示されており、 左側に文字枠画像と認識画像の重 ね合わせで得られた合成帳票画像 9 6が表示されている。 このためオペ レ一夕は、 作業画面 9 4を見て、 作成ドキュメント 9 8の中の文字認識 結果として配置された認識結果を左側の合成帳票画像 9 6の記入内容と 対比し、 正しい認識結果が得られているかどうかをチェックすることが できる。
図 2 4は図 2 3の作業画面 9 4における左側の合成帳票画像を拡大表 示させた場合であり、 この拡大表示により帳票記入内容の認識が、 より 明確にできる。
なお本発明の処理対象となる帳票は、 文字記入枠としてのフィールド を指定した帳票であれば、 そのサイズ、 書式などにより限定されず、 適 宜の帳票処理にそのまま適用することができる。 また本発明は、 その目 的と利点を損なうことのない適宜の変形を含み、 更に上記の実施形態に 示した数値による限定は受けない。 産業上の利用可能性
以上説明してきたように本発明によれば、 文字記入済みの帳票に対し ド口ップアゥトスキヤンを行って認識画像を取得して認識結果を得た場 合、 予め非ドロップアウト読取りにより取得されて保存されている文字 枠画像との合成で記入済帳票画像を復元して認識結果に並べて画面上に 表示することができ、 認識結果が読取帳票のどのフィールドに書かれて いるかの対応関係を明確に認識でき、 帳票読取結果の認識と修正作業を 簡単且つ確実に行うことができる。
また記入済み帳票の読取りの際にド口ップアゥトされる文字枠画像に ついては、 読取対象とする帳票の種類分の文字枠画像を保存するだけで よく、ドロップァゥトなしの帳票の読取画像を全て保存する場合に比べ、 記入済読取帳票の復元に必要とする画像データの保存量を大幅に低減で きる。 即ち本発明にあっては、 カラー画像データとしての保存を必要と
する文字枠画像は帳票の種類分で済むことから、 日常的に読取りを行つ ている記入済帳票の画像データに比べると、 例えば数十種類というよう にごく少ないカラー画像データの保存で済む。
また文字枠画像との合成で記入済み帳票の復元に使用するド口ップア ゥト読取りが得られた認識画像はモノクロ画像で済むことから、 帳票の 数が多くなつても、 保存する認識画像の画像データの保存量はカラー画 像データを保存するのに比べ保存容量を大幅に節約できる。
また本発明で使用するスキャナとしては、 帳票読取りと同時に非ドロ ップアゥ卜読取画像とドロップァゥト読取画像が同時に得られるような 特殊なスキャナを必要とせず、 読取色が設定可能な汎用の力ラースキヤ ナを使用することができ、 導入が容易でコストダウンが図れ、 更に文字 の重ね合わせに先立ち種類分の帳票の読取りで文字枠画像を保存する必 要があるが、 その後は記入済帳票を 1回読み取るだけで、 保存している 文字枠画像との合成により記入済帳票画像が復元できるため、 読取作業 の作業効率を高めることができる。
更に、 帳票の種類ごとに読み込んで保存している文字枠画像と実際の 読取処理で読み込んだ記入済帳票の認識画像との間にずれがあっても、 2つの画像につき両方の画像のずれに対応した回転角度及び平行移動量 を求めて、 位置ずれを正確に検出して正しく位置合わせした画像合成が でき、 ドロップアウトした認識画像であっても、 実際にスキャナで使用 した記入済みの帳票と同等の帳票画像を正確に復元することができる。
Claims
1 . コンピュータに、
未記入の文字枠を備えた帳票の全ての色を読み取って文字枠画像とし て保存する文字枠画像読取ステツプと、
記入済みの帳票の認識不要部分の色をドロップァゥ卜した認識画像を 読み取って保存する帳票読取ステツプと、
前記認識画像の文字を認識する文字認識ステップと、
前記文字認識結果と共に、 前記認識画像を文字枠画像に重ね合わせた 記入済み帳票画像を表示する合成表示ステップと、
を実行させることを特徴とする帳票処理プログラム。
2 . 請求の範囲 1の帳票処理プログラムに於いて、 前記合成表示ステツ プは、
認識画像と文字枠画像を重ね合わせるための回転角度を検出する回転 角度検出ステップと、
認識画像と文字枠画像の一方を前記回転角度だけ回転させた状態で重 ね合わせるための平行移動量を検出する平行移動量検出ステツプと、 前記回転角度と平行移動量に基づいて前記認識画像と文字枠画像との 各画素毎に対応関係を求めて画素値を合成する画素合成ステツプと、 を備え、
更に、 前記回転角度検出ステップ及び平行移動量検出ステップは、 文 字枠画像と認識画像で対応している複数のフィールドにおける中心座標 位置の関係を利用して回転角度及び平行移動量を検出することを特徴と する帳票処理プログラム。
3 . 請求の範囲 2の帳票処理プログラムに於いて、 前記回転角度検出ス テツプ及び平行移動量検出ステツプは、 文字枠画像と認識画像で対応し ている複数のフィ一ルドにおける中心座標位置の関係を利用して検出し
た複数の回転角度及び平行移動量のうちの中央値を求めることを特徴と する帳票処理プログラム。
4 . 請求の範囲 1の帳票処理プログラムに於いて、
前記文字枠画像読取ステップは、 種類の異なる複数の帳票から文字枠 画像を読み取ると共に、 読取画像から認識した種別識別子を付して前記 文字枠画像を保存し、
前記帳票読取ステップは、 記入済みの帳票から認識不要部分の色をド 口ップアゥトした認識画像を読み取ると共に、 読取画像から認識した種 別識別子を付して前記読取画像を保存し、
前記合成表示ステツプは、 前記認識画像の識別子に一致する識別子を 持つ文字枠画像を選択して重ね合わせることを特徴とする帳票処理プロ グラム。
5 . 請求の範囲 1の帳票処理プログラムに於いて、 前記合成表示ステツ プは、 認識結果を保存した後の必要時に、 保存されている前記認識画像 を文字枠画像に重ね合わせた記入済み帳票画像を表示することを特徴と する帳票処理プログラム。
6 . 請求の範囲 1の帳票処理プログラムに於いて、 前記合成表示ステツ プは、 認識画像の画素と文字枠画像の画素が重なる場合は、 認識画素の 画素値を選択することを特徴とする帳票処理プログラム。
7 . 請求の範囲 1の帳票処理プログラムに於いて、 前記合成表示ステツ プは、 認識画像の濃度と文字枠画像の濃度を予め定めた濃度に固定して 合成表示させることを特徴とする帳票処理プログラム。
8 . 請求の範囲 1の帳票処理プログラムに於いて、 前記合成表示ステツ プは、 認識画像の濃度と文字枠画像の濃度を変更して合成表示させるこ
とを特徴とする帳票処理プログラム。
9 . 請求の範囲 1の帳票処理プログラムに於いて、 前記合成表示ステツ プは、 認識画像と文字枠画像の濃度比率が所定値となるよう濃度値を変 更して合成表示させることを特徴とする帳票処理プログラム。
1 0 . 請求の範囲 1の帳票処理プログラムに於いて、 前記合成表示ステ ップは、 前記認識画像を文字枠画像に重ね合わせた合成画像を、 前記認 識結果の表示画面上に並べて表示させることを特徴とする帳票処理プロ グラム。
1 1 . 未記入の文字枠を備えた帳票の全ての色を読み取って文字枠画像 として保存する文字枠画像読取ステツプと、
記入済みの帳票の認識不要部分の色をド口ップアゥトした認識画像を 読み取って保存する帳票読取ステップと、
前記認識画像の文字を認識する文字認識ステップと、
前記文字認識結果と共に、 前記認識画像を文字枠画像に重ね合わせた 記入済み帳票画像を表示する合成表示ステツプと、
を備えたことを特徴とする帳票処理方法。
1 2 . 未記入の文字枠を備えた帳票の全ての色を読み取って文字枠画像 として保存する文字枠画像読取部と、
記入済みの帳票の認識不要部分の色をド口ップアゥトした認識画像を 読み取って保存する帳票読取部と、
前記認識画像の文字を認識する文字認識部と、
前記文字認識結果と共に、 前記認識画像を文字枠画像に重ね合わせた 記入済み帳票画像を表示する合成表示部と、
を備えたことを特徴とする帳票処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2003/006828 WO2004107257A1 (ja) | 2003-05-30 | 2003-05-30 | 帳票処理プログラム、方法及び装置 |
JP2005500223A JP4269059B2 (ja) | 2003-05-30 | 2003-05-30 | 帳票処理プログラム、方法及び装置 |
US11/255,935 US7551778B2 (en) | 2003-05-30 | 2005-10-24 | Business form processing program, method, and device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2003/006828 WO2004107257A1 (ja) | 2003-05-30 | 2003-05-30 | 帳票処理プログラム、方法及び装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US11/255,935 Continuation US7551778B2 (en) | 2003-05-30 | 2005-10-24 | Business form processing program, method, and device |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2004107257A1 true WO2004107257A1 (ja) | 2004-12-09 |
Family
ID=33485795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2003/006828 WO2004107257A1 (ja) | 2003-05-30 | 2003-05-30 | 帳票処理プログラム、方法及び装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7551778B2 (ja) |
JP (1) | JP4269059B2 (ja) |
WO (1) | WO2004107257A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008165506A (ja) * | 2006-12-28 | 2008-07-17 | Hitachi Computer Peripherals Co Ltd | 帳票識別装置、及び帳票識別プログラム |
JP2009069951A (ja) * | 2007-09-11 | 2009-04-02 | Hitachi Computer Peripherals Co Ltd | 文字認識装置及び文字認識装置における文字認識方法 |
JP2012043433A (ja) * | 2010-08-17 | 2012-03-01 | Fujitsu Ltd | 画像処理方法及び装置 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4133370B2 (ja) * | 2003-01-28 | 2008-08-13 | 富士フイルム株式会社 | 電子ペーパ読取装置 |
JP5303865B2 (ja) * | 2007-05-23 | 2013-10-02 | 株式会社リコー | 情報処理装置、及び、情報処理方法 |
JP4445982B2 (ja) * | 2007-06-29 | 2010-04-07 | ホシデン株式会社 | コネクタ |
US8108764B2 (en) * | 2007-10-03 | 2012-01-31 | Esker, Inc. | Document recognition using static and variable strings to create a document signature |
JP2009278373A (ja) * | 2008-05-14 | 2009-11-26 | Sharp Corp | 画像処理装置、画像形成装置及びコンピュータプログラム |
GR1006531B (el) * | 2008-08-04 | 2009-09-10 | Διαμορφωση εντυπου πολλαπλων επιλογων αναγνωσιμου με ηλεκτρονικο μεσο και συστημα και μεθοδος για την ερμηνεια κατ' ελαχιστον μιας επιλογης του χρηστη | |
TWI658400B (zh) * | 2013-10-16 | 2019-05-01 | 3M新設資產公司 | 用於建立及操作軟體便箋之方法、運算裝置及系統、以及非暫時性電腦可讀取儲存媒體 |
JP6365845B2 (ja) * | 2015-08-31 | 2018-08-01 | 京セラドキュメントソリューションズ株式会社 | 画像形成システムおよび印刷位置ずれ補正方法 |
US10270934B2 (en) * | 2016-12-01 | 2019-04-23 | Kyocera Document Solutions Inc. | Image processing apparatus and image forming apparatus |
US20190096040A1 (en) * | 2017-09-25 | 2019-03-28 | Kabushiki Kaisha Toshiba | Image processing apparatus, image processing method and non-transitory readable storage medium |
US11080545B2 (en) * | 2019-04-25 | 2021-08-03 | International Business Machines Corporation | Optical character recognition support system |
FR3096492B1 (fr) * | 2019-05-23 | 2021-08-06 | Fidme | Procédé et système d’analyse ou d’impression d’un document à partir d’au moins une représentation numérisée du document |
US11526571B2 (en) * | 2019-09-12 | 2022-12-13 | International Business Machines Corporation | Requesting an IP address using a non-textual based graphical resource identifier |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63217489A (ja) * | 1987-03-06 | 1988-09-09 | Mitsubishi Electric Corp | 文書読取装置 |
JPS63308689A (ja) * | 1987-06-10 | 1988-12-16 | Fujitsu Ltd | 文字の傾き角度検出修正方式 |
JPH02268385A (ja) * | 1989-04-11 | 1990-11-02 | Toshiba Corp | 光学的文字読取装置 |
JPH0668299A (ja) * | 1992-08-19 | 1994-03-11 | Hitachi Ltd | 読み取り結果表示方法、読み取り結果修正方法、およびデータ読み取り装置 |
JPH06243290A (ja) * | 1993-02-10 | 1994-09-02 | Oki Electric Ind Co Ltd | 光学式文字読取装置 |
JP2001256433A (ja) * | 2000-03-10 | 2001-09-21 | Mitsubishi Electric Corp | Ocr認識結果修正方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5140650A (en) * | 1989-02-02 | 1992-08-18 | International Business Machines Corporation | Computer-implemented method for automatic extraction of data from printed forms |
US5159667A (en) * | 1989-05-31 | 1992-10-27 | Borrey Roland G | Document identification by characteristics matching |
JPH04343190A (ja) * | 1991-05-21 | 1992-11-30 | Hitachi Ltd | 文字データ入力方式 |
DE69332555D1 (de) * | 1992-09-04 | 2003-01-23 | Canon Kk | Verfahren und Vorrichtung zur Anzeige von Zeichen |
JP2979109B2 (ja) * | 1992-12-03 | 1999-11-15 | 日本アイ・ビー・エム 株式会社 | 認識文字の情報作成方法及び装置 |
EP0654746B1 (en) * | 1993-11-24 | 2003-02-12 | Canon Kabushiki Kaisha | Form identification and processing system |
JP3547025B2 (ja) * | 1994-08-23 | 2004-07-28 | 株式会社リコー | 情報抽出方法 |
US6694065B2 (en) * | 2000-03-10 | 2004-02-17 | Fujitsu Limited | Image collating apparatus and image collating method |
US6950553B1 (en) * | 2000-03-23 | 2005-09-27 | Cardiff Software, Inc. | Method and system for searching form features for form identification |
JP4337251B2 (ja) * | 2000-09-04 | 2009-09-30 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体 |
US6757426B2 (en) * | 2001-03-21 | 2004-06-29 | Eastman Kodak Company | System and method for image processing by automatic color dropout |
-
2003
- 2003-05-30 WO PCT/JP2003/006828 patent/WO2004107257A1/ja active Application Filing
- 2003-05-30 JP JP2005500223A patent/JP4269059B2/ja not_active Expired - Lifetime
-
2005
- 2005-10-24 US US11/255,935 patent/US7551778B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63217489A (ja) * | 1987-03-06 | 1988-09-09 | Mitsubishi Electric Corp | 文書読取装置 |
JPS63308689A (ja) * | 1987-06-10 | 1988-12-16 | Fujitsu Ltd | 文字の傾き角度検出修正方式 |
JPH02268385A (ja) * | 1989-04-11 | 1990-11-02 | Toshiba Corp | 光学的文字読取装置 |
JPH0668299A (ja) * | 1992-08-19 | 1994-03-11 | Hitachi Ltd | 読み取り結果表示方法、読み取り結果修正方法、およびデータ読み取り装置 |
JPH06243290A (ja) * | 1993-02-10 | 1994-09-02 | Oki Electric Ind Co Ltd | 光学式文字読取装置 |
JP2001256433A (ja) * | 2000-03-10 | 2001-09-21 | Mitsubishi Electric Corp | Ocr認識結果修正方法 |
Non-Patent Citations (1)
Title |
---|
Haitakku, 01 August, 2000, Japan, itachi, Ltd., pages 23 - 24, "Iro Azayaka na Tashokusuri Drop out Color no Riyo Oyobi Shininsei ni Sugureta Kakunin Shusei Gamen no Teikyo nado Hitachi OCR Product ga Sarani Power Up !" * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008165506A (ja) * | 2006-12-28 | 2008-07-17 | Hitachi Computer Peripherals Co Ltd | 帳票識別装置、及び帳票識別プログラム |
JP2009069951A (ja) * | 2007-09-11 | 2009-04-02 | Hitachi Computer Peripherals Co Ltd | 文字認識装置及び文字認識装置における文字認識方法 |
JP2012043433A (ja) * | 2010-08-17 | 2012-03-01 | Fujitsu Ltd | 画像処理方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
US20060039606A1 (en) | 2006-02-23 |
JP4269059B2 (ja) | 2009-05-27 |
US7551778B2 (en) | 2009-06-23 |
JPWO2004107257A1 (ja) | 2006-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7551778B2 (en) | Business form processing program, method, and device | |
US6535650B1 (en) | Creating high resolution images | |
US6774889B1 (en) | System and method for transforming an ordinary computer monitor screen into a touch screen | |
JP4551018B2 (ja) | 画像結合装置 | |
JP5060404B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US8270044B2 (en) | Scanning apparatus having image correction function | |
US20050008254A1 (en) | Image generation from plurality of images | |
JP5387193B2 (ja) | 画像処理システム、画像処理装置およびプログラム | |
US20040165786A1 (en) | System and method for converting whiteboard content into an electronic document | |
JP4539756B2 (ja) | 画像処理装置及び画像処理プログラム | |
US6373602B1 (en) | Facsimile transmission of highlight information | |
JPH11112790A (ja) | 画像合成装置および方法 | |
JPH1091752A (ja) | 画像補正装置及び方法 | |
JP4789828B2 (ja) | 印刷システム | |
JPH1115951A (ja) | ずれ検出装置および画像合成装置 | |
KR20040021555A (ko) | 장표 처리 장치 및 장표 처리 방법 | |
JPH10108003A (ja) | 画像合成装置および画像合成方法 | |
JP7392322B2 (ja) | 画像処理装置、画像処理方法、画像処理装置用プログラム、および、書類管理システム | |
JP3532483B2 (ja) | データエントリーシステム | |
JP2020052480A (ja) | 情報処理装置及びプログラム | |
JPH11175701A (ja) | 画像記録装置及び画像記録方法、並びに画像処理装置及び画像処理方法 | |
JP2928073B2 (ja) | 背景地図自動位置合わせ装置 | |
JP5045068B2 (ja) | ラベル領域検出装置、該検出装置に用いられるラベル領域検出方法及びラベル領域検出制御プログラム | |
CN111681161B (zh) | 折叠二维码图像的还原方法、设备及计算机可读存储介质 | |
JP2012190357A (ja) | 画像処理装置、画像処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AK | Designated states |
Kind code of ref document: A1 Designated state(s): JP US |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2005500223 Country of ref document: JP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 11255935 Country of ref document: US |
|
WWP | Wipo information: published in national office |
Ref document number: 11255935 Country of ref document: US |