WO2014061309A1 - 画像処理装置及び画像処理プログラム - Google Patents

画像処理装置及び画像処理プログラム Download PDF

Info

Publication number
WO2014061309A1
WO2014061309A1 PCT/JP2013/067071 JP2013067071W WO2014061309A1 WO 2014061309 A1 WO2014061309 A1 WO 2014061309A1 JP 2013067071 W JP2013067071 W JP 2013067071W WO 2014061309 A1 WO2014061309 A1 WO 2014061309A1
Authority
WO
WIPO (PCT)
Prior art keywords
character
image
module
character recognition
result
Prior art date
Application number
PCT/JP2013/067071
Other languages
English (en)
French (fr)
Inventor
藤原久美
Original Assignee
富士ゼロックス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士ゼロックス株式会社 filed Critical 富士ゼロックス株式会社
Publication of WO2014061309A1 publication Critical patent/WO2014061309A1/ja
Priority to US14/683,237 priority Critical patent/US20150213332A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/28—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
    • G06V30/287—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters

Definitions

  • the present invention relates to an image processing apparatus and an image processing program.
  • Patent Document 1 It is an object of Patent Document 1 to provide an image search method suitable for various types of images, and the photo image search unit divides an input document image into blocks, and an edge amount etc. for each block.
  • the similarity score (first score) for the input document image of each registered image is calculated by obtaining the image feature and comparing the distribution of the image feature with the distribution of the image feature of each registered image;
  • the text search unit calculates the similarity score (second score) of each registered image to the input document image based on the text similarity as a result of character recognition of the image, and the candidate extraction unit determines the number of each registered image (1) integrate the first score and the second score, extract as a candidate a registered image having a higher integrated score obtained, and the document image search unit compares the candidates with the input document image with the projected waveforms In the final It is disclosed to compute the Do similarity.
  • the extraction unit cuts out the character image from the document image received by the document image input reception unit, the feature extraction unit extracts the feature from the character image, and the candidate character selection unit is extracted as the reference feature of the classification dictionary
  • the degree of similarity with the feature amount is calculated and candidate characters are selected, and the candidate character determination unit determines which character is appropriate when the selected candidate characters are described in the similarity candidate character identification dictionary, and the individual characters
  • the verification unit sets the candidate character as “valid” or “rejected” according to the rule indicated in the positive condition or negative condition of the individual verification dictionary, and the recognition verification unit detects a sentence when there are a plurality of identical candidate characters in the same character line. Using the similarity between images, it is disclosed that performs change processing of the candidate characters.
  • Patent Document 3 aims at accurately extracting a word as a recognition result even if the number of characters of the result of recognition of the character due to extraction error is different from the number of words of the word to be output as a result.
  • the number of characters actually written is larger than the number of characters constituting a word due to the faintness of characters
  • two or more figures present at the positions of characters that are not corresponded to candidate characters Are extracted as a single figure, and character recognition is performed on the extracted figure using a recognition dictionary in the character re-recognition stage, and candidate characters of the recognition result obtained in the character re-recognition stage are It is disclosed that it is determined whether or not there is a character that is unmatched in the word matching stage, and that candidate characters including that character are output as a recognition result.
  • An object of the present invention is to provide an image processing apparatus and an image processing program capable of performing the same comparison as when comparing files having character codes in the case of comparing images having no character codes.
  • the subject matter of the present invention for achieving such an object resides in the inventions of the following items.
  • the first aspect of the present invention is a character recognition unit for character recognition of a first image and character recognition for a second image associated with the first image, and a first character recognition unit for the first image.
  • Image processing comprising: comparison means for comparing the second character recognition result of the character recognition result with the second image, and output means for outputting the determination result of the comparison means It is an apparatus.
  • the invention according to claim 2 further comprises correction means for correcting the comparison result by the comparison means by comparing the first image and the corresponding character image in the second image, and the output means comprises The image processing apparatus according to claim 1, wherein the result corrected by the correction means is output.
  • the correction means calculates a correlation coefficient between the character image in the first image and the character image in the second image, and the comparison means is based on the correlation coefficient. 3.
  • the correction means may calculate the distance in the feature space between the character image in the first image and the character image in the second image, and the comparison may be performed based on the distance.
  • the image processing apparatus according to claim 2, wherein the comparison result by the means is corrected.
  • the correction means may compare the certainty factor to the recognition result by the character recognition means with a predetermined value, and when the certainty factor is low, the first character recognition result and the second character recognition means may be used.
  • the image processing apparatus according to any one of claims 2 to 4, wherein the correction is performed as a correction target even when the character recognition results match.
  • the correction means may compare the certainty factor to the recognition result by the character recognition means with a predetermined value, and when the certainty factor is high, the first character recognition result and the second character recognition means may be used.
  • the image processing apparatus according to any one of claims 2 to 5, wherein correction is not performed when the character recognition results match.
  • the invention according to claim 9 is a character recognition means for character recognition of a first image by a computer and character recognition means for character recognition of a second image associated with the first image, and the character recognition means for the first image.
  • the invention according to claim 10 is a character recognition means for character recognition of a first image by a computer and character recognition means for character recognition of a second image associated with the first image, and the character recognition means for the first image Comparing the first character recognition result by the second character recognition result with the second character recognition result with respect to the second image, extracting a character that matches between the two character recognition results, and between the matching characters A character deleted from the first image, a character that is the first character recognition result or the second character recognition result, an insertion that is not in the first image but is in the second image
  • the same comparison can be performed as when files having character codes are compared.
  • the comparison result of the characters can be corrected based on the comparison result of the character images.
  • the comparison result of the characters can be corrected based on the correlation coefficient between the character images.
  • the comparison result of the characters can be corrected based on the distance in the feature space of the character image.
  • the accuracy of the comparison result of the characters can be improved as compared with the case where the present configuration is not provided.
  • the speed can be improved as compared with the case where the present configuration is not provided.
  • the speed can be improved as compared with the case where the present configuration is not provided.
  • the speed can be improved as compared with the case where the present configuration is not provided.
  • the same comparison can be performed as when files having the character code are compared.
  • the character recognition result of the image can be divided into a matching character, a deleted character and a substituted character.
  • FIG. 1 shows a conceptual module block diagram of a configuration example of the first embodiment.
  • a module generally refers to components such as software (computer program) and hardware that can be logically separated. Therefore, the modules in the present embodiment refer not only to modules in the computer program but also to modules in the hardware configuration.
  • a computer program for functioning as those modules (a program for causing a computer to execute each procedure, a program for causing a computer to function as each means, a function for each computer) Also serves as a description of a program, system and method for realizing
  • “store”, “store”, and equivalent terms are used, but in the case where the embodiment is a computer program, these terms are stored in a storage device or stored. Control is intended to be stored in the device.
  • modules may correspond to functions one to one, but in mounting, one module may be configured by one program, or a plurality of modules may be configured by one program, and conversely one module May be composed of a plurality of programs.
  • modules may be executed by one computer, or one module may be executed by multiple computers in a distributed or parallel environment. Note that one module may include another module.
  • connection is used not only for physical connection but also for logical connection (transfer of data, instruction, reference relationship between data, etc.).
  • the "predetermined” means that it is determined before the target processing, and of course after the processing according to the present embodiment has started, before the processing according to the present embodiment starts. Even before the target processing, it is used in accordance with the current situation / condition or including the meaning of being determined according to the current situation / status. When there are a plurality of "predetermined values", they may be different values, or two or more values (of course, all the values are also included) may be the same.
  • a system or apparatus is configured by connecting a plurality of computers, hardware, apparatuses and the like by communication means such as a network (including a one-to-one communication connection), and one computer, hardware, and apparatus The case of being realized by etc. is also included.
  • communication means such as a network (including a one-to-one communication connection), and one computer, hardware, and apparatus The case of being realized by etc. is also included.
  • device and “system” are used interchangeably.
  • the “system” does not include what is merely a social “system” (social system) that is an artificial arrangement.
  • the target information is read from the storage device for each processing by each module or when performing multiple processing in the module, and the processing result is written to the storage device after the processing is performed. is there. Therefore, the description may be omitted for reading from the storage device before processing and writing to the storage device after processing.
  • the storage device may include a hard disk, a random access memory (RAM), an external storage medium, a storage device via a communication line, a register in a central processing unit (CPU), and the like.
  • the image processing apparatus compares a plurality of images, and as shown in the example of FIG. 1, has a character recognition module 110, a character string comparison module 120, and a result output module 190. doing.
  • the character recognition module 110 is connected to the string comparison module 120.
  • the character recognition module 110 character-recognizes the image (old) 100A, and character-recognized the image (new) 100B associated with the image (old) 100A.
  • a document image before correction corresponds to the image (old) 100A.
  • the image (new) 100B the document image after the correction corresponds.
  • the relationship between the image (old) 100A and the image (new) 100B may be a comparison target, and the relationship before and after the correction is not necessarily required.
  • an image to be received for example, reading an image by a scanner, a camera or the like, receiving an image from an external device through a communication line by a fax or the like, a hard disk (via a network other than those incorporated in a computer) Reading out the image stored in the connected etc. etc. is included.
  • the image may be a binary image or a multivalued image (including a color image).
  • the image to be received (the image to be compared) may be a plurality of two or more. Each image to be compared may be a plurality of pages.
  • the contents of the image include characters to be subjected to character recognition, they may be documents used for business, brochures for advertising, and the like.
  • the string comparison module 120 is connected to the character recognition module 110 and the result output module 190.
  • the character string comparison module 120 compares the first character recognition result by the character recognition module 110 for the image (old) 100A with the second character recognition result by the character recognition module 110 for the image (new) 100B. Then, by the comparison processing, characters that match between the two character recognition results are extracted, and the character recognition results are classified into “matching characters” and “characters that are not matching characters”. Then, "characters that are not matching characters” are classified into deleted characters, inserted characters, and substituted characters.
  • the character that is the first character recognition result or the second character recognition result is the character deleted from the image (old) 100A, the character inserted in 100B, the character in the image (old) 100A ) In 100 B, it is determined which of the characters replaced with another character.
  • the string comparison module 120 performs the comparison by the text code.
  • Corresponding characters also referred to as matched characters
  • the characters between the matching characters are either deleted characters (also referred to as deleted characters), inserted characters (also referred to as inserted characters), or substituted characters (also referred to as substituted characters). Then, for the replacement character, the correspondence is determined in character units.
  • the case where it is judged as the matching character is called “match”
  • the case where it is judged as the deletion character is called “deletion”
  • the case where it is judged as the insertion character is called “insert”
  • the case where it is judged as the replacement character is called “replacement” .
  • the matching character the case where it is judged as the deletion character
  • the insertion character the case where it is judged as the insertion character
  • replacement character is not necessary to limit to the matching character, the deletion character, the insertion character, and the replacement character.
  • the replacement character is a combination of the deletion character and the insertion character, only the matching character, the deletion character, and the insertion character may be used.
  • the result output module 190 is connected to the string comparison module 120.
  • the result output module 190 outputs the comparison result by the string comparison module 120.
  • the comparison result may be output as an image or as text.
  • the non-matching characters may be highlighted (eg, changed in color, etc.) so as to stand out in comparison to the matching characters, or only the non-matching characters may be output.
  • a character image different in color may be superimposed and displayed on the image (old) 100A so that each of the matching character, the deleted character, and the replacement character can be recognized.
  • a character image different in color may be superimposed and displayed on the image (new) 100B so that each of the matching character, the insertion character, and the replacement character can be recognized.
  • FIG. 2 is a flowchart showing an example of processing according to the first embodiment.
  • the character recognition module 110 performs character recognition on the image (old) 100A.
  • the character recognition module 110 performs character recognition on the image (new) 100B.
  • the string comparison module 120 compares the new and old character recognition results with each other.
  • the result output module 190 outputs the string comparison result.
  • FIG. 3 is an explanatory view showing an example of character string comparison processing.
  • the example which compares "ABCDEG” which is a part of character recognition result of image (old) 100A, and "BcDEFG” which is a part of character recognition result of image (new) 100B is shown. It can be seen from the correspondence between “B” and “D” that "C” and "c” correspond. That is, a recognized character C: 303 (recognized character B) which is a character sandwiched between a recognized character B: 302 and a recognized character B: 351 as a matching character and a set of a recognized character D: 304 and a recognized character D: 353.
  • a recognized character C 303 (recognized character B) which is a character sandwiched between a recognized character B: 302 and a recognized character B: 351 as a matching character and a set of a recognized character D: 304 and a recognized character D: 353.
  • the recognition character c: 352 is a substitution character.
  • the relationship of replacement characters may be a relationship of N characters to M characters (N and M are integers of 1 or more). For example, even when one character is replaced with two characters, the relationship of replacement characters is similarly obtained.
  • the recognized character A: 301 is a deleted character because it exists in the character recognition result of the image (old) 100A and is not in the character recognition result of the image (new) 100B.
  • the recognition character F: 355 is an insertion character because it is not in the character recognition result of the image (old) 100A, but is in the character recognition result of the image (new) 100B.
  • FIG. 4 is an explanatory view showing a processing example according to the first embodiment.
  • the character recognition module 110 performs the character recognition process 410A on the image (old) 400A, and passes the character recognition result 420A to the character string comparison module 120.
  • the character recognition module 110 performs character recognition processing 410B on the image (new) 400B, and passes the character recognition result 420B to the character string comparison module 120. Either of the character recognition processes 410A and 410B may be performed first, or may be performed in parallel.
  • the character string comparison module 120 performs character string comparison processing 430 on the character recognition result 420A and the character recognition result 420B, and passes the comparison result table 490 to the result output module 190.
  • the comparison result table 490 includes a character string comparison result field 492, a document (old) field 494 A, and a document (new) field 494 B.
  • the document (old) column 494A is No. It has a field 496A and a text field 498A.
  • the document (new) column 494B is No. A field 496B and a text field 498B are included.
  • "A" character No. 3 in the document (old) column 494A) is a deletion character.
  • “2” character of No. 7 in document (old) column 494A) and “0” (character of No. 6 in document (new) column 494B) are replacement characters.
  • “To” character No. 16 in the document (new) column 494 B) is an insertion character.
  • ",” (Character No. 18 in document (new) column 494B) is an insertion character.
  • FIG. 5 is a conceptual module block diagram of a configuration example of the embodiment 2-1.
  • the same parts as those in the above-described embodiment are denoted by the same reference numerals, and duplicate descriptions will be omitted (the same applies hereinafter).
  • processing of correcting the processing result by the character string comparison module 120 using the image (old) 100A and the image (new) 100B is added.
  • the character recognition module 110, the character string comparison module 120, the correction module 530, and the result output module 190 are included.
  • the character recognition module 110 is connected to the string comparison module 120.
  • the character recognition module 110 passes the character string information 512 including the character recognition result of each of the image (old) 100A and the image (new) 100B to the character string comparison module 120.
  • the string comparison module 120 is connected to the character recognition module 110 and the correction module 530.
  • the correction module 530 is connected to the string comparison module 120 and the result output module 190.
  • the correction module 530 corrects the comparison result 522 by the character string comparison module 120 by comparing the image (old) 100A and the corresponding character image in the image (new) 100B.
  • the result output module 190 is connected to the correction module 530.
  • the result output module 190 outputs the corrected comparison result 532 corrected by the correction module 530.
  • FIG. 6 is a flowchart showing an example of processing according to the 2-1 embodiment.
  • the character recognition module 110 performs character recognition on the image (old) 100A.
  • the character recognition module 110 performs character recognition on the image (new) 100B.
  • the string comparison module 120 compares the new and old character recognition results with each other.
  • the correction module 530 corrects the character string comparison result.
  • the result output module 190 outputs the string comparison result.
  • FIG. 7 is an explanatory diagram of an example of processing according to the 2-1 embodiment.
  • the character recognition module 110 performs character recognition processing 710 on a target character image (old) 700A and a target character image (new) 700B.
  • the target character image (old) 700A becomes a character recognition result (old) 712A of "Software”
  • the target character image (new) 700B becomes a character recognition result (new) 712B of "S0ftware”.
  • the character string comparison module 120 performs a character string comparison process 720 on the character recognition result (old) 712A and the character recognition result (new) 712B.
  • the correction module 530 is a character image (character image (old) 734A, a character image (new) of the second character of the target character image (old) 700A and the target character image (new) 700B which are determined to be different as the character string comparison result 722. ) 734 B) and outputs a character image comparison result 732 indicating that they match.
  • the editing mode is corrected from "replacement” to "match.” Then, the result output module 190 outputs a result 792 that "the target character image (old) 700A and the target character image (new) 700B have no difference”. The editing mode of each character recognition result is "match”.
  • FIG. 8 is an explanatory diagram of an example of processing according to the 2-1 embodiment.
  • the character recognition module 110 performs character recognition processing 810 on a target character image (old) 800A and a target character image (new) 800B.
  • the target character image (old) 800A becomes the character recognition result (old) 812A "software”
  • the target character image (new) 800B becomes the character recognition result "new" 812B.
  • the character string comparison module 120 performs a character string comparison process 820 on the character recognition result (old) 812 A and the character recognition result (new) 812 B.
  • a string comparison result 822 indicating no difference is obtained.
  • the editing mode is set to “match”.
  • the correction module 530 sets the first character of the target character image (old) 800A and the target character image (new) 800B for which there is no difference as the character string comparison result 822 (character image (old) 834A, character image New) 834 B) is compared, and a character image comparison result 832 indicating that they are different is output.
  • the editing mode is corrected from "match” to "replace”.
  • the result output module 190 outputs a result 892 that “the target character image (old) 800A and the target character image (new) 800B are different in the first character character image”.
  • the editing mode of "S" and "s” which are the character recognition result is "replacement”.
  • the correct character code remains unknown. Specifically, it remains unknown whether the first character of the target character image (old) 800A is not "S” or the first character of the target character image (new) 800B is not “S”.
  • FIG. 9 is a conceptual module configuration diagram of a configuration example of the 2-2nd embodiment.
  • the 2-2 embodiment is a detailed description of the module configuration in the correction module 530 of the 2-1 embodiment, and the correction module 530 includes a character image extraction module 932, a character image comparison module 934, a string comparison result correction module 936 is included.
  • the character image extraction module 932 is connected to the character image comparison module 934.
  • the character image cutting module 932 cuts out the character image 933 from the image 100 (either the image (old) 100A or the image (new) 100B) using the character coordinate list 900.
  • the character coordinate list 900 is output by the character recognition module 110 together with the character recognition result.
  • the character image comparison module 934 is connected to the character image extraction module 932 and the character string comparison result correction module 936.
  • the character image comparison module 934 compares the image (old) 100A and the corresponding character image 933 in the image (new) 100B.
  • the comparison result correction flag 936 for the match or non-match flag 935 is passed to the string comparison result correction module 936.
  • “Corresponding” may be a combination of character images of characters determined to be corresponding by the character string comparison module 120 (a combination of matching characters, a combination of replacement characters), and a character image and an image within the image (old) 100A New) All combinations of character images in 100B may be used (combinations described in detail with reference to FIG. 14) or other combinations (combinations described later).
  • the string comparison result correction module 936 is connected to the character image comparison module 934.
  • the character string comparison result correction module 936 rewrites the editing mode of the corresponding character to "match” if the character image comparison module 934 determines "match”. If it is determined that "mismatch”, the editing mode of the corresponding character is rewritten to "replace".
  • FIG. 10 is a flow chart showing an example of processing by the second embodiment (particularly, a module in the correction module 530).
  • the character image cutting module 932 cuts out a character image from both images 100 using the character coordinate list 900.
  • the character image comparison module 934 compares the two extracted character images 933.
  • the string comparison result correction module 936 corrects the comparison result 522 of the string comparison module 120 using the match or non-match flag 935.
  • FIG. 11 is an explanatory diagram of an example of processing according to the 2-2nd embodiment.
  • the character recognition module 110 performs character recognition processing 1110A on the image (old) 1100A, and passes the character recognition result 1120A to the character string comparison module 120.
  • the character recognition module 110 performs the character recognition process 1110 B on the image (new) 1100 B, and passes the character recognition result 1120 B to the character string comparison module 120. Either of the character recognition processes 1110A and 1110B may be performed first, or may be performed in parallel.
  • the character string comparison module 120 performs character string comparison processing 1130 on the character recognition result 1120 A and the character recognition result 1120 B, and passes the comparison result table 1190 to the result output module 190.
  • the comparison result table 1190 has a character string comparison result column 1192, a document (old) column 1194A, and a document (new) column 1194B.
  • the document (old) column 1194A no. It has a field 1196A and a text field 1198A.
  • Document (new) column 1194B is No.
  • a column 1196B and a character column 1198B are provided. This is equivalent to the comparison result table 490 shown in the example of FIG.
  • the comparison result table 1190 is the result of the correction processing by the character string comparison result correction module 936.
  • the subsequent two characters are also matched, and the document
  • the subsequent characters will not match. That is, when there is a plurality of matching characters according to the comparison processing result of the character image comparison module 934, it is assumed that the respective characters match, and there are many subsequent characters that match. It is determined that one is associated.
  • the character may not be the character that follows, but may be the character that precedes it, or it may be the target of both characters.
  • the string comparison result correction module 936 determines that the document (old) 1100A
  • the contents of the string comparison result of the fourth character and the string comparison result column 1192 of the third character of the document (new) 1100 B are replaced with “match” from “replacement”.
  • the text comparison result correction module 936 may also replace the text code from “Z” to “2” or “2” to “Z”. However, it does not judge which of the new and old text codes is correct.
  • the present embodiment does not correct the character recognition result.
  • the comparison result table 1190 is a table showing character string comparison results. The characters arranged in the same line mean that they correspond as a result of the string comparison process. Even if it is a replacement character, as described above, the corresponding character can be obtained from the correspondence of the preceding and subsequent matching characters.
  • FIG. 12 is an explanatory view showing a processing example according to the 2-2nd embodiment (mainly the character recognition module 110 and the character image clipping module 932).
  • the character recognition module 110 outputs the character recognition result and the coordinates of the character.
  • the character image cutting module 932 cuts out the character image based on the coordinates.
  • the character recognition result and character coordinates of the image (old) 1200 shown in the example of FIG. 12A are as shown in the character recognition result etc. table 1220 shown in the example of FIG. 12C.
  • the character recognition result etc. table 1220 includes No.
  • a column 1222, a character column 1224, a left X column 1226, an upper Y column 1228, a right X column 1230, a lower Y column 1232, and a certainty factor column 1234 are provided.
  • a character column 1224 stores a text code which is a character recognition result.
  • the left X column 1226, the upper Y column 1228, the right X column 1230, and the lower Y column 1232 store character coordinates. That is, the upper left coordinates 1212 and the lower right coordinates 1214 of the character rectangle 1210 shown in the example of FIG. 12B are shown.
  • the certainty factor column 1234 stores information indicating the certainty of the character recognition result by the character recognition processing by the character recognition module 110. For example, the higher the number, the more likely it is the text code. The process using the information stored in the certainty factor column 1234 will be described later.
  • the character image cutting module 932 cuts out a character image from the image (old) 100A and the image (new) 100B using the character recognition result etc. table 1220.
  • FIG. 13 is an explanatory view of a processing example according to the 2-2-2 embodiment.
  • the character image cutout module 932 performs character image cutout processing 1332A on the image (old) 1300A using the character recognition result etc. table 1220, and passes the character image group (old) 1333A to the character image comparison module 934.
  • the character image cutout module 932 performs character image cutout processing 1332B on the image (new) 1300B using the character recognition result table 1220, and passes the character image group (new) 1333B to the character image comparison module 934.
  • the character image comparison module 934 performs the character image comparison processing 1334 on the character image group (old) 1333A and the character image group (new) 1333B, and passes the flag 1335 indicating coincidence or non-coincidence to the character string comparison result correction module 936 .
  • the combination of comparison targets performed in the character image comparison process 1334 may be all combinations.
  • the combination is processed, and then, as shown in the example of FIG. 14B, each character image in the character image group (old) 1333A and the character image in the character image group (new) 1333B Processing is performed on a combination of characters 1400 B, 1401 B, 1402 B, 1403 B, etc.).
  • FIG. 15 is a conceptual module block diagram of a configuration example of the second to third embodiments.
  • the second to third embodiment details the module configuration in the character image comparison module 934 of the second embodiment, and the character image comparison module 934 is a correlation coefficient calculation module 1510, A correlation coefficient determination module 1520 and a coincidence determination module 1530 are included.
  • the correlation coefficient calculation module 1510 is connected to the correlation coefficient determination module 1520.
  • the correlation coefficient calculation module 1510 calculates a correlation coefficient between the character image (old) 933A in the image (old) 100A and the character image (new) 933B in the image (new) 100B.
  • the correlation is calculated while gradually shifting the character image (new) 933B with respect to the character image (old) 933A.
  • the two character images are superimposed while being shifted little by little, and the correlation of luminance is calculated. More specifically, EOR (exclusive OR) processing of two character images is performed, the remaining pixel values are counted, and the reciprocal of the count value is used as the correlation value.
  • the correlation coefficient determination module 1520 is connected to the correlation coefficient calculation module 1510 and the coincidence determination module 1530.
  • the correlation coefficient determination module 1520 sets the difference amount at the highest correlation as the correlation coefficient of this candidate character. In the example of FIG. 16, (e) corresponds to that.
  • the match determination module 1530 is connected to the correlation coefficient determination module 1520.
  • the coincidence determination module 1530 compares the correlation coefficient passed from the correlation coefficient determination module 1520 with a predetermined threshold, and if “the correlation coefficient is greater than or equal to the threshold”, the character image (old) 933A And the character image (new) 933 B are determined to match. Then, if "the correlation coefficient is less than or less than the threshold", it is determined that the characters are different. Thereafter, the string comparison result correction module 936 corrects the comparison result by the string comparison module 120 using the match or non-match flag 935 from the match determination module 1530.
  • FIG. 17 is a flowchart showing an example of processing according to the second to third embodiments.
  • the correlation coefficient calculation module 1510 calculates the correlation coefficient in each shift amount of the character image (old) 933A and the character image (new) 933B.
  • the correlation coefficient determination module 1520 determines the correlation coefficient of this character image pair from the correlation coefficient in each shift amount.
  • the match determination module 1530 compares the predetermined threshold with the correlation coefficient to determine whether or not they match.
  • the match determination module 1530 outputs the determination result.
  • FIG. 18 is an explanatory diagram of an example of processing according to the second to third embodiments.
  • the correlation coefficient between the character images is calculated (FIGS. 18A and 18B).
  • threshold processing 1810 it is determined whether or not there is a character image whose correlation coefficient is equal to or greater than the threshold value (FIG. 18 (c)). If there is a character image that is equal to or greater than the threshold value, it is determined that the character image matches. If there is no character image above the threshold value, it is determined that the characters do not match.
  • FIG. 19 is an explanatory diagram of an example of processing according to the second to third embodiments.
  • the correlation coefficient between character images is determined. (FIG. 19 (a), (b)).
  • threshold processing 1810 it is determined whether or not there is a character image whose correlation coefficient is equal to or greater than the threshold value (FIG. 19C). If there is a character image that is equal to or greater than the threshold value, it is determined that the character image matches. If there is no character image above the threshold value, it is determined that the characters do not match.
  • the threshold processing result 1935 of “determining that there is no character that matches the third recognition character 1403A (A) of the document (old)” is output (FIG. 19 (d)).
  • FIG. 20 is a conceptual module block diagram of a configuration example of the second to fourth embodiments.
  • the second to fourth embodiment is a detailed description of the module configuration in the character image comparison module 934 according to the second embodiment, and the character image comparison module 934 includes a feature amount calculation module 2010, and a feature amount calculation module 2010.
  • a quantity distance calculation module 2020 and a coincidence determination module 2030 are included.
  • the feature amount calculation module 2010 is connected to the feature amount distance calculation module 2020.
  • the feature amount calculation module 2010 calculates feature amounts of the character image (old) 933A in the image (old) 100A and the character image (new) 933B in the image (new) 100B. For example, feature amounts such as width, height, black pixel density, projection histogram and the like of each character image are calculated. In the example of FIG. 21, the height 2110 and the width 2120 exist as feature amounts of the character image 2100.
  • the feature amount distance calculation module 2020 is connected to the feature amount calculation module 2010 and the match determination module 2030. The feature amount distance calculation module 2020 calculates the distance in the feature space between the character image (old) 933A in the image (old) 100A and the character image (new) 933B in the image (new) 100B.
  • the coincidence determination module 2030 is connected to the feature amount distance calculation module 2020.
  • the coincidence determination module 2030 compares the distance of the feature amount passed from the feature amount distance calculation module 2020 with a predetermined threshold, and if “the distance of the feature amount is smaller than the threshold”, the character image (old) 933A And the character image (new) 933 B are determined to match. Then, if “the distance of the feature amount is equal to or larger than the threshold value”, it is determined that the characters are different. Thereafter, the string comparison result correction module 936 corrects the determination result by the string comparison module 120 using the match or non-match flag 935 from the match determination module 2030.
  • FIG. 22 is a flowchart showing an example of processing according to the second to fourth embodiments.
  • the feature amount calculation module 2010 calculates feature amounts of the character image (old) 933A and the character image (new) 933B.
  • the feature amount distance calculation module 2020 calculates feature amount distances of the character image (old) 933A and the character image (new) 933B.
  • the match determination module 2030 compares the predetermined threshold with the feature amount distance, and determines whether they match.
  • the match determination module 2030 outputs the determination result.
  • FIG. 23 is an explanatory diagram of an example of processing according to the second to fourth embodiments.
  • the distance between the features of the character images is calculated (FIGS. 23A and 23B).
  • Each character image feature amount is calculated.
  • the feature quantity vector of the recognized character 1400A is (p 01 , p 02 ,..., P 0n ).
  • a feature quantity vector of the recognized character 1400 B or the like is (q 01 , q 02 ,..., Q 0n ).
  • the distance D between feature images of character images is calculated by the above equation.
  • the threshold processing 2310 it is determined whether or not there is a character image in which the distance D is less than or equal to the threshold value (FIG. 23 (c)). If there is a character image below the threshold value, it is determined that the character image matches. If there is no character image below the threshold, it is determined that the characters do not match.
  • the threshold processing result 2335 of "determining that the 0th recognition character 1400A (contract) of the document (old) and the 0th recognition character 1400B (contract) of the document (new) match" Are output (FIG. 23 (d)).
  • FIG. 24 is an explanatory diagram of an example of processing according to the second to fourth embodiments.
  • the distance between the features of the character images is calculated (FIGS. 24A and 24B).
  • Each character image feature amount is calculated.
  • the feature quantity vector of the recognized character 1403A is (p 31 , p 32 ,..., P 3n ).
  • a feature quantity vector of the recognized character 1400 B or the like is (q 01 , q 02 ,..., Q 0n ).
  • the distance D between feature images of character images is calculated by the above equation.
  • the threshold processing 2410 it is determined whether or not there is a character image in which the distance D is less than or equal to the threshold value (FIG. 24 (c)). If there is a character image below the threshold value, it is determined that the character image matches. If there is no character image below the threshold, it is determined that the characters do not match. In the example of FIG. 24, a threshold processing result 2435 of “determine that there is no character that matches the third recognition character 1403A (A) of the document (old)” is output (FIG. 24 (d)).
  • FIG. 25 is a conceptual module configuration diagram of a configuration example of the second to fifth embodiments.
  • the correction candidate character selection module 2520 selects a character image to be subjected to correction processing using the certainty factor of the character recognition result.
  • the correction processing module 2530 corresponds to the correction module 530 in the above-described embodiments (Embodiments 2-1 to 2-4). That is, to explain using the example of FIG. 5, there is a correction candidate character selection module 2520 between the character string comparison module 120 and the correction module 530, and there is a correction processing module 2530 instead of the correction module 530.
  • the correction candidate character selection module 2520 and the correction processing module 2530 are included.
  • the correction processing module 2530 includes a correction candidate character image extraction module 2532, a character image comparison module 934, and a character string comparison result correction module 936.
  • the correction candidate character selection module 2520 is connected to the correction candidate character image extraction module 2532.
  • the correction candidate character selection module 2520 compares the certainty factor to the recognition result by the character recognition module 110 with a predetermined value, and if the certainty factor is low, the first character recognition result and the second character recognition result are If they match, they are also subject to correction. Then, the character coordinate list 2522 of the character that has become the correction candidate is passed to the correction candidate character image extraction module 2532 in the correction processing module 2530.
  • the correction candidate character selection module 2520 recognizes characters of the certainty factor 2500 (the certainty factor column 1234 of the character recognition result table 1220 shown in the example of FIG.
  • the character coordinate list 2522 is generated so as to be a correction target also in the case. Furthermore, when the certainty factor 2500 of each character is equal to or less than a predetermined value, the deleted character or the inserted character may be selected as the correction target. Therefore, the character coordinate list 2522 may be generated such that the correction target is all characters of the character recognition result.
  • the correction candidate character selection module 2520 compares the certainty factor to the recognition result by the character recognition module 110 with a predetermined value, and when the certainty factor is high, the first character recognition result and the second character recognition If the results match, they may not be corrected.
  • the correction candidate character selection module 2520 is a case where the certainty factor 2500 of each character is higher than or equal to a predetermined value, and the first character recognition result and the second character recognition result Does not enter the character coordinate list 2522.
  • the correction target when the certainty factor 2500 of each character is higher than or equal to a predetermined value is the deleted character, the inserted character, and the substituted character, and the matched character is not targeted.
  • the character coordinate list 2522 may be generated as described above.
  • the correction candidate character image extraction module 2532 is connected to the correction candidate character selection module 2520 and the character image comparison module 934.
  • the correction candidate character image extraction module 2532 corresponds to the character image extraction module 932 in the above-described embodiment, but the target character image is the one selected by the correction candidate character selection module 2520.
  • a character image is cut out from the image 100 using the character coordinate list 2522 of the character passed from the correction candidate character selection module 2520.
  • the character image 2533 of the candidate character is passed to the character image comparison module 934.
  • the character image comparison module 934 is connected to the correction candidate character image extraction module 2532 and the character string comparison result correction module 936.
  • the string comparison result correction module 936 is connected to the character image comparison module 934.
  • FIG. 26 is a flowchart showing an example of processing according to the second to fifth embodiments.
  • the correction candidate character selection module 2520 selects a character image as a correction candidate from the certainty factor 2500 of each character and the character coordinate list 900.
  • the correction candidate character image extraction module 2532 cuts out a character image from the image 100 using the character coordinate list 2522 of candidate characters.
  • the character image comparison module 934 compares the extracted character images 933.
  • the string comparison result correction module 936 corrects the comparison result 522 of the string comparison module 120 using the match or non-match flag 935.
  • FIG. 27 is a conceptual module block diagram of a configuration example of the 2-6 embodiment.
  • the correction candidate character selection module 2720 selects a character image to be subjected to correction processing using the editing mode of each character. If it demonstrates using the example of FIG. 5, the correction
  • the correction candidate character selection module 2720 and the correction processing module 2530 are included.
  • the correction processing module 2530 includes a correction candidate character image extraction module 2532, a character image comparison module 934, and a character string comparison result correction module 936.
  • the correction candidate character selection module 2720 is connected to the correction candidate character image extraction module 2532.
  • the correction candidate character selection module 2720 selects not to perform comparison processing (processing by the character image comparison module 934) on a set of character images of matching characters. Then, the character coordinate list 2722 of the selected character is passed to the correction candidate character image extraction module 2532 in the correction processing module 2530.
  • the correction candidate character selection module 2720 receives from the character string comparison module 120 the editing mode 2700 for each character (character string comparison result column 1192 of the comparison result table 1190 shown in the example of FIG.
  • a list 900 is received from the character recognition module 110, and a character coordinate list 2722 of characters obtained by excluding a character whose editing mode is "match" from the character coordinate list 900 is generated. Therefore, the character coordinate list 2722 of characters selected from the character coordinate list 900 is generated for the characters whose edit mode is “delete”, “insert”, and “replace”.
  • the correction candidate character selection module 2720 may perform comparison processing only on the set of character images of the substituted characters. Specifically, the correction candidate character selection module 2720 receives the editing mode 2700 of each character from the character string comparison module 120, receives the character coordinate list 900 from the character recognition module 110, and selects the editing mode “replace” from the character coordinate list 900. A character coordinate list 2722 is generated in which only the characters “are selected.
  • the correction candidate character image extraction module 2532 is connected to the correction candidate character selection module 2720 and the character image comparison module 934.
  • the character image comparison module 934 is connected to the correction candidate character image extraction module 2532 and the character string comparison result correction module 936.
  • the string comparison result correction module 936 is connected to the character image comparison module 934.
  • FIG. 28 is a flowchart showing an example of processing according to the second embodiment.
  • the correction candidate character selection module 2720 selects a character image as a correction candidate from the editing mode 2700 of each character and the character coordinate list 900.
  • the correction candidate character image extraction module 2532 cuts out a character image from the image 100 using the character coordinate list 2722 of the candidate characters.
  • the character image comparison module 934 compares the extracted character images 933.
  • the string comparison result correction module 936 corrects the comparison result 522 of the string comparison module 120 using the match or non-match flag 935.
  • the various embodiments described above may be combined (for example, the modules in one embodiment may be added to another embodiment, replaced, etc.), and the processing content of each module
  • the techniques described in the background art may be employed.
  • the second to fifth embodiments and the second to sixth embodiments are combined, the following may be adopted.
  • the degree of certainty is compared with a predetermined threshold value, and the degree of certainty is low, and a case where the editing mode is "replacement" is selected as a comparison target so as to at least include. In other cases, any one or a combination of the following is adopted.
  • Character recognition means for character-recognizing a first image and character-recognizing a second image associated with the first image;
  • the first character recognition result by the character recognition unit for the first image and the second character recognition result by the character recognition unit for the second image are compared, and a character that matches between the two character recognition results is Characters which are extracted and which are the first character recognition result or the second character recognition result between the matching characters are not included in the first image, the characters deleted from the first image
  • Determining means for determining whether the second image is an inserted character or a character obtained by replacing a character in the first image;
  • Output means for outputting the determination result by the determination means
  • An image processing apparatus comprising: According to this image processing apparatus, when comparing a plurality of images, the character recognition result of the images can be divided into a matching character, a deleted character, an inserted character, and a substituted character.
  • FIG. 29 is configured of, for example, a personal computer (PC) or the like, and shows a hardware configuration example including a data reading unit 2917 such as a scanner and a data output unit 2918 such as a printer.
  • PC personal computer
  • a central processing unit (CPU) 2901 includes various modules described in the above embodiments, that is, a character recognition module 110, a character string comparison module 120, a result output module 190, a correction module 530, and a character image extraction module 932 Character image comparison module 934, character string comparison result correction module 936, correlation coefficient calculation module 1510, correlation coefficient determination module 1520, match determination module 1530, feature quantity calculation module 2010, feature quantity distance calculation module 2020, match determination module 2030 , The correction candidate character selection module 2520, the correction processing module 2530, the correction candidate character image extraction module 2532, the correction candidate character selection module 2720, and the like.
  • a control unit that executes processing according to a computer program describing the sequence.
  • a ROM (Read Only Memory) 2902 stores a program used by the CPU 2901, operation parameters, and the like.
  • a RAM (Random Access Memory) 2903 stores a program used in execution of the CPU 2901 and parameters and the like appropriately changed in the execution. These are mutually connected by a host bus 2904 configured of a CPU bus and the like.
  • the host bus 2904 is connected to an external bus 2906 such as a peripheral component interconnect / interface (PCI) bus via a bridge 2905.
  • PCI peripheral component interconnect / interface
  • a keyboard 2908 and a pointing device 2909 such as a mouse are input devices operated by the operator.
  • the display 2910 is a liquid crystal display device or a CRT (Cathode Ray Tube), and displays various information as text and image information.
  • An HDD (Hard Disk Drive) 2911 incorporates a hard disk, drives the hard disk, and records or reproduces a program or information to be executed by the CPU 2901.
  • the hard disk stores an image to be compared, a character image, a character recognition result, a correction result, and the like. Furthermore, various computer programs such as various other data processing programs are stored.
  • the drive 2912 reads data or a program recorded in a removable recording medium 2913 such as a mounted magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and the data or the program is transferred to an interface 2907, an external bus 2906. , The bridge 2905, and the RAM 2903 connected via the host bus 2904.
  • the removable recording medium 2913 can also be used as a data recording area similar to a hard disk.
  • the connection port 2914 is a port for connecting the external connection device 2915, and has a connection unit such as USB or IEEE 1394.
  • the connection port 2914 is connected to the CPU 2901 and the like through the interface 2907, the external bus 2906, the bridge 2905, the host bus 2904 and the like.
  • a communication unit 2916 is connected to the communication line and executes data communication processing with the outside.
  • the data reading unit 2917 is, for example, a scanner, and executes a document reading process.
  • the data output unit 2918 is, for example, a printer, and executes document data output processing.
  • the hardware configuration of the image processing apparatus shown in FIG. 29 shows one configuration example, and the present embodiment is not limited to the configuration shown in FIG. 29, and the modules described in the present embodiment are executed. It may be any possible configuration. For example, some modules may be configured by dedicated hardware (for example, Application Specific Integrated Circuit (ASIC)), and some modules are in an external system and connected by communication lines. Alternatively, a plurality of systems shown in FIG. 29 may be connected by communication lines to cooperate with each other.
  • the image processing apparatus may also be incorporated in a copying machine, a fax machine, a scanner, a printer, a multi-function machine (an image processing apparatus having any two or more functions of a scanner, a printer, a copying machine, a fax machine, etc.).
  • the program described above may be stored in a recording medium and provided, or the program may be provided by communication means.
  • the above-described program may be regarded as an invention of “a computer-readable recording medium having a program recorded thereon”.
  • the “computer-readable recording medium having a program recorded therein” refers to a computer-readable recording medium having a program recorded thereon, which is used for program installation, execution, program distribution, and the like.
  • the recording medium is, for example, a digital versatile disc (DVD), which is a standard formulated by the DVD Forum "DVD-R, DVD-RW, DVD-RAM, etc.”, formulated by DVD + RW Standard “DVD + R, DVD + RW etc”, compact disc (CD), read only memory (CD-ROM), CD recordable (CD-R), CD rewriteable (CD-RW) etc., Blu-ray disc (CD-RW) Blu-ray Disc (registered trademark), magneto-optical disk (MO), flexible disk (FD), magnetic tape, hard disk, read only memory (ROM), electrically erasable and rewritable read only memory (EEPROM (registered trademark) ), Flash memory, random access memory (RAM) , SD (Secure Digital) memory card etc.
  • DVD digital versatile disc
  • CD-ROM compact disc
  • CD-ROM read only memory
  • CD-R CD recordable
  • CD-RW CD rewriteable
  • CD-RW Blu-ray disc
  • CD-RW
  • the program or a part of the program may be recorded on the recording medium and stored or distributed. Also, by communication, for example, a wired network used for a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), the Internet, an intranet, an extranet, etc., or wireless communication Transmission may be performed using a transmission medium such as a network or a combination of these, or may be carried on a carrier wave.
  • the program may be part of another program, or may be recorded on a recording medium together with a separate program. Also, the program may be divided and recorded on a plurality of recording media. Also, it may be recorded in any form such as compression or encryption as long as it can be restored.
  • Character recognition module 120 String comparison module 190 ... Result output module 530 ... correction module 932 ... Character image extraction module 934 ... Character image comparison module 936 ... String comparison result correction module 1510 ... Correlation coefficient calculation module 1520 ... Correlation coefficient determination module 1530 ... Match determination module 2010 ... Feature amount calculation module 2020 ... feature amount distance calculation module 2030 ... Match determination module 2520 ... correction candidate character selection module 2530 ... correction processing module 2532 ... correction candidate character image extraction module 2720 ... correction candidate character selection module

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Character Discrimination (AREA)

Abstract

　文字コードを持たない画像を比較する場合にあって、文字コードを持つファイルを比較する時と同等の比較が行える画像処理装置を提供する。　画像処理装置の文字認識手段は、第１の画像を文字認識し、該第１の画像と関連する第２の画像を文字認識し、比較手段は、前記第１の画像に対する前記文字認識手段による第１の文字認識結果と前記第２の画像に対する前記文字認識手段による第２の文字認識結果を比較し、出力手段は、前記比較手段による比較結果を出力する。

Description

画像処理装置及び画像処理プログラム

　本発明は、画像処理装置及び画像処理プログラムに関する。

　特許文献１には、多様な種類の画像に対して適切な画像検索方法を提供することを課題とし、写真画像検索部は、入力文書画像をブロックに分割し、各ブロック毎にエッジ量などの画像特徴量を求め、そして、その画像特徴量の分布と各登録画像の画像特徴量の分布とを比較することで各登録画像の入力文書画像に対する類似度スコア（第１スコア）を計算し、テキスト検索部は、画像を文字認識した結果としてのテキストの類似性に基づき、各登録画像の入力文書画像に対する類似度スコア（第２スコア）を計算し、候補抽出部は、各登録画像の第１スコアと第２スコアとを統合し、得られた統合スコアが上位となる登録画像を候補として抽出し、文書画像検索部は、それら候補と入力文書画像とを、投影波形同士で比較することで、最終的な類似度を計算することが開示されている。

　特許文献２には、文書や帳票の読み取りにおいて、手書き文字でも正確に認識するとともに、認識結果の誤認識や判読困難な文字を精度よく棄却する文字認識装置を提供することを課題とし、文字画像抽出部は、文書画像入力受付部で受け付けられた文書画像から文字画像を切り出し、特徴量抽出部は文字画像から特徴量を抽出し、候補文字選択部は分類辞書の基準特徴量と抽出された特徴量との類似度を算出し候補文字を選択し、候補文字判定部は選択された候補文字同士が類似候補文字識別辞書に記載されているとき、いずれの文字が適切か判定し、個別文字検証部は、候補文字を個別検証辞書の肯定条件又は否定条件に示されるルールに従い「有効」又は「棄却」とし、認識検証部は、同一文字行に複数の同一候補文字があるとき、文字画像同士の類似度を用いて、候補文字の変更処理を行うことが開示されている。

　特許文献３には、切り出し誤りによって文字を認識した結果の文字数が、結果として出力すべき単語の文字数と異なる場合でも正確に該当する単語を認識結果として抽出することを目的とし、文字再切り出し段階では、文字のかすれにより、単語を構成する文字の数より実際に記入された文字の数が増加している場合、候補文字との対応がとれていない文字の位置に存在する２つ以上の図形をまとめて１つの図形として抽出し、文字再認識段階では抽出された図形に対して認識辞書を用いて文字認識し、単語再照合段階では、文字再認識段階で得られた認識結果の候補文字の中に単語照合段階で未照合となっている文字があるかどうか判定し、あればその文字を含む候補文字を認識結果として出力することが開示されている。

特開２００７－１７２０７７号公報 特許第４８６１７３０号公報 特開平０８－３１５０７７号公報

　本発明は、文字コードを持たない画像を比較する場合にあって、文字コードを持つファイルを比較する時と同等の比較が行える画像処理装置及び画像処理プログラムを提供することを目的としている。

　かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。

　請求項１の発明は、第１の画像を文字認識し、該第１の画像と関連する第２の画像を文字認識する文字認識手段と、前記第１の画像に対する前記文字認識手段による第１の文字認識結果と前記第２の画像に対する前記文字認識手段による第２の文字認識結果を比較する比較手段と、前記比較手段による判定結果を出力する出力手段を具備することを特徴とする画像処理装置である。

　請求項２の発明は、前記第１の画像と前記第２の画像内の対応する文字画像を比較することによって、前記比較手段による比較結果を補正する補正手段をさらに具備し、前記出力手段は、前記補正手段によって補正された結果を出力することを特徴とする請求項１に記載の画像処理装置である。

　請求項３の発明は、前記補正手段は、前記第１の画像内の文字画像と前記第２の画像内の文字画像との相関係数を算出し、該相関係数に基づいて前記比較手段による比較結果を補正することを特徴とする請求項２に記載の画像処理装置である。

　請求項４の発明は、前記補正手段は、前記第１の画像内の文字画像と前記第２の画像内の文字画像との間の特徴空間における距離を算出し、該距離に基づいて前記比較手段による比較結果を補正することを特徴とする請求項２に記載の画像処理装置である。

　請求項５の発明は、前記補正手段は、前記文字認識手段による認識結果に対する確信度と予め定められた値とを比較して、確信度が低い場合は第１の文字認識結果と第２の文字認識結果が一致する場合も補正対象として補正を行うことを特徴とする請求項２から４のいずれか一項に記載の画像処理装置である。

　請求項６の発明は、前記補正手段は、前記文字認識手段による認識結果に対する確信度と予め定められた値とを比較して、確信度が高い場合は第１の文字認識結果と第２の文字認識結果が一致する場合は補正対象としないことを特徴とする請求項２から５のいずれか一項に記載の画像処理装置である。

　請求項７の発明は、前記補正手段は、前記一致する文字の文字画像に対しては比較処理を行わないことを特徴とする請求項２から４のいずれか一項に記載の画像処理装置である。

　請求項８の発明は、前記補正手段は、前記置換された文字の文字画像のみに対して比較処理を行うことを特徴とする請求項２から４のいずれか一項に記載の画像処理装置である。

　請求項９の発明は、コンピュータを、第１の画像を文字認識し、該第１の画像と関連する第２の画像を文字認識する文字認識手段と、前記第１の画像に対する前記文字認識手段による第１の文字認識結果と前記第２の画像に対する前記文字認識手段による第２の文字認識結果を比較する比較手段と、前記比較手段による比較結果を出力する出力手段として機能させるための画像処理プログラムである。

　請求項１０の発明は、コンピュータを、第１の画像を文字認識し、該第１の画像と関連する第２の画像を文字認識する文字認識手段と、前記第１の画像に対する前記文字認識手段による第１の文字認識結果と前記第２の画像に対する前記文字認識手段による第２の文字認識結果を比較し、２つの文字認識結果間で一致する文字を抽出し、該一致する文字の間にある該第１の文字認識結果又は該第２の文字認識結果である文字を、該第１の画像から削除された文字、該第１の画像には無いが該第２の画像にはある挿入された文字、該第１の画像内の文字を置換した文字のいずれであるかを判定する判定手段と、前記判定手段による判定結果を出力する出力手段として機能させるための画像処理プログラムである。

　請求項１の画像処理装置によれば、文字コードを持たない画像を比較する場合にあって、文字コードを持つファイルを比較する時と同等の比較を行うことができる。

　請求項２の画像処理装置によれば、文字画像の比較結果に基づいて、文字の比較結果を補正することができる。

　請求項３の画像処理装置によれば、文字画像間の相関係数に基づいて文字の比較結果を補正することができる。

　請求項４の画像処理装置によれば、文字画像の特徴空間における距離に基づいて文字の比較結果を補正することができる。

　請求項５の画像処理装置によれば、本構成を有していない場合に比較して、文字の比較結果の精度を向上させることができる。

　請求項６の画像処理装置によれば、本構成を有していない場合に比較して、速度を向上させることができる。

　請求項７の画像処理装置によれば、本構成を有していない場合に比較して、速度を向上させることができる。

　請求項８の画像処理装置によれば、本構成を有していない場合に比較して、速度を向上させることができる。

　請求項９の画像処理プログラムによれば、文字コードを持たない画像を比較する場合にあって、文字コードを持つファイルを比較する時と同等の比較を行うことができる。

　請求項１０の画像処理プログラムによれば、文字コードを持たない画像を比較する場合にあって、その画像の文字認識結果を、一致する文字、削除された文字、置換した文字に分けることができる。

第１の実施の形態の構成例についての概念的なモジュール構成図である。 第１の実施の形態による処理例を示すフローチャートである。 文字列の比較処理の例を示す説明図である。 第１の実施の形態による処理例を示す説明図である。 第２－１の実施の形態の構成例についての概念的なモジュール構成図である。 第２－１の実施の形態による処理例を示すフローチャートである。 第２－１の実施の形態による処理例を示す説明図である。 第２－１の実施の形態による処理例を示す説明図である。 第２－２の実施の形態の構成例についての概念的なモジュール構成図である。 第２－２の実施の形態による処理例を示すフローチャートである。 第２－２の実施の形態による処理例を示す説明図である。 第２－２の実施の形態による処理例を示す説明図である。 第２－２の実施の形態による処理例を示す説明図である。 第２－２の実施の形態による処理例を示す説明図である。 第２－３の実施の形態の構成例についての概念的なモジュール構成図である。 第２－３の実施の形態による処理例を示す説明図である。 第２－３の実施の形態による処理例を示すフローチャートである。 第２－３の実施の形態による処理例を示す説明図である。 第２－３の実施の形態による処理例を示す説明図である。 第２－４の実施の形態の構成例についての概念的なモジュール構成図である。 第２－４の実施の形態が対象とする文字画像の例を示す説明図である。 第２－４の実施の形態による処理例を示すフローチャートである。 第２－４の実施の形態による処理例を示す説明図である。 第２－４の実施の形態による処理例を示す説明図である。 第２－５の実施の形態の構成例についての概念的なモジュール構成図である。 第２－５の実施の形態による処理例を示すフローチャートである。 第２－６の実施の形態の構成例についての概念的なモジュール構成図である。 第２－６の実施の形態による処理例を示すフローチャートである。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

　以下、図面に基づき本発明を実現するにあたっての好適な各種の実施の形態の例を説明する。

＜第１の実施の形態＞

　図１は、第１の実施の形態の構成例についての概念的なモジュール構成図を示している。

　なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という意味を有する記載は、「Ａであるか否かを判定し、Ａであると判定した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判定が不要である場合を除く。

　また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。

　また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。

　第１の実施の形態である画像処理装置は、複数の画像を比較するものであって、図１の例に示すように、文字認識モジュール１１０、文字列比較モジュール１２０、結果出力モジュール１９０を有している。

　文字認識モジュール１１０は、文字列比較モジュール１２０と接続されている。文字認識モジュール１１０は、画像（旧）１００Ａを文字認識し、その画像（旧）１００Ａと関連する画像（新）１００Ｂを文字認識する。例えば、画像（旧）１００Ａとしては、修正前の文書画像が該当する。画像（新）１００Ｂとしては、その修正後の文書画像が該当する。なお、画像（旧）１００Ａと画像（新）１００Ｂの関係は、比較対象であればよく、修正前後という関係を必ずしも必要としない。受け付ける画像としては、例えば、スキャナ、カメラ等で画像を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、ハードディスク（コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む）等に記憶されている画像を読み出すこと等が含まれる。画像は、２値画像、多値画像（カラー画像を含む）であってもよい。また、受け付ける画像（比較対象とする画像）は、２以上の複数であってもよい。それぞれの比較対象とする画像は、複数ページであってもよい。また、画像の内容として、文字認識の対象となる文字が含まれていれば、ビジネスに用いられる文書、広告宣伝用のパンフレット等であってもよい。

　文字列比較モジュール１２０は、文字認識モジュール１１０、結果出力モジュール１９０と接続されている。文字列比較モジュール１２０は、画像（旧）１００Ａに対する文字認識モジュール１１０による第１の文字認識結果と画像（新）１００Ｂに対する文字認識モジュール１１０による第２の文字認識結果を比較する。そして、その比較処理によって、２つの文字認識結果間で一致する文字を抽出し、文字認識結果は、“一致文字”と“一致文字でない文字”に分類する。そして、“一致文字でない文字”を、削除文字、挿入文字、置換文字に分類する。つまり、第１の文字認識結果又は第２の文字認識結果である文字を、画像（旧）１００Ａから削除された文字、１００Ｂに挿入された文字、画像（旧）１００Ａ内の文字を画像（新）１００Ｂ内では別の文字に置き換えた文字のいずれであるかを判定する。具体的には、文字列比較モジュール１２０は、テキストコードにより比較を行う。一致する文字（一致文字ともいう）は文字単位で対応関係が求められる。一致文字に挟まれている文字は、削除された文字（削除文字ともいう）、挿入された文字（挿入文字ともいう）、置換された文字（置換文字ともいう）のいずれかである。そして、置換文字についても文字単位で対応関係が求められる。また、編集モードとして、一致文字と判定した場合を「一致」、削除文字と判定した場合を「削除」、挿入文字と判定した場合を「挿入」、置換文字と判定した場合を「置換」という。また、一致文字、削除文字、挿入文字、置換文字に限定する必要はない。例えば、一致文字と不一致文字だけでもよい。置換文字とは、削除文字と挿入文字の組み合わせであるので、一致文字、削除文字、挿入文字だけでもよい。

　結果出力モジュール１９０は、文字列比較モジュール１２０と接続されている。結果出力モジュール１９０は、文字列比較モジュール１２０による比較結果を出力する。比較結果を画像で出力してもよいし、テキストで出力してもよい。不一致文字を一致文字と比べて目立つように強調（例えば、色を変える等）してもよいし、不一致文字だけ出力してもよい。例えば、画像（旧）１００Ａに、一致文字、削除文字、置換文字のそれぞれが分かるように色を異ならせた文字画像を重ねて表示するようにしてもよい。また、画像（新）１００Ｂに、一致文字、挿入文字、置換文字のそれぞれが分かるように色を異ならせた文字画像を重ねて表示するようにしてもよい。

　図２は、第１の実施の形態による処理例を示すフローチャートである。

　ステップＳ２０２では、文字認識モジュール１１０が、画像（旧）１００Ａに対して文字認識を行う。

　ステップＳ２０４では、文字認識モジュール１１０が、画像（新）１００Ｂに対して文字認識を行う。

　ステップＳ２０６では、文字列比較モジュール１２０が、新旧の文字認識結果を文字列比較する。

　ステップＳ２０８では、結果出力モジュール１９０が、文字列比較結果を出力する。

　図３は、文字列の比較処理の例を示す説明図である。

　画像（旧）１００Ａの文字認識結果の一部である「ＡＢＣＤＥＧ」と画像（新）１００Ｂの文字認識結果の一部である「ＢｃＤＥＦＧ」を比較する例を示す。「Ｂ」と「Ｄ」の対応関係から「Ｃ」と「ｃ」が対応することが分かる。つまり、一致文字である認識文字Ｂ：３０２と認識文字Ｂ：３５１の組、認識文字Ｄ：３０４と認識文字Ｄ：３５３の組に挟まれている文字である認識文字Ｃ：３０３（認識文字Ｂ：３０２と認識文字Ｄ：３０４に挟まれている）、認識文字ｃ：３５２（認識文字Ｂ：３５１と認識文字Ｄ：３５３に挟まれている）は対応しており、この認識文字Ｃ：３０３と認識文字ｃ：３５２は置換文字である。なお、置換文字の関係には、１文字対１文字の関係の他に、Ｎ文字対Ｍ文字の関係（Ｎ、Ｍは１以上の整数）であってもよい。例えば、１文字が２文字に置換される場合も、同様に置換文字の関係になる。

　また、認識文字Ａ：３０１は、画像（旧）１００Ａの文字認識結果にはあって、画像（新）１００Ｂの文字認識結果には無いので、削除文字である。認識文字Ｆ：３５５は、画像（旧）１００Ａの文字認識結果には無くて、画像（新）１００Ｂの文字認識結果にはあるので、挿入文字である。

　図４は、第１の実施の形態による処理例を示す説明図である。

　文字認識モジュール１１０は、画像（旧）４００Ａに対して文字認識処理４１０Ａを行い、文字認識結果４２０Ａを文字列比較モジュール１２０に渡す。文字認識モジュール１１０は、画像（新）４００Ｂに対して文字認識処理４１０Ｂを行い、文字認識結果４２０Ｂを文字列比較モジュール１２０に渡す。文字認識処理４１０Ａ、４１０Ｂの処理は、いずれが先に行ってもよいし、平行して行われてもよい。

　そして、文字列比較モジュール１２０は、文字認識結果４２０Ａと文字認識結果４２０Ｂに対して文字列比較処理４３０を行い、比較結果テーブル４９０を結果出力モジュール１９０に渡す。

　比較結果テーブル４９０は、文字列比較結果欄４９２、文書（旧）欄４９４Ａ、文書（新）欄４９４Ｂを有している。文書（旧）欄４９４Ａは、Ｎｏ．欄４９６Ａ、文字欄４９８Ａを有している。文書（新）欄４９４Ｂは、Ｎｏ．欄４９６Ｂ、文字欄４９８Ｂを有している。「Ａ」（文書（旧）欄４９４Ａ内のＮｏ．３の文字）は、削除文字である。「２」（文書（旧）欄４９４Ａ内のＮｏ．７の文字）と「０」（文書（新）欄４９４Ｂ内のＮｏ．６の文字）は置換文字である。「と」（文書（新）欄４９４Ｂ内のＮｏ．１６の文字）は挿入文字である。「、」（文書（新）欄４９４Ｂ内のＮｏ．１８の文字）は挿入文字である。

＜第２－１の実施の形態＞

　図５は、第２－１の実施の形態の構成例についての概念的なモジュール構成図である。なお、前述の実施の形態と同種の部位には同一符号を付し重複した説明を省略する（以下、同様）。第２の実施の形態は、第１の実施の形態の処理と比べると、文字列比較モジュール１２０による処理結果を画像（旧）１００Ａ、画像（新）１００Ｂを用いて補正する処理を加えたものであり、図２の例に示すように、文字認識モジュール１１０、文字列比較モジュール１２０、補正モジュール５３０、結果出力モジュール１９０を有している。

　文字認識モジュール１１０は、文字列比較モジュール１２０と接続されている。文字認識モジュール１１０は、画像（旧）１００Ａ、画像（新）１００Ｂのそれぞれの文字認識結果を含む文字列情報５１２を文字列比較モジュール１２０に渡す。

　文字列比較モジュール１２０は、文字認識モジュール１１０、補正モジュール５３０と接続されている。

　補正モジュール５３０は、文字列比較モジュール１２０、結果出力モジュール１９０と接続されている。補正モジュール５３０は、画像（旧）１００Ａと画像（新）１００Ｂ内の対応する文字画像を比較することによって、文字列比較モジュール１２０による比較結果５２２を補正する。

　結果出力モジュール１９０は、補正モジュール５３０と接続されている。結果出力モジュール１９０は、補正モジュール５３０によって補正された補正後の比較結果５３２を出力する。

　図６は、第２－１の実施の形態による処理例を示すフローチャートである。

　ステップＳ６０２では、文字認識モジュール１１０が、画像（旧）１００Ａに対して文字認識を行う。

　ステップＳ６０４では、文字認識モジュール１１０が、画像（新）１００Ｂに対して文字認識を行う。

　ステップＳ６０６では、文字列比較モジュール１２０が、新旧の文字認識結果を文字列比較する。

　ステップＳ６０８では、補正モジュール５３０が、文字列比較結果を補正する。

　ステップＳ６１０では、結果出力モジュール１９０が、文字列比較結果を出力する。

　図７は、第２－１の実施の形態による処理例を示す説明図である。

　文字認識モジュール１１０は、対象文字画像（旧）７００Ａと対象文字画像（新）７００Ｂを文字認識処理７１０する。その結果、対象文字画像（旧）７００Ａは「Ｓｏｆｔｗａｒｅ」という文字認識結果（旧）７１２Ａとなり、対象文字画像（新）７００Ｂは「Ｓ０ｆｔｗａｒｅ」という文字認識結果（新）７１２Ｂとなる。

　文字列比較モジュール１２０は、文字認識結果（旧）７１２Ａと文字認識結果（新）７１２Ｂを文字列比較処理７２０する。その結果、文字認識結果（旧）７１２Ａと文字認識結果（新）７１２Ｂの第２文字目の「ｏ」と「０」が差分という文字列比較結果７２２となる。ここで、差分文字については、編集モードを「置換」とする。

　補正モジュール５３０は、文字列比較結果７２２として異なるとされた対象文字画像（旧）７００Ａと対象文字画像（新）７００Ｂの第２文字目の文字画像（文字画像（旧）７３４Ａ、文字画像（新）７３４Ｂ）を比較し、一致するという文字画像比較結果７３２を出力する。

　ここで、編集モードを「置換」から「一致」に修正する。そして、結果出力モジュール１９０は、「対象文字画像（旧）７００Ａと対象文字画像（新）７００Ｂは差分なし」という結果７９２を出力する。各文字認識結果の編集モードは「一致」となる。

　図８は、第２－１の実施の形態による処理例を示す説明図である。

　文字認識モジュール１１０は、対象文字画像（旧）８００Ａと対象文字画像（新）８００Ｂを文字認識処理８１０する。その結果、対象文字画像（旧）８００Ａは「ｓｏｆｔｗａｒｅ」という文字認識結果（旧）８１２Ａとなり、対象文字画像（新）８００Ｂは「ｓｏｆｔｗａｒｅ」という文字認識結果（新）８１２Ｂとなる。

　文字列比較モジュール１２０は、文字認識結果（旧）８１２Ａと文字認識結果（新）８１２Ｂを文字列比較処理８２０する。その結果、差分なしという文字列比較結果８２２となる。ここで、比較対象の文字列（各文字）については、編集モードを「一致」とする。

　補正モジュール５３０は、文字列比較結果８２２として差分なしとされた対象文字画像（旧）８００Ａと対象文字画像（新）８００Ｂの第１文字目の文字画像（文字画像（旧）８３４Ａ、文字画像（新）８３４Ｂ）を比較し、異なるという文字画像比較結果８３２を出力する。

　ここで、編集モードを「一致」から「置換」に修正する。そして、結果出力モジュール１９０は、「対象文字画像（旧）８００Ａと対象文字画像（新）８００Ｂはそれぞれ第１文字目の文字画像が差分」という結果８９２を出力する。文字認識結果である「Ｓ」と「ｓ」の編集モードは「置換」となる。なお、正しい文字コードは不明なままである。具体的には、対象文字画像（旧）８００Ａの第１文字目が「Ｓ」でないのか、対象文字画像（新）８００Ｂの第１文字目が「Ｓ」でないのか、は不明のままである。

＜第２－２の実施の形態＞

　図９は、第２－２の実施の形態の構成例についての概念的なモジュール構成図である。第２－２の実施の形態は、第２－１の実施の形態の補正モジュール５３０内のモジュール構成を詳細にしたものであり、補正モジュール５３０は、文字画像切出モジュール９３２、文字画像比較モジュール９３４、文字列比較結果修正モジュール９３６を有している。

　文字画像切出モジュール９３２は、文字画像比較モジュール９３４と接続されている。文字画像切出モジュール９３２は、画像１００（画像（旧）１００Ａ又は画像（新）１００Ｂのいずれか一方）から文字座標リスト９００を用いて文字画像９３３を切り出す。文字座標リスト９００は、文字認識モジュール１１０が文字認識結果とともに出力する。

　文字画像比較モジュール９３４は、文字画像切出モジュール９３２、文字列比較結果修正モジュール９３６と接続されている。文字画像比較モジュール９３４は、画像（旧）１００Ａと画像（新）１００Ｂ内の対応する文字画像９３３を比較する。比較結果である一致か不一致かのフラグ９３５を文字列比較結果修正モジュール９３６に渡す。対応するとは、文字列比較モジュール１２０によって対応するとされた文字の文字画像の組み合わせ（一致文字の組み合わせ、置換文字の組み合わせ）であってもよいし、画像（旧）１００Ａ内の文字画像と画像（新）１００Ｂ内の文字画像の全ての組み合わせであってもよいし（図１４を用いて詳述する組み合わせ）、その他の組み合わせ（後に詳述する組み合わせ）であってもよい。比較処理については、第２－３の実施の形態と第２－４の実施の形態を用いて詳述する。

　文字列比較結果修正モジュール９３６は、文字画像比較モジュール９３４と接続されている。文字列比較結果修正モジュール９３６は、文字画像比較モジュール９３４で“一致”と判定したら、対応する文字の編集モードを“一致”に書き換える。“不一致”と判定したら、対応する文字の編集モードを“置換”に書き換える。

　図１０は、第２－２の実施の形態（特に補正モジュール５３０内のモジュール）による処理例を示すフローチャートである。

　ステップＳ１００２では、文字画像切出モジュール９３２が、両者の画像１００から文字座標リスト９００を用いて文字画像を切り出す。

　ステップＳ１００４では、文字画像比較モジュール９３４が、切り出した両者の文字画像９３３を比較する。

　ステップＳ１００６では、文字列比較結果修正モジュール９３６が、一致か不一致かのフラグ９３５を用いて、文字列比較モジュール１２０の比較結果５２２を修正する。

　図１１は、第２－２の実施の形態による処理例を示す説明図である。

　文字認識モジュール１１０は、画像（旧）１１００Ａに対して文字認識処理１１１０Ａを行い、文字認識結果１１２０Ａを文字列比較モジュール１２０に渡す。文字認識モジュール１１０は、画像（新）１１００Ｂに対して文字認識処理１１１０Ｂを行い、文字認識結果１１２０Ｂを文字列比較モジュール１２０に渡す。文字認識処理１１１０Ａ、１１１０Ｂの処理は、いずれが先に行ってもよいし、平行して行われてもよい。

　そして、文字列比較モジュール１２０は、文字認識結果１１２０Ａと文字認識結果１１２０Ｂに対して文字列比較処理１１３０を行い、比較結果テーブル１１９０を結果出力モジュール１９０に渡す。

　比較結果テーブル１１９０は、文字列比較結果欄１１９２、文書（旧）欄１１９４Ａ、文書（新）欄１１９４Ｂを有している。文書（旧）欄１１９４Ａは、Ｎｏ．欄１１９６Ａ、文字欄１１９８Ａを有している。文書（新）欄１１９４Ｂは、Ｎｏ．欄１１９６Ｂ、文字欄１１９８Ｂを有している。図４の例に示した比較結果テーブル４９０と同等のものである。ただし、比較結果テーブル１１９０は、文字列比較結果修正モジュール９３６による補正処理の結果である。

　文字列比較結果修正モジュール９３６が行う処理について説明する。文字認識結果に誤りのあった文字「Ｚ」（文書（新）欄１１９４ＢのＮｏ．３の文字）と文字「２」（文書（旧）欄１１９４ＡのＮｏ．４の文字）の組み合わせに対する編集モードの補正について説明する。

　文字画像比較モジュール９３４による文字画像の比較により、文書（旧）１１００Ａの４番目の文字と文書（新）１１００Ｂの３番目の文字が一致していると判定される。さらに、文書（旧）１１００Ａの７番目の文字と文書（新）１１００Ｂの３番目の文字が一致しているとも判定される。

　このとき、文字列比較結果修正モジュール９３６による処理によって、文書（旧）１１００Ａの４番目の文字との一致関係が採用される。なぜなら、文字列比較処理によって、文書（新）１１００Ｂの３番目の文字と文書（旧）１１００Ａの４番目の文字とが対応付いていると仮定すると、その後の２文字も一致しており、文書（新）１１００Ｂの３番目の文字と文書（旧）１１００Ａの７番目の文字とが対応付いていると仮定すると、その後の文字は一致しないことになるためである。つまり、文字画像比較モジュール９３４の比較処理結果によって一致している文字が複数ある場合は、それぞれの文字が一致していると仮定して、その後に続く文字であって一致している文字が多い方を対応付いていると判定する。また、その後に続く文字ではなく、その前にある文字としてもよいし、前後両方の文字を対象としてもよい。

　文書（旧）１１００Ａの４番目の文字と文書（新）１１００Ｂの３番目の文字が一致していると判定されたので、次に、文字列比較結果修正モジュール９３６は、文書（旧）１１００Ａの４番目の文字の文字列比較結果と、文書（新）１１００Ｂの３番目の文字の文字列比較結果欄１１９２の内容を「置換」から「一致」に置き換える。

　このとき、文字列比較結果修正モジュール９３６は、テキストコードも「Ｚ」から「２」へ、又は「２」から「Ｚ」へ置き換えてもよい。ただし、新旧どちらのテキストコードが正しいのであるかについては判定しない。本実施の形態は、文字認識結果を補正するものではない。

　比較結果テーブル１１９０は、文字列比較結果を示す表である。同じ行に並んでいる文字は、文字列比較処理の結果、対応付いたことを意味している。置換文字であっても、前述のように前後の一致文字の対応関係から対応する文字を求めることができる。

　図１２は、第２－２の実施の形態（主に文字認識モジュール１１０、文字画像切出モジュール９３２）による処理例を示す説明図である。

　文字認識モジュール１１０は、文字認識結果とともに、その文字の座標を出力する。文字画像切出モジュール９３２は、その座標に基づいて、文字画像を切り出す。図１２（ａ）の例に示す画像（旧）１２００の文字認識結果と文字の座標は、図１２（ｃ）の例に示す文字認識結果等テーブル１２２０のようになる。文字認識結果等テーブル１２２０は、Ｎｏ．欄１２２２、文字欄１２２４、左Ｘ欄１２２６、上Ｙ欄１２２８、右Ｘ欄１２３０、下Ｙ欄１２３２、確信度欄１２３４を有している。文字欄１２２４は、文字認識結果であるテキストコードを記憶する。左Ｘ欄１２２６、上Ｙ欄１２２８、右Ｘ欄１２３０、下Ｙ欄１２３２は、文字の座標を記憶する。つまり、図１２（ｂ）の例に示す文字矩形１２１０の左上座標１２１２と右下座標１２１４を示している。もちろんのことながら、右上、左下の座標の組み合わせであってもよいし、文字矩形１２１０の４角のいずれかの座標と幅と高さによって文字矩形１２１０の座標を表すようにしてもよい。確信度欄１２３４は、文字認識モジュール１１０による文字認識処理によって、その文字認識結果の確からしさを示す情報を記憶する。例えば、数値が高いほど、そのテキストコードらしいことを示している。確信度欄１２３４が記憶する情報を用いる処理については、後述する。

　文字画像切出モジュール９３２は、この文字認識結果等テーブル１２２０を用いて、画像（旧）１００Ａ、画像（新）１００Ｂから文字画像を切り出す。

　図１３は、第２－２の実施の形態による処理例を示す説明図である。文字画像切出モジュール９３２は、画像（旧）１３００Ａに対して文字認識結果等テーブル１２２０を用いて文字画像切り出し処理１３３２Ａを行い、文字画像群（旧）１３３３Ａを文字画像比較モジュール９３４に渡す。文字画像切出モジュール９３２は、画像（新）１３００Ｂに対して文字認識結果等テーブル１２２０を用いて文字画像切り出し処理１３３２Ｂを行い、文字画像群（新）１３３３Ｂを文字画像比較モジュール９３４に渡す。文字画像比較モジュール９３４は、文字画像群（旧）１３３３Ａと文字画像群（新）１３３３Ｂに対して文字画像比較処理１３３４を行い、一致か不一致かのフラグ１３３５を文字列比較結果修正モジュール９３６に渡す。

　なお、文字画像比較処理１３３４で行う比較対象の組み合わせは、全ての組み合わせであってもよい。図１４（ａ）の例に示すように、文字画像群（旧）１３３３Ａ内の認識文字１４００Ａと文字画像群（新）１３３３Ｂ内の各文字画像（認識文字１４００Ｂ、１４０１Ｂ、１４０２Ｂ、１４０３Ｂ等）の組み合わせに対して処理を行い、次に、図１４（ｂ）の例に示すように、文字画像群（旧）１３３３Ａ内の認識文字１４０１Ａと文字画像群（新）１３３３Ｂ内の各文字画像（認識文字１４００Ｂ、１４０１Ｂ、１４０２Ｂ、１４０３Ｂ等）の組み合わせに対して処理を行う。

＜第２－３の実施の形態＞

　図１５は、第２－３の実施の形態の構成例についての概念的なモジュール構成図である。第２－３の実施の形態は、第２－２の実施の形態の文字画像比較モジュール９３４内のモジュール構成を詳細にしたものであり、文字画像比較モジュール９３４は、相関係数算出モジュール１５１０、相関係数決定モジュール１５２０、一致判定モジュール１５３０を有している。

　相関係数算出モジュール１５１０は、相関係数決定モジュール１５２０と接続されている。相関係数算出モジュール１５１０は、画像（旧）１００Ａ内の文字画像（旧）９３３Ａと画像（新）１００Ｂ内の文字画像（新）９３３Ｂとの相関係数を算出する。例えば、文字画像（旧）９３３Ａに対して文字画像（新）９３３Ｂを少しずつずらしながら相関を計算する。具体的には、図１６の例に示すように、２つの文字画像を少しずつずらしながら重ね合わせて輝度の相関を計算する。より具体的には、２つの文字画像のＥＯＲ（排他的論理和）処理を行い、残った画素値を計数し、その計数値の逆数を相関値とする。

　相関係数決定モジュール１５２０は、相関係数算出モジュール１５１０、一致判定モジュール１５３０と接続されている。相関係数決定モジュール１５２０は、一番相関が高かったところの差分量を、この候補文字の相関係数とする。図１６の例では、（ｅ）が、それに該当する。

　一致判定モジュール１５３０は、相関係数決定モジュール１５２０と接続されている。一致判定モジュール１５３０は、相関係数決定モジュール１５２０から渡された相関係数と予め定められた閾値を比較して、「相関係数が閾値より大きい又は以上」ならば、文字画像（旧）９３３Ａと文字画像（新）９３３Ｂは一致していると判定する。そして、「相関係数が閾値以下又は未満」ならば、異なる文字だと判定する。

　その後、文字列比較結果修正モジュール９３６は、一致判定モジュール１５３０からの一致か不一致かのフラグ９３５を用いて、文字列比較モジュール１２０による比較結果を補正する。

　図１７は、第２－３の実施の形態による処理例を示すフローチャートである。

　ステップＳ１７０２では、相関係数算出モジュール１５１０が、文字画像（旧）９３３Ａと文字画像（新）９３３Ｂの各ずらし量における相関係数を算出する。

　ステップＳ１７０４では、相関係数決定モジュール１５２０が、各ずらし量における相関係数から、この文字画像対の相関係数を決定する。

　ステップＳ１７０６では、一致判定モジュール１５３０が、予め定めた閾値と相関係数を比較して、一致するか否かの判定を行う。

　ステップＳ１７０８では、一致判定モジュール１５３０が、判定結果を出力する。

　図１８は、第２－３の実施の形態による処理例を示す説明図である。

　図１５の例に示したように、文字画像同士の相関係数を算出する（図１８（ａ）、（ｂ））。そして、例えば、閾値を０．８３として、閾値処理１８１０では、相関係数が閾値以上の文字画像があるかどうかを判定する（図１８（ｃ））。閾値以上の文字画像があれば、その文字と一致していると判定する。閾値以上の文字画像がなければ、一致していない文字と判定する。図１８の例では、「文書（旧）の０番目の認識文字１４００Ａ（契）と文書（新）の０番目の認識文字１４００Ｂ（契）が一致していると判定する」という閾値処理結果１８３５を出力する（図１８（ｄ））。

　図１９は、第２－３の実施の形態による処理例を示す説明図である。

　図１５の例に示したように、文字画像同士の相関係数を求める。（図１９（ａ）、（ｂ））。そして、例えば、閾値を０．８３として、閾値処理１８１０では、相関係数が閾値以上の文字画像があるかどうかを判定する（図１９（ｃ））。閾値以上の文字画像があれば、その文字と一致していると判定する。閾値以上の文字画像がなければ、一致していない文字と判定する。図１９の例では、「文書（旧）の３番目の認識文字１４０３Ａ（Ａ）と一致する文字はないと判定する」という閾値処理結果１９３５を出力する（図１９（ｄ））。

＜第２－４の実施の形態＞

　図２０は、第２－４の実施の形態の構成例についての概念的なモジュール構成図である。第２－４の実施の形態は、第２－２の実施の形態の文字画像比較モジュール９３４内のモジュール構成を詳細にしたものであり、文字画像比較モジュール９３４は、特徴量算出モジュール２０１０、特徴量距離算出モジュール２０２０、一致判定モジュール２０３０を有している。

　特徴量算出モジュール２０１０は、特徴量距離算出モジュール２０２０と接続されている。特徴量算出モジュール２０１０は、画像（旧）１００Ａ内の文字画像（旧）９３３Ａと画像（新）１００Ｂ内の文字画像（新）９３３Ｂの特徴量を算出する。例えば、それぞれの文字画像の幅、高さ、黒画素密度、投影ヒストグラム等の特徴量を算出する。図２１の例では、文字画像２１００の特徴量として、高さ２１１０、幅２１２０がある。

　特徴量距離算出モジュール２０２０は、特徴量算出モジュール２０１０、一致判定モジュール２０３０と接続されている。特徴量距離算出モジュール２０２０は、画像（旧）１００Ａ内の文字画像（旧）９３３Ａと画像（新）１００Ｂ内の文字画像（新）９３３Ｂとの間の特徴空間における距離を算出する。

　特徴量距離算出モジュール２０２０は、例えば、文字画像（旧）９３３Ａの特徴量ベクトル＝（ｐ１，ｐ２，…，ｐｎ）、文字画像（新）９３３Ｂの特徴量ベクトル＝（ｑ１，ｑ２，…，ｑｎ）、ただし、ｐｉ，ｑｉは各特徴量（０＜ｉ≦ｎ）、ｎ個の特徴量である。そして、特徴量の距離Ｄを次のように算出する。

　特徴量の距離Ｄ＝｜ｐ１－ｑ１｜２＋｜ｐ２－ｑ２｜２＋…＋｜ｐｎ－ｑｎ｜２

　一致判定モジュール２０３０は、特徴量距離算出モジュール２０２０と接続されている。一致判定モジュール２０３０は、特徴量距離算出モジュール２０２０から渡された特徴量の距離と予め定められた閾値を比較して、「特徴量の距離が閾値より小さい」ならば、文字画像（旧）９３３Ａと文字画像（新）９３３Ｂは一致していると判定する。そして、「特徴量の距離が閾値以上又はより大きい」ならば、異なる文字だと判定する。

　その後、文字列比較結果修正モジュール９３６は、一致判定モジュール２０３０からの一致か不一致かのフラグ９３５を用いて、文字列比較モジュール１２０による判定結果を補正する。

　図２２は、第２－４の実施の形態による処理例を示すフローチャートである。

　ステップＳ２２０２では、特徴量算出モジュール２０１０が、文字画像（旧）９３３Ａと文字画像（新）９３３Ｂのそれぞれの特徴量を算出する。

　ステップＳ２２０４では、特徴量距離算出モジュール２０２０が、文字画像（旧）９３３Ａと文字画像（新）９３３Ｂの特徴量距離を算出する。

　ステップＳ２２０６では、一致判定モジュール２０３０が、予め定めた閾値と特徴量距離を比較して、一致するか否かの判定を行う。

　ステップＳ２２０８では、一致判定モジュール２０３０が、判定結果を出力する。

　図２３は、第２－４の実施の形態による処理例を示す説明図である。

　図２０の例に示したように、文字画像同士の特徴間の距離を算出する（図２３（ａ）、（ｂ））。各文字画像特徴量を算出する。例えば、認識文字１４００Ａの特徴量ベクトルを、（ｐ０１，ｐ０２，…，ｐ０ｎ）とする。認識文字１４００Ｂ等の特徴量ベクトルを、（ｑ０１，ｑ０２，…，ｑ０ｎ）とする。文字画像同士の特徴量の距離Ｄを前述の式で算出する。そして、例えば、閾値を０．１５として、閾値処理２３１０では、距離Ｄが閾値以下の文字画像があるかどうかを判定する（図２３（ｃ））。閾値以下の文字画像があれば、その文字と一致していると判定する。閾値以下の文字画像がなければ、一致していない文字と判定する。図２３の例では、「文書（旧）の０番目の認識文字１４００Ａ（契）と文書（新）の０番目の認識文字１４００Ｂ（契）が一致していると判定する」という閾値処理結果２３３５を出力する（図２３（ｄ））。

　図２４は、第２－４の実施の形態による処理例を示す説明図である。

　図２０の例に示したように、文字画像同士の特徴間の距離を算出する（図２４（ａ）、（ｂ））。各文字画像特徴量を算出する。例えば、認識文字１４０３Ａの特徴量ベクトルを、（ｐ３１，ｐ３２，…，ｐ３ｎ）とする。認識文字１４００Ｂ等の特徴量ベクトルを、（ｑ０１，ｑ０２，…，ｑ０ｎ）とする。文字画像同士の特徴量の距離Ｄを前述の式で算出する。そして、例えば、閾値を０．１５として、閾値処理２４１０では、距離Ｄが閾値以下の文字画像があるかどうかを判定する（図２４（ｃ））。閾値以下の文字画像があれば、その文字と一致していると判定する。閾値以下の文字画像がなければ、一致していない文字と判定する。図２４の例では、「文書（旧）の３番目の認識文字１４０３Ａ（Ａ）と一致する文字はないと判定する」という閾値処理結果２４３５を出力する（図２４（ｄ））。

＜第２－５の実施の形態＞

　図２５は、第２－５の実施の形態の構成例についての概念的なモジュール構成図である。第２－５の実施の形態は、補正候補文字選別モジュール２５２０が、文字認識結果の確信度を用いて、補正処理の対象となる文字画像を選択するものである。なお、補正処理モジュール２５３０は、前述の実施の形態（第２－１の実施の形態から第２－４の実施の形態）における補正モジュール５３０に相当する。つまり、図５の例を用いて説明すれば、文字列比較モジュール１２０と補正モジュール５３０の間に補正候補文字選別モジュール２５２０があり、補正モジュール５３０の代わりに補正処理モジュール２５３０がある。

　図２５の例では、補正候補文字選別モジュール２５２０、補正処理モジュール２５３０を有している。補正処理モジュール２５３０は、補正候補文字画像切出モジュール２５３２、文字画像比較モジュール９３４、文字列比較結果修正モジュール９３６を有している。

　補正候補文字選別モジュール２５２０は、補正候補文字画像切出モジュール２５３２と接続されている。補正候補文字選別モジュール２５２０は、文字認識モジュール１１０による認識結果に対する確信度と予め定められた値とを比較して、確信度が低い場合は第１の文字認識結果と第２の文字認識結果が一致する場合も補正対象とする。そして、補正候補となった文字の文字座標リスト２５２２を補正処理モジュール２５３０内の補正候補文字画像切出モジュール２５３２に渡す。具体的には、補正候補文字選別モジュール２５２０は、各文字の確信度２５００（図１２（ｃ）の例で示した文字認識結果等テーブル１２２０の確信度欄１２３４）と文字座標リスト９００を文字認識モジュール１１０から受け取り、各文字の確信度２５００が予め定められた値以下又はより低い場合は、文字列比較モジュール１２０による処理結果として、第１の文字認識結果と第２の文字認識結果が一致する場合も補正対象とするように文字座標リスト２５２２を生成する。

　さらに、各文字の確信度２５００が予め定められた値以下又はより低い場合は、削除された文字、挿入された文字を補正対象として選択を行うようにしてもよい。したがって、補正対象は、文字認識結果の全ての文字となるように文字座標リスト２５２２を生成してもよい。

　また、補正候補文字選別モジュール２５２０は、文字認識モジュール１１０による認識結果に対する確信度と予め定められた値とを比較して、確信度が高い場合は第１の文字認識結果と第２の文字認識結果が一致する場合は補正対象としないようにしてもよい。具体的には、補正候補文字選別モジュール２５２０は、各文字の確信度２５００が予め定められた値より高い場合又は以上である場合であって、第１の文字認識結果と第２の文字認識結果が一致するときは、文字座標リスト２５２２に入れない。

　さらに、各文字の確信度２５００が予め定められた値より高い場合又は以上である場合の補正対象は、削除された文字、挿入された文字、置換された文字となり、一致した文字は対象としないように文字座標リスト２５２２を生成するようにしてもよい。

　補正候補文字画像切出モジュール２５３２は、補正候補文字選別モジュール２５２０、文字画像比較モジュール９３４と接続されている。補正候補文字画像切出モジュール２５３２は、前述の実施の形態における文字画像切出モジュール９３２に該当するが、対象とする文字画像は、補正候補文字選別モジュール２５２０によって選別されたものとなる。具体的には、補正候補文字選別モジュール２５２０から渡された文字の文字座標リスト２５２２を用いて画像１００から文字画像を切り出す。そして、候補文字の文字画像２５３３を文字画像比較モジュール９３４に渡す。

　文字画像比較モジュール９３４は、補正候補文字画像切出モジュール２５３２、文字列比較結果修正モジュール９３６と接続されている。

　文字列比較結果修正モジュール９３６は、文字画像比較モジュール９３４と接続されている。

　図２６は、第２－５の実施の形態による処理例を示すフローチャートである。

　ステップＳ２６０２では、補正候補文字選別モジュール２５２０が、各文字の確信度２５００と文字座標リスト９００から補正候補となる文字画像を選択する。

　ステップＳ２６０４では、補正候補文字画像切出モジュール２５３２が、画像１００から候補文字の文字座標リスト２５２２を用いて文字画像を切り出す。

　ステップＳ２６０６では、文字画像比較モジュール９３４が、切り出した文字画像９３３を比較する。

　ステップＳ２６０８では、文字列比較結果修正モジュール９３６が、一致か不一致かのフラグ９３５を用いて、文字列比較モジュール１２０の比較結果５２２を修正する。

＜第２－６の実施の形態＞

　図２７は、第２－６の実施の形態の構成例についての概念的なモジュール構成図である。第２－６の実施の形態は、補正候補文字選別モジュール２７２０が、各文字の編集モードを用いて、補正処理の対象となる文字画像を選択するものである。図５の例を用いて説明すれば、文字列比較モジュール１２０と補正モジュール５３０の間に補正候補文字選別モジュール２７２０があり、補正モジュール５３０の代わりに補正処理モジュール２５３０がある。

　図２７の例では、補正候補文字選別モジュール２７２０、補正処理モジュール２５３０を有している。補正処理モジュール２５３０は、補正候補文字画像切出モジュール２５３２、文字画像比較モジュール９３４、文字列比較結果修正モジュール９３６を有している。

　補正候補文字選別モジュール２７２０は、補正候補文字画像切出モジュール２５３２と接続されている。補正候補文字選別モジュール２７２０は、一致する文字の文字画像の組に対しては比較処理（文字画像比較モジュール９３４による処理）を行わないように選択する。そして、選別された文字の文字座標リスト２７２２を補正処理モジュール２５３０内の補正候補文字画像切出モジュール２５３２に渡す。具体的には、補正候補文字選別モジュール２７２０は、各文字の編集モード２７００（図１１の例で示した比較結果テーブル１１９０の文字列比較結果欄１１９２）を文字列比較モジュール１２０から受け取り、文字座標リスト９００を文字認識モジュール１１０から受け取り、編集モードが「一致」である文字を文字座標リスト９００から除外した文字の文字座標リスト２７２２を生成する。したがって、編集モードが「削除」、「挿入」、「置換」である文字を文字座標リスト９００から選択した文字の文字座標リスト２７２２を生成する。

　また、補正候補文字選別モジュール２７２０は、置換された文字の文字画像の組のみに対して比較処理を行うようにしてもよい。具体的には、補正候補文字選別モジュール２７２０は、各文字の編集モード２７００を文字列比較モジュール１２０から受け取り、文字座標リスト９００を文字認識モジュール１１０から受け取り、文字座標リスト９００から編集モードが「置換」である文字のみを選択した文字座標リスト２７２２を生成する。

　補正候補文字画像切出モジュール２５３２は、補正候補文字選別モジュール２７２０、文字画像比較モジュール９３４と接続されている。

　文字画像比較モジュール９３４は、補正候補文字画像切出モジュール２５３２、文字列比較結果修正モジュール９３６と接続されている。

　文字列比較結果修正モジュール９３６は、文字画像比較モジュール９３４と接続されている。

　図２８は、第２－６の実施の形態による処理例を示すフローチャートである。

　ステップＳ２８０２では、補正候補文字選別モジュール２７２０が、各文字の編集モード２７００と文字座標リスト９００から補正候補となる文字画像を選択する。

　ステップＳ２８０４では、補正候補文字画像切出モジュール２５３２が、画像１００から候補文字の文字座標リスト２７２２を用いて文字画像を切り出す。

　ステップＳ２８０６では、文字画像比較モジュール９３４が、切り出した文字画像９３３を比較する。

　ステップＳ２８０８では、文字列比較結果修正モジュール９３６が、一致か不一致かのフラグ９３５を用いて、文字列比較モジュール１２０の比較結果５２２を修正する。

　なお、前述の各種の実施の形態を組み合わせてもよく（例えば、ある実施の形態内のモジュールを他の実施の形態内に追加する、入れ替えをする等も含む）、また、各モジュールの処理内容として背景技術で説明した技術を採用してもよい。

　例えば、第２－５の実施の形態と第２－６の実施の形態を組み合わせた場合、以下のようにしてもよい。

（１）確信度と予め定められた閾値とを比較して確信度が低く、かつ、編集モードが「置換」である場合を、少なくとも含むように比較対象として選択する。その他の場合は、以下のいずれか１つ又はその組み合わせを採用する。

（２）確信度と予め定められた閾値とを比較して確信度が高く、かつ、編集モードが「一致」である場合は、比較対象として選択しないようにしてもよい。

（３）精度向上を図るために、確信度が低く、かつ、編集モードが「一致」、「削除」、「挿入」である場合は、比較対象として選択するようにしてもよい。

（４）精度を落とさずに、高速化を図る場合は、確信度が高く、かつ、編集モードが「削除」、「挿入」、「置換」である場合は、比較対象として選択しないようにしてもよい。

　前述の実施の形態は、以下のような発明として把握してもよい。

　第１の画像を文字認識し、該第１の画像と関連する第２の画像を文字認識する文字認識手段と、

　前記第１の画像に対する前記文字認識手段による第１の文字認識結果と前記第２の画像に対する前記文字認識手段による第２の文字認識結果を比較し、２つの文字認識結果間で一致する文字を抽出し、該一致する文字の間にある該第１の文字認識結果又は該第２の文字認識結果である文字を、該第１の画像から削除された文字、該第１の画像には無いが該第２の画像にはある挿入された文字、該第１の画像内の文字を置換した文字のいずれであるかを判定する判定手段と、

　前記判定手段による判定結果を出力する出力手段

　を具備することを特徴とする画像処理装置。

　この画像処理装置によれば、複数の画像を比較する場合にあって、その画像の文字認識結果を、一致する文字、削除された文字、挿入された文字、置換した文字に分けることができる。

　図２９を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図２９に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるものであり、スキャナ等のデータ読み取り部２９１７と、プリンタなどのデータ出力部２９１８を備えたハードウェア構成例を示している。

　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２９０１は、前述の実施の形態において説明した各種のモジュール、すなわち、文字認識モジュール１１０、文字列比較モジュール１２０、結果出力モジュール１９０、補正モジュール５３０、文字画像切出モジュール９３２、文字画像比較モジュール９３４、文字列比較結果修正モジュール９３６、相関係数算出モジュール１５１０、相関係数決定モジュール１５２０、一致判定モジュール１５３０、特徴量算出モジュール２０１０、特徴量距離算出モジュール２０２０、一致判定モジュール２０３０、補正候補文字選別モジュール２５２０、補正処理モジュール２５３０、補正候補文字画像切出モジュール２５３２、補正候補文字選別モジュール２７２０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。

　ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２９０２は、ＣＰＵ２９０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２９０３は、ＣＰＵ２９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス２９０４により相互に接続されている。

　ホストバス２９０４は、ブリッジ２９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２９０６に接続されている。

　キーボード２９０８、マウス等のポインティングデバイス２９０９は、操作者により操作される入力デバイスである。ディスプレイ２９１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）などがあり、各種情報をテキストやイメージ情報として表示する。

　ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）２９１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ２９０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、比較対象とする画像、文字画像、文字認識結果、補正結果などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

　ドライブ２９１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体２９１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース２９０７、外部バス２９０６、ブリッジ２９０５、及びホストバス２９０４を介して接続されているＲＡＭ２９０３に供給する。リムーバブル記録媒体２９１３も、ハードディスクと同様のデータ記録領域として利用可能である。

　接続ポート２９１４は、外部接続機器２９１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート２９１４は、インタフェース２９０７、及び外部バス２９０６、ブリッジ２９０５、ホストバス２９０４等を介してＣＰＵ２９０１等に接続されている。通信部２９１６は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部２９１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部２９１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

　なお、図２９に示す画像処理装置のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図２９に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図２９に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

　なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。

　「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。

　なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ－Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ－ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ－ＲＯＭ）、ＣＤレコーダブル（ＣＤ－Ｒ）、ＣＤリライタブル（ＣＤ－ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ（登録商標））、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。

　そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。

　さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。

　１１０…文字認識モジュール

　１２０…文字列比較モジュール

　１９０…結果出力モジュール

　５３０…補正モジュール

　９３２…文字画像切出モジュール

　９３４…文字画像比較モジュール

　９３６…文字列比較結果修正モジュール

　１５１０…相関係数算出モジュール

　１５２０…相関係数決定モジュール

　１５３０…一致判定モジュール

　２０１０…特徴量算出モジュール

　２０２０…特徴量距離算出モジュール

　２０３０…一致判定モジュール

　２５２０…補正候補文字選別モジュール

　２５３０…補正処理モジュール

　２５３２…補正候補文字画像切出モジュール

　２７２０…補正候補文字選別モジュール

Claims (10)


  1. 　第１の画像を文字認識し、該第１の画像と関連する第２の画像を文字認識する文字認識手段と、

    　前記第１の画像に対する前記文字認識手段による第１の文字認識結果と前記第２の画像に対する前記文字認識手段による第２の文字認識結果を比較する比較手段と、

    　前記比較手段による比較結果を出力する出力手段

    　を具備することを特徴とする画像処理装置。

  2. 　前記第１の画像と前記第２の画像内の対応する文字画像を比較することによって、前記比較手段による比較結果を補正する補正手段

    　をさらに具備し、

    　前記出力手段は、前記補正手段によって補正された結果を出力する

    　ことを特徴とする請求項１に記載の画像処理装置。

  3. 　前記補正手段は、前記第１の画像内の文字画像と前記第２の画像内の文字画像との相関係数を算出し、該相関係数に基づいて前記比較手段による比較結果を補正する

    　ことを特徴とする請求項２に記載の画像処理装置。

  4. 　前記補正手段は、前記第１の画像内の文字画像と前記第２の画像内の文字画像との間の特徴空間における距離を算出し、該距離に基づいて前記比較手段による比較結果を補正する

    　ことを特徴とする請求項２に記載の画像処理装置。

  5. 　前記補正手段は、前記文字認識手段による認識結果に対する確信度と予め定められた値とを比較して、確信度が低い場合は第１の文字認識結果と第２の文字認識結果が一致する場合も補正対象として補正を行う

    　ことを特徴とする請求項２から４のいずれか一項に記載の画像処理装置。

  6. 　前記補正手段は、前記文字認識手段による認識結果に対する確信度と予め定められた値とを比較して、確信度が高い場合は第１の文字認識結果と第２の文字認識結果が一致する場合は補正対象としない

    　ことを特徴とする請求項２から５のいずれか一項に記載の画像処理装置。

  7. 　前記補正手段は、前記一致する文字の文字画像に対しては比較処理を行わない

    　ことを特徴とする請求項２から４のいずれか一項に記載の画像処理装置。

  8. 　前記補正手段は、前記置換された文字の文字画像のみに対して比較処理を行う

    　ことを特徴とする請求項２から４のいずれか一項に記載の画像処理装置。

  9. 　コンピュータを、

    　第１の画像を文字認識し、該第１の画像と関連する第２の画像を文字認識する文字認識手段と、

    　前記第１の画像に対する前記文字認識手段による第１の文字認識結果と前記第２の画像に対する前記文字認識手段による第２の文字認識結果を比較する比較手段と、

    　前記比較手段による比較結果を出力する出力手段

    　として機能させるための画像処理プログラム。

  10. 　コンピュータを、

    　第１の画像を文字認識し、該第１の画像と関連する第２の画像を文字認識する文字認識手段と、

    　前記第１の画像に対する前記文字認識手段による第１の文字認識結果と前記第２の画像に対する前記文字認識手段による第２の文字認識結果を比較し、２つの文字認識結果間で一致する文字を抽出し、該一致する文字の間にある該第１の文字認識結果又は該第２の文字認識結果である文字を、該第１の画像から削除された文字、該第１の画像には無いが該第２の画像にはある挿入された文字、該第１の画像内の文字を置換した文字のいずれであるかを判定する判定手段と、

    　前記判定手段による判定結果を出力する出力手段

    　として機能させるための画像処理プログラム。
PCT/JP2013/067071 2012-10-15 2013-06-21 画像処理装置及び画像処理プログラム WO2014061309A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/683,237 US20150213332A1 (en) 2012-10-15 2015-04-10 Image processing apparatus, non-transitory computer readable medium, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-227964 2012-10-15
JP2012227964A JP5962419B2 (ja) 2012-10-15 2012-10-15 画像処理装置及び画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/683,237 Continuation US20150213332A1 (en) 2012-10-15 2015-04-10 Image processing apparatus, non-transitory computer readable medium, and image processing method

Publications (1)

Publication Number Publication Date
WO2014061309A1 true WO2014061309A1 (ja) 2014-04-24

Family

ID=50487887

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/067071 WO2014061309A1 (ja) 2012-10-15 2013-06-21 画像処理装置及び画像処理プログラム

Country Status (3)

Country Link
US (1) US20150213332A1 (ja)
JP (1) JP5962419B2 (ja)
WO (1) WO2014061309A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016005485A1 (en) * 2014-07-10 2016-01-14 Sanofi-Aventis Deutschland Gmbh Apparatus for capturing and processing images

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5920293B2 (ja) * 2013-08-23 2016-05-18 富士ゼロックス株式会社 画像処理装置及びプログラム
JP2018195248A (ja) * 2017-05-22 2018-12-06 パナソニックＩｐマネジメント株式会社 翻訳表示装置、コンピュータ端末及び翻訳表示方法
JP7206729B2 (ja) * 2018-09-18 2023-01-18 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7172351B2 (ja) * 2018-09-21 2022-11-16 富士フイルムビジネスイノベーション株式会社 文字列認識装置及び文字列認識プログラム
CN111340029A (zh) * 2018-12-19 2020-06-26 富士通株式会社 用于识别收件人地址中的至少部分地址的装置和方法
JP2020187777A (ja) * 2020-07-14 2020-11-19 パナソニックＩｐマネジメント株式会社 翻訳表示装置、コンピュータ端末、翻訳表示方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06164791A (ja) * 1992-11-17 1994-06-10 Ricoh Co Ltd 画像比較装置
JP2001134617A (ja) * 1999-08-25 2001-05-18 Matsushita Electric Ind Co Ltd 文書検索装置および記録媒体
JP2010231440A (ja) * 2009-03-26 2010-10-14 Fuji Xerox Co Ltd 情報処理装置およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5748807A (en) * 1992-10-09 1998-05-05 Panasonic Technologies, Inc. Method and means for enhancing optical character recognition of printed documents
US8175394B2 (en) * 2006-09-08 2012-05-08 Google Inc. Shape clustering in post optical character recognition processing
US8073256B2 (en) * 2007-11-15 2011-12-06 Canon Kabushiki Kaisha Image processing apparatus and method therefor
US9275368B1 (en) * 2012-09-25 2016-03-01 Amazon Technologies, Inc. Annotation mapping

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06164791A (ja) * 1992-11-17 1994-06-10 Ricoh Co Ltd 画像比較装置
JP2001134617A (ja) * 1999-08-25 2001-05-18 Matsushita Electric Ind Co Ltd 文書検索装置および記録媒体
JP2010231440A (ja) * 2009-03-26 2010-10-14 Fuji Xerox Co Ltd 情報処理装置およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016005485A1 (en) * 2014-07-10 2016-01-14 Sanofi-Aventis Deutschland Gmbh Apparatus for capturing and processing images
US10518034B2 (en) 2014-07-10 2019-12-31 Sanofi-Aventis Deutschland Gmbh Apparatus for capturing and processing images

Also Published As

Publication number Publication date
JP5962419B2 (ja) 2016-08-03
JP2014081714A (ja) 2014-05-08
US20150213332A1 (en) 2015-07-30

Similar Documents

Publication Publication Date Title
WO2014061309A1 (ja) 画像処理装置及び画像処理プログラム
US8059896B2 (en) Character recognition processing system and computer readable medium storing program for character recognition processing
JP5663866B2 (ja) 情報処理装置及び情報処理プログラム
US7925082B2 (en) Information processing apparatus, information processing method, computer readable medium, and computer data signal
US11321558B2 (en) Information processing apparatus and non-transitory computer readable medium
CN103425974A (zh) 图像处理装置和图像处理方法
US11880435B2 (en) Determination of intermediate representations of discovered document structures
US9400927B2 (en) Information processing apparatus and non-transitory computer readable medium
US20210295033A1 (en) Information processing apparatus and non-transitory computer readable medium
JP2011028370A (ja) 画像処理装置及び画像処理プログラム
CN104573132A (zh) 歌曲查找方法及装置
US8805076B2 (en) Image processing apparatus, image processing method and computer readable medium
US9009026B2 (en) Information processing apparatus, non-transitory computer readable medium storing information processing program, and information processing method
JP4780184B2 (ja) 画像処理装置及び画像処理プログラム
JP5440043B2 (ja) 画像処理装置及び画像処理プログラム
JP5481965B2 (ja) 情報処理装置及び情報処理プログラム
US20150043832A1 (en) Information processing apparatus, information processing method, and computer readable medium
JP5510221B2 (ja) 情報処理装置及び情報処理プログラム
JP6007720B2 (ja) 情報処理装置及び情報処理プログラム
JP6421568B2 (ja) 情報処理装置及び情報処理プログラム
JP6201779B2 (ja) 情報処理装置及び情報処理プログラム
US20140169676A1 (en) Information processing apparatus, information processing method, and computer-readable medium
JP4793429B2 (ja) 画像処理装置及び画像処理プログラム
JP5928714B2 (ja) 情報処理装置及び情報処理プログラム
JP6003375B2 (ja) 画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13846278

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13846278

Country of ref document: EP

Kind code of ref document: A1