WO2014061309A1 - 画像処理装置及び画像処理プログラム - Google Patents

画像処理装置及び画像処理プログラム Download PDF

Info

Publication number
WO2014061309A1
WO2014061309A1 PCT/JP2013/067071 JP2013067071W WO2014061309A1 WO 2014061309 A1 WO2014061309 A1 WO 2014061309A1 JP 2013067071 W JP2013067071 W JP 2013067071W WO 2014061309 A1 WO2014061309 A1 WO 2014061309A1
Authority
WO
WIPO (PCT)
Prior art keywords
character
image
module
character recognition
result
Prior art date
Application number
PCT/JP2013/067071
Other languages
English (en)
French (fr)
Inventor
藤原久美
Original Assignee
富士ゼロックス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士ゼロックス株式会社 filed Critical 富士ゼロックス株式会社
Publication of WO2014061309A1 publication Critical patent/WO2014061309A1/ja
Priority to US14/683,237 priority Critical patent/US20150213332A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/248Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/28Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
    • G06V30/287Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters

Definitions

  • the present invention relates to an image processing apparatus and an image processing program.
  • Patent Document 1 It is an object of Patent Document 1 to provide an image search method suitable for various types of images, and the photo image search unit divides an input document image into blocks, and an edge amount etc. for each block.
  • the similarity score (first score) for the input document image of each registered image is calculated by obtaining the image feature and comparing the distribution of the image feature with the distribution of the image feature of each registered image;
  • the text search unit calculates the similarity score (second score) of each registered image to the input document image based on the text similarity as a result of character recognition of the image, and the candidate extraction unit determines the number of each registered image (1) integrate the first score and the second score, extract as a candidate a registered image having a higher integrated score obtained, and the document image search unit compares the candidates with the input document image with the projected waveforms In the final It is disclosed to compute the Do similarity.
  • the extraction unit cuts out the character image from the document image received by the document image input reception unit, the feature extraction unit extracts the feature from the character image, and the candidate character selection unit is extracted as the reference feature of the classification dictionary
  • the degree of similarity with the feature amount is calculated and candidate characters are selected, and the candidate character determination unit determines which character is appropriate when the selected candidate characters are described in the similarity candidate character identification dictionary, and the individual characters
  • the verification unit sets the candidate character as “valid” or “rejected” according to the rule indicated in the positive condition or negative condition of the individual verification dictionary, and the recognition verification unit detects a sentence when there are a plurality of identical candidate characters in the same character line. Using the similarity between images, it is disclosed that performs change processing of the candidate characters.
  • Patent Document 3 aims at accurately extracting a word as a recognition result even if the number of characters of the result of recognition of the character due to extraction error is different from the number of words of the word to be output as a result.
  • the number of characters actually written is larger than the number of characters constituting a word due to the faintness of characters
  • two or more figures present at the positions of characters that are not corresponded to candidate characters Are extracted as a single figure, and character recognition is performed on the extracted figure using a recognition dictionary in the character re-recognition stage, and candidate characters of the recognition result obtained in the character re-recognition stage are It is disclosed that it is determined whether or not there is a character that is unmatched in the word matching stage, and that candidate characters including that character are output as a recognition result.
  • An object of the present invention is to provide an image processing apparatus and an image processing program capable of performing the same comparison as when comparing files having character codes in the case of comparing images having no character codes.
  • the subject matter of the present invention for achieving such an object resides in the inventions of the following items.
  • the first aspect of the present invention is a character recognition unit for character recognition of a first image and character recognition for a second image associated with the first image, and a first character recognition unit for the first image.
  • Image processing comprising: comparison means for comparing the second character recognition result of the character recognition result with the second image, and output means for outputting the determination result of the comparison means It is an apparatus.
  • the invention according to claim 2 further comprises correction means for correcting the comparison result by the comparison means by comparing the first image and the corresponding character image in the second image, and the output means comprises The image processing apparatus according to claim 1, wherein the result corrected by the correction means is output.
  • the correction means calculates a correlation coefficient between the character image in the first image and the character image in the second image, and the comparison means is based on the correlation coefficient. 3.
  • the correction means may calculate the distance in the feature space between the character image in the first image and the character image in the second image, and the comparison may be performed based on the distance.
  • the image processing apparatus according to claim 2, wherein the comparison result by the means is corrected.
  • the correction means may compare the certainty factor to the recognition result by the character recognition means with a predetermined value, and when the certainty factor is low, the first character recognition result and the second character recognition means may be used.
  • the image processing apparatus according to any one of claims 2 to 4, wherein the correction is performed as a correction target even when the character recognition results match.
  • the correction means may compare the certainty factor to the recognition result by the character recognition means with a predetermined value, and when the certainty factor is high, the first character recognition result and the second character recognition means may be used.
  • the image processing apparatus according to any one of claims 2 to 5, wherein correction is not performed when the character recognition results match.
  • the invention according to claim 9 is a character recognition means for character recognition of a first image by a computer and character recognition means for character recognition of a second image associated with the first image, and the character recognition means for the first image.
  • the invention according to claim 10 is a character recognition means for character recognition of a first image by a computer and character recognition means for character recognition of a second image associated with the first image, and the character recognition means for the first image Comparing the first character recognition result by the second character recognition result with the second character recognition result with respect to the second image, extracting a character that matches between the two character recognition results, and between the matching characters A character deleted from the first image, a character that is the first character recognition result or the second character recognition result, an insertion that is not in the first image but is in the second image
  • the same comparison can be performed as when files having character codes are compared.
  • the comparison result of the characters can be corrected based on the comparison result of the character images.
  • the comparison result of the characters can be corrected based on the correlation coefficient between the character images.
  • the comparison result of the characters can be corrected based on the distance in the feature space of the character image.
  • the accuracy of the comparison result of the characters can be improved as compared with the case where the present configuration is not provided.
  • the speed can be improved as compared with the case where the present configuration is not provided.
  • the speed can be improved as compared with the case where the present configuration is not provided.
  • the speed can be improved as compared with the case where the present configuration is not provided.
  • the same comparison can be performed as when files having the character code are compared.
  • the character recognition result of the image can be divided into a matching character, a deleted character and a substituted character.
  • FIG. 1 shows a conceptual module block diagram of a configuration example of the first embodiment.
  • a module generally refers to components such as software (computer program) and hardware that can be logically separated. Therefore, the modules in the present embodiment refer not only to modules in the computer program but also to modules in the hardware configuration.
  • a computer program for functioning as those modules (a program for causing a computer to execute each procedure, a program for causing a computer to function as each means, a function for each computer) Also serves as a description of a program, system and method for realizing
  • “store”, “store”, and equivalent terms are used, but in the case where the embodiment is a computer program, these terms are stored in a storage device or stored. Control is intended to be stored in the device.
  • modules may correspond to functions one to one, but in mounting, one module may be configured by one program, or a plurality of modules may be configured by one program, and conversely one module May be composed of a plurality of programs.
  • modules may be executed by one computer, or one module may be executed by multiple computers in a distributed or parallel environment. Note that one module may include another module.
  • connection is used not only for physical connection but also for logical connection (transfer of data, instruction, reference relationship between data, etc.).
  • the "predetermined” means that it is determined before the target processing, and of course after the processing according to the present embodiment has started, before the processing according to the present embodiment starts. Even before the target processing, it is used in accordance with the current situation / condition or including the meaning of being determined according to the current situation / status. When there are a plurality of "predetermined values", they may be different values, or two or more values (of course, all the values are also included) may be the same.
  • a system or apparatus is configured by connecting a plurality of computers, hardware, apparatuses and the like by communication means such as a network (including a one-to-one communication connection), and one computer, hardware, and apparatus The case of being realized by etc. is also included.
  • communication means such as a network (including a one-to-one communication connection), and one computer, hardware, and apparatus The case of being realized by etc. is also included.
  • device and “system” are used interchangeably.
  • the “system” does not include what is merely a social “system” (social system) that is an artificial arrangement.
  • the target information is read from the storage device for each processing by each module or when performing multiple processing in the module, and the processing result is written to the storage device after the processing is performed. is there. Therefore, the description may be omitted for reading from the storage device before processing and writing to the storage device after processing.
  • the storage device may include a hard disk, a random access memory (RAM), an external storage medium, a storage device via a communication line, a register in a central processing unit (CPU), and the like.
  • the image processing apparatus compares a plurality of images, and as shown in the example of FIG. 1, has a character recognition module 110, a character string comparison module 120, and a result output module 190. doing.
  • the character recognition module 110 is connected to the string comparison module 120.
  • the character recognition module 110 character-recognizes the image (old) 100A, and character-recognized the image (new) 100B associated with the image (old) 100A.
  • a document image before correction corresponds to the image (old) 100A.
  • the image (new) 100B the document image after the correction corresponds.
  • the relationship between the image (old) 100A and the image (new) 100B may be a comparison target, and the relationship before and after the correction is not necessarily required.
  • an image to be received for example, reading an image by a scanner, a camera or the like, receiving an image from an external device through a communication line by a fax or the like, a hard disk (via a network other than those incorporated in a computer) Reading out the image stored in the connected etc. etc. is included.
  • the image may be a binary image or a multivalued image (including a color image).
  • the image to be received (the image to be compared) may be a plurality of two or more. Each image to be compared may be a plurality of pages.
  • the contents of the image include characters to be subjected to character recognition, they may be documents used for business, brochures for advertising, and the like.
  • the string comparison module 120 is connected to the character recognition module 110 and the result output module 190.
  • the character string comparison module 120 compares the first character recognition result by the character recognition module 110 for the image (old) 100A with the second character recognition result by the character recognition module 110 for the image (new) 100B. Then, by the comparison processing, characters that match between the two character recognition results are extracted, and the character recognition results are classified into “matching characters” and “characters that are not matching characters”. Then, "characters that are not matching characters” are classified into deleted characters, inserted characters, and substituted characters.
  • the character that is the first character recognition result or the second character recognition result is the character deleted from the image (old) 100A, the character inserted in 100B, the character in the image (old) 100A ) In 100 B, it is determined which of the characters replaced with another character.
  • the string comparison module 120 performs the comparison by the text code.
  • Corresponding characters also referred to as matched characters
  • the characters between the matching characters are either deleted characters (also referred to as deleted characters), inserted characters (also referred to as inserted characters), or substituted characters (also referred to as substituted characters). Then, for the replacement character, the correspondence is determined in character units.
  • the case where it is judged as the matching character is called “match”
  • the case where it is judged as the deletion character is called “deletion”
  • the case where it is judged as the insertion character is called “insert”
  • the case where it is judged as the replacement character is called “replacement” .
  • the matching character the case where it is judged as the deletion character
  • the insertion character the case where it is judged as the insertion character
  • replacement character is not necessary to limit to the matching character, the deletion character, the insertion character, and the replacement character.
  • the replacement character is a combination of the deletion character and the insertion character, only the matching character, the deletion character, and the insertion character may be used.
  • the result output module 190 is connected to the string comparison module 120.
  • the result output module 190 outputs the comparison result by the string comparison module 120.
  • the comparison result may be output as an image or as text.
  • the non-matching characters may be highlighted (eg, changed in color, etc.) so as to stand out in comparison to the matching characters, or only the non-matching characters may be output.
  • a character image different in color may be superimposed and displayed on the image (old) 100A so that each of the matching character, the deleted character, and the replacement character can be recognized.
  • a character image different in color may be superimposed and displayed on the image (new) 100B so that each of the matching character, the insertion character, and the replacement character can be recognized.
  • FIG. 2 is a flowchart showing an example of processing according to the first embodiment.
  • the character recognition module 110 performs character recognition on the image (old) 100A.
  • the character recognition module 110 performs character recognition on the image (new) 100B.
  • the string comparison module 120 compares the new and old character recognition results with each other.
  • the result output module 190 outputs the string comparison result.
  • FIG. 3 is an explanatory view showing an example of character string comparison processing.
  • the example which compares "ABCDEG” which is a part of character recognition result of image (old) 100A, and "BcDEFG” which is a part of character recognition result of image (new) 100B is shown. It can be seen from the correspondence between “B” and “D” that "C” and "c” correspond. That is, a recognized character C: 303 (recognized character B) which is a character sandwiched between a recognized character B: 302 and a recognized character B: 351 as a matching character and a set of a recognized character D: 304 and a recognized character D: 353.
  • a recognized character C 303 (recognized character B) which is a character sandwiched between a recognized character B: 302 and a recognized character B: 351 as a matching character and a set of a recognized character D: 304 and a recognized character D: 353.
  • the recognition character c: 352 is a substitution character.
  • the relationship of replacement characters may be a relationship of N characters to M characters (N and M are integers of 1 or more). For example, even when one character is replaced with two characters, the relationship of replacement characters is similarly obtained.
  • the recognized character A: 301 is a deleted character because it exists in the character recognition result of the image (old) 100A and is not in the character recognition result of the image (new) 100B.
  • the recognition character F: 355 is an insertion character because it is not in the character recognition result of the image (old) 100A, but is in the character recognition result of the image (new) 100B.
  • FIG. 4 is an explanatory view showing a processing example according to the first embodiment.
  • the character recognition module 110 performs the character recognition process 410A on the image (old) 400A, and passes the character recognition result 420A to the character string comparison module 120.
  • the character recognition module 110 performs character recognition processing 410B on the image (new) 400B, and passes the character recognition result 420B to the character string comparison module 120. Either of the character recognition processes 410A and 410B may be performed first, or may be performed in parallel.
  • the character string comparison module 120 performs character string comparison processing 430 on the character recognition result 420A and the character recognition result 420B, and passes the comparison result table 490 to the result output module 190.
  • the comparison result table 490 includes a character string comparison result field 492, a document (old) field 494 A, and a document (new) field 494 B.
  • the document (old) column 494A is No. It has a field 496A and a text field 498A.
  • the document (new) column 494B is No. A field 496B and a text field 498B are included.
  • "A" character No. 3 in the document (old) column 494A) is a deletion character.
  • “2” character of No. 7 in document (old) column 494A) and “0” (character of No. 6 in document (new) column 494B) are replacement characters.
  • “To” character No. 16 in the document (new) column 494 B) is an insertion character.
  • ",” (Character No. 18 in document (new) column 494B) is an insertion character.
  • FIG. 5 is a conceptual module block diagram of a configuration example of the embodiment 2-1.
  • the same parts as those in the above-described embodiment are denoted by the same reference numerals, and duplicate descriptions will be omitted (the same applies hereinafter).
  • processing of correcting the processing result by the character string comparison module 120 using the image (old) 100A and the image (new) 100B is added.
  • the character recognition module 110, the character string comparison module 120, the correction module 530, and the result output module 190 are included.
  • the character recognition module 110 is connected to the string comparison module 120.
  • the character recognition module 110 passes the character string information 512 including the character recognition result of each of the image (old) 100A and the image (new) 100B to the character string comparison module 120.
  • the string comparison module 120 is connected to the character recognition module 110 and the correction module 530.
  • the correction module 530 is connected to the string comparison module 120 and the result output module 190.
  • the correction module 530 corrects the comparison result 522 by the character string comparison module 120 by comparing the image (old) 100A and the corresponding character image in the image (new) 100B.
  • the result output module 190 is connected to the correction module 530.
  • the result output module 190 outputs the corrected comparison result 532 corrected by the correction module 530.
  • FIG. 6 is a flowchart showing an example of processing according to the 2-1 embodiment.
  • the character recognition module 110 performs character recognition on the image (old) 100A.
  • the character recognition module 110 performs character recognition on the image (new) 100B.
  • the string comparison module 120 compares the new and old character recognition results with each other.
  • the correction module 530 corrects the character string comparison result.
  • the result output module 190 outputs the string comparison result.
  • FIG. 7 is an explanatory diagram of an example of processing according to the 2-1 embodiment.
  • the character recognition module 110 performs character recognition processing 710 on a target character image (old) 700A and a target character image (new) 700B.
  • the target character image (old) 700A becomes a character recognition result (old) 712A of "Software”
  • the target character image (new) 700B becomes a character recognition result (new) 712B of "S0ftware”.
  • the character string comparison module 120 performs a character string comparison process 720 on the character recognition result (old) 712A and the character recognition result (new) 712B.
  • the correction module 530 is a character image (character image (old) 734A, a character image (new) of the second character of the target character image (old) 700A and the target character image (new) 700B which are determined to be different as the character string comparison result 722. ) 734 B) and outputs a character image comparison result 732 indicating that they match.
  • the editing mode is corrected from "replacement” to "match.” Then, the result output module 190 outputs a result 792 that "the target character image (old) 700A and the target character image (new) 700B have no difference”. The editing mode of each character recognition result is "match”.
  • FIG. 8 is an explanatory diagram of an example of processing according to the 2-1 embodiment.
  • the character recognition module 110 performs character recognition processing 810 on a target character image (old) 800A and a target character image (new) 800B.
  • the target character image (old) 800A becomes the character recognition result (old) 812A "software”
  • the target character image (new) 800B becomes the character recognition result "new" 812B.
  • the character string comparison module 120 performs a character string comparison process 820 on the character recognition result (old) 812 A and the character recognition result (new) 812 B.
  • a string comparison result 822 indicating no difference is obtained.
  • the editing mode is set to “match”.
  • the correction module 530 sets the first character of the target character image (old) 800A and the target character image (new) 800B for which there is no difference as the character string comparison result 822 (character image (old) 834A, character image New) 834 B) is compared, and a character image comparison result 832 indicating that they are different is output.
  • the editing mode is corrected from "match” to "replace”.
  • the result output module 190 outputs a result 892 that “the target character image (old) 800A and the target character image (new) 800B are different in the first character character image”.
  • the editing mode of "S" and "s” which are the character recognition result is "replacement”.
  • the correct character code remains unknown. Specifically, it remains unknown whether the first character of the target character image (old) 800A is not "S” or the first character of the target character image (new) 800B is not “S”.
  • FIG. 9 is a conceptual module configuration diagram of a configuration example of the 2-2nd embodiment.
  • the 2-2 embodiment is a detailed description of the module configuration in the correction module 530 of the 2-1 embodiment, and the correction module 530 includes a character image extraction module 932, a character image comparison module 934, a string comparison result correction module 936 is included.
  • the character image extraction module 932 is connected to the character image comparison module 934.
  • the character image cutting module 932 cuts out the character image 933 from the image 100 (either the image (old) 100A or the image (new) 100B) using the character coordinate list 900.
  • the character coordinate list 900 is output by the character recognition module 110 together with the character recognition result.
  • the character image comparison module 934 is connected to the character image extraction module 932 and the character string comparison result correction module 936.
  • the character image comparison module 934 compares the image (old) 100A and the corresponding character image 933 in the image (new) 100B.
  • the comparison result correction flag 936 for the match or non-match flag 935 is passed to the string comparison result correction module 936.
  • “Corresponding” may be a combination of character images of characters determined to be corresponding by the character string comparison module 120 (a combination of matching characters, a combination of replacement characters), and a character image and an image within the image (old) 100A New) All combinations of character images in 100B may be used (combinations described in detail with reference to FIG. 14) or other combinations (combinations described later).
  • the string comparison result correction module 936 is connected to the character image comparison module 934.
  • the character string comparison result correction module 936 rewrites the editing mode of the corresponding character to "match” if the character image comparison module 934 determines "match”. If it is determined that "mismatch”, the editing mode of the corresponding character is rewritten to "replace".
  • FIG. 10 is a flow chart showing an example of processing by the second embodiment (particularly, a module in the correction module 530).
  • the character image cutting module 932 cuts out a character image from both images 100 using the character coordinate list 900.
  • the character image comparison module 934 compares the two extracted character images 933.
  • the string comparison result correction module 936 corrects the comparison result 522 of the string comparison module 120 using the match or non-match flag 935.
  • FIG. 11 is an explanatory diagram of an example of processing according to the 2-2nd embodiment.
  • the character recognition module 110 performs character recognition processing 1110A on the image (old) 1100A, and passes the character recognition result 1120A to the character string comparison module 120.
  • the character recognition module 110 performs the character recognition process 1110 B on the image (new) 1100 B, and passes the character recognition result 1120 B to the character string comparison module 120. Either of the character recognition processes 1110A and 1110B may be performed first, or may be performed in parallel.
  • the character string comparison module 120 performs character string comparison processing 1130 on the character recognition result 1120 A and the character recognition result 1120 B, and passes the comparison result table 1190 to the result output module 190.
  • the comparison result table 1190 has a character string comparison result column 1192, a document (old) column 1194A, and a document (new) column 1194B.
  • the document (old) column 1194A no. It has a field 1196A and a text field 1198A.
  • Document (new) column 1194B is No.
  • a column 1196B and a character column 1198B are provided. This is equivalent to the comparison result table 490 shown in the example of FIG.
  • the comparison result table 1190 is the result of the correction processing by the character string comparison result correction module 936.
  • the subsequent two characters are also matched, and the document
  • the subsequent characters will not match. That is, when there is a plurality of matching characters according to the comparison processing result of the character image comparison module 934, it is assumed that the respective characters match, and there are many subsequent characters that match. It is determined that one is associated.
  • the character may not be the character that follows, but may be the character that precedes it, or it may be the target of both characters.
  • the string comparison result correction module 936 determines that the document (old) 1100A
  • the contents of the string comparison result of the fourth character and the string comparison result column 1192 of the third character of the document (new) 1100 B are replaced with “match” from “replacement”.
  • the text comparison result correction module 936 may also replace the text code from “Z” to “2” or “2” to “Z”. However, it does not judge which of the new and old text codes is correct.
  • the present embodiment does not correct the character recognition result.
  • the comparison result table 1190 is a table showing character string comparison results. The characters arranged in the same line mean that they correspond as a result of the string comparison process. Even if it is a replacement character, as described above, the corresponding character can be obtained from the correspondence of the preceding and subsequent matching characters.
  • FIG. 12 is an explanatory view showing a processing example according to the 2-2nd embodiment (mainly the character recognition module 110 and the character image clipping module 932).
  • the character recognition module 110 outputs the character recognition result and the coordinates of the character.
  • the character image cutting module 932 cuts out the character image based on the coordinates.
  • the character recognition result and character coordinates of the image (old) 1200 shown in the example of FIG. 12A are as shown in the character recognition result etc. table 1220 shown in the example of FIG. 12C.
  • the character recognition result etc. table 1220 includes No.
  • a column 1222, a character column 1224, a left X column 1226, an upper Y column 1228, a right X column 1230, a lower Y column 1232, and a certainty factor column 1234 are provided.
  • a character column 1224 stores a text code which is a character recognition result.
  • the left X column 1226, the upper Y column 1228, the right X column 1230, and the lower Y column 1232 store character coordinates. That is, the upper left coordinates 1212 and the lower right coordinates 1214 of the character rectangle 1210 shown in the example of FIG. 12B are shown.
  • the certainty factor column 1234 stores information indicating the certainty of the character recognition result by the character recognition processing by the character recognition module 110. For example, the higher the number, the more likely it is the text code. The process using the information stored in the certainty factor column 1234 will be described later.
  • the character image cutting module 932 cuts out a character image from the image (old) 100A and the image (new) 100B using the character recognition result etc. table 1220.
  • FIG. 13 is an explanatory view of a processing example according to the 2-2-2 embodiment.
  • the character image cutout module 932 performs character image cutout processing 1332A on the image (old) 1300A using the character recognition result etc. table 1220, and passes the character image group (old) 1333A to the character image comparison module 934.
  • the character image cutout module 932 performs character image cutout processing 1332B on the image (new) 1300B using the character recognition result table 1220, and passes the character image group (new) 1333B to the character image comparison module 934.
  • the character image comparison module 934 performs the character image comparison processing 1334 on the character image group (old) 1333A and the character image group (new) 1333B, and passes the flag 1335 indicating coincidence or non-coincidence to the character string comparison result correction module 936 .
  • the combination of comparison targets performed in the character image comparison process 1334 may be all combinations.
  • the combination is processed, and then, as shown in the example of FIG. 14B, each character image in the character image group (old) 1333A and the character image in the character image group (new) 1333B Processing is performed on a combination of characters 1400 B, 1401 B, 1402 B, 1403 B, etc.).
  • FIG. 15 is a conceptual module block diagram of a configuration example of the second to third embodiments.
  • the second to third embodiment details the module configuration in the character image comparison module 934 of the second embodiment, and the character image comparison module 934 is a correlation coefficient calculation module 1510, A correlation coefficient determination module 1520 and a coincidence determination module 1530 are included.
  • the correlation coefficient calculation module 1510 is connected to the correlation coefficient determination module 1520.
  • the correlation coefficient calculation module 1510 calculates a correlation coefficient between the character image (old) 933A in the image (old) 100A and the character image (new) 933B in the image (new) 100B.
  • the correlation is calculated while gradually shifting the character image (new) 933B with respect to the character image (old) 933A.
  • the two character images are superimposed while being shifted little by little, and the correlation of luminance is calculated. More specifically, EOR (exclusive OR) processing of two character images is performed, the remaining pixel values are counted, and the reciprocal of the count value is used as the correlation value.
  • the correlation coefficient determination module 1520 is connected to the correlation coefficient calculation module 1510 and the coincidence determination module 1530.
  • the correlation coefficient determination module 1520 sets the difference amount at the highest correlation as the correlation coefficient of this candidate character. In the example of FIG. 16, (e) corresponds to that.
  • the match determination module 1530 is connected to the correlation coefficient determination module 1520.
  • the coincidence determination module 1530 compares the correlation coefficient passed from the correlation coefficient determination module 1520 with a predetermined threshold, and if “the correlation coefficient is greater than or equal to the threshold”, the character image (old) 933A And the character image (new) 933 B are determined to match. Then, if "the correlation coefficient is less than or less than the threshold", it is determined that the characters are different. Thereafter, the string comparison result correction module 936 corrects the comparison result by the string comparison module 120 using the match or non-match flag 935 from the match determination module 1530.
  • FIG. 17 is a flowchart showing an example of processing according to the second to third embodiments.
  • the correlation coefficient calculation module 1510 calculates the correlation coefficient in each shift amount of the character image (old) 933A and the character image (new) 933B.
  • the correlation coefficient determination module 1520 determines the correlation coefficient of this character image pair from the correlation coefficient in each shift amount.
  • the match determination module 1530 compares the predetermined threshold with the correlation coefficient to determine whether or not they match.
  • the match determination module 1530 outputs the determination result.
  • FIG. 18 is an explanatory diagram of an example of processing according to the second to third embodiments.
  • the correlation coefficient between the character images is calculated (FIGS. 18A and 18B).
  • threshold processing 1810 it is determined whether or not there is a character image whose correlation coefficient is equal to or greater than the threshold value (FIG. 18 (c)). If there is a character image that is equal to or greater than the threshold value, it is determined that the character image matches. If there is no character image above the threshold value, it is determined that the characters do not match.
  • FIG. 19 is an explanatory diagram of an example of processing according to the second to third embodiments.
  • the correlation coefficient between character images is determined. (FIG. 19 (a), (b)).
  • threshold processing 1810 it is determined whether or not there is a character image whose correlation coefficient is equal to or greater than the threshold value (FIG. 19C). If there is a character image that is equal to or greater than the threshold value, it is determined that the character image matches. If there is no character image above the threshold value, it is determined that the characters do not match.
  • the threshold processing result 1935 of “determining that there is no character that matches the third recognition character 1403A (A) of the document (old)” is output (FIG. 19 (d)).
  • FIG. 20 is a conceptual module block diagram of a configuration example of the second to fourth embodiments.
  • the second to fourth embodiment is a detailed description of the module configuration in the character image comparison module 934 according to the second embodiment, and the character image comparison module 934 includes a feature amount calculation module 2010, and a feature amount calculation module 2010.
  • a quantity distance calculation module 2020 and a coincidence determination module 2030 are included.
  • the feature amount calculation module 2010 is connected to the feature amount distance calculation module 2020.
  • the feature amount calculation module 2010 calculates feature amounts of the character image (old) 933A in the image (old) 100A and the character image (new) 933B in the image (new) 100B. For example, feature amounts such as width, height, black pixel density, projection histogram and the like of each character image are calculated. In the example of FIG. 21, the height 2110 and the width 2120 exist as feature amounts of the character image 2100.
  • the feature amount distance calculation module 2020 is connected to the feature amount calculation module 2010 and the match determination module 2030. The feature amount distance calculation module 2020 calculates the distance in the feature space between the character image (old) 933A in the image (old) 100A and the character image (new) 933B in the image (new) 100B.
  • the coincidence determination module 2030 is connected to the feature amount distance calculation module 2020.
  • the coincidence determination module 2030 compares the distance of the feature amount passed from the feature amount distance calculation module 2020 with a predetermined threshold, and if “the distance of the feature amount is smaller than the threshold”, the character image (old) 933A And the character image (new) 933 B are determined to match. Then, if “the distance of the feature amount is equal to or larger than the threshold value”, it is determined that the characters are different. Thereafter, the string comparison result correction module 936 corrects the determination result by the string comparison module 120 using the match or non-match flag 935 from the match determination module 2030.
  • FIG. 22 is a flowchart showing an example of processing according to the second to fourth embodiments.
  • the feature amount calculation module 2010 calculates feature amounts of the character image (old) 933A and the character image (new) 933B.
  • the feature amount distance calculation module 2020 calculates feature amount distances of the character image (old) 933A and the character image (new) 933B.
  • the match determination module 2030 compares the predetermined threshold with the feature amount distance, and determines whether they match.
  • the match determination module 2030 outputs the determination result.
  • FIG. 23 is an explanatory diagram of an example of processing according to the second to fourth embodiments.
  • the distance between the features of the character images is calculated (FIGS. 23A and 23B).
  • Each character image feature amount is calculated.
  • the feature quantity vector of the recognized character 1400A is (p 01 , p 02 ,..., P 0n ).
  • a feature quantity vector of the recognized character 1400 B or the like is (q 01 , q 02 ,..., Q 0n ).
  • the distance D between feature images of character images is calculated by the above equation.
  • the threshold processing 2310 it is determined whether or not there is a character image in which the distance D is less than or equal to the threshold value (FIG. 23 (c)). If there is a character image below the threshold value, it is determined that the character image matches. If there is no character image below the threshold, it is determined that the characters do not match.
  • the threshold processing result 2335 of "determining that the 0th recognition character 1400A (contract) of the document (old) and the 0th recognition character 1400B (contract) of the document (new) match" Are output (FIG. 23 (d)).
  • FIG. 24 is an explanatory diagram of an example of processing according to the second to fourth embodiments.
  • the distance between the features of the character images is calculated (FIGS. 24A and 24B).
  • Each character image feature amount is calculated.
  • the feature quantity vector of the recognized character 1403A is (p 31 , p 32 ,..., P 3n ).
  • a feature quantity vector of the recognized character 1400 B or the like is (q 01 , q 02 ,..., Q 0n ).
  • the distance D between feature images of character images is calculated by the above equation.
  • the threshold processing 2410 it is determined whether or not there is a character image in which the distance D is less than or equal to the threshold value (FIG. 24 (c)). If there is a character image below the threshold value, it is determined that the character image matches. If there is no character image below the threshold, it is determined that the characters do not match. In the example of FIG. 24, a threshold processing result 2435 of “determine that there is no character that matches the third recognition character 1403A (A) of the document (old)” is output (FIG. 24 (d)).
  • FIG. 25 is a conceptual module configuration diagram of a configuration example of the second to fifth embodiments.
  • the correction candidate character selection module 2520 selects a character image to be subjected to correction processing using the certainty factor of the character recognition result.
  • the correction processing module 2530 corresponds to the correction module 530 in the above-described embodiments (Embodiments 2-1 to 2-4). That is, to explain using the example of FIG. 5, there is a correction candidate character selection module 2520 between the character string comparison module 120 and the correction module 530, and there is a correction processing module 2530 instead of the correction module 530.
  • the correction candidate character selection module 2520 and the correction processing module 2530 are included.
  • the correction processing module 2530 includes a correction candidate character image extraction module 2532, a character image comparison module 934, and a character string comparison result correction module 936.
  • the correction candidate character selection module 2520 is connected to the correction candidate character image extraction module 2532.
  • the correction candidate character selection module 2520 compares the certainty factor to the recognition result by the character recognition module 110 with a predetermined value, and if the certainty factor is low, the first character recognition result and the second character recognition result are If they match, they are also subject to correction. Then, the character coordinate list 2522 of the character that has become the correction candidate is passed to the correction candidate character image extraction module 2532 in the correction processing module 2530.
  • the correction candidate character selection module 2520 recognizes characters of the certainty factor 2500 (the certainty factor column 1234 of the character recognition result table 1220 shown in the example of FIG.
  • the character coordinate list 2522 is generated so as to be a correction target also in the case. Furthermore, when the certainty factor 2500 of each character is equal to or less than a predetermined value, the deleted character or the inserted character may be selected as the correction target. Therefore, the character coordinate list 2522 may be generated such that the correction target is all characters of the character recognition result.
  • the correction candidate character selection module 2520 compares the certainty factor to the recognition result by the character recognition module 110 with a predetermined value, and when the certainty factor is high, the first character recognition result and the second character recognition If the results match, they may not be corrected.
  • the correction candidate character selection module 2520 is a case where the certainty factor 2500 of each character is higher than or equal to a predetermined value, and the first character recognition result and the second character recognition result Does not enter the character coordinate list 2522.
  • the correction target when the certainty factor 2500 of each character is higher than or equal to a predetermined value is the deleted character, the inserted character, and the substituted character, and the matched character is not targeted.
  • the character coordinate list 2522 may be generated as described above.
  • the correction candidate character image extraction module 2532 is connected to the correction candidate character selection module 2520 and the character image comparison module 934.
  • the correction candidate character image extraction module 2532 corresponds to the character image extraction module 932 in the above-described embodiment, but the target character image is the one selected by the correction candidate character selection module 2520.
  • a character image is cut out from the image 100 using the character coordinate list 2522 of the character passed from the correction candidate character selection module 2520.
  • the character image 2533 of the candidate character is passed to the character image comparison module 934.
  • the character image comparison module 934 is connected to the correction candidate character image extraction module 2532 and the character string comparison result correction module 936.
  • the string comparison result correction module 936 is connected to the character image comparison module 934.
  • FIG. 26 is a flowchart showing an example of processing according to the second to fifth embodiments.
  • the correction candidate character selection module 2520 selects a character image as a correction candidate from the certainty factor 2500 of each character and the character coordinate list 900.
  • the correction candidate character image extraction module 2532 cuts out a character image from the image 100 using the character coordinate list 2522 of candidate characters.
  • the character image comparison module 934 compares the extracted character images 933.
  • the string comparison result correction module 936 corrects the comparison result 522 of the string comparison module 120 using the match or non-match flag 935.
  • FIG. 27 is a conceptual module block diagram of a configuration example of the 2-6 embodiment.
  • the correction candidate character selection module 2720 selects a character image to be subjected to correction processing using the editing mode of each character. If it demonstrates using the example of FIG. 5, the correction
  • the correction candidate character selection module 2720 and the correction processing module 2530 are included.
  • the correction processing module 2530 includes a correction candidate character image extraction module 2532, a character image comparison module 934, and a character string comparison result correction module 936.
  • the correction candidate character selection module 2720 is connected to the correction candidate character image extraction module 2532.
  • the correction candidate character selection module 2720 selects not to perform comparison processing (processing by the character image comparison module 934) on a set of character images of matching characters. Then, the character coordinate list 2722 of the selected character is passed to the correction candidate character image extraction module 2532 in the correction processing module 2530.
  • the correction candidate character selection module 2720 receives from the character string comparison module 120 the editing mode 2700 for each character (character string comparison result column 1192 of the comparison result table 1190 shown in the example of FIG.
  • a list 900 is received from the character recognition module 110, and a character coordinate list 2722 of characters obtained by excluding a character whose editing mode is "match" from the character coordinate list 900 is generated. Therefore, the character coordinate list 2722 of characters selected from the character coordinate list 900 is generated for the characters whose edit mode is “delete”, “insert”, and “replace”.
  • the correction candidate character selection module 2720 may perform comparison processing only on the set of character images of the substituted characters. Specifically, the correction candidate character selection module 2720 receives the editing mode 2700 of each character from the character string comparison module 120, receives the character coordinate list 900 from the character recognition module 110, and selects the editing mode “replace” from the character coordinate list 900. A character coordinate list 2722 is generated in which only the characters “are selected.
  • the correction candidate character image extraction module 2532 is connected to the correction candidate character selection module 2720 and the character image comparison module 934.
  • the character image comparison module 934 is connected to the correction candidate character image extraction module 2532 and the character string comparison result correction module 936.
  • the string comparison result correction module 936 is connected to the character image comparison module 934.
  • FIG. 28 is a flowchart showing an example of processing according to the second embodiment.
  • the correction candidate character selection module 2720 selects a character image as a correction candidate from the editing mode 2700 of each character and the character coordinate list 900.
  • the correction candidate character image extraction module 2532 cuts out a character image from the image 100 using the character coordinate list 2722 of the candidate characters.
  • the character image comparison module 934 compares the extracted character images 933.
  • the string comparison result correction module 936 corrects the comparison result 522 of the string comparison module 120 using the match or non-match flag 935.
  • the various embodiments described above may be combined (for example, the modules in one embodiment may be added to another embodiment, replaced, etc.), and the processing content of each module
  • the techniques described in the background art may be employed.
  • the second to fifth embodiments and the second to sixth embodiments are combined, the following may be adopted.
  • the degree of certainty is compared with a predetermined threshold value, and the degree of certainty is low, and a case where the editing mode is "replacement" is selected as a comparison target so as to at least include. In other cases, any one or a combination of the following is adopted.
  • Character recognition means for character-recognizing a first image and character-recognizing a second image associated with the first image;
  • the first character recognition result by the character recognition unit for the first image and the second character recognition result by the character recognition unit for the second image are compared, and a character that matches between the two character recognition results is Characters which are extracted and which are the first character recognition result or the second character recognition result between the matching characters are not included in the first image, the characters deleted from the first image
  • Determining means for determining whether the second image is an inserted character or a character obtained by replacing a character in the first image;
  • Output means for outputting the determination result by the determination means
  • An image processing apparatus comprising: According to this image processing apparatus, when comparing a plurality of images, the character recognition result of the images can be divided into a matching character, a deleted character, an inserted character, and a substituted character.
  • FIG. 29 is configured of, for example, a personal computer (PC) or the like, and shows a hardware configuration example including a data reading unit 2917 such as a scanner and a data output unit 2918 such as a printer.
  • PC personal computer
  • a central processing unit (CPU) 2901 includes various modules described in the above embodiments, that is, a character recognition module 110, a character string comparison module 120, a result output module 190, a correction module 530, and a character image extraction module 932 Character image comparison module 934, character string comparison result correction module 936, correlation coefficient calculation module 1510, correlation coefficient determination module 1520, match determination module 1530, feature quantity calculation module 2010, feature quantity distance calculation module 2020, match determination module 2030 , The correction candidate character selection module 2520, the correction processing module 2530, the correction candidate character image extraction module 2532, the correction candidate character selection module 2720, and the like.
  • a control unit that executes processing according to a computer program describing the sequence.
  • a ROM (Read Only Memory) 2902 stores a program used by the CPU 2901, operation parameters, and the like.
  • a RAM (Random Access Memory) 2903 stores a program used in execution of the CPU 2901 and parameters and the like appropriately changed in the execution. These are mutually connected by a host bus 2904 configured of a CPU bus and the like.
  • the host bus 2904 is connected to an external bus 2906 such as a peripheral component interconnect / interface (PCI) bus via a bridge 2905.
  • PCI peripheral component interconnect / interface
  • a keyboard 2908 and a pointing device 2909 such as a mouse are input devices operated by the operator.
  • the display 2910 is a liquid crystal display device or a CRT (Cathode Ray Tube), and displays various information as text and image information.
  • An HDD (Hard Disk Drive) 2911 incorporates a hard disk, drives the hard disk, and records or reproduces a program or information to be executed by the CPU 2901.
  • the hard disk stores an image to be compared, a character image, a character recognition result, a correction result, and the like. Furthermore, various computer programs such as various other data processing programs are stored.
  • the drive 2912 reads data or a program recorded in a removable recording medium 2913 such as a mounted magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and the data or the program is transferred to an interface 2907, an external bus 2906. , The bridge 2905, and the RAM 2903 connected via the host bus 2904.
  • the removable recording medium 2913 can also be used as a data recording area similar to a hard disk.
  • the connection port 2914 is a port for connecting the external connection device 2915, and has a connection unit such as USB or IEEE 1394.
  • the connection port 2914 is connected to the CPU 2901 and the like through the interface 2907, the external bus 2906, the bridge 2905, the host bus 2904 and the like.
  • a communication unit 2916 is connected to the communication line and executes data communication processing with the outside.
  • the data reading unit 2917 is, for example, a scanner, and executes a document reading process.
  • the data output unit 2918 is, for example, a printer, and executes document data output processing.
  • the hardware configuration of the image processing apparatus shown in FIG. 29 shows one configuration example, and the present embodiment is not limited to the configuration shown in FIG. 29, and the modules described in the present embodiment are executed. It may be any possible configuration. For example, some modules may be configured by dedicated hardware (for example, Application Specific Integrated Circuit (ASIC)), and some modules are in an external system and connected by communication lines. Alternatively, a plurality of systems shown in FIG. 29 may be connected by communication lines to cooperate with each other.
  • the image processing apparatus may also be incorporated in a copying machine, a fax machine, a scanner, a printer, a multi-function machine (an image processing apparatus having any two or more functions of a scanner, a printer, a copying machine, a fax machine, etc.).
  • the program described above may be stored in a recording medium and provided, or the program may be provided by communication means.
  • the above-described program may be regarded as an invention of “a computer-readable recording medium having a program recorded thereon”.
  • the “computer-readable recording medium having a program recorded therein” refers to a computer-readable recording medium having a program recorded thereon, which is used for program installation, execution, program distribution, and the like.
  • the recording medium is, for example, a digital versatile disc (DVD), which is a standard formulated by the DVD Forum "DVD-R, DVD-RW, DVD-RAM, etc.”, formulated by DVD + RW Standard “DVD + R, DVD + RW etc”, compact disc (CD), read only memory (CD-ROM), CD recordable (CD-R), CD rewriteable (CD-RW) etc., Blu-ray disc (CD-RW) Blu-ray Disc (registered trademark), magneto-optical disk (MO), flexible disk (FD), magnetic tape, hard disk, read only memory (ROM), electrically erasable and rewritable read only memory (EEPROM (registered trademark) ), Flash memory, random access memory (RAM) , SD (Secure Digital) memory card etc.
  • DVD digital versatile disc
  • CD-ROM compact disc
  • CD-ROM read only memory
  • CD-R CD recordable
  • CD-RW CD rewriteable
  • CD-RW Blu-ray disc
  • CD-RW
  • the program or a part of the program may be recorded on the recording medium and stored or distributed. Also, by communication, for example, a wired network used for a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), the Internet, an intranet, an extranet, etc., or wireless communication Transmission may be performed using a transmission medium such as a network or a combination of these, or may be carried on a carrier wave.
  • the program may be part of another program, or may be recorded on a recording medium together with a separate program. Also, the program may be divided and recorded on a plurality of recording media. Also, it may be recorded in any form such as compression or encryption as long as it can be restored.
  • Character recognition module 120 String comparison module 190 ... Result output module 530 ... correction module 932 ... Character image extraction module 934 ... Character image comparison module 936 ... String comparison result correction module 1510 ... Correlation coefficient calculation module 1520 ... Correlation coefficient determination module 1530 ... Match determination module 2010 ... Feature amount calculation module 2020 ... feature amount distance calculation module 2030 ... Match determination module 2520 ... correction candidate character selection module 2530 ... correction processing module 2532 ... correction candidate character image extraction module 2720 ... correction candidate character selection module

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Character Discrimination (AREA)

Abstract

 文字コードを持たない画像を比較する場合にあって、文字コードを持つファイルを比較する時と同等の比較が行える画像処理装置を提供する。 画像処理装置の文字認識手段は、第1の画像を文字認識し、該第1の画像と関連する第2の画像を文字認識し、比較手段は、前記第1の画像に対する前記文字認識手段による第1の文字認識結果と前記第2の画像に対する前記文字認識手段による第2の文字認識結果を比較し、出力手段は、前記比較手段による比較結果を出力する。

Description

画像処理装置及び画像処理プログラム

 本発明は、画像処理装置及び画像処理プログラムに関する。

 特許文献1には、多様な種類の画像に対して適切な画像検索方法を提供することを課題とし、写真画像検索部は、入力文書画像をブロックに分割し、各ブロック毎にエッジ量などの画像特徴量を求め、そして、その画像特徴量の分布と各登録画像の画像特徴量の分布とを比較することで各登録画像の入力文書画像に対する類似度スコア(第1スコア)を計算し、テキスト検索部は、画像を文字認識した結果としてのテキストの類似性に基づき、各登録画像の入力文書画像に対する類似度スコア(第2スコア)を計算し、候補抽出部は、各登録画像の第1スコアと第2スコアとを統合し、得られた統合スコアが上位となる登録画像を候補として抽出し、文書画像検索部は、それら候補と入力文書画像とを、投影波形同士で比較することで、最終的な類似度を計算することが開示されている。

 特許文献2には、文書や帳票の読み取りにおいて、手書き文字でも正確に認識するとともに、認識結果の誤認識や判読困難な文字を精度よく棄却する文字認識装置を提供することを課題とし、文字画像抽出部は、文書画像入力受付部で受け付けられた文書画像から文字画像を切り出し、特徴量抽出部は文字画像から特徴量を抽出し、候補文字選択部は分類辞書の基準特徴量と抽出された特徴量との類似度を算出し候補文字を選択し、候補文字判定部は選択された候補文字同士が類似候補文字識別辞書に記載されているとき、いずれの文字が適切か判定し、個別文字検証部は、候補文字を個別検証辞書の肯定条件又は否定条件に示されるルールに従い「有効」又は「棄却」とし、認識検証部は、同一文字行に複数の同一候補文字があるとき、文字画像同士の類似度を用いて、候補文字の変更処理を行うことが開示されている。

 特許文献3には、切り出し誤りによって文字を認識した結果の文字数が、結果として出力すべき単語の文字数と異なる場合でも正確に該当する単語を認識結果として抽出することを目的とし、文字再切り出し段階では、文字のかすれにより、単語を構成する文字の数より実際に記入された文字の数が増加している場合、候補文字との対応がとれていない文字の位置に存在する2つ以上の図形をまとめて1つの図形として抽出し、文字再認識段階では抽出された図形に対して認識辞書を用いて文字認識し、単語再照合段階では、文字再認識段階で得られた認識結果の候補文字の中に単語照合段階で未照合となっている文字があるかどうか判定し、あればその文字を含む候補文字を認識結果として出力することが開示されている。

特開2007-172077号公報 特許第4861730号公報 特開平08-315077号公報

 本発明は、文字コードを持たない画像を比較する場合にあって、文字コードを持つファイルを比較する時と同等の比較が行える画像処理装置及び画像処理プログラムを提供することを目的としている。

 かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。

 請求項1の発明は、第1の画像を文字認識し、該第1の画像と関連する第2の画像を文字認識する文字認識手段と、前記第1の画像に対する前記文字認識手段による第1の文字認識結果と前記第2の画像に対する前記文字認識手段による第2の文字認識結果を比較する比較手段と、前記比較手段による判定結果を出力する出力手段を具備することを特徴とする画像処理装置である。

 請求項2の発明は、前記第1の画像と前記第2の画像内の対応する文字画像を比較することによって、前記比較手段による比較結果を補正する補正手段をさらに具備し、前記出力手段は、前記補正手段によって補正された結果を出力することを特徴とする請求項1に記載の画像処理装置である。

 請求項3の発明は、前記補正手段は、前記第1の画像内の文字画像と前記第2の画像内の文字画像との相関係数を算出し、該相関係数に基づいて前記比較手段による比較結果を補正することを特徴とする請求項2に記載の画像処理装置である。

 請求項4の発明は、前記補正手段は、前記第1の画像内の文字画像と前記第2の画像内の文字画像との間の特徴空間における距離を算出し、該距離に基づいて前記比較手段による比較結果を補正することを特徴とする請求項2に記載の画像処理装置である。

 請求項5の発明は、前記補正手段は、前記文字認識手段による認識結果に対する確信度と予め定められた値とを比較して、確信度が低い場合は第1の文字認識結果と第2の文字認識結果が一致する場合も補正対象として補正を行うことを特徴とする請求項2から4のいずれか一項に記載の画像処理装置である。

 請求項6の発明は、前記補正手段は、前記文字認識手段による認識結果に対する確信度と予め定められた値とを比較して、確信度が高い場合は第1の文字認識結果と第2の文字認識結果が一致する場合は補正対象としないことを特徴とする請求項2から5のいずれか一項に記載の画像処理装置である。

 請求項7の発明は、前記補正手段は、前記一致する文字の文字画像に対しては比較処理を行わないことを特徴とする請求項2から4のいずれか一項に記載の画像処理装置である。

 請求項8の発明は、前記補正手段は、前記置換された文字の文字画像のみに対して比較処理を行うことを特徴とする請求項2から4のいずれか一項に記載の画像処理装置である。

 請求項9の発明は、コンピュータを、第1の画像を文字認識し、該第1の画像と関連する第2の画像を文字認識する文字認識手段と、前記第1の画像に対する前記文字認識手段による第1の文字認識結果と前記第2の画像に対する前記文字認識手段による第2の文字認識結果を比較する比較手段と、前記比較手段による比較結果を出力する出力手段として機能させるための画像処理プログラムである。

 請求項10の発明は、コンピュータを、第1の画像を文字認識し、該第1の画像と関連する第2の画像を文字認識する文字認識手段と、前記第1の画像に対する前記文字認識手段による第1の文字認識結果と前記第2の画像に対する前記文字認識手段による第2の文字認識結果を比較し、2つの文字認識結果間で一致する文字を抽出し、該一致する文字の間にある該第1の文字認識結果又は該第2の文字認識結果である文字を、該第1の画像から削除された文字、該第1の画像には無いが該第2の画像にはある挿入された文字、該第1の画像内の文字を置換した文字のいずれであるかを判定する判定手段と、前記判定手段による判定結果を出力する出力手段として機能させるための画像処理プログラムである。

 請求項1の画像処理装置によれば、文字コードを持たない画像を比較する場合にあって、文字コードを持つファイルを比較する時と同等の比較を行うことができる。

 請求項2の画像処理装置によれば、文字画像の比較結果に基づいて、文字の比較結果を補正することができる。

 請求項3の画像処理装置によれば、文字画像間の相関係数に基づいて文字の比較結果を補正することができる。

 請求項4の画像処理装置によれば、文字画像の特徴空間における距離に基づいて文字の比較結果を補正することができる。

 請求項5の画像処理装置によれば、本構成を有していない場合に比較して、文字の比較結果の精度を向上させることができる。

 請求項6の画像処理装置によれば、本構成を有していない場合に比較して、速度を向上させることができる。

 請求項7の画像処理装置によれば、本構成を有していない場合に比較して、速度を向上させることができる。

 請求項8の画像処理装置によれば、本構成を有していない場合に比較して、速度を向上させることができる。

 請求項9の画像処理プログラムによれば、文字コードを持たない画像を比較する場合にあって、文字コードを持つファイルを比較する時と同等の比較を行うことができる。

 請求項10の画像処理プログラムによれば、文字コードを持たない画像を比較する場合にあって、その画像の文字認識結果を、一致する文字、削除された文字、置換した文字に分けることができる。

第1の実施の形態の構成例についての概念的なモジュール構成図である。 第1の実施の形態による処理例を示すフローチャートである。 文字列の比較処理の例を示す説明図である。 第1の実施の形態による処理例を示す説明図である。 第2-1の実施の形態の構成例についての概念的なモジュール構成図である。 第2-1の実施の形態による処理例を示すフローチャートである。 第2-1の実施の形態による処理例を示す説明図である。 第2-1の実施の形態による処理例を示す説明図である。 第2-2の実施の形態の構成例についての概念的なモジュール構成図である。 第2-2の実施の形態による処理例を示すフローチャートである。 第2-2の実施の形態による処理例を示す説明図である。 第2-2の実施の形態による処理例を示す説明図である。 第2-2の実施の形態による処理例を示す説明図である。 第2-2の実施の形態による処理例を示す説明図である。 第2-3の実施の形態の構成例についての概念的なモジュール構成図である。 第2-3の実施の形態による処理例を示す説明図である。 第2-3の実施の形態による処理例を示すフローチャートである。 第2-3の実施の形態による処理例を示す説明図である。 第2-3の実施の形態による処理例を示す説明図である。 第2-4の実施の形態の構成例についての概念的なモジュール構成図である。 第2-4の実施の形態が対象とする文字画像の例を示す説明図である。 第2-4の実施の形態による処理例を示すフローチャートである。 第2-4の実施の形態による処理例を示す説明図である。 第2-4の実施の形態による処理例を示す説明図である。 第2-5の実施の形態の構成例についての概念的なモジュール構成図である。 第2-5の実施の形態による処理例を示すフローチャートである。 第2-6の実施の形態の構成例についての概念的なモジュール構成図である。 第2-6の実施の形態による処理例を示すフローチャートである。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

 以下、図面に基づき本発明を実現するにあたっての好適な各種の実施の形態の例を説明する。

<第1の実施の形態>

 図1は、第1の実施の形態の構成例についての概念的なモジュール構成図を示している。

 なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という意味を有する記載は、「Aであるか否かを判定し、Aであると判定した場合はBをする」の意味で用いる。ただし、Aであるか否かの判定が不要である場合を除く。

 また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。

 また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。

 第1の実施の形態である画像処理装置は、複数の画像を比較するものであって、図1の例に示すように、文字認識モジュール110、文字列比較モジュール120、結果出力モジュール190を有している。

 文字認識モジュール110は、文字列比較モジュール120と接続されている。文字認識モジュール110は、画像(旧)100Aを文字認識し、その画像(旧)100Aと関連する画像(新)100Bを文字認識する。例えば、画像(旧)100Aとしては、修正前の文書画像が該当する。画像(新)100Bとしては、その修正後の文書画像が該当する。なお、画像(旧)100Aと画像(新)100Bの関係は、比較対象であればよく、修正前後という関係を必ずしも必要としない。受け付ける画像としては、例えば、スキャナ、カメラ等で画像を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、ハードディスク(コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む)等に記憶されている画像を読み出すこと等が含まれる。画像は、2値画像、多値画像(カラー画像を含む)であってもよい。また、受け付ける画像(比較対象とする画像)は、2以上の複数であってもよい。それぞれの比較対象とする画像は、複数ページであってもよい。また、画像の内容として、文字認識の対象となる文字が含まれていれば、ビジネスに用いられる文書、広告宣伝用のパンフレット等であってもよい。

 文字列比較モジュール120は、文字認識モジュール110、結果出力モジュール190と接続されている。文字列比較モジュール120は、画像(旧)100Aに対する文字認識モジュール110による第1の文字認識結果と画像(新)100Bに対する文字認識モジュール110による第2の文字認識結果を比較する。そして、その比較処理によって、2つの文字認識結果間で一致する文字を抽出し、文字認識結果は、“一致文字”と“一致文字でない文字”に分類する。そして、“一致文字でない文字”を、削除文字、挿入文字、置換文字に分類する。つまり、第1の文字認識結果又は第2の文字認識結果である文字を、画像(旧)100Aから削除された文字、100Bに挿入された文字、画像(旧)100A内の文字を画像(新)100B内では別の文字に置き換えた文字のいずれであるかを判定する。具体的には、文字列比較モジュール120は、テキストコードにより比較を行う。一致する文字(一致文字ともいう)は文字単位で対応関係が求められる。一致文字に挟まれている文字は、削除された文字(削除文字ともいう)、挿入された文字(挿入文字ともいう)、置換された文字(置換文字ともいう)のいずれかである。そして、置換文字についても文字単位で対応関係が求められる。また、編集モードとして、一致文字と判定した場合を「一致」、削除文字と判定した場合を「削除」、挿入文字と判定した場合を「挿入」、置換文字と判定した場合を「置換」という。また、一致文字、削除文字、挿入文字、置換文字に限定する必要はない。例えば、一致文字と不一致文字だけでもよい。置換文字とは、削除文字と挿入文字の組み合わせであるので、一致文字、削除文字、挿入文字だけでもよい。

 結果出力モジュール190は、文字列比較モジュール120と接続されている。結果出力モジュール190は、文字列比較モジュール120による比較結果を出力する。比較結果を画像で出力してもよいし、テキストで出力してもよい。不一致文字を一致文字と比べて目立つように強調(例えば、色を変える等)してもよいし、不一致文字だけ出力してもよい。例えば、画像(旧)100Aに、一致文字、削除文字、置換文字のそれぞれが分かるように色を異ならせた文字画像を重ねて表示するようにしてもよい。また、画像(新)100Bに、一致文字、挿入文字、置換文字のそれぞれが分かるように色を異ならせた文字画像を重ねて表示するようにしてもよい。

 図2は、第1の実施の形態による処理例を示すフローチャートである。

 ステップS202では、文字認識モジュール110が、画像(旧)100Aに対して文字認識を行う。

 ステップS204では、文字認識モジュール110が、画像(新)100Bに対して文字認識を行う。

 ステップS206では、文字列比較モジュール120が、新旧の文字認識結果を文字列比較する。

 ステップS208では、結果出力モジュール190が、文字列比較結果を出力する。

 図3は、文字列の比較処理の例を示す説明図である。

 画像(旧)100Aの文字認識結果の一部である「ABCDEG」と画像(新)100Bの文字認識結果の一部である「BcDEFG」を比較する例を示す。「B」と「D」の対応関係から「C」と「c」が対応することが分かる。つまり、一致文字である認識文字B:302と認識文字B:351の組、認識文字D:304と認識文字D:353の組に挟まれている文字である認識文字C:303(認識文字B:302と認識文字D:304に挟まれている)、認識文字c:352(認識文字B:351と認識文字D:353に挟まれている)は対応しており、この認識文字C:303と認識文字c:352は置換文字である。なお、置換文字の関係には、1文字対1文字の関係の他に、N文字対M文字の関係(N、Mは1以上の整数)であってもよい。例えば、1文字が2文字に置換される場合も、同様に置換文字の関係になる。

 また、認識文字A:301は、画像(旧)100Aの文字認識結果にはあって、画像(新)100Bの文字認識結果には無いので、削除文字である。認識文字F:355は、画像(旧)100Aの文字認識結果には無くて、画像(新)100Bの文字認識結果にはあるので、挿入文字である。

 図4は、第1の実施の形態による処理例を示す説明図である。

 文字認識モジュール110は、画像(旧)400Aに対して文字認識処理410Aを行い、文字認識結果420Aを文字列比較モジュール120に渡す。文字認識モジュール110は、画像(新)400Bに対して文字認識処理410Bを行い、文字認識結果420Bを文字列比較モジュール120に渡す。文字認識処理410A、410Bの処理は、いずれが先に行ってもよいし、平行して行われてもよい。

 そして、文字列比較モジュール120は、文字認識結果420Aと文字認識結果420Bに対して文字列比較処理430を行い、比較結果テーブル490を結果出力モジュール190に渡す。

 比較結果テーブル490は、文字列比較結果欄492、文書(旧)欄494A、文書(新)欄494Bを有している。文書(旧)欄494Aは、No.欄496A、文字欄498Aを有している。文書(新)欄494Bは、No.欄496B、文字欄498Bを有している。「A」(文書(旧)欄494A内のNo.3の文字)は、削除文字である。「2」(文書(旧)欄494A内のNo.7の文字)と「0」(文書(新)欄494B内のNo.6の文字)は置換文字である。「と」(文書(新)欄494B内のNo.16の文字)は挿入文字である。「、」(文書(新)欄494B内のNo.18の文字)は挿入文字である。

<第2-1の実施の形態>

 図5は、第2-1の実施の形態の構成例についての概念的なモジュール構成図である。なお、前述の実施の形態と同種の部位には同一符号を付し重複した説明を省略する(以下、同様)。第2の実施の形態は、第1の実施の形態の処理と比べると、文字列比較モジュール120による処理結果を画像(旧)100A、画像(新)100Bを用いて補正する処理を加えたものであり、図2の例に示すように、文字認識モジュール110、文字列比較モジュール120、補正モジュール530、結果出力モジュール190を有している。

 文字認識モジュール110は、文字列比較モジュール120と接続されている。文字認識モジュール110は、画像(旧)100A、画像(新)100Bのそれぞれの文字認識結果を含む文字列情報512を文字列比較モジュール120に渡す。

 文字列比較モジュール120は、文字認識モジュール110、補正モジュール530と接続されている。

 補正モジュール530は、文字列比較モジュール120、結果出力モジュール190と接続されている。補正モジュール530は、画像(旧)100Aと画像(新)100B内の対応する文字画像を比較することによって、文字列比較モジュール120による比較結果522を補正する。

 結果出力モジュール190は、補正モジュール530と接続されている。結果出力モジュール190は、補正モジュール530によって補正された補正後の比較結果532を出力する。

 図6は、第2-1の実施の形態による処理例を示すフローチャートである。

 ステップS602では、文字認識モジュール110が、画像(旧)100Aに対して文字認識を行う。

 ステップS604では、文字認識モジュール110が、画像(新)100Bに対して文字認識を行う。

 ステップS606では、文字列比較モジュール120が、新旧の文字認識結果を文字列比較する。

 ステップS608では、補正モジュール530が、文字列比較結果を補正する。

 ステップS610では、結果出力モジュール190が、文字列比較結果を出力する。

 図7は、第2-1の実施の形態による処理例を示す説明図である。

 文字認識モジュール110は、対象文字画像(旧)700Aと対象文字画像(新)700Bを文字認識処理710する。その結果、対象文字画像(旧)700Aは「Software」という文字認識結果(旧)712Aとなり、対象文字画像(新)700Bは「S0ftware」という文字認識結果(新)712Bとなる。

 文字列比較モジュール120は、文字認識結果(旧)712Aと文字認識結果(新)712Bを文字列比較処理720する。その結果、文字認識結果(旧)712Aと文字認識結果(新)712Bの第2文字目の「o」と「0」が差分という文字列比較結果722となる。ここで、差分文字については、編集モードを「置換」とする。

 補正モジュール530は、文字列比較結果722として異なるとされた対象文字画像(旧)700Aと対象文字画像(新)700Bの第2文字目の文字画像(文字画像(旧)734A、文字画像(新)734B)を比較し、一致するという文字画像比較結果732を出力する。

 ここで、編集モードを「置換」から「一致」に修正する。そして、結果出力モジュール190は、「対象文字画像(旧)700Aと対象文字画像(新)700Bは差分なし」という結果792を出力する。各文字認識結果の編集モードは「一致」となる。

 図8は、第2-1の実施の形態による処理例を示す説明図である。

 文字認識モジュール110は、対象文字画像(旧)800Aと対象文字画像(新)800Bを文字認識処理810する。その結果、対象文字画像(旧)800Aは「software」という文字認識結果(旧)812Aとなり、対象文字画像(新)800Bは「software」という文字認識結果(新)812Bとなる。

 文字列比較モジュール120は、文字認識結果(旧)812Aと文字認識結果(新)812Bを文字列比較処理820する。その結果、差分なしという文字列比較結果822となる。ここで、比較対象の文字列(各文字)については、編集モードを「一致」とする。

 補正モジュール530は、文字列比較結果822として差分なしとされた対象文字画像(旧)800Aと対象文字画像(新)800Bの第1文字目の文字画像(文字画像(旧)834A、文字画像(新)834B)を比較し、異なるという文字画像比較結果832を出力する。

 ここで、編集モードを「一致」から「置換」に修正する。そして、結果出力モジュール190は、「対象文字画像(旧)800Aと対象文字画像(新)800Bはそれぞれ第1文字目の文字画像が差分」という結果892を出力する。文字認識結果である「S」と「s」の編集モードは「置換」となる。なお、正しい文字コードは不明なままである。具体的には、対象文字画像(旧)800Aの第1文字目が「S」でないのか、対象文字画像(新)800Bの第1文字目が「S」でないのか、は不明のままである。

<第2-2の実施の形態>

 図9は、第2-2の実施の形態の構成例についての概念的なモジュール構成図である。第2-2の実施の形態は、第2-1の実施の形態の補正モジュール530内のモジュール構成を詳細にしたものであり、補正モジュール530は、文字画像切出モジュール932、文字画像比較モジュール934、文字列比較結果修正モジュール936を有している。

 文字画像切出モジュール932は、文字画像比較モジュール934と接続されている。文字画像切出モジュール932は、画像100(画像(旧)100A又は画像(新)100Bのいずれか一方)から文字座標リスト900を用いて文字画像933を切り出す。文字座標リスト900は、文字認識モジュール110が文字認識結果とともに出力する。

 文字画像比較モジュール934は、文字画像切出モジュール932、文字列比較結果修正モジュール936と接続されている。文字画像比較モジュール934は、画像(旧)100Aと画像(新)100B内の対応する文字画像933を比較する。比較結果である一致か不一致かのフラグ935を文字列比較結果修正モジュール936に渡す。対応するとは、文字列比較モジュール120によって対応するとされた文字の文字画像の組み合わせ(一致文字の組み合わせ、置換文字の組み合わせ)であってもよいし、画像(旧)100A内の文字画像と画像(新)100B内の文字画像の全ての組み合わせであってもよいし(図14を用いて詳述する組み合わせ)、その他の組み合わせ(後に詳述する組み合わせ)であってもよい。比較処理については、第2-3の実施の形態と第2-4の実施の形態を用いて詳述する。

 文字列比較結果修正モジュール936は、文字画像比較モジュール934と接続されている。文字列比較結果修正モジュール936は、文字画像比較モジュール934で“一致”と判定したら、対応する文字の編集モードを“一致”に書き換える。“不一致”と判定したら、対応する文字の編集モードを“置換”に書き換える。

 図10は、第2-2の実施の形態(特に補正モジュール530内のモジュール)による処理例を示すフローチャートである。

 ステップS1002では、文字画像切出モジュール932が、両者の画像100から文字座標リスト900を用いて文字画像を切り出す。

 ステップS1004では、文字画像比較モジュール934が、切り出した両者の文字画像933を比較する。

 ステップS1006では、文字列比較結果修正モジュール936が、一致か不一致かのフラグ935を用いて、文字列比較モジュール120の比較結果522を修正する。

 図11は、第2-2の実施の形態による処理例を示す説明図である。

 文字認識モジュール110は、画像(旧)1100Aに対して文字認識処理1110Aを行い、文字認識結果1120Aを文字列比較モジュール120に渡す。文字認識モジュール110は、画像(新)1100Bに対して文字認識処理1110Bを行い、文字認識結果1120Bを文字列比較モジュール120に渡す。文字認識処理1110A、1110Bの処理は、いずれが先に行ってもよいし、平行して行われてもよい。

 そして、文字列比較モジュール120は、文字認識結果1120Aと文字認識結果1120Bに対して文字列比較処理1130を行い、比較結果テーブル1190を結果出力モジュール190に渡す。

 比較結果テーブル1190は、文字列比較結果欄1192、文書(旧)欄1194A、文書(新)欄1194Bを有している。文書(旧)欄1194Aは、No.欄1196A、文字欄1198Aを有している。文書(新)欄1194Bは、No.欄1196B、文字欄1198Bを有している。図4の例に示した比較結果テーブル490と同等のものである。ただし、比較結果テーブル1190は、文字列比較結果修正モジュール936による補正処理の結果である。

 文字列比較結果修正モジュール936が行う処理について説明する。文字認識結果に誤りのあった文字「Z」(文書(新)欄1194BのNo.3の文字)と文字「2」(文書(旧)欄1194AのNo.4の文字)の組み合わせに対する編集モードの補正について説明する。

 文字画像比較モジュール934による文字画像の比較により、文書(旧)1100Aの4番目の文字と文書(新)1100Bの3番目の文字が一致していると判定される。さらに、文書(旧)1100Aの7番目の文字と文書(新)1100Bの3番目の文字が一致しているとも判定される。

 このとき、文字列比較結果修正モジュール936による処理によって、文書(旧)1100Aの4番目の文字との一致関係が採用される。なぜなら、文字列比較処理によって、文書(新)1100Bの3番目の文字と文書(旧)1100Aの4番目の文字とが対応付いていると仮定すると、その後の2文字も一致しており、文書(新)1100Bの3番目の文字と文書(旧)1100Aの7番目の文字とが対応付いていると仮定すると、その後の文字は一致しないことになるためである。つまり、文字画像比較モジュール934の比較処理結果によって一致している文字が複数ある場合は、それぞれの文字が一致していると仮定して、その後に続く文字であって一致している文字が多い方を対応付いていると判定する。また、その後に続く文字ではなく、その前にある文字としてもよいし、前後両方の文字を対象としてもよい。

 文書(旧)1100Aの4番目の文字と文書(新)1100Bの3番目の文字が一致していると判定されたので、次に、文字列比較結果修正モジュール936は、文書(旧)1100Aの4番目の文字の文字列比較結果と、文書(新)1100Bの3番目の文字の文字列比較結果欄1192の内容を「置換」から「一致」に置き換える。

 このとき、文字列比較結果修正モジュール936は、テキストコードも「Z」から「2」へ、又は「2」から「Z」へ置き換えてもよい。ただし、新旧どちらのテキストコードが正しいのであるかについては判定しない。本実施の形態は、文字認識結果を補正するものではない。

 比較結果テーブル1190は、文字列比較結果を示す表である。同じ行に並んでいる文字は、文字列比較処理の結果、対応付いたことを意味している。置換文字であっても、前述のように前後の一致文字の対応関係から対応する文字を求めることができる。

 図12は、第2-2の実施の形態(主に文字認識モジュール110、文字画像切出モジュール932)による処理例を示す説明図である。

 文字認識モジュール110は、文字認識結果とともに、その文字の座標を出力する。文字画像切出モジュール932は、その座標に基づいて、文字画像を切り出す。図12(a)の例に示す画像(旧)1200の文字認識結果と文字の座標は、図12(c)の例に示す文字認識結果等テーブル1220のようになる。文字認識結果等テーブル1220は、No.欄1222、文字欄1224、左X欄1226、上Y欄1228、右X欄1230、下Y欄1232、確信度欄1234を有している。文字欄1224は、文字認識結果であるテキストコードを記憶する。左X欄1226、上Y欄1228、右X欄1230、下Y欄1232は、文字の座標を記憶する。つまり、図12(b)の例に示す文字矩形1210の左上座標1212と右下座標1214を示している。もちろんのことながら、右上、左下の座標の組み合わせであってもよいし、文字矩形1210の4角のいずれかの座標と幅と高さによって文字矩形1210の座標を表すようにしてもよい。確信度欄1234は、文字認識モジュール110による文字認識処理によって、その文字認識結果の確からしさを示す情報を記憶する。例えば、数値が高いほど、そのテキストコードらしいことを示している。確信度欄1234が記憶する情報を用いる処理については、後述する。

 文字画像切出モジュール932は、この文字認識結果等テーブル1220を用いて、画像(旧)100A、画像(新)100Bから文字画像を切り出す。

 図13は、第2-2の実施の形態による処理例を示す説明図である。文字画像切出モジュール932は、画像(旧)1300Aに対して文字認識結果等テーブル1220を用いて文字画像切り出し処理1332Aを行い、文字画像群(旧)1333Aを文字画像比較モジュール934に渡す。文字画像切出モジュール932は、画像(新)1300Bに対して文字認識結果等テーブル1220を用いて文字画像切り出し処理1332Bを行い、文字画像群(新)1333Bを文字画像比較モジュール934に渡す。文字画像比較モジュール934は、文字画像群(旧)1333Aと文字画像群(新)1333Bに対して文字画像比較処理1334を行い、一致か不一致かのフラグ1335を文字列比較結果修正モジュール936に渡す。

 なお、文字画像比較処理1334で行う比較対象の組み合わせは、全ての組み合わせであってもよい。図14(a)の例に示すように、文字画像群(旧)1333A内の認識文字1400Aと文字画像群(新)1333B内の各文字画像(認識文字1400B、1401B、1402B、1403B等)の組み合わせに対して処理を行い、次に、図14(b)の例に示すように、文字画像群(旧)1333A内の認識文字1401Aと文字画像群(新)1333B内の各文字画像(認識文字1400B、1401B、1402B、1403B等)の組み合わせに対して処理を行う。

<第2-3の実施の形態>

 図15は、第2-3の実施の形態の構成例についての概念的なモジュール構成図である。第2-3の実施の形態は、第2-2の実施の形態の文字画像比較モジュール934内のモジュール構成を詳細にしたものであり、文字画像比較モジュール934は、相関係数算出モジュール1510、相関係数決定モジュール1520、一致判定モジュール1530を有している。

 相関係数算出モジュール1510は、相関係数決定モジュール1520と接続されている。相関係数算出モジュール1510は、画像(旧)100A内の文字画像(旧)933Aと画像(新)100B内の文字画像(新)933Bとの相関係数を算出する。例えば、文字画像(旧)933Aに対して文字画像(新)933Bを少しずつずらしながら相関を計算する。具体的には、図16の例に示すように、2つの文字画像を少しずつずらしながら重ね合わせて輝度の相関を計算する。より具体的には、2つの文字画像のEOR(排他的論理和)処理を行い、残った画素値を計数し、その計数値の逆数を相関値とする。

 相関係数決定モジュール1520は、相関係数算出モジュール1510、一致判定モジュール1530と接続されている。相関係数決定モジュール1520は、一番相関が高かったところの差分量を、この候補文字の相関係数とする。図16の例では、(e)が、それに該当する。

 一致判定モジュール1530は、相関係数決定モジュール1520と接続されている。一致判定モジュール1530は、相関係数決定モジュール1520から渡された相関係数と予め定められた閾値を比較して、「相関係数が閾値より大きい又は以上」ならば、文字画像(旧)933Aと文字画像(新)933Bは一致していると判定する。そして、「相関係数が閾値以下又は未満」ならば、異なる文字だと判定する。

 その後、文字列比較結果修正モジュール936は、一致判定モジュール1530からの一致か不一致かのフラグ935を用いて、文字列比較モジュール120による比較結果を補正する。

 図17は、第2-3の実施の形態による処理例を示すフローチャートである。

 ステップS1702では、相関係数算出モジュール1510が、文字画像(旧)933Aと文字画像(新)933Bの各ずらし量における相関係数を算出する。

 ステップS1704では、相関係数決定モジュール1520が、各ずらし量における相関係数から、この文字画像対の相関係数を決定する。

 ステップS1706では、一致判定モジュール1530が、予め定めた閾値と相関係数を比較して、一致するか否かの判定を行う。

 ステップS1708では、一致判定モジュール1530が、判定結果を出力する。

 図18は、第2-3の実施の形態による処理例を示す説明図である。

 図15の例に示したように、文字画像同士の相関係数を算出する(図18(a)、(b))。そして、例えば、閾値を0.83として、閾値処理1810では、相関係数が閾値以上の文字画像があるかどうかを判定する(図18(c))。閾値以上の文字画像があれば、その文字と一致していると判定する。閾値以上の文字画像がなければ、一致していない文字と判定する。図18の例では、「文書(旧)の0番目の認識文字1400A(契)と文書(新)の0番目の認識文字1400B(契)が一致していると判定する」という閾値処理結果1835を出力する(図18(d))。

 図19は、第2-3の実施の形態による処理例を示す説明図である。

 図15の例に示したように、文字画像同士の相関係数を求める。(図19(a)、(b))。そして、例えば、閾値を0.83として、閾値処理1810では、相関係数が閾値以上の文字画像があるかどうかを判定する(図19(c))。閾値以上の文字画像があれば、その文字と一致していると判定する。閾値以上の文字画像がなければ、一致していない文字と判定する。図19の例では、「文書(旧)の3番目の認識文字1403A(A)と一致する文字はないと判定する」という閾値処理結果1935を出力する(図19(d))。

<第2-4の実施の形態>

 図20は、第2-4の実施の形態の構成例についての概念的なモジュール構成図である。第2-4の実施の形態は、第2-2の実施の形態の文字画像比較モジュール934内のモジュール構成を詳細にしたものであり、文字画像比較モジュール934は、特徴量算出モジュール2010、特徴量距離算出モジュール2020、一致判定モジュール2030を有している。

 特徴量算出モジュール2010は、特徴量距離算出モジュール2020と接続されている。特徴量算出モジュール2010は、画像(旧)100A内の文字画像(旧)933Aと画像(新)100B内の文字画像(新)933Bの特徴量を算出する。例えば、それぞれの文字画像の幅、高さ、黒画素密度、投影ヒストグラム等の特徴量を算出する。図21の例では、文字画像2100の特徴量として、高さ2110、幅2120がある。

 特徴量距離算出モジュール2020は、特徴量算出モジュール2010、一致判定モジュール2030と接続されている。特徴量距離算出モジュール2020は、画像(旧)100A内の文字画像(旧)933Aと画像(新)100B内の文字画像(新)933Bとの間の特徴空間における距離を算出する。

 特徴量距離算出モジュール2020は、例えば、文字画像(旧)933Aの特徴量ベクトル=(p,p,…,p)、文字画像(新)933Bの特徴量ベクトル=(q,q,…,q)、ただし、p,qは各特徴量(0<i≦n)、n個の特徴量である。そして、特徴量の距離Dを次のように算出する。

 特徴量の距離D=|p-q+|p-q+…+|p-q

 一致判定モジュール2030は、特徴量距離算出モジュール2020と接続されている。一致判定モジュール2030は、特徴量距離算出モジュール2020から渡された特徴量の距離と予め定められた閾値を比較して、「特徴量の距離が閾値より小さい」ならば、文字画像(旧)933Aと文字画像(新)933Bは一致していると判定する。そして、「特徴量の距離が閾値以上又はより大きい」ならば、異なる文字だと判定する。

 その後、文字列比較結果修正モジュール936は、一致判定モジュール2030からの一致か不一致かのフラグ935を用いて、文字列比較モジュール120による判定結果を補正する。

 図22は、第2-4の実施の形態による処理例を示すフローチャートである。

 ステップS2202では、特徴量算出モジュール2010が、文字画像(旧)933Aと文字画像(新)933Bのそれぞれの特徴量を算出する。

 ステップS2204では、特徴量距離算出モジュール2020が、文字画像(旧)933Aと文字画像(新)933Bの特徴量距離を算出する。

 ステップS2206では、一致判定モジュール2030が、予め定めた閾値と特徴量距離を比較して、一致するか否かの判定を行う。

 ステップS2208では、一致判定モジュール2030が、判定結果を出力する。

 図23は、第2-4の実施の形態による処理例を示す説明図である。

 図20の例に示したように、文字画像同士の特徴間の距離を算出する(図23(a)、(b))。各文字画像特徴量を算出する。例えば、認識文字1400Aの特徴量ベクトルを、(p01,p02,…,p0n)とする。認識文字1400B等の特徴量ベクトルを、(q01,q02,…,q0n)とする。文字画像同士の特徴量の距離Dを前述の式で算出する。そして、例えば、閾値を0.15として、閾値処理2310では、距離Dが閾値以下の文字画像があるかどうかを判定する(図23(c))。閾値以下の文字画像があれば、その文字と一致していると判定する。閾値以下の文字画像がなければ、一致していない文字と判定する。図23の例では、「文書(旧)の0番目の認識文字1400A(契)と文書(新)の0番目の認識文字1400B(契)が一致していると判定する」という閾値処理結果2335を出力する(図23(d))。

 図24は、第2-4の実施の形態による処理例を示す説明図である。

 図20の例に示したように、文字画像同士の特徴間の距離を算出する(図24(a)、(b))。各文字画像特徴量を算出する。例えば、認識文字1403Aの特徴量ベクトルを、(p31,p32,…,p3n)とする。認識文字1400B等の特徴量ベクトルを、(q01,q02,…,q0n)とする。文字画像同士の特徴量の距離Dを前述の式で算出する。そして、例えば、閾値を0.15として、閾値処理2410では、距離Dが閾値以下の文字画像があるかどうかを判定する(図24(c))。閾値以下の文字画像があれば、その文字と一致していると判定する。閾値以下の文字画像がなければ、一致していない文字と判定する。図24の例では、「文書(旧)の3番目の認識文字1403A(A)と一致する文字はないと判定する」という閾値処理結果2435を出力する(図24(d))。

<第2-5の実施の形態>

 図25は、第2-5の実施の形態の構成例についての概念的なモジュール構成図である。第2-5の実施の形態は、補正候補文字選別モジュール2520が、文字認識結果の確信度を用いて、補正処理の対象となる文字画像を選択するものである。なお、補正処理モジュール2530は、前述の実施の形態(第2-1の実施の形態から第2-4の実施の形態)における補正モジュール530に相当する。つまり、図5の例を用いて説明すれば、文字列比較モジュール120と補正モジュール530の間に補正候補文字選別モジュール2520があり、補正モジュール530の代わりに補正処理モジュール2530がある。

 図25の例では、補正候補文字選別モジュール2520、補正処理モジュール2530を有している。補正処理モジュール2530は、補正候補文字画像切出モジュール2532、文字画像比較モジュール934、文字列比較結果修正モジュール936を有している。

 補正候補文字選別モジュール2520は、補正候補文字画像切出モジュール2532と接続されている。補正候補文字選別モジュール2520は、文字認識モジュール110による認識結果に対する確信度と予め定められた値とを比較して、確信度が低い場合は第1の文字認識結果と第2の文字認識結果が一致する場合も補正対象とする。そして、補正候補となった文字の文字座標リスト2522を補正処理モジュール2530内の補正候補文字画像切出モジュール2532に渡す。具体的には、補正候補文字選別モジュール2520は、各文字の確信度2500(図12(c)の例で示した文字認識結果等テーブル1220の確信度欄1234)と文字座標リスト900を文字認識モジュール110から受け取り、各文字の確信度2500が予め定められた値以下又はより低い場合は、文字列比較モジュール120による処理結果として、第1の文字認識結果と第2の文字認識結果が一致する場合も補正対象とするように文字座標リスト2522を生成する。

 さらに、各文字の確信度2500が予め定められた値以下又はより低い場合は、削除された文字、挿入された文字を補正対象として選択を行うようにしてもよい。したがって、補正対象は、文字認識結果の全ての文字となるように文字座標リスト2522を生成してもよい。

 また、補正候補文字選別モジュール2520は、文字認識モジュール110による認識結果に対する確信度と予め定められた値とを比較して、確信度が高い場合は第1の文字認識結果と第2の文字認識結果が一致する場合は補正対象としないようにしてもよい。具体的には、補正候補文字選別モジュール2520は、各文字の確信度2500が予め定められた値より高い場合又は以上である場合であって、第1の文字認識結果と第2の文字認識結果が一致するときは、文字座標リスト2522に入れない。

 さらに、各文字の確信度2500が予め定められた値より高い場合又は以上である場合の補正対象は、削除された文字、挿入された文字、置換された文字となり、一致した文字は対象としないように文字座標リスト2522を生成するようにしてもよい。

 補正候補文字画像切出モジュール2532は、補正候補文字選別モジュール2520、文字画像比較モジュール934と接続されている。補正候補文字画像切出モジュール2532は、前述の実施の形態における文字画像切出モジュール932に該当するが、対象とする文字画像は、補正候補文字選別モジュール2520によって選別されたものとなる。具体的には、補正候補文字選別モジュール2520から渡された文字の文字座標リスト2522を用いて画像100から文字画像を切り出す。そして、候補文字の文字画像2533を文字画像比較モジュール934に渡す。

 文字画像比較モジュール934は、補正候補文字画像切出モジュール2532、文字列比較結果修正モジュール936と接続されている。

 文字列比較結果修正モジュール936は、文字画像比較モジュール934と接続されている。

 図26は、第2-5の実施の形態による処理例を示すフローチャートである。

 ステップS2602では、補正候補文字選別モジュール2520が、各文字の確信度2500と文字座標リスト900から補正候補となる文字画像を選択する。

 ステップS2604では、補正候補文字画像切出モジュール2532が、画像100から候補文字の文字座標リスト2522を用いて文字画像を切り出す。

 ステップS2606では、文字画像比較モジュール934が、切り出した文字画像933を比較する。

 ステップS2608では、文字列比較結果修正モジュール936が、一致か不一致かのフラグ935を用いて、文字列比較モジュール120の比較結果522を修正する。

<第2-6の実施の形態>

 図27は、第2-6の実施の形態の構成例についての概念的なモジュール構成図である。第2-6の実施の形態は、補正候補文字選別モジュール2720が、各文字の編集モードを用いて、補正処理の対象となる文字画像を選択するものである。図5の例を用いて説明すれば、文字列比較モジュール120と補正モジュール530の間に補正候補文字選別モジュール2720があり、補正モジュール530の代わりに補正処理モジュール2530がある。

 図27の例では、補正候補文字選別モジュール2720、補正処理モジュール2530を有している。補正処理モジュール2530は、補正候補文字画像切出モジュール2532、文字画像比較モジュール934、文字列比較結果修正モジュール936を有している。

 補正候補文字選別モジュール2720は、補正候補文字画像切出モジュール2532と接続されている。補正候補文字選別モジュール2720は、一致する文字の文字画像の組に対しては比較処理(文字画像比較モジュール934による処理)を行わないように選択する。そして、選別された文字の文字座標リスト2722を補正処理モジュール2530内の補正候補文字画像切出モジュール2532に渡す。具体的には、補正候補文字選別モジュール2720は、各文字の編集モード2700(図11の例で示した比較結果テーブル1190の文字列比較結果欄1192)を文字列比較モジュール120から受け取り、文字座標リスト900を文字認識モジュール110から受け取り、編集モードが「一致」である文字を文字座標リスト900から除外した文字の文字座標リスト2722を生成する。したがって、編集モードが「削除」、「挿入」、「置換」である文字を文字座標リスト900から選択した文字の文字座標リスト2722を生成する。

 また、補正候補文字選別モジュール2720は、置換された文字の文字画像の組のみに対して比較処理を行うようにしてもよい。具体的には、補正候補文字選別モジュール2720は、各文字の編集モード2700を文字列比較モジュール120から受け取り、文字座標リスト900を文字認識モジュール110から受け取り、文字座標リスト900から編集モードが「置換」である文字のみを選択した文字座標リスト2722を生成する。

 補正候補文字画像切出モジュール2532は、補正候補文字選別モジュール2720、文字画像比較モジュール934と接続されている。

 文字画像比較モジュール934は、補正候補文字画像切出モジュール2532、文字列比較結果修正モジュール936と接続されている。

 文字列比較結果修正モジュール936は、文字画像比較モジュール934と接続されている。

 図28は、第2-6の実施の形態による処理例を示すフローチャートである。

 ステップS2802では、補正候補文字選別モジュール2720が、各文字の編集モード2700と文字座標リスト900から補正候補となる文字画像を選択する。

 ステップS2804では、補正候補文字画像切出モジュール2532が、画像100から候補文字の文字座標リスト2722を用いて文字画像を切り出す。

 ステップS2806では、文字画像比較モジュール934が、切り出した文字画像933を比較する。

 ステップS2808では、文字列比較結果修正モジュール936が、一致か不一致かのフラグ935を用いて、文字列比較モジュール120の比較結果522を修正する。

 なお、前述の各種の実施の形態を組み合わせてもよく(例えば、ある実施の形態内のモジュールを他の実施の形態内に追加する、入れ替えをする等も含む)、また、各モジュールの処理内容として背景技術で説明した技術を採用してもよい。

 例えば、第2-5の実施の形態と第2-6の実施の形態を組み合わせた場合、以下のようにしてもよい。

(1)確信度と予め定められた閾値とを比較して確信度が低く、かつ、編集モードが「置換」である場合を、少なくとも含むように比較対象として選択する。その他の場合は、以下のいずれか1つ又はその組み合わせを採用する。

(2)確信度と予め定められた閾値とを比較して確信度が高く、かつ、編集モードが「一致」である場合は、比較対象として選択しないようにしてもよい。

(3)精度向上を図るために、確信度が低く、かつ、編集モードが「一致」、「削除」、「挿入」である場合は、比較対象として選択するようにしてもよい。

(4)精度を落とさずに、高速化を図る場合は、確信度が高く、かつ、編集モードが「削除」、「挿入」、「置換」である場合は、比較対象として選択しないようにしてもよい。

 前述の実施の形態は、以下のような発明として把握してもよい。

 第1の画像を文字認識し、該第1の画像と関連する第2の画像を文字認識する文字認識手段と、

 前記第1の画像に対する前記文字認識手段による第1の文字認識結果と前記第2の画像に対する前記文字認識手段による第2の文字認識結果を比較し、2つの文字認識結果間で一致する文字を抽出し、該一致する文字の間にある該第1の文字認識結果又は該第2の文字認識結果である文字を、該第1の画像から削除された文字、該第1の画像には無いが該第2の画像にはある挿入された文字、該第1の画像内の文字を置換した文字のいずれであるかを判定する判定手段と、

 前記判定手段による判定結果を出力する出力手段

 を具備することを特徴とする画像処理装置。

 この画像処理装置によれば、複数の画像を比較する場合にあって、その画像の文字認識結果を、一致する文字、削除された文字、挿入された文字、置換した文字に分けることができる。

 図29を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図29に示す構成は、例えばパーソナルコンピュータ(PC)などによって構成されるものであり、スキャナ等のデータ読み取り部2917と、プリンタなどのデータ出力部2918を備えたハードウェア構成例を示している。

 CPU(Central Processing Unit)2901は、前述の実施の形態において説明した各種のモジュール、すなわち、文字認識モジュール110、文字列比較モジュール120、結果出力モジュール190、補正モジュール530、文字画像切出モジュール932、文字画像比較モジュール934、文字列比較結果修正モジュール936、相関係数算出モジュール1510、相関係数決定モジュール1520、一致判定モジュール1530、特徴量算出モジュール2010、特徴量距離算出モジュール2020、一致判定モジュール2030、補正候補文字選別モジュール2520、補正処理モジュール2530、補正候補文字画像切出モジュール2532、補正候補文字選別モジュール2720等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。

 ROM(Read Only Memory)2902は、CPU2901が使用するプログラムや演算パラメータ等を格納する。RAM(Random Access Memory)2903は、CPU2901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはCPUバスなどから構成されるホストバス2904により相互に接続されている。

 ホストバス2904は、ブリッジ2905を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス2906に接続されている。

 キーボード2908、マウス等のポインティングデバイス2909は、操作者により操作される入力デバイスである。ディスプレイ2910は、液晶表示装置又はCRT(Cathode Ray Tube)などがあり、各種情報をテキストやイメージ情報として表示する。

 HDD(Hard Disk Drive)2911は、ハードディスクを内蔵し、ハードディスクを駆動し、CPU2901によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、比較対象とする画像、文字画像、文字認識結果、補正結果などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

 ドライブ2912は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体2913に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース2907、外部バス2906、ブリッジ2905、及びホストバス2904を介して接続されているRAM2903に供給する。リムーバブル記録媒体2913も、ハードディスクと同様のデータ記録領域として利用可能である。

 接続ポート2914は、外部接続機器2915を接続するポートであり、USB、IEEE1394等の接続部を持つ。接続ポート2914は、インタフェース2907、及び外部バス2906、ブリッジ2905、ホストバス2904等を介してCPU2901等に接続されている。通信部2916は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部2917は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部2918は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

 なお、図29に示す画像処理装置のハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図29に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えば特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図29に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)などに組み込まれていてもよい。

 なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。

 「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。

 なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD-R、DVD-RW、DVD-RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD-ROM)、CDレコーダブル(CD-R)、CDリライタブル(CD-RW)等、ブルーレイ・ディスク(Blu-ray Disc(登録商標))、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。

 そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。

 さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。

 110…文字認識モジュール

 120…文字列比較モジュール

 190…結果出力モジュール

 530…補正モジュール

 932…文字画像切出モジュール

 934…文字画像比較モジュール

 936…文字列比較結果修正モジュール

 1510…相関係数算出モジュール

 1520…相関係数決定モジュール

 1530…一致判定モジュール

 2010…特徴量算出モジュール

 2020…特徴量距離算出モジュール

 2030…一致判定モジュール

 2520…補正候補文字選別モジュール

 2530…補正処理モジュール

 2532…補正候補文字画像切出モジュール

 2720…補正候補文字選別モジュール

Claims (10)


  1.  第1の画像を文字認識し、該第1の画像と関連する第2の画像を文字認識する文字認識手段と、

     前記第1の画像に対する前記文字認識手段による第1の文字認識結果と前記第2の画像に対する前記文字認識手段による第2の文字認識結果を比較する比較手段と、

     前記比較手段による比較結果を出力する出力手段

     を具備することを特徴とする画像処理装置。

  2.  前記第1の画像と前記第2の画像内の対応する文字画像を比較することによって、前記比較手段による比較結果を補正する補正手段

     をさらに具備し、

     前記出力手段は、前記補正手段によって補正された結果を出力する

     ことを特徴とする請求項1に記載の画像処理装置。

  3.  前記補正手段は、前記第1の画像内の文字画像と前記第2の画像内の文字画像との相関係数を算出し、該相関係数に基づいて前記比較手段による比較結果を補正する

     ことを特徴とする請求項2に記載の画像処理装置。

  4.  前記補正手段は、前記第1の画像内の文字画像と前記第2の画像内の文字画像との間の特徴空間における距離を算出し、該距離に基づいて前記比較手段による比較結果を補正する

     ことを特徴とする請求項2に記載の画像処理装置。

  5.  前記補正手段は、前記文字認識手段による認識結果に対する確信度と予め定められた値とを比較して、確信度が低い場合は第1の文字認識結果と第2の文字認識結果が一致する場合も補正対象として補正を行う

     ことを特徴とする請求項2から4のいずれか一項に記載の画像処理装置。

  6.  前記補正手段は、前記文字認識手段による認識結果に対する確信度と予め定められた値とを比較して、確信度が高い場合は第1の文字認識結果と第2の文字認識結果が一致する場合は補正対象としない

     ことを特徴とする請求項2から5のいずれか一項に記載の画像処理装置。

  7.  前記補正手段は、前記一致する文字の文字画像に対しては比較処理を行わない

     ことを特徴とする請求項2から4のいずれか一項に記載の画像処理装置。

  8.  前記補正手段は、前記置換された文字の文字画像のみに対して比較処理を行う

     ことを特徴とする請求項2から4のいずれか一項に記載の画像処理装置。

  9.  コンピュータを、

     第1の画像を文字認識し、該第1の画像と関連する第2の画像を文字認識する文字認識手段と、

     前記第1の画像に対する前記文字認識手段による第1の文字認識結果と前記第2の画像に対する前記文字認識手段による第2の文字認識結果を比較する比較手段と、

     前記比較手段による比較結果を出力する出力手段

     として機能させるための画像処理プログラム。

  10.  コンピュータを、

     第1の画像を文字認識し、該第1の画像と関連する第2の画像を文字認識する文字認識手段と、

     前記第1の画像に対する前記文字認識手段による第1の文字認識結果と前記第2の画像に対する前記文字認識手段による第2の文字認識結果を比較し、2つの文字認識結果間で一致する文字を抽出し、該一致する文字の間にある該第1の文字認識結果又は該第2の文字認識結果である文字を、該第1の画像から削除された文字、該第1の画像には無いが該第2の画像にはある挿入された文字、該第1の画像内の文字を置換した文字のいずれであるかを判定する判定手段と、

     前記判定手段による判定結果を出力する出力手段

     として機能させるための画像処理プログラム。
PCT/JP2013/067071 2012-10-15 2013-06-21 画像処理装置及び画像処理プログラム WO2014061309A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/683,237 US20150213332A1 (en) 2012-10-15 2015-04-10 Image processing apparatus, non-transitory computer readable medium, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-227964 2012-10-15
JP2012227964A JP5962419B2 (ja) 2012-10-15 2012-10-15 画像処理装置及び画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/683,237 Continuation US20150213332A1 (en) 2012-10-15 2015-04-10 Image processing apparatus, non-transitory computer readable medium, and image processing method

Publications (1)

Publication Number Publication Date
WO2014061309A1 true WO2014061309A1 (ja) 2014-04-24

Family

ID=50487887

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/067071 WO2014061309A1 (ja) 2012-10-15 2013-06-21 画像処理装置及び画像処理プログラム

Country Status (3)

Country Link
US (1) US20150213332A1 (ja)
JP (1) JP5962419B2 (ja)
WO (1) WO2014061309A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016005485A1 (en) * 2014-07-10 2016-01-14 Sanofi-Aventis Deutschland Gmbh Apparatus for capturing and processing images

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5920293B2 (ja) * 2013-08-23 2016-05-18 富士ゼロックス株式会社 画像処理装置及びプログラム
JP2018195248A (ja) * 2017-05-22 2018-12-06 パナソニックIpマネジメント株式会社 翻訳表示装置、コンピュータ端末及び翻訳表示方法
JP7206729B2 (ja) * 2018-09-18 2023-01-18 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7172351B2 (ja) * 2018-09-21 2022-11-16 富士フイルムビジネスイノベーション株式会社 文字列認識装置及び文字列認識プログラム
CN111340029A (zh) * 2018-12-19 2020-06-26 富士通株式会社 用于识别收件人地址中的至少部分地址的装置和方法
JP2020187777A (ja) * 2020-07-14 2020-11-19 パナソニックIpマネジメント株式会社 翻訳表示装置、コンピュータ端末、翻訳表示方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06164791A (ja) * 1992-11-17 1994-06-10 Ricoh Co Ltd 画像比較装置
JP2001134617A (ja) * 1999-08-25 2001-05-18 Matsushita Electric Ind Co Ltd 文書検索装置および記録媒体
JP2010231440A (ja) * 2009-03-26 2010-10-14 Fuji Xerox Co Ltd 情報処理装置およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5748807A (en) * 1992-10-09 1998-05-05 Panasonic Technologies, Inc. Method and means for enhancing optical character recognition of printed documents
US8175394B2 (en) * 2006-09-08 2012-05-08 Google Inc. Shape clustering in post optical character recognition processing
US8073256B2 (en) * 2007-11-15 2011-12-06 Canon Kabushiki Kaisha Image processing apparatus and method therefor
US9275368B1 (en) * 2012-09-25 2016-03-01 Amazon Technologies, Inc. Annotation mapping

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06164791A (ja) * 1992-11-17 1994-06-10 Ricoh Co Ltd 画像比較装置
JP2001134617A (ja) * 1999-08-25 2001-05-18 Matsushita Electric Ind Co Ltd 文書検索装置および記録媒体
JP2010231440A (ja) * 2009-03-26 2010-10-14 Fuji Xerox Co Ltd 情報処理装置およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016005485A1 (en) * 2014-07-10 2016-01-14 Sanofi-Aventis Deutschland Gmbh Apparatus for capturing and processing images
US10518034B2 (en) 2014-07-10 2019-12-31 Sanofi-Aventis Deutschland Gmbh Apparatus for capturing and processing images

Also Published As

Publication number Publication date
JP5962419B2 (ja) 2016-08-03
JP2014081714A (ja) 2014-05-08
US20150213332A1 (en) 2015-07-30

Similar Documents

Publication Publication Date Title
WO2014061309A1 (ja) 画像処理装置及び画像処理プログラム
US8059896B2 (en) Character recognition processing system and computer readable medium storing program for character recognition processing
JP5663866B2 (ja) 情報処理装置及び情報処理プログラム
US7925082B2 (en) Information processing apparatus, information processing method, computer readable medium, and computer data signal
US11321558B2 (en) Information processing apparatus and non-transitory computer readable medium
CN103425974A (zh) 图像处理装置和图像处理方法
US11880435B2 (en) Determination of intermediate representations of discovered document structures
US9400927B2 (en) Information processing apparatus and non-transitory computer readable medium
US20210295033A1 (en) Information processing apparatus and non-transitory computer readable medium
JP2011028370A (ja) 画像処理装置及び画像処理プログラム
CN104573132A (zh) 歌曲查找方法及装置
US8805076B2 (en) Image processing apparatus, image processing method and computer readable medium
US9009026B2 (en) Information processing apparatus, non-transitory computer readable medium storing information processing program, and information processing method
JP4780184B2 (ja) 画像処理装置及び画像処理プログラム
JP5440043B2 (ja) 画像処理装置及び画像処理プログラム
JP5481965B2 (ja) 情報処理装置及び情報処理プログラム
US20150043832A1 (en) Information processing apparatus, information processing method, and computer readable medium
JP5510221B2 (ja) 情報処理装置及び情報処理プログラム
JP6007720B2 (ja) 情報処理装置及び情報処理プログラム
JP6421568B2 (ja) 情報処理装置及び情報処理プログラム
JP6201779B2 (ja) 情報処理装置及び情報処理プログラム
US20140169676A1 (en) Information processing apparatus, information processing method, and computer-readable medium
JP4793429B2 (ja) 画像処理装置及び画像処理プログラム
JP5928714B2 (ja) 情報処理装置及び情報処理プログラム
JP6003375B2 (ja) 画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13846278

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13846278

Country of ref document: EP

Kind code of ref document: A1