WO2022137448A1 - 認識装置及び認識方法 - Google Patents
認識装置及び認識方法 Download PDFInfo
- Publication number
- WO2022137448A1 WO2022137448A1 PCT/JP2020/048500 JP2020048500W WO2022137448A1 WO 2022137448 A1 WO2022137448 A1 WO 2022137448A1 JP 2020048500 W JP2020048500 W JP 2020048500W WO 2022137448 A1 WO2022137448 A1 WO 2022137448A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- target
- objects
- quality
- image
- areas
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 42
- 238000011156 evaluation Methods 0.000 claims abstract description 76
- 238000012545 processing Methods 0.000 claims description 93
- 230000010354 integration Effects 0.000 claims description 46
- 238000013441 quality evaluation Methods 0.000 claims description 34
- 238000010586 diagram Methods 0.000 description 10
- 239000006185 dispersion Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Definitions
- This disclosure relates to a recognition device and a recognition method.
- the information processing apparatus described in Patent Document 1 has an image acquisition unit that acquires a plurality of image data captured in a specified period, and the plurality of image data are arranged in chronological order of imaging. It includes an image recognition unit that recognizes the sameness, and an output data selection unit that selects output image data by excluding duplicate image data or inappropriate image data from the plurality of image data according to specific exclusion conditions. ..
- the output data selection unit excludes duplicate image data or inappropriate image data based on the blur of the entire image or the difference quality from the template image.
- the output image data is selected based on the blur obtained from the entire image, so even if the recognition target can be taken clearly, if the blur occurs in other parts, it is judged as a poor quality image. It may be done. In such a case, when performing image recognition from a plurality of images, such image data is excluded from the output image data even though the image recognition can be performed on the recognition target. It becomes impossible to perform effective image recognition.
- one or more aspects of the present disclosure are intended to ensure that image recognition can be performed.
- the recognition device has an evaluation unit that identifies a target area that is an area for recognizing an object in an image and evaluates the quality of the target area, and the target according to the result of the evaluation. It is characterized by including a recognition unit that recognizes the target from the target area when it is determined whether or not to recognize the target and it is determined that the target is recognized.
- the recognition device identifies a plurality of first target areas, which are a plurality of areas for recognizing a plurality of first targets, which are a plurality of objects, from the first image, and the plurality of first target areas.
- the evaluation unit that identifies the plurality of second target areas and evaluates the quality of the plurality of second target areas, and the result of the evaluation of the quality of the plurality of first target areas.
- the plurality of first objects are recognized from the plurality of first target areas.
- a recognition unit that recognizes the plurality of second objects from the plurality of second target areas, and a first one of the plurality of first objects recognized from the first image.
- the recognition device identifies a plurality of first target areas, which are a plurality of areas for recognizing a plurality of first targets, which are a plurality of objects, from the first image, and the plurality of first target areas. While evaluating the quality of each of the one target area, a plurality of second objects, which are a plurality of objects, are recognized from the second image captured so as to partially overlap with the first image.
- An evaluation unit that identifies a plurality of second target areas, which are a plurality of areas, and evaluates the quality of each of the plurality of second target areas, and a quality among the plurality of first target areas.
- One or more first objects evaluated as good quality are recognized from one or more first target areas evaluated as good, and among the plurality of second target areas, one or more first objects evaluated as good quality.
- a recognition unit that recognizes one or more second objects from two target areas, a first processing object that is one of the one or more first objects, and the one or more second objects.
- the second processing target which is one of the targets of the above, satisfies the predetermined conditions, it is determined that the first processing target and the second processing target match, and the second processing target is determined.
- the one or more first objects and the one or more second objects are combined so that the position where one processing object is recognized and the position where the second processing object is recognized are matched. It is characterized by including a recognition result integration unit to be combined.
- the recognition method identifies a target area, which is a region for recognizing an object in an image, evaluates the quality of the target area, and recognizes the target according to the result of the evaluation. It is characterized in that, when it is determined whether or not the object is recognized and the object is recognized, the object is recognized from the target area.
- the recognition method identifies a plurality of first target areas, which are a plurality of areas for recognizing a plurality of first targets, which are a plurality of objects, from the first image, and the plurality of first target areas.
- a plurality of regions where the quality of one target region is evaluated and a plurality of second targets, which are a plurality of targets, are recognized from the second image captured so as to partially overlap with the first image.
- a plurality of second target areas are specified, the quality of the plurality of second target areas is evaluated, and the plurality of first targets are evaluated according to the result of the quality evaluation of the plurality of first target areas.
- the plurality of first targets are recognized from the plurality of first target areas, and the plurality of first targets are recognized.
- the plurality of second targets are recognized.
- the first processing target which is one of the plurality of first objects recognized from the first image by recognizing the plurality of second objects from the second target area, and the second object.
- the first processing target and the second processing target are matched so that the positions where the first processing target is recognized and the positions where the second processing target is recognized are matched by determining that the processing targets match. It is characterized by combining with the second object of.
- the recognition method identifies a plurality of first target areas, which are a plurality of areas for recognizing a plurality of first targets, which are a plurality of objects, from the first image, and the plurality of first target areas.
- the plurality of second target areas which are the regions of the above, are identified, the quality of each of the plurality of second target areas is evaluated, and the quality is evaluated to be good among the plurality of first target areas.
- the first processing target which is one of the one or more first objects, and one of the one or more second objects, recognizing one or more second objects from the above.
- the second processing target is satisfied with the predetermined conditions, it is determined that the first processing target and the second processing target match, and the first processing target is recognized. It is characterized in that the one or more first objects and the one or more second objects are combined so that the position and the position where the second processing object is recognized are matched. ..
- image recognition can be reliably performed.
- FIG. (A) to (C) are schematic views for explaining the process in the recognition result integration part in Embodiment 1. It is a block diagram which shows the 1st example of the hardware composition of a recognition device. It is a block diagram which shows the 2nd example of the hardware composition of a recognition device. It is a flowchart which shows the process in the recognition apparatus which concerns on Embodiment 1.
- FIG. It is a block diagram which shows schematic structure of the evaluation part in Embodiment 2.
- FIG. (A) to (C) are schematic views for explaining the process in the recognition result integration part in Embodiment 2. It is a flowchart which shows the process in the recognition apparatus which concerns on Embodiment 2.
- FIG. 1 is a block diagram schematically showing the configuration of the recognition device 100 according to the first embodiment.
- the recognition device 100 includes an image acquisition unit 101, an evaluation unit 102, a recognition unit 103, a recognition result integration unit 104, and an output unit 105.
- the image acquisition unit 101 acquires an image.
- the evaluation unit 102 identifies a character string area which is an area containing a character string from the image acquired by the image acquisition unit 101, evaluates the quality of the character string area, and evaluates the image according to the evaluation result. Evaluate the quality of.
- the evaluation unit 102 identifies a plurality of character string areas corresponding to each of the plurality of character strings, and evaluates the quality of the image from the evaluation of the quality of the plurality of target areas.
- the character string area is an area for recognizing a character string. Quality is also referred to as image quality.
- FIG. 2 is a block diagram schematically showing the configuration of the evaluation unit 102 in the first embodiment.
- the evaluation unit 102 includes a character string position specifying unit 102a, a character string quality evaluation unit 102b, and a quality evaluation determination unit 102c.
- the character string position specifying unit 102a specifies the character string position, which is the position of the character string in the image acquired by the image acquisition unit 101.
- the position of the character string may be specified by using a known method. For example, the following document describes a method of dividing a manuscript into several domains based on a line object or space to identify a character string. Y. ITANI, et al. , "Ext Line Extension Method Using Domain-based Action Contour Model", 2013 12th International Conference on Document Analysis and Recognition. 2013
- the character string position specifying unit 102a specifies a plurality of character strings from the image, and specifies the position of the character string area which is an area including each of the plurality of character strings. Therefore, the character string position specifying unit 102a is also referred to as a character string area specifying unit.
- the character string quality evaluation unit 102b evaluates the quality of a plurality of character string areas including a plurality of character strings indicated by a plurality of character string positions for each character string area. For example, the character string quality evaluation unit 102b evaluates the quality of the character string region by a method using the Laplacian derivative shown in the following equations (1) to (3). (1) (2) (3) Here, for example, I (x, y) indicates the luminance value of the coordinates (x, y).
- the Laplacian derivative can be used to extract the edges of an image.
- the Laplacian derivative has the property that the value becomes smaller when the quality is poor, and the value becomes larger when the quality is good. Therefore, as shown by the following equation (4), the quality of the character string region can be evaluated by calculating the variance value in the region and comparing the calculated variance value with the threshold value.
- s indicates the dispersion value
- R indicates the area of the character string region
- ave indicates the average value of the Laplacian derivative in the character string region.
- the dispersion value s is equal to or less than the threshold value THs, it can be determined that the quality of the character string region is poor (in other words, the quality is not good), and the dispersion value s is higher than the threshold value THs. If it is large, it can be judged that the quality of the character string area is good.
- s ⁇ THs poor quality s> THs: good quality
- the quality evaluation determination unit 102c determines the quality of the image including the character string area based on the evaluation result of the quality of the character string area. For example, the quality evaluation determination unit 102c determines the quality of the image by a majority vote based on the evaluation result from the character string quality evaluation unit 102b. If the numbers are the same, the quality evaluation determination unit 102c may determine that the image quality is good.
- the recognition unit 103 determines whether or not to recognize the character string according to the result of the evaluation by the evaluation unit 102. Then, when the recognition unit 103 determines that the character string is recognized, the recognition unit 103 recognizes the character string from the character string area. For example, when the evaluation unit 102 determines that the image quality is good, the recognition unit 103 recognizes the characters of the character string included in the image.
- the recognition unit 103 may recognize characters by using a known method. For example, the following documents describe an example of a method of recognizing characters. T. Hirano, et al. , "Structual Charger Recognition Usage Simulated Annealing", Information Technology R & D Center, August, 1997
- the recognition result integration unit 104 identifies the arrangement of the plurality of character strings described in the plurality of images by comparing the plurality of character strings recognized in the plurality of images, and specifies the necessary character strings. By arranging them in the same arrangement, the necessary character strings are integrated.
- the recognition result integration unit 104 is included in the first processed character string, which is one of the plurality of character strings recognized from the first image included in the plurality of images, and in the plurality of images.
- the second processing character string which is one of the plurality of character strings recognized from the second image, satisfies a predetermined condition, the first processing character string and the first processing character string are satisfied. Judge that it matches the second processing character string.
- the predetermined condition here is that the first processing character string and the second processing character string are the same.
- the recognition result integration unit 104 has a plurality of characters recognized from the first image so that the position where the first processed character string is recognized and the position where the second processed character string is recognized are matched. Combine the column with multiple strings recognized from the second image. Then, the recognition result integration unit 104 gives the integration result to the output unit 105.
- 3 (A) to 3 (C) are schematic views for explaining the processing in the recognition result integration unit 104 in the first embodiment.
- the evaluation unit 102 specifies a character string position indicating a character string area from each of the plurality of images Im1 to Im3.
- the character string areas R11 to R14 are specified from the image Im1
- the character string areas R21 to R24 are specified from the image Im2
- the character string areas R31 to R33 are specified from the image Im3.
- the evaluation unit 102 evaluates the quality in each of the character string areas R11 to R14, the character string areas R21 to R24, and the areas 31 to 33, and evaluates the quality of each of the images Im1 to Im3 according to the evaluation result. do.
- the quality of the image Im1 is evaluated based on the evaluation results of the character string areas R11 to R14
- the quality of the image Im2 is evaluated based on the evaluation results of the character string areas R21 to R24
- the character string areas R31 to R31 are evaluated.
- the quality of the image Im3 is evaluated based on the evaluation result of R33.
- the recognition result integration unit 104 compares a plurality of character strings recognized in each of the images Im1 to Im3. For example, as shown in FIG. 3B, the recognition result integration unit 104 includes each of the character strings “ABC”, “CDE”, “EFG”, and “GHI” recognized from the image Im1 and the image. Compare each of the character strings “CDE”, “EFG”, “GHI” and “IJK” recognized from Im2. Further, each of the character strings “CDE”, “EFG”, “GHI” and “IJK” recognized from the image Im2, and each of the character strings “EFG”, "GHI” and “IJK” recognized from the image Im3. And compare.
- the recognition result integration unit 104 specifies the arrangement of the character strings so that the matching character strings do not overlap, and thus these character strings are selected. Integrate.
- the output unit 105 outputs the integration result of the recognition result integration unit 104.
- the output unit 105 displays a screen image representing the integrated character string.
- FIG. 4 is a block diagram showing a first example of the hardware configuration of the recognition device 100.
- the recognition device 100 includes an image acquisition device 110, a storage device 111, a processing circuit 112, and a display device 113.
- the image acquisition device 110 is a device that acquires an image, such as a scanner or a camera. Further, the image acquisition device 110 may be a communication interface or a connection interface for acquiring an image from a network or another device, such as a communication device such as a NIC (Network Interface Card).
- a communication device such as a NIC (Network Interface Card).
- the storage device 111 is a device that stores data necessary for processing by the recognition device 100.
- the processing circuit 112 is a circuit such as a single circuit, a composite circuit, a processor that operates in a program, a parallel processor that operates in a program, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field Programmable Gate Array).
- the display device 113 is a device that displays various screen images.
- the image acquisition unit 101 shown in FIG. 1 can be realized by the image acquisition device 110, and the evaluation unit 102, the recognition unit 103, and the recognition result integration unit 104 shown in FIG. 1 are processing circuits. It can be realized by 112, and the output unit 105 shown in FIG. 1 can be realized by the display device 113.
- FIG. 5 is a block diagram showing a second example of the hardware configuration of the recognition device 100.
- the recognition device 100 includes an image acquisition device 110, a storage device 121, a display device 113, a memory 124, and a processor 125.
- the image acquisition device 110 and the display device 113 in the second example are the same as the image acquisition device 110 and the display device 113 in the first example.
- the storage device 121 is a device that stores programs and data necessary for processing by the recognition device 100.
- the memory 124 provides a workspace for the processor 125 to perform processing.
- the processor 125 is an arithmetic unit such as a CPU (Central Processing Unit) that reads a program stored in the storage device 121 into the memory 124 and executes the program.
- a CPU Central Processing Unit
- the evaluation unit 102, the recognition unit 103, and the recognition result integration unit 104 shown in FIG. 1 are realized by the processor 125 reading the program stored in the storage device 121 into the memory 124 and executing the program. be able to.
- the evaluation unit 102, the recognition unit 103, and the recognition result integration unit 104 can be realized by a processing network.
- FIG. 6 is a flowchart showing processing in the recognition device 100 according to the first embodiment.
- the flowchart of FIG. 6 is started by the image acquisition unit 101 acquiring an image and giving the image to the evaluation unit 102.
- the character string position specifying unit 102a of the evaluation unit 102 detects the character string from the given image (S10). Then, the character string position specifying unit 102a determines whether or not the image has a character string (S11). If there is a character string (Yes in S11), the process proceeds to step S12, and if there is no character string (No in S11), the process proceeds to step S17.
- step S12 the character string position specifying unit 102a specifies a position in the image in which the character string is included. Then, the character string position specifying unit 102a notifies the character string quality evaluation unit 102b of the specified position.
- the character string quality evaluation unit 102b evaluates the quality of the character string area, which is an area containing the character string, according to the notification from the character string position specifying unit 102a (S13).
- the character string quality evaluation unit 102b evaluates the quality of the character string region by the above equations (1) to (4) using the Laplacian derivative. Then, the character string quality evaluation unit 102b notifies the quality evaluation determination unit 102c of the evaluation result of the character string area.
- the quality evaluation determination unit 102c evaluates the quality of the image including the character string area based on the evaluation result of the character string area (S14).
- the quality evaluation determination unit 102c evaluates the quality of the image by a majority decision of the evaluation result of the character string region.
- the quality evaluation determination unit 102c notifies the recognition unit 103 of the evaluation result of the quality of the image.
- the recognition unit 103 determines whether or not the evaluation result of the image quality indicates that the image quality is good (S15). If the image quality is good (Yes in S15), the process proceeds to step S16, and if the image quality is not good (No in S15), the process proceeds to step S17.
- step S16 the recognition unit 103 executes character recognition from the image.
- a known method is used for character recognition. Then, the process proceeds to step S17.
- step S17 the character string position specifying unit 102a of the evaluation unit 102 determines whether or not there is still an image for which character recognition should be executed. If there is still an image to be executed character recognition (Yes in S17), the process returns to step S10, and if there is no image to be executed character recognition (No in S17), the process is performed. The process proceeds to step S18.
- step S18 the recognition result integration unit 104 integrates the character strings recognized by the recognition unit 103.
- the integrated result is given to the output unit 105 and output by the output unit 105.
- the character string to be recognized is first detected and the quality of the character string area including the character string is evaluated, so that the image is clear as a whole. Even so, the image whose focus is not on the character string can be appropriately rejected. This makes it possible to improve the accuracy of the character recognition result. Further, even if the image is not clear as a whole, the image in which the character string region is clear can be the target of character recognition. As a result, character recognition can be reliably performed from an image capable of character recognition.
- the amount of calculation for character recognition is generally larger than that for detecting a character string, according to the first embodiment, there is an effect that the speed can be increased while maintaining the accuracy as a system.
- Embodiment 2 the quality is evaluated for each character string area, and it is determined whether or not the character recognition is performed from one image by the majority vote.
- a method of determining whether or not to perform character recognition is shown by using the result of the character string area unit as it is instead of the image unit.
- the recognition device 200 includes an image acquisition unit 101, an evaluation unit 202, a recognition unit 203, a recognition result integration unit 204, and an output unit 105. ..
- the image acquisition unit 101 and the output unit 105 of the recognition device 200 according to the second embodiment are the same as the image acquisition unit 101 and the output unit 105 of the recognition device 100 according to the first embodiment.
- the evaluation unit 202 identifies the character string area from the acquired image, and evaluates the quality of the specified character string area. For example, the evaluation unit 202 identifies a plurality of character string areas corresponding to each of the plurality of character strings, and evaluates the quality of each of the plurality of character string areas.
- FIG. 7 is a block diagram schematically showing the configuration of the evaluation unit 202 in the second embodiment.
- the evaluation unit 202 includes a character string position specifying unit 102a and a character string quality evaluation unit 102b.
- the character string position specifying unit 102a and the character string quality evaluation unit 102b in the second embodiment are the same as the character string position specifying unit 102a and the character string quality evaluation unit 102b in the first embodiment.
- the character string quality evaluation unit 102b notifies the recognition unit 203 of the evaluation result for each character string area.
- the recognition unit 203 recognizes the characters of the character string included in the character string area for each character string area determined by the character string quality evaluation unit 102b to have good quality. For example, the recognition unit 203 determines that one or a plurality of character strings are recognized from one or a plurality of character string areas evaluated to have good quality among the plurality of character string areas, and the recognition unit 203 determines that the one or a plurality of character strings are recognized. Recognize one or more strings from the area. Also in the second embodiment, the recognition unit 203 may recognize characters by using a known method. The recognized character string is given to the recognition result integration unit 204.
- the recognition result integration unit 204 identifies the arrangement of a plurality of character strings described in the plurality of character string areas by comparing a plurality of character strings recognized in the plurality of character string areas, and requires characters. Consolidate the required strings by arranging the columns in a specific arrangement. Then, the recognition result integration unit 204 gives the integration result to the output unit 105.
- the evaluation of the evaluation unit 202 is the evaluation in the character string area unit, so that some of the recognition results of the recognition unit 203 cannot be obtained from the character strings in the image.
- the recognition result may include misrecognition.
- the recognition result integration unit 204 integrates the recognition results of the character strings by combining the recognition results of a plurality of images based on the recognition results of the matching character strings, so that there is no recognition result. Even if there is a character string area or a misrecognized character string area, it is possible to integrate correctly.
- FIG. 8A the evaluation unit 202 evaluates the quality of each of the character string regions included in each of the plurality of images Im4 to Im6, and the recognition unit 202. 203 performs character recognition for each character string area according to the evaluation result.
- the evaluation unit 202 identifies the character string areas R41 to R44 included in the image Im4, and determines that all the qualities of these character string areas R41 to R44 are good. Therefore, the recognition unit 203 recognizes characters from all of these character string areas R41 to R44, and recognizes each character string.
- the evaluation unit 202 identifies the character string areas R51 to R54 included in the image Im5, determines that the character string areas R51, the character string area R53, and the character string area R54 are of good quality, and determines that the character strings are of good quality. It is judged that the quality of the region R52 is not good. Therefore, the recognition unit 203 executes character recognition for the character string area R51, the character string area R53, and the character string area R54, but does not execute character recognition for the character string area R52.
- the evaluation unit 202 identifies the character string areas R61 to R63 included in the image Im6, and determines that all the qualities of these character string areas R61 to R63 are good. Therefore, the recognition unit 203 recognizes characters from all of these character string areas R61 to R63, and recognizes each character string.
- the recognition result integration unit 204 compares a plurality of character strings recognized in each of the images Im4 to Im6. For example, as shown in FIG. 8B, the recognition result integration unit 204 includes each of the character strings “ABC”, “CDE”, “EFG”, and “GHI” recognized from the image Im4, and an image. Each of the character strings “CDE”, “GHI” and “IJK” recognized from Im5 is compared. In this case, the recognition result integration unit 204 can specify that the character string "EFG" is not recognized in the image Im5.
- the recognition result integration unit 204 includes each of the character strings "CDE”, “GHI” and “IJK” recognized from the image Im5, and the character strings “EFG”, "GHI” and “IJK” recognized from the image Im6. Compare with each of. Even in this case, the recognition result integration unit 204 can specify that the character string "EFG" is not recognized in the image Im5.
- the recognition result integration unit 104 specifies the arrangement of the character strings so that the matching character strings do not overlap, thereby displaying these character strings. Integrate.
- FIG. 9 is a flowchart showing processing in the recognition device 200 according to the second embodiment.
- the flowchart shown in FIG. 9 is started by the image acquisition unit 101 acquiring an image and giving the image to the evaluation unit 202.
- the processes of steps S10 to S13 included in the flowchart shown in FIG. 9 are the same as the processes of steps S10 to S13 included in the flowchart shown in FIG. However, in FIG. 9, after step S13, the process proceeds to step S20.
- step S20 the recognition unit 203 selects one character string area for which the quantity of quality has not yet been determined. Then, the recognition unit 203 determines whether or not the quality of the selected character string area is good based on the evaluation result of the character string area by the character string quality evaluation unit 102b. If the quality of the selected character string area is good (Yes in S21), the process proceeds to step S22, and if the quality of the selected character string area is not good (No in S21), the process proceeds to step S22. Proceed to.
- step S22 the recognition unit 203 executes character recognition from the selected character string area.
- a known method is used for character recognition. Then, the process proceeds to step S23.
- step S23 the recognition unit 203 determines whether or not an unselected character string area remains. If the unselected character string area remains (Yes in S23), the process returns to step S20, and if the unselected character string area does not remain (No in S23), the process proceeds to step S24. move on.
- step S24 the character string position specifying unit 102a of the evaluation unit 202 determines whether or not an image for which character recognition should be executed still remains. If there is still an image to be executed character recognition (Yes in S24), the process returns to step S10, and if there is no image to be executed character recognition (No in S24), the process is performed. The process proceeds to step S25.
- step S25 the recognition result integration unit 204 integrates the character strings recognized by the recognition unit 203. At this time, since a region without a character recognition result or a character string region that is erroneously recognized is generated due to poor quality, the recognition result integration unit 204 takes these into consideration and based on the portion where the character recognition results match. Integrate the results. The integrated result is given to the output unit 105 and output by the output unit 105.
- the recognition result can be obtained even when only a part of the image can be recognized. Can be done.
- the recognition result integration units 104 and 204 integrate the character strings when the character strings match, but the first or second embodiment is not limited to such an example.
- the recognition result integration units 104 and 204 may be capable of integration even when only one part of the character string matches. This makes it possible to correct the misrecognition.
- the recognition result integration units 104 and 204 calculate the Levenshtein distance between the character string A and the character string B as in the following equations (5) and (6), and the distance is equal to or less than the threshold value THL.
- the character string A and the character string B may be integrated.
- L (A, B) is assumed to represent the Levenshtein distance between the character string A and the character string B.
- any method may be used to integrate the character string A and the character string B.
- the character string acquired from the image captured earlier may be prioritized, or the character string acquired from the image captured later may be prioritized.
- the character string recognized from the character string area having the larger value in the above equation (4) may be given priority.
- the recognition target is a character string, but the recognition target is not limited to the character string.
- the object to be recognized may be another object such as an object.
- the evaluation units 102 and 202 specify the target area, which is the area for recognizing the target in the image, and evaluate the quality of the target area.
- the evaluation unit 102 identifies a plurality of target areas corresponding to each of the plurality of objects, and evaluates the quality of the image from the evaluation of the quality of the plurality of target areas.
- the evaluation unit 202 identifies a plurality of target areas corresponding to each of the plurality of targets, and evaluates the quality of each of the plurality of target areas.
- the recognition units 103 and 203 determine whether or not to recognize the target according to the result of the evaluation by the evaluation units 102 and 202, and when it is determined to recognize the target, the recognition unit 103 and 203 recognize the target from the target area. For example, when it is determined that the image quality is good, the recognition unit 103 determines that it recognizes a plurality of objects and recognizes a plurality of objects from the plurality of target areas. Further, the recognition unit 203 determines that it recognizes one or a plurality of targets from one or a plurality of target areas evaluated to have good quality among the plurality of target areas, and one or a plurality of target areas thereof. Recognize multiple objects.
- the recognition device 100 performs the following processing.
- two of the plurality of images acquired by the image acquisition unit 101 are referred to as a first image and a second image. It is assumed that the first image and the second image are imaged so as to partially overlap. Then, the plurality of objects included in the first image are set as a plurality of first objects, and the plurality of objects included in the second image are set as a plurality of second objects.
- the evaluation unit 102 identifies a plurality of first target areas, which are a plurality of areas that recognize the plurality of first targets from the first image, and evaluates the quality of the plurality of first target areas. Further, the evaluation unit 102 identifies a plurality of second target areas, which are a plurality of areas for recognizing the plurality of second targets from the second image, and evaluates the quality of the plurality of second target areas. conduct.
- the recognition unit 103 determines whether or not to recognize the plurality of first targets according to the result of the quality evaluation of the plurality of first target areas, and determines that the plurality of first targets are recognized. In addition, it recognizes a plurality of first targets from a plurality of first target areas. Further, the recognition unit 103 determines whether or not to recognize the plurality of second targets according to the result of the quality evaluation of the plurality of second target areas, and determines that the plurality of second targets are recognized. In this case, a plurality of second targets are recognized from the plurality of second target areas.
- the recognition result integration unit 104 includes a first processing target which is one of a plurality of first objects recognized from the first image, and a plurality of second objects recognized from the second image.
- the recognition result integration unit 104 includes a plurality of first targets and a plurality of second targets so that the position where the first processing target is recognized and the position where the second processing target is recognized are matched. Combine with the target.
- the recognition device 200 performs the following processing.
- the two images acquired by the image acquisition unit 101 are referred to as a first image and a second image. It is assumed that the first image and the second image are imaged so as to partially overlap. Then, the plurality of objects included in the first image are set as a plurality of first objects, and the plurality of objects included in the second image are set as a plurality of second objects.
- the evaluation unit 202 identifies a plurality of first target areas, which are a plurality of areas that recognize the plurality of first targets from the first image, and determines the quality of each of the plurality of first target areas. evaluate. Further, the evaluation unit 202 identifies a plurality of second target areas, which are a plurality of areas for recognizing the plurality of second targets from the second image, and the quality of each of the plurality of second target areas. Evaluate the quality.
- the recognition unit 203 recognizes one or more first targets from one or more first target areas evaluated as having good quality among the plurality of first target areas. Further, the recognition unit 203 recognizes one or a plurality of second targets from one or a plurality of second target areas evaluated to have good quality among the plurality of second target areas.
- the recognition result integration unit 204 is one of the first processing target, which is one of the recognized one or more first objects, and one of the recognized one or more second objects.
- the recognition result integration unit 204 includes one or a plurality of recognized first targets so that the position where the first processing target is recognized and the position where the second processing target is recognized are matched. Combine one or more recognized second objects.
- the above condition may be that the first processing target and the second processing target are the same, and the Levenshtein distance between the first processing target and the second processing target is predetermined. It may be less than or equal to the specified threshold.
- 100,200 recognition device 101 image acquisition unit, 102,202 evaluation unit, 102a character string position identification unit, 102b character string quality evaluation unit, 102c quality evaluation judgment unit, 103,203 recognition unit, 104,204 recognition result integration unit , 105 Output section.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
認識装置（１００）は、画像において対象を認識する領域である対象領域を特定し、その対象領域の品質の評価を行う評価部（１０２）と、評価部（１０２）による評価の結果に応じて、対象を認識するか否かを判断し、対象を認識すると判断した場合に、対象領域から対象を認識する認識部（１０３）とを備える。
Description
本開示は、認識装置及び認識方法に関する。
複数の画像データから、重複した画像データを除外することで、印刷するのに最適な画像データを自動的に選択することができる情報処理装置がある。
例えば、特許文献１に記載された情報処理装置は、指定された期間に撮像された複数の画像データを取得する画像取得部と、その複数の画像データを、撮像の時系列順に並べた際の同一性を認識する画像認識部と、その複数の画像データから、特定の除外条件により、重複した画像データ又は適切でない画像データを除外して、出力画像データを選択する出力データ選択部とを備える。出力データ選択部は、画像全体のボケ、又は、テンプレート画像との差分品質を元に、重複した画像データ又は適切でない画像データを除外している。
例えば、特許文献１に記載された情報処理装置は、指定された期間に撮像された複数の画像データを取得する画像取得部と、その複数の画像データを、撮像の時系列順に並べた際の同一性を認識する画像認識部と、その複数の画像データから、特定の除外条件により、重複した画像データ又は適切でない画像データを除外して、出力画像データを選択する出力データ選択部とを備える。出力データ選択部は、画像全体のボケ、又は、テンプレート画像との差分品質を元に、重複した画像データ又は適切でない画像データを除外している。
従来の技術では、画像全体から得られるボケを元に出力画像データを選択するため、認識対象は鮮明に撮影できていても、他の部分にボケが生じていると、品質が悪い画像と判断されてしまう場合がある。このような場合には、複数の画像から画像認識を行う際に、認識対象に対して画像認識を行うことができるにもかかわらず、そのような画像データが出力画像データから除外されてしまい、有効な画像認識を行うことができなくなってしまう。
そこで、本開示の一又は複数の態様は、画像認識を確実に行うことができるようにすることを目的とする。
本開示の一態様に係る認識装置は、画像において対象を認識する領域である対象領域を特定し、前記対象領域の品質の評価を行う評価部と、前記評価の結果に応じて、前記対象を認識するか否かを判断し、前記対象を認識すると判断した場合に、前記対象領域から前記対象を認識する認識部と、を備えることを特徴とする。
本開示の一態様に係る認識装置は、第一の画像から複数の対象である複数の第一の対象を認識する複数の領域である複数の第一の対象領域を特定し、前記複数の第一の対象領域の品質の評価を行うとともに、前記第一の画像と一部が重複するように撮像された第二の画像から複数の対象である複数の第二の対象を認識する複数の領域である複数の第二の対象領域を特定し、前記複数の第二の対象領域の品質の評価を行う評価部と、前記複数の第一の対象領域の品質の評価の結果に応じて、前記複数の第一の対象を認識するか否かを判断し、前記複数の第一の対象を認識すると判断した場合に、前記複数の第一の対象領域から前記複数の第一の対象を認識するとともに、前記複数の第二の対象領域の品質の評価の結果に応じて、前記複数の第二の対象を認識するか否かを判断し、前記複数の第二の対象を認識すると判断した場合に、前記複数の第二の対象領域から前記複数の第二の対象を認識する認識部と、前記第一の画像から認識された前記複数の第一の対象の内の一つである第一の処理対象と、前記第二の画像から認識された前記複数の第二の対象の内の一つである第二の処理対象とが、予め定められた条件を満たす場合に、前記第一の処理対象と、前記第二の処理対象とが一致すると判断し、前記第一の処理対象が認識された位置と、前記第二の処理対象が認識された位置とが合わさるように、前記複数の第一の対象と、前記複数の第二の対象とを結合する認識結果統合部と、を備えることを特徴とする。
本開示の一態様に係る認識装置は、第一の画像から複数の対象である複数の第一の対象を認識する複数の領域である複数の第一の対象領域を特定し、前記複数の第一の対象領域の各々の品質の良否を評価するとともに、前記第一の画像と一部が重複するように撮像された第二の画像から複数の対象である複数の第二の対象を認識する複数の領域である複数の第二の対象領域を特定し、前記複数の第二の対象領域の各々の品質の良否を評価する評価部と、前記複数の第一の対象領域の内、品質が良いと評価された一又は複数の第一の対象領域から一又は複数の第一の対象を認識し、前記複数の第二の対象領域の内、品質が良いと評価された一又は複数の第二の対象領域から一又は複数の第二の対象を認識する認識部と、前記一又は複数の第一の対象の内の一つである第一の処理対象と、前記一又は複数の第二の対象の内の一つである第二の処理対象とが、予め定められた条件を満たす場合に、前記第一の処理対象と、前記第二の処理対象とが一致すると判断し、前記第一の処理対象が認識された位置と、前記第二の処理対象が認識された位置とが合わさるように、前記一又は複数の第一の対象と、前記一又は複数の第二の対象とを結合する認識結果統合部と、を備えることを特徴とする。
本開示の一態様に係る認識方法は、画像において対象を認識する領域である対象領域を特定し、前記対象領域の品質の評価を行い、前記評価の結果に応じて、前記対象を認識するか否かを判断し、前記対象を認識すると判断した場合に、前記対象領域から前記対象を認識することを特徴とする。
本開示の一態様に係る認識方法は、第一の画像から複数の対象である複数の第一の対象を認識する複数の領域である複数の第一の対象領域を特定し、前記複数の第一の対象領域の品質の評価を行い、前記第一の画像と一部が重複するように撮像された第二の画像から複数の対象である複数の第二の対象を認識する複数の領域である複数の第二の対象領域を特定し、前記複数の第二の対象領域の品質の評価を行い、前記複数の第一の対象領域の品質の評価の結果に応じて、前記複数の第一の対象を認識するか否かを判断し、前記複数の第一の対象を認識すると判断した場合に、前記複数の第一の対象領域から前記複数の第一の対象を認識し、前記複数の第二の対象領域の品質の評価の結果に応じて、前記複数の第二の対象を認識するか否かを判断し、前記複数の第二の対象を認識すると判断した場合に、前記複数の第二の対象領域から前記複数の第二の対象を認識し、前記第一の画像から認識された前記複数の第一の対象の内の一つである第一の処理対象と、前記第二の画像から認識された前記複数の第二の対象の内の一つである第二の処理対象とが、予め定められた条件を満たす場合に、前記第一の処理対象と、前記第二の処理対象とが一致すると判断し、前記第一の処理対象が認識された位置と、前記第二の処理対象が認識された位置とが合わさるように、前記複数の第一の対象と、前記複数の第二の対象とを結合することを特徴とする。
本開示の一態様に係る認識方法は、第一の画像から複数の対象である複数の第一の対象を認識する複数の領域である複数の第一の対象領域を特定し、前記複数の第一の対象領域の各々の品質の良否を評価し、前記第一の画像と一部が重複するように撮像された第二の画像から複数の対象である複数の第二の対象を認識する複数の領域である複数の第二の対象領域を特定し、前記複数の第二の対象領域の各々の品質の良否を評価し、前記複数の第一の対象領域の内、品質が良いと評価された一又は複数の第一の対象領域から一又は複数の第一の対象を認識し、前記複数の第二の対象領域の内、品質が良いと評価された一又は複数の第二の対象領域から一又は複数の第二の対象を認識し、前記一又は複数の第一の対象の内の一つである第一の処理対象と、前記一又は複数の第二の対象の内の一つである第二の処理対象とが、予め定められた条件を満たす場合に、前記第一の処理対象と、前記第二の処理対象とが一致すると判断し、前記第一の処理対象が認識された位置と、前記第二の処理対象が認識された位置とが合わさるように、前記一又は複数の第一の対象と、前記一又は複数の第二の対象とを結合することを特徴とする。
本開示の一又は複数の態様によれば、画像認識を確実に行うことができるようになる。
実施の形態１．
図１は、実施の形態１に係る認識装置１００の構成を概略的に示すブロック図である。
認識装置１００は、画像取得部１０１と、評価部１０２と、認識部１０３と、認識結果統合部１０４と、出力部１０５とを備える。
図１は、実施の形態１に係る認識装置１００の構成を概略的に示すブロック図である。
認識装置１００は、画像取得部１０１と、評価部１０２と、認識部１０３と、認識結果統合部１０４と、出力部１０５とを備える。
画像取得部１０１は、画像を取得する。
評価部１０２は、画像取得部１０１で取得された画像から文字列を含んでいる領域である文字列領域を特定し、その文字列領域の品質を評価して、その評価結果に応じて、画像の品質を評価する。例えば、評価部１０２は、複数の文字列の各々に各々が対応する複数の文字列領域を特定し、その複数の対象領域の品質の評価から、画像の品質の良否を評価する。ここで、文字列領域は、文字列を認識する領域である。また、品質は、画質ともいう。
評価部１０２は、画像取得部１０１で取得された画像から文字列を含んでいる領域である文字列領域を特定し、その文字列領域の品質を評価して、その評価結果に応じて、画像の品質を評価する。例えば、評価部１０２は、複数の文字列の各々に各々が対応する複数の文字列領域を特定し、その複数の対象領域の品質の評価から、画像の品質の良否を評価する。ここで、文字列領域は、文字列を認識する領域である。また、品質は、画質ともいう。
図２は、実施の形態１における評価部１０２の構成を概略的に示すブロック図である。
評価部１０２は、文字列位置特定部１０２ａと、文字列品質評価部１０２ｂと、品質評価判断部１０２ｃとを備える。
評価部１０２は、文字列位置特定部１０２ａと、文字列品質評価部１０２ｂと、品質評価判断部１０２ｃとを備える。
文字列位置特定部１０２ａは、画像取得部１０１で取得された画像における文字列の位置である文字列位置を特定する。文字列の位置の特定は、公知の方法が用いて行われればよい。例えば、下記の文献には、ラインオブジェクト又はスペースに基づいて原稿をいくつかのドメインに分割して、文字列を特定する方法が記載されている。
Ｙ．ＩＴＡＮＩ， ｅｔ ａｌ．，“Ｔｅｘｔ Ｌｉｎｅ Ｅｘｔｒａｃｔｉｏｎ Ｍｅｔｈｏｄ Ｕｓｉｎｇ Ｄｏｍａｉｎ-ｂａｓｅｄ Ａｃｔｉｍｅ Ｃｏｎｔｏｕｒ Ｍｏｄｅｌ”，２０１３ １２ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｏｃｕｍｅｎｔ Ａｎａｌｙｓｉｓ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ， Ａｕｇｕｓｔ． ２０１３
Ｙ．ＩＴＡＮＩ， ｅｔ ａｌ．，“Ｔｅｘｔ Ｌｉｎｅ Ｅｘｔｒａｃｔｉｏｎ Ｍｅｔｈｏｄ Ｕｓｉｎｇ Ｄｏｍａｉｎ-ｂａｓｅｄ Ａｃｔｉｍｅ Ｃｏｎｔｏｕｒ Ｍｏｄｅｌ”，２０１３ １２ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｏｃｕｍｅｎｔ Ａｎａｌｙｓｉｓ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ， Ａｕｇｕｓｔ． ２０１３
なお、ここでは、文字列位置特定部１０２ａは、画像から複数の文字列を特定し、その複数の文字列の各々が含まれる領域である文字列領域の位置を特定するものとする。このため、文字列位置特定部１０２ａを、文字列領域特定部ともいう。
文字列品質評価部１０２ｂは、複数の文字列位置で示される複数の文字列を含んでいる複数の文字列領域の品質を、文字列領域毎に評価する。
例えば、文字列品質評価部１０２ｂは、下記の（１）式～（３）式に示されているラプラシアン微分を用いる方法により、文字列領域の品質を評価する。
（１）
（２）
（３）
ここで、例えば、Ｉ（ｘ，ｙ）は、座標（ｘ，ｙ）の輝度値を示す。
例えば、文字列品質評価部１０２ｂは、下記の（１）式～（３）式に示されているラプラシアン微分を用いる方法により、文字列領域の品質を評価する。
ここで、例えば、Ｉ（ｘ，ｙ）は、座標（ｘ，ｙ）の輝度値を示す。
ラプラシアン微分を用いると、画像のエッジを抽出することができる。ラプラシアン微分は、品質が悪いと値が小さくなり、品質が良いと値が大きくなる性質がある。従って、下記の（４）式で示されるように、領域内の分散値を算出し、算出された分散値を閾値と比較することにより、文字列領域の品質の評価が可能となる。
（４）
ここでｓは、分散値を、Ｒは文字列領域の面積を、ａｖｅは文字列領域内のラプラシアン微分の平均値を示す。
ここでｓは、分散値を、Ｒは文字列領域の面積を、ａｖｅは文字列領域内のラプラシアン微分の平均値を示す。
そして、下記のように、分散値ｓが閾値ＴＨｓ以下であれば、その文字列領域の品質が悪い（言い換えると、品質が良くない）と判断することができ、分散値ｓが閾値ＴＨｓよりも大きければ、その文字列領域の品質が良いと判断することができる。
ｓ≦ＴＨｓ：品質悪
ｓ＞ＴＨｓ：品質良
ｓ≦ＴＨｓ：品質悪
ｓ＞ＴＨｓ：品質良
品質評価判断部１０２ｃは、文字列領域の品質の評価結果に基づいて、その文字列領域が含まれている画像の品質を判断する。例えば、品質評価判断部１０２ｃは、文字列品質評価部１０２ｂからの評価結果に基づいて、多数決により画像の品質を判断する。なお、同数の場合には、品質評価判断部１０２ｃは、画像の品質が良いと判断すればよい。
図１に戻り、認識部１０３は、評価部１０２による評価の結果に応じて、文字列を認識するか否かを判断する。そして、認識部１０３は、文字列を認識すると判断した場合に、文字列領域から文字列を認識する。
例えば、認識部１０３は、評価部１０２により画像の品質が良いと判断された場合に、その画像に含まれている文字列の文字を認識する。認識部１０３は、公知の方法を用いて文字の認識を行えばよいが、例えば、下記の文献には、文字を認識する方法の一例が記載されている。
Ｔ．Ｈｉｒａｎｏ， ｅｔ ａｌ．， “Ｓｔｒｕｃｔｕａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ Ｕｓｉｎｇ Ｓｉｍｕｌａｔｅｄ Ａｎｎｅａｌｉｎｇ”， Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｒ＆Ｄ Ｃｅｎｔｅｒ， Ａｕｇｕｓｔ， １９９７
例えば、認識部１０３は、評価部１０２により画像の品質が良いと判断された場合に、その画像に含まれている文字列の文字を認識する。認識部１０３は、公知の方法を用いて文字の認識を行えばよいが、例えば、下記の文献には、文字を認識する方法の一例が記載されている。
Ｔ．Ｈｉｒａｎｏ， ｅｔ ａｌ．， “Ｓｔｒｕｃｔｕａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ Ｕｓｉｎｇ Ｓｉｍｕｌａｔｅｄ Ａｎｎｅａｌｉｎｇ”， Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｒ＆Ｄ Ｃｅｎｔｅｒ， Ａｕｇｕｓｔ， １９９７
認識結果統合部１０４は、複数の画像で認識された複数の文字列を比較することで、その複数の画像に記載されている複数の文字列の配置を特定し、必要な文字列を特定された配置に並べることで、必要な文字列を統合する。例えば、認識結果統合部１０４は、複数の画像に含まれている第一の画像から認識された複数の文字列の内の一つである第一の処理文字列と、複数の画像に含まれている第二の画像から認識された複数の文字列の内の一つである第二の処理文字列とが、予め定められた条件を満たす場合に、その第一の処理文字列と、第二の処理文字列とが一致すると判断する。ここでの予め定められた条件は、第一の処理文字列と、第二の処理文字列とが同一であることである。そして、認識結果統合部１０４は、第一の処理文字列が認識された位置と、第二の処理文字列が認識された位置とが合わさるように、第一の画像から認識された複数の文字列と、第二の画像から認識された複数の文字列とを結合する。そして、認識結果統合部１０４は、その統合結果を出力部１０５に与える。
図３（Ａ）～（Ｃ）は、実施の形態１における認識結果統合部１０４での処理を説明するための概略図である。
まず、前提として、図３（Ａ）に示されているように、評価部１０２は、複数の画像Ｉｍ１～Ｉｍ３の各々から、文字列領域を示す文字列位置を特定する。図３（Ａ）では、画像Ｉｍ１から文字列領域Ｒ１１～Ｒ１４が特定され、画像Ｉｍ２から文字列領域Ｒ２１～Ｒ２４が特定され、画像Ｉｍ３から文字列領域Ｒ３１～Ｒ３３が特定されている。
まず、前提として、図３（Ａ）に示されているように、評価部１０２は、複数の画像Ｉｍ１～Ｉｍ３の各々から、文字列領域を示す文字列位置を特定する。図３（Ａ）では、画像Ｉｍ１から文字列領域Ｒ１１～Ｒ１４が特定され、画像Ｉｍ２から文字列領域Ｒ２１～Ｒ２４が特定され、画像Ｉｍ３から文字列領域Ｒ３１～Ｒ３３が特定されている。
そして、評価部１０２は、文字列領域Ｒ１１～Ｒ１４、文字列領域Ｒ２１～Ｒ２４及び領域３１～３３の各々において品質を評価して、その評価結果に応じて画像Ｉｍ１～Ｉｍ３の各々の品質を評価する。ここでは、文字列領域Ｒ１１～Ｒ１４の評価結果に基づいて、画像Ｉｍ１の品質が評価され、文字列領域Ｒ２１～Ｒ２４の評価結果に基づいて、画像Ｉｍ２の品質が評価され、文字列領域Ｒ３１～Ｒ３３の評価結果に基づいて、画像Ｉｍ３の品質が評価される。ここでは、画像Ｉｍ１～Ｉｍ３の全ての品質が良く、認識部１０３は、これらの全てで文字認識を行ったものとする。
このような場合、認識結果統合部１０４は、画像Ｉｍ１～Ｉｍ３の各々で認識された複数の文字列を比較する。例えば、認識結果統合部１０４は、図３（Ｂ）に示されているように、画像Ｉｍ１から認識された文字列「ＡＢＣ」、「ＣＤＥ」、「ＥＦＧ」及び「ＧＨＩ」の各々と、画像Ｉｍ２から認識された文字列「ＣＤＥ」、「ＥＦＧ」、「ＧＨＩ」及び「ＩＪＫ」の各々とを比較する。さらに、画像Ｉｍ２から認識された文字列「ＣＤＥ」、「ＥＦＧ」、「ＧＨＩ」及び「ＩＪＫ」の各々と、画像Ｉｍ３から認識された文字列「ＥＦＧ」、「ＧＨＩ」及び「ＩＪＫ」の各々とを比較する。
ここでは、画像Ｉｍ１から認識された文字列「ＣＤＥ」、「ＥＦＧ」及び「ＧＨＩ」と、画像Ｉｍ２から認識された文字列「ＣＤＥ」、「ＥＦＧ」及び「ＧＨＩ」が一致し、画像Ｉｍ２から認識された文字列「ＥＦＧ」、「ＧＨＩ」及び「ＩＪＫ」と、画像Ｉｍ３から認識された文字列「ＥＦＧ」、「ＧＨＩ」及び「ＩＪＫ」とが一致する。このため、認識結果統合部１０４は、図３（Ｃ）に示されているように、一致している文字列が重複しないように、文字列の配置を特定することで、これらの文字列を統合する。
出力部１０５は、認識結果統合部１０４での統合結果を出力する。例えば、出力部１０５は、統合された文字列を表す画面画像を表示する。
図４は、認識装置１００のハードウェア構成の第一の例を示すブロック図である。
認識装置１００は、画像取得装置１１０と、記憶装置１１１と、処理回路１１２と、表示装置１１３とを備える。
認識装置１００は、画像取得装置１１０と、記憶装置１１１と、処理回路１１２と、表示装置１１３とを備える。
画像取得装置１１０は、スキャナ又はカメラのように、画像を取得する装置である。また、画像取得装置１１０は、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等の通信装置のように、ネットワーク又は他の装置から画像を取得する通信インターフェース又は接続インターフェースであってもよい。
記憶装置１１１は、認識装置１００での処理に必要なデータを記憶する装置である。
処理回路１１２は、単一回路、複合回路、プログラムで動作するプロセッサ、プログラムで動作する並列プロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の回路である。
表示装置１１３は、各種画面画像を表示する装置である。
処理回路１１２は、単一回路、複合回路、プログラムで動作するプロセッサ、プログラムで動作する並列プロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の回路である。
表示装置１１３は、各種画面画像を表示する装置である。
例えば、図１に示されている画像取得部１０１は、画像取得装置１１０により実現することができ、図１に示されている評価部１０２、認識部１０３及び認識結果統合部１０４は、処理回路１１２で実現することができ、図１に示されている出力部１０５は、表示装置１１３により実現することができる。
図５は、認識装置１００のハードウェア構成の第二の例を示すブロック図である。
認識装置１００は、画像取得装置１１０と、記憶装置１２１と、表示装置１１３と、メモリ１２４と、プロセッサ１２５とを備える。
第二の例における画像取得装置１１０及び表示装置１１３は、第一の例における画像取得装置１１０及び表示装置１１３と同様である。
認識装置１００は、画像取得装置１１０と、記憶装置１２１と、表示装置１１３と、メモリ１２４と、プロセッサ１２５とを備える。
第二の例における画像取得装置１１０及び表示装置１１３は、第一の例における画像取得装置１１０及び表示装置１１３と同様である。
記憶装置１２１は、認識装置１００での処理に必要なプログラム及びデータを記憶する装置である。
メモリ１２４は、プロセッサ１２５が処理を行う際のワークスペースを提供する。
メモリ１２４は、プロセッサ１２５が処理を行う際のワークスペースを提供する。
プロセッサ１２５は、記憶装置１２１に記憶されているプログラムをメモリ１２４に読み出して、そのプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算装置である。
図１に示されている評価部１０２、認識部１０３及び認識結果統合部１０４は、プロセッサ１２５が記憶装置１２１に記憶されているプログラムをメモリ１２４に読み出して、そのプログラムを実行することで実現することができる。
言い換えると、評価部１０２、認識部１０３及び認識結果統合部１０４は、処理回路網により実現することができる。
図６は、実施の形態１に係る認識装置１００での処理を示すフローチャートである。
図６のフローチャートは、画像取得部１０１が画像を取得して、その画像を評価部１０２に与えることで開始される。
図６のフローチャートは、画像取得部１０１が画像を取得して、その画像を評価部１０２に与えることで開始される。
まず、評価部１０２の文字列位置特定部１０２ａは、与えられた画像から文字列を検出する（Ｓ１０）。
そして、文字列位置特定部１０２ａは、その画像に文字列があるか否かを判断する（Ｓ１１）。文字列がある場合（Ｓ１１でＹｅｓ）には、処理はステップＳ１２に進み、文字列がない場合（Ｓ１１でＮｏ）には、処理はステップＳ１７に進む。
そして、文字列位置特定部１０２ａは、その画像に文字列があるか否かを判断する（Ｓ１１）。文字列がある場合（Ｓ１１でＹｅｓ）には、処理はステップＳ１２に進み、文字列がない場合（Ｓ１１でＮｏ）には、処理はステップＳ１７に進む。
ステップＳ１２では、文字列位置特定部１０２ａは、その画像内において、文字列が含まれている位置を特定する。そして、文字列位置特定部１０２ａは、特定した位置を文字列品質評価部１０２ｂに通知する。
文字列品質評価部１０２ｂは、文字列位置特定部１０２ａからの通知に従って、文字列が含まれている領域である文字列領域の品質を評価する（Ｓ１３）。ここでは、文字列品質評価部１０２ｂは、ラプラシアン微分を用いて、上記の（１）式～（４）式により、文字列領域の品質を評価する。そして、文字列品質評価部１０２ｂは、文字列領域の評価結果を品質評価判断部１０２ｃに通知する。
そして、品質評価判断部１０２ｃは、文字列領域の評価結果に基づいて、その文字列領域が含まれる画像の品質を評価する（Ｓ１４）。ここでは、品質評価判断部１０２ｃは、文字列領域の評価結果の多数決により、画像の品質の良否を評価する。そして、品質評価判断部１０２ｃは、画像の品質の評価結果を認識部１０３に通知する。
認識部１０３は、画像の品質の評価結果が、画像の品質が良いことを示すか否かを判断する（Ｓ１５）。画像の品質が良い場合（Ｓ１５でＹｅｓ）には、処理はステップＳ１６に進み、画像の品質が良くない場合（Ｓ１５でＮｏ）には、処理はステップＳ１７に進む。
ステップＳ１６では、認識部１０３は、画像から文字認識を実行する。文字認識には、公知の方法が用いられる。そして、処理はステップＳ１７に進む。
ステップＳ１７では、評価部１０２の文字列位置特定部１０２ａは、文字認識を実行すべき画像が未だ残っているか否かを判断する。文字認識を実行すべき画像が未だ残っている場合（Ｓ１７でＹｅｓ）には、処理はステップＳ１０に戻り、文字認識を実行すべき画像が残っていない場合（Ｓ１７でＮｏ）には、処理はステップＳ１８に進む。
ステップＳ１８では、認識結果統合部１０４は、認識部１０３で認識された文字列を統合する。統合された結果は、出力部１０５に与えられ、出力部１０５により出力される。
以上のように、実施の形態１によれば、まず認識対象となる文字列を検出し、その文字列を含む文字列領域の品質を評価するようにしたことで、全体的には鮮明な画像であっても、フォーカスが文字列にあたっていない画像を適切に棄却することができる。これにより、文字認識結果の精度を向上させることができる。
また、全体的には不鮮明な画像であっても、文字列領域が鮮明な画像については、文字認識の対象とすることができる。これにより、文字認識を行うことのできる画像から確実に文字認識を行うことができる。
また、全体的には不鮮明な画像であっても、文字列領域が鮮明な画像については、文字認識の対象とすることができる。これにより、文字認識を行うことのできる画像から確実に文字認識を行うことができる。
また、一般的に文字列の検出よりも、文字認識の方が演算量は多いため、実施の形態１によれば、システムとしての精度を保ちつつ高速化できる効果がある。
実施の形態２．
実施の形態１では、文字列領域毎に品質を評価し、その多数決により一つの画像から文字認識を行うか否かを判断した。実施の形態２では、画像単位ではなく文字列領域単位の結果をそのまま利用して、文字認識を行うか否かを判断する方法について示す。
実施の形態１では、文字列領域毎に品質を評価し、その多数決により一つの画像から文字認識を行うか否かを判断した。実施の形態２では、画像単位ではなく文字列領域単位の結果をそのまま利用して、文字認識を行うか否かを判断する方法について示す。
図１に示されているように、実施の形態２に係る認識装置２００は、画像取得部１０１と、評価部２０２と、認識部２０３と、認識結果統合部２０４と、出力部１０５とを備える。
実施の形態２に係る認識装置２００の画像取得部１０１及び出力部１０５は、実施の形態１に係る認識装置１００の画像取得部１０１及び出力部１０５と同様である。
実施の形態２に係る認識装置２００の画像取得部１０１及び出力部１０５は、実施の形態１に係る認識装置１００の画像取得部１０１及び出力部１０５と同様である。
評価部２０２は、取得された画像から文字列領域を特定し、特定された文字列領域の品質を評価する。
例えば、評価部２０２は、複数の文字列の各々に各々が対応する複数の文字列領域を特定し、その複数の文字列領域の各々の品質の良否を評価する。
例えば、評価部２０２は、複数の文字列の各々に各々が対応する複数の文字列領域を特定し、その複数の文字列領域の各々の品質の良否を評価する。
図７は、実施の形態２における評価部２０２の構成を概略的に示すブロック図である。
評価部２０２は、文字列位置特定部１０２ａと、文字列品質評価部１０２ｂとを備える。
実施の形態２における文字列位置特定部１０２ａ及び文字列品質評価部１０２ｂは、実施の形態１における文字列位置特定部１０２ａ及び文字列品質評価部１０２ｂと同様である。但し、実施の形態２では、文字列品質評価部１０２ｂは、文字列領域毎の評価結果を、認識部２０３に通知する。
評価部２０２は、文字列位置特定部１０２ａと、文字列品質評価部１０２ｂとを備える。
実施の形態２における文字列位置特定部１０２ａ及び文字列品質評価部１０２ｂは、実施の形態１における文字列位置特定部１０２ａ及び文字列品質評価部１０２ｂと同様である。但し、実施の形態２では、文字列品質評価部１０２ｂは、文字列領域毎の評価結果を、認識部２０３に通知する。
図１に戻り、認識部２０３は、文字列品質評価部１０２ｂにより品質が良いと判断された文字列領域毎に、その文字列領域に含まれている文字列の文字を認識する。例えば、認識部２０３は、複数の文字列領域の内、品質が良いと評価された一又は複数の文字列領域から一又は複数の文字列を認識すると判断して、その一又は複数の文字列領域から一又は複数の文字列を認識する。
実施の形態２においても、認識部２０３は、公知の方法を用いて文字の認識を行えばよい。認識された文字列は、認識結果統合部２０４に与えられる。
実施の形態２においても、認識部２０３は、公知の方法を用いて文字の認識を行えばよい。認識された文字列は、認識結果統合部２０４に与えられる。
認識結果統合部２０４は、複数の文字列領域で認識された複数の文字列を比較することで、その複数の文字列領域に記載されている複数の文字列の配置を特定し、必要な文字列を特定された配置に並べることで、必要な文字列を統合する。そして、認識結果統合部２０４は、その統合結果を出力部１０５に与える。
実施の形態２においては、評価部２０２の評価は、文字列領域単位での評価になるため、認識部２０３の認識結果には、画像中の文字列で認識結果が得られないものが存在する可能性があり、また、その認識結果には誤認識が含まれる可能性がある。この場合、認識結果統合部２０４は、一致している文字列の認識結果を元に、複数の画像の認識結果を組み合わせることで文字列の認識結果を統合していくことで、認識結果がない文字列領域又は誤認識された文字列領域があっても、正しく統合していくことが可能となる。
図８（Ａ）～（Ｃ）は、実施の形態２における認識結果統合部２０４での処理を説明するための概略図である。
まず、前提として、図８（Ａ）に示されているように、評価部２０２は、複数の画像Ｉｍ４～Ｉｍ６の各々に含まれている文字列領域の各々の品質を評価して、認識部２０３は、その評価結果に応じて、文字列領域毎に文字認識を実行する。
まず、前提として、図８（Ａ）に示されているように、評価部２０２は、複数の画像Ｉｍ４～Ｉｍ６の各々に含まれている文字列領域の各々の品質を評価して、認識部２０３は、その評価結果に応じて、文字列領域毎に文字認識を実行する。
図８（Ａ）では、評価部２０２は、画像Ｉｍ４に含まれている文字列領域Ｒ４１～Ｒ４４を特定し、これらの文字列領域Ｒ４１～Ｒ４４の全ての品質を良いと判断する。このため、認識部２０３は、これらの文字列領域Ｒ４１～Ｒ４４の全てから文字を認識し、それぞれの文字列を認識する。
また、評価部２０２は、画像Ｉｍ５に含まれている文字列領域Ｒ５１～Ｒ５４を特定し、文字列領域Ｒ５１、文字列領域Ｒ５３及び文字列領域Ｒ５４については、品質が良いと判断し、文字列領域Ｒ５２については、品質が良くないと判断する。このため、認識部２０３は、文字列領域Ｒ５１、文字列領域Ｒ５３及び文字列領域Ｒ５４について文字認識を実行するが、文字列領域Ｒ５２については、文字認識を実行しない。
さらに、評価部２０２は、画像Ｉｍ６に含まれている文字列領域Ｒ６１～Ｒ６３を特定し、これらの文字列領域Ｒ６１～Ｒ６３の全ての品質を良いと判断する。このため、認識部２０３は、これらの文字列領域Ｒ６１～Ｒ６３の全てから文字を認識し、それぞれの文字列を認識する。
このような場合、認識結果統合部２０４は、画像Ｉｍ４～Ｉｍ６の各々で認識された複数の文字列を比較する。例えば、認識結果統合部２０４は、図８（Ｂ）に示されているように、画像Ｉｍ４から認識された文字列「ＡＢＣ」、「ＣＤＥ」、「ＥＦＧ」及び「ＧＨＩ」の各々と、画像Ｉｍ５から認識された文字列「ＣＤＥ」、「ＧＨＩ」及び「ＩＪＫ」の各々とを比較する。この場合、認識結果統合部２０４は、画像Ｉｍ５では、文字列「ＥＦＧ」が認識されていないことを特定することができる。
さらに、認識結果統合部２０４は、画像Ｉｍ５から認識された文字列「ＣＤＥ」、「ＧＨＩ」及び「ＩＪＫ」の各々と、画像Ｉｍ６から認識された文字列「ＥＦＧ」、「ＧＨＩ」及び「ＩＪＫ」の各々とを比較する。この場合でも、認識結果統合部２０４は、画像Ｉｍ５では、文字列「ＥＦＧ」が認識されていないことを特定することができる。
ここでは、画像Ｉｍ４から認識された文字列「ＣＤＥ」及び「ＧＨＩ」と、画像Ｉｍ５から認識された文字列「ＣＤＥ」及び「ＧＨＩ」が一致し、画像Ｉｍ５から認識された文字列「ＧＨＩ」及び「ＩＪＫ」と、画像Ｉｍ６から認識された文字列「ＥＦＧ」、「ＧＨＩ」及び「ＩＪＫ」とが一致する。このため、認識結果統合部１０４は、図８（Ｃ）に示されているように、一致している文字列が重複しないように、文字列の配置を特定することで、これらの文字列を統合する。
図９は、実施の形態２に係る認識装置２００での処理を示すフローチャートである。
図９に示されているフローチャートは、画像取得部１０１が画像を取得して、その画像を評価部２０２に与えることで開始される。
なお、図９に示されているフローチャートに含まれているステップＳ１０～Ｓ１３までの処理は、図６に示されているフローチャートに含まれているステップＳ１０～Ｓ１３までの処理と同様である。但し、図９においては、ステップＳ１３の後は、処理はステップＳ２０に進む。
図９に示されているフローチャートは、画像取得部１０１が画像を取得して、その画像を評価部２０２に与えることで開始される。
なお、図９に示されているフローチャートに含まれているステップＳ１０～Ｓ１３までの処理は、図６に示されているフローチャートに含まれているステップＳ１０～Ｓ１３までの処理と同様である。但し、図９においては、ステップＳ１３の後は、処理はステップＳ２０に進む。
ステップＳ２０では、認識部２０３は、未だ品質の量を判断していない一つの文字列領域を選択する。
そして、認識部２０３は、文字列品質評価部１０２ｂによる文字列領域の評価結果に基づいて、選択された文字列領域の品質が良いか否かを判断する。選択された文字列領域の品質が良い場合（Ｓ２１でＹｅｓ）には、処理はステップＳ２２に進み、選択された文字列領域の品質が良くない場合（Ｓ２１でＮｏ）には、処理はステップＳ２２に進む。
そして、認識部２０３は、文字列品質評価部１０２ｂによる文字列領域の評価結果に基づいて、選択された文字列領域の品質が良いか否かを判断する。選択された文字列領域の品質が良い場合（Ｓ２１でＹｅｓ）には、処理はステップＳ２２に進み、選択された文字列領域の品質が良くない場合（Ｓ２１でＮｏ）には、処理はステップＳ２２に進む。
ステップＳ２２では、認識部２０３は、選択された文字列領域から文字認識を実行する。文字認識には、公知の方法が用いられる。そして、処理はステップＳ２３に進む。
ステップＳ２３では、認識部２０３は、未選択の文字列領域が残っているか否かを判断する。未選択の文字列領域が残っている場合（Ｓ２３でＹｅｓ）には、処理はステップＳ２０に戻り、未選択の文字列領域が残っていない場合（Ｓ２３でＮｏ）には、処理はステップＳ２４に進む。
ステップＳ２４では、評価部２０２の文字列位置特定部１０２ａは、文字認識を実行すべき画像が未だ残っているか否かを判断する。文字認識を実行すべき画像が未だ残っている場合（Ｓ２４でＹｅｓ）には、処理はステップＳ１０に戻り、文字認識を実行すべき画像が残っていない場合（Ｓ２４でＮｏ）には、処理はステップＳ２５に進む。
ステップＳ２５では、認識結果統合部２０４は、認識部２０３で認識された文字列を統合する。この際、品質の不良により文字認識結果がない領域又は誤認識された文字列領域が発生するため、認識結果統合部２０４は、それらを考慮し、文字認識結果が一致している部分を元に結果を統合する。統合された結果は、出力部１０５に与えられ、出力部１０５により出力される。
以上のように、実施の形態２によれば、文字列領域毎の品質の評価結果を元に文字認識を行うため、画像の一部分のみ認識が可能である場合であっても認識結果を得ることができる。
実施の形態１又は２では、認識結果統合部１０４、２０４は、文字列が一致した場合に文字列を統合しているが、実施の形態１又は２は、このような例に限定されない。例えば、誤認識を考慮して、認識結果統合部１０４、２０４は、文字列の１部分のみが一致している場合でも統合可としてもよい。これにより、誤認識の修正を行うことができる。
この場合、認識結果統合部１０４、２０４は、下記の（５）式及び（６）式のように、文字列Ａと、文字列Ｂのレーベンシュタイン距離を計算し、その距離が閾値ＴＨＬ以下である場合に、文字列Ａと文字列Ｂとを統合してもよい。
Ｌ（Ａ，Ｂ）≦ＴＨＬ： 統合する （５）
Ｌ（Ａ，Ｂ）＞ＴＨＬ： 統合しない （６）
ここで、Ｌ（Ａ，Ｂ）は、文字列Ａと、文字列Ｂとのレーベンシュタイン距離を表すものとする。
Ｌ（Ａ，Ｂ）≦ＴＨＬ： 統合する （５）
Ｌ（Ａ，Ｂ）＞ＴＨＬ： 統合しない （６）
ここで、Ｌ（Ａ，Ｂ）は、文字列Ａと、文字列Ｂとのレーベンシュタイン距離を表すものとする。
この場合において、文字列Ａと、文字列Ｂとを統合する方法は、どのような方法でもよい。例えば、先に撮像された画像から取得された文字列が優先されてもよく、後に撮像された画像から取得された文字列が優先されてもよい。また、上記（４）式の値が大きい方の文字列領域から認識された文字列が優先されてもよい。
実施の形態１及び２では、認識する対象を文字列としたが、認識する対象は、文字列に限定されない。例えば、認識する対象は、物体等、他の物であってもよい。
このような場合には、評価部１０２，２０２は、画像において対象を認識する領域である対象領域を特定し、その対象領域の品質の評価を行う。例えば、評価部１０２は、複数の対象の各々に各々が対応する複数の対象領域を特定し、複数の対象領域の品質の評価から、画像の品質の良否を評価する。また、評価部２０２は、複数の対象の各々に各々が対応する複数の対象領域を特定し、複数の対象領域の各々の品質の良否を評価する。
また、認識部１０３，２０３は、評価部１０２，２０２による評価の結果に応じて、対象を認識するか否かを判断し、対象を認識すると判断した場合に、対象領域から対象を認識する。例えば、認識部１０３は、画像の品質が良いと判断された場合に、複数の対象を認識すると判断して、複数の対象領域から複数の対象を認識する。また、認識部２０３は、複数の対象領域の内、品質が良いと評価された一又は複数の対象領域から一又は複数の対象を認識すると判断して、その一又は複数の対象領域から一又は複数の対象を認識する。
具体的には、実施の形態１においては、認識装置１００は、以下のような処理を行う。
ここで、画像取得部１０１が取得する複数の画像の内の二つの画像を、第一の画像及び第二の画像とする。第一の画像と、第二の画像とは、一部が重複するように撮像されているものとする。そして、第一の画像に含まれている複数の対象を複数の第一の対象とし、第二の画像に含まれている複数の対象を複数の第二の対象とする。
ここで、画像取得部１０１が取得する複数の画像の内の二つの画像を、第一の画像及び第二の画像とする。第一の画像と、第二の画像とは、一部が重複するように撮像されているものとする。そして、第一の画像に含まれている複数の対象を複数の第一の対象とし、第二の画像に含まれている複数の対象を複数の第二の対象とする。
評価部１０２は、第一の画像から複数の第一の対象を認識する複数の領域である複数の第一の対象領域を特定し、その複数の第一の対象領域の品質の評価を行う。また、評価部１０２は、第二の画像から複数の第二の対象を認識する複数の領域である複数の第二の対象領域を特定し、その複数の第二の対象領域の品質の評価を行う。
認識部１０３は、複数の第一の対象領域の品質の評価の結果に応じて、複数の第一の対象を認識するか否かを判断し、複数の第一の対象を認識すると判断した場合に、複数の第一の対象領域から複数の第一の対象を認識する。また、認識部１０３は、複数の第二の対象領域の品質の評価の結果に応じて、複数の第二の対象を認識するか否かを判断し、複数の第二の対象を認識すると判断した場合に、複数の第二の対象領域から複数の第二の対象を認識する。
認識結果統合部１０４は、第一の画像から認識された複数の第一の対象の内の一つである第一の処理対象と、第二の画像から認識された複数の第二の対象の内の一つである第二の処理対象とが、予め定められた条件を満たす場合に、第一の処理対象と、第二の処理対象とが一致すると判断する。そして、認識結果統合部１０４は、第一の処理対象が認識された位置と、第二の処理対象が認識された位置とが合わさるように、複数の第一の対象と、複数の第二の対象とを結合する。
また、実施の形態２においては、認識装置２００は、以下のような処理を行う。
ここでも、画像取得部１０１が取得する二つの画像を第一の画像及び第二の画像とする。第一の画像と、第二の画像とは、一部が重複するように撮像されているものとする。そして、第一の画像に含まれている複数の対象を複数の第一の対象とし、第二の画像に含まれている複数の対象を複数の第二の対象とする。
ここでも、画像取得部１０１が取得する二つの画像を第一の画像及び第二の画像とする。第一の画像と、第二の画像とは、一部が重複するように撮像されているものとする。そして、第一の画像に含まれている複数の対象を複数の第一の対象とし、第二の画像に含まれている複数の対象を複数の第二の対象とする。
評価部２０２は、第一の画像から複数の第一の対象を認識する複数の領域である複数の第一の対象領域を特定し、その複数の第一の対象領域の各々の品質の良否を評価する。また、評価部２０２は、第二の画像から複数の第二の対象を認識する複数の領域である複数の第二の対象領域を特定し、その複数の第二の対象領域の各々の品質の良否を評価する。
認識部２０３は、複数の第一の対象領域の内、品質が良いと評価された一又は複数の第一の対象領域から一又は複数の第一の対象を認識する。また、認識部２０３は、複数の第二の対象領域の内、品質が良いと評価された一又は複数の第二の対象領域から一又は複数の第二の対象を認識する。
認識結果統合部２０４は、認識された一又は複数の第一の対象の内の一つである第一の処理対象と、認識された一又は複数の第二の対象の内の一つである第二の処理対象とが、予め定められた条件を満たす場合に、第一の処理対象と、第二の処理対象とが一致すると判断する。そして、認識結果統合部２０４は、第一の処理対象が認識された位置と、第二の処理対象が認識された位置とが合わさるように、認識された一又は複数の第一の対象と、認識された一又は複数の第二の対象とを結合する。
上記の条件は、第一の処理対象と、第二の処理対象とが同一であることであってもよく、第一の処理対象と、第二の処理対象とのレーベンシュタイン距離が、予め定められた閾値以下であることであってもよい。
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
１００，２００ 認識装置、 １０１ 画像取得部、 １０２，２０２ 評価部、 １０２ａ 文字列位置特定部、 １０２ｂ 文字列品質評価部、 １０２ｃ 品質評価判断部、 １０３，２０３ 認識部、 １０４，２０４ 認識結果統合部、 １０５ 出力部。
Claims (12)
- 画像において対象を認識する領域である対象領域を特定し、前記対象領域の品質の評価を行う評価部と、
前記評価の結果に応じて、前記対象を認識するか否かを判断し、前記対象を認識すると判断した場合に、前記対象領域から前記対象を認識する認識部と、を備えること
を特徴とする認識装置。 - 前記評価部は、複数の前記対象の各々に各々が対応する複数の前記対象領域を特定し、前記複数の対象領域の評価から、前記画像の品質の良否を評価し、
前記認識部は、前記画像の品質が良いと判断された場合に、前記複数の対象を認識すると判断して、前記複数の対象領域から前記複数の対象を認識すること
を特徴とする請求項１に記載の認識装置。 - 前記評価部は、複数の前記対象の各々に各々が対応する複数の前記対象領域を特定し、前記複数の対象領域の各々の品質の良否を評価し、
前記認識部は、前記複数の対象領域の内、品質が良いと評価された一又は複数の対象領域から一又は複数の対象を認識すると判断して、前記一又は複数の対象領域から前記一又は複数の対象を認識すること
を特徴とする請求項１に記載の認識装置。 - 前記対象は、文字列であること
を特徴とする請求項１から３の何れか一項に記載の認識装置。 - 第一の画像から複数の対象である複数の第一の対象を認識する複数の領域である複数の第一の対象領域を特定し、前記複数の第一の対象領域の品質の評価を行うとともに、前記第一の画像と一部が重複するように撮像された第二の画像から複数の対象である複数の第二の対象を認識する複数の領域である複数の第二の対象領域を特定し、前記複数の第二の対象領域の品質の評価を行う評価部と、
前記複数の第一の対象領域の品質の評価の結果に応じて、前記複数の第一の対象を認識するか否かを判断し、前記複数の第一の対象を認識すると判断した場合に、前記複数の第一の対象領域から前記複数の第一の対象を認識するとともに、前記複数の第二の対象領域の品質の評価の結果に応じて、前記複数の第二の対象を認識するか否かを判断し、前記複数の第二の対象を認識すると判断した場合に、前記複数の第二の対象領域から前記複数の第二の対象を認識する認識部と、
前記第一の画像から認識された前記複数の第一の対象の内の一つである第一の処理対象と、前記第二の画像から認識された前記複数の第二の対象の内の一つである第二の処理対象とが、予め定められた条件を満たす場合に、前記第一の処理対象と、前記第二の処理対象とが一致すると判断し、前記第一の処理対象が認識された位置と、前記第二の処理対象が認識された位置とが合わさるように、前記複数の第一の対象と、前記複数の第二の対象とを結合する認識結果統合部と、を備えること
を特徴とする認識装置。 - 第一の画像から複数の対象である複数の第一の対象を認識する複数の領域である複数の第一の対象領域を特定し、前記複数の第一の対象領域の各々の品質の良否を評価するとともに、前記第一の画像と一部が重複するように撮像された第二の画像から複数の対象である複数の第二の対象を認識する複数の領域である複数の第二の対象領域を特定し、前記複数の第二の対象領域の各々の品質の良否を評価する評価部と、
前記複数の第一の対象領域の内、品質が良いと評価された一又は複数の第一の対象領域から一又は複数の第一の対象を認識し、前記複数の第二の対象領域の内、品質が良いと評価された一又は複数の第二の対象領域から一又は複数の第二の対象を認識する認識部と、
前記一又は複数の第一の対象の内の一つである第一の処理対象と、前記一又は複数の第二の対象の内の一つである第二の処理対象とが、予め定められた条件を満たす場合に、前記第一の処理対象と、前記第二の処理対象とが一致すると判断し、前記第一の処理対象が認識された位置と、前記第二の処理対象が認識された位置とが合わさるように、前記一又は複数の第一の対象と、前記一又は複数の第二の対象とを結合する認識結果統合部と、を備えること
を特徴とする認識装置。 - 前記条件は、前記第一の処理対象と、前記第二の処理対象とが同一であること
を特徴とする請求項５又は６に記載の認識装置。 - 前記条件は、前記第一の処理対象と、前記第二の処理対象とのレーベンシュタイン距離が、予め定められた閾値以下であること
を特徴とする請求項５又は６に記載の認識装置。 - 前記対象は、文字列であること
を特徴とする請求項５から８の何れか一項に記載の認識装置。 - 画像において対象を認識する領域である対象領域を特定し、
前記対象領域の品質の評価を行い、
前記評価の結果に応じて、前記対象を認識するか否かを判断し、
前記対象を認識すると判断した場合に、前記対象領域から前記対象を認識すること
を特徴とする認識方法。 - 第一の画像から複数の対象である複数の第一の対象を認識する複数の領域である複数の第一の対象領域を特定し、
前記複数の第一の対象領域の品質の評価を行い、
前記第一の画像と一部が重複するように撮像された第二の画像から複数の対象である複数の第二の対象を認識する複数の領域である複数の第二の対象領域を特定し、
前記複数の第二の対象領域の品質の評価を行い、
前記複数の第一の対象領域の品質の評価の結果に応じて、前記複数の第一の対象を認識するか否かを判断し、
前記複数の第一の対象を認識すると判断した場合に、前記複数の第一の対象領域から前記複数の第一の対象を認識し、
前記複数の第二の対象領域の品質の評価の結果に応じて、前記複数の第二の対象を認識するか否かを判断し、
前記複数の第二の対象を認識すると判断した場合に、前記複数の第二の対象領域から前記複数の第二の対象を認識し、
前記第一の画像から認識された前記複数の第一の対象の内の一つである第一の処理対象と、前記第二の画像から認識された前記複数の第二の対象の内の一つである第二の処理対象とが、予め定められた条件を満たす場合に、前記第一の処理対象と、前記第二の処理対象とが一致すると判断し、前記第一の処理対象が認識された位置と、前記第二の処理対象が認識された位置とが合わさるように、前記複数の第一の対象と、前記複数の第二の対象とを結合すること
を特徴とする認識方法。 - 第一の画像から複数の対象である複数の第一の対象を認識する複数の領域である複数の第一の対象領域を特定し、
前記複数の第一の対象領域の各々の品質の良否を評価し、
前記第一の画像と一部が重複するように撮像された第二の画像から複数の対象である複数の第二の対象を認識する複数の領域である複数の第二の対象領域を特定し、
前記複数の第二の対象領域の各々の品質の良否を評価し、
前記複数の第一の対象領域の内、品質が良いと評価された一又は複数の第一の対象領域から一又は複数の第一の対象を認識し、
前記複数の第二の対象領域の内、品質が良いと評価された一又は複数の第二の対象領域から一又は複数の第二の対象を認識し、
前記一又は複数の第一の対象の内の一つである第一の処理対象と、前記一又は複数の第二の対象の内の一つである第二の処理対象とが、予め定められた条件を満たす場合に、前記第一の処理対象と、前記第二の処理対象とが一致すると判断し、前記第一の処理対象が認識された位置と、前記第二の処理対象が認識された位置とが合わさるように、前記一又は複数の第一の対象と、前記一又は複数の第二の対象とを結合すること
を特徴とする認識方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022570897A JP7229445B2 (ja) | 2020-12-24 | 2020-12-24 | 認識装置及び認識方法 |
| PCT/JP2020/048500 WO2022137448A1 (ja) | 2020-12-24 | 2020-12-24 | 認識装置及び認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2020/048500 WO2022137448A1 (ja) | 2020-12-24 | 2020-12-24 | 認識装置及び認識方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022137448A1 true WO2022137448A1 (ja) | 2022-06-30 |
Family
ID=82159288
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2020/048500 WO2022137448A1 (ja) | 2020-12-24 | 2020-12-24 | 認識装置及び認識方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7229445B2 (ja) |
| WO (1) | WO2022137448A1 (ja) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000155806A (ja) * | 1998-11-19 | 2000-06-06 | Ricoh Co Ltd | 文字認識方法、文字認識装置、辞書作成方法、辞書作成装置、文字品質判定方法、及び、記録媒体 |
| JP2006178543A (ja) * | 2004-12-20 | 2006-07-06 | Canon Marketing Japan Inc | 画像処理方法、画像処理装置 |
| JP2007156918A (ja) * | 2005-12-06 | 2007-06-21 | Sharp Corp | 文字認識装置、文字認識方法、文字認識プログラム、および記録媒体 |
| KR20150059302A (ko) * | 2013-11-22 | 2015-06-01 | 최재숙 | 촬상 이미지를 적합화 하여 문자를 인식하는 방법 및 그 방법을 실행하는 정보 처리 기기 |
-
2020
- 2020-12-24 JP JP2022570897A patent/JP7229445B2/ja active Active
- 2020-12-24 WO PCT/JP2020/048500 patent/WO2022137448A1/ja active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000155806A (ja) * | 1998-11-19 | 2000-06-06 | Ricoh Co Ltd | 文字認識方法、文字認識装置、辞書作成方法、辞書作成装置、文字品質判定方法、及び、記録媒体 |
| JP2006178543A (ja) * | 2004-12-20 | 2006-07-06 | Canon Marketing Japan Inc | 画像処理方法、画像処理装置 |
| JP2007156918A (ja) * | 2005-12-06 | 2007-06-21 | Sharp Corp | 文字認識装置、文字認識方法、文字認識プログラム、および記録媒体 |
| KR20150059302A (ko) * | 2013-11-22 | 2015-06-01 | 최재숙 | 촬상 이미지를 적합화 하여 문자를 인식하는 방법 및 그 방법을 실행하는 정보 처리 기기 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7229445B2 (ja) | 2023-02-27 |
| JPWO2022137448A1 (ja) | 2022-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fang et al. | No-reference quality assessment of contrast-distorted images based on natural scene statistics | |
| US8170294B2 (en) | Method of detecting redeye in a digital image | |
| US10558841B2 (en) | Method and apparatus for recognizing fingerprint ridge point | |
| JP2021524630A (ja) | マルチ分解能登録を介したマルチサンプル全体スライド画像処理 | |
| WO2020248387A1 (zh) | 基于多路摄像的人脸识别方法、装置、终端及存储介质 | |
| US20100142807A1 (en) | Image identification method and imaging apparatus | |
| WO2004079658A1 (ja) | 生体画像照合装置およびその照合方法 | |
| JP2006048322A (ja) | オブジェクト画像検出装置、顔画像検出プログラムおよび顔画像検出方法 | |
| CN114862845B (zh) | 手机触摸屏的缺陷检测方法、装置、设备及存储介质 | |
| CN111079816A (zh) | 图像的审核方法、装置和服务器 | |
| US8873839B2 (en) | Apparatus of learning recognition dictionary, and method of learning recognition dictionary | |
| CN108961209B (zh) | 行人图像质量评价方法、电子设备及计算机可读介质 | |
| CN108665459B (zh) | 一种图像模糊检测方法、计算设备及可读存储介质 | |
| WO2018107574A1 (zh) | 一种对印防伪特征的检测方法及装置 | |
| WO2022137448A1 (ja) | 認識装置及び認識方法 | |
| JP2006323779A (ja) | 画像処理方法、画像処理装置 | |
| US20100091125A1 (en) | Template matching device, camera with template matching device, and program for allowing computer to carry out template matching | |
| JP2002269545A (ja) | 顔画像処理方法及び顔画像処理装置 | |
| CN110008796B (zh) | 生物特征影像处理方法及其电子装置 | |
| CN110659683A (zh) | 图像处理方法、装置及电子设备 | |
| US11216639B2 (en) | Template matching of a biometric object | |
| JP2007004721A (ja) | 対象物検出装置、及び対象物検出方法 | |
| JP2005332382A (ja) | 画像処理方法および装置並びにプログラム | |
| JPH11306348A (ja) | 対象物検出装置及び対象物検出方法 | |
| CN114037868B (zh) | 图像识别模型的生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20966936 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2022570897 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20966936 Country of ref document: EP Kind code of ref document: A1 |