WO2014030400A1 - 物体識別装置、物体識別方法、及びプログラム - Google Patents

物体識別装置、物体識別方法、及びプログラム Download PDF

Info

Publication number
WO2014030400A1
WO2014030400A1 PCT/JP2013/063995 JP2013063995W WO2014030400A1 WO 2014030400 A1 WO2014030400 A1 WO 2014030400A1 JP 2013063995 W JP2013063995 W JP 2013063995W WO 2014030400 A1 WO2014030400 A1 WO 2014030400A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image
feature amount
area
feature
Prior art date
Application number
PCT/JP2013/063995
Other languages
English (en)
French (fr)
Inventor
亮太 間瀬
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to EP13830883.8A priority Critical patent/EP2889834A4/en
Priority to US14/422,842 priority patent/US9679221B2/en
Priority to JP2014531523A priority patent/JP6278276B2/ja
Priority to CN201380043864.5A priority patent/CN104584071B/zh
Publication of WO2014030400A1 publication Critical patent/WO2014030400A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching

Definitions

  • the present invention relates to an apparatus, a method, and a program for accurately identifying an object in an image.
  • Patent Literature 1 and Non-Patent Literature 1 disclose local feature quantity extraction devices using SIFT (Scale Invariant Feature Transform) feature quantities.
  • a local feature quantity extraction device first, only information relating to luminance is extracted from each pixel of an image, a large number of characteristic points (feature points) are detected from the extracted luminance information, and feature points that are information relating to each feature point Output information.
  • the feature point information indicates, for example, the coordinate position and scale of the detected local feature point, the orientation of the feature point, and the like.
  • a local region for extracting the feature amount is acquired from the feature point information such as the coordinate value, scale, and orientation of each detected feature point, and a local feature amount is generated (description).
  • a local feature amount 1 extracted from a captured image that is, an input image
  • the local feature quantity 2 generated from the reference image is compared. Specifically, first, for all combinations of each feature amount for the region near the feature point constituting the local feature amount 1 and each feature amount for the region near the feature point constituting the local feature amount 2, A distance calculation in space is performed, and the feature quantity in the nearest neighborhood is determined as a corresponding feature quantity. As for the corresponding feature amount, it is determined that the feature point that is the source of the feature amount generation is also supported.
  • the coordinate position when the coordinate position of the feature point in the input image is moved according to a specific geometric transformation matches the coordinate position of the feature point in the reference image. Whether or not the corresponding feature point is correct is determined based on whether or not it is.
  • the number of feature points determined to correspond correctly is equal to or greater than a certain value, it is determined that the same subject is captured (that is, the subject in the input image matches the subject in the reference image).
  • the conventional object identification method using local feature amounts identifies an object based on the correspondence between the local feature amount extracted from the luminance information of the input image and the local feature amount extracted from the luminance information of the reference image. Is going.
  • the object shown in the input image and the object shown in the reference image are different, but if there is only a slight difference between them, there are many corresponding feature points. Therefore, there is a problem that the images are mistakenly identified as being images of the same object.
  • the present invention has been made in view of the above, and it is an object of the present invention to provide a technique for more accurately identifying an image in which the same object as that in the image is captured.
  • the object identification device performs local feature amount collation for determining whether or not each feature amount of a feature point extracted from an input image and each feature amount of a feature point extracted from a reference image correspond correctly. And a geometric deviation between the input image and the reference image when the score based on the number of combinations of feature amounts determined to be correctly matched by the local feature amount matching unit is equal to or greater than a predetermined value.
  • An input image different region feature amount extraction means for extracting a feature amount of a region in the input image corresponding to the position of the image region obtained by performing geometric transformation for correcting the predetermined region of the reference image;
  • the feature quantity extracted by the input image different area feature quantity extraction means is matched with the feature quantity extracted from the predetermined area of the reference image, and a feature quantity reference that outputs a matching result is output. Characterized by comprising a means.
  • local feature amount collation for determining whether or not each feature amount of feature points extracted from an input image and each feature amount of feature points extracted from a reference image correspond correctly And a geometric deviation between the input image and the reference image when a score based on the number of combinations of feature amounts determined to be correctly matched by the local feature amount matching step is equal to or greater than a predetermined value
  • An input image different region feature amount extraction step for extracting a feature amount of the region in the input image corresponding to the position of the image region obtained by performing geometric transformation for correcting the predetermined region of the reference image;
  • the feature quantity extracted by the input image different area feature quantity extraction step is matched with the feature quantity extracted from the predetermined area of the reference image, and a matching result is obtained. Characterized in that it comprises a feature checker step of force.
  • the program according to the present invention allows a computer to determine whether or not each feature amount of a feature point extracted from an input image and each feature amount of a feature point extracted from a reference image correctly correspond to each other.
  • a geometrical deviation between the input image and the reference image Input image different area feature quantity extraction means for extracting the feature quantity of the area in the input image corresponding to the position of the image area obtained by performing geometric transformation for correcting the predetermined area of the reference image,
  • the feature quantity extracted by the input image different area feature quantity extraction unit and the feature quantity extracted from the predetermined area of the reference image are collated, and a collation result is output.
  • the function as the feature checker means is used to determine whether or not each feature amount of a feature point extracted from an input image and each feature amount of a feature point extracted from a reference image correctly correspond to each other.
  • FIG. 10 is a flowchart illustrating an operation example of an input image different area determination unit 13; 3 is a block diagram illustrating a configuration example of a local feature quantity extraction unit 11.
  • FIG. 3 is a block diagram illustrating a configuration example of a local feature amount matching unit 12.
  • FIG. 5 is a block diagram illustrating a configuration example of an input image different area feature quantity extraction unit 14.
  • FIG. 3 is a block diagram illustrating a configuration example of a feature amount matching unit 15.
  • FIG. It is a block diagram showing the structural example of the object identification apparatus in the modification of 1st Embodiment.
  • FIG. 3 is a block diagram illustrating a configuration example of a different area estimation unit 17.
  • FIG. 4 is a block diagram illustrating a configuration example of a different area feature amount extraction unit 18.
  • FIG. It is a block diagram showing the example of a structure of the object identification apparatus in 3rd Embodiment. 4 is a block diagram illustrating a configuration example of a different area estimation unit 19.
  • FIG. It is a block diagram showing the example of a structure of the object identification apparatus in 5th Embodiment. 3 is a block diagram illustrating a configuration example of a different area estimation unit 21.
  • FIG. 3 is a block diagram illustrating a configuration example of a different area estimation unit 21.
  • FIG. 3 is a block diagram illustrating a configuration example of a different area estimation unit 21.
  • FIG. 3 is a block diagram illustrating a configuration example of a different area estimation unit 21.
  • FIG. It is a block diagram showing the structural example of the object identification apparatus in 6th Embodiment.
  • 3 is a block diagram illustrating a configuration example of a different area estimation unit 22.
  • FIG. 3 is a block diagram illustrating a configuration example of a different area estimation unit 22.
  • FIG. It is a block diagram showing the structural example of the object identification device in 7th Embodiment. 4 is a block diagram illustrating a configuration example of a different area estimation unit 23.
  • FIG. 3 is a block diagram illustrating a configuration example of a different area estimation unit 21.
  • FIG. 3 is a block diagram illustrating a configuration example of a different area estimation unit 21.
  • FIG. 3 is a
  • FIG. 4 is a block diagram illustrating a configuration example of a different area estimation unit 23.
  • FIG. 4 is a block diagram illustrating a configuration example of a different area estimation unit 23.
  • FIG. It is a block diagram showing the example of a structure of the object identification apparatus in 8th Embodiment.
  • 4 is a block diagram illustrating a configuration example of a different area estimation unit 24.
  • FIG. 4 is a block diagram illustrating a configuration example of a different area estimation unit 24.
  • FIG. 4 is a block diagram illustrating a configuration example of a different area estimation unit 24.
  • FIG. It is a block diagram showing the example of a structure of the object identification apparatus in 9th Embodiment. 3 is a block diagram illustrating a configuration example of a different area estimation unit 25.
  • FIG. 3 is a block diagram illustrating a configuration example of a different area estimation unit 25.
  • FIG. It is a block diagram showing the example of a structure of the object identification device in 10th Embodiment.
  • 4 is a block diagram illustrating a configuration example of an input image different area feature amount extraction unit 26.
  • FIG. 4 is a block diagram illustrating a configuration example of a feature amount matching unit 27.
  • FIG. It is a block diagram showing the example of a structure of the object identification device in 11th Embodiment.
  • 3 is a block diagram illustrating a configuration example of a local feature amount matching unit 28.
  • FIG. 3 is a block diagram illustrating a configuration example of a feature amount matching unit 29.
  • FIG. 3 is a block diagram illustrating a configuration example of an identification score integration determination unit 30.
  • FIG. 30 is a block diagram illustrating a configuration example of an identification score integration determination unit 30.
  • FIG. 1 is a block diagram showing the configuration of the object identification device according to the first embodiment.
  • the object identification device includes a local feature quantity extraction unit 11, a local feature quantity verification unit 12, an input image different area determination unit 13, an input image different area feature quantity extraction unit 14, and a feature quantity verification unit 15.
  • the object identification device can be configured using an information processing device such as a personal computer or a portable information terminal, for example.
  • the function of each part which comprises an object identification device is implement
  • the local feature amount extraction unit 11 detects a feature point from the input image, and extracts the detected feature point and a feature amount of a local region that is a region in the vicinity thereof as a local feature amount. Details of the processing by the local feature quantity extraction unit 11 will be described later.
  • the local feature amount collation unit 12 collates the local feature amount 1 extracted from the input image by the local feature amount extraction unit 11 with the local feature amount 2 extracted from the reference image, and specifies the corresponding local feature amount. . Details of the method for specifying the corresponding local feature will be described later with reference to FIG.
  • the local feature amount matching unit 12 specifies the corresponding local region between the input image and the reference image according to the position when the local region corresponding to the local feature amount is geometrically transformed. For example, when the coordinate position of the local area when the local area in the input image is rotated by a predetermined angle about the center of the image matches the coordinate position of the corresponding local area in the reference area, A local region whose coordinate position matches in the input image and the reference image is specified as a corresponding local region.
  • the geometric transformation is performed so that the geometric shift between the reference image and the input image is corrected.
  • the local feature-value collation part 12 is the image ID of the reference image determined that the information (geometric transformation information) about the used geometric transformation corresponds to the local region when the corresponding local region is specified.
  • the local feature identification image ID is output.
  • the local feature quantity 2 extracted from the reference image may be extracted in advance from a plurality of reference images and stored in a database such as the local feature quantity DB shown in FIG. You may extract using the feature-value extraction part 11. FIG. When stored in the database, local feature amounts extracted from a reference image including similar objects (similar objects as subjects) may be registered in association with each other. Details of the local feature amount matching unit 12 will be described later.
  • the input image different area determination unit 13 performs local processing on the reference image corresponding to the local feature identification image ID output from the local feature amount matching unit 12 or the difference area of the reference image group associated with the local feature identification image ID.
  • the geometric transformation indicated by the geometric transformation information output from the feature amount matching unit 12 is performed, and the input image different area information is output.
  • the reference image difference area is a reference image when it is predicted that a slight difference may occur between an object shown in the input image and an object shown in the reference image. This is a region in which a portion where the difference can occur is copied.
  • the difference area information of the reference image may be coordinate value information of four corners of the rectangle. Alternatively, it may be information indicating the coordinate value of the pixel group in the reference image constituting the different area.
  • the input image different area information can be a coordinate value in the input image obtained by performing geometric transformation on each of the four corner coordinate values of the different area in the reference image.
  • the information of the difference area of the reference image is the coordinate value information of the pixel group constituting the difference area
  • the geometric conversion corresponding to the geometric conversion information is performed on each of the pixel groups, and the input image
  • the coordinate value information of the pixel group constituting the different area can be used as the input image different area information.
  • the difference area information of the reference image is stored in advance in the database.
  • the difference area information of the reference image may be stored in the local feature amount DB together with the local feature amount 2.
  • the input image different area feature quantity extraction unit 14 extracts a feature quantity from an area (different area in the input image) in the input image indicated by the input image different area information output from the input image different area determination unit 13. Details of the input image different area feature quantity extraction unit 14 will be described later.
  • the feature amount matching unit 15 compares the feature amount 1 extracted from the difference region in the input image with the feature amount 2 extracted from the difference region in the reference image by the input image different region feature amount extraction unit 14. , Output the verification result.
  • the feature amount matching unit 15 determines whether the object included in the input image is the same as the object included in the reference image (whether the input image and the reference image are the same object as the subject) in the matching. When it is determined that they are the same, the feature amount matching unit 15 outputs the image ID of the input image determined to be the same as the different area identification image ID.
  • the feature amount 2 may be extracted from a plurality of reference images in advance and stored in a database, or may be extracted from a reference image on the fly. When stored in the database, similar objects may be registered in association with each other. Details of the feature amount matching unit 15 will be described later.
  • FIG. 2 is a flowchart showing a flow of processing by the input image different area determination unit 13 shown in FIG. As shown in FIG. 2, first, a variable i for controlling processing is initialized in S131.
  • the geometric transformation information output from the local feature amount matching unit 12 is acquired.
  • the difference area information of the reference image is acquired from the local feature DB.
  • the difference area information acquired here may be coordinate value information of the four corners of the rectangle, or the coordinate value of the pixel group in the reference image constituting the difference area It may be information indicating.
  • the geometric transformation indicated by the geometric transformation information acquired in S132 is performed on the difference area information acquired in S133.
  • the different area information is the coordinate value information at the four corners
  • geometric transformation is performed on one of the four coordinate values.
  • the different area information is coordinate value information of a pixel group in a reference image constituting the different area
  • geometric transformation is performed on one pixel of the pixel group. If the variable i is less than the predetermined number N at this time, the value of the variable i is updated in S135, and the processes of S133 and S134 are continued until the value of the variable i becomes N or more.
  • the number of pixel groups in the reference image constituting the different area is set as a value of N.
  • FIG. 3 is a block diagram illustrating a configuration example of the local feature quantity extraction unit 11.
  • the local feature amount extraction unit 11 includes a luminance information extraction unit 101, a local feature point detection unit 102, and a local feature amount generation unit 103.
  • the luminance information extraction unit 101 receives an input image, extracts only information relating to luminance from each pixel of the input image, and outputs it.
  • the input image received here is an image taken by an imaging device such as a digital camera, a digital video camera, or a mobile phone, or an image captured through a scanner or the like.
  • the image may be a compressed image such as JPEG (Joint Photographic Experts Group), or may be an uncompressed image such as TIFF (Tagged Image File Format).
  • the local feature point detection unit 102 detects a large number of characteristic points (feature points) from the image, and outputs feature point information that is information about each feature point.
  • the feature point information includes, for example, the coordinate position and scale of the detected feature point, the orientation of the feature point, and a “feature point number” that is a unique ID (Identification) assigned to the feature point. It is shown.
  • the local feature point detection unit 102 may output the feature point information as separate feature point information for each orientation direction of each feature point. For example, the local feature point detection unit 102 may output feature point information only for the most main orientation direction at each feature point, and may also output feature point information for the second and subsequent main orientation directions. It is good.
  • the local feature point detection unit 102 can assign different feature point numbers for each orientation direction at each feature point.
  • the local feature point detection unit 102 can use, for example, DoG (Difference-of-Gaussian) processing when detecting feature points from an image and extracting feature point information.
  • DoG Difference-of-Gaussian
  • the local feature point detection unit 102 can determine the position and scale of the feature point by searching for an extreme value in the scale space using DoG processing.
  • the local feature point detection unit 102 can calculate the orientation of each feature point using the determined position and scale of the feature point and the gradient information of the surrounding area.
  • the local feature point detection unit 102 may use another method such as Fast-Hessian Detector instead of DoG when detecting feature points from an image and extracting feature point information.
  • the local feature point detection unit 102 may select only important feature points from among the feature points detected therein, and output only information relating to the feature points as feature point information.
  • the local feature amount generation unit 103 receives the feature point information output from the local feature point detection unit 102 and generates a local feature amount that is a feature amount of a local region (a feature point and its surrounding region) for each feature point ( Describe).
  • generation part 103 may output a local feature-value in the format compressed by reversible compression, such as ZIP and LZH.
  • the local feature point detection unit 102 determines the importance of the feature point to be detected
  • the local feature amount generation unit 103 can generate and output the local feature amount in the order of importance of the feature point.
  • the local feature value generation unit 103 may generate and output local feature values in the order of the coordinate positions of the feature points.
  • the local feature quantity generation unit 103 acquires a local area for feature quantity extraction from the coordinate value, scale, and orientation of each detected feature point based on the feature point information.
  • a local region can be acquired for each feature point information.
  • the local region is rotated and normalized according to the orientation direction of the feature points, and then divided into sub-regions.
  • the local area can be divided into 16 blocks (4 ⁇ 4 blocks).
  • a feature vector is generated for each sub-region of the local region.
  • a gradient direction histogram can be used as the feature vector of the sub-region.
  • the gradient direction is calculated for each pixel in each sub-region, quantized in eight directions, and the frequency in the eight directions quantized for each sub-region is tabulated to generate a gradient direction histogram.
  • a feature vector constituted by a gradient direction histogram of 16 blocks ⁇ 8 directions generated for each feature point is output as a local feature amount.
  • the output local feature amount includes the coordinate position information of the feature point.
  • FIG. 4 is a block diagram illustrating a configuration example of the local feature amount matching unit 12.
  • the local feature amount matching unit 12 includes a corresponding feature point determination unit 201, an erroneous corresponding point removal unit 202, an identification score calculation unit 203, and a threshold determination unit 204.
  • the corresponding feature point determination unit 201 receives the local feature amount 1 extracted from the input image by the local feature amount extraction unit 11 and the local feature amount 2 extracted from the reference image. The corresponding feature point determination unit 201 determines whether or not the local feature quantity 1 and the local feature quantity 2 correspond to each other, and in the case of correspondence, the local feature quantity 1 and the local feature quantity 2 are assumed to correspond to each other. Output point information. For example, when the local feature value 1 and the local feature value 2 are each a set of feature values describing gradient histograms around feature points, first, distance calculation in the feature value space is performed for all combinations of local feature values.
  • the local feature and the local feature region of the local feature are related to the combination of the local feature having the minimum distance value.
  • the position information of the local feature area corresponding to the position information of the local feature area is output as the corresponding feature point information.
  • the miscorresponding point removal unit 202 receives the corresponding feature point information from the corresponding feature point determination unit 201, and discriminates the feature point erroneously corresponding to the correctly corresponding feature point from among the corresponding feature points.
  • the determined feature point information is output, and the geometric transformation information used for the determination is also output.
  • the geometric transformation information used for the determination is also output.
  • the geometric conversion information is used as the geometric conversion information. Estimate as If the geometric transformation information estimated here is applied to the feature points on the reference image side of the corresponding feature points, and they substantially match the feature points on the input image side, the feature points correspond correctly. On the contrary, if it does not coincide with the feature point on the input side, it is determined that the feature point is in error.
  • the identification score calculation unit 203 receives the corresponding feature point information from the erroneous corresponding point removal unit 202 and outputs an identification score.
  • the identification score For the identification score to be output, for example, the number of combinations of feature points that correspond correctly is counted from the corresponding feature point information received from the incorrect corresponding point removal unit 202, and the number is mapped to a score between 0 and 1
  • a table may be prepared in advance, and the identification score may be output with reference to the table.
  • m / (c + m) may be calculated as an identification score, where m is the minimum number of feature points that is determined in advance.
  • the threshold determination unit 204 performs threshold processing on the identification score output from the identification score calculation unit 203.
  • the threshold determination unit 204 determines that the images are the same object, and identifies the ID of the reference image as a local feature identification. Output as image ID.
  • the threshold set by the threshold determination unit 204 may be a value determined in advance and held inside, or a value given from the outside.
  • FIG. 5 is a block diagram illustrating a configuration example of the input image different area feature amount extraction unit 14.
  • the input image different area feature quantity extraction unit 14 includes a different area image generation unit 401 and a different area feature quantity calculation unit 402.
  • the different area image generation unit 401 receives the input image and the input image different area information from the input image different area determination unit 13, and the input image different area information is coordinate value information of the four corners of the different area in the input image. In this case, when two adjacent corners of the four corners are connected with a straight line, pixels on the straight line are sequentially read. By determining the pixel whose value is read from the input image and the order of the region surrounded by the read pixel group, a difference region image in the input image is generated and output. Alternatively, when the input image different area information received from the input image different area determination unit 13 is information indicating the coordinate value of the pixel group constituting the different area in the input image, the different area image generation unit 401 inputs in that order. The image is read and output as a difference area image in the input image.
  • the different area feature quantity calculation unit 402 extracts a feature quantity from the different area image generated by the different area image generation unit 401 and outputs the feature quantity.
  • a feature quantity extracted by the different area feature quantity calculation unit 402 for example, feature quantities such as “color arrangement” and “color histogram” are extracted in order to analyze the color information of the difference area of the input image and the difference area of the reference image. May be.
  • a feature amount capable of expressing “characteristic” may be extracted.
  • FIG. 6 is a block diagram illustrating a configuration example of the feature amount matching unit 15.
  • the feature amount matching unit 15 includes a different area identification score calculation unit 501 and a threshold determination unit 502.
  • the different area identification score calculation unit 501 receives the feature quantity extracted from the different area of the input image as the feature quantity 1 and the feature quantity extracted from the different area of the reference image as the feature quantity 2, respectively.
  • the different area identification score calculation unit 501 outputs an identification score determined from the received two feature quantities as a different area identification score.
  • the different area identification score is a scale that increases as the feature quantity 1 and the feature quantity 2 are similar. For example, the distance between the feature quantity 1 and the feature quantity 2 in the feature quantity space may be calculated, and the reciprocal thereof may be output as the different area identification score.
  • the minimum value of the distance on the feature amount space is found in all the combinations of the feature amounts, and the minimum value is The reciprocal of the value obtained by dividing the distance in the feature amount space in all combinations of feature amounts may be output as the different area identification score.
  • a table for mapping the distance values in the feature amount space of the feature amount 1 and the feature amount 2 to a score between 0 and 1 is prepared in advance, and the difference area identification score is referenced with reference to the table. May be output.
  • the threshold value determination unit 502 compares the different region identification score output from the different region identification score calculation unit 501 with a threshold value. If the difference region identification score is equal to or greater than the threshold value, the threshold value determination unit 502 determines that the images are the same object. The ID is output as a different area identification image ID.
  • the threshold set by the threshold determination unit 502 may be a value determined in advance and held inside, or may be a value given from the outside.
  • FIG. 7 shows a configuration of the object identification device in a modification of the present embodiment.
  • the object identification apparatus shown in FIG. 7 is different from the object identification apparatus shown in FIG. 1 in that a different area information DB that is a database storing only different area information is provided.
  • a different area information DB that is a database storing only different area information is provided.
  • 8 to 11 are image diagrams showing patterns that can be considered as the relationship between the difference area in the reference image and the difference area in the input image, respectively.
  • FIG. 8 shows an example in which an object is displayed on the entire reference image and a different area is set for the entire reference image.
  • the characters and patterns engraved on the object are almost the same, but the color of the object is different. That is, in this example, since the entire input image may be different from the entire reference image, the entire reference image is set as the difference area.
  • FIG. 9 shows an example in which an object is displayed on the entire reference image and a different area is set for a part of the reference image.
  • the object is almost the same, but only a part of the object has a different color, character, or pattern. That is, in this example, since it is considered that a part of the input image may be different from a part of the reference image, a part of the reference image is set as the difference area.
  • the examples shown in FIGS. 10 and 11 are substantially the same as the examples shown in FIGS. 8 and 9, respectively, except that the reference image is not shown in the whole image but only in a part thereof.
  • the difference area in the registered reference image and the difference area in the input image are the minimum necessary areas in which a difference can be predicted from the reference image and the input image, respectively. Extracted. Therefore, when comparing the entire local feature amount of the reference image and the entire local feature amount of the input image, even if it is determined that they are the same image because the difference is slight, By comparing again only the feature values of the difference image between the reference image and the input image, it is possible to distinguish a fine difference caused by the difference in the article. As a result, it is possible to suppress misjudgment that has been a problem when only local feature values are used.
  • the local feature amount matching unit 12 determines whether the feature amounts of the feature points extracted from the input image correspond to the feature amounts of the feature points extracted from the reference image. Determine.
  • the input image different area feature amount extraction unit 14 determines a geometric value between the input image and the reference image.
  • a feature amount is extracted from a region in the input image corresponding to the position of the image region obtained by performing geometric transformation for correcting the shift on a predetermined region (difference region) of the reference image.
  • the difference area of the reference image is determined by the input image difference area determination unit 13.
  • the feature amount collation unit 15 collates the feature amount extracted by the input image different area feature amount extraction unit 14 with the feature amount extracted from the difference area of the reference image, and outputs a collation result. As a result, it is possible to more accurately identify an input image in which the same object as that in the reference image is captured.
  • FIG. 12 is a block diagram showing a configuration of the object identification device according to the second exemplary embodiment of the present invention.
  • the object identification device of this embodiment includes a local feature quantity extraction unit 11, a local feature quantity verification unit 16, an input image different area determination unit 13, an input image different area feature quantity extraction unit 14, and a different area.
  • An estimation unit 17, a different area feature quantity extraction unit 18, and a feature quantity verification unit 15 are provided.
  • the local feature amount matching unit 12 of the object identification device according to the first embodiment is changed to the local feature amount matching unit 16 to store the difference area information.
  • the difference area information DB which is a database is different from the first embodiment in that a difference area estimation unit 17 and a difference area feature amount extraction unit 18 are changed. Details of the local feature amount matching unit 16, the different region estimation unit 17, and the different region feature amount extraction unit 18 will be described later. Since other components are the same as those in the first embodiment, the same reference numerals are given and detailed descriptions thereof are omitted.
  • FIG. 13 is a block diagram illustrating a configuration example of the local feature amount matching unit 16.
  • the local feature amount matching unit 16 includes a corresponding feature point determination unit 201, an erroneous corresponding point removal unit 202, an identification score calculation unit 203, and a threshold determination unit 204. That is, the constituent elements of the local feature amount matching unit 16 shown in FIG. 13 are the same as the constituent elements of the local feature amount matching unit 12 shown in FIG. However, the local feature amount matching unit 16 shown in FIG. 13 outputs the geometric conversion information from the erroneous corresponding point removing unit 202 and the local feature identification image ID from the threshold determining unit 204, and in addition the erroneous corresponding point.
  • the corresponding feature point information output from the removal unit 202 is different from the local feature amount matching unit 12 of FIG. 4 in that the corresponding feature point information is output from the local feature amount matching unit 16.
  • FIG. 14 is a block diagram showing the configuration of the different area estimation unit 17.
  • the different area estimation unit 17 includes a miscorresponding feature point density search unit 701.
  • the miscorresponding feature point density search unit 701 receives the corresponding feature point information from the local feature amount matching unit 16 and outputs different region information that is information about the different region in the reference image.
  • Corresponding feature point information received from the local feature amount matching unit 16 includes correctly corresponding feature point information and erroneously corresponding feature point information. Therefore, by using the feature point information that is included in the corresponding feature point information, the reference point is searched by searching the reference image for a region where the feature points that correspond incorrectly are dense. It is possible to estimate the difference area in the image.
  • a search for a region where feature points that correspond in error are densely defined is a feature that defines a rectangular window of a certain size, moves this rectangular window in the difference image, and corresponds incorrectly.
  • the area of the rectangular window can be set as the difference area.
  • the method of estimating the difference area in the reference image is not limited to this, and any method can be used as long as it is an estimation method based on an area where feature points corresponding to each other are erroneously gathered.
  • the difference area (predetermined area) of the reference image is an area including an area determined by the local feature amount matching unit 16 that feature points that are erroneously associated with the reference image are dense.
  • FIG. 15 is a block diagram illustrating a configuration example of the different area feature amount extraction unit 18.
  • the different area feature quantity extraction unit 18 includes a different area image generation unit 801 and a different area feature quantity calculation unit 402.
  • the different area image generation unit 801 is almost the same as the different area image generation unit 401 which is a component of the input image different area feature quantity extraction unit 14 shown in FIG. However, the different area image generation unit 801 is different from the different area image generation unit 401 in that a reference image and different area information are input instead of the input image and the input image different area information. Further, the difference image generated by the difference area image generation unit 801 is not generated from the input image based on the input image difference area information, but is generated from the reference image based on the difference area information in the reference image. The point is different.
  • the different area feature quantity calculation unit 402 is the same as the different area feature quantity calculation unit 402, which is a component of the input image different area feature quantity extraction unit 14 shown in FIG. Note that the feature amount calculated by the different area feature amount calculation unit 402 in FIGS. 5 and 15 must be a feature amount calculated by the same processing.
  • the difference area in the reference image can be estimated without registering the difference area in the reference image in advance in the database. , Effective when it is not possible to register in advance the area where a difference is expected to occur as a difference area (for example, to identify only a product with a scratch somewhere among many products) It is. Since the difference area in the reference image performed in the present embodiment can be estimated for the entire object or a part of the object, FIG. 8 to FIG. This embodiment is effective for any of the examples shown in FIG.
  • FIG. 16 is a block diagram showing a configuration of an object identification apparatus according to the third embodiment of the present invention.
  • the object identification device according to the third exemplary embodiment includes a local feature quantity extraction unit 11, a local feature quantity verification unit 16, an input image different area determination unit 13, and an input image different area feature quantity extraction unit 14. , A feature amount matching unit 15, a different region estimation unit 19, and a different region feature amount extraction unit 18.
  • the difference area estimation unit 17 of the object identification device according to the second embodiment is changed to the difference region estimation unit 19. Different from form. Details of the different area estimation unit 19 will be described later. Other components are the same as those in the second embodiment, and the same reference numerals are given and detailed description thereof is omitted.
  • FIG. 17 is a block diagram illustrating a configuration example of the different area estimation unit 19.
  • the different area estimation unit 19 includes an object area estimation unit 901 and an erroneous correspondence feature point density search unit 902.
  • the object region estimation unit 901 receives a reference image corresponding to the local feature identification image ID output from the local feature amount matching unit 16 or a reference image group associated with the local feature identification image ID, and includes an object in the reference image.
  • the object area information which is information representing the area where is present, is output.
  • the reference image received here may be stored in a database in advance as shown in FIG. 16, or may be acquired from outside the object identification device.
  • the processing in the object region estimation unit 901 includes, for example, a method of roughly estimating the object region by analyzing the edge strength in the reference image, or learning the image pattern of the background region in advance and using the object as a region other than the background. A method for roughly estimating the area is conceivable.
  • the miscorresponding feature point density search unit 902 is similar to the miscorresponding feature point density search unit 701, which is a component of the different area estimation unit 17 shown in FIG. However, the miscorresponding feature point density search unit 902 has a second point that the object region information output from the object region estimation unit 901 is input in addition to the corresponding feature point information received from the local feature amount matching unit 16. This is different from the embodiment.
  • the miscorresponding feature point density search unit 902 focuses on only points that exist inside the object region among the corresponding feature points, and searches for regions where feature points that correspond incorrectly are dense.
  • the miscorresponding feature point density search unit 902 estimates a different area from the inside of the object area in the reference image. Therefore, in the present embodiment, it is possible to estimate the difference area in the reference image without being affected by an erroneous corresponding feature point appearing from an area other than the object. That is, the difference area (predetermined area) in the reference image is an area in which the local feature amount matching unit 16 determines that the feature points that correspond in error are dense among the areas in which the article is reflected in the reference image. It becomes the area including.
  • the miscorresponding feature point density search unit 902 limits the range in which the feature points that are erroneously associated in the reference image are densely searched, so that the search range is the entire reference image. Compared with the corresponding feature point density search unit 701, high-speed processing is possible.
  • the object identification is used because the difference area in the reference image can be estimated even if the difference area in the reference image is not registered in the database in advance. This is effective when it is not possible to register information regarding the difference area in advance in the inspection system (for example, when identifying only a product having a scratch somewhere among many products).
  • the estimation of the difference area in the reference image performed in the present embodiment is possible regardless of whether the difference area is the entire object or a part of the object. This is particularly effective in the case of the example shown in FIGS. 10 and 11 because it is possible to estimate the difference area with high accuracy without being affected by the erroneously corresponding feature points appearing in FIG.
  • FIG. 18 is a block diagram showing a configuration of an object identification apparatus according to the fourth embodiment of the present invention.
  • the object identification device according to the fourth exemplary embodiment includes a local feature quantity extraction unit 11, a local feature quantity verification unit 12, an input image different area determination unit 13, and an input image different area feature quantity extraction unit 14. , A feature amount matching unit 15, a different region estimation unit 20, and a different region feature amount extraction unit 18.
  • the local feature amount matching unit 16 and the different region estimation unit 19 of the object identification device according to the third embodiment include the local feature amount matching unit 12 and the difference region. The difference from the third embodiment is that the estimation unit 20 is changed.
  • the local feature amount matching unit 12 is the same as the local feature amount matching unit 12 of the object identification device according to the first embodiment, and detailed description thereof is omitted. Details of the different area estimation unit 20 will be described later. Other components are the same as those in the third embodiment, and the same reference numerals are given and detailed descriptions thereof are omitted.
  • FIG. 19 is a block diagram illustrating a configuration example of the different area estimation unit 20.
  • the different region estimation unit 20 includes a converted image generation unit 2001, a difference image generation unit 2002, an object region estimation unit 2003, and a large difference region detection unit 2004.
  • the converted image generation unit 2001 receives the input image and the geometric conversion information output from the local feature amount matching unit 12, performs the geometric conversion indicated by the geometric conversion information on the input image, and outputs the converted image.
  • the converted image output here performs, for example, geometric conversion indicated by the geometric conversion information on each pixel of the input image, and projects each pixel of the input image onto an image having the same size as the reference image. Thus, a converted image is generated.
  • the pixel value is filled with 0 or the like to generate a converted image.
  • the geometric transformation information output from the local feature amount matching unit 12 is information for converting from the coordinates in the reference image to the coordinates in the input image
  • the geometric transformation information to be acted on by the converted image generation unit 2001 is:
  • the information needs to be converted in reverse. That is, when the geometric transformation information output from the local feature amount matching unit 12 is a 3 ⁇ 3 matrix that transforms the coordinates in the reference image into the coordinates in the input image, the geometric transformation to be applied by the transformed image generation unit 2001 The information uses the inverse matrix.
  • the difference image generation unit 2002 includes a reference image corresponding to the local feature identification image ID output from the local feature amount matching unit 12 (or a reference image group associated with the local feature identification image ID), and a converted image generation unit 2001.
  • the converted image output from is received.
  • the difference image generation unit 2002 outputs an image obtained by taking the difference between the reference image and the converted image as a difference image.
  • the difference may be calculated after correcting the luminance of one image so that the average value of the luminance of both images matches.
  • the reference image received here may be stored in a database in advance as shown in FIG. 18, or may be acquired from outside the article identification device.
  • the object region estimation unit 2003 receives the difference image from the difference image generation unit 2002, and estimates and outputs object region information in the difference image (information indicating the region where the object exists in the reference image).
  • the object area information output here can be estimated, for example, by searching for an area having a small difference value in the difference image. This is because an area having a small difference value in the difference image is considered to be an area where the same object is highly likely to appear in the reference image and the converted image.
  • the object area is estimated by, for example, considering a rectangular window of a certain size, moving this rectangular window in the difference image, and if there are a certain number or more of small pixels in the rectangular window, the rectangular window
  • the area may be an object area, or another method may be used.
  • the large difference area detection unit 2004 receives the difference image output from the difference image generation unit 2002 and the object area information output from the object area estimation unit 2003.
  • the large difference area detection unit 2004 has a difference between the object shown in the reference image and the object shown in the converted image, where the difference value in the difference image is large. It is judged that there is a high possibility. Accordingly, the large difference area detection unit 2004 searches the image for a portion having a large difference value, and outputs the area information as the difference area information.
  • the search for the location where the difference value is large is performed by, for example, defining a rectangular window having a certain size, moving the rectangular window in the object area in the difference image, and changing the pixel value within the rectangular window. If there are more than a certain number of large pixels, the rectangular window area can be set as a different area, or can be searched by other methods.
  • the converted image generation unit 2001 performs geometric conversion for correcting a geometric shift between the input image and the reference image on the input image, and outputs the converted image.
  • the large difference area detection unit 2004 outputs information about an area including an area where the difference between the converted image and the reference image is a predetermined value or more as difference area information. Further, the large difference area detection unit 2004 uses, as difference area information, information about an area including an area where an object is present in the reference image and the difference between the converted image and the reference image is equal to or greater than a predetermined value. Can be output.
  • the difference area in the reference image can be estimated without registering the difference area in the reference image in advance in the database. This is effective when the information regarding the difference area cannot be registered in advance in the inspection system used (for example, when only a product having a scratch somewhere among many products is identified).
  • the estimation of the difference area in the reference image performed in the present embodiment can be performed whether the difference area is the whole object or a part of the object. As in the case of FIG. 10 and FIG. 11, since the difference area is estimated again after removing the influence of the background by first estimating the object area, the difference area can be estimated with high accuracy. This is particularly effective in such cases.
  • FIG. 20 is a block diagram showing a configuration of an object identification apparatus according to the fifth embodiment of the present invention.
  • the object identification device according to the fifth exemplary embodiment includes a local feature quantity extraction unit 11, a local feature quantity verification unit 16, an input image different area determination unit 13, and an input image different area feature quantity extraction unit 14. , A feature amount matching unit 15, a different region estimation unit 21, and a different region feature amount extraction unit 18.
  • the object identification device according to the fifth embodiment has a configuration in which the object identification device according to the third embodiment and the object identification device according to the fourth embodiment are combined.
  • the comparison with the object identification device of the third embodiment is different in that the different area estimation unit 19 is changed to a different area estimation unit 21. Details of the different area estimation unit 21 will be described later.
  • Other components are the same as those in the third embodiment, and the same reference numerals are given and detailed descriptions thereof are omitted.
  • FIGS. 21 to 24 are block diagrams showing a configuration example of the different area estimation unit 21, and each figure will be described below.
  • the 21 includes a converted image generation unit 2001, a difference image generation unit 2002, an object region estimation unit 2003, and a miscorresponding feature point density search unit 902.
  • the converted image generation unit 2001, the difference image generation unit 2002, and the object region estimation unit 2003 in FIG. 21 are the converted image generation unit 2001, the difference image generation unit 2002, and the object that are components of the difference region estimation unit 20 illustrated in FIG. This is the same as the region estimation unit 2003, and detailed description thereof is omitted.
  • the miscorresponding feature point density search unit 902 in FIG. 21 is the same as the miscorresponding feature point density search unit 902 that is a component of the different area estimation unit 19 shown in FIG. To do.
  • the different area estimation unit 21 does not search for an area where miscorresponding feature points are concentrated from the object area estimated using only the reference image, as in the different area estimation unit 19, but converts it.
  • the difference area is estimated by searching for an area where miscorresponding feature points are concentrated from the object area estimated using the difference between the input image and the reference image.
  • the 22 includes a converted image generation unit 2001, a difference image generation unit 2002, an object region estimation unit 2003, a large difference region detection unit 2101, and a miscorresponding feature point density search unit 2102. .
  • the converted image generation unit 2001, the difference image generation unit 2002, and the object region estimation unit 2003 in FIG. 22 are the converted image generation unit 2001, the difference image generation unit 2002, and the object that are components of the difference region estimation unit 20 illustrated in FIG. This is the same as the region estimation unit 2003, and detailed description thereof is omitted.
  • the large difference area detection unit 2101 in FIG. 22 is substantially the same as the large difference area detection unit 2004 that is a component of the difference area estimation unit 20 shown in FIG. 19, but outputs difference candidate area information instead of difference area information. Is different.
  • the difference candidate area information output by the large difference area detection unit 2101 may be the same as the difference area information output by the large difference area detection unit 2004, or may be a slightly wider area than the difference area information. It is good also as the area information.
  • the miscorresponding feature point density search unit 2102 in FIG. 22 is similar to the miscorresponding feature point density search unit 902, which is a component of the different area estimation unit 19 shown in FIG. Is different in that difference candidate area information is input.
  • the difference area information output from the mis-corresponding feature point density search unit 2102 is estimated by four combinations of a converted image generation unit 2001, a difference image generation unit 2002, an object region estimation unit 2003, and a large difference region detection unit 2101. Since the difference area is further narrowed down by the erroneous correspondence feature point density search unit 2102 from the difference candidate areas, highly reliable difference area information is output.
  • the converted image generation unit 2001 in FIG. 23 includes a converted image generation unit 2001, a miscorresponding feature point density search unit 2103, a difference image generation unit 2104, and a large difference region detection unit 2105.
  • the converted image generation unit 2001 in FIG. 23 is the same as the converted image generation unit 2001 that is a component of the different area estimation unit 20 shown in FIG. 19, and detailed description thereof is omitted.
  • the miscorresponding feature point density search unit 2103 in FIG. 23 is almost the same as the miscorresponding feature point density search unit 701, which is a component of the different area estimation unit 17 shown in FIG. 14, but is not different area information.
  • the difference is that the difference candidate area information is output.
  • the difference candidate area information output by the miscorresponding feature point density search unit 2103 may be the same as the difference area information output by the miscorresponding feature point density search unit 701 or may be more than the difference area information. It can be regarded as a slightly expanded area and can be used as the area information.
  • the difference image generation unit 2104 in FIG. 23 is similar to the difference image generation unit 2002 that is a component of the difference region estimation unit 20 shown in FIG. 19, but the difference candidate region information is added to the reference image and the converted image. Input points are different.
  • the difference image generation unit 2104 outputs, as a difference image, an image of the area indicated by the difference candidate area information from the difference image generated by taking the difference between the reference image and the converted image.
  • the large difference area detection unit 2105 in FIG. 23 is similar to the large difference area detection unit 2004 that is a component of the difference area estimation unit 20 shown in FIG. 19 except that only a difference image is input. Yes.
  • the difference image input to the large difference area detection unit 2105 is a difference image that is output only with respect to the area that has already been estimated as the difference candidate area by the miscorresponding feature point density search unit 2103. This is an image of an area representing the entire area or a part thereof. Since the difference area information output from the large difference area detection unit 2105 is further narrowed down by the large difference area detection unit 2402 from the difference candidate areas estimated by the miscorresponding feature point density search unit 2103, Highly different area information is output.
  • the 24 includes a converted image generation unit 2001, a difference image generation unit 2002, an object region estimation unit 2003, a large difference region detection unit 2101, a miscorresponding feature point density search unit 2103, a difference candidate.
  • a region overlap detection unit 2106 is provided.
  • the converted image generation unit 2001, the difference image generation unit 2002, and the object region estimation unit 2003 in FIG. 24 are the converted image generation unit 2001, the difference image generation unit 2002, and the object that are components of the difference region estimation unit 20 illustrated in FIG. This is the same as the region estimation unit 2003, and detailed description thereof is omitted.
  • the large difference area detection unit 2101 in FIG. 24 is the same as the large difference area detection unit 2101 in FIG. 22, and detailed description thereof is omitted.
  • the miscorresponding feature point density search unit 2103 in FIG. 24 is the same as the miscorresponding feature point density search unit 2103 in FIG. 23, and detailed description thereof is omitted.
  • the difference candidate region overlap detection unit 2106 in FIG. 24 receives the difference candidate region information output from the large difference region detection unit 2101 and the difference candidate region information output from the miscorresponding feature point density search unit 2103. An area where two difference candidate areas overlap is determined as a difference area, and the difference area information is output.
  • the difference area information output from the difference candidate area overlap detection unit 2106 is information on an area determined as a difference candidate area by the large difference area detection unit 2101 and the miscorresponding feature point density search unit 2103. The difference area information with high reliability is output.
  • the difference area in the reference image can be estimated without registering the difference area in the reference image in advance in the database. This is effective when it is not possible to register information relating to the difference area in advance, such as when only a product having a scratch somewhere among many products is identified in an inspection system using identification. Further, in the present embodiment, the estimation of the difference area in the reference image performed in the present embodiment is possible regardless of whether the difference area is the entire object or a part of the object. However, since a highly reliable difference area can be obtained as compared with the second embodiment and the like, highly accurate identification can be realized. In the present embodiment, when the different region estimation unit 21 has the configuration shown in FIGS.
  • an object region estimation unit can be added before the erroneous correspondence feature point density search unit 2103.
  • An error corresponding feature point density search is performed from the object regions thus determined to estimate a difference candidate region.
  • FIG. 25 is a block diagram showing a configuration of an object identification apparatus according to the sixth embodiment of the present invention.
  • the object identification device according to the sixth exemplary embodiment includes a local feature quantity extraction unit 11, a local feature quantity verification unit 12, an input image different area determination unit 13, and an input image different area feature quantity extraction unit 14. , A feature amount matching unit 15, a different region estimation unit 22, and a different region feature amount extraction unit 18.
  • the difference area estimation unit 20 of the object identification device according to the fourth embodiment is changed to the difference region estimation unit 22. Different from form. Details of the different area estimation unit 22 will be described later.
  • Other components are the same as those in the fourth embodiment, and the same reference numerals are given and detailed description thereof is omitted.
  • 26 and 27 are block diagrams showing a configuration example of the different area estimation unit 22, and each figure will be described below.
  • the different area estimation unit 22 includes a template matching unit 2201.
  • the template matching unit 2201 receives a reference image corresponding to the local feature identification image ID output from the local feature amount matching unit 12 (or a reference image group associated with the local feature identification image ID), and matches the local feature amount.
  • a template image of a different area corresponding to the local feature identification image ID output from the unit 12 (or a template image group associated with the local feature identification image ID) is also received, and the difference area information is obtained based on the received image group. Output.
  • this template image is an image pattern typically seen around the difference area.
  • the template matching unit 2201 estimates a difference area in the reference image by matching each area in the reference image with this template image and performing a template matching process that searches for an area most similar to the template image.
  • an area in the reference image in which the similarity with the predetermined pattern image is greater than or equal to a predetermined value is set as a difference area in the reference image.
  • the template image may be stored in advance in a database as shown in FIG. 25, or may be acquired from outside the object identification device.
  • the different area estimation unit 22 may include an object area estimation unit 901 and a template matching unit 2202.
  • the object region estimation unit 901 in FIG. 27 is the same as the object region estimation unit 901 that is a component of the different region estimation unit 19 shown in FIG. 17, and detailed description thereof is omitted.
  • the template matching unit 2202 is similar to the template matching unit 2201 that is a component of the different area estimation unit 22 shown in FIG.
  • the template matching unit 2202 includes a reference image corresponding to the local feature identification image ID output from the local feature amount matching unit 12 and a template of a difference area corresponding to the local feature identification image ID output from the local feature amount matching unit 12
  • the template matching unit 2201 is different from the template matching unit 2201 in that object region information output from the object region estimation unit 901 is input in addition to the image.
  • the template matching unit 2202 can estimate the difference area in the reference image by performing template matching using the template image only for the object area in the reference image.
  • the template matching unit 2202 is limited in the range of the region in the reference image that matches the template image, so that the template matching unit 2202 has a higher processing speed than the template matching unit 2201 in which the range of the region that matches the template image is the entire reference image. Is possible.
  • the difference area can be estimated by using the image pattern as a template image. For example, when trying to identify only a specific mail from a plurality of postal images with the same envelope but differing only in the address, the area where the address is described is a character string layout such as a postal code, address, and address. Can be defined as an image pattern determined to some extent, which is effective.
  • the difference area in the reference image performed in the present embodiment can be estimated regardless of whether the difference area is the whole object or a part of the object.
  • FIG. 22 is FIG. 27, it is possible to estimate the difference area again after removing the influence of the background by first estimating the object area, as in the third to fifth embodiments.
  • the region can be estimated with high accuracy, and is particularly effective in the case of the example shown in FIGS.
  • FIG. 28 is a block diagram showing a configuration of an object identification apparatus according to the seventh embodiment of the present invention.
  • the object identification device according to the seventh exemplary embodiment includes a local feature quantity extraction unit 11, a local feature quantity verification unit 16, an input image different area determination unit 13, and an input image different area feature quantity extraction unit 14. , A feature amount matching unit 15, a different region estimation unit 23, and a different region feature amount extraction unit 18.
  • the object identification device of the seventh embodiment the object identification device of the second embodiment and the object identification device of the sixth embodiment are combined.
  • the comparison with the object identification device of the second embodiment is different from the second embodiment in that the different area estimation unit 17 is changed to a different area estimation unit 23. Details of the different area estimation unit 23 will be described later.
  • Other components are the same as those in the second embodiment, and the same reference numerals are given and detailed description thereof is omitted.
  • 29, 30 and 31 are block diagrams showing a configuration example of the different area estimation unit 23, and each figure will be described below.
  • miscorresponding feature point density search unit 2103 includes a miscorresponding feature point density search unit 2103 and a template matching unit 2301.
  • the miscorresponding feature point density search unit 2103 in FIG. 29 is the same as the miscorresponding feature point density search unit 2103, which is a component of the different area estimation unit 21 shown in FIG.
  • the template matching unit 2301 in FIG. 29 performs template matching using the template image only for the difference candidate region in the reference image estimated by the miscorresponding feature point density search unit 2103, and performs the difference region in the reference image. Is estimated.
  • the difference area information output from the template matching unit 2301 is highly reliable because the difference area information is further narrowed down by the template matching unit 2301 from the difference candidate areas estimated by the miscorresponding feature point density search unit 2103. Difference area information is output.
  • the template matching unit 2302 in FIG. 30 can also be configured with a template matching unit 2302 and a miscorresponding feature point density search unit 2102.
  • the template matching unit 2302 in FIG. 30 is substantially the same as the template matching unit 2201 that is a constituent element of the different region estimation unit 22 shown in FIG. 26, but the difference is that the candidate region information is output instead of the different region information. This is different from the matching unit 2201.
  • the difference candidate area information output by the template matching unit 2302 may be the same as the difference area information output by the template matching unit 2201, or may be regarded as an area slightly wider than the difference area information. It may be information.
  • miscorresponding feature point density search unit 2102 in FIG. 30 is the same as the miscorresponding feature point density search unit 2102 which is a component of the different area estimation unit 21 shown in FIG. To do. That is, the miscorresponding feature point density search unit 2102 in FIG. 30 pays attention only to points that exist within the difference candidate area in the reference image estimated by the template matching unit 2302 among the corresponding feature points, and erroneously A region where corresponding feature points are densely searched is searched for, and a difference region is estimated.
  • the difference area information output from the mis-corresponding feature point density search unit 2102 is to further narrow down the difference area from the difference candidate areas estimated by the template matching unit 2302 by the error-corresponding feature point density search unit 2102. The difference area information with high reliability is output.
  • the different area estimation unit 23 shown in FIG. 31 includes a miscorresponding feature point density search unit 2103, a template matching unit 2302, and a difference candidate area duplication detection unit 2106.
  • the miscorresponding feature point density search unit 2103 in FIG. 31 is the same as the miscorresponding feature point density search unit 2103, which is a constituent element of the different area estimation unit 21 shown in FIG.
  • the template matching unit 2302 in FIG. 31 is the same as the template matching unit 2302 that is a component of the different area estimation unit 23 shown in FIG. 30, and detailed description thereof is omitted.
  • the difference candidate region overlap detection unit 2106 is the same as the difference candidate region overlap detection unit 2106, which is a component of the difference region estimation unit 21 shown in FIG.
  • the difference area information output from the difference candidate area overlap detection unit 2106 in the configuration of FIG. 31 is information on areas determined as difference candidate areas by the miscorresponding feature point density search unit 2103 and the template matching unit 2302. Therefore, highly reliable difference area information is output.
  • the difference area can be estimated by using the image pattern as a template image. For example, when trying to identify only a specific mail from a plurality of postal images with the same envelope but differing only in the address, the area where the address is described is a character string layout such as a postal code, address, and address. Can be defined as an image pattern determined to some extent, which is effective.
  • the difference area in the reference image performed in the present embodiment can be estimated whether the difference area is the whole object or a part of the object.
  • FIG. 29 can also be regarded as a configuration in which the object identification device of the third embodiment and the object identification device of the sixth embodiment are combined. That is, when the different area estimation unit 23 has the configuration of FIGS. 29, 30, and 31, an object area estimation unit can be added before the miscorresponding feature point density search unit 2103 and the template matching unit 2302. Since the difference area is estimated from the object area after removing the influence of the background, the configuration is particularly effective in the case of the example shown in FIGS.
  • FIG. 32 is a block diagram showing a configuration of an object identification device according to the eighth exemplary embodiment of the present invention.
  • the object identification device according to the eighth embodiment includes a local feature quantity extraction unit 11, a local feature quantity verification unit 12, an input image different area determination unit 13, and an input image different area feature quantity extraction unit 14. , A feature amount matching unit 15, a different region estimation unit 24, and a different region feature amount extraction unit 18.
  • the object identification device according to the eighth embodiment is configured by combining the object identification device according to the fourth embodiment and the object identification device according to the sixth embodiment. In the comparison with the object identification device of the form, the different area estimation unit 20 is changed to the different area estimation unit 24. Details of the different area estimation unit 24 will be described later.
  • Other components are the same as those in the fourth embodiment, and the same reference numerals are given and detailed description thereof is omitted.
  • 33 to 35 are block diagrams showing a configuration example of the different area estimation unit 24, and each figure will be described below.
  • the converted image generation unit 2001, the difference image generation unit 2002, and the object region estimation unit 2003 in FIG. 33 are the converted image generation unit 2001, the difference image generation unit 2002, and the object that are components of the difference region estimation unit 20 illustrated in FIG. This is the same as the region estimation unit 2003, and detailed description thereof is omitted.
  • the large difference area detection unit 2101 in FIG. 33 is the same as the large difference area detection unit 2101 that is a component of the difference area estimation unit 21 illustrated in FIG. 22, and detailed description thereof is omitted.
  • the template matching unit 2301 in FIG. 33 is the same as the template matching unit 2301 that is a constituent element of the different region estimation unit 23 shown in FIG.
  • the template matching unit 2301 in FIG. 33 performs template matching using only the template for the difference candidate region in the reference image estimated by the large difference region detection unit 2101 to estimate the difference region in the reference image.
  • the difference area information output from the template matching unit 2301 is further narrowed down by the template matching unit 2301 from the difference candidate areas estimated by the large difference area detection unit 2101. Is output.
  • the converted image generation unit 2001 in FIG. 34 is the same as the converted image generation unit 2001 that is a component of the different area estimation unit 20 shown in FIG. 19, and detailed description thereof is omitted.
  • the template matching unit 2302 in FIG. 34 is the same as the template matching unit 2302 that is a component of the different region estimation unit 23 shown in FIG. 30, and detailed description thereof is omitted.
  • the difference image generation unit 2104 and the large difference region detection unit 2105 in FIG. 34 are the same as the difference image generation unit 2104 and the large difference region detection unit 2105, which are components of the difference region estimation unit 21 shown in FIG. Detailed description will be omitted.
  • the difference area information output from the large difference area detection unit 2105 is further narrowed down by the large difference area detection unit 2105 from the difference candidate areas estimated by the template matching 2302, the difference area information with high reliability is used. Is output.
  • 35 includes a converted image generation unit 2001, a difference image generation unit 2002, an object region estimation unit 2003, a large difference region detection unit 2101, a template matching unit 2302, and a difference candidate region overlap detection unit. 2106.
  • the converted image generation unit 2001, the difference image generation unit 2002, and the object region estimation unit 2003 in FIG. 35 are the converted image generation unit 2001, the difference image generation unit 2002, and the object that are components of the difference region estimation unit 20 illustrated in FIG. This is the same as the region estimation unit 2003, and detailed description thereof is omitted.
  • 35 is the same as the large difference area detection unit 2101 that is a component of the difference area estimation unit 21 illustrated in FIG. 22, and detailed description thereof is omitted.
  • the template matching unit 2302 in FIG. 35 is the same as the template matching unit 2302 that is a component of the different region estimation unit 23 shown in FIG. 30, and detailed description thereof is omitted.
  • 35 is the same as the difference candidate region overlap detection unit 2106, which is a component of the difference region estimation unit 21 shown in FIG. 24, and a detailed description thereof is omitted.
  • the difference area information output from the difference candidate area overlap detection unit 2106 in the configuration of FIG. 35 is information on areas that are determined as difference candidate areas by the large difference area detection unit 2101 and the template matching unit 2302.
  • the difference area information with high reliability is output.
  • the difference area can be estimated by using the image pattern as a template image. For example, when trying to identify only a specific mail from a plurality of postal images with the same envelope but differing only in the address, the area where the address is described is a character string layout such as a postal code, address, and address. Can be defined as an image pattern determined to some extent, which is effective.
  • the difference area in the reference image performed in the present embodiment can be estimated whether the difference area is the whole object or a part of the object.
  • a highly reliable difference area can be obtained as compared with the second embodiment and the like, so that highly accurate identification can be realized.
  • an object region estimation unit can be added before the template matching unit 2302, in which case the influence of the background is removed. Since the difference area is estimated from the object area above, the configuration is particularly effective in the case of FIGS.
  • FIG. 36 is a block diagram showing a configuration of an object identification device according to the ninth exemplary embodiment of the present invention.
  • the object identification device of the ninth exemplary embodiment includes a local feature quantity extraction unit 11, a local feature quantity verification unit 16, an input image different area determination unit 13, and an input image different area feature quantity extraction unit 14. , A feature amount matching unit 15, a different region estimation unit 25, and a different region feature amount extraction unit 18.
  • the object identification device of the ninth embodiment the object identification device of the fifth embodiment and the object identification device of the sixth embodiment are combined.
  • the object identification device according to the ninth embodiment is different from the object identification device according to the fifth embodiment in that the different area estimation unit 21 is changed to a different area estimation unit 25. Details of the different area estimation unit 25 will be described later.
  • Other components are the same as those of the fifth embodiment, and the same reference numerals are given and detailed description thereof is omitted.
  • the difference area estimation unit 25 is configured to estimate the difference area only by the miscorresponding feature point density search unit 701 as shown in FIG. 14, and the converted image generation unit 2001, the difference image generation unit 2002, the object area as shown in FIG.
  • the estimation unit 2003 and the large difference region detection unit 2004 can be configured as a combination of the difference region estimation and the template matching unit 2201 alone as shown in FIG. With regard to the configuration for estimating these three different areas, first, when a difference candidate area is estimated in one configuration, and then the difference candidate areas are further narrowed down in another configuration, three difference areas are estimated. You may comprise a structure in what order.
  • the configuration is such that each candidate difference region is estimated in each configuration, and the overlapping region of the different candidate regions estimated in each configuration is output as the final different region. May be.
  • the difference candidate region is first estimated with a certain configuration, and then the difference candidate regions are narrowed down with the remaining two components from the difference candidate regions. An overlapping area of the difference candidate areas estimated in one structure may be output as a final difference area.
  • the difference candidate regions are estimated by the two configurations, respectively, and the difference is determined by the remaining one configuration from the overlapping regions of the difference candidate regions estimated by the two configurations. The candidate area may be narrowed down, and the area narrowed down there may be output as the final difference area.
  • 37 and 38 are block diagrams showing a configuration example of the different area estimation unit 25, and each figure will be described below.
  • the different area estimation unit 25 includes a transformed image generation unit 2001, a difference image generation unit 2002, an object area estimation unit 2003, a large difference area detection unit 2101, a template matching unit 2501, and a miscorresponding feature point cluster.
  • a degree search unit 2102 is provided.
  • the converted image generation unit 2001, the difference image generation unit 2002, and the object region estimation unit 2003 in FIG. 37 are the converted image generation unit 2001, the difference image generation unit 2002, and the object that are components of the difference region estimation unit 20 illustrated in FIG. This is the same as the region estimation unit 2003, and detailed description thereof is omitted.
  • the large difference area detection unit 2101 in FIG. 37 is the same as the large difference area detection unit 2101 in FIG. 22, and detailed description thereof is omitted.
  • the template matching unit 2501 in FIG. 37 is almost the same as the template matching unit 2301 that is a component of the different region estimation unit 23 shown in FIG. 29, except that it outputs difference candidate region information instead of difference region information. ing.
  • the miscorresponding feature point density search unit 2102 in FIG. 37 is the same as the miscorresponding feature point density search unit 2102 which is a component of the different area estimation unit 21 shown in FIG. That is, the miscorresponding feature point density search unit 2102 in FIG. 37 pays attention only to points that exist within the difference candidate region in the reference image estimated by the template matching unit 2501 among the corresponding feature points, and erroneously A region where corresponding feature points are densely searched is searched for, and a difference region is estimated.
  • the template matching unit 2501 also performs template matching using the template image only for the difference candidate region in the reference image estimated by the large difference region detection unit 2101 to estimate the difference region candidate in the reference image.
  • the difference area information output from the miscorresponding feature point density search unit 2102 is further selected from the difference candidate areas estimated by the large difference area detection unit 2101 and the template matching unit 2501 and further corresponds to the miscorresponding feature point density search unit 2102. Because the difference area is narrowed down by the above, highly reliable difference area information is output.
  • the different area estimation unit 25 includes a converted image generation unit 2001, a difference image generation unit 2002, an object area estimation unit 2003, a large difference area detection unit 2101, a template matching unit 2302, and a miscorresponding feature point. It is also possible to configure with a density search unit 2103 and a difference candidate region duplication detection unit 2502.
  • the converted image generation unit 2001, the difference image generation unit 2002, and the object region estimation unit 2003 in FIG. 38 are the converted image generation unit 2001, the difference image generation unit 2002, and the object that are components of the difference region estimation unit 20 illustrated in FIG. This is the same as the region estimation unit 2003, and detailed description thereof is omitted.
  • the miscorresponding feature point density search unit 2103 in FIG. 38 is the same as the miscorresponding feature point density search unit 2103, which is a component of the different area estimation unit 21 shown in FIG. To do.
  • the difference candidate area duplication detection unit 2502 in FIG. 38 receives three pieces of difference candidate area information respectively output from the large difference area detection unit 2101, the template matching unit 2302, and the miscorresponding feature point density search unit 2103.
  • the difference from the difference candidate area overlap detection unit 2106 is that an area where two difference candidate areas overlap is determined as a difference area, and the difference area information is output.
  • the difference area information output from the difference candidate area overlap detection unit 2502 includes information on areas determined as difference candidate areas by the large difference area detection unit 2101, the template matching 2302, and the miscorresponding feature point density search unit 2103. Therefore, highly reliable difference area information is output.
  • the different area estimation unit 25 can be configured other than that shown in FIGS.
  • the template matching unit 2501 further narrows down the difference candidate areas.
  • the final difference area information may be estimated from the narrowed difference candidate areas by a combination of the converted image generation unit 2001, the difference image generation unit 2104, and the large difference area detection unit 2105.
  • the processing order of the estimation of the difference candidate area using the miscorresponding feature point density search, the estimation of the difference candidate area using the template matching, and the estimation of the difference candidate area using the large difference area detection has been described so far. The order may be other than the configuration example.
  • the difference area can be estimated by using the image pattern as a template image. For example, when trying to identify only a specific mail from a plurality of postal images with the same envelope but differing only in the address, the area where the address is described is a character string layout such as a postal code, address, and address. Can be defined as an image pattern determined to some extent, which is effective.
  • the difference area in the reference image performed in the present embodiment can be estimated whether the difference area is the whole object or a part of the object.
  • a highly reliable difference area can be obtained as compared with the second embodiment and the like, so that highly accurate identification can be realized.
  • an object region estimation unit can be added before the template matching unit 2302 and the miscorresponding feature point density search unit 2103. In that case, since the difference area is estimated from the object area after the influence of the background is removed, the configuration is particularly effective in the case of FIGS.
  • FIG. 39 is a block diagram illustrating a configuration example of the object identification device according to the tenth exemplary embodiment of the present invention.
  • the object identification device according to the tenth embodiment includes a local feature quantity extraction unit 11, a local feature quantity verification unit 12, an input image different area determination unit 13, and an input image different area feature quantity extraction unit 26.
  • the feature amount matching unit 27 is provided.
  • the input image different region feature amount extraction unit 14 and the feature amount collation unit 15 of the object identification device according to the first embodiment have the input image different region feature amount.
  • the difference is that the extraction unit 26 and the feature amount verification unit 27 are changed. Details of the input image different area feature quantity extraction unit 26 and the feature quantity verification unit 27 will be described later.
  • Other components are the same as those in the first embodiment, and the same reference numerals are given and detailed description thereof is omitted.
  • FIG. 40 is a block diagram illustrating a configuration example of the input image different area feature amount extraction unit 26. As shown in FIG. 40, the input image different area feature quantity extraction unit 26 includes a different area local feature quantity extraction unit 2601.
  • the different area local feature quantity extraction unit 2601 is the input image different area information output from the input image different area determination unit 13 and the local feature quantity 1 that is the local feature quantity extracted from the input image by the local feature quantity extraction unit 11. And the feature quantity 1 is extracted based on the received input image different area information and the local feature quantity.
  • the feature quantity 1 extracted here searches for a feature point existing in the difference area of the input image based on the coordinate information of the feature point that is the basis for describing the local feature quantity 1, and the feature point A feature value describing peripheral information as a local feature value is output as a feature value 1. That is, the feature value 1 output here is a feature value generated by cutting out a part of the local feature value 1.
  • the feature quantity 2 to be matched with the feature quantity 1 by the feature quantity matching unit 27 is a part of the local feature quantity 2 that is a local feature quantity extracted from the reference image, as with the feature quantity 1. It is the generated feature value.
  • FIG. 41 is a block diagram illustrating a configuration example of the feature amount matching unit 27.
  • the feature amount matching unit 27 includes a corresponding feature point determination unit 201, an erroneous corresponding point removal unit 2701, an identification score calculation unit 203, and a threshold determination unit 2702.
  • the corresponding feature point determination unit 201 and the identification score calculation unit 203 in FIG. 41 are the same as the corresponding feature point determination unit 201 and the identification score calculation unit 203, which are components of the local feature amount matching unit 12 shown in FIG. Detailed description is omitted.
  • the threshold determination unit 2702 in FIG. 41 is almost the same as the threshold determination unit 204 that is a component of the local feature amount matching unit 12 shown in FIG. 4, but outputs a different region identification image ID instead of a local feature identification image ID. Is different.
  • the feature amount of the input image and the feature amount of the reference image that are used in the matching by the feature amount matching unit 27 are the inputs used in the matching (determination) by the local feature amount matching unit 12, respectively. It is a part of each of the feature amount of the image and the feature amount of the reference image.
  • a feature quantity generated by cutting out a part of a local feature quantity is used to identify a different area. Therefore, in the input image different area feature quantity extraction unit, a feature quantity is used. Is generated, it is only necessary to input the local feature amount extracted from the input image, and the input image itself is not required. Therefore, when the object identification device is configured as a server client system in which only local feature extraction is performed on the client side and other processing is performed on the server side, this embodiment is lighter than the input image. Only the local feature amount needs to be transmitted to the server side, and the processing time until obtaining the identification result can be shortened.
  • the feature amount matching unit in the present embodiment performs almost the same processing as the local feature amount matching unit, but excludes the influence due to the correspondence of feature points detected from other than the different regions, and performs matching only in the different regions. Therefore, compared with the conventional method using all local feature values extracted from the entire image, the difference in the object can be more distinguished, and as a result, highly accurate identification can be realized.
  • FIG. 39 which has been described in order as a configuration example of the present embodiment, is based on the first embodiment.
  • the second to ninth embodiments are respectively illustrated in FIG. A configuration based on this is also possible. That is, it is possible to configure the input to the input image different area feature quantity extraction unit 14 in the configuration examples of the second to ninth embodiments as the local feature quantity 1 instead of the input image.
  • FIG. 42 is a block diagram showing a configuration example of the object identification device according to the eleventh embodiment of the present invention.
  • the object identification device according to the eleventh embodiment includes a local feature quantity extraction unit 11, a local feature quantity verification unit 28, an input image different area determination unit 13, and an input image different area feature quantity extraction unit 14. , A feature amount matching unit 29, and an identification score integrated determination unit 30.
  • the local feature amount matching unit 12 and the feature amount matching unit 15 of the object identification device according to the first embodiment include the local feature amount matching unit 28 and the feature amount.
  • the difference from the first embodiment is that the identification score integrated determination unit 30 is added as a new component, being changed to the verification unit 29. Details of the local feature amount matching unit 28, the feature amount matching unit 29, and the identification score integrated determination unit 30 will be described later.
  • Other components are the same as those in the first embodiment, and the same reference numerals are given and detailed description thereof is omitted.
  • FIG. 43 is a block diagram illustrating a configuration example of the local feature amount matching unit 28.
  • the local feature amount matching unit 28 includes a corresponding feature point determination unit 201, an erroneous corresponding point removal unit 202, an identification score calculation unit 203, and a threshold determination unit 2801.
  • the corresponding feature point determination unit 201, the erroneous corresponding point removal unit 202, and the identification score calculation unit 203 correspond to the corresponding feature point determination unit 201 and the erroneous corresponding points that are components of the local feature amount matching unit 12 illustrated in FIG. This is the same as the removal unit 202 and the identification score calculation unit 203, and detailed description thereof is omitted.
  • the threshold determination unit 2801 in FIG. 43 is substantially the same as the threshold determination unit 204 that is a component of the local feature amount matching unit 12 shown in FIG. 4, but includes not only the local feature identification image ID but also the local feature identification image ID. The difference is that an identification score is output from a local feature extracted from a corresponding reference image (or a group of reference images associated therewith).
  • the threshold value set by the threshold value determination unit 2801 may be made looser than the threshold value set by the threshold value determination unit 204 so that a large number of local feature identification image IDs and identification scores are output.
  • FIG. 44 is a block diagram illustrating a configuration example of the feature amount matching unit 29.
  • the feature amount matching unit 29 includes a different area identification score calculation unit 501 and a threshold determination unit 2901. 44 is the same as the different area identification score calculation unit 501 that is a component of the feature amount matching unit 15 illustrated in FIG. 6, and detailed description thereof is omitted.
  • the threshold determination unit 2901 in FIG. 44 is almost the same as the threshold determination unit 502 that is a constituent element of the feature amount matching unit 15 shown in FIG. 6, but corresponds to not only the different region identification image ID but also the different region identification image ID.
  • the difference is that a difference area identification score is output from a feature amount extracted from a difference area of a reference image or a reference image group associated therewith.
  • the threshold value set by the threshold value determination unit 2901 may be made looser than the threshold value set by the threshold value determination unit 502 so that a large number of different region identification image IDs and different region identification scores are output.
  • the identification score integration determination unit 30 includes an identification score integration unit 3001 and a threshold determination unit 3002.
  • the identification score integrating unit 3001 receives the identification score output from the local feature amount matching unit 28 and the different area identification score output from the feature amount matching unit 29, and calculates an integrated score based on the received score. Output. At this time, for example, a product of an identification score corresponding to the same image ID and a different area identification score may be obtained, and the value may be output as an integrated score.
  • the threshold determination unit 3002 in FIG. 45 includes a threshold determination unit 204 that is a component of the local feature amount matching unit 12 illustrated in FIG. 4 and a threshold determination unit 502 that is a component of the feature amount verification unit 15 illustrated in FIG. Almost identical.
  • the threshold determination unit 3002 compares the integrated score output from the identification score integration unit 3001 with a predetermined threshold, and when it is equal to or greater than the threshold, the input image is referred to The image is determined to be an image having the same object as the subject, and the image ID of the input image is output as the identification image ID. If the image is less than the threshold, the input image and the reference image are the same object as the subject.
  • the threshold determination unit 3002 is an image in which the input object and the reference image are the same object based on the result of matching by the local feature amount matching unit 28 and the result of matching by the feature amount matching unit 29. It is determined whether or not there is.
  • the final discrimination result is not determined only by the different area discrimination score, but the final discrimination result is determined from the score integrated with the discrimination score based on the local feature amount.
  • the identification result is determined.
  • images of the same object are captured in a bad environment (for example, a dark environment) and other similar objects are shot in an ideal environment, the similar objects have similar colors as well as textures. If this is the case, correct identification cannot be performed only with the feature amount extracted from the different area, but the identification result for the same object can be relatively increased by combining it with the identification result based on the local feature amount.
  • the identification score is output from the local feature amount matching unit and the different area identification score is output from the feature amount matching unit, and these are output to the identification score integrated determination unit. It can be configured by inputting.
  • the local feature-value collation means which determines whether each feature-value of the feature point extracted from the input image and each feature-value of the feature point extracted from the reference image correspond correctly, When a score based on the number of combinations of feature amounts determined to be correctly handled by the local feature amount matching unit is equal to or greater than a predetermined value, a geometrical deviation between the input image and the reference image is corrected.
  • An input image different area feature quantity extraction means for extracting a feature quantity of the area in the input image corresponding to the position of the image area obtained by performing geometric transformation on the predetermined area of the reference image;
  • a feature amount collating unit that collates the feature amount extracted by the input image different area feature amount extracting unit with the feature amount extracted from the predetermined region of the reference image and outputs a matching result;
  • the object identification device according to supplementary note 1, further comprising storage means for storing information about the predetermined region of the reference image.
  • region of the said reference image is an area
  • the predetermined region of the reference image includes a feature point in a reference image in which a feature amount is erroneously determined by the local feature amount matching unit among regions where an article is captured.
  • the predetermined region of the reference image includes an image obtained by performing geometric transformation on the input image to correct a geometric shift between the input image and the reference image, and the image
  • the predetermined region of the reference image includes a feature point in which a feature amount is erroneously determined by the local feature amount matching unit in a region where an article is captured, and the input It includes a region where a difference between an image obtained by performing geometric transformation for correcting a geometric shift between the image and the reference image on the input image and the reference image is a predetermined value or more.
  • the predetermined region of the reference image is determined to have a feature amount corresponding to the predetermined feature image by the local feature amount matching unit in the reference image, and is similar to a predetermined pattern image
  • the predetermined region of the reference image includes an image obtained by performing geometric transformation for correcting a geometric shift between the input image and the reference image on the input image, and the image
  • the supplementary note 1 is a region including a region in which a difference from a reference image is equal to or greater than a predetermined value and a similarity to the predetermined pattern image is equal to or greater than a predetermined value in the reference image.
  • the predetermined region of the reference image includes a feature point that is determined by the local feature amount matching unit to correspond to a feature amount in error, and between the input image and the reference image A difference between an image obtained by performing geometric transformation for correcting a geometric shift between the input images and the reference image is a predetermined value or more, and a predetermined value is included in the reference image.
  • the object identification device according to appendix 1 wherein the object identification device includes a region having a similarity with a pattern image equal to or greater than a predetermined value.
  • the feature-value of the said input image used by collation by the said feature-value collation means and the feature-value of the said reference image are the feature-value of the said input image used by the determination by the said local feature-value collation means, respectively, 11.
  • the input image and the reference image are images having the same object as a subject.
  • the object identification device according to any one of supplementary notes 1 to 11, further comprising an integrated determination unit that determines whether or not there is any.
  • the local feature-value collation step which determines whether each feature-value of the feature point extracted from the input image and each feature-value of the feature point extracted from the reference image correspond correctly, When the score based on the number of combinations of feature amounts determined to be correctly matched by the local feature amount matching step is equal to or greater than a predetermined value, a geometrical deviation between the input image and the reference image is corrected.
  • An input image different region feature amount extraction step for extracting a feature amount of a region in the input image corresponding to a position of an image region obtained by performing geometric transformation on a predetermined region of the reference image;
  • a feature amount collating step for collating the feature amount extracted by the input image different area feature amount extracting step with the feature amount extracted from the predetermined region of the reference image and outputting a collation result.
  • Local feature-value collation means which determines whether each feature-value of the feature point extracted from the input image by the computer and each feature-value of the feature point extracted from the reference image correspond correctly, When a score based on the number of combinations of feature amounts determined to be correctly handled by the local feature amount matching unit is equal to or greater than a predetermined value, a geometrical deviation between the input image and the reference image is corrected.
  • An input image different region feature quantity extraction means for extracting a feature quantity of a region in the input image corresponding to the position of the image region obtained by performing geometric transformation on a predetermined region of the reference image;

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Geometry (AREA)

Abstract

参照画像に写っている物体と同一の物体が写された入力画像をより正確に識別する。局所特徴量を用いた解析で算出される幾何変換情報に基づき、参照画像中の差異領域を変換して入力画像中の差異領域を決定する。入力画像中の差異領域から抽出された特徴量と、参照画像中の差異領域から抽出された特徴量を照合することによって、従来の局所特徴量による照合だけでは識別できなかった細かな差異を見分け、同一の物体を写した画像のみを識別する事が可能になる。

Description

物体識別装置、物体識別方法、及びプログラム
　本発明は、画像中の物体を正確に識別する装置、方法、及びプログラムに関する。
　画像内の被写体を、撮影サイズや角度の変化、オクルージョンに対して頑健に識別可能とするために、画像内の特徴的な点（特徴点）を多数検出し、各特徴点周辺の局所領域の特徴量（局所特徴量）を抽出する方式が提案されている。その代表的な方式として、特許文献１や非特許文献１には、ＳＩＦＴ（Ｓｃａｌｅ　Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ）特徴量を用いる局所特徴量抽出装置が開示されている。
　従来、局所特徴量抽出装置では、まず画像の各画素から輝度に関する情報のみを抽出し、抽出した輝度情報から特徴的な点（特徴点）を多数検出し、各特徴点に関する情報である特徴点情報を出力する。ここで、特徴点情報とは、例えば、検出された局所特徴点の座標位置やスケール、特徴点のオリエンテーション等を示すものである。そして、検出された各特徴点の座標値、スケール、及びオリエンテーション等の特徴点情報から、特徴量抽出を行う局所領域を取得して、局所特徴量を生成（記述）する。
　例えば、非特許文献１に記載されているように、撮影した画像内の被写体と同一の被写体が写っている画像を識別するために、撮影した画像すなわち入力画像から抽出される局所特徴量１と、参照する画像から生成される局所特徴量２とを比較する。具体的には、まず、局所特徴量１を構成する特徴点付近の領域についての各特徴量と、局所特徴量２を構成する特徴点付近の領域についての各特徴量との全組み合わせについて、特徴空間上での距離計算を行い、最も近傍にある特徴量を対応している特徴量と判定する。対応している特徴量については、特徴量生成の元となっている特徴点についても対応していると判定する。その後、対応していると判定された特徴点の組み合わせに関して、入力画像における特徴点の座標位置を特定の幾何変換に従って移動したときの座標位置と、参照画像における特徴点の座標位置とが一致するか否かに基づいて、対応している特徴点の正誤を決定する。ここで正しく対応していると判定される特徴点数が一定値以上であるとき、同一の被写体が写っている（すなわち、入力画像内の被写体と参照画像内の被写体とが一致する）と判定される。
米国特許第６７１１２９３号明細書 特開２０１０－７９５４５号公報
David G. Lowe著、「Distinctive image features from scale-invariant keypoints」、（米国）、International Journal of Computer Vision、60(2)、2004年、p. 91-110
　従来の局所特徴量を利用する物体識別方式は、入力画像の輝度情報から抽出される局所特徴量と、参照画像の輝度情報から抽出される局所特徴量との対応関係に基づいて物体の識別を行っている。このような識別方法では、入力画像に写っている物体と参照画像に写っている物体とは異なるものであるが、両者の間にわずかな差異しか存在しない場合、対応する特徴点が多数存在するため、同一物体を写した画像であると誤って識別してしまう問題点がある。
　本発明は、上記に鑑みてなされたものであり、その課題は、画像に写っている物体と同一の物体が写された画像をより正確に識別する技術を提供することにある。
　本発明の物体識別装置は、入力画像から抽出した特徴点のそれぞれの特徴量と、参照画像から抽出した特徴点のそれぞれの特徴量とが正しく対応しているか否かを判定する局所特徴量照合手段と、前記局所特徴量照合手段によって正しく対応していると判定された特徴量の組み合わせ数に基づくスコアが所定値以上である場合、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記参照画像の所定の領域に対して行うことによって得られた画像領域の位置に対応する前記入力画像における領域の特徴量を抽出する入力画像差異領域特徴量抽出手段と、前記入力画像差異領域特徴量抽出手段によって抽出された特徴量と、前記参照画像の前記所定の領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合手段とを備えたことを特徴とする。
　本発明の物体識別方法は、入力画像から抽出した特徴点のそれぞれの特徴量と、参照画像から抽出した特徴点のそれぞれの特徴量とが正しく対応しているか否かを判定する局所特徴量照合ステップと、前記局所特徴量照合ステップによって正しく対応していると判定された特徴量の組み合わせ数に基づくスコアが所定値以上である場合、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記参照画像の所定の領域に対して行うことによって得られた画像領域の位置に対応する前記入力画像における領域の特徴量を抽出する入力画像差異領域特徴量抽出ステップと、前記入力画像差異領域特徴量抽出ステップによって抽出された特徴量と、前記参照画像の前記所定の領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合ステップとを備えることを特徴とする。
　本発明のプログラムは、コンピュータを、入力画像から抽出した特徴点のそれぞれの特徴量と、参照画像から抽出した特徴点のそれぞれの特徴量とが正しく対応しているか否かを判定する局所特徴量照合手段、前記局所特徴量照合手段によって正しく対応していると判定された特徴量の組み合わせ数に基づくスコアが所定値以上である場合、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記参照画像の所定の領域に対して行うことによって得られた画像領域の位置に対応する前記入力画像における領域の特徴量を抽出する入力画像差異領域特徴量抽出手段、前記入力画像差異領域特徴量抽出手段によって抽出された特徴量と、前記参照画像の前記所定の領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合手段、として機能させることを特徴とする。
　本発明によれば、画像に写っている物体と同一の物体が写された画像をより正確に識別する技術を提供することができる。
第１の実施の形態における物体識別装置の構成例を表すブロック図である。 入力画像差異領域決定部１３の動作例を示すフローチャートである。 局所特徴量抽出部１１の構成例を表すブロック図である。 局所特徴量照合部１２の構成例を表すブロック図である。 入力画像差異領域特徴量抽出部１４の構成例を表すブロック図である。 特徴量照合部１５の構成例を表すブロック図である。 第１の実施の形態の変形例における物体識別装置の構成例を表すブロック図である。 参照画像に対する差異領域、入力画像に対する入力画像差異領域の関係を示したイメージ図である。 参照画像に対する差異領域、入力画像に対する入力画像差異領域の関係を示したイメージ図である。 参照画像に対する差異領域、入力画像に対する入力画像差異領域の関係を示したイメージ図である。 参照画像に対する差異領域、入力画像に対する入力画像差異領域の関係を示したイメージ図である。 第２の実施の形態における物体識別装置の構成例を表すブロック図である。 局所特徴量照合部１６の構成例を表すブロック図である。 差異領域推定部１７の構成例を表すブロック図である。 差異領域特徴量抽出部１８の構成例を表すブロック図である。 第３の実施の形態における物体識別装置の構成例を表すブロック図である。 差異領域推定部１９の構成例を表すブロック図である。 第４の実施の形態における物体識別装置の構成例を表すブロック図である。 差異領域推定部２０の構成例を表すブロック図である。 第５の実施の形態における物体識別装置の構成例を表すブロック図である。 差異領域推定部２１の構成例を表すブロック図である。 差異領域推定部２１の構成例を表すブロック図である。 差異領域推定部２１の構成例を表すブロック図である。 差異領域推定部２１の構成例を表すブロック図である。 第６の実施の形態における物体識別装置の構成例を表すブロック図である。 差異領域推定部２２の構成例を表すブロック図である。 差異領域推定部２２の構成例を表すブロック図である。 第７の実施の形態における物体識別装置の構成例を表すブロック図である。 差異領域推定部２３の構成例を表すブロック図である。 差異領域推定部２３の構成例を表すブロック図である。 差異領域推定部２３の構成例を表すブロック図である。 第８の実施の形態における物体識別装置の構成例を表すブロック図である。 差異領域推定部２４の構成例を表すブロック図である。 差異領域推定部２４の構成例を表すブロック図である。 差異領域推定部２４の構成例を表すブロック図である。 第９の実施の形態における物体識別装置の構成例を表すブロック図である。 差異領域推定部２５の構成例を表すブロック図である。 差異領域推定部２５の構成例を表すブロック図である。 第１０の実施の形態における物体識別装置の構成例を表すブロック図である。 入力画像差異領域特徴量抽出部２６の構成例を表すブロック図である。 特徴量照合部２７の構成例を表すブロック図である。 第１１の実施の形態における物体識別装置の構成例を表すブロック図である。 局所特徴量照合部２８の構成例を表すブロック図である。 特徴量照合部２９の構成例を表すブロック図である。 識別スコア統合判定部３０の構成例を表すブロック図である。
　（第１の実施の形態）
　本発明の第１実施の形態について図面を参照して説明する。
　図１は第１の実施の形態における物体識別装置の構成を示すブロック図である。物体識別装置は、局所特徴量抽出部１１、局所特徴量照合部１２、入力画像差異領域決定部１３、入力画像差異領域特徴量抽出部１４、及び特徴量照合部１５を備える。物体識別装置は、例えば、パーソナルコンピュータや携帯情報端末等の情報処理装置を用いて構成することができる。そして、物体識別装置を構成する各部の機能は、例えば、プロセッサが、記憶領域に格納されているプログラムをメモリに展開して実行することによって実現される。なお、後述する他の実施形態における構成要素についても同様に実現することができる。
　局所特徴量抽出部１１は、入力画像から特徴点を検出し、検出された特徴点とその付近の領域である局所領域の特徴量を局所特徴量として抽出する。局所特徴量抽出部１１による処理の詳細については後述する。
　局所特徴量照合部１２は、局所特徴量抽出部１１において入力画像から抽出された局所特徴量１と、参照画像から抽出された局所特徴量２とを照合して対応する局所特徴量を特定する。対応する局所特徴量を特定する方法についての詳細は、図４を参照して後述する。局所特徴量照合部１２は、局所特徴量が対応する局所領域を幾何変換したときの位置に応じて、入力画像と参照画像との間で対応する局所領域を特定する。例えば、入力画像における局所領域を、画像の中心を軸として所定の角度だけ回転移動したときの局所領域の座標位置が、参照領域における局所特徴量が対応する局所領域の座標位置と一致する場合、入力画像及び参照画像において座標位置が一致した局所領域は、対応する局所領域として特定される。すなわち、上記の幾何変換は参照画像と入力画像との間の幾何的なずれが補正されるように行われる。また、局所特徴量照合部１２は、対応する局所領域が特定された場合、用いられた幾何変換についての情報（幾何変換情報）と、局所領域が対応すると判定された参照画像の画像ＩＤである局所特徴識別画像ＩＤとを出力する。
　参照画像から抽出された局所特徴量２は、あらかじめ複数の参照画像から抽出しておき、図１に示す局所特徴量ＤＢなどのデータベースに記憶しておいても良いし、オンザフライで参照画像から局所特徴量抽出部１１を利用して抽出しても良い。データベースに記憶しておく場合、類似するオブジェクトを含む（類似する物体を被写体とする）参照画像から抽出される局所特徴量を関連付けて登録しておいても良い。局所特徴量照合部１２の詳細については後述する。
　入力画像差異領域決定部１３は、局所特徴量照合部１２から出力された局所特徴識別画像ＩＤに対応する参照画像、又は局所特徴識別画像ＩＤに関連付いた参照画像群の差異領域に対し、局所特徴量照合部１２から出力された幾何変換情報が示す幾何変換を行い、入力画像差異領域情報を出力する。
　ここで、本実施形態において、参照画像の差異領域とは、入力画像に写っている物体と参照画像に写っている物体とでわずかに差異が生じ得ることが予測されている場合に、参照画像においてその差異が生じ得る部分が写された領域である。参照画像の差異領域の情報は、例えば差異領域が矩形である場合、その矩形の４隅の座標値情報であっても良い。または、差異領域を構成する参照画像中の画素群の座標値を表す情報であっても良い。
　入力画像差異領域情報は、参照画像における差異領域の４隅の座標値のそれぞれに対して幾何変換を行うことによって得られる入力画像における座標値とすることができる。または、参照画像の差異領域の情報がその差異領域を構成する画素群の座標値情報である場合、それらの画素群のそれぞれに対して、幾何変換情報に対応する幾何変換を行い、入力画像における差異領域を構成する画素群の座標値情報を入力画像差異領域情報とすることができる。
　参照画像の差異領域情報は、事前にデータベースに記憶されている。例えば、局所特徴量２を図１の局所特徴量ＤＢなどのデータベースに記憶しておく場合には、参照画像の差異領域情報を局所特徴量２とともに局所特徴量ＤＢに記憶しても良い。
　入力画像差異領域特徴量抽出部１４は、入力画像差異領域決定部１３から出力された入力画像差異領域情報が示す入力画像における領域（入力画像中の差異領域）から特徴量を抽出する。入力画像差異領域特徴量抽出部１４の詳細については後述する。
　特徴量照合部１５は、入力画像差異領域特徴量抽出部１４において入力画像中の差異領域から抽出された特徴量１と、参照画像中の差異領域から抽出された特徴量２とを照合して、照合結果を出力する。特徴量照合部１５は、当該照合において、入力画像に含まれるオブジェクトと参照画像に含まれるオブジェクトが同一であるか（入力画像と参照画像とが同一の物体を被写体としているか）を判定する。同一であると判定された場合、特徴量照合部１５は、同一であると判定された入力画像の画像ＩＤを差異領域識別画像ＩＤとして出力する。
　特徴量２は、図１のように、あらかじめ複数の参照画像から抽出しておきデータベースに記憶しておいても良いし、オンザフライで参照画像から抽出しても良い。データベースに記憶しておく場合、類似する物体を関連付けて登録しておいても良い。特徴量照合部１５の詳細については後述する。
　図２は、図１に示した入力画像差異領域決定部１３による処理のフローを示すフローチャートである。図２に示すように、まず、Ｓ１３１で処理を制御するための変数ｉの初期化が行われる。
　Ｓ１３２においては、局所特徴量照合部１２から出力された幾何変換情報が取得される。Ｓ１３３においては、局所特徴量ＤＢから参照画像の差異領域情報が取得される。ここで取得する差異領域情報は、参照画像の差異領域が矩形である場合、その矩形の４隅の座標値情報であっても良いし、差異領域を構成する参照画像中の画素群の座標値を表す情報であっても良い。
　Ｓ１３４では、Ｓ１３２で取得した幾何変換情報が示す幾何変換を、Ｓ１３３で取得した差異領域情報に対して行う。ここで、差異領域情報が、４隅の座標値情報である場合は、４つの座標値のうちの１つに幾何変換を行う。また、差異領域情報が、差異領域を構成する参照画像中の画素群の座標値情報である場合は、画素群のうちの１つの画素に幾何変換を行う。この時点で変数ｉが一定数Ｎ未満である場合、Ｓ１３５において変数ｉの値を更新し、変数ｉの値がＮ以上になるまでＳ１３３とＳ１３４の処理を継続する。Ｓ１３３において取得する差異領域情報が、４隅の参照画像における座標値情報である場合にはＮ＝４とし、差異領域情報が、差異領域を構成する参照画像中の画素群の座標値情報である場合には、差異領域を構成する参照画像中の画素群の数がＮの値として設定される。最後に、Ｓ１３６では、Ｓ１３４で算出した入力画像差異領域情報を出力し、処理を終了する。
　次に、図３を参照して、局所特徴量抽出部１１について詳述する。図３は、局所特徴量抽出部１１の構成例を表すブロック図である。局所特徴量抽出部１１は、輝度情報抽出部１０１、局所特徴点検出部１０２、及び局所特徴量生成部１０３を備える。
　輝度情報抽出部１０１は、入力画像を受け取り、その入力画像の各画素から輝度に関する情報のみを抽出し出力する。ここで受け取る入力画像は、デジタルカメラやデジタルビデオカメラ、携帯電話等の撮像機器で撮影された画像や、スキャナー等を通して取り込まれた画像などである。また、画像は、ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）のように圧縮された画像であってもよいし、ＴＩＦＦ（Ｔａｇｇｅｄ　Ｉｍａｇｅ　Ｆｉｌｅ　Ｆｏｒｍａｔ）のように圧縮されていない画像であってもよい。
　局所特徴点検出部１０２は、画像から特徴的な点（特徴点）を多数検出し、各特徴点に関する情報である特徴点情報を出力する。ここで、特徴点情報とは、例えば、検出された特徴点の座標位置やスケール、特徴点のオリエンテーション、特徴点に対して割り当てられた固有のＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）である「特徴点番号」等を示すものである。なお、局所特徴点検出部１０２は、特徴点情報を、各特徴点のオリエンテーションの方向毎に別々の特徴点情報として出力しても良い。例えば、局所特徴点検出部１０２は、各特徴点における最も主たるオリエンテーションの方向についてのみ特徴点情報を出力することとしてもよいし、２番目以降の主たるオリエンテーションの方向についての特徴点情報も出力することとしてもよい。また、局所特徴点検出部１０２は、２番目以降の主たるオリエンテーションの方向についての特徴点情報も出力する場合、各特徴点におけるオリエンテーションの方向ごとに異なる特徴点番号を付与することができる。局所特徴点検出部１０２は、画像から特徴点を検出して特徴点情報を抽出する際に、例えば、ＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ－ｏｆ－Ｇａｕｓｓｉａｎ）処理を用いることができる。具体的には、局所特徴点検出部１０２は、ＤｏＧ処理を用いてスケールスペースにおける極値探索をすることで特徴点の位置とスケールを決定することができる。さらに局所特徴点検出部１０２は、決定した特徴点の位置およびスケールと周辺領域の勾配情報とを用いて各特徴点のオリエンテーションを算出することができる。なお、局所特徴点検出部１０２は、画像から特徴点を検出して特徴点情報を抽出する際に、ＤｏＧではなく、Ｆａｓｔ－Ｈｅｓｓｉａｎ　Ｄｅｔｅｃｔｏｒ等の他の手法を用いてもよい。局所特徴点検出部１０２は、その内部で検出された特徴点の中から重要な特徴点のみを選び出し、その特徴点に関する情報のみを特徴点情報として出力しても良い。
　局所特徴量生成部１０３は、局所特徴点検出部１０２から出力される特徴点情報を受け取り、各特徴点に対する局所領域（特徴点とその周辺の領域）の特徴量である局所特徴量を生成（記述）する。なお、局所特徴量生成部１０３は、ＺＩＰやＬＺＨ等の可逆圧縮で圧縮された形式で局所特徴量を出力してもよい。局所特徴量生成部１０３は、局所特徴点検出部１０２において、検出する特徴点の重要度を決めている場合、その特徴点の重要度順に局所特徴量を生成して出力することができる。また、局所特徴量生成部１０３は、特徴点の座標位置順に局所特徴量を生成して出力してもよい。局所特徴量生成部１０３では、まず、特徴点情報に基づいて、検出された各特徴点の座標値、スケール、及びオリエンテーションから、特徴量抽出を行う局所領域を取得する。なお、１つの特徴点に対してオリエンテーションの異なる複数の特徴点情報が存在する場合、各特徴点情報に対して局所領域を取得することができる。次に、局所領域を特徴点のオリエンテーション方向に応じて回転させて正規化した後、サブ領域に分割する。例えば、局所領域を１６ブロック（４×４ブロック）に分割することができる。次に、局所領域のサブ領域ごとに特徴ベクトルを生成する。サブ領域の特徴ベクトルとしては、例えば、勾配方向ヒストグラムを用いることができる。具体的には、各サブ領域の画素ごとに勾配方向を算出し、それを８方向に量子化して、サブ領域ごとに量子化された８方向の頻度を集計し、勾配方向ヒストグラムを生成する。この時、各特徴点に対して生成される１６ブロック×８方向の勾配方向ヒストグラムにより構成される特徴ベクトルを局所特徴量として出力する。出力される局所特徴量には、特徴点の座標位置情報を含めて出力する。
　次に、図４を参照して、局所特徴量照合部１２について詳述する。図４は、局所特徴量照合部１２の構成例を表すブロック図である。図４に示すように、局所特徴量照合部１２は、対応特徴点決定部２０１、誤対応点除去部２０２、識別スコア算出部２０３、及び閾値判定部２０４を備える。
　対応特徴点決定部２０１は、局所特徴量抽出部１１で入力画像から抽出される局所特徴量１と、参照画像から抽出される局所特徴量２とを受け取る。対応特徴点決定部２０１は、局所特徴量１と局所特徴量２が対応するか否かを判定し、対応する場合、局所特徴量１と局所特徴量２は対応するものであるとして、対応特徴点情報を出力する。例えば、前記局所特徴量１と前記局所特徴量２がそれぞれ特徴点周辺の勾配ヒストグラムを記述した特徴量の集合である場合、まず、特徴量空間における距離計算を局所特徴量の全組み合わせについて行う。最小となる距離値が次に小さい距離値に対して十分に小さくなる場合に限り、その距離値が最小となる局所特徴量の組み合わせに関して、その局所特徴量及びその局所特徴量の局所特徴領域は対応していると判断し、局所特徴領域の位置情報と対応する局所特徴領域の位置情報を対応特徴点情報として出力する。
　誤対応点除去部２０２は、対応特徴点決定部２０１から対応特徴点情報を受け取り、それらの対応特徴点の中から、正しく対応している特徴点と誤って対応している特徴点を判別して、その判別した特徴点情報をそれぞれ出力すると共に、その判別に使用する幾何変換情報もあわせて出力する。例えば、対応特徴点決定部２０１から受け取った対応特徴点情報に対し、ＲＡＮＳＡＣ等の手法を適用して、参照画像中の座標を入力画像中の座標へ移動させる幾何変換についての情報を幾何変換情報として推定する。ここで推定された幾何変換情報を、対応特徴点の参照画像側の特徴点に対しそれぞれ作用させ、それらが入力画像側の特徴点にほぼ一致する場合は正しく対応している特徴点であると判断し、逆に入力側の特徴点に一致しない場合は誤って対応している特徴点であると判断する。
　識別スコア算出部２０３は、誤対応点除去部２０２から対応特徴点情報を受け取り、識別スコアを出力する。出力する識別スコアは、例えば、誤対応点除去部２０２から受け取った対応特徴点情報の中から、正しく対応した特徴点の組み合わせ数をカウントし、その数を０から１の間のスコアにマッピングさせるためのテーブルをあらかじめ用意しておき、そのテーブルを参照して識別スコアを出力しても良い。または、正しく対応した特徴点の組み合わせ数がｃである場合、あらかじめ定められた特徴点の最低対応数をｍとして、ｍ／（ｃ＋ｍ）を識別スコアとして算出しても良い。閾値判定部２０４は、識別スコア算出部２０３から出力された識別スコアを閾値処理し、閾値以上である場合は同一の物体を写した画像であると判定し、その参照画像のＩＤを局所特徴識別画像ＩＤとして出力する。この閾値判定部２０４で設定される閾値は、事前に決定され内部に保持された値であっても良いし、外部から与える値であっても良い。
　次に、図５を参照して、入力画像差異領域特徴量抽出部１４について詳述する。図５は、入力画像差異領域特徴量抽出部１４の構成例を表すブロック図である。図５に示すように、入力画像差異領域特徴量抽出部１４は、差異領域画像生成部４０１、及び差異領域特徴量算出部４０２を備える。
　差異領域画像生成部４０１は、入力画像と、入力画像差異領域決定部１３から入力画像差異領域情報を受け取り、その入力画像差異領域情報が、入力画像における差異領域の４隅の座標値情報である場合、４隅のうち隣り合う２隅をそれぞれ直線で結んだ時にその直線上の画素を順に読み取る。読み取られた画素群に囲まれた領域について、入力画像中からその値を読み取っていく画素とその順序を決定する事により、入力画像中の差異領域画像を生成し出力する。または、入力画像差異領域決定部１３から受け取る入力画像差異領域情報が、入力画像における差異領域を構成する画素群の座標値を表す情報である場合、差異領域画像生成部４０１は、その順序で入力画像を読み取り、入力画像中の差異領域画像として出力する。
　差異領域特徴量算出部４０２は、差異領域画像生成部４０１で生成された差異領域画像から特徴量を抽出し、その特徴量を出力する。差異領域特徴量算出部４０２で抽出する特徴量として、例えば、入力画像の差異領域と参照画像の差異領域の色情報に関する解析を行うため「色配置」「色ヒストグラム」等の特徴量を抽出しても良い。あるいは、入力画像の差異領域と参照画像の差異領域の細かな文字の違いを解析するため、「文字らしさ」を表現可能な特徴量を抽出しても良い。
　次に、図６を参照して、特徴量照合部１５について詳述する。図６は、特徴量照合部１５の構成例を表すブロック図である。図６に示すように、特徴量照合部１５は、差異領域識別スコア算出部５０１、及び閾値判定部５０２を備える。
　差異領域識別スコア算出部５０１は、入力画像の差異領域から抽出される特徴量を特徴量１として、参照画像の差異領域から抽出される特徴量を特徴量２として、それぞれ受け取る。差異領域識別スコア算出部５０１は、受け取った２つの特徴量から決定される識別スコアを差異領域識別スコアとして出力する。差異領域識別スコアは、特徴量１と特徴量２が類似している程、その値が高くなるような尺度である。例えば、特徴量１と特徴量２の特徴量空間上での距離を計算し、その逆数を差異領域識別スコアとして出力しても良い。または、特徴量１と、複数の参照画像群からそれぞれ抽出した特徴量２を照合する場合、特徴量の全組み合わせの中で特徴量空間上での距離の最小値を見つけ、その最小値で、特徴量の全組み合わせにおける特徴量空間上での距離を割った値の逆数を差異領域識別スコアとして出力しても良い。または、特徴量１と特徴量２の特徴量空間上での距離値を、０～１の間のスコアにマッピングさせるためのテーブルをあらかじめ用意しておき、そのテーブルを参照して差異領域識別スコアを出力しても良い。
　閾値判定部５０２は、差異領域識別スコア算出部５０１から出力された差異領域識別スコアを閾値と比較し、閾値以上である場合は同一の物体を写した画像であると判定し、その参照画像のＩＤを差異領域識別画像ＩＤとして出力する。この閾値判定部５０２で設定される閾値は、事前に決定され内部に保持された値であっても良いし、外部から与える値であっても良い。
　図７は、本実施の形態の変形例における物体識別装置の構成を示している。図７に示す物体識別装置は、差異領域情報のみを格納したデータベースである差異領域情報ＤＢを設けている点で、図１に示す物体識別装置と異なる。局所特徴量２がデータベースとして記憶されておらず、参照画像からオンザフライで抽出される場合、この図７の構成で本実施の形態が実現できる。
　図８から図１１は、それぞれ、参照画像における差異領域と、入力画像における差異領域との間の関係として考えられるパターンを示したイメージ図である。
　図８は、物体が参照画像全体に表示され、差異領域が参照画像全体に対して設定される場合の例を示している。この例は、同一銘柄で味付けが異なるお菓子パッケージ等でよく見られるように、物体に刻まれている文字・模様等はほぼ同一だが、その物体の色が異なる場合等が該当する。すなわち、この例では、入力画像の全体が参照画像の全体と異なりうることが考えられるため、参照画像の全体が差異領域として設定される。
　図９は、物体が参照画像全体に表示され、差異領域が参照画像の一部に対して設定される場合の例を示している。この例は、同一シリーズで巻が異なる本の背表紙等でよく見られるように、物体はほぼ同一なのだが、物体の一部分のみ、色や文字や模様が異なる場合が該当する。すなわち、この例では、入力画像の一部が参照画像の一部と異なりうることが考えられるため、参照画像の一部が差異領域として設定される。図１０及び図１１に示す例は、図８及び図９に示した例とそれぞれほぼ同様だが、参照画像が画像全体ではなくその一部にしか写っていない点が異なる。
　いずれの例においても、本実施の形態では、その差異領域として設定された領域の情報が事前にデータベース登録されている。本実施形態において、登録されている参照画像中の差異領域及び入力画像中の差異領域は、それぞれ、差異が生じ得ることが予測されている必要最小限の領域を参照画像及び入力画像のそれぞれから抽出したものである。そのため、参照画像の全体の局所特徴量と入力画像の全体の局所特徴量とを比較したときに、差異がわずかであるために同一の画像であると判定されてしまった場合であっても、参照画像及び入力画像の差異画像の特徴量のみを再度比較することによって、物品の違いに起因する細かな差異を見分けることができる。その結果、局所特徴量のみを使った場合に問題となっていた誤判定を抑制する事が可能となる。
　以上のように本実施形態によれば、局所特徴量照合部１２は、入力画像から抽出した特徴点のそれぞれの特徴量と、参照画像から抽出した特徴点のそれぞれの特徴量とが対応するかを判定する。入力画像差異領域特徴量抽出部１４は、局所特徴量照合部１２によって対応すると判定された特徴量の組み合わせ数に基づくスコアが所定値以上の場合、入力画像と参照画像との間の幾何的なずれを補正する幾何変換を参照画像の所定の領域（差異領域）に対して行うことによって得られた画像領域の位置に対応する入力画像における領域から特徴量を抽出する。なお、本実施形態において参照画像の差異領域は、入力画像差異領域決定部１３によって決定される。特徴量照合部１５は、入力画像差異領域特徴量抽出部１４によって抽出された特徴量と、参照画像の差異領域から抽出された特徴量とを照合し、照合結果を出力する。その結果、参照画像に写っている物体と同一の物体が写された入力画像をより正確に識別することができる。
　（第２の実施の形態）
　本発明の第２の実施の形態について図面を参照して説明する。第２の実施の形態では、参照画像中の差異領域を事前にデータベース登録せずに、参照画像中の差異領域を推定して識別を行う。
　図１２は、本発明の第２の実施の形態における物体識別装置の構成を示すブロック図である。図１２に示すように、本実施形態の物体識別装置は、局所特徴量抽出部１１、局所特徴量照合部１６、入力画像差異領域決定部１３、入力画像差異領域特徴量抽出部１４、差異領域推定部１７、差異領域特徴量抽出部１８、及び特徴量照合部１５を備える。このように、第２の実施の形態の物体識別装置では、第１の実施の形態の物体識別装置の局所特徴量照合部１２が局所特徴量照合部１６に変更され、差異領域情報を格納したデータベースである差異領域情報ＤＢが差異領域推定部１７及び差異領域特徴量抽出部１８に変更されている点で、第１の実施の形態と異なる。局所特徴量照合部１６、差異領域推定部１７、差異領域特徴量抽出部１８の詳細については後述する。その他の構成要素については第１の実施の形態と同様であるため同一の符号を付して詳細な説明は省略する。
　図１３は、局所特徴量照合部１６の構成例を表すブロック図である。図１３に示すように、局所特徴量照合部１６は、対応特徴点決定部２０１、誤対応点除去部２０２、識別スコア算出部２０３、及び閾値判定部２０４を備える。すなわち、図１３に示される局所特徴量照合部１６の構成要素は、図４に示される局所特徴量照合部１２の構成要素と同一である。しかし、図１３に示される局所特徴量照合部１６は、誤対応点除去部２０２から幾何変換情報が出力され、閾値判定部２０４から局所特徴識別画像ＩＤが出力されることに加え、誤対応点除去部２０２から出力される対応特徴点情報が局所特徴量照合部１６から出力されている点が図４の局所特徴量照合部１２とは異なっている。
　図１４は、差異領域推定部１７の構成を表すブロック図である。図１４に示すように、差異領域推定部１７は、誤対応特徴点密集度探索部７０１を備える。誤対応特徴点密集度探索部７０１は、局所特徴量照合部１６から対応特徴点情報を受け取り、参照画像中の差異領域に関する情報である差異領域情報を出力する。局所特徴量照合部１６から受け取る対応特徴点情報は、正しく対応している特徴点の情報と、誤って対応している特徴点の情報とが含まれている。そのため、対応特徴点情報に含まれている誤って対応している特徴点の情報を用いて、誤って対応している特徴点が密集している領域を参照画像中から探索する事によって、参照画像中の差異領域を推定する事が可能である。誤って対応している特徴点が密集している領域の探索は、例えば、一定の大きさの矩形窓を規定し、差分画像中でこの矩形窓を動かしていき、誤って対応している特徴点の数が矩形窓内で一定数以上である場合、その矩形窓の領域を差異領域とすることができる。参照画像中の差異領域を推定する方法はこれに限定されず、誤って対応している特徴点が密集している領域に基づいて推定する方法であれば、任意の方法で実施することができる。すなわち、参照画像の差異領域（所定の領域）は、局所特徴量照合部１６によって、参照画像において誤って対応している特徴点が密集していると判定された領域を含む領域である。
　図１５は、差異領域特徴量抽出部１８の構成例を表すブロック図である。図１５に示すように、差異領域特徴量抽出部１８は、差異領域画像生成部８０１、及び差異領域特徴量算出部４０２を備える。
　差異領域画像生成部８０１は、図５に示した入力画像差異領域特徴量抽出部１４の構成要素である差異領域画像生成部４０１とほぼ同一である。しかしながら、差異領域画像生成部８０１は、入力画像及び入力画像差異領域情報の代わりに、参照画像及び差異領域情報がそれぞれ入力される点で差異領域画像生成部４０１とは異なる。また、差異領域画像生成部８０１で生成される差異画像は、入力画像差異領域情報に基づいて入力画像から生成されるのではなく、参照画像中の差異領域情報に基づいて参照画像から生成される点が異なっている。
　差異領域特徴量算出部４０２は、図５に示した入力画像差異領域特徴量抽出部１４の構成要素である差異領域特徴量算出部４０２と同一であるため、詳細な説明は省略する。なお、図５と図１５における差異領域特徴量算出部４０２で算出する特徴量は、同一の処理で算出される特徴量でなければならない。
　以上のように本実施の形態では、参照画像中の差異領域を事前にデータベース登録しておかなくても、参照画像中の差異領域を推定する事ができるため、物体識別を利用した検品システムで、差異が生じ得ることが予測される領域を差異領域として事前に登録しておく事ができない場合（例えば、多数の製品の中からどこかに傷を持つ製品だけを見分ける場合など）に効果的である。そして、本実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるため、図８から図１１に示したいずれの例の場合に対しても、本実施の形態は有効である。
　（第３の実施の形態）
　本発明の第３の実施の形態について図面を参照して説明する。
　図１６は、本発明の第３の実施の形態である物体識別装置の構成を示すブロック図である。図１６に示すように、第３の実施の形態の物体識別装置は、局所特徴量抽出部１１、局所特徴量照合部１６、入力画像差異領域決定部１３、入力画像差異領域特徴量抽出部１４、特徴量照合部１５、差異領域推定部１９、及び差異領域特徴量抽出部１８を備える。
　このように、第３の実施の形態の物体識別装置では、第２の実施の形態の物体識別装置の差異領域推定部１７が差異領域推定部１９に変更されている点が第２の実施の形態と異なる。差異領域推定部１９の詳細については後述する。その他の構成要素については、第２の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
　図１７は、差異領域推定部１９の構成例を表すブロック図である。図１７に示すように、差異領域推定部１９は、物体領域推定部９０１、及び誤対応特徴点密集度探索部９０２を備える。
　物体領域推定部９０１は、局所特徴量照合部１６から出力される局所特徴識別画像ＩＤに対応する参照画像、あるいはその局所特徴識別画像ＩＤに関連付いた参照画像群を受け取り、参照画像中で物体が存在している領域を表す情報である物体領域情報を出力する。ここで受け取る参照画像は、図１６のように、あらかじめデータベースに記憶しておいても良いし、物体識別装置の外部から取得しても良い。物体領域推定部９０１における処理としては、例えば、参照画像中のエッジ強度を解析することで物体領域を大まかに推定する方法や、背景領域の画像パターンをあらかじめ学習しておき背景以外の領域として物体領域を大まかに推定する方法等が考えられる。
　誤対応特徴点密集度探索部９０２は、図１４に示した差異領域推定部１７の構成要素である誤対応特徴点密集度探索部７０１と類似している。しかしながら、誤対応特徴点密集度探索部９０２は、局所特徴量照合部１６から受け取る対応特徴点情報に加えて、物体領域推定部９０１から出力される物体領域情報が入力される点が第２の実施の形態とは異なっている。誤対応特徴点密集度探索部９０２は、対応特徴点のうち、物体領域の内部に存在する点のみに着目し、誤って対応している特徴点が密集している領域を探索する。
　すなわち、誤対応特徴点密集度探索部９０２は、参照画像中の物体領域の内部から差異領域を推定する。そのため、本実施の形態において、物体以外の領域から出現する誤った対応の特徴点の影響を受けることなく、参照画像中の差異領域を推定する事が可能である。つまり、参照画像における差異領域（所定の領域）は、参照画像において物品が写った領域のうち、誤って対応している特徴点が密集していると局所特徴量照合部１６によって判定された領域を含む領域となる。また、誤対応特徴点密集度探索部９０２は、参照画像中で誤って対応している特徴点が密集している領域を探索する範囲が限定されるため、探索範囲が参照画像全体である誤対応特徴点密集度探索部７０１と比べて高速な処理が可能である。
　本実施の形態では、実施の形態２と同様、参照画像中の差異領域を事前にデータベース登録しておかなくても、参照画像中の差異領域を推定する事ができるため、物体識別を利用した検品システムで、事前に差異領域に関する情報を登録しておく事ができない場合（例えば、多数の製品の中からどこかに傷を持つ製品だけを見分ける場合など）に効果的である。そして、本実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、物体以外の領域から出現する誤った対応の特徴点の影響を受けることなく差異領域を高精度に推定する事が可能であるため、図１０及び図１１に示した例の場合に特に有効である。
　（第４の実施の形態）
　本発明の第４の実施の形態について図面を参照して説明する。第４の実施の形態では、差異領域の推定方法として他の方法を用いた場合について説明する。
　図１８は、本発明の第４の実施の形態である物体識別装置の構成を示すブロック図である。図１８に示すように、第４の実施の形態の物体識別装置は、局所特徴量抽出部１１、局所特徴量照合部１２、入力画像差異領域決定部１３、入力画像差異領域特徴量抽出部１４、特徴量照合部１５、差異領域推定部２０、及び差異領域特徴量抽出部１８を備える。このように、第４の実施の形態の物体識別装置では、第３の実施の形態の物体識別装置の局所特徴量照合部１６及び差異領域推定部１９が、局所特徴量照合部１２及び差異領域推定部２０に変更されている点が第３の実施の形態と異なる。局所特徴量照合部１２は、第１の実施の形態の物体識別装置の局所特徴量照合部１２と同様であり、詳細な説明は省略する。差異領域推定部２０の詳細については後述する。その他の構成要素については、第３の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
　図１９は、差異領域推定部２０の構成例を表すブロック図である。図１９に示すように、差異領域推定部２０は、変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３、及び大差分領域検出部２００４を備える。
　変換画像生成部２００１は、入力画像と、局所特徴量照合部１２から出力される幾何変換情報とを受け取り、入力画像に対して幾何変換情報が示す幾何変換を行い、変換画像を出力する。ここで出力される変換画像は、例えば、入力画像の各画素に対して、幾何変換情報が示す幾何変換を行い、入力画像の各画素を参照画像と同じ大きさの画像上に投影させていくことで、変換画像を生成する。このとき、投影先の画像において、入力画像中の画素が投影されない画素については、その画素値を０等で埋めて変換画像を生成する。また、局所特徴量照合部１２から出力される幾何変換情報が、参照画像中の座標から入力画像中の座標へ変換する情報である場合、この変換画像生成部２００１で作用させる幾何変換情報は、その逆の変換を行う情報になっている必要がある。すなわち、局所特徴量照合部１２から出力される幾何変換情報が、参照画像中の座標から入力画像中の座標へ変換する３×３の行列である場合、変換画像生成部２００１で作用させる幾何変換情報は、その逆行列を用いる。
　差分画像生成部２００２は、局所特徴量照合部１２から出力される局所特徴識別画像ＩＤに対応する参照画像（又はその局所特徴識別画像ＩＤに関連付いた参照画像群）と、変換画像生成部２００１から出力される変換画像とを受け取る。差分画像生成部２００２は、参照画像と変換画像の差分を取った画像を差分画像として出力する。なお、参照画像と変換画像の差分を取る際、例えば、両方の画像の輝度の平均値が一致するよう、一方の画像の輝度を補正してから差分を取っても良い。ここで受け取る参照画像は、図１８のように、あらかじめデータベースに記憶しておいても良いし、物品識別装置の外部から取得しても良い。
　物体領域推定部２００３は、差分画像生成部２００２から差分画像を受け取り、当該差分画像中の物体領域情報（参照画像中で物体が存在している領域を表す情報）を推定して出力する。ここで出力される物体領域情報は、例えば、差分画像の中でその差分値が小さい領域を画像中から探索する事によって推定する事が可能である。これは、差分画像の中で差分値が小さい領域は、参照画像と変換画像で同一の物体が写っている可能性が高い領域と考えられるためである。物体領域の推定は、例えば、一定の大きさの矩形窓を考え、差分画像中でこの矩形窓を動かしていき、矩形窓内で画素値の小さい画素が一定数以上あった場合、その矩形窓の領域を物体領域とすることもできるし、他の方法であっても良い。
　大差分領域検出部２００４は、差分画像生成部２００２から出力される差分画像と、物体領域推定部２００３から出力される物体領域情報とを受け取る。大差分領域検出部２００４は、物体領域において、差分画像内の差分値が大きくなっている箇所は、参照画像に写っている物体と変換画像に写っている物体とで差異が存在している箇所である可能性が高いと判断する。従って、大差分領域検出部２００４は、差分値が大きい箇所を画像内から探索し、その領域情報を差異領域情報として出力する。差分値が大きい箇所（すなわち差異領域）の探索は、例えば、一定の大きさの矩形窓を規定し、差分画像内の物体領域中でこの矩形窓を動かしていき、矩形窓内で画素値の大きい画素が一定数以上あった場合、その矩形窓の領域を差異領域とすることもできるし、他の方法で探索しても良い。
　以上のように本実施の形態では、変換画像生成部２００１は、入力画像と参照画像との間の幾何的なずれを補正する幾何変換を入力画像に対して行って、変換画像を出力する。大差分領域検出部２００４は、変換画像と参照画像との差分が所定値以上である領域を含む領域についての情報を差分領域情報として出力する。また、大差分領域検出部２００４は、参照画像中で物体が存在している領域のうち、変換画像と参照画像との差分が所定値以上である領域を含む領域についての情報を差分領域情報として出力することができる。
　本実施の形態では、実施の形態２、３と同様、参照画像中の差異領域を事前にデータベース登録しておかなくても、参照画像中の差異領域を推定する事ができるため、物体識別を利用した検品システムで、事前に差異領域に関する情報を登録しておく事ができない場合（例えば、多数の製品の中からどこかに傷を持つ製品だけを見分ける場合など）に効果的である。そして、本実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、実施の形態３と同様、まず物体領域を推定することにより背景の影響を取り除いた上で、改めて差異領域を推定するため、差異領域を高精度に推定する事ができ、図１０や図１１に示した例のような場合に特に有効である。
　（第５の実施の形態）
　本発明の第５の実施の形態について図面を参照して説明する。
　図２０は、本発明の第５の実施の形態である物体識別装置の構成を示すブロック図である。図２０に示すように、第５の実施の形態の物体識別装置は、局所特徴量抽出部１１、局所特徴量照合部１６、入力画像差異領域決定部１３、入力画像差異領域特徴量抽出部１４、特徴量照合部１５、差異領域推定部２１、及び差異領域特徴量抽出部１８を備える。このように、第５の実施の形態の物体識別装置では、第３の実施の形態の物体識別装置と第４の実施の形態の物体識別装置をあわせた構成になっている。第３の実施の形態の物体識別装置との比較では、差異領域推定部１９が差異領域推定部２１に変更されている点が異なる。差異領域推定部２１の詳細については後述する。その他の構成要素については、第３の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
　図２１から図２４は、差異領域推定部２１の構成例を表すブロック図であり、以下に各図について説明する。
　図２１に示す差異領域推定部２１は、変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３、及び誤対応特徴点密集度探索部９０２を備える。図２１の変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３は、図１９で示される差異領域推定部２０の構成要素である変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３と同一であり、詳細な説明は省略する。また、図２１の誤対応特徴点密集度探索部９０２は、図１７で示される差異領域推定部１９の構成要素である誤対応特徴点密集度探索部９０２と同一であり、詳細な説明は省略する。
　すなわち、差異領域推定部２１は、差異領域推定部１９のように、参照画像だけを利用して推定した物体領域から誤対応の特徴点が密集している領域を探索するのではなく、変換した入力画像と参照画像の差分を利用して推定した物体領域から誤対応の特徴点が密集している領域を探索することで、差分領域を推定する。
　また、図２２に示す差異領域推定部２１は、変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３、大差分領域検出部２１０１、及び誤対応特徴点密集度探索部２１０２を備える。図２２の変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３は、図１９で示される差異領域推定部２０の構成要素である変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３と同一であり、詳細な説明は省略する。
　図２２の大差分領域検出部２１０１は、図１９で示される差異領域推定部２０の構成要素である大差分領域検出部２００４とほぼ同一であるが、差異領域情報ではなく差異候補領域情報を出力する点が異なっている。この大差分領域検出部２１０１が出力する差異候補領域情報は、大差分領域検出部２００４で出力される差異領域情報と同一であっても良いし、その差異領域情報よりもわずかに広げた領域として捉え、その領域情報としても良い。
　図２２の誤対応特徴点密集度探索部２１０２は、図１７で示される差異領域推定部１９の構成要素である誤対応特徴点密集度探索部９０２と類似しているが、物体領域情報の代わりに差異候補領域情報が入力される点が異なっている。誤対応特徴点密集度探索部２１０２から出力される差異領域情報は、変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３、大差分領域検出部２１０１の４つの組み合わせで推定される差異候補領域の中から、さらに誤対応特徴点密集度探索部２１０２で差異領域を絞りこむため、信頼性の高い差異領域情報が出力される。
　また、図２３に示す差異領域推定部２１は、変換画像生成部２００１、誤対応特徴点密集度探索部２１０３、差分画像生成部２１０４、大差分領域検出部２１０５を備える。図２３の変換画像生成部２００１は、図１９で示される差異領域推定部２０の構成要素である変換画像生成部２００１と同一であり、詳細な説明は省略する。
　図２３の誤対応特徴点密集度探索部２１０３は、図１４で示される差異領域推定部１７の構成要素である誤対応特徴点密集度探索部７０１とほぼ同一であるが、差異領域情報ではなく差異候補領域情報を出力する点が異なっている。この誤対応特徴点密集度探索部２１０３が出力する差異候補領域情報は、誤対応特徴点密集度探索部７０１で出力される差異領域情報と同一であっても良いし、その差異領域情報よりもわずかに広げた領域として捉え、その領域情報としても良い。
　図２３の差分画像生成部２１０４は、図１９で示される差異領域推定部２０の構成要素である差分画像生成部２００２と類似しているが、参照画像と変換画像に加えて差異候補領域情報が入力される点が異なっている。差分画像生成部２１０４では、参照画像と変換画像の差分を取る事によって生成される差分画像から、差異候補領域情報で示される領域の画像を差分画像として出力する。
　図２３の大差分領域検出部２１０５は、図１９で示される差異領域推定部２０の構成要素である大差分領域検出部２００４と類似しているが、差分画像のみが入力される点が異なっている。大差分領域検出部２１０５に入力される差分画像は、誤対応特徴点密集度探索部２１０３で既に差異候補領域として推定された領域に関してのみ出力された差分画像であるため、既にこの段階で、物体領域の全体あるいはその一部を表す領域の画像となっている。大差分領域検出部２１０５から出力される差異領域情報は、誤対応特徴点密集度探索部２１０３で推定される差異候補領域の中から、さらに大差分領域検出部２４０２で差異領域を絞り込むため、信頼性の高い差異領域情報が出力される。
　また、図２４に示す差異領域推定部２１は、変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３、大差分領域検出部２１０１、誤対応特徴点密集度探索部２１０３、差異候補領域重複検出部２１０６を備える。図２４の変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３は、図１９で示される差異領域推定部２０の構成要素である変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３と同一であり、詳細な説明は省略する。図２４の大差分領域検出部２１０１は、図２２の大差分領域検出部２１０１と同一であり、詳細な説明は省略する。また、図２４の誤対応特徴点密集度探索部２１０３は、図２３の誤対応特徴点密集度探索部２１０３と同一であり、詳細な説明は省略する。
　図２４の差異候補領域重複検出部２１０６は、大差分領域検出部２１０１から出力される差異候補領域情報、誤対応特徴点密集度探索部２１０３から出力される差異候補領域情報を受け取り、これらの２つの差異候補領域が重複している領域を差異領域と判断し、その差異領域情報を出力する。差異候補領域重複検出部２１０６から出力される差異領域情報は、大差分領域検出部２１０１と誤対応特徴点密集度探索部２１０３でいずれも差異候補領域として判定される領域の情報となっているため、信頼性の高い差異領域情報が出力される。
　本実施の形態では、実施の形態２、３、４と同様、参照画像中の差異領域を事前にデータベース登録しておかなくても、参照画像中の差異領域を推定する事ができるため、物体識別を利用した検品システムで、多数の製品の中からどこかに傷を持つ製品だけを見分ける場合のように、事前に差異領域に関する情報を登録しておく事ができない場合に効果的である。また、本実施の形態では、そして、本実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、第２の実施の形態等と比べて、信頼性の高い差異領域が得られるため、高精度の識別を実現できる。なお、本実施の形態では、差異領域推定部２１が図２３や図２４の構成の場合、誤対応特徴点密集度探索部２１０３の前に物体領域推定部を加える事ができ、その場合、推定された物体領域の中から誤対応特徴点密集度探索を行って差異候補領域を推定することになる。この時、実施の形態３、４と同様、まず背景の影響を取り除いた上で、改めて差異領域を推定する事が可能であるため、図１０及び図１１に示した例のような場合に特に有効である。
　（第６の実施の形態）
　本発明の第６の実施の形態について図面を参照して説明する。
　図２５は、本発明の第６の実施の形態である物体識別装置の構成を示すブロック図である。図２５に示すように、第６の実施の形態の物体識別装置は、局所特徴量抽出部１１、局所特徴量照合部１２、入力画像差異領域決定部１３、入力画像差異領域特徴量抽出部１４、特徴量照合部１５、差異領域推定部２２、差異領域特徴量抽出部１８を備える。このように、第６の実施の形態の物体識別装置では、第４の実施の形態の物体識別装置の差異領域推定部２０が差異領域推定部２２に変更されている点が第４の実施の形態と異なる。差異領域推定部２２の詳細については後述する。その他の構成要素については、第４の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
　図２６及び図２７は、差異領域推定部２２の構成例を表すブロック図であり、以下に各図について説明する。
　図２６に示すように、差異領域推定部２２は、テンプレートマッチング部２２０１を備える。テンプレートマッチング部２２０１は、局所特徴量照合部１２から出力される局所特徴識別画像ＩＤに対応する参照画像（あるいはその局所特徴識別画像ＩＤに関連付いた参照画像群）を受け取ると共に、局所特徴量照合部１２から出力される局所特徴識別画像ＩＤに対応する差異領域のテンプレート画像（あるいはその局所特徴識別画像ＩＤに関連付いたテンプレート画像群）も受け取り、受け取った画像群に基づいて、差異領域情報を出力する。具体的には、このテンプレート画像は、差異領域周辺で典型的に見られる画像パターンである。テンプレートマッチング部２２０１は、参照画像中の各領域とこのテンプレート画像とをマッチングし、テンプレート画像に最も類似する領域を探すテンプレートマッチング処理を行うことによって、参照画像中の差異領域を推定する。すなわち、参照画像中において所定のパターン画像との類似度が所定値以上である領域が、参照画像中の差異領域として設定される。テンプレート画像は、図２５のように、あらかじめデータベースに記憶しておいても良いし、物体識別装置の外部から取得しても良い。
　また、変形例として、図２７に示すように、差異領域推定部２２は、物体領域推定部９０１、及びテンプレートマッチング部２２０２を備えてもよい。図２７の物体領域推定部９０１は、図１７で示される差異領域推定部１９の構成要素である物体領域推定部９０１と同一であり、詳細な説明は省略する。
　テンプレートマッチング部２２０２は、図２６で示される差異領域推定部２２の構成要素であるテンプレートマッチング部２２０１と類似している。テンプレートマッチング部２２０２は、局所特徴量照合部１２から出力される局所特徴識別画像ＩＤに対応する参照画像と、局所特徴量照合部１２から出力される局所特徴識別画像ＩＤに対応する差異領域のテンプレート画像とに加えて、物体領域推定部９０１から出力される物体領域情報が入力される点がテンプレートマッチング部２２０１と異なっている。テンプレートマッチング部２２０２は、参照画像中の物体領域についてのみ、テンプレート画像を用いたテンプレートマッチングを行う事により、参照画像中の差異領域を推定する事が可能である。また、テンプレートマッチング部２２０２は、テンプレート画像とマッチングする参照画像中の領域の範囲が限定されるため、テンプレート画像とマッチングする領域の範囲が参照画像全体であるテンプレートマッチング部２２０１と比べて高速な処理が可能である。
　本実施の形態では、実施の形態２～５と同様、参照画像中の差異領域を事前にデータベース登録しておく必要はないが、差異領域に見られる典型的な画像パターンが事前にわかれば、その画像パターンをテンプレート画像として利用する事で、差異領域を推定する事ができる。例えば、同一の封筒で宛名だけが異なる複数の郵便画像の中から特定の郵便だけを識別しようとする場合には、宛名が記載された領域は郵便番号・住所・宛名といったように文字列のレイアウトがある程度決まった画像パターンとして定義できるので効果的である。そして、本実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、差異領域推定部２２の構成が図２７の場合は、実施の形態３～５と同様、まず物体領域を推定することにより背景の影響を取り除いた上で、改めて差異領域を推定する事が可能になるため、差異領域を高精度に推定する事ができ、図１０及び図１１に示した例のような場合に特に有効である。
　（第７の実施の形態）
　本発明の第７の実施の形態について図面を参照して説明する。
　図２８は、本発明の第７の実施の形態である物体識別装置の構成を示すブロック図である。図２８に示すように、第７の実施の形態の物体識別装置は、局所特徴量抽出部１１、局所特徴量照合部１６、入力画像差異領域決定部１３、入力画像差異領域特徴量抽出部１４、特徴量照合部１５、差異領域推定部２３、差異領域特徴量抽出部１８を備える。このように、第７の実施の形態の物体識別装置では、第２の実施の形態の物体識別装置と第６の実施の形態の物体識別装置をあわせた構成になっている。第２の実施の形態の物体識別装置との比較では、差異領域推定部１７が差異領域推定部２３に変更されている点が第２の実施の形態とは異なる。差異領域推定部２３の詳細については後述する。その他の構成要素については、第２の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
　図２９、図３０及び図３１は、差異領域推定部２３の構成例を表すブロック図であり、以下に各図について説明する。
　図２９に示す差異領域推定部２３は、誤対応特徴点密集度探索部２１０３、及びテンプレートマッチング部２３０１を備える。図２９の誤対応特徴点密集度探索部２１０３は、図２３に示した差異領域推定部２１の構成要素である誤対応特徴点密集度探索部２１０３と同一であり、詳細な説明は省略する。
　また、図２９のテンプレートマッチング部２３０１は、図２７で示される差異領域推定部２２の構成要素であるテンプレートマッチング部２２０２と類似しているが、物体領域情報の代わりに差異候補領域情報が入力される点が異なっている。すなわち、図２９のテンプレートマッチング部２３０１は、誤対応特徴点密集度探索部２１０３で推定された参照画像中の差異候補領域についてのみ、テンプレート画像を用いたテンプレートマッチングを行い、参照画像中の差異領域を推定する。テンプレートマッチング部２３０１から出力される差異領域情報は、誤対応特徴点密集度探索部２１０３で推定される差異候補領域の中から、さらにテンプレートマッチング部２３０１によって差異領域を絞りこむため、信頼性の高い差異領域情報が出力される。
　また、図３０に示す差異領域推定部２３は、テンプレートマッチング部２３０２、誤対応特徴点密集度探索部２１０２で構成する事も可能である。図３０のテンプレートマッチング部２３０２は、図２６に示した差異領域推定部２２の構成要素であるテンプレートマッチング部２２０１とほぼ同一であるが、差異領域情報ではなく差異候補領域情報を出力する点がテンプレートマッチング部２２０１とは異なっている。このテンプレートマッチング部２３０２が出力する差異候補領域情報は、テンプレートマッチング部２２０１で出力される差異領域情報と同一であっても良いし、その差異領域情報よりもわずかに広げた領域として捉え、その領域情報としても良い。
　また、図３０の誤対応特徴点密集度探索部２１０２は、図２２で示される差異領域推定部２１の構成要素である誤対応特徴点密集度探索部２１０２と同一であり、詳細な説明は省略する。すなわち、図３０の誤対応特徴点密集度探索部２１０２は、対応特徴点のうち、テンプレートマッチング部２３０２で推定された参照画像中の差異候補領域の内部に存在する点のみに着目し、誤って対応している特徴点が密集している領域を探索し、差異領域を推定する。誤対応特徴点密集度探索部２１０２から出力される差異領域情報は、テンプレートマッチング部２３０２で推定される差異候補領域の中から、さらに誤対応特徴点密集度探索部２１０２によって差異領域を絞りこむため、信頼性の高い差異領域情報が出力される。
　また、図３１に示す差異領域推定部２３は、誤対応特徴点密集度探索部２１０３、テンプレートマッチング部２３０２、差異候補領域重複検出部２１０６を備える。図３１の誤対応特徴点密集度探索部２１０３は、図２３で示される差異領域推定部２１の構成要素である誤対応特徴点密集度探索部２１０３と同一であり、詳細な説明は省略する。図３１のテンプレートマッチング部２３０２は、図３０で示される差異領域推定部２３の構成要素であるテンプレートマッチング部２３０２と同一であり、詳細な説明は省略する。差異候補領域重複検出部２１０６は、図２４で示される差異領域推定部２１の構成要素である差異候補領域重複検出部２１０６と同一であり、詳細な説明は省略する。
　図３１の構成で差異候補領域重複検出部２１０６から出力される差異領域情報は、誤対応特徴点密集度探索部２１０３とテンプレートマッチング部２３０２でいずれも差異候補領域として判定される領域の情報となっているため、信頼性の高い差異領域情報が出力される。
　本実施の形態では、実施の形態２～６と同様、参照画像中の差異領域を事前にデータベース登録しておく必要はないが、実施の形態６と同様、差異領域に見られる典型的な画像パターンが事前にわかれば、その画像パターンをテンプレート画像として利用する事で、差異領域を推定する事ができる。例えば、同一の封筒で宛名だけが異なる複数の郵便画像の中から特定の郵便だけを識別しようとする場合には、宛名が記載された領域は郵便番号・住所・宛名といったように文字列のレイアウトがある程度決まった画像パターンとして定義できるので効果的である。そして、本実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、第５の実施の形態と同様、第２の実施の形態等と比べて、信頼性の高い差異領域が得られるため、高精度の識別を実現できる。なお、ここまで述べてきた本実施の形態は、第２の実施の形態の物体識別装置と第６の実施の形態の物体識別装置をあわせた構成の場合であるが、図２８の構成は、第３の実施の形態の物体識別装置と第６の実施の形態の物体識別装置をあわせた構成と捉えることもできる。すなわち、差異領域推定部２３が図２９、図３０、図３１の構成の場合、誤対応特徴点密集度探索部２１０３とテンプレートマッチング部２３０２の前に物体領域推定部を加える事ができ、この場合、背景の影響を取り除いた上で物体領域の中から差異領域を推定することになるため、図１０及び図１１に示した例のような場合に特に有効な構成となる。
　（第８の実施の形態）
　本発明の第８の実施の形態について図面を参照して説明する。
　図３２は、本発明の第８の実施の形態である物体識別装置の構成を示すブロック図である。図３２に示すように、第８の実施の形態の物体識別装置は、局所特徴量抽出部１１、局所特徴量照合部１２、入力画像差異領域決定部１３、入力画像差異領域特徴量抽出部１４、特徴量照合部１５、差異領域推定部２４、差異領域特徴量抽出部１８を備える。このように、第８の実施の形態の物体識別装置では、第４の実施の形態の物体識別装置と第６の実施の形態の物体識別装置をあわせた構成になっており、第４の実施の形態の物体識別装置との比較では、差異領域推定部２０が差異領域推定部２４に変更されている点が異なる。差異領域推定部２４の詳細については後述する。その他の構成要素については、第４の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
　図３３から図３５は、差異領域推定部２４の構成例を表すブロック図であり、以下に各図について説明する。
　図３３に示す差異領域推定部２４は、変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３、大差分領域検出部２１０１、及びテンプレートマッチング部２３０１を備える。図３３の変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３は、図１９で示される差異領域推定部２０の構成要素である変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３と同一であり、詳細な説明は省略する。図３３の大差分領域検出部２１０１は、図２２で示される差異領域推定部２１の構成要素である大差分領域検出部２１０１と同一であり、詳細な説明は省略する。また、図３３のテンプレートマッチング部２３０１は、図２９で示される差異領域推定部２３の構成要素であるテンプレートマッチング部２３０１と同一であり、詳細な説明は省略する。
　すなわち、図３３のテンプレートマッチング部２３０１は、大差分領域検出部２１０１で推定された参照画像中の差異候補領域についてのみテンプレート画像を用いたテンプレートマッチングを行い、参照画像中の差異領域を推定する。テンプレートマッチング部２３０１から出力される差異領域情報は、大差分領域検出部２１０１で推定される差異候補領域の中から、さらにテンプレートマッチング部２３０１によって差異領域を絞り込むため、信頼性の高い差異領域情報が出力される。
　また、図３４に示す差異領域推定部２４は、変換画像生成部２００１、テンプレートマッチング部２３０２、差分画像生成部２１０４、及び大差分領域検出部２１０５を備える。図３４の変換画像生成部２００１は、図１９で示される差異領域推定部２０の構成要素である変換画像生成部２００１と同一であり、詳細な説明は省略する。また、図３４のテンプレートマッチング部２３０２は、図３０で示される差異領域推定部２３の構成要素であるテンプレートマッチング部２３０２と同一であり、詳細な説明は省略する。図３４の差分画像生成部２１０４及び大差分領域検出部２１０５は、それぞれ、図２３で示される差異領域推定部２１の構成要素である差分画像生成部２１０４及び大差分領域検出部２１０５と同一であり、詳細な説明は省略する。
　大差分領域検出部２１０５から出力される差異領域情報は、テンプレートマッチング２３０２で推定される差異候補領域の中から、さらに大差分領域検出部２１０５によって差異領域を絞り込むため、信頼性の高い差異領域情報が出力される。
　また、図３５に示す差異領域推定部２４は、変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３、大差分領域検出部２１０１、テンプレートマッチング部２３０２、及び差異候補領域重複検出部２１０６を備える。
　図３５の変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３は、図１９で示される差異領域推定部２０の構成要素である変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３と同一であり、詳細な説明は省略する。また、図３５の大差分領域検出部２１０１は、図２２で示される差異領域推定部２１の構成要素である大差分領域検出部２１０１と同一であり、詳細な説明は省略する。また、図３５のテンプレートマッチング部２３０２は、図３０で示される差異領域推定部２３の構成要素であるテンプレートマッチング部２３０２と同一であり、詳細な説明は省略する。また、図３５の差異候補領域重複検出部２１０６は、図２４で示される差異領域推定部２１の構成要素である差異候補領域重複検出部２１０６と同一であり、詳細な説明は省略する。
　図３５の構成で差異候補領域重複検出部２１０６から出力される差異領域情報は、大差分領域検出部２１０１とテンプレートマッチング部２３０２でいずれも差異候補領域として判定される領域の情報となっているため、信頼性の高い差異領域情報が出力される。
　本実施の形態では、実施の形態２～７と同様、参照画像中の差異領域を事前にデータベース登録しておく必要はなく、実施の形態６や７と同様、差異領域に見られる典型的な画像パターンが事前にわかれば、その画像パターンをテンプレート画像として利用する事で、差異領域を推定する事ができる。例えば、同一の封筒で宛名だけが異なる複数の郵便画像の中から特定の郵便だけを識別しようとする場合には、宛名が記載された領域は郵便番号・住所・宛名といったように文字列のレイアウトがある程度決まった画像パターンとして定義できるので効果的である。そして、本実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、第５及び第７の実施の形態と同様、第２の実施の形態等と比べて、信頼性の高い差異領域が得られるため、高精度の識別を実現できる。なお、本実施の形態では、差異領域推定部２４が図３４や図３５の構成の場合、テンプレートマッチング部２３０２の前に物体領域推定部を加える事ができ、その場合、背景の影響を取り除いた上で物体領域の中から差異領域を推定することになるため、図１０や図１１の場合に特に有効な構成となる。
　（第９の実施の形態）
　本発明の第９の実施の形態について図面を参照して説明する。
　図３６は、本発明の第９の実施の形態である物体識別装置の構成を示すブロック図である。図３６に示すように、第９の実施の形態の物体識別装置は、局所特徴量抽出部１１、局所特徴量照合部１６、入力画像差異領域決定部１３、入力画像差異領域特徴量抽出部１４、特徴量照合部１５、差異領域推定部２５、及び差異領域特徴量抽出部１８を備える。
　このように、第９の実施の形態の物体識別装置では、第５の実施の形態の物体識別装置と第６の実施の形態の物体識別装置をあわせた構成になっている。第９の実施の形態の物体識別装置は、第５の実施の形態の物体識別装置との比較では、差異領域推定部２１が差異領域推定部２５に変更されている点が異なる。差異領域推定部２５の詳細については後述する。その他の構成要素については、第５の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
　差異領域推定部２５は、図１４のように誤対応特徴点密集度探索部７０１のみで差異領域を推定する構成と、図１９のように変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３、及び大差分領域検出部２００４で差異領域を推定する構成と、図２６のようにテンプレートマッチング部２２０１のみで差異領域を推定する構成の組み合わせとして構成する事ができる。これら３つの差異領域を推定する構成に関して、ある１つの構成でまず差異候補領域を推定した後、別の構成でその差異候補領域を更に絞り込んでいく構成にする場合、３つの差異領域を推定する構成をどのような順番で構成しても良い。また、これら３つの差異領域を推定する構成に関して、各構成で差異候補領域をそれぞれ推定し、その各構成で推定された差異候補領域の重複領域を最終的な差異領域として出力するような構成にしても良い。また、これら３つの差異領域を推定する構成に関して、ある１つの構成でまず差異候補領域を推定した後、その差異候補領域の中から、残り２つの各構成で差異候補領域をそれぞれ絞り込み、その２つの構成で推定された差異候補領域の重複領域を最終的な差異領域として出力するような構成にしても良い。また、これら３つの差異領域を推定する構成に関して、まず２つの構成で差異候補領域をそれぞれ推定し、その２つの構成で推定された差異候補領域の重複領域の中から、残り１つの構成で差異候補領域を絞り込み、そこで絞り込まれた領域を最終的な差異領域として出力するような構成にしても良い。
　図３７及び図３８は、差異領域推定部２５の構成例を表すブロック図であり、以下に各図について説明する。
　図３７に示すように、差異領域推定部２５は、変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３、大差分領域検出部２１０１、テンプレートマッチング部２５０１、及び誤対応特徴点密集度探索部２１０２を備える。
　図３７の変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３は、図１９で示される差異領域推定部２０の構成要素である変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３と同一であり、詳細な説明は省略する。図３７の大差分領域検出部２１０１は、図２２の大差分領域検出部２１０１と同一であり、詳細な説明は省略する。
　図３７のテンプレートマッチング部２５０１は、図２９で示される差異領域推定部２３の構成要素であるテンプレートマッチング部２３０１とほぼ同一であるが、差分領域情報ではなく差分候補領域情報を出力する点が異なっている。
　図３７の誤対応特徴点密集度探索部２１０２は、図２２で示される差異領域推定部２１の構成要素である誤対応特徴点密集度探索部２１０２と同一であり、詳細な説明は省略する。すなわち、図３７の誤対応特徴点密集度探索部２１０２は、対応特徴点のうち、テンプレートマッチング部２５０１で推定された参照画像中の差異候補領域の内部に存在する点のみに着目し、誤って対応している特徴点が密集している領域を探索し、差異領域を推定する。そして、このテンプレートマッチング部２５０１も、大差分領域検出部２１０１で推定された参照画像中の差異候補領域についてのみテンプレート画像を用いたテンプレートマッチングを行い、参照画像中の差異領域候補を推定する。誤対応特徴点密集度探索部２１０２から出力される差異領域情報は、大差分領域検出部２１０１及びテンプレートマッチング部２５０１で推定される差異候補領域の中から、さらに誤対応特徴点密集度探索部２１０２によって差異領域を絞りこむため、信頼性の高い差異領域情報が出力される。
　また、図３８に示すように、差異領域推定部２５は、変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３、大差分領域検出部２１０１、テンプレートマッチング部２３０２、誤対応特徴点密集度探索部２１０３、及び差異候補領域重複検出部２５０２で構成する事も可能である。図３８の変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３は、図１９で示される差異領域推定部２０の構成要素である変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３と同一であり、詳細な説明は省略する。また、図３８の大差分領域検出部２１０１は、図２２で示される差異領域推定部２１の構成要素である大差分領域検出部２１０１と同一であり、詳細な説明は省略する。また、図３８のテンプレートマッチング部２３０２は、図３０で示される差異領域推定部２３の構成要素であるテンプレートマッチング部２３０２と同一であり、詳細な説明は省略する。また、図３８の誤対応特徴点密集度探索部２１０３は、図２３で示される差異領域推定部２１の構成要素である誤対応特徴点密集度探索部２１０３と同一であり、詳細な説明は省略する。
　図３８の差異候補領域重複検出部２５０２は、図２４で示される差異領域推定部２１の構成要素である差異候補領域重複検出部２１０６と類似している。図３８の差異候補領域重複検出部２５０２は、大差分領域検出部２１０１、テンプレートマッチング部２３０２、誤対応特徴点密集度探索部２１０３からそれぞれ出力される３つの差異候補領域情報を受け取り、これらの３つの差異候補領域が重複している領域を差異領域と判断し、その差異領域情報を出力するという点が差異候補領域重複検出部２１０６と異なっている。差異候補領域重複検出部２５０２から出力される差異領域情報は、大差分領域検出部２１０１とテンプレートマッチング２３０２と誤対応特徴点密集度探索部２１０３でいずれも差異候補領域として判定される領域の情報となっているため、信頼性の高い差異領域情報が出力される。
　なお、差異領域推定部２５は、図３７や図３８以外でも構成することができる。例えば、まず誤対応特徴点密集度探索部２１０３で推定された差異候補領域に対して、テンプレートマッチング部２５０１でさらに差異候補領域を絞り込む。この絞り込まれた差異候補領域の中からさらに、変換画像生成部２００１、差分画像生成部２１０４、大差分領域検出部２１０５の組み合わせで最終的な差異領域情報を推定しても良い。また、誤対応特徴点密集度探索を用いた差異候補領域の推定、テンプレートマッチングを用いた差異候補領域の推定、大差分領域検出を用いた差異候補領域の推定の処理順は、ここまで述べてきた構成例以外の順序であっても良い。
　本実施の形態では、実施の形態２～８と同様、参照画像中の差異領域を事前にデータベース登録しておく必要はないが、実施の形態６～８と同様、差異領域に見られる典型的な画像パターンが事前にわかれば、その画像パターンをテンプレート画像として利用する事で、差異領域を推定する事ができる。例えば、同一の封筒で宛名だけが異なる複数の郵便画像の中から特定の郵便だけを識別しようとする場合には、宛名が記載された領域は郵便番号・住所・宛名といったように文字列のレイアウトがある程度決まった画像パターンとして定義できるので効果的である。そして、本実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、第５、７、８の実施の形態と同様、第２の実施の形態等と比べて、信頼性の高い差異領域が得られるため、高精度の識別を実現できる。なお、本実施の形態では、例えば、差異領域推定部２５が図３８の構成の場合、テンプレートマッチング部２３０２や誤対応特徴点密集度探索部２１０３の前に物体領域推定部を加える事ができ、その場合、背景の影響を取り除いた上で物体領域の中から差異領域を推定することになるため、図１０や図１１の場合に特に有効な構成となる。
　（第１０の実施の形態）
　本発明の第１０の実施の形態について図面を参照して説明する。
　図３９は、本発明の第１０の実施の形態である物体識別装置の構成例を示すブロック図である。図３９に示すように、第１０の実施の形態の物体識別装置は、局所特徴量抽出部１１、局所特徴量照合部１２、入力画像差異領域決定部１３、入力画像差異領域特徴量抽出部２６、特徴量照合部２７を備える。
　このように、第１０の実施の形態の物体識別装置では、第１の実施の形態の物体識別装置の入力画像差異領域特徴量抽出部１４及び特徴量照合部１５が、入力画像差異領域特徴量抽出部２６及び特徴量照合部２７に変更されている点が異なる。入力画像差異領域特徴量抽出部２６と特徴量照合部２７の詳細については後述する。その他の構成要素については、第１の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
　図４０は、入力画像差異領域特徴量抽出部２６の構成例を表すブロック図である。図４０に示すように、入力画像差異領域特徴量抽出部２６は、差異領域局所特徴量抽出部２６０１を備える。
　差異領域局所特徴量抽出部２６０１は、入力画像差異領域決定部１３から出力される入力画像差異領域情報と、局所特徴量抽出部１１において入力画像から抽出される局所特徴量である局所特徴量１とを受け取り、受け取った入力画像差異領域情報及び局所特徴量に基づいて特徴量１を抽出する。ここで抽出される特徴量１は、局所特徴量１を記述する際の基となっている特徴点の座標情報に基づき、入力画像の差異領域内に存在する特徴点を探索し、その特徴点周辺の情報を局所特徴量として記述した特徴量を特徴量１として出力する。すなわち、ここで出力される特徴量１は、局所特徴量１の一部を切り出して生成した特徴量である。本実施の形態において、特徴量照合部２７で特徴量１と照合する特徴量２は、特徴量１と同様、参照画像から抽出された局所特徴量である局所特徴量２の一部を切り出して生成した特徴量である。
　図４１は、特徴量照合部２７の構成例を表すブロック図である。図４１に示すように、特徴量照合部２７は、対応特徴点決定部２０１、誤対応点除去部２７０１、識別スコア算出部２０３、及び閾値判定部２７０２を備える。図４１の対応特徴点決定部２０１、識別スコア算出部２０３は、図４で示される局所特徴量照合部１２の構成要素である対応特徴点決定部２０１、識別スコア算出部２０３と同一であり、詳細な説明は省略する。
　図４１の誤対応点除去部２７０１は、図４で示される局所特徴量照合部１２の構成要素である誤対応点除去部２０２とほぼ同一だが、幾何変換情報は出力せず、対応特徴点情報のみを出力する点が異なっている。図４１の閾値判定部２７０２は、図４で示される局所特徴量照合部１２の構成要素である閾値判定部２０４とほぼ同一だが、局所特徴識別画像ＩＤではなく差異領域識別画像ＩＤを出力している点が異なっている。
　以上のように本実施の形態では、特徴量照合部２７による照合で用いられる入力画像の特徴量と参照画像の特徴量はそれぞれ、局所特徴量照合部１２による照合（判定）で用いられた入力画像の特徴量と参照画像の特徴量のそれぞれの一部である。
　本実施の形態では、実施の形態１～９とは異なり、局所特徴量の一部を切り出して生成した特徴量を差異領域の識別に使用するので、入力画像差異領域特徴量抽出部において特徴量を生成する際は、入力画像から抽出された局所特徴量が入力されれば良く、入力画像そのものを必要としない。そのため、局所特徴量の抽出のみをクライアント側で行い、その他の処理をサーバー側で行うようなサーバークライアントシステムとして物体識別装置が構成されている場合、本実施の形態では、入力画像よりも軽量な局所特徴量のみをサーバー側に伝送すれば良く、識別結果を得るまでの処理時間を短縮させる事が可能となる。また、本実施の形態における特徴量照合部では、局所特徴量照合部とほぼ同一の処理を行うが、差異領域以外から検出される特徴点の対応による影響を除外し、差異領域のみでの照合を行う事ができるため、画像全体から抽出された局所特徴量を全て用いる従来の方式と比べて、物体内の差異をより見分ける事ができ、結果的に高精度の識別を実現可能となる。なお、本実施の形態の構成例として、ここまで順番に説明してきた図３９は、第１の実施の形態を基にした構成であるが、同様に、第２～９の実施の形態をそれぞれ基にした構成にする事も可能である。すなわち、第２～９の実施の形態の構成例における入力画像差異領域特徴量抽出部１４への入力を、入力画像ではなく局所特徴量１にして構成する事も可能である。
　（第１１の実施の形態）
　本発明の第１１の実施の形態について図面を参照して説明する。
　図４２は、本発明の第１１の実施の形態である物体識別装置の構成例を示すブロック図である。図４２に示すように、第１１の実施の形態の物体識別装置は、局所特徴量抽出部１１、局所特徴量照合部２８、入力画像差異領域決定部１３、入力画像差異領域特徴量抽出部１４、特徴量照合部２９、及び識別スコア統合判定部３０を備える。
　このように、第１１の実施の形態の物体識別装置では、第１の実施の形態の物体識別装置の局所特徴量照合部１２及び特徴量照合部１５が、局所特徴量照合部２８及び特徴量照合部２９に変更され、識別スコア統合判定部３０が新たな構成要素として加わっている点が第１の実施の形態とは異なる。局所特徴量照合部２８、特徴量照合部２９、識別スコア統合判定部３０の詳細については後述する。その他の構成要素については、第１の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
　図４３は、局所特徴量照合部２８の構成例を表すブロック図である。図４３に示すように、局所特徴量照合部２８は、対応特徴点決定部２０１、誤対応点除去部２０２、識別スコア算出部２０３、及び閾値判定部２８０１を備える。
　図４３の対応特徴点決定部２０１、誤対応点除去部２０２、識別スコア算出部２０３は、図４に示した局所特徴量照合部１２の構成要素である対応特徴点決定部２０１、誤対応点除去部２０２、識別スコア算出部２０３と同一であり、詳細な説明は省略する。
　図４３の閾値判定部２８０１は、図４に示した局所特徴量照合部１２の構成要素である閾値判定部２０４とほぼ同一だが、局所特徴識別画像ＩＤだけではなく、その局所特徴識別画像ＩＤに対応する参照画像（あるいはそれと関連付いた参照画像群）から抽出した局所特徴との識別スコアを出力している点が異なっている。この閾値判定部２８０１で設定される閾値は、閾値判定部２０４で設定される閾値よりも緩めにして、局所特徴識別画像ＩＤと識別スコアが多数出力されるようにしても良い。
　図４４は、特徴量照合部２９の構成例を表すブロック図である。図４４に示すように、特徴量照合部２９は、差異領域識別スコア算出部５０１、及び閾値判定部２９０１を備える。図４４の差異領域識別スコア算出部５０１は、図６に示した特徴量照合部１５の構成要素である差異領域識別スコア算出部５０１と同一であり、詳細な説明は省略する。
　図４４の閾値判定部２９０１は、図６で示される特徴量照合部１５の構成要素である閾値判定部５０２とほぼ同一だが、差異領域識別画像ＩＤだけではなく、その差異領域識別画像ＩＤに対応する参照画像あるいはそれと関連付いた参照画像群の差異領域から抽出した特徴量との差異領域識別スコアを出力している点が異なっている。この閾値判定部２９０１で設定される閾値は、閾値判定部５０２で設定される閾値よりも緩めにして、差異領域識別画像ＩＤと差異領域識別スコアが多数出力されるようにしても良い。
　図４５は、識別スコア統合判定部３０の構成例を表すブロック図である。図４５に示すように、識別スコア統合判定部３０は、識別スコア統合部３００１、及び閾値判定部３００２を備える。
　識別スコア統合部３００１は、局所特徴量照合部２８から出力された識別スコアと、特徴量照合部２９から出力された差異領域識別スコアとを受け取り、受け取ったスコアに基づいて統合スコアを算出して出力する。この時、例えば同一の画像ＩＤに対応する識別スコアと差異領域識別スコアの積を求め、その値を統合スコアとして出力しても良い。
　図４５の閾値判定部３００２は、図４で示される局所特徴量照合部１２の構成要素である閾値判定部２０４や図６で示される特徴量照合部１５の構成要素である閾値判定部５０２とほぼ同一である。閾値判定部２０４及び閾値判定部５０２と異なる点として、閾値判定部３００２は、識別スコア統合部３００１から出力された統合スコアを所定の閾値と比較し、閾値以上となる場合、その入力画像と参照画像は、同一の物体を被写体とする画像であると判定し、その入力画像の画像ＩＤを識別画像ＩＤとして出力し、閾値未満の場合、その入力画像と参照画像は、同一の物体を被写体とする画像ではないと判定する。すなわち、閾値判定部３００２は、局所特徴量照合部２８による照合の結果と、特徴量照合部２９による照合の結果とに基づいて、入力画像と参照画像は、同一の物体を被写体とする画像であるか否かを判定する。
　本実施の形態では、実施の形態１～１０とは異なり、差異領域識別スコアだけで最終的な識別結果を決定するのではなく、これらを局所特徴量による識別スコアと統合したスコアから最終的な識別結果を判定する。同一物体を写した画像が悪環境（例えば、暗い環境）で、他の類似物体は理想的な環境で撮影されているような場合、それらの類似物体がテクスチャだけでなく色味も類似しているとしたら、差異領域から抽出した特徴量だけでは正しい識別ができないが、局所特徴量による識別結果とあわせることで、同一物体に対する識別結果を相対的に上げる事ができる。なお、本実施の形態の構成例として、ここまで順番に説明してきた図４２は、第１の実施の形態を基にした構成であり、同様に、第２～１０の実施の形態をそれぞれ基にした構成にする事も可能である。すなわち、第２～１０の実施の形態の構成例において、局所特徴量照合部から識別スコアを、特徴量照合部から差異領域識別スコアを、それぞれ出力するようにし、それらを識別スコア統合判定部に入力させる事で構成する事が可能である。
　本発明の具体的な構成は前述の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
　この出願は、２０１２年８月２３日に出願された日本出願特願２０１２－８１４５３４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　上記の実施の形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）入力画像から抽出した特徴点のそれぞれの特徴量と、参照画像から抽出した特徴点のそれぞれの特徴量とが正しく対応しているか否かを判定する局所特徴量照合手段と、
　前記局所特徴量照合手段によって正しく対応していると判定された特徴量の組み合わせ数に基づくスコアが所定値以上である場合、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記参照画像の所定の領域に対して行うことによって得られた画像領域の位置に対応する前記入力画像における領域の特徴量を抽出する入力画像差異領域特徴量抽出手段と、
　前記入力画像差異領域特徴量抽出手段によって抽出された特徴量と、前記参照画像の前記所定の領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合手段と
　を備えたことを特徴とする物体識別装置。
　（付記２）前記参照画像の前記所定の領域についての情報を記憶した記憶手段を備えることを特徴とする付記１に記載の物体識別装置。
　（付記３）前記参照画像の前記所定の領域は、前記局所特徴量照合手段によって特徴量が誤って対応していると判定された参照画像における特徴点を含む領域であることを特徴とする付記１に記載の物体識別装置。
　（付記４）前記参照画像の前記所定の領域は、物品が写った領域のうち、前記局所特徴量照合手段によって特徴量が誤って対応していると判定された参照画像における特徴点を含む領域であることを特徴とする付記１に記載の物体識別装置。
　（付記５）前記参照画像の前記所定の領域は、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記入力画像に対して行うことで得られた画像と前記参照画像との間の差分が所定値以上である領域を含むことを特徴とする付記１に記載の物体識別装置。
　（付記６）前記参照画像の前記所定の領域は、物品が写った領域のうち前記局所特徴量照合手段によって特徴量が誤って対応していると判定された特徴点を含み、かつ、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記入力画像に対して行うことで得られた画像と前記参照画像との間の差分が所定値以上である領域を含む領域であることを特徴とする付記１に記載の物体識別装置。
　（付記７）前記参照画像の前記所定の領域は、前記参照画像中において所定のパターン画像との類似度が所定値以上である領域を含む領域であることを特徴とする付記１に記載の物体識別装置。
　（付記８）前記参照画像の前記所定の領域は、前記参照画像中において、前記局所特徴量照合手段によって特徴量が誤って対応していると判定され、かつ、所定のパターン画像との類似度が所定値以上である領域を含む領域であることを特徴とする付記１に記載の物体識別装置。
　（付記９）前記参照画像の前記所定の領域は、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記入力画像に対して行うことで得られた画像と前記参照画像との間の差分が所定値以上であり、かつ、前記参照画像中において所定のパターン画像との類似度が所定値以上である領域を含む領域であることを特徴とする付記１に記載の物体識別装置。
　（付記１０）前記参照画像の前記所定の領域は、前記局所特徴量照合手段によって特徴量が誤って対応していると判定された特徴点を含み、かつ、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記入力画像に対して行うことで得られた画像と前記参照画像との間の差分が所定値以上であり、かつ、前記参照画像中において所定のパターン画像との類似度が所定値以上である領域を含む領域であることを特徴とする付記１に記載の物体識別装置。
　（付記１１）前記特徴量照合手段による照合で用いられる前記入力画像の特徴量と前記参照画像の特徴量はそれぞれ、前記局所特徴量照合手段による判定で用いられた前記入力画像の特徴量と前記参照画像の特徴量のそれぞれの一部であることを特徴とする付記１から１０のいずれか１つに記載の物体識別装置。
　（付記１２）前記局所特徴量照合手段による前記判定の結果と、前記特徴量照合手段による前記照合の結果とに基づいて、前記入力画像と前記参照画像は、同一の物体を被写体とする画像であるか否かを判定する統合判定手段を備えることを特徴とする付記１から１１のいずれか１つに記載の物体識別装置。
　（付記１３）入力画像から抽出した特徴点のそれぞれの特徴量と、参照画像から抽出した特徴点のそれぞれの特徴量とが正しく対応しているか否かを判定する局所特徴量照合ステップと、
　前記局所特徴量照合ステップによって正しく対応していると判定された特徴量の組み合わせ数に基づくスコアが所定値以上である場合、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記参照画像の所定の領域に対して行うことによって得られた画像領域の位置に対応する前記入力画像における領域の特徴量を抽出する入力画像差異領域特徴量抽出ステップと、
　前記入力画像差異領域特徴量抽出ステップによって抽出された特徴量と、前記参照画像の前記所定の領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合ステップと
　を備えたことを特徴とする物体識別方法。
　（付記１４）コンピュータを
　入力画像から抽出した特徴点のそれぞれの特徴量と、参照画像から抽出した特徴点のそれぞれの特徴量とが正しく対応しているか否かを判定する局所特徴量照合手段、
　前記局所特徴量照合手段によって正しく対応していると判定された特徴量の組み合わせ数に基づくスコアが所定値以上である場合、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記参照画像の所定の領域に対して行うことによって得られた画像領域の位置に対応する前記入力画像における領域の特徴量を抽出する入力画像差異領域特徴量抽出手段、
　前記入力画像差異領域特徴量抽出手段によって抽出された特徴量と、前記参照画像の前記所定の領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合手段
　として機能させるためのプログラム。
　従来の局所特徴量のみを用いた物体識別では、同一銘柄でパッケージの色や一部の文字のみが異なる製品の正確な識別、同一封筒で宛名だけが異なる郵便物の正確な識別は困難であるが、本発明によれば、従来の局所特徴量による照合だけでは識別できなかった細かな差異を見分け、同一の物体を写した画像のみを識別する事が可能になり、バーコードレスのPOSシステム、検品システム、郵便物自動仕分けシステム等に適用可能である。
　１１　局所特徴量抽出部
　１２　局所特徴量照合部
　１３　入力画像差異領域決定部
　１４　入力画像差異領域特徴量抽出部
　１５　特徴量照合部
　１６　局所特徴量照合部
　１７　差異領域推定部
　１８　差異領域特徴量抽出部
　１９、２０、２１、２２、２３、２４、２５　差異領域推定部
　２６　入力画像差異領域特徴量抽出部
　２７　特徴量照合部
　２８　局所特徴量照合部
　２９　特徴量照合部
　３０　識別スコア統合判定部
　１０１　輝度情報抽出部
　１０２　局所特徴点検出部
　１０３　局所特徴量生成部
　２０１　対応特徴点決定部
　２０２　誤対応点除去部
　２０３　識別スコア算出部
　２０４　閾値判定部
　４０１　差異領域画像生成部
　４０２　差異領域特徴量算出部
　５０１　差異領域識別スコア算出部
　５０２　閾値判定部
　７０１　誤対応特徴点密集度探索部
　８０１　差異領域画像生成部
　８０２　差異領域特徴量算出部
　９０１　物体領域推定部
　９０２　誤対応特徴点密集度探索部
　２００１　変換画像生成部
　２００２　差分画像生成部
　２００３　物体領域推定部
　２００４、２１０１　大差分領域検出部
　２１０２、２１０３　誤対応特徴点密集度探索部
　２１０４　差分画像生成部
　２１０５　大差分領域検出部
　２１０６　差異候補領域重複検出部
　２２０１、２２０２、２３０１、２３０２、２５０１　テンプレートマッチング部
　２５０２　差異候補領域重複検出部
　２６０１　差異領域局所特徴量抽出部
　２７０１　誤対応点除去部
　２７０２、２８０１、２９０１、３００２　閾値判定部
　３００１　識別スコア統合部

Claims (10)

  1. 　入力画像から抽出した特徴点のそれぞれの特徴量と、参照画像から抽出した特徴点のそれぞれの特徴量とが正しく対応しているか否かを判定する局所特徴量照合手段と、
    　前記局所特徴量照合手段によって正しく対応していると判定された特徴量の組み合わせ数に基づくスコアが所定値以上である場合、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記参照画像の所定の領域に対して行うことによって得られた画像領域の位置に対応する前記入力画像における領域の特徴量を抽出する入力画像差異領域特徴量抽出手段と、
    　前記入力画像差異領域特徴量抽出手段によって抽出された特徴量と、前記参照画像の前記所定の領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合手段と
    　を備えたことを特徴とする物体識別装置。
  2. 　前記参照画像の前記所定の領域についての情報を記憶した記憶手段を備えることを特徴とする請求項１に記載の物体識別装置。
  3. 　前記参照画像の前記所定の領域は、前記局所特徴量照合手段によって特徴量が誤って対応していると判定された参照画像における特徴点を含む領域であることを特徴とする請求項１に記載の物体識別装置。
  4. 　前記参照画像の前記所定の領域は、物品が写った領域のうち、前記局所特徴量照合手段によって特徴量が誤って対応していると判定された参照画像における特徴点を含む領域であることを特徴とする請求項１に記載の物体識別装置。
  5. 　前記参照画像の前記所定の領域は、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記入力画像に対して行うことで得られた画像と前記参照画像との間の差分が所定値以上である領域を含むことを特徴とする請求項１に記載の物体識別装置。
  6. 　前記参照画像の前記所定の領域は、物品が写った領域のうち前記局所特徴量照合手段によって特徴量が誤って対応していると判定された特徴点を含み、かつ、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記入力画像に対して行うことで得られた画像と前記参照画像との間の差分が所定値以上である領域を含む領域であることを特徴とする請求項１に記載の物体識別装置。
  7. 　前記参照画像の前記所定の領域は、前記参照画像中において所定のパターン画像との類似度が所定値以上である領域を含む領域であることを特徴とする請求項１に記載の物体識別装置。
  8. 　前記特徴量照合手段による照合で用いられる前記入力画像の特徴量と前記参照画像の特徴量はそれぞれ、前記局所特徴量照合手段による判定で用いられた前記入力画像の特徴量と前記参照画像の特徴量のそれぞれの一部であることを特徴とする請求項１から７のいずれか１項に記載の物体識別装置。
  9. 　入力画像から抽出した特徴点のそれぞれの特徴量と、参照画像から抽出した特徴点のそれぞれの特徴量とが正しく対応しているか否かを判定する局所特徴量照合ステップと、
    　前記局所特徴量照合ステップによって正しく対応していると判定された特徴量の組み合わせ数に基づくスコアが所定値以上である場合、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記参照画像の所定の領域に対して行うことによって得られた画像領域の位置に対応する前記入力画像における領域の特徴量を抽出する入力画像差異領域特徴量抽出ステップと、
    　前記入力画像差異領域特徴量抽出ステップによって抽出された特徴量と、前記参照画像の前記所定の領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合ステップと
    　を備えることを特徴とする物体識別方法。
  10. 　コンピュータを
    　入力画像から抽出した特徴点のそれぞれの特徴量と、参照画像から抽出した特徴点のそれぞれの特徴量とが正しく対応しているか否かを判定する局所特徴量照合手段、
    　前記局所特徴量照合手段によって正しく対応していると判定された特徴量の組み合わせ数に基づくスコアが所定値以上である場合、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記参照画像の所定の領域に対して行うことによって得られた画像領域の位置に対応する前記入力画像における領域の特徴量を抽出する入力画像差異領域特徴量抽出手段、
    　前記入力画像差異領域特徴量抽出手段によって抽出された特徴量と、前記参照画像の前記所定の領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合手段
    　として機能させるためのプログラム。
PCT/JP2013/063995 2012-08-23 2013-05-21 物体識別装置、物体識別方法、及びプログラム WO2014030400A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP13830883.8A EP2889834A4 (en) 2012-08-23 2013-05-21 OBJECT DISTINCTION DEVICE, OBJECT DISTINCTION PROCESS AND PROGRAM
US14/422,842 US9679221B2 (en) 2012-08-23 2013-05-21 Object identification apparatus, object identification method, and program
JP2014531523A JP6278276B2 (ja) 2012-08-23 2013-05-21 物体識別装置、物体識別方法、及びプログラム
CN201380043864.5A CN104584071B (zh) 2012-08-23 2013-05-21 物体识别装置、物体识别方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-184534 2012-08-23
JP2012184534 2012-08-23

Publications (1)

Publication Number Publication Date
WO2014030400A1 true WO2014030400A1 (ja) 2014-02-27

Family

ID=50149718

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/063995 WO2014030400A1 (ja) 2012-08-23 2013-05-21 物体識別装置、物体識別方法、及びプログラム

Country Status (6)

Country Link
US (1) US9679221B2 (ja)
EP (1) EP2889834A4 (ja)
JP (1) JP6278276B2 (ja)
CN (1) CN104584071B (ja)
TW (1) TWI505201B (ja)
WO (1) WO2014030400A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129277B2 (en) 2011-08-30 2015-09-08 Digimarc Corporation Methods and arrangements for identifying objects
WO2013115202A1 (ja) * 2012-01-30 2013-08-08 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム、通信端末およびその制御方法と制御プログラム
US9224184B2 (en) 2012-10-21 2015-12-29 Digimarc Corporation Methods and arrangements for identifying objects
CN106203279B (zh) * 2016-06-28 2019-05-28 Oppo广东移动通信有限公司 一种增强现实中目标对象的识别方法、装置及移动终端
US10430686B2 (en) * 2017-07-11 2019-10-01 Verizon Patent And Licensing Inc. Systems and methods for enhancing image recognition techniques using primary and secondary foci
US10656780B2 (en) * 2018-01-12 2020-05-19 Mitutoyo Corporation Position specifying method and program
US10846562B2 (en) * 2018-01-12 2020-11-24 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for image matching
AU2019208182B2 (en) 2018-07-25 2021-04-08 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US10546216B1 (en) * 2019-04-11 2020-01-28 Seetree Systems Ltd. Recurrent pattern image classification and registration
CN111028283B (zh) * 2019-12-11 2024-01-12 北京迈格威科技有限公司 图像检测方法、装置、设备及可读存储介质
JP2023079211A (ja) * 2021-11-26 2023-06-07 三星電子株式会社 イメージ処理装置及び方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
JP2009116385A (ja) * 2007-11-01 2009-05-28 Sony Corp 情報処理装置および情報処理方法、画像識別装置および画像識別方法、並びに、プログラム
JP2010079545A (ja) 2008-09-25 2010-04-08 Canon Inc 画像処理装置、画像処理方法およびプログラム
JP2010266964A (ja) * 2009-05-12 2010-11-25 Canon Inc 画像検索装置及びその制御方法並びにプログラム
JP2011113197A (ja) * 2009-11-25 2011-06-09 Kddi Corp 画像検索方法およびシステム
JP2012033022A (ja) * 2010-07-30 2012-02-16 Panasonic Corp 空間における変化領域検出装置及び方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005151282A (ja) 2003-11-18 2005-06-09 Fuji Xerox Co Ltd 画像処理装置、画像処理方法、およびプログラム
TW200744020A (en) 2006-05-23 2007-12-01 Academia Sinica Method and device for feature-extraction and matching of digitized images
JP4196302B2 (ja) * 2006-06-19 2008-12-17 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4538507B2 (ja) 2008-05-02 2010-09-08 シャープ株式会社 画像照合方法、画像照合装置、画像データ出力処理装置、プログラム及び記憶媒体
CN101561874B (zh) 2008-07-17 2011-10-26 清华大学 一种人脸虚拟图像生成的方法
US8422793B2 (en) 2009-02-10 2013-04-16 Osaka Prefecture University Public Corporation Pattern recognition apparatus
US8280196B2 (en) * 2009-05-12 2012-10-02 Canon Kabushiki Kaisha Image retrieval apparatus, control method for the same, and storage medium
TWI411968B (zh) 2009-12-31 2013-10-11 Via Tech Inc 圖像特徵計算方法以及圖像檢索方法
EP3693893A1 (en) 2012-08-23 2020-08-12 NEC Corporation Object identification apparatus, object identification method, and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
JP2009116385A (ja) * 2007-11-01 2009-05-28 Sony Corp 情報処理装置および情報処理方法、画像識別装置および画像識別方法、並びに、プログラム
JP2010079545A (ja) 2008-09-25 2010-04-08 Canon Inc 画像処理装置、画像処理方法およびプログラム
JP2010266964A (ja) * 2009-05-12 2010-11-25 Canon Inc 画像検索装置及びその制御方法並びにプログラム
JP2011113197A (ja) * 2009-11-25 2011-06-09 Kddi Corp 画像検索方法およびシステム
JP2012033022A (ja) * 2010-07-30 2012-02-16 Panasonic Corp 空間における変化領域検出装置及び方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DAVID G. LOWE: "Distinctive image features from scale-invariant keypoints", USA, INTERNATIONAL JOURNAL OF COMPUTER VISION, vol. 60, no. 2, 2004, pages 91 - 110, XP002756976, DOI: doi:10.1023/B:VISI.0000029664.99615.94
KYOTA HIGA: "Kyokusho Tokuchoryo no Tokuchoten Ichi ni Motozuku Clustering o Mochiita Hishatai Shikibetsu", FIT2012 DAI 11 KAI FORUM ON INFORMATION TECHNOLOGY KOEN RONBUNSHU, vol. 3, 21 August 2012 (2012-08-21), pages 129 - 130, XP008176218 *
See also references of EP2889834A4

Also Published As

Publication number Publication date
CN104584071A (zh) 2015-04-29
TWI505201B (zh) 2015-10-21
TW201415380A (zh) 2014-04-16
EP2889834A1 (en) 2015-07-01
CN104584071B (zh) 2018-01-26
JPWO2014030400A1 (ja) 2016-07-28
EP2889834A4 (en) 2016-10-12
US9679221B2 (en) 2017-06-13
US20150220810A1 (en) 2015-08-06
JP6278276B2 (ja) 2018-02-14

Similar Documents

Publication Publication Date Title
JP6143111B2 (ja) 物体識別装置、物体識別方法、及びプログラム
JP6278276B2 (ja) 物体識別装置、物体識別方法、及びプログラム
JP6354589B2 (ja) 物体識別装置、方法及びプログラム
US11036949B2 (en) Scanner with control logic for resolving package labeling conflicts
JP6619634B2 (ja) 画像処理装置及び画像処理方法
US8792715B2 (en) System and method for forms classification by line-art alignment
JP6831951B2 (ja) 画像認識システム
JP6245880B2 (ja) 情報処理装置および情報処理手法、プログラム
JP5700221B2 (ja) マーカ判定装置、マーカ判定検出システム、マーカ判定検出装置、マーカ、マーカ判定方法及びそのプログラム
JP5700220B2 (ja) マーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びそのプログラム
JP2007140729A (ja) 物品の位置及び姿勢を検出する方法および装置
JP5169648B2 (ja) 原画像探索装置及び原画像探索プログラム
JP6941331B2 (ja) 画像認識システム
JP5519556B2 (ja) 解析対象画像の中から参照画像に基づく物体を認識する画像解析装置、サーバ、プログラム及び方法
CN114565750A (zh) 一种纸质试题的处理方法和系统
CN113516599A (zh) 图像校正方法、装置和服务器
JP2008234432A (ja) 映像図形文字認識システム、映像図形文字認識方法および映像図形文字認識用プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13830883

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013830883

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2014531523

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14422842

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE