WO2015170461A1 - 画像処理装置、画像処理方法およびコンピュータ可読記録媒体 - Google Patents

画像処理装置、画像処理方法およびコンピュータ可読記録媒体 Download PDF

Info

Publication number
WO2015170461A1
WO2015170461A1 PCT/JP2015/002240 JP2015002240W WO2015170461A1 WO 2015170461 A1 WO2015170461 A1 WO 2015170461A1 JP 2015002240 W JP2015002240 W JP 2015002240W WO 2015170461 A1 WO2015170461 A1 WO 2015170461A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature point
feature
point
local feature
Prior art date
Application number
PCT/JP2015/002240
Other languages
English (en)
French (fr)
Inventor
恭太 比嘉
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US15/306,166 priority Critical patent/US10147015B2/en
Priority to JP2016517811A priority patent/JP6593327B2/ja
Publication of WO2015170461A1 publication Critical patent/WO2015170461A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Definitions

  • the present invention relates to an image processing device, an image processing method, and a computer-readable recording medium.
  • Patent Document 1 discloses an image processing apparatus using a SIFT (Scale Invariant Feature Transform) feature.
  • Patent Document 2 describes a detection device that uses a reference image and a search image to detect an object included in the reference image from the search image.
  • the detection device described in Patent Literature 2 extracts a plurality of feature points from an object in a reference image and calculates a local feature amount of each feature point.
  • the detection apparatus described in Patent Literature 2 sets a matching area in the search image, and calculates a local feature amount for each local area included in the matching area.
  • the matching area is set to an area having the same size as the reference area which is the area of the object in the reference area.
  • the detection device described in Patent Literature 2 calculates the similarity using the local feature amount obtained from the reference image and the local feature amount in the matching region set in the search image.
  • Patent Document 3 describes an image processing apparatus that performs subject verification.
  • the image processing apparatus described in Patent Literature 3 extracts local feature amounts of feature points included in the first image and local feature amounts of feature points included in the second image. Then, the image processing device described in Patent Document 3 clusters each feature point included in the first image based on the position of each feature point included in the first image, and for each cluster, The identity or similarity of the subject is determined using the local feature amount of the feature point group of the first image and the local feature amount of all the feature points of the second image.
  • a general image processing apparatus detects a large number of feature points from a first image, and based on the coordinate value, scale (size) and angle (direction) of each feature point, local regions of individual feature points are detected.
  • a set of local feature values (first local feature value group) obtained every time is calculated.
  • a set of local feature values (second local feature value group) is also calculated from the second image.
  • the general image processing apparatus uses the first image based on the distance between each local feature quantity in the first local feature quantity group and each local feature quantity in the second local feature quantity group. Similar feature points are associated with the second image (hereinafter referred to as “between images”).
  • a feature point associated between images is referred to as a corresponding point.
  • a general image processing apparatus identifies the same or similar subject between images by performing geometric verification of corresponding points between images based on the positional relationship of the corresponding points.
  • “similar” means that a part of the subject is different, only a part of the subject is captured, or that the subject looks different because the shooting angle of the subject is different between images.
  • a geometric transformation model between images estimated from the positional relationship of corresponding points is used.
  • a basic matrix, a projective transformation matrix, or the like is used as the geometric transformation model, and RANSAC (RANdom Sampl Consensus) capable of robust estimation is used as the estimation method.
  • RANSAC Random Sampl Consensus
  • a general image processing apparatus determines a corresponding point that matches the geometric transformation model estimated by RANSAC as an inlier, and determines other corresponding points as an outer. Then, if there are enough corresponding points determined to be inliers with respect to corresponding points determined to be outer, it can be determined that the reliability of the estimated geometric transformation model is high, and therefore the same or similar subject is included between the images. It is determined that
  • the above-described general image processing apparatus determines the same or similar subject between images using all the positional relationships of corresponding points detected between images. In this case, the following problems occur. Some pairs of feature points of the first image corresponding to the corresponding points and feature points of the second image are correct, and some pairs are incorrect.
  • the relative positional relationship between the feature points of the first image and the relative positional relationship between the feature points of the second image are geometric. That it is correct.
  • the shape of the subject changes in one of the images, even if the feature amount of the feature point is close, the relative positional relationship of the feature point is greatly different. Therefore, whether the feature point pair is a correct pair or an incorrect pair. It is impossible to accurately determine whether it is. For this reason, for example, when the shape of the subject changes, such as when the subject is bent or dented, a geometric transformation model of corresponding points between images cannot be estimated, and subject identification accuracy decreases.
  • the detection device described in Patent Document 2 calculates the similarity using all local feature values obtained from the reference image and all local feature values in the matching region set in the search image. Therefore, the same problem as described above occurs.
  • Patent Literature 3 uses, for each cluster, a local feature amount of the feature point group of the first image in the cluster and a local feature amount of all feature points of the second image. Determine the identity or similarity of. Therefore, the same problem as described above occurs.
  • the present invention provides an image processing device, an image processing method, and a computer-readable recording medium that can suppress a decrease in subject identification accuracy even when the shape of the subject in the image is deformed.
  • the main purpose is to suppress a decrease in subject identification accuracy even when the shape of the subject in the image is deformed.
  • An image processing apparatus detects a feature point from an image and calculates a local feature amount of the feature point for each feature point based on a peripheral region of the feature point including the feature point Based on the calculation means, the local feature amount of the feature point of the first image, and the local feature amount of the feature point of the second image, the feature point of the first image and the feature point of the second image Corresponding relationship specifying means for specifying the corresponding relationship, partial region detecting means for detecting a partial region including a feature point of the image from one of the first image and the second image, and for each partial region Determining whether the subject in the first image and the subject in the second image are the same or similar based on the feature points included in the partial region and the feature points corresponding to the feature points It is characterized by comprising a collating means.
  • the image processing method detects a feature point from an image, calculates a local feature amount of the feature point for each feature point based on a peripheral region of the feature point including the feature point, The correspondence between the feature point of the first image and the feature point of the second image is identified based on the local feature amount of the feature point of the first image and the local feature amount of the feature point of the second image. Then, a partial region including the feature point of the image is detected from either the first image or the second image, and the feature point included in the partial region and the feature point are detected for each partial region. Based on the corresponding feature point, it is determined whether or not the subject in the first image and the subject in the second image are the same or similar.
  • the computer-readable recording medium detects a feature point from an image, and calculates a local feature amount of the feature point for each feature point based on a peripheral area of the feature point including the feature point. Based on the local feature amount calculation processing, the local feature amount of the feature point of the first image, and the local feature amount of the feature point of the second image, the feature point of the first image and the feature point of the second image Corresponding relationship specifying processing for specifying the corresponding relationship with the image, partial region detecting processing for detecting a partial region including a feature point of the image from one of the first image and the second image, and the partial region Whether or not the subject in the first image and the subject in the second image are the same or similar based on the feature points included in the partial region and the feature points corresponding to the feature points And causing the computer to execute a verification process for determining Recording an image processing program to symptoms.
  • the present invention even if the shape of the subject in the image is deformed, it is possible to suppress a decrease in subject identification accuracy.
  • FIG. 1 is a block diagram illustrating an example of an image processing apparatus according to a first embodiment of the present invention. It is explanatory drawing which shows the rectangle containing a feature point. It is explanatory drawing which shows the example of the rotated rectangle. It is a flowchart which shows the example of the process progress of 1st Embodiment. It is a block diagram which shows the example of the image processing apparatus of the 2nd Embodiment of this invention. It is a schematic diagram which shows the characteristic of a scale value. It is a flowchart which shows the example of the process progress of 2nd Embodiment.
  • each component of each device represents a functional unit block.
  • Each component of each device can be realized by any combination of a computer 2000 and a program as shown in FIG. 27, for example.
  • the computer 2000 includes the following configuration as an example.
  • each device can be realized as a dedicated device.
  • Each device can be realized by a combination of a plurality of devices.
  • FIG. 1 is a block diagram showing an outline of an image processing apparatus of the present invention.
  • the image processing apparatus 1 according to the present invention includes a first local feature quantity calculation unit 11, a second local feature quantity calculation unit 12, a corresponding point detection unit 13, a partial region detection unit 14, and a matching unit 15. Including.
  • the first local feature quantity calculation unit 11 detects one or more feature points from the first image. And the 1st local feature-value calculation part 11 calculates the local feature-value corresponding to the feature point from the surrounding area
  • a set of local feature amounts corresponding to each feature point detected from the first image is referred to as a first local feature amount group.
  • the second local feature quantity calculation unit 12 detects one or more feature points from the second image. And the 2nd local feature-value calculation part 12 calculates the local feature-value corresponding to the feature point from the surrounding area containing a feature point for every detected feature point.
  • a set of local feature amounts corresponding to each feature point detected from the second image is referred to as a second local feature amount group.
  • the corresponding point detection unit 13 calculates feature points (feature points of the first image) corresponding to the local feature amounts included in the first local feature amount group and local feature amounts included in the second local feature amount group. Corresponding point information indicating the corresponding relationship with the corresponding feature point (the feature point of the second image) is calculated. Specifically, the corresponding point information is information indicating which feature point of the second image corresponds to an arbitrary feature point of the first image. A set of corresponding point information is referred to as a corresponding point information group.
  • the partial region detection unit 14 detects a region including the corresponding point in the first image as a partial region based on the corresponding point information group.
  • the partial area is detected from the first image.
  • a plurality of partial areas may be detected.
  • a plurality of corresponding points in the first image may be included in one partial region.
  • information indicating a corresponding point in the first image included in the partial area and a corresponding point in the second image paired with the corresponding point is referred to as partial area information.
  • partial area information As described above, since a plurality of corresponding points in the first image may be included in one partial area, a plurality of partial area information may be generated in one partial area.
  • a set of partial area information obtained from one partial area is referred to as a partial area information group.
  • the partial area detection unit 14 generates a partial area information group for each detected partial area.
  • the collation unit 15 compares the first image and the second image for each partial region based on the partial region information group output by the partial region detection unit 14.
  • the individual partial areas are partial areas of the first image.
  • the relative positional relationship of each corresponding point in the first image included in the partial area hardly changes in each partial area. Therefore, as described above, even if the image processing apparatus 1 compares the first image and the second image for each partial region and the subject in the image is deformed, the first image is displayed. The subject in the image and the subject in the second image can be accurately identified.
  • the first local feature quantity calculation unit 11, the second local feature quantity calculation unit 12, the corresponding point detection unit 13, the partial region detection unit 14, and the collation unit 15 are realized by a CPU of a computer that operates according to an image processing program, for example. May be.
  • the CPU may read the image processing program from the program recording medium and operate as each of the above elements according to the program.
  • the program recording medium may be non-transient such as a semiconductor memory, a hard disk, a magnetic recording medium, and an optical recording medium. This also applies to each embodiment described later.
  • FIG. FIG. 2 is a block diagram illustrating an example of the image processing apparatus according to the first embodiment of the present invention.
  • the image processing apparatus 10 according to the first embodiment includes a first local feature amount calculation unit 101, a second local feature amount calculation unit 102, a corresponding point detection unit 103, a partial region detection unit 104, and a matching unit. 105. Note that the image processing apparatus 10 of the present embodiment is not limited to the configuration shown in FIG.
  • the first local feature quantity calculation unit 101 detects one or more feature points from the first image, and uses the first coordinate value information group, which is a set of coordinate values of each feature point, as the partial region detection unit 104. And output to the matching unit 105.
  • the coordinate value of the feature point is associated with the index number of the feature point.
  • the first local feature quantity calculation unit 101 calculates a local feature quantity from the coordinate value of the feature point for each feature point, and checks the first local feature quantity group that is a set of the calculated local feature quantities. Output to the output unit 103.
  • the first local feature amount calculation unit 101 may calculate the local feature amount using, for example, information on the scale and direction of the region in which the local feature amount is calculated in addition to the coordinate value of the feature point. Good. Since the scale is represented by a value, it may be referred to as a scale value. Further, in the first local feature quantity group, the local feature quantity of the feature point is associated with the index number of the feature point.
  • the scale value of the feature point is, for example, information on the size associated with each feature point, and the value is calculated from the image of the peripheral area including the feature point.
  • the scale value of the feature point desirably has a property that the value changes in accordance with the enlargement or reduction of the surrounding area including the feature point.
  • the change in the scale value according to the enlargement or reduction of the surrounding area may be, for example, a linear change, a non-linear change, a logarithmic change, or an exponential change.
  • the direction information of the feature points is, for example, information on the direction (angle) associated with each feature point, and the value is calculated from the image of the peripheral area including the feature point. It is desirable that the direction information of the feature point has a property that, for example, when the image of the peripheral area including the feature point is rotated, the angle is rotated accordingly.
  • the first local feature quantity calculation unit 101 may calculate, as the feature point direction information, the direction in which the intensity of the luminance gradient is maximum in the peripheral region including the feature points.
  • the first local feature amount calculation unit 101 sets a rectangle including feature points and having a size corresponding to the scale.
  • FIG. 3 is an explanatory diagram showing a rectangle including feature points.
  • the rectangle 21 in the initial state includes the feature point 23 in the center and is set so that each side is parallel to the side of the image 22. In the following description, it is assumed that the first image and the second image are also rectangular.
  • the rectangle 21 has a reference direction. The reference direction is indicated by a dashed arrow in FIG.
  • the first local feature quantity calculation unit 101 analyzes the set rectangle 21, identifies the direction in which the intensity of the luminance gradient is maximum, and rotates the set rectangle 21 according to the direction. An example of the rotated rectangle is shown in FIG. In FIG.
  • the solid-line arrow is the direction specified as the direction in which the intensity of the luminance gradient is maximized.
  • the first local feature quantity calculation unit 101 rotates the rectangle 21 so that the direction in which the intensity of the luminance gradient is maximum and the reference direction are at a predetermined angle (90 ° in the example shown in FIG. 4). You can do it.
  • the reference direction in the rectangle also rotates (see FIG. 4).
  • the first local feature amount calculation unit 101 sets the reference direction in the rotated rectangle as the 0 ° direction, and again at a predetermined angle from the reference direction (for example, 0 °, 90 °, etc.) Calculate the strength of the gradient.
  • the intensity of the brightness gradient calculated for each predetermined angle from the reference direction is a local feature amount corresponding to the feature point.
  • the first local feature amount calculation unit 101 calculates a local feature amount for each detected feature point. Note that the local feature amount may be calculated by other calculation methods.
  • the second local feature quantity calculation unit 102 detects feature points from the second image, and a second coordinate value that is a set of coordinate values of each feature point.
  • the information group is output to the partial region detection unit 104 and the collation unit 105.
  • the coordinate value of the feature point is associated with the index number of the feature point.
  • the second local feature quantity calculation unit 102 calculates a local feature quantity for each feature point by the same operation as the first local feature quantity calculation unit 101, and the second local feature quantity set is a set of calculated local feature quantities.
  • the feature amount group is output to the corresponding point detection unit 103.
  • the local feature quantity of the feature point is associated with the index number of the feature point.
  • storage means which specified beforehand the coordinate value and local feature-value of each feature point of a 2nd image, and memorize
  • the second local feature amount calculation unit 102 may not be provided.
  • the partial region detection unit 104 and the collation unit 105 read the second coordinate value information group from the storage unit, and the corresponding point detection unit 103 can read the second local feature amount group from the storage unit. That's fine.
  • the corresponding point detection unit 103 uses the first local feature value group output from the first local feature value calculation unit 101 and the second local feature value group output from the second local feature value calculation unit 102. Thus, the number of corresponding point information satisfying a predetermined condition is generated.
  • the predetermined condition may be that the number of corresponding point information exceeds a predetermined threshold.
  • the corresponding point detection unit 103 calculates a distance between local feature amounts between an arbitrary feature point of the first image and an arbitrary feature point of the second image. Then, the corresponding point detection unit 103 satisfies the predetermined condition with the corresponding point information indicating the correspondence relationship between the feature point of the first image and the feature point of the second image based on the calculated distance between the local feature amounts. Number to generate.
  • the corresponding point information may be expressed by using a pair of the index number of the feature point of the first image and the index number of the feature point of the second image.
  • the index number of the feature point of the first image is represented by the symbol q
  • the index number of the feature point of the second image is represented by the symbol p.
  • the corresponding point information may be expressed in a format (q, p).
  • the corresponding point detection unit 103 determines an index number for the corresponding point information in order.
  • the index number of the corresponding point information is represented by the symbol k. For example, assume that the q1th feature point of the first image corresponds to the p1th feature point of the second image. At this time, if the corresponding point information (q1, p1) is the k1th corresponding point information, an index number “k1” is determined for (q1, p1).
  • the corresponding point detection unit 103 may calculate the Euclidean distance of the local feature amount as the distance between the local feature amounts. Then, the corresponding point detection unit 103 calculates, for example, the distance between the local feature amount between the feature point of the first image and each feature point of the second image, and calculates the feature point of the first image.
  • the feature point of the second image corresponding to the feature point of the first image may be determined by specifying the feature point of the second image that minimizes the distance between the local feature amounts.
  • the corresponding point detection unit 103 may determine the presence / absence of a correspondence relationship using the ratio between the minimum distance between local feature amounts and the second smallest distance between local feature amounts as an evaluation measure. Note that the corresponding point detection method is preferably determined as appropriate, and is not limited to the above method.
  • Corresponding point detection unit 103 outputs a corresponding point information group, which is a set of calculated corresponding point information, to partial region detection unit 104 and collation unit 105.
  • the partial region detection unit 104 corresponds to the first coordinate value information group output from the first local feature amount calculation unit 101 and the second coordinate value information group output from the second local feature amount calculation unit 102. Using the corresponding point information group output by the point detection unit 103, an area including the corresponding point in the first image is detected as a partial area.
  • the partial area detection unit 104 detects the partial areas exceeding the number that satisfies a predetermined condition (for example, detects the number of partial areas that exceed a predetermined threshold).
  • the partial region detection unit 104 sets, as a partial region information group, a set of information indicating corresponding point information that defines the feature points in the first image included in the detected partial region as corresponding points.
  • the partial area information group is output to the collation unit 105.
  • the index number k of the corresponding point information may be used as information indicating the corresponding point information.
  • the partial area detection unit 104 may divide the first image into analysis areas having a predetermined size and regard each analysis area as a partial area. Then, the partial region detection unit 104 may set, for each partial region, a set of index numbers k of corresponding point information that defines feature points in the first image included in the partial region as corresponding points as a partial region information group. .
  • the shape of the analysis region may be rectangular or circular.
  • the area to be analyzed may be the entire image or a part of the image.
  • the part of the image may be a circumscribed rectangle of the corresponding point group in the first image, or a circle including the corresponding point group in the first image.
  • the size of the analysis region may be fixed or variable. Furthermore, adjacent analysis regions may or may not overlap.
  • the partial area detection unit 104 may cluster the corresponding points of the first image based on the coordinate values, and regard each cluster as a partial area. That is, the partial region detection unit 104 may determine, for each individual cluster, a region including each corresponding point of the first image belonging to the cluster as a partial region. Then, the partial area detection unit 104 uses, for each partial area, a set of index numbers k of corresponding point information that defines the feature points in the first image included in the partial area as corresponding points as a partial area information group. Good.
  • the partial region detection unit 104 classifies the two corresponding points into the same cluster when the distance between the coordinates of the two corresponding points included in the first image is short. You may use the method of doing. Whether or not the distance between the coordinates of the two corresponding points is close may be determined based on, for example, whether or not the distance is equal to or less than a predetermined threshold.
  • the partial area detection unit 104 may calculate, for example, a Euclidean distance, a Mahalanobis distance, or an urban area distance as a distance between two corresponding points included in the first image. Also good.
  • the partial region detection unit 104 calculates distances between the corresponding points for all combinations of corresponding points included in the first image, for example. May be used as a clustering by graph cut.
  • the partial region detection unit 104 generates a graph in which the corresponding points of the first image are nodes and the distance between the corresponding points of the first image is the edge between the nodes.
  • a generally well-known normalized cut may be used, or a Markov Cluster algorithm may be used.
  • the partial region detection unit 104 may use, for example, a generally well-known k-means method or a Mean Shift method. .
  • the collation unit 105 includes a first coordinate value information group output from the first local feature quantity calculation unit 101, a second coordinate value information group output from the second local feature quantity calculation unit 102, and corresponding point detection. Using the corresponding point information group output by the unit 103 and the partial region information group output by the partial region detection unit 104, it is determined whether the same or similar subject is included between the images.
  • the matching unit 105 performs geometric verification of the corresponding points between the images using the coordinate values of the corresponding points included in the partial areas, and geometrically matches them.
  • the identity or similarity of the subject between the images may be determined based on the total number of corresponding points that have been removed.
  • the matching unit 105 when performing the geometric verification, the matching unit 105 assumes that the geometric relationship of corresponding points between images is a similarity transformation, and then uses the robust estimation method to calculate the geometric relationship. A geometric transformation model indicating Then, the matching unit 105 may determine whether or not the set of the corresponding point of the first image and the corresponding point of the second image matches the estimated geometric transformation model.
  • the collation unit 105 may use, for example, RANSAC or the least square method as a robust estimation method. Further, for example, affine transformation or projective transformation (homography) may be used for the geometric relationship between corresponding points between images.
  • the collation unit 105 determines that the subject is not the same or similar between the images if the sum of the pair of corresponding points matching the estimated geometric transformation model is less than T1. Further, the collation unit 105 determines that the subject is similar between the images if the sum of the pair of corresponding points matching the estimated geometric transformation model is equal to or greater than T1 and less than T2. Further, if the total sum of the corresponding points matching the estimated geometric transformation model is equal to or greater than T2, it is determined that the subject is the same between the images.
  • the collation unit 105 determines the subject between the images based on the ratio between the number of pairs of corresponding points that are geometrically matched and the number of pairs of corresponding points that are not geometrically matched. The identity or similarity may be determined.
  • the first local feature amount calculation unit 101, the second local feature amount calculation unit 102, the corresponding point detection unit 103, the partial region detection unit 104, and the collation unit 105 are realized by a CPU of a computer that operates according to an image processing program, for example. May be.
  • the CPU may read the image processing program from the program recording medium and operate as each of the above elements according to the program.
  • FIG. 5 is a flowchart illustrating an example of processing progress of the first embodiment.
  • the first local feature quantity calculation unit 101 detects one or more feature points from the first image
  • the second local feature quantity calculation unit 102 detects one or more feature points from the second image. Is detected (S1001).
  • the first local feature value calculation unit 101 and the second local feature value calculation unit 102 respectively calculate the local feature value for each feature point using the coordinate value, scale, and direction information of each feature point. (Step S1002). In step S1002, the first local feature quantity calculation unit 101 and the second local feature quantity calculation unit 102 also calculate coordinate value information of each feature point.
  • the corresponding point detection unit 103 determines a distance between an arbitrary local feature amount of the first local feature amount group and an arbitrary local feature amount of the second local feature amount group (distance between local feature amounts). Is calculated, corresponding points are detected based on the distance between the local feature amounts, and corresponding point information is generated (step S1003).
  • the partial area detection unit 104 detects a partial area including the corresponding point in the first image based on the coordinate value of the corresponding point (S1004).
  • the collation unit 105 performs geometric verification of corresponding points between images for each partial region, and identifies the same or similar subject between images based on the sum of corresponding points having geometric consistency. (S1005).
  • the image processing apparatus 10 performs geometric verification of corresponding points for each partial region detected based on the coordinate values of feature points, and The same or similar subjects are identified between the images based on the number of corresponding points that are consistent with each other.
  • the relative positional relationship between the corresponding points in the first image included in the partial area does not change much. Therefore, by performing geometric verification of corresponding points for each partial region, the subject in the first image and the subject in the second image can be accurately identified even when the shape of the subject is deformed.
  • FIG. FIG. 6 is a block diagram illustrating an example of an image processing apparatus according to the second embodiment of the present invention.
  • the image processing apparatus 20 according to the second embodiment detects a partial region using the scale value of the feature point.
  • elements similar to those already described are denoted by the same reference numerals, and description thereof will be omitted as appropriate. This also applies to the third and subsequent embodiments.
  • the image processing apparatus 20 includes a first local feature amount calculation unit 201, a second local feature amount calculation unit 202, a corresponding point detection unit 103, a partial region detection unit 203, and a matching unit. 105.
  • the operations of the first local feature quantity calculation unit 201, the second local feature quantity calculation unit 202, and the partial region detection unit 203 are partly different from those of the first embodiment.
  • the first local feature quantity calculation unit 201 calculates the first local feature quantity group by the same operation as the first local feature quantity calculation unit 101 and outputs it to the corresponding point detection unit 103. In addition, the first local feature quantity calculation unit 201 generates a first coordinate value information group and outputs the first coordinate value information group to the matching unit 105, as in the first local feature quantity calculation unit 101. Further, the first local feature quantity calculation unit 201 generates a first scale value information group that is a set of scale values of each feature point detected from the first image, and outputs the first scale value information group to the partial region detection unit 203.
  • the second local feature quantity calculation unit 202 calculates a second local feature quantity group by the same operation as the first local feature quantity calculation unit 201 and outputs the second local feature quantity group to the corresponding point detection unit 103.
  • the second local feature value calculation unit 202 generates a second coordinate value information group and outputs the second coordinate value information group to the matching unit 105, similarly to the first local feature value calculation unit 201.
  • the second local feature quantity calculation unit 202 generates a second scale value information group that is a set of scale values of each feature point detected from the second image, and outputs the second scale value information group to the partial region detection unit 203.
  • the partial region detection unit 203 corresponds to the first scale value information group output from the first local feature amount calculation unit 201 and the second scale value information group output from the second local feature amount calculation unit 202. Using the corresponding point information group output by the point detection unit 103, an area including the corresponding point in the first image is detected as a partial area.
  • the partial area detection unit 203 detects the partial areas exceeding the number that satisfies a predetermined condition (for example, detects the number of partial areas that exceed a predetermined threshold). Then, the partial area detection unit 203 outputs a partial area information group for each partial area to the matching unit 105.
  • the partial area detection unit 203 may calculate the partial area based on, for example, a relative scale of corresponding points.
  • the relative scale of the corresponding point is a value representing the degree of difference between the scale value of the corresponding point on the first image side and the scale value of the corresponding point on the second image side.
  • the partial area detection unit 203 may use the scale value ratio of the corresponding points as the relative scale of the corresponding points. For example, the partial region detection unit 203 may calculate the relative scale by calculating Equation (1) below.
  • Equation (1) ⁇ is a relative scale of corresponding points.
  • s (q) is a scale value of the qth feature point detected from the first image.
  • s (p) is a scale value of the p-th feature point detected from the second image.
  • the partial region detection unit 203 may calculate the relative scale of the corresponding points using, for example, the logarithmic value of the scale value of the feature point.
  • the partial region detection unit 203 may calculate the relative scale of the corresponding points by calculating the following equation (2).
  • ⁇ ′ is a relative scale of corresponding points.
  • s' (q) is a scale value of the qth feature point detected from the first image.
  • s ′ (p) is a scale value of the p-th feature point detected from the second image.
  • the second image shown in FIG. 7 includes a subject having a size twice that of the first image shown in FIG.
  • the black circles shown in FIG. 7 indicate corresponding points, and the size of the arrow shown in FIG. 7 indicates the size of the scale value.
  • the scale value of the feature point has a property of relatively changing according to the subject size in the image. For example, as shown in FIG. 7, when the size of the subject in the image is doubled, the scale value of the feature point is also doubled. For example, if the size of the subject in the image is 0.5 times, the scale value of the feature point is also 0.5 times. Therefore, the relative scale of the corresponding points calculated by the formula (1) or the formula (2) is constant for each subject when the correspondence between the feature points of the first image and the feature points of the second image is correct. It has the characteristic of becoming.
  • the partial area detection unit 203 may divide the first image into analysis areas of a predetermined size and regard each analysis area as a partial area. Then, the partial area detection unit 203 determines, for each partial area, the relative scale of the corresponding point out of the index number k of the corresponding point information that defines the feature point in the first image included in the partial area as the corresponding point. A set of index numbers k of corresponding point information of corresponding points that are the same or similar may be used as a partial region information group.
  • the shape and the like of the analysis region are the same as the shape and the like of the analysis region in the first embodiment, and description thereof is omitted.
  • the partial region detection unit 203 may determine whether or not the relative scales of the corresponding points are similar, for example, as follows.
  • the partial region detection unit 203 calculates the reciprocal of the absolute value of the relative scale difference of the corresponding points as the similarity, and determines that the similarity is similar if the similarity is equal to or greater than the threshold, and is not similar if the similarity is less than the threshold. May be.
  • the method for determining whether or not the relative scales of the corresponding points are similar is not limited to the above method.
  • the partial area detection unit 203 for example, clusters corresponding points of the first image based on a relative scale calculated using the corresponding points, regards each cluster as a partial area, A set of index numbers of corresponding point information of corresponding points belonging to may be used as a partial region information group.
  • the partial region detection unit 203 calculates the distance between the relative scale of the corresponding point included in the first image and the center of gravity of each cluster, and classifies the corresponding point into the cluster having the smallest calculated distance. By doing so, the corresponding points of the first image may be clustered.
  • the partial region detection unit 203 has, for example, a relative scale having a long distance to the cluster centroid.
  • the corresponding points may be excluded from the cluster and classified into another cluster.
  • the distance between the cluster centroid and the relative scale for example, the Euclidean distance may be used, the Mahalanobis distance may be used, or the city distance may be used.
  • a method similar to the method described in the first embodiment may be applied to the clustering.
  • the first local feature amount calculation unit 201, the second local feature amount calculation unit 202, the corresponding point detection unit 103, the partial region detection unit 203, and the collation unit 105 are realized by a CPU of a computer that operates according to an image processing program, for example. May be.
  • the CPU may read the image processing program from the program recording medium and operate as each of the above elements according to the program.
  • FIG. 8 is a flowchart showing an example of processing progress of the second embodiment. Steps S2001 to S2003 and step S2005 shown in FIG. 8 are the same as steps S1001 to S1003 and step S1005 shown in FIG.
  • the partial region detection unit 203 detects a partial region including the corresponding point in the first image based on the scale value of the corresponding point (step S2004). Thereafter, the process proceeds to step S2005.
  • the image processing apparatus 20 performs geometric verification of corresponding points for each partial region detected using the scale values of feature points, and can handle geometrically consistent correspondence. Identify identical or similar subjects between images based on the number of points. Also in this embodiment, since geometric verification of corresponding points is executed for each partial area, even when the shape of the subject is deformed, the subject in the first image and the subject in the second image are accurately identified. it can.
  • FIG. FIG. 9 is a block diagram illustrating an example of an image processing apparatus according to the third embodiment of the present invention.
  • the image processing apparatus 30 according to the third embodiment detects a partial region using the direction information of the feature points.
  • the image processing apparatus 30 includes a first local feature amount calculation unit 301, a second local feature amount calculation unit 302, a corresponding point detection unit 103, a partial region detection unit 303, and a matching unit. 105.
  • the operations of the first local feature quantity calculation unit 301, the second local feature quantity calculation unit 302, and the partial region detection unit 203 are partly different from those of the above-described embodiment.
  • the first local feature quantity calculation unit 301 calculates the first local feature quantity group by the same operation as the first local feature quantity calculation unit 101 and outputs it to the corresponding point detection unit 103.
  • the first local feature value calculation unit 301 generates a first coordinate value information group and outputs the first coordinate value information group to the matching unit 105, similarly to the first local feature value calculation unit 101.
  • the first local feature amount calculation unit 301 generates a first direction information group that is a set of direction information of each feature point detected from the first image, and outputs the first direction information group to the partial region detection unit 303.
  • the second local feature quantity calculation unit 302 calculates the second local feature quantity group by the same operation as the first local feature quantity calculation unit 301 and outputs it to the corresponding point detection unit 103.
  • the second local feature value calculation unit 302 generates a second coordinate value information group and outputs the second coordinate value information group to the matching unit 105, similarly to the first local feature value calculation unit 301.
  • the second local feature amount calculation unit 302 generates a second direction information group that is a set of direction information of each feature point detected from the second image, and outputs the second direction information group to the partial region detection unit 303.
  • the partial region detection unit 303 includes a first direction information group output from the first local feature amount calculation unit 301, a second direction information group output from the second local feature amount calculation unit 302, and corresponding point detection. Using the corresponding point information group output by the unit 103, an area including the corresponding point in the first image is detected as a partial area.
  • the partial area detection unit 303 detects the partial areas exceeding the number that satisfies a predetermined condition (for example, detects the number of partial areas that exceed a predetermined threshold). Then, the partial area detection unit 303 outputs a partial area information group for each partial area to the collation unit 105.
  • the partial area detection unit 303 may calculate the partial area based on the relative direction of the corresponding points, for example.
  • the relative direction of the corresponding point is a value representing the degree of difference between the direction information of the corresponding point on the first image side and the direction information of the corresponding point on the second image side.
  • the partial area detection unit 303 may use the difference value of the direction information of the corresponding point as the relative direction of the corresponding point. For example, the partial region detection unit 303 may calculate the relative direction of the corresponding point by calculating the following equation (3).
  • ⁇ is the relative direction of the corresponding point.
  • ⁇ (q) is the direction information of the qth feature point detected from the first image.
  • ⁇ (p) is direction information of the p-th feature point detected from the second image.
  • the partial region detection unit 303 may calculate the relative direction of the corresponding point by calculating the following equation (4).
  • ⁇ ′ is the relative direction of the corresponding point.
  • ⁇ ′ (q) is the direction information of the qth feature point detected from the first image.
  • ⁇ ′ (p) is the direction information of the p-th feature point detected from the second image.
  • the specification of the direction information of feature points will be described with reference to FIG.
  • the subject in the second image shown in FIG. 10 is rotated by 45 ° with respect to the subject in the first image shown in FIG.
  • Black circles shown in FIG. 10 indicate corresponding points
  • an arrow direction shown in FIG. 10 indicates direction information of feature points.
  • the feature point direction information has a property of relatively changing according to the rotation of the subject in the image. That is, when the subject in the image is rotated by 45 °, the direction information of all feature points of the subject is rotated by 45 °. Therefore, the relative direction of the corresponding point calculated by the equation (3) or the equation (4) is constant for each subject when the correspondence between the feature point of the first image and the feature point of the second image is correct. It has the characteristic of becoming.
  • the partial area detection unit 303 may divide the first image into analysis areas having a predetermined size, and regard each analysis area as a partial area. Then, for each partial region, the partial region detection unit 303 determines whether the relative direction of the corresponding point is the index number k of the corresponding point information that defines the feature point in the first image included in the partial region as the corresponding point. A set of index numbers k of corresponding point information of corresponding points that are the same or similar may be used as a partial region information group.
  • the shape and the like of the analysis region are the same as the shape and the like of the analysis region in the first embodiment, and description thereof is omitted.
  • the partial region detection unit 303 may determine whether or not the relative directions of the corresponding points are similar, for example, as follows.
  • the partial area detection unit 303 calculates the reciprocal of the absolute value of the difference between the relative directions of the corresponding points as the similarity, and determines that the similarity is similar if the similarity is equal to or greater than the threshold, and is not similar if the similarity is less than the threshold. Also good.
  • the method for determining whether the relative directions of the corresponding points are similar is not limited to the above method.
  • the partial region detection unit 303 for example, clusters corresponding points of the first image based on the relative directions calculated using the corresponding points, regards each cluster as a partial region, A set of index numbers of corresponding point information of corresponding points belonging to may be used as a partial region information group.
  • the partial region detection unit 303 calculates the distance between the relative direction of the corresponding point included in the first image and the center of gravity of each cluster, and classifies the corresponding point into the cluster having the smallest calculated distance. By doing so, the corresponding points of the first image may be clustered.
  • the partial region detection unit 303 has a relative direction with a long distance to the cluster centroid, for example.
  • the corresponding points may be excluded from the cluster and classified into another cluster.
  • the distance between the cluster centroid and the relative direction for example, the Euclidean distance may be used, the Mahalanobis distance may be used, or the city distance may be used.
  • a method similar to the method described in the first embodiment may be applied to the clustering.
  • the first local feature quantity calculation unit 301, the second local feature quantity calculation unit 302, the corresponding point detection unit 103, the partial region detection unit 303, and the collation unit 105 are realized by a CPU of a computer that operates according to an image processing program, for example. May be.
  • the CPU may read the image processing program from the program recording medium and operate as each of the above elements according to the program.
  • FIG. 11 is a flowchart showing an example of processing progress of the third embodiment. Steps S3001 to S3003 and step S3005 shown in FIG. 11 are the same as steps S1001 to S1003 and step S1005 shown in FIG.
  • the partial region detection unit 303 After execution of steps S3001 to S3003 shown in FIG. 11, the partial region detection unit 303 detects a partial region including the corresponding point in the first image based on the direction information of the corresponding point (step S3004). Thereafter, the process proceeds to step S3005.
  • the image processing apparatus 30 performs geometric verification of corresponding points for each partial region detected using the direction information of feature points, and can handle geometrically consistent responses. Identify identical or similar subjects between images based on the number of points. Also in this embodiment, since geometric verification of corresponding points is executed for each partial area, even when the shape of the subject is deformed, the subject in the first image and the subject in the second image are accurately identified. it can.
  • FIG. 12 is a block diagram illustrating an example of an image processing apparatus according to the fourth embodiment of the present invention.
  • the image processing apparatus 40 according to the fourth embodiment detects a partial region using the scale value of the feature point and the direction information of the feature point.
  • the image processing apparatus 40 includes a first local feature quantity calculation unit 401, a second local feature quantity calculation unit 402, a corresponding point detection unit 103, a partial region detection unit 403, and a matching unit. 105.
  • the operations of the first local feature quantity calculation unit 401, the second local feature quantity calculation unit 402, and the partial region detection unit 403 are partly different from those of the above-described embodiment.
  • the first local feature quantity calculation unit 401 calculates the first local feature quantity group by the same operation as the first local feature quantity calculation unit 101, and outputs it to the corresponding point detection unit 103.
  • the first local feature value calculation unit 401 generates a first coordinate value information group and outputs the first coordinate value information group to the matching unit 105, similarly to the first local feature value calculation unit 101.
  • the first local feature amount calculation unit 401 generates a first scale value information group and outputs the first scale value information group to the partial region detection unit 403, similarly to the first local feature amount calculation unit 201.
  • the first local feature amount calculation unit 401 generates a first direction information group and outputs the first direction information group to the partial region detection unit 403 in the same manner as the first local feature amount calculation unit 301.
  • the second local feature quantity calculation unit 402 calculates a second local feature quantity group by the same operation as the first local feature quantity calculation unit 401 and outputs the second local feature quantity group to the corresponding point detection unit 103.
  • the second local feature value calculation unit 402 generates a second coordinate value information group and outputs the second coordinate value information group to the matching unit 105, similarly to the first local feature value calculation unit 401.
  • the second local feature quantity calculation unit 402 generates a second scale value information group and outputs the second scale value information group to the partial region detection unit 403 in the same manner as the first local feature quantity calculation unit 401.
  • the second local feature value calculation unit 402 generates a second direction information group and outputs the second direction information group to the partial region detection unit 403 in the same manner as the first local feature value calculation unit 401.
  • the partial region detection unit 403 includes a first scale value information group and a first direction information group output by the first local feature amount calculation unit 401, and a second local feature amount calculation unit 402 that outputs the second local feature amount calculation unit 402. Using the scale value information group, the second direction information group, and the corresponding point information group output from the corresponding point detection unit 103, an area including the corresponding point in the first image is detected as a partial area.
  • the partial area detection unit 403 detects the partial areas exceeding the number satisfying a predetermined condition (for example, detecting the number of partial areas exceeding a predetermined threshold). Then, the partial area detection unit 403 outputs a partial area information group for each partial area to the matching unit 105.
  • the partial area detection unit 403 may calculate the partial area based on the relative scale of the corresponding points and the relative direction of the corresponding points, for example.
  • the method for calculating the relative scale of the corresponding points and the method for calculating the relative direction of the corresponding points have been described in the second embodiment and the third embodiment, respectively.
  • the partial area detection unit 403 sets the corresponding points in the first image so that the relative scales of the corresponding points are the same or similar, and the relative directions of the corresponding points are the same or similar. Divide into groups of corresponding points. Then, the partial area detection unit 403 may set a set of index numbers k of corresponding point information of corresponding points belonging to the group as a partial area information group for each group.
  • An example of a method for determining whether or not the relative scales of corresponding points are similar and an example of a method for determining whether or not the relative methods of corresponding points are similar have already been described. Is omitted.
  • the first local feature amount calculation unit 401, the second local feature amount calculation unit 402, the corresponding point detection unit 103, the partial region detection unit 403, and the collation unit 105 are realized by a CPU of a computer that operates according to an image processing program, for example. May be.
  • the CPU may read the image processing program from the program recording medium and operate as each of the above elements according to the program.
  • FIG. 13 is a flowchart showing an example of processing progress of the fourth embodiment. Steps S4001 to S4003 and step S4005 shown in FIG. 13 are the same as steps S1001 to S1003 and step S1005 shown in FIG.
  • the partial region detection unit 403 After execution of steps S4001 to S4003 shown in FIG. 13, the partial region detection unit 403 detects a partial region including the corresponding point in the first image based on the scale value and direction information of the corresponding point (step S4004). ). Thereafter, the process proceeds to step S4005.
  • the same effects as those of the second and third embodiments can be obtained.
  • the detection accuracy of the partial area is improved as compared with the second embodiment and the third embodiment. Can do. Therefore, the subject identification accuracy can be improved as compared with the second embodiment and the third embodiment.
  • FIG. FIG. 14 is a block diagram illustrating an example of an image processing apparatus according to the fifth embodiment of the present invention.
  • the image processing apparatus 50 according to the fifth embodiment detects a partial region using the coordinate value of the feature point and the scale value of the feature point.
  • the image processing apparatus 50 includes a first local feature amount calculation unit 201, a second local feature amount calculation unit 202, a corresponding point detection unit 103, a partial region detection unit 501, and a matching unit. 105.
  • the operation of the partial area detection unit 501 is partially different from that of the above-described embodiment.
  • the 1st local feature-value calculation part 201 and the 2nd local feature-value calculation part 202 are the same as those elements in 2nd Embodiment.
  • the first local feature quantity calculation unit 201 outputs the first coordinate value information group to the partial region detection unit 501 and the collation unit 105.
  • the second local feature quantity calculation unit 202 outputs the second coordinate value information group to the partial region detection unit 501 and the collation unit 105.
  • the partial region detection unit 501 includes a first coordinate value information group and a first scale value information group output from the first local feature amount calculation unit 201, and a second output from the second local feature amount calculation unit 202. Using the coordinate value information group, the second scale value information group, and the corresponding point information group output from the corresponding point detection unit 103, a region including the corresponding point in the first image is detected as a partial region. .
  • the partial area detection unit 501 detects the partial areas exceeding the number that satisfies a predetermined condition (for example, detects the number of partial areas that exceed a predetermined threshold). Then, the partial area detection unit 501 outputs a partial area information group to the collation unit 105 for each partial area.
  • the partial area detection unit 501 may calculate the partial area based on the coordinate value of the corresponding point and the relative scale of the corresponding point, for example.
  • the partial region detection unit 501 determines that the corresponding point in the first image has the same or similar coordinate value of the corresponding point in the first image, and the relative scale of the corresponding point is Divide into groups of corresponding points that are the same or similar. Then, the partial area detection unit 501 may set a set of index numbers k of corresponding point information of corresponding points belonging to the group as a partial area information group for each group. Whether or not the coordinate values of the corresponding points in the first image are similar may be determined as follows, for example. The partial area detection unit 501 is similar in the coordinates of corresponding points on the condition that corresponding points in the first image belong to the same analysis area or are classified into the same cluster. It may be determined that The method for determining whether or not the coordinates of the corresponding points are similar is not limited to the above method.
  • the first local feature quantity calculation unit 201, the second local feature quantity calculation unit 202, the corresponding point detection unit 103, the partial region detection unit 501, and the collation unit 105 are realized by a CPU of a computer that operates according to an image processing program, for example. May be.
  • the CPU may read the image processing program from the program recording medium and operate as each of the above elements according to the program.
  • FIG. 15 is a flowchart showing an example of processing progress of the fifth embodiment. Steps S5001 to S5003 and step S5005 shown in FIG. 15 are the same as steps S1001 to S1003 and step S1005 shown in FIG.
  • the partial region detection unit 501 detects a partial region including the corresponding point in the first image based on the coordinate value and the scale value of the corresponding point (step S5004). ). Thereafter, the process proceeds to step S5005.
  • the same effects as those of the second embodiment can be obtained.
  • the detection accuracy of the partial area can be improved as compared with the second embodiment. Therefore, the subject identification accuracy can be improved as compared with the second embodiment.
  • FIG. FIG. 16 is a block diagram illustrating an example of an image processing apparatus according to the sixth embodiment of the present invention.
  • the image processing apparatus 60 according to the sixth embodiment detects a partial region using the coordinate value of the feature point and the direction information of the feature point.
  • the image processing apparatus 60 includes a first local feature amount calculation unit 301, a second local feature amount calculation unit 302, a corresponding point detection unit 103, a partial region detection unit 601, and a matching unit. 105.
  • the operation of the partial region detection unit 601 is partially different from that of the above-described embodiment.
  • the first local feature quantity calculation unit 301 and the second local feature quantity calculation unit 302 are the same as those elements in the third embodiment.
  • the first local feature quantity calculation unit 301 outputs the first coordinate value information group to the partial region detection unit 601 and the collation unit 105.
  • the second local feature quantity calculation unit 302 outputs the second coordinate value information group to the partial region detection unit 601 and the collation unit 105.
  • the partial region detection unit 601 includes a first coordinate value information group and a first direction information group output by the first local feature amount calculation unit 301, and a second local feature amount calculation unit 302 that outputs the second coordinate value information group. Using the coordinate value information group and the second direction information group, and the corresponding point information group output from the corresponding point detection unit 103, an area including the corresponding point in the first image is detected as a partial area.
  • the partial area detection unit 601 detects the partial areas exceeding the number that satisfies a predetermined condition (for example, detects the number of partial areas that exceed a predetermined threshold). Then, the partial area detection unit 601 outputs a partial area information group for each partial area to the matching unit 105.
  • the partial area detection unit 601 may calculate the partial area based on the coordinate value of the corresponding point and the relative direction of the corresponding point, for example.
  • the partial region detection unit 601 determines that the corresponding point in the first image has the same or similar coordinate value of the corresponding point in the first image, and the relative direction of the corresponding point is Divide into groups of corresponding points that are the same or similar. Then, the partial area detection unit 601 may set a set of index numbers k of corresponding point information of corresponding points belonging to the group as a partial area information group for each group. Since an example of a method for determining whether or not the coordinate values of corresponding points in the first image are similar has already been described, the description thereof is omitted here.
  • the first local feature quantity calculation unit 301, the second local feature quantity calculation unit 302, the corresponding point detection unit 103, the partial region detection unit 601, and the collation unit 105 are realized by a CPU of a computer that operates according to an image processing program, for example. May be.
  • the CPU may read the image processing program from the program recording medium and operate as each of the above elements according to the program.
  • FIG. 17 is a flowchart showing an example of processing progress of the sixth embodiment. Steps S6001 to S6003 and step S6005 shown in FIG. 17 are the same as steps S1001 to S1003 and step S1005 shown in FIG.
  • the partial region detection unit 601 detects a partial region including the corresponding point in the first image based on the coordinate value and direction information of the corresponding point (step S6004). ). Thereafter, the process proceeds to step S6005.
  • the same effects as those of the third embodiment can be obtained.
  • the detection accuracy of the partial area can be improved as compared with the third embodiment. Therefore, the subject identification accuracy can be improved as compared with the third embodiment.
  • FIG. FIG. 18 is a block diagram illustrating an example of an image processing apparatus according to the seventh embodiment of the present invention.
  • the image processing apparatus 70 according to the seventh embodiment detects a partial region using the coordinate values, scale values, and direction information of feature points.
  • the image processing apparatus 70 includes a first local feature amount calculation unit 401, a second local feature amount calculation unit 402, a corresponding point detection unit 103, a partial region detection unit 701, and a matching unit. 105.
  • the operation of the partial area detection unit 701 is partially different from that of the above-described embodiment.
  • the first local feature quantity calculation unit 401 and the second local feature quantity calculation unit 402 are the same as those elements in the fourth embodiment.
  • the first local feature quantity calculation unit 401 outputs the first coordinate value information group to the partial region detection unit 701 and the collation unit 105.
  • the second local feature quantity calculation unit 402 outputs the second coordinate value information group to the partial region detection unit 701 and the collation unit 105.
  • the partial region detection unit 701 includes a first coordinate value information group, a first scale value information group, a first direction information group, and a second local feature value calculation output from the first local feature value calculation unit 401. Using the second coordinate value information group, the second scale value information group, and the second direction information group output from the unit 402, and the corresponding point information group output from the corresponding point detection unit 103, the first image A region including the corresponding point is detected as a partial region.
  • the partial area detection unit 701 detects the partial areas exceeding the number that satisfies a predetermined condition (for example, detects the number of partial areas that exceed a predetermined threshold). Then, the partial area detection unit 701 outputs a partial area information group to the collation unit 105 for each partial area.
  • the partial area detection unit 701 may calculate the partial area based on, for example, the coordinate value of the corresponding point, the relative scale, and the relative direction.
  • the partial area detection unit 701 determines that the corresponding points in the first image have the same or similar coordinate values of the corresponding points in the first image and the relative scale of the corresponding points. It is divided into groups of corresponding points that are the same or similar and the relative directions of the corresponding points are the same or similar. Then, the partial region detection unit 701 may set a set of index numbers k of corresponding point information of corresponding points belonging to the group as a partial region information group for each group. Since an example of a method for determining whether or not the coordinate values of corresponding points in the first image are similar has already been described, the description thereof is omitted here.
  • the partial area detection unit 701 may detect the partial area after converting the coordinate value of the corresponding point in the first image into the coordinate value in an arbitrary coordinate system, for example.
  • an arbitrary coordinate system for example, a coordinate system having an origin at an arbitrary coordinate value of a subject in the second image may be used. Thereafter, for convenience of explanation, the coordinate value of the corresponding point in the first image is converted to the coordinate value in the coordinate system with the center coordinate value (subject center point) of the subject in the second image as the origin. Will be described as an example.
  • the partial region detection unit 701 may convert the coordinate value of the corresponding point of the first image into the coordinate value in an arbitrary coordinate system, for example, using the following equation (5).
  • q indicated as a subscript is the index number of the feature point of the first image
  • p is the index number of the feature point of the second image.
  • the qth feature point of the first image is referred to as a feature point q
  • the pth feature point of the second image is referred to as a feature point p.
  • the feature point q and the feature point p are associated with each other.
  • vq is the coordinate value of the feature point q.
  • ⁇ qp is a relative scale of corresponding points regarding a pair of feature point q and feature point p.
  • ⁇ qp is the relative direction of the corresponding point regarding the pair of feature point q and feature point p.
  • cqp is the coordinate value of the subject center in the first image.
  • u′p is a vector from the feature point p of the second image to the subject center of the second image.
  • the partial region detection unit 701 may calculate the vector u′p by, for example, calculation of Expression (6) shown below.
  • xp is the x coordinate value of the feature point p of the second image
  • yp is the y coordinate value of the feature point p
  • xc is the x-coordinate value of the subject center of the second image
  • yc is the y-coordinate value of the subject center of the second image.
  • the partial area may be detected after converting the feature points of the first image in the same manner as described above.
  • the first local feature quantity calculation unit 401, the second local feature quantity calculation unit 402, the corresponding point detection unit 103, the partial region detection unit 701, and the collation unit 105 are realized by a CPU of a computer that operates according to an image processing program, for example. May be.
  • the CPU may read the image processing program from the program recording medium and operate as each of the above elements according to the program.
  • FIG. 19 is a flowchart showing an example of processing progress of the seventh embodiment. Steps S7001 to S7003 and step S7005 shown in FIG. 19 are the same as steps S1001 to S1003 and step S1005 shown in FIG.
  • the partial region detection unit 701 After execution of steps S7001 to S7003 shown in FIG. 19, the partial region detection unit 701 detects a partial region including the corresponding point in the first image based on the coordinate value, scale value, and direction information of the corresponding point. (Step S7004). Thereafter, the process proceeds to step S7005.
  • FIG. FIG. 20 is a block diagram illustrating an example of an image processing apparatus according to the eighth embodiment of the present invention.
  • the image processing apparatus 80 according to the eighth embodiment uses the coordinate values and scale values of feature points to determine whether the same or similar subject is included between images for each partial region.
  • the image processing apparatus 80 includes a first local feature amount calculation unit 201, a second local feature amount calculation unit 202, a corresponding point detection unit 103, a partial region detection unit 104, and a matching unit. 801.
  • the operation of the collation unit 801 is partially different from that of the above-described embodiment.
  • the first local feature quantity calculation unit 201 and the second local feature quantity calculation unit 202 are the same as those elements in the second embodiment.
  • the first local feature quantity calculation unit 201 outputs the first coordinate value information group to the partial region detection unit 104 and the collation unit 801, and the first scale value information group to the collation unit 801.
  • the second local feature amount calculation unit 202 outputs the second coordinate value information group to the partial region detection unit 104 and the collation unit 801 and the second scale value information group to the collation unit 801.
  • the collation unit 801 includes a first coordinate value information group and a first scale value information group output from the first local feature amount calculation unit 201, and a second coordinate output from the second local feature amount calculation unit 202. The same or similar between images using the value information group and the second scale value information group, the corresponding point information group output by the corresponding point detection unit 103, and the partial region information group output by the partial region detection unit 104 It is determined whether the subject is included.
  • the collation unit 801 uses only the coordinate values of the corresponding points having similar relative scales among the corresponding points included in the partial regions. Perform geometric verification. Then, the collation unit 801 determines the identity or similarity of the subject between images based on the total number of corresponding points that are geometrically matched.
  • the collation unit 801 may determine whether or not the relative scales of the corresponding points are similar using, for example, the same method as the partial region detection unit 203.
  • the matching unit 801 when performing the geometric verification, the matching unit 801 assumes that the geometric relationship of corresponding points between images having similar relative scales is a similarity transformation, and then performs a robust estimation method. A geometric transformation model showing a geometric relationship may be estimated. Then, the matching unit 801 may determine whether or not the set of the corresponding point of the first image and the corresponding point of the second image matches the estimated geometric transformation model. The collation unit 801 may use a method similar to that of the collation unit 105, for example, as a robust estimation method.
  • the collation unit 801 determines the subject between images based on the ratio between the number of pairs of corresponding points that are geometrically matched and the number of pairs of corresponding points that are not geometrically matched. The identity or similarity may be determined.
  • the first local feature quantity calculation unit 201, the second local feature quantity calculation unit 202, the corresponding point detection unit 103, the partial region detection unit 104, and the collation unit 801 are realized by a CPU of a computer that operates according to an image processing program, for example. May be.
  • the CPU may read the image processing program from the program recording medium and operate as each of the above elements according to the program.
  • FIG. 21 is a flowchart showing an example of processing progress of the eighth embodiment. Steps S8001 to S8004 shown in FIG. 21 are the same as steps S1001 to S1004 shown in FIG.
  • the matching unit 801 After execution of steps S8001 to S8004 shown in FIG. 21, the matching unit 801 performs geometric verification of corresponding points between images for each partial region based on the coordinate values and scale values of the corresponding points, Based on the sum of the corresponding points having the same consistency, the same or similar subjects are identified between the images (step 8005).
  • FIG. FIG. 22 is a block diagram showing an example of an image processing apparatus according to the ninth embodiment of the present invention.
  • the image processing apparatus 90 according to the ninth embodiment determines whether the same or similar subject is included between images for each partial region using the coordinate values and direction information of feature points.
  • the image processing apparatus 90 includes a first local feature amount calculation unit 301, a second local feature amount calculation unit 302, a corresponding point detection unit 103, a partial region detection unit 104, and a matching unit. 901.
  • the operation of the collation unit 901 is partially different from that of the above-described embodiment.
  • the first local feature quantity calculation unit 301 and the second local feature quantity calculation unit 302 are the same as those elements in the third embodiment.
  • the first local feature quantity calculation unit 301 outputs the first coordinate value information group to the partial region detection unit 104 and the collation unit 901, and the first direction information group to the collation unit 901.
  • the second local feature amount calculation unit 302 outputs the second coordinate value information group to the partial region detection unit 104 and the collation unit 901, and the second direction information group to the collation unit 901.
  • the collation unit 901 includes a first coordinate value information group and a first direction information group output from the first local feature quantity calculation unit 301, and a second coordinate value output from the second local feature quantity calculation unit 302. Using the information group and the second direction information group, the corresponding point information group output by the corresponding point detection unit 103, and the partial region information group output by the partial region detection unit 104, the same or similar subjects between images Is included.
  • the matching unit 901 uses only the coordinate values of the corresponding points that are similar in relative direction among the corresponding points included in the partial region, and calculates the corresponding points between the images. Perform geometric verification. Then, the matching unit 901 determines the identity or similarity of the subject between images based on the total number of corresponding points that are geometrically matched.
  • the collation unit 901 may determine whether or not the relative directions of the corresponding points are similar using, for example, the same method as the partial region detection unit 303.
  • the matching unit 901 when performing the geometric verification, for example, assumes that the geometric relationship of corresponding points between images having similar relative directions is similar transformation, and then performs a robust estimation method. A geometric transformation model showing a geometric relationship may be estimated. Then, the matching unit 901 may determine whether or not the set of the corresponding point of the first image and the corresponding point of the second image matches the estimated geometric transformation model. The collation unit 901 may use a method similar to that of the collation unit 105, for example, as a robust estimation method.
  • the collation unit 901 determines the subject between images based on the ratio between the number of pairs of corresponding points that are geometrically matched and the number of pairs of corresponding points that are not geometrically matched. The identity or similarity may be determined.
  • the first local feature amount calculation unit 301, the second local feature amount calculation unit 302, the corresponding point detection unit 103, the partial region detection unit 104, and the collation unit 901 are realized by a CPU of a computer that operates according to an image processing program, for example. May be.
  • the CPU may read the image processing program from the program recording medium and operate as each of the above elements according to the program.
  • FIG. 23 is a flowchart showing an example of processing progress of the ninth embodiment. Steps S9001 to S9004 shown in FIG. 23 are the same as steps S1001 to S1004 shown in FIG.
  • the collation unit 901 After execution of steps S9001 to S9004 shown in FIG. 23, the collation unit 901 performs geometric verification of corresponding points between images for each partial region based on the coordinate values and direction information of corresponding points, Based on the sum of the corresponding points having the same consistency, the same or similar subjects are identified between the images (step 9005).
  • the same effects as those of the first embodiment can be obtained.
  • the ninth embodiment based on the coordinate values and direction information of corresponding points, only the coordinate values of corresponding points with similar relative directions are used, that is, the feature points of the first image and the second image.
  • the subject which is the same or similar between the images is determined using only the feature points which are correctly associated with the feature points. Therefore, according to the image processing apparatus 90 of the present embodiment, it is possible to improve the determination accuracy of the geometric consistency of corresponding points as compared to the first embodiment. As a result, the subject identification accuracy can be improved as compared with the first embodiment.
  • FIG. 25 is a block diagram illustrating an example of an image processing apparatus according to the tenth embodiment of the present invention.
  • the image processing apparatus 100 according to the tenth embodiment uses the coordinate values, scale values, and direction information of feature points to determine whether the same or similar subject is included between images for each partial region.
  • the image processing apparatus 100 includes a first local feature amount calculation unit 401, a second local feature amount calculation unit 402, a corresponding point detection unit 103, a partial region detection unit 104, and a matching unit. 1001.
  • the operation of the collation unit 1001 is partially different from that of the above-described embodiment.
  • the first local feature value calculation unit 401 and the second local feature value calculation unit 402 are the same as those elements in the fourth embodiment.
  • the first local feature quantity calculation unit 401 includes the first coordinate value information group in the partial region detection unit 104 and the collation unit 1001, and the first scale value information group and the first scale value in the collation unit 1001. 1 direction information group is output.
  • the second local feature quantity calculation unit 402 includes the second coordinate value information group in the partial region detection unit 104 and the collation unit 1001, and the second scale value information group and the second direction information in the collation unit 1001. Output a group.
  • the collation unit 1001 outputs the first coordinate value information group, the scale value information group, and the first direction information group output from the first local feature amount calculation unit 401, and the second local feature amount calculation unit 402 outputs.
  • the second coordinate value information group, the scale value information group, and the second direction information group, the corresponding point information group output by the corresponding point detection unit 103, and the partial region information group output by the partial region detection unit 104. Is used to determine whether the same or similar subject is included between the images.
  • the matching unit 1001 uses only the coordinate values of the corresponding points having similar relative scales and relative directions among the corresponding points included in the partial regions. Perform geometric verification of corresponding points. Then, the matching unit 1001 determines the identity or similarity of the subject between images based on the total number of corresponding points that are geometrically matched.
  • the collation unit 1001 may determine whether or not the relative scale and the relative direction of the corresponding points are similar using, for example, the same method as the partial region detection unit 403.
  • the matching unit 1001 assumes that the geometric relationship of corresponding points between images having similar relative scales and relative directions is similar transformation, and is robust. You may estimate the geometric transformation model which shows a geometric relationship using an estimation method. Then, the matching unit 1001 may determine whether or not a set of corresponding points of the first image and corresponding points of the second image matches the estimated geometric transformation model. The collation unit 1001 may use a method similar to that of the collation unit 105, for example, as a robust estimation method.
  • the collation unit 1001 determines the subject between the images based on the ratio between the number of pairs of corresponding points that are geometrically matched and the number of pairs of corresponding points that are not geometrically matched. The identity or similarity may be determined.
  • the first local feature amount calculation unit 401, the second local feature amount calculation unit 402, the corresponding point detection unit 103, the partial region detection unit 104, and the collation unit 1001 are realized by a CPU of a computer that operates according to an image processing program, for example. May be.
  • the CPU may read the image processing program from the program recording medium and operate as each of the above elements according to the program.
  • FIG. 25 is a flowchart showing an example of processing progress of the tenth embodiment. Steps S10001 to S10004 shown in FIG. 25 are the same as steps S1001 to S1004 shown in FIG.
  • the collation unit 1001 executes geometric verification of corresponding points between images for each partial region based on the coordinate values, scale values, and direction information of the corresponding points. To do. Then, the collation unit 1001 identifies the same or similar subject between images based on the sum of corresponding points having geometric matching (step 10005).
  • the same effect as that of the first embodiment can be obtained.
  • the tenth embodiment based on the coordinate value, scale value, and direction information of the corresponding point, only the coordinate value of the corresponding point having a similar relative scale and relative direction is used, that is, the first image.
  • a subject that is the same or similar between images is determined using only the feature points that are correctly associated with the feature points of the second image. Therefore, according to the image processing apparatus 100 of the present embodiment, it is possible to improve the determination accuracy of the geometric consistency of corresponding points as compared to the first embodiment. As a result, the subject identification accuracy can be improved as compared with the first embodiment.
  • the partial region detection unit detects the partial region from the first image.
  • the partial region detection unit in each embodiment detects the partial region from the second image. Also good.
  • FIG. 26 is a schematic diagram showing an example of the minimum configuration of the image processing apparatus of the present invention.
  • the image processing apparatus 80 according to the present invention includes a feature amount calculating unit 81, a correspondence relationship specifying unit 82, a partial region detecting unit 83, and a collating unit 84.
  • a feature amount calculation unit 81 (for example, the first local feature amount calculation unit 11, 101, 201, 301, 401) detects a feature point from an image, and for each feature point, around the feature point including the feature point A local feature amount of the feature point is calculated based on the region.
  • Correspondence relationship specifying means 82 (for example, corresponding point detection units 13 and 103), based on the local feature amount of the feature point of the first image and the local feature amount of the feature point of the second image, The correspondence relationship between the feature points of the image and the feature points of the second image is specified.
  • the partial area detection unit 83 (for example, the partial area detection units 14, 104, 203, 303, 403, 501, 601, and 701) uses the first image or the second image from the image. A partial region including a feature point is detected.
  • the matching unit 84 determines the subject and the first image in the first image based on the feature points included in the partial area and the feature points corresponding to the feature points. It is determined whether or not the subject in the two images is the same or similar.
  • the partial region detection means 83 may be configured to detect a partial region based on the coordinate values of feature points.
  • the partial area detection means 83 includes a first scale value information group, which is a set of information on the size of the peripheral area associated with each feature point of the first image, and a periphery associated with each feature point of the second image.
  • a configuration may be used in which a partial region is detected based on a second scale value information group that is a set of region size information.
  • the partial area detecting means 83 is a first direction information group that is a set of direction information associated with each feature point of the first image, and a first set of direction information that is associated with each feature point of the second image.
  • the configuration may be such that the partial region is detected based on the two direction information groups.
  • the partial area detection means 83 uses the coordinates of the feature points of the image to be detected as the partial area, the size information and direction information of the peripheral area associated with the feature points, and the feature of the other image corresponding to the feature points.
  • the conversion may be performed using the coordinates of the points, the size information of the surrounding area associated with the feature points of the other image corresponding to the feature points, and the direction information.
  • the present invention is preferably applied to an image processing apparatus that determines whether or not subjects shown in different images are the same or similar.

Abstract

　画像内の被写体の形状が変形している場合であっても、被写体の識別精度の低下を抑制することができる画像処理装置を提供する。　特徴量算出手段８１は、画像から特徴点を検出し、特徴点毎に、特徴点を含む当該特徴点の周辺領域に基づいて当該特徴点の局所特徴量を算出する。対応関係特定手段８２は、第１の画像の特徴点の局所特徴量と、第２の画像の特徴点の局所特徴量とに基づいて、第１の画像の特徴点と第２の画像の特徴点との対応関係を特定する。部分領域検出手段８３は、第１の画像または第２の画像のいずれか一方の画像から、当該画像の特徴点を含む部分領域を検出する。照合手段８４は、部分領域毎に、部分領域に含まれる特徴点と、当該特徴点に対応する特徴点とに基づいて、第１の画像内の被写体と第２の画像内の被写体とが同一または類似であるか否かを判定する。

Description

画像処理装置、画像処理方法およびコンピュータ可読記録媒体
　本発明は、画像処理装置、画像処理方法およびコンピュータ可読記録媒体に関する。
　撮影サイズや角度の変化、オクルージョンが生じても、画像内の被写体（例えば、商品、建物、印刷物等）を頑健に識別するために、画像内の特徴的な点（特徴点）を多数検出し、各特徴点周辺の局所領域の特徴量（局所特徴量）を抽出する方式が提案されている。その代表的な方式として、特許文献１には、ＳＩＦＴ（Ｓｃａｌｅ　Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ）特徴量を用いる画像処理装置が開示されている。
　また、特許文献２には、参照画像と探索画像とを用いて、参照画像内に含まれる対象物を探索画像から検出する検出装置が記載されている。特許文献２に記載の検出装置は、参照画像内の対象物から複数の特徴点を抽出し、各特徴点の局所特徴量を算出する。また、特許文献２に記載の検出装置は、探索画像内にマッチング領域を設定し、マッチング領域に含まれる各々の局所領域についての局所特徴量を算出する。ここで、マッチング領域は、参照領域内の対象物の領域である参照領域と同等の大きさの領域に設定される。特許文献２に記載の検出装置は、参照画像から得た局所特徴量と、探索画像に設定したマッチング領域内の局所特徴量とを用いて、類似度を算出する。
　また、特許文献３には、被写体の照合を行う画像処理装置が記載されている。特許文献３に記載された画像処理装置は、第１の画像に含まれる各特徴点の局所特徴量を抽出するとともに、第２の画像に含まれる各特徴点の局所特徴量を抽出する。そして、特許文献３に記載された画像処理装置は、第１の画像に含まれる各特徴点の位置に基づいて、第１の画像に含まれる各特徴点をクラスタリングし、クラスタ毎に、クラスタにおける第１の画像の特徴点群の局所特徴量と、第２の画像の全ての特徴点の局所特徴量とを用いて、被写体の同一性または類似性を判定する。
米国特許第６７１１２９３号明細書 特開２０１０－１５２５４３号公報 国際公開第ＷＯ２０１４／００２５５４号
　特許文献１に記載された技術を用いた一般的な画像処理装置（以下、単に一般的な画像処理装置と記す。）として、以下のような画像処理装置が考えられる。例えば、一般的な画像処理装置は、第１の画像から特徴点を多数検出し、各特徴点の座標値、スケール（大きさ）および角度（方向）に基づいて、個々の特徴点の局所領域毎に得られる局所特徴量の集合（第１の局所特徴量群）を算出し、同様に、第２の画像からも、局所特徴量の集合（第２の局所特徴量群）を算出する。そして、一般的な画像処理装置は、第１の局所特徴量群内の各局所特徴量と、第２の局所特徴量群内の各局所特徴量との距離に基づいて、第１の画像と第２の画像との間（以下、画像間と記す。）で、類似の特徴点を対応付ける。画像間で対応付けられた特徴点を対応点と記す。
　次に、一般的な画像処理装置は、対応点の位置関係から画像間での対応点の幾何学的検証を実施することによって、画像間で同一または類似の被写体を識別する。ここで、類似とは、被写体の一部が異なること、被写体の一部のみが写っていること、あるいは、画像間で被写体の撮影角度が異なるため被写体の見え方が異なること等を意味する。
　幾何学的検証では、対応点の位置関係から推定した画像間の幾何変換モデルが用いられる。幾何変換モデルには基礎行列や射影変換行列等が用いられ、その推定方法にはロバストな推定が可能なＲＡＮＳＡＣ（ＲＡＮｄｏｍ　ＳＡｍｐｌｅ　Ｃｏｎｓｅｎｓｕｓ）が用いられる。一般的な画像処理装置は、ＲＡＮＳＡＣで推定した幾何変換モデルに対して整合する対応点をｉｎｌｉｅｒと判定し、それ以外の対応点をｏｕｔｌｉｅｒと判定する。そして、ｏｕｔｌｉｅｒと判定された対応点に対してｉｎｌｉｅｒと判定された対応点が十分多ければ、推定した幾何変換モデルの信頼度が高いと判断できるため、画像間で同一または類似の被写体が含まれていると判定する。
　上記の一般的な画像処理装置は、画像間で検出した対応点の位置関係を全て用いて、画像間で同一または類似の被写体を判定する。この場合、以下のような問題が生じる。対応点に該当する第１の画像の特徴点と第２の画像の特徴点のペアには正しいペアもあれば、誤ったペアもある。一般的な画像処理装置は、誤った対応点を削除するために、第１の画像の特徴点の相対的な位置関係と、第２の画像の特徴点の相対的な位置関係とが幾何学的に正しいかを検証する。このとき、一方の画像で被写体の形状が変化すると、特徴点の特徴量が近くても、特徴点の相対的位置関係が大きく異なるため、特徴点のペアが正しいペアであるのか、誤ったペアであるのかを正確に判定できなくなる。そのため、例えば、被写体が折れ曲がったり、凹んだりする等、被写体の形状が変化した場合に、画像間の対応点の幾何変換モデルを推定できなくなり、被写体の識別精度が低下する。
　特許文献２に記載の検出装置は、参照画像から得た全ての局所特徴量と、探索画像に設定したマッチング領域内の全ての局所特徴量とを用いて、類似度を算出する。従って、上記と同様の問題が生じる。
　特許文献３に記載の画像処理装置は、クラスタ毎に、クラスタにおける第１の画像の特徴点群の局所特徴量と、第２の画像の全ての特徴点の局所特徴量とを用いて、被写体の同一性または類似性を判定する。従って、上記と同様の問題が生じる。
　そこで、本発明は、画像内の被写体の形状が変形している場合であっても、被写体の識別精度の低下を抑制することができる画像処理装置、画像処理方法およびコンピュータ可読記録媒体を提供することを主たる目的とする。
　本発明の一態様による画像処理装置は、画像から特徴点を検出し、特徴点毎に、特徴点を含む当該特徴点の周辺領域に基づいて当該特徴点の局所特徴量を算出する局所特徴量算出手段と、第１の画像の特徴点の局所特徴量と、第２の画像の特徴点の局所特徴量とに基づいて、第１の画像の特徴点と第２の画像の特徴点との対応関係を特定する対応関係特定手段と、第１の画像または第２の画像のいずれか一方の画像から、当該画像の特徴点を含む部分領域を検出する部分領域検出手段と、部分領域毎に、部分領域に含まれる特徴点と、当該特徴点に対応する特徴点とに基づいて、第１の画像内の被写体と第２の画像内の被写体とが同一または類似であるか否かを判定する照合手段とを備えることを特徴とする。
　また、本発明の一態様による画像処理方法は、画像から特徴点を検出し、特徴点毎に、特徴点を含む当該特徴点の周辺領域に基づいて当該特徴点の局所特徴量を算出し、第１の画像の特徴点の局所特徴量と、第２の画像の特徴点の局所特徴量とに基づいて、第１の画像の特徴点と第２の画像の特徴点との対応関係を特定し、第１の画像または第２の画像のいずれか一方の画像から、当該画像の特徴点を含む部分領域を検出し、部分領域毎に、部分領域に含まれる特徴点と、当該特徴点に対応する特徴点とに基づいて、第１の画像内の被写体と第２の画像内の被写体とが同一または類似であるか否かを判定することを特徴とする。
　また、本発明の一態様によるコンピュータ可読記録媒体は、画像から特徴点を検出し、特徴点毎に、特徴点を含む当該特徴点の周辺領域に基づいて当該特徴点の局所特徴量を算出する局所特徴量算出処理、第１の画像の特徴点の局所特徴量と、第２の画像の特徴点の局所特徴量とに基づいて、第１の画像の特徴点と第２の画像の特徴点との対応関係を特定する対応関係特定処理、第１の画像または第２の画像のいずれか一方の画像から、当該画像の特徴点を含む部分領域を検出する部分領域検出処理、および、部分領域毎に、部分領域に含まれる特徴点と、当該特徴点に対応する特徴点とに基づいて、第１の画像内の被写体と第２の画像内の被写体とが同一または類似であるか否かを判定する照合処理とをコンピュータに実行させることを特徴とする画像処理プログラムを記録する。
　本発明によれば、画像内の被写体の形状が変形している場合であっても、被写体の識別精度の低下を抑制することができる。
本発明の画像処理装置の概要を示すブロック図である。 本発明の第１の実施形態の画像処理装置の例を示すブロック図である。 特徴点を含む矩形を示す説明図である。 回転させた矩形の例を示す説明図である。 第１の実施形態の処理経過の例を示すフローチャートである。 本発明の第２の実施形態の画像処理装置の例を示すブロック図である。 スケール値の特性を示す模式図である。 第２の実施形態の処理経過の例を示すフローチャートである。 本発明の第３の実施形態の画像処理装置の例を示すブロック図である。 方向情報の特定を示す模式図である。 第３の実施形態の処理経過の例を示すフローチャートである。 本発明の第４の実施形態の画像処理装置の例を示すブロック図である。 第４の実施形態の処理経過の例を示すフローチャートである。 本発明の第５の実施形態の画像処理装置の例を示すブロック図である。 第５の実施形態の処理経過の例を示すフローチャートである。 本発明の第６の実施形態の画像処理装置の例を示すブロック図である。 第６の実施形態の処理経過の例を示すフローチャートである。 本発明の第７の実施形態の画像処理装置の例を示すブロック図である。 第７の実施形態の処理経過の例を示すフローチャートである。 本発明の第８の実施形態の画像処理装置の例を示すブロック図である。 第８の実施形態の処理経過の例を示すフローチャートである。 本発明の第９の実施形態の画像処理装置の例を示すブロック図である。 第９の実施形態の処理経過の例を示すフローチャートである。 本発明の第１０の実施形態の画像処理装置の例を示すブロック図である。 第１０の実施形態の処理経過の例を示すフローチャートである。 本発明の画像処理装置の最小構成の例を示す模式図である。 本発明の各実施形態における画像処理装置を実現するコンピュータの例を示す図である。
　以下の説明において、図面内に示す参照符号は、理解を助けるために便宜的に付したものであって、発明の内容を限定することを意図するものではない。
本発明の実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素は、例えば図２７に示すようなコンピュータ２０００とプログラムとの任意の組み合わせにより実現することができる。コンピュータ２０００は、一例として、以下のような構成を含む。
　　・ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２００１
　　・ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２００２
　　・ＲＡＭ（Ｒａｍｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２００３
　　・ＲＡＭ２００３にロードされるプログラム２００４
　　・プログラム２００４を格納する半導体メモリやハードディスク等の記憶装置２００５
　　・磁気記録媒体や光記録媒体等の記録媒体２００６の読み書きを行うドライブ装置２００７
　　・ネットワーク２００９と接続する通信インターフェース２００８
　　・データの入出力を行う入出力インターフェース２０１０
　　・各構成要素を接続するバス２０１１
各装置の実現方法には様々な変形例がある。例えば、各装置は、専用の装置として実現することができる。また、各装置は、複数の装置の組み合わせにより実現することができる。
　最初に本発明の概要について説明する。図１は、本発明の画像処理装置の概要を示すブロック図である。本発明の画像処理装置１は、第１の局所特徴量算出部１１と、第２の局所特徴量算出部１２と、対応点検出部１３と、部分領域検出部１４と、照合部１５とを含む。
　第１の局所特徴量算出部１１は、第１の画像から、１または２以上の特徴点を検出する。そして、第１の局所特徴量算出部１１は、検出した特徴点毎に、特徴点を含む周辺領域から、その特徴点に対応する局所特徴量を算出する。第１の画像から検出された各特徴点に対応する局所特徴量の集合を、第１の局所特徴量群と記す。
　第２の局所特徴量算出部１２は、第２の画像から、１または２以上の特徴点を検出する。そして、第２の局所特徴量算出部１２は、検出した特徴点毎に、特徴点を含む周辺領域から、その特徴点に対応する局所特徴量を算出する。第２の画像から検出された各特徴点に対応する局所特徴量の集合を、第２の局所特徴量群と記す。
　対応点検出部１３は、第１の局所特徴量群に含まれる局所特徴量に対応する特徴点（第１の画像の特徴点）と、第２の局所特徴量群に含まれる局所特徴量に対応する特徴点（第２の画像の特徴点）との対応関係を示す対応点情報を算出する。具体的には、対応点情報とは、第１の画像の任意の特徴点が第２の画像のどの特徴点に対応するかを示す情報である。対応点情報の集合を対応点情報群と記す。
　部分領域検出部１４は、対応点情報群に基づいて、第１の画像中の対応点が含まれる領域を部分領域として検出する。部分領域は、第１の画像から検出される。部分領域は複数検出されてもよい。１つの部分領域に、第１の画像中の対応点が複数個含まれていてもよい。１つの部分領域において、部分領域に含まれる第１の画像中の対応点と、その対応点と対になる第２の画像中の対応点とを表す情報を部分領域情報と記す。前述のように、１つの部分領域に第１の画像中の対応点が複数個含まれていてもよいので、１つの部分領域で、複数の部分領域情報が生じ得る。１つの部分領域から得られる部分領域情報の集合を部分領域情報群と記す。部分領域検出部１４は、検出した部分領域毎に、部分領域情報群を生成する。
　照合部１５は、部分領域検出部１４が出力した部分領域情報群に基づいて、部分領域毎に、第１の画像と、第２の画像を比較する。
　個々の部分領域は、第１の画像の一部分の領域である。このような部分領域に着目した場合、個々の部分領域では、部分領域に含まれる第１の画像中の各対応点の相対的な位置関係の変化はあまり生じない。従って、上記のように、画像処理装置１が、部分領域毎に、第１の画像と第２の画像を比較することによって、画像内の被写体が変形している場合であっても、第１の画像中の被写体と第２の画像中の被写体を精度良く識別できる。
　第１の局所特徴量算出部１１、第２の局所特徴量算出部１２、対応点検出部１３、部分領域検出部１４および照合部１５は、例えば、画像処理プログラムに従って動作するコンピュータのＣＰＵによって実現されてもよい。この場合、ＣＰＵが、プログラムの記録媒体から画像処理プログラムを読み込み、そのプログラムに従って、上記の各要素として動作すればよい。プログラムの記録媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（ｎｏｎ－ｔｒａｎｓｉｅｎｔ）なものとすることができる。この点は、後述の各実施形態においても同様である。
　以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
　図２は、本発明の第１の実施形態の画像処理装置の例を示すブロック図である。第１の実施形態の画像処理装置１０は、第１の局所特徴量算出部１０１と、第２の局所特徴量算出部１０２と、対応点検出部１０３と、部分領域検出部１０４と、照合部１０５とを含む。なお、本実施形態の画像処理装置１０は、図２に示す構成に限定されない。
　第１の局所特徴量算出部１０１は、第１の画像から１または２以上の特徴点を検出し、各特徴点の座標値の集合である第１の座標値情報群を部分領域検出部１０４および照合部１０５に出力する。なお、第１の座標値情報群において、特徴点の座標値は、その特徴点のインデックス番号と対応付けられている。
　また、第１の局所特徴量算出部１０１は、特徴点毎に、特徴点の座標値から局所特徴量を算出し、算出した局所特徴量の集合である第１の局所特徴量群を対応点検出部１０３に出力する。ここで、第１の局所特徴量算出部１０１は、例えば、特徴点の座標値に加えて、局所特徴量を算出する領域のスケールや方向の情報を用いて、局所特徴量を算出してもよい。スケールは、値で表されるので、スケール値と記す場合がある。また、第１の局所特徴量群において、特徴点の局所特徴量は、その特徴点のインデックス番号と対応付けられている。
　特徴点のスケール値は、例えば、各特徴点に付随する大きさの情報であり、特徴点を含む周辺領域の画像からその値が算出される。特徴点のスケール値は、例えば、特徴点を含む周辺領域が拡大または縮小すると、それに応じて値が変化する性質を有することが望ましい。周辺領域の拡大または縮小に応じたスケール値の変化は、例えば、線形的な変化でもよく、非線形的な変化でもよく、対数的な変化でもよく、指数的な変化でもよい。
　特徴点の方向情報は、例えば、各特徴点に付随する方向（角度）の情報であり、特徴点を含む周辺領域の画像からその値が算出される。特徴点の方向情報は、例えば、特徴点を含む周辺領域の画像が回転すると、それに応じてその角度も回転する性質を有することが望ましい。第１の局所特徴量算出部１０１は、例えば、特徴点を含む周辺領域で、輝度勾配の強度が最大となる方向を、特徴点の方向情報として算出してもよい。
　以下に、局所特徴量の算出例を示す。第１の局所特徴量算出部１０１は、特徴点を含み、スケールに応じた大きさの矩形を設定する。図３は、特徴点を含む矩形を示す説明図である。初期状態の矩形２１は、特徴点２３を中央に含み、各辺が、画像２２の辺と平行になるように設定される。なお、ここでは、第１の画像および第２の画像も矩形であるものとして説明する。また、矩形２１は、基準方向を有する。基準方向は、図３において破線の矢印で示している。第１の局所特徴量算出部１０１は、設定した矩形２１を解析し、輝度勾配の強度が最大となる方向を特定し、その方向に合わせて、設定した矩形２１を回転させる。回転させた矩形の例を図４に示す。図４において、実線の矢印は、輝度勾配の強度が最大となる方向として特定された方向である。例えば、第１の局所特徴量算出部１０１は、輝度勾配の強度が最大となる方向と、基準方向とが所定の角度（図４に示す例では９０°）になるように、矩形２１を回転させればよい。矩形の回転に合わせて、その矩形における基準方向も回転する（図４参照）。第１の局所特徴量算出部１０１は、回転後の矩形における基準方向を０°方向として、基準方向からの所定の角度（例えば、０°、９０°等）毎に、再度、矩形内における輝度勾配の強度を算出する。基準方向からの所定の角度毎に算出された輝度勾配の強度が、特徴点に対応する局所特徴量である。第１の局所特徴量算出部１０１は、検出した特徴点毎に局所特徴量を算出する。なお、他の算出方法によって、局所特徴量を算出してもよい。
　第２の局所特徴量算出部１０２は、第１の局所特徴量算出部１０１と同様に、第２の画像から特徴点を検出し、各特徴点の座標値の集合である第２の座標値情報群を部分領域検出部１０４および照合部１０５に出力する。なお、第２の座標値情報群において、特徴点の座標値は、その特徴点のインデックス番号と対応づけられている。
　第２の局所特徴量算出部１０２は、第１の局所特徴量算出部１０１と同様の動作によって、特徴点毎に局所特徴量を算出し、算出した局所特徴量の集合である第２の局所特徴量群を対応点検出部１０３に出力する。第２の局所特徴量群において、特徴点の局所特徴量は、その特徴点のインデックス番号と対応付けられている。
　なお、第２の画像の各特徴点の座標値および局所特徴量を事前に特定し、それらの情報を予め記憶した記憶手段（図示略）を備える構成であってもよい。この点は、本発明の全ての実施形態で同様である。この場合、第２の局所特徴量算出部１０２は設けられていなくてよい。この場合、部分領域検出部１０４および照合部１０５は、その記憶手段から、第２の座標値情報群を読み込み、対応点検出部１０３は、その記憶手段から、第２の局所特徴量群を読み込めばよい。
　対応点検出部１０３は、第１の局所特徴量算出部１０１が出力した第１の局所特徴量群と、第２の局所特徴量算出部１０２が出力した第２の局所特徴量群とを用いて、所定の条件を満たす数の対応点情報を生成する。例えば、対応点情報の数が所定の閾値を超えることを、上記の所定の条件としてもよい。
　具体的には、対応点検出部１０３は、第１の画像の任意の特徴点と、第２の画像の任意の特徴点との間の局所特徴量間距離を算出する。そして、対応点検出部１０３は、算出した局所特徴量間距離に基づき、第１の画像の特徴点と第２の画像の特徴点との対応関係を示す対応点情報を、所定の条件を満たす数、生成する。対応点情報は、第１の画像の特徴点のインデックス番号と第２の画像の特徴点のインデックス番号のペアを用いて、表してもよい。以下、第１の画像の特徴点のインデックス番号を符号ｑで表し、第２の画像の特徴点のインデックス番号を符号ｐで表す。すなわち、対応点情報は、（ｑ、ｐ）という形式で表されてもよい。また、対応点検出部１０３は、対応点情報に対して順番にインデックス番号を定める。以下、対応点情報のインデックス番号を符号ｋで表す。例えば、第１の画像のｑ１番目の特徴点と第２の画像のｐ１番目の特徴点とが対応しているとする。このとき、（ｑ１、ｐ１）という対応点情報がｋ１番目の対応点情報であれば、（ｑ１、ｐ１）に対して“ｋ１”というインデックス番号が定められる。
　対応点検出部１０３は、局所特徴量間距離として、局所特徴量のユークリッド距離を算出してもよい。そして、対応点検出部１０３は、例えば、第１の画像の特徴点と、第２の画像の各特徴点との局所特徴量間距離をそれぞれ算出し、その第１の画像の特徴点との局所特徴量間距離が最小となる第２の画像の特徴点を特定することによって、その第１の画像の特徴点に対応する第２の画像の特徴点を定めてもよい。また、他方の画像の特徴点との間に対応関係が存在しない特徴点があってもよい。例えば、対応点検出部１０３は、最小の局所特徴量間距離と、２番目に小さい局所特徴量間距離との比率を評価尺として、対応関係の有無を判定してもよい。なお、対応点検出の方法は、適宜決定することが好ましく、上記の方法に限定されない。
　対応点検出部１０３は、算出した対応点情報の集合である対応点情報群を部分領域検出部１０４および照合部１０５に出力する。
　部分領域検出部１０４は、第１の局所特徴量算出部１０１が出力した第１の座標値情報群と、第２の局所特徴量算出部１０２が出力した第２の座標値情報群と、対応点検出部１０３が出力した対応点情報群とを用いて、第１の画像中の対応点が含まれる領域を部分領域として検出する。部分領域検出部１０４は、部分領域を、所定の条件を満たす数を超えて検出する（例えば、予め定められた閾値を超える数の部分領域を検出する）。
　そして、部分領域検出部１０４は、検出された部分領域に含まれる第１の画像中の特徴点を対応点として定めている対応点情報を示す情報の集合を部分領域情報群として、部分領域毎に部分領域情報群を照合部１０５に出力する。例えば、対応点情報を示す情報として、対応点情報のインデックス番号ｋを用いてもよい。
　具体的には、部分領域検出部１０４は、例えば、第１の画像を所定の大きさの分析領域に分割し、各分析領域をそれぞれ部分領域とみなしてよい。そして、部分領域検出部１０４は、部分領域毎に、部分領域に含まれる第１の画像中の特徴点を対応点として定めている対応点情報のインデックス番号ｋの集合を部分領域情報群としてよい。分析領域の形は矩形でもよいし、円形でもよい。また、分析する領域は画像全体でもよいし、画像の一部でもよい。画像の一部とは、第１の画像中の対応点群の外接矩形でもよいし、第１の画像中の対応点群を内包する円形でもよい。また、分析領域の大きさは固定でもよいし可変でもよい。さらに、隣接する分析領域は重複してもよいし、重複していなくてもよい。
　また、部分領域検出部１０４は、例えば、第１の画像の対応点を、それらの座標値に基づいてクラスタリングし、各クラスタを部分領域とみなしてもよい。すなわち、部分領域検出部１０４は、個々のクラスタ毎に、クラスタに属する第１の画像の各対応点を包含する領域を部分領域として定めてもよい。そして、部分領域検出部１０４は、部分領域毎に、部分領域に含まれる第１の画像中の特徴点を対応点として定めている対応点情報のインデックス番号ｋの集合を部分領域情報群としてもよい。
　部分領域検出部１０４は、第１の画像の対応点をクラスタリングする場合、第１の画像に含まれる二つの対応点の座標間の距離が近い場合、その二つの対応点を同一のクラスタに分類するという方法を用いてもよい。二つの対応点の座標間の距離が近いか否かは、例えば、距離が、予め定められた閾値以下であるか否かによって判定すればよい。部分領域検出部１０４は、第１の画像に含まれる二つの対応点の間の距離として、例えば、ユークリッド距離を算出してもよく、マハラノビス距離を算出してもよく、市街地距離を算出してもよい。
　また、部分領域検出部１０４は、第１の画像の対応点をクラスタリングする場合、例えば、第１の画像に含まれる全ての対応点の組み合わせについて対応点の間の距離を算出し、算出した距離をグラフカットによってクラスタリングするという方法を用いてもよい。
この場合、部分領域検出部１０４は、例えば、第１の画像の対応点をノードとして、第１の画像の対応点間の距離をノード間のエッジとしたグラフを生成する。グラフカットには、例えば、一般的によく知られているノーマライズドカットを用いてもよいし、Ｍａｒｋｏｖ　Ｃｌｕｓｔｅｒアルゴリズムを用いてもよい。
　また、部分領域検出部１０４は、第１の画像の対応点をクラスタリングする場合、例えば、一般的によく知られているｋ－ｍｅａｎｓ法を用いてもよいし、Ｍｅａｎ　Ｓｈｉｆｔ法を用いてもよい。
　照合部１０５は、第１の局所特徴量算出部１０１が出力した第１の座標値情報群と、第２の局所特徴量算出部１０２が出力した第２の座標値情報群と、対応点検出部１０３が出力した対応点情報群と、部分領域検出部１０４が出力した部分領域情報群とを用いて、画像間で同一または類似の被写体が含まれているかを判定する。
　具体的には、照合部１０５は、例えば、部分領域毎に、部分領域に含まれる対応点の座標値を用いて、画像間の対応点の幾何学的検証を実行し、幾何学的に整合の取れた対応点の数の総和に基づいて、画像間での被写体の同一性または類似性を判定してもよい。
　また、照合部１０５は、幾何学的検証を実行するときに、例えば、画像間の対応点の幾何学的関係性を相似変換と仮定した上で、ロバスト推定手法を用いて幾何学的関係性を示す幾何変換モデルを推定してもよい。そして、照合部１０５は、第１の画像の対応点と第２の画像の対応点との組が、推定した幾何変換モデルに整合するか否かを判定してもよい。照合部１０５は、ロバスト推定手法として、例えば、ＲＡＮＳＡＣや最小二乗法を用いてもよい。また、画像間の対応点の幾何学的関係性には、例えば、アフィン変換や射影変換（ホモグラフィ）を用いてもよい。ここで、例えば、Ｔ１＜Ｔ２を満足する二つの閾値が予め定められているとする。例えば、照合部１０５は、推定した幾何変換モデルに整合する対応点の組の総和がＴ１未満であれば、画像間で被写体は同一でも類似でもないと判定する。また、照合部１０５は、推定した幾何変換モデルに整合する対応点の組の総和がＴ１以上Ｔ２未満であれば、画像間で被写体が類似していると判定する。また、推定した幾何変換モデルに整合する対応点の組の総和がＴ２以上であれば、画像間で被写体が同一であると判定する。
　また、照合部１０５は、幾何学的に整合の取れている対応点の組の数と、幾何学的に整合の取れなかった対応点の組の数の比率に基づいて、画像間での被写体の同一性または類似性を判定してもよい。
　第１の局所特徴量算出部１０１、第２の局所特徴量算出部１０２、対応点検出部１０３、部分領域検出部１０４および照合部１０５は、例えば、画像処理プログラムに従って動作するコンピュータのＣＰＵによって実現されてもよい。この場合、ＣＰＵが、プログラムの記録媒体から画像処理プログラムを読み込み、そのプログラムに従って、上記の各要素として動作すればよい。
　次に、動作について説明する。図５は、第１の実施形態の処理経過の例を示すフローチャートである。
　第１の局所特徴量算出部１０１は、第１の画像から１または２以上の特徴点を検出し、第２の局所特徴量算出部１０２は、第２の画像から１または２以上の特徴点を検出する（Ｓ１００１）。
　次に、第１の局所特徴量算出部１０１および第２の局所特徴量算出部１０２はそれぞれ、各特徴点の座標値、スケールおよび方向の情報を用いて、特徴点毎に局所特徴量を算出する（ステップＳ１００２）。また、ステップＳ１００２において、第１の局所特徴量算出部１０１および第２の局所特徴量算出部１０２はそれぞれ、各特徴点の座標値情報も算出する。
　次に、対応点検出部１０３は、第１の局所特徴量群の任意の局所特徴量と、第２の局所特徴量群の任意の局所特徴量との間の距離（局所特徴量間距離）を算出し、局所特徴量間距離に基づいて対応点を検出し、対応点情報を生成する（ステップＳ１００３）。
　次に、部分領域検出部１０４は、対応点の座標値に基づいて、第１の画像中の対応点が含まれる部分領域を検出する（Ｓ１００４）。
　照合部１０５は、部分領域毎に、画像間の対応点の幾何学的検証を実行し、幾何学的整合性の取れた対応点の総和に基づいて、画像間で同一または類似の被写体を識別する（Ｓ１００５）。
　以上に説明したように、本発明の第１の実施形態の画像処理装置１０は、特徴点の座標値に基づいて検出した部分領域毎に対応点の幾何学的検証を実行するとともに、幾何学的整合性の取れた対応点の数に基づいて画像間で同一または類似の被写体を識別する。既に説明したように、個々の部分領域では、部分領域に含まれる第１の画像中の各対応点の相対的な位置関係の変化はあまり生じない。従って、部分領域毎に対応点の幾何学的検証を実行することにより、被写体の形状が変形した場合でも、第１の画像中の被写体と第２の画像中の被写体を精度良く識別できる。
実施形態２．
　図６は、本発明の第２の実施形態の画像処理装置の例を示すブロック図である。第２の実施形態の画像処理装置２０は、特徴点のスケール値を用いて、部分領域を検出する。以下の説明では、既に説明した要素と同様の要素については、同一の符号を付し、適宜、説明を省略する。この点は、第３の実施形態以降についても同様である。
　第２の実施形態の画像処理装置２０は、第１の局所特徴量算出部２０１と、第２の局所特徴量算出部２０２と、対応点検出部１０３と、部分領域検出部２０３と、照合部１０５とを含む。第１の局所特徴量算出部２０１、第２の局所特徴量算出部２０２および部分領域検出部２０３の動作は、第１の実施形態と一部異なる。
　第１の局所特徴量算出部２０１は、第１の局所特徴量算出部１０１と同様の動作により、第１の局所特徴量群を算出し、対応点検出部１０３に出力する。また、第１の局所特徴量算出部２０１は、第１の局所特徴量算出部１０１と同様に、第１の座標値情報群を生成し、照合部１０５に出力する。さらに、第１の局所特徴量算出部２０１は、第１の画像から検出した各特徴点のスケール値の集合である第１のスケール値情報群を生成し、部分領域検出部２０３に出力する。
　第２の局所特徴量算出部２０２は、第１の局所特徴量算出部２０１と同様の動作により、第２の局所特徴量群を算出し、対応点検出部１０３に出力する。また、第２の局所特徴量算出部２０２は、第１の局所特徴量算出部２０１と同様に、第２の座標値情報群を生成し、照合部１０５に出力する。さらに、第２の局所特徴量算出部２０２は、第２の画像から検出した各特徴点のスケール値の集合である第２のスケール値情報群を生成し、部分領域検出部２０３に出力する。
　部分領域検出部２０３は、第１の局所特徴量算出部２０１が出力した第１のスケール値情報群と、第２の局所特徴量算出部２０２が出力した第２のスケール値情報群と、対応点検出部１０３が出力した対応点情報群とを用いて、第１の画像中の対応点が含まれる領域を部分領域として検出する。部分領域検出部２０３は、部分領域を、所定の条件を満たす数を超えて検出する（例えば、予め定められた閾値を超える数の部分領域を検出する）。
そして、部分領域検出部２０３は、部分領域毎に部分領域情報群を照合部１０５に出力する。
　具体的には、部分領域検出部２０３は、例えば、対応点の相対スケールに基づいて、部分領域を算出してもよい。対応点の相対スケールとは、第１の画像側の対応点のスケール値と、第２の画像側の対応点のスケール値との違いの程度を表す値である。
　部分領域検出部２０３は、対応点のスケール値の比率を、対応点の相対スケールとして用いてもよい。例えば、部分領域検出部２０３は、以下に示す式（１）の計算によって相対スケールを算出してもよい。
　σ＝ｓ（ｑ）／ｓ（ｐ）　　　・・・式（１）
　式（１）において、σは、対応点の相対スケールである。ｓ（ｑ）は、第１の画像から検出したｑ番目の特徴点のスケール値である。ｓ（ｐ）は、第２の画像から検出したｐ番目の特徴点のスケール値である。この２つの特徴点は、対応付けられている。
　また、部分領域検出部２０３は、例えば、特徴点のスケール値の対数値を用いて、対応点の相対スケールを算出してもよい。
　また、例えば、第１の局所特徴量算出部２０１および第２の局所特徴量算出部２０２が、特徴点から対数関数の性質をもつスケール値を抽出する場合、部分領域検出部２０３は、対応点のスケール値の差分値を、対応点の相対スケールとして用いてもよい。例えば、部分領域検出部２０３は、以下に示す式（２）の計算によって対応点の相対スケールを算出してもよい。
　σ’＝ｓ’（ｑ）－ｓ’（ｐ）　　　・・・式（２）
　式（２）において、σ’は、対応点の相対スケールである。ｓ’（ｑ）は、第１の画像から検出したｑ番目の特徴点のスケール値である。ｓ’（ｐ）は、第２の画像から検出したｐ番目の特徴点のスケール値である。この２つの特徴点は、対応付けられている。
　ここで、図７を参照して、スケール値の特性について説明する。図７に示す第２の画像には、図７に示す第１の画像の２倍のサイズの被写体が写っている。図７に示す黒丸は対応点を示し、図７に示す矢印の大きさはスケール値の大きさを示す。特徴点のスケール値は、画像内の被写体サイズに応じて相対的に変化するという性質を持つ。例えば、図７に示すように、画像内の被写体のサイズが２倍になると、特徴点のスケール値も２倍になる。また、例えば、画像内の被写体のサイズが０．５倍になると、特徴点のスケール値も０．５倍になる。従って、式（１）あるいは式（２）で算出される対応点の相対スケールは、第１の画像の特徴点と第２の画像の特徴点との対応付けが正しい場合、被写体毎に一定になるという特性を持つ。
　部分領域検出部２０３は、例えば、第１の画像を所定の大きさの分析領域に分割し、各分析領域をそれぞれ部分領域とみなしてよい。そして、部分領域検出部２０３は、部分領域毎に、部分領域に含まれる第１の画像中の特徴点を対応点として定めている対応点情報のインデックス番号ｋのうち、対応点の相対スケールが同一または類似となっている対応点の対応点情報のインデックス番号ｋの集合を部分領域情報群としてよい。分析領域の形状等に関しては第１の実施形態における分析領域の形状等と同様であり、説明を省略する。
　部分領域検出部２０３は、対応点の相対スケールが類似であるか否かの判定を、例えば、以下のように行ってもよい。部分領域検出部２０３は、対応点の相対スケールの差の絶対値の逆数を類似度として算出し、その類似度が、閾値以上であれば類似であり、閾値未満であれば類似でないと判定してもよい。ただし、対応点の相対スケールが類似であるか否かの判定方法は、上記の方法に限定されない。
　また、部分領域検出部２０３は、例えば、第１の画像の対応点を、それらの対応点を用いて算出した相対スケールに基づいてクラスタリングし、各クラスタを部分領域とみなし、クラスタ毎に、クラスタに属する対応点の対応点情報のインデックス番号の集合を部分領域情報群としてもよい。この場合、部分領域検出部２０３は、例えば、第１の画像に含まれる対応点の相対スケールと各クラスタ重心との距離を算出するとともに、算出した距離が最も小さくなるクラスタにその対応点を分類することによって、第１の画像の対応点をクラスタリングしてもよい。この際、任意のクラスタ内に、相対スケールの類似度が所定の閾値未満となっている対応点が含まれる場合、部分領域検出部２０３は、例えば、クラスタ重心までの距離が長い相対スケールを持つ対応点を、そのクラスタから除外して、別のクラスタに分類すればよい。ここで、クラスタ重心と相対スケールとの距離として、例えば、ユークリッド距離を用いてもよいし、マハラノビス距離を用いてもよいし、市街地距離を用いてもよい。クラスタリングに、第１の実施形態で示した方法と同様の方法を適用してもよい。
　第１の局所特徴量算出部２０１、第２の局所特徴量算出部２０２、対応点検出部１０３、部分領域検出部２０３および照合部１０５は、例えば、画像処理プログラムに従って動作するコンピュータのＣＰＵによって実現されてもよい。この場合、ＣＰＵが、プログラムの記録媒体から画像処理プログラムを読み込み、そのプログラムに従って、上記の各要素として動作すればよい。
　図８は、第２の実施形態の処理経過の例を示すフローチャートである。図８に示すステップＳ２００１～Ｓ２００３およびステップＳ２００５は、図５に示すステップＳ１００１～Ｓ１００３およびステップＳ１００５と同様であり、説明を省略する。
　図８に示すステップＳ２００１～Ｓ２００３の実行後、部分領域検出部２０３は、対応点のスケール値に基づいて、第１の画像中の対応点が含まれる部分領域を検出する（ステップＳ２００４）。その後、ステップＳ２００５に移行する。
　本発明の第２の実施形態の画像処理装置２０は、特徴点のスケール値を用いて検出した部分領域毎に対応点の幾何学的検証を実行するとともに、幾何学的整合性の取れた対応点の数に基づいて画像間で同一または類似の被写体を識別する。本実施形態においても、部分領域毎に対応点の幾何学的検証を実行するので、被写体の形状が変形した場合でも、第１の画像中の被写体と第２の画像中の被写体を精度良く識別できる。
実施形態３．
　図９は、本発明の第３の実施形態の画像処理装置の例を示すブロック図である。第３の実施形態の画像処理装置３０は、特徴点の方向情報を用いて、部分領域を検出する。
　第３の実施形態の画像処理装置３０は、第１の局所特徴量算出部３０１と、第２の局所特徴量算出部３０２と、対応点検出部１０３と、部分領域検出部３０３と、照合部１０５とを含む。第１の局所特徴量算出部３０１、第２の局所特徴量算出部３０２および部分領域検出部２０３の動作は、前述の実施形態と一部異なる。
　第１の局所特徴量算出部３０１は、第１の局所特徴量算出部１０１と同様の動作により、第１の局所特徴量群を算出し、対応点検出部１０３に出力する。また、第１の局所特徴量算出部３０１は、第１の局所特徴量算出部１０１と同様に、第１の座標値情報群を生成し、照合部１０５に出力する。さらに、第１の局所特徴量算出部３０１は、第１の画像から検出した各特徴点の方向情報の集合である第１の方向情報群を生成し、部分領域検出部３０３に出力する。
　第２の局所特徴量算出部３０２は、第１の局所特徴量算出部３０１と同様の動作により、第２の局所特徴量群を算出し、対応点検出部１０３に出力する。また、第２の局所特徴量算出部３０２は、第１の局所特徴量算出部３０１と同様に、第２の座標値情報群を生成し、照合部１０５に出力する。さらに、第２の局所特徴量算出部３０２は、第２の画像から検出した各特徴点の方向情報の集合である第２の方向情報群を生成し、部分領域検出部３０３に出力する。
　部分領域検出部３０３は、第１の局所特徴量算出部３０１が出力した第１の方向情報群と、第２の局所特徴量算出部３０２が出力した第２の方向情報群と、対応点検出部１０３が出力した対応点情報群とを用いて、第１の画像中の対応点が含まれる領域を部分領域として検出する。部分領域検出部３０３は、部分領域を、所定の条件を満たす数を超えて検出する（例えば、予め定められた閾値を超える数の部分領域を検出する）。そして、部分領域検出部３０３は、部分領域毎に部分領域情報群を照合部１０５に出力する。
　具体的には、部分領域検出部３０３は、例えば、対応点の相対方向に基づいて、部分領域を算出してもよい。対応点の相対方向とは、第１の画像側の対応点の方向情報と、第２の画像側の対応点の方向情報との違いの程度を表す値である。
　部分領域検出部３０３は、対応点の方向情報の差分値を、対応点の相対方向として用いてもよい。例えば、部分領域検出部３０３は、以下に示す式（３）の計算によって対応点の相対方向を算出してもよい。
　ρ＝θ（ｑ）－θ（ｐ）　　　・・・式（３）
　式（３）において、ρは、対応点の相対方向である。θ（ｑ）は、第１の画像から検出したｑ番目の特徴点の方向情報である。θ（ｐ）は、第２の画像から検出したｐ番目の特徴点の方向情報である。この２つの特徴点は、対応付けられている。
　また、例えば、第１の局所特徴量算出部３０１および第２の局所特徴量算出部３０２が、特徴点から指数関数の性質を持つ方向情報を抽出する場合、部分領域検出部３０３は、対応点の方向情報の比率を、対応点の相対方向として用いてもよい。例えば、部分領域検出部３０３は、以下に示す式（４）の計算によって対応点の相対方向を算出してもよい。
　ρ’＝θ’（ｑ）／θ’（ｐ）　　　・・・式（４）
　式（４）において、ρ’は、対応点の相対方向である。θ’（ｑ）は、第１の画像から検出したｑ番目の特徴点の方向情報である。θ’（ｐ）は、第２の画像から検出したｐ番目の特徴点の方向情報である。この２つの特徴点は、対応付けられている。
　ここで、図１０を参照して特徴点の方向情報の特定について説明する。図１０に示す第２の画像における被写体は、図１０に示す第１の画像における被写体に対して４５°回転している。図１０に示す黒丸は対応点を示し、図１０に示す矢印の方向は、特徴点の方向情報を示す。図１０に示すように、特徴点の方向情報は、画像内の被写体の回転に応じて相対的に変化するという性質を持つ。すなわち、画像内の被写体が４５°回転すると、当該被写体の全ての特徴点の方向情報が４５°回転する。従って、式（３）あるいは式（４）で算出された対応点の相対方向は、第１の画像の特徴点と第２の画像の特徴点との対応付けが正しい場合、被写体毎に一定になるという特性を持つ。
　部分領域検出部３０３は、例えば、第１の画像を所定の大きさの分析領域に分割し、各分析領域をそれぞれ部分領域とみなしてよい。そして、部分領域検出部３０３は、部分領域毎に、部分領域に含まれる第１の画像中の特徴点を対応点として定めている対応点情報のインデックス番号ｋのうち、対応点の相対方向が同一または類似となっている対応点の対応点情報のインデックス番号ｋの集合を部分領域情報群としてよい。分析領域の形状等に関しては第１の実施形態における分析領域の形状等と同様であり、説明を省略する。
　部分領域検出部３０３は、対応点の相対方向が類似であるか否かの判定を、例えば、以下のように行ってもよい。部分領域検出部３０３は、対応点の相対方向の差の絶対値の逆数を類似度として算出し、その類似度が閾値以上であれば類似であり、閾値未満であれば類似でないと判定してもよい。ただし、対応点の相対方向が類似であるか否かの判定方法は、上記の方法に限定されない。
　また、部分領域検出部３０３は、例えば、第１の画像の対応点を、それらの対応点を用いて算出した相対方向に基づいてクラスタリングし、各クラスタを部分領域とみなし、クラスタ毎に、クラスタに属する対応点の対応点情報のインデックス番号の集合を部分領域情報群としてもよい。この場合、部分領域検出部３０３は、例えば、第１の画像に含まれる対応点の相対方向と各クラスタ重心との距離を算出するとともに、算出した距離が最も小さくなるクラスタにその対応点を分類することによって、第１の画像の対応点をクラスタリングしてもよい。この際、任意のクラスタ内に、相対方向の類似度が所定の閾値未満となっている対応点が含まれる場合、部分領域検出部３０３は、例えば、クラスタ重心までの距離が長い相対方向を持つ対応点を、そのクラスタから除外して、別のクラスタに分類すればよい。ここで、クラスタ重心と相対方向との距離として、例えば、ユークリッド距離を用いてもよいし、マハラノビス距離を用いてもよいし、市街地距離を用いてもよい。クラスタリングに、第１の実施形態で示した方法と同様の方法を適用してもよい。
　第１の局所特徴量算出部３０１、第２の局所特徴量算出部３０２、対応点検出部１０３、部分領域検出部３０３および照合部１０５は、例えば、画像処理プログラムに従って動作するコンピュータのＣＰＵによって実現されてもよい。この場合、ＣＰＵが、プログラムの記録媒体から画像処理プログラムを読み込み、そのプログラムに従って、上記の各要素として動作すればよい。
　図１１は、第３の実施形態の処理経過の例を示すフローチャートである。図１１に示すステップＳ３００１～Ｓ３００３およびステップＳ３００５は、図５に示すステップＳ１００１～Ｓ１００３およびステップＳ１００５と同様であり、説明を省略する。
　図１１に示すステップＳ３００１～Ｓ３００３の実行後、部分領域検出部３０３は、対応点の方向情報に基づいて、第１の画像中の対応点が含まれる部分領域を検出する（ステップＳ３００４）。その後、ステップＳ３００５に移行する。
　本発明の第３の実施形態の画像処理装置３０は、特徴点の方向情報を用いて検出した部分領域毎に対応点の幾何学的検証を実行するとともに、幾何学的整合性の取れた対応点の数に基づいて画像間で同一または類似の被写体を識別する。本実施形態においても、部分領域毎に対応点の幾何学的検証を実行するので、被写体の形状が変形した場合でも、第１の画像中の被写体と第２の画像中の被写体を精度良く識別できる。
実施形態４．
　図１２は、本発明の第４の実施形態の画像処理装置の例を示すブロック図である。第４の実施形態の画像処理装置４０は、特徴点のスケール値および特徴点の方向情報を用いて、部分領域を検出する。
　第４の実施形態の画像処理装置４０は、第１の局所特徴量算出部４０１と、第２の局所特徴量算出部４０２と、対応点検出部１０３と、部分領域検出部４０３と、照合部１０５とを含む。第１の局所特徴量算出部４０１、第２の局所特徴量算出部４０２および部分領域検出部４０３の動作は、前述の実施形態と一部異なる。
　第１の局所特徴量算出部４０１は、第１の局所特徴量算出部１０１と同様の動作により、第１の局所特徴量群を算出し、対応点検出部１０３に出力する。また、第１の局所特徴量算出部４０１は、第１の局所特徴量算出部１０１と同様に、第１の座標値情報群を生成し、照合部１０５に出力する。また、第１の局所特徴量算出部４０１は、第１の局所特徴量算出部２０１と同様に、第１のスケール値情報群を生成し、部分領域検出部４０３に出力する。さらに、第１の局所特徴量算出部４０１は、第１の局所特徴量算出部３０１と同様に、第１の方向情報群を生成し、部分領域検出部４０３に出力する。
　第２の局所特徴量算出部４０２は、第１の局所特徴量算出部４０１と同様の動作により、第２の局所特徴量群を算出し、対応点検出部１０３に出力する。また、第２の局所特徴量算出部４０２は、第１の局所特徴量算出部４０１と同様に、第２の座標値情報群を生成し、照合部１０５に出力する。また、第２の局所特徴量算出部４０２は、第１の局所特徴量算出部４０１と同様に、第２のスケール値情報群を生成し、部分領域検出部４０３に出力する。さらに、第２の局所特徴量算出部４０２は、第１の局所特徴量算出部４０１と同様に、第２の方向情報群を生成し、部分領域検出部４０３に出力する。
　部分領域検出部４０３は、第１の局所特徴量算出部４０１が出力した第１のスケール値情報群および第１の方向情報群と、第２の局所特徴量算出部４０２が出力した第２のスケール値情報群および第２の方向情報群と、対応点検出部１０３が出力した対応点情報群とを用いて、第１の画像中の対応点が含まれる領域を部分領域として検出する。部分領域検出部４０３は、部分領域を、所定の条件を満たす数を超えて検出する（例えば、予め定められた閾値を超える数の部分領域を検出する）。そして、部分領域検出部４０３は、部分領域毎に部分領域情報群を照合部１０５に出力する。
　部分領域検出部４０３は、例えば、対応点の相対スケールおよび対応点の相対方向に基づいて部分領域を算出してもよい。対応点の相対スケールの算出方法や、対応点の相対方向の算出方法については、それぞれ、第２の実施形態、第３の実施形態で説明したので、本実施形態以降では説明を省略する。
　具体的には、部分領域検出部４０３は、第１の画像中の対応点を、対応点の相対スケールが同一または類似となっていて、かつ、対応点の相対方向が同一または類似となっている対応点のグループに分ける。そして、部分領域検出部４０３は、グループ毎に、グループに属する対応点の対応点情報のインデックス番号ｋの集合を部分領域情報群としてよい。対応点の相対スケールが類似であるか否かの判定方法の例や、対応点の相対方法が類似であるか否かの判定方法の例については、既に説明したので、本実施形態以降では説明を省略する。
　第１の局所特徴量算出部４０１、第２の局所特徴量算出部４０２、対応点検出部１０３、部分領域検出部４０３および照合部１０５は、例えば、画像処理プログラムに従って動作するコンピュータのＣＰＵによって実現されてもよい。この場合、ＣＰＵが、プログラムの記録媒体から画像処理プログラムを読み込み、そのプログラムに従って、上記の各要素として動作すればよい。
　図１３は、第４の実施形態の処理経過の例を示すフローチャートである。図１３に示すステップＳ４００１～Ｓ４００３およびステップＳ４００５は、図５に示すステップＳ１００１～Ｓ１００３およびステップＳ１００５と同様であり、説明を省略する。
　図１３に示すステップＳ４００１～Ｓ４００３の実行後、部分領域検出部４０３は、対応点のスケール値および方向情報に基づいて、第１の画像中の対応点が含まれる部分領域を検出する（ステップＳ４００４）。その後、ステップＳ４００５に移行する。
　本発明の第４の実施形態の画像処理装置４０によれば、第２の実施形態および第３の実施形態と同様の効果が得られる。また、第４の実施形態では、対応点のスケール値および方向情報を用いて部分領域を検出するので、第２の実施形態や第３の実施形態よりも、部分領域の検出精度を向上させることができる。従って、第２の実施形態や第３の実施形態よりも、被写体の識別精度を向上させることができる。
実施形態５．
　図１４は、本発明の第５の実施形態の画像処理装置の例を示すブロック図である。第５の実施形態の画像処理装置５０は、特徴点の座標値および特徴点のスケール値を用いて、部分領域を検出する。
　第５の実施形態の画像処理装置５０は、第１の局所特徴量算出部２０１と、第２の局所特徴量算出部２０２と、対応点検出部１０３と、部分領域検出部５０１と、照合部１０５とを含む。部分領域検出部５０１の動作は、前述の実施形態と一部異なる。
　第１の局所特徴量算出部２０１および第２の局所特徴量算出部２０２は、第２の実施形態におけるそれらの要素と同様である。なお、本実施形態では、第１の局所特徴量算出部２０１は、部分領域検出部５０１および照合部１０５に第１の座標値情報群を出力する。
同様に、第２の局所特徴量算出部２０２は、部分領域検出部５０１および照合部１０５に第２の座標値情報群を出力する。
　部分領域検出部５０１は、第１の局所特徴量算出部２０１が出力した第１の座標値情報群および第１のスケール値情報群と、第２の局所特徴量算出部２０２が出力した第２の座標値情報群および第２のスケール値情報群と、対応点検出部１０３が出力した対応点情報群とを用いて、第１の画像中の対応点が含まれる領域を部分領域として検出する。部分領域検出部５０１は、部分領域を、所定の条件を満たす数を超えて検出する（例えば、予め定められた閾値を超える数の部分領域を検出する）。そして、部分領域検出部５０１は、部分領域毎に部分領域情報群を照合部１０５に出力する。
　部分領域検出部５０１は、例えば、対応点の座標値および対応点の相対スケールに基づいて部分領域を算出してもよい。
　具体的には、部分領域検出部５０１は、第１の画像中の対応点を、第１の画像中の対応点の座標値が同一または類似となっていて、かつ、対応点の相対スケールが同一または類似となっている対応点のグループに分ける。そして、部分領域検出部５０１は、グループ毎に、グループに属する対応点の対応点情報のインデックス番号ｋの集合を部分領域情報群としてよい。第１の画像中の対応点の座標値が類似であるか否かは、例えば、以下のように判定すればよい。部分領域検出部５０１は、第１の画像中の対応点同士が、同じ分析領域に属していたり、あるいは、同じクラスタに分類されていることを条件にして、対応点の座標同士が類似していると判定してもよい。対応点の座標が類似であるか否かの判定方法は、上記の方法に限定されない。
　第１の局所特徴量算出部２０１、第２の局所特徴量算出部２０２、対応点検出部１０３、部分領域検出部５０１および照合部１０５は、例えば、画像処理プログラムに従って動作するコンピュータのＣＰＵによって実現されてもよい。この場合、ＣＰＵが、プログラムの記録媒体から画像処理プログラムを読み込み、そのプログラムに従って、上記の各要素として動作すればよい。
　図１５は、第５の実施形態の処理経過の例を示すフローチャートである。図１５に示すステップＳ５００１～Ｓ５００３およびステップＳ５００５は、図５に示すステップＳ１００１～Ｓ１００３およびステップＳ１００５と同様であり、説明を省略する。
　図１５に示すステップＳ５００１～Ｓ５００３の実行後、部分領域検出部５０１は、対応点の座標値およびスケール値に基づいて、第１の画像中の対応点が含まれる部分領域を検出する（ステップＳ５００４）。その後、ステップＳ５００５に移行する。
　本発明の第５の実施形態の画像処理装置５０によれば、第２の実施形態と同様の効果が得られる。また、第５の実施形態では、対応点の座標値およびスケール値を用いて部分領域を検出するので、第２の実施形態よりも部分領域の検出精度を向上させることができる。従って、第２の実施形態よりも被写体の識別精度を向上させることができる。
実施形態６．
　図１６は、本発明の第６の実施形態の画像処理装置の例を示すブロック図である。第６の実施形態の画像処理装置６０は、特徴点の座標値および特徴点の方向情報を用いて、部分領域を検出する。
　第６の実施形態の画像処理装置６０は、第１の局所特徴量算出部３０１と、第２の局所特徴量算出部３０２と、対応点検出部１０３と、部分領域検出部６０１と、照合部１０５とを含む。部分領域検出部６０１の動作は、前述の実施形態と一部異なる。
　第１の局所特徴量算出部３０１および第２の局所特徴量算出部３０２は、第３の実施形態におけるそれらの要素と同様である。なお、本実施形態では、第１の局所特徴量算出部３０１は、部分領域検出部６０１および照合部１０５に第１の座標値情報群を出力する。
同様に、第２の局所特徴量算出部３０２は、部分領域検出部６０１および照合部１０５に第２の座標値情報群を出力する。
　部分領域検出部６０１は、第１の局所特徴量算出部３０１が出力した第１の座標値情報群および第１の方向情報群と、第２の局所特徴量算出部３０２が出力した第２の座標値情報群および第２の方向情報群と、対応点検出部１０３が出力した対応点情報群とを用いて、第１の画像中の対応点が含まれる領域を部分領域として検出する。部分領域検出部６０１は、部分領域を、所定の条件を満たす数を超えて検出する（例えば、予め定められた閾値を超える数の部分領域を検出する）。そして、部分領域検出部６０１は、部分領域毎に部分領域情報群を照合部１０５に出力する。
　部分領域検出部６０１は、例えば、対応点の座標値および対応点の相対方向に基づいて部分領域を算出してもよい。
　具体的には、部分領域検出部６０１は、第１の画像中の対応点を、第１の画像中の対応点の座標値が同一または類似となっていて、かつ、対応点の相対方向が同一または類似となっている対応点のグループに分ける。そして、部分領域検出部６０１は、グループ毎に、グループに属する対応点の対応点情報のインデックス番号ｋの集合を部分領域情報群としてよい。第１の画像中の対応点の座標値が類似であるか否かの判定方法の例については既に説明したので、ここでは説明を省略する。
　第１の局所特徴量算出部３０１、第２の局所特徴量算出部３０２、対応点検出部１０３、部分領域検出部６０１および照合部１０５は、例えば、画像処理プログラムに従って動作するコンピュータのＣＰＵによって実現されてもよい。この場合、ＣＰＵが、プログラムの記録媒体から画像処理プログラムを読み込み、そのプログラムに従って、上記の各要素として動作すればよい。
　図１７は、第６の実施形態の処理経過の例を示すフローチャートである。図１７に示すステップＳ６００１～Ｓ６００３およびステップＳ６００５は、図５に示すステップＳ１００１～Ｓ１００３およびステップＳ１００５と同様であり、説明を省略する。
　図１７に示すステップＳ６００１～Ｓ６００３の実行後、部分領域検出部６０１は、対応点の座標値および方向情報に基づいて、第１の画像中の対応点が含まれる部分領域を検出する（ステップＳ６００４）。その後、ステップＳ６００５に移行する。
　本発明の第６の実施形態の画像処理装置６０によれば、第３の実施形態と同様の効果が得られる。また、第６の実施形態では、対応点の座標値および方向情報を用いて部分領域を検出するので、第３の実施形態よりも部分領域の検出精度を向上させることができる。
従って、第３の実施形態よりも被写体の識別精度を向上させることができる。
実施形態７．
　図１８は、本発明の第７の実施形態の画像処理装置の例を示すブロック図である。第７の実施形態の画像処理装置７０は、特徴点の座標値、スケール値および方向情報を用いて、部分領域を検出する。
　第７の実施形態の画像処理装置７０は、第１の局所特徴量算出部４０１と、第２の局所特徴量算出部４０２と、対応点検出部１０３と、部分領域検出部７０１と、照合部１０５とを含む。部分領域検出部７０１の動作は、前述の実施形態と一部異なる。
　第１の局所特徴量算出部４０１および第２の局所特徴量算出部４０２は、第４の実施形態におけるそれらの要素と同様である。なお、本実施形態では、第１の局所特徴量算出部４０１は、部分領域検出部７０１および照合部１０５に第１の座標値情報群を出力する。
同様に、第２の局所特徴量算出部４０２は、部分領域検出部７０１および照合部１０５に第２の座標値情報群を出力する。
　部分領域検出部７０１は、第１の局所特徴量算出部４０１が出力した第１の座標値情報群、第１のスケール値情報群および第１の方向情報群と、第２の局所特徴量算出部４０２が出力した第２の座標値情報群、第２のスケール値情報群および第２の方向情報群と、対応点検出部１０３が出力した対応点情報群とを用いて、第１の画像中の対応点が含まれる領域を部分領域として検出する。部分領域検出部７０１は、部分領域を、所定の条件を満たす数を超えて検出する（例えば、予め定められた閾値を超える数の部分領域を検出する）。そして、部分領域検出部７０１は、部分領域毎に部分領域情報群を照合部１０５に出力する。
　部分領域検出部７０１は、例えば、対応点の座標値、相対スケールおよび相対方向に基づいて部分領域を算出してよい。
　具体的には、部分領域検出部７０１は、第１の画像中の対応点を、第１の画像中の対応点の座標値が同一または類似となっていて、かつ、対応点の相対スケールが同一または類似となっていて、かつ、対応点の相対方向が同一または類似となっている対応点のグループに分ける。そして、部分領域検出部７０１は、グループ毎に、グループに属する対応点の対応点情報のインデックス番号ｋの集合を部分領域情報群としてよい。第１の画像中の対応点の座標値が類似であるか否かの判定方法の例については既に説明したので、ここでは説明を省略する。
　また、部分領域検出部７０１は、例えば、第１の画像中の対応点の座標値を任意の座標系での座標値に変換してから部分領域を検出してもよい。任意の座標系として、例えば、第２の画像中の被写体の任意の座標値を原点とする座標系を用いてもよい。これ以降、説明の便宜上、第１の画像中の対応点の座標値を、第２の画像中の被写体の中心座標値（被写体中心点）を原点とする座標系での座標値に変換する場合を例にして説明する。
　部分領域検出部７０１は、例えば、以下に示す式（５）を用いて、第１の画像の対応点の座標値を任意の座標系での座標値に変換してもよい。
Figure JPOXMLDOC01-appb-M000001
　式（５）において、添え字として示しているｑは、第１の画像の特徴点のインデックス番号であり、ｐは、第２の画像の特徴点のインデックス番号である。以下、第１の画像のｑ番目の特徴点を特徴点ｑと記し、第２の画像のｐ番目の特徴点を特徴点ｐと記す。特徴点ｑと特徴点ｐとは対応付けられている。ｖｑは、特徴点ｑの座標値である。σｑｐは、特徴点ｑおよび特徴点ｐのペアに関する対応点の相対スケールである。ρｑｐは、特徴点ｑおよび特徴点ｐのペアに関する対応点の相対方向である。ｃｑｐは、第１の画像中の被写体中心の座標値である。ｕ’ｐは、第２の画像の特徴点ｐから第２の画像の被写体中心へのベクトルである。部分領域検出部７０１は、ベクトルｕ’ｐを、例えば、以下に示す式（６）の計算によって算出してもよい。
Figure JPOXMLDOC01-appb-M000002
　式（６）において、ｘｐは、第２の画像の特徴点ｐのｘ座標値であり、ｙｐは、特徴点ｐのｙ座標値である。ｘｃは、第２の画像の被写体中心のｘ座標値であり、ｙｃは、第２の画像の被写体中心のｙ座標値である。
　式（５）および式（６）を用いて、第１の画像中の対応点の座標値を変換すると、同一被写体の対応点を一箇所に集約することができる。そのため、部分領域の検出精度を向上させることができる。
　なお、前述の各実施形態においても、上記と同様に第１の画像の特徴点を変換してから部分領域を検出してもよい。
　第１の局所特徴量算出部４０１、第２の局所特徴量算出部４０２、対応点検出部１０３、部分領域検出部７０１および照合部１０５は、例えば、画像処理プログラムに従って動作するコンピュータのＣＰＵによって実現されてもよい。この場合、ＣＰＵが、プログラムの記録媒体から画像処理プログラムを読み込み、そのプログラムに従って、上記の各要素として動作すればよい。
　図１９は、第７の実施形態の処理経過の例を示すフローチャートである。図１９に示すステップＳ７００１～Ｓ７００３およびステップＳ７００５は、図５に示すステップＳ１００１～Ｓ１００３およびステップＳ１００５と同様であり、説明を省略する。
　図１９に示すステップＳ７００１～Ｓ７００３の実行後、部分領域検出部７０１は、対応点の座標値、スケール値、および方向情報に基づいて、第１の画像中の対応点が含まれる部分領域を検出する（ステップＳ７００４）。その後、ステップＳ７００５に移行する。
　本発明の第７の実施形態の画像処理装置７０によれば、第４の実施形態と同様の効果が得られる。また、第７の実施形態では、対応点の座標値、スケール値、および方向情報を用いて部分領域を検出するので、第４の実施形態よりも部分領域の検出精度を向上させることができる。その結果、第４の実施形態よりも、被写体の識別精度を向上させることができる。
実施形態８．
　図２０は、本発明の第８の実施形態の画像処理装置の例を示すブロック図である。第８の実施形態の画像処理装置８０は、特徴点の座標値およびスケール値を用いて、部分領域ごとに、画像間で同一または類似の被写体が含まれているかを判定する。
　第８の実施形態の画像処理装置８０は、第１の局所特徴量算出部２０１と、第２の局所特徴量算出部２０２と、対応点検出部１０３と、部分領域検出部１０４と、照合部８０１とを含む。照合部８０１の動作は、前述の実施形態と一部異なる。
　第１の局所特徴量算出部２０１および第２の局所特徴量算出部２０２は、第２の実施形態におけるそれらの要素と同様である。なお、本実施形態では、第１の局所特徴量算出部２０１は、部分領域検出部１０４および照合部８０１に第１の座標値情報群を、照合部８０１に第１のスケール値情報群を出力する。同様に、第２の局所特徴量算出部２０２は、部分領域検出部１０４および照合部８０１に第２の座標値情報群を、照合部８０１に第２のスケール値情報群を出力する。
　照合部８０１は、第１の局所特徴量算出部２０１が出力した第１の座標値情報群および第１のスケール値情報群と、第２の局所特徴量算出部２０２が出力した第２の座標値情報群および第２のスケール値情報群と、対応点検出部１０３が出力した対応点情報群と、部分領域検出部１０４が出力した部分領域情報群とを用いて、画像間で同一または類似の被写体が含まれているかを判定する。
　具体的には、照合部８０１は、例えば、部分領域毎に、部分領域に含まれる対応点のうち、相対スケールが類似している対応点の座標値のみを用いて、画像間の対応点の幾何学的検証を実施する。そして、照合部８０１は、幾何学的に整合の取れた対応点の数の総和に基づいて、画像間での被写体の同一性または類似性を判定する。
　照合部８０１は、対応点の相対スケールが類似であるか否かの判定を、例えば、部分領域検出部２０３と同様の方法を用いて行ってもよい。
　また、照合部８０１は、幾何学的検証を実行するときに、例えば、相対スケールが類似している画像間の対応点の幾何学的関係性を相似変換と仮定した上で、ロバスト推定手法を用いて幾何学的関係性を示す幾何変換モデルを推定してもよい。そして、照合部８０１は、第１の画像の対応点と第２の画像の対応点との組が、推定した幾何変換モデルに整合するか否かを判定してもよい。照合部８０１は、ロバスト推定手法として、例えば、照合部１０５と同様の方法を用いてもよい。
　また、照合部８０１は、幾何学的に整合の取れている対応点の組の数と、幾何学的に整合の取れなかった対応点の組の数の比率に基づいて、画像間での被写体の同一性または類似性を判定してもよい。
　第１の局所特徴量算出部２０１、第２の局所特徴量算出部２０２、対応点検出部１０３、部分領域検出部１０４および照合部８０１は、例えば、画像処理プログラムに従って動作するコンピュータのＣＰＵによって実現されてもよい。この場合、ＣＰＵが、プログラムの記録媒体から画像処理プログラムを読み込み、そのプログラムに従って、上記の各要素として動作すればよい。
　図２１は、第８の実施形態の処理経過の例を示すフローチャートである。図２１に示すステップＳ８００１～Ｓ８００４は、図５に示すステップＳ１００１～Ｓ１００４と同様であり、説明を省略する。
　図２１に示すステップＳ８００１～Ｓ８００４の実行後、照合部８０１は、対応点の座標値およびスケール値に基づいて、部分領域毎に、画像間の対応点の幾何学的検証を実行し、幾何学的整合性の取れた対応点の総和に基づいて、画像間で同一または類似の被写体を識別する（ステップ８００５）。
　本発明の第８の実施形態の画像処理装置８０によれば、第１の実施形態と同様の効果が得られる。また、第８の実施形態では、対応点の座標値およびスケール値に基づいて、相対スケールが類似した対応点の座標値のみを用いて、すなわち、第１の画像の特徴点と第２の画像の特徴点との対応付けが正しい特徴点のみを用いて、画像間で同一または類似の被写体を判定する。そのため、本実施形態の画像処理装置８０によれば、第１の実施形態よりも対応点の幾何学的整合性の判定精度を向上させることができる。その結果、第１の実施形態よりも、被写体の識別精度を向上させることができる。
実施形態９．
　図２２は、本発明の第９の実施形態の画像処理装置の例を示すブロック図である。第９の実施形態の画像処理装置９０は、特徴点の座標値および方向情報を用いて、部分領域ごとに、画像間で同一または類似の被写体が含まれているかを判定する。
　第９の実施形態の画像処理装置９０は、第１の局所特徴量算出部３０１と、第２の局所特徴量算出部３０２と、対応点検出部１０３と、部分領域検出部１０４と、照合部９０１とを含む。照合部９０１の動作は、前述の実施形態と一部異なる。
　第１の局所特徴量算出部３０１および第２の局所特徴量算出部３０２は、第３の実施形態におけるそれらの要素と同様である。なお、本実施形態では、第１の局所特徴量算出部３０１は、部分領域検出部１０４および照合部９０１に第１の座標値情報群を、照合部９０１に第１の方向情報群を出力する。同様に、第２の局所特徴量算出部３０２は、部分領域検出部１０４および照合部９０１に第２の座標値情報群を、照合部９０１に第２の方向情報群を出力する。
　照合部９０１は、第１の局所特徴量算出部３０１が出力した第１の座標値情報群および第１の方向情報群と、第２の局所特徴量算出部３０２が出力した第２の座標値情報群および第２の方向情報群と、対応点検出部１０３が出力した対応点情報群と、部分領域検出部１０４が出力した部分領域情報群とを用いて、画像間で同一または類似の被写体が含まれているかを判定する。
　具体的には、照合部９０１は、例えば、部分領域毎に、部分領域に含まれる対応点のうち、相対方向が類似している対応点の座標値のみを用いて、画像間の対応点の幾何学的検証を実行する。そして、照合部９０１は、幾何学的に整合の取れた対応点の数の総和に基づいて、画像間での被写体の同一性または類似性を判定する。
　照合部９０１は、対応点の相対方向が類似であるか否かの判定を、例えば、部分領域検出部３０３と同様の方法を用いて行ってもよい。
　また、照合部９０１は、幾何学的検証を実行するときに、例えば、相対方向が類似している画像間の対応点の幾何学的関係性を相似変換と仮定した上で、ロバスト推定手法を用いて幾何学的関係性を示す幾何変換モデルを推定してもよい。そして、照合部９０１は、第１の画像の対応点と第２の画像の対応点との組が、推定した幾何変換モデルに整合するか否かを判定してもよい。照合部９０１は、ロバスト推定手法として、例えば、照合部１０５と同様の方法を用いてもよい。
　また、照合部９０１は、幾何学的に整合の取れている対応点の組の数と、幾何学的に整合の取れなかった対応点の組の数の比率に基づいて、画像間での被写体の同一性または類似性を判定してもよい。
　第１の局所特徴量算出部３０１、第２の局所特徴量算出部３０２、対応点検出部１０３、部分領域検出部１０４および照合部９０１は、例えば、画像処理プログラムに従って動作するコンピュータのＣＰＵによって実現されてもよい。この場合、ＣＰＵが、プログラムの記録媒体から画像処理プログラムを読み込み、そのプログラムに従って、上記の各要素として動作すればよい。
　図２３は、第９の実施形態の処理経過の例を示すフローチャートである。図２３に示すステップＳ９００１～Ｓ９００４は、図５に示すステップＳ１００１～Ｓ１００４と同様であり、説明を省略する。
　図２３に示すステップＳ９００１～Ｓ９００４の実行後、照合部９０１は、対応点の座標値および方向情報に基づいて、部分領域毎に、画像間の対応点の幾何学的検証を実行し、幾何学的整合性の取れた対応点の総和に基づいて、画像間で同一または類似の被写体を識別する（ステップ９００５）。
　本発明の第９の実施形態の画像処理装置９０によれば、第１の実施形態と同様の効果が得られる。また、第９の実施形態では、対応点の座標値および方向情報に基づいて、相対方向が類似した対応点の座標値のみを用いて、すなわち、第１の画像の特徴点と第２の画像の特徴点との対応付けが正しい特徴点のみを用いて、画像間で同一または類似の被写体を判定する。そのため、本実施形態の画像処理装置９０によれば、第１の実施形態よりも対応点の幾何学的整合性の判定精度を向上させることができる。その結果、第１の実施形態よりも、被写体の識別精度を向上させることができる。
実施形態１０．
　図２５は、本発明の第１０の実施形態の画像処理装置の例を示すブロック図である。第１０の実施形態の画像処理装置１００は、特徴点の座標値、スケール値、および方向情報を用いて、部分領域ごとに、画像間で同一または類似の被写体が含まれているかを判定する。
　第１０の実施形態の画像処理装置１００は、第１の局所特徴量算出部４０１と、第２の局所特徴量算出部４０２と、対応点検出部１０３と、部分領域検出部１０４と、照合部１００１とを含む。照合部１００１の動作は、前述の実施形態と一部異なる。
　第１の局所特徴量算出部４０１および第２の局所特徴量算出部４０２は、第４の実施形態におけるそれらの要素と同様である。なお、本実施形態では、第１の局所特徴量算出部４０１は、部分領域検出部１０４および照合部１００１に第１の座標値情報群を、照合部１００１に第１のスケール値情報群および第１の方向情報群を出力する。同様に、第２の局所特徴量算出部４０２は、部分領域検出部１０４および照合部１００１に第２の座標値情報群を、照合部１００１に第２のスケール値情報群および第２の方向情報群を出力する。
　照合部１００１は、第１の局所特徴量算出部４０１が出力した第１の座標値情報群、スケール値情報群、および第１の方向情報群と、第２の局所特徴量算出部４０２が出力した第２の座標値情報群、スケール値情報群、および第２の方向情報群と、対応点検出部１０３が出力した対応点情報群と、部分領域検出部１０４が出力した部分領域情報群とを用いて、画像間で同一または類似の被写体が含まれているかを判定する。
　具体的には、照合部１００１は、例えば、部分領域毎に、部分領域に含まれる対応点のうち、相対スケールおよび相対方向が類似している対応点の座標値のみを用いて、画像間の対応点の幾何学的検証を実行する。そして、照合部１００１は、幾何学的に整合の取れた対応点の数の総和に基づいて、画像間での被写体の同一性または類似性を判定する。
　照合部１００１は、対応点の相対スケールおよび相対方向が類似であるか否かの判定を、例えば、部分領域検出部４０３と同様の方法を用いて行ってもよい。
　また、照合部１００１は、幾何学的検証を実行するときに、例えば、相対スケールおよび相対方向が類似している画像間の対応点の幾何学的関係性を相似変換と仮定した上で、ロバスト推定手法を用いて幾何学的関係性を示す幾何変換モデルを推定してもよい。そして、照合部１００１は、第１の画像の対応点と第２の画像の対応点との組が、推定した幾何変換モデルに整合するか否かを判定してもよい。照合部１００１は、ロバスト推定手法として、例えば、照合部１０５と同様の方法を用いてもよい。
　また、照合部１００１は、幾何学的に整合の取れている対応点の組の数と、幾何学的に整合の取れなかった対応点の組の数の比率に基づいて、画像間での被写体の同一性または類似性を判定してもよい。
　第１の局所特徴量算出部４０１、第２の局所特徴量算出部４０２、対応点検出部１０３、部分領域検出部１０４および照合部１００１は、例えば、画像処理プログラムに従って動作するコンピュータのＣＰＵによって実現されてもよい。この場合、ＣＰＵが、プログラムの記録媒体から画像処理プログラムを読み込み、そのプログラムに従って、上記の各要素として動作すればよい。
　図２５は、第１０の実施形態の処理経過の例を示すフローチャートである。図２５に示すステップＳ１０００１～Ｓ１０００４は、図５に示すステップＳ１００１～Ｓ１００４と同様であり、説明を省略する。
　図２５に示すステップＳ１０００１～Ｓ１０００４の実行後、照合部１００１は、対応点の座標値、スケール値、および方向情報に基づいて、部分領域毎に、画像間の対応点の幾何学的検証を実行する。そして、照合部１００１は、幾何学的整合性の取れた対応点の総和に基づいて、画像間で同一または類似の被写体を識別する（ステップ１０００５）。
　本発明の第１０の実施形態の画像処理装置１００によれば、第１の実施形態と同様の効果が得られる。また、第１０の実施形態では、対応点の座標値、スケール値、および方向情報に基づいて、相対スケールおよび相対方向が類似した対応点の座標値のみを用いて、すなわち、第１の画像の特徴点と第２の画像の特徴点との対応付けが正しい特徴点のみを用いて、画像間で同一または類似の被写体を判定する。そのため、本実施形態の画像処理装置１００によれば、第１の実施形態よりも対応点の幾何学的整合性の判定精度を向上させることができる。その結果、第１の実施形態よりも、被写体の識別精度を向上させることができる。
　以上の本発明の説明では、部分領域検出部が第１の画像から部分領域を検出する場合を示したが、各実施形態における部分領域検出部は、第２の画像から部分領域を検出してもよい。
　次に、本発明の画像処理装置の最小構成の例について説明する。図２６は、本発明の画像処理装置の最小構成の例を示す模式図である。本発明の画像処理装置８０は、特徴量算出手段８１と、対応関係特定手段８２と、部分領域検出手段８３と、照合手段８４とを備える。
　特徴量算出手段８１（例えば、第１の局所特徴量算出部１１，１０１，２０１，３０１，４０１）は、画像から特徴点を検出し、特徴点毎に、特徴点を含む当該特徴点の周辺領域に基づいて当該特徴点の局所特徴量を算出する。
　対応関係特定手段８２（例えば、対応点検出部１３，１０３）は、第１の画像の特徴点の局所特徴量と、第２の画像の特徴点の局所特徴量とに基づいて、第１の画像の特徴点と第２の画像の特徴点との対応関係を特定する。
　部分領域検出手段８３（例えば、部分領域検出部１４，１０４，２０３，３０３，４０３，５０１，６０１，７０１）は、第１の画像または第２の画像のいずれか一方の画像から、当該画像の特徴点を含む部分領域を検出する。
　照合手段８４（例えば、照合部１５，１０５）は、部分領域毎に、部分領域に含まれる特徴点と、当該特徴点に対応する特徴点とに基づいて、第１の画像内の被写体と第２の画像内の被写体とが同一または類似であるか否かを判定する。
　そのような構成により、画像内の被写体の形状が変形している場合であっても、被写体の識別精度の低下を抑制することができる。
　部分領域検出手段８３が、特徴点の座標値に基づいて部分領域を検出する構成であってもよい。
　部分領域検出手段８３が、第１の画像の各特徴点に付随する周辺領域の大きさの情報の集合である第１のスケール値情報群と、第２の画像の各特徴点に付随する周辺領域の大きさの情報の集合である第２のスケール値情報群とに基づいて、部分領域を検出する構成であってもよい。
　部分領域検出手段８３が、第１の画像の各特徴点に付随する方向情報の集合である第１の方向情報群と、第２の画像の各特徴点に付随する方向情報の集合である第２の方向情報群とに基づいて、部分領域を検出する構成であってもよい。
　部分領域検出手段８３が、部分領域の検出対象となる画像の特徴点の座標を、当該特徴点に付随する周辺領域の大きさの情報および方向情報、当該特徴点に対応する他方の画像の特徴点の座標、当該特徴点に対応する他方の画像の特徴点に付随する周辺領域の大きさの情報および方向情報を用いて変換する構成であってもよい。
　本発明は、異なる画像に写っている被写体が同一または類似であるか否かを判定する画像処理装置に好適に適用される。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１４年０５月０７日に出願された日本出願特願２０１４－０９５９５９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１１，１０１，２０１，３０１，４０１　第１の局所特徴量算出部
　１２，１０２，２０２，３０２，４０２　第２の局所特徴量算出部
　１３，１０３　対応点検出部
　１４，１０４，２０３，３０３，４０３，５０１，６０１，７０１　部分領域検出部
　１５，１０５，８０１，９０１，１００１　照合部
　２０００　コンピュータ（番号を振りなおす必要あり）
　２００１　ＣＰＵ
　２００２　ＲＯＭ
　２００３　ＲＡＭ
　２００４　プログラム
　２００５　記憶装置
　２００６　記録媒体
　２００７　ドライブ装置
　２００８　通信インターフェース
　２００９　ネットワーク
　２０１０　入出力インターフェース
　２０１１　バス

Claims (9)

  1. 　画像から特徴点を検出し、前記特徴点毎に、前記特徴点を含む前記特徴点の周辺領域に基づいて前記特徴点の局所特徴量を算出する局所特徴量算出手段と、
    　第１の画像の前記特徴点の前記局所特徴量と、第２の画像の前記特徴点の前記局所特徴量とに基づいて、前記第１の画像の前記特徴点と前記第２の画像の前記特徴点との対応関係を特定する対応関係特定手段と、
    　前記第１の画像または前記第２の画像のいずれか一方の画像から、当該画像の特徴点を含む部分領域を検出する部分領域検出手段と、
    　前記部分領域毎に、前記部分領域に含まれる前記特徴点と、当該特徴点に対応する前記特徴点とに基づいて、前記第１の画像内の被写体と前記第２の画像内の被写体とが同一または類似であるか否かを判定する照合手段とを備える
    　ことを特徴とする画像処理装置。
  2. 　前記部分領域検出手段は、前記特徴点の座標値に基づいて前記部分領域を検出する
    　請求項１に記載の画像処理装置
  3. 　前記部分領域検出手段は、前記第１の画像の各前記特徴点に付随する周辺領域の大きさの情報の集合である第１のスケール値情報群と、前記第２の画像の各前記特徴点に付随する周辺領域の大きさの情報の集合である第２のスケール値情報群とに基づいて、部分領域を検出する
    　請求項１または請求項２に記載の画像処理装置。
  4. 　前記部分領域検出手段は、前記第１の画像の各前記特徴点に付随する方向情報の集合である第１の方向情報群と、前記第２の画像の各前記特徴点に付随する方向情報の集合である第２の方向情報群とに基づいて、部分領域を検出する
    　請求項１から請求項３のうちのいずれか１項に記載の画像処理装置。
  5. 　前記部分領域検出手段は、前記部分領域の検出対象となる画像の前記特徴点の座標を、当該特徴点に付随する周辺領域の大きさの情報および方向情報、当該特徴点に対応する他方の画像の特徴点の座標、当該特徴点に対応する他方の画像の特徴点に付随する周辺領域の大きさの情報および方向情報を用いて変換する
    　請求項１から請求項４のうちのいずれか１項に記載の画像処理装置。
  6. 　前記照合手段は、前記第１の画像の各前記特徴点に付随する周辺領域の大きさの情報の集合である第１のスケール値情報群と、前記第２の画像の各前記特徴点に付随する周辺領域の大きさの情報の集合である第２のスケール値情報群と、前記特徴点の座標値情報とに基づいて、前記第１の画像内の被写体と前記第２の画像内の被写体とが同一または類似であるか否かを判定する
    　請求項１から請求項５のうちのいずれか１項に記載の画像処理装置。
  7. 　前記照合手段は、前記第１の画像の各前記特徴点に付随する方向情報の集合である第１の方向情報群と、前記第２の画像の各前記特徴点に付随する方向情報の集合である第２の方向情報群と、特徴点の座標値情報とに基づいて、前記第１の画像内の被写体と前記第２の画像内の被写体とが同一または類似であるか否かを判定する
    　請求項１から請求項６のうちのいずれか１項に記載の画像処理装置。
  8. 　画像から特徴点を検出し、特徴点毎に、前記特徴点を含む前記特徴点の周辺領域に基づいて当該特徴点の局所特徴量を算出し、
    　第１の画像の前記特徴点の局所特徴量と、第２の画像の前記特徴点の局所特徴量とに基づいて、前記第１の画像の前記特徴点と前記第２の画像の前記特徴点との対応関係を特定し、
    　前記第１の画像または前記第２の画像のいずれか一方の画像から、当該画像の前記特徴点を含む部分領域を検出し、
    　前記部分領域毎に、前記部分領域に含まれる前記特徴点と、当該特徴点に対応する前記特徴点とに基づいて、前記第１の画像内の被写体と前記第２の画像内の被写体とが同一または類似であるか否かを判定する
    　ことを特徴とする画像処理方法。
  9. 　コンピュータに、
    　画像から特徴点を検出し、特徴点毎に、前記特徴点を含む前記特徴点の周辺領域に基づいて当該特徴点の局所特徴量を算出する局所特徴量算出処理、
    　第１の画像の特徴点の局所特徴量と、第２の画像の特徴点の局所特徴量とに基づいて、前記第１の画像の前記特徴点と前記第２の画像の前記特徴点との対応関係を特定する対応関係特定処理、
    　前記第１の画像または前記第２の画像のいずれか一方の画像から、当該画像の特徴点を含む部分領域を検出する部分領域検出処理、および、
    　前記部分領域毎に、前記部分領域に含まれる前記特徴点と、当該特徴点に対応する前記特徴点とに基づいて、前記第１の画像内の被写体と前記第２の画像内の被写体とが同一または類似であるか否かを判定する照合処理
    　を実行させるための画像処理プログラムを記録したコンピュータ可読記録媒体。
PCT/JP2015/002240 2014-05-07 2015-04-24 画像処理装置、画像処理方法およびコンピュータ可読記録媒体 WO2015170461A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/306,166 US10147015B2 (en) 2014-05-07 2015-04-24 Image processing device, image processing method, and computer-readable recording medium
JP2016517811A JP6593327B2 (ja) 2014-05-07 2015-04-24 画像処理装置、画像処理方法およびコンピュータ可読記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014095959 2014-05-07
JP2014-095959 2014-05-07

Publications (1)

Publication Number Publication Date
WO2015170461A1 true WO2015170461A1 (ja) 2015-11-12

Family

ID=54392321

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/002240 WO2015170461A1 (ja) 2014-05-07 2015-04-24 画像処理装置、画像処理方法およびコンピュータ可読記録媒体

Country Status (3)

Country Link
US (1) US10147015B2 (ja)
JP (1) JP6593327B2 (ja)
WO (1) WO2015170461A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787939A (zh) * 2016-02-26 2016-07-20 南京理工大学 一种用于pcb板圆孔的快速定位检测方法
JP2017138713A (ja) * 2016-02-02 2017-08-10 日本電信電話株式会社 画面差異抽出装置、画面差異抽出方法、及びプログラム
JP2018195270A (ja) * 2017-05-22 2018-12-06 日本電信電話株式会社 局所特徴表現学習装置、及び方法
JP2019091294A (ja) * 2017-11-15 2019-06-13 日本電信電話株式会社 同一性判定装置、局所特徴抽出装置、方法、及びプログラム
WO2022220306A1 (ja) * 2021-04-16 2022-10-20 パナソニックＩｐマネジメント株式会社 映像表示システム、情報処理装置、情報処理方法、及び、プログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10147015B2 (en) * 2014-05-07 2018-12-04 Nec Corporation Image processing device, image processing method, and computer-readable recording medium
KR101647691B1 (ko) * 2016-02-12 2016-08-16 데이터킹주식회사 하이브리드 기반의 영상 클러스터링 방법 및 이를 운용하는 서버
JP6984256B2 (ja) * 2017-09-11 2021-12-17 ソニーグループ株式会社 信号処理装置、および信号処理方法、プログラム、並びに移動体
CN109073385A (zh) * 2017-12-20 2018-12-21 深圳市大疆创新科技有限公司 一种基于视觉的定位方法及飞行器
KR102507745B1 (ko) * 2018-03-02 2023-03-09 삼성전자주식회사 외부 장치와의 연결을 위한 방법 및 그 전자 장치
CN110941989A (zh) * 2019-10-18 2020-03-31 北京达佳互联信息技术有限公司 图像校验、视频校验方法、装置、设备及存储介质
AU2020289853B2 (en) * 2020-04-09 2022-02-03 Sensetime International Pte. Ltd. Matching method and apparatus, electronic device, computer-readable storage medium, and computer program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002298141A (ja) * 2001-03-29 2002-10-11 Nec Corp パターン照合装置とそのパターン照合方法、及びパターン照合プログラム
JP2013218605A (ja) * 2012-04-11 2013-10-24 Canon Inc 画像認識装置、画像認識方法及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US7228006B2 (en) * 2002-11-25 2007-06-05 Eastman Kodak Company Method and system for detecting a geometrically transformed copy of an image
US8260061B2 (en) * 2007-09-21 2012-09-04 Sharp Kabushiki Kaisha Image data output processing apparatus and image data output processing method
JP4518139B2 (ja) * 2007-11-30 2010-08-04 トヨタ自動車株式会社 画像処理装置
JP5267110B2 (ja) 2008-12-24 2013-08-21 富士通株式会社 検出装置、検出方法および検出プログラム
JP5709410B2 (ja) * 2009-06-16 2015-04-30 キヤノン株式会社 パターン処理装置及びその方法、プログラム
US8583647B2 (en) * 2010-01-29 2013-11-12 Panasonic Corporation Data processing device for automatically classifying a plurality of images into predetermined categories
WO2014002554A1 (ja) 2012-06-29 2014-01-03 日本電気株式会社 画像処理装置、画像処理方法、及びプログラム
CN104239882B (zh) * 2013-06-14 2017-05-03 富士通株式会社 图像相似度确定装置和方法以及图像特征获取装置和方法
WO2015068417A1 (ja) * 2013-11-11 2015-05-14 日本電気株式会社 画像照合システム、画像照合方法およびプログラム
JP6459981B2 (ja) * 2013-12-26 2019-01-30 日本電気株式会社 画像処理装置、被写体識別方法及びプログラム
JP6524997B2 (ja) * 2014-03-27 2019-06-05 ノーリツプレシジョン株式会社 画像処理装置
US10147015B2 (en) * 2014-05-07 2018-12-04 Nec Corporation Image processing device, image processing method, and computer-readable recording medium
JP6470503B2 (ja) * 2014-05-20 2019-02-13 キヤノン株式会社 画像照合装置、画像検索システム、画像照合方法、画像検索方法およびプログラム
JP6507046B2 (ja) * 2015-06-26 2019-04-24 株式会社東芝 立体物検知装置及び立体物認証装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002298141A (ja) * 2001-03-29 2002-10-11 Nec Corp パターン照合装置とそのパターン照合方法、及びパターン照合プログラム
JP2013218605A (ja) * 2012-04-11 2013-10-24 Canon Inc 画像認識装置、画像認識方法及びプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017138713A (ja) * 2016-02-02 2017-08-10 日本電信電話株式会社 画面差異抽出装置、画面差異抽出方法、及びプログラム
CN105787939A (zh) * 2016-02-26 2016-07-20 南京理工大学 一种用于pcb板圆孔的快速定位检测方法
JP2018195270A (ja) * 2017-05-22 2018-12-06 日本電信電話株式会社 局所特徴表現学習装置、及び方法
JP2019091294A (ja) * 2017-11-15 2019-06-13 日本電信電話株式会社 同一性判定装置、局所特徴抽出装置、方法、及びプログラム
WO2022220306A1 (ja) * 2021-04-16 2022-10-20 パナソニックＩｐマネジメント株式会社 映像表示システム、情報処理装置、情報処理方法、及び、プログラム
WO2022220307A1 (ja) * 2021-04-16 2022-10-20 パナソニックＩｐマネジメント株式会社 映像表示システム、観測装置、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
JP6593327B2 (ja) 2019-10-23
US20170061231A1 (en) 2017-03-02
US10147015B2 (en) 2018-12-04
JPWO2015170461A1 (ja) 2017-04-20

Similar Documents

Publication Publication Date Title
JP6593327B2 (ja) 画像処理装置、画像処理方法およびコンピュータ可読記録媒体
AU2017209231B2 (en) Method, system, device and readable storage medium for realizing insurance claim fraud prevention based on consistency between multiple images
JP6354589B2 (ja) 物体識別装置、方法及びプログラム
Darom et al. Scale-invariant features for 3-D mesh models
US8533162B2 (en) Method for detecting object
US9092697B2 (en) Image recognition system and method for identifying similarities in different images
US9020248B2 (en) Window dependent feature regions and strict spatial layout for object detection
US20120301014A1 (en) Learning to rank local interest points
US20190370982A1 (en) Movement learning device, skill discriminating device, and skill discriminating system
AU2011207120B8 (en) Identifying matching images
TWI567660B (zh) 多類別物件分類方法及系統
JP5936561B2 (ja) 画像における外観及びコンテキストに基づく物体分類
WO2016170965A1 (ja) オブジェクト検出方法及び画像検索システム
US20180165540A1 (en) Image object retrieval
US20170270683A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable storage medium
US9489593B2 (en) Information processing apparatus and training method
US9342753B2 (en) Image processing apparatus, image processing method, and computer program product
Skibbe et al. SHOG-spherical HOG descriptors for rotation invariant 3D object detection
CN111783770A (zh) 图像的矫正方法、装置和计算机可读存储介质
CN105190689A (zh) 包括基于毗连特征的对象检测和/或双边对称对象分段的图像处理
Wu et al. Fast and accurate circle detection using gradient-direction-based segmentation
JP6126979B2 (ja) 特徴選択装置、方法、及びプログラム
JP6218237B2 (ja) 撮影画像を平行化する画像変換プログラム、装置及び方法
US10546179B2 (en) Distorted fingerprint matching using pose and minutia grouping
CN117173545B (zh) 一种基于计算机图形学的证照原件识别方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15788740

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016517811

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15306166

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15788740

Country of ref document: EP

Kind code of ref document: A1