WO2013073621A1 - 局所特徴量抽出装置、局所特徴量抽出方法、及びプログラム - Google Patents

局所特徴量抽出装置、局所特徴量抽出方法、及びプログラム Download PDF

Info

Publication number
WO2013073621A1
WO2013073621A1 PCT/JP2012/079671 JP2012079671W WO2013073621A1 WO 2013073621 A1 WO2013073621 A1 WO 2013073621A1 JP 2012079671 W JP2012079671 W JP 2012079671W WO 2013073621 A1 WO2013073621 A1 WO 2013073621A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
local
region
sub
dimension
Prior art date
Application number
PCT/JP2012/079671
Other languages
English (en)
French (fr)
Inventor
岩元　浩太
亮太 間瀬
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US14/359,049 priority Critical patent/US9613287B2/en
Priority to JP2013544318A priority patent/JP6044547B2/ja
Priority to CN201280056878.6A priority patent/CN104115189B/zh
Priority to EP12848829.3A priority patent/EP2782066B1/en
Priority to KR1020147016516A priority patent/KR101611778B1/ko
Publication of WO2013073621A1 publication Critical patent/WO2013073621A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods

Definitions

  • the present invention relates to a local feature quantity extraction device, a local feature quantity extraction method, and a program.
  • Patent Literature 1 and Non-Patent Literature 1 disclose local feature quantity extraction devices using SIFT (Scale Invariant Feature Transform) feature quantities.
  • FIG. 31 is a diagram illustrating an example of a general configuration of a local feature quantity extraction device using a SIFT feature quantity.
  • FIG. 32 is a diagram showing an image of SIFT feature amount extraction in the local feature amount extraction apparatus shown in FIG.
  • the local feature quantity extraction apparatus includes a feature point detection unit 200, a local region acquisition unit 210, a sub-region division unit 220, and a sub-region feature vector generation unit 230.
  • the feature point detection unit 200 detects a large number of characteristic points (feature points) from the image, and outputs the coordinate position, scale (size), and angle of each feature point.
  • the local region acquisition unit 210 acquires a local region where feature amount extraction is performed from the detected coordinate value, scale, and angle of each feature point.
  • the sub area dividing unit 220 divides the local area into sub areas. In the example shown in FIG. 32, the sub-region dividing unit 220 divides the local region into 16 blocks (4 ⁇ 4 blocks).
  • the sub-region feature vector generation unit 230 generates a gradient direction histogram for each sub-region of the local region. Specifically, the sub-region feature vector generation unit 230 calculates a gradient direction for each pixel in each sub-region and quantizes it in eight directions. In addition, the gradient direction calculated
  • the above-mentioned local feature amount has a problem that its size becomes large. For example, in the case of the SIFT feature value, if the histogram value of each dimension is represented by 1 byte, a size of 128 dimensions ⁇ 1 byte is required. If the size of the local feature amount becomes large in this manner, a problem may occur when the local feature amount is used for image matching (matching). For example, when a user terminal (such as a mobile terminal with a camera) extracts a local feature amount from an image and transmits the local feature amount to a server to search for an image similar to the image, the size of the local feature amount If the value is large, the communication time becomes long. Therefore, it takes a long time to obtain an image search result.
  • a user terminal such as a mobile terminal with a camera
  • the processing time for collating the local feature amount of the image becomes long.
  • the local feature amount of the image is stored in the memory.
  • the size of the local feature amount is large, the number of images that can store the local feature amount in the memory is large. It will decrease. Therefore, it is not suitable for a large-scale search for a large amount of images.
  • an object of the present invention is to reduce the size of the feature amount while maintaining the accuracy of subject identification.
  • a local feature amount extraction device includes a feature point detection unit that detects a feature point in an image, a local region acquisition unit that acquires a local region for each feature point, and a plurality of subregions each of which is a sub-region. Proximity based on the sub-region division unit that divides the region, the sub-region feature vector generation unit that generates a multidimensional feature vector for each sub-region in each local region, and the positional relationship of the sub-regions in each local region A dimension selecting unit that selects a dimension from the feature vector for each sub-region so that the correlation between the feature vectors of the sub-region to be performed is low, and outputs an element of the selected dimension as a feature amount of the local region.
  • the computer detects feature points in the image, acquires a local region for each feature point, divides each local region into a plurality of sub-regions, Multi-dimensional feature vectors are generated for each sub-region in each local region, and each sub-region so that the correlation between feature vectors of adjacent sub-regions is low based on the positional relationship of the sub-regions in each local region Then, a dimension is selected from the feature vector, and an element of the selected dimension is output as a feature quantity of the local region.
  • a program provides a computer with a function of detecting feature points in an image, a function of acquiring a local region for each feature point, and a function of dividing each local region into a plurality of sub-regions. Based on the function of generating multidimensional feature vectors for each sub-region in each local region and the positional relationship of sub-regions in each local region, the correlation between feature vectors in adjacent sub-regions is reduced. And a function of selecting a dimension from the feature vector for each sub-region and outputting an element of the selected dimension as a feature amount of the local region.
  • the “unit” does not simply mean a physical means, but includes a case where the function of the “unit” is realized by software. Also, even if the functions of one “unit” or device are realized by two or more physical means or devices, the functions of two or more “units” or devices are realized by one physical means or device. May be.
  • FIG. 1 shows the structure of the local feature-value extraction apparatus which is the 1st Embodiment of this invention. It is a figure which shows an example in the case of selecting a dimension from a 128-dimensional feature vector. It is a figure which shows another example of dimension selection. It is a figure which shows an example of the priority at the time of selecting a dimension. It is a figure which shows an example of the number of the element of a 150-dimensional feature vector. It is a figure which shows another example of the number of the element of a 150-dimensional feature vector. It is a figure which shows the structural example of the local feature-value output according to a priority. It is a figure which shows an example of the priority at the time of selecting a dimension.
  • FIG. 1 is a diagram showing a configuration of a local feature quantity extraction apparatus according to the first embodiment of the present invention.
  • the local feature quantity extraction device 1A includes a feature point detection unit 10, a local region acquisition unit 12, a sub-region division unit 14, a sub-region feature vector generation unit 16, and a dimension selection unit 18.
  • the local feature quantity extraction device 1A can be configured using an information processing device such as a personal computer or a portable information terminal, for example.
  • each part which comprises 1 A of local feature-value extraction apparatuses is realizable by using storage areas, such as memory, for example, or a processor running the program stored in the storage area. In addition, it is realizable similarly about the component in other embodiment mentioned later.
  • the feature point detection unit 10 detects many characteristic points (feature points) from the image, and outputs the coordinate position, scale (size), and angle of each feature point.
  • the local region acquisition unit 12 acquires a local region where feature amount extraction is performed from the coordinate value, scale, and angle of each detected feature point.
  • the sub area dividing unit 14 divides the local area into sub areas. For example, as shown in FIG. 32, the sub-region dividing unit 14 can divide the local region into 16 blocks (4 ⁇ 4 blocks). For example, the sub-region dividing unit 14 can also divide the local region into 25 blocks (5 ⁇ 5 blocks).
  • the sub-region feature vector generation unit 16 generates a feature vector for each sub-region of the local region.
  • a gradient direction histogram can be used as the feature vector of the sub-region.
  • the sub-region feature vector generation unit 16 calculates a gradient direction for each pixel in each sub-region and quantizes it in eight directions.
  • the gradient direction obtained here is a relative direction with respect to the angle of each feature point output by the feature point detection unit 10. That is, the direction is normalized with respect to the angle output by the feature point detection unit 10.
  • the sub-region feature vector generation unit 16 aggregates the frequencies in the eight directions quantized for each sub-region, and generates a gradient direction histogram.
  • the gradient direction is not limited to being quantized to 8 directions, but may be quantized to an arbitrary quantization number such as 4 directions, 6 directions, and 10 directions.
  • floor () is a function for rounding off the decimal point
  • round () is a function for rounding off
  • mod is an operation for obtaining a remainder.
  • the simple frequency may not be aggregated, but the gradient magnitude may be added and aggregated.
  • the weight value may be added not only to the sub-region to which the pixel belongs but also to a sub-region (such as an adjacent block) that is close according to the distance between the sub-regions. .
  • the weight value may be added to the gradient directions before and after the quantized gradient direction.
  • the feature vector of the sub-region is not limited to the gradient direction histogram, and may be any one having a plurality of dimensions (elements) such as color information.
  • a gradient direction histogram is used as the feature vector of the sub-region.
  • the dimension selection unit 18 selects (decimates) a dimension (element) to be output as a local feature amount based on the positional relationship between the sub-regions so that the correlation between the feature vectors of adjacent sub-regions becomes low. More specifically, the dimension selection unit 18 selects a dimension such that at least one gradient direction differs between adjacent sub-regions, for example.
  • adjacent sub-regions are mainly used as adjacent sub-regions, but the adjacent sub-regions are not limited to adjacent sub-regions, for example, within a predetermined distance from the target sub-region.
  • a sub-region may be a nearby sub-region.
  • the dimension selection unit 18 can determine not only the dimension but also the selection priority. That is, for example, the dimension selection unit 18 can select dimensions with priorities so that dimensions in the same gradient direction are not selected between adjacent sub-regions. And the dimension selection part 18 outputs the feature vector comprised from the selected dimension as a local feature-value. In addition, the dimension selection part 18 can output a local feature-value in the state which rearranged the dimension based on the priority.
  • FIG. 2 is a diagram showing an example of selecting a dimension from a feature vector of a 128-dimensional gradient direction histogram generated by dividing a local region into 4 ⁇ 4 block sub-regions and quantizing gradient directions into eight directions. It is.
  • the dimension selection unit 18 selects 64 dimensions, which is a half-dimensional number from 128 dimensions, the dimension in the same gradient direction is selected in adjacent left and right, upper and lower blocks (sub-regions). The dimension can be selected so that it is not.
  • i 0, 2, 4, 6
  • An example is shown.
  • the gradient directions (dimensions) selected in adjacent blocks are combined, there are eight directions. In other words, the feature amounts are complemented between adjacent blocks.
  • the dimension selecting unit 18 can select dimensions so that dimensions in the same gradient direction are not selected even between blocks located at an angle of 45 °. it can.
  • the gradient directions (dimensions) selected in the adjacent 2 ⁇ 2 blocks are combined, there are 8 directions in total. That is, even in this case, the feature amount is complemented between adjacent blocks.
  • the gradient directions are selected uniformly so that the gradient directions do not overlap between adjacent blocks.
  • the dimension selection method shown in FIG. 2 is an example, and the present invention is not limited to this selection method.
  • FIG. 3 is a diagram showing another example of dimension selection.
  • the dimension selecting section 18 selects dimensions so that the same gradient direction dimension is not selected in adjacent left and right, upper and lower blocks. can do.
  • the gradient direction selected by the adjacent block is match
  • the dimension selection unit 18 selects the dimension so that only one direction is the same (the remaining one direction is different) between blocks located at an angle of 45 °. can do. Further, when selecting the 25th dimension from the 50th dimension, the dimension selection unit 18 can select the dimension so that the selected gradient directions do not match between the blocks positioned at an angle of 45 °.
  • the dimension selection unit 18 selects one gradient direction from each sub-region from the first dimension to the 25th dimension, selects two gradient directions from the 26th dimension to the 50th dimension, and starts from the 51st dimension. Three gradient directions are selected up to 75 dimensions.
  • the dimension selection unit 18 selects between 1 to 25 dimensions, 26 to 50 dimensions, and 51 to 75 dimensions, for example, by adding dimensions in the order of blocks as shown in FIG. Also good.
  • the dimension selection unit 18 can select the gradient direction by increasing the priority order of the block close to the center.
  • FIG. 5 is a diagram illustrating an example of element numbers of 150-dimensional feature vectors.
  • the gradient direction shown in FIG. 5 and the corresponding number k are schematically shown, and do not necessarily match the gradient direction on the actual image.
  • element number 0 is illustrated as an upward gradient in FIG. 5, it is often associated with a gradient in the 0 degree direction in the image coordinate system on an actual image.
  • FIG. 6 shows the association of gradient directions different from FIG. Compared to FIG. 5, FIG. 6 may be closer to the association in the image coordinate system on the actual image, but there is no essential difference.
  • FIG. 7 is a diagram showing a configuration example of local feature amounts obtained by selecting the elements shown in FIG. 5 or 6 in accordance with the priority order shown in FIG.
  • the dimension selection unit 18 can output dimensions (elements) in the order shown in FIG. Specifically, when outputting a 150-dimensional local feature amount, for example, the dimension selection unit 18 can output all 150-dimensional elements in the order shown in FIG. When the dimension selection unit 18 outputs, for example, a 25-dimensional local feature, the elements in the first row (76th, 45th, 83rd,..., 120th) shown in FIG. It can be output in the order shown (left to right). For example, when outputting a 50-dimensional local feature amount, the dimension selection unit 18 adds the elements in the second row shown in FIG. 7 in the order shown in FIG. 7 (from left to right) in addition to the first row shown in FIG. ) Can be output.
  • the dimension selection unit 18 adds the elements in the second row shown in FIG. 7 in the order shown in FIG. 7 (from left to right
  • the local feature amount has a hierarchical structure. That is, for example, in the 25-dimensional local feature amount and the 150-dimensional local feature amount, the arrangement of elements in the first 25-dimensional local feature amount is the same.
  • the dimension selection unit 18 selects a dimension hierarchically (progressively), thereby depending on the application, communication capacity, terminal specification, etc. Feature quantities can be extracted and output.
  • the dimension selection unit 18 can select the dimensions hierarchically, rearrange the dimensions based on the priority order, and output them, thereby performing image matching using local feature quantities of different dimensions. . For example, when images are collated using a 75-dimensional local feature value and a 50-dimensional local feature value, the distance between the local feature values can be calculated by using only the first 50 dimensions.
  • the priorities shown in FIGS. 4 to 7 are merely examples, and the order of selecting dimensions is not limited to this.
  • the order as shown in FIG. 8A or FIG. 8B may be used.
  • the priority order may be determined so that dimensions are selected from all the sub-regions.
  • the vicinity of the center of the local region may be important, and the priority order may be determined so that the selection frequency of the sub-region near the center is increased.
  • the information indicating the dimension selection order may be defined in the program, for example, or may be stored in a table or the like (selection order storage unit) referred to when the program is executed.
  • the dimension selection unit 18 may perform selection as shown in FIGS. 9A and 9B. In this case, 6 dimensions are selected in a certain sub-area, and 0 dimensions are selected in other sub-areas close to the sub-area. Even in such a case, it can be said that the dimension is selected for each sub-region so that the correlation between adjacent sub-regions becomes low.
  • the shape of the local region and the sub-region is not limited to the square as shown in FIG. 2 and FIG. 3, and can be an arbitrary shape.
  • the local region acquisition unit 12 may acquire a circular local region.
  • the sub-region dividing unit 14 can divide the circular local region into, for example, 9 or 17 sub-regions.
  • the dimension selection unit 18 can select a dimension in each sub-region, for example, as shown in FIG. In the example shown in FIG. 11, when selecting 40 dimensions from 72 dimensions, dimension thinning is not performed in the central sub-region.
  • FIG. 12 is a flowchart showing an example of processing in the local feature quantity extraction device 1A.
  • the feature point detection unit 10 detects feature points in the image, and outputs the coordinate position, scale (size), and angle of each feature point (S1101).
  • the local region acquisition unit 12 acquires a local region where feature amount extraction is performed based on the detected coordinate value, scale, and angle of each feature point (S1102).
  • the sub area dividing unit 14 divides the local area into sub areas (S1103).
  • the sub-region feature vector generation unit 16 generates a gradient direction histogram for each sub-region of the local region (S1104).
  • the dimension selection unit 18 selects a dimension (element) to be output as a local feature amount in accordance with the determined selection order (S1105).
  • the dimension selection unit 18 uses the local feature as a local feature so that the correlation between the adjacent sub-regions becomes low based on the positional relationship between the sub-regions. Select the dimension (element) to output. That is, since the adjacent sub-regions often have a high correlation, the dimension selection unit 18 can select the dimensions so that the dimension (element) of the same feature vector is not selected from the adjacent sub-regions. This makes it possible to reduce the size of the feature amount while maintaining the accuracy of subject identification.
  • the dimension selection unit 18 can output local feature values hierarchically (progressively). Thereby, even if it is between the local feature-values from which the selected dimension number (size of feature-value) differs, collation (distance calculation) can be performed mutually.
  • the dimension selection unit 18 selects a dimension based on the positional relationship of the sub-regions, it is not necessary to perform learning when selecting a dimension. That is, general-purpose local feature extraction can be performed without depending on data (image).
  • the processing order of the sub-region feature vector generation unit 16 and the dimension selection unit 18 may be switched. That is, in the local feature quantity extraction device 1A, after the dimension is selected by the dimension selection unit 18, the sub-region feature vector generation unit 16 may generate a feature vector for the selected dimension.
  • FIG. 13 is a diagram illustrating a configuration of a local feature quantity extraction device according to the second embodiment of the present invention.
  • the local feature quantity extraction device 1B includes a feature point detection unit 10, a local region acquisition unit 12, a sub-region division unit 14, a sub-region feature vector generation unit 16, a dimension number determination unit 20, and a dimension selection.
  • the unit 18 is configured to be included.
  • the local feature quantity extraction device 1B has a configuration in which the dimension number determination unit 20 is added to the local feature quantity extraction device 1A of the first embodiment.
  • symbol is attached
  • the dimension number determination unit 20 can determine the number of dimensions selected by the dimension selection unit 18. For example, the dimension number determination unit 20 can determine the dimension number by receiving information indicating the dimension number from the user. Note that the information indicating the number of dimensions does not need to indicate the number of dimensions itself, and may be information indicating the search accuracy, the search speed, and the like, for example. Specifically, the dimension number determination unit 20 may determine the number of dimensions so that the number of dimensions increases, for example, when an input requesting to increase the search accuracy is received. In addition, for example, when receiving an input requesting to increase the search speed, the dimension number determination unit 20 may determine the dimension number so that the number of dimensions decreases.
  • the dimension number determination unit 20 may determine the number of dimensions based on the application, communication capacity, processing specifications of the terminal, and the like in which the local feature quantity extraction device 1B is used. Specifically, for example, the dimension number determination unit 20 reduces the number of dimensions when the communication capacity is small (communication speed is low) compared to when the communication capacity is large (communication speed is high). The number of dimensions may be determined. In addition, for example, when the processing specification of the terminal is low, the number of dimensions determination unit 20 may determine the number of dimensions so that the number of dimensions is smaller than when the processing specification is high. Moreover, the dimension number determination part 20 is good also as determining a dimension number dynamically according to the processing load of a terminal, for example.
  • the dimension number determination unit 20 performs a back calculation from the number of feature points extracted in the entire image, and is selected at each feature point. The number may be determined.
  • the dimension number determination unit 20 may determine the same dimension number for all feature points detected from the image, or may determine a different dimension number for each feature point. For example, when the importance of feature points is given by external information, the dimension number determination unit 20 increases the number of dimensions for feature points with high importance and decreases the number of dimensions for feature points with low importance. Also good.
  • the dimension number determination unit 20 may determine the importance according to the region in the image. Specifically, the dimension number determination unit 20 regards, for example, that the feature point at the center of the image is more important than the feature points at the periphery of the image, and increases the number of dimensions with respect to the feature point at the center of the image. The number of dimensions may be determined.
  • the dimension number determination unit 20 may determine the importance of the feature point based on the feature vector. Specifically, the dimension number determination unit 20 is not very useful as a local feature amount for identification when it can be determined that the pattern frequently appears by referring to the value of the feature vector, for example. It may be determined that the degree of importance is low. Conversely, in such a case, the dimension number determination unit 20 may increase the number of dimensions in order to increase the identification capability.
  • the dimension number determination unit 20 may determine the importance of the feature point based on the relationship with the value of the feature vector of another feature point in the image. Specifically, the dimension number determination unit 20 determines, for example, whether the feature vector is a pattern that frequently appears by comparing the value of the feature vector with the value of the feature vector of another feature point. The importance may be determined based on the determination result.
  • the dimension number determination unit 20 may determine the importance of each feature point based on information when the feature point detection unit 10 detects the feature point. Specifically, the dimension number determination unit 20 may determine the importance of the feature point based on, for example, information on the scale of the feature point. For example, the dimension number determination unit 20 may determine that a feature point having a large scale value has high importance.
  • the dimension selection unit 18 selects the dimension of the feature vector in the same manner as the dimension selection unit 18 of the first embodiment, and outputs it as a local feature amount. it can.
  • the selected number of dimensions may be the same for all feature points detected from the image, or may be different for each feature point.
  • the dimension number determination unit 20 can determine the number of dimensions selected by the dimension selection unit 18. This makes it possible to determine an appropriate number of dimensions based on user input, communication capacity, terminal processing specifications, and the like.
  • FIG. 14 is a diagram illustrating a configuration of a local feature quantity extraction device according to the third embodiment of the present invention.
  • the local feature quantity extraction device 1 ⁇ / b> C includes a feature point detection unit 10, a local region acquisition unit 12, a sub region division unit 14, a sub region feature vector generation unit 16, a dimension selection unit 18, and a quantization unit. 22 is comprised.
  • the local feature amount extraction apparatus 1C has a configuration in which the quantization unit 22 is added to the local feature amount extraction apparatus 1A of the first embodiment.
  • symbol is attached
  • the quantization unit 22 can quantize each dimension of the gradient direction histogram output from the sub-region feature vector generation unit 16 into N values. Note that the quantization method in the quantization unit 22 is arbitrary. The quantization unit 22 can quantize each dimension individually, instead of quantizing a plurality of dimensions together by vector quantization or the like. Thereby, the dimension selection part 18 can perform dimension selection similarly to the case of 1st Embodiment, even after quantization is performed.
  • the quantization unit 22 can quantize each dimension of the gradient direction histogram into binary values as shown in FIG.
  • the quantization unit 22 can calculate the threshold th by, for example, the following equation (4).
  • ⁇ is a predetermined coefficient. Note that ⁇ may be the same value for all sub-regions, or may be a different value for each sub-region.
  • the threshold value according to Expression (4) is an example, and the quantization unit 22 may calculate the threshold value th based on another expression.
  • the quantization unit 22 may determine the threshold th for each sub-region, or may determine the entire local region. For example, the quantization unit 22 calculates the threshold th according to Equation (4) using the value of the gradient direction histogram of the entire local region, not for each subregion, thereby determining the threshold th for the entire local region. Can do.
  • the size of the local feature quantity can be further reduced by quantizing the feature vector by the quantization unit 22.
  • FIG. 16 is a diagram illustrating a configuration of a local feature quantity extraction device according to the fourth embodiment of the present invention.
  • the local feature quantity extraction device 1D includes a feature point detection unit 10, a local region acquisition unit 12, a sub-region division unit 14, a sub-region feature vector generation unit 16, a dimension selection unit 18, and a quantization unit. 24 is comprised.
  • the local feature quantity extraction device 1D has a configuration in which the quantization unit 24 is added to the local feature quantity extraction device 1A of the first embodiment.
  • symbol is attached
  • the quantization unit 24 can individually quantize each dimension of the feature vector in the same manner as the quantization unit 22 in the third embodiment. Further, the quantization unit 24 can also quantize a plurality of dimensions of the feature vector collectively by using, for example, a vector quantization method.
  • the size of the local feature quantity can be further reduced by quantizing the feature vector by the quantization unit 24. Further, when the quantization unit 24 collectively quantizes a plurality of dimensions of the feature vector, the number of dimensions to be quantized is reduced as compared with the third embodiment, and the amount of processing necessary for quantization is reduced. Can be reduced.
  • FIG. 17 is a diagram showing a configuration of a local feature quantity extraction device according to the fifth embodiment of the present invention.
  • the local feature quantity extraction device 1E includes a feature point detection unit 10, a local region acquisition unit 12, a sub-region division unit 14, a sub-region feature vector generation unit 16, a dimension selection unit 18, and a feature vector extension.
  • the unit 26 is configured.
  • the local feature quantity extraction device 1E has a configuration in which the feature vector expansion unit 26 is added to the local feature quantity extraction device 1A of the first embodiment.
  • symbol is attached
  • the feature vector expansion unit 26 is not limited to the first embodiment, and can be applied to the feature amount extraction apparatus of other embodiments.
  • the feature vector extending unit 26 can extend the feature vector by generating a dimension in a larger scale (extended divided region) using the feature vector output from the sub-region feature vector generating unit 16. Note that the feature vector extending unit 26 can extend the feature vector using only the feature vector information output from the sub-region feature vector generating unit 16. Therefore, it is not necessary to return to the original image and perform special extraction to extend the feature vector. Compared with the processing time for generating the feature vector from the original image, the processing for extending the feature vector The time is negligible.
  • the feature vector extending unit 26 calculates the gradient direction histogram ((N-2) ⁇ (N ⁇ ) of (N ⁇ 2) ⁇ (N ⁇ 2) blocks by taking the sum of gradient direction histograms of 3 ⁇ 3 blocks. 2) ⁇ D dimension) may be generated. As described above, the feature vector extending unit 26 can generate the gradient direction histogram of the hierarchical scale by sequentially expanding the block size.
  • FIG. 18 is a diagram showing an example of extending a feature vector by taking the sum of gradient direction histograms of 2 ⁇ 2 blocks (taking the sum of elements of the same gradient).
  • the feature vector extending unit 26 expands a gradient direction histogram of 5 ⁇ 5 ⁇ 6 dimensions (150 dimensions), for example, thereby increasing a gradient direction histogram of 4 ⁇ 4 ⁇ 6 dimensions (96 dimensions). Can be generated.
  • the feature vector extension unit 26 takes the sum of the gradient direction histograms of adjacent 3 ⁇ 3 blocks from the gradient direction histogram of 5 ⁇ 5 ⁇ 6 dimensions (150 dimensions) to obtain 3 ⁇ 3 ⁇ 6 dimensions ( It is also possible to generate a 54-dimensional gradient direction histogram.
  • the feature vector extending unit 26 can also generate a further expanded gradient direction histogram based on the 4 ⁇ 4 ⁇ 6 (96-dimensional) gradient direction histogram generated by the expansion. For example, as shown in FIG. 18, the feature vector extension unit 26 uses a gradient direction histogram of 2 ⁇ 2 blocks based on a 4 ⁇ 4 ⁇ 6 dimension (96 dimensions) gradient direction histogram generated by expansion. By taking the sum, a gradient direction histogram of 3 ⁇ 3 ⁇ 6 dimensions (54 dimensions) can be generated.
  • the feature vector extending unit 26 can extend the gradient direction histogram using a dimension different from the dimension selected by the subsequent dimension selecting unit 18.
  • a specific example is shown in FIG. For example, when 75 dimensions are selected from the 150-dimensional gradient direction histogram in the dimension selection unit 18, the feature vector expansion unit 26 expands the remaining (non-selected) 75 dimensions to obtain a 96-dimensional gradient direction histogram. It is good also as producing
  • the gradient direction histogram generated by the extension is new information that is not included in the feature vector output from the dimension selection unit 18, it is possible to improve the identification accuracy.
  • the dimension selection unit 18 selects dimensions so as not to select the same gradient direction between adjacent sub-regions for the gradient direction histogram generated at each scale. Local feature values can be output.
  • the dimension selection unit 18 adds dimensions in the order of blocks as shown in FIG. 21, for example, between 1 to 16 dimensions, 17 dimensions to 32 dimensions, and 33 dimensions to 48 dimensions. You may choose as follows.
  • the dimension selection unit 18 can select the gradient direction by increasing the priority order of the blocks near the center.
  • the block number is b2
  • the dimension selection unit 18 adds dimensions in the order of blocks as shown in FIG. You may choose as follows. When the priority order shown in FIG. 23 is used, the dimension selection unit 18 can select the gradient direction by increasing the priority order of the block close to the center.
  • the dimension selection unit 18 may sequentially select dimensions (elements) in accordance with the priority order shown in FIG. Good.
  • the extension pattern in the feature vector extension unit 26 is not limited to the above example.
  • the feature vector extension unit 26 may generate an extended feature vector by quantizing a gradient direction histogram for each sub-region (block). Specifically, for example, a value obtained by multiplying the total amount of the gradient direction histogram of the entire local region by a coefficient ⁇ is set as a threshold value. If it is set to 1, an extended feature vector can be generated.
  • the feature vector extending unit 26 can extend the feature vector by using, for example, a difference instead of the sum of the gradient direction histograms. Specifically, for example, the feature vector extending unit 26 may extend the feature vector based on the difference between the values of the same dimension of the gradient direction histogram between different sub-regions.
  • the feature vector may be quantized in combination with the third embodiment or the fourth embodiment.
  • quantization may be performed using different parameters for each layer (layer 1, layer 2, layer 3).
  • the feature vector can be extended by the feature vector extension unit 26.
  • the feature vector extension unit 26 As a result, a feature vector including new information not included in the original feature vector is generated, and the identification accuracy can be improved.
  • FIG. 25 is a diagram showing a configuration of a local feature quantity extraction device according to the sixth embodiment of the present invention.
  • the local feature amount extraction apparatus 1F includes a feature point detection unit 10, a local region acquisition unit 12, a sub region division unit 14, a first sub region feature vector generation unit 16, and a second sub region feature.
  • a vector generation unit 28 and a dimension selection unit 18 are included.
  • the local feature quantity extraction device 1F has a configuration in which the second sub-region feature vector generation unit 28 is added to the local feature quantity extraction device 1A of the first embodiment.
  • the second sub-region feature vector generation unit 28 is not limited to the first embodiment, and can be applied to the feature quantity extraction device of other embodiments.
  • the second sub-region feature vector generation unit 28 can generate a gradient direction histogram having a different gradient direction from that of the first sub-region feature vector generation unit 16. For example, if the first sub-region feature vector generation unit 16 generates a gradient direction histogram in 8 directions with 45 ° intervals, the second sub-region feature vector generation unit 28 has 6 directions with 60 ° intervals. A gradient direction histogram may be generated.
  • the dimension selection unit 18 uses the same gradient direction between adjacent subregions for the feature vectors generated by the first subregion feature vector generation unit 16 and the second subregion feature vector generation unit 28, respectively. By selecting the dimension so as not to select, the local feature amount can be output.
  • the second sub-region feature vector generation unit 28 generates a gradient direction histogram having a different gradient direction from that of the first sub-region feature vector generation unit 16. As a result, the amount of information of the feature vector increases, and the identification accuracy can be improved.
  • the first sub-region feature vector generation unit 16 and the second sub-region feature vector generation unit 28 are shown.
  • the number of feature vector generation units may be three or more. .
  • FIG. 26 is a diagram showing a configuration of a local feature quantity extraction device according to the seventh embodiment of the present invention.
  • the local feature quantity extraction apparatus 1G includes a feature point detection unit 10, a local region acquisition unit 12, a first sub-region division unit 14, a second sub-region division unit 30, and a first sub-region.
  • a feature vector generation unit 16, a second sub-region feature vector generation unit 28, and a dimension selection unit 18 are included.
  • the local feature quantity extraction device 1G has a configuration in which the second sub-region dividing unit 30 is added to the local feature quantity extraction device 1F of the sixth embodiment.
  • symbol is attached
  • the second sub-region dividing unit 30 can perform region division by a method different from that of the first sub-region dividing unit 14. For example, if the first sub-region dividing unit 14 divides the local region into 4 ⁇ 4 blocks, the second sub-region dividing unit 30 may divide the local region into 5 ⁇ 5 blocks.
  • the first sub-region feature vector generation unit 16 generates a gradient direction histogram for each sub-region divided by the first sub-region division unit 14.
  • the second sub-region feature vector generation unit 28 generates a gradient direction histogram for each sub-region divided by the second sub-region division unit 30.
  • the second sub-region dividing unit 30 divides the local region by a method different from that of the first sub-region dividing unit 14, and thus features.
  • the amount of vector information increases, and the identification accuracy can be improved.
  • the first sub-region dividing unit 14 and the second sub-region dividing unit 30 are shown.
  • the number of sub-region dividing units may be three or more.
  • FIG. 27 is a diagram showing a configuration of a local feature quantity extraction device according to the eighth embodiment of the present invention.
  • the local feature quantity extraction apparatus 1H includes a feature point detection unit 10, a first local region acquisition unit 12, a second local region acquisition unit 32, a first sub-region division unit 14, and a second The sub-region dividing unit 30, the first sub-region feature vector generating unit 16, the second sub-region feature vector generating unit 28, and the dimension selecting unit 18.
  • the local feature quantity extraction device 1H has a configuration in which the second local region acquisition unit 32 is added to the local feature quantity extraction device 1G of the seventh embodiment. Note that the same components as those in the seventh embodiment are denoted by the same reference numerals, and description thereof is omitted.
  • the second local region acquisition unit 32 can acquire a local region by a method different from that of the first local region acquisition unit 12. For example, if the first local region acquisition unit 12 acquires a square local region, the second local region acquisition unit 32 may acquire a circular local region.
  • the first sub-region dividing unit 14 divides the local region acquired by the first local region acquiring unit 12 into sub-regions.
  • the second sub-region dividing unit 30 divides the local region acquired by the second local region acquiring unit 32 into sub-regions.
  • the second local region acquisition unit 32 acquires a local region by a method different from that of the first local region acquisition unit 12.
  • the amount of vector information increases, and the identification accuracy can be improved.
  • the number of local region acquisition units may be three or more.
  • FIG. 28 is a diagram showing a configuration of a local feature quantity extraction device according to the ninth embodiment of the present invention.
  • the local feature quantity extraction device 1J includes a feature point detection unit 10, a local region acquisition unit 12, a sub region division unit 14, a sub region feature vector generation unit 16, a dimension selection unit 18, and an encoding unit. 34 is comprised.
  • the local feature quantity extraction device 1J has a configuration in which the encoding unit 34 is added to the local feature quantity extraction device 1A of the first embodiment.
  • symbol is attached
  • the encoding part 34 is applicable not only to 1st Embodiment but the feature-value extraction apparatus of other embodiment.
  • the encoding unit 34 can encode the feature vectors whose dimensions are arranged in the order of priority output from the dimension selection unit 18 and output the feature vectors as a bit stream of feature amounts.
  • the encoding unit 34 may encode the feature vector with a fixed bit length.
  • the encoding unit 34 may perform encoding by lossless encoding (lossless compression) such as entropy encoding using Huffman code or arithmetic code, or code by lossy encoding (lossy compression). May also be performed.
  • the encoding unit 34 has N The dimension may be N bits (N / 8 bytes) and encoded with a fixed bit length.
  • the encoding unit 34 may perform entropy encoding using a Huffman code, an arithmetic code, or the like. Further, for example, when using an entropy code such as an arithmetic code, the encoding unit 34 may perform efficient encoding (context encoding) by using already encoded dimension information.
  • the encoding unit 34 can perform encoding using information on the feature vector group extracted from the image. For example, since there are many patterns that repeatedly appear in the image, the encoding unit 34 may perform encoding by grouping these similar feature vectors. When the image is a moving image frame, the encoding unit 34 performs tracking of the feature points between successive frames, takes a correspondence from the feature points of the past frames, and only the difference value of the feature vector. May be encoded. As described above, the encoding unit 34 performs encoding using the information of the feature vector group, so that it is possible to perform encoding compression that is larger than that for individually compressing the feature vectors.
  • the encoding unit 34 can encode the feature vector group extracted from the image in an arbitrary order.
  • the encoding unit 34 may perform encoding in the order in which feature vectors (feature points) are extracted.
  • information on the coordinate position (X coordinate value, Y coordinate value) of the feature point may be desired to be encoded.
  • the encoding unit 34 may rearrange the feature points in a predetermined order such as the raster scan order and encode only the difference value of the coordinate values.
  • the encoding unit 34 can encode the feature vectors in this order.
  • the coordinate value information can be encoded with a shorter bit length than when the coordinate value of the feature point is encoded with a fixed bit length.
  • the encoding unit 34 can encode the feature vectors by rearranging the feature vectors in the order of the scale values and encoding only the numbers at which the scale values change and the scale values. This eliminates the need to encode all scale values for individual feature vectors.
  • the encoding unit 34 may rearrange the feature vectors in the order of the scale values, and encode the feature points having the same scale value in the raster scan order. Is possible.
  • the encoding unit 34 can also encode angle information as well as scale information.
  • the encoding unit 34 can encode the feature vector group in the order of importance of the feature points.
  • the importance of the feature points can be set to the same standard as in the first embodiment, for example.
  • the device that performs feature value matching (matching) performs feature value matching in order from the top (from the important feature points), and at the stage where it is possible to determine whether or not matching is possible (whether or not to match). Efficient matching can be performed, such as aborting matching.
  • the encoding unit 34 may describe (encode) the dimensionality at the head of the bitstream or the like. If the number of dimensions differs for each feature point, the encoding unit 34 needs to encode the information so that the number of dimensions of each feature point can be known. In this case, the encoding unit 34 may encode the number of dimensions information for each feature point. Similarly to the case where the scale information is encoded, the encoding unit 34 rearranges and encodes the feature vectors in order of the number of dimensions, and encodes only the number in which the number of dimensions changes and the value of the number of dimensions. It is good. This eliminates the need to encode all dimension values for individual feature vectors.
  • the encoding unit 34 encodes the local feature quantity, the size of the feature quantity can be further reduced.
  • FIG. 29 is a diagram showing an example of a collation system to which the local feature quantity extraction device shown in the first to ninth embodiments can be applied.
  • the collation system is configured to include a collation apparatus 100, a feature quantity database (DB) 110, and a local feature quantity extraction apparatus 120.
  • DB feature quantity database
  • the collation device 100 is input to the local feature amount extraction device 120 by collating the local feature amount included in the search request transmitted from the local feature amount extraction device 120 with the local feature amount stored in the feature amount DB 110. It is possible to search for an image including a subject similar to the subject in the selected image.
  • the feature DB 110 stores local feature values extracted from a plurality of images in association with the source image.
  • the local feature amount stored in the feature amount DB 110 can be, for example, a 150-dimensional feature vector output in the order shown in FIG.
  • the local feature quantity extraction device 120 can use the local feature quantity extraction device shown in any of the first to ninth embodiments.
  • the local feature quantity extraction device 120 generates a search request including the local feature quantity of the feature point detected in the input image and transmits it to the matching device 100.
  • the collation apparatus 100 determines an image similar to the input image by collating the received local feature quantity with the local feature quantity stored in the feature quantity DB 110. Then, the collation device 100 outputs information indicating an image determined to be similar to the input image to the local feature amount extraction device 120 as a search result.
  • the local feature quantity extraction device 120 is configured so that the correlation between adjacent sub-regions becomes low based on the positional relationship between the sub-regions. A dimension (element) to be output as a local feature amount is selected. Accordingly, the size of the local feature amount can be reduced while maintaining the matching accuracy in the matching device 100.
  • the matching apparatus 100 can execute the matching process by using local feature values up to the number of dimensions common to each other.
  • the collation apparatus 100 can perform collation by using local feature amounts of up to 50 dimensions. That is, for example, even if the number of dimensions of the local feature quantity is changed according to the processing capability of the local feature quantity extraction apparatus 120, the matching process is executed in the matching apparatus 100 using the local feature quantity having the changed number of dimensions. Is possible.
  • this embodiment is for making an understanding of this invention easy, and is not for limiting and interpreting this invention.
  • the present invention can be changed / improved without departing from the spirit thereof, and the present invention includes equivalents thereof.
  • the feature point detection part which detects the feature point in an image
  • the local area acquisition part which acquires the local area
  • region division part which divides each local area
  • a dimension selection unit that selects a dimension from the feature vector for each sub-region and outputs an element of the selected dimension as a feature amount of the local region.
  • the said dimension selection part selects a dimension from the said feature vector so that at least one dimension selected may differ between adjacent sub-regions.
  • a local feature quantity extraction device (Additional remark 3) It is a local feature-value extraction apparatus of Additional remark 1 or 2, Comprising: The said dimension selection part is the said characteristic according to the selection order for selecting a dimension in the feature vector of the some sub-region in a local area
  • the said dimension selection part outputs the element of the selected dimension as a feature-value of a local area in the order of the dimension selected according to the said selection order.
  • Local feature extraction device (Supplementary note 5) The local feature quantity extraction device according to any one of supplementary notes 1 to 4, further comprising a dimension number determining unit that determines the number of dimensions selected in the dimension selecting unit, wherein the dimension selecting unit Is a local feature quantity extraction device that selects a dimension from the feature vector so that the dimension number of the feature quantity of the local region becomes the determined dimension number.
  • the local feature quantity extraction device according to any one of supplementary notes 1 to 7, further comprising: a quantization unit that quantizes the feature vector for each sub-region; A local feature quantity extraction device that selects a dimension from the feature vectors that have been converted into a feature.
  • the local feature quantity extraction device according to any one of supplementary notes 1 to 7, further comprising a quantization unit that quantizes the feature quantity of the local region.
  • the local feature quantity extraction device according to any one of supplementary notes 1 to 9, wherein the extended sub-region is a sub-region larger than the sub-region based on the feature vectors of a plurality of adjacent sub-regions.
  • a feature vector extending unit that generates a feature vector in the region, and the dimension selecting unit further reduces a correlation between adjacent extended sub-regions based on a positional relationship of the extended sub-regions in each local region.
  • a local feature amount extraction apparatus that selects a dimension from the feature vector for each extended sub-region and outputs an element of the selected dimension as a feature amount of the local region.
  • the local feature quantity extraction device according to supplementary note 10, wherein the feature vector element is a feature quantity depending on a direction, and the feature vector expansion unit includes the feature vector for each sub-region.
  • a local feature quantity extraction device that generates a feature vector in the extended sub-region based on a dimension element that is not selected by a dimension selection unit.
  • the local feature quantity extraction device according to any one of supplementary notes 1 to 11, wherein the feature vector generated by the sub-region feature vector generation unit for each sub-region in each local region is A local feature quantity extraction device further comprising a second sub-region feature vector generation unit that generates a multidimensional feature vector in which the direction of at least one element is different.
  • the local feature amount extraction apparatus according to supplementary note 12, wherein each local region is divided into a plurality of subregions different from the plurality of subregions divided by the subregion dividing unit.
  • a local feature quantity extraction device further comprising a sub-region dividing unit, wherein the second sub-region feature vector generating unit generates the feature vector for each sub-region divided by the second sub-region dividing unit.
  • a local feature quantity extraction device further comprising: a second sub-region dividing unit that divides each local region acquired by the second local region acquiring unit into a plurality of sub-regions.
  • a computer detects feature points in an image, acquires a local region for each feature point, divides each local region into a plurality of sub-regions, and multi-dimensional for each sub-region in each local region
  • a feature vector is generated, and a dimension is selected from the feature vector for each sub-region so that the correlation between adjacent sub-regions is low based on the positional relationship of the sub-regions in each local region.
  • a local feature extraction method for outputting an element as a feature of a local region.
  • a function for detecting feature points in an image a function for acquiring a local region for each feature point, a function for dividing each local region into a plurality of sub-regions, and a sub-function in each local region. Based on the function of generating multidimensional feature vectors for each region and the positional relationship of subregions within each local region, the dimension is calculated from the feature vectors for each subregion so that the correlation between adjacent subregions is low.
  • a program for realizing the function of selecting and outputting the selected dimension element as a feature value of the local region. The local feature quantity extraction device according to any one of supplementary notes 1 to 14, further comprising an encoding unit that encodes the feature quantity of the local region.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

　被写体識別の精度を維持しつつ、特徴量のサイズを小さくする。局所特徴量抽出装置は、画像内の特徴点を検出する特徴点検出部と、各特徴点に対する局所領域を取得する局所領域取得部と、各局所領域を複数のサブ領域に分割するサブ領域分割部と、各局所領域内のサブ領域ごとに複数次元の特徴ベクトルを生成するサブ領域特徴ベクトル生成部と、各局所領域内のサブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるようにサブ領域ごとに特徴ベクトルから次元を選定し、選定された次元の要素を局所領域の特徴量として出力する次元選定部と、を備える。

Description

局所特徴量抽出装置、局所特徴量抽出方法、及びプログラム
　本発明は、局所特徴量抽出装置、局所特徴量抽出方法、及びプログラムに関する。
　画像内の被写体を、撮影サイズや角度の変化、オクルージョンに対して頑健に識別可能とするために、画像内の特徴的な点（特徴点）を多数検出し、各特徴点周辺の局所領域の特徴量（局所特徴量）を抽出する方式が提案されている。その代表的な方式として、特許文献１や非特許文献１には、ＳＩＦＴ（Ｓｃａｌｅ　Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ）特徴量を用いる局所特徴量抽出装置が開示されている。
　図３１は、ＳＩＦＴ特徴量を用いる局所特徴量抽出装置の一般的な構成の一例を示す図である。また、図３２は、図３１に示した局所特徴量抽出装置におけるＳＩＦＴ特徴量の抽出のイメージを示す図である。
　図３１に示すように、局所特徴量抽出装置は、特徴点検出部２００、局所領域取得部２１０、サブ領域分割部２２０、及びサブ領域特徴ベクトル生成部２３０を備えている。特徴点検出部２００は、画像から特徴的な点（特徴点）を多数検出し、各特徴点の座標位置、スケール（大きさ）、及び角度を出力する。局所領域取得部２１０は、検出された各特徴点の座標値、スケール、及び角度から、特徴量抽出を行う局所領域を取得する。サブ領域分割部２２０は、局所領域をサブ領域に分割する。図３２に示す例では、サブ領域分割部２２０は、局所領域を１６ブロック（４×４ブロック）に分割している。サブ領域特徴ベクトル生成部２３０は、局所領域のサブ領域ごとに勾配方向ヒストグラムを生成する。具体的には、サブ領域特徴ベクトル生成部２３０は、各サブ領域の画素ごとに勾配方向を算出し、それを８方向に量子化する。なお、ここで求める勾配方向は、特徴点検出部２００が出力する各特徴点の角度に対する相対的な方向である。すなわち、特徴点検出部２００が出力する角度に対して正規化された方向である。そして、サブ領域特徴ベクトル生成部２３０は、サブ領域ごとに量子化された８方向の頻度を集計し、勾配方向ヒストグラムを生成する。こうして、各特徴点に対して生成される１６ブロック×８方向の勾配方向ヒストグラムが、１２８次元の局所特徴量として出力される。
米国特許第６７１１２９３号明細書
David G. Lowe著、「Distinctive image features from scale-invariant keypoints」、（米国）、International Journal of Computer Vision、60(2)、2004年、p. 91-110
　上述した局所特徴量は、そのサイズが大きくなってしまうという問題点がある。例えば、ＳＩＦＴ特徴量の場合、各次元のヒストグラム値を１バイトであらわすこととすると、１２８次元×１バイトのサイズが必要となる。このように局所特徴量のサイズが大きくなってしまうと、画像の照合（マッチング）のために局所特徴量を用いる場合に問題が生じることがある。例えば、ユーザ端末（例えばカメラ付きの携帯端末など）が、画像から局所特徴量を抽出し、当該画像に類似する画像を検索するために局所特徴量をサーバに送信する場合、局所特徴量のサイズが大きいと通信時間が長くなってしまう。そのため、画像の検索結果が得られるまでの時間が長くなってしまう。また、局所特徴量のサイズが大きいと、画像の局所特徴量を照合する際の処理時間が長くなってしまう。また、局所特徴量を用いた画像検索の場合、画像の局所特徴量をメモリ上に格納することとなるが、局所特徴量のサイズが大きいとメモリ上に局所特徴量を格納可能な画像数が少なくなってしまう。そのため、大量の画像を対象とする大規模検索には適さないこととなる。
　そこで、本発明は、被写体識別の精度を維持しつつ、特徴量のサイズを小さくすることを目的とする。
　本発明の一側面に係る局所特徴量抽出装置は、画像内の特徴点を検出する特徴点検出部と、各特徴点に対する局所領域を取得する局所領域取得部と、各局所領域を複数のサブ領域に分割するサブ領域分割部と、各局所領域内のサブ領域ごとに複数次元の特徴ベクトルを生成するサブ領域特徴ベクトル生成部と、各局所領域内のサブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるようにサブ領域ごとに特徴ベクトルから次元を選定し、選定された次元の要素を局所領域の特徴量として出力する次元選定部と、を備える。
　また、本発明の一側面に係る局所特徴量抽出方法では、コンピュータが、画像内の特徴点を検出し、各特徴点に対する局所領域を取得し、各局所領域を複数のサブ領域に分割し、各局所領域内のサブ領域ごとに複数次元の特徴ベクトルを生成し、各局所領域内のサブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるようにサブ領域ごとに前記特徴ベクトルから次元を選定し、選定された次元の要素を局所領域の特徴量として出力する。
　また、本発明の一側面に係るプログラムは、コンピュータに、画像内の特徴点を検出する機能と、各特徴点に対する局所領域を取得する機能と、各局所領域を複数のサブ領域に分割する機能と、各局所領域内のサブ領域ごとに複数次元の特徴ベクトルを生成する機能と、各局所領域内のサブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるようにサブ領域ごとに前記特徴ベクトルから次元を選定し、選定された次元の要素を局所領域の特徴量として出力する機能と、を実現させるためのものである。
　なお、本発明において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や装置が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や装置の機能が１つの物理的手段や装置により実現されても良い。
　本発明によれば、被写体識別の精度を維持しつつ、特徴量のサイズを小さくすることが可能となる。
本発明の第１の実施形態である局所特徴量抽出装置の構成を示す図である。 １２８次元の特徴ベクトルから次元を選定する場合の一例を示す図である。 次元選定の別の一例を示す図である。 次元を選定する際の優先順位の一例を示す図である。 １５０次元の特徴ベクトルの要素の番号の一例を示す図である。 １５０次元の特徴ベクトルの要素の番号の別の一例を示す図である。 優先順位に従って出力される局所特徴量の構成例を示す図である。 次元を選定する際の優先順位の一例を示す図である。 次元選定の別の一例を示す図である。 円状の局所領域の一例を示す図である。 円状の局所領域における次元選定の一例を示す図である。 局所特徴量抽出装置における処理の一例を示すフローチャートである。 本発明の第２の実施形態における局所特徴量抽出装置の構成を示す図である。 本発明の第３の実施形態における局所特徴量抽出装置の構成を示す図である。 勾配方向ヒストグラムの各次元を２値に量子化する一例を示す図である。 本発明の４の実施形態における局所特徴量抽出装置の構成を示す図である。 本発明の第５の実施形態における局所特徴量抽出装置の構成を示す図である。 特徴ベクトルを拡張する場合の一例を示す図である。 特徴ベクトルを拡張する場合の一例を示す図である。 後段の次元選定部において選択される次元とは異なる次元を用いて勾配方向ヒストグラムを拡張する場合の一例を示す図である。 次元を選定する際の優先順位の別の一例を示す図である。 優先順位に従って出力される局所特徴量の構成例を示す図である。 次元を選定する際の優先順位の別の一例を示す図である。 優先順位に従って出力される局所特徴量の構成例を示す図である。 本発明の第６の実施形態における局所特徴量抽出装置の構成を示す図である。 本発明の第７の実施形態における局所特徴量抽出装置の構成を示す図である。 本発明の第８の実施形態における局所特徴量抽出装置の構成を示す図である。 本発明の第９の実施形態における局所特徴量抽出装置の構成を示す図である。 局所特徴量抽出装置を適用可能な照合システムの一例を示す図である。 照合装置における、局所特徴量を用いた照合の一例を示す図である。 ＳＩＦＴ特徴量を用いる局所特徴量抽出装置の一般的な構成の一例を示す図である。 局所特徴量抽出装置におけるＳＩＦＴ特徴量の抽出のイメージを示す図である。
　以下、図面を参照して本発明の実施形態について説明する。
　＝＝第１の実施形態＝＝
　図１は、本発明の第１の実施形態である局所特徴量抽出装置の構成を示す図である。局所特徴量抽出装置１Ａは、特徴点検出部１０、局所領域取得部１２、サブ領域分割部１４、サブ領域特徴ベクトル生成部１６、及び次元選定部１８を含んで構成される。局所特徴量抽出装置１Ａは、例えば、パーソナルコンピュータや携帯情報端末等の情報処理装置を用いて構成することができる。そして、局所特徴量抽出装置１Ａを構成する各部は、例えば、メモリ等の記憶領域を用いたり、記憶領域に格納されているプログラムをプロセッサが実行したりすることにより実現することができる。なお、後述する他の実施形態における構成要素についても同様に実現することができる。
　特徴点検出部１０は、画像から特徴的な点（特徴点）を多数検出し、各特徴点の座標位置、スケール（大きさ）、及び角度を出力する。
　局所領域取得部１２は、検出された各特徴点の座標値、スケール、及び角度から、特徴量抽出を行う局所領域を取得する。
　サブ領域分割部１４は、局所領域をサブ領域に分割する。例えば、サブ領域分割部１４は、図３２に示したように、局所領域を１６ブロック（４×４ブロック）に分割することができる。また例えば、サブ領域分割部１４は、局所領域を２５ブロック（５×５ブロック）に分割することもできる。
　サブ領域特徴ベクトル生成部１６は、局所領域のサブ領域ごとに特徴ベクトルを生成する。サブ領域の特徴ベクトルとしては、例えば、勾配方向ヒストグラムを用いることができる。具体的には、サブ領域特徴ベクトル生成部１６は、各サブ領域の画素ごとに勾配方向を算出し、それを８方向に量子化する。ここで求める勾配方向は、特徴点検出部１０が出力する各特徴点の角度に対する相対的な方向である。すなわち、特徴点検出部１０が出力する角度に対して正規化された方向である。そして、サブ領域特徴ベクトル生成部１６は、サブ領域ごとに量子化された８方向の頻度を集計し、勾配方向ヒストグラムを生成する。この場合、サブ領域特徴ベクトル生成部１６は、各特徴点に対して生成される１６ブロック×８方向＝１２８次元の勾配方向ヒストグラムにより構成される特徴ベクトルを出力する。また、勾配方向を８方向に量子化するだけに限らず、４方向、６方向、１０方向など任意の量子化数に量子化してよい。勾配方向をＤ方向に量子化する場合、量子化前の勾配方向をＧ（０～２πラジアン）とすると、勾配方向の量子化値ｉ（ｉ＝０，・・・，Ｄ－１）は、例えば式（１）や式（２）などで求めることができるが、これに限られない。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
 　ここでfloor()は小数点以下を切り捨てる関数、round()は四捨五入を行う関数、modは剰余を求める演算である。また、勾配方向ヒストグラムを生成するときに、単純な頻度を集計するのではなく、勾配の大きさを加算して集計してもよい。また、勾配方向ヒストグラムを集計するときに、画素が属するサブ領域だけではなく、サブ領域間の距離に応じて近接するサブ領域（隣接するブロックなど）にも重み値を加算するようにしてもよい。また、量子化された勾配方向の前後の勾配方向にも重み値を加算するようにしてもよい。なお、サブ領域の特徴ベクトルは勾配方向ヒストグラムに限られず、色情報など、複数の次元（要素）を有するものであればよい。本実施形態においては、サブ領域の特徴ベクトルとして、勾配方向ヒストグラムを用いることとして説明する。
　次元選定部１８は、サブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるように、局所特徴量として出力する次元（要素）を選定する（間引きする）。より具体的には、次元選定部１８は、例えば、隣接するサブ領域間では少なくとも１つの勾配方向が異なるように次元を選定する。なお、本実施形態では、近接するサブ領域として主に隣接するサブ領域を用いることとするが、近接するサブ領域は隣接するサブ領域に限られず、例えば、対象のサブ領域から所定距離内にあるサブ領域を近接するサブ領域とすることもできる。
　また、次元選定部１８は、単に次元を選定するだけではなく、選定の優先順位を決定することができる。すなわち、次元選定部１８は、例えば、隣接するサブ領域間では同一の勾配方向の次元が選定されないように、優先順位をつけて次元を選定することができる。そして、次元選定部１８は、選定した次元から構成される特徴ベクトルを、局所特徴量として出力する。なお、次元選定部１８は、優先順位に基づいて次元を並び替えた状態で、局所特徴量を出力することができる。
　図２～図７を参照して、次元選定部１８における次元選定の具体例を説明する。図２は、局所領域を４×４ブロックのサブ領域に分割し、勾配方向を８方向に量子化して生成された１２８次元の勾配方向ヒストグラムの特徴ベクトルから次元を選定する場合の一例を示す図である。図２の例では、ＳＩＦＴ特徴量と同様の１２８次元（４×４＝１６ブロック×８方向）の特徴ベクトルから次元の選定が行われている。
　図２に示すように、次元選定部１８は、１２８次元から半分の次元数である６４次元を選定する場合、隣接する左右、上下のブロック（サブ領域）では、同一の勾配方向の次元が選定されないように、次元を選定することができる。図２では、勾配方向ヒストグラムにおける量子化された勾配方向をｉ（ｉ＝０，１，２，３，４，５，６，７）とした場合に、ｉ＝０，２，４，６の要素を選定するブロックと、ｉ＝１，３，５，７の要素を選定するブロックとが交互に並んでいる例が示されている。また、図２では、別の例として、ｉ＝０，３，４，７の要素を選定するブロックと、ｉ＝１，２，５，６の要素を選定するブロックとが交互に並んでいる例が示されている。そして、図２の例では、隣接するブロックで選定された勾配方向（次元）を合わせると、全８方向となっている。すなわち、隣接するブロック間で特徴量を補完し合う関係となっている。
　また、図２に示すように、次元選定部１８は、３２次元を選定する場合、斜め４５°に位置するブロック間でも、同一の勾配方向の次元が選定されないように、次元を選定することができる。そして、図２の例では、隣接する２×２ブロックで選定された勾配方向（次元）を合わせると、全８方向となっている。すなわち、この場合においても、隣接するブロック間で特徴量を補完し合う関係となっている。
　このように、隣接するブロック間で勾配方向が重ならないように、また全勾配方向が均等に選定されることが望ましい。また同時に、図２に示す例のように、局所領域の全体から均等に次元が選定されることが望ましい。なお、図２に示した次元選定方法は一例であり、この選定方法に限らない。
　図３は、次元選定の別の一例を示す図である。図３の例では、サブ領域分割部１４が、局所領域を５×５＝２５ブロックのサブ領域に分割し、サブ領域特徴ベクトル生成部１６が、各サブ領域から６方向の勾配方向ヒストグラムを生成している。すなわち、図３に示すように、サブ領域特徴ベクトル生成部１６が生成する特徴ベクトルは１５０次元である。
　図３に示すように、次元選定部１８は、１５０次元から半分の７５次元を選定する場合に、隣接する左右、上下のブロックでは、同一の勾配方向の次元が選定されないように、次元を選定することができる。この例では、勾配方向ヒストグラムにおける量子化された勾配方向をｉ（ｉ＝０，１，２，３，４，５）とした場合に、ｉ＝０，２，４の要素を選定するブロックと、ｉ＝１，３，５の要素を選定するブロックとが交互に並んでいる。そして、図３の例では、隣接するブロックで選定された勾配方向を合わせると、全６方向となっている。
　また、次元選定部１８は、７５次元から５０次元を選定する場合は、斜め４５°に位置するブロック間で、１つの方向のみが同一になる（残り１つの方向は異なる）ように次元を選定することができる。また、次元選定部１８は、５０次元から２５次元を選定する場合は、斜め４５°に位置するブロック間で、選定される勾配方向が一致しないように次元を選定することができる。
　図３に示す例では、次元選定部１８は、１次元から２５次元までは各サブ領域から１つの勾配方向を選定し、２６次元から５０次元までは２つの勾配方向を選定し、５１次元から７５次元までは３つの勾配方向を選定している。
　また、次元選定部１８は、１～２５次元、２６次元～５０次元、５１次元～７５次元の間は、例えば図４に示すようなブロックの順番で次元を追加するように選定していってもよい。図４に示す優先順位を用いる場合、次元選定部１８は、中心に近いブロックの優先順位を高くして、勾配方向を選定していくことができる。図５は、１５０次元の特徴ベクトルの要素の番号の一例を示す図である。この例では、５×５＝２５ブロックをラスタスキャン順に番号ｂ（ｂ＝０，１，・・・，２４）で表し、量子化された勾配方向をｉ（ｉ＝０，１，２，３，４，５）とした場合に、特徴ベクトルの要素の番号ｋ（ｋ＝０，１，・・・，１４９）をｋ＝６×ｂ＋ｉとしている。なお、図５に示した勾配方向とそれに対応する番号ｋは模式的に示したもので、必ずしも実際の画像上の勾配方向と一致している必要はない。例えば要素番号０は、図５では上方向の勾配として図示しているが、実際の画像上では画像座標系における０度方向の勾配に対応させることが多い。一例として、図６に、図５とは異なる勾配方向の対応付けを示す。図５と比較すると、図６のほうが実際の画像上での画像座標系における対応付けに近い場合があるが、本質的な差はない。
　また、図７は、図４に示した優先順位に従って図５または図６に示した要素を選定していくことにより得られる局所特徴量の構成例を示す図である。次元選定部１８は、例えば、図７に示す順序で次元（要素）を出力することができる。具体的には、次元選定部１８は、例えば１５０次元の局所特徴量を出力する場合、図７に示す順序で全１５０次元の要素を出力することができる。また、次元選定部１８は、例えば２５次元の局所特徴量を出力する場合、図７に示す１行目（７６番目、４５番目、８３番目、・・・、１２０番目）の要素を図７に示す順（左から右）に出力することができる。また、次元選定部１８は、例えば５０次元の局所特徴量を出力する場合、図７に示す１行目に加えて、図７に示す２行目の要素を図７に示す順（左から右）に出力することができる。
　ところで、図７に示す例では、局所特徴量は階層的な構造となっている。すなわち、例えば、２５次元の局所特徴量と１５０次元の局所特徴量とにおいて、先頭の２５次元分の局所特徴量における要素の並びは同一となっている。このように、次元選定部１８は、階層的（プログレッシブ）に次元を選定することにより、アプリケーションや通信容量、端末スペックなどに応じて、任意の次元数の局所特徴量、すなわち任意のサイズの局所特徴量を抽出して出力することができる。また、次元選定部１８が、階層的に次元を選定し、優先順位に基づいて次元を並び替えて出力することにより、異なる次元数の局所特徴量を用いて、画像の照合を行うことができる。例えば、７５次元の局所特徴量と５０次元の局所特徴量を用いて画像の照合が行われる場合、先頭の５０次元だけを用いることにより、局所特徴量間の距離計算を行うことができる。
　なお、図４～図７に示す優先順位は一例であり、次元を選定する際の順序はこれに限られない。例えば、ブロックの順番に関しては、図４の例の他に、図８（ａ）や図８（ｂ）に示すような順番でもよい。また例えば、全てのサブ領域からまんべんなく次元が選定されるように優先順位が定められることとしてもよい。また、局所領域の中央付近が重要として、中央付近のサブ領域の選定頻度が高くなるように優先順位が定められることとしてもよい。また、次元の選定順序を示す情報は、例えば、プログラムにおいて規定されていてもよいし、プログラムの実行時に参照されるテーブル等（選定順序記憶部）に記憶されていてもよい。
　また、次元選定部１８は、図９（ａ）や図９（ｂ）に示すような選定を行ってもよい。この場合、あるサブ領域では６次元が選定され、当該サブ領域に近接する他のサブ領域では０次元が選定されている。このような場合においても、近接するサブ領域間の相関が低くなるようにサブ領域ごとに次元が選定されていると言うことができる。
　また、局所領域やサブ領域の形状は、図２や図３に示したような正方形に限られず、任意の形状とすることができる。例えば、図１０に示すように、局所領域取得部１２は、円状の局所領域を取得することとしてもよい。この場合、サブ領域分割部１４は、図１０に示すように、円状の局所領域を例えば９分割や１７分割のサブ領域に分割することができる。この場合においても、次元選定部１８は、各サブ領域において、例えば図１１に示すように、次元を選定することができる。なお、図１１に示す例では、７２次元から４０次元を選定する際に、中央のサブ領域では次元の間引きが行われていない。
　図１２は、局所特徴量抽出装置１Ａにおける処理の一例を示すフローチャートである。まず、特徴点検出部１０は、画像内の特徴点を検出し、各特徴点の座標位置、スケール（大きさ）、及び角度を出力する（Ｓ１１０１）。特徴点が検出されると、局所領域取得部１２は、検出された各特徴点の座標値、スケール、及び角度に基づいて、特徴量抽出を行う局所領域を取得する（Ｓ１１０２）。そして、サブ領域分割部１４は、局所領域をサブ領域に分割する（Ｓ１１０３）。サブ領域特徴ベクトル生成部１６は、局所領域のサブ領域ごとに、勾配方向ヒストグラムを生成する（Ｓ１１０４）。最後に、次元選定部１８は、定められた選定順序に従って、局所特徴量として出力する次元（要素）を選定する（Ｓ１１０５）。
　このように、第１の実施形態の局所特徴量抽出装置１Ａでは、次元選定部１８が、サブ領域の位置関係に基づいて、近接するサブ領域間の相関が低くなるように、局所特徴量として出力する次元（要素）を選定する。つまり、近接するサブ領域は相関が高いことが多いため、次元選定部１８は、近接するサブ領域からは同じ特徴ベクトルの次元（要素）が選定されないように、次元の選定を行うことができる。これにより、被写体識別の精度を維持しつつ、特徴量のサイズを小さくすることが可能となる。
　また、次元選定部１８は、図７に例示したように、局所特徴量を階層的（プログレッシブ）に出力することができる。これにより、選定された次元数（特徴量のサイズ）が異なる局所特徴量の間であっても、相互に照合（距離計算）を行うことができる。
　また、次元選定部１８は、サブ領域の位置関係に基づいて次元の選定を行うため、次元の選定の際に学習を行う必要がない。つまり、データ（画像）に依存せずに汎用的な局所特徴量の抽出を行うことができる。
　なお、局所特徴量抽出装置１Ａでは、サブ領域特徴ベクトル生成部１６と次元選定部１８の処理の順序を入れ替えてもよい。すなわち、局所特徴量抽出装置１Ａでは、次元選定部１８において次元を選定した後に、サブ領域特徴ベクトル生成部１６において、選定された次元に対する特徴ベクトルが生成されることとしてもよい。
　＝＝第２の実施形態＝＝
　次に第２の実施形態について説明する。図１３は、本発明の第２の実施形態における局所特徴量抽出装置の構成を示す図である。第２の実施形態においては、選定される次元数を変更することが可能となっている。図１３に示すように、局所特徴量抽出装置１Ｂは、特徴点検出部１０、局所領域取得部１２、サブ領域分割部１４、サブ領域特徴ベクトル生成部１６、次元数決定部２０、及び次元選定部１８を含んで構成される。このように、局所特徴量抽出装置１Ｂは、第１の実施形態の局所特徴量抽出装置１Ａに次元数決定部２０を追加した構成となっている。なお、第１の実施形態と同一の構成要素については同一の符号を付して説明を省略する。
　次元数決定部２０は、次元選定部１８において選定される次元数を決定することができる。例えば、次元数決定部２０は、次元数を示す情報をユーザから受け付けることにより、次元数を決定することができる。なお、次元数を示す情報は、次元数そのものを示すものである必要はなく、例えば、検索精度や検索速度などを示す情報であってもよい。具体的には、次元数決定部２０は、例えば、検索精度を高くすることを要求する入力を受け付けた場合には、次元数が多くなるように次元数を決定することとしてもよい。また、次元数決定部２０は、例えば、検索速度を速くすることを要求する入力を受け付けた場合には、次元数が少なくなるように次元数を決定することとしてもよい。
　また、例えば、次元数決定部２０は、局所特徴量抽出装置１Ｂが用いられるアプリケーションや通信容量、端末の処理スペックなどに基づいて次元数を決定することとしてもよい。具体的には、次元数決定部２０は、例えば、通信容量が小さい（通信速度が遅い）場合には、通信容量が大きい（通信速度が速い）場合と比較して次元数が少なくなるように次元数を決定することとしてもよい。また、次元数決定部２０は、例えば、端末の処理スペックが低い場合には、処理スペックが高い場合と比較して次元数が少なくなるように次元数を決定することとしてもよい。また、次元数決定部２０は、例えば、端末の処理負荷に応じて動的に次元数を決定することとしてもよい。また、次元数決定部２０は、例えば、画像全体で使用できる局所特徴量のサイズが決められている場合に、画像全体で抽出された特徴点数から逆算して、各特徴点において選定される次元数を決定してもよい。
　なお、次元数決定部２０は、画像から検出される全ての特徴点に対して同じ次元数を決定することとしてもよいし、特徴点ごとに異なる次元数を決定してもよい。例えば、次元数決定部２０は、外部情報によって特徴点の重要度が与えられた場合に、重要度の高い特徴点は次元数を多くし、重要度の低い特徴点は次元数を少なくしてもよい。
　例えば、次元数決定部２０は、画像内の領域に応じて重要度を判定することとしてもよい。具体的には、次元数決定部２０は、例えば、画像の中央の特徴点は、画像の周辺部の特徴点よりも重要とみなして、画像の中央の特徴点に対する次元数が多くなるように次元数を決定してもよい。
　また、例えば、次元数決定部２０は、特徴ベクトルに基づいて特徴点の重要度を判断することとしてもよい。具体的には、次元数決定部２０は、例えば、特徴ベクトルの値を参照し、頻繁に出現するパターンであると判定可能である場合には、識別のための局所特徴量としてはあまり役立たないとみなし、重要度が低いと判断することとしてもよい。逆に、次元数決定部２０は、このような場合に、識別能力を高めるために次元数を増やすこととしてもよい。
　また、例えば、次元数決定部２０は、画像内の他の特徴点の特徴ベクトルの値との関係性に基づいて特徴点の重要度を判断することとしてもよい。具体的には、次元数決定部２０は、例えば、特徴ベクトルの値を他の特徴点の特徴ベクトルの値と比較することにより、特徴ベクトルが頻繁に出現するパターンであるかどうかを判定し、その判定結果に基づいて重要度を判断することとしてもよい。
　また、例えば、次元数決定部２０は、特徴点検出部１０による特徴点検出時の情報に基づいて各特徴点の重要度を判断することとしてもよい。具体的には、次元数決定部２０は、例えば、特徴点のスケールの情報に基づいて特徴点の重要度を判断してもよい。例えば、次元数決定部２０は、スケール値が大きい特徴点は重要度が高いと判断することとしてもよい。
　次元選定部１８は、次元数決定部２０により決定された次元数に基づいて、第１の実施形態の次元選定部１８と同様に特徴ベクトルの次元を選定し、局所特徴量として出力することができる。なお、上述したように、選定される次元数は、画像から検出される全ての特徴点に対して同じであってもよいし、特徴点ごとに異なっていてもよい。
　このように、第２の実施形態の局所特徴量抽出装置１Ｂでは、次元数決定部２０が、次元選定部１８において選定される次元数を決定することができる。これにより、ユーザ入力や通信容量、端末の処理スペックなどに基づいて、適切な次元数を決定することが可能となる。
　＝＝第３の実施形態＝＝
　次に第３の実施形態について説明する。図１４は、本発明の第３の実施形態における局所特徴量抽出装置の構成を示す図である。第３の実施形態においては、特徴ベクトルを量子化することにより、局所特徴量のサイズをさらに小さくすることが可能である。図１４に示すように、局所特徴量抽出装置１Ｃは、特徴点検出部１０、局所領域取得部１２、サブ領域分割部１４、サブ領域特徴ベクトル生成部１６、次元選定部１８、及び量子化部２２を含んで構成される。このように、局所特徴量抽出装置１Ｃは、第１の実施形態の局所特徴量抽出装置１Ａに量子化部２２を追加した構成となっている。なお、第１の実施形態と同一の構成要素については同一の符号を付して説明を省略する。
　量子化部２２は、サブ領域特徴ベクトル生成部１６から出力される勾配方向ヒストグラムの各次元をＮ値に量子化することができる。なお、量子化部２２における量子化手法は任意である。量子化部２２は、ベクトル量子化などによって複数の次元をまとめて量子化するのではなく、各次元を個別に量子化することができる。これにより、次元選定部１８は、量子化が行われた後においても、第１の実施形態の場合と同様に次元の選定を行うことができる。
　量子化の具体例について説明する。例えば、Ｎ＝２の場合、量子化部２２は図１５に示すように勾配方向ヒストグラムの各次元を２値に量子化することができる。ここで、勾配方向ヒストグラムにおける勾配方向の数をＤ（例えば、Ｄ＝６や、Ｄ＝８）、各サブ領域の勾配方向ヒストグラムの値をｈi（ｉ＝０，・・・，Ｄ－１）とあらわすこととする。量子化部２２は、ｈiの量子化値ｑi（ｉ＝０，・・・，Ｄ－１）を次式（３）に基づいて求めることができる。
Figure JPOXMLDOC01-appb-M000003
 　また、量子化部２２は、閾値ｔｈを例えば次式（４）により算出することができる。
Figure JPOXMLDOC01-appb-M000004
 　ここで、αはあらかじめ決められた係数である。なお、αは全てのサブ領域に対して同じ値であってもよいし、サブ領域ごとに異なる値であってもよい。
　また、式（４）による閾値は一例であり、量子化部２２は、他の式に基づいて閾値ｔｈを算出することとしてもよい。例えば、量子化部２２は、閾値ｔｈを、ｔｈ＝α・ｍａｘ（ｈi：ｉ＝０，・・・，Ｄ－１）として算出してもよい。また、量子化部２２は、量子化値０と１とがほぼ半数となるように閾値を定めることとしてもよい。具体的には、量子化部２２は、例えば、ｈi（ｉ＝０，・・・，Ｄ－１）を昇順にソートした前半半分の量子化値を０、後半半分の量子化値を１とすることができる。
　また、量子化部２２は、閾値ｔｈをサブ領域ごとに定めてもよいし、局所領域全体で定めてもよい。例えば、量子化部２２は、式（４）による閾値ｔｈの計算を、サブ領域ごとではなく、局所領域全体の勾配方向ヒストグラムの値を用いて行うことにより、閾値ｔｈを局所領域全体で定めることができる。
　このように、第３の実施形態の局所特徴量抽出装置１Ｃでは、量子化部２２によって特徴ベクトルの量子化を行うことにより、局所特徴量のサイズをさらに小さくすることができる。
　＝＝第４の実施形態＝＝
　次に第４の実施形態について説明する。図１６は、本発明の４の実施形態における局所特徴量抽出装置の構成を示す図である。第４の実施形態においては、次元選定が行われた後に量子化を行うことにより、局所特徴量のサイズをさらに小さくすることが可能である。図１６に示すように、局所特徴量抽出装置１Ｄは、特徴点検出部１０、局所領域取得部１２、サブ領域分割部１４、サブ領域特徴ベクトル生成部１６、次元選定部１８、及び量子化部２４を含んで構成される。このように、局所特徴量抽出装置１Ｄは、第１の実施形態の局所特徴量抽出装置１Ａに量子化部２４を追加した構成となっている。なお、第１の実施形態と同一の構成要素については同一の符号を付して説明を省略する。
　量子化部２４は、第３の実施形態における量子化部２２と同様に、特徴ベクトルの各次元を個別に量子化することができる。さらに、量子化部２４は、例えばベクトル量子化の手法を用いることにより、特徴ベクトルの複数の次元をまとめて量子化することも可能である。
　このように、第４の実施形態の局所特徴量抽出装置１Ｄでは、量子化部２４によって特徴ベクトルの量子化を行うことにより、局所特徴量のサイズをさらに小さくすることができる。また、量子化部２４が特徴ベクトルの複数の次元をまとめて量子化する場合、第３の実施形態と比較して、量子化の対象となる次元数を少なくし、量子化に必要な処理量を低減することができる。
　＝＝第５の実施形態＝＝
　次に第５の実施形態について説明する。図１７は、本発明の第５の実施形態における局所特徴量抽出装置の構成を示す図である。図１７に示すように、局所特徴量抽出装置１Ｅは、特徴点検出部１０、局所領域取得部１２、サブ領域分割部１４、サブ領域特徴ベクトル生成部１６、次元選定部１８、及び特徴ベクトル拡張部２６を含んで構成される。このように、局所特徴量抽出装置１Ｅは、第１の実施形態の局所特徴量抽出装置１Ａに特徴ベクトル拡張部２６を追加した構成となっている。なお、第１の実施形態と同一の構成要素については同一の符号を付して説明を省略する。また、特徴ベクトル拡張部２６は、第１の実施形態に限らず、他の実施形態の特徴量抽出装置に対しても適用可能である。
　特徴ベクトル拡張部２６は、サブ領域特徴ベクトル生成部１６から出力された特徴ベクトルを用いて、より大きなスケール（拡張分割領域）における次元を生成することにより、特徴ベクトルを拡張することができる。なお、特徴ベクトル拡張部２６は、サブ領域特徴ベクトル生成部１６から出力される特徴ベクトルのみの情報を用いて特徴ベクトルを拡張することができる。したがって、特徴ベクトルを拡張するために元の画像に戻って特・BR>・抽出を行う必要がないため、元の画像から特徴ベクトルを生成する処理時間と比較すると、特徴ベクトルの拡張にかかる処理時間はごくわずかである。
　例えば、特徴ベクトル拡張部２６は、隣接するサブ領域の勾配方向ヒストグラムを合成することにより、新たな勾配方向ヒストグラムを生成してもよい。例えば、特徴ベクトル拡張部２６は、サブ領域分割部１４で分割されたＮ×Ｎブロックの勾配方向ヒストグラム（Ｎ×Ｎ×Ｄ次元）から、隣接する２×２＝４ブロックの勾配方向ヒストグラムの総和をとる（同一勾配の要素の総和をとる）ことにより、（Ｎ－１）×（Ｎ－１）ブロックの勾配方向ヒストグラム（（Ｎ－１）×（Ｎ－１）×Ｄ次元）を生成してもよい。これにより、特徴ベクトル拡張部２６は、元の特徴ベクトルに基づいて、スケール（２×２ブロック）での勾配方向ヒストグラムを生成することができる。このように生成される特徴ベクトルは、元の特徴ベクトルには無い新たな情報（より大きなスケールでのヒストグラム情報）であるため、識別精度を向上させることが可能となる。また、拡張する際に考慮するブロックは２×２ブロックに限られない。例えば、特徴ベクトル拡張部２６は、３×３ブロックの勾配方向ヒストグラムの総和をとることにより、（Ｎ－２）×（Ｎ－２）ブロックの勾配方向ヒストグラム（（Ｎ－２）×（Ｎ－２）×Ｄ次元）を生成してもよい。このように、特徴ベクトル拡張部２６は、順次ブロックサイズを拡張することにより、階層的なスケールの勾配方向ヒストグラムを生成していくことができる。
　図１８は、２×２ブロックの勾配方向ヒストグラムの総和をとる（同一勾配の要素の総和をとる）ことにより特徴ベクトルを拡張する場合の一例を示す図である。図１８に示すように、特徴ベクトル拡張部２６は、例えば、５×５×６次元（１５０次元）の勾配方向ヒストグラムを拡張することにより、４×４×６次元（９６次元）の勾配方向ヒストグラムを生成することができる。
　図１８の例では、５×５＝２５ブロックの階層（階層１と呼ぶ）のブロックをラスタスキャン順に番号ｂ１（ｂ１＝０，１，・・・，２４）で表し、拡張して生成される４×４＝１６ブロックの階層（階層２と呼ぶ）のブロックをラスタスキャン順に番号ｂ２（ｂ２＝０，１，・・・，１５）で表すと、
　ブロックｂ２＝０のヒストグラムは、ブロックｂ１＝０、１、５、６から生成され、
　ブロックｂ２＝１は、ブロックｂ１＝１、２、６、７から生成され、
　ブロックｂ２＝２は、ブロックｂ１＝２、３、７、８から生成され、
　ブロックｂ２＝３は、ブロックｂ１＝３、４、８、９から生成され、
　ブロックｂ２＝４は、ブロックｂ１＝５、６、１０、１１から生成され、
　ブロックｂ２＝５は、ブロックｂ１＝６、７、１１、１２から生成され、
　ブロックｂ２＝６は、ブロックｂ１＝７、８、１２、１３から生成され、
　ブロックｂ２＝７は、ブロックｂ１＝８、９、１３、１４から生成され、
　ブロックｂ２＝８は、ブロックｂ１＝１０、１１、１５、１６から生成され、
　ブロックｂ２＝９は、ブロックｂ１＝１１、１２、１６、１７から生成され、
　ブロックｂ２＝１０は、ブロックｂ１＝１２、１３、１７、１８から生成され、
　ブロックｂ２＝１１は、ブロックｂ１＝１３、１４、１８、１９から生成され、
　ブロックｂ２＝１２は、ブロックｂ１＝１５、１６、２０、２１から生成され、
　ブロックｂ２＝１３は、ブロックｂ１＝１６、１７、２１、２２から生成され、
　ブロックｂ２＝１４は、ブロックｂ１＝１７、１８、２２、２３から生成され、
　ブロックｂ２＝１５は、ブロックｂ１＝１８、１９、２３、２４から生成される。
　同様に、特徴ベクトル拡張部２６は、５×５×６次元（１５０次元）の勾配方向ヒストグラムから、隣接する３×３ブロックの勾配方向ヒストグラムの総和をとることにより、３×３×６次元（５４次元）の勾配方向ヒストグラムを生成することも可能である。また、特徴ベクトル拡張部２６は、拡張により生成された４×４×６次元（９６次元）の勾配方向ヒストグラムをもとにして、さらに拡張された勾配方向ヒストグラムを生成することも可能である。例えば、特徴ベクトル拡張部２６は、図１８に示すように、拡張により生成された４×４×６次元（９６次元）の勾配方向ヒストグラムをもとにして、２×２ブロックの勾配方向ヒストグラムの総和をとることにより、さらに３×３×６次元（５４次元）の勾配方向ヒストグラムを生成することができる。
　この例では、３×３＝９ブロックの階層（階層３と呼ぶ）のブロックをラスタスキャン順に番号ｂ３（ｂ３＝０，１，・・・，８）で表すと、
　ブロックｂ３＝０のヒストグラムは、ブロックｂ２＝０、１、４、５から生成され、
　ブロックｂ３＝１は、ブロックｂ２＝１、２、５、６から生成され、
　ブロックｂ３＝２は、ブロックｂ２＝２、３、６、７から生成され、
　ブロックｂ３＝３は、ブロックｂ２＝４、５、８、９から生成され、
　ブロックｂ３＝４は、ブロックｂ２＝５、６、９、１０から生成され、
　ブロックｂ３＝５は、ブロックｂ２＝６、７、１０、１１から生成され、
　ブロックｂ３＝６は、ブロックｂ２＝８、９、１２、１３から生成され、
　ブロックｂ３＝７は、ブロックｂ２＝９、１０、１３、１４から生成され、
　ブロックｂ３＝８は、ブロックｂ２＝１０、１１、１４、１５から生成される。
　また、特徴ベクトル拡張部２６は、後段の次元選定部１８において選択される次元とは異なる次元を用いて勾配方向ヒストグラムを拡張することも可能である。図２０に具体例を示す。例えば、次元選定部１８において、１５０次元の勾配方向ヒストグラムから７５次元が選択される場合、特徴ベクトル拡張部２６は、残りの（非選択の）７５次元を拡張することにより９６次元の勾配方向ヒストグラムを生成することとしてもよい。
　例えば、階層１において図７に示した優先順位に従って７５次元が選択されたとする。ここで、勾配方向ヒストグラムにおける量子化された勾配方向をｉ（ｉ＝０，１，２，３，４，５）とすると、ブロックｂ１＝偶数番号のブロックではｉ＝０，２，４の要素の次元が選択され、ブロックｂ１＝奇数番号のブロックではｉ＝１，３，５の要素の次元が選択される。
　したがって、特徴ベクトル拡張部２６は、拡張された階層２の９６次元の勾配方向ヒストグラムを生成するときは、階層１のブロックｂ１＝偶数番号のブロックでは非選択のｉ＝１，３，５の要素の次元、ブロックｂ１＝奇数番号のブロックでは非選択のｉ＝０，２，４の要素の次元、のみを用いて階層２の勾配方向ヒストグラムを生成することができる。
　例えば、上述の例で、階層２のブロックｂ２＝０の勾配方向ヒストグラムを、階層１のブロックｂ１＝０、１、５、６の勾配方向ヒストグラムから生成するときに、特徴ベクトル拡張部２６は、ブロックｂ１＝０、６では非選択のｉ＝１，３，５の要素の次元のみ、ブロックｂ１＝１、５では非選択のｉ＝０，２，４の要素の次元のみを用いてもよい。
　次元選定部１８は、こうして生成された階層２の９６次元の勾配方向ヒストグラムから、階層１と同様のパターン（ｉ＝０，２，４の要素を選定するブロックと、ｉ＝１，３，５の要素を選定するブロックとが交互に並ぶ）で半分の４８次元を選択してもよい（合計で７５＋４８＝１２３次元）。
　そして、特徴ベクトル拡張部２６は、階層２から階層３へ拡張する際は、同様に階層２の非選択の４８次元を用いて、階層３の５４次元の勾配方向ヒストグラムを生成してもよい。そしてさらに、次元選定部１８は、生成された階層３の５４次元の勾配方向ヒストグラムから、同様のパターン（ｉ＝０，２，４の要素を選定するブロックと、ｉ＝１，３，５の要素を選定するブロックとが交互に並ぶ）で半分の２７次元を選択してもよい（合計で７５＋４８＋２７＝１５０次元）。
　これにより、拡張により生成される勾配方向ヒストグラムは、次元選定部１８から出力される特徴ベクトルには無い新たな情報であるため、識別精度を向上させることが可能となる。
　そして、次元選定部１８は、図１８の右側に示すように、各スケールで生成された勾配方向ヒストグラムについて、隣接するサブ領域間で、同一の勾配方向を選定しないように次元を選定することにより局所特徴量を出力することができる。
　次に、階層２で生成された９６次元の勾配方向ヒストグラム（４×４＝１６ブロック）から、次元選択する優先順位の例を示す。階層２から選択する次元のうち、１～１６次元、１７次元～３２次元、３３次元～４８次元の間は、次元選定部１８は、例えば図２１に示すようなブロックの順番で次元を追加するように選定していってもよい。
　図２１に示す優先順位を用いることにより、次元選定部１８は、中心に近いブロックの優先順位を高くして、勾配方向を選定していくことができる。また、ブロック番号をｂ２、勾配方向ヒストグラムにおける量子化された勾配方向をｉ（ｉ＝０，１，２，３，４，５）、９６次元の勾配方向ヒストグラムの特徴ベクトルの要素の番号ｋ（ｋ＝０，１，・・・，９５）をｋ＝６×ｂ＋ｉとした場合に、例えば図２２に示した優先順位に従って次元（要素）を順に選択していってもよい。
　次に、階層３で生成された５４次元の勾配方向ヒストグラム（３×３＝９ブロック）から、次元選択する優先順位の例を示す。階層３から選択する次元のうち、１～９次元、１０次元～１８次元、１９次元～２７次元の間は、次元選定部１８は、例えば図２３に示すようなブロックの順番で次元を追加するように選定していってもよい。図２３に示す優先順位を用いる場合、次元選定部１８は、中心に近いブロックの優先順位を高くして、勾配方向を選定していくことができる。また、ブロック番号をｂ３、勾配方向ヒストグラムにおける量子化された勾配方向をｉ（ｉ＝０，１，２，３，４，５）、５４次元の勾配方向ヒストグラムの特徴ベクトルの要素の番号ｋ（ｋ＝０，１，・・・，５３）をｋ＝６×ｂ＋ｉとした場合に、次元選定部１８は、例えば図２４に示した優先順位に従って次元（要素）を順に選択していってもよい。
　また具体例として、次元選定部１８は、図７に示した階層１の優先順位に従って１～７５次元（１５０次元の半分）を順に選択していき、次に図２２に示した階層２の優先順位に従って１～４８次元（９６次元の半分）を順に選択していき、７６～１２３次元を構成してもよい（７５次元＋４８次元＝１２８次元）。またさらに、次元選定部１８は、次に図２４に示した階層３の優先順位に従って１～２７次元（５４次元の半分）を順に選択していき、１２４～１５０次元を構成してもよい（７５次元＋４８次元＋２７次元＝１５０次元）。
　なお、特徴ベクトル拡張部２６における拡張のパターンは上述の例に限られない。例えば、特徴ベクトル拡張部２６は、サブ領域（ブロック）ごとの勾配方向ヒストグラムを量子化することにより、拡張された特徴ベクトルを生成することとしてもよい。具体的には、例えば、局所領域全体の勾配方向ヒストグラムの総和量に係数αを掛けた値を閾値として、各サブ領域の勾配方向ヒストグラムの総和量が閾値以下であれば０、閾値以上であれば１とすることにより、拡張された特徴ベクトルを生成することができる。また、特徴ベクトル拡張部２６は、勾配方向ヒストグラムの総和ではなく、例えば差分によって特徴ベクトルを拡張することも可能である。具体的には、例えば、特徴ベクトル拡張部２６は、異なるサブ領域間の勾配方向ヒストグラムの同一次元の値の差分に基づいて特徴ベクトルを拡張することとしてもよい。
　また、第３の実施形態や第４の実施形態との組み合わせで、特徴ベクトル（勾配方向ヒストグラム）を量子化してもよい。なお、量子化は、階層ごと（階層１、階層２、階層３）に、異なるパラメータを用いて行ってもよい。例えば、量子化を式（１）に基づいて行い、その閾値ｔｈを式２で算出する場合に、係数αを階層ごとに異なる値にしてもよい。例えば階層１ではα＝0.063、階層２ではα＝0.10、階層３ではα＝0.12などである。
　このように、第５の実施形態の局所特徴量抽出装置１Ｅでは、特徴ベクトル拡張部２６によって特徴ベクトルを拡張することができる。これにより、元の特徴ベクトルには無い新たな情報を含む特徴ベクトルが生成され、識別精度を向上させることができる。
　＝＝第６の実施形態＝＝
　次に第６の実施形態について説明する。図２５は、本発明の第６の実施形態における局所特徴量抽出装置の構成を示す図である。図２５に示すように、局所特徴量抽出装置１Ｆは、特徴点検出部１０、局所領域取得部１２、サブ領域分割部１４、第１のサブ領域特徴ベクトル生成部１６、第２のサブ領域特徴ベクトル生成部２８、及び次元選定部１８を含んで構成される。このように、局所特徴量抽出装置１Ｆは、第１の実施形態の局所特徴量抽出装置１Ａに第２のサブ領域特徴ベクトル生成部２８を追加した構成となっている。なお、第１の実施形態と同一の構成要素については同一の符号を付して説明を省略する。また、第２のサブ領域特徴ベクトル生成部２８は、第１の実施形態に限らず、他の実施形態の特徴量抽出装置に対しても適用可能である。
　第２のサブ領域特徴ベクトル生成部２８は、第１のサブ領域特徴ベクトル生成部１６とは異なる勾配方向の勾配方向ヒストグラムを生成することができる。例えば、第１のサブ領域特徴ベクトル生成部１６が４５°間隔の８方向の勾配方向ヒストグラムを生成する場合であれば、第２のサブ領域特徴ベクトル生成部２８は、６０°間隔の６方向の勾配方向ヒストグラムを生成することとしてもよい。
　そして、次元選定部１８は、第１のサブ領域特徴ベクトル生成部１６および第２のサブ領域特徴ベクトル生成部２８のそれぞれで生成された特徴ベクトルについて、隣接するサブ領域間で、同一の勾配方向を選定しないように次元を選定することにより局所特徴量を出力することができる。
　このように、第６の実施形態の局所特徴量抽出装置１Ｆでは、第２のサブ領域特徴ベクトル生成部２８が、第１のサブ領域特徴ベクトル生成部１６とは異なる勾配方向の勾配方向ヒストグラムを生成するため、特徴ベクトルの情報量が増加し、識別精度を向上させることが可能となる。
　なお、第６の実施形態では第１のサブ領域特徴ベクトル生成部１６および第２のサブ領域特徴ベクトル生成部２８の２つを示したが、特徴ベクトル生成部は３つ以上であってもよい。
　＝＝第７の実施形態＝＝
　次に第７の実施形態について説明する。図２６は、本発明の第７の実施形態における局所特徴量抽出装置の構成を示す図である。図２６に示すように、局所特徴量抽出装置１Ｇは、特徴点検出部１０、局所領域取得部１２、第１のサブ領域分割部１４、第２のサブ領域分割部３０、第１のサブ領域特徴ベクトル生成部１６、第２のサブ領域特徴ベクトル生成部２８、及び次元選定部１８を含んで構成される。このように、局所特徴量抽出装置１Ｇは、第６の実施形態の局所特徴量抽出装置１Ｆに第２のサブ領域分割部３０を追加した構成となっている。なお、第６の実施形態と同一の構成要素については同一の符号を付して説明を省略する。
　第２のサブ領域分割部３０は、第１のサブ領域分割部１４とは異なる手法により領域分割を行うことができる。例えば、第１のサブ領域分割部１４が局所領域を４×４ブロックに分割する場合であれば、第２のサブ領域分割部３０は５×５ブロックに分割することとしてもよい。
　そして、第１のサブ領域特徴ベクトル生成部１６は、第１のサブ領域分割部１４により分割されたサブ領域ごとに勾配方向ヒストグラムを生成する。また、第２のサブ領域特徴ベクトル生成部２８は、第２のサブ領域分割部３０により分割されたサブ領域ごとに勾配方向ヒストグラムを生成する。
　このように、第７の実施形態の局所特徴量抽出装置１Ｇでは、第２のサブ領域分割部３０が、第１のサブ領域分割部１４とは異なる手法により局所領域の分割を行うため、特徴ベクトルの情報量が増加し、識別精度を向上させることが可能となる。
　なお、第７の実施形態では第１のサブ領域分割部１４および第２のサブ領域分割部３０の２つを示したが、サブ領域分割部は３つ以上であってもよい。
　＝＝第８の実施形態＝＝
　次に第８の実施形態について説明する。図２７は、本発明の第８の実施形態における局所特徴量抽出装置の構成を示す図である。図２７に示すように、局所特徴量抽出装置１Ｈは、特徴点検出部１０、第１の局所領域取得部１２、第２の局所領域取得部３２、第１のサブ領域分割部１４、第２のサブ領域分割部３０、第１のサブ領域特徴ベクトル生成部１６、第２のサブ領域特徴ベクトル生成部２８、及び次元選定部１８を含んで構成される。このように、局所特徴量抽出装置１Ｈは、第７の実施形態の局所特徴量抽出装置１Ｇに第２の局所領域取得部３２を追加した構成となっている。なお、第７の実施形態と同一の構成要素については同一の符号を付して説明を省略する。
　第２の局所領域取得部３２は、第１の局所領域取得部１２とは異なる手法により局所領域を取得することができる。例えば、第１の局所領域取得部１２が正方形の局所領域を取得する場合であれば、第２の局所領域取得部３２は円形の局所領域を取得することとしてもよい。
　そして、第１のサブ領域分割部１４は、第１の局所領域取得部１２により取得された局所領域をサブ領域に分割する。また、第２のサブ領域分割部３０は、第２の局所領域取得部３２により取得された局所領域をサブ領域に分割する。
　このように、第８の実施形態の局所特徴量抽出装置１Ｈでは、第２の局所領域取得部３２が、第１の局所領域取得部１２とは異なる手法により局所領域の取得を行うため、特徴ベクトルの情報量が増加し、識別精度を向上させることが可能となる。
　なお、第８の実施形態では第１の局所領域取得部１２および第２の局所領域取得部３２の２つを示したが、局所領域取得部は３つ以上であってもよい。
　＝＝第９の実施形態＝＝
　次に第９の実施形態について説明する。図２８は、本発明の第９の実施形態における局所特徴量抽出装置の構成を示す図である。図２８に示すように、局所特徴量抽出装置１Ｊは、特徴点検出部１０、局所領域取得部１２、サブ領域分割部１４、サブ領域特徴ベクトル生成部１６、次元選定部１８、及び符号化部３４を含んで構成される。このように、局所特徴量抽出装置１Ｊは、第１の実施形態の局所特徴量抽出装置１Ａに符号化部３４を追加した構成となっている。なお、第１の実施形態と同一の構成要素については同一の符号を付して説明を省略する。また、符号化部３４は、第１の実施形態に限らず、他の実施形態の特徴量抽出装置に対しても適用可能である。
　符号化部３４は、次元選定部１８から出力される、優先順位順に次元が並んでいる特徴ベクトルを符号化し、特徴量のビットストリームとして出力することができる。符号化部３４は、例えば、特徴ベクトルを固定ビット長で符号化してもよい。また、符号化部３４は、例えば、ハフマン符号や算術符号を用いたエントロピー符号化等のロスレス符号化（可逆圧縮）による符号化を行ってもよいし、ロッシー符号化（非可逆圧縮）による符号化を行ってもよい。
　具体的には、例えば、特徴ベクトルが第３の実施形態に示した量子化部２２によって０・１の２値に量子化されたバイナリ特徴量の場合であれば、符号化部３４は、Ｎ次元をＮビット（Ｎ／８バイト）として固定ビット長で符号化してもよい。例えば、符号化部３４は、９６次元の特徴ベクトル（９６ビット）を９６／８＝１２バイトとして符号化することとしてもよい。また例えば、符号化部３４は、ハフマン符号や算術符号などを用いてエントロピー符号化してもよい。また例えば、符号化部３４は、算術符号などのエントロピー符号を用いる際に、すでに符号化済みの次元の情報を用いることで効率的な符号化（コンテキスト符号化）を行うこととしてもよい。
　また、符号化部３４は、画像から抽出された特徴ベクトル群の情報を用いて符号化を行うことも可能である。例えば、画像の中には繰り返し出現するパターンが多いため、符号化部３４は、それらの類似した特徴ベクトルをグルーピングすることにより符号化することとしてもよい。また、画像が動画のフレームの場合は、符号化部３４は、連続するフレーム間で特徴点のトラッキング（追跡）を行って、過去のフレームの特徴点から対応を取り、特徴ベクトルの差分値だけを符号化することとしてもよい。このように、符号化部３４が特徴ベクトル群の情報を用いて符号化を行うことにより、特徴ベクトルを個々に圧縮するよりも更に大きな符号化圧縮が可能となる。
　また、符号化部３４は、画像から抽出された特徴ベクトル群について、任意の順番で符号化を行うことができる。例えば、符号化部３４は、特徴ベクトル（特徴点）の抽出された順に符号化していくこととしてもよい。また、特徴点の特徴ベクトルと共に、特徴点の座標位置（Ｘ座標値、Ｙ座標値）の情報も符号化したい場合がある。この場合、符号化部３４は、特徴点をラスタスキャン順などのある決められた順序に並び替え、その座標値の差分値だけを符号化することとしてもよい。この場合、符号化部３４は、特徴ベクトルの符号化をこの順序に符号化することができる。これにより、特徴点の座標値を固定ビット長で符号化する場合よりも短いビット長で座標値の情報を符号化することができる。
　また、特徴点の特徴ベクトルと共に、特徴点検出部１０が出力する特徴点のスケール情報も符号化したい場合がある。この場合、符号化部３４は、特徴ベクトルをスケール値順に並び替えて符号化し、スケール値が変化する番号とそのスケール値のみを符号化することができる。これにより、個々の特徴ベクトルに対してスケール値を全て符号化する必要がなくなる。また、スケール情報と座標値の両方を符号化する場合、符号化部３４は、特徴ベクトルをスケール値順に並び替え、同じスケール値の特徴点に対してはラスタスキャン順で符号化していくことも可能である。また、符号化部３４は、スケール情報と同様に角度情報についても符号化することができる。
　また、符号化部３４は、特徴ベクトル群を特徴点の重要度順に符号化していくこともできる。なお、特徴点の重要度は、例えば、第１の実施形態の場合と同様の基準とすることができる。これにより、特徴量のマッチング（照合）を行う装置は、先頭から（重要な特徴点から）順に特徴量のマッチングを行っていき、マッチングの可否（マッチするか否か）が判定できた段階でマッチングを打ち切るなど、効率的なマッチングを行うことができる。
　また、画像全体で選定された特徴ベクトルの次元数が同じである場合、符号化部３４は、その次元数をビットストリームの先頭などに記述（符号化）すればよい。また、特徴点ごとに次元数が異なる場合、符号化部３４は、個々の特徴点の次元数がわかるようにその情報を符号化する必要がある。この場合、符号化部３４は、特徴点ごとに次元数の情報を符号化してもよい。また、符号化部３４は、スケール情報の符号化を行う場合と同様に、特徴ベクトルを次元数順に並び替えて符号化し、次元数が変化する番号とその次元数の値のみを符号化することとしてもよい。これにより、個々の特徴ベクトルに対して次元数の値を全て符号化する必要がなくなる。
　このように、第９の実施形態の局所特徴量抽出装置１Ｊでは、符号化部３４が、局所特徴量の符号化を行うため、特徴量のサイズをさらに小さくすることができる。
　＝＝適用例＝＝
　図２９は、第１～第９の実施形態に示した局所特徴量抽出装置を適用可能な照合システムの一例を示す図である。図２９に示すように、照合システムは、照合装置１００、特徴量データベース（ＤＢ：Ｄａｔａｂａｓｅ）１１０、及び局所特徴量抽出装置１２０を含んで構成されている。
　照合装置１００は、局所特徴量抽出装置１２０から送信される検索要求に含まれる局所特徴量を特徴量ＤＢ１１０に記憶されている局所特徴量と照合することにより、局所特徴量抽出装置１２０に入力された画像内の被写体と類似する被写体を含む画像を検索することができる。
　特徴量ＤＢ１１０は、複数の画像から抽出された局所特徴量を抽出元の画像と対応づけて記憶している。特徴量ＤＢ１１０に記憶されている局所特徴量は、例えば図７に示した順序で出力された１５０次元の特徴ベクトルとすることができる。
　局所特徴量抽出装置１２０は、第１～第９のいずれかの実施形態において示された局所特徴量抽出装置を用いることができる。
　局所特徴量抽出装置１２０は、入力画像において検出される特徴点の局所特徴量を含む検索要求を生成して照合装置１００に送信する。照合装置１００では、受信した局所特徴量を特徴量ＤＢ１１０に記憶されている局所特徴量と照合することにより、入力画像に類似する画像を判定する。そして、照合装置１００は、入力画像に類似していると判定した画像を示す情報を検索結果として局所特徴量抽出装置１２０に出力する。
　このような照合システムにおいて、局所特徴量抽出装置１２０では、第１～第９の実施形態で説明したように、サブ領域の位置関係に基づいて、近接するサブ領域間の相関が低くなるように、局所特徴量として出力する次元（要素）が選定されている。したがって、照合装置１００での照合精度を維持しつつ、局所特徴量のサイズを小さくすることができる。
　したがって、局所特徴量抽出装置１２０から照合装置１００に局所特徴量を送信する際の通信時間を短くすることができる。また、局所特徴量のサイズが小さいため、照合装置１００での照合の処理負荷を低くすることができる。さらに、図７に示したように、局所特徴量が階層的（プログレッシブ）な構造となっているため、局所特徴量抽出装置１２０で抽出された局所特徴量の次元数と、特徴量ＤＢ１１０に記憶１１０に格納されている局所特徴量の次元数とが異なる場合であっても、照合装置１００は、互いに共通する次元数までの局所特徴量を用いることにより照合処理を実行することができる。
　例えば、図３０に示すように、特徴量ＤＢ１１０に記憶されている局所特徴量が１５０次元であり、局所特徴量抽出装置１２０で抽出される局所特徴量が５０次元である場合を考える。この場合、照合装置１００は、双方の５０次元までの局所特徴量を用いることにより照合を行うことができる。つまり、例えば局所特徴量抽出装置１２０の処理能力に応じて局所特徴量の次元数を変更しても、変更された次元数の局所特徴量を用いて、照合装置１００において照合処理を実行することが可能である。
　なお、本実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更／改良され得るととともに、本発明にはその等価物も含まれる。
　この出願は、２０１１年１１月１８日に出願された日本出願特願２０１１－２５３２５７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　本実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）画像内の特徴点を検出する特徴点検出部と、各特徴点に対する局所領域を取得する局所領域取得部と、各局所領域を複数のサブ領域に分割するサブ領域分割部と、各局所領域内のサブ領域ごとに複数次元の特徴ベクトルを生成するサブ領域特徴ベクトル生成部と、各局所領域内のサブ領域の位置関係に基づいて、近接するサブ領域間の相関が低くなるようにサブ領域ごとに前記特徴ベクトルから次元を選定し、選定された次元の要素を局所領域の特徴量として出力する次元選定部と、を備える局所特徴量抽出装置。
（付記２）付記１に記載の局所特徴量抽出装置であって、前記次元選定部は、隣接するサブ領域間において、選定される次元が少なくとも１つは異なるように前記特徴ベクトルから次元を選定する、局所特徴量抽出装置。
（付記３）付記１または２に記載の局所特徴量抽出装置であって、前記次元選定部は、局所領域内の複数のサブ領域の特徴ベクトルにおいて次元を選定するための選定順位に従って、前記特徴ベクトルから次元を選定する、局所特徴量抽出装置。
（付記４）付記３に記載の局所特徴量抽出装置であって、前記次元選定部は、前記選定順位に従って選定された次元の順に、選定された次元の要素を局所領域の特徴量として出力する、局所特徴量抽出装置。
（付記５）付記１～４の何れか一項に記載の局所特徴量抽出装置であって、前記次元選定部において選定される次元数を決定する次元数決定部をさらに備え、前記次元選定部は、局所領域の特徴量の次元数が前記決定された次元数となるように、前記特徴ベクトルから次元を選定する、局所特徴量抽出装置。
（付記６）付記５に記載の局所特徴量抽出装置であって、前記次元数決定部は、検出された前記特徴点の数に応じて、各特徴点に対する局所領域の特徴量において選定される次元数を決定する、局所特徴量抽出装置。
（付記７）付記５に記載の局所特徴量抽出装置であって、前記次元数決定部は、各特徴点の重要度を示す情報に基づいて、各特徴点に対する局所領域の特徴量において選定される次元数を決定する、局所特徴量抽出装置。
（付記８）付記１～７の何れか一項に記載の局所特徴量抽出装置であって、サブ領域ごとの前記特徴ベクトルを量子化する量子化部をさらに備え、前記次元選定部は、量子化された前記特徴ベクトルから次元を選定する、局所特徴量抽出装置。
（付記９）付記１～７の何れか一項に記載の局所特徴量抽出装置であって、前記局所領域の特徴量を量子化する量子化部をさらに備える、局所特徴量抽出装置。
（付記１０）付記１～９の何れか一項に記載の局所特徴量抽出装置であって、近接する複数のサブ領域の前記特徴ベクトルに基づいて、前記サブ領域より大きいサブ領域である拡張サブ領域における特徴ベクトルを生成する特徴ベクトル拡張部をさらに備え、前記次元選定部は、さらに、各局所領域内の拡張サブ領域の位置関係に基づいて、近接する拡張サブ領域間の相関が低くなるように拡張サブ領域ごとに前記特徴ベクトルから次元を選定し、選定された次元の要素を局所領域の特徴量として出力する、局所特徴量抽出装置。
（付記１１）付記１０に記載の局所特徴量抽出装置であって、前記特徴ベクトルの要素は方向に依存した特徴量であり、前記特徴ベクトル拡張部は、サブ領域ごとの前記特徴ベクトルにおける、前記次元選定部で選定されない次元の要素に基づいて、前記拡張サブ領域における特徴ベクトルを生成する、局所特徴量抽出装置。
（付記１２）付記１～１１の何れか一項に記載の局所特徴量抽出装置であって、各局所領域内のサブ領域ごとに、前記サブ領域特徴ベクトル生成部により生成される特徴ベクトルとは少なくとも１つの要素の方向が異なる、複数次元の特徴ベクトルを生成する第２のサブ領域特徴ベクトル生成部をさらに備える、局所特徴量抽出装置。
（付記１３）付記１２に記載の局所特徴量抽出装置であって、各局所領域を、前記サブ領域分割部により分割される複数のサブ領域とは異なる、複数のサブ領域に分割する第２のサブ領域分割部をさらに備え、前記第２のサブ領域特徴ベクトル生成部は、前記第２のサブ領域分割部により分割されたサブ領域ごとに前記特徴ベクトルを生成する、局所特徴量抽出装置。
（付記１４）付記１３に記載の局所特徴量抽出装置であって、各特徴点に対して、前記局所領域取得部により取得される局所領域とは異なる局所領域を取得する第２の局所領域取得部をさらに備え、前記第２のサブ領域分割部は、前記第２の局所領域取得部により取得される各局所領域を複数のサブ領域に分割する、局所特徴量抽出装置。
（付記１５）コンピュータが、画像内の特徴点を検出し、各特徴点に対する局所領域を取得し、各局所領域を複数のサブ領域に分割し、各局所領域内のサブ領域ごとに複数次元の特徴ベクトルを生成し、各局所領域内のサブ領域の位置関係に基づいて、近接するサブ領域間の相関が低くなるようにサブ領域ごとに前記特徴ベクトルから次元を選定し、選定された次元の要素を局所領域の特徴量として出力する、局所特徴量抽出方法。
（付記１６）コンピュータに、画像内の特徴点を検出する機能と、各特徴点に対する局所領域を取得する機能と、各局所領域を複数のサブ領域に分割する機能と、各局所領域内のサブ領域ごとに複数次元の特徴ベクトルを生成する機能と、各局所領域内のサブ領域の位置関係に基づいて、近接するサブ領域間の相関が低くなるようにサブ領域ごとに前記特徴ベクトルから次元を選定し、選定された次元の要素を局所領域の特徴量として出力する機能と、を実現させるためのプログラム。
（付記１７）付記１～１４の何れか一項に記載の局所特徴量抽出装置であって、前記局所領域の特徴量を符号化する符号化部をさらに備える、局所特徴量抽出装置。
　１Ａ～１Ｊ　局所特徴量抽出装置
　１０　特徴点抽出部
　１２　局所領域取得部
　１４　サブ領域分割部
　１６　サブ領域特徴ベクトル生成部
　１８　次元選定部
　２０　次元数決定部
　２２，２４　量子化部
　２６　特徴ベクトル拡張部
　３４　符号化部

Claims (16)

  1. 　画像内の特徴点を検出する特徴点検出部と、
    　各特徴点に対する局所領域を取得する局所領域取得部と、
    　各局所領域を複数のサブ領域に分割するサブ領域分割部と、
    　各局所領域内のサブ領域ごとに複数次元の特徴ベクトルを生成するサブ領域特徴ベクトル生成部と、
    　各局所領域内のサブ領域の位置関係に基づいて、近接するサブ領域間の相関が低くなるようにサブ領域ごとに前記特徴ベクトルから次元を選定し、選定された次元の要素を局所領域の特徴量として出力する次元選定部と、
    　を備える局所特徴量抽出装置。
  2. 　請求項１に記載の局所特徴量抽出装置であって、
    　前記次元選定部は、隣接するサブ領域間において、選定される次元が少なくとも１つは異なるように前記特徴ベクトルから次元を選定する、
    　局所特徴量抽出装置。
  3. 　請求項１または２に記載の局所特徴量抽出装置であって、
    　前記次元選定部は、局所領域内の複数のサブ領域の特徴ベクトルにおいて次元を選定するための選定順位に従って、前記特徴ベクトルから次元を選定する、
    　局所特徴量抽出装置。
  4. 　請求項３に記載の局所特徴量抽出装置であって、
    　前記次元選定部は、前記選定順位に従って選定された次元の順に、選定された次元の要素を局所領域の特徴量として出力する、
    　局所特徴量抽出装置。
  5. 　請求項１～４の何れか一項に記載の局所特徴量抽出装置であって、
    　前記次元選定部において選定される次元数を決定する次元数決定部をさらに備え、
    　前記次元選定部は、局所領域の特徴量の次元数が前記決定された次元数となるように、前記特徴ベクトルから次元を選定する、
    　局所特徴量抽出装置。
  6. 　請求項５に記載の局所特徴量抽出装置であって、
    　前記次元数決定部は、検出された前記特徴点の数に応じて、各特徴点に対する局所領域の特徴量において選定される次元数を決定する、
    　局所特徴量抽出装置。
  7. 　請求項５に記載の局所特徴量抽出装置であって、
    　前記次元数決定部は、各特徴点の重要度を示す情報に基づいて、各特徴点に対する局所領域の特徴量において選定される次元数を決定する、
    　局所特徴量抽出装置。
  8. 　請求項１～７の何れか一項に記載の局所特徴量抽出装置であって、
    　サブ領域ごとの前記特徴ベクトルを量子化する量子化部をさらに備え、
    　前記次元選定部は、量子化された前記特徴ベクトルから次元を選定する、
    　局所特徴量抽出装置。
  9. 　請求項１～７の何れか一項に記載の局所特徴量抽出装置であって、
    　前記局所領域の特徴量を量子化する量子化部をさらに備える、
    　局所特徴量抽出装置。
  10. 　請求項１～９の何れか一項に記載の局所特徴量抽出装置であって、
    　近接する複数のサブ領域の前記特徴ベクトルに基づいて、前記サブ領域より大きいサブ領域である拡張サブ領域における特徴ベクトルを生成する特徴ベクトル拡張部をさらに備え、
    　前記次元選定部は、さらに、各局所領域内の拡張サブ領域の位置関係に基づいて、近接する拡張サブ領域間の相関が低くなるように拡張サブ領域ごとに前記特徴ベクトルから次元を選定し、選定された次元の要素を局所領域の特徴量として出力する、
    　局所特徴量抽出装置。
  11. 　請求項１０に記載の局所特徴量抽出装置であって、
    　前記特徴ベクトルの要素は方向に依存した特徴量であり、
    　前記特徴ベクトル拡張部は、サブ領域ごとの前記特徴ベクトルにおける、前記次元選定部で選定されない次元の要素に基づいて、前記拡張サブ領域における特徴ベクトルを生成する、
    　局所特徴量抽出装置。
  12. 　請求項１～１１の何れか一項に記載の局所特徴量抽出装置であって、
    　各局所領域内のサブ領域ごとに、前記サブ領域特徴ベクトル生成部により生成される特徴ベクトルとは少なくとも１つの要素の方向が異なる、複数次元の特徴ベクトルを生成する第２のサブ領域特徴ベクトル生成部をさらに備える、
    　局所特徴量抽出装置。
  13. 　請求項１２に記載の局所特徴量抽出装置であって、
    　各局所領域を、前記サブ領域分割部により分割される複数のサブ領域とは異なる、複数のサブ領域に分割する第２のサブ領域分割部をさらに備え、
    　前記第２のサブ領域特徴ベクトル生成部は、前記第２のサブ領域分割部により分割されたサブ領域ごとに前記特徴ベクトルを生成する、
    　局所特徴量抽出装置。
  14. 　請求項１３に記載の局所特徴量抽出装置であって、
    　各特徴点に対して、前記局所領域取得部により取得される局所領域とは異なる局所領域を取得する第２の局所領域取得部をさらに備え、
    　前記第２のサブ領域分割部は、前記第２の局所領域取得部により取得される各局所領域を複数のサブ領域に分割する、
    　局所特徴量抽出装置。
  15. 　コンピュータが、
    　画像内の特徴点を検出し、
    　各特徴点に対する局所領域を取得し、
    　各局所領域を複数のサブ領域に分割し、
    　各局所領域内のサブ領域ごとに複数次元の特徴ベクトルを生成し、
    　各局所領域内のサブ領域の位置関係に基づいて、近接するサブ領域間の相関が低くなるようにサブ領域ごとに前記特徴ベクトルから次元を選定し、選定された次元の要素を局所領域の特徴量として出力する、
    　局所特徴量抽出方法。
  16. 　コンピュータに、
    　画像内の特徴点を検出する機能と、
    　各特徴点に対する局所領域を取得する機能と、
    　各局所領域を複数のサブ領域に分割する機能と、
    　各局所領域内のサブ領域ごとに複数次元の特徴ベクトルを生成する機能と、
    　各局所領域内のサブ領域の位置関係に基づいて、近接するサブ領域間の相関が低くなるようにサブ領域ごとに前記特徴ベクトルから次元を選定し、選定された次元の要素を局所領域の特徴量として出力する機能と、
    　を実現させるためのプログラム。
PCT/JP2012/079671 2011-11-18 2012-11-15 局所特徴量抽出装置、局所特徴量抽出方法、及びプログラム WO2013073621A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US14/359,049 US9613287B2 (en) 2011-11-18 2012-11-15 Local feature descriptor extracting apparatus, method for extracting local feature descriptor, and program
JP2013544318A JP6044547B2 (ja) 2011-11-18 2012-11-15 局所特徴量抽出装置、局所特徴量抽出方法、及びプログラム
CN201280056878.6A CN104115189B (zh) 2011-11-18 2012-11-15 局部特征量提取装置、用于提取局部特征量的方法
EP12848829.3A EP2782066B1 (en) 2011-11-18 2012-11-15 Local feature descriptor extracting apparatus, method for extracting local feature descriptor, and program
KR1020147016516A KR101611778B1 (ko) 2011-11-18 2012-11-15 국소 특징 기술자 추출 장치, 국소 특징 기술자 추출 방법, 및 프로그램을 기록한 컴퓨터 판독가능 기록 매체

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011253257 2011-11-18
JP2011-253257 2011-11-18

Publications (1)

Publication Number Publication Date
WO2013073621A1 true WO2013073621A1 (ja) 2013-05-23

Family

ID=48429675

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/079671 WO2013073621A1 (ja) 2011-11-18 2012-11-15 局所特徴量抽出装置、局所特徴量抽出方法、及びプログラム

Country Status (6)

Country Link
US (1) US9613287B2 (ja)
EP (1) EP2782066B1 (ja)
JP (1) JP6044547B2 (ja)
KR (1) KR101611778B1 (ja)
CN (1) CN104115189B (ja)
WO (1) WO2013073621A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160034990A (ko) * 2013-07-24 2016-03-30 시스벨 테크놀로지 에스.알.엘. 그래디언트 히스토그램에 기초하여 이미지 디스크립터를 인코딩하기 위한 이미지 프로세싱 장치 및 방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013073622A1 (ja) * 2011-11-18 2013-05-23 日本電気株式会社 局所特徴量抽出装置、局所特徴量抽出方法、及びプログラム
US9792528B2 (en) * 2012-01-30 2017-10-17 Nec Corporation Information processing system, information processing method, information processing apparatus and control method and control program thereof, and communication terminal and control method and control program thereof
AU2012261715B2 (en) * 2012-12-13 2015-06-25 Canon Kabushiki Kaisha Method, apparatus and system for generating a feature vector
JP6193779B2 (ja) * 2013-06-03 2017-09-06 株式会社デンソーアイティーラボラトリ 特徴量変換装置、学習装置、認識装置、及び特徴量変換プログラム
US9594944B2 (en) * 2013-09-25 2017-03-14 Xerox Corporation Methods and systems for monitoring a worker performing a crowdsourced task
US9544655B2 (en) * 2013-12-13 2017-01-10 Nant Holdings Ip, Llc Visual hash tags via trending recognition activities, systems and methods
US9508018B2 (en) * 2014-11-24 2016-11-29 Texas Instruments Incorporated Systems and methods for object detection
US9883183B2 (en) 2015-11-23 2018-01-30 Qualcomm Incorporated Determining neighborhood video attribute values for video data
US10043100B2 (en) * 2016-04-05 2018-08-07 Omni Ai, Inc. Logical sensor generation in a behavioral recognition system
US10353950B2 (en) * 2016-06-28 2019-07-16 Google Llc Visual recognition using user tap locations
US10453204B2 (en) * 2016-12-06 2019-10-22 Adobe Inc. Image alignment for burst mode images
CN111275053B (zh) * 2020-01-16 2023-11-10 北京腾信软创科技股份有限公司 一种局部特征描述子的表示方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8259998B2 (en) 2008-09-30 2012-09-04 Mazda Motor Corporation Image processing device for vehicle
US8374442B2 (en) 2008-11-19 2013-02-12 Nec Laboratories America, Inc. Linear spatial pyramid matching using sparse coding
US20100246969A1 (en) * 2009-03-25 2010-09-30 Microsoft Corporation Computationally efficient local image descriptors
JP5714599B2 (ja) 2009-12-02 2015-05-07 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ イメージ認識のための記述子パッチの高速部分空間射影
CN101980250B (zh) 2010-10-15 2014-06-18 北京航空航天大学 基于降维局部特征描述子和隐条件随机场的目标识别方法
CN102004916B (zh) 2010-11-15 2013-04-24 无锡中星微电子有限公司 图像特征提取系统及其方法
CN102169581A (zh) 2011-04-18 2011-08-31 北京航空航天大学 一种基于特征向量的快速高精度鲁棒性匹配方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
DAVID G. LOWE: "Distinctive image features from scale-invariant keypoints", U.S.), INTERNATIONAL JOURNAL OF COMPUTER VISION, vol. 60, no. 2, 2004, pages 91 - 110, XP002756976, DOI: doi:10.1023/B:VISI.0000029664.99615.94
HIRONOBU FUJIYOSHI: "Gradient-Based Feature Extraction : SIFT and HOG", IPSJ SIG NOTES, vol. 2007, no. 87, 3 September 2007 (2007-09-03), pages 211 - 224, XP055150076 *
KOICHI KISE: "Specific Object Recognition by Image Matching Using Local Features", JOURNAL OF JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, vol. 25, no. 6, 1 November 2010 (2010-11-01), pages 769 - 776, XP008173967 *
See also references of EP2782066A4
TAKAYUKI HONDO: "Inspection of Memory Reduction Methods for Specific Object Recognition", IPSJ SIG NOTES, vol. 2009, no. 29, 6 March 2009 (2009-03-06), pages 171 - 176, XP008173892 *
TAKUMI KOBAYASHI: "Higher-order Local Auto- correlation Based Image Features and Their Applications", THE JOURNAL OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS, vol. 94, no. 4, 1 April 2011 (2011-04-01), pages 335 - 340, XP008173964 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160034990A (ko) * 2013-07-24 2016-03-30 시스벨 테크놀로지 에스.알.엘. 그래디언트 히스토그램에 기초하여 이미지 디스크립터를 인코딩하기 위한 이미지 프로세싱 장치 및 방법
CN105493106A (zh) * 2013-07-24 2016-04-13 西斯维尔科技有限公司 用于基于梯度直方图编码图像描述符的图像处理装置和方法
JP2016525752A (ja) * 2013-07-24 2016-08-25 シズベル テクノロジー エス．アール．エル． 勾配ヒストグラムに基づいて画像記述子を符号化する方法および関連する画像処理装置
CN110298367A (zh) * 2013-07-24 2019-10-01 新运全球有限公司 基于梯度直方图编码图像描述符的图像处理装置和方法
CN110365979A (zh) * 2013-07-24 2019-10-22 新运全球有限公司 基于梯度直方图编码图像描述符的图像处理装置和方法
KR102175697B1 (ko) * 2013-07-24 2020-11-09 뉴 럭 글로벌 리미티드 그래디언트 히스토그램에 기초하여 이미지 디스크립터를 인코딩하기 위한 이미지 프로세싱 장치 및 방법

Also Published As

Publication number Publication date
KR20140091069A (ko) 2014-07-18
EP2782066A1 (en) 2014-09-24
JPWO2013073621A1 (ja) 2015-04-02
CN104115189B (zh) 2016-12-28
US20140321755A1 (en) 2014-10-30
US9613287B2 (en) 2017-04-04
CN104115189A (zh) 2014-10-22
KR101611778B1 (ko) 2016-04-15
JP6044547B2 (ja) 2016-12-14
EP2782066A4 (en) 2016-03-16
EP2782066B1 (en) 2019-09-11

Similar Documents

Publication Publication Date Title
JP6044547B2 (ja) 局所特徴量抽出装置、局所特徴量抽出方法、及びプログラム
JP6044548B2 (ja) 局所特徴量抽出装置、局所特徴量抽出方法、及びプログラム
JP6429134B2 (ja) 勾配ヒストグラムに基づいて画像記述子を変換する方法および関連する画像処理装置
JP6103243B2 (ja) 局所特徴量抽出装置、局所特徴量抽出方法、及びプログラム
US10026197B2 (en) Signal processing method, signal processing apparatus, and storage medium
WO2013089146A1 (ja) 情報処理システム、情報処理方法、通信端末およびその制御方法と制御プログラム
KR102002573B1 (ko) 빠른 직교 투영
RU2001109354A (ru) Способ, устройство, компьютерная программа, компьютерная система и считываемый компьютером носитель данных для представления и поиска объекта на изображении
KR102175697B1 (ko) 그래디언트 히스토그램에 기초하여 이미지 디스크립터를 인코딩하기 위한 이미지 프로세싱 장치 및 방법
US9189693B2 (en) Information processing apparatus and information processing method
JP6772737B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP4382744B2 (ja) 画像情報抽出方法及び画像情報検索方法及びプログラム
KR20140104789A (ko) 정지영상의 식별자 생성 방법 및 이를 수행하는 영상 처리 장치
CN116777727B (zh) 存算一体芯片、图像处理方法、电子设备及存储介质
JP5841418B2 (ja) 情報処理装置、情報処理方法、及びプログラム
Amato et al. Indexing vectors of locally aggregated descriptors using inverted files
WO2019230665A1 (ja) 学習装置、検索装置、方法、及びプログラム
JPH10336661A (ja) 画像符号化・復号化装置、画像符号化・復号化方法及び画像符号化・復号化プログラムを記録する記録媒体
EP3079081A1 (en) Method and device for coding the coordinates of a set of points

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12848829

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012848829

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2013544318

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14359049

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20147016516

Country of ref document: KR

Kind code of ref document: A