WO2010087124A1 - 特徴量選択装置 - Google Patents

特徴量選択装置 Download PDF

Info

Publication number
WO2010087124A1
WO2010087124A1 PCT/JP2010/000246 JP2010000246W WO2010087124A1 WO 2010087124 A1 WO2010087124 A1 WO 2010087124A1 JP 2010000246 W JP2010000246 W JP 2010000246W WO 2010087124 A1 WO2010087124 A1 WO 2010087124A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
image
types
feature quantity
images
Prior art date
Application number
PCT/JP2010/000246
Other languages
English (en)
French (fr)
Inventor
岩元浩太
大網亮磨
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US13/056,767 priority Critical patent/US8620087B2/en
Priority to KR1020117016483A priority patent/KR101404401B1/ko
Priority to JP2010548397A priority patent/JP4766197B2/ja
Priority to CN201080005948.6A priority patent/CN102301395B/zh
Priority to EP10735596.8A priority patent/EP2333718B1/en
Publication of WO2010087124A1 publication Critical patent/WO2010087124A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation

Definitions

  • the present invention relates to an apparatus for selecting a feature quantity, and more particularly to an apparatus for selecting a plurality of feature quantities suitable for an image identifier for identifying an image (determining image identity) from many types of feature quantities. .
  • the image identifier is an image feature amount for identifying an image (determining identity). An image identifier extracted from one image is compared with an image identifier extracted from another image, and based on the comparison result, an identity scale (generally, similarity or distance indicating the degree to which the two images are identical) Can be calculated. Further, it is possible to determine whether or not two images are the same by comparing the calculated identity scale with a certain threshold value.
  • the two images are the same is not limited to the case where the two images are the same at the level of the image signal (the pixel values of the pixels constituting the image), but the conversion of the compression format (format) of the image, Image size / aspect ratio conversion, image tone adjustment, various image filtering (sharpening, smoothing, etc.), local processing of images (telop overlay, clipping, etc.), image recapturing
  • image recapturing The case where one image is a duplicated image of the other image by various modification processes such as. If an image identifier is used, for example, a copy of a moving image that is an image or a collection of images can be detected. Therefore, the image identifier can be applied to an illegal copy detection system for images or moving images.
  • An image identifier generally consists of a set of multiple feature values. If each feature amount included in the set is one dimension, the image identifier is a multi-dimensional feature vector. In particular, a quantization index (quantized value) that is a discrete value is often used as the feature amount. Examples of image identifiers are described in Non-Patent Document 1, Non-Patent Document 2, and Patent Document 1. In the methods described in these documents, feature amounts are extracted for each of multiple local regions of an image, the extracted feature amounts are quantized to calculate a quantization index, and the calculated quantization index for each local region is quantized. An image identifier is used as an index vector.
  • Non-Patent Document 1 and Non-Patent Document 2 an image is divided into blocks, and feature quantities (quantization indexes) are extracted using each block as a local region.
  • feature quantities quantization indexes
  • a luminance index pattern in a block classified into 11 types is used as a quantization index.
  • Non-Patent Document 2 (a technique described as “Local Edge Representation” in Non-Patent Document 2), a quantized index is obtained by quantizing the centroid position of the edge point extracted from the block.
  • a feature quantity (a feature quantity that increases the accuracy of image identity determination) that is suitable for an image identifier composed of a set of a plurality of feature quantities (optimizing performance).
  • Non-Patent Document 1 The image identifiers described in Non-Patent Document 1, Non-Patent Document 2, and Patent Document 1 are extracted from local regions in which each feature amount is determined for each feature amount (different from each other). Therefore, in the examples of these documents, the selection of what local area the feature quantity is extracted from (which local area is determined as each feature quantity) affects the performance of the image identifier. It will be.
  • the decision (selection) of the feature quantities is generally performed through empirical knowledge and trial and error experiments.
  • the local region of each feature amount is a block obtained by regularly dividing an image.
  • a technique for automatically selecting feature quantities so as to optimize performance is used in the field of pattern recognition.
  • PCA Principal Component Analysis
  • LDA Linear Discriminant Analysis
  • the feature quantity is considered in consideration of both the identification ability that is the degree to which different images can be distinguished and the robustness that is the degree that the value of the feature quantity does not change due to various modifications to the image. Is not selected, the performance of the image identifier cannot be optimized (the image identity determination accuracy cannot be optimized).
  • the principal component analysis (PCA) method maximizes the information of the entire feature quantity distribution, so it does not consider the robustness of the feature quantity (feature quantity selection considering the robustness of the feature quantity Can not).
  • the linear discriminant analysis (LDA) method is suitable for feature selection of class classification (problem to classify into a finite number of classes), but is suitable for feature selection of identifiers for which no class is defined in advance (image). No (not feature selection in consideration of discriminating ability and robustness in image identifiers).
  • an object of the present invention is to provide a feature quantity selection device that solves the problem that it is difficult to optimize the performance of image identifiers (image identity determination accuracy).
  • a feature amount selection device extracts M types of feature amounts from each of a plurality of original images and a plurality of modified images obtained by performing modification processing on the plurality of original images.
  • Feature quantity extraction means and the ability to identify different images by treating the original image, its modified image, and modified images of the same original image as the same image, and other images as different images And the robustness that is the degree to which the value of the feature value does not change due to the image modification process, the M feature values extracted from each of the images are evaluated, and the M feature values are evaluated.
  • a feature quantity selecting means for selecting a set of N kinds of feature quantities smaller than M as feature quantities for identifying an image.
  • the present invention is configured as described above, it is possible to optimize performance of an image identifier (accuracy determination accuracy of an image) composed of a set of a plurality of feature amounts for identifying an image.
  • FIG. 1 It is a block diagram of a 1st embodiment of the present invention. It is a figure which shows the extraction method of a polymorphic area comparison feature-value. It is a figure which shows an example of the data memorize
  • the feature amount extraction apparatus selects N types (N ⁇ M) of feature amounts less than M suitable as image identifiers from M types of feature amounts using an image group included in an image database. Then, information indicating the selected N types of feature quantities is output.
  • a feature quantity suitable as an image identifier refers to a feature quantity that increases the accuracy of image identity determination.
  • a set of N types of feature amounts selected by the feature amount selection apparatus according to the present invention is used as a feature amount of each dimension in an N-dimensional feature vector (image identifier).
  • N-dimensional feature vectors image identifiers
  • a method of calculating an identity scale a method of calculating based on comparison of values of identical (corresponding dimensions) feature values (for example, feature values) It is assumed that the number of dimensions with the same value (quantized index) is calculated as the similarity, and the Hamming distance, the Euclidean distance, the cosine similarity (inner product), etc. are calculated).
  • M and N do not have to be predetermined numerical values (constants), and may be variables whose values change as long as M> 2 and N ⁇ M.
  • a feature quantity extraction apparatus includes an image modification means 11, a feature quantity extraction parameter generation means 12, a feature quantity extraction means 13, a feature quantity selection means 14, an original image.
  • the storage unit 21, the modified image storage unit 22, the feature amount extraction parameter storage unit 23, and the feature amount storage unit 24 are configured.
  • the original image storage means 21 is an image database that stores a large number of original images in association with image IDs such as numbers for uniquely identifying the original images.
  • the original image stored in the original image storage unit 21 is used by the feature quantity selection device according to the present embodiment to select a feature quantity suitable for the image identifier.
  • the original image stored in the original image storage unit 21 is supplied to the image modification unit 11 and the feature amount extraction unit 13.
  • the original image group stored in the original image storage means 21 is used to select a feature quantity suitable for the image identifier, it is desirable to include more original images (for example, 10,000 or more).
  • the original image group stored in the original image storage unit 21 is used to select a feature quantity suitable for the image identifier, an image composed of the feature quantity selected by the feature quantity selection device of the present embodiment. It is desirable that the image group has the same tendency as the target image group using the identifier (an image group having a similar tendency). For example, in the case where the object to use the image identifier is an image or moving image on the Internet (for example, illegal use of the image or moving image on the Internet is used to detect duplication), it is stored in the original image storage means 21.
  • the original image group is preferably an image group obtained by uniformly sampling all images on the Internet.
  • the original image group stored in the original image storage unit 21 is desirably an image group obtained by sampling various landscape images.
  • the original image group stored in the original image storage unit 21 is an image group obtained by sampling various picture images.
  • the target image group using the image identifier is a mixture of various types of images
  • the original image group stored in the original image storage means 21 is the target image. It is desirable that they are mixed in the same proportion as the group.
  • the original image group included in the original image storage unit 21 is an image group having the same tendency as the image group to be an object using the image identifier (an image group having a similar tendency). Since a more appropriate feature amount can be selected as an image identifier for identifying an image for an image group, an image identifier with higher accuracy of image identity determination can be configured.
  • the image modification unit 11 performs a modification process on the original image supplied from the original image storage unit 21 to generate a modified image.
  • the generated modified image is stored in the modified image storage unit 22 in association with the original image of the generation source so that it is clear from which original image the modified image is generated.
  • a method for associating the original image with the modified image is arbitrary. For example, a method in which a value obtained by concatenating a branch number for uniquely identifying a plurality of modified images generated from the original image to the image ID assigned to the original image is given to the modified image as an image ID of the modified image. Good.
  • modification processing includes the following processing. However, these processes are merely examples, and are not limited to these. Further, the image modifying unit 11 may perform a combination of these (for example, (A) + (D)).
  • A Image compression format conversion
  • B Image size / aspect ratio conversion
  • C Image color adjustment / monochrome
  • D Various filter processing (sharpening, smoothing, etc.)
  • E Local processing on images (telop overlay, clipping, etc.)
  • G Black band addition to the image (black band is inserted at the top, bottom, left or right of the screen by aspect conversion of 4: 3 and 16: 9, for example. The black margin area).
  • H Image recapture
  • the image modification unit 11 may generate a plurality of types of modified images by performing a plurality of types of modification processing on each of the original images stored in the original image storage unit 21 (that is, the number of modified images). May be greater than the number of original images).
  • the modification process performed by the image modification unit 11 requires the robustness of the modification process performed on the image using the image identifier composed of the feature quantity selected by the feature quantity selection apparatus of the present embodiment or the target using the image identifier. It is desirable that the modification process be the same (the same tendency). For example, in a system that uses an image identifier, robustness to the above (A), (B), (C), and (D) is required (or (A), (B), ( In the case where the modification process (C) and (D) are performed), the image modification unit 11 desirably performs the modification processes (A), (B), (C), and (D).
  • the image modification unit 11 can perform each type of modification processing at the same rate as that performed on the target. desirable.
  • the modification process performed by the image modification unit 11 is the same as the modification process performed on the object using the image identifier or the modification process required to be robust (the tendency is similar).
  • a more robust feature amount can be selected as an image identifier for identifying an image, an image identifier with higher accuracy of image identity determination can be configured.
  • Feature amount extraction parameter generation means 12 generates a feature amount extraction parameter that is a parameter for extracting a feature amount from an image for each of the M types of feature amounts.
  • the generated M types of feature quantity extraction parameters are stored in the feature quantity extraction parameter storage unit 23.
  • the feature amount extraction parameter generation unit 12 for generating M types of feature amount extraction parameters is provided.
  • an embodiment in which the feature amount extraction parameter generation unit 12 is omitted is also conceivable. .
  • M types of feature quantity extraction parameters generated by the same or similar means as the feature quantity extraction parameter generation unit 12 or created manually are feature quantities. It is stored in advance in the extraction parameter storage means 23.
  • M may be any number (N ⁇ M) larger than the number N of feature amounts to be selected as the feature amount of the image identifier, but is preferably several times to several tens of times N.
  • N is an appropriate value based on requirements such as image identifier identity determination accuracy, image identifier size, and collation speed
  • M is preferably, for example, about 2000 to 5000 or more.
  • the M types of feature quantities extracted by the M types of feature quantity extraction parameters may be of any type. However, it is desirable that the feature quantity is improved so as to be effective for more types of images. One example will be described with reference to FIG.
  • FIG. 2 is a diagram showing a method of extracting an example of feature quantities improved so as to be effective for more types of images (hereinafter referred to as multi-shaped region comparison feature quantities).
  • the multi-shaped region comparison feature amount is determined in advance for each dimension of the feature vector in two extraction regions (first extraction region and second extraction region) in the image for extracting the feature amount. Yes.
  • the feature that the shape of the extraction region is diverse is a major difference between the multi-shaped region comparison feature value and the feature value described in Patent Document 1.
  • the average luminance value of the first extraction region and the second extraction region determined for each dimension is calculated for each dimension, and the average luminance value of the first extraction region is calculated.
  • the average luminance value of the second extraction region are compared (that is, based on the difference value) and quantized into three values (+1, 0, ⁇ 1) to obtain a quantization index.
  • the absolute value of the difference value between the average luminance value of the first extraction region and the average luminance value of the second extraction region is equal to or less than a predetermined threshold value, the average luminance of the first extraction region and the second extraction region It is assumed that there is no difference in the values, and the quantization index is 0 indicating that there is no difference.
  • the magnitude of the average luminance value of the first extraction region and the average luminance value of the second extraction region is set to In comparison, if the average luminance value of the first extraction area is larger, the quantization index is +1, and otherwise the quantization index is -1.
  • the quantization index Qn of dimension n is given by Can be calculated.
  • the feature quantity extraction parameter corresponding to the feature quantity is information indicating the first extraction area and the second extraction area of each feature quantity. For example, a set of pixel coordinate values of the first extraction region and a set of pixel coordinate values of the second extraction region in a certain normalized image size (for example, 320 ⁇ 240 pixels) are used as feature amount extraction parameters. Also good. Further, the extraction area may be expressed as fewer parameters. For example, if the shape of the extraction region is a rectangle, the coordinate values of the four corners of the rectangle may be used as the feature amount extraction parameter. For example, if the shape of the extraction region is a circle, the coordinate value and the radius value of the center of the circle May be used as a feature amount extraction parameter. In addition, when the threshold value th differs for each type of feature value, the threshold value th may also be included in the feature value extraction parameter.
  • the feature quantity extraction parameter generation means 12 may automatically generate feature quantity extraction parameters for M types of multi-shaped region comparison feature quantities, for example, using pseudo-random numbers. For example, a random number sequence may be generated from a seed of a pseudo random number, and the shape of the extraction region and the threshold th may be automatically generated based on the generated random number. For example, when the shape of the extraction region is a quadrangle, the coordinate values of the four corners of the extraction region may be automatically generated based on the generated random number.
  • the M types of feature quantities have the same characteristic as the average luminance value.
  • the M types of feature quantities are not limited to feature quantities having the same characteristics.
  • feature quantities having different characteristics such as color information, frequency information, and edge information may be mixed as M types of feature quantities. That is, for example, some of M types of feature quantities are multi-shaped region comparison feature quantities, some are feature quantities based on color information, some are feature quantities based on frequency information, and some are edge information.
  • a feature amount extraction parameter may be generated as a feature amount based on the feature amount.
  • the feature amount extraction unit 13 inputs the original image stored in the original image storage unit 21 and the modified image stored in the modified image storage unit 22, and receives M types of M stored in the feature amount extraction parameter storage unit 23. M types of feature quantities are extracted from each of the original image and the modified image according to a feature quantity extraction parameter that defines a feature quantity extraction method.
  • the feature amount extraction unit 13 includes two extraction units: a feature amount extraction unit 131 that extracts M types of feature amounts from the original image, and a feature amount extraction unit 132 that extracts M types of feature amounts from the modified image. Yes. These two feature quantity extraction units 131 and 132 may be operated simultaneously in parallel, or may be operated one by one in order.
  • the M types of feature quantities extracted from the original image and the M types of feature quantities extracted from the modified image are stored in the feature quantity storage unit 24.
  • the feature amount storage unit 24 stores the M types of feature amounts extracted from the original image and the M types of feature amounts extracted from the modified image of the original image in association with each other.
  • the association method may be arbitrary. For example, if the image ID of the modified image is obtained by concatenating a branch number to the image ID of the original image, the image ID of the original image is assigned to a set of M types of feature values extracted from the original image. If an image ID of the modified image is assigned to a set of M types of feature values extracted from the modified image of the original image, the M types extracted from the original image can be identified by identifying the image ID. And the correspondence between the M types of feature amounts extracted from the modified image of the original image can be recognized.
  • the feature quantity storage unit 24 of this example stores feature quantity groups 24-1 to 24-x corresponding to the original image stored in the original image storage unit 21 on a one-to-one basis.
  • One feature quantity group for example, the feature quantity group 24-1, includes original image feature quantity data 241 composed of an image ID of a corresponding original image and M types of feature quantities extracted from the original image, and its original elements. It includes modified image feature data 241-1 to 241-y composed of the image ID of the modified image of the image and M kinds of feature values extracted from the modified image.
  • images belonging to the same feature quantity group that is, one original image and its modified image
  • images belonging to different feature quantity groups are treated as different images.
  • the feature quantity selection unit 14 uses the M types of feature quantity values extracted from the original image stored in the feature quantity storage unit 24 and the M types of feature quantity values extracted from the modified image to generate a feature.
  • the function of the feature quantity selection unit 14 will be described in detail.
  • the value of features extracted from the original image group represents a random variable X n
  • the value of features extracted from modified image group represents a random variable X 'n.
  • the feature quantity can be regarded as a random variable that takes any value (quantization index) of ⁇ +1, 0, ⁇ 1 ⁇ .
  • the discrimination ability of the set S N ⁇ X 1 , X 2 ,..., X N ⁇ is represented as D (S N ).
  • D (S N ) indicates that the larger the value, the greater the discrimination capability.
  • N ⁇ X ′ 1 , X ′ 2 ,..., X ′ N ⁇ .
  • R (S N , S ′ N ) indicates that the greater the value, the greater the robustness.
  • E (S N , S ′ N ) D (S N ) + R (S N , S ′ N ) ...
  • the feature quantity selection unit 14 selects a set of N types of feature quantities so that the value of E (S N , S ′ N ) according to the evaluation formula 2 becomes large. For example, a set of N types of feature values that maximizes the value of E (S N , S ′ N ) may be selected (in a lump). Alternatively, a set of feature amounts may be selected by sequentially selecting (adding) feature amounts so that the value of E (S N , S ′ N ) increases.
  • ⁇ n ⁇ + 1,0, ⁇ 1 ⁇ .
  • the discrimination ability of a set of feature quantities can be considered to be, for example, that the discrimination ability increases as the information entropy of each feature quantity increases.
  • the greater the information entropy the more likely the appearance probability of the value (probability variable X n ) of each feature value is, so the redundancy is reduced and the discrimination capability is increased.
  • the appearance probability of the value (probability variable X n ) of each feature value is biased to a specific value, the redundancy increases and the information entropy decreases, so that the discrimination ability decreases.
  • the discrimination ability D (S N ) of the feature quantity set can be calculated as the sum of the information entropy of each feature quantity.
  • H (X n ) of the random variable X n of the feature quantity n can be calculated by the following equation.
  • H (X n ) ⁇ ⁇ AA p (x n ) log p (x n )... [Formula 3]
  • the subscript AA below ⁇ means x n ⁇ n .
  • the probability that the feature value of the original image group is +1, 0, ⁇ 1 may be calculated from the appearance frequency.
  • the discriminating ability D (S N ) possessed by the set of feature amounts can be calculated, for example, as the sum of the information entropy H (X n ) of each feature amount by the following equation.
  • the discrimination ability of a set of feature quantities is, for example, that the smaller the correlation between the feature quantities and the higher the stochastic independence, the smaller the redundancy, and thus the greater the discrimination ability. . This is because even if feature quantities having a large correlation with each other are collected, the redundancy is increased and the identification ability for identifying an image does not increase.
  • the mutual information amount can be used as a scale representing the degree of correlation between the feature amounts.
  • a random variable X k of the feature amount k (X n; X k) can be calculated by the following equation.
  • I (X n; X k) ⁇ BB ⁇ CC p (x n, x k) log [p (x n, x k) / ⁇ p (x n) p (x k) ⁇ ] ...
  • the subscript BB below ⁇ means x n ⁇ n
  • CC means x k ⁇ k .
  • p (x n , x k ) can be calculated from the feature value of the supplied original image group.
  • the sum of the mutual information amounts is negative (-is added) because the value of the discrimination ability D (S N ) is increased as the sum of the mutual information amounts is smaller.
  • the discrimination ability D (S N ) possessed by the set of feature amounts may be calculated as the following equation by taking the sum of Equations 4 and 6.
  • DD DD p
  • Equation 8 the calculation of the joint entropy according to Equation 8 is not realistic when the number of N is large because the calculation amount increases in an exponential order as the number of feature amounts increases.
  • the calculation method of the discrimination ability D (S N ) according to the expressions 4, 6, 7, and 8 described here is an example, and is not limited to these calculation methods.
  • the discrimination ability may be calculated not from the feature value (probability variable X n ) of the original image group but from the feature value (probability variable X ′ n ) of the modified image group. Or you may calculate from what mixed them.
  • the robustness R (S N , S ′ N ) of the set of feature amounts is, for example, the value (probability variable X n ) of the feature amount of the original image group of each feature amount and the modified image.
  • corresponding feature quantity value of the group random variable X 'condition is calculated from n
  • X 'n) is a random variable X' feature values of n random variables X n (the original image group that remains when learned (feature amount of the value of the modified image group) If the probability that the feature value does not change before and after modification is high (the probability that the feature value matches before and after modification is high), that is, if the robustness is large, conditional entropy H (X n
  • X ′ n ) of the feature quantity n can be calculated by the following equation.
  • X ' n ) - ⁇ EE ⁇ FF p (x n , x' n ) log p (x n
  • EE subscript EE below ⁇ means x n ⁇ n
  • FF means x ′ n ⁇ n .
  • x ′ n ) is a conditional probability and can be calculated from the supplied feature value of the original image group and the corresponding feature value of the modified image group.
  • the feature amount is the above-described multi-shaped region comparison feature amount
  • X ' n + 1)
  • X' n 0)
  • X ' n -1)
  • X' n + 1)
  • X' n + 1)
  • X ' n + 1)
  • X ' n
  • the robustness R (S N , S ′ N ) of the set of feature quantities is, for example, based on the sum of the conditional entropy H (X n
  • X ′ n ) is negative (added to ⁇ ) because the smaller the sum of conditional entropy H (X n
  • the sum E (S N , S ′ N ) of the discrimination ability and the robustness is, for example, any one of formula 4, formula 6, formula 7, and formula 8 as a calculation method of the discrimination ability D (S N ).
  • the sum may be calculated by combining Equation 9 or Equation 11 as a method of calculating the robustness R (S N , S ′ N ).
  • the sum of the discriminating ability D (S N ) and the robustness R (S N , S ′ N ) may be calculated using an appropriate weighting coefficient ⁇ as in the following equation.
  • E (S N , S ′ N ) ⁇ D (S N ) + (1 ⁇ ) R (S N , S ′ N ) (Formula 12)
  • the feature quantity selecting means 14 is configured so that the N types of feature quantities are increased so that the value of E (S N , S ′ N ) according to the evaluation formula 2 of the sum of discrimination ability and robustness as described above increases. Select a set. For example, a set of N types of feature quantities that maximizes E (S N , S ′ N ) may be selected at once. However, it is generally difficult to select a set of N types of feature values collectively so that E (S N , S ′ N ) becomes large. This is because E (S N , S ′ N ) needs to be calculated and evaluated for every combination of feature quantities, and the number of combinations becomes enormous.
  • a feature quantity that maximizes the value of the evaluation formula 2 of the sum of discrimination ability and robustness is sequentially selected, and the feature quantity is added.
  • the value of E (S N , S ′ N ) according to the evaluation formula 2 of the sum of discrimination ability and robustness is maximized
  • Such feature quantity (random variable) X n is added. This is based on the value of the evaluation formula 2 of the sum of the discrimination ability and the robustness of the set of feature quantities before the addition of the feature quantity, and the evaluation formula 2 of the sum of the discrimination ability and the robustness of the set of the feature quantities after the feature quantity addition.
  • the image modification unit 11 performs a predetermined type of modification process on each of the original images read from the original image storage unit 21, generates a modified image, and stores the modified image in the modified image storage unit 22. (S101).
  • the feature amount extraction parameter generation unit 12 generates a feature amount extraction parameter that is a parameter for extracting the feature amount from the image for each of the M types of feature amounts, and stores the feature amount extraction parameter in the feature amount extraction parameter storage unit 23. (S102).
  • the feature quantity extraction unit 131 of the feature quantity extraction unit 13 extracts M types of feature quantities from the respective original images in the original image storage unit 21 according to the extraction parameters of the M types of feature quantities, and the feature quantities.
  • the data is stored in the storage unit 24 (S103).
  • the feature amount extraction unit 132 of the feature amount extraction unit 13 extracts M types of feature amounts from the respective modified images in the modified image storage unit 22 according to the extraction parameters of the M types of feature amounts, and stores the feature amounts.
  • the data is stored in the means 24 (S104).
  • the feature quantity selection unit 14 inputs M types of feature quantities of the original image and the modified image stored in the feature quantity storage unit 24, and the original image, its modified image, and the modified images of the same original image are exchanged. Is the same image, the other images are treated as different images, and the recognition ability is the degree that can distinguish different images and the robustness that is the degree that the feature value does not change by the modification process to the image.
  • N types of feature values are selected from the M types of feature values and output (S105). In the following, the details of step S105 will be described using the incremental method as an example.
  • the feature quantity selection means 14 determines the type of one feature quantity to be added (S107). Specifically, the evaluation value of the sum of the discrimination ability and robustness of the set of feature quantities before the addition of the feature quantity, and the evaluation formula of the sum of the discrimination ability and robustness of the set of feature quantities after the addition of the feature quantity A type of feature quantity that maximizes the difference from the value (that is, the value of Expression 14) is selected, and the selected type of feature quantity is determined as one feature quantity to be added next.
  • the feature quantity selection unit 14 determines whether or not N types of feature quantities have been determined (S108), and if not yet N types, the process returns to step S107 and continues to determine the remaining types of feature quantities. . On the other hand, if N types of feature values have been determined, the determined N types of feature values are output to storage means (not shown in FIG. 1) (S109).
  • the characteristics are optimized so as to optimize the performance of the image identifier for identifying the image, which is composed of a set of a plurality of feature amounts (increasing the accuracy of determining the identity of the image).
  • the amount can be selected.
  • the reason for this is the ability to identify different images using the feature values extracted from the image groups before and after modification, and the robustness that the feature values do not change due to image modification processing. This is because the feature amount is selected so that the sum of and becomes larger.
  • the feature amount extraction apparatus of the present invention can be realized by a computer and a program as well as by realizing the functions of the feature amount extraction apparatus as hardware.
  • the program is provided by being recorded on a computer-readable recording medium such as a magnetic disk or a semiconductor memory, and is read by the computer when the computer is started up, and the computer is controlled by controlling the operation of the computer. It is made to function as the image modification means 11, the feature quantity extraction parameter generation means 12, the feature quantity extraction means 13 and the feature quantity selection means 14 in the form.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

　この特徴量選択装置は、複数の元画像と、この複数の元画像に対して改変処理を施した複数の改変画像と、の各々の画像からM種類の特徴量を抽出する特徴量抽出手段と、元画像とその改変画像どうしおよび同一の元画像の改変画像どうしは同一の画像、それら以外の画像どうしは異なる画像として扱って、異なる画像を識別できる度合いである識別能力と、画像への改変処理によって特徴量の値が変化しない度合いである頑健性とを評価基準として、上記各々の画像から抽出された上記Ｍ種類の特徴量を評価し、上記Ｍ種類の特徴量からＭより少ないＮ種類の特徴量の集合を、画像を識別するための特徴量として選択する特徴量選択手段とを備えている。

Description

特徴量選択装置
　本発明は、特徴量を選択する装置に関し、特に多数の種類の特徴量から、画像を識別する（画像の同一性を判定する）ための画像識別子に適した複数の特徴量を選択する装置に関する。
　画像識別子は、画像を識別する（同一性を判定する）ための画像特徴量である。ある画像から抽出した画像識別子と、別の画像から抽出した画像識別子とを比較し、その比較結果から、２つの画像が同一である度合いを示す同一性尺度（一般的には、類似度または距離という）を算出することができる。また、算出した同一性尺度をある閾値と比較することにより、２つの画像が同一であるか否かを判定することができる。ここで「２つの画像が同一」とは、画像信号（画像を構成する画素の画素値）のレベルで２つの画像が同一である場合だけに限らず、画像の圧縮形式（フォーマット）の変換、画像のサイズ・アスペクト比の変換、画像の色調の調整、画像への各種フィルタ処理（鮮鋭化、平滑化など）、画像への局所的な加工（テロップ重畳、切抜きなど）、画像の再キャプチャリング、などの各種改変処理によって、一方の画像が他方の画像の複製された画像である場合も含む。画像識別子を用いれば、例えば、画像、または画像の集合体である動画像の複製を検知できるため、画像または動画像の違法コピー検知システムなどに応用することができる。
　画像識別子は、一般的に、複数の特徴量の集合から成る。集合に含まれる個々の特徴量を１つの次元とすると、画像識別子は複数次元の特徴ベクトルである。特に、特徴量としては離散値である量子化インデックス（量子化した値）が用いられることが多い。画像識別子の例が、非特許文献１、非特許文献２、および特許文献１に記載されている。これらの文献に記載の方法では、画像の複数の局所領域ごとに特徴量を抽出し、抽出した特徴量を量子化して量子化インデックスを算出し、算出した局所領域ごとの量子化インデックスを量子化インデックスベクトルとして、画像識別子としている。
　具体的には、非特許文献１、非特許文献２では、画像をブロックに分割し、各々のブロックを局所領域として特徴量（量子化インデックス）を抽出している。また非特許文献１では、ブロック内の輝度分布のパターンを１１種類に分類したものを量子化インデックスとしている。非特許文献２では（非特許文献２の“Ｌｏｃａｌ　Ｅｄｇｅ　Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ”として記載されている技術）、ブロック内から抽出されるエッジ点の重心位置を量子化したものを量子化インデックスとしている。
　他方、特許文献１に記載の方法では、図５に示すように、画像２４０内のあらかじめ定められた位置の３２個の長方形領域２４４（図５ではそのうち１６個の長方形領域が描かれている）からそれぞれ平均輝度値を算出し、対となる長方形領域の間（図５では対となる長方形領域を点線２４８で結んでいる）で平均輝度値の差を算出し、１６次元の差ベクトル２５０を求める。差ベクトル２５０に対してベクトル変換により合成ベクトルを生成し、合成ベクトルの各次元を量子化して得られた１６次元の量子化インデックスベクトルを画像識別子とする。
　このような、複数の特徴量の集合から成る画像識別子を設計する場合、各々の特徴量として、どのような特徴量を用いるか（どのような特徴量抽出のパラメータを用いるか）を選択することは、画像識別子の性能（画像の同一性を判定できる精度）を決めるため、重要である。複数の特徴量の集合から成る画像識別子において、特徴量を適切に選択することによって、画像識別子の性能（画像の同一性を判定できる精度）を向上させることができる。
　すなわち、複数の特徴量の集合から成る画像識別子に適した（性能を最適化する）特徴量（画像の同一性の判定精度が高くなるような特徴量）を選択することが重要である。
　上記の非特許文献１、非特許文献２、および特許文献１に記載されている画像識別子は、各々の特徴量が、特徴量ごとに定められた（相互に異なる）局所領域から抽出される。従って、これらの文献の例では、どのような局所領域から特徴量を抽出するか（各々の特徴量として、どのような局所領域を定めるか）を選択することが、画像識別子の性能を左右することになる。
　複数の特徴量の集合から成る画像識別子を設計する場合、一般的に、その特徴量（特徴量抽出のパラメータ）の決定（選択）は、経験的な知見や、試行錯誤の実験によって行われることが多かった。例えば非特許文献１や非特許文献２では、各々の特徴量の局所領域は、画像を規則正しく分割したブロックとしている。例えば非特許文献１では、画像を８×８＝６４のブロックに規則正しく分割し、その各々のブロックを局所領域として、特徴量を抽出している。しかしながら、これらの経験的な知見や、試行錯誤では、画像識別子の性能（画像の同一性判定の精度）を最適化するのは困難である。
　一方で、性能を最適化するように、特徴量を自動的に選択する技術は（特徴量選択技術と呼ぶ）、パターン認識の分野で用いられている。具体的には、主成分分析（PCA：　Principal　Component　Analysis）や、線形判別法（LDA:　Linear Discriminant Analysis）を用いる方法がある。
特表平８－５００４７１号公報
Ｋｏｔａ　Ｉｗａｍｏｔｏ、Ｅｉｊｉ　Ｋａｓｕｔａｎｉ、Ａｋｉｏ　Ｙａｍａｄａ、"Ｉｍａｇｅ　Ｓｉｇｎａｔｕｒｅ　Ｒｏｂｕｓｔ　ｔｏ　Ｃａｐｔｉｏｎ　Ｓｕｐｅｒｉｍｐｏｓｉｔｉｏｎ　ｆｏｒ　Ｖｉｄｅｏ　Ｓｅｑｕｅｎｃｅ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ"、Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ　（ＩＣＩＰ２００６）、２００６． Ａｒｕｎ　Ｈａｍｐａｐｕｒ、Ｒｕｕｄ　Ｍ．　Ｂｏｌｌｅ、"Ｃｏｍｐａｒｉｓｏｎ　ｏｆ　Ｄｉｓｔａｎｃｅ　Ｍｅａｓｕｒｅｓ　ｆｏｒ　Ｖｉｄｅｏ　Ｃｏｐｙ　Ｄｅｔｅｃｔｉｏｎ"、Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｍｕｌｔｉｍｅｄｉａ　ａｎｄ　Ｅｘｐｏ　（ＩＣＭＥ２００１）、ｐ．９４６、２００１．
　複数の特徴量の集合から成る画像識別子に適した（性能を最適化する）特徴量、すなわち画像の同一性の判定精度が高くなるような特徴量を選択する際は、異なる画像を識別できる度合いである識別能力と、画像への各種改変処理によって特徴量の値が変化しない度合いである頑健性との２つの要件を両立さなければならない。
　しかしながら、上述した特徴量選択技術では、異なる画像を識別できる度合いである識別能力と、画像への各種改変処理によって特徴量の値が変化しない度合いである頑健性との双方を考慮して特徴量を選択していないため、画像識別子の性能を最適化できない（画像の同一性の判定精度を最適化できない）という問題点がある。すなわち、主成分分析（PCA）による方法は、特徴量の分布全体の持つ情報を最大化しているため、特徴量の頑健性を考慮していない（特徴量の頑健性を考慮した特徴量選択ができない）。また、線形判別分析（LDA）による方法は、クラス分類（有限個のクラスに分類する問題）の特徴選択には適しているが、あらかじめクラスが定義されない（画像）識別子の特徴選択には適していない（画像識別子における識別能力、頑健性を考慮した特徴選択ではない）。
［発明の目的］
　そこで本発明の目的は、画像識別子の性能（画像の同一性の判定精度）を最適化するのは困難である、という課題を解決する特徴量選択装置を提供することにある。
　本発明の一形態にかかる特徴量選択装置は、複数の元画像と、この複数の元画像に対して改変処理を施した複数の改変画像と、の各々の画像からM種類の特徴量を抽出する特徴量抽出手段と、元画像とその改変画像どうしおよび同一の元画像の改変画像どうしは同一の画像、それら以外の画像どうしは異なる画像として扱って、異なる画像を識別できる度合いである識別能力と、画像への改変処理によって特徴量の値が変化しない度合いである頑健性とを評価基準として、上記各々の画像から抽出された上記Ｍ種類の特徴量を評価し、上記Ｍ種類の特徴量からＭより少ないＮ種類の特徴量の集合を、画像を識別するための特徴量として選択する特徴量選択手段とを備えている。
　本発明は上述のように構成されているため、画像を識別するための複数の特徴量の集合から成る画像識別子の性能（画像の同一性の判定精度）を最適化することができる。
本発明の第１の実施の形態のブロック図である。 多形状領域比較特徴量の抽出方法を示す図である。 特徴量記憶手段に記憶されたデータの一例を示す図である。 本発明の第１の実施の形態の処理例を示すフローチャートである。 特許文献１に記載されている画像識別子の抽出方法を示す図である。
　次に、本発明の実施の形態について図面を参照して詳細に説明する。
［第１の実施の形態］
　本実施の形態に係る特徴量抽出装置は、画像データベースに含まれる画像群を用いて、M種類の特徴量から、画像識別子として適したMより少ないN種類（N＜M）の特徴量を選択し、選択したN種類の特徴量を示す情報を出力する。ここで「画像識別子として適した特徴量」とは、画像の同一性の判定精度が高くなるような特徴量のことをいう。本発明による特徴量選択装置で選択されたN種類の特徴量の集合は、N次元の特徴ベクトル（画像識別子）における各次元の特徴量として用いられる。N次元の特徴ベクトル（画像識別子）どうしの照合方法、すなわち同一性尺度を算出する方法としては、同一の（対応する次元の）特徴量の値の比較に基づいて算出する方法（例えば、特徴量の値（量子化インデックス）が一致する次元数を類似度として算出したり、ハミング距離、ユークリッド距離、コサイン類似度（内積）などを算出する）であることを想定している。また、MとNは、あらかじめ決定された数値（定数）である必要はなく、M＞2かつN＜Mを満たす正の整数であれば、その値が変化する変数であってもよい。
　図１を参照すると、本発明の第１の実施の形態に係る特徴量抽出装置は、画像改変手段１１、特徴量抽出パラメータ生成手段１２、特徴量抽出手段１３、特徴量選択手段１４、元画像記憶手段２１、改変画像記憶手段２２、特徴量抽出パラメータ記憶手段２３、および特徴量記憶手段２４から構成されている。
　元画像記憶手段２１は、多数の元画像をその元画像を一意に識別するための番号などの画像IDと関連付けて記憶する画像データベースである。元画像記憶手段２１に記憶される元画像は、本実施の形態に係る特徴量選択装置が、画像識別子に適した特徴量を選択するために用いられる。元画像記憶手段２１に記憶された元画像は、画像改変手段１１および特徴量抽出手段１３へ供給される。
　元画像記憶手段２１に記憶される元画像群は、画像識別子に適した特徴量を選択するために用いられるため、より多くの元画像（例えば１万以上など）を含むことが望ましい。また、元画像記憶手段２１に記憶される元画像群は、画像識別子に適した特徴量を選択するために用いられるため、本実施の形態の特徴量選択装置によって選択された特徴量から成る画像識別子を用いる対象となる画像群と同様な傾向の画像群（類似した傾向の画像群）であることが望ましい。例えば、画像識別子を用いる対象が、インターネット上の画像や動画像である場合は（例えば、インタネット上の画像や動画像の違法は複製を検知するために用いるなど）、元画像記憶手段２１に記憶される元画像群は、インターネット上のあらゆる画像を満遍なく均等にサンプリングした画像群であることが望ましい。また例えば、画像識別子を用いる対象が、風景画像に限定される場合は、元画像記憶手段２１に記憶される元画像群は、様々な風景画像をサンプリングした画像群であることが望ましい。また例えば、画像識別子を用いる対象が、絵画の画像である場合は、元画像記憶手段２１に記憶される元画像群は、様々な絵画の画像をサンプリングした画像群であることが望ましい。また例えば、画像識別子を用いる対象の画像群が、様々な種類の画像が混合されている場合は、元画像記憶手段２１に記憶される元画像群は、各々の種類の画像が、対象の画像群と同様の割合で混合されていることが望ましい。
　このように、元画像記憶手段２１に含まれる元画像群が、画像識別子を用いる対象となる画像群と同様な傾向の画像群（類似した傾向の画像群）であることにより、その対象となる画像群に対して、画像を識別するための画像識別子として、より適切な特徴量を選択できるため、画像の同一性の判定精度がより高い画像識別子を構成できる。
　画像改変手段１１は、元画像記憶手段２１から供給される元画像に対して改変処理を施して、改変画像を生成する。生成された改変画像は、どの元画像から生成された改変画像であるかが明確になるように、生成元の元画像と関連付けて、改変画像記憶手段２２に記憶される。元画像とその改変画像とを関連付ける方法は任意である。例えば、元画像に付与された画像IDに、その元画像から生成された複数の改変画像を一意に識別する枝番号を連結した値を、改変画像の画像IDとして改変画像に付与するといった方法でもよい。
　ここで改変処理の例としては、以下のような処理がある。ただし、これらの処理はあくまでも例示であり、これらに限定されるものではない。また、画像改変手段１１は、これらの組み合わせ（例えば（A）＋（D）など）を施すようにしてもよい。
　(A)画像の圧縮形式（フォーマット）の変換
　(B)画像のサイズ・アスペクト比の変換
　(C)画像の色調の調整・モノクロ化
　(D)画像への各種フィルタ処理（鮮鋭化、平滑化など）
　(E)画像への局所的な加工（テロップ重畳、切抜きなど）
　(F)画像の回転・平行移動・クロッピングなどの幾何変換
　(G)画像への黒帯付加（黒帯とは、例えば4:3と16:9のアスペクト変換によって画面の上下や左右に挿入される黒い余白領域を指す）。
　(H)画像の再キャプチャリング
　画像改変手段１１は、元画像記憶手段２１に記憶された元画像の各々に対して、複数種類の改変処理を施して、複数種類の改変画像を生成してもよい（すなわち、改変画像の数は、元画像の数よりも多くなってもよい）。
　また画像改変手段１１が施す改変処理は、本実施の形態の特徴量選択装置によって選択された特徴量から成る画像識別子を用いる画像において行われる改変処理や、画像識別子を用いる対象において頑健性を要求される改変処理と、同様で（傾向が同様）あることが望ましい。例えば、画像識別子を用いる対象となるシステムにおいて、上記の（A）、（B）、（C）、（D）に対する頑健性が要求される（あるいはそのシステムにおいて（A）、（B）、（C）、（D）の改変処理が行われる）場合には、画像改変手段１１は（A）、（B）、（C）、（D）の改変処理を施すことが望ましい。また例えば、画像識別子を用いる対象において、様々な種類の改変処理が行われる場合は、画像改変手段１１は、各々の種類の改変処理を、その対象で行われるのと同様の割合で施すことが望ましい。このように、画像改変手段１１が施す改変処理を、画像識別子を用いる対象において行われる改変処理や、頑健性を要求される改変処理と同様（傾向が同様）とすることにより、その対象に対して、画像を識別するための画像識別子として、より頑健な特徴量を選択できるため、より画像の同一性の判定精度が高い画像識別子を構成できる。
　特徴量抽出パラメータ生成手段１２は、M種類の特徴量のそれぞれについて、画像から特徴量を抽出するためのパラメータである特徴量抽出パラメータを生成する。生成したM種類の特徴量抽出パラメータは、特徴量抽出パラメータ記憶手段２３に記憶される。なお、本実施の形態では、M種類の特徴量抽出パラメータを生成する特徴量抽出パラメータ生成手段１２を備えるようにしているが、この特徴量抽出パラメータ生成手段１２を省略した実施の形態も考えられる。特徴量抽出パラメータ生成手段１２が省略された構成では、特徴量抽出パラメータ生成手段１２と同一あるいは類似の手段によって生成されるか、または人手で作成されたM種類の特徴量抽出パラメータが、特徴量抽出パラメータ記憶手段２３に事前に記憶される。
　ここで、Mは、画像識別子の特徴量として選択する特徴量の数Nよりも大きい数（N＜M）であればよいが、Nの数倍から数十倍以上であるほうが望ましい。例えば画像識別子の特徴量として選択する特徴量の数N＝５００程度であれば（なお、Nは、画像識別子の同一性判定精度や、画像識別子のサイズ、照合速度などの要求条件から適正値を決めることができる）、Mは例えば２０００から５０００以上程度であることが望ましい。Mをより多くすることにより（より多くの種類の特徴量を生成することにより）、より適切なN種類の特徴量を選択できる可能性が高くなり、より画像の同一性の判定精度の高い画像識別子を構成できる。
　M種類の特徴量抽出パラメータによって抽出されるM種類の特徴量は、どのような種類のものであってもよい。ただし、より多くの種類の画像に対して有効性があるように改良された特徴量であるのが望ましい。その一例を図２を参照して説明する。
　図２は、より多くの種類の画像に対して有効性があるように改良された特徴量の一例（以下、多形状領域比較特徴量と呼ぶ）の抽出方法を示す図である。多形状領域比較特徴量は、あらかじめ、特徴ベクトルの次元ごとに、その特徴量を抽出するための、画像内の２つの抽出領域（第１の抽出領域と第２の抽出領域）が定められている。抽出領域の形状に多様性がある点が、多形状領域比較特徴量と特許文献１に記載された特徴量との大きな相違点である。多形状領域比較特徴量を抽出するには、次元ごとに、次元ごとに定められた第１の抽出領域と第２の抽出領域の平均輝度値を算出し、第１の抽出領域の平均輝度値と第２の抽出領域の平均輝度値とを比較して（すなわち差分値に基づいて）、３値に量子化して（＋１、０、－１）量子化インデックスを得る。第１の抽出領域の平均輝度値と第２の抽出領域の平均輝度値との差分値の絶対値がある規定の閾値以下の場合は、第１の抽出領域と第２の抽出領域の平均輝度値の差がないものとみなし、差がないことを示す量子化インデックス０とし、それ以外の場合は、第１の抽出領域の平均輝度値と第２の抽出領域の平均輝度値との大小を比較して、第１の抽出領域の平均輝度値のほうが大きい場合は量子化インデックスを＋１、それ以外の場合は量子化インデックスを－１とする。ここで、次元ｎの第１の抽出領域の平均輝度値をＶｎ１、第２の抽出領域の平均輝度値をＶｎ２とし、規定の閾値をｔｈとすると、次元ｎの量子化インデックスＱｎは、次式で算出することができる。
Ｑｎ＝＋１　　（｜Ｖｎ１－Ｖｎ２｜＞ｔｈ　かつ　Ｖｎ１＞Ｖｎ２　の場合）
　　　　０　　（｜Ｖｎ１－Ｖｎ２｜≦ｔｈ　の場合）
　　　－１　　（｜Ｖｎ１－Ｖｎ２｜＞ｔｈ　かつ　Ｖｎ１≦Ｖｎ２　の場合）
　　…［式１］
　多形状領域比較特徴量では、特徴量に対応した特徴量抽出パラメータは、それぞれの特徴量の第１の抽出領域と第２の抽出領域とを示す情報となる。例えば、ある正規化された画像サイズ（例えば３２０×２４０画素など）における第１の抽出領域の画素座標値の集合と、第２の抽出領域の画素座標値の集合とを、特徴量抽出パラメータとしてもよい。また、抽出領域をより少ないパラメータとして表現してもよい。例えば、抽出領域の形状が四角形であれば、四角形の四隅の座標値を特徴量抽出パラメータとしてもよいし、また例えば、抽出領域の形状が円形であれば、円形の中心の座標値と半径値を特徴量抽出パラメータとしてもよい。また、閾値ｔｈが特徴量の種類ごとに異なる場合は、閾値ｔｈも特徴量抽出パラメータに含めてもよい。
　特徴量抽出パラメータ生成手段１２は、M種類の多形状領域比較特徴量の特徴量抽出パラメータを、例えば擬似乱数によって自動的に生成してもよい。例えば、擬似乱数の種（シード）から乱数列を発生させ、発生した乱数に基づいて抽出領域の形状や、閾値ｔｈを自動的に生成してもよい。例えば抽出領域の形状が四角形である場合は、発生した乱数に基づいて抽出領域の四隅の座標値を自動的に生成してもよい。
　なお、多形状領域比較特徴量では、M種類の特徴量が、平均輝度値という同一の特性を有している。しかし、M種類の特徴量は同じ特性を持つ特徴量に限定されず、例えば、色情報、周波数情報、エッジ情報などの異なる特性の特徴量を、M種類の特徴量として混在させてもよい。すなわち、例えばM種類の特徴量のうちの一部が多形状領域比較特徴量で、一部が色情報に基づく特徴量で、一部が周波数情報に基づく特徴量で、一部がエッジ情報に基づく特徴量、として特徴量抽出パラメータを生成してもよい。
　特徴量抽出手段１３は、元画像記憶手段２１に記憶された元画像と、改変画像記憶手段２２に記憶された改変画像とを入力し、特徴量抽出パラメータ記憶手段２３に記憶されたM種類の特徴量の抽出方法を規定する特徴量抽出パラメータに従って、元画像と改変画像のそれぞれの画像からM種類の特徴量を抽出する。特徴量抽出手段１３は、元画像からM種類の特徴量を抽出する特徴量抽出部１３１と、改変画像からM種類の特徴量を抽出する特徴量抽出部１３２との２つの抽出部を備えている。これら２つの特徴量抽出部１３１、１３２は、同時に並行して動作させてもよいし、一つずつ順番に動作させてもよい。
　元画像から抽出されたM種類の特徴量と、改変画像から抽出されたM種類の特徴量とは、特徴量記憶手段２４に記憶される。特徴量記憶手段２４では、元画像から抽出されたM種類の特徴量と、その元画像の改変画像から抽出されたM種類の特徴量とを対応付けて記憶する。対応付けの方法は、任意でよい。例えば、改変画像の画像IDが、その元画像の画像IDに枝番号を連結したものであれば、元画像から抽出したM種類の特徴量の集合に対してその元画像の画像IDを付与し、その元画像の改変画像から抽出したM種類の特徴量の集合に対してはその改変画像の画像IDを付与しておけば、画像IDを識別することで、元画像から抽出されたM種類の特徴量と、その元画像の改変画像から抽出されたM種類の特徴量との対応を認識することができる。
　特徴量記憶手段２４に記憶されたデータの一例を図３に示す。この例の特徴量記憶手段２４には、元画像記憶手段２１に記憶された元画像に１対１に対応する特徴量群２４－１～２４－ｘが記憶されている。１つの特徴量群、例えば特徴量群２４－１は、対応する元画像の画像IDとその元画像から抽出されたM種類の特徴量とから構成された元画像特徴量データ２４１と、その元画像の改変画像の画像IDとその改変画像から抽出されたM種類の特徴量とから構成された改変画像特徴量データ２４１－１～２４１－ｙとを含む。ここで、同じ特徴量群に属する画像（つまり、或る１つの元画像とその改変画像）どうしは同一の画像、異なる特徴量群に属する画像どうしは異なる画像として扱われる。
　特徴量選択手段１４は、特徴量記憶手段２４に記憶された元画像から抽出されたM種類の特徴量の値と、改変画像から抽出されたM種類の特徴量の値とを用いて、特徴量の集合が有する、異なる画像を識別できる度合いである識別能力と、特徴量の集合が有する、画像への改変処理によって特徴量の値が変化しない度合いである頑健性との和が大きくなるように、N種類の特徴量の集合を選択する。以下、特徴量選択手段１４の機能を詳細に説明する。
　ここで、選択するN種類の特徴量を添え字nで表す（n=1,2,…,N)。選択するN種類の特徴量に対して、元画像群から抽出した特徴量の値を確率変数Xnと表し、改変画像群から抽出した特徴量の値を確率変数X'nと表す。例えば、特徴量が上述した多形状領域比較特徴量である場合は、特徴量は｛＋１、０、－１｝のいずれかの値（量子化インデックス）をとる確率変数とみなすことができる。
　また、選択するN種類の特徴量の、元画像群から抽出した特徴量の確率変数Xnの集合、改変画像群から抽出した特徴量の確率変数X'nの集合を、それぞれ、
SN=｛X1,X2,…,XN｝
S'N=｛X'1,X'2,…,X'N｝
と表す。
　特徴量の集合が有する、異なる画像を識別できる度合いである識別能力は、集合SN=｛X1,X2,…,XN｝に対して算出することができる。集合SN=｛X1,X2,…,XN｝が有する識別能力を、D(SN)と表す。D(SN)は値が大きいほど、識別能力が大きいこと表す。
　特徴量の集合が有する、画像への改変処理によって特徴量の値が変化しない度合いである頑健性は集合SN=｛X1,X2,…,XN｝、およびそれに対応する集合S'N=｛X'1,X'2,…,X'N｝から算出することができる。SN=｛X1,X2,…,XN｝、および、集合S'N=｛X'1,X'2,…,X'N｝が有する頑健性を、R(SN,S'N)と表す。R(SN,S'N)は値が大きいほど、頑健性が大きいことを表す。
　特徴量の集合が有する識別能力と頑健性の和E(SN,S'N)は、以下の評価式２で与えられる。
E(SN,S'N)=D(SN)+R(SN,S'N)　　…［式２］
　特徴量選択手段１４は、評価式２によるE(SN,S'N)の値が大きくなるように、N種類の特徴量の集合を選択する。例えば、E(SN,S'N)の値が最大となるN種類の特徴量の集合を、（一括で）選択してもよい。またE(SN,S'N)の値が大きくなるように、逐次的に特徴量を選択していき（追加していき）、特徴量の集合を選択してもよい。
　以下、特徴量の値が離散値（量子化インデックス）である場合における識別能力D(SN)と頑健性R(SN,S'N)の算出方法の具体例を示す。ここで、特徴量の取り得る値の集合、すなわち確率変数Xn、確率変数X'nの取り得る値の集合を、χn=｛xn｝と表す。例えば、特徴量が上述した多形状領域比較特徴量である場合は、χn=｛+1,0,-1｝となる。
［識別能力D(SN)の算出方法の具体例］
　（１）特徴量の集合が有する識別能力は、例えば、各々の特徴量の情報エントロピーが大きいほど、識別能力も大きくなると考えることができる。情報エントロピーが大きいほど、各々の特徴量のとる値（確率変数Xn）の出現確率が均等に近くなるため、冗長性が小さくなり、識別能力が大きくなる。逆に、各々の特徴量のとる値（確率変数Xn）の出現確率が、ある特定の値に偏っていると、冗長性が大きくなり、情報エントロピーが小さくなるため、識別能力は小さくなる。
　従って、特徴量の集合が有する識別能力D(SN)を、各々の特徴量の情報エントロピーの総和として算出することができる。
　特徴量nの確率変数Xnの情報エントロピーH(Xn)は、次式で算出できる。
H(Xn)=-ΣAA p(xn)log p(xn)　　…［式３］
なお、Σの下の添え字AAはxn∈χnを意味する。
　ここで、p(xn)=Pr(Xn=xn)であり、供給される元画像群の特徴量の値から、算出することができる。例えば、特徴量nが上述した多形状領域比較特徴量である場合は、p(+1)=Pr(Xn=+1),p(0)=Pr(Xn=0),p(-1)=Pr(Xn=-1)となり、それぞれ、元画像群の特徴量の値が＋１、０、－１、となる確率を、その出現頻度から算出すればよい。
　従って、特徴量の集合が有する識別能力D(SN)は、例えば、各々の特徴量の情報エントロピーH(Xn)の総和として、次式で算出できる。
D(SN)=Σn=1 N H(Xn)　　…［式４］
　（２）また、特徴量の集合が有する識別能力は、例えば、各々の特徴量の間の、相関が小さく、確率的な独立性が高いほど、冗長性が小さくなるため、識別能力が大きくなる。これは、お互いに相関が大きい特徴量が集まっても、冗長性が大きくなり、画像を識別する識別能力が上がらないためである。各々の特徴量の相関の度合いを表す尺度として相互情報量を用いることができる。
　特徴量nの確率変数Xnと、特徴量kの確率変数Xkとの間の相互情報量I(Xn;Xk)は、次式で算出できる。
I(Xn;Xk)=ΣBBΣCC p(xn,xk)log[p(xn,xk)/{p(xn)p(xk)}］　　…［式５］
なお、Σの下の添え字BBはxn∈χnを意味し、同じくCCはxk∈χkを意味する。
　ここで、p(xn,xk)=Pr(Xn=xn,Xk=xk)であり、xn,xkの同時確率を表す。p(xn,xk)は、供給される元画像群の特徴量の値から、算出することができる。例えば、特徴量が上述した多形状領域比較特徴量である場合は、
p(+1,+1)=Pr(Xn=+1,Xk=+1)、p(+1,0)=Pr(Xn=+1,Xk=0)、
p(+1,-1)=Pr(Xn=+1,Xk=-1)、p(0,+1)=Pr(Xn=0,Xk=+1)、
p(0,0)=Pr(Xn=0,Xk=0)、p(0,-1)=Pr(Xn=0,Xk=-1)、
p(-1,+1)=Pr(Xn=-1,Xk=+1)、p(-1,0)=Pr(Xn=-1,Xk=0)、
p(-1,-1)=Pr(Xn=-1,Xk=-1)
となり、元画像群の特徴量nと特徴量kの組み合わせの出現頻度から、同時確率を算出すればよい。
　式５で表される特徴量nの確率変数Xnと特徴量kの確率変数Xkとの間の相互情報量I(Xn;Xk)は、この２つの特徴量の間の相関の度合いを表す尺度であるため、相互情報量I(Xn;Xk)が小さいほど、識別能力が大きくなると考えることができる。従って、特徴量の集合が有する識別能力D(SN)は、相互情報量I(Xn;Xk)の、全ての特徴量の組み合わせの総和に基づいて、次式のように算出することができる。
D(SN)=-Σn=1 N Σk=n+1 N I(Xn;Xk)　　…［式６］
　ここで、相互情報量の総和を負にしている（－を付けている）のは、相互情報量の総和が小さいほど、識別能力D(SN)の値を大きくするためである。
　（３）また、特徴量の集合が有する識別能力D(SN)は、式４と式６の総和をとり、次式のように算出してもよい。
D(SN)=Σn=1 N H(Xn)-Σn=1 N Σk=n+1 N I(Xn;Xk)　　［式７］
　（４）また、特徴量の集合が有する識別能力D(SN)は、式４のように特徴量の情報エントロピーH(Xn)の総和を取るのではなく、集合SN=｛X1,X2,…,XN｝の結合エントロピーH(X1,X2,…,XN)として算出してもよい。すなわち、識別能力D(SN)を、次式として算出してもよい。
D(SN)=H(X1,X2,…,XN)=-ΣDD p(x1,x2,…,xN)log p(x1,x2,…,xN)　　…［式８］
なお、Σの下の添え字DDは、x1∈χ1,x2∈χ2,…,xN∈χNを意味する。
　ただし、式８による結合エントロピーの計算は、特徴量の数が増えるにつれて、計算量が指数オーダで増大するため、Nの数が大きい場合は、現実的ではない。
　ここで説明した式４、式６、式７、式８による識別能力D(SN)の算出方法は、一例であり、これらの算出方法に限られない。
　なお、識別能力は元画像群の特徴量の値（確率変数Xn）ではなく、改変画像群の特徴量の値（確率変数X'n）から算出してもよい。あるいは、それらを混合したものから算出してもよい。
［頑健性R(SN,S'N)の算出方法の具体例］
　（１）特徴量の集合が有する頑健性R(SN,S'N)は、例えば、各々の特徴量に対して、画像の改変前後において、特徴量の値が変化しない度合いを算出し、その総和として求めることができる。これは、供給される元画像群の特徴量の値（確率変数Xn）と、改変画像群の対応する特徴量の値（確率変数X'n）とを比較して、同値確率（特徴量の値が一致する確率＝変化しない確率）を測定することで算出することができる。ここで、特徴量nの、画像の改変前後の特徴量の値の同値確率をp(xn=x'n)と表す。例えば、特徴量が上述した多形状領域比較特徴量である場合は、p(xn=x'n)=Pr(Xn=+1,X'n=+1)+Pr(Xn=0,X'n=0)+Pr(Xn=-1,X'n=-1)となる。特徴量の集合が有する頑健性R(SN,S'N)は、例えば、各々の特徴量の同値確率p(xn=x'n)の総和として、次式で算出できる。
R(SN,S'N)=Σn=1 N p(xn=x'n)　　…［式９］
　（２）また、特徴量の集合が有する頑健性R(SN,S'N)は、例えば、各々の特徴量の、元画像群の特徴量の値（確率変数Xn）と、改変画像群の対応する特徴量の値（確率変数X'n）とから算出される条件付きエントロピーH(Xn|X'n)に基づいて、算出してもよい。
　特徴量nの条件付きエントロピーH(Xn|X'n)は、確率変数X'n（改変画像群の特徴量の値）を知ったときに残る確率変数Xn（元画像群の特徴量の値）の曖昧さを表すため、改変前後で特徴量の値が変化しない確率が高い（改変前後で特徴量が一致する確率が高い）場合、すなわち頑健性が大きい場合は、条件付きエントロピーH(Xn|X'n)は小さい値となる。すなわち、条件付きエントロピーH(Xn|X'n)は小さいほど、頑健性が大きくなると考えることができる。特徴量nの条件付きエントロピーH(Xn|X'n)は、次式で算出できる。
H(Xn|X'n)=-ΣEE ΣFF p(xn,x'n)log
p(xn|x'n)　　…［式１０］
なお、Σの下の添え字EEはxn∈χnを意味し、同じくFFはx'n∈χnを意味する。
　ここで、p(xn|x'n)は条件付き確率であり、供給される元画像群の特徴量の値と、改変画像群の対応する特徴量の値とから算出することができる。例えば、特徴量が上述した多形状領域比較特徴量である場合は、
p(+1|+1)=Pr(Xn=+1|X'n=+1)、p(+1|0)=Pr(Xn=+1|X'n=0)、
p(+1|-1)=Pr(Xn=+1|X'n=-1)、p(0|+1)=Pr(Xn=0|X'n=+1)、
p(0|0)=Pr(Xn=0|X'n=0)、p(0|-1)=Pr(Xn=0|X'n=-1)、
p(-1|+1)=Pr(Xn=-1|X'n=+1)、p(-1|0)=Pr(Xn=-1|X'n=0)、
p(-1|-1)=Pr(Xn=-1|X'n=-1)
となる。
　特徴量の集合が有する頑健性R(SN,S'N)は、例えば、各々の特徴量の上記条件付きエントロピーH(Xn|X'n)の総和に基づいて、次式のように算出することもできる。
R(SN,S'N)=-Σn=1 N H(Xn|X'n)　　…［式１１］
　ここで、条件付きエントロピーH(Xn|X'n)の総和を負にしている（－を付けている）のは、条件付きエントロピーH(Xn|X'n)の総和が小さいほど、頑健性R(SN,S'N)の値を大きくするためである。
　ここで説明した式９、式１１による頑健性R(SN,S'N)の算出方法は、一例であり、これらの算出方法に限られない。
［識別能力と頑健性の和E(SN,S'N)の算出方法の具体例］
　識別能力と頑健性の和E(SN,S'N)は、式２に基づいて、例えば、識別能力D(SN)の算出方法として式４、式６、式７、式８のいずれか、頑健性R(SN,S'N)の算出方法として式９、式１１のいずれか、を組み合わせて和を算出してもよい。
　また例えば、適当な重み係数αを用いて、次式のように識別能力D(SN)と、頑健性R(SN,S'N)との和を算出してもよい。
E(SN,S'N)=αD(SN)+(1-α)R(SN,S'N)　　…［式１２］
　ここでは組み合わせの一例として、識別能力D(SN)の算出方法として式７を、頑健性R(SN,S'N)の算出方法として式１１を用いた場合の識別能力と頑健性の和E(SN,S'N)の算出方法の例を、次式に示す。
E(SN,S'N)=D(SN)+R(SN,S'N)
　　　　=Σn=1 N H(Xn)-Σn=1 N Σk=n+1 N I(Xn;Xk)-Σn=1 N H(Xn|X'n)
　　　　=Σn=1 N I(Xn;X'n)-Σn=1 N Σk=n+1 N I(Xn;Xk)　　　…［式１３］
　なお、式１３の式展開は、I(X;Y)=H(X)-H(X|Y)に基づく。
　特徴量選択手段１４は、ここまでに述べてきたような識別能力と頑健性の和の評価式２によるE(SN,S'N)の値が大きくなるように、N種類の特徴量の集合を選択する。例えば、E(SN,S'N)が最大となるN種類の特徴量の集合を、一括で選択してもよい。しかしながら、E(SN,S'N)が大きくなるように、N種類の特徴量の集合を一括で選択するのは、一般的に困難である。なぜならば、あらゆる特徴量の組み合わせに対してE(SN,S'N)を算出して評価する必要があるため、組み合わせの数が膨大になるためである。
　そこで、現実的な方法としては、E(SN,S'N)が大きくなるように、逐次的に（インクリメンタルに）特徴量を追加していき、特徴量の集合を選択していく方法がある。この方法を、インクリメンタル方式と呼ぶことにする。インクリメンタル方式では、N種類の特徴量（確率変数Xn）を、特徴量（確率変数Xn）の集合を１つずつ増やしながら、N種類の特徴量を選択する。すなわち、
S1=｛X1｝
S2=｛X1,X2｝
S3=｛X1,X2,X3｝
…
SN=｛X1,X2,…,XN｝
という形で、特徴量を１つずつ追加していく。
　インクリメンタル方式では、例えば、識別能力と頑健性の和の評価式２の値が、最も大きくなるような特徴量を、逐次選択していき、特徴量を追加していく。集合SN-1から、集合SNへと、特徴量を１つ追加する際に、識別能力と頑健性の和の評価式２によるE(SN,S'N)の値が最大となるような特徴量（確率変数）Xnを追加する。これは、特徴量追加前の特徴量の集合の識別能力と頑健性の和の評価式２の値と、特徴量追加後の特徴量の集合の識別能力と頑健性の和の評価式２の値との差分が最大となるような特徴量（確率変数）Xnを追加することを意味する。すなわち評価式、
E(SN,S'N)-E(SN-1,S'N-1)　　…［式１４］
が最大となるような特徴量（確率変数）Xnを追加する。
　例えば、識別能力と頑健性の和の評価式１３によるE(SN,S'N)を用いた場合は、次の評価式１５が最大となるような特徴量特徴量（確率変数）Xnを追加する。
E(SN,S'N)-E(SN-1,S'N-1)=I(Xn;X'n)-Σk=1 N-1 I(Xn;Xk)　　…［式１５］
　次に、図４のフローチャートを参照して、本実施の形態の動作を説明する。
　まず、画像改変手段１１が、元画像記憶手段２１から読み出した元画像のそれぞれに対して、あらかじめ定められた種類の改変処理を施して、改変画像を生成し、改変画像記憶手段２２に保存する（Ｓ１０１）。
　次に、特徴量抽出パラメータ生成手段１２が、M種類の特徴量のそれぞれについて、画像から特徴量を抽出するためのパラメータである特徴量抽出パラメータを生成し、特徴量抽出パラメータ記憶手段２３に保存する（Ｓ１０２）。
　次に、特徴量抽出手段１３の特徴量抽出部１３１が、M種類の特徴量の抽出パラメータに従って、元画像記憶手段２１中のそれぞれの元画像からM種類の特徴量を抽出して、特徴量記憶手段２４に保存する（Ｓ１０３）。さらに、特徴量抽出手段１３の特徴量抽出部１３２が、M種類の特徴量の抽出パラメータに従って、改変画像記憶手段２２中のそれぞれの改変画像からM種類の特徴量を抽出して、特徴量記憶手段２４に保存する（Ｓ１０４）。
　次に、特徴量選択手段１４が、特徴量記憶手段２４に記憶された元画像および改変画像のM種類の特徴量を入力し、元画像とその改変画像どうしおよび同一の元画像の改変画像どうしは同一の画像、それら以外の画像どうしは異なる画像として扱って、異なる画像を識別できる度合いである識別能力と画像への改変処理によって特徴量の値が変化しない度合いである頑健性とを評価基準として、M種類の特徴量からN種類の特徴量を選択し、出力する（Ｓ１０５）。以下では、インクリメンタル方式を例に挙げて、ステップＳ１０５の詳細を説明する。
　まず、特徴量選択手段１４は、１つ目の特徴量の種類を決定する（Ｓ１０６）。例えば、M種類の特徴量の中から、識別能力と頑健性の和の評価式の値が最大となる１種類の特徴量を選択し、この選択した種類の特徴量を１つ目に決定する。具体的には、式１３においてN=1として、この評価式の値が最大となる種類の特徴量を選択する。他の方法として、M種類の特徴量の中からランダムに１種類の特徴量を選択してもよい。
　次に特徴量選択手段１４は、追加する１つの特徴量の種類を決定する（Ｓ１０７）。具体的には、特徴量追加前の特徴量の集合の識別能力と頑健性の和の評価式の値と、特徴量追加後の特徴量の集合の識別能力と頑健性の和の評価式の値との差分（つまり、式１４の値）が最大となるような種類の特徴量を選択し、この選択した種類の特徴量を次に追加する１つの特徴量に決定する。
　次に特徴量選択手段１４は、N種類の特徴量が決定されたかどうかを判定し（Ｓ１０８）、未だN種類に満たなければ、ステップＳ１０７に戻って、残りの種類の特徴量の決定を続ける。他方、N種類の特徴量が決定されていれば、決定したN種類の特徴量を図１には図示しない記憶手段などに出力する（Ｓ１０９）。
　このように本実施の形態によれば、複数の特徴量の集合から成る、画像を識別するための画像識別子の性能を最適化する（画像の同一性の判定精度を高くする）ように、特徴量を選択することができる。
　その理由は、改変前後の画像群から抽出した特徴量の値を用いて、異なる画像を識別できる度合いである識別能力と、画像への改変処理によって特徴量の値が変化しない度合いである頑健性との和が大きくなるように、特徴量を選択するためである。
　以上本発明の実施の形態について説明したが、本発明は以上の実施の形態にのみ限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。また、本発明の特徴量抽出装置は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した実施の形態における画像改変手段１１、特徴量抽出パラメータ生成手段１２、特徴量抽出手段１３および特徴量選択手段１４などとして機能させる。
　なお、本発明は、日本国にて２００９年１月２９日に特許出願された特願２００９－１７８０６の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
１１…画像改変手段
１２…特徴量抽出パラメータ生成手段
１３…特徴量抽出手段
１３１、１３２…特徴量抽出部
１４…特徴量選択手段
２１…元画像記憶手段
２２…改変画像記憶手段
２３…特徴量抽出パラメータ記憶手段
２４…特徴量記憶手段

Claims (25)

  1. 　複数の元画像と、該複数の元画像に対して改変処理を施した複数の改変画像と、の各々の画像からM種類の特徴量を抽出する特徴量抽出手段と、
    　元画像とその改変画像どうしおよび同一の元画像の改変画像どうしは同一の画像、それら以外の画像どうしは異なる画像として扱って、異なる画像を識別できる度合いである識別能力と、画像への改変処理によって特徴量の値が変化しない度合いである頑健性とを評価基準として、前記各々の画像から抽出された前記Ｍ種類の特徴量を評価し、前記Ｍ種類の特徴量からＭより少ないＮ種類の特徴量の集合を、画像を識別するための特徴量として選択する特徴量選択手段と、
    を備えることを特徴とする特徴量選択装置。
  2. 　前記特徴量抽出手段は、特徴量の抽出方法を規定するパラメータである特徴量抽出パラメータに従って、前記Ｍ種類の特徴量を抽出する
    ことを特徴とする請求項１に記載の特徴量選択装置。
  3. 　前記M種類の特徴量の抽出方法を規定する特徴量抽出パラメータとして、画像から特徴量を抽出する領域として、対をなす２つの部分領域の形状の組み合わせと、対をなす２つの部分領域の相対的な位置関係との双方が、他の少なくとも１つの部分領域対と相違する１以上の部分領域対を含むように規定したＭ種類の部分領域対に関する定義情報を用いる
    ことを特徴とする請求項１または２に記載の特徴量選択装置。
  4. 　前記特徴量は、前記画像から抽出した物理量を量子化して得られる量子化値である
    ことを特徴とする請求項１乃至３の何れか１項に記載の特徴量選択装置。
  5. 　複数の前記元画像を記憶する元画像記憶手段と、
    　前記元画像に対して改変処理を施した改変画像を生成する画像改変手段と、
    　前記生成された改変画像を記憶する改変画像記憶手段と、
    を備えることを特徴とする請求項１乃至４の何れか１項に記載の特徴量選択装置。
  6. 　前記画像改変手段は、画像のサイズの変換、画像のアスペクト比の変換、画像の色調の調整、画像のモノクロ化、画像への各種フィルタ処理、画像への局所的な加工、画像の幾何変換、画像への黒帯付加、画像の再キャプチャリングのうちの何れか１つ、または複数の改変処理を行う
    ことを特徴とする請求項５に記載の特徴量選択装置。
  7. 　前記M種類の特徴量の抽出方法を規定する特徴量抽出パラメータを生成する特徴量抽出パラメータ生成手段と、
    　前記生成された前記M種類の特徴量抽出パラメータを記憶する特徴量抽出パラメータ記憶手段と、
    を備えることを特徴とする請求項２乃至６の何れか１項に記載の特徴量選択装置。
  8. （段落００３６）
    　前記特徴量抽出パラメータ生成手段は、擬似乱数列を発生させ、発生した乱数に基づいて前記特徴量抽出パラメータを生成する
    ことを特徴とする請求項７に記載の特徴量選択装置。
  9. 　前記特徴量選択手段は、前記識別能力と前記頑健性との和の評価式の値が大きくなるようなN種類の特徴量の集合を選択する
    ことを特徴とする請求項１乃至８の何れか１項に記載の特徴量選択装置。
  10. 　前記特徴量選択手段は、N種類の特徴量の識別能力を、前記各々の画像から抽出された特徴量を用いて、Ｎ種類の各々の特徴量の情報エントロピーを総和した値、N種類の特徴量を含む集合の結合エントロピー、またはＮ種類の特徴量どうしの相互情報量を総和した値、として計算する
    ことを特徴とする請求項９に記載の特徴量選択装置。
  11. 　前記特徴量選択手段は、N種類の特徴量の頑健性を、前記元画像から抽出された特徴量と前記改変画像から抽出された特徴量とを用いて、Ｎ種類の各々の特徴量の改変前後の特徴量の同値確率を総和した値、またはＮ種類の各々の特徴量の条件付きエントロピーを総和した値、として計算する
    ことを特徴とする請求項９に記載の特徴量選択装置。
  12. 　前記特徴量選択手段は、追加前の特徴量の集合の前記評価式の値と、追加後の特徴量の集合の前記評価式の値との差分が最大となるような特徴量を1つずつ追加していくことにより、N種類の特徴量を選択する
    ことを特徴とする請求項９乃至１１の何れか１項に記載の特徴量選択装置。
  13. 　複数の元画像と、該複数の元画像に対して改変処理を施した複数の改変画像と、の各々の画像からM種類の特徴量を抽出し、
    　元画像とその改変画像どうしおよび同一の元画像の改変画像どうしは同一の画像、それら以外の画像どうしは異なる画像として扱って、異なる画像を識別できる度合いである識別能力と、画像への改変処理によって特徴量の値が変化しない度合いである頑健性とを評価基準として、前記各々の画像から抽出された前記Ｍ種類の特徴量を評価し、前記Ｍ種類の特徴量からＭより少ないＮ種類の特徴量の集合を、画像を識別するための特徴量として選択する
    ことを特徴とする特徴量選択方法。
  14. 　前記Ｍ種類の特徴量の抽出では、特徴量の抽出方法を規定するパラメータである特徴量抽出パラメータに従って、前記Ｍ種類の特徴量を抽出する
    ことを特徴とする請求項１３に記載の特徴量選択方法。
  15. 　前記M種類の特徴量の抽出方法を規定する特徴量抽出パラメータとして、画像から特徴量を抽出する領域として、対をなす２つの部分領域の形状の組み合わせと、対をなす２つの部分領域の相対的な位置関係との双方が、他の少なくとも１つの部分領域対と相違する１以上の部分領域対を含むように規定したＭ種類の部分領域対に関する定義情報を用いる
    ことを特徴とする請求項１３または１４に記載の特徴量選択方法。
  16. 　前記特徴量は、前記画像から抽出した物理量を量子化して得られる量子化値である
    ことを特徴とする請求項１３乃至１５の何れか１項に記載の特徴量選択方法。
  17. 　さらに、前記元画像に対して改変処理を施した前記改変画像を生成する
    ことを特徴とする請求項１３乃至１６の何れか１項に記載の特徴量選択方法。
  18. 　前記改変画像の生成では、画像のサイズの変換、画像のアスペクト比の変換、画像の色調の調整、画像のモノクロ化、画像への各種フィルタ処理、画像への局所的な加工、画像の幾何変換、画像への黒帯付加、画像の再キャプチャリングのうちの何れか１つ、または複数の改変処理を行う
    ことを特徴とする請求項１７に記載の特徴量選択方法。
  19. 　さらに、前記M種類の特徴量の抽出方法を規定する前記特徴量抽出パラメータを生成する
    ことを特徴とする請求項１４乃至１８の何れか１項に記載の特徴量選択方法。
  20. 　前記特徴量抽出パラメータの生成では、擬似乱数列を発生させ、発生した乱数に基づいて前記特徴量抽出パラメータを生成する
    ことを特徴とする請求項７に記載の特徴量選択方法。
  21. 　前記画像を識別するための特徴量の選択では、前記識別能力と前記頑健性との和の評価式の値が大きくなるようなN種類の特徴量の集合を選択する
    ことを特徴とする請求項１３乃至２０の何れか１項に記載の特徴量選択方法。
  22. 　前記画像を識別するための特徴量の選択では、N種類の特徴量の識別能力を、前記各々の画像から抽出された特徴量を用いて、Ｎ種類の各々の特徴量の情報エントロピーを総和した値、N種類の特徴量を含む集合の結合エントロピー、またはＮ種類の特徴量どうしの相互情報量を総和した値、として計算する
    ことを特徴とする請求項２１に記載の特徴量選択方法。
  23. 　前記画像を識別するための特徴量の選択では、N種類の特徴量の頑健性を、前記元画像から抽出された特徴量と前記改変画像から抽出された特徴量とを用いて、Ｎ種類の各々の特徴量の改変前後の特徴量の同値確率を総和した値、またはＮ種類の各々の特徴量の条件付きエントロピーを総和した値、として計算する
    ことを特徴とする請求項２１に記載の特徴量選択方法。
  24. 　前記画像を識別するための特徴量の選択では、追加前の特徴量の集合の前記評価式の値と、追加後の特徴量の集合の前記評価式の値との差分が最大となるような特徴量を1つずつ追加していくことにより、N種類の特徴量を選択する
    ことを特徴とする請求項２１乃至２３の何れか１項に記載の特徴量選択方法。
  25. 　コンピュータを、
    　複数の元画像と、該複数の元画像に対して改変処理を施した複数の改変画像と、の各々の画像からM種類の特徴量を抽出する特徴量抽出手段と、
    　元画像とその改変画像どうしおよび同一の元画像の改変画像どうしは同一の画像、それら以外の画像どうしは異なる画像として扱って、異なる画像を識別できる度合いである識別能力と、画像への改変処理によって特徴量の値が変化しない度合いである頑健性とを評価基準として、前記各々の画像から抽出された前記Ｍ種類の特徴量を評価し、前記Ｍ種類の特徴量からＭより少ないＮ種類の特徴量の集合を、画像を識別するための特徴量として選択する特徴量選択手段と
    して機能させるためのプログラム。
PCT/JP2010/000246 2009-01-29 2010-01-19 特徴量選択装置 WO2010087124A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US13/056,767 US8620087B2 (en) 2009-01-29 2010-01-19 Feature selection device
KR1020117016483A KR101404401B1 (ko) 2009-01-29 2010-01-19 특징량 선택 장치
JP2010548397A JP4766197B2 (ja) 2009-01-29 2010-01-19 特徴量選択装置
CN201080005948.6A CN102301395B (zh) 2009-01-29 2010-01-19 特征选择设备
EP10735596.8A EP2333718B1 (en) 2009-01-29 2010-01-19 Feature amount selecting device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-017806 2009-01-29
JP2009017806 2009-01-29

Publications (1)

Publication Number Publication Date
WO2010087124A1 true WO2010087124A1 (ja) 2010-08-05

Family

ID=42395390

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/000246 WO2010087124A1 (ja) 2009-01-29 2010-01-19 特徴量選択装置

Country Status (6)

Country Link
US (1) US8620087B2 (ja)
EP (1) EP2333718B1 (ja)
JP (1) JP4766197B2 (ja)
KR (1) KR101404401B1 (ja)
CN (1) CN102301395B (ja)
WO (1) WO2010087124A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014002723A (ja) * 2012-06-15 2014-01-09 Mitsubishi Electric Corp スケール不変の画像特徴の量子化された埋込みを用いて画像を表現する方法
WO2017056312A1 (ja) * 2015-10-02 2017-04-06 富士通株式会社 画像処理プログラムおよび画像処理装置
JP2022519868A (ja) * 2019-03-28 2022-03-25 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング 敵対的攻撃の自動認識及び分類

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2333718B1 (en) * 2009-01-29 2013-08-28 Nec Corporation Feature amount selecting device
US8744193B2 (en) * 2009-03-13 2014-06-03 Nec Corporation Image signature extraction device
CN108022252A (zh) * 2012-01-19 2018-05-11 索尼公司 图像处理设备和方法
US9053359B2 (en) * 2012-06-07 2015-06-09 Konica Minolta Laboratory U.S.A., Inc. Method and system for document authentication using Krawtchouk decomposition of image patches for image comparison
JP6057786B2 (ja) * 2013-03-13 2017-01-11 ヤフー株式会社 時系列データ解析装置、時系列データ解析方法、およびプログラム
WO2016022154A1 (en) * 2014-08-08 2016-02-11 Robotic Vision Technologies, LLC Detection and tracking of item features
US9576196B1 (en) 2014-08-20 2017-02-21 Amazon Technologies, Inc. Leveraging image context for improved glyph classification
US9418283B1 (en) * 2014-08-20 2016-08-16 Amazon Technologies, Inc. Image processing using multiple aspect ratios
JP6048688B2 (ja) * 2014-11-26 2016-12-21 横河電機株式会社 イベント解析装置、イベント解析方法およびコンピュータプログラム
CN104462481A (zh) * 2014-12-18 2015-03-25 浪潮(北京)电子信息产业有限公司 一种基于颜色和形状的综合图像检索方法
CN107045503B (zh) 2016-02-05 2019-03-05 华为技术有限公司 一种特征集确定的方法及装置
KR101986361B1 (ko) * 2016-09-23 2019-06-07 주식회사 모션크루 디지털 동영상 특징값 추출 시스템 및 방법, 및 상기 특징값을 이용한 디지털 동영상 유사도 판단 시스템 및 방법
CN108052500B (zh) * 2017-12-13 2021-06-22 北京数洋智慧科技有限公司 一种基于语义分析的文本关键信息提取方法及装置
CN111860894B (zh) * 2020-07-29 2024-01-09 宁波大学 斜拉桥病害属性选择方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08500471A (ja) 1992-04-30 1996-01-16 セリディアン コーポレイション 放送セグメントを認識するための方法とシステム
JP2002142094A (ja) * 2000-10-31 2002-05-17 Toshiba Corp 電子透かし埋込装置、電子透かし検出装置、電子透かし埋込方法、電子透かし検出方法及び記録媒体
WO2006129551A1 (ja) * 2005-05-31 2006-12-07 Nec Corporation パタン照合方法、パタン照合システム及びパタン照合プログラム
JP2008158776A (ja) * 2006-12-22 2008-07-10 Canon Inc 特徴検出方法及び装置、プログラム、記憶媒体
JP2009017806A (ja) 2007-07-11 2009-01-29 Ginga Foods Corp 切れ目入りソーセージ及びその製造方法

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10243402A (ja) * 1997-02-27 1998-09-11 Toshiba Corp 画像処理装置及び画像処理方法
JP3435684B2 (ja) * 1997-09-30 2003-08-11 株式会社アドバンテスト 画像情報処理装置
US6016354A (en) * 1997-10-23 2000-01-18 Hewlett-Packard Company Apparatus and a method for reducing red-eye in a digital image
DE69943018D1 (de) * 1998-10-09 2011-01-20 Sony Corp Lernvorrichtung und -verfahren, erkennungsvorrichtung und verfahren, und aufnahme-medium
WO2000031688A1 (fr) * 1998-11-25 2000-06-02 Sony Corporation Dispositif et procede de traitement d'image, et support enregistre lisible par ordinateur
JP3550681B2 (ja) * 1999-12-10 2004-08-04 日本電気株式会社 画像検索装置及び方法、並びに類似画像検索プログラムを格納した記憶媒体
US7212677B2 (en) * 2000-01-11 2007-05-01 Minolta Co., Ltd. Coder, coding method, program, and image forming apparatus for improving image data compression ratio
JP3649992B2 (ja) * 2000-05-12 2005-05-18 三洋電機株式会社 画像信号処理装置及び画像信号処理方法
EP1158801A3 (en) * 2000-05-22 2006-09-13 Matsushita Electric Industrial Co., Ltd. Image communication terminal
US6940999B2 (en) * 2000-06-13 2005-09-06 American Gnc Corp. Method for target detection and identification by using proximity pixel information
US6606620B1 (en) * 2000-07-24 2003-08-12 International Business Machines Corporation Method and system for classifying semi-structured documents
US20020138492A1 (en) * 2001-03-07 2002-09-26 David Kil Data mining application with improved data mining algorithm selection
US20020164070A1 (en) * 2001-03-14 2002-11-07 Kuhner Mark B. Automatic algorithm generation
US6996717B2 (en) * 2001-05-24 2006-02-07 Matsushita Electric Industrial Co., Ltd. Semi-fragile watermarking system for MPEG video authentication
WO2003058554A1 (fr) * 2001-12-28 2003-07-17 Nikon Corporation Dispositif de traitement d'image permettant d'effectuer un jugement de similitude entre des pixels et programme de traitement d'image
JP3896868B2 (ja) * 2002-02-27 2007-03-22 日本電気株式会社 パターンの特徴選択方法及び分類方法及び判定方法及びプログラム並びに装置
US7194630B2 (en) * 2002-02-27 2007-03-20 Canon Kabushiki Kaisha Information processing apparatus, information processing system, information processing method, storage medium and program
US7366909B2 (en) 2002-04-29 2008-04-29 The Boeing Company Dynamic wavelet feature-based watermark
US7263214B2 (en) * 2002-05-15 2007-08-28 Ge Medical Systems Global Technology Company Llc Computer aided diagnosis from multiple energy images
US7356190B2 (en) * 2002-07-02 2008-04-08 Canon Kabushiki Kaisha Image area extraction method, image reconstruction method using the extraction result and apparatus thereof
US7324927B2 (en) * 2003-07-03 2008-01-29 Robert Bosch Gmbh Fast feature selection method and system for maximum entropy modeling
US7680357B2 (en) * 2003-09-09 2010-03-16 Fujifilm Corporation Method and apparatus for detecting positions of center points of circular patterns
EP1678677A4 (en) * 2003-09-26 2008-02-20 Agency Science Tech & Res METHOD AND SYSTEM FOR PROTECTING AND AUTHENTICATING A DIGITAL IMAGE
US20050276454A1 (en) * 2004-06-14 2005-12-15 Rodney Beatson System and methods for transforming biometric image data to a consistent angle of inclination
US7394940B2 (en) * 2004-11-19 2008-07-01 International Business Machines Corporation Digital video media duplication or transmission quality measurement
JP4728104B2 (ja) * 2004-11-29 2011-07-20 株式会社日立製作所 電子画像の真正性保証方法および電子データ公開システム
WO2007015452A1 (ja) * 2005-08-04 2007-02-08 Nippon Telegraph And Telephone Corporation 電子透かし埋め込み方法、電子透かし埋め込み装置、電子透かし検出方法、電子透かし検出装置、及びプログラム
JP4592652B2 (ja) * 2005-09-09 2010-12-01 株式会社東芝 電子透かし埋め込み装置及び方法、電子透かし検出装置及び方法、並びにプログラム
US8700403B2 (en) * 2005-11-03 2014-04-15 Robert Bosch Gmbh Unified treatment of data-sparseness and data-overfitting in maximum entropy modeling
ITRM20060213A1 (it) * 2006-04-13 2007-10-14 Univ Palermo Metodo di elaborazione di immagini biomediche
US7848592B2 (en) * 2006-07-31 2010-12-07 Carestream Health, Inc. Image fusion for radiation therapy
US20080279416A1 (en) * 2007-05-11 2008-11-13 Motorola, Inc. Print matching method and system using phase correlation
JP5231839B2 (ja) * 2008-03-11 2013-07-10 株式会社東芝 パターン認識装置及びその方法
DE102008016807A1 (de) * 2008-04-02 2009-10-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Segmentation einer Läsion
US8200034B2 (en) * 2008-04-14 2012-06-12 New Jersey Institute Of Technology Detecting double JPEG compression in images
US8358837B2 (en) * 2008-05-01 2013-01-22 Yahoo! Inc. Apparatus and methods for detecting adult videos
US20090296989A1 (en) * 2008-06-03 2009-12-03 Siemens Corporate Research, Inc. Method for Automatic Detection and Tracking of Multiple Objects
JP5294343B2 (ja) * 2008-06-10 2013-09-18 国立大学法人東京工業大学 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置
WO2010044214A1 (ja) * 2008-10-14 2010-04-22 パナソニック株式会社 顔認識装置および顔認識方法
US9269154B2 (en) * 2009-01-13 2016-02-23 Futurewei Technologies, Inc. Method and system for image processing to classify an object in an image
EP2333718B1 (en) * 2009-01-29 2013-08-28 Nec Corporation Feature amount selecting device
WO2010122721A1 (ja) * 2009-04-22 2010-10-28 日本電気株式会社 照合装置、照合方法および照合プログラム
CN102239687B (zh) * 2009-10-07 2013-08-14 松下电器产业株式会社 追踪对象选择装置、方法及其电路
TW201145992A (en) * 2010-06-09 2011-12-16 Hon Hai Prec Ind Co Ltd PTZ camera and method for positioning objects of the PTZ camera
WO2012154216A1 (en) * 2011-05-06 2012-11-15 Sti Medical Systems, Llc Diagnosis support system providing guidance to a user by automated retrieval of similar cancer images with user feedback

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08500471A (ja) 1992-04-30 1996-01-16 セリディアン コーポレイション 放送セグメントを認識するための方法とシステム
JP2002142094A (ja) * 2000-10-31 2002-05-17 Toshiba Corp 電子透かし埋込装置、電子透かし検出装置、電子透かし埋込方法、電子透かし検出方法及び記録媒体
WO2006129551A1 (ja) * 2005-05-31 2006-12-07 Nec Corporation パタン照合方法、パタン照合システム及びパタン照合プログラム
JP2008158776A (ja) * 2006-12-22 2008-07-10 Canon Inc 特徴検出方法及び装置、プログラム、記憶媒体
JP2009017806A (ja) 2007-07-11 2009-01-29 Ginga Foods Corp 切れ目入りソーセージ及びその製造方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2333718A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014002723A (ja) * 2012-06-15 2014-01-09 Mitsubishi Electric Corp スケール不変の画像特徴の量子化された埋込みを用いて画像を表現する方法
WO2017056312A1 (ja) * 2015-10-02 2017-04-06 富士通株式会社 画像処理プログラムおよび画像処理装置
JPWO2017056312A1 (ja) * 2015-10-02 2018-02-01 富士通株式会社 画像処理プログラムおよび画像処理装置
US10339418B2 (en) 2015-10-02 2019-07-02 Fujitsu Limited Computer-readable storage medium storing image processing program and image processing apparatus
JP2022519868A (ja) * 2019-03-28 2022-03-25 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング 敵対的攻撃の自動認識及び分類
JP7248807B2 (ja) 2019-03-28 2023-03-29 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング 敵対的攻撃の自動認識及び分類

Also Published As

Publication number Publication date
EP2333718B1 (en) 2013-08-28
EP2333718A1 (en) 2011-06-15
KR101404401B1 (ko) 2014-06-05
US20110135203A1 (en) 2011-06-09
EP2333718A4 (en) 2011-11-09
KR20110103423A (ko) 2011-09-20
JP4766197B2 (ja) 2011-09-07
CN102301395B (zh) 2014-08-06
US8620087B2 (en) 2013-12-31
CN102301395A (zh) 2011-12-28
JPWO2010087124A1 (ja) 2012-08-02

Similar Documents

Publication Publication Date Title
JP4766197B2 (ja) 特徴量選択装置
Wan et al. Transductive zero-shot learning with visual structure constraint
Özkan et al. Performance analysis of state-of-the-art representation methods for geographical image retrieval and categorization
Shuai et al. Fingerprint indexing based on composite set of reduced SIFT features
Ouyang et al. Robust hashing for image authentication using SIFT feature and quaternion Zernike moments
WO2012124000A1 (ja) 画像認識システム、画像認識方法および画像認識用プログラムが格納された非一時的なコンピュータ可読媒体
CN101853486A (zh) 一种基于局部数字指纹的图像拷贝检测方法
Varna et al. Modeling and analysis of correlated binary fingerprints for content identification
Liang et al. Robust image hashing with isomap and saliency map for copy detection
Roy et al. Digital image forensics
US8170341B2 (en) Image signature extraction device
Cui et al. Robust shoeprint retrieval method based on local‐to‐global feature matching for real crime scenes
Wang et al. Attention-based deep metric learning for near-duplicate video retrieval
CN109447173A (zh) 一种基于图像全局特征和局部特征的图像匹配方法
Li et al. SIFT keypoint removal via directed graph construction for color images
Panzade et al. Copy-move forgery detection by using HSV preprocessing and keypoint extraction
JP5833499B2 (ja) 高次元の特徴ベクトル集合で表現されるコンテンツを高精度で検索する検索装置及びプログラム
CN100535926C (zh) 数据处理,图像处理和图像分类方法及设备
Amiri et al. Copy-move forgery detection using a bat algorithm with mutation
Deshpande et al. Latent fingerprint identification system based on a local combination of minutiae feature points
Weng et al. Supervised multi-scale locality sensitive hashing
Law et al. Hybrid pooling fusion in the bow pipeline
Khedher et al. Local sparse representation based interest point matching for person re-identification
Voloshynovskiy et al. On accuracy, robustness, and security of bag-of-word search systems
Wen et al. Classification of firing pin impressions using HOG‐SVM

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080005948.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10735596

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010548397

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13056767

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010735596

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20117016483

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE