WO2010023808A1 - 画像同一性尺度算出システム - Google Patents

画像同一性尺度算出システム Download PDF

Info

Publication number
WO2010023808A1
WO2010023808A1 PCT/JP2009/003283 JP2009003283W WO2010023808A1 WO 2010023808 A1 WO2010023808 A1 WO 2010023808A1 JP 2009003283 W JP2009003283 W JP 2009003283W WO 2010023808 A1 WO2010023808 A1 WO 2010023808A1
Authority
WO
WIPO (PCT)
Prior art keywords
quantization
quantization index
index
image
comparison
Prior art date
Application number
PCT/JP2009/003283
Other languages
English (en)
French (fr)
Inventor
岩元浩太
大網亮磨
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US13/061,618 priority Critical patent/US8897566B2/en
Priority to CN200980138142.1A priority patent/CN102165490B/zh
Priority to JP2010526507A priority patent/JP5482655B2/ja
Publication of WO2010023808A1 publication Critical patent/WO2010023808A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object

Definitions

  • the present invention relates to an image identity scale calculation system for calculating an identity scale indicating the degree of identity of an image, and in particular, an image identity scale calculation capable of determining an image duplicated by various modification processes as the same image as an original image. About the system.
  • An image identity scale calculation system that calculates an identity scale indicating the degree to which two images are the same is used to detect, for example, a copy of an image or a moving image that is a collection of images. That is, the image identity measure calculated from the two images is compared with a certain threshold value to determine whether the two images are the same (replicated).
  • modification processing When an image is copied, various modification processes are often performed. Various types of modification processing include image compression format conversion, image compression rate conversion, image size / aspect ratio conversion, image color tone adjustment, various image filter processing (sharpening, smoothing), etc. is there. In addition, local processing on an image such as superimposition of a telop is included.
  • duplication not only a simple image copy but also a case where the above-described various modification processes are performed together will be simply referred to as duplication.
  • various modification processes will refer to various modification processes for images as described above. For this reason, in order to detect image duplication, the identity scale calculation system is robust to various modification processes, and calculates an identity scale that can determine that an image copied by various modification processes is the same image as the original image. Is required.
  • Non-patent literature 1 to non-patent literature 3 describe a method for calculating an identity scale robustly for various modification processes.
  • feature quantities of two images are extracted, and feature quantities of the two images are compared to calculate an identity scale.
  • a feature amount is extracted for each of a plurality of local regions of an image
  • a quantization index is calculated by quantizing the extracted feature amount
  • a quantization index for each local region is extracted as a feature amount of the image.
  • the quantization indexes for the corresponding local regions are compared, and the identity measure is calculated based on the number of local regions whose quantization indexes match between the images.
  • Non-Patent Document 1 a quantization index is obtained by classifying luminance distribution patterns in a local region into 11 types.
  • Non-Patent Document 2 the color information of the local area is normalized in the time interval, and linear scalar quantization is used as the quantization index.
  • the identity measure is calculated as a Hamming distance.
  • Non-Patent Document 3 (a technique described as “Local Edge Representation” in Non-Patent Document 3), a quantized index is obtained by quantizing the centroid position of the edge point extracted from the local region.
  • FIGS. 1 and 2 are block diagrams showing the configuration of the image identity scale calculation system described in Non-Patent Document 1 to Non-Patent Document 3.
  • the image feature quantity extraction device 11 includes a feature quantity extraction unit 111 and a quantization index calculation unit 112.
  • the feature amount extraction unit 111 extracts the feature amount for each of a plurality of local regions of the image specified in advance, and supplies the extracted feature amount for each local region to the quantization index calculation unit 112. To do.
  • the quantization index calculation unit 112 quantizes the feature amount for each local region supplied from the feature amount extraction unit 111 to calculate a quantization index, and outputs the quantization index for each local region as an image feature amount.
  • the image feature amount comparison device 12 includes a quantization index comparison unit 121.
  • the quantization index comparison means 121 receives the quantization index for each local region of each of the two images output from the image feature quantity extraction device 11, compares the quantization index for each corresponding local region, and compares the quantization index. An identity measure is calculated based on the number of local regions that match and is output.
  • the image identity scale calculation system shown in the configuration of FIG. 1 and FIG. 2 uses a quantization index calculated by quantizing a feature amount as a feature amount, and therefore some image signals resulting from various alteration processes to the image are generated. Robust against change. Also, since the quantization index for each local area is used as a feature quantity and the identity scale is calculated based on the number of local areas with the same quantization index, modification such as local processing on the image, such as telop overlay Also robust to processing.
  • the image identity scale calculation system shown in the configuration of FIGS. 1 and 2 calculates the identity scale using a single quantization index set quantized by a single predefined quantization method. Therefore, there is a problem that the image identity determination capability is fixed by the quantization method used.
  • the image identity determination ability is determined by two scales: an identification ability that is a degree at which different images can be distinguished, and a robustness that is a degree at which the quantization index does not change by various modification processes on the image, Discrimination ability and robustness are in a trade-off relationship.
  • the ability to determine the identity of images is fixed, which means that the balance between discrimination ability and robustness is also fixed.
  • the present invention has been invented in view of the above-mentioned problems, and the object thereof is image identity that can adjust the balance between discrimination ability and robustness, which is a measure of image identity judgment ability. It is to provide a sex scale calculation system.
  • a first image identity scale calculation system is a system for calculating an identity scale indicating a degree to which two images are identical, and is hierarchically quantized for each quantization target area of the two images. Based on the information given separately, a set of quantization indexes to be used for comparison is obtained based on the separately given information. Image feature amount comparison that is selected as a comparative quantization index set, compares the hierarchical quantization index codes of the two images using the comparative quantization index set, and calculates an identity measure of the two images Means.
  • a first image identity scale calculation method is a method for calculating an identity scale indicating the degree to which two images are the same, wherein the image feature quantity comparison means has a predetermined hierarchical quantization.
  • a hierarchical quantization index code which is an encoding format capable of uniquely identifying the quantization indexes of a plurality of hierarchies calculated by performing hierarchical quantization for each quantization target region of the two images according to the method, is input, Based on separately provided information, a set of quantization indexes used for comparison is selected as a comparison quantization index set, and the hierarchical quantization index codes of the two images are compared using the comparison quantization index set. Then, an identity measure between the two images is calculated.
  • a computer that calculates an identity measure indicating a degree of similarity between two images is calculated for each quantization target region of the two images according to a predetermined hierarchical quantization method.
  • Quantization used for comparison based on information given separately, using as input the hierarchical quantization index code, which is a coding format that can uniquely identify the quantization index of multiple hierarchies calculated by hierarchical quantization
  • Select a set of indexes as a comparative quantization index set compare the hierarchical quantization index codes of the two images using the comparative quantization index set, and calculate an identity measure of the two images It functions as an image feature amount comparison means.
  • an image identity calculation system capable of adjusting the balance between discrimination ability and robustness, which is a measure of image identity determination ability.
  • FIG. 3 is a block diagram showing the configuration of the image identity scale calculation system according to the first embodiment.
  • the first embodiment of the present invention includes an image feature quantity extraction device 01 and an image feature quantity comparison device 02.
  • FIG. 4 is a block diagram showing a specific configuration of the image feature quantity extraction device 01 in the image identity scale calculation system according to the first embodiment
  • FIG. 5 shows the first embodiment. It is the block diagram which showed the specific structure of the image feature-value comparison apparatus 02 in the image identity scale calculation system concerning.
  • the image feature quantity extraction device 01 When an image is input, the image feature quantity extraction device 01 performs hierarchical hierarchies according to a hierarchical quantization method that is a method of performing hierarchical quantization in advance for each quantization target region of a predetermined image. Quantization is performed to calculate a quantization index of a plurality of hierarchies, to calculate a hierarchical quantization index code that is an encoding format that can uniquely identify the quantization index of each hierarchy of each quantization target region, Output as image features.
  • the quantization index of each layer in each quantization target region can be uniquely specified
  • the correspondence between each quantization target region and its quantization index can be uniquely specified
  • the quantization target region is a region to be subjected to quantization in a hierarchical manner to calculate a quantization index.
  • the quantization target region may be a plurality of local regions obtained by spatially dividing an image, for example.
  • a plurality of local regions (blocks) obtained by dividing an image into rectangular local regions (blocks) (the blocks may partially overlap each other) may be used.
  • a local region may be defined for a normalized image obtained by normalizing the image size so as to cope with the conversion of the image size.
  • the entire image may be set as one quantization target region.
  • the quantization target region does not have to be a spatial region of the image, and may be a partial region in the frequency region of the image signal, for example.
  • the quantization target region may be any region as long as quantization can be performed based on the image signal.
  • the hierarchical quantization method means that a quantization target region is classified into a finite number of quantization indexes by a certain quantization method based on an image signal, and samples classified into each quantization index are further separated into different quantization indexes.
  • This is a method of hierarchical classification into a finite number of quantization indexes by a quantization method.
  • the quantization method is a type of feature amount used for quantization and a procedure / parameter for calculating the quantization index by quantizing the feature amount.
  • FIG. 6 schematically shows an example of the hierarchical quantization method.
  • a number represents a quantization index
  • a portion surrounded by a dotted line represents a set of quantization indexes quantized by one quantization method.
  • the quantization method of the lower layer is determined by the quantization index of the upper layer.
  • the quantization method of the lower layer differs depending on the quantization index of the upper layer (the type of feature quantity used for quantization and the procedure / parameter for calculating the quantization index by quantizing the feature quantity) (however, Or the same quantization method).
  • the quantization index is 1
  • the quantization method of the lower layer is quantization method B
  • the quantization index is 2
  • the quantization method of the lower layer is quantum.
  • the conversion method C is different.
  • the feature value used by the quantization method B and the feature value used by the quantization method C may be different.
  • the type of feature value used by the quantization method of the upper layer may be different from the type of feature value used by the quantization method of the lower layer.
  • the number of quantization indexes classified in the lower layer may be different depending on the quantization index of the upper layer.
  • the quantization index is 1, the number of quantization indexes classified in the lower hierarchy is 2, and when the quantization index is 5, classification is performed in the lower hierarchy.
  • the number of quantization indexes is 4, which is different.
  • the depth (number of hierarchies) of the lower hierarchy may be different depending on the quantization index of the upper hierarchy. Referring to FIG.
  • the depth (number of layers) of the lower hierarchy is 3 at the maximum (4 including the highest hierarchy), and the quantization index is 3
  • the depth (number of hierarchies) of the lower hierarchy is 1 (2 if the highest hierarchy is included), which are different.
  • the quantization method in the highest layer needs to be a method for classifying all samples into a finite number of quantization indexes so as to be unique and unclassified.
  • the quantization method for the other layers must be a method for classifying all samples classified into the quantization index of the upper layer uniquely into a finite number of indexes so that there is no unclassification.
  • the quantization method A which is the quantization method of the highest hierarchy, has quantization indexes 1, 2, 3, 4, and so that all samples are uniquely and unclassified. (One sample should not be classified into quantization indexes 1 and 2 at the same time, for example).
  • the quantization method G is configured so that all the samples classified into the quantization index 5 which is the quantization index of the higher hierarchy are uniquely and unclassified so that the quantization indexes 18, 19, 20 or 21 (one sample should not be classified into the quantization indexes 18 and 19 at the same time, for example).
  • a plurality of different quantization methods may exist in parallel with respect to the quantization index of the upper layer (the highest level).
  • a plurality of hierarchical quantization methods may exist in parallel). Referring to FIG. 6 as an example, with respect to the quantization index 4, a quantization method E and a quantization method F, which are different quantization methods, exist in parallel.
  • any feature amount may be used, and the quantization index may be used with any procedure / parameter using the feature amount. May be calculated.
  • a method may be used in which a scalar feature amount (for example, an average luminance value of an image) is extracted from the quantization target region and linear scalar quantization or nonlinear scalar quantization is performed on the feature amount.
  • a method of extracting a feature quantity of a vector quantity for example, a luminance histogram of an image
  • Parameters for scalar quantization or vector quantization may be arbitrary.
  • a quantization method based on rules instead of simple arithmetic operations may be used. For example, a feature quantity related to the intensity and direction of the gradient of the image is extracted from the quantization target area, and if the intensity is less than a specified quantity, it is classified into a quantization index indicating “no gradient”, otherwise A method may be used in which the gradient direction is quantized into four directions and classified into five quantization indexes as a whole.
  • the quantization method A is preferably a more robust quantization method than the quantization methods B, C, D, E, F, and G.
  • the quantization method using the gradient of the luminance component of the image as the feature value is more robust than the quantization method using the color component of the image as the feature value.
  • the robustness of a certain quantization method is, for example, creating a duplicate image by applying various modification processes to the image group for learning, and quantizing each quantization target region from the original image and the duplicate image by the quantization method.
  • An index can be calculated and measured at a rate at which the quantization index matches in the corresponding quantization target area.
  • the quantization method having a higher matching ratio is a more robust quantization method with respect to various modification processes on an image.
  • the quantization method with high robustness should be placed higher than the quantization method with low robustness. It may be configured.
  • the quantization method in each layer of the hierarchical quantization method is classified as equally as possible for a plurality of quantization indexes classified by the quantization method in a general image that does not assume a specific population. It is desirable (but not necessarily) that the quantization method be such. Referring to FIG. 6 as an example, when quantization is performed by the quantization method A in a general image that does not assume a specific population, each of the quantization indexes 1, 2, 3, 4, and 5 can be as much as possible. It is desirable to classify with an equal degree.
  • the parameters of the quantization method may be set so that the image group for learning is classified as evenly as possible.
  • the hierarchical quantization method is such that a set of quantization indexes calculated by the quantization method of the highest layer can identify sufficiently different images in a general image group that does not assume a specific population. It is desirable (but not necessarily) that the method has some discriminating ability. Referring to FIG. 6 as an example, in a general image that does not assume a specific population, a method in which the quantization indexes 1, 2, 3, 4, and 5 calculated by the quantization method A have sufficient discrimination capability. It is desirable that Here, for example, if the number of quantization indexes calculated by the quantization method of the highest layer is too small (for example, two), it is not desirable because sufficient identification capability cannot be obtained (however, this is not the case). May be).
  • the number of quantization indexes calculated by the quantization method of layers other than the highest layer is smaller (that is, the degree of freedom of adjustment). Is preferred) (but not necessarily so).
  • the number (5) of quantization indexes calculated by the quantization method of the highest layer is the maximum, and the number of quantization indexes calculated by the quantization method of the lower layer is that. Less (2, 3, 4) is desirable (but need not be).
  • the number of quantization indexes calculated by the quantization method of the highest layer is about 10, and the quantization index calculated by the quantization method of the lower layer is 2 (that is, divided into two) ) Is a desirable example.
  • the image feature quantity extraction device 01 includes a next hierarchy quantization method selection means 011, a feature quantity extraction means 012, a quantization index calculation means 013, a hierarchical quantization index code output means 014, It is composed of
  • the next hierarchy quantization method selection unit 011 corresponds to the quantization index.
  • the quantization method of the lower layer is selected and the quantization index is not supplied, the quantization method of the highest layer is selected, and the feature amount extraction unit 012 and the quantization index calculation unit 013 are selected for the information of the selected quantization method To supply.
  • the quantization index input to the next hierarchy quantization method selection unit 011 is information fed back from the quantization index calculation unit 013 described later. Referring to FIG. 6 as an example, when a quantization index is not supplied, a quantization method A that is a quantization method of the highest layer is selected.
  • the quantization method H that is a quantization method in the lower hierarchy of the quantization index 6 is selected.
  • the respective quantization methods are selected and the respective quantization methods are selected. Provide information on the conversion method. Referring to FIG. 6 as an example, when the quantization index 4 is supplied, each of the quantization method E and the quantization method F existing in parallel in the lower hierarchy of the quantization index 4 is selected and supplied.
  • the feature amount extraction unit 012 extracts, for each quantization target region, the feature amount used by the quantization method from the input image according to the quantization method information supplied from the next-layer quantization method selection unit 011.
  • the extracted feature amount is supplied to the quantization index calculating unit 013.
  • the feature quantity extraction unit 012 is a hierarchical quantization method that includes a plurality of quantization methods when there are a plurality of different quantization methods in parallel in the lower hierarchy (or the highest hierarchy) of a given quantization index.
  • feature quantities used by the respective quantization methods are extracted and supplied.
  • the feature quantity extraction unit 012 extracts all necessary feature quantities in advance, and outputs the feature quantity when the quantization method information is supplied from the next layer quantization method selection unit 011. It may be.
  • the feature amount may be held and output as it is without being extracted again.
  • the quantization index calculation unit 013 quantizes the feature amount supplied from the feature amount extraction unit 012 according to the quantization method information supplied from the next-layer quantization method selection unit 011 for each quantization target region. Calculate the quantization index.
  • the calculated quantization index is not the lowest hierarchy, that is, when there is a lower quantization method, the calculated quantization index is supplied (feedback) to the next hierarchy quantization method selection unit 011. If the calculated quantization index is in the lowest hierarchy, the calculated quantization index is supplied to the hierarchical quantization index code output unit 014.
  • the quantization index calculation unit 013 is not limited to the case where the quantization index of the lowest layer is calculated, and the quantization index is output to the hierarchical quantization index every time the quantization index of each layer is calculated.
  • the quantization indexes 8, 9, 11, 12, 14, 15, 16, 17, 20, 21, 22, 23, 25, 26, 27, 28, 29, 30, 32, 33 , 34, 35, 36, and 37 are quantization indexes of the lowest layer, and other quantization indexes are not quantization indexes of the lowest layer.
  • the quantization index calculating unit 013 has a plurality of quantization methods in the hierarchical quantization method, because a plurality of different quantization methods exist in parallel in the lower hierarchy (or the highest hierarchy) of a certain quantization index.
  • quantization is performed by each quantization method, and a quantization index is calculated and supplied.
  • FIG. 6 as an example, when information on the quantization method E and the quantization method F is supplied, a quantization index is calculated for each quantization method.
  • the hierarchical quantization index code output unit 014 When the quantization index of the lowest layer is supplied from the quantization index calculation unit 013 for each quantization target region, the hierarchical quantization index code output unit 014, the quantization index of each layer in each quantization target region A hierarchical quantization index code, which is a coding format that can uniquely specify (each quantization index calculated by the quantization index calculating unit 013), is calculated and output.
  • the hierarchical quantization index code the quantization index of each layer can be uniquely specified for each quantization target region. Any encoding format that can uniquely decode this may be used. Referring to FIG.
  • the quantization index 27 when the quantization index 27 is supplied as the quantization index of the lowest hierarchy, for example, the quantization index of each hierarchy becomes the quantization indexes 2, 10, 27 in order from the highest hierarchy, Any encoding format can be used as long as the quantization index of the hierarchy can be specified as the quantization indexes 2, 10, and 27.
  • the hierarchical quantization method a plurality of different quantization methods exist in parallel in the lower hierarchy (or the highest hierarchy) of a certain quantization index, so that a plurality of different lowest quantization indexes are supplied.
  • any encoding format that can uniquely identify the quantization index of each layer for each layer may be used. Referring to FIG.
  • quantization indexes 28 and 17 are supplied as quantization indexes of the lowest layer, quantization indexes 4, 13, and 28 that are quantization indexes of the respective layers, respectively.
  • Any encoding format may be used as long as each of the quantization indexes 4 and 17 (the quantization index 4 is common) (each hierarchical quantization path) can be uniquely identified.
  • the hierarchical quantization index code may be obtained by encoding only the quantization index of the lowest layer for each quantization target area, for example. This is because the hierarchical quantization method as shown in FIG. 6 is shared between the extraction side (image feature amount extraction device) and the comparison side (image feature amount comparison device), and if each can be referred to, This is because the quantization index higher than that can be uniquely identified from the quantization index of the lowest hierarchy. Referring to FIG. 6 as an example, if the quantization index of the lowest layer is, for example, the quantization index 27, only the quantization index 27 may be encoded (in accordance with the hierarchical quantization method, the quantization index 27 , Higher-order quantization indexes 2 and 10 can be uniquely identified).
  • the hierarchical quantization index code may be obtained by encoding the quantization index of all layers including the quantization index of the lowest layer.
  • the quantization index of the lowest layer is, for example, the quantization index 27, the quantization indexes 2, 10, and 27 of all layers may be encoded. Since the code size of the former is smaller, the former is generally preferable. In the latter case, the code size increases, but it is not necessary to reproduce the quantization index of the upper layer corresponding to the quantization index of the lower layer from the quantization index of the lowest layer when comparing the hierarchical quantization index codes. There is an advantage that the amount can be reduced.
  • the hierarchical quantization index code may be any encoding format that can uniquely identify the correspondence between each quantization target region and the quantization index. For example, it may be encoded according to a predetermined order of quantization target areas. Further, for example, it may be encoded by adding information that can specify the quantization target region.
  • the image feature quantity comparison device 02 receives a hierarchical quantization index code of two images calculated by the image feature quantity extraction device 01, and a population indicating characteristics of the population to which both or at least one of the two images belong Based on the characteristic information, a set of quantization indexes used for comparison is selected as a comparison quantization index set, the hierarchical quantization index codes of the two images are compared using the comparison quantization index set, and two An identity scale indicating the degree to which the images are identical is calculated and output.
  • the population may be any population as long as both or at least one of the two images to which the hierarchical quantization index code is supplied as an input belong.
  • the population may be a target to which the image identity scale calculation system of the present invention is applied. Thereby, the effect of the image identity scale calculation system of the present invention can be obtained for the image group of the population.
  • the target is the image / moving image sharing service. Therefore, the population may be a database (a group of images included) in the shared service.
  • the population may be, for example, an image group included in a classification to which both or at least one of two images belong.
  • the classification is a collection of images having the same characteristics.
  • a classification based on the content of the image for example, a natural image, an artifact image, a landscape image, a person image, a flower image, an animal image, etc.
  • Etc a classification based on the content of the image
  • the classification may be, for example, a genre (for example, news, sports, variety, drama, documentary, etc.), a broadcasting station, a broadcasting time zone, a broadcasting program, or the like.
  • the population may be, for example, a database to which both or at least one of two images belong or an image group included in a specific subset thereof.
  • an image group included in the image / moving image database of the service or a specific subset thereof is used as a population. Also good.
  • the image identity scale calculation system of the present invention functions as a system that detects duplication of the same image in the database of the service when both of the two images belong to the database (population), for example. For example, if one of the two images belongs to the database (population) and the other is given from the outside, it functions as a query search for the same image in the database of the service.
  • both or at least one of the two images is an image on the Internet
  • an image group on the Internet or a subset thereof may be used as a population.
  • a group of images posted to a specific site on the Internet may be used as a population.
  • an image group or a subset thereof owned by the specific individual may be used as a population.
  • both or at least one of the two images is a frame of a moving image
  • a frame group included in a moving image or a partial section of the moving image to which both or at least one of the two images belongs may be used as a population.
  • the moving image A (or a partial section of the moving image A) and the moving image B (or a partial section of the moving image B) or at least One group of frames may be used as a population.
  • the population to which both or at least one of the two images to which the hierarchical quantization index code is supplied as an input does not necessarily need to be an image aggregate in which the images are included as one image. Any image aggregate having the same characteristics may be used. For example, if the type based on the content of an image to which a hierarchical quantization index code is supplied as an input is “natural image”, and the image group of “natural image” is a population, The image group of “images” does not necessarily include an image to which a hierarchical quantization index code is supplied as an input.
  • the entire database including the image may be included in the population, but for example, a portion of the database not including the image
  • the set may be a population.
  • the population characteristic information is information indicating the characteristics of the population, and in particular, based on an identity scale calculated using a set of selected quantization indexes (as candidates) in the image group of the population. This information is correlated with the accuracy of the determination of the identity of the images (determination of whether or not the two images are the same). Based on this information, the comparative quantization index set can be selected so that the accuracy of the image identity determination based on the calculated identity scale is high. Note that the accuracy of image identity determination based on the calculated identity scale can be considered as the reliability of the identity scale. For this reason, the population image information may be considered as information having a correlation with the reliability of the identity scale calculated using the set of selected quantization indexes in the image of the population.
  • the accuracy of the determination of the identity of the image based on the identity measure calculated using the set of selected quantization indexes is (1) it is possible to identify different images included in the set of selected quantization indexes. It is determined by two scales, that is, the discriminating ability that is the degree, and (2) robustness that is the degree that the quantization index is not changed by various modification processes to the image that the set of the selected quantization index has.
  • the higher the discrimination ability and the higher the robustness the higher the accuracy of image identity determination based on the calculated identity scale (note that there is a trade-off between discrimination ability and robustness).
  • the population characteristic information may be information correlated with the discrimination ability of the set of quantization indexes, which is the degree to which different images can be discriminated, in the image group of the population. Based on this information, it is possible to select a comparative quantization index set so as to increase the discrimination capability.
  • the population characteristic information is information that correlates with robustness, which is the degree to which the quantization index does not change due to various modifications to the image included in the selected set of quantization indexes in the image group of the population. May be. Based on this information, a comparative quantization index set can be selected so that robustness is high.
  • the information correlated with the discrimination ability of the set of quantization indexes selected in the image group of the population may be, for example, the appearance frequency for each quantization index in the image group of the population (in this case)
  • the frequency of appearance for each quantization index in the image group of the population is the population characteristic information). This is because, in general, when the number of quantization indexes included in the set of quantization indexes is the same, the identification frequency becomes higher as the appearance frequency for each quantization index is equal. Based on this information, it is possible to select a comparative quantization index set so that the appearance frequencies for each quantization index are evenly approached, so that the discrimination ability is increased.
  • the population characteristic information is not the frequency of appearance for each quantization index in the image group of the population, for example, information indicating a bias in the appearance frequency to a specific quantization index in the image group of the population, or indirect It may be information that can be estimated. This is because if the selected set of quantization indexes has a bias in the frequency of appearance in a specific quantization index (the frequency of occurrence of a specific quantization index is high), the identification ability is low due to that quantization index. (This is because a quantization index having a high appearance frequency has a higher probability of appearing in common among different images by chance, making it difficult to identify different images).
  • the population characteristic information may be, for example, information indicating that “the image group of the population has many images including“ sky ””.
  • the appearance frequency it can be estimated that there is a bias in the appearance frequency to a specific quantization index (in this case, specifically, a quantization index indicating that the color is blue, for example). This is because the identification ability is lowered due to the index.
  • a specific quantization index in this case, specifically, a quantization index indicating that the color is blue, for example.
  • the population characteristic information is an appearance frequency for each quantization index in the image group of the population will be described in detail in the second embodiment.
  • Information that correlates with the robustness of the set of quantization indexes selected in the image group of the population includes, for example, quantization by various modification processes to the image for each quantization index in the image group of the population It may be a modification invariance indicating the degree that the index does not change (in this case, the modification invariance for each quantization index in the image group of this population becomes population characteristic information). This is because the higher the modification invariance for each quantization index, the higher the robustness. Based on this information, it is possible to select a comparative quantization index set so that the modification invariance with respect to the entire set of quantization indexes is high, and to improve robustness. In addition, the population characteristic information is not the modification invariance for each quantization index in the image group of the population.
  • the modification invariance of a specific quantization index in the image group of the population Information may be used.
  • the population characteristic information may be, for example, information indicating that “the image group of the population has many grayscale images”. Based on this information, it can be estimated that the modification invariance of a specific quantization index (in this case, specifically, a quantization index calculated by a quantization method using color information, for example) is low. This is because the robustness is lowered due to the index.
  • the population characteristic information is the modification invariance for each quantization index in the image group of the population will be described in detail in the fourth embodiment.
  • the population characteristic information is, for example, when an image is converted when the image is added to the population (for example, image compression, image size conversion).
  • information obtained by learning using the images may be used.
  • the population is a posting site on the Internet, information that shows the type and degree of modification obtained by comparing the image before posting with the image after posting and converting the image, and quantization It may be the modification invariance for each index.
  • the image feature quantity comparison device 02 includes a comparison quantization index set selection unit 021, a comparison quantization index acquisition unit 022, and a quantization index comparison unit 023.
  • the comparison quantization index set selection unit 021 selects a set of quantization indexes used for comparison as a comparison quantization index set based on the input population characteristic information. Information on the selected comparison quantization index set is supplied to the comparison quantization index acquisition unit 022.
  • the selected comparison quantization index set needs to be a set of quantization indexes such that each quantization target region is uniquely classified into a quantization index. That is, when a quantization index with a hierarchical quantization method is selected, a higher-level quantization index (an ancestor node) corresponding to the quantization index or a lower-layer quantization index ( Do not select descendant nodes.
  • a higher-level quantization index an ancestor node
  • a lower-layer quantization index Do not select descendant nodes.
  • the quantum calculated by the parallel quantization method exists. Do not select the index. Referring to FIG.
  • the comparative quantization index set is ⁇ 1, 2, 3, 4, 5 ⁇ or ⁇ 6, 7, 2, 3, 16, 17, 30, 31, 19, 20 , 21 ⁇ , ⁇ 22, 23, 7, 8, 9, 26, 27, 3, 16, 17, 30, 36, 37, 19, 20, 21 ⁇ , ⁇ 22, 23, 34, 35, 8 , 9, 26, 27, 11, 12, 28, 29, 14, 15, 30, 36, 37, 32, 33, 20, 21 ⁇ , etc. It is.
  • the quantization index 24 and the quantization index 7 corresponding to the higher-level quantization index corresponding to the quantization index 24 can be selected at the same time, or the quantization index 24 corresponding to the quantization index corresponding to the two-level higher-order hierarchy 1 cannot be selected at the same time.
  • the quantization index 7 and the quantization index 24 or 25 corresponding to the lower layer corresponding to the quantization index 7 can be selected at the same time, or the quantization index 7 and the quantization index corresponding to the lower hierarchy of the two layers can be selected.
  • the quantization indexes 34 and 35 cannot be selected at the same time.
  • the selected comparison quantization index set is preferably a set of quantization indexes such that each quantization target region is classified into one of the quantization indexes so that there is no unclassification, This is not necessarily so. Referring to FIG.
  • the comparative quantization index set is ⁇ 1, 2, 3, 4, 5 ⁇ or ⁇ 6, 7, 2, 3, 16, 17, 30, 31, 19, 20 , 21 ⁇ , ⁇ 22, 23, 7, 8, 9, 26, 27, 3, 16, 17, 30, 36, 37, 19, 20, 21 ⁇ , ⁇ 22, 23, 34, 35, 8 , 9, 26, 27, 11, 12, 28, 29, 14, 15, 30, 36, 37, 32, 33, 20, 21 ⁇ , etc. It is desirable because it is classified.
  • the comparison quantization index set is selected as ⁇ 1, 2, 3, 4 ⁇ , the sample classified into the quantization index 5 and the quantization index of the lower hierarchy corresponding thereto becomes unclassified, preferably There is no such choice.
  • the comparison quantization index set selection unit 021 selects a comparison quantization index set based on the population characteristic information. For example, when the population characteristic information is information correlated with the accuracy of the image identity determination based on the identity scale calculated using the selected set of quantization indexes in the image group of the population, Based on this information, the comparison quantization index set may be selected so that the accuracy of the determination of the identity of the image based on the calculated identity scale is increased. In addition, for example, when the population characteristic information is information that has a correlation with an identification ability that is a degree that a set of quantization indexes selected can identify different images in the image group of the population, based on this information The comparison quantization index set may be selected so that the discrimination capability is high.
  • a lower-level quantization index may be selected.
  • the population characteristic information is information indicating a bias in appearance frequency to a specific quantization index in the image group of the population (information indicating that the appearance frequency of a specific quantization index is high), or indirectly Is information that can be estimated (for example, information indicating that “the image group of the population has many images including“ sky ””), in order to increase the identification ability, the specific quantization index (population When the characteristic information is information indicating that “the image group of the population has many images including“ sky ””, a quantization index for a typical sky region, for example, a quantization index indicating that the color is blue
  • the comparison quantization index set is selected by selecting the quantization index calculated by the lower-layer quantization method for (, becomes a specific quantization index) (A quantized index with a high appearance frequency has a higher probability of appearing in common between different images, making it difficult to distinguish different images and lowering the discrimination ability.
  • the quantization index By selecting the quantization index, it is possible to divide the appearance frequency to suppress the deviation of the appearance frequency and to increase the identification ability).
  • FIG. 6 for example, when a set of quantization indexes ⁇ 1, 2, 3, 4, 5 ⁇ of the highest hierarchy is first used as a candidate, an image of the population is based on the population characteristic information.
  • a quantization index 11 which is a quantization index calculated by a quantization method of a lower hierarchy with respect to the quantization index 3, 12 may be selected, and the comparative quantization index set may be ⁇ 1, 2, 11, 12, 4, 5 ⁇ .
  • the population characteristic information is the appearance frequency for each quantization index in the image group of the population will be described in detail in the second embodiment.
  • the population characteristic information is information that correlates with robustness, which is the degree to which the quantization index does not change due to various modifications to the image, which the selected set of quantization indexes has in the image group of the population.
  • a comparative quantization index set may be selected based on this information so as to increase robustness. In order to increase the robustness, for example, a higher-level quantization index may be selected.
  • the population characteristic information is information that can estimate the modification invariance of a specific quantization index in the image group of the population (for example, information indicating that “the image group of the population has many grayscale images”)
  • the specific quantization index if the population characteristic information is information indicating that there are many grayscale images in the image group of the population
  • color information The quantization index set for comparison may be selected by selecting a higher-level quantization index for the quantization index calculated by the quantization method using By selecting a quantization index, multiple quantization indexes in the same layer are integrated, and a quantization index across the multiple quantization indexes is integrated. The change in the box is eliminated, is increased robustness). Note that the case where the population characteristic information is the modification invariance for each quantization index in the image group of the population will be described in detail in the fourth embodiment.
  • the comparison quantization index set selection unit 021 has, as the population characteristic information, information correlated with the discrimination ability of the set of selected quantization indexes and information correlated with robustness in the population image group.
  • the comparison quantization index set may be selected in consideration of both. Discrimination ability and robustness are in a trade-off relationship (generally, the discrimination ability increases as the discrimination ability increases, and the discrimination ability decreases as the robustness increases). For example, there is each of discrimination ability and robustness
  • the comparative quantization index set may be selected so as to be close to a certain criterion, and for example, the comparison quantum is set so that the other becomes higher while one of the discrimination ability and robustness meets the certain criterion.
  • a quantized index set may be selected, or a comparative quantized index set may be selected based on, for example, a scale obtained by quantifying and discriminating each of discrimination ability and robustness.
  • the comparison quantization index set selection unit 021 selects a comparison quantization index set in consideration of information that does not depend on the population and correlates with discrimination ability and robustness. May be.
  • information includes, for example, the number of quantization indexes included in the set of selected quantization indexes (in general, the greater the number of quantization indexes, the higher the identification ability and the lower the robustness), and the selection The depth of the set of quantized indexes. For example, from the set of quantization indexes that satisfy a certain criterion for the number of quantization indexes (for example, the number of quantization indexes is about 10 or the like), the discriminating ability and robustness are enhanced based on population characteristic information. Alternatively, a comparative quantization index set may be selected.
  • comparison quantization index set selection unit 021 selects the optimum based on any of the above-described criteria determined using the population characteristic information from among the sets of quantization indexes of all combinations as candidates.
  • a set of quantization indexes may be selected as a comparative quantization index set.
  • the comparison quantization index set selection unit 021 selects, for example, the quantization index of the upper layer of the hierarchical quantization method in preference to the quantization index of the lower layer, so that the comparison quantization index is selected. A set may be selected.
  • the comparison quantization index set selection unit 021 selects, for example, a set of quantization indexes in order from the highest hierarchy of the hierarchical quantization method, and sets a predetermined standard (for example, the above-described reference) Until a set of quantization indexes satisfying any one of the criteria) appears, a lower-level quantization index may be selected as a candidate, and a comparison quantization index may be selected.
  • a lower-level quantization index may be selected as a candidate, and a comparison quantization index may be selected.
  • the quantization index of the lower hierarchy based on the information indicating the bias in the appearance frequency to the specific quantization index in the population image group, the lower hierarchy of the specific quantization index is selected. You may make it select the quantization index calculated with a quantization method. For example, referring to FIG. 6, for example, first, the set ⁇ 1, 2, 3, 4, 5 ⁇ of the quantization index of the highest hierarchy is selected as a candidate, and this set is determined based on the population characteristic information.
  • a lower-layer quantization index may be selected as a candidate.
  • the quantization calculated by the quantization method of the lower hierarchy with respect to the quantization index 3 The quantization indexes 11 and 12 that are indexes may be selected, and the set of quantization indexes ⁇ 1, 2, 11, 12, 4, 5 ⁇ may be candidates. Such an operation may be recursively repeated until the discriminating ability determined based on the population characteristic information satisfies a prescribed standard, and the comparison quantization index set may be selected.
  • the lower-layer quantization index when determining whether or not to select a lower-level quantization index, if the robustness determined based on the population characteristic information does not satisfy a prescribed criterion, the lower-layer quantization index is The comparison quantization index may be selected without selecting it.
  • comparison quantization index set selection unit 021 will be described in detail in the second embodiment, the third embodiment, the fourth embodiment, and the fifth embodiment. Explained.
  • the comparison quantization index set selection unit 021 does not perform processing at the timing when the hierarchical quantization index codes of the two images are input to the image feature quantity comparison device 02, but in advance the identity measure of the present invention. It is desirable to perform processing on the population to which the calculation system is applied. It is desirable that the comparison quantization index set selection unit 021 performs processing only once for a certain population (note that it is effective to perform processing periodically by updating the population) There is no need to perform processing each time a hierarchical quantization index of an image is newly input. By doing so, the image feature quantity comparison device 02 can receive a large number of hierarchical quantization index codes of a large number of images belonging to the same population (that is, for a large number of images belonging to the same population). Thus, when the identity scale is calculated), the identity scale can be calculated efficiently and at high speed.
  • the comparison quantization index acquisition unit 022 receives the hierarchical quantization index code of each of the two images (image 1 and image 2) calculated by the image feature quantity extraction device 01, and for each image, For each quantization target region, information on the comparison quantization index set supplied from the comparison quantization index set selection unit 021 is selected from the quantization indexes of each layer uniquely identified by the hierarchical quantization index code. The quantization index included in the comparison quantization index set shown is acquired. The quantization index for each quantization target region acquired for each image is supplied to the quantization index comparison unit 023 as a comparison quantization index.
  • the hierarchical quantization method When acquiring the quantization index included in the comparison quantization index set, if the hierarchical quantization index code is obtained by encoding only the quantization index of the lowest hierarchy, the hierarchical quantization method is used. What is necessary is just to obtain
  • the quantization index of the lowest hierarchy of a certain quantization target area is 34
  • the quantization index of each hierarchy is 1, 7 in the order of the upper hierarchy according to the hierarchical quantization method. , 24, 34. Since the quantization index 7 is included in the comparison quantization index, the quantization index 7 is acquired as the comparison quantization index of the quantization target region. Further, when the quantization index of the lowest hierarchy of a certain quantization target region is 27, the quantization index of each hierarchy can be obtained as 2, 10, 27 in order of the upper hierarchy according to the hierarchical quantization method. Since the quantization index 2 is included in the comparison quantization index, the quantization index 2 is acquired as the comparison quantization index of the quantization target region.
  • the hierarchical quantization index code when a plurality of different quantization methods exist in parallel in the lower hierarchy (or the highest hierarchy) of a certain quantization index, the hierarchical quantization index code is one
  • the quantization included in the comparison quantization index set is selected from the quantization indexes of each hierarchy of the respective hierarchical quantization paths. Get the index.
  • the comparative quantization index set is ⁇ 6, 7, 2, 3, 16, 17, 30, 31, 19, 20, 21 ⁇ , for example.
  • the quantization index of the lowest layer of a certain quantization target region is 29 and 17 (from the hierarchical quantization index code)
  • the quantization index of each former layer is 4 in order of the upper layer.
  • 13, and 29, and the quantization index of each of the latter layers can be obtained as 4, 17 in order of the upper layer (the quantization index 4 is common).
  • the quantization index 17 is included in the comparison quantization index
  • the quantization index 17 is acquired as the comparison quantization index of the quantization target region. Note that if the comparison quantization index set supplied from the comparison quantization index set selection unit 021 is a set in which there is unclassification, the quantum for which the comparison quantization index is unclassified (undefined). The target area will be generated.
  • the comparison quantization index set is ⁇ 1, 2, 3, 4 ⁇
  • the quantization index of the lowest hierarchy of a certain quantization target region is 32
  • the quantization index of each layer is obtained as 5, 19, and 32 in the order of the upper layer, but none of them is included in the comparison quantization index set.
  • the quantization index is unclassified (undefined).
  • the comparison quantization index acquisition unit 022 calculates the identity measure for the image belonging to the population among the two images (image 1 and image 2) to which the hierarchical quantization index code is input. It is desirable to acquire the comparison quantization index in advance at the stage where the information of the comparison quantization index set is prepared, instead of acquiring the comparison quantization index immediately before performing. That is, it is desirable to obtain a comparative quantization index in advance for the image group of the population. By doing so, the image feature quantity comparison device 02 can calculate the identity scale efficiently and at high speed. This also eliminates the need to acquire a comparative quantization index every time when the identity measure is repeatedly calculated for the same image.
  • a quantization index for comparison is acquired in advance for the images belonging to the database. This eliminates the need to acquire a comparative quantization index every time a query is given from the outside, and thus the identity scale can be calculated at high speed.
  • a database is a population and both images belong to the database, and the identity scale is calculated for all image pairs in the database, comparison is made in advance for all images belonging to the database. By acquiring the quantization index for the image, it is not necessary to acquire the comparison quantum index every time the identity scale is calculated for each image pair, so that the speed of calculating the identity scale can be greatly increased. it can.
  • the quantization index comparison unit 023 compares the comparison quantization indexes of the two images (image 1 and image 2) supplied from the comparison quantization index acquisition unit 022 for each corresponding quantization target region. Based on the number of quantization target regions having the same quantization index, an identity measure indicating the degree to which the two images are identical is calculated and output.
  • the identity measure may be, for example, the number of quantization target regions having the same quantization index.
  • the identity scale may be calculated based on the number of quantization target areas (Humming distances) that do not match the quantization indexes, for example.
  • the identity scale may be a value obtained by, for example, obtaining the number of matching quantization target regions for each quantization index, and adding a weight value determined in advance for each quantization index.
  • the identity scale is quantified by, for example, determining whether or not the quantization indexes match for each quantization target region (for example, 1 if they match, 0 if they do not match), and for each quantization target region in advance
  • a predetermined weight value (for example, when the quantization target region is a local region of the image, the weight value is increased as the local region is closer to the center of the image) may be applied and added.
  • the quantization is performed. The target area may not contribute to the calculation of the identity scale.
  • the hierarchical quantization method, the population characteristic information, and the comparison quantization index set selected by the comparison quantization index set selection unit 021 described so far are common to all quantization target regions.
  • the quantization target region or a group of a plurality of quantization target regions are common to all quantization target regions.
  • the hierarchical quantization method may be different for each quantization target region or for each group of a plurality of quantization target regions.
  • population characteristic information supplied as an input may be different for each quantization target region or for each group of a plurality of quantization target regions.
  • the comparison quantization index set selection unit 021 may select different comparison quantization index sets for each quantization target region or for each group of a plurality of quantization target regions. In this way, for each quantization target region or for each group of a plurality of quantization target regions, the hierarchical quantization method, the population characteristic information, or the comparison quantum selected by the comparison quantization index set selection unit 021 By making the quantization index sets different, optimization suitable for the characteristics of each quantization target region or each group of a plurality of quantization target regions can be performed.
  • a local region belonging to the central region of the image is a hierarchical quantization method configured by a quantization method suitable for describing a foreground object (for example, a quantization method using edge information as a feature amount).
  • the local region belonging to the peripheral region of the image may use a hierarchical quantization method composed of a quantization method suitable for describing the background (for example, a quantization method using color information as a feature amount).
  • FIG. 7 is a flowchart showing the operation of the image feature quantity extraction device 01 in the first embodiment.
  • next hierarchy quantization method selection unit 011 selects the quantization method of the highest hierarchy according to the hierarchical quantization method for the first quantization target region, and sets the information of the selected quantization method as the feature quantity. This is supplied to the extraction unit 012 and the quantization index calculation unit 013 (step A01).
  • the feature quantity extraction unit 012 determines the feature quantity used by the quantization method for the current quantization target area according to the quantization method information supplied from the next hierarchy quantization method selection unit 011. Then, the extracted feature quantity is extracted from the input image, and the extracted feature quantity is supplied to the quantization index calculating means 013 (step A02).
  • the quantization index calculating unit 013 applies the feature quantity supplied from the feature quantity extracting unit 012 to the quantization index target region that is the current target. Quantization is performed according to the information of the quantization method, and a quantization index is calculated (step A03). It is determined whether or not the calculated quantization index is the lowest hierarchy of the hierarchical quantization method (step A04). If the calculated quantization index is not the lowest layer, the quantization index calculation unit 013 supplies (feeds back) the calculated quantization index to the next layer quantization method selection unit 011 to select the next layer quantization method.
  • the unit 011 selects a quantization index in a lower layer of the supplied (feedback) quantization index (upper layer), and sends information on the selected quantization method to the feature amount extraction unit 012 and the quantization index calculation unit 013. Supply (step A05). Then, the process again proceeds to step A02. If it is determined in step A04 that the calculated quantization index is the lowest hierarchy, it is next determined whether or not the processing of all the quantization target regions has been completed (step A06). If all the quantization target regions have not been processed, the next quantization target region is determined, and the process proceeds to step A01 again to perform processing on the next quantization target region. If all the quantization target areas have been processed, the hierarchical quantization index code output unit 014 then encodes a quantization format that can uniquely identify the quantization index of each hierarchy in each quantization target area. Is calculated and output (step A07).
  • FIG. 8 is a flowchart showing the operation of the image feature quantity comparison device 02 in the first embodiment.
  • the comparison quantization index set selection unit 021 selects a comparison quantization index set based on the input population characteristic information, and compares the selected comparison quantization index set information with the comparison quantization index. It supplies to the acquisition means 022 (step B01). Note that step B01 is not processed at the timing when the hierarchical quantization index codes of the two images are input to the image feature quantity comparison device 02, but is applied to the population to which the identity scale calculation system of the present invention is applied in advance. It is better to process it.
  • the comparison quantization index acquisition unit 022 calculates the comparison quantization index set supplied from the comparison quantization index set selection unit 021 from the hierarchical quantization index codes of the two input images.
  • a comparison quantization index is acquired for each image, and the acquired comparison quantization index is supplied to the quantization index comparison unit 023 (step B02).
  • the quantization index comparison unit 023 compares the comparison quantization indexes of the two images supplied from the comparison quantization index acquisition unit 022, calculates the identity measure, and outputs it (step B 03).
  • an image identity calculation system capable of adjusting the balance between discrimination ability and robustness, which is a measure of image identity determination ability.
  • the reason is that the ability to determine the identity of two images depends on which quantization index of a plurality of layers calculated for each quantization target region of the two images is used for comparison. Because it will change. Specifically, by using a lower-level quantization index for comparison, it is possible to enhance the discrimination ability, which is the degree that two images can be distinguished, out of the ability to judge the identity of two images. On the other hand, by using the higher-level quantization index for comparison, the robustness, which is the degree that the quantization index does not change due to various alteration processes to the image, of the ability to determine the identity of two images is improved. be able to.
  • a plurality of hierarchies quantization index calculated based on a hierarchical quantization method is used as a feature amount, and the image feature amount comparison device 02 calculates the identity measure of a population to which at least one of two images belongs.
  • the comparison quantization index set selection unit 021 selects the comparison quantization index set so that the accuracy of the determination of the identity of the image based on the identity scale calculated by the comparison quantization index set selection unit 021 is increased.
  • Each has the effect of optimizing the accuracy of image identity determination based on the calculated identity measure. Thereby, the accuracy of the determination of the identity of the image based on the calculated identity scale is not greatly reduced by the image population.
  • the image feature quantity comparison apparatus 02 adaptively optimizes the population and calculates the identity measure, thereby extracting the feature quantity ( That is, the hierarchical quantization method can be made common without depending on the population. For this reason, there is an effect that it is not necessary to learn an optimum feature amount extraction method (that is, hierarchical quantization method) for each population. In addition, as a result, there is no problem even when the population to which the image comparison is performed is not yet determined at the time of extracting the feature amount of the image.
  • FIG. 9 is a block diagram illustrating a configuration of an image feature amount comparison apparatus of the image identity scale calculation system according to the second embodiment.
  • population quantization index appearance frequency calculating means 03 is added to the configuration of the first embodiment shown in FIG. 4 and FIG.
  • the difference is that the comparison quantization index set selection unit 021 is replaced with a comparison quantization index set selection unit 021A. Since the other points are the same as in the first embodiment, only the points different from the first embodiment will be described here.
  • Population quantization index appearance frequency calculation means 03 receives the hierarchical quantization index code of the population image group calculated by the image feature quantity extraction device 01, and uses the hierarchical quantization method for the population image group. The appearance frequency of each quantization index is calculated, and the appearance frequency for each quantization index in the calculated population is supplied to the comparison quantization index set selection unit 021A as the population quantization index appearance frequency.
  • the image group of the population may be all the images included in the population, or may be only the image group extracted by sampling appropriately as long as the characteristics of the population are reflected.
  • Population quantization index appearance frequency calculation means 03 calculates all the hierarchical quantization methods from the quantization index of each hierarchy uniquely identified by each of the hierarchical quantization index codes of the input population image group.
  • the appearance frequency is calculated for the quantization index. 6 as an example, the population quantization index appearance frequency calculation unit 03 calculates the appearance frequencies of all the quantization indexes 1 to 37. If the hierarchical quantization index code is obtained by encoding the quantization index of the lowest hierarchy, the quantization index of the higher hierarchy is obtained from the quantization index of the lowest hierarchy according to the hierarchical quantization method. In addition to calculating the appearance frequency. Referring to FIG. 6 as an example, when the quantization index of the lowest hierarchy of a certain quantization target area of a certain image is 34 from the hierarchical quantization index code of the image group of the population, for example, the quantization index 1, For each of 7, 24, and 34, the appearance frequency is added once.
  • the appearance frequency of a certain quantization index is the sum of the appearance frequencies of all the quantization indexes in the next lower hierarchy.
  • the appearance frequency of the quantization index 24 is the sum of the appearance frequencies of the quantization indexes 34 and 35
  • the appearance frequency of the quantization index 7 is the sum of the quantization indexes 24 and 25
  • the appearance frequency of the quantization index 1 is This is the sum of the quantization indexes 6 and 7.
  • the appearance frequency for each quantization index output by the population quantization index appearance frequency calculation unit 03 may not be strictly the appearance frequency itself but may be, for example, the appearance probability.
  • the appearance probability for each quantization index is a value obtained by dividing each appearance frequency for each quantization index aggregated by the above method by the number of all quantization target regions.
  • the comparison quantization index set selection unit 021A uses the comparison quantization index appearance frequency calculation unit 03 so that the quantization index appearance frequencies are evenly approached based on the population quantization index appearance frequency supplied from the population quantization index appearance frequency calculation unit 03. Select a quantization index set. Information on the selected comparison quantization index set is supplied to the comparison quantization index acquisition unit 022.
  • the comparison quantization index set selection unit 021 according to the first embodiment is such that the input population characteristic information is specifically the population quantization index appearance frequency
  • the comparison quantization index set selection unit 021A The conditions relating to the selection of the comparison quantization index set are the same as those described in the first embodiment.
  • the comparison quantization index set selection unit 021A can increase the identification ability, which is the degree to which different images can be identified, by selecting the comparison quantization index so that the appearance frequency of the quantization index approaches evenly. . This is because, when the number of quantization indexes included in the set of quantization indexes is the same, if there is a bias in a specific quantization index (when the frequency of occurrence of a specific quantization index increases), a quantum having a high appearance frequency is obtained. This is because there is a high probability that the digitized index will appear in common between different images by chance, and the discrimination ability will be low.
  • the comparison quantization index set selection unit 021A selects, for example, a candidate as a method for selecting the comparison quantization index so that the appearance frequency of the quantization index approaches evenly based on the population quantization index appearance frequency.
  • a set of quantized indexes in which the appearance frequency equality indicating the degree of appearance of the quantization index is calculated and the appearance frequency equality is increased based on the appearance frequency equality is calculated.
  • the comparison quantization index set selection unit 021A calculates the appearance frequency equality degree for each of the combinations of the quantization index sets of all the candidates, and the quantization index that maximizes the appearance frequency equality degree. May be selected as a comparative quantization index set.
  • the appearance frequency uniformity degree may be calculated based on, for example, the variance of the appearance frequency (or appearance probability) of the quantization index.
  • a set of quantization index sets selected as candidates is represented as S, and the number of quantization indexes (that is, the number of elements in the set) included in the set of quantization indexes selected as candidates is represented as N.
  • Is expressed as i and the appearance frequency of the quantization index i is expressed as F i
  • the variance V of the appearance frequency of the quantization index can be calculated by the following equation.
  • Fa is an average value of appearance frequency.
  • any calculation method may be used (that is, the appearance frequency dispersion V).
  • the appearance frequency equality degree may be calculated as the reciprocal of the variance V of the appearance frequency.
  • the appearance frequency uniformity degree is based on, for example, the appearance frequency (or appearance probability) of the quantization index and the average value (or average value of the appearance probability) of the quantization index based on the population quantization index appearance frequency. May be calculated based on the number of quantization indexes that are equal to or less than a predetermined value (that is, the number of quantization indexes that are distant from the average value), or the ratio thereof. In this case, the greater the number of quantization indexes that are equal to or less than the prescribed value, the higher the appearance frequency uniformity degree.
  • the appearance frequency uniformity degree may be any calculation method as long as the appearance frequency uniformity degree is calculated so as to increase as the number of quantization indexes equal to or less than a predetermined value increases (ie, Any method that can be calculated based on a monotonically increasing function for this number) may be used. For example, the number of quantization indexes that are equal to or less than a prescribed value may be used as the appearance frequency uniformity degree.
  • the appearance frequency uniformity degree may be calculated based on information entropy (average information amount) calculated based on, for example, the population quantization index appearance frequency.
  • information entropy average information amount
  • the information entropy H can be calculated by the following equation.
  • the appearance frequency equality may be any calculation method as long as the information entropy H is calculated to be higher as the information entropy H is larger (that is, for the information entropy H, Any method that is calculated based on a monotonically increasing function may be used.
  • the information entropy H itself may be the appearance frequency uniformity degree.
  • the method for calculating the appearance frequency equality is any method as long as it is a method for calculating a scale indicating the degree of the appearance frequency of the quantization index being equal. It may be a simple method.
  • the comparison quantization index set selection unit 021A for example, in addition to the above-described appearance frequency equality, for example, the number of quantization indexes included in the set of quantization indexes selected as candidates (or the set of selected quantization indexes)
  • the quantization index set for comparison may be selected in consideration of both the depth of the hierarchy). This is because the number of quantized indexes (or the depth of the hierarchy) is quantized as a set of quantized indexes as information independent of the equality of the appearance frequency of quantized indexes and as information independent of the population.
  • the comparison quantization index set selection unit 021A in addition to the above-described appearance frequency equality, for example, for each quantization index, a modification invariance indicating a degree that the quantization index does not change by various modification processing to the image, In consideration of both, a comparative quantization index set may be selected.
  • the modification invariance for each quantization index is, for example, created in advance by performing various modification processes on the learning image group to create a duplicate image, and using the image feature quantity extraction device 01 from the original image and the duplicate image. It is possible to calculate a static quantization index code and measure the ratio of the quantization index in the corresponding quantization target region by measuring for each quantization index.
  • the comparison quantization index set selection unit 021A has, for example, a higher degree of appearance frequency uniformity and a modification invariance (for example, a quantization index) of the entire set of quantization indexes calculated from the modification invariance for each quantization index.
  • a set of quantization indexes that increases the average value of the modification invariance for each of them may be selected as a comparison quantization index set.
  • the comparison quantization index set selection unit 021A does not include, for example, the comparison quantization index so that the appearance frequency uniformity degree is high and the quantization index having a low modification invariance for each quantization index is not included.
  • a set may be selected.
  • the comparison quantization index set selection unit 021A selects a comparison quantization index based on the population quantization index appearance frequency so that the appearance frequency of the quantization index approaches evenly.
  • the quantization index may be selected. Referring to FIG. 6 as an example, for example, when the quantization index set ⁇ 1, 2, 3, 4, 5 ⁇ of the highest hierarchy is first used as a candidate, the quantum quantization index appearance frequency is used as a candidate.
  • the comparison quantization index set may be ⁇ 1, 2, 11, 12, 4, 5 ⁇ .
  • the comparison quantization index set selection unit 021A also uses the quantization index of the highest hierarchy of the hierarchical quantization method based on the population quantization index appearance frequency supplied from the population quantization index appearance frequency calculation unit 03. In order from the set of, until the specified condition is satisfied, select the set of quantization indexes of the lower hierarchy for the quantization index with a high frequency of appearance (the quantization index of the quantization index of the lower hierarchy is selected). A comparative quantization index set may be selected.
  • the specified conditions include, for example, the above-described equal frequency of appearance of the set of quantized indexes, the number of quantized indexes included in the set of quantized indexes (or the depth of the hierarchy), and the invariance of the entire set.
  • the degree or a combination thereof may be within a predetermined value range.
  • the frequency index appearance frequency equality described above, the number of quantization indexes (or the depth of the hierarchy) included in the quantization index set, the modification invariance of the entire set, and further quantization It may be based on the appearance frequency for each index, the modification invariance for each quantization index, or a combination thereof.
  • a minimum value of the appearance frequency equality degree is set, and a quantization index having a high appearance frequency is set until a set of quantization indexes exceeding the minimum value of the appearance frequency uniformity degree appears in order from the quantization index set of the highest hierarchy.
  • the quantization index set for comparison may be selected by selecting a quantization index set in the lower hierarchy.
  • a minimum value of the number of quantization indexes is set, and the appearance frequency is high until a set of quantization indexes exceeding the minimum value of the number of quantization indexes appears in order from the set of quantization indexes in the highest hierarchy.
  • a quantization index set in a lower hierarchy may be selected for the quantization index, and a comparison quantization index set may be selected.
  • a minimum value of the appearance frequency uniformity degree and a minimum value of the number of quantization indexes are set, and a set of quantization indexes exceeding the minimum value in order from the set of quantization indexes in the highest hierarchy.
  • a set of quantization indexes in lower layers may be selected for a quantization index having a high appearance frequency, and a comparison quantization index set may be selected.
  • the quantization index having the highest appearance frequency may be, for example, the quantization index having the highest appearance frequency from the set of quantization indexes that are currently candidates.
  • the quantization index with the highest appearance frequency in the set of quantization indexes is the quantization index of the lowest hierarchy.
  • a set of quantization indexes in the lower hierarchy may be selected for the quantization index having the second highest appearance frequency.
  • it is good also as a some quantization index with a high appearance frequency for example, all the quantization indexes exceeding the threshold with a certain appearance frequency
  • one of the sets is selected (see FIG. 6 as an example). For example, assuming that the quantization index having a high appearance frequency is the quantization index 4, the quantization index 13, 14, 15 set or the quantization index 16, 17 set is set as the quantization index of the lower hierarchy. You can choose one). Which one is selected includes, for example, the above-described degree of appearance equality of the set of quantization indexes, the number of quantization indexes included in the set of quantization indexes (or the depth of the hierarchy), and the invariance of the entire set.
  • the optimal set may be selected based on the number of quantization indexes (or the depth of the hierarchy) and the modification invariance of the entire set.
  • the prescribed condition is “the number of quantization indexes is 10 or more”
  • a description will be given of a method of selecting a set of quantization indexes in a lower hierarchy with respect to a quantization index having the highest appearance frequency of a set of candidate quantization indexes.
  • the quantization index set ⁇ 1, 2, 3, 4, 5 ⁇ of the highest hierarchy is selected as a candidate. Since the number of selected quantization indexes is 5, the specified condition is not satisfied.
  • the quantization index with the highest appearance frequency is 2, then the quantization index 8, 9, 10 which is the quantization index of the lower hierarchy is selected for the quantization index 2, and the quantization index set is set.
  • the quantization index with the highest appearance frequency is 3, then the quantization index 11 or 12 that is the quantization index of the lower layer is selected for the quantization index 3, and the quantization index set ⁇ 1 , 8, 9, 10, 11, 12, 4, 5 ⁇ are selected as the next candidates. Since the number of selected quantization indexes is 8, the specified condition is not satisfied.
  • the quantization indexes 26 and 27 which are quantization indexes in the lower hierarchy are selected for the quantization index 10, and the quantization index set ⁇ 1 , 8, 9, 26, 27, 11, 12, 4, 5 ⁇ are selected as the next candidates. Since the number of selected quantization indexes is 9, the specified condition is not satisfied.
  • the quantization index having the highest appearance frequency is 4, a set of quantization indexes in the lower hierarchy is selected for the next quantization index 4.
  • a set of quantization indexes 13, 14, and 15 or a set of quantization indexes 16 and 17 can be selected as the quantization index of the lower layer.
  • Which one to select is based on, for example, the above-described degree of frequency index set equalization, the number of quantization indexes (or the depth of the hierarchy), the modification invariance of the entire set, or a combination thereof. You may decide.
  • the quantization index set 16, 17 is selected, and the quantization index set ⁇ 1, 8, 9, 26, 27, 11, 12, 16, 17, 5 ⁇ is selected as the next candidate. Since the number of selected quantization indexes is 10, in order to satisfy the prescribed condition, the set of selected quantization indexes ⁇ 1, 8, 9, 26, 27, 11, 12, 16, 17, 5 ⁇ is compared with the comparison quantum.
  • the indexed index set is based on, for example, the above-described degree of frequency index set equalization, the number of quantization indexes (or the depth of the hierarchy), the modification invariance of the entire set, or a combination thereof. You may decide.
  • the quantization index set 16, 17 is selected, and the quantization index set ⁇ 1, 8, 9, 26, 27, 11, 12, 16, 17, 5 ⁇ is selected as the next candidate. Since the number
  • FIG. 10 shows a comparative quantization index set when the method of selecting the quantization index set in the lower hierarchy in order from the quantization index set in the highest hierarchy in the hierarchical quantization method described above.
  • the structural example (Structural example 1) of the selection part 021A is shown.
  • Configuration Example 1 of the comparative quantization index set selection unit 021A includes candidate quantization index set selection means 021A1 and defined condition determination means 021A2.
  • Candidate quantization index set selection means 021A1 selects a set of quantization indexes in the highest hierarchy as a set of candidate quantization indexes when a quantization index (upper hierarchy) is not supplied according to the hierarchical quantization method When a quantization index is supplied, the quantization index is replaced with a set of quantization indexes in the lower layer and selected as a set of candidate quantization indexes. Information on the selected candidate quantization index set is supplied to the prescribed condition determination means 021A2. Note that the quantization index input to the candidate quantization index set selection unit 021A1 is information fed back from the specified condition determination unit 021A2.
  • the specified condition determining unit 021A2 determines whether the set of candidate quantized indexes indicated by the information of the candidate quantized index set supplied from the candidate quantized index set selecting unit 021A1 satisfies a predetermined specified condition. To do. If the specified condition is satisfied, the set of candidate quantization indexes is output as a comparison quantization index set. When the prescribed condition is not satisfied, the appearance frequency is high based on the population quantization index appearance frequency supplied from the population quantization index appearance frequency calculation means 03 from the set of candidate quantization indexes. The quantization index is obtained, and the obtained quantization index is supplied (feedback) to the candidate quantization index set selection unit 021A1.
  • the conditions specified here are as described above.
  • the quantization index set in the lowest hierarchy is sequentially set from the quantization index set of the highest hierarchy in the hierarchical quantization method.
  • an “appearance frequency” is selected from the currently set of quantized indexes. The case of selecting a “high” quantization index was described. In the following, a method different from the method of selecting the “highly occurring” quantization index will be described.
  • the appearance frequency uniformity degree of a newly generated candidate quantization index set is increased (for example, The quantization index that is the largest) may be selected as a quantization index that is replaced with a set of lower-level quantization indexes.
  • quantization index 1 is set to the quantization index of the lower layer.
  • the quantization index to be replaced with the lower-layer quantization index set is selected as 3
  • the new candidate quantization index set may be ⁇ 1, 2, 11, 12, 4, 5 ⁇ . Further, when selecting, the selection may be made in consideration of the number of quantization indexes included in the newly generated candidate quantization index set.
  • a quantization that is replaced with a set of lower-level quantization indexes based on the frequency of appearance of lower-level quantization indexes for each quantization index An index may be selected. For example, for each quantization index, the degree of appearance frequency equality of the set of quantization indexes in the lower layer may be calculated, and the quantization index having the largest set in the lower layer may be selected. Referring to FIG.
  • the quantization index of the lower layer of each quantization index within the set ⁇ 6, 7 ⁇ , ⁇ 8, 9, 10 ⁇ , ⁇ 11, 12 ⁇ , ⁇ 13, 14, 15 ⁇ or ⁇ 16, 17 ⁇ , ⁇ 18, 19, 20, 21 ⁇ , for example
  • the quantization index to be replaced with the quantization index set in the lower hierarchy is selected as 3, and a new
  • the candidate quantization index set may be ⁇ 1, 2, 11, 12, 4, 5 ⁇ . Further, when selecting, the selection may be made in consideration of the number of quantization indexes in the set of quantization indexes in the lower layer.
  • a quantization index to be replaced with a set of lower-layer quantization indexes in addition to the appearance frequency, for example, (a) the number of lower-layer quantization indexes for each quantization index, (B) The modification invariance of each quantization index, (c) The modification invariance of a quantization index in a lower layer relative to each quantization index, and the like may be selected.
  • the example of (a) will be described with reference to FIG. 6 as an example.
  • the set of quantization indexes that are currently candidates is ⁇ 1, 2, 3, 4, 5 ⁇ , for example, quantization index 3 and When the frequency of occurrence of 5 is high, the number of quantization indexes (2 and 4 respectively) of each lower layer is compared.
  • the quantization index 5 having a larger number of quantization indexes is compared with the quantization index of the lower layer. You may select as a quantization index replaced with a set of. On the contrary, the quantization index 3 having a small number of quantization indexes may be selected as a quantization index to be replaced with a set of quantization indexes in a lower layer.
  • the example of (a) will be described with reference to FIG. 6 as an example.
  • the set of quantization indexes that are currently candidates is ⁇ 1, 2, 3, 4, 5 ⁇ , for example, quantization index 3 and
  • the frequency of occurrence of 5 is high, for example, for the set ⁇ 11, 12 ⁇ and ⁇ 18, 19, 20, 21 ⁇ of the lower-level quantization index for each quantization index, for example, the modification invariant for the entire set Degree (for example, the average value of the modification invariance of each quantization index), and the larger one of quantization indexes 3 and 5 is selected as a quantization index to be replaced with a set of quantization indexes in lower layers. May be.
  • any method may be used.
  • the method is not limited to the method described here, and any method may be used as long as it selects a quantization index to be replaced with a set of quantization indexes in a lower layer based on the population quantization index appearance frequency.
  • FIG. 11 shows the operation in the second embodiment, particularly when the comparative quantization index set selection unit 021A takes the configuration example 1 (the quantization index of the lower layer is compared with the quantization index having a high appearance frequency).
  • the image feature quantity extraction device 01 calculates a hierarchical quantization index code of a population image group from the population image group, and supplies the hierarchical quantization index code to the population quantization index appearance frequency calculation unit 03 (step C01).
  • the population quantization index appearance frequency calculation means 03 receives the hierarchical quantization index code of the image group of the population supplied from the image feature quantity extraction device 01 as an input, and performs quantization in the image group of the population.
  • the appearance frequency for each index is calculated as the population quantization index appearance frequency, and supplied to the comparison quantization index set selection unit 021A (step C02).
  • the candidate quantization index set selection unit 021A1 of the comparison quantization index set selection unit 021A first selects a set of quantization indexes in the highest hierarchy of the hierarchical quantization method as a set of candidate quantization indexes. Then, the information of the selected candidate quantization index set is supplied to the specified condition determining means 021A2 (step C03).
  • the specified condition determining unit 021A2 determines whether the set of candidate quantized indexes indicated by the candidate quantized index set information supplied from the candidate quantized index set selecting unit 021A1 satisfies a predetermined specified condition.
  • the prescribed condition determining unit 021A2 uses the population quantization index appearance frequency supplied from the population quantization index appearance frequency calculating unit 03 from the set of candidate quantization indexes. Based on this, a quantization index having a high appearance frequency is obtained, and the obtained quantization index is supplied (feedback) to the candidate quantization index set selection unit 021A1 (step C05).
  • Candidate quantization index set selection unit 021A1 replaces the quantization index (upper layer) supplied from regulation condition determination unit 021A2 with the set of quantization indexes of the lower layer and selects it as a set of candidate quantization indexes Then, the information of the selected candidate quantization index set is supplied to the defining condition determining unit 021A2 (step C06), and the process proceeds to step C04 again.
  • step C04 when the specified condition is satisfied, the specified condition determining unit 021A2 outputs the set of candidate quantized indexes as a comparative quantized index set. Then, the process proceeds to step B02 in the flowchart showing the operation of the image feature quantity comparison device 02 in the first embodiment shown in FIG.
  • the comparison quantization index set selection unit 021A causes the appearance of the quantization index based on the population quantization index appearance frequency.
  • the discrimination ability which is the degree to which different images can be discriminated. This is because, when the number of quantization indexes is the same, if there is a bias in a specific quantization index (when the frequency of occurrence of a specific quantization index increases), the quantization index with a high frequency of occurrence is different by chance. This is because the probability of appearing in common is increased and the discrimination ability is lowered.
  • the ability to discriminate the image feature amount is increased, there is an effect that the accuracy of determining the identity of the image based on the calculated identity scale is increased.
  • FIG. 12 is a block diagram illustrating a configuration of an image feature amount comparison apparatus of the image identity scale calculation system according to the third embodiment.
  • the comparison quantization index set selection unit 021A in the image feature quantity comparison device 02 of the second embodiment further outputs a quantization index weight value.
  • the comparison quantization index set selection unit 021B is replaced, and the quantization index comparison unit 023 is further replaced with a quantization index comparison unit 023A to which a quantization index weight value is supplied as an input. Since the other points are the same as in the second embodiment, only the points different from the second embodiment will be described here.
  • the comparison quantization index set selection unit 021B adds the population quantum supplied from the population quantization index appearance frequency calculation unit 03. For each quantization index of the selected comparison quantization index set, the weight value is calculated so as to decrease the weight value as the appearance frequency increases, and the calculated quantization index The weight value is supplied to the quantization index comparison unit 023A as the quantization index weight value.
  • the reason why the weight value is decreased as the appearance frequency is high is that the quantization index having a high appearance frequency is likely to have the same quantization index in other images, so that it can be distinguished from other images. This is because the possibility of contributing is low.
  • the quantization index weight value may be calculated by any method as long as the weight value is calculated to be smaller as the appearance frequency is higher (that is, the quantization index weight value is monotonically decreased with respect to the appearance frequency). Any method that is calculated based on a function may be used.
  • the appearance probability for each quantization index may be calculated from the population quantization index appearance frequency, and the quantization index weight value may be a value obtained by subtracting the appearance probability from 1.
  • the quantization index comparison unit 023A compares the comparison quantization indexes of the two images (image 1 and image 2) supplied from the comparison quantization index acquisition unit 022 for each corresponding quantization target region.
  • the number of quantization target areas with the same quantization index is obtained for each quantization index, and the quantization index weight value supplied from the comparison quantization index set selection unit 021B is applied to them to calculate the identity measure.
  • the identity scale may be calculated, for example, by calculating a product of the number of matching quantization target areas obtained for each quantization index and the quantization index weight value and adding them.
  • the comparison quantization index set selection unit 021B sets all the quantizations of the hierarchical quantization method by setting the weight value of the quantization index not included in the selected comparison quantization index to 0 (or lower).
  • the weight values of the indexes (all of the quantized indexes 1 to 37 in FIG. 6 as an example) may be supplied to the quantized index comparing unit 023A as the quantized index weight values.
  • the quantization index comparison unit 023A since the quantization index weight value not included in the selected comparison quantization index is supplied to the quantization index comparison unit 023A as 0 (or as a low value), the quantization index comparison unit 023A includes: Indirectly, the information of the selected comparison quantization index set is supplied. Therefore, the comparison quantization index set selection unit 021B does not need to supply anything to the comparison quantization index acquisition unit 022 as information on the comparison quantization index set, and the comparison quantization index acquisition unit 022 May acquire the quantization indexes of all layers of the hierarchical quantization method for each quantization target region from the input hierarchical quantization index code, and supply the quantization indexes to the quantization index comparison unit 023A.
  • the quantization index comparison unit 023A compares the quantization index for each layer for each corresponding quantization target region, and obtains the number of quantization target regions with the same quantization index for each quantization index.
  • the identity measure may be calculated by applying the quantization index weight value supplied from the comparison quantization index set selection unit 021B to them.
  • the comparison quantization index set selection unit 021B selects the comparison quantization selected based on the population quantization index appearance frequency. Based on the calculated identity measure by calculating a weight value for each quantization index of the index set and calculating the identity measure by applying the weight value calculated by the quantization index comparison unit 023A. There is an effect that the accuracy of the image identity determination can be made higher than the accuracy of the image identity determination based on the identity scale calculated by the second embodiment.
  • FIG. 13 is a block diagram illustrating a configuration of an image feature amount comparison apparatus of the image identity scale calculation system according to the fourth embodiment. Referring to FIG. 13, in the fourth embodiment of the present invention, the comparison quantization index set selection unit 021 of the image feature quantity comparison device 02 having the configuration of the first embodiment shown in FIG. The difference is that the comparison quantization index set selection unit 021C is replaced. Since the other points are the same as in the first embodiment, only the points different from the first embodiment will be described here.
  • the comparison quantization index set selection unit 021C receives population quantization index modification invariance as population characteristic information.
  • the population quantization index modification invariance represents the modification invariance that is the degree that each quantization index of the hierarchical quantization method does not change (quantization index) by various modification processes in the image group of the population. It is.
  • each quantization index of the hierarchical quantization method in the image group of the population for example, the image group of the population (or the image group extracted by appropriately sampling the image group of the population) ) Is subjected to various modification processes to create a duplicate image, and a hierarchical quantization index code is calculated from the original image and the duplicate image using the image feature quantity extraction device 01, and quantization is performed in the corresponding quantization target region
  • the ratio of matching indexes may be measured for each quantization index, and the ratio of matching for each quantized index may be defined as the modification invariance for each quantization index.
  • the comparison quantization index set selection unit 021C compares the quantization index modification invariance for the entire set of selected quantization indexes based on the input population quantization index modification invariance. Select a quantization index set. Information on the selected comparison quantization index set is supplied to the comparison quantization index acquisition unit 022.
  • the comparison quantization index set selection unit 021C is the comparison quantization index set selection unit 021 of the first embodiment, and the input population characteristic information is specifically the population quantization index modification invariance. This is a form of the case, and the conditions relating to the selection of the comparison quantization index set are the same as those described in the first embodiment.
  • the comparison quantization index set selection unit 021C selects the comparison quantization index set so that the modification invariance of the quantization index over the entire set of selected quantization indexes is high, and thereby various kinds of images are added.
  • the robustness which is the degree that the quantization index is not changed by the modification process, can be increased.
  • the comparison quantization index set selection unit 021C based on the population quantization index modification invariance, the comparison quantization index so that the modification invariance of the quantization index applied to the entire set of quantization indexes is increased.
  • a method of selecting a set for example, a comparative quantization index set may be selected so that a quantization index having a low population quantization index modification invariance is not included.
  • the comparison quantization index set selection unit 021C also performs the comparison quantization based on the population quantization index modification invariance so that the modification invariance of the quantization index applied to the entire set of quantization indexes is increased.
  • a quantization index modification invariance over the entire quantization index set is calculated as a quantization index set modification invariance
  • the quantization index set may be selected as the comparative quantization index set so that the quantization index set modification invariance becomes high based on the quantization index set modification invariance.
  • the comparison quantization index set selection unit 021C calculates the quantization index set modification invariance for each of the combinations of the quantization index sets of all candidates, and the quantization index set modification invariance is calculated.
  • the set of quantization indexes that is maximized may be selected as a comparative quantization index set.
  • a quantization index set modification invariance which is the modification invariance of the quantization index for the entire set of quantization indexes, is calculated based on the modification invariance of each quantization index included in the set of quantization indexes Any method may be used.
  • the quantization index set modification invariance may be calculated as an average value of the modification invariance of each quantization index.
  • the quantization index set modification invariance may be calculated as the number of quantization indexes exceeding a certain value, or the ratio thereof.
  • the comparison quantization index set selection unit 021C includes the number of quantization indexes included in the set of quantization indexes selected as candidates (or the selected quantization index).
  • the comparison quantization index set may be selected in consideration of both the depth of the index set hierarchy). This is because the number of quantization indexes (or the depth of the hierarchy) is determined as information independent of the quantization index set modification invariance and as information independent of the population. The higher the number (or the deeper the hierarchy), the higher the discrimination ability, which is the degree to which different images can be discriminated, but the lower the robustness, the degree to which the quantization index does not change due to various modification processing to the image.
  • a comparative quantization index set in consideration of both the quantization index set modification invariance and the number of quantization indexes (or the depth of the hierarchy). For example, from the viewpoint of discrimination ability and robustness, an appropriate range of the number of quantization indexes (for example, the number of quantization indexes is set to about 10) is set, and the quantization index set that satisfies the conditions is set. Therefore, a set that increases the quantization index set modification invariance calculated using the above-described method of calculating the quantization index set modification invariance may be selected as the comparison quantization index set.
  • the comparison quantization index set selection unit 021C calculates the appearance frequency equality described in the second embodiment in addition to the above-described quantization index set modification invariance (in this case, the comparison quantization index).
  • the set selection unit 021C also needs to be supplied with the population quantization index appearance frequency as an input), and considering both the quantization index set modification invariance and the appearance frequency equality, the comparison quantization index A set may be selected.
  • the comparison quantization index set selection unit 021C selects, as the comparison quantization index set, a set of quantization indexes that have a high quantization index set modification invariance and a high appearance frequency equality. May be.
  • the comparison quantization index set selection unit 021C does not include, for example, a comparison quantization index so that a degree of appearance frequency equality is high and a quantization index having a low population quantization index modification invariance is not included.
  • a set may be selected.
  • the comparison quantization index set selection unit 021C sequentially sets the quantization index modification invariance supplied as an input until a prescribed condition is satisfied in order from the quantization index set of the highest hierarchy of the hierarchical quantization method. Based on the above, it is possible to select a set of lower-level quantization indexes and select a comparison quantization index set so that the modification invariance of the quantization index over the entire set of quantization indexes is increased. .
  • the specified conditions are, for example, the above-described quantization index set modification invariance, the modification invariance for each quantization index, and the number of quantization indexes included in the set of quantization indexes (or the depth of the hierarchy).
  • a combination of these values may be within a predetermined range of values.
  • the conditions based on the appearance frequency uniformity degree of the quantization index set described in the second embodiment may be used. For example, the minimum value of the quantization index set modification invariance and the minimum value of the number of quantization indexes are set, and the number of quantization indexes exceeds the number of quantization indexes in order from the set of quantization indexes in the highest hierarchy. A set of quantization indexes in a lower hierarchy may be selected until a set of quantization indexes that does not fall below the set modification invariance appears.
  • the same conditions as those described in the ⁇ Configuration example 1 of the comparison quantization index set selection unit 021A> in the second embodiment may be used. (Note that if there are a plurality of sets of quantization indexes calculated by a plurality of different quantization methods in a lower hierarchy of a certain quantization index, one of the sets is selected.)
  • a method of selecting a lower-level quantization index set based on the population quantization index modification invariance for example, in a set of quantization indexes that are currently candidates, Then, a set of quantization indexes in the lower layer may be selected (the quantization index is replaced with a set of quantization indexes in the lower layer).
  • the modification invariance of quantization index 3 is the largest among them.
  • the quantization index 3 is selected as a quantization index to replace the set of lower-layer quantization indexes, and a set of candidate quantization indexes is newly set as ⁇ 1, 2, 11, 12, 4, 5 ⁇ may be selected. Further, when selecting, the selection may be made in consideration of the number of quantization indexes in the set of quantization indexes in the lower layer.
  • Another method for selecting a lower-level quantization index set based on the population quantization index modification invariance is, for example, from the set of quantization indexes currently in the candidate, By replacing with a set of quantization indexes, the quantization index set modification invariance, which is the modification invariance of the quantization index over the entire set of newly generated candidate quantization index sets, is increased (for example, maximized).
  • the quantization index may be selected as a quantization index that is replaced with a set of lower-level quantization indexes. Referring to FIG. 6 as an example, for example, when the set of quantization indexes that are currently candidates is ⁇ 1, 2, 3, 4, 5 ⁇ , quantization index 1 is set to the quantization index of the lower layer.
  • the quantization index to be replaced with the set of quantization indexes in the lower layer is set to 3.
  • the new candidate quantization index set may be selected to be ⁇ 1, 2, 11, 12, 4, 5 ⁇ . Further, when selecting, the selection may be made in consideration of the number of quantization indexes included in the newly generated candidate quantization index set.
  • a quantization index to be replaced with a set of lower-layer quantization indexes may be selected based on the modification invariance of the lower-layer quantization index with respect to the quantization index. For example, for each quantization index, the quantization invariance (for example, the average value) of the quantization index over the entire set of quantization indexes in the lower layer is calculated, and the quantum having the largest set in the lower layer is calculated. An index may be selected. Referring to FIG.
  • the quantization index of the lower layer of each quantization index within the set ⁇ 6, 7 ⁇ , ⁇ 8, 9, 10 ⁇ , ⁇ 11, 12 ⁇ , ⁇ 13, 14, 15 ⁇ or ⁇ 16, 17 ⁇ , ⁇ 18, 19, 20, 21 ⁇ , for example
  • the quantization index modification invariance for example, average value
  • the quantization index set of the lower hierarchy May be selected as 3, and the new candidate quantization index set may be ⁇ 1, 2, 11, 12, 4, 5 ⁇ . Further, when selecting, the selection may be made in consideration of the number of quantization indexes in the set of quantization indexes in the lower layer.
  • the comparison quantization index set selection unit 021C when selecting a lower-level quantization index set based on the population quantization index modification invariance, the population described in the second embodiment in addition to the population quantization index modification invariance Based on the quantization index appearance frequency (in this case, the comparison quantization index set selection unit 021C also needs to be supplied with the population quantization index appearance frequency as an input).
  • a quantization index to replace with a set of hierarchical quantization indexes may be selected.
  • the configuration of the comparison quantization index selection unit 021C in the case of adopting the method is that the specific operation of each means is different except that the comparison quantization index in the second embodiment shown in FIG. It is almost the same as the set selection unit 021A.
  • a candidate quantization index set selection unit that selects a set of candidate quantization indexes
  • a specified condition determination unit that determines whether or not a set of quantization indexes selected as a candidate satisfies a specified condition
  • the comparison quantization index set selection unit 021C selects the quantization selected based on the population quantization index modification invariance.
  • an image feature amount (quantum) expressed using the selected comparison quantization index is selected.
  • FIG. 14 is a block diagram illustrating a configuration of an image feature amount comparison apparatus of the image identity scale calculation system according to the fifth embodiment.
  • the comparison quantization index set selection unit 021C in the image feature quantity comparison device 02 of the fourth embodiment further outputs a quantization index weight value.
  • the comparison quantization index set selection unit 021D is replaced, and the quantization index comparison unit 023 is further replaced with a quantization index comparison unit 023A to which a quantization index weight value is supplied as an input. Since the other points are the same as those in the fourth embodiment, only the points different from the fourth embodiment will be described here.
  • the comparison quantization index set selection unit 021D selects based on the population quantization index modification invariance supplied as an input. For each quantization index of the comparison quantization index set, the weight value is calculated so that the weight value is increased as the modification invariance is higher, and the calculated value is supplied to the quantization index comparison unit 023A.
  • the quantization index weight value may be calculated by any method as long as the weight value is increased as the modification invariance is higher (that is, monotonous with respect to the modification invariance). Any method that is calculated based on an increasing function may be used. For example, the population quantization index modification invariance itself may be used as the quantization index weight value.
  • quantization index comparison unit 023A is the same as the quantization index comparison unit 023A in the third embodiment, a description thereof is omitted here.
  • the comparison quantization index set selection unit 021D sets the weight values of quantization indexes not included in the selected comparison quantization index to 0 (or lowers), and performs all quantization of the hierarchical quantization method.
  • the weight values of the indexes (all of the quantized indexes 1 to 37 in FIG. 6 as an example) may be supplied to the quantized index comparing unit 023A as the quantized index weight values.
  • the quantization index comparison unit 023A since the quantization index weight value not included in the selected comparison quantization index is supplied to the quantization index comparison unit 023A as 0 (or as a low value), the quantization index comparison unit 023A includes: Indirectly, the information of the selected comparison quantization index set is supplied. Therefore, the comparison quantization index set selection unit 021D does not need to supply anything to the comparison quantization index acquisition unit 022 as the comparison quantization index set information, and the comparison quantization index acquisition unit 022 May acquire the quantization indexes of all layers of the hierarchical quantization method for each quantization target region from the input hierarchical quantization index code, and supply the quantization indexes to the quantization index comparison unit 023A.
  • the quantization index comparison unit 023A compares the quantization index for each layer for each corresponding quantization target region, and obtains the number of quantization target regions with the same quantization index for each quantization index.
  • the identity measure may be calculated by applying the quantization index weight value supplied from the comparison quantization index set selection unit 021D to them.
  • the comparison quantization index set selection unit 021D selects the comparison quantum selected based on the population quantization index modification invariance. Based on the calculated identity measure by calculating a weight value for each quantization index of the quantization index set and calculating the identity measure by applying the weight value calculated by the quantization index comparison unit 023A. There is an effect that the accuracy of image identity determination can be made higher than the image identity determination accuracy based on the identity scale calculated by the fourth embodiment.
  • FIG. 15 is a block diagram illustrating a configuration of an image identity determination system according to the sixth embodiment.
  • the sixth embodiment of the present invention is different in that an identity determination unit 04 is added to the configuration of any of the first to fifth embodiments of the present invention.
  • it takes one of the configurations of the first to fifth embodiments for other points only the points different from the first to fifth embodiments will be described here.
  • the identity determination unit 04 compares the identity measure of the two images (image 1 and image 2) output from the image feature quantity comparison device 02 with a prescribed threshold supplied as input, and the two images are identical. And the determination result is output as the identity determination result. If the identity measure is larger than the threshold, it is determined that the two images are the same. If the identity measure is smaller than the threshold, it is determined that the two images are not the same.
  • the threshold value input here may be a different value depending on the comparison quantization index set selected by the comparison quantization index set selection unit 021. Further, the threshold value may be set by learning using a learning image group in advance.
  • the image identity is determined using the identity scale calculated by the image identity scale calculation system according to any one of the first to fifth embodiments.
  • the identity of the image is determined based on the identity scale having the effects of the first to fifth embodiments.
  • the determination of the identity of the image is performed adaptively optimized for each population, and there is an effect that the determination of the identity of the image can be maintained with high accuracy regardless of the population.
  • the seventh embodiment is an embodiment using a hierarchical quantization method as shown in FIG. 16 in the image identity scale calculation system of any of the first to sixth embodiments.
  • the quantization method A is the quantization method of the highest layer.
  • a feature amount relating to the intensity and direction of the gradient (edge) of the image in the quantization target region is calculated, and when the intensity is less than a predetermined amount, the quantization index indicating “no gradient” is set to 9.
  • the direction of the dominant gradient is 8 directions (for example, the horizontal right direction of the image is 0 degree and the clockwise direction is 45 degrees, 90 degrees, 135 degrees, 180 degrees, 225 degrees, 270 degrees and 315 degrees). That is, when the dominant gradient direction is quantized to 0 degrees, it is quantized index 1, when it is quantized 45 degrees, it is quantized index 2, and when it is quantized 90 degrees, it is quantized index. 3 and 270 degrees when quantized at 135 degrees, quantized index 4 when quantized at 180 degrees, quantized index 5 when quantized at 225 degrees, and quantized index 6 when quantized at 225 degrees If it is quantized to 315 degrees, it is classified into a quantization index 7. If it is quantized at 315 degrees, it is classified into a quantization index 8.
  • the gradient strength and direction at the center of the quantization target region may be calculated.
  • the strength and direction of the gradient (edge) are calculated for each of a plurality of small regions in the quantization target region (for example, each pixel in the quantization target region).
  • the direction may be quantized into 8 directions, and voted on a histogram having bins corresponding to each of the 8 directions, and the direction having the maximum number of votes may be the dominant gradient direction (when the number of votes is less than the prescribed number). Is classified into a quantization index 9 indicating “no gradient”).
  • the dominant gradient direction is quantized in 8 directions, but it may be quantized in 4 directions or 16 directions, and the direction of quantization is arbitrary. Good.
  • the quantization method is used as the quantization method of the lower layer.
  • Quantization by B is performed.
  • quantization is performed based on a secondary characteristic regarding the gradient.
  • the quantization method B may be classified into two based on the amount of gradient strength. Also, for example, whether or not there is a second dominant gradient direction with respect to the dominant gradient direction classified in the highest hierarchy (the intensity of the second dominant gradient direction is the specified amount). It may be classified into two based on whether or not there is more. Alternatively, the second dominant gradient direction may be quantized.
  • the classification based on the quantization method B is shown as two classifications, but it is not necessary to be two classifications.
  • the quantization method B is similarly applied to all of the quantization indexes 1 to 8 as the quantization method of the lower layer, but for example, only when the dominant gradient direction is a specific angle.
  • the quantization method B may be applied.
  • the quantization method B is used as the quantization method of the lower layer. It may be applied (other quantization indexes 2, 4, 6, and 8 may be the lowest layer).
  • the quantization method B is applied to all of the quantization indexes 1 to 8, and the quantization indexes 10, 11, 14, 15 in which the quantization index of the highest hierarchy is 1, 3, 5, 7 18, 19, 22, and 23 may be further provided with quantization methods in lower layers. This is because it is effective to be able to classify in more detail for a quantization index that is generally assumed to be frequently classified.
  • quantization by the quantization method C is performed as the quantization method of the lower layer.
  • the quantization method C performs quantization based on a feature different from the gradient (edge) of the image.
  • the quantization method C may be quantized based on the luminance of the image in the quantization target region.
  • N is a numerical value of 2 or more
  • region may be quantized based on the average luminance value of the image of a quantization object area
  • the quantization method C may perform quantization based on the color information of the image in the quantization target region.
  • a feature related to the hue may be extracted from the image of the quantization target region and quantized based on the angle of the hue.
  • the classification according to the quantization method C is shown as three classifications, but it is not necessary to be three classifications.
  • the quantization method of the highest layer is based on the direction of the gradient (edge) in general. This is because the characteristic regarding the direction is robust to various modification processes such as filter processing such as image compression and blurring, brightness adjustment, and color tone adjustment. Therefore, for quantization indexes 1 to 8 in which a dominant gradient direction exists, the quantization method of the lower layer is also based on gradient (edge) which is a robust feature (gradient strength, second Dominant gradient direction). Only when it is classified into the quantization index 9 indicating no gradient, gradient information cannot be used as a quantization method in its lower layer (because there is no gradient), and therefore features different from the gradient (luminance, color information, etc.) ) Based on quantization.
  • FIG. 17A shows an example of a quantization target region set on the image.
  • each region obtained by dividing the image into four parts in the vertical and horizontal directions is set as one quantization target region.
  • FIG. 17B shows the quantization indexes extracted from the respective quantization target areas in a predetermined order.
  • the hierarchical quantization index code can be stored in the storage means.
  • the predetermined order may be arbitrary as long as it is determined in advance.
  • the quantization target region (1), the quantization target region (2), the quantization target region (3), and the quantization target region (4). Are arranged in the order.
  • the number of quantization target areas per image is variable, the number of quantization target areas per image is stored in the head portion as shown in FIG. 17C, and then each quantization target
  • the hierarchical quantization index code can be stored in the storage unit using a data structure in which the quantization indexes extracted from the region are arranged in a predetermined order.
  • Each quantization index may include only the quantization index of the lowest layer or may include the quantization index of all layers. For example, taking the hierarchical quantization method shown in FIG. 16 as an example, when the quantization index 11 is obtained for the quantization target region (1), only the quantization index 11 is stored in the quantization index (1). Alternatively, the quantization index 1 and the quantization index 11 may be stored.
  • FIG. 18 is a block diagram showing the configuration of the image identity scale calculation system in the present embodiment.
  • an outline of the above-described image identity scale calculation system will be described.
  • the image identity scale calculation system is a system for calculating an identity scale indicating the degree to which two images are identical, and includes an image feature quantity comparison unit 2A. .
  • the image feature quantity comparison unit 2A uniquely identifies a quantization index of a plurality of hierarchies calculated by hierarchical quantization for each quantization target area of two images in accordance with a predetermined hierarchical quantization method.
  • a hierarchical quantization index code that is a coding format that can be input, and based on separately provided information, a set of quantization indexes to be used for comparison is selected as a comparison quantization index set, and the comparison quantization index set Is used to compare the hierarchical quantization index codes of the two images and calculate the identity measure of the two images.
  • the image identity scale calculation system employs a configuration in which the separately given information is population characteristic information indicating characteristics of a population to which both or at least one of the two images belongs.
  • the hierarchical quantization method for each quantization target region of the two images, quantization is performed hierarchically to calculate a quantization index of a plurality of layers, A configuration is adopted in which image feature quantity extraction means for outputting the hierarchical quantization index code, which is an encoding format that can uniquely specify the quantization index of each hierarchy of each quantization target region, is provided.
  • the image feature amount extraction unit corresponds to the supplied quantization index when an upper layer quantization index is supplied as feedback according to the hierarchical quantization method for each quantization target region.
  • a next layer quantization method selection unit that selects a quantization method of the highest layer, and the selected quantum for each quantization target region.
  • a feature amount extracting means for extracting a feature amount used by the quantization method from the input image, and for each quantization target region, the extracted feature amount is quantized according to the selected quantization method.
  • a quantization index is calculated, and if the calculated quantization index is not the lowest hierarchy, the quantization index is fed to the next hierarchy quantization method selection means.
  • Quantization index calculation means to be supplied as a feedback, and when the quantization index of each hierarchy is calculated for each quantization target area, the quantization index of each hierarchy of each quantization target area
  • a hierarchical quantization index code output unit that calculates and outputs a certain hierarchical quantization index code is adopted.
  • the image feature amount comparison means includes a comparison quantization index set selection unit that selects a set of quantization indexes used for comparison as a comparison quantization index set based on the population characteristic information, and the two From each of the hierarchical quantization index codes of the image, for each of the quantization target areas, for each image, the hierarchical quantization index code uniquely specified by each hierarchical quantization index for the above comparison
  • the comparison quantization index acquisition means for acquiring the quantization index included in the quantization index set as a comparison quantization index, and the comparison quantization index of the two images are compared for each corresponding quantization target region. Based on the number of quantization target regions having the same quantization index, the same scale of the two images That and a quantization index comparing means for calculating a block diagram showing a configuration.
  • the image identity scale calculation system adopts a configuration in which the quantization target area is one or a plurality of local areas of the image.
  • the hierarchical quantization method is configured by a quantization method in which a quantization index calculated for various modification processes on an image is less likely to change in a higher hierarchy. The structure is taken.
  • the quantization method in each layer of the hierarchical quantization method is a plurality of images classified by the quantization method in a general image that does not assume a specific population.
  • a configuration is adopted in which the quantization index is composed of quantization methods that are equally classified.
  • the image identity scale calculation system adopts a configuration in which the population is an image group included in a classification to which both or at least one of the two images belongs.
  • the image identity scale calculation system adopts a configuration in which the population is an image group included in a database to which both or at least one of the two images belongs or a specific subset thereof.
  • both or at least one of the two images is a frame of a moving image
  • the population includes a moving image or a moving image to which both or at least one of the two images belongs.
  • a configuration is adopted in which the frame group is included in the partial section.
  • the population characteristic information includes image identity based on an identity scale calculated using a set of selected quantization indexes in the image group of the population.
  • the information is correlated with the accuracy of the determination, and the comparison quantization index set is selected so that the accuracy of the determination of the identity of the image based on the calculated identity scale is increased. .
  • the population characteristic information has a correlation with an identification capability, which is a degree of identifying a different image included in the set of quantization indexes selected in the image group of the population. It is a certain information and adopts a configuration in which the comparison quantization index set is selected so as to increase the discrimination capability.
  • the degree to which the quantization index does not change due to various modification processes to the image included in the set of quantization indexes in the image group of the population is selected so that the robustness is high, and the information is correlated with the robustness.
  • the population characteristic information is calculated from a hierarchical quantization index code of the image group of the population output by the image feature quantity extraction unit.
  • Population quantization index appearance frequency which is the appearance frequency of each quantization index of the dynamic quantization method
  • the comparison quantization index set selection unit determines the quantization index based on the population quantization index appearance frequency. The comparison quantization index set is selected so that the appearance frequency of the.
  • the comparison quantization index set selection unit based on the population quantization index appearance frequency, with respect to a quantization index having a high appearance frequency, a quantization index of a lower hierarchy thereof By selecting this set, a configuration is adopted in which a comparative quantization index set is selected.
  • the comparison quantization index set selection unit in order from the set of quantization indexes in the highest hierarchy of the hierarchical quantization method, based on the population quantization index appearance frequency. Until a predetermined condition is satisfied, a configuration is adopted in which a set of quantization indexes in a lower hierarchy is selected for a quantization index having a high appearance frequency, and a comparison quantization index set is selected.
  • the quantization index set selection unit for comparison does not supply a quantization index as feedback according to the hierarchical quantization method
  • the quantization index set of the highest hierarchy is set. Is selected as a candidate quantization index set, and if the quantization index is supplied as feedback, the quantization index is replaced with a set of quantization indexes in the lower layer and selected as a candidate quantization index set Index set selection means and whether or not the candidate quantized index set satisfies a predetermined prescribed condition, and if the prescribed condition is satisfied, the candidate quantized index set is used as a comparative quantized index set Output, If the predetermined condition is not satisfied, a quantization index having a high appearance frequency is fed back to the candidate quantization index set selection unit from the candidate quantization index set based on the population quantization index appearance frequency. It is configured to include a specified condition determining unit to be supplied.
  • the comparison quantization index set selection unit generates a comparison quantization index set based on the number of quantization indexes in addition to the population quantization index appearance frequency. The configuration of selecting is adopted.
  • the comparison quantization index set selection unit performs, for each quantization index of the selected comparison quantization index set, based on the population quantization index appearance frequency.
  • the weight value is calculated as a quantization index weight value so that the weight value is decreased as the appearance frequency is higher, and the quantization index comparison unit converts the comparison quantization index of the two images to the corresponding quantization. Comparing for each target area, the number of quantization target areas with the same quantization index is obtained for each quantization index, and the above-mentioned quantization index weight value is applied to them to calculate the identity measure. Take.
  • the population characteristic information indicates that the quantization index of the hierarchical quantization method in the image group of the population does not change the quantization index by various modification processes.
  • the quantization index modification invariance shown, and the comparison quantization index set selection unit modifies the quantization index applied to the entire set of quantization indexes selected based on the population quantization index modification invariance
  • a configuration is adopted in which a comparative quantization index set is selected so that the invariance is high.
  • the comparison quantization index set selection unit sequentially supplies a population quantization index supplied as an input from a set of quantization indexes in the highest hierarchy of the hierarchical quantization method. Based on the modification invariance, a configuration is adopted in which a set of quantization indexes in a lower layer is selected and a comparison quantization index set is selected.
  • the comparison quantization index set selection unit generates a comparison quantization index set based on the number of quantization indexes in addition to the population quantization index appearance frequency. The configuration of selecting is adopted.
  • the comparison quantization index set selection unit is configured to calculate each quantization index of the selected comparison quantization index set based on the population quantization index modification invariance.
  • the weight value is calculated as a quantization index weight value so that the weight value is increased as the modification invariance is higher, and the quantization index comparison unit corresponds to the comparison quantization index of the two images. Comparing for each quantization target region, the number of quantization target regions with the same quantization index is obtained for each quantization index, and the above-mentioned quantization index weight value is applied to them to calculate the identity measure. The structure is taken.
  • the image identity scale calculation system further employs a configuration in which it is determined whether or not the two images are the same by comparing the identity scale with a predetermined threshold.
  • the image identity scale calculation method which is executed when the above-described image identity scale calculation system operates, calculates an identity scale indicating the degree to which two images are identical.
  • a hierarchical quantization index code that is an encoding format that can uniquely identify an index is input, and a set of quantization indexes used for comparison is selected as a comparison quantization index set based on separately provided information, and the comparison
  • the hierarchical quantization index codes of the two images are compared using the quantization index set for the two images, and the identity measure of the two images is calculated.
  • the image identity scale calculation method adopts a configuration in which the separately given information is population characteristic information indicating characteristics of a population to which both or at least one of the two images belongs.
  • the image feature amount extraction unit performs quantization in a hierarchical manner for each quantization target area of the two images according to the hierarchical quantization method.
  • the quantization index is calculated, and the hierarchical quantization index code, which is an encoding format that can uniquely identify the quantization index of each layer of each quantization target region, is output to the image feature quantity comparison unit.
  • the next-layer quantization method selection unit of the image feature amount extraction unit feeds back the quantization index of the upper layer according to the hierarchical quantization method for each quantization target region. Is selected as the lower layer quantization method corresponding to the supplied quantization index, and if the quantization index is not supplied, the highest layer quantization method is selected, and the image feature is selected.
  • the feature amount extraction unit of the amount extraction unit extracts the feature amount used by the selected quantization method for each quantization target region from the input image, and calculates the quantization index of the image feature amount extraction unit.
  • the quantization index is supplied as feedback to the next hierarchy quantization method selection means, and the hierarchical quantization index code output means of the image feature quantity extraction means is quantized.
  • a hierarchical quantization index code that is a coding format that can uniquely identify the quantization index of each layer of each quantization target region is calculated and output. The configuration is taken.
  • the comparison quantization index set selection unit of the image feature amount comparison unit generates a set of quantization indexes used for comparison based on the population characteristic information. An index set is selected, and a comparison quantization index acquisition unit of the image feature amount comparison unit is provided for each quantization target region for each image from each of the hierarchical quantization index codes of the two images. The quantization index included in the comparison quantization index set is acquired as a comparison quantization index from among the quantization indexes of each layer uniquely identified by the hierarchical quantization index code, and the image feature amount comparison is performed. Means for comparing the quantization index for comparison of the two images with a corresponding amount. Reduction compared for each target area, based on the number of quantized regions quantization indexes are matched to calculate the identity scale of the two images, a configuration called.
  • the above-described image identity scale calculation system can be realized by incorporating a program into a computer.
  • the program according to another aspect of the present invention uses a computer that calculates an identity measure indicating a degree of similarity between two images according to a predetermined hierarchical quantization method.
  • the hierarchical quantization index code which is a coding format that can uniquely identify the quantization index of multiple hierarchies calculated by hierarchical quantization for each quantization target area of Then, a set of quantization indexes used for comparison is selected as a comparison quantization index set, the hierarchical quantization index codes of the two images are compared using the comparison quantization index set, and the two images are compared. It is configured to function as an image feature amount comparison unit for calculating the identity measure of
  • the program adopts a configuration in which the separately given information is population characteristic information indicating characteristics of a population to which both or at least one of the two images belongs.
  • the computer further performs quantization in a hierarchical manner for each quantization target area of the two images according to the hierarchical quantization method to calculate a quantization index of a plurality of layers.
  • the image processing apparatus functions as an image feature amount extraction unit that outputs the above-described hierarchical quantization index code, which is an encoding format that can uniquely specify the quantization index of each layer of each quantization target region.
  • the image feature quantity extraction unit supplies a quantization index of an upper layer as feedback according to the hierarchical quantization method for each quantization target region, the supplied quantization If the quantization method of the lower layer corresponding to the index is selected and the quantization index is not supplied, the next layer quantization method selection means for selecting the quantization method of the highest layer, and the quantization target region Feature quantity extraction means for extracting the feature quantity used by the selected quantization method from the input image; and for each quantization target area, the extracted feature quantity is quantized according to the selected quantization method. If the calculated quantization index is not the lowest hierarchy, the quantization index is converted to the next hierarchy quantum.
  • Quantization index calculation means to be supplied as feedback to the method selection means, and when the quantization index of each hierarchy is calculated for each quantization target area, the quantization index of each hierarchy of each quantization target area can be uniquely identified
  • a hierarchical quantization index code output unit that calculates and outputs a hierarchical quantization index code that is an encoding format is adopted.
  • the image feature amount comparison unit includes a comparison quantization index set selection unit that selects a set of quantization indexes used for comparison as a comparison quantization index set based on the population characteristic information. From each of the above-mentioned hierarchical quantization index codes of the two images, for each image, for each quantization target region, the hierarchical quantization index code uniquely identifies the quantization index of each layer , A comparison quantization index acquisition means for acquiring a quantization index included in the comparison quantization index set as a comparison quantization index, and a comparison quantization index corresponding to the two images for comparison And based on the number of quantization target regions with the same quantization index, the above One of taking the quantization index comparison means for calculating the identity scale image, a configuration that comprises a.
  • the present invention can be used to detect illegal duplication of images or moving images.
  • it can be used in a system that detects illegal posting of images / moving images to an image / moving image sharing service on the Internet.
  • the link between the original image / moving image and the edited image / moving image can be detected, so it can also be used as a system for managing editing history can do.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

　この画像同一性尺度算出システムは、識別能力と頑健性とのバランスを考慮して、２つの画像が同一である度合いを示す同一性尺度を算出することができる。画像特徴量比較手段２Ａは、あらかじめ定められた階層的量子化方法に従って、２つの画像の量子化対象領域ごとに階層的に量子化を行って算出した複数の階層の量子化インデックスが一意に特定できる符号化形式である階層的量子化インデックス符号を入力とし、別途与えられる情報に基づいて、比較に用いる量子化インデックスのセットを比較用量子化インデックスセットとして選択する。そして、画像特徴量比較手段２Ａは、上記比較用量子化インデックスセットを用いて上記２つの画像の階層的量子化インデックス符号を比較し、上記２つの画像の同一性尺度を算出する。

Description

画像同一性尺度算出システム
　本発明は、画像が同一である度合いを示す同一性尺度を算出する画像同一性尺度算出システムに関して、特に各種改変処理により複製された画像を元画像と同一な画像として判定できる画像同一性尺度算出システムに関する。
　２つの画像が同一である度合いを示す同一性尺度を算出する画像同一性尺度算出システムは、例えば、画像、または画像の集合体である動画像の複製を検知するために用いられる。すなわち、２つの画像から算出した画像同一性尺度をある閾値と比較して、それら２つの画像が同一であるか（複製されたものであるか）否かを判定する。
　画像が複製される場合に、各種改変処理が施されることが多い。各種改変処理とは、画像の圧縮形式の変換、画像の圧縮率の変換、画像のサイズ・アスペクト比の変換、画像の色調の調整、画像への各種フィルタ処理（鮮鋭化、平滑化）などである。また、テロップの重畳など、画像への局所的な加工なども含む。なお以下では、単純な画像のコピーだけではなく、上述のような各種改変処理が合わせて施される場合も単に複製と呼ぶことにする。また今後、各種改変処理とは、上記に挙げたような画像への様々な改変処理を指すことにする。このため画像の複製を検知するためには、同一性尺度算出システムは各種改変処理に頑健に、各種改変処理により複製された画像を元画像と同一な画像として判定できる同一性尺度を算出することが求められる。
　各種改変処理に頑健に同一性尺度を算出する方法が、非特許文献１～非特許文献３に記載されている。これらの文献に記載の方法では、２つの画像の特徴量を抽出し、２つの画像の特徴量を比較して同一性尺度を算出する。まず、画像の複数の局所領域ごとに特徴量を抽出し、抽出した特徴量を量子化して量子化インデックスを算出して、局所領域ごとの量子化インデックスを画像の特徴量として抽出している。２つの画像の特徴量を比較する際は、対応する局所領域ごとの量子化インデックスを比較し、量子化インデックスが画像間で一致する局所領域の数に基づいて同一性尺度を算出している。
　ここで、非特許文献１では、局所領域内の輝度分布のパターンを１１種類に分類したものを量子化インデックスとしている。
　また、非特許文献２では、局所領域の色情報を時間区間で正規化し、それを線形スカラー量子化したものを量子化インデックスとしている。同一性尺度はハミング距離として算出している。
　さらに、非特許文献３では（非特許文献３の“Ｌｏｃａｌ　Ｅｄｇｅ　Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ”として記載されている技術）、局所領域内から抽出されるエッジ点の重心位置を量子化したものを量子化インデックスとしている。
　図１と図２は、非特許文献１～非特許文献３に記載の画像同一性尺度算出システムの構成を示したブロック図である。図１と図２を参照すると、同文献に記載の同一性尺度算出システムは、画像特徴量抽出装置１１と、画像特徴量比較装置１２と、から構成されている。
　図１を参照すると、画像特徴量抽出装置１１は、特徴量抽出手段１１１と、量子化インデックス算出手段１１２と、から構成されている。特徴量抽出手段１１１は、画像が入力されると、あらかじめ規定された画像の複数の局所領域ごとに特徴量を抽出し、抽出した局所領域ごとの特徴量を、量子化インデックス算出手段１１２へ供給する。量子化インデックス算出手段１１２は、特徴量抽出手段１１１から供給される局所領域ごとの特徴量を量子化して量子化インデックスを算出し、局所領域ごとの量子化インデックスを画像の特徴量として出力する。
　図２を参照すると、画像特徴量比較装置１２は、量子化インデックス比較手段１２１から構成されている。量子化インデックス比較手段１２１は、画像特徴量抽出装置１１が出力する２つの画像の各々の局所領域ごとの量子化インデックスを入力として、対応する局所領域ごとに量子化インデックスを比較し、量子化インデックスが一致する局所領域の数に基づいて同一性尺度を算出し、出力する。
　図１と図２の構成で示される画像同一性尺度算出システムは、特徴量を量子化して算出した量子化インデックスを特徴量としているため、画像への各種改変処理に起因する多少の画像信号の変化に対する頑健性を有する。また、局所領域ごとの量子化インデックスを特徴量とし、量子化インデックスが一致する局所領域の数に基づいて同一性尺度を算出するため、テロップの重畳など、画像への局所的な加工などの改変処理に対する頑健性も有する。
Ｋｏｔａ　Ｉｗａｍｏｔｏ、Ｅｉｊｉ　Ｋａｓｕｔａｎｉ、Ａｋｉｏ　Ｙａｍｄａ、"Ｉｍａｇｅ　Ｓｉｇｎａｔｕｒｅ　Ｒｏｂｕｓｔ　ｔｏ　Ｃａｐｔｉｏｎ　Ｓｕｐｅｒｉｍｐｏｓｉｔｉｏｎ　ｆｏｒ　Ｖｉｄｅｏ　Ｓｅｑｕｅｎｃｅ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ"、Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ　（ＩＣＩＰ２００６）、２００６． 黒住隆行、永野秀尚、柏野邦夫、"実環境で収録された映像断片をキーとする一致映像探索"、電子情報通信学会論文誌、Ｖｏｌ．Ｊ９０－Ｄ、Ｎｏ．８、ｐｐ．２２２３－２２３１、２００７／８． Ａｒｕｎ　Ｈａｍｐａｐｕｒ、Ｒｕｕｄ　Ｍ．　Ｂｏｌｌｅ、"Ｃｏｍｐａｒｉｓｏｎ　ｏｆ　Ｄｉｓｔａｎｃｅ　Ｍｅａｓｕｒｅｓ　ｆｏｒ　Ｖｉｄｅｏ　Ｃｏｐｙ　Ｄｅｔｅｃｔｉｏｎ"、Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｍｕｌｔｉｍｅｄｉａ　ａｎｄ　Ｅｘｐｏ　（ＩＣＭＥ２００１）、ｐ．９４６、２００１．
　しかしながら、図１と図２の構成で示される画像同一性尺度算出システムは、あらかじめ規定された単一の量子化方法によって量子化された単一の量子化インデックスセットを用いて同一性尺度を算出するために、画像の同一性の判定能力が、使用する量子化方法によって固定化されるという課題がある。ここで、画像の同一性の判定能力は、異なる画像を識別できる度合いである識別能力と、画像への各種改変処理によって量子化インデックスが変化しない度合いである頑健性との２つの尺度で決まり、識別能力と頑健性はトレードオフの関係にある。画像の同一性の判定能力が固定化されることは、識別能力と頑健性とのバランスも固定化されることを意味する。
［発明の目的］
　そこで、本発明は上記問題点に鑑みて発明されたものであって、その目的は、画像の同一性の判定能力の尺度である識別能力と頑健性とのバランスを調整することのできる画像同一性尺度算出システムを提供することにある。
　本発明の第１の画像同一性尺度算出システムは、２つの画像が同一である度合いを示す同一性尺度を算出するシステムであって、上記２つの画像の量子化対象領域ごとに階層的に量子化を行って算出した複数の階層の量子化インデックスが一意に特定できる符号化形式である階層的量子化インデックス符号を入力とし、別途与えられる情報に基づいて、比較に用いる量子化インデックスのセットを比較用量子化インデックスセットとして選択し、上記比較用量子化インデックスセットを用いて上記２つの画像の階層的量子化インデックス符号を比較し、上記２つの画像の同一性尺度を算出する画像特徴量比較手段を備える。
　本発明の第１の画像同一性尺度算出方法は、２つの画像が同一である度合いを示す同一性尺度を算出する方法であって、画像特徴量比較手段が、あらかじめ定められた階層的量子化方法に従って上記２つの画像の量子化対象領域ごとに階層的に量子化を行って算出した複数の階層の量子化インデックスが一意に特定できる符号化形式である階層的量子化インデックス符号を入力とし、別途与えられる情報に基づいて、比較に用いる量子化インデックスのセットを比較用量子化インデックスセットとして選択し、上記比較用量子化インデックスセットを用いて上記２つの画像の階層的量子化インデックス符号を比較し、上記２つの画像の同一性尺度を算出する。
　本発明の第１のプログラムは、２つの画像が同一である度合いを示す同一性尺度を算出するコンピュータを、あらかじめ定められた階層的量子化方法に従って、上記２つの画像の量子化対象領域ごとに階層的に量子化を行って算出した複数の階層の量子化インデックスが一意に特定できる符号化形式である階層的量子化インデックス符号を入力とし、別途与えられる情報に基づいて、比較に用いる量子化インデックスのセットを比較用量子化インデックスセットとして選択し、上記比較用量子化インデックスセットを用いて上記２つの画像の階層的量子化インデックス符号を比較し、上記２つの画像の同一性尺度を算出する画像特徴量比較手段、として機能させる。
　本発明によれば、画像の同一性の判定能力の尺度である識別能力と頑健性とのバランスを調整することのできる画像同一性算出システムが得られる。
本発明に関連する画像同一性尺度算出システムに含まれる画像特徴量抽出装置の構成を示すブロック図である。 本発明に関連する画像同一性尺度算出システムに含まれる画像特徴量比較装置の構成を示すブロック図である。 本発明の第１の実施の形態の構成を示すブロック図である。 本発明の第１の実施の形態に含まれる画像特徴量抽出装置の構成を示すブロック図である。 本発明の第１の実施の形態に含まれる画像特徴量比較装置の構成を示すブロック図である。 階層的量子化方法の例を示す図である。 本発明の第１の実施の形態に含まれる画像特徴量抽出装置の動作を示すフローチャートである。 本発明の第１の実施の形態に含まれる画像特徴量比較装置の動作を示すフローチャートである。 本発明の第２の実施の形態の構成を示すブロック図である。 本発明の第２の実施の形態に含まれる比較用量子化インデックスセット選択部の一構成例を示すブロック図である。 本発明の第２の実施の形態の動作を示すフローチャートである。 本発明の第３の実施の形態の構成を示すブロック図である。 本発明の第４の実施の形態の構成を示すブロック図である。 本発明の第５の実施の形態の構成を示すブロック図である。 本発明の第６の実施の形態の構成を示すブロック図である。 本発明の第７の実施の形態で使用する階層的量子化方法の具体例を示す図である。 本発明の第８の実施の形態における階層的量子化インデックス符号を記憶する記憶手段のデータ構造の一例を示す図である。 本発明の第９の実施の形態の構成を示すブロック図である。
［第１の実施の形態］
　次に、本発明の第１の実施の形態について図面を参照して詳細に説明する。図３は、第１の実施の形態にかかる画像同一性尺度算出システムの構成を示したブロック図である。図３を参照すると、本発明の第１の実施の形態は、画像特徴量抽出装置０１と、画像特徴量比較装置０２と、から構成されている。なお、図４は、第１の実施の形態にかかる画像同一性尺度算出システムにおける画像特徴量抽出装置０１の具体的な構成を示したブロック図であり、図５は、第１の実施の形態にかかる画像同一性尺度算出システムにおける画像特徴量比較装置０２の具体的な構成を示したブロック図である。
　画像特徴量抽出装置０１は、画像が入力されると、あらかじめ規定された画像の量子化対象領域ごとに、あらかじめ規定された階層的に量子化を行う方法である階層的量子化方法に従い、階層的に量子化を行って複数の階層の量子化インデックスを算出し、各量子化対象領域の各階層の量子化インデックスが一意に特定できる符号化形式である階層的量子化インデックス符号を算出し、画像の特徴量として出力する。ここで、各量子化対象領域の各階層の量子化インデックスが一意に特定できるとは、各量子化対象領域とその量子化インデックスとの対応が一意に特定でき、且つ、各階層の量子化インデックスが一意に特定できることを意味する。
　ここで量子化対象領域とは、階層的に量子化を行って量子化インデックスを算出する対象とする領域のことである。量子化対象領域は、例えば画像を空間的に領域分割して得られた複数の局所領域であってもよい。例えば、画像を長方形の局所領域（ブロック）に分割して（ブロックが互いに一部が重なっていてもよい）得られた複数の局所領域（ブロック）であってもよい。この場合、画像サイズの変換に対処できるように、例えば、画像サイズを正規化して得られた正規化画像に対して局所領域を定めてもよい。また例えば、画像全体を１つの量子化対象領域としてもよい。また量子化対象領域は、画像の空間的な領域である必要はなく、例えば画像信号の周波数領域における部分領域などであってもよい。量子化対象領域は、画像信号に基づいて量子化を行うことができるのであれば、どのような領域であってもかまわない。
　ここで階層的量子化方法とは、画像信号に基づいて量子化対象領域を、ある量子化方法によって有限数の量子化インデックスに分類し、各量子化インデックスに分類されるサンプルを、更に別の量子化方法によって有限数の量子化インデックスに階層的に分類していく方法である。この方法に従って階層的に量子化を行うことにより、各量子化対象領域に対して、複数の階層の量子化インデックスが算出されることになる。なお量子化方法とは、量子化に用いる特徴量の種別、およびその特徴量を量子化して量子化インデックスを算出する手順・パラメータのことである。図６に階層的量子化方法の一例を模式的に示す。図６において、番号は量子化インデックスを表し、点線で囲われた部分は１つの量子化方法で量子化された量子化インデックスのセットを示す。以後、具体例を説明する際に、図６を参照する。
　階層的量子化方法は、その上位の階層の量子化インデックスによって、その下位の階層の量子化方法が決定する。すなわち、上位の階層の量子化インデックスによって、その下位の階層の量子化方法（量子化に用いる特徴量の種別や、特徴量を量子化して量子化インデックスを算出する手順・パラメータ）が異なる（ただし、同じ量子化方法であっても構わない）。図６を例に説明すると、量子化インデックスが１の場合はその下位の階層の量子化方法が量子化方法Ｂであり、量子化インデックスが２の場合はその下位の階層の量子化方法が量子化方法Ｃであり、異なっている。この場合、量子化方法Ｂが用いる特徴量と、量子化方法Ｃが用いる特徴量が異なっていてもよい。また上位の階層の量子化方法が用いる特徴量の種別と、その下位の階層の量子化方法が用いる特徴量の種別が異なってもよい。
　また階層的量子化方法は、その上位の階層の量子化インデックスによって、その下位の階層で分類される量子化インデックスの数が異なってもよい。図６を例に説明すると、量子化インデックスが１の場合はその下位の階層で分類される量子化インデックスの数は２であり、量子化インデックスが５の場合はその下位の階層で分類される量子化インデックスの数は４であり、異なっている。また上位の階層の量子化インデックスによって、それより下位の階層の深さ（階層の数）が異なってもよい。図６を例に説明すると、量子化インデックスが１の場合はそれより下位の階層の深さ（階層の数）が最大で３であり（最上位階層を含めると４）、量子化インデックスが３の場合はそれより下位の階層の深さ（階層の数）が１であり（最上位階層を含めると２）、異なっている。
　また階層的量子化方法においては、最上位階層の量子化方法は全てのサンプルを、一意に、かつ未分類がないように、有限数の量子化インデックスに分類する方法である必要がある。またそれ以外の階層の量子化方法は、その上位の階層の量子化インデックスに分類される全てのサンプルを、一意に、かつ未分類がないように、有限数のインデックスに分類する方法である必要がある。図６を例に説明すると、最上位階層の量子化方法である量子化方法Ａは、全てのサンプルを、一意に、かつ未分類がないように、量子化インデックス１、２、３、４、５のいずれかに分類する方法となる（１つのサンプルが、例えば同時に量子化インデックス１と２に分類されてはならない）。また例えば、量子化方法Ｇは、その上位の階層の量子化インデックスである量子化インデックス５に分類される全てのサンプルを、一意に、かつ未分類がないように、量子化インデックス１８、１９、２０、２１のいずれかに分類する方法となる（１つのサンプルが、例えば同時に量子化インデックス１８と１９に分類されてはならない）。
　また階層的量子化方法は、それぞれが上記の条件を満たす量子化方法であれば、上位の階層の量子化インデックスに対して、異なる複数の量子化方法が並列に存在してもよい（最上位階層の量子化方法が複数、並列に存在してもよい）。図６を例に説明すると、量子化インデックス４に対して、異なる量子化方法である量子化方法Ｅと量子化方法Ｆが並列に存在している。
　量子化方法は、画像信号にもとづいて量子化を行うことができるのであれば、どのような特徴量を用いてもよいし、またその特徴量を用いてどのような手順・パラメータで量子化インデックスを算出してもよい。例えば、量子化対象領域からスカラー量の特徴量（例えば画像の平均輝度値）を抽出し、それを線形スカラー量子化あるいは非線形スカラー量子化する方法であってもよい。また例えば、量子化対象領域からベクトル量の特徴量（例えば画像の輝度ヒストグラム）を抽出し、それをベクトル量子化する方法であってもよい。スカラー量子化やベクトル量子化をする際のパラメータは任意でよい。また例えば、単純な算術演算ではなくルールに基づいた量子化方法であってもよい。例えば、量子化対象領域から、画像の勾配の強度と方向に関する特徴量を抽出し、強度が規定の量に満たない場合は「勾配無し」を示す量子化インデックスに分類し、それ以外の場合は勾配の方向を４方向に量子化し、全体として５つの量子化インデックスに分類する方法であってもよい。
　階層的量子化方法にあっては、本質的に、より上位の階層の量子化インデックスを、比較に用いる量子化インデックスのセットとして選択するほど、頑健性が高まることを考慮すると、上位の階層ほど、画像への各種改変処理に対して頑健な量子化方法であること、すなわち各種改変処理に対して算出される量子化インデックスが変化しにくい量子化方法であること、が望ましい（ただし、そうである必要はない）。図６を例に説明すると、例えば、量子化方法Ａのほうが、量子化方法Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇよりも頑健な量子化方法であるほうが望ましい。例えば一般的に、画像の輝度成分の勾配を特徴量として用いた量子化方法のほうが、画像の色成分を特徴量として用いた量子化方法よりも頑健であるとした場合に、前者の量子化方法が後者の量子化方法よりも上位の階層であるほうが望ましい。ある量子化方法の頑健性は、例えば、学習用の画像群に対して各種改変処理を施して複製画像を作成し、元画像と複製画像からその量子化方法で量子化対象領域ごとに量子化インデックスを算出し、対応する量子化対象領域において量子化インデックスが一致する割合で測ることができる。一致する割合が高い量子化方法であるほど、画像への各種改変処理に対して頑健な量子化方法であるといえる。階層的量子化方法を設計する際には、例えばこの方法を用いて測った頑健性に基づいて、頑健性の高い量子化方法を頑健性の低い量子化方法よりも上位の階層にするように構成してもよい。
　また階層的量子化方法の各階層での量子化方法は、特定の母集団を仮定しない一般的な画像において、その量子化方法で分類される複数の量子化インデックスに対して、できるだけ均等に分類されるような量子化方法であることが望ましい（ただし、そうである必要はない）。図６を例に説明すると、特定の母集団を仮定しない一般的な画像において、量子化方法Ａで量子化を行った場合に、量子化インデックス１、２、３、４、５のそれぞれにできるだけ均等な度合いで分類されることが望ましい。階層的量子化方法を設計する際には、例えば学習用の画像群に対して、できるだけ均等に分類されるように量子化方法のパラメータを設定するようにしてもよい。
　また階層的量子化方法は、特定の母集団を仮定しない一般的な画像群において、その最上位階層の量子化方法によって算出される量子化インデックスのセットが、十分に異なる画像を識別できる度合いである識別能力を有する方法であることが望ましい（ただし、そうである必要はない）。図６を例に説明すると、特定の母集団を仮定しない一般的な画像において、量子化方法Ａによって算出される量子化インデックス１、２、３、４、５が、十分に識別能力を有する方法であることが望ましい。ここで、例えば最上位階層の量子化方法によって算出される量子化インデックスの数が少なすぎると（例えば２つなど）、十分な識別能力を得ることができないため、望ましくない（ただし、そうであってもよい）。また階層的量子化方法は、最上位階層以外の階層の量子化方法によって算出される量子化インデックスの数は少ないほうが、量子化インデックスの出現頻度の均等化が図りやすい（つまり、調整の自由度が高い）ので、望ましい（ただし、そうである必要はない）。図６のように、最上位階層の量子化方法によって算出される量子化インデックスの数（５）が最大であり、それより下の階層の量子化方法によって算出される量子化インデックスの数がそれよりも少ない（２、３、４）ことが望ましい（ただし、そうである必要はない）。例えば、最上位階層の量子化方法によって算出される量子化インデックスの数を１０程度とし、それより下の階層の量子化方法によって算出される量子化インデックスを２とする（すなわち２分割していく）ことが、望ましい一例である。
　図４を参照すると、画像特徴量抽出装置０１は、次階層量子化方法選択手段０１１と、特徴量抽出手段０１２と、量子化インデックス算出手段０１３と、階層的量子化インデックス符号出力手段０１４と、から構成されている。
　次階層量子化方法選択手段０１１は、量子化対象領域ごとに、あらかじめ規定された階層的量子化方法に従って、（上位階層の）量子化インデックスが供給される場合は、その量子化インデックスに対応する下位階層の量子化方法を選択し、量子化インデックスが供給されない場合は、最上位階層の量子化方法を選択し、選択した量子化方法の情報を特徴量抽出手段０１２と量子化インデックス算出手段０１３に供給する。なお、次階層量子化方法選択手段０１１に入力される量子化インデックスは、後述する量子化インデックス算出手段０１３からフィードバックされる情報である。図６を例に説明すると、量子化インデックスが供給されない場合は、最上位階層の量子化方法である量子化方法Ａを選択する。また例えば量子化インデックス算出手段０１３から、量子化インデックス６が供給された場合は、量子化インデックス６の下位階層の量子化方法である量子化方法Ｈを選択する。なお、階層的量子化方法において、ある量子化インデックスの下位階層に（または最上位階層に）異なる複数の量子化方法が並列に存在する場合は、それぞれの量子化方法を選択し、それぞれの量子化方法の情報を供給する。図６を例に説明すると、量子化インデックス４が供給された場合は、量子化インデックス４の下位階層に並列に存在する量子化方法Ｅと量子化方法Ｆのそれぞれを選択し、供給する。
　特徴量抽出手段０１２は、量子化対象領域ごとに、次階層量子化方法選択手段０１１から供給される量子化方法の情報に従い、その量子化方法が用いる特徴量を、入力される画像から抽出し、抽出した特徴量を量子化インデックス算出手段０１３へ供給する。なお特徴量抽出手段０１２は、階層的量子化方法において、ある量子化インデックスの下位階層に（または最上位階層に）異なる複数の量子化方法が並列に存在する場合に伴って、複数の量子化方法の情報が供給される場合は、それぞれの量子化方法が用いる特徴量を抽出し、供給する。なお、特徴量抽出手段０１２は、事前に全て必要な特徴量を抽出しておいて、次階層量子化方法選択手段０１１から量子化方法の情報が供給されたときに、特徴量を出力するようにしてもよい。また、必要な特徴量が上位階層の量子化方法で既に使われている場合には、その特徴量を保持しておき、再度抽出することなくそのまま出力するようにしてもよい。
　量子化インデックス算出手段０１３は、量子化対象領域ごとに、特徴量抽出手段０１２から供給される特徴量を、次階層量子化方法選択手段０１１から供給される量子化方法の情報に従って量子化を行い、量子化インデックスを算出する。算出した量子化インデックスが最下位階層でない場合、すなわち更に下位の量子化方法が存在する場合は、算出した量子化インデックスを次階層量子化方法選択手段０１１へ供給（フィードバック）する。また算出した量子化インデックスが最下位階層である場合は、算出した量子化インデックスを、階層的量子化インデックス符号出力手段０１４へ供給する。なお、量子化インデックス算出手段０１３は、最下位階層の量子化インデックスを算出した場合だけに限らず、各階層の量子化インデックスを算出する度に、算出した量子化インデックスを階層的量子化インデックス出力手段０１４へ供給するようにしてもよい。図６を例に説明すると、量子化インデックス８、９、１１、１２、１４、１５、１６、１７、２０、２１、２２、２３、２５、２６、２７、２８、２９、３０、３２、３３、３４、３５、３６、３７は最下位階層の量子化インデックスであり、それ以外の量子化インデックスは、最下位階層の量子化インデックスではない。なお、量子化インデックス算出手段０１３は、階層的量子化方法において、ある量子化インデックスの下位階層に（または最上位階層に）異なる複数の量子化方法が並列に存在することにより、複数の量子化方法の情報が供給される場合は、それぞれの量子化方法で量子化を行って量子化インデックスを算出し、それぞれ供給する。図６を例に説明すると、量子化方法Ｅと量子化方法Ｆの情報が供給される場合は、それぞれの量子化方法でそれぞれ量子化インデックスを算出する。
　階層的量子化インデックス符号出力手段０１４は、量子化対象領域ごとに、量子化インデックス算出手段０１３から最下位階層の量子化インデックスが供給されると、各量子化対象領域の各階層の量子化インデックス（量子化インデックス算出手段０１３が算出した各々の量子化インデックス）が一意に特定できる符号化形式である階層的量子化インデックス符号を算出し、出力する。階層的量子化インデックス符号は、量子化対象領域ごとに、各階層の量子化インデックスが一意に特定できる。これを一意に復号可能な符号化形式であればよい。図６を例に説明すると、例えば最下位階層の量子化インデックスとして量子化インデックス２７が供給されると、各階層の量子化インデックスが最上位階層から順に量子化インデックス２、１０、２７となり、各階層の量子化インデックスが量子化インデックス２、１０、２７と特定できる符号化形式であればよい。ただし、階層的量子化方法において、ある量子化インデックスの下位階層に（または最上位階層に）異なる複数の量子化方法が並列に存在することにより、複数の異なる最下位階層の量子化インデックスが供給される場合は、それぞれに対する各階層の量子化インデックスが一意に特定できる符号化形式であればよい。図６を例に説明すると、例えば最下位階層の量子化インデックスとして量子化インデックス２８と１７が供給される場合は、それぞれに対する各階層の量子化インデックスである量子化インデックス４、１３、２８と、量子化インデックス４、１７の（量子化インデックス４は共通）それぞれ（それぞれの階層的量子化のパス）が一意に特定できる符号化形式であればよい。
　階層的量子化インデックス符号は、例えば、量子化対象領域ごとの、最下位階層の量子化インデックスのみを符号化したものであってもよい。なぜならば、図６に示されるような階層的量子化方法が、抽出側（画像特徴量抽出装置）と比較側（画像特徴量比較装置）とで共有されており、それぞれが参照できるならば、最下位階層の量子化インデックスから、それより上位の量子化インデックスを一意に特定できるからである。図６を例に説明すると、最下位階層の量子化インデックスが例えば量子化インデックス２７であるとすると、量子化インデックス２７のみを符号化してもよい（階層的量子化方法に従い、量子化インデックス２７から、それより上位の量子化インデックス２、１０が一意に特定できる）。また階層的量子化インデックス符号は、最下位階層の量子化インデックスを含む全階層の量子化インデックスを符号化したものであってもよい。図６を例に説明すると、最下位階層の量子化インデックスが例えば量子化インデックス２７であるとすると、全階層の量子化インデックス２、１０、２７を符号化してもよい。前者のほうが符号のサイズが小さくなるため、一般的には前者のほうが望ましい。なお後者は符号のサイズは大きくなるが、階層的量子化インデックス符号の比較の際に、最下位階層の量子化インデックスから、それに対応する上位階層の量子化インデックスを再現する必要がなくなるため、演算量を低減できるメリットがある。また階層的量子化インデックス符号は、各量子化対象領域とその量子化インデックスとの対応が一意に特定できる符号化形式であればよい。例えばあらかじめ規定された量子化対象領域の順番に従って符号化したものであってもよい。また例えば、量子化対象領域が特定できる情報を付加して符号化したものであってもよい。
　画像特徴量比較装置０２は、画像特徴量抽出装置０１によって算出される２つの画像の階層的量子化インデックス符号を入力とし、２つの画像の両方あるいは少なくとも一方が属する母集団の特性を示す母集団特性情報に基づいて、比較に用いる量子化インデックスのセットを比較用量子化インデックスセットとして選択し、比較用量子化インデックスセットを用いて２つの画像の階層的量子化インデックス符号を比較し、２つの画像が同一である度合いを示す同一性尺度を算出し、出力する。
　ここで母集団とは、入力として階層的量子化インデックス符号が供給される２つの画像の両方あるいは少なくとも一方が属する母集団であれば、どのような母集団であってもよい。母集団は、本発明の画像同一性尺度算出システムを適用する対象としてもよい。これにより、その母集団の画像群に対して、本発明の画像同一性尺度算出システムの効果を得ることができる。例えば、ある画像・動画像の共有サービスにおいて、画像の違法な複製を検知するために、本発明の画像同一性尺度算出システムを適用する場合には、その対象はその画像・動画像の共有サービスのデータベースであるため、母集団をその共有サービスのデータベース（に含まれる画像群）としてもよい。
　母集団は、例えば、２つの画像の両方あるいは少なくとも一方が属する分類に含まれる画像群であってもよい。ここで分類とは、何かしら同じ特性を有する画像の集合体のことであり、例えば画像の内容に基づく種別（例えば、自然画像、人工物画像、風景画像、人物画像、花画像、動物画像など）などである。また特に、画像が動画像のフレームとした場合、分類は例えばジャンル（例えば、ニュース、スポーツ、バラエティ、ドラマ、ドキュメンタリーなど）や、放送局、放送時間帯、放送番組などであってもよい。
　母集団は、例えば、２つの画像の両方あるいは少なくとも一方が属するデータベースまたはその特定の部分集合に含まれる画像群であってもよい。例えば、画像や動画像の共有サービスにおいて、本発明の画像同一性尺度算出システムを適用する場合は、そのサービスの画像・動画像のデータベースまたはその特定の部分集合に含まれる画像群を母集団としてもよい。この場合、本発明の画像同一性尺度算出システムは、例えば２つの画像の両方がデータベース（母集団）に属する場合は、そのサービスのデータベース内における同一画像の重複を検知するシステムとして機能するし、また例えば２つの画像の一方がデータベース（母集団）に属し、もう一方が外部から与えられるとする場合は、そのサービスのデータベースに対する同一画像のクエリ検索として機能することになる。また例えば、２つの画像の両方あるいは少なくとも一方がインターネット上の画像の場合、インターネット上の画像群またはその部分集合を母集団としてもよい。また例えば、インターネット上の特定のサイトに投稿された画像群を母集団としてもよい。また例えば、２つの画像の両方あるいは少なくとも一方が特定の個人が所有する画像の場合、その特定の個人が所有する画像群またはその部分集合を母集団としてもよい。
　また例えば、２つの画像の両方あるいは少なくとも一方が動画像のフレームである場合、２つの画像の両方あるいは少なくとも一方が属する動画像または動画像の部分区間に含まれるフレーム群を母集団としてもよい。例えば、２つの画像がそれぞれ動画像Ａと動画像Ｂに属するフレームである場合、動画像Ａ（または動画像Ａの部分区間）と動画像Ｂ（または動画像Ｂの部分区間）の両方あるいは少なくとも一方に含まれるフレーム群を母集団としてもよい。
　なおここで、入力として階層的量子化インデックス符号が供給される２つの画像の両方あるいは少なくとも一方が属する母集団とは、必ずしもその画像が１枚の画像として含まれる画像集合体である必要はなく、同じ特性を有する画像集合体であればよい。例えば、入力として階層的量子化インデックス符号が供給される画像の内容に基づく種別が「自然画像」であるとして、「自然画像」の画像群を母集団とする場合、この母集団としての「自然画像」の画像群は、必ずしも入力として階層的量子化インデックス符号が供給される画像を含んでいなくてもよい。また例えば、入力として階層的量子化インデックス符号が供給される画像があるデータベースに属している場合、その画像を含むそのデータベース全体を母集団としてもよいが、例えばその画像を含まないそのデータベースの部分集合を母集団としてもよい。
　ここで母集団特性情報とは母集団の特性を示す情報であって、特に、母集団の画像群において、（候補として）選択した量子化インデックスのセットを用いて算出される同一性尺度に基づいた画像の同一性の判定（２つの画像が同一であるか否かの判定）の精度、と相関がある情報である。この情報に基づけば、算出される同一性尺度に基づいた画像の同一性の判定の精度が高くなるように、比較用量子化インデックスセットを選択することができる。なお、算出される同一性尺度に基づいた画像の同一性の判定の精度は、同一性尺度の信頼度と考えることもできる。このため、母集団画像情報は、母集団の画像において、選択した量子化インデックスのセットを用いて算出される同一性尺度の信頼度、と相関がある情報、と考えてもよい。
　ここで、選択した量子化インデックスのセットを用いて算出される同一性尺度に基づいた画像の同一性の判定の精度は、（１）選択した量子化インデックスのセットが有する、異なる画像を識別できる度合いである識別能力と、（２）選択した量子化インデックスのセットが有する、画像への各種改変処理によって量子化インデックスが変化しない度合いである頑健性、の２つの尺度で決まる。すなわち、識別能力が高いほど、また頑健性が高いほど、算出される同一性尺度に基づいた画像の同一性の判定の精度は高くなる（なお、識別能力と頑健性はトレードオフの関係にあり、一般的に識別能力が高くなると頑健性は低くなり、頑健性が高くなると識別能力が低くなる）。そこで、母集団特性情報は、母集団の画像群において、選択した量子化インデックスのセットが有する、異なる画像を識別できる度合いである識別能力、と相関がある情報であってもよい。この情報に基づけば、識別能力が高くなるように、比較用量子化インデックスセットを選択することができる。また母集団特性情報は、母集団の画像群において、選択した量子化インデックスのセットが有する、画像への各種改変処理によって量子化インデックスが変化しない度合いである頑健性、と相関がある情報であってもよい。この情報に基づけば、頑健性が高くなるように、比較用量子化インデックスセットを選択することができる。
　母集団の画像群において選択した量子化インデックスのセットが有する識別能力、と相関がある情報としては、例えば、母集団の画像群における量子化インデックスごとの出現頻度であってもよい（この場合は、この母集団の画像群における量子化インデックスごとの出現頻度が母集団特性情報となる）。これは一般的に、量子化インデックスのセットに含まれる量子化インデックスの数が同じである場合は、量子化インデックスごとの出現頻度が均等であるほど、識別能力が高くなるからである。この情報に基づけば、量子化インデックスごとの出現頻度が均等に近づくように比較用量子化インデックスセットを選択し、識別能力が高くなるようにできる。また母集団特性情報は、母集団の画像群における量子化インデックスごとの出現頻度でなくても、例えば、母集団の画像群における特定の量子化インデックスへの出現頻度の偏りを示す情報、または間接的にそれが推定できるような情報であってもよい。これは、選択した量子化インデックスのセットに、特定の量子化インデックスへの出現頻度の偏りがある（特定の量子化インデックスの出現頻度が多い）と、その量子化インデックスが要因として識別能力が低くなるからである（これは、出現頻度が高い量子化インデックスは、偶然に異なる画像の間でも共通に出現する確率が高くなり、異なる画像を識別しにくくなるからである）。母集団特性情報は例えば、「母集団の画像群は“空”を含む画像が多い」ことを示す情報などでもよい。これは、この情報に基づき特定の量子化インデックス（この場合、具体的には例えば、色が青であることを示す量子化インデックスなど）への出現頻度の偏りがあると推定でき、その量子化インデックスが要因として識別能力が低くなるからである。なお、母集団特性情報が、母集団の画像群における量子化インデックスごとの出現頻度とする例は、第２の実施の形態にて詳細に説明する。
　母集団の画像群において選択した量子化インデックスのセットが有する頑健性、と相関がある情報としては、例えば、母集団の画像群における、量子化インデックスごとの、画像への各種改変処理によって量子化インデックスが変化しない度合いを示す改変不変度、であってもよい（この場合は、この母集団の画像群における、量子化インデックスごとの改変不変度が母集団特性情報となる）。これは、量子化インデックスごとの改変不変度が高いほど、頑健性が高くなるからである。この情報に基づけば、量子化インデックスのセット全体に対する改変不変度が高くなるように比較用量子化インデックスセットを選択し、頑健性が高くなるようにできる。また母集団特性情報は、母集団の画像群における量子化インデックスごとの改変不変度でなくても、例えば、母集団の画像群における特定の量子化インデックスの改変不変度が直接的または間接的に推定できるような情報であってもよい。母集団特性情報は例えば、「母集団の画像群にはグレイスケール画像が多い」ことを示す情報などでもよい。これは、この情報に基づき特定の量子化インデックス（この場合、具体的には例えば、色情報を用いた量子化方法により算出された量子化インデックス）の改変不変度が低いと推定でき、その量子化インデックスが要因として頑健性が低くなるからである。なお、母集団特性情報が、母集団の画像群における量子化インデックスごとの改変不変度とする例は、第４の実施の形態にて詳細に説明する。
　また母集団特性情報は、例えば、母集団に画像を加える際に画像に対して変換が施される（例えば画像の圧縮、画像サイズの変換）場合に、母集団に加える前の画像と後の画像の両方の画像が入手可能な場合には、それらの画像を用いて学習し、得られた情報であってもよい。例えば、母集団がインターネット上のある投稿サイトの場合に、投稿前の画像と、投稿して画像が変換された後の画像とを比較し、得られる改変の種別や度合いを示す情報や量子化インデックスごとの改変不変度などであってもよい。
　図５を参照すると、画像特徴量比較装置０２は、比較用量子化インデックスセット選択部０２１、比較用量子化インデックス取得手段０２２と、量子化インデックス比較手段０２３と、から構成されている。
　比較用量子化インデックスセット選択部０２１は、入力される母集団特性情報に基づいて、比較に用いる量子化インデックスのセットを比較用量子化インデックスセットとして選択する。選択した比較用量子化インデックスセットの情報を、比較用量子化インデックス取得手段０２２へ供給する。
　ここで、比較用量子化インデックスセット選択部０２１が選択する比較用量子化インデックスセットの選択に関する条件を説明する。選択される比較用量子化インデックスセットは、各量子化対象領域が、一意に量子化インデックスに分類されるような、量子化インデックスのセットである必要がある。すなわち、階層的量子化方法のある量子化インデックスを選択した場合は、その量子化インデックスに対応する、それより上位階層の量子化インデックス（先祖のノード）や、それより下位階層の量子化インデックス（子孫のノード）を選択してはならない。また、階層的量子化方法においてある量子化インデックスの下位階層に（または最上位階層に）異なる複数の量子化方法が並列に存在する場合は、この並列に存在する量子化方法により算出される量子化インデックスを同時に選択してはならない。図６を例に説明すると、例えば比較用量子化インデックスセットを、｛１、２、３、４、５｝や、｛６、７、２、３、１６、１７、３０、３１、１９、２０、２１｝や、｛２２、２３、７、８、９、２６、２７、３、１６、１７、３０、３６、３７、１９、２０、２１｝や、｛２２、２３、３４、３５、８、９、２６、２７、１１、１２、２８、２９、１４、１５、３０、３６、３７、３２、３３、２０、２１｝など、と選択すると一意に量子化インデックスに分類されるので、適切である。例えば、量子化インデックス２４とそれに対応する上位階層の量子化インデックスである量子化インデックス７を同時に選択したり、量子化インデックス２４とそれに対応する２階層上位の階層の量子化インデックスである量子化インデックス１を同時に選択することはできない。また例えば、量子化インデックス７とそれに対応する下位階層の量子化インデックスである量子化インデックス２４や２５を同時に選択したり、量子化インデックス７とそれに対応する２階層下位の階層の量子化インデックスである量子化インデックス３４や３５を同時に選択することはできない。また選択される比較用量子化インデックスセットは、各量子化対象領域が、未分類がないようにいずれかの量子化インデックスに分類されるような、量子化インデックスのセットであることが望ましいが、必ずしもそうでなくてもよい。図６を例に説明すると、例えば比較用量子化インデックスセットを、｛１、２、３、４、５｝や、｛６、７、２、３、１６、１７、３０、３１、１９、２０、２１｝や、｛２２、２３、７、８、９、２６、２７、３、１６、１７、３０、３６、３７、１９、２０、２１｝や、｛２２、２３、３４、３５、８、９、２６、２７、１１、１２、２８、２９、１４、１５、３０、３６、３７、３２、３３、２０、２１｝など、と選択すると、未分類がなくいずれかの量子化インデックスに分類されるので、望ましい。一方例えば、比較用量子化インデックスセットを、｛１、２、３、４｝と選択すると、量子化インデックス５とそれに対応する下位階層の量子化インデックスに分類されるサンプルが未分類となり、望ましくはないがそのように選択しても構わない。
　比較用量子化インデックスセット選択部０２１は、母集団特性情報に基づいて比較用量子化インデックスセットを選択する。例えば母集団特性情報が、母集団の画像群において、選択した量子化インデックスのセットを用いて算出される同一性尺度に基づいた画像の同一性の判定の精度と相関がある情報である場合、この情報に基づいて、算出される同一性尺度に基づいた画像の同一性の判定の精度が高くなるように、比較用量子化インデックスセットを選択してもよい。また例えば母集団特性情報が、母集団の画像群において、選択した量子化インデックスのセットが有する、異なる画像を識別できる度合いである識別能力、と相関がある情報である場合、この情報に基づいて、識別能力が高くなるように、比較用量子化インデックスセットを選択してもよい。識別能力を高くするためには、例えば、より下位階層の量子化インデックスを選択してもよい。例えば、母集団特性情報が、母集団の画像群における特定の量子化インデックスへの出現頻度の偏りを示す情報（特定の量子化インデックスの出現頻度が高いことを示す情報）、または間接的にそれが推定できるような情報（例えば「母集団の画像群は“空”を含む画像が多い」ことを示す情報）である場合、識別能力を高くするために、その特定の量子化インデックス（母集団特性情報が「母集団の画像群は“空”を含む画像が多い」ことを示す情報である場合には、典型的な空領域に対する量子化インデックス、例えば色が青であること示す量子化インデックス、が特定の量子化インデックスとなる）に対する下位階層の量子化方法で算出される量子化インデックスを選択するようにして、比較用量子化インデックスセットを選択してもよい（出現頻度が高い量子化インデックスは、異なる画像の間でも共通に出現する確率が高くなり、異なる画像を識別しにくくなるため識別能力を低くする要因となる。そこでその量子化インデックスに対する下位階層の量子化インデックスを選択することで、出現頻度を分割して出現頻度の偏りを抑えることができ、識別能力を高くすることができる）。図６を例に説明すると、例えば、まず最上位階層の量子化インデックスのセット｛１、２、３、４、５｝を候補としたときに、母集団特性情報に基づいて、母集団の画像群において量子化インデックス３の出現頻度が高いと推定される場合に、識別能力を上げるために、量子化インデックス３に対する下位階層の量子化方法で算出される量子化インデックスである量子化インデックス１１、１２を選択し、比較用量子化インデックスセットを｛１、２、１１、１２、４、５｝としてもよい。なお、母集団特性情報が、母集団の画像群における量子化インデックスごとの出現頻度である場合については、第２の実施の形態にて詳細に説明する。また例えば母集団特性情報が、母集団の画像群において、選択した量子化インデックスのセットが有する、画像への各種改変処理によって量子化インデックスが変化しない度合いである頑健性、と相関がある情報である場合、この情報に基づいて、頑健性が高くなるように、比較用量子化インデックスセットを選択してもよい。頑健性を高くするためには、例えばより上位階層の量子化インデックスを選択してもよい。例えば、母集団特性情報が、母集団の画像群における特定の量子化インデックスの改変不変度が推定できるような情報（例えば「母集団の画像群にはグレイスケール画像が多い」ことを示す情報）である場合、頑健性を高くするために、その特定の量子化インデックス（母集団特性情報が「母集団の画像群にはグレイスケール画像が多い」ことを示す情報である場合には、色情報を用いた量子化方法により算出された量子化インデックスが特定のインデックスとなる）に対する上位階層の量子化インデックスを選択するようにして、比較用量子化インデックスセットを選択してもよい（上位階層の量子化インデックスを選択することで、同一階層の複数の量子化インデックスが統合され、その複数の量子化インデックスをまたいだ量子化インデックスの変化がなくなるため、頑健性が高くなる）。なお、母集団特性情報が、母集団の画像群における量子化インデックスごとの改変不変度である場合については、第４の実施の形態にて詳細に説明する。
　また比較用量子化インデックスセット選択部０２１は、母集団特性情報として、母集団の画像群において、選択した量子化インデックスのセットが有する識別能力と相関がある情報と、頑健性と相関がある情報の両方が入力された場合、その両方を考慮して、比較用量子化インデックスセットを選択してもよい。識別能力と頑健性はトレードオフの関係にあるため（一般的に識別能力が高くなると頑健性は低くなり、頑健性が高くなると識別能力が低くなる）、例えば識別能力と頑健性の各々がある一定の基準に近くづくように比較用量子化インデックスセットを選択してもよいし、また例えば識別能力と頑健性の一方が一定の基準を満たす中で、もう一方が高くなるように比較用量子化インデックスセットを選択してもよいし、また例えば識別能力と頑健性のそれぞれを数値化して融合した尺度に基づいて比較用量子化インデックスセットを選択してもよい。
　また比較用量子化インデックスセット選択部０２１は、母集団特性情報に加えて、母集団に依存しなく識別能力や頑健性と相関がある情報を考慮して、比較用量子化インデックスセットを選択してもよい。このような情報としては、例えば、選択した量子化インデックスのセットに含まれる量子化インデックスの数（一般的に量子化インデックスの数が多いほど識別能力は高くなり、頑健性は低くなる）、選択した量子化インデックスのセットの階層の深さ、などが挙げられる。例えば、量子化インデックスの数を一定の基準を満たす（例えば量子化インデックスの数を１０程度など）量子化インデックスのセットの中から、母集団特性情報に基づいて識別能力や頑健性が高くなるように比較用量子化インデックスセットを選択してもよい。
　また比較用量子化インデックスセット選択部０２１は、候補となる全ての組み合わせの量子化インデックスのセットの中から、母集団特性情報を用いて判断される上述のいずれかの基準に基づいて、最適な量子化インデックスのセットを、比較用量子化インデックスセットとして選択してもよい。
　また比較用量子化インデックスセット選択部０２１は、例えば、階層的量子化方法の上位階層の量子化インデックスを、下位階層の量子化インデックスよりも優先的に選択するようにして、比較用量子化インデックスセットを選択してもよい。また比較用量子化インデックスセット選択部０２１は、例えば、階層的量子化方法の最上位階層から順に量子化インデックスのセットを候補として選択し、母集団特性情報に基づいて規定の基準（例えば上述のいずれかの基準）を満たす量子化インデックスのセットが出現するまで、下位階層の量子化インデックスを候補として選択していき、比較用量子化インデックスを選択してもよい。例えば、母集団特性情報に基づいて判定される識別能力が規定の基準を満たさない場合に、下位階層の量子化インデックスを候補として選択していき、比較用量子化インデックスを選択してもよい。このとき下位階層の量子化インデックスを選択する際に、上述の、母集団の画像群における特定の量子化インデックスへの出現頻度の偏りを示す情報に基づき、その特定の量子化インデックスに対する下位階層の量子化方法で算出される量子化インデックスを選択するようにしてもよい。図６を例に説明すると、例えば、まず最上位階層の量子化インデックスのセット｛１、２、３、４、５｝を候補として選択し、このセットが母集団特性情報に基づいて判定される識別能力が規定の基準を満たさない場合に、下位階層の量子化インデックスを候補として選択してもよい。このとき、母集団特性情報に基づいて、母集団の画像群において量子化インデックス３の出現頻度が高いと推定される場合に、量子化インデックス３に対する下位階層の量子化方法で算出される量子化インデックスである量子化インデックス１１、１２を選択し、量子化インデックスのセット｛１、２、１１、１２、４、５｝を候補としてもよい。このような操作を、母集団特性情報に基づいて判定される識別能力が規定の基準を満たすまで再帰的に繰返し、比較用量子化インデックスセットを選択してもよい。また例えば、下位階層の量子化インデックスを選択するか否かを判断する際に、母集団特性情報に基づいて判定される頑健性が規定の基準を満たさない場合は、下位階層の量子化インデックスを選択しないようにして、比較用量子化インデックスを選択してもよい。
　なお、比較用量子化インデックスセット選択部０２１のより具体的な例は、第２の実施の形態、第３の実施の形態、第４の実施の形態、および第５の実施の形態にて詳細に説明する。
　なお、比較用量子化インデックスセット選択部０２１は、画像特徴量比較装置０２に２つの画像の階層的量子化インデックス符号が入力されるタイミングで処理を行うのではなく、あらかじめ本発明の同一性尺度算出システムを適用する母集団に対して処理を行っておくことが望ましい。ある母集団に対して、比較用量子化インデックスセット選択部０２１は、一度だけ処理を行うことが望ましく（なお、母集団の更新によって、定期的に処理を行うことは有効である）、２つの画像の階層的量子化インデックスが新たに入力される度に処理を行う必要はない。こうすることにより、画像特徴量比較装置０２は、同じ母集団に属する大量の画像の階層的量子化インデックス符号が連続して入力された場合に（すなわち、同じ母集団に属する大量の画像に対して、同一性尺度の算出を行っていく場合に）、効率的かつ高速に、同一性尺度の算出を行うことができる。
　比較用量子化インデックス取得手段０２２は、画像特徴量抽出装置０１によって算出される２つの画像（画像１と画像２）の各々の階層的量子化インデックス符号を入力とし、各々の画像に対して、量子化対象領域ごとに、階層的量子化インデックス符号が一意に特定する各階層の量子化インデックスの中から、比較用量子化インデックスセット選択部０２１から供給される比較用量子化インデックスセットの情報が示す比較用量子化インデックスセットに含まれる量子化インデックスを取得する。各々の画像に対して取得した量子化対象領域ごとの量子化インデックスを、比較用量子化インデックスとして量子化インデックス比較手段０２３へ供給する。比較用量子化インデックスセットに含まれる量子化インデックスを取得する場合に、階層的量子化インデックス符号が、最下位階層の量子化インデックスのみを符号化したものである場合は、階層的量子化方法に従って最下位階層の量子化インデックスから、それより上位階層の量子化インデックスを求め、その各階層の量子化インデックスの中から、比較用量子化インデックスセットに含まれる量子化インデックスを取得すればよい。図６を例に説明すると、例えば比較用量子化インデックスセットが｛６、７、２、３、１６、１７、３０、３１、１９、２０、２１｝であるとする。ここで、（階層的量子化インデックス符号から）ある量子化対象領域の最下位階層の量子化インデックスが３４である場合、階層的量子化方法に従って各階層の量子化インデックスが上位階層順に１、７、２４、３４と求めることができる。この中で量子化インデックス７が、比較用量子化インデックスに含まれるため、量子化インデックス７をその量子化対象領域の比較用量子化インデックスとして取得する。また、ある量子化対象領域の最下位階層の量子化インデックスが２７である場合、階層的量子化方法に従って各階層の量子化インデックスが上階層順に２、１０、２７と求めることができる。この中で量子化インデックス２が、比較用量子化インデックスに含まれるため、量子化インデックス２をその量子化対象領域の比較用量子化インデックスとして取得する。また、階層的量子化方法において、ある量子化インデックスの下位階層に（または最上位階層に）異なる複数の量子化方法が並列に存在する場合に伴って、階層的量子化インデックス符号が、１つの量子化対象領域に対して複数の階層的量子化のパスを含む場合は、それぞれの階層的量子化のパスの各階層の量子化インデックスの中から、比較用量子化インデックスセットに含まれる量子化インデックスを取得する。図６を例に説明すると、例えば比較用量子化インデックスセットが｛６、７、２、３、１６、１７、３０、３１、１９、２０、２１｝であるとする。ここで例えば、（階層的量子化インデックス符号から）ある量子化対象領域の最下位層の量子化インデックスが２９と１７の２つである場合、前者の各階層の量子化インデックスが上位階層順に４、１３、２９であり、後者の各階層の量子化インデックスが上位階層順に４、１７と、それぞれ求めることができる（量子化インデックス４は共通）。これらの中で、量子化インデックス１７が、比較用量子化インデックスに含まれるため、量子化インデックス１７をその量子化対象領域の比較用量子化インデックスとして取得する。なお、比較用量子化インデックスセット選択部０２１から供給される比較用量子化インデックスセットが、未分類が存在するようなセットである場合は、比較用量子化インデックスが未分類（不定）となる量子化対象領域が発生することになる。図６を例に説明すると、例えば比較用量子化インデックスセットが｛１、２、３、４｝であるとした場合、ある量子化対象領域の最下位階層の量子化インデックスが３２である場合、階層的量子化方法に従って各階層の量子化インデックスが上位階層順に５、１９、３２と求まるが、この中のいずれも比較用量子化インデックスセットに含まれないため、その量子化対象領域の比較用量子化インデックスは未分類（不定）となる。
　なお、比較用量子化インデックス取得手段０２２は、階層的量子化インデックス符号が入力される２つの画像（画像１と画像２）のうち、母集団に属する方の画像に関しては、同一性尺度の算出を行う直前に、比較用量子化インデックスを取得するのではなく、比較用量子化インデックスセットの情報が用意された段階で、あらかじめ比較用量子化インデックスを取得しておくのが望ましい。すなわち、母集団の画像群に対しては、あらかじめ比較用量子化インデックスを取得しておくことが望ましい。こうすることにより、画像特徴量比較装置０２は、効率的かつ高速に、同一性尺度の算出を行うことができる。またこうすることにより、同一の画像に対して繰り返し同一性尺度の算出を行う場合に、毎回比較用量子化インデックスを取得する必要がなくなる。例えば、あるデータベースを母集団として、２つの画像の一方がデータベースに属し、もう一方の画像がクエリとして外部から与えられる場合に、データベースに属する画像に関しては、あらかじめ比較用量子化インデックスを取得しておくことで、外部からクエリが与えられる度に比較用量子化インデックスを取得する必要がなくなるため、高速に同一性尺度の算出を行うことができる。また例えば、あるデータベースを母集団として、２つの画像の両方がデータベースに属し、データベース内における全ての画像対に対する同一性尺度の算出を行う場合には、データベースに属する全ての画像に対してあらかじめ比較用量子化インデックスを取得しておくことで、画像対ごとの同一性尺度算出の度に比較用量子インデックスを取得する必要がなくなるため、同一性尺度の算出の速度を大幅に高速化することができる。
　量子化インデックス比較手段０２３は、比較用量子化インデックス取得手段０２２から供給される２つの画像（画像１と画像２）の比較用量子化インデックスを、対応する量子化対象領域ごとに比較し、量子化インデックスが一致する量子化対象領域の数に基づいて、２つの画像が同一である度合いを示す同一性尺度を算出し、出力する。同一性尺度は、例えば量子化インデックスが一致する量子化対象領域の数としてもよい。また同一性尺度は、例えば量子化インデックスが一致しない量子化対象領域の数（ハミング距離）に基づいて算出してもよい。また同一性尺度は、例えば、量子化インデックスごとに、一致する量子化対象領域の数を求め、それらに量子化インデックスごとにあらかじめ定められた重み値を作用させて加算した値としてもよい。また同一性尺度は、例えば、量子化対象領域ごとに量子化インデックスが一致するか否かを求めて数値化し（例えば一致する場合は１、一致しない場合は０）、量子化対象領域ごとにあらかじめ定められた重み値（例えば量子化対象領域が画像の局所領域であるとした場合に、局所領域が画像の中心に近いほど重み値を大きくするなど）を作用させて加算した値としてもよい。なお、対応する量子化対象領域ごとに比較を行う際に、ある量子化対象領域において、２つの画像の比較用量子化インデックスの両方あるいは少なくとも一方が未定（不定）である場合は、その量子化対象領域は同一性尺度の算出に寄与しないようにしてもよい。
　なお、これまで説明した、階層的量子化方法、母集団特性情報、および比較用量子化インデックスセット選択部０２１が選択する比較用量子化インデックスセットは、全ての量子化対象領域に対して共通であることが望ましいが、量子化対象領域ごと、または複数の量子化対象領域のグループごとに（量子化対象領域が画像の複数の局所領域である場合、例えば画像の左上領域に属する局所領域のグループ、右上領域に属する局所領域のグループ、左下領域に属する局所領域のグループ、右下領域に属する局所領域のグループなど）、異なってもよい。すなわち、例えば、階層的量子化方法が、量子化対象領域ごとに、または複数の量子化対象領域のグループごとに、異なってもよい。また例えば、入力として供給される母集団特性情報が、量子化対象領域ごとに、または複数の量子化対象領域のグループごとに、異なってもよい。また例えば、比較用量子化インデックスセット選択部０２１は、量子化対象領域ごとに、または複数の量子化対象領域のグループごとに、選択する比較用量子化インデックスセットが異なってもよい。このように、量子化対象領域ごとに、または複数の量子化対象領域のグループごとに、階層的量子化方法、母集団特性情報、または比較用量子化インデックスセット選択部０２１が選択する比較用量子化インデックスセットを、異なるようにすることによって、量子化対象領域ごと、または複数の量子化対象領域のグループごと、の特性に適合した最適化を行うことができる。例えば、量子化対象領域を画像の複数の局所領域とした場合に、画像の中央領域が前景オブジェクトである可能性が高く、画像の周辺領域が背景である可能性が高いとすると、この特性を利用して、例えば画像の中央領域に属する局所領域は前景オブジェクトを記述するのに適した量子化方法（例えばエッジ情報を特徴量として用いた量子化方法）から構成される階層的量子化方法を用い、画像の周辺領域に属する局所領域は背景を記述するのに適した量子化方法（例えば色情報を特徴量として用いて量子化方法）から構成される階層的量子化方法を用いてもよい。
［動作の説明］ 
　次に、図７と図８のフローチャートを利用して、第１の実施の形態の動作を説明する。
　まず、第１の実施の形態における画像特徴量抽出装置０１の動作を説明する。図７は、第１の実施の形態における画像特徴量抽出装置０１の動作を示すフローチャートである。
　まず、次階層量子化方法選択手段０１１は、最初の量子化対象領域に対して、階層的量子化方法に従って、最上位階層の量子化方法を選択し、選択した量子化方法の情報を特徴量抽出手段０１２と量子化インデックス算出手段０１３に供給する（ステップＡ０１）。次に、特徴量抽出手段０１２は、現在対象としている量子化対象領域に対して、次階層量子化方法選択手段０１１から供給される量子化方法の情報に従い、その量子化方法が用いる特徴量を、入力される画像から抽出し、抽出した特徴量を量子化インデックス算出手段０１３へ供給する（ステップＡ０２）。次に、量子化インデックス算出手段０１３は、現在対象としている量子化インデックス対象領域に対して、特徴量抽出手段０１２から供給される特徴量を、次階層量子化方法選択手段０１１から供給される量子化方法の情報に従って量子化を行い、量子化インデックスを算出する（ステップＡ０３）。算出した量子化インデックスが階層的量子化方法の最下位階層であるか否かを判定する（ステップＡ０４）。算出した量子化インデックスが最下位階層でない場合は、次に、量子化インデックス算出手段０１３は算出した量子化インデックスを次階層量子化方法選択手段０１１へ供給（フィードバック）し、次階層量子化方法選択手段０１１は、供給（フィードバック）された（上位階層の）量子化インデックスの下位階層の量子化インデックスを選択し、選択した量子化方法の情報を特徴量抽出手段０１２と量子化インデックス算出手段０１３に供給する（ステップＡ０５）。そして再度、ステップＡ０２に進む。ステップＡ０４で、算出した量子化インデックスが最下位階層であると判定された場合は、次に、全ての量子化対象領域の処理が終了したか否かを判定する（ステップＡ０６）。全ての量子化対象領域の処理が終了していない場合は、次の量子化対象領域を定め、再度ステップＡ０１に進み、次の量子化対象領域に対して処理を行う。全ての量子化対象領域の処理が終了している場合は、次に、階層的量子化インデックス符号出力手段０１４は、各量子化対象領域の各階層の量子化インデックスが一意に特定できる符号化形式である階層的量子化インデックス符号を算出し、出力する（ステップＡ０７）。
　次に、第１の実施の形態における画像特徴量比較装置０２の動作を説明する。図８は、第１の実施の形態における画像特徴量比較装置０２の動作を示すフローチャートである。
　まず、比較用量子化インデックスセット選択部０２１は、入力される母集団特性情報に基づいて、比較用量子化インデックスセットを選択し、選択した比較用量子化インデックスセットの情報を比較用量子化インデックス取得手段０２２へ供給する（ステップＢ０１）。なおステップＢ０１は、画像特徴量比較装置０２に２つの画像の階層的量子化インデックス符号が入力されるタイミングで処理されるのではなく、あらかじめ本発明の同一性尺度算出システムを適用する母集団に対して処理しておくほうが望ましい。次に、比較用量子化インデックス取得手段０２２は、入力される２つの画像の各々の階層的量子化インデックス符号から、比較用量子化インデックスセット選択部０２１から供給される比較用量子化インデックスセットの情報に基づき、各々の画像に対して比較用量子化インデックスを取得し、取得した比較用量子化インデックスを量子化インデックス比較手段０２３へ供給する（ステップＢ０２）。次に、量子化インデックス比較手段０２３は、比較用量子化インデックス取得手段０２２から供給される２つの画像の比較用量子化インデックスを比較し、同一性尺度を算出し、出力する（ステップＢ０３）。
［第１の実施の形態の効果］
　次に、本発明の第１の実施の形態の効果について説明する。
　本発明の第１の実施の形態では、画像の同一性の判定能力の尺度である識別能力と頑健性とのバランスを調整することのできる画像同一性算出システムが得られる。その理由は、２つの画像の量子化対象領域ごとに算出された複数の階層の量子化インデックスのうちのどの階層の量子化インデックスを比較に用いるかによって、２つの画像の同一性の判定能力が変わってくるためである。具体的には、より下位の階層の量子化インデックスを比較に用いることによって、２つの画像の同一性の判定能力のうち、異なる画像を識別できる度合いである識別能力を高めることができる。逆に、より上位の階層の量子化インデックスを比較に用いることによって、２つの画像の同一性の判定能力のうち、画像への各種改変処理によって量子化インデックスが変化しない度合いである頑健性を高めることができる。
　また、階層的な量子化方法に基づいて算出された複数階層の量子化インデックスを特徴量とし、画像特徴量比較装置０２が同一性尺度の算出を行う２つの画像の少なくとも一方が属する母集団の特性情報に基づいて、比較に用いる量子化インデックスのセットを選択し、それに基づき同一性尺度を算出することにより、比較する画像の母集団に適応的に最適化できるという効果がある。
　また、母集団特性情報が、母集団の画像群において、選択した量子化インデックスのセットを用いて算出される同一性尺度に基づいた画像の同一性の判定の精度と相関がある情報とすると、それに基づいて、比較用量子化インデックスセット選択部０２１が算出される同一性尺度に基づいた画像の同一性の判定の精度が高くなるように比較用量子化インデックスセットを選択することにより、母集団ごとに、算出される同一性尺度に基づいた画像の同一性の判定の精度を最適化できるという効果がある。これにより、算出される同一性尺度に基づいた画像の同一性の判定の精度が、画像の母集団によって大きく低下することがない。
　また、画像特徴量抽出装置０１が抽出した特徴量を用いて、画像特徴量比較装置０２が母集団に対して適応的に最適化して同一性尺度を算出することにより、特徴量の抽出方法（すなわち階層的量子化方法）は母集団に依存せず共通にすることができる。このため、母集団ごとに最適な特徴量の抽出方法（すなわち階層的量子化方法）を学習する必要がないという効果がある。またこれにより、画像の特徴量を抽出する時点で、画像の比較が行われる母集団が未定の場合でも、問題がない。
［第２の実施の形態］
　次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。第２の実施の形態は、第１の実施の形態における画像特徴量比較装置０２において、入力される母集団特性情報と、比較用量子化インデックスセット選択部０２１がより具体的になったものである。第２の実施の形態における画像特徴量抽出装置は、図４に示した第１の実施の形態の画像特徴量抽出装置０１と同じである。図９は、第２の実施の形態にかかる画像同一性尺度算出システムの画像特徴量比較装置の構成を示したブロック図である。図９を参照すると、本発明の第２の実施の形態は、図４と図５に示された第１の実施の形態の構成に、母集団量子化インデックス出現頻度算出手段０３が加わり、さらに比較用量子化インデックスセット選択部０２１が比較用量子化インデックスセット選択部０２１Ａに置き換わる点で異なる。なお、それ以外の点については第１の実施の形態と同じであるため、ここでは第１の実施の形態とは異なる点のみを説明する。
　母集団量子化インデックス出現頻度算出手段０３は、画像特徴量抽出装置０１によって算出される母集団の画像群の階層的量子化インデックス符号を入力とし、母集団の画像群における、階層的量子化方法の各量子化インデックスの出現頻度を算出し、算出した母集団における量子化インデックスごとの出現頻度を母集団量子化インデックス出現頻度として比較用量子化インデックスセット選択部０２１Ａへ供給する。ここで、母集団の画像群は、母集団に含まれる全ての画像でもよいし、母集団の特性を反映していれば、適当にサンプリングして抽出される画像群のみであってもよい。母集団量子化インデックス出現頻度算出手段０３は、入力された母集団の画像群の階層的量子化インデックス符号のそれぞれが一意に特定する各階層の量子化インデックスから、階層的量子化方法の全ての量子化インデックスに対して出現頻度を算出する。図６を例に説明すると、母集団量子化インデックス出現頻度算出手段０３は、量子化インデックス１から３７の全ての量子化インデックスの出現頻度を算出する。階層的量子化インデックス符号が、最下位階層の量子化インデックスを符号化したものである場合は、階層的量子化方法に従って最下位階層の量子化インデックスから、それより上位階層の量子化インデックスを求め、出現頻度の算出に加える。図６を例に説明すると、例えば母集団の画像群の階層的量子化インデックス符号から、ある画像のある量子化対象領域の最下位階層の量子化インデックスが３４である場合、量子化インデックス１、７、２４、３４のそれぞれに対して、出現頻度が１回分加算されることになる。このため、ある量子化インデックスの出現頻度は、その１つ下位の階層の全ての量子化インデックスの出現頻度の合計となる。例えば、量子化インデックス２４の出現頻度は量子化インデックス３４と３５の出現頻度の合計となり、量子化インデックス７の出現頻度は量子化インデックス２４と２５の合計となり、量子化インデックス１の出現頻度は、量子化インデックス６と７の合計となる。
　なお、母集団量子化インデックス出現頻度算出手段０３が出力する量子化インデックスごとの出現頻度は、厳密に出現頻度そのものではなくても、例えば、出現確率などであってもよい。なお、量子化インデックスごとの出現確率は、上記の方法で集計した量子化インデックスごとの出現頻度のそれぞれを、全ての量子化対象領域の数で割った値となる。
　比較用量子化インデックスセット選択部０２１Ａは、母集団量子化インデックス出現頻度算出手段０３から供給される母集団量子化インデックス出現頻度に基づいて、量子化インデックスの出現頻度が均等に近づくように比較用量子化インデックスセットを選択する。選択した比較用量子化インデックスセットの情報を、比較用量子化インデックス取得手段０２２へ供給する。比較用量子化インデックスセット選択部０２１Ａは、第１の実施の形態の比較用量子化インデックスセット選択部０２１が、入力される母集団特性情報が具体的に母集団量子化インデックス出現頻度である場合の一形態であり、その比較用量子化インデックスセットの選択に関する条件などは第１の実施の形態での説明に準じる。
　比較用量子化インデックスセット選択部０２１Ａは、量子化インデックスの出現頻度が均等に近づくように比較用量子化インデックスを選択することにより、異なる画像を識別できる度合いである識別能力を高くすることができる。これは、量子化インデックスのセットに含まれる量子化インデックスの数が同じ場合、特定の量子化インデックスに偏りがあると（特定の量子化インデックスの出現頻度が多くなると）、その出現頻度の高い量子化インデックスが、偶然に異なる画像の間でも共通に出現する確率が高くなり、識別能力が低くなるためである。
　比較用量子化インデックスセット選択部０２１Ａは、母集団量子化インデックス出現頻度に基づいて、量子化インデックスの出現頻度が均等に近づくように比較用量子化インデックスを選択する方法として、例えば、候補として選択した量子化インデックスのセットにおいて、量子化インデックスの出現頻度が均等である度合いを示す出現頻度均等度合いを算出し、出現頻度均等度合いに基づいて出現頻度均等度合いが高くなるような量子化インデックスのセットを、比較用量子化インデックスセットとして選択してもよい。比較用量子化インデックスセット選択部０２１Ａは、例えば、候補となる全ての組み合わせの量子化インデックスのセットのそれぞれに対して、出現頻度均等度合いを算出し、出現頻度均等度合いが最大となる量子化インデックスのセットを、比較用量子化インデックスセットとして選択してもよい。
　出現頻度均等度合いは、例えば、量子化インデックスの出現頻度（あるいは出現確率）の分散に基づいて算出してもよい。例えば候補として選択した量子化インデックスのセットの集合をＳと表し、候補として選択した量子化インデックスのセットに含まれる量子化インデックスの数（すなわち集合の要素数）をＮと表し、ある量子化インデックスをｉと表し、量子化インデックスｉの出現頻度をＦiと表すと、量子化インデックスの出現頻度の分散Ｖは、次式で計算できる。ただし、Faは、出現頻度の平均値である。
Ｖ＝１／Ｎ｛Σj∈S(Fa-Fi)2｝　　　…（式１）
　ここで、式１で計算される量子化インデックスの出現頻度の分散Ｖが小さいほど、出現頻度均等度合いは高くなる。このため、出現頻度均等度合いは、出現頻度の分散Ｖが小さいほど、出現頻度均等度合いが高くなるように算出されれば、どのような算出方法であってもよい（すなわち、出現頻度の分散Ｖに対して、単調減少な関数に基づいて算出される方法であればよい）。例えば、出現頻度均等度合いは、出現頻度の分散Ｖの逆数として算出してもよい。
　また出現頻度均等度合いは、例えば、母集団量子化インデックス出現頻度に基づいて、量子化インデックスの出現頻度（あるいは出現確率）と、量子化インデックスの出現頻度の平均値（あるいは出現確率の平均値）との差分が、ある規定の値以下である量子化インデックスの数（すなわち、平均値から離れている量子化インデックスの数）、あるいはその割合、に基づいて算出してもよい。この場合、規定の値以下である量子化インデックスの数が大きいほど、出現頻度均等度合いが高くなる。ここで、出現頻度均等度合いは、規定の値以下である量子化インデックスの数が大きいほど、出現頻度均等度合いが高くなるように算出されれば、どのような算出方法であってもよい（すなわち、この数に対して、単調増加な関数に基づいて算出される方法であればよい）。例えば、規定の値以下である量子化インデックスの数そのものを、出現頻度均等度合いとしてもよい。
　また出現頻度均等度合いは、例えば、母集団量子化インデックス出現頻度に基づいて算出される、情報エントロピー（平均情報量）に基づいて算出してもよい。例えば、量子化インデックスｉの出現確率をPiと表すと、情報エントロピーＨは、次式で計算できる。
H＝－Σj∈S Pi log(Pi)　　　…（式２）
　ここで、式２で計算される情報エントロピーＨが大きいほど、出現頻度均等度合いは高くなる。ここで、出現頻度均等度合いは、情報エントロピーＨが大きいほど、出現頻度均等度合いが高くなるように算出されれば、どのような算出方法であってもよい（すなわち、情報エントロピーＨに対して、単調増加な関数に基づいて算出される方法であればよい）。例えば、情報エントロピーＨそのものを、出現頻度均等度合いとしてもよい。
　これらの方法は、出現頻度均等度合いを算出する一例であり、出現頻度均等度合いを算出する方法は、量子化インデックスの出現頻度が均等である度合いを示す尺度を算出する方法であれば、どのような方法であってもよい。
　また比較用量子化インデックスセット選択部０２１Ａは、上述の出現頻度均等度合いに加えて、例えば、候補として選択した量子化インデックスのセットに含まれる量子化インデックスの数（あるいは選択した量子化インデックスのセットの階層の深さ）などを共に考慮して、比較用量子化インデックスセットを選択してもよい。これは、量子化インデックスの数（あるいは階層の深さ）は、量子化インデックスの出現頻度の均等度合いとは独立した情報として、また母集団に依存しない情報として、量子化インデックスのセットの量子化インデックスの数が多くなるほど（あるいは階層が深くなるほど）、異なる画像を識別できる度合いである識別能力は高くなるものの、画像への各種改変処理によって量子化インデックスが変化しない度合いである頑健性は低くなるためであり、量子化インデックスの出現頻度の均等度合いと量子化インデックスの数（あるいは階層の深さ）の双方を考慮して、比較用量子化インデックスセットを選択したほうが良い場合があるからである。例えば、あらかじめ識別能力と頑健性の観点から、適切な量子化インデックスの数の範囲（例えば量子化インデックスの数を１０程度とするなど）を設定し、その条件を満たす量子化インデックスのセットの中から、上述の出現頻度均等度合いを算出する方法を用いて算出される出現頻度均等度合いが高くなるようなセットを、比較用量子化インデックスセットとして選択してもよい。
　また比較用量子化インデックスセット選択部０２１Ａは、上述の出現頻度均等度合いに加えて、例えば、量子化インデックスごとの、画像への各種改変処理によって量子化インデックスが変化しない度合いを示す改変不変度、を共に考慮して、比較用量子化インデックスセットを選択してもよい。量子化インデックスごとの改変不変度は、例えば、あらかじめ、学習用の画像群に対して各種改変処理を施して複製画像を作成し、元画像と複製画像から画像特徴量抽出装置０１を用いて階層的量子化インデックス符号を算出し、対応する量子化対象領域において量子化インデックスが一致する割合を、量子化インデックスごとに測定して求めることができる。比較用量子化インデックスセット選択部０２１Ａは、例えば、出現頻度均等度合いが高くなり、かつ、量子化インデックスごとの改変不変度から算出される量子化インデックスのセット全体の改変不変度（例えば量子化インデックスごとの改変不変度の平均値）が大きくなるような量子化インデックスのセットを、比較用量子化インデックスセットとして選択してもよい。また例えば比較用量子化インデックスセット選択部０２１Ａは、例えば、出現頻度均等度合いが高くなり、かつ、量子化インデックスごとの改変不変度が低い量子化インデックスが含まれないように、比較用量子化インデックスセットを選択してもよい。なお、母集団の画像群における、量子化インデックスごとの改変不変度を母集団特性情報として用いる例は、第４の実施の形態にて詳細に説明する。
　また比較用量子化インデックスセット選択部０２１Ａは、母集団量子化インデックス出現頻度に基づいて、量子化インデックスの出現頻度が均等に近づくように比較用量子化インデックスを選択する方法として、例えば、ある候補として選択した量子化インデックスのセットにおいて、特定の量子化インデックスの出現頻度が高い場合に（出現頻度が特定の量子化インデックスに偏っている場合に）、その量子化インデックスに対しては、下位階層の量子化インデックスを選択するようにしてもよい。図６を例に説明すると、例えば、まず最上位階層の量子化インデックスのセット｛１、２、３、４、５｝を候補としたときに、母集団量子化インデックス出現頻度に基づいて、量子化インデックス３の出現頻度が他の量子化インデックスの頻度よりも高い場合に、量子化インデックス３に対する下位階層の量子化方法で算出される量子化インデックスである量子化インデックス１１、１２を選択し、比較用量子化インデックスセットを｛１、２、１１、１２、４、５｝としてもよい。
＜比較用量子化インデックスセット選択部０２１Ａの構成例１＞
　また、比較用量子化インデックスセット選択部０２１Ａは、母集団量子化インデックス出現頻度算出手段０３から供給される母集団量子化インデックス出現頻度に基づき、階層的量子化方法の最上位階層の量子化インデックスのセットから順に、規定の条件を満たすまで、出現頻度の高い量子化インデックスに対してその下位階層の量子化インデックスのセットを選択していき（その量子化インデックスをその下位階層の量子化インデックスのセットと置き換える）、比較用量子化インデックスセットを選択してもよい。ここで規定の条件は、例えば、上述した、量子化インデックスのセットの出現頻度均等度合い、量子化インデックスのセットに含まれる量子化インデックスの数（あるいは階層の深さ）や、セット全体の改変不変度や、それらの組み合わせが、あらかじめ規定した値の範囲内であるか否か、などであってもよい。また例えば、上述した、量子化インデックスのセットの出現頻度均等度合い、量子化インデックスのセットに含まれる量子化インデックスの数（あるいは階層の深さ）や、セット全体の改変不変度や、さらに量子化インデックスごとの出現頻度や、量子化インデックスごとの改変不変度や、その組み合わせに基づいたものであってもよい。例えば、出現頻度均等度合いの最小値を設定し、最上位階層の量子化インデックスのセットから順に、出現頻度均等度合いの最小値を超える量子化インデックスのセットが現れるまで、出現頻度の高い量子化インデックスに対してその下位階層の量子化インデックスのセットを選択していき、比較用量子化インデックスセットを選択してもよい。また例えば、量子化インデックスの数の最小値を設定し、最上位階層の量子化インデックスのセットから順に、量子化インデックスの数の最小値を超える量子化インデックスのセットが現れるまで、出現頻度の高い量子化インデックスに対してその下位階層の量子化インデックスのセットを選択していき、比較用量子化インデックスセットを選択してもよい。また例えば、出現頻度均等度合いの最小値と、量子化インデックスの数の最小値の２つを設定し、最上位階層の量子化インデックスのセットから順に、各々の最小値を超える量子化インデックスのセットが現れるまで、出現頻度の高い量子化インデックスに対してその下位階層の量子化インデックスのセットを選択していき、比較用量子化インデックスセットを選択してもよい。また出現頻度の高い量子化インデックスは、例えば、現在候補となっている量子化インデックスのセットの中から最も出現頻度の高い量子化インデックスとしてもよい。なお、例えば現在候補となる量子化インデックスのセットが規定の条件を満たしていない段階で、その量子化インデックスのセットの中の最も出現頻度の高い量子化インデックスが、最下位階層の量子化インデックスである場合は、例えば、２番目に出現頻度の高い量子化インデックスに対してその下位階層の量子化インデックスのセットを選択するようにしてもよい。また、現在候補となっている量子化インデックスのセットの中から出現頻度の高い複数の量子化インデックス（例えば、出現頻度がある閾値を超える全ての量子化インデックス）としてもよい。また、出現頻度の高い量子化インデックスの下位階層に、複数の異なる量子化方法によって算出される複数の量子化インデックスのセットが存在する場合は、そのいずれかのセットを選択する（図６を例に説明すると、例えば出現頻度の高い量子化インデックスが量子化インデックス４であるとして、その下位階層の量子化インデックスとして量子化インデックス１３、１４、１５のセット、あるいは量子化インデックス１６、１７のセットのいずれかを選択できる）。どれを選択するかは、例えば、上述した、量子化インデックスのセットの出現頻度均等度合い、量子化インデックスのセットに含まれる量子化インデックスの数（あるいは階層の深さ）や、セット全体の改変不変度や、その組み合わせに基づいて決定してもよい。例えば、各々の量子化方法によって算出される量子化インデックスのセットで置き換えて候補量子化インデックスセットを生成した場合に、量子化インデックスのセットの出現頻度均等度合いや、量子化インデックスのセットに含まれる量子化インデックスの数（あるいは階層の深さ）や、セット全体の改変不変度、に基づいて最適となるセットを選択してもよい。
　例えば、規定の条件が「量子化インデックスの数が１０以上」とした場合を、図６を例に説明する。ここでは、候補となっている量子化インデックスのセットの最も出現頻度の高い量子化インデックスに対して、その下位階層の量子化インデックスのセットを選択していく方法を説明する。まず最上位階層の量子化インデックスのセット｛１、２、３、４、５｝を候補として選択する。選択した量子化インデックスの数が５なので、規定の条件を満たさない。ここで、最も出現頻度の高い量子化インデックスが２だとすると、次に量子化インデックス２に対してその下位階層の量子化インデックスである量子化インデックス８、９、１０を選択し、量子化インデックスのセット｛１、８、９、１０、３、４、５｝を次の候補として選択する。選択した量子化インデックスの数が７なので、規定の条件を満たさない。ここで、最も出現頻度の高い量子化インデックスが３だとすると、次に量子化インデックス３に対してその下位階層の量子化インデックスである量子化インデックス１１、１２を選択し、量子化インデックスのセット｛１、８、９、１０、１１、１２、４、５｝を次の候補として選択する。選択した量子化インデックスの数が８なので、規定の条件を満たさない。ここで、最も出現頻度の高い量子化インデックスが１０だとすると、次に量子化インデックス１０に対してその下位階層の量子化インデックスである量子化インデックス２６、２７を選択し、量子化インデックスのセット｛１、８、９、２６、２７、１１、１２、４、５｝を次の候補として選択する。選択した量子化インデックスの数が９なので、規定の条件を満たさない。ここで、最も出現頻度の高い量子化インデックスが４だとすると、次の量子化インデックス４に対してその下位階層の量子化インデックスのセットを選択する。量子化インデックス４に対しては、その下位階層の量子化インデックスとして量子化インデックス１３、１４、１５のセット、あるいは量子化インデックス１６、１７のセットのいずれかを選択できる。どれを選択するかは、例えば、上述した、量子化インデックスのセットの出現頻度均等度合い、量子化インデックスの数（あるいは階層の深さ）や、セット全体の改変不変度や、その組み合わせに基づいて決定してもよい。ここでは例えば量子化インデックスのセット１６、１７を選択し、量子化インデックスのセット｛１、８、９、２６、２７、１１、１２、１６、１７、５｝を次の候補として選択する。選択した量子化インデックスの数が１０なので、規定の条件を満たすため、選択した量子化インデックスのセット｛１、８、９、２６、２７、１１、１２、１６、１７、５｝を比較用量子化インデックスセットとする。
　図１０は、上記の、階層的量子化方法の最上位階層の量子化インデックスのセットから順に下位階層の量子化インデックスのセットを選択していく方法を採用した場合における、比較用量子化インデックスセット選択部０２１Ａの構成例（構成例１）を示したものである。図１０を参照すると、比較用量子化インデックスセット選択部０２１Ａの構成例１は、候補量子化インデックスセット選択手段０２１Ａ１と、規定条件判定手段０２１Ａ２と、から構成されている。
　候補量子化インデックスセット選択手段０２１Ａ１は、階層的量子化方法に従って、（上位階層の）量子化インデックスが供給されない場合は、最上位階層の量子化インデックスのセットを候補の量子化インデックスのセットとして選択し、量子化インデックスが供給される場合は、その量子化インデックスをその下位階層の量子化インデックスのセットと置き換えて候補の量子化インデックスのセットとして選択する。選択した候補量子化インデックスセットの情報を規定条件判定手段０２１Ａ２へ供給する。なお、候補量子化インデックスセット選択手段０２１Ａ１に入力される量子化インデックスは、規定条件判定手段０２１Ａ２からフィードバックされる情報である。
　規定条件判定手段０２１Ａ２は、候補量子化インデックスセット選択手段０２１Ａ１から供給される候補量子化インデックスセットの情報が示す候補の量子化インデックスのセットがあらかじめ定められた規定の条件を満たすか否かを判定する。規定の条件を満たす場合は、その候補の量子化インデックスのセットを比較用量子化インデックスセットとして出力する。規定の条件を満たさない場合は、その候補の量子化インデックスのセットの中から、母集団量子化インデックス出現頻度算出手段０３から供給される母集団量子化インデックス出現頻度に基づいて、出現頻度の高い量子化インデックスを求め、求めた量子化インデックスを候補量子化インデックスセット選択手段０２１Ａ１へ供給（フィードバック）する。ここで規定の条件は、上述した説明の通りである。
　以上の比較用量子化インデックスセット選択部０２１Ａの構成例１の説明では、母集団量子化インデックス出現頻度に基づき、階層的量子化方法の最上位階層の量子化インデックスのセットから順に、下位階層の量子化インデックスのセットを選択していく方法において、下位階層の量子化インデックスのセットで置き換える量子化インデックスを選択する基準として、現在候補となっている量子化インデックスのセットの中から、「出現頻度の高い」量子化インデックスを選択する場合について述べた。以下では、「出現頻度の高い」量子化インデックスを選択する方法とは別の方法について説明する。
　例えば、現在候補となっている量子化インデックスのセットの中から、下位階層の量子化インデックスのセットで置き換えることによって、新たに生成される候補量子化インデックスセットの出現頻度均等度合いが高くなる（例えば最大となる）量子化インデックスを、下位階層の量子化インデックスのセットで置き換える量子化インデックスとして選択してもよい。図６を例に説明すると、例えば現在候補となっている量子化インデックスのセットが｛１、２、３、４、５｝である場合に、量子化インデックス１を下位階層の量子化インデックスのセットで置き換えて生成されるセット｛６、７、２、３、４、５｝、量子化インデックス２を下位階層の量子化インデックスのセットで置き換えて生成されるセット｛１、８、９、１０、３、４、５｝、量子化インデックス３を下位階層の量子化インデックスのセットで置き換えて生成されるセット｛１、２、１１、１２、４、５｝、量子化インデックス４を下位階層の量子化インデックスのセットで置き換えて生成されるセット｛１、２、３、１３、１４、１５、５｝または｛１、２、３、１６、１７、５｝、量子化インデックス５を下位階層の量子化インデックスのセットで置き換えて生成されるセット｛１、２、３、４、１８、１９、２０、２１｝、の中で、例えば量子化インデックスのセット３を下位階層の量子化インデックスのセットで置き換えて生成されるセット｛１、２、１１、１２、４、５｝が最も出現頻度均等度合いが高くなるとする場合に、下位階層の量子化インデックスのセットで置き換える量子化インデックスを３として選択し、新たな候補量子化インデックスセットを｛１、２、１１、１２、４、５｝とするようにしてもよい。また選択する際に、新たに生成される候補量子化インデックスセットに含まれる量子化インデックスの数も考慮して選択してもよい。
　また例えば、現在候補となっている量子化インデックスのセットの中から、各々の量子化インデックスに対する下位階層の量子化インデックスの出現頻度、に基づいて、下位階層の量子化インデックスのセットで置き換える量子化インデックスを選択してもよい。例えば、各々の量子化インデックスごとに、その下位階層の量子化インデックスのセットの出現頻度均等度合いを算出し、それが最大となるセットを下位階層に持つ量子化インデックスを選択してもよい。図６を例に説明すると、例えば現在候補となっている量子化インデックスのセットが｛１、２、３、４、５｝である場合に、各々の量子化インデックスの下位階層の量子化インデックスのセット｛６、７｝、｛８、９、１０｝、｛１１、１２｝、｛１３、１４、１５｝または｛１６、１７｝、｛１８、１９、２０、２１｝、の中で、例えば量子化インデックス３の下位階層の量子化インデックスのセット｛１１、１２｝の出現頻度均等度合いが最大となる場合に、下位階層の量子化インデックスのセットで置き換える量子化インデックスを３として選択し、新たな候補量子化インデックスセットを｛１、２、１１、１２、４、５｝とするようにしてもよい。また選択する際に、下位階層の量子化インデックスのセットの量子化インデックスの数も考慮して選択してもよい。
　また例えば、下位階層の量子化インデックスのセットで置き換える量子化インデックスを選択する場合に、各々の出現頻度に加えて、例えば、（ａ）各々の量子化インデックスに対する下位階層の量子化インデックスの数や、（ｂ）各々の量子化インデックスの改変不変度や、（ｃ）各々の量子化インデックスに対する下位階層の量子化インデックスの改変不変度、なども考慮して選択してもよい。図６を例に（ａ）の例を説明すると、例えば現在候補となっている量子化インデックスのセットが｛１、２、３、４、５｝である場合に、例えば、量子化インデックス３と５の出現頻度が高い場合に、各々の下位階層の量子化インデックスの数（それぞれ２と４）を比較し、例えばより量子化インデックスの数が大きい量子化インデックス５を、下位階層の量子化インデックスのセットで置き換える量子化インデックスとして選択してもよい。また逆により量子化インデックスの数が小さい量子化インデックス３を、下位階層の量子化インデックスのセットで置き換える量子化インデックスとして選択してもよい。図６を例に（ａ）の例を説明すると、例えば現在候補となっている量子化インデックスのセットが｛１、２、３、４、５｝である場合に、例えば、量子化インデックス３と５の出現頻度が高い場合に、量子化インデックス３のほうが量子化インデックス５よりも改変不変度が高い場合に、量子化インデックス３を、下位階層の量子化インデックスのセットで置き換える量子化インデックスとして選択してもよい。こうすることにより、より改変不変度の高い量子化インデックスを優先的に分割できるため、新たに候補として選択される量子化インデックスのセットの各種改変処理に対する頑健性を高めることができる。図６を例に（ｃ）の例を説明すると、例えば現在候補となっている量子化インデックスのセットが｛１、２、３、４、５｝である場合に、例えば、量子化インデックス３と５の出現頻度が高い場合に、それぞれの量子化インデックスに対する下位階層の量子化インデックスのセット｛１１、１２｝と｛１８、１９、２０、２１｝に対して、例えばそのセット全体にかかる改変不変度（例えば各量子化インデックスの改変不変度の平均値）を求め、量子化インデックス３と５のうち、その値がより大きいほうを、下位階層の量子化インデックスのセットで置き換える量子化インデックスとして選択してもよい。
　このように、母集団量子化インデックス出現頻度に基づき、下位階層の量子化インデックスのセットで置き換える量子化インデックスを選択する方法は様々あり、どの方法を用いても構わない。また、ここで説明した方法に限らず、母集団量子化インデックス出現頻度に基づき、下位階層の量子化インデックスのセットで置き換える量子化インデックスを選択する方法であれば構わない。
［第２の実施の形態の動作の説明］
　次に、第２の実施の形態において、特に比較用量子化インデックスセット選択部０２１Ａが構成例１を取る場合の動作を、説明する。
　図１１は、第２の実施の形態において、特に比較用量子化インデックスセット選択部０２１Ａが構成例１を取る場合の動作（出現頻度の高い量子化インデックスに対してその下位階層の量子化インデックスのセットを選択していく場合）を示すフローチャートである。
まず、画像特徴量抽出装置０１は、母集団の画像群から、母集団の画像群の階層的量子化インデックス符号を算出し、母集団量子化インデックス出現頻度算出手段０３へ供給する（ステップＣ０１）。次に、母集団量子化インデックス出現頻度算出手段０３は、画像特徴量抽出装置０１から供給される母集団の画像群の階層的量子化インデックス符号を入力とし、母集団の画像群における、量子化インデックスごとの出現頻度を母集団量子化インデックス出現頻度として算出し、比較用量子化インデックスセット選択部０２１Ａに供給する（ステップＣ０２）。次に、比較用量子化インデックスセット選択部０２１Ａの候補量子化インデックスセット選択手段０２１Ａ１は、まず階層的量子化方法の最上位階層の量子化インデックスのセットを候補の量子化インデックスのセットとして選択し、選択した候補量子化インデックスセットの情報を規定条件判定手段０２１Ａ２へ供給する（ステップＣ０３）。次に、規定条件判定手段０２１Ａ２は、候補量子化インデックスセット選択手段０２１Ａ１から供給される候補量子化インデックスセットの情報が示す候補の量子化インデックスのセットが、あらかじめ定められた規定の条件を満たすか否かを判定する（ステップＣ０４）。規定の条件を満たさない場合は、規定条件判定手段０２１Ａ２は、その候補の量子化インデックスのセットの中から、母集団量子化インデックス出現頻度算出手段０３から供給される母集団量子化インデックス出現頻度に基づいて、出現頻度の高い量子化インデックスを求め、求めた量子化インデックスを候補量子化インデックスセット選択手段０２１Ａ１へ供給（フィードバック）する（ステップＣ０５）。候補量子化インデックスセット選択手段０２１Ａ１は、規定条件判定手段０２１Ａ２から供給される（上位階層の）量子化インデックスを、その下位階層の量子化インデックスのセットと置き換えて候補の量子化インデックスのセットとして選択し、選択した候補量子化インデックスセットの情報を規定条件判定手段０２１Ａ２へ供給する（ステップＣ０６）そして再度ステップＣ０４へ進む。ステップＣ０４において、規定の条件を満たす場合は、規定条件判定手段０２１Ａ２は、その候補の量子化インデックスのセットを、比較用量子化インデックスセットとして出力する。そして、図８に示した第１の実施の形態における画像特徴量比較装置０２の動作を示すフローチャートにおけるステップＢ０２へ進む。
［第２の実施の形態の効果］
　次に、本発明の第２の実施の形態の効果について説明する。
　本発明の第２の実施の形態では、第１の実施の形態における効果に加えて、比較用量子化インデックスセット選択部０２１Ａが、母集団量子化インデックス出現頻度に基づいて、量子化インデックスの出現頻度が均等に近づくように比較用量子化インデックスを選択することにより、選択された比較用量子化インデックスを用いて表現される画像特徴量（量子化対象領域ごとの量子化インデックス）の、母集団における異なる画像を識別できる度合いである識別能力を高くすることができる、という効果がある。これは、量子化インデックスの数が同じ場合、特定の量子化インデックスに偏りがあると（特定の量子化インデックスの出現頻度が多くなると）、その出現頻度の高い量子化インデックスが、偶然に異なる画像の間でも共通に出現する確率が高くなり、識別能力が低くなるためである。また画像特徴量の識別能力が高くなることにより、算出される同一性尺度に基づいた画像の同一性の判定の精度が高くなる、という効果がある。
［第３の実施の形態］
　次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。図１２は、第３の実施の形態にかかる画像同一性尺度算出システムの画像特徴量比較装置の構成を示したブロック図である。図１２を参照すると、本発明の第３の実施の形態は、第２の実施の形態の画像特徴量比較装置０２における比較用量子化インデックスセット選択部０２１Ａが、さらに量子化インデックス重み値を出力する比較用量子化インデックスセット選択部０２１Ｂに置き換わり、また量子化インデックス比較手段０２３が、さらに量子化インデックス重み値が入力として供給される量子化インデックス比較手段０２３Ａに置き換わる点で異なる。それ以外の点については第２の実施の形態と同じであるため、ここでは第２の実施の形態と異なる点のみを説明する。
　比較用量子化インデックスセット選択部０２１Ｂは、第２の実施の形態の比較用量子化インデックスセット選択部０２１Ａの動作に加えて、母集団量子化インデックス出現頻度算出手段０３から供給される母集団量子化インデックス出現頻度に基づき、選択した比較用量子化インデックスセットの各々の量子化インデックスに対して、出現頻度が高いほど重み値を小さくするように重み値を算出し、算出した量子化インデックスごとの重み値を量子化インデックス重み値として量子化インデックス比較手段０２３Ａへ供給する。ここで、出現頻度が高いほど重み値を小さくする理由は、出現頻度の高い量子化インデックスは他の画像も同じ量子化インデックスを有している可能性が高いために他の画像との識別に寄与できる可能性が低いからである。逆の言い方をすると、出現頻度が低いほど、他の画像が同じ量子化インデックスを有している可能性が低くなり、他の画像との識別に寄与できる可能性が高いため、重みを大きくする。なお、量子化インデックス重み値は、出現頻度が高いほど重み値を小さくするように算出されたものであれば、どのような方法で算出されてもよい（すなわち、出現頻度に対して単調減少な関数に基づいて算出される方法であればよい）。例えば、母集団量子化インデックス出現頻度から、量子化インデックスごとの出現確率を算出し、量子化インデックス重み値を、１から出現確率を引いた値としてもよい。
　量子化インデックス比較手段０２３Ａは、比較用量子化インデックス取得手段０２２から供給される２つの画像（画像１と画像２）の比較用量子化インデックスを、対応する量子化対象領域ごとに比較し、量子化インデックスが一致する量子化対象領域の数を、量子化インデックスごとに求め、それらに比較用量子化インデックスセット選択部０２１Ｂから供給される量子化インデックス重み値を作用させて、同一性尺度を算出する。ここで同一性尺度は、例えば、量子化インデックスごとに求められた一致する量子化対象領域の数と、量子化インデックス重み値の積を算出し、それらを加算した値として算出してもよい。
　上述した動作が、第３の実施の形態の望ましい動作であるが、別の動作を行うこともできる。例えば、比較用量子化インデックスセット選択部０２１Ｂが、選択した比較用量子化インデックスに含まれない量子化インデックスの重み値を０として（あるいは低くして）、階層的量子化方法の全ての量子化インデックス（図６を例に説明すると量子化インデックス１から３７の全て）の重み値を、量子化インデックス重み値として量子化インデックス比較手段０２３Ａへ供給してもよい。この場合、選択した比較用量子化インデックスに含まれない量子化インデックスの重み値が０として（あるいは低い値として）量子化インデックス比較手段０２３Ａへ供給されるため、量子化インデックス比較手段０２３Ａには、間接的に、選択した比較用量子化インデックスセットの情報が供給されることになる。このため、比較用量子化インデックスセット選択部０２１Ｂは、比較用量子化インデックスセットの情報として、比較用量子化インデックス取得手段０２２へ特に何も供給する必要はなく、比較用量子化インデックス取得手段０２２は、入力された階層的量子化インデックス符号から、量子化対象領域ごとに、階層的量子化方法の全階層の量子化インデックスを取得し、量子化インデックス比較手段０２３Ａへ供給してもよい。そして、量子化インデックス比較手段０２３Ａは、対応する量子化対象領域ごとに、各階層ごとに量子化インデックスを比較し、量子化インデックスが一致する量子化対象領域の数を、量子化インデックスごとに求め、それらに比較用量子化インデックスセット選択部０２１Ｂから供給される量子化インデックス重み値を作用させて、同一性尺度を算出してもよい。
［第３の実施の形態の効果］
　次に、本発明の第３の実施の形態の効果について説明する。
　本発明の第３の実施の形態では、第２の実施の形態における効果に加えて、比較用量子化インデックスセット選択部０２１Ｂが、母集団量子化インデックス出現頻度に基づき、選択した比較用量子化インデックスセットの各々の量子化インデックスに対して重み値を算出し、量子化インデックス比較手段０２３Ａが算出した重み値を作用させて同一性尺度を算出することにより、算出される同一性尺度に基づいた画像の同一性判定の精度を、第２の実施の形態により算出される同一性尺度に基づいた画像の同一性判定の精度よりも、さらに高くすることができる、という効果がある。
［第４の実施の形態］
　次に、本発明の第４の実施の形態について図面を参照して詳細に説明する。第４の実施の形態は、第１の実施の形態における画像特徴量比較装置０２において、入力される母集団特性情報と、比較用量子化インデックスセット選択部０２１がより具体的になったものである。第４の実施の形態における画像特徴量抽出装置は、図４に示した第１の実施の形態の画像特徴量抽出装置０１と同じである。図１３は、第４の実施の形態にかかる画像同一性尺度算出システムの画像特徴量比較装置の構成を示したブロック図である。図１３を参照すると、本発明の第４の実施の形態は、図５に示された第１の実施の形態の構成の画像特徴量比較装置０２の比較用量子化インデックスセット選択部０２１が、比較用量子化インデックスセット選択部０２１Ｃに置き換わる点で異なる。なお、それ以外の点については第１の実施の形態と同じであるため、ここでは第１の実施の形態とは異なる点のみを説明する。
　比較用量子化インデックスセット選択部０２１Ｃには、母集団特性情報として、母集団量子化インデックス改変不変度が入力される。母集団量子化インデックス改変不変度は、母集団の画像群において、階層的量子化方法の各量子化インデックスが、各種改変処理によって（量子化インデックスが）変化しない度合いである改変不変度を表すものである。母集団の画像群において、階層的量子化方法の各量子化インデックスの改変不変度を求めるには、例えば、母集団の画像群（あるいは母集団の画像群を適当にサンプリングして抽出した画像群）に対して各種改変処理を施して複製画像を作成し、元画像と複製画像から画像特徴量抽出装置０１を用いて階層的量子化インデックス符号を算出し、対応する量子化対象領域において量子化インデックスが一致する割合を、量子化インデックスごとに測定し、測定した量子化インデックスごとの一致の割合を、量子化インデックスごとの改変不変度、としてもよい。
　比較用量子化インデックスセット選択部０２１Ｃは、入力される母集団量子化インデックス改変不変度に基づいて、選択した量子化インデックスのセット全体にかかる量子化インデックスの改変不変度が高くなるように、比較用量子化インデックスセットを選択する。選択した比較用量子化インデックスセットの情報を、比較用量子化インデックス取得手段０２２へ供給する。比較用量子化インデックスセット選択部０２１Ｃは、第１の実施の形態の比較用量子化インデックスセット選択部０２１が、入力される母集団特性情報が具体的に母集団量子化インデックス改変不変度である場合の一形態であり、その比較用量子化インデックスセットの選択に関する条件などは第１の実施の形態での説明に準じる。
　比較用量子化インデックスセット選択部０２１Ｃは、選択した量子化インデックスのセット全体にかかる量子化インデックスの改変不変度が高くなるように、比較用量子化インデックスセットを選択することにより、画像への各種改変処理によって量子化インデックスが変化しない度合いである頑健性を高くすることができる。
　比較用量子化インデックスセット選択部０２１Ｃは、母集団量子化インデックス改変不変度に基づいて、選択した量子化インデックスのセット全体にかかる量子化インデックスの改変不変度が高くなるように比較用量子化インデックスセットを選択する方法として、例えば、母集団量子化インデックス改変不変度が低い量子化インデックスが含まれないように、比較用量子化インデックスセットを選択してもよい。
　また比較用量子化インデックスセット選択部０２１Ｃは、母集団量子化インデックス改変不変度に基づいて、選択した量子化インデックスのセット全体にかかる量子化インデックスの改変不変度が高くなるように比較用量子化インデックスセットを選択する方法として、例えば、候補として選択した量子化インデックスのセットにおいて、量子化インデックスのセット全体にかかる量子化インデックスの改変不変度を、量子化インデックスセット改変不変度として算出し、量子化インデックスセット改変不変度に基づいて量子化インデックスセット改変不変度が高くなるように量子化インデックスのセットを、比較用量子化インデックスセットとして選択してもよい。比較用量子化インデックスセット選択部０２１Ｃは、例えば、候補となる全ての組み合わせの量子化インデックスのセットのそれぞれに対して、量子化インデックスセット改変不変度を算出し、量子化インデックスセット改変不変度が最大となる量子化インデックスのセットを、比較用量子化インデックスセットとして選択してもよい。
　量子化インデックスのセット全体にかかる量子化インデックスの改変不変度である量子化インデックスセット改変不変度は、量子化インデックスのセットに含まれる各々の量子化インデックスの改変不変度に基づいて算出される方法であれば、どのような方法であってもよい。例えば、量子化インデックスセット改変不変度を、各々の量子化インデックスの改変不変度の平均値として算出してもよい。また例えば、量子化インデックスセット改変不変度を、ある一定の値を超える量子化インデックスの数、あるいはその割合、として算出してもよい。
　また比較用量子化インデックスセット選択部０２１Ｃは、上述の量子化インデックスセット改変不変度に加えて、例えば、候補として選択した量子化インデックスのセットに含まれる量子化インデックスの数（あるいは選択した量子化インデックスのセットの階層の深さ）などを共に考慮して、比較用量子化インデックスセットを選択してもよい。これは、量子化インデックスの数（あるいは階層の深さ）は、量子化インデックスセット改変不変度とは独立した情報として、また母集団に依存しない情報として、量子化インデックスのセットの量子化インデックスの数が多くなるほど（あるいは階層が深くなるほど）、異なる画像を識別できる度合いである識別能力は高くなるものの、画像への各種改変処理によって量子化インデックスが変化しない度合いである頑健性は低くなるためであり、量子化インデックスセット改変不変度と量子化インデックスの数（あるいは階層の深さ）の双方を考慮して、比較用量子化インデックスセットを選択したほうが良い場合があるからである。例えば、あらかじめ識別能力と頑健性の観点から、適切な量子化インデックスの数の範囲（例えば量子化インデックスの数を１０程度とするなど）を設定し、その条件を満たす量子化インデックスのセットの中から、上述の量子化インデックスセット改変不変度を算出する方法を用いて算出される量子化インデックスセット改変不変度が高くなるようなセットを、比較用量子化インデックスセットとして選択してもよい。
　また比較用量子化インデックスセット選択部０２１Ｃは、上述の量子化インデックスセット改変不変度に加えて、第２の実施の形態で説明した出現頻度均等度合いを算出し（この場合、比較用量子化インデックスセット選択部０２１Ｃには、母集団量子化インデックス出現頻度も、入力として供給される必要がある）、量子化インデックスセット改変不変度と出現頻度均等度合いの双方を考慮して、比較用量子化インデックスセットを選択してもよい。比較用量子化インデックスセット選択部０２１Ｃは、例えば、量子化インデックスセット改変不変度が高くなり、かつ出現頻度均等度合いが高くなるような量子化インデックスのセットを、比較用量子化インデックスセットとして選択してもよい。また例えば比較用量子化インデックスセット選択部０２１Ｃは、例えば、出現頻度均等度合いが高くなり、かつ、母集団量子化インデックス改変不変度が低い量子化インデックスが含まれないように、比較用量子化インデックスセットを選択してもよい。
　また比較用量子化インデックスセット選択部０２１Ｃは、階層的量子化方法の最上位階層の量子化インデックスのセットから順に、規定の条件を満たすまで、入力として供給される母集団量子化インデックス改変不変度に基づき、量子化インデックスのセット全体にかかる量子化インデックスの改変不変度が高くなるように、下位階層の量子化インデックスのセットを選択していき、比較用量子化インデックスセットを選択してもよい。ここで規定の条件は、例えば、上述した、量子化インデックスセット改変不変度や、量子化インデックスごとの改変不変度や、量子化インデックスのセットに含まれる量子化インデックスの数（あるいは階層の深さ）や、それらの組み合わせが、あらかじめ規定した値の範囲内であるか否か、などであってもよい。また、第２の実施の形態で説明した量子化インデックスのセットの出現頻度均等度合いに基づいた条件であってもよい。例えば、量子化インデックスセット改変不変度の最小値と、量子化インデックスの数の最小値を設定し、最上位階層の量子化インデックスのセットから順に、量子化インデックスの数を超え、かつ量子化インデックスセット改変不変度を下回らない量子化インデックスのセットが現れるまで、下位階層の量子化インデックスのセットを選択していってもよい。また例えば、第２の実施の形態の＜比較用量子化インデックスセット選択部０２１Ａの構成例１＞で説明した規定の条件と同様のものであってもよい。（なお、ある量子化インデックスの下位階層に、複数の異なる量子化方法によって算出される複数の量子化インデックスのセットが存在する場合は、そのいずれかのセットを選択する。）
　母集団量子化インデックス改変不変度に基づき下位階層の量子化インデックスのセットを選択していく方法としては、例えば、現在候補となる量子化インデックスのセットにおいて、改変不変度が高い量子化インデックスに対して、その下位階層の量子化インデックスのセットを選択する（その量子化インデックスをその下位階層の量子化インデックスのセットと置き換える）ようにしてもよい。図６を例に説明すると、例えば現在候補となっている量子化インデックスのセットが｛１、２、３、４、５｝である場合に、その中で量子化インデックス３の改変不変度が最大である場合に、量子化インデックス３を、下位階層の量子化インデックスのセットと置き換える量子化インデックスとして選択し、新たに候補となる量子化インデックスのセットを｛１、２、１１、１２、４、５｝として選択してもよい。また選択する際に、下位階層の量子化インデックスのセットの量子化インデックスの数も考慮して選択してもよい。
　また母集団量子化インデックス改変不変度に基づき下位階層の量子化インデックスのセットを選択していく別の方法としては、例えば、現在候補となっている量子化インデックスのセットの中から、下位階層の量子化インデックスのセットで置き換えることによって、新たに生成される候補量子化インデックスセットのセット全体にかかる量子化インデックスの改変不変度である量子化インデックスセット改変不変度が高くなる（例えば最大となる）量子化インデックスを、下位階層の量子化インデックスのセットで置き換える量子化インデックスとして選択してもよい。図６を例に説明すると、例えば現在候補となっている量子化インデックスのセットが｛１、２、３、４、５｝である場合に、量子化インデックス１を下位階層の量子化インデックスのセットで置き換えて生成されるセット｛６、７、２、３、４、５｝、量子化インデックス２を下位階層の量子化インデックスのセットで置き換えて生成されるセット｛１、８、９、１０、３、４、５｝、量子化インデックス３を下位階層の量子化インデックスのセットで置き換えて生成されるセット｛１、２、１１、１２、４、５｝、量子化インデックス４を下位階層の量子化インデックスのセットで置き換えて生成されるセット｛１、２、３、１３、１４、１５、５｝または｛１、２、３、１６、１７、５｝、量子化インデックス５を下位階層の量子化インデックスのセットで置き換えて生成されるセット｛１、２、３、４、１８、１９、２０、２１｝、の中で、例えば量子化インデックスのセット３を下位階層の量子化インデックスのセットで置き換えて生成されるセット｛１、２、１１、１２、４、５｝が最も量子化インデックスセット改変不変度が高くなるとする場合に、下位階層の量子化インデックスのセットで置き換える量子化インデックスを３として選択し、新たな候補量子化インデックスセットを｛１、２、１１、１２、４、５｝とするようにしてもよい。また選択する際に、新たに生成される候補量子化インデックスセットに含まれる量子化インデックスの数も考慮して選択してもよい。
　また母集団量子化インデックス改変不変度に基づき下位階層の量子化インデックスのセットを選択していくさらに別の方法としては、例えば、現在候補となっている量子化インデックスのセットの中から、各々の量子化インデックスに対する下位階層の量子化インデックスの改変不変度に基づいて、下位階層の量子化インデックスのセットで置き換える量子化インデックスを選択してもよい。例えば、各々の量子化インデックスごとに、その下位階層の量子化インデックスのセット全体にかかる量子化インデックスの改変不変度（例えば平均値）を算出し、それが最大となるセットを下位階層に持つ量子化インデックスを選択してもよい。図６を例に説明すると、例えば現在候補となっている量子化インデックスのセットが｛１、２、３、４、５｝である場合に、各々の量子化インデックスの下位階層の量子化インデックスのセット｛６、７｝、｛８、９、１０｝、｛１１、１２｝、｛１３、１４、１５｝または｛１６、１７｝、｛１８、１９、２０、２１｝、の中で、例えば量子化インデックス３の下位階層の量子化インデックスのセット｛１１、１２｝のセット全体にかかる量子化インデックスの改変不変度（例えば平均値）が最大となる場合に、下位階層の量子化インデックスのセットで置き換える量子化インデックスを３として選択し、新たな候補量子化インデックスセットを｛１、２、１１、１２、４、５｝とするようにしてもよい。また選択する際に、下位階層の量子化インデックスのセットの量子化インデックスの数も考慮して選択してもよい。
　また母集団量子化インデックス改変不変度に基づき下位階層の量子化インデックスのセットを選択していく際に、母集団量子化インデックス改変不変度に加えて、第２の実施の形態で説明した母集団量子化インデックス出現頻度に基づき（この場合、比較用量子化インデックスセット選択部０２１Ｃには、母集団量子化インデックス出現頻度も、入力として供給される必要がある）、その双方を考慮して、下位階層の量子化インデックスのセットで置き換える量子化インデックスを選択してもよい。
　なお、階層的量子化方法の最上位階層の量子化インデックスのセットから順に、規定の条件を満たすまで、母集団量子化インデックス改変不変度に基づき、下位階層の量子化インデックスのセットを選択していく方法を採用した場合における比較用量子化インデックス選択部０２１Ｃの構成は、個々の手段の具体的な動作が異なる以外は、図１０に示した、第２の実施の形態における比較用量子化インデックスセット選択部０２１Ａとほぼ同一である。すなわち、候補となる量子化インデックスのセットを選択する候補量子化インデックスセット選択手段と、候補として選択された量子化インデックスのセットが規定の条件を満たすか否かを判定する規定条件判定手段と、から構成される。個々の手段の具体的な動作は、上述した説明に従うものとし、ここでは詳細な説明を省略する。
［第４の実施の形態の効果］
　次に、本発明の第４の実施の形態の効果について説明する。
　本発明の第４の実施の形態では、第１の実施の形態における効果に加えて、比較用量子化インデックスセット選択部０２１Ｃが、母集団量子化インデックス改変不変度に基づいて、選択した量子化インデックスのセット全体にかかる量子化インデックスの改変不変度が高くなるように、比較用量子化インデックスセットを選択することにより、選択された比較用量子化インデックスを用いて表現される画像特徴量（量子化対象領域ごとの量子化インデックス）の、母集団における各種改変処理に対する頑健性を高くすることができる、という効果がある。また画像特徴量の頑健性が高くなることにより、算出される同一性尺度に基づいた画像の同一性の判定の精度が高くなる、という効果がある。
［第５の実施の形態］
　次に、本発明の第５の実施の形態について図面を参照して詳細に説明する。図１４は、第５の実施の形態にかかる画像同一性尺度算出システムの画像特徴量比較装置の構成を示したブロック図である。図１４を参照すると、本発明の第５の実施の形態は、第４の実施の形態の画像特徴量比較装置０２における比較用量子化インデックスセット選択部０２１Ｃが、さらに量子化インデックス重み値を出力する比較用量子化インデックスセット選択部０２１Ｄに置き換わり、また量子化インデックス比較手段０２３が、さらに量子化インデックス重み値が入力として供給される量子化インデックス比較手段０２３Ａに置き換わる点で異なる。それ以外の点については第４の実施の形態と同じであるため、ここでは第４の実施の形態と異なる点のみを説明する。
　比較用量子化インデックスセット選択部０２１Ｄは、第４の実施の形態の比較用量子化インデックスセット選択部０２１Ｃの動作に加えて、入力として供給される母集団量子化インデックス改変不変度に基づき、選択した比較用量子化インデックスセットの各々の量子化インデックスに対して、改変不変度が高いほど重み値を大きくするように重み値を算出し、量子化インデックス比較手段０２３Ａへ供給する。なお、量子化インデックス重み値は、改変不変度が高いほど重み値を大きくするように算出されたものであれば、どのような方法で算出されてもよい（すなわち、改変不変度に対して単調増加な関数に基づいて算出される方法であればよい）。例えば、母集団量子化インデックス改変不変度そのものを、量子化インデックス重み値としてもよい。
　量子化インデックス比較手段０２３Ａは、第３の実施の形態における量子化インデックス比較手段０２３Ａと同一なので、ここでは説明を省略する。
　上述した動作が、第５の実施の形態の望ましい動作であるが、別の動作を行うこともできる。例えば、比較用量子化インデックスセット選択部０２１Ｄが、選択した比較用量子化インデックスに含まれない量子化インデックスの重み値を０として（あるいは低くして）、階層的量子化方法の全ての量子化インデックス（図６を例に説明すると量子化インデックス１から３７の全て）の重み値を、量子化インデックス重み値として量子化インデックス比較手段０２３Ａへ供給してもよい。この場合、選択した比較用量子化インデックスに含まれない量子化インデックスの重み値が０として（あるいは低い値として）量子化インデックス比較手段０２３Ａへ供給されるため、量子化インデックス比較手段０２３Ａには、間接的に、選択した比較用量子化インデックスセットの情報が供給されることになる。このため、比較用量子化インデックスセット選択部０２１Ｄは、比較用量子化インデックスセットの情報として、比較用量子化インデックス取得手段０２２へ特に何も供給する必要はなく、比較用量子化インデックス取得手段０２２は、入力された階層的量子化インデックス符号から、量子化対象領域ごとに、階層的量子化方法の全階層の量子化インデックスを取得し、量子化インデックス比較手段０２３Ａへ供給してもよい。そして、量子化インデックス比較手段０２３Ａは、対応する量子化対象領域ごとに、各階層ごとに量子化インデックスを比較し、量子化インデックスが一致する量子化対象領域の数を、量子化インデックスごとに求め、それらに比較用量子化インデックスセット選択部０２１Ｄから供給される量子化インデックス重み値を作用させて、同一性尺度を算出してもよい。
［第５の実施の形態の効果］
　次に、本発明の第５の実施の形態の効果について説明する。
　本発明の第５の実施の形態では、第４の実施の形態における効果に加えて、比較用量子化インデックスセット選択部０２１Ｄが、母集団量子化インデックス改変不変度に基づき、選択した比較用量子化インデックスセットの各々の量子化インデックスに対して重み値を算出し、量子化インデックス比較手段０２３Ａが算出した重み値を作用させて同一性尺度を算出することにより、算出される同一性尺度に基づいた画像の同一性判定の精度を、第４の実施の形態により算出される同一性尺度に基づいた画像の同一性判定の精度よりも、さらに高くすることができる、という効果がある。
［第６の実施の形態］
　次に、本発明の第６の実施の形態について図面を参照して詳細に説明する。第６の実施の形態は、第１から第５の実施の形態のいずれかの画像同一性尺度算出システムを用いて、画像が同一であるか否かを判定する画像同一性判定システムに関する。図１５は、第６の実施の形態にかかる画像同一性判定システムの構成を示したブロック図である。図１５を参照すると、本発明の第６の実施の形態は、本発明の第１から第５の実施の形態のいずれかの構成に、同一性判定手段０４が加わる点で異なる。なお、それ以外の点については第１から第５の実施の形態のいずれかの構成をとるため、ここでは第１から第５の実施の形態とは異なる点のみを説明する。
　同一性判定手段０４は、画像特徴量比較装置０２が出力する、２つの画像（画像１と画像２）の同一性尺度を、入力として供給される規定の閾値と比較し、２つの画像が同一であるか否かを判定し、その判定結果を同一性判定結果として出力する。同一性尺度が閾値よりも大きい場合は、２つの画像が同一であると判定し、同一性尺度が閾値よりも小さい場合は、２つの画像が同一でないと判定する。なお、ここで入力される閾値は、比較用量子化インデックスセット選択部０２１で選択された比較用量子化インデックスセットに応じて、異なる値であってもよい。また閾値は、あらかじめ学習用の画像群を用いて、学習によって設定するようにしてもよい。
［第６の実施の形態の効果］
　次に、本発明の第６の実施の形態の効果について説明する。
　本発明の第６の実施の形態では、第１から第５の実施の形態のいずれかの画像同一性尺度算出システムが算出する同一性尺度を用いて画像の同一性の判定を行うため、第１から第５の実施の形態の効果を有する同一性尺度に基づいて、画像の同一性の判定が行われる。母集団ごとに適応的に最適化されて画像の同一性の判定が行われ、母集団によらず、画像の同一性の判定を高い精度で保つことができる、という効果がある。
［第７の実施の形態］
　次に、図１６を参照して、本発明の第７の実施の形態について説明する。第７の実施の形態は、上記の第１から第６の実施の形態の何れかの画像同一性尺度算出システムにおいて、図１６に示すような階層的量子化方法を用いた実施の形態である。図１６において、量子化方法Ａは、最上位階層の量子化方法である。量子化方法Ａは量子化対象領域における画像の勾配（エッジ）の強度と方向に関する特徴量を算出し、強度が規定の量に満たない場合は「勾配無し」を示す量子化インデックスである９に分類し、それ以外の場合は、支配的な勾配の方向を８方向（例えば画像の水平右方向を０度とし、右廻り方向に順に４５度、９０度、１３５度、１８０度、２２５度、２７０度、３１５度とする）に量子化（分類）する。すなわち支配的な勾配の方向が０度に量子化される場合は量子化インデックス１に、４５度に量子化される場合は量子化インデックス２に、９０度に量子化される場合は量子化インデックス３に、１３５度に量子化される場合は量子化インデックス４に、１８０度に量子化される場合は量子化インデックス５に、２２５度に量子化される場合は量子化インデックス６に、２７０度に量子化される場合は量子化インデックス７に、３１５度に量子化される場合は量子化インデックス８に、分類する。
　量子化対象領域における画像の支配的な勾配（エッジ）の方向を算出する具体的な方法としては、例えば、量子化対象領域の中心における勾配の強度と方向を算出して求めてもよい。また例えば、量子化対象領域内の複数の小領域（例えば量子化対象領域内の各画素）ごとに勾配（エッジ）の強度と方向を算出し、強度がある規定量以上となる場合に勾配の方向を８方向に量子化し、８方向の各々に対応するビンを有するヒストグラムに投票し、最大の投票数を有する方向を支配的な勾配方向としてもよい（投票数が規定の数に満たない場合は「勾配無し」を示す量子化インデックス９に分類する）。なお、この例では支配的な勾配の方向を８方向に量子化しているが、４方向に量子化してもよいし、１６方向に量子化してもよく、何方向に量子化するかは任意でよい。
　勾配無しを示す量子化インデックス９に分類された以外の場合（勾配有りの場合）、すなわち量子化インデックス１から８のいずれかに分類された場合は、その下位階層の量子化方法として量子化方法Ｂによる量子化を行う。量子化方法Ｂは、勾配に関する副次的な特徴に基づいて量子化を行う。例えば、量子化方法Ｂは、勾配の強度の量に基づいて２分類してもよい。また例えば、最上位階層で分類された支配的な勾配の方向に対して、２番目に支配的な勾配の方向が存在するか否か（２番目に支配的な勾配の方向の強度が規定量以上あるか否か）に基づいて２分類してもよい。また、２番目に支配的な勾配の方向を量子化したものであってもよい。なお、図１６では量子化方法Ｂによる分類を２分類として示しているが、２分類である必要はない。
　図１６では量子化インデックス１から８の全てに対してその下位階層の量子化方法として同様に量子化方法Ｂを適用しているが、例えば、支配的な勾配の方向が特定の角度の場合のみに量子化方法Ｂを適用してもよい。例えば、一般的な画像において多く存在する（すなわち分類される頻度が高くなる）勾配方向である０度、９０度、１８０度、２７０度に（人工物には上下左右方向のエッジが多く存在するため、人工物を写した画像にはこの４つの勾配方向が多く存在する）対応する量子化インデックス１、３、５、７に対してのみ、その下位階層の量子化方法として量子化方法Ｂを適用してもよい（それ以外の量子化インデックス２、４、６、８は、最下位階層としてもよい）。また例えば、量子化インデックス１から８の全てに対して量子化方法Ｂを適用し、さらに最上位階層の量子化インデックスが１、３、５、７となる量子化インデックス１０、１１、１４、１５、１８、１９、２２、２３に対しては、さらにその下位階層の量子化方法を設けてもよい。これらは、一般的に分類される頻度が高くなると想定される量子化インデックスに対しては、より詳細に分類できるようにしておくことが効果的であるためである。
　勾配無しを示す量子化インデックス９に分類される場合、その下位階層の量子化方法として量子化方法Ｃによる量子化を行う。量子化方法Ｃは、画像の勾配（エッジ）とは異なる特徴に基づいて量子化を行う。例えば量子化方法Ｃは、量子化対象領域の画像の輝度に基づいて量子化してもよい。例えば、量子化対象領域の画像の平均輝度値に基づいてＮレベル（Ｎは２以上の数値）に量子化してもよい。また例えば量子化方法Ｃは、量子化対象領域の画像の色情報に基づいて量子化してもよい。例えば、量子化対象領域の画像から色相に関する特徴を抽出し、色相の角度に基づいて量子化してもよい。なお、図１６では量子化方法Ｃによる分類を３分類として示しているが、３分類である必要はない。
　ここで説明した階層的量子化方法における最上位階層の量子化方法が、勾配（エッジ）の方向に基づいているのは、一般的に画像の勾配（エッジ）に関する特徴、特に勾配（エッジ）の方向に関する特徴は、画像の圧縮、ぼかしなどのフィルタ処理、明度調整、色調調整などの種々の改変処理に対して頑健であるためである。そのため、支配的な勾配方向が存在する量子化インデックス１から８に対しては、その下位階層の量子化方法も、頑健な特徴である勾配（エッジ）基づいている（勾配の強度、２番目に支配的な勾配の方向など）。勾配無しを示す量子化インデックス９に分類される場合のみ、その下位階層の量子化方法として勾配の情報を用いることはできないため（勾配が無いため）、勾配とは異なる特徴（輝度、色情報など）に基づいて量子化を行っている。
［第８の実施の形態］
　次に、図１７を参照して、本発明の第８の実施の形態について説明する。第８の実施の形態は、上記の第１から第７の実施の形態の何れかの画像同一性尺度算出システムにおいて、画像特徴量抽出装置で作成された階層的量子化インデックス符号を記憶する記憶手段におけるデータ構造として図１７に示すようなデータ構造を用いた実施の形態である。図１７（ａ）は画像上に設定される量子化対象領域の例を示しており、この例では、画像を縦横に４分割した各々の領域をそれぞれ１つの量子化対象領域としている。このように、１画像当たりの量子化対象領域の数があらかじめ固定されている場合、図１７（ｂ）に示すように、各量子化対象領域から抽出された量子化インデックスを所定の順番で配列したデータ構造を用いて、階層的量子化インデックス符号を記憶手段に記憶することができる。ここで、所定の順番はあらかじめ定められていれば任意でよく、例えば、量子化対象領域（１）、量子化対象領域（２）、量子化対象領域（３）、量子化対象領域（４）の順番に配列される。
　また、１画像当たりの量子化対象領域の数が可変の場合、図１７（ｃ）に示すように、１画像当たりの量子化対象領域の数を先頭部分に格納し、次いで、各量子化対象領域から抽出された量子化インデックスを所定の順番で配列したデータ構造を用いて、階層的量子化インデックス符号を記憶手段に記憶することができる。
　それぞれの量子化インデックスは、最下位階層の量子化インデックスのみを含むものであってもよいし、全階層の量子化インデックスを含むものであってもよい。例えば、図１６に示した階層的量子化方法を例にすると、量子化対象領域（１）について、量子化インデックス１１が求められた場合、量子化インデックス（１）に量子化インデックス１１だけを格納してもよいし、量子化インデックス１と量子化インデックス１１を格納してもよい。
［第９の実施の形態］
　次に、本発明の第９の実施の形態を図１８を参照して説明する。図１８は、本実施の形態における画像同一性尺度算出システムの構成を示すブロック図である。なお、本実施の形態は、上述した画像同一性尺度算出システムの概略を説明する。
　図１８に示すように、本実施の形態における画像同一性尺度算出システムは、２つの画像が同一である度合いを示す同一性尺度を算出するシステムであり、画像特徴量比較手段２Ａを備えている。
　画像特徴量比較手段２Ａは、あらかじめ定められた階層的量子化方法に従って、２つの画像の量子化対象領域ごとに階層的に量子化を行って算出した複数の階層の量子化インデックスが一意に特定できる符号化形式である階層的量子化インデックス符号を入力とし、別途与えられる情報に基づいて、比較に用いる量子化インデックスのセットを比較用量子化インデックスセットとして選択し、上記比較用量子化インデックスセットを用いて上記２つの画像の階層的量子化インデックス符号を比較し、上記２つの画像の同一性尺度を算出する。
　そして、上記画像同一性尺度算出システムでは、上記別途与えられる情報が、上記２つの画像の両方あるいは少なくとも一方が属する母集団の特性を示す母集団特性情報である、という構成を採る。
　また、上記画像同一性尺度算出システムでは、上記階層的量子化方法に従って、上記２つの画像の量子化対象領域ごとに、階層的に量子化を行って複数の階層の量子化インデックスを算出し、各量子化対象領域の各階層の量子化インデックスが一意に特定できる符号化形式である上記階層的量子化インデックス符号を出力する画像特徴量抽出手段を備える、という構成を採る。
　また、上記画像特徴量抽出手段は、量子化対象領域ごとに、上記階層的量子化方法に従って、上位階層の量子化インデックスがフィードバックとして供給される場合は、この供給された量子化インデックスに対応する下位階層の量子化方法を選択し、量子化インデックスが供給されない場合は、最上位階層の量子化方法を選択する次階層量子化方法選択手段と、量子化対象領域ごとに、上記選択された量子化方法が用いる特徴量を、上記入力される画像から抽出する特徴量抽出手段と、量子化対象領域ごとに、上記抽出された特徴量を、上記選択された量子化方法に従って量子化を行って量子化インデックスを算出し、算出した量子化インデックスが最下位階層でない場合に上記量子化インデックスを上記次階層量子化方法選択手段へフィードバックとして供給する量子化インデックス算出手段と、量子化対象領域ごとに各階層の量子化インデックスが算出されると、各量子化対象領域の各階層の量子化インデックスが一意に特定できる符号化形式である階層的量子化インデックス符号を算出し、出力する階層的量子化インデックス符号出力手段とを備えるという、構成を採る。
　また、上記画像特徴量比較手段は、上記母集団特性情報に基づいて、比較に用いる量子化インデックスのセットを比較用量子化インデックスセットとして選択する比較用量子化インデックスセット選択部と、上記２つの画像の階層的量子化インデックス符号の各々から、各々の画像に対して、量子化対象領域ごとに、階層的量子化インデックス符号が一意に特定する各階層の量子化インデックスの中から、上記比較用量子化インデックスセットに含まれる量子化インデックスを比較用量子化インデックスとして取得する比較用量子化インデックス取得手段と、上記２つの画像の比較用量子化インデックスを、対応する量子化対象領域ごとに比較し、量子化インデックスが一致する量子化対象領域の数に基づいて、上記２つの画像の同一性尺度を算出する量子化インデックス比較手段とを備えるという、構成を採る。
　また、上記画像同一性尺度算出システムでは、上記量子化対象領域が、画像の１つまたは複数の局所領域である、という構成を採る。
　また、上記画像同一性尺度算出システムでは、上記階層的量子化方法が、より上位の階層ほど、画像への各種改変処理に対して算出される量子化インデックスが変化しにくい量子化方法で構成されている、という構成を採る。
　また、上記画像同一性尺度算出システムでは、上記階層的量子化方法の各階層での量子化方法は、特定の母集団を仮定しない一般的な画像において、その量子化方法で分類される複数の量子化インデックスに対して、均等に近く分類される量子化方法で構成されている、という構成を採る。
　また、上記画像同一性尺度算出システムでは、上記母集団が、上記２つの画像の両方あるいは少なくとも一方が属する分類に含まれる画像群である、という構成を採る。
　また、上記画像同一性尺度算出システムでは、上記母集団が、上記２つの画像の両方あるいは少なくとも一方が属するデータベースまたはその特定の部分集合に含まれる画像群である、という構成を採る。
　また、上記画像同一性尺度算出システムでは、上記２つの画像の両方あるいは少なくとも一方が動画像のフレームであり、上記母集団が、上記２つの画像の両方あるいは少なくとも一方が属する動画像または動画像の部分区間に含まれるフレーム群である、という構成を採る。
　また、上記画像同一性尺度算出システムでは、上記母集団特性情報が、上記母集団の画像群において、選択した量子化インデックスのセットを用いて算出される同一性尺度に基づいた画像の同一性の判定の精度と相関がある情報であり、上記比較用量子化インデックスセットが、算出される同一性尺度に基づいた画像の同一性の判定の精度が高くなるように選択される、という構成を採る。
　また、上記画像同一性尺度算出システムでは、上記母集団特性情報が、上記母集団の画像群において、選択した量子化インデックスのセットが有する、異なる画像を識別できる度合いである識別能力、と相関がある情報であり、上記比較用量子化インデックスセットが、識別能力が高くなるように選択される、という構成を採る。
　また、上記画像同一性尺度算出システムでは、上記母集団特性情報が、上記母集団の画像群において、選択した量子化インデックスのセットが有する、画像への各種改変処理によって量子化インデックスが変化しない度合いである頑健性、と相関がある情報であり、上記比較用量子化インデックスセットが、頑健性が高くなるように選択される、という構成を採る。
　また、上記画像同一性尺度算出システムでは、上記母集団特性情報が、上記画像特徴量抽出手段が出力する上記母集団の画像群の階層的量子化インデックス符号から算出される、上記母集団における階層的量子化方法の各量子化インデックスの出現頻度である母集団量子化インデックス出現頻度であり、上記比較用量子化インデックスセット選択部が、上記母集団量子化インデックス出現頻度に基づいて、量子化インデックスの出現頻度が均等に近づくように比較用量子化インデックスセットを選択する、という構成を採る。
　また、上記画像同一性尺度算出システムでは、上記比較用量子化インデックスセット選択部が、上記母集団量子化インデックス出現頻度に基づき、出現頻度の高い量子化インデックスに対してその下位階層の量子化インデックスのセットを選択していくことで、比較量子化インデックスセットを選択する、という構成を採る。
　また、上記画像同一性尺度算出システムでは、上記比較用量子化インデックスセット選択部が、上記母集団量子化インデックス出現頻度に基づき、階層的量子化方法の最上位階層の量子化インデックスのセットから順に、規定の条件を満たすまで、出現頻度の高い量子化インデックスに対してその下位階層の量子化インデックスのセットを選択していき、比較用量子化インデックセットを選択する、という構成を採る。
　また、上記画像同一性尺度算出システムでは、上記比較用量子化インデックスセット選択部が、上記階層的量子化方法に従って、量子化インデックスがフィードバックとして供給されない場合は、最上位階層の量子化インデックスのセットを候補量子化インデックスセットとして選択し、量子化インデックスがフィードバックとして供給される場合は、その量子化インデックスをその下位階層の量子化インデックスのセットと置き換えて候補量子化インデックスセットとして選択する候補量子化インデックスセット選択手段と、上記候補量子化インデックスセットがあらかじめ定められた規定の条件を満たすか否かを判定し、規定の条件を満たす場合は上記候補量子化インデックスセットを比較用量子化インデックスセットとして出力し、規定の条件を満たさない場合は、上記候補量子化インデックスセットの中から、上記母集団量子化インデックス出現頻度に基づいて、出現頻度の高い量子化インデックスを上記候補量子化インデックスセット選択手段へフィードバックとして供給する規定条件判定手段とを備える、という構成を採る。
　また、上記画像同一性尺度算出システムでは、上記比較用量子化インデックスセット選択部が、上記母集団量子化インデックス出現頻度に加えて、量子化インデックスの数に基づいて、比較用量子化インデックスセットを選択する、という構成を採る。
　また、上記画像同一性尺度算出システムでは、上記比較用量子化インデックスセット選択部が、上記母集団量子化インデックス出現頻度に基づき、選択した比較用量子化インデックスセットの各々の量子化インデックスに対して、出現頻度が高いほど重み値を小さくするように重み値を、量子化インデックス重み値として算出し、上記量子化インデックス比較手段が、上記２つの画像の比較用量子化インデックスを、対応する量子化対象領域ごとに比較し、量子化インデックスが一致する量子化対象領域の数を、量子化インデックスごとに求め、それらに上記量子化インデックス重み値を作用させて、同一性尺度を算出する、という構成を採る。
　また、上記画像同一性尺度算出システムでは、上記母集団特性情報が、上記母集団の画像群において、階層的量子化方法の各量子化インデックスが、各種改変処理によって量子化インデックスが変化しない度合いを示す母集団量子化インデックス改変不変度であり、上記比較量子化インデックスセット選択部が、上記母集団量子化インデックス改変不変度に基づいて、選択した量子化インデックスのセット全体にかかる量子化インデックスの改変不変度が高くなるように、比較用量子化インデックスセットを選択する、という構成を採る。
　また、上記画像同一性尺度算出システムでは、上記比較用量子化インデックスセット選択部が、階層的量子化方法の最上位階層の量子化インデックスのセットから順に、入力として供給される母集団量子化インデックス改変不変度に基づき、下位階層の量子化インデックスのセットを選択していき、比較用量子化インデックスセットを選択する、という構成を採る。
　また、上記画像同一性尺度算出システムでは、上記比較用量子化インデックスセット選択部が、上記母集団量子化インデックス出現頻度に加えて、量子化インデックスの数に基づいて、比較用量子化インデックスセットを選択する、という構成を採る。
　また、上記画像同一性尺度算出システムでは、上記比較用量子化インデックスセット選択部が、上記母集団量子化インデックス改変不変度に基づき、選択した比較用量子化インデックスセットの各々の量子化インデックスに対して、改変不変度が高いほど重み値を大きくするように重み値を、量子化インデックス重み値として算出し、上記量子化インデックス比較手段が、上記２つの画像の比較用量子化インデックスを、対応する量子化対象領域ごとに比較し、量子化インデックスが一致する量子化対象領域の数を、量子化インデックスごとに求め、それらに上記量子化インデックス重み値を作用させて、同一性尺度を算出する、という構成を採る。
　また、上記画像同一性尺度算出システムでは、さらに、同一性尺度を、あらかじめ定められた閾値と比較することにより、上記２つの画像が同一であるか否かを判定する、という構成を採る。
　また、上述した画像同一性尺度算出システムが作動することにより実行される、本発明の他の形態である画像同一性尺度算出方法は、２つの画像が同一である度合いを示す同一性尺度を算出する方法であって、画像特徴量比較手段が、あらかじめ定められた階層的量子化方法に従って前記２つの画像の量子化対象領域ごとに階層的に量子化を行って算出した複数の階層の量子化インデックスが一意に特定できる符号化形式である階層的量子化インデックス符号を入力とし、別途与えられる情報に基づいて、比較に用いる量子化インデックスのセットを比較用量子化インデックスセットとして選択し、前記比較用量子化インデックスセットを用いて前記２つの画像の階層的量子化インデックス符号を比較し、前記２つの画像の同一性尺度を算出する、という構成を採る。
　また、上記画像同一性尺度算出方法では、上記別途与えられる情報が、上記２つの画像の両方あるいは少なくとも一方が属する母集団の特性を示す母集団特性情報である、という構成を採る。
　また、上記画像同一性尺度算出方法では、上記画像特徴量抽出手段が、上記階層的量子化方法に従って、上記２つの画像の量子化対象領域ごとに、階層的に量子化を行って複数の階層の量子化インデックスを算出し、各量子化対象領域の各階層の量子化インデックスが一意に特定できる符号化形式である上記階層的量子化インデックス符号を上記画像特徴量比較手段に出力する、という構成を採る。
　また、上記画像同一性尺度算出方法では、上記画像特徴量抽出手段の次階層量子化方法選択手段が、量子化対象領域ごとに、上記階層的量子化方法に従って、上位階層の量子化インデックスがフィードバックとして供給される場合は、この供給された量子化インデックスに対応する下位階層の量子化方法を選択し、量子化インデックスが供給されない場合は、最上位階層の量子化方法を選択し、上記画像特徴量抽出手段の特徴量抽出手段が、量子化対象領域ごとに、上記選択された量子化方法が用いる特徴量を、上記入力される画像から抽出し、上記画像特徴量抽出手段の量子化インデックス算出手段が、量子化対象領域ごとに、上記抽出された特徴量を、上記選択された量子化方法に従って量子化を行って量子化インデックスを算出し、算出した量子化インデックスが最下位階層でない場合に上記量子化インデックスを上記次階層量子化方法選択手段へフィードバックとして供給し、上記画像特徴量抽出手段の階層的量子化インデックス符号出力手段が、量子化対象領域ごとに各階層の量子化インデックスが算出されると、各量子化対象領域の各階層の量子化インデックスが一意に特定できる符号化形式である階層的量子化インデックス符号を算出し、出力する、という構成を採る。
　また、上記画像同一性尺度算出方法では、上記画像特徴量比較手段の比較用量子化インデックスセット選択部が、上記母集団特性情報に基づいて、比較に用いる量子化インデックスのセットを比較用量子化インデックスセットとして選択し、上記画像特徴量比較手段の比較用量子化インデックス取得手段が、上記２つの画像の階層的量子化インデックス符号の各々から、各々の画像に対して、量子化対象領域ごとに、階層的量子化インデックス符号が一意に特定する各階層の量子化インデックスの中から、上記比較用量子化インデックスセットに含まれる量子化インデックスを比較用量子化インデックスとして取得し、上記画像特徴量比較手段の量子化インデックス比較手段が、上記２つの画像の比較用量子化インデックスを、対応する量子化対象領域ごとに比較し、量子化インデックスが一致する量子化対象領域の数に基づいて、上記２つの画像の同一性尺度を算出する、という構成を採る。
　また、上述した画像同一性尺度算出システムは、コンピュータに、プログラムが組み込まれることで実現できる。具体的には、本発明の他の形態であるプログラムは、２つの画像が同一である度合いを示す同一性尺度を算出するコンピュータを、あらかじめ定められた階層的量子化方法に従って、上記２つの画像の量子化対象領域ごとに階層的に量子化を行って算出した複数の階層の量子化インデックスが一意に特定できる符号化形式である階層的量子化インデックス符号を入力とし、別途与えられる情報に基づいて、比較に用いる量子化インデックスのセットを比較用量子化インデックスセットとして選択し、上記比較用量子化インデックスセットを用いて上記２つの画像の階層的量子化インデックス符号を比較し、上記２つの画像の同一性尺度を算出する画像特徴量比較手段、として機能させる、という構成を採る。
　また、上記プログラムでは、上記別途与えられる情報が、上記２つの画像の両方あるいは少なくとも一方が属する母集団の特性を示す母集団特性情報である、という構成を採る。
　また、上記プログラムでは、上記コンピュータを、さらに、上記階層的量子化方法に従って、上記２つの画像の量子化対象領域ごとに、階層的に量子化を行って複数の階層の量子化インデックスを算出し、各量子化対象領域の各階層の量子化インデックスが一意に特定できる符号化形式である上記階層的量子化インデックス符号を出力する画像特徴量抽出手段、として機能させる、という構成を採る。
　また、上記プログラムでは、上記画像特徴量抽出手段が、量子化対象領域ごとに、上記階層的量子化方法に従って、上位階層の量子化インデックスがフィードバックとして供給される場合は、この供給された量子化インデックスに対応する下位階層の量子化方法を選択し、量子化インデックスが供給されない場合は、最上位階層の量子化方法を選択する次階層量子化方法選択手段と、量子化対象領域ごとに、上記選択された量子化方法が用いる特徴量を、上記入力される画像から抽出する特徴量抽出手段と、量子化対象領域ごとに、上記抽出された特徴量を、上記選択された量子化方法に従って量子化を行って量子化インデックスを算出し、算出した量子化インデックスが最下位階層でない場合に上記量子化インデックスを上記次階層量子化方法選択手段へフィードバックとして供給する量子化インデックス算出手段と、量子化対象領域ごとに各階層の量子化インデックスが算出されると、各量子化対象領域の各階層の量子化インデックスが一意に特定できる符号化形式である階層的量子化インデックス符号を算出し、出力する階層的量子化インデックス符号出力手段と、を備えるという、構成を採る。
　また、上記プログラムでは、上記画像特徴量比較手段が、上記母集団特性情報に基づいて、比較に用いる量子化インデックスのセットを比較用量子化インデックスセットとして選択する比較用量子化インデックスセット選択部と、上記２つの画像の階層的量子化インデックス符号の各々から、各々の画像に対して、量子化対象領域ごとに、階層的量子化インデックス符号が一意に特定する各階層の量子化インデックスの中から、上記比較用量子化インデックスセットに含まれる量子化インデックスを比較用量子化インデックスとして取得する比較用量子化インデックス取得手段と、上記２つの画像の比較用量子化インデックスを、対応する量子化対象領域ごとに比較し、量子化インデックスが一致する量子化対象領域の数に基づいて、上記２つの画像の同一性尺度を算出する量子化インデックス比較手段と、を備えるという構成を採る。
　上述した構成を有する画像同一性尺度算出方法、または、プログラム、の発明であっても、上記画像同一性尺度算出システムと同様の作用を有するため、上述した本発明の目的を達成することができる。
　以上、上記各実施の形態を参照して本発明を説明したが、本発明は、上述した実施の形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。
　なお、本発明は、日本国にて２００８年０９月０１日に特許出願された特願２００８－２２３３８８の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
　本発明の活用例として、画像また動画像の違法な複製の検知に使用することができる。例えば、インターネット上の画像・動画像共有サービスなどへの違法な画像・動画像の投稿を検知するシステムに使用することができる。また画像や動画像の制作において（例えば放送局など）、元の画像・動画像と、編集後の画像・動画像とのリンクを検知することができるため、編集履歴を管理するシステムとしても使用することができる。
１１…画像特徴量抽出装置
１１１…特徴量抽出手段
１１２…量子化インデックス算出手段
１２…画像特徴量比較装置
１２１…量子化インデックス比較手段
０１…画像特徴量抽出装置
０１１…次階層量子化方法選択手段
０１２…特徴量抽出手段
０１３…量子化インデックス算出手段
０１４…階層的量子化インデックス符号出力手段
０２…画像特徴量比較装置
２Ａ…画像特徴量比較手段
０２１…比較用量子化インデックスセット選択部
０２１Ａ…比較用量子化インデックスセット選択部
０２１Ａ１…候補量子化インデックスセット選択手段
０２１Ａ２…規定条件判定手段
０２１Ｂ…比較用量子化インデックスセット選択部
０２１Ｃ…比較用量子化インデックスセット選択部
０２１Ｄ…比較用量子化インデックスセット選択部
０２２…比較用量子化インデックス取得手段
０２３…量子化インデックス比較手段
０２３Ａ…量子化インデックス比較手段
０３…母集団量子化インデックス出現頻度算出手段
０４…同一性判定手段

Claims (35)

  1. 　２つの画像が同一である度合いを示す同一性尺度を算出するシステムであって、
    　あらかじめ定められた階層的量子化方法に従って、前記２つの画像の量子化対象領域ごとに階層的に量子化を行って算出した複数の階層の量子化インデックスが一意に特定できる符号化形式である階層的量子化インデックス符号を入力とし、別途与えられる情報に基づいて、比較に用いる量子化インデックスのセットを比較用量子化インデックスセットとして選択し、前記比較用量子化インデックスセットを用いて前記２つの画像の階層的量子化インデックス符号を比較し、前記２つの画像の同一性尺度を算出する画像特徴量比較手段、
    　を備えることを特徴とする画像同一性尺度算出システム。
  2. 　前記別途与えられる情報が、前記２つの画像の両方あるいは少なくとも一方が属する母集団の特性を示す母集団特性情報であることを特徴とする請求項１に記載の画像同一性尺度算出システム。
  3. 　前記階層的量子化方法に従って、前記２つの画像の量子化対象領域ごとに、階層的に量子化を行って複数の階層の量子化インデックスを算出し、各量子化対象領域の各階層の量子化インデックスが一意に特定できる符号化形式である前記階層的量子化インデックス符号を出力する画像特徴量抽出手段を備えることを特徴とする請求項２に記載の画像同一性尺度算出システム。
  4. 　前記画像特徴量抽出手段が、
    　量子化対象領域ごとに、前記階層的量子化方法に従って、上位階層の量子化インデックスがフィードバックとして供給される場合は、該供給された量子化インデックスに対応する下位階層の量子化方法を選択し、量子化インデックスが供給されない場合は、最上位階層の量子化方法を選択する次階層量子化方法選択手段と、
    　量子化対象領域ごとに、前記選択された量子化方法が用いる特徴量を、前記入力される画像から抽出する特徴量抽出手段と、
    　量子化対象領域ごとに、前記抽出された特徴量を、前記選択された量子化方法に従って量子化を行って量子化インデックスを算出し、算出した量子化インデックスが最下位階層でない場合に前記量子化インデックスを前記次階層量子化方法選択手段へフィードバックとして供給する量子化インデックス算出手段と、
    　量子化対象領域ごとに各階層の量子化インデックスが算出されると、各量子化対象領域の各階層の量子化インデックスが一意に特定できる符号化形式である階層的量子化インデックス符号を算出し、出力する階層的量子化インデックス符号出力手段と、
    　を備えたことを特徴とする請求項３に記載の画像同一性尺度算出システム。
  5. 　前記画像特徴量比較手段が、
    　前記母集団特性情報に基づいて、比較に用いる量子化インデックスのセットを比較用量子化インデックスセットとして選択する比較用量子化インデックスセット選択部と、
    　前記２つの画像の階層的量子化インデックス符号の各々から、各々の画像に対して、量子化対象領域ごとに、階層的量子化インデックス符号が一意に特定する各階層の量子化インデックスの中から、前記比較用量子化インデックスセットに含まれる量子化インデックスを比較用量子化インデックスとして取得する比較用量子化インデックス取得手段と、
    　前記２つの画像の比較用量子化インデックスを、対応する量子化対象領域ごとに比較し、量子化インデックスが一致する量子化対象領域の数に基づいて、前記２つの画像の同一性尺度を算出する量子化インデックス比較手段と、
    　を備えたことを特徴とする請求項２乃至４の何れか１項に記載の画像同一性尺度算出システム。
  6. 　前記量子化対象領域が、画像の１つまたは複数の局所領域であることを特徴とする請求項２乃至５の何れか１項に記載の画像同一性尺度算出システム。
  7. 　前記階層的量子化方法が、より上位の階層ほど、画像への各種改変処理に対して算出される量子化インデックスが変化しにくい量子化方法で構成されている、ことを特徴とする請求項２乃至６の何れか１項に記載の画像同一性尺度算出システム。
  8. 　前記階層的量子化方法の各階層での量子化方法は、特定の母集団を仮定しない一般的な画像において、その量子化方法で分類される複数の量子化インデックスに対して、均等に近く分類される量子化方法で構成されている、ことを特徴とする請求項２乃至７の何れか１項に記載の画像同一性尺度算出システム。
  9. 　前記母集団が、前記２つの画像の両方あるいは少なくとも一方が属する分類に含まれる画像群である、ことを特徴とする請求項２乃至８の何れか１項に記載の画像同一性尺度算出システム。
  10. 　前記母集団が、前記２つの画像の両方あるいは少なくとも一方が属するデータベースまたはその特定の部分集合に含まれる画像群である、ことを特徴とする請求項２乃至８の何れか１項に記載の画像同一性尺度算出システム。
  11. 　前記２つの画像の両方あるいは少なくとも一方が動画像のフレームであり、前記母集団が、前記２つの画像の両方あるいは少なくとも一方が属する動画像または動画像の部分区間に含まれるフレーム群である、ことを特徴とする請求項２乃至８の何れか１項に記載の画像同一性尺度算出システム。
  12. 　前記母集団特性情報が、前記母集団の画像群において、選択した量子化インデックスのセットを用いて算出される同一性尺度に基づいた画像の同一性の判定の精度と相関がある情報であり、
    　前記比較用量子化インデックスセットが、算出される同一性尺度に基づいた画像の同一性の判定の精度が高くなるように選択される、
    　ことを特徴とする請求項２乃至１１の何れか１項に記載の画像同一性尺度算出システム。
  13. 　前記母集団特性情報が、前記母集団の画像群において、選択した量子化インデックスのセットが有する、異なる画像を識別できる度合いである識別能力、と相関がある情報であり、
    　前記比較用量子化インデックスセットが、識別能力が高くなるように選択される、
    　ことを特徴とする請求項２乃至１１の何れか１項に記載の画像同一性尺度算出システム。
  14. 　前記母集団特性情報が、前記母集団の画像群において、選択した量子化インデックスのセットが有する、画像への各種改変処理によって量子化インデックスが変化しない度合いである頑健性、と相関がある情報であり、
    　前記比較用量子化インデックスセットが、頑健性が高くなるように選択される、
    　ことを特徴とする請求項２乃至１１の何れか１項に記載の画像同一性尺度算出システム。
  15. 　前記母集団特性情報が、前記画像特徴量抽出手段が出力する前記母集団の画像群の階層的量子化インデックス符号から算出される、前記母集団における階層的量子化方法の各量子化インデックスの出現頻度である母集団量子化インデックス出現頻度であり、
    　前記比較用量子化インデックスセット選択部が、前記母集団量子化インデックス出現頻度に基づいて、量子化インデックスの出現頻度が均等に近づくように比較用量子化インデックスセットを選択する、
    　ことを特徴とする請求項２乃至１１の何れか１項に記載の画像同一性尺度算出システム。
  16. 　前記比較用量子化インデックスセット選択部が、前記母集団量子化インデックス出現頻度に基づき、出現頻度の高い量子化インデックスに対してその下位階層の量子化インデックスのセットを選択していくことで、比較量子化インデックスセットを選択する、
    　ことを特徴とする請求項１５に記載の画像同一性尺度算出システム。
  17. 　前記比較用量子化インデックスセット選択部が、前記母集団量子化インデックス出現頻度に基づき、階層的量子化方法の最上位階層の量子化インデックスのセットから順に、規定の条件を満たすまで、出現頻度の高い量子化インデックスに対してその下位階層の量子化インデックスのセットを選択していき、比較用量子化インデックセットを選択する、
    　ことを特徴とする請求項１５または１６に記載の画像同一性尺度算出システム。
  18. 　前記比較用量子化インデックスセット選択部が、
    　前記階層的量子化方法に従って、量子化インデックスがフィードバックとして供給されない場合は、最上位階層の量子化インデックスのセットを候補量子化インデックスセットとして選択し、量子化インデックスがフィードバックとして供給される場合は、その量子化インデックスをその下位階層の量子化インデックスのセットと置き換えて候補量子化インデックスセットとして選択する候補量子化インデックスセット選択手段と、
    　前記候補量子化インデックスセットがあらかじめ定められた規定の条件を満たすか否かを判定し、規定の条件を満たす場合は前記候補量子化インデックスセットを比較用量子化インデックスセットとして出力し、規定の条件を満たさない場合は、前記候補量子化インデックスセットの中から、前記母集団量子化インデックス出現頻度に基づいて、出現頻度の高い量子化インデックスを前記候補量子化インデックスセット選択手段へフィードバックとして供給する規定条件判定手段と、
    　を備えたことを特徴とする請求項１５乃至１７の何れか１項に記載の画像同一性尺度算出システム。
  19. 　前記比較用量子化インデックスセット選択部が、前記母集団量子化インデックス出現頻度に加えて、量子化インデックスの数に基づいて、比較用量子化インデックスセットを選択する、
    　ことを特徴とする請求項１５乃至１８の何れか１項に記載の画像同一性尺度算出システム。
  20. 　前記比較用量子化インデックスセット選択部が、前記母集団量子化インデックス出現頻度に基づき、選択した比較用量子化インデックスセットの各々の量子化インデックスに対して、出現頻度が高いほど重み値を小さくするように重み値を、量子化インデックス重み値として算出し、
    　前記量子化インデックス比較手段が、前記２つの画像の比較用量子化インデックスを、対応する量子化対象領域ごとに比較し、量子化インデックスが一致する量子化対象領域の数を、量子化インデックスごとに求め、それらに前記量子化インデックス重み値を作用させて、同一性尺度を算出する、
    　ことを特徴とする請求項１５乃至１９の何れか１項に記載の画像同一性尺度算出システム。
  21. 　前記母集団特性情報が、前記母集団の画像群において、階層的量子化方法の各量子化インデックスが、各種改変処理によって量子化インデックスが変化しない度合いを示す母集団量子化インデックス改変不変度であり、
    　前記比較量子化インデックスセット選択部が、前記母集団量子化インデックス改変不変度に基づいて、選択した量子化インデックスのセット全体にかかる量子化インデックスの改変不変度が高くなるように、比較用量子化インデックスセットを選択する、
    　ことを特徴とする請求項２乃至２０の何れか１項に記載の画像同一性尺度算出システム。
  22. 　前記比較用量子化インデックスセット選択部が、階層的量子化方法の最上位階層の量子化インデックスのセットから順に、入力として供給される母集団量子化インデックス改変不変度に基づき、下位階層の量子化インデックスのセットを選択していき、比較用量子化インデックスセットを選択する、
    　ことを特徴とする請求項２１に記載の画像同一性尺度算出システム。
  23. 　前記比較用量子化インデックスセット選択部が、前記母集団量子化インデックス出現頻度に加えて、量子化インデックスの数に基づいて、比較用量子化インデックスセットを選択する、
    　ことを特徴とする請求項２１または２２に記載の画像同一性尺度算出システム。
  24. 　前記比較用量子化インデックスセット選択部が、前記母集団量子化インデックス改変不変度に基づき、選択した比較用量子化インデックスセットの各々の量子化インデックスに対して、改変不変度が高いほど重み値を大きくするように重み値を、量子化インデックス重み値として算出し、
    　前記量子化インデックス比較手段が、前記２つの画像の比較用量子化インデックスを、対応する量子化対象領域ごとに比較し、量子化インデックスが一致する量子化対象領域の数を、量子化インデックスごとに求め、それらに前記量子化インデックス重み値を作用させて、同一性尺度を算出する、
    　ことを特徴とする請求項２１乃至２３の何れか１項に記載の画像同一性尺度算出システム。
  25. 　画像が同一であるか否かを判定するシステムであって、
    　請求項１乃至２４の何れか１項に記載の画像同一性尺度算出システムが出力する同一性尺度を、あらかじめ定められた閾値と比較することにより、前記２つの画像が同一であるか否かを判定する、
    　ことを特徴とする画像同一性判定システム。
  26. 　２つの画像が同一である度合いを示す同一性尺度を算出する方法であって、
    　画像特徴量比較手段が、あらかじめ定められた階層的量子化方法に従って前記２つの画像の量子化対象領域ごとに階層的に量子化を行って算出した複数の階層の量子化インデックスが一意に特定できる符号化形式である階層的量子化インデックス符号を入力とし、別途与えられる情報に基づいて、比較に用いる量子化インデックスのセットを比較用量子化インデックスセットとして選択し、前記比較用量子化インデックスセットを用いて前記２つの画像の階層的量子化インデックス符号を比較し、前記２つの画像の同一性尺度を算出する、
    　ことを特徴とする画像同一性尺度算出方法。
  27. 　前記別途与えられる情報が、前記２つの画像の両方あるいは少なくとも一方が属する母集団の特性を示す母集団特性情報であることを特徴とする請求項２６に記載の画像同一性尺度算出方法。
  28. 　画像特徴量抽出手段が、前記階層的量子化方法に従って、前記２つの画像の量子化対象領域ごとに、階層的に量子化を行って複数の階層の量子化インデックスを算出し、各量子化対象領域の各階層の量子化インデックスが一意に特定できる符号化形式である前記階層的量子化インデックス符号を前記画像特徴量比較手段に出力する、
    ことを特徴とする請求項２７に記載の画像同一性尺度算出方法。
  29. 　前記画像特徴量抽出手段の次階層量子化方法選択手段が、量子化対象領域ごとに、前記階層的量子化方法に従って、上位階層の量子化インデックスがフィードバックとして供給される場合は、該供給された量子化インデックスに対応する下位階層の量子化方法を選択し、量子化インデックスが供給されない場合は、最上位階層の量子化方法を選択し、
    　前記画像特徴量抽出手段の特徴量抽出手段が、量子化対象領域ごとに、前記選択された量子化方法が用いる特徴量を、前記入力される画像から抽出し、
    　前記画像特徴量抽出手段の量子化インデックス算出手段が、量子化対象領域ごとに、前記抽出された特徴量を、前記選択された量子化方法に従って量子化を行って量子化インデックスを算出し、算出した量子化インデックスが最下位階層でない場合に前記量子化インデックスを前記次階層量子化方法選択手段へフィードバックとして供給し、
    　前記画像特徴量抽出手段の階層的量子化インデックス符号出力手段が、量子化対象領域ごとに各階層の量子化インデックスが算出されると、各量子化対象領域の各階層の量子化インデックスが一意に特定できる符号化形式である階層的量子化インデックス符号を算出し、出力する、
    　ことを特徴とする請求項２８に記載の画像同一性尺度算出方法。
  30. 　前記画像特徴量比較手段の比較用量子化インデックスセット選択部が、前記母集団特性情報に基づいて、比較に用いる量子化インデックスのセットを比較用量子化インデックスセットとして選択し、
    　前記画像特徴量比較手段の比較用量子化インデックス取得手段が、前記２つの画像の階層的量子化インデックス符号の各々から、各々の画像に対して、量子化対象領域ごとに、階層的量子化インデックス符号が一意に特定する各階層の量子化インデックスの中から、前記比較用量子化インデックスセットに含まれる量子化インデックスを比較用量子化インデックスとして取得し、
    　前記画像特徴量比較手段の量子化インデックス比較手段が、前記２つの画像の比較用量子化インデックスを、対応する量子化対象領域ごとに比較し、量子化インデックスが一致する量子化対象領域の数に基づいて、前記２つの画像の同一性尺度を算出する、
    　ことを特徴とする請求項２７乃至２９の何れか１項に記載の画像同一性尺度算出方法。
  31. 　２つの画像が同一である度合いを示す同一性尺度を算出するコンピュータを、
    　あらかじめ定められた階層的量子化方法に従って、前記２つの画像の量子化対象領域ごとに階層的に量子化を行って算出した複数の階層の量子化インデックスが一意に特定できる符号化形式である階層的量子化インデックス符号を入力とし、別途与えられる情報に基づいて、比較に用いる量子化インデックスのセットを比較用量子化インデックスセットとして選択し、前記比較用量子化インデックスセットを用いて前記２つの画像の階層的量子化インデックス符号を比較し、前記２つの画像の同一性尺度を算出する画像特徴量比較手段、
    　として機能させるためのプログラム。
  32. 　前記別途与えられる情報が、前記２つの画像の両方あるいは少なくとも一方が属する母集団の特性を示す母集団特性情報であることを特徴とする請求項３１に記載のプログラム。
  33. 　前記コンピュータを、さらに、前記階層的量子化方法に従って、前記２つの画像の量子化対象領域ごとに、階層的に量子化を行って複数の階層の量子化インデックスを算出し、各量子化対象領域の各階層の量子化インデックスが一意に特定できる符号化形式である前記階層的量子化インデックス符号を出力する画像特徴量抽出手段、
    として機能させる請求項３２に記載のプログラム。
  34. 　前記画像特徴量抽出手段が、
    　量子化対象領域ごとに、前記階層的量子化方法に従って、上位階層の量子化インデックスがフィードバックとして供給される場合は、該供給された量子化インデックスに対応する下位階層の量子化方法を選択し、量子化インデックスが供給されない場合は、最上位階層の量子化方法を選択する次階層量子化方法選択手段と、
    　量子化対象領域ごとに、前記選択された量子化方法が用いる特徴量を、前記入力される画像から抽出する特徴量抽出手段と、
    　量子化対象領域ごとに、前記抽出された特徴量を、前記選択された量子化方法に従って量子化を行って量子化インデックスを算出し、算出した量子化インデックスが最下位階層でない場合に前記量子化インデックスを前記次階層量子化方法選択手段へフィードバックとして供給する量子化インデックス算出手段と、
    　量子化対象領域ごとに各階層の量子化インデックスが算出されると、各量子化対象領域の各階層の量子化インデックスが一意に特定できる符号化形式である階層的量子化インデックス符号を算出し、出力する階層的量子化インデックス符号出力手段と、
    　を備えたことを特徴とする請求項３３に記載のプログラム。
  35. 　前記画像特徴量比較手段が、
    　前記母集団特性情報に基づいて、比較に用いる量子化インデックスのセットを比較用量子化インデックスセットとして選択する比較用量子化インデックスセット選択部と、
    　前記２つの画像の階層的量子化インデックス符号の各々から、各々の画像に対して、量子化対象領域ごとに、階層的量子化インデックス符号が一意に特定する各階層の量子化インデックスの中から、前記比較用量子化インデックスセットに含まれる量子化インデックスを比較用量子化インデックスとして取得する比較用量子化インデックス取得手段と、
    　前記２つの画像の比較用量子化インデックスを、対応する量子化対象領域ごとに比較し、量子化インデックスが一致する量子化対象領域の数に基づいて、前記２つの画像の同一性尺度を算出する量子化インデックス比較手段と、
    　を備えたことを特徴とする請求項３２乃至３４の何れか１項に記載のプログラム。
PCT/JP2009/003283 2008-09-01 2009-07-14 画像同一性尺度算出システム WO2010023808A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/061,618 US8897566B2 (en) 2008-09-01 2009-07-14 Image identity scale calculation stystem
CN200980138142.1A CN102165490B (zh) 2008-09-01 2009-07-14 图像同一性尺度计算系统
JP2010526507A JP5482655B2 (ja) 2008-09-01 2009-07-14 画像同一性尺度算出システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-223388 2008-09-01
JP2008223388 2008-09-01

Publications (1)

Publication Number Publication Date
WO2010023808A1 true WO2010023808A1 (ja) 2010-03-04

Family

ID=41720993

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/003283 WO2010023808A1 (ja) 2008-09-01 2009-07-14 画像同一性尺度算出システム

Country Status (4)

Country Link
US (1) US8897566B2 (ja)
JP (1) JP5482655B2 (ja)
CN (1) CN102165490B (ja)
WO (1) WO2010023808A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194235A (zh) * 2010-03-16 2011-09-21 北京中星微电子有限公司 基于梯度方向角的运动检测系统及方法
WO2012169965A1 (en) * 2011-06-08 2012-12-13 Imtt Svenska Ab Method for comparing images
JP2021039457A (ja) * 2019-08-30 2021-03-11 キヤノン株式会社 画像処理方法、エッジモデル作成方法、ロボットシステム、および物品の製造方法
JP7508206B2 (ja) 2019-08-30 2024-07-01 キヤノン株式会社 画像処理方法、エッジモデル作成方法、ロボットシステム、および物品の製造方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5482655B2 (ja) * 2008-09-01 2014-05-07 日本電気株式会社 画像同一性尺度算出システム
US9870517B2 (en) * 2011-12-08 2018-01-16 Excalibur Ip, Llc Image object retrieval
ES2907510T3 (es) * 2012-05-14 2022-04-25 V Nova Int Ltd Descomposición de datos residuales durante la codificación, decodificación y reconstrucción de señales en una jerarquía escalonada
US9542619B2 (en) 2013-03-11 2017-01-10 Yahoo! Inc. Automatic image piling
US10031925B2 (en) * 2014-10-15 2018-07-24 Thinkcx Technologies, Inc. Method and system of using image recognition and geolocation signal analysis in the construction of a social media user identity graph
US10678828B2 (en) * 2016-01-03 2020-06-09 Gracenote, Inc. Model-based media classification service using sensed media noise characteristics
JP6566118B2 (ja) * 2016-03-15 2019-08-28 日本電気株式会社 電子データ検査システム、電子データ検査方法、および電子データ検査用プログラム
TWI781416B (zh) * 2019-06-14 2022-10-21 弗勞恩霍夫爾協會 具有基於尺度之改良變換之編碼器、解碼器、方法及電腦程式
US12022086B2 (en) * 2022-08-24 2024-06-25 Synamedia Vividtec Holdings, Inc. Content-adaptive encoder configuration

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63263983A (ja) * 1987-04-22 1988-10-31 Matsushita Electric Ind Co Ltd 階層型符号復号化装置
JP2001312514A (ja) * 2000-03-18 2001-11-09 Hynix Semiconductor Inc ベクトル記述子表現並びにマルチメディアデータ検索装置及びその方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0132894B1 (ko) 1992-03-13 1998-10-01 강진구 영상압축부호화 및 복호화 방법과 그 장치
US5946044A (en) * 1995-06-30 1999-08-31 Sony Corporation Image signal converting method and image signal converting apparatus
JP3585703B2 (ja) * 1997-06-27 2004-11-04 シャープ株式会社 画像処理装置
JP4721111B2 (ja) 2005-11-24 2011-07-13 富士ゼロックス株式会社 画像処理装置、画像処理システム、画像処理プログラムおよび画像処理方法
WO2010023809A1 (ja) * 2008-09-01 2010-03-04 日本電気株式会社 画像特徴量抽出装置
JP5482655B2 (ja) * 2008-09-01 2014-05-07 日本電気株式会社 画像同一性尺度算出システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63263983A (ja) * 1987-04-22 1988-10-31 Matsushita Electric Ind Co Ltd 階層型符号復号化装置
JP2001312514A (ja) * 2000-03-18 2001-11-09 Hynix Semiconductor Inc ベクトル記述子表現並びにマルチメディアデータ検索装置及びその方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAKAYUKI KUROZUMI ET AL.: "Jitsu Kankyo de Shuroku sareta Eizo Danpen o Key to suru Icchi Eizo Tansaku", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS, vol. J90-D, no. 8, 1 August 2007 (2007-08-01), pages 2223 - 2231 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194235A (zh) * 2010-03-16 2011-09-21 北京中星微电子有限公司 基于梯度方向角的运动检测系统及方法
WO2012169965A1 (en) * 2011-06-08 2012-12-13 Imtt Svenska Ab Method for comparing images
JP2021039457A (ja) * 2019-08-30 2021-03-11 キヤノン株式会社 画像処理方法、エッジモデル作成方法、ロボットシステム、および物品の製造方法
JP7508206B2 (ja) 2019-08-30 2024-07-01 キヤノン株式会社 画像処理方法、エッジモデル作成方法、ロボットシステム、および物品の製造方法

Also Published As

Publication number Publication date
JP5482655B2 (ja) 2014-05-07
CN102165490A (zh) 2011-08-24
CN102165490B (zh) 2014-01-22
JPWO2010023808A1 (ja) 2012-01-26
US20110170782A1 (en) 2011-07-14
US8897566B2 (en) 2014-11-25

Similar Documents

Publication Publication Date Title
JP5482655B2 (ja) 画像同一性尺度算出システム
JP5445457B2 (ja) 画像特徴量抽出装置
Wang et al. Exploring DCT coefficient quantization effects for local tampering detection
KR100799557B1 (ko) 동영상의 비주얼 특징을 이용한 유해 동영상 판별함수 생성및 판별 방법 그리고 그 장치
US8358837B2 (en) Apparatus and methods for detecting adult videos
KR101404401B1 (ko) 특징량 선택 장치
US7400784B2 (en) Search of similar features representing objects in a large reference database
CN104520875A (zh) 优选用于搜索和检索目的的从视频内容提取描述符的方法和装置
Pauwels et al. One class classification for anomaly detection: Support vector data description revisited
Ling et al. Towards perceptually-optimized compression of user generated content (ugc): Prediction of ugc rate-distortion category
US20110280487A1 (en) Image signature extraction device
Schettini et al. Automatic classification of digital photographs based on decision forests
Schwamberger et al. Simple algorithmic modifications for improving blind steganalysis performance
CN111611450B (zh) 跨媒介数据融合方法、装置及存储介质
Youssef et al. Detecting double and triple compression in HEVC videos using the same bit rate
Cheng et al. High-resolution remote sensing image segmentation based on improved RIU-LBP and SRM
Katsenou et al. Understanding video texture—A basis for video compression
KR100811774B1 (ko) 에지 히스토그램 디스크립터의 특징적 에지 블록을 이용한바이오 영상 검색 방법 및 장치
Schmiedeke et al. DCT-based features for categorisation of social media in compressed domain
Ljubovic et al. Improving performance of image retrieval based on fuzzy colour histograms by using hybrid colour model and genetic algorithm
Subramanian et al. Anomalous behaviour in loss-gradient based interpretability methods
Wang et al. Steganalysis based on reducing the differences of image statistical characteristics
Yu et al. Diverse Batch Steganography using Model-based Selection and Double-layered Payload Assignment
Ndjiki-Nya et al. Merging MPEG-7 descriptors for image content analysis
Das et al. QPAC: A novel document image compression technique based on ANFIS for calibrated quality preservation

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980138142.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09809466

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010526507

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13061618

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09809466

Country of ref document: EP

Kind code of ref document: A1