WO2019123917A1 - 画像照合装置 - Google Patents

画像照合装置 Download PDF

Info

Publication number
WO2019123917A1
WO2019123917A1 PCT/JP2018/042334 JP2018042334W WO2019123917A1 WO 2019123917 A1 WO2019123917 A1 WO 2019123917A1 JP 2018042334 W JP2018042334 W JP 2018042334W WO 2019123917 A1 WO2019123917 A1 WO 2019123917A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
frequency
frequency feature
score
feature
Prior art date
Application number
PCT/JP2018/042334
Other languages
English (en)
French (fr)
Inventor
高橋　徹
石山　塁
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to CN201880082883.1A priority Critical patent/CN111656394B/zh
Priority to US16/955,606 priority patent/US11227196B2/en
Priority to EP18891876.7A priority patent/EP3731178B1/en
Priority to JP2019560880A priority patent/JP6845492B2/ja
Publication of WO2019123917A1 publication Critical patent/WO2019123917A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/80—Recognising image objects characterised by unique random patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/196—Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
    • G06V30/1983—Syntactic or structural pattern recognition, e.g. symbolic string recognition
    • G06V30/1985—Syntactic analysis, e.g. using a grammatical approach

Definitions

  • the present invention relates to an image matching device, an image matching method, and a recording medium.
  • Patent Document 1 first, the matching image and the registered image are converted into the frequency domain using Fourier transform. Next, a cross power spectrum is calculated from the complex spectrum of each of the matching image and the registration image obtained by the above conversion. Next, power components are eliminated from the cross power spectrum by using a weight filter for each frequency to normalize only the phase components. Next, the inverse Fourier transform is used on the normalized one to calculate the correlation coefficient in the real coordinate region. Next, pattern matching determination is performed using the coordinates at which the calculated correlation coefficient is the maximum value.
  • the registered image is subjected to Fourier transform in advance to create a registered Fourier image.
  • the matching image is subjected to Fourier transform to create a matching Fourier image.
  • the matching Fourier image and the registered Fourier image created in advance are combined.
  • inverse Fourier transform is performed.
  • the top n pixels having higher intensity of the correlation component are extracted from the predetermined correlation component area appearing in the inverse Fourier transformed composite Fourier image. Then, based on the strength of the extracted n pixels of the correlation component, it is determined whether or not the registered image matches the matching image.
  • Patent Document 3 describes a technique for measuring displacement between two images which are identical to each other. Specifically, m types (m is an integer satisfying m ⁇ N) indicating non-parallel phase advancing directions are added to pattern signals corresponding to two N-dimensional patterns to be collated. . Next, the correlation between m sets of pattern signals to which the same phase information is added is determined. Then, based on the obtained m sets of correlation phase information, the positional deviation between the patterns is obtained. Patent Document 3 is a technique for measuring the positional deviation between two N-dimensional patterns which are identical to each other, and is not a technique for collating two N-dimensional patterns which are unclear as to whether they are identical or not.
  • An object of the present invention is to provide an image collating apparatus that solves the above-mentioned problems.
  • An image matching apparatus for collating a first image and a second image, comprising: A frequency feature acquisition unit that acquires frequency features of the first image and frequency features of the second image; A frequency feature combining unit that combines the frequency features of the first image and the frequency features of the second image to generate a combined frequency feature; And a determination unit that calculates a score indicating the degree to which the composite frequency feature is a wave having a single cycle, and performs matching between the first image and the second image based on the score.
  • An image matching method is An image matching method for matching a first image with a second image, comprising: Obtaining frequency features of the first image and frequency features of the second image; Combining the frequency features of the first image and the frequency features of the second image to generate a combined frequency feature; Calculating a score indicating the degree to which the combined frequency feature is a wave with a single period, The first image and the second image are collated based on the score.
  • a computer readable recording medium is On a computer collating the first image with the second image, Acquiring a frequency feature of the first image and a frequency feature of the second image; Processing of combining the frequency feature of the first image and the frequency feature of the second image to generate a combined frequency feature; A process of calculating a score indicating the degree to which the composite frequency feature is a wave having a single cycle, and collating the first image and the second image based on the score; Record the program to do the
  • the first image and the second image can be collated at high speed.
  • FIG. 1 is a block diagram of an image matching device according to a first embodiment of the present invention. It is a block diagram showing an example of the hardware constitutions of the picture collation device concerning a 1st embodiment of the present invention. It is a flowchart which shows the outline
  • FIG. 1 Diagram showing examples of images of amplitude components A F (k 1 , k 2 ) and A G (k 1 , k 2 ), phase components ⁇ F (k 1 , k 2 ) and ⁇ G (k 1 , k 2 ) It is. It is a figure which shows the example of the numerical formula which calculates a normalization cross-power spectrum. Examples of formulas showing frequency features F (k 1 , k 2 ), frequency features G (k 1 , k 2 ), and normalized cross power spectrum R (k 1 , k 2 ) of the same image pair with misregistration FIG. It illustrates an example of an image of the same image pairs normalized cross-power spectrum R (k 1, k 2) .
  • FIG. 1 is a block diagram of an image matching device according to a first embodiment of the present invention.
  • the image collating apparatus 100 according to the present embodiment is configured to collate the first image with the second image.
  • the image matching device 100 includes a frequency feature acquisition unit 101, a first storage unit 102, a second storage unit 103, a frequency feature combination unit 104, and a complex sine wave determination unit 105. And an information presentation unit 106.
  • the frequency feature acquisition unit 101 is configured to acquire frequency features of the first image and the second image.
  • the frequency feature refers to two-dimensional data (two-dimensional array) as a result of converting the image into a frequency domain by applying Fourier transform (discrete Fourier transform) to the image.
  • Fourier transform discrete Fourier transform
  • a frequency transform other than Fourier transform, for example, wavelet transform may be performed.
  • the first image is, for example, a collation image obtained by imaging an object to be collated.
  • the second image is one of a plurality of registered images obtained by imaging a plurality of objects to be registered.
  • One or more second images are present.
  • an object is an industrial product, goods, etc., for example.
  • fine patterns generated in the same manufacturing process such as fine asperities and patterns, random patterns on the surface of a material, and the like. It is possible to perform individual identification and management of individual products by acquiring such differences in surface pattern of an object as an image using an imaging device such as a camera and recognizing the fine pattern.
  • the present embodiment relates to an image matching technique for such individual identification.
  • the first storage unit 102 is configured to store frequency features of the first image.
  • the second storage unit 103 is configured to store frequency features of the second image.
  • the frequency feature combining unit 104 normalizes the cross power spectrum of the frequency features of the first image stored in the first storage unit 102 and the frequency features of the second image stored in the second storage unit 103. Is configured to calculate
  • the complex sine wave determination unit 105 is configured to calculate a score indicating the degree to which the normalized cross power spectrum calculated by the frequency feature synthesis unit 104 is a complex sine wave signal having a single cycle.
  • the complex sine wave determination unit 105 is configured to perform matching between the first image and the second image based on the calculated score. That is, the complex sine wave determination unit 105 sets a score indicating the degree to which the normalized cross power spectrum is a complex sine wave signal having a single period as a score representing the similarity between the first image and the second image.
  • the information presentation unit 106 is configured to present a comparison result of the first image and the second image based on the determination result of the complex sine wave determination unit 105.
  • the presentation of the collation result is, for example, displaying the collation result on the display device, printing a sheet on which the collation result is written on the printing device, or transmitting a message on which the collation result is written to the external terminal on the communication device. Good.
  • the image collating apparatus 100 includes an imaging unit 201 such as a camera, an operation input unit 202 such as a keyboard and a mouse, a screen display unit 203 such as a liquid crystal display, a communication interface unit 204, and a memory. It can be realized by the information processing apparatus 200 having the storage unit 205 such as a hard disk or the like, and the arithmetic processing unit 206 such as one or more microprocessors, and the program 207.
  • the information processing device 200 may be, for example, a personal computer or a smartphone.
  • the program 207 is read from an external computer-readable storage medium into the memory at startup of the information processing apparatus 200 or the like, and controls the operation of the arithmetic processing unit 206 to obtain frequency characteristics on the arithmetic processing unit 206.
  • a functional unit such as the unit 101, the first storage unit 102, the second storage unit 103, the frequency feature combining unit 104, the complex sine wave determination unit 105, and the information presentation unit 106 is realized.
  • FIG. 3 is a flowchart showing an outline of the operation of the image matching device 100.
  • the frequency feature acquisition unit 101 acquires the frequency feature of the first image and the frequency feature of the second image (step S1). When there are a plurality of second images, the frequency feature acquisition unit 101 acquires frequency features from each of the second images.
  • the frequency feature acquisition unit 101 stores the acquired frequency feature of the first image in the first storage unit 102, and stores the frequency feature of the second image in the second storage unit 103.
  • the frequency feature combining unit 104 normalizes the frequency features of the first image stored in the first storage unit 102 and the frequency features of the second image stored in the second storage unit 103.
  • a cross power spectrum is calculated (step S2). If there are a plurality of frequency features of the second image, the frequency feature combining unit 104 calculates a plurality of normalized cross power spectra of the frequency features of the first image and the frequency features of each second image.
  • the complex sine wave determination unit 105 calculates a score indicating the degree to which the normalized cross power spectrum obtained from the frequency feature synthesis unit 104 is a complex sine wave having a single cycle (step S3).
  • the complex sine wave determination unit 105 calculates, for each of the normalized cross power spectra, a score indicating the degree to which the complex sine wave has a single cycle.
  • the complex sine wave determination unit 105 collates the first image with the second image based on the calculated score (step S4).
  • the complex sine wave determination unit 105 checks that the first image and the second image match (identical) if the score satisfies a predetermined reference value. Derive the result. On the other hand, when the score does not satisfy the predetermined criteria, the complex sine wave determination unit 105 derives a matching result indicating that the first image and the second image do not match (is not the same).
  • the complex sine wave determination unit 105 determines that the first image and the above-described best are obtained when the best score among the calculated plurality of scores satisfies a predetermined reference value. A matching result that matches (is the same as) the second image that has become the score is derived. On the other hand, when the best score does not satisfy the predetermined reference value, the complex sine wave determination unit 105 derives a matching result indicating that the first image and the second image do not match (is not the same).
  • the information presentation unit 106 presents the comparison result of the first image and the second image obtained from the complex sine wave determination unit 105 (step S5).
  • FIG. 4 is a block diagram showing an example of the frequency feature acquisition unit 101. As shown in FIG.
  • the frequency feature acquisition unit 101 in this example includes an image acquisition unit 111 and a frequency conversion unit 112.
  • the image acquisition unit 111 is configured to acquire a first image and a second image.
  • the image acquisition unit 111 may be an imaging device represented by, for example, a camera or a scanner.
  • the image acquisition unit 111 is an optical sensor that collects visible light and light of near infrared rays, short wavelength infrared rays, and thermal infrared rays longer in wavelength by a lens and acquires the shape of an object as image data, It is also good.
  • the image acquisition unit 111 may be a sensor that acquires the intensities of infrared light, ultraviolet light, and X-rays, and outputs them as a two-dimensional data array.
  • the image acquisition unit 111 may be configured to acquire the first image and the second image from an external storage medium such as a CD-ROM or a memory.
  • the image acquisition unit 111 may be configured to receive the first image and the second image via the network.
  • the image acquisition unit 111 may be different in the method of acquiring the first image and the method of acquiring the second image.
  • the frequency conversion unit 112 receives the first image and the second image from the image acquisition unit 111, and outputs an image (frequency spectrum image) as a result of performing discrete Fourier transform on each of the images. Is configured.
  • the frequency conversion unit 112 stores the frequency spectrum image of the first image in the first storage unit 102 as the first frequency feature, and the second storage of the frequency spectrum image of the second image as the second frequency feature. It is stored in the part 103.
  • the first image and the second image be two images f (n 1 , n 2 ) of N 1 ⁇ N 2 pixels and an image g (n 1 , n 2 ).
  • the discrete spatial index of the two-dimensional image signal (an integer)
  • M 1 and M 2 are positive integers
  • Equation 1 and Equation 2 the image f (n 1, n 2) a two-dimensional discrete Fourier transform to the first obtained frequency characteristic F (k 1, k 2), and the image g a (n 1, n 2) two-dimensional discrete Fourier
  • Equation 1 and Equation 2 the second frequency feature G (k 1 , k 2 ) obtained by the conversion is given by Equation 1 and Equation 2 shown in FIG.
  • k 1 ⁇ M 1 ,...
  • M 1 and k 2 ⁇ M 2
  • M 2 are discrete frequency indexes (integers).
  • W N1 and W N2 are twiddle factors, which are given by Equations 3 and 4 shown in FIG.
  • a F (k 1 , k 2 ) and A G (k 1 , k 2 ) are amplitude spectra (amplitude components), ⁇ F (k 1 , k 2 ) and ⁇ G (k 1 , k 2 ) are phases. Each represents a spectrum (phase component). Further, n n1 and n2 represent addition over the entire index as shown in Equation 5 of FIG.
  • FIG. 6 shows images of the amplitude components A F (k 1 , k 2 ) and A G (k 1 , k 2 ), the phase components ⁇ F (k 1 , k 2 ) and ⁇ G (k 1 , k 2 ) An example is shown.
  • the frequency feature combining unit 104 generates a normalized cross power spectrum R (k 1 , k 2 ) of the first frequency feature F (k 1 , k 2 ) and the second frequency feature G (k 1 , k 2 ) as It is calculated by the equation 6 shown in FIG.
  • the overline G (k 1 , k 2 ) is the complex conjugate of the second frequency feature G (k 1 , k 2 ).
  • ⁇ F (k 1 , k 2 ) - ⁇ G (k 1 , k 2 ) is a phase difference spectrum of the first frequency feature and the second frequency feature.
  • the frequency feature combining unit 104 determines, for each element of the complex conjugate of the first frequency feature F (k 1 , k 2 ) and the second frequency feature G (k 1 , k 2 ).
  • a normalized cross power spectrum is calculated by obtaining a cross power spectrum, which is a product, and further normalizing with the absolute value.
  • the image g (n 1 , n 2 ) is an image obtained by translating the image f (n 1 , n 2 ) by ( ⁇ 1 , ⁇ 2 ).
  • Equation 9 when the two frequency features F (k 1 , k 2 ) and G (k 1 , k 2 ) to be compared are the same image pair, their normalized cross power spectrum R (k 1 , k 2 ) is expressed as a complex sine wave having a single period per dimension (for each of k 1 and k 2 ).
  • FIG. 9 shows an example of the image of the normalized cross power spectrum R (k 1 , k 2 ) of the same image pair.
  • the normalized cross power spectrum of the same image pair is a wave-like image having a single cycle, with bright areas as peaks and dark areas as valleys.
  • FIG. 10 is a block diagram showing an example of the complex sine wave determination unit 105. As shown in FIG.
  • the complex sine wave determination unit 105 in this example includes a second-order partial differential calculation unit 121 and a determination unit 122.
  • the second-order partial differential calculation unit 121 is configured to calculate a second-order partial differential value for each element of the normalized cross power spectrum obtained from the frequency feature synthesis unit 104.
  • the second-order partial differential value of each element of the normalized cross power spectrum is mathematically expressed by partially differentiating the normalized cross power spectrum with one of the discrete frequency indices k 1 and k 2 and The differential result is calculated by partially differentiating with the other discrete frequency index.
  • the second-order partial differential calculation unit 121 calculates second-order partial differential values for each element of the normalized cross power spectrum as follows. First, the second-order partial differential calculation unit 121 calculates, for each element of the normalized cross power spectrum, a difference between normalized cross power spectrum values with elements adjacent in one discrete frequency index direction.
  • the second-order partial differential calculation unit 121 calculates, for each element of the normalized cross power spectrum, the difference between first-order partial differential values with elements adjacent in the other discrete frequency index direction. Then, the calculated difference value is output as a second-order partial differential value of the element.
  • the second-order partial differential calculation unit 121 for each of the real part and the imaginary part of the normalized cross power spectrum, for example, 3 ⁇ 3 as shown in FIG.
  • a Prewitt filter 901 is applied to obtain a first-order partial differential value.
  • a 3 ⁇ 3 previt filter as illustrated is applied to the acquired first-stage partial values to acquire second-order partial differential values.
  • the filter 901 is a differential in the k 1 direction, smoothing the k 2 direction.
  • the filter 902 is a differential in the k 2 direction, smoothing the k 1 direction.
  • a 3 ⁇ 3 Sobel filter or the like may be used instead of the 3 ⁇ 3 previt filter.
  • the amount of operation for calculating the second-order partial differential value of each element of the normalized cross power spectrum is far less than the amount of operation for performing inverse Fourier transform on the normalized cross power spectrum. A specific example will be described below using equations.
  • Equation 9 shown in FIG. Equation 10 in FIG. 11 shows a calculation example of the second-order partial differential of the normalized cross power spectrum of the same image data, which is calculated by differentiating the right side of Equation 9 by k 1 and k 2 .
  • the absolute value is a constant value regardless of k 1 and k 2 (discrete frequency index).
  • Equation 6 is a calculation example of second-order partial differential values of normalized cross power spectra of different images, which are calculated by differentiating the right side of Equation 6 by k 1 and k 2 .
  • the absolute value changes in accordance with k 1 and k 2 (discrete frequency index).
  • the variance value becomes equal to or greater than a predetermined threshold value.
  • the determination unit 122 takes the absolute value of the second order partial differential value of each element of the normalized cross power spectrum calculated by the second order partial differential calculation unit 121, and calculates the variance of the absolute value.
  • the normalized cross power spectrum is a complex sine wave having a single period in each dimension, as described above, the absolute value of the second-order partial differential value of each element becomes a constant value on the frequency axis.
  • the normalized cross power spectrum is not a complex sine wave having a single period in each dimension, the absolute value of the second-order partial differential value of each element varies irregularly on the frequency axis as described above Do.
  • the variance of the absolute value of the second-order partial differential value of each element of the normalized cross power spectrum can be used as a score indicating the degree to which the normalized cross power spectrum is a complex sine wave having a single period per dimension. .
  • the determination unit 122 collates the first image and the second image based on the calculated variance (score). For example, when the variance (score) is smaller than a predetermined threshold, the determination unit 122 determines that the first image and the second image are the same. On the other hand, when the variance (score) is equal to or greater than the threshold, the determination unit 122 determines that the first image and the second image are not the same.
  • the determination unit 122 selects the second image having the best score and performs the above determination.
  • the variance is used as the score, but a standard deviation may be used as the score, and another value indicating the variance may be used as the score. That is, in the present invention including the present embodiment and all the embodiments described below, taking the variance as the score means not only the original variance as the score, but also taking the standard deviation as the score, and others showing the variance. The score shall be included in the value.
  • the complex sine wave determination unit 105 illustrated in FIG. 10 does not obtain the phase angle. Therefore, compared with the complex sine wave determination unit described in the other embodiment for obtaining the phase angle described later, the amount of operation required for the matching is reduced, and the matching result can be derived at high speed.
  • the matching between the first image and the second image can be determined at high speed.
  • the image matching apparatus 100 according to the present embodiment frequency-converts the first image and the second image to acquire the frequency feature of the first image and the frequency feature of the second image,
  • the two frequency features are combined to calculate a normalized cross power spectrum, and a score indicating the degree to which the normalized cross power spectrum is a complex sine wave having a single period is calculated, and the first one is calculated based on the score.
  • the second image is compared with the second image, and the inverse Fourier transform with a large amount of computation is not required.
  • An image comparison apparatus 300 according to the present embodiment is different from the image comparison apparatus 100 according to the first embodiment in the complex sine wave determination unit 105, and the other parts are the same as the image comparison apparatus 100.
  • FIG. 12 is a block diagram of the complex sine wave determination unit 105 in the image matching device 300 according to the present embodiment.
  • the complex sine wave determination unit 105 in this example includes a phase angle calculation unit 123, an approximate plane calculation unit 124, and a determination unit 125.
  • the phase angle calculation unit 123 is configured to calculate the phase angle ⁇ R (k 1 , k 2 ) of each element of the normalized cross power spectrum obtained from the frequency feature synthesis unit 104.
  • FIG. 13 shows an example of an equation for calculating the phase angle ⁇ R (k 1 , k 2 ). If the real part of each element of the normalized cross power spectrum is given by equation 12 and the imaginary part is given by equation 13, then the phase angle ⁇ R (k 1 , k 2 ) of each element is given by equation 14.
  • the approximate plane calculation unit 124 is configured to calculate an approximate plane from the phase angle of each element of the normalized cross power spectrum obtained by the phase angle calculation unit 123.
  • the approximate plane referred to here is the three-dimensional data (k 1 , k 2 , ⁇ R) of the elements of the normalized cross power spectrum, and each element is k 1 , k 2 and ⁇ R (k 1 , k 2 ) When three-dimensional point group data composed of (k 1 , k 2 )) is used, this means a plane that minimizes the sum of square distances to the point group.
  • the approximate plane is also referred to as the least square plane.
  • FIG. 14 and FIG. 15 show examples of 3-axis graphs showing the distribution of 3-dimensional point group data of normalized cross power spectrum data.
  • the graph has three axes: k 1 axis, k 2 axis, and ⁇ R (k 1 , k 2 ) axis (frequency axis).
  • One dot corresponds to three-dimensional data (k 1 , k 2 , ⁇ R (k 1 , k 2 )) of one element of the normalized cross power spectrum.
  • the normalized cross power spectrum is a complex sine wave having a single period per dimension
  • the phase angle of each element is plotted on a three-axis graph, and as shown in FIG. Is formed. This plane corresponds to an approximate plane.
  • the determination unit 125 obtains the value of the least squared error for the approximate plane from the approximate plane calculation unit 124, and the value of the least squared error is a complex sine wave whose normalized cross power spectrum has a single period in each dimension. Use as a score that indicates a certain degree. Then, the determination unit 125 collates the first image with the second image based on the value (score) of the least square error. For example, when the value (score) of the least square error is smaller than a predetermined threshold, the determination unit 125 determines that the first image and the second image are identical. On the other hand, when the value (score) of the least square error is equal to or more than the threshold, the determination unit 125 determines that the first image and the second image are not the same. When there are a plurality of second images, the determination unit 125 selects the second image having the best score, and performs the above determination.
  • the first image and the second image can be collated at high speed for the same reason as the image collating apparatus 100 according to the first embodiment.
  • An image comparison apparatus 400 according to the present embodiment is different from the image comparison apparatus 100 according to the first embodiment in the complex sine wave determination unit 105, and the other parts are the same as the image comparison apparatus 100.
  • FIG. 16 is a block diagram of the complex sine wave determination unit 105 in the image matching device 400 according to the present embodiment.
  • the complex sine wave determination unit 105 in this example includes a phase angle calculation unit 126, a slope calculation unit 127, and a determination unit 128.
  • phase angle calculation unit 126 calculates the phase angle ⁇ R (k 1 , k 2 ) of each element of the normalized cross power spectrum obtained from the normalized cross power spectrum calculation unit 104. Is configured to calculate
  • the gradient calculation unit 127 obtains the difference between adjacent elements for each element and for each dimension of the phase angle of each element obtained by the phase angle calculation unit 126, and outputs the result as phase angle gradient data. For example, as three-dimensional data corresponding to the elements of the normalized cross power spectrum, element 1 (k 1 , k 2 , ⁇ R (k 1 , k 2 )), element 2 (k 1 +1, k 2 , ⁇ R ( Suppose that there are three three-dimensional data of k 1 +1, k 2 )), element 3 (k 1 , k 2 +1, ⁇ R (k 1 , k 2 +1)).
  • the determination unit 128 calculates the variance of the phase angle gradient data on an element-by-element basis and a dimension-by-dimension basis, and scores the calculated dispersion to indicate the degree to which the normalized cross power spectrum is a complex sine wave having a single cycle per dimension.
  • the phase angle is plotted on the frequency axis to give a planar shape. Therefore, the phase angle gradient always has a constant value on the frequency axis.
  • the normalized cross power spectrum is not a complex sine wave with a single period per dimension, its phase angles are randomly distributed. Thus, the phase angle slope varies randomly on the frequency axis.
  • the variance of the phase angle gradient data from dimension to dimension can be used as a score indicating the extent to which the normalized cross power spectrum is a complex sine wave with a single period per dimension.
  • the determination unit 128 collates the first image with the second image based on the calculated variance (score). For example, when the variance (score) is smaller than a predetermined threshold, the determination unit 128 determines that the first image and the second image are the same. On the other hand, when the variance (score) is equal to or greater than the threshold, the determination unit 128 determines that the first image and the second image are not the same. When there are a plurality of second images, the determination unit 128 selects the second image having the best score, and performs the above determination.
  • the first image and the second image can be collated at high speed for the same reason as the image collating apparatus 100 according to the first embodiment.
  • the image matching apparatus 500 according to the present embodiment is different from the image matching apparatus according to the first to third embodiments in the frequency feature acquisition unit 101, and the other features are in the first to third embodiments. It is the same as the image matching device.
  • FIG. 17 is a block diagram of the frequency feature acquisition unit 101 in the image matching device 500 according to the present embodiment.
  • the frequency feature acquisition unit 101 of this example includes an image acquisition unit 131, a frequency conversion unit 132, a polar coordinate conversion unit 133, and a frequency conversion unit 134.
  • the image acquisition unit 131 is configured to acquire the first image and the second image, as in the image acquisition unit 111 of FIG. 4.
  • the frequency transform unit 132 receives the first image and the second image from the image acquisition unit 131, performs discrete Fourier transform on each of the images, and calculates a two-dimensional amplitude spectrum from the result. It is configured. This two-dimensional amplitude spectrum is invariant to the translation of the original image.
  • the polar coordinate conversion unit 133 receives the two-dimensional amplitude spectrum of the first image and the two-dimensional amplitude spectrum of the second image from the frequency conversion unit 132, performs polar coordinate conversion or log polar coordinate conversion on them, and generates a polar coordinate image. Is configured to calculate This polar coordinate image is called a Fourier-Melin characteristic image. Changes in magnification and rotation of the original image are converted to changes in translation in the Fourier-Mellin feature image.
  • the frequency conversion unit 134 receives the Fourier-Melin characteristic image of the first image and the Fourier-Melin characteristic image of the second image from the polar coordinate conversion unit 133, and performs a discrete Fourier transformation on these to obtain a phase image. It is configured to calculate. This phase image is called a Fourier-Melin frequency spectrum image.
  • the Fourier-Melin frequency spectrum image is invariant to the magnification, rotation, and translation of the original image.
  • the frequency transform unit 134 stores the Fourier-Melin frequency spectrum image of the first image in the first storage unit 102, and stores the Fourier-melin frequency spectrum image of the second image in the second storage unit 103.
  • the first image and the second image can be collated at high speed for the same reason as the image collating apparatus of the first to third embodiments. .
  • the polar coordinate conversion unit 133 in FIG. 17 may be omitted in an environment where there is no magnification or positional deviation of rotation between the first image and the second image.
  • the frequency conversion unit 134 receives the two-dimensional amplitude spectrum of the first image and the two-dimensional amplitude spectrum of the second image from the frequency conversion unit 132 A phase image as a result of discrete Fourier transform is stored in the first storage unit 102 and the second storage unit 103.
  • an image matching apparatus according to a fifth embodiment of the present invention will be described.
  • the area of the frequency feature of the first image and the frequency feature of the second image are used for collation without discrimination.
  • the inside of the area between the frequency feature of the first image and the frequency feature of the second image is discriminated and used for collation.
  • the region of the frequency feature is divided into a plurality of partial regions, and for partial regions that adversely affect matching, the effectiveness is lowered compared to other partial regions, or those partial regions Reduce the impact on matching by not using
  • FIG. 18 is a block diagram of the frequency feature acquisition unit 101 in the image comparison device 600 according to the present embodiment.
  • the frequency feature acquisition unit 101 of this example has a configuration in which a weighting unit 135 is added to the frequency feature acquisition unit 101 shown in FIG.
  • the weighting unit 135 is configured to receive the first frequency feature and the second frequency feature from the frequency conversion unit 134, and assign weights to each of the partial regions.
  • one element of the frequency feature may be one partial area, or a set of a plurality of adjacent elements may be one partial area.
  • the value of the weight to be assigned may be, for example, a value from 0 to 1, and the closer to 0, the lower the degree of effectiveness.
  • the criteria for giving weights to partial areas are determined in advance. For example, if it is found by statistical methods that a frequency band important for collation exists, a partial area corresponding to the frequency band important for collation is given a larger weight than other partial areas The criteria may be used. Alternatively, if statistical methods reveal that there are image components common to a large number of images, use a criterion that gives smaller weight to partial regions containing common image components than other partial regions. You may For example, when an image component common to a plurality of registered images is present, if the same image component as described above is present in the collation image, the collation image and registration relating to the same individual are received under the influence of the common image component.
  • the difference between the score representing the degree of similarity to the image and the score representing the degree of similarity between the matching image and registered image of different individuals is reduced.
  • a criterion for giving smaller weight to a partial area including common image components than other partial areas it is possible to prevent a decrease in the accuracy of individual identification.
  • the frequency feature combining unit 104 removes a partial region whose weight is less than or equal to the reference value, and calculates a normalized cross power spectrum of the first frequency feature and the second frequency feature including the remaining partial regions. There is a way to do it.
  • the frequency feature combining unit 104 determines the product of the first frequency feature element and the second frequency feature complex conjugate element according to the weight given to the original element.
  • a normalized cross power spectrum given a weight (for example, a value obtained by multiplying both weights) is calculated.
  • the complex sine wave determination unit 105 considers the weight added to the elements of the normalized cross power spectrum. For example, when the variance of the absolute value of the gradient of each element of the normalized cross power spectrum is calculated as a score, the smaller weight element has less influence on the variance.
  • the first image and the second image are collated at high speed for the same reason as the image collating apparatuses according to the first to fourth embodiments. be able to.
  • the influence on collation can be reduced.
  • An image comparison apparatus 700 according to the present embodiment is different from the image comparison apparatus 100 according to the first embodiment in the complex sine wave determination unit 105, and the other parts are the same as the image comparison apparatus 100.
  • FIG. 19 is a block diagram showing an example of the complex sine wave determination unit 105 in the image matching device 700 according to the present embodiment.
  • the complex sine wave determination unit 105 in this example includes a slope calculation unit 141 and a determination unit 142.
  • the gradient calculating unit 141 is configured to calculate a gradient for each element of the normalized cross power spectrum obtained from the frequency feature combining unit 104.
  • the gradient of each element of the normalized cross power spectrum is mathematically expressed as a result of partially differentiating the normalized cross power spectrum with one of the discrete frequency indexes k 1 and k 2 and the other discrete It is expressed as a two-dimensional vector in which the results of partial differentiation with the frequency index are arranged.
  • the slope calculation unit 141 calculates the slope of each element of the normalized cross power spectrum as follows. First, the gradient calculation unit 141 calculates, for each element of the normalized cross power spectrum, the difference between normalized cross power spectrum values with elements adjacent in one discrete frequency index direction.
  • the gradient calculation unit 141 calculates, for each element of the normalized cross power spectrum, the difference between normalized cross power spectrum values with elements adjacent in the other discrete frequency index direction. Then, the calculated difference value is held as the second partial differential value of the element. Then, for each element of the normalized cross power spectrum, the gradient calculation unit 141 outputs a two-dimensional vector in which the first partial differential value and the second partial differential value are arranged as the gradient of the element.
  • the gradient calculation unit 141 applies, for example, a 3 ⁇ 3 previt filter 901 as shown in FIG. 24 to each of the real part and the imaginary part.
  • the gradient calculation unit 141 applies a 3 ⁇ 3 previt filter 902 as shown in FIG. 24 to each of the real part and the imaginary part of each element of the normalized cross power spectrum to obtain a second partial derivative. Get the value. Then, for each element of the normalized cross power spectrum, the gradient calculation unit 141 outputs a two-dimensional vector in which the first partial differential value and the second partial differential value are arranged as the gradient of the element. Instead of the 3 ⁇ 3 previt filter, a 3 ⁇ 3 sobel filter or the like may be used.
  • the amount of operation for calculating the gradient of each element of the normalized cross power spectrum is far less than the amount of operation for performing inverse Fourier transform on the normalized cross power spectrum. A specific example will be described below using equations.
  • Equation 9 shown in FIG.
  • Formula 15 of FIG. 20 shows a calculation example of the gradient of the normalized cross power spectrum of the same image data, which is calculated by partially differentiating the right side of Formula 9 with k 1 and k 2 .
  • the absolute value is a constant value regardless of k 1 and k 2 (discrete frequency index) as shown in equation 16 of FIG.
  • the absolute value of the gradient becomes a constant value regardless of k 1 and k 2 , its variance is ideally 0.
  • Equation 6 is a calculation example of the gradients of normalized cross power spectra of different images which are calculated by differentiating the right side of Expression 6 by k 1 and k 2 .
  • the absolute value changes in accordance with k 1 and k 2 (discrete frequency index), as shown in equation 18 of FIG.
  • the variance value becomes equal to or greater than a predetermined threshold value.
  • the determination unit 142 takes the absolute value of the gradient of each element of the normalized cross power spectrum calculated by the gradient calculation unit 141, and calculates the variance of the absolute value.
  • the absolute value of the gradient of each element is a constant value on the frequency axis.
  • the absolute value of the gradient of each element varies irregularly on the frequency axis as described above. For this reason, the variance of the absolute value of the gradient of each element of the normalized cross power spectrum can be used to score the degree to which the normalized cross power spectrum is a complex sine wave having a single period per dimension.
  • the determination unit 142 then collates the first image with the second image based on the calculated variance (score). For example, when the variance (score) is smaller than a predetermined threshold, the determination unit 142 determines that the first image and the second image are the same. On the other hand, the determination unit 142 determines that the first image and the second image are not the same when the variance (score) is equal to or more than the threshold. When there are a plurality of second images, the determination unit 142 selects the second image having the best score, and performs the above determination.
  • the complex sine wave determination unit 105 shown in FIG. 19 does not obtain the phase angle. Therefore, compared with the complex sine wave judging unit according to the other embodiment for obtaining the phase angle described above, the amount of operation required for the matching is reduced, and the matching result can be derived at high speed.
  • the first image and the second image can be collated at high speed for the same reason as the image collating apparatus 100 according to the first embodiment. it can.
  • FIG. 22 is a block diagram of an image matching device 800 according to the present embodiment.
  • the image matching device 800 includes a frequency feature acquisition unit 801, a frequency feature combination unit 802, and a determination unit 803.
  • the frequency feature acquisition unit 801 is configured to acquire the frequency feature of the first image and the frequency feature of the second image.
  • the frequency feature acquisition unit 802 can be configured, for example, in the same manner as the frequency feature acquisition unit 101 of FIG. 1, but is not limited thereto.
  • the frequency feature combining unit 802 is configured to combine the frequency feature of the first image and the frequency feature of the second image to obtain a combined frequency feature.
  • the frequency feature combining unit 802 may be configured in the same manner as the frequency feature combining unit 104 in FIG. 1, but is not limited thereto.
  • the determination unit 803 is configured to calculate a score indicating the degree to which the composite frequency feature is a wave having a single cycle, and to collate the first image with the second image based on the score. .
  • the determination unit 803 can be configured in the same manner as the complex sine wave determination unit 105 in FIG. 1, but is not limited thereto.
  • the image matching device 800 operates as follows. That is, first, the frequency feature acquisition unit 801 acquires the frequency feature of the first image and the frequency feature of the second image. Next, the frequency feature combining unit 802 combines the frequency feature of the first image and the frequency feature of the second image to obtain a combined frequency feature. Next, the determination unit 803 calculates a score indicating the degree to which the combined frequency feature is a wave having a single cycle. Next, the determination unit 803 collates the first image with the second image based on the score.
  • the matching between the first image and the second image can be determined at high speed.
  • the image matching apparatus 800 according to the present embodiment frequency-converts the first image and the second image to acquire the frequency feature of the first image and the frequency feature of the second image, A combined frequency feature is calculated by combining the two frequency features, a score indicating the degree to which the combined frequency feature is a wave having a single cycle is calculated, and the first image and the second image are calculated based on the score. And it does not require a large amount of inverse Fourier transform.
  • the normalized cross power spectrum may be calculated by the following method.
  • the frequency feature acquisition unit 101 performs frequency conversion such as Fourier transform on the first image and the second image, and performs normalization using the amplitude components to perform normalization.
  • frequency feature F (k 1, k 2)
  • G (k 1, k 2)
  • the frequency feature combining unit 104 calculates a normalized cross power spectrum by combining the normalized frequency features.
  • the frequency feature combining unit 104 is a complex conjugate of the normalized first frequency feature F (k 1 , k 2 ) and the normalized second frequency feature G (k 1 , k 2 )
  • the normalized cross power spectrum is calculated by obtaining the cross power spectrum which is a product of each element of.
  • the frequency feature combining unit 104 is different from the method shown in Equation 6 of FIG. 7, and there is no processing for normalizing with an absolute value.
  • each normalized frequency feature is stored in the second storage unit in advance. , Can perform the matching process at high speed. The reason is that, at the time of matching, the normalized cross power spectrum can be calculated simply by combining the normalized frequency feature of the first image and the normalized frequency feature of the second image, and the absolute value is normalized.
  • the present invention can be used in the field of performing collation of two images, and in particular, differences in naturally occurring fine patterns generated in the same manufacturing process, such as fine irregularities and patterns on the product surface and random patterns on the material surface.
  • an imaging device such as a camera or the like and recognizing the fine pattern, it can be used in the field of individual identification and management of individual products.
  • An image collating apparatus for collating a first image and a second image, comprising: A frequency feature acquisition unit that acquires frequency features of the first image and frequency features of the second image; A frequency feature combining unit that combines the frequency features of the first image and the frequency features of the second image to generate a combined frequency feature; A matching unit that calculates a score indicating the degree to which the composite frequency feature is a wave having a single cycle, and performs matching between the first image and the second image based on the score; apparatus.
  • the frequency feature combining unit calculates a normalized cross power spectrum of the frequency feature of the first image and the frequency feature of the second image as the combined frequency feature.
  • the image matching device according to appendix 1.
  • the determination unit calculates, as the score, a score indicating a degree to which the combined frequency feature is a complex sine wave having a single cycle.
  • the image matching device according to Appendix 1 or 2.
  • the determination unit calculates the variance of the absolute value of the gradient of each element of the combined frequency feature as the score.
  • the image collating apparatus according to any one of appendices 1 to 3.
  • the determination unit calculates, as the score, a variance of absolute values of second-order partial differential values of each element of the combined frequency feature.
  • the image collating apparatus according to any one of appendices 1 to 3.
  • the determination unit obtains a phase angle of each element of the combined frequency feature, and calculates a degree to which the phase angle is linear with respect to a frequency as the score.
  • the image collating apparatus according to any one of appendices 1 to 3.
  • the determination unit obtains an approximate plane fitted to the phase angle of each element of the combined frequency feature, and calculates the least square error of the phase angle of each element with respect to the approximate plane as the score.
  • the image matching device according to appendix 5.
  • the determination unit obtains a gradient that is a difference of phase angles between elements of the combined frequency feature, and calculates a variance of the gradient as the score.
  • the image matching device according to appendix 5.
  • the frequency feature acquisition unit An image acquisition unit that acquires the first image and the second image; A frequency conversion unit that performs frequency conversion processing on the first image and the second image to calculate frequency characteristics of the first image and frequency characteristics of the second image; The image collating apparatus according to any one of appendices 1 to 7.
  • the frequency feature acquisition unit An image acquisition unit that acquires the first image and the second image; A first frequency conversion unit that performs frequency conversion processing on the first image and the second image to calculate an amplitude spectrum of the first image and an amplitude spectrum of the second image; Polar coordinate transformation is performed on the amplitude spectrum of the first image and the amplitude spectrum of the second image to calculate the Fourier-Melin characteristic image of the first image and the Fourier-Melin characteristic image of the second image Polar coordinate conversion unit, The Fourier-Melin characteristic image of the first image and the Fourier-Melin characteristic image of the second image are subjected to frequency conversion processing to obtain the Fourier-Melin frequency spectrum image of the first image and the second image A second frequency change unit for calculating a Fourier-Melin frequency spectrum image; The image collating apparatus according to any one of appendices 1 to 7.
  • the frequency feature acquisition unit divides a frequency feature of a first image and a frequency feature of the second image into a plurality of partial areas, and gives the degree of effectiveness according to calculation of the score for each of the partial areas.
  • the image collating apparatus according to any one of appendices 1 to 9.
  • the first image is a collation image obtained by imaging an object to be collated
  • the second image is one of a plurality of registered images acquired by imaging a plurality of objects to be registered One
  • the image collating apparatus according to any one of appendices 1 to 10.
  • the determination unit generates a matching result indicating that the first image and the second image match if the score satisfies a predetermined reference value.
  • the image collating apparatus according to any one of appendices 1 to 11.
  • the output device further includes an output unit that outputs the result of the comparison of the determination unit, The image collating apparatus according to any one of appendices 1 to 12.
  • An image matching method for matching a first image with a second image comprising: Obtaining frequency features of the first image and frequency features of the second image; Combining the frequency features of the first image and the frequency features of the second image to generate a combined frequency feature; Calculating a score indicating the degree to which the combined frequency feature is a wave with a single period, An image matching method for matching the first image with the second image based on the score.
  • a normalized cross power spectrum of the frequency feature of the first image and the frequency feature of the second image is calculated as the combined frequency feature.
  • the first image is a collation image obtained by imaging an object to be collated
  • the second image is one of a plurality of registered images acquired by imaging a plurality of objects to be registered One
  • the determination unit generates a matching result indicating that the first image and the second image match if the score satisfies a predetermined reference value.
  • the image matching method according to any one of appendices 14 to 24.
  • the collation outputs the result of the collation.
  • a computer for matching the first image and the second image A frequency feature acquisition unit that acquires frequency features of the first image and frequency features of the second image; A frequency feature combining unit that combines the frequency features of the first image and the frequency features of the second image to generate a combined frequency feature; A determination unit that calculates a score indicating the degree to which the combined frequency feature is a wave having a single cycle, and collating the first image and the second image based on the score; To make it work.
  • Image matching device 101 Frequency feature acquisition unit 102 First storage unit 103 Second storage unit 104 Frequency feature combination unit 105 Complex sine wave judgment unit 106 Information presentation unit 111 Image acquisition unit 112 Frequency conversion unit 121 second-order partial differential calculation unit 122 determination unit 123 phase angle calculation unit 124 approximate plane calculation unit 125 determination unit 126 phase angle calculation unit 127 gradient calculation unit 128 determination unit 131 acquisition of image Unit 132: Frequency conversion unit 133: Polar coordinate conversion unit 134: Frequency conversion unit 135: Weighting unit 141: Gradient calculation unit 142: Determination unit 200: Information processing device 201: Imaging unit 202: Operation input unit 203: Screen display unit 204 Communication interface unit 205 ... storage unit 206 ... operation processing unit 207 ... program 300 ... image matching device 400 ... image matching device 500 ... image matching Location 600 ... image matching system 700 ... image collation device 800 ... image collation device 801 ... frequency characteristic obtaining section 802 ... frequency characteristic combining section 803 ... determination unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

第１の画像と第２の画像とを照合する画像照合装置は、周波数特徴取得部と周波数特徴合成部と判定部とを備える。周波数特徴取得部は、第１の画像の周波数特徴と第２の画像の周波数特徴とを取得する。周波数特徴合成部は、第１の画像の周波数特徴と第２の画像の周波数特徴とを合成して合成周波数特徴を生成する。判定部は、合成周波数特徴が単一の周期を持つ波である程度を示すスコアを算出し、スコアに基づいて第１の画像と第２の画像との照合を行う。

Description

画像照合装置
　本発明は、画像照合装置、画像照合方法、および記録媒体に関する。
　個体識別などを目的として照合画像と登録画像との照合を行う画像照合方法が各種提案ないし実用化されている。
　例えば、特許文献１では、先ず、照合画像と登録画像に対してフーリエ変換を用いて周波数領域へ変換する。次に、上記変換によって得られた照合画像および登録画像の各々の複素スペクトルからクロスパワースペクトルを算出する。次に、上記クロスパワースペクトルに対して周波数毎の重みフィルタを用いてパワー成分を消去して位相成分のみに正規化する。次に、上記正規化されたものに対して逆フーリエ変換を用いて実座標領域上の相関係数を算出する。次に、上記算出された相関係数が最大値となる座標を用いてパターンマッチング判定を行う。
　また、特許文献２では、予め登録画像にフーリエ変換を施して登録フーリエ画像を作成しておく。次に、照合画像にフーリエ変換を施して照合フーリエ画像を作成する。次に、照合フーリエ画像と予め作成しておいた登録フーリエ画像とを合成する。次に、上記の合成フーリエ画像に対して振幅抑制処理を行った上で、逆フーリエ変換を施す。次に、逆フーリエ変換の施された合成フーリエ画像に出現する所定の相関成分エリアよりその相関成分の強度の高い上位ｎ画素を抽出する。そして、抽出したｎ画素の相関成分の強度に基づいて、登録画像と照合画像とが一致するか否かを判断する。
　一方、本発明に関連する他の技術として、以下のものが知られている。
　特許文献３には、互いに同一である２つの画像間の位置ずれを測定する技術が記載されている。具体的には、照合される２つのＮ次元のパターンに対応するパターン信号のそれぞれに、互いに非平行な位相進行方向を示すｍ種類（ｍはｍ≧Ｎを満たす整数）の位相情報を付加する。次に、同じ位相情報が付加されたｍ組のパターン信号間の相関を求める。そして、得られたｍ組の相関の位相情報に基づき、パターン間の位置ずれを求める。特許文献３は、互いに同一である２つのＮ次元のパターン間の位置ずれを測定する技術であり、互いに同一か否か不明な２つのＮ次元のパターンの照合を行う技術ではない。
特開２００８－１５８４８号公報 特許第３２５４６２２号公報 特許第５５５８１２７号公報
　上述した特許文献１および特許文献２に記載されるように、２つの画像の照合を行う際、２つの画像の周波数特徴を合成し、更にその合成後の周波数特徴を逆フーリエ変換した結果を利用することが一般的であった。しかし、逆フーリエ変換の演算量は多い。そのため、２つの画像の照合を高速に行うのは困難であった。
　本発明の目的は、上述した課題を解決する画像照合装置を提供することにある。
　本発明の一形態に係る画像照合装置は、
　第１の画像と第２の画像とを照合する画像照合装置であって、
　前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを取得する周波数特徴取得部と、
　前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを合成して合成周波数特徴を生成する周波数特徴合成部と、
　前記合成周波数特徴が単一の周期を持つ波である程度を示すスコアを算出し、前記スコアに基づいて前記第１の画像と前記第２の画像との照合を行う判定部と、を備える。
　本発明の他の実施形態に係る画像照合方法は、
　第１の画像と第２の画像とを照合する画像照合方法であって、
　前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを取得し、
　前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを合成して合成周波数特徴を生成し、
　前記合成周波数特徴が単一の周期を持つ波である程度を示すスコアを算出し、
　前記スコアに基づいて前記第１の画像と前記第２の画像との照合を行う。
　本発明の他の形態に係るコンピュータ読み取り可能な記録媒体は、
　第１の画像と第２の画像とを照合するコンピュータに、
　前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを取得する処理と、
　前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを合成して合成周波数特徴を生成する処理と、
　前記合成周波数特徴が単一の周期を持つ波である程度を示すスコアを算出し、前記スコアに基づいて前記第１の画像と前記第２の画像との照合を行う処理と、
を行わせるためのプログラムを記録する。
　本発明は上述した構成を有することにより、第１の画像と第２の画像との照合を高速に行うことができる。
本発明の第１の実施形態に係る画像照合装置のブロック図である。 本発明の第１の実施形態に係る画像照合装置のハードウェア構成の一例を示すブロック図である。 本発明の第１の実施形態に係る画像照合装置の動作の概略を示すフローチャートである。 本発明の第１の実施形態に係る画像照合装置における周波数特徴取得部の一例を示すブロック図である。 第１の画像の周波数特徴と第２の画像の周波数特徴とを示す数式の例を示す図である。 振幅成分ＡF（ｋ1，ｋ2）およびＡG（ｋ1，ｋ2）、位相成分θF（ｋ1，ｋ2）およびθG（ｋ1，ｋ2）のイメージの例を示す図である。 正規化クロスパワースペクトルを算出する数式の例を示す図である。 位置ずれを伴う同一画像ペアの周波数特徴Ｆ（ｋ1，ｋ2）、周波数特徴Ｇ（ｋ1，ｋ2）、および正規化クロスパワースペクトルＲ（ｋ1，ｋ2）を示す数式の例を示す図である。 同一画像ペアの正規化クロスパワースペクトルＲ（ｋ1，ｋ2）のイメージの例を示す図である。 本発明の第１の実施形態に係る画像照合装置における複素正弦波判定部の一例を示すブロック図である。 正規化クロスパワースペクトルの２階偏微分の計算例を示す図である。 本発明の第２の実施形態に係る画像照合装置における複素正弦波判定部の一例を示すブロック図である。 正規化クロスパワースペクトルの各要素の位相角を算出する式の例を示す図である。 正規化クロスパワースペクトルが次元ごとに単一の周期を持つ複素正弦波である場合における正規化クロスパワースペクトルデータの３次元点群データの分布を示す３軸グラフの例を示す図である。 正規化クロスパワースペクトルが次元ごとに単一の周期を持つ複素正弦波でない場合における正規化クロスパワースペクトルデータの３次元点群データの分布を示す３軸グラフの例を示す図である。 本発明の第３の実施形態に係る画像照合装置における複素正弦波判定部の一例を示すブロック図である。 本発明の第４の実施形態に係る画像照合装置における周波数特徴取得部の一例を示すブロック図である。 本発明の第５の実施形態に係る画像照合装置における周波数特徴取得部の一例を示すブロック図である。 本発明の第６の実施形態に係る画像照合装置における複素正弦波判定部の一例を示すブロック図である。 同一画像ペアの正規化クロスパワースペクトルの勾配およびその絶対値の計算例を示す図である。 異なる画像ペアの正規化クロスパワースペクトルの勾配およびその絶対値の計算例を示す図である。 本発明の第７の実施形態に係る画像照合装置のブロック図である。 ２階偏微分算出部の処理の一例を示す図である。 勾配算出部の処理の一例を示す図である。
　次に本発明の実施の形態について図面を参照して詳細に説明する。
[第１の実施形態]
　図１は、本発明の第１の実施形態に係る画像照合装置のブロック図である。本実施形態に係る画像照合装置１００は、第１の画像と第２の画像との照合を行うように構成されている。図１を参照すると、画像照合装置１００は、周波数特徴取得部１０１と、第１の記憶部１０２と、第２の記憶部１０３と、周波数特徴合成部１０４と、複素正弦波判定部１０５と、情報提示部１０６とを備えている。
　周波数特徴取得部１０１は、第１の画像と第２の画像との周波数特徴を取得するように構成されている。周波数特徴とは、画像に対してフーリエ変換（離散フーリエ変換）を施すことによって周波数領域に変換した結果の２次元データ（２次元配列）を指す。フーリエ変換以外の周波数変換、例えばウェーブレット変換を行うものであってもよい。
　ここで、第１の画像は、例えば、照合対象の物体を撮像して得られた照合画像である。また、第２の画像は、複数の登録対象の物体を撮像して得られた複数の登録画像のうちの１つである。第２の画像は１つ或いは複数存在する。また、物体とは、例えば工業製品や商品等である。物体の表面には、微細凹凸や紋様、素材表面のランダムパターン等の、同一製造過程で生じる自然発生的な微細なパターンが存在する。このような物体表面のパターンの差異を、カメラ等の撮像装置を用いて画像として取得し、その微細パターンを認識することで、製品個々の個体識別や管理を行うことができる。本実施形態は、そのような個体識別のための画像照合技術に関する。
　第１の記憶部１０２は、第１の画像の周波数特徴を記憶するように構成されている。第２の記憶部１０３は、第２の画像の周波数特徴を記憶するように構成されている。
　周波数特徴合成部１０４は、第１の記憶部１０２に格納された第１の画像の周波数特徴と、第２の記憶部１０３に格納された第２の画像の周波数特徴との正規化クロスパワースペクトルを算出するように構成されている。
　複素正弦波判定部１０５は、周波数特徴合成部１０４によって算出された正規化クロスパワースペクトルが単一の周期を持つ複素正弦波信号である程度を示すスコアを算出するように構成されている。また複素正弦波判定部１０５は、算出したスコアに基づいて第１の画像と第２の画像との照合を行うように構成されている。即ち、複素正弦波判定部１０５は、正規化クロスパワースペクトルが単一の周期を持つ複素正弦波信号である程度を示すスコアを、第１の画像と第２の画像との類似度を表すスコアとして利用する。
　情報提示部１０６は、複素正弦波判定部１０５の判定結果に基づき、第１の画像と第２の画像との照合結果を提示するように構成されている。照合結果の提示は、照合結果を表示装置に表示し、または照合結果を記載した用紙を印刷装置で印刷し、または照合結果を記載したメッセージを通信装置で外部端末へ送信することなどであってよい。
　画像照合装置１００は、例えば図２に示すように、カメラ等の撮像部２０１と、キーボードやマウスなどの操作入力部２０２と、液晶ディスプレイ等の画面表示部２０３と、通信インタフェース部２０４と、メモリやハードディスク等の記憶部２０５と、１以上のマイクロプロセッサ等の演算処理部２０６とを有する情報処理装置２００と、プログラム２０７とで実現することができる。情報処理装置２００は、例えばパーソナルコンピュータやスマートフォンであってよい。
　プログラム２０７は、情報処理装置２００の立ち上げ時等に外部のコンピュータ読み取り可能な記憶媒体からメモリに読み込まれ、演算処理部２０６の動作を制御することにより、演算処理部２０６上に、周波数特徴取得部１０１、第１の記憶部１０２、第２の記憶部１０３、周波数特徴合成部１０４、複素正弦波判定部１０５、および情報提示部１０６といった機能的手段を実現する。
　次に、本実施形態に係る画像照合装置１００の動作の概略を説明する。
　図３は、画像照合装置１００の動作の概略を示すフローチャートである。まず、周波数特徴取得部１０１は、第１の画像の周波数特徴と第２の画像の周波数特徴とを取得する（ステップＳ１）。第２の画像が複数存在する場合、周波数特徴取得部１０１は、その各々の第２の画像から周波数特徴を取得する。周波数特徴取得部１０１は、取得した第１の画像の周波数特徴を第１の記憶部１０２に保存し、第２の画像の周波数特徴を第２の記憶部１０３に保存する。
　次に、周波数特徴合成部１０４は、第１の記憶部１０２に格納された第１の画像の周波数特徴と、第２の記憶部１０３に格納された第２の画像の周波数特徴との正規化クロスパワースペクトルを算出する（ステップＳ２）。第２の画像の周波数特徴が複数存在する場合、周波数特徴合成部１０４は、第１の画像の周波数特徴と各々の第２の画像の周波数特徴との複数の正規化クロスパワースペクトルを算出する。
　次に、複素正弦波判定部１０５は、周波数特徴合成部１０４から得た正規化クロスパワースペクトルが単一の周期を持つ複素正弦波である程度を示すスコアを算出する（ステップＳ３）。正規化クロスパワースペクトルが複数存在する場合、複素正弦波判定部１０５は、その各々の正規化クロスパワースペクトルについて、単一の周期を持つ複素正弦波である程度を示すスコアを算出する。
　次に、複素正弦波判定部１０５は、算出したスコアに基づいて、第１の画像と第２の画像との照合を行う（ステップＳ４）。
　例えば、第２の画像が１つの場合、複素正弦波判定部１０５は、スコアが所定の基準値を満たす場合、第１の画像と第２の画像とは一致する（同一である）旨の照合結果を導出する。他方、複素正弦波判定部１０５は、スコアが所定の基準を満たさない場合、第１の画像と第２の画像とは一致しない（同一でない）旨の照合結果を導出する。
　また、例えば、第２の画像が複数存在する場合、複素正弦波判定部１０５は、算出した複数のスコアのうちの最良のスコアが所定の基準値を満たす場合、第１の画像と上記最良のスコアとなった第２の画像とは一致する（同一である）旨の照合結果を導出する。他方、複素正弦波判定部１０５は、上記最良のスコアが所定の基準値を満たさない場合、第１の画像と第２の画像とは一致しない（同一でない）旨の照合結果を導出する。
　次に、情報提示部１０６は、複素正弦波判定部１０５から得た第１の画像と第２の画像との照合結果を提示する（ステップＳ５）。
　次に、本実施形態に係る画像照合装置１００の各部を詳細に説明する。
　先ず、周波数特徴取得部１０１について詳細に説明する。
　図４は、周波数特徴取得部１０１の一例を示すブロック図である。この例の周波数特徴取得部１０１は、画像取得部１１１と、周波数変換部１１２とで構成される。
　画像取得部１１１は、第１の画像と第２の画像とを取得するように構成されている。画像取得部１１１は、例えばカメラやスキャナ等に代表される撮影機器であってよい。或いは画像取得部１１１は、可視光線と、それより波長の長い近赤外線や短波長赤外線、熱赤外線領域までの光をレンズで集め、対象物の形状などを画像データとして取得する光学センサであってもよい。或いは、画像取得部１１１は、赤外光や紫外光、Ｘ線の強度を取得し、２次元データ配列として出力するセンサであってもよい。或いは、画像取得部１１１は、ＣＤ－ＲＯＭやメモリ等の外部記憶媒体から第１の画像および第２の画像を取得するように構成されていてもよい。或いは、画像取得部１１１は、ネットワーク経由で第１の画像および第２の画像を受け取るように構成されていてもよい。また、画像取得部１１１は、第１の画像を取得する方法と第２の画像を取得する方法とが異なっていてもよい。
　周波数変換部１１２は、画像取得部１１１から第１の画像と第２の画像とを受け取り、その各々の画像に対して、離散フーリエ変換を施した結果の画像（周波数スペクトル画像）を出力するように構成されている。周波数変換部１１２は、第１の画像の周波数スペクトル画像を第１の周波数特徴として第１の記憶部１０２に保存し、第２の画像の周波数スペクトル画像を第２の周波数特徴として第２の記憶部１０３に保存する。
　次に、周波数特徴取得部１０１が取得する第１の画像と第２の画像との周波数特徴の例を、説明する。
　第１の画像および第２の画像を、Ｎ1×Ｎ2ピクセルの２つの画像ｆ（ｎ1，ｎ2）および画像ｇ（ｎ1，ｎ2）とする。また、２次元画像信号の離散空間インデックス（整数）を、ｎ1＝－Ｍ1，…，Ｍ1およびｎ2＝－Ｍ2，…，Ｍ2とする。ただし、Ｍ1およびＭ2は正の整数であり、Ｎ1＝２Ｍ1＋１およびＮ2＝２Ｍ2＋１である。そうすると、画像ｆ（ｎ1，ｎ2）を２次元離散フーリエ変換して得られる第１の周波数特徴Ｆ（ｋ1，ｋ2）、および画像ｇ（ｎ1，ｎ2）を２次元離散フーリエ変換して得られる第２の周波数特徴Ｇ（ｋ1，ｋ2）は、図５に示す式１、式２で与えられる。式１、式２において、ｋ1＝－Ｍ1，…，Ｍ1およびｋ2＝－Ｍ2，…，Ｍ2は離散周波数インデックス（整数）である。また、ＷN1およびＷN2は回転因子であり、図５に示す式３、式４で与えられる。また、ＡF（ｋ1，ｋ2）およびＡG（ｋ1，ｋ2）は振幅スペクトル（振幅成分）、θF（ｋ1，ｋ2）およびθG（ｋ1，ｋ2）は位相スペクトル（位相成分）をそれぞれ表す。また、Σn1,n2は、図５の式５に示すようにインデックス全域にわたる加算を表す。
　図６は、振幅成分ＡF（ｋ1，ｋ2）およびＡG（ｋ1，ｋ2）、位相成分θF（ｋ1，ｋ2）およびθG（ｋ1，ｋ2）のイメージの例を示す。
　次に、周波数特徴合成部１０４について詳細に説明する。
　周波数特徴合成部１０４は、第１の周波数特徴Ｆ（ｋ1，ｋ2）と第２の周波数特徴Ｇ（ｋ1，ｋ2）の正規化クロスパワースペクトルＲ（ｋ1，ｋ2）を、図７に示す式６により算出する。式６において、オーバーラインＧ（ｋ1，ｋ2）は第２の周波数特徴Ｇ（ｋ1，ｋ2）の複素共役である。また、θF（ｋ1，ｋ2）－θG（ｋ1，ｋ2）は第１の周波数特徴と第２の周波数特徴の位相差スペクトルである。式６に示されるように、周波数特徴合成部１０４は、第１の周波数特徴Ｆ（ｋ1，ｋ2）と、第２の周波数特徴Ｇ（ｋ1，ｋ2）の複素共役の要素ごとの積である、クロスパワースペクトルを求め、さらにその絶対値で正規化することにより、正規化クロスパワースペクトルを算出する。
　ところで、画像ｆ（ｎ1，ｎ2）と画像ｇ（ｎ1，ｎ2）が位置ずれを伴う同一画像ペアの場合、それらの周波数特徴Ｆ（ｋ1，ｋ2）、周波数特徴Ｇ（ｋ1，ｋ2）、ならびにその２つの正規化クロスパワースペクトルＲ（ｋ1，ｋ2）は、図８に示す式７、式８、式９で与えられる。ここで、δ1，δ2は画像ｆ（ｎ1，ｎ2）と画像ｇ（ｎ1，ｎ2）間の位置ずれ量である。即ち、画像ｇ（ｎ1，ｎ2）は画像ｆ（ｎ1，ｎ2）を（δ1，δ2）だけ平行移動させた画像である。式９に示されるように、照合を行う２つの周波数特徴Ｆ（ｋ1，ｋ2）、Ｇ（ｋ1，ｋ2）が同一画像ペアの場合、その正規化クロスパワースペクトルＲ（ｋ1，ｋ2）は、次元ごと（ｋ1，ｋ2ごと）に単一の周期を持つ複素正弦波として表現される。これに対して、照合を行う２つの周波数特徴Ｆ（ｋ1，ｋ2）、Ｇ（ｋ1，ｋ2）が同一画像ペアでない場合、その正規化クロスパワースペクトルＲ（ｋ1，ｋ2）は、次元ごとに単一の周期を持つ複素正弦波にはならない。
　図９は、同一画像ペアの正規化クロスパワースペクトルＲ（ｋ1，ｋ2）のイメージの例を示す。このように同一画像ペアの正規化クロスパワースペクトルは、明るい箇所を山、暗い箇所を谷に見立てると、単一の周期を持つ波のようなイメージである。
　次に、複素正弦波判定部１０５について詳細に説明する。
　図１０は、複素正弦波判定部１０５の一例を示すブロック図である。この例の複素正弦波判定部１０５は、２階偏微分算出部１２１と、判定部１２２とで構成される。
　２階偏微分算出部１２１は、周波数特徴合成部１０４から得た正規化クロスパワースペクトルの要素ごとに２階偏微分値を算出するように構成されている。正規化クロスパワースペクトルの各要素の２階偏微分値は、数式的には、正規化クロスパワースペクトルを、離散周波数インデックスｋ1，ｋ2の何れか一方の離散周波数インデックスで偏微分し、その微分結果を他方の離散周波数インデックスで偏微分することによって算出される。実際には、２階偏微分算出部１２１は、正規化クロスパワースペクトルの要素ごとの２階偏微分値を以下のようにして算出する。先ず、２階偏微分算出部１２１は、正規化クロスパワースペクトルの要素ごとに、一方の離散周波数インデックス方向に隣接する要素との正規化クロスパワースペクトル値どうしの差分を算出する。そして、算出した差分値を当該要素の１階偏微分値として保持する。次に、２階偏微分算出部１２１は、正規化クロスパワースペクトルの要素ごとに、他方の離散周波数インデックス方向に隣接する要素との１階偏微分値どうしの差分を算出する。そして、算出した差分値を当該要素の２階偏微分値として出力する。或いは、より好ましくは、２階偏微分算出部１２１は、図２３に示すように、正規化クロスパワースペクトルの要素ごとに、その実部、虚部それぞれに対して、例えば図示するような３×３プレヴィット（Ｐｒｅｗｉｔｔ）フィルタ９０１を適用して１階偏微分値を取得する。次に、その取得した１階編部分値に対して図示するような３×３プレヴィットフィルタを適用して２階偏微分値を取得する。ここで、フィルタ９０１はｋ1方向に微分、ｋ2方向に平滑化を行う。またフィルタ９０２はｋ2方向に微分、ｋ1方向に平滑化を行う。３×３プレヴィットフィルタの代わりに、３×３ソーベル（Ｓｏｂｅｌ）フィルタ等を使用してもよい。正規化クロスパワースペクトルの各要素の２階偏微分値を算出するための演算量は、正規化クロスパワースペクトルを逆フーリエ変換する演算量に比較して遥かに少ない。具体例を、数式を用いて以下に説明する。
　前述したように、照合を行う２つの周波数特徴が、周波数変換前の画像データ上において、位置ずれを伴う同一画像（同一のパターン）の場合、第１の周波数特徴Ｆ（ｋ1，ｋ2）と第２の周波数特徴Ｇ（ｋ1，ｋ2）の正規化クロスパワースペクトルＲ（ｋ1，ｋ2）は、図８に示す式９で与えられる。図１１の式１０は、式９の右辺をｋ1，ｋ2で微分することによって算出した、同一画像データの正規化クロスパワースペクトルの２階偏微分の計算例を示す。その絶対値は、ｋ1，ｋ2（離散周波数インデックス）によらず一定値となる。このように、２階偏微分値の絶対値がｋ1，ｋ2によらずに一定値となるので、その分散は予め定めた閾値よりも小さくなる。
　これに対して、照合を行う２つの周波数特徴が、互いに異なる画像（異なるパターン）の場合、第１の周波数特徴Ｆ（ｋ1，ｋ2）と第２の周波数特徴Ｇ（ｋ1，ｋ2）の正規化クロスパワースペクトルＲ（ｋ1，ｋ2）は、図７に示す式６で与えられる。図１１の式１１は、式６の右辺をｋ1，ｋ2で微分することによって算出した、互いに異なる画像の正規化クロスパワースペクトルの２階偏微分値の計算例である。その絶対値は、ｋ1，ｋ2（離散周波数インデックス）に応じて値が変化する。このように、２階偏微分値の絶対値がｋ1，ｋ2に応じて変化するので、その分散値は予め定めた閾値以上となる。
　判定部１２２は、２階偏微分算出部１２１が算出した正規化クロスパワースペクトルの各要素の２階偏微分値の絶対値をとり、その絶対値の分散を算出する。正規化クロスパワースペクトルが次元ごとに単一の周期を持つ複素正弦波である場合、前述したように、各要素の２階偏微分値の絶対値は、周波数軸上で一定値となる。一方、正規化クロスパワースペクトルが、次元ごとに単一の周期を持つ複素正弦波でない場合、各要素の２階偏微分値の絶対値は、前述したように、周波数軸上で不規則に変化する。このため、正規化クロスパワースペクトルの各要素の２階偏微分値の絶対値の分散は、正規化クロスパワースペクトルが次元ごとに単一の周期を持つ複素正弦波である程度を示すスコアに利用できる。そして判定部１２２は、算出した分散（スコア）に基づいて、第１の画像と第２の画像との照合を行う。例えば、判定部１２２は、分散（スコア）が、あらかじめ定めた閾値より小さい場合は、第１の画像と第２の画像とは同一であると判定する。一方、判定部１２２は、分散（スコア）が、上記閾値以上の場合は、第１の画像と第２の画像とは同一でないと判定する。第２の画像が複数存在する場合、判定部１２２は、最良のスコアを有する第２の画像を選択し、上記の判定を行う。ここでは、分散をスコアとしたが、標準偏差をスコアとしてもよく、また分散を示す他の値をスコアとしてもよい。即ち、本実施形態および以下の全ての実施形態を含む本発明において、分散をスコアとするとは、本来の分散をスコアとするだけでなく、標準偏差をスコアとすることや、分散を示す他の値をスコアとすることも含まれるものとする。
　なお、図１０に示した複素正弦波判定部１０５は、位相角を求めていない。そのため、後述する位相角を求める他の実施形態で説明する複素正弦波判定部と比較して、照合に要する演算量が少なくなり、照合結果を高速に導出することができる。
　このように本実施形態に係る画像照合装置１００によれば、第１の画像と第２の画像との照合を高速に判定することができる。その理由は、本実施形態に係る画像照合装置１００は、第１の画像と第２の画像とを周波数変換して第１の画像の周波数特徴と第２の画像の周波数特徴とを取得し、この２つの周波数特徴を合成して正規化クロスパワースペクトルを算出し、この正規化クロスパワースペクトルが単一の周期を持つ複素正弦波である程度を示すスコアを算出し、そのスコアに基づいて第１の画像と第２の画像との照合を行っており、演算量の多い逆フーリエ変換を必要としないためである。
[第２の実施形態]
　次に、本発明の第２の実施形態に係る画像照合装置について説明する。本実施形態に係る画像照合装置３００は、第１の実施形態に係る画像照合装置１００と比較して、複素正弦波判定部１０５が相違し、それ以外は画像照合装置１００と同じである。
　図１２は、本実施形態に係る画像照合装置３００における複素正弦波判定部１０５のブロック図である。この例の複素正弦波判定部１０５は、位相角算出部１２３と、近似平面算出部１２４と、判定部１２５とから構成される。
　位相角算出部１２３は、周波数特徴合成部１０４から得た正規化クロスパワースペクトルの各要素の位相角∠Ｒ（ｋ1，ｋ2）を算出するように構成されている。図１３は、位相角∠Ｒ（ｋ1，ｋ2）を算出する式の例を示す。正規化クロスパワースペクトルの各要素の実部が式１２で与えられ、虚部が式１３で与えられる場合、各要素の位相角∠Ｒ（ｋ1，ｋ2）は、式１４で与えられる。
　近似平面算出部１２４は、位相角算出部１２３で得られた正規化クロスパワースペクトルの各要素の位相角から近似平面を算出するように構成されている。ここで言う近似平面は、正規化クロスパワースペクトルの要素群を、それぞれの要素がｋ1とｋ2と∠Ｒ（ｋ1，ｋ2）の３次元のデータ（ｋ1，ｋ2，∠Ｒ（ｋ1，ｋ2））から構成される３次元点群データとする場合、点群との二乗距離の合計を最小にする平面を意味する。近似平面は、最小二乗平面とも呼ばれる。
　図１４および図１５は、正規化クロスパワースペクトルデータの３次元点群データの分布を示す３軸グラフの例を示す。グラフの軸は、ｋ1軸、ｋ2軸、∠Ｒ（ｋ1，ｋ2）軸（周波数軸）の３つである。１つのドットが、正規化クロスパワースペクトルの１つの要素の３次元データ（ｋ1，ｋ2，∠Ｒ（ｋ1，ｋ2））に対応する。一般に正規化クロスパワースペクトルが次元ごとに単一の周期を持つ複素正弦波の場合、各要素の位相角を３軸グラフ上にプロットすると、図１４に示すように大部分のプロットによって或る平面が形成される。この平面が近似平面に相当する。一方、正規化クロスパワースペクトルが、次元ごとに単一の周期を持たない複素正弦波の場合、各要素の位相角を３軸グラフ上にプロットすると、図１５に示すようにプロットがランダムに分布する。従って、近似平面が算出されたとしても、その近似平面に対する最小二乗誤差、即ち近似平面を算出した際の最小二乗誤差は大きくなる。
　判定部１２５は、近似平面算出部１２４から近似平面に対する最小二乗誤差の値を取得し、この最小二乗誤差の値を、正規化クロスパワースペクトルが次元ごとに単一の周期を持つ複素正弦波である程度を示すスコアとして利用する。そして、判定部１２５は、最小二乗誤差の値（スコア）に基づいて、第１の画像と第２の画像との照合を行う。例えば、判定部１２５は、最小二乗誤差の値（スコア）があらかじめ定めた閾値より小さい場合は、第１の画像と第２の画像とは同一であると判定する。一方、判定部１２５は、最小二乗誤差の値（スコア）が前記閾値以上の場合は、第１の画像と第２の画像とは同一でないと判定する。第２の画像が複数存在する場合、判定部１２５は、最良のスコアを有する第２の画像を選択し、上記の判定を行う。
　本実施形態に係る画像照合装置３００によれば、第１の実施形態に係る画像照合装置１００と同じ理由により、第１の画像と第２の画像との照合を高速に行うことができる。
[第３の実施形態]
　次に、本発明の第３の実施形態に係る画像照合装置について説明する。本実施形態に係る画像照合装置４００は、第１の実施形態に係る画像照合装置１００と比較して、複素正弦波判定部１０５が相違し、それ以外は画像照合装置１００と同じである。
　図１６は、本実施形態に係る画像照合装置４００における複素正弦波判定部１０５のブロック図である。この例の複素正弦波判定部１０５は、位相角算出部１２６と、勾配算出部１２７と、判定部１２８とから構成される。
　位相角算出部１２６は、図１２の位相角算出部１２３と同様に、正規化クロスパワースペクトル算出部１０４から得た正規化クロスパワースペクトルの各要素の位相角∠Ｒ（ｋ1，ｋ2）を算出するように構成されている。
　勾配算出部１２７は、位相角算出部１２６によって得られた各要素の位相角に対して、要素ごと且つ次元ごとに、隣接間の差分をとり、位相角勾配データとして出力する。例えば、正規化クロスパワースペクトルの要素に対応する３次元データとして、要素１（ｋ1，ｋ2，∠Ｒ（ｋ1，ｋ2））、要素２（ｋ1＋１，ｋ2，∠Ｒ（ｋ1＋１，ｋ2））、要素３（ｋ1，ｋ2＋１，∠Ｒ（ｋ1，ｋ2＋１））の３つの３次元データがあるとする。このとき、要素１と要素２との位相角の差分∠Ｒ（ｋ1＋１，ｋ2）－∠Ｒ（ｋ1，ｋ2）が、ｋ1軸に対応する次元の１つの位相角勾配データとなる。また、要素１と要素３との位相角の差分∠Ｒ（ｋ1，ｋ2＋１）－∠Ｒ（ｋ1，ｋ2）が、ｋ2軸に対応する次元の１つの位相角勾配データとなる。
　判定部１２８は、要素ごと且つ次元ごとの位相角勾配データの分散を算出し、この算出した分散を、正規化クロスパワースペクトルが次元ごとに単一の周期を持つ複素正弦波である程度を示すスコアとして利用する。前述したように、正規化クロスパワースペクトルが次元ごとに単一の周期を持つ複素正弦波の場合、その位相角を周波数軸上にプロットすると、平面形状となる。したがって、位相角勾配は、周波数軸上で常に一定の値となる。一方、正規化クロスパワースペクトルが、次元ごとに単一の周期を持つ複素正弦波でない場合、その位相角はランダムに分布する。したがって、位相角勾配は、周波数軸上で不規則に変化する。このため、次元ごとの位相角勾配データの分散は、正規化クロスパワースペクトルが次元ごとに単一の周期を持つ複素正弦波である程度を示すスコアとして利用できる。
　判定部１２８は、算出した分散（スコア）に基づいて、第１の画像と第２の画像との照合を行う。例えば、判定部１２８は、分散（スコア）があらかじめ定めた閾値より小さい場合は、第１の画像と第２の画像とは同一であると判定する。一方、判定部１２８は、分散（スコア）が前記閾値以上の場合は、第１の画像と第２の画像とは同一でないと判定する。第２の画像が複数存在する場合、判定部１２８は、最良のスコアを有する第２の画像を選択し、上記の判定を行う。
　本実施形態に係る画像照合装置４００によれば、第１の実施形態に係る画像照合装置１００と同じ理由により、第１の画像と第２の画像との照合を高速に行うことができる。
[第４の実施形態]
　次に、本発明の第４の実施形態に係る画像照合装置について説明する。本実施形態に係る画像照合装置５００は、第１乃至第３の実施形態に係る画像照合装置と比較して、周波数特徴取得部１０１が相違し、それ以外は第１乃至第３の実施形態に係る画像照合装置と同じである。
　図１７は、本実施形態に係る画像照合装置５００における周波数特徴取得部１０１のブロック図である。この例の周波数特徴取得部１０１は、画像取得部１３１と、周波数変換部１３２と、極座標変換部１３３と、周波数変換部１３４とから構成される。
　画像取得部１３１は、図４の画像取得部１１１と同様に、第１の画像と第２の画像を取得するように構成されている。
　周波数変換部１３２は、画像取得部１３１から第１の画像と第２の画像とを受け取り、その各々の画像に対して、離散フーリエ変換を施し、その結果から２次元振幅スペクトルを算出するように構成されている。この２次元振幅スペクトルは、元の画像の平行移動に不変である。
　極座標変換部１３３は、周波数変換部１３２から第１の画像の２次元振幅スペクトルと第２の画像の２次元振幅スペクトルとを受け取り、それらに対して極座標変換あるいは対数極座標変換を施して、極座標画像を算出するように構成されている。この極座標画像はフーリエ・メリン特徴画像と呼ばれる。元の画像の倍率、回転の変化は、フーリエ・メリン特徴画像においては平行移動の変化に変換される。
　周波数変換部１３４は、極座標変換部１３３から第１の画像のフーリエ・メリン特徴画像と第２の画像のフーリエ・メリン特徴画像とを受け取り、それらに対して離散フーリエ変換を施すことにより位相画像を算出するように構成されている。この位相画像はフーリエ・メリン周波数スペクトル画像と呼ばれる。フーリエ・メリン周波数スペクトル画像は、元の画像の倍率、回転、平行移動に不変である。周波数変換部１３４は、第１の画像のフーリエ・メリン周波数スペクトル画像を第１の記憶部１０２に保存し、第２の画像のフーリエ・メリン周波数スペクトル画像を第２の記憶部１０３に保存する。
　本実施形態に係る画像照合装置５００によれば、第１乃至第３の実施形態に係る画像照合装置と同じ理由により、第１の画像と第２の画像との照合を高速に行うことができる。また、第１および第２の画像の倍率、回転、平行移動に頑健な照合が行える。
　なお、第１の画像と第２の画像とに倍率、回転の位置ずれがない環境では、図１７の極座標変換部１３３を省略してもよい。極座標変換部１３３を省略した画像照合装置では、周波数変換部１３４は、周波数変換部１３２から第１の画像の２次元振幅スペクトルと第２の画像の２次元振幅スペクトルとを受け取り、それらに対して離散フーリエ変換した結果の位相画像を第１の記憶部１０２と第２の記憶部１０３とに格納する構成となる。
[第５の実施形態]
　次に、本発明の第５の実施形態に係る画像照合装置について説明する。これまで説明した第１乃至第４の実施形態に係る画像照合装置では、第１の画像の周波数特徴と第２の画像の周波数特徴との領域内を差別せずに照合に利用した。これに対して、本実施形態に係る画像照合装置では、第１の画像の周波数特徴と第２の画像の周波数特徴との領域内を差別して照合に利用する。具体的には、周波数特徴の領域を複数の部分領域に分割し、照合に悪影響を与える部分領域に対しては、その有効度を他の部分領域に比較して低くする、或いはそれらの部分領域を用いないようにすることによって、照合への影響を低減する。
　図１８は、本実施形態に係る画像照合装置６００における周波数特徴取得部１０１のブロック図である。この例の周波数特徴取得部１０１は、図１７に示した周波数特徴取得部１０１に重み付け部１３５を追加した構成を有する。
　重み付け部１３５は、周波数変換部１３４から第１の周波数特徴と第２の周波数特徴とを受け取り、それらの部分領域毎に重みを付与するように構成されている。ここで、周波数特徴の１つの要素を１つの部分領域としてもよいし、隣接する複数の要素の集合を１つの部分領域としてもよい。また、付与する重みの値は、例えば、０から１までの値をとり、０に近いほど有効の度合いが低くなるようにしてよい。
　部分領域に対して重みを付与する基準は、事前に定めておく。例えば、統計的な手法によって、照合に重要な周波数帯域が存在していることが判明した場合、照合に重要な周波数帯域に相当する部分領域に対して他の部分領域よりも大きな重みを付与する基準を使用してよい。或いは、統計的な手法によって、多数の画像に共通する画像成分が存在することが判明した場合、共通する画像成分を含む部分領域に対して他の部分領域よりも小さな重みを付与する基準を使用してよい。例えば、複数の登録画像に共通する画像成分が存在する場合、照合画像に上記と同じ画像成分が存在していると、当該共通する画像成分の影響を受けて、同一個体に係る照合画像と登録画像との類似度を表すスコアと、異なる個体に係る照合画像と登録画像との類似度を表すスコアとの差が小さくなる。上記のように共通する画像成分を含む部分領域に対して他の部分領域よりも小さな重みを付与する基準を使用することにより、個体識別の精度の低下を防止することができる。
　部分領域毎に重みを付与された第１の周波数特徴と第２の周波数特徴とのその後の扱い方には、以下に例示するように複数の手法がある。
　１つの方法として、周波数特徴合成部１０４が、重みが基準値以下の部分領域を除去し、残りの部分領域から成る第１の周波数特徴と第２の周波数特徴との正規化クロスパワースペクトルを算出する方法が考えられる。
　他の１つの方法として、先ず、周波数特徴合成部１０４が、第１の周波数特徴の要素と第２の周波数特徴の複素共役の要素との積に、元の要素に付与された重みに応じた重み（例えば双方の重みを乗算した値）を付与した正規化クロスパワースペクトルを算出する。次に、複素正弦波判定部１０５は、正規化クロスパワースペクトルが単一の周期を持つ波である程度を示すスコアを算出する際、正規化クロスパワースペクトルの要素に付加された重みを考慮する。例えば、正規化クロスパワースペクトルの各要素の勾配の絶対値の分散をスコアとして算出するとき、重みの小さな要素ほど分散に及ぼす影響を小さくする。
　このように本実施形態に係る画像照合装置６００によれば、第１乃至第４の実施形態に係る画像照合装置と同じ理由により、第１の画像と第２の画像との照合を高速に行うことができる。また、第１の画像および第２の画像に照合に悪影響を与える部分領域が含まれていても照合への影響を低減することができる。
[第６の実施形態]
　次に、本発明の第６の実施形態に係る画像照合装置について説明する。本実施形態に係る画像照合装置７００は、第１の実施形態に係る画像照合装置１００と比較して、複素正弦波判定部１０５が相違し、それ以外は画像照合装置１００と同じである。
　図１９は、本実施形態に係る画像照合装置７００における複素正弦波判定部１０５の一例を示すブロック図である。この例の複素正弦波判定部１０５は、勾配算出部１４１と、判定部１４２とで構成される。
　勾配算出部１４１は、周波数特徴合成部１０４から得た正規化クロスパワースペクトルの要素ごとに勾配を算出するように構成されている。正規化クロスパワースペクトルの各要素の勾配は、数式的には、正規化クロスパワースペクトルを、離散周波数インデックスｋ1，ｋ2の何れか一方の離散周波数インデックスで偏微分した結果と、他方の離散周波数インデックスで偏微分した結果とを並べた２次元ベクトルで表現される。実際には、勾配算出部１４１は、正規化クロスパワースペクトルの要素ごとの勾配を以下のようにして算出する。先ず、勾配算出部１４１は、正規化クロスパワースペクトルの要素ごとに、一方の離散周波数インデックス方向に隣接する要素との正規化クロスパワースペクトル値どうしの差分を算出する。そして、算出した差分値を当該要素の第１の偏微分値として保持する。次に、勾配算出部１４１は、正規化クロスパワースペクトルの要素ごとに、他方の離散周波数インデックス方向に隣接する要素との正規化クロスパワースペクトル値どうしの差分を算出する。そして、算出した差分値を当該要素の第２の偏微分値として保持する。そして、勾配算出部１４１は、正規化クロスパワースペクトルの要素ごとに、第１の偏微分値と第２の偏微分値とを並べた２次元ベクトルを、要素の勾配として出力する。或いは、より好ましくは、勾配算出部１４１は、正規化クロスパワースペクトルの要素ごとに、その実部、虚部それぞれに対して、例えば図２４に示すような３×３プレヴィットフィルタ９０１を適用して第１の偏微分値を取得する。また、勾配算出部１４１は、正規化クロスパワースペクトルの要素ごとに、その実部、虚部それぞれに対して、図２４に示すような３×３プレヴィットフィルタ９０２を適用して第２の偏微分値を取得する。そして、勾配算出部１４１は、正規化クロスパワースペクトルの要素ごとに、第１の偏微分値と第２の偏微分値とを並べた２次元ベクトルを、要素の勾配として出力する。３×３プレヴィットフィルタの代わりに、３×３ソーベルフィルタ等を使用してもよい。正規化クロスパワースペクトルの各要素の勾配を算出するための演算量は、正規化クロスパワースペクトルを逆フーリエ変換する演算量に比較して遥かに少ない。具体例を、数式を用いて以下に説明する。
　前述したように、照合を行う２つの周波数特徴が、周波数変換前の画像データ上において、位置ずれを伴う同一画像（同一のパターン）の場合、第１の周波数特徴Ｆ（ｋ1，ｋ2）と第２の周波数特徴Ｇ（ｋ1，ｋ2）の正規化クロスパワースペクトルＲ（ｋ1，ｋ2）は、図８に示す式９で与えられる。図２０の式１５は、式９の右辺をｋ1，ｋ2で偏微分することによって算出した、同一画像データの正規化クロスパワースペクトルの勾配の計算例を示す。その絶対値は、図２０の式１６に示すように、ｋ1，ｋ2（離散周波数インデックス）によらず一定値となる。このように、勾配の絶対値がｋ1，ｋ2によらずに一定値となるので、その分散は理想的には０になる。
　これに対して、照合を行う２つの周波数特徴が、互いに異なる画像（異なるパターン）の場合、第１の周波数特徴Ｆ（ｋ1，ｋ2）と第２の周波数特徴Ｇ（ｋ1，ｋ2）の正規化クロスパワースペクトルＲ（ｋ1，ｋ2）は、図７に示す式６で与えられる。図２１の式１７は、式６の右辺をｋ1，ｋ2で微分することによって算出した、互いに異なる画像の正規化クロスパワースペクトルの勾配の計算例である。その絶対値は、図２１の式１８に示すように、ｋ1，ｋ2（離散周波数インデックス）に応じて値が変化する。このように、２階偏微分値の絶対値がｋ1，ｋ2に応じて変化するので、その分散値は予め定めた閾値以上となる。
　判定部１４２は、勾配算出部１４１が算出した正規化クロスパワースペクトルの各要素の勾配の絶対値をとり、その絶対値の分散を算出する。正規化クロスパワースペクトルが次元ごとに単一の周期を持つ複素正弦波である場合、前述したように、各要素の勾配の絶対値は、周波数軸上で一定値となる。一方、正規化クロスパワースペクトルが、次元ごとに単一の周期を持つ複素正弦波でない場合、各要素の勾配の絶対値は、前述したように、周波数軸上で不規則に変化する。このため、正規化クロスパワースペクトルの各要素の勾配の絶対値の分散は、正規化クロスパワースペクトルが次元ごとに単一の周期を持つ複素正弦波である程度を示すスコアに利用できる。そして判定部１４２は、算出した分散（スコア）に基づいて、第１の画像と第２の画像との照合を行う。例えば、判定部１４２は、分散（スコア）が、あらかじめ定めた閾値より小さい場合は、第１の画像と第２の画像とは同一であると判定する。一方、判定部１４２は、分散（スコア）が、上記閾値以上の場合は、第１の画像と第２の画像とは同一でないと判定する。第２の画像が複数存在する場合、判定部１４２は、最良のスコアを有する第２の画像を選択し、上記の判定を行う。
　なお、図１９に示した複素正弦波判定部１０５は、位相角を求めていない。そのため、前述した位相角を求める他の実施形態の複素正弦波判定部と比較して、照合に要する演算量が少なくなり、照合結果を高速に導出することができる。
　このように本実施形態に係る画像照合装置７００によれば、第１の実施形態に係る画像照合装置１００と同じ理由により、第１の画像と第２の画像との照合を高速に行うことができる。
[第７の実施形態]
　次に本発明の第７の実施形態に係る画像照合装置を説明する。図２２は本実施形態に係る画像照合装置８００のブロック図である。
　図２２を参照すると、画像照合装置８００は、周波数特徴取得部８０１と、周波数特徴合成部８０２と、判定部８０３とで構成される。
　周波数特徴取得部８０１は、第１の画像の周波数特徴と第２の画像の周波数特徴とを取得するように構成されている。周波数特徴取得部８０２は、例えば図１の周波数特徴取得部１０１と同様に構成することができるが、それに限定されない。
　周波数特徴合成部８０２は、第１の画像の周波数特徴と第２の画像の周波数特徴とを合成して合成周波数特徴を取得するように構成されている。周波数特徴合成部８０２は、図１の周波数特徴合成部１０４と同様に構成することができるが、それに限定されない。
　判定部８０３は、合成周波数特徴が単一の周期を持つ波である程度を示すスコアを算出し、そのスコアに基づいて第１の画像と第２の画像との照合を行うように構成されている。判定部８０３は、図１の複素正弦波判定部１０５と同様に構成することができるが、それに限定されない。
　このように構成された本実施形態に係る画像照合装置８００は、以下のように動作する。即ち、先ず、周波数特徴取得部８０１は、第１の画像の周波数特徴と第２の画像の周波数特徴とを取得する。次に、周波数特徴合成部８０２は、第１の画像の周波数特徴と第２の画像の周波数特徴とを合成して合成周波数特徴を取得する。次に、判定部８０３は、合成周波数特徴が単一の周期を持つ波である程度を示すスコアを算出する。次に、判定部８０３は、そのスコアに基づいて、第１の画像と第２の画像との照合を行う。
　このように本実施形態に係る画像照合装置８００によれば、第１の画像と第２の画像との照合を高速に判定することができる。その理由は、本実施形態に係る画像照合装置８００は、第１の画像と第２の画像とを周波数変換して第１の画像の周波数特徴と第２の画像の周波数特徴とを取得し、この２つの周波数特徴を合成した合成周波数特徴を算出し、この合成周波数特徴が単一の周期を持つ波である程度を示すスコアを算出し、そのスコアに基づいて第１の画像と第２の画像との照合を行っており、演算量の多い逆フーリエ変換を必要としないためである。
　以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。
　例えば、正規化クロスパワースペクトルは以下のような方法で算出してもよい。先ず、周波数特徴取得部１０１は、第１の画像と第２の画像に対してフーリエ変換等の周波数変換を行った後、その振幅成分を用いてそれぞれ正規化を行い、正規化した第１の周波数特徴Ｆ（ｋ1，ｋ2）と正規化した第２の周波数特徴Ｇ（ｋ1，ｋ2）とを算出する。一方、周波数特徴合成部１０４は、正規化された周波数特徴を合成することにより、正規化クロスパワースペクトルを算出する。具体的には、周波数特徴合成部１０４は、正規化された第１の周波数特徴Ｆ（ｋ1，ｋ2）と正規化された第２の周波数特徴Ｇ（ｋ1，ｋ2）の複素共役の要素ごとの積である、クロスパワースペクトルを求めることにより正規化クロスパワースペクトルを算出する。この場合、周波数特徴合成部１０４は、図７の式６に示した方法と相違し、絶対値で正規化する処理はない。以上のようにして正規化クロスパワースペクトルを算出する方法によれば、第２の画像が複数存在する場合、事前にそれぞれの正規化した周波数特徴を第２の記憶部に保持しておくことで、照合処理を高速に行える。その理由は、照合時には、第１の画像の正規化された周波数特徴と第２の画像の正規化された周波数特徴とを合成するだけで正規化クロスパワースペクトルを算出でき、絶対値で正規化する処理を省けるためである。
　なお、本発明は、日本国にて２０１７年１２月２２日に特許出願された特願２０１７－２４５７９５の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
　本発明は、２つの画像の照合を行う分野に利用でき、特に、製品の表面の微細凹凸や紋様、素材表面のランダムパターン等の、同一製造過程で生じる自然発生的な微細なパターンの差異を、カメラ等の撮像装置を用いて画像として取得し、その微細なパターンを認識することで、製品個々の個体識別や管理を行う分野に利用できる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
　第１の画像と第２の画像とを照合する画像照合装置であって、
　前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを取得する周波数特徴取得部と、
　前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを合成して合成周波数特徴を生成する周波数特徴合成部と、
　前記合成周波数特徴が単一の周期を持つ波である程度を示すスコアを算出し、前記スコアに基づいて前記第１の画像と前記第２の画像との照合を行う判定部と、を備える
画像照合装置。
［付記２］
　前記周波数特徴合成部は、前記第１の画像の周波数特徴と前記第２の画像の周波数特徴との正規化クロスパワースペクトルを前記合成周波数特徴として算出する、
付記１に記載の画像照合装置。
［付記３］
　前記判定部は、前記スコアとして、前記合成周波数特徴が単一の周期を持つ複素正弦波である程度を示すスコアを算出する、
付記１または２に記載の画像照合装置。
［付記４］
　前記判定部は、前記合成周波数特徴の各要素の勾配の絶対値の分散を前記スコアとして算出する、
付記１乃至３の何れかに記載の画像照合装置。
［付記４－１］
　前記判定部は、前記合成周波数特徴の各要素の２階偏微分値の絶対値の分散を前記スコアとして算出する、
付記１乃至３の何れかに記載の画像照合装置。
［付記５］
　前記判定部は、前記合成周波数特徴の各要素の位相角を求め、前記位相角が周波数に対して線形である程度を前記スコアとして算出する、
付記１乃至３の何れかに記載の画像照合装置。
［付記６］
　前記判定部は、前記合成周波数特徴の各要素の位相角にフィットする近似平面を求め、前記近似平面に対する前記各要素の位相角の最小二乗誤差を前記スコアとして算出する、
付記５に記載の画像照合装置。
［付記７］
　前記判定部は、前記合成周波数特徴の要素間の位相角の差分である勾配を求め、前記勾配の分散を前記スコアとして算出する、
付記５に記載の画像照合装置。
［付記８］
　前記周波数特徴取得部は、
　前記第１の画像と前記第２の画像とを取得する画像取得部と、
　前記第１の画像と前記第２の画像とに対して周波数変換処理を施して前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを算出する周波数変換部と、を含む、
付記１乃至７の何れかに記載の画像照合装置。
［付記９］
　前記周波数特徴取得部は、
　前記第１の画像と前記第２の画像とを取得する画像取得部と、
　前記第１の画像と前記第２の画像とに対して周波数変換処理を施して第１の画像の振幅スペクトルと第２の画像の振幅スペクトルとを算出する第１の周波数変換部と、
　前記第１の画像の振幅スペクトルと前記第２の画像の振幅スペクトルとに対して極座標変換を施して第１の画像のフーリエ・メリン特徴画像と第２の画像のフーリエ・メリン特徴画像とを算出する極座標変換部と、
　前記第１の画像のフーリエ・メリン特徴画像と前記第２の画像のフーリエ・メリン特徴画像とに対して周波数変換処理を施して第１の画像のフーリエ・メリン周波数スペクトル画像と第２の画像のフーリエ・メリン周波数スペクトル画像とを算出する第２の周波数変化部と、を含む、
付記１乃至７の何れかに記載の画像照合装置。
［付記１０］
　前記周波数特徴取得部は、第１の画像の周波数特徴と前記第２の画像の周波数特徴とを複数の部分領域に分割し、前記部分領域ごとに前記スコアの算出に係る有効度を付与する、
付記１乃至９の何れかに記載の画像照合装置。
［付記１１］
　前記第１の画像は、照合対象の物体を撮像して得られた照合画像であり、第２の画像は、複数の登録対象の物体を撮像して得られた複数の登録画像のうちの１つである、
付記１乃至１０の何れかに記載の画像照合装置。
［付記１２］
　前記判定部は、前記スコアが所定の基準値を満たす場合、前記第１の画像と前記第２の画像とが一致する旨の照合結果を生成する、
付記１乃至１１の何れかに記載の画像照合装置。
［付記１３］
　前記判定部の照合の結果を出力する出力部を、更に備える、
付記１乃至１２の何れかに記載の画像照合装置。
［付記１４］
　第１の画像と第２の画像とを照合する画像照合方法であって、
　前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを取得し、
　前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを合成して合成周波数特徴を生成し、
　前記合成周波数特徴が単一の周期を持つ波である程度を示すスコアを算出し、
　前記スコアに基づいて前記第１の画像と前記第２の画像との照合を行う
画像照合方法。
［付記１５］
　前記合成周波数特徴の生成では、前記第１の画像の周波数特徴と前記第２の画像の周波数特徴との正規化クロスパワースペクトルを前記合成周波数特徴として算出する、
付記１４に記載の画像照合方法。
［付記１６］
　前記スコアの算出では、前記合成周波数特徴が単一の周期を持つ複素正弦波である程度を示すスコアを算出する、
付記１４または１５に記載の画像照合方法。
［付記１７］
　前記スコアの算出では、前記合成周波数特徴の各要素の勾配の絶対値の分散を前記スコアとして算出する、
付記１４乃至１６の何れかに記載の画像照合方法。
［付記１７－１］
　前記スコアの算出では、前記合成周波数特徴の各要素の２階偏微分値の絶対値の分散を前記スコアとして算出する、
付記１４乃至１６の何れかに記載の画像照合方法。
［付記１８］
　前記スコアの算出では、前記合成周波数特徴の各要素の位相角を求め、前記位相角が周波数に対して線形である程度を前記スコアとして算出する、
付記１４乃至１６の何れかに記載の画像照合方法。
［付記１９］
　前記スコアの算出では、前記合成周波数特徴の各要素の位相角にフィットする近似平面を求め、前記近似平面に対する前記各要素の位相角の最小二乗誤差を前記スコアとして算出する、
付記１８に記載の画像照合方法。
［付記２０］
　前記スコアの算出では、前記合成周波数特徴の要素間の位相角の差分である勾配を求め、前記勾配の分散を前記スコアとして算出する、
付記１８に記載の画像照合方法。
［付記２１］
　前記第１の画像の周波数特徴と前記第２の画像の周波数特徴との取得では、
　前記第１の画像と前記第２の画像とを取得し、
　前記第１の画像と前記第２の画像とに対して周波数変換処理を施して前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを算出する、
付記１４乃至２０の何れかに記載の画像照合方法。
［付記２２］
　前記第１の画像の周波数特徴と前記第２の画像の周波数特徴との取得では、
　前記第１の画像と前記第２の画像とを取得し、
　前記第１の画像と前記第２の画像とに対して周波数変換処理を施して第１の画像の振幅スペクトルと第２の画像の振幅スペクトルとを算出し、
　前記第１の画像の振幅スペクトルと前記第２の画像の振幅スペクトルとに対して極座標変換を施して第１の画像のフーリエ・メリン特徴画像と第２の画像のフーリエ・メリン特徴画像とを算出し、
　前記第１の画像のフーリエ・メリン特徴画像と前記第２の画像のフーリエ・メリン特徴画像とに対して周波数変換処理を施して第１の画像のフーリエ・メリン周波数スペクトル画像と第２の画像のフーリエ・メリン周波数スペクトル画像とを算出する、
付記１４乃至２０の何れかに記載の画像照合方法。
［付記２３］
　前記第１の画像の周波数特徴と前記第２の画像の周波数特徴との取得では、
　第１の画像の周波数特徴と前記第２の画像の周波数特徴とを複数の部分領域に分割し、前記部分領域ごとに前記スコアの算出に係る有効度を付与する、
付記１４乃至２２の何れかに記載の画像照合方法。
［付記２４］
　前記第１の画像は、照合対象の物体を撮像して得られた照合画像であり、第２の画像は、複数の登録対象の物体を撮像して得られた複数の登録画像のうちの１つである、
付記１４乃至２３の何れかに記載の画像照合方法。
［付記２５］
　前記判定部は、前記スコアが所定の基準値を満たす場合、前記第１の画像と前記第２の画像とが一致する旨の照合結果を生成する、
付記１４乃至２４の何れかに記載の画像照合方法。
［付記２６］
　前記照合では、前記照合の結果を出力する、
付記１４乃至２５の何れかに記載の画像照合方法。
［付記２７］
　第１の画像と第２の画像とを照合するコンピュータを、
　前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを取得する周波数特徴取得部と、
　前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを合成して合成周波数特徴を生成する周波数特徴合成部と、
　前記合成周波数特徴が単一の周期を持つ波である程度を示すスコアを算出し、前記スコアに基づいて前記第１の画像と前記第２の画像との照合を行う判定部と、
して機能させるプログラム。
［付記２８］
　前記合成周波数特徴をその絶対値で正規化した合成周波数特徴を算出する、
付記１乃至２７の何れかに記載の画像照合装置、画像照合方法、またはプログラム。
［付記２９］
　前記第１の画像の周波数特徴をその振幅成分を用いて正規化した第１の周波数特徴と前記第２の画像の周波数特徴をその振幅成分を用いて正規化した第２の周波数特徴とを算出する、
付記１乃至２８の何れかに記載の画像照合装置、画像照合方法、またはプログラム。
［付記３０］
　前記正規化した第１の周波数特徴と前記正規化した第２の周波数特徴とを合成して正規化された合成周波数特徴または正規化クロスパワースペクトルを算出する、
付記１乃至２９の何れかに記載の画像照合装置、画像照合方法、またはプログラム。
１００…画像照合装置
１０１…周波数特徴取得部
１０２…第１の記憶部
１０３…第２の記憶部
１０４…周波数特徴合成部
１０５…複素正弦波判定部
１０６…情報提示部
１１１…画像取得部
１１２…周波数変換部
１２１…２階偏微分算出部
１２２…判定部
１２３…位相角算出部
１２４…近似平面算出部
１２５…判定部
１２６…位相角算出部
１２７…勾配算出部
１２８…判定部
１３１…画像取得部
１３２…周波数変換部
１３３…極座標変換部
１３４…周波数変換部
１３５…重み付け部
１４１…勾配算出部
１４２…判定部
２００…情報処理装置
２０１…撮像部
２０２…操作入力部
２０３…画面表示部
２０４…通信インタフェース部
２０５…記憶部
２０６…演算処理部
２０７…プログラム
３００…画像照合装置
４００…画像照合装置
５００…画像照合装置
６００…画像照合装置
７００…画像照合装置
８００…画像照合装置
８０１…周波数特徴取得部
８０２…周波数特徴合成部
８０３…判定部

Claims (29)

  1. 　第１の画像と第２の画像とを照合する画像照合装置であって、
    　前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを取得する周波数特徴取得手段と、
    　前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを合成して合成周波数特徴を生成する周波数特徴合成手段と、
    　前記合成周波数特徴が単一の周期を持つ波である程度を示すスコアを算出し、前記スコアに基づいて前記第１の画像と前記第２の画像との照合を行う判定手段と、を備える
    画像照合装置。
  2. 　前記周波数特徴合成手段は、前記第１の画像の周波数特徴と前記第２の画像の周波数特徴との正規化クロスパワースペクトルを前記合成周波数特徴として算出する、
    請求項１に記載の画像照合装置。
  3. 　前記判定手段は、前記スコアとして、前記合成周波数特徴が単一の周期を持つ複素正弦波である程度を示すスコアを算出する、
    請求項１または２に記載の画像照合装置。
  4. 　前記判定手段は、前記合成周波数特徴の各要素の勾配の絶対値の分散を前記スコアとして算出する、
    請求項１乃至３の何れかに記載の画像照合装置。
  5. 　前記判定手段は、前記合成周波数特徴の各要素の２階偏微分値の絶対値の分散を前記スコアとして算出する、
    請求項１乃至３の何れかに記載の画像照合装置。
  6. 　前記判定手段は、前記合成周波数特徴の各要素の位相角を求め、前記位相角が周波数に対して線形である程度を前記スコアとして算出する、
    請求項１乃至３の何れかに記載の画像照合装置。
  7. 　前記判定手段は、前記合成周波数特徴の各要素の位相角にフィットする近似平面を求め、前記近似平面に対する前記各要素の位相角の最小二乗誤差を前記スコアとして算出する、
    請求項６に記載の画像照合装置。
  8. 　前記判定手段は、前記合成周波数特徴の要素間の位相角の差分である勾配を求め、前記勾配の分散を前記スコアとして算出する、
    請求項６に記載の画像照合装置。
  9. 　前記周波数特徴取得手段は、
    　前記第１の画像と前記第２の画像とを取得する画像取得手段と、
    　前記第１の画像と前記第２の画像とに対して周波数変換処理を施して前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを算出する周波数変換手段と、を含む、
    請求項１乃至８の何れかに記載の画像照合装置。
  10. 　前記周波数特徴取得手段は、
    　前記第１の画像と前記第２の画像とを取得する画像取得手段と、
    　前記第１の画像と前記第２の画像とに対して周波数変換処理を施して第１の画像の振幅スペクトルと第２の画像の振幅スペクトルとを算出する第１の周波数変換手段と、
    　前記第１の画像の振幅スペクトルと前記第２の画像の振幅スペクトルとに対して極座標変換を施して第１の画像のフーリエ・メリン特徴画像と第２の画像のフーリエ・メリン特徴画像とを算出する極座標変換手段と、
    　前記第１の画像のフーリエ・メリン特徴画像と前記第２の画像のフーリエ・メリン特徴画像とに対して周波数変換処理を施して第１の画像のフーリエ・メリン周波数スペクトル画像と第２の画像のフーリエ・メリン周波数スペクトル画像とを算出する第２の周波数変化手段と、を含む、
    請求項１乃至８の何れかに記載の画像照合装置。
  11. 　前記周波数特徴取得手段は、第１の画像の周波数特徴と前記第２の画像の周波数特徴とを複数の部分領域に分割し、前記部分領域ごとに前記スコアの算出に係る有効度を付与する、
    請求項１乃至１０の何れかに記載の画像照合装置。
  12. 　前記第１の画像は、照合対象の物体を撮像して得られた照合画像であり、第２の画像は、複数の登録対象の物体を撮像して得られた複数の登録画像のうちの１つである、
    請求項１乃至１１の何れかに記載の画像照合装置。
  13. 　前記判定手段は、前記スコアが所定の基準値を満たす場合、前記第１の画像と前記第２の画像とが一致する旨の照合結果を生成する、
    請求項１乃至１２の何れかに記載の画像照合装置。
  14. 　前記判定手段の照合の結果を出力する出力手段を、更に備える、
    請求項１乃至１３の何れかに記載の画像照合装置。
  15. 　第１の画像と第２の画像とを照合する画像照合方法であって、
    　前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを取得し、
    　前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを合成して合成周波数特徴を生成し、
    　前記合成周波数特徴が単一の周期を持つ波である程度を示すスコアを算出し、
    　前記スコアに基づいて前記第１の画像と前記第２の画像との照合を行う
    画像照合方法。
  16. 　前記合成周波数特徴の生成では、前記第１の画像の周波数特徴と前記第２の画像の周波数特徴との正規化クロスパワースペクトルを前記合成周波数特徴として算出する、
    請求項１５に記載の画像照合方法。
  17. 　前記スコアの算出では、前記合成周波数特徴が単一の周期を持つ複素正弦波である程度を示すスコアを算出する、
    請求項１５または１６に記載の画像照合方法。
  18. 　前記スコアの算出では、前記合成周波数特徴の各要素の勾配の絶対値の分散を前記スコアとして算出する、
    請求項１５乃至１７の何れかに記載の画像照合方法。
  19. 　前記スコアの算出では、前記合成周波数特徴の各要素の２階偏微分値の絶対値の分散を前記スコアとして算出する、
    請求項１５乃至１８の何れかに記載の画像照合方法。
  20. 　前記スコアの算出では、前記合成周波数特徴の各要素の位相角を求め、前記位相角が周波数に対して線形である程度を前記スコアとして算出する、
    請求項１５乃至１８の何れかに記載の画像照合方法。
  21. 　前記スコアの算出では、前記合成周波数特徴の各要素の位相角にフィットする近似平面を求め、前記近似平面に対する前記各要素の位相角の最小二乗誤差を前記スコアとして算出する、
    請求項２０に記載の画像照合方法。
  22. 　前記スコアの算出では、前記合成周波数特徴の要素間の位相角の差分である勾配を求め、前記勾配の分散を前記スコアとして算出する、
    請求項２０に記載の画像照合方法。
  23. 　前記第１の画像の周波数特徴と前記第２の画像の周波数特徴との取得では、
    　前記第１の画像と前記第２の画像とを取得し、
    　前記第１の画像と前記第２の画像とに対して周波数変換処理を施して前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを算出する、
    請求項１５乃至２２の何れかに記載の画像照合方法。
  24. 　前記第１の画像の周波数特徴と前記第２の画像の周波数特徴との取得では、
    　前記第１の画像と前記第２の画像とを取得し、
    　前記第１の画像と前記第２の画像とに対して周波数変換処理を施して第１の画像の振幅スペクトルと第２の画像の振幅スペクトルとを算出し、
    　前記第１の画像の振幅スペクトルと前記第２の画像の振幅スペクトルとに対して極座標変換を施して第１の画像のフーリエ・メリン特徴画像と第２の画像のフーリエ・メリン特徴画像とを算出し、
    　前記第１の画像のフーリエ・メリン特徴画像と前記第２の画像のフーリエ・メリン特徴画像とに対して周波数変換処理を施して第１の画像のフーリエ・メリン周波数スペクトル画像と第２の画像のフーリエ・メリン周波数スペクトル画像とを算出する、
    請求項１５乃至２２の何れかに記載の画像照合方法。
  25. 　前記第１の画像の周波数特徴と前記第２の画像の周波数特徴との取得では、
    　第１の画像の周波数特徴と前記第２の画像の周波数特徴とを複数の部分領域に分割し、前記部分領域ごとに前記スコアの算出に係る有効度を付与する、
    請求項１５乃至２４の何れかに記載の画像照合方法。
  26. 　前記第１の画像は、照合対象の物体を撮像して得られた照合画像であり、第２の画像は、複数の登録対象の物体を撮像して得られた複数の登録画像のうちの１つである、
    請求項１５乃至２５の何れかに記載の画像照合方法。
  27. 　前記判定手段は、前記スコアが所定の基準値を満たす場合、前記第１の画像と前記第２の画像とが一致する旨の照合結果を生成する、
    請求項１５乃至２６の何れかに記載の画像照合方法。
  28. 　前記照合では、前記照合の結果を出力する、
    請求項１５乃至２７の何れかに記載の画像照合方法。
  29. 　第１の画像と第２の画像とを照合するコンピュータに、
    　前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを取得する処理と、
    　前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを合成して合成周波数特徴を生成する処理と、
    　前記合成周波数特徴が単一の周期を持つ波である程度を示すスコアを算出し、前記スコアに基づいて前記第１の画像と前記第２の画像との照合を行う処理と、
    を行わせるプログラムを記録するコンピュータ読み取り可能な記録媒体。
PCT/JP2018/042334 2017-12-22 2018-11-15 画像照合装置 WO2019123917A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880082883.1A CN111656394B (zh) 2017-12-22 2018-11-15 图像比对设备
US16/955,606 US11227196B2 (en) 2017-12-22 2018-11-15 Image collating device
EP18891876.7A EP3731178B1 (en) 2017-12-22 2018-11-15 Image comparison apparatus
JP2019560880A JP6845492B2 (ja) 2017-12-22 2018-11-15 画像照合装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017245795 2017-12-22
JP2017-245795 2017-12-22

Publications (1)

Publication Number Publication Date
WO2019123917A1 true WO2019123917A1 (ja) 2019-06-27

Family

ID=66993272

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/042334 WO2019123917A1 (ja) 2017-12-22 2018-11-15 画像照合装置

Country Status (5)

Country Link
US (1) US11227196B2 (ja)
EP (1) EP3731178B1 (ja)
JP (1) JP6845492B2 (ja)
CN (1) CN111656394B (ja)
WO (1) WO2019123917A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021192216A1 (ja) 2020-03-27 2021-09-30 日本電気株式会社 個体識別システム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019207642A1 (ja) * 2018-04-24 2019-10-31 日本電気株式会社 画像照合装置
JP7168075B2 (ja) * 2019-05-16 2022-11-09 日本電気株式会社 画像照合装置
CN117372485B (zh) * 2023-10-12 2024-04-16 长光辰英(杭州)科学仪器有限公司 基于相位谱与幅度谱重组的一维相位相关图像配准方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0922406A (ja) * 1995-05-02 1997-01-21 Yamatake Honeywell Co Ltd パターン照合装置
JPH10134185A (ja) * 1996-10-30 1998-05-22 Yamatake Honeywell Co Ltd 操作者照合装置
JP3254622B2 (ja) 1996-08-08 2002-02-12 株式会社山武 パターン照合装置
JP2008015848A (ja) 2006-07-07 2008-01-24 Kobe Univ 物体領域探索方法，物体領域探索プログラムおよび物体領域探索装置
JP5558127B2 (ja) 2010-02-02 2014-07-23 アズビル株式会社 位置ずれ測定装置及び位置ずれ測定方法並びに位置ずれ測定プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10320552A (ja) * 1997-05-15 1998-12-04 Hamamatsu Photonics Kk 人物照合装置
JP4791115B2 (ja) * 2005-09-14 2011-10-12 株式会社山武 マーク検知装置
JP5147060B2 (ja) * 2008-05-02 2013-02-20 栄子 小菅 歯科ｘ線画像の照合システム及び歯科ｘ線画像の照合方法
JP4513906B2 (ja) * 2008-06-27 2010-07-28 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
JP5366619B2 (ja) * 2008-08-12 2013-12-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
CN104144648A (zh) * 2012-02-27 2014-11-12 富士胶片株式会社 图像处理装置及方法
JP6185819B2 (ja) * 2013-10-23 2017-08-23 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US10445616B2 (en) * 2015-01-22 2019-10-15 Bae Systems Information And Electronic Systems Integration Inc. Enhanced phase correlation for image registration

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0922406A (ja) * 1995-05-02 1997-01-21 Yamatake Honeywell Co Ltd パターン照合装置
JP3254622B2 (ja) 1996-08-08 2002-02-12 株式会社山武 パターン照合装置
JPH10134185A (ja) * 1996-10-30 1998-05-22 Yamatake Honeywell Co Ltd 操作者照合装置
JP2008015848A (ja) 2006-07-07 2008-01-24 Kobe Univ 物体領域探索方法，物体領域探索プログラムおよび物体領域探索装置
JP5558127B2 (ja) 2010-02-02 2014-07-23 アズビル株式会社 位置ずれ測定装置及び位置ずれ測定方法並びに位置ずれ測定プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021192216A1 (ja) 2020-03-27 2021-09-30 日本電気株式会社 個体識別システム

Also Published As

Publication number Publication date
CN111656394A (zh) 2020-09-11
EP3731178A4 (en) 2021-06-16
EP3731178A1 (en) 2020-10-28
EP3731178B1 (en) 2024-01-31
JP6845492B2 (ja) 2021-03-17
CN111656394B (zh) 2023-11-14
US20210012167A1 (en) 2021-01-14
JPWO2019123917A1 (ja) 2020-11-19
US11227196B2 (en) 2022-01-18

Similar Documents

Publication Publication Date Title
WO2019123917A1 (ja) 画像照合装置
Bayram et al. Image manipulation detection
JP5524692B2 (ja) 情報処理装置および方法ならびにプログラム
CN105814607A (zh) 图像处理装置以及图像处理方法
Sellami et al. An invariant similarity registration algorithm based on the analytical fourier-mellin transform
Dasari et al. A framework for the identification of full-field structural dynamics using sequences of images in the presence of non-ideal operating conditions
JP6992880B2 (ja) 画像照合装置
EP3764319B1 (en) Image comparison device
Yang et al. Automatic analysis of the slight change image for unsupervised change detection
JP7251689B2 (ja) 個体識別システム
Zhang et al. Structural dynamic response analysis using deviations from idealized edge profiles in high-speed video
Chen et al. Hyperspectral imagery denoising using minimum noise fraction and VBM3D
López-Alonso et al. Characterization of spatial–temporal patterns in dynamic speckle sequences using principal component analysis
Cakir et al. Image quality assessment using two-dimensional complex mel-cepstrum
JP7168075B2 (ja) 画像照合装置
Nagata et al. Development of facial aging simulation system combined with three-dimensional shape prediction from facial photographs
Chen Standard deviation normalized summed squared difference for image registration
Kumar et al. Image disparity estimation based on fractional dual-tree complex wavelet transform: a multi-scale approach
Rajeev et al. No-reference color-depth quality measure: CDME
Zeng et al. Image Enhancement Effects on the Forensic Facial Recognition System
Dong et al. Estimating illumination direction of three-dimensional surface texture based on active basis and Mojette transform
Inoue et al. Improvement of authenticity inspection accuracy using logo region detection
Xia et al. Decomposition mixed pixels of remote sensing image based on 2-dwt and kernel ica
Mohammed Parametric Real Face Images Detection System (RFIDS) Using Multiple Classifiers
Vakil et al. Area-based similarity measures residue analysis for registration of remotely sensed aerial imagery for homeland-security wide area surveillance

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18891876

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2019560880

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018891876

Country of ref document: EP

Effective date: 20200722