WO2019069617A1 - 個体識別装置 - Google Patents

個体識別装置 Download PDF

Info

Publication number
WO2019069617A1
WO2019069617A1 PCT/JP2018/032931 JP2018032931W WO2019069617A1 WO 2019069617 A1 WO2019069617 A1 WO 2019069617A1 JP 2018032931 W JP2018032931 W JP 2018032931W WO 2019069617 A1 WO2019069617 A1 WO 2019069617A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
registered
effectiveness
partial
score
Prior art date
Application number
PCT/JP2018/032931
Other languages
English (en)
French (fr)
Inventor
石山 塁
高橋 徹
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/652,528 priority Critical patent/US11132582B2/en
Priority to JP2019546586A priority patent/JP6860081B2/ja
Publication of WO2019069617A1 publication Critical patent/WO2019069617A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition

Definitions

  • the present invention relates to an individual identification device, an individual identification method, and a program.
  • Matching of a matching image with a registered image is performed for individual identification, and various matching methods have been proposed or put into practical use.
  • Patent Document 1 first, the matching image and the registered image are converted into the frequency domain using Fourier transform. Next, a cross power spectrum is calculated from the complex spectrum of each of the matching image and the registration image obtained by the above conversion. Next, power components are eliminated from the cross power spectrum using a weight filter for each frequency to normalize only the phase components. Next, the inverse Fourier transform is used on the normalized one to calculate the correlation coefficient in the real coordinate region. Next, pattern matching determination is performed using the coordinates at which the calculated correlation coefficient is the maximum value.
  • the matching image is subjected to Fourier transformation to create a matching Fourier image, and this matching Fourier image is subjected to the same processing and synthesized with the registered image.
  • inverse Fourier transform is performed.
  • the upper n pixels having high strength of the correlation component are extracted from the predetermined correlation component area appearing in the composite Fourier image subjected to the inverse Fourier transform, and the strength of the extracted correlation component of n pixels is extracted. It is determined whether the registered image and the matching image match.
  • a first step of calculating the degree of coincidence between the collation image and the registration image, and the size of a radius of a radius from the rotation center of at least one of the collation image and the registration image Separately, the method further comprises a second step of determining the degree of effectiveness related to the calculation of the degree of coincidence, and in the first step, based on pixel values included in the matching image and the registered image and the degree of effectiveness corresponding to each pixel value And an image processing method of calculating the degree of coincidence.
  • the above-mentioned effectiveness is embodied as a weight on a radius, and a method of determining a weight according to a frequency component is proposed as one of the methods of determining the weight.
  • the high frequency component often represents the behavior of the shot noise
  • the low frequency component often represents the behavior such as the illumination unevenness and the like.
  • a method of increasing the weight to the intermediate frequency band which is considered to contain more information of.
  • the degree of matching between the matching image and the registered image is determined based on the partial image of the predetermined area by determining the effectiveness as a value (for example, zero) that is not used for calculation of the matching degree. Calculation is described.
  • Patent Document 4 describes a plurality of feature points on a three-dimensional shape model that have high importance so as to reduce recognition errors in a recognition task that is processing for recognizing an object shown in an image or the state of the object.
  • a feature point selection system for selecting and outputting from point candidates is described.
  • Patent Document 14 discloses a registered image and a plain image based on a registered image including a specific image pattern and a fixed pattern noise, and a plain image including the fixed pattern noise but not the specific image pattern.
  • the frequency component of the fixed pattern noise unique to the imaging device commonly included in each of the above and the frequency component of the specific image pattern not including the fixed pattern noise are estimated, and the estimated frequency components are calculated based on the estimated frequency components.
  • the weight on the frequency is controlled when obtaining the correlation between the registered image and the matching image.
  • Patent No. 5331721 Gazette
  • the fixed pattern noise common to a plurality of images dealt with in Patent Document 14 is a fixed pattern noise unique to the imaging device, and is a kind of pattern which can be imaged alone as a plain image.
  • patterns common to a plurality of images that adversely affect collation there exist patterns of types that can not be imaged by themselves.
  • patterns unique to the production device exist in addition to patterns unique to the object.
  • the latter pattern is a pattern common to a plurality of different images, and it is difficult to capture it alone.
  • Patent Document 14 in order to determine a weight to be used in matching, an image having only a pattern common to a plurality of images adversely affecting the matching is required. Therefore, in the method described in Patent Document 14, when the pattern common to a plurality of images is a pattern that can not be imaged by itself, it is not possible to set weights, and the matching accuracy is reduced.
  • An object of the present invention is to provide an individual identification apparatus that solves the problem that the accuracy of individual identification is reduced when there is an image component common to a plurality of registered images.
  • the individual identification device is An image of an object to be collated with the registered image is captured for each of the partial regions based on whether or not the partial region includes an image component common to a plurality of registered images obtained by imaging a plurality of objects to be registered. Determining means for determining the effectiveness of calculation of a score representing the degree of similarity with the matching image obtained by And calculating means for calculating the score based on the image component included in the registered image and the matching image and the degree of effectiveness.
  • the individual identification method is An image of an object to be collated with the registered image is captured for each of the partial regions based on whether or not the partial region includes an image component common to a plurality of registered images obtained by imaging a plurality of objects to be registered. Determine the effectiveness of the calculation of the score representing the degree of similarity with the matching image obtained by The score is calculated based on image components included in the registered image and the matching image and the degree of effectiveness.
  • a program according to another aspect of the present invention is Computer, An image of an object to be collated with the registered image is captured for each of the partial regions based on whether or not the partial region includes an image component common to a plurality of registered images obtained by imaging a plurality of objects to be registered.
  • Determining means for determining the effectiveness of calculation of a score representing the degree of similarity with the matching image obtained by It functions as a calculation unit that calculates the score on the basis of the image component included in the registered image and the matching image and the degree of effectiveness.
  • the present invention can prevent a decrease in individual identification accuracy due to image components common to a plurality of registered images.
  • FIG. 1 It is a block diagram of an individual identification device concerning a 1st embodiment of the present invention. It is a figure which shows the example of the registration image used as the input of the identification apparatus which concerns on the 1st Embodiment of this invention. It is a figure which shows the example of the effectiveness concerning calculation of the score determined with the individual identification apparatus which concerns on the 1st Embodiment of this invention. It is a figure which shows the partial image of the registration image which is used when the separate identification apparatus which concerns on the 1st Embodiment of this invention calculates a score. It is a figure which shows the example of the collation image used as the input of the identification apparatus which concerns on the 1st Embodiment of this invention.
  • the individual identification apparatus 1 includes calculation means 2 and determination means 3.
  • the calculation means 2 is configured to calculate a score representing the similarity between the registered image obtained by imaging the object to be registered and the verification image obtained by imaging the object to be verification .
  • the determination means 3 is configured to determine, for each partial area, the degree of effectiveness regarding calculation of the score based on whether or not the partial area includes an image component common to a plurality of registered images.
  • the calculation unit 2 is configured to calculate the score based on the image component included in the registered image and the collation image and the degree of effectiveness.
  • the configuration and operation of the individual identification device 1 will be described in detail using an example of a simplified image for convenience of description.
  • FIG. 2 shows an example of each of four registered images.
  • the partial area (i, j) represents the partial area of the i-th row and the j-th column.
  • the partial area (i, j) may be, for example, any of the following.
  • the frequency spectrum image is invariant to the translation of the captured image.
  • C A monochrome image or color image obtained by imaging an object with a camera is first subjected to frequency conversion such as Fourier transform to convert it into a frequency spectrum image, and then polar coordinate conversion is performed on the frequency spectrum image Alternatively, each divided area obtained by dividing a polar coordinate image obtained by log polar coordinate conversion into n ⁇ m pieces.
  • the polar coordinate image is called a Fourier-Melin characteristic image. Changes in magnification and rotation of the captured image are converted to changes in translation in the Fourier-Mellin feature image.
  • a black and white image or color image obtained by imaging an object with a camera is first subjected to frequency conversion such as Fourier transform to convert it into a frequency spectrum image, and then polar coordinate conversion is performed on the frequency spectrum image Alternatively, individual divided regions obtained by dividing the phase image obtained by subjecting the Fourier-Melin feature to frequency transformation such as Fourier transform to n ⁇ m pieces by performing logarithmic polar coordinate transformation and transforming it into Fourier-Melin features .
  • the phase image is called a Fourier-Melin frequency spectrum image. This Fourier-Melin frequency spectrum image is invariant to the magnification, rotation, and translation of the captured image.
  • the image components of the partial area (i, j) take various values in accordance with the above a to d.
  • the value of the partial area (i, j) is binary. That is, in FIG. 2, the partial area (i, j) painted black indicates that the value of the image component is a certain value (hereinafter referred to as P).
  • the white partial area (i, j) indicates that the value of the image component is another value (hereinafter referred to as Q).
  • the determination means 3 In the partial area where the image component common to all the registered images 4 is present, the determination means 3 has low effectiveness for calculating the score, and on the contrary, the partial area in which image components not common to all the registered images 4 exist , The effectiveness of score calculation is high. Referring to FIG. 2, the image component of partial area (1, 1) has the same value P in all registered images. Therefore, the determination means 3 determines that the effectiveness for calculating the score of the partial area (1, 1) is low. On the other hand, in the partial region (1, 6), the value of the image component is Q in the registered images 4-1, 4-2, 4-4, but the value P in the registered image 4-3 Not the same. Therefore, the determination unit 3 determines that the effectiveness of the score calculation of the partial area (1, 6) is high. In this manner, the determination unit 3 determines, for each partial area, the degree of effectiveness regarding calculation of the score.
  • FIG. 3 graphically illustrates the effectiveness 5 related to the calculation of the score for each partial area determined by the determination unit 3.
  • the hatched partial area indicates that the effectiveness of calculating the score is low, and the white partial area indicates that the efficiency of calculating the score is high.
  • the effectiveness takes, for example, a value from 0 to 1, and the closer to 0, the lower the degree of effectiveness.
  • a partial area with an effectiveness of 0 is equivalent to that the partial area is not used to calculate the score.
  • a partial region with an effectiveness of 1 is equivalent to 100% of the partial region being used to calculate the score.
  • the effectiveness of the hatched partial region is 0, and the effectiveness of the white partial region is 1.
  • the calculation means 2 calculates the score using 23 partial areas of the 8 ⁇ 8 partial areas.
  • FIG. 4 shows a partial image consisting of 23 partial regions of the registered images 4-1 to 4-4 used when the calculation means 2 calculates the score.
  • FIG. 5 shows an example of a verification image 6 obtained by imaging an object to be verified.
  • the verification image 6 in this example is assumed to be an image obtained by imaging the same object as the registered image 4-1.
  • the image component of the partial area (8, 1) changes from the original value Q to the value P due to the influence of noise or the like.
  • the score calculated by the calculation means 2 may be any score as long as it represents the similarity between the registered image 4 and the matching image 6.
  • the image components are compared with the corresponding partial region of the matching image 6, and if the image components are the same, the score 1 is multiplied by the effectiveness.
  • the score of similarity between registered image 4-3 and matching image 6 is 0.17
  • the score of similarity between registered image 4-4 and matching image 6 is 0.48. Since the verification image 6 assumes an image obtained by imaging the same object as the registered image 4-1, it is natural that the score of the similarity with the registered image 4-1 is the highest. Although there is, it should be noted that the difference with the score of 2 or less is remarkable. Therefore, it is possible to easily distinguish between the first place and the second place or lower, and to realize individual identification that is robust against noise and the like.
  • the score of similarity between registered image 4-3 and matching image 6 is 0.78, and the score of similarity between registered image 4-4 and matching image 6 is 0.83.
  • the verification image 6 is assumed to be an image obtained by imaging the same object as the registered image 4-1, so the score of similarity with the registered image 4-1 is the highest, but the second place is The difference from the first place is small in contrast to FIG. 6 because the scores below also tend to be higher. For this reason, it becomes difficult to distinguish between the first place and the second place or lower, and the accuracy of individual identification decreases.
  • FIG. 8 shows an example of the configuration of the calculation means 2.
  • the calculation means 2 of this example includes a registered image pre-processing unit 2-1, a matching image pre-processing unit 2-2, a partial cross power spectrum generating unit 2-3, an element filling unit 2-4, and an inverse Fourier transform unit 2-5. , Score calculation unit 2-6.
  • the registration image pre-processing unit 2-1 is configured to generate a partial image 4A of a registration image including only partial regions whose validity is equal to or higher than the threshold, from the registration image 4 and the validity 5.
  • the threshold value to, for example, 1 or a value close to 1, it is possible to extract the remaining partial area from the registered image 4 excluding the partial area including the image component common to all the registered images 4.
  • the collation image pre-processing unit 2-2 is configured to generate a partial image 6A of a collation image composed of only the partial area having the effectiveness more than the threshold value from the collation image 6 and the effectiveness 5. Therefore, by setting the threshold value to, for example, 1 or a value close to 1, it is possible to extract the remaining partial area excluding the partial area including the image component common to all the registered images 4 from the collation image 6.
  • the partial cross power spectrum generation unit 2-3 is configured to calculate a partial cross power spectrum 7A between the partial image 4A of the registered image and the partial image 6A of the verification image 6.
  • the partial cross power spectrum generation unit 2-3 may be configured to generate a cross power spectrum, for example, in units of corresponding partial areas of the partial image 4A and the partial image 6A, or two or more adjacent ones It may be configured to collectively generate cross power spectra in area units configured from partial areas.
  • the element supplementing unit 2-4 generates a cross power spectrum 7B as a whole by compensating for zero as a cross power spectrum of a partial area other than the partial area where the cross power spectrum is obtained in the partial cross power spectrum 7A. It is configured to Further, the inverse Fourier transform unit 2-5 is configured to calculate the correlation value map 8 by performing inverse Fourier transform on the cross power spectrum 7B. The score calculation unit 2-6 is configured to calculate a score representing the similarity between the registered image 4 and the verification image 6 based on the presence or absence of the peak in the correlation value map 8 and the value indicating the sharpness of the peak. ing. The presence or absence of a peak can be determined, for example, based on whether or not there is a peak exceeding a determination threshold calculated in advance. Further, as a value indicating the peak sharpness, for example, the difference between the maximum peak and the determination threshold, the ratio of the maximum peak to the second peak, or the like can be used.
  • FIG. 9 shows another example of the configuration of the calculation means 2.
  • the calculation unit 2 in this example includes a registered image preprocessing unit 2-1A, a collation image preprocessing unit 2-2A, a cross power spectrum generation unit 2-3A, an inverse Fourier transform unit 2-5, and a score calculation unit 2-6. Have.
  • the registered image pre-processing unit 2-1A changes the value of the image component of the partial area of the registered image 4 according to the effectiveness level 5 of the partial area from the registered image 4 and the effectiveness level 5 It is configured to generate.
  • the registered image preprocessing unit 2-1A sets a value obtained by multiplying the value of the image component of the partial region of the registered image 4 by the effectiveness 5 as the image component of the partial region of the post-change registered image 4B.
  • the image component of the partial area of the effectiveness 5 of 0 is zero.
  • the present invention is not limited to this, and another method may be used as long as the image component can be changed according to the degree of effectiveness. For example, a method of adding a value corresponding to the degree of effectiveness to the image component may be used. As the effectiveness is smaller, the value of the image component of the post-change registered image 4B is smaller, so that the image component is not emphasized in the calculation of the similarity.
  • the verification image preprocessing unit 2-2A uses the same method as the registered image preprocessing unit 2-1A to determine the value of the image component of the partial area of the verification image 6 from the verification image 6 and the effectiveness 5 in the partial area thereof. It is configured to generate a post-change matching image 6B changed in accordance with the degree of effectiveness 5.
  • the cross power spectrum generation unit 2-3A is configured to generate the cross power spectrum 7 between the post-change registered image 4B and the post-change matching image 6B.
  • the inverse Fourier transform unit 2-5 is configured to perform inverse Fourier transform on the cross power spectrum 7 to calculate the correlation value map 8.
  • the score calculation unit 2-6 is configured to calculate a score representing the similarity between the registered image 4 and the verification image 6 based on the presence or absence of the peak in the correlation value map 8 and the value indicating the sharpness of the peak. ing.
  • FIG. 10A is a flowchart showing an example of processing of the determination means 3.
  • the determination means 3 first focuses on one partial area (for example, partial area (1, 1)) (step S1).
  • the determination unit 3 focuses on one registered image pair (for example, a pair of the registered image 4-1 and the registered image 4-2) (step S 2).
  • the determination means 3 calculates a score representing the degree of similarity between the focused partial areas of the focused registered image pair, and stores the score in the score set (step S3).
  • the determination means 3 generates a partial cross power spectrum between one partial region of the pair and the other partial region of the pair using the partial cross power spectrum generation unit 2-3 of FIG.
  • the remaining partial regions are zeroed using the element complementing unit 2-4 to generate the entire cross power spectrum, and then using the inverse Fourier transform unit 2-5 from the above whole cross power spectrum
  • a correlation value map is generated, and then a score is calculated from the correlation value map 8 using the score calculation unit 2-6, and the calculated score is the similarity between the focused partial regions of the registered image pair that is focused on It may be a score representing The score may be calculated by the method shown in FIG. 9 instead of FIG.
  • the determination means 3 shifts the attention to the next registered image pair (pair of registered image 4-1 and registered image 4-3) (step S4). Then, the determination means 3 returns to step S3 and repeats the same process as the process described above. Further, if attention has been paid to all the registered image pairs (YES in step S5), the determination unit 3 calculates the average value of the scores stored in the score set (step S6). Next, the determination means 3 determines the effectiveness of the partial region of interest based on the average value of the scores (step S7). For example, if the average value of the scores is larger than a preset threshold value ⁇ , the determination unit 3 sets the effectiveness of the focused partial region to 0, and otherwise sets the effectiveness of the target partial region to 1. As a result, the effectiveness of the partial region where the contribution to correlation peak generation between different individuals is large is low, and the effectiveness of the partial region where the contribution to correlation peak generation between different individuals is small is high.
  • step S8 the determination means 3 shifts attention to the next one partial area. Then, the determination means 3 returns to step S2 and repeats the same process as the process described above. If the determination unit 3 has focused on all the partial areas (YES in step S9), the process in FIG. 10A ends.
  • the effectiveness of the partial region with a large contribution to the correlation peak generation between different individuals is low, and the effectiveness of the partial region with a small contribution to the correlation peak generation between different individuals Decide to be higher.
  • FIG. 10B is a flowchart showing another processing example of the determination means 3.
  • the determination means 3 first executes the same process as the process shown in FIG. 10A to determine the effectiveness of each partial area based on the correlation value between different registered images (step S11).
  • the determination means 3 stores the partial area whose effectiveness is higher than a certain value determined in step S11 in the set of partial areas (step S12).
  • the determination unit 3 stores the partial area whose effectiveness is determined to 1 based on the correlation value between different registered images in a set of partial areas.
  • the determination means 3 focuses on one partial area in the set of partial areas (step S13).
  • the determination means 3 focuses on one registered image (step S14).
  • the determination means 3 generates a registered image that approximates to the registered image of interest from the registered image of interest (step S15).
  • the determination means 3 may use an image obtained by adding noise or geometric deformation to the focused registered image as a registered image that approximates the registered image.
  • the determination means 3 calculates a score representing the degree of similarity between the focused registered image and the registered image approximating it by, for example, the method shown in FIG. 8 or 9 and stores the calculated score in the score set. (Step S16).
  • the determination means 3 shifts the attention to the next one registered image (step S17).
  • the determination means 3 returns to step S15 and repeats the same process as the process described above. Further, if attention has been paid to all the registered images (YES in step S18), the determination unit 3 calculates the average value of the scores stored in the score set (step S19). Next, the determination means 3 determines the effectiveness of the partial region of interest based on the average value of the scores (step S20). For example, if the average value of the scores is larger than a preset threshold value ⁇ , the determination means 3 sets the effectiveness of the partial area of interest to 1, and otherwise sets the effectiveness of the partial area of interest to 0. As a result, the effectiveness of the partial region having a large contribution to the correlation peak generation between the same individuals is high, and the effectiveness of the partial region having a small contribution to the correlation peak generation between the same individuals is low.
  • the determination means 3 shifts the focus to another one of the partial areas in the set of partial areas (step S21).
  • the determination means 3 returns to step S14 and repeats the same process as the process described above. If the determination unit 3 has focused on all the partial areas (YES in step S22), the process in FIG. 10B ends.
  • the determination means 3 has high effectiveness of the partial region with a large contribution to the correlation peak generation between the same individuals, and a small contribution to the correlation peak generation between the same individuals The effectiveness of the partial region is determined to be low.
  • the individual identification device 1 determines that the verification image is not any of the plurality of registered images (hereinafter referred to as a determination threshold The method of determining will be described.
  • FIG. 11 is a flowchart illustrating an example of processing in which the individual identification device 1 determines the determination threshold. This process is implemented by the threshold determination means 9 of the individual identification device 1.
  • the threshold determination means 9 is configured to carry out the process of FIG. 11 when the plurality of registered images 4 are registered in a database (not shown). Further, the threshold value determination means 9 may be configured to carry out the process of FIG. 11 again when one or more new registered images 4 are additionally registered in the database.
  • the threshold determination unit 9 first focuses on one registered image registered in a database (not shown) (step S11), and generates a verification image that approximates to the registered image of interest from the registered image of interest (step S12) .
  • the threshold determination means 9 may use the registered image in focus as the matching image. Alternatively, the threshold value determination unit 9 may use an image obtained by adding noise or geometric deformation to the registered image in focus as a verification image.
  • the threshold determination means 9 calculates the score representing the similarity between the focused registered image and the reference image by the method shown in FIGS. 8 and 9, and stores the calculated score in the first place score set ( Step S13).
  • the threshold value determining means 9 calculates the score representing the similarity between all of the registered images other than the focused registered image and the matching image according to the method shown in FIGS. 8 and 9, and the calculated scores The maximum score among the two is stored in the second place score set (step S14).
  • the threshold value determining unit 9 focuses attention on the next registered image registered in the database (steps S15 and S16), returns to step S12, and repeats the same processing as the above-described processing.
  • the threshold value determination means 9 determines the intermediate value between the minimum value of the score stored in the first place score set and the maximum value of the score stored in the second place score set when the above-described iterative process on all registered images is completed.
  • the threshold is determined (step S17).
  • the threshold determination unit 9 may determine a value intermediate between the average value of the scores stored in the first place score set and the score average value stored in the second place score set as the determination threshold.
  • the registration image for each partial area is determined based on whether or not the determination means 3 is a partial area in which an image component common to a plurality of registration images obtained by imaging a plurality of objects to be registered is present.
  • the degree of effectiveness relating to the calculation of the score representing the similarity between the image and the collation image obtained by imaging the object to be collated, and the calculation means 2 is included in the registered image and the collation image This is because the above-mentioned score is calculated based on the image component and the degree of effectiveness.
  • the quality and distribution management of individual products are performed by assigning manufacturing numbers, barcodes, QR codes, and the like to objects such as industrial products and products.
  • IC tags and RFIDs are given to each product, and wireless communication system is a technology that realizes comprehensive product management, product loss prevention, theft prevention and forgery prevention from product production to distribution and sales efficiently. is there.
  • Patent Document 5 a protective film is attached to a specific site on a product surface, a random pattern on the product surface at the protective film pasting site is acquired as an image using a photographing device, and a captured image obtained is used An article management device is described.
  • Patent Document 6 describes a product identification unit that uses a camera to image a textured finish formed on the surface of a part or a product, and uses an image feature of a textured pattern included in the captured image.
  • Patent Document 7 and Patent Document 8 describe a method of performing authenticity determination of an article using a random pattern of taggants (microparticles) on the article for the purpose of individual identification or authenticity determination of the article.
  • Patent Document 9 proposes a method of performing two-dimensional Fourier transformation on a captured image of a human fingerprint and performing identification and authentication of an individual (person) using phase limited correlation of the captured image.
  • Patent Document 10 proposes a method for identifying and authenticating an individual (person) using phase limited correlation with a captured image of an iris.
  • Patent Document 11 for the purpose of personal identification, an image showing an object is subjected to frequency conversion and polar coordinate conversion, and a frequency band representing the feature of the object is selected from the frequency spectrum image represented by this polar coordinate system.
  • An image conversion apparatus is described which generates a vector for individual identification including an element specifying a selected frequency band and an element representing a frequency spectrum.
  • reading of biological information is performed by changing the combination of the direction of the input feature information vector and the direction of the registered feature information vector at the time of matching, and calculating the sum of the distances between the two vectors. It corresponds to the shift of the rotation angle and the position due to the direction of the subject being different every time.
  • Patent Document 12 describes an image collating apparatus capable of collating even if there is a difference in parallel movement amount, rotation angle, and enlargement / reduction between a collated image and a registered image. More specifically, in Patent Document 12, first, the matching image and the registration image are subjected to Fourier transform (FFT) and log-polar coordinate conversion (LPT), and between the matching image and the frequency spectrum image of the registration image obtained thereby Correction information (magnification information, rotation information) of the matching image with respect to the registered image is generated by the phase limited correlation of Next, the magnification and rotation of the collation image are corrected based on the correction information, and collation is performed by correlation processing between the collation image after the correction and the registration image.
  • FFT Fourier transform
  • LPT log-polar coordinate conversion
  • Patent Document 13 describes an image processing apparatus capable of obtaining the amount of positional deviation between a reference image and a reference image obtained by photographing the same object at different positions and orientations with higher accuracy.
  • the matching image and the registered image are subjected to Fourier transform and log-polar coordinate transformation to obtain a frequency spectrum (Fourier-Mellin (FM)) image, and the matching image.
  • An amount of positional deviation (magnification information, rotation information, etc.) of the matching image with respect to the registered image is generated using phase limited correlation processing between FM images of the registered image.
  • Weights are given to exclude areas with large radius in the FM image, which are areas that are not fit into the image on one side due to positional deviation between them, or areas where the correlation decreases due to fewer sample points in polar coordinate conversion.
  • the correlation is calculated to estimate the misregistration amount with high accuracy, and there is an illumination change between the reference image and the registered image. Also, by increasing the weight for the middle frequency band that is considered to contain more information on the subject, the position shift amount is robustly estimated even for illumination changes. Set weights that emphasize edge features, and estimate the position with higher accuracy.
  • Patent Document 11 the feature amount of the subject is extracted from a frequency spectrum image after frequency conversion and polar coordinate conversion of an image in which the subject is captured.
  • the alignment of the image is not performed when extracting the feature amount. Therefore, at the time of matching, while changing the combination of the direction of the input feature information vector and the direction of the registered feature information vector, the subject is calculated at each reading of the biological information by calculating the sum of the distances between the two vectors. It is necessary to cope with misalignment due to different directions of. In this case, a large number of combinations must be processed to match only one registered image, and the amount of processing at the time of matching becomes enormous. Therefore, it is conceivable to apply the image alignment technology described in Patent Document 12 to the technology described in Patent Document 11.
  • the correction information (magnification information, rotation information) of the first image with respect to the second image is Fourier-Melin transformed of both images and invariant to position, and magnification / rotation is converted into parallel movement.
  • the feature amount is obtained, the correction information is generated from the parallel shift amount obtained by the phase limited correlation between the feature amounts, and both images are corrected by the correction information and then collated. Therefore, even if the position, orientation, and magnification of the object at the time of matching are different from those at the time of registration, the matching can be performed in one process.
  • An object of the present embodiment is to provide an individual identification device which can solve the above-mentioned problems, and in particular, can realize high-speed collation with a database having a large number of registrations.
  • common features among different individuals that is, features that are effective for generating registration correction information are not used in the correlation calculation.
  • the common feature is determined from images of different individuals registered in the database of individual identification and different images of the same individual generated by geometric deformation and noise addition. Specifically, from each registered image of the database, a feature value (frequency spectrum (FMFS) image obtained by further frequency conversion of a feature amount (Fourier / Meline feature (FM)) independent of positional deviation, and magnification or rotation is extracted Furthermore, only individual-specific components are extracted from the FMFS (common features among different individuals are removed).
  • FMFS frequency spectrum
  • FM Frier / Meline feature
  • the correlation peak is not detected in the correlation value map for the image of the object which is not the same individual by calculating the correlation only with the individual unique component from which the common feature is removed between different individuals.
  • identification results can be determined immediately as different individuals without performing registration processing.
  • the correlation peak can be detected, and the discrimination result can be immediately judged as the same individual, and the individual can be specified.
  • the individual identification apparatus further applies to a Fourier-Mellin feature (FM feature) image obtained by applying Fourier-Mellin transformation (frequency transformation and logarithmic polar coordinate transformation) to an image obtained by imaging an object.
  • FMFS frequency-transformed image
  • a transform unit that performs frequency transform and extracts a frequency spectrum (FMFS) image of an FM feature;
  • the power spectrum is determined, and the cross power spectrum outside the above partial region is compensated with zero, and then a characteristic correlation unit for detecting a peak in the correlation map obtained by the inverse Fourier transform, the presence or absence of the peak, and the individual peak value
  • a collating unit for performing identification.
  • this embodiment is characterized in that it does not have an image alignment unit and an image comparison unit whose position has been corrected. Further, this embodiment is not on the Fourier-Melin characteristic image in which positional deviation occurs due to a change in magnification or rotation of the matching image, but does not occur on the partial spectrum on the frequency spectrum image after Fourier transformation. Feature extraction. Furthermore, the present embodiment is characterized by having a determination unit that determines the partial region from an image group of an individual registered in the database as a comparison target.
  • the determination unit is configured to determine a partial region of the FMFS image in which contribution to a peak in the correlation map is small between the FMFS images obtained from images of different individuals.
  • the present embodiment is characterized by having a determination unit that determines a threshold value of an evaluation value for detecting a peak in the correlation map, and the like from an image group of an individual registered in the database as a comparison target.
  • the present embodiment has the above-described configuration, it is possible to quickly identify which one of a large number of registered individuals the matching image is, without aligning the image obtained by imaging the object. It can be carried out.
  • the present embodiment utilizes the fact that the surface of a plurality of products manufactured through the same manufacturing process has a fine pattern unique to each product and a fine pattern common to the plurality of products. Further, the present embodiment utilizes the fact that the spatial frequency in the Fourier-Melin characteristic image is different between the fine pattern unique to each product and the fine pattern common to the plurality of products.
  • FIG. 12 is a block diagram of the individual identification apparatus 100 according to the present embodiment.
  • the individual identification apparatus 100 according to the present embodiment includes an image acquisition unit 101, an image storage unit 102, a frequency conversion unit 103, a polar coordinate conversion unit 104, a frequency conversion unit 105, an effectiveness determination unit 106, and an effectiveness A storage unit 107, a feature extraction unit 108, a feature storage unit 109, a score calculation unit 110, a determination unit 111, and an information presentation unit 112 are provided.
  • the image acquisition unit 101 has a function of acquiring an image of the surface of a product to be managed.
  • the image storage unit 102 has a function of storing an image obtained by the image acquisition unit 101.
  • the frequency conversion means 103 has a function of performing frequency conversion on an image and converting it into a frequency spectrum image. Although two-dimensional discrete Fourier transform is used as frequency conversion, frequency conversion of other systems, such as two-dimensional discrete wavelet transform, may be used.
  • the polar coordinate conversion means 104 has a function of generating a Fourier-Melin characteristic (FM) image obtained by converting the frequency spectrum image into polar coordinates.
  • FM Fourier-Melin characteristic
  • the frequency conversion means 105 has a function of generating a frequency spectrum (FMFS) image of a Fourier-Mellin feature obtained by further frequency-converting a Fourier-Mellin feature (FM) image.
  • the effectiveness determining means 106 has a function of determining the effectiveness of each partial area of the FMFS image.
  • the effectiveness determining means 106 lowers the effectiveness of the partial region that includes more frequency features (common features) that commonly appear in the images of the surfaces of the plurality of products.
  • the effectiveness storage means 107 has a function of storing the effectiveness of each partial area output from the effectiveness determination means 106.
  • the feature extraction means 108 uses the effectiveness storage means 107 in the partial area constituting the frequency spectrum (FMFS) image of the Fourier Mellin feature obtained by polar coordinate transformation of the frequency spectrum image of the captured image of the surface of the product to be managed. It has a function of calculating an individual feature amount from one or a plurality of partial regions whose stored effectiveness is equal to or higher than a reference value.
  • the feature amount storage unit 109 has a function of storing the feature amount unique to an individual obtained by the feature extraction unit 108 from the captured image.
  • the score calculation means 110 is an individual feature amount obtained by the feature extraction means 108 from a frequency spectrum (FMFS) image of a Fourier-Melin feature obtained by polar coordinate conversion of a frequency spectrum image of a captured image which is a query image, and feature amount storage.
  • FMFS frequency spectrum
  • the correlation between the FMFS with the feature stored in the means 109 is calculated, and the score (numerical value) is calculated based on the presence / absence of the peak in the correlation map obtained by inverse Fourier transforming it and the value representing the sharpness of the peak. It has a function.
  • the determination unit 111 has a function of outputting the determination result of identification and collation based on the score obtained by the score calculation unit 110.
  • the information presentation unit 112 has a function of presenting individual management information based on the determination result.
  • the individual identification apparatus 100 includes an imaging unit 201 such as a camera, an operation input unit 202 such as a keyboard or a mouse, a screen display unit 203 such as a liquid crystal display, a communication interface unit 204, and a memory. It can be realized by an information processing apparatus 200 such as a personal computer or a smartphone having a storage unit 205 such as a hard disk or the like, and an arithmetic processing unit 206 such as one or more microprocessors, and a program 207.
  • the program 207 is read from an external computer-readable storage medium into the memory at startup of the information processing apparatus 200 or the like, and controls the operation of the arithmetic processing unit 206 to obtain an image acquisition unit on the arithmetic processing unit 206.
  • the functional means such as the determination means 111 and the information presentation means 112 are realized.
  • the operation of the identification apparatus 100 is roughly divided into the following three.
  • Pre-processing Determination of effectiveness First, a process of determining the degree of effectiveness of score calculation will be described as the process of the previous stage.
  • FIG. 14 and FIG. 15 are an operation flow and a flowchart of the effectiveness determination process.
  • the image acquisition unit 101 acquires an image of the surface pattern of each of a plurality of products to be managed, and stores the image in the image storage unit 102 (step S101).
  • the image acquisition unit 101 acquires at least one image for each individual and stores the image in the image storage unit 102.
  • the image acquisition unit 101 may acquire a plurality of images for each individual and store the images in the image storage unit 102 in order to increase the accuracy of the effectiveness.
  • the image acquisition unit 101 may be any of an imaging device such as a camera or a scanner, an acquisition device of image data via a network, and an acquisition device of image data via a storage medium such as a CD-ROM.
  • the image acquisition unit 101 stores the acquired image of the surface pattern of the product in the image storage unit 102 for each production line.
  • the production line includes an assembly process by a flow operation or a single assembly process by a single processing machine, which is made to manufacture a large amount of the same or similar products.
  • the image acquisition means 101 distinguishes the image of the surface pattern of the product manufactured by the first production line and the image of the surface pattern of the product manufactured by the second production line, in the image storage means 102. save.
  • a pattern unique to the mold A1 is transferred over the entire surface.
  • a pattern unique to the mold A2 is transferred over the entire surface.
  • the image acquisition means 101 distinguishes the image of the surface pattern of the product manufactured by the first production line and the image of the surface pattern of the product manufactured by the second production line, in the image storage means 102. save.
  • FIG. 16A to 16C show an example of the contents of the image storage means 102.
  • FIG. 16A shows an example in which the image acquisition unit 101 acquires one image for each individual and stores it in the image storage unit 102.
  • Images G 1 ,..., G n are n images corresponding to n products one to one.
  • FIG. 16B shows an example in which the image acquisition unit 101 acquires m (m) 2) images for each individual and stores the images in the image storage unit 102.
  • the images G 11 , ..., G 1 m, the images G 21 , ..., G 2 m, ..., the images G n1 , ..., G nm are n x m images that correspond one-to-one to n products.
  • FIG. 16C shows an example in which the image acquisition unit 101 stores an image of a product in the image storage unit 102 for each production line.
  • the images G 1 ,..., G n are n images corresponding to n products produced on the first production line one to one.
  • the images G n + 1 ,..., G n + n are n images corresponding to n products produced in the second production line one to one.
  • one image is stored per individual, but a plurality of images may be stored per individual.
  • the frequency conversion means 103 takes out images of surface patterns of a plurality of products to be managed from the image storage means 102, and converts them into two-dimensional frequency spectrum data of each image (step S103). Further, in step S103, the frequency conversion means 103 may further take the logarithm of the obtained two-dimensional frequency spectrum data and convert it into logarithmic amplitude spectrum data.
  • the two-dimensional frequency spectrum data obtained by the present processing is referred to as a frequency spectrum image.
  • the polar coordinate conversion unit 104 converts the frequency spectrum image obtained by the frequency conversion unit 103 into logarithmic polar coordinates, and generates an FM image (step S104).
  • rotational movement in real coordinates results in lateral movement along the ⁇ axis in polar coordinates. Therefore, the amount of rotational fluctuation between the two frequency spectrum images is represented by the amount of translation along the ⁇ axis between the two frequency spectrum images after polar coordinate conversion.
  • scale fluctuations in real coordinates result in lateral movement along the log-r axis in log polar coordinates.
  • the amount of rotational variation and scale variation between two frequency spectrum images is the amount of translation along the ⁇ axis and the amount of translation along the log-r axis between the two frequency spectrum images after log-polar coordinate conversion. Be expressed. Therefore, the conversion to the FM image is effective when there is a scale fluctuation in addition to the rotational fluctuation between captured images at the time of image acquisition.
  • FIG. 17A to 17C show an example of processing results of the frequency conversion means 103 and the polar coordinate conversion means 104.
  • FIG. 17A shows the results of processing one image for each individual shown in FIG. 16A.
  • the images SG 1 ,..., SG n are n Fourier-Mellin feature images (FM images) corresponding to n products one to one.
  • FIG. 17B shows the result of processing m (m ⁇ 2) images for each individual shown in FIG. 16B.
  • Image SG 11, ..., SG 1m, image SG 21, ..., SG 2m, ..., image SG n1, ..., SG nm is, n ⁇ m pieces of the Fourier-Mellin features corresponding to one-to-one to n products It is an image (FM image).
  • FIG. 17C shows the result of processing the image of each production line shown in FIG. 16C.
  • the images SG 1 ,..., SG n are n Fourier-Mellin feature images (FM images) that correspond one-to-one to n products produced in the first production line.
  • the images SG n + 1 ,..., SG n + n are n Fourier-Mellin feature images (FM images) that correspond one to one to n products produced in the second production line.
  • the frequency conversion unit 105 generates an image (FMFS image) obtained by frequency conversion of the FM image output from the polar coordinate conversion unit 104 (step S105).
  • FIG. 18A to 18C show an example of the processing result of the frequency conversion means 105.
  • FIG. FIG. 18A shows the result of processing one FM image for each individual shown in FIG. 17A.
  • Images SSG 1 ,..., SSG n are FMFS images obtained by frequency-converting n FM images corresponding one-to-one to n products.
  • FIG. 18B shows the results of processing m (m ⁇ 2) FM images for each individual shown in FIG. 17B.
  • Image SSG 11, ..., SSG 1 m, image SSG 21, ..., SSG 2m, ..., image SSG n1, ..., SSG nm is frequency n ⁇ m pieces of FM images corresponding to the one-to-one to n products It is an FMFS image obtained by conversion. Further, FIG.
  • Images SSG 1 ,..., SSG n are FMFS images obtained by frequency-converting n FM images corresponding one-to-one to n products produced in the first production line.
  • Images SSG n + 1 ,..., SSG n + n are FMFS images obtained by frequency-converting n FM images corresponding one-to-one to n products produced in the second production line .
  • the effectiveness determining unit 106 calculates the effectiveness of each partial area using the FMFS image obtained by the frequency conversion unit 105 (step S106).
  • the method of calculating the effectiveness of each partial area will be described in detail.
  • the effectiveness determining unit 106 extracts a specific portion as a partial region image from the FMFS image obtained from a plurality of image pairs of different products, and calculates a score between all partial region images (synthesis of cross power spectrum ( Product by element), zero padding of other partial regions, calculation of correlation value map by inverse Fourier transform, and calculation of evaluation value of presence / absence (sharpness) of maximum value peak in the correlation value map) The degree to which the partial region contributes to the presence or absence of the correlation value peak between different individuals is calculated.
  • correlation value maps are obtained for pairs of images of all different individuals, S / N ratios of respective peaks and their peripheral regions are obtained, and S / N between different individuals Determine how much the N ratio will be (specifically, the average value etc.).
  • the effectiveness determination means 106 processes the same processing as described above for the image pair of the same individual product, and how much the partial area contributes to the presence or absence of the correlation value peak between the same individuals ( Specifically, the average value of the S / N ratio is calculated.
  • the effectiveness determining unit 106 sets the ratio of the degree of contribution to the same inter-individual peak and the degree of contribution to a different inter-individual peak as the degree of contribution as the individual unique feature of the partial region.
  • the degree of contribution in addition to the average value, various statistical values such as a set of values between different individuals and a degree of separation of a set of values between identical individuals can also be used.
  • the effectiveness determination means 106 repeats the above processing for various partial regions, and determines only the partial region (one or more) having a high degree of contribution as an individual unique feature, and the effectiveness of the determined partial regions Let 1 be.
  • the effectiveness determining unit 106 divides the FMFS image into a fixed size, repeats the above processing for each area, and increases the degree of contribution as an individual-specific feature to a predetermined number of partial areas for which the effectiveness is 1 It can be determined as an area.
  • the effectiveness determining unit 106 first focuses on one of a plurality of partial areas obtained by dividing the FMFS image with a predetermined size (step S401). Next, the effectiveness determining unit 106 focuses on one image pair among a plurality of different product image pairs (step S402). That is, a pair of an image of a product and an image of a product different from the product is noted. Next, the effectiveness determining means 106 calculates a score representing the similarity between the in-focus partial areas of the in-focus image pair (step S403). The score may be, for example, a peak value in a correlation value map between the current partial regions of the current image pair.
  • the peak value may be a signal (S), for example, the second highest peak value may be noise (N), and the S / N ratio may be the score.
  • the effectiveness determining unit 106 focuses attention on the next image pair of different products (step S404), returns to step S403, and repeats the same processing as the above-described processing.
  • the effectiveness determining unit 106 calculates an average value of the score calculated for each image pair of different products in the focused partial area, and this calculation is performed.
  • the average value of the scores obtained is used as a score representing the degree of contribution to the different inter-product peak of the target partial region (step S406).
  • step S407 the effectiveness determining unit 106 focuses attention on one of the next partial areas (step S407), returns to step S402, and repeats the same processing as the above-described processing.
  • step S408 the process proceeds to step S411 in FIG. 25B.
  • step S411 the effectiveness determination unit 106 again focuses on one of the plurality of partial areas.
  • step S412 the effectiveness determining unit 106 focuses on one image pair among a plurality of image pairs of the same product. That is, attention is paid to a pair of images related to the same product.
  • step S413 the effectiveness determining means 106 calculates a score representing the similarity between the in-focus partial areas of the in-focus image pair in the same manner as in step S403 (step S413).
  • step S414 the effectiveness determining unit 106 focuses attention on the next image pair of the same product (step S414), returns to step S413, and repeats the same processing as the above-described processing.
  • the effectiveness determining unit 106 calculates an average value of scores calculated for each image pair of the same product for the focused partial area, and calculates this value.
  • the average value of the scores obtained is used as a score representing the degree of contribution to the same product-to-product peak of the region of interest (step S406).
  • the effectiveness determining unit 106 focuses attention on one of the next partial areas (step S417), returns to step S412, and repeats the same processing as the above-described processing. Further, when attention has been paid to all partial areas (YES in step S418), the effectiveness determining unit 106 proceeds to step S421 in FIG. 25C.
  • step S421 the effectiveness determining unit 106 again focuses on one of the plurality of partial areas.
  • the effectiveness determining means 106 compares the ratio of the score representing the contribution of the focused partial region to the same inter-product peak with respect to the score representing the contribution of the focused partial region to the different inter-product peak, the focused portion.
  • the degree of contribution of the individual unique feature of the region is calculated (step S422).
  • the effectiveness determining unit 106 focuses attention on one of the next partial areas (step S423), returns to step S422, and repeats the same processing as the above-described processing.
  • the effectiveness determining unit 106 sorts the contribution degrees of individual unique features for each partial area in descending order so that larger ones are ranked higher. (Step S425). Next, the effectiveness determining means 106 determines the effectiveness of n partial regions corresponding to the contribution of the top n (n is a predetermined positive integer) individual unique features of the sort result to one, and the others. The effectiveness of the partial area is set to 0 (step S426).
  • the effectiveness determining means 106 determines, in step S106, for each of the production lines, a plurality of products manufactured in the production line. From the FMFS image, the effectiveness of each partial area corresponding to the production line is calculated. Thus, for example, from the FMFS images of a plurality of products manufactured using the mold A1, the effectiveness of the partial region including the pattern commonly transferred to each individual at the time of manufacture by the mold A1 is determined to be 0 And from the FMFS images of multiple products manufactured using mold A2, the effectiveness of the partial area containing the pattern transferred in common to each individual at the time of casting or coining with mold A2 is determined to be 0 Ru.
  • a common FMFS component derived from the fine unevenness corresponding to the cross section of the cutting blade generated at the time of cutting by the cutting device B1 (common features
  • the effectiveness of the partial region including) is determined to be 0, and from the FMFS images of a plurality of products manufactured using the cutting device B2, fine irregularities corresponding to the cross section of the cutting blade produced at the time of cutting by the cutting device B2
  • the effectiveness of the partial region including the common component (common feature) derived from is determined to be zero.
  • the effectiveness determination means 106 uses statistical methods such as principal component analysis and linear discriminant analysis and machine learning using a plurality of FMFS images of the same individual or different individuals when determining the effectiveness of each partial region. By applying it, it is possible to easily include a large amount of noise at the time of shooting and to determine a partial region with a poor S / N ratio. Then, the effectiveness determining means 106 sets the effectiveness of the partial region with a low S / N ratio to 0, thereby making it possible to extract only the partial region that can extract feature quantities useful for individual individual identification with a high S / N ratio. Decide to 1. Alternatively, the effectiveness determining means 106 may generate a weighting factor according to the determined S / N ratio. This weighting factor can be used to improve the performance of individual identification and individual collation described later.
  • the effectiveness determining means 106 stores the calculated effectiveness of each partial area in the effectiveness storing means 107.
  • FIG. 19A and FIG. 19B show an example of contents of the effectiveness storage means 107.
  • FIG. FIG. 19A shows an example in which one effectiveness CF is stored in the effectiveness storage means 107.
  • FIG. 19B shows an example in which one effectiveness is stored for each production line. That is, the effectiveness CF 1 corresponds to the first production line, and the efficiency CF 2 corresponds to the second production line.
  • FIG. 20 and FIG. 21 are process flow and flowchart of the operation of individual registration.
  • the image acquisition unit 101 acquires an image obtained by imaging the surface of an object to be subjected to individual registration (step S201).
  • the frequency conversion unit 103 performs frequency conversion on the captured image acquired by the image acquisition unit 101 to generate a frequency spectrum image (step S202).
  • the polar coordinate conversion unit 104 performs logarithmic polar coordinate conversion on the frequency spectrum image generated by the frequency conversion unit 103 to generate a Fourier-Mellin feature (FM) image (step S203).
  • the frequency conversion unit 105 performs frequency conversion on the FM image generated by the polar coordinate conversion unit 104 to generate a Fourier-Melin frequency spectrum (FMFS) image (step S204).
  • FMFS Fourier-Melin frequency spectrum
  • the feature extraction unit 108 inputs the FMFS image and the degree of effectiveness of each partial area stored in the effectiveness storage unit 107. As shown in FIG. 19 (b) in the effectiveness storage means 107, the feature extraction means 108, when the effectiveness for each production line is stored, is used in the production line where the product targeted for individual registration is produced. Use the corresponding effectiveness. For example, if a product targeted for individual registration is produced on the first production line, the effectiveness CF 1 is used. Next, the feature extraction unit 108 cuts out a partial image from the FMFS image based on the input effectiveness, and outputs this cut-out image as a feature amount unique to an individual (step S205).
  • the feature extraction unit 108 divides the FMFS image into partial regions, and cuts out a set of partial regions with an effectiveness of 1 as a partial image. In addition, when a weighting factor is added to the effectiveness, the feature extraction unit 108 multiplies each frequency component of the partial region by the weighting factor, and outputs the result as a feature amount unique to an individual.
  • the feature amount storage unit 109 stores the feature amount unique to the registration target obtained by the feature extraction unit 108 (step S206). At this time, the feature amount storage unit 109 associates (associates with) information (also referred to as incidental information) related to the product to be registered such as the ID number of the individual to be registered, registration date and time, dimensions, product specifications, etc. ) Register individual feature quantities. By setting in this way, it becomes possible to present the individual management information of the product based on the judgment result at the time of individual identification and individual authentication described later.
  • FIG. 22 shows an example of the content of the feature storage means 109.
  • Feature amount PF 1, ..., PF n and supplementary information SI 1, ..., SI n is the feature quantity and the supplementary information corresponding to the one-to-one to the individual registered.
  • FIG. 23 and FIG. 24 are processing flows and flowcharts of operations at the time of individual identification and individual matching.
  • the image acquiring unit 101 acquires an image (hereinafter referred to as a collation image) obtained by imaging the surface of an object to be identified and collated (step S301).
  • the frequency conversion unit 103 performs frequency conversion on the matching image to generate a frequency spectrum image (step S302).
  • the polar coordinate conversion unit 104 performs logarithmic polar coordinate conversion on the frequency spectrum image generated by the frequency conversion unit 103 to generate a Fourier-Mellin feature (FM) image (step S303).
  • FM Fourier-Mellin feature
  • the frequency conversion unit 105 performs frequency conversion on the FM image generated by the polar coordinate conversion unit 104 to generate a Fourier-Melin frequency spectrum (FMFS) image (step S304).
  • the processes of steps S301 to S304 are the same as the processes of steps S201 to S204 of FIG. 21 at the time of the individual registration operation.
  • the Fourier-Melin frequency spectrum (FMFS) image obtained by the frequency conversion means 105 will be referred to as a reference FMFS image.
  • the feature extraction unit 108 pays attention to one effectiveness stored in the effectiveness storage unit 107 (step S305). For example, when one type of effectiveness CF is stored in the effectiveness storage means 107 as shown in FIG. 19A, the effectiveness CF is noted. When a plurality of types of effectiveness are stored in the effectiveness storage means 107 as shown in FIG. 19B, one of them is focused.
  • the feature extraction unit 108 cuts out a partial image from the matching FMFS image based on the in-focus effectiveness, and outputs this cut-out image as an individual-specific feature amount to be identified and matched (step S306). . That is, the feature extraction unit 108 divides the verification FMFS image into partial areas, and cuts out a set of partial areas with an effectiveness of 1 as a partial image. In addition, when a weighting factor is added to the effectiveness, the feature extraction unit 108 multiplies each frequency component of the partial region by the weighting factor, and outputs the result as a feature amount unique to an individual.
  • the feature amount unique to the individual is referred to as a matching feature amount.
  • the score calculation unit 110 registers the matching feature amount obtained by the feature extraction unit 108 and the registration for each individual feature amount unique to the individual stored in the feature amount storage unit 109 (hereinafter referred to as a registered feature amount).
  • a registered feature amount Calculation of element product with feature quantity (generation of partial cross power spectrum), generation of full cross power spectrum by zero padding of other partial regions, calculation of correlation value map by inverse Fourier transform for full cross power spectrum, and The evaluation value of the presence or absence of the maximum value peak and the sharpness of the peak in the correlation value map is calculated, and finally, a score representing the similarity between the matching feature amount and the registered feature amount is calculated as a numerical value (step S307).
  • the score calculation unit 110 calculates, for example, a correlation between two matching FMFS feature amounts and a registered feature amount, and performs inverse Fourier transform on the positional shift amount to obtain a correlation value. It is calculated as a value indicating the sharpness of the peak in the map, and a value indicating the sharpness of the peak is calculated as a score between the matching feature and the registered feature.
  • the peak value and the S / N ratio of the peripheral area may be used as a score, or the ratio between the maximum value and the value of the second place in the correlation map may be used as a score.
  • the score calculation means 110 may calculate the Z score of the maximum value from the element group around the maximum value, or performs some linear transformation on the value of the peak or the Z score to obtain a certain value
  • the score may be normalized to be within the range.
  • the score calculation means 110 shifts attention to another one of the effectiveness stored in the effectiveness storage means 107 (step S308).
  • the score calculation means 110 proceeds to the process of step S310 if there is no other significance to be noted. If there is another effectiveness to be noted, the score calculation means 110 returns to step S306 paying attention to it, and executes the same processing as the above-described processing based on the newly focused effectiveness. Thereby, as shown in FIG. 19B in the effectiveness storage means 107, when a plurality of effectiveness corresponding to one to one are stored in the production line, the processing of steps S306 and S307 is repeated by the number of production lines. Be
  • step S310 based on the score calculated in step S307 by the score calculation unit 111, the determination unit 111 determines which registered feature amount the matching feature amount is stored in the feature amount storage unit 110. . For example, the determination unit 111 sorts the score of the matching feature amount and each registered feature amount stored in the feature amount storage unit 119, and selects a registered feature amount having a maximum score (normalized mutual correlation is maximum). . Then, the determination unit 111 reads the incidental information linked to the selected registered feature amount from the feature amount storage unit 109, and outputs it as product information of a product to be identified and collated.
  • the determination unit 111 determines which registered feature amount the matching feature amount is stored in the feature amount storage unit 110. . For example, the determination unit 111 sorts the score of the matching feature amount and each registered feature amount stored in the feature amount storage unit 119, and selects a registered feature amount having a maximum score (normalized mutual correlation is maximum). . Then, the determination unit 111 reads the incidental information linked to the selected registered feature
  • the determination unit 111 may determine whether the maximum score of the matching feature amount and the registered feature amount exceeds a preset determination threshold. Then, when the maximum score of the matching feature and the registered feature does not exceed the determination threshold, the determining unit 111 determines that the product to be identified and matched is not registered, and outputs information representing an authentication error. .
  • the judging means 111 which operates in this manner can be used for the purpose of individual authentication such as authenticity judgment of a management object.
  • the information presenting means 112 receives the product information obtained from the judging means 111 and the authentication error information, and displays not-shown product information which is an individual identification result of the product to be identified and collated, and individual authentication information. It is displayed on the device or output to an external terminal (step S311).
  • the process of aligning the image obtained by imaging the object and collating is performed on the individual with a small processing amount without repeatedly processing the large number of individuals to be collated. It can be identified.
  • the score calculation means 110 is a frequency spectrum of the FM image in order to exclude features common to different individuals among the FM images which are feature quantities invariant to the misalignment between the matching image and the registered image. Based on partial regions in the FMFS image (in the present embodiment, individual-specific frequency spectrum components not common to a plurality of products), different individuals can not obtain misregistration amounts, that is, correlation peaks, and correlation peaks can be obtained only for the same individuals. It is for identifying an individual without performing alignment using the above.
  • the present invention acquires differences of naturally occurring fine patterns generated in the same manufacturing process, such as fine irregularities and patterns on the product surface and random patterns on the material surface, as an image using an imaging device such as a camera, By recognizing a fine pattern, it can be used in the field of individual identification and management of individual products.
  • the registered image and the matching image are frequency spectrum images obtained by performing frequency conversion, logarithmic polar coordinate conversion, and frequency conversion on an image obtained by imaging the registration target and the object to be matched.
  • the individual identification device according to appendix 1.
  • the calculation means A registered image pre-processing unit that extracts a partial region from the registered image based on the effectiveness and generates a partial image of the registered image;
  • a verification image preprocessing unit that extracts a partial region of the verification image based on the effectiveness and generates a partial image of the verification image;
  • a partial cross power spectrum generation unit that generates a partial cross power spectrum that is a cross power spectrum between the partial image of the registered image and the partial image of the matching image;
  • An element complementing unit that compensates zero to the partial cross power spectrum as a cross power spectrum of an image portion other than the partial image to generate an overall cross power spectrum;
  • An inverse frequency transform unit that inverse frequency transforms the entire cross power spectrum to generate a correlation value map;
  • a score calculation unit that calculates the score from the correlation value map;
  • the individual identification device as described in Supplementary Note 1 or 2.
  • the calculation means A registered image pre-processing unit that generates a registered image after change in which values of image components of partial regions of the registered image are changed in accordance with the effectiveness of the partial regions;
  • a verification image preprocessing unit that generates a modified verification image in which values of image components of partial regions of the verification image are changed according to the effectiveness of the partial regions;
  • a cross power spectrum generation unit that generates a cross power spectrum between the post-change registered image and the post-change matching image;
  • An inverse frequency transform unit that inversely frequency transforms the cross power spectrum to generate a correlation value map;
  • a score calculation unit that calculates the score from the correlation value map;
  • the individual identification device as described in Supplementary Note 1 or 2.
  • the information processing apparatus further includes a determination unit that determines a matching result between the registered image and the matching image based on the calculated score.
  • the individual identification device according to any one of appendices 1 to 4.
  • the method further includes threshold determination means for determining a determination threshold for comparison with the score, The threshold determination means A matching image approximating the registration image is generated for each of the registration images, and a first score representing the degree of similarity between the matching image and the registration image is generated between the matching image and the other registration images. Calculating a second score representing the degree of similarity by the calculating means, and determining the determination threshold based on the first score and the second score; The individual identification device according to any one of appendices 1 to 5.
  • the determining means is Generating a plurality of image pairs obtained by imaging different registration target objects, and calculating a first correlation value between image components of partial regions corresponding to each pair of the generated images; Generating a plurality of image pairs obtained by imaging the same registration target object, and calculating a second correlation value between image components of partial regions corresponding to each pair of the generated images; It is configured to determine the effectiveness of each partial region based on the first correlation value and the second correlation value.
  • the individual identification device according to any one of appendices 1 to 6.
  • the determining means is configured to determine the effectiveness of each of the partial regions based on a ratio of the second correlation value to the first correlation value.
  • the individual identification device as described in appendix 7.
  • the determining means is One to one in the production line based on whether or not there is an image component common to a plurality of registered images obtained by imaging a plurality of objects to be registered manufactured in the same production line Determine the corresponding effectiveness, The identification apparatus according to any one of appendices 1 to 8.
  • An image of an object to be collated with the registered image is captured for each of the partial regions based on whether or not the partial region includes an image component common to a plurality of registered images obtained by imaging a plurality of objects to be registered.
  • Determine the effectiveness of the calculation of the score representing the degree of similarity with the matching image obtained by The score is calculated based on image components included in the registered image and the matching image and the effectiveness. Individual identification method.
  • the registered image and the matching image are frequency spectrum images obtained by performing frequency conversion, logarithmic polar coordinate conversion, and frequency conversion on an image obtained by imaging the registration target and the object to be matched.
  • Appendix 10 The individual identification method according to appendix 10.
  • a determination threshold to be compared with the score is determined; In the determination of the determination threshold, A matching image approximating the registration image is generated for each of the registration images, and a first score representing the degree of similarity between the matching image and the registration image is generated between the matching image and the other registration images. Calculating a second score representing the degree of similarity, and determining the determination threshold based on the first score and the second score; The individual identification method according to any one of appendices 10 to 14.

Abstract

複数の登録画像に共通する画像成分が存在すると個体識別の精度が低下すること。 決定手段は、複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、部分領域毎に、登録画像と照合対象の物体を撮像して得られた照合画像との間の類似度を表すスコアの算出に係る有効度を決定する。算出手段は、登録画像および照合画像に含まれる画像成分と上記有効度とに基づいて、上記スコアを算出する。

Description

個体識別装置
 本発明は、個体識別装置、個体識別方法、およびプログラムに関する。
 個体識別のために照合画像と登録画像とを照合することが行われており、その照合方法が各種提案ないし実用化されている。
 例えば、特許文献1では、先ず、照合画像と登録画像に対してフーリエ変換を用いて周波数領域へ変換する。次に、上記変換によって得られた照合画像および登録画像の各々の複素スペクトルからクロスパワースペクトルを算出する。次に、上記クロスパワースペクトルに対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化する。次に、上記正規化されたものに対して逆フーリエ変換を用いて実座標領域上の相関係数を算出する。次に、上記算出された相関係数が最大値となる座標を用いてパターンマッチング判定を行う。
 また、特許文献2では、先ず、照合画像にフーリエ変換を施して照合フーリエ画像を作成し、この照合フーリエ画像と同様の処理を施して作成されている登録画像とを合成する。次に、上記の合成フーリエ画像に対して振幅抑制処理を行った上で、逆フーリエ変換を施す。次に、この逆フーリエ変換の施された合成フーリエ画像に出現する所定の相関成分エリアよりその相関成分の強度の高い上位n画素を抽出し、この抽出したn画素の相関成分の強度に基づいて、登録画像と照合画像とが一致するか否かを判断する。
 また、特許文献3には、照合画像と登録画像との間の一致度を算出する第1のステップと、照合画像および登録画像の少なくとも一方の回転中心からの半径である動径の大きさの別に、上記一致度の算出に係る有効度を決定する第2のステップとを備え、第1のステップでは、照合画像および登録画像に含まれる画素値および各画素値に対応する有効度に基づいて、上記一致度を算出する、画像処理方法が記載されている。また、特許文献3では、上記有効度は動径についての重みとして具現化されており、その重みの決定方法の一つとして周波数成分に応じた重みの決定方法が提案されている。具体的には、周波数空間上の振幅画像においては、高周波数成分は、ショットノイズの挙動を表すことが多く、低周波数成分は、照明ムラなどの挙動を表すことが多いことに鑑みて、被写体の情報をより多く含むと考えられる中間周波数帯域に対する重みをより大きくする方法が記載されている。さらに、特許文献3では、有効度を一致度の算出に用いられないような値(例えばゼロ)に決定することにより、照合画像と登録画像との間の一致度を所定領域の部分画像に基づいて算出することが記載されている。
 一方、本発明に関連する他の技術として、以下のものが知られている。
 特許文献4には、画像に示された物体やその物体の状態を認識する処理である認識タスクにおける認識誤差を少なくできるような重要度の高い特徴点を、3次元形状モデル上の複数の特徴点候補の中から選択し、出力する特徴点選択システムが記載されている。
 また、特許文献14には、特定の画像パターンと固定パターンノイズとを含む登録画像と、上記固定パターンノイズを含むが上記特定の画像パターンを含まない無地画像とに基づいて、登録画像および無地画像のそれぞれに共通して含まれる撮像装置固有の固定パターンノイズの周波数成分と上記固定パターンノイズを含まない上記特定の画像パターンの周波数成分とを推定し、この推定した各周波数成分に基づいて、上記登録画像と照合画像との相関を求める際の、周波数に関する重みを制御するようにしている。
特開2008-15848号公報 特許3254622号公報 特許6163868号公報 WO2011/086889公報 特許第4337422号公報 WO2014/163014 特表2007-534067号公報 特開2013-196418号公報 特許3235075号公報 特許4664147号公報 特開2014-142881号公報 特開2004-240931号公報 特開2014-228940号公報 特許第5331721号公報
 ところで、複数の登録画像に共通する画像成分が存在する場合、照合画像に上記と同じ画像成分が存在していると、当該共通する画像成分の影響を受けて、同一個体に係る照合画像と登録画像との類似度を表すスコアと、異なる個体に係る照合画像と登録画像との類似度を表すスコアとの差が小さくなる。そのため、個体識別の精度が低下する。そこで、特許文献14に記載された、登録画像と照合画像とに共通な固定パターンノイズによる照合精度の低下を軽減する技術を適用することが考えられる。しかしながら、特許文献14で扱われる複数の画像に共通な固定パターンノイズは、撮像装置固有の固定パターンノイズであり、無地画像としてそれ単独で撮像し得る類のパターンである。しかし、照合に悪影響を及ぼす、複数の画像に共通なパターンには、それ単独で撮像し得ない類のパターンが存在する。例えば、同じ製造装置を使って生産される複数の物体の表面を撮像した画像には、物体固有のパターン以外に製造装置固有のパターンが存在する。後者のパターンは、異なる複数の画像に共通なパターンであり、それ単独で撮像することは困難である。特許文献14では、照合の際に使用する重みを決定するためには、照合に悪影響を及ぼす、複数の画像に共通なパターンだけが写っている画像が必要である。そのため、特許文献14に記載の方法では、複数の画像に共通なパターンがそれ単独で撮像し得ないパターンである場合には重みの設定ができず、照合精度が低下する。
 本発明の目的は、複数の登録画像に共通する画像成分が存在すると個体識別の精度が低下する、という課題を解決する個体識別装置を提供することにある。
 本発明の一形態に係る個体識別装置は、
 複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記部分領域毎に、前記登録画像と照合対象の物体を撮像して得られた照合画像との間の類似度を表すスコアの算出に係る有効度を決定する決定手段と、
 前記登録画像および前記照合画像に含まれる画像成分と前記有効度とに基づいて、前記スコアを算出する算出手段と、を含む。
 本発明の他の形態に係る個体識別方法は、
 複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記部分領域毎に、前記登録画像と照合対象の物体を撮像して得られた照合画像との間の類似度を表すスコアの算出に係る有効度を決定し、
 前記登録画像および前記照合画像に含まれる画像成分と前記有効度とに基づいて、前記スコアを算出する。
 本発明の他の形態に係るプログラムは、
 コンピュータを、
 複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記部分領域毎に、前記登録画像と照合対象の物体を撮像して得られた照合画像との間の類似度を表すスコアの算出に係る有効度を決定する決定手段と、
 前記登録画像および前記照合画像に含まれる画像成分と前記有効度とに基づいて、前記スコアを算出する算出手段と、して機能させる。
 本発明は、上述した構成を有することにより、複数の登録画像に共通する画像成分による個体識別精度の低下を防止することができる。
本発明の第1の実施形態に係る個体識別装置のブロック図である。 本発明の第1の実施形態に係る個体識別装置の入力となる登録画像の例を示す図である。 本発明の第1の実施形態に係る個体識別装置で決定したスコア算出に係る有効度の例を示す図である。 本発明の第1の実施形態に係る個体識別装置がスコアを算出する際に使用する登録画像の部分画像を示す図である。 本発明の第1の実施形態に係る個体識別装置の入力となる照合画像の例を示す図である。 本発明の第1の実施形態に係る個体識別装置が算出した照合画像と登録画像との類似度を表すスコアの例を示す図である。 有効度を考慮せずに登録画像および照合画像の全領域を比較して算出したスコアの例を示す図である。 本発明の第1の実施形態に係る個体識別装置における算出手段の構成例を示すブロック図である。 本発明の第1の実施形態に係る個体識別装置における算出手段の別の構成例を示すブロック図である。 本発明の第1の実施形態に係る個体識別装置における決定手段の処理例を示すフローチャートである。 本発明の第1の実施形態に係る個体識別装置における決定手段の他の処理例を示すフローチャートである。 本発明の第1の実施形態に係る個体識別装置において判定閾値を決定する処理の一例を示すフローチャートである。 本発明の第2の実施形態に係る個体識別装置のブロック図である。 本発明の第2の実施形態に係る個体識別装置のハードウェア構成の一例を示すブロック図である。 本発明の第2の実施形態に係る個体識別装置におけるスコア算出に係る有効度を決定する動作フロー図である。 本発明の第2の実施形態に係る個体識別装置におけるスコア算出に係る有効度を決定する処理の一例を示すフローチャートである。 本発明の第2の実施形態に係る個体識別装置における画像記憶手段の内容例を示す図である。 本発明の第2の実施形態に係る個体識別装置における画像記憶手段の内容例を示す図である。 本発明の第2の実施形態に係る個体識別装置における画像記憶手段の内容例を示す図である。 本発明の第2の実施形態に係る個体識別装置における処理過程で生成されるフーリエ・メリン特徴(FM)画像の例を示す図である。 本発明の第2の実施形態に係る個体識別装置における処理過程で生成されるフーリエ・メリン特徴(FM)画像の例を示す図である。 本発明の第2の実施形態に係る個体識別装置における処理過程で生成されるフーリエ・メリン特徴(FM)画像の例を示す図である。 本発明の第2の実施形態に係る個体識別装置における処理過程で生成されるフーリエ・メリン特徴の周波数スペクトル(FMFS)画像の例を示す図である。 本発明の第2の実施形態に係る個体識別装置における処理過程で生成されるフーリエ・メリン特徴の周波数スペクトル(FMFS)画像の例を示す図である。 本発明の第2の実施形態に係る個体識別装置における処理過程で生成されるフーリエ・メリン特徴の周波数スペクトル(FMFS)画像の例を示す図である。 本発明の第2の実施形態に係る個体識別装置における有効度記憶手段の内容例を示す図である。 本発明の第2の実施形態に係る個体識別装置における有効度記憶手段の内容例を示す図である。 本発明の第2の実施形態に係る個体識別装置における個体登録の動作フロー図である。 本発明の第2の実施形態に係る個体識別装置における個体登録処理の一例を示すフローチャートである。 本発明の第2の実施形態に係る個体識別装置における特徴量記憶手段の内容例を示す図である。 本発明の第2の実施形態に係る個体識別装置における個体識別および個体照合時の動作フロー図である。 本発明の第2の実施形態に係る個体識別装置における個体識別および個体照合処理の一例を示すフローチャートである。 図15のステップS106の詳細を示すフローチャートである。 図15のステップS106の詳細を示すフローチャートである。 図15のステップS106の詳細を示すフローチャートである。
 次に本発明の実施の形態について図面を参照して詳細に説明する。
[第1の実施形態]
 図1を参照すると、本発明の第1の実施形態に係る個体識別装置1は、算出手段2と決定手段3とを備えている。算出手段2は、登録対象の物体を撮像して得られた登録画像と照合対象の物体を撮像して得られた照合画像との間の類似度を表すスコアを算出するように構成されている。また、決定手段3は、複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、部分領域毎に、スコアの算出に係る有効度を決定するように構成されている。そして、算出手段2は、登録画像および照合画像に含まれる画像成分と有効度とに基づいて、上記スコアを算出するように構成されている。以下、説明の便宜上簡略化した画像の例を用いて、個体識別装置1の構成および動作を詳しく説明する。
 図2は、登録画像が合計4つ存在するものとして、その各々の例を示している。それぞれの登録画像4は、n×m(図示の例では、n=m=8)の部分領域から成る。以下、部分領域(i,j)とは、i行j列目の部分領域を表すものとする。部分領域(i,j)は、例えば、以下の何れかであってよい。
(a)物体をカメラで撮像して得られる白黒画像あるいはカラー画像をn×m個に分割した個々の分割領域。
(b)物体をカメラで撮像して得られる白黒画像あるいはカラー画像に対して、フーリエ変換等の周波数変換を施して得られる周波数スペクトル画像をn×m個に分割した個々の分割領域。周波数スペクトル画像は、撮像した画像の平行移動に不変である。
(c)物体をカメラで撮像して得られる白黒画像あるいはカラー画像に対して、先ずフーリエ変換等の周波数変換を施して周波数スペクトル画像に変換し、次に、その周波数スペクトル画像に対して極座標変換あるいは対数極座標変換を施して得られる極座標画像をn×m個に分割した個々の分割領域。上記極座標画像はフーリエ・メリン特徴画像と呼ぶ。撮像した画像の倍率、回転の変化が、フーリエ・メリン特徴画像においては平行移動の変化に変換される。
(d)物体をカメラで撮像して得られる白黒画像あるいはカラー画像に対して、先ずフーリエ変換等の周波数変換を施して周波数スペクトル画像に変換し、次に、その周波数スペクトル画像に対して極座標変換あるいは対数極座標変換を施してフーリエ・メリン特徴に変換し、更に、そのフーリエ・メリン特徴に対してフーリエ変換等の周波数変換を施して得られる位相画像をn×m個に分割した個々の分割領域。上記位相画像はフーリエ・メリン周波数スペクトル画像と呼ぶ。このフーリエ・メリン周波数スペクトル画像は、撮像した画像の倍率、回転、平行移動に不変である。
 一般に部分領域(i,j)の画像成分は上記a~dに応じて様々な値をとる。しかし、図2では、説明の便宜上、部分領域(i,j)の値は2値としている。即ち、図2において、黒色に塗りつぶされている部分領域(i,j)は、その画像成分の値が或る値(以下、Pとする)であることを表している。また、白色の部分領域(i,j)は、その画像成分の値が別の値(以下、Qとする)であることを表している。
 決定手段3は、全ての登録画像4に共通する画像成分が存在する部分領域は、スコアの算出に係る有効度は低く、反対に全ての登録画像4に共通しない画像成分が存在する部分領域は、スコア算出に係る有効度は高いとする。図2を参照すると、部分領域(1,1)の画像成分は、全ての登録画像で同じ値Pである。従って、決定手段3は、部分領域(1,1)のスコア算出に係る有効度は低いと決定する。他方、部分領域(1,6)は、登録画像4-1、4-2、4-4では画像成分の値はQであるが、登録画像4-3では値Pであり、全ての登録画像で同じでない。従って、決定手段3は、部分領域(1,6)のスコア算出に係る有効度は高いと決定する。このようにして、決定手段3は、部分領域毎に、スコアの算出に係る有効度を決定する。
 図3は、決定手段3によって決定された部分領域毎のスコアの算出に係る有効度5を図示化したものである。図3において、ハッチングを施した部分領域は、スコアの算出に係る有効度が低いことを表し、白色の部分領域は、スコアの算出に係る有効度が高いことを表す。有効度は、例えば、0から1までの値をとり、0に近いほど有効の度合いが低くなる。有効度が0の部分領域は、その部分領域がスコアの算出に使用されないことと等価である。また有効度が1の部分領域は、その部分領域がスコアの算出に100%使用されることと等価である。以下では、図3において、ハッチングを施した部分領域の有効度は0、白色の部分領域の有効度は1とする。この場合、図3において白色の部分領域は合計23個あるので、算出手段2は、8×8個の部分領域のうち23個の部分領域を使用してスコアを算出することとなる。
 図4は、算出手段2がスコアを算出する際に使用する登録画像4-1~4-4の23個の部分領域から成る部分画像を示す。また図5は、照合対象の物体を撮像して得られた照合画像6の例を示す。この例の照合画像6は、登録画像4-1と同じ物体を撮像して得られた画像を想定している。但し、照合画像6は、ノイズ等の影響によって部分領域(8,1)の画像成分が本来の値Qから値Pに変化している。
 算出手段2が算出するスコアは、登録画像4と照合画像6との間の類似度を表すものであれば、どのようなものであってもよい。ここでは説明の便宜上、登録画像4の部分領域毎に、それに対応する照合画像6の部分領域との間で画像成分どうしを比較し、画像成分が同じであれば、点数1に有効度を乗じた値を加算する方法でスコアを計算するものとする。この計算方法によると、登録画像4-1~4-4と照合画像6との間の類似度のスコアは、図6に示すようになる。即ち、登録画像4-1と照合画像6とでは、有効度が1である23個の部分領域のうちの22個の画像成分が互いに一致するので、類似度のスコアは22/23=0.96になる。また、登録画像4-2と照合画像6とでは、有効度が1である23個の部分領域のうちの15個の画像成分が互いに一致するので、類似度のスコアは15/23=0.65になる。以下、登録画像4-3と照合画像6との類似度のスコアは0.17、登録画像4-4と照合画像6との類似度のスコアは0.48になる。照合画像6は、登録画像4-1と同じ物体を撮像して得られた画像を想定しているので、登録画像4-1との類似度のスコアが一番高くなるのは当然のことであるが、注目すべきは、2位以下のスコアとの差が顕著であることである。このため、1位と2位以下とを容易に区別することができ、ノイズ等に頑健な個体識別が実現できる。
 一方、有効度を考慮せずに登録画像および照合画像の全領域を対象として、登録画像4-1~4-4と照合画像6との間の類似度のスコアを算出すると、図7に示すようになる。即ち、登録画像4-1と照合画像6とでは、8×8個の部分領域のうちの63個の部分領域の画像成分が互いに一致するので、類似度のスコアは63/64=0.98になる。また、登録画像4-2と照合画像6とでは、52個の部分領域の画像成分が互いに一致するので、類似度のスコアは52/64=0.81になる。以下、登録画像4-3と照合画像6との類似度のスコアは0.78、登録画像4-4と照合画像6との類似度のスコアは0.83になる。照合画像6は、登録画像4-1と同じ物体を撮像して得られた画像を想定しているので、登録画像4-1との類似度のスコアが一番高くなっているが、2位以下のスコアも高くなる傾向にあるため1位との差は図6と対照的に僅かである。このため、1位と2位以下との区別が困難になり、個体識別の精度が低下する。
 次に、算出手段2について更に詳しく説明する。
 図8は算出手段2の構成例を示す。この例の算出手段2は、登録画像前処理部2-1、照合画像前処理部2-2、部分クロスパワースペクトル生成部2-3、要素補填部2-4、逆フーリエ変換部2-5、スコア算出部2-6を有する。
 登録画像前処理部2-1は、登録画像4と有効度5とから、有効度が閾値以上の部分領域のみから構成される登録画像の部分画像4Aを生成するように構成されている。ここで、閾値を例えば1あるいは1に近い値とすることによって、登録画像4から、全ての登録画像4に共通な画像成分を含む部分領域を除いた残りの部分領域を抽出することができる。
 照合画像前処理部2-2は、照合画像6と有効度5とから、有効度が上記閾値以上の部分領域のみから構成される照合画像の部分画像6Aを生成するように構成されている。従って、閾値を例えば1あるいは1に近い値とすることによって、照合画像6から、全ての登録画像4に共通な画像成分を含む部分領域を除いた残りの部分領域を抽出することができる。
 部分クロスパワースペクトル生成部2-3は、登録画像の部分画像4Aと照合画像6の部分画像6Aとの間の部分クロスパワースペクトル7Aを算出するように構成されている。部分クロスパワースペクトル生成部2-3は、例えば、部分画像4Aと部分画像6Aとの対応する部分領域単位で、クロスパワースペクトルを生成するように構成されていてもよいし、2以上の隣接する部分領域から構成される領域単位で、クロスパワースペクトルを一括して生成するように構成されていてよい。
 要素補填部2-4は、部分クロスパワースペクトル7Aでクロスパワースペクトルが求められている部分領域以外の部分領域のクロスパワースペクトルとして、ゼロを補填することにより、全体としてのクロスパワースペクトル7Bを生成するように構成されている。また、逆フーリエ変換部2-5は、クロスパワースペクトル7Bを逆フーリエ変換して、相関値マップ8を算出するように構成されている。そして、スコア算出部2-6は、相関値マップ8におけるピークの有無およびピークの鋭さを示す値に基づいて、登録画像4と照合画像6間の類似度を表すスコアを算出するように構成されている。ピークの有無は、例えば、予め算出しておいた判定閾値を超えるピークがあるかどうかで判定することができる。また、ピークの鋭さを示す値は、例えば、最大ピークと判定閾値との差や、最大ピークと2位ピークの比率などを使用することができる。
 図9は算出手段2の別の構成例を示す。この例の算出手段2は、登録画像前処理部2-1A、照合画像前処理部2-2A、クロスパワースペクトル生成部2-3A、逆フーリエ変換部2-5、スコア算出部2-6を有する。
 登録画像前処理部2-1Aは、登録画像4と有効度5とから、登録画像4の部分領域の画像成分の値をその部分領域の有効度5に応じて変更した変更後登録画像4Bを生成するように構成されている。例えば、登録画像前処理部2-1Aは、登録画像4の部分領域の画像成分の値に有効度5を乗じて得られる値を、変更後登録画像4Bの部分領域の画像成分とする。この場合、有効度5が0の部分領域の画像成分はゼロになる。但し、これに限られることなく、有効度に応じて画像成分を変更できれば他の方法でもよい。例えば、有効度に応じた値を画像成分に加算する方法等であってもよい。有効度がより小さいほど、変更後登録画像4Bの画像成分の値が小さくなることにより、類似度の算出において、その画像成分が重視されなくなる。
 照合画像前処理部2-2Aは、登録画像前処理部2-1Aと同様の方法により、照合画像6と有効度5とから、照合画像6の部分領域の画像成分の値をその部分領域の有効度5に応じて変更した変更後照合画像6Bを生成するように構成されている。
 クロスパワースペクトル生成部2-3Aは、変更後登録画像4Bと変更後照合画像6Bとの間のクロスパワースペクトル7を生成するように構成されている。逆フーリエ変換部2-5は、クロスパワースペクトル7を逆フーリエ変換して、相関値マップ8を算出するように構成されている。そして、スコア算出部2-6は、相関値マップ8におけるピークの有無およびピークの鋭さを示す値に基づいて、登録画像4と照合画像6間の類似度を表すスコアを算出するように構成されている。
 次に、決定手段3について更に詳しく説明する。
 図10Aは決定手段3の処理例を示すフローチャートである。決定手段3は、先ず、1つの部分領域(例えば部分領域(1,1))に注目する(ステップS1)。次に、決定手段3は、1つの登録画像ペア(例えば登録画像4-1と登録画像4-2のペア)に注目する(ステップS2)。次に、決定手段3は、注目中の登録画像ペアの注目中の部分領域間の類似度を表すスコアを算出し、スコア集合に格納する(ステップS3)。例えば、決定手段3は、図8の部分クロスパワースペクトル生成部2-3を使用して、ペアの一方の部分領域とペアの他方の部分領域との間の部分クロスパワースペクトルを生成し、次に要素補填部2-4を使用して残りの部分領域にゼロを補填して全体のクロスパワースペクトルを生成し、次に逆フーリエ変換部2-5を使用して上記全体のクロスパワースペクトルから相関値マップを生成し、次にスコア算出部2-6を使用して相関値マップ8からスコアを算出し、この算出したスコアを注目中の登録画像ペアの注目中の部分領域間の類似度を表すスコアとしてよい。図8の代わり図9に示す方法でスコアを算出してもよい。
 次に決定手段3は、次の1つの登録画像ペア(登録画像4-1と登録画像4-3のペア)に注目を移す(ステップS4)。そして、決定手段3は、ステップS3に戻って上述した処理と同様の処理を繰り返す。また決定手段3は、全ての登録画像ペアに注目し終えていれば(ステップS5でYES)、スコア集合に格納されているスコアの平均値を算出する(ステップS6)。次に決定手段3は、スコアの平均値に基づいて注目中の部分領域の有効度を決定する(ステップS7)。例えば、決定手段3は、スコアの平均値が予め設定された閾値αより大きければ注目中の部分領域の有効度を0とし、そうでなければ注目中の部分領域の有効度を1とする。これにより、異なる個体間の相関ピーク発生への寄与が大きい部分領域の有効度は低くなり、異なる個体間の相関ピーク発生への寄与が小さい部分領域の有効度は高くなる。
 次に決定手段3は、次の1つの部分領域に注目を移す(ステップS8)。そして、決定手段3は、ステップS2に戻って上述した処理と同様の処理を繰り返す。また決定手段3は、全ての部分領域に注目し終えていれば(ステップS9でYES)、図10Aの処理を終える。
 このように図10Aに示した処理によれば、異なる個体間の相関ピーク発生への寄与が大きい部分領域の有効度は低く、異なる個体間の相関ピーク発生への寄与が小さい部分領域の有効度は高くなるように決定する。
 図10Bは決定手段3の他の処理例を示すフローチャートである。決定手段3は、先ず、図10Aに示した処理と同様の処理を実行することにより、異なる登録画像間の相関値に基づいて各部分領域の有効度を決定する(ステップS11)。次に決定手段3は、ステップS11で決定された有効度が或る値以上の部分領域を部分領域の集合に格納する(ステップS12)。例えば決定手段3は、異なる登録画像間の相関値に基づいて有効度を1に決定した部分領域を部分領域の集合に格納する。
 次に決定手段3は、部分領域の集合中の1つの部分領域に注目する(ステップS13)。次に決定手段3は、1つの登録画像に注目する(ステップS14)。次に決定手段3は、注目中の登録画像から注目中の登録画像に近似する登録画像を生成する(ステップS15)。決定手段3は、注目中の登録画像にノイズや幾何変形を付与した画像を登録画像に近似する登録画像としてよい。次に決定手段3は、注目中の登録画像とそれに近似する登録画像との類似度を表すスコアを例えば図8あるいは図9に示した方法によって算出し、その算出したスコアをスコア集合に格納する(ステップS16)。次に決定手段3は、次の1つの登録画像に注目を移す(ステップS17)。そして、決定手段3はステップS15に戻って上述した処理と同様の処理を繰り返す。また決定手段3は、全ての登録画像に注目し終えていれば(ステップS18でYES)、スコア集合に格納されているスコアの平均値を算出する(ステップS19)。次に決定手段3は、スコアの平均値に基づいて注目中の部分領域の有効度を決定する(ステップS20)。例えば、決定手段3は、スコアの平均値が予め設定された閾値βより大きければ注目中の部分領域の有効度を1とし、そうでなければ注目中の部分領域の有効度を0とする。これにより、同一個体間の相関ピーク発生への寄与が大きい部分領域の有効度は高くなり、同一個体間の相関ピーク発生への寄与が小さい部分領域の有効度は低くなる。
 次に決定手段3は、部分領域の集合中の他の1つの部分領域に注目を移す(ステップS21)。次に決定手段3は、ステップS14に戻って上述した処理と同様の処理を繰り返す。また決定手段3は、全ての部分領域に注目し終えていれば(ステップS22でYES)、図10Bの処理を終える。
 このように図10Bに示した処理によれば、決定手段3は、同一個体間の相関ピーク発生への寄与が大きい部分領域の有効度は高く、同一個体間の相関ピーク発生への寄与が小さい部分領域の有効度は低くなるように決定する。
<判定閾値の決定>
 次に、個体識別装置1が、照合画像と複数の登録画像との類似度を表す複数のスコアから、照合画像が複数の登録画像の何れでもないと判定するための閾値(以下、判定閾値と記す)を決定する方法について説明する。
 図11は、個体識別装置1が判定閾値を決定する処理の一例を示すフローチャートである。この処理は、個体識別装置1が有する閾値決定手段9で実施される。閾値決定手段9は、複数の登録画像4が図示しないデータベースに登録された時点で図11の処理を実施するように構成されている。また閾値決定手段9は、その後、新たな1以上の登録画像4が上記データベースに追加登録された時点で図11の処理を再び実施するように構成されていてよい。
 閾値決定手段9は、先ず、図示しないデータベースに登録された1つの登録画像に注目し(ステップS11)、注目中の登録画像から注目中の登録画像に近似する照合画像を生成する(ステップS12)。閾値決定手段9は、注目中の登録画像そのものを照合画像としてよい。或いは閾値決定手段9は、注目中の登録画像にノイズや幾何変形を付与した画像を照合画像としてよい。次に閾値決定手段9は、注目中の登録画像と照合画像との類似度を表すスコアを図8および図9に示した方法によって算出し、その算出したスコアを1位スコア集合に格納する(ステップS13)。次に閾値決定手段9は、注目中の登録画像以外の他の登録画像の全てと照合画像との類似度を表すスコアを図8および図9に示した方法によってそれぞれ算出し、その算出したスコアの内の最大スコアを2位スコア集合に格納する(ステップS14)。次に閾値決定手段9は、データベースに登録された次の1つの登録画像に注目を移し(ステップS15、S16)、ステップS12に戻って上述した処理と同様の処理を繰り返す。
 閾値決定手段9は、全ての登録画像に対する上記繰り返し処理を終えると、1位スコア集合に格納されたスコアの最小値と2位スコア集合に格納されたスコアの最大値との中間の値を判定閾値として決定する(ステップS17)。別の例として、閾値決定手段9は、1位スコア集合に格納されたスコアの平均値と2位スコア集合に格納されたスコア平均値との中間の値を判定閾値として決定してもよい。
 以上説明したように、本実施形態によれば、複数の登録画像に共通する画像成分による個体識別精度の低下を防止することができる。その理由は、決定手段3が、複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、部分領域毎に、登録画像と照合対象の物体を撮像して得られた照合画像との間の類似度を表すスコアの算出に係る有効度を決定するように構成され、算出手段2が、登録画像と照合画像に含まれる画像成分と有効度とに基づいて、上記スコアを算出するように構成されているためである。
[第2の実施形態]
 次に本発明の第2の実施形態について説明する。
<背景技術>
 従来、工業製品や商品等の物体に対して、製造番号やバーコード、QRコード等を付与することで、製品個々の品質や流通管理を行っている。また、ICタグやRFIDを製品個々に付与し、無線通信方式によって、効率よく製品の生産から物流、販売に至る総合的な製品管理や製品の紛失防止、盗難防止、偽造防止を実現する技術がある。
 しかしながら、上記製造番号やバーコード、QRコード、あるいはICタグやRFIDタグを用いる製品の個体管理方法は、これらを製造物個々に対して付与する必要がある。したがって、製品の生産量に比例してコストが膨大になるという問題があった。
 また、例えば、ネジやボルト等の物理的に小さな金属部品や樹脂製部品等、製品によっては、製造番号やバーコードを直接記入することや、上記タグを装着することができない場合も多い。さらに、バーコード等を物理的に記入することや、タグを付与することが可能な製造物であっても、これらを付与することは、製造物の外観や意匠といったデザインを損ねてしまうという課題があった。
 そこで、製品表面の微細凹凸や紋様、素材表面のランダムパターン等といった、同一製造過程で生じる自然発生的な微小な差異を、カメラ等の撮影装置を用いて画像として取得し、その撮像画像を認識することで、製品個々の識別や管理を行う手法が提案されている。
 例えば、特許文献5では、製品表面の特定部位に対して保護フィルムを貼り付け、保護フィルム貼付部位における製品表面のランダムパターンを、撮影装置を用いて画像として取得し、得られた撮像画像を用いた物品管理装置について記載されている。
 また、特許文献6では、部品または製造物表面に形成された梨地加工をカメラで撮影し、その撮像画像に含まれる梨地紋様の画像特徴を用いた製造物識別手段について記載されている。
 また、特許文献7や特許文献8では、個体識別や物品の真贋判定を目的として、物品上のタガント(微小粒子)のランダムパターンを用いて、物品の真贋判定を行う方法について記載されている。
 また、類似の技術として、人間の指紋や虹彩、掌紋などのパターンを用いて個人認証を行うバイオメトリクス認証技術がある。通常、指紋や虹彩といった撮影対象に応じて特徴量を設計し、その特徴量同士の類似度を算出することで個体(個人)の識別や認証を行う。しかし、汎用的な画像マッチング手法を用いて個体(個人)の識別や認証を行う方式も存在する。例えば、特許文献9には、人間の指紋の撮像画像に対して2次元フーリエ変換を施し、撮像画像の位相限定相関を用いて、個体(個人)の識別や認証を行う方式が提案されている。また、特許文献10には、虹彩の撮像画像に対して位相限定相関を用いて、個体(個人)の識別や認証を行う方式が提案されている。
 また、特許文献11では、個人認証を目的として、被写体が写った画像を周波数変換および極座標変換し、この極座標系で表された周波数スペクトル画像から上記被写体の特徴を表す周波数帯域を選択し、この選択した周波数帯域を特定する要素と周波数スペクトルを表す要素とを含む個体識別のためのベクトルを生成する画像変換装置について記載されている。また特許文献11では、照合時、入力特徴情報ベクトルについての方向と、登録特徴情報ベクトルについての方向との組み合わせを変更しつつ、両ベクトル間の距離の総和を算出することにより、生体情報の読み取り時ごとに被写体の方向が異なることによる、回転角度や位置のずれに対応している。
 また、特許文献12では、照合画像と登録画像間に平行移動量、回転角度、さらには、拡大/縮小の差異があっても照合を行うことができる画像照合装置について記載されている。より詳細には、特許文献12では、まず、照合画像と登録画像をフーリエ変換(FFT)、および、対数-極座標変換(LPT)し、それによって得られた照合画像と登録画像の周波数スペクトル画像間の位相限定相関によって、登録画像に対する照合画像の補正情報(倍率情報、回転情報)を生成する。次に、上記補正情報に基づいて照合画像の倍率と回転の補正を行い、この補正された後の照合画像と登録画像との相関処理によって照合を行う。
 また、特許文献13では、同一物体を異なる位置姿勢で撮影した参照画像と基準画像間の位置ずれ量を、より高精度に求めることができる画像処理装置について記載されている。特許文献13では、特許文献12と同様に、照合画像と登録画像をフーリエ変換および対数-極座標変換して周波数スペクトル(フーリエ・メリン(Fourier-Mellin(FM))画像を得る。そして、照合画像と登録画像のFM画像間の位相限定相関処理を用いて、登録画像に対する照合画像の位置ずれ量(倍率情報、回転情報等)を生成する。その際に特許文献13では、参照画像と基準画像の間の位置ずれによって片方では画像内に収まっていない領域や、極座標変換においてサンプル点が少なくなることで相関が低下するような領域である、FM画像における動径の大きい領域を除外するように重みづけして相関を計算する。これにより、精度よく位置ずれ量を推定する。また、照合画像と登録画像間で照明変化がある場合にも、被写体の情報をより多く含むと考えられる中周波数帯域に対する重みを大きくすることで、照明変化にも頑強に位置ずれ量を推定する。また、位置検出に有用な特徴である、画像のエッジ特徴を重視するような重みを設定し、より高精度に位置を推定する。
<本実施形態が解決しようとする課題>
 特許文献11では、被写体が写った画像を周波数変換および極座標変換した後の周波数スペクトル画像から上記被写体の特徴量を抽出している。しかし、特許文献11では、特徴量の抽出時に画像の位置合わせを行っていない。そのため、照合時、入力特徴情報ベクトルについての方向と、登録特徴情報ベクトルについての方向との組み合わせを変更しつつ、両ベクトル間の距離の総和を算出することにより、生体情報の読み取り時ごとに被写体の方向が異なることによる位置ずれに対応しなければならない。これでは、たった1つの登録画像との照合に多数の組み合わせを処理しなければならず、照合時の処理量が膨大となる。そこで、特許文献11に記載される技術に、特許文献12に記載される画像の位置合わせ技術を適用することが考えられる。
 特許文献12では、第2の画像に対する第1の画像の補正情報(倍率情報、回転情報)を、両画像をフーリエ・メリン変換して位置に不変であり、倍率・回転が平行移動に変換された特徴量を得て、その特徴量間の位相限定相関によって求めた平行移動量から前記補正情報を生成し、当該補正情報によって両画像を補正した上で照合する。そのため、照合時の物体の位置・向き・倍率が、登録時と異なっていても、1回の処理で照合可能となる。さらに、この補正情報の生成において、照合画像を参照画像、照合対象である個体の画像を基準画像として、特許文献13の手法を用いれば、より高精度に補正情報を生成し、高精度な照合を行うことができる可能性もある。
 しかしながら、照合画像を多数の登録画像と照合して合致する登録画像を決定するような場合、すなわち、多数の個体識別を行う場合には、依然として、特許文献12および特許文献13に記載の技術では、処理量が膨大となるという課題があった。具体的には、上述した補正情報の推定処理、当該補正情報に基づいた照合画像の位置ずれ補正処理、そして登録画像との相関処理、の3つの処理を繰り返す必要があり、処理が膨大になるという課題があった。特に、後者二つの処理は、画像の幾何変形処理と相関処理と言う計算量の大きい処理である。これらを、多数の登録画像があるデータベースに対して繰り返し処理することは、処理量が膨大になり実用的でないという課題があった。
 本実施形態の目的は、上述した課題を解決する、特に多数の登録があるデータベースに対する高速な照合を実現できる、個体識別装置を提供することにある。
<課題を解決するための手段>
 本実施形態では、従来の技術と異なり、照合画像と登録画像間の位置ずれ補正情報の生成と当該補正情報による画像の補正処理、および、位置合わせ補正処理後の画像間の照合処理を行わずに、はるかに少ない処理量で、多数の個体に対する個体識別を行うことを特徴とする。具体的には、照合画像における対象物体の位置情報は、個体の識別には必要ないことを利用する。すなわち、同一個体である画像どうし以外では、特徴量の間で相関が求まらないようにする。こうして、相関ピークが求まることを持って、同一個体かどうかを判定する。
 そのために、本実施形態では、異なる個体間で共通な特徴、すなわち、位置合わせ補正情報の生成にとっては有効であるような特徴を、相関演算において用いないようにする。その共通特徴は、個体識別のデータベースに登録される異なる個体の画像、および、幾何変形やノイズ付与によって生成した同一個体の異なる画像から決定する。具体的には、データベースの各登録画像から位置ずれ、さらに、倍率や回転にも依存しない特徴量(フーリエ・メリン特徴(FM)をさらに周波数変換して得られる周波数スペクトル(FMFS))画像を抽出し、さらにFMFSから、個体固有の成分のみを抽出(異なる個体間に共通な特徴を除去)する。照合時には、異なる個体間に共通な特徴を除去した個体固有の成分のみで相関を計算することで、同一個体でない物体の画像に対しては相関値マップにピークが検出できなくなるので、相関ピークがないことによって、位置合わせ処理をせず即座に異なる個体として識別結果を判定することができる。一方、同一個体との照合においては相関ピークが検出でき、即座に同一個体であると識別結果を判定し、個体を特定可能となる。
 本実施形態に係る個体識別装置は、物体を撮像して得られた画像にフーリエ・メリン変換(周波数変換および対数極座標変換)を適用して得られるフーリエ・メリン特徴(FM特徴)画像に対しさらに周波数変換を行いFM特徴の周波数スペクトル(FMFS)画像を抽出する変換部と、登録される複数の個体の画像の上記周波数変換後の画像(FMFS)における部分領域に基づき、FMFS間の正規化クロスパワースペクトルを求め、上記部分領域以外のクロスパワースペクトルをゼロで補填したのち、そのフーリエ逆変換により求まる相関マップにおけるピークを検出する特徴相関部と、ピークの有無およびそのピーク値を元に、個体識別を行う照合部と、を備える。
 本実施形態は、従来技術と異なり、画像の位置合わせ部、および、位置補正した画像の照合部を持たないことを特徴とする。また、本実施形態は、照合画像の倍率や回転の変化によって位置ずれが発生しているフーリエ・メリン特徴画像上ではなく、位置ずれが発生しない、そのフーリエ変換後の周波数スペクトル画像上で部分領域の特徴抽出を行うことを特徴とする。さらに、本実施形態は、照合対象としてデータベースに登録された個体の画像群から上記部分領域を決定する決定部を持つことを特徴とする。
 上記決定部は、異なる個体の画像から得られるFMFS画像間において、上記相関マップにおけるピークへの寄与が小さい、FMFS画像の部分領域を決定するように構成されている。
 さらに、本実施形態は、上記相関マップにおけるピークを検出するための評価値の閾値等を、照合対象としてデータベースに登録された個体の画像群から決定する決定部を持つことを特徴とする。
<本実施形態の効果>
 本実施形態は、上述した構成を有するため、物体を撮像して得られた画像を位置合わせすることなく、照合画像が多数の登録個体のうちどの個体の画像であるかの識別を、高速に行うことができる。
 以下、本実施形態について、項目別に説明する。本実施形態は、同一の製造過程を経て製造される複数の製品の表面には、個々の製品固有の微細パターンと、複数の製品に共通な微細パターンとが存在していることを利用する。また、本実施形態は、個々の製品固有の微細パターンと複数の製品に共通な微細パターンとは、フーリエ・メリン特徴画像における空間周波数が相違していることを利用する。
<本実施形態の構成>
 図12は、本実施形態に係る個体識別装置100のブロック図である。本実施形態に係る個体識別装置100は、画像取得手段101と、画像記憶手段102と、周波数変換手段103と、極座標変換手段104と、周波数変換手段105と、有効度決定手段106と、有効度記憶手段107と、特徴抽出手段108と、特徴量記憶手段109と、スコア算出手段110と、判定手段111と、情報提示手段112とを備える。
 画像取得手段101は、管理対象である製造物の表面の画像を取得する機能を有する。画像記憶手段102は、画像取得手段101によって得られた画像を記憶する機能を有する。周波数変換手段103は、画像に対して周波数変換を施し、周波数スペクトル画像に変換する機能を有する。周波数変換としては、2次元離散フーリエ変換を使用するが、2次元離散ウェーブレット変換等、他の方式の周波数変換であってもよい。極座標変換手段104は、周波数スペクトル画像を極座標に変換したフーリエ・メリン特徴(FM)画像を生成する機能を有する。周波数変換手段105は、フーリエ・メリン特徴(FM)画像を更に周波数変換したフーリエ・メリン特徴の周波数スペクトル(FMFS)画像を生成する機能を有する。有効度決定手段106は、FMFS画像の部分領域毎の有効度を決定する機能を有する。有効度決定手段106は、複数の製造物の表面の画像に共通して現れる周波数特徴(共通特徴)がより多く含まれる部分領域ほど、その有効度をより低くする。有効度記憶手段107は、有効度決定手段106から出力された部分領域毎の有効度を記憶する機能を有する。
 特徴抽出手段108は、管理対象である製造物の表面の撮像画像の周波数スペクトル画像を極座標変換したフーリエ・メリン特徴の周波数スペクトル(FMFS)画像を構成する部分領域のうち、有効度記憶手段107に記憶された有効度が基準値以上である1または複数の部分領域から、個体固有の特徴量を算出する機能を有する。特徴量記憶手段109は、撮像画像から特徴抽出手段108によって得られた個体固有の特徴量を記憶する機能を有する。スコア算出手段110は、クエリ画像である撮像画像の周波数スペクトル画像を極座標変換したフーリエ・メリン特徴の周波数スペクトル(FMFS)画像から特徴抽出手段108によって得られた個体固有の特徴量と、特徴量記憶手段109に記憶された特徴量とのFMFS間の相関を算出し、それを逆フーリエ変換して得られる相関マップにおけるピークの有無およびピークの鋭さを表す値に基づいてスコア(数値)を算出する機能を有する。判定手段111は、スコア算出手段110で得られたスコアに基づき、識別および照合の判定結果を出力する機能を有する。情報提示手段112は、判定結果に基づき個体管理情報を提示する機能を有する。
 個体識別装置100は、例えば図13に示すように、カメラ等の撮像部201と、キーボードやマウスなどの操作入力部202と、液晶ディスプレイ等の画面表示部203と、通信インタフェース部204と、メモリやハードディスク等の記憶部205と、1以上のマイクロプロセッサ等の演算処理部206とを有するパーソナルコンピュータやスマートフォン等の情報処理装置200と、プログラム207とで実現することができる。
 プログラム207は、情報処理装置200の立ち上げ時等に外部のコンピュータ読み取り可能な記憶媒体からメモリに読み込まれ、演算処理部206の動作を制御することにより、演算処理部206上に、画像取得手段101、画像記憶手段102、周波数変換手段103、極座標変換手段104、周波数変換手段105、有効度決定手段106、有効度記憶手段107、特徴抽出手段108、特徴量記憶手段109、スコア算出手段110、判定手段111、および情報提示手段112といった機能的手段を実現する。
 次に、本実施形態に係る個体識別装置100の動作を説明する。個体識別装置100の動作は、以下の三つに大別される。
(a)スコア算出に係る有効度を決定する事前処理の動作
(b)個体登録の動作
(c)個体識別および個体照合の動作
[事前処理:有効度の決定処理]
 まず、前段階の処理として、スコア算出に係る有効度を決定する処理を説明する。
 図14および図15は、有効度決定処理の動作フローおよびフローチャートである。
<画像の取得と保存>
 まず、画像取得手段101は、管理対象である複数個の製品それぞれの表面パターンの画像を取得し、画像記憶手段102に保存する(ステップS101)。画像取得手段101は、各個体につき少なくとも1枚の画像を取得して、画像記憶手段102に保存する。或いは画像取得手段101は、有効度の精度を高めるために、各個体につき複数枚の画像を取得して、画像記憶手段102に保存してもよい。画像取得手段101は、カメラやスキャナ等の撮影装置、ネットワーク経由による画像データの取得装置、CD-ROM等の記憶媒体経由等による画像データの取得装置のいずれであってもよい。
 また、管理対象の製造物を製造する生産ラインが複数存在する場合、画像取得手段101は、取得した製品の表面パターンの画像を生産ライン別に画像記憶手段102に保存する。ここで、生産ラインとは、同一・同種の製品を大量に製造するために作られた、流れ作業による組み立て工程、或いは単一の加工機械による単一の組み立て工程を含む。
 例えば、第1の生産ラインでは金型A1を使用した鋳造もしくは圧造によって製品を大量生産し、また、第2の生産ラインでは金型A1と同一の金型A2を使用した鋳造もしくは圧造によって製品を大量生産するものとする。この場合、画像取得手段101は、第1の生産ラインによって製造された製品の表面パターンの画像と第2の生産ラインによって製造された製品の表面パターンの画像とを区別して、画像記憶手段102に保存する。このとき、第1の生産ラインによって製造された製品には、金型A1に固有のパターンが表面全体に転写されている。また、第2の生産ラインによって製造された製品には、金型A2に固有のパターンが表面全体に転写されている。
 また例えば、第1の生産ラインでは切断機器B1を使用して素材を切断することによって製品を大量生産し、また、第2の生産ラインでは切断機器B1と同一の切断機器B2を使用して素材を切断することによって製品を大量生産するものとする。この場合、画像取得手段101は、第1の生産ラインによって製造された製品の表面パターンの画像と第2の生産ラインによって製造された製品の表面パターンの画像とを区別して、画像記憶手段102に保存する。このとき、第1の生産ラインによって製造された製品には、切断機器B1が有する切断に用いる刃の断面に固有の表面粗さの微細凹凸が切断面に現れる。また、第2の生産ラインによって製造された製品には、切断機器B2が有する切断に用いる刃の断面に固有の表面粗さの微細凹凸が切断面に現れる。ここで挙げた同一加工方法や機器はあくまで一例であり、その他の同一製造工程や加工機器も同様に扱うことができる。
 図16A~図16Cは画像記憶手段102の内容の一例を示す。図16Aは、画像取得手段101が各個体につき1枚の画像を取得して画像記憶手段102に保存した例を示す。画像G1,…,Gnはn個の製品に1対1に対応するn個の画像である。また、図16Bは、画像取得手段101が各個体につきm(m≧2)枚の画像を取得して画像記憶手段102に保存した例を示す。画像G11,…,G1m、画像G21,…,G2m、…、画像Gn1,…,Gnmは、n個の製品に1対1に対応するn×m個の画像である。ここで、各個体について画像が1枚しか撮影できない場合には、撮影した1枚の画像から、ノイズや幾何変形を加えて複数の画像を生成する。また、図16Cは、画像取得手段101が製品の画像を生産ライン別に画像記憶手段102に保存した例を示す。画像G1,…,Gnは第1の生産ラインで生産されたn個の製品に1対1に対応するn個の画像である。画像Gn+1,…,Gn+nは第2の生産ラインで生産されたn個の製品に1対1に対応するn個の画像である。図16Cの例では、個体1つ当たり1つの画像を保存しているが、個体1つ当たり複数の画像を保存してもよい。
<有効度の決定処理>
 次に、周波数変換手段103は、画像記憶手段102から、管理対象である複数個の製品の表面パターンの画像を取り出し、各画像の2次元周波数スペクトルデータに変換する(ステップS103)。また、周波数変換手段103は、ステップS103において、更に、得られた2次元周波数スペクトルデータの対数をとり、対数振幅スペクトルデータに変換してもよい。以後、本処理で得られた2次元周波数スペクトルデータを、周波数スペクトル画像と呼ぶ。
 次に、極座標変換部104は、周波数変換手段103によって得られた周波数スペクトル画像を対数極座標に変換し、FM画像を生成する(ステップS104)。一般に、実座標における回転方向の動きは、極座標におけるθ軸に沿った横方向の動きになる。そのため、2つの周波数スペクトル画像間の回転変動量は、極座標変換後の2つの周波数スペクトル画像間のθ軸に沿った平行移動量で表現される。また、一般に、実座標におけるスケール変動は、対数極座標におけるlog-r軸に沿った横方向の動きになる。そのため、2つの周波数スペクトル画像間の回転変動量とスケール変動は、対数極座標変換後の2つの周波数スペクトル画像間のθ軸に沿った平行移動量とlog-r軸に沿った平行移動量とで表現される。そのため、FM画像への変換は、画像取得時に、撮像画像間に回転変動に加え、スケール変動がある場合に有効である。
 図17A~図17Cは周波数変換手段103および極座標変換手段104の処理結果の一例を示す。図17Aは、図16Aに示した各個体につき1枚の画像を処理した結果を示す。画像SG1,…,SGnはn個の製品に1対1に対応するn個のフーリエ・メリン特徴画像(FM画像)である。また、図17Bは、図16Bに示した各個体につきm(m≧2)枚の画像を処理した結果を示す。画像SG11,…,SG1m、画像SG21,…,SG2m、…、画像SGn1,…,SGnmは、n個の製品に1対1に対応するn×m個のフーリエ・メリン特徴画像(FM画像)である。また、図17Cは、図16Cに示した生産ライン別の画像を処理した結果を示す。画像SG1,…,SGnは第1の生産ラインで生産されたn個の製品に1対1に対応するn個のフーリエ・メリン特徴画像(FM画像)である。画像SGn+1,…,SGn+nは第2の生産ラインで生産されたn個の製品に1対1に対応するn個のフーリエ・メリン特徴画像(FM画像)である。
 次に、周波数変換手段105は、極座標変換手段104から出力されたFM画像を周波数変換した画像(FMFS画像)を生成する(ステップS105)。
 図18A~図18Cは周波数変換手段105の処理結果の一例を示す。図18Aは、図17Aに示した各個体につき1枚のFM画像を処理した結果を示す。画像SSG1,…,SSGnはn個の製品に1対1に対応するn個のFM画像を周波数変換して得られたFMFS画像である。また、図18Bは、図17Bに示した各個体につきm(m≧2)枚のFM画像を処理した結果を示す。画像SSG11,…,SSG1m、画像SSG21,…,SSG2m、…、画像SSGn1,…,SSGnmは、n個の製品に1対1に対応するn×m個のFM画像を周波数変換して得られたFMFS画像である。また、図18Cは、図17Cに示した生産ライン別の画像を処理した結果を示す。画像SSG1,…,SSGnは第1の生産ラインで生産されたn個の製品に1対1に対応するn個のFM画像を周波数変換して得られたFMFS画像である。画像SSGn+1,…,SSGn+nは第2の生産ラインで生産されたn個の製品に1対1に対応するn個のFM画像を周波数変換して得られたFMFS画像である。
 次に、有効度決定手段106は、周波数変換手段105によって得られたFMFS画像を用いて、部分領域毎の有効度を算出する(ステップS106)。以下、部分領域毎の有効度の算出方法について詳述する。
<有効度の算出>
 有効度決定手段106は、例えば、複数の異なる製品の画像ペアから求めたFMFS画像から、特定の部分を部分領域画像として取り出し、全ての部分領域画像間のスコア算出処理(クロスパワースペクトルの合成(要素ごとの積)、他の部分領域のゼロ詰め、逆フーリエ変換による相関値マップの算出、および、当該相関値マップにおける最大値ピークの有無(鋭さ)の評価値の算出)を繰り返すことによって、当該部分領域が、異なる個体間で相関値ピークの有無に対してどの程度寄与するかを算出する。このとき、部分領域を様々に変化させながら、全ての異なる個体の画像のペアに対して相関値マップを求め、それぞれのピークとその周辺領域のS/N比を求め、異なる個体間でS/N比がどの程度になるか(具体的には、平均値等)を求める。
 さらに、有効度決定手段106は、上記と同じ処理を、同じ個体製品の画像ペアに対して処理し、当該部分領域が、同一個体間で相関値ピークの有無に対してどの程度寄与するか(具体的には、前記S/N比の平均値)を算出する。
 そして、有効度決定手段106は、上記同一個体間ピークへの寄与度と、異なる個体間ピークへの寄与度の比率を、当該部分領域の個体固有特徴としての寄与度とする。寄与度としては、前記平均値の他に、異なる個体間の値の集合と、同一個体間の値の集合の分離度など、様々な統計値を用いることもできる。
 有効度決定手段106は、様々な部分領域について、上記の処理を繰り返し、個体固有特徴としての寄与度が高い部分領域(1つ、または複数)のみを決定し、この決定した部分領域の有効度を1とする。一例として、有効度決定手段106は、FMFS画像を一定サイズで分割し、各領域について前記処理を繰り返し、個体固有特徴としての寄与度が高い順に、一定数の部分領域を有効度が1の部分領域として決定することができる。
 図25A~図25Cは、図15のステップS106の詳細を示すフローチャートである。有効度決定手段106は、先ず、FMFS画像を一定サイズで分割して得られる複数の部分領域の1つに注目する(ステップS401)。次に有効度決定手段106は、複数の異なる製品の画像ペアのうちの1つの画像ペアに注目する(ステップS402)。即ち、或る製品の画像とその製品とは異なる製品の画像とのペアに注目する。次に有効度決定手段106は、注目中画像ペアの注目中部分領域間の類似度を表すスコアを算出する(ステップS403)。上記スコアは、例えば、注目中画像ペアの注目中部分領域間の相関値マップにおけるピーク値としてよい。或いは、ピーク値を信号(S)、例えば2番目に高いピーク値を雑音(N)とし、S/N比を上記スコアとしてよい。次に有効度決定手段106は、次の1つの異なる製品の画像ペアに注目を移し(ステップS404)、ステップS403に戻って上述した処理と同様の処理を繰り返す。有効度決定手段106は、異なる製品の画像ペアの全てに注目し終えると(ステップS405でYES)、注目中部分領域について異なる製品の画像ペア毎に算出したスコアの平均値を算出し、この算出したスコアの平均値を注目中部分領域の異なる製品間ピークへの寄与度を表すスコアとする(ステップS406)。次に有効度決定手段106は、次の部分領域の1つに注目を移し(ステップS407)、ステップS402に戻って上述した処理と同様の処理を繰り返す。また有効度決定手段106は、全ての部分領域について注目し終えると(ステップS408でYES)、図25BのステップS411へ進む。
 有効度決定手段106は、ステップS411では、再度、複数の部分領域の1つに注目する。次に有効度決定手段106は、複数の同一製品の画像ペアのうちの1つの画像ペアに注目する(ステップS412)。即ち、同じ製品に係る画像のペアに注目する。次に有効度決定手段106は、注目中画像ペアの注目中部分領域間の類似度を表すスコアをステップS403と同様に算出する(ステップS413)。次に有効度決定手段106は、次の1つの同一製品の画像ペアに注目を移し(ステップS414)、ステップS413に戻って上述した処理と同様の処理を繰り返す。有効度決定手段106は、同一製品の画像ペアの全てに注目し終えると(ステップS415でYES)、注目中部分領域について同一製品の画像ペア毎に算出したスコアの平均値を算出し、この算出したスコアの平均値を注目中部分領域の同一製品間ピークへの寄与度を表すスコアとする(ステップS406)。次に有効度決定手段106は、次の部分領域の1つに注目を移し(ステップS417)、ステップS412に戻って上述した処理と同様の処理を繰り返す。また有効度決定手段106は、全ての部分領域について注目し終えると(ステップS418でYES)、図25CのステップS421へ進む。
 有効度決定手段106は、ステップS421では、再度、複数の部分領域の1つに注目する。次に有効度決定手段106は、注目中部分領域の異なる製品間ピークへの寄与度を表すスコアに対する、注目中部分領域の同一製品間ピークへの寄与度を表すスコアの比を、注目中部分領域の個体固有特徴の寄与度として算出する(ステップS422)。次に有効度決定手段106は、次の部分領域の1つに注目を移し(ステップS423)、ステップS422に戻って上述した処理と同様の処理を繰り返す。有効度決定手段106は、全ての部分領域に注目し終えると(ステップS424でYES)、部分領域毎の個体固有特徴の寄与度を、より大きなものがより上位に並ぶように、降順にソートする(ステップS425)。次に有効度決定手段106は、ソート結果の上位n(nは予め定められた正の整数)個の個体固有特徴の寄与度に対応するn個の部分領域の有効度を1、それ以外の部分領域の有効度を0とする(ステップS426)。
 また、製品の表面パターンの画像が生産ライン別に画像記憶手段102に保存されている場合、有効度決定手段106は、ステップS106において、生産ライン毎に、その生産ラインで製造された複数の製品のFMFS画像から生産ラインに1対1に対応する部分領域毎の有効度を算出する。これにより、例えば、金型A1を使用して製造された複数の製品のFMFS画像からは、金型A1によって製造時に各個体に共通に転写されたパターンを含む部分領域の有効度は0に決定され、金型A2を使用して製造された複数の製品のFMFS画像からは、金型A2による鋳造もしくは圧造時に各個体に共通に転写されたパターンを含む部分領域の有効度は0に決定される。また、例えば、切断機器B1を使用して製造された複数の製品のFMFS画像からは、切断機器B1による切断時に生じた切断刃の断面に応じた微細凹凸に由来する共通のFMFS成分(共通特徴)を含む部分領域の有効度は0に決定され、切断機器B2を使用して製造された複数の製品のFMFS画像からは、切断機器B2による切断時に生じた切断刃の断面に応じた微細凹凸に由来する共通の成分(共通特徴)を含む部分領域の有効度は0に決定される。
 また、有効度決定手段106は、部分領域毎の有効度の決定に当たっては、同一個体あるいは異なる個体の複数のFMFS画像を用いて、主成分分析や線形判別分析等の統計的手法や機械学習を適用し、撮影時のノイズが多く含まれやすくS/N比の悪い部分領域を決定することができる。そして、有効度決定手段106は、S/N比の悪い部分領域の有効度を0とすることによって、個体個々の識別に有用な特徴量をS/N比良く抽出可能な部分領域のみ有効度を1に決定する。或いは、有効度決定手段106は、上記決定したS/N比に応じた重み係数を生成してもよい。この重み係数は、後述する個体識別および個体照合の性能を向上させるために利用することができる。
 有効度決定手段106は、算出した部分領域毎の有効度を有効度記憶手段107に保存する。図19A、図19Bは有効度記憶手段107の内容例を示す。図19Aは、有効度記憶手段107に1つの有効度CFが記憶される例を示す。また図19Bは、生産ライン毎に1つの有効度が記憶される例を示す。即ち、有効度CF1は第1の生産ラインに対応しており、有効度CF2は第2の生産ラインに対応している。
[個体登録の動作]
 次に、管理対象の物体個々を登録する個体登録の動作について説明する。
 図20および図21は、個体登録の動作の処理フローおよびフローチャートである。まず、画像取得手段101は、個体登録の対象とする物体の表面を撮像して得られる画像を取得する(ステップS201)。次に、周波数変換手段103は、画像取得手段101によって取得された撮像画像を周波数変換し、周波数スペクトル画像を生成する(ステップS202)。次に、極座標変換手段104は、周波数変換手段103によって生成された周波数スペクトル画像を対数極座標変換し、フーリエ・メリン特徴(FM)画像を生成する(ステップS203)。次に、周波数変換手段105は、極座標変換手段104によって生成されたFM画像を周波数変換し、フーリエ・メリン周波数スペクトル(FMFS)画像を生成する(ステップS204)。これらの処理は、有効度決定を行う事前処理のときと同様である。
 次に、特徴抽出手段108は、FMFS画像と、有効度記憶手段107に格納された部分領域毎の有効度とを入力する。特徴抽出手段108は、有効度記憶手段107に図19(b)に示したように、生産ライン別の有効度が記憶されている場合、個体登録の対象とする製品が生産された生産ラインに対応する有効度を使用する。例えば、個体登録の対象とする製品が第1の生産ラインで生産されたならば、有効度CF1を使用する。次に、特徴抽出手段108は、入力した有効度に基づき、FMFS画像から部分画像を切り出し、この切り出した画像を個体固有の特徴量として出力する(ステップS205)。即ち、特徴抽出手段108は、FMFS画像を部分領域に分割し、有効度が1の部分領域の集合を部分画像として切り出す。また、特徴抽出手段108は、有効度に重み係数が付加されている場合は、部分領域の各周波数成分に重み係数を乗じた後、個体固有の特徴量として出力する。
 次に、特徴量記憶手段109は、特徴抽出手段108によって得られた登録対象の個体固有の特徴量を記憶する(ステップS206)。このとき、特徴量記憶手段109は、登録対象の個体のID番号、登録日時、寸法、製品仕様等といった当該登録対象の製造物に関わる情報(付帯情報とも称す)と紐付けて(対応付けて)個体固有の特徴量を登録する。こうしておくことで、後述する個体識別や個体認証時の判定結果に基づき、製造物の個体管理情報を提示することが可能になる。
 図22は、特徴量記憶手段109の内容例を示す。特徴量PF1,…,PFnおよび付帯情報SI1,…,SInは、登録対象の個体に1対1に対応する特徴量および付帯情報である。
[個体識別および個体照合の動作]
 次に、管理対象の物体個々を識別および照合する動作について説明する。
 図23および図24は、個体識別および個体照合時の動作の処理フローおよびフローチャートである。まず、画像取得手段101は、識別および照合の対象とする物体の表面を撮像して得られる画像(以下、照合画像と記す)を取得する(ステップS301)。次に、周波数変換手段103は、照合画像を周波数変換し、周波数スペクトル画像を生成する(ステップS302)。次に、極座標変換手段104は、周波数変換手段103によって生成された周波数スペクトル画像を対数極座標変換し、フーリエ・メリン特徴(FM)画像を生成する(ステップS303)。次に、周波数変換手段105は、極座標変換手段104によって生成されたFM画像を周波数変換し、フーリエ・メリン周波数スペクトル(FMFS)画像を生成する(ステップS304)。これらステップS301~S304の処理は、個体登録の動作時における図21のステップS201~S204の処理と同様である。以下、周波数変換手段105によって得られたフーリエ・メリン周波数スペクトル(FMFS)画像を、照合FMFS画像と記す。
 次に、特徴抽出手段108は、有効度記憶手段107に記憶された1つの有効度に注目する(ステップS305)。例えば、有効度記憶手段107に図19Aに示すように1種類の有効度CFが記憶されている場合、その有効度CFに注目する。また、有効度記憶手段107に図19Bに示すように複数種類の有効度が記憶されている場合、そのうちの1つに注目する。
 次に、特徴抽出手段108は、注目中の有効度に基づき、照合FMFS画像から部分画像を切り出し、この切り出した画像を識別および照合の対象とする個体固有の特徴量として出力する(ステップS306)。即ち、特徴抽出手段108は、照合FMFS画像を部分領域に分割し、有効度が1の部分領域の集合を部分画像として切り出す。また、特徴抽出手段108は、有効度に重み係数が付加されている場合は、部分領域の各周波数成分に重み係数を乗じた後、個体固有の特徴量として出力する。この個体固有の特徴量を、以下、照合特徴量と記す。
 次に、スコア算出手段110は、特徴量記憶手段109に記憶された個々の個体固有の特徴量(以下、登録特徴量と記す)毎に、特徴抽出手段108によって得られた照合特徴量と登録特徴量との要素積の算出(部分クロスパワースペクトルの生成)、他の部分領域のゼロ詰めによる全クロスパワースペクトルの生成、全クロスパワースペクトルに対する逆フーリエ変換による相関値マップの算出、および、当該相関値マップにおける最大値ピークの有無およびピークの鋭さの評価値の算出を行い、最終的に照合特徴量と登録特徴量間の類似性を表すスコアを数値として算出する(ステップS307)。上記スコアの算出では、スコア算出手段110は、例えば、照合特徴量と登録特徴量との2つのFMFS特徴量の相関を算出して、それを逆フーリエ変換して得られる位置ずれ量を相関値マップにおけるピークの鋭さを示す値として算出し、このピークの鋭さを示す値を照合特徴量と登録特徴量間のスコアとして算出する。具体的には、ピーク値とその周辺領域のS/N比をスコアとしても良いし、相関マップ中の最大値と2位の値との比率をスコアとしてもよい。また、スコア算出手段110は、最大値の周辺の要素群から最大値のZスコアを算出してもよいし、上記ピークの値や上記Zスコアに対して何らかの線形変換を施し、或る値の範囲内に収まるようにスコアを正規化しても良い。
 次に、スコア算出手段110は、有効度記憶手段107に記憶された他の1つの有効度に注目を移す(ステップS308)。スコア算出手段110は、注目すべき他の有効度が存在しなければ、ステップS310の処理へと進む。スコア算出手段110は、注目すべき他の有効度が存在すれば、それに注目してステップS306に戻り、上述した処理と同様の処理を新たに注目した有効度に基づいて実行する。これにより、有効度記憶手段107に図19(b)に示すように生産ラインに1対1に対応する有効度が複数記憶されている場合、ステップS306、S307の処理が生産ラインの数だけ繰り返される。
 ステップS310では、判定手段111は、スコア算出手段111がステップS307で算出したスコアに基づき、照合特徴量が、特徴量記憶手段110に格納されている、どの登録特徴量と合致するかを判定する。例えば、判定手段111は、照合特徴量と特徴量記憶手段119に格納された各登録特徴量とのスコアをソートし、スコアが最大(正規化相互相関が最大)となる登録特徴量を選択する。そして、判定手段111は、選択した登録特徴量に紐付いた付帯情報を特徴量記憶手段109から読み出して、識別および照合対象の製品の生産物情報として出力する。
 また、判定手段111は、照合特徴量と登録特徴量との最大スコアが、予め設定された判定閾値を超えるかどうかの判定を行ってもよい。そして、判定手段111は、照合特徴量と登録特徴量との最大スコアが判定閾値を超えない場合、識別および照合対象の製品は、登録されていないと判断し、認証エラーを表す情報を出力する。このように動作する判定手段111は、管理対象の真贋判定といった、個体認証目的で使用することができる。
 続いて、情報提示手段112は、判定手段111から得た生産物情報や、認証エラー情報を受け、識別および照合対象の製品の個体識別結果である生産物情報や、個体認証情報を図示しない表示装置に表示し或いは外部の端末へ出力する(ステップS311)。
<本実施形態の効果>
 本実施形態によれば、物体を撮像して得られた画像を位置合わせした上で照合するという処理を、照合対象となる多数の個体に対して繰り返し処理することなく、少ない処理量で個体を識別することができる。その理由は、スコア算出手段110は、照合画像および登録画像の位置ずれに不変な特徴量であるFM画像のうち、異なる個体間で共通の特徴を除外するために、FM画像の周波数スペクトルであるFMFS画像における部分領域(本実施形態では複数の製品に共通しない個体固有の周波数スペクトル成分)に基づき、異なる個体では位置ずれ量すなわち相関ピークを求めることができず、同一個体でのみ相関ピークが求まることを利用して、位置合わせを行わずに、個体の識別を行うためである。
 以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。
 なお、本発明は、日本国にて2017年10月5日に特許出願された特願2017-194925の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
 本発明は、製品表面の微細凹凸や紋様、素材表面のランダムパターン等の、同一製造過程で生じる自然発生的な微細なパターンの差異を、カメラ等の撮像装置を用いて画像として取得し、その微細なパターンを認識することで、製品個々の個体識別や管理を行う分野に利用できる。
 上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
 複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記部分領域毎に、前記登録画像と照合対象の物体を撮像して得られた照合画像との間の類似度を表すスコアの算出に係る有効度を決定する決定手段と、
 前記登録画像および前記照合画像に含まれる画像成分と前記有効度とに基づいて、前記スコアを算出する算出手段と、を含む、
個体識別装置。
[付記2]
 前記登録画像および前記照合画像は、前記登録対象および前記照合対象の物体を撮像して得られた画像に対して周波数変換、対数極座標変換、および周波数変換を施して得られる周波数スペクトル画像である、
付記1に記載の個体識別装置。
[付記3]
 前記算出手段は、
 前記有効度に基づいて前記登録画像から一部の部分領域を抽出して登録画像の部分画像を生成する登録画像前処理部と、
 前記有効度に基づいて前記照合画像から一部の部分領域を抽出して照合画像の部分画像を生成する照合画像前処理部と、
 前記登録画像の部分画像と前記照合画像の部分画像間のクロスパワースペクトルである部分クロスパワースペクトルを生成する部分クロスパワースペクトル生成部と、
 前記部分クロスパワースペクトルに前記部分画像以外の画像部分のクロスパワースペクトルとしてゼロを補填して全体のクロスパワースペクトルを生成する要素補填部と、
 前記全体のクロスパワースペクトルを逆周波数変換して相関値マップを生成する逆周波数変換部と、
 前記相関値マップから前記スコアを算出するスコア算出部と、を含む、
付記1または2に記載の個体識別装置。
[付記4]
 前記算出手段は、
 前記登録画像の部分領域の画像成分の値を前記部分領域の有効度に応じて変更した変更後登録画像を生成する登録画像前処理部と、
 前記照合画像の部分領域の画像成分の値を前記部分領域の有効度に応じて変更した変更後照合画像を生成する照合画像前処理部と、
 前記変更後登録画像と前記変更後照合画像間のクロスパワースペクトルを生成するクロスパワースペクトル生成部と、
 前記クロスパワースペクトルを逆周波数変換して相関値マップを生成する逆周波数変換部と、
 前記相関値マップから前記スコアを算出するスコア算出部と、を含む、
付記1または2に記載の個体識別装置。
[付記5]
 前記算出されたスコアに基づいて、前記登録画像と前記照合画像との照合結果を決定する判定手段を、さらに含む、
付記1乃至4の何れかに記載の個体識別装置。
[付記6]
 前記スコアと比較するための判定閾値を決定する閾値決定手段を、更に含み、
 前記閾値決定手段は、
 前記登録画像毎に、前記登録画像に近似する照合画像を生成し、前記照合画像と前記登録画像との間の類似度を表す第1のスコアと前記照合画像と他の前記登録画像との間の類似度を表す第2のスコアとを前記算出手段によって算出し、前記第1のスコアと前記第2のスコアとに基づいて前記判定閾値を決定する、
付記1乃至5の何れかに記載の個体識別装置。
[付記7]
 前記決定手段は、
 互いに異なる登録対象の物体を撮像して得られた画像のペアを複数生成し、前記生成した画像のペア毎に対応する部分領域の画像成分間の第1の相関値を算出し、
 同一の登録対象の物体を撮像して得られた画像のペアを複数生成し、前記生成した画像のペア毎に対応する部分領域の画像成分間の第2の相関値を算出し、
 前記第1の相関値および前記第2の相関値に基づいて前記部分領域毎の有効度を決定するように構成されている、
付記1乃至6の何れかに記載の個体識別装置。
[付記8]
 前記決定手段は、前記第1の相関値に対する前記第2の相関値の比に基づいて、前記部分領域毎の有効度を決定するように構成されている、
付記7に記載の個体識別装置。
[付記9]
 前記決定手段は、
 同一の生産ラインで製造された複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記生産ラインに1対1に対応する前記有効度を決定する、
付記1乃至8の何れかに記載の個体識別装置。
[付記10]
 複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記部分領域毎に、前記登録画像と照合対象の物体を撮像して得られた照合画像との間の類似度を表すスコアの算出に係る有効度を決定し、
 前記登録画像および前記照合画像に含まれる画像成分と前記有効度とに基づいて、前記スコアを算出する、
個体識別方法。
[付記11]
 前記登録画像および前記照合画像は、前記登録対象および前記照合対象の物体を撮像して得られた画像に対して周波数変換、対数極座標変換、および周波数変換を施して得られる周波数スペクトル画像である、
付記10に記載の個体識別方法。
[付記12]
 前記スコアの算出では、
 前記有効度に基づいて前記登録画像から一部の部分領域を抽出して登録画像の部分画像を生成し、
 前記有効度に基づいて前記照合画像から一部の部分領域を抽出して照合画像の部分画像を生成し、
 前記登録画像の部分画像と前記照合画像の部分画像間のクロスパワースペクトルである部分クロスパワースペクトルを生成し、
 前記部分クロスパワースペクトルに前記部分画像以外の画像部分のクロスパワースペクトルとしてゼロを補填して全体のクロスパワースペクトルを生成し、
 前記全体のクロスパワースペクトルを逆周波数変換して相関値マップを生成し、
 前記相関値マップから前記スコアを算出する、
付記10または11に記載の個体識別方法。
[付記13]
 前記スコアの算出では、
 前記登録画像の部分領域の画像成分の値を前記部分領域の有効度に応じて変更した変更後登録画像を生成し、
 前記照合画像の部分領域の画像成分の値を前記部分領域の有効度に応じて変更した変更後照合画像を生成し、
 前記変更後登録画像と前記変更後照合画像間のクロスパワースペクトルを生成し、
 前記クロスパワースペクトルを逆周波数変換して相関値マップを生成し、
 前記相関値マップから前記スコアを算出する、
付記10または11に記載の個体識別方法。
[付記14]
 さらに、前記算出されたスコアに基づいて、前記登録画像と前記照合画像との照合結果を決定する、
付記10乃至13の何れかに記載の個体識別方法。
[付記15]
 さらに、前記スコアと比較するための判定閾値を決定し、
 前記判定閾値の決定では、
 前記登録画像毎に、前記登録画像に近似する照合画像を生成し、前記照合画像と前記登録画像との間の類似度を表す第1のスコアと前記照合画像と他の前記登録画像との間の類似度を表す第2のスコアとを算出し、前記第1のスコアと前記第2のスコアとに基づいて前記判定閾値を決定する、
付記10乃至14の何れかに記載の個体識別方法。
[付記16]
 前記有効度の決定では、
 互いに異なる登録対象の物体を撮像して得られた画像のペアを複数生成し、前記生成した画像のペア毎に対応する部分領域の画像成分間の第1の相関値を算出し、
 同一の登録対象の物体を撮像して得られた画像のペアを複数生成し、前記生成した画像のペア毎に対応する部分領域の画像成分間の第2の相関値を算出し、
 前記第1の相関値および前記第2の相関値に基づいて前記部分領域毎の有効度を決定する、
付記10乃至15の何れかに記載の個体識別方法。
[付記17]
 前記有効度の決定では、前記第1の相関値に対する前記第2の相関値の比に基づいて、前記部分領域毎の有効度を決定する、
付記16に記載の個体識別方法。
[付記18]
 前記有効度の決定では、
 同一の生産ラインで製造された複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記生産ラインに1対1に対応する前記有効度を決定する、
付記10乃至17の何れかに記載の個体識別方法。
[付記19]
 コンピュータを、
 複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記部分領域毎に、前記登録画像と照合対象の物体を撮像して得られた照合画像との間の類似度を表すスコアの算出に係る有効度を決定する決定手段と、
 前記登録画像および前記照合画像に含まれる画像成分と前記有効度とに基づいて、前記スコアを算出する算出手段と、して機能させる、
プログラム。
1…個体識別装置
2…算出手段
2-1…登録画像前処理部
2-1A…登録画像前処理部
2-2…照合画像前処理部
2-2A…照合画像前処理部
2-3…部分クロスパワースペクトル生成部
2-3…クロスパワースペクトル生成部
2-4…要素補填部
2-5…逆フーリエ変換部
2-6…スコア算出部
3…決定手段
4-1…登録画像
4-2…登録画像
4-3…登録画像
4-4…登録画像
4A…登録画像の部分画像
4B…変更後登録画像
5…有効度
6…照合画像
6A…照合画像の部分画像
6B…変更後照合画像
7…クロスパワースペクトル
7A…部分クロスパワースペクトル
7B…クロスパワースペクトル
8…相関値マップ
100…個体識別装置
101…画像取得手段
102…画像記憶手段
103…周波数変換手段
104…極座標変換手段
105…周波数変換手段
106…有効度決定手段
107…有効度記憶手段
108…特徴抽出手段
109…特徴量記憶手段
110…スコア算出手段
111…判定手段
112…情報提示手段
200…情報処理装置
201…撮像部
202…操作入力部
203…画面表示部
204…通信インタフェース部
205…記憶部
206…演算処理部

Claims (19)

  1.  複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記部分領域毎に、前記登録画像と照合対象の物体を撮像して得られた照合画像との間の類似度を表すスコアの算出に係る有効度を決定する決定手段と、
     前記登録画像および前記照合画像に含まれる画像成分と前記有効度とに基づいて、前記スコアを算出する算出手段と、を含む、
    個体識別装置。
  2.  前記登録画像および前記照合画像は、前記登録対象および前記照合対象の物体を撮像して得られた画像に対して周波数変換、対数極座標変換、および周波数変換を施して得られる周波数スペクトル画像である、
    請求項1に記載の個体識別装置。
  3.  前記算出手段は、
     前記有効度に基づいて前記登録画像から一部の部分領域を抽出して登録画像の部分画像を生成する登録画像前処理部と、
     前記有効度に基づいて前記照合画像から一部の部分領域を抽出して照合画像の部分画像を生成する照合画像前処理部と、
     前記登録画像の部分画像と前記照合画像の部分画像間のクロスパワースペクトルである部分クロスパワースペクトルを生成する部分クロスパワースペクトル生成部と、
     前記部分クロスパワースペクトルに前記部分画像以外の画像部分のクロスパワースペクトルとしてゼロを補填して全体のクロスパワースペクトルを生成する要素補填部と、
     前記全体のクロスパワースペクトルを逆周波数変換して相関値マップを生成する逆周波数変換部と、
     前記相関値マップから前記スコアを算出するスコア算出部と、を含む、
    請求項1または2に記載の個体識別装置。
  4.  前記算出手段は、
     前記登録画像の部分領域の画像成分の値を前記部分領域の有効度に応じて変更した変更後登録画像を生成する登録画像前処理部と、
     前記照合画像の部分領域の画像成分の値を前記部分領域の有効度に応じて変更した変更後照合画像を生成する照合画像前処理部と、
     前記変更後登録画像と前記変更後照合画像間のクロスパワースペクトルを生成するクロスパワースペクトル生成部と、
     前記クロスパワースペクトルを逆周波数変換して相関値マップを生成する逆周波数変換部と、
     前記相関値マップから前記スコアを算出するスコア算出部と、を含む、
    請求項1または2に記載の個体識別装置。
  5.  前記算出されたスコアに基づいて、前記登録画像と前記照合画像との照合結果を決定する判定手段を、さらに含む、
    請求項1乃至4の何れかに記載の個体識別装置。
  6.  前記スコアと比較するための判定閾値を決定する閾値決定手段を、更に含み、
     前記閾値決定手段は、
     前記登録画像毎に、前記登録画像に近似する照合画像を生成し、前記照合画像と前記登録画像との間の類似度を表す第1のスコアと前記照合画像と他の前記登録画像との間の類似度を表す第2のスコアとを前記算出手段によって算出し、前記第1のスコアと前記第2のスコアとに基づいて前記判定閾値を決定する、
    請求項1乃至5の何れかに記載の個体識別装置。
  7.  前記決定手段は、
     互いに異なる登録対象の物体を撮像して得られた画像のペアを複数生成し、前記生成した画像のペア毎に対応する部分領域の画像成分間の第1の相関値を算出し、
     同一の登録対象の物体を撮像して得られた画像のペアを複数生成し、前記生成した画像のペア毎に対応する部分領域の画像成分間の第2の相関値を算出し、
     前記第1の相関値および前記第2の相関値に基づいて前記部分領域毎の有効度を決定するように構成されている、
    請求項1乃至6の何れかに記載の個体識別装置。
  8.  前記決定手段は、前記第1の相関値に対する前記第2の相関値の比に基づいて、前記部分領域毎の有効度を決定するように構成されている、
    請求項7に記載の個体識別装置。
  9.  前記決定手段は、
     同一の生産ラインで製造された複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記生産ラインに1対1に対応する前記有効度を決定する、
    請求項1乃至8の何れかに記載の個体識別装置。
  10.  複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記部分領域毎に、前記登録画像と照合対象の物体を撮像して得られた照合画像との間の類似度を表すスコアの算出に係る有効度を決定し、
     前記登録画像および前記照合画像に含まれる画像成分と前記有効度とに基づいて、前記スコアを算出する、
    個体識別方法。
  11.  前記登録画像および前記照合画像は、前記登録対象および前記照合対象の物体を撮像して得られた画像に対して周波数変換、対数極座標変換、および周波数変換を施して得られる周波数スペクトル画像である、
    請求項10に記載の個体識別方法。
  12.  前記スコアの算出では、
     前記有効度に基づいて前記登録画像から一部の部分領域を抽出して登録画像の部分画像を生成し、
     前記有効度に基づいて前記照合画像から一部の部分領域を抽出して照合画像の部分画像を生成し、
     前記登録画像の部分画像と前記照合画像の部分画像間のクロスパワースペクトルである部分クロスパワースペクトルを生成し、
     前記部分クロスパワースペクトルに前記部分画像以外の画像部分のクロスパワースペクトルとしてゼロを補填して全体のクロスパワースペクトルを生成し、
     前記全体のクロスパワースペクトルを逆周波数変換して相関値マップを生成し、
     前記相関値マップから前記スコアを算出する、
    請求項10または11に記載の個体識別方法。
  13.  前記スコアの算出では、
     前記登録画像の部分領域の画像成分の値を前記部分領域の有効度に応じて変更した変更後登録画像を生成し、
     前記照合画像の部分領域の画像成分の値を前記部分領域の有効度に応じて変更した変更後照合画像を生成し、
     前記変更後登録画像と前記変更後照合画像間のクロスパワースペクトルを生成し、
     前記クロスパワースペクトルを逆周波数変換して相関値マップを生成し、
     前記相関値マップから前記スコアを算出する、
    請求項10または11に記載の個体識別方法。
  14.  さらに、前記算出されたスコアに基づいて、前記登録画像と前記照合画像との照合結果を決定する、
    請求項10乃至13の何れかに記載の個体識別方法。
  15.  さらに、前記スコアと比較するための判定閾値を決定し、
     前記判定閾値の決定では、
     前記登録画像毎に、前記登録画像に近似する照合画像を生成し、前記照合画像と前記登録画像との間の類似度を表す第1のスコアと前記照合画像と他の前記登録画像との間の類似度を表す第2のスコアとを算出し、前記第1のスコアと前記第2のスコアとに基づいて前記判定閾値を決定する、
    請求項10乃至14の何れかに記載の個体識別方法。
  16.  前記有効度の決定では、
     互いに異なる登録対象の物体を撮像して得られた画像のペアを複数生成し、前記生成した画像のペア毎に対応する部分領域の画像成分間の第1の相関値を算出し、
     同一の登録対象の物体を撮像して得られた画像のペアを複数生成し、前記生成した画像のペア毎に対応する部分領域の画像成分間の第2の相関値を算出し、
     前記第1の相関値および前記第2の相関値に基づいて前記部分領域毎の有効度を決定する、
    請求項10乃至15の何れかに記載の個体識別方法。
  17.  前記有効度の決定では、前記第1の相関値に対する前記第2の相関値の比に基づいて、前記部分領域毎の有効度を決定する、
    請求項16に記載の個体識別方法。
  18.  前記有効度の決定では、
     同一の生産ラインで製造された複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記生産ラインに1対1に対応する前記有効度を決定する、
    請求項10乃至17の何れかに記載の個体識別方法。
  19.  コンピュータを、
     複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記部分領域毎に、前記登録画像と照合対象の物体を撮像して得られた照合画像との間の類似度を表すスコアの算出に係る有効度を決定する決定手段と、
     前記登録画像および前記照合画像に含まれる画像成分と前記有効度とに基づいて、前記スコアを算出する算出手段と、して機能させる、
    プログラム。
PCT/JP2018/032931 2017-10-05 2018-09-05 個体識別装置 WO2019069617A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/652,528 US11132582B2 (en) 2017-10-05 2018-09-05 Individual identification device
JP2019546586A JP6860081B2 (ja) 2017-10-05 2018-09-05 個体識別装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-194925 2017-10-05
JP2017194925 2017-10-05

Publications (1)

Publication Number Publication Date
WO2019069617A1 true WO2019069617A1 (ja) 2019-04-11

Family

ID=65995166

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/032931 WO2019069617A1 (ja) 2017-10-05 2018-09-05 個体識別装置

Country Status (3)

Country Link
US (1) US11132582B2 (ja)
JP (1) JP6860081B2 (ja)
WO (1) WO2019069617A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020230320A1 (ja) * 2019-05-16 2020-11-19

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3764319B1 (en) * 2018-03-05 2023-11-22 NEC Corporation Image comparison device
US11216541B2 (en) * 2018-09-07 2022-01-04 Qualcomm Incorporated User adaptation for biometric authentication
CN110147838B (zh) * 2019-05-20 2021-07-02 苏州微创关节医疗科技有限公司 一种产品规格录入、检测方法及系统
CN114373196B (zh) * 2021-12-31 2023-09-19 天津极豪科技有限公司 有效采集区域确定方法、程序产品、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08255223A (ja) * 1995-03-16 1996-10-01 Fuji Electric Co Ltd 文字認識装置における類似文字判別方法
JP2004185264A (ja) * 2002-12-03 2004-07-02 Canon Inc 文字認識方法
JP2017084377A (ja) * 2016-12-05 2017-05-18 東芝テック株式会社 情報処理装置及びプログラム
JP2017138744A (ja) * 2016-02-02 2017-08-10 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3254622B2 (ja) 1996-08-08 2002-02-12 株式会社山武 パターン照合装置
JP3235075B2 (ja) 1996-08-21 2001-12-04 株式会社山武 パターン照合装置
JP2004240931A (ja) 2003-02-05 2004-08-26 Sony Corp 画像照合装置、画像照合方法、およびプログラム
JP4337422B2 (ja) 2003-06-20 2009-09-30 富士ゼロックス株式会社 物品登録装置、物品確認装置、及び物品登録確認装置
US7687271B2 (en) 2004-04-22 2010-03-30 Kodak Graphic Communications Canada Company Covert authentication method and apparatus
JP4664147B2 (ja) 2005-07-29 2011-04-06 株式会社山武 虹彩認証装置
US9208394B2 (en) * 2005-09-05 2015-12-08 Alpvision S.A. Authentication of an article of manufacture using an image of the microstructure of it surface
JP2008015848A (ja) 2006-07-07 2008-01-24 Kobe Univ 物体領域探索方法,物体領域探索プログラムおよび物体領域探索装置
US8885923B2 (en) 2010-01-12 2014-11-11 Nec Corporation Feature point selecting system, feature point selecting method and feature point selecting program
JP5331721B2 (ja) 2010-02-02 2013-10-30 アズビル株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2013196418A (ja) 2012-03-21 2013-09-30 Dainippon Printing Co Ltd 個体識別装置、個体識別方法、プログラム
JP6075084B2 (ja) 2013-01-25 2017-02-08 富士通株式会社 画像変換装置、画像変換方法、生体認証装置及び生体認証方法ならびに画像変換用コンピュータプログラム
CN105264568B (zh) 2013-04-04 2019-06-14 日本电气株式会社 识别系统、识别方法、匹配设备和程序
JP6163868B2 (ja) 2013-05-20 2017-07-19 コニカミノルタ株式会社 画像処理方法、画像処理装置および画像処理プログラム
KR102170725B1 (ko) * 2016-11-07 2020-10-27 삼성전자주식회사 지문 등록 방법 및 장치
US10152798B2 (en) * 2017-04-10 2018-12-11 Wisconsin Alumni Research Foundation Systems, methods and, media for determining object motion in three dimensions using speckle images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08255223A (ja) * 1995-03-16 1996-10-01 Fuji Electric Co Ltd 文字認識装置における類似文字判別方法
JP2004185264A (ja) * 2002-12-03 2004-07-02 Canon Inc 文字認識方法
JP2017138744A (ja) * 2016-02-02 2017-08-10 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2017084377A (ja) * 2016-12-05 2017-05-18 東芝テック株式会社 情報処理装置及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020230320A1 (ja) * 2019-05-16 2020-11-19
EP3971826A4 (en) * 2019-05-16 2022-05-18 NEC Corporation IMAGE COMPARISON DEVICE
JP7168075B2 (ja) 2019-05-16 2022-11-09 日本電気株式会社 画像照合装置

Also Published As

Publication number Publication date
JPWO2019069617A1 (ja) 2020-10-08
US11132582B2 (en) 2021-09-28
US20200242397A1 (en) 2020-07-30
JP6860081B2 (ja) 2021-04-14

Similar Documents

Publication Publication Date Title
JP6860081B2 (ja) 個体識別装置
US11037326B2 (en) Individual identifying device
CN108291876B (zh) 用于检测产品的真实性的系统及方法
US9940515B2 (en) Image analysis for authenticating a product
EP3435287A2 (en) Model-based digital fingerprinting
JP6217886B1 (ja) 物体管理装置
JPWO2016035774A1 (ja) 判定方法、判定システム、判定装置、及びそのプログラム
KR100950776B1 (ko) 얼굴 인식 방법
CN108399374B (zh) 选择用于指纹识别的候选指纹图像的方法和设备
EP3203416A1 (en) Method computer program and system for facial recognition
Zaharieva et al. Image based recognition of ancient coins
CN112017352A (zh) 证件鉴伪方法、装置、设备及可读存储介质
Sinha et al. Illumination invariant face recognition using MSVM
Biswas et al. Logo recognition technique using sift descriptor, surf descriptor and hog descriptor
JPWO2015068417A1 (ja) 画像照合システム、画像照合方法およびプログラム
JP6919758B2 (ja) 画像照合装置
JP6092012B2 (ja) 物体識別システムおよび物体識別方法
WO2015178001A1 (ja) 画像照合システム、画像照合方法、およびプログラムを記憶する記録媒体
JP2007179267A (ja) パターン照合装置
Ranjith Identification of Fake VS Original logos using Deep Learning
KR20090002638A (ko) 주파수영역을 이용한 지폐의 유사도 측정방법
EP3069295B1 (en) Image analysis for authenticating a product
Yao et al. Fingerprint quality assessment with multiple segmentation
Vijayaprasad et al. Partial fingerprint recognition using support vector machine
JP7276592B2 (ja) 基板管理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18863947

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019546586

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18863947

Country of ref document: EP

Kind code of ref document: A1