WO2008072622A1 - 顔認証装置 - Google Patents

顔認証装置 Download PDF

Info

Publication number
WO2008072622A1
WO2008072622A1 PCT/JP2007/073855 JP2007073855W WO2008072622A1 WO 2008072622 A1 WO2008072622 A1 WO 2008072622A1 JP 2007073855 W JP2007073855 W JP 2007073855W WO 2008072622 A1 WO2008072622 A1 WO 2008072622A1
Authority
WO
WIPO (PCT)
Prior art keywords
face image
image data
data
feature amount
unit
Prior art date
Application number
PCT/JP2007/073855
Other languages
English (en)
French (fr)
Inventor
Akihiro Nakanowatari
Ryuuji Yamazaki
Original Assignee
Panasonic Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corporation filed Critical Panasonic Corporation
Priority to US12/517,916 priority Critical patent/US8320643B2/en
Priority to EP07850417.2A priority patent/EP2091021A4/en
Priority to CN2007800463957A priority patent/CN101558431B/zh
Publication of WO2008072622A1 publication Critical patent/WO2008072622A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints

Definitions

  • the present invention relates to a face authentication apparatus that performs personal authentication using face image data.
  • the authentication method using a face image has an advantage that it takes little time and effort for a person to be authenticated to register biometric information necessary for individual authentication.
  • the authentication method using the face image it is not necessary to put out a finger or a hand like a fingerprint authentication or a blood vessel pattern, or to irradiate light directly to an eye like an iris authentication. Therefore, even if a person to be authenticated is not cooperative in registering biometric information, authentication can be easily realized.
  • the authentication method using facial images has less psychological resistance on the authenticated side compared to authentication using fingerprints, irises, and blood vessel patterns! RU
  • Japanese Unexamined Patent Application Publication No. 2005-316888 proposes a technique related to a face authentication device that performs authentication by making a face image into a mosaic and learning a neutral network.
  • the neural network is a mathematical model that aims to express some characteristics of brain function by computer simulation.
  • personal authentication can be performed by absorbing fluctuations in the position and angle of the face and fluctuations in illumination.
  • Japanese Patent Laid-Open No. 2002-183734 proposes a technique related to an authentication apparatus that performs authentication by varying a threshold value for personal authentication according to the usage frequency of a registrant! This According to the technique described in the following document, the threshold used for authentication can be dynamically changed according to the use conditions, and convenience and safety can be improved.
  • the face authentication device may determine that the double-sided images are similar.
  • the present invention has been made under the background described above, and an object thereof is to provide a face authentication device capable of identifying a person with high accuracy regardless of an imaging environment of an input face image. Means to solve
  • the face authentication device of the present invention includes a first extraction unit that extracts feature amount data from input face image data, and a face image in which face image data imaged under a predetermined imaging condition is registered. Registered in the image data registration unit and the face image data registration unit !, a second extraction unit for extracting feature amount data from the face image data, and features extracted by the first and second extraction units, respectively.
  • a first calculation unit that compares the quantity data and calculates the similarity between the two feature quantity data, and is extracted from face image data of a plurality of persons captured under substantially the same conditions as the predetermined imaging conditions.
  • the feature quantity data storage unit storing a plurality of feature quantity data, the plurality of feature quantity data stored in the feature quantity data storage unit and the feature quantity data extracted by the first extraction unit are compared, Based on the similarity calculated by the second calculation unit that calculates the similarity between the feature amount data and the second calculation unit, the face image data to be input and the face image data registration unit are registered.
  • a threshold setting unit for setting a threshold for determining whether or not the face image data is of the same person, the threshold set by the threshold setting unit and the similarity calculated by the first calculation unit Are registered in the face image data registration unit.
  • a determination unit that determines whether or not the recorded face image data is the same person's data.
  • Another aspect of the present invention is a face authentication method, in which a first extraction step of extracting feature amount data from input face image data and face image data captured under a predetermined imaging condition are performed.
  • a second extraction step of extracting feature quantity data from the face image data registered in the face image data registration unit with reference to the registered face image data registration unit, and the first and second The first calculation step for comparing the feature amount data extracted in each of the extraction steps to calculate the similarity between both feature amount data, and the imaging is performed under substantially the same conditions as the predetermined imaging conditions.
  • Feature data extracted in the extraction step The input face image based on the similarity calculated in the second calculation step for calculating the similarity between the two feature amount data and the second calculation step.
  • a threshold setting step for setting a threshold for determining whether or not the data and the face image data registered in the face image data registration unit belong to the same person, and the threshold setting step By comparing the set threshold and the similarity calculated in the first calculation step, the input face image data and the face image data registered in the face image data registration unit are And a determination step for determining whether the data is for the same person. And a face authentication method.
  • Another aspect of the present invention is a face authentication program that causes a computer to execute the process of the face authentication method described above.
  • the present invention can provide a face authentication device having an effect of being able to identify a person with high accuracy regardless of the imaging environment of the input face image.
  • FIG. 1 is a block diagram schematically showing a configuration of a face authentication apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is an operation flowchart of the face authentication apparatus according to the embodiment of the present invention.
  • FIG. 3 is a schematic diagram for explaining the principle of the face authentication apparatus according to the first embodiment of the present invention.
  • FIG. 4 is a block diagram schematically showing a configuration of a face authentication apparatus according to Embodiment 2 of the present invention.
  • FIG. 5 is an operation flowchart of the face authentication apparatus according to Embodiment 2 of the present invention.
  • the face authentication device of the present invention includes a first extraction unit that extracts feature amount data from input face image data, and a face image in which face image data imaged under a predetermined imaging condition is registered. Registered in the image data registration unit and the face image data registration unit !, a second extraction unit for extracting feature amount data from the face image data, and feature amount data extracted by the first and second extraction units, respectively.
  • a first calculation unit that calculates similarity between both feature quantity data, and a plurality of face image data extracted from a plurality of face image data captured under substantially the same conditions as a predetermined imaging condition.
  • the feature quantity data storage unit storing the feature quantity data, the plurality of feature quantity data stored in the feature quantity data storage unit, and the feature quantity data extracted by the first extraction unit are collated.
  • the second calculator that calculates the similarity between the quantity data and the second calculator Threshold value for setting a threshold value for judging whether or not the input face image data and the face image data registered in the face image data registration unit belong to the same person based on the similarity By comparing the threshold value set by the setting unit and the threshold value setting unit with the similarity calculated by the first calculation unit, the input face image data and the face registered in the face image data registration unit And a determination unit that determines whether or not the image data is the same person's data. With this configuration, a threshold value corresponding to input face image data can be set, so that individual identification can be performed with high accuracy regardless of the imaging environment of the input face image.
  • the feature amount data storage unit classifies and stores a plurality of feature amount data respectively extracted from face image data of a plurality of persons imaged under different imaging conditions for each different imaging condition.
  • the second calculation unit having a plurality of sub feature quantity data storage units has a plurality of sub feature data storage units.
  • the feature amount data and the feature amount data extracted by the first extraction unit may be collated to calculate the similarity between the feature amount data.
  • the feature data storage unit is classified for each imaging condition. Therefore, even if the imaging conditions of the input face image data are diversified, it is possible to identify the individual with high accuracy regardless of the imaging environment of the input face image.
  • the face authentication device converts the feature amount data of the new face image data extracted by the second extraction unit into a plurality of sub features. You may memorize
  • the feature data can be classified and stored in the most appropriate sub feature data storage unit.
  • the first calculation unit may calculate the similarity between both feature amount data based on the distance between the feature amount data extracted by the first and second extraction units. With this configuration, the similarity between the feature amount data extracted by the first and second extraction units can be easily calculated.
  • the second calculation unit is configured to calculate both feature amounts based on a distance between the plurality of feature amount data stored in the feature amount data storage unit and the feature amount data extracted by the first extraction unit. Similarity between data may be calculated. With this configuration, the similarity between the feature amount data extracted by the first and second extraction units can be easily calculated.
  • the threshold setting unit determines whether the input face image data and the face image data registered in the registration unit are based on the average value and the variance value of the similarity calculated by the second calculation unit.
  • a threshold value for determining whether or not the same person belongs may be set. With this configuration, it is possible to easily set a threshold suitable for personal identification.
  • FIG. 1 is a block diagram schematically showing the configuration of the face authentication apparatus according to Embodiment 1 of the present invention.
  • the face authentication device 1 includes a face image data acquisition unit 10, a first feature quantity extraction unit 20, and a face image data registration unit. 30, a second feature amount extraction unit 40, a first similarity calculation unit 50, a feature amount data storage unit 60, a second similarity calculation unit 70, a threshold setting unit 80, and an identification determination Part 90.
  • the face image data acquisition unit 10 acquires face image data input from, for example, a video camera or an image scanner.
  • the first feature quantity extraction unit 20 extracts feature quantity data from the face image data input to the face image data acquisition unit 10.
  • the second feature quantity extraction unit 40 extracts feature quantity data from the face image data registered in the face image data registration unit 30.
  • the first and second feature amount extraction units 20 and 40 for example, based on the positions of eyes, nose, or mouth in the face image data, face regions in the face image data. Is extracted in a certain size and shape, and feature quantity data X is extracted by converting a one-dimensional vector V whose elements are the luminance values of the pixels of all the extracted areas into feature quantity data.
  • Equation (1) and Equation (2) are expressed as shown in Equation (3) and Equation (4).
  • ⁇ is generated.
  • ⁇ may be generated.
  • the one-dimensional vector V having the luminance values of all the pixels in the cut-out area as an element is multiplied by a matrix ⁇ shown in the following equation (6).
  • the vector V can be converted into a feature quantity suitable for personal identification.
  • the matrix ⁇ is obtained from ⁇ and the diagonal matrix L as shown in Equation (6).
  • the first and second feature quantity extraction units 20 and 40 determine the face area in the face image data based on the positions of the eyes, nose and mouth in the face image data. Extract feature data by cutting it into a certain size and shape and converting it into data suitable for personal authentication.
  • face image data registration unit 30 face image data imaged under a predetermined imaging condition is registered in advance.
  • the first similarity calculation unit 50 collates the feature amount data extracted by the first and second feature amount extraction units 20 and 40, respectively, and calculates the similarity between the feature amount data. . Specifically, the first similarity calculation unit 50 compares the feature amount data extracted by the first and second feature amount extraction units 20 and 40, and calculates the similarity between the feature amount data. To do. As the similarity, the distance between both feature quantities is calculated. In other words, the first similarity calculation unit 50 calculates the distance between both vectors by regarding the series of feature data elements extracted by the first and second feature extraction units 20 and 40 as one-dimensional vectors. To do.
  • the distance between both vectors for example, there is a method using the L1 norm or L2 norm of the difference between feature vectors. For example, there is a method using a correlation value between feature quantity vectors. It is possible to use these methods. Thus, by calculating the distance between the feature quantity data extracted by the first and second extraction units as the distance between both feature quantities, the similarity between both feature quantity data can be easily calculated.
  • the feature amount data storage unit 60 is registered in the face image data registration unit 30! /, Each of face image data of a plurality of persons imaged under substantially the same imaging conditions as the face image data. Memorize multiple extracted feature data!
  • the plurality of feature amount data stored in the feature amount data storage unit 60 are respectively extracted from face image data of different persons. Note that the plurality of feature amount data stored in the feature amount data storage unit 60 is extracted by, for example, the second feature amount extraction unit 40.
  • the first feature quantity extraction unit 20 may extract a plurality of feature quantity data.
  • a plurality of feature quantity data may be extracted from face image data of different persons in advance, and the plurality of feature quantity data may be stored in the feature quantity data storage unit 60.
  • the second similarity calculation unit 70 collates a plurality of feature amount data stored in the feature amount data storage unit 60 with the feature amount data extracted by the first feature amount extraction unit 20. Thus, the similarity between both feature data is calculated. Specifically, the second similarity calculation unit 70 collates a plurality of feature amount data stored in the feature amount data storage unit 60 with the feature amount data extracted by the first feature amount extraction unit 20. Thus, the similarity between both feature quantity data is calculated. Again, the distance between both feature quantities is calculated as the similarity. By calculating the distance between the feature amount data extracted by the first and second extraction units, the similarity between both feature amount data can be calculated as shown in Equation (7).
  • the threshold setting unit 80 sets a threshold suitable for personal identification based on the plurality of feature amount data calculated by the second similarity calculation unit 70. That is, the threshold setting unit 80 determines that the input face image data and the face image data registered in the face image data registration unit 30 are the same person based on the similarity calculated by the second similarity calculation unit 70. A threshold is set to determine whether or not the product is a product.
  • the feature amount data storage unit 60 stores the feature amount data of a person corresponding to the face image data input to the face image data acquisition unit 10 as an authentication target. .
  • the similarity between the (N ⁇ 1) feature quantities excluding the maximum value is calculated. Prepared. In this way, by removing the maximum value from the similarities between the N feature quantities, the similarity between the face image data of the same person can be removed in advance.
  • the threshold setting unit 80 assumes that the similarity between (N-1) feature quantities forms a normal distribution, and calculates the average from the similarity between (N-1) feature quantities. Value and variance are calculated.
  • the threshold value setting unit 80 is the authentication target, and the face image data input to the face image data acquisition unit 10 and a plurality of others stored in the feature amount data storage unit 60! / The probability of appearing in the degree of similarity with the face image data is calculated. Then, a threshold suitable for personal identification is set according to the acceptable acceptance rate of others. By using the average value and variance value calculated from the similarity between (N-1) feature quantities, a threshold value suitable for personal identification can be set easily.
  • the identification determination unit 90 compares the threshold set by the threshold setting unit 80 with the similarity calculated by the first similarity calculation unit 50, whereby the input face image data and face image data are compared. Determines whether the face image data registered in the registration unit 30 belongs to the same person
  • FIG. 2 is an operation flowchart of the face authentication apparatus according to the embodiment of the present invention.
  • face image data input from a camera, a scanner or the like is acquired by the face image data acquisition unit 10 (S201).
  • feature amounts are extracted from the face image data acquired by the face image data acquisition unit 10 (S202).
  • the second similarity calculation unit 70 collates the plurality of feature amount data stored in the feature amount data storage unit 60 with the feature amount data of the input face image data, Calculate the similarity between quantitative data.
  • the similarity of the feature amount between both feature amount data is calculated (S203).
  • the second similarity calculation unit 70 calculates the feature amount data of the input face image data for all feature amount data stored in the feature amount data storage unit 60.
  • the threshold setting unit 80 sets a threshold for personal identification based on the similarity calculated by the second feature amount calculation unit 70. (S205).
  • the second similarity calculation unit 70 calculates the similarity between the feature amount data of the input face image data for all the feature amount data stored in the feature amount data storage unit 60. If not completed (S204, NO), repeat the process of S203.
  • the first similarity calculation unit 50 calculates the similarity between the input face image data and the feature amount data of the registered face image data (S206).
  • the first similarity calculation unit 50 calculates the second feature based on the feature amount data extracted by the first feature amount extraction unit 20 and the face image registered in the face image data registration unit 30.
  • the feature quantity data extracted by the quantity extraction unit 40 is collated, and the similarity between both feature quantity data is calculated.
  • the identification determination unit 90 compares the threshold set by the threshold setting unit 80 with the similarity calculated by the first similarity calculation unit 50 (S207). If the similarity calculated by the first similarity calculation unit 50 is larger than the threshold (S207), the input face image data and the face image data registered in the face image data registration unit 30 are the same person. It is determined that the data is data (S2 08). On the other hand, if the similarity calculated by the first similarity calculation unit 50 is smaller than the threshold (S207), the input face image data differs from the face image data registered in the face image data registration unit 30. (S209).
  • FIG. 3 is a schematic diagram illustrating the principle of the face authentication apparatus according to Embodiment 1 of the present invention.
  • the input of face image data to be input to the face image data acquisition unit 10 Face images 201 and 202 and the registration of the face image data registered in the face image data registration unit 30 It is assumed that all persons corresponding to the image 203 are the same person.
  • the input face image 201 and the registered face image 203 are taken in an imaging environment in which the brightness and direction of illumination are greatly different, and the input face image 202 and the registered face image 203 are taken in a close imaging environment.
  • the similarity between the face images closer to the imaging environment tends to be higher, indicating that they are the same person. Therefore, the degree of similarity tends to be higher when authentication is performed between the input face image 202 and the registered face image 203 than when authentication is performed between the input face image 201 and the registered face image 203. It is in. Also, in calculating similarity between different people, the similarity between facial images taken in significantly different imaging environments tends to be high, and the similarity between facial images taken in close-up imaging environments tends to be high. . In this way, the similarity appears to be low because the appearance of the similarity varies depending on the imaging environment of the input face image. It is necessary to set a low threshold when the trend is high and to set a high threshold when the similarity is high.
  • face images 204 of a plurality of persons photographed in advance in the same imaging environment as registered face image 203 are prepared, and the plurality of face images 204 are prepared.
  • the feature amount data of the human face image is stored in the feature amount data storage unit 60! /.
  • a plurality of face images 204 captured in the same imaging environment as the registered face image 203 are schematically shown in the feature amount data storage unit 60 of FIG.
  • the similarity between each feature value data of the plurality of face images 204 in the feature value data storage unit 60 and the feature value data of the input face image is calculated by the second similarity calculation unit 70. Similarity distribution can also be acquired.
  • the feature amount data of the input face image 201 captured in an image pickup environment different from the image pickup environment of the registered face image 203 and a plurality of face images 204 stored in the feature amount data storage unit 60
  • the degree of similarity between the feature amount data tends to be low.
  • the feature amount data of the input face image 202 captured in an imaging environment close to the imaging environment of the registered face image 203, and the feature amount data of the plurality of face images 204 stored in the feature amount data storage unit 60 The similarity between the two tends to be high.
  • a threshold value is set according to the similarity distribution calculated by the second similarity calculation unit 50.
  • a low threshold can be set when the degree of similarity tends to be low
  • a high threshold can be set when the degree of similarity tends to be high, regardless of the shooting environment of the input face image. Highly accurate personal identification.
  • an image is captured under substantially the same conditions as the imaging conditions of the facial image data registered in the facial image data registration unit 30.
  • Feature amount data storage unit 60 storing a plurality of feature amount data respectively extracted from face image data of a plurality of persons, and a plurality of feature amount data stored in feature amount data storage unit 60 and a first extraction unit 50 based on the similarity calculated by the second similarity calculation unit 70 that compares the feature amount data extracted by 50 and calculates the similarity between both feature amount data, and the second similarity calculation unit 70
  • a threshold value setting unit 80 for setting a threshold value for determining whether or not the inputted face image data and the face image data registered in the face image data registration unit 30 belong to the same person. ing. With this configuration, it corresponds to the input face image data.
  • the threshold can be set, and the individual can be identified with high accuracy regardless of the imaging environment of the input facial image.
  • FIG. 4 is a block diagram schematically showing the configuration of the face authentication apparatus according to Embodiment 2 of the present invention.
  • feature amount data storage unit 60 does not have a sub feature amount data storage unit.
  • the feature amount data storage unit 61 includes a plurality of sub feature amount data storage units 61;! This is different from the first embodiment.
  • the face authentication apparatus la includes a face image data acquisition unit 10, a first feature quantity extraction unit 20, and a face image data registration unit. 30, a second feature quantity extraction unit 40, a first similarity calculation unit 50, a feature quantity data storage unit 61, a plurality of sub feature quantity data storage units 611 to 61n, and a second similarity calculation Unit 70a, threshold value setting unit 80, identification determination unit 90, feature quantity data classification units 100 and 100b, sub feature quantity data storage unit selection unit 110, and feature quantity data update determination unit 120 Has been.
  • the functions of the feature data classification units 100 and 100b are the same as will be described later.
  • the feature quantity data storage unit 61 has a plurality of sub feature quantity data storage units 61 ;; In the plurality of sub-feature data storage units 61;! To 6 In, a plurality of feature data respectively extracted from face image data of a plurality of persons imaged under different imaging conditions are respectively provided for the different imaging conditions. Classified and stored.
  • the feature amount data storage unit 61 includes n sub feature amount data storage units 611 to 61n.
  • These feature quantity data storage units 61;! To 61 ⁇ are, for example, It is classified according to the orientation of the face by classification such as front, upward, downward, leftward, rightward.
  • the second similarity calculation unit 70a is the most suitable for the predetermined imaging condition of the face image data registered in the face image data registration unit 30 among the plurality of sub feature quantity data storage units 61 ;! to 61 ⁇ .
  • a plurality of feature quantity data stored in the sub-feature quantity data storage unit corresponding to the near imaging condition is collated with the feature quantity data extracted by the first feature quantity extraction unit 20, and the similarity between both feature quantity data is compared. Is calculated.
  • the feature amount data classification unit 100 refers to the plurality of sub feature amount data storage units 61;! To 61 ⁇ , and is registered in the face image data registration unit 30! It classifies by determining whether it is close to the face image data corresponding to the quantity data storage unit. For example, it is determined whether the direction of the input face image data belongs to the front, upward, downward, leftward, or rightward classification.
  • the sub-feature data storage unit selection unit 110 is connected to a plurality of sub-feature data storage units 61;! To 61 ⁇ , a second similarity calculation unit 70a, and a feature data classification unit 100.
  • the sub-feature data storage unit selection unit 110 registers the sub-feature data storage unit 61;! To 61 ⁇ in the face image data registration unit 30 according to the classification result by the feature data classification unit 100.
  • the sub-feature data storage unit corresponding to the image capturing condition that is closest to the predetermined image capturing condition of the recorded face image data is selected.
  • the feature amount data update determination unit 120 is connected to the outputs of the plurality of sub feature amount data storage units 611 to 61 ⁇ , the first feature amount extraction unit 20 and the feature amount data classification unit 100b. Similar to the feature data classification unit 100, the feature data classification unit 100b corresponds to any one of the sub feature data storage unit 61;! To 61 ⁇ as the face image data acquired by the face image data acquisition unit 10. Classify.
  • the feature quantity data update determination unit 120 uses the feature quantity data extracted by the first feature quantity extraction unit 20 based on the classification result of the feature quantity data classification unit 100b, and uses a plurality of feature quantity data storage units 61; 6 Update the feature data stored in In.
  • the feature amount data update determining unit 120 when new face image data is input, converts the feature amount data of the new face image data extracted by the first similarity extraction unit 20 into a plurality of sub features. Imaging conditions for new face image data out of the quantity data storage units 611 to 61n Is stored in the sub-feature data storage unit corresponding to the imaging condition closest to. In this manner, the feature amount data update determination unit 120 updates each data in the feature amount data storage unit 61.
  • FIG. 5 is an operation flowchart of the face authentication device according to the second embodiment of the present invention.
  • FIG. 2 and FIG. 5 are different in that S501 is added, S502 force is added instead of S203, and S503 is added instead of S204.
  • face image data input from a camera, a scanner or the like is acquired by the face image data acquisition unit 10 (S201).
  • feature amounts are extracted from the face image data acquired by the face image data acquisition unit 10 (S202).
  • the sub feature quantity data storage unit selection unit 110 is registered in the face image data registration unit 30 among the plurality of sub feature quantity data storage units 61;! To 61 ⁇ in the feature quantity data storage unit 61.
  • the sub-feature data storage unit corresponding to the imaging condition closest to the predetermined imaging condition of the face image data is selected (S501).
  • the feature amount data classification unit 100 refers to the sub feature amount data storage unit 61;! To 61 n, and the face image data registered in the face image data registration unit 30 is Among the plurality of sub-feature data storage units 61;! To 61 ⁇ , the sub-feature data storage unit corresponding to the sub-image data corresponding to the face image data is determined and classified.
  • the sub-feature quantity data storage unit selection unit 110 based on the feature quantity data classified by the feature quantity data classification unit 100, out of ⁇ sub-feature quantity data storage units 61;! To 61 ⁇ Then, the sub-feature data storage unit corresponding to the imaging condition closest to the predetermined imaging condition of the face image data registered in the face image data registration unit 30 is selected. Then, the sub feature quantity data storage unit selection unit 110 inputs information on the selected sub feature quantity data storage unit to the second similarity calculation unit 70a.
  • the feature amount data classification unit 100 refers to the sub feature amount data storage unit 61;! To 61 ⁇ , and the face image data force S registered in the face image data registration unit 30 and the plurality of sub feature amount data storage units 61 ; Of 61 ⁇ 61 ⁇ , classify by determining which sub-feature data storage unit is close to the face image data To do.
  • AAM Active Appearance Model
  • AAM consists of two linear models, a shape model and a texture model, and various face variations can be expressed by assigning arbitrary parameters to the shape and texture models.
  • the shape model consists of a two-dimensional coordinate system, and the texture model is expressed as luminance information on a statistical average shape.
  • the AAM parameters that minimize the difference from the input face image are obtained, and two-dimensional position information is obtained from the shape model at that time.
  • the two-dimensional shape can be expressed by a two-dimensional projection (projection matrix P) of the three-dimensional shape.
  • P projection matrix
  • K is a weighting factor, and the larger this value, the stronger the constraint by the three-dimensional shape.
  • the 3D shape and projection matrix ie, the orientation of the face
  • the second similarity calculation unit 70a selects all feature amount data in the sub feature amount data storage unit selected by the sub feature amount data storage unit selection unit 110 and the first feature amount extraction unit 20 The degree of similarity between the feature amount data of the face image data extracted by the above is calculated.
  • the distance between the feature data is calculated (S502).
  • the threshold setting unit 80 sets a threshold for personal identification based on the similarity calculated by the second feature amount calculation unit 70a. (S205).
  • the second similarity calculation unit 70a calculates the similarity between the feature value data of the input face image data and all the feature value data stored in the selected feature value data storage unit. If not completed (S503, NO), repeat the process of S502.
  • the first similarity calculation unit 50 calculates the similarity between the input face image data and the feature amount data of the registered face image data (S206). Specifically, the first similarity calculation unit 50 calculates a plurality of feature amount data extracted by the second feature amount extraction unit 40 and feature amount data extracted by the first feature amount extraction unit 20. Calculate the distance between them.
  • the identification determination unit 90 compares the threshold set by the threshold setting unit 80 with the similarity calculated by the first similarity calculation unit 50 (S207). If the similarity calculated by the first similarity calculation unit 50 is larger than the threshold (S207, YES), the input face image data and the face image data registered in the face image data registration unit 30 are not compared. It is determined that the data is for the same person (S208). On the other hand, if the similarity calculated by the first similarity calculation unit 50 is smaller than the threshold (S207, NO), the input face image data and the face image data registered in the face image data registration unit 30 Are data of different persons (S209).
  • the feature quantity data classification unit 100 and the plurality of sub-feature quantity data storage units 61 classified by the feature quantity data classification unit 100;! To 61 ⁇ are judged based not only on the face direction.
  • Various conditions can be used. For example, the date and time when the face image data acquisition unit 10 acquired the face image, the weather information when the face image data acquisition unit 10 acquired the face image, the imaging position of the face image, and when capturing the face image
  • the installation angle, the presence / absence of accessories such as masks and sunglasses, and the lighting conditions at the imaging location can be used.
  • classification based on different imaging conditions can be performed.
  • Boosting is known as a general technique for constructing a binary discriminator (for example, determining whether or not glasses are present).
  • a strong classifier is generated by preparing a large number of weak classifiers and changing their weights.
  • a commonly used technique is adaBoost.
  • discriminators are selected sequentially. By increasing the weight of the learning data mistakenly determined by the discriminator selected immediately before, the learning is focused on the learning data.
  • the selected classifier is given a reliability ⁇ according to its error rate. The discrimination result is determined by the majority decision of the discriminator weighted with the reliability ⁇ .
  • SVM is also known as a general technique for constructing a value discriminator (for example, determining whether or not glasses are present).
  • a hyperplane that passes through the middle of the two classes is required.
  • the minimum distance between the hyperplane and the training sample is used as the evaluation function, and the hyperplane is determined to maximize this evaluation function.
  • SVM becomes a linear discriminator.
  • a nonlinear classifier can be constructed by using kernel tricks.
  • the category is classified for each illumination variation.
  • the low-dimensional element is a component of the general variation of the face. If a lot of fluctuations in the shooting environment and lighting are used as the perturbation component of this person, the main component of the distribution will show components representing changes in the shooting environment and fluctuations in lighting.
  • the input data is classified using the proximity to the distribution of data in each category.
  • the light source s can be estimated by the least square method using the average Bavr of the normal albedo matrix B (l) obtained in advance by calculating statistics.
  • image n is an input image. If the number of pixels is P, the normal albedo matrix B (l) is expressed by equation (10).
  • ⁇ is the product of the albedo of the ⁇ th pixel and the unit normal vector, as shown in Equation (11).
  • the light source s is a product of the illumination intensity and the illumination direction unit vector, as shown in the equation (12).
  • the feature amount data storage unit 61 is extracted from face image data of a plurality of persons imaged under different imaging conditions.
  • the plurality of feature quantity data includes a plurality of sub feature quantity data storage units 61 l to 61a that are classified and stored for different imaging conditions, and the second similarity calculation unit 70a includes a plurality of sub feature quantities.
  • the plurality of feature quantity data stored in the storage unit and the feature quantity data extracted by the first feature quantity extraction unit 20 are collated, and the similarity between the feature quantity data is calculated.
  • the feature quantity data storage unit is classified for each imaging condition, so even if the imaging conditions of the input face image data are diversified, it is highly accurate regardless of the imaging environment of the input face image. Personal identification is possible.
  • the feature quantity data classification unit 100b stores sub feature quantity data corresponding to the imaging condition closest to the imaging condition of the new face image data to be added among the plurality of sub feature quantity data storage units 61 ;! to 61 ⁇ . Select the part.
  • the feature amount data update determination unit 120 determines whether or not to add feature amount data of new face image data to the selected sub feature amount data storage unit. Specifically, the distance value between the feature amount data to be added and all the feature amount data in the selected sub feature amount data storage unit is calculated.
  • the feature amount data is added to the selected sub feature amount data storage unit. On the other hand, if there is a statistical outlier in the calculated distance value, the feature amount data is not added to the selected sub feature amount data storage unit.
  • the feature amount data update determination unit 120 when adding feature amount data of new face image data, the feature amount data is converted into the most appropriate sub feature amount data. It can be classified and stored in the storage unit. For example, when acquiring an input image from a moving image, the same person appears continuously. In this case, the device is configured so that the same person does not register using tracking judgment etc.!
  • the face image authentication device has the effect of being able to identify a person with high accuracy regardless of the imaging environment of the input face image, and uses face image data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

　入力される顔画像の撮像環境にかかわらず、高精度に個人識別できる顔認証装置を提供する。顔認証装置は、入力される顔画像データの特徴量データと顔画像データ登録部（３０）に登録された顔画像データの特徴量データとの間の類似度を算出する第１の類似度算出部（５０）と、特徴量データ記憶部（６０）に記憶された複数の特徴量データと第１の類似度抽出部（５０）が抽出する特徴量データとの間の類似度を算出する第２の類似度算出部（７０）と、第２の算出部（７０）が算出する類似度に基づいて、入力顔画像データと登録顔画像データとが同一人か否かを判断するための閾値を設定する閾値設定部（８０）と、閾値設定部（８０）により設定された閾値と第１の類似度算出部（７０）が算出する類似度とを比較して、入力顔画像データと登録顔画像データとが同一人のデータであるか否かを判定する識別判定部（９０）とを備えている。

Description

明 細 書
顔認証装置
関連する出願
[0001] 本出願では、 2006年 12月 13日に日本国に出願された特許出願番号 2006— 33 5508の利益を主張し、当該出願の内容は引用することによりここに組み込まれてい るあのとする。
技術分野
[0002] 本発明は、顔画像データを利用して、本人認証を行う顔認証装置に関するもので ある。
背景技術
[0003] 近年、鍵等の携帯が不要で利便性が高ぐ遺失や盗難等による不正行使の恐れも 少な!/、セキュリティ方式として、顔画像や指紋や虹彩や血管パターンとレ、つた個人の 体の一部を鍵として用いる生体認証が注目されている。中でも、顔画像を用いた認 証方法は、個別認証に必要な生体情報を登録するのに、認証対象となる人に時間 や手間をほとんどかけさせないという利点がある。すなわち、顔画像を用いた認証方 法では、指紋認証や血管パターンのように指や手を差し出させたり、虹彩認証のよう に直接眼球に光を照射したりする必要がない。したがって、認証対象となる人が生体 情報を登録するのに非協力的であっても、容易に認証を実現できる。また、顔画像を 用いた認証方法では、指紋や虹彩や血管パターンを用いた認証と比べて、認証され る側の心理的抵抗感が少な!/、とレ、う利点も有して!/、る。
[0004] 特開 2005— 316888号公報には、顔画像をモザイク化してニュートラルネットヮー クに学習させて認証を行う顔認証装置に関する技術が提案されている。ここで、ニュ ートラルネットワークとは、脳機能に見られるいくつかの特性を計算機上のシミュレ一 シヨンによって表現することを目指した数学モデルである。この従来文献に記載の技 術によれば、顔の位置 ·角度の変動や照明の変動を吸収して個人認証を行える。
[0005] また、特開 2002— 183734号公報には、登録者の使用頻度に応じて、個人認証 用の閾値を変動させて認証を行う認証装置に関する技術が提案されて!/、る。この従 来文献に記載の技術によれば、利用条件に応じて認証に用いる閾値を動的に変更 でき、利便性および安全性の向上を図ることができる。
[0006] しかしながら、特開 2005— 316888号公報に記載の技術においては、顔の位置- 角度の変動度合や照明の変動度合によっては十分に学習しきれず、実環境におけ る様々な環境変動に対応しきれないことがある。また、特開 2002— 183734号公報 に記載の技術では、登録者の利用頻度のみによって閾値を変動させているため、顔 の位置'角度の変動や照明の変動に対する措置が全く考慮されていない。
[0007] 例えば、監視カメラで取得される顔画像を顔認証装置で認証する場合、当該監視 カメラ周囲の撮像環境は時々刻々と変化する。このため、予め登録されている特定人 の顔画像の登録時の撮像環境と、同一の特定人の認証時の撮像環境とが互いに異 なっているのが、通常である。このとき、認証対象の人物とは別人であるのに、登録顔 画像の撮像環境が認証対象の入力顔画像の撮像環境に近レ、とレ、うだけで、全く別 人どうしの入力顔画像および登録顔画像が互いに類似しているものと判断されてしま うことがある。すなわち、例えば、顔認証装置に登録されている登録顔画像が、青い ネオンが光っている間に撮像されたものであるとする。これに対して、認証時の入力 顔画像が、同じ青いネオンが光っている間に撮像されたものであつたとする。この場 合、入力顔画像が登録顔画像とは別人の画像であるにもかかわらず、顔認証装置に より両面像が類似していると判断されてしまうことがあった。
発明の開示
発明が解決しょうとする課題
[0008] 本発明は、上記背景の下でなされたものであり、その目的は、入力される顔画像の 撮像環境にかかわらず、高精度に個人識別できる顔認証装置を提供することにある 課題を解決するための手段
[0009] 本発明の顔認証装置は、入力される顔画像データから特徴量データを抽出する第 1の抽出部と、所定の撮像条件下で撮像された顔画像データが登録されている顔画 像データ登録部と、顔画像データ登録部に登録されて!、る顔画像データから特徴量 データを抽出する第 2の抽出部と、第 1および第 2の抽出部がそれぞれ抽出する特徴 量データを照合して、両特徴量データ間の類似度を算出する第 1の算出部と、所定 の撮像条件と略同一の条件下で撮像された複数人の顔画像データから各々抽出さ れた複数の特徴量データが記憶された特徴量データ記憶部と、特徴量データ記憶 部に記憶された複数の特徴量データと第 1の抽出部が抽出する特徴量データとを照 合して、両特徴量データ間の類似度を算出する第 2の算出部と、第 2の算出部が算 出する類似度に基づいて、入力される顔画像データと顔画像データ登録部に登録さ れている顔画像データとが同一人のものであるか否かを判断するための閾値を設定 する閾値設定部と、閾値設定部により設定された閾値と第 1の算出部が算出する類 似度とを比較することによって、入力される顔画像データと顔画像データ登録部に登 録されている顔画像データとが同一人のデータであるか否かを判定する判定部とを 備えた構成を有している。
本発明の別の態様は、顔認証方法であり、入力される顔画像データから特徴量デ ータを抽出する第 1の抽出ステップと、所定の撮像条件下で撮像された顔画像デー タが登録されて!/、る顔画像データ登録部を参照し、前記顔画像データ登録部に登録 されている顔画像データから特徴量データを抽出する第 2の抽出ステップと、前記第 1および第 2の抽出ステップにてそれぞれ抽出される特徴量データを照合して、両特 徴量データ間の類似度を算出する第 1の算出ステップと、前記所定の撮像条件と略 同一の条件下で撮像された複数人の顔画像データから各々抽出された複数の特徴 量データが記憶された特徴量データ記憶部を参照し、前記特徴量データ記憶部に 記憶された複数の特徴量データと前記第 1の抽出ステップにて抽出される特徴量デ 一タとを照合して、両特徴量データ間の類似度を算出する第 2の算出ステップと、前 記第 2の算出ステップにて算出される類似度に基づいて、前記入力される顔画像デ ータと前記顔画像データ登録部に登録されている顔画像データとが同一人のもので あるか否かを判断するための閾値を設定する閾値設定ステップと、前記閾値設定ス テツプにて設定された閾値と前記第 1の算出ステップにて算出される類似度とを比較 することによって、前記入力される顔画像データと前記顔画像データ登録部に登録さ れている顔画像データとが同一人のデータであるか否かを判定する判定ステップとを 有する。 とを特徴とする顔認証方法。
[0011] 本発明の別の態様は顔認証プログラムであり、上記の顔認証方法の処理をコンビュ ータに実行させる。
発明の効果
[0012] 本発明は、入力される顔画像の撮像環境にかかわらず、高精度に個人識別できる とレ、う効果を有する顔認証装置を提供できる。
[0013] 以下に説明するように、本発明には他の態様が存在する。したがって、この発明の 開示は、本発明の一部の態様の提供を意図しており、ここで記述され請求される発 明の範囲を制限することは意図していない。
図面の簡単な説明
[0014] [図 1]図 1は、本発明の実施の形態 1に係る顔認証装置の構成を模式的に示すブロッ ク図
[図 2]図 2は、本発明の実施の形態に係る顔認証装置の動作フロー図
[図 3]図 3は、本発明の実施の形態 1に係る顔認証装置の原理を説明する概略図
[図 4]図 4は、本発明の実施の形態 2に係る顔認証装置の構成を模式的に示すブロッ ク図
[図 5]図 5は、本発明の実施の形態 2に係る顔認証装置の動作フロー図
符号の説明
[0015] 1 , la 顔認証装置
10 顔画像データ取得部
20 第 1の特徴量抽出部
30 顔画像データ登録部
40 第 2の特徴量抽出部
50 第 1の類似度算出部
60、 61 特徴量データ記憶部
61；!〜 61η 第 1〜第 ηの副特徴量データ記憶部
70、 70a 第 2の類似度算出部
80 閾値設定部 90 識別判定部
100、 100b 特徴量データ分類部
110 副特徴量データ記憶部選択部
120 特徴量データ更新判断部
発明を実施するための最良の形態
[0016] 以下に本発明の詳細な説明を述べる。ただし、以下の詳細な説明と添付の図面は 発明を限定するものではない。代わりに、発明の範囲は添付の請求の範囲により規 定される。
[0017] 本発明の顔認証装置は、入力される顔画像データから特徴量データを抽出する第 1の抽出部と、所定の撮像条件下で撮像された顔画像データが登録されている顔画 像データ登録部と、顔画像データ登録部に登録されて!、る顔画像データから特徴量 データを抽出する第 2の抽出部と、第 1および第 2の抽出部がそれぞれ抽出する特徴 量データを照合して、両特徴量データ間の類似度を算出する第 1の算出部と、所定 の撮像条件と略同一の条件下で撮像された複数人の顔画像データから各々抽出さ れた複数の特徴量データが記憶された特徴量データ記憶部と、特徴量データ記憶 部に記憶された複数の特徴量データと第 1の抽出部が抽出する特徴量データとを照 合して、両特徴量データ間の類似度を算出する第 2の算出部と、第 2の算出部が算 出する類似度に基づいて、入力される顔画像データと顔画像データ登録部に登録さ れている顔画像データとが同一人のものであるか否かを判断するための閾値を設定 する閾値設定部と、閾値設定部により設定された閾値と第 1の算出部が算出する類 似度とを比較することによって、入力される顔画像データと顔画像データ登録部に登 録されている顔画像データとが同一人のデータであるか否かを判定する判定部とを 備えた構成を有している。この構成により、入力される顔画像データに対応した閾値 を設定することができるので、入力される顔画像の撮像環境にかかわらず、高精度に 個人識別できる。
[0018] また、特徴量データ記憶部は、異なる撮像条件下で撮像された複数人の顔画像デ ータから各々抽出された複数の特徴量データが異なる撮像条件毎にそれぞれ分類 して記憶された複数の副特徴量データ記憶部を有してよぐ第 2の算出部は、複数の 副特徴量データ記憶部のうち、顔画像データ登録部に登録されてレ、る顔画像データ の所定の撮像条件に最も近い撮像条件に対応した副特徴量データ記憶部に記憶さ れた複数の特徴量データと第 1の抽出部が抽出する特徴量データとを照合して、両 特徴量データ間の類似度を算出してよい。この構成により、特徴量データ記憶部が 撮像条件毎に分類される。したがって、入力される顔画像データの撮像条件が多様 化しても、入力される顔画像の撮像環境にかかわらず、高精度に個人識別できる。
[0019] また、顔認証装置は、新たな顔画像データを顔画像データ登録部に登録するとき、 第 2の抽出部により抽出される新たな顔画像データの特徴量データを、複数の副特 徴量データ記憶部のうち、新たな顔画像データの撮像条件に最も近い撮像条件に 対応した副特徴量データ記憶部に記憶してよい。この構成により、新しい顔画像デ ータの特徴量データを追加する場合に、当該特徴量データを、最も適切な副特徴量 データ記憶部に分類して記憶することができる。
[0020] また、第 1の算出部は、第 1および第 2の抽出部が抽出する特徴量データの間の距 離に基づいて、両特徴量データ間の類似度を算出してよい。この構成により、第 1お よび第 2の抽出部が抽出する特徴量データの間の類似度を簡単に算出できる。
[0021] また、第 2の算出部は、特徴量データ記憶部に記憶された複数の特徴量データと 第 1の抽出部が抽出する特徴量データとの間の距離に基づいて、両特徴量データ間 の類似度を算出してよい。この構成により、第 1および第 2の抽出部が抽出する特徴 量データの間の類似度を簡単に算出できる。
[0022] また、閾値設定部は、第 2の算出部が算出する類似度の平均値および分散値に基 づいて、入力される顔画像データと登録部に登録されている顔画像データとが同一 人のものであるか否かを判断するための閾値を設定してよい。この構成により、個人 識別に適した閾値を簡単に設定できる。
[0023] (第 1の実施の形態）
以下、本発明の第 1の実施の形態（以下、実施の形態 1)に係る顔認証装置につい て、図面を用いて説明する。本実施の形態では、部屋のドアの開閉認証や携帯電話 機の使用認証等に用いられ、顔画像データを利用して本人認証を行う顔認証装置 の場合を例示する。 [0024] 図 1は、本発明の実施の形態 1に係る顔認証装置の構成を模式的に示すブロック 図である。
[0025] 図 1に示されるように、本発明の実施の形態 1に係る顔認証装置 1は、顔画像デー タ取得部 10と、第 1の特徴量抽出部 20と、顔画像データ登録部 30と、第 2の特徴量 抽出部 40と、第 1の類似度算出部 50と、特徴量データ記憶部 60と、第 2の類似度算 出部 70と、閾値設定部 80と、識別判定部 90とを備えて構成されている。
[0026] 顔画像データ取得部 10は、例えば、ビデオカメラやイメージスキャナーなどから入 力される顔画像データを取得する。
[0027] 第 1の特徴量抽出部 20は、顔画像データ取得部 10に入力されている顔画像デー タから特徴量データを抽出する。また、第 2の特徴量抽出部 40は、顔画像データ登 録部 30に登録されている顔画像データから特徴量データを抽出する。
[0028] 具体的には、第 1および第 2の特徴量抽出部 20、 40は、例えば、顔画像データ中 の目や鼻や口の位置などに基づいて、当該顔画像データ中の顔領域を一定の大き さおよび形状に切り出し、切り出した領域全ての画素の輝度値を要素とする一次元 のベクトル Vを特徴量データに変換した特徴量データ Xを抽出する。
[0029] ここで、 Vより個人認証に適したデータ Xに変換する方法については、例えば、「Wea k urthogonalization of Pace and Perturbation, CVPR 1998， Kenji Nagao, M asaki SohmaJに記載された方法などが提案されている。
[0030] この方法は、まず、撮影条件を変えて撮影した同一人物の複数の画像を複数人分 用意し、これらの画像から一次元のベクトルを求める。そして、この方法は、同一人物 内の変動成分である摂動成分分布と、他の人物間の変動成分である個人間変動成 分分布から、それぞれの特徴ベクトル分布の共分散行列∑ 1、∑2を求め、 2つの共 分散行列∑ 1、 ∑ 2を同時に対角化する行歹 l]Lを求める。
[0031] このとき、行列 Lと共分散行列∑1、∑ 2との関係は、式（1)および式（2)のように示 される。
[数 1]
Figure imgf000010_0001
[数 2]
Figure imgf000010_0002
[0032] ここで、 Lは対角行列なので、式（1)および式（2)の Λ (1)および Λ (2)は、式（3) および式（4)に示されるように表される。
國
( /、
Figure imgf000010_0003
[数 4コ
Figure imgf000010_0004
[0033] 式（3)および式 (4)から、対角化された行列 Lの対角成分の値を用いて、下記の式
(5)に示されるように、 Γが生成される。なお、 Γの生成方法として、式（5)以外に様 々な生成方法がある。これらの生成方法が用いられて、 Γが生成されてもよい。
[数 5コ
1 1
T = diag[( l (l)Ai (2)) 2, ( (1) (2)) 2,〜.. ] . . . (5)
[0034] そして、切り出した領域全ての画素の輝度値を要素とする一次元ベクトル Vに、下記 の式（6)に示される行列 Ψをかける。このかけ算は、 χ=Ψ·νである。これにより、ベタ トル Vを、個人識別に適した特徴量に変換できる。行列 Ψは式（6)に示されるように、 Γおよび対角行列 Lから得られる。 [数 6]
Figure imgf000011_0001
[0035] 以上のようにして、第 1および第 2の特徴量抽出部 20、 40は、顔画像データ中の目 や鼻や口の位置などに基づいて、当該顔画像データ中の顔領域を一定の大きさお よび形状に切り出し、個人認証に適したデータに変換することにより、特徴量データ を抽出する。
[0036] 顔画像データ登録部 30には、所定の撮像条件下で撮像された顔画像データが予 め登録されている。
[0037] 第 1の類似度算出部 50は、第 1および第 2の特徴量抽出部 20、 40がそれぞれ抽 出する特徴量データを照合して、両特徴量データ間の類似度を算出する。具体的に は、第 1の類似度算出部 50は、第 1および第 2の特徴量抽出部 20、 40がそれぞれ 抽出する特徴量データを照合して、両特徴量データ間の類似度を算出する。類似度 としては、両特徴量間の距離が算出される。すなわち第 1の類似度算出部 50は、第 1 および第 2の特徴量抽出部 20、 40がそれぞれ抽出する特徴量データの要素の系列 を一次元ベクトルとみなして、両ベクトル間の距離を算出する。両ベクトル間の距離の 算出方法には、例えば、特徴量ベクトル間の差分の L1ノルムゃ L2ノルムを用いる方 法がある。また例えば、特徴量ベクトル間の相関値を用いる方法がある。これら方法 を用いること力 Sできる。このように、両特徴量間の距離を第 1および第 2の抽出部が抽 出する特徴量データの間の距離を算出することにより、両特徴量データ間の類似度 を簡単に算出できる。
[0038] 特徴量データ記憶部 60は、顔画像データ登録部 30に登録されて!/、る顔画像デー タの撮像条件と略同一の条件下で撮像された複数人の顔画像データから各々抽出 された複数の特徴量データを記憶して!/、る。この特徴量データ記憶部 60に記憶され ている複数の特徴量データは、互いに異なる人物の顔画像データからそれぞれ抽出 されたものである。なお、特徴量データ記憶部 60に記憶されている複数の特徴量デ ータは、例えば、第 2の特徴量抽出部 40により抽出されている。但し、これに限定さ れず、第 1の特徴量抽出部 20により、複数の特徴量データを抽出してもよい。また、 予め複数の特徴量データを互いに異なる人物の顔画像データから抽出してから、当 該複数の特徴量データを特徴量データ記憶部 60に記憶してもよい。
[0039] 第 2の類似度算出部 70は、特徴量データ記憶部 60に記憶された複数の特徴量デ ータと、第 1の特徴量抽出部 20が抽出する特徴量データとを照合して、両特徴量デ ータ間の類似度を算出する。具体的には、第 2の類似度算出部 70は、特徴量データ 記憶部 60に記憶された複数の特徴量データと、第 1の特徴量抽出部 20が抽出する 特徴量データとを照合して、両特徴量データ間の類似度を算出する。ここでも、類似 度として、両特徴量間の距離が算出される。第 1および第 2の抽出部が抽出する特徴 量データの間の距離を算出することにより、両特徴量データ間の類似度を式（7)に 示されるように算出できる。
[数 7] 類似度二 1 / ( 1 +距離） · · · （ 7 ) 例えば、特徴量データ記憶部 60に N人分の特徴量データが記憶されて!/、る場合 には、 N個分の特徴量間の距離が第 2の類似度算出部 70により算出される。
[0040] 閾値設定部 80は、第 2の類似度算出部 70により算出される複数の特徴量データに 基づいて、個人識別に適した閾値を設定する。すなわち、閾値設定部 80は、第 2の 類似度算出部 70が算出する類似度に基づいて、入力される顔画像データと顔画像 データ登録部 30に登録されている顔画像データとが同一人のものであるか否かを判 断するための閾値を設定する。
[0041] ここで、特徴量データ記憶部 60に、認証対象であって、顔画像データ取得部 10に 入力される顔画像データに対応する人物の特徴量データが記憶されている場合を 想定する。この場合は、まず、第 2の類似度算出部 70により算出された N個の特徴量 間の類似度のうちで、最大値を除いた (N—1)個の特徴量間の類似度が用意される 。このように、 N個の特徴量間の類似度のうち、最大値を除くことによって、同一人の 顔画像データ間の類似度を予め除去することができる。 [0042] 次に、閾値設定部 80は、（N—1)個の特徴量間の類似度が正規分布をなすと仮定 して、（N— 1)個の特徴量間の類似度から平均値および分散値を算出する。この結 果に基づいて、閾値設定部 80は、認証対象であって顔画像データ取得部 10に入力 される顔画像データと、特徴量データ記憶部 60に記憶されて!/、る複数の他人の顔画 像データとの間の類似度に現れる確率を算出する。そして、許容できる他人受入率 に合わせて、個人識別に適した閾値が設定される。なお、（N— 1)個の特徴量間の 類似度から算出される平均値および分散値を用いることにより、個人識別に適した閾 値を簡単に設定できる。
[0043] 識別判定部 90は、閾値設定部 80により設定された閾値と第 1の類似度算出部 50 が算出する類似度とを比較することによって、入力される顔画像データと顔画像デー タ登録部 30に登録されている顔画像データとが同一人のものであるか否かを判定す
[0044] 次に、以上のように構成された本発明の実施の形態 1に係る顔認証装置 1について 、図に基づいて、その動作を説明する。図 2は、本発明の実施の形態に係る顔認証 装置の動作フロー図である。
[0045] 図 2に示されるように、まず、カメラやスキャナ一等から入力される顔画像データが、 顔画像データ取得部 10により取得される（S201)。次に、顔画像データ取得部 10に より取得された顔画像データから特徴量が抽出される（S202)。次に、第 2の類似度 算出部 70が、特徴量データ記憶部 60内に記憶されている複数の特徴量データと、 入力される顔画像データの特徴量データとを照合して、両特徴量データ間の類似度 を算出する。ここでは、両特徴量データ間の特徴量の類似度が算出される（S203)。
[0046] 次に、第 2の類似度算出部 70が、特徴量データ記憶部 60内に記憶されている全 ての特徴量データに対して、入力される顔画像データの特徴量データとの間の類似 度の算出を完了した場合（S204、 YES)、閾値設定部 80が、第 2の特徴量算出部 7 0により算出された類似度に基づいて、個人識別のための閾値を設定する（S205)。 第 2の類似度算出部 70が、特徴量データ記憶部 60内に記憶されている全ての特徴 量データに対して、入力される顔画像データの特徴量データとの間の類似度の算出 を完了しない場合（S204、 NO)、 S203の処理を繰り返す。 [0047] 次に、第 1の類似度算出部 50が、入力される顔画像データおよび登録されている 顔画像データの特徴量データ間の類似度を算出する（S206)。具体的には、第 1の 類似度算出部 50が、第 1の特徴量抽出部 20が抽出する特徴量データと、顔画像デ ータ登録部 30に登録された顔画像より第 2の特徴量抽出部 40によって抽出された 特徴量データを照合して、両特徴量データ間の類似度を算出する。
[0048] 次に、識別判定部 90が、閾値設定部 80により設定された閾値と第 1の類似度算出 部 50が算出する類似度を比較する（S207)。そして、第 1の類似度算出部 50が算出 する類似度が閾値より大きい場合（S207)、入力される顔画像データと顔画像データ 登録部 30に登録されている顔画像データとが同一人のデータであると判定する（S2 08)。一方、第 1の類似度算出部 50が算出する類似度が閾値より小さい場合（S207 )、入力される顔画像データと顔画像データ登録部 30に登録されている顔画像デー タとが異なる人物のデータであると判定する（S209)。
[0049] 次に、本発明の実施の形態 1に係る顔認証装置の原理について、図に基づいて具 体的に説明する。図 3は、本発明の実施の形態 1に係る顔認証装置の原理を説明す る概略図である。
[0050] 図 3に示されるように、顔画像データ取得部 10に入力される顔画像データの入力 顔画像 201、 202と、顔画像データ登録部 30に登録されている顔画像データの登録 顔画像 203に対応する人物は全て同一人物であると仮定する。ここで、入力顔画像 201と登録顔画像 203は照明の明るさや方向などが大きく異なる撮像環境で撮影さ れており、入力顔画像 202と登録顔画像 203は近い撮像環境で撮影されているもの とする。
[0051] 一般に顔認証では、撮像環境がより近い顔画像間の方が、同一人物であることを 示す類似度がより高くなりやすい。したがって、入力顔画像 202と登録顔画像 203と の間で認証を行った場合の方が、入力顔画像 201と登録顔画像 203との間で認証を 行った場合よりも類似度が高くなる傾向にある。また、異なる人物間の類似度算出に おいても、大きく異なる撮像環境で撮影された顔画像間では類似度が低ぐ近い撮 像環境で撮影された顔画像間では類似度が高い傾向にある。このように、入力顔画 像の撮像環境の違いによって類似度の現れ方が異なることから、類似度が低くなる 傾向のときは低い閾値を設定し、類似度が高くなる傾向のときは高い閾値を設定する 必要がある。
[0052] そこで、本発明の実施の形態 1に係る顔画像認証装置 1では、予め登録顔画像 20 3と同じ撮像環境で撮影された複数の人物の顔画像 204を用意して、これらの複数 人の顔画像の特徴量データを特徴量データ記憶部 60に記憶して!/、る。図 3の特徴 量データ記憶部 60内に、登録顔画像 203と同じ撮像環境で撮影された複数の顔画 像 204を模式的に示している。この特徴量データ記憶部 60内の複数の顔画像 204 のそれぞれの特徴量データと入力顔画像の特徴量データとの間の類似度が第 2の 類似度算出部 70により算出されることによって、類似度の分布も取得できる。
[0053] 例えば、登録顔画像 203の撮像環境と異なる撮像環境で撮影された入力顔画像 2 01の特徴量データと、特徴量データ記憶部 60内に記憶されている複数の顔画像 20 4の特徴量データとの間の類似度は低い傾向となる。一方、登録顔画像 203の撮像 環境と近い撮像環境で撮影された入力顔画像 202の特徴量データと、特徴量デー タ記憶部 60内に記憶されている複数の顔画像 204の特徴量データとの間の類似度 は高い傾向となる。
[0054] そして、第 2の類似度算出部 50により算出された類似度の分布に合わせて、閾値 を設定する。このようにすることにより、類似度が低くなる傾向のときは低い閾値を設 定でき、類似度が高くなる傾向のときは高い閾値を設定でき、入力される顔画像の撮 像環境にかかわらず、高精度に個人識別できる。
[0055] このような本発明の実施の形態 1に係る顔認証装置 1によれば、顔画像データ登録 部 30に登録されている顔画像データの撮像条件と略同一の条件下で撮像された複 数人の顔画像データから各々抽出された複数の特徴量データが記憶された特徴量 データ記憶部 60と、特徴量データ記憶部 60に記憶された複数の特徴量データと第 1の抽出部 50が抽出する特徴量データとを照合して、両特徴量データ間の類似度を 算出する第 2の類似度算出部 70と、第 2の類似度算出部 70が算出する類似度に基 づいて、入力される顔画像データと顔画像データ登録部 30に登録されている顔画像 データとが同一人のものであるか否かを判断するための閾値を設定する閾値設定部 80とを設けている。このように構成することにより、入力される顔画像データに対応し た閾値を設定することができ、入力される顔画像の撮像環境にかかわらず、高精度 に個人識別できる。
[0056] (第 2の実施の形態）
以下、第 2の実施の形態（以下、実施の形態 2)に係る顔認証装置について、図面 を用いて説明する。図 4は、本発明の実施の形態 2に係る顔認証装置の構成を模式 的に示すブロック図である。
[0057] 図 1に示されるように、本発明の実施の形態 1に係る顔画像認証装置 1では、特徴 量データ記憶部 60は副特徴量データ記憶部を有していない。これに対し、図 4に示 されるように、本発明の実施の形態 2に係る顔画像認証装置 laでは、特徴量データ 記憶部 61は複数の副特徴量データ記憶部 61；!〜 6 Inを有しており、この点で実施 の形態 1と相違する。
[0058] また、図 4に示されるように、本発明の実施の形態 2に係る顔画像認証装置 laでは 、特徴量データ分類部 100、 100b,副特徴量データ記憶部選択部 110および特徴 量データ更新部 120を備えて!/、る点で、本発明の実施の形態 1に係る顔画像認証装 置 1と異なる。
[0059] 図 4に示されるように、本発明の実施の形態 2に係る顔認証装置 laは、顔画像デー タ取得部 10と、第 1の特徴量抽出部 20と、顔画像データ登録部 30と、第 2の特徴量 抽出部 40と、第 1の類似度算出部 50と、特徴量データ記憶部 61と、複数の副特徴 量データ記憶部 611〜61nと、第 2の類似度算出部 70aと、閾値設定部 80と、識別 判定部 90と、特徴量データ分類部 100、 100bと、副特徴量データ記憶部選択部 11 0と、特徴量データ更新判断部 120とを備えて構成されている。なお、特徴量データ 分類部 100および 100bの機能は、後述するように同一である。
[0060] 図 4に示されるように、特徴量データ記憶部 61は、複数の副特徴量データ記憶部 6 1；!〜 6 Inを有している。複数の副特徴量データ記憶部 61；!〜 6 Inには、異なる撮像 条件下で撮像された複数人の顔画像データから各々抽出された複数の特徴量デー タが上記異なる撮像条件毎にそれぞれ分類して記憶されている。
[0061] ここでは、例えば、特徴量データ記憶部 61は、 n個の副特徴量データ記憶部 611 〜61nを有しているものとする。これら特徴量データ記憶部 61；!〜 61ηは、例えば、 正面、上向き、下向き、左向き、右向きといった分類で顔の向きごとに分類されている
〇
[0062] 第 2の類似度算出部 70aは、複数の副特徴量データ記憶部 61；!〜 61ηのうち、顔 画像データ登録部 30に登録されている顔画像データの所定の撮像条件に最も近い 撮像条件に対応した副特徴量データ記憶部に記憶された複数の特徴量データと第 1の特徴量抽出部 20が抽出する特徴量データとを照合して、両特徴量データ間の 類似度を算出する。
[0063] 特徴量データ分類部 100は、複数の副特徴量データ記憶部 61；!〜 61ηを参照し、 顔画像データ登録部 30に登録されて!/、る顔画像データが、どの副特徴量データ記 憶部に対応した顔画像データに近いかを判定して分類する。例えば、入力される顔 画像データの向きが、正面、上向き、下向き、左向き、右向きのどの分類に属するか を判定する。
[0064] 副特徴量データ記憶部選択部 110は、複数の副特徴量データ記憶部 61；!〜 61η 、第 2の類似度算出部 70aおよび特徴量データ分類部 100に接続されている。副特 徴量データ記憶部選択部 110は、特徴量データ分類部 100による分類結果に従つ て、複数の副特徴量データ記憶部 61；!〜 61ηのうち、顔画像データ登録部 30に登 録されて!/、る顔画像データの所定の撮像条件に最も近レ、撮像条件に対応した副特 徴量データ記憶部を選択する。
[0065] 特徴量データ更新判断部 120は、複数の副特徴量データ記憶部 611〜61η、第 1 の特徴量抽出部 20および特徴量データ分類部 100bの出力に接続されている。特 徴量データ分類部 100bは、特徴量データ分類部 100と同じように、顔画像データ取 得部 10が取得した顔画像データが副特徴量データ記憶部 61；!〜 61ηのどれに対応 するのかを分類する。特徴量データ更新判断部 120は、特徴量データ分類部 100b の分類結果に基づき、第 1の特徴量抽出部 20が抽出する特徴量データを用いて、 複数の特徴量データ記憶部 61；!〜 6 Inに記憶されている特徴量データを更新する。 すなわち、特徴量データ更新判断部 120は、新たな顔画像データが入力されたとき に、第 1の類似度抽出部 20により抽出される新たな顔画像データの特徴量データを 、複数の副特徴量データ記憶部 611〜61nのうち、新たな顔画像データの撮像条件 に最も近い撮像条件に対応した副特徴量データ記憶部に記憶する。このようにして、 特徴量データ更新判断部 120は、特徴量データ記憶部 61内の各データを更新する
〇
[0066] 次に、以上のように構成された本発明の実施の形態 2に係る顔認証装置 laについ て、図に基づいて、その動作を説明する。図 5は、本発明の実施の形態 2に係る顔認 証装置の動作フロー図である。図 2と図 5は、 S501カ追カロされ、 S502力 S203に代 えて追加され、 S503が S204に代えて追加されている点で相違する。
[0067] 図 5に示されるように、まず、カメラやスキャナ一等から入力される顔画像データが、 顔画像データ取得部 10により取得される（S201)。次に、顔画像データ取得部 10に より取得された顔画像データから、特徴量が抽出される（S202)。
[0068] 次に、副特徴量データ記憶部選択部 110が、特徴量データ記憶部 61内の複数の 副特徴量データ記憶部 61；!〜 61ηのうち、顔画像データ登録部 30に登録されてい る顔画像データの所定の撮像条件に最も近い撮像条件に対応した副特徴量データ 記憶部を選択する（S501)。
[0069] 具体的には、まず、特徴量データ分類部 100が、副特徴量データ記憶部 61；!〜 61 nを参照し、顔画像データ登録部 30に登録されている顔画像データが、複数の副特 徴量データ記憶部 61；!〜 61ηのうち、どの副特徴量データ記憶部に対応した顔画像 データに近いかを判定して分類する。
[0070] そして、副特徴量データ記憶部選択部 110は、特徴量データ分類部 100により分 類された特徴量データに基づいて、 η個の副特徴量データ記憶部 61；!〜 61ηのうち 、顔画像データ登録部 30に登録されて!/、る顔画像データの所定の撮像条件に最も 近い撮像条件に対応した副特徴量データ記憶部を選択する。そして、副特徴量デー タ記憶部選択部 110は、選択した副特徴量データ記憶部に関する情報を第 2の類似 度算出部 70aに入力する。
[0071] ここで、特徴量データ分類部 100の動作について具体的に説明する。特徴量デー タ分類部 100は、副特徴量データ記憶部 61；!〜 61ηを参照し、顔画像データ登録部 30に登録されている顔画像データ力 S、複数の副特徴量データ記憶部 61；!〜 61ηの うち、どの副特徴量データ記憶部に対応した顔画像データに近いかを判定して分類 する。
[0072] 複数の副特徴量データ記憶部 61；!〜 61nが顔の向きによって分類されている場合 、例えば、「Real- Time Combined 2D+3D Active Appearance Models J. Xiao, S. Baker, I. Matthews, and T. anade Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, June, 2004」に記載された方法 などにより、顔の向きを求めることが可能である。
[0073] ここでは、 AAM(Active Appearance Model)による、 2次元形状、 3次元形状及び顔 向き推定方法にっレ、て説明する。 AAMは形状モデルとテクスチャモデルの 2つの線 形モデルからなり、形状とテクスチャモデルに任意のパラメータを与えることで様々な 顔の変動を表現できる。形状モデルは 2次元の座標系からなり、テクスチャモデルは 統計的な平均形状上の輝度情報として表現されている。 AAMを用いた特徴点検出 では、入力顔画像との差が最も小さくなる AAMのパラメータを求め、そのときの形状 モデルより 2次元の位置情報を取得する。
[0074] このとき、 2次元形状は、 3次元形状の 2次元投影（投影行列 P)で表現できる。入力 顔画像に一致する AAMを求める際に、 3次元形状によるこの拘束条件を加えると、式 (8)のようになる。ただし、 Iを入力顔画像とし、 s2Dを 2次元モデルとし、 s3Dを 3次元 形状 ^
[数 8]
∑[ W - AAM(x)]2 + K[s2D― Ps3D J2 ( 8 )
[0075] ここで、 Kは重み係数であり、この値がより大きいほど 3次元形状による拘束が強ま る。式 (8)を最小とするパラメータを求めると、特徴点位置と同時に、 3次元形状と投影 行列（すなわち、顔の向き）を求めることができる。
[0076] 次に、第 2の類似度算出部 70aが、副特徴量データ記憶部選択部 110により選択 された副特徴量データ記憶部内の全ての特徴量データと第 1の特徴量抽出部 20に より抽出された顔画像データの特徴量データとの間の類似度を算出する。ここでは両 特徴量データ間の距離 が算出される（S502)。 [0077] 次に、第 2の類似度算出部 70aが、選択された副特徴量データ記憶部内に記憶さ れている全ての特徴量データに対して、入力される顔画像データの特徴量データと の間の類似度の算出を完了した場合（S503、 YES)、閾値設定部 80が、第 2の特徴 量算出部 70aにより算出された類似度に基づいて、個人識別のための閾値を設定す る（S205)。第 2の類似度算出部 70aが、選択された特徴量データ記憶部内に記憶 されている全ての特徴量データに対して、入力される顔画像データの特徴量データ との間の類似度の算出を完了しない場合（S503、 NO)、 S502の処理を繰り返す。
[0078] 次に、第 1の類似度算出部 50が、入力される顔画像データおよび登録されている 顔画像データの特徴量データ間の類似度を算出する（S206)。具体的には、第 1の 類似度算出部 50が、第 2の特徴量抽出部 40により抽出された複数の特徴量データ と、第 1の特徴量抽出部 20が抽出する特徴量データとの間の距離を算出する。
[0079] 次に、識別判定部 90が、閾値設定部 80により設定された閾値と第 1の類似度算出 部 50が算出する類似度とを比較する（S207)。そして、第 1の類似度算出部 50が算 出する類似度が閾値より大きい場合（S207、 YES)、入力される顔画像データと顔 画像データ登録部 30に登録されている顔画像データとが同一人のデータであると判 定する（S208)。一方、第 1の類似度算出部 50が算出する類似度が閾値より小さい 場合（S207、 NO)、入力される顔画像データと顔画像データ登録部 30に登録され てレ、る顔画像データとが異なる人物のデータであると判定する（S209)。
[0080] なお、特徴量データ分類部 100および特徴量データ分類部 100によって分類され る複数の副特徴量データ記憶部 61；!〜 61ηを分類する判定基準には、顔の向きだ けではなぐ各種の条件を用いることができる。例えば、顔画像データ取得部 10が顔 画像を取得した日時や、顔画像データ取得部 10が顔画像を取得したときの天気情 報や、顔画像の撮像位置や、顔画像を撮像する際の設置角や、マスク、サングラス 等のアクセサリーの有無や、撮像場所における照明状況等を用いることができる。そ して、このような撮影条件に関して、互いに異なる撮像条件等を基準とする分類がで きる。
[0081] マスクやサングラスや眼鏡といった顔の向きによって分類されている場合、顔上に アクセサリーが存在するか否かを、例えば、 Boostingや SVM (Support Vector Machi ne)を用いて判定できる。
[0082] Boostingは、 2値の判別器 (例えば眼鏡の有無を判定)を構築する一般的な手法とし て知られている。多数の弱い判別器を用意し、それぞれの重みを変化させることによ り、強い分類器が生成される。よく用いられる手法として adaBoostが挙げられる。 adaB oostでは逐次的に判別器が選択される。一つ前に選択された判別器で、間違えて判 別された学習データの重みを、増加させることにより、その学習データに対して重点 的に学習が行われる。選択された判別器はその誤り率に応じて信頼度 αが与えられ る。判別結果は、信頼度 αで重み付けされた判別器の多数決によって決まる。
[0083] また、 SVMも、値の判別器 (例えば眼鏡の有無を判定)を構築する一般的な手法とし て知られている。 2クラスの分類問題を解くために、 2つのクラスの真ん中を通る超平 面が求められる。これを実現するために、超平面と訓練サンプルとの最小距離が評 価関数として用いられ、この評価関数を最大にするように超平面が決定される。この ままでは SVMは線形な判別器となる。しかし、カーネルトリックを用いることによって非 線形な判別器を構成できる。
[0084] また、複数の副特徴量データ記憶部 61；!〜 61ηが照明環境によって分類されてい る場合、照明変動毎にカテゴリが分類される。具体的には、例えば、「Weak Orthogo nalization or Face and Perturbation, し VPR 1998， enji Nagao, MasaKi Soh majに記載された特徴量生成方法において、低次元の要素は、顔の一般的な変動 の成分となる。本人間の摂動成分として、撮影環境や照明の当たり方の変動を多く用 いると、その分布の主成分には、撮影環境の変化や照明変動を表す成分が表れる。 この基底ベクトルを用いて部分空間を構築すると、主として照明変動を示す部分空 間が得られる。この部分空間内で、各カテゴリのデータの分布への近さを用いて入力 データが分類される。
[0085] また、次に示すように、照明の方向と強度を明示的に推定する手法を用いることが できる。式（9)に示されるように、予め統計量算出で求めた法線アルべド行列 B (l)の 平均 Bavrを用いて、最小二乗法により、光源 sを推定できる。
[数 9] s = B r 1+i = ( vB avr B avr 'y ' 'B avr i · · · { ( 9、 av )
[0086] この推定した光源 sを用いると、容易に照明方向による分類が可能となる。ここで、 画像 nは入力画像である。その画素数を Pとすると、法線アルべド行列 B(l)は式（10) によって表される。
[数 10]
Γ)( ) ） ） (/)\
Β 二 (η、 ,..., ?Ρ ) , 、
1 ' 2 ' , ρ ノ · · · （ 1 0 )
[0087] ここで、 ηρは式（11)に示されるように、 ρ番目の画素のアルべドと単位法線ベクトル の積である。
[数 11] ηρ = (η η ' ,η
Ρ ? p , ρ Υ · · · ( 1 1 )
[0088] また、光源 sは式（12)に示されるように、照明強度と照明方向単位ベクトルの積で ある。
[数 12]
Λ" ' *" V ? Z * ( 1 2 )
[0089] このような本発明の実施の形態 2に係る顔認証装置 laによれば、特徴量データ記 憶部 61は、異なる撮像条件下で撮像された複数人の顔画像データから各々抽出さ れた複数の特徴量データが異なる撮像条件毎にそれぞれ分類して記憶された複数 の副特徴量データ記憶部 61 l〜61aを有し、第 2の類似度算出部 70aは、複数の副 特徴量データ記憶部 61；!〜 61ηのうち、顔画像データ登録部 30に登録されている 顔画像データの所定の撮像条件に最も近い撮像条件に対応した副特徴量データ記 憶部に記憶された複数の特徴量データと第 1の特徴量抽出部 20が抽出する特徴量 データとを照合して、両特徴量データ間の類似度を算出する。これにより、特徴量デ ータ記憶部が撮像条件毎に分類されるので、入力される顔画像データの撮像条件 が多様化しても、入力される顔画像の撮像環境にかかわらず、高精度に個人識別で きる。
[0090] 次に、特徴量データ記憶部 61のデータ更新方法について、具体的に説明する。ま ず、特徴量データ分類部 100bが、複数の副特徴量データ記憶部 61；!〜 61ηのうち 、追加する新たな顔画像データの撮像条件に最も近い撮像条件に対応した副特徴 量データ記憶部を選択する。次に、特徴量データ更新判断部 120が、選択された副 特徴量データ記憶部に、新たな顔画像データの特徴量データを追加するか否かを 判断する。具体的には、追加したい特徴量データと、選択された副特徴量データ記 憶部内の全ての特徴量データとの間の距離値を算出する。
[0091] そして、算出された距離値中に統計的に外れ値が存在しない場合、当該特徴量デ ータを、選択された副特徴量データ記憶部に追加する。一方、算出された距離値中 に統計的な外れ値が存在した場合、当該特徴量データを、選択された副特徴量デ ータ記憶部に追加しない。
[0092] このようにして、特徴量データ更新判断部 120を設けたことにより、新しい顔画像デ ータの特徴量データを追加する場合に、当該特徴量データを、最も適切な副特徴量 データ記憶部に分類して記憶することができる。なお、例えば、動画像から入力画像 を取得する場合、同一人物が連続して現れる。この場合、追跡判定などを用いて、同 じ人物は登録しな!/、ように装置が構成されてレ、る。
[0093] 以上に現時点で考えられる本発明の好適な実施の形態を説明した力 本実施の形 態に対して多様な変形が可能なことが理解され、そして、本発明の真実の精神と範 囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図されてい 産業上の利用可能性
[0094] 以上のように、本発明にかかる顔画像認証装置は、入力される顔画像の撮像環境 にかかわらず、高精度に個人識別できるという効果を有し、顔画像データを利用して 本人認証を行う顔認証装置等として有用である

Claims

請求の範囲
[1] 入力される顔画像データから特徴量データを抽出する第 1の抽出部と、
所定の撮像条件下で撮像された顔画像データが登録されている顔画像データ登 録部と、
前記顔画像データ登録部に登録されている顔画像データから特徴量データを抽出 する第 2の抽出部と、
前記第 1および第 2の抽出部がそれぞれ抽出する特徴量データを照合して、両特 徴量データ間の類似度を算出する第 1の算出部と、
前記所定の撮像条件と略同一の条件下で撮像された複数人の顔画像データから 各々抽出された複数の特徴量データが記憶された特徴量データ記憶部と、 前記特徴量データ記憶部に記憶された複数の特徴量データと前記第 1の抽出部 が抽出する特徴量データとを照合して、両特徴量データ間の類似度を算出する第 2 の算出部と、
前記第 2の算出部が算出する類似度に基づいて、前記入力される顔画像データと 前記顔画像データ登録部に登録されている顔画像データとが同一人のものであるか 否かを判断するための閾値を設定する閾値設定部と、
前記閾値設定部により設定された閾値と前記第 1の算出部が算出する類似度とを 比較することによって、前記入力される顔画像データと前記顔画像データ登録部に 登録されている顔画像データとが同一人のデータであるか否かを判定する判定部と を備えたことを特徴とする顔認証装置。
[2] 前記特徴量データ記憶部は、異なる撮像条件下で撮像された複数人の顔画像デ ータから各々抽出された複数の特徴量データが前記異なる撮像条件毎にそれぞれ 分類して記憶された複数の副特徴量データ記憶部を有し、
前記第 2の算出部は、前記複数の副特徴量データ記憶部のうち、前記顔画像デー タ登録部に登録されて!/、る顔画像データの前記所定の撮像条件に最も近レ、撮像条 件に対応した副特徴量データ記憶部に記憶された複数の特徴量データと前記第 1 の抽出部が抽出する特徴量データとを照合して、両特徴量データ間の類似度を算 出する請求項 1に記載の顔認証装置。
[3] 新たな顔画像データを前記顔画像データ登録部に登録するとき、前記第 2の抽出 部により抽出される前記新たな顔画像データの特徴量データを、前記複数の副特徴 量データ記憶部のうち、前記新たな顔画像データの撮像条件に最も近い撮像条件 に対応した副特徴量データ記憶部に記憶する請求項 2に記載の顔認証装置。
[4] 前記第 1の算出部は、前記第 1および第 2の抽出部が抽出する特徴量データの間 の距離に基づいて、両特徴量データ間の類似度を算出する請求項 1に記載の顔認 証装置。
[5] 前記第 2の算出部は、前記特徴量データ記憶部に記憶された複数の特徴量デー タと前記第 1の抽出部が抽出する特徴量データとの間の距離に基づいて、両特徴量 データ間の類似度を算出する請求項 1に記載の顔認証装置。
[6] 前記閾値設定部は、前記第 2の算出部が算出する前記類似度の平均値および分 散値に基づいて、前記入力される顔画像データと前記登録部に登録されている顔画 像データとが同一人のものであるか否かを判断するための閾値を設定する請求項 1 に記載の顔認証装置。
[7] 入力される顔画像データから特徴量データを抽出する第 1の抽出ステップと、 所定の撮像条件下で撮像された顔画像データが登録されている顔画像データ登 録部を参照し、前記顔画像データ登録部に登録されて!、る顔画像データから特徴量 データを抽出する第 2の抽出ステップと、
前記第 1および第 2の抽出ステップにてそれぞれ抽出される特徴量データを照合し て、両特徴量データ間の類似度を算出する第 1の算出ステップと、
前記所定の撮像条件と略同一の条件下で撮像された複数人の顔画像データから 各々抽出された複数の特徴量データが記憶された特徴量データ記憶部を参照し、 前記特徴量データ記憶部に記憶された複数の特徴量データと前記第 1の抽出ステツ プにて抽出される特徴量データとを照合して、両特徴量データ間の類似度を算出す る第 2の算出ステップと、
前記第 2の算出ステップにて算出される類似度に基づいて、前記入力される顔画 像データと前記顔画像データ登録部に登録されている顔画像データとが同一人のも のであるか否かを判断するための閾値を設定する閾値設定ステップと、 前記閾値設定ステップにて設定された閾値と前記第 1の算出ステップにて算出され る類似度とを比較することによって、前記入力される顔画像データと前記顔画像デー タ登録部に登録されている顔画像データとが同一人のデータであるか否かを判定す る判定ステップとを有することを特徴とする顔認証方法。
[8] 入力される顔画像データから特徴量データを抽出する第 1の抽出ステップと、 所定の撮像条件下で撮像された顔画像データが登録されている顔画像データ登 録部を参照し、前記顔画像データ登録部に登録されて!、る顔画像データから特徴量 データを抽出する第 2の抽出ステップと、
前記第 1および第 2の抽出ステップにてそれぞれ抽出される特徴量データを照合し て、両特徴量データ間の類似度を算出する第 1の算出ステップと、
前記所定の撮像条件と略同一の条件下で撮像された複数人の顔画像データから 各々抽出された複数の特徴量データが記憶された特徴量データ記憶部を参照し、 前記特徴量データ記憶部に記憶された複数の特徴量データと前記第 1の抽出ステツ プにて抽出される特徴量データとを照合して、両特徴量データ間の類似度を算出す る第 2の算出ステップと、
前記第 2の算出ステップにて算出される類似度に基づいて、前記入力される顔画 像データと前記顔画像データ登録部に登録されている顔画像データとが同一人のも のであるか否かを判断するための閾値を設定する閾値設定ステップと、
前記閾値設定ステップにて設定された閾値と前記第 1の算出ステップにて算出され る類似度とを比較することによって、前記入力される顔画像データと前記顔画像デー タ登録部に登録されている顔画像データとが同一人のデータであるか否かを判定す る判定ステップとをコンピュータに実行させることを特徴とする顔認証プログラム。
PCT/JP2007/073855 2006-12-13 2007-12-11 顔認証装置 WO2008072622A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US12/517,916 US8320643B2 (en) 2006-12-13 2007-12-11 Face authentication device
EP07850417.2A EP2091021A4 (en) 2006-12-13 2007-12-11 FACIAL AUTHENTICATION DEVICE
CN2007800463957A CN101558431B (zh) 2006-12-13 2007-12-11 脸认证设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006335508A JP5010905B2 (ja) 2006-12-13 2006-12-13 顔認証装置
JP2006-335508 2006-12-13

Publications (1)

Publication Number Publication Date
WO2008072622A1 true WO2008072622A1 (ja) 2008-06-19

Family

ID=39511643

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/073855 WO2008072622A1 (ja) 2006-12-13 2007-12-11 顔認証装置

Country Status (5)

Country Link
US (1) US8320643B2 (ja)
EP (1) EP2091021A4 (ja)
JP (1) JP5010905B2 (ja)
CN (1) CN101558431B (ja)
WO (1) WO2008072622A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592131A (zh) * 2011-01-06 2012-07-18 上海银晨智能识别科技有限公司 一人多照片的照片比对装置
CN110837749A (zh) * 2018-08-15 2020-02-25 北京京东金融科技控股有限公司 身份识别方法、装置、电子设备及介质
JP2020512648A (ja) * 2017-07-21 2020-04-23 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 顔画像を動的にデータベースに追加する方法及び装置、電子機器、媒体、プログラム
CN111582027A (zh) * 2020-04-01 2020-08-25 广州亚美智造科技有限公司 身份认证方法、装置、计算机设备和存储介质

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006025185A1 (ja) * 2004-08-31 2006-03-09 Matsushita Electric Industrial Co., Ltd. 監視記録装置およびその方法
US8165354B1 (en) * 2008-03-18 2012-04-24 Google Inc. Face recognition with discriminative face alignment
JP2010238181A (ja) * 2009-03-31 2010-10-21 Sogo Keibi Hosho Co Ltd 顔認証装置および顔認証方法
JP5178611B2 (ja) * 2009-04-15 2013-04-10 株式会社東芝 画像処理装置、画像処理方法及びプログラム
US20110047384A1 (en) * 2009-08-21 2011-02-24 Qualcomm Incorporated Establishing an ad hoc network using face recognition
JP5361664B2 (ja) * 2009-10-30 2013-12-04 キヤノン株式会社 画像処理装置、画像処理方法
JP4844670B2 (ja) * 2009-11-13 2011-12-28 日本ビクター株式会社 映像処理装置および映像処理方法
JP5250576B2 (ja) * 2010-02-25 2013-07-31 日本電信電話株式会社 ユーザ判定装置、方法、プログラム及びコンテンツ配信システム
JP5115763B2 (ja) * 2010-03-02 2013-01-09 Ｎｅｃソフト株式会社 画像処理装置、コンテンツ配信システム、画像処理方法、及びプログラム
JP5669082B2 (ja) 2010-04-19 2015-02-12 パナソニックＩｐマネジメント株式会社 照合装置
CN101950353A (zh) * 2010-08-17 2011-01-19 深圳市同洲电子股份有限公司 通过图像识别实现远程控制设备的方法和移动终端
CN102411578A (zh) * 2010-09-25 2012-04-11 盛乐信息技术（上海）有限公司 一种多媒体播放系统和方法
US8548206B2 (en) 2011-01-20 2013-10-01 Daon Holdings Limited Methods and systems for capturing biometric data
JP5746550B2 (ja) * 2011-04-25 2015-07-08 キヤノン株式会社 画像処理装置、画像処理方法
KR20130000828A (ko) * 2011-06-24 2013-01-03 엘지이노텍 주식회사 얼굴 피쳐 검출 방법
KR101180471B1 (ko) * 2011-09-27 2012-09-07 (주)올라웍스 한정된 메모리 환경 하에서 얼굴 인식 성능 향상을 위한 참조 얼굴 데이터베이스 관리 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
US8559684B1 (en) * 2012-08-15 2013-10-15 Google Inc. Facial recognition similarity threshold adjustment
JP6132490B2 (ja) 2012-08-20 2017-05-24 キヤノン株式会社 認証装置、認証方法、およびプログラム
JP5992276B2 (ja) * 2012-09-20 2016-09-14 株式会社東芝 人物認識装置、及び方法
JP5975293B2 (ja) * 2013-02-22 2016-08-23 富士ゼロックス株式会社 認証装置及びプログラム
US9571785B2 (en) * 2014-04-11 2017-02-14 International Business Machines Corporation System and method for fine-grained control of privacy from image and video recording devices
CN103995997B (zh) 2014-05-15 2017-09-12 华为技术有限公司 一种用户权限的分配方法和设备
JP6427973B2 (ja) * 2014-06-12 2018-11-28 オムロン株式会社 画像認識装置及び画像認識装置への特徴量データ登録方法
CN104392439B (zh) * 2014-11-13 2019-01-11 北京智谷睿拓技术服务有限公司 确定图像相似度的方法和装置
US20160140355A1 (en) * 2014-11-19 2016-05-19 Salesforce.Com, Inc. User trust scores based on registration features
KR101696602B1 (ko) * 2015-08-11 2017-01-23 주식회사 슈프리마 제스처를 이용한 생체 인증
CN105653922B (zh) * 2015-12-30 2021-03-19 联想(北京)有限公司 生物特征验证方法和电子设备
EP3423974A4 (en) 2016-03-02 2020-05-06 Tinoq Inc. SYSTEMS AND METHODS FOR EFFICIENT FACE RECOGNITION
US10728694B2 (en) 2016-03-08 2020-07-28 Tinoq Inc. Systems and methods for a compound sensor system
EP3436926A4 (en) 2016-03-30 2019-11-13 Tinoq Inc. SYSTEMS AND METHODS FOR USER DETECTION AND RECOGNITION
US10163042B2 (en) * 2016-08-02 2018-12-25 International Business Machines Corporation Finding missing persons by learning features for person attribute classification based on deep learning
WO2018116560A1 (ja) * 2016-12-21 2018-06-28 パナソニックＩｐマネジメント株式会社 照合装置及び照合方法
DE102016125356A1 (de) * 2016-12-22 2018-06-28 Bundesdruckerei Gmbh Vorrichtung zum reduzieren eines farbstichs eines gesichtsbildes
CN109145679B (zh) 2017-06-15 2020-05-12 杭州海康威视数字技术股份有限公司 一种发出预警信息的方法、装置及系统
US10803297B2 (en) 2017-09-27 2020-10-13 International Business Machines Corporation Determining quality of images for user identification
US10839003B2 (en) 2017-09-27 2020-11-17 International Business Machines Corporation Passively managed loyalty program using customer images and behaviors
US10776467B2 (en) 2017-09-27 2020-09-15 International Business Machines Corporation Establishing personal identity using real time contextual data
US10795979B2 (en) 2017-09-27 2020-10-06 International Business Machines Corporation Establishing personal identity and user behavior based on identity patterns
WO2019092927A1 (ja) * 2017-11-09 2019-05-16 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、プログラム及び情報処理方法
US10565432B2 (en) * 2017-11-29 2020-02-18 International Business Machines Corporation Establishing personal identity based on multiple sub-optimal images
JP6981265B2 (ja) 2018-01-11 2021-12-15 富士通株式会社 生体認証装置、生体認証方法、および生体認証プログラム
CN108198052B (zh) * 2018-03-02 2024-07-19 北京京东尚科信息技术有限公司 用户选购商品识别方法、装置以及智能货架系统
US10733279B2 (en) * 2018-03-12 2020-08-04 Motorola Mobility Llc Multiple-tiered facial recognition
JP6760318B2 (ja) * 2018-03-14 2020-09-23 オムロン株式会社 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム
US11087121B2 (en) 2018-04-05 2021-08-10 West Virginia University High accuracy and volume facial recognition on mobile platforms
CN108564067B (zh) * 2018-04-28 2021-07-20 深圳卡安兴科技有限公司 人脸比对的阈值确定方法及系统
US11062004B2 (en) * 2018-04-30 2021-07-13 International Business Machines Corporation Emotion-based database security
WO2020041352A1 (en) 2018-08-21 2020-02-27 Tinoq Inc. Systems and methods for member facial recognition based on context information
EP3674974B1 (en) * 2018-12-31 2024-10-09 Samsung Electronics Co., Ltd. Apparatus and method with user verification
CN111460880B (zh) * 2019-02-28 2024-03-05 杭州芯影科技有限公司 多模生物特征融合方法和系统
WO2020189133A1 (ja) * 2019-03-19 2020-09-24 日本電気株式会社 システム、クライアント装置、データ処理方法、コンピュータプログラム及び記録媒体
TWI704505B (zh) * 2019-05-13 2020-09-11 和碩聯合科技股份有限公司 人臉辨識系統、建立人臉辨識之資料之方法及其人臉辨識之方法
KR20210083026A (ko) * 2019-12-26 2021-07-06 삼성전자주식회사 생체 인식을 위한 전자 장치 및 그 방법
CN111382681B (zh) * 2020-02-28 2023-11-14 浙江大华技术股份有限公司 一种人脸注册方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183734A (ja) 2000-12-15 2002-06-28 Toshiba Corp 顔認証装置および顔認証方法
JP2003150963A (ja) * 2001-11-13 2003-05-23 Japan Science & Technology Corp 顔画像認識方法及び顔画像認識装置
JP2004046697A (ja) * 2002-07-15 2004-02-12 Omron Corp 個人認証装置
JP2005316888A (ja) 2004-04-30 2005-11-10 Japan Science & Technology Agency 顔認識システム
JP2006335508A (ja) 2005-06-01 2006-12-14 Asyst Shinko Inc 搬送台車

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3825222B2 (ja) * 2000-03-24 2006-09-27 松下電器産業株式会社 本人認証装置および本人認証システムならびに電子決済システム
GB0113263D0 (en) * 2001-05-31 2001-07-25 Univ Surrey Personal identity verification process system
EP1359536A3 (en) * 2002-04-27 2005-03-23 Samsung Electronics Co., Ltd. Face recognition method and apparatus using component-based face descriptor
JP2004110813A (ja) * 2002-08-30 2004-04-08 Victor Co Of Japan Ltd 人物認証装置
WO2005001750A2 (en) * 2003-06-30 2005-01-06 Honda Motor Co., Ltd. System and method for face recognition
JP4468756B2 (ja) * 2004-07-15 2010-05-26 ヤマハ発動機株式会社 画像の相関ベース類似度を演算する類似度演算装置、認識装置、類似度演算方法、認識方法、照合用プログラム及びそれを記録した記録媒体
EP1864245A2 (en) * 2005-03-18 2007-12-12 Philips Intellectual Property & Standards GmbH Method of performing face recognition
JP5017873B2 (ja) * 2006-02-07 2012-09-05 コニカミノルタホールディングス株式会社 個人照合装置及び個人照合方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183734A (ja) 2000-12-15 2002-06-28 Toshiba Corp 顔認証装置および顔認証方法
JP2003150963A (ja) * 2001-11-13 2003-05-23 Japan Science & Technology Corp 顔画像認識方法及び顔画像認識装置
JP2004046697A (ja) * 2002-07-15 2004-02-12 Omron Corp 個人認証装置
JP2005316888A (ja) 2004-04-30 2005-11-10 Japan Science & Technology Agency 顔認識システム
JP2006335508A (ja) 2005-06-01 2006-12-14 Asyst Shinko Inc 搬送台車

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
J. XIAO ET AL., PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, June 2004 (2004-06-01)
KENJI NAGAO; MASAKI SOHMA: "Weak Orthogonalization of Face and Perturbation", CVPR, 1998
See also references of EP2091021A4

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592131A (zh) * 2011-01-06 2012-07-18 上海银晨智能识别科技有限公司 一人多照片的照片比对装置
JP2020512648A (ja) * 2017-07-21 2020-04-23 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 顔画像を動的にデータベースに追加する方法及び装置、電子機器、媒体、プログラム
US11132581B2 (en) 2017-07-21 2021-09-28 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for face image deduplication and storage medium
US11409983B2 (en) 2017-07-21 2022-08-09 Beijing Sensetime Technology Development Co., Ltd Methods and apparatuses for dynamically adding facial images into database, electronic devices and media
CN110837749A (zh) * 2018-08-15 2020-02-25 北京京东金融科技控股有限公司 身份识别方法、装置、电子设备及介质
CN111582027A (zh) * 2020-04-01 2020-08-25 广州亚美智造科技有限公司 身份认证方法、装置、计算机设备和存储介质
CN111582027B (zh) * 2020-04-01 2024-03-22 广州亚美智造科技有限公司 身份认证方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN101558431A (zh) 2009-10-14
EP2091021A4 (en) 2013-09-04
EP2091021A1 (en) 2009-08-19
JP2008146539A (ja) 2008-06-26
CN101558431B (zh) 2012-03-07
JP5010905B2 (ja) 2012-08-29
US8320643B2 (en) 2012-11-27
US20100316265A1 (en) 2010-12-16

Similar Documents

Publication Publication Date Title
JP5010905B2 (ja) 顔認証装置
US11657525B2 (en) Extracting information from images
US11941918B2 (en) Extracting information from images
Jee et al. Liveness detection for embedded face recognition system
JP5629803B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP4743823B2 (ja) 画像処理装置、撮像装置、画像処理方法
KR100944247B1 (ko) 얼굴 인식 방법 및 시스템
CN101751551B (zh) 一种基于图像的人脸识别方法、装置、系统及设备
KR20080033486A (ko) 서포트 벡터 머신 및 얼굴 인식에 기초한 자동 생체 식별
JP2006293644A (ja) 情報処理装置、情報処理方法
Anila et al. Simple and fast face detection system based on edges
Sao et al. Face verification using template matching
Mohamed et al. Automated face recogntion system: Multi-input databases
Geetha et al. 3D face recognition using Hadoop
Chen Design and simulation of AI remote terminal user identity recognition system based on reinforcement learning
JP4061405B2 (ja) 顔画像分類登録装置
Ekinci et al. Kernel Fisher discriminant analysis of Gabor features for online palmprint verification
Shukla et al. Comparison of Face Recognition algorithms & its subsequent impact on side face
KR100711223B1 (ko) 저니키(Ｚｅｒｎｉｋｅ)/선형 판별 분석(ＬＤＡ)을 이용한얼굴 인식 방법 및 그 방법을 기록한 기록매체
Kanungo et al. A simple and fast automatic face colour identification for reducing the search space
Vulovic et al. Comparison of different neural network training algorithms with application to face recognition
Imam et al. Short Term Authentication of ATM Customers through Characteristics of Body and Face
Shah et al. Biometric authentication based on detection and recognition of multiple faces in image
Vulović et al. Comparison of Different Neural Network Training Algorithms with Application to Face Recognition Problem
Anik An efficient approach of face detection and recognition from digital images for modern security and office hour attendance system

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200780046395.7

Country of ref document: CN

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07850417

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12517916

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2007850417

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE