WO2019163065A1 - なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents

なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2019163065A1
WO2019163065A1 PCT/JP2018/006561 JP2018006561W WO2019163065A1 WO 2019163065 A1 WO2019163065 A1 WO 2019163065A1 JP 2018006561 W JP2018006561 W JP 2018006561W WO 2019163065 A1 WO2019163065 A1 WO 2019163065A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
image frame
subject
feature amount
bright spot
Prior art date
Application number
PCT/JP2018/006561
Other languages
English (en)
French (fr)
Inventor
章記 海老原
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2018/006561 priority Critical patent/WO2019163065A1/ja
Priority to US16/964,877 priority patent/US11200436B2/en
Priority to JP2020501932A priority patent/JP7004059B2/ja
Priority to EP18907036.0A priority patent/EP3757936B1/en
Publication of WO2019163065A1 publication Critical patent/WO2019163065A1/ja
Priority to US17/515,623 priority patent/US11694475B2/en
Priority to JP2021211347A priority patent/JP7272418B2/ja
Priority to US18/199,698 priority patent/US20230290178A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities

Definitions

  • the present invention relates to an impersonation detection device and an impersonation detection method for detecting impersonation during face authentication, and further relates to a computer-readable recording medium on which a program for realizing these is recorded.
  • login systems that use biometric authentication technology, such as face authentication, have the advantage of not having to store and manage passwords.
  • a login system using biometric authentication technology may cause an authentication error even if the user is using the system correctly.
  • a login system using biometric authentication technology there is a possibility that a third party may be mistakenly recognized as the principal, and authentication is performed when a malicious third party tries to authenticate using the person's image or video. There is also a possibility of being done.
  • technologies used for impersonation detection systems in face authentication include technologies that use special sensors such as infrared cameras, technologies that shoot from different directions with multiple cameras, and technologies that measure the depth of the face by switching focus. Etc.
  • Patent Document 1 if it is a real human face, the flash of the camera is specularly reflected on the iris area of the pupil, and as a result, appears as a bright spot in the image, but the face of the image on the photograph or display Discloses an impersonation detection device that utilizes the fact that the same phenomenon does not occur.
  • the spoofing detection device disclosed in Patent Document 1 first compares the image taken when the flash is turned on with the image taken when the flash is turned off, and extracts the bright spot portion in the former. Next, the impersonation detection device obtains the feature amount of the extracted portion, and compares the obtained feature amount with the feature amount obtained from a reference image that has been captured in advance, thereby detecting impersonation.
  • the bright spot formed by the specular reflection in the iris region of the pupil has position dependency, and the bright spot changes depending on the photographing condition of the image.
  • the place where the bright spot is observed changes depending on conditions such as the position of the light emitting device, the eyeball, and the camera in space.
  • the feature amount of the bright spot portion also changes depending on the positional relationship between the mobile terminal and the face at the time of shooting, and the accuracy of impersonation detection decreases.
  • the spoofing detection device disclosed in Patent Document 1 estimates the position where specular reflection of light from the flash occurs in the eyeball in order to eliminate the position dependency of the bright spot, and uses the estimation result, The feature amount of the bright spot is corrected.
  • the impersonation detection device first identifies the iris portion of the pupil and estimates the gaze direction of the pupil from the elliptical shape of the identified iris portion. Next, the impersonation detection device estimates the position where the bright spot is generated by the flash based on the previously acquired camera position information and the estimated gaze direction, and based on the estimation result, Correct the feature value.
  • the impersonation detection device disclosed in Patent Document 1 suppresses a decrease in the accuracy of impersonation detection when the feature amount of the bright spot portion changes due to the positional relationship between the mobile terminal and the face at the time of shooting. It is difficult.
  • An example of an object of the present invention is to solve the above-described problem and to perform impersonation detection without implication of the position dependency of reflected bright spots during face authentication, an impersonation detection device, an impersonation detection method, and To provide a computer-readable recording medium.
  • an impersonation detection device In order to achieve the above object, an impersonation detection device according to one aspect of the present invention is provided.
  • a face image acquisition unit for acquiring two image frames; Information for identifying the face portion of the subject is extracted as first face information from the first image frame, and information for identifying the face portion of the subject is extracted from the second image frame.
  • a face information extraction unit that extracts the face information of 2; From the first image frame, based on the first face information, a portion including a bright spot formed by reflection in the iris region of the subject's pupil is extracted, and further, from the second image frame A feature amount calculation unit that extracts a portion corresponding to the portion including the bright spot based on the second face information and calculates a feature amount independent of the position of the bright spot from the two extracted portions.
  • An impersonation determination unit that performs true / false determination of the subject imaged by the imaging device based on the feature amount; It is characterized by that.
  • an impersonation detection method includes: (A) a first image frame including a face of the subject when light is emitted from the imaging device by a light emitting device attached to the imaging device, and a face of the subject when the light emitting device is turned off Obtaining a second image frame comprising: (B) Information specifying the face portion of the subject is extracted as first face information from the first image frame, and the face portion of the subject is specified from the second image frame.
  • (D) performing authenticity determination of the subject imaged by the imaging device based on the feature amount It is characterized by that.
  • a computer-readable recording medium On the computer, (A) a first image frame including a face of the subject when light is emitted from the imaging device by a light emitting device attached to the imaging device, and a face of the subject when the light emitting device is turned off Obtaining a second image frame comprising: (B) Information specifying the face portion of the subject is extracted as first face information from the first image frame, and the face portion of the subject is specified from the second image frame.
  • FIG. 1 is an explanatory diagram showing an example of a technique for extracting a bright spot formed by reflection in an iris region of a pupil in the present invention.
  • FIG. 2 is an explanatory diagram showing a comparison between the feature amount calculated by the present invention and the feature amount calculated by the conventional method.
  • FIG. 3 is a block diagram showing the configuration of the spoofing detection apparatus according to Embodiment 1 of the present invention.
  • FIG. 4 is a diagram showing an example of the feature amount obtained by the first embodiment of the present invention.
  • FIG. 5 is a flowchart showing the operation of the impersonation detection device in Embodiment 1 of the present invention.
  • FIG. 6 is a block diagram showing a configuration of an impersonation detection device according to Embodiment 2 of the present invention.
  • FIG. 1 is an explanatory diagram showing an example of a technique for extracting a bright spot formed by reflection in an iris region of a pupil in the present invention.
  • FIG. 2 is an explanatory diagram showing a
  • FIG. 7 is a flowchart showing the operation of the impersonation detection device in Embodiment 2 of the present invention.
  • FIG. 8 is a flowchart showing the operation of the impersonation detection device in Embodiment 3 of the present invention.
  • FIG. 9 is a diagram illustrating an example of the feature amount calculated from the iris region and the feature amount calculated from the face region in the third embodiment.
  • FIG. 10 is a block diagram showing an example of a computer that implements an impersonation detection device according to the first to third embodiments of the present invention.
  • a conventional feature of the present invention is a method for calculating a feature quantity that eliminates position dependency from images taken while the flash is on and when the flash is off. This will be explained in comparison with the method of calculating the quantity.
  • FIG. 1 is an explanatory diagram showing an example of a technique for extracting a bright spot formed by reflection in an iris region of a pupil in the present invention.
  • FIG. 2 is an explanatory diagram showing a comparison between the feature amount calculated by the present invention and the feature amount calculated by the conventional method.
  • the user 101 takes at least one shot of his / her face with the camera-equipped terminal device 102 whose flash is lit, and further, the terminal device with the camera whose flash is turned off.
  • photographing is performed at least once.
  • a bright spot portion is extracted from each image obtained by such photographing, and a feature amount in the extracted bright spot portion is calculated.
  • an image 105 shows an image in which the flash is turned on
  • an image 106 shows an image in which the flash is turned off.
  • a bright spot portion is extracted by comparing the two, and a feature amount is calculated for the extracted portion.
  • the bright spot portion can be extracted, it is determined that the face shown in the images 105 and 106 is the face of a true person.
  • the faces shown in the images 105 and 106 are determined to be fake faces.
  • the position of the bright spot formed by flash reflection as described above varies depending on the shooting conditions. For this reason, as shown in the images 201 and 202 on the left side of FIG. 2, even with the same true face, the position of the bright spot may be shifted. If the position of the bright spot is shifted, a different feature amount is calculated when the image is converted into a one-dimensional vector feature amount.
  • the feature amount 204 is calculated from the image 202.
  • the feature amount 203 and the feature amount 204 are calculated from bright spots that differ only in position, but the degree of similarity between them is low. Then, this decrease in similarity causes a decrease in discrimination accuracy.
  • the feature amount 203 and the feature amount 204 are both feature amounts to be determined as real faces. As described above, the spoofing detection device disclosed in Patent Document 1 addresses this problem by predicting the position of a bright spot and correcting the feature amount based on the prediction result.
  • the feature quantity 205 and the feature quantity 206 shown on the right side of FIG. 2 are calculated instead of predicting the bright spot position with some degree of uncertainty.
  • the feature amount 205 and the feature amount 206 are feature amounts that do not depend on the position of the bright spot. Therefore, according to the present invention, impersonation detection that is robust against environmental changes can be performed more easily and more accurately.
  • Embodiment 1 an impersonation detection device, an impersonation detection method, and a program according to Embodiment 1 of the present invention will be described with reference to FIGS.
  • FIG. 3 is a block diagram showing the configuration of the spoofing detection apparatus according to Embodiment 1 of the present invention.
  • the impersonation detection apparatus 300 in the first embodiment is an apparatus for detecting impersonation during face authentication.
  • the impersonation detection device 300 includes a face image acquisition unit 301, a face information extraction unit 302, a feature amount calculation unit 303, and an impersonation determination unit 304.
  • the face image acquisition unit 301 includes a first image frame including the face of the subject when the light emitting device 320 accompanying the imaging device 310 emits light, and a target when the light emitting device 320 is turned off. A second image frame including the person's face is obtained.
  • the face information extraction unit 302 extracts information specifying the face portion of the subject as first face information from the first image frame. In addition, the face information extraction unit 302 extracts information specifying the face portion of the subject as second face information from the second image frame.
  • the feature amount calculation unit 303 extracts, from the first image frame, a portion including a bright spot formed by reflection in the iris region of the subject's pupil based on the first face information. Further, the feature amount calculation unit 303 extracts a part corresponding to the part including the bright spot based on the second face information from the second image frame. Then, the feature amount calculation unit 303 calculates a feature amount that does not depend on the position of the bright spot from the extracted two portions.
  • the impersonation determination unit 304 determines the authenticity of the subject photographed by the imaging device 310 based on the feature amount calculated by the feature amount calculation unit 303. Specifically, the impersonation determination unit 304 determines whether or not the photographed target person is a real person.
  • the spoofing detection apparatus 300 can calculate a feature quantity that does not depend on the position of the bright spot, unlike the conventional spoofing detection apparatus described in the background section. FIG. 2). For this reason, according to the first embodiment, impersonation can be detected without being affected by the position dependency of the reflected bright spot during face authentication.
  • the impersonation detection device 300 is connected to an imaging device 310 including a light emitting device 320.
  • the imaging device 310 include a digital camera and a digital video camera.
  • the face image acquisition unit 301 acquires the first image frame shot while the light emitting device is emitting light and the second image frame shot while the light emitting device is turned off. Further, the first image frame and the second image frame acquired at this time may be a still image frame or a moving image frame.
  • the face information extraction unit 302 first detects a region of the face portion of the subject (hereinafter referred to as “face region”) from each of the first image frame and the second image frame. To do. Specifically, the face information extraction unit 302 detects a face area using, for example, a Haar-like feature amount. A method for detecting a face area using Haar-like feature values is disclosed in Reference Document 1 below, for example.
  • the face information extraction unit 302 extracts first face information from the face area extracted from the first image frame, and extracts second face information from the face area extracted from the second image frame. To do. Specifically, the face information extraction unit 302 estimates the area of each part of the face from the face area, and uses the information specifying the position of the estimated area of each part as the face information. The face information also includes information for specifying the position of the estimated iris region.
  • an iris region estimation method for example, first, an eye region is detected and an inter-eye distance is calculated, and then this inter-eye distance is used to have the same center as the eye center and one side is There is a method of setting a square that is one sixth of the distance between eyes and making this square area an iris area.
  • a detection method of the eye region for example, a method using a ringgabor filter disclosed in Reference Document 2 below can be cited.
  • the feature amount calculation unit 303 uses the first face information to extract an iris region in the first image frame (hereinafter referred to as “first iris region”), and further Then, using the second face information, an iris region (hereinafter referred to as a “second iris region”) in the second image frame is extracted.
  • the feature amount calculation unit 303 obtains the luminance value L in for each pixel in the first iris region and the luminance value L out for each pixel in the second iris region, and calculates the difference (L in -L out ) is calculated as a temporary feature amount.
  • the feature amount calculation unit 303 can also standardize or scale the temporary feature amount (L in -L out ) and transform it into a form that is easy to handle.
  • the feature amount calculation unit 303 performs a conversion process for eliminating the position dependency on the temporary feature amount in order to obtain a feature amount having no position dependency of the bright spot. For example, the feature amount calculation unit 303 converts a temporary feature amount (difference for each pixel (L in -L out )) calculated from an iris region that is a two-dimensional plane into a one-dimensional vector, and Convert by rearranging values in ascending or descending order. The feature amount converted in this way is a feature amount whose position dependency is eliminated.
  • FIG. 4 is a diagram showing an example of the feature amount obtained by the first embodiment of the present invention.
  • the feature value 601 is a feature value obtained when the target person is a real person.
  • the feature amount 602 is a feature amount obtained from the face of a photograph or an image.
  • the impersonation determination unit 304 applies the feature amount calculation unit calculated by the feature amount calculation unit 303 to a classifier that is created in advance, thereby determining the authenticity of the subject, that is, the target The person is a real person.
  • examples of the classifier include an SVM binary classifier constructed using a support vector machine (SVM).
  • SVM support vector machine
  • this classifier prepares in advance a feature amount calculated from an image of a real person's face and a feature amount calculated from an image of a fake person's face, and performs learning using these.
  • a classifier construction method using a support vector machine is disclosed in Reference Document 3 below.
  • FIG. 5 is a flowchart showing the operation of the impersonation detection device in Embodiment 1 of the present invention.
  • FIGS. 3 and 4 are referred to as appropriate.
  • the impersonation detection method is implemented by operating the impersonation detection apparatus 300.
  • FIG. Therefore, the description of the impersonation detection method in the first embodiment is replaced with the following description of the operation of the impersonation detection device 300.
  • the face image acquisition unit 301 emits a first image frame including the face of the subject when the light emitting device 320 accompanying the imaging device 310 emits light, and light emission.
  • a second image frame including the face of the subject when the device 320 is turned off is acquired (step A1).
  • the face information extraction unit 302 extracts information specifying the face portion of the subject from the first image frame as the first face information, and also from the second image frame, the face information of the subject. Information specifying the portion is extracted as second face information (step A2).
  • the feature amount calculation unit 303 extracts a portion including a bright spot from the first image frame based on the first face information, and based on the second face information from the second image frame. Then, a part corresponding to the part including the bright spot is extracted. Then, the feature amount calculation unit 303 calculates a feature amount that does not depend on the position of the bright spot from the extracted two portions (step A3).
  • the feature amount calculation unit 303 first extracts the first iris region in the first image frame using the first face information, and further, the second face information. To extract the second iris region in the second image frame. Then, the feature amount calculating unit 303, the luminance value L in the pixel-by-pixel of the first iris region, the luminance value L out for each pixel in the second iris region, the difference between each pixel (L in -L out ) As a temporary feature amount. Then, the feature amount calculation unit 303 performs a conversion process for eliminating the position dependency on the temporary feature amount, and calculates the feature amount from which the position dependency is eliminated.
  • the impersonation determination unit 304 determines the authenticity of the subject photographed by the imaging device 310 based on the feature amount calculated by the feature amount calculation unit 303 in step A3 (step A4). Specifically, the impersonation determination unit 304 determines whether or not the photographed target person is a real person.
  • the impersonation detection device After execution of step A4, the impersonation detection device notifies the determination result to a device that uses the detection result.
  • the device that has received the notification continues the authentication process if the detection result is a real person, and stops the authentication process if the detection result is not a real person.
  • the impersonation detection device 300 calculates a feature amount that does not depend on the position of the bright spot formed in the iris region of the subject's pupil, and based on this feature amount, Whether impersonation or not can be determined. Therefore, according to the first embodiment, impersonation detection can be performed without being affected by the positional relationship between the imaging device 310 and the face, that is, without being influenced by the position dependency of the reflected bright spot. it can.
  • the program in the first embodiment may be a program that causes a computer to execute steps A1 to A4 shown in FIG.
  • the computer processor functions as a face image acquisition unit 301, a face information extraction unit 302, a feature amount calculation unit 303, and an impersonation determination unit 304, and performs processing.
  • each computer may function as any one of the face image acquisition unit 301, the face information extraction unit 302, the feature amount calculation unit 303, and the impersonation determination unit 304, respectively.
  • Embodiment 2 Next, an impersonation detection device, an impersonation detection method, and a program according to Embodiment 2 of the present invention will be described with reference to FIGS.
  • FIG. 6 is a block diagram showing a configuration of an impersonation detection device according to Embodiment 2 of the present invention.
  • the impersonation detection device 350 in the second embodiment is constructed by a portable terminal device 500.
  • the impersonation detection device 350 is constructed by a program that operates on the operating system of the terminal device 500.
  • the terminal device 500 includes an imaging device 310, a light emitting device 320, a display device 330, and an input device 340.
  • the impersonation detection device 350 is similar to the impersonation detection device 300 in the first embodiment shown in FIG.
  • An information extraction unit 302, a feature amount calculation unit 303, and an impersonation determination unit 304 are provided. These functions are as described in the first embodiment.
  • the impersonation detection device 350 further includes a photographing control unit 305.
  • the photographing control unit 305 controls photographing by the imaging device 310, light emission and extinguishing by the light emitting device 320, and sets a light emission time in the light emitting device 320 and a photographing timing in the imaging device 310.
  • the imaging control unit 305 instructs the light emitting device 320 to emit light, and then instructs the imaging device 310 to perform imaging for 150 milliseconds. Thereafter, the imaging control unit 305 instructs the light emitting device 320 to turn off, and then instructs the imaging device 310 to perform imaging for 150 milliseconds.
  • FIG. 7 is a flowchart showing the operation of the impersonation detection device in Embodiment 2 of the present invention.
  • FIG. 6 is referred to as appropriate.
  • the impersonation detection method is implemented by operating the impersonation detection apparatus 350. Therefore, the description of the impersonation detection method in the second embodiment is replaced with the following description of the operation of the impersonation detection device 350.
  • the light emission time of the light emitting device 320 is 300 milliseconds.
  • One image is taken 150 milliseconds after the start of light emission, and one image is taken 150 milliseconds after the start of turning off.
  • the photographing control unit 305 instructs the light emitting device 320 to emit light simultaneously with photographing (step B1). Further, the imaging apparatus 310 is instructed to shoot (step B2).
  • Step B2 photographing is performed by the imaging device 310 and image data is output. Therefore, the face image acquisition unit 301 acquires the output image data as a first image frame ( Step B3).
  • Step B3 instructs the light emitting device 320 to turn off (Step B4), and further instructs the imaging device 310 to perform imaging (Step B5).
  • Step B5 When Step B5 is executed, the image pickup apparatus 310 performs shooting and image data is output. Therefore, the face image acquisition unit 301 acquires the output image data as a second image frame ( Step B6).
  • the face information extraction unit 302 extracts information for specifying the face portion of the subject as first face information from the first image frame acquired in step B3, and the first information acquired in step B6. Also from the second image frame, information specifying the face portion of the subject is extracted as second face information (step B7).
  • the feature amount calculation unit 303 extracts a portion including a bright spot from the first image frame based on the first face information, and based on the second face information from the second image frame. Then, a part corresponding to the part including the bright spot is extracted. Then, the feature quantity calculation unit 303 calculates a feature quantity that does not depend on the position of the bright spot from the extracted two parts (step B8).
  • the impersonation determination unit 304 determines the authenticity of the subject photographed by the imaging device 310 based on the feature amount calculated by the feature amount calculation unit 303 in step B8 (step B9). Specifically, the impersonation determination unit 304 determines whether or not the photographed target person is a real person. Steps B7 to B9 are the same as the corresponding steps of steps A2 to A4 shown in FIG.
  • the impersonation determination unit 304 presents the determination result (detection result) in step B9 on the screen by the display device 330 of the terminal device 500 (step B10). Thereby, the user of the terminal device 500 can confirm the detection result. If the detection result is a real person, the terminal device 500 continues the authentication process, and if the detection result is not a real person, the authentication process is stopped.
  • the impersonation detection device 350 calculates a feature amount that does not depend on the position of the bright spot formed in the iris region of the subject's pupil, Based on this feature quantity, it is possible to determine whether or not impersonation exists. Therefore, according to the second embodiment, impersonation detection can be performed without being affected by the positional relationship between the imaging device 310 and the face, that is, without being influenced by the position dependency of the reflected bright spot. it can.
  • the program in the second embodiment may be a program that causes a computer to execute steps B1 to B10 shown in FIG.
  • the processor of the computer functions as a face image acquisition unit 301, a face information extraction unit 302, a feature amount calculation unit 303, an impersonation determination unit 304, and a shooting control unit 305 to perform processing.
  • each computer may function as any one of the face image acquisition unit 301, the face information extraction unit 302, the feature amount calculation unit 303, the impersonation determination unit 304, and the imaging control unit 305.
  • the configuration of the impersonation detection device in the third embodiment will be described.
  • the configuration of the spoofing detection device is the same as that of the spoofing detection device 350 in the second embodiment shown in FIG. Accordingly, FIG. 6 is referred to in the third embodiment.
  • the impersonation detection device in the third embodiment is different from the impersonation detection device 350 in the second embodiment in terms of the functions of the feature amount calculation unit 303 and the impersonation determination unit 304.
  • the difference will be mainly described.
  • the feature quantity calculation unit 303 adds the second feature in addition to the feature quantity independent of the position of the bright spot shown in the first and second embodiments (hereinafter referred to as “first feature quantity”). Calculate the quantities and integrate them.
  • the second feature amount is obtained based on the diffuse reflection of the subject's face and is a feature amount that reflects the three-dimensional shape of the face.
  • the specular reflection that occurs in the iris area does not occur, and the flash light is diffusely reflected by the three-dimensional shape (unevenness) of the face. Therefore, if a feature value reflecting the three-dimensional shape of the face is calculated based on the diffuse reflection pattern, it is determined whether the face is a three-dimensional true face, a two-dimensional photograph, or a face on a display screen. Can do.
  • the feature amount calculation unit 303 identifies the face area of the target person (hereinafter referred to as “first face area”) based on the first face information from the first image data, Also from the second image data, the face area of the target person (hereinafter referred to as “second face area”) is specified based on the second face information. Then, the feature amount calculation unit 303 calculates a difference between the luminance distribution of the first face region and the luminance distribution of the second face region, and calculates a second feature amount from the calculated difference.
  • first face area the face area of the target person
  • second face area the face area of the target person
  • the Lambert model which is a diffuse reflection model
  • the observed luminance value L is considered to be derived from the light source component I, the reflection coefficient K, and the surface angle component ⁇ as follows.
  • the second feature amount that does not depend on the reflection coefficient K is calculated using the image of the light emitting device 320 during light emission and the image of the light emitting device 320 being turned off. Specifically, the second feature amount is calculated as follows.
  • the first and the luminance value L in every pixel of the image frames taken during light emission of the light emitting device 320, the luminance value L out for each pixel in the second image frame captured during the extinguishing of the light emitting device 32 can be written as shown in the following equations 2 and 3.
  • I is a light source component
  • K is a color-dependent reflection coefficient
  • ⁇ is a surface angle component
  • I c and I b are the flash light intensity of the camera and the intensity of the background light (environment light), respectively.
  • x and y represent the position of the pixel in the image frame.
  • ⁇ c and ⁇ b represent the incident angle of the camera light and the incident angle of the background light, respectively.
  • the feature amount shown in Equation 4 is independent of the reflection coefficient K and can be said to be a feature amount in which the color dependency is eliminated.
  • the feature amount calculation unit 303 performs conversion by converting the feature amount shown in Equation 4 into a one-dimensional vector and rearranging the values for each pixel in ascending or descending order. As a result, the obtained feature value reflects the three-dimensional shape of the face because the value increases as the light diffuse reflection generated on the face surface increases.
  • the impersonation determination unit 304 performs authenticity determination using the integrated first feature value and second feature value. That is, in the third embodiment, different feature amounts are calculated from a plurality of face regions based on face information, and authenticity determination is performed based on the feature amounts obtained by integrating them.
  • FIG. 8 is a flowchart showing the operation of the impersonation detection device in Embodiment 3 of the present invention.
  • FIG. 6 is referred to as appropriate.
  • the impersonation detection method is implemented by operating the impersonation detection apparatus. Therefore, the description of the impersonation detection method in the third embodiment is replaced with the following description of the operation of the impersonation detection device.
  • the flash lighting time is 300 milliseconds, and one image is taken 150 milliseconds after the start of flash lighting, and one image is taken 150 milliseconds after the start of turning off the flash.
  • the photographing control unit 305 instructs the light emitting device 320 to emit light simultaneously with photographing (step C1). Further, the imaging apparatus 310 is instructed to shoot (step C2).
  • step C2 photographing is performed by the imaging device 310 and image data is output. Therefore, the face image acquisition unit 301 acquires the output image data as a first image frame ( Step C3).
  • the imaging control unit 305 instructs the light emitting device 320 to turn off (step C4), and further instructs the imaging device 310 to perform imaging (step C5).
  • step C5 the imaging device 310 performs shooting, and image data is output. Therefore, the face image acquisition unit 301 acquires the output image data as a second image frame ( Step C6).
  • the face information extraction unit 302 extracts information for specifying the face portion of the subject as first face information from the first image frame acquired in step C3, and the first information acquired in step C6. Also from the second image frame, information specifying the face portion of the subject is extracted as second face information (step C7).
  • the feature amount calculation unit 303 extracts a portion including a bright spot from the first image frame based on the first face information, and based on the second face information from the second image frame. Then, a part corresponding to the part including the bright spot is extracted. Then, the feature amount calculation unit 303 calculates a feature amount that does not depend on the position of the bright spot from the extracted two portions (step C8).
  • Steps C1 to C8 described above are the same steps as Steps B1 to B8 shown in FIG. 7 in the second embodiment, and the same processing is performed by these steps.
  • Step C9 is executed in parallel with Step C8 or before and after Step C8.
  • the feature amount calculation unit 303 calculates a second feature amount that reflects the three-dimensional shape of the face based on the diffuse reflection of the subject's face. Specifically, the feature amount calculation unit 303 identifies the first face area based on the first face information from the first image data, and also uses the second face information from the second image data. Based on the above, the second face area is specified. Then, the feature amount calculation unit 303 calculates a difference between the luminance distribution of the first face region and the luminance distribution of the second face region, and calculates a second feature amount from the calculated difference.
  • FIG. 9 is a diagram illustrating an example of the feature amount calculated from the iris region and the feature amount calculated from the face region in the third embodiment.
  • the feature amount calculated from the iris region and the feature amount calculated from the face region are obtained.
  • reference numeral 701 denotes a feature vector calculated from the iris region of the real face
  • reference numeral 702 denotes a feature vector calculated from the iris region of the fake face.
  • the feature quantity calculation unit 303 integrates the feature quantity obtained in step C8 and the feature quantity obtained in step C9 (step C10). Specifically, since each feature amount is converted into a one-dimensional vector, the two feature amounts are integrated into one vector.
  • the impersonation determination unit 304 determines the authenticity of the subject photographed by the imaging device 310 based on the feature values integrated in step C10 (step C10). Specifically, the impersonation determination unit 304 determines whether or not the photographed target person is a real person. Step C10 is the same as step B9 shown in FIG.
  • Step C11 is the same as step B10 shown in FIG.
  • the user of the terminal device 500 can confirm the detection result. If the detection result is a real person, the terminal device 500 continues the authentication process, and if the detection result is not a real person, the authentication process is stopped.
  • the iris region where the light from the light emitting device 320 is specularly reflected and the face region where the light from the light emitting device 320 is diffusely reflected are combined in two regions having different reflection forms, A feature amount is calculated. And since authenticity determination is performed by the feature amount by this combination, according to the third embodiment, it is possible to detect spoofing with higher accuracy.
  • the program in the third embodiment may be a program that causes a computer to execute steps C1 to C12 shown in FIG.
  • the processor of the computer functions as a face image acquisition unit 301, a face information extraction unit 302, a feature amount calculation unit 303, an impersonation determination unit 304, and a shooting control unit 305 to perform processing.
  • each computer may function as any one of the face image acquisition unit 301, the face information extraction unit 302, the feature amount calculation unit 303, the impersonation determination unit 304, and the imaging control unit 305.
  • the impersonation determination unit 304 separately executes authenticity determination based on the feature amount calculated in step C8 and authenticity determination based on the feature amount calculated in step C9. Can do. In this case, the impersonation determination unit 304 comprehensively determines from the results of the two authenticity determinations and finally determines whether or not impersonation is only performed.
  • the impersonation determination unit 304 calculates a score (authenticity value) indicating the possibility of being true for each authenticity determination, for example, obtains an average value of two scores, and the average value is equal to or greater than a certain value. If it exceeds, it is determined to be true (a real person).
  • a score authentication value
  • the impersonation determination unit 304 calculates a score (authenticity value) indicating the possibility of being true for each authenticity determination, for example, obtains an average value of two scores, and the average value is equal to or greater than a certain value. If it exceeds, it is determined to be true (a real person).
  • each of the face images to be taken while the light emitting device 320 is emitting light and being extinguished is a single still image
  • the light emitting time is 300 milliseconds
  • the photographing timing is light emission. It is assumed that 150 milliseconds from the start and 150 milliseconds after the light is turned off.
  • the imaging control unit 305 can change the setting according to a value input to the terminal device 500 by the user.
  • photographing by the imaging device 310 is performed in a state where the subject's face is stationary. This is because it is necessary to extract the face of the subject in the image. Therefore, it is preferable to encourage the subject not to move his / her face during shooting. For this reason, for example, before instructing photographing, the face image acquisition unit 301 may display a message prompting the user not to move his / her face on the display screen of the display device or the like.
  • FIG. 10 is a block diagram showing an example of a computer that implements an impersonation detection device according to the first to third embodiments of the present invention.
  • a computer 400 shown in FIG. 10 is a computer incorporated in a portable terminal device such as a mobile phone or a smartphone.
  • the computer 400 includes a processor 401, a memory 402, a storage 403, an input / output interface (input / output I / F) 404, and a communication interface (communication I / F) 405. .
  • the processor 401, the memory 402, the storage 403, the input / output interface 404, and the communication interface 405 are connected by a data transmission path (bus) 406 for transmitting / receiving data to / from each other.
  • bus data transmission path
  • the hardware configuration of the computer 400 is not limited to the configuration shown in FIG.
  • the processor 401 is an arithmetic processing unit such as a CPU (central processing unit) or a GPU (graphics processing unit).
  • the memory 402 is, for example, a memory such as a random access memory (RAM) or a read only memory (ROM).
  • the storage 403 is a storage device such as an HDD (hard disk drive), an SSD (solid disk drive), or a memory card.
  • the memory 402 or the storage 403 stores a program for realizing each unit constituting the impersonation detection device.
  • each unit is realized and various processes are executed.
  • the processor 401 may execute the program after reading it onto the memory 402 or may execute it without reading it onto the memory 402. .
  • Non-transitory computer-readable recording media include various types of actual recording media.
  • non-transitory computer-readable recording media include magnetic recording media (for example, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (for example, magneto-optical disks), CD-ROMs (compact disc read) only memory, CD-R (compact disc recordable), CD-R / W (compact disc rerewritable), semiconductor memory (eg mask ROM, PROM (programmable ROM), EPROM (erasable ROM), flash ROM, RAM) etc. Can be mentioned.
  • magnetic recording media for example, flexible disks, magnetic tapes, hard disk drives
  • magneto-optical recording media for example, magneto-optical disks
  • CD-ROMs compact disc read) only memory
  • CD-R compact disc recordable
  • CD-R / W compact disc rerewritable
  • semiconductor memory eg mask ROM, PROM (programmable ROM), EPROM (erasable ROM), flash ROM, RAM
  • the program may be supplied to the computer 400 by various types of temporary computer-readable recording media.
  • Examples of temporary computer-readable recording media include electrical signals, optical signals, and electromagnetic waves.
  • a temporary computer-readable recording medium can supply a program to a computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • the input / output interface 404 is connected to the imaging device 310, the display device 330, the input device 340, and the like.
  • the display device 330 is a device that displays a screen corresponding to the drawing data processed by the processor 401, such as an LCD (Liquid Crystal Display) or a CRT (Cathode Ray Tube) display.
  • the communication interface 405 transmits / receives data to / from an external device. For example, the communication interface 405 communicates with an external device via a wired network or a wireless network.
  • the imaging device 310 is a device for the user or the subject himself / herself to photograph the face of the subject, such as a digital camera or a digital video camera.
  • the input device 340 is a device that receives a user operation input, and is, for example, a keyboard, a touch sensor, a touch panel, or the like. When the input device 340 is a touch panel, for example, the input device 340 and the display device 330 may be integrated.
  • the impersonation detection device in the present embodiment can be realized not by using a computer in which a program is installed but also by using hardware corresponding to each unit. Furthermore, a part of the impersonation detection device may be realized by a program, and the remaining part may be realized by hardware.
  • a face information extraction unit that extracts the face information of 2; From the first image frame, based on the first face information, a portion including a bright spot formed by reflection in the iris region of the subject's pupil is extracted, and further, from the second image frame A feature amount calculation unit that extracts a portion corresponding to the portion including the bright spot based on the second face information and calculates a feature amount independent of the position of the bright spot from the two extracted portions.
  • An impersonation determination unit that performs true / false determination of the subject imaged by the imaging device based on the feature amount; An impersonation detection device characterized by that.
  • Appendix 2 The spoofing detection device according to appendix 1, A shooting control unit for setting a light emission time in the light emitting device and a shooting timing in the imaging device; An impersonation detection device characterized by that.
  • the spoofing detection device (Appendix 3) The spoofing detection device according to appendix 1 or 2, The feature amount calculation unit calculates a second feature amount that reflects the three-dimensional shape of the face of the subject in addition to the feature amount independent of the position of the bright spot; The impersonation determination unit performs true / false determination of the subject imaged by the imaging device based on a feature quantity independent of the position of the bright spot and the second feature quantity.
  • An impersonation detection device characterized by that.
  • the impersonation detection device (Appendix 4) The impersonation detection device according to attachment 3, The impersonation determination unit separately executes true / false determination based on the feature quantity independent of the position of the bright spot and true / false determination based on the second feature quantity. Calculating a score indicating the possibility of being, and performing a final authenticity determination based on the score calculated in each authenticity determination, An impersonation detection device characterized by that.
  • (Appendix 5) (A) a first image frame including a face of the subject when light is emitted from the imaging device by a light emitting device attached to the imaging device, and a face of the subject when the light emitting device is turned off Obtaining a second image frame comprising: (B) Information specifying the face portion of the subject is extracted as first face information from the first image frame, and the face portion of the subject is specified from the second image frame.
  • (D) performing authenticity determination of the subject imaged by the imaging device based on the feature amount An impersonation detection method characterized by this.
  • (Appendix 9) On the computer, (A) a first image frame including a face of the subject when light is emitted from the imaging device by a light emitting device attached to the imaging device, and a face of the subject when the light emitting device is turned off Obtaining a second image frame comprising: (B) Information specifying the face portion of the subject is extracted as first face information from the first image frame, and the face portion of the subject is specified from the second image frame.
  • Appendix 10 A computer-readable recording medium according to appendix 9, wherein The program is stored in the computer. (E) further including a command to execute a step of setting a light emission time in the light emitting device and a photographing timing in the imaging device; A computer-readable recording medium.
  • the present invention it is possible to execute impersonation detection without being affected by the position dependency of the reflected bright spot during face authentication.
  • the present invention is useful for various systems in which face authentication is performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)

Abstract

なりすまし検知装置３００は、撮像装置３１０から、発光装置３２０が発光中に得られた、対象者の顔を含む第１の画像フレーム、及び発光装置３２０が消灯中に得られた、対象者の顔を含む第２の画像フレームを取得する、顔画像取得部３０１と、第１の画像フレームから、対象者の顔の部分を特定する情報を第１の顔情報として抽出し、第２の画像フレームから、対象者の顔の部分を特定する情報を第２の顔情報として抽出する、顔情報抽出部３０２と、第１の画像フレームから、第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、第２の画像フレームから、第２の顔情報に基づいて、輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、輝点の位置に依存しない特徴量を算出する、特徴量算出部３０３と、特徴量に基づいて対象者の真偽判定を行う、なりすまし判定部３０４と、を備えている。

Description

なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体
　本発明は、顔認証時のなりすましを検知するための、なりすまし検知装置、及びなりすまし検知方法に関し、更には、これらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
　顔認証をはじめとする、生体認証技術を利用したログインシステムは、パスワードを利用したログインシステムと異なり、パスワードの記憶及び管理の負担がないという利点を有している。
　但し、生体認証技術を利用したログインシステムでは、パスワードを利用したログインシステムと異なり、本人が正しくシステムを使用していても、認証エラーが起こる可能性がある。更に、生体認証技術を利用したログインシステムでは、誤って第三者を本人と認識してしまう可能性、悪意を持った第三者が本人の画像又は動画を用いて認証を試みたときに認証されてしまう可能性もある。
　このため、生体認証技術を利用したログインシステムでは、セキュリティの観点から、本人でない第三者による、このような偽装（なりすまし）ログインは大きな問題となっており、なりすましを防ぐための検知技術の需要が高まっている。
　特に、モバイル端末上のアプリケーションプログラムによるログインにおいて、顔認証を利用する場合には、モバイル端末に搭載されているハードウェアが限られているため、なりすまし対策は、一般的に、より困難なものとなる。例えば、顔認証におけるなりすまし検知システムに用いられる技術としては、赤外線カメラのような特殊センサを用いる技術、複数台のカメラで別方向から撮影を行う技術、フォーカス切り替えを行って顔の奥行きを測る技術等が挙げられる。
　しかし、これらの技術を用いるために必要なハードウェアを搭載しているモバイル端末は、現在のところ、一般的ではない。顔認証時のなりすまし検知に使用可能なハードウェアのうち、多くのモバイル端末が具備しているハードウェアとしては、ユーザ側に向いたインカメラと、それに付随して設けられた発光装置（フラッシュ）とがある。このため、これらを利用して、なりすましを検知する技術が提案されている（例えば、特許文献１参照）。
　具体的には、特許文献１は、本物の人間の顔ならば、カメラのフラッシュが、瞳の虹彩領域に鏡面反射し、結果、輝点として画像に映るが、写真又はディスプレイ上の画像の顔では同現象が起こらないことを利用した、なりすまし検知装置を開示している。
　特許文献１に開示された、なりすまし検知装置は、まず、フラッシュ点灯時に撮影した画像と、フラッシュ消灯時に撮影した画像とを比較して、前者における輝点の部分を抽出する。次いで、なりすまし検知装置は、抽出した部分の特徴量を求め、求めた特徴量と、予め撮影されているリファレンス画像から求めた特徴量とを対比することによって、なりすましの検知を行う。
特許第４６０９２５３号
　ところで、瞳の虹彩領域での鏡面反射によって形成される輝点には、位置依存性があり、輝点は、画像の撮影条件によって変化してしまう。言い換えると、一般的に、発光装置、眼球、及びカメラの空間上の位置といった条件に応じて、輝点が観測される場所は変化する。この結果、撮影時におけるモバイル端末と顔との位置関係によって、輝点の部分の特徴量も変化してしまい、なりすまし検知の精度が低下してしまう。
　このため、特許文献１に開示された、なりすまし検知装置は、輝点の位置依存性を解消すべく、眼球においてフラッシュからの光の鏡面反射が発生する位置を推定し、推定結果を用いて、輝点の部分の特徴量の補正を行っている。
　具体的には、なりすまし検知装置は、まず、瞳の虹彩部分を特定し、特定した虹彩部分の楕円形状から瞳の注視方向を推定する。次いで、なりすまし検知装置は、予め取得しているカメラの位置情報と、推定した注視方向とに基づいて、フラッシュによって輝点が発生する位置を推定し、推定結果に基づいて、輝点の部分の特徴量を補正する。
　しかしながら、実際には、輝点の位置がずれしまった場合の特徴量を、輝点の位置がずれなかった場合の特徴量と同じになるように補正することは、特徴量の性質上、困難である。このため、特許文献１に開示された、なりすまし検知装置では、撮影時におけるモバイル端末と顔との位置関係によって、輝点の部分の特徴量が変化した場合に、なりすまし検知の精度低下を抑制することは困難である。
　本発明の目的の一例は、上記課題を解消し、顔認証の際に、反射輝点の位置依存性に影響されることなく、なりすまし検知を実行しうる、なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
　上記目的を達成するため、本発明の一側面におけるなりすまし検知装置は、
　撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、顔画像取得部と、
　前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、顔情報抽出部と、
　前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、特徴量算出部と、
　前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、なりすまし判定部と、を備えている、
ことを特徴とする。
　また、上記目的を達成するため、本発明の一側面におけるなりすまし検知方法は、
（ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
（ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
（ｃ）前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、ステップと、
（ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を有する、
ことを特徴とする。
　更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、
コンピュータに、
（ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
（ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
（ｃ）前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、ステップと、
（ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を実行させる命令を含む、プログラムを記録している、
ことを特徴とする。
　以上のように本発明によれば、顔認証の際に、反射輝点の位置依存性に影響されることなく、なりすまし検知を実行することができる。
図１は、本発明において、瞳の虹彩領域での反射によって形成された輝点を抽出する手法の一例を示す説明図である。 図２は、本発明によって算出される特徴量と従来手法によって算出される特徴量とを比較して示す説明図である。 図３は、本発明の実施の形態１におけるなりすまし検知装置の構成を示すブロック図である。 図４は、本発明の実施の形態１によって得られた特徴量の一例を示す図である。 図５は、本発明の実施の形態１における、なりすまし検知装置の動作を示すフロー図である。 図６は、本発明の実施の形態２におけるなりすまし検知装置の構成を示すブロック図である。 図７は、本発明の実施の形態２における、なりすまし検知装置の動作を示すフロー図である。 図８は、本発明の実施の形態３における、なりすまし検知装置の動作を示すフロー図である。 図９は、本実施の形態３において、虹彩領域から算出された特徴量と顔領域から算出された特徴量との一例を示す図である。 図１０は、本発明の実施の形態１～３における、なりすまし検知装置を実現するコンピュータの一例を示すブロック図である。
（発明の概要）
　まず、本発明の実施の形態を説明する前に、本発明の概要について説明する。上述のように、瞳の虹彩領域での反射によって形成された輝点の位置は、フラッシュからの光の虹彩領域への入射角、対象者の顔の向きによって変化してしまう。このため、背景技術の欄に記載した特許文献１においては、輝点の位置を予測し、予測した輝点の位置に基づいてなりすましを検知している。これに対して、本発明では、後述するように、位置依存性を解消した特徴量が用いられる。
　ここで、図１及び図２を参照して、本発明における、フラッシュ点灯中、及び、フラッシュ消灯中に撮影された画像から、位置依存を解消した特徴量を計算する方法を、従来からの特徴量の計算方法と対比して説明する。図１は、本発明において、瞳の虹彩領域での反射によって形成された輝点を抽出する手法の一例を示す説明図である。図２は、本発明によって算出される特徴量と従来手法によって算出される特徴量とを比較して示す説明図である。
　まず、図１の上段に示すように、ユーザ１０１は、自身の顔を、フラッシュ点灯中のカメラ付きの端末装置１０２によって、少なくとも１回撮影を行い、更に、フラッシュ消灯中のカメラ付きの端末装置１０３によっても、少なくとも１回撮影を行う。本発明では、これらの撮影によって得られた各画像から、輝点部分を抽出し、抽出した輝点部分における特徴量が計算される。
　図１において、画像１０５は、フラッシュ点灯中の画像を示し、画像１０６は、フラッシュ消灯中の画像を示している。本発明では、両者を比較することで、輝点の部分が抽出され、抽出された部分について特徴量が計算される。また、本発明では、輝点の部分が抽出できた場合は、画像１０５及び１０６に映っている顔は、真の人の顔であると判定される。一方、輝点の部分が抽出できなかった場合は、画像１０５及び１０６に映っている顔は、偽の顔であると判定される。
　ところが、上述のようにフラッシュ反射で形成された輝点の位置は、撮影条件によって変化する。このため、図２の左側の画像２０１及び２０２に示すように、同じ真の顔であっても、輝点の位置がずれてしまう可能性がある。そして、輝点の位置がずれてしまうと、画像を１次元ベクトルの特徴量に変換した場合に、異なる特徴量が算出されてしまう。
　図２の中央に示す特徴量２０３は、画像２０１から算出され、特徴量２０４は、画像２０２から算出されている。特徴量２０３と特徴量２０４とは、位置のみが違う輝点から算出されているが、両者の類似度は低いものとなっている。そして、この類似度の低下は、判別精度の低下を招いてしまう。但し、特徴量２０３と特徴量２０４は、共に、本物の顔と判定されるべき特徴量である。上述したように、特許文献１に開示された、なりすまし検知装置は、この問題を、輝点の位置を予測し、予測結果に基づいて特徴量を補正することによって対処している。
　これに対して、本発明では、ある程度の不確かさが伴う輝点位置の予測を行う代わりに、図２の右側に示す特徴量２０５と特徴量２０６とが算出される。特徴量２０５と特徴量２０６とは、輝点の位置に依存しない特徴量である。従って、本発明によれば、環境変化に対して頑健な、なりすまし検知を、より容易に、且つ、より正確に行うことができる。
　以下、本発明の実施の形態について説明する。なお、以下の記載及び図面は、説明の明確化のため、適宜、省略及び簡略化が為されている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。また、各実施の形態で示す具体的な数値などは、発明の理解を容易とするための例示に過ぎず、これに限定されるものではない。
（実施の形態１）
　以下、本発明の実施の形態１における、なりすまし検知装置、なりすまし検知方法、及びプログラムについて、図３～図５を参照しながら説明する。
［装置構成］
　最初に、図３を用いて、本実施の形態１におけるなりすまし検知装置の構成について説明する。図３は、本発明の実施の形態１におけるなりすまし検知装置の構成を示すブロック図である。
　図３に示す、本実施の形態１における、なりすまし検知装置３００は、顔認証時のなりすましを検知するための装置である。図１に示すように、なりすまし検知装置３００は、顔画像取得部３０１と、顔情報抽出部３０２と、特徴量算出部３０３と、なりすまし判定部３０４とを備えている。
　顔画像取得部３０１は、撮像装置３１０から、それに付随する発光装置３２０によって発光が行われた際の対象者の顔を含む第１の画像フレームと、発光装置３２０が消灯している際の対象者の顔を含む第２の画像フレームを取得する。
　顔情報抽出部３０２は、第１の画像フレームから、対象者の顔の部分を特定する情報を第１の顔情報として抽出する。また、顔情報抽出部３０２は、第２の画像フレームから、対象者の顔の部分を特定する情報を第２の顔情報として抽出する。
　特徴量算出部３０３は、第１の画像フレームから、第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出する。また、特徴量算出部３０３は、第２の画像フレームから、第２の顔情報に基づいて、上記の輝点を含む部分に対応する部分を抽出する。そして、特徴量算出部３０３は、抽出した２つの部分から、輝点の位置に依存しない特徴量を算出する。
　なりすまし判定部３０４は、特徴量算出部３０３が算出した特徴量に基づいて、撮像装置３１０によって撮影された対象者の真偽判定を行う。具体的には、なりすまし判定部３０４は、撮影された対象者が、本物の人間であるかどうかを判定する。
　このように、本実施の形態１においては、なりすまし検知装置３００は、背景技術の欄に記載した従来のなりすまし検知装置と異なり、輝点の位置に依存しない特徴量を算出することができる（上述の図２参照）。このため、本実施の形態１によれば、顔認証の際に、反射輝点の位置依存性に影響されることなく、なりすましを検知することができる。
　続いて、本実施の形態１におけるなりすまし検知装置３００の構成についてより具体的に説明する。まず、図１に示すように、本実施の形態１では、なりすまし検知装置３００は、発光装置３２０を備えた撮像装置３１０に接続されている。撮像装置３１０としては、デジタルカメラ、デジタルビデオカメラ等が挙げられる。
　顔画像取得部３０１は、上述したように、発光装置が発光中に撮影された第１の画像フレームと、発光装置が消灯中に撮影された第２の画像フレームとを取得する。また、このとき取得される第１の画像フレーム及び第２の画像フレームは、静止画像の画像フレームであっても良いし、動画像の画像フレームあっても良い。
　顔情報抽出部３０２は、本実施の形態１では、まず、第１の画像フレーム及び第２の画像フレームそれぞれから、対象者の顔の部分の領域（以下「顔領域」と表記する）を検出する。具体的には、顔情報抽出部３０２は、例えば、Ｈａａｒ－ｌｉｋｅ特徴量を用いて、顔領域を検出する。Ｈａａｒ－ｌｉｋｅ特徴量を用いた顔領域の検出方法は、例えば、下記の参考文献１に開示されている。
［参考文献１］
　P.Viola and M. Jones, “Rapid Object Detection Using aBoosted Cascade of Simple Features,” Proceedings of the2001 IEEE Computer Society Conference on Computer Vision and PatternRecognition (CVPR), Vol. 1, 2001, pp. 511-518.
　続いて、顔情報抽出部３０２は、第１の画像フレームから抽出した顔領域から、第１の顔情報を抽出し、第２の画像フレームから抽出した顔領域から、第２の顔情報を抽出する。具体的には、顔情報抽出部３０２は、顔領域から、顔の各部の領域を推定し、推定した各部の領域の位置を特定する情報を顔情報とする。また、顔情報には、推定された虹彩領域の位置を特定する情報も含まれている。
　また、虹彩領域の推定方法としては、例えば、まず、目の領域を検出して目間距離を算出し、次いで、この目間距離を用いて、目の中心と同じ中心を持ち、且つ一辺が目間距離の六分の一である、正方形を設定し、この正方形の領域を虹彩領域とする方法が挙げられる。また、目の領域の検出方法としては、例えば、下記の参考文献２に開示されているリングガボールフィルターを用いた方法が挙げられる。
［参考文献２］
　Zhang, Y., Sun, N., Gao, Y., and Cao, M. (2008). A new eye locationmethod based on Ring Gabor Filter. In Automation and Logistics, 2008. ICAL2008. IEEE International Conference On, (IEEE), pp. 301-305.
　特徴量算出部３０３は、本実施の形態１では、第１の顔情報を用いて、第１の画像フレーム中の虹彩領域（以下「第１の虹彩領域」と表記する）を抽出し、更に、第２の顔情報を用いて、第２の画像フレーム中の虹彩領域（以下「第２の虹彩領域」と表記する）を抽出する。
　そして、特徴量算出部３０３は、第１の虹彩領域のピクセル毎の輝度値Linと、第２の虹彩領域のピクセル毎の輝度値Loutとを求め、ピクセル毎に、両者の差分（Lin-Lout）を仮の特徴量として算出する。また、特徴量算出部３０３は、仮の特徴量（Lin-Lout）に対して、標準化又はスケーリング等を行って、これを扱いやすい形に変形することもできる。
　続いて、特徴量算出部３０３は、輝点の位置依存性のない特徴量を得るため、仮の特徴量に対して、位置依存性を解消するための変換処理を実行する。例えば、特徴量算出部３０３は、２次元平面である虹彩領域から計算された仮の特徴量（ピクセル毎の差分（Lin-Lout））を、１次元のベクトルに変換し、ピクセル毎の値を昇順または降順に並び替えことによって、変換を行う。このようにして変換された特徴量は、位置依存性を解消した特徴量となる。
　図４は、本発明の実施の形態１によって得られた特徴量の一例を示す図である。図４の例では、特徴量６０１は、対象者が本物の人である場合に得られた特徴量である。特徴量６０２は、写真又は画像の顔から得られた特徴量である。
　なりすまし判定部３０４は、本実施の形態１では、特徴量算出部３０３によって計算された特徴量算出部を、予め作成された分類器に適用することによって、対象者の真偽判定、即ち、対象者が本物の人間であるかどうかを判定する。
　具体的には、分類器としては、例えば、サポートベクトルマシン（ＳＶＭ：Support Vector Machine）を用いて構築されたＳＶＭ２値分類器が挙げられる。また、この分類器は、予め、本物の人の顔の画像から算出された特徴量と、偽の人の顔の画像から算出された特徴量とを用意し、これらを用いた学習を行うことによって構築される。なお、サポートベクトルマシンを用いた分類器の構築方法は、下記の参考文献３に開示されている。
［参考文献３］
　V. Vapnik and A. Lerner. Pattern recognition using generalizedportrait method. Automation and Remote Control, 24, 1963.
［装置動作］
　次に、本発明の実施の形態１における、なりすまし検知装置３００の動作について図５を用いて説明する。図５は、本発明の実施の形態１における、なりすまし検知装置の動作を示すフロー図である。以下の説明においては、適宜図３及び図４を参酌する。また、本実施の形態１では、なりすまし検知装置３００を動作させることによって、なりすまし検知方法が実施される。よって、本実施の形態１におけるなりすまし検知方法の説明は、以下のなりすまし検知装置３００の動作説明に代える。
　図５に示すように、最初に、顔画像取得部３０１は、撮像装置３１０から、それに付随する発光装置３２０によって発光が行われた際の対象者の顔を含む第１の画像フレームと、発光装置３２０が消灯している際の対象者の顔を含む第２の画像フレームを取得する（ステップＡ１）。
　次に、顔情報抽出部３０２は、第１の画像フレームから、対象者の顔の部分を特定する情報を第１の顔情報として抽出し、第２の画像フレームからも、対象者の顔の部分を特定する情報を第２の顔情報として抽出する（ステップＡ２）。
　次に、特徴量算出部３０３は、第１の画像フレームから、第１の顔情報に基づいて、輝点を含む部分を抽出し、第２の画像フレームから、第２の顔情報に基づいて、輝点を含む部分に対応する部分を抽出する。そして、特徴量算出部３０３は、抽出した２つの部分から、輝点の位置に依存しない特徴量を算出する（ステップＡ３）。
　具体的には、ステップＡ３では、特徴量算出部３０３は、まず、第１の顔情報を用いて、第１の画像フレーム中の第１の虹彩領域を抽出し、更に、第２の顔情報を用いて、第２の画像フレーム中の第２の虹彩領域を抽出する。次いで、特徴量算出部３０３は、第１の虹彩領域のピクセル毎の輝度値Linと、第２の虹彩領域のピクセル毎の輝度値Loutとの、ピクセル毎の差分（Lin-Lout）を仮の特徴量として算出する。そして、特徴量算出部３０３は仮の特徴量に対して、位置依存性を解消するための変換処理を実行して、位置依存性を解消した特徴量を算出する。
　その後、なりすまし判定部３０４は、ステップＡ３で特徴量算出部３０３が算出した特徴量に基づいて、撮像装置３１０によって撮影された対象者の真偽判定を行う（ステップＡ４）。具体的には、なりすまし判定部３０４は、撮影された対象者が、本物の人間であるかどうかを判定する。
　ステップＡ４の実行後、なりすまし検知装置は、検知結果を利用する装置に、判定結果を通知する。通知を受けた装置は、検知結果が本物の人間である場合は、認証処理を続行し、検知結果が本物の人間でない場合は、認証処理を停止する。
［実施の形態１における効果］
　以上のように本実施の形態１によれば、なりすまし検知装置３００は、対象者の瞳の虹彩領域に形成された輝点の位置に依存しない特徴量を算出し、この特徴量に基づいて、なりすましかどうかを判定することができる。このため、本実施の形態１によれば、撮像装置３１０と顔との位置関係に影響されることなく、即ち、反射輝点の位置依存性に影響されることなく、なりすまし検知を行うことができる。
［プログラム］
　本実施の形態１におけるプログラムは、コンピュータに、図５に示すステップＡ１～Ａ４を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態１における、なりすまし検知装置３００となりすまし検知方法とを実現することができる。この場合、コンピュータのプロセッサは、顔画像取得部３０１、顔情報抽出部３０２、特徴量算出部３０３、及びなりすまし判定部３０４として機能し、処理を行なう。
　また、本実施の形態１におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、顔画像取得部３０１、顔情報抽出部３０２、特徴量算出部３０３、及びなりすまし判定部３０４のいずれかとして機能しても良い。
（実施の形態２）
　次に、本発明の実施の形態２における、なりすまし検知装置、なりすまし検知方法、及びプログラムについて、図６及び図７を参照しながら説明する。
［装置構成］
　最初に、図６を用いて、本実施の形態２におけるなりすまし検知装置の構成について説明する。図６は、本発明の実施の形態２におけるなりすまし検知装置の構成を示すブロック図である。
　図６に示すように、本実施の形態２における、なりすまし検知装置３５０は、携帯型の端末装置５００によって構築されている。具体的には、なりすまし検知装置３５０は、端末装置５００のオペレーティングシステム上で動作するプログラムによって構築されている。また、端末装置５００は、撮像装置３１０と、発光装置３２０と、表示装置３３０と、入力装置３４０とを備えている。
　また、図６に示すように、本実施の形態２においても、なりすまし検知装置３５０は、図３に示した実施の形態１における、なりすまし検知装置３００と同様に、顔画像取得部３０１と、顔情報抽出部３０２と、特徴量算出部３０３と、なりすまし判定部３０４とを備えている。これらの機能は、実施の形態１で述べた通りである。
　但し、本実施の形態２では、実施の形態１と異なり、なりすまし検知装置３５０は、更に、撮影制御部３０５を備えている。撮影制御部３０５は、撮像装置３１０による撮影、発光装置３２０による発光及び消灯を制御し、発光装置３２０における発光時間、及び撮像装置３１０における撮影タイミングを設定する。
　具体的には、撮影制御部３０５は、発光装置３２０に対して発光を指示した後、撮像装置３１０に対して１５０ミリ秒の撮影を指示する。また、その後、撮影制御部３０５は、発光装置３２０に対して消灯を指示した後、撮像装置３１０に対して１５０ミリ秒の撮影を指示する。
［装置動作］
　次に、本発明の実施の形態２における、なりすまし検知装置３５０の動作について図５を用いて説明する。図７は、本発明の実施の形態２における、なりすまし検知装置の動作を示すフロー図である。以下の説明においては、適宜図６を参酌する。また、本実施の形態２では、なりすまし検知装置３５０を動作させることによって、なりすまし検知方法が実施される。よって、本実施の形態２におけるなりすまし検知方法の説明は、以下のなりすまし検知装置３５０の動作説明に代える。
　なお、図７の例では、対象者の顔の発光中の画像と、消灯中の画像とがそれぞれ１枚撮影されているものとする。また、発光装置３２０の発光時間は３００ミリ秒で、発光開始から１５０ミリ秒後に１枚の画像が撮影され、消灯開始から１５０ミリ秒後に１枚の画像が撮影されるものとする。
　図７に示すように、最初に、端末装置５００に対して認証が指示されると、撮影制御部３０５は、発光装置３２０に対して撮影と同時に発光を行うように指示を与え（ステップＢ１）、更に、撮像装置３１０に対して撮影を指示する（ステップＢ２）。
　ステップＢ２が実行されると、撮像装置３１０によって撮影が行われ、画像データが出力されてくるので、顔画像取得部３０１は、出力されてきた画像データを、第１の画像フレームとして取得する（ステップＢ３）。
　次に、ステップＢ３の実行後、撮影制御部３０５は、発光装置３２０に対して消灯を行うように指示を与え（ステップＢ４）、更に、撮像装置３１０に対して撮影を指示する（ステップＢ５）。
　ステップＢ５が実行されると、撮像装置３１０によって撮影が行われ、画像データが出力されてくるので、顔画像取得部３０１は、出力されてきた画像データを、第２の画像フレームとして取得する（ステップＢ６）。
　次に、顔情報抽出部３０２は、ステップＢ３で取得された第１の画像フレームから、対象者の顔の部分を特定する情報を第１の顔情報として抽出し、ステップＢ６で取得された第２の画像フレームからも、対象者の顔の部分を特定する情報を第２の顔情報として抽出する（ステップＢ７）。
　次に、特徴量算出部３０３は、第１の画像フレームから、第１の顔情報に基づいて、輝点を含む部分を抽出し、第２の画像フレームから、第２の顔情報に基づいて、輝点を含む部分に対応する部分を抽出する。そして、特徴量算出部３０３は、抽出した２つの部分から、輝点の位置に依存しない特徴量を算出する（ステップＢ８）。
　次に、なりすまし判定部３０４は、ステップＢ８で特徴量算出部３０３が算出した特徴量に基づいて、撮像装置３１０によって撮影された対象者の真偽判定を行う（ステップＢ９）。具体的には、なりすまし判定部３０４は、撮影された対象者が、本物の人間であるかどうかを判定する。なお、ステップＢ７～Ｂ９は、それぞれ、図５に示したステップＡ２～Ａ４の対応するステップと同様のステップである。
　その後、なりすまし判定部３０４は、ステップＢ９の判定の結果（検知結果）を、端末装置５００の表示装置３３０によって画面上に提示する（ステップＢ１０）。これにより、端末装置５００のユーザは、検知結果を確認することができる。また、端末装置５００、検知結果が本物の人間である場合は、認証処理を続行し、検知結果が本物の人間でない場合は、認証処理を停止する。
［実施の形態２の効果］
　以上のように本実施の形態２においても、実施の形態１と同様に、なりすまし検知装置３５０は、対象者の瞳の虹彩領域に形成された輝点の位置に依存しない特徴量を算出し、この特徴量に基づいて、なりすましかどうかを判定することができる。このため、本実施の形態２によれば、撮像装置３１０と顔との位置関係に影響されることなく、即ち、反射輝点の位置依存性に影響されることなく、なりすまし検知を行うことができる。
［プログラム］
　本実施の形態２におけるプログラムは、コンピュータに、図７に示すステップＢ１～Ｂ１０を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態２における、なりすまし検知装置３５０となりすまし検知方法とを実現することができる。この場合、コンピュータのプロセッサは、顔画像取得部３０１、顔情報抽出部３０２、特徴量算出部３０３、なりすまし判定部３０４、及び撮影制御部３０５として機能し、処理を行なう。
　また、本実施の形態２におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、顔画像取得部３０１、顔情報抽出部３０２、特徴量算出部３０３、なりすまし判定部３０４、及び撮影制御部３０５のいずれかとして機能しても良い。
（実施の形態３）
　次に、本発明の実施の形態３における、なりすまし検知装置、なりすまし検知方法、及びプログラムについて、図８～図９を参照しながら説明する。
［装置構成］
　最初に、本実施の形態３におけるなりすまし検知装置の構成について説明する。本実施の形態３において、なりすまし検知装置の構成は、図６に示した実施の形態２における、なりすまし検知装置３５０と同様の構成を備えている。従って、本実施の形態３においては、図６を参照する。
　但し、本実施の形態３における、なりすまし検知装置は、特徴量算出部３０３及びなりすまし判定部３０４の機能の点で、実施の形態２における、なりすまし検知装置３５０と異なっている。以下、相違点を中心に説明する。
　本実施の形態３では、より正確ななりすまし検知を達成する。このため、特徴量算出部３０３は、実施の形態１及び２に示した、輝点の位置に依存しない特徴量（以下「第１の特徴量」と表記する）に加えて、第２の特徴量を算出し、これらを統合する。
　本実施の形態３において、第２の特徴量は、対象者の顔の拡散反射に基づいて求められており、顔の立体的形状を反映する特徴量である。人の顔領域では、虹彩領域で起こる鏡面反射は起こらず、フラッシュの光は、顔の立体的形状（凹凸）によって拡散反射する。従って、この拡散反射のパターンに基づいて、顔の立体形状を反映した特徴量を計算すれば、立体的な真の顔なのか、平面的な写真又は表示画面上の顔なのかを判定することができる。
　具体的には、特徴量算出部３０３は、第１の画像データから、第１の顔情報に基づいて、対象者の顔領域（以下「第１の顔領域」と表記する）を特定し、第２の画像データからも、第２の顔情報に基づいて、対象者の顔領域（以下「第２の顔領域」と表記する）を特定する。そして、特徴量算出部３０３は、第１の顔領域の輝度分布と第２の顔領域の輝度分布との差分を求め、求めた差分から第２の特徴量を算出する。
　ここで、第２の特徴量の算出方法について説明する。まず、拡散反射のモデルであるランバートモデルを検討する。ランバートモデルは、観測された輝度値Lを以下のように光源成分I、反射係数K、表面の角度成分θに由来すると考えるものである。
Figure JPOXMLDOC01-appb-M000001
　ここで、Kが光の波長λの関数であるため、観測された輝度値Lもまた波長λの関数となってしまう。よって、輝度値Lは、光の波長λ、即ち、光の色に依存性のある観測値であると言える。ところが、顔表面の色に依存して特徴量が変化してしまっては、正確に、なりすましを検知することができなくなる。そこで、発光装置３２０の発光中の画像と、発光装置３２０の消灯中の画像とを利用して、反射係数Kに依存しない第２の特徴量が算出される。具体的には、第２の特徴量は、以下のようにして算出される。
　発光装置３２０の発光中に撮影された第１の画像フレームのピクセル毎の輝度値Linと、発光装置３２の消灯中に撮影された第２の画像フレームのピクセル毎の輝度値Loutとは、それぞれ以下の数２及び数３に示すように書き表すことができる。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　ここで、上記の数１に倣い、Iは光源成分、Kは色依存の反射係数、θは表面の角度成分である。また、Ic及びIbは、それぞれ、カメラのフラッシュ光の強度、背景光（環境光）の強度である。x及びyは、画像フレームにおけるピクセルの位置を表している。θc及びθbは、それぞれ、カメラ光の入射角、背景光の入射角を表している。そして、顔領域の表面の色に依存せず、且つ、顔の立体的形状を反映する、第２の特徴量を求めることは、Kに依存しない特徴量を求めることに等しい。そこで、ピクセル毎の輝度値LinとLoutとの比を用いた特徴量として、次の数４を導入する。
Figure JPOXMLDOC01-appb-M000004
　数４に示す特徴量は、反射係数Kに非依存であり、色依存性が解消された特徴量であると言える。また、特徴量算出部３０３は、数４に示す特徴量を、１次元のベクトルに変換し、ピクセル毎の値を昇順または降順に並び替えことによって、変換を行う。これにより、得られた特徴量は、顔の表面で生じる光拡散反射が大きいほど値が大きくなるので、顔の立体的形状を反映している。
　なりすまし判定部３０４は、本実施の形態３では、統合された第１の特徴量と第２の特徴量とを用いて真偽判定を行う。つまり、本実施の形態３では、顔情報を基にして、顔の複数の領域から異なる特徴量が計算され、それらを統合した特徴量に基づいて、真偽判定が行われる。
［装置動作］
　次に、本発明の実施の形態３における、なりすまし検知装置の動作について図８を用いて説明する。図８は、本発明の実施の形態３における、なりすまし検知装置の動作を示すフロー図である。以下の説明においては、適宜図６を参酌する。また、本実施の形態３では、なりすまし検知装置を動作させることによって、なりすまし検知方法が実施される。よって、本実施の形態３におけるなりすまし検知方法の説明は、以下のなりすまし検知装置の動作説明に代える。
　なお、図８の例においても、図７の例と同様に、対象者の顔のフラッシュ点灯中の画像と、フラッシュ消灯中の画像とがそれぞれ１枚撮影されているものとする。また、フラッシュ点灯時間は３００ミリ秒で、フラッシュ点灯開始から１５０ミリ秒後に１枚の画像が撮影され、フラッシュ消灯開始から１５０ミリ秒後に１枚の画像が撮影されるものとする。
　図８に示すように、最初に、端末装置５００に対して認証が指示されると、撮影制御部３０５は、発光装置３２０に対して撮影と同時に発光を行うように指示を与え（ステップＣ１）、更に、撮像装置３１０に対して撮影を指示する（ステップＣ２）。
　ステップＣ２が実行されると、撮像装置３１０によって撮影が行われ、画像データが出力されてくるので、顔画像取得部３０１は、出力されてきた画像データを、第１の画像フレームとして取得する（ステップＣ３）。
　次に、ステップＣ３の実行後、撮影制御部３０５は、発光装置３２０に対して消灯を行うように指示を与え（ステップＣ４）、更に、撮像装置３１０に対して撮影を指示する（ステップＣ５）。
　ステップＣ５が実行されると、撮像装置３１０によって撮影が行われ、画像データが出力されてくるので、顔画像取得部３０１は、出力されてきた画像データを、第２の画像フレームとして取得する（ステップＣ６）。
　次に、顔情報抽出部３０２は、ステップＣ３で取得された第１の画像フレームから、対象者の顔の部分を特定する情報を第１の顔情報として抽出し、ステップＣ６で取得された第２の画像フレームからも、対象者の顔の部分を特定する情報を第２の顔情報として抽出する（ステップＣ７）。
　次に、特徴量算出部３０３は、第１の画像フレームから、第１の顔情報に基づいて、輝点を含む部分を抽出し、第２の画像フレームから、第２の顔情報に基づいて、輝点を含む部分に対応する部分を抽出する。そして、特徴量算出部３０３は、抽出した２つの部分から、輝点の位置に依存しない特徴量を算出する（ステップＣ８）。
　上述したステップＣ１～Ｃ８は、実施の形態２において図７に示したステップＢ１～Ｂ８と同様のステップであり、これらのステップによって同様の処理が行われる。但し、本実施の形態３においては、ステップＣ８に並行して、又はステップＣ８と前後して、ステップＣ９が実行される。
　ステップＣ９では、特徴量算出部３０３は、対象者の顔の拡散反射に基づいて、顔の立体的形状を反映する第２の特徴量を算出する。具体的には、特徴量算出部３０３は、第１の画像データから、第１の顔情報に基づいて、第１の顔領域を特定し、第２の画像データからも、第２の顔情報に基づいて、第２の顔領域を特定する。そして、特徴量算出部３０３は、第１の顔領域の輝度分布と第２の顔領域の輝度分布との差分を求め、求めた差分から第２の特徴量を算出する。
　図９は、本実施の形態３において、虹彩領域から算出された特徴量と顔領域から算出された特徴量との一例を示す図である。図９に示すように、本実施の形態３では、虹彩領域から算出された特徴量と顔領域から算出された特徴量とが得られている。図９において、７０１は、本物の顔の虹彩領域から計算された特徴ベクトルを示し、７０２は、偽物の顔の虹彩領域から計算された特徴ベクトルを示している。
　次に、特徴量算出部３０３は、ステップＣ８で得られた特徴量と、ステップＣ９で得られた特徴量とを統合する（ステップＣ１０）。具体的には、各特徴量は、１次元のベクトルに変換されているので、２つの特徴量を統合して１つのベクトルとする。
　次に、なりすまし判定部３０４は、ステップＣ１０で統合された特徴量に基づいて、撮像装置３１０によって撮影された対象者の真偽判定を行う（ステップＣ１０）。具体的には、なりすまし判定部３０４は、撮影された対象者が、本物の人間であるかどうかを判定する。ステップＣ１０は、図７に示したステップＢ９と同様のステップである。
　その後、なりすまし判定部３０４は、ステップＢ９の判定の結果（検知結果）を、端末装置５００の表示装置３３０によって画面上に提示する（ステップＣ１１）。ステップＣ１１は、図７に示したステップＢ１０と同様のステップである。
　これにより、本実施の形態３においても、端末装置５００のユーザは、検知結果を確認することができる。また、端末装置５００、検知結果が本物の人間である場合は、認証処理を続行し、検知結果が本物の人間でない場合は、認証処理を停止する。
［実施の形態３の効果］
　以上のように、本実施の形態３では、発光装置３２０からの光が鏡面反射する虹彩領域と、発光装置３２０からの光が拡散反射する顔領域という反射の形態が異なる２領域を組み合わせて、特徴量が算出される。そして、この組合せによる特徴量によって真偽判定が行われるので、本実施の形態３によれば、より精度の高い、なりすまし検知が可能となる。
［プログラム］
　本実施の形態３におけるプログラムは、コンピュータに、図８に示すステップＣ１～Ｃ１２を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態３における、なりすまし検知装置となりすまし検知方法とを実現することができる。この場合、コンピュータのプロセッサは、顔画像取得部３０１、顔情報抽出部３０２、特徴量算出部３０３、なりすまし判定部３０４、及び撮影制御部３０５として機能し、処理を行なう。
　また、本実施の形態３におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、顔画像取得部３０１、顔情報抽出部３０２、特徴量算出部３０３、なりすまし判定部３０４、及び撮影制御部３０５のいずれかとして機能しても良い。
（各実施の形態における変形例）
　上述の実施の形態３においては、なりすまし判定部３０４は、ステップＣ８で算出した特徴量に基づいた真偽判定と、ステップＣ９で算出した特徴量に基づいた真偽判定とを別々に実行することができる。この場合、なりすまし判定部３０４は、２つの真偽判定の結果から総合的に判断して、最終的になりすましか否かを判定する。
　具体的には、なりすまし判定部３０４は、真偽判定毎に、真である可能性を示すスコア（真贋値）を算出し、例えば、２つのスコアの平均値を求め、平均値が一定値以上を超えたら真である（本物の人間である）と判定する。
　また、上述の実施の形態２及び３では、発光装置３２０の発光中及び消灯中に撮影する顔画像はそれぞれ１枚の静止画であり、発光時間は３００ミリ秒、撮影タイミングは、それぞれ、発光開始から１５０ミリ秒と、消灯後１５０ミリ秒とであるとしている。但し、これらの設定は、一例であり、変更されても良い。例えば、撮影制御部３０５は、ユーザが端末装置５００に入力した値に応じて、設定を変更することもできる。
　また、上述の実施の形態１～３においては、撮像装置３１０による撮影は、対象者の顔が静止している状態で行われる。これは、画像中の対象者の顔の抽出が必要となるからである。そのため、撮影時において、対象者に顔を動かさないよう促すことが好ましい。このため、顔画像取得部３０１は、例えば、撮影を指示する前に、表示装置の表示画面等に、対象者の顔を動かさないように促すメッセージを表示するのが良い。
（物理構成）
　ここで、実施の形態１～３におけるプログラムを実行することによって、なりすまし検知装置を実現するコンピュータについて図１０を用いて説明する。図１０は、本発明の実施の形態１～３における、なりすまし検知装置を実現するコンピュータの一例を示すブロック図である。
　図１０に示す、コンピュータ４００は、例えば、携帯電話機、スマートフォンなどの携帯型の端末装置に組み込まれるコンピュータである。図１０に示すように、コンピュータ４００は、プロセッサ４０１と、メモリ４０２と、ストレージ４０３と、入出力インタフェース（入出力Ｉ／Ｆ）４０４と、通信インタフェース（通信Ｉ／Ｆ）４０５とを備えている。プロセッサ４０１、メモリ４０２、ストレージ４０３、入出力インタフェース４０４、及び通信インタフェース４０５は、相互にデータを送受信するためのデータ伝達路（バス）４０６で接続されている。なお、コンピュータ４００のハードウェア構成は、図１０に示される構成に制限されるものではない。
　プロセッサ４０１は、例えば、ＣＰＵ（central processing unit）、ＧＰＵ（graphics processing unit）等の演算処理装置である。メモリ４０２は、例えば、ＲＡＭ（random Access Memory）、ＲＯＭ（read only memory）等のメモリである。ストレージ４０３は、例えば、ＨＤＤ（hard disk drive）、ＳＳＤ（solid state drive）、又はメモリカード等の記憶装置である。
　メモリ４０２またはストレージ４０３は、なりすまし検知装置を構成する各部を実現するためのプログラムを記憶している。プロセッサ４０１が、プログラムを実行することで、各部が実現され、各種処理が実行される。ここで、プロセッサ４０１は、プログラムを実行する際、プログラムをメモリ４０２上に読みだしてから、これを実行しても良いし、メモリ４０２上に読みださずに、これを実行しても良い。
　また、上記のプログラムは、様々なタイプの非一時的なコンピュータ読み取り可能な記録媒体に格納されて、コンピュータ４００に供給されても良い。非一時的なコンピュータ読み取り可能な記録媒体としては、様々なタイプの実体のある記録媒体が挙げられる。
　非一時的なコンピュータ読み取り可能な記録媒体の例としては、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（compact disc read only memory）、ＣＤ－Ｒ（compactdisc recordable）、ＣＤ－Ｒ／Ｗ（compact disc rewritable）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（programmable ROM）、ＥＰＲＯＭ（erasable PROM）、フラッシュＲＯＭ、ＲＡＭ）等が挙げられる。
　また、プログラムは、様々なタイプの一時的なコンピュータ読み取り可能な記録媒体によってコンピュータ４００に供給されても良い。一時的なコンピュータ読み取り可能な記録媒体の例としては、電気信号、光信号、及び電磁波が挙げられる。一時的なコンピュータ読み取り可能な記録媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　入出力インタフェース４０４は、撮像装置３１０、表示装置３３０、及び入力装置３４０等と接続される。表示装置３３０は、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）ディスプレイのような、プロセッサ４０１により処理された描画データに対応して画面を表示する装置である。通信インタフェース４０５は、外部の装置との間でデータを送受信する。例えば、通信インタフェース４０５は、有線ネットワーク又は無線ネットワークを介して外部装置と通信する。
　撮像装置３１０は、デジタルカメラ、デジタルビデオカメラ等のように、ユーザ又は対象者自身が対象者の顔等を撮影するための装置である。入力装置３４０は、ユーザの操作入力を受け付ける装置であり、例えば、キーボード、タッチセンサ、タッチパネル等である。入力装置３４０が、例えば、タッチパネルである場合は、入力装置３４０と表示装置３３０とは一体化されていても良い。
　なお、本実施の形態における、なりすまし検知装置は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、なりすまし検知装置は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
　上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１２）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
　撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、顔画像取得部と、
　前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、顔情報抽出部と、
　前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、特徴量算出部と、
　前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、なりすまし判定部と、を備えている、
ことを特徴とする、なりすまし検知装置。
（付記２）
付記１に記載のなりすまし検知装置であって、
　前記発光装置における発光時間、及び前記撮像装置における撮影タイミングを設定する、撮影制御部を更に備えている、
ことを特徴とする、なりすまし検知装置。
（付記３）
付記１または２に記載のなりすまし検知装置であって、
　前記特徴量算出部が、前記輝点の位置に依存しない特徴量に加えて、対象者の顔の立体的形状を反映する第２の特徴量を算出し、
　前記なりすまし判定部が、前記輝点の位置に依存しない特徴量と、前記第２の特徴量とに基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、
ことを特徴とする、なりすまし検知装置。
（付記４）
付記３に記載のなりすまし検知装置であって、
　前記なりすまし判定部が、前記輝点の位置に依存しない特徴量に基づいた真偽判定と、前記第２の特徴量に基づいた真偽判定とを別々に実行し、真偽判定毎に、真である可能性を示すスコアを算出し、各真偽判定で算出された前記スコアに基づいて、最終的な真偽判定を実行する、
ことを特徴とする、なりすまし検知装置。
（付記５）
（ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
（ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
（ｃ）前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、ステップと、
（ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を有する、
ことを特徴とする、なりすまし検知方法。
（付記６）
付記５に記載のなりすまし検知方法であって、
（ｅ）前記発光装置における発光時間、及び前記撮像装置における撮影タイミングを設定する、ステップを更に有する、
ことを特徴とする、なりすまし検知方法。
（付記７）
付記５または６に記載のなりすまし検知方法であって、
　前記（ｃ）のステップにおいて、前記輝点の位置に依存しない特徴量に加えて、対象者の顔の立体的形状を反映する第２の特徴量を算出し、
　前記（ｄ）のステップにおいて、前記輝点の位置に依存しない特徴量と、前記第２の特徴量とに基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、
ことを特徴とする、なりすまし検知方法。
（付記８）
付記７に記載のなりすまし検知方法であって、
　前記（ｄ）のステップにおいて、前記輝点の位置に依存しない特徴量に基づいた真偽判定と、前記第２の特徴量に基づいた真偽判定とを別々に実行し、真偽判定毎に、真である可能性を示すスコアを算出し、各真偽判定で算出された前記スコアに基づいて、最終的な真偽判定を実行する、
ことを特徴とする、なりすまし検知方法。
（付記９）
コンピュータに、
（ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
（ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
（ｃ）前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、ステップと、
（ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を実行させる命令を含む、プログラムを記録している、
ことを特徴とする、コンピュータ読み取り可能な記録媒体。
（付記１０）
付記９に記載のコンピュータ読み取り可能な記録媒体であって、
前記プログラムが、前記コンピュータに、
（ｅ）前記発光装置における発光時間、及び前記撮像装置における撮影タイミングを設定する、ステップを実行させる命令を更に含む、
ことを特徴とする、コンピュータ読み取り可能な記録媒体。
（付記１１）
付記９または１０に記載のコンピュータ読み取り可能な記録媒体であって、
　前記（ｃ）のステップにおいて、前記輝点の位置に依存しない特徴量に加えて、対象者の顔の立体的形状を反映する第２の特徴量を算出し、
　前記（ｄ）のステップにおいて、前記輝点の位置に依存しない特徴量と、前記第２の特徴量とに基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、
ことを特徴とする、コンピュータ読み取り可能な記録媒体。
（付記１２）
付記１１に記載のコンピュータ読み取り可能な記録媒体であって、
　前記（ｄ）のステップにおいて、前記輝点の位置に依存しない特徴量に基づいた真偽判定と、前記第２の特徴量に基づいた真偽判定とを別々に実行し、真偽判定毎に、真である可能性を示すスコアを算出し、各真偽判定で算出された前記スコアに基づいて、最終的な真偽判定を実行する、
ことを特徴とする、コンピュータ読み取り可能な記録媒体。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　以上のように本発明によれば、顔認証の際に、反射輝点の位置依存性に影響されることなく、なりすまし検知を実行することができる。本発明は、顔認証が行われる種々のシステムに有用である。
　１０１　ユーザ
　１０２　フラッシュ点灯中のカメラ付き端末装置
　１０３　フラッシュ消灯中のカメラ付き端末装置
　１０５　フラッシュ点灯中の画像
　１０６　フラッシュ消灯中の画像
　２０１、２０２　虹彩領域の画像の一部
　２０３、２０４　虹彩領域から計算された従来の特徴量
　２０５、２０６　虹彩領域から計算された本発明の特徴量
　３００　なりすまし検知装置（実施の形態１）
　３０１　顔画像取得部
　３０２　顔情報抽出部
　３０３　特徴量算出部
　３０４　なりすまし判定部
　３０５　撮影制御部
　３１０　撮像装置
　３２０　発光装置
　３３０　表示装置
　３４０　入力装置
　３５０　なりすまし検知装置（実施の形態２）
　４００　コンピュータ
　４０１　プロセッサ
　４０２　メモリ
　４０３　ストレージ
　４０４　入出力インタフェース（入出力Ｉ／Ｆ）
　５００　端末装置
　７０１　本物の顔の虹彩領域から計算された特徴ベクトル
　７０２　偽物の顔の虹彩領域から計算された特徴ベクトル

Claims (6)

  1. 　撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、顔画像取得部と、
    　前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、顔情報抽出部と、
    　前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、特徴量算出部と、
    　前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、なりすまし判定部と、を備えている、
    ことを特徴とする、なりすまし検知装置。
  2. 請求項１に記載のなりすまし検知装置であって、
    　前記発光装置における発光時間、及び前記撮像装置における撮影タイミングを設定する、撮影制御部を更に備えている、
    ことを特徴とする、なりすまし検知装置。
  3. 請求項１または２に記載のなりすまし検知装置であって、
    　前記特徴量算出部が、前記輝点の位置に依存しない特徴量に加えて、対象者の顔の立体的形状を反映する第２の特徴量を算出し、
    　前記なりすまし判定部が、前記輝点の位置に依存しない特徴量と、前記第２の特徴量とに基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、
    ことを特徴とする、なりすまし検知装置。
  4. 請求項３に記載のなりすまし検知装置であって、
    　前記なりすまし判定部が、前記輝点の位置に依存しない特徴量に基づいた真偽判定と、前記第２の特徴量に基づいた真偽判定とを別々に実行し、真偽判定毎に、真である可能性を示すスコアを算出し、各真偽判定で算出された前記スコアに基づいて、最終的な真偽判定を実行する、
    ことを特徴とする、なりすまし検知装置。
  5. （ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
    （ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
    （ｃ）前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、ステップと、
    （ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を有する、
    ことを特徴とする、なりすまし検知方法。
  6. コンピュータに、
    （ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
    （ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
    （ｃ）前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、ステップと、
    （ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を実行させる命令を含む、プログラムを記録している、
    ことを特徴とする、コンピュータ読み取り可能な記録媒体。
PCT/JP2018/006561 2018-02-22 2018-02-22 なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体 WO2019163065A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
PCT/JP2018/006561 WO2019163065A1 (ja) 2018-02-22 2018-02-22 なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体
US16/964,877 US11200436B2 (en) 2018-02-22 2018-02-22 Spoofing detection apparatus, spoofing detection method, and computer-readable recording medium
JP2020501932A JP7004059B2 (ja) 2018-02-22 2018-02-22 なりすまし検知装置、なりすまし検知方法、及びプログラム
EP18907036.0A EP3757936B1 (en) 2018-02-22 2018-02-22 Spoofing detector, spoofing detection method, and computer program
US17/515,623 US11694475B2 (en) 2018-02-22 2021-11-01 Spoofing detection apparatus, spoofing detection method, and computer-readable recording medium
JP2021211347A JP7272418B2 (ja) 2018-02-22 2021-12-24 なりすまし検知装置、なりすまし検知方法、及びプログラム
US18/199,698 US20230290178A1 (en) 2018-02-22 2023-05-19 Detection system, detection method, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/006561 WO2019163065A1 (ja) 2018-02-22 2018-02-22 なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/964,877 A-371-Of-International US11200436B2 (en) 2018-02-22 2018-02-22 Spoofing detection apparatus, spoofing detection method, and computer-readable recording medium
US17/515,623 Continuation US11694475B2 (en) 2018-02-22 2021-11-01 Spoofing detection apparatus, spoofing detection method, and computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2019163065A1 true WO2019163065A1 (ja) 2019-08-29

Family

ID=67687178

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/006561 WO2019163065A1 (ja) 2018-02-22 2018-02-22 なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体

Country Status (4)

Country Link
US (3) US11200436B2 (ja)
EP (1) EP3757936B1 (ja)
JP (1) JP7004059B2 (ja)
WO (1) WO2019163065A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021153149A1 (ja) * 2020-01-30 2021-08-05 Ｎｅｃソリューションイノベータ株式会社 判定装置
WO2021153148A1 (ja) * 2020-01-30 2021-08-05 Ｎｅｃソリューションイノベータ株式会社 判定装置
JP2023521118A (ja) * 2020-04-09 2023-05-23 アイデンティー インコーポレイテッド 照明源を含むデバイスを使用する生体性検出

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3757936B1 (en) * 2018-02-22 2024-10-23 NEC Corporation Spoofing detector, spoofing detection method, and computer program
JP6984724B2 (ja) 2018-02-22 2021-12-22 日本電気株式会社 なりすまし検知装置、なりすまし検知方法、及びプログラム
US11074467B2 (en) * 2019-12-05 2021-07-27 Shenzhen GOODIX Technology Co., Ltd. Anti-spoofing of transparent fake object overlays with optical sensing modules
JP7400959B2 (ja) * 2020-05-11 2023-12-19 日本電気株式会社 判定装置、判定方法およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS469253B1 (ja) 1968-08-20 1971-03-09
JPH11339048A (ja) * 1998-05-29 1999-12-10 Omron Corp 個人識別装置、個人識別方法および個人識別プログラムを記録した記録媒体
JP2006099614A (ja) * 2004-09-30 2006-04-13 Toshiba Corp 生体判別装置および生体判別方法
JP2007280367A (ja) * 2006-03-14 2007-10-25 Omron Corp 顔照合装置
JP4609253B2 (ja) * 2005-09-08 2011-01-12 オムロン株式会社 なりすまし検出装置及び顔認証装置
JP2017016192A (ja) * 2015-06-26 2017-01-19 株式会社東芝 立体物検知装置及び立体物認証装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8364971B2 (en) * 2009-02-26 2013-01-29 Kynen Llc User authentication system and method
US9767358B2 (en) * 2014-10-22 2017-09-19 Veridium Ip Limited Systems and methods for performing iris identification and verification using mobile devices
US9794260B2 (en) * 2015-08-10 2017-10-17 Yoti Ltd Liveness detection
EP3757936B1 (en) * 2018-02-22 2024-10-23 NEC Corporation Spoofing detector, spoofing detection method, and computer program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS469253B1 (ja) 1968-08-20 1971-03-09
JPH11339048A (ja) * 1998-05-29 1999-12-10 Omron Corp 個人識別装置、個人識別方法および個人識別プログラムを記録した記録媒体
JP2006099614A (ja) * 2004-09-30 2006-04-13 Toshiba Corp 生体判別装置および生体判別方法
JP4609253B2 (ja) * 2005-09-08 2011-01-12 オムロン株式会社 なりすまし検出装置及び顔認証装置
JP2007280367A (ja) * 2006-03-14 2007-10-25 Omron Corp 顔照合装置
JP2017016192A (ja) * 2015-06-26 2017-01-19 株式会社東芝 立体物検知装置及び立体物認証装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
P. VIOLAM. JONES: "Rapid Object Detection Using a Boosted Cascade of Simple Features", PROCEEDINGS OF THE2001 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR, vol. 1, 2001, pages 511 - 518
V. VAPNIKA. LERNER: "Pattern recognition using generalized portrait method", AUTOMATION AND REMOTE CONTROL, vol. 24, pages 1963
ZHANG, Y.SUN, N.GAO, Y.CAO, M.: "IEEE International Conference On", 2008, IEEE, article "A new eye location method based on Ring Gabor Filter. In Automation and Logistics, 2008. ICAL2008", pages: 301 - 305

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021153149A1 (ja) * 2020-01-30 2021-08-05 Ｎｅｃソリューションイノベータ株式会社 判定装置
WO2021153148A1 (ja) * 2020-01-30 2021-08-05 Ｎｅｃソリューションイノベータ株式会社 判定装置
JPWO2021153148A1 (ja) * 2020-01-30 2021-08-05
JP2023521118A (ja) * 2020-04-09 2023-05-23 アイデンティー インコーポレイテッド 照明源を含むデバイスを使用する生体性検出
JP7445335B2 (ja) 2020-04-09 2024-03-07 アイデンティー インコーポレイテッド 照明源を含むデバイスを使用する生体性検出

Also Published As

Publication number Publication date
US11694475B2 (en) 2023-07-04
JPWO2019163065A1 (ja) 2021-01-07
US20220237951A1 (en) 2022-07-28
US20210034893A1 (en) 2021-02-04
US20230290178A1 (en) 2023-09-14
EP3757936A4 (en) 2021-03-03
EP3757936B1 (en) 2024-10-23
JP7004059B2 (ja) 2022-01-21
EP3757936A1 (en) 2020-12-30
US11200436B2 (en) 2021-12-14

Similar Documents

Publication Publication Date Title
WO2019163065A1 (ja) なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体
JP6984724B2 (ja) なりすまし検知装置、なりすまし検知方法、及びプログラム
JP4609253B2 (ja) なりすまし検出装置及び顔認証装置
US10708467B2 (en) Information processing apparatus that performs authentication processing for approaching person, and control method thereof
US10891479B2 (en) Image processing method and system for iris recognition
EP1644865A1 (en) Facial liveness assessment system
US11321552B2 (en) Face authentication device having database with small storage capacity
JP2021131737A (ja) データ登録装置、生体認証装置、およびデータ登録プログラム
JP7272418B2 (ja) なりすまし検知装置、なりすまし検知方法、及びプログラム
JP7207506B2 (ja) なりすまし検知装置、なりすまし検知方法、及びプログラム
US11156831B2 (en) Eye-tracking system and method for pupil detection, associated systems and computer programs
EP3724815B1 (en) Anti-spoofing face id sensing based on retro-reflection
CN113916377B (zh) 用于基于色度差的对象验证的被动图像深度感测
WO2024069671A1 (ja) 情報処理方法、情報処理プログラム、及び情報処理装置
JP2016105293A (ja) 利用者検知装置、方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18907036

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020501932

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018907036

Country of ref document: EP

Effective date: 20200922