WO2016059786A1 - なりすまし検知装置、なりすまし検知方法、および、記憶媒体 - Google Patents

なりすまし検知装置、なりすまし検知方法、および、記憶媒体 Download PDF

Info

Publication number
WO2016059786A1
WO2016059786A1 PCT/JP2015/005147 JP2015005147W WO2016059786A1 WO 2016059786 A1 WO2016059786 A1 WO 2016059786A1 JP 2015005147 W JP2015005147 W JP 2015005147W WO 2016059786 A1 WO2016059786 A1 WO 2016059786A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
sight
information
impersonation
presentation information
Prior art date
Application number
PCT/JP2015/005147
Other languages
English (en)
French (fr)
Inventor
雄介 森下
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to EP22161774.9A priority Critical patent/EP4047551A1/en
Priority to EP15850709.5A priority patent/EP3208770B1/en
Priority to US15/514,573 priority patent/US10515262B2/en
Priority to JP2016553968A priority patent/JP6809226B2/ja
Publication of WO2016059786A1 publication Critical patent/WO2016059786A1/ja
Priority to US16/682,083 priority patent/US11210500B2/en
Priority to US17/529,516 priority patent/US11699302B2/en
Priority to US18/200,774 priority patent/US20230298383A1/en
Priority to US18/212,513 priority patent/US20230351805A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user

Definitions

  • the present invention relates to a technique for detecting an impersonation act in face authentication.
  • impersonation In the security system (face authentication system) using face authentication, a technique for detecting impersonation is widely known. Spoofing is an act of using a system illegally by pretending to be someone else. Hereinafter, the act of impersonation is simply referred to as impersonation.
  • Impersonation of the face authentication system is performed by a person who impersonates presents a face of another person different from himself / herself to the face photographing camera.
  • a method of presenting another person's face there is a method of presenting another person's face photograph to the system camera.
  • an image of another person's face is projected on a display such as a smartphone and presented to the system camera. Examples of related technologies corresponding to such impersonation are described in Patent Documents 1 to 8 below.
  • Patent Document 1 detects a user's line of sight from an image captured from a camera while presenting an image for attracting the user's attention on a display device. And this related technology determines that it is a living body when the user's line of sight faces the direction of the display device, and impersonation otherwise.
  • the related technique described in Patent Document 2 acquires a plurality of face images obtained by photographing a user from a plurality of different viewpoints. This related technique extracts feature points in the user's face from a plurality of face images, and determines whether or not these feature points are on the same plane. And this related technique determines whether it is impersonation based on whether those feature points exist on the same plane.
  • the related technology described in Patent Document 3 uses a distance sensor to measure the distances and angles to a plurality of measurement points on the user's face and specify the positions of the plurality of measurement points. And this related technique determines whether it is impersonation based on whether a some measurement point exists on the same plane.
  • Patent Document 4 guides the user to move his / her line of sight by randomly moving the mark displayed on the display device. And this related technique determines whether it is impersonating based on whether a user's eyes
  • the related technique described in Patent Document 6 instructs the user how to move a predetermined part of the face (for example, opening and closing of the eyes) and photographs the user's face. Then, this related technique determines whether or not impersonation is based on whether or not a predetermined part of the face is changed according to the instruction in the obtained moving image.
  • Patent Document 7 recognizes a user's line-of-sight movement on the presented image as a dynamic line-of-sight pattern including time-series data of movement speed and movement position, and corresponds to the user identifier. Add and register.
  • the degree of coincidence is evaluated by comparing the dynamic line-of-sight pattern of the user to be authenticated with the registered dynamic line-of-sight pattern. If this related technique is used, it is possible to determine whether or not impersonation is based on whether or not the dynamic line-of-sight pattern matches.
  • Patent Document 8 describes a line-of-sight detection technique that can be adopted in each related technique described in Patent Documents 1, 4, and 7. This related technique specifies a pupil included in a face image and detects a line of sight from the position of the pupil and the orientation of the face.
  • the impersonation detection technology a method for determining whether or not the line of sight is facing the display device, a method for determining whether or not the imaging target is a three-dimensional object, and a line of sight or face as instructed or registered.
  • a method for determining whether or not motion can be detected has been proposed.
  • Patent Document 1 cannot sufficiently detect impersonation due to presentation of video. For example, it is assumed that a person who impersonates and displays a face image of another person shot in various gaze directions on a display of a smartphone or the like and presents it on the camera of the face authentication system. In this case, there is a high possibility that the line-of-sight direction at a certain point in the video faces the display device. In this case, this related technique erroneously determines that the face shown on the display is a living body. In addition, if the positions of the display device and the camera in the face authentication system are known in advance, it is possible to prepare a face image in which the line of sight faces the display device when facing the camera. As described above, this related technique cannot accurately detect impersonation caused by presenting an image.
  • the related technique described in Patent Document 2 requires a plurality of cameras or camera moving mechanisms in order to acquire a plurality of face images respectively photographed from a plurality of viewpoints.
  • the related technique described in Patent Document 3 requires a distance sensor in order to specify the positions of a plurality of measurement points. Therefore, these related technologies have a problem that the device configuration increases.
  • Patent Document 4 guides the user to follow the random movement of the mark displayed for impersonation determination with a line of sight.
  • the related art described in Patent Document 5 instructs a user to move a face in a specified direction for impersonation determination.
  • the related art described in Patent Document 6 instructs the user to move a predetermined part of the face for impersonation determination.
  • the user needs to perform a special operation for impersonation determination. Therefore, these related technologies increase the burden on the user.
  • Patent Document 7 needs to register a dynamic line-of-sight pattern in advance, increasing the burden on the user.
  • Patent Document 8 does not describe using a technique for detecting a line of sight for impersonation determination.
  • an object of the present invention is to provide a technique for detecting impersonation in face authentication more accurately without increasing the apparatus configuration and the burden on the user.
  • an impersonation detection device of the present invention includes a face image sequence acquisition unit that acquires a face image sequence representing a user's face, and a line-of-sight change that detects information about time-varying gaze from the face image sequence.
  • a face represented by the face image sequence is impersonated on the basis of detection information, presentation information display means for displaying the presentation information presented to the user as part of the authentication process, and information on temporal changes in the line of sight with respect to the presentation information.
  • impersonation determination means for determining the possibility of being.
  • information on temporal changes in the line of sight is detected by a computer device from a face image sequence representing the user's face, and the line of sight with respect to the presentation information presented to the user as part of the authentication process. Based on the time change information, the computer device determines the possibility that the face represented by the face image sequence is impersonating.
  • the storage medium of the present invention includes a face image sequence acquisition step for acquiring a face image sequence representing a user's face, a line-of-sight change detection step for detecting information on temporal changes in the line of sight from the face image sequence, and an authentication process.
  • a face image sequence acquisition step for acquiring a face image sequence representing a user's face
  • a line-of-sight change detection step for detecting information on temporal changes in the line of sight from the face image sequence
  • an authentication process As part of the information presenting step for displaying the presentation information presented to the user, and impersonation for determining the possibility that the face represented by the face image sequence is impersonating based on the information on the temporal change of the line of sight with respect to the presentation information.
  • a spoofing detection program for causing a computer device to execute the determination step is stored.
  • the present invention can provide a technique for detecting impersonation in face authentication more accurately without increasing the apparatus configuration and the burden on the user.
  • FIG. 1 shows the configuration of an impersonation detection device 1 as a first embodiment of the present invention.
  • the impersonation detection device 1 includes a face image sequence acquisition unit 11, a line-of-sight change detection unit 12, a presentation information display unit 13, and an impersonation determination unit 14.
  • the direction of the arrows connecting the rectangles indicating the functional blocks is an example, and the direction of signals between the functional blocks is not limited.
  • the impersonation detection device 1 includes a CPU (Central Processing Unit) 1001, a RAM (Random Access Memory) 1002, a ROM (Read Only Memory) 1003, a storage device 1004, an imaging device 1005, and a display device 1006. It can be configured by a computer device provided with.
  • the ROM 1003 and the storage device 1004 store a computer program and various data that causes the computer device to operate as the impersonation detection device 1 of the present embodiment.
  • the imaging device 1005 is a device such as a camera that captures an object and generates an image representing the object.
  • the display device 1006 is a device that displays various types of information on a display screen.
  • the CPU 1001 controls each unit of the computer device by reading the computer program and various data stored in the ROM 1003 and the storage device 1004 into the RAM 1002 and executing them.
  • the face image sequence acquisition unit 11 includes an imaging device 1005 and a CPU 1001 that reads a computer program and various data stored in the ROM 1003 and the storage device 1004 into the RAM 1002 and executes them.
  • the line-of-sight change detection unit 12 includes a CPU 1001 that reads a computer program and various data stored in the ROM 1003 and the storage device 1004 into the RAM 1002 and executes them.
  • the presentation information display unit 13 and the impersonation determination unit 14 include a display device 1006 and a CPU 1001 that reads a computer program and various data stored in the ROM 1003 and the storage device 1004 into the RAM 1002 and executes them. Note that the hardware configuration of the impersonation detection device 1 and each functional block thereof is not limited to the above-described configuration.
  • the face image sequence acquisition unit 11 acquires a face image sequence as an input.
  • the face image sequence is a time series of a plurality of face images representing the user's face.
  • the face image sequence acquisition unit 11 may acquire a face image sequence via the imaging device 1005. Further, the face image sequence acquisition unit 11 may acquire a face image sequence in which a region representing a face is cut out in advance as the face image sequence. Alternatively, the face image sequence acquisition unit 11 may generate a face image sequence by cutting out each face area from a time series of a plurality of images captured by the imaging device 1005.
  • the line-of-sight change detection unit 12 detects time-line information of the line of sight from the face image sequence. Specifically, the line-of-sight change detection unit 12 detects information representing the line of sight from each face image constituting the face image sequence. Then, the line-of-sight change detection unit 12 may use a time-series or time-dependent differential value of information representing the line of sight as information on the line-of-sight change. Further, the line-of-sight change detection unit 12 may use both the time series and the differential value of the information representing the line of sight as the information on the time change of the line of sight.
  • the line-of-sight change detection unit 12 may employ information representing the line-of-sight direction as information representing the line of sight.
  • the information indicating the line-of-sight direction may be information indicating the direction of the line of sight relative to the optical axis of the camera, or may be information indicating the direction in the global coordinate system.
  • the line-of-sight change detection unit 12 may employ information representing the line-of-sight position as information representing the line of sight.
  • the information indicating the line-of-sight position may be the position coordinates of the point being watched by the user in the display screen of the display device 1006.
  • the line-of-sight change detection unit 12 can employ a known line-of-sight detection technique for processing to detect information representing the line of sight from the face image. If the line-of-sight detection technique to be employed assumes a grayscale image made up of luminance value information as the face image to be detected, the face image sequence acquisition unit 11 acquires a grayscale face image sequence. Even in this case, the image sequence input from the outside is not necessarily grayscale.
  • the image sequence input from the imaging device 1005 may be configured by RGB images including R (red), G (green), and B (blue) color components.
  • the face image sequence acquisition unit 11 or the line-of-sight change detection unit 12 may perform a process of generating a grayscale image sequence from the input RGB image sequence. Not limited to this, the face image sequence acquisition unit 11 or the line-of-sight change detection unit 12 may acquire or generate a face image sequence in a format corresponding to the line-of-sight detection technique employed.
  • the presentation information display unit 13 displays the presentation information on the display device 1006.
  • the presentation information is information presented to the user as part of the authentication process.
  • part of the authentication process means that the presentation information is presented to the user in the flow of the authentication process performed by a face authentication system (not shown) in which the impersonation detection device 1 is used.
  • Such presentation information is information that is presented as part of the authentication process even if such face authentication system does not detect spoofing temporarily. That is, it is desirable that such presentation information is not information separately prepared for impersonation detection.
  • Such presentation information may be, for example, text information simply indicating the procedure, such as “Start authentication”, “Please face your face”, “Enter your PIN”, etc. Good.
  • the presentation information may be a figure or the like. Note that the presentation information is not limited to text information and diagrams as long as it is information presented to the user as part of the authentication process, and may be other information.
  • the presentation information display unit 13 displays the presentation information at an arbitrary display position at an arbitrary timing.
  • the presentation information display unit 13 may determine the display timing and display position of the presentation information in advance.
  • the presentation information display part 13 may determine a display timing and a display position at random for every process which performs impersonation determination.
  • the impersonation determination unit 14 determines the possibility that the face represented by the face image sequence is impersonated based on the information on the temporal change of the line of sight with respect to the presentation information.
  • the user's line of sight changes according to the presentation information.
  • the user's line of sight changes according to the display timing, display position, or content of the presentation information.
  • the user's line of sight also changes according to a change in the display position of the presentation information, a change in the presentation content, and the like. Therefore, the information on the temporal change of the line of sight corresponds to the presentation information. Therefore, the impersonation determination unit 14 may determine the possibility of impersonation based on the relationship between the presentation information and the temporal change information of the line of sight detected with the presentation of the presentation information.
  • the impersonation determination unit 14 outputs an impersonation determination result.
  • the determination result may be output to the display device 1006 or another output device (not shown).
  • the face image sequence acquisition unit 11 starts acquiring a face image sequence (step S1).
  • the face image sequence acquisition unit 11 acquires a face image sequence by cutting out a region representing a face from each frame while sequentially acquiring frames constituting a video input from the imaging device 1005.
  • the line-of-sight change detection unit 12 starts detecting information on the time-line change of the line of sight from the face image sequence (step S2).
  • the line-of-sight change detection unit 12 detects information representing the line of sight from each face image of the face image sequence sequentially acquired by the face image sequence acquisition unit 11, and uses the time series and differential value of the line-of-sight change. It detects as information.
  • the presentation information display unit 13 displays the presentation information presented to the user as part of the authentication process on the display device 1006 (step S3).
  • the impersonation determination unit 14 represents the face image sequence based on the relevance between the information on the temporal change of the line of sight detected by the line-of-sight change detection unit 12 and the presentation information displayed by the presentation information display unit 13. The possibility that the person is impersonating is determined (step S4).
  • the line-of-sight change detection unit 12 determines whether or not impersonation is based on whether the information on the time-line change of the line of sight corresponds to the presentation timing, display position, content, or change of the presentation information. You may judge.
  • the spoofing detection device 1 ends its operation.
  • the spoofing detection device as the first exemplary embodiment of the present invention can detect spoofing in face authentication more accurately without increasing the device configuration and the burden on the user.
  • the face image sequence acquisition unit acquires a face image sequence representing the user's face
  • the line-of-sight change detection unit detects information on the time change of the line of sight from the face image sequence
  • the presentation information display unit authenticates. This is because the presentation information presented to the user as part of the process is displayed. This is because the impersonation determination unit determines the possibility that the face included in the face image sequence is impersonating based on the information on the temporal change of the line of sight with respect to the presentation information.
  • the true human gaze that is not impersonating changes according to the presentation information.
  • the true human line of sight changes at the timing when the presentation information is displayed on the display device and in the direction of the display position in the display device.
  • an impersonator displays an image of another person's face that is different from himself / herself on a display such as a smartphone and presents the image on the imaging device
  • the gaze of the other person in the display changes regardless of the presentation information.
  • the line of sight of another person on the display changes regardless of the presentation timing and display position of the presentation information.
  • the gaze of another person in the display is constant, the gaze does not change in relation to the timing when the presentation information is displayed.
  • the line of sight of another person's face in the display moves in various directions, the line of sight is likely to change even during a period when the presentation information is not presented or at a timing different from the presentation timing. In this case, it is highly likely that the line of sight is directed in a direction different from the display position at the presentation timing. Therefore, when an image of another person's face is projected on a display such as a smartphone and presented to the camera, the information on the temporal change in the line of sight detected by the line-of-sight change detection unit does not change according to the presentation information. Therefore, according to the present embodiment, the possibility of impersonation can be determined with high accuracy based on the relationship between the temporal change information of the line of sight and the presentation information.
  • the present embodiment uses time change information obtained from the natural movement of the user's line of sight with respect to the presentation information presented as part of the authentication process, the user is instructed for impersonation determination. There is no need to perform erratic movements or eye movements.
  • the present embodiment does not require a device for acquiring images from a plurality of viewpoints, a distance sensor, or the like for determining the three-dimensionality of an imaging target, and can acquire a user's face image sequence by at least one imaging device. That's fine. Therefore, the present embodiment does not increase the device configuration.
  • FIG. 4 shows a configuration of an impersonation detection device 2 as a second embodiment of the present invention.
  • the impersonation detection device 2 is replaced with a presentation information display unit 23 and an impersonation determination unit 14 in place of the presentation information display unit 13 with respect to the impersonation detection device 1 as the first embodiment of the present invention.
  • the difference is that the pretend impersonation determination unit 24 is provided.
  • the direction of the arrows connecting the rectangles indicating the functional blocks is an example, and the direction of signals between the functional blocks is not limited.
  • the presentation information display unit 23 switches presentation information presented to the user as part of the authentication process.
  • the presentation information display unit 23 may switch the display position of the presentation information. Switching the display position refers to changing the display position in the display screen of the display device 1006.
  • the presentation information display unit 23 may switch the presentation information to other presentation information. Switching to other presentation information means changing the presentation information displayed on the display device 1006 to other presentation information.
  • the presentation information display unit 23 may switch the display position when switching the presentation information to other presentation information.
  • the presentation information display unit 23 performs such switching at least once, but the number of switching is not limited.
  • the presentation information display part 23 should just switch presentation information as mentioned above at arbitrary timings.
  • the presentation information display unit 23 displays the first presentation information at the display position (m x1 , m y1 ) at the timing of time m t1 .
  • the presentation information display unit 23 displays the second presentation information at the display position (m x2 , m y2 ).
  • the presentation information display unit 23 may determine m t1 , m t2 , (m x1 , m y1 ), and (m x2 , m y2 ) in advance or may determine them randomly.
  • the impersonation determination unit 24 determines the possibility of impersonation based on the relevance between the gaze time change information detected by the gaze change detection unit 12 and the switching of the presentation information. Specifically, the impersonation determination unit 24 compares the information on the temporal change in the line of sight detected from the face image sequence with the change timing of the presentation information and the change in the display position due to the switching, to determine whether or not impersonation is performed. It may be determined. For example, the impersonation determination unit 24 may determine whether or not the face represented by the face image sequence is impersonating based on whether or not the information on the temporal change in the line of sight corresponds to the switching timing m t2 described above. Good.
  • the impersonation determination unit 24 determines impersonation based on whether or not the information on the temporal change in the line of sight corresponds to the change from the display position (m x1 , m y1 ) to (m x2 , m y2 ) due to switching. May be performed.
  • the impersonation detection device 2 executes steps S1 to S2 as in the first embodiment of the present invention. Thereby, the impersonation detection apparatus 2 starts the acquisition of the face image sequence, and starts detecting the information on the temporal change of the line of sight.
  • the presentation information display unit 23 displays the first presentation information to be presented to the user as part of the authentication process on the display device 1006 (step S23).
  • the presentation information display unit 23 switches the first presentation information to the second presentation information (step S24).
  • the impersonation determination unit 24 determines the person represented by the face image sequence based on the relevance between the gaze time change information detected by the gaze change detection unit 12 and the switching of the presentation information by the presentation information display unit 23. The possibility of impersonation of is determined (step S25).
  • the line-of-sight change detection unit 12 is impersonating depending on whether or not the time-line change information of the line of sight depends on the switching timing of the presentation information and the change in the display position accompanying the switching. What is necessary is just to determine.
  • the impersonation detection device 2 finishes its operation.
  • the face image sequence acquisition unit 11 starts acquiring a face image sequence (step S1).
  • the face image sequence acquired by the face image sequence acquisition unit 11 is a sequence of face images obtained by cutting out face areas from grayscale images taken at regular intervals.
  • the face image sequence acquisition unit 11 may obtain the position of the face from a time-series gray scale image output from the imaging device 1005 such as a video camera using a known face detection technique. Then, the face image sequence acquisition unit 11 may extract a face area from each image in accordance with the obtained face position to form a face image sequence.
  • the face image sequence acquisition unit 11 may acquire a face image sequence in which a face area is cut out in advance from an image sequence output from the imaging device 1005 by an external device. An example of the face image sequence in this specific example is shown in FIG. The face image sequence shown in FIG. 6 is acquired from time 1 to T.
  • the line-of-sight change detection unit 12 detects time-line information of the line of sight from the face image sequence in FIG. 6 (step S2).
  • the line-of-sight change detection unit 12 detects line-of-sight information from each face image in the face image sequence using a known line-of-sight detection technique. For example, when a known technique for detecting the gaze direction is adopted, the gaze change detection unit 12 detects the gaze direction from the face image at time t in the face image sequence, and expresses the x component as gx (t), The y component may be expressed as gy (t). Also, for example, when a known technique for detecting the line-of-sight position is adopted, the line-of-sight change detection unit 12 detects the line-of-sight position from the face image at time t in the face image sequence, and the x coordinate is expressed as gx (t). And the y coordinate may be expressed as gy (t). In this specific example, information representing the line-of-sight position is adopted.
  • the time series of (t) is used.
  • the information on the temporal change of the line of sight includes the line-of-sight position (gx (t), gy (t)) and their differential values (Gx (t), Gy (t)) at time t. It consists of four values in total.
  • FIGS. 7 to 9 the information shown in FIGS. 7 to 9 is detected as the information on the temporal change of the line of sight.
  • FIG. 7 shows line-of-sight positions (gx (t), gy (t)) detected from each face image in the face image sequence.
  • FIG. 8 shows values (Gx (t), Gy (t)) obtained by differentiating the line-of-sight positions (gx (t), gy (t)) of FIG. 7 with respect to time t.
  • FIG. 9 shows the line-of-sight position (gx (t), gy (t)) and the differential values (Gx (t), Gy (t)) at each time t.
  • the presentation information display unit 23 displays the first presentation information at the display position (m x1 , m y1 ) at the timing of time m t1 (step S23).
  • a display example of the first presentation information is shown in FIG. In the left diagram of FIG. 10, the first presentation information is text information “authentication starts”.
  • the presentation information display unit 23 randomly selects the first presentation timing m t1 and the display position (m x1 , m y1 ).
  • the presentation information display unit 23 switches the first presentation information to the second presentation information at the timing of time m t2 and displays it at the display position (m x2 , m y2 ) (step S24). It is assumed that m t2 > m t1 .
  • a display example of the second presentation information is shown in FIG. In the right diagram of FIG. 10, the second presentation information is text information “Please face your face to the camera”. In this step, it is assumed that the presentation information display unit 23 randomly selects the second presentation timing m t2 and the display position (m x2 , m y2 ).
  • the impersonation determination unit 24 performs impersonation determination based on the relevance between the gaze time change information detected by the gaze change detection unit 12 and the switching of the presentation information by the presentation information display unit 23 (step S25). ).
  • the impersonation determination unit 24 performs impersonation determination using the following formulas (1) to (3).
  • the line-of-sight position is set as (gx (t), gy (t)), and the differential value is set as (Gx (t), Gy (t)).
  • the time for displaying the first presentation information is m t1
  • the presentation position is (m x1 , m y1 )
  • the time for displaying the second presentation information is m t2
  • the presentation position is (m x2 , m y2 ).
  • the impersonation determination unit 24 calculates a time ⁇ when the line of sight changes most in the vicinity of the presentation information switching time m t2 as shown in the following equation (1).
  • G x (t) and G x (t) are the differential values Gx (t) and Gy (t) described above, respectively.
  • t a , t b and ⁇ 1 are parameters.
  • ⁇ 1 is a parameter for adjusting the balance between the change component in the x direction and the change component in the y direction.
  • t a and t b are parameters for determining a section for obtaining ⁇ .
  • the impersonation determination unit 24 calculates a difference ⁇ 1 between the magnitude of the change in the line of sight position and the change in the display position of the two presentation information based on the time ⁇ when the line of sight changes most. ). It should be noted that, in the following, referred to as the evaluation value 1 ⁇ 1.
  • ⁇ 2 is a parameter that adjusts the balance between the magnitude of the change in the line-of-sight position and the magnitude of the change in the display position of the two presentation information.
  • abs in the expression (2) is a function for calculating an absolute value.
  • the impersonation determination unit 24 obtains a difference ⁇ 2 between the direction of change in the line-of-sight position and the direction of change in the display position of the two presentation information using the following equation (3). In the following description, it referred to as the evaluation value 2 epsilon 2.
  • the impersonation determination unit 24 compares the evaluation value 1 with the threshold value 1 and compares the evaluation value 2 with the threshold value 2. And the impersonation determination part 24 determines whether the face contained in the acquired face image sequence is impersonation based on these comparison results.
  • the evaluation value 1 and the evaluation value 2 are smaller as the face image sequence acquired by the face image sequence acquisition unit 11 is more likely to represent a true human face. Become.
  • the evaluation value 1 and the evaluation value 2 are designed so that the values of the face image sequence become larger as the possibility that the face image sequence represents an impersonated face is higher.
  • the impersonation face is a face included in an image presented on a display such as a smartphone.
  • the impersonation determination part 24 will determine with impersonation if both the evaluation value 1 and the evaluation value 2 are higher than a threshold value, respectively.
  • the impersonation determination unit 24 determines that the face is a human face (not impersonation) if at least one of the evaluation value 1 and the evaluation value 2 is lower than the threshold value.
  • the spoofing determination unit 24 may determine that the spoofing is performed when at least one of the evaluation value 1 and the evaluation value 2 is higher than a threshold value.
  • the threshold value 1 and the threshold value 2 may be changed depending on the application. For example, it is desirable to set the threshold values 1 and 2 to be low in applications where it is fatal to miss a person who has been impersonated. On the other hand, in applications where it is a problem that it is determined that a true human being is impersonated by mistake, it is desirable to set the threshold value 1 and the threshold value 2 higher.
  • the spoofing detection device as the second exemplary embodiment of the present invention can detect spoofing in face authentication more accurately without increasing the device configuration and the burden on the user.
  • the presentation information display unit switches and displays the presentation information presented to the user as part of the authentication process. This is because the impersonation determination unit determines whether or not the face included in the face image sequence is impersonating based on the information on the temporal change of the line of sight with respect to the switching of the presentation information.
  • the line of sight of the other person's face in the display changes regardless of switching of the presentation information. Specifically, for example, when the line of sight of another person in the display is constant, the line of sight does not change at the presentation information switching timing. Further, when the line of sight of another person in the display is moving in various ways, it is highly likely that the line of sight has changed during a period other than the switching timing of the presentation information.
  • the line of sight is likely to change in a direction different from the display position after the change. Therefore, when the video of another person's face is projected on a display such as a smartphone and presented to the camera, the relevance between the gaze time change information detected by the gaze change detection unit and the switching of the presentation information becomes low. .
  • the present embodiment it is possible to perform the impersonation determination with high accuracy based on the relationship between the information on the temporal change of the line of sight and the switching of the presentation information. Further, at this time, the present embodiment uses information on the time change of the line of sight with respect to the switching of the presentation information presented as part of the authentication process. Usually, there are many types of presentation information presented as part of the authentication process. Therefore, this embodiment can use the user's more natural line-of-sight movement for the impersonation determination in the authentication process by using such information of the time-line change of the line of sight with respect to the switching of the plurality of pieces of presentation information. As a result, this embodiment reduces the burden on the user.
  • the presentation information display part demonstrated centering on the example which switches presentation information to other presentation information.
  • the presentation information display unit may perform switching to display the same presentation information at another display position at an arbitrary timing.
  • FIG. 11 shows the configuration of an impersonation detection device 3 as a third embodiment of the present invention.
  • the impersonation detection device 3 includes an impersonation determination unit 34 instead of the impersonation determination unit 14 in addition to the impersonation detection device 1 as the first embodiment of the present invention, and further includes a standard information storage unit 35. Is different.
  • the standard information storage unit 35 constitutes an embodiment of a part of the impersonation determination unit in the present invention.
  • the direction of the arrow connecting the rectangles indicating the functional blocks is an example, and the direction of the signal between the functional blocks is not limited.
  • the standard information storage unit 35 stores information on a standard line-of-sight time change according to the content of the presentation information. Generally, it is considered that the user moves his / her line of sight unconsciously or habitually according to the content of the presentation information.
  • the information on the time change of the standard line of sight represents the time change of the line of sight that a person moves unconsciously or habitually when the presentation information is displayed.
  • the standard information storage unit 35 stores information on a temporal change of the line of sight generally assumed in association with the content of the presentation information.
  • the impersonation determination unit 34 is associated with the time change information of the line of sight detected by the line-of-sight change detection unit 12 and the line-of-sight change stored in the standard information storage unit 35 in association with the content of the presentation information displayed at that time. Compare the information with. Then, if the impersonation determination unit 34 determines that the information on the temporal change in the detected visual line does not match the information on the temporal change in the visual line corresponding to the content of the presentation information based on the comparison result, It is determined that In addition, the impersonation determination 34 determines that it is not impersonation if it is determined that these match based on the comparison result.
  • the impersonation detection device 3 executes steps S1 to S3 as in the first embodiment of the present invention. Thereby, the impersonation detection apparatus 3 starts acquisition of a face image sequence and detection of information on temporal changes in the line of sight, and displays presentation information.
  • the impersonation determination unit 34 obtains information on temporal changes in the line of sight detected by the visual line change detection unit 12 and information on temporal changes in the line of sight according to the content of the presentation information displayed by the presentation information display unit 13. Compare. And the impersonation determination part 34 determines the possibility of impersonation about the person which a face image sequence represents based on a comparison result (step S34).
  • the impersonation detection device 3 finishes its operation.
  • the standard information storage unit 35 stores in advance information on standard line-of-sight temporal changes in association with the assumed content of the presentation information.
  • the standard information storage unit 35 stores information on the temporal change of the line of sight moving in the vicinity of the password input screen in association with the presentation information including the character information “Please input the password”.
  • the standard information storage unit 35 associates the presentation information including the text information “Please face the front with respect to the camera”, and displays the information of the temporal change of the line of sight that looks at the camera direction for a certain time.
  • the standard information storage unit 35 stores information on temporal changes of the line of sight that sequentially moves each character in the sentence at the position of the presentation information in association with the presentation information including a long sentence.
  • the standard information on the time change of the line of sight is constituted by the time series of the line-of-sight position and the differential value thereof, similarly to the information on the time change of the detected line of sight.
  • the impersonation detection device 3 operates from steps S1 to S2 as in the specific example in the second embodiment of the present invention. As a result, it is assumed that the impersonation detection device 3 acquires a face image sequence as shown in FIG. 6 and detects information on the temporal change of the line of sight as shown in FIGS.
  • the presentation information display unit 13 displays the presentation information on the display device 1006 (step S3).
  • the impersonation determination unit 34 compares the gaze time change information detected in step S2 with the standard gaze time change information corresponding to the presentation information displayed in step S3. And the impersonation determination part 34 determines the possibility of impersonation about the person which a face image sequence represents based on a comparison result (step S34).
  • the impersonation determination unit 34 detects information on the temporal change of the detected line of sight (gx (t), gy (t)) and information on the temporal change of the standard line of sight (hx (t), hy (The dispersion difference ⁇ 3 with respect to t)) is calculated using the following equation (4). In the following, we referred to as the evaluation value 3 a ⁇ 3.
  • g x (t) , g y (t) , h x (t) , and h y (t) are the time change information gx (t), gy (t), hx (t), hy (t).
  • var is a function for calculating the variance.
  • ⁇ 3 is a parameter for adjusting the balance between the x component and the y component.
  • m t represents the time at which the presentation information is displayed by the presentation information display section 13.
  • T c and t d are parameters for determining the interval for calculating the variance. The values of t c and t d can be set to a positive value, a negative value, or 0, respectively.
  • the equation (4) will be calculated evaluation value 3 for a predetermined period including the time m t. Also, 0 is set to t c, by setting the positive value t d, the equation (4) will be calculated evaluation value 3 for the time m t after a predetermined interval. Further, if a negative value is set for t c and a positive value is set for t d , the above equation (4) calculates the variance for a predetermined interval in consideration of human reaction speed after time m t. become.
  • the impersonation determination unit 34 compares the evaluation value 3 with the threshold 3. If the evaluation value 3 is higher than the threshold 3, the impersonation determination unit 34 determines that the face represented by the face image sequence is impersonation. Further, if the evaluation value 3 is lower than the threshold 3, the impersonation determination unit 34 determines that the face represented by the face image sequence is not impersonation.
  • the impersonation detection device 3 includes the presentation information display unit 23 in the second embodiment of the present invention instead of the presentation information display unit 13.
  • the impersonation determination part 34 may calculate the evaluation value 1 and the evaluation value 2 in the above-mentioned specific example similarly to the impersonation determination part 24 of the 2nd Embodiment of this invention.
  • the impersonation determination unit 34 may calculate the evaluation value 3 in the specific example described above. In this case, the impersonation determination unit 34 calculates the evaluation value 3 by comparing the information on the temporal change of the detected line of sight with the information on the temporal change of the standard line of sight for each of the presentation information before and after switching. May be.
  • the impersonation determination part 34 should just perform the impersonation determination based on the comparison result with each threshold value of the evaluation value 1, the evaluation value 2, and the evaluation value 3.
  • the impersonation determination unit 34 may determine impersonation when all of the evaluation value 1, the evaluation value 2, and the evaluation value 3 are higher than the respective threshold values.
  • the spoofing detection device as the third exemplary embodiment of the present invention can detect spoofing in face authentication with higher accuracy without increasing the device configuration and the burden on the user.
  • the impersonation determination unit performs face detection based on the relationship between the detected temporal change information of the gaze and the content of the presentation information. This is because the possibility of impersonation of the face represented by the image sequence is determined.
  • the other person's line of sight in the display is moving in various ways, even if the content of the presentation information is, for example, a sentence, the change in the line of sight of the other person in the display is a line of sight that advances the characters of the sentence. It is likely to be different from moving. Therefore, when the video of another person's face is projected on a display such as a smartphone and presented to the camera, the information on the temporal change in the line of sight detected by the line-of-sight change detection unit is a standard line of sight according to the content of the presentation information. It does not agree with the time change information.
  • impersonation can be determined using the user's natural line-of-sight movement according to the content of the presentation information presented to the user as part of the authentication process.
  • the present embodiment can accurately detect impersonation without increasing the burden on the user for impersonation detection.
  • the face image sequence acquisition unit has been described on the assumption that the face image sequence based on the image input from the imaging device is acquired in substantially real time.
  • the face image sequence acquisition unit may acquire a face image sequence (for example, moving image data captured and saved in the past by the imaging device) stored in the storage device.
  • the impersonation determination unit may acquire information regarding the presentation timing and the presentation position of the presentation information displayed by the presentation information display unit when the face image sequence is captured. For example, information regarding such presentation information may be stored in the storage device together with the face image sequence.
  • the impersonation determination part should just compare the information showing the time change of the eyes
  • the time series of information representing the line-of-sight position or the direction of the line-of-sight and the differential value thereof are used as the information on the temporal change of the line-of-sight.
  • the information on the temporal change of the line of sight may be other information as long as the information can be detected from the face image sequence and represents the temporal change of the line of sight.
  • the spoofing determination unit has been described mainly with respect to an example of determining impersonation using the evaluation value 1 to the evaluation value 3.
  • each calculation formula of the evaluation value 1 to the evaluation value 3 is not limited to the above.
  • the impersonation determination unit determines impersonation based on the relationship between the detected temporal change information of the line of sight and the presentation information presented to the user as part of the authentication process. That's fine.
  • the impersonation determination unit determines whether or not the face represented by the face image sequence is impersonation.
  • the impersonation determination unit may output information indicating the degree of impersonation as a determination result.
  • each functional block of the impersonation detection device is realized by a CPU that executes a computer program stored in a storage device or ROM.
  • a part, all, or a combination of each functional block may be realized by dedicated hardware.
  • the function block of the spoofing detection device may be realized by being distributed among a plurality of devices.
  • the operation of the spoofing detection device described with reference to each flowchart is stored in a storage device (storage medium) of a computer device as a computer program of the present invention. Also good. Then, the computer program may be read and executed by the CPU. In such a case, the present invention is constituted by the code of the computer program or a storage medium.
  • the impersonation detection technology of the present invention can detect impersonation in face authentication more accurately without increasing the device configuration and the burden on the user, and is widely used for the purpose of improving the security level of a system using face authentication. Is available.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

　本発明は、装置構成および利用者の負担を増大させることなく、顔認証におけるなりすましをより精度良く検知する技術を提供する。　なりすまし検知装置１は、顔画像列取得部１１と、視線変化検出部１２と、提示情報表示部１３と、なりすまし判定部１４とを備える。顔画像列取得部１１は、ユーザの顔を表す顔画像列を取得する。視線変化検出部１２は、顔画像列から視線の時間変化の情報を検出する。提示情報表示部１３は、認証処理の一環としてユーザに提示される提示情報を表示する。なりすまし判定部１４は、提示情報に対する視線の時間変化の情報に基づいて、顔画像列の表す顔がなりすましである可能性を判定する。

Description

なりすまし検知装置、なりすまし検知方法、および、記憶媒体
本発明は、顔認証においてなりすまし行為を検知する技術に関する。
　顔認証を用いたセキュリティシステム（顔認証システム）において、なりすまし行為を検知する技術が広く知られている。なりすまし行為は、他人のフリをして不正にシステムを利用する行為である。以下、なりすまし行為を、単になりすましとも記載する。
　顔認証システムに対するなりすましは、なりすましを行う者が、顔撮影用のカメラに対して自身とは異なる他人の顔を提示することにより行われる。他人の顔を提示する方法としては、他人の顔写真をシステムのカメラに提示する方法がある。また、他人の顔の映像をスマートフォン等のディスプレイに映して、システムのカメラに提示する方法がある。このようななりすましに対応する関連技術の一例が、以下の特許文献１～特許文献８に記載されている。
　例えば、特許文献１に記載された関連技術は、表示装置に利用者の注意をひくための画像を提示しつつ、カメラから取り込んだ画像から利用者の視線を検出する。そして、この関連技術は、利用者の視線が表示装置の方向を向いている場合には生体、そうでない場合にはなりすましであると判定する。
　また、特許文献２に記載された関連技術は、利用者を、異なる複数の視点からそれぞれ撮影した複数の顔画像を取得する。そして、この関連技術は、利用者の顔の中の特徴点を複数の顔画像からそれぞれ抽出し、それらの特徴点が同一平面上にあるか否かを判定する。そして、この関連技術は、それらの特徴点が同一平面上にあるか否かに基づいて、なりすましであるか否かを判定する。
　また、特許文献３に記載された関連技術は、距離センサにより、利用者の顔における複数の測定点までの距離や角度を測定し、複数の測定点の位置を特定する。そして、この関連技術は、複数の測定点が同一平面上にあるか否かに基づいて、なりすましであるか否かを判定する。
　また、特許文献４に記載された関連技術は、表示装置に表示したマークをランダムに動かすことにより、利用者が視線を動かすよう誘導する。そして、この関連技術は、利用者の視線動作が、マークの軌道と合っているかどうかに基づいて、なりすましであるか否かを判定する。
　また、特許文献５に記載された関連技術は、利用者に、表示画面において指示する方向に顔を動かしてもらい、その動きをカメラにより撮影する。そして、この関連技術は、利用者を撮影した時系列画像において、特徴点の動きを検知できるか否かに基づいて、なりすましであるか否かを判定する。
　また、特許文献６に記載された関連技術は、利用者に対して、顔の所定部位の動かし方（例えば、目の開閉等）を指示し、利用者の顔を撮影する。そして、この関連技術は、得られた動画像において、顔の所定部位が指示にしたがって変化しているか否かに基づいて、なりすましであるか否かを判定する。
　また、特許文献７に記載された関連技術は、提示した画像上を移動する利用者の視線移動を、移動速度と移動位置の時系列データを含む動的視線パターンとして捉え、利用者識別子と対応付けて登録しておく。そして、この関連技術は、認証対象である利用者の動的視線パターンと、登録済みの動的視線パターンとを照合して一致度を評価する。この関連技術を用いれば、動的視線パターンの一致度に否かに基づいて、なりすましであるか否かを判定することが可能である。
　また、特許文献８には、特許文献１、４、７に記載された各関連技術において採用可能な視線検出技術が記載されている。この関連技術は、顔画像に含まれる瞳を特定し、瞳の位置および顔の向きから視線を検出する。
　このように、なりすまし検知技術としては、視線が表示装置を向いているか否かで判定する方法、撮影対象が立体物であるか否かで判定する方法、指示通り又は登録通りの視線や顔の動きを検出できるか否かで判定する方法等が提案されている。
特許第４８０７１６７号公報 特許第５０３５４６７号公報 特許第４７３４９８０号公報 特許第４４７０６６３号公報 特開２００８－３０５４００号公報 特開２００８－２７６３４５号公報 特開２００７－１４１００２号公報 特開２００６－２３９５３号公報
　しかしながら、特許文献１に記載の関連技術は、映像を提示することによるなりすましを十分に検知することができない。例えば、なりすましを行う者が、様々な視線方向を向くよう撮影された他人の顔の映像を、スマートフォン等のディスプレイに映して顔認証システムのカメラに提示したとする。この場合、映像中のある時点での視線方向が、表示装置を向く可能性は高い。この場合、この関連技術は、ディスプレイに映された顔を、誤って生体であると判定してしまう。また、顔認証システムにおける表示装置およびカメラの位置があらかじめわかっていれば、カメラに向けたときに視線が表示装置を向くような顔の映像を用意することも可能である。このように、この関連技術は、映像を提示することによるなりすましを精度良く検知することができない。
　また、特許文献２に記載の関連技術は、複数の視点からそれぞれ撮影した複数の顔画像を取得するために、複数のカメラまたはカメラの移動機構を必要とする。また、特許文献３に記載の関連技術は、複数の測定点の位置を特定するために、距離センサを必要とする。そのため、これらの関連技術では、装置構成が増大するという問題がある。
　また、特許文献４に記載の関連技術は、なりすまし判定のために表示するマークのランダムな動きを視線で追いかけるよう利用者を誘導する。また、特許文献５に記載の関連技術は、なりすまし判定のために利用者に顔を指定方向へ動かすよう指示する。また、特許文献６に記載の関連技術は、なりすまし判定のために利用者に顔の所定部位を動かすよう指示する。このように、これらの関連技術では、利用者は、なりすまし判定のための特別な動作を行う必要がある。そのため、これらの関連技術は、利用者の負担を増大させる。
　また、特許文献７に記載の関連技術は、あらかじめ動的視線パターンを登録しておく必要があり、利用者の負担を増大させる。
　また、特許文献８には、視線を検出する技術をなりすまし判定に利用することについては記載がない。
　本発明は、上記の課題を解決するためになされたものである。すなわち、本発明は、装置構成および利用者の負担を増大させることなく、顔認証におけるなりすましをより精度良く検知する技術を提供することを目的とする。
　上記目的を達成するために、本発明のなりすまし検知装置は、ユーザの顔を表す顔画像列を取得する顔画像列取得手段と、前記顔画像列から視線の時間変化の情報を検出する視線変化検出手段と、認証処理の一環として前記ユーザに提示される提示情報を表示する提示情報表示手段と、前記提示情報に対する前記視線の時間変化の情報に基づいて、前記顔画像列の表す顔がなりすましである可能性を判定するなりすまし判定手段と、を備える。
　また、本発明のなりすまし検知方法は、ユーザの顔を表す顔画像列から視線の時間変化の情報をコンピュータ装置によって検出し、認証処理の一環として前記ユーザに対して提示される提示情報に対する前記視線の時間変化の情報に基づいて、前記顔画像列の表す顔がなりすましである可能性をコンピュータ装置によって判定する。
　また、本発明の記憶媒体は、ユーザの顔を表す顔画像列を取得する顔画像列取得ステップと、前記顔画像列から視線の時間変化の情報を検出する視線変化検出ステップと、認証処理の一環として前記ユーザに提示される提示情報を表示する情報提示ステップと、前記提示情報に対する前記視線の時間変化の情報に基づいて、前記顔画像列の表す顔がなりすましである可能性を判定するなりすまし判定ステップと、をコンピュータ装置に実行させるなりすまし検知プログラムを記憶している。
　本発明は、装置構成および利用者の負担を増大させることなく、顔認証におけるなりすましをより精度良く検知する技術を提供することができる。
本発明の第１の実施の形態としてのなりすまし検知装置の機能ブロック図である。 本発明の第１の実施の形態としてのなりすまし検知装置のハードウェア構成の一例を示す図である。 本発明の第１の実施の形態としてのなりすまし検知装置の動作を説明するフローチャートである。 本発明の第２の実施の形態としてのなりすまし検知装置の機能ブロック図である。 本発明の第２の実施の形態としてのなりすまし検知装置の動作を説明するフローチャートである。 本発明の第２の実施の形態における顔画像列の一例を説明する図である。 本発明の第２の実施の形態において検出される視線位置の変化の一例を説明する図である。 本発明の第２の実施の形態において検出される視線位置の微分値の一例を説明する図である。 本発明の第２の実施の形態において検出される視線の時間変化の情報の一例を説明する図である。 本発明の第２の実施の形態における提示情報の切り替えの一例を説明する図である。 本発明の第３の実施の形態としてのなりすまし検知装置の機能ブロック図である。 本発明の第３の実施の形態としてのなりすまし検知装置の動作を説明するフローチャートである。
　以下、本発明の実施の形態について、図面を参照して詳細に説明する。
　（第１の実施の形態）
　本発明の第１の実施の形態としてのなりすまし検知装置１の構成を図１に示す。図１において、なりすまし検知装置１は、顔画像列取得部１１と、視線変化検出部１２と、提示情報表示部１３と、なりすまし判定部１４とを備える。なお、図１において、機能ブロックを示す矩形間を結ぶ矢印の向きは、一例を示すものであり、機能ブロック間の信号の向きを限定するものではない。
　ここで、なりすまし検知装置１のハードウェア構成の一例を図２に示す。図２において、なりすまし検知装置１は、ＣＰＵ（Central Processing Unit）１００１と、ＲＡＭ（Random Access Memory）１００２と、ＲＯＭ（Read Only Memory）１００３と、記憶装置１００４と、撮像装置１００５と、表示装置１００６とを備えたコンピュータ装置によって構成可能である。ＲＯＭ１００３および記憶装置１００４は、コンピュータ装置を本実施の形態のなりすまし検知装置１として動作させるコンピュータ・プログラムおよび各種データを記憶する。撮像装置１００５は、対象を撮像して対象を表す画像を生成するカメラ等の装置である。表示装置１００６は、各種情報を表示画面に表示する装置である。ＣＰＵ１００１は、ＲＯＭ１００３および記憶装置１００４に記憶されるコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行することにより、コンピュータ装置の各部を制御する。この場合、顔画像列取得部１１は、撮像装置１００５と、ＲＯＭ１００３および記憶装置１００４に記憶されるコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１とによって構成される。また、視線変化検出部１２は、ＲＯＭ１００３および記憶装置１００４に記憶されるコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１によって構成される。また、提示情報表示部１３およびなりすまし判定部１４は、表示装置１００６と、ＲＯＭ１００３および記憶装置１００４に記憶されるコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１とによって構成される。なお、なりすまし検知装置１およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。
　顔画像列取得部１１は、顔画像列を入力として取得する。顔画像列は、ユーザの顔を表す複数枚の顔画像の時系列である。顔画像列取得部１１は、顔画像列を、撮像装置１００５を介して取得してもよい。また、顔画像列取得部１１は、顔画像列として、あらかじめ顔を表す領域が切り出された顔画像列を取得してもよい。あるいは、顔画像列取得部１１は、撮像装置１００５によって撮影された複数枚の画像の時系列から、それぞれ顔の領域を切り出して顔画像列を生成してもよい。
　視線変化検出部１２は、顔画像列から、視線の時間変化の情報を検出する。具体的には、視線変化検出部１２は、顔画像列を構成する各顔画像から、視線を表す情報を検出する。そして、視線変化検出部１２は、視線を表す情報の時系列または時間による微分値を、視線の時間変化の情報としてもよい。また、視線変化検出部１２は、視線の時間変化の情報として、視線を表す情報の時系列および微分値の両方を用いてもよい。
　例えば、視線変化検出部１２は、視線を表す情報として、視線方向を表す情報を採用してもよい。視線方向を表す情報は、カメラの光軸を基準とする視線の方向を示す情報であってもよいし、グローバル座標系における方向を示す情報でもよい。あるいは、視線変化検出部１２は、視線を表す情報として、視線位置を表す情報を採用してもよい。例えば、視線位置を表す情報は、表示装置１００６の表示画面内でユーザによって注視されている点の位置座標でもよい。
　なお、視線変化検出部１２は、顔画像から視線を表す情報を検出する処理に、公知の視線検出技術を採用可能である。もし、採用する視線検出技術が、検出対象の顔画像として、輝度値の情報からなるグレースケール画像を想定する場合、前述の顔画像列取得部１１は、グレースケールの顔画像列を取得する。なお、この場合であっても、外部から入力される画像列は、必ずしもグレースケールでなくてもよい。例えば、撮像装置１００５から入力される画像列は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色成分からなるＲＧＢ画像によって構成されてもよい。この場合、顔画像列取得部１１または視線変化検出部１２が、入力されたＲＧＢ画像列からグレースケール画像列を生成する処理を行えばよい。これに限らず、顔画像列取得部１１または視線変化検出部１２は、採用する視線検出技術に応じた形式の顔画像列を取得または生成すればよい。
　提示情報表示部１３は、提示情報を表示装置１００６に表示する。ここで、提示情報とは、認証処理の一環としてユーザに提示される情報である。また、認証処理の一環とは、なりすまし検知装置１が用いられる図示しない顔認証システムで行われる認証処理の流れにおいて、提示情報がユーザに提示されること、を意味する。このような提示情報は、そのような顔認証システムにおいて仮になりすまし検知が行われない場合であっても、認証処理の一環として提示される情報である。つまり、このような提示情報は、なりすまし検知のために別途準備された情報ではないことが望ましい。このような提示情報は、例えば、「認証を開始します」、「顔を正面に向けてください」、「暗証番号を入力してください」等、単に手順を示すための文字情報であってもよい。その他、提示情報は、図などであってもよい。なお、提示情報は、認証処理の一環としてユーザに提示される情報であれば、文字情報や図に限らず、その他の情報であってもよい。
　具体的には、提示情報表示部１３は、提示情報を、任意のタイミングで任意の表示位置に表示する。なお、提示情報表示部１３は、提示情報の表示タイミングおよび表示位置をあらかじめ定めておいてもよい。あるいは、提示情報表示部１３は、なりすまし判定を行う処理毎にランダムに、表示タイミングおよび表示位置を決定してもよい。
　なりすまし判定部１４は、提示情報に対する視線の時間変化の情報に基づいて、顔画像列の表す顔がなりすましである可能性を判定する。ここで、ユーザの視線は、提示情報に応じて変化する。例えば、ユーザの視線は、提示情報の表示タイミング、表示位置、または、提示内容等に応じて変化すると考えられる。また、例えば、ユーザの視線は、提示情報の表示位置の変化、提示内容の変化等に応じても変化すると考えられる。したがって、視線の時間変化の情報は、提示情報に応じたものになる。そこで、なりすまし判定部１４は、提示情報の提示に伴い検出された視線の時間変化の情報と、提示情報との関連性に基づいて、なりすましの可能性を判定すればよい。
　また、なりすまし判定部１４は、なりすましの判定結果を出力する。例えば、なりすまし判定部１４は、なりすましであると判定した場合に、その判定結果を表示装置１００６やその他の出力装置（図示せず）に出力してもよい。
　以上のように構成されたなりすまし検知装置１の動作について、図３を参照して説明する。
　まず、顔画像列取得部１１は、顔画像列の取得を開始する（ステップＳ１）。
　例えば、顔画像列取得部１１は、撮像装置１００５から入力される映像を構成するフレームを順次取得しながら、各フレームから顔を表す領域を切り出すことにより、顔画像列を取得していく。
　次に、視線変化検出部１２は、顔画像列からの視線の時間変化の情報の検出を開始する（ステップＳ２）。
　前述のように、視線変化検出部１２は、顔画像列取得部１１によって順次取得される顔画像列の各顔画像から視線を表す情報を検出し、その時系列や微分値を、視線の変化の情報として検出していく。
　次に、提示情報表示部１３は、認証処理の一環としてユーザに提示する提示情報を、表示装置１００６に表示する（ステップＳ３）。
　次に、なりすまし判定部１４は、視線変化検出部１２によって検出された視線の時間変化の情報と、提示情報表示部１３によって表示された提示情報との関連性に基づいて、顔画像列の表す人物が、なりすましである可能性を判定する（ステップＳ４）。
　例えば、視線変化検出部１２は、視線の時間変化の情報が、提示情報の提示タイミング、表示位置、内容、または、それらの変化に応じているか否かに基づいて、なりすましであるか否かを判断してもよい。
　以上で、なりすまし検知装置１は動作を終了する。
　次に、本発明の第１の実施の形態の効果について述べる。
　本発明の第１の実施の形態としてのなりすまし検知装置は、装置構成および利用者の負担を増大させることなく、顔認証におけるなりすましをより精度良く検知することができる。
　その理由は、顔画像列取得部が、ユーザの顔を表す顔画像列を取得し、視線変化検出部が、顔画像列から視線の時間変化の情報を検出し、提示情報表示部が、認証処理の一環としてユーザに提示される提示情報を表示するからである。そして、なりすまし判定部が、提示情報に対する視線の時間変化の情報に基づいて、顔画像列に含まれる顔がなりすましである可能性を判定するからである。
　ここで、なりすましではない真の人間の視線は、提示情報に応じて変化する。例えば、真の人間の視線は、提示情報が表示装置に表示されたタイミングで、かつ、表示装置内の表示位置の方向に変化する。しかしながら、なりすまし者が、自身とは異なる他人の顔の映像をスマートフォン等のディスプレイに映し撮像装置に提示した場合、提示情報とは無関係に、ディスプレイ中の他人の視線は変化する。例えば、ディスプレイ中の他人の視線は、提示情報の提示タイミングや表示位置とは無関係に変化することになる。
　具体的には、ディスプレイ中の他人の視線が一定の場合は、提示情報が表示されたタイミングに関連して視線が変化しない。また、ディスプレイ中の他人の顔の視線が様々な方向に動いている場合は、提示情報が提示されていない期間や、提示タイミングとは異なるタイミングでも、視線が変化する可能性が高い。また、この場合、提示タイミングには、視線が、表示位置とは異なる方向に向いている可能性が高い。そのため、他人の顔の映像をスマートフォン等のディスプレイに映しカメラに提示している場合には、視線変化検出部によって検出される視線の時間変化の情報は、提示情報に応じた変化にならない。そこで、本実施の形態は、視線の時間変化の情報と、提示情報との関連性に基づいて、精度よくなりすましの可能性を判定することができる。
　このとき、本実施の形態は、認証処理の一環として提示される提示情報に対するユーザの視線の自然な動きから得られる時間変化の情報を用いるので、ユーザは、なりすまし判定のために指示される特別な動作や視線の動きを行う必要がない。また、本実施の形態は、撮影対象の立体性を判定するための複数視点の画像を取得する装置や距離センサ等を必要とせず、ユーザの顔画像列を少なくとも１台の撮像装置により取得すればよい。したがって、本実施の形態は、装置構成を増大させることがない。
　（第２の実施の形態）
　次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第１の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
　まず、本発明の第２の実施の形態としてのなりすまし検知装置２の構成を図４に示す。図４において、なりすまし検知装置２は、本発明の第１の実施の形態としてのなりすまし検知装置１に対して、提示情報表示部１３に替えて提示情報表示部２３と、なりすまし判定部１４に替えてなりすまし判定部２４とを備える点が異なる。なお、図４において、機能ブロックを示す矩形間を結ぶ矢印の向きは、一例を示すものであり、機能ブロック間の信号の向きを限定するものではない。
　提示情報表示部２３は、認証処理の一環としてユーザに提示される提示情報の切り替えを行う。例えば、提示情報表示部２３は、提示情報の表示位置を切り替えてもよい。表示位置の切り替えとは、表示装置１００６の表示画面内で表示位置を変更することをいうものとする。また、例えば、提示情報表示部２３は、提示情報を、他の提示情報に切り替えてもよい。他の提示情報への切り替えとは、表示装置１００６に表示する提示情報を、他の提示情報に変更することをいうものとする。また、提示情報表示部２３は、提示情報を他の提示情報に切り替える際に、その表示位置を切り替えてもよい。なお、提示情報表示部２３は、このような切り替えを少なくとも１回行うが、その切り替え回数は限定されない。また、提示情報表示部２３は、上述したような提示情報の切り替えを、任意のタイミングで行えばよい。
　具体的には、例えば、提示情報表示部２３は、１つ目の提示情報を、時刻ｍｔ１のタイミングで表示位置（ｍｘ１，ｍｙ１）に表示する。そして、提示情報表示部２３は、時刻ｍｔ２のタイミングで、１つ目の提示情報から２つ目の提示情報へ切り替える。このとき、提示情報表示部２３は、２つ目の提示情報を、表示位置（ｍｘ２，ｍｙ２）に表示する。この場合、提示情報表示部２３は、ｍｔ１、ｍｔ２、（ｍｘ１，ｍｙ１）、（ｍｘ２，ｍｙ２）をあらかじめ定めておいてもよいし、ランダムに決定してもよい。
　なりすまし判定部２４は、視線変化検出部１２によって検出された視線の時間変化の情報と、提示情報の切り替えとの関連性に基づいて、なりすましの可能性を判定する。具体的には、なりすまし判定部２４は、顔画像列から検出された視線の時間変化の情報と、提示情報の切り替えタイミングや切り替えによる表示位置の変化とを比較することで、なりすましであるか否かを判定してもよい。例えば、なりすまし判定部２４は、視線の時間変化の情報が、上述の切り替えタイミングｍｔ２に応じているか否かに基づいて、顔画像列の表す顔がなりすましであるか否かを判定してもよい。また、なりすまし判定部２４は、視線の時間変化の情報が、切り替えによる表示位置（ｍｘ１，ｍｙ１）から（ｍｘ２，ｍｙ２）への変化に応じているか否かに基づいて、なりすまし判定を行ってもよい。
　以上のように構成されたなりすまし検知装置２の動作について、図５を参照して説明する。
　まず、なりすまし検知装置２は、本発明の第１の実施の形態と同様にステップＳ１～Ｓ２を実行する。これにより、なりすまし検知装置２は、顔画像列の取得を開始し、視線の時間変化の情報の検出を開始する。
　次に、提示情報表示部２３は、認証処理の一環としてユーザに提示する１つ目の提示情報を、表示装置１００６に表示する（ステップＳ２３）。
　次に、提示情報表示部２３は、１つ目の提示情報を、２つ目の提示情報に切り替える（ステップＳ２４）。
　次に、なりすまし判定部２４は、視線変化検出部１２によって検出された視線の時間変化の情報と、提示情報表示部２３による提示情報の切り替えとの関連性に基づいて、顔画像列の表す人物についてなりすましの可能性を判定する（ステップＳ２５）。
　例えば、前述のように、視線変化検出部１２は、視線の時間変化の情報が、提示情報の切替タイミングや、切り替えに伴う表示位置の変化に応じているか否かに応じて、なりすましであるか否かを判定すればよい。
　以上で、なりすまし検知装置２は動作を終了する。
　次に、本発明の第２の実施の形態の動作を、具体例を用いて説明する。
　まず、顔画像列取得部１１は、顔画像列の取得を開始する（ステップＳ１）。
　ここでは、顔画像列取得部１１によって取得される顔画像列は、一定時間ごとに撮影されたグレースケール画像から、それぞれ顔の領域が切り出された顔画像の列であるものとする。例えば、顔画像列取得部１１は、ビデオカメラ等の撮像装置１００５から出力される時系列のグレースケール画像から、公知の顔検出技術を用いて顔の位置を求めてもよい。そして、顔画像列取得部１１は、求めた顔の位置に従って、各画像から顔の領域を切り出して顔画像列としてもよい。あるいは、顔画像列取得部１１は、撮像装置１００５から出力される画像列から、外部の装置によりあらかじめ顔の領域が切り出された顔画像列を取得してもよい。この具体例における顔画像列の一例を図６に示す。図６に示す顔画像列は、時刻１からＴに亘って取得されている。
　視線変化検出部１２は、図６の顔画像列から、視線の時間変化の情報を検出する（ステップＳ２）。
　ここでは、視線変化検出部１２は、顔画像列のそれぞれの顔画像から、公知の視線検出技術を用いて視線の情報を検出する。例えば、視線変化検出部１２は、視線方向を検出する公知の技術を採用した場合、顔画像列中における時間ｔの顔画像から視線方向を検出し、そのｘ成分をｇｘ（ｔ）と表し、ｙ成分をｇｙ（ｔ）と表してもよい。また、例えば、視線位置を検出する公知の技術を採用した場合、視線変化検出部１２は、顔画像列中における時間ｔの顔画像から視線位置を検出し、そのｘ座標をｇｘ（ｔ）と表し、ｙ座標をｇｙ（ｔ）と表してもよい。この具体例では、視線位置を表す情報を採用するものとする。
　そして、視線変化検出部１２は、視線の時間変化の情報として、顔画像列の先頭（ｔ＝１）から終端（ｔ＝Ｔ）までのＴ枚の顔画像分についてのｇｘ（ｔ）およびｇｙ（ｔ）の時系列を用いる。さらに、視線変化検出部１２は、視線の時間変化の情報として、（ｇｘ（ｔ）、ｇｙ（ｔ））（ｔ＝１～Ｔ）を時間ｔで微分した値（Ｇｘ（ｔ）、Ｇｙ（ｔ））を用いる。つまり、この具体例では、視線の時間変化の情報は、時刻ｔについて、視線位置（ｇｘ（ｔ）、ｇｙ（ｔ））とそれらの微分値（Ｇｘ（ｔ）、Ｇｙ（ｔ））とを合わせた４個ずつの値から構成される。
　ここでは、例えば、視線の時間変化の情報として、図７～図９に示す情報が検出されたとする。図７は、顔画像列のそれぞれの顔画像から検出された視線位置（ｇｘ（ｔ）、ｇｙ（ｔ））を示す。図８は、図７の視線位置（ｇｘ（ｔ）、ｇｙ（ｔ））を時間ｔで微分した値（Ｇｘ（ｔ）、Ｇｙ（ｔ））を示す。図９は、各時刻ｔにおける視線位置（ｇｘ（ｔ）、ｇｙ（ｔ））と、その微分値（Ｇｘ（ｔ）、Ｇｙ（ｔ））とを表す。図７から図９に示したように、顔画像列から検出された視線位置およびその微分値は、時間的に変化している。
　次に、提示情報表示部２３は、１つ目の提示情報を、時刻ｍｔ１のタイミングで、表示位置（ｍｘ１，ｍｙ１）に表示する（ステップＳ２３）。ここで、１つ目の提示情報の表示例を図１０に示す。図１０の左図において、１つ目の提示情報は、「認証を開始します」という文字情報である。なお、このステップにおいて、提示情報表示部２３は、１つ目の提示タイミングｍｔ１および表示位置（ｍｘ１，ｍｙ１）を、ランダムに選択したものとする。
　次に、提示情報表示部２３は、時刻ｍｔ２のタイミングで、１つ目の提示情報を２つ目の提示情報に切り替え、表示位置（ｍｘ２，ｍｙ２）に表示する(ステップＳ２４)。なお、ｍｔ２＞ｍｔ１であるとする。ここで、２つ目の提示情報の表示例を図１０に示す。図１０の右図において、２つ目の提示情報は、「顔をカメラに対して正面に向けて下さい」という文字情報である。なお、このステップにおいて、提示情報表示部２３は、２つ目の提示タイミングｍｔ２および表示位置（ｍｘ２，ｍｙ２）を、ランダムに選択したものとする。
　なお、この具体例では、２種類の提示情報を切り替えて表示する場合について記載するが、３種類以上の提示情報を順次切り替えて表示する場合にも適用可能である。
　次に、なりすまし判定部２４は、視線変化検出部１２が検出する視線の時間変化の情報と、提示情報表示部２３による提示情報の切り替えとの関連性に基づいて、なりすまし判定を行う（ステップＳ２５）。
　ここでは、なりすまし判定部２４は、以下の数式（１）～（３）を用いて、なりすまし判定を行う。前述のように、検出された視線の時間変化の情報として、視線位置を（ｇｘ（ｔ）、ｇｙ（ｔ））とおき、その微分値を（Ｇｘ（ｔ）、Ｇｙ（ｔ））とおく。また、１つ目の提示情報を表示する時刻をｍｔ１、提示位置を（ｍｘ１、ｍｙ１）とし、２つ目の提示情報を表示する時刻をｍｔ２、提示位置を（ｍｘ２、ｍｙ２）とする。
　まず、なりすまし判定部２４は、提示情報の切り替え時刻ｍｔ２の付近で最も視線が変化した時間τを、次式（１）のように計算する。
Figure JPOXMLDOC01-appb-I000001
　ここで、Ｇｘ （ｔ）とＧｘ （ｔ）は、それぞれ前述した微分値Ｇｘ（ｔ）とＧｙ（ｔ）である。ｔａ、ｔｂおよびλ１は、パラメータである。λ１は、ｘ方向の変化成分とｙ方向の変化成分のバランスを調整するパラメータである。ｔａおよびｔｂは、τを求める区間を決定するパラメータである。
　次に、なりすまし判定部２４は、最も視線が変化した時間τを基に、視線位置の変化の大きさと、２つの提示情報の表示位置の変化の大きさとの差ε１を、次式（２）を用いて求める。なお、以下では、ε１を評価値１と呼ぶ。
Figure JPOXMLDOC01-appb-I000002
　ここで、λ２は、視線位置の変化の大きさと、２つの提示情報の表示位置の変化の大きさとのバランスを調整するパラメータである。また、式（２）のａｂｓは、絶対値を計算する関数である。
　また、なりすまし判定部２４は、視線位置の変化の方向と、２つの提示情報の表示位置の変化の方向の違いε２を、次式（３）を用いて求める。なお、以下では、ε２を評価値２と呼ぶ。
Figure JPOXMLDOC01-appb-I000003
　そして、なりすまし判定部２４は、評価値１を閾値１と比較し、評価値２を閾値２と比較する。そして、なりすまし判定部２４は、これらの比較結果に基づいて、取得された顔画像列に含まれる顔がなりすましであるか否かを判定する。
　上記の具体例において、評価値１および評価値２は、顔画像列取得部１１によって取得された顔画像列が、真の人間の顔を表している可能性が高いほど、その値はそれぞれ小さくなる。また、評価値１および評価値２は、顔画像列が、なりすましの顔を表している可能性が高いほど、その値がそれぞれ大きくなるように設計されている。なりすましの顔とは、スマートフォン等のディスプレイで提示された映像に含まれる顔等である。そして、なりすまし判定部２４は、評価値１および評価値２のいずれもがそれぞれ閾値より高ければ、なりすましであると判定する。また、なりすまし判定部２４は、評価値１および評価値２の少なくとも一方が閾値より低ければ、人間の顔である（なりすましではない）と判定する。なお、なりすまし判定部２４は、評価値１および評価値２の少なくとも一方が閾値より高い場合に、なりすましであると判定してもよい。
　また、閾値１および閾値２は、用途によって変化させてもよい。例えば、なりすましをした人物を取り逃すことが致命的となる用途では、閾値１および閾値２の値を低めに設定することが望ましい。反対に、真の人間が誤ってなりすましであると判定されることが問題となる用途では、閾値１および閾値２の値を高めに設定することが望ましい。
　次に、本発明の第２の実施の形態の効果について述べる。
　本発明の第２の実施の形態としてのなりすまし検知装置は、装置構成および利用者の負担を増大させることなく、顔認証におけるなりすましをさらに精度良く検知することができる。
　その理由は、本発明の第１の実施の形態と同様の構成に加えて、提示情報表示部が、認証処理の一環としてユーザに提示される提示情報を切り替えて表示するからである。そして、なりすまし判定部が、提示情報の切り替えに対する視線の時間変化の情報に基づいて、顔画像列に含まれる顔がなりすましであるか否かを判定するからである。
　ここで、顔認証において、真の人間の視線は、提示情報の切り替えに伴い変化すると考えられる。しかしながら、なりすまし者が、自身とは異なる他人の顔の映像をスマートフォン等のディスプレイに映し撮像装置に提示した場合、提示情報の切り替えとは無関係に、ディスプレイ中の他人の顔の視線は変化する。具体的には、例えば、ディスプレイ中の他人の視線が一定の場合は、提示情報の切り替えタイミングに視線が変化しないことになる。また、ディスプレイ中の他人の視線が様々に動いている場合、提示情報の切り替えタイミング以外の期間にも視線が変化している可能性が高い。また、この場合、提示情報の切り替えに伴い表示位置が変化しても、変化後の表示位置とは別の方向に視線が変化する可能性が高い。そのため、他人の顔の映像をスマートフォン等のディスプレイに映しカメラに提示している場合には、視線変化検出部が検出する視線の時間変化の情報と、提示情報の切り替えとの関連性は低くなる。
　そこで、本実施の形態は、視線の時間変化の情報と、提示情報の切り替えとの関連性に基づいて、精度よくなりすまし判定を行うことができる。また、このとき、本実施の形態は、認証処理の一環として提示される提示情報の切り替えに対する視線の時間変化の情報を用いる。通常、認証処理の一環として提示される提示情報は、複数種類あることが多い。したがって、本実施の形態は、そのような複数の提示情報の切り替えに対する視線の時間変化の情報を利用することで、認証処理におけるユーザのより自然な視線の動きをなりすまし判定に用いることができる。その結果、本実施の形態は、利用者の負担を軽減する。
　なお、本実施の形態において、提示情報表示部は、提示情報を、他の提示情報に切り替える例を中心に説明した。この他、提示情報表示部は、同一の提示情報を、任意のタイミングで他の表示位置に表示する切り替えを行ってもよい。
　（第３の実施の形態）
　次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第１の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
　まず、本発明の第３の実施の形態としてのなりすまし検知装置３の構成を図１１に示す。図１１において、なりすまし検知装置３は、本発明の第１の実施の形態としてのなりすまし検知装置１に対して、なりすまし判定部１４に替えてなりすまし判定部３４を備え、さらに、標準情報記憶部３５を備える点が異なる。なお、標準情報記憶部３５は、本発明におけるなりすまし判定部の一部の一実施形態を構成する。また、図１１において、機能ブロックを示す矩形間を結ぶ矢印の向きは、一例を示すものであり、機能ブロック間の信号の向きを限定するものではない。
　標準情報記憶部３５は、提示情報の内容に応じた標準的な視線の時間変化の情報を記憶する。一般に、ユーザは、提示情報の内容に応じて、無意識にまたは習性的に視線を動かすと考えられる。標準的な視線の時間変化の情報は、その提示情報が表示された際に、人が無意識にまたは習性的に動かす視線の時間変化を表す。
　例えば、「暗証番号を入力して下さい」という文字列および暗証番号入力画面からなる提示情報に対して、ユーザは、暗証番号を入力するために、暗証番号入力画面付近で小刻みに視線を動かすと考えられる。また、例えば、「顔をカメラに対して正面に向けて下さい」という文字列の提示情報に対して、ユーザは、カメラ方向を見つめるため、カメラのある方向に視線を一定時間固定させると考えられる。また、例えば、長い文章を表す提示情報に対して、ユーザは、文章を読み解釈するため、文章中の文字を順に読み進めていくように視線を動かすと考えられる。このように、標準情報記憶部３５は、提示情報の内容に対応付けて、一般に想定される視線の時間変化の情報を記憶しておく。
　なりすまし判定部３４は、視線変化検出部１２によって検出された視線の時間変化の情報と、その際に表示されていた提示情報の内容に対応付けて標準情報記憶部３５に記憶されている視線変化の情報とを比較する。そして、なりすまし判定部３４は、比較結果に基づいて、検出された視線の時間変化の情報が、提示情報の内容に対応する標準的な視線の時間変化の情報に合致しないと判定すれば、なりすましであると判定する。また、なりすまし判定３４は、比較結果に基づいて、これらが合致すると判定すれば、なりすましでないと判定する。
　以上のように構成されたなりすまし検知装置３の動作について、図１２を参照して説明する。
　まず、なりすまし検知装置３は、本発明の第１の実施の形態と同様にステップＳ１～Ｓ３を実行する。これにより、なりすまし検知装置３は、顔画像列の取得および視線の時間変化の情報の検出を開始し、提示情報を表示する。
　次に、なりすまし判定部３４は、視線変化検出部１２によって検出された視線の時間変化の情報と、提示情報表示部１３による提示情報の内容に応じた標準的な視線の時間変化の情報とを比較する。そして、なりすまし判定部３４は、比較結果に基づいて、顔画像列の表す人物について、なりすましの可能性を判定する（ステップＳ３４）。
　以上で、なりすまし検知装置３は動作を終了する。
　次に、本発明の第３の実施の形態の動作を、具体例を用いて説明する。
　この具体例では、標準情報記憶部３５は、想定される提示情報の内容に対応付けて、標準的な視線の時間変化の情報をあらかじめ記憶している。例えば、標準情報記憶部３５は、「暗証番号を入力して下さい」との文字情報からなる提示情報に対応付けて、暗証番号入力画面の付近を小刻みに動く視線の時間変化の情報を記憶する。また、例えば、標準情報記憶部３５は、「顔をカメラに対して正面に向けて下さい」との文字情報からなる提示情報に対応付けて、カメラ方向を一定時間見つめる視線の時間変化の情報を記憶する。また、例えば、標準情報記憶部３５は、長い文章からなる提示情報に対応付けて、提示情報の位置にある文章中の各文字を順に移動する視線の時間変化の情報を記憶する。なお、ここでは、標準的な視線の時間変化の情報は、検出される視線の時間変化の情報と同様に、視線位置の時系列およびその微分値によって構成されているものとする。
　この具体例では、なりすまし検知装置３は、本発明の第２の実施の形態における具体例と同様に、ステップＳ１～Ｓ２まで動作する。これにより、なりすまし検知装置３は、図６に示すような顔画像列を取得し、図７～図９に示したような視線の時間変化の情報を検出したものとする。
　次に、提示情報表示部１３は、提示情報を表示装置１００６に表示する（ステップＳ３）。
　次に、なりすまし判定部３４は、ステップＳ２で検出された視線の時間変化の情報と、ステップＳ３で表示された提示情報に対応する標準的な視線の時間変化の情報とを比較する。そして、なりすまし判定部３４は、比較結果に基づいて、顔画像列の表す人物について、なりすましの可能性を判定する（ステップＳ３４）。
　具体的には、なりすまし判定部３４は、検出された視線の時間変化の情報（ｇｘ（ｔ）、ｇｙ（ｔ））と、標準的な視線の時間変化の情報（ｈｘ（ｔ）、ｈｙ（ｔ））との分散の差ε３を、次式（４）を用いて算出する。なお、以下では、ε３を評価値３と呼ぶ。
Figure JPOXMLDOC01-appb-I000004
ここで、ｇｘ （ｔ）、ｇｙ （ｔ）、ｈｘ （ｔ）、ｈｙ （ｔ）は、それぞれ前述した時間変化の情報ｇｘ（ｔ）、ｇｙ（ｔ）、ｈｘ（ｔ）、ｈｙ（ｔ）である。ｖａｒは、分散を計算する関数である。また、λ３は、ｘ成分とｙ成分とのバランスを調整するパラメータである。また、ｍｔは、提示情報表示部１３により提示情報が表示された時刻を表す。また、ｔｃおよびｔｄは、分散を計算する区間を決定するパラメータである。なお、ｔｃおよびｔｄの値は、それぞれ、正の値、負の値、または０が設定可能である。例えば、ｔｃおよびｔｄの値とも正の値を設定すれば、上記式（４）は、時刻ｍｔを含む所定区間について評価値３を算出することになる。また、ｔｃに０を設定し、ｔｄに正の値を設定すれば、上記式（４）は、時刻ｍｔ以降の所定区間について評価値３を算出することになる。また、ｔｃに負の値を設定し、ｔｄに正の値を設定すれば、上記式（４）は、時刻ｍｔ以降で人間の反応速度を考慮した所定区間について分散を算出することになる。
　なりすまし判定部３４は、評価値３を閾値３と比較する。そして、評価値３が閾値３より高ければ、なりすまし判定部３４は、顔画像列の表す顔がなりすましであると判定する。また、評価値３が閾値３より低ければ、なりすまし判定部３４は、顔画像列の表す顔がなりすましでないと判定する。
　また、本実施の形態は、本発明の第２の実施の形態と組合せて実施することも可能である。その場合、なりすまし検知装置３は、提示情報表示部１３の代わりに本発明の第２の実施の形態における提示情報表示部２３を備える。そして、なりすまし判定部３４は、本発明の第２の実施の形態のなりすまし判定部２４と同様に、前述の具体例における評価値１および評価値２を算出してもよい。さらに、なりすまし判定部３４は、前述の具体例における評価値３を算出してもよい。なお、この場合、なりすまし判定部３４は、切替前後の提示情報のそれぞれについて、検出された視線の時間変化の情報と、標準的な視線の時間変化の情報とを比較して評価値３を算出してもよい。そして、なりすまし判定部３４は、評価値１、評価値２、および、評価値３の各閾値との比較結果に基づいて、なりすまし判定を行えばよい。例えば、なりすまし判定部３４は、評価値１、評価値２、および、評価値３のいずれもがそれぞれの閾値より高い場合に、なりすましであると判定してもよい。
　次に、本発明の第３の実施の形態の効果について述べる。
　本発明の第３の実施の形態としてのなりすまし検知装置は、装置構成および利用者の負担を増大させることなく、顔認証におけるなりすましをさらに精度良く検知することができる。
　その理由は、本発明の第１の実施の形態と同様の構成に加えて、なりすまし判定部が、検出された視線の時間変化の情報と、提示情報の内容との関連性に基づいて、顔画像列の表す顔についてなりすましの可能性を判定するからである。
　ここで、顔認証において、真の人間の視線は、提示情報の内容に応じて無意識に変化すると考えられる。しかしながら、なりすまし者が、自身とは異なる他人の顔の映像をスマートフォン等のディスプレイに映し撮像装置に提示した場合、ディスプレイ中の他人の顔の視線は、提示情報の内容からは想定されない動きとなる可能性が高い。具体的には、例えば、ディスプレイ中の他人の視線が一定の場合は、提示情報の内容が暗証番号の入力を促す内容であっても、ディスプレイ中の他人の視線は変化しないことになる。また、ディスプレイ中の他人の視線が様々に動いている場合に、提示情報の内容が例えば文章であっても、ディスプレイ中の他人の視線の変化は、その文章の文字を読み進めるような視線の移動とは異なる可能性が高い。そのため、他人の顔の映像をスマートフォン等のディスプレイに映しカメラに提示している場合には、視線変化検出部が検出する視線の時間変化の情報は、提示情報の内容に応じた標準的な視線の時間変化の情報と合致しない。
　このように、本実施の形態は、認証処理の一環としてユーザに提示される提示情報の内容に応じたユーザの自然な視線の動きを用いて、なりすましを判定することができる。その結果、本実施の形態は、なりすまし検知のために利用者の負担を増大させることなく、精度よくなりすましを検知することができる。
　なお、上述した本発明の各実施の形態において、顔画像列取得部は、撮像装置から入力される画像に基づく顔画像列を略リアルタイムに取得することを前提として説明した。この他、顔画像列取得部は、記憶装置に記憶された顔画像列（例えば、撮像装置によって過去に撮影されて保存された動画データ等）を取得してもよい。この場合、なりすまし判定部は、その顔画像列が撮像された際に提示情報表示部によって表示されていた提示情報について、その提示タイミングや提示位置に関する情報を取得すればよい。例えば、そのような提示情報に関する情報は、顔画像列とともに記憶装置に記憶されていてもよい。そして、なりすまし判定部は、記憶装置から取得した顔画像列から検出される視線の時間変化を表す情報を、提示情報に関する情報と比較すればよい。
　また、上述した本発明の各実施の形態において、視線の時間変化の情報として、視線位置または視線方向を表す情報の時系列およびそれらの微分値を用いる場合を中心に説明した。この他、視線の時間変化の情報は、顔画像列から検出可能であって視線の時間変化を表す情報であれば、その他の情報であってもよい。
　また、上述した本発明の第２および第３の実施の形態において、なりすまし判定部は、評価値１から評価値３を用いてなりすましを判定する例を中心に説明した。このとき、評価値１から評価値３の各算出式は、上記に限らない。また、これらの評価値に限らず、なりすまし判定部は、検出された視線の時間変化の情報と、認証処理の一環としてユーザに提示される提示情報との関連性に基づいて、なりすましを判定すればよい。
　また、上述した本発明の各実施の形態において、なりすまし判定部は、顔画像列の表す顔が、なりすましであるか否かを判定する例を中心に説明した。この他、なりすまし判定部は、なりすましの程度を表す情報を判定結果として出力するようにしてもよい。
　また、上述した本発明の各実施の形態において、なりすまし検知装置の各機能ブロックが、記憶装置またはＲＯＭに記憶されたコンピュータ・プログラムを実行するＣＰＵによって実現される例を中心に説明した。この他、各機能ブロックの一部、全部、または、それらの組み合わせが専用のハードウェアにより実現されていてもよい。
　また、上述した本発明の各実施の形態において、なりすまし検知装置の機能ブロックは、複数の装置に分散されて実現されてもよい。
　また、上述した本発明の各実施の形態において、各フローチャートを参照して説明したなりすまし検知装置の動作を、本発明のコンピュータ・プログラムとしてコンピュータ装置の記憶装置（記憶媒体）に格納しておいてもよい。そして、係るコンピュータ・プログラムを当該ＣＰＵが読み出して実行するようにしてもよい。そして、このような場合において、本発明は、係るコンピュータ・プログラムのコードあるいは記憶媒体によって構成される。
　また、上述した各実施の形態は、適宜組み合わせて実施されることが可能である。
　また、本発明は、上述した各実施の形態に限定されず、様々な態様で実施されることが可能である。
　本発明のなりすまし検知技術は、装置構成および利用者の負担を増大させることなく、顔認証におけるなりすましをより精度良く検知することができ、顔認証を用いたシステムのセキュリティレベルを向上する目的に広く利用可能である。
　以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
　この出願は、２０１４年１０月１５日に出願された日本出願特願２０１４－２１０５２９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１、２、３　　なりすまし検知装置
　１１　　顔画像列取得部
　１２　　視線変化検出部
　１３、２３　　提示情報表示部
　１４、２４、３４　　なりすまし判定部
　３５　　標準情報記憶部
　１００１　ＣＰＵ
　１００２　ＲＡＭ
　１００３　ＲＯＭ
　１００４　記憶装置
　１００５　撮像装置
　１００６　表示装置

Claims (8)

  1. 　ユーザの顔を表す顔画像列を取得する顔画像列取得手段と、
    　前記顔画像列から視線の時間変化の情報を検出する視線変化検出手段と、
    　認証処理の一環として前記ユーザに提示される提示情報を表示する提示情報表示手段と、
    　前記提示情報に対する前記視線の時間変化の情報に基づいて、前記顔画像列の表す顔がなりすましである可能性を判定するなりすまし判定手段と、
    　を備えたなりすまし検知装置。
  2. 　前記提示情報表示手段は、前記提示情報の切り替えを行い、
    　前記なりすまし判定手段は、前記視線の時間変化の情報と、前記提示情報の切り替えとの関連性に基づいて、前記なりすましである可能性を判定することを特徴とする請求項１に記載のなりすまし検知装置。
  3. 　前記なりすまし判定手段は、前記視線の時間変化の情報と、前記切り替えのタイミングとの関連性に基づいて、前記なりすましである可能性を判定することを特徴とする請求項２に記載のなりすまし検知装置。
  4. 　前記なりすまし判定手段は、前記視線の時間変化の情報と、前記切り替えによる前記提示情報の表示位置の変化との関連性に基づいて、前記なりすましである可能性を判定することを特徴とする請求項２または請求項３に記載のなりすまし検知装置。
  5. 　前記なりすまし判定手段は、前記視線の時間変化の情報と、前記提示情報の内容との関連性に基づいて、前記なりすましである可能性を判定することを特徴とする請求項１から請求項４のいずれか１項に記載のなりすまし検知装置。
  6. 　前記視線変化検出手段は、前記視線の時間変化の情報として、視線の位置または視線の方向を表す情報の時系列、または、その微分値を検出することを特徴とする請求項１から請求項５のいずれか１項に記載のなりすまし検知装置。
  7. 　ユーザの顔を表す顔画像列から視線の時間変化の情報をコンピュータ装置によって検出し、
    　認証処理の一環として前記ユーザに対して提示される提示情報に対する前記視線の時間変化の情報に基づいて、前記顔画像列の表す顔がなりすましである可能性をコンピュータ装置によって判定するなりすまし検知方法。
  8. 　ユーザの顔を表す顔画像列を取得する顔画像列取得ステップと、
    　前記顔画像列から視線の時間変化の情報を検出する視線変化検出ステップと、
    　認証処理の一環として前記ユーザに提示される提示情報を表示する情報提示ステップと、
    　前記提示情報に対する前記視線の時間変化の情報に基づいて、前記顔画像列の表す顔がなりすましである可能性を判定するなりすまし判定ステップと、
    　をコンピュータ装置に実行させるなりすまし検知プログラムを記憶した記憶媒体。
PCT/JP2015/005147 2014-10-15 2015-10-09 なりすまし検知装置、なりすまし検知方法、および、記憶媒体 WO2016059786A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
EP22161774.9A EP4047551A1 (en) 2014-10-15 2015-10-09 Impersonation detection device, impersonation detection method, and recording medium
EP15850709.5A EP3208770B1 (en) 2014-10-15 2015-10-09 Impersonation detection device, impersonation detection method, and recording medium
US15/514,573 US10515262B2 (en) 2014-10-15 2015-10-09 Spoofing detection device, spoofing detection method, and recording medium
JP2016553968A JP6809226B2 (ja) 2014-10-15 2015-10-09 生体検知装置、生体検知方法、および、生体検知プログラム
US16/682,083 US11210500B2 (en) 2014-10-15 2019-11-13 Spoofing detection device, spoofing detection method, and recording medium
US17/529,516 US11699302B2 (en) 2014-10-15 2021-11-18 Spoofing detection device, spoofing detection method, and recording medium
US18/200,774 US20230298383A1 (en) 2014-10-15 2023-05-23 Spoofing detection device, spoofing detection method, and recording medium
US18/212,513 US20230351805A1 (en) 2014-10-15 2023-06-21 Spoofing detection device, spoofing detection method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-210529 2014-10-15
JP2014210529 2014-10-15

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/514,573 A-371-Of-International US10515262B2 (en) 2014-10-15 2015-10-09 Spoofing detection device, spoofing detection method, and recording medium
US16/682,083 Continuation US11210500B2 (en) 2014-10-15 2019-11-13 Spoofing detection device, spoofing detection method, and recording medium

Publications (1)

Publication Number Publication Date
WO2016059786A1 true WO2016059786A1 (ja) 2016-04-21

Family

ID=55746346

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/005147 WO2016059786A1 (ja) 2014-10-15 2015-10-09 なりすまし検知装置、なりすまし検知方法、および、記憶媒体

Country Status (4)

Country Link
US (5) US10515262B2 (ja)
EP (2) EP3208770B1 (ja)
JP (3) JP6809226B2 (ja)
WO (1) WO2016059786A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190220652A1 (en) * 2016-09-30 2019-07-18 Intel Corporation Face anti-spoofing using spatial and temporal convolutional neural network analysis
WO2019151368A1 (ja) 2018-02-01 2019-08-08 日本電気株式会社 生体認証装置、システム、方法および記録媒体
JP2019522278A (ja) * 2016-06-30 2019-08-08 北京七▲シン▼易▲維▼信息技▲術▼有限公司Ｂｅｉｊｉｎｇ ７Ｉｎｖｅｎｓｕｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． 身分認証方法および装置
WO2021220423A1 (ja) * 2020-04-28 2021-11-04 日本電気株式会社 認証装置、認証システム、認証方法および認証プログラム
US11182466B2 (en) 2019-09-18 2021-11-23 Soliton Systems K.K. User authentication apparatus and recording media
WO2022074865A1 (ja) * 2020-10-09 2022-04-14 日本電気株式会社 生体検知装置、制御方法、及びコンピュータ可読媒体
US11343277B2 (en) 2019-03-12 2022-05-24 Element Inc. Methods and systems for detecting spoofing of facial recognition in connection with mobile devices
US11425562B2 (en) 2017-09-18 2022-08-23 Element Inc. Methods, systems, and media for detecting spoofing in mobile authentication
WO2022230117A1 (ja) * 2021-04-28 2022-11-03 日本電気株式会社 情報処理システム、情報処理方法、及び記録媒体
US11507248B2 (en) 2019-12-16 2022-11-22 Element Inc. Methods, systems, and media for anti-spoofing using eye-tracking

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9830708B1 (en) * 2015-10-15 2017-11-28 Snap Inc. Image segmentation of a video stream
US10685250B2 (en) * 2016-05-24 2020-06-16 Morphotrust Usa, Llc Liveness detection for face capture
CN107609462A (zh) * 2017-07-20 2018-01-19 北京百度网讯科技有限公司 待检测信息生成及活体检测方法、装置、设备及存储介质
CN114041184A (zh) * 2019-06-28 2022-02-11 日本电气株式会社 欺骗检测装置、欺骗检测方法和计算机可读存储介质
US11501531B2 (en) 2020-03-03 2022-11-15 Cyberlink Corp. Systems and methods for anti-spoofing protection using motion detection and video background analysis
EP4216149A4 (en) * 2020-09-17 2023-11-08 Fujitsu Limited FACE AUTHENTICATION METHOD, FACE AUTHENTICATION PROGRAM AND FACE AUTHENTICATION APPARATUS
IT202100002744A1 (it) * 2021-02-08 2022-08-08 Euronovate Sa Sistema per la verifica dell’autenticita’ di una persona mediante riconoscimento facciale

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000083930A (ja) * 1998-09-10 2000-03-28 Oki Electric Ind Co Ltd アイリスを用いた個人識別装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3557729A (en) 1969-07-02 1971-01-26 Union Special Machine Co Blindstitch sewing machine
JP4469476B2 (ja) 2000-08-09 2010-05-26 パナソニック株式会社 眼位置検出方法および眼位置検出装置
JP2008305400A (ja) 2001-05-25 2008-12-18 Toshiba Corp 顔画像記録装置、及び顔画像記録方法
JP2006023953A (ja) 2004-07-07 2006-01-26 Fuji Photo Film Co Ltd 情報表示システム
JP4470663B2 (ja) 2004-09-14 2010-06-02 沖電気工業株式会社 虹彩認証における不正検出システム
JP4734980B2 (ja) * 2005-03-15 2011-07-27 オムロン株式会社 顔認証装置およびその制御方法、顔認証装置を備えた電子機器、顔認証装置制御プログラム、ならびに該プログラムを記録した記録媒体
JP2006308375A (ja) 2005-04-27 2006-11-09 Matsushita Electric Ind Co Ltd 赤外線利用型目位置検出装置
JP4765575B2 (ja) 2005-11-18 2011-09-07 富士通株式会社 個人認証方法、個人認証プログラムおよび個人認証装置
JP4807167B2 (ja) 2006-07-06 2011-11-02 オムロン株式会社 なりすまし検知装置
JP4752660B2 (ja) * 2006-07-28 2011-08-17 沖電気工業株式会社 個人認証方法及び個人認証装置
JP2008276345A (ja) 2007-04-26 2008-11-13 Kyocera Corp 電子機器及び認証方法及びプログラム
CN102197412B (zh) * 2008-10-28 2014-01-08 日本电气株式会社 伪装检测系统和伪装检测方法
JP2013540700A (ja) 2010-08-09 2013-11-07 サイバツクス・インコーポレイテツド 病気を予防するための方法および組成物
US9883387B2 (en) * 2011-03-24 2018-01-30 Visa International Service Association Authentication using application authentication element
JP5755012B2 (ja) * 2011-04-21 2015-07-29 キヤノン株式会社 情報処理装置、その処理方法、プログラム及び撮像装置
JP5035467B2 (ja) 2011-10-24 2012-09-26 日本電気株式会社 立体性認証方法、立体性認証装置および立体性認証プログラム
US9025830B2 (en) * 2012-01-20 2015-05-05 Cyberlink Corp. Liveness detection system based on face behavior
US8542879B1 (en) * 2012-06-26 2013-09-24 Google Inc. Facial recognition
US8856541B1 (en) * 2013-01-10 2014-10-07 Google Inc. Liveness detection
JP6104030B2 (ja) 2013-04-19 2017-03-29 本田技研工業株式会社 車両用バックドア構造

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000083930A (ja) * 1998-09-10 2000-03-28 Oki Electric Ind Co Ltd アイリスを用いた個人識別装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MANAMI TAKADA: "A study on continuous spoofing detection using attractive targets", SYMPOSIUM ON MULTIMEDIA, DISTRIBUTED, COOPERATIVE AND MOBILE SYSTEMS (DICOM02009) RONBUNSHU, vol. 2009, no. 1, 1 July 2009 (2009-07-01), pages 92 - 97, XP009502133 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019522278A (ja) * 2016-06-30 2019-08-08 北京七▲シン▼易▲維▼信息技▲術▼有限公司Ｂｅｉｊｉｎｇ ７Ｉｎｖｅｎｓｕｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． 身分認証方法および装置
US10891507B2 (en) 2016-06-30 2021-01-12 Beijing 7Invensun Technology Co., Ltd. Method and device for recognizing identity
US20190220652A1 (en) * 2016-09-30 2019-07-18 Intel Corporation Face anti-spoofing using spatial and temporal convolutional neural network analysis
US10691923B2 (en) * 2016-09-30 2020-06-23 Intel Corporation Face anti-spoofing using spatial and temporal convolutional neural network analysis
US11425562B2 (en) 2017-09-18 2022-08-23 Element Inc. Methods, systems, and media for detecting spoofing in mobile authentication
JP7070588B2 (ja) 2018-02-01 2022-05-18 日本電気株式会社 生体認証装置、システム、方法およびプログラム
JP7452571B2 (ja) 2018-02-01 2024-03-19 日本電気株式会社 生体認証装置、生体認証方法および生体認証プログラム
JPWO2019151368A1 (ja) * 2018-02-01 2021-01-14 日本電気株式会社 生体認証装置、システム、方法およびプログラム
JP2022106869A (ja) * 2018-02-01 2022-07-20 日本電気株式会社 生体認証装置、生体認証方法および生体認証プログラム
WO2019151368A1 (ja) 2018-02-01 2019-08-08 日本電気株式会社 生体認証装置、システム、方法および記録媒体
US11550890B2 (en) 2018-02-01 2023-01-10 Nec Corporation Biometric authentication device, method and recording medium
US11775627B2 (en) 2018-02-01 2023-10-03 Nec Corporation Biometric authentication device, method and recording medium
US11343277B2 (en) 2019-03-12 2022-05-24 Element Inc. Methods and systems for detecting spoofing of facial recognition in connection with mobile devices
US11182466B2 (en) 2019-09-18 2021-11-23 Soliton Systems K.K. User authentication apparatus and recording media
JP7434565B2 (ja) 2019-12-16 2024-02-20 エレメント インク． アイトラッキングを用いたなりすまし防止のための方法、システム、および媒体
US11507248B2 (en) 2019-12-16 2022-11-22 Element Inc. Methods, systems, and media for anti-spoofing using eye-tracking
WO2021220423A1 (ja) * 2020-04-28 2021-11-04 日本電気株式会社 認証装置、認証システム、認証方法および認証プログラム
JP7428242B2 (ja) 2020-04-28 2024-02-06 日本電気株式会社 認証装置、認証システム、認証方法および認証プログラム
JP7420281B2 (ja) 2020-10-09 2024-01-23 日本電気株式会社 生体検知装置、制御方法、及びプログラム
WO2022074833A1 (ja) * 2020-10-09 2022-04-14 日本電気株式会社 生体検知装置、制御方法、及びコンピュータ可読媒体
WO2022074865A1 (ja) * 2020-10-09 2022-04-14 日本電気株式会社 生体検知装置、制御方法、及びコンピュータ可読媒体
JP7459959B2 (ja) 2020-10-09 2024-04-02 日本電気株式会社 生体検知装置、制御方法、及びプログラム
WO2022230117A1 (ja) * 2021-04-28 2022-11-03 日本電気株式会社 情報処理システム、情報処理方法、及び記録媒体

Also Published As

Publication number Publication date
US11210500B2 (en) 2021-12-28
JPWO2016059786A1 (ja) 2017-08-03
US20230351805A1 (en) 2023-11-02
US20220075999A1 (en) 2022-03-10
JP6809226B2 (ja) 2021-01-06
EP3208770A4 (en) 2018-05-30
JP2020194608A (ja) 2020-12-03
US20200082161A1 (en) 2020-03-12
JP2023052914A (ja) 2023-04-12
US20230298383A1 (en) 2023-09-21
EP3208770A1 (en) 2017-08-23
US20170228586A1 (en) 2017-08-10
EP3208770B1 (en) 2022-05-04
EP4047551A1 (en) 2022-08-24
US11699302B2 (en) 2023-07-11
US10515262B2 (en) 2019-12-24

Similar Documents

Publication Publication Date Title
WO2016059786A1 (ja) なりすまし検知装置、なりすまし検知方法、および、記憶媒体
CN105184246B (zh) 活体检测方法和活体检测系统
EP3332403B1 (en) Liveness detection
JP6544244B2 (ja) 情報処理装置、情報処理方法及びプログラム
TWI616822B (zh) 在以影像爲基礎的生物統計中之臉部欺騙偵測技術
JP6587435B2 (ja) 画像処理装置、情報処理方法及びプログラム
KR20190038594A (ko) 얼굴 인식-기반 인증
US11454811B2 (en) Method and apparatus for unlocking head-mounted display device
US20130286161A1 (en) Three-dimensional face recognition for mobile devices
EP3241151A1 (en) An image face processing method and apparatus
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
JP6950644B2 (ja) 注意対象推定装置及び注意対象推定方法
JP7264308B2 (ja) 二次元顔画像の２つ以上の入力に基づいて三次元顔モデルを適応的に構築するためのシステムおよび方法
JPWO2022074865A5 (ja) 生体検知装置、制御方法、及びプログラム
KR20130079962A (ko) 증강현실을 이용한 포스트잇 컨텐츠 표시 방법 및 이를 실행하는 장치
JP2021060691A (ja) プログラム、映像処理装置及び認証方法
KR20110012820A (ko) 얼굴 구성 성분의 모션 조합에 의한 개인 인증 장치 및 그 방법
JP2016071591A (ja) 照合装置および照合方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15850709

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016553968

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015850709

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015850709

Country of ref document: EP