WO2020152917A1 - 顔認証装置、顔認証方法、プログラム、および記録媒体 - Google Patents

顔認証装置、顔認証方法、プログラム、および記録媒体 Download PDF

Info

Publication number
WO2020152917A1
WO2020152917A1 PCT/JP2019/039079 JP2019039079W WO2020152917A1 WO 2020152917 A1 WO2020152917 A1 WO 2020152917A1 JP 2019039079 W JP2019039079 W JP 2019039079W WO 2020152917 A1 WO2020152917 A1 WO 2020152917A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
information
image
extracted
skeleton
Prior art date
Application number
PCT/JP2019/039079
Other languages
English (en)
French (fr)
Inventor
蒼馬 上田
Original Assignee
Ｎｅｃソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃソリューションイノベータ株式会社 filed Critical Ｎｅｃソリューションイノベータ株式会社
Priority to JP2020567365A priority Critical patent/JP7251874B2/ja
Priority to SG11202107211SA priority patent/SG11202107211SA/en
Publication of WO2020152917A1 publication Critical patent/WO2020152917A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a face authentication device, a face authentication method, a program, and a recording medium.
  • face authentication Personal authentication by face image analysis
  • the face image of the registrant is stored in advance as a master face image
  • the face image of the subject obtained live is used as a query face image
  • the face image is collated with the master face image.
  • face authentication for example, it is not necessary to arrange a guard or the like who manages the entrance at the entrance, and it is possible to improve safety and reduce labor costs.
  • an object of the present invention is to provide a new face authentication system that can easily prevent spoofing using a facial photograph.
  • the face recognition device of the present invention comprises: Including storage means, image acquisition means, extraction means, position determination means, and output means,
  • the storage means is Stores determination reference information regarding the positional relationship between the face and parts other than the face in the human skeleton
  • the image acquisition means Acquire the image of the target person
  • the extraction means is Face information and skeleton information are extracted from the image
  • the position determination means In the image, the positional relationship between the position of the face based on the extracted face information and the position of the skeleton based on the extracted skeleton information, based on the determination reference information, to determine whether normal or abnormal
  • the output means is When the skeleton information is not extracted by the extraction unit, and when the positional relationship is determined to be abnormal by the position determination unit, it is output that the subject of the image cannot be authenticated.
  • the face recognition method of the present invention is Including image acquisition process, extraction process, position determination process, and output process
  • the image acquisition step is Acquire the image of the target person
  • the extraction step is Face information and skeleton information are extracted from the image
  • the position determination step In the image, the positional relationship between the position of the face based on the extracted face information and the position of the skeleton based on the extracted skeleton information, based on the determination reference information, to determine whether normal or abnormal
  • the determination criterion information is determination criterion information regarding a positional relationship between a face and a part other than the face in a human skeleton
  • the output step is When the skeleton information is not extracted in the extraction step and when the positional relationship is determined to be abnormal in the position determination step, it is output that the subject of the image cannot be authenticated.
  • a program of the present invention is characterized by causing a computer to execute the face authentication method of the present invention.
  • a computer-readable recording medium of the present invention is characterized by recording the program of the present invention.
  • FIG. 1 is a block diagram illustrating an example of the face authentication device according to the first embodiment.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the face authentication device according to the first embodiment.
  • FIG. 3 is a flowchart showing an example of the face authentication method according to the first embodiment.
  • FIG. 4 is a schematic diagram showing the state of the subject.
  • FIG. 5 is another schematic diagram showing the state of the subject.
  • FIG. 6 is another schematic diagram showing the state of the subject.
  • FIG. 1 is a block diagram showing the configuration of an example of the face authentication device of this embodiment.
  • the face authentication device 10 includes a storage unit 11, an image acquisition unit 12, an extraction unit 13, a position determination unit 14, and an output unit 15. Further, the face authentication device 10 includes, for example, a face matching unit 16.
  • the face authentication device 10 is also called, for example, a face authentication system.
  • the face authentication device 10 may be, for example, one device including the above-mentioned units, or may be a device in which the above-mentioned units are connectable via a communication network.
  • the communication network is not particularly limited, and a known network can be used, and for example, it may be wired or wireless. Examples of the communication line network include an internet line, a telephone line, a LAN (Local Area Network), and a WiFi (Wireless Fidelity).
  • the face authentication device 10 may be, for example, a personal computer (PC) in which the program of the present invention is installed.
  • PC personal computer
  • FIG. 2 illustrates a block diagram of the hardware configuration of the face authentication device 10 of FIG.
  • the face authentication device 10 has, for example, a CPU (central processing unit) 101, a memory 102, a bus 103, an input device 104, a display 105, a communication device 106, a storage device 107, a camera 109, and the like as an example of a processor.
  • a CPU central processing unit
  • Each part of the face authentication device 10 is mutually connected via the bus 103 by each interface (I/F), for example.
  • the I/F can be connected to an external device, for example.
  • the face authentication device 10 can be connected to a communication line network by the communication device 106 connected to the I/F, and can also be connected to the external device via the communication line network.
  • the external device may be, for example, a personal computer (PC), a smart phone, a tablet, a terminal such as a mobile phone.
  • the external device may be, for example, an imaging device (for example, a camera) that images a subject.
  • the CPU 101 is a processor that controls the entire face authentication apparatus 10, and is not limited to the CPU and may be another processor.
  • the CPU 101 executes, for example, the program of the present invention and other programs, and also reads and writes various information.
  • the CPU 101 functions as the image acquisition unit 12, the extraction unit 13, the position determination unit 14, the output unit 15, and the like, and optionally functions as the face matching unit 16.
  • the memory 102 includes, for example, a main memory (main storage device), and the main memory is also referred to as a main storage device.
  • the main memory is, for example, a RAM (random access memory).
  • the memory 102 further includes, for example, a ROM (read-only memory).
  • the storage device 107 is also called a so-called auxiliary storage device with respect to the main memory, for example.
  • the storage device 107 stores the program 108 including the program of the present invention and the storage means 11.
  • the storage device 107 includes, for example, a storage medium and a drive that reads and writes the storage medium.
  • the storage medium is not particularly limited, and may be, for example, an internal type or an external type, HD (hard disk), FD (floppy (registered trademark) disk), CD-ROM, CD-R, CD-RW, MO, Examples thereof include DVD, flash memory, and memory card, and the drive is not particularly limited.
  • the storage device 107 can also be exemplified by a hard disk drive (HDD) in which a storage medium and a drive are integrated.
  • HDD hard disk drive
  • the face authentication device 10 further includes, for example, an input device 104, a display 105, and a camera 109.
  • the input device 104 is, for example, a touch panel, a keyboard, a mouse, a scanner, or the like.
  • Examples of the display 105 include an LED display and a liquid crystal display.
  • the face authentication device 10 may output the output device 15 to the external device or the like via the communication device 106, for example.
  • the storage means 11 includes determination standard information.
  • the determination reference information is reference information regarding a positional relationship between a face and a part other than the face in a human skeleton.
  • the storage unit 11 may further include registered face information of the registrant.
  • the target person who is the imaging target, the facial photograph of the registrant itself, the smartphone or the tablet or the like displaying the facial photograph is held over the camera, or the position of his or her face. They are certified by taking a photo of the registrant's face. Therefore, the inventor of the present invention, when the subject himself/herself is photographed, and when the subject is photographed while holding a facial photograph or the like over the camera or bringing the subject to the position of the face, We obtained the knowledge that the positional relationship is different.
  • the head in the case of a subject who is not spoofing, for example, when walking, the head (or face) is above the neck, and the arms are generally shoulders. It has fallen below.
  • the subject when the subject is spoofing by holding the facial photograph over the camera, for example, there is no body below the facial photograph.
  • the subject when the subject holds the face photograph and brings it to the position of the face, for example, the body of the subject exists below the face photograph, but the arm of the subject does not Since the photo is kept at the face position, it is in an unnatural position when walking.
  • the normality/abnormality is merely a judgment in impersonation of face authentication. That is, “normal” means, for example, a state of “natural posture or movement” of a person who is not impersonating in face authentication, and “abnormal” means, for example, a person who is impersonating in face authentication. , Or "unnatural posture or movement" of a person who may be impersonating.
  • the determination criterion information is, for example, a positional relationship between a face and a part other than the face in a human skeleton, a condition that can be determined as a normal state that is not impersonation, or an abnormal state of impersonation. Any condition can be used as long as it can be determined, and specific conditions can be set as appropriate.
  • the criterion information is "a condition that can be determined to be a normal state", if it is not satisfied, the image cannot be authenticated because the image has an abnormal positional relationship. Further, when the determination criterion information is “a condition that can be determined to be an abnormal state”, if this is satisfied, the image cannot be authenticated as an image having an abnormal positional relationship.
  • “authentication not possible” may mean, for example, the collation with registered face information described later is impossible.
  • the image of the target person is determined to be the image of the abnormal positional relationship, for example, a collation result of the extracted face information and registered face information by a face collating unit described later (the same person is The subject of the image cannot be authenticated regardless of the determination (1) or the determination that they are different persons).
  • the part other than the face is not particularly limited, and is, for example, an arm, a hand, a neck, an upper body, a finger, or the like.
  • the face authentication device of the present invention can be used, for example, for face authentication in which a captured image of a subject is a still image, but is used for face authentication of a constituent image forming a moving image of a moving subject.
  • face authentication in which a captured image of a subject is a still image, but is used for face authentication of a constituent image forming a moving image of a moving subject.
  • the latter is also referred to as so-called “walk-through face authentication”, in which the subject is photographed in a moving state, specifically, for example, a walking state, and face authentication is performed using the image. Therefore, it is preferable that the positional relationship between the face and the part other than the face is set to, for example, a positional relationship that can be determined to be normal when a person is walking.
  • the moving image includes a plurality of constituent images captured over time (continuously).
  • the photographed image of the subject is the moving image, for example, at least one of the plurality of constituent images forming the moving image may be used, or
  • the face authentication device 10 determines that the image cannot be authenticated, based on the determination of the positional relationship using the skeleton information, regardless of whether the face information in the image matches the registered face information for the image impersonated by the subject. judge. Since a so-called face authentication device normally aims at face recognition in the end, it is preferable that the face authentication device 10 of the present embodiment further has the face collating means 16 as described above, and the storage means 11 is. Furthermore, it is preferable to store the registered face information of the registrant.
  • the registered face information may be, for example, a face image of a registrant, information on feature points related to the face image, or the like.
  • the registered face information is stored as, for example, registrant information in association with registrant identification information.
  • the identification information is, for example, a registrant's name, identification number, work place, affiliation, contact information, or the like.
  • the image acquisition means 12 acquires the image of the target person.
  • the face authentication device 10 may be provided with the camera 109, for example, and may acquire the image by capturing an image of the subject, or the image of the subject captured by the camera of the external device may be It may be acquired via the input device 104 or the communication device 106.
  • the image of the subject may be, for example, a still image or a constituent image of the moving image captured over time.
  • the extraction means 13 extracts face information and skeleton information from the image of the subject.
  • Extraction of face information from the image and extraction of skeleton information from the image are not particularly limited, and, for example, existing image processing technology can be used.
  • the image processing technology after the application of the present application can also be used and is not limited at all.
  • Openpose Wellspring
  • Vision Pose registered as an existing program can be used to extract skeleton information from the image.
  • Trademark Next System Co., Ltd.
  • the position determination means 14 determines, based on the determination reference information, the positional relationship between the position of the face based on the extracted face information and the position of the skeleton based on the extracted skeleton information in the image. , Normal or abnormal.
  • the position of the face based on the extracted face information and the position of the skeleton based on the extracted skeleton information can be appropriately selected according to the determination reference information, for example. That is, for the determination reference information, when the position of the face in the human skeleton is specified by, for example, the skeleton of the head (outline of the head), the skeleton of the head is extracted for the extracted face information,
  • the position of the skeleton of the head may be the position of the face in the extracted face information.
  • the arm skeleton is extracted from the extracted skeleton information and the The position may be the position of the skeleton in the extracted skeleton information.
  • the method of determining the position of the face and the position of the skeleton in the image from the extracted face information is not particularly limited, and for example, a facial feature point and a characteristic point of an arbitrary skeleton part (eg, arm) Can be determined by extracting, and a general image analysis method can be used.
  • the face collating means 16 collates the extracted face information with the registered face information to determine whether the person is the same person or a non-same person.
  • the face collating means 16 may collate only the face information derived from the image that is not determined by the position determining means 14 to be unauthenticable.
  • the face information derived from the image may also be collated. That is, the face authentication device 10 according to the present embodiment may perform any one of the position determination based on the determination reference information and the determination by face verification whether authentication is possible or not (also referred to as non-authentication). Good.
  • the position determination is performed first, for example, first, for the image of the target person, the face information and the skeletal information are extracted, and then, only for the images in which both are extracted, based on the determination reference information. Determine whether it is normal or abnormal. Further, face verification may be performed only on the image that is determined to be normal, and determination of authentication or non-authentication may be performed.
  • face authentication for example, first, face information and skeletal information are extracted from the image of the target person, and then face verification is performed on the image from which the face information is extracted to perform authentication. A tentative determination is made as to whether it is non-authenticated. Also for the image that has been provisionally determined to be authenticated, it is determined whether the image is normal or abnormal based on the determination reference information. If the image is abnormal, a final determination of non-authentication is performed. May be finally determined.
  • the output means 15 of the face authentication means 10 Output that the target person cannot be authenticated.
  • the output unit 15 outputs authentication and authentication for the target person of the image, and the extracted face information and the extracted face information.
  • the person who is the subject of the image is output as being unable to be authenticated.
  • the face authentication method of the present embodiment can be carried out by using, for example, the face authentication device 10 shown in FIGS. 1 and 2, but is not limited to the use of the face authentication device 10.
  • the image acquisition step acquires an image of the target person.
  • the process can be executed by the image acquisition unit 12 of the face authentication device 10, for example.
  • the extraction step extracts face information and skeleton information from the image.
  • the above steps can be executed by the extraction unit 13 of the face authentication device 10, for example.
  • the position determination step in the image, regarding the positional relationship between the position of the face based on the extracted face information and the position of the skeleton based on the extracted skeleton information, based on the determination reference information, whether normal or abnormal. judge.
  • the process can be executed by, for example, the position determination unit 14 of the face authentication device 10, and the determination reference information can be called from the storage unit 11 of the face authentication device 10, for example.
  • the face collating step collates the extracted face information with the registered face information of the registrant.
  • the above steps can be executed by the face matching means 16 of the face authentication device 10.
  • the output step if the skeleton information is not extracted in the extraction step, and if the positional relationship is determined to be abnormal in the position determination step, the target person of the image is output as unauthenticateable.
  • the output step when the positional relationship is determined to be normal in the position determination step, and the extracted face information and the registered face information are determined to be the same person in the face matching step, the image When the extracted face information and the registered face information are determined to be non-identical persons, the subject of the image is output as "authentication impossible".
  • the above steps can be executed by the output means 15 of the face authentication device 10.
  • the face matching step may be performed by, for example, only the image determined to be normal based on the determination reference information in the position determination step, the face image extracted from the image and the registered face.
  • the face may be collated with the image, or the face image extracted from the image may be collated with the registered face image regardless of the determination in the position determination step.
  • the image of the subject is acquired (S101). Then, the face information is extracted (S102) and the skeleton information is extracted (S105) from the image.
  • face information cannot be extracted from the image S103, NO
  • it is determined that authentication is not possible it is determined that face verification is not possible
  • there is no face information to be compared S104
  • the skeleton information cannot be extracted from the image S106, NO
  • it is determined that authentication is impossible it is determined that face verification is impossible because there is a possibility of spoofing (S107).
  • the face information can be extracted from the image (S103, YES) and the skeleton information can be extracted (S106, YES), the position of the face based on the face information in the image and the skeleton based on the skeleton information.
  • the normal or abnormal is determined based on the determination reference information (S108). If it is determined to be abnormal (NO), it is determined that there is a possibility of spoofing and authentication is impossible (it can be said that face verification is impossible) (S109).
  • the subject is photographed in a normal state and it is determined that the subject is not spoofed, and the extracted face information is collated with the registered face information (S110). From the comparison between the face information and the registered face information, it is determined whether the target person and the registrant are the same person (S111). If they are the same (YES), the authentication is made (S112), and if they are not the same ( No), authentication is not possible (it can be said that face matching is not possible) (S113). Then, the result of the authentication and the determination that the authentication is not possible in each step is output (S114), and the process ends (END).
  • the collation (S110) is performed, but the invention is not limited to this. That is, when the face image can be extracted from the image (S103, YES) and the skeleton information can be extracted (S106, YES), the collation step (S110) is performed separately from the step (S108). You may go. In this case, if it is determined that the person is the same person in the step (S111) (YES), but it is determined to be abnormal in the step (S108) performed separately (NO), as a result, authentication cannot be performed (S109). ).
  • FIG. 4A is a schematic diagram showing a state in which the target person 20 points the smartphone 30 on which the face image of the registrant is displayed toward the camera 40.
  • the target person 20 in this state it can be determined that authentication is impossible, for example, as follows.
  • As a first pattern it is assumed that both the face information of the face displayed on the smartphone 30 and the skeleton information of the target person 20 holding the smartphone 30 have been extracted from the acquired image.
  • the face information of the face displayed on the smartphone 30 is present at the position of the arm of the target person 20 based on the skeleton information.
  • the criterion information that the human face is above the neck in the skeleton, or the human face in the skeleton is the arm
  • the face information of the face displayed on the smartphone 30 can be extracted from the acquired image, and this is assumed to be the position of the face in the image.
  • the extracted face information is the face of the target person 20, there is no body that should be under the face, and the skeletal information is not extracted. Authentication becomes impossible.
  • the face information of the face displayed on the smartphone 30, the face information of the face of the subject 20 having the smartphone, and the skeleton information of the subject 20 are extracted.
  • the number of face information and the number of skeleton information do not match, and it is determined to be abnormal and face verification is impossible, that is, authentication is not possible.
  • FIG. 4B when three target persons 20 (20A, 20B, 20C) are imaged, face information and skeleton information are extracted for each, and the position of each face is also extracted.
  • the positional relationship between the skeleton and the position of the skeleton is determined to be normal. Therefore, it is possible to continuously perform face matching for the face information of each of the target persons 20A, 20B, and 20C.
  • FIG. 4C is a schematic diagram showing a state in which the target person 20 has the smartphone 30 on which the face image of the registrant is displayed at the position of his/her own face.
  • both face information and skeleton information can be extracted from the acquired image.
  • the position of the arm based on the extracted skeletal information (particularly the position from the elbow to the hand) is higher than the shoulder with respect to the position of the face based on the extracted face information.
  • FIG. 4D in a normal state where a person is walking, the arm is located below the shoulder (below the dotted line in the figure).
  • the reference (threshold value) of the arm height during walking is set to the shoulder height, in FIG. 4C, the position of the arm is higher than the shoulder (from the dotted line in the figure).
  • the height of the reference value is exceeded, it is determined to be abnormal and authentication is not possible.
  • face matching even if it is determined that they are the same person, regardless of the determination, since it is determined to be abnormal and authentication is impossible, the risk of authentication against spoofing can be reduced.
  • the position of the arm is at a height below the shoulder (below the dotted line in the figure), that is, it does not exceed the height of the reference value, and thus the normal position is obtained. Is determined. Therefore, the face information of the target person 20 can be continuously face-matched.
  • FIG. 5 is a schematic diagram showing a state in which the target person brings the face image of the registrant displayed on the smartphone 30 closer to the camera 40 in the up position.
  • the target person in this state is imaged, only the face is included in the image, so the face information can be extracted, but the skeleton information cannot be extracted. Therefore, authentication is not possible because there is a possibility of spoofing. In this case, even if it is determined that the persons are the same person in the face collation, the authentication is impossible regardless of the determination, and thus the risk of authentication against impersonation can be reduced.
  • the image of the subject may be a constituent image that constitutes the moving image, and among a plurality of constituent images captured over time (continuously), optionally, for two or more constituent images, It is preferable to perform the extraction step, the position determination step, and the like.
  • one of the plurality of time-series images is subjected to the determination as described above, it may be determined that the same person is satisfied by face matching while satisfying the determination reference information despite spoofing. Conceivable. For example, this is a case where the face image of the registrant is positioned on his or her face in a posture that is not unnatural for a moment of shooting.
  • the face image of the registrant is positioned on his or her face in an unnatural posture for impersonation. It can be more accurately determined that the image in the state of being included is included.
  • the determination as described above when one of the plurality of time-series images is subjected to the determination as described above, it is abnormal although the subject actually moves normally. There is a possibility that the authentication becomes impossible due to the determination.
  • the same extraction and determination are performed for a plurality of time-series images, it can be more accurately determined that the subject is moving normally and is normal rather than spoofing. Therefore, it is preferable to use the time-series image in order to more accurately remove the spoofed image.
  • FIG. 6 is merely an example, and the present invention is not limited to these examples.
  • FIG. 6A and (B) are constituent images that make up a moving image, and the arrows indicate the time axis. That is, FIG. 6A is a constituent image (A) at time Tn, and FIG. 6B is a constituent image (B) at time Tn+m.
  • FIG. 6A when face information and skeleton information are extracted from the constituent image (A), two face information and one skeleton information are extracted.
  • This constituent image (A) is determined to be abnormal and cannot be authenticated.
  • the target person 20A and the target person 20B are walking, but the target person 20B is in a state in which only the face is photographed and the body is not reflected.
  • the target person 20B also reflects the body due to the movement. Therefore, when face information and skeleton information are extracted from the constituent image (B), two face information and two skeleton information are extracted, one face information and skeleton information, and the other face information and skeleton information. In, the positional relationship between the position of the face and the position of the skeleton is normal. Therefore, this constituent image (B) can be determined to be normal, and face matching can be performed for each of the target person 20A and the target person 20B.
  • the number of face information pieces extracted from the constituent image (A) does not match the number of skeleton information pieces, for example, the eye-to-eye distance in the extracted face information pieces is used. It is also possible to determine whether or not the constituent image (A) is abnormal. That is, in the case of FIG. 6A, two pieces of face information and one piece of skeleton information are extracted, but as described above, actually, the target person 20A and the target person 20B are imaged, not impersonation. ing. On the other hand, in the case of FIG. 4(A), as described above, two pieces of face information and one piece of skeleton information are extracted, which is a spoof using the smartphone 30 of the target person 20.
  • FIG. 6A two pieces of face information and one piece of skeleton information are extracted, which is a spoof using the smartphone 30 of the target person 20.
  • the skeleton information is not extracted and the eye-to-eye distance of the extracted face information is equal to or more than the threshold value, as described above, the skeleton information is extracted from the front and rear constituent images, and the abnormality or normal You may judge whether.
  • the program of the present embodiment is a program capable of executing the face authentication method of each of the above embodiments on a computer.
  • the program of this embodiment may be recorded in a computer-readable recording medium, for example.
  • the recording medium is not particularly limited, and examples thereof include the storage medium described above.
  • Appendix 1 Including storage means, image acquisition means, extraction means, position determination means, and output means
  • the storage means is Stores determination reference information regarding the positional relationship between the face and parts other than the face in the human skeleton
  • the image acquisition means Acquire the image of the target person
  • the extraction means is Face information and skeleton information are extracted from the image
  • the position determination means In the image, the positional relationship between the position of the face based on the extracted face information and the position of the skeleton based on the extracted skeleton information, based on the determination reference information, to determine whether normal or abnormal
  • the output means is A face authentication apparatus that outputs that the subject of the image cannot be authenticated when the skeleton information is not extracted by the extraction unit and when the positional relationship is determined to be abnormal by the position determination unit.
  • the storage means is Furthermore, the registered face information of the registrant is stored, The face matching means, Collating the extracted face information and the registered face information, The output means is When the face collating unit determines that the extracted face information and the registered face information are the same person, the target person of the image is authenticated and output, and the extracted face information and the registered face information are not the same. When it is determined that the person is a person, the person who is the subject of the image is output as being unable to be authenticated, The face authentication device according to attachment 1. (Appendix 3) 3. The face authentication device according to appendix 1 or 2, wherein the determination criterion information is information regarding a positional relationship between a face and an arm. (Appendix 4) 4.
  • the face authentication device according to any one of appendices 1 to 3, wherein the image of the subject is a plurality of time-series images captured over time.
  • the output means is For the plurality of time-series images captured within a predetermined time period, an image in which the skeleton information is not extracted by the extraction unit is included, and the positional relationship is not satisfied by the position determination unit.
  • the face authentication device according to appendix 4, which outputs that the subject of the image cannot be authenticated when the determined image is included.
  • the image acquisition step is Acquire the image of the target person
  • the extraction step is Face information and skeleton information are extracted from the image
  • the position determination step In the image, the positional relationship between the position of the face based on the extracted face information and the position of the skeleton based on the extracted skeleton information, based on the determination reference information, to determine whether normal or abnormal
  • the determination criterion information is determination criterion information regarding a positional relationship between a face and a part other than the face in a human skeleton
  • the output step is A face authentication method characterized in that if the skeleton information is not extracted in the extraction step, and if the positional relationship is determined to be abnormal in the position determination step, it is output that the subject of the image cannot be authenticated.
  • the face matching step is The extracted face information and the registered face information of the registrant are collated
  • the output step is When the extracted face information and the registered face information are determined to be the same person in the face matching step, the target person of the image is output as authentication, and the extracted face information and the registered face information are not the same.
  • the person who is the subject of the image is output as being unable to be authenticated,
  • the face authentication method according to attachment 6. (Appendix 8) 8.
  • the face authentication method according to any one of appendices 6 to 8, wherein the image of the subject is a plurality of time-series images captured over time.
  • the output step is For the plurality of time-series images captured within a predetermined time, when an image in which the skeleton information is not extracted by the extraction step is included, and when the positional relationship by the position determination step does not satisfy the determination reference information. 10.
  • the face authentication method according to appendix 9, wherein when the determined image is included, the subject of the image is output as being incapable of being authenticated.
  • Appendix 11 A program for causing a computer to execute the face authentication method according to any one of appendices 6 to 10.
  • Appendix 12 A computer-readable recording medium on which the program according to Appendix 11 is recorded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

顔写真を用いたなりすましを簡便に防止できる新たな顔認証装置を提供する。　本発明の顔認証装置１０は、人の骨格における顔と顔以外の部位との位置関係に関する判定基準情報を記憶する記憶手段１１、対象者の画像を取得する画像取得手段１２、前記画像から、顔情報、および骨格情報を抽出する抽出手段１３、前記画像における、前記抽出した顔情報に基づく顔の位置と前記抽出した骨格情報に基づく骨格の位置との位置関係について、前記判定基準情報に基づいて、正常か異常かを判定する位置判定手段１４、抽出手段１３により前記骨格情報が抽出されない場合、および、位置判定手段１４により前記位置関係が異常と判定された場合、前記画像の対象者について認証不可と出力する出力手段１５を含むことを特徴とする。

Description

顔認証装置、顔認証方法、プログラム、および記録媒体
　本発明は、顔認証装置、顔認証方法、プログラム、および記録媒体に関する。
　様々な分野において、顔画像解析による本人認証（以下、顔認証という）が利用されている。前記顔認証は、予め、登録者の顔画像がマスター顔画像として記憶され、ライブで得られた対象者の顔画像をクエリー顔画像として、前記マスター顔画像と照合し、一致する場合に本人認証される。このような顔認証によれば、例えば、エントランスにおいて入室管理を行う警備員等の配置も不要となり、安全性の向上、人件費の削減等が可能となる。
　しかし、一方では、無人であることから、例えば、登録者の顔写真をカメラにかざして顔認証のなりすまし行うというような問題も発生している。
　そこで、本発明は、顔写真を用いたなりすましを簡便に防止できる新たな顔認証システムの提供を目的とする。
　前記目的を達成するために、本発明の顔認証装置は、
記憶手段、画像取得手段、抽出手段、位置判定手段、および出力手段を含み、
前記記憶手段は、
　　人の骨格における顔と顔以外の部位との位置関係に関する判定基準情報を記憶し、
前記画像取得手段は、
　　対象者の画像を取得し、
前記抽出手段は、
　　前記画像から、顔情報、および骨格情報を抽出し、
前記位置判定手段は、
　　前記画像における、前記抽出した顔情報に基づく顔の位置と前記抽出した骨格情報に基づく骨格の位置との位置関係について、前記判定基準情報に基づいて、正常か異常かを判定し、
前記出力手段は、
　　前記抽出手段により前記骨格情報が抽出されない場合、および、前記位置判定手段により前記位置関係が異常と判定された場合、前記画像の対象者について認証不可と出力する、ことを特徴とする。
　本発明の顔認証方法は、
画像取得工程、抽出工程、位置判定工程、および出力工程を含み、
前記画像取得工程は、
　　対象者の画像を取得し、
前記抽出工程は、
　　前記画像から、顔情報、および骨格情報を抽出し、
前記位置判定工程は、
　　前記画像における、前記抽出した顔情報に基づく顔の位置と前記抽出した骨格情報に基づく骨格の位置との位置関係について、判定基準情報に基づいて、正常か異常かを判定し、
　　前記判定基準情報は、人の骨格における顔と顔以外の部位との位置関係に関する判定基準情報であり、
前記出力工程は、
　　前記抽出工程により前記骨格情報が抽出されない場合、および、前記位置判定工程により前記位置関係が異常と判定された場合、前記画像の対象者について認証不可と出力する、ことを特徴とする。
　本発明のプログラムは、前記本発明の顔認証方法をコンピュータに実行させることを特徴とする。
　本発明のコンピュータ読み取り可能な記録媒体は、前記本発明のプログラムを記録したことを特徴とする。
　本発明によれば、骨格情報を利用することで、顔写真を用いたなりすましを簡便に防止できる。
図１は、実施形態１の顔認証装置の一例を示すブロック図である。 図２は、実施形態１の顔認証装置のハードウェア構成の一例を示すブロック図である。 図３は、実施形態１の顔認証方法の一例を示すフローチャートである。 図４は、対象者の状態を示す概略図である。 図５は、対象者の状態を示すその他の概略図である。 図６は、対象者の状態を示すその他の概略図である。
　本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。
［実施形態１］
　本発明の顔認証装置および顔認証方法の一例について、図を用いて説明する。
　図１は、本実施形態の顔認証装置の一例の構成を示すブロック図である。顔認証装置１０は、記憶手段１１、画像取得手段１２、抽出手段１３、位置判定手段１４、出力手段１５を含む。また、顔認証装置１０は、例えば、顔照合手段１６を含む。顔認証装置１０は、例えば、顔認証システムともいう。
　顔認証装置１０は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。前記通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。前記通信回線網は、例えば、インターネット回線、電話回線、ＬＡＮ（Local　Area　Network）、ＷｉＦｉ（Wireless　Fidelity）等があげられる。顔認証装置１０は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ）でもよい。
　図２に、図１の顔認証装置１０のハードウェア構成のブロック図を例示する。顔認証装置１０は、例えば、プロセッサの一例としてＣＰＵ（中央処理装置）１０１、メモリ１０２、バス１０３、入力装置１０４、ディスプレイ１０５、通信デバイス１０６、記憶装置１０７、カメラ１０９等を有する。
　顔認証装置１０の各部は、例えば、それぞれのインターフェース（Ｉ／Ｆ）により、バス１０３を介して、相互に接続されている。前記Ｉ／Ｆは、例えば、外部機器とも接続できる。顔認証装置１０は、例えば、前記Ｉ／Ｆに接続された通信デバイス１０６により、通信回線網に接続でき、前記通信回線網を介して、前記外部機器と接続することもできる。
　前記外部機器は、例えば、パーソナルコンピュータ（ＰＣ）、スマートフォン、タブレット、携帯電話等の端末があげられる。また、前記外部機器は、例えば、対象者を撮像する撮像装置（例えば、カメラ）等でもよい。
　ＣＰＵ１０１は、顔認証装置１０の全体の制御を担うプロセッサであり、ＣＰＵには限定されず、他のプロセッサでもよい。顔認証装置１０において、ＣＰＵ１０１により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、ＣＰＵ１０１が、画像取得手段１２、抽出手段１３、位置判定手段１４、出力手段１５等として機能し、任意で、顔照合手段１６として機能する。
　メモリ１０２は、例えば、メインメモリ（主記憶装置）を含み、前記メインメモリは、主記憶装置ともいう。ＣＰＵ１０１が処理を行う際には、例えば、後述する記憶装置１０７に記憶されている本発明のプログラム等の種々のプログラム１０８を、メモリ１０２が読み込み、ＣＰＵ１０１は、メモリ１０２からデータを受け取って、プログラム１０８を実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。メモリ１０２は、例えば、さらに、ＲＯＭ（読み出し専用メモリ）を含む。
　記憶装置１０７は、例えば、前記メインメモリに対して、いわゆる補助記憶装置ともいう。記憶装置１０７には、前述のように、本発明のプログラムを含むプログラム１０８および記憶手段１１が格納されている。記憶装置１０７は、例えば、記憶媒体と、前記記憶媒体に読み書きするドライブとを含む。前記記憶媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＦＤ（フロッピー（登録商標）ディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等があげられ、前記ドライブは、特に制限されない。記憶装置１０７は、例えば、記憶媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）も例示できる。
　顔認証装置１０は、例えば、さらに、入力装置１０４、ディスプレイ１０５、カメラ１０９を有する。入力装置１０４は、例えば、タッチパネル、キーボード、マウス、スキャナー等である。ディスプレイ１０５は、例えば、ＬＥＤディスプレイ、液晶ディスプレイ等があげられる。顔認証装置１０は、例えば、ディスプレイ１０５を有する場合、認証の結果を、出力手段１５によりディスプレイ１０５に出力し、ディスプレイ１０５で表示してもよい。また、顔認証装置１０は、例えば、出力手段１５により通信デバイス１０６を介して、前記外部機器等に出力してもよい。
　顔認証装置１０において、記憶手段１１は、判定基準情報を含む。前記判定基準情報は、人の骨格における顔と顔以外の部位との位置関係に関する基準情報である。また、顔認証装置１０が顔照合手段１６を含む場合、記憶手段１１は、例えば、さらに、登録者の登録顔情報を含んでもよい。
　前述のように、顔認証のなりすましでは、例えば、撮像対象である対象者が、登録者の顔写真そのもの、前記顔写真を表示したスマートフォンまたはタブレット等を、カメラにかざしたり、自分の顔の位置に持ってきたりして、登録者の顔写真を撮影させることで、認証を受けている。そこで、本発明者は、対象者自身が撮影された場合と、対象者が顔写真等をカメラにかざしたり、顔の位置に持ってきた状態で撮影された場合とでは、顔と顔以外の位置関係が異なるとの知見を得た。すなわち、人間の骨格および人の動きに基づけば、なりすましをしていない対象者の場合、例えば、歩いている状態では、首より上に頭部（すなわち顔）があり、腕は全体的に肩よりも下に下がっている。一方、対象者が、顔写真をカメラにかざしてなりすましをしている場合、例えば、顔写真の下方には身体はない。また、対象者が、顔写真を手にもって、それを顔の位置にもってきている場合、例えば、顔写真の下方には、対象者の身体は存在するが、対象者の腕は、顔写真を顔の位置に維持するため、歩いている状態からすると、不自然な位置に存在することになる。そして、この知見に基づいて、対象者を撮像した画像から、顔情報と骨格情報とを抽出し、その画像における顔情報の位置と前記骨格情報との位置関係が、人の正常な動きにおける位置関係であるか否かを判定することで、なりすましの可能性があるか否かを判断できるとして、本発明を見出すに至った。本発明において、正常・異常とは、あくまでも顔認証のなりすましにおける判断である。すなわち、「正常」とは、例えば、顔認証においてなりすましを行っていない人の「自然な体勢または動き」の状態を意味し、「異常」とは、例えば、顔認証においてなりすましを行っている人、またはなりすましを行っている可能性がある人の「不自然な体勢または動き」の状態を意味する。
　通常の顔認証においては、通常、取得した対象者の画像から顔情報を抽出し、抽出した顔情報と、登録者の登録顔情報との照合を行うのみであるところ、本発明は、対象者の画像から顔情報の他に骨格情報を抽出し、前記画像における顔と顔以外の骨格との関係性から、認証不可としてなりすましを判定することが可能である。このため、本発明において、前記判定基準情報は、例えば、人の骨格における顔と顔以外の部位との位置関係について、なりすましではない正常な状態と判定しうる条件、またはなりすましの異常な状態と判定しうる条件であればよく、具体的な条件は、適宜設定可能である。前記判定基準情報が「正常な状態と判定しうる条件」である場合、これを満たさないと、異常な位置関係の画像であるとして認証不可となる。また、前記判定基準情報が「異常な状態と判定しうる条件」である場合、これを満たすと、異常な位置関係の画像であるとして認証不可となる。なお、本発明において、「認証不可」とは、例えば、後述する登録顔情報との照合不可の意味であってもよい。
　本発明において、前記対象者の画像が前記異常な位置関係の画像と判定される場合、例えば、後述する顔照合手段による前記抽出した顔情報と登録顔情報との照合結果（同一人物であるとの判定または非同一人物であるとの判定）にかかわらず、前記画像の対象者は、認証不可となる。
　前記顔と顔以外の部位との位置関係において、前記顔以外の部位は、特に制限されず、例えば、腕、手、首、上半身、指等である。
　本発明の顔認証装置は、例えば、対象者の撮影画像が静止画像である顔認証にも使用できるが、対象者が動いている状態を撮影した動画を構成する構成画像の顔認証への使用が好ましい。後者は、いわゆる「ウォークスルー顔認証」とも呼ばれ、対象者は、動いている状態、具体的には、例えば、歩いている状態を撮影され、その画像を用いて顔認証が行われる。このため、前記顔と顔以外の部位との位置関係は、例えば、人が歩いている状態における正常と判定しうる位置関係に設定することが好ましい。前記動画は、経時的（連続的）に撮影された複数の構成画像を含む。本発明において、前記対象者の撮影画像が前記動画の場合、例えば、前記動画を構成する複数の構成画像のうち、少なくとも１つの構成画像を使用するのみでもよいし、連続または非連続の２つ以上の構成画像を使用してもよい。
　顔認証装置１０は、対象者のなりすましによる画像について、前記画像における顔情報が登録顔情報と一致するか否かにかかわらず、前記骨格情報を利用した位置関係の判定に基づいて、認証不可と判定する。いわゆる顔認証装置は、通常、最終的に、顔認証を目的とするため、本実施形態の顔認証装置１０は、前述のように、さらに顔照合手段１６を有することが好ましく、記憶手段１１は、さらに、登録者の登録顔情報を記憶することが好ましい。前記登録顔情報は、例えば、登録者の顔画像、前記顔画像に関する特徴点の情報等があげられる。前記登録顔情報は、例えば、登録者情報として、登録者の識別情報と紐付けて記憶されている。前記識別情報は、例えば、登録者の氏名、識別番号、勤務先、所属、連絡先等である。
　顔認証装置１０において、画像取得手段１２は、対象者の画像を取得する。顔認証装置１０は、例えば、それ自体がカメラ１０９を備え、対象者の撮影を行うことで、前記画像を取得してもよいし、前記外部機器のカメラによって撮影された対象者の画像を、入力装置１０４または通信デバイス１０６を介して取得してもよい。前記対象者の画像は、前述のように、例えば、静止画像でもよいし、経時的に撮像された前記動画の構成画像でもよい。
　顔認証装置１０において、抽出手段１３は、前記対象者の画像から、顔情報、および骨格情報を抽出する。前記画像からの顔情報の抽出および前記画像からの骨格情報の抽出は、特に制限されず、例えば、既存の画像処理技術が利用できる。本発明においては、抽出方法自体がポイントではないため、本願の出願後における画像処理技術も利用でき、何ら制限されない。前記画像からの顔情報の抽出には、例えば、既存のプログラムとして、Openpose（Wellspring社）等が使用でき、前記画像からの骨格情報の抽出には、例えば、既存のプログラムとして、Vision　Pose（登録商標）（株式会社ネクストシステム）等が使用できる。
　顔認証装置１０において、位置判定手段１４は、前記画像における、前記抽出した顔情報に基づく顔の位置と前記抽出した骨格情報に基づく骨格の位置との位置関係について、前記判定基準情報に基づいて、正常か異常かを判定する。前記抽出した顔情報に基づく顔の位置、および、前記抽出した骨格情報に基づく骨格の位置は、例えば、前記判定基準情報に応じて適宜選択できる。すなわち、前記判定基準情報について、人の骨格における顔の位置が、例えば、頭部の骨格（頭部の輪郭）によって特定される場合、前記抽出した顔情報について、頭部の骨格を抽出し、前記頭部の骨格の位置を、前記抽出した顔情報における顔の位置とすればよい。また、前記判定基準情報について、人の骨格における顔以外の部位が、例えば、腕（例えば、肩から手先まで）である場合、前記抽出した骨格情報について、腕骨格を抽出し、前記腕骨格の位置を、前記抽出した骨格情報における骨格の位置とすればよい。前記抽出した顔情報から、前記画像における顔の位置および前記骨格の位置を決定する方法は、特に制限されず、例えば、顔の特徴点、および任意の骨格の部位（例えば、腕）の特徴点を抽出することで決定でき、一般的な画像解析の手法を利用できる。
　顔認証装置１０において、顔照合手段１６は、前記抽出した顔情報と、前記登録顔情報とを照合し、同一人物か非同一人物かを判定する。顔照合手段１６は、例えば、位置判定手段１４において、認証不可と判定されなかった画像由来の顔情報のみに対して、照合を行ってもよいし、位置判定手段１４の判定にかかわらず、いずれの画像由来の顔情報に対しても、照合を行ってもよい。すなわち、本実施形態の顔認証装置１０は、例えば、前記判定基準情報に基づく位置判定、および、顔照合による認証か認証不可（非認証ともいう）かの判定について、いずれを先に行ってもよい。すなわち、位置判定を先に行う場合、例えば、まず、前記対象者の画像について、顔情報および骨格情報の抽出を行い、つぎに、いずれもが抽出された画像についてのみ、前記判定基準情報に基づき正常か異常かの判定を行う。そして、さらに、正常と判定された画像についてのみ、顔照合を行って、認証か非認証かの判定を行ってもよい。また、顔認証を先に行う場合、例えば、まず、前記対象者の画像について、顔情報および骨格情報の抽出を行い、つぎに、顔情報が抽出された画像について、顔照合を行って、認証か非認証かの仮の判定を行う。そして、認証と仮判定された画像についても、前記判定基準情報に基づき正常か異常かの判定を行い、異常の場合には、非認証との最終判定を行い、正常の場合には、認証との最終判定を行ってもよい。
　顔認証手段１０において、出力手段１５は、抽出手段１３により前記骨格情報が抽出されない場合、および、位置判定手段１４により前記位置関係が前記判定基準情報を満たさないと判定された場合、前記画像の対象者について認証不可と出力する。また、出力手段１５は、顔照合手段１６により前記抽出した顔情報と前記登録顔情報とが同一人物と判定された場合、前記画像の対象者について認証と出力し、前記抽出した顔情報と前記登録顔情報とが非同一人物と判定された場合、前記画像の対象者について認証不可と出力する。
　つぎに、本実施形態の顔認証方法について説明する。本実施形態の顔認証方法は、例えば、図１および図２に示す顔認証装置１０を用いて実施できるが、顔認証装置１０の使用には限定されない。
　前記画像取得工程は、対象者の画像を取得する。前記工程は、例えば、顔認証装置１０の画像取得手段１２により実行できる。
　前記抽出工程は、前記画像から、顔情報、および骨格情報を抽出する。前記工程は、例えば、顔認証装置１０の抽出手段１３により実行できる。
　前記位置判定工程は、前記画像における、前記抽出した顔情報に基づく顔の位置と前記抽出した骨格情報に基づく骨格の位置との位置関係について、前記判定基準情報に基づいて、正常か異常かを判定する。前記工程は、例えば、顔認証装置１０の位置判定手段１４により実行でき、前記判定基準情報は、例えば、顔認証装置１０の記憶手段１１から呼び出すことができる。
　前記顔照合工程は、前記抽出した顔情報と、登録者の登録顔情報とを照合する。前記工程は、顔認証装置１０の顔照合手段１６により実行できる。
　前記出力工程は、前記抽出工程により前記骨格情報が抽出されない場合、および、前記位置判定工程により前記位置関係が異常と判定された場合、前記画像の対象者について認証不可と出力する。また、前記出力工程は、前記位置判定工程により前記位置関係が正常と判定され、且つ、前記顔照合工程により前記抽出した顔情報と前記登録顔情報とが同一人物と判定された場合、前記画像の対象者について認証と出力し、前記抽出した顔情報と前記登録顔情報とが非同一人物と判定された場合、前記画像の対象者について認証不可と出力する。前記工程は、顔認証装置１０の出力手段１５により実行できる。
　本実施形態の顔認証工程において、前記顔照合工程は、例えば、前記位置判定工程において、前記判定基準情報に基づいて正常と判定された画像についてのみ、それから抽出された前記顔画像と前記登録顔画像との顔照合を行ってもよいし、前記位置判定工程の判定にはかかわらず、前記画像から抽出された前記顔画像と前記登録顔画像との照合を行ってもよい。
　本実施形態の顔認証方法について、図３のフローチャートを用いて、より具体的に説明する。前記フローチャートは、一例であって、本発明は、これには何ら制限されない。
　まず、対象者の画像を取得する（Ｓ１０１）。そして、前記画像から、顔情報の抽出（Ｓ１０２）と、骨格情報の抽出（Ｓ１０５）を行う。前記画像から顔情報が抽出できなかった場合（Ｓ１０３、ＮＯ）、照合する顔情報が無いため、認証不可（顔照合不可ともいえる）と判定される（Ｓ１０４）。一方、前記画像から骨格情報が抽出できなかった場合（Ｓ１０６、ＮＯ）、なりすましの可能性があるとして、認証不可（顔照合不可ともいえる）と判定される（Ｓ１０７）。
　前記画像から、前記顔情報が抽出でき（Ｓ１０３、ＹＥＳ）且つ前記骨格情報が抽出できた場合（Ｓ１０６、ＹＥＳ）、前記画像における、前記顔情報に基づく顔の位置と、前記骨格情報に基づく骨格の位置との位置関係について、前記判定基準情報に基づいて正常か異常を判定する（Ｓ１０８）。異常と判定された場合（ＮＯ）、なりすましの可能性があるとして、認証不可（顔照合不可ともいえる）と判定される（Ｓ１０９）。
　そして、正常と判定された場合（ＹＥＳ）、対象者は正常な状態で撮影され、なりすましではないとして、前記抽出した顔情報と前記登録顔情報との照合を行う（Ｓ１１０）。前記顔情報と前記登録顔情報との照合から、対象者と登録者とが同一人物か否かを判定し（Ｓ１１１）、同一の場合（ＹＥＳ）、認証とし（Ｓ１１２）、非同一の場合（ＮＯ）、認証不可（顔照合不可ともいえる）とする（Ｓ１１３）。そして、各工程における認証および認証不可の判定結果を出力して（Ｓ１１４）、終了する（ＥＮＤ）。
　このフローチャートでは、前記工程（Ｓ１０８）において、正常と判定された場合（ＹＥＳ）に、照合（Ｓ１１０）を行っているが、これには制限されない。すなわち、前記画像から、前記顔画像の抽出ができ（Ｓ１０３、ＹＥＳ）且つ前記骨格情報の抽出ができた（Ｓ１０６、ＹＥＳ）場合、前記工程（Ｓ１０８）とは別に、前記照合の工程（Ｓ１１０）を行ってもよい。この場合、前記工程（Ｓ１１１）において、同一人物と判定されても（ＹＥＳ）、別途行う前記工程（Ｓ１０８）により、異常と判定された場合（ＮＯ）、結果的に、認証不可となる（Ｓ１０９）。
［実施形態２］
　本実施形態では、前記画像における骨格情報の有無の判定、および、前記判定基準情報に基づく正常か異常かの判定について、具体例をあげて、図を用いて説明する。以下に示す各図は、それぞれあくまでも例示であって、本発明は、これらの例示には制限されない。各図において、四角の枠が、画像から抽出される顔の領域であり、枝分かれの線が、画像から抽出される骨格である。
　図４（Ａ）は、対象者２０が、登録者の顔画像が表示されたスマートフォン３０を、カメラ４０に向けた状態を示す概略図である。この状態の対象者２０を撮像した場合、例えば、以下のようにして、認証不可と判定できる。第１のパターンとして、取得した画像から、スマートフォン３０に表示された顔の顔情報と、スマートフォン３０を持っている対象者２０の骨格情報の両方が抽出できたと仮定する。しかしながら、前記画像において、スマートフォン３０に表示された顔の顔情報は、前記骨格情報に基づく対象者２０の腕の位置に存在することになる。顔と腕との位置関係において、人の腕に顔があることはあり得ないことから、骨格において人の顔は首の上であるとの判定基準情報、または、骨格において人の顔は腕と連結していないとの判定基準情報に基づけば、異常と判定され、顔照合不可、すなわち結果的に認証不可となる。
　また、第２のパターンとして、取得した画像から、スマートフォン３０に表示された顔の顔情報が抽出でき、これを画像における顔の位置と仮定したとする。しかし、抽出した顔情報が、対象者２０の顔であるとすると、顔の下にあるべきはずの身体は存在せず、骨格情報は抽出されないため、異常と判定され、顔照合不可、すなわち結果的に認証不可となる。
　さらに、第３のパターンとして、スマートフォン３０に表示された顔の顔情報と、スマートフォンを持っている対象者２０の顔の顔情報と、対象者２０の骨格情報とが抽出されたとする。通常、一つの身体に一つの顔があることから、顔情報の個数と骨格情報の個数との整合がとれていないとして、異常と判定され、顔照合不可、すなわち結果的に認証不可となる。一方、図４（Ｂ）に示すように、３名の対象者２０（２０Ａ、２０Ｂ、２０Ｃ）が撮像された場合、それぞれについて顔情報と骨格情報とが抽出され、また、それぞれの顔の位置と骨格の位置との位置関係は正常と判定される。このため、対象者２０Ａ、２０Ｂ、２０Ｃのそれぞれの顔情報について、ひきつづき、顔照合を行うことができる。
　これらの形態において、例えば、顔照合により同一人物と判定されても、その判定にかかわらず、前記判定基準情報に基づいて異常と判定されれば、結果的に認証不可となるため、なりすましに対する認証のリスクを低減できる。
　図４（Ｃ）は、対象者２０が、自分の顔の位置で、登録者の顔画像が表示されたスマートフォン３０を持った状態を示す概略図である。この状態の対象者２０を撮像した場合、取得した画像から、顔情報と骨格情報の両方が抽出できる。しかしながら、前記画像において、前記抽出された顔情報に基づく顔の位置に対して、前記抽出された骨格情報に基づく腕の位置（特に肘から手先の位置）は、肩よりも高い位置となっている。通常、人が歩行している状態の概略を、図４（Ｄ）に示す。図４（Ｄ）に示すように、人が歩行していている正常な状態において、腕は、肩より下（図中において点線より下）に位置する。したがって、例えば、歩行時における腕の高さの基準（閾値）を肩の高さに設定した場合、図４（Ｃ）においては、腕の位置が、肩より上の高さ（図において点線より上）にある、つまり、基準値の高さを超えるため、異常であると判定して、認証不可となる。この場合、顔照合において、同一人物と判定されても、その判定にかかわらず、異常と判定され認証不可となるため、なりすましに対する認証のリスクを低減できる。
　一方、図４（Ｄ）の場合は、前記画像において、腕の位置が、肩より下の高さ（図において点線より下）にある、つまり、前記基準値の高さを超えないため、正常と判定される。このため、対象者２０の顔情報について、ひきつづき、顔照合を行うことができる。
　図５は、対象者が、スマートフォン３０に表示された登録者の顔画像を、カメラ４０にアップで近づけた状態を示す概略図である。この状態の対象者を撮像した場合、前記画像には顔のみが含まれるため、顔情報は抽出できるが、骨格情報は抽出できない。このため、なりすましの可能性があるとして、認証不可となる。この場合、顔照合において、同一人物と判定されても、その判定にかかわらず、認証不可となるため、なりすましに対する認証のリスクを低減できる。
　前記対象者の画像は、前述のように、前記動画を構成する構成画像でもよく、経時的（連続的）に撮影された複数の構成画像のうち、任意で、２つ以上の構成画像について、前記抽出工程、前記位置判定工程等を行うことが好ましい。前記複数の時系列画像のうち、一つの画像について、前述のような判定を行った場合、なりすましであるにもかかわらず、前記判定基準情報を満たし且つ顔照合で同一人物と判定される場合が考えられる。例えば、撮影の一瞬のみ、対象者が不自然ではない体勢で、自らの顔に、登録者の顔画像を位置させた場合である。しかしながら、このような場合でも、複数の構成画像について、同様の抽出、判定等を行えば、対象者がなりすましのために、登録者の顔画像を自らの顔に、不自然な体勢で位置させている状態の画像が含まれることを、より精度良く判定できる。また、反対に、前記複数の時系列画像のうち、一つの画像について、前述のような判定を行った場合、実際には対象者は正常な動きをしているにもかかわらず、異常であるとの判定により認証不可となる場合が考えられる。しかしながら、このような場合でも、複数の時系列画像について、同様の抽出、判定等を行えば、対象者は正常な動きをしており、なりすましではなく正常であると、より精度よく判定できる。したがって、より精度よくなりすましの画像を排除するには、前記時系列画像を使用することが好ましい。
　以下に、複数の構成画像を使用する具体例について、図を用いて説明する。なお、図６は、あくまでも例示であって、本発明は、これらの例示には制限されない。
　図６において、（Ａ）と（Ｂ）は、動画を構成する構成画像であり、矢印は時間軸を示す。つまり、図６（Ａ）は、時間Ｔｎの構成画像（Ａ）であり、図６（Ｂ）は、時間Ｔｎ＋ｍの構成画像（Ｂ）である。図６（Ａ）に示すように、構成画像（Ａ）から顔情報と骨格情報とを抽出した場合、２つの顔情報と１つの骨格情報とが抽出されるため、前述のパターンに基づくと、この構成画像（Ａ）は異常と判定され、認証不可となる。しかしながら、実際には、対象者２０Ａと対象者２０Ｂとが歩いているが、対象者２０Ｂは、顔のみが撮影され、身体までが写りこんでいない状態である。一方、構成画像（Ａ）の撮影から、時間Ｔｎ＋ｍ後の構成画像（Ｂ）では、対象者２０Ｂは、移動により身体も写りこんでいる。このため、構成画像（Ｂ）について、顔情報と骨格情報とを抽出した場合、２つの顔情報と２つの骨格情報とが抽出され、一方の顔情報と骨格情報、他方の顔情報と骨格情報において、顔の位置と骨格の位置との位置関係は、それぞれ正常である。したがって、この構成画像（Ｂ）は、正常と判定でき、対象者２０Ａと対象者２０Ｂのそれぞれについて、顔照合を行うことができる。
　また、図６（Ａ）のように、構成画像（Ａ）から抽出された顔情報の数と骨格情報の数とが一致しない場合、例えば、抽出された顔情報における目間距離を利用して、構成画像（Ａ）が異常か否かを判定することもできる。すなわち、図６（Ａ）の場合、２つの顔情報と１つの骨格情報が抽出されているが、前述のように、実際には、なりすましではなく、対象者２０Ａと対象者２０Ｂとが撮像されている。一方、図４（Ａ）の場合、前述のように、２つの顔情報と１つの骨格情報が抽出されており、対象者２０のスマートフォン３０を用いたなりすましである。ここで、図４（Ａ）のように、スマートフォン３０をカメラ４０にかざした場合、骨格情報が抽出されないだけでなく、スマートフォン３０に表示された顔の目間距離は、構成画像（Ａ）において相対的に小さくなる。他方、図６（Ａ）のように、スマートフォン３０に表示された顔ではなく、対象者２０Ｂが撮影されている場合、顔の目間距離は、構成画像（Ａ）において相対的に大きくなる。したがって、前記構成画像における目間距離の基準値（閾値）を設けておき、前記骨格情報が抽出されず、且つ、抽出された顔情報の目間距離が前記閾値より小さい場合は、さらに、他の構成画像について抽出等を行うことなく、図４（Ａ）のような形態であるとして、異常と判定できる。一方、前記骨格情報が抽出されず、且つ、抽出された顔情報の目間距離が前記閾値以上の場合は、前述のように、前後の構成画像について骨格情報の抽出等を行い、異常か正常かを判定してもよい。
［実施形態３］
　本実施形態のプログラムは、前記各実施形態の顔認証方法を、コンピュータ上で実行可能なプログラムである。または、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、前述のような記憶媒体等があげられる。
　以上、実施形態を参照して本願発明を説明したが、本願発明は、上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１９年１月２３日に出願された日本出願特願２０１９－９７２６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
＜付記＞
　上記の実施形態および実施例の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
記憶手段、画像取得手段、抽出手段、位置判定手段、および出力手段を含み、
前記記憶手段は、
　　人の骨格における顔と顔以外の部位との位置関係に関する判定基準情報を記憶し、
前記画像取得手段は、
　　対象者の画像を取得し、
前記抽出手段は、
　　前記画像から、顔情報、および骨格情報を抽出し、
前記位置判定手段は、
　　前記画像における、前記抽出した顔情報に基づく顔の位置と前記抽出した骨格情報に基づく骨格の位置との位置関係について、前記判定基準情報に基づいて、正常か異常かを判定し、
前記出力手段は、
　　前記抽出手段により前記骨格情報が抽出されない場合、および、前記位置判定手段により前記位置関係が異常と判定された場合、前記画像の対象者について認証不可と出力する
ことを特徴とする顔認証装置。
（付記２）
さらに、顔照合手段を含み、
前記記憶手段は、
　　さらに、登録者の登録顔情報を記憶し、
前記顔照合手段は、
　　前記抽出した顔情報と、前記登録顔情報とを照合し、
前記出力手段は、
　　前記顔照合手段により前記抽出した顔情報と前記登録顔情報とが同一人物と判定された場合、前記画像の対象者について認証と出力し、前記抽出した顔情報と前記登録顔情報とが非同一人物と判定された場合、前記画像の対象者について認証不可と出力する、
付記１に記載の顔認証装置。
（付記３）
前記判定基準情報が、顔と腕との位置関係に関する情報である、付記１または２に記載の顔認証装置。
（付記４）
前記対象者の画像が、経時的に撮像された複数の時系列画像である、付記１から３のいずれかに記載の顔認証装置。
（付記５）
前記出力手段は、
　　所定時間内に撮像された前記複数の時系列画像について、前記抽出手段により前記骨格情報が抽出されない画像が含まれる場合、および、前記位置判定手段により前記位置関係が前記判定基準情報を満たさないと判定された画像が含まれる場合、前記画像の対象者について認証不可と出力する、付記４に記載の顔認証装置。
（付記６）
画像取得工程、抽出工程、位置判定工程、および出力工程を含み、
前記画像取得工程は、
　　対象者の画像を取得し、
前記抽出工程は、
　　前記画像から、顔情報、および骨格情報を抽出し、
前記位置判定工程は、
　　前記画像における、前記抽出した顔情報に基づく顔の位置と前記抽出した骨格情報に基づく骨格の位置との位置関係について、判定基準情報に基づいて、正常か異常かを判定し、
　　前記判定基準情報は、人の骨格における顔と顔以外の部位との位置関係に関する判定基準情報であり、
前記出力工程は、
　　前記抽出工程により前記骨格情報が抽出されない場合、および、前記位置判定工程により前記位置関係が異常と判定された場合、前記画像の対象者について認証不可と出力する
ことを特徴とする顔認証方法。
（付記７）
さらに、顔照合工程を含み、
前記顔照合工程は、
　　前記抽出した顔情報と、登録者の登録顔情報とを照合し、
前記出力工程は、
　　前記顔照合工程により前記抽出した顔情報と前記登録顔情報とが同一人物と判定された場合、前記画像の対象者について認証と出力し、前記抽出した顔情報と前記登録顔情報とが非同一人物と判定された場合、前記画像の対象者について認証不可と出力する、
付記６に記載の顔認証方法。
（付記８）
前記判定基準情報が、顔と腕との位置関係に関する情報である、付記６または７に記載の顔認証方法。
（付記９）
前記対象者の画像が、経時的に撮像された複数の時系列画像である、付記６から８のいずれかに記載の顔認証方法。
（付記１０）
前記出力工程は、
　　所定時間内に撮像された前記複数の時系列画像について、前記抽出工程により前記骨格情報が抽出されない画像が含まれる場合、および、前記位置判定工程により前記位置関係が前記判定基準情報を満たさないと判定された画像が含まれる場合、前記画像の対象者について認証不可と出力する、付記９に記載の顔認証方法。
（付記１１）
付記６から１０のいずれかに記載の顔認証方法をコンピュータに実行させることを特徴とするプログラム。
（付記１２）
付記１１に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
　本発明によれば、骨格情報を利用することで、顔写真を用いたなりすましを簡便に防止できる。
１０　　　　　顔認証装置
１１　　　　　記憶手段
１２　　　　　画像取得手段
１３　　　　　抽出手段
１４　　　　　位置判定手段
１５　　　　　出力手段
１６　　　　　顔照合手段

Claims (12)

  1. 記憶手段、画像取得手段、抽出手段、位置判定手段、および出力手段を含み、
    前記記憶手段は、
    　　人の骨格における顔と顔以外の部位との位置関係に関する判定基準情報を記憶し、
    前記画像取得手段は、
    　　対象者の画像を取得し、
    前記抽出手段は、
    　　前記画像から、顔情報、および骨格情報を抽出し、
    前記位置判定手段は、
    　　前記画像における、前記抽出した顔情報に基づく顔の位置と前記抽出した骨格情報に基づく骨格の位置との位置関係について、前記判定基準情報に基づいて、正常か異常かを判定し、
    前記出力手段は、
    　　前記抽出手段により前記骨格情報が抽出されない場合、および、前記位置判定手段により前記位置関係が異常と判定された場合、前記画像の対象者について認証不可と出力する
    ことを特徴とする顔認証装置。
  2. さらに、顔照合手段を含み、
    前記記憶手段は、
    　　さらに、登録者の登録顔情報を記憶し、
    前記顔照合手段は、
    　　前記抽出した顔情報と、前記登録顔情報とを照合し、
    前記出力手段は、
    　　前記顔照合手段により前記抽出した顔情報と前記登録顔情報とが同一人物と判定された場合、前記画像の対象者について認証と出力し、前記抽出した顔情報と前記登録顔情報とが非同一人物と判定された場合、前記画像の対象者について認証不可と出力する、
    請求項１に記載の顔認証装置。
  3. 前記判定基準情報が、顔と腕との位置関係に関する情報である、請求項１または２に記載の顔認証装置。
  4. 前記対象者の画像が、経時的に撮像された複数の時系列画像である、請求項１から３のいずれか一項に記載の顔認証装置。
  5. 前記出力手段は、
    　　所定時間内に撮像された前記複数の時系列画像について、前記抽出手段により前記骨格情報が抽出されない画像が含まれる場合、および、前記位置判定手段により前記位置関係が前記判定基準情報を満たさないと判定された画像が含まれる場合、前記画像の対象者について認証不可と出力する、請求項４に記載の顔認証装置。
  6. 画像取得工程、抽出工程、位置判定工程、および出力工程を含み、
    前記画像取得工程は、
    　　対象者の画像を取得し、
    前記抽出工程は、
    　　前記画像から、顔情報、および骨格情報を抽出し、
    前記位置判定工程は、
    　　前記画像における、前記抽出した顔情報に基づく顔の位置と前記抽出した骨格情報に基づく骨格の位置との位置関係について、判定基準情報に基づいて、正常か異常かを判定し、
    　　前記判定基準情報は、人の骨格における顔と顔以外の部位との位置関係に関する判定基準情報であり、
    前記出力工程は、
    　　前記抽出工程により前記骨格情報が抽出されない場合、および、前記位置判定工程により前記位置関係が異常と判定された場合、前記画像の対象者について認証不可と出力する
    ことを特徴とする顔認証方法。
  7. さらに、顔照合工程を含み、
    前記顔照合工程は、
    　　前記抽出した顔情報と、登録者の登録顔情報とを照合し、
    前記出力工程は、
    　　前記顔照合工程により前記抽出した顔情報と前記登録顔情報とが同一人物と判定された場合、前記画像の対象者について認証と出力し、前記抽出した顔情報と前記登録顔情報とが非同一人物と判定された場合、前記画像の対象者について認証不可と出力する、
    請求項６に記載の顔認証方法。
  8. 前記判定基準情報が、顔と腕との位置関係に関する情報である、請求項６または７に記載の顔認証方法。
  9. 前記対象者の画像が、経時的に撮像された複数の時系列画像である、請求項６から８のいずれか一項に記載の顔認証方法。
  10. 前記出力工程は、
    　　所定時間内に撮像された前記複数の時系列画像について、前記抽出工程により前記骨格情報が抽出されない画像が含まれる場合、および、前記位置判定工程により前記位置関係が前記判定基準情報を満たさないと判定された画像が含まれる場合、前記画像の対象者について認証不可と出力する、請求項９に記載の顔認証方法。
  11. 請求項６から１０のいずれか一項に記載の顔認証方法をコンピュータに実行させることを特徴とするプログラム。
  12. 請求項１１に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

     
PCT/JP2019/039079 2019-01-23 2019-10-03 顔認証装置、顔認証方法、プログラム、および記録媒体 WO2020152917A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020567365A JP7251874B2 (ja) 2019-01-23 2019-10-03 顔認証装置、顔認証方法、プログラム、および記録媒体
SG11202107211SA SG11202107211SA (en) 2019-01-23 2019-10-03 Face authentication apparatus, face authentication method, program, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-009726 2019-01-23
JP2019009726 2019-01-23

Publications (1)

Publication Number Publication Date
WO2020152917A1 true WO2020152917A1 (ja) 2020-07-30

Family

ID=71736119

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/039079 WO2020152917A1 (ja) 2019-01-23 2019-10-03 顔認証装置、顔認証方法、プログラム、および記録媒体

Country Status (3)

Country Link
JP (1) JP7251874B2 (ja)
SG (1) SG11202107211SA (ja)
WO (1) WO2020152917A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023007586A1 (ja) * 2021-07-27 2023-02-02 富士通株式会社 判定方法、判定プログラム、及び情報処理装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005092419A (ja) * 2003-09-16 2005-04-07 Casio Comput Co Ltd 情報処理装置およびプログラム
JP2005228163A (ja) * 2004-02-13 2005-08-25 Omron Corp 制御システムおよび制御動作決定方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005092419A (ja) * 2003-09-16 2005-04-07 Casio Comput Co Ltd 情報処理装置およびプログラム
JP2005228163A (ja) * 2004-02-13 2005-08-25 Omron Corp 制御システムおよび制御動作決定方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023007586A1 (ja) * 2021-07-27 2023-02-02 富士通株式会社 判定方法、判定プログラム、及び情報処理装置

Also Published As

Publication number Publication date
SG11202107211SA (en) 2021-08-30
JP7251874B2 (ja) 2023-04-04
JPWO2020152917A1 (ja) 2021-11-04

Similar Documents

Publication Publication Date Title
US20190012450A1 (en) Biometric-based authentication method, apparatus and system
EP2893489B1 (en) System and method for biometric authentication in connection with camera-equipped devices
US9245172B2 (en) Authentication apparatus, authentication method, and non-transitory computer readable medium
KR20170047255A (ko) 신원 인증 방법 및 장치, 단말기 및 서버
KR102429865B1 (ko) 사용자 인증 장치
WO2018192448A1 (zh) 一种人证比对的认证方法、系统及相机
JP2007249586A (ja) 認証装置、認証方法、認証プログラムおよびコンピュータ読み取り可能な記録媒体
JP5170094B2 (ja) なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム
US9449217B1 (en) Image authentication
US11756338B2 (en) Authentication device, authentication method, and recording medium
KR101724971B1 (ko) 광각 카메라를 이용한 얼굴 인식 시스템 및 그를 이용한 얼굴 인식 방법
CN103856614A (zh) 一种避免移动终端误休眠方法及装置
WO2020095350A1 (ja) 情報処理装置、情報処理方法及び記録媒体
JP4899552B2 (ja) 認証装置、認証方法、認証プログラム、これを記録したコンピュータ読み取り可能な記録媒体
CN111445640A (zh) 基于虹膜识别的快递取件方法、装置、设备及存储介质
JP2023033412A (ja) 情報処理装置、及び情報処理プログラム
WO2020152917A1 (ja) 顔認証装置、顔認証方法、プログラム、および記録媒体
WO2019229910A1 (ja) 顔認証を用いた入国審査システム、入国審査方法、プログラム、および認証装置
WO2020115910A1 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP4937639B2 (ja) 認証方法、認証装置、認証プログラム、及び該プログラムが記録された記録媒体
CN113254910B (zh) 用于无人车认证系统的用户便捷认证方法及装置
JPWO2021199114A5 (ja) 推薦装置、システム、方法及びプログラム
KR101718244B1 (ko) 얼굴 인식을 위한 광각 영상 처리 장치 및 방법
KR102389066B1 (ko) 얼굴 인식을 위한 얼굴영상 생성 방법
US20230012914A1 (en) Non-transitory computer readable storage, output control method, and terminal device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19911169

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020567365

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19911169

Country of ref document: EP

Kind code of ref document: A1