WO2023176144A1 - 生体検知支援装置、顔認証装置、生体検知支援方法、顔認証方法、プログラム及び記録媒体 - Google Patents

生体検知支援装置、顔認証装置、生体検知支援方法、顔認証方法、プログラム及び記録媒体 Download PDF

Info

Publication number
WO2023176144A1
WO2023176144A1 PCT/JP2023/001856 JP2023001856W WO2023176144A1 WO 2023176144 A1 WO2023176144 A1 WO 2023176144A1 JP 2023001856 W JP2023001856 W JP 2023001856W WO 2023176144 A1 WO2023176144 A1 WO 2023176144A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
lip
living body
subject
lip movement
Prior art date
Application number
PCT/JP2023/001856
Other languages
English (en)
French (fr)
Inventor
一秀 梅田
Original Assignee
Ｎｅｃソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃソリューションイノベータ株式会社 filed Critical Ｎｅｃソリューションイノベータ株式会社
Publication of WO2023176144A1 publication Critical patent/WO2023176144A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection

Definitions

  • the present invention relates to a living body detection support device, a face authentication device, a living body detection support method, a face authentication method, a program, and a recording medium.
  • facial recognition has many advantages, including the fact that it is a non-contact authentication method, there is a possibility that it can be defeated by camouflage using images or videos of the target's face. For this reason, as a technology to prevent such impersonation through camouflage, a face authentication device equipped with a liveness judgment function (for example, biometric judgment or living body detection) by detecting the target person's facial tone and facial movements is being developed. known (Patent Document 1).
  • a liveness judgment function for example, biometric judgment or living body detection
  • an object of the present invention is to provide a living body detection support device that enables living body detection.
  • the living body detection support device of the present invention has the following features: including a judgment criterion information storage unit, an instruction information output unit, an image information acquisition unit, a lip information acquisition unit, a lip movement determination unit, and a living body determination unit,
  • the judgment criterion information storage unit stores judgment criterion information
  • the judgment criterion information is information in which a type of lip movement is associated with lip information for each type of lip movement
  • the instruction information output unit outputs lip movement instruction information
  • the lip movement instruction information includes information instructing a predetermined type of lip movement
  • the image information acquisition unit acquires lip image information including the subject's mouth,
  • the lip information acquisition unit acquires lip information of the subject from the lip image information,
  • the lip movement determination unit determines whether the subject has performed the instructed lip movement based on the determination criterion information, the lip movement instruction information, and the subject's lip information;
  • the living body determining unit determines that the subject is a living person when it is determined that the subject has performed the instructed lip motion
  • the face authentication device of the present invention includes: Including a living body detection unit, a face image acquisition unit, and an authentication unit,
  • the living body detection unit is the living body detection support device of the present invention, and executes living body detection of the authentication subject;
  • the facial image acquisition unit acquires a facial image of the person to be authenticated;
  • the authentication unit performs face authentication of the person to be authenticated based on the face image of the person to be authenticated and authentication reference information.
  • the living body detection support method of the present invention includes: including an instruction information output step, an image information acquisition step, a lip information acquisition step, a lip movement determination step, and a living body determination step,
  • the instruction information output step outputs lip movement instruction information
  • the lip movement instruction information includes information instructing a predetermined type of lip movement
  • the image information acquisition step acquires lip image information including the subject's mouth;
  • the lip information acquisition step acquires lip information of the subject from the lip image information,
  • the lip movement determination step determines whether the subject has performed the instructed lip movement based on the determination criterion information, the lip movement instruction information, and the subject's lip information;
  • the judgment criterion information is information in which a type of lip movement is associated with lip information for each type of lip movement, In the living body determination step, if it is determined that the subject was performing the instructed lip motion, it is determined that the subject is a living body.
  • the face recognition method of the present invention includes: Including a living body detection process, a face image acquisition process, and an authentication process,
  • the living body detection step is the living body detection support method of the present invention, and includes performing living body detection of the authentication subject;
  • the facial image acquisition step acquires a facial image of the person to be authenticated;
  • face authentication of the person to be authenticated is performed based on the face image of the person to be authenticated and authentication reference information.
  • the first program of the present invention is including an instruction information output procedure, an image information acquisition procedure, a lip information acquisition procedure, a lip movement determination procedure, and a living body determination procedure,
  • the instruction information output procedure outputs lip movement instruction information;
  • the lip movement instruction information includes information instructing a predetermined type of lip movement,
  • the image information acquisition procedure includes acquiring lip image information including the subject's mouth;
  • the lip information acquisition procedure includes acquiring lip information of the subject from the lip image information;
  • the lip movement determination procedure determines whether the subject has performed the lip movement instructed, based on the determination criterion information, the lip movement instruction information, and the lip information of the subject;
  • the judgment criterion information is information in which a type of lip movement is associated with lip information for each type of lip movement,
  • the living body determination procedure determines that the subject is a living person when it is determined that the subject has performed the instructed lip movement;
  • Each of the above procedures is a program executed by a computer.
  • the second program of the present invention is Including living body detection procedure, facial image acquisition procedure and authentication procedure,
  • the living body detection procedure is executed by the first program of the present invention, and performs living body detection of the authentication subject;
  • the facial image acquisition procedure includes acquiring a facial image of the person to be authenticated;
  • the authentication procedure includes performing face authentication of the authentication subject based on the facial image of the authentication subject and authentication reference information;
  • Each of the above procedures is a program executed by a computer.
  • FIG. 1 is a block diagram showing the configuration of an example of a living body detection support device according to the first embodiment.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the living body detection support device according to the first embodiment.
  • FIG. 3 is a flowchart illustrating an example of processing in the living body detection support device of the first embodiment.
  • FIG. 4 is a block diagram showing the configuration of an example of a face authentication device according to the second embodiment.
  • FIG. 5 is a block diagram showing an example of the hardware configuration of the face authentication device according to the second embodiment.
  • FIG. 6 is a flowchart illustrating an example of processing in the face authentication device according to the second embodiment.
  • FIG. 1 is a block diagram showing the configuration of an example of a living body detection support device 10 of this embodiment.
  • the device 10 includes a determination criterion information storage section 11, an instruction information output section 12, an image information acquisition section 13, a lip information acquisition section 14, a lip movement determination section 15, and a living body determination section 16.
  • the criterion information storage section 11 includes criterion information 111. The criterion information 111 will be described later.
  • the present device 10 may be, for example, a single device including each of the above sections, or may be a device to which each of the above sections can be connected via a communication line network. Further, the device 10 can be connected to an external device, which will be described later, via the communication line network.
  • the communication line network is not particularly limited, and any known network may be used, and may be wired or wireless, for example.
  • the communication line network is, for example, an Internet line, WWW (World Wide Web), telephone line, LAN (Local Area Network), SAN (Storage Area Network), or DTN (Delay Tolerant). Networking), LPWA (Low Power Wide Area), Examples include L5G (local 5G).
  • wireless communication examples include Wi-Fi (registered trademark), Bluetooth (registered trademark), local 5G, LPWA, and the like.
  • the wireless communication may be a form in which each device directly communicates (Ad Hoc communication), an infrastructure (infrastructure communication), indirect communication via an access point, or the like.
  • This device 10 may be incorporated into a server as a system, for example. Further, the device 10 may be, for example, a personal computer (PC, e.g., desktop type, notebook type), a smartphone, a tablet terminal, etc., on which the program of the present invention is installed.
  • the present device 10 may be in a form of cloud computing, edge computing, etc., in which at least one of the units is located on a server and the other units are located on a terminal.
  • FIG. 2 illustrates a block diagram of the hardware configuration of this device 10.
  • the device 10 includes, for example, a CPU 101, a memory 102, a bus 103, a storage device 104, an input device 106, an output device 107, a communication device 108, and the like. Each part of the device 10 is connected to each other via a bus 103 by respective interfaces (I/Fs).
  • I/Fs interfaces
  • the CPU 101 operates in conjunction with other components through a controller (system controller, I/O controller, etc.) and is responsible for overall control of the device 10.
  • the CPU 101 executes, for example, the program 105 of the present invention and other programs, and also reads and writes various information.
  • the CPU 101 functions as an instruction information output section 12, an image information acquisition section 13, a lip information acquisition section 14, a lip movement determination section 15, and a living body determination section 16.
  • the device 10 includes a CPU as a calculation device, but may also include other calculation devices such as a GPU (Graphics Processing Unit) or an APU (Accelerated Processing Unit), or may include a combination of a CPU and these. good.
  • the bus 103 can also be connected to external devices, for example.
  • the external device include a face authentication device such as a face authentication device of the present invention described later, an external storage device (external database, etc.), a printer, an external input device, an external display device, an external imaging device, and the like.
  • the device 10 can be connected to an external network (the communication line network) by, for example, a communication device 108 connected to the bus 103, and can also be connected to other devices via the external network.
  • An example of the memory 102 is a main memory (main storage device).
  • the main memory is, for example, a RAM (random access memory).
  • the memory 102 may be, for example, a ROM (read-only memory).
  • the storage device 104 is also referred to as a so-called auxiliary storage device, for example, in contrast to the main memory (main storage device).
  • the storage device 104 stores operating programs including the program of the present invention.
  • the storage device 104 may be, for example, a combination of a recording medium and a drive that reads from and writes to the recording medium.
  • the recording medium is not particularly limited, and may be of a built-in type or an external type, and examples include HD (hard disk), CD-ROM, CD-R, CD-RW, MO, DVD, flash memory, memory card, etc. It will be done.
  • the storage device 104 may be, for example, a hard disk drive (HDD) in which a recording medium and a drive are integrated, or a solid state drive (SSD).
  • the storage device 104 functions as, for example, the criterion information storage section 11.
  • a memory 102 and a storage device 104 store log information, information obtained from an external database (not shown) or an external device, information generated by this device 10, and information when this device 10 executes processing. It is also possible to store various information such as information to be used.
  • the memory 102 and the storage device 104 store, for example, at least one piece of information selected from the group consisting of determination criterion information 111, lip movement instruction information, lip image information, lip information, determination results of the living body determination unit 16, etc., which will be described later. Information may be stored. Note that at least some of the information may be stored in an external server other than the memory 102 and the storage device 104, or may be distributed and stored in multiple terminals using blockchain technology or the like. .
  • the present device 10 further includes an input device 106 and an output device 107, for example.
  • the input device 106 include pointing devices such as touch panels, track pads, and mice; keyboards; imaging means such as cameras and scanners; card readers such as IC card readers and magnetic card readers; voice input means such as microphones; It will be done.
  • the output device 107 include a display device such as an LED display or a liquid crystal display; an audio output device such as a speaker; a printer; and the like.
  • the input device 106 and the output device 107 are configured separately, but the input device 106 and the output device 107 may be configured as a single unit, such as a touch panel display.
  • the living body detection support method of this embodiment is implemented as follows using, for example, the living body detection support apparatus 10 of FIG. 1 or 2. Note that the living body detection support method of this embodiment is not limited to the use of the living body detection support apparatus 10 of FIG. 1 or 2.
  • the determination criterion information 111 is information that serves as a standard for determining whether or not the subject moved his or her mouth as instructed, and the type of lip movement is linked to the lip information for each type of lip movement. It is information.
  • the type of lip movement is not particularly limited, and includes, for example, opening and closing the mouth, uttering a predetermined character, forming a predetermined shape of the lips, and the like.
  • the predetermined characters are not particularly limited and include, for example, consonants, vowels, alphabets, etc., but vowels are preferred.
  • the predetermined character may be a character consisting of one sound (for example, “a”, “i”, “u”, “e”, “o”, etc.) or a character consisting of two or more sounds. It may be a character (for example, "Ai”, “Io”, “Aiu”, “Iue”, “Aeo”, etc.) or a combination thereof.
  • the lip information is, for example, information representing the state of the lips, and specific examples thereof include lip coordinate information indicating the position of the lips in image information, lip shape information indicating the shape of the lips, and lip movement indicating the movement of the lips. Information etc.
  • the combination of the type of lip motion and the lip information is not particularly limited, and, for example, any combination can be used.
  • a specific example of the determination criterion information 111 is information in which the type of lip movement (pronunciation of various vowels) is associated with lip coordinate information for each type of vowel.
  • the judgment criterion information 111 is information in which the pronunciation of the various vowels and lip coordinate information for each type of vowel are linked. There are no restrictions whatsoever.
  • the instruction information output unit 12 outputs lip movement instruction information (S1, instruction information output step).
  • the lip movement instruction information includes, for example, information instructing a predetermined type of lip movement.
  • the number of types of lip movements included in the lip movement instruction information is not particularly limited. For example, it may be one type or a plurality of two or more types. However, if the number of types of lip movements is plural, for example, , which is preferable because it improves the accuracy of living body detection.
  • the instruction information output unit 12 selects a randomly selected type of lip movement from among the types of lip movements stored as the determination criterion information 111, and outputs information urging the user to take the selected type of lip movement. The information is output as the lip movement instruction information.
  • the lip movement instruction information include, for example, information instructing the opening/closing state of the mouth, information instructing the utterance of predetermined characters, information instructing the formation of a predetermined lip shape, etc., and combinations thereof. It may be.
  • the lip action instruction information includes information instructing to pronounce a predetermined character, it is preferable to include information instructing to pronounce a plurality of characters, for example.
  • the output format of the lip movement instruction information by the instruction information output unit 12 is not particularly limited, and may be, for example, text information, audio information, or a combination thereof.
  • the instruction information output unit 12 outputs voice information such as "Please read the characters displayed on the screen” using the output device 107 connected via the bus 103, and displays "Please read the characters displayed on the screen.” By displaying predetermined characters such as "Aiu”, information instructing to utter “Aiu” can be output as the lip movement instruction information.
  • the image information acquisition unit 13 acquires lip image information including the subject's mouth (S2, image information acquisition step).
  • the lip image information is not particularly limited as long as it is an image of the subject's lips, and may be, for example, a facial image of the subject.
  • the lip image information may be, for example, a still image such as a photograph, or a moving image.
  • the image information acquisition unit 13 may acquire images continuously or intermittently, and in the latter case, it may acquire images every predetermined period of time, Images may be acquired at any timing.
  • the lip motion instruction information includes information instructing to utter a predetermined character
  • the lip image information can be obtained by detecting the start of the subject's utterance using a sound collection device such as a microphone, for example.
  • the image information acquisition unit 13 may acquire the lip image information by, for example, capturing an image of the subject's lip vicinity (for example, the face) using the imaging device that is the input device 106; , the lip image information may be acquired from an external imaging device via the communication line network. Further, if the device 10 is capable of communicating with an external face authentication device, for example, a face image captured by the face authentication device for face authentication may be acquired from the face authentication device as the lip image information. .
  • the image information acquisition unit 13 may store the acquired lip image information in the memory 102 or the storage device 104, for example.
  • the lip information acquisition unit 14 acquires the subject's lip information from the lip image information (S3, lip information acquisition step).
  • the lip information acquisition unit 14 may, for example, use image analysis technology to extract feature points of the subject's lip region from the lip image information, and acquire the lip information by analyzing the feature points. can.
  • the lip information is, for example, as described above.
  • the lip movement determination unit 15 determines whether or not the subject has performed the instructed lip movement based on the determination criterion information, the lip movement instruction information, and the subject's lip information (S4, lip movement determination process). For example, the lip movement determination unit 15 identifies, based on the determination criterion information, the lip information when performing the type of lip movement included in the lip movement instruction information output in S1, and uses the specified lip information and the By matching the subject's lip information acquired in S3, it is determined whether the subject has performed the instructed lip movement. Specifically, the lip movement determination unit 15, for example, first specifies reference lip coordinate information based on the determination criterion information and the lip movement instruction information.
  • the reference lip coordinate information is, for example, lip coordinate information when performing a lip motion included in the lip motion instruction information output in the step S1. Then, the lip movement determination unit 15 determines whether or not the subject performed the lip movement instructed in step S1, for example, by determining whether the reference lip coordinate information and the subject's lip coordinate information match. Can be judged.
  • the living body determination unit 16 determines that the subject was performing the instructed lip movement (S4, Yes)
  • the process is performed. End (END).
  • the device 10 may end the process (END), or may terminate the process in S1 to S4. Either step may be executed again, or a message indicating that the authentication has failed may be output.
  • the living body detection support device of this embodiment for example, a new living body determination (liveness determination) using lip information of the subject becomes possible.
  • the living body detection support device of the present embodiment can detect a subject's living body by, for example, matching randomly specified lip movements with the subject's lip movements.
  • the lip movement instruction information it becomes difficult to prepare video information in advance by instructing the utterance of multiple randomly specified characters and matching the lip coordinate information when uttering the multiple characters. , it is possible to more effectively suppress spoofing.
  • Embodiment 2 is an example of a face authentication device of the present invention.
  • FIG. 4 is a block diagram showing the configuration of an example of the face authentication device of this embodiment.
  • the face authentication device 20 of this embodiment includes, for example, a face image acquisition section 21, a face authentication section 22, and a living body detection support section 10.
  • the living body detection support unit 10 is, for example, the same as the living body detection support device 10 of Embodiment 1, and the description thereof can be used. Therefore, in the following description, the description "living body detection support unit 10" can be read as "living body detection support device 10", for example.
  • the detailed configuration of the living body detection support unit 10 (the living body detection support device 10) is omitted in FIGS. Contains.
  • the face authentication device 20 may include, for example, a storage unit.
  • the face authentication device 20 may be, for example, a single device including each of the above sections, or a device to which each of the above sections can be connected via a communication line network. Further, the face authentication device 20 can be connected to an external device, which will be described later, via a communication line network.
  • the communication line network is, for example, as described above.
  • the face authentication device 20 may be incorporated into a server as a system, for example.
  • the face authentication device 20 may be, for example, a personal computer (PC, e.g., desktop type, notebook type), a smartphone, a tablet terminal, etc., on which the program of the present invention is installed.
  • PC personal computer
  • the face authentication device 20 may be in a form such as cloud computing or edge computing, in which at least one of the units is located on a server and the other units are located on a terminal.
  • a face authentication device 20 including a face image acquisition section 21 and a face authentication section 22, and the living body detection support device of the first embodiment as the living body detection support section 10 are used. 10 are connected via a communication line network 30.
  • the face image acquisition unit 21 acquires a face image of a person to be authenticated
  • the face authentication unit 22 selects a face image of the person to be authenticated based on the face image of the person to be authenticated and authentication reference information. Perform facial recognition of the person.
  • FIG. 5 illustrates a block diagram of the hardware configuration of the face authentication device 20.
  • the face authentication device 20 includes, for example, a CPU 201, a memory 202, a bus 203, a storage device 204, an input device 206, a display 207, a communication device 208, and the like.
  • the CPU 201 functions as a face image acquisition unit 21 and a face authentication unit 22.
  • the living body detection support unit 10 (the living body detection support device 10) is connected to the bus 203, for example, but the present invention is not limited to this.
  • the living body detection support unit 10 may be connected via a communication line network 30 by, for example, a communication device 208, and may perform each process of the living body detection support method of the first embodiment.
  • a program to be executed may be stored in the storage device 204 or the memory 202, and the CPU 201 may function as the living body detection support unit 10 by reading and executing the program.
  • the living body detection support method of this embodiment is implemented as follows using, for example, the face authentication device 20 shown in FIGS. 4 and 5. Note that the face authentication method of this embodiment is not limited to the use of the face authentication device 20 of FIGS. 4 and 5.
  • the living body detection support unit 10 performs S1 to S5 in the same manner as the processes S1 to S5 in the first embodiment (S21, living body detection support step).
  • the living body detection support process is also referred to as a living body detection process, for example.
  • the face image acquisition unit 21 of the face authentication device 20 acquires a face image of the person to be authenticated (S22, face image acquisition step).
  • the face image is not particularly limited as long as it is an image of the face of the person to be authenticated, and may be a still image such as a photograph, or a moving image.
  • the face image acquisition unit 21 may acquire images continuously or intermittently, and in the latter case, it may acquire images every predetermined period of time, Images may be acquired at any timing.
  • the face image acquisition unit 21 may acquire the face image by, for example, capturing the face of the authentication target person using the imaging device that is the input device 206;
  • the face image may be acquired from an external imaging device via the computer.
  • the lip image information acquired in the step S2 is a face image of the subject
  • the lip image information may be acquired as the face image of the authentication subject.
  • the face image acquisition unit 21 may store the acquired face image in the memory 202 or the storage device 204, for example.
  • the face authentication unit 22 of the face authentication device 20 performs face authentication of the person to be authenticated based on the face image of the person to be authenticated and the authentication reference information (S23, face authentication step).
  • the authentication standard information include information such as a face image of the person to be authenticated and facial feature amounts that are stored in advance.
  • the processing by the face authentication unit 22 is, for example, not particularly limited, and can be executed in the same manner as a known face authentication method.
  • S22 and S23 are sequentially executed after S21 (S1 to S5), but the present invention is not limited to this.
  • S21, S22, and S23 may be executed simultaneously or separately, for example. In the latter case, the order of execution is not particularly limited and is arbitrary.
  • the living body detection step of S21 can be performed for the authentication target person who has passed the face authentication.
  • the face authentication device of this embodiment includes a living body detection support unit, it is possible to suppress impersonation in face authentication.
  • the first program of this embodiment is a program for causing a computer to execute each step of the living body detection support method described above.
  • the program of this embodiment is a program for causing a computer to execute an instruction information output procedure, an image information acquisition procedure, a lip information acquisition procedure, a lip movement determination procedure, and a living body determination procedure.
  • the instruction information output procedure outputs lip movement instruction information;
  • the lip movement instruction information includes information instructing a predetermined type of lip movement,
  • the image information acquisition procedure includes acquiring lip image information including the subject's mouth;
  • the lip information acquisition procedure includes acquiring lip information of the subject from the lip image information;
  • the lip movement determination procedure determines whether the subject has performed the lip movement instructed, based on the determination criterion information, the lip movement instruction information, and the lip information of the subject;
  • the judgment criterion information is information in which a type of lip movement is associated with lip information for each type of lip movement, In the living body determination procedure, when it is determined that the subject has performed the instructed lip movement, it is determined that the subject is a living body.
  • the first program of the present embodiment can also be said to be a program that causes a computer to function as an instruction information output procedure, an image information acquisition procedure, a lip information acquisition procedure, a lip movement determination procedure, and a living body determination procedure.
  • the first program of the present embodiment can refer to the description in the living body detection support device and living body detection support method of the present invention.
  • “procedure” can be read as “process”.
  • the program of this embodiment may be recorded on, for example, a computer-readable recording medium.
  • the recording medium is, for example, a non-transitory computer-readable storage medium.
  • the recording medium is not particularly limited, and includes, for example, random access memory (RAM), read-only memory (ROM), hard disk (HD), flash memory (for example, SSD (Solid State Drive), USB flash memory, SD/SDHC).
  • the program of this embodiment (for example, also referred to as a programming product or a program product) may be distributed from an external computer, for example.
  • the above-mentioned "distribution" may be, for example, distribution via a communication line network or distribution via a device connected by wire.
  • the program of this embodiment may be installed and executed on the distributed device, or may be executed without being installed.
  • the second program of this embodiment is a program for causing a computer to execute each step of the above-described face authentication method.
  • the program of this embodiment is a program for causing a computer to execute a living body detection procedure, a face image acquisition procedure, and an authentication procedure.
  • the living body detection procedure is executed by the first program of the present invention, and performs living body detection of the authentication subject;
  • the facial image acquisition procedure includes acquiring a facial image of the person to be authenticated;
  • face authentication of the person to be authenticated is performed based on a face image of the person to be authenticated and authentication reference information.
  • the second program of this embodiment can also be called a program that causes the computer to function as a living body detection procedure, a face image acquisition procedure, and an authentication procedure.
  • the second program of this embodiment can refer to the description in the face authentication device and face authentication method of the present invention.
  • “procedure” can be read as “process”.
  • the program of this embodiment may be recorded on, for example, a computer-readable recording medium.
  • the recording medium is, for example, a non-transitory computer-readable storage medium.
  • the recording medium is not particularly limited, and includes, for example, random access memory (RAM), read-only memory (ROM), hard disk (HD), flash memory (for example, SSD (Solid State Drive), USB flash memory, SD/SDHC).
  • the program of this embodiment (for example, also referred to as a programming product or a program product) may be distributed from an external computer, for example.
  • the above-mentioned "distribution" may be, for example, distribution via a communication line network or distribution via a device connected by wire.
  • the program of this embodiment may be installed and executed on the distributed device, or may be executed without being installed.
  • Additional notes including a judgment criterion information storage unit, an instruction information output unit, an image information acquisition unit, a lip information acquisition unit, a lip movement determination unit, and a living body determination unit
  • the judgment criterion information storage unit stores judgment criterion information
  • the judgment criterion information is information in which a type of lip movement is associated with lip information for each type of lip movement
  • the instruction information output unit outputs lip movement instruction information
  • the lip movement instruction information includes information instructing a predetermined type of lip movement
  • the image information acquisition unit acquires lip image information including the subject's mouth,
  • the lip information acquisition unit acquires lip information of the subject from the lip image information,
  • the lip movement determination unit determines whether the subject has performed the instructed lip movement based on the determination criterion information, the lip movement instruction information, and the subject's lip information
  • the living body detection support device is configured to determine that the living body determination unit determines
  • the lip information includes lip coordinate information
  • the judgment criterion information includes information in which a type of lip movement is associated with lip coordinate information for each type of lip movement
  • the lip information acquisition unit acquires lip coordinate information of the subject from the lip image information as the lip information
  • the lip movement determination unit identifies reference lip coordinate information based on the determination criterion information and the lip movement instruction information, and matches the reference lip coordinate information and the lip coordinate information of the subject.
  • the living body detection support device according to Supplementary note 1, which determines whether or not the person has made the instructed lip movement.
  • the type of lip movement includes utterance of a predetermined character
  • the judgment criterion information includes information in which a predetermined character type is associated with lip information for each character type,
  • the living body detection support device according to appendix 1 or 2, wherein the instruction information output unit outputs information instructing to utter a predetermined character as the lip movement instruction information.
  • the living body detection unit is the living body detection support device according to any one of Supplementary Notes 1 to 3, and performs living body detection of the authentication subject;
  • the facial image acquisition unit acquires a facial image of the person to be authenticated;
  • the authentication unit is a face authentication device that performs face authentication of the person to be authenticated based on the face image of the person to be authenticated and authentication reference information.
  • the instruction information output step outputs lip movement instruction information
  • the lip movement instruction information includes information instructing a predetermined type of lip movement
  • the image information acquisition step acquires lip image information including the subject's mouth;
  • the lip information acquisition step acquires lip information of the subject from the lip image information,
  • the lip movement determination step determines whether the subject has performed the instructed lip movement based on the determination criterion information, the lip movement instruction information, and the subject's lip information;
  • the judgment criterion information is information in which a type of lip movement is associated with lip information for each type of lip movement
  • the living body determination step is a living body detection support method in which, when it is determined that the subject has performed the instructed lip movement, it is determined that the subject is a living body.
  • the lip information includes lip coordinate information
  • the judgment criterion information includes information in which a type of lip movement is associated with lip coordinate information for each type of lip movement,
  • the lip information acquisition step acquires lip coordinate information of the subject from the lip image information as the lip information;
  • the lip movement determination step specifies reference lip coordinate information based on the determination criterion information and the lip movement instruction information, and matches the reference lip coordinate information and the lip coordinate information of the subject.
  • the living body detection support method according to supplementary note 5, which determines whether or not the person has made the instructed lip movement.
  • the type of lip movement includes utterance of a predetermined character
  • the judgment criterion information includes information in which a predetermined character type is associated with lip information for each character type,
  • the living body detection step is the living body detection support method according to any one of appendices 5 to 7, and includes performing living body detection of the authentication subject;
  • the facial image acquisition step acquires a facial image of the person to be authenticated;
  • the authentication step is a face authentication method, in which the face of the person to be authenticated is executed based on the face image of the person to be authenticated and authentication reference information.
  • the instruction information output procedure outputs lip movement instruction information
  • the lip movement instruction information includes information instructing a predetermined type of lip movement
  • the image information acquisition procedure includes acquiring lip image information including the subject's mouth;
  • the lip information acquisition procedure includes acquiring lip information of the subject from the lip image information;
  • the lip movement determination procedure determines whether the subject has performed the lip movement instructed, based on the determination criterion information, the lip movement instruction information, and the lip information of the subject;
  • the judgment criterion information is information in which a type of lip movement is associated with lip information for each type of lip movement,
  • the living body determination procedure determines that the subject is a living person when it is determined that the subject has made the instructed lip movement;
  • a program in which each of the steps described above is executed by a computer.
  • the lip information includes lip coordinate information
  • the judgment criterion information includes information in which a type of lip movement is associated with lip coordinate information for each type of lip movement,
  • the lip information acquisition procedure acquires lip coordinate information of the subject from the lip image information as the lip information;
  • the lip motion determination procedure specifies reference lip coordinate information based on the determination criterion information and the lip motion instruction information, and matches the reference lip coordinate information and the lip coordinate information of the subject.
  • the type of lip movement includes utterance of a predetermined character;
  • the judgment criterion information includes information in which a predetermined character type is associated with lip information for each character type, 11.
  • Appendix 12 Including living body detection procedure, facial image acquisition procedure and authentication procedure, The living body detection procedure is executed by the program according to any one of appendices 9 to 11, and performs living body detection of the authentication subject;
  • the facial image acquisition procedure includes acquiring a facial image of the person to be authenticated;
  • the authentication procedure includes performing face authentication of the authentication subject based on the facial image of the authentication subject and authentication reference information;
  • a program in which each of the steps described above is executed by a computer.
  • Appendix 13 A computer-readable recording medium recording the program according to any one of appendices 9 to 12.
  • a subject's living body can be detected by matching randomly specified lip movements with the subject's lip movements. Therefore, the present invention is widely useful in various fields where living body detection is required.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)

Abstract

生体検知が可能となる生体検知支援装置を提供する。　本発明の生体検知支援装置は、口唇動作の種類と、前記口唇動作の種類毎の口唇情報とが紐づけられた判定基準情報を記憶する判定基準情報記憶部、所定の種類の口唇動作を指示する口唇動作指示情報を出力する指示情報出力部、対象者の口を含む口唇画像情報を取得する画像情報取得部、口唇画像情報から対象者の口唇情報を取得する口唇情報取得部、前記判定基準情報、前記口唇動作指示情報、および前記対象者の口唇情報に基づいて、対象者が指示した口唇動作を行ったか否かを判定する口唇動作判定部、前記対象者が指示した口唇動作を行っていたと判定された場合、前記対象者が生体であると判定する生体判定部を含む。

Description

生体検知支援装置、顔認証装置、生体検知支援方法、顔認証方法、プログラム及び記録媒体
　本発明は、生体検知支援装置、顔認証装置、生体検知支援方法、顔認証方法、プログラム及び記録媒体に関する。
　近年、多様なシーンで本人認証の手段として、顔認証技術が用いられている。
　顔認証は、非接触で実行できる認証方法である点等、数多くの利点があるが、対象者の顔画像や動画を用いた偽装により突破される可能性がある。このため、このような偽装によるなりすまし行為の防止技術として、対象者の顔の色調や顔の動きを検知してライブネス判定（例えば、生体判定、生体検知ともいう）機能を備えた顔認証装置が知られている（特許文献１）。
特開２０２０－１８４３３１号公報
　しかしながら、なりすましの手法は年々増加しているため、新たな生体検知手法が求められている。
　そこで、本発明は、生体検知が可能となる生体検知支援装置の提供を目的とする。
　前記目的を達成するために、本発明の生体検知支援装置は、
判定基準情報記憶部、指示情報出力部、画像情報取得部、口唇情報取得部、口唇動作判定部、および生体判定部を含み、
前記判定基準情報記憶部は、判定基準情報を記憶し、
　前記判定基準情報は、口唇動作の種類と、前記口唇動作の種類毎の口唇情報とが紐づけられた情報であり、
前記指示情報出力部は、口唇動作指示情報を出力し、
　前記口唇動作指示情報は、所定の種類の口唇動作を指示する情報を含み、
前記画像情報取得部は、対象者の口を含む口唇画像情報を取得し、
前記口唇情報取得部は、前記口唇画像情報から対象者の口唇情報を取得し、
前記口唇動作判定部は、前記判定基準情報、前記口唇動作指示情報、および前記対象者の口唇情報に基づいて、対象者が指示した口唇動作を行ったか否かを判定し、
前記生体判定部は、前記対象者が指示した口唇動作を行っていたと判定された場合、前記対象者が生体であると判定する。
　本発明の顔認証装置は、
生体検知部、顔画像取得部および認証部を含み、
前記生体検知部は、前記本発明の生体検知支援装置であり、認証対象者の生体検知を実行し、
前記顔画像取得部は、認証対象者の顔画像を取得し、
前記認証部は、前記認証対象者の顔画像および認証基準情報に基づいて認証対象者の顔認証を実行する。
　本発明の生体検知支援方法は、
指示情報出力工程、画像情報取得工程、口唇情報取得工程、口唇動作判定工程、および生体判定工程を含み、
前記指示情報出力工程は、口唇動作指示情報を出力し、
　前記口唇動作指示情報は、所定の種類の口唇動作を指示する情報を含み、
前記画像情報取得工程は、対象者の口を含む口唇画像情報を取得し、
前記口唇情報取得工程は、前記口唇画像情報から対象者の口唇情報を取得し、
前記口唇動作判定工程は、判定基準情報、前記口唇動作指示情報、および前記対象者の口唇情報に基づいて、対象者が指示した口唇動作を行ったか否かを判定し、
　前記判定基準情報は、口唇動作の種類と、前記口唇動作の種類毎の口唇情報とが紐づけられた情報であり、
前記生体判定工程は、前記対象者が指示した口唇動作を行っていたと判定された場合、前記対象者が生体であると判定する。
　本発明の顔認証方法は、
生体検知工程、顔画像取得工程、および認証工程を含み、
前記生体検知工程は、前記本発明の生体検知支援方法であり、認証対象者の生体検知を実行し、
前記顔画像取得工程は、認証対象者の顔画像を取得し、
前記認証工程は、前記認証対象者の顔画像および認証基準情報に基づいて認証対象者の顔認証を実行する。
　本発明の第１のプログラムは、
指示情報出力手順、画像情報取得手順、口唇情報取得手順、口唇動作判定手順、および生体判定手順を含み、
前記指示情報出力手順は、口唇動作指示情報を出力し、
　前記口唇動作指示情報は、所定の種類の口唇動作を指示する情報を含み、
前記画像情報取得手順は、対象者の口を含む口唇画像情報を取得し、
前記口唇情報取得手順は、前記口唇画像情報から対象者の口唇情報を取得し、
前記口唇動作判定手順は、判定基準情報、前記口唇動作指示情報、および前記対象者の口唇情報に基づいて、対象者が指示した口唇動作を行ったか否かを判定し、
　前記判定基準情報は、口唇動作の種類と、前記口唇動作の種類毎の口唇情報とが紐づけられた情報であり、
前記生体判定手順は、前記対象者が指示した口唇動作を行っていたと判定された場合、前記対象者が生体であると判定し、
前記各手順が、コンピュータにより実行される、プログラムである。
　本発明の第２のプログラムは、
生体検知手順、顔画像取得手順および認証手順を含み、
前記生体検知手順は、前記本発明の第１のプログラムにより実行され、認証対象者の生体検知を実行し、
前記顔画像取得手順は、認証対象者の顔画像を取得し、
前記認証手順は、前記認証対象者の顔画像および認証基準情報に基づいて認証対象者の顔認証を実行し、
前記各手順が、コンピュータにより実行される、プログラムである。
　本発明によれば、生体検知が可能となる。
図１は、実施形態１の生体検知支援装置の一例の構成を示すブロック図である。 図２は、実施形態１の生体検知支援装置のハードウェア構成の一例を示すブロック図である。 図３は、実施形態１の生体検知支援装置における処理の一例を示すフローチャートである。 図４は、実施形態２の顔認証装置の一例の構成を示すブロック図である。 図５は、実施形態２の顔認証装置のハードウェア構成の一例を示すブロック図である。 図６は、実施形態２の顔認証装置における処理の一例を示すフローチャートである。
　本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。
［実施形態１］
　図１は、本実施形態の生体検知支援装置１０の一例の構成を示すブロック図である。図１に示すように、本装置１０は、判定基準情報記憶部１１、指示情報出力部１２、画像情報取得部１３、口唇情報取得部１４、口唇動作判定部１５、および生体判定部１６を含む。図１に示すように、判定基準情報記憶部１１は、判定基準情報１１１を含む。判定基準情報１１１については、後述する。
　本装置１０は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、本装置１０は、前記通信回線網を介して、後述する外部装置と接続可能である。前記通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。前記通信回線網は、例えば、インターネット回線、ＷＷＷ（Ｗｏｒｌｄ　Ｗｉｄｅ　Ｗｅｂ）、電話回線、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＳＡＮ（Ｓｔｏｒａｇｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＤＴＮ（Ｄｅｌａｙ　Ｔｏｌｅｒａｎｔ　Ｎｅｔｗｏｒｋｉｎｇ）、ＬＰＷＡ（Ｌｏｗ　Ｐｏｗｅｒ　Ｗｉｄｅ　Ａｒｅａ）、Ｌ５Ｇ（ローカル５Ｇ）、等があげられる。無線通信としては、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ローカル５Ｇ、ＬＰＷＡ等が挙げられる。前記無線通信としては、各装置が直接通信する形態（Ａｄ　Ｈｏｃ通信）、インフラストラクチャ（infrastructure通信）、アクセスポイントを介した間接通信等であってもよい。本装置１０は、例えば、システムとしてサーバに組み込まれていてもよい。また、本装置１０は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ、例えば、デスクトップ型、ノート型）、スマートフォン、タブレット端末等であってもよい。本装置１０は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。
　図２に、本装置１０のハードウェア構成のブロック図を例示する。本装置１０は、例えば、ＣＰＵ１０１、メモリ１０２、バス１０３、記憶装置１０４、入力装置１０６、出力装置１０７、通信デバイス１０８等を含む。本装置１０の各部は、それぞれのインタフェース（Ｉ／Ｆ）により、バス１０３を介して相互に接続されている。
　ＣＰＵ１０１は、コントローラ（システムコントローラ、Ｉ／Ｏコントローラ等）等により、他の構成と連携動作し、本装置１０の全体の制御を担う。本装置１０において、ＣＰＵ１０１により、例えば、本発明のプログラム１０５やその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、ＣＰＵ１０１が、指示情報出力部１２、画像情報取得部１３、口唇情報取得部１４、口唇動作判定部１５、および生体判定部１６として機能する。本装置１０は、演算装置として、ＣＰＵを備えるが、ＧＰＵ（Graphics Processing Unit）、ＡＰＵ（Accelerated Processing Unit）等の他の演算装置を備えてもよいし、ＣＰＵとこれらとの組合せを備えてもよい。
　バス１０３は、例えば、外部装置とも接続できる。前記外部装置は、例えば、後述する本発明の顔認証装置等の顔認証装置、外部記憶装置（外部データベース等）、プリンタ、外部入力装置、外部表示装置、外部撮像装置等があげられる。本装置１０は、例えば、バス１０３に接続された通信デバイス１０８により、外部ネットワーク（前記通信回線網）に接続でき、外部ネットワークを介して、他の装置と接続することもできる。
　メモリ１０２は、例えば、メインメモリ（主記憶装置）が挙げられる。ＣＰＵ１０１が処理を行う際には、例えば、後述する記憶装置１０４に記憶されている本発明のプログラム等の種々の動作プログラムを、メモリ１０２が読み込み、ＣＰＵ１０１は、メモリ１０２からデータを受け取って、プログラムを実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。また、メモリ１０２は、例えば、ＲＯＭ（読み出し専用メモリ）であってもよい。
　記憶装置１０４は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置１０４には、本発明のプログラムを含む動作プログラムが格納されている。記憶装置１０４は、例えば、記録媒体と、記録媒体に読み書きするドライブとの組合せであってもよい。前記記録媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等が挙げられる。記憶装置１０４は、例えば、記録媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）、及びソリッドステートドライブ（ＳＳＤ）であってもよい。記憶装置１０４は、例えば、判定基準情報記憶部１１として機能する。
　本装置１０において、メモリ１０２及び記憶装置１０４は、ログ情報、外部データベース（図示せず）や外部の装置から取得した情報、本装置１０によって生成した情報、本装置１０が処理を実行する際に用いる情報等の種々の情報を記憶することも可能である。この場合、メモリ１０２及び記憶装置１０４は、例えば、後述する判定基準情報１１１、口唇動作指示情報、口唇画像情報、口唇情報、生体判定部１６の判定結果等からなる群から選択された少なくとも一つの情報を記憶していてもよい。なお、少なくとも一部の情報は、例えば、メモリ１０２及び記憶装置１０４以外の外部サーバに記憶されていてもよいし、複数の端末にブロックチェーン技術等を用いて分散して記憶されていてもよい。
　本装置１０は、例えば、さらに、入力装置１０６、出力装置１０７を備える。入力装置１０６は、例えば、タッチパネル、トラックパッド、マウス等のポインティングデバイス；キーボード；カメラ、スキャナ等の撮像手段；ＩＣカードリーダ、磁気カードリーダ等のカードリーダ；マイク等の音声入力手段；等があげられる。出力装置１０７は、例えば、ＬＥＤディスプレイ、液晶ディスプレイ等の表示装置；スピーカ等の音声出力装置；プリンタ；等があげられる。本実施形態１において、入力装置１０６と出力装置１０７とは、別個に構成されているが、入力装置１０６と出力装置１０７とは、タッチパネルディスプレイのように、一体として構成されてもよい。
　つぎに、本実施形態の生体検知支援方法の一例を、図３のフローチャートに基づき説明する。本実施形態の生体検知支援方法は、例えば、図１又は図２の生体検知支援装置１０を用いて、次のように実施する。なお、本実施形態の生体検知支援方法は、図１又は図２の生体検知支援装置１０の使用には限定されない。
　まず、本装置１０による処理に先立ち、判定基準情報記憶部１１に、判定基準情報１１１を記憶する。判定基準情報１１１は、対象者が指示通り口を動かしたか否かを判定するための基準となる情報であり、口唇動作の種類と、前記口唇動作の種類毎の口唇情報とが紐づけられた情報である。前記口唇動作の種類は、特に制限されず、例えば、口の開閉状態、所定の文字の発声、所定の口唇形状の形成等があげられる。前記所定の文字は、特に制限されず、例えば、子音、母音、アルファベット等があげられるが、母音が好ましい。また、前記所定の文字は、例えば、１つの音からなる文字（例えば、「あ」、「い」、「う」、「え」、「お」等）でもよいし、２以上の音からなる文字（例えば、「あい」、「いお」、「あいう」、「いうえ」、「あえお」等）でもよいし、これらの組み合わせでもよい。前記口唇情報は、例えば、口唇の状態を表すための情報であり、具体例として、画像情報における口唇の位置を示す口唇座標情報、口唇の形状を示す口唇形状情報、口唇の動きを示す口唇動き情報等があげられる。判定基準情報１１１において、口唇動作の種類と、口唇情報との紐づけの組み合わせは、特に制限されず、例えば、任意の組み合わせが利用できる。判定基準情報１１１の具体例としては、例えば、前記口唇動作の種類（各種母音の発声）と、母音の種類毎の口唇座標情報とが紐づけられた情報があげられる。以下の説明においては、判定基準情報１１１が、前記各種母音の発声と、母音の種類毎の口唇座標情報とが紐づけられた情報である場合を例に挙げて説明するが、本発明はこれには何ら制限されない。
　つぎに、指示情報出力部１２により、口唇動作指示情報を出力する（Ｓ１、指示情報出力工程）。前記口唇動作指示情報は、例えば、所定の種類の口唇動作を指示する情報を含む。前記口唇動作指示情報が含む口唇動作の種類の数は、特に制限されず、例えば、１種類でもよいが、２種類以上の複数でもよいが、口唇動作の種類の数が複数であれば、例えば、生体検知の精度が向上するため好ましい。指示情報出力部１２は、例えば、判定基準情報１１１として記憶されている口唇動作の種類のうち、ランダムにピックアップした口唇動作の種類を選択し、選択した種類の口唇動作をとるように促す情報を前記口唇動作指示情報として出力する。前記口唇動作指示情報の具体例としては、例えば、口の開閉状態を指示する情報、所定の文字の発声を指示する情報、所定の口唇形状の形成を指示する情報等があげられ、これらの組み合わせであってもよい。口唇動作指示情報が所定の文字の発声を指示する情報を含む場合、例えば、複数の文字の発声を指示する情報を含むことが好ましい。指示情報出力部１２による前記口唇動作指示情報の出力形式は特に制限されず、例えば、テキスト情報でもよいし、音声情報でもよいし、これらの組み合わせでもよい。具体的に、指示情報出力部１２は、例えば、バス１０３を介して接続された出力装置１０７により、「画面に表示されている文字を読んでください」等の音声情報を出力し、画面に「あいう」等の所定の文字を表示することにより、前記口唇動作指示情報として、「あいう」の発声を指示する情報を出力できる。
　つぎに、画像情報取得部１３により、対象者の口を含む口唇画像情報を取得する（Ｓ２、画像情報取得工程）。前記口唇画像情報は、対象者の口唇が撮像された画像であれば特に制限されず、例えば、対象者の顔画像でもよい。前記口唇画像情報は、例えば、写真等の静止画でもよいし、動画でもよい。画像情報取得部１３は、例えば、連続的に画像を取得してもよいし、断続的に画像を取得してもよく、後者の場合、所定時間経過毎に画像を取得してもよいし、任意のタイミングで画像を取得してもよい。前記口唇動作指示情報が、所定の文字の発声を指示する情報を含む場合、例えば、マイク等の集音装置により対象者の発声開始を検知して前記口唇画像情報を取得できる。画像情報取得部１３は、例えば、入力装置１０６である前記撮像装置によって前記対象者の口唇付近（例えば、顔）を撮像することにより前記口唇画像情報を取得してもよいが、通信デバイス１０８により、前記通信回線網を介して外部の撮像装置から前記口唇画像情報を取得してもよい。また、本装置１０が外部の顔認証装置と通信可能である場合、例えば、前記顔認証装置から、前記顔認証装置が顔認証用に撮像した顔画像を前記口唇画像情報として取得してもよい。画像情報取得部１３は、例えば、取得した口唇画像情報をメモリ１０２又は記憶装置１０４に記憶してもよい。
　つぎに、口唇情報取得部１４により、前記口唇画像情報から対象者の口唇情報を取得する（Ｓ３、口唇情報取得工程）。口唇情報取得部１４は、例えば、画像解析技術を利用して、前記口唇画像情報から対象者の口唇部位の特徴点を抽出し、前記特徴点を解析することで前記口唇情報を取得することができる。前記口唇情報は、例えば、前述の通りである。
　つぎに、口唇動作判定部１５により、前記判定基準情報、前記口唇動作指示情報、および前記対象者の口唇情報に基づいて、対象者が指示した口唇動作を行ったか否かを判定する（Ｓ４、口唇動作判定工程）。口唇動作判定部１５は、例えば、前記判定基準情報に基づいて、前記Ｓ１で出力した口唇動作指示情報が含む口唇動作の種類を行った際の口唇情報を特定し、特定した口唇情報と、前記Ｓ３で取得した対象者の口唇情報とをマッチングすることにより、対象者が指示した口唇動作を行ったか否かを判定する。具体的に、口唇動作判定部１５は、例えば、まず、前記判定基準情報及び前記口唇動作指示情報に基づいて、基準口唇座標情報を特定する。前記基準口唇座標情報は、例えば、前記Ｓ１工程で出力した前記唇動作指示情報が含む口唇動作を行った際の口唇座標情報である。そして、口唇動作判定部１５は、例えば、前記基準口唇座標情報及び前記対象者の口唇座標情報がマッチングするかを判定することにより、対象者がＳ１工程で指示した口唇動作を行ったか否かを判定できる。
　そして、生体判定部１６により、前記対象者が指示した口唇動作を行っていたと判定された場合（Ｓ４、Ｙｅｓ）、前記対象者が生体であると判定し（Ｓ５、生体判定工程）、処理を終了する（ＥＮＤ）。本装置１０は、例えば、前記Ｓ４において、前記対象者が指示した口唇動作を行っていないと判定した場合（Ｓ４、Ｎｏ）、処理を終了（ＥＮＤ）してもよいし、前記Ｓ１～Ｓ４のいずれかの工程を再度実行してもよいし、認証に失敗した旨を出力してもよい。
　本実施形態の生体検知支援装置によれば、例えば、対象者の口唇情報を利用した新たな生体判定（ライブネス判定）が可能となる。具体的に、本実施形態の生体検知支援装置は、例えば、ランダムに指定した口唇の動きと対象者の口唇の動きとをマッチングすることで対象者の生体検知が可能となる。また、前記口唇動作指示情報として、ランダムに指定した複数の文字の発声を指示し、複数の文字の発声時における口唇座標情報をマッチングすることにより、あらかじめ動画情報を用意することが困難になるため、より効果的になりすましを抑制できる。
［実施形態２］
　実施形態２は、本発明の顔認証装置の例である。
　本実施形態の顔認証装置について、図４を用いて説明する。図４は、本実施形態の顔認証装置の一例の構成を示すブロック図である。図４（Ａ）に示すように、本実施形態の顔認証装置２０は、例えば、顔画像取得部２１、顔認証部２２、及び生体検知支援部１０を含む。生体検知支援部１０は、例えば、実施形態１の生体検知支援装置１０と同様であり、その説明を援用できる。このため、以下の説明において、「生体検知支援部１０」との記載は、例えば、「生体検知支援装置１０」に読み替えが可能である。なお、図４（Ａ）および（Ｂ）において、生体検知支援部１０（生体検知支援装置１０）の詳細な構成は省略して示すが、前記実施形態１の生体検知支援装置１０と同様の構成を含んでいる。図示していないが、顔認証装置２０は、例えば、記憶部を含んでもよい。
　顔認証装置２０は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、顔認証装置２０は、通信回線網を介して、後述する外部装置と接続可能である。通信回線網は、例えば、前述の通りである。顔認証装置２０は、例えば、システムとしてサーバに組み込まれていてもよい。顔認証装置２０は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ、例えば、デスクトップ型、ノート型）、スマートフォン、タブレット端末等であってもよい。さらに、顔認証装置２０は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。具体例として、例えば、図４（Ｂ）に示すように、顔画像取得部２１、顔認証部２２を含む顔認証装置２０と、生体検知支援部１０として、前記実施形態１の生体検知支援装置１０が通信回線網３０を介して接続された、顔認証システム２００の形態があげられる。
　実施形態２の顔認証装置において、例えば、顔画像取得部２１は、認証対象者の顔画像を取得し、顔認証部２２は、前記認証対象者の顔画像および認証基準情報に基づいて認証対象者の顔認証を実行する。
　図５に、顔認証装置２０のハードウェア構成のブロック図を例示する。図５に示すように、顔認証装置２０は、例えば、ＣＰＵ２０１、メモリ２０２、バス２０３、記憶装置２０４、入力装置２０６、ディスプレイ２０７、通信デバイス２０８等を備える。顔認証装置２０の各構成の説明は、生体検知支援装置１０の各構成の説明を援用できる。顔認証装置２０の各部は、それぞれのインタフェース（Ｉ／Ｆ）により、バス２０３を介して接続されている。顔認証装置２０において、ＣＰＵ２０１が、顔画像取得部２１、及び顔認証部２２として機能する。図５に示す顔認証装置２０において、生体検知支援部１０（生体検知支援装置１０）は、例えば、バス２０３に接続されている形態を示したが、本発明はこれには制限されない。顔認証装置２０において、例えば、生体検知支援部１０は、例えば、通信デバイス２０８により、通信回線網３０を介して接続されていてもよいし、前記実施形態１の生体検知支援方法の各処理を実行させるためのプログラムが記憶装置２０４またはメモリ２０２に記憶され、ＣＰＵ２０１が前記プログラムを読み取って実行することにより、ＣＰＵ２０１が生体検知支援部１０として機能してもよい。
　つぎに、本実施形態の顔認証方法の一例を、図６のフローチャートに基づき説明する。本実施形態の生体検知支援方法は、例えば、図４および図５の顔認証装置２０を用いて、次のように実施する。なお、本実施形態の顔認証方法は、図４および図５の顔認証装置２０の使用には限定されない。
　まず、生体検知支援部１０により、前記実施形態１における処理Ｓ１～Ｓ５と同様にして、Ｓ１～Ｓ５を実施する（Ｓ２１、生体検知支援工程）。なお、生体検知支援工程は、例えば、生体検知工程ともいう。
　つぎに、顔認証装置２０の顔画像取得部２１は、認証対象者の顔画像を取得する（Ｓ２２、顔画像取得工程）。前記顔画像は、認証対象者の顔が撮像された画像であれば特に制限されず、例えば、写真等の静止画でもよいし、動画でもよい。顔画像取得部２１は、例えば、連続的に画像を取得してもよいし、断続的に画像を取得してもよく、後者の場合、所定時間経過毎に画像を取得してもよいし、任意のタイミングで画像を取得してもよい。顔画像取得部２１は、例えば、入力装置２０６である前記撮像装置によって前記認証対象者の顔を撮像することにより前記顔画像を取得してもよいが、通信デバイス２０８により、前記通信回線網を介して外部の撮像装置から前記顔画像を取得してもよい。また、前記Ｓ２工程で取得した口唇画像情報が、対象者の顔画像である場合、前記口唇画像情報を認証対象者の顔画像として取得してもよい。顔画像取得部２１は、例えば、取得した顔画像をメモリ２０２又は記憶装置２０４に記憶してもよい。
　つぎに、顔認証装置２０の顔認証部２２は、前記認証対象者の顔画像および認証基準情報に基づいて認証対象者の顔認証を実行する（Ｓ２３、顔認証工程）。認証基準情報は、例えば、予め記憶された認証対象者の顔画像および顔の特徴量等の情報が挙げられる。顔認証部２２による処理は、例えば、特に制限されず、公知の顔認証方法と同様にして実行できる。
　本実施形態の顔認証方法において、前記Ｓ２１（Ｓ１～Ｓ５）を実施した後、Ｓ２２およびＳ２３を順次実行する場合を例に挙げて説明したが、本発明はこれには制限されない。本発明において、前記Ｓ２１ならびにＳ２２およびＳ２３は、例えば、同時に実行してもよいし、別個に実行してもよい。後者の場合、実行する順序は、特に制限されず、任意である。Ｓ２２およびＳ２３を実行した後にＳ２１を実行する場合、例えば、顔認証をパスした認証対象者について、Ｓ２１の生体検知工程を実行できる。
　本実施形態の顔認証装置は、生体検知支援部を含むため、顔認証におけるなりすましを抑制できる。
［実施形態３］
　本実施形態の第１のプログラムは、前述の生体検知支援方法の各工程を、コンピュータに実行させるためのプログラムである。具体的に、本実施形態のプログラムは、コンピュータに、指示情報出力手順、画像情報取得手順、口唇情報取得手順、口唇動作判定手順、および生体判定手順を実行させるためのプログラムである。
前記指示情報出力手順は、口唇動作指示情報を出力し、
　前記口唇動作指示情報は、所定の種類の口唇動作を指示する情報を含み、
前記画像情報取得手順は、対象者の口を含む口唇画像情報を取得し、
前記口唇情報取得手順は、前記口唇画像情報から対象者の口唇情報を取得し、
前記口唇動作判定手順は、判定基準情報、前記口唇動作指示情報、および前記対象者の口唇情報に基づいて、対象者が指示した口唇動作を行ったか否かを判定し、
　前記判定基準情報は、口唇動作の種類と、前記口唇動作の種類毎の口唇情報とが紐づけられた情報であり、
前記生体判定手順は、前記対象者が指示した口唇動作を行っていたと判定された場合、前記対象者が生体であると判定する。
　また、本実施形態の第１のプログラムは、コンピュータを、指示情報出力手順、画像情報取得手順、口唇情報取得手順、口唇動作判定手順、および生体判定手順として機能させるプログラムということもできる。
　本実施形態の第１のプログラムは、前記本発明の生体検知支援装置および生体検知支援方法における記載を援用できる。前記各手順は、例えば、「手順」を「処理」と読み替え可能である。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）である。前記記録媒体は、特に制限されず、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、フラッシュメモリー（例えば、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、ＵＳＢフラッシュメモリー、ＳＤ／ＳＤＨＣカード等）、光ディスク（例えば、ＣＤ‐Ｒ／ＣＤ‐ＲＷ、ＤＶＤ‐Ｒ／ＤＶＤ‐ＲＷ、ＢＤ‐Ｒ／ＢＤ‐ＲＥ等）、光磁気ディスク（ＭＯ）、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。また、本実施形態のプログラム（例えば、プログラミング製品、又はプログラム製品ともいう）は、例えば、外部のコンピュータから配信される形態であってもよい。前記「配信」は、例えば、通信回線網を介した配信でもよいし、有線で接続された装置を介した配信であってもよい。本実施形態のプログラムは、配信された装置にインストールされて実行されてもよいし、インストールされずに実行されてもよい。
［実施形態４］
　本実施形態の第２のプログラムは、前述の顔認証方法の各工程を、コンピュータに実行させるためのプログラムである。具体的に、本実施形態のプログラムは、コンピュータに、生体検知手順、顔画像取得手順および認証手順を実行させるためのプログラムである。
前記生体検知手順は、前記本発明の第１のプログラムにより実行され、認証対象者の生体検知を実行し、
前記顔画像取得手順は、認証対象者の顔画像を取得し、
前記認証手順は、前記認証対象者の顔画像および認証基準情報に基づいて認証対象者の顔認証を実行する。
　また、本実施形態の第２のプログラムは、コンピュータを、生体検知手順、顔画像取得手順および認証手順として機能させるプログラムということもできる。
　本実施形態の第２のプログラムは、前記本発明の顔認証装置および顔認証方法における記載を援用できる。前記各手順は、例えば、「手順」を「処理」と読み替え可能である。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）である。前記記録媒体は、特に制限されず、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、フラッシュメモリー（例えば、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、ＵＳＢフラッシュメモリー、ＳＤ／ＳＤＨＣカード等）、光ディスク（例えば、ＣＤ‐Ｒ／ＣＤ‐ＲＷ、ＤＶＤ‐Ｒ／ＤＶＤ‐ＲＷ、ＢＤ‐Ｒ／ＢＤ‐ＲＥ等）、光磁気ディスク（ＭＯ）、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。また、本実施形態のプログラム（例えば、プログラミング製品、又はプログラム製品ともいう）は、例えば、外部のコンピュータから配信される形態であってもよい。前記「配信」は、例えば、通信回線網を介した配信でもよいし、有線で接続された装置を介した配信であってもよい。本実施形態のプログラムは、配信された装置にインストールされて実行されてもよいし、インストールされずに実行されてもよい。
　以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。
　この出願は、２０２２年３月１５日に出願された日本出願特願２０２２－０３９９４１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
＜付記＞
　上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
判定基準情報記憶部、指示情報出力部、画像情報取得部、口唇情報取得部、口唇動作判定部、および生体判定部を含み、
前記判定基準情報記憶部は、判定基準情報を記憶し、
　前記判定基準情報は、口唇動作の種類と、前記口唇動作の種類毎の口唇情報とが紐づけられた情報であり、
前記指示情報出力部は、口唇動作指示情報を出力し、
　前記口唇動作指示情報は、所定の種類の口唇動作を指示する情報を含み、
前記画像情報取得部は、対象者の口を含む口唇画像情報を取得し、
前記口唇情報取得部は、前記口唇画像情報から対象者の口唇情報を取得し、
前記口唇動作判定部は、前記判定基準情報、前記口唇動作指示情報、および前記対象者の口唇情報に基づいて、対象者が指示した口唇動作を行ったか否かを判定し、
前記生体判定部は、前記対象者が指示した口唇動作を行っていたと判定された場合、前記対象者が生体であると判定する、生体検知支援装置。
（付記２）
前記口唇情報が、口唇座標情報を含み、
前記判定基準情報が、口唇動作の種類と、前記口唇動作の種類毎の口唇座標情報とが紐づけられた情報を含み、
前記口唇情報取得部は、前記口唇情報として、前記口唇画像情報から対象者の口唇座標情報を取得し、
前記口唇動作判定部は、前記判定基準情報及び前記口唇動作指示情報に基づいて、基準口唇座標情報を特定し、前記基準口唇座標情報及び前記対象者の口唇座標情報をマッチングすることにより、対象者が指示した口唇動作を行ったか否かを判定する、付記１記載の生体検知支援装置。
（付記３）
前記口唇動作の種類が、所定の文字の発声を含み、
前記判定基準情報は、所定の文字の種類と、文字の種類毎の口唇情報とが紐づけられた情報を含み、
前記指示情報出力部は、前記口唇動作指示情報として、所定の文字の発声を指示する情報を出力する、付記１または２記載の生体検知支援装置。
（付記４）
生体検知部、顔画像取得部および認証部を含み、
前記生体検知部は、付記１から３のいずれかに記載の生体検知支援装置であり、認証対象者の生体検知を実行し、
前記顔画像取得部は、認証対象者の顔画像を取得し、
前記認証部は、前記認証対象者の顔画像および認証基準情報に基づいて認証対象者の顔認証を実行する、顔認証装置。
（付記５）
指示情報出力工程、画像情報取得工程、口唇情報取得工程、口唇動作判定工程、および生体判定工程を含み、
前記指示情報出力工程は、口唇動作指示情報を出力し、
　前記口唇動作指示情報は、所定の種類の口唇動作を指示する情報を含み、
前記画像情報取得工程は、対象者の口を含む口唇画像情報を取得し、
前記口唇情報取得工程は、前記口唇画像情報から対象者の口唇情報を取得し、
前記口唇動作判定工程は、判定基準情報、前記口唇動作指示情報、および前記対象者の口唇情報に基づいて、対象者が指示した口唇動作を行ったか否かを判定し、
　前記判定基準情報は、口唇動作の種類と、前記口唇動作の種類毎の口唇情報とが紐づけられた情報であり、
前記生体判定工程は、前記対象者が指示した口唇動作を行っていたと判定された場合、前記対象者が生体であると判定する、生体検知支援方法。
（付記６）
前記口唇情報が、口唇座標情報を含み、
前記判定基準情報が、口唇動作の種類と、前記口唇動作の種類毎の口唇座標情報とが紐づけられた情報を含み、
前記口唇情報取得工程は、前記口唇情報として、前記口唇画像情報から対象者の口唇座標情報を取得し、
前記口唇動作判定工程は、前記判定基準情報及び前記口唇動作指示情報に基づいて、基準口唇座標情報を特定し、前記基準口唇座標情報及び前記対象者の口唇座標情報をマッチングすることにより、対象者が指示した口唇動作を行ったか否かを判定する、付記５記載の生体検知支援方法。
（付記７）
前記口唇動作の種類が、所定の文字の発声を含み、
前記判定基準情報は、所定の文字の種類と、文字の種類毎の口唇情報とが紐づけられた情報を含み、
前記指示情報出力工程は、前記口唇動作指示情報として、所定の文字の発声を指示する情報を出力する、付記５または６記載の生体検知支援方法。
（付記８）
生体検知工程、顔画像取得工程、および認証工程を含み、
前記生体検知工程は、付記５から７のいずれかに記載の生体検知支援方法であり、認証対象者の生体検知を実行し、
前記顔画像取得工程は、認証対象者の顔画像を取得し、
前記認証工程は、前記認証対象者の顔画像および認証基準情報に基づいて認証対象者の顔認証を実行する、顔認証方法。
（付記９）
指示情報出力手順、画像情報取得手順、口唇情報取得手順、口唇動作判定手順、および生体判定手順を含み、
前記指示情報出力手順は、口唇動作指示情報を出力し、
　前記口唇動作指示情報は、所定の種類の口唇動作を指示する情報を含み、
前記画像情報取得手順は、対象者の口を含む口唇画像情報を取得し、
前記口唇情報取得手順は、前記口唇画像情報から対象者の口唇情報を取得し、
前記口唇動作判定手順は、判定基準情報、前記口唇動作指示情報、および前記対象者の口唇情報に基づいて、対象者が指示した口唇動作を行ったか否かを判定し、
　前記判定基準情報は、口唇動作の種類と、前記口唇動作の種類毎の口唇情報とが紐づけられた情報であり、
前記生体判定手順は、前記対象者が指示した口唇動作を行っていたと判定された場合、前記対象者が生体であると判定し、
前記各手順が、コンピュータにより実行される、プログラム。
（付記１０）
前記口唇情報が、口唇座標情報を含み、
前記判定基準情報が、口唇動作の種類と、前記口唇動作の種類毎の口唇座標情報とが紐づけられた情報を含み、
前記口唇情報取得手順は、前記口唇情報として、前記口唇画像情報から対象者の口唇座標情報を取得し、
前記口唇動作判定手順は、前記判定基準情報及び前記口唇動作指示情報に基づいて、基準口唇座標情報を特定し、前記基準口唇座標情報及び前記対象者の口唇座標情報をマッチングすることにより、対象者が指示した口唇動作を行ったか否かを判定する、付記９記載のプログラム。
（付記１１）
前記口唇動作の種類が、所定の文字の発声を含み、
前記判定基準情報は、所定の文字の種類と、文字の種類毎の口唇情報とが紐づけられた情報を含み、
前記指示情報出力手順は、前記口唇動作指示情報として、所定の文字の発声を指示する情報を出力する、付記９または１０記載のプログラム。
（付記１２）
生体検知手順、顔画像取得手順および認証手順を含み、
前記生体検知手順は、付記９から１１のいずれかに記載のプログラムにより実行され、認証対象者の生体検知を実行し、
前記顔画像取得手順は、認証対象者の顔画像を取得し、
前記認証手順は、前記認証対象者の顔画像および認証基準情報に基づいて認証対象者の顔認証を実行し、
前記各手順が、コンピュータにより実行される、プログラム。
（付記１３）
付記９から１２のいずれかに記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。
　本発明によれば、例えば、ランダムに指定した口唇の動きと対象者の口唇の動きとをマッチングすることで対象者の生体検知が可能となる。このため、本発明は、生体検知が必要な様々な分野において広く有用である。
１０　生体検知支援装置
１１　判定基準情報記憶部
１１１　判定基準情報
１２　指示情報出力部
１３　画像情報取得部
１４　口唇情報取得部
１５　口唇動作判定部
１６　生体判定部
１０１　ＣＰＵ
１０２　メモリ
１０３　バス
１０４　記憶装置
１０５　プログラム
１０６　入力装置
１０７　出力装置
１０８　通信デバイス
２０　顔認証装置
２１　顔画像取得部
２２　顔認証部
２０１　　ＣＰＵ
２０２　メモリ
２０３　バス
２０４　記憶装置
２０５　プログラム
２０６　入力装置
２０７　ディスプレイ
２０８　通信デバイス

 

Claims (13)

  1. 判定基準情報記憶部、指示情報出力部、画像情報取得部、口唇情報取得部、口唇動作判定部、および生体判定部を含み、
    前記判定基準情報記憶部は、判定基準情報を記憶し、
    　前記判定基準情報は、口唇動作の種類と、前記口唇動作の種類毎の口唇情報とが紐づけられた情報であり、
    前記指示情報出力部は、口唇動作指示情報を出力し、
    　前記口唇動作指示情報は、所定の種類の口唇動作を指示する情報を含み、
    前記画像情報取得部は、対象者の口を含む口唇画像情報を取得し、
    前記口唇情報取得部は、前記口唇画像情報から対象者の口唇情報を取得し、
    前記口唇動作判定部は、前記判定基準情報、前記口唇動作指示情報、および前記対象者の口唇情報に基づいて、対象者が指示した口唇動作を行ったか否かを判定し、
    前記生体判定部は、前記対象者が指示した口唇動作を行っていたと判定された場合、前記対象者が生体であると判定する、生体検知支援装置。
  2. 前記口唇情報が、口唇座標情報を含み、
    前記判定基準情報が、口唇動作の種類と、前記口唇動作の種類毎の口唇座標情報とが紐づけられた情報を含み、
    前記口唇情報取得部は、前記口唇情報として、前記口唇画像情報から対象者の口唇座標情報を取得し、
    前記口唇動作判定部は、前記判定基準情報及び前記口唇動作指示情報に基づいて、基準口唇座標情報を特定し、前記基準口唇座標情報及び前記対象者の口唇座標情報をマッチングすることにより、対象者が指示した口唇動作を行ったか否かを判定する、請求項１記載の生体検知支援装置。
  3. 前記口唇動作の種類が、所定の文字の発声を含み、
    前記判定基準情報は、所定の文字の種類と、文字の種類毎の口唇情報とが紐づけられた情報を含み、
    前記指示情報出力部は、前記口唇動作指示情報として、所定の文字の発声を指示する情報を出力する、請求項１または２記載の生体検知支援装置。
  4. 生体検知部、顔画像取得部および認証部を含み、
    前記生体検知部は、請求項１から３のいずれか一項に記載の生体検知支援装置であり、認証対象者の生体検知を実行し、
    前記顔画像取得部は、認証対象者の顔画像を取得し、
    前記認証部は、前記認証対象者の顔画像および認証基準情報に基づいて認証対象者の顔認証を実行する、顔認証装置。
  5. 指示情報出力工程、画像情報取得工程、口唇情報取得工程、口唇動作判定工程、および生体判定工程を含み、
    前記指示情報出力工程は、口唇動作指示情報を出力し、
    　前記口唇動作指示情報は、所定の種類の口唇動作を指示する情報を含み、
    前記画像情報取得工程は、対象者の口を含む口唇画像情報を取得し、
    前記口唇情報取得工程は、前記口唇画像情報から対象者の口唇情報を取得し、
    前記口唇動作判定工程は、判定基準情報、前記口唇動作指示情報、および前記対象者の口唇情報に基づいて、対象者が指示した口唇動作を行ったか否かを判定し、
    　前記判定基準情報は、口唇動作の種類と、前記口唇動作の種類毎の口唇情報とが紐づけられた情報であり、
    前記生体判定工程は、前記対象者が指示した口唇動作を行っていたと判定された場合、前記対象者が生体であると判定する、生体検知支援方法。
  6. 前記口唇情報が、口唇座標情報を含み、
    前記判定基準情報が、口唇動作の種類と、前記口唇動作の種類毎の口唇座標情報とが紐づけられた情報を含み、
    前記口唇情報取得工程は、前記口唇情報として、前記口唇画像情報から対象者の口唇座標情報を取得し、
    前記口唇動作判定工程は、前記判定基準情報及び前記口唇動作指示情報に基づいて、基準口唇座標情報を特定し、前記基準口唇座標情報及び前記対象者の口唇座標情報をマッチングすることにより、対象者が指示した口唇動作を行ったか否かを判定する、請求項５記載の生体検知支援方法。
  7. 前記口唇動作の種類が、所定の文字の発声を含み、
    前記判定基準情報は、所定の文字の種類と、文字の種類毎の口唇情報とが紐づけられた情報を含み、
    前記指示情報出力工程は、前記口唇動作指示情報として、所定の文字の発声を指示する情報を出力する、請求項５または６記載の生体検知支援方法。
  8. 生体検知工程、顔画像取得工程、および認証工程を含み、
    前記生体検知工程は、請求項５から７のいずれか一項に記載の生体検知支援方法であり、認証対象者の生体検知を実行し、
    前記顔画像取得工程は、認証対象者の顔画像を取得し、
    前記認証工程は、前記認証対象者の顔画像および認証基準情報に基づいて認証対象者の顔認証を実行する、顔認証方法。
  9. 指示情報出力手順、画像情報取得手順、口唇情報取得手順、口唇動作判定手順、および生体判定手順を含み、
    前記指示情報出力手順は、口唇動作指示情報を出力し、
    　前記口唇動作指示情報は、所定の種類の口唇動作を指示する情報を含み、
    前記画像情報取得手順は、対象者の口を含む口唇画像情報を取得し、
    前記口唇情報取得手順は、前記口唇画像情報から対象者の口唇情報を取得し、
    前記口唇動作判定手順は、判定基準情報、前記口唇動作指示情報、および前記対象者の口唇情報に基づいて、対象者が指示した口唇動作を行ったか否かを判定し、
    　前記判定基準情報は、口唇動作の種類と、前記口唇動作の種類毎の口唇情報とが紐づけられた情報であり、
    前記生体判定手順は、前記対象者が指示した口唇動作を行っていたと判定された場合、前記対象者が生体であると判定し、
    前記各手順が、コンピュータにより実行される、プログラム。
  10. 前記口唇情報が、口唇座標情報を含み、
    前記判定基準情報が、口唇動作の種類と、前記口唇動作の種類毎の口唇座標情報とが紐づけられた情報を含み、
    前記口唇情報取得手順は、前記口唇情報として、前記口唇画像情報から対象者の口唇座標情報を取得し、
    前記口唇動作判定手順は、前記判定基準情報及び前記口唇動作指示情報に基づいて、基準口唇座標情報を特定し、前記基準口唇座標情報及び前記対象者の口唇座標情報をマッチングすることにより、対象者が指示した口唇動作を行ったか否かを判定する、請求項９記載のプログラム。
  11. 前記口唇動作の種類が、所定の文字の発声を含み、
    前記判定基準情報は、所定の文字の種類と、文字の種類毎の口唇情報とが紐づけられた情報を含み、
    前記指示情報出力手順は、前記口唇動作指示情報として、所定の文字の発声を指示する情報を出力する、請求項９または１０記載のプログラム。
  12. 生体検知手順、顔画像取得手順および認証手順を含み、
    前記生体検知手順は、請求項９から１１のいずれか一項に記載のプログラムにより実行され、認証対象者の生体検知を実行し、
    前記顔画像取得手順は、認証対象者の顔画像を取得し、
    前記認証手順は、前記認証対象者の顔画像および認証基準情報に基づいて認証対象者の顔認証を実行し、
    前記各手順が、コンピュータにより実行される、プログラム。
  13. 請求項９から１２のいずれか一項に記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。

     
PCT/JP2023/001856 2022-03-15 2023-01-23 生体検知支援装置、顔認証装置、生体検知支援方法、顔認証方法、プログラム及び記録媒体 WO2023176144A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022039941 2022-03-15
JP2022-039941 2022-03-15

Publications (1)

Publication Number Publication Date
WO2023176144A1 true WO2023176144A1 (ja) 2023-09-21

Family

ID=88022677

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/001856 WO2023176144A1 (ja) 2022-03-15 2023-01-23 生体検知支援装置、顔認証装置、生体検知支援方法、顔認証方法、プログラム及び記録媒体

Country Status (1)

Country Link
WO (1) WO2023176144A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62239231A (ja) * 1986-04-10 1987-10-20 Kiyarii Rabo:Kk 口唇画像入力による音声認識方法
JP2011215942A (ja) * 2010-03-31 2011-10-27 Nec Personal Products Co Ltd ユーザ認証装置、ユーザ認証システム、ユーザ認証方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62239231A (ja) * 1986-04-10 1987-10-20 Kiyarii Rabo:Kk 口唇画像入力による音声認識方法
JP2011215942A (ja) * 2010-03-31 2011-10-27 Nec Personal Products Co Ltd ユーザ認証装置、ユーザ認証システム、ユーザ認証方法及びプログラム

Similar Documents

Publication Publication Date Title
CN104361276B (zh) 一种多模态生物特征身份认证方法及系统
CN110214320B (zh) 使用面部图像比对的认证
KR102210775B1 (ko) 인적 상호 증명으로서 말하는 능력을 이용하는 기법
US20110273474A1 (en) Image display apparatus and image display method
US8793134B2 (en) System and method for integrating gesture and sound for controlling device
US7719569B2 (en) Image processing apparatus and image processing method
US11281707B2 (en) System, summarization apparatus, summarization system, and method of controlling summarization apparatus, for acquiring summary information
CN107204027B (zh) 图像处理装置、显示装置、动画生成方法以及动画显示方法
CN111785279A (zh) 视频说话人的识别方法、装置、计算机设备及存储介质
TW201220216A (en) System and method for detecting human emotion and appeasing human emotion
KR102208256B1 (ko) 리딩 기능을 수행하는 스마트 인형
JP2000259834A (ja) 人物認識装置における登録装置及びその方法
US11715330B2 (en) Liveness detection in an interactive video session
WO2023176144A1 (ja) 生体検知支援装置、顔認証装置、生体検知支援方法、顔認証方法、プログラム及び記録媒体
JP4775961B2 (ja) 映像を用いた発音の推定方法
EP4009629A1 (en) Speech processing device, speech processing method, and recording medium
KR101827168B1 (ko) 얼굴 합성 콘텐츠를 출력하는 장치 및 얼굴 합성 콘텐츠를 출력하는 방법
JP7485454B2 (ja) 手話翻訳処理装置、手話翻訳処理システム、手話翻訳処理方法、プログラム、及び記録媒体
JP2015177490A (ja) 映像音声処理システム、情報処理装置、映像音声処理方法、及び映像音声処理プログラム
JP2024040868A (ja) 虚言検出支援装置、虚言時挙動データベース製造装置、虚言検出支援方法、虚言時挙動データベース製造方法、プログラム、及び記録媒体
JP2021519122A (ja) 呼吸障害のある被験者の検出
JP2015022357A (ja) 情報処理システム、情報処理方法および情報処理装置
WO2024069762A1 (ja) 情報処理システム、情報処理方法、及び記録媒体
US11893098B2 (en) Authenticating a user subvocalizing a displayed text
WO2023135686A1 (ja) 判定方法，判定プログラムおよび情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23770107

Country of ref document: EP

Kind code of ref document: A1