WO2023238365A1 - 顔特徴情報抽出方法、顔特徴情報抽出装置、及び顔特徴情報抽出プログラム - Google Patents

顔特徴情報抽出方法、顔特徴情報抽出装置、及び顔特徴情報抽出プログラム Download PDF

Info

Publication number
WO2023238365A1
WO2023238365A1 PCT/JP2022/023410 JP2022023410W WO2023238365A1 WO 2023238365 A1 WO2023238365 A1 WO 2023238365A1 JP 2022023410 W JP2022023410 W JP 2022023410W WO 2023238365 A1 WO2023238365 A1 WO 2023238365A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature information
person
image
facial feature
facial
Prior art date
Application number
PCT/JP2022/023410
Other languages
English (en)
French (fr)
Inventor
リナ セプティアナ
智明 松濤
登樹 安部
秀継 内田
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2022/023410 priority Critical patent/WO2023238365A1/ja
Publication of WO2023238365A1 publication Critical patent/WO2023238365A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Definitions

  • the present invention relates to facial feature information extraction technology.
  • Face recognition is a technology that recognizes the face of a person in a face image captured by an imaging device. Face recognition is used in various fields such as access control in information processing devices (computers) and analysis of images from surveillance cameras.
  • Non-Patent Documents 1 to 3 Several research results have been reported in relation to facial recognition for faces wearing masks (for example, see Non-Patent Documents 1 to 3). In face matching based on face images, there is also known a face matching device that simultaneously expands the range of facial expressions and orientations that can be matched and improves matching accuracy (see, for example, Patent Document 1).
  • facial recognition for faces wearing masks
  • feature extraction models are sometimes generated by machine learning.
  • facial feature information is extracted from the facial image of the person to be recognized using the generated feature extraction model, and face recognition is performed using the facial feature information.
  • the present invention aims to improve the accuracy of facial feature information extracted from a person's facial image.
  • a computer obtains a facial image of a person, determines whether the facial image of the person includes a mask image, and calculates mouth feature information using the facial image of the person. If it is determined that the person's face image does not include a mask image and the mouth feature information satisfies the conditions for the mouth, the computer extracts the face feature information extracted from the person's face image using the feature extraction model. , the facial feature information of the person is determined.
  • the feature extraction model is generated by machine learning using facial images including mask images.
  • the accuracy of facial feature information extracted from a person's facial image can be improved.
  • FIG. 3 is a diagram showing a face image of a person. It is a diagram showing an image around the eyes. It is a figure showing the first problem. It is a figure showing the second problem.
  • FIG. 1 is a functional configuration diagram of a facial feature information extraction device according to an embodiment. It is a flowchart of facial feature information extraction processing.
  • FIG. 1 is a functional configuration diagram of a face authentication system.
  • FIG. 3 is a diagram showing a face image of a person to be authenticated.
  • FIG. 3 is a diagram showing a first facial expression estimation process.
  • FIG. 7 is a diagram showing a second facial expression estimation process. It is a figure showing the head facing diagonally downward.
  • FIG. 3 is a diagram illustrating first head posture estimation processing.
  • FIG. 1 is a functional configuration diagram of a facial feature information extraction device according to an embodiment. It is a flowchart of facial feature information extraction processing.
  • FIG. 1 is a functional configuration diagram of a face authentication system.
  • FIG. 7 is a diagram illustrating a second head posture estimation process.
  • 2 is a flowchart (Part 1) of the first face authentication process.
  • 12 is a flowchart (part 2) of the first face authentication process.
  • 12 is a flowchart (part 1) of the second face authentication process.
  • 12 is a flowchart (part 2) of the second face authentication process.
  • It is a diagram showing login control in a PC.
  • FIG. 3 is a diagram showing identity verification based on a driver's license.
  • FIG. 3 is a diagram showing an analysis of surveillance camera images.
  • FIG. 2 is a hardware configuration diagram of an information processing device.
  • FIG. 1 shows an example of a person's face image.
  • FIG. 1(a) shows an example of a facial image of a normal face.
  • a normal face represents a face without a mask.
  • the face image in FIG. 1(a) does not include a mask image.
  • the mask image represents an image of a mask.
  • FIG. 1(b) shows an example of a facial image of a face wearing a mask.
  • the face image in FIG. 1(b) includes a mask image.
  • a feature extraction model is generated by having a machine learning model perform machine learning using only images around the eyes included in a face image. Then, using the generated feature extraction model, facial feature information is extracted from the image around the eyes of the person to be recognized, and face recognition is performed using the facial feature information.
  • FIG. 2 shows an example of an image around the eyes.
  • FIG. 2(a) shows an example of an image around the eyes included in the face image of FIG. 1(a).
  • FIG. 2(b) shows an example of an image around the eyes included in the face image of FIG. 1(b).
  • the area around the eyes includes the eyes and forehead, but excludes the nose and mouth.
  • Non-Patent Document 1 since the training data includes a face image that does not include a mask image and a face image that includes a mask image, the bias caused by these different facial images may cause the feature extraction model to Feature information extraction performance deteriorates.
  • FIG. 4 shows an example of the second problem in face recognition in Non-Patent Document 2 and Non-Patent Document 3.
  • the face image 401 is a face image of person A who is not wearing a mask
  • the image 411 is an image around the eyes included in the face image 401.
  • the facial feature information extracted from the image 411 is registered in the database as a template.
  • FIG. 5 shows an example of the functional configuration of the facial feature information extraction device according to the embodiment.
  • the facial feature information extraction device 501 in FIG. 5 includes an acquisition section 511, a determination section 512, a mouth feature calculation section 513, and a determination section 514.
  • FIG. 6 is a flowchart illustrating an example of facial feature information extraction processing performed by the facial feature information extraction device 501 of FIG. 5.
  • the acquisition unit 511 acquires a face image of a person (step 601)
  • the determination unit 512 determines whether a mask image is included in the face image of the person (step 602)
  • the mouth feature calculation unit 513 Mouth feature information is calculated using the person's face image (step 603).
  • the determining unit 514 determines whether the facial features extracted from the face image of the person using the feature extraction model are The information is determined to be facial feature information of the person (step 604).
  • the feature extraction model is generated by machine learning using facial images including mask images.
  • FIG. 7 shows an example of a functional configuration of a face authentication system including the facial feature information extraction device 501 of FIG. 5.
  • the face authentication system in FIG. 7 includes an imaging device 701 and a face authentication device 702.
  • the face authentication device 702 corresponds to the facial feature information extraction device 501 in FIG.
  • the imaging device 701 is, for example, a camera having an imaging element such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal-Oxide-Semiconductor).
  • an imaging element such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal-Oxide-Semiconductor).
  • the face detection model 731-1 is a trained model for detecting a face area from an image of a person who is not wearing a mask.
  • the face detection model 731-2 is a trained model for detecting a face area from an image of a person wearing a mask.
  • the face detection model 731-1 is generated by training a machine learning model by machine learning using training data.
  • Machine learning that generates the face detection model 731-1 uses training data that includes images of a plurality of people not wearing masks and information indicating the facial regions of those images.
  • a numerical value indicating the image feature of the facial image is used.
  • the numerical value indicating the image feature may be a statistical value of pixel values, and may be HOG (Histograms of Oriented Gradients), SIFT (Scaled Invariance Feature Transform), or SURF (Speed-Up Robust Features).
  • the numerical value indicating the image feature may be BRIEF (Binary Robust Independent Elementary Features) or saliency.
  • the facial feature information extracted by the feature extraction model 732-1 and the feature extraction model 732-2 includes not only the features of the image around the eyes but also the features of the image of the entire face including the cheeks and chin. By including the characteristics of the shape of the cheeks and jaw in the facial feature information, it is possible to improve the performance of facial recognition even when the area around the eyes is hidden by hair, glasses, sunglasses, etc.
  • the feature extraction model 732-1 and the feature extraction model 732-2 are generated by training a machine learning model by machine learning using training data.
  • Machine learning that generates the feature extraction model 732-1 uses training data that includes a plurality of face images that do not include mask images and facial feature information of these face images.
  • Machine learning that generates the feature extraction model 732-2 uses training data that includes a plurality of face images including a mask image and facial feature information of those face images.
  • the face authentication device 702 performs facial feature information registration processing and face authentication processing.
  • the imaging device 701 captures an image of a person to be registered who is not wearing a mask, and outputs the image to the face authentication device 702.
  • the reception unit 711 receives an image of a person to be registered that is output from the imaging device 701.
  • the face detection unit 712 uses the face detection model 731-1 to detect a face area from the image of the person to be registered, and obtains the image of the face area as the face image of the person.
  • the feature extraction unit 713-1 extracts facial feature information from the acquired face image using the feature extraction model 732-1, and the feature extraction unit 713-2 extracts facial feature information from the acquired face image using the feature extraction model 732. -2 to extract facial feature information.
  • the registration unit 714 stores the extracted facial feature information in the storage unit 723 as registered facial feature information 733.
  • Registered facial feature information 733 includes facial feature information extracted using feature extraction model 732-1 and facial feature information extracted using feature extraction model 732-2.
  • facial feature information of each of N people N is an integer of 1 or more (registrants) is registered.
  • the registered facial feature information 733 is sometimes called a template.
  • the imaging device 701 may further take an image of the person to be registered wearing a mask and output it to the face authentication device 702.
  • the face detection unit 712 uses the face detection model 731-2 to detect a face area from the image of the person to be registered, and obtains the image of the face area as the face image of the person.
  • the feature extraction unit 713-2 uses the feature extraction model 732-2 to extract facial feature information from the face image of a person wearing a mask rather than the face image of a person not wearing a mask. Then, the registration unit 714 stores the extracted facial feature information in the storage unit 723 as registered facial feature information 733.
  • the imaging device 701 captures an image of the person to be authenticated and outputs it to the face authentication device 702.
  • the person to be authenticated may not be wearing a mask, or may be wearing a mask.
  • the reception unit 711 receives an image of a person to be authenticated output from the imaging device 701.
  • the face detection unit 712 uses the face detection model 731-1 to perform face detection processing on the image of the person to be authenticated.
  • the face detection unit 712 acquires the image of the face area as the face image 734 of the person and stores it in the storage unit 723.
  • the face detection unit 712 uses the face detection model 731-2 to detect the face area from the image of the person to be authenticated. Then, the face detection unit 712 acquires the image of the face area as the face image 734 of the person, and stores it in the storage unit 723.
  • the mask detection unit 715 performs mask detection processing on the face image 734 to determine whether the face image 734 includes a mask image, and sends the determination result to the mouth feature calculation unit 716 and head posture calculation unit 718. Output.
  • the mouth feature calculation unit 716 uses the image of the mouth region included in the face image 734 to calculate mouth feature information.
  • the mouth feature information for example, a numerical value indicating the image feature of the mouth region is used.
  • the mouth feature calculation unit 716 may calculate the mouth feature information from the pattern of the mouth area, or may calculate the mouth feature information using a neural network such as a CNN (Convolutional Neural Network).
  • the facial expression estimating unit 717 estimates the facial expression of the person using the calculated mouth feature information, and outputs the estimation results to the feature extracting unit 713-1, the feature extracting unit 713-2, and the determining unit 720. For example, the facial expression estimation unit 717 determines whether or not the mouth feature information satisfies a condition regarding the mouth, and estimates the facial expression of the person based on the determination result.
  • the conditions for the mouth may include a condition C1 indicating a slightly open mouth and a condition C2 indicating a wide open mouth.
  • Condition C1 indicates a range of numerical values corresponding to the image feature of a slightly open mouth
  • condition C2 indicates a range of numerical values corresponding to the image feature of a wide open mouth.
  • the facial expression estimation unit 717 estimates that the person is smiling when the mouth feature information satisfies condition C1, and estimates that the person is laughing out loud when the mouth feature information satisfies condition C2.
  • condition C1 or the condition C2 it is possible to detect the face image 734 of a smiling person or a person laughing out loud from among the facial images 734 of various people.
  • FIG. 8 shows an example of a facial image 734 of a person to be authenticated.
  • FIG. 8A shows an example of a face image 734 of a person with his mouth closed.
  • the mouth feature calculation unit 716 uses the image 801 of the mouth region included in the face image 734 to calculate mouth feature information. Since the calculated mouth feature information does not satisfy either condition C1 or condition C2, facial expression estimation unit 717 estimates that the person is not smiling.
  • FIG. 8(b) shows an example of a face image 734 of a smiling person.
  • the mouth feature calculation unit 716 uses the image 802 of the mouth region included in the face image 734 to calculate mouth feature information. Since the calculated mouth feature information satisfies the condition C1, the facial expression estimation unit 717 estimates that the person is smiling.
  • FIG. 8(c) shows an example of a face image 734 of a person who is laughing out loud.
  • the mouth feature calculation unit 716 uses the image 803 of the mouth region included in the face image 734 to calculate mouth feature information. Since the calculated mouth feature information satisfies condition C2, the facial expression estimation unit 717 estimates that the person is laughing out loud.
  • facial feature information is extracted using the feature extraction model 732-1.
  • the face image 734 is considered to be a face image including a mask image, and the feature extraction model 732-2 is replaced with the feature extraction model 732-1. Facial feature information is extracted using . This reduces the difference between the extracted facial feature information and the registered facial feature information 733, and improves the accuracy of the facial feature information of the person to be authenticated.
  • the accuracy of the facial feature information may decrease even when the feature extraction model 732-2 is used. There is sex.
  • the facial expression estimation unit 717 adds a virtual mask image to the mouth area in order to eliminate the complexity of the pattern of the image 803. This further improves the accuracy of the facial feature information extracted using the feature extraction model 732-2.
  • facial feature information is extracted from the facial image 734 according to the estimation result of the facial expression estimation unit 717 using the following method.
  • the feature extraction unit 713-1 extracts facial feature information from the facial image 734 using the feature extraction model 732-1, and converts the extracted facial feature information into facial feature information. It is stored in the storage unit 723 as 735-1.
  • the feature extraction unit 713-2 extracts facial feature information from the face image 734 using the feature extraction model 732-2, and converts the extracted facial feature information into facial feature information. It is stored in the storage unit 723 as 735-2.
  • the feature extraction unit 713-2 uses the feature extraction model 732-2 to extract facial feature information from the face image 734 to which the virtual mask image has been added,
  • the extracted facial feature information is stored in the storage unit 723 as facial feature information 735-2.
  • FIG. 9 shows an example of the first facial expression estimation process.
  • a face image 901 is a face image of a person with a closed mouth
  • a face image 902 is a face image of a person who is smiling.
  • the facial expression estimation unit 717 estimates that the person is not smiling, and the feature extraction unit 713-1 extracts facial feature information from the face image 901 using the feature extraction model 732-1. do.
  • the facial expression estimation unit 717 estimates that the person is smiling, and the feature extraction unit 713-2 extracts facial feature information from the face image 902 using the feature extraction model 732-2. do.
  • FIG. 10 shows an example of the second facial expression estimation process.
  • a face image 1001 is a face image of a person with a closed mouth
  • a face image 1002 is a face image of a person who is laughing out loud.
  • the facial expression estimation unit 717 estimates that the person is not smiling, and the feature extraction unit 713-1 extracts facial feature information from the face image 1001 using the feature extraction model 732-1. do.
  • the facial expression estimation unit 717 estimates that the person is laughing out loud and adds a virtual mask image 1003 to the mouth area.
  • the feature extraction unit 713-2 uses the feature extraction model 732-2 to extract facial feature information from the face image 1002 to which the mask image 1003 has been added.
  • the head posture calculation unit 718 uses the face image 734 to calculate head posture information.
  • the head posture information for example, the yaw angle and pitch angle of the head shown in the face image 734 are used.
  • the head posture estimating section 719 estimates the posture of the head using the calculated head posture information, and outputs the estimation results to the feature extracting section 713-1, the feature extracting section 713-2, and the determining section 720. .
  • the head posture estimation unit 719 determines whether the head posture information satisfies a condition for the head, and estimates the head posture based on the determination result.
  • the condition for the head may be a condition indicating the head facing diagonally downward.
  • the conditions that indicate the head facing diagonally downward are condition C3, which indicates the range of the yaw angle and pitch angle when the head is facing downward to the right, and condition C3, which indicates the range of the yaw angle and pitch angle when the head is facing downward to the left.
  • condition C4 indicating a corner range may also be included.
  • the head posture estimation unit 719 estimates that the person is looking at the lower right when the head posture information satisfies condition C3, and estimates that the person is looking at the lower left when the head posture information satisfies condition C4. presume.
  • condition C3 or condition C4 it is possible to detect the face image 734 of a person looking at the lower right or the lower left from among the face images 734 of various people.
  • FIG. 11 shows an example of the head facing diagonally downward.
  • FIG. 11(a) shows an example of the yaw angle, pitch angle, and roll angle of the head facing downward to the right.
  • the head posture estimation unit 719 estimates that the person is looking at the lower right.
  • the face image 734 is considered to be a face image that does not include a mask image, and the feature extraction model 732-1 is replaced with the feature extraction model 732-2. Facial feature information is extracted using . This reduces the difference between the extracted facial feature information and the registered facial feature information 733, and improves the accuracy of the facial feature information of the person to be authenticated.
  • facial feature information is extracted from the facial image 734 in the following manner according to the estimation result of the head posture estimation unit 719.
  • the feature extraction unit 713-2 extracts facial feature information from the face image 734 using the feature extraction model 732-2, and converts the extracted facial feature information into It is stored in the storage unit 723 as facial feature information 735-2.
  • the authentication unit 721 compares the facial feature information of the person to be authenticated with the registered facial feature information 733, and authenticates the person based on the comparison result. Then, the authentication unit 721 generates an authentication result 736 and stores it in the storage unit 723. The output unit 722 outputs the authentication result 736.
  • the receiving unit 711 receives an image of a person to be authenticated output from the imaging device 701 (step 1401).
  • the face detection unit 712 uses the face detection model 731-1 to perform first face detection processing on the image of the person to be authenticated (step 1402), and determines whether a face area has been detected (Ste 1403). If a face area is detected (step 1403, YES), the face detection unit 712 obtains an image of the face area as a face image 734 (step 1404).
  • the face detection unit 712 uses the face detection model 731-2 to perform second face detection processing on the image of the person to be authenticated (step 1413); Repeat the following process. In this case, since a face area is detected (step 1403, YES), the face detection unit 712 obtains an image of the face area as a face image 734 (step 1404).
  • the mouth feature calculation unit 716 calculates mouth feature information using the image of the mouth region included in the face image 734 (step 1407).
  • the facial expression estimation unit 717 determines whether the mouth feature information satisfies the condition C1 (step 1408). If the mouth feature information does not satisfy the condition C1 (step 1408, NO), the facial expression estimation unit 717 determines whether the mouth feature information satisfies the condition C2 (step 1409).
  • the facial expression estimation unit 717 estimates that the person is not smiling, and the face authentication device 702 performs the first feature extraction process (step 1410).
  • the feature extraction unit 713-1 extracts facial feature information 735-1 from the facial image 734 using the feature extraction model 732-1, and the determining unit 720 extracts facial feature information 735-1 from the facial image 734.
  • the facial feature information of the person to be authenticated is determined.
  • the facial expression estimation unit 717 estimates that the person is smiling, and the face authentication device 702 performs the second feature extraction process (step 1415).
  • the feature extraction unit 713-2 extracts facial feature information 735-2 from the facial image 734 using the feature extraction model 732-2, and the determining unit 720 extracts facial feature information 735-2 from the facial image 734.
  • the facial feature information of the person to be authenticated is determined.
  • the facial expression estimation unit 717 estimates that the person is laughing out loud, and adds a virtual mask image to the mouth area (step 1414). Then, the face authentication device 702 performs a second feature extraction process (step 1415).
  • the authentication unit 721 performs authentication using the facial feature information of the person to be authenticated, and generates an authentication result 736 (step 1411).
  • the output unit 722 then outputs the authentication result 736 (step 1412).
  • the head posture calculation unit 718 calculates head posture information using the face image 734 (step 1416).
  • the head posture estimation unit 719 determines whether the head posture information satisfies condition C3 (step 1417). If the head posture information does not satisfy the condition C3 (step 1417, NO), the head posture estimation unit 719 determines whether the head posture information satisfies the condition C4 (step 1418).
  • the head posture estimation unit 719 estimates that the person is not looking diagonally downward.
  • the face authentication device 702 then performs the processing from step 1415 onwards.
  • the head posture estimation unit 719 determines whether the person is looking diagonally downward. It is estimated that there are. The face authentication device 702 then performs the processing from step 1410 onwards.
  • 15A and 15B are flowcharts illustrating an example of the second face authentication process performed by the face authentication device 702 of FIG. 7.
  • the processing in steps 1501 to 1504 and step 1509 is similar to the processing in steps 1401 to 1404 and step 1413 in FIG. 14A.
  • the face authentication device 702 performs the first feature extraction process in step 1505, the second feature extraction process in step 1506, and the processes in steps 1510 to 1518 in parallel.
  • the feature extraction unit 713-1 extracts facial feature information 735-1 from the facial image 734 using the feature extraction model 732-1.
  • the feature extraction unit 713-2 extracts facial feature information 735-2 from the facial image 734 using the feature extraction model 732-2.
  • the mask detection unit 715 performs mask detection processing on the face image 734, and determines whether a mask image is detected (step 1511).
  • the head posture calculation unit 718 calculates head posture information using the face image 734 (step 1515).
  • the head posture estimation unit 719 estimates that the person is not looking diagonally downward.
  • the face authentication device 702 then performs the processing from step 1518 onwards.
  • the processing time can be reduced. is shortened.
  • FIG. 18 shows an example of analysis of surveillance camera images.
  • a face image 1801 of each person captured in a surveillance camera image is acquired, and face recognition is performed using facial feature information extracted from the face image 1801. Then, based on the recognition results, the person to be searched for is identified from among the many people.
  • FIGS. 6 and 14A to 15B are merely examples, and some of the processes may be omitted or changed depending on the configuration or conditions of the facial feature information extraction device 501 or the face authentication system. For example, if head posture estimation processing is not performed, the processing in steps 1416 to 1418 in FIG. 14B and the processing in steps 1515 to 1517 in FIG. 15B can be omitted.
  • FIGS. 16 to 18 are merely examples, and the facial feature information extraction process of the embodiment can also be applied to face authentication or face recognition in other fields.
  • the memory 1902 is, for example, a semiconductor memory such as a ROM (Read Only Memory), a RAM (Random Access Memory), or a flash memory, and stores programs and data used for processing. Memory 1902 may operate as storage unit 723 in FIG.
  • the CPU 1901 By executing a program using the memory 1902, the CPU 1901 operates the reception unit 711, face detection unit 712, feature extraction unit 713-1, feature extraction unit 713-2, registration unit 714, and mask detection unit shown in FIG. It also works as 715.
  • the CPU 1901 also operates as a mouth feature calculation unit 716, a facial expression estimation unit 717, a head posture calculation unit 718, a head posture estimation unit 719, a determination unit 720, and an authentication unit 721.
  • a medium drive device 1906 drives a portable recording medium 1909 and accesses its recorded contents.
  • the portable recording medium 1909 is a memory device, a flexible disk, an optical disk, a magneto-optical disk, or the like.
  • the portable recording medium 1909 may be a CD-ROM (Compact Disk Read Only Memory), a DVD (Digital Versatile Disk), a USB (Universal Serial Bus) memory, or the like.
  • a user or operator can store programs and data in the portable recording medium 1909 and load them into the memory 1902 for use.
  • a computer-readable recording medium that stores programs and data used for processing is a physical (non-temporary) recording medium such as the memory 1902, the auxiliary storage device 1905, or the portable recording medium 1909. It is a medium.
  • the network connection device 1907 is a communication interface circuit that is connected to a communication network such as a WAN (Wide Area Network) or a LAN (Local Area Network), and performs data conversion associated with communication.
  • the information processing device can receive programs and data from an external device via the network connection device 1907, load them into the memory 1902, and use them.
  • Network connection device 1907 may operate as output unit 722 in FIG.
  • the information processing device does not need to include all the components shown in FIG. 19, and some components can be omitted or changed depending on the application or conditions. For example, if an interface with a user or operator is not required, input device 1903 and output device 1904 may be omitted. If the information processing apparatus does not use the portable recording medium 1909 or the communication network, the medium drive device 1906 or the network connection device 1907 may be omitted.

Abstract

コンピュータは、人物の顔画像を取得し、人物の顔画像にマスク画像が含まれるか否かを判定し、人物の顔画像を用いて口特徴情報を計算する。コンピュータは、人物の顔画像にマスク画像が含まれていないと判定され、かつ、口特徴情報が口に対する条件を満たす場合、特徴抽出モデルを用いて人物の顔画像から抽出された顔特徴情報を、人物の顔特徴情報に決定する。特徴抽出モデルは、マスク画像を含む顔画像を用いた機械学習により生成される。

Description

顔特徴情報抽出方法、顔特徴情報抽出装置、及び顔特徴情報抽出プログラム
　本発明は、顔特徴情報抽出技術に関する。
　顔認識は、撮像装置により撮影された顔画像に写っている人物の顔を認識する技術である。顔認識は、情報処理装置（コンピュータ）におけるアクセス制御、監視カメラの画像の分析等の様々な分野で利用されている。
　近年、感染症の大流行に伴って、多くの人が顔にマスクを着けて生活している。マスクによって顔が隠されている場合、露出している部分の面積が減少するため、顔を認識することが難しくなる。
　マスクを着けた顔に対する顔認識に関連して、いくつかの研究結果が報告されている（例えば、非特許文献１～非特許文献３を参照）。顔画像に基づく顔照合において、照合可能な顔の表情や向きの対応範囲の拡大と照合精度の向上を同時に図る顔照合装置も知られている（例えば、特許文献１を参照）。
特開２００７－３１６８０９号公報
N.　Damer　et　al.,　"The　Effect　of　Wearing　a　Mask　on　Face　Recognition　Performance:　an　Exploratory　Study",　arXiv:2007.13521v2,　August　20,　2020 B.　Mandal　et　al.,　"Masked　Face　Recognition　using　ResNet－50",　arXiv:2104.08997v1,　April　19,　2021 W.　Hariri,　"Efficient　Masked　Face　Recognition　Method　during　the　COVID－19　Pandemic",　arXiv:2105.03026v1,　May　7,　2021
　マスクを着けた顔に対する顔認識では、機械学習によって特徴抽出モデルが生成されることがある。この場合、生成された特徴抽出モデルを用いて、認識対象の人物の顔画像から顔特徴情報が抽出され、顔特徴情報を用いて顔認識が行われる。
　しかしながら、マスクによって顔が隠されている場合、露出している部分の面積が減少するため、顔画像から抽出される顔特徴情報の精度が低下する。顔特徴情報の精度が低下すると、顔特徴情報を用いた顔認識の精度も低下する。
　なお、かかる問題は、顔特徴情報を用いて顔認識を行う場合に限らず、顔特徴情報を用いて様々な情報処理を行う場合において生ずるものである。
　１つの側面において、本発明は、人物の顔画像から抽出される顔特徴情報の精度を向上させることを目的とする。
　１つの案では、コンピュータは、人物の顔画像を取得し、人物の顔画像にマスク画像が含まれるか否かを判定し、人物の顔画像を用いて口特徴情報を計算する。コンピュータは、人物の顔画像にマスク画像が含まれていないと判定され、かつ、口特徴情報が口に対する条件を満たす場合、特徴抽出モデルを用いて人物の顔画像から抽出された顔特徴情報を、人物の顔特徴情報に決定する。特徴抽出モデルは、マスク画像を含む顔画像を用いた機械学習により生成される。
　１つの側面によれば、人物の顔画像から抽出される顔特徴情報の精度を向上させることができる。
人物の顔画像を示す図である。 目の周囲の画像を示す図である。 第１の問題点を示す図である。 第２の問題点を示す図である。 実施形態の顔特徴情報抽出装置の機能的構成図である。 顔特徴情報抽出処理のフローチャートである。 顔認証システムの機能的構成図である。 認証対象の人物の顔画像を示す図である。 第１の表情推定処理を示す図である。 第２の表情推定処理を示す図である。 斜め下を向いた頭部を示す図である。 第１の頭部姿勢推定処理を示す図である。 第２の頭部姿勢推定処理を示す図である。 第１の顔認証処理のフローチャート（その１）である。 第１の顔認証処理のフローチャート（その２）である。 第２の顔認証処理のフローチャート（その１）である。 第２の顔認証処理のフローチャート（その２）である。 ＰＣにおけるログイン制御を示す図である。 運転免許証に基づく本人確認を示す図である。 監視カメラの画像の分析を示す図である。 情報処理装置のハードウェア構成図である。
　以下、図面を参照しながら、実施形態を詳細に説明する。
　図１は、人物の顔画像の例を示している。図１（ａ）は、通常の顔の顔画像の例を示している。通常の顔は、マスクを着けていない顔を表す。図１（ａ）の顔画像は、マスク画像を含んでいない。マスク画像は、マスクの画像を表す。
　図１（ｂ）は、マスクを着けた顔の顔画像の例を示している。図１（ｂ）の顔画像は、マスク画像を含む。
　非特許文献１の顔認識では、マスク画像を含まない顔画像とマスク画像を含む顔画像とを用いた機械学習を機械学習モデルに行わせることで、特徴抽出モデルが生成される。そして、生成された特徴抽出モデルを用いて、認識対象の人物の顔画像から顔特徴情報が抽出され、顔特徴情報を用いて顔認識が行われる。
　一方、非特許文献２及び非特許文献３の顔認識では、顔画像に含まれる目の周囲の画像のみを用いた機械学習を機械学習モデルに行わせることで、特徴抽出モデルが生成される。そして、生成された特徴抽出モデルを用いて、認識対象の人物の目の周囲の画像から顔特徴情報が抽出され、顔特徴情報を用いて顔認識が行われる。
　図２は、目の周囲の画像の例を示している。図２（ａ）は、図１（ａ）の顔画像に含まれる目の周囲の画像の例を示している。図２（ｂ）は、図１（ｂ）の顔画像に含まれる目の周囲の画像の例を示している。目の周囲の領域は、目及び額を含み、鼻及び口を含んでいない。
　図３は、非特許文献１の顔認識における第１の問題点の例を示している。顔画像３０１は、マスクを着けていない人物Ａの顔画像であり、顔画像３０２は、マスクを着けていない人物Ｂの顔画像である。人物Ａの目の周囲と人物Ｂの目の周囲は互いに類似している。顔画像３０１及び顔画像３０２から抽出された顔特徴情報は、テンプレートとしてデータベースに登録されている。
　顔画像３１１は、マスクを着けた人物Ａの顔画像であり、顔画像３１２は、マスクを着けた人物Ｂの顔画像である。顔画像３１１及び顔画像３１２は、認識対象の人物の顔画像として用いられる。
　非特許文献１の機械学習では、マスク画像を含まない顔画像とマスク画像を含む顔画像とが訓練データに含まれているため、これらの異なる顔画像に起因するバイアスによって、特徴抽出モデルによる顔特徴情報の抽出性能が低下する。
　このため、顔画像３１１から抽出された顔特徴情報をテンプレートと比較した結果、誤って顔画像３１１が顔画像３０２に対応すると判定される可能性がある。同様に、顔画像３１２から抽出された顔特徴情報をテンプレートと比較した結果、誤って顔画像３１２が顔画像３０１に対応すると判定される可能性がある。
　図４は、非特許文献２及び非特許文献３の顔認識における第２の問題点の例を示している。顔画像４０１は、マスクを着けていない人物Ａの顔画像であり、画像４１１は、顔画像４０１に含まれる目の周囲の画像である。画像４１１から抽出された顔特徴情報は、テンプレートとしてデータベースに登録されている。
　顔画像４０２は、サングラス及びマスクを着けた人物Ａの顔画像であり、画像４１２は、顔画像４０２に含まれる目の周囲の画像である。顔画像４０２は、認識対象の人物の顔画像として用いられる。
　目の周囲の画像のみを用いた機械学習では、マスク画像を含まない顔画像とマスク画像を含む顔画像との差異が小さくなるが、顔特徴情報の情報量も減少する。特に、髪の毛、メガネ、サングラス等によって目の周囲が隠されている場合、特徴抽出モデルによる顔特徴情報の抽出性能が低下する。
　このため、画像４１２から抽出された顔特徴情報をテンプレートと比較した結果、誤って画像４１２が画像４１１に対応しないと判定される可能性がある。
　図５は、実施形態の顔特徴情報抽出装置の機能的構成例を示している。図５の顔特徴情報抽出装置５０１は、取得部５１１、判定部５１２、口特徴計算部５１３、及び決定部５１４を含む。
　図６は、図５の顔特徴情報抽出装置５０１が行う顔特徴情報抽出処理の例を示すフローチャートである。取得部５１１は、人物の顔画像を取得し（ステップ６０１）、判定部５１２は、人物の顔画像にマスク画像が含まれるか否かを判定し（ステップ６０２）、口特徴計算部５１３は、人物の顔画像を用いて口特徴情報を計算する（ステップ６０３）。
　決定部５１４は、人物の顔画像にマスク画像が含まれていないと判定され、かつ、口特徴情報が口に対する条件を満たす場合、特徴抽出モデルを用いて人物の顔画像から抽出された顔特徴情報を、人物の顔特徴情報に決定する（ステップ６０４）。特徴抽出モデルは、マスク画像を含む顔画像を用いた機械学習により生成される。
　図５の顔特徴情報抽出装置５０１によれば、人物の顔画像から抽出される顔特徴情報の精度を向上させることができる。
　図７は、図５の顔特徴情報抽出装置５０１を含む顔認証システムの機能的構成例を示している。図７の顔認証システムは、撮像装置７０１及び顔認証装置７０２を含む。顔認証装置７０２は、図５の顔特徴情報抽出装置５０１に対応する。
　撮像装置７０１は、例えば、ＣＣＤ（Charge－Coupled　Device）、ＣＭＯＳ（Complementary　Metal－Oxide－Semiconductor）等の撮像素子を有するカメラである。
　顔認証装置７０２は、受付部７１１、顔検出部７１２、特徴抽出部７１３－１、特徴抽出部７１３－２、登録部７１４、マスク検出部７１５、口特徴計算部７１６、表情推定部７１７、頭部姿勢計算部７１８、及び頭部姿勢推定部７１９を含む。顔認証装置７０２は、決定部７２０、認証部７２１、出力部７２２、及び記憶部７２３をさらに含む。
　顔検出部７１２、マスク検出部７１５、口特徴計算部７１６、及び決定部７２０は、図５の取得部５１１、判定部５１２、口特徴計算部５１３、及び決定部５１４にそれぞれ対応する。
　記憶部７２３は、顔検出モデル７３１－１、顔検出モデル７３１－２、特徴抽出モデル７３２－１、及び特徴抽出モデル７３２－２を記憶する。
　顔検出モデル７３１－１は、マスクを着けていない人物の画像から顔領域を検出するための学習済みモデルである。顔検出モデル７３１－２は、マスクを着けた人物の画像から顔領域を検出するための学習済みモデルである。
　顔検出モデル７３１－１は、訓練データを用いた機械学習により機械学習モデルを訓練することで、生成される。顔検出モデル７３１－１を生成する機械学習では、マスクを着けていない複数の人物の画像と、それらの画像の顔領域を示す情報とを含む、訓練データが用いられる。
　顔検出モデル７３１－２は、訓練データを用いた機械学習により顔検出モデル７３１－１を再訓練することで、生成される。顔検出モデル７３１－２を生成する機械学習では、マスクを着けた複数の人物の画像と、それらの画像の顔領域を示す情報とを含む、訓練データが用いられる。
　特徴抽出モデル７３２－１は、マスク画像を含まない顔画像から顔特徴情報を抽出するための学習済みモデルである。特徴抽出モデル７３２－２は、マスク画像を含む顔画像から顔特徴情報を抽出するための学習済みモデルである。
　顔特徴情報としては、例えば、顔画像の画像特徴を示す数値が用いられる。画像特徴を示す数値は、画素値の統計値であってもよく、ＨＯＧ（Histograms　of　Oriented　Gradients）、ＳＩＦＴ（Scaled　Invariance　Feature　Transform）、又はＳＵＲＦ（Speeded－Up　Robust　Features）であってもよい。画像特徴を示す数値は、ＢＲＩＥＦ（Binary　Robust　Independent　Elementary　Features）又は顕著性（Saliency）であってもよい。
　特徴抽出モデル７３２－１及び特徴抽出モデル７３２－２により抽出される顔特徴情報は、目の周囲の画像の特徴だけでなく、頬と顎を含む顔全体の画像の特徴を含んでいる。頬と顎の形状の特徴を顔特徴情報に含めることで、髪の毛、メガネ、サングラス等によって目の周囲が隠されている場合であっても、顔認証の性能を高めることができる。
　特徴抽出モデル７３２－１及び特徴抽出モデル７３２－２は、訓練データを用いた機械学習により機械学習モデルを訓練することで、生成される。特徴抽出モデル７３２－１を生成する機械学習では、マスク画像を含まない複数の顔画像と、それらの顔画像の顔特徴情報とを含む、訓練データが用いられる。特徴抽出モデル７３２－２を生成する機械学習では、マスク画像を含む複数の顔画像と、それらの顔画像の顔特徴情報とを含む、訓練データが用いられる。
　顔検出モデル７３１－１、顔検出モデル７３１－２、特徴抽出モデル７３２－１、及び特徴抽出モデル７３２－２としては、例えば、ニューラルネットワーク、ランダムフォレスト、又はサポートベクタマシンが用いられる。ニューラルネットワークは、アテンション機構を有する残差ネットワークであってもよい。
　顔認証装置７０２は、顔特徴情報登録処理及び顔認証処理を行う。顔特徴情報登録処理において、撮像装置７０１は、マスクを着けていない登録対象の人物の画像を撮影し、顔認証装置７０２へ出力する。
　受付部７１１は、撮像装置７０１から出力される登録対象の人物の画像を受け付ける。顔検出部７１２は、顔検出モデル７３１－１を用いて、登録対象の人物の画像から顔領域を検出し、顔領域の画像をその人物の顔画像として取得する。
　特徴抽出部７１３－１は、取得された顔画像から、特徴抽出モデル７３２－１を用いて顔特徴情報を抽出し、特徴抽出部７１３－２は、取得された顔画像から、特徴抽出モデル７３２－２を用いて顔特徴情報を抽出する。
　登録部７１４は、抽出された顔特徴情報を、登録顔特徴情報７３３として記憶部７２３に格納する。登録顔特徴情報７３３は、特徴抽出モデル７３２－１を用いて抽出された顔特徴情報と、特徴抽出モデル７３２－２を用いて抽出された顔特徴情報とを含む。登録顔特徴情報７３３には、Ｎ人（Ｎは１以上の整数）の人物（登録者）それぞれの顔特徴情報が登録される。登録顔特徴情報７３３は、テンプレートと呼ばれることもある。
　顔特徴情報登録処理において、撮像装置７０１は、さらにマスクを着けた登録対象の人物の画像を撮影し、顔認証装置７０２へ出力してもよい。この場合、顔検出部７１２は、顔検出モデル７３１－２を用いて、登録対象の人物の画像から顔領域を検出し、顔領域の画像をその人物の顔画像として取得する。
　特徴抽出部７１３－２は、マスクを着けていない人物の顔画像ではなく、マスクを着けた人物の顔画像から、特徴抽出モデル７３２－２を用いて顔特徴情報を抽出する。そして、登録部７１４は、抽出された顔特徴情報を、登録顔特徴情報７３３として記憶部７２３に格納する。
　顔認証処理において、撮像装置７０１は、認証対象の人物の画像を撮影し、顔認証装置７０２へ出力する。認証対象の人物は、マスクを着けていないこともあり、マスクを着けていることもある。
　受付部７１１は、撮像装置７０１から出力される認証対象の人物の画像を受け付ける。顔検出部７１２は、顔検出モデル７３１－１を用いて、認証対象の人物の画像に対する顔検出処理を行う。画像から顔領域が検出された場合、顔検出部７１２は、顔領域の画像をその人物の顔画像７３４として取得して、記憶部７２３に格納する。
　画像から顔領域が検出されない場合、顔検出部７１２は、顔検出モデル７３１－２を用いて、認証対象の人物の画像から顔領域を検出する。そして、顔検出部７１２は、顔領域の画像をその人物の顔画像７３４として取得して、記憶部７２３に格納する。
　マスク検出部７１５は、顔画像７３４に対するマスク検出処理を行うことで、顔画像７３４にマスク画像が含まれるか否かを判定し、判定結果を口特徴計算部７１６及び頭部姿勢計算部７１８へ出力する。
　顔画像７３４にマスク画像が含まれていないと判定された場合、口特徴計算部７１６は、顔画像７３４に含まれる口領域の画像を用いて、口特徴情報を計算する。口特徴情報としては、例えば、口領域の画像特徴を示す数値が用いられる。口特徴計算部７１６は、口領域のパターンから口特徴情報を計算してもよく、ＣＮＮ（Convolutional　Neural　Network）等のニューラルネットワークを用いて口特徴情報を計算してもよい。
　表情推定部７１７は、計算された口特徴情報を用いて人物の表情を推定し、推定結果を特徴抽出部７１３－１、特徴抽出部７１３－２、及び決定部７２０へ出力する。表情推定部７１７は、例えば、口特徴情報が口に対する条件を満たすか否かを判定し、判定結果に基づいて、人物の表情を推定する。
　口に対する条件は、少し開いた口を示す条件Ｃ１と、大きく開いた口を示す条件Ｃ２とを含んでいてもよい。条件Ｃ１は、少し開いた口の画像特徴に対応する数値の範囲を示し、条件Ｃ２は、大きく開いた口の画像特徴に対応する数値の範囲を示す。表情推定部７１７は、口特徴情報が条件Ｃ１を満たす場合、人物が笑っていると推定し、口特徴情報が条件Ｃ２を満たす場合、人物が大笑いしていると推定する。
　条件Ｃ１又は条件Ｃ２を用いることで、様々な人物の顔画像７３４の中から、笑っている人物又は大笑いしている人物の顔画像７３４を検出することができる。
　図８は、認証対象の人物の顔画像７３４の例を示している。図８（ａ）は、口を閉じた人物の顔画像７３４の例を示している。口特徴計算部７１６は、顔画像７３４に含まれる口領域の画像８０１を用いて、口特徴情報を計算する。計算された口特徴情報は条件Ｃ１又は条件Ｃ２の何れも満たさないため、表情推定部７１７は、人物が笑っていないと推定する。
　図８（ｂ）は、笑っている人物の顔画像７３４の例を示している。口特徴計算部７１６は、顔画像７３４に含まれる口領域の画像８０２を用いて、口特徴情報を計算する。計算された口特徴情報は条件Ｃ１を満たすため、表情推定部７１７は、人物が笑っていると推定する。
　図８（ｃ）は、大笑いしている人物の顔画像７３４の例を示している。口特徴計算部７１６は、顔画像７３４に含まれる口領域の画像８０３を用いて、口特徴情報を計算する。計算された口特徴情報は条件Ｃ２を満たすため、表情推定部７１７は、人物が大笑いしていると推定する。
　図８（ａ）の顔画像７３４が取得された場合、特徴抽出モデル７３２－１を用いて顔特徴情報が抽出される。
　しかし、図８（ｂ）又は図８（ｃ）の顔画像７３４では、歯を含む口内部の画像が口領域に含まれているため、特徴抽出モデル７３２－１を用いて抽出される顔特徴情報と、登録顔特徴情報７３３との間に、大きな差異が生じる。この場合、顔特徴情報の差異に起因して、顔認証の精度が低下する。
　そこで、人物が笑っているか、又は大笑いしていると推定された場合は、顔画像７３４がマスク画像を含む顔画像とみなされ、特徴抽出モデル７３２－１の代わりに、特徴抽出モデル７３２－２を用いて顔特徴情報が抽出される。これにより、抽出された顔特徴情報と登録顔特徴情報７３３との間の差異が減少し、認証対象の人物の顔特徴情報の精度が向上する。
　さらに、図８（ｃ）の顔画像７３４では、口領域の画像８０３に複雑なパターンが生じるため、特徴抽出モデル７３２－２を用いた場合であっても、顔特徴情報の精度が低下する可能性がある。
　そこで、表情推定部７１７は、人物が大笑いしていると推定された場合、画像８０３のパターンの複雑さをなくすために、仮想的なマスク画像を口領域に付加する。これにより、特徴抽出モデル７３２－２を用いて抽出された顔特徴情報の精度がさらに向上する。
　このような理由により、表情推定部７１７の推定結果に応じて、次のような方法で顔画像７３４から顔特徴情報が抽出される。
　人物が笑っていないと推定された場合、特徴抽出部７１３－１は、特徴抽出モデル７３２－１を用いて顔画像７３４から顔特徴情報を抽出し、抽出された顔特徴情報を、顔特徴情報７３５－１として記憶部７２３に格納する。
　人物が笑っていると推定された場合、特徴抽出部７１３－２は、特徴抽出モデル７３２－２を用いて顔画像７３４から顔特徴情報を抽出し、抽出された顔特徴情報を、顔特徴情報７３５－２として記憶部７２３に格納する。
　人物が大笑いしていると推定された場合、特徴抽出部７１３－２は、特徴抽出モデル７３２－２を用いて、仮想的なマスク画像が付加された顔画像７３４から顔特徴情報を抽出し、抽出された顔特徴情報を、顔特徴情報７３５－２として記憶部７２３に格納する。
　図９は、第１の表情推定処理の例を示している。顔画像９０１は、口を閉じた人物の顔画像であり、顔画像９０２は、笑っている人物の顔画像である。
　顔画像９０１が取得された場合、表情推定部７１７は、人物が笑っていないと推定し、特徴抽出部７１３－１は、特徴抽出モデル７３２－１を用いて顔画像９０１から顔特徴情報を抽出する。顔画像９０２が取得された場合、表情推定部７１７は、人物が笑っていると推定し、特徴抽出部７１３－２は、特徴抽出モデル７３２－２を用いて顔画像９０２から顔特徴情報を抽出する。
　図１０は、第２の表情推定処理の例を示している。顔画像１００１は、口を閉じた人物の顔画像であり、顔画像１００２は、大笑いしている人物の顔画像である。
　顔画像１００１が取得された場合、表情推定部７１７は、人物が笑っていないと推定し、特徴抽出部７１３－１は、特徴抽出モデル７３２－１を用いて顔画像１００１から顔特徴情報を抽出する。
　顔画像１００２が取得された場合、表情推定部７１７は、人物が大笑いしていると推定し、仮想的なマスク画像１００３を口領域に付加する。特徴抽出部７１３－２は、特徴抽出モデル７３２－２を用いて、マスク画像１００３が付加された顔画像１００２から顔特徴情報を抽出する。
　顔画像７３４にマスク画像が含まれていると判定された場合、頭部姿勢計算部７１８は、顔画像７３４を用いて頭部姿勢情報を計算する。頭部姿勢情報としては、例えば、顔画像７３４に写っている頭部のヨー角及びピッチ角が用いられる。
　頭部姿勢推定部７１９は、計算された頭部姿勢情報を用いて頭部の姿勢を推定し、推定結果を特徴抽出部７１３－１、特徴抽出部７１３－２、及び決定部７２０へ出力する。頭部姿勢推定部７１９は、例えば、頭部姿勢情報が頭部に対する条件を満たすか否かを判定し、判定結果に基づいて、頭部の姿勢を推定する。
　頭部に対する条件は、斜め下を向いた頭部を示す条件であってもよい。斜め下を向いた頭部を示す条件は、頭部が右下を向いている場合のヨー角及びピッチ角の範囲を示す条件Ｃ３と、頭部が左下を向いている場合のヨー角及びピッチ角の範囲を示す条件Ｃ４とを含んでいてもよい。頭部姿勢推定部７１９は、頭部姿勢情報が条件Ｃ３を満たす場合、人物が右下を見ていると推定し、頭部姿勢情報が条件Ｃ４を満たす場合、人物が左下を見ていると推定する。
　条件Ｃ３又は条件Ｃ４を用いることで、様々な人物の顔画像７３４の中から、右下を見ている人物又は左下を見ている人物の顔画像７３４を検出することができる。
　図１１は、斜め下を向いた頭部の例を示している。図１１（ａ）は、右下を向いた頭部のヨー角、ピッチ角、及びロール角の例を示している。この場合、頭部姿勢情報が条件Ｃ３を満たすため、頭部姿勢推定部７１９は、人物が右下を見ていると推定する。
　図１１（ｂ）は、左下を向いた頭部のヨー角、ピッチ角、及びロール角の例を示している。この場合、頭部姿勢情報が条件Ｃ４を満たすため、頭部姿勢推定部７１９は、人物が左下を見ていると推定する。
　顔画像７３４に写っている頭部が斜め下を向いていない場合、特徴抽出モデル７３２－２を用いて顔特徴情報が抽出される。
　しかし、顔画像７３４に写っている頭部が斜め下を向いている場合、頬と鼻を含む領域が露出することが多いため、特徴抽出モデル７３２－２を用いて抽出される顔特徴情報と、登録顔特徴情報７３３との間に、大きな差異が生じる。この場合、顔特徴情報の差異に起因して、顔認証の精度が低下する。
　そこで、人物が右下又は左下を見ていると推定された場合は、顔画像７３４がマスク画像を含まない顔画像とみなされ、特徴抽出モデル７３２－２の代わりに、特徴抽出モデル７３２－１を用いて顔特徴情報が抽出される。これにより、抽出された顔特徴情報と登録顔特徴情報７３３との間の差異が減少し、認証対象の人物の顔特徴情報の精度が向上する。
　このような理由により、頭部姿勢推定部７１９の推定結果に応じて、次のような方法で顔画像７３４から顔特徴情報が抽出される。
　人物が斜め下を見ていないと推定された場合、特徴抽出部７１３－２は、特徴抽出モデル７３２－２を用いて顔画像７３４から顔特徴情報を抽出し、抽出された顔特徴情報を、顔特徴情報７３５－２として記憶部７２３に格納する。
　人物が斜め下を見ていると推定された場合、特徴抽出部７１３－１は、特徴抽出モデル７３２－１を用いて顔画像７３４から顔特徴情報を抽出し、抽出された顔特徴情報を、顔特徴情報７３５－１として記憶部７２３に格納する。
　図１２は、第１の頭部姿勢推定処理の例を示している。顔画像１２０１は、正面を見ている人物の顔画像であり、顔画像１２０２は、左下を見ている人物の顔画像である。
　顔画像１２０１が取得された場合、頭部姿勢推定部７１９は、人物が斜め下を見ていないと推定し、特徴抽出部７１３－２は、特徴抽出モデル７３２－２を用いて顔画像１２０１から顔特徴情報を抽出する。顔画像１２０２が取得された場合、頭部姿勢推定部７１９は、人物が左下を見ていると推定し、特徴抽出部７１３－１は、特徴抽出モデル７３２－１を用いて顔画像１２０２から顔特徴情報を抽出する。
　図１３は、第２の頭部姿勢推定処理の例を示している。顔画像１３０１は、正面を見ている人物の顔画像であり、顔画像１３０２は、右下を見ている人物の顔画像である。
　顔画像１３０１が取得された場合、頭部姿勢推定部７１９は、人物が斜め下を見ていないと推定し、特徴抽出部７１３－２は、特徴抽出モデル７３２－２を用いて顔画像１３０１から顔特徴情報を抽出する。顔画像１３０２が取得された場合、頭部姿勢推定部７１９は、人物が右下を見ていると推定し、特徴抽出部７１３－１は、特徴抽出モデル７３２－１を用いて顔画像１３０２から顔特徴情報を抽出する。
　決定部７２０は、表情推定部７１７によって人物が笑っていないと推定された場合、顔特徴情報７３５－１を認証対象の人物の顔特徴情報に決定する。決定部７２０は、表情推定部７１７によって人物が笑っているか、又は大笑いしていると推定された場合、顔特徴情報７３５－２を認証対象の人物の顔特徴情報に決定する。
　決定部７２０は、頭部姿勢推定部７１９によって人物が右下又は左下を見ていると推定された場合、顔特徴情報７３５－１を認証対象の人物の顔特徴情報に決定する。決定部７２０は、頭部姿勢推定部７１９によって人物が斜め下を見ていないと推定された場合、顔特徴情報７３５－２を認証対象の人物の顔特徴情報に決定する。
　認証部７２１は、認証対象の人物の顔特徴情報と登録顔特徴情報７３３とを比較し、比較結果に基づいて、その人物に対する認証を行う。そして、認証部７２１は、認証結果７３６を生成して、記憶部７２３に格納する。出力部７２２は、認証結果７３６を出力する。
　認証部７２１は、例えば、認証対象の人物の顔特徴情報と、登録顔特徴情報７３３に含まれる各登録者の顔特徴情報との間の類似度を計算する。
　認証対象の人物の顔特徴情報が顔特徴情報７３５－１である場合、登録顔特徴情報７３３に含まれる登録者の顔特徴情報のうち、特徴抽出モデル７３２－１により抽出された顔特徴情報を用いて類似度が計算される。認証対象の人物の顔特徴情報が顔特徴情報７３５－２である場合、登録顔特徴情報７３３に含まれる登録者の顔特徴情報のうち、特徴抽出モデル７３２－２により抽出された顔特徴情報を用いて類似度が計算される。
　認証部７２１は、何れかの登録者の類似度が閾値よりも大きい場合、認証成功を示す認証結果７３６を生成し、何れの登録者の類似度も閾値以下である大きい場合、認証失敗を示す認証結果７３６を生成する。
　図７の顔認証システムによれば、特徴抽出モデル７３２－１及び特徴抽出モデル７３２－２のうち、取得された顔画像７３４に適した特徴抽出モデルを用いることで、認証対象の人物の顔特徴情報の精度を向上させることができる。高精度な顔特徴情報を用いて顔認証を行うことで、認証精度が向上する。
　図１４Ａ及び図１４Ｂは、図７の顔認証装置７０２が行う第１の顔認証処理の例を示すフローチャートである。まず、受付部７１１は、撮像装置７０１から出力される認証対象の人物の画像を受け付ける（ステップ１４０１）。
　次に、顔検出部７１２は、顔検出モデル７３１－１を用いて、認証対象の人物の画像に対する第１顔検出処理を行い（ステップ１４０２）、顔領域が検出されたか否かを判定する（ステップ１４０３）。顔領域が検出された場合（ステップ１４０３，ＹＥＳ）、顔検出部７１２は、顔領域の画像を顔画像７３４として取得する（ステップ１４０４）。
　顔領域が検出されない場合（ステップ１４０３，ＮＯ）、顔検出部７１２は、顔検出モデル７３１－２を用いて、認証対象の人物の画像に対する第２顔検出処理を行い（ステップ１４１３）、ステップ１４０３以降の処理を繰り返す。この場合、顔領域が検出されるため（ステップ１４０３，ＹＥＳ）、顔検出部７１２は、顔領域の画像を顔画像７３４として取得する（ステップ１４０４）。
　次に、マスク検出部７１５は、顔画像７３４に対するマスク検出処理を行い（ステップ１４０５）、マスク画像が検出されたか否かを判定する（ステップ１４０６）。
　マスク画像が検出されない場合（ステップ１４０６，ＮＯ）、口特徴計算部７１６は、顔画像７３４に含まれる口領域の画像を用いて、口特徴情報を計算する（ステップ１４０７）。
　次に、表情推定部７１７は、口特徴情報が条件Ｃ１を満たすか否かを判定する（ステップ１４０８）。口特徴情報が条件Ｃ１を満たさない場合（ステップ１４０８，ＮＯ）、表情推定部７１７は、口特徴情報が条件Ｃ２を満たすか否かを判定する（ステップ１４０９）。
　口特徴情報が条件Ｃ２を満たさない場合（ステップ１４０９，ＮＯ）、表情推定部７１７は、人物が笑っていないと推定し、顔認証装置７０２は、第１特徴抽出処理を行う（ステップ１４１０）。第１特徴抽出処理において、特徴抽出部７１３－１は、特徴抽出モデル７３２－１を用いて顔画像７３４から顔特徴情報７３５－１を抽出し、決定部７２０は、顔特徴情報７３５－１を認証対象の人物の顔特徴情報に決定する。
　口特徴情報が条件Ｃ１を満たす場合（ステップ１４０８，ＹＥＳ）、表情推定部７１７は、人物が笑っていると推定し、顔認証装置７０２は、第２特徴抽出処理を行う（ステップ１４１５）。第２特徴抽出処理において、特徴抽出部７１３－２は、特徴抽出モデル７３２－２を用いて顔画像７３４から顔特徴情報７３５－２を抽出し、決定部７２０は、顔特徴情報７３５－２を認証対象の人物の顔特徴情報に決定する。
　口特徴情報が条件Ｃ２を満たす場合（ステップ１４０９，ＹＥＳ）、表情推定部７１７は、人物が大笑いしていると推定し、仮想的なマスク画像を口領域に付加する（ステップ１４１４）。そして、顔認証装置７０２は、第２特徴抽出処理を行う（ステップ１４１５）。
　次に、認証部７２１は、認証対象の人物の顔特徴情報を用いて認証を行い、認証結果７３６を生成する（ステップ１４１１）。そして、出力部７２２は、認証結果７３６を出力する（ステップ１４１２）。
　マスク画像が検出された場合（ステップ１４０６，ＹＥＳ）、頭部姿勢計算部７１８は、顔画像７３４を用いて頭部姿勢情報を計算する（ステップ１４１６）。
　次に、頭部姿勢推定部７１９は、頭部姿勢情報が条件Ｃ３を満たすか否かを判定する（ステップ１４１７）。頭部姿勢情報が条件Ｃ３を満たさない場合（ステップ１４１７，ＮＯ）、頭部姿勢推定部７１９は、頭部姿勢情報が条件Ｃ４を満たすか否かを判定する（ステップ１４１８）。
　頭部姿勢情報が条件Ｃ４を満たさない場合（ステップ１４１８，ＮＯ）、頭部姿勢推定部７１９は、人物が斜め下を見ていないと推定する。そして、顔認証装置７０２は、ステップ１４１５以降の処理を行う。
　頭部姿勢情報が条件Ｃ３を満たす場合（ステップ１４１７，ＹＥＳ）、又は頭部姿勢情報が条件Ｃ４を満たす場合（ステップ１４１８，ＹＥＳ）、頭部姿勢推定部７１９は、人物が斜め下を見ていると推定する。そして、顔認証装置７０２は、ステップ１４１０以降の処理を行う。
　図１５Ａ及び図１５Ｂは、図７の顔認証装置７０２が行う第２の顔認証処理の例を示すフローチャートである。ステップ１５０１～ステップ１５０４及びステップ１５０９の処理は、図１４Ａのステップ１４０１～ステップ１４０４及びステップ１４１３の処理と同様である。
　ステップ１５０４の処理が終了すると、顔認証装置７０２は、ステップ１５０５の第１特徴抽出処理と、ステップ１５０６の第２特徴抽出処理と、ステップ１５１０～ステップ１５１８の処理とを並列に行う。
　第１特徴抽出処理において、特徴抽出部７１３－１は、特徴抽出モデル７３２－１を用いて顔画像７３４から顔特徴情報７３５－１を抽出する。第２特徴抽出処理において、特徴抽出部７１３－２は、特徴抽出モデル７３２－２を用いて顔画像７３４から顔特徴情報７３５－２を抽出する。
　ステップ１５１０において、マスク検出部７１５は、顔画像７３４に対するマスク検出処理を行い、マスク画像が検出されたか否かを判定する（ステップ１５１１）。
　マスク画像が検出されない場合（ステップ１５１１，ＮＯ）、口特徴計算部７１６は、顔画像７３４に含まれる口領域の画像を用いて、口特徴情報を計算する（ステップ１５１２）。
　次に、表情推定部７１７は、口特徴情報が条件Ｃ１を満たすか否かを判定する（ステップ１５１３）。口特徴情報が条件Ｃ１を満たさない場合（ステップ１５１３，ＮＯ）、表情推定部７１７は、人物が笑っていないと推定する。
　そして、決定部７２０は、第１特徴抽出処理において抽出された顔特徴情報７３５－１を、認証対象の人物の顔特徴情報に決定し（ステップ１５１４）、顔認証装置７０２は、ステップ１５０７以降の処理を行う。ステップ１５０７及びステップ１５０８の処理は、図１４Ａのステップ１４１１及びステップ１４１２の処理と同様である。
　口特徴情報が条件Ｃ１を満たす場合（ステップ１５１３，ＹＥＳ）、表情推定部７１７は、人物が笑っていると推定する。そして、決定部７２０は、第２特徴抽出処理において抽出された顔特徴情報７３５－２を、認証対象の人物の顔特徴情報に決定し（ステップ１５１８）、顔認証装置７０２は、ステップ１５０７以降の処理を行う。
　マスク画像が検出された場合（ステップ１５１１，ＹＥＳ）、頭部姿勢計算部７１８は、顔画像７３４を用いて頭部姿勢情報を計算する（ステップ１５１５）。
　次に、頭部姿勢推定部７１９は、頭部姿勢情報が条件Ｃ３を満たすか否かを判定する（ステップ１５１６）。頭部姿勢情報が条件Ｃ３を満たさない場合（ステップ１５１６，ＮＯ）、頭部姿勢推定部７１９は、頭部姿勢情報が条件Ｃ４を満たすか否かを判定する（ステップ１５１７）。
　頭部姿勢情報が条件Ｃ４を満たさない場合（ステップ１５１７，ＮＯ）、頭部姿勢推定部７１９は、人物が斜め下を見ていないと推定する。そして、顔認証装置７０２は、ステップ１５１８以降の処理を行う。
　頭部姿勢情報が条件Ｃ３を満たす場合（ステップ１５１６，ＹＥＳ）、又は頭部姿勢情報が条件Ｃ４を満たす場合（ステップ１５１７，ＹＥＳ）、頭部姿勢推定部７１９は、人物が斜め下を見ていると推定する。そして、顔認証装置７０２は、ステップ１５１４以降の処理を行う。
　図１５Ａ及び図１５Ｂの顔認証処理によれば、ステップ１５０５の第１特徴抽出処理と、ステップ１５０６の第２特徴抽出処理と、ステップ１５１０～ステップ１５１８の処理とを並列に行うことで、処理時間が短縮される。
　図７の顔認証システムは、情報処理装置、電子商取引、又は電子政府におけるアクセス制御、精算システム、金融システム、又は入退室システムにおける個人認証等の様々な分野で利用することができる。情報処理装置におけるアクセス制御は、ＰＣ（Personal　Computer）におけるログイン制御を含み、電子政府におけるアクセス制御は、運転免許証に基づく本人確認を含む。
　図１６は、ＰＣにおけるログイン制御の例を示している。この例では、ＰＣ１６０２の利用者の顔画像１６０１が取得され、顔画像１６０１を用いて利用者に対する認証が行われる。そして、認証が成功した場合、利用者のログインが許可される。
　図１７は、運転免許証に基づく本人確認の例を示している。この例では、運転免許証１７０２に含まれる運転者の顔画像の顔特徴情報が、登録顔特徴情報として利用される。本人確認を行う際、運転者の顔画像１７０１が取得され、顔画像１７０１を用いて運転者に対する認証が行われる。そして、認証が成功した場合、運転者が本人であることが確認される。
　図７の顔認証システムにおける顔特徴情報抽出処理は、監視カメラの画像を分析する際の顔認識にも適用することができる。
　図１８は、監視カメラの画像の分析の例を示している。この例では、監視カメラの画像に写っている各人物の顔画像１８０１が取得され、顔画像１８０１から抽出された顔特徴情報を用いて、顔認識が行われる。そして、認識結果に基づいて、多数の人物の中から探索対象の人物が特定される。
　図５の顔特徴情報抽出装置５０１の構成は一例に過ぎず、顔特徴情報抽出装置５０１の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。
　図７の顔認証システムの構成は一例に過ぎず、顔認証システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、頭部姿勢推定処理を行わない場合は、頭部姿勢計算部７１８及び頭部姿勢推定部７１９を省略することができる。
　図６及び図１４Ａ～図１５Ｂのフローチャートは一例に過ぎず、顔特徴情報抽出装置５０１又は顔認証システムの構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、頭部姿勢推定処理を行わない場合は、図１４Ｂのステップ１４１６～ステップ１４１８の処理と図１５Ｂのステップ１５１５～ステップ１５１７の処理を省略することができる。
　図１～図４、図８～図１０、図１２、及び図１３に示した人物の顔画像は一例に過ぎず、顔画像は、撮影される人物と人物が着けているマスク、メガネ、サングラス等に応じて変化する。図１１に示した頭部のヨー角、ピッチ角、及びロール角は一例に過ぎず、これらの角度は、頭部の姿勢に応じて変化する。
　図１６～図１８に示した利用方法は一例に過ぎず、実施形態の顔特徴情報抽出処理は、他の分野における顔認証又は顔認識にも適用することができる。
　図１９は、図５の顔特徴情報抽出装置５０１及び図７の顔認証装置７０２として用いられる情報処理装置のハードウェア構成例を示している。図１９の情報処理装置は、ＣＰＵ（Central　Processing　Unit）１９０１、メモリ１９０２、入力装置１９０３、出力装置１９０４、補助記憶装置１９０５、媒体駆動装置１９０６、及びネットワーク接続装置１９０７を含む。これらの構成要素はハードウェアであり、バス１９０８により互いに接続されている。図７の撮像装置７０１は、バス１９０８に接続されていてもよい。
　メモリ１９０２は、例えば、ＲＯＭ（Read　Only　Memory）、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを記憶する。メモリ１９０２は、図７の記憶部７２３として動作してもよい。
　ＣＰＵ１９０１（プロセッサ）は、例えば、メモリ１９０２を利用してプログラムを実行することにより、図５の取得部５１１、判定部５１２、口特徴計算部５１３、及び決定部５１４として動作する。
　ＣＰＵ１９０１は、メモリ１９０２を利用してプログラムを実行することにより、図７の受付部７１１、顔検出部７１２、特徴抽出部７１３－１、特徴抽出部７１３－２、登録部７１４、及びマスク検出部７１５としても動作する。ＣＰＵ１９０１は、口特徴計算部７１６、表情推定部７１７、頭部姿勢計算部７１８、頭部姿勢推定部７１９、決定部７２０、及び認証部７２１としても動作する。
　入力装置１９０３は、例えば、キーボード、ポインティングデバイス等であり、ユーザ又はオペレータからの指示又は情報の入力に用いられる。出力装置１９０４は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザ又はオペレータへの問い合わせ又は処理結果の出力に用いられる。処理結果は、顔特徴情報７３５－１、顔特徴情報７３５－２、又は認証結果７３６であってもよい。出力装置１９０４は、図７の出力部７２２として動作してもよい。
　補助記憶装置１９０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１９０５は、ハードディスクドライブ又はＳＳＤ（Solid　State　Drive）であってもよい。情報処理装置は、補助記憶装置１９０５にプログラム及びデータを格納しておき、それらをメモリ１９０２にロードして使用することができる。補助記憶装置１９０５は、図７の記憶部７２３として動作してもよい。
　媒体駆動装置１９０６は、可搬型記録媒体１９０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１９０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１９０９は、ＣＤ－ＲＯＭ（Compact　Disk　Read　Only　Memory）、ＤＶＤ（Digital　Versatile　Disk）、ＵＳＢ（Universal　Serial　Bus）メモリ等であってもよい。ユーザ又はオペレータは、可搬型記録媒体１９０９にプログラム及びデータを格納しておき、それらをメモリ１９０２にロードして使用することができる。
　このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１９０２、補助記憶装置１９０５、又は可搬型記録媒体１９０９のような、物理的な（非一時的な）記録媒体である。
　ネットワーク接続装置１９０７は、ＷＡＮ（Wide　Area　Network）、ＬＡＮ（Local　Area　Network）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１９０７を介して受信し、それらをメモリ１９０２にロードして使用することができる。ネットワーク接続装置１９０７は、図７の出力部７２２として動作してもよい。
　なお、情報処理装置が図１９のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略又は変更することも可能である。例えば、ユーザ又はオペレータとのインタフェースが不要である場合は、入力装置１９０３及び出力装置１９０４を省略してもよい。情報処理装置が可搬型記録媒体１９０９又は通信ネットワークを利用しない場合は、媒体駆動装置１９０６又はネットワーク接続装置１９０７を省略してもよい。
　開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

Claims (15)

  1. 　人物の顔画像を取得し、
    　前記人物の顔画像にマスク画像が含まれるか否かを判定し、
    　前記人物の顔画像を用いて口特徴情報を計算し、
    　前記人物の顔画像に前記マスク画像が含まれていないと判定され、かつ、前記口特徴情報が口に対する条件を満たす場合、マスク画像を含む顔画像を用いた機械学習により生成された特徴抽出モデルを用いて前記人物の顔画像から抽出された顔特徴情報を、前記人物の顔特徴情報に決定する、
    　処理をコンピュータが実行することを特徴とする顔特徴情報抽出方法。
  2. 　前記口に対する条件は、開いた口を示すことを特徴とする請求項１記載の顔特徴情報抽出方法。
  3. 　前記人物の顔画像を用いて頭部姿勢情報を計算し、
    　前記人物の顔画像に前記マスク画像が含まれていると判定され、かつ、前記頭部姿勢情報が頭部に対する条件を満たす場合、マスク画像を含まない顔画像を用いた機械学習により生成された特徴抽出モデルを用いて前記人物の顔画像から抽出された顔特徴情報を、前記人物の顔特徴情報に決定する、
    　処理を前記コンピュータがさらに実行することを特徴とする請求項１記載の顔特徴情報抽出方法。
  4. 　前記頭部に対する条件は、斜め下を向いた頭部を示すことを特徴とする請求項３記載の顔特徴情報抽出方法。
  5. 　前記人物の顔特徴情報と登録顔特徴情報とを比較した結果に基づいて、前記人物に対する認証を行う処理を、前記コンピュータがさらに実行することを特徴とする請求項１乃至４の何れか１項に記載の顔特徴情報抽出方法。
  6. 　人物の顔画像を取得する取得部と、
    　前記人物の顔画像にマスク画像が含まれるか否かを判定する判定部と、
    　前記人物の顔画像を用いて口特徴情報を計算する口特徴計算部と、
    　前記人物の顔画像に前記マスク画像が含まれていないと判定され、かつ、前記口特徴情報が所定の条件を満たす場合、マスク画像を含む顔画像を用いた機械学習により生成された特徴抽出モデルを用いて前記人物の顔画像から抽出された顔特徴情報を、前記人物の顔特徴情報に決定する決定部と、
    　を備えることを特徴とする顔特徴情報抽出装置。
  7. 　前記口に対する条件は、開いた口を示すことを特徴とする請求項６記載の顔特徴情報抽出装置。
  8. 　前記人物の顔画像を用いて頭部姿勢情報を計算する頭部姿勢計算部をさらに備え、
    　前記決定部は、前記人物の顔画像に前記マスク画像が含まれていると判定され、かつ、前記頭部姿勢情報が頭部に対する条件を満たす場合、マスク画像を含まない顔画像を用いた機械学習により生成された特徴抽出モデルを用いて前記人物の顔画像から抽出された顔特徴情報を、前記人物の顔特徴情報に決定することを特徴とする請求項６記載の顔特徴情報抽出装置。
  9. 　前記頭部に対する条件は、斜め下を向いた頭部を示すことを特徴とする請求項８記載の顔特徴情報抽出装置。
  10. 　前記人物の顔特徴情報と登録顔特徴情報とを比較した結果に基づいて、前記人物に対する認証を行う認証部をさらに備えることを特徴とする請求項６乃至９の何れか１項に記載の顔特徴情報抽出装置。
  11. 　人物の顔画像を取得し、
    　前記人物の顔画像にマスク画像が含まれるか否かを判定し、
    　前記人物の顔画像を用いて口特徴情報を計算し、
    　前記人物の顔画像に前記マスク画像が含まれていないと判定され、かつ、前記口特徴情報が口に対する条件を満たす場合、マスク画像を含む顔画像を用いた機械学習により生成された特徴抽出モデルを用いて前記人物の顔画像から抽出された顔特徴情報を、前記人物の顔特徴情報に決定する、
    　処理をコンピュータに実行させるための顔特徴情報抽出プログラム。
  12. 　前記口に対する条件は、開いた口を示すことを特徴とする請求項１１記載の顔特徴情報抽出プログラム。
  13. 　前記人物の顔画像を用いて頭部姿勢情報を計算し、
    　前記人物の顔画像に前記マスク画像が含まれていると判定され、かつ、前記頭部姿勢情報が頭部に対する条件を満たす場合、マスク画像を含まない顔画像を用いた機械学習により生成された特徴抽出モデルを用いて前記人物の顔画像から抽出された顔特徴情報を、前記人物の顔特徴情報に決定する、
    　処理を前記コンピュータにさらに実行させることを特徴とする請求項１１記載の顔特徴情報抽出プログラム。
  14. 　前記頭部に対する条件は、斜め下を向いた頭部を示すことを特徴とする請求項１３記載の顔特徴情報抽出プログラム。
  15. 　前記人物の顔特徴情報と登録顔特徴情報とを比較した結果に基づいて、前記人物に対する認証を行う処理を、前記コンピュータにさらに実行させることを特徴とする請求項１１乃至１４の何れか１項に記載の顔特徴情報抽出プログラム。
PCT/JP2022/023410 2022-06-10 2022-06-10 顔特徴情報抽出方法、顔特徴情報抽出装置、及び顔特徴情報抽出プログラム WO2023238365A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/023410 WO2023238365A1 (ja) 2022-06-10 2022-06-10 顔特徴情報抽出方法、顔特徴情報抽出装置、及び顔特徴情報抽出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/023410 WO2023238365A1 (ja) 2022-06-10 2022-06-10 顔特徴情報抽出方法、顔特徴情報抽出装置、及び顔特徴情報抽出プログラム

Publications (1)

Publication Number Publication Date
WO2023238365A1 true WO2023238365A1 (ja) 2023-12-14

Family

ID=89117840

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/023410 WO2023238365A1 (ja) 2022-06-10 2022-06-10 顔特徴情報抽出方法、顔特徴情報抽出装置、及び顔特徴情報抽出プログラム

Country Status (1)

Country Link
WO (1) WO2023238365A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007280250A (ja) * 2006-04-11 2007-10-25 Matsushita Electric Ind Co Ltd 顔認証システム
JP2017117024A (ja) * 2015-12-22 2017-06-29 キヤノン株式会社 画像認識装置、画像認識方法、及び撮像装置
JP2018147240A (ja) * 2017-03-06 2018-09-20 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2018160237A (ja) * 2017-03-23 2018-10-11 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認証方法及び装置
JP2018165980A (ja) * 2017-03-28 2018-10-25 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認証方法及び装置
JP2018165983A (ja) * 2017-03-28 2018-10-25 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認証方法及び装置
JP2019102081A (ja) * 2017-12-05 2019-06-24 富士通株式会社 データ処理装置及びデータ処理方法
WO2020121425A1 (ja) * 2018-12-12 2020-06-18 三菱電機株式会社 状態判定装置、状態判定方法、及び状態判定プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007280250A (ja) * 2006-04-11 2007-10-25 Matsushita Electric Ind Co Ltd 顔認証システム
JP2017117024A (ja) * 2015-12-22 2017-06-29 キヤノン株式会社 画像認識装置、画像認識方法、及び撮像装置
JP2018147240A (ja) * 2017-03-06 2018-09-20 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2018160237A (ja) * 2017-03-23 2018-10-11 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認証方法及び装置
JP2018165980A (ja) * 2017-03-28 2018-10-25 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認証方法及び装置
JP2018165983A (ja) * 2017-03-28 2018-10-25 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認証方法及び装置
JP2019102081A (ja) * 2017-12-05 2019-06-24 富士通株式会社 データ処理装置及びデータ処理方法
WO2020121425A1 (ja) * 2018-12-12 2020-06-18 三菱電機株式会社 状態判定装置、状態判定方法、及び状態判定プログラム

Similar Documents

Publication Publication Date Title
JP7046625B2 (ja) 顔認証方法及び装置
Hsieh et al. Effective semantic features for facial expressions recognition using SVM
Pamplona Segundo et al. Continuous 3D face authentication using RGB-D cameras
JP5910631B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2019003973A1 (ja) 顔認証装置、顔認証方法およびプログラム記録媒体
US10360441B2 (en) Image processing method and apparatus
KR20160033553A (ko) 3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템
JP2016151831A (ja) 生体情報登録装置、生体情報登録方法、及び生体情報登録プログラム
US20230252820A1 (en) Authentication method, information processing device, and non-transitory computer-readable recording medium storing authentication program
Ibrahim et al. Geometrical-based lip-reading using template probabilistic multi-dimension dynamic time warping
KR102063745B1 (ko) 측면 프로파일링 기반 신원확인 장치 및 방법
Matin et al. Recognition of an individual using the unique features of human face
KR20200119425A (ko) 도메인 적응 기반 객체 인식 장치 및 그 방법
Yin et al. Fusion of face recognition and facial expression detection for authentication: a proposed model
WO2023238365A1 (ja) 顔特徴情報抽出方法、顔特徴情報抽出装置、及び顔特徴情報抽出プログラム
KR101037759B1 (ko) 활성형상모델과 가버 특징 벡터를 이용한 얼굴 인식 방법
JP2004118731A (ja) 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム
Raghavendra et al. AuthNet: A deep learning based authentication mechanism using temporal facial feature movements
Garud et al. Fingerprint and Palmprint Recognition using neighborhood operation and FAST features
Patil et al. Face spoof detection techniques: IDA and PCA
Kundu et al. A modified RBFN based on heuristic based clustering for location invariant fingerprint recognition and localization with and without occlusion
US11380132B2 (en) Face image processing apparatus and face image processing method
KR102249663B1 (ko) 귀 인식 기반 신원확인 방법 및 시스템
EP4102383A1 (en) Authentication method, information processing device, and authentication program
WO2023109551A1 (zh) 一种活体检测方法、装置和计算机设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22945865

Country of ref document: EP

Kind code of ref document: A1