WO2021250845A1 - 認証方法、情報処理装置、及び認証プログラム - Google Patents

認証方法、情報処理装置、及び認証プログラム Download PDF

Info

Publication number
WO2021250845A1
WO2021250845A1 PCT/JP2020/023005 JP2020023005W WO2021250845A1 WO 2021250845 A1 WO2021250845 A1 WO 2021250845A1 JP 2020023005 W JP2020023005 W JP 2020023005W WO 2021250845 A1 WO2021250845 A1 WO 2021250845A1
Authority
WO
WIPO (PCT)
Prior art keywords
persons
biometric information
authentication
person
sensor
Prior art date
Application number
PCT/JP2020/023005
Other languages
English (en)
French (fr)
Inventor
壮一 ▲浜▼
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to CN202080101104.5A priority Critical patent/CN115668186A/zh
Priority to EP20939653.0A priority patent/EP4167112A4/en
Priority to JP2022530453A priority patent/JPWO2021250845A1/ja
Priority to PCT/JP2020/023005 priority patent/WO2021250845A1/ja
Publication of WO2021250845A1 publication Critical patent/WO2021250845A1/ja
Priority to US17/981,518 priority patent/US20230059121A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G06V40/145—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2117—User registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Definitions

  • the present invention relates to authentication technology.
  • Biometric authentication is a technology that uses biometric features such as fingerprints, palm prints, veins, and faces to verify identity.
  • biometric authentication the biometric features acquired from the person to be authenticated are compared (verified) with the biometric features registered in advance in the registration template, and based on the comparison result indicating whether or not the biometric features match. Authentication is performed for the person to be authenticated.
  • the biological features registered in the registration template are sometimes called registration data.
  • Biometric authentication is used in various fields such as bank ATMs (Automated Teller Machines) and room entry / exit management, and in recent years, it has begun to be used for cashless payments in stores such as supermarkets and convenience stores.
  • bank ATMs Automatic Teller Machines
  • room entry / exit management and in recent years, it has begun to be used for cashless payments in stores such as supermarkets and convenience stores.
  • 1: 1 authentication and 1: N authentication are known as authentication methods for biometric authentication.
  • 1: 1 authentication is an authentication method that compares the biological characteristics of the person to be authenticated with the registered data specified by an ID, card, etc. such as a PIN (Personal Identification Number) code.
  • N authentication is an authentication method that searches a plurality of registered data for registered data that matches the biological characteristics of the person to be authenticated. In stores and the like, 1: N certification is often adopted from the viewpoint of convenience.
  • the registered data is narrowed down by a simple PIN code or the like, the set of registered data to be searched is made sufficiently small, and then 1: N authentication is performed. How small the set of registered data should be to a practical level depends on the type of biological characteristics. However, even if it is a simple PIN code, forcing the authentication target person to input the PIN code impairs convenience.
  • an authentication method has been proposed in which a set of registered data is narrowed down by one biological feature and an authentication target person is authenticated by another biological feature by using a plurality of types of biological features. Since convenience is impaired if multiple types of biological features are acquired individually, an authentication method that acquires the palm vein at the same time as a fingerprint, an authentication method that captures a facial image when the palm vein is acquired, and the like have been proposed (for example).
  • Patent Document 1 and Non-Patent Document 1 Non-Patent Document 1.
  • Non-Patent Document 2 A technique for estimating the two-dimensional postures of a plurality of people in an image is also known (see, for example, Non-Patent Document 2).
  • Non-Patent Document 1 when the biometric authentication technique described in Non-Patent Document 1 is used to narrow down a set of registered data with a face image and authenticate a person to be authenticated with a palm vein, the load of the authentication process may increase.
  • the present invention aims to reduce the load of authentication processing in biometric authentication using a face image and biometric information other than the face image.
  • the computer receives the authentication target biometric information detected by the first sensor.
  • the computer identifies any person included in the one or more persons based on the movement of each of the one or more persons.
  • the computer selects the registered biometric information associated with the registered facial image information similar to the facial image information of any of the specified persons from the registered biometric information associated with each of the plurality of registered facial image information. do.
  • the computer authenticates the authentication target biometric information based on the comparison result of comparing the authentication target biometric information with the selected registered biometric information.
  • the load of the authentication process can be reduced.
  • a biometric authentication system that narrows down a set of registered data with a face image and authenticates a person to be authenticated with a palm vein will be examined.
  • this biometric authentication system for example, by performing face authentication, a list of N candidates (N is an integer of 1 or more) for the authentication target person is generated. Then, by performing 1: N authentication using the registration data of the palm vein of each candidate included in the generated list, the authentication process for the authentication target person is performed.
  • multiple faces may be photographed at the same time depending on the installation status of the camera that captures the face image or the usage status of the user who is the authentication target. For example, when the face images of three people are acquired, the list for three people is generated, so that the target person of the palm vein authentication is 3N people, and the processing time of the palm vein authentication is acquired by one person's face image. It will be 3 times as much as if it was done. Further, when the initially set N is the upper limit of 1: N authentication using the palm vein, the risk of accepting another person who erroneously authenticates another person as the person increases.
  • a method of selecting a user's face image based on the size or position of each face image from a plurality of face images included in the captured image can be considered.
  • a person with a larger face image is closer to the camera and is more likely to be a user. Further, the closer the position of the face image is to a specific position such as the center of the captured image, the higher the possibility of being a user.
  • the face image of the user and the face image of the companion in the captured image may be almost the same size. Further, when the user tries to stand in front of the terminal device side by side with the companion, the position of the user's face image may be deviated from the center. Therefore, when selecting a user's face image based on the size or position of each face image, it is difficult to set an appropriate selection criterion.
  • FIG. 1 shows an example of a functional configuration of an information processing device (computer) of an embodiment.
  • the information processing device 101 of FIG. 1 includes a reception unit 111, a specific unit 112, a selection unit 113, and an authentication unit 114.
  • FIG. 2 is a flowchart showing an example of biometric authentication processing performed by the information processing apparatus 101 of FIG.
  • the reception unit 111 receives the authentication target biometric information detected by the first sensor (step 201).
  • the identification unit 112 identifies any person included in one or more persons based on the movement of each of the one or more persons. (Step 202).
  • the selection unit 113 is associated with the registered face image information similar to the face image information of any of the specified persons from the registered biometric information associated with each of the plurality of registered face image information. Select the registered biometric information (step 203). Then, the authentication unit 114 authenticates the authentication target biometric information based on the comparison result of comparing the authentication target biometric information with the selected registered biometric information (step 204).
  • the load of the authentication process can be reduced in the biometric authentication using the face image and the biometric information other than the face image.
  • FIG. 3 shows a specific example of the information processing apparatus 101 of FIG.
  • the information processing device 301 of FIG. 3 includes a storage unit 311, a biometric information acquisition unit 312, a video acquisition unit 313, a person detection unit 314, a stillness determination unit 315, a face selection unit 316, a face authentication unit 317, and a biometric information selection unit 318. It includes a biometric authentication unit 319 and an output unit 320.
  • the information processing device 301 may be, for example, a server included in a financial processing system of a financial institution, an entry / exit management system, or a payment system of a retail store.
  • the biometric information acquisition unit 312, the biometric information selection unit 318, and the biometric authentication unit 319 correspond to the reception unit 111, the selection unit 113, and the authentication unit 114 in FIG. 1, respectively.
  • the stationary determination unit 315 and the face selection unit 316 correspond to the specific unit 112 in FIG.
  • the biological sensor 302 is an example of the first sensor, and the image pickup apparatus 303 is an example of the second sensor.
  • the biological sensor 302 is, for example, a vein sensor, a fingerprint sensor, an image sensor (camera), or the like, and photographs a living body such as a palm or a finger to acquire a biological image such as a vein image, a fingerprint image, or a palm print image.
  • the biosensor 302 is a vein sensor
  • the biosensor 302 irradiates the palm with near infrared rays or the like to photograph blood vessels or the like inside the hand.
  • the biosensor 302 outputs the acquired bioimage information to the information processing device 101 as authentication target biometric information 333.
  • the authentication target biological information 333 may be a biological image or a pattern generated from the biological image.
  • the patterns generated from the biological image are a vein pattern, a fingerprint pattern, a palm print pattern, and the like.
  • the image pickup device 303 is a camera having an image pickup element such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal-Oxide-Semiconductor), and captures an image 334 of a person to be certified.
  • the image 334 taken by the image pickup apparatus 303 includes a plurality of time-series images. The image at each time is an example of a photographed image. The image at each time is sometimes called a frame.
  • the image pickup apparatus 303 outputs the captured image 334 to the information processing apparatus 301.
  • the biometric information acquisition unit 312 receives the authentication target biometric information 333 by acquiring the authentication target biometric information 333 from the biometric sensor 302. Then, the biometric information acquisition unit 312 stores the authentication target biometric information 333 in the storage unit 311 together with the time information indicating the reception time of the authentication target biometric information 333.
  • the image acquisition unit 313 acquires the image 334 from the image pickup device 303, receives the image 334, and stores the image 334 in the storage unit 311.
  • the storage unit 311 stores the registered biometric information 331 and the registered facial image information 332 of each of the plurality of registrants.
  • the registered biometric information 331 of each person includes the user ID and biometric information of the person.
  • the biometric information may be a biometric image or a pattern generated from the biometric image.
  • the registered face image information 332 of each person includes the user ID and face image information of the person.
  • the face image information may be a face image or a feature amount indicating the features of the face image.
  • As the feature amount of the face image for example, HOG (Histograms of Oriented Gradients) feature amount, SIFT (Scaled Invariance Feature Transform) feature amount, SURF (Speeded-Up Robust Features) feature amount and the like can be used.
  • the feature amount of the face image may be a BRIEF (Binary Robust Independent Elementary Features) feature amount or a saliency.
  • the biometric information included in the registered biometric information 331 of each person and the facial image information included in the registered facial image information 332 of each person are associated with each other via the user ID.
  • a plurality of persons including the authentication target person may appear in the image 334 at the same time.
  • the authentication target person inputs a biometric image to the biometric sensor 302
  • the authentication target person performs an operation of holding his / her hand over the biometric sensor 302.
  • the standing position or the position of the head is significantly changed, the movement of holding the hand is hindered, so that the body parts other than the hand of the person to be authenticated are often in a substantially stationary state.
  • FIG. 4 shows an example of a photographed image in which a plurality of people are shown.
  • the captured image of FIG. 4 includes a face image 401 to a face image 403.
  • the face image 403 corresponds to the face image of the authentication target person
  • the face image 401 and the face image 402 correspond to the face image of a person other than the authentication target person.
  • the person to be authenticated stands still in front of the biosensor 302 in order to hold the hand 411 over the biosensor 302, and the face image 403 in the image 334 also stands still.
  • the face image 401 and the face image 402 in the image 334 also continue to move.
  • the set of registered biometric information 331 to be compared with the authentication target biometric information 333 can be narrowed down from the registered biometric information 331 of a large number of registrants.
  • the total number of registrants is about 1 million, and the number of registrants after narrowing down is about 10,000.
  • the image pickup device 303 starts shooting the image 334 when the biosensor 302 is in the input waiting state.
  • the image pickup apparatus 303 may detect an approaching person by using a proximity sensor (not shown) or the like, and may start shooting when the person is detected. Further, the image pickup apparatus 303 may always stand by in the shooting state.
  • the person detection unit 314 detects a person from each image included in the video 334, and assigns a person ID to the detected person. Then, the person detection unit 314 stores the position information 335 indicating the position of each person in the image in the storage unit 311 in association with the person ID.
  • the position indicated by the position information 335 may be the position of a specific body part such as the head, face, or neck of the person shown in the image.
  • the person detection unit 314 can specify the position of a specific body part by detecting the skeleton information of the body from the image by using, for example, the deep learning described in Non-Patent Document 2.
  • the specific body part is the head or face
  • the coordinates of the bounding box of the head or face may be used as the position information 335.
  • the person detection unit 314 further detects a face image showing the face of each person from each image included in the video 334, and assigns the person ID of the person to the detected face image.
  • a face image showing the face of each person from each image included in the video 334
  • assigns the person ID of the person to the detected face image In the example of FIG. 4, "A”, "B”, and “C” are assigned as the person IDs of the face image 401, the face image 402, and the face image 403, respectively.
  • the person detection unit 314 assigns the same person ID to the same person detected from different images by tracking an object among a plurality of images included in the video 334. As a result, the same person is associated with each other among the plurality of images.
  • the person detection unit 314 may consider a person whose change amount of the position of a specific body part is less than a predetermined value among a plurality of images as the same person. Further, the person detection unit 314 may calculate a face correlation value between a plurality of images by using pattern matching or the like, and may consider a person whose calculated correlation value is larger than a predetermined value as the same person. ..
  • the rest determination unit 315 determines whether or not the body part of each person is stationary by using the position information 335. Then, the rest determination unit 315 identifies a person having a body part stationary at the time of detecting the authentication target biometric information 333 as an authentication target person, and outputs the person ID of the specified person to the face selection unit 316. At this time, the stationary determination unit 315 uses the reception time indicated by the time information of the authentication target biological information 333 as the time when the authentication target biological information 333 is detected.
  • FIG. 5 shows an example of the first static determination for the three persons shown in FIG.
  • the horizontal axis represents the time t
  • the vertical axis represents the position coordinates x of the body parts of each person in the captured image.
  • the position coordinates x may be the horizontal coordinates of the captured image or the vertical coordinates of the captured image.
  • Curves 501 to 503 represent position information 335 of person ID "A” to person ID “C”, respectively.
  • the curve 501 represents a time change of the position coordinate x of the person having the person ID “A”
  • the curve 502 represents the time change of the position coordinate x of the person having the person ID “B”
  • the curve 503 represents the time change of the position coordinate x of the person having the person ID “B”. It represents the time change of the position coordinate x of the person having "C”.
  • the person having the person ID "C" corresponds to the person to be authenticated.
  • Time t1 represents the reception time indicated by the time information of the biometric information 333 to be authenticated, and ⁇ t represents the time interval between two consecutive images. Therefore, the time t1- ⁇ t represents the shooting time of the image taken immediately before the image at the time t1. ⁇ t is obtained by the following equation using the frame rate fr of the image pickup apparatus 303.
  • the static determination unit 315 determines the amount of change ⁇ x of the position coordinates x of the person between the time t1- ⁇ t and the time t1 by the following equation. calculate.
  • ⁇ x represents the amount of change on the image, and the amount of movement in the three-dimensional space corresponding to ⁇ x changes according to the distance between the image pickup device 303 and the person. Even if the amount of movement in the three-dimensional space is the same, the ⁇ x of the person far from the image pickup device 303 is small, and the ⁇ x of the person close to the image pickup device 303 is large.
  • the rest determination unit 315 determines the threshold value TH used for the rest determination by using, for example, the landmark coordinates of the face image of each person. For example, when the position coordinates of the right eye in the face image are x (eye1) and the position coordinates of the left eye are x (eyee2), the distance w between the right eye and the left eye is given by the following equation.
  • the stationary determination unit 315 can set the threshold value TH by the following equation using the distance w.
  • K is a positive integer. k may be an integer in the range of 5 to 15.
  • the rest determination unit 315 determines that the person is stationary at time t1 when ⁇ x is smaller than TH, and determines that the person is not stationary at time t1 when ⁇ x is TH or more. In the example of FIG. 5, it is determined that the person having the person ID "C" is stationary, and the person having the person ID "A” and the person having the person ID "B" are determined not to be stationary. To.
  • the static determination shown in FIG. 5 uses only the position coordinates x at the two times of time t1- ⁇ t and time t1, there is a possibility that an erroneous determination may occur due to the influence of noise in the image. Therefore, the influence of noise can be reduced by giving a certain width to the time range of the static determination and obtaining the statistical value of the change amount of the position coordinates x in the time range.
  • the statistical value an average value, a median value, a mode value, or the like can be used.
  • the movement of the authentication target person may be stopped in order to confirm the biometric information input instruction displayed on the screen.
  • it is effective to use the output time of the biometric information input instruction as the start time of the time range.
  • FIG. 6 shows an example of a second static determination for the three persons shown in FIG.
  • the time t0 represents the output time of the biometric information input instruction.
  • the time range of the static determination is the range from the time t0 to the time t1.
  • the stationary determination unit 315 calculates the average change amount ⁇ x_ave of the position coordinates x in this time range by the following equation.
  • N1 represents the number of images in the range from time t0 to time t1 and is given by the following equation.
  • n1 (t1-t0) / ⁇ t + 1 (6)
  • the rest determination unit 315 determines that the person is stationary at time t1 when ⁇ x_ave is smaller than TH, and determines that the person is not stationary at time t1 when ⁇ x_ave is TH or more.
  • the time range for static determination can be set by using the fixed length time ⁇ instead of the time t0.
  • FIG. 7 shows an example of a third static determination for the three persons shown in FIG.
  • the time range of the static determination is the range from the time t1- ⁇ to the time t1.
  • the stationary determination unit 315 calculates the average change amount ⁇ x_ave of the position coordinates x in this time range by the following equation.
  • N2 represents the number of images in the range from time t1- ⁇ to time t1 and is given by the following equation.
  • n2 ⁇ / ⁇ t + 1 (8)
  • ⁇ may be 5 to 15 times the time of ⁇ t.
  • FIG. 8 shows an example of a fourth static determination for the three persons shown in FIG.
  • the time range of the static determination is the range from the time t1- ⁇ 1 to the time t1 + ⁇ 2.
  • the stationary determination unit 315 calculates the average change amount ⁇ x_ave of the position coordinates x in this time range by the following equation.
  • N3 represents the number of images in the range from time t1- ⁇ 1 to time t1 + ⁇ 2, and is given by the following equation.
  • n3 ( ⁇ 1 + ⁇ 2) / ⁇ t + 1 (10)
  • ⁇ 1 may be 5 to 15 times as long as ⁇ t, and ⁇ 2 may be shorter than ⁇ 1.
  • the input authentication target biological information 333 of the person is determined by determining whether or not the body part is stationary by using the position coordinates x of the body part of the person. It is possible to estimate whether or not it is biometric information. Further, by performing the rest determination using the statistical value of the amount of change in the position coordinates x in a predetermined time range, it is possible to improve the estimation accuracy of the person corresponding to the authentication target biometric information 333.
  • the biological sensor 302 When a contact type sensor such as a fingerprint sensor is used as the biological sensor 302, the movement of the person to be authenticated is stopped for a longer time than when a non-contact type sensor such as a vein sensor is used. Judgment accuracy is improved.
  • a contact type sensor such as a fingerprint sensor
  • a non-contact type sensor such as a vein sensor
  • the face selection unit 316 selects a face image 336 corresponding to the person ID output from the static determination unit 315 from a plurality of face images included in the video 334, and stores the face image 336 in the storage unit 311.
  • the face recognition unit 317 performs face recognition on the face image 336 by comparing the face image 336 with each registered face image information 332.
  • the face recognition unit 317 calculates, for example, the degree of similarity between the face image 336 and each registered face image information 332.
  • the face authentication unit 317 uses the feature amount F1 of the face image 336 and the feature amount of the face image included in the registered face image information 332. F2 is calculated, and the similarity is calculated using the feature amount F1 and the feature amount F2.
  • the face recognition unit 317 calculates the feature amount F1 of the face image 336 and uses the feature amount F1 and the feature amount F2 to determine the similarity. To calculate.
  • the biometric information selection unit 318 selects a predetermined number of registered face image information 332s in descending order of similarity calculated by the face recognition unit 317. Then, the biological information selection unit 318 generates a candidate list 337 including the user ID of the selected registered face image information 332 and stores it in the storage unit 311. The biometric information selection unit 318 selects the registered biometric information 331 corresponding to each user ID in the candidate list 337 by generating the candidate list 337. Thereby, the set of the registered biometric information 331 to be compared with the authentication target biometric information 333 can be narrowed down from the registered biometric information 331 of the plurality of persons.
  • the biometric authentication unit 319 performs biometric authentication for the authentication target biometric information 333 by comparing the authentication target biometric information 333 with the registered biometric information 331 corresponding to each user ID in the candidate list 337. Then, the biometric authentication unit 319 generates the authentication result 338 and stores it in the storage unit 311.
  • the biometric authentication unit 319 calculates, for example, the similarity between the biometric information 333 to be authenticated and each registered biometric information 331, and stores the user ID of the registered biometric information 331 having the highest similarity as the authentication result 338. Store in 311.
  • the output unit 320 outputs the authentication result 338.
  • the information processing device 301 of FIG. 3 even when a plurality of persons are shown in the video 334, it is possible to identify a person who is likely to be an authentication target person. By generating the candidate list 337 based on the face image of the specified person, the set of registered biometric information 331 is appropriately narrowed down.
  • the load of the process of detecting a person from each image, the static determination process using the position information 335 of each person, and the narrowing process of the registered biometric information 331 by the face image 336 is the biometric authentication using the biometric information 333 to be authenticated. Less than the processing load. Therefore, the load of biometric authentication on the biometric information 333 to be authenticated is reduced, and high-speed and highly accurate biometric authentication processing is realized.
  • the face image of a person other than the person to be authenticated is excluded from the processing target of face recognition, the privacy of the photographed person can be appropriately protected.
  • the movement of a person other than the authentication target person shown in the image 334 may accidentally stop in synchronization with the input of the biometric information by the authentication target person, and it may be determined that a plurality of people are stationary. obtain.
  • the static determination unit 315 may specify the person with the smallest amount of movement in the three-dimensional space as the person to be authenticated.
  • the information processing device 301 may try to identify the person to be authenticated by applying another determination criterion.
  • another determination criterion for example, the size or position of each face image in the image can be used. The larger the size of the face image, the closer to the image pickup device 303, and the higher the possibility that the person is the authentication target. Further, the closer the position of the face image is to the center of the image, the higher the possibility that the person is the authentication target.
  • the size or position of the face image alone is not sufficient as a judgment criterion, but it is effective to use it as auxiliary information for judgment.
  • the information processing apparatus 301 may generate a candidate list 337 by using each of a plurality of persons determined to be stationary as candidates for the authentication target person.
  • FIG. 9 is a flowchart showing a specific example of the biometric authentication process performed by the information processing device 301 of FIG.
  • the image pickup device 303 starts shooting the image 334 at the same time as the biometric authentication process is started, and the image acquisition unit 313 acquires the image 334 from the image pickup device 303.
  • the person detection unit 314 detects a person's face image from each image included in the video 334, and assigns a person ID to the detected face image (step 901).
  • the person detection unit 314 detects a position in the image of each person (step 902), and generates position information 335 indicating the position of each person (step 903).
  • the biometric information acquisition unit 312 instructs the authentication target person to input biometric information (step 904).
  • the biosensor 302 inputs the authentication target biometric information 333
  • the biometric information acquisition unit 312 acquires the authentication target biometric information 333 from the biosensor 302 (step 905).
  • the biometric information acquisition unit 312 acquires the time when the authentication target biometric information 333 is acquired as the reception time (step 906).
  • the rest determination unit 315 determines whether or not the body part of each person is stationary by using the position information 335, and the person who is stationary at the reception time of the authentication target biometric information 333 is the authentication target. Identify as a person (step 907). Then, the stillness determination unit 315 outputs the person ID of the specified person to the face selection unit 316, and the face selection unit 316 has the face corresponding to the person ID from the plurality of face images included in the video 334. Image 336 is selected (step 908).
  • the face recognition unit 317 performs face recognition on the face image 336, and the biometric information selection unit 318 generates a candidate list 337 based on the result of the face recognition (step 909).
  • the biometric authentication unit 319 performs biometric authentication on the authentication target biometric information 333 using the candidate list 337, and the output unit 320 outputs the authentication result 338 (step 910).
  • FIG. 10 is a flowchart showing an example of a biometric authentication process that omits the person identification process when only the authentication target person is shown.
  • the person detection unit 314 detects a person's face image from each image included in the video 334, and assigns a person ID to the detected face image (step 1001).
  • the biological information acquisition unit 312 performs the same process as in steps 904 to 906 of FIG.
  • the person detection unit 314 checks whether or not the detected face image is only the face image of one person (step 1002).
  • the information processing apparatus 301 performs the processes of steps 1004 and 1005.
  • the processing of step 1004 and step 1005 is the same as the processing of step 909 and step 910 of FIG.
  • the information processing apparatus 301 performs the person identification process (step 1003).
  • the person identification process is the same as the process of step 902, step 903, step 907, and step 908 of FIG. Then, the information processing apparatus 301 performs the processes of steps 1004 and 1005.
  • the information processing device 301 of FIG. 3 it is also possible to detect a plurality of persons including the authentication target person by using another sensor instead of the image pickup device 303.
  • another sensor for example, a motion sensor using infrared rays, ultrasonic waves, or visible light, a distance sensor, or the like can be used.
  • the person detection unit 314 detects a person from the detection result of another sensor and generates position information 335 indicating the position of each person.
  • image processing for detecting a person becomes unnecessary, so that the processing load can be reduced.
  • the configuration of the information processing device 101 of FIG. 1 and the information processing device 301 of FIG. 3 is only an example, and some components may be omitted or changed depending on the use or conditions of the information processing device.
  • the registered biometric information 331 and the registered face image information 332 may be stored in a database outside the information processing device 301.
  • the information processing apparatus 301 acquires the registered biometric information 331 and the registered facial image information 332 from an external database and stores them in the storage unit 311.
  • FIGS. 2, 9 and 10 are merely examples, and some processes may be omitted or changed depending on the configuration or conditions of the information processing device 101 or the information processing device 301.
  • the captured image shown in FIG. 4 is only an example, and the captured image changes depending on the person existing in the imaging area of the image pickup apparatus 303.
  • the time change of the position coordinate x shown in FIGS. 5 to 8 is only an example, and the position coordinate x changes according to the image 334.
  • the calculation formulas of the formulas (1) to (10) are only examples, and the information processing apparatus 301 may perform the biometric authentication process using another calculation formula.
  • FIG. 11 shows a hardware configuration example of the information processing device 101 of FIG. 1 and the information processing device 301 of FIG.
  • the information processing device of FIG. 11 includes a CPU (Central Processing Unit) 1101, a memory 1102, an input device 1103, an output device 1104, an auxiliary storage device 1105, a medium drive device 1106, and a network connection device 1107. These components are hardware and are connected to each other by bus 1108.
  • the biosensor 302 and the image pickup device 303 of FIG. 3 may be connected to the bus 1108.
  • the memory 1102 is, for example, a semiconductor memory such as a ROM (Read Only Memory), a RAM (Random Access Memory), or a flash memory, and stores a program and data used for processing.
  • the memory 1102 may operate as the storage unit 311 of FIG.
  • the CPU 1101 (processor) operates as a reception unit 111, a specific unit 112, a selection unit 113, and an authentication unit 114 in FIG. 1 by executing a program using, for example, the memory 1102.
  • the CPU 1101 includes a biometric information acquisition unit 312, a video acquisition unit 313, a person detection unit 314, a stillness determination unit 315, a face selection unit 316, a face authentication unit 317, and a biometric information selection unit 318 in FIG. It also operates as a biometric authentication unit 319.
  • the input device 1103 is, for example, a keyboard, a pointing device, or the like, and is used for inputting instructions or information from an operator or a user.
  • the output device 1104 is, for example, a display device, a printer, a speaker, or the like, and is used for making an inquiry to an operator or a user or outputting a processing result.
  • the output device 1104 may operate as the output unit 320 of FIG.
  • the processing result may be the authentication result 338.
  • the auxiliary storage device 1105 is, for example, a magnetic disk device, an optical disk device, a magneto-optical disk device, a tape device, or the like.
  • the auxiliary storage device 1105 may be a flash memory or a hard disk drive.
  • the information processing device can store programs and data in the auxiliary storage device 1105 and load them into the memory 1102 for use.
  • the auxiliary storage device 1105 may operate as the storage unit 311 of FIG.
  • the medium drive device 1106 drives the portable recording medium 1109 and accesses the recorded contents.
  • the portable recording medium 1109 is a memory device, a flexible disk, an optical disk, a magneto-optical disk, or the like.
  • the portable recording medium 1109 may be a CD-ROM (Compact Disk Read Only Memory), a DVD (Digital Versatile Disk), a USB (Universal Serial Bus) memory, or the like.
  • the operator or the user can store programs and data in the portable recording medium 1109 and load them into the memory 1102 for use.
  • the computer-readable recording medium that stores the programs and data used for processing is physical (non-temporary) recording, such as memory 1102, auxiliary storage device 1105, or portable recording medium 1109. It is a medium.
  • the network connection device 1107 is a communication interface circuit that is connected to a communication network such as LAN (Local Area Network) and WAN (Wide Area Network) and performs data conversion associated with communication.
  • the information processing device can receive programs and data from an external device via the network connection device 1107, load them into the memory 1102, and use them.
  • the network connection device 1107 may operate as the output unit 320 of FIG.
  • the network connection device 1107 may receive the authentication target biometric information 333 and the video 334 from the biosensor 302 and the image pickup device 303 of FIG. 3 via the communication network, respectively.
  • the information processing apparatus does not have to include all the components shown in FIG. 11, and some components may be omitted depending on the intended use or conditions.
  • the information processing device does not use the portable recording medium 1109 or the communication network
  • the medium driving device 1106 or the network connection device 1107 may be omitted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Security & Cryptography (AREA)
  • Vascular Medicine (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)

Abstract

コンピュータは、第１センサにより検出された認証対象生体情報を受け付ける。コンピュータは、認証対象生体情報の検出時に第２センサにより１以上の人物が検出された場合、１以上の人物それぞれの動きに基づいて、１以上の人物に含まれる何れかの人物を特定する。コンピュータは、複数の登録顔画像情報それぞれに対応付けられた登録生体情報の中から、特定された何れかの人物の顔画像情報と類似する登録顔画像情報に対応付けられた登録生体情報を選択する。コンピュータは、認証対象生体情報と選択された登録生体情報とを比較した比較結果に基づいて、認証対象生体情報に対する認証を行う。

Description

認証方法、情報処理装置、及び認証プログラム
　本発明は、認証技術に関する。
　生体認証は、指紋、掌紋、静脈、顔等の生体特徴を用いて本人確認を行う技術である。生体認証では、認証対象者から取得された生体特徴と、登録テンプレートに予め登録された生体特徴とが比較（照合）され、それらの生体特徴が一致するか否かを示す比較結果に基づいて、認証対象者に対する認証が行われる。登録テンプレートに登録された生体特徴は、登録データと呼ばれることもある。
　生体認証は、銀行のＡＴＭ（Automated　Teller　Machine）、入退室管理等の様々な分野で利用されており、特に近年では、スーパーマーケット、コンビニエンスストア等の店舗におけるキャッシュレス決済にも利用され始めている。
　生体認証の認証方式として、１：１認証と１：Ｎ認証とが知られている。１：１認証は、認証対象者の生体特徴と、ＰＩＮ（Personal　Identification　Number）コードのようなＩＤ、カード等により特定される登録データとを比較する認証方式である。１：Ｎ認証は、複数の登録データの中から、認証対象者の生体特徴と一致する登録データを検索する認証方式である。店舗等では、利便性の観点から１：Ｎ認証が採用されることが多い。
　しかし、生体特徴は取得状況等によって揺らぎを持つため、検索対象の登録データの個数が多くなると、誤認証が発生する可能性が高くなる。このため、簡易なＰＩＮコード等で登録データを絞り込み、検索対象の登録データの集合を十分小さくしてから、１：Ｎ認証を実施する、といった運用が行われている。登録データの集合をどの程度まで小さくすると実用レベルになるかは、生体特徴の種類に依存する。しかし、簡易なＰＩＮコードであっても、認証対象者にＰＩＮコードを入力させることは利便性を損なう。
　そこで、複数種類の生体特徴を利用して、１つの生体特徴で登録データの集合を絞り込み、別の生体特徴で認証対象者を認証する認証方式が提案されている。複数種類の生体特徴を個別に取得すると利便性が損なわれるため、指紋と同時に手のひら静脈を取得する認証方式、手のひら静脈を取得した時の顔画像を撮影する認証方式等が提案されている（例えば、特許文献１及び非特許文献１を参照）。
　画像内の複数の人物の２次元姿勢を推定する技術も知られている（例えば、非特許文献２を参照）。
国際公開第２０２０／０７０８２１号パンフレット
"手ぶら決済に最適な非接触の生体認証融合技術を開発"、［online］、株式会社富士通研究所プレスリリース、２０１８年１０月４日、［令和１年１２月１６日検索］、インターネット＜ＵＲＬ：https://pr.fujitsu.com/jp/news/2018/10/4.html＞ Z.　Cao　et　al.,　"Realtime Multi-Person　2D　Pose　Estimation　using　Part　Affinity　Fields", 2017　IEEE　Conference　on　Computer　Vision　and　Pattern　Recognition　(CVPR),　pages　7291-7299,　2017.
　例えば、非特許文献１に記載された生体認証技術を用いて、顔画像で登録データの集合を絞り込み、手のひら静脈で認証対象者を認証する場合、認証処理の負荷が増加することがある。
　なお、かかる問題は、手のひら静脈を用いて認証対象者を認証する場合に限らず、別の生体特徴を用いて認証対象者を認証する場合においても生ずるものである。
　１つの側面において、本発明は、顔画像と顔画像以外の生体情報とを用いた生体認証において、認証処理の負荷を軽減することを目的とする。
　１つの案では、コンピュータは、第１センサにより検出された認証対象生体情報を受け付ける。コンピュータは、認証対象生体情報の検出時に第２センサにより１以上の人物が検出された場合、１以上の人物それぞれの動きに基づいて、１以上の人物に含まれる何れかの人物を特定する。
　コンピュータは、複数の登録顔画像情報それぞれに対応付けられた登録生体情報の中から、特定された何れかの人物の顔画像情報と類似する登録顔画像情報に対応付けられた登録生体情報を選択する。コンピュータは、認証対象生体情報と選択された登録生体情報とを比較した比較結果に基づいて、認証対象生体情報に対する認証を行う。
　１つの側面によれば、顔画像と顔画像以外の生体情報とを用いた生体認証において、認証処理の負荷を軽減することができる。
情報処理装置の機能的構成図である。 生体認証処理のフローチャートである。 情報処理装置の具体例を示す機能的構成図である。 複数の人物が写っている撮影画像を示す図である。 第１の静止判定を示す図である。 第２の静止判定を示す図である。 第３の静止判定を示す図である。 第４の静止判定を示す図である。 生体認証処理の具体例を示すフローチャートである。 人物特定処理を省略する生体認証処理のフローチャートである。 情報処理装置のハードウェア構成図である。
　以下、図面を参照しながら、実施形態を詳細に説明する。
　例えば、特許文献１及び非特許文献１に記載された生体認証技術を用いて、顔画像で登録データの集合を絞り込み、手のひら静脈で認証対象者を認証する生体認証システムについて検討する。この生体認証システムでは、例えば、顔認証を行うことで、認証対象者に対するＮ人（Ｎは１以上の整数）の候補者のリストが生成される。そして、生成されたリストに含まれる各候補者の手のひら静脈の登録データを用いて、１：Ｎ認証を実施することで、認証対象者に対する認証処理が行われる。
　このとき、顔画像を撮影するカメラの設置状況、又は認証対象者であるユーザの利用状況によっては、同時に複数の顔が撮影されることがある。例えば、３人の顔画像が取得された場合、３人分のリストが生成されるため、手のひら静脈認証の対象者は３Ｎ人となり、手のひら静脈認証の処理時間は、１人の顔画像が取得された場合の３倍になる。また、最初に設定されたＮが、手のひら静脈を用いた１：Ｎ認証の上限値である場合、誤って他人を本人として認証する他人受け入れのリスクが増加する。
　手のひら静脈認証の処理時間を短縮し、かつ、他人受け入れのリスクを軽減するために、顔画像で候補者をＮ／３人に絞り込もうとすると、顔認証の処理時間が増加する。さらに、顔認証の認証精度によっては、リストに本人が含まれない取りこぼしの可能性が生じる。
　そこで、撮影画像に含まれる複数の顔画像の中から、各顔画像のサイズ又は位置に基づいてユーザの顔画像を選択する方法が考えられる。顔画像のサイズが大きい人物ほどカメラに近いため、ユーザである可能性が高くなる。また、顔画像の位置が撮影画像の中央等の特定の位置に近いほど、ユーザである可能性が高くなる。
　しかしながら、ユーザが同伴者を伴って生体認証システムの端末装置を操作する場合、撮影画像内のユーザの顔画像と同伴者の顔画像とがほぼ同じ大きさになることがある。また、ユーザが同伴者と並んで端末装置の前に立とうとした場合、ユーザの顔画像の位置が中央からずれることもある。したがって、各顔画像のサイズ又は位置に基づいてユーザの顔画像を選択する場合、適切な選択基準を設定することが難しい。
　図１は、実施形態の情報処理装置（コンピュータ）の機能的構成例を示している。図１の情報処理装置１０１は、受付部１１１、特定部１１２、選択部１１３、及び認証部１１４を含む。
　図２は、図１の情報処理装置１０１が行う生体認証処理の例を示すフローチャートである。まず、受付部１１１は、第１センサにより検出された認証対象生体情報を受け付ける（ステップ２０１）。特定部１１２は、認証対象生体情報の検出時に第２センサにより１以上の人物が検出された場合、１以上の人物それぞれの動きに基づいて、１以上の人物に含まれる何れかの人物を特定する（ステップ２０２）。
　次に、選択部１１３は、複数の登録顔画像情報それぞれに対応付けられた登録生体情報の中から、特定された何れかの人物の顔画像情報と類似する登録顔画像情報に対応付けられた登録生体情報を選択する（ステップ２０３）。そして、認証部１１４は、認証対象生体情報と選択された登録生体情報とを比較した比較結果に基づいて、認証対象生体情報に対する認証を行う（ステップ２０４）。
　図１の情報処理装置１０１によれば、顔画像と顔画像以外の生体情報とを用いた生体認証において、認証処理の負荷を軽減することができる。
　図３は、図１の情報処理装置１０１の具体例を示している。図３の情報処理装置３０１は、記憶部３１１、生体情報取得部３１２、映像取得部３１３、人物検出部３１４、静止判定部３１５、顔選択部３１６、顔認証部３１７、生体情報選択部３１８、生体認証部３１９、及び出力部３２０を含む。情報処理装置３０１は、例えば、金融機関の金融処理システム、入退室管理システム、又は小売店の決済システムに含まれるサーバであってもよい。
　生体情報取得部３１２、生体情報選択部３１８、及び生体認証部３１９は、図１の受付部１１１、選択部１１３、及び認証部１１４にそれぞれ対応する。静止判定部３１５及び顔選択部３１６は、図１の特定部１１２に対応する。生体センサ３０２は、第１センサの一例であり、撮像装置３０３は、第２センサの一例である。
　生体センサ３０２は、例えば、静脈センサ、指紋センサ、画像センサ（カメラ）等であり、手のひら、指等の生体を撮影して、静脈画像、指紋画像、掌紋画像等の生体画像を取得する。例えば、生体センサ３０２が静脈センサである場合、生体センサ３０２は、近赤外線等を手のひらに照射して、手の内部の血管等を撮影する。
　生体センサ３０２は、取得した生体画像の情報を、認証対象生体情報３３３として情報処理装置１０１へ出力する。認証対象生体情報３３３は、生体画像であってもよく、生体画像から生成されたパターンであってもよい。生体画像から生成されたパターンは、静脈パターン、指紋パターン、掌紋パターン等である。
　撮像装置３０３は、例えば、ＣＣＤ（Charge-Coupled　Device）、ＣＭＯＳ（Complementary　Metal-Oxide-Semiconductor）等の撮像素子を有するカメラであり、認証対象者の映像３３４を撮影する。撮像装置３０３によって撮影された映像３３４には、時系列の複数の画像が含まれている。各時刻の画像は、撮影画像の一例である。各時刻の画像は、フレームと呼ばれることもある。撮像装置３０３は、撮影した映像３３４を情報処理装置３０１へ出力する。
　生体情報取得部３１２は、生体センサ３０２から認証対象生体情報３３３を取得することで、認証対象生体情報３３３を受け付ける。そして、生体情報取得部３１２は、認証対象生体情報３３３の受け付け時刻を示す時刻情報とともに、認証対象生体情報３３３を記憶部３１１に格納する。映像取得部３１３は、撮像装置３０３から映像３３４を取得することで、映像３３４を受け付けて、記憶部３１１に格納する。
　記憶部３１１は、登録者である複数の人物それぞれの登録生体情報３３１及び登録顔画像情報３３２を記憶する。各人物の登録生体情報３３１は、人物のユーザＩＤ及び生体情報を含む。生体情報は、生体画像であってもよく、生体画像から生成されたパターンであってもよい。
　各人物の登録顔画像情報３３２は、人物のユーザＩＤ及び顔画像情報を含む。顔画像情報は、顔画像であってもよく、顔画像の特徴を示す特徴量であってもよい。顔画像の特徴量としては、例えば、ＨＯＧ（Histograms　of　Oriented　Gradients）特徴量、ＳＩＦＴ（Scaled　Invariance　Feature　Transform）特徴量、ＳＵＲＦ（Speeded-Up　Robust　Features)特徴量等を用いることができる。顔画像の特徴量は、ＢＲＩＥＦ（Binary　Robust　Independent　Elementary　Features）特徴量又は顕著性（Saliency）であってもよい。
　各人物の登録生体情報３３１に含まれる生体情報と、各人物の登録顔画像情報３３２に含まれる顔画像情報は、ユーザＩＤを介して互いに対応付けられている。
　撮像装置３０３の設置状況又は認証対象者の利用状況によっては、認証対象者を含む複数の人物が同時に映像３３４に写っていることがある。認証対象者が生体センサ３０２に生体画像を入力するとき、認証対象者は、生体センサ３０２に手をかざす動作を行う。このとき、立ち位置又は頭の位置を大きく変更すると、手をかざす動作の妨げになるため、認証対象者の手以外の身体部位は、ほぼ静止状態になることが多い。
　図４は、複数の人物が写っている撮影画像の例を示している。図４の撮影画像には、顔画像４０１～顔画像４０３が含まれている。このうち、顔画像４０３は、認証対象者の顔画像に対応し、顔画像４０１及び顔画像４０２は、認証対象者以外の人物の顔画像に対応する。
　認証対象者は、生体センサ３０２に手４１１をかざすために、生体センサ３０２の前で静止し、映像３３４中の顔画像４０３も静止する。一方、認証対象者以外の人物は、静止することなく移動するため、映像３３４中の顔画像４０１及び顔画像４０２も移動し続ける。
　そこで、撮影画像に写っている各人物の動きを特定することで、各人物が生体センサ３０２に生体画像を入力しようとしているか否かを判定し、認証対象者の顔画像を特定することができる。そして、特定された顔画像に基づいて、多数の登録者の登録生体情報３３１から、認証対象生体情報３３３と比較される登録生体情報３３１の集合を絞り込むことができる。一例として、登録者の総数は１００万人程度であり、絞り込み後の登録者の人数は１万人程度である。
　撮像装置３０３は、生体センサ３０２が入力待ち状態のときに、映像３３４の撮影を開始する。撮像装置３０３は、不図示の近接センサ等を用いて接近する人物を検出し、人物が検出されたときに撮影を開始してもよい。また、撮像装置３０３は、常時、撮影状態のままで待機していてもよい。
　人物検出部３１４は、映像３３４に含まれる各画像から人物を検出し、検出された人物に人物ＩＤを付与する。そして、人物検出部３１４は、各人物の画像内における位置を示す位置情報３３５を、人物ＩＤと対応付けて記憶部３１１に格納する。位置情報３３５が示す位置は、画像に写っている人物の頭、顔、首等の特定の身体部位の位置であってもよい。
　人物検出部３１４は、例えば、非特許文献２に記載された深層学習を用いて、画像から身体の骨格情報を検出することで、特定の身体部位の位置を特定することができる。特定の身体部位が頭又は顔である場合、頭又は顔のバウンディングボックスの座標を位置情報３３５として用いてもよい。
　人物検出部３１４は、さらに、映像３３４に含まれる各画像から、各人物の顔が写っている顔画像を検出し、検出された顔画像に、その人物の人物ＩＤを付与する。図４の例では、顔画像４０１、顔画像４０２、及び顔画像４０３の人物ＩＤとして、“Ａ”、“Ｂ”、及び“Ｃ”がそれぞれ付与されている。
　人物検出部３１４は、映像３３４に含まれる複数の画像の間で物体追跡を行うことで、異なる画像から検出された同じ人物に対して、同じ人物ＩＤを付与する。これにより、複数の画像の間で同じ人物同士が対応付けられる。
　人物検出部３１４は、複数の画像の間で、特定の身体部位の位置の変化量が所定値未満である人物を、同じ人物とみなしてもよい。また、人物検出部３１４は、パターンマッチング等を用いて、複数の画像の間で顔の相関値を計算し、計算された相関値が所定値よりも大きい人物を、同じ人物とみなしてもよい。
　撮像装置３０３により撮影された映像３３４を用いて人物を検出することで、生体センサ３０２の近くにいる複数の人物を区別して、各人物の高精度な位置情報３３５を生成することができる。
　静止判定部３１５は、位置情報３３５を用いて、各人物の身体部位が静止しているか否かを判定する。そして、静止判定部３１５は、認証対象生体情報３３３の検出時に静止している身体部位を有する人物を、認証対象者として特定し、特定された人物の人物ＩＤを顔選択部３１６へ出力する。このとき、静止判定部３１５は、認証対象生体情報３３３の時刻情報が示す受け付け時刻を、認証対象生体情報３３３が検出された時刻として用いる。
　図５は、図４に示した３人の人物に対する第１の静止判定の例を示している。横軸は時刻ｔを表し、縦軸は、撮影画像に写っている各人物の身体部位の位置座標ｘを表す。位置座標ｘは、撮影画像の水平方向の座標であってもよく、撮影画像の垂直方向の座標であってもよい。
　曲線５０１～曲線５０３は、それぞれ、人物ＩＤ“Ａ”～人物ＩＤ“Ｃ”の位置情報３３５を表している。曲線５０１は、人物ＩＤ“Ａ”を有する人物の位置座標ｘの時間変化を表し、曲線５０２は、人物ＩＤ“Ｂ”を有する人物の位置座標ｘの時間変化を表し、曲線５０３は、人物ＩＤ“Ｃ”を有する人物の位置座標ｘの時間変化を表す。この場合、人物ＩＤ“Ｃ”を有する人物は、認証対象者に対応する。
　時刻ｔ１は、認証対象生体情報３３３の時刻情報が示す受け付け時刻を表し、Δｔは、連続する２つの画像の間の時間間隔を表す。したがって、時刻ｔ１－Δｔは、時刻ｔ１の画像の直前に撮影された画像の撮影時刻を表す。Δｔは、撮像装置３０３のフレームレートｆｒを用いて、次式により求められる。
Δｔ＝１／ｆｒ　　　（１）
　例えば、ｆｒが３０フレーム毎秒である場合、Δｔは３３．３ｍｓとなる。時刻ｔの画像内の人物の位置座標をｘ（ｔ）とすると、静止判定部３１５は、時刻ｔ１－Δｔから時刻ｔ１までの間におけるその人物の位置座標ｘの変化量Δｘを、次式により計算する。
Δｘ＝｜ｘ（ｔ１）－ｘ（ｔ１－Δｔ）｜　　　（２）
　Δｘは画像上における変化量を表し、Δｘに対応する３次元空間内の移動量は、撮像装置３０３と人物との距離に応じて変化する。３次元空間内の移動量が同じであっても、撮像装置３０３から遠い人物のΔｘは小さく、撮像装置３０３に近い人物のΔｘは大きくなる。
　そこで、静止判定部３１５は、例えば、各人物の顔画像のランドマーク座標を用いて、静止判定に用いる閾値ＴＨを決定する。例えば、顔画像における右目の位置座標がｘ（ｅｙｅ１）であり、左目の位置座標がｘ（ｅｙｅ２）である場合、右目と左目との距離ｗは、次式により与えられる。
ｗ＝｜ｘ（ｅｙｅ２）－ｘ（ｅｙｅ１）｜　　　（３）
　この場合、静止判定部３１５は、距離ｗを用いて、次式により閾値ＴＨを設定することができる。
ＴＨ＝ｗ／ｋ　　　（４）
　ｋは、正の整数である。ｋは、５～１５の範囲の整数であってもよい。静止判定部３１５は、ΔｘがＴＨよりも小さい場合、時刻ｔ１において人物が静止していると判定し、ΔｘがＴＨ以上である場合、時刻ｔ１において人物が静止していないと判定する。図５の例では、人物ＩＤ“Ｃ”を有する人物が静止していると判定され、人物ＩＤ“Ａ”を有する人物と、人物ＩＤ“Ｂ”を有する人物は、静止していないと判定される。
　図５に示した静止判定では、時刻ｔ１－Δｔ及び時刻ｔ１の２つの時刻における位置座標ｘのみを用いているため、画像内のノイズの影響により誤判定が生じる可能性がある。そこで、静止判定の時間範囲にある程度の幅を持たせて、その時間範囲における位置座標ｘの変化量の統計値を求めることで、ノイズの影響を低減することができる。統計値としては、平均値、中央値、最頻値等を用いることができる。
　また、不図示の表示装置を用いて、認証対象者に対する生体情報入力指示を出力する場合、画面上に表示された生体情報入力指示を確認するために、認証対象者の動きが停止することが多い。この場合、時間範囲の開始時刻として、生体情報入力指示の出力時刻を用いることが有効である。
　図６は、図４に示した３人の人物に対する第２の静止判定の例を示している。時刻ｔ０は、生体情報入力指示の出力時刻を表す。この場合、静止判定の時間範囲は、時刻ｔ０から時刻ｔ１までの範囲となる。静止判定部３１５は、この時間範囲における位置座標ｘの平均変化量Δｘ＿ａｖｅを、次式により計算する。
Figure JPOXMLDOC01-appb-M000001
　ｎ１は、時刻ｔ０から時刻ｔ１までの範囲の画像の枚数を表し、次式により与えられる。
ｎ１＝（ｔ１－ｔ０）／Δｔ＋１　　　（６）
　ただし、時刻ｔ０及び時刻ｔ１としては、それぞれ、最も近い画像の撮影時刻に合わせた時刻が用いられる。静止判定部３１５は、Δｘ＿ａｖｅがＴＨよりも小さい場合、時刻ｔ１において人物が静止していると判定し、Δｘ＿ａｖｅがＴＨ以上である場合、時刻ｔ１において人物が静止していないと判定する。
　生体情報入力指示の出力時刻が不明である場合、又は生体情報入力指示が出力されない場合、時刻ｔ０の代わりに固定長の時間τを用いて、静止判定の時間範囲を設定することもできる。
　図７は、図４に示した３人の人物に対する第３の静止判定の例を示している。この場合、静止判定の時間範囲は、時刻ｔ１－τから時刻ｔ１までの範囲となる。静止判定部３１５は、この時間範囲における位置座標ｘの平均変化量Δｘ＿ａｖｅを、次式により計算する。
Figure JPOXMLDOC01-appb-M000002
　ｎ２は、時刻ｔ１－τから時刻ｔ１までの範囲の画像の枚数を表し、次式により与えられる。
ｎ２＝τ／Δｔ＋１　　　（８）
　ただし、時刻ｔ１－τとしては、最も近い画像の撮影時刻に合わせた時刻が用いられる。τは、Δｔの５倍～１５倍の時間であってもよい。
　生体センサ３０２が生体画像を取得した直後においても、認証対象者の動きは停止していることが多い。そこで、静止判定の時間範囲の終了時刻として、時刻ｔ１よりも遅い時刻を用いることも可能である。
　図８は、図４に示した３人の人物に対する第４の静止判定の例を示している。この場合、静止判定の時間範囲は、時刻ｔ１－τ１から時刻ｔ１＋τ２までの範囲となる。静止判定部３１５は、この時間範囲における位置座標ｘの平均変化量Δｘ＿ａｖｅを、次式により計算する。
Figure JPOXMLDOC01-appb-M000003
　ｎ３は、時刻ｔ１－τ１から時刻ｔ１＋τ２までの範囲の画像の枚数を表し、次式により与えられる。
ｎ３＝（τ１＋τ２）／Δｔ＋１　　　（１０）
　ただし、時刻ｔ１－τ１及び時刻ｔ１＋τ２としては、それぞれ、最も近い画像の撮影時刻に合わせた時刻が用いられる。τ１は、Δｔの５倍～１５倍の時間であってもよく、τ２は、τ１よりも短い時間であってもよい。
　図５～図８に示したように、人物の身体部位の位置座標ｘを用いてその身体部位が静止しているか否かを判定することで、入力された認証対象生体情報３３３がその人物の生体情報であるか否かを推定することができる。さらに、所定の時間範囲における位置座標ｘの変化量の統計値を用いて静止判定を行うことで、認証対象生体情報３３３に対応する人物の推定精度を向上させることができる。
　生体センサ３０２として、指紋センサのような接触型センサを用いた場合、静脈センサのような非接触型センサを用いる場合よりも、認証対象者の動きが停止する時間が長くなるため、静止判定の判定精度が向上する。
　顔選択部３１６は、映像３３４に含まれる複数の顔画像の中から、静止判定部３１５から出力された人物ＩＤに対応する顔画像３３６を選択して、記憶部３１１に格納する。顔認証部３１７は、顔画像３３６と各登録顔画像情報３３２とを比較することで、顔画像３３６に対する顔認証を行う。顔認証部３１７は、例えば、顔画像３３６と各登録顔画像情報３３２との間の類似度を計算する。
　登録顔画像情報３３２に含まれている顔画像情報が顔画像である場合、顔認証部３１７は、顔画像３３６の特徴量Ｆ１と、登録顔画像情報３３２に含まれている顔画像の特徴量Ｆ２とを計算し、特徴量Ｆ１及び特徴量Ｆ２を用いて類似度を計算する。登録顔画像情報３３２に含まれている顔画像情報が特徴量Ｆ２である場合、顔認証部３１７は、顔画像３３６の特徴量Ｆ１を計算し、特徴量Ｆ１及び特徴量Ｆ２を用いて類似度を計算する。
　生体情報選択部３１８は、顔認証部３１７により計算された類似度が高い順に、所定数の登録顔画像情報３３２を選択する。そして、生体情報選択部３１８は、選択された登録顔画像情報３３２のユーザＩＤを含む候補リスト３３７を生成して、記憶部３１１に格納する。生体情報選択部３１８は、候補リスト３３７を生成することで、候補リスト３３７内の各ユーザＩＤに対応する登録生体情報３３１を選択する。これにより、複数の人物の登録生体情報３３１から、認証対象生体情報３３３と比較される登録生体情報３３１の集合を絞り込むことができる。
　生体認証部３１９は、認証対象生体情報３３３と、候補リスト３３７内の各ユーザＩＤに対応する登録生体情報３３１とを比較することで、認証対象生体情報３３３に対する生体認証を行う。そして、生体認証部３１９は、認証結果３３８を生成して、記憶部３１１に格納する。
　生体認証部３１９は、例えば、認証対象生体情報３３３と各登録生体情報３３１との間の類似度を計算し、最も高い類似度を有する登録生体情報３３１のユーザＩＤを、認証結果３３８として記憶部３１１に格納する。出力部３２０は、認証結果３３８を出力する。
　図３の情報処理装置３０１によれば、複数の人物が映像３３４に写っている場合であっても、認証対象者である可能性が高い人物を特定することができる。特定された人物の顔画像に基づいて候補リスト３３７を生成することで、登録生体情報３３１の集合が適切に絞り込まれる。
　また、各画像から人物を検出する処理、各人物の位置情報３３５を用いた静止判定処理、及び顔画像３３６による登録生体情報３３１の絞り込み処理の負荷は、認証対象生体情報３３３を用いた生体認証処理の負荷よりも小さい。このため、認証対象生体情報３３３に対する生体認証の負荷が軽減され、高速かつ高精度な生体認証処理が実現される。
　さらに、認証対象者以外の人物の顔画像は顔認証の処理対象から除外されるため、撮影された人物のプライバシーを適切に保護することができる。
　なお、映像３３４に写っている認証対象者以外の人物の動きが、偶然、認証対象者による生体情報の入力と同期して停止し、複数の人物が静止していると判定されることもあり得る。この場合、静止判定部３１５は、それらの人物のうち、３次元空間内の移動量が最も小さい人物を、認証対象者として特定してもよい。
　情報処理装置３０１は、別の判定基準を適用して、認証対象者の特定を試みてもよい。別の判定基準としては、例えば、画像内における各顔画像のサイズ又は位置を用いることができる。顔画像のサイズが大きい人物ほど撮像装置３０３に近いため、認証対象者である可能性が高くなる。また、顔画像の位置が画像の中央に近いほど、認証対象者である可能性が高くなる。顔画像のサイズ又は位置は、単独では判定基準として十分ではないが、判定の補助情報として利用することは有効である。
　また、情報処理装置３０１は、静止していると判定された複数の人物それぞれを認証対象者の候補として用いて、候補リスト３３７を生成してもよい。
　図９は、図３の情報処理装置３０１が行う生体認証処理の具体例を示すフローチャートである。撮像装置３０３は、生体認証処理が開始されると同時に、映像３３４の撮影を開始し、映像取得部３１３は、撮像装置３０３から映像３３４を取得する。
　まず、人物検出部３１４は、映像３３４に含まれる各画像から人物の顔画像を検出し、検出された顔画像に人物ＩＤを付与する（ステップ９０１）。次に、人物検出部３１４は、各人物の画像内における位置を検出し（ステップ９０２）、各人物の位置を示す位置情報３３５を生成する（ステップ９０３）。
　ステップ９０１～ステップ９０３の処理と並行して、生体情報取得部３１２は、認証対象者に対して生体情報の入力を指示する（ステップ９０４）。次に、生体センサ３０２は、認証対象生体情報３３３を入力し、生体情報取得部３１２は、生体センサ３０２から認証対象生体情報３３３を取得する（ステップ９０５）。そして、生体情報取得部３１２は、認証対象生体情報３３３が取得された時刻を、受け付け時刻として取得する（ステップ９０６）。
　次に、静止判定部３１５は、位置情報３３５を用いて、各人物の身体部位が静止しているか否かを判定し、認証対象生体情報３３３の受け付け時刻において静止している人物を、認証対象者として特定する（ステップ９０７）。そして、静止判定部３１５は、特定された人物の人物ＩＤを顔選択部３１６へ出力し、顔選択部３１６は、映像３３４に含まれる複数の顔画像の中から、その人物ＩＤに対応する顔画像３３６を選択する（ステップ９０８）。
　次に、顔認証部３１７は、顔画像３３６に対する顔認証を行い、生体情報選択部３１８は、顔認証の結果に基づいて候補リスト３３７を生成する（ステップ９０９）。そして、生体認証部３１９は、候補リスト３３７を用いて、認証対象生体情報３３３に対する生体認証を行い、出力部３２０は、認証結果３３８を出力する（ステップ９１０）。
　ところで、映像３３４に認証対象者のみが写っている場合は、位置情報３３５の生成及び静止判定を含む人物特定処理を省略して、処理負荷を軽減することも可能である。
　図１０は、認証対象者のみが写っている場合に人物特定処理を省略する生体認証処理の例を示すフローチャートである。まず、人物検出部３１４は、映像３３４に含まれる各画像から人物の顔画像を検出し、検出された顔画像に人物ＩＤを付与する（ステップ１００１）。ステップ１００１の処理と並行して、生体情報取得部３１２は、図９のステップ９０４～ステップ９０６と同様の処理を行う。
　次に、人物検出部３１４は、検出された顔画像が１人の人物の顔画像のみであるか否かをチェックする（ステップ１００２）。１人の人物の顔画像のみが検出された場合（ステップ１００２，ＹＥＳ）、情報処理装置３０１は、ステップ１００４及びステップ１００５の処理を行う。ステップ１００４及びステップ１００５の処理は、図９のステップ９０９及びステップ９１０の処理と同様である。
　一方、複数の人物の顔画像が検出された場合（ステップ１００２，ＮＯ）、情報処理装置３０１は、人物特定処理を行う（ステップ１００３）。人物特定処理は、図９のステップ９０２、ステップ９０３、ステップ９０７、及びステップ９０８の処理と同様である。そして、情報処理装置３０１は、ステップ１００４及びステップ１００５の処理を行う。
　図３の情報処理装置３０１において、撮像装置３０３の代わりに別のセンサを用いて、認証対象者を含む複数の人物を検出することも可能である。別のセンサとしては、例えば、赤外線、超音波、又は可視光を用いた人感センサ、距離センサ等を用いることができる。この場合、人物検出部３１４は、別のセンサの検出結果から人物を検出して、各人物の位置を示す位置情報３３５を生成する。撮像装置３０３の代わりに別のセンサを用いることで、人物を検出するための画像処理が不要になるため、処理の負荷を低減することができる。
　図１の情報処理装置１０１及び図３の情報処理装置３０１の構成は一例に過ぎず、情報処理装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、図３の情報処理装置３０１において、登録生体情報３３１及び登録顔画像情報３３２は、情報処理装置３０１の外部のデータベースに格納されていてもよい。この場合、情報処理装置３０１は、外部のデータベースから登録生体情報３３１及び登録顔画像情報３３２を取得して、記憶部３１１に格納する。
　図２、図９、及び図１０のフローチャートは一例に過ぎず、情報処理装置１０１又は情報処理装置３０１の構成又は条件に応じて、一部の処理を省略又は変更してもよい。
　図４に示した撮影画像は一例に過ぎず、撮影画像は、撮像装置３０３の撮影領域に存在する人物に応じて変化する。図５～図８に示した位置座標ｘの時間変化は一例に過ぎず、位置座標ｘは、映像３３４に応じて変化する。
　式（１）～式（１０）の計算式は一例に過ぎず、情報処理装置３０１は、別の計算式を用いて生体認証処理を行ってもよい。
　図１１は、図１の情報処理装置１０１及び図３の情報処理装置３０１のハードウェア構成例を示している。図１１の情報処理装置は、ＣＰＵ（Central　Processing　Unit）１１０１、メモリ１１０２、入力装置１１０３、出力装置１１０４、補助記憶装置１１０５、媒体駆動装置１１０６、及びネットワーク接続装置１１０７を含む。これらの構成要素はハードウェアであり、バス１１０８により互いに接続されている。図３の生体センサ３０２及び撮像装置３０３は、バス１１０８に接続されていてもよい。
　メモリ１１０２は、例えば、ＲＯＭ（Read　Only　Memory）、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ１１０２は、図３の記憶部３１１として動作してもよい。
　ＣＰＵ１１０１（プロセッサ）は、例えば、メモリ１１０２を利用してプログラムを実行することにより、図１の受付部１１１、特定部１１２、選択部１１３、及び認証部１１４として動作する。ＣＰＵ１１０１は、プログラムを実行することにより、図３の生体情報取得部３１２、映像取得部３１３、人物検出部３１４、静止判定部３１５、顔選択部３１６、顔認証部３１７、生体情報選択部３１８、及び生体認証部３１９としても動作する。
　入力装置１１０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置１１０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は処理結果の出力に用いられる。出力装置１１０４は、図３の出力部３２０として動作してもよい。処理結果は、認証結果３３８であってもよい。
　補助記憶装置１１０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１１０５は、フラッシュメモリ又はハードディスクドライブであってもよい。情報処理装置は、補助記憶装置１１０５にプログラム及びデータを格納しておき、それらをメモリ１１０２にロードして使用することができる。補助記憶装置１１０５は、図３の記憶部３１１として動作してもよい。
　媒体駆動装置１１０６は、可搬型記録媒体１１０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１１０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１１０９は、ＣＤ－ＲＯＭ（Compact　Disk　Read　Only　Memory）、ＤＶＤ（Digital　Versatile　Disk）、ＵＳＢ（Universal　Serial　Bus）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１１０９にプログラム及びデータを格納しておき、それらをメモリ１１０２にロードして使用することができる。
　このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１１０２、補助記憶装置１１０５、又は可搬型記録媒体１１０９のような、物理的な（非一時的な）記録媒体である。
　ネットワーク接続装置１１０７は、ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１１０７を介して受信し、それらをメモリ１１０２にロードして使用することができる。ネットワーク接続装置１１０７は、図３の出力部３２０として動作してもよい。
　ネットワーク接続装置１１０７は、通信ネットワークを介して、図３の生体センサ３０２及び撮像装置３０３から、認証対象生体情報３３３及び映像３３４をそれぞれ受信してもよい。
　なお、情報処理装置が図１１のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、情報処理装置が可搬型記録媒体１１０９又は通信ネットワークを利用しない場合は、媒体駆動装置１１０６又はネットワーク接続装置１１０７を省略してもよい。
　開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
 
 

Claims (15)

  1. 　第１センサにより検出された認証対象生体情報を受け付け、
    　前記認証対象生体情報の検出時に第２センサにより１以上の人物が検出された場合、前記１以上の人物それぞれの動きに基づいて、前記１以上の人物に含まれる何れかの人物を特定し、
    　複数の登録顔画像情報それぞれに対応付けられた登録生体情報の中から、前記何れかの人物の顔画像情報と類似する登録顔画像情報に対応付けられた登録生体情報を選択し、
    　前記認証対象生体情報と選択された前記登録生体情報とを比較した比較結果に基づいて、前記認証対象生体情報に対する認証を行う、
    　処理をコンピュータが実行することを特徴とする認証方法。
  2. 　前記何れかの人物を特定する処理は、前記第２センサによる前記１以上の人物の検出結果に基づいて、前記１以上の人物それぞれの動きを特定する処理を含むことを特徴とする請求項１記載の認証方法。
  3. 　前記１以上の人物それぞれの動きを特定する処理は、前記１以上の人物それぞれの身体部位が静止しているか否かを判定する処理を含み、
    　前記何れかの人物を特定する処理は、前記１以上の人物のうち、前記認証対象生体情報の検出時に静止している前記身体部位を有する人物を、前記何れかの人物として特定する処理をさらに含むことを特徴とする請求項２記載の認証方法。
  4. 　前記第２センサは撮像装置であり、
    　前記１以上の人物それぞれの動きを特定する処理は、前記撮像装置により撮影された撮影画像に前記１以上の人物が写っている場合、前記撮影画像に基づいて前記１以上の人物それぞれの動きを特定する処理を含むことを特徴とする請求項２又は３記載の認証方法。
  5. 　前記第１センサは、静脈センサ又は指紋センサであることを特徴とする請求項１乃至４の何れか１項に記載の認証方法。
  6. 　第１センサにより検出された認証対象生体情報を受け付ける受付部と、
    　前記認証対象生体情報の検出時に第２センサにより１以上の人物が検出された場合、前記１以上の人物それぞれの動きに基づいて、前記１以上の人物に含まれる何れかの人物を特定する特定部と、
    　複数の登録顔画像情報それぞれに対応付けられた登録生体情報の中から、前記何れかの人物の顔画像情報と類似する登録顔画像情報に対応付けられた登録生体情報を選択する選択部と、
    　前記認証対象生体情報と選択された前記登録生体情報とを比較した比較結果に基づいて、前記認証対象生体情報に対する認証を行う認証部と、
    　を備えることを特徴とする情報処理装置。
  7. 　前記特定部は、前記第２センサによる前記１以上の人物の検出結果に基づいて、前記１以上の人物それぞれの動きを特定することを特徴とする請求項６記載の情報処理装置。
  8. 　前記特定部は、前記１以上の人物それぞれの身体部位が静止しているか否かを判定し、前記１以上の人物のうち、前記認証対象生体情報の検出時に静止している前記身体部位を有する人物を、前記何れかの人物として特定することを特徴とする請求項７記載の情報処理装置。
  9. 　前記第２センサは撮像装置であり、
    　前記特定部は、前記撮像装置により撮影された撮影画像に前記１以上の人物が写っている場合、前記撮影画像に基づいて前記１以上の人物それぞれの動きを特定することを特徴とする請求項７又は８記載の情報処理装置。
  10. 　前記第１センサは、静脈センサ又は指紋センサであることを特徴とする請求項６乃至９の何れか１項に記載の情報処理装置。
  11. 　第１センサにより検出された認証対象生体情報を受け付け、
    　前記認証対象生体情報の検出時に第２センサにより１以上の人物が検出された場合、前記１以上の人物それぞれの動きに基づいて、前記１以上の人物に含まれる何れかの人物を特定し、
    　複数の登録顔画像情報それぞれに対応付けられた登録生体情報の中から、前記何れかの人物の顔画像情報と類似する登録顔画像情報に対応付けられた登録生体情報を選択し、
    　前記認証対象生体情報と選択された前記登録生体情報とを比較した比較結果に基づいて、前記認証対象生体情報に対する認証を行う、
    　処理をコンピュータに実行させるための認証プログラム。
  12. 　前記何れかの人物を特定する処理は、前記第２センサによる前記１以上の人物の検出結果に基づいて、前記１以上の人物それぞれの動きを特定する処理を含むことを特徴とする請求項１１記載の認証プログラム。
  13. 　前記１以上の人物それぞれの動きを特定する処理は、前記１以上の人物それぞれの身体部位が静止しているか否かを判定する処理を含み、
    　前記何れかの人物を特定する処理は、前記１以上の人物のうち、前記認証対象生体情報の検出時に静止している前記身体部位を有する人物を、前記何れかの人物として特定する処理をさらに含むことを特徴とする請求項１２記載の認証プログラム。
  14. 　前記第２センサは撮像装置であり、
    　前記１以上の人物それぞれの動きを特定する処理は、前記撮像装置により撮影された撮影画像に前記１以上の人物が写っている場合、前記撮影画像に基づいて前記１以上の人物それぞれの動きを特定する処理を含むことを特徴とする請求項１２又は１３記載の認証プログラム。
  15. 　前記第１センサは、静脈センサ又は指紋センサであることを特徴とする請求項１１乃至１４の何れか１項に記載の認証プログラム。
     
PCT/JP2020/023005 2020-06-11 2020-06-11 認証方法、情報処理装置、及び認証プログラム WO2021250845A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202080101104.5A CN115668186A (zh) 2020-06-11 2020-06-11 认证方法、信息处理装置、以及认证程序
EP20939653.0A EP4167112A4 (en) 2020-06-11 2020-06-11 AUTHENTICATION METHOD, INFORMATION PROCESSING DEVICE AND AUTHENTICATION PROGRAM
JP2022530453A JPWO2021250845A1 (ja) 2020-06-11 2020-06-11
PCT/JP2020/023005 WO2021250845A1 (ja) 2020-06-11 2020-06-11 認証方法、情報処理装置、及び認証プログラム
US17/981,518 US20230059121A1 (en) 2020-06-11 2022-11-07 Authentication method, information processing device, and non-transitory computer-readable storage medium for storing authentication program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/023005 WO2021250845A1 (ja) 2020-06-11 2020-06-11 認証方法、情報処理装置、及び認証プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/981,518 Continuation US20230059121A1 (en) 2020-06-11 2022-11-07 Authentication method, information processing device, and non-transitory computer-readable storage medium for storing authentication program

Publications (1)

Publication Number Publication Date
WO2021250845A1 true WO2021250845A1 (ja) 2021-12-16

Family

ID=78847122

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/023005 WO2021250845A1 (ja) 2020-06-11 2020-06-11 認証方法、情報処理装置、及び認証プログラム

Country Status (5)

Country Link
US (1) US20230059121A1 (ja)
EP (1) EP4167112A4 (ja)
JP (1) JPWO2021250845A1 (ja)
CN (1) CN115668186A (ja)
WO (1) WO2021250845A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023181267A1 (ja) * 2022-03-24 2023-09-28 富士通株式会社 認証システム、認証クライアント装置、認証サーバ装置および情報処理プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242677A (ja) * 2004-02-26 2005-09-08 Ntt Comware Corp 複合認証システムおよびその方法ならびにプログラム
JP2007154472A (ja) * 2005-12-02 2007-06-21 Hitachi Information & Control Solutions Ltd 指静脈認証装置および指静脈認証方法
JP2007156790A (ja) * 2005-12-05 2007-06-21 Hitachi Omron Terminal Solutions Corp 複数種の生体情報による認証をおこなう認証技術
JP2013250856A (ja) * 2012-06-01 2013-12-12 Mitsubishi Electric Corp 監視システム
JP2017049867A (ja) * 2015-09-03 2017-03-09 日本電気株式会社 認証装置、防犯システム、認証方法およびプログラム
WO2020070821A1 (ja) 2018-10-03 2020-04-09 富士通株式会社 生体認証装置、生体認証方法、及び生体認証プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9020207B2 (en) * 2011-06-07 2015-04-28 Accenture Global Services Limited Biometric authentication technology
EP3671633A1 (en) * 2016-02-26 2020-06-24 NEC Corporation Face recognition system, face recognition method, and storage medium

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242677A (ja) * 2004-02-26 2005-09-08 Ntt Comware Corp 複合認証システムおよびその方法ならびにプログラム
JP2007154472A (ja) * 2005-12-02 2007-06-21 Hitachi Information & Control Solutions Ltd 指静脈認証装置および指静脈認証方法
JP2007156790A (ja) * 2005-12-05 2007-06-21 Hitachi Omron Terminal Solutions Corp 複数種の生体情報による認証をおこなう認証技術
JP2013250856A (ja) * 2012-06-01 2013-12-12 Mitsubishi Electric Corp 監視システム
JP2017049867A (ja) * 2015-09-03 2017-03-09 日本電気株式会社 認証装置、防犯システム、認証方法およびプログラム
WO2020070821A1 (ja) 2018-10-03 2020-04-09 富士通株式会社 生体認証装置、生体認証方法、及び生体認証プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Fujitsu Develops Non-Contact Biometric Integration Technology as an Optimal Solution for a Cashless Society", 4 October 2018, FUJITSU LABORATORIES LTD.
CAO ET AL.: "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", 2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR, 2017, pages 7291 - 7299, XP055712609, DOI: 10.1109/CVPR.2017.143
See also references of EP4167112A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023181267A1 (ja) * 2022-03-24 2023-09-28 富士通株式会社 認証システム、認証クライアント装置、認証サーバ装置および情報処理プログラム

Also Published As

Publication number Publication date
EP4167112A4 (en) 2023-07-19
EP4167112A1 (en) 2023-04-19
JPWO2021250845A1 (ja) 2021-12-16
US20230059121A1 (en) 2023-02-23
CN115668186A (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
Fathy et al. Face-based active authentication on mobile devices
JP6013241B2 (ja) 人物認識装置、及び方法
Das et al. Recent advances in biometric technology for mobile devices
JP4760049B2 (ja) 顔認証装置、その顔認証方法、その顔認証装置を組み込んだ電子機器およびその顔認証プログラムを記録した記録媒体
JP7188446B2 (ja) 認証装置、認証方法、認証プログラムおよび記録媒体
KR101384446B1 (ko) 컴퓨터 판독가능한 기록 매체, 등록 장치, 및 등록 방법
US20230252820A1 (en) Authentication method, information processing device, and non-transitory computer-readable recording medium storing authentication program
JP2017010322A (ja) 認証処理装置及び認証処理方法
JP7010385B2 (ja) 虹彩認証装置、虹彩認証方法、虹彩認証プログラムおよび記録媒体
US20230059121A1 (en) Authentication method, information processing device, and non-transitory computer-readable storage medium for storing authentication program
Bresan et al. Facespoof buster: a presentation attack detector based on intrinsic image properties and deep learning
JP7359044B2 (ja) 認証方法、情報処理装置、及び認証プログラム
Mansoura et al. Multimodal face and iris recognition with adaptive score normalization using several comparative methods
JP7389392B2 (ja) 顔認証方法、顔認証プログラム、および顔認証装置
WO2021157023A1 (ja) 認証方法、情報処理装置、及び認証プログラム
JP7415640B2 (ja) 認証方法、情報処理装置、及び認証プログラム
Verlekar et al. Walking direction identification using perceptual hashing
Lin et al. A novel framework for automatic 3D face recognition using quality assessment
Mishra et al. Integrating State-of-the-Art Face Recognition and Anti-Spoofing Techniques into Enterprise Information Systems
WO2022091325A1 (ja) 認証方法、制御方法、情報処理装置、及び認証プログラム
Nivas et al. Real-time finger-vein recognition system
JP7351414B2 (ja) 生体認証装置、生体認証方法及び生体認証プログラム
US20230013232A1 (en) Control method, storage medium, and information processing device
WO2021060256A1 (ja) 顔認証装置、顔認証方法、及びコンピュータ読み取り可能な記録媒体
WO2022172430A1 (ja) 判定方法、判定プログラム、及び情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20939653

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022530453

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020939653

Country of ref document: EP

Effective date: 20230111