WO2021229763A1 - 認証方法、認証プログラム及び認証装置 - Google Patents

認証方法、認証プログラム及び認証装置 Download PDF

Info

Publication number
WO2021229763A1
WO2021229763A1 PCT/JP2020/019328 JP2020019328W WO2021229763A1 WO 2021229763 A1 WO2021229763 A1 WO 2021229763A1 JP 2020019328 W JP2020019328 W JP 2020019328W WO 2021229763 A1 WO2021229763 A1 WO 2021229763A1
Authority
WO
WIPO (PCT)
Prior art keywords
face image
feature information
list data
authentication
biometric information
Prior art date
Application number
PCT/JP2020/019328
Other languages
English (en)
French (fr)
Inventor
一樹 長村
太一 村瀬
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to EP20935628.6A priority Critical patent/EP4152183A4/en
Priority to JP2022522446A priority patent/JP7327662B2/ja
Priority to CN202080100367.4A priority patent/CN115461741A/zh
Priority to PCT/JP2020/019328 priority patent/WO2021229763A1/ja
Publication of WO2021229763A1 publication Critical patent/WO2021229763A1/ja
Priority to US17/968,826 priority patent/US20230044788A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan

Definitions

  • the present invention relates to authentication technology.
  • one-to-N authentication that identifies a specific individual from a large number of people using one type of biometric information is known. While one-to-N authentication does not require ID (IDentification) key input or card presentation, its accuracy is limited by a single biometric information modality alone.
  • ID IDentification
  • an authentication system that uses both face authentication and vein authentication has been proposed.
  • a first photographing device installed at the entrance of a store photographs the face of a person entering the store from the entrance of the store.
  • a part of the vein recognition registration data is narrowed down as authentication candidates from the vein recognition registration data of N users by using the face image taken by the first photographing device.
  • the above authentication system only narrows down an unspecified number of authentication candidates in the order of entry into the store, and the authentication time may increase.
  • the vein authentication registration data associated with the face image shooting date and time in the past predetermined time zone is used for the verification of the vein authentication in the order of entering the store.
  • the order of entering the store and the order of arrival at the counter do not always match.
  • the verification of the vein authentication is repeated until the final verification of the vein authentication registration data narrowed down as the authentication candidate is repeated, and as a result, the authentication time is increased.
  • the biometric information of the person is stored in association with the feature information of the face image of the person.
  • the first biometric information group including a plurality of biometric information associated with the feature information whose similarity with the feature information of the first face image included in the first captured data satisfies the criteria with reference to the section.
  • a second biometric information group including a plurality of biometric information associated with the feature information whose similarity with the feature information of the second facial image included in the second captured data satisfies the criteria.
  • the feature information of the third face image included in the third shooting data, the feature information of the first face image, and the second face image are received. Based on the degree of similarity with each of the feature information of the face image, any one of the first biometric information group and the second biometric information group is specified, and the biometric information detected by the sensor is obtained.
  • the computer executes an authentication process using the acquired biometric information and a plurality of biometric information included in the specified biometric information group.
  • the authentication time can be shortened.
  • FIG. 1 is a block diagram showing an example of a functional configuration of each device included in the authentication system according to the first embodiment.
  • FIG. 2 is a diagram showing an example of narrowed-down list data.
  • FIG. 3 is a diagram showing an implementation example of the store-side system.
  • FIG. 4 is a diagram showing an example of narrowed-down list data.
  • FIG. 5 is a diagram showing an example of a control sequence of the first specific process according to the first embodiment.
  • FIG. 6 is a diagram showing an example of a control sequence of the second specific process according to the first embodiment.
  • FIG. 7 is a diagram showing an example of a control sequence of the first specific process according to the application example.
  • FIG. 8 is a diagram showing an example of sorted list data.
  • FIG. 9 is a diagram showing an example of a computer hardware configuration.
  • FIG. 1 is a block diagram showing an example of a functional configuration of each device included in the authentication system according to the first embodiment.
  • a plurality of types of biometric information can be obtained from the aspect corresponding to a use case in which the number of registered biometric information N can be expanded to a scale of millions or tens of millions. It provides a multi-biometric authentication service that authenticates the person by using it.
  • palm veins and face information are used as examples of a plurality of types of biometric information from the aspect of realizing non-contact authentication while eliminating the need for ID key input and card presentation.
  • face information is used as the first modality to narrow down the collation target person to be collated by the person authentication from the number of registrants N
  • the palm is used as the second modality to authenticate the person from the collation target persons narrowed down by the first modality.
  • Veins are used.
  • the "modality" referred to here can correspond to a term such as a type of biometric information or a biometric identification site.
  • the authentication system 1 may include a server device 10 and a store-side system 30 as an example.
  • the server device 10 and the store-side system 30 may be connected via an arbitrary network.
  • the server device 10 is an example of a computer that provides the above-mentioned multi-biometric authentication service.
  • the server device 10 corresponds to an example of an authentication device.
  • the server device 10 can be implemented as package software or online software by installing an authentication program that realizes the above-mentioned multi-biometric authentication service on an arbitrary computer.
  • the server device 10 can be implemented as a server that provides the above-mentioned functions related to the multi-biometric authentication service on-premises, for example, a Web server.
  • the server device 10 may be implemented as a SaaS (Software as a Service) type application to provide the above-mentioned multi-biometric authentication service as a cloud service.
  • SaaS Software as a Service
  • the store-side system 30 corresponds to an example of the components provided on the store-side of the authentication system 1 shown in FIG.
  • the store-side system 30 extracts biological information of the first modality, for example, a facial feature amount from a face image of a person entering the store from the entrance of the store, or acquires it at a counter where payment is made at the store.
  • biological information of the second modality for example, the feature amount of the palm vein is extracted from the vein image.
  • FIG. 2 is a diagram showing an example of narrowed-down list data.
  • FIG. 2 illustrates, as an example, three refined list data L11 to L13 generated by using the prior art.
  • the narrowing list data L11 the face of the user U1 entering the store is narrowed down by using the face image included in the shooting data taken at 9:00 on December 24, 2019.
  • the narrowing list data L12 the face of the user U2 entering the store is narrowed down by using the face image included in the shooting data taken at 9:01 on December 24, 2019.
  • the face of the user U3 entering the store is narrowed down by using the face image included in the shooting data taken at 9:02 on December 24, 2019.
  • the degree of similarity with the input face information acquired from the face image taken at the time of entering the store is the top predetermined number, for example, the top nine.
  • An example is given in which the registered palm vein information associated with the registered face information of is narrowed down.
  • the input palm vein information acquired by the counter of the store is the order of entry into the store, that is, narrowing down.
  • the list data L11, the narrowed list data L12, and the narrowed list data L13 are collated in this order.
  • the order of entering the store and the order of arrival at the counter do not always match.
  • the input palm vein information f Palm_U3 of the user U3 thus acquired by the counter or the like of the store is collated in the following order. That is, as shown in FIG. 2, registered palm vein information group F Palm_L11 of narrowing the list data L11, registered palm vein information group F Palm_L12 of narrowing the list data L12, registered palm vein information group narrowing list data L13 F Palm_L13 It is collated in the order of.
  • the narrowed-down list data L13 narrowed down when the face image of the user U3 is taken is the narrowed-down list data narrowed down when the face image of the user U1 and the user U2 who entered the store before the user U3 was taken. It is collated after L11 and the refined list data L12.
  • the multi-biometric authentication service an approach of dividing the narrowing down using face information into two is adopted.
  • the face image of the first modality taken at the time of entering the store is used to generate a narrowing list including the registered biometric information group of the second modality.
  • the face image of the first modality taken at the time of payment is specified from a plurality of narrowing lists to the narrowing list to be collated by the personal authentication of the second modality. Used for.
  • FIG. 3 is a diagram showing an implementation example of the store-side system 30.
  • FIG. 3 shows an example of applying a multi-biometric authentication service to personal authentication at the time of payment of purchased products at a store without a cash register, an unmanned cash register, a self-checkout, or the like.
  • the store-side system 30 may include a first camera 31A installed so as to be able to photograph the face of a person entering the store from the entrance of the store 3.
  • the store-side system 30 may include a terminal 32 installed in the payment counter of the store 3.
  • the terminal 32 has a reading unit that reads product information, such as the name and price of a product, from tags, barcodes, etc. attached to the product, as well as a list and total of products that the user of the store 3 targets for purchase.
  • a display unit 35 or the like that displays various types of amounts and the like may be connected.
  • the store-side system 30 may include a second camera 32A installed in a state in which the face of a person using the terminal 32 can be photographed.
  • the second camera 32A can be realized as an in-camera arranged with the lens facing in the same direction as the screen orientation of the display unit 35.
  • the store-side system 30 may include a sensor 33 that detects a palm vein of a person who uses the terminal 32.
  • the above narrowing list is generated using face information extracted from the face image included in the shooting data of the first camera 31A, for example, a face feature amount.
  • face information at the time of entering the store since the face information extracted from the face image included in the shooting data of the first camera 31A has an aspect of being extracted at the time of entering the store 3, it is hereinafter referred to as "face information at the time of entering the store". May be done.
  • face information at the time of entering the store May be done.
  • the narrowing list among the registered palm vein information for which user registration has been performed, the registered palm vein information associated with each of the registered face information having a similarity degree with the face information at the time of entering the store up to a predetermined number is high. Is generated by listing.
  • Face information at the time of entering the store can be associated with the registered palm vein information listed in this way.
  • the face information at the time of entering the store can be added to the narrowing list as a label for identifying the narrowing list.
  • the face information at the time of entering the store and the narrowing list can be associated with arbitrary identification information such as the shooting date and time of the shooting data.
  • FIG. 4 is a diagram showing an example of narrowing list data.
  • FIG. 4 illustrates, as an example, three narrowed-down list data L1 to L3 generated according to the multi-biometric authentication service according to the present embodiment.
  • the face information f of the user U1 at the time of entering the store from the face image of the user U1 included in the shooting data in which the face of the user U1 entering the store 3 was taken at 9:00 on December 24, 2019.
  • face1_U1 is extracted.
  • the face information f face1_U1 at the time of entering the store of the user U1 extracted in this way is given as a label, and the registered palm vein information group F Palm_L1 narrowed down using the face information f face1_U1 at the time of entering the store is listed.
  • the refined list data L1 is generated.
  • the face information f of the user U2 at the time of entering the store f. face1_U2 is extracted.
  • the user U2's face information at the time of entering the store, f face1_U2 , extracted in this way is given as a label, and the registered palm vein information group F Palm_L2 narrowed down using the face information at the time of entering the store, f face1_U2 , is listed.
  • the refined list data L2 is generated.
  • the face information f of the user U3 at the time of entering the store f. face1_U3 is extracted.
  • the user U3's face information at the time of entering the store, f face1_U3 , extracted in this way is given as a label, and the registered palm vein information group F Palm_L3 narrowed down using the face information at the time of entering the store, f face1_U3 , is listed.
  • the refined list data L3 is generated.
  • face information extracted from the face image included in the shooting data of the second camera 32A is used as a collation target by vein authentication of the second modality from a plurality of narrowing lists.
  • the refined list is identified.
  • face information at the time of payment since the face information extracted from the face image included in the shooting data of the second camera 32A has an aspect of being extracted at the time of payment at the counter of the store 3, it is hereinafter referred to as "face information at the time of payment”. May be done.
  • face information at the time of payment is collated with the face information at the time of entering the store included in each of the narrowing list.
  • a narrowing list to which the face information at the time of entering the store whose similarity with the face information at the time of payment exceeds a predetermined threshold is specified as a label is specified.
  • the narrowing list to which the face information at the time of entering the store, which has the maximum similarity with the face information at the time of payment, is attached as a label is specified.
  • the payment face information f face2_U3 of the user U3 is extracted from the shooting data of the second camera 32A, the payment face information f face2_U3 is narrowed down in the order of entering the store, as shown in FIG. visiting time face information f Face1_U1 the write list data L1, visiting at face information f Face1_U3 of visiting at face information f Face1_U2 and narrowing list data L3 of narrowing the list data L2 is collated.
  • the degree of similarity of the settlement during the face information f face2_U3 and enter the store when the face information f face1_U1 is smaller than the similarity of face information f face1_U3 and does not exceed the threshold.
  • the similarity of the settlement at the face information f Face2_U3 and visiting time face information f Face1_U3 is the maximum among the three similarity exceeds a threshold.
  • the narrowed list data L3 to which the face information f face1_U3 at the time of entering the store is attached as a label is specified as a collation target in the vein authentication of the second modality.
  • the input palm vein information detected from the sensor 33 is collated with the registered palm vein information group F Palm_L1 of the narrowed list data L3.
  • the extra narrowing list data L11 is obtained until the user U3's input palm vein information f Palm_U3 is collated with the registered palm vein information F Palm_U3.
  • the collation with the narrowed list data L12 can be omitted.
  • collation with the settlement time of face information face2_U3 not similar to the visiting time face information registering palm vein information group F Palm_L1 associated with f Face1_U1, furthermore, when visiting dissimilar settlement during face information face2_U3
  • the collation with the registered palm vein information group F Palm_L2 associated with the face information f face1_U2 can be skipped.
  • FIG. 1 shows a block corresponding to the above-mentioned multi-biometric authentication service function for each of the server device 10 and the store-side system 30.
  • the store-side system 30 includes a first camera 31A, a first extraction unit 31B, a second camera 32A, a second extraction unit 32B, a sensor 33, and a display unit 35. And have.
  • FIG. 1 merely shows an excerpt of the functional unit related to the multi-biometric authentication service, and the store-side system 30 is provided with a functional unit (not shown) such as the reading unit. Do not interfere.
  • the first camera 31A and the second camera 32A are both functional units that capture a facial image of the first modality.
  • the first camera 31A and the second camera 32A can be realized by an image pickup device equipped with an image pickup device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • an image pickup device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the narrowing down based on the face information is completed by the time the user visits the payment counter from the entrance of the store 3 through the selection and movement of products. It will be used.
  • the first camera 31A is installed in a state where the face of a person entering the store from the entrance of the store 3 can be photographed.
  • the first camera 31A does not necessarily have to be a camera dedicated to the multi-biometric authentication service, and a surveillance camera used in another system, for example, a surveillance system can be shared with the multi-biometric authentication service.
  • the "shooting data" taken by the second camera 32A is used in the aspect of specifying the narrowing list to be collated by the vein authentication of the second modality from a plurality of narrowing lists.
  • the second camera 32A is installed in a state where the face of a person who uses the terminal 32 can be photographed.
  • the second camera 32A can be realized as an in-camera arranged with the lens facing in the same direction as the screen orientation of the display unit 35.
  • the first extraction unit 31B and the second extraction unit 32B are functional units that extract biological information of the first modality.
  • the face information may be the image itself in which the face is photographed, or may be the feature amount of the face extracted from the face image.
  • the first extraction unit 31B and the second extraction unit 32B can use a model in which the embedded space is learned by deep learning or the like, for example, a CNN (Convolutional Neural Network).
  • the first extraction unit 31B and the second extraction unit 32B perform face detection on the output of the first camera 31A or the second camera 32A, for example, an image captured in frame units.
  • the first extraction unit 31B and the second extraction unit 32B input the partial image corresponding to the face region obtained by the face detection, that is, the face image into the CNN in which the embedded space has been learned. This allows an embedded vector to be obtained from the CNN. Then, the first extraction unit 31B and the second extraction unit 32B encrypt the above face information as face information at the time of entering the store or face information at the time of payment according to a predetermined encryption method, for example, an algorithm such as public key encryption. The encrypted and encrypted face information at the time of entering the store or the face information at the time of payment is transmitted to the server device 10.
  • the embedded vector is merely an example of face information, and other feature quantities such as SIFT (Scale-Invariant Feature Transform) may be extracted.
  • SIFT Scale-Invariant Feature Transform
  • the sensor 33 is a functional unit that detects biometric information of the second modality.
  • the sensor 33 captures infrared light having a wavelength suitable for reflecting the blood vessel pattern of veins existing in the palm, for example, lighting irradiating near infrared light and infrared light. It can be realized as a sensor unit including a camera that can be used. For example, when the palm is placed in a predetermined shooting position, infrared light is emitted to the palm by illumination. The infrared light reflected from the inside of the palm and returned is photographed by the camera activated in conjunction with the irradiation of the infrared light.
  • a palm vein image in which the blood vessel pattern of the vein in the palm appears is obtained as a biological image.
  • the sensor 33 extracts the blood vessel portion from the palm vein image and then thins it, and extracts feature quantities such as the coordinates of the branch point in the blood vessel, the length between the branch points, and the branch angle of the branch point as palm vein information. ..
  • the sensor 33 encrypts the palm vein information as input palm vein information according to a predetermined encryption method, for example, an algorithm such as public key cryptography, and then transmits the encrypted palm vein information to the server device 10. do.
  • the display unit 35 is a functional unit that displays various types of information.
  • the display unit 35 can be realized by a liquid crystal display, an organic EL (Electro-Luminescence) display, or the like.
  • the display unit 35 may be realized as a touch panel by integrating with an input unit (not shown).
  • the processor may be mounted on any device of the store-side system 30 described above.
  • a processor mounted on a terminal 32 to which the first camera 31A, the second camera 32A, and the sensor 33 are connected can be used.
  • the processor reads a feature extraction program that realizes the above-mentioned function extraction and the like from a storage device (not shown), for example, a ROM (Read Only Memory) or an auxiliary storage device.
  • the processor executes the above-mentioned feature extraction program to develop a process corresponding to the above-mentioned function on a memory such as a RAM (Random Access Memory).
  • a memory such as a RAM (Random Access Memory).
  • the above functions are virtually realized as a process.
  • a CPU and an MPU are exemplified as an example of a processor, but the above-mentioned functional unit may be realized by an arbitrary processor regardless of a general-purpose type or a specialized type.
  • the above functions may be realized by hard-wired logic such as ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array).
  • FIG. 1 shows an excerpt of the functional part related to the above-mentioned multi-biometric authentication service, and the functional part other than the figure, for example, the functional part that the existing computer is equipped with by default or as an option, For example, it does not prevent the server device 10 from having an input unit, a display unit, or the like.
  • the communication interface unit 11 corresponds to an example of a communication control unit that controls communication with another device, for example, a store-side system 30.
  • the communication interface unit 11 is realized by a network interface card such as a LAN (Local Area Network) card.
  • the communication interface unit 11 receives face information at the time of entering a store from the first extraction unit 31B, face information at the time of payment from the second extraction unit 32B, and receives input palm vein information from the sensor 33. do. Further, the communication interface unit 11 outputs a retry request for personal authentication, an authentication result, a payment processing result, and the like to the display unit 35.
  • LAN Local Area Network
  • the storage unit 13 is a functional unit that stores data used in various programs such as an OS (Operating System) executed by the control unit 15 and an authentication program that realizes the above-mentioned multi-biometric authentication service.
  • OS Operating System
  • the storage unit 13 can be realized by an auxiliary storage device.
  • HDD Hard Disk Drive
  • optical disk optical disk
  • SSD Solid State Drive
  • flash memory such as EPROM (Erasable Programmable Read Only Memory) can also be used for auxiliary storage devices.
  • the storage unit 13 stores the registered data 13A and the narrowed list data L1 to Lm as an example of the data used in the program executed by the control unit 15.
  • the storage unit 13 can store various data such as shooting data of the first camera 31A and the second camera 32A. Since the narrowing list data L1 to Lm has an aspect of being dynamically generated from the shooting data of the first camera 31A, it will be described later in accordance with the description of the functional unit that generates the narrowing list data L1 to Lm.
  • the registration data 13A is data for which a predetermined registration process, for example, user registration has been performed.
  • the registration data 13A it is possible to adopt data in which the registered face information and the registered palm vein information are associated with each identification information of N users, for example, the registrant who has been registered as a user.
  • the registration data 13A may include user attribute information such as name, age, and gender.
  • the control unit 15 is a processing unit that controls the entire server device 10.
  • the control unit 15 is realized by a hardware processor such as a CPU or an MPU.
  • a CPU and an MPU are exemplified as an example of a processor, but it can be implemented by any processor regardless of whether it is a general-purpose type or a specialized type.
  • the control unit 15 may be realized by hard-wired logic such as ASIC or FPGA.
  • the control unit 15 virtually realizes the following processing unit by deploying the above authentication program on a memory (for example, a RAM work area) (not shown). As shown in FIG. 1, the control unit 15 has a first specific unit 15A, a generation unit 15B, a second specific unit 15C, and an authentication unit 15D.
  • a memory for example, a RAM work area
  • the control unit 15 has a first specific unit 15A, a generation unit 15B, a second specific unit 15C, and an authentication unit 15D.
  • the first specific unit 15A refers to the registration data 13A stored in the storage unit 13, and has a second modality associated with the registered face information whose similarity with the face information at the time of entering the store meets a predetermined criterion. It is a processing unit that identifies registered biometric information. As one embodiment, the first specific unit 15A can be activated when the face information at the time of entering the store is received from the first extraction unit 31B. For example, the first specific unit 15A determines the degree of similarity between the registered face information and the face information at the time of entering the store extracted by the first extraction unit 31B for each registered face information included in the registration data 13A. calculate.
  • the Hamming distance between the registered face information and the input face information can be used for the similarity.
  • the first specific unit 15A registers up to a predetermined number of registered palm vein information included in the registration data 13A, for example, up to the top K ( ⁇ N) pieces having a degree of similarity to the face information at the time of entering the store.
  • the registered palm vein information associated with each of the facial information is specified. As a result, the palm vein information of the registered hand is narrowed down from N to K.
  • an example of specifying the registered palm vein information associated with each of the registered face information up to the upper predetermined number of similarities with the face information at the time of entering the store is given. Not limited to this.
  • registration palm similarity between the entering time of the face information is associated with each of the registered face information corresponding to the upper predetermined rate corresponding to such one percent of predetermined narrowing ratio R Nd, for example, subscribers N It is also possible to identify vein information.
  • the generation unit 15B is a processing unit that generates a narrowing list.
  • the generation unit 15B assigns the face information at the time of entering the store extracted by the first extraction unit 31B as a label, and lists the registered palm vein information group specified by the first specific unit 15A.
  • the refined list data Lj is generated.
  • the narrowing list data Lj generated in this way is stored in the storage unit 13.
  • the narrowing list data Lj stored in the storage unit 13 in this way can be deleted when a predetermined condition is satisfied.
  • the narrowed list data Lj used for authentication or payment may be deleted, the narrowed list data Lj may be deleted after a certain period of time, for example, one hour has passed since the storage, or at a regular time, for example, the closing time.
  • the narrowing list data L1 to Lm can be deleted. Further, the narrowing list data Lj does not necessarily have to be deleted, and it is also possible to distinguish between the data after being used for authentication or settlement and the data not used for authentication by using a flag or the like.
  • the second specifying unit 15C is a process for specifying a registered biometric information group narrowed down by using any of the face information at the time of entering the store, based on the degree of similarity between the face information at the time of payment and the face information at the time of entering the store. It is a department.
  • the second specific unit 15C has, for each of the narrowed-down list data L1 to Lm stored in the storage unit 13, the face information at the time of entering the store given as the label of the narrowed-down list data Lj, and the first. The degree of similarity with the face information at the time of settlement extracted by the extraction unit 32B of 2 is calculated.
  • the second specific unit 15C is a narrowing list to which, among the narrowing list data L1 to Lm, the face information at the time of entering the store whose similarity with the face information at the time of payment exceeds a predetermined threshold is given as a label.
  • the data is specified as a narrowing list to be collated in the second modality vein authentication.
  • an example of specifying the narrowed-down list data to which the face information at the time of entering the store, which has the maximum similarity with the face information at the time of payment, is attached as a label is given, but the present invention is not limited to this.
  • narrowed-down list data L1 to Lm it is also possible to specify the narrowed-down list data to which the face information at the time of entering the store, which has the maximum similarity with the face information at the time of settlement, is attached as a label.
  • the authentication unit 15D is a processing unit that executes the authentication process of the second modality.
  • the authentication unit 15D calculates the similarity between the registered palm vein information group included in the narrowed list data specified by the second specific unit 15C and the input palm vein information detected by the sensor 33. do.
  • the cross-correlation obtained by pattern matching of the registered palm vein information and the input palm vein information can be used.
  • the authentication unit 15D authenticates that the palm vein of the input hand belongs to the registrant when there is a palm vein of the registered hand whose similarity with the palm vein of the input hand is equal to or higher than a predetermined threshold value.
  • the authentication unit 15D authenticates that the palm vein of the input hand does not belong to the registrant when there is no palm vein of the registered hand whose similarity with the palm vein of the input hand is equal to or higher than a predetermined threshold value. Then, the authentication unit 15D notifies the store side system 30 of the authentication result, for example, authentication OK or authentication NG. The authentication result notified in this way can be output by the display unit 35 or the like.
  • the server device 10 notifies the store-side system 30 of the authentication result, but the present invention is not limited to this.
  • the server device 10 executes a payment process for a product to be purchased using payment information associated with a user who has been authenticated as the registrant, such as a credit card, a debit card, or electronic money.
  • the payment processing result can be notified to the store side system 30.
  • the server device 10 can also transfer the authentication result to an application that executes payment processing inside or outside the server device 10.
  • FIG. 5 is a diagram showing an example of a control sequence of the first specific process according to the first embodiment. As an example, this process can be executed in units where shooting is performed by the first camera 31A, for example, in frame units.
  • the first extraction unit 31B is characterized by facial features from the face image included in the shooting data acquired in step S101.
  • the amount is extracted (step S102).
  • the first extraction unit 31B notifies the server device 10 of the facial feature amount extracted in step S102 as face information at the time of entering the store (step S103).
  • the first specific unit 15A collates the registered face information with the face information at the time of entering the store notified in step S103 for each registered face information included in the registration data 13A (step S104). Then, the first specific unit 15A has a predetermined number of similarities with the face information at the time of entering the store among the registered palm vein information included in the registration data 13A, for example, the registered face information up to the top K ( ⁇ N) pieces.
  • the registered palm vein information associated with each of the above is specified (step S105).
  • the generation unit 15B attaches the face information at the time of entering the store notified in step S103 as a label, and generates the narrowed list data Lj in which the registered palm vein information group specified in step S105 is listed. (Step S106). After that, the generation unit 15B stores the narrowing list data Lj generated in step S106 in the storage unit 13 (step S107), and ends the process.
  • FIG. 6 is a diagram showing an example of a control sequence of the second specific process according to the first embodiment. As an example, this process can be executed in units where shooting is performed by the second camera 32A, for example, in frame units.
  • the second extraction unit 32B is characterized by facial features from the face image included in the shooting data acquired in step S301.
  • the amount is extracted (step S302).
  • the second extraction unit 32B notifies the server device 10 of the facial feature amount extracted in step S302 as face information at the time of settlement (step S303).
  • step S303 the processing of steps S304A and S305A performed by the server device 10 and the processing of steps S304B and S305B performed by the store-side system 30 are executed in parallel.
  • the second specific unit 15C contains face information at the time of entering the store, which is assigned as a label of the narrowed list data Lj for each of the narrowed list data L1 to Lm stored in the storage unit 13.
  • the face information at the time of payment notified in step S302 is collated.
  • the second specific unit 15C is a narrowing list to which, among the narrowing list data L1 to Lm, the face information at the time of entering the store whose similarity with the face information at the time of payment exceeds a predetermined threshold is given as a label.
  • the data is specified as a narrowing list of matching targets in the second modality vein authentication (step S305A).
  • the sensor 33 detects the feature amount of the palm vein from the palm vein image included in the captured data of the sensor 33 in parallel with the steps S304A and S305A (step S304B). Then, the sensor 33 notifies the server device 10 of the feature amount of the palm vein detected in step S304B as input palm vein information (step S305B).
  • the authentication unit 15D obtains the input palm vein information of the registrant based on the registered palm vein information group included in the narrowed list data specified in step S305A and the input palm vein information notified in step S305B.
  • the authentication process for authenticating whether or not the information is a thing is executed (step S306).
  • the authentication unit 15D notifies the store-side system 30 of the authentication result in step S306 (step S307).
  • the terminal 32 of the store side system 30 is as follows. Execute the process. That is, the terminal 32 executes the payment processing of the product to be purchased by using the payment information associated with the user authenticated to be the registrant, for example, a credit card, a debit card, electronic money, or the like ( Step S309), the process is terminated.
  • step S307 If the authentication result notified in step S307 is authentication NG, that is, if it is authenticated that the palm vein of the input hand does not belong to the registrant (step S308No), the payment process in step S309 is not executed and the process ends as it is. ..
  • the multi-biometric authentication service uses the face information at the time of entering the store, which is similar to the face information at the time of payment, among the registered palm vein information group narrowed down for each face information at the time of entering the store.
  • the narrowed-down registered palm vein information group is collated with the input palm vein information. Therefore, in the multi-biometric authentication service according to the present embodiment, it is possible to omit collation with the biometric information group narrowed down by the face information at the time of entering the store, which is not similar to the face information at the time of payment. Therefore, according to the multi-biometric authentication service according to the present embodiment, it is possible to reduce the authentication time.
  • the server device 10 can store each user in association with the time required from the time when the user's face image is taken by the first camera 31A to the time when the second camera 32A takes a picture. ..
  • the server device 10 has a time difference between the time when the narrowed-down list data is generated and the time when the narrowed-down list data is specified as a collation target in the biometric authentication of the second modality using the face information at the time of payment. Can be calculated as the above required time.
  • the required time calculated in this way can be stored in the registration data 13A in association with the user's identification information.
  • the statistical value of the calculated value and the stored value for example, the average value or the median value may be set as a corner.
  • the server device 10 performs the narrowing down for each of m narrowing down list data L1 to Lm including the new narrowing down list data Lj.
  • the required time associated with the registered face information having the maximum similarity with the face information at the time of entering the store in the built-in list is acquired from the registration data 13A.
  • the server device 10 sorts the m narrowing list data L1 to Lm in ascending order of the required time. After that, the server device 10 stores m sorted list data L1 to Lm sorted in ascending order of required time in the storage unit 13.
  • FIG. 7 is a diagram showing an example of a control sequence of the first specific process according to the application example.
  • the same process as the process shown in FIG. 5 is assigned the same step number, and the process different from the process shown in FIG. 5 is assigned a new step number.
  • the description of the same process as that shown in FIG. 5 will be omitted, and the difference will be excerpted and described.
  • the generation unit 15B inputs the narrowing list for each of m narrowing list data L1 to Lm including the new narrowing list data Lj.
  • the required time associated with the registered face information having the maximum similarity to the store face information is acquired from the registered data 13A, and the m narrowing list data L1 to Lm are sorted in ascending order of the required time (step). S501).
  • the generation unit 15B stores m sorted list data L1 to Lm sorted in ascending order of required time in the storage unit 13 (step S502), and ends the process.
  • step S501 and S502 shown in FIG. 7 m narrowing list data L1 to Lm are stored in the storage unit 13 in order from the narrowing list data having the shortest required time.
  • step S304A shown in FIG. 6 the second specific unit 15C can collate the face information at the time of settlement and the face information at the time of entering the store of each narrowing list in the order of the shortest required time.
  • FIG. 8 is a diagram showing an example of sorted list data.
  • FIG. 8 shows the narrowed-down list data L1 to L3 shown in FIG. 4 sorted in ascending order of required time.
  • FIG. 8 shows, as an example, a case where the magnitude relation of the required time is “narrowing list data L3 ⁇ narrowing list data L1 ⁇ narrowing list data L2”.
  • the face information f face2_U3 at the time of settlement is the face information f face1_U3 at the time of entering the shop of the narrowed list data L3, and the narrowed list data.
  • L1 of the entering time of face information f face1_U1 are collated in the order of visiting at face information f Face1_U2 of narrowing the list data L2.
  • the similarity of the settlement at the face information f Face2_U3 and visiting time face information f Face1_U3 when verifying the payment when face information f Face2_U3 and visiting time face information f Face1_U3 exceeds a threshold value.
  • the function of the multi-biometric authentication service including the server device 10 and the store-side system 30 is operated in the client server system, but the above-mentioned multi-biometric authentication service is operated in a stand-alone manner. It doesn't matter.
  • each modality is not limited to a specific authentication site. For example, it does not prevent the application of other authentication sites such as fingerprints and irises to the second modality.
  • Example 1 empty-handed payment is illustrated as an example of the use case of the above-mentioned multi-biometric authentication service, but other use cases such as the use of an ATM (Automatic Teller Machine) in a financial institution and entry / exit management are also described above. Multi-biometric authentication service can be applied.
  • ATM Automatic Teller Machine
  • FIG. 9 is a diagram showing an example of computer hardware configuration.
  • the computer 100 has a first camera 110a, a second camera 110b, a sensor 110c, a display 120, and a communication unit 130. Further, the computer 100 has a CPU 150, a ROM 160, an HDD 170, and a RAM 180. Each of these 110 to 180 parts is connected via the bus 140.
  • the HDD 170 has an authentication program 170a that exhibits the same functions as the first specific unit 15A, the generation unit 15B, the second specific unit 15C, and the authentication unit 15D shown in the first embodiment. Is remembered.
  • the authentication program 170a may be integrated or separated like the components of the first specific unit 15A, the generation unit 15B, the second specific unit 15C, and the authentication unit 15D shown in FIG. That is, not all the data shown in the first embodiment may be stored in the HDD 170, and the data used for processing may be stored in the HDD 170.
  • the CPU 150 reads the authentication program 170a from the HDD 170 and expands it to the RAM 180.
  • the authentication program 170a functions as the authentication process 180a, as shown in FIG.
  • the authentication process 180a expands various data read from the HDD 170 into an area allocated to the authentication process 180a in the storage area of the RAM 180, and executes various processes using the expanded various data.
  • the process shown in FIGS. 5 to 7 is included.
  • the CPU 150 not all the processing units shown in the first embodiment need to operate, and it is sufficient that the processing units corresponding to the processes to be executed are virtually realized.
  • each program is stored in a "portable physical medium" such as a flexible disk inserted into the computer 100, a so-called FD, a CD-ROM, a DVD disk, a magneto-optical disk, or an IC card. Then, the computer 100 may acquire and execute each program from these portable physical media. Further, each program is stored in another computer or server device connected to the computer 100 via a public line, the Internet, a LAN, a WAN, or the like, and the computer 100 acquires and executes each program from these. You may do it.
  • Authentication system 10 Server device 11 Communication interface unit 13 Storage unit 13A Registration data L1 to Lm Filtered list data 15 Control unit 15A First specific unit 15B Generation unit 15C Second specific unit 15D Authentication unit 30 Store-side system 31A 1st camera 31B 1st extraction unit 32 terminal 32A 2nd camera 32B 2nd extraction unit 33 sensor 35 display unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Collating Specific Patterns (AREA)

Abstract

認証方法では、第１のカメラにより撮影された第１の撮影データ及び第２の撮影データを受け付けると、人物の生体情報を人物の顔画像の特徴情報に対応付けて記憶する記憶部を参照して、第１の撮影データに含まれる第１の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第１の生体情報群と、第２の撮影データに含まれる第２の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第２の生体情報群とを特定し、第２のカメラにより撮影された第３の撮影データを受け付けると、第３の撮影データに含まれる顔画像の特徴情報と、第１の顔画像の特徴情報及び第２の顔画像の特徴情報それぞれとの類似度に基づき、第１の生体情報群及び第２の生体情報群のうち、いずれかの生体情報群を特定し、センサにより検出された生体情報を取得すると、特定した生体情報群に含まれる複数の生体情報と、取得した生体情報とによる認証処理を行う、処理をコンピュータが実行する。

Description

認証方法、認証プログラム及び認証装置
　本発明は、認証技術に関する。
　認証方式の１つとして、１種類の生体情報を用いて多数の人の中から特定の個人を特定する１対Ｎ認証が知られている。１対Ｎ認証は、ＩＤ（IDentification）のキー入力やカードの提示が不要である一方で、単一の生体情報モダリティだけではその精度に限界がある。
　このような背景から、複数種類の生体情報を併用するマルチ生体認証技術の開発が進められている。あくまで一例として、顔認証および静脈認証を併用する認証システムが提案されている。例えば、認証システムでは、店舗の入口に設置された第１撮影装置が店舗の入口から入店する人物の顔を撮影する。このような第１撮影装置により撮影される顔画像を用いてＮ人の利用者の静脈認証登録データから一部の静脈認証登録データが認証候補として絞り込まれる。認証候補として絞り込まれた静脈認証登録データのうち、店舗内のカウンタに設置される第２撮影装置により静脈画像が撮影された時点から過去の所定時間帯の顔画像撮影日時に対応付けられた静脈認証登録データを対象に静脈認証における照合が行われる。
特開２０１９－１２８８８０号公報
　しなしながら、上記の認証システムは、店舗への入店順に不特定多数の認証候補を絞り込むものに過ぎず、認証時間が増大する場合がある。
　すなわち、上記の認証システムでは、過去の所定時間帯の顔画像撮影日時に対応付けられた静脈認証登録データが店舗への入店順に静脈認証の照合に用いられる。ところが、入店の順番とカウンタ到着の順番は必ずしも一致するとは限らない。例えば、店舗へ最後に入店する利用者が最初にカウンタへ訪れる場合、最終入店の利用者よりも先に店舗へ入店した他の利用者の顔画像撮影時に認証候補として絞り込まれた静脈認証登録データが先に照合される。この場合、最後に認証候補として絞り込まれた静脈認証登録データが照合されるまで静脈認証の照合が繰り返される結果、認証時間が増大する。
　１つの側面では、本発明は、認証時間の短縮を実現できる認証方法、認証プログラム及び認証装置を提供することを目的とする。
　一態様の認証方法では、第１のカメラにより撮影された第１の撮影データ及び第２の撮影データを受け付けると、人物の生体情報を前記人物の顔画像の特徴情報に対応付けて記憶する記憶部を参照して、前記第１の撮影データに含まれる第１の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第１の生体情報群と、前記第２の撮影データに含まれる第２の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第２の生体情報群とを特定し、第２のカメラにより撮影された第３の撮影データを受け付けると、前記第３の撮影データに含まれる第３の顔画像の特徴情報と、前記第１の顔画像の特徴情報及び前記第２の顔画像の特徴情報それぞれとの類似度に基づき、前記第１の生体情報群及び前記第２の生体情報群のうち、いずれかの生体情報群を特定し、センサにより検出された生体情報を取得すると、特定した前記生体情報群に含まれる複数の生体情報と、取得した前記生体情報とによる認証処理を行う、処理をコンピュータが実行する。
　認証時間の短縮を実現できる。
図１は、実施例１に係る認証システムに含まれる各装置の機能的構成の一例を示すブロック図である。 図２は、絞込リストデータの一例を示す図である。 図３は、店舗側システムの実装例を示す図である。 図４は、絞込リストデータの一例を示す図である。 図５は、実施例１に係る第１の特定処理の制御シーケンスの一例を示す図である。 図６は、実施例１に係る第２の特定処理の制御シーケンスの一例を示す図である。 図７は、応用例に係る第１の特定処理の制御シーケンスの一例を示す図である。 図８は、ソート後の絞込リストデータの一例を示す図である。 図９は、コンピュータのハードウェア構成例を示す図である。
　以下に添付図面を参照して本願に係る認証方法、認証プログラム及び認証装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
［システム構成の一例］
　図１は、実施例１に係る認証システムに含まれる各装置の機能的構成の一例を示すブロック図である。図１に示す認証システム１は、あくまで１つの側面として、生体情報の登録者数Ｎが数百万や数千万といった規模に拡大され得るユースケースに対応する側面から、複数種類の生体情報を用いて本人を認証するマルチ生体認証サービスを提供するものである。
　図１に示す認証システム１では、ＩＤのキー入力やカードの提示を不要すると共に非接触な認証を実現する側面から、複数種類の生体情報の例として、手のひら静脈および顔情報が用いられる。例えば、登録者数Ｎから本人認証で照合する照合対象者を絞り込む第１モダリティとして顔情報が用いられると共に、第１モダリティにより絞り込まれた照合対象者の中から本人を認証する第２モダリティとして手のひら静脈が用いられる。ここで言う「モダリティ」は、生体情報の種類、あるいは生体識別部位などの用語に対応し得る。
　このような認証システム１のユースケースの一例として、レジ無し店舗や無人レジ、セルフレジ等における購入商品の手ぶら決済時の本人認証にマルチ生体認証サービスを適用する例が挙げられる。
　図１に示すように、認証システム１には、あくまで一例として、サーバ装置１０と、店舗側システム３０とが含まれ得る。これらサーバ装置１０及び店舗側システム３０の間は、任意のネットワークを介して接続され得る。
　サーバ装置１０は、上記のマルチ生体認証サービスを提供するコンピュータの一例である。サーバ装置１０は、認証装置の一例に対応する。一実施形態として、サーバ装置１０は、パッケージソフトウェア又はオンラインソフトウェアとして、上記のマルチ生体認証サービスを実現する認証プログラムを任意のコンピュータにインストールさせることによって実装できる。例えば、サーバ装置１０は、上記のマルチ生体認証サービスに関する機能をオンプレミスに提供するサーバ、例えばＷｅｂサーバとして実装することができる。これに限定されず、サーバ装置１０は、ＳａａＳ（Software　as　a　Service）型のアプリケーションとして実装することで、上記のマルチ生体認証サービスをクラウドサービスとして提供することとしてもかまわない。
　店舗側システム３０は、図１に示す認証システム１のうち店舗側に設けられる構成要素の一例に対応する。例えば、店舗側システム３０は、店舗の入口から入店する人物の顔が撮影された顔画像から第１モダリティの生体情報、例えば顔特徴量を抽出したり、店舗で決済が行われるカウンタで取得される静脈画像から第２モダリティの生体情報、例えば手のひら静脈の特徴量を抽出したりする。
［課題の一側面］
　上記の背景技術の欄で説明したように、上記の従来技術は、店舗への入店順に不特定多数の認証候補を絞り込むものに過ぎず、認証時間が増大する場合がある。
　図２は、絞込リストデータの一例を示す図である。図２には、あくまで一例として、従来技術を用いて生成された３つの絞込リストデータＬ１１～Ｌ１３が例示されている。例えば、絞込リストデータＬ１１には、店舗へ入店する利用者Ｕ１の顔が２０１９年１２月２４日９時００分に撮影された撮影データに含まれる顔画像を用いて絞り込まれた登録手のひら静脈情報群ＦPalm_L11のリストが含まれる。また、絞込リストデータＬ１２には、店舗へ入店する利用者Ｕ２の顔が２０１９年１２月２４日９時０１分に撮影された撮影データに含まれる顔画像を用いて絞り込まれた登録手のひら静脈情報群ＦPalm_L12のリストが含まれる。さらに、絞込リストデータＬ１３には、店舗へ入店する利用者Ｕ３の顔が２０１９年１２月２４日９時０２分に撮影された撮影データに含まれる顔画像を用いて絞り込まれた登録手のひら静脈情報群ＦPalm_L13のリストが含まれる。なお、図２には、利用者登録が行われた登録手のひら静脈情報のうち、入店時に撮影される顔画像から取得された入力顔情報との類似度が上位所定数、例えば上位９個までの登録顔情報に対応付けられた登録手のひら静脈情報が絞り込まれる例が挙げられている。
　このように店舗への入店順が利用者Ｕ１、利用者Ｕ２、利用者Ｕ３の順である場合、店舗のカウンタで取得される入力手のひら静脈情報は、店舗への入店順、すなわち絞込リストデータＬ１１、絞込リストデータＬ１２、絞込リストデータＬ１３の順に照合される。
　ここで、入店の順番とカウンタ到着の順番は必ずしも一致するとは限らない。例えば、利用者Ｕ１、利用者Ｕ２及び利用者Ｕ３の中で店舗へ最後に入店した利用者Ｕ３が最初にカウンタへ訪れる事例も発生し得る。このように店舗のカウンタ等で取得された利用者Ｕ３の入力手のひら静脈情報ｆPalm_U3は、次のような順序で照合されることになる。すなわち、図２に示すように、絞込リストデータＬ１１の登録手のひら静脈情報群ＦPalm_L11、絞込リストデータＬ１２の登録手のひら静脈情報群ＦPalm_L12、絞込リストデータＬ１３の登録手のひら静脈情報群ＦPalm_L13の順に照合される。この場合、利用者Ｕ３の顔画像撮影時に絞り込まれた絞込リストデータＬ１３は、利用者Ｕ３よりも先に入店した利用者Ｕ１及び利用者Ｕ２の顔画像撮影時に絞り込まれた絞込リストデータＬ１１および絞込リストデータＬ１２の後に照合される。
　このように、利用者Ｕ３の入力手のひら静脈情報ｆPalm_U3と一致する登録手のひら静脈情報ＦPalm_U3との照合が行われるまでに、余分な絞込リストデータＬ１１および絞込リストデータＬ１２との照合が行われる結果、認証時間が増大する。このような余分な照合は、利用者Ｕ３よりも先に入店した利用者の数が多くなるほど増加し、さらに、顔画像を用いて絞り込まれる登録手のひら静脈情報の数が多くなるほど増加し得る。
［課題解決のアプローチの一側面］
　そこで、本実施例に係るマルチ生体認証サービスでは、顔情報を用いる絞り込みを２回に分割するアプローチを採用する。あくまで１つ側面として、本実施例に係るマルチ生体認証サービスでは、入店時に撮影される第１モダリティの顔画像を第２モダリティの登録生体情報群を含む絞込リストの生成に用いる。更なる側面として、本実施例に係るマルチ生体認証サービスでは、決済時に撮影される第１モダリティの顔画像を複数の絞込リストから第２モダリティの本人認証で照合対象とする絞込リストの特定に用いる。
　図３は、店舗側システム３０の実装例を示す図である。図３には、レジ無し店舗や無人レジ、セルフレジ等における購入商品の決済時の本人認証にマルチ生体認証サービスを適用する例が示されている。
　図３に示すように、店舗側システム３０には、店舗３の入口から入店する人物の顔を撮影可能な状態で設置される第１のカメラ３１Ａが含まれ得る。さらに、店舗側システム３０には、店舗３の決済カウンタに設置される端末３２が含まれ得る。例えば、端末３２には、商品に付与されたタグやバーコード等から商品情報、例えば商品の名称や金額などを読み取る読取部の他、店舗３の利用者が購入対象とする商品のリストや合計金額などの各種の表示を行う表示部３５などが接続され得る。さらに、店舗側システム３０には、端末３２を利用する人物の顔を撮影可能な状態で設置される第２のカメラ３２Ａが含まれ得る。例えば、第２のカメラ３２Ａは、表示部３５のスクリーンの向きと同一の方向にレンズを向けて配置されるインカメラとして実現され得る。さらに、店舗側システム３０には、端末３２を利用する人物の手のひら静脈を検出するセンサ３３が含まれ得る。
　このような店舗側システム３０の下、１つの側面として、第１のカメラ３１Ａの撮影データに含まれる顔画像から抽出される顔情報、例えば顔特徴量を用いて上記の絞込リストが生成される。ここで、第１のカメラ３１Ａの撮影データに含まれる顔画像から抽出される顔情報は、店舗３への入店時に抽出される側面があるので、以下、「入店時顔情報」と記載する場合がある。例えば、絞込リストは、利用者登録が行われた登録手のひら静脈情報のうち、入店時顔情報との類似度が上位所定数までの登録顔情報の各々に対応付けられた登録手のひら静脈情報をリスト化することにより生成される。このようにリスト化される登録手のひら静脈情報には、入店時顔情報を関連付けることができる。例えば、入店時顔情報は、絞込リストを識別するラベルとして絞込リストに付与することができる。この他、撮影データの撮影日時等の任意の識別情報を介して、入店時顔情報および絞込リストを関連付けることもできる。
　図４は、絞込リストデータの一例を示す図である。図４には、あくまで一例として、本実施例に係るマルチ生体認証サービスにしたがって生成された３つの絞込リストデータＬ１～Ｌ３が例示されている。
　例えば、店舗３へ入店する利用者Ｕ１の顔が２０１９年１２月２４日９時００分に撮影された撮影データに含まれる利用者Ｕ１の顔画像から利用者Ｕ１の入店時顔情報ｆface1_U1が抽出される。このように抽出された利用者Ｕ１の入店時顔情報ｆface1_U1がラベルとして付与されると共に、入店時顔情報ｆface1_U1を用いて絞り込まれた登録手のひら静脈情報群ＦPalm_L1がリスト化された絞込リストデータＬ１が生成される。
　また、店舗３へ入店する利用者Ｕ２の顔が２０１９年１２月２４日９時０１分に撮影された撮影データに含まれる利用者Ｕ２の顔画像から利用者Ｕ２の入店時顔情報ｆface1_U2が抽出される。このように抽出された利用者Ｕ２の入店時顔情報ｆface1_U2がラベルとして付与されると共に、入店時顔情報ｆface1_U2を用いて絞り込まれた登録手のひら静脈情報群ＦPalm_L2がリスト化された絞込リストデータＬ２が生成される。
　さらに、店舗３へ入店する利用者Ｕ３の顔が２０１９年１２月２４日９時０２分に撮影された撮影データに含まれる利用者Ｕ３の顔画像から利用者Ｕ３の入店時顔情報ｆface1_U3が抽出される。このように抽出された利用者Ｕ３の入店時顔情報ｆface1_U3がラベルとして付与されると共に、入店時顔情報ｆface1_U3を用いて絞り込まれた登録手のひら静脈情報群ＦPalm_L3がリスト化された絞込リストデータＬ３が生成される。
　他の側面として、第２のカメラ３２Ａの撮影データに含まれる顔画像から抽出される顔情報、例えば顔特徴量を用いて、複数の絞込リストから第２モダリティの静脈認証で照合対象とする絞込リストが特定される。ここで、第２のカメラ３２Ａの撮影データに含まれる顔画像から抽出される顔情報は、店舗３のカウンタでの決済時に抽出される側面があるので、以下、「決済時顔情報」と記載する場合がある。例えば、決済時顔情報は、絞込リストの各々に含まれる入店時の顔情報と照合される。あくまで一例として、絞込リストのうち、決済時顔情報との類似度が所定の閾値を超える入店時顔情報がラベルとして付与された絞込リストが特定される。他の一例として、絞込リストのうち、決済時顔情報との類似度が最大である入店時顔情報がラベルとして付与された絞込リストが特定される。
　例えば、第２のカメラ３２Ａの撮影データから利用者Ｕ３の決済時顔情報ｆface2_U3が抽出された場合、図４に示すように、決済時顔情報ｆface2_U3は、店舗への入店順に、絞込リストデータＬ１の入店時顔情報ｆface1_U1、絞込リストデータＬ２の入店時顔情報ｆface1_U2及び絞込リストデータＬ３の入店時顔情報ｆface1_U3が照合される。このとき、決済時顔情報ｆface2_U3及び入店時顔情報ｆface1_U1の類似度と、決済時顔情報ｆface2_U3及び入店時顔情報ｆface1_U2の類似度は、決済時顔情報ｆface2_U3及び入店時顔情報ｆface1_U3の類似度よりも小さく、閾値を超えない。一方、決済時顔情報ｆface2_U3及び入店時顔情報ｆface1_U3の類似度は、３つの類似度の間で最大であり、閾値を超える。このため、３つの絞込リストデータＬ１～Ｌ３のうち入店時顔情報ｆface1_U3がラベルとして付与された絞込リストデータＬ３が第２モダリティの静脈認証における照合対象と特定される。この結果、センサ３３から検出される入力手のひら静脈情報が絞込リストデータＬ３の登録手のひら静脈情報群ＦPalm_L1と照合される。
　このように、本実施例に係るマルチ生体認証サービスでは、利用者Ｕ３の入力手のひら静脈情報ｆPalm_U3と一致する登録手のひら静脈情報ＦPalm_U3との照合が行われるまでに、余分な絞込リストデータＬ１１および絞込リストデータＬ１２との照合を省略できる。具体的には、決済時顔情報face2_U3と類似しない入店時顔情報ｆface1_U1に対応付けられた登録手のひら静脈情報群ＦPalm_L1との照合、さらには、決済時顔情報face2_U3と類似しない入店時顔情報ｆface1_U2に対応付けられた登録手のひら静脈情報群ＦPalm_L2との照合をスキップできる。
　したがって、本実施例に係るマルチ生体認証サービスによれば、認証時間の低減を実現することが可能になる。
［店舗側システム３０の構成］
　次に、本実施例に係る店舗側システム３０の機能的構成の一例について説明する。図１には、上記のマルチ生体認証サービスの機能に対応するブロックがサーバ装置１０および店舗側システム３０ごとに示されている。図１に示すように、店舗側システム３０は、第１のカメラ３１Ａと、第１の抽出部３１Ｂと、第２のカメラ３２Ａと、第２の抽出部３２Ｂと、センサ３３と、表示部３５とを有する。なお、図１には、上記のマルチ生体認証サービスに関連する機能部が抜粋して示されているに過ぎず、図示しない機能部、例えば上記の読取部等が店舗側システム３０に備わることを妨げない。
　第１のカメラ３１Ａおよび第２のカメラ３２Ａは、いずれも第１モダリティの顔画像を撮影する機能部である。一実施形態として、これら第１のカメラ３１Ａおよび第２のカメラ３２Ａは、ＣＣＤ（Charge　Coupled　Device）やＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などの撮像素子を搭載する撮像装置により実現できる。
　ここで、第１のカメラ３１Ａが撮影する「撮影データ」には、利用者が店舗３の入口から商品の選択や移動等を経て決済カウンタに訪れるまでに顔情報に基づく絞り込みを終了させる側面で利用される。このような側面から、第１のカメラ３１Ａは、店舗３の入口から入店する人物の顔を撮影可能な状態で設置される。第１のカメラ３１Ａは、必ずしも上記のマルチ生体認証サービス専用のカメラでなくともよく、他のシステム、例えば監視システムで用いられる監視カメラを上記のマルチ生体認証サービスに共用できる。
　また、第２のカメラ３２Ａが撮影する「撮影データ」には、複数の絞込リストの中から第２モダリティの静脈認証で照合対象とする絞込リストを特定する側面で利用される。このような側面から、第２のカメラ３２Ａは、端末３２を利用する人物の顔を撮影可能な状態で設置される。例えば、第２のカメラ３２Ａは、表示部３５のスクリーンの向きと同一の方向にレンズを向けて配置されるインカメラとして実現され得る。
　第１の抽出部３１Ｂおよび第２の抽出部３２Ｂは、第１モダリティの生体情報を抽出する機能部である。例えば、第１モダリティが顔情報である場合、当該顔情報は、顔が撮影された画像そのものであってもよいし、顔の画像から抽出された顔の特徴量であってもよい。以下、顔情報のあくまで一例として、埋め込みベクトルを用いる場合を例示する。この場合、第１の抽出部３１Ｂおよび第２の抽出部３２Ｂは、ディープラーニング等により埋め込み空間の学習が行われたモデル、例えばＣＮＮ（Convolutional　Neural　Network）を用いることができる。例えば、第１の抽出部３１Ｂおよび第２の抽出部３２Ｂは、第１のカメラ３１Ａまたは第２のカメラ３２Ａの出力、例えばフレーム単位で撮像された画像に顔検出を行う。その上で、第１の抽出部３１Ｂおよび第２の抽出部３２Ｂは、顔検出で得られた顔領域に対応する部分画像、すなわち顔画像を埋め込み空間が学習済みであるＣＮＮへ入力する。これによって、ＣＮＮから埋め込みベクトルを得ることができる。その上で、第１の抽出部３１Ｂおよび第２の抽出部３２Ｂは、上記の顔情報を入店時顔情報または決済時顔情報として所定の暗号方式、例えば公開鍵暗号などのアルゴリズムにしたがって暗号化した上で暗号化された入店時顔情報または決済時顔情報をサーバ装置１０へ伝送する。なお、埋め込みベクトルは、顔情報のあくまで一例に過ぎず、他の特徴量、例えばＳＩＦＴ（Scale-Invariant　Feature　Transform）などが抽出されることとしてもよい。
　センサ３３は、第２モダリティの生体情報を検出する機能部である。一実施形態として、センサ３３は、手のひらの内部に存在する静脈の血管パターンを映すのに適切な波長を持つ赤外光、例えば近赤外光を照射する照明と、赤外光を捉えることができるカメラとを含むセンサユニットとして実現できる。例えば、手のひらが所定の撮影位置に載置されると、照明によって赤外光が手のひらに照射される。この赤外光の照射に連動して起動されたカメラによって手のひらの内部から反射して戻ってきた赤外光が撮影される。このような撮影によって、静脈中の赤血球によって赤外光が吸収される結果、手のひらの静脈の血管パターンが現れた手のひら静脈画像が生体画像として得られる。その後、センサ３３は、手のひら静脈画像から血管部分を取り出した上で細線化し、血管における分岐点の座標、分岐点間の長さ、分岐点の分岐角度などの特徴量を手のひら静脈情報として抽出する。その上で、センサ３３は、手のひら静脈情報を入力手のひら静脈情報として所定の暗号方式、例えば公開鍵暗号などのアルゴリズムにしたがって暗号化した上で暗号化された入力手のひら静脈情報をサーバ装置１０へ伝送する。
　表示部３５は、各種の情報を表示する機能部である。あくまで一例として、表示部３５は、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイなどにより実現できる。なお、表示部３５は、図示しない入力部と一体化することにより、タッチパネルとして実現されることとしてもよい。
　なお、第１の抽出部３１Ｂや第２の抽出部３２Ｂの他、センサ３３で行われる一部の処理、例えば手のひら静脈の特徴抽出等の機能は、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等のハードウェアプロセッサにより仮想的に実現され得る。ここで、プロセッサは、上記の店舗側システム３０の如何なる装置に搭載されるものであってもかまわない。あくまで一例として、第１のカメラ３１Ａ、第２のカメラ３２Ａ及びセンサ３３が接続される端末３２に搭載されたプロセッサを利用できる。例えば、プロセッサは、図示しない記憶装置、例えばＲＯＭ（Read　Only　Memory）、あるいは補助記憶装置から、上記の特徴抽出等の機能を実現する特徴抽出プログラムを読み出す。その上で、プロセッサは、上記の特徴抽出プログラムを実行することにより、ＲＡＭ（Random　Access　Memory）等のメモリ上に上記の機能に対応するプロセスを展開する。この結果、上記の機能がプロセスとして仮想的に実現される。ここでは、プロセッサの一例として、ＣＰＵやＭＰＵを例示したが、汎用型および特化型を問わず、任意のプロセッサにより上記の機能部が実現されることとしてもかまわない。この他、上記の機能は、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）などのハードワイヤードロジックによって実現されることとしてもかまわない。
［サーバ装置１０の構成］
　次に、本実施例に係るサーバ装置１０の機能的構成の一例について説明する。図１に示すように、サーバ装置１０は、通信インタフェイス部１１と、記憶部１３と、制御部１５とを有する。なお、図１には、上記のマルチ生体認証サービスに関連する機能部が抜粋して示されているに過ぎず、図示以外の機能部、例えば既存のコンピュータがデフォルトまたはオプションで装備する機能部、例えば入力部や表示部等がサーバ装置１０に備わることを妨げない。
　通信インタフェイス部１１は、他の装置、例えば店舗側システム３０との間で通信制御を行う通信制御部の一例に対応する。
　あくまで一例として、通信インタフェイス部１１は、ＬＡＮ（Local　Area　Network）カードなどのネットワークインターフェイスカードにより実現される。例えば、通信インタフェイス部１１は、第１の抽出部３１Ｂから入店時顔情報を受け付けたり、第２の抽出部３２Ｂから決済時顔情報を受け付けたり、センサ３３から入力手のひら静脈情報を受け付けたりする。また、通信インタフェイス部１１は、本人認証のリトライ要求、認証結果や決済処理結果などを表示部３５へ出力する。
　記憶部１３は、制御部１５で実行されるＯＳ（Operating　System）を始め、上記のマルチ生体認証サービスを実現する認証プログラムなどの各種プログラムに用いられるデータを記憶する機能部である。
　一実施形態として、記憶部１３は、補助記憶装置により実現され得る。例えば、ＨＤＤ（Hard　Disk　Drive）や光ディスク、ＳＳＤ（Solid　State　Drive）などが補助記憶装置に対応する。この他、ＥＰＲＯＭ（Erasable　Programmable　Read　Only　Memory)などのフラッシュメモリも補助記憶装置に対応し得る。
　記憶部１３は、制御部１５で実行されるプログラムに用いられるデータの一例として、登録データ１３Ａと、絞込リストデータＬ１～Ｌｍとを記憶する。これら登録データ１３Ａや絞込リストデータＬ１～Ｌｍ以外にも、記憶部１３は、第１のカメラ３１Ａや第２のカメラ３２Ａの撮影データなどの各種のデータを記憶することができる。なお、絞込リストデータＬ１～Ｌｍは、第１のカメラ３１Ａの撮影データからダイナミックに生成される側面があるので、絞込リストデータＬ１～Ｌｍを生成する機能部の説明に合わせて後述する。
　登録データ１３Ａは、所定の登録処理、例えば利用者登録が行われたデータである。例えば、登録データ１３Ａには、Ｎ人の利用者、例えば利用者登録が行われた登録者の識別情報ごとに登録顔情報および登録手のひら静脈情報が対応付けられたデータを採用できる。これら登録顔情報および登録手のひら静脈情報の例として、利用者登録時に撮影された撮影データの顔画像や静脈画像から抽出された顔情報および手のひら静脈情報が登録される。なお、登録データ１３Ａには、上記の項目の他、利用者の属性情報、例えば氏名や年齢、性別などが含まれることとしてもかまわない。
　制御部１５は、サーバ装置１０の全体制御を行う処理部である。一実施形態として、制御部１５は、ＣＰＵやＭＰＵなどのハードウェアプロセッサにより実現される。ここでは、プロセッサの一例として、ＣＰＵやＭＰＵを例示したが、汎用型および特化型を問わず、任意のプロセッサにより実装することができる。この他、制御部１５は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによって実現されてもよい。
　制御部１５は、図示しないメモリ、例えばＲＡＭのワークエリア上に、上記の認証プログラムを展開することにより、下記の処理部を仮想的に実現する。図１に示すように、制御部１５は、第１の特定部１５Ａと、生成部１５Ｂと、第２の特定部１５Ｃと、認証部１５Ｄとを有する。
　第１の特定部１５Ａは、記憶部１３に記憶された登録データ１３Ａを参照して、入店時顔情報との類似度が所定の基準を満たす登録顔情報に対応付けられた第２モダリティの登録生体情報を特定する処理部である。一実施形態として、第１の特定部１５Ａは、第１の抽出部３１Ｂから入店時顔情報を受け付けた場合に起動し得る。例えば、第１の特定部１５Ａは、登録データ１３Ａに含まれる登録顔情報ごとに、当該登録顔情報と、第１の抽出部３１Ｂにより抽出された入店時顔情報との間で類似度を算出する。あくまで一例として、顔情報として埋め込みベクトルが抽出される場合、類似度には、登録顔情報および入力顔情報の間のハミング距離を用いることができる。その上で、第１の特定部１５Ａは、登録データ１３Ａに含まれる登録手のひら静脈情報のうち、入店時顔情報との類似度が上位所定数、例えば上位Ｋ（＜Ｎ）個までの登録顔情報の各々に対応付けられた登録手のひら静脈情報を特定する。これによって、登録手のひら静脈情報は、Ｎ個からＫ個まで絞り込まれる。
　なお、ここでは、上記の基準の一例として、入店時顔情報との類似度が上位所定数までの登録顔情報の各々に対応付けられた登録手のひら静脈情報を特定する例を挙げたが、これに限定されない。例えば、入店時顔情報との類似度が所定の絞込率ＲＮｄ、例えば登録者数Ｎの１％などに対応する上位所定割合に該当する登録顔情報の各々に対応付けられた登録手のひら静脈情報を特定することもできる。
　生成部１５Ｂは、絞込リストを生成する処理部である。一実施形態として、生成部１５Ｂは、第１の抽出部３１Ｂにより抽出された入店時顔情報をラベルとして付与すると共に、第１の特定部１５Ａにより特定された登録手のひら静脈情報群がリスト化された絞込リストデータＬｊを生成する。このように生成された絞込リストデータＬｊが記憶部１３に保存される。このように記憶部１３へ保存された絞込リストデータＬｊは、所定の条件を満たす場合に削除することができる。例えば、認証または決済に使用された絞込リストデータＬｊを削除したり、保存後から一定期間、例えば１時間が経過した場合に絞込リストデータＬｊを削除したり、定期時刻、例えば閉店時刻になったりした場合に絞込リストデータＬ１～Ｌｍを削除したりすることができる。また、絞込リストデータＬｊは、必ずしも削除せずともよく、認証または決済に使用後のものと未使用のものとの間でフラグ等を用いて区別することもできる。
　第２の特定部１５Ｃは、決済時顔情報と入店時顔情報との間の類似度に基づいて、いずれかの入店時顔情報を用いて絞り込まれた登録生体情報群を特定する処理部である。一実施形態として、第２の特定部１５Ｃは、記憶部１３に記憶された絞込リストデータＬ１～Ｌｍごとに、当該絞込リストデータＬｊのラベルとして付与された入店時顔情報と、第２の抽出部３２Ｂにより抽出された決済時顔情報との類似度を算出する。その上で、第２の特定部１５Ｃは、絞込リストデータＬ１～Ｌｍのうち、決済時顔情報との類似度が所定の閾値を超える入店時顔情報がラベルとして付与された絞込リストデータを第２モダリティの静脈認証における照合対象の絞込リストとして特定する。なお、ここでは、決済時顔情報との類似度が最大である入店時顔情報がラベルとして付与された絞込リストデータを特定する例を挙げたが、これに限定されない。例えば、絞込リストデータＬ１～Ｌｍのうち、決済時顔情報との類似度が最大である入店時顔情報がラベルとして付与された絞込リストデータを特定することもできる。
　認証部１５Ｄは、第２モダリティの認証処理を実行する処理部である。一実施形態として、認証部１５Ｄは、第２の特定部１５Ｃにより特定された絞込リストデータに含まれる登録手のひら静脈情報群と、センサ３３により検出された入力手のひら静脈情報との類似度を算出する。このような類似度の一例として、登録手のひら静脈情報および入力手のひら静脈情報のパターンマッチングで得られる相互相関を用いることができる。このとき、認証部１５Ｄは、入力手のひら静脈との類似度が所定の閾値以上である登録手のひら静脈が存在する場合、入力手のひら静脈が登録者本人のものであると認証する。一方、認証部１５Ｄは、入力手のひら静脈との類似度が所定の閾値以上である登録手のひら静脈が存在しない場合、入力手のひら静脈が登録者本人のものでないと認証する。その上で、認証部１５Ｄは、認証結果、例えば認証ＯＫまたは認証ＮＧを店舗側システム３０へ通知する。このように通知された認証結果は、表示部３５等で出力され得る。
　なお、ここでは、サーバ装置１０が認証結果を店舗側システム３０へ通知する例を挙げたが、これに限定されない。例えば、サーバ装置１０は、登録者本人であると認証された利用者に対応付けられた決済情報、例えばクレジットカードやデビッドカード、電子マネー等を用いて購入対象とする商品の決済処理を実行し、決済処理結果を店舗側システム３０へ通知することもできる。この他、サーバ装置１０は、サーバ装置１０の内部または外部で決済処理を実行するアプリケーションへ認証結果を転送することもできる。
［処理の流れ］
　次に、本実施例に係るサーバ装置１０の処理の流れについて説明する。以下、サーバ装置１０により実行される（１）第１の特定処理を説明した後に、（２）第２の特定処理を説明することとする。
（１）第１の特定処理
　図５は、実施例１に係る第１の特定処理の制御シーケンスの一例を示す図である。この処理は、あくまで一例として、第１のカメラ３１Ａにより撮影が行われる単位、例えばフレーム単位で実行することができる。
　図５に示すように、第１のカメラ３１Ａの撮影データが取得されると（ステップＳ１０１）、第１の抽出部３１Ｂは、ステップＳ１０１で取得された撮影データに含まれる顔画像から顔の特徴量を抽出する（ステップＳ１０２）。続いて、第１の抽出部３１Ｂは、ステップＳ１０２で抽出された顔の特徴量を入店時顔情報としてサーバ装置１０へ通知する（ステップＳ１０３）。
　続いて、第１の特定部１５Ａは、登録データ１３Ａに含まれる登録顔情報ごとに、当該登録顔情報と、ステップＳ１０３で通知された入店時顔情報とを照合する（ステップＳ１０４）。そして、第１の特定部１５Ａは、登録データ１３Ａに含まれる登録手のひら静脈情報のうち、入店時顔情報との類似度が上位所定数、例えば上位Ｋ（＜Ｎ）個までの登録顔情報の各々に対応付けられた登録手のひら静脈情報を特定する（ステップＳ１０５）。
　その上で、生成部１５Ｂは、ステップＳ１０３で通知された入店時顔情報をラベルとして付与すると共に、ステップＳ１０５で特定された登録手のひら静脈情報群がリスト化された絞込リストデータＬｊを生成する（ステップＳ１０６）。その後、生成部１５Ｂは、ステップＳ１０６で生成された絞込リストデータＬｊを記憶部１３に保存し（ステップＳ１０７）、処理を終了する。
（２）第２の特定処理
　図６は、実施例１に係る第２の特定処理の制御シーケンスの一例を示す図である。この処理は、あくまで一例として、第２のカメラ３２Ａにより撮影が行われる単位、例えばフレーム単位で実行することができる。
　図６に示すように、第２のカメラ３２Ａの撮影データが取得されると（ステップＳ３０１）、第２の抽出部３２Ｂは、ステップＳ３０１で取得された撮影データに含まれる顔画像から顔の特徴量を抽出する（ステップＳ３０２）。続いて、第２の抽出部３２Ｂは、ステップＳ３０２で抽出された顔の特徴量を決済時顔情報としてサーバ装置１０へ通知する（ステップＳ３０３）。
　以下、上記のステップＳ３０３の実行後、サーバ装置１０で行われるステップＳ３０４Ａ及びステップＳ３０５Ａの処理と、店舗側システム３０で行われるステップＳ３０４Ｂ及びステップＳ３０５Ｂの処理とは、並列に実行される。
　例えば、ステップＳ３０４Ａでは、第２の特定部１５Ｃは、記憶部１３に記憶された絞込リストデータＬ１～Ｌｍごとに、当該絞込リストデータＬｊのラベルとして付与された入店時顔情報と、ステップＳ３０２で通知された決済時顔情報とを照合する。
　その上で、第２の特定部１５Ｃは、絞込リストデータＬ１～Ｌｍのうち、決済時顔情報との類似度が所定の閾値を超える入店時顔情報がラベルとして付与された絞込リストデータを第２モダリティの静脈認証における照合対象の絞込リストとして特定する（ステップＳ３０５Ａ）。
　一方、センサ３３は、ステップＳ３０４Ａ及びステップＳ３０５Ａと並行して、センサ３３の撮影データに含まれる手のひら静脈画像から手のひら静脈の特徴量を検出する（ステップＳ３０４Ｂ）。そして、センサ３３は、ステップＳ３０４Ｂで検出された手のひら静脈の特徴量を入力手のひら静脈情報としてサーバ装置１０へ通知する（ステップＳ３０５Ｂ）。
　その後、認証部１５Ｄは、ステップＳ３０５Ａで特定された絞込リストデータに含まれる登録手のひら静脈情報群と、ステップＳ３０５Ｂで通知された入力手のひら静脈情報とに基づいて入力手のひら静脈情報が登録者本人のものであるか否かを認証する認証処理を実行する（ステップＳ３０６）。その上で、認証部１５Ｄは、ステップＳ３０６における認証結果を店舗側システム３０へ通知する（ステップＳ３０７）。
　このとき、ステップＳ３０７で通知された認証結果が認証ＯＫ、すなわち入力手のひら静脈が登録者本人のものであると認証された場合（ステップＳ３０８Ｙｅｓ）、店舗側システム３０の端末３２は、次のような処理を実行する。すなわち、端末３２は、登録者本人であると認証された利用者に対応付けられた決済情報、例えばクレジットカードやデビッドカード、電子マネー等を用いて購入対象とする商品の決済処理を実行し（ステップＳ３０９）、処理を終了する。
　なお、ステップＳ３０７で通知された認証結果が認証ＮＧ、すなわち入力手のひら静脈が登録者本人のものでないと認証された場合（ステップＳ３０８Ｎｏ）、ステップＳ３０９の決済処理は実行されず、そのまま処理を終了する。
［効果の一側面］
　上述してきたように、本実施例に係るマルチ生体認証サービスは、入店時顔情報ごとに絞り込まれた登録手のひら静脈情報群のうち、決済時顔情報と類似する入店時顔情報を用いて絞り込まれた登録手のひら静脈情報群を入力手のひら静脈情報と照合する。このため、本実施例に係るマルチ生体認証サービスでは、決済時顔情報と類似しない入店時顔情報で絞り込んだ生体情報群との照合を省略できる。したがって、本実施例に係るマルチ生体認証サービスによれば、認証時間の低減を実現することが可能である。
　さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
［所要時間を用いるソート］
　上記の実施例１では、決済時顔情報および各絞込リストの入店時顔情報の照合は、店舗３への入店順、すなわち入店時顔情報の抽出に用いる顔画像が撮影された順に行われる例を挙げたが、必ずしも店舗３への入店順でなくともかまわない。
　例えば、サーバ装置１０は、利用者ごとに当該利用者の顔画像が第１のカメラ３１Ａに撮影されてから第２のカメラ３２Ａに撮影されるまでの所要時間を対応付けて記憶することができる。あくまで一例として、サーバ装置１０は、絞込リストデータが生成された時間と、当該絞込リストデータが決済時顔情報を用いて第２モダリティの生体認証における照合対象として特定された時間との時間差を上記の所要時間として算出することができる。このように算出された所要時間は、利用者の識別情報に対応付けて登録データ１３Ａに格納することができる。このとき、登録データ１３Ａに初期値、例えばＮＵＬＬ値以外の値が既に保存されている場合、算出値および保存値の統計値、例えば平均値や中央値を角にすることとすればよい。
　このような所要時間の管理の下、サーバ装置１０は、新規の絞込リストデータが生成された場合、新規の絞込リストデータＬｊを含むｍ個の絞込リストデータＬ１～Ｌｍごとに当該絞込リストの入店時顔情報との類似度が最大である登録顔情報に対応付けられた所要時間を登録データ１３Ａから取得する。そして、サーバ装置１０は、ｍ個の絞込リストデータＬ１～Ｌｍを所要時間の昇順にソートする。その後、サーバ装置１０は、所要時間の昇順にソート後のｍ個の絞込リストデータＬ１～Ｌｍを記憶部１３に保存する。
　図７は、応用例に係る第１の特定処理の制御シーケンスの一例を示す図である。図７には、図５に示された処理と同一の処理には同一のステップ番号が付与されると共に図５に示された処理と異なる処理には新規のステップ番号が付与されている。なお、ここでは、図５に示された処理と同一の処理の説明を省略し、差分を抜粋して説明することとする。
　すなわち、ステップＳ１０６で新規の絞込リストデータＬｊが生成された後、生成部１５Ｂは、新規の絞込リストデータＬｊを含むｍ個の絞込リストデータＬ１～Ｌｍごとに当該絞込リストの入店時顔情報との類似度が最大である登録顔情報に対応付けられた所要時間を登録データ１３Ａから取得し、ｍ個の絞込リストデータＬ１～Ｌｍを所要時間の昇順にソートする（ステップＳ５０１）。
　その上で、生成部１５Ｂは、所要時間の昇順にソート後のｍ個の絞込リストデータＬ１～Ｌｍを記憶部１３に保存し（ステップＳ５０２）、処理を終了する。
　図７に示すステップＳ５０１及びステップＳ５０２の処理によって、記憶部１３には、所要時間が短い絞込リストデータから順にｍ個の絞込リストデータＬ１～Ｌｍが記憶されることになる。これによって、第２の特定部１５Ｃは、図６に示されたステップＳ３０４Ａにおいて、決済時顔情報および各絞込リストの入店時顔情報の照合を所要時間が短い順に行うことができる。
　図８は、ソート後の絞込リストデータの一例を示す図である。図８には、図４に示された絞込リストデータＬ１～Ｌ３が所要時間の昇順にソートされたものが示されている。図８には、あくまで一例として、所要時間の大小関係が「絞込リストデータＬ３＜絞込リストデータＬ１＜絞込リストデータＬ２」である場合が示されている。
　図８に示すように、所要時間の昇順にソート後の絞込リストデータＬ１～Ｌ３では、決済時顔情報ｆface2_U3は、絞込リストデータＬ３の入店時顔情報ｆface1_U3、絞込リストデータＬ１の入店時顔情報ｆface1_U1、絞込リストデータＬ２の入店時顔情報ｆface1_U2の順に照合される。この場合、決済時顔情報ｆface2_U3及び入店時顔情報ｆface1_U3の照合時に決済時顔情報ｆface2_U3及び入店時顔情報ｆface1_U3の類似度が閾値を超える。それ故、図４に示す例と比べて、決済時顔情報ｆface2_U3と、絞込リストデータＬ１の入店時顔情報ｆface1_U1および絞込リストデータＬ２の入店時顔情報ｆface1_U2との照合を省略できる。
　以上のように、ｍ個の絞込リストデータＬ１～Ｌｍを所要時間の昇順にソートすることで、決済時顔情報および各絞込リストの入店時顔情報の照合時間を低減できる。なお、ここでは、記憶部１３への保存時にソートを実行する例を挙げたが、必ずしも保存時にソートを実行せずともよく、図６に示すステップＳ３０４Ａの参照時にソートを実行することもできる。
［スタンドアローンへの適用］
　上記の実施例１では、サーバ装置１０および店舗側システム３０を含むマルチ生体認証サービスの機能がクライアントサーバシステムで動作される例を挙げたが、上記のマルチ生体認証サービスはスタンドアローンで動作されることとしてもかまわない。
［モダリティの応用例］
　上記の実施例１では、第２モダリティが手のひら静脈である例を挙げたが、各モダリティは特定の認証部位に限定されない。例えば、第２モダリティに指紋や虹彩などの他の認証部位を適用することを妨げない。
［ユースケースの応用例］
　上記の実施例１では、上記のマルチ生体認証サービスのユースケースの一例として手ぶら決済を例示したが、金融機関におけるＡＴＭ（Automatic　Teller　Machine）の利用や入退室管理などの他のユースケースにも上記のマルチ生体認証サービスを適用できる。
［認証プログラム］
　また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図９を用いて、上記の実施例１及び実施例２に係る認証プログラムを実行するコンピュータの一例について説明する。
　図９は、コンピュータのハードウェア構成例を示す図である。図９に示すように、コンピュータ１００は、第１のカメラ１１０ａと、第２のカメラ１１０ｂと、センサ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０～１８０の各部はバス１４０を介して接続される。
　ＨＤＤ１７０には、図９に示すように、上記の実施例１で示した第１の特定部１５Ａ、生成部１５Ｂ、第２の特定部１５Ｃ及び認証部１５Ｄと同様の機能を発揮する認証プログラム１７０ａが記憶される。この認証プログラム１７０ａは、図１に示した第１の特定部１５Ａ、生成部１５Ｂ、第２の特定部１５Ｃ及び認証部１５Ｄの各構成要素と同様、統合又は分離してもかまわない。すなわち、ＨＤＤ１７０には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７０に格納されればよい。
　このような環境の下、ＣＰＵ１５０は、ＨＤＤ１７０から認証プログラム１７０ａを読み出した上でＲＡＭ１８０へ展開する。この結果、認証プログラム１７０ａは、図９に示すように、認証プロセス１８０ａとして機能する。この認証プロセス１８０ａは、ＲＡＭ１８０が有する記憶領域のうち認証プロセス１８０ａに割り当てられた領域にＨＤＤ１７０から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、認証プロセス１８０ａが実行する処理の一例として、図５～図７に示す処理などが含まれる。なお、ＣＰＵ１５０では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。
　なお、上記の認証プログラム１７０ａは、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶されておらずともかまわない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。
　　　１　　認証システム
　　１０　　サーバ装置
　　１１　　通信インタフェイス部
　　１３　　記憶部
　　１３Ａ　登録データ
　　Ｌ１～Ｌｍ　絞込リストデータ
　　１５　　制御部
　　１５Ａ　第１の特定部
　　１５Ｂ　生成部
　　１５Ｃ　第２の特定部
　　１５Ｄ　認証部
　　３０　　店舗側システム
　　３１Ａ　第１のカメラ
　　３１Ｂ　第１の抽出部
　　３２　　端末
　　３２Ａ　第２のカメラ
　　３２Ｂ　第２の抽出部
　　３３　　センサ
　　３５　　表示部


 

Claims (18)

  1. 　第１のカメラにより撮影された第１の撮影データ及び第２の撮影データを受け付けると、人物の生体情報を前記人物の顔画像の特徴情報に対応付けて記憶する記憶部を参照して、前記第１の撮影データに含まれる第１の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第１の生体情報群と、前記第２の撮影データに含まれる第２の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第２の生体情報群とを特定し、
    　第２のカメラにより撮影された第３の撮影データを受け付けると、前記第３の撮影データに含まれる第３の顔画像の特徴情報と、前記第１の顔画像の特徴情報及び前記第２の顔画像の特徴情報それぞれとの類似度に基づき、前記第１の生体情報群及び前記第２の生体情報群のうち、いずれかの生体情報群を特定し、
    　センサにより検出された生体情報を取得すると、特定した前記生体情報群に含まれる複数の生体情報と、取得した前記生体情報とによる認証処理を行う、
    　処理をコンピュータが実行することを特徴とする認証方法。
  2. 　前記第１の生体情報群のリストに前記第１の顔画像の特徴情報のラベルが付与された第１のリストデータと、前記第２の生体情報群のリストに前記第２の顔画像の特徴情報のラベルが付与された第２のリストデータとを生成する処理を前記コンピュータがさらに実行し、
    　前記特定する処理は、前記第３の顔画像の特徴情報と前記第１のリストデータのラベルとの類似度と、前記第３の顔画像の特徴情報および前記第２のリストデータのラベルとの類似度とのうち、類似度が基準を満たすラベルが付与されたリストデータに含まれる生体情報群を特定する処理を含む請求項１に記載の認証方法。
  3. 　前記特定する処理は、前記第３の顔画像の特徴情報と前記第１のリストデータのラベルとの類似度と、前記第３の顔画像の特徴情報および前記第２のリストデータのラベルとの類似度とのうち、類似度が閾値を超えるラベルが付与されたリストデータに含まれる生体情報群を特定する処理を含む請求項２に記載の認証方法。
  4. 　前記特定する処理は、前記第３の顔画像の特徴情報と前記第１のリストデータのラベルとの類似度と、前記第３の顔画像の特徴情報および前記第２のリストデータのラベルとの類似度とのうち、類似度が最大であるラベルが付与されたリストデータに含まれる生体情報群を特定する処理を含む請求項２に記載の認証方法。
  5. 　前記記憶部は、前記人物の顔画像が前記第１のカメラに撮影されてから前記第２のカメラに撮影されるまでの所要時間をさらに記憶し、
    　前記特定する処理は、前記第３の顔画像の特徴情報と、前記第１のリストデータのラベルおよび前記第２のリストデータのラベルそれぞれとの照合を前記所要時間の昇順に行う処理を含む請求項２に記載の認証方法。
  6. 　前記認証処理は、手のひら静脈の認証処理であることを特徴とする請求項１に記載の認証方法。
  7. 　第１のカメラにより撮影された第１の撮影データ及び第２の撮影データを受け付けると、人物の生体情報を前記人物の顔画像の特徴情報に対応付けて記憶する記憶部を参照して、前記第１の撮影データに含まれる第１の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第１の生体情報群と、前記第２の撮影データに含まれる第２の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第２の生体情報群とを特定し、
    　第２のカメラにより撮影された第３の撮影データを受け付けると、前記第３の撮影データに含まれる第３の顔画像の特徴情報と、前記第１の顔画像の特徴情報及び前記第２の顔画像の特徴情報それぞれとの類似度に基づき、前記第１の生体情報群及び前記第２の生体情報群のうち、いずれかの生体情報群を特定し、
    　センサにより検出された生体情報を取得すると、特定した前記生体情報群に含まれる複数の生体情報と、取得した前記生体情報とによる認証処理を行う、
    　処理をコンピュータに実行させることを特徴とする認証プログラム。
  8. 　前記第１の生体情報群のリストに前記第１の顔画像の特徴情報のラベルが付与された第１のリストデータと、前記第２の生体情報群のリストに前記第２の顔画像の特徴情報のラベルが付与された第２のリストデータとを生成する処理を前記コンピュータにさらに実行させ、
    　前記特定する処理は、前記第３の顔画像の特徴情報と前記第１のリストデータのラベルとの類似度と、前記第３の顔画像の特徴情報および前記第２のリストデータのラベルとの類似度とのうち、類似度が基準を満たすラベルが付与されたリストデータに含まれる生体情報群を特定する処理を含む請求項７に記載の認証プログラム。
  9. 　前記特定する処理は、前記第３の顔画像の特徴情報と前記第１のリストデータのラベルとの類似度と、前記第３の顔画像の特徴情報および前記第２のリストデータのラベルとの類似度とのうち、類似度が閾値を超えるラベルが付与されたリストデータに含まれる生体情報群を特定する処理を含む請求項８に記載の認証プログラム。
  10. 　前記特定する処理は、前記第３の顔画像の特徴情報と前記第１のリストデータのラベルとの類似度と、前記第３の顔画像の特徴情報および前記第２のリストデータのラベルとの類似度とのうち、類似度が最大であるラベルが付与されたリストデータに含まれる生体情報群を特定する処理を含む請求項８に記載の認証プログラム。
  11. 　前記記憶部は、前記人物の顔画像が前記第１のカメラに撮影されてから前記第２のカメラに撮影されるまでの所要時間をさらに記憶し、
    　前記特定する処理は、前記第３の顔画像の特徴情報と、前記第１のリストデータのラベルおよび前記第２のリストデータのラベルそれぞれとの照合を前記所要時間の昇順に行う処理を含む請求項８に記載の認証プログラム。
  12. 　前記認証処理は、手のひら静脈の認証処理であることを特徴とする請求項７に記載の認証プログラム。
  13. 　第１のカメラにより撮影された第１の撮影データ及び第２の撮影データを受け付けると、人物の生体情報を前記人物の顔画像の特徴情報に対応付けて記憶する記憶部を参照して、前記第１の撮影データに含まれる第１の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第１の生体情報群と、前記第２の撮影データに含まれる第２の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第２の生体情報群とを特定する第１の特定部と、
    　第２のカメラにより撮影された第３の撮影データを受け付けると、前記第３の撮影データに含まれる第３の顔画像の特徴情報と、前記第１の顔画像の特徴情報及び前記第２の顔画像の特徴情報それぞれとの類似度に基づき、前記第１の生体情報群及び前記第２の生体情報群のうち、いずれかの生体情報群を特定する第２の特定部と、
    　センサにより検出された生体情報を取得すると、特定した前記生体情報群に含まれる複数の生体情報と、取得した前記生体情報とによる認証処理を行う認証部と、
    　を有することを特徴とする認証装置。
  14. 　前記第１の生体情報群のリストに前記第１の顔画像の特徴情報のラベルが付与された第１のリストデータと、前記第２の生体情報群のリストに前記第２の顔画像の特徴情報のラベルが付与された第２のリストデータとを生成する生成部をさらに有し、
    　前記第２の特定部は、前記第３の顔画像の特徴情報と前記第１のリストデータのラベルとの類似度と、前記第３の顔画像の特徴情報および前記第２のリストデータのラベルとの類似度とのうち、類似度が基準を満たすラベルが付与されたリストデータに含まれる生体情報群を特定する請求項１３に記載の認証装置。
  15. 　前記第２の特定部は、前記第３の顔画像の特徴情報と前記第１のリストデータのラベルとの類似度と、前記第３の顔画像の特徴情報および前記第２のリストデータのラベルとの類似度とのうち、類似度が閾値を超えるラベルが付与されたリストデータに含まれる生体情報群を特定する請求項１４に記載の認証装置。
  16. 　前記第２の特定部は、前記第３の顔画像の特徴情報と前記第１のリストデータのラベルとの類似度と、前記第３の顔画像の特徴情報および前記第２のリストデータのラベルとの類似度とのうち、類似度が最大であるラベルが付与されたリストデータに含まれる生体情報群を特定する請求項１４に記載の認証装置。
  17. 　前記記憶部は、前記人物の顔画像が前記第１のカメラに撮影されてから前記第２のカメラに撮影されるまでの所要時間をさらに記憶し、
    　前記第２の特定部は、前記第３の顔画像の特徴情報と、前記第１のリストデータのラベルおよび前記第２のリストデータのラベルそれぞれとの照合を前記所要時間の昇順に行う処理を含む請求項１４に記載の認証装置。
  18. 　前記認証処理は、手のひら静脈の認証処理であることを特徴とする請求項１３に記載の認証装置。
PCT/JP2020/019328 2020-05-14 2020-05-14 認証方法、認証プログラム及び認証装置 WO2021229763A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP20935628.6A EP4152183A4 (en) 2020-05-14 2020-05-14 AUTHENTICATION PROCESS, AUTHENTICATION PROGRAM AND AUTHENTICATION DEVICE
JP2022522446A JP7327662B2 (ja) 2020-05-14 2020-05-14 認証方法、認証プログラム及び認証装置
CN202080100367.4A CN115461741A (zh) 2020-05-14 2020-05-14 认证方法、认证程序以及认证装置
PCT/JP2020/019328 WO2021229763A1 (ja) 2020-05-14 2020-05-14 認証方法、認証プログラム及び認証装置
US17/968,826 US20230044788A1 (en) 2020-05-14 2022-10-19 Authentication method, storage medium, and authentication device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/019328 WO2021229763A1 (ja) 2020-05-14 2020-05-14 認証方法、認証プログラム及び認証装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/968,826 Continuation US20230044788A1 (en) 2020-05-14 2022-10-19 Authentication method, storage medium, and authentication device

Publications (1)

Publication Number Publication Date
WO2021229763A1 true WO2021229763A1 (ja) 2021-11-18

Family

ID=78525572

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/019328 WO2021229763A1 (ja) 2020-05-14 2020-05-14 認証方法、認証プログラム及び認証装置

Country Status (5)

Country Link
US (1) US20230044788A1 (ja)
EP (1) EP4152183A4 (ja)
JP (1) JP7327662B2 (ja)
CN (1) CN115461741A (ja)
WO (1) WO2021229763A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005275508A (ja) * 2004-03-23 2005-10-06 Sanyo Electric Co Ltd 個人認証装置
JP2006031387A (ja) * 2004-07-15 2006-02-02 Yamaha Motor Co Ltd 画像認識装置、画像認識方法、画像認識プログラムおよび画像認識プログラムを記録した記録媒体
JP2019128880A (ja) 2018-01-26 2019-08-01 富士通フロンテック株式会社 認証システム、認証装置、認証プログラム、および認証方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009259085A (ja) * 2008-04-18 2009-11-05 Ｔａｋｕｍｉ Ｖｉｓｉｏｎ株式会社 生体認証システム及び認証方法
JP2010049357A (ja) * 2008-08-19 2010-03-04 Fujitsu Ltd 認証装置、認証システム及び認証方法
JP5975293B2 (ja) * 2013-02-22 2016-08-23 富士ゼロックス株式会社 認証装置及びプログラム
WO2020065954A1 (ja) * 2018-09-28 2020-04-02 日本電気株式会社 認証装置、認証方法および記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005275508A (ja) * 2004-03-23 2005-10-06 Sanyo Electric Co Ltd 個人認証装置
JP2006031387A (ja) * 2004-07-15 2006-02-02 Yamaha Motor Co Ltd 画像認識装置、画像認識方法、画像認識プログラムおよび画像認識プログラムを記録した記録媒体
JP2019128880A (ja) 2018-01-26 2019-08-01 富士通フロンテック株式会社 認証システム、認証装置、認証プログラム、および認証方法

Also Published As

Publication number Publication date
CN115461741A (zh) 2022-12-09
JPWO2021229763A1 (ja) 2021-11-18
JP7327662B2 (ja) 2023-08-16
EP4152183A1 (en) 2023-03-22
EP4152183A4 (en) 2023-06-21
US20230044788A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
US11973877B2 (en) Systems and methods for secure tokenized credentials
US9779400B2 (en) Biometric matching system using input biometric sample
Tanwar et al. Online signature-based biometric recognition
JP2010286937A (ja) 生体認証方法、及び、生体認証に用いるクライアント端末、認証サーバ
KR20060018839A (ko) 인증 카드, 인증 시스템 및 거래 수행 방법
Kaur A study of biometric identification and verification system
US20230012235A1 (en) Using an enrolled biometric dataset to detect adversarial examples in biometrics-based authentication system
Haji et al. Real time face recognition system (RTFRS)
Prasanthi et al. Palm vein biometric technology: An approach to upgrade security in ATM transactions
Bhartiya et al. Biometric authentication systems: security concerns and solutions
WO2021229763A1 (ja) 認証方法、認証プログラム及び認証装置
Hamdan et al. A self-immune to 3D masks attacks face recognition system
Mishra et al. Integrating State-of-the-Art Face Recognition and Anti-Spoofing Techniques into Enterprise Information Systems
Gunalan et al. Enhanced atm security using facial recognition, fingerprint authentication, and web application
US20230031788A1 (en) Biometric authentication device, biometric authentication method, and non-transitory computer-readable storage medium for storing biometric authentication program
Ram et al. Non-contact advanced ATM security through eye based password input for enhanced security
WO2021234901A1 (ja) 制御方法、制御プログラム、および情報処理装置
Abe et al. Integrated biometric authentication technology to support a cashless society
Hari Priya et al. A Survey for Securing Online Payment Transaction Using Biometrics Authentication
Burkul et al. Exploring the intricacies of Biometric ATM operations, specifically focusing on the integration of fingerprint and facial recognition using Deep Learning techniques
Kachole et al. Traffic Police App
JP7415640B2 (ja) 認証方法、情報処理装置、及び認証プログラム
JP6907426B1 (ja) 認証システム、認証方法、及びプログラム
Reji 3D Face Recognition System in Time Critical Security Applications
Shoukat et al. Fraud detection system using facial recognition based on Google Teachable Machine for banking applications

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20935628

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022522446

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020935628

Country of ref document: EP

Effective date: 20221214