WO2021229763A1 - 認証方法、認証プログラム及び認証装置 - Google Patents
認証方法、認証プログラム及び認証装置 Download PDFInfo
- Publication number
- WO2021229763A1 WO2021229763A1 PCT/JP2020/019328 JP2020019328W WO2021229763A1 WO 2021229763 A1 WO2021229763 A1 WO 2021229763A1 JP 2020019328 W JP2020019328 W JP 2020019328W WO 2021229763 A1 WO2021229763 A1 WO 2021229763A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- face image
- feature information
- list data
- authentication
- biometric information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
- H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
Definitions
- the present invention relates to authentication technology.
- one-to-N authentication that identifies a specific individual from a large number of people using one type of biometric information is known. While one-to-N authentication does not require ID (IDentification) key input or card presentation, its accuracy is limited by a single biometric information modality alone.
- ID IDentification
- an authentication system that uses both face authentication and vein authentication has been proposed.
- a first photographing device installed at the entrance of a store photographs the face of a person entering the store from the entrance of the store.
- a part of the vein recognition registration data is narrowed down as authentication candidates from the vein recognition registration data of N users by using the face image taken by the first photographing device.
- the above authentication system only narrows down an unspecified number of authentication candidates in the order of entry into the store, and the authentication time may increase.
- the vein authentication registration data associated with the face image shooting date and time in the past predetermined time zone is used for the verification of the vein authentication in the order of entering the store.
- the order of entering the store and the order of arrival at the counter do not always match.
- the verification of the vein authentication is repeated until the final verification of the vein authentication registration data narrowed down as the authentication candidate is repeated, and as a result, the authentication time is increased.
- the biometric information of the person is stored in association with the feature information of the face image of the person.
- the first biometric information group including a plurality of biometric information associated with the feature information whose similarity with the feature information of the first face image included in the first captured data satisfies the criteria with reference to the section.
- a second biometric information group including a plurality of biometric information associated with the feature information whose similarity with the feature information of the second facial image included in the second captured data satisfies the criteria.
- the feature information of the third face image included in the third shooting data, the feature information of the first face image, and the second face image are received. Based on the degree of similarity with each of the feature information of the face image, any one of the first biometric information group and the second biometric information group is specified, and the biometric information detected by the sensor is obtained.
- the computer executes an authentication process using the acquired biometric information and a plurality of biometric information included in the specified biometric information group.
- the authentication time can be shortened.
- FIG. 1 is a block diagram showing an example of a functional configuration of each device included in the authentication system according to the first embodiment.
- FIG. 2 is a diagram showing an example of narrowed-down list data.
- FIG. 3 is a diagram showing an implementation example of the store-side system.
- FIG. 4 is a diagram showing an example of narrowed-down list data.
- FIG. 5 is a diagram showing an example of a control sequence of the first specific process according to the first embodiment.
- FIG. 6 is a diagram showing an example of a control sequence of the second specific process according to the first embodiment.
- FIG. 7 is a diagram showing an example of a control sequence of the first specific process according to the application example.
- FIG. 8 is a diagram showing an example of sorted list data.
- FIG. 9 is a diagram showing an example of a computer hardware configuration.
- FIG. 1 is a block diagram showing an example of a functional configuration of each device included in the authentication system according to the first embodiment.
- a plurality of types of biometric information can be obtained from the aspect corresponding to a use case in which the number of registered biometric information N can be expanded to a scale of millions or tens of millions. It provides a multi-biometric authentication service that authenticates the person by using it.
- palm veins and face information are used as examples of a plurality of types of biometric information from the aspect of realizing non-contact authentication while eliminating the need for ID key input and card presentation.
- face information is used as the first modality to narrow down the collation target person to be collated by the person authentication from the number of registrants N
- the palm is used as the second modality to authenticate the person from the collation target persons narrowed down by the first modality.
- Veins are used.
- the "modality" referred to here can correspond to a term such as a type of biometric information or a biometric identification site.
- the authentication system 1 may include a server device 10 and a store-side system 30 as an example.
- the server device 10 and the store-side system 30 may be connected via an arbitrary network.
- the server device 10 is an example of a computer that provides the above-mentioned multi-biometric authentication service.
- the server device 10 corresponds to an example of an authentication device.
- the server device 10 can be implemented as package software or online software by installing an authentication program that realizes the above-mentioned multi-biometric authentication service on an arbitrary computer.
- the server device 10 can be implemented as a server that provides the above-mentioned functions related to the multi-biometric authentication service on-premises, for example, a Web server.
- the server device 10 may be implemented as a SaaS (Software as a Service) type application to provide the above-mentioned multi-biometric authentication service as a cloud service.
- SaaS Software as a Service
- the store-side system 30 corresponds to an example of the components provided on the store-side of the authentication system 1 shown in FIG.
- the store-side system 30 extracts biological information of the first modality, for example, a facial feature amount from a face image of a person entering the store from the entrance of the store, or acquires it at a counter where payment is made at the store.
- biological information of the second modality for example, the feature amount of the palm vein is extracted from the vein image.
- FIG. 2 is a diagram showing an example of narrowed-down list data.
- FIG. 2 illustrates, as an example, three refined list data L11 to L13 generated by using the prior art.
- the narrowing list data L11 the face of the user U1 entering the store is narrowed down by using the face image included in the shooting data taken at 9:00 on December 24, 2019.
- the narrowing list data L12 the face of the user U2 entering the store is narrowed down by using the face image included in the shooting data taken at 9:01 on December 24, 2019.
- the face of the user U3 entering the store is narrowed down by using the face image included in the shooting data taken at 9:02 on December 24, 2019.
- the degree of similarity with the input face information acquired from the face image taken at the time of entering the store is the top predetermined number, for example, the top nine.
- An example is given in which the registered palm vein information associated with the registered face information of is narrowed down.
- the input palm vein information acquired by the counter of the store is the order of entry into the store, that is, narrowing down.
- the list data L11, the narrowed list data L12, and the narrowed list data L13 are collated in this order.
- the order of entering the store and the order of arrival at the counter do not always match.
- the input palm vein information f Palm_U3 of the user U3 thus acquired by the counter or the like of the store is collated in the following order. That is, as shown in FIG. 2, registered palm vein information group F Palm_L11 of narrowing the list data L11, registered palm vein information group F Palm_L12 of narrowing the list data L12, registered palm vein information group narrowing list data L13 F Palm_L13 It is collated in the order of.
- the narrowed-down list data L13 narrowed down when the face image of the user U3 is taken is the narrowed-down list data narrowed down when the face image of the user U1 and the user U2 who entered the store before the user U3 was taken. It is collated after L11 and the refined list data L12.
- the multi-biometric authentication service an approach of dividing the narrowing down using face information into two is adopted.
- the face image of the first modality taken at the time of entering the store is used to generate a narrowing list including the registered biometric information group of the second modality.
- the face image of the first modality taken at the time of payment is specified from a plurality of narrowing lists to the narrowing list to be collated by the personal authentication of the second modality. Used for.
- FIG. 3 is a diagram showing an implementation example of the store-side system 30.
- FIG. 3 shows an example of applying a multi-biometric authentication service to personal authentication at the time of payment of purchased products at a store without a cash register, an unmanned cash register, a self-checkout, or the like.
- the store-side system 30 may include a first camera 31A installed so as to be able to photograph the face of a person entering the store from the entrance of the store 3.
- the store-side system 30 may include a terminal 32 installed in the payment counter of the store 3.
- the terminal 32 has a reading unit that reads product information, such as the name and price of a product, from tags, barcodes, etc. attached to the product, as well as a list and total of products that the user of the store 3 targets for purchase.
- a display unit 35 or the like that displays various types of amounts and the like may be connected.
- the store-side system 30 may include a second camera 32A installed in a state in which the face of a person using the terminal 32 can be photographed.
- the second camera 32A can be realized as an in-camera arranged with the lens facing in the same direction as the screen orientation of the display unit 35.
- the store-side system 30 may include a sensor 33 that detects a palm vein of a person who uses the terminal 32.
- the above narrowing list is generated using face information extracted from the face image included in the shooting data of the first camera 31A, for example, a face feature amount.
- face information at the time of entering the store since the face information extracted from the face image included in the shooting data of the first camera 31A has an aspect of being extracted at the time of entering the store 3, it is hereinafter referred to as "face information at the time of entering the store". May be done.
- face information at the time of entering the store May be done.
- the narrowing list among the registered palm vein information for which user registration has been performed, the registered palm vein information associated with each of the registered face information having a similarity degree with the face information at the time of entering the store up to a predetermined number is high. Is generated by listing.
- Face information at the time of entering the store can be associated with the registered palm vein information listed in this way.
- the face information at the time of entering the store can be added to the narrowing list as a label for identifying the narrowing list.
- the face information at the time of entering the store and the narrowing list can be associated with arbitrary identification information such as the shooting date and time of the shooting data.
- FIG. 4 is a diagram showing an example of narrowing list data.
- FIG. 4 illustrates, as an example, three narrowed-down list data L1 to L3 generated according to the multi-biometric authentication service according to the present embodiment.
- the face information f of the user U1 at the time of entering the store from the face image of the user U1 included in the shooting data in which the face of the user U1 entering the store 3 was taken at 9:00 on December 24, 2019.
- face1_U1 is extracted.
- the face information f face1_U1 at the time of entering the store of the user U1 extracted in this way is given as a label, and the registered palm vein information group F Palm_L1 narrowed down using the face information f face1_U1 at the time of entering the store is listed.
- the refined list data L1 is generated.
- the face information f of the user U2 at the time of entering the store f. face1_U2 is extracted.
- the user U2's face information at the time of entering the store, f face1_U2 , extracted in this way is given as a label, and the registered palm vein information group F Palm_L2 narrowed down using the face information at the time of entering the store, f face1_U2 , is listed.
- the refined list data L2 is generated.
- the face information f of the user U3 at the time of entering the store f. face1_U3 is extracted.
- the user U3's face information at the time of entering the store, f face1_U3 , extracted in this way is given as a label, and the registered palm vein information group F Palm_L3 narrowed down using the face information at the time of entering the store, f face1_U3 , is listed.
- the refined list data L3 is generated.
- face information extracted from the face image included in the shooting data of the second camera 32A is used as a collation target by vein authentication of the second modality from a plurality of narrowing lists.
- the refined list is identified.
- face information at the time of payment since the face information extracted from the face image included in the shooting data of the second camera 32A has an aspect of being extracted at the time of payment at the counter of the store 3, it is hereinafter referred to as "face information at the time of payment”. May be done.
- face information at the time of payment is collated with the face information at the time of entering the store included in each of the narrowing list.
- a narrowing list to which the face information at the time of entering the store whose similarity with the face information at the time of payment exceeds a predetermined threshold is specified as a label is specified.
- the narrowing list to which the face information at the time of entering the store, which has the maximum similarity with the face information at the time of payment, is attached as a label is specified.
- the payment face information f face2_U3 of the user U3 is extracted from the shooting data of the second camera 32A, the payment face information f face2_U3 is narrowed down in the order of entering the store, as shown in FIG. visiting time face information f Face1_U1 the write list data L1, visiting at face information f Face1_U3 of visiting at face information f Face1_U2 and narrowing list data L3 of narrowing the list data L2 is collated.
- the degree of similarity of the settlement during the face information f face2_U3 and enter the store when the face information f face1_U1 is smaller than the similarity of face information f face1_U3 and does not exceed the threshold.
- the similarity of the settlement at the face information f Face2_U3 and visiting time face information f Face1_U3 is the maximum among the three similarity exceeds a threshold.
- the narrowed list data L3 to which the face information f face1_U3 at the time of entering the store is attached as a label is specified as a collation target in the vein authentication of the second modality.
- the input palm vein information detected from the sensor 33 is collated with the registered palm vein information group F Palm_L1 of the narrowed list data L3.
- the extra narrowing list data L11 is obtained until the user U3's input palm vein information f Palm_U3 is collated with the registered palm vein information F Palm_U3.
- the collation with the narrowed list data L12 can be omitted.
- collation with the settlement time of face information face2_U3 not similar to the visiting time face information registering palm vein information group F Palm_L1 associated with f Face1_U1, furthermore, when visiting dissimilar settlement during face information face2_U3
- the collation with the registered palm vein information group F Palm_L2 associated with the face information f face1_U2 can be skipped.
- FIG. 1 shows a block corresponding to the above-mentioned multi-biometric authentication service function for each of the server device 10 and the store-side system 30.
- the store-side system 30 includes a first camera 31A, a first extraction unit 31B, a second camera 32A, a second extraction unit 32B, a sensor 33, and a display unit 35. And have.
- FIG. 1 merely shows an excerpt of the functional unit related to the multi-biometric authentication service, and the store-side system 30 is provided with a functional unit (not shown) such as the reading unit. Do not interfere.
- the first camera 31A and the second camera 32A are both functional units that capture a facial image of the first modality.
- the first camera 31A and the second camera 32A can be realized by an image pickup device equipped with an image pickup device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
- an image pickup device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
- the narrowing down based on the face information is completed by the time the user visits the payment counter from the entrance of the store 3 through the selection and movement of products. It will be used.
- the first camera 31A is installed in a state where the face of a person entering the store from the entrance of the store 3 can be photographed.
- the first camera 31A does not necessarily have to be a camera dedicated to the multi-biometric authentication service, and a surveillance camera used in another system, for example, a surveillance system can be shared with the multi-biometric authentication service.
- the "shooting data" taken by the second camera 32A is used in the aspect of specifying the narrowing list to be collated by the vein authentication of the second modality from a plurality of narrowing lists.
- the second camera 32A is installed in a state where the face of a person who uses the terminal 32 can be photographed.
- the second camera 32A can be realized as an in-camera arranged with the lens facing in the same direction as the screen orientation of the display unit 35.
- the first extraction unit 31B and the second extraction unit 32B are functional units that extract biological information of the first modality.
- the face information may be the image itself in which the face is photographed, or may be the feature amount of the face extracted from the face image.
- the first extraction unit 31B and the second extraction unit 32B can use a model in which the embedded space is learned by deep learning or the like, for example, a CNN (Convolutional Neural Network).
- the first extraction unit 31B and the second extraction unit 32B perform face detection on the output of the first camera 31A or the second camera 32A, for example, an image captured in frame units.
- the first extraction unit 31B and the second extraction unit 32B input the partial image corresponding to the face region obtained by the face detection, that is, the face image into the CNN in which the embedded space has been learned. This allows an embedded vector to be obtained from the CNN. Then, the first extraction unit 31B and the second extraction unit 32B encrypt the above face information as face information at the time of entering the store or face information at the time of payment according to a predetermined encryption method, for example, an algorithm such as public key encryption. The encrypted and encrypted face information at the time of entering the store or the face information at the time of payment is transmitted to the server device 10.
- the embedded vector is merely an example of face information, and other feature quantities such as SIFT (Scale-Invariant Feature Transform) may be extracted.
- SIFT Scale-Invariant Feature Transform
- the sensor 33 is a functional unit that detects biometric information of the second modality.
- the sensor 33 captures infrared light having a wavelength suitable for reflecting the blood vessel pattern of veins existing in the palm, for example, lighting irradiating near infrared light and infrared light. It can be realized as a sensor unit including a camera that can be used. For example, when the palm is placed in a predetermined shooting position, infrared light is emitted to the palm by illumination. The infrared light reflected from the inside of the palm and returned is photographed by the camera activated in conjunction with the irradiation of the infrared light.
- a palm vein image in which the blood vessel pattern of the vein in the palm appears is obtained as a biological image.
- the sensor 33 extracts the blood vessel portion from the palm vein image and then thins it, and extracts feature quantities such as the coordinates of the branch point in the blood vessel, the length between the branch points, and the branch angle of the branch point as palm vein information. ..
- the sensor 33 encrypts the palm vein information as input palm vein information according to a predetermined encryption method, for example, an algorithm such as public key cryptography, and then transmits the encrypted palm vein information to the server device 10. do.
- the display unit 35 is a functional unit that displays various types of information.
- the display unit 35 can be realized by a liquid crystal display, an organic EL (Electro-Luminescence) display, or the like.
- the display unit 35 may be realized as a touch panel by integrating with an input unit (not shown).
- the processor may be mounted on any device of the store-side system 30 described above.
- a processor mounted on a terminal 32 to which the first camera 31A, the second camera 32A, and the sensor 33 are connected can be used.
- the processor reads a feature extraction program that realizes the above-mentioned function extraction and the like from a storage device (not shown), for example, a ROM (Read Only Memory) or an auxiliary storage device.
- the processor executes the above-mentioned feature extraction program to develop a process corresponding to the above-mentioned function on a memory such as a RAM (Random Access Memory).
- a memory such as a RAM (Random Access Memory).
- the above functions are virtually realized as a process.
- a CPU and an MPU are exemplified as an example of a processor, but the above-mentioned functional unit may be realized by an arbitrary processor regardless of a general-purpose type or a specialized type.
- the above functions may be realized by hard-wired logic such as ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array).
- FIG. 1 shows an excerpt of the functional part related to the above-mentioned multi-biometric authentication service, and the functional part other than the figure, for example, the functional part that the existing computer is equipped with by default or as an option, For example, it does not prevent the server device 10 from having an input unit, a display unit, or the like.
- the communication interface unit 11 corresponds to an example of a communication control unit that controls communication with another device, for example, a store-side system 30.
- the communication interface unit 11 is realized by a network interface card such as a LAN (Local Area Network) card.
- the communication interface unit 11 receives face information at the time of entering a store from the first extraction unit 31B, face information at the time of payment from the second extraction unit 32B, and receives input palm vein information from the sensor 33. do. Further, the communication interface unit 11 outputs a retry request for personal authentication, an authentication result, a payment processing result, and the like to the display unit 35.
- LAN Local Area Network
- the storage unit 13 is a functional unit that stores data used in various programs such as an OS (Operating System) executed by the control unit 15 and an authentication program that realizes the above-mentioned multi-biometric authentication service.
- OS Operating System
- the storage unit 13 can be realized by an auxiliary storage device.
- HDD Hard Disk Drive
- optical disk optical disk
- SSD Solid State Drive
- flash memory such as EPROM (Erasable Programmable Read Only Memory) can also be used for auxiliary storage devices.
- the storage unit 13 stores the registered data 13A and the narrowed list data L1 to Lm as an example of the data used in the program executed by the control unit 15.
- the storage unit 13 can store various data such as shooting data of the first camera 31A and the second camera 32A. Since the narrowing list data L1 to Lm has an aspect of being dynamically generated from the shooting data of the first camera 31A, it will be described later in accordance with the description of the functional unit that generates the narrowing list data L1 to Lm.
- the registration data 13A is data for which a predetermined registration process, for example, user registration has been performed.
- the registration data 13A it is possible to adopt data in which the registered face information and the registered palm vein information are associated with each identification information of N users, for example, the registrant who has been registered as a user.
- the registration data 13A may include user attribute information such as name, age, and gender.
- the control unit 15 is a processing unit that controls the entire server device 10.
- the control unit 15 is realized by a hardware processor such as a CPU or an MPU.
- a CPU and an MPU are exemplified as an example of a processor, but it can be implemented by any processor regardless of whether it is a general-purpose type or a specialized type.
- the control unit 15 may be realized by hard-wired logic such as ASIC or FPGA.
- the control unit 15 virtually realizes the following processing unit by deploying the above authentication program on a memory (for example, a RAM work area) (not shown). As shown in FIG. 1, the control unit 15 has a first specific unit 15A, a generation unit 15B, a second specific unit 15C, and an authentication unit 15D.
- a memory for example, a RAM work area
- the control unit 15 has a first specific unit 15A, a generation unit 15B, a second specific unit 15C, and an authentication unit 15D.
- the first specific unit 15A refers to the registration data 13A stored in the storage unit 13, and has a second modality associated with the registered face information whose similarity with the face information at the time of entering the store meets a predetermined criterion. It is a processing unit that identifies registered biometric information. As one embodiment, the first specific unit 15A can be activated when the face information at the time of entering the store is received from the first extraction unit 31B. For example, the first specific unit 15A determines the degree of similarity between the registered face information and the face information at the time of entering the store extracted by the first extraction unit 31B for each registered face information included in the registration data 13A. calculate.
- the Hamming distance between the registered face information and the input face information can be used for the similarity.
- the first specific unit 15A registers up to a predetermined number of registered palm vein information included in the registration data 13A, for example, up to the top K ( ⁇ N) pieces having a degree of similarity to the face information at the time of entering the store.
- the registered palm vein information associated with each of the facial information is specified. As a result, the palm vein information of the registered hand is narrowed down from N to K.
- an example of specifying the registered palm vein information associated with each of the registered face information up to the upper predetermined number of similarities with the face information at the time of entering the store is given. Not limited to this.
- registration palm similarity between the entering time of the face information is associated with each of the registered face information corresponding to the upper predetermined rate corresponding to such one percent of predetermined narrowing ratio R Nd, for example, subscribers N It is also possible to identify vein information.
- the generation unit 15B is a processing unit that generates a narrowing list.
- the generation unit 15B assigns the face information at the time of entering the store extracted by the first extraction unit 31B as a label, and lists the registered palm vein information group specified by the first specific unit 15A.
- the refined list data Lj is generated.
- the narrowing list data Lj generated in this way is stored in the storage unit 13.
- the narrowing list data Lj stored in the storage unit 13 in this way can be deleted when a predetermined condition is satisfied.
- the narrowed list data Lj used for authentication or payment may be deleted, the narrowed list data Lj may be deleted after a certain period of time, for example, one hour has passed since the storage, or at a regular time, for example, the closing time.
- the narrowing list data L1 to Lm can be deleted. Further, the narrowing list data Lj does not necessarily have to be deleted, and it is also possible to distinguish between the data after being used for authentication or settlement and the data not used for authentication by using a flag or the like.
- the second specifying unit 15C is a process for specifying a registered biometric information group narrowed down by using any of the face information at the time of entering the store, based on the degree of similarity between the face information at the time of payment and the face information at the time of entering the store. It is a department.
- the second specific unit 15C has, for each of the narrowed-down list data L1 to Lm stored in the storage unit 13, the face information at the time of entering the store given as the label of the narrowed-down list data Lj, and the first. The degree of similarity with the face information at the time of settlement extracted by the extraction unit 32B of 2 is calculated.
- the second specific unit 15C is a narrowing list to which, among the narrowing list data L1 to Lm, the face information at the time of entering the store whose similarity with the face information at the time of payment exceeds a predetermined threshold is given as a label.
- the data is specified as a narrowing list to be collated in the second modality vein authentication.
- an example of specifying the narrowed-down list data to which the face information at the time of entering the store, which has the maximum similarity with the face information at the time of payment, is attached as a label is given, but the present invention is not limited to this.
- narrowed-down list data L1 to Lm it is also possible to specify the narrowed-down list data to which the face information at the time of entering the store, which has the maximum similarity with the face information at the time of settlement, is attached as a label.
- the authentication unit 15D is a processing unit that executes the authentication process of the second modality.
- the authentication unit 15D calculates the similarity between the registered palm vein information group included in the narrowed list data specified by the second specific unit 15C and the input palm vein information detected by the sensor 33. do.
- the cross-correlation obtained by pattern matching of the registered palm vein information and the input palm vein information can be used.
- the authentication unit 15D authenticates that the palm vein of the input hand belongs to the registrant when there is a palm vein of the registered hand whose similarity with the palm vein of the input hand is equal to or higher than a predetermined threshold value.
- the authentication unit 15D authenticates that the palm vein of the input hand does not belong to the registrant when there is no palm vein of the registered hand whose similarity with the palm vein of the input hand is equal to or higher than a predetermined threshold value. Then, the authentication unit 15D notifies the store side system 30 of the authentication result, for example, authentication OK or authentication NG. The authentication result notified in this way can be output by the display unit 35 or the like.
- the server device 10 notifies the store-side system 30 of the authentication result, but the present invention is not limited to this.
- the server device 10 executes a payment process for a product to be purchased using payment information associated with a user who has been authenticated as the registrant, such as a credit card, a debit card, or electronic money.
- the payment processing result can be notified to the store side system 30.
- the server device 10 can also transfer the authentication result to an application that executes payment processing inside or outside the server device 10.
- FIG. 5 is a diagram showing an example of a control sequence of the first specific process according to the first embodiment. As an example, this process can be executed in units where shooting is performed by the first camera 31A, for example, in frame units.
- the first extraction unit 31B is characterized by facial features from the face image included in the shooting data acquired in step S101.
- the amount is extracted (step S102).
- the first extraction unit 31B notifies the server device 10 of the facial feature amount extracted in step S102 as face information at the time of entering the store (step S103).
- the first specific unit 15A collates the registered face information with the face information at the time of entering the store notified in step S103 for each registered face information included in the registration data 13A (step S104). Then, the first specific unit 15A has a predetermined number of similarities with the face information at the time of entering the store among the registered palm vein information included in the registration data 13A, for example, the registered face information up to the top K ( ⁇ N) pieces.
- the registered palm vein information associated with each of the above is specified (step S105).
- the generation unit 15B attaches the face information at the time of entering the store notified in step S103 as a label, and generates the narrowed list data Lj in which the registered palm vein information group specified in step S105 is listed. (Step S106). After that, the generation unit 15B stores the narrowing list data Lj generated in step S106 in the storage unit 13 (step S107), and ends the process.
- FIG. 6 is a diagram showing an example of a control sequence of the second specific process according to the first embodiment. As an example, this process can be executed in units where shooting is performed by the second camera 32A, for example, in frame units.
- the second extraction unit 32B is characterized by facial features from the face image included in the shooting data acquired in step S301.
- the amount is extracted (step S302).
- the second extraction unit 32B notifies the server device 10 of the facial feature amount extracted in step S302 as face information at the time of settlement (step S303).
- step S303 the processing of steps S304A and S305A performed by the server device 10 and the processing of steps S304B and S305B performed by the store-side system 30 are executed in parallel.
- the second specific unit 15C contains face information at the time of entering the store, which is assigned as a label of the narrowed list data Lj for each of the narrowed list data L1 to Lm stored in the storage unit 13.
- the face information at the time of payment notified in step S302 is collated.
- the second specific unit 15C is a narrowing list to which, among the narrowing list data L1 to Lm, the face information at the time of entering the store whose similarity with the face information at the time of payment exceeds a predetermined threshold is given as a label.
- the data is specified as a narrowing list of matching targets in the second modality vein authentication (step S305A).
- the sensor 33 detects the feature amount of the palm vein from the palm vein image included in the captured data of the sensor 33 in parallel with the steps S304A and S305A (step S304B). Then, the sensor 33 notifies the server device 10 of the feature amount of the palm vein detected in step S304B as input palm vein information (step S305B).
- the authentication unit 15D obtains the input palm vein information of the registrant based on the registered palm vein information group included in the narrowed list data specified in step S305A and the input palm vein information notified in step S305B.
- the authentication process for authenticating whether or not the information is a thing is executed (step S306).
- the authentication unit 15D notifies the store-side system 30 of the authentication result in step S306 (step S307).
- the terminal 32 of the store side system 30 is as follows. Execute the process. That is, the terminal 32 executes the payment processing of the product to be purchased by using the payment information associated with the user authenticated to be the registrant, for example, a credit card, a debit card, electronic money, or the like ( Step S309), the process is terminated.
- step S307 If the authentication result notified in step S307 is authentication NG, that is, if it is authenticated that the palm vein of the input hand does not belong to the registrant (step S308No), the payment process in step S309 is not executed and the process ends as it is. ..
- the multi-biometric authentication service uses the face information at the time of entering the store, which is similar to the face information at the time of payment, among the registered palm vein information group narrowed down for each face information at the time of entering the store.
- the narrowed-down registered palm vein information group is collated with the input palm vein information. Therefore, in the multi-biometric authentication service according to the present embodiment, it is possible to omit collation with the biometric information group narrowed down by the face information at the time of entering the store, which is not similar to the face information at the time of payment. Therefore, according to the multi-biometric authentication service according to the present embodiment, it is possible to reduce the authentication time.
- the server device 10 can store each user in association with the time required from the time when the user's face image is taken by the first camera 31A to the time when the second camera 32A takes a picture. ..
- the server device 10 has a time difference between the time when the narrowed-down list data is generated and the time when the narrowed-down list data is specified as a collation target in the biometric authentication of the second modality using the face information at the time of payment. Can be calculated as the above required time.
- the required time calculated in this way can be stored in the registration data 13A in association with the user's identification information.
- the statistical value of the calculated value and the stored value for example, the average value or the median value may be set as a corner.
- the server device 10 performs the narrowing down for each of m narrowing down list data L1 to Lm including the new narrowing down list data Lj.
- the required time associated with the registered face information having the maximum similarity with the face information at the time of entering the store in the built-in list is acquired from the registration data 13A.
- the server device 10 sorts the m narrowing list data L1 to Lm in ascending order of the required time. After that, the server device 10 stores m sorted list data L1 to Lm sorted in ascending order of required time in the storage unit 13.
- FIG. 7 is a diagram showing an example of a control sequence of the first specific process according to the application example.
- the same process as the process shown in FIG. 5 is assigned the same step number, and the process different from the process shown in FIG. 5 is assigned a new step number.
- the description of the same process as that shown in FIG. 5 will be omitted, and the difference will be excerpted and described.
- the generation unit 15B inputs the narrowing list for each of m narrowing list data L1 to Lm including the new narrowing list data Lj.
- the required time associated with the registered face information having the maximum similarity to the store face information is acquired from the registered data 13A, and the m narrowing list data L1 to Lm are sorted in ascending order of the required time (step). S501).
- the generation unit 15B stores m sorted list data L1 to Lm sorted in ascending order of required time in the storage unit 13 (step S502), and ends the process.
- step S501 and S502 shown in FIG. 7 m narrowing list data L1 to Lm are stored in the storage unit 13 in order from the narrowing list data having the shortest required time.
- step S304A shown in FIG. 6 the second specific unit 15C can collate the face information at the time of settlement and the face information at the time of entering the store of each narrowing list in the order of the shortest required time.
- FIG. 8 is a diagram showing an example of sorted list data.
- FIG. 8 shows the narrowed-down list data L1 to L3 shown in FIG. 4 sorted in ascending order of required time.
- FIG. 8 shows, as an example, a case where the magnitude relation of the required time is “narrowing list data L3 ⁇ narrowing list data L1 ⁇ narrowing list data L2”.
- the face information f face2_U3 at the time of settlement is the face information f face1_U3 at the time of entering the shop of the narrowed list data L3, and the narrowed list data.
- L1 of the entering time of face information f face1_U1 are collated in the order of visiting at face information f Face1_U2 of narrowing the list data L2.
- the similarity of the settlement at the face information f Face2_U3 and visiting time face information f Face1_U3 when verifying the payment when face information f Face2_U3 and visiting time face information f Face1_U3 exceeds a threshold value.
- the function of the multi-biometric authentication service including the server device 10 and the store-side system 30 is operated in the client server system, but the above-mentioned multi-biometric authentication service is operated in a stand-alone manner. It doesn't matter.
- each modality is not limited to a specific authentication site. For example, it does not prevent the application of other authentication sites such as fingerprints and irises to the second modality.
- Example 1 empty-handed payment is illustrated as an example of the use case of the above-mentioned multi-biometric authentication service, but other use cases such as the use of an ATM (Automatic Teller Machine) in a financial institution and entry / exit management are also described above. Multi-biometric authentication service can be applied.
- ATM Automatic Teller Machine
- FIG. 9 is a diagram showing an example of computer hardware configuration.
- the computer 100 has a first camera 110a, a second camera 110b, a sensor 110c, a display 120, and a communication unit 130. Further, the computer 100 has a CPU 150, a ROM 160, an HDD 170, and a RAM 180. Each of these 110 to 180 parts is connected via the bus 140.
- the HDD 170 has an authentication program 170a that exhibits the same functions as the first specific unit 15A, the generation unit 15B, the second specific unit 15C, and the authentication unit 15D shown in the first embodiment. Is remembered.
- the authentication program 170a may be integrated or separated like the components of the first specific unit 15A, the generation unit 15B, the second specific unit 15C, and the authentication unit 15D shown in FIG. That is, not all the data shown in the first embodiment may be stored in the HDD 170, and the data used for processing may be stored in the HDD 170.
- the CPU 150 reads the authentication program 170a from the HDD 170 and expands it to the RAM 180.
- the authentication program 170a functions as the authentication process 180a, as shown in FIG.
- the authentication process 180a expands various data read from the HDD 170 into an area allocated to the authentication process 180a in the storage area of the RAM 180, and executes various processes using the expanded various data.
- the process shown in FIGS. 5 to 7 is included.
- the CPU 150 not all the processing units shown in the first embodiment need to operate, and it is sufficient that the processing units corresponding to the processes to be executed are virtually realized.
- each program is stored in a "portable physical medium" such as a flexible disk inserted into the computer 100, a so-called FD, a CD-ROM, a DVD disk, a magneto-optical disk, or an IC card. Then, the computer 100 may acquire and execute each program from these portable physical media. Further, each program is stored in another computer or server device connected to the computer 100 via a public line, the Internet, a LAN, a WAN, or the like, and the computer 100 acquires and executes each program from these. You may do it.
- Authentication system 10 Server device 11 Communication interface unit 13 Storage unit 13A Registration data L1 to Lm Filtered list data 15 Control unit 15A First specific unit 15B Generation unit 15C Second specific unit 15D Authentication unit 30 Store-side system 31A 1st camera 31B 1st extraction unit 32 terminal 32A 2nd camera 32B 2nd extraction unit 33 sensor 35 display unit
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Collating Specific Patterns (AREA)
Abstract
認証方法では、第1のカメラにより撮影された第1の撮影データ及び第2の撮影データを受け付けると、人物の生体情報を人物の顔画像の特徴情報に対応付けて記憶する記憶部を参照して、第1の撮影データに含まれる第1の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第1の生体情報群と、第2の撮影データに含まれる第2の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第2の生体情報群とを特定し、第2のカメラにより撮影された第3の撮影データを受け付けると、第3の撮影データに含まれる顔画像の特徴情報と、第1の顔画像の特徴情報及び第2の顔画像の特徴情報それぞれとの類似度に基づき、第1の生体情報群及び第2の生体情報群のうち、いずれかの生体情報群を特定し、センサにより検出された生体情報を取得すると、特定した生体情報群に含まれる複数の生体情報と、取得した生体情報とによる認証処理を行う、処理をコンピュータが実行する。
Description
本発明は、認証技術に関する。
認証方式の1つとして、1種類の生体情報を用いて多数の人の中から特定の個人を特定する1対N認証が知られている。1対N認証は、ID(IDentification)のキー入力やカードの提示が不要である一方で、単一の生体情報モダリティだけではその精度に限界がある。
このような背景から、複数種類の生体情報を併用するマルチ生体認証技術の開発が進められている。あくまで一例として、顔認証および静脈認証を併用する認証システムが提案されている。例えば、認証システムでは、店舗の入口に設置された第1撮影装置が店舗の入口から入店する人物の顔を撮影する。このような第1撮影装置により撮影される顔画像を用いてN人の利用者の静脈認証登録データから一部の静脈認証登録データが認証候補として絞り込まれる。認証候補として絞り込まれた静脈認証登録データのうち、店舗内のカウンタに設置される第2撮影装置により静脈画像が撮影された時点から過去の所定時間帯の顔画像撮影日時に対応付けられた静脈認証登録データを対象に静脈認証における照合が行われる。
しなしながら、上記の認証システムは、店舗への入店順に不特定多数の認証候補を絞り込むものに過ぎず、認証時間が増大する場合がある。
すなわち、上記の認証システムでは、過去の所定時間帯の顔画像撮影日時に対応付けられた静脈認証登録データが店舗への入店順に静脈認証の照合に用いられる。ところが、入店の順番とカウンタ到着の順番は必ずしも一致するとは限らない。例えば、店舗へ最後に入店する利用者が最初にカウンタへ訪れる場合、最終入店の利用者よりも先に店舗へ入店した他の利用者の顔画像撮影時に認証候補として絞り込まれた静脈認証登録データが先に照合される。この場合、最後に認証候補として絞り込まれた静脈認証登録データが照合されるまで静脈認証の照合が繰り返される結果、認証時間が増大する。
1つの側面では、本発明は、認証時間の短縮を実現できる認証方法、認証プログラム及び認証装置を提供することを目的とする。
一態様の認証方法では、第1のカメラにより撮影された第1の撮影データ及び第2の撮影データを受け付けると、人物の生体情報を前記人物の顔画像の特徴情報に対応付けて記憶する記憶部を参照して、前記第1の撮影データに含まれる第1の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第1の生体情報群と、前記第2の撮影データに含まれる第2の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第2の生体情報群とを特定し、第2のカメラにより撮影された第3の撮影データを受け付けると、前記第3の撮影データに含まれる第3の顔画像の特徴情報と、前記第1の顔画像の特徴情報及び前記第2の顔画像の特徴情報それぞれとの類似度に基づき、前記第1の生体情報群及び前記第2の生体情報群のうち、いずれかの生体情報群を特定し、センサにより検出された生体情報を取得すると、特定した前記生体情報群に含まれる複数の生体情報と、取得した前記生体情報とによる認証処理を行う、処理をコンピュータが実行する。
認証時間の短縮を実現できる。
以下に添付図面を参照して本願に係る認証方法、認証プログラム及び認証装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
[システム構成の一例]
図1は、実施例1に係る認証システムに含まれる各装置の機能的構成の一例を示すブロック図である。図1に示す認証システム1は、あくまで1つの側面として、生体情報の登録者数Nが数百万や数千万といった規模に拡大され得るユースケースに対応する側面から、複数種類の生体情報を用いて本人を認証するマルチ生体認証サービスを提供するものである。
図1は、実施例1に係る認証システムに含まれる各装置の機能的構成の一例を示すブロック図である。図1に示す認証システム1は、あくまで1つの側面として、生体情報の登録者数Nが数百万や数千万といった規模に拡大され得るユースケースに対応する側面から、複数種類の生体情報を用いて本人を認証するマルチ生体認証サービスを提供するものである。
図1に示す認証システム1では、IDのキー入力やカードの提示を不要すると共に非接触な認証を実現する側面から、複数種類の生体情報の例として、手のひら静脈および顔情報が用いられる。例えば、登録者数Nから本人認証で照合する照合対象者を絞り込む第1モダリティとして顔情報が用いられると共に、第1モダリティにより絞り込まれた照合対象者の中から本人を認証する第2モダリティとして手のひら静脈が用いられる。ここで言う「モダリティ」は、生体情報の種類、あるいは生体識別部位などの用語に対応し得る。
このような認証システム1のユースケースの一例として、レジ無し店舗や無人レジ、セルフレジ等における購入商品の手ぶら決済時の本人認証にマルチ生体認証サービスを適用する例が挙げられる。
図1に示すように、認証システム1には、あくまで一例として、サーバ装置10と、店舗側システム30とが含まれ得る。これらサーバ装置10及び店舗側システム30の間は、任意のネットワークを介して接続され得る。
サーバ装置10は、上記のマルチ生体認証サービスを提供するコンピュータの一例である。サーバ装置10は、認証装置の一例に対応する。一実施形態として、サーバ装置10は、パッケージソフトウェア又はオンラインソフトウェアとして、上記のマルチ生体認証サービスを実現する認証プログラムを任意のコンピュータにインストールさせることによって実装できる。例えば、サーバ装置10は、上記のマルチ生体認証サービスに関する機能をオンプレミスに提供するサーバ、例えばWebサーバとして実装することができる。これに限定されず、サーバ装置10は、SaaS(Software as a Service)型のアプリケーションとして実装することで、上記のマルチ生体認証サービスをクラウドサービスとして提供することとしてもかまわない。
店舗側システム30は、図1に示す認証システム1のうち店舗側に設けられる構成要素の一例に対応する。例えば、店舗側システム30は、店舗の入口から入店する人物の顔が撮影された顔画像から第1モダリティの生体情報、例えば顔特徴量を抽出したり、店舗で決済が行われるカウンタで取得される静脈画像から第2モダリティの生体情報、例えば手のひら静脈の特徴量を抽出したりする。
[課題の一側面]
上記の背景技術の欄で説明したように、上記の従来技術は、店舗への入店順に不特定多数の認証候補を絞り込むものに過ぎず、認証時間が増大する場合がある。
上記の背景技術の欄で説明したように、上記の従来技術は、店舗への入店順に不特定多数の認証候補を絞り込むものに過ぎず、認証時間が増大する場合がある。
図2は、絞込リストデータの一例を示す図である。図2には、あくまで一例として、従来技術を用いて生成された3つの絞込リストデータL11~L13が例示されている。例えば、絞込リストデータL11には、店舗へ入店する利用者U1の顔が2019年12月24日9時00分に撮影された撮影データに含まれる顔画像を用いて絞り込まれた登録手のひら静脈情報群FPalm_L11のリストが含まれる。また、絞込リストデータL12には、店舗へ入店する利用者U2の顔が2019年12月24日9時01分に撮影された撮影データに含まれる顔画像を用いて絞り込まれた登録手のひら静脈情報群FPalm_L12のリストが含まれる。さらに、絞込リストデータL13には、店舗へ入店する利用者U3の顔が2019年12月24日9時02分に撮影された撮影データに含まれる顔画像を用いて絞り込まれた登録手のひら静脈情報群FPalm_L13のリストが含まれる。なお、図2には、利用者登録が行われた登録手のひら静脈情報のうち、入店時に撮影される顔画像から取得された入力顔情報との類似度が上位所定数、例えば上位9個までの登録顔情報に対応付けられた登録手のひら静脈情報が絞り込まれる例が挙げられている。
このように店舗への入店順が利用者U1、利用者U2、利用者U3の順である場合、店舗のカウンタで取得される入力手のひら静脈情報は、店舗への入店順、すなわち絞込リストデータL11、絞込リストデータL12、絞込リストデータL13の順に照合される。
ここで、入店の順番とカウンタ到着の順番は必ずしも一致するとは限らない。例えば、利用者U1、利用者U2及び利用者U3の中で店舗へ最後に入店した利用者U3が最初にカウンタへ訪れる事例も発生し得る。このように店舗のカウンタ等で取得された利用者U3の入力手のひら静脈情報fPalm_U3は、次のような順序で照合されることになる。すなわち、図2に示すように、絞込リストデータL11の登録手のひら静脈情報群FPalm_L11、絞込リストデータL12の登録手のひら静脈情報群FPalm_L12、絞込リストデータL13の登録手のひら静脈情報群FPalm_L13の順に照合される。この場合、利用者U3の顔画像撮影時に絞り込まれた絞込リストデータL13は、利用者U3よりも先に入店した利用者U1及び利用者U2の顔画像撮影時に絞り込まれた絞込リストデータL11および絞込リストデータL12の後に照合される。
このように、利用者U3の入力手のひら静脈情報fPalm_U3と一致する登録手のひら静脈情報FPalm_U3との照合が行われるまでに、余分な絞込リストデータL11および絞込リストデータL12との照合が行われる結果、認証時間が増大する。このような余分な照合は、利用者U3よりも先に入店した利用者の数が多くなるほど増加し、さらに、顔画像を用いて絞り込まれる登録手のひら静脈情報の数が多くなるほど増加し得る。
[課題解決のアプローチの一側面]
そこで、本実施例に係るマルチ生体認証サービスでは、顔情報を用いる絞り込みを2回に分割するアプローチを採用する。あくまで1つ側面として、本実施例に係るマルチ生体認証サービスでは、入店時に撮影される第1モダリティの顔画像を第2モダリティの登録生体情報群を含む絞込リストの生成に用いる。更なる側面として、本実施例に係るマルチ生体認証サービスでは、決済時に撮影される第1モダリティの顔画像を複数の絞込リストから第2モダリティの本人認証で照合対象とする絞込リストの特定に用いる。
そこで、本実施例に係るマルチ生体認証サービスでは、顔情報を用いる絞り込みを2回に分割するアプローチを採用する。あくまで1つ側面として、本実施例に係るマルチ生体認証サービスでは、入店時に撮影される第1モダリティの顔画像を第2モダリティの登録生体情報群を含む絞込リストの生成に用いる。更なる側面として、本実施例に係るマルチ生体認証サービスでは、決済時に撮影される第1モダリティの顔画像を複数の絞込リストから第2モダリティの本人認証で照合対象とする絞込リストの特定に用いる。
図3は、店舗側システム30の実装例を示す図である。図3には、レジ無し店舗や無人レジ、セルフレジ等における購入商品の決済時の本人認証にマルチ生体認証サービスを適用する例が示されている。
図3に示すように、店舗側システム30には、店舗3の入口から入店する人物の顔を撮影可能な状態で設置される第1のカメラ31Aが含まれ得る。さらに、店舗側システム30には、店舗3の決済カウンタに設置される端末32が含まれ得る。例えば、端末32には、商品に付与されたタグやバーコード等から商品情報、例えば商品の名称や金額などを読み取る読取部の他、店舗3の利用者が購入対象とする商品のリストや合計金額などの各種の表示を行う表示部35などが接続され得る。さらに、店舗側システム30には、端末32を利用する人物の顔を撮影可能な状態で設置される第2のカメラ32Aが含まれ得る。例えば、第2のカメラ32Aは、表示部35のスクリーンの向きと同一の方向にレンズを向けて配置されるインカメラとして実現され得る。さらに、店舗側システム30には、端末32を利用する人物の手のひら静脈を検出するセンサ33が含まれ得る。
このような店舗側システム30の下、1つの側面として、第1のカメラ31Aの撮影データに含まれる顔画像から抽出される顔情報、例えば顔特徴量を用いて上記の絞込リストが生成される。ここで、第1のカメラ31Aの撮影データに含まれる顔画像から抽出される顔情報は、店舗3への入店時に抽出される側面があるので、以下、「入店時顔情報」と記載する場合がある。例えば、絞込リストは、利用者登録が行われた登録手のひら静脈情報のうち、入店時顔情報との類似度が上位所定数までの登録顔情報の各々に対応付けられた登録手のひら静脈情報をリスト化することにより生成される。このようにリスト化される登録手のひら静脈情報には、入店時顔情報を関連付けることができる。例えば、入店時顔情報は、絞込リストを識別するラベルとして絞込リストに付与することができる。この他、撮影データの撮影日時等の任意の識別情報を介して、入店時顔情報および絞込リストを関連付けることもできる。
図4は、絞込リストデータの一例を示す図である。図4には、あくまで一例として、本実施例に係るマルチ生体認証サービスにしたがって生成された3つの絞込リストデータL1~L3が例示されている。
例えば、店舗3へ入店する利用者U1の顔が2019年12月24日9時00分に撮影された撮影データに含まれる利用者U1の顔画像から利用者U1の入店時顔情報fface1_U1が抽出される。このように抽出された利用者U1の入店時顔情報fface1_U1がラベルとして付与されると共に、入店時顔情報fface1_U1を用いて絞り込まれた登録手のひら静脈情報群FPalm_L1がリスト化された絞込リストデータL1が生成される。
また、店舗3へ入店する利用者U2の顔が2019年12月24日9時01分に撮影された撮影データに含まれる利用者U2の顔画像から利用者U2の入店時顔情報fface1_U2が抽出される。このように抽出された利用者U2の入店時顔情報fface1_U2がラベルとして付与されると共に、入店時顔情報fface1_U2を用いて絞り込まれた登録手のひら静脈情報群FPalm_L2がリスト化された絞込リストデータL2が生成される。
さらに、店舗3へ入店する利用者U3の顔が2019年12月24日9時02分に撮影された撮影データに含まれる利用者U3の顔画像から利用者U3の入店時顔情報fface1_U3が抽出される。このように抽出された利用者U3の入店時顔情報fface1_U3がラベルとして付与されると共に、入店時顔情報fface1_U3を用いて絞り込まれた登録手のひら静脈情報群FPalm_L3がリスト化された絞込リストデータL3が生成される。
他の側面として、第2のカメラ32Aの撮影データに含まれる顔画像から抽出される顔情報、例えば顔特徴量を用いて、複数の絞込リストから第2モダリティの静脈認証で照合対象とする絞込リストが特定される。ここで、第2のカメラ32Aの撮影データに含まれる顔画像から抽出される顔情報は、店舗3のカウンタでの決済時に抽出される側面があるので、以下、「決済時顔情報」と記載する場合がある。例えば、決済時顔情報は、絞込リストの各々に含まれる入店時の顔情報と照合される。あくまで一例として、絞込リストのうち、決済時顔情報との類似度が所定の閾値を超える入店時顔情報がラベルとして付与された絞込リストが特定される。他の一例として、絞込リストのうち、決済時顔情報との類似度が最大である入店時顔情報がラベルとして付与された絞込リストが特定される。
例えば、第2のカメラ32Aの撮影データから利用者U3の決済時顔情報fface2_U3が抽出された場合、図4に示すように、決済時顔情報fface2_U3は、店舗への入店順に、絞込リストデータL1の入店時顔情報fface1_U1、絞込リストデータL2の入店時顔情報fface1_U2及び絞込リストデータL3の入店時顔情報fface1_U3が照合される。このとき、決済時顔情報fface2_U3及び入店時顔情報fface1_U1の類似度と、決済時顔情報fface2_U3及び入店時顔情報fface1_U2の類似度は、決済時顔情報fface2_U3及び入店時顔情報fface1_U3の類似度よりも小さく、閾値を超えない。一方、決済時顔情報fface2_U3及び入店時顔情報fface1_U3の類似度は、3つの類似度の間で最大であり、閾値を超える。このため、3つの絞込リストデータL1~L3のうち入店時顔情報fface1_U3がラベルとして付与された絞込リストデータL3が第2モダリティの静脈認証における照合対象と特定される。この結果、センサ33から検出される入力手のひら静脈情報が絞込リストデータL3の登録手のひら静脈情報群FPalm_L1と照合される。
このように、本実施例に係るマルチ生体認証サービスでは、利用者U3の入力手のひら静脈情報fPalm_U3と一致する登録手のひら静脈情報FPalm_U3との照合が行われるまでに、余分な絞込リストデータL11および絞込リストデータL12との照合を省略できる。具体的には、決済時顔情報face2_U3と類似しない入店時顔情報fface1_U1に対応付けられた登録手のひら静脈情報群FPalm_L1との照合、さらには、決済時顔情報face2_U3と類似しない入店時顔情報fface1_U2に対応付けられた登録手のひら静脈情報群FPalm_L2との照合をスキップできる。
したがって、本実施例に係るマルチ生体認証サービスによれば、認証時間の低減を実現することが可能になる。
[店舗側システム30の構成]
次に、本実施例に係る店舗側システム30の機能的構成の一例について説明する。図1には、上記のマルチ生体認証サービスの機能に対応するブロックがサーバ装置10および店舗側システム30ごとに示されている。図1に示すように、店舗側システム30は、第1のカメラ31Aと、第1の抽出部31Bと、第2のカメラ32Aと、第2の抽出部32Bと、センサ33と、表示部35とを有する。なお、図1には、上記のマルチ生体認証サービスに関連する機能部が抜粋して示されているに過ぎず、図示しない機能部、例えば上記の読取部等が店舗側システム30に備わることを妨げない。
次に、本実施例に係る店舗側システム30の機能的構成の一例について説明する。図1には、上記のマルチ生体認証サービスの機能に対応するブロックがサーバ装置10および店舗側システム30ごとに示されている。図1に示すように、店舗側システム30は、第1のカメラ31Aと、第1の抽出部31Bと、第2のカメラ32Aと、第2の抽出部32Bと、センサ33と、表示部35とを有する。なお、図1には、上記のマルチ生体認証サービスに関連する機能部が抜粋して示されているに過ぎず、図示しない機能部、例えば上記の読取部等が店舗側システム30に備わることを妨げない。
第1のカメラ31Aおよび第2のカメラ32Aは、いずれも第1モダリティの顔画像を撮影する機能部である。一実施形態として、これら第1のカメラ31Aおよび第2のカメラ32Aは、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を搭載する撮像装置により実現できる。
ここで、第1のカメラ31Aが撮影する「撮影データ」には、利用者が店舗3の入口から商品の選択や移動等を経て決済カウンタに訪れるまでに顔情報に基づく絞り込みを終了させる側面で利用される。このような側面から、第1のカメラ31Aは、店舗3の入口から入店する人物の顔を撮影可能な状態で設置される。第1のカメラ31Aは、必ずしも上記のマルチ生体認証サービス専用のカメラでなくともよく、他のシステム、例えば監視システムで用いられる監視カメラを上記のマルチ生体認証サービスに共用できる。
また、第2のカメラ32Aが撮影する「撮影データ」には、複数の絞込リストの中から第2モダリティの静脈認証で照合対象とする絞込リストを特定する側面で利用される。このような側面から、第2のカメラ32Aは、端末32を利用する人物の顔を撮影可能な状態で設置される。例えば、第2のカメラ32Aは、表示部35のスクリーンの向きと同一の方向にレンズを向けて配置されるインカメラとして実現され得る。
第1の抽出部31Bおよび第2の抽出部32Bは、第1モダリティの生体情報を抽出する機能部である。例えば、第1モダリティが顔情報である場合、当該顔情報は、顔が撮影された画像そのものであってもよいし、顔の画像から抽出された顔の特徴量であってもよい。以下、顔情報のあくまで一例として、埋め込みベクトルを用いる場合を例示する。この場合、第1の抽出部31Bおよび第2の抽出部32Bは、ディープラーニング等により埋め込み空間の学習が行われたモデル、例えばCNN(Convolutional Neural Network)を用いることができる。例えば、第1の抽出部31Bおよび第2の抽出部32Bは、第1のカメラ31Aまたは第2のカメラ32Aの出力、例えばフレーム単位で撮像された画像に顔検出を行う。その上で、第1の抽出部31Bおよび第2の抽出部32Bは、顔検出で得られた顔領域に対応する部分画像、すなわち顔画像を埋め込み空間が学習済みであるCNNへ入力する。これによって、CNNから埋め込みベクトルを得ることができる。その上で、第1の抽出部31Bおよび第2の抽出部32Bは、上記の顔情報を入店時顔情報または決済時顔情報として所定の暗号方式、例えば公開鍵暗号などのアルゴリズムにしたがって暗号化した上で暗号化された入店時顔情報または決済時顔情報をサーバ装置10へ伝送する。なお、埋め込みベクトルは、顔情報のあくまで一例に過ぎず、他の特徴量、例えばSIFT(Scale-Invariant Feature Transform)などが抽出されることとしてもよい。
センサ33は、第2モダリティの生体情報を検出する機能部である。一実施形態として、センサ33は、手のひらの内部に存在する静脈の血管パターンを映すのに適切な波長を持つ赤外光、例えば近赤外光を照射する照明と、赤外光を捉えることができるカメラとを含むセンサユニットとして実現できる。例えば、手のひらが所定の撮影位置に載置されると、照明によって赤外光が手のひらに照射される。この赤外光の照射に連動して起動されたカメラによって手のひらの内部から反射して戻ってきた赤外光が撮影される。このような撮影によって、静脈中の赤血球によって赤外光が吸収される結果、手のひらの静脈の血管パターンが現れた手のひら静脈画像が生体画像として得られる。その後、センサ33は、手のひら静脈画像から血管部分を取り出した上で細線化し、血管における分岐点の座標、分岐点間の長さ、分岐点の分岐角度などの特徴量を手のひら静脈情報として抽出する。その上で、センサ33は、手のひら静脈情報を入力手のひら静脈情報として所定の暗号方式、例えば公開鍵暗号などのアルゴリズムにしたがって暗号化した上で暗号化された入力手のひら静脈情報をサーバ装置10へ伝送する。
表示部35は、各種の情報を表示する機能部である。あくまで一例として、表示部35は、液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイなどにより実現できる。なお、表示部35は、図示しない入力部と一体化することにより、タッチパネルとして実現されることとしてもよい。
なお、第1の抽出部31Bや第2の抽出部32Bの他、センサ33で行われる一部の処理、例えば手のひら静脈の特徴抽出等の機能は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等のハードウェアプロセッサにより仮想的に実現され得る。ここで、プロセッサは、上記の店舗側システム30の如何なる装置に搭載されるものであってもかまわない。あくまで一例として、第1のカメラ31A、第2のカメラ32A及びセンサ33が接続される端末32に搭載されたプロセッサを利用できる。例えば、プロセッサは、図示しない記憶装置、例えばROM(Read Only Memory)、あるいは補助記憶装置から、上記の特徴抽出等の機能を実現する特徴抽出プログラムを読み出す。その上で、プロセッサは、上記の特徴抽出プログラムを実行することにより、RAM(Random Access Memory)等のメモリ上に上記の機能に対応するプロセスを展開する。この結果、上記の機能がプロセスとして仮想的に実現される。ここでは、プロセッサの一例として、CPUやMPUを例示したが、汎用型および特化型を問わず、任意のプロセッサにより上記の機能部が実現されることとしてもかまわない。この他、上記の機能は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などのハードワイヤードロジックによって実現されることとしてもかまわない。
[サーバ装置10の構成]
次に、本実施例に係るサーバ装置10の機能的構成の一例について説明する。図1に示すように、サーバ装置10は、通信インタフェイス部11と、記憶部13と、制御部15とを有する。なお、図1には、上記のマルチ生体認証サービスに関連する機能部が抜粋して示されているに過ぎず、図示以外の機能部、例えば既存のコンピュータがデフォルトまたはオプションで装備する機能部、例えば入力部や表示部等がサーバ装置10に備わることを妨げない。
次に、本実施例に係るサーバ装置10の機能的構成の一例について説明する。図1に示すように、サーバ装置10は、通信インタフェイス部11と、記憶部13と、制御部15とを有する。なお、図1には、上記のマルチ生体認証サービスに関連する機能部が抜粋して示されているに過ぎず、図示以外の機能部、例えば既存のコンピュータがデフォルトまたはオプションで装備する機能部、例えば入力部や表示部等がサーバ装置10に備わることを妨げない。
通信インタフェイス部11は、他の装置、例えば店舗側システム30との間で通信制御を行う通信制御部の一例に対応する。
あくまで一例として、通信インタフェイス部11は、LAN(Local Area Network)カードなどのネットワークインターフェイスカードにより実現される。例えば、通信インタフェイス部11は、第1の抽出部31Bから入店時顔情報を受け付けたり、第2の抽出部32Bから決済時顔情報を受け付けたり、センサ33から入力手のひら静脈情報を受け付けたりする。また、通信インタフェイス部11は、本人認証のリトライ要求、認証結果や決済処理結果などを表示部35へ出力する。
記憶部13は、制御部15で実行されるOS(Operating System)を始め、上記のマルチ生体認証サービスを実現する認証プログラムなどの各種プログラムに用いられるデータを記憶する機能部である。
一実施形態として、記憶部13は、補助記憶装置により実現され得る。例えば、HDD(Hard Disk Drive)や光ディスク、SSD(Solid State Drive)などが補助記憶装置に対応する。この他、EPROM(Erasable Programmable Read Only Memory)などのフラッシュメモリも補助記憶装置に対応し得る。
記憶部13は、制御部15で実行されるプログラムに用いられるデータの一例として、登録データ13Aと、絞込リストデータL1~Lmとを記憶する。これら登録データ13Aや絞込リストデータL1~Lm以外にも、記憶部13は、第1のカメラ31Aや第2のカメラ32Aの撮影データなどの各種のデータを記憶することができる。なお、絞込リストデータL1~Lmは、第1のカメラ31Aの撮影データからダイナミックに生成される側面があるので、絞込リストデータL1~Lmを生成する機能部の説明に合わせて後述する。
登録データ13Aは、所定の登録処理、例えば利用者登録が行われたデータである。例えば、登録データ13Aには、N人の利用者、例えば利用者登録が行われた登録者の識別情報ごとに登録顔情報および登録手のひら静脈情報が対応付けられたデータを採用できる。これら登録顔情報および登録手のひら静脈情報の例として、利用者登録時に撮影された撮影データの顔画像や静脈画像から抽出された顔情報および手のひら静脈情報が登録される。なお、登録データ13Aには、上記の項目の他、利用者の属性情報、例えば氏名や年齢、性別などが含まれることとしてもかまわない。
制御部15は、サーバ装置10の全体制御を行う処理部である。一実施形態として、制御部15は、CPUやMPUなどのハードウェアプロセッサにより実現される。ここでは、プロセッサの一例として、CPUやMPUを例示したが、汎用型および特化型を問わず、任意のプロセッサにより実装することができる。この他、制御部15は、ASICやFPGAなどのハードワイヤードロジックによって実現されてもよい。
制御部15は、図示しないメモリ、例えばRAMのワークエリア上に、上記の認証プログラムを展開することにより、下記の処理部を仮想的に実現する。図1に示すように、制御部15は、第1の特定部15Aと、生成部15Bと、第2の特定部15Cと、認証部15Dとを有する。
第1の特定部15Aは、記憶部13に記憶された登録データ13Aを参照して、入店時顔情報との類似度が所定の基準を満たす登録顔情報に対応付けられた第2モダリティの登録生体情報を特定する処理部である。一実施形態として、第1の特定部15Aは、第1の抽出部31Bから入店時顔情報を受け付けた場合に起動し得る。例えば、第1の特定部15Aは、登録データ13Aに含まれる登録顔情報ごとに、当該登録顔情報と、第1の抽出部31Bにより抽出された入店時顔情報との間で類似度を算出する。あくまで一例として、顔情報として埋め込みベクトルが抽出される場合、類似度には、登録顔情報および入力顔情報の間のハミング距離を用いることができる。その上で、第1の特定部15Aは、登録データ13Aに含まれる登録手のひら静脈情報のうち、入店時顔情報との類似度が上位所定数、例えば上位K(<N)個までの登録顔情報の各々に対応付けられた登録手のひら静脈情報を特定する。これによって、登録手のひら静脈情報は、N個からK個まで絞り込まれる。
なお、ここでは、上記の基準の一例として、入店時顔情報との類似度が上位所定数までの登録顔情報の各々に対応付けられた登録手のひら静脈情報を特定する例を挙げたが、これに限定されない。例えば、入店時顔情報との類似度が所定の絞込率RNd、例えば登録者数Nの1%などに対応する上位所定割合に該当する登録顔情報の各々に対応付けられた登録手のひら静脈情報を特定することもできる。
生成部15Bは、絞込リストを生成する処理部である。一実施形態として、生成部15Bは、第1の抽出部31Bにより抽出された入店時顔情報をラベルとして付与すると共に、第1の特定部15Aにより特定された登録手のひら静脈情報群がリスト化された絞込リストデータLjを生成する。このように生成された絞込リストデータLjが記憶部13に保存される。このように記憶部13へ保存された絞込リストデータLjは、所定の条件を満たす場合に削除することができる。例えば、認証または決済に使用された絞込リストデータLjを削除したり、保存後から一定期間、例えば1時間が経過した場合に絞込リストデータLjを削除したり、定期時刻、例えば閉店時刻になったりした場合に絞込リストデータL1~Lmを削除したりすることができる。また、絞込リストデータLjは、必ずしも削除せずともよく、認証または決済に使用後のものと未使用のものとの間でフラグ等を用いて区別することもできる。
第2の特定部15Cは、決済時顔情報と入店時顔情報との間の類似度に基づいて、いずれかの入店時顔情報を用いて絞り込まれた登録生体情報群を特定する処理部である。一実施形態として、第2の特定部15Cは、記憶部13に記憶された絞込リストデータL1~Lmごとに、当該絞込リストデータLjのラベルとして付与された入店時顔情報と、第2の抽出部32Bにより抽出された決済時顔情報との類似度を算出する。その上で、第2の特定部15Cは、絞込リストデータL1~Lmのうち、決済時顔情報との類似度が所定の閾値を超える入店時顔情報がラベルとして付与された絞込リストデータを第2モダリティの静脈認証における照合対象の絞込リストとして特定する。なお、ここでは、決済時顔情報との類似度が最大である入店時顔情報がラベルとして付与された絞込リストデータを特定する例を挙げたが、これに限定されない。例えば、絞込リストデータL1~Lmのうち、決済時顔情報との類似度が最大である入店時顔情報がラベルとして付与された絞込リストデータを特定することもできる。
認証部15Dは、第2モダリティの認証処理を実行する処理部である。一実施形態として、認証部15Dは、第2の特定部15Cにより特定された絞込リストデータに含まれる登録手のひら静脈情報群と、センサ33により検出された入力手のひら静脈情報との類似度を算出する。このような類似度の一例として、登録手のひら静脈情報および入力手のひら静脈情報のパターンマッチングで得られる相互相関を用いることができる。このとき、認証部15Dは、入力手のひら静脈との類似度が所定の閾値以上である登録手のひら静脈が存在する場合、入力手のひら静脈が登録者本人のものであると認証する。一方、認証部15Dは、入力手のひら静脈との類似度が所定の閾値以上である登録手のひら静脈が存在しない場合、入力手のひら静脈が登録者本人のものでないと認証する。その上で、認証部15Dは、認証結果、例えば認証OKまたは認証NGを店舗側システム30へ通知する。このように通知された認証結果は、表示部35等で出力され得る。
なお、ここでは、サーバ装置10が認証結果を店舗側システム30へ通知する例を挙げたが、これに限定されない。例えば、サーバ装置10は、登録者本人であると認証された利用者に対応付けられた決済情報、例えばクレジットカードやデビッドカード、電子マネー等を用いて購入対象とする商品の決済処理を実行し、決済処理結果を店舗側システム30へ通知することもできる。この他、サーバ装置10は、サーバ装置10の内部または外部で決済処理を実行するアプリケーションへ認証結果を転送することもできる。
[処理の流れ]
次に、本実施例に係るサーバ装置10の処理の流れについて説明する。以下、サーバ装置10により実行される(1)第1の特定処理を説明した後に、(2)第2の特定処理を説明することとする。
次に、本実施例に係るサーバ装置10の処理の流れについて説明する。以下、サーバ装置10により実行される(1)第1の特定処理を説明した後に、(2)第2の特定処理を説明することとする。
(1)第1の特定処理
図5は、実施例1に係る第1の特定処理の制御シーケンスの一例を示す図である。この処理は、あくまで一例として、第1のカメラ31Aにより撮影が行われる単位、例えばフレーム単位で実行することができる。
図5は、実施例1に係る第1の特定処理の制御シーケンスの一例を示す図である。この処理は、あくまで一例として、第1のカメラ31Aにより撮影が行われる単位、例えばフレーム単位で実行することができる。
図5に示すように、第1のカメラ31Aの撮影データが取得されると(ステップS101)、第1の抽出部31Bは、ステップS101で取得された撮影データに含まれる顔画像から顔の特徴量を抽出する(ステップS102)。続いて、第1の抽出部31Bは、ステップS102で抽出された顔の特徴量を入店時顔情報としてサーバ装置10へ通知する(ステップS103)。
続いて、第1の特定部15Aは、登録データ13Aに含まれる登録顔情報ごとに、当該登録顔情報と、ステップS103で通知された入店時顔情報とを照合する(ステップS104)。そして、第1の特定部15Aは、登録データ13Aに含まれる登録手のひら静脈情報のうち、入店時顔情報との類似度が上位所定数、例えば上位K(<N)個までの登録顔情報の各々に対応付けられた登録手のひら静脈情報を特定する(ステップS105)。
その上で、生成部15Bは、ステップS103で通知された入店時顔情報をラベルとして付与すると共に、ステップS105で特定された登録手のひら静脈情報群がリスト化された絞込リストデータLjを生成する(ステップS106)。その後、生成部15Bは、ステップS106で生成された絞込リストデータLjを記憶部13に保存し(ステップS107)、処理を終了する。
(2)第2の特定処理
図6は、実施例1に係る第2の特定処理の制御シーケンスの一例を示す図である。この処理は、あくまで一例として、第2のカメラ32Aにより撮影が行われる単位、例えばフレーム単位で実行することができる。
図6は、実施例1に係る第2の特定処理の制御シーケンスの一例を示す図である。この処理は、あくまで一例として、第2のカメラ32Aにより撮影が行われる単位、例えばフレーム単位で実行することができる。
図6に示すように、第2のカメラ32Aの撮影データが取得されると(ステップS301)、第2の抽出部32Bは、ステップS301で取得された撮影データに含まれる顔画像から顔の特徴量を抽出する(ステップS302)。続いて、第2の抽出部32Bは、ステップS302で抽出された顔の特徴量を決済時顔情報としてサーバ装置10へ通知する(ステップS303)。
以下、上記のステップS303の実行後、サーバ装置10で行われるステップS304A及びステップS305Aの処理と、店舗側システム30で行われるステップS304B及びステップS305Bの処理とは、並列に実行される。
例えば、ステップS304Aでは、第2の特定部15Cは、記憶部13に記憶された絞込リストデータL1~Lmごとに、当該絞込リストデータLjのラベルとして付与された入店時顔情報と、ステップS302で通知された決済時顔情報とを照合する。
その上で、第2の特定部15Cは、絞込リストデータL1~Lmのうち、決済時顔情報との類似度が所定の閾値を超える入店時顔情報がラベルとして付与された絞込リストデータを第2モダリティの静脈認証における照合対象の絞込リストとして特定する(ステップS305A)。
一方、センサ33は、ステップS304A及びステップS305Aと並行して、センサ33の撮影データに含まれる手のひら静脈画像から手のひら静脈の特徴量を検出する(ステップS304B)。そして、センサ33は、ステップS304Bで検出された手のひら静脈の特徴量を入力手のひら静脈情報としてサーバ装置10へ通知する(ステップS305B)。
その後、認証部15Dは、ステップS305Aで特定された絞込リストデータに含まれる登録手のひら静脈情報群と、ステップS305Bで通知された入力手のひら静脈情報とに基づいて入力手のひら静脈情報が登録者本人のものであるか否かを認証する認証処理を実行する(ステップS306)。その上で、認証部15Dは、ステップS306における認証結果を店舗側システム30へ通知する(ステップS307)。
このとき、ステップS307で通知された認証結果が認証OK、すなわち入力手のひら静脈が登録者本人のものであると認証された場合(ステップS308Yes)、店舗側システム30の端末32は、次のような処理を実行する。すなわち、端末32は、登録者本人であると認証された利用者に対応付けられた決済情報、例えばクレジットカードやデビッドカード、電子マネー等を用いて購入対象とする商品の決済処理を実行し(ステップS309)、処理を終了する。
なお、ステップS307で通知された認証結果が認証NG、すなわち入力手のひら静脈が登録者本人のものでないと認証された場合(ステップS308No)、ステップS309の決済処理は実行されず、そのまま処理を終了する。
[効果の一側面]
上述してきたように、本実施例に係るマルチ生体認証サービスは、入店時顔情報ごとに絞り込まれた登録手のひら静脈情報群のうち、決済時顔情報と類似する入店時顔情報を用いて絞り込まれた登録手のひら静脈情報群を入力手のひら静脈情報と照合する。このため、本実施例に係るマルチ生体認証サービスでは、決済時顔情報と類似しない入店時顔情報で絞り込んだ生体情報群との照合を省略できる。したがって、本実施例に係るマルチ生体認証サービスによれば、認証時間の低減を実現することが可能である。
上述してきたように、本実施例に係るマルチ生体認証サービスは、入店時顔情報ごとに絞り込まれた登録手のひら静脈情報群のうち、決済時顔情報と類似する入店時顔情報を用いて絞り込まれた登録手のひら静脈情報群を入力手のひら静脈情報と照合する。このため、本実施例に係るマルチ生体認証サービスでは、決済時顔情報と類似しない入店時顔情報で絞り込んだ生体情報群との照合を省略できる。したがって、本実施例に係るマルチ生体認証サービスによれば、認証時間の低減を実現することが可能である。
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
[所要時間を用いるソート]
上記の実施例1では、決済時顔情報および各絞込リストの入店時顔情報の照合は、店舗3への入店順、すなわち入店時顔情報の抽出に用いる顔画像が撮影された順に行われる例を挙げたが、必ずしも店舗3への入店順でなくともかまわない。
上記の実施例1では、決済時顔情報および各絞込リストの入店時顔情報の照合は、店舗3への入店順、すなわち入店時顔情報の抽出に用いる顔画像が撮影された順に行われる例を挙げたが、必ずしも店舗3への入店順でなくともかまわない。
例えば、サーバ装置10は、利用者ごとに当該利用者の顔画像が第1のカメラ31Aに撮影されてから第2のカメラ32Aに撮影されるまでの所要時間を対応付けて記憶することができる。あくまで一例として、サーバ装置10は、絞込リストデータが生成された時間と、当該絞込リストデータが決済時顔情報を用いて第2モダリティの生体認証における照合対象として特定された時間との時間差を上記の所要時間として算出することができる。このように算出された所要時間は、利用者の識別情報に対応付けて登録データ13Aに格納することができる。このとき、登録データ13Aに初期値、例えばNULL値以外の値が既に保存されている場合、算出値および保存値の統計値、例えば平均値や中央値を角にすることとすればよい。
このような所要時間の管理の下、サーバ装置10は、新規の絞込リストデータが生成された場合、新規の絞込リストデータLjを含むm個の絞込リストデータL1~Lmごとに当該絞込リストの入店時顔情報との類似度が最大である登録顔情報に対応付けられた所要時間を登録データ13Aから取得する。そして、サーバ装置10は、m個の絞込リストデータL1~Lmを所要時間の昇順にソートする。その後、サーバ装置10は、所要時間の昇順にソート後のm個の絞込リストデータL1~Lmを記憶部13に保存する。
図7は、応用例に係る第1の特定処理の制御シーケンスの一例を示す図である。図7には、図5に示された処理と同一の処理には同一のステップ番号が付与されると共に図5に示された処理と異なる処理には新規のステップ番号が付与されている。なお、ここでは、図5に示された処理と同一の処理の説明を省略し、差分を抜粋して説明することとする。
すなわち、ステップS106で新規の絞込リストデータLjが生成された後、生成部15Bは、新規の絞込リストデータLjを含むm個の絞込リストデータL1~Lmごとに当該絞込リストの入店時顔情報との類似度が最大である登録顔情報に対応付けられた所要時間を登録データ13Aから取得し、m個の絞込リストデータL1~Lmを所要時間の昇順にソートする(ステップS501)。
その上で、生成部15Bは、所要時間の昇順にソート後のm個の絞込リストデータL1~Lmを記憶部13に保存し(ステップS502)、処理を終了する。
図7に示すステップS501及びステップS502の処理によって、記憶部13には、所要時間が短い絞込リストデータから順にm個の絞込リストデータL1~Lmが記憶されることになる。これによって、第2の特定部15Cは、図6に示されたステップS304Aにおいて、決済時顔情報および各絞込リストの入店時顔情報の照合を所要時間が短い順に行うことができる。
図8は、ソート後の絞込リストデータの一例を示す図である。図8には、図4に示された絞込リストデータL1~L3が所要時間の昇順にソートされたものが示されている。図8には、あくまで一例として、所要時間の大小関係が「絞込リストデータL3<絞込リストデータL1<絞込リストデータL2」である場合が示されている。
図8に示すように、所要時間の昇順にソート後の絞込リストデータL1~L3では、決済時顔情報fface2_U3は、絞込リストデータL3の入店時顔情報fface1_U3、絞込リストデータL1の入店時顔情報fface1_U1、絞込リストデータL2の入店時顔情報fface1_U2の順に照合される。この場合、決済時顔情報fface2_U3及び入店時顔情報fface1_U3の照合時に決済時顔情報fface2_U3及び入店時顔情報fface1_U3の類似度が閾値を超える。それ故、図4に示す例と比べて、決済時顔情報fface2_U3と、絞込リストデータL1の入店時顔情報fface1_U1および絞込リストデータL2の入店時顔情報fface1_U2との照合を省略できる。
以上のように、m個の絞込リストデータL1~Lmを所要時間の昇順にソートすることで、決済時顔情報および各絞込リストの入店時顔情報の照合時間を低減できる。なお、ここでは、記憶部13への保存時にソートを実行する例を挙げたが、必ずしも保存時にソートを実行せずともよく、図6に示すステップS304Aの参照時にソートを実行することもできる。
[スタンドアローンへの適用]
上記の実施例1では、サーバ装置10および店舗側システム30を含むマルチ生体認証サービスの機能がクライアントサーバシステムで動作される例を挙げたが、上記のマルチ生体認証サービスはスタンドアローンで動作されることとしてもかまわない。
上記の実施例1では、サーバ装置10および店舗側システム30を含むマルチ生体認証サービスの機能がクライアントサーバシステムで動作される例を挙げたが、上記のマルチ生体認証サービスはスタンドアローンで動作されることとしてもかまわない。
[モダリティの応用例]
上記の実施例1では、第2モダリティが手のひら静脈である例を挙げたが、各モダリティは特定の認証部位に限定されない。例えば、第2モダリティに指紋や虹彩などの他の認証部位を適用することを妨げない。
上記の実施例1では、第2モダリティが手のひら静脈である例を挙げたが、各モダリティは特定の認証部位に限定されない。例えば、第2モダリティに指紋や虹彩などの他の認証部位を適用することを妨げない。
[ユースケースの応用例]
上記の実施例1では、上記のマルチ生体認証サービスのユースケースの一例として手ぶら決済を例示したが、金融機関におけるATM(Automatic Teller Machine)の利用や入退室管理などの他のユースケースにも上記のマルチ生体認証サービスを適用できる。
上記の実施例1では、上記のマルチ生体認証サービスのユースケースの一例として手ぶら決済を例示したが、金融機関におけるATM(Automatic Teller Machine)の利用や入退室管理などの他のユースケースにも上記のマルチ生体認証サービスを適用できる。
[認証プログラム]
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図9を用いて、上記の実施例1及び実施例2に係る認証プログラムを実行するコンピュータの一例について説明する。
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図9を用いて、上記の実施例1及び実施例2に係る認証プログラムを実行するコンピュータの一例について説明する。
図9は、コンピュータのハードウェア構成例を示す図である。図9に示すように、コンピュータ100は、第1のカメラ110aと、第2のカメラ110bと、センサ110cと、ディスプレイ120と、通信部130とを有する。さらに、このコンピュータ100は、CPU150と、ROM160と、HDD170と、RAM180とを有する。これら110~180の各部はバス140を介して接続される。
HDD170には、図9に示すように、上記の実施例1で示した第1の特定部15A、生成部15B、第2の特定部15C及び認証部15Dと同様の機能を発揮する認証プログラム170aが記憶される。この認証プログラム170aは、図1に示した第1の特定部15A、生成部15B、第2の特定部15C及び認証部15Dの各構成要素と同様、統合又は分離してもかまわない。すなわち、HDD170には、必ずしも上記の実施例1で示した全てのデータが格納されずともよく、処理に用いるデータがHDD170に格納されればよい。
このような環境の下、CPU150は、HDD170から認証プログラム170aを読み出した上でRAM180へ展開する。この結果、認証プログラム170aは、図9に示すように、認証プロセス180aとして機能する。この認証プロセス180aは、RAM180が有する記憶領域のうち認証プロセス180aに割り当てられた領域にHDD170から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、認証プロセス180aが実行する処理の一例として、図5~図7に示す処理などが含まれる。なお、CPU150では、必ずしも上記の実施例1で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。
なお、上記の認証プログラム170aは、必ずしも最初からHDD170やROM160に記憶されておらずともかまわない。例えば、コンピュータ100に挿入されるフレキシブルディスク、いわゆるFD、CD-ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ100がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、LAN、WANなどを介してコンピュータ100に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ100がこれらから各プログラムを取得して実行するようにしてもよい。
1 認証システム
10 サーバ装置
11 通信インタフェイス部
13 記憶部
13A 登録データ
L1~Lm 絞込リストデータ
15 制御部
15A 第1の特定部
15B 生成部
15C 第2の特定部
15D 認証部
30 店舗側システム
31A 第1のカメラ
31B 第1の抽出部
32 端末
32A 第2のカメラ
32B 第2の抽出部
33 センサ
35 表示部
10 サーバ装置
11 通信インタフェイス部
13 記憶部
13A 登録データ
L1~Lm 絞込リストデータ
15 制御部
15A 第1の特定部
15B 生成部
15C 第2の特定部
15D 認証部
30 店舗側システム
31A 第1のカメラ
31B 第1の抽出部
32 端末
32A 第2のカメラ
32B 第2の抽出部
33 センサ
35 表示部
Claims (18)
- 第1のカメラにより撮影された第1の撮影データ及び第2の撮影データを受け付けると、人物の生体情報を前記人物の顔画像の特徴情報に対応付けて記憶する記憶部を参照して、前記第1の撮影データに含まれる第1の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第1の生体情報群と、前記第2の撮影データに含まれる第2の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第2の生体情報群とを特定し、
第2のカメラにより撮影された第3の撮影データを受け付けると、前記第3の撮影データに含まれる第3の顔画像の特徴情報と、前記第1の顔画像の特徴情報及び前記第2の顔画像の特徴情報それぞれとの類似度に基づき、前記第1の生体情報群及び前記第2の生体情報群のうち、いずれかの生体情報群を特定し、
センサにより検出された生体情報を取得すると、特定した前記生体情報群に含まれる複数の生体情報と、取得した前記生体情報とによる認証処理を行う、
処理をコンピュータが実行することを特徴とする認証方法。 - 前記第1の生体情報群のリストに前記第1の顔画像の特徴情報のラベルが付与された第1のリストデータと、前記第2の生体情報群のリストに前記第2の顔画像の特徴情報のラベルが付与された第2のリストデータとを生成する処理を前記コンピュータがさらに実行し、
前記特定する処理は、前記第3の顔画像の特徴情報と前記第1のリストデータのラベルとの類似度と、前記第3の顔画像の特徴情報および前記第2のリストデータのラベルとの類似度とのうち、類似度が基準を満たすラベルが付与されたリストデータに含まれる生体情報群を特定する処理を含む請求項1に記載の認証方法。 - 前記特定する処理は、前記第3の顔画像の特徴情報と前記第1のリストデータのラベルとの類似度と、前記第3の顔画像の特徴情報および前記第2のリストデータのラベルとの類似度とのうち、類似度が閾値を超えるラベルが付与されたリストデータに含まれる生体情報群を特定する処理を含む請求項2に記載の認証方法。
- 前記特定する処理は、前記第3の顔画像の特徴情報と前記第1のリストデータのラベルとの類似度と、前記第3の顔画像の特徴情報および前記第2のリストデータのラベルとの類似度とのうち、類似度が最大であるラベルが付与されたリストデータに含まれる生体情報群を特定する処理を含む請求項2に記載の認証方法。
- 前記記憶部は、前記人物の顔画像が前記第1のカメラに撮影されてから前記第2のカメラに撮影されるまでの所要時間をさらに記憶し、
前記特定する処理は、前記第3の顔画像の特徴情報と、前記第1のリストデータのラベルおよび前記第2のリストデータのラベルそれぞれとの照合を前記所要時間の昇順に行う処理を含む請求項2に記載の認証方法。 - 前記認証処理は、手のひら静脈の認証処理であることを特徴とする請求項1に記載の認証方法。
- 第1のカメラにより撮影された第1の撮影データ及び第2の撮影データを受け付けると、人物の生体情報を前記人物の顔画像の特徴情報に対応付けて記憶する記憶部を参照して、前記第1の撮影データに含まれる第1の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第1の生体情報群と、前記第2の撮影データに含まれる第2の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第2の生体情報群とを特定し、
第2のカメラにより撮影された第3の撮影データを受け付けると、前記第3の撮影データに含まれる第3の顔画像の特徴情報と、前記第1の顔画像の特徴情報及び前記第2の顔画像の特徴情報それぞれとの類似度に基づき、前記第1の生体情報群及び前記第2の生体情報群のうち、いずれかの生体情報群を特定し、
センサにより検出された生体情報を取得すると、特定した前記生体情報群に含まれる複数の生体情報と、取得した前記生体情報とによる認証処理を行う、
処理をコンピュータに実行させることを特徴とする認証プログラム。 - 前記第1の生体情報群のリストに前記第1の顔画像の特徴情報のラベルが付与された第1のリストデータと、前記第2の生体情報群のリストに前記第2の顔画像の特徴情報のラベルが付与された第2のリストデータとを生成する処理を前記コンピュータにさらに実行させ、
前記特定する処理は、前記第3の顔画像の特徴情報と前記第1のリストデータのラベルとの類似度と、前記第3の顔画像の特徴情報および前記第2のリストデータのラベルとの類似度とのうち、類似度が基準を満たすラベルが付与されたリストデータに含まれる生体情報群を特定する処理を含む請求項7に記載の認証プログラム。 - 前記特定する処理は、前記第3の顔画像の特徴情報と前記第1のリストデータのラベルとの類似度と、前記第3の顔画像の特徴情報および前記第2のリストデータのラベルとの類似度とのうち、類似度が閾値を超えるラベルが付与されたリストデータに含まれる生体情報群を特定する処理を含む請求項8に記載の認証プログラム。
- 前記特定する処理は、前記第3の顔画像の特徴情報と前記第1のリストデータのラベルとの類似度と、前記第3の顔画像の特徴情報および前記第2のリストデータのラベルとの類似度とのうち、類似度が最大であるラベルが付与されたリストデータに含まれる生体情報群を特定する処理を含む請求項8に記載の認証プログラム。
- 前記記憶部は、前記人物の顔画像が前記第1のカメラに撮影されてから前記第2のカメラに撮影されるまでの所要時間をさらに記憶し、
前記特定する処理は、前記第3の顔画像の特徴情報と、前記第1のリストデータのラベルおよび前記第2のリストデータのラベルそれぞれとの照合を前記所要時間の昇順に行う処理を含む請求項8に記載の認証プログラム。 - 前記認証処理は、手のひら静脈の認証処理であることを特徴とする請求項7に記載の認証プログラム。
- 第1のカメラにより撮影された第1の撮影データ及び第2の撮影データを受け付けると、人物の生体情報を前記人物の顔画像の特徴情報に対応付けて記憶する記憶部を参照して、前記第1の撮影データに含まれる第1の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第1の生体情報群と、前記第2の撮影データに含まれる第2の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第2の生体情報群とを特定する第1の特定部と、
第2のカメラにより撮影された第3の撮影データを受け付けると、前記第3の撮影データに含まれる第3の顔画像の特徴情報と、前記第1の顔画像の特徴情報及び前記第2の顔画像の特徴情報それぞれとの類似度に基づき、前記第1の生体情報群及び前記第2の生体情報群のうち、いずれかの生体情報群を特定する第2の特定部と、
センサにより検出された生体情報を取得すると、特定した前記生体情報群に含まれる複数の生体情報と、取得した前記生体情報とによる認証処理を行う認証部と、
を有することを特徴とする認証装置。 - 前記第1の生体情報群のリストに前記第1の顔画像の特徴情報のラベルが付与された第1のリストデータと、前記第2の生体情報群のリストに前記第2の顔画像の特徴情報のラベルが付与された第2のリストデータとを生成する生成部をさらに有し、
前記第2の特定部は、前記第3の顔画像の特徴情報と前記第1のリストデータのラベルとの類似度と、前記第3の顔画像の特徴情報および前記第2のリストデータのラベルとの類似度とのうち、類似度が基準を満たすラベルが付与されたリストデータに含まれる生体情報群を特定する請求項13に記載の認証装置。 - 前記第2の特定部は、前記第3の顔画像の特徴情報と前記第1のリストデータのラベルとの類似度と、前記第3の顔画像の特徴情報および前記第2のリストデータのラベルとの類似度とのうち、類似度が閾値を超えるラベルが付与されたリストデータに含まれる生体情報群を特定する請求項14に記載の認証装置。
- 前記第2の特定部は、前記第3の顔画像の特徴情報と前記第1のリストデータのラベルとの類似度と、前記第3の顔画像の特徴情報および前記第2のリストデータのラベルとの類似度とのうち、類似度が最大であるラベルが付与されたリストデータに含まれる生体情報群を特定する請求項14に記載の認証装置。
- 前記記憶部は、前記人物の顔画像が前記第1のカメラに撮影されてから前記第2のカメラに撮影されるまでの所要時間をさらに記憶し、
前記第2の特定部は、前記第3の顔画像の特徴情報と、前記第1のリストデータのラベルおよび前記第2のリストデータのラベルそれぞれとの照合を前記所要時間の昇順に行う処理を含む請求項14に記載の認証装置。 - 前記認証処理は、手のひら静脈の認証処理であることを特徴とする請求項13に記載の認証装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20935628.6A EP4152183A4 (en) | 2020-05-14 | 2020-05-14 | AUTHENTICATION PROCESS, AUTHENTICATION PROGRAM AND AUTHENTICATION DEVICE |
JP2022522446A JP7327662B2 (ja) | 2020-05-14 | 2020-05-14 | 認証方法、認証プログラム及び認証装置 |
CN202080100367.4A CN115461741A (zh) | 2020-05-14 | 2020-05-14 | 认证方法、认证程序以及认证装置 |
PCT/JP2020/019328 WO2021229763A1 (ja) | 2020-05-14 | 2020-05-14 | 認証方法、認証プログラム及び認証装置 |
US17/968,826 US20230044788A1 (en) | 2020-05-14 | 2022-10-19 | Authentication method, storage medium, and authentication device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/019328 WO2021229763A1 (ja) | 2020-05-14 | 2020-05-14 | 認証方法、認証プログラム及び認証装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/968,826 Continuation US20230044788A1 (en) | 2020-05-14 | 2022-10-19 | Authentication method, storage medium, and authentication device |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021229763A1 true WO2021229763A1 (ja) | 2021-11-18 |
Family
ID=78525572
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/019328 WO2021229763A1 (ja) | 2020-05-14 | 2020-05-14 | 認証方法、認証プログラム及び認証装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230044788A1 (ja) |
EP (1) | EP4152183A4 (ja) |
JP (1) | JP7327662B2 (ja) |
CN (1) | CN115461741A (ja) |
WO (1) | WO2021229763A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005275508A (ja) * | 2004-03-23 | 2005-10-06 | Sanyo Electric Co Ltd | 個人認証装置 |
JP2006031387A (ja) * | 2004-07-15 | 2006-02-02 | Yamaha Motor Co Ltd | 画像認識装置、画像認識方法、画像認識プログラムおよび画像認識プログラムを記録した記録媒体 |
JP2019128880A (ja) | 2018-01-26 | 2019-08-01 | 富士通フロンテック株式会社 | 認証システム、認証装置、認証プログラム、および認証方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009259085A (ja) * | 2008-04-18 | 2009-11-05 | Takumi Vision株式会社 | 生体認証システム及び認証方法 |
JP2010049357A (ja) * | 2008-08-19 | 2010-03-04 | Fujitsu Ltd | 認証装置、認証システム及び認証方法 |
JP5975293B2 (ja) * | 2013-02-22 | 2016-08-23 | 富士ゼロックス株式会社 | 認証装置及びプログラム |
WO2020065954A1 (ja) * | 2018-09-28 | 2020-04-02 | 日本電気株式会社 | 認証装置、認証方法および記憶媒体 |
-
2020
- 2020-05-14 WO PCT/JP2020/019328 patent/WO2021229763A1/ja unknown
- 2020-05-14 JP JP2022522446A patent/JP7327662B2/ja active Active
- 2020-05-14 EP EP20935628.6A patent/EP4152183A4/en not_active Withdrawn
- 2020-05-14 CN CN202080100367.4A patent/CN115461741A/zh active Pending
-
2022
- 2022-10-19 US US17/968,826 patent/US20230044788A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005275508A (ja) * | 2004-03-23 | 2005-10-06 | Sanyo Electric Co Ltd | 個人認証装置 |
JP2006031387A (ja) * | 2004-07-15 | 2006-02-02 | Yamaha Motor Co Ltd | 画像認識装置、画像認識方法、画像認識プログラムおよび画像認識プログラムを記録した記録媒体 |
JP2019128880A (ja) | 2018-01-26 | 2019-08-01 | 富士通フロンテック株式会社 | 認証システム、認証装置、認証プログラム、および認証方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115461741A (zh) | 2022-12-09 |
JPWO2021229763A1 (ja) | 2021-11-18 |
JP7327662B2 (ja) | 2023-08-16 |
EP4152183A1 (en) | 2023-03-22 |
EP4152183A4 (en) | 2023-06-21 |
US20230044788A1 (en) | 2023-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11973877B2 (en) | Systems and methods for secure tokenized credentials | |
US9779400B2 (en) | Biometric matching system using input biometric sample | |
Tanwar et al. | Online signature-based biometric recognition | |
JP2010286937A (ja) | 生体認証方法、及び、生体認証に用いるクライアント端末、認証サーバ | |
KR20060018839A (ko) | 인증 카드, 인증 시스템 및 거래 수행 방법 | |
Kaur | A study of biometric identification and verification system | |
US20230012235A1 (en) | Using an enrolled biometric dataset to detect adversarial examples in biometrics-based authentication system | |
Haji et al. | Real time face recognition system (RTFRS) | |
Prasanthi et al. | Palm vein biometric technology: An approach to upgrade security in ATM transactions | |
Bhartiya et al. | Biometric authentication systems: security concerns and solutions | |
WO2021229763A1 (ja) | 認証方法、認証プログラム及び認証装置 | |
Hamdan et al. | A self-immune to 3D masks attacks face recognition system | |
Mishra et al. | Integrating State-of-the-Art Face Recognition and Anti-Spoofing Techniques into Enterprise Information Systems | |
Gunalan et al. | Enhanced atm security using facial recognition, fingerprint authentication, and web application | |
US20230031788A1 (en) | Biometric authentication device, biometric authentication method, and non-transitory computer-readable storage medium for storing biometric authentication program | |
Ram et al. | Non-contact advanced ATM security through eye based password input for enhanced security | |
WO2021234901A1 (ja) | 制御方法、制御プログラム、および情報処理装置 | |
Abe et al. | Integrated biometric authentication technology to support a cashless society | |
Hari Priya et al. | A Survey for Securing Online Payment Transaction Using Biometrics Authentication | |
Burkul et al. | Exploring the intricacies of Biometric ATM operations, specifically focusing on the integration of fingerprint and facial recognition using Deep Learning techniques | |
Kachole et al. | Traffic Police App | |
JP7415640B2 (ja) | 認証方法、情報処理装置、及び認証プログラム | |
JP6907426B1 (ja) | 認証システム、認証方法、及びプログラム | |
Reji | 3D Face Recognition System in Time Critical Security Applications | |
Shoukat et al. | Fraud detection system using facial recognition based on Google Teachable Machine for banking applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20935628 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022522446 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2020935628 Country of ref document: EP Effective date: 20221214 |