WO2023149150A1 - 認証装置および認証方法 - Google Patents

認証装置および認証方法 Download PDF

Info

Publication number
WO2023149150A1
WO2023149150A1 PCT/JP2022/048685 JP2022048685W WO2023149150A1 WO 2023149150 A1 WO2023149150 A1 WO 2023149150A1 JP 2022048685 W JP2022048685 W JP 2022048685W WO 2023149150 A1 WO2023149150 A1 WO 2023149150A1
Authority
WO
WIPO (PCT)
Prior art keywords
authentication
biometric
unit
user
biometric information
Prior art date
Application number
PCT/JP2022/048685
Other languages
English (en)
French (fr)
Inventor
正治郎 松尾
宣貴 児玉
和典 林
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Publication of WO2023149150A1 publication Critical patent/WO2023149150A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints

Definitions

  • This disclosure relates to an authentication device and an authentication method.
  • Patent Literature 1 discloses a biometric authentication device that acquires information about a part of a person to be authenticated and performs personal authentication based on the result of comparing the acquired information with pre-registered personal authentication information.
  • the biometrics authentication system displays guide information for guiding a part to be authenticated to a predetermined imaging area on the display unit, and the light indicating the guide information is incident on the aerial imaging member, and the incident light is directed to the incident side. It emits in the opposite direction to create a virtual image in the air.
  • the biometric authentication device captures an image of a part to be authenticated, processes the imaged image of the part to be authenticated, acquires information on the part to be authenticated, and stores the acquired information on the part to be authenticated with the stored information for personal authentication. Personal authentication is performed based on the result of comparison with the information.
  • the aerial imaging member generates a virtual image at a distance from the biometric authentication device, and the surface located on the side where this virtual image is generated is flat.
  • Patent Literature 1 has a problem that it is not assumed to prevent such spoofing authentication.
  • the present disclosure has been devised in view of the conventional circumstances described above, and aims to provide an authentication device and an authentication method that more effectively suppress spoofing authentication by others in personal authentication using biometric information. .
  • the present disclosure includes an acquisition unit that acquires biometric information from a predetermined part of a person to be authenticated, a first authentication unit that executes a first authentication process based on the biometric information acquired by the acquisition unit, and Based on a sound wave transmitting unit that transmits a tactile signal using a sound wave to the predetermined part of the person to be authenticated, input information based on the operation of the person to be authenticated, and information corresponding to the tactile signal, a second a second authentication unit that executes an authentication process; and a determination unit that authenticates the person to be authenticated based on the authentication result of the first authentication process and the authentication result of the second authentication process. , provides an authentication device.
  • the present disclosure is an authentication method performed by one or more computers, which acquires biometric information from a predetermined part of a person to be authenticated, executes a first authentication process based on the acquired biometric information, A tactile signal using a sound wave is transmitted to the predetermined part of the person to be authenticated, and a second authentication process is performed based on input information based on the operation of the person to be authenticated and information corresponding to the tactile signal. and authenticating the person to be authenticated based on the authentication result of the first authentication process and the authentication result of the second authentication process.
  • FIG. 1 is a diagram for explaining an example of the overall configuration of a biometric authentication system according to Embodiment 1;
  • FIG. 1 is a diagram showing an internal configuration example 1 of the tactile sense generation authentication device and the input device according to Embodiment 1.
  • FIG. Diagram for explaining a tactile sense presentation method by an ultrasonic transmitter FIG. 2 shows an internal configuration example 2 of the tactile sense generation authentication device and the input device according to the first embodiment;
  • FIG. 1 shows an internal configuration example of a biometric information acquiring device and a biometric authentication device according to Embodiment 1;
  • FIG. 10 is a diagram illustrating an example of the overall configuration of a biometric authentication system according to a modification of Embodiment 1;
  • FIG. 4 shows an internal configuration example of a biometric information acquiring device and a biometric authentication device according to a modification of the first embodiment;
  • Flowchart showing an operation overview procedure example 1 of the biometric authentication system according to the first embodiment and the modification of the first embodiment Flowchart showing an operation overview procedure example 2 of the biometric authentication system according to the first embodiment and the modification of the first embodiment Timing chart showing a first operation procedure example in the operation overview procedure example 1 of the biometric authentication system
  • Flowchart showing an example of a second operation procedure in the example 1 of the operation overview procedure of the biometric authentication system Timing chart showing an example of a third operation procedure in the example 1 of the operation overview procedure of the biometric authentication system
  • FIG. 1 is a diagram illustrating an overall configuration example of a biometric authentication system 100 according to Embodiment 1. As shown in FIG.
  • the biometric authentication system 100 gives a tactile sense to the body (for example, hand, face, etc.) of a user to be biometrically authenticated by the tactile sense generation authentication devices P1 and P1A, and generates a tactile sense using the given tactile sense.
  • User authentication that prevents spoofing authentication of the user by others by executing authentication processing and biometric authentication processing based on biometric information acquired from the user's body by each of the biometric information acquiring device P2 and the biometric authentication device P3. to run.
  • the biometric information referred to here may be a user's fingerprint, palm print, vein, iris, lip print, or the like.
  • the biometric authentication system 100 includes an authentication device P0 and a biometric authentication device P3.
  • the biometric information acquisition device P2 in the authentication device P0 and the biometric authentication device P3 are connected via a network NW so as to be capable of wireless communication or wired communication, and data is transmitted and received.
  • the wireless communication here is communication via a wireless LAN (Local Area Network) such as Wi-Fi (registered trademark).
  • the authentication device P0 includes at least tactile sense generation authentication devices P1 and P1A and a biometric information acquisition device P2.
  • the authentication device P0 performs tactile authentication processing with the tactile sensation generation authentication devices P1 and P1A, acquires user biometric information with the biometric information acquisition device P2, and performs user biometric information acquisition processing with the biometric authentication device P3. .
  • the biometric information acquiring device P2 transmits the acquired biometric information of the user to the biometric authentication device P3, and the biometric authentication result executed by the biometric authentication device P3 and the tactile sense authentication result executed by the tactile sense generation authentication devices P1 and P1A are obtained. and perform user authentication.
  • the biometric information acquisition device P2 generates a screen (authentication completion screen (not shown), authentication failure screen (not shown)) for notifying the result of user authentication, and outputs and displays it on the monitor MN.
  • the authentication device P0 does not require an input device UI, and the tactile sense generation authentication devices P1 and P1A have a configuration in which the PW (Pass Word) input detection unit 14 (see FIGS. 2 and 4) is omitted. , includes an input device UI. Also, the authentication device P0 does not require the monitor MN, and may be omitted. The monitor MN may be configured to be connected to the tactile sense generation authentication devices P1 and P1A so as to be able to transmit and receive data.
  • the biometric authentication device P3 is connected to the biometric information acquisition device P2 so that data can be transmitted and received.
  • the biometric authentication device P3 acquires the user's biometric information transmitted from the biometric information acquisition device P2, and compares the acquired user's biometric information with the biometric information of a plurality of persons registered in the biometric information database DB. to perform user authentication.
  • the biometric authentication device P3 transmits the user authentication result to the biometric information acquisition device P2.
  • the network NW connects the biometric information acquisition device P2 of the authentication device P0 and the biometric authentication device P3 so that data can be transmitted and received.
  • FIG. 2 is a diagram showing an internal configuration example 1 of the tactile sense generation authentication device P1 and the input device UI according to the first embodiment.
  • FIG. 3 is a diagram for explaining a tactile sense presentation method by the ultrasonic transmission unit 16. As shown in FIG.
  • the input device UI may be omitted when the PW input detection unit 14 is included in the internal configuration of the tactile sense generation authentication device P1.
  • the tactile sense generation authentication device P1 is connected between the input device UI and the biometric information acquisition device P2 so that data can be transmitted and received.
  • the tactile sense generation authentication device P1 includes a communication unit 10, a processor 11, a memory 12, a hand insertion detection unit 13, a PW input detection unit 14, a signal level conversion unit 15, and an ultrasonic wave transmission unit 16. consists of
  • the communication unit 10 transmits and receives data to and from the input device UI and the communication unit 30 of the biometric information acquisition device P2.
  • the communication unit 10 acquires an electrical signal (control command) indicating a user operation transmitted from the input device UI, outputs it to the PW comparison determination unit 115 of the processor 11, or receives an electrical signal transmitted from the biological information acquisition device P2. It outputs a signal (control command) to the processor 11 . Further, the communication unit 10 transmits the tactile authentication result output from the processor 11 to the biometric information acquisition device P2. Note that data transmitted/received to/from the biometric information acquisition device P2 may be encrypted.
  • the processor 11 is configured using, for example, a CPU (Central Processing Unit) or FPGA (Field Programmable Gate Array), and cooperates with the memory 12 to perform various types of processing and control. Specifically, the processor 11 refers to the programs and data held in the memory 12 and executes the programs to obtain the output signal modulation unit 111, the PW issuing unit 112, the output level calculation unit 113, the delay time calculation unit It implements the functions of section 114, PW comparison/determination section 115, transmission signal generation section 116, and the like.
  • a CPU Central Processing Unit
  • FPGA Field Programmable Gate Array
  • the memory 12 includes, for example, a RAM (Random Access Memory) as a work memory used when executing each process of the processor 11, and a ROM (Read Only Memory) for storing programs and data that define the operation of the processor 11. have.
  • the RAM temporarily stores data or information generated or acquired by the processor 11 .
  • a program that defines the operation of the processor 11 is written in the ROM.
  • the hand insertion detection unit 13 is realized by, for example, a camera, a sensor (for example, a reflective TOF (Time Of Flight) sensor, an infrared sensor, a transmissive laser sensor, or a light receiving sensor).
  • the hand insertion detection unit 13 determines (detects) whether or not the user's hand (specifically, fingers, palm, etc.) is inserted into a range (region) where the ultrasonic wave transmission unit 16 can generate a tactile sensation.
  • the hand insertion detection unit 13 determines that the user's hand has been inserted into the range (region) where the tactile sensation can be imparted, the hand insertion detection unit 13 notifies (control command) that the user's hand has been inserted, or detects the detected user's hand.
  • Position information is generated and output to PW issuing unit 112 .
  • the hand insertion detection unit 13 when the hand insertion detection unit 13 is realized by a camera, the hand insertion detection unit 13 captures an image of a tactile sense-generating range (region) and analyzes the captured image. If the hand insertion detection unit 13 determines that the user's hand (specifically, fingers, palm, etc.) is inserted into the range (region) where the tactile sensation can be generated based on the analysis result of the captured image, the hand insertion detection unit 13 detects that the user's hand is inserted (control command) and output to the PW issuing unit 112 .
  • the hand insertion detection unit 13 detects whether or not the user's hand is inserted into the range (region) where the tactile sensation can be generated.
  • the hand insertion detection unit 13 detects that the user's hand is inserted into the range (region) where the tactile sensation can be generated, the hand insertion detection unit 13 generates a notification (control command) to the effect that the user's hand has been inserted, and the PW issuing unit 112 output to
  • the PW input detection unit 14 is implemented by, for example, a keyboard, numeric keypad, mouse, touch panel, microphone, etc., and receives user operations for executing tactile authentication. When implemented by a microphone, the PW input detection unit 14 picks up the user's uttered voice, converts the picked up uttered voice into a voice signal, and executes voice recognition. The PW input detection unit 14 converts the received user operation or voice recognition result into an electric signal and outputs the electric signal to the PW comparison determination unit 115 . Note that the PW input detection unit 14 is not an essential component and may be omitted.
  • the signal level converter 15 converts the voltage value of the electrical signal output from the transmission signal generator 116 of the processor 11 and outputs the converted electrical signal to the ultrasonic transmitter 16 .
  • the ultrasonic transmission unit 16 is configured by each of a plurality of ultrasonic elements 16A, 16B, . . . , 16N.
  • the ultrasonic transmission unit 16 converts the electric signal output from the signal level conversion unit 15 into a sound wave having an intensity corresponding to the voltage value of the electric signal, and transmits the electric signal toward the tactile sensation presentation surface HH (see FIG. 3) corresponding to the position of the user's hand. output.
  • the sound waves output from each of the plurality of ultrasonic elements 16A to 16N reinforce each other at the position of the focal point Pt0 on the tactile sensation presentation surface HH, thereby giving a tactile sensation to the user's hand at the position of the focal point Pt0.
  • the output signal modulating section 111 modulates the output intensity of each ultrasonic element. For example, the output signal modulating unit 111, based on the distance between the focal point Pt0 corresponding to the predetermined hand insertion position set in advance and the sound wave generation position of each of the plurality of ultrasonic elements 16A to 16N, Modulate the sound wave intensity at the focus Pt0. The output signal modulating section 111 generates a modulating signal for modulating the sound wave intensity and outputs it to the transmission signal generating section 116 .
  • the modulation referred to here is sine wave modulation such that the sound wave intensity output from each of the plurality of ultrasonic elements is turned on and off at a constant cycle at the position of the focal point Pt0, or a sine wave is drawn at the position of the focal point Pt0. It is a process to let
  • the user can obtain the tactile sensation of the sound wave.
  • the user can change the position where the tactile sensation is obtained by the sound waves output from the ultrasonic transmission unit 16 (that is, the focal position of the output sound waves of the ultrasonic transmission unit 16), so that the password (described later) conveyed by the tactile sensation is changed. You can perceive what it is.
  • the PW issuing unit 112 determines (issues) a password (for example, characters such as numbers, alphabets, and symbols) used for tactile authentication based on a control command from the hand insertion detection unit 13 indicating that the user's hand has been detected. )do. In addition to the password, the PW issuing unit 112 may determine (issue) the finger that gives the tactile sensation, the order of the fingers that give the tactile sensation, or the like as the password. PW issuing section 112 outputs the determined password to output level calculating section 113, delay time calculating section 114, and PW comparison determining section 115, respectively.
  • a password for example, characters such as numbers, alphabets, and symbols
  • the output level calculating unit 113 calculates the output level (the magnitude of the output signal) of the sound waves of the ultrasonic wave transmitting unit 16 for outputting the password. Specifically, the output level calculation unit 113 calculates the output level of sound waves for each ultrasonic element in order to convey the output password to the user. The output level calculator 113 outputs information about the calculated output level of the sound wave for each ultrasonic element to the transmission signal generator 116 .
  • the output level calculating unit 113 calculates the temporal output level for each ultrasonic element for drawing "1" on the user's hand. . Also, for example, if the password output from the PW issuing unit 112 is not a number or the like, but the order of tactile sensations given to a plurality of fingertips, and is "middle finger", “ring finger”, and “index finger”, the output level is calculated. The unit 113 calculates, for each ultrasonic element, the output level of sound waves for giving a tactile sensation in the order of "middle finger", “ring finger”, and "index finger".
  • the delay time calculating unit 114 calculates the output delay time of the ultrasonic wave transmitting unit 16 for presenting the password to the user's hand. Specifically, the delay time calculator 114 outputs sound waves from each of the ultrasonic elements 16A to 16N so that the sound waves output from each of the ultrasonic elements 16A to 16N strengthen each other at a predetermined focal position on the user's hand. Calculate the timing (delay time). The delay time calculator 114 outputs information on the calculated delay time for each ultrasonic element to the transmission signal generator 116 .
  • the delay time calculation unit 114 calculates the distance between the focal position and the sound wave output position of each ultrasonic element, and the phase of the sound wave output from each element according to the calculated distance changes to the focal position. Calculate the delay time for each ultrasonic element so that the delay time is the same in .
  • the PW comparison determination unit 115 acquires and compares the password output from the PW input detection unit 14 and input by the user's operation with the password output from the PW issuing unit 112 . PW comparison determination unit 115 determines whether the password input by the user is the same as the password determined (issued) by PW issuing unit 112 .
  • the PW comparison determination unit 115 determines that the password input by the user is the same as the password determined (issued) by the PW issuing unit 112, it determines that the tactile authentication is successful. On the other hand, when the PW comparison determination unit 115 determines that the password input by the user is not the same as the password determined (issued) by the PW issuing unit 112, the PW comparison determination unit 115 determines that the tactile authentication has failed. A control command for notifying that the authentication has failed is generated, and the generated authentication failure screen is output to the communication unit 10 to be transmitted to the biometric information acquisition device P2. The biometric information acquisition device P2 generates an authentication failure screen (not shown) based on the control command transmitted from the tactile sense generating and authenticating device P1, and outputs and displays it on the monitor MN.
  • the PW comparison determination unit 115 may have a timer function. In such a case, the PW comparison determination unit 115 starts the PW input detection unit set in advance from the timing when presentation of the password by the transmission signal generation unit 116 (that is, giving a tactile sensation to the user using ultrasonic waves) is completed. 14 determines whether or not the password input operation is performed by the user within a predetermined time (for example, 15 seconds, 20 seconds, 30 seconds, etc.) during which the password input operation can be accepted.
  • a predetermined time for example, 15 seconds, 20 seconds, 30 seconds, etc.
  • the PW comparison/determination unit 115 determines that the user has input a password within a predetermined period of time, it determines whether the password input by the user operation is the same as the password determined (issued) by the PW issuing unit 112. It determines whether or not (that is, tactile authentication). The PW comparison/determination unit 115 generates a tactile authentication result based on the determination result as to whether or not it is the same as the password determined (issued) by the PW issuing unit 112, and transmits it to the biometric information acquisition device P2.
  • the transmission signal generating section 116 generates the modulated signal output from the output signal modulating section 111 , the output level information for each ultrasonic element output from the output level calculating section 113 , and the ultrasonic wave output from the delay time calculating section 114 . Based on the delay time information for each acoustic wave element, an electric signal is generated for controlling the sound wave output from each of the plurality of ultrasonic elements 16A to 16N.
  • the transmission signal generator 116 outputs the generated electrical signal to the signal level converter 15 .
  • the input device UI is connected so as to be able to transmit and receive data to and from the tactile sense generation authentication device P1.
  • the input device UI includes a communication unit 20 , a processor 21 , a memory 22 and a PW input unit 23 .
  • the communication unit 20 transmits and receives data to and from the communication unit 10 of the tactile sense generation authentication device P1.
  • the communication unit 20 acquires an electric signal (control command) indicating a user operation output from the processor 21 and transmits the electric signal to the tactile sensation generation authentication device P1.
  • the processor 21 is configured using, for example, a CPU or FPGA, and cooperates with the memory 22 to perform various types of processing and control. Specifically, the processor 21 refers to the programs and data held in the memory 22 and implements the functions of the units by executing the programs.
  • the memory 22 has, for example, a RAM as a work memory that is used when executing each process of the processor 21, and a ROM that stores programs and data that define the operation of the processor 21. Data or information generated or obtained by the processor 21 is temporarily stored in the RAM. A program that defines the operation of the processor 21 is written in the ROM.
  • the PW input unit 23 is implemented by, for example, a keyboard, numeric keypad, mouse, touch panel, microphone, and the like.
  • the PW input unit 23 realizes the same function as the PW input detection unit 14 of the tactile sense generation/authentication device P1 by accepting a user operation for executing tactile sense authentication.
  • the PW input unit 23 picks up the user's uttered voice, converts the picked up uttered voice into an audio signal, and outputs the audio signal to the processor 21 .
  • the processor 21 outputs the voice signal output from the PW input unit 23 to the communication unit 20, and causes it to be transmitted to the tactile sense generation authentication device P1.
  • the speech recognition processing using the speech signal may be performed by the processor 21 or by the processor 11 of the tactile sense generation authentication device P1.
  • FIG. 4 is a diagram showing an internal configuration example 2 of the tactile sense generation authentication device P1A and the input device UI according to the first embodiment. The same components as those of the tactile sense generation authentication device P1 and the input device UI shown in FIG.
  • the tactile sensation generation authentication device P1A shown in FIG. 4 detects the position of the inserted user's finger and the state of the user's hand (for example, the hand is closed, open, etc.), and detects the position of the detected user's finger. Based on the position and the state of the user's hand, the focal position of the sound wave output by the ultrasonic wave transmitting section 16 is adjusted.
  • the tactile sense generation authentication device P1A is connected between the input device UI and the biometric information acquisition device P2 so that data can be transmitted and received.
  • the tactile sense generation authentication device P1A includes a communication unit 10, a processor 11A, a memory 12, a hand insertion detection unit 13, a PW input detection unit 14, a signal level conversion unit 15, an ultrasonic wave transmission unit 16, and a hand state and a detection unit 18 .
  • the processor 11A is configured using a CPU or FPGA, for example, and cooperates with the memory 12 to perform various types of processing and control. Specifically, the processor 11A refers to the programs and data held in the memory 12 and executes the programs to obtain the output signal modulation unit 111, the PW issuing unit 112, the output level calculation unit 113, the delay time calculation unit It implements the functions of the unit 114A, the PW comparison determination unit 115, the transmission signal generation unit 116A, the coordinate-distance conversion unit 117, and the like.
  • the PW input unit 17 is implemented by, for example, a keyboard, numeric keypad, mouse, touch panel, microphone, and the like.
  • the PW input unit 17 receives a user operation (password input operation) for executing tactile authentication, converts the received user operation into an electric signal, and outputs the electric signal to the PW comparison determination unit 115 of the processor 11A.
  • the PW input unit 17 is not an essential component and may be omitted.
  • the PW input unit 17 When implemented by a microphone, the PW input unit 17 picks up the user's uttered voice and converts the picked-up uttered voice into a voice signal. The PW input unit 17 executes speech recognition processing using the speech signal, extracts the password contained in the speech signal or one character (for example, numbers, alphabets, symbols, etc.) that constitutes the password, and extracts the extracted The character information obtained is output to the processor 11A. The processor 11A performs tactile authentication by matching the password with the character information output from the PW input unit 17 by the PW comparison determination unit 115 .
  • the hand state detection unit 18 is realized by, for example, a camera, a sensor, etc., and detects the position of the user's hand (palm, each finger), the open/closed state of the hand, and the like.
  • the hand state detection unit 18 generates position information (coordinate information) of the detected user's palm and fingers, information on the open/closed state of the hand, and the like, and outputs them to the coordinate-distance conversion unit 117 .
  • the hand state detection unit 18 shown in FIG. 4 will be described as an example configured separately from the hand insertion detection unit 13 , but may be configured integrally with the hand insertion detection unit 13 .
  • the coordinate-distance conversion unit 117 acquires position information (coordinates) of the user's palm and each finger output from the hand state detection unit 18 .
  • the coordinate-distance conversion unit 117 converts the acquired positions of the user's palm and each finger and a plurality of The distances between the respective positions of the ultrasonic elements 16A to 16N are calculated and output to the delay time calculation section 114A.
  • the delay time calculation unit 114A calculates the distance between the positions of the user's palm and fingers output from the coordinate-distance conversion unit 117 and the positions of the plurality of ultrasonic elements 16A to 16N constituting the ultrasonic transmission unit 16. , the delay time of the sound wave output from each of the plurality of ultrasonic elements 16A to 16N is calculated.
  • the delay time calculator 114A outputs information on the calculated delay times of the sound waves output from each of the plurality of ultrasonic elements 16A to 16N to the transmission signal generator 116A.
  • the transmission signal generator 116A generates the modulated signal output from the output signal modulator 111, the output level information for each ultrasonic element output from the output level calculator 113, and the ultrasonic wave output from the delay time calculator 114A. Based on the delay time information for each acoustic wave element, an electric signal is generated for controlling the sound wave output from each of the plurality of ultrasonic elements 16A to 16N.
  • the transmission signal generator 116A outputs the generated electrical signal to the signal level converter 15 .
  • FIG. 5 is a diagram showing an internal configuration example of the biometric information acquiring device P2 and the biometric authentication device P3 according to the first embodiment.
  • the biometric information acquisition device P2 is connected to the tactile sense generation authentication device P1 and the biometric authentication device P3 so as to be able to communicate with each other.
  • the biometric information acquisition device P2 captures a part of the user's body (for example, fingers, palm, face, eyes, etc.) with the biometric information acquisition camera 34 .
  • the biometric information acquisition device P2 analyzes the captured image (hereinafter referred to as “biometric authentication image”) to acquire the user's biometric information (for example, fingerprint, palm print, vein, iris, lip print). and transmits the acquired biometric information of the user to the biometric authentication device P3.
  • biometric information acquisition device P2 outputs the biometric authentication result executed by the biometric authentication device P3 to the monitor MN.
  • the biometric information acquisition device P2 includes a communication unit 30, a processor 31, a memory 32, a stationary detection camera 33, and a biometric information acquisition camera .
  • the biological information acquisition device P2 shown in FIG. 5 shows an example configured including the operation unit 35 and the sensor 36 as an example, but is not limited to this.
  • the function of the operation unit 35 may be implemented by the PW input detection unit 14 of the tactile sense generation authentication devices P1 and P1A, or may be implemented by the input device UI.
  • the function of the sensor 36 may be realized by the hand insertion detection unit 13 of the tactile sense generation/authentication device P1 or the hand state detection unit 18 of the tactile sense generation/authentication device P1A.
  • the monitor MN may be configured integrally with the biological information acquisition device P2.
  • the communication unit 30 is connected to the communication unit 10 of the tactile sense generation authentication devices P1 and P1A and the communication unit 20 of the biometric authentication device P3 so as to be capable of wireless or wired communication, respectively, and transmits and receives data.
  • the communication unit 30 transmits the cutout image of the user or the biometric information output from the processor 31 to the biometric authentication device P3, and outputs the authentication result transmitted from the biometric authentication device P3 to the processor 31 .
  • the cut-out image of the user, the biometric information, etc., which are transmitted to the biometric authentication device P3, may be subjected to encryption processing.
  • the clipped image here is an image obtained by clipping a range in which a part of a user's biometric information acquisition site (for example, finger, palm, etc.) is captured from the image for biometric authentication.
  • the processor 31 is configured using a CPU or FPGA, for example, and cooperates with the memory 32 to perform various types of processing and control. Specifically, the processor 31 refers to the program and data held in the memory 32, and executes the program to acquire the user's hand image or the user's biometric information. It implements the functions of a stationary detection unit 312, a timeout detection unit 313, a blurred image detection unit 314, and the like.
  • the processor 31 performs user authentication based on the tactile sense authentication results sent from the tactile sense generation authentication devices P1 and P1A and the biometric authentication results sent from the biometric authentication device P3. If the processor 31 determines that both the tactile authentication result and the biometric authentication result are successful, it determines that the user authentication is successful (completed), generates an authentication completion screen (not shown), and displays the monitor MN. output to and display. On the other hand, when the processor 31 determines that at least one of the tactile authentication result and the biometric authentication result is unsuccessful, the processor 31 determines that the user authentication is unsuccessful, generates an authentication failure screen (not shown), and displays the monitor MN. output to and display.
  • the hand detection unit 311 determines (detects) whether or not the user's hand is inserted in the imaging area based on the captured image (hereinafter referred to as "detection image") captured by the stationary detection camera 33. )do.
  • the hand detection unit 311 executes hand insertion detection processing for each frame.
  • the stationary detection unit 312 determines (detects) whether or not the user's hand is stationary based on the detection image captured by the stationary detection camera 33 .
  • the stationary detection unit 312 executes stationary hand detection processing for each frame.
  • the timeout detection unit 313 detects whether or not the user's hand is stationary within a predetermined time limit set in advance from the timing at which the hand detection unit 311 detects that the user's hand has been inserted into the imaging area. judge.
  • the timeout detection unit 313 generates a timeout notification screen (not shown) for notifying that the timeout has occurred and outputs it to the monitor MN when the user's hand is not detected to be stationary within a predetermined time limit.
  • the blurred image detection unit 314 determines whether or not the biometric authentication image is blurred based on the biometric authentication image captured by the biometric information acquisition camera 34 . It should be noted that the term “shake” here refers to motion blur that occurs due to the movement of the subject.
  • the blurred image detection unit 314 determines that the image for biometric authentication is not blurred
  • the blurred image detection unit 314 detects one of the parts (for example, eyes, lips, fingers, palm, etc.) for acquiring biometric information of the user from the acquired image for biometric authentication.
  • a clipped image is generated by clipping the range in which the part is shown, and the clipped image is encrypted and transmitted to the biometrics authentication device P3.
  • the blurred image detection unit 314 may extract the biometric information of the user using the generated clipped image, perform encryption processing on the extracted biometric information of the user, and transmit the encrypted biometric information to the biometric authentication device P3.
  • the blurred image detection unit 314 analyzes the image for biometrics authentication, detects a part from which biometric information of the user is acquired, cuts out a region including the detected part, and generates a cut-out finger image. Note that the method of generating the clipped image is not limited to this, and other known techniques may be used.
  • the stationary detection camera 33 includes at least an image sensor (not shown) and a lens (not shown).
  • the image sensor is, for example, a CCD (Charged-Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) solid-state imaging device, and converts an optical image formed on an imaging surface into an electrical signal.
  • the stationary detection camera 33 has a higher frame rate and a lower resolution than the biological information acquisition camera 34 .
  • the still detection camera 33 used in the biological information acquisition device P2 is, for example, a camera with a frame rate of 60 fps and a resolution of 640 ⁇ 480.
  • the biometric information acquisition camera 34 includes at least an image sensor (not shown) and a lens (not shown).
  • the image sensor is, for example, a CCD or CMOS solid-state imaging device, and converts an optical image formed on an imaging surface into an electrical signal.
  • the biological information acquisition camera 34 has a lower frame rate and a higher resolution than the stationary detection camera 33 .
  • the biometric information acquisition camera 34 used in the biometric information acquisition device P2 is, for example, a camera with a frame rate of 1 fps and a resolution of 3280 ⁇ 2464.
  • the operation unit 35 can specify, for example, a user, an administrator (for example, a facility where the biometric information acquisition device P2 is installed, a security guard of a building, an administrator, or an employee of a store where the biometric information acquisition device P2 is installed). (person), and is configured by, for example, buttons, a mouse, a keyboard, a touch panel, and the like.
  • the operation unit 35 converts the accepted user operation or administrator operation into an electrical signal and outputs the electrical signal to the processor 31 .
  • the sensor 36 is, for example, a reflective TOF sensor, an infrared sensor, a transmissive laser sensor, a light receiving sensor, or the like.
  • the sensor 36 detects a user's hand that is inserted into each imaging area of the stillness detection camera 33 and the biometric information acquisition camera 34 .
  • the sensor 36 generates a detection signal and outputs it to the processor 31 when the user's hand is detected.
  • the monitor MN may be configured using a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electroluminescence).
  • the monitor MN outputs an authentication completion screen (not shown) output from the processor 31, an authentication failure notification (not shown), and the like.
  • the biometric authentication device P3 extracts the user's biometric information using the cut-out image of the user transmitted from the biometric information acquisition device P2.
  • a known technique for example, the technique disclosed in Japanese Patent Application Laid-Open No. 2018-124999, etc.
  • the biometric authentication device P3 collates the extracted biometric information with biometric information of each of a plurality of users registered in advance by an administrator or the like of the biometric authentication system 100 or the biometric information acquisition device P2.
  • the biometric authentication device P3 determines whether the extracted biometric information matches any of the biometric information of each of the registered users, executes the user authentication process, and obtains the result of the user authentication process (that is, the biometric information authentication processing result) to the biometric information acquisition device P2.
  • the biometric device P3 includes a communication unit 40, a processor 41, a memory 42, and a biometric information database DB.
  • the communication unit 40 is connected to the communication unit 30 of the biological information acquisition device P2 for wireless or wired communication, and transmits and receives data.
  • the communication unit 40 outputs the clipped image of the user transmitted from the biometric information acquisition device P2 to the processor 41, and transmits the biometric authentication result output from the processor 41 to the biometric information acquisition device P2.
  • the biometric authentication result sent to the biometric information acquisition device P2 may be encrypted.
  • the processor 41 is configured using a CPU or FPGA, for example, and cooperates with the memory 42 to perform various types of processing and control. Specifically, the processor 41 refers to the program and data held in the memory 42 and executes the program, thereby realizing the function of the biometric information authentication unit 411 for executing user authentication.
  • the biometric information authentication unit 411 extracts the user's biometric information based on the cut-out image of the user.
  • the biometric information authentication unit 411 collates the extracted biometric information of the user with biometric information of each of a plurality of users stored (registered) in the biometric information database DB.
  • the biometric information authentication unit 411 generates a biometric authentication result by determining whether or not the extracted biometric information of the user matches or is similar to any of the biometric information of each of the registered users, and outputs the result to the communication unit 40 . and transmit it to the biometric information acquisition device P2.
  • the memory 42 has, for example, a RAM as a work memory that is used when executing each process of the processor 41, and a ROM that stores programs and data that define the operation of the processor 41. Data or information generated or acquired by the processor 41 is temporarily stored in the RAM. A program that defines the operation of the processor 41 is written in the ROM.
  • the biometric information database DB stores information (for example, name, employee number, identification number, ID, facial photograph, etc.) related to each of a plurality of users registered in advance, and biometric information of each of the plurality of users for each user. Store (register) in association with each other.
  • the biometric authentication system 100 shows an example in which the biometric information acquisition device P2 and the biometric authentication device P3 are separately configured and connected via the network NW so that data can be transmitted and received. rice field.
  • a biometric authentication system 100A according to a modification of the first embodiment will be described as an example in which a biometric information acquisition device P2A and a biometric authentication device P3A are integrally configured.
  • the same reference numerals are given to the same configurations as those of the biometric authentication system 100 according to Embodiment 1 and the devices constituting the biometric authentication system 100, and the description thereof will be omitted.
  • FIG. 6 is a diagram illustrating an overall configuration example of a biometric authentication system 100A according to a modification of the first embodiment.
  • the biometric authentication system 100A performs user authentication processing by tactile sense authentication by the tactile sense generation authentication devices P1 and P1A, and user authentication processing by biometric authentication by each of the biometric information acquisition device P2A and the biometric authentication device P3A.
  • a biometric authentication system 100A includes tactile sense generation authentication devices P1 and P1A, a biometric information acquisition device P2A, and a biometric authentication device P3A. Note that the tactile sense generation authentication devices P1 and P1A, the biometric information acquisition device P2A, and the biometric authentication device P3A shown in FIG. 6 may be implemented as one integrated computer (an example of an authentication device). .
  • the biometric information acquisition device P2A is connected to the biometric authentication device P3A so that data can be sent and received.
  • the biometric information acquisition device P2A acquires the biometric authentication image of the user, or generates a clipped image obtained by clipping the biometric information from the biometric authentication image, and transmits the clipped image to the biometric authentication device P3A.
  • the biometric authentication device P3A is connected to each of the tactile sense generation authentication devices P1, P1A and the biometric information acquisition device P2A so that data can be transmitted and received.
  • the biometric authentication device P3A extracts the user's biometric information from the user's biometric authentication image or the clipped image transmitted from the biometric information acquisition device P2A.
  • the biometric authentication device P3A collates the extracted biometric information of the user with the biometric information of each of a plurality of users registered in the biometric information database DB, and executes biometric authentication (user authentication).
  • the biometric authentication device P3A generates a screen (authentication completion screen or authentication failure screen) for notifying the user authentication result based on the biometric authentication result and the tactile sense authentication result executed by the tactile sense generation authentication devices P1 and P1A, and displays it on the monitor. Output to MNA for display.
  • FIG. 7 is a diagram showing an internal configuration example of the biometric information acquiring device P2A and the biometric authentication device P3A in the modified example of the first embodiment.
  • the biometric information acquisition device P2A includes at least a stationary detection camera 33 and a biometric information acquisition camera 34 .
  • the biometric information acquisition device P2A shown in FIG. 7 shows an example configured including the operation unit 35 and the sensor 36 as an example, it is not limited to this.
  • the function of the operation unit 35 may be implemented by the PW input detection unit 14 of the tactile sense generation authentication devices P1 and P1A, or may be implemented by the input device UI.
  • the function of the sensor 36 may be realized by the hand insertion detection unit 13 of the tactile sense generation/authentication device P1 or the hand state detection unit 18 of the tactile sense generation/authentication device P1A.
  • the biometric authentication device P3A is connected to each of the tactile sense generation authentication devices P1 and P1A, the biometric information acquisition device P2A, and the monitor MNA so that data can be transmitted and received.
  • the biometric device P3A includes a communication unit 40A, a processor 41A, a memory 42A, and a biometric information database DB.
  • the communication unit 40A communicates with the communication units 10 of the tactile sense generating and authenticating devices P1 and P1A and each device (still detection camera 33, biometric information acquisition camera 34, operation unit 35, sensor 36) that constitutes the biometric information acquisition device P2A. ) and the monitor MNA are connected for wireless or wired communication, respectively, to transmit and receive data.
  • the communication unit 40A outputs various data transmitted from the biometric information acquisition device P2A to the processor 41A, and outputs the tactile sense authentication results transmitted from the tactile sense generation and authentication devices P1 and P1A to the processor 41A. Further, the communication unit 40A outputs to the monitor MNA a screen (authentication completion screen (not shown), authentication failure screen (not shown)) notifying the user authentication result output from the processor 41A.
  • the processor 41A is configured using, for example, a CPU or FPGA, and cooperates with the memory 42A to perform various types of processing and control. Specifically, the processor 41A refers to the programs and data held in the memory 42A and executes the programs to obtain the biometric information authentication unit 411A, the hand detection unit 412, the stillness detection unit 413, and the timeout detection unit 414. , the functions of the blurred image detection unit 415 and the like are realized.
  • the biometric information authentication unit 411A extracts the biometric information of the user based on the clipped image output from the blurred image detection unit 415.
  • the biometric information authentication unit 411A collates the extracted biometric information of the user with biometric information of each of a plurality of users stored (registered) in the biometric information database DB.
  • the biometric information authentication unit 411A determines whether or not the extracted biometric information of the user matches or resembles any of the biometric information of each of the registered users (that is, biometric authentication).
  • the biometric information authentication unit 411A performs user authentication based on the tactile sense authentication results transmitted from the tactile sense generation authentication devices P1 and P1A and the biometric authentication results performed using the biometric information. If the biometric authentication unit 411A determines that both the tactile authentication result and the biometric authentication result are authentication successes, the biometric information authentication unit 411A determines that the user authentication is successful (completed), and generates an authentication completion screen (not shown). , is output to the monitor MNA for display. On the other hand, when it is determined that at least one of the tactile authentication result and the biometric authentication result is unsuccessful, the biometric information authentication unit 411A determines that the user authentication is unsuccessful, and generates an authentication failure screen (not shown). , is output to the monitor MNA for display.
  • the hand detection unit 412 determines (detects) whether or not the user's hand is inserted in the imaging area based on the captured image (hereinafter referred to as "detection image") captured by the stillness detection camera 33. )do.
  • the hand detection unit 412 executes hand insertion detection processing for each frame.
  • the stationary detection unit 413 determines (detects) whether or not the user's hand is stationary based on the detection image captured by the stationary detection camera 33 .
  • the stationary detection unit 413 executes stationary hand detection processing for each frame.
  • the timeout detection unit 414 detects whether or not the user's hand is stationary within a predetermined time limit set in advance from the timing at which the hand detection unit 412 detects that the user's hand has been inserted into the imaging area. judge.
  • the timeout detection unit 414 generates a timeout notification screen (not shown) for notifying that the timeout has occurred and outputs it to the monitor MN when the user's hand is not detected to be stationary within a predetermined time limit.
  • the blurred image detection unit 415 determines whether or not the biometric authentication image is blurred based on the biometric authentication image captured by the biometric information acquisition camera 34 . It should be noted that the term “shake” here refers to motion blur that occurs due to the movement of the subject.
  • the blurred image detection unit 415 determines that the image for biometric authentication is not blurred
  • the blurred image detection unit 415 detects one of the parts (for example, eyes, lips, fingers, palm, etc.) from which biometric information of the user is acquired from the acquired image for biometric authentication.
  • a clipped image is generated by clipping the range in which the part is reflected, and is output to the biometric information authentication unit 411A.
  • FIG. 8 is a flow chart showing an operation overview procedure example 1 of the biometric authentication systems 100 and 100A according to the first embodiment and the modification of the first embodiment. Each flowchart shown in FIG. 8 shows the order of the tactile authentication process and the biometric authentication process.
  • the biometric authentication system 100 executes the tactile sense authentication processing by the tactile sense generation authentication devices P1 and P1A, and executes the biometric authentication processing by the biometric authentication device P3.
  • the biometric authentication system 100 uses the biometric information acquisition device P2 to determine whether or not the biometric authentication based on the biometric authentication result transmitted from the biometric authentication device P3 is successful (that is, whether or not the biometric authentication is OK). is executed (St100).
  • the biometric authentication system 100 determines that the biometric authentication has succeeded in the process of step St100 by the biometric information acquisition device P2 (St100, YES)
  • the tactile sense generation authentication devices P1 and P1A determine that the tactile sense authentication has succeeded. (St101).
  • biometric authentication system 100 determines that biometric authentication is not successful by biometric information acquisition device P2 in the process of step St100 (St100, NO)
  • biometric authentication system 100 sends biometrics to biometric information acquisition device P2 and biometric authentication device P3.
  • the biometric authentication process using the information is executed again.
  • step St101 the biometric authentication system 100 determines that the user authentication is completed (successful) when the tactile sense generation authentication devices P1 and P1A determine that the tactile sense authentication is successful (St101, YES).
  • the biometric authentication system 100 determines in the process of step St101 that the tactile sense generation authentication devices P1 and P1A have not succeeded in tactile sense authentication (St101, NO), the biometric information acquiring device P2 and the biometric authentication device P3 to execute biometric authentication processing using biometric information again.
  • the biometric authentication system 100 causes the tactile sense generation authentication devices P1 and P1A to determine whether the tactile sense authentication is successful (that is, whether the tactile sense authentication is OK) (St200).
  • the biometric authentication system 100 uses the biometric information acquisition device P2 to transmit from the biometric authentication device P3. It is determined whether or not the biometric authentication based on the obtained biometric authentication result is successful (that is, whether or not the biometric authentication is OK) (St201).
  • step St200 when the tactile sense generation authentication devices P1 and P1A determine that the tactile sense authentication is not successful (St200, NO), the biometric authentication system 100 causes the tactile sense generation authentication devices P1 and P1A to perform the tactile sense authentication process. Let it run again.
  • step St201 the biometric authentication system 100 determines that the user authentication is completed (successful) when the biometric information acquisition device P2 determines that the biometric authentication is successful (St201, YES).
  • the biometric authentication system 100 determines that the biometric authentication has not succeeded in the process of step St201 by the biometric information acquisition device P2 (St201, NO)
  • the biometric authentication system 100 performs the tactile sense authentication processing again on the tactile sense generation authentication devices P1 and P1A.
  • the biometric authentication system 100A executes tactile sense authentication processing with the tactile sense generation authentication devices P1 and P1A, and performs biometric authentication processing with the biometric authentication device P3A.
  • the biometric authentication system 100A causes the biometric device P3A to determine whether or not the biometric authentication is successful (that is, whether or not the biometric authentication is OK) (St100A).
  • the biometric authentication system 100A determines whether the tactile sense authentication is successful by the tactile sense generation authentication devices P1 and P1A. It is determined whether or not (that is, whether or not tactile authentication is OK) (St101A).
  • the biometric authentication system 100A determines in the process of step St100A that the biometric authentication has not been successful (St100A, NO)
  • the biometric authentication system 100A performs the biometric authentication process again using the biometric information. let it run.
  • the biometric authentication system 100A determines that the user authentication is completed (successful) when the tactile sense generation authentication devices P1 and P1A determine that the tactile sense authentication is successful in the process of step St101A (St101A, YES).
  • step St101A when the tactile sense generation authentication devices P1 and P1A determine that the tactile sense authentication is not successful (St101A, NO), the biometric authentication system 100A performs biometric authentication using the biometric information in the biometric authentication device P3A. Execute the process again.
  • the biometric authentication system 100A causes the tactile sense generation authentication devices P1 and P1A to determine whether the tactile sense authentication is successful (that is, whether the tactile sense authentication is OK) (St200A).
  • the biometric authentication system 100A determines whether the biometric authentication is successful or not by the biometric authentication device P3A. It is determined whether or not (that is, whether or not biometric authentication is OK) (St201A).
  • step St200A when the tactile sense generation authentication devices P1 and P1A determine that the tactile sense authentication is not successful (St200A, NO), the biometric authentication system 100A performs the tactile sense authentication processing on the tactile sense generation authentication devices P1 and P1A. Let it run again.
  • step St201A the biometric authentication system 100A determines that the user authentication is completed (successful) when the biometric authentication device P3A determines that the biometric authentication is successful (St201A, YES).
  • step St201A when the biometric authentication device P3A determines that the biometric authentication is not successful (St201A, NO), the biometric authentication system 100A causes the tactile sense generation authentication devices P1 and P1A to perform the tactile sense authentication process again. .
  • FIG. 9 is a flow chart showing an operation overview procedure example 2 of the biometric authentication systems 100 and 100A according to the first embodiment and the modification of the first embodiment.
  • the biometric authentication system 100 executes the biometric authentication process on each of the biometric information acquisition device P2 and the biometric authentication device P3. (St300), and causes the tactile sense generation authentication devices P1 and P1A to execute tactile sense authentication processing (St301). Note that the processes of steps St300 and St301 are executed substantially simultaneously or in parallel.
  • the biometric authentication system 100 causes the biometric information acquisition device P2 to determine whether or not all authentication processes (that is, each of biometric authentication and tactile authentication) are OK (successful) (St302).
  • the biometric information acquisition device P2 determines that all authentication processes (that is, each of biometric authentication and tactile authentication) are OK (successful) (St302, YES) , to end the user authentication process.
  • step St302 the biometric authentication system 100 determines that all authentication processes (that is, each of biometric authentication and tactile authentication) are not OK (successful) (that is, failed) by the biometric information acquisition device P2. If so (St302, NO), the process returns to steps St300 and St301.
  • the biometric authentication system 100 determines that one of biometric authentication and tactile authentication is successful and the other process is unsuccessful.
  • the biological information acquisition device P2 may be caused to generate a spoofing alert to the effect that the user is suspected of being spoofed by another person, and output from the monitor MN (St303).
  • the spoofing alert may be an image or voice data.
  • the biological information acquisition device P2 may output and display the generated spoofing alert from the monitor MN, or may output the generated spoofing alert from a speaker (not shown).
  • the biometric authentication system 100A when the biometric authentication process and the tactile authentication process are executed simultaneously (that is, in parallel), the biometric authentication system 100A according to the modification of the first embodiment has the biometric information acquisition device P2A and the biometric authentication device P3A each Biometric authentication processing is executed (St300A), and tactile sense generation authentication devices P1 and P1A are made to execute tactile sense authentication processing (St301A).
  • the processes of steps St300A and St301A are executed substantially simultaneously or in parallel.
  • the biometric authentication system 100A causes the biometric device P3A to determine whether or not all authentication processes (that is, each of biometric authentication and tactile authentication) are OK (successful) (St302A).
  • the biometric authentication device P3A determines in the process of step St302A that all the authentication processes (that is, each of the biometric authentication and the tactile authentication) are OK (successful) (St302A, YES)
  • End the user authentication process End the user authentication process.
  • biometric authentication device P3A determines that all authentication processes (that is, biometric authentication and tactile authentication) are not OK (successful) (that is, failed). If so (St302A, NO), the process returns to steps St300A and St301A.
  • the biometric authentication device P3A may be caused to generate a spoofing alert to the effect that the user is suspected of being spoofed by another person, and output from the monitor MN (St303A).
  • the spoofing alert may be an image or voice data.
  • the biometric authentication device P3A may output and display the generated spoofing alert from the monitor MN, or may output it as a voice from a speaker (not shown).
  • FIG. 10 is a timing chart showing a first operation procedure example in the operation overview procedure example 1 of the biometric authentication systems 100 and 100A.
  • the first operation procedure is an operation for performing tactile authentication by giving (presenting) tactile sensations corresponding to all set (issued) passwords, and then accepting all password input operations by the user. Show the procedure.
  • the hand detection process includes a user's hand insertion detection process executed by either the hand insertion detection unit 13, the hand state detection unit 18, or the stillness detection camera 33, and an inserted hand detection process executed by the stillness detection camera 33. It includes processing for detecting stillness of the user's hand, and processing for detecting the replacement of the user's hand, which is executed by either the hand insertion detection unit 13 , the hand state detection unit 18 , or the stillness detection camera 33 .
  • the user's hand replacement detection processing is performed by analyzing a captured image captured by either the hand insertion detection unit 13, the hand state detection unit 18, or the stillness detection camera 33, thereby determining whether or not the user's hand is reflected in the captured image.
  • This is a process of determining (detecting) whether or not there is a hand change, and may be executed by any of the tactile sensation generation authentication devices P1 and P1A, the biometric information acquisition device P2, and the biometric authentication device P3A.
  • the biometric authentication systems 100 and 100A start hand detection processing.
  • the biometric authentication system 100, 100A detects the insertion of the user's hand and starts detecting the stillness of the inserted user's hand.
  • the biometric authentication systems 100 and 100A start the user's hand replacement detection process and the biometric authentication process at the timing (time T12) when the user's hand is detected still.
  • the biometric authentication systems 100 and 100A capture an image of the user's hand with the biometric information acquisition camera 34, acquire an image for biometric authentication from which biometric information can be extracted, and perform biometric authentication processing using the acquired image for biometric authentication. Execute.
  • the biometric authentication system 100, 100A gives (presents) a tactile sensation corresponding to the issued password to the user's hand at the timing (time T13) when it is determined that biometric authentication has succeeded.
  • Biometric authentication systems 100 and 100A end the user's hand replacement detection process at the timing (time T14) when the tactile sensation imparting (presentation) to the user's hand is completed.
  • the biometric authentication system 100 or 100A determines that the change of the user's hand is detected during the time period from time T12 to time T14, the user authentication process (that is, biometric authentication processing or tactile authentication processing).
  • biometric authentication systems 100 and 100A determine that the change of hands of the user is not detected in the time period from time T12 to time T14, the password input operation by the user to PW input unit 17 or PW input unit 23 is performed. accept.
  • the biometric authentication systems 100 and 100A compare the input password and the issued password, and perform tactile authentication processing.
  • the biometric authentication systems 100 and 100A detect the user's hand change during the time period from time T12 to time T14. Thereby, the user can perform a password input operation to the PW input unit 17 or the PW input unit 23 with one hand to which the tactile sense is imparted (presented) by the tactile sense generation authentication devices P1 and P1A. That is, the user can perform user authentication with only one hand.
  • the biometric authentication systems 100 and 100A execute biometric authentication processing before executing tactile authentication processing, thereby being able to identify the user before executing tactile authentication processing. Therefore, if the identified user is a person whose biometric information has been stolen in the past, or has a history of biometric information leakage, the biometric authentication systems 100 and 100A can use a more complex password in the tactile authentication process. may be generated.
  • FIG. 11 is a flowchart showing a first operation procedure example in the operation overview procedure example 1 of the biometric authentication systems 100 and 100A.
  • the biometric information acquisition device P2 or the biometric authentication device P3A determines whether or not insertion of a hand, which is an example of a user's biometric information acquisition site, is detected based on the stillness detection image captured by the stillness detection camera 33. is determined (St1). Note that the process of step St1 may be executed by the tactile sensation generation authentication devices P1 and P1A.
  • the biometric information acquisition device P2 or the biometric authentication device P3A determines in the process of step St1 that the insertion of the user's hand has been detected (St1, YES)
  • the stillness detection image captured by the stillness detection camera 33 Based on this, it is further determined whether or not the stillness of the detected hand has been detected (St2).
  • the stationary hand here indicates a state in which the hand is stationary so that the image for biometric authentication can be captured.
  • step St1 determines in the process of step St1 that the insertion of the user's hand has not been detected (St1, NO)
  • the process returns to step St1.
  • the biometric information acquisition camera 34 performs authentication used for biometric authentication.
  • a part for example, finger, palm, etc. is imaged (St21).
  • step St2 determines in the process of step St2 that the detected hand is not stationary (St2, NO)
  • the process returns to step St1.
  • the biometric information acquiring device P2 or the biometric authentication device P3A repeatedly executes the stationary hand detection process for a predetermined time (for example, 15 seconds, 20 seconds, etc.) from the timing at which the stationary hand detection is started. If it is determined that the stillness of the hand is not detected within the time, the process may return to step St1.
  • the biometric information acquiring device P2 or the biometric authentication device P3A generates a clipped image by clipping a region in which the authentication part is captured from the biometric authentication image in which the authentication part is captured.
  • the biometric information acquisition device P2 or the biometric authentication device P3A extracts the biometric information of the user from the clipped image, and stores the extracted biometric information of the user and each of the biometric information of the plurality of users registered in the biometric information database DB. Collate (St22).
  • the biometric information acquisition device P2 or the biometric authentication device P3A determines whether or not each biometric information of a plurality of users registered in the biometric information database DB has biometric information that is the same as or similar to the extracted biometric information of the user. Determine (St23).
  • the biometric information acquisition device P2 or the biometric authentication device P3A adds biometric information identical or similar to the extracted biometric information of the user to each of the biometric information of the plurality of users registered in the biometric information database DB. If it is determined that there is (St23, YES), it generates a control command requesting the start of the tactile sense authentication process and transmits it to the tactile sense generation and authentication devices P1 and P1A.
  • the biometric information acquisition device P2 or the biometric authentication device P3A determines whether each of the plurality of user biometric information registered in the biometric information database DB is the same as or similar to the extracted user biometric information. If it is determined that there is no biometric information (St23, NO), biometric authentication failure is transmitted (notified) to the tactile sense generation authentication devices P1 and P1A (St24).
  • the biometric information acquisition device P2 or the biometric authentication device P3A generates an authentication failure screen (not shown) for notifying user authentication failure, and outputs and displays it on the monitors MN and MNA (St25).
  • the tactile sense generation authentication devices P1 and P1A set (issue) a password used for tactile sense authentication based on the control command requesting the start of the tactile sense authentication process transmitted from the biometric information acquisition devices P2 and P2A (St31).
  • the password to be set (issued) may be characters such as numbers, alphabets, and symbols, or the order of fingertips to which tactile sensations are presented.
  • the tactile sense generation authentication devices P1 and P1A control the ultrasonic transmission unit 16 to output sound waves, and present the password by tactile sense using ultrasonic waves (St32). .
  • the tactile sensation generating and authenticating devices P1 and P1A determine whether or not presentation of all the set (issued) passwords has ended (St33). For example, when the password is "1107", the tactile sense generation authentication devices P1 and P1A check whether or not presentation of all the passwords "1", “1", “0”, and "7" by the ultrasonic transmission unit 16 is finished. judge.
  • the tactile sense generation authentication devices P1 and P1A determine in the process of step St33 that all set (issued) passwords have been presented (St33, YES), they start accepting the password input operation by the user.
  • the tactile sense generating and authenticating devices P1 and P1A set a timer at the timing when accepting the password input operation by the user is started (St34).
  • the tactile sense generation authentication devices P1 and P1A determine whether or not the process for accepting the password input operation has timed out based on the elapsed time from the timing at which the timer was set (St35). Specifically, the tactile sensation generation authentication devices P1 and P1A determine whether or not a preset predetermined time limit (for example, 20 seconds, 30 seconds, etc.) has elapsed since the timer was set. do.
  • a preset predetermined time limit for example, 20 seconds, 30 seconds, etc.
  • the tactile sense generation authentication devices P1 and P1A determine in the processing of step St35 that the processing for accepting the password input operation has timed out (St35, YES)
  • the tactile sense generation authentication devices P1 and P1A transmit a tactile sense authentication failure to the biometric information acquisition device P2 or the biometric authentication device P3A.
  • the biometric information acquisition device P2 or the biometric authentication device P3A generates an authentication failure screen (not shown) based on the notification transmitted from the tactile sense generation authentication devices P1 and P1A, and outputs and displays it on the monitors MN and MNA. (St37).
  • the tactile sensation generation authentication devices P1 and P1A determine in the process of step St35 that the process of accepting the password input operation has not timed out (St35, NO), they determine whether or not the password input operation by the user has been detected. (St38).
  • step St38 When the tactile sensation generation authentication devices P1 and P1A determine in the process of step St38 that the password input operation by the user is detected (St38, YES), the input password and the set (issued) password are compared. (St39).
  • step St38 determines in the process of step St38 that the password input operation by the user has not been detected (St38, NO)
  • the process returns to step St35, and the process of accepting the password input operation times out. Until then, it is repeatedly determined whether or not the password input operation by the user has been detected.
  • the tactile sense generation authentication devices P1 and P1A determine whether or not the input password matches the set (issued) password (that is, tactile sense authentication is successful (OK)) (St40).
  • the tactile sense generation authentication devices P1 and P1A determine in the process of step St40 that the input password and the set (issued) password match (St40, YES)
  • the tactile sense generation authentication devices P1 and P1A issue a control command to notify of tactile sense authentication success. It is generated and transmitted to the biometric information acquiring device P2 or the biometric authentication device P3A.
  • the biometric information acquisition device P2 or the biometric authentication device P3A determines that user authentication has been completed based on the control command transmitted from the tactile sense generation authentication devices P1 and P1A, and displays an authentication completion screen for notifying user authentication completion (success). (not shown) is generated and output to the monitors MN and MNA for display (St3).
  • the biometric authentication systems 100 and 100A according to the first embodiment and the modification of the first embodiment effectively prevent a user from impersonating another person by double authentication using biometric authentication processing and tactile authentication processing. can perform user authentication that can be suppressed at
  • the biometric authentication systems 100 and 100A perform the biometric authentication process and the tactile authentication process at step St33 from the timing (time T12) at which the process of step St2 (hand stillness detection process) is started (time T12). until the timing (time T14) at which the process (tactile sense application process) ends (time T14).
  • biometric authentication systems 100 and 100A can perform password authentication required for tactile authentication even when biometric authentication using a disguised user's authentication part (for example, artificial finger, artificial hand, artificial eye, etc.) is successful.
  • a disguised user's authentication part for example, artificial finger, artificial hand, artificial eye, etc.
  • the biometric authentication systems 100 and 100A set the authentication part used for biometric authentication and the part to which the tactile sensation is imparted to be the same part, and detect the replacement of the authentication part of the user. , spoofing by others can be suppressed more effectively.
  • FIG. 12 is a timing chart showing a second operation procedure example in the operation overview procedure example 1 of the biometric authentication systems 100 and 100A.
  • the biometric authentication systems 100 and 100A add (present) one character that constitutes the password, and accept the user's input operation regarding the given (presented) one character. Repeat for each character. Therefore, the biometric authentication systems 100 and 100A in the second operation procedure example omit the detection of the switching of the hands of the user.
  • the biometric authentication systems 100 and 100A start hand detection processing.
  • Biometric authentication systems 100 and 100A start detecting the stillness of the inserted user's hand at the timing when the insertion of the user's hand is detected (time T22).
  • the biometric authentication system 100, 100A captures an image of the user's hand with the biometric information acquisition camera 34 at the timing when the user's hand is detected to be still (time T23), and acquires an image for biometric authentication from which biometric information can be extracted. Then, biometric authentication processing is executed using the acquired image for biometric authentication. Further, at time T23, biometric authentication systems 100 and 100A provide (present) a tactile sensation corresponding to the issued password to the user's hand, and thereafter, the password input operation by the user to PW input unit 17 or PW input unit 23 is performed. is accepted, and the entered password and the issued password are compared to perform tactile authentication.
  • the user can perform a password input operation to the PW input section 17 or the PW input section 23 with one hand to which the tactile sense is imparted (presented) by the tactile sense generation authentication devices P1 and P1A. That is, the user can perform user authentication with only one hand.
  • the user since the user executes tactile authentication processing for each character, there is no need to memorize information on a plurality of characters that form the password.
  • FIG. 13 is a flowchart showing a second operation procedure example in the operation overview procedure example 1 of the biometric authentication systems 100 and 100A.
  • the explanation of each process of steps St1 to St3 and steps St21 to St25, which are the same processes as in FIG. 11, will be omitted.
  • the tactile sense generating and authenticating devices P1 and P1A set (issue) one character constituting the password used for tactile sense authentication based on the control command requesting the start of tactile sense authentication processing transmitted from the biometric information acquiring devices P2 and P2A. ) (St51).
  • the password to be set (issued) may be numbers of a predetermined number of digits, alphabets, symbols, the order of fingertips to which tactile sensations are presented, or the like.
  • the tactile sensation generating and authenticating devices P1 and P1A control the ultrasonic wave transmission unit 16 based on one set (issued) character to output a sound wave, and generate a tactile sensation corresponding to the one set (issued) character.
  • One is presented (St52), and the current number of tactile presentations is incremented (St53).
  • the tactile sense generation authentication devices P1 and P1A determine whether or not the current number of tactile sense presentations is N (N: an integer equal to or greater than 1) (St54).
  • N an integer equal to or greater than 1
  • the tactile sense presentation count N is the upper limit number of authentication times for authentication of one character, and may be set to an arbitrary number such as 3 times or 5 times, for example.
  • the tactile sense generation authentication devices P1 and P1A determine in the processing of step St54 that the current number of tactile sense presentations is N times (St54, YES)
  • the tactile sense generation authentication devices P1 and P1A generate a notification to the effect that the tactile sense authentication has failed, It is transmitted to the acquisition device P2 or the biometric authentication device P3A (St55).
  • the biometric information acquisition device P2 or the biometric authentication device P3A generates an authentication failure screen (not shown) based on the notification transmitted from the tactile sense generation authentication devices P1 and P1A, and outputs and displays it on the monitors MN and MNA. (St56).
  • the tactile sense generation authentication devices P1 and P1A determine in the processing of step St54 that the current number of tactile sense presentations is not N times (St54, NO), the input operation of one character constituting the password by the user is accepted. is started, and it is determined whether or not the input operation of one character by the user has been detected (St57).
  • step St57 When the tactile sense generation authentication devices P1 and P1A determine in the process of step St57 that the input operation of one character by the user has been detected (St57, YES), the one input character and the one tactilely presented The characters are collated (St58).
  • the tactile sensation generation authentication devices P1 and P1A determine in the process of step St57 that the input operation of one character by the user has not been detected (St57, NO), they return to the process of step St52 and correspond to the same character. Present the tactile sensation again.
  • the tactile sense generation authentication devices P1 and P1A determine whether or not the one input character and the one tactilely presented character match (that is, the tactile sense authentication is successful (OK)) (St59).
  • step St59 When the tactile sense generation authentication devices P1 and P1A determine in the process of step St59 that the one input character and the one tactilely presented character match (St59, YES), all the characters constituting the password are It is determined whether or not the tactile authentication is completed (OK) (St60).
  • the tactile sense generation authentication devices P1 and P1A determine in the process of step St59 that the one input character and the one tactilely presented character do not match (St59, NO), the tactile sense authentication fails. A notification is generated and transmitted to the biometric information acquisition device P2 or the biometric authentication device P3A (St55).
  • step St60 When the tactile sense generation authentication devices P1 and P1A determine in the process of step St60 that the tactile sense authentication of all the characters constituting the password has been completed (OK) (St60, YES), they shift to the process of step St3.
  • step St60 determines in the process of step St60 that the tactile sense authentication of all the characters constituting the password has not been completed (OK) (St60, NO), they proceed to the process of step St51. Return and execute the setting process for the next character that constitutes the password.
  • the biometric authentication systems 100 and 100A according to the first embodiment and the modification of the first embodiment effectively prevent a user from impersonating another person by double authentication using biometric authentication processing and tactile authentication processing. can perform user authentication that can be suppressed at
  • FIG. 14 is a timing chart showing a third operation procedure example in the operation overview procedure example 1 of the biometric authentication systems 100 and 100A.
  • the third operation procedure is an operation procedure when tactile authentication processing is performed using both hands of the user.
  • the user receives the presentation of the password (that is, the provision of a tactile sensation) with one hand, and uses this one hand as an authentication site for biometric authentication processing.
  • the area of the tactile sensation imparted (presented) by the ultrasonic transmission unit 16 is a guide indicating the imaging area of the image for biometric authentication in biometric authentication (that is, within the angle of view and within the depth of field of the biometric information acquisition camera 34). becomes.
  • the biometric authentication systems 100 and 100A start hand detection processing.
  • Biometric authentication systems 100 and 100A start the user's hand replacement detection process and the tactile authentication process at the timing (time T32) when the insertion of the user's hand is detected.
  • the biometric authentication systems 100 and 100A may execute still hand detection processing before executing the hand replacement detection processing and the tactile authentication processing of the user.
  • the biometric authentication system 100, 100A gives (presents) a tactile sensation corresponding to the issued password to one hand of the user at the timing of detecting the insertion of the user's hand (time T32).
  • the biometric authentication systems 100 and 100A end the user's hand replacement detection process at the timing (time T33) when the tactile authentication process is completed.
  • the biometric authentication systems 100 and 100A perform stationary hand detection at the timing when the tactile authentication process is completed (time T33), and at the timing when the stationary hand is detected (time T34), the user's hand replacement detection process, Biometric authentication processing is started.
  • the biometric authentication systems 100 and 100A capture an image of the user's hand with the biometric information acquisition camera 34, acquire an image for biometric authentication from which biometric information can be extracted, and perform biometric authentication processing using the acquired image for biometric authentication. Execute.
  • the biometric authentication systems 100 and 100A continue to perform the user's hand replacement detection process until the biometric authentication process is completed.
  • biometric authentication systems 100 and 100A determine that the change of hands of the user has been detected in the time period from time T32 to time T33 and in the time period from time T34 to the completion of the biometric authentication process.
  • User authentication processing that is, biometric authentication processing or tactile authentication processing is interrupted at the timing when hand replacement is detected.
  • biometric authentication systems 100 and 100A are performing tactile authentication processing (that is, the time period from time T32 to time T33) and while performing biometric authentication processing (that is, , the time period from time T34 to the completion of biometric authentication), detection of the change of hands of the user is performed.
  • the user receives the tactile sensation imparted (presented) by the tactile sense generation authentication devices P1 and P1A with one hand, and performs a password input operation to the PW input section 17 or PW input section 23 with the other hand. can be done.
  • the part to which the tactile sensation is imparted and the authentication part used for imaging the image for biometric authentication are the same, when the tactile sensation is imparted in the tactile authentication process, the authentication part in the biometric authentication process is Since the imaging position can be guided, imaging of the authentication part can be performed more efficiently.
  • FIG. 15 is a flowchart showing a third operation procedure example in the operation overview procedure example 1 of the biometric authentication systems 100 and 100A.
  • steps St1 to St3 steps St21 to St25, steps St51 to St52, and steps St55 to St60, which are the same processes as in FIGS. is omitted.
  • the tactile sense generating and authenticating devices P1 and P1A set (issue) one character constituting the password used for tactile sense authentication based on the control command requesting the start of tactile sense authentication processing transmitted from the biometric information acquiring devices P2 and P2A. ) (St51).
  • the password to be set (issued) may be numbers of a predetermined number of digits, alphabets, symbols, the order of fingertips to which tactile sensations are presented, or the like.
  • the tactile sense generation authentication devices P1 and P1A set a timer or increment the current number of tactile sense presentations at the timing of starting to accept the password input operation by the user (St53A).
  • the tactile sense generation authentication devices P1 and P1A determine whether or not the password input operation acceptance process has timed out based on the elapsed time from the timing at which the timer was set. (St54A). Specifically, the tactile sensation generation authentication devices P1 and P1A determine whether or not a preset predetermined time limit (for example, 20 seconds, 30 seconds, etc.) has elapsed since the timer was set. do.
  • a preset predetermined time limit for example, 20 seconds, 30 seconds, etc.
  • step St53A When the tactile sense generation authentication devices P1 and P1A determine in the processing of step St53A that the process of accepting the password input operation has timed out (St53A, YES), the tactile sense generation authentication devices P1 and P1A transmit tactile sense authentication failure to the biometric information acquiring device P2 or the biometric authentication device P3A. (Notify) (St55). On the other hand, when the tactile sense generation authentication devices P1 and P1A determine in the process of step St53A that the process of accepting the password input operation has not timed out (St53A, NO), the process proceeds to step St57.
  • the tactile sense generation authentication devices P1 and P1A determine whether or not the current tactile sense presentation count is N (St54A).
  • the tactile sense presentation count N is the upper limit number of authentication times for authentication of one character, and may be set to an arbitrary number such as 3 times or 5 times, for example.
  • step St54A When the tactile sense generation authentication devices P1 and P1A determine in the process of step St54A that the current number of tactile sense presentations is N times (St54A, YES), the tactile sense generation authentication devices P1 and P1A generate a notification to the effect that the tactile sense authentication has failed, It transmits (notifies) to the acquiring device P2 or the biometric authentication device P3A (St55). On the other hand, when the tactile sensation generation authentication devices P1 and P1A determine in the process of step St54A that the current number of tactile sensation presentations is not N times (St54A, NO), the process proceeds to step St57.
  • the tactile sense generation authentication devices P1 and P1A determine in the process of step St60 that the tactile sense authentication of all the characters constituting the password has been completed (OK) (St60, YES)
  • the tactile sense generation authentication devices P1 and P1A issue a control command to notify the success of the tactile sense authentication. It is generated and transmitted to the biometric information acquiring device P2 or the biometric authentication device P3A.
  • the biometric information acquiring device P2 or the biometric authentication device P3A generates a tactile authentication completion screen (not shown) for notifying that tactile authentication has been completed, based on the control command transmitted from the tactile sense generating and authenticating devices P1 and P1A. , monitors MN and MNA for display (St61).
  • the biometric authentication systems 100 and 100A may execute in parallel the process of setting the timer and the process of incrementing the current tactile sense presentation (applying) count.
  • the biometric authentication systems 100 and 100A according to the first embodiment and the modified example of the first embodiment effectively prevent impersonation of a user by another person through double authentication using biometric authentication processing and tactile authentication processing. can perform user authentication that can be suppressed at
  • FIG. 16 is a timing chart showing a first operation procedure example in the operation overview procedure example 2 of the biometric authentication systems 100 and 100A.
  • the first operation procedure in operation overview procedure example 2 is the operation procedure shown in FIG. 9, and is an operation procedure in which biometric authentication processing and tactile authentication processing are executed substantially simultaneously or in parallel.
  • the biometric authentication systems 100 and 100A start hand detection processing. After detecting the insertion of the user's hand, the biometric authentication system 100, 100A starts the user's hand replacement detection process and the tactile authentication process at the timing of detecting the stillness of the detected hand (time T42). .
  • Biometric authentication systems 100 and 100A give (present) a tactile sensation corresponding to the issued password to the user's hand at the timing of detecting the insertion of the user's hand (time T42), and all the characters that make up the password, Alternatively, the biometric authentication process is started at the timing (time T43) when the tactile sense corresponding to one character has been applied. Biometric authentication systems 100 and 100A may start biometric authentication processing earlier than tactile authentication processing.
  • the biometric authentication systems 100 and 100A start accepting a user's input operation of a password or characters constituting the password, and execute tactile authentication process.
  • the biometric authentication system 100 or 100A determines that the change of hands of the user is detected in the time period from time T42 to the completion of the tactile authentication process, the user authentication process is performed at the timing when the change of hands of the user is detected. (That is, biometric authentication processing or tactile authentication processing) is interrupted.
  • biometric authentication systems 100 and 100A can execute tactile authentication processing and biometric authentication processing substantially simultaneously or in parallel, user authentication processing can be executed more smoothly.
  • FIG. 17 is a flowchart showing a first operation procedure example in the operation outline procedure example 2 of the biometric authentication systems 100 and 100A.
  • the biometric information acquisition device P2 or the biometric authentication device P3A is configured to acquire the biometric information of the user's hand, which is an example of a part from which biometric information is acquired, based on the stillness detection image captured by the stillness detection camera 33. It is determined whether or not the insertion has been detected (St1). Note that the process of step St1 may be executed by the tactile sensation generation authentication devices P1 and P1A.
  • the biometric information acquisition device P2 or the biometric authentication device P3A determines in the process of step St1 that the insertion of the user's hand has been detected (St1, YES)
  • the stillness detection image captured by the stillness detection camera 33 Based on this, it is further determined whether or not the stillness of the detected hand has been detected (St2).
  • the stationary hand here indicates a state in which the hand is stationary so that the image for biometric authentication can be captured.
  • step St1 determines in the process of step St1 that the insertion of the user's hand has not been detected (St1, NO)
  • the process returns to step St1.
  • step St400 is the processing of each of steps St21 to St25 shown in FIG.
  • step St500 is the processing of each of steps St51 to St60 shown in FIG.
  • step St2 determines in the process of step St2 that the detected hand is not stationary (St2, NO)
  • the process returns to step St1.
  • the biometric information acquiring device P2 or the biometric authentication device P3A repeatedly executes the stationary hand detection process for a predetermined time (for example, 15 seconds, 20 seconds, etc.) from the timing at which the stationary hand detection is started. If it is determined that the stillness of the hand is not detected within the time, the process may return to step St1.
  • step St400 and the processing of step St500 executed by the tactile sense generating and authenticating devices P1 and P1A are completed, the biometric information acquisition device P2 or the biometric authentication device P3A determines that the user authentication is completed, and performs the user authentication.
  • An authentication completion screen (not shown) for notifying completion (success) is generated and output to the monitors MN and MNA for display (St3).
  • the biometric authentication systems 100 and 100A according to the first embodiment and the modified example of the first embodiment effectively prevent impersonation of a user by another person through double authentication using biometric authentication processing and tactile authentication processing. can perform user authentication that can be suppressed at
  • a description will be given of the relationship and an example of a combination of an authentication part used for capturing an image for biometric authentication and a part to which a tactile sensation is imparted in tactile authentication processing.
  • FIG. 18 is a diagram explaining the first positional relationship between the biometric information acquisition area and the ultrasound application area.
  • FIG. 19 is a diagram illustrating a second positional relationship between the biometric information acquisition area and the ultrasonic wave application area.
  • FIG. 20 is a diagram illustrating a third positional relationship between the biometric information acquisition area and the ultrasonic wave application area.
  • each of the plurality of fingertip areas F11, F12, F13, F14, and F15, or the palm area P11 is set.
  • the authentication part used for capturing the image for biometric authentication is the palm or the fingertip.
  • the biometric authentication systems 100 and 100A extract biometric information such as fingerprints from a biometric authentication image obtained by imaging the biometric information acquisition area using the biometric information acquisition device P2 or the biometric authentication device P3A, and perform biometric authentication. Ultrasonic waves are applied to the fingertips by the generation authentication devices P1 and P1A. Also, the biometric authentication systems 100 and 100A extract biometric information such as palmprints and veins from biometric authentication images obtained by capturing biometric information acquisition areas using the biometric information acquisition device P2 or the biometric authentication device P3A, and perform biometric authentication. At the same time, ultrasonic waves are applied to the palm by the tactile sense generation authentication devices P1 and P1A.
  • each of the plurality of fingertip areas F11 to F15 or the palm area P11 is set.
  • a palm region P11 is set as the ultrasonic wave applying area.
  • the authentication part used for capturing the image for biometric authentication is the palm or the fingertip.
  • the biometric authentication systems 100 and 100A extract biometric information such as fingerprints, palmprints, veins, etc. from biometric authentication images obtained by capturing biometric information acquisition areas using the biometric information acquisition device P2 or the biometric authentication device P3A, and perform biometric authentication. At the same time, ultrasonic waves are applied to the palm by the tactile sense generation authentication devices P1 and P1A.
  • Each of the plurality of fingertip regions F11 to F15 is set as the biometric information acquisition area.
  • a palm region P11 is set as the ultrasonic wave applying area.
  • the authentication part used for capturing the image for biometric authentication is the fingertip.
  • the biometric authentication systems 100 and 100A extract biometric information such as fingerprints from a biometric authentication image obtained by imaging the biometric information acquisition area using the biometric information acquisition device P2 or the biometric authentication device P3A, and perform biometric authentication. Ultrasonic waves are applied to the palm by the generation authentication devices P1 and P1A.
  • At least one fingertip region F11, F14, F15 among each of the plurality of fingertip regions F11 to F15 is set as the ultrasonic wave application area.
  • Fingertip areas F12 and F13 other than the fingertip areas F11, F14, and F15 set as the ultrasonic wave application areas are set as the biometric information acquisition areas.
  • the authentication part used for capturing the image for biometric authentication is the fingertip.
  • the biometric authentication systems 100 and 100A apply ultrasonic waves to the set fingertip regions F12 and F13 by the tactile sense generation authentication devices P1 and P1A, and the biometric information acquisition area is defined by the biometric information acquisition device P2 or the biometric authentication device P3A. Biometric information such as a fingerprint is extracted from the captured image for biometric authentication, and biometric authentication is executed.
  • the authentication apparatus can obtain biometric information (eg, iris, lip print) from a predetermined part (eg, face, hand, etc.) of a user (an example of a person to be authenticated). , veins, palm prints, fingerprints, etc.), and biometric authentication processing (first authentication processing an example of the biometric information authentication units 411 and 411A (an example of a first authentication unit), and an ultrasonic wave transmission unit 16 (an example of a sound wave transmission unit) that transmits a tactile signal using sound waves to a predetermined site of the user.
  • biometric information eg, iris, lip print
  • first authentication processing an example of the biometric information authentication units 411 and 411A (an example of a first authentication unit)
  • an ultrasonic wave transmission unit 16 an example of a sound wave transmission unit
  • the authentication device here is a device in which the tactile sense generation authentication devices P1 and P1A, the biometric information acquisition devices P2 and P2A, and the biometric authentication device P3A are integrally configured as one computer.
  • the authentication device can perform user authentication capable of effectively suppressing impersonation of a user by a third party through double authentication using biometric authentication and tactile authentication. can be executed.
  • the authentication device presents a password or characters constituting a password by imparting a tactile sense to a predetermined part. spoofing can be suppressed more effectively.
  • the authentication device can perform biometric authentication using the authentication part (for example, artificial finger, artificial hand, artificial eye, etc.) of a disguised user.
  • the tactile sense authentication fails, it is determined that the user authentication has failed, thereby effectively suppressing spoofing by others.
  • the authentication device can determine that the user authentication is unsuccessful if the biometric authentication is unsuccessful.
  • the tactile signal indicates at least one number or letter.
  • the authentication device can present a password (a so-called one-time password) or characters forming the password to the user.
  • the tactile signal indicates a transmission pattern that is transmitted at different timings to a plurality of different positions in the predetermined part.
  • the authentication apparatus according to the first embodiment and the modification of the first embodiment can provide a simpler password (a so-called one-time password) that can effectively suppress spoofing, or a password that can be used by a user.
  • a simpler password a so-called one-time password
  • the authentication device can present the order of the fingers to which the tactile signals are applied as a password.
  • the biometric information authentication units 411 and 411A in the first embodiment and the modification of the first embodiment acquire biometric information from the biometric authentication area of the predetermined site.
  • Processors 11 and 11A emit tactile signals to the biometric area. Therefore, the user can perform biometric authentication processing and tactile authentication processing with one hand. Therefore, even when the user is holding a package or the like in one hand, the user can perform the biometric authentication process and the tactile authentication process with the other hand.
  • the biometric information authentication units 411 and 411A in the first embodiment and the modification of the first embodiment acquire biometric information from the biometric authentication area of the predetermined site.
  • the processors 11 and 11A transmit a tactile signal to an area different from the biometric authentication area among the predetermined parts.
  • the authentication device according to the first embodiment and the modification of the first embodiment performs the biometric authentication process and the tactile authentication process substantially simultaneously or in parallel, thereby effectively preventing impersonation by others. can be suppressed.
  • the biometric information authentication units 411 and 411A in the first embodiment and the modification of the first embodiment acquire biometric information from the biometric authentication area of the predetermined site.
  • the processors 11 and 11A transmit tactile signals to the biometric authentication area and an area different from the biometric authentication area among the predetermined parts.
  • the authentication device according to Embodiment 1 and the modification of Embodiment 1 can be used even when a camouflaged user's authentication part (for example, artificial finger, artificial hand, artificial eye, etc.) is used. Double authentication using both the authentication process and the tactile authentication process makes it possible to more effectively suppress spoofing by others.
  • the biometric information acquisition timing by the biometric information authentication units 411 and 411A and the tactile signal transmission timing by the processors 11 and 11A are synchronized. different.
  • the authentication device according to the first embodiment and the modification of the first embodiment acquires biometric information at a timing other than the timing at which the predetermined portion is not stationary due to the application of the tactile signal, thereby preventing a decrease in biometric authentication accuracy. can be suppressed.
  • the first authentication period during which the biometric authentication process is performed is at least one second authentication period during which the second authentication process is performed. parts overlap (see FIGS. 12 and 16).
  • the authentication device according to the first embodiment and the modification of the first embodiment performs the biometric authentication process and the tactile authentication process substantially simultaneously or in parallel, thereby effectively preventing impersonation by others. can be suppressed.
  • the authentication device includes the hand insertion detection unit 13, the hand state detection unit 18, or the hand detection units 311 and 412 (detection unit An example of), is further provided.
  • the hand insertion detection unit 13 the hand state detection unit 18, or the hand detection units 311 and 412 determines that the predetermined part is not detected during the execution of the biometric authentication process and the tactile authentication process, the biometric authentication process and the tactile authentication process are performed. suspend.
  • the authentication device performs biometric authentication processing and tactile authentication processing when it detects that the user's predetermined part (authentication part) is replaced during user authentication. Suspending can effectively suppress spoofing by others.
  • the hand insertion detection unit 13, the hand state detection unit 18, or the hand detection units 311 and 412 in the first embodiment and the modification of the first embodiment perform the first authentication in which biometric authentication processing is performed.
  • the predetermined site is detected continuously over a predetermined period including at least part of the period and at least part of the second authentication period during which the tactile authentication process is performed.
  • the authentication device according to the first embodiment and the modified example of the first embodiment successfully performs biometric authentication using the authentication part of the user disguised (for example, artificial finger, artificial hand, artificial eye, etc.) in user authentication.
  • the authentication apparatus includes the hand insertion detection unit 13, the hand state detection unit 18, or the stationary detection camera 33 (of the imaging unit) that captures an image of a predetermined part. an example), a biometric authentication area from which biometric information is acquired, and a superficial area from which a tactile signal is transmitted, based on an image captured by the hand insertion detection unit 13, the hand state detection unit 18, or the stillness detection camera 33. and processors 11, 11A, 31, and 41A (an example of an image processing unit) that determine a sound wave application area (an example of a signal transmission area).
  • the biometric information acquisition camera 34 acquires biometric information from the biometric authentication area.
  • the ultrasonic transmission unit 16 transmits a tactile signal to the ultrasonic wave application area.
  • the authentication device according to the first embodiment and the modification of the first embodiment identifies, for example, a finger that acquires biometric information or a finger that imparts a tactile sensation among a plurality of fingers appearing in a captured image.
  • the biometric authentication area and the ultrasonic wave application area can be detected from each of a plurality of fingers.
  • the authentication device further includes the stillness detection unit 312 that detects the stillness of the predetermined part.
  • the biometric information acquisition camera 34 starts acquiring biometric information at the timing when the stillness detection unit 312 detects that the predetermined part is still.
  • the authentication device can acquire biometric information more suitable for biometric authentication, and can more effectively suppress deterioration in biometric authentication accuracy.
  • the authentication device further includes the stillness detection unit 312 that detects the stillness of the predetermined part.
  • the ultrasonic transmission unit 16 starts transmitting a tactile signal at the timing when the stillness detection unit 312 detects that the predetermined part is still.
  • the authentication device can more effectively suppress the shift of the part and position to which the tactile signal is applied, and the password for the user used for tactile authentication or password can present the characters that make up the
  • the present disclosure is useful as an authentication device and an authentication method that more effectively suppress spoofing authentication by others in personal authentication using biometric information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

認証装置は、被認証者の所定部位から生体情報を取得する取得部と、取得部により取得された生体情報に基づいて、第1の認証処理を実行する第1の認証部と、被認証者の所定部位に、音波を用いた触覚信号を発信する音波発信部と、被認証者の操作に基づく入力情報と、触覚信号に対応する情報とに基づいて、第2の認証処理を実行する第2の認証部と、第1の認証処理の認証結果と、第2の認証処理の認証結果とに基づいて、被認証者を認証する判定部と、を備える。

Description

認証装置および認証方法
 本開示は、認証装置および認証方法に関する。
 特許文献1には、人間の被認証部位に関する情報を取得し、取得された情報と予め登録された個人認証用情報とを比較した結果に基づいて、個人認証を行う生体認証装置が開示されている。生体認証装置は、表示部により被認証部位を所定の撮像領域にガイドするためのガイド用情報を表示し、空中結像部材によりガイド用情報を示す光が入射され、入射された光を入射側とは反対側に出射して空中に虚像を生成する。生体認証装置は、被認証部位を撮像し、撮像された被認証部位の画像を処理して、被認証部位に関する情報を取得し、取得された被認証部位に関する情報と、記憶された個人認証用情報とを比較した比較結果に基づいて、個人認証を行う。また、空中結像部材は、生体認証装置から離れたところに虚像を生成し、この虚像を生成する側に位置する面がフラットである。
日本国特開2019-40463号公報
 昨今、生体認証装置は、被認証部位に関する情報を偽装した画像,物体を用いた他者によるなりすまし認証が懸念されている。しかし、特許文献1では、このようななりすまし認証を防止することを想定していないという課題があった。
 本開示は、上述した従来の事情に鑑みて案出され、生体情報を用いた個人認証において、他者によるなりすまし認証をより効果的に抑制する認証装置および認証方法を提供することを目的とする。
 本開示は、被認証者の所定部位から生体情報を取得する取得部と、前記取得部により取得された前記生体情報に基づいて、第1の認証処理を実行する第1の認証部と、前記被認証者の前記所定部位に、音波を用いた触覚信号を発信する音波発信部と、前記被認証者の操作に基づく入力情報と、前記触覚信号に対応する情報とに基づいて、第2の認証処理を実行する第2の認証部と、前記第1の認証処理の認証結果と、前記第2の認証処理の認証結果とに基づいて、前記被認証者を認証する判定部と、を備える、認証装置を提供する。
 また、本開示は、1以上のコンピュータが行う認証方法であって、被認証者の所定部位から生体情報を取得し、取得された前記生体情報に基づいて、第1の認証処理を実行し、前記被認証者の前記所定部位に、音波を用いた触覚信号を発信し、前記被認証者の操作に基づく入力情報と、前記触覚信号に対応する情報とに基づいて、第2の認証処理を実行し、前記第1の認証処理の認証結果と、前記第2の認証処理の認証結果とに基づいて、前記被認証者を認証する、認証方法を提供する。
 本開示によれば、生体情報を用いた個人認証において、他者によるなりすまし認証をより効果的に抑制できる。
実施の形態1に係る生体認証システムの全体構成例を説明する図 実施の形態1における触覚生成認証装置および入力装置の内部構成例1を示す図 超音波送信部による触覚提示方法を説明する図 実施の形態1における触覚生成認証装置および入力装置の内部構成例2を示す図 実施の形態1における生体情報取得装置および生体認証装置の内部構成例を示す図 実施の形態1の変形例に係る生体認証システムの全体構成例を説明する図 実施の形態1の変形例における生体情報取得装置および生体認証装置の内部構成例を示す図 実施の形態1および実施の形態1の変形例に係る生体認証システムの動作概要手順例1を示すフローチャート 実施の形態1および実施の形態1の変形例に係る生体認証システムの動作概要手順例2を示すフローチャート 生体認証システムの動作概要手順例1における第1動作手順例を示すタイミングチャート 生体認証システムの動作概要手順例1における第1動作手順例を示すフローチャート 生体認証システムの動作概要手順例1における第2動作手順例を示すタイミングチャート 生体認証システムの動作概要手順例1における第2動作手順例を示すフローチャート 生体認証システムの動作概要手順例1における第3動作手順例を示すタイミングチャート 生体認証システムの動作概要手順例1における第3動作手順例を示すフローチャート 生体認証システムの動作概要手順例2における第1動作手順例を示すタイミングチャート 生体認証システムの動作概要手順例2における第1動作手順例を示すフローチャート 生体情報取得エリアと超音波付与エリアとの第1の位置関係を説明する図 生体情報取得エリアと超音波付与エリアとの第2の位置関係を説明する図 生体情報取得エリアと超音波付与エリアとの第3の位置関係を説明する図
 以下、適宜図面を参照しながら、本開示に係る認証装置および認証方法の構成および作用を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
(実施の形態1)
 図1を参照して、実施の形態1に係る生体認証システム100の全体構成について説明する。図1は、実施の形態1に係る生体認証システムの100の全体構成例を説明する図である。
 実施の形態1に係る生体認証システム100は、触覚生成認証装置P1,P1Aにより生体認証対象であるユーザの体(例えば、手,顔等)に触覚を付与し、付与された触覚を用いた触覚認証処理と、生体情報取得装置P2および生体認証装置P3のそれぞれによりユーザの体から取得された生体情報に基づく生体認証処理とを実行することで、他者によるユーザのなりすまし認証を防止したユーザ認証を実行する。なお、ここでいう生体情報は、ユーザの指紋,掌紋,静脈,虹彩,口唇紋等であってもよい。
 実施の形態1に係る生体認証システム100は、認証装置P0と、生体認証装置P3とを含んで構成される。なお、認証装置P0における生体情報取得装置P2と、生体認証装置P3との間は、ネットワークNWを介して無線通信または有線通信可能に接続されてデータの送受信を行う。なお、ここでいう無線通信は、例えばWi-Fi(登録商標)等の無線LAN(Local Area Network)を介した通信である。
 認証装置P0は、触覚生成認証装置P1,P1Aと、生体情報取得装置P2と、を少なくとも含んで構成される。認証装置P0は、触覚生成認証装置P1,P1Aにより触角認証処理を実行し、生体情報取得装置P2によりユーザの生体情報の取得処理と、生体認証装置P3によるユーザの生体情報の取得処理を実行する。生体情報取得装置P2は、取得されたユーザの生体情報を生体認証装置P3に送信し、生体認証装置P3により実行された生体認証結果と、触覚生成認証装置P1,P1Aにより実行された触覚認証結果とに基づいて、ユーザ認証を実行する。生体情報取得装置P2は、ユーザ認証結果を通知する画面(認証完了画面(不図示)、認証失敗画面(不図示))を生成して、モニタMNに出力して表示させる。
 なお、認証装置P0は、入力装置UIが必須の構成でなく、触覚生成認証装置P1,P1AがPW(Pass Word)入力検出部14(図2,図4参照)が省略された構成である場合に、入力装置UIを含んで構成される。また、認証装置P0は、モニタMNが必須の構成でなく、省略されてもよい。モニタMNは、触覚生成認証装置P1,P1Aとの間でデータ送受信可能に接続される構成であってもよい。
 生体認証装置P3は、生体情報取得装置P2との間でデータ送受信可能に接続される。生体認証装置P3は、生体情報取得装置P2から送信されたユーザの生体情報を取得し、取得されたユーザの生体情報と、生体情報データベースDBに登録された複数の人物の生体情報とを照合することで、ユーザ認証を実行する。生体認証装置P3は、ユーザ認証結果を生体情報取得装置P2に送信する。
 ネットワークNWは、認証装置P0の生体情報取得装置P2と、生体認証装置P3との間をデータ送受信可能に接続する。
 図2および図3のそれぞれを参照して、実施の形態1における触覚生成認証装置P1および入力装置UIの内部構成について説明する。図2は、実施の形態1における触覚生成認証装置P1および入力装置UIの内部構成例1を示す図である。図3は、超音波送信部16による触覚提示方法を説明する図である。
 なお、本実施の形態1では、ユーザの手(手指,掌等)の挿入を検知したり、ユーザの手に触覚を提示したりする例について説明するが、触覚生成認証装置P1は、ユーザの顔の挿入を検知したり、ユーザの顔に触覚を付与したりしてもよい。また、上述したように入力装置UIは、触覚生成認証装置P1の内部構成にPW入力検出部14が含まれる場合には省略されてもよい。
 触覚生成認証装置P1は、入力装置UIおよび生体情報取得装置P2の間でそれぞれデータ送受信可能に接続される。触覚生成認証装置P1は、通信部10と、プロセッサ11と、メモリ12と、手挿入検出部13と、PW入力検出部14と、信号レベル変換部15と、超音波送信部16と、を含んで構成される。
 通信部10は、入力装置UIおよび生体情報取得装置P2の通信部30との間でそれぞれデータの送受信を実行する。通信部10は、入力装置UIから送信されたユーザ操作を示す電気信号(制御指令)を取得して、プロセッサ11のPW比較判定部115に出力したり、生体情報取得装置P2から送信された電気信号(制御指令)をプロセッサ11に出力したりする。また、通信部10は、プロセッサ11から出力された触覚認証結果を生体情報取得装置P2に送信する。なお、生体情報取得装置P2との間で送受信されるデータは、暗号化処理が施されてよい。
 プロセッサ11は、例えばCPU(Central Processing Unit)またはFPGA(Field Programmable Gate Array)を用いて構成されて、メモリ12と協働して、各種の処理および制御を行う。具体的には、プロセッサ11は、メモリ12に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、出力信号変調部111、PW発行部112、出力レベル算出部113、遅延時間算出部114、PW比較判定部115、および送信信号生成部116、等の機能を実現する。
 メモリ12は、例えばプロセッサ11の各処理を実行する際に用いられるワークメモリとしてのRAM(Random Access Memory)と、プロセッサ11の動作を規定したプログラムおよびデータを格納するROM(Read Only Memory)とを有する。RAMには、プロセッサ11により生成あるいは取得されたデータもしくは情報が一時的に保存される。ROMには、プロセッサ11の動作を規定するプログラムが書き込まれている。
 手挿入検出部13は、例えば、カメラ,センサ(例えば、反射型のTOF(Time Of Flight)センサ、赤外線センサ、あるいは透過型のレーザセンサ、受光センサ)等により実現される。手挿入検出部13は、超音波送信部16による触覚生成可能な範囲(領域)にユーザの手(具体的には、手指,掌等)が挿入されたか否かを判定(検出)する。手挿入検出部13は、触覚付与可能な範囲(領域)にユーザの手が挿入されたと判定した場合、ユーザの手が挿入された旨の通知(制御指令)、あるいは検出されたユーザの手の位置情報を生成して、PW発行部112に出力する。
 例えば、手挿入検出部13がカメラにより実現される場合、手挿入検出部13は、触覚生成可能な範囲(領域)を撮像し、撮像された撮像画像を解析する。手挿入検出部13は、撮像画像の解析結果に基づいて、触覚生成可能な範囲(領域)にユーザの手(具体的には、手指,掌等)が挿入されたと判定した場合、ユーザの手が挿入された旨の通知(制御指令)を生成して、PW発行部112に出力する。
 また、例えば、手挿入検出部13がセンサにより実現される場合、手挿入検出部13は、触覚生成可能な範囲(領域)へのユーザの手が挿入されたか否かを検出する。手挿入検出部13は、触覚生成可能な範囲(領域)へのユーザの手の挿入を検出した場合、ユーザの手が挿入された旨の通知(制御指令)を生成して、PW発行部112に出力する。
 PW入力検出部14は、例えば、キーボード、テンキー、マウス、タッチパネル、マイク等により実現され、触覚認証を実行するためのユーザ操作を受け付ける。なお、PW入力検出部14は、マイクにより実現される場合には、ユーザの発話音声を収音し、収音された発話音声を音声信号に変換して音声認識を実行する。PW入力検出部14は、受け付けたユーザ操作あるいは音声認識結果を電気信号に変換して、PW比較判定部115に出力する。なお、PW入力検出部14は必須の構成でなく、省略されてもよい。
 信号レベル変換部15は、プロセッサ11の送信信号生成部116から出力された電気信号の電圧値を変換し、変換後の電気信号を超音波送信部16に出力する。
 超音波送信部16は、複数の超音波素子16A,16B,…,16Nのそれぞれにより構成される。超音波送信部16は、信号レベル変換部15から出力された電気信号の電圧値に対応する強度の音波に変換し、ユーザの手の位置に対応する触覚提示面HH(図3参照)に向かって出力する。複数の超音波素子16A~16Nのそれぞれから出力された音波は、触覚提示面HHにおける焦点Pt0の位置で互いに強め合うことで、焦点Pt0の位置にあるユーザの手に触覚を与えることができる。
 以下、プロセッサ11により実現される各部の機能について説明する。
 出力信号変調部111は、超音波素子の出力強度を超音波素子ごとに変調する。例えば、出力信号変調部111は、事前に設定された所定の手挿入位置に対応する焦点Pt0と、複数の超音波素子16A~16Nのそれぞれの音波発生位置との間の距離とに基づいて、焦点Pt0における音波強度を変調させる。出力信号変調部111は、音波強度を変調させるための変調信号を生成して、送信信号生成部116に出力する。
 なお、ここでいう変調は、複数の超音波素子のそれぞれから出力された音波強度が焦点Pt0の位置において一定周期でON,OFFさせたり、焦点Pt0の位置において正弦波を描くように正弦波変調させたりする処理である。
 このように、焦点位置における音波の強度が変化することで、ユーザは、音波による触覚を得ることができる。また、ユーザは、超音波送信部16により出力された音波によって触覚を得る位置(つまり、超音波送信部16の出力音波の焦点位置)が移動することで、触覚により伝えられるパスワード(後述)が何であるかを知覚することができる。
 PW発行部112は、手挿入検出部13からユーザの手が検出された旨の制御指令に基づいて、触覚認証に使用されるパスワード(例えば、数字、アルファベット、記号等の文字)を決定(発行)する。なお、PW発行部112は、パスワードの他に、触覚を与える指、あるいは触覚を与える指の順番等をパスワードとして決定(発行)してもよい。PW発行部112は、決定されたパスワードを、出力レベル算出部113、遅延時間算出部114、およびPW比較判定部115のそれぞれに出力する。
 出力レベル算出部113は、PW発行部112から出力されたパスワードに基づいて、パスワードを出力するための超音波送信部16の音波の出力レベル(出力信号の大きさ)を算出する。具体的に、出力レベル算出部113は、出力されるパスワードをユーザの手に伝えるために、超音波素子ごとの音波の出力レベルを算出する。出力レベル算出部113は、算出された超音波素子ごとの音波の出力レベルの情報を送信信号生成部116に出力する。
 例えば、PW発行部112から出力されたパスワードが「1」である場合、出力レベル算出部113は、ユーザの手に「1」を描くための経時的な出力レベルを超音波素子ごとに算出する。また、例えば、PW発行部112から出力されたパスワードが数字等でなく、複数の指先に与えられる触覚の順番であって、「中指」、「薬指」、「人差し指」である場合、出力レベル算出部113は、「中指」、「薬指」、「人差し指」の順に触覚を与えるための音波の出力レベルを超音波素子ごとに算出する。
 遅延時間算出部114は、PW発行部112から出力されたパスワードに基づいて、パスワードをユーザの手に提示するための超音波送信部16の出力遅延時間を算出する。具体的に、遅延時間算出部114は、複数の超音波素子16A~16Nのそれぞれから出力される音波がユーザの手における所定の焦点位置で互いに強め合ように、超音波素子ごとの音波の出力タイミング(遅延時間)を算出する。遅延時間算出部114は、算出された超音波素子ごとの遅延時間の情報を送信信号生成部116に出力する。
 例えば、遅延時間算出部114は、焦点位置と、各超音波素子の音波の出力位置との間の距離を算出し、算出された距離に応じて各素子から出力される音波の位相が焦点位置で同じになるように超音波素子ごとの遅延時間を算出する。
 PW比較判定部115は、PW入力検出部14から出力され、ユーザ操作により入力されたパスワードと、PW発行部112から出力されたパスワードとを取得し、照合する。PW比較判定部115は、ユーザにより入力されたパスワードが、PW発行部112により決定(発行)されたパスワードと同一であるか否かを判定する。
 PW比較判定部115は、ユーザにより入力されたパスワードが、PW発行部112により決定(発行)されたパスワードと同一であると判定した場合、触覚認証が成功であると判定する。一方、PW比較判定部115は、ユーザにより入力されたパスワードが、PW発行部112により決定(発行)されたパスワードと同一でないと判定した場合、触覚認証が失敗であると判定し、ユーザに触覚認証失敗である旨を通知する制御指令を生成し、生成された認証失敗画面を通信部10に出力して、生体情報取得装置P2に送信させる。生体情報取得装置P2は、触覚生成認証装置P1から送信された制御指令に基づいて、認証失敗画面(不図示)を生成してモニタMNに出力し、表示させる。
 なお、PW比較判定部115は、タイマー機能を有していてもよい。このような場合、PW比較判定部115は、送信信号生成部116によるパスワードの提示(つまり、超音波を用いたユーザへの触覚付与)が完了したタイミングから、事前に設定されたPW入力検出部14によるパスワードの入力操作を受け付け可能な所定時間(例えば、15秒、20秒、30秒等)以内にユーザによるパスワードの入力操作があるか否かを判定する。
 PW比較判定部115は、所定時間以内にユーザによるパスワードの入力操作があると判定した場合、ユーザ操作により入力されたパスワードが、PW発行部112により決定(発行)されたパスワードと同一であるか否かを判定(つまり、触覚認証)する。PW比較判定部115は、PW発行部112により決定(発行)されたパスワードと同一であるか否かの判定結果に基づく触覚認証結果を生成して、生体情報取得装置P2に送信する。
 送信信号生成部116は、出力信号変調部111から出力された変調信号と、出力レベル算出部113から出力された超音波素子ごとの出力レベルの情報と、遅延時間算出部114から出力された超音波素子ごとの遅延時間の情報とに基づいて、複数の超音波素子16A~16Nのそれぞれから出力される音波を制御する電気信号を生成する。送信信号生成部116は、生成された電気信号を信号レベル変換部15に出力する。
 次に、入力装置UIについて説明する。入力装置UIは、触覚生成認証装置P1との間でデータ送受信可能に接続される。入力装置UIは、通信部20と、プロセッサ21と、メモリ22と、PW入力部23と、を含んで構成される。
 通信部20は、触覚生成認証装置P1の通信部10との間でそれぞれデータの送受信を実行する。通信部20は、プロセッサ21から出力されたユーザ操作を示す電気信号(制御指令)を取得して、触覚生成認証装置P1に送信する。
 プロセッサ21は、例えばCPUまたはFPGAを用いて構成されて、メモリ22と協働して、各種の処理および制御を行う。具体的には、プロセッサ21は、メモリ22に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより各部の機能を実現する。
 メモリ22は、例えばプロセッサ21の各処理を実行する際に用いられるワークメモリとしてのRAMと、プロセッサ21の動作を規定したプログラムおよびデータを格納するROMとを有する。RAMには、プロセッサ21により生成あるいは取得されたデータもしくは情報が一時的に保存される。ROMには、プロセッサ21の動作を規定するプログラムが書き込まれている。
 PW入力部23は、例えばキーボード、テンキー、マウス、タッチパネル、マイク等により実現される。PW入力部23は、触覚認証を実行するためのユーザ操作を受け付けることで、触覚生成認証装置P1のPW入力検出部14と同様の機能を実現する。なお、PW入力部23は、マイクにより実現される場合には、ユーザの発話音声を収音し、収音された発話音声を音声信号に変換してプロセッサ21に出力する。プロセッサ21は、PW入力部23から出力された音声信号を通信部20に出力し、触覚生成認証装置P1に送信させる。なお、音声信号を用いた音声認識処理は、プロセッサ21により実行されてもよいし、触覚生成認証装置P1のプロセッサ11により実行されてもよい。
 次に、図4を参照して、実施の形態1における触覚生成認証装置P1Aおよび入力装置UIの他の内部構成を説明する。図4は、実施の形態1における触覚生成認証装置P1Aおよび入力装置UIの内部構成例2を示す図である。なお、図2に示す触覚生成認証装置P1および入力装置UIと同様の構成には同様の符号を付与し、説明を省略する。
 図4に示す触覚生成認証装置P1Aは、挿入されたユーザの手指の位置、ユーザの手の状態(例えば、手を閉じている、開いている等)を検出し、検出されたユーザの手指の位置と、ユーザの手の状態とに基づいて、超音波送信部16により出力される音波の焦点位置を調整する。
 触覚生成認証装置P1Aは、入力装置UIおよび生体情報取得装置P2の間でそれぞれデータ送受信可能に接続される。触覚生成認証装置P1Aは、通信部10と、プロセッサ11Aと、メモリ12と、手挿入検出部13と、PW入力検出部14と、信号レベル変換部15と、超音波送信部16と、手状態検出部18と、を含んで構成される。
 プロセッサ11Aは、例えばCPUまたはFPGAを用いて構成されて、メモリ12と協働して、各種の処理および制御を行う。具体的には、プロセッサ11Aは、メモリ12に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、出力信号変調部111、PW発行部112、出力レベル算出部113、遅延時間算出部114A、PW比較判定部115、および送信信号生成部116A、座標-距離変換部117等の機能を実現する。
 PW入力部17は、例えばキーボード、テンキー、マウス、タッチパネル、マイク等により実現される。PW入力部17は、触覚認証を実行するためのユーザ操作(パスワードの入力操作)を受け付けて、受け付けたユーザ操作を電気信号に変換して、プロセッサ11AのPW比較判定部115に出力する。なお、PW入力部17は、必須の構成でなく、省略されてよい。
 PW入力部17は、マイクにより実現される場合、ユーザの発話音声を収音し、収音された発話音声を音声信号に変換する。PW入力部17は、音声信号を用いて音声認識処理を実行して、音声信号に含まれるパスワード、あるいはパスワードを構成する1つの文字(例えば、数字、アルファベット、記号等)を抽出し、抽出された文字情報をプロセッサ11Aに出力する。プロセッサ11Aは、PW比較判定部115により、PW入力部17から出力された文字情報と、パスワードとを照合することで、触覚認証を実行する。
 手状態検出部18は、例えば、カメラ,センサ等により実現され、ユーザの手(掌,各指)の位置,手の開閉状態等を検出する。手状態検出部18は、検出されたユーザの掌,各指の位置情報(座標情報)、手の開閉状態の情報等を生成して、座標-距離変換部117に出力する。なお、図4に示す手状態検出部18は、手挿入検出部13と別体で構成される例について説明するが、手挿入検出部13と一体的に構成されてもよい。
 座標-距離変換部117は、手状態検出部18から出力されたユーザの掌,各指の位置情報(座標)を取得する。座標-距離変換部117は、取得されたユーザの掌,各指の位置情報(座標)に基づいて、取得されたユーザの掌,各指の位置と、超音波送信部16を構成する複数の超音波素子16A~16Nのそれぞれの位置との間の距離を算出して、遅延時間算出部114Aに出力する。
 遅延時間算出部114Aは、座標-距離変換部117から出力されたユーザの掌,各指の位置と、超音波送信部16を構成する複数の超音波素子16A~16Nのそれぞれの位置との間の距離に基づいて、複数の超音波素子16A~16Nのそれぞれから出力される音波の遅延時間を算出する。遅延時間算出部114Aは、算出された複数の超音波素子16A~16Nのそれぞれから出力される音波の遅延時間の情報を送信信号生成部116Aに出力する。
 送信信号生成部116Aは、出力信号変調部111から出力された変調信号と、出力レベル算出部113から出力された超音波素子ごとの出力レベルの情報と、遅延時間算出部114Aから出力された超音波素子ごとの遅延時間の情報とに基づいて、複数の超音波素子16A~16Nのそれぞれから出力される音波を制御する電気信号を生成する。送信信号生成部116Aは、生成された電気信号を信号レベル変換部15に出力する。
 図5を参照して、実施の形態1における生体情報取得装置P2および生体認証装置P3の内部構成について説明する。図5は、実施の形態1における生体情報取得装置P2および生体認証装置P3の内部構成例を示す図である。
 生体情報取得装置P2は、触覚生成認証装置P1および生体認証装置P3との間でそれぞれデータ通信可能に接続される。生体情報取得装置P2は、生体情報取得用カメラ34によりユーザの体(例えば、手指、掌、顔、目等)の一部を撮像する。生体情報取得装置P2は、撮像された撮像画像(以降、「生体認証用画像」と表記)を画像解析して、ユーザの生体情報(例えば、指紋,掌紋,静脈,虹彩,口唇紋)を取得し、取得されたユーザの生体情報を生体認証装置P3に送信する。また、生体情報取得装置P2は、生体認証装置P3により実行された生体認証結果をモニタMNに出力する。
 生体情報取得装置P2は、通信部30と、プロセッサ31と、メモリ32と、静止検知用カメラ33と、生体情報取得用カメラ34と、を含んで構成される。なお、図5に示す生体情報取得装置P2は、一例として操作部35と、センサ36とを含んで構成される例を示すがこれに限定されない。例えば、操作部35の機能は、触覚生成認証装置P1,P1AのPW入力検出部14により実現されてもよいし、入力装置UIにより実現されてもよい。また、センサ36の機能は、触覚生成認証装置P1の手挿入検出部13、あるいは触覚生成認証装置P1Aの手状態検出部18により実現されてもよい。また、モニタMNは、生体情報取得装置P2と一体的に構成されてもよい。
 通信部30は、触覚生成認証装置P1,P1Aの通信部10と、生体認証装置P3における通信部20との間でそれぞれ無線あるいは有線通信可能に接続されてデータの送受信を実行する。通信部30は、プロセッサ31から出力されたユーザの切り出し画像、あるいは生体情報を生体認証装置P3に送信し、生体認証装置P3から送信された認証結果をプロセッサ31に出力する。
 なお、生体認証装置P3に送信されるユーザの切り出し画像、生体情報等は、暗号化処理が施されてよい。また、ここでいう切り出し画像は、生体認証用画像からユーザの生体情報を取得する部位(例えば、指、掌等)の一部が映る範囲を切り出した画像である。
 プロセッサ31は、例えばCPUまたはFPGAを用いて構成されて、メモリ32と協働して、各種の処理および制御を行う。具体的には、プロセッサ31は、メモリ32に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、ユーザの手画像、またはユーザの生体情報を取得するための手検知部311、静止検知部312、タイムアウト検知部313、およびボケ画像検知部314等の機能を実現する。
 また、プロセッサ31は、触覚生成認証装置P1,P1Aから送信された触覚認証結果と、生体認証装置P3から送信された生体認証結果とに基づいて、ユーザ認証を実行する。プロセッサ31は、触覚認証結果および生体認証結果のそれぞれがともに認証成功であると判定した場合、ユーザ認証成功(完了)であると判定し、認証完了画面(不図示)を生成して、モニタMNに出力して表示させる。一方、プロセッサ31は、触覚認証結果および生体認証結果のうち少なくとも一方が認証失敗であると判定した場合、ユーザ認証失敗であると判定し、認証失敗画面(不図示)を生成して、モニタMNに出力して表示させる。
 手検知部311は、静止検知用カメラ33により撮像された撮像画像(以降、「検知用画像」と表記)に基づいて、ユーザの手が撮像領域内に挿入されているか否かを判定(検知)する。手検知部311は、手の挿入検知処理をフレームごとに実行する。
 静止検知部312は、静止検知用カメラ33により撮像された検知用画像に基づいて、ユーザの手が静止している否かを判定(検知)する。静止検知部312は、手の静止検知処理をフレームごとに実行する。
 タイムアウト検知部313は、手検知部311により撮像領域内へのユーザの手の挿入が検知されたタイミングから事前に設定された所定の制限時間内にユーザの手の静止が検知されたか否かを判定する。タイムアウト検知部313は、所定の制限時間内にユーザの手の静止が検知されなかった場合、タイムアウトした旨を通知するタイムアウト通知画面(不図示)を生成して、モニタMNに出力する。
 ボケ画像検知部314は、生体情報取得用カメラ34により撮像された生体認証用画像に基づいて、生体認証用画像がブレているか否かを判定する。なお、ここでいうブレは、被写体が動くことにより発生するモーションブラーを示し、例えば被写体としてのユーザの手が高速で動くことで、撮像画像に残る手の軌跡(残像)等を示す。
 ボケ画像検知部314は、生体認証用画像がブレていないと判定した場合、取得された生体認証用画像からユーザの生体情報を取得する部位(例えば、目、唇、指、掌等)の一部が映る範囲を切り出した切り出し画像を生成し、切出し画像に暗号化処理を行って生体認証装置P3に送信する。なお、ボケ画像検知部314は、生成された切出し画像を用いてユーザの生体情報を抽出し、抽出されたユーザの生体情報に暗号化処理を行って生体認証装置P3に送信してもよい。
 ここで、切り出し画像の生成方法について説明する。ボケ画像検知部314は、生体認証用画像を画像解析して、ユーザの生体情報を取得する部位を検知し、検知された部位を含む領域を切り出して切り出し画像指画像を生成する。なお、切り出し画像の生成方法は、これに限定されず、他の公知技術が用いられてもよい。
 静止検知用カメラ33は、少なくともイメージセンサ(不図示)とレンズ(不図示)とを有して構成される。イメージセンサは、例えばCCD(Charged-Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)の固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。静止検知用カメラ33は、生体情報取得用カメラ34よりも高フレームレート、かつ、低解像度である。生体情報取得装置P2で使用される静止検知用カメラ33は、例えばフレームレートが60fps、解像度が640×480のカメラである。
 生体情報取得用カメラ34は、少なくともイメージセンサ(不図示)とレンズ(不図示)とを有して構成される。イメージセンサは、例えばCCDまたはCMOSの固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。生体情報取得用カメラ34は、静止検知用カメラ33よりも低フレームレート、かつ、高解像度である。生体情報取得装置P2で使用される生体情報取得用カメラ34は、例えばフレームレートが1fps、解像度が3280×2464のカメラである。
 操作部35は、例えば、ユーザ、管理者(例えば、生体情報取得装置P2が設置された施設、建物の警備員、管理者、あるいは生体情報取得装置P2が設置された店舗の従業員等の特定の人物)による操作を受け付け可能であって、例えばボタン、マウス、キーボード、タッチパネル等により構成される。操作部35は、受け付けられたユーザ操作、あるいは管理者操作を電気信号に変換して、プロセッサ31に出力する。
 センサ36は、例えば、反射型のTOFセンサ、赤外線センサ、あるいは透過型のレーザセンサ、受光センサ等である。センサ36は、静止検知用カメラ33および生体情報取得用カメラ34のそれぞれの撮像領域内に挿入されるユーザの手を検知する。センサ36は、ユーザの手を検知した場合には検知信号を生成して、プロセッサ31に出力する。
 モニタMNは、例えばLCD(Liquid Crystal Display)または有機EL(Electroluminescence)等の表示用デバイスを用いて構成されてよい。モニタMNは、プロセッサ31から出力された認証完了画面(不図示)、認証失敗通知(不図示)等を出力する。
 生体認証装置P3は、生体情報取得装置P2から送信されたユーザの切出し画像を用いてユーザの生体情報を抽出する。なお、生体情報の抽出は、公知の技術(例えば、日本国特開2018-124999に開示の技術等)が用いられてよい。生体認証装置P3は、抽出された生体情報と、生体認証システム100または生体情報取得装置P2の管理者等により事前に登録された複数のユーザのそれぞれの生体情報とを照合する。生体認証装置P3は、抽出された生体情報が登録された複数のユーザのそれぞれの生体情報のいずれかと一致するか否かを判定してユーザ認証処理を実行し、ユーザ認証処理結果(つまり、生体認証処理結果)を生体情報取得装置P2に送信する。
 生体認証装置P3は、通信部40と、プロセッサ41と、メモリ42と、生体情報データベースDBとを含んで構成される。
 通信部40は、生体情報取得装置P2の通信部30との間で無線あるいは有線通信可能に接続されてデータの送受信を実行する。通信部40は、生体情報取得装置P2から送信されたユーザの切り出し画像をプロセッサ41に出力し、プロセッサ41から出力された生体認証結果を生体情報取得装置P2に送信する。なお、生体情報取得装置P2に送信される生体認証結果は、暗号化処理が施されてよい。
 プロセッサ41は、例えばCPUまたはFPGAを用いて構成されて、メモリ42と協働して、各種の処理および制御を行う。具体的には、プロセッサ41は、メモリ42に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、ユーザ認証を実行するために生体情報認証部411の機能を実現する。
 生体情報認証部411は、ユーザの切り出し画像に基づいて、ユーザの生体情報を抽出する。生体情報認証部411は、抽出されたユーザの生体情報と、生体情報データベースDBに格納(登録)された複数のユーザのそれぞれの生体情報とを照合する。生体情報認証部411は、抽出されたユーザの生体情報が登録された複数のユーザのそれぞれの生体情報いずれと一致あるいは類似するか否かを判定した生体認証結果を生成し、通信部40に出力して生体情報取得装置P2に送信させる。
 メモリ42は、例えばプロセッサ41の各処理を実行する際に用いられるワークメモリとしてのRAMと、プロセッサ41の動作を規定したプログラムおよびデータを格納するROMとを有する。RAMには、プロセッサ41により生成あるいは取得されたデータもしくは情報が一時的に保存される。ROMには、プロセッサ41の動作を規定するプログラムが書き込まれている。
 生体情報データベースDBは、事前に登録された複数のユーザのそれぞれに関する情報(例えば、氏名、社員番号、識別番号、ID、顔写真等)と、複数のユーザのそれぞれの生体情報とをユーザごとに対応付けて格納(登録)する。
(実施の形態1の変形例)
 上述した実施の形態1に係る生体認証システム100は、生体情報取得装置P2と、生体認証装置P3とが別体で構成され、かつ、ネットワークNWを介してデータ送受信可能に接続される例を示した。実施の形態1の変形例に係る生体認証システム100Aは、生体情報取得装置P2Aと、生体認証装置P3Aとが一体的に構成される例について説明する。なお、実施の形態1に係る生体認証システム100、および生体認証システム100を構成する各装置と同様の構成については、同一の符号を付与して説明を省略する。
 図6を参照して、実施の形態1の変形例に係る生体認証システム100Aの全体構成について説明する。図6は、実施の形態1の変形例に係る生体認証システム100Aの全体構成例を説明する図である。
 実施の形態1の変形例に係る生体認証システム100Aは、触覚生成認証装置P1,P1Aによる触覚認証によるユーザ認証処理と、生体情報取得装置P2Aおよび生体認証装置P3Aのそれぞれによる生体認証によるユーザ認証処理とを実行する。
 実施の形態1の変形例に係る生体認証システム100Aは、触覚生成認証装置P1,P1Aと、生体情報取得装置P2Aと、生体認証装置P3Aとを含んで構成される。なお、図6に示す触覚生成認証装置P1,P1Aと、生体情報取得装置P2Aと、生体認証装置P3Aとは、一体的に構成された1つのコンピュータ(認証装置の一例)として実現されてもよい。
 生体情報取得装置P2Aは、生体認証装置P3Aとの間でデータ送受信可能に接続される。生体情報取得装置P2Aは、ユーザの生体認証用画像を取得、あるいは生体認証用画像から生体情報を取得する部位を切り出した切出し画像を生成して、生体認証装置P3Aに送信する。
 生体認証装置P3Aは、触覚生成認証装置P1,P1Aと、生体情報取得装置P2Aとの間でそれぞれデータ送受信可能に接続される。生体認証装置P3Aは、生体情報取得装置P2Aから送信されたユーザの生体認証用画像、あるいは切出し画像からユーザの生体情報を抽出する。生体認証装置P3Aは、抽出されたユーザの生体情報と、生体情報データベースDBに登録された複数のユーザのそれぞれの生体情報とを照合し、生体認証(ユーザ認証)を実行する。
 生体認証装置P3Aは、生体認証結果と、触覚生成認証装置P1,P1Aにより実行された触覚認証結果とに基づくユーザ認証結果を通知する画面(認証完了画面または認証失敗画面)を生成して、モニタMNAに出力して表示させる。
 図7を参照して、実施の形態1の変形例における生体情報取得装置P2Aおよび生体認証装置P3Aの内部構成について説明する。図7は、実施の形態1の変形例における生体情報取得装置P2Aおよび生体認証装置P3Aの内部構成例を示す図である。
 生体情報取得装置P2Aは、静止検知用カメラ33と、生体情報取得用カメラ34と、を少なくとも含んで構成される。なお、図7に示す生体情報取得装置P2Aは、一例として操作部35と、センサ36とを含んで構成される例を示すが、これに限定されない。例えば、操作部35の機能は、触覚生成認証装置P1,P1AのPW入力検出部14により実現されてもよいし、入力装置UIにより実現されてもよい。また、センサ36の機能は、触覚生成認証装置P1の手挿入検出部13、あるいは触覚生成認証装置P1Aの手状態検出部18により実現されてもよい。
 生体認証装置P3Aは、触覚生成認証装置P1,P1Aと、生体情報取得装置P2Aと、モニタMNAとの間でそれぞれデータ送受信可能に接続される。生体認証装置P3Aは、通信部40Aと、プロセッサ41Aと、メモリ42Aと、生体情報データベースDBとを含んで構成される。
 通信部40Aは、触覚生成認証装置P1,P1Aの通信部10と、生体情報取得装置P2Aを構成する各装置(静止検知用カメラ33、生体情報取得用カメラ34、操作部35、センサ36のそれぞれ)と、モニタMNAとの間でそれぞれ無線あるいは有線通信可能に接続されてデータの送受信を実行する。
 通信部40Aは、生体情報取得装置P2Aから送信された各種データをプロセッサ41Aに出力したり、触覚生成認証装置P1,P1Aから送信された触覚認証結果をプロセッサ41Aに出力したりする。また、通信部40Aは、プロセッサ41Aから出力されたユーザ認証結果を通知する画面(認証完了画面(不図示)、認証失敗画面(不図示))をモニタMNAに出力する。
 プロセッサ41Aは、例えばCPUまたはFPGAを用いて構成されて、メモリ42Aと協働して、各種の処理および制御を行う。具体的には、プロセッサ41Aは、メモリ42Aに保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、生体情報認証部411A、手検知部412、静止検知部413、タイムアウト検知部414、ボケ画像検知部415等の機能を実現する。
 生体情報認証部411Aは、ボケ画像検知部415から出力された切り出し画像に基づいて、ユーザの生体情報を抽出する。生体情報認証部411Aは、抽出されたユーザの生体情報と、生体情報データベースDBに格納(登録)された複数のユーザのそれぞれの生体情報とを照合する。生体情報認証部411Aは、抽出されたユーザの生体情報が登録された複数のユーザのそれぞれの生体情報いずれと一致あるいは類似するか否か(つまり、生体認証)を判定する。
 生体情報認証部411Aは、触覚生成認証装置P1,P1Aから送信された触覚認証結果と、生体情報を用いて実行された生体認証結果とに基づいて、ユーザ認証を実行する。生体情報認証部411Aは、触覚認証結果および生体認証結果のそれぞれがともに認証成功であると判定した場合、ユーザ認証成功(完了)であると判定し、認証完了画面(不図示)を生成して、モニタMNAに出力して表示させる。一方、生体情報認証部411Aは、触覚認証結果および生体認証結果のうち少なくとも一方が認証失敗であると判定した場合、ユーザ認証失敗であると判定し、認証失敗画面(不図示)を生成して、モニタMNAに出力して表示させる。
 手検知部412は、静止検知用カメラ33により撮像された撮像画像(以降、「検知用画像」と表記)に基づいて、ユーザの手が撮像領域内に挿入されているか否かを判定(検知)する。手検知部412は、手の挿入検知処理をフレームごとに実行する。
 静止検知部413は、静止検知用カメラ33により撮像された検知用画像に基づいて、ユーザの手が静止している否かを判定(検知)する。静止検知部413は、手の静止検知処理をフレームごとに実行する。
 タイムアウト検知部414は、手検知部412により撮像領域内へのユーザの手の挿入が検知されたタイミングから事前に設定された所定の制限時間内にユーザの手の静止が検知されたか否かを判定する。タイムアウト検知部414は、所定の制限時間内にユーザの手の静止が検知されなかった場合、タイムアウトした旨を通知するタイムアウト通知画面(不図示)を生成して、モニタMNに出力する。
 ボケ画像検知部415は、生体情報取得用カメラ34により撮像された生体認証用画像に基づいて、生体認証用画像がブレているか否かを判定する。なお、ここでいうブレは、被写体が動くことにより発生するモーションブラーを示し、例えば被写体としてのユーザの手が高速で動くことで、撮像画像に残る手の軌跡(残像)等を示す。
 ボケ画像検知部415は、生体認証用画像がブレていないと判定した場合、取得された生体認証用画像からユーザの生体情報を取得する部位(例えば、目、唇、指、掌等)の一部が映る範囲を切り出した切り出し画像を生成し、生体情報認証部411Aに出力する。
 次に、図8を参照して、実施の形態1および実施の形態1の変形例における生体認証処理および触覚認証処理のそれぞれを順次実行する場合の実行手順について説明する。図8は、実施の形態1および実施の形態1の変形例に係る生体認証システム100,100Aの動作概要手順例1を示すフローチャートである。図8に示す各フローチャートは、触角認証処理と、生体認証処理との処理の順番を示す。
<実施の形態1に係る生体認証システムの動作概要手順>
 実施の形態1に係る生体認証システム100は、触覚生成認証装置P1,P1Aにより触覚認証処理を実行し、生体認証装置P3により生体認証処理を実行する。
 まず、生体認証処理が触覚認証処理よりも先に実行される場合の動作概要手順について説明する。
 生体認証システム100は、生体情報取得装置P2により、生体認証装置P3から送信された生体認証結果に基づく生体認証が成功であるか否か(つまり、生体認証がOKであるか否か)の判定を実行させる(St100)。生体認証システム100は、ステップSt100の処理において、生体情報取得装置P2により生体認証が成功であると判定された場合(St100,YES)、触覚生成認証装置P1,P1Aにより、触覚認証が成功であるか否か(つまり、触覚認証がOKであるか否か)の判定を実行させる(St101)。
 一方、生体認証システム100は、ステップSt100の処理において、生体情報取得装置P2により生体認証が成功でないと判定された場合(St100,NO)、生体情報取得装置P2および生体認証装置P3のそれぞれに生体情報を用いた生体認証処理を再度実行させる。
 生体認証システム100は、ステップSt101の処理において、触覚生成認証装置P1,P1Aにより触覚認証が成功であると判定された場合(St101,YES)、ユーザ認証完了(成功)であると判定する。
 一方、生体認証システム100は、ステップSt101の処理において、触覚生成認証装置P1,P1Aにより触覚認証が成功でないと判定された場合(St101,NO)、生体情報取得装置P2および生体認証装置P3のそれぞれに生体情報を用いた生体認証処理を再度実行させる。
 次に、触覚認証処理が生体認証処理よりも先に実行される場合の動作概要手順について説明する。
 生体認証システム100は、触覚生成認証装置P1,P1Aにより、触覚認証が成功であるか否か(つまり、触覚認証がOKであるか否か)の判定を実行させる(St200)。生体認証システム100は、ステップSt200の処理において、触覚生成認証装置P1,P1Aにより触覚認証が成功であると判定された場合(St200,YES)、生体情報取得装置P2により、生体認証装置P3から送信された生体認証結果に基づく生体認証が成功であるか否か(つまり、生体認証がOKであるか否か)の判定を実行させる(St201)。
 一方、生体認証システム100は、ステップSt200の処理において、触覚生成認証装置P1,P1Aにより触覚認証が成功でないと判定された場合(St200,NO)、触覚生成認証装置P1,P1Aに触覚認証処理を再度実行させる。
 生体認証システム100は、ステップSt201の処理において、生体情報取得装置P2により生体認証が成功であると判定された場合(St201,YES)、ユーザ認証完了(成功)であると判定する。
 一方、生体認証システム100は、ステップSt201の処理において、生体情報取得装置P2により生体認証が成功でないと判定された場合(St201,NO)、触覚生成認証装置P1,P1Aに触覚認証処理を再度実行させる。
<実施の形態1の変形例に係る生体認証システムの動作概要手順>
 また、実施の形態1の変形例に係る生体認証システム100Aは、触覚生成認証装置P1,P1Aにより触覚認証処理を実行し、生体認証装置P3Aにより生体認証処理を実行する。
 まず、生体認証処理が触覚認証処理よりも先に実行される場合の動作概要手順について説明する。
 生体認証システム100Aは、生体認証装置P3Aにより生体認証が成功であるか否か(つまり、生体認証がOKであるか否か)の判定を実行させる(St100A)。生体認証システム100Aは、ステップSt100Aの処理において、生体認証装置P3Aにより生体認証が成功であると判定された場合(St100A,YES)、触覚生成認証装置P1,P1Aにより、触覚認証が成功であるか否か(つまり、触覚認証がOKであるか否か)の判定を実行させる(St101A)。
 一方、生体認証システム100Aは、ステップSt100Aの処理において、生体認証装置P3Aにより生体認証が成功でないと判定された場合(St100A,NO)、生体認証装置P3Aに生体情報を用いた生体認証処理を再度実行させる。
 生体認証システム100Aは、ステップSt101Aの処理において、触覚生成認証装置P1,P1Aにより触覚認証が成功であると判定された場合(St101A,YES)、ユーザ認証完了(成功)であると判定する。
 一方、生体認証システム100Aは、ステップSt101Aの処理において、触覚生成認証装置P1,P1Aにより触覚認証が成功でないと判定された場合(St101A,NO)、生体認証装置P3Aに生体情報を用いた生体認証処理を再度実行させる。
 次に、触覚認証処理が生体認証処理よりも先に実行される場合の動作概要手順について説明する。
 生体認証システム100Aは、触覚生成認証装置P1,P1Aにより、触覚認証が成功であるか否か(つまり、触覚認証がOKであるか否か)の判定を実行させる(St200A)。生体認証システム100Aは、ステップSt200Aの処理において、触覚生成認証装置P1,P1Aにより触覚認証が成功であると判定された場合(St200A,YES)、生体認証装置P3Aにより、生体認証が成功であるか否か(つまり、生体認証がOKであるか否か)の判定を実行させる(St201A)。
 一方、生体認証システム100Aは、ステップSt200Aの処理において、触覚生成認証装置P1,P1Aにより触覚認証が成功でないと判定された場合(St200A,NO)、触覚生成認証装置P1,P1Aに触覚認証処理を再度実行させる。
 生体認証システム100Aは、ステップSt201Aの処理において、生体認証装置P3Aにより生体認証が成功であると判定された場合(St201A,YES)、ユーザ認証完了(成功)であると判定する。
 一方、生体認証システム100Aは、ステップSt201Aの処理において、生体認証装置P3Aにより生体認証が成功でないと判定された場合(St201A,NO)、触覚生成認証装置P1,P1Aに触覚認証処理を再度実行させる。
 次に、図9を参照して、実施の形態1および実施の形態1の変形例における生体認証処理および触覚認証処理のそれぞれを同時に実行する場合の実行手順について説明する。図9は、実施の形態1および実施の形態1の変形例に係る生体認証システム100,100Aの動作概要手順例2を示すフローチャートである。
 生体認証処理と触覚認証処理とを同時(つまり、並列)に実行する場合、実施の形態1に係る生体認証システム100は、生体情報取得装置P2および生体認証装置P3のそれぞれに生体認証処理を実行させて(St300)、触覚生成認証装置P1,P1Aに触覚認証処理を実行させる(St301)。なお、ステップSt300およびステップSt301のそれぞれの処理は、略同時あるいは並列に実行される。
 生体認証システム100は、生体情報取得装置P2によりすべての認証処理(つまり、生体認証および触覚認証のそれぞれ)がOK(成功)であるか否かを判定させる(St302)。生体認証システム100は、ステップSt302の処理において、生体情報取得装置P2によりすべての認証処理(つまり、生体認証および触覚認証のそれぞれ)がOK(成功)であると判定された場合(St302,YES)、ユーザ認証処理を終了する。
 一方、生体認証システム100は、ステップSt302の処理において、生体情報取得装置P2によりすべての認証処理(つまり、生体認証および触覚認証のそれぞれ)がOK(成功)でない(つまり、失敗である)と判定された場合(St302,NO)、ステップSt300,ステップSt301の処理に戻る。
 なお、ここで、生体認証システム100は、ステップSt302の処理において、生体認証あるいは触覚認証のいずれか一方の処理が成功であって、かつ、いずれか他方の処理が失敗であると判定された場合には、生体情報取得装置P2に他者によるユーザへのなりすましの疑いを通知する旨のなりすましアラートを生成させ、モニタMNから出力させてもよい(St303)。なりすましアラートは、画像であってもよいし、音声データであってもよい。生体情報取得装置P2は、生成されたなりすましアラートを、モニタMNから出力して表示させてもよいし、スピーカ(不図示)から音声出力してもよい。
 また、生体認証処理と触覚認証処理とを同時(つまり、並列)に実行する場合、実施の形態1の変形例に係る生体認証システム100Aは、生体情報取得装置P2Aおよび生体認証装置P3Aのそれぞれに生体認証処理を実行させて(St300A)、触覚生成認証装置P1,P1Aに触覚認証処理を実行させる(St301A)。なお、ステップSt300AおよびステップSt301Aのそれぞれの処理は、略同時あるいは並列に実行される。
 生体認証システム100Aは、生体認証装置P3Aによりすべての認証処理(つまり、生体認証および触覚認証のそれぞれ)がOK(成功)であるか否かを判定させる(St302A)。生体認証システム100Aは、ステップSt302Aの処理において、生体認証装置P3Aによりすべての認証処理(つまり、生体認証および触覚認証のそれぞれ)がOK(成功)であると判定された場合(St302A,YES)、ユーザ認証処理を終了する。
 一方、生体認証システム100Aは、ステップSt302Aの処理において、生体認証装置P3Aによりすべての認証処理(つまり、生体認証および触覚認証のそれぞれ)がOK(成功)でない(つまり、失敗である)と判定された場合(St302A,NO)、ステップSt300A,ステップSt301Aの処理に戻る。
 なお、ここで、生体認証システム100Aは、ステップSt302Aの処理において、生体認証あるいは触覚認証のいずれか一方の処理が成功であって、かつ、いずれか他方の処理が失敗であると判定された場合には、生体認証装置P3Aに他者によるユーザへのなりすましの疑いを通知する旨のなりすましアラートを生成させ、モニタMNから出力させてもよい(St303A)。なりすましアラートは、画像であってもよいし、音声データであってもよい。生体認証装置P3Aは、生成されたなりすましアラートを、モニタMNから出力して表示させてもよいし、スピーカ(不図示)から音声出力してもよい。
 図10を参照して、手検知処理、生体認証処理、および触覚認証処理のそれぞれの実行タイミングについて説明する。図10は、生体認証システム100,100Aの動作概要手順例1における第1動作手順例を示すタイミングチャートである。
 第1動作手順は、設定(発行)されたすべてのパスワードのそれぞれに対応する触覚を付与(提示)した後に、ユーザによるすべてのパスワードの入力操作を受け付けることで、触覚認証を実行する場合の動作手順を示す。
 手検知処理は、手挿入検出部13、手状態検出部18あるいは静止検知用カメラ33のいずれかにより実行されるユーザの手の挿入検出処理と、静止検知用カメラ33により実行される挿入されたユーザの手の静止検知処理と、手挿入検出部13、手状態検出部18あるいは静止検知用カメラ33のいずれかにより実行されるユーザの手の入れ替え検知処理と、を含む。
 なお、ユーザの手の入れ替え検知処理は、手挿入検出部13、手状態検出部18あるいは静止検知用カメラ33のいずれかにより撮像された撮像画像を画像解析することで、撮像画像に映るユーザの手の入れ替えがあるか否かを判定(検知)する処理であって、触覚生成認証装置P1,P1A、生体情報取得装置P2、生体認証装置P3Aのいずれにより実行されてもよい。
 時間T11において、実施の形態1および実施の形態1の変形例に係る生体認証システム100,100Aは、手検知処理を開始する。生体認証システム100,100Aは、ユーザの手の挿入を検出し、挿入されたユーザの手の静止検知を開始する。
 生体認証システム100,100Aは、ユーザの手の静止を検知したタイミング(時間T12)で、ユーザの手の入れ替え検知処理と、生体認証処理とを開始する。生体認証システム100,100Aは、生体情報取得用カメラ34によりユーザの手を撮像し、生体情報を抽出可能な生体認証用画像を取得し、取得された生体認証用画像を用いて生体認証処理を実行する。
 生体認証システム100,100Aは、生体認証が成功したと判定したタイミング(時間T13)で、発行されたパスワードに対応する触覚をユーザの手に付与(提示)する。生体認証システム100,100Aは、ユーザの手への触覚付与(提示)が完了したタイミング(時間T14)で、ユーザの手の入れ替え検知処理を終了する。
 なお、生体認証システム100,100Aは、時間T12から時間T14までの時間帯でユーザの手の入れ替えを検知したと判定した場合、ユーザの手の入れ替えを検知したタイミングでユーザ認証処理(つまり、生体認証処理または触覚認証処理)を中断する。
 生体認証システム100,100Aは、時間T12から時間T14までの時間帯でユーザの手の入れ替えを検知していないと判定した場合、PW入力部17またはPW入力部23へのユーザによるパスワード入力操作を受け付ける。生体認証システム100,100Aは、入力されたパスワードと、発行されたパスワードとを照合して、触覚認証処理を実行する。
 図10に示す例において、生体認証システム100,100Aは、時間T12から時間T14までの時間帯でユーザの手の入れ替え検知を実行する。これにより、ユーザは、触覚生成認証装置P1,P1Aにより触覚が付与(提示)された一方の手で、PW入力部17またはPW入力部23へのパスワードの入力操作を行うことができる。つまり、ユーザは、片手のみでユーザ認証を行うことができる。
 また、図10に示すように、生体認証システム100,100Aは、触覚認証処理を実行する前に生体認証処理を実行することで、触覚認証処理を実行する前にユーザを特定できる。したがって、生体認証システム100,100Aは、特定されたユーザが、過去に生体情報が盗まれた人物、生体情報の流出履歴がある人物である場合等には、触覚認証処理でより複雑なパスワードを生成してもよい。
 図11を参照して、図10に示すタイミングチャートに対応する生体認証システム100,100Aの動作概要手順例1における第1動作手順について説明する。図11は、生体認証システム100,100Aの動作概要手順例1における第1動作手順例を示すフローチャートである。
 生体情報取得装置P2または生体認証装置P3Aは、静止検知用カメラ33により撮像された静止検知用画像に基づいて、ユーザの生体情報を取得する部位の一例である手の挿入が検知されたか否かを判定する(St1)。なお、ステップSt1の処理は、触覚生成認証装置P1,P1Aにより実行されてもよい。
 生体情報取得装置P2または生体認証装置P3Aは、ステップSt1の処理において、ユーザの手の挿入が検知されたと判定した場合(St1,YES)、静止検知用カメラ33により撮像された静止検知用画像に基づいて、検知された手の静止を検知したか否かをさらに判定する(St2)。なお、ここでいう手の静止は、生体認証用画像を撮像可能に手が静止した状態を示す。
 一方、生体情報取得装置P2または生体認証装置P3Aは、ステップSt1の処理において、ユーザの手の挿入が検知されないと判定した場合(St1,NO)、ステップSt1の処理に戻る。
 生体情報取得装置P2または生体認証装置P3Aは、ステップSt2の処理において、検知された手の静止を検知したと判定した場合(St2,YES)、生体情報取得用カメラ34により生体認証に用いられる認証部位(例えば、指、掌等)を撮像する(St21)。
 一方、生体情報取得装置P2または生体認証装置P3Aは、ステップSt2の処理において、検知された手の静止を検知しないと判定した場合(St2,NO)、ステップSt1の処理に戻る。ここで、生体情報取得装置P2または生体認証装置P3Aは、手の静止検知を開始したタイミングから所定時間(例えば、15秒、20秒等)の間、手の静止検知処理を繰り返し実行し、所定時間以内に手の静止を検知しないと判定した場合に、ステップSt1の処理に戻ってもよい。
 生体情報取得装置P2または生体認証装置P3Aは、認証部位が撮像された生体認証用画像から、認証部位が映る領域を切り出した切り出し画像を生成する。生体情報取得装置P2または生体認証装置P3Aは、切り出し画像からユーザの生体情報を抽出し、抽出されたユーザの生体情報と、生体情報データベースDBに登録された複数のユーザの生体情報のそれぞれとを照合する(St22)。
 生体情報取得装置P2または生体認証装置P3Aは、生体情報データベースDBに登録された複数のユーザの生体情報のそれぞれに、抽出されたユーザの生体情報と同一あるいは類似する生体情報があるか否かを判定する(St23)。
 生体情報取得装置P2または生体認証装置P3Aは、ステップSt23の処理において、生体情報データベースDBに登録された複数のユーザの生体情報のそれぞれに、抽出されたユーザの生体情報と同一あるいは類似する生体情報があると判定した場合(St23,YES)、触覚認証処理の開始を要求する制御指令を生成して、触覚生成認証装置P1,P1Aに送信する。
 一方、生体情報取得装置P2または生体認証装置P3Aは、ステップSt23の処理において、生体情報データベースDBに登録された複数のユーザの生体情報のそれぞれに、抽出されたユーザの生体情報と同一あるいは類似する生体情報がないと判定した場合(St23,NO)、触覚生成認証装置P1,P1Aに生体認証失敗を送信(通知)する(St24)。生体情報取得装置P2または生体認証装置P3Aは、ユーザ認証失敗を通知する旨の認証失敗画面(不図示)を生成して、モニタMN,MNAに出力して表示する(St25)。
 触覚生成認証装置P1,P1Aは、生体情報取得装置P2,P2Aから送信された触覚認証処理の開始を要求する制御指令に基づいて、触覚認証に用いられるパスワードを設定(発行)する(St31)。なお、設定(発行)されるパスワードは、数字、アルファベット、記号等の文字、あるいは触覚が提示される指先の順番等であってよい。
 触覚生成認証装置P1,P1Aは、設定(発行)されたパスワードに基づいて、超音波送信部16を制御して音波を出力し、超音波を用いた触覚によるパスワードの提示を実行する(St32)。触覚生成認証装置P1,P1Aは、設定(発行)されたすべてのパスワードの提示が終了したか否かを判定する(St33)。例えば、パスワードが「1107」である場合、触覚生成認証装置P1,P1Aは、超音波送信部16によりすべてのパスワード「1」「1」「0」「7」の提示が終了したか否かを判定する。
 触覚生成認証装置P1,P1Aは、ステップSt33の処理において、設定(発行)されたすべてのパスワードの提示が終了したと判定した場合(St33,YES)、ユーザによるパスワード入力操作の受け付けを開始する。触覚生成認証装置P1,P1Aは、ユーザによるパスワード入力操作の受け付けを開始したタイミングでタイマーをセットする(St34)。
 触覚生成認証装置P1,P1Aは、タイマーがセットされたタイミングからの経過時間に基づいて、パスワード入力操作の受け付け処理がタイムアウトしたか否かを判定する(St35)。具体的に、触覚生成認証装置P1,P1Aは、タイマーがセットされたタイミングからの経過時間が事前に設定された所定の制限時間(例えば、20秒、30秒等)経過したか否かを判定する。
 一方、触覚生成認証装置P1,P1Aは、ステップSt33の処理において、設定(発行)されたすべてのパスワードの提示が終了していないと判定した場合(St33,NO)、提示済みでない残りのパスワードの提示を実行する(St32)。
 触覚生成認証装置P1,P1Aは、ステップSt35の処理において、パスワード入力操作の受け付け処理がタイムアウトしたと判定した場合(St35,YES)、生体情報取得装置P2または生体認証装置P3Aに触覚認証失敗を送信(通知)する(St36)。生体情報取得装置P2または生体認証装置P3Aは、触覚生成認証装置P1,P1Aから送信された通知に基づいて、認証失敗画面(不図示)を生成して、モニタMN,MNAに出力して表示させる(St37)。
 触覚生成認証装置P1,P1Aは、ステップSt35の処理において、パスワード入力操作の受け付け処理がタイムアウトしていないと判定した場合(St35,NO)、ユーザによるパスワード入力操作を検出したか否かを判定する(St38)。
 触覚生成認証装置P1,P1Aは、ステップSt38の処理において、ユーザによるパスワード入力操作を検出したと判定した場合(St38,YES)、入力されたパスワードと、設定(発行)されたパスワードとを照合する(St39)。
 触覚生成認証装置P1,P1Aは、ステップSt38の処理において、ユーザによるパスワード入力操作を検出していないと判定した場合(St38,NO)、ステップSt35の処理に戻り、パスワード入力操作の受け付け処理がタイムアウトするまでの間、ユーザによるパスワード入力操作を検出したか否かの判定を繰り返し実行する。
 触覚生成認証装置P1,P1Aは、入力されたパスワードと、設定(発行)されたパスワードとが一致する(つまり、触覚認証成功(OK)である)か否かを判定する(St40)。
 触覚生成認証装置P1,P1Aは、ステップSt40の処理において、入力されたパスワードと、設定(発行)されたパスワードとが一致すると判定した場合(St40,YES)、触覚認証成功を通知する制御指令を生成して、生体情報取得装置P2または生体認証装置P3Aに送信する。生体情報取得装置P2または生体認証装置P3Aは、触覚生成認証装置P1,P1Aから送信された制御指令に基づいて、ユーザ認証が完了したと判定し、ユーザ認証完了(成功)を通知する認証完了画面(不図示)を生成して、モニタMN,MNAに出力して表示させる(St3)。
 以上により、実施の形態1および実施の形態1の変形例に係る生体認証システム100,100Aは、生体認証処理と触覚認証処理とを用いた2重認証により、他者によるユーザのなりすましを効果的に抑制可能なユーザ認証を実行できる。
 また、図10に示すように、生体認証システム100,100Aは、生体認証処理と触覚認証処理との実行において、ステップSt2の処理(手静止検知処理)を開始するタイミング(時間T12)からステップSt33の処理(触覚付与処理)を終了するタイミング(時間T14)までの間にユーザの認証部位(上述の例では、手)の入れ替わり検知を実行する。これにより、生体認証システム100,100Aは、偽装されたユーザの認証部位(例えば、義指、義手、義眼等)を用いた生体認証が成功した場合であっても、触覚認証に必要なパスワードの提示(つまり、触覚の付与)にあたってユーザの認証部位の入れ替わりを検知した場合には、触覚認証失敗であると判定することで他者によるなりすましを効果的に抑制できる。
 さらに、後述するように、生体認証システム100,100Aは、生体認証に用いられる認証部位と、触覚が付与される部位とを同じ部位に設定してユーザの認証部位の入れ替わり検知を実行することで、他者によるなりすましをより効果的に抑制できる。
 次に、図12を参照して、手検知処理、生体認証処理、および触覚認証処理のそれぞれの実行タイミングについて説明する。図12は、生体認証システム100,100Aの動作概要手順例1における第2動作手順例を示すタイミングチャートである。
 第2動作手順は、設定(発行)されたパスワードを構成する1つの文字に対応する触覚を1つずつ付与(提示)した後に、付与されたすべてのパスワードの入力操作を受け付け、パスワードを構成する文字を1つずつ照合することで、触覚認証処理を実行する場合の動作手順を示す。
 なお、第2動作手順例において、生体認証システム100,100Aは、パスワードを構成する1つの文字の付与(提示)と、付与(提示)された1つの文字に関するユーザの入力操作の受け付けとを、文字ごとに繰り返し実行する。よって、第2動作手順例における生体認証システム100,100Aは、ユーザの手の入れ替え検知を省略する。
 時間T21において、実施の形態1および実施の形態1の変形例に係る生体認証システム100,100Aは、手検知処理を開始する。生体認証システム100,100Aは、ユーザの手の挿入を検出したタイミング(時間T22)で、挿入されたユーザの手の静止検知を開始する。
 生体認証システム100,100Aは、ユーザの手の静止を検知したタイミング(時間T23)で、生体情報取得用カメラ34によりユーザの手を撮像して、生体情報を抽出可能な生体認証用画像を取得し、取得された生体認証用画像を用いて生体認証処理を実行する。また、生体認証システム100,100Aは、時間T23に、発行されたパスワードに対応する触覚をユーザの手に付与(提示)した後、PW入力部17またはPW入力部23へのユーザによるパスワード入力操作を受け付け、入力されたパスワードと、発行されたパスワードとを照合して、触覚認証を実行する。
 これにより、ユーザは、触覚生成認証装置P1,P1Aにより触覚が付与(提示)された一方の手で、PW入力部17またはPW入力部23へのパスワードの入力操作を行うことができる。つまり、ユーザは、片手のみでユーザ認証を行うことができる。また、ユーザは、文字ごとに触覚認証処理を実行するため、パスワードを構成する複数の文字の情報を記憶する必要がない。
 図13を参照して、図12に示すタイミングチャートに対応する生体認証システム100,100Aの動作概要手順例1における第2動作手順について説明する。図13は、生体認証システム100,100Aの動作概要手順例1における第2動作手順例を示すフローチャートである。なお、図13に示すフローチャートの説明において、図11と同様の処理であるステップSt1~ステップSt3、ステップSt21~ステップSt25のそれぞれの処理の説明については省略する。
 触覚生成認証装置P1,P1Aは、生体情報取得装置P2,P2Aから送信された触覚認証処理の開始を要求する制御指令に基づいて、触覚認証に用いられるパスワードを構成する1つの文字を設定(発行)する(St51)。なお、設定(発行)されるパスワードは、所定桁数の数字、アルファベット、記号、触覚が提示される指先の順番等であってよい。
 触覚生成認証装置P1,P1Aは、設定(発行)された1つの文字に基づいて、超音波送信部16を制御して音波を出力し、設定(発行)された1つの文字に対応する触覚を1つ提示し(St52)、現在の触覚提示回数をインクリメントする(St53)。
 触覚生成認証装置P1,P1Aは、現在の触覚提示回数がN(N:1以上の整数)回であるか否かを判定する(St54)。なお、触覚提示回数Nは、1つの文字の認証における認証上限回数であって、例えば、3回、5回等の任意の回数が設定されてよい。
 触覚生成認証装置P1,P1Aは、ステップSt54の処理において、現在の触覚提示回数がN回であると判定した場合(St54,YES)、触覚認証失敗である旨の通知を生成して、生体情報取得装置P2または生体認証装置P3Aに送信する(St55)。生体情報取得装置P2または生体認証装置P3Aは、触覚生成認証装置P1,P1Aから送信された通知に基づいて、認証失敗画面(不図示)を生成して、モニタMN,MNAに出力して表示させる(St56)。
 一方、触覚生成認証装置P1,P1Aは、ステップSt54の処理において、現在の触覚提示回数がN回でないと判定した場合(St54,NO)、ユーザによるパスワードを構成する1つの文字の入力操作の受け付けを開始し、ユーザによる1つの文字の入力操作を検出したか否かを判定する(St57)。
 触覚生成認証装置P1,P1Aは、ステップSt57の処理において、ユーザによる1つの文字の入力操作を検出したと判定した場合(St57,YES)、入力された1つの文字と、触覚提示された1つの文字とを照合する(St58)。
 触覚生成認証装置P1,P1Aは、ステップSt57の処理において、ユーザによる1つの文字の入力操作を検出していないと判定した場合(St57,NO)、ステップSt52の処理に戻り、同一の文字に対応する触覚を再度提示する。
 触覚生成認証装置P1,P1Aは、入力された1つの文字と触覚提示された1つの文字とが一致する(つまり、触覚認証成功(OK)である)か否かを判定する(St59)。
 触覚生成認証装置P1,P1Aは、ステップSt59の処理において、入力された1つの文字と触覚提示された1つの文字とが一致すると判定した場合(St59,YES)、パスワードを構成するすべての文字の触覚認証が完了(OK)したか否かを判定する(St60)。
 触覚生成認証装置P1,P1Aは、ステップSt59の処理において、入力された1つの文字と触覚提示された1つの文字とが一致しないと判定した場合(St59,NO)、触覚認証失敗である旨の通知を生成して、生体情報取得装置P2または生体認証装置P3Aに送信する(St55)。
 触覚生成認証装置P1,P1Aは、ステップSt60の処理において、パスワードを構成するすべての文字の触覚認証が完了(OK)したと判定した場合(St60,YES)、ステップSt3の処理に移行する。
 一方、触覚生成認証装置P1,P1Aは、ステップSt60の処理において、パスワードを構成するすべての文字の触覚認証が完了(OK)していないと判定した場合(St60,NO)、ステップSt51の処理に戻り、パスワードを構成する次の文字の設定処理を実行する。
 以上により、実施の形態1および実施の形態1の変形例に係る生体認証システム100,100Aは、生体認証処理と触覚認証処理とを用いた2重認証により、他者によるユーザのなりすましを効果的に抑制可能なユーザ認証を実行できる。
 次に、図14を参照して、手検知処理、生体認証処理、および触覚認証処理のそれぞれの実行タイミングについて説明する。図14は、生体認証システム100,100Aの動作概要手順例1における第3動作手順例を示すタイミングチャートである。
 第3動作手順は、ユーザの両手を使って触覚認証処理を実行する場合の動作手順である。第3動作手順において、ユーザは、一方の手でパスワードの提示(つまり、触覚の付与)を受けるとともに、この一方の手を生体認証処理の認証部位として使用する。超音波送信部16により付与(提示)される触覚の領域は、生体認証における生体認証用画像の撮像領域(つまり、生体情報取得用カメラ34の画角内かつ被写界深度内)を示すガイドとなる。
 時間T31において、実施の形態1および実施の形態1の変形例に係る生体認証システム100,100Aは、手検知処理を開始する。生体認証システム100,100Aは、ユーザの手の挿入を検出したタイミング(時間T32)で、ユーザの手の入れ替え検知処理と、触覚認証処理とを開始する。なお、生体認証システム100,100Aは、ユーザの手の入れ替え検知処理および触覚認証処理を実行する前に、手の静止検知処理を実行してもよい。
 生体認証システム100,100Aは、ユーザの手の挿入を検出したタイミング(時間T32)で、発行されたパスワードに対応する触覚をユーザの一方の手に付与(提示)する。生体認証システム100,100Aは、触覚認証処理が完了したタイミング(時間T33)で、ユーザの手の入れ替え検知処理を終了する。
 生体認証システム100,100Aは、触覚認証処理が完了したタイミング(時間T33)で手の静止検知を実行し、手の静止を検知したタイミング(時間T34)で、ユーザの手の入れ替え検知処理と、生体認証処理とを開始する。生体認証システム100,100Aは、生体情報取得用カメラ34によりユーザの手を撮像し、生体情報を抽出可能な生体認証用画像を取得し、取得された生体認証用画像を用いて生体認証処理を実行する。生体認証システム100,100Aは、生体認証処理が完了するまでの間、ユーザの手の入れ替え検知処理を継続して実行する。
 なお、生体認証システム100,100Aは、時間T32から時間T33までの時間帯、および時間T34から生体認証処理が完了するまでの時間帯においてユーザの手の入れ替えを検知したと判定した場合、ユーザの手の入れ替えを検知したタイミングでユーザ認証処理(つまり、生体認証処理または触覚認証処理)を中断する。
 図14に示す例において、生体認証システム100,100Aは、触覚認証処理を実行している間(つまり、時間T32から時間T33までの時間帯)と、生体認証処理を実行している間(つまり、時間T34から生体認証が完了するまでの時間帯)でユーザの手の入れ替え検知を実行する。これにより、ユーザは、触覚生成認証装置P1,P1Aによる触覚が付与(提示)を一方の手で受け、もう一方の手でPW入力部17またはPW入力部23へのパスワードの入力操作を行うことができる。
 また、生体認証システム100,100Aは、触覚を付与する部位と、生体認証用画像の撮像に用いられる認証部位とが同一であるため、触覚認証処理における触覚付与時に、生体認証処理における認証部位の撮像位置をガイドできるため、認証部位の撮像をより効率的に実行できる。
 図15を参照して、図14に示すタイミングチャートに対応する生体認証システム100,100Aの動作概要手順例1における第3動作手順について説明する。図15は、生体認証システム100,100Aの動作概要手順例1における第3動作手順例を示すフローチャートである。なお、図15に示すフローチャートの説明において、図11,図13と同様の処理であるステップSt1~ステップSt3、ステップSt21~ステップSt25、ステップSt51~ステップSt52、およびステップSt55~ステップSt60のそれぞれの処理の説明については省略する。
 触覚生成認証装置P1,P1Aは、生体情報取得装置P2,P2Aから送信された触覚認証処理の開始を要求する制御指令に基づいて、触覚認証に用いられるパスワードを構成する1つの文字を設定(発行)する(St51)。なお、設定(発行)されるパスワードは、所定桁数の数字、アルファベット、記号、触覚が提示される指先の順番等であってよい。
 触覚生成認証装置P1,P1Aは、ユーザによるパスワード入力操作の受け付けを開始したタイミングでタイマーをセット、あるいは現在の触覚提示回数をインクリメントする(St53A)。
 触覚生成認証装置P1,P1Aは、ステップSt53Aの処理において、タイマーをセットした場合、タイマーがセットされたタイミングからの経過時間に基づいて、パスワード入力操作の受け付け処理がタイムアウトしたか否かを判定する(St54A)。具体的に、触覚生成認証装置P1,P1Aは、タイマーがセットされたタイミングからの経過時間が事前に設定された所定の制限時間(例えば、20秒、30秒等)経過したか否かを判定する。
 触覚生成認証装置P1,P1Aは、ステップSt53Aの処理において、パスワード入力操作の受け付け処理がタイムアウトしたと判定した場合(St53A,YES)、生体情報取得装置P2または生体認証装置P3Aに触覚認証失敗を送信(通知)する(St55)。一方、触覚生成認証装置P1,P1Aは、ステップSt53Aの処理において、パスワード入力操作の受け付け処理がタイムアウトしていないと判定した場合(St53A,NO)、ステップSt57の処理に移行する。
 触覚生成認証装置P1,P1Aは、ステップSt53Aの処理において、現在の触覚提示回数をインクリメントした場合、現在の触覚提示回数がN回であるか否かを判定する(St54A)。なお、触覚提示回数Nは、1つの文字の認証における認証上限回数であって、例えば、3回、5回等の任意の回数が設定されてよい。
 触覚生成認証装置P1,P1Aは、ステップSt54Aの処理において、現在の触覚提示回数がN回であると判定した場合(St54A,YES)、触覚認証失敗である旨の通知を生成して、生体情報取得装置P2または生体認証装置P3Aに送信(通知)する(St55)。一方、触覚生成認証装置P1,P1Aは、ステップSt54Aの処理において、現在の触覚提示回数がN回でないと判定した場合(St54A,NO)、ステップSt57の処理に移行する。
 触覚生成認証装置P1,P1Aは、ステップSt60の処理において、パスワードを構成するすべての文字の触覚認証が完了(OK)したと判定した場合(St60,YES)、触覚認証成功を通知する制御指令を生成して、生体情報取得装置P2または生体認証装置P3Aに送信する。生体情報取得装置P2または生体認証装置P3Aは、触覚生成認証装置P1,P1Aから送信された制御指令に基づいて、触覚認証が完了した旨を通知する触覚認証完了画面(不図示)を生成して、モニタMN,MNAに出力して表示させる(St61)。
 なお、生体認証システム100,100Aは、ステップSt53Aの処理において、タイマーをセットする処理と、現在の触覚提示(付与)回数をインクリメントする処理とを並列して実行してもよい。
 これにより、実施の形態1および実施の形態1の変形例に係る生体認証システム100,100Aは、生体認証処理と触覚認証処理とを用いた2重認証により、他者によるユーザのなりすましを効果的に抑制可能なユーザ認証を実行できる。
 次に、図16を参照して、手検知処理、生体認証処理、および触覚認証処理のそれぞれの実行タイミングについて説明する。図16は、生体認証システム100,100Aの動作概要手順例2における第1動作手順例を示すタイミングチャートである。
 動作概要手順例2における第1動作手順は、図9に示す動作手順であって、生体認証処理と触覚認証処理とを略同時あるいは並列に実行する動作手順である。
 時間T41において、実施の形態1および実施の形態1の変形例に係る生体認証システム100,100Aは、手検知処理を開始する。生体認証システム100,100Aは、ユーザの手の挿入を検出した後、検出された手の静止を検知したタイミング(時間T42)で、ユーザの手の入れ替え検知処理と、触覚認証処理とを開始する。
 生体認証システム100,100Aは、ユーザの手の挿入を検出したタイミング(時間T42)で、発行されたパスワードに対応する触覚をユーザの手に付与(提示)し、パスワードを構成するすべての文字、あるいは1つの文字に対応する触覚を付与が終わったタイミング(時間T43)で、生体認証処理を開始する。なお、生体認証システム100,100Aは、触覚認証処理よりも早く生体認証処理を開始してもよい。
 生体認証システム100,100Aは、生体認証処理が完了したタイミング(時間T44)で、ユーザによるパスワードあるいはパスワードを構成する文字の入力操作の受け付けを開始し、触覚認証処理を実行する。
 なお、生体認証システム100,100Aは、時間T42から触覚認証処理が完了するまでの時間帯においてユーザの手の入れ替えを検知したと判定した場合、ユーザの手の入れ替えを検知したタイミングでユーザ認証処理(つまり、生体認証処理または触覚認証処理)を中断する。
 また、生体認証システム100,100Aは、触覚認証処理と生体認証処理とを略同時あるいは並行して実行できるため、ユーザ認証処理をより円滑に実行できる。
 図17を参照して、図16に示すタイミングチャートに対応する生体認証システム100,100Aの動作概要手順例2における第1動作手順について説明する。図17は、生体認証システム100,100Aの動作概要手順例2における第1動作手順例を示すフローチャートである。
 図17に示すフローチャートにおいて、生体情報取得装置P2または生体認証装置P3Aは、静止検知用カメラ33により撮像された静止検知用画像に基づいて、ユーザの生体情報を取得する部位の一例である手の挿入が検知されたか否かを判定する(St1)。なお、ステップSt1の処理は、触覚生成認証装置P1,P1Aにより実行されてもよい。
 生体情報取得装置P2または生体認証装置P3Aは、ステップSt1の処理において、ユーザの手の挿入が検知されたと判定した場合(St1,YES)、静止検知用カメラ33により撮像された静止検知用画像に基づいて、検知された手の静止を検知したか否かをさらに判定する(St2)。なお、ここでいう手の静止は、生体認証用画像を撮像可能に手が静止した状態を示す。
 一方、生体情報取得装置P2または生体認証装置P3Aは、ステップSt1の処理において、ユーザの手の挿入が検知されないと判定した場合(St1,NO)、ステップSt1の処理に戻る。
 生体情報取得装置P2または生体認証装置P3Aは、ステップSt2の処理において、検知された手の静止を検知したと判定した場合(St2,YES)、生体認証処理を実行する(St400)。また、触覚生成認証装置P1,P1Aは、触覚認証処理を実行する(St500)。なお、ステップSt400は、図15に示すステップSt21~ステップSt25のそれぞれの処理である。また、ステップSt500は、図15に示すステップSt51~ステップSt60のそれぞれの処理である。
 一方、生体情報取得装置P2または生体認証装置P3Aは、ステップSt2の処理において、検知された手の静止を検知しないと判定した場合(St2,NO)、ステップSt1の処理に戻る。ここで、生体情報取得装置P2または生体認証装置P3Aは、手の静止検知を開始したタイミングから所定時間(例えば、15秒、20秒等)の間、手の静止検知処理を繰り返し実行し、所定時間以内に手の静止を検知しないと判定した場合に、ステップSt1の処理に戻ってもよい。
 生体情報取得装置P2または生体認証装置P3Aは、ステップSt400の処理と、触覚生成認証装置P1,P1Aにより実行されるステップSt500の処理とが完了した場合、ユーザ認証が完了したと判定し、ユーザ認証完了(成功)を通知する認証完了画面(不図示)を生成して、モニタMN,MNAに出力して表示させる(St3)。
 これにより、実施の形態1および実施の形態1の変形例に係る生体認証システム100,100Aは、生体認証処理と触覚認証処理とを用いた2重認証により、他者によるユーザのなりすましを効果的に抑制可能なユーザ認証を実行できる。
 次に、図18~図20を参照して、生体情報取得用カメラ34により撮像される生体情報取得エリアと、超音波送信部16により触覚が付与(提示)される超音波付与エリアとの位置関係、および生体認証用画像の撮像に用いられる認証部位と、触覚認証処理にいて触覚が付与される部位との組み合わせ例について説明する。
 図18は、生体情報取得エリアと超音波付与エリアとの第1の位置関係を説明する図である。図19は、生体情報取得エリアと超音波付与エリアとの第2の位置関係を説明する図である。図20は、生体情報取得エリアと超音波付与エリアとの第3の位置関係を説明する図である。
 まず、生体情報取得エリアと、超音波付与エリアとが同一である場合の生体情報取得エリアと超音波付与エリアとの位置関係について説明する。
 生体情報取得エリアおよび超音波付与エリアのそれぞれは、複数の指先領域のそれぞれF11,F12,F13,F14,F15のそれぞれ、あるいは掌領域P11が設定される。また、生体認証用画像の撮像に用いられる認証部位は、掌あるいは指先である。
 生体認証システム100,100Aは、生体情報取得装置P2または生体認証装置P3Aにより、生体情報取得エリアを撮像した生体認証用画像から指紋等の生体情報を抽出して、生体認証を実行させるとともに、触覚生成認証装置P1,P1Aにより、指先に超音波を付与する。また、生体認証システム100,100Aは、生体情報取得装置P2または生体認証装置P3Aにより、生体情報取得エリアを撮像した生体認証用画像から掌紋、静脈等の生体情報を抽出して、生体認証を実行させるとともに、触覚生成認証装置P1,P1Aにより、掌に超音波を付与させる。
 次に、生体情報取得エリアと、超音波付与エリアとが部分的に同一である場合の生体情報取得エリアと超音波付与エリアとの位置関係について説明する。
 生体情報取得エリアは、複数の指先領域F11~F15のそれぞれ、あるいは掌領域P11が設定される。超音波付与エリアは、掌領域P11が設定される。また、生体認証用画像の撮像に用いられる認証部位は、掌あるいは指先である。
 生体認証システム100,100Aは、生体情報取得装置P2または生体認証装置P3Aにより、生体情報取得エリアを撮像した生体認証用画像から指紋、掌紋、静脈等の生体情報を抽出して、生体認証を実行させるとともに、触覚生成認証装置P1,P1Aにより、掌に超音波を付与させる。
 次に、生体情報取得エリアと、超音波付与エリアとが異なる場合の生体情報取得エリアと超音波付与エリアとの位置関係について説明する。
 生体情報取得エリアは、複数の指先領域F11~F15のそれぞれが設定される。超音波付与エリアは、掌領域P11が設定される。また、生体認証用画像の撮像に用いられる認証部位は、指先である。生体認証システム100,100Aは、生体情報取得装置P2または生体認証装置P3Aにより、生体情報取得エリアを撮像した生体認証用画像から指紋等の生体情報を抽出して、生体認証を実行させるとともに、触覚生成認証装置P1,P1Aにより、掌に超音波を付与させる。
 また、超音波付与エリアは、複数の指先領域F11~F15のそれぞれのうち少なくとも1つの指先領域F11,F14,F15が設定される。生体情報取得エリアは、超音波付与エリアとして設定された指先領域F11,F14,F15以外の他の指先領域F12,F13が設定される。また、生体認証用画像の撮像に用いられる認証部位は、指先である。生体認証システム100,100Aは、触覚生成認証装置P1,P1Aにより、設定された指先領域F12,F13に超音波を付与させるとともに、生体情報取得装置P2または生体認証装置P3Aにより、生体情報取得エリアを撮像した生体認証用画像から指紋等の生体情報を抽出して、生体認証を実行させる。
 以上により、実施の形態1および実施の形態1の変形例に係る認証装置は、ユーザ(被認証者の一例)の所定部位(例えば、顔、手等)から生体情報(例えば、虹彩、口唇紋、静脈、掌紋、指紋等)を取得する生体情報取得用カメラ34(取得部の一例)と、生体情報取得用カメラ34により取得された生体情報に基づいて、生体認証処理(第1の認証処理の一例)を実行する生体情報認証部411,411A(第1の認証部の一例)と、ユーザの所定部位に、音波を用いた触覚信号を発信する超音波送信部16(音波発信部の一例)と、ユーザ操作に基づく入力情報(例えば、パスワードあるいはパスワードを構成する1以上の文字)と、触覚信号に対応するパスワード(情報の一例)あるいはパスワードを構成する1以上の文字(情報の一例)とに基づいて、触覚認証処理(第2の認証処理の一例)を実行するプロセッサ11,11A(第2の認証部の一例)と、生体認証処理の生体認証結果と、触覚認証処理の触覚認証結果とに基づいて、ユーザを認証するプロセッサ31,41A(判定部の一例)と、を備える。なお、ここでいう認証装置は、触覚生成認証装置P1,P1Aと、生体情報取得装置P2,P2Aと、生体認証装置P3Aと、が1つのコンピュータとして一体的に構成された装置である。
 これにより、実施の形態1および実施の形態1の変形例に係る認証装置は、生体認証と触覚認証とを用いた2重認証により、他者によるユーザのなりすましを効果的に抑制可能なユーザ認証を実行できる。また、認証装置は、触覚認証において、所定部位に触覚を付与することで、パスワード、あるいはパスワードを構成する文字を提示するため、例えば、手袋、指サック、義指、義手等を用いた他者によるなりすましをより効果的に抑制できる。
 また、以上により、実施の形態1および実施の形態1の変形例におけるプロセッサ31,41Aは、第1の認証処理または第2の認証処理のうち少なくとも一方の認証結果が失敗であると判定した場合、被認証者を認証しないと判定する。これにより、実施の形態1および実施の形態1の変形例に係る認証装置は、偽装されたユーザの認証部位(例えば、義指、義手、義眼等)を用いた生体認証が成功した場合であっても、触覚認証に失敗した場合には、ユーザ認証失敗であると判定することで他者によるなりすましを効果的に抑制できる。また、同様に、認証装置は、触覚認証に成功した場合であっても、生体認証に失敗した場合には、ユーザ認証失敗であると判定できる。
 また、以上により、実施の形態1および実施の形態1の変形例において、触覚信号は、少なくとも1つの数字または文字を示す。これにより、実施の形態1および実施の形態1の変形例に係る認証装置は、パスワード(所謂ワンタイムパスワード)、あるいはこのパスワードを構成する文字をユーザに提示できる。
 また、以上により、実施の形態1および実施の形態1の変形例において、触覚信号は、所定部位の異なる複数の位置に、それぞれ異なるタイミングで発信される発信パターンを示す。これにより、実施の形態1および実施の形態1の変形例に係る認証装置は、より簡易であって、かつ、なりすましを効果的に抑制可能なパスワード(所謂ワンタイムパスワード)、あるいはこのパスワードをユーザに提示できる。例えば、認証装置は、ユーザの「中指」、「薬指」、「人差し指」の順に触覚信号を付与することで、触覚信号が付与された指の順番をパスワードとして提示できる。
 また、以上により、実施の形態1および実施の形態1の変形例における生体情報認証部411,411Aは、所定部位の生体認証エリアから生体情報を取得する。プロセッサ11,11Aは、生体認証エリアに触覚信号を発信する。これにより、ユーザは、生体認証処理と、触覚認証処理とを片手で行うことができる。したがって、ユーザは、一方の手に荷物等を持っている場合であっても、もう一方の手で生体認証処理と、触覚認証処理と行うことができる。
 また、以上により、実施の形態1および実施の形態1の変形例における生体情報認証部411,411Aは、所定部位の生体認証エリアから生体情報を取得する。プロセッサ11,11Aは、所定部位のうち生体認証エリアと異なるエリアに触覚信号を発信する。これにより、実施の形態1および実施の形態1の変形例に係る認証装置は、生体認証処理と、触覚認証処理とを略同時あるいは並列に実行することで、他者によるなりすましをより効果的に抑制できる。
 また、以上により、実施の形態1および実施の形態1の変形例における生体情報認証部411,411Aは、所定部位の生体認証エリアから生体情報を取得する。プロセッサ11,11Aは、所定部位のうち生体認証エリアと、生体認証エリアと異なるエリアとに触覚信号を発信する。これにより、実施の形態1および実施の形態1の変形例に係る認証装置は、偽装されたユーザの認証部位(例えば、義指、義手、義眼等)が用いられた場合であっても、生体認証処理および触覚認証処理のそれぞれを用いた2重認証により、他者によるなりすましをより効果的に抑制できる。
 また、以上により、実施の形態1および実施の形態1の変形例に係る認証装置は、生体情報認証部411,411Aによる生体情報の取得タイミングと、プロセッサ11,11Aによる触覚信号の発信タイミングとが異なる。これにより、実施の形態1および実施の形態1の変形例に係る認証装置は、触覚信号の付与によって所定部位が静止していないタイミング以外で生体情報を取得することで、生体認証精度の低下を抑制できる。
 また、以上により、実施の形態1および実施の形態1の変形例において、生体認証処理が実行される第1の認証期間は、第2の認証処理が実行される第2の認証期間と少なくとも一部が重複する(図12,図16参照)。これにより、実施の形態1および実施の形態1の変形例に係る認証装置は、生体認証処理と、触覚認証処理とを略同時あるいは並列に実行することで、他者によるなりすましをより効果的に抑制できる。
 また、以上により、実施の形態1および実施の形態1の変形例に係る認証装置は、所定部位を検出する手挿入検出部13、手状態検出部18、あるいは手検知部311,412(検出部の一例)、をさらに備える。手挿入検出部13、手状態検出部18、あるいは手検知部311,412は、生体認証処理および触覚認証処理の実行中に、所定部位が検出されないと判定した場合、生体認証処理および触覚認証処理を中断する。これにより、実施の形態1および実施の形態1の変形例に係る認証装置は、ユーザ認証中に、ユーザの所定部位(認証部位)の入れ替わりを検知した場合に、生体認証処理および触覚認証処理を中断することで他者によるなりすましを効果的に抑制できる。
 また、以上により、実施の形態1および実施の形態1の変形例における手挿入検出部13、手状態検出部18、あるいは手検知部311,412は、生体認証処理が実行される第1の認証期間の少なくとも一部と、触覚認証処理が実行される第2の認証期間の少なくとも一部とを含む所定期間にわたって継続して所定部位を検出する。これにより、実施の形態1および実施の形態1の変形例に係る認証装置は、ユーザ認証において偽装されたユーザの認証部位(例えば、義指、義手、義眼等)を用いた生体認証が成功した場合であっても、触覚認証に必要なパスワードの提示(つまり、触覚の付与)にあたってユーザの認証部位の入れ替わりを検知した場合には、触覚認証失敗であると判定することで他者によるなりすましを効果的に抑制できる。
 また、以上により、実施の形態1および実施の形態1の変形例に係る認証装置は、所定部位を撮像する手挿入検出部13、手状態検出部18、あるいは静止検知用カメラ33(撮像部の一例)と、手挿入検出部13、手状態検出部18、あるいは静止検知用カメラ33により撮像された撮像画像に基づいて、生体情報が取得される生体認証エリアと、触覚信号が発信される超音波付与エリア(信号発信エリアの一例)とを判定するプロセッサ11,11A,31,41A(画像処理部の一例)と、をさらに備える。生体情報取得用カメラ34は、生体認証エリアから生体情報を取得する。超音波送信部16は、超音波付与エリアに触覚信号を発信する。これにより、実施の形態1および実施の形態1の変形例に係る認証装置は、例えば、撮像画像に映る複数の指のうち生体情報を取得する指、あるいは触覚を付与する指の識別を実行したり、複数の指のそれぞれから生体認証エリアと超音波付与エリアとを検出したりできる。
 また、以上により、実施の形態1および実施の形態1の変形例に係る認証装置は、所定部位の静止を検知する静止検知部312、をさらに備える。生体情報取得用カメラ34は、静止検知部312により所定部位の静止が検知されたタイミングで生体情報の取得を開始する。これにより、実施の形態1および実施の形態1の変形例に係る認証装置は、生体認証により適した生体情報を取得できるため、生体認証精度の低下をより効果的に抑制できる。
 また、以上により、実施の形態1および実施の形態1の変形例に係る認証装置は、所定部位の静止を検知する静止検知部312、をさらに備える。超音波送信部16は、静止検知部312により所定部位の静止が検知されたタイミングで触覚信号の発信を開始する。これにより、実施の形態1および実施の形態1の変形例に係る認証装置は、触覚信号を付与する部位、位置のずれをより効果的に抑制し、触覚認証に用いられるユーザへのパスワードあるいはパスワードを構成する文字を提示できる。
 以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
 なお、本出願は、2022年2月2日出願の日本特許出願(特願2022-015009)に基づくものであり、その内容は本出願の中に参照として援用される。
 本開示は、生体情報を用いた個人認証において、他者によるなりすまし認証をより効果的に抑制する認証装置および認証方法の提示として有用である。
11,11A,21,31,41,41A プロセッサ
13 手挿入検出部
14 PW入力検出部
15 信号レベル変換部
16 超音波送信部
17 PW入力部
18 手状態検出部
20 通信部
22 メモリ
23 PW入力部
33 静止検知用カメラ
34 生体情報取得用カメラ
100,100A 生体認証システム
112 PW発行部
115 PW比較判定部
117 座標-距離変換部
311,412 手検知部
411,411A 生体情報認証部
DB 生体情報データベース
MN,MNA モニタ
P1,P1A 触覚生成認証装置
P2,P2A 生体情報取得装置
P3,P3A 生体認証装置
UI 入力装置

Claims (15)

  1.  被認証者の所定部位から生体情報を取得する取得部と、
     前記取得部により取得された前記生体情報に基づいて、第1の認証処理を実行する第1の認証部と、
     前記被認証者の前記所定部位に、音波を用いた触覚信号を発信する音波発信部と、
     前記被認証者の操作に基づく入力情報と、前記触覚信号に対応する情報とに基づいて、第2の認証処理を実行する第2の認証部と、
     前記第1の認証処理の認証結果と、前記第2の認証処理の認証結果とに基づいて、前記被認証者を認証する判定部と、を備える、
     認証装置。
  2.  前記判定部は、前記第1の認証処理および前記第2の認証処理のうち少なくとも一方の認証結果が失敗であると判定した場合、前記被認証者を認証しないと判定する、
     請求項1に記載の認証装置。
  3.  前記触覚信号は、少なくとも1つの数字または文字を示す、
     請求項1に記載の認証装置。
  4.  前記触覚信号は、前記所定部位の異なる複数の位置に、それぞれ異なるタイミングで発信される発信パターンを示す、
     請求項1に記載の認証装置。
  5.  前記第1の認証部は、前記所定部位の生体認証エリアから前記生体情報を取得し、
     前記第2の認証部は、前記生体認証エリアに前記触覚信号を発信する、
     請求項1に記載の認証装置。
  6.  前記第1の認証部は、前記所定部位の生体認証エリアから前記生体情報を取得し、
     前記第2の認証部は、前記所定部位のうち前記生体認証エリアと異なるエリアに前記触覚信号を発信する、
     請求項1に記載の認証装置。
  7.  前記第1の認証部は、前記所定部位の生体認証エリアから前記生体情報を取得し、
     前記第2の認証部は、前記所定部位のうち前記生体認証エリアと、前記生体認証エリアと異なるエリアとに前記触覚信号を発信する、
     請求項1に記載の認証装置。
  8.  前記第1の認証部による前記生体情報の取得タイミングと、前記第2の認証部による前記触覚信号の発信タイミングとが異なる、
     請求項7に記載の認証装置。
  9.  前記第1の認証処理が実行される第1の認証期間は、前記第2の認証処理が実行される第2の認証期間と少なくとも一部が重複する、
     請求項1に記載の認証装置。
  10.  前記所定部位を検出する検出部、をさらに備え、
     前記検出部は、前記第1の認証処理および前記第2の認証処理の実行中に、前記所定部位が検出されないと判定した場合、前記第1の認証処理および前記第2の認証処理を中断する、
     請求項1に記載の認証装置。
  11.  前記検出部は、前記第1の認証処理が実行される第1の認証期間の少なくとも一部と、前記第2の認証処理が実行される第2の認証期間の少なくとも一部とを含む所定期間にわたって継続して前記所定部位を検出する、
     請求項10に記載の認証装置。
  12.  前記所定部位を撮像する撮像部と、
     前記撮像部により撮像された撮像画像に基づいて、前記生体情報が取得される生体認証エリアと、前記触覚信号が発信される信号発信エリアとを判定する画像処理部と、をさらに備え、
     前記取得部は、前記生体認証エリアから前記生体情報を取得し、
     前記音波発信部は、前記信号発信エリアに前記触覚信号を発信する、
     請求項1に記載の認証装置。
  13.  前記所定部位の静止を検知する静止検知部、をさらに備え、
     前記取得部は、前記静止検知部により前記所定部位の静止が検知されたタイミングで前記生体情報の取得を開始する、
     請求項1に記載の認証装置。
  14.  前記所定部位の静止を検知する静止検知部、をさらに備え、
     前記音波発信部は、前記静止検知部により前記所定部位の静止が検知されたタイミングで前記触覚信号の発信を開始する、
     請求項1に記載の認証装置。
  15.  1以上のコンピュータが行う認証方法であって、
     被認証者の所定部位から生体情報を取得し、
     取得された前記生体情報に基づいて、第1の認証処理を実行し、
     前記被認証者の前記所定部位に、音波を用いた触覚信号を発信し、
     前記被認証者の操作に基づく入力情報と、前記触覚信号に対応する情報とに基づいて、第2の認証処理を実行し、
     前記第1の認証処理の認証結果と、前記第2の認証処理の認証結果とに基づいて、前記被認証者を認証する、
     認証方法。
PCT/JP2022/048685 2022-02-02 2022-12-28 認証装置および認証方法 WO2023149150A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022015009 2022-02-02
JP2022-015009 2022-02-02

Publications (1)

Publication Number Publication Date
WO2023149150A1 true WO2023149150A1 (ja) 2023-08-10

Family

ID=87552236

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/048685 WO2023149150A1 (ja) 2022-02-02 2022-12-28 認証装置および認証方法

Country Status (1)

Country Link
WO (1) WO2023149150A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169516A (ja) * 2008-01-11 2009-07-30 Denso Corp 認証装置及び認証方法
JP2019008482A (ja) * 2017-06-22 2019-01-17 京セラドキュメントソリューションズ株式会社 点字触覚提示装置及び画像形成装置
JP2019066918A (ja) * 2017-09-28 2019-04-25 株式会社日本総合研究所 認証システム、物品及びプログラム
JP2020529073A (ja) * 2017-07-26 2020-10-01 プリンストン・アイデンティティー・インコーポレーテッド 生体セキュリティシステムおよび方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169516A (ja) * 2008-01-11 2009-07-30 Denso Corp 認証装置及び認証方法
JP2019008482A (ja) * 2017-06-22 2019-01-17 京セラドキュメントソリューションズ株式会社 点字触覚提示装置及び画像形成装置
JP2020529073A (ja) * 2017-07-26 2020-10-01 プリンストン・アイデンティティー・インコーポレーテッド 生体セキュリティシステムおよび方法
JP2019066918A (ja) * 2017-09-28 2019-04-25 株式会社日本総合研究所 認証システム、物品及びプログラム

Similar Documents

Publication Publication Date Title
JP7294477B2 (ja) 認証装置、認証方法およびコンピュータプログラム
US10678897B2 (en) Identification, authentication, and/or guiding of a user using gaze information
US10331868B2 (en) User authentication method and system using variable keypad and biometric identification
TWI578181B (zh) 電子裝置、身份驗證系統及方法
US11308340B2 (en) Verification method and system
KR102302844B1 (ko) 정맥 패턴을 이용한 사용자 인증 방법 및 장치
US20220014526A1 (en) Multi-layer biometric authentication
CN110114777B (zh) 使用注视信息进行的用户的识别、认证和/或导引
Ayeswarya et al. A survey on different continuous authentication systems
JP2005100063A (ja) 認証装置および認証方法
US11651624B2 (en) Iris authentication device, iris authentication method, and recording medium
KR101722028B1 (ko) 가변 키패드를 이용한 본인 인증 방법 및 시스템
US10984087B2 (en) Dynamic grip signature for personal authentication
AU2016327303B2 (en) Method and system for authenticating identity using variable keypad
WO2023149150A1 (ja) 認証装置および認証方法
JP6996922B2 (ja) 認証システム、物品及びプログラム
Yao et al. PresSafe: Barometer-based on-screen pressure-assisted implicit authentication for smartphones
JP2008186079A (ja) 情報端末及びその入力方法
JP2010044588A (ja) 認証装置、認証システム、認証方法、そのプログラムおよび記録媒体
US11922731B1 (en) Liveness detection
US20230283603A1 (en) Dynamic biometric combination authentication
JP7016824B2 (ja) 認証システムおよび認証方法
GB2570620A (en) Verification method and system
KR20230080980A (ko) 홀로그램을 이용한 생체인증방법 및 그 장치
TW201738791A (zh) 一種資訊處理系統及方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22925052

Country of ref document: EP

Kind code of ref document: A1