WO2020045204A1 - 生体認証装置、生体認証方法および記録媒体 - Google Patents

生体認証装置、生体認証方法および記録媒体 Download PDF

Info

Publication number
WO2020045204A1
WO2020045204A1 PCT/JP2019/032729 JP2019032729W WO2020045204A1 WO 2020045204 A1 WO2020045204 A1 WO 2020045204A1 JP 2019032729 W JP2019032729 W JP 2019032729W WO 2020045204 A1 WO2020045204 A1 WO 2020045204A1
Authority
WO
WIPO (PCT)
Prior art keywords
authentication
voice
ear
unit
user
Prior art date
Application number
PCT/JP2019/032729
Other languages
English (en)
French (fr)
Inventor
岡部　浩司
隆行 荒川
孝文 越仲
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/270,303 priority Critical patent/US20210201918A1/en
Priority to EP19855693.8A priority patent/EP3846052A4/en
Priority to JP2020539380A priority patent/JP7120313B2/ja
Publication of WO2020045204A1 publication Critical patent/WO2020045204A1/ja
Priority to US18/483,881 priority patent/US20240038241A1/en
Priority to US18/483,896 priority patent/US20240038242A1/en
Priority to US18/483,843 priority patent/US20240038240A1/en
Priority to US18/483,905 priority patent/US20240038243A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A61B5/6815—Ear
    • A61B5/6817—Ear canal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/08—Use of distortion metrics or a particular distance between probe pattern and reference templates

Definitions

  • the present invention relates to a biometric authentication device for authenticating a user.
  • voice authentication authentication is performed using the voice of the user.
  • a user performs an operation through a voice conversation with an AI (Artificial @ intelligence) agent mounted on the device.
  • Voice authentication is used for purposes such as logging in to a service provided by the device or providing the device with a more appropriate response to each user (personalization) (see Patent Document 1).
  • ear authentication authentication is performed using the echo characteristics inside the user's ear canal.
  • a hearable device such as a headphone, an earphone, or the like authenticates a user by mounting a microphone and extracting a reverberation characteristic of a sound in an ear canal. It is also possible to perform the above-mentioned voice authentication at the same time using the microphone of the hearable device (see Patent Document 2).
  • voice authentication and ear authentication are performed independently, accurate authentication may not be performed. For example, the accuracy of voice authentication is reduced when the background noise is large, and the accuracy of ear authentication is reduced when the earphone is not sufficiently close to the ear canal. If the authentication fails, the user cannot immediately use an accessible device (or function) on the premise of successful authentication. This can have fatal consequences for users who need to use the device immediately (eg, emergency medical personnel). Further, when voice authentication and ear authentication are simply combined, the accuracy increases, but the time required for authentication is the sum of those authentication times, and the user has to wait longer.
  • the present disclosure has been made in view of the above problems, and has as its object to provide a biometric authentication device or the like that can perform highly accurate authentication quickly by combining voice authentication and ear authentication.
  • a biometric authentication device includes: Reproduction means for reproducing sound; Acquiring the reverberation sound inside the ear canal of the user to be authenticated of the sound output from the reproduction means, extracting the otoacoustic feature amount from the reverberation sound, and storing the extracted otoacoustic feature amount and the otoacoustic stored in advance.
  • Ear authentication means for calculating an ear authentication score by comparing the feature amount;
  • a voice authentication unit that extracts a speaker characteristic amount from the input user's voice and calculates a voice authentication score by comparing the extracted speaker characteristic amount with a previously stored speaker characteristic amount;
  • An authentication integration unit that outputs an authentication integration result calculated based on the ear authentication score and the voice authentication score, wherein after the reproduction unit outputs the sound to the inside of the ear canal, the input of the voice of the user is performed. Done.
  • a biometric authentication method includes: Acquiring the reverberation sound inside the ear canal of the user to be authenticated of the sound output from the reproducing means, extracting the otoacoustic feature amount from the reverberation sound, and storing the extracted otoacoustic feature amount and the otoacoustic feature stored in advance. Calculate the ear authentication score by comparing with the amount, A speaker feature is extracted from the input user's voice, and a voice authentication score is calculated by comparing the extracted speaker feature with a speaker feature stored in advance. Comprising outputting an authentication integration result calculated based on the ear authentication score and the voice authentication score, After the sound is output to the inside of the ear canal by the reproducing means, the user's voice is input.
  • a biometric authentication program includes: Acquiring the reverberation sound inside the ear canal of the user to be authenticated of the sound output from the reproducing means, extracting the otoacoustic feature amount from the reverberation sound, and storing the extracted otoacoustic feature amount and the otoacoustic feature stored in advance. Calculate the ear authentication score by comparing with the amount, A speaker feature is extracted from the input user's voice, and a voice authentication score is calculated by comparing the extracted speaker feature with a speaker feature stored in advance. Comprising outputting an authentication integration result calculated based on the ear authentication score and the voice authentication score, After the output of the sound to the inside of the ear canal by the reproducing means, the input of the user's voice is performed by the computer.
  • the program may be stored in a non-transitory computer-readable storage medium.
  • biometric authentication device or the like that can perform highly accurate authentication quickly by combining voice authentication and ear authentication.
  • FIG. 1 is a configuration diagram of a biometric authentication device according to a first embodiment of the present disclosure. It is a block diagram of an earphone. 5 is a sequence chart illustrating an operation of the biometric authentication device according to the first embodiment of the present disclosure.
  • FIG. 6 is a configuration diagram of a biometric authentication device according to a second embodiment of the present disclosure. 9 is a sequence chart illustrating an operation of the biometric authentication device according to the second embodiment of the present disclosure.
  • FIG. 11 is a configuration diagram of a biometric authentication device according to a third embodiment of the present disclosure.
  • FIG. 3 is a configuration diagram of an information processing device that can be used in the first to third embodiments.
  • the biometric authentication device 100 includes an electronic circuit in which a voice authentication process, an ear authentication process, and a process for integrating both processing results are incorporated.
  • the program may be implemented by installing a program for executing these processes in a communication device (such as a smartphone) owned by the user.
  • the biometric authentication device 100 is connected to an earphone 1 including a speaker 2 and a microphone 3 via a wired cable or wireless communication.
  • the speaker 2 is connected to the reproducing unit 111 of the biometric authentication device 100.
  • the microphone 3 is connected to the recording unit 112 of the biometric authentication device 100.
  • biometric authentication device 100 may be mounted on an earphone 1 including a speaker 2 and a microphone 3 as shown in FIG.
  • the speaker 2 outputs sound to the user.
  • the microphone 3 inputs a reverberation sound from the user's ear hole side with the user wearing the earphone 1 in ear authentication.
  • voice authentication the microphone 3 inputs a user's utterance in a state where the user wears the earphone 1. If it is difficult to pick up the user's voice by voice authentication, the user may move the earphone 1 to the mouth or the like.
  • the microphones 3 may be separately prepared for voice authentication and ear authentication. For example, using an earphone on the headset side, a microphone for ear authentication may be mounted inside the earphone 1, and a microphone for voice authentication may be a microphone alone such as an earphone microphone fixed to the mouth of the user.
  • a communication device (not shown) owned by the user may be equipped with an AI dialogue program.
  • the AI dialogue program can operate in cooperation with various applications, and can acquire various information and execute application functions through a dialogue using voice.
  • the voice on the AI side is transmitted to the user through the speaker 2 built in the earphone 1, and the voice on the user side is transmitted to the AI dialogue program through the microphone 3 built in the earphone 1.
  • the above information acquisition and function execution include information and functions to which only authorized users are permitted to access. For example, it is a function that requires strong security to protect personal information, such as connection to a mail account and connection to a bank account.
  • the AI interactive program activates the biometric authentication device 100 for access management.
  • the biometric authentication device 100 includes a dialogue control unit 101, a reproduction unit 111, a recording unit 112, an ear authentication unit 121, a voice authentication unit 131, and an authentication integration unit 141, as shown in FIG.
  • the dialogue control unit 101 performs control so that the recording unit 112 inputs (records) the user's voice after the reproduction unit 111 outputs the sound to the inside of the user's ear canal.
  • the dialog control unit 101 includes an ear authentication notifying unit 102, a voice authentication notifying unit 103, an ear authentication command unit 104, a voice authentication command unit 105, and an authentication result storage unit 106.
  • the ear authentication notifying unit 102 notifies the user that ear authentication (or both ear authentication and voice authentication) starts. Specifically, the ear-authentication notifying unit 102 causes the reproducing unit 111 to reproduce a sound (recording may be performed) notifying the user of the start of authentication.
  • the voice authentication notifying unit 103 notifies the user that voice authentication has started. Specifically, the voice authentication notifying unit 103 causes the reproducing unit 111 to reproduce a voice (recording may be performed) for notifying the user of the start of authentication.
  • the ear authentication command unit 104 instructs the ear authentication unit 121 to start ear authentication.
  • the voice authentication instruction unit 105 instructs the voice authentication unit 131 to start voice authentication.
  • the voice authentication command unit 105 or the voice authentication unit 131 may generate a one-time password that can be used only for a predetermined time.
  • the generated one-time password is transmitted to the user by voice via the earphone 1, or transmitted to the user by being displayed on a display of a communication device (not shown) of the user.
  • the authentication result storage unit 106 stores the matching scores notified from the ear authentication unit 121 and the voice authentication unit 131.
  • the reproduction unit 111 reproduces (outputs) the recorded sound.
  • the reproduction unit 111 may include a storage unit for storing a sound to be reproduced.
  • the recording unit 112 records the input sound.
  • the recording unit 112 may include a storage unit for storing the recorded sound.
  • the ear authentication unit 121 includes a signal generation unit 122, an acoustic characteristic extraction unit 123, an ear verification unit 124, and a feature storage unit 125.
  • the signal generation unit 122 generates a sound (probe signal or the like) output from the reproduction unit 111. This sound is output to obtain a reverberation sound inside the ear canal of the user to be authenticated.
  • the acoustic characteristic extraction unit 123 acquires the reverberation sound inside the user's ear canal to be authenticated via the recording unit 112, and extracts the acoustic characteristic corresponding to the user's ear canal shape from the reverberation sound.
  • the ear matching unit 124 checks whether the acoustic characteristics of the user to be authenticated stored in the feature amount storage unit 125 in advance match the extracted acoustic characteristics. The result of the collation is output as a collation score (ear recognition score).
  • the feature storage unit 125 stores the acoustic characteristics of the user to be authenticated, which are acquired in advance.
  • the voice authentication unit 131 includes a speaker characteristic amount extraction unit 132, a voice collation unit 133, and a characteristic amount storage unit 134.
  • the speaker feature extracting unit 132 extracts the speaker feature from the user's voice recorded via the recording unit 112.
  • the voice matching unit 133 checks whether or not the speaker feature amount of the user to be authenticated stored in the feature amount storage unit 134 in advance matches the extracted speaker feature amount. The result of the matching is output as a matching score (voice authentication score).
  • the feature storage unit 134 stores the speaker feature of the user to be authenticated, which is acquired in advance.
  • the authentication integration unit 141 calculates and outputs an authentication integration result based on the ear authentication score and the voice authentication score.
  • the output authentication integration result is passed to a program for managing access to a secure device or function, for example, the above-mentioned AI interactive program. If the authentication integration result is equal to or greater than the predetermined value, the AI interactive program permits access to the function desired by the user, and terminates the biometric authentication device 100.
  • step S ⁇ b> 1 when the dialogue control unit 101 receives a request from a user or the like that biometric authentication is required, the ear authentication notifying unit 102 of the dialogue control unit 101 sends the ear authentication and voice authentication to the playback unit 111. Command to play a sound to notify the user of the start of.
  • the reproduction unit 111 reproduces a voice for notifying the user of the start of the ear authentication and the voice authentication (for example, “from now on, the ear authentication and the subsequent voice authentication will be performed”) in accordance with the instruction. Note that this may be performed not only on the sound but also on the screen. For example, when the user has a communication device (not shown) including a display unit, “authentication performed” may be displayed on the display unit.
  • step S2 the ear authentication command unit 104 instructs the ear authentication unit 121 to start ear authentication.
  • the signal generation unit 122 of the ear authentication unit 121 that has received this command generates a probe signal and sends it to the reproduction unit 111.
  • the reproducing unit 111 transmits the probe signal to the speaker 2, and the speaker 2 reproduces the probe signal.
  • the probe signal may be an audible sound such as a beep or a melody, or may be white noise.
  • Non-audible sound such as ultrasonic waves may be used.
  • step S4 the recording unit 112 records, via the microphone 3, the reverberation sound of the reproduced probe signal in the user's ear canal, and sends the recorded data to the ear authentication unit 121.
  • the ear verification unit 124 of the ear authentication unit 121 performs an ear authentication process using the recorded data.
  • the ear matching unit 124 estimates a transfer function in the ear canal using the probe signal and the reverberation sound. Further, the ear matching unit 124 may compress the transfer function into a low-dimensional feature amount by principal component analysis or the like, or convert the transfer function into a feature amount such as MFCC (Mel-Frequency Cepstral Coefficients).
  • the output thus obtained is used as the ear acoustic feature.
  • the ear collation unit 124 compares the ear acoustic feature with another ear acoustic feature of the user extracted in the same procedure at the time of user registration in advance, and calculates an ear acoustic score. Euclidean distance, cosine distance, and the like can be considered as distance scales used for score calculation.
  • step S5 the ear matching unit 124 sends a matching score and the like to the dialog control unit 101 as a result of the ear authentication process.
  • the interaction control unit 101 temporarily stores the received ear authentication collation score in the authentication result storage unit 106.
  • step S6 the voice authentication notifying unit 103 of the dialog control unit 101 instructs the reproducing unit 111 to reproduce a voice for notifying the user of the start and the instruction of the voice authentication.
  • the user since the user already knows that the authentication process is being executed in step S1, the user does not directly notify the start of the voice authentication such as "perform voice authentication", For example, it is only necessary to give a specific instruction such as "Please say your password”.
  • the reproduction unit 111 reproduces a voice for notifying the user of the start of the voice authentication according to the instruction.
  • a password that is usually known only to the user may be used.
  • the words used for voice authentication may be announced by voice (for example, "Please say today's date”).
  • a password may be displayed on the display unit (not shown) of the user's communication device to notify the user (for example, “Please say password“ ABC ”) is displayed).
  • the voice authentication command unit 105 generates a one-time password every time a predetermined time elapses, broadcasts the generated password to the playback unit 111, and conveys the sound to the user via the earphone 1, or transmits the password to the user's communication device. It may be displayed on a display unit (not shown). This can increase the security of the password.
  • step S7 the voice authentication instruction unit 105 of the dialogue control unit 101 instructs the voice authentication unit 131 to start voice authentication.
  • the voice authentication unit 131 instructs the recording unit 112 to start recording the utterance (password) of the user.
  • step S ⁇ b> 8 the recording unit 112 records the voice of the user who has started uttering after hearing the voice authentication start notification via the microphone 3, and sends the recorded data to the voice authentication unit 131.
  • the voice authentication unit 131 performs a voice authentication process using the received recording data.
  • the voice authentication unit 131 extracts a speaker feature such as an i-vector from the recorded uttered voice of the user.
  • the speaker feature amount may be extracted using a neural network capable of identifying the speaker.
  • a comparison is made with another speaker feature amount of the user himself / herself extracted in a similar procedure, and a collation score is calculated.
  • a cosine distance, PLDA (Probabilistic Linear Discriminant Analysis), or the like is used.
  • preprocessing such as average normalization, whitening, and norm normalization may be performed.
  • the voice authentication unit 131 sends a voice authentication result such as a matching score to the dialog control unit 101.
  • step S10 when the dialogue control unit 101 receives two types of authentication results (verification scores) of ear authentication and voice authentication, the dialogue control unit 101 sends these authentication results to the authentication integration unit 141.
  • the authentication integration unit 141 integrates both authentication results, and ultimately determines whether the target user is the principal or another person.
  • any score integration method such as a score average and a weighted average may be used.
  • the authentication integration unit 141 determines whether the calculated authentication integration score exceeds a preset threshold. If the calculated authentication integration score exceeds the threshold, the authentication integration unit 141 determines that the authentication has succeeded. Further, when the user or another component notifies the user that there is an abnormality or a defect in either the ear authentication or the voice authentication, the dialog control unit 101 notifies the authentication integration unit 141 of the verification score that the authentication has been completed normally. May be instructed to be weighted. The determination result is transmitted to the interaction control unit 101 as an authentication integration result.
  • the dialog control unit 101 If the authentication integration result indicates that the authentication is successful, the dialog control unit 101 notifies the AI dialog program or the like that manages the access that the user is permitted to obtain the requested information or execute the function. If the authentication integration result indicates that the authentication has failed, the fact is notified to the AI dialogue program or the like. At this time, the dialog control unit 101 may notify the user of the authentication integration result via the earphone 1 or the like.
  • the process (program) operating in the communication device owned by the user has been described, but this is not limited to the process in the portable communication device.
  • an authentication processing program may be installed in the server, and the user's communication device may receive only the authentication integration result from the server via the network.
  • a device or a component that can execute the program may be mounted on the earphone 1 itself.
  • the biometric authentication device 100 can perform authentication with higher accuracy by combining voice authentication and ear authentication. This is because the authentication integration unit 141 calculates and outputs an authentication integration result based on the ear authentication score output by the ear authentication unit 121 and the voice authentication score output by the voice authentication unit 131. When the voice authentication and the ear authentication are performed independently, the accuracy of the authentication deteriorates due to various circumstances. However, the biometric authentication device 100 performs voice authentication and ear authentication using the biometric information of the user obtained via the earphone 1 and uses the authentication integration result to authenticate the user without reducing accuracy. It can be carried out. In addition, the biometric authentication device 100 can obtain higher authentication accuracy by integrating the verification results of the voice authentication and the ear authentication as compared with the case where one of the authentications is performed.
  • the voice authentication process is executed after the ear authentication process, that is, at least after the sound is output to the inside of the ear canal by the reproduction unit 111, the input of the user's voice by the recording unit 112 is performed. Done.
  • the authentication process can be completed earlier as a whole as compared with a device in which the normal ear authentication process and the voice authentication process are simply combined, and the waiting time of the user can be shortened.
  • the voice is notified to the user twice: at the start of ear authentication and at the start of voice authentication.
  • a method for further reducing the overall time required for authentication by reducing the number of notifications to the user will be described.
  • the biometric authentication device 200 includes a dialogue control unit 201, a reproduction unit 111, a recording unit 112, an ear authentication unit 121, a voice authentication unit 131, and an authentication integration unit 141.
  • the dialogue control unit 201 includes a simultaneous notification unit 202, a voice authentication notification unit 103, an ear authentication command unit 104, and a voice authentication command unit 105.
  • the simultaneous notification unit 202 instructs the reproduction unit 111 to reproduce an instruction for causing the user to continuously perform the ear authentication and the voice authentication as voice.
  • step T ⁇ b> 1 when the dialogue control unit 201 receives a request from a user or the like that biometric authentication is required, the simultaneous notification unit 202 of the dialogue control unit 201 instructs the playback unit 111 to display “Peak. Later, please tell me the password. ", And instruct the user to play back an instruction to continuously perform ear authentication and voice authentication as voice. This is to start voice authentication immediately and immediately after the generation of the ear authentication probe sound.
  • the probe signal may be an inaudible ultrasonic wave or the like, but in the present embodiment, an audible sound is used.
  • the reproduction unit 111 reproduces a voice for notifying the user of the start of the ear authentication and the voice authentication via the speaker 2 according to the instruction.
  • step T2 the ear authentication command unit 104 of the dialogue control unit 201 instructs the ear authentication unit 121 to start ear authentication.
  • step T3 the signal generation unit 122 of the ear authentication unit 121 generates a probe signal and sends it to the reproduction unit 111.
  • the reproduction unit 111 reproduces the probe signal and outputs the signal to the speaker 2 of the earphone 1.
  • step T4 the recording unit 112 records, via the microphone 3, the reverberation sound of the probe signal reproduced in the user's ear canal, and sends the recorded data to the ear collation unit 124.
  • step T5 the ear matching unit 124 performs ear authentication using the recorded data, and sends ear authentication results such as a matching score to the dialog control unit 201.
  • step T6 when the ear authentication is completed, the dialog control unit 201
  • the voice authentication instruction unit 105 instructs the voice authentication unit 131 to start voice authentication.
  • step T7 the voice authentication unit 131 instructs the recording unit 112 to start recording the voice of the user.
  • the recording unit 112 records the utterance of the user who has started uttering according to the instruction, and sends the recorded data to the voice authentication unit 131.
  • step T8 the voice authentication unit 131 performs voice authentication using the recorded data, and sends a voice authentication result such as a verification score to the dialog control unit 201.
  • step T9 when the dialogue control unit 201 receives the authentication result (collation score) of the voice authentication, it sends the authentication results of the ear authentication and the voice authentication to the authentication integration unit 141.
  • step T10 the authentication integration unit 141 integrates the authentication results of the ear authentication and the voice authentication, and finally outputs the authentication integration result of determining whether the user is an individual or another person to the interaction control unit 201.
  • the overall time required for authentication can be reduced. This is to notify the user so that the simultaneous notification unit 202 of the dialogue control unit 201 can perform the ear authentication and the voice authentication continuously, in other words, there is no need to notify the start of the voice authentication after the completion of the ear authentication. To do that. For this reason, the ear authentication and the voice authentication can be performed continuously by an instruction to one user, and the time required to obtain the authentication integration result can be reduced.
  • the voice recording for voice authentication (steps T6 and T7) is performed after the ear authentication collation score calculation (step T5).
  • the ear authentication collation score calculation and voice authentication are performed. May be performed in parallel.
  • the ear matching unit 124 sends a reverberation recording completion notification to the dialogue control unit 201 before performing ear authentication.
  • Step T6 may be disclosed using the completion notification as a trigger.
  • the ear authentication and the voice authentication can be performed continuously by an instruction to one user, and the time required to obtain the authentication integration result can be further reduced as compared with the second embodiment. it can.
  • step T1 shown in FIG. Reproducing the instruction for continuously performing as a voice
  • steps T2 to T10 are performed in the order of execution.
  • the notification to the user may be displayed on a display unit (not shown) of the communication device used by the user, may be manually input at the start of the biometric authentication device 200, or may be notified by a paper medium.
  • the time required for obtaining the authentication integration result can be further reduced by omitting step T1.
  • step T6 the voice authentication instruction unit 105 of the dialogue control unit 201 instructs the voice authentication unit 131 to start voice authentication
  • the voice authentication instruction unit 105 may instruct the voice authentication unit 131 to start voice authentication after waiting for the duration of the probe signal. This is because the probe signal has a fixed duration, the standby time is also a fixed time, and the timing of the voice authentication start can be measured. At this time, the calculation of the ear authentication collation score and the voice recording for voice authentication may be performed in parallel without waiting for the ear authentication collation score calculation result.
  • the time required to obtain the authentication integration result can be further reduced by the omission of step T6.
  • the biometric authentication device 300 includes a reproducing unit 11 for reproducing the sound, a recording unit 12 for recording the sound, and a reverberation sound of the sound output from the reproducing unit inside the ear hole of the user to be authenticated to the recording unit.
  • the ear authentication unit 13 that calculates the ear authentication score by comparing the extracted ear acoustic feature with the pre-stored ear acoustic feature to extract the ear acoustic feature from the reverberation,
  • a voice authentication unit 14 that extracts a speaker characteristic amount from a user's voice recorded through the voice recognition unit, and compares the extracted speaker characteristic amount with a previously stored speaker characteristic amount to calculate a voice authentication score; and
  • An authentication integration unit 15 that outputs an authentication integration result calculated based on the ear authentication score and the voice authentication score is provided. After the reproduction unit 11 outputs sound to the inside of the ear canal, the recording unit 12 inputs a user's voice. Will be
  • the authentication integration unit 15 calculates and outputs the authentication integration result based on the ear authentication score and the voice authentication score.
  • the voice authentication process is executed after the ear authentication process, that is, at least after the reproduction unit 11 outputs the sound to the inside of the ear canal, the recording unit 12 inputs the user's voice.
  • the authentication processing can be completed as a whole faster than a device in which the normal ear authentication processing and the voice authentication processing are simply combined.
  • the information processing device 500 includes, for example, the following configuration.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • a storage device 505 for storing the program 504 and other data
  • a drive device 507 for reading and writing the recording medium 506
  • a communication interface 508 connected to the communication network 509
  • An input / output interface 510 for inputting / outputting data
  • a bus 511 for connecting each component
  • the program 504 for realizing the function of each component of the biometric authentication device is stored in advance in, for example, the storage device 505 or the RAM 503, and is read by the CPU 501 as necessary.
  • the program 504 may be supplied to the CPU 501 via the communication network 509, or may be stored in the recording medium 506 in advance, and the drive device 507 may read the program and supply the program to the CPU 501.
  • the biometric authentication device may be realized by an arbitrary combination of a separate information processing device and a program for each component.
  • a plurality of components included in the biometric authentication device may be realized by an arbitrary combination of one information processing device 500 and a program.
  • Part or all of the components of the biometric authentication device are realized by other general-purpose or dedicated circuits, processors, and the like, and combinations thereof. These may be configured by a single chip, or may be configured by a plurality of chips connected via a bus.
  • Part or all of the components of the biometric authentication device may be implemented by a combination of the above-described circuit and the like and a program.
  • the plurality of information processing devices or circuits may be centrally arranged or distributed. You may.
  • the information processing device, the circuit, and the like may be realized as a form in which each is connected via a communication network, such as a client and server system or a cloud computing system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Abstract

声認証および耳認証を組み合わせて、精度の高い認証を早く行える生体認証装置等を提供する。生体認証装置３００は、音を再生するための再生部１１、再生部１１から出力される音の、認証対象であるユーザの耳穴内部における反響音を取得して当該反響音から耳音響特徴量を抽出し、抽出された耳音響特徴量と予め格納する耳音響特徴量とを比較して耳認証スコアを算出する耳認証部１３、入力されたユーザの音声から話者特徴量を抽出し、抽出された話者特徴量と予め格納する話者特徴量とを比較して声認証スコアを算出する声認証部１４、および、耳認証スコアおよび声認証スコアを基に算出する認証統合結果を出力する認証統合部１５を備え、再生部１１による耳穴内部への音の出力の後に、録音部１２によるユーザの音声の入力が行われる。

Description

生体認証装置、生体認証方法および記録媒体
　本発明は、ユーザを認証するための生体認証装置等に関する。
　指紋、虹彩、顔、声紋、耳などのユーザの生体情報を用いた個人認証技術は、パスワードや鍵と比べて、漏えいや盗難のリスクが小さく、また忘れたり紛失したりしないという利点がある。このため、近年はユーザを認証するための様々な生体認証手法が開発されており、その中には声紋（音声）認証（以下、声認証と記載）および耳音響認証（以下、耳認証と記載）が含まれる。
　声認証では、ユーザの声を用いて認証を行う。例えば、スマートスピーカーなどの機器では、ユーザは、当該機器に搭載されたＡＩ（Artificial intelligence）エージェントとの音声対話を介して、操作を行う。当該機器が提供するサービスへのログイン、または、当該機器が、個々のユーザに対してより適した応答を行う（パーソナライズ）等の目的において、声認証は利用される（特許文献１参照）。
　耳認証では、ユーザの耳穴内部の反響特性を用いて認証を行う。例えば、ヘッドフォン、イヤフォン等のヒアラブルデバイスは、マイクロフォンを搭載させて耳穴内部の音の反響特性を抽出することで、ユーザの認証を行う。ヒアラブルデバイスのマイクロフォンを使用して、同時に上記の声認証を行うことも可能である（特許文献２参照）。
特開２００２－２２１９９０号公報 特開２０１５－２０６８５７号公報
　上記の声認証および耳認証は、単独で行った場合、正確に認証できない場合がある。例えば、背景雑音が大きい時には声認証の精度が落ちるし、イヤフォンが耳穴に十分に密着していない時には耳認証の精度が落ちる。認証に失敗すると、ユーザは認証成功を前提としてアクセス可能な機器（又は機能）を早急に使用することができない。これは早急に当該機器を使用する必要の有るユーザ（例えば、救急医療隊員）にとっては致命的な結果を引き起こすことがある。また、単純に声認証および耳認証を組み合わせた場合、精度は高くなるが認証に掛かる時間はそれら認証時間の合計となり、ユーザはより長い時間待たなくてはならない。
　本開示は上記の問題に鑑みてなされたものであり、声認証および耳認証を組み合わせて、精度の高い認証を早く行える生体認証装置等を提供することを目的の一つとする。
　上記問題点を鑑みて、本開示の第１の観点である生体認証装置は、
　音を再生するための再生手段と、
　前記再生手段から出力される音の、認証対象であるユーザの耳穴内部における反響音を取得して当該反響音から耳音響特徴量を抽出し、抽出された耳音響特徴量と予め格納する耳音響特徴量とを比較して耳認証スコアを算出する耳認証手段と、
　入力された前記ユーザの音声から話者特徴量を抽出し、抽出された話者特徴量と予め格納する話者特徴量とを比較して声認証スコアを算出する声認証手段と、
　前記耳認証スコアおよび前記声認証スコアを基に算出する認証統合結果を出力する認証統合手段
とを備え、前記再生手段による前記耳穴内部への前記音の出力の後に、前記ユーザの音声の入力が行われる。
　本開示の第２の観点である生体認証方法は、
　再生手段から出力される音の、認証対象であるユーザの耳穴内部における反響音を取得して当該反響音から耳音響特徴量を抽出し、抽出された耳音響特徴量と予め格納する耳音響特徴量とを比較して耳認証スコアを算出し、
　入力された前記ユーザの音声から話者特徴量を抽出し、抽出された話者特徴量と予め格納する話者特徴量とを比較して声認証スコアを算出し、
　前記耳認証スコアおよび前記声認証スコアを基に算出する認証統合結果を出力する
ことを備え、
前記再生手段による前記耳穴内部への前記音の出力の後に、前記ユーザの音声の入力が行われる。
　本開示の第３の観点である生体認証プログラムは、
　再生手段から出力される音の、認証対象であるユーザの耳穴内部における反響音を取得して当該反響音から耳音響特徴量を抽出し、抽出された耳音響特徴量と予め格納する耳音響特徴量とを比較して耳認証スコアを算出し、
　入力された前記ユーザの音声から話者特徴量を抽出し、抽出された話者特徴量と予め格納する話者特徴量とを比較して声認証スコアを算出し、
　前記耳認証スコアおよび前記声認証スコアを基に算出する認証統合結果を出力する
ことを備え、
前記再生手段による前記耳穴内部への前記音の出力の後に、前記ユーザの音声の入力が行われる
ことをコンピュータに実現させる。
　プログラムは、非一時的なコンピュータ可読の記憶媒体に格納されていてもよい。
　本開示によれば、声認証および耳認証を組み合わせて、精度の高い認証を早く行える生体認証装置等を提供することができる。
本開示の第一実施形態に係る生体認証装置の構成図である。 イヤフォンの構成図である。 本開示の第一実施形態に係る生体認証装置の動作を示すシーケンスチャートである。 本開示の第二実施形態に係る生体認証装置の構成図である。 本開示の第二実施形態に係る生体認証装置の動作を示すシーケンスチャートである。 本開示の第三実施形態に係る生体認証装置の構成図である。 第一乃至第三実施形態にて使用可能な情報処理装置の構成図である。
　以下、各実施形態について図面を参照して詳細に説明する。
　＜第一の実施形態＞
　（生体認証装置）
　第一の実施形態における生体認証装置１００について図１を参照して説明する。生体認証装置１００は、声認証処理、耳認証処理および両方の処理結果を統合する処理が組み込まれた電子回路を搭載する。または、これらの処理を実行するためのプログラムをユーザが所持する通信機器（スマートフォン等）にインストールすることによって実装してもよい。生体認証装置１００は、図１に示すように、スピーカ２およびマイクロフォン３を内蔵したイヤフォン１と、有線ケーブルまたは無線通信を介して接続される。スピーカ２は生体認証装置１００の再生部１１１と接続される。マイクロフォン３は生体認証装置１００の録音部１１２と接続される。
　尚、生体認証装置１００は、図２に示すように、スピーカ２およびマイクロフォン３を内蔵したイヤフォン１に搭載されていてもよい。
　スピーカ２は、ユーザ側に音を出力する。マイクロフォン３は、耳認証においては、ユーザがイヤフォン１を装着した状態にて、ユーザの耳穴側から反響音を入力する。マイクロフォン３は、声認証においては、ユーザがイヤフォン１を装着した状態において、ユーザの発話を入力する。声認証でユーザの音声を拾いづらい場合、ユーザは、イヤフォン１を口元等に移動させても良い。尚、マイクロフォン３は、声認証用と耳認証用とに別々に準備されてもよい。例えば、ヘッドセット側のイヤフォンを用いて、耳認証用のマイクロフォンはイヤフォン１内部に搭載され、声認証用のマイクロフォンはイヤフォンマイク等のマイク単体がユーザの口元に固定されるようにしてもよい。
　ユーザが所持する通信機器（不図示）は、ＡＩ対話プログラムを搭載していてもよい。ＡＩ対話プログラムは、様々なアプリケーションと連携した動作が可能であり、音声を用いた対話を介して、様々な情報取得やアプリケーション機能実行ができる。ＡＩ側の音声はイヤフォン１に内蔵されたスピーカ２を通してユーザに伝えられ、ユーザ側の音声は、イヤフォン１に内蔵されたマイクロフォン３を通してＡＩ対話プログラムに伝えられる。上記の情報取得や機能実行には、正規ユーザのみしかアクセスを許可されない情報や機能が含まれる。例えば、メールアカウントへの接続、銀行アカウントへの接続といった、個人情報を守るために強固なセキュリティを要する機能である。ユーザからこのような機能へのアクセスを求められた時、ＡＩ対話プログラムはアクセス管理のために、生体認証装置１００を起動する。
　第一の実施形態に係る生体認証装置１００は、図１に示すように、対話制御部１０１、再生部１１１、録音部１１２、耳認証部１２１、声認証部１３１および認証統合部１４１を備える。
　対話制御部１０１は、再生部１１１によるユーザの耳穴内部への音の出力の後に、録音部１１２によるユーザの音声の入力（収録）が行われるように制御を行う。対話制御部１０１は、耳認証通知部１０２、声認証通知部１０３、耳認証命令部１０４、声認証命令部１０５および認証結果記憶部１０６を備える。
　耳認証通知部１０２は、ユーザに対し、耳認証（または耳認証と声認証の両方）が始まることを通知する。具体的には、耳認証通知部１０２は、再生部１１１に、ユーザへの認証開始を知らせる音声（録音済みでよい）を再生させる。
　声認証通知部１０３は、ユーザに対し、声認証が始まることを通知する。具体的には、声認証通知部１０３は、再生部１１１に、ユーザへの認証開始を知らせる音声（録音済みでよい）を再生させる。
　耳認証命令部１０４は、耳認証部１２１に対し、耳認証を開始するよう命令を行う。
　声認証命令部１０５は、声認証部１３１に対し、声認証を開始するよう命令を行う。声認証命令部１０５または声認証部１３１は、所定時間しか使用できないワンタイムパスワードを生成してもよい。生成されたワンタイムパスワードは、イヤフォン１を介して音声でユーザに伝えられる、又は、ユーザの通信機器（不図示）のディスプレイ等に表示されることでユーザに伝えられる。
　認証結果記憶部１０６は、耳認証部１２１および声認証部１３１から通知された照合スコアを格納する。
　再生部１１１は、録音してある音を再生（出力）する。再生部１１１は再生するための音を格納するための記憶部を備えていても良い。
　録音部１１２は、入力される音を録音する。録音部１１２は、録音された音を格納するための記憶部を備えていても良い。
　耳認証部１２１は、信号発生部１２２、音響特性抽出部１２３、耳照合部１２４および特徴量記憶部１２５を備える。
　信号発生部１２２は、再生部１１１から出力される音（プローブ信号等）を発生させる。この音は、認証対象であるユーザの耳穴内部における反響音を取得するために出力される。
　音響特性抽出部１２３は、認証対象であるユーザの耳穴内部における反響音を、録音部１１２を介して取得し、当該反響音からユーザの耳穴形状に対応する音響特性を抽出する。
　耳照合部１２４は、特徴量記憶部１２５に予め格納される認証対象であるユーザの音響特性と抽出された音響特性とが一致するか照合する。照合の結果は照合スコア（耳認証スコア）として出力される。
　特徴量記憶部１２５は、予め取得された、認証対象であるユーザの音響特性を記憶する。
　声認証部１３１は、話者特徴量抽出部１３２、声照合部１３３および特徴量記憶部１３４を備える。
　話者特徴量抽出部１３２は、録音部１１２を介して録音されたユーザの音声から話者特徴量を抽出する。
　声照合部１３３は、特徴量記憶部１３４に予め格納される認証対象であるユーザの話者特徴量と抽出された話者特徴量とが一致するか照合する。照合の結果は照合スコア（声認証スコア）として出力される。
　特徴量記憶部１３４は、予め取得された、認証対象であるユーザの話者特徴量を記憶する。
　認証統合部１４１は、耳認証スコアおよび声認証スコアを基に認証統合結果を算出し、出力する。
　出力される認証統合結果は、セキュリティで保護された機器または機能へのアクセスを管理するプログラム、例えば、上記のＡＩ対話プログラムに引き渡される。認証統合結果が所定の値以上であれば、ＡＩ対話プログラムは、ユーザが所望する機能へのアクセスを許可し、生体認証装置１００を終了させる。
　（生体認証装置の動作）
　以下、第１の実施形態に係る生体認証装置１００の認証処理の動作について図３に示すシーケンスチャートを参照して説明する。
　まずステップＳ１において、ユーザからのリクエスト等により生体認証が必要となったことを対話制御部１０１が受け取ると、対話制御部１０１の耳認証通知部１０２は、再生部１１１に、耳認証および声認証の開始をユーザに通知するための音声を再生するよう命令する。再生部１１１は、当該命令に沿い、耳認証および声認証の開始をユーザに通知するための音声（例えば「これから耳認証、続いて声認証を行います」）を再生する。尚、これは音声のみならず画面上において行っても良い。例えば、ユーザが表示部を備える通信機器（不図示）を所持している場合、当該表示部に「認証を行います」と表示してもよい。
　ステップＳ２において、耳認証命令部１０４が、耳認証部１２１に対し、耳認証を開始するよう命令を行う。この命令を受けた耳認証部１２１の信号発生部１２２は、プローブ信号を発生させ、再生部１１１へと送る。
　ステップＳ３において、再生部１１１は、プローブ信号をスピーカ２へ送信し、スピーカ２はこれを再生する。尚、プローブ信号は、ピーという音、メロディ等の可聴音であってもよいし、ホワイトノイズであってもよい。超音波などの非可聴音であってもよい。
　ステップＳ４において、録音部１１２は、再生されたプローブ信号のユーザの耳穴内における反響音をマイクロフォン３を介して録音し、録音データを耳認証部１２１へと送る。耳認証部１２１の耳照合部１２４は、録音データを用いて耳認証処理を行う。耳認証処理において、耳照合部１２４は、プローブ信号と反響音とを用いて、耳穴内の伝達関数を推定する。さらに、耳照合部１２４は、伝達関数を主成分分析などによって低次元の特徴量に圧縮したり、ＭＦＣＣ(Mel-Frequency Cepstral Coefficients)などの特徴量へと変換したりしてもよい。こうして得られた出力を耳音響特徴量とする。耳照合部１２４は、あらかじめユーザ登録時に、同様の手順で抽出されたユーザ本人の別の耳音響特徴量との比較を行い、耳音響スコアを算出する。スコア算出に用いる距離尺度としてはユークリッド距離やコサイン距離などが考えられる。
　ステップＳ５において、耳照合部１２４は、耳認証処理の結果として照合スコアなどを対話制御部１０１へと送る。対話制御部１０１は受信する耳認証の照合スコアを認証結果記憶部１０６に一時的に格納する。
　ステップＳ６において、対話制御部１０１の声認証通知部１０３は、再生部１１１に対し、声認証の開始および指示をユーザに通知するための音声を再生するよう命令する。この際、ユーザは既にステップＳ１において認証処理が実行中であることを知っているのだから、「声認証を行います」等の声認証の実行開始を直接的に示す通知を行うのではなく、例えば「パスワードを言ってください」等の具体的な指示を行うのみでよい。再生部１１１は、当該命令に沿い、声認証の開始をユーザに通知するための音声を再生する。
　パスワードは、通常はユーザのみしか知らないもの（例えば「母親の旧姓を言ってください」）を用いてもよい。声認証で用いる単語を音声で通知してもよい（例えば「今日の日付を言ってください」）。この他、ユーザの通信機器の表示部（不図示）に、パスワードを表示させてユーザに通知しても良い（例えば『パスワード「ＡＢＣ」を言ってください』を表示する）。尚、声認証命令部１０５は、所定時間経過毎にワンタイムパスワードを生成し、生成したパスワードを再生部１１１に放送させ、イヤフォン１を介して音でユーザに伝える、又は、ユーザの通信機器の表示部（不図示）に表示させてもよい。これによりパスワードの安全度を高めることが出来る。
　ステップＳ７において、対話制御部１０１の声認証命令部１０５が、声認証部１３１に対し、声認証を開始するよう命令する。命令を受けた声認証部１３１は、録音部１１２に対し、ユーザの発話（パスワード）の録音を開始するよう命令する。
　ステップＳ８において、録音部１１２は、声認証開始通知を聞き発声を開始したユーザの声をマイクロフォン３を介して録音し、録音データを声認証部１３１へと送る。
　ステップＳ９において、声認証部１３１は、受け取った録音データを用いて、声認証処理を行う。声認証部１３１は、録音されたユーザの発声音声からi-vectorなどの話者特徴量を抽出する。話者を識別可能なニューラルネットワークを用いて、話者特徴量を抽出してもよい。さらに、あらかじめユーザ登録時に、同様の手順で抽出されたユーザ本人の別の話者特徴量との比較を行い、照合スコアを算出する。スコア算出には、コサイン距離やＰＬＤＡ（Probabilistic Linear Discriminant Analysis）などが用いられる。また、これらのスコア算出の前に、平均正規化や、白色化、ノルム正規化などの前処理を行ってもよい。声認証処理後、声認証部１３１は、照合スコアなどの声認証結果を対話制御部１０１へと送る。
　ステップＳ１０において、耳認証と声認証の２種類の認証結果（照合スコア）を対話制御部１０１が受け取ると、対話制御部１０１はこれらの認証結果を認証統合部１４１へと送る。
　ステップＳ１１において、認証統合部１４１は、両方の認証結果を統合し、最終的に対象ユーザが本人か他人かを判断する。照合スコアの統合は、スコア平均、重み付き平均などいかなるスコア統合の手法を用いても良い。認証統合部１４１は、算出された認証統合スコアがあらかじめ設定された閾値を超えているか否かを判定し、閾値を超えていた場合は認証成功、閾値を超えない場合は認証失敗と判定する。また、対話制御部１０１は、耳認証または声認証のいずれかに異常または不具合があることをユーザや他の構成部から通知された場合、認証統合部１４１に、認証が正常に完了した照合スコアに重み付けをするように命令しても良い。判定結果は、認証統合結果として、対話制御部１０１に送信される。対話制御部１０１は、認証統合結果が認証成功の場合はユーザに要求された情報取得や機能実行を許可する旨を、アクセスを管理するＡＩ対話プログラム等に通知する。認証統合結果が認証失敗の場合はその旨を上記ＡＩ対話プログラム等に通知する。この際、対話制御部１０１は、認証統合結果を、イヤフォン１などを介してユーザへ通知してもよい。
　以上により生体認証装置１００の認証処理の動作を終了する。
　尚、本実施形態では、ユーザの所有する通信機器内で動作する処理（プログラム）として、説明を行ったが、これは携帯可能な通信機器内での処理に限られない。例えば、サーバ内に認証処理のプログラムが実装されていて、ユーザの通信機器はネットワークを介して当該サーバから認証統合結果のみを受け取っても構わない。また、イヤフォン１そのものに当該プログラムを実行可能な機器、部品を搭載させてもよい。
　（第一の実施形態の効果）
　本実施形態に係る生体認証装置１００は、声認証および耳認証を組み合わせて、より精度の高い認証を行うことができる。これは、耳認証部１２１が出力する耳認証スコアおよび声認証部１３１が出力する声認証スコアを基に認証統合部１４１が認証統合結果を算出して出力するからである。声認証および耳認証は、単独で行った場合、諸事情により認証の精度が落ちる。しかし、生体認証装置１００は、イヤフォン１を介して取得するユーザの生体情報を用いて声認証および耳認証を実行し、その認証統合結果を利用することで、精度を落とさずにユーザの認証を行うことができる。しかも更に、生体認証装置１００は、声認証および耳認証の各々の照合結果を統合することで、いずれか片方の認証を行う場合と比較してより高い認証精度を得ることができる。
　更に、生体認証装置１００では、耳認証処理の後に声認証処理が実行される、即ち、少なくとも、再生部１１１による耳穴内部への音の出力の後に、録音部１１２による前記ユーザの音声の入力が行われる。これにより、通常の耳認証処理および声認証処理を単純に組み合わせた装置よりも、全体として早く認証処理を完了することができ、ひいてはユーザの待ち時間を短くすることができる。
　＜第二の実施形態＞
　第一の実施形態においては耳認証の開始時と声認証の開始時との２回、ユーザに音声を通知していた。本実施形態においては、ユーザへの通知回数を減らすことで、認証に要する全体的な時間をより短縮する手法について説明する。
　（生体認証装置）
　本実施形態に係る生体認証装置２００は、図４に示すように、対話制御部２０１、再生部１１１、録音部１１２、耳認証部１２１、声認証部１３１および認証統合部１４１を備える。
　対話制御部２０１は、同時通知部２０２、声認証通知部１０３、耳認証命令部１０４および声認証命令部１０５を備える。同時通知部２０２は、再生部１１１に対し、ユーザに耳認証と声認証を連続して行わせるための指示を音声として再生するように命令する。
　その他の部、装置は第一の実施形態と同様である。
　（生体認証装置の動作）
　本実施形態の生体認証装置２００の認証動作について図５に示すシーケンスチャートを参照して説明する。
　まずステップＴ１において、ユーザからのリクエスト等により生体認証が必要となったことを対話制御部２０１が受け取ると、対話制御部２０１の同時通知部２０２は、再生部１１１に対し、「ピーとなった後、パスワードを言ってください」などのユーザに耳認証と声認証を連続して行わせるための指示を音声として再生するように命令する。これは、耳認証用のプローブ音発生の後に速やかに連続して声認証を開始するためである。尚、第一の実施形態ではプローブ信号は非可聴の超音波などであってもよいが、本実施形態では可聴音を用いる。これは可聴音でないと、ユーザがどのタイミングでパスワードを発声し始める（音声認証を開始する）のか分からないし、更に、可聴音のほうが反響音の音響特性の精度が高くなるためである。再生部１１１は、当該命令に従い、耳認証および声認証の開始をユーザに通知するための音声をスピーカ２を介して再生する。
　ステップＴ２において、対話制御部２０１の耳認証命令部１０４が、耳認証部１２１に対し、耳認証を開始するよう命令する。
　ステップＴ３において、耳認証部１２１の信号発生部１２２はプローブ信号を発生し、再生部１１１へと送る。再生部１１１は、当該プローブ信号を再生し、イヤフォン１のスピーカ２へと出力する。
　ステップＴ４において、録音部１１２は、ユーザの耳穴内部にて再生されたプローブ信号の反響音をマイクロフォン３を介して録音し、録音データを耳照合部１２４へと送る。
　ステップＴ５において、耳照合部１２４は、録音データを用いて、耳認証を行い、照合スコアなどの耳認証結果を対話制御部２０１へと送る
　ステップＴ６において、耳認証が完了すると、対話制御部２０１の声認証命令部1０５が、声認証部１３１に対し、声認証を開始するように命令する。
　ステップＴ７において、声認証部１３１は、録音部１１２に対し、ユーザの声の録音を開始するよう命令する。録音部１１２は、当該命令に従い、発声を開始したユーザの発声を録音し、当該録音データを声認証部１３１へと送る。
　ステップＴ８において、声認証部１３１は、当該録音データを用いて、声認証を行い、照合スコアなどの声認証結果を対話制御部２０１へと送る。
　ステップＴ９において、声認証の認証結果（照合スコア）を対話制御部２０１が受け取ると、耳認証および声認証の認証結果を認証統合部１４１へと送る。
　ステップＴ１０において、認証統合部１４１は、耳認証および声認証の認証結果を統合し、最終的に本人か他人かを判断した認証統合結果を、対話制御部２０１へと出力する。
　（第二の実施形態の効果）
　本実施形態では、第一の実施形態の効果に加えて、認証に要する全体的な時間を短縮することができる。これは、対話制御部２０１の同時通知部２０２が、耳認証と声認証を連続して行えるように、言い換えると、耳認証完了後に声認証の開始通知を行う必要がないように、ユーザに通知するためである。このため、１つのユーザへの指示によって、耳認証と声認証を連続して行うことができ、認証統合結果を得るまでにかかる時間を短縮することができる。
　＜第二の実施形態の変形例１＞
　上記の第二の実施形態においては、耳認証の照合スコア計算（ステップＴ５）の後に声認証のための音声録音（ステップＴ６、Ｔ７）を行っていたが、耳認証の照合スコア計算および声認証のための音声収録は並列に実行しても良い。具体的に説明すると、耳照合部１２４は、耳認証を行う前に、反響音収録完了通知を対話制御部２０１へと送り、対話制御部２０１は、耳認証の照合スコアでなく、反響音収録完了通知をトリガとして、ステップＴ６を開示してもよい。
　これにより、１つのユーザへの指示によって、耳認証と声認証を連続して行うことができ、第二の実施形態と比して、認証統合結果を得るまでにかかる時間を更に短縮することができる。
　＜第二の実施形態の変形例２＞
　予め、ユーザに「プローブ信号が声認証開始の合図である」ことを周知しておくことで、図５に示すステップＴ１の処理（同時通知部２０２が再生部１１１に対して耳認証と声認証を連続して行わせるための指示を音声として再生する）を不要とすることも可能である。すなわち、ステップＴ１を省略し、ステップＴ２～ステップＴ１０までを行う順に行う。ユーザへの周知は、ユーザが使用する通信機器の表示部（不図示）に表示したり、生体認証装置２００の開始時に、人手を介したり、紙媒体にて周知させても良い。
　これにより、第二の実施形態および第二の実施形態の変形例１と比して、ステップＴ１を省略する分、認証統合結果を得るまでにかかる時間を更に短縮することができる。
　＜第二の実施形態の変形例３＞
　図５に示すステップＴ６（対話制御部２０１の声認証命令部１０５が、声認証部１３１に声認証の開始を命令）の代わりに、ステップＴ２と同時、または、ステップＴ２の直前か直後に、声認証命令部１０５が、声認証部１３１に対し、プローブ信号の継続長だけ待機した後に声認証を開始するという命令を行ってもよい。これは、プローブ信号は固定の継続長であるため、待機時間も固定時間であり、声認証開始のタイミングを計ることが可能だからである。この時、耳認証の照合スコア計算結果を待たずに、耳認証の照合スコア計算および声認証のための音声収録を並列に実行してもよい。
　これにより、第二の実施形態および第二の実施形態の変形例１と比して、ステップＴ６を省略する分、認証統合結果を得るまでにかかる時間を更に短縮することができる。
　＜第三の実施形態＞
　第三の実施形態における生体認証装置３００について図６を参照して説明する。生体認証装置３００は、音を再生するための再生部１１、音を録音するための録音部１２、再生部から出力される音の、認証対象であるユーザの耳穴内部における反響音を録音部にて録音し、当該反響音から耳音響特徴量を抽出し、抽出された耳音響特徴量と予め格納する耳音響特徴量とを比較して耳認証スコアを算出する耳認証部１３、録音部を介して録音されたユーザの音声から話者特徴量を抽出し、抽出された話者特徴量と予め格納する話者特徴量とを比較して声認証スコアを算出する声認証部１４、および、耳認証スコアおよび声認証スコアを基に算出する認証統合結果を出力する認証統合部１５を備え、再生部１１による耳穴内部への音の出力の後に、録音部１２によるユーザの音声の入力が行われる。
　第三の実施形態によると、声認証および耳認証を組み合わせて、精度の高い認証を早く行うことができる。これは、耳認証スコアおよび声認証スコアを基に認証統合部１５が認証統合結果を算出して出力するからである。更に、生体認証装置３００では、耳認証処理の後に声認証処理が実行される、即ち、少なくとも、再生部１１による耳穴内部への音の出力の後に、録音部１２によるユーザの音声の入力が行われる。これにより、通常の耳認証処理および声認証処理を単純に組み合わせた装置よりも、全体として早く認証処理を完了することができる。
　（情報処理装置）
　上述した本発明の各実施形態において、図１、４、６等に示す生体認証装置における各構成要素の一部又は全部は、例えば図７に示すような情報処理装置５００とプログラムとの任意の組み合わせを用いて実現することも可能である。情報処理装置５００は、一例として、以下のような構成を含む。
　　・ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５０１
　　・ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）５０２
　　・ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）５０３
　　・プログラム５０４および他のデータを格納する記憶装置５０５
　　・記録媒体５０６の読み書きを行うドライブ装置５０７
　　・通信ネットワーク５０９と接続する通信インターフェース５０８
　　・データの入出力を行う入出力インターフェース５１０
　　・各構成要素を接続するバス５１１
　本願の各実施形態における生体認証装置の各構成要素は、これらの機能を実現するプログラム５０４をＣＰＵ５０１が取得して実行することで実現される。生体認証装置の各構成要素の機能を実現するプログラム５０４は、例えば、予め記憶装置５０５やＲＡＭ５０３に格納されており、必要に応じてＣＰＵ５０１が読み出す。なお、プログラム５０４は、通信ネットワーク５０９を介してＣＰＵ５０１に供給されてもよいし、予め記録媒体５０６に格納されており、ドライブ装置５０７が当該プログラムを読み出してＣＰＵ５０１に供給してもよい。
　各装置の実現方法には、様々な変形例がある。例えば、生体認証装置は、構成要素毎にそれぞれ別個の情報処理装置とプログラムとの任意の組み合わせにより実現されてもよい。また、生体認証装置が備える複数の構成要素が、一つの情報処理装置５００とプログラムとの任意の組み合わせにより実現されてもよい。
　また、生体認証装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
　生体認証装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
　生体認証装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
　以上、本実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は２０１８年８月３１日に出願された日本出願特願２０１８－１６２２２９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１　イヤフォン
２　スピーカ
３　マイクロフォン
１００　生体認証装置
１０１　対話制御部
１０２　耳認証通知部
１０３　声認証通知部
１０４　耳認証命令部
１０５　声認証命令部
１０６　認証結果記憶部
１１１　再生部
１１２　録音部
１２１　耳認証部
１２２　信号発生部
１２３　音響特性抽出部
１２４　耳照合部
１２５　特徴量記憶部
１３１　声認証部
１３２　話者特徴量抽出部
１３３　声照合部
１３４　特徴量記憶部
１４１　認証統合部
２００　生体認証装置
２０１　対話制御部
２０２　同時通知部
５００　情報処理装置
５０１　ＣＰＵ
５０３　ＲＡＭ
５０４　プログラム
５０５　記憶装置
５０６　記録媒体
５０７　ドライブ装置
５０８　通信インターフェース
５０９　通信ネットワーク
５１０　入出力インターフェース
５１１　バス
５０７　ドライブ装置
５０８　通信インターフェース
５０９　通信ネットワーク
５１０　入出力インターフェース
５１１　バス

Claims (7)

  1. 　音を再生するための再生手段と、
    　前記再生手段から出力される音の、認証対象であるユーザの耳穴内部における反響音を取得して当該反響音から耳音響特徴量を抽出し、抽出された耳音響特徴量と予め格納する耳音響特徴量とを比較して耳認証スコアを算出する耳認証手段と、
    　入力された前記ユーザの音声から話者特徴量を抽出し、抽出された話者特徴量と予め格納する話者特徴量とを比較して声認証スコアを算出する声認証手段と、
    　前記耳認証スコアおよび前記声認証スコアを基に算出する認証統合結果を出力する認証統合手段
    とを備え、前記再生手段による前記耳穴内部への前記音の出力の後に、前記ユーザの音声の入力が行われる
    生体認証装置。
  2. 　前記耳認証手段および前記声認証手段の動作開始を、前記ユーザに対して同時に通知する対話制御手段
    を更に備える請求項１に記載の生体認証装置。
  3. 　前記対話制御手段は、前記反響音の入力の完了を伝える反響音収録完了通知を前記録音手段から受け取ったことをトリガに、前記声認証手段に動作を開始するよう命令する
    請求項２記載の生体認証装置。
  4. 前記反響音の録音および前記ユーザの音声の録音をするための録音手段をさらに備え、
    　前記対話制御手段は、前記耳認証手段の動作開始命令と同時に、前記声認証手段に対し、前記反響音の録音に必要な時間長を待機した後、前記ユーザの音声の録音を開始するよう命令する
    請求項２または３に記載の生体認証装置。
  5. 　前記対話制御手段は、前記耳認証手段および前記声認証手段のいずれかに異常があることを検出した場合、前記認証統合手段に、異常ではない方の認証スコアに重み付けするよう命令する
    請求項２乃至４のいずれかに記載の生体認証装置。
  6. 　　再生手段から出力される音の、認証対象であるユーザの耳穴内部における反響音を取得して当該反響音から耳音響特徴量を抽出し、抽出された耳音響特徴量と予め格納する耳音響特徴量とを比較して耳認証スコアを算出し、
    　入力された前記ユーザの音声から話者特徴量を抽出し、抽出された話者特徴量と予め格納する話者特徴量とを比較して声認証スコアを算出し、
    　前記耳認証スコアおよび前記声認証スコアを基に算出する認証統合結果を出力する
    ことを備え、
    前記再生手段による前記耳穴内部への前記音の出力の後に、前記ユーザの音声の入力が行われる
    生体認証方法。
  7. 　再生手段から出力される音の、認証対象であるユーザの耳穴内部における反響音を取得して当該反響音から耳音響特徴量を抽出し、抽出された耳音響特徴量と予め格納する耳音響特徴量とを比較して耳認証スコアを算出し、
    　入力された前記ユーザの音声から話者特徴量を抽出し、抽出された話者特徴量と予め格納する話者特徴量とを比較して声認証スコアを算出し、
    　前記耳認証スコアおよび前記声認証スコアを基に算出する認証統合結果を出力する
    ことを備え、
    前記再生手段による前記耳穴内部への前記音の出力の後に、前記ユーザの音声の入力が行われる
    ことをコンピュータに実現させるための生体認証プログラムを格納する記録媒体。
PCT/JP2019/032729 2018-08-31 2019-08-22 生体認証装置、生体認証方法および記録媒体 WO2020045204A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US17/270,303 US20210201918A1 (en) 2018-08-31 2019-08-22 Biometric authentication device, biometric authentication method, and recording medium
EP19855693.8A EP3846052A4 (en) 2018-08-31 2019-08-22 BIOMETRIC AUTHENTICATION DEVICE, BIOMETRIC AUTHENTICATION METHOD, AND RECORDING MEDIUM
JP2020539380A JP7120313B2 (ja) 2018-08-31 2019-08-22 生体認証装置、生体認証方法およびプログラム
US18/483,881 US20240038241A1 (en) 2018-08-31 2023-10-10 Biometric authentication device, biometric authentication method, and recording medium
US18/483,896 US20240038242A1 (en) 2018-08-31 2023-10-10 Biometric authentication device, biometric authentication method, and recording medium
US18/483,843 US20240038240A1 (en) 2018-08-31 2023-10-10 Biometric authentication device, biometric authentication method, and recording medium
US18/483,905 US20240038243A1 (en) 2018-08-31 2023-10-10 Biometric authentication device, biometric authentication method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018162229 2018-08-31
JP2018-162229 2018-08-31

Related Child Applications (5)

Application Number Title Priority Date Filing Date
US17/270,303 A-371-Of-International US20210201918A1 (en) 2018-08-31 2019-08-22 Biometric authentication device, biometric authentication method, and recording medium
US18/483,905 Continuation US20240038243A1 (en) 2018-08-31 2023-10-10 Biometric authentication device, biometric authentication method, and recording medium
US18/483,843 Continuation US20240038240A1 (en) 2018-08-31 2023-10-10 Biometric authentication device, biometric authentication method, and recording medium
US18/483,896 Continuation US20240038242A1 (en) 2018-08-31 2023-10-10 Biometric authentication device, biometric authentication method, and recording medium
US18/483,881 Continuation US20240038241A1 (en) 2018-08-31 2023-10-10 Biometric authentication device, biometric authentication method, and recording medium

Publications (1)

Publication Number Publication Date
WO2020045204A1 true WO2020045204A1 (ja) 2020-03-05

Family

ID=69644524

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/032729 WO2020045204A1 (ja) 2018-08-31 2019-08-22 生体認証装置、生体認証方法および記録媒体

Country Status (4)

Country Link
US (5) US20210201918A1 (ja)
EP (1) EP3846052A4 (ja)
JP (1) JP7120313B2 (ja)
WO (1) WO2020045204A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021131102A1 (ja) * 2020-01-20 2021-07-01 株式会社白紙とロック 認証方法、認証システム、スマートスピーカ及びプログラム
US11907098B2 (en) 2022-04-01 2024-02-20 Rebellions Inc. Method for measuring performance of neural processing device and device for measuring performance
EP4243439A4 (en) * 2020-11-09 2024-05-22 NEC Corporation SIGNAL PROCESSING DEVICE, MICROPHONE DEVICE, SIGNAL PROCESSING METHOD AND RECORDING MEDIUM

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11388596B2 (en) * 2019-09-03 2022-07-12 International Business Machines Corporation Secure transmittal of wireless local area network access codes

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148985A (ja) * 1998-11-17 2000-05-30 Hitachi Ltd 個人認証システム
JP2002221990A (ja) 2001-01-25 2002-08-09 Matsushita Electric Ind Co Ltd 個人認証装置
JP2008033144A (ja) * 2006-07-31 2008-02-14 Nappu Enterprise Kk 携帯個人認証方法及び電子商取引方法
JP2015206857A (ja) 2014-04-18 2015-11-19 善博 新井 磁石制動式試料板位置制御装置
WO2017069118A1 (ja) * 2015-10-21 2017-04-27 日本電気株式会社 個人認証装置、個人認証方法および個人認証プログラム
JP2017167884A (ja) * 2016-03-17 2017-09-21 株式会社エヌ・ティ・ティ・データ 個人認証システム、個人認証装置、個人認証方法、およびプログラム
JP2018162229A (ja) 2017-03-27 2018-10-18 三井化学株式会社 遷移金属化合物、オレフィン多量化用触媒およびオレフィン多量体の製造方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080005575A1 (en) * 2006-06-30 2008-01-03 Alcatel Mobile phone locking system using multiple biometric factors for owner authentication
US8189878B2 (en) * 2007-11-07 2012-05-29 Verizon Patent And Licensing Inc. Multifactor multimedia biometric authentication
US10042993B2 (en) * 2010-11-02 2018-08-07 Homayoon Beigi Access control through multifactor authentication with multimodal biometrics
KR101971697B1 (ko) * 2012-02-24 2019-04-23 삼성전자주식회사 사용자 디바이스에서 복합 생체인식 정보를 이용한 사용자 인증 방법 및 장치
US9100825B2 (en) * 2012-02-28 2015-08-04 Verizon Patent And Licensing Inc. Method and system for multi-factor biometric authentication based on different device capture modalities
US9323912B2 (en) * 2012-02-28 2016-04-26 Verizon Patent And Licensing Inc. Method and system for multi-factor biometric authentication
JP2019523581A (ja) * 2016-05-27 2019-08-22 ブガトーン リミテッド ユーザの耳におけるイヤピースの存在の判定
US10460095B2 (en) * 2016-09-30 2019-10-29 Bragi GmbH Earpiece with biometric identifiers
EP3625718B1 (en) * 2017-05-19 2021-09-08 Plantronics, Inc. Headset for acoustic authentication of a user
GB201801530D0 (en) * 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for authentication
GB201801527D0 (en) * 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Method, apparatus and systems for biometric processes
GB201801526D0 (en) * 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for authentication
GB201801528D0 (en) * 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Method, apparatus and systems for biometric processes
GB201801532D0 (en) * 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for audio playback
US10063542B1 (en) * 2018-03-16 2018-08-28 Fmr Llc Systems and methods for simultaneous voice and sound multifactor authentication
US10915614B2 (en) * 2018-08-31 2021-02-09 Cirrus Logic, Inc. Biometric authentication

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148985A (ja) * 1998-11-17 2000-05-30 Hitachi Ltd 個人認証システム
JP2002221990A (ja) 2001-01-25 2002-08-09 Matsushita Electric Ind Co Ltd 個人認証装置
JP2008033144A (ja) * 2006-07-31 2008-02-14 Nappu Enterprise Kk 携帯個人認証方法及び電子商取引方法
JP2015206857A (ja) 2014-04-18 2015-11-19 善博 新井 磁石制動式試料板位置制御装置
WO2017069118A1 (ja) * 2015-10-21 2017-04-27 日本電気株式会社 個人認証装置、個人認証方法および個人認証プログラム
JP2017167884A (ja) * 2016-03-17 2017-09-21 株式会社エヌ・ティ・ティ・データ 個人認証システム、個人認証装置、個人認証方法、およびプログラム
JP2018162229A (ja) 2017-03-27 2018-10-18 三井化学株式会社 遷移金属化合物、オレフィン多量化用触媒およびオレフィン多量体の製造方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HANAZAWA, KEN ET AL.: " Interview promising public technologies - What is Japan doing?", BOEI GIJUTSU JANARU - DEFENSE TECHNOLOGY JOURNAL, vol. 37, no. 10, 1 October 2017 (2017-10-01), pages 18 - 22, XP009526041, ISSN: 0919-8555 *
MIYAZAKI, TARO: "High accuracy of multi-modal speaker verification using speech and pinna image information", LECTURE PROCEEDINGS OF 2004 AUTUMN RESEARCH CONFERENCE OF THE ACOUSTICAL SOCIETY OF JAPAN - I -, 21 September 2004 (2004-09-21), pages 99 - 100 *
See also references of EP3846052A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021131102A1 (ja) * 2020-01-20 2021-07-01 株式会社白紙とロック 認証方法、認証システム、スマートスピーカ及びプログラム
EP4243439A4 (en) * 2020-11-09 2024-05-22 NEC Corporation SIGNAL PROCESSING DEVICE, MICROPHONE DEVICE, SIGNAL PROCESSING METHOD AND RECORDING MEDIUM
US11907098B2 (en) 2022-04-01 2024-02-20 Rebellions Inc. Method for measuring performance of neural processing device and device for measuring performance

Also Published As

Publication number Publication date
US20240038242A1 (en) 2024-02-01
US20240038243A1 (en) 2024-02-01
US20240038240A1 (en) 2024-02-01
EP3846052A1 (en) 2021-07-07
JP7120313B2 (ja) 2022-08-17
JPWO2020045204A1 (ja) 2021-09-24
EP3846052A4 (en) 2021-09-29
US20210201918A1 (en) 2021-07-01
US20240038241A1 (en) 2024-02-01

Similar Documents

Publication Publication Date Title
WO2020045204A1 (ja) 生体認証装置、生体認証方法および記録媒体
US11748462B2 (en) Biometric authentication
US10062388B2 (en) Acoustic and surface vibration authentication
CN108702354B (zh) 基于传感器信号的活跃度确定
US11699449B2 (en) In-ear liveness detection for voice user interfaces
US8589167B2 (en) Speaker liveness detection
WO2018051948A1 (ja) 個人認証装置、個人認証方法および記録媒体
JP6835956B2 (ja) 個人認証装置、個人認証方法および個人認証プログラム
TW200820218A (en) Portable personal authentication method and electronic business transaction method
US11170790B2 (en) User authentication with audio reply
US11900730B2 (en) Biometric identification
WO2018051950A1 (ja) 個人認証装置、個人認証方法および記録媒体
US10963548B2 (en) Information acquisition device, information acquisition system, and information acquisition method
JP7019765B2 (ja) 個人認証装置、個人認証方法および個人認証プログラム
WO2019006587A1 (zh) 说话者识别系统及说话者识别方法及入耳式装置
WO2024157726A1 (ja) 情報処理装置、情報処理方法及び記憶媒体
JP2022070872A (ja) 個人認証装置、個人認証方法および個人認証プログラム
FI127920B (en) Online multimodal information transfer method, associated system and device
JPH01302297A (ja) 話者認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19855693

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020539380

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019855693

Country of ref document: EP

Effective date: 20210331