JP6835956B2 - 個人認証装置、個人認証方法および個人認証プログラム - Google Patents

個人認証装置、個人認証方法および個人認証プログラム Download PDF

Info

Publication number
JP6835956B2
JP6835956B2 JP2019515018A JP2019515018A JP6835956B2 JP 6835956 B2 JP6835956 B2 JP 6835956B2 JP 2019515018 A JP2019515018 A JP 2019515018A JP 2019515018 A JP2019515018 A JP 2019515018A JP 6835956 B2 JP6835956 B2 JP 6835956B2
Authority
JP
Japan
Prior art keywords
acoustic signal
authentication
acoustic
successful
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019515018A
Other languages
English (en)
Other versions
JPWO2018198310A1 (ja
Inventor
孝文 越仲
孝文 越仲
孝司 大杉
孝司 大杉
洸平 大杉
洸平 大杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Platforms Ltd
NEC Corp
Original Assignee
NEC Platforms Ltd
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Platforms Ltd, NEC Corp filed Critical NEC Platforms Ltd
Publication of JPWO2018198310A1 publication Critical patent/JPWO2018198310A1/ja
Application granted granted Critical
Publication of JP6835956B2 publication Critical patent/JP6835956B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/08Mouthpieces; Microphones; Attachments therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016Earpieces of the intra-aural type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041Mechanical or electronic switches, or control elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Otolaryngology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Transducers For Ultrasonic Waves (AREA)
  • Headphones And Earphones (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Collating Specific Patterns (AREA)

Description

本発明は、個人を認証する個人認証装置等に関する。
生体の個人差に基づいた個人認証(Biometrics-based authentication)は、ユーザが作成するパスワード等に比べ漏えいや盗難の危険性が低い。この為、個人を特定し権利を確認する目的やセキュリティ保護の目的で、生体の個人差に基づいた個人認証を導入する例が増えている。一般的に生体の個人差に基づいた個人認証技術には、生体として、指紋(Fingerprint)、静脈(Vein)、顔(Face)、虹彩(Iris)、音声(Voice)などを用いるものが知られている。この中でも音声を使った個人認証は、特殊なデバイスではなく、電話機やマイクロホンといった汎用的に使用されている安価なデバイスを用いて行う事が可能である。
生体認証の中でも、近年、耳(外耳道)の音響的特徴の変化を用いた個人認証(耳音響認証)が注目されている。耳音響認証以外の他の生体情報を取得して個人認証を行う方法の場合、認証を行うためにユーザに何らかの動作をしてもらう必要がある。例えば、指紋や静脈を用いた個人認証の場合、専用のスキャナに指を載せるといったユーザの動作が必要である。また、顔や虹彩を用いた個人認証の場合、カメラに顔を向ける等のユーザの動作が必要である。また、音声や骨伝導音を用いた個人認証の場合、パスワードを発声する等のユーザの動作が必要である。そのような動作を強いられるユーザは、それが短時間であっても心理的、肉体的負担を負う。また、そのような動作を長時間継続することは、ユーザの次の動作を妨げるため好ましくない。しかし、耳音響認証の場合は、受話器やイヤホン等の音響電波送受信機を耳に当てる又は耳内に挿入していればよいので、それが長時間であっても、ユーザの心理的、肉体的負担は他の生体認証手法と比して少ない。耳音響認証の技術については、特許文献1および特許文献2に開示されている。
国際公開第2014/061578号 特開2005−032056号公報
しかしながら、特許文献1および特許文献2に開示されるような耳音響認証には、認証用の音響信号を送受信するためのイヤホンマイク装置の耳への挿抜時に発生する当該装置の振動、微動により、外耳道の音響的特徴が変化しやすいという問題がある。
音響的特徴変化の問題について述べる。例えば、イヤホンマイク装置挿入後に、耳に違和感がある等の理由でイヤホンマイク装置を付け直した場合、一般のユーザが前回と全く同位置にイヤホンマイク装置を挿入することは難しく、多くの場合、前回の挿入位置よりも若干ずれた位置に挿入することとなる。この挿入位置のずれにより、外耳道に当たって跳ね返される音響信号が変化し、音響信号を基とする認証が正確にできなくなることがある。
更に、特許文献2には、精度の高い認証を得るために他の認証手段(例えばユーザIDの入力)が必要であるという問題がある。この場合、ユーザIDを失念した場合に認証は不可能である。また、緊急の現場(例えば事故現場や救急車内)において迅速に機密性の高い情報にアクセスするための許可が必要な場合、キーボード等を介してのユーザIDの入力が、現場の雨、突風、地震の振動等により不可能となることや、ユーザIDの入力に時間を要し、素早く当該情報にアクセスできないこともある。更にユーザID入力のためのマウスやキーボードが別途必要である。
そこで、本発明は、上述した課題に鑑み、精度の高い認証を素早く実行し、認証後のなりすましを防止可能な個人認証装置等を提供することを目的とする。
上記問題点を鑑みて、本発明の第1の観点である個人認証装置は、
認証対象者の頭部の一部である伝搬路への接触を検知するセンサ手段と、
前記センサ手段が前記接触を検知すると可聴音域を含む第1音響信号を生成し、前記可聴音域よりも周波数が高い不可聴音域である第2音響信号を生成する音響信号生成手段と、
前記第1音響信号が前記頭部の一部を伝播した後の音響信号を観測し、前記第2音響信号が前記頭部の一部を伝播した後の音響信号を観測する音響信号観測手段と、
観測された前記第1音響信号が所定の条件を満たす場合に、前記認証対象者の第1認証を実行し、当該第1認証の後、前記第2音響信号が所定の条件を満たす場合に、前記第1認証が成功した認証対象者は同一人物か判断する第2認証を実行する識別手段
とを備える。
本発明の第2の観点である個人認証方法は、
認証対象者の頭部の一部である伝搬路への接触を検知し、
前記接触を検知すると可聴音域を含む第1音響信号を生成し、
前記第1音響信号が前記伝搬路を伝播した後の音響信号を観測し、
前記可聴音域よりも周波数が高い不可聴音域である第2音響信号を生成して前記伝搬路に向けて送出し、
前記第2音響信号が前記伝搬路を伝播した後の音響信号を観測し、
観測された前記第1音響信号が所定の条件を満たす場合に、前記認証対象者の第1認証を実行し、
当該第1認証の後、前記第2音響信号が所定の条件を満たす場合に、前記第1認証が成功した認証対象者は同一人物か判断する第2認証を実行する。
本発明の第3の観点である個人認証プログラムは、
認証対象者の頭部の一部である伝搬路への接触を検知し、
前記接触を検知すると可聴音域を含む第1音響信号を生成し、
前記第1音響信号が前記伝搬路を伝播した後の音響信号を観測し、
前記可聴音域よりも周波数が高い不可聴音域である第2音響信号を生成して前記伝搬路に向けて送出し、
前記第2音響信号が前記伝搬路を伝播した後の音響信号を観測し、
観測された前記第1音響信号が所定の条件を満たす場合に、前記認証対象者の第1認証を実行し、
当該第1認証の後、前記第2音響信号が所定の条件を満たす場合に、前記第1認証が成功した認証対象者は同一人物か判断する第2認証を実行する
ことをコンピュータに実現させる。個人認証プログラムは、非一時的なコンピュータ可読の記憶媒体に格納されていてもよい。
本発明によれば、精度の高い認証を素早く実行し、認証後のなりすましを防止可能な個人認証装置等を提供することができる。
本発明の第1の実施形態にかかる個人認証装置の構成例を示すブロック図である。 第1の実施形態の個人認証装置の具体的な構成例を示す構成図である。 ECTF(Ear Canal Transfer Function:外耳道伝達関数)を示すグラフである。 第1の実施形態にかかる個人認証装置におけるユーザ登録の動作を示すフローチャートである。 送出される音響信号の送信タイミングを示すチャート図である。 送出される音響信号の波形を概略的に示すグラフ図である。 観測される音響信号の波形を概略的に示すグラフ図である。 同期加算処理後の信号の波形の一例を示すグラフ図である。 音響特性としてのインパルス応答の一例を示すグラフ図である 音響特性をECTF(Ear Canal Transfer Function)で表わしたグラフ図である。 スペクトル包絡を表すグラフ図である。 複数人のスペクトル包絡を表すグラフ図である。 第1の実施形態にかかる個人認証装置におけるユーザ識別の動作を示すフローチャートである。 送出される音響信号の送信タイミングを示すチャート図である。 本発明の第2の実施形態にかかる個人認証装置の構成例を示すブロック図である。 第2の実施形態にかかる個人認証装置におけるユーザ識別の動作を示すフローチャートである。 本発明の第3の実施形態にかかる個人認証装置の構成例を示すブロック図である。 各実施形態において適用可能な情報処理装置の構成例を示すブロック図である。
一般に、人に聞こえる周波数の範囲(可聴音域)は、低い音で20Hz程度、高い音で20kHz程度である。こうした人に聞こえる音を「可聴音」、人の耳に聞こえないほど高い音を「超音波」(以下、「不可聴音」とも称呼する)、および、人の耳に聞こえないほど低い音を「超低周波音」と称呼する。人に良好に聞こえる音の周波数は2kHz−4kHz程度である。
本実施形態では、耳音響認証に、可聴音と不可聴音とを使用する。一般的にユーザは、自らが所望していない、認証用の可聴音を長時間に亘り聴かねばならぬこと又は一定の時間間隔毎に当該可聴音を聴かねばならぬことを不快に感じる。このため、耳音響認証には不可聴音を用いる方がユーザの負担が軽くて好ましいという意見もある(特許文献2参照)。
しかしながら、本願発明の発明者は、音響信号を送受信しているイヤホンマイク装置の耳への挿抜により外耳道の音響的特徴が変化する中にあっても、可聴音域の音響的特徴は不可聴音域と比して安定している、ということを発見した(詳細は後述する)。本発明の各実施形態はこの考えを基に考案されたものである。
以下、図面を参照して、本発明の各実施形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は本発明の実施形態における構成を概略的に表している。更に以下に記載される本発明の実施形態は一例であり、その本質を同一とする範囲において適宜変更可能である。
<第1の実施形態>
(個人認証装置)
本発明の第1の実施形態に係る個人認証装置100は、図1に示すように、第1音響信号生成部101、第2音響信号生成部102、音響信号観測部103、音響特性算出部104、特徴抽出部105、識別部106、第1特徴量記憶部107および第2特徴量記憶部108を備える。
第1音響信号生成部101は、可聴音域の音響信号(第1音響信号)を生成する。イヤホン14は、この第1音響信号を入力し、ユーザ(認証対象者)の頭部の一部である伝搬路に送出する。ここで、音響信号が送出される頭部の一部は、頭部中の空洞であり外に向かって開口を有するよう形成されている領域、例えば、代表的には聴覚器官の外耳道である。この他、鼻腔であってもよい。尚、外への開口部を有さない頭部中の空洞であってもよい。この他、音響効果を発現させる機器を装着できるまたは近づけることのできる領域の少なくとも一部であってもよい。
第2音響信号生成部102は、可聴音域よりも周波数が高い不可聴音域(超音波音域)の音響信号(第2音響信号)を生成する。イヤホン14はこの第2音響信号を入力し、上述したユーザの頭部の一部である伝搬路に送出する。不可聴音域は、可聴音域よりも周波数が高い不可聴音域であることが望ましい。これは第2認証においてユーザに可聴音の発生によるストレスを生じさせないためである。
音響信号観測部103は、イヤホン14に設けられたマイクロホン15の出力信号を入力し、第1音響信号生成部101から送出された可聴音域の音響信号がユーザの頭部の一部を伝搬した後の第1音響信号を観測する。更に、音響信号観測部103は、第2音響信号生成部102から送出された不可聴音域の音響信号がユーザの頭部の一部を伝搬した後の第2音響信号も観測する。尚、第2音響信号生成部102は、音響信号観測部103が第1音響信号を観測した後に、第2音響信号を生成することが好ましい。
第1および第2音響信号の伝搬路とされる頭部の一部は、より具体的には、頭部を構成する頭蓋骨、脳、感覚器およびその間の空洞の少なくとも一部であってもよい。また、伝搬した後の音響信号には、伝搬路において反射された信号も含まれる。
更に、図1においては第1音響信号生成部101と第2音響信号生成部102とは別々の部とされているが、これは同一の部または装置であっても良い。
音響特性算出部104は、音響信号観測部103が観測する第1音響信号に基づいて、ユーザの頭部の一部を伝搬する第1音響信号の音響特性(第1音響特性)を算出する。更に音響特性算出部104は、音響信号観測部103が観測する第2音響信号に基づいて、ユーザの頭部の一部を伝搬する第2音響信号の音響特性(第2音響特性)を算出する。
特徴抽出部105は、算出された第1音響特性から、音響信号を伝搬したユーザに関する特徴量(第1特徴量)を算出する。更に特徴抽出部105は、算出された第2音響特性から、音響信号を伝搬したユーザに関する特徴量(第2特徴量)を算出する。
第1特徴量記憶部107は、所定のユーザに紐付けられた第1音響特性および第1特徴量の少なくとも片方を記憶する。ユーザ数は単数であっても複数であっても良い。第2特徴量記憶部108は、所定のユーザに紐付けられた第2音響特性および第2特徴量の少なくとも片方を記憶する。即ち、一人のユーザに紐付けられる2つの特徴量(第1および第2音響特性、または、第1および第2特徴量)が、2つの記憶部(第1特徴量記憶部107および第2特徴量記憶部108)に格納される。以下、第1特徴量記憶部107および第2特徴量記憶部108に音響特性や特徴量が記憶されているユーザを、登録済みユーザという場合がある。尚、図1においては、第1特徴量記憶部107および第2特徴量記憶部108は別の記憶媒体に格納されるよう描かれているが、これは一つの記憶媒体に格納されていてもよい。更に、無線または有線の回線を介して、当該記憶媒体に接続可能に設定されていても良い。また、音響特性および特徴量のいずれを用いてもユーザ識別は可能であるが、以下においては、主に特徴量を使用して認証を行う例について説明する。
識別部106は、観測された第1音響信号が所定の条件を満たす場合に、ユーザ(認証対象者)の第1認証は成功したと判断し、第2音響信号が所定の条件を満たす場合に、第1認証が成功したユーザ(認証対象者)は同一人物か判断する第2認証は成功したと判断する。例えば、識別部106は、特徴抽出部105に抽出された第1特徴量と第1特徴量記憶部107に格納されている登録済みユーザの第1特徴量とを比較した結果(第1認証)を基に、認証対象ユーザが登録済みユーザかを判断する。更に、識別部106は、特徴抽出部105に抽出された第2特徴量と第2特徴量記憶部108に格納されている登録済みユーザの特徴量とを比較した結果(第2認証)とを基に、登録済みユーザの入れ替わり(なりすまし)が発生していないかを判断する。一般的に、第1特徴量の方は認証精度が高いが、可聴音域であるためユーザが不愉快に感じやすい。よって、識別部106は、ユーザがイヤホンマイク装置を挿入(伝搬路への接触)した直後の初回の当該ユーザの第1認証は第1特徴量を基に行う。これはイヤホンマイク装置の挿入直後であれば、数秒の可聴音は、ユーザにとって認証処理が適切に開始された合図としてストレス無く受け入れられるからである。更に可聴音域の音波は挿入時の振動、微動に対しても堅牢性があり、認証精度が高いため、認証対象のユーザが登録済みユーザか否かを高い信頼度で判別することができるからである。
識別部106は、第2特徴量を基に第2認証を行う。これはイヤホンマイク装置の使用時には、ユーザは何らかの処理をしているか別の音を聞いている可能性があり、可聴音による認証は、ユーザの集中力を途切れさせたり、ユーザが認証時にストレスを感じたりすることが考えられるためである。更に、初回の認証処理に成功したユーザであれば、不可聴音(超音波)による認証であっても、なりすまし等を判別するには十分な精度の認証となりえるからである。
尚、識別部106は、第1認証の結果が成功である場合、または、第1認証および第1認証直後の第2認証の結果が成功である場合に、所定のアクセスを許可し、当該第2認証以降の第2認証の結果が成功である場合に所定のアクセスの許可を継続するようにしてもよい。これにより初回のアクセス許可のセキュリティをより強固なものとすることができる。
(個人認証装置の構成例)
図2は、本実施形態にかかる個人認証装置の具体的な構成例を示す図である。図2に示す個人認証装置は、パーソナルコンピュータ(Personal Computer;PC)11、サウンドプロセッサ12、マイクロホンアンプ13、イヤホン14、マイクロホン15(イヤホン14とマイクロホン15とを合わせてイヤホンマイク装置17と称呼する)、およびセンサ18を備える。なお、符号16は、認識対象とされるユーザを表す。
イヤホン14は上述した第1音響信号生成部101および第2音響信号生成部102が送出する音響信号を出力する。また、マイクロホン15は、音響信号を受信し音響信号観測部103に出力する。なお、図2で示すように、マイクロホン15とイヤホン14は、相対的な位置関係が変化しないよう一体型であることが望ましい。ただし、両者の相対的な位置関係が大きく変わらない場合にはその限りではない。イヤホンマイク装置17は、音響信号の伝搬路の一片に当接状態、圧接状態または略嵌合状態で保持される。図2に示す例では、イヤホン14、マイクロホン15、センサ18の構成例として、これらが一体した型のイヤホンマイク装置17を挙げている。このイヤホンマイク装置17は、外耳道入口の中に挿入する。センサ18は、認証対象者の頭部の一部である伝搬路への接触を検知する。一般的にセンサ18は、ユーザが体にこのようなイヤホンマイク装置17を装着しているかを判断可能なセンサ、例えば、温感センサ、光センサ、タッチセンサである。
イヤホンマイク装置17は、上記の例以外に、耳介を覆うタイプのヘッドホンにマイクロホンを設けたもの(耳介タイプのマイクロホン一体型イヤホンマイク装置)によって実現されてもよい。また、イヤホンマイク装置17は、受話器部分にマイクロホンを設けた電話機によって実現されてもよい。なお、そのような場合に、左の外耳道入口等に位置するイヤホン14から送出した音響信号を、右耳の外耳道入口等に位置するマイクロホン15で観測する、またはこの反対を行うなど、左右で機能を分けてもよい。
音響特性算出部104、特徴抽出部105および識別部106は、それぞれPC11が備える、個人認証プログラムに従って動作するCPU(Central Processing Unit)及びメモリにより実現される。PC11の具体的構成例については後述する(図18参照)。また、第1特徴量記憶部107および第2特徴量記憶部108は、PC11が備えるハードディスク等の記憶媒体により実現される。
次に、可聴音域と不可聴音域との認証の堅牢性の違いについて説明する。図3は、同一人物がイヤホンマイク装置17の同耳への挿抜を10回繰り返した際の、ECTF(Ear Canal Transfer Function:外耳道伝達関数)を示すグラフである。当該グラフの縦軸は音波の振幅(dB:デシベル)を示し、横軸は周波数(Hz:ヘルツ)を示す。図3を参照すると、0kHz<周波数<20kHz程度までは、挿抜を繰り返してもECTFのグラフは高い割合で重複する。即ち、イヤホンマイク装置17の挿入位置の微動に対しても高い堅牢性(再現性)を有する。尚、同グラフが示すように、20kHz以降はECTFの再現性は徐々に低くなっていく。可聴音の高音域は上述のように20kHz程度であるため、ECTFにおいて、可聴音は不可聴音と比して、挿抜動作に左右されず、認証率が高いと換言できる。尚、一般的に、可聴音域の認証成功率は97%程度、不可聴音域の認証成功率は90%程度とされる。よってこれら可聴音域および不可聴音域の認証結果を組み合わせれば、可聴音域のみでの認証よりもユーザに負担がかからず、不可聴音域のみでの認証結果よりも高い精度の認証結果を得ることができる。
(個人認証装置の動作)
次に、第1の実施形態に係る個人認証装置100の動作について説明する。本実施形態の動作は、「1.ユーザの登録」と「2.ユーザの識別」とに分けられる。
以下、「1.ユーザの登録」の動作について図4に示すフローチャートを参照して説明する。尚、ユーザの登録であるか識別であるかの判断は、識別部106が行う。識別部106は、例えば、第1特徴量記憶部107に一致する特徴量が格納されていない場合、イヤホンマイク装置17の電源が投入された場合、または、ユーザのイヤホンマイク装置17の挿入を、音響信号観測部103が音響信号の変化により検知した場合等にユーザ登録処理であると判断する。尚、判断手法はこれに限られない。
まずステップS101において、第1音響信号生成部101は、第1音響信号を生成し、イヤホン14から出力する。その次に第2音響信号生成部102は、第2音響信号を生成し、イヤホン14から送出する。図5は、第1音響信号および第2音響信号の送出のタイミングを模式的に示すチャートである。当該グラフの縦軸は周波数(kHz)を示し、横軸は時間(t)を示す。最初に、第1音響信号生成部101が、認証対象となるユーザの頭部の一部に向けて、所定間隔(n)毎に可聴音域の第1音響信号を複数回送出する。これは精度の観点から複数回数送出されることが好ましいからである。図5では第1音響信号生成部101は、0.2秒毎に可聴音として最低限の周波数(説明の簡略のため図5では0kHzと例示される)から20kHzまでの第1音響信号を5回送出する。
その後、第2音響信号生成部102は、上述した第1音響信号生成部101と同様に、認証対象となるユーザの頭部の一部に向けて、所定間隔(n)毎に不可聴音域の第2音響信号を複数回送出する。例えば、図5では、第2音響信号生成部102は、0.2秒毎に20kHzから40kHzまでの第2音響信号を5回送出する。
尚、第1音響特性および第1特徴量が抽出されるのは可聴音域であり、第2音響特性および第2特徴量が抽出されるのは不可聴音域であることが好ましいが、必ずしもこれに限られることはない。これは、認証対象となるユーザの頭部等の形状や、使用する音響信号および特徴量の種類によっては、精度の高い音響信号および特徴量が抽出できる周波数の範囲が異なる場合があるからである。このため、設計者は、可聴音域および不可聴音域のうち、高い精度で音響特性等が算出可能な帯域を設定しても良い。
図6は送出される音響信号(第1音響信号および第2音響信号)の波形を時間領域表現で概略的に示すグラフ図である。縦軸は時刻tにおける計測された音響信号の信号値の振幅、横軸は時間tを表わす。第1音響信号生成部101および第2音響信号生成部102が生成した音響信号は、例えば、外耳道入口から外耳道に向けて送出されてもよい。このとき、これらの音響信号には、インパルス応答(Impulse Response)を計測する目的で広く用いられているM系列信号(maximal length sequence)や、TSP(Time Stretched Pulse)信号等を使ってもよい。
尚、送出間隔や音域(周波数)の設定値は一例であり、使用する機器や用途等に応じ適宜変更が可能である。
ステップS102において、音響信号観測部103は、認証対象であるユーザの頭部の一部を伝搬した後の第1音響信号を観測する。同様に、音響信号観測部103は、認証対象のユーザの頭部の一部を伝搬した後の第2音響信号を観測する。
図7は観測される音響信号(第1音響信号および第2音響信号)の波形を時間領域表現で概略的に示すグラフ図である。当該グラフにおいて、縦軸は時刻tにおける計測された音響信号の信号値(振幅)を示し、横軸は時間(t)を示す。観測される第1音響信号は、外耳道伝播の際に、心拍音、運動音(関節音や筋肉音)、呼吸音、発声音等の、体内で発生する雑音の影響を受け、図6のグラフから図7のグラフのように変化する。
更に、音響信号観測部103は、同期加算処理を行い、観測された音響信号(第1音響信号および第2音響信号)内の雑音を除去する。図8は、上述した0.2秒間における同期加算処理後の信号の波形を示す。
ステップS103において、音響特性算出部104は、送出された第1音響信号(図6参照)と観測された(同期加算処理後のものも含む)第1音響信号(図7、図8参照)とを比較して、それらの変化から、第1音響信号がユーザの頭部の一部を伝搬する際の音響特性(第1音響特性)を算出する。同様に、音響特性算出部104は、送出された第2音響信号(図6参照)と観測された(同期加算処理後のものも含む)第2音響信号(図7、図8参照)とを比較して、それらの変化から、第2音響信号がユーザの頭部の一部を伝搬する際の音響特性(第2音響特性)を算出する。
音響特性(第1音響特性および第2音響特性)とは、音響信号を送出した際に、それが対象(本発明ではユーザの頭部の一部)をどのように伝播して観測されるかを表す特性である。観測される音響信号は送出された信号に依存して変わるが、原理的に、インパルス信号と呼ばれる突発的で非常に短い音響信号を送出した際に観測される信号がわかれば、任意の送出信号に対する観測信号が計算できるため、インパルス信号に対して観測される信号、すなわちインパルス応答が代表的な音響特性である。また、インパルス応答にフーリエ解析を施して得られる伝達関数(TF:Transfer Function)もまた、代表的な音響特性である。音響特性には、音響信号が生体内でどのように反射および/または減衰するかの情報が含まれることが好ましい。
以下、伝搬路が外耳道であることを前提として説明する。図9は、音響特性算出部104により算出された音響特性を時間領域表現で示したECIR(Ear Canal Impulse Response:外耳道インパルス応答)のグラフである。図9に示すグラフは、横軸が時刻tを示し、縦軸が時刻tにおける観測された音響信号の外耳道インパルス応答の値h(t)を示す。尚、送出される音響信号の信号値x(t)と、伝搬後に観測される音響信号の信号値y(t)と、外耳道インパルス応答の値h(t)との間には以下の式(1)に示す関係性がある。尚、τはシフト係数である。
Figure 0006835956
音響特性は、ECTF(Ear Canal Transfer Function:外耳道伝達関数)であってもよい。図10は図9に示す音響特性を周波数領域で表わしたECTFのグラフである。当該グラフは、縦軸が振幅(dB)を示し、横軸が周波数(kHz)を示す。当該グラフでは、不可聴音域と比して、可聴音域には複数の極大(山)と極小(谷)が鮮明に観測されることが分かる。
ステップS104において、特徴抽出部105は、音響特性算出部104により算出された第1音響特性から特徴量(第1特徴量)を算出する。
ここで特徴量(第1特徴量および後述する第2特徴量)とは、音響信号に何らかの処理を施して抽出された、求められる処理(本発明では個人の認証)にとって有用な数値である。音響特徴量とも称呼される。例えば、音声認識で広く用いられるMFCC(Mel-Frequency Cepstrum Coefficients:メルケプストラム係数)は、音響信号に対してフーリエ解析、対数化、メル変換、離散コサイン変換などの処理を施して得られる、代表的な音響特徴量である。MFCCは、人間の音声知覚を考慮しつつ声道特性を表わす。尚、ECIRをFFT (Fast Fourier Transform:高速フーリエ変換)処理したものがECTFであり、ECTFに上述の処理を施して得られるケプストラムの低次成分がMFCCである。
第1特徴量には、音響特性として算出されたインパルス応答や伝達関数がそのまま用いられてもよい。すなわち、特徴抽出部105は、第1音響特性としてのインパルス応答の各時刻の値や伝達関数の各周波数の値を特徴量としてもよい。
図11はあるECTFスペクトル包絡を表すグラフである。当該グラフにおいて、横軸は周波数(Hz)を示し、縦軸は音圧を示す(共に対数尺度)。図11のグラフに示すユーザの特徴量は、1.5kHz−1.8kHz辺りに最初の極大を形成し、3kHz−4kHz辺りに最初の極小を形成し、5kHz−8kHz辺りに再度極大を形成する。5kHz−8kHz辺りの極大時における外耳道外口から鼓膜までの距離は平均2−3cm程度である。この形状またはこれに関連する数値が当該ユーザの特徴量となる。図12にスペクトル包絡を表わす別のグラフを示す。図12(a)は男性A、図12(b)は男性B、図12(c)は女性Cに対応する1回目および30回目測定時のMFCCのグラフを示している。グラフ中、丸で囲まれた箇所が各人に固有の特徴となる。尚、低音(可聴音域)であるため、1回目の計測であろうと30回目の計測であろうと高い一致率となることがグラフから観測される。
特徴抽出部105は、同様の手法により、音響特性算出部104により算出された第2音響特性からも特徴量(第2特徴量)を算出する。
ステップS105において、識別部106は、特徴抽出部105から取得する第1特徴量を第1特徴量記憶部107に格納する。更に、識別部106は、特徴抽出部105から取得する第2特徴量を第2特徴量記憶部108に格納する。具体的に、例えば特徴量がECTFだとすると、識別部106は、図10に示すグラフの0kHz−20kHzのグラフまたはこれらを表わす数値を第1特徴量として第1特徴量記憶部107に格納し、20kHz−40kHzのグラフまたはこれらを表わす数値を第2特徴量として第2特徴量記憶部108に格納する。
以上により、ユーザ登録処理は終了する。
次に、「2.ユーザの識別」の動作について図13に示すフローチャートを参照して説明する。尚、ステップS201〜S207までが可聴音域での第1特徴量を利用した第1認証処理であり、ステップS208〜S215までが不可聴音域での第2特徴量を利用した第2認証処理である。
まず認証対象者がイヤホンマイク装置17を自らの頭部の一部である伝搬路(例えば外耳道入口)に挿入すると、センサ18が伝搬路への接触を検知する。ステップS201において、第1音響信号生成部101が、可聴音域の信号(第1音響信号)を生成し、所定間隔毎にイヤホン14を介し伝搬路へ送出する。
ステップS202において、音響信号観測部103は、第1音響信号が、認証対象であるユーザの頭部の一部を伝搬した後の音響信号を、マイクロホン15を介し受信し、観測する。
図14は、まずステップS201およびS202における、第1音響信号および第2音響信号の送出のタイミングを模式的に示すチャートである。当該グラフの縦軸は音波の周波数(kHz)を示し、横軸は時間(t)を示す。最初に、第1音響信号生成部101が、認証対象となるユーザの頭部の一部に向けて、所定間隔(n)毎に、生成した可聴音域の第1音響信号を複数回(図14では5回)送出する。その後、第2音響信号生成部102は、上述した第1音響信号生成部101と同様に、認証対象となるユーザの頭部の一部に向けて、所定間隔(n)毎に、生成した不可聴音域の第2音響信号を生成し、複数回(図14では5回)イヤホン14を介して伝搬路へ送出する。
ステップS203において、音響特性算出部104は、第1音響信号と、音響信号観測部103に観測された第1音響信号とを比較して、それらの変化から、第1音響信号がユーザの頭部の一部を伝搬した際の該音響信号の音響特性(第1音響特性)を算出する。
ステップS204において、特徴抽出部105は、音響特性算出部104により算出された第1音響特性から特徴量(第1特徴量)を算出する。
ステップS205において、識別部106は、特徴抽出部105から取得する第1特徴量が、第1特徴量記憶部107に格納される特徴量のいずれかと一致するか、即ち認証対象であるユーザが登録済みユーザであるかを判断する。
ステップS206において、識別部106は、登録済みユーザであると判断した場合、処理をステップS207へ進める。一致しない場合、処理はステップS215へ進められる。
ステップS207において、識別部106は、第1認証処理が成功したとして、登録済みユーザに所定装置へのアクセス行為を許可する。所定装置へのアクセスとは、例えば、あるシステムへのログイン、ログイン後のシステム等内部のアプリケーションやデータベースの使用である。使用可能なアプリケーションやデータベースは登録済みユーザ毎に異なるように設定されても良い。
ステップS208において、所定時間、例えば10秒が経過すると、処理はステップS209に進められ、アクセス許可を継続するかの第2認証処理が実行される。
まずステップS209において、第2音響信号生成部102が、認証対象となるユーザの頭部の一部に向けて、生成した不可聴音域の信号(第2音響信号)を、イヤホン14を介して、所定間隔毎に送出する。
ステップS210において、音響信号観測部103は、第2音響信号が、認証対象であるユーザの頭部の一部を伝搬した後の音響信号を、マイクロホン15を介して受信し、観測する。
ステップS211において、音響特性算出部104は、第2音響信号と、音響信号観測部103に観測された第2音響信号とを比較して、それらの変化から、第2音響信号がユーザの頭部の一部を伝搬した際の該音響信号の音響特性(第2音響特性)を算出する。
ステップS212において、特徴抽出部105は、音響特性算出部104により算出された第2音響特性から特徴量(第2特徴量)を算出する。
ステップS213において、識別部106は、特徴抽出部105から取得する第2特徴量が、第2特徴量記憶部108に格納される特徴量のいずれかと一致するか、即ち認証対象であるユーザが登録済みユーザであるかを判断する。
ステップS214において、識別部106は、登録済みユーザであると判断した場合、処理をステップS216へ進める。一致しない場合、処理はステップS215へ進められる。
ステップS215において、識別部106は、第1認証処理または第2処理が失敗したとして、認証対象ユーザの所定装置へのアクセスを不許可とし、当該アクセスを切断する。
ステップS216において、識別部106は、第2認証処理が成功したとして、登録済みユーザの所定装置へのアクセス行為の継続を許可する。その後、処理はステップS208へ進められ、所定時間の経過後に再度第2認証処理が実行される。具体的には、図14に示す、最初の第2の音響信号送信後の待ち時間(m)の経過後に、再度、第2の音響信号が送信される。
尚、第2認証処理は、センサ18が、ユーザによるイヤホンマイク装置17の抜去を検知しない限り繰り返される。
逆に、センサ18が、イヤホンマイク装置17の挿入を検知すると、次は「1.ユーザの登録」の処理が再度開始される。イヤホンマイク装置17の挿入の検知は、センサ18以外を用いても良い。例えば、ユーザにイヤホンマイク装置17の挿抜行為の都度、イヤホンマイク装置の電源投入を依頼しても良い。または、ユーザのイヤホンマイク装置17の挿入を、音響信号観測部103が観測する音響信号の変化により検知してもよい。
この他、識別部106は、1対1認証を用いてもよいし、1対N認証を用いてもよい。ここで、Nは1以上の整数である。
識別部106は、1対1認証を用いる場合には、認証対象とされたユーザの特徴量(特徴抽出部105により得られた特徴量)と、登録済みユーザとの特徴量とを、1対1で比較する。このとき、個人認証装置の管理者は、予めユーザIDなどを用いて、どの登録済みユーザとの比較を行うかの指定を、識別部106に与えてもよい。識別部106は、1対1認証を用いる場合に、例えば、認証対象とされたユーザの特徴量と、指定された登録済みユーザの特徴量との間の距離を計算し、距離が閾値よりも小さい場合に、両者が同一人であると判定してもよい。一方、ユーザ識別部106は、計算された距離が閾値よりも大きい場合に、両者が異なる人間であると判定してもよい。
識別部106は、1対N認証を用いる場合には、認証対象となるユーザと、登録済みユーザN人とを比較する。識別部106は、認証対象となるユーザの特徴量に対して、N人の登録済みユーザの各々の特徴量との間の距離を計算し、適当な閾値を設け、当該閾値内において最も距離の近い登録済みユーザが、認証対象とされたユーザであると判定する。また、識別部106は、1対1認証と1対N認証とを組み合わせて用いることも可能である。その場合、ユーザ識別部106は、1対N認証を行って最も距離の小さい登録済みユーザを抽出した後で、抽出された登録済みユーザを比較対象にして1対1認証を行ってもよい。また、算出する距離の尺度は、ユークリッド距離(Euclid distance)、コサイン距離(cosine distance)等が考えられるが、これらに限定されない。
また、上記では、第1特徴量記憶部107および第2特徴量記憶部108が、予め複数人から得られた特徴量を記憶する例を説明したが、特徴量の代わりに統計モデルを保存してもよい。統計モデルは、例えば、ユーザ毎に複数回特徴量を取得して、その平均値と分散値またはそれらを用いて算出された関係式であってもよい。また、統計モデルは、GMM(Gaussian Mixture Model)や、SVM(Support Vector Machine)、ニューラルネットワークを使ったモデル等であってもよい。
(第1の実施形態の変形例)
図13のステップS207において、識別部106は、第1認証処理が成功した場合に、登録済みユーザに所定装置へのアクセス行為を許可していた。しかしながら、識別部106は、第1認証処理および初回の第2認証処理が成功した場合に、登録済みユーザに所定装置へのアクセス行為を許可してもよい。具体的には、識別部106は、ステップS214でYESであった場合に、登録済みユーザに所定装置へのアクセス行為を許可(ステップS207)してもよい。このように設計変更することで、アクセス許可をより厳格に行い、ひいては認証のセキュリティを高めることができる。
(第1の実施形態の効果)
上述したように、本発明の第1の実施形態によると、イヤホンマイク装置単体の装着で、挿入時においても精度の高い認証を素早く実行し、認証後のなりすましを防止可能な個人認証装置等を提供することができる。この理由は、識別部106が、観測された第1音響信号が所定の条件を満たす場合に、認証対象者の第1認証を実行し、当該第1認証の後、第2音響信号が所定の条件を満たす場合に、第1認証が成功した認証対象者は同一人物か判断する第2認証を実行するからである。本実施形態においては、挿入をセンサ部301が検知し、これをトリガとして、可聴音域を含む第1音響信号の伝搬結果を、その後、当該可聴音域よりも周波数の高い不可聴音域を含む第2音響信号の伝搬結果を取得し、これらを基に、識別部106が、ユーザが登録済みユーザかの判断(第1認証)を行い、第1認証にて登録済みユーザと判断されたユーザの入れ違い(なりすまし)が発生していないかの判断(第2認証)を行うからである。
<第2の実施形態>
第1の実施形態に係る認証装置100においては、第2認証処理は予め定められた時間間隔で行われていた。しかしながら、長時間にわたる第2認証処理となると、超音波を短い時間間隔毎で出力し続けるのは電力が必要な上、認証を長時間継続するユーザの体質によってはそれが負担となる可能性もある。よって、第2の実施形態においては、第2認証処理が一定回数以上成功したユーザ、即ち、なりすまし行為を行っていない実績があるユーザに対しては、第2認証処理の回数を段階的に減じるようにする個人認証装置200について説明する。
(個人認証装置)
本発明の第2の実施形態に係る個人認証装置200は、図15に示すように、第1音響信号生成部101、第2音響信号生成部102、音響信号観測部103、音響特性算出部104、特徴抽出部105、識別部106、第1特徴量記憶部107および第2特徴量記憶部108、検知部109、カウンタ部110および調整部111を備える。
検知部109は、ユーザのイヤホンマイク装置17(図2参照)の外耳道への挿抜を検知する。検知部109は、例えば、温感センサ、光センサ、タッチセンサである。検知部109は、音響信号観測部103が観測する音響信号の変化により、挿抜を検知してもよい。判断手法はこれに限られない。
検知部109は、イヤホンマイク装置17の挿入(伝搬路への接触)を検知すると第1音響信号生成部101に当該検知結果を出力する。これは第1認証の開始となる第1音響信号の送出のタイミングを通知するためである。逆に、検知部109は、イヤホンマイク装置17の抜去(伝搬路との非接触)を検知すると、カウンタ部110のカウンタ値を初期値(例えば0)に戻し、第1音響信号生成部101および第2音響信号生成部102に当該検知結果を出力する。これは音響信号の送出を停止させ、第1および第2認証を停止するためである。
カウンタ部110は、認証対象のユーザが、第1認証に成功したと識別された回数、第2音響信号が送出された回数等をカウントする。カウンタ部110は、第1音響信号が送出された回数をカウントしても良い。カウンタ部110は、第1認証処理および第2認証処理の回数をカウントしてもよい。
一例として、認証処理をカウントする場合、カウントは第1認証処理の回数「1回」、第2認証処理の回数「45回」のように個別にカウントしてもよいし、1回目を第1認証回数としてカウントし、n回目の第2認証処理を(n−1)回目と算出しても良い。
調整部111は、第2認証処理の成功回数に応じて、第2認証処理の待ち時間間隔を調整する。例えば、認証成功回数がp回以上であると待ち時間を(初期値+q)秒遅延させ、認証成功回数の絶対値の大きさに応じて待ち時間を長くするようにする。具体例として、認証成功回数が10回以上となると待ち時間を(初期値+5)秒と設定し、更に、認証成功回数が20回以上となると待ち時間を(初期値+10)秒と設定する。調整部111は調整された待ち時間の間隔で第2音響信号を送出するよう第2音響信号生成部102を制御する。
他の装置は第1の実施形態と同様である。
(個人認証装置の動作)
次に、第2の実施形態にかかる個人認証装置200の動作について説明する。個人認証装置200の動作は「1.ユーザの登録」と「2.ユーザの識別」とに分けられる。「1.ユーザの登録」の動作については、第1の実施形態(図4)と同様である。以下、「2.ユーザの識別」の動作について図16に示すフローチャートを参照して説明する。
まず認証対象者がイヤホンマイク装置17を自らの頭部の一部である伝搬路(例えば外耳道入口)に挿入すると、センサを構成する検知部109が伝搬路への接触を検知する。以後、ステップS301〜S316の動作については第1の実施形態の動作(図13のフローチャートのステップS201〜S216参照)と同様である。
ステップS317において、カウンタ部110は、例えば、識別部106における第1認証処理および第2認証処理の成功回数をカウントする。カウントは第1認証処理の回数および第2認証処理の回数を個別にカウントしてもよいし、これらを合算してカウントしてもよい。尚、カウンタ部110は、第1音響信号生成部101および第2音響信号生成部102からの音響信号送出回数をカウントしてもよい。尚、イヤホンマイク装置17の抜去が検知部109により検知されたことが通知されると、カウンタ部110は、カウンタ値を初期値(例えば0)に戻す。
ステップS318において、調整部111は、カウンタ部110がカウントする認証成功回数が、所定数以上となったか判断する。所定数以上となった場合、処理はステップS319に進められる。所定の回数以上ではない場合、処理はステップS308へ進められる。
ステップS319において、調整部111は、当該認証成功回数に応じて、第2認証処理の待ち時間間隔を決定する。調整部111は待ち時間間隔を決定するための数式や決定表を備えていても良い。調整部111は決定された待ち時間の間隔で第2音響信号を送出するよう、第2音響信号生成部102を制御する。これにより、第2音響信号生成部102は、決定された待ち時間間隔で生成した第2音響信号を送出する。
(第2の実施形態の変形例)
第2の実施形態においては、イヤホンマイク装置17の抜去が検知されると、カウンタ部110のカウンタ値を初期値に戻し、「1.ユーザの登録」の処理が再度開始されていた(即ち、再度第1音響信号が送出される)。しかしながら、これ以外にも、ユーザの負担とならない程度であれば第1音響信号生成部101は第1の音響信号の送出を行っても良い。例えば、カウンタ部110の第2認証処理の成功回数が所定数Aを超えた場合、または当該成功回数がこのAの倍数となった場合をトリガとして、第1音響信号生成部101は第1の音響信号の送出を行っても良い。
(第2の実施形態の効果)
上述したように、本発明の第2の実施形態によると、第1の実施形態と同様の効果、即ち、イヤホンマイク装置単体の装着で、挿入時においても精度の高い認証を素早く実行し、認証後のなりすましを防止可能な個人認証装置等を提供することができる。更に、認証成功回数に応じて、認証処理の待ち時間間隔を調整し、カウンタ部110がカウントする認証成功回数に応じて、調整部111が第2音響信号の送出間隔を決定する。このことにより、なりすまし行為を行っていない実績が積まれているユーザに対しては、第2認証処理の回数を段階的に減じることができる。この結果、超音波出力のための電力を削減することができ、ユーザの体内の認証箇所に負担をかける可能性を少なくすることができる。
<第3の実施形態>
本発明の第3の実施形態に係る個人認証装置300は、図17に示すように、センサ部301、音響信号生成部302、音響信号観測部303および識別部304を備える。
センサ部301は、認証対象者の頭部の一部である伝搬路への接触を検知する。
音響信号生成部302は、センサ部301が接触を検知すると、可聴音域を含む第1音響信号を生成し、更に、当該可聴音域よりも周波数が高く可聴音域を含まない不可聴音域である第2音響信号を生成し、伝搬路に向けて送出する。
音響信号観測部303は、第1音響信号が頭部の一部を伝播した後の音響信号を観測し、第2音響信号が頭部の一部を伝播した後の音響信号を観測する。
識別部304は、観測された第1音響信号が所定の条件を満たす場合に、認証対象者の第1認証を実行し、当該第1認証の後、第2音響信号が所定の条件を満たす場合に、前記第1認証が成功した認証対象者は同一人物か判断する第2認証を実行する。
本発明の第3の実施形態によると、イヤホンマイク装置単体の装着で、挿入時においても精度の高い認証を素早く実行し、認証後のなりすましを防止可能な個人認証装置等を提供することができる。この理由は、識別部304が、観測された第1音響信号が所定の条件を満たす場合に、認証対象者の第1認証を実行し、当該第1認証の後、第2音響信号が所定の条件を満たす場合に、第1認証が成功した認証対象者は同一人物か判断する第2認証を実行するからである。本実施形態においては、挿入をセンサ部301が検知し、これをトリガとして、可聴音域を含む第1音響信号の伝搬結果を、その後、当該可聴音域よりも周波数の高い不可聴音域を含む第2音響信号の伝搬結果を取得し、これらを基に、識別部106が、ユーザが登録済みユーザかの判断(第1認証)を行い、第1認証にて登録済みユーザと判断されたユーザの入れ違い(なりすまし)が発生していないかの判断(第2認証)を行うからである。
上述した本発明の各実施形態において、個人認証装置100、200、300は、イヤホンマイク装置17内部に個人認証プログラムを搭載し、単体装置で認証を行っても良い。図2に示すようにイヤホンマイク装置17とPC11とを接続し、全体動作の制御をPC11側で行っても良い。即ち、PC11側の個人認証用のアプリケーションプログラムを以下のような構成の下で使用してもよい。
(情報処理装置)
上述した本発明の各実施形態において、図1、2等に示す個人認証装置における各構成要素の一部又は全部は、例えば図18に示すような情報処理装置500(PC11)とプログラムとの任意の組み合わせを用いて実現することも可能である。情報処理装置500は、一例として、以下のような構成を含む。
・CPU(Central Processing Unit)501
・ROM(Read Only Memory)502
・RAM(Random Access Memory)503
・RAM503にロードされるプログラム504a
・プログラム504bおよび他のデータを格納する記憶装置505
・記録媒体506の読み書きを行うドライブ装置507
・通信ネットワーク509と接続する通信インタフェース508
・データの入出力を行う入出力インタフェース510
・各構成要素を接続するバス511
本願の各実施形態における個人認証装置の各構成要素は、これらの機能を実現するプログラム504bをCPU501が取得して実行することで実現される。個人認証装置の各構成要素(例えば、音響信号生成部、音響信号観測部および識別部)の機能を実現するプログラム504bは、例えば、予め記憶装置505やRAM503に格納されており、必要に応じてCPU501が読み出す。なお、プログラム504bは、通信ネットワーク509を介してCPU501に供給されてもよいし、予め記録媒体506に格納されており、ドライブ装置507が当該プログラムを読み出してCPU501に供給してもよい。
尚、入出力インタフェース510は、図2に示すセンサ18およびサウンドプロセッサ12等と接続されている。記憶装置505は、図1および図15に示す特徴量記憶部(第1特徴量記憶部および第2特徴量記憶部)504aを備えている。
各装置の実現方法には、様々な変形例がある。例えば、個人認証装置は、構成要素毎にそれぞれ別個の情報処理装置とプログラムとの任意の組み合わせにより実現されてもよい。また、個人認証装置が備える複数の構成要素が、一つの情報処理装置500とプログラムとの任意の組み合わせにより実現されてもよい。
また、個人認証装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
個人認証装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
個人認証装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
以上、本実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
本発明は、例えば、緊急性を要し、かつ、機密情報にアクセスが必要な現場、例えば、救急隊員、警察官、自衛隊等の迅速かつ高精度の認証が必要なシステムにおいて適用可能である。さらには、オーディオデバイスを用いて個人を認証する個人認証装置等にも適用可能である。また、そのような個人認証装置等を利用したパーソナライズシステム、コンテンツ権利管理システム、通信制御システム等にも適用可能である。
11 PC
12 サウンドプロセッサ
13 マイクロホンアンプ
14 イヤホン
15 マイクロホン
16 ユーザ
17 イヤホンマイク装置
18 センサ
101 第1音響信号生成部
102 第2音響信号生成部
103 音響信号観測部
104 音響特性算出部
105 特徴抽出部
106 識別部
107 第1特徴量記憶部
108 第2特徴量記憶部
109 検知部
110 カウンタ部
111 調整部
100 個人認証装置
200 個人認証装置
300 個人認証装置
301 センサ部
302 音響信号生成部
303 音響信号観測部
304 識別部
500 情報処理装置
501 CPU
503 RAM
504b プログラム
505 記憶装置
506 記録媒体
507 ドライブ装置
508 通信インタフェース
509 通信ネットワーク
510 入出力インタフェース
511 バス

Claims (10)

  1. 認証対象者の頭部の一部である伝搬路への接触を検知するセンサ手段と、
    前記センサ手段が前記接触を検知すると可聴音域を含む第1音響信号を生成し、前記可聴音域よりも周波数が高い不可聴音域である第2音響信号を所定の時間間隔ごとに生成する音響信号生成手段と、
    前記第1音響信号が前記頭部の一部を伝播した後の音響信号を観測し、前記第2音響信号が前記頭部の一部を伝播した後の音響信号を観測する音響信号観測手段と、
    観測された前記第1音響信号に基づいて算出された第1特徴量が、いずれかの登録第1特徴量と一致する場合に、前記認証対象者の第1認証は成功したと判断し、当該第1認証の後、前記第2音響信号に基づいて算出された第2特徴量が、いずれかの登録第2特徴量と一致する場合に、前記第1認証が成功した認証対象者は同一人物か判断する第2認証は成功したと判断する識別手段と、
    前記第2認証の成功の回数をカウントするカウンタ手段と、
    前記カウンタ手段がカウントする前記回数を取得し、取得する当該回数が所定数を超えていると判断すると、前記時間間隔を長くするよう調整する調整手段と、
    を備える個人認証装置。
  2. 前記識別手段は、前記第1認証が成功した場合は前記第2認証を行い、前記第1認証が失敗した場合は前記第2認証を実行しない
    請求項1に記載の個人認証装置。
  3. 観測された前記第1音響信号の伝搬後の音響信号から第1音響特性を算出し、観測された前記第2音響信号の伝搬後の音響信号から第2音響特性を算出する音響特性算出手段を更に備え、
    前記識別手段は、前記第1音響特性および前記第1音響特性から抽出される第1特徴量の少なくとも片方を含む情報に基づき前記第1認証を実行し、前記第2音響特性および前記第2音響特性から抽出される第2特徴量の少なくとも片方を含む情報に基づき前記第2認証を実行する
    請求項1または請求項2に記載の個人認証装置。
  4. 前記音響信号生成手段は、前記音響信号観測手段が前記第1音響信号を観測した後に、前記第2音響信号を送出する
    請求項1乃至請求項3のいずれか一項に記載の個人認証装置。
  5. 前記識別手段は、前記第1認証の結果が成功である場合、または、前記第1認証の結果および前記第1認証直後の前記第2認証の結果が成功である場合に、所定のアクセスを許可し、当該第2認証以降の前記第2認証の結果が成功である場合に所定のアクセスの許可を継続する
    請求項1乃至請求項4のいずれか一項に記載の個人認証装置。
  6. 予め、一人ないし複数人に紐付けられた、前記第1および第2音響特性、前記第1および第2特徴量の少なくとも片方を記憶する記憶手段を備え、
    前記識別手段は、算出された前記第1および第2音響特性と前記記憶手段に記憶された前記第1および第2音響特性とを比較して、または、抽出された前記第1および第2特徴量と前記記憶手段に記憶された前記第1および第2特徴量とを比較して、前記第1認証に成功した認証対象者であるか識別する
    請求項3に記載の個人認証装置。
  7. 前記第1認証の成功回数および前記第2認証の成功回数の少なくとも片方をカウントするカウンタ手段
    を更に備え、
    前記センサ手段は、前記接触が非接触となったことを検知すると、前記カウンタ手段のカウンタ値を初期値に戻す
    請求項1乃至請求項6のいずれか一項に記載の個人認証装置。
  8. 前記カウンタ手段がカウントする認証成功回数を取得し、当該認証成功回数が所定数を超えていると判断すると、前記音響信号観測手段が前記第1音響信号を観測した後から、前記音響信号生成手段が前記第2音響信号を送出するまでの時間間隔を長くするよう調整する調整手段
    を更に備える請求項7に記載の個人認証装置。
  9. 認証対象者の頭部の一部である伝搬路への接触を検知し、
    前記接触を検知すると可聴音域を含む第1音響信号を生成し、
    前記第1音響信号が前記伝搬路を伝播した後の音響信号を観測し、
    前記可聴音域よりも周波数が高い不可聴音域である第2音響信号を所定の時間間隔ごとに生成し、
    前記第2音響信号が前記伝搬路を伝播した後の音響信号を観測し、
    観測された前記第1音響信号に基づいて算出された第1特徴量が、いずれかの登録第1特徴量と一致する場合に、前記認証対象者の第1認証は成功したと判断し
    当該第1認証の後、前記第2音響信号に基づいて算出された第2特徴量が、いずれかの登録第2特徴量と一致する場合に、前記第1認証が成功した認証対象者は同一人物か判断する第2認証は成功したと判断し、
    前記第2認証の成功の回数をカウントし、
    カウントされた前記回数を取得し、取得する当該回数が所定数を超えていると判断すると、前記時間間隔を長くするよう調整する
    個人認証方法。
  10. 認証対象者の頭部の一部である伝搬路への接触を検知し、
    前記接触を検知すると可聴音域を含む第1音響信号を生成し、
    前記第1音響信号が前記伝搬路を伝播した後の音響信号を観測し、
    前記可聴音域よりも周波数が高い不可聴音域である第2音響信号を所定の時間間隔ごとに生成し、
    前記第2音響信号が前記伝搬路を伝播した後の音響信号を観測し、
    観測された前記第1音響信号に基づいて算出された第1特徴量が、いずれかの登録第1特徴量と一致する場合に、前記認証対象者の第1認証は成功したと判断し
    当該第1認証の後、前記第2音響信号に基づいて算出された第2特徴量が、いずれかの登録第2特徴量と一致する場合に、前記第1認証が成功した認証対象者は同一人物か判断する第2認証は成功したと判断し、
    前記第2認証の成功の回数をカウントし、
    カウントされた前記回数を取得し、取得する当該回数が所定数を超えていると判断すると、前記時間間隔を長くするよう調整する
    ことをコンピュータに実現させるための個人認証プログラム。
JP2019515018A 2017-04-28 2017-04-28 個人認証装置、個人認証方法および個人認証プログラム Active JP6835956B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/016914 WO2018198310A1 (ja) 2017-04-28 2017-04-28 個人認証装置、個人認証方法および記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020140388A Division JP7019765B2 (ja) 2020-08-21 2020-08-21 個人認証装置、個人認証方法および個人認証プログラム

Publications (2)

Publication Number Publication Date
JPWO2018198310A1 JPWO2018198310A1 (ja) 2020-02-20
JP6835956B2 true JP6835956B2 (ja) 2021-02-24

Family

ID=63918100

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019515018A Active JP6835956B2 (ja) 2017-04-28 2017-04-28 個人認証装置、個人認証方法および個人認証プログラム

Country Status (3)

Country Link
US (2) US11586716B2 (ja)
JP (1) JP6835956B2 (ja)
WO (1) WO2018198310A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810291B2 (en) * 2018-03-21 2020-10-20 Cirrus Logic, Inc. Ear proximity detection
BR112021013445A2 (pt) * 2019-01-15 2021-10-19 Nec Corporation Dispositivo de processamento de informações, dispositivo usável, método de processamento de informações, e meio de armazenamento
GB2584497B (en) * 2019-04-29 2022-05-25 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for biometric processes
GB2583543B (en) 2019-04-29 2021-08-25 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for biometric processes
GB2584495B (en) * 2019-04-29 2021-09-01 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for authentication
US11483664B2 (en) 2019-04-29 2022-10-25 Cirrus Logic, Inc. Methods, apparatus and systems for biometric processes
US11531738B2 (en) 2019-04-29 2022-12-20 Cirrus Logic, Inc. Methods, apparatus and systems for biometric processes
JP7375817B2 (ja) 2019-07-24 2023-11-08 日本電気株式会社 音声処理装置、通話デバイス、音声処理方法、およびプログラム
BR112022002570A2 (pt) 2019-09-12 2022-05-03 Nec Corp Dispositivo de processamento de informações, método de processamento de informações e meio de armazenamento
EP4083826A4 (en) * 2019-12-26 2022-12-28 NEC Corporation OTOACOUSTIC AUTHENTICATION DEVICE, OTOACOUSTIC AUTHENTICATION METHOD AND RECORDING MEDIA

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004054496A (ja) * 2002-07-18 2004-02-19 Niyokai Matsushima 認証再生システム
JP2005032056A (ja) 2003-07-08 2005-02-03 Matsushita Electric Ind Co Ltd 個人識別機能付きコンピュータシステム、及びコンピュータシステムのユーザ管理方法
US7529379B2 (en) * 2005-01-04 2009-05-05 Motorola, Inc. System and method for determining an in-ear acoustic response for confirming the identity of a user
JP5015939B2 (ja) * 2005-09-22 2012-09-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音響的外耳特徴付けのための方法及び装置
US8652040B2 (en) * 2006-12-19 2014-02-18 Valencell, Inc. Telemetric apparatus for health and environmental monitoring
WO2014061578A1 (ja) 2012-10-15 2014-04-24 Necカシオモバイルコミュニケーションズ株式会社 電子機器、及び音響再生方法
US20140146982A1 (en) * 2012-11-29 2014-05-29 Apple Inc. Electronic Devices and Accessories with Media Streaming Control Features
US10708680B2 (en) * 2015-08-31 2020-07-07 Nura Holdings Pty Ltd Personalization of auditory stimulus
US10867019B2 (en) * 2015-10-21 2020-12-15 Nec Corporation Personal authentication device, personal authentication method, and personal authentication program using acoustic signal propagation
US10937407B2 (en) * 2015-10-26 2021-03-02 Staton Techiya, Llc Biometric, physiological or environmental monitoring using a closed chamber
EP3625718B1 (en) * 2017-05-19 2021-09-08 Plantronics, Inc. Headset for acoustic authentication of a user
KR102488001B1 (ko) * 2018-01-22 2023-01-13 삼성전자주식회사 오디오 신호를 이용하여 사용자를 인증하는 전자 장치 및 그 방법
US10810291B2 (en) * 2018-03-21 2020-10-20 Cirrus Logic, Inc. Ear proximity detection
WO2021089980A1 (en) * 2019-11-04 2021-05-14 Cirrus Logic International Semiconductor Limited Methods, apparatus and systems for personal audio device diagnostics

Also Published As

Publication number Publication date
US20230143028A1 (en) 2023-05-11
JPWO2018198310A1 (ja) 2020-02-20
US11586716B2 (en) 2023-02-21
WO2018198310A1 (ja) 2018-11-01
US12067098B2 (en) 2024-08-20
US20210103646A1 (en) 2021-04-08

Similar Documents

Publication Publication Date Title
JP6835956B2 (ja) 個人認証装置、個人認証方法および個人認証プログラム
JP6855381B2 (ja) 個人認証装置、個人認証方法および個人認証プログラム
US11977617B2 (en) Detection of attachment problem of apparatus being worn by user
Wang et al. EarDynamic: An ear canal deformation based continuous user authentication using in-ear wearables
Chauhan et al. BreathPrint: Breathing acoustics-based user authentication
JP7574869B2 (ja) 個人認証装置
Ferlini et al. EarGate: gait-based user identification with in-ear microphones
JP7375855B2 (ja) 個人認証装置、個人認証方法および個人認証プログラム
JP7120313B2 (ja) 生体認証装置、生体認証方法およびプログラム
US20230020631A1 (en) Ear canal deformation based continuous user identification system using ear wearables
Zou et al. Beyond legitimacy, also with identity: Your smart earphones know who you are quietly
JP7019765B2 (ja) 個人認証装置、個人認証方法および個人認証プログラム
JP7244683B2 (ja) 個人認証装置、個人認証方法および個人認証プログラム
Irwansyah et al. Evaluation of bone-conducted cross-talk sound in the head for biometric identification
JP7347540B2 (ja) 耳音響認証装置、耳音響認証方法、及びプログラム
Wang Towards Ubiquitous User Authentication and Sensing Based on the Ear Canal and Toothprint Biometrics Using Ear Wearables
Gao Transforming Earphones into a Secure and Ubiquitous Hearable Platform
Ferlini et al. EarGate
CHAUHAN et al. BreathPrint: Breathing acoustics-based user authentication.(2017)

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191003

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210204

R150 Certificate of patent or registration of utility model

Ref document number: 6835956

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150