JP6208313B2 - 動的に生成された句を使用するセグメントベースの話者検証 - Google Patents

動的に生成された句を使用するセグメントベースの話者検証 Download PDF

Info

Publication number
JP6208313B2
JP6208313B2 JP2016208467A JP2016208467A JP6208313B2 JP 6208313 B2 JP6208313 B2 JP 6208313B2 JP 2016208467 A JP2016208467 A JP 2016208467A JP 2016208467 A JP2016208467 A JP 2016208467A JP 6208313 B2 JP6208313 B2 JP 6208313B2
Authority
JP
Japan
Prior art keywords
target user
acoustic features
verification phrase
acoustic
speaker identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016208467A
Other languages
English (en)
Other versions
JP2017049600A (ja
Inventor
ドミニク・ロブレック
マシュー・シャリフィ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2017049600A publication Critical patent/JP2017049600A/ja
Application granted granted Critical
Publication of JP6208313B2 publication Critical patent/JP6208313B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/04Training, enrolment or model building
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/06Decision making techniques; Pattern matching strategies
    • G10L17/14Use of phonemic categorisation or speech recognition prior to speaker recognition or verification
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/20Pattern transformations or operations aimed at increasing system robustness, e.g. against channel noise or different working conditions
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/22Interactive procedures; Man-machine interfaces
    • G10L17/24Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025Phonemes, fenemes or fenones being the recognition units

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、一般に、話者検証に関する。
コンピュータは、話者の身元を検証する話者検証を実行することが可能である。例えば、コンピュータは、話者の身元を特定のユーザとして検証することを、その話者の音声を表す音響データがその特定のユーザの音声を表す音響データと合致することを検証することに基づいて行うことが可能である。
一般に、本明細書において説明される主題の態様は、話者の身元を検証するためのプロセスを含むことが可能である。話者検証は、話者からの発声を表す音響データを、その特定のユーザからの発声を表す音響データと照合することによって行われる。
システムは、いつでも、話者に同一の句、例えば、「FIXED VERIFICATION PHRASE」を発話するよう求めることによって話者検証を実行することが可能である。このアプローチは、正確であり得るが、スプーフィングを被りやすい可能性がある。例えば、その句を発話する特定のユーザの記録が再生される可能性がある。代替として、システムは、話者が句、例えば、「RANDOM VERIFICATION PHRASE」を独立に発話するのを許してもよい。しかし、このアプローチは、それほど正確でない可能性がある。例えば、システムは、どのような句が話者によって話されたかを決定することができない可能性がある。
システムは、その特定のユーザに関して記憶された訓練音響データに基づいて動的に生成された検証句を提供することによって発話者検証にかかわる前述の問題に対処することが可能である。例えば、システムは、システムが、部分語「HAM」を発話する特定のユーザを表す訓練音響データを記憶していると決定することに基づいて、その特定のユーザとして検証されるべき発話者に検証句、例えば、「HAMMER」を提供することが可能である。
検証句を提供することに応答して、システムは、その検証句を発話する話者を表す音響データを獲得し、その話者の身元を、獲得された音響データを使用して特定のユーザとして検証することが可能である。例えば、システムは、話者の身元を、「HAMMER」における部分語「HAM」を発話する話者を表す獲得された音響データが、その部分語「HAM」を発話する特定のユーザを表す訓練音響データと合致すると決定することに基づいて、特定のユーザとして検証することが可能である。
システムが、話者の身元を特定のユーザとして検証する場合、システムは、獲得された音響データを、その特定のユーザに関する訓練音響データとして記憶することが可能である。例えば、システムは、部分語「MER」を発話する話者を表す音響データを、部分語「MER」を発話する特定のユーザを表す音響データとして記憶することが可能である。将来、話者の身元をその特定のユーザとして検証する際、システムは、部分語「MER」を発話する話者を表す音響データを、部分語「MER」を発話するその特定のユーザを表すその新たに記憶された訓練音響データと比較することが可能である。例えば、システムが次回に話者検証を実行して、話者をその特定のユーザとして検証する際、システムは、システムが、部分語「MER」を発話する特定のユーザを表す訓練音響データを記憶していると決定することに基づいて、異なる検証句、例えば、「JAMMER」を提供することが可能である。
いくつかの態様において、本明細書において説明される主題は、ユーザの身元を検証するための検証句を求める要求を受信するアクションを含むことが可能な方法において具現化されることが可能である。さらなるアクションは、ユーザの身元を検証するための検証句を求める要求を受信することに応答して、その検証句に含められるべき部分語を識別すること、およびその検証句に含められるべき部分語を識別することに応答して、識別された部分語のうちの少なくともいくつかを含む候補句を検証句として獲得することを含む。さらなるアクションは、その検証句を、ユーザの身元を検証するための検証句を求める要求に対する応答として提供することを含む。
他のバージョンは、コンピュータストレージデバイス上に符号化された、方法のアクションを実行するように構成された対応するシステム、装置、およびコンピュータプログラムを含む。
これら、および他のバージョンはそれぞれ、オプションとして、以下の特徴のうちの1つまたは複数を含むことが可能である。例えば、いくつかの実装形態において、検証句に含められるべき部分語を識別することは、記憶された音響データがユーザに関連付けられた候補部分語を、検証句に含められるべき部分語のうちの1つまたは複数として識別することを含む。
いくつかの態様において、識別された部分語のうちの少なくともいくつかを含む候補句を検証句として獲得することは、特定の識別された部分語が特に音弁別性が高いと決定すること、および特定の識別された部分語が特に音弁別性が高いと決定することに応答して、特に音弁別性が高いと決定されたその特定の識別された部分語を含む候補句を獲得することを含む。
いくつかの態様において、識別された部分語のうちの少なくともいくつかを含む候補句を検証句として獲得することは、識別された部分語のうちの少なくともいくつかを含む候補を含む複数の候補句を獲得すること、候補句が、識別された部分語のうちの少なくともいくつかを含むと決定すること、および候補句が、識別された部分語のうちの少なくともいくつかを含むと決定することに応答して、その決定された候補句を、複数の候補句の中から、識別された部分語のうちの少なくともいくつかを含む候補句として選択することを含む。
いくつかの実装形態において、アクションは、検証句を発話するユーザを表す音響データを獲得すること、獲得された音響データが、ユーザに関する記憶された音響データと合致すると決定すること、および獲得された音響データが、ユーザに関する記憶された音響データと合致すると決定することに応答して、そのユーザをそのユーザとして分類することを含む。
いくつかの態様において、獲得された音響データが、ユーザに関する記憶された音響データと合致すると決定することは、検証句の中の識別された部分語のうちの少なくともいくつかに関する記憶された音響データが、検証句の中の識別された部分語のうちのその少なくともいくつかに対応する獲得された音響データと合致すると決定することを含む。
いくつかの態様において、検証句に含められるべき部分語を識別することは、ユーザに関連付けられた記憶された音響データが存在しない候補部分語を、検証句に含められるべき部分語のうちの1つまたは複数として識別することを含む。識別された部分語のうちの少なくともいくつかを含む候補句を検証句として獲得することは、記憶された音響データがユーザに関連付けられた少なくとも1つの候補部分語と、ユーザに関連付けられた記憶された音響データが存在しない少なくとも1つの候補部分語とを含む候補句を獲得することを含む。
いくつかの実装形態において、アクションは、識別された候補部分語に対応する獲得された音響データから、ユーザに関連付けられた記憶された音響データが存在しない音響データを、そのユーザに関連して記憶することを含む。
本明細書において説明される主題の1つまたは複数の実装形態の詳細は、添付の図面、および後段の説明に記載される。この主題の他の潜在的な特徴、態様、および利点は、その説明、図面、および特許請求の範囲から明白となろう。
話者の身元を検証するための例示的なプロセスを示す流れ図である。 音声検証登録のためのシステムを示すブロック図である。 検証句を獲得するためのシステムを示すブロック図である。 話者の身元を検証するためのシステムを示すブロック図である。 話者の身元を検証するための例示的なプロセスを示す別の流れ図である。
様々な図面における同様の参照符号は、同様の要素を示す。
図1は、話者の身元を検証するための例示的なプロセス100の流れ図である。一般に、プロセス100は、音声検証登録段階(110)を含むことが可能である。例えば、システムが、登録句を発話するよう特定のユーザに指示し、その登録句を発話するその特定のユーザを表す訓練音響データを記憶することが可能である。部分語のそれぞれに関する音響データは、例えば、部分語のそれぞれを発話する特定のユーザを表すMFCC係数またはフィルタバンクエネルギーであることが可能である。部分語は、音素、または2つ以上の音素のシーケンス、例えば、トライフォンであることが可能である。音声検証登録段階は、図2に例示される。
プロセス100は、検証句の動的生成段階(120)を含むことが可能である。例えば、検証句を求める要求に応答して、システムが、話者の身元を検証するための検証句を動的に生成することが可能である。検証句の動的生成段階は、図3に例示される。
プロセス100は、検証段階(130)を含むことが可能である。例えば、システムが、検証句を発話する話者を表す音響データを受信し、獲得された音響データに基づいて、その話者を特定のユーザとして検証することが可能である。検証段階は、図4に例示される。
プロセス100は、データ収集段階(140)を含むことが可能である。例えば、話者を特定のユーザとして検証した後、システムは、獲得された音響データを、発話する特定のユーザを表す音響データとして記憶することが可能である。データ収集段階は、図4に例示される。
図2は、音声検証登録のためのシステム200のブロック図である。このシステムは、登録インターフェース210と、特定のユーザ220に関する音響データデータベース230とを含むことが可能である。システム200は、コンピューティングデバイス212、例えば、モバイル電話であることが可能である。登録インターフェース210は、登録句を発話して音声検証のために特定のユーザ220を登録するよう特定のユーザ220に指示することが可能である。例えば、登録インターフェース210が、事前定義された登録句「DONUT」を発話するよう特定のユーザ220に指示することが可能である。
システム200は、特定のユーザ220の発話に基づいて訓練音響データを獲得することが可能である。システム200は、例えば、特定のユーザ220からの発話の部分を登録句の中の部分語と揃えるように動的時間伸縮法を実行することによって訓練音響データを獲得することが可能である。例えば、システム200は、特定のユーザ220からの発話の第1の部分を部分語「DO」と揃え、特定のユーザ220からの発話の第2の部分を部分語「NUT」と揃えることが可能である。
システム200は、音響データデータベース230の中に、登録句の中の部分語のそれぞれを発話する特定のユーザ220を表す訓練音響データを記憶することが可能である。例えば、システム200は、登録句「DONUT」の中の部分語「DO」および「NUT」を発話する特定のユーザ220を表す訓練音響データを記憶することが可能である。
登録目的で、システム200は、異なる1つまたは複数の登録句を使用することが可能である。例えば、システム200は、登録句、「THE QUICK BROWN FOX JUMPS OVER THE LAZY DOG」を発話するよう特定のユーザ220に指示し、その後、「COMPUTER PLEASE LEARN MY VOICE FROM THIS PHRASE I'M CURRENTLY SPEAKING」と言うよう特定のユーザ220に指示することが可能である。
システム200は、所定の登録句、または動的に生成された登録句を使用することが可能である。例えば、システム200は、登録句「DONUT」を発話した後、さらなる登録用語の所定のシーケンスを発話するよう、所与の場所、または所与の言語に関連付けられたユーザにいつでも最初に指示することが可能である。さらに、または代替として、システム200は、記憶された音響データを補足する1つまたは複数の登録句を動的に生成することが可能である。例えば、システム200は、システム200が、それらの部分語を発話する特定のユーザ220を表す記憶された訓練音響データを有しない、部分語を含む候補登録句を識別することが可能である。
システム200は、システム200が、少なくとも最小限のしきい値量の部分語を最小限のしきい値回数、発話する特定のユーザ220を表す訓練音響データを得るまで、異なる登録句を発話することを続けるよう特定のユーザ220に指示することを続けることが可能である。例えば、システム200は、システム200が、異なる少なくとも10の部分語を少なくとも2回ずつ、発話する特定のユーザ220を表す訓練音響データを得るまで、異なる登録句を発話することを続けるよう特定のユーザ220に指示することを続けることが可能である。さらに、または代替として、システム200は、システム200が、特定の登録句がしきい値発話品質を満たすのに十分な訓練音響データを得るまで、特定の登録句を発話することを続けるよう特定のユーザ220に指示することを続けることが可能である。
いくつかの実装形態において、システム200は、音響データデータベース230の中に、登録句に応答してシステム200が獲得しなかった訓練音響データを記憶することも可能である。例えば、システム200は、音声コマンドまたは音声クエリを発話する特定のユーザ220を表す訓練音響データを識別し、識別された訓練音響データを音響データデータベース230の中に記憶することが可能である。
図3は、検証句を獲得するためのシステム300のブロック図である。システム300は、話者検証イニシエータ(initiator)304と、部分語アイデンティファイア(identifier)310と、音響データデータベース230と、検証句オブテイナ(obtainer)320と、候補句データベース330と、検証インターフェース340とを含むことが可能である。
ホットワード検出器であることが可能な話者検証イニシエータ304は、音声コマンドを受信し、その音声コマンドに基づいて話者検証を開始することが可能である。例えば、話者検証イニシエータ304は、音声コマンド「OK COMPUTER, UNLOCK」を受信し、その音声コマンドが話者検証を含むと決定し、話者検証を開始することが可能である。話者検証イニシエータ304は、部分語アイデンティファイア310に話者検証要求を提供することによって話者検証を開始することが可能である。
話者検証を求める要求に応答して、部分語アイデンティファイア310が、検証句に含められるべき部分語を識別することが可能である。例えば、話者検証イニシエータ304から話者検証を求める要求を受信することに応答して、部分語アイデンティファイア310が、部分語「NUT」が検証句に含められるべきことを識別することが可能である。
部分語アイデンティファイア310は、音響データデータベース230の中に記憶された訓練音響データに基づいて、検証句に含められるべき特定の部分語を識別することが可能である。例えば、部分語アイデンティファイア310は、音響データデータベース230が、部分語「DO」および部分語「NUT」を発話する特定のユーザ200を表す訓練音響データを記憶していると決定することに基づいて、検証句に含められるべき部分語「DO」および「NUT」を識別することが可能である。
検証句オブテイナ320は、さらに、または代替として、その部分語を発話する特定のユーザ220を表す訓練音響データが音響データデータベース230の中に記憶されていない部分語を決定することに基づいて、検証句に含められるべき部分語を識別してもよい。例えば、検証句オブテイナ320は、部分語「PEA」を発話する特定のユーザ220を表す記憶された訓練音響データがほとんど、またはまったく存在しないと決定することに基づいて、検証句に含められるべき部分語「PEA」を識別することが可能である。
検証句オブテイナ320は、識別された部分語に基づいて検証句を獲得することが可能である。例えば、検証句オブテイナ320は、識別された部分語「DO」、「NUT」、および「PEA」に基づいて検証句「PEANUT」を獲得することが可能である。検証句オブテイナ320は、候補句データベース330から複数の候補句を獲得すること、識別された部分語のうちの1つまたは複数を含む獲得された候補句を識別すること、および識別された候補句を検証句として選択することに基づいて、検証句を獲得することが可能である。例えば、検証句オブテイナ320は、候補句データベース330から候補句、「KITE」、「BEAR」、「PEANUT」、および「DONUT」を獲得し、候補句「PEANUT」が、識別された部分語「NUT」および「PEA」を含むことを識別し、識別された候補句「PEANUT」を検証句として選択することが可能である。
検証句オブテイナ320は、さらに、または代替として、いずれの識別された部分語が、特定のユーザ220に関する訓練音響データを有するか、およびいずれの識別された部分語が、特定のユーザ220に関する訓練音響データを有しないかに基づいて、検証候補句を獲得してもよい。検証句オブテイナ320は、訓練音響データを有する少なくとも1つの識別された部分語と、訓練音響データを有しない少なくとも1つの識別された部分語の両方を有する検証句を獲得することが可能である。例えば、検証句オブテイナ320は、候補句「PEANUT」を、候補句「PEANUT」が、訓練音響データを有する識別された部分語「NUT」を含み、かつ訓練音響データを有しない識別された部分語「PEA」を含むと決定することに基づいて、検証句として選択することが可能である。
いくつかの実装形態において、検証句オブテイナ320は、候補句が、最小限のしきい値量の部分語を含み、かつ候補句の中のあるパーセンテージの部分語が、特定のユーザ220に関する訓練音響データを有する部分語であると決定することに基づいて、候補句から検証句を獲得することが可能である。例えば、検証句オブテイナ320は、候補句が、少なくとも10の部分語を含み、かつ候補句の中の部分語の約90%が、特定のユーザ220に関する訓練音響データを有する部分語であると決定することに基づいて、候補句「I ATE SIX PEANUT BUTTER SANDWICHES TODAY」を検証句として選択することが可能である。
候補句を検証句として選択する際、検証句オブテイナ320は、訓練音響データが記憶されている各候補句の中の部分語の数によって、獲得された候補句のリストを順序付けることが可能である。順序付けられたリストから、検証句オブテイナ320は、最小限のしきい値数の部分語と、特定のユーザ220に関する訓練音響データを有する最小限のパーセンテージの部分語とを有する候補句を選択することが可能である。
いくつかの実装形態において、検証句オブテイナ320は、識別された部分語の音弁別性の指標に基づいて検証句を獲得することが可能である。検証句オブテイナ320は、一般に、音弁別性のより高い部分語を含む候補句を選択することが可能である。検証句オブテイナ320は、それぞれの識別された部分語の音弁別性の指標を決定し、(i)特に音弁別性が高く、かつ特定のユーザ220に関して記憶された音響データを有する少なくとも1つの識別された部分語と、(ii)特に音弁別性が高く、かつ特定のユーザ220に関して記憶された音響データを有しない少なくとも1つの識別された部分語とを含む候補句を選択することに基づいて、検証句を獲得することが可能である。例えば、検証句オブテイナ320は、候補句「PEANUT」が、記憶された音響データを有し、かつ特に音弁別性の高い識別された部分語「NUT」を含むとともに、記憶された音響データを有せず、やはり特に音弁別性の高い識別された部分語「PEA」を含むと決定することに基づいて、候補句「PEANUT」を検証句として選択することが可能である。
いくつかの実装形態において、検証句オブテイナ320は、候補句データベース330なしに候補句を獲得することが可能である。例えば、検証句オブテイナ320は、(i)記憶された音響データを有し、かつ特に音弁別性が高い識別された部分語「NUT」と、(ii)記憶された音響データを有せず、やはり特に音弁別性が高い識別された部分語「PEA」とを含む候補句を生成することに基づいて、候補句「NUT PEA」を検証句として生成することが可能である。
検証インターフェース340は、検証句を発話するよう話者302に指示することが可能である。例えば、検証インターフェース340は、モバイルコンピューティングデバイス202のディスプレイ上に「PLEASE SAY 'PEANUT'」を出力することが可能である。さらに、または代替として、検証インターフェース340は、「PLEASE SAY 'PEANUT'」の合成された発話を出力することが可能である。
図4は、話者302の身元を検証するためのシステム400のブロック図である。システム400は、部分語コンパレータ420と、話者クラシファイア430と、ウェルカムインターフェース440とを含むことが可能である。
システム400は、話者の発話に基づいて音響データ410を獲得することが可能である。システム400は、話者302からの発話の部分を検証句の中の部分語と揃えるように動的時間伸縮法を実行することによって音響データを獲得することが可能である。例えば、システム400は、話者302からの発話の第1の部分を部分語「PEA」と揃え、話者302からの発話の第2の部分を部分語「NUT」と揃えることが可能である。システム400が、話者の発話から検証句に関する音響データ410を獲得することができない場合、システム400は、エラーを生成することが可能である。例えば、システム400は、話者302が完全に異なる句「AARDVARK」を発話した場合、検証句、「PEANUT」を揃えることができない可能性があり、検証句を繰り返すよう話者に求めるエラーを生成することが可能である。
部分語コンパレータ420は、検証句の1つまたは複数の部分語を発話する話者302を表す獲得された音響データ410を受信することが可能である。例えば、部分語コンパレータ420は、検証句「PEANUT」の部分語「PEA」および「NUT」を発話する話者302を表す獲得された音響データ410を受信することが可能である。
部分語コンパレータ420は、獲得された音響データ410を、それらの部分語を発話する特定のユーザ220を表す音響データデータベース230の中の記憶された訓練音響データと比較することが可能である。例えば、部分語コンパレータ420は、部分語「NUT」を発話する話者420を表す獲得された音響データ410と、部分語「NUT」を発話する特定のユーザ220を表す記憶された訓練音響データの間の距離を決定することが可能である。
部分語コンパレータ420は、その部分語に関して訓練音響データを有する部分語に関する獲得された音響データだけを比較することが可能である。例えば、部分語コンパレータ420は、部分語「NUT」に関して記憶された訓練音響データが存在すると決定することに基づいて、部分語「NUT」に関する獲得された音響データを比較することを決定することが可能である。別の例において、部分語コンパレータ420は、部分語「PEA」に関して記憶された訓練音響データが存在しないと決定することに基づいて、部分語「PEA」に関する獲得された音響データを比較しないことを決定することが可能である。
さらに、または代替として、部分語コンパレータ420は、訓練音響データを有しない部分語に関する獲得された音響データを、ユーザ特有でない音響データと比較して、正しい部分語が発話されたことを検証してもよい。例えば、部分語コンパレータ420は、部分語「PEA」に関する獲得された音響データを、部分語「PEA」に関するユーザ特有でない音響データと比較して、部分語「PEA」が発話されたことを検証することが可能である。いくつかの実装形態において、部分語コンパレータ420は、訓練音響データを有しない部分語に関する獲得された音響データを、類似する音の部分語に関する記憶された訓練音響データと比較することが可能である。例えば、部分語コンパレータ420は、部分語「PEA」に関する獲得された音響データを、部分語「PE」に関する記憶された訓練音響データと比較することが可能である。
部分語コンパレータ420は、獲得された音響データと記憶された訓練音響データの1つまたは複数の比較に基づいて、比較された部分語ごとに合致スコアを生成することが可能である。合致スコアは、特定のユーザ220が、獲得された音響データに対応する部分語を発話した尤度を示すことが可能である。例えば、部分語コンパレータ420は、特定のユーザ220として部分語「PEA」の話者302の身元の90%尤度を示す合致スコア90%、および特定のユーザ220として部分語「DO」の話者302の身元の100%尤度を示す合致スコア100%を決定することが可能である。
部分語コンパレータ420は、音響データと、比較される部分語に関する記憶された訓練音響データの間の距離を決定することに基づいて、比較される部分語ごとに合致スコアを生成することが可能である。部分語コンパレータ420は、L2距離を計算すること、または動的時間伸縮法による照合を実行することに基づいて各部分語に関する距離を決定することが可能である。いくつかの実装形態において、部分語コンパレータ420が、訓練音響データを有しない部分語に関する獲得された音響データを、類似する音の部分語に関する記憶された訓練音響データと比較することが可能である場合、話者クラシファイア430が、その比較をより寛大にすることが可能である。例えば、部分語コンパレータ420が、部分語「PEA」に関する獲得された音響データを、部分語「PE」に関する訓練音響データと比較する場合、部分語コンパレータ420は、距離を半減させることが可能である。
部分語コンパレータ420は、合致スコアに基づいて最終スコアを生成することが可能である。部分語コンパレータ420は、合致スコアを平均することによって最終スコアを生成することが可能である。例えば、部分語コンパレータ420は、部分語「NUT」に関する90%合致スコアと部分語「DO」に関する100%合致スコアを平均することに基づいて、95%という最終スコアを生成することが可能である。
いくつかの実装形態において、部分語コンパレータ420は、獲得された音響データと記憶された訓練音響データの間の比較に、特定の部分語に関して異なるように重み付けすることが可能である。部分語コンパレータ420は、音弁別性がより高いと決定された部分語、またはより多くの記憶された音響データが利用可能である部分語に関する比較に、より大きい重み付けをすることが可能である。例えば、部分語コンパレータ420は、部分語「NUT」が、部分語「DO」と比べて音弁別性がより高いと決定し、部分語「NUT」に関する100%という合致スコアに2倍の重み付けをして、最終スコアが97%であるようにすることが可能である。いくつかの実装形態において、部分語コンパレータ420は、話者クラシファイア430に合致スコアを供給して、話者クラシファイアが最終スコアを生成するようにすることが可能である。
話者クラシファイア430は、獲得された音響データが、記憶された訓練音響データと合致すると決定することに基づいて、話者302が特定のユーザ220であるかどうかの分類を行うことが可能である。例えば、話者クラシファイア430は、部分語コンパレータ420からの最終スコアが90%以上であるため、獲得された音響データが、記憶された訓練音響データと合致すると決定することに基づいて、話者302が特定のユーザ220であるという分類を行うことが可能である。別の例において、話者クラシファイア430は、部分語コンパレータ420からの最終スコアが90%未満であるため、獲得された音響データが、記憶された訓練音響データと合致しないと決定することに基づいて、話者302が特定のユーザ220ではないという分類を行うことが可能である。
話者クラシファイア430が、話者302が特定のユーザ220ではないという分類を行った場合、別の検証句が要求されることが可能であり、話者302は、その検証句を発話するように指示されることが可能である。例えば、ロックされたモバイルデバイスがロックされたままであることが可能であり、話者302に「SORRY VOICE NOT RECOGNIZED, PLEASE TRY SPEAKING INSTEAD 'CHESTNUT'」と指示することが可能である。さらに、または代替として、話者クラシファイア430が、話者302が特定のユーザ220ではないという分類を行った場合、同一の検証句が要求されてもよい。例えば、ロックされたモバイルデバイスがロックされたままであることが可能であり、話者302に「SORRY VOICE NOT RECOGNIZED, PLEASE TRY REPEATING 'PEANUT'」と指示することが可能である。いくつかの実装形態において、話者クラシファイア430は、話者302に、特定の句に関して、所定の回数、例えば、2回、3回、または4回、指示することが可能である。
話者クラシファイア430が、話者302が特定のユーザ220であるという分類を行った場合、話者クラシファイア430は、獲得された音響データを音響データデータベース230に訓練音響データとして追加することが可能である。例えば、話者クラシファイア430は、部分語「NUT」に関する獲得された音響データを、部分語「NUT」を発話する特定のユーザ220の第2の事例を表すものとして記憶し、部分語「PEA」に関する獲得された音響データを、部分語「PEA」を発話する特定のユーザ220の第1の事例を表すものとして記憶することが可能である。獲得された音響データを音響データデータベース230に追加する際、話者クラシファイア430は、特定の部分語に関して、獲得された音響データを平均することが可能である。例えば、話者クラシファイア430は、部分語「NUT」を発話する特定のユーザ220の2つの事例に関する音響データを平均することが可能である。獲得された音響データを音響データデータベース230に訓練音響データとして追加することによって、話者クラシファイア430は、部分語、例えば、「NUT」に関する獲得された音響データと記憶された訓練音響データの将来の比較を、より正確にすることが可能であり、記憶された訓練音響データを最初は有しなかった部分語、例えば、「PEA」が、今や、記憶された訓練音響データを有することが可能であるので、将来、さらなる部分語が比較されることを可能にし得る。
話者クラシファイア430が、話者302が特定のユーザ220であるという分類を行った場合、話者クラシファイア430は、さらに、または代替として、ウェルカムインターフェース440を表示してもよい。例えば、ウェルカムインターフェース440は、モバイルデバイス202がロック解除された後、モバイルデバイス202上に最初に表示されるインターフェースであることが可能である。
登録インターフェース210、音響データデータベース230、話者検証イニシエータ304、部分語アイデンティファイア310、検証句オブテイナ320、検証インターフェース340、部分語コンパレータ420、話者クラシファイア430、およびウェルカムインターフェース440の機能が、組み合わされること、さらに分離されること、分散されること、または入れ替えられることが可能であるシステム200、300、および400の様々な構成が使用されることが可能である。システム200、300、および400は、単一のデバイス、例えば、モバイルデバイスにおいて実装されても、複数のデバイス、例えば、クライアントデバイスとサーバデバイスにわたって分散されてもよい。
図5は、話者302の身元を検証するための例示的なプロセス500の流れ図である。以下に、処理500を、図3および図4を参照して説明されているシステム300および400の構成要素によって実行されるものとして説明する。しかし、プロセス500は、他のシステムまたは他のシステム構成によって実行されてもよい。
プロセス500は、話者302の身元を検証するための検証句を求める要求を受信するステップ(510)を含むことが可能である。例えば、システム200が、モバイルデバイス202をロック解除するよう話者302から音声コマンド「OK COMPUTER, UNLOCK」を受信することが可能であり、話者検証イニシエータ304が、検証句を求める要求を部分語アイデンティファイア310に供給することが可能であり、部分語アイデンティファイア310が、検証句を求める要求を受信することが可能である。
プロセス500は、検証句に含められるべき部分語を識別するステップ(520)を含むことが可能である。例えば、話者302の身元を検証するための検証句を求める要求を受信することに応答して、部分語アイデンティファイア310が、部分語、「I」、「WANT」、「TO」、「BE」、「AN」、「NAUT」、「WHEN」、「GROW」、および「UP」を発話する特定のユーザ220を表す訓練音響データが、音響データデータベース230の中に記憶されていると決定すること、および部分語「ASTRO」が特に音弁別性が高く、部分語「ASTRO」を発話する特定のユーザ220を表す訓練音響データが、音響データデータベース230の中に記憶されていないと決定することに基づいて、部分語、「I」、「WANT」、「TO」、「BE」、「AN」、「ASTRO」、「NAUT」、「WHEN」、「GROW」、および「UP」が検証句に含められるべきことを識別することが可能である。
プロセス500は、識別された部分語のうちの少なくともいくつかを含む候補句を検証句として獲得するステップ(530)を含むことが可能である。例えば、検証句に含められるべき部分語を識別することに応答して、検証句オブテイナ320が、候補句データベース330から複数の候補句「I WANT TO BE AT GREAT FALLS PARK TODAY」および「I WANT TO BE AN ASTRONAUT WHEN I GROW UP」を獲得し、特定の候補句、「I WANT TO BE AN ASTRONAUT WHEN I GROW UP」が、(i)少なくとも10の部分語を含み、(ii)部分語の少なくとも90%が、記憶された訓練音響データを有し、(iii)特に音弁別性が高く、記憶された訓練音響データが存在しない識別された部分語「ASTRO」を含むと決定し、その決定に基づいて、その特定の候補句を検証句として選択することが可能である。
プロセス500は、話者302の身元を検証するための検証句を求める要求に対する応答として、その検証句を提供するステップ(540)を含むことが可能である。例えば、検証インターフェース340が、「PLEASE SAY 'I WANT TO BE AN ASTRONAUT WHEN I GROW UP'」を表示することが可能である。
プロセス500は、検証句の部分語を発話する話者302を表す音響データを獲得するステップ(550)を含むことが可能である。例えば、部分語コンパレータ420が、候補句「I WANT TO BE AN ASTRONAUT WHEN I GROW UP」の中の各部分語を発話する話者302を表す音響データを獲得することが可能である。
プロセス500は、獲得された音響データが、記憶された訓練音響データと合致すると決定するステップ(560)を含むことが可能である。例えば、部分語コンパレータ420が、部分語「I」、「WANT」、「TO」、「BE」、「AN」、「NAUT」、「WHEN」、「GROW」、および「UP」のそれぞれに関する合致スコアを平均することに基づいて90%という最終スコアを生成することが可能であり、合致スコアは、獲得された音響データと記憶された訓練音響データの間の部分語のそれぞれに関する距離を計算することに基づいて決定される。
プロセス500は、話者302を特定のユーザ220として分類するステップ(570)を含むことが可能である。例えば、話者クラシファイア430が、部分語コンパレータ420によって生成された90%という最終スコアが少なくとも90%であると決定することが可能である。話者302を特定のユーザ220と分類することに応答して、話者クラシファイア430は、獲得された音響データを音響データデータベース230の中に訓練音響データとして記憶し、ウェルカムインターフェース440の表示をトリガすることが可能である。
いくつかの実装形態において、プロセス500の原理が、話者識別のために使用されることも可能である。例えば、システム400が、獲得された音響データを、複数のユーザに関する記憶された訓練音響データと比較して、その複数のユーザのそれぞれに関する最終スコアを生成し、特定のユーザに関する最終スコアが、少なくとも90%である唯一の最終スコアであると決定し、その話者をその特定のユーザとして識別することが可能である。
本明細書において説明される主題の実施形態、機能動作、およびプロセスは、本明細書において開示される構造、および構造的均等物を含むデジタル電子回路において、有形で具現化されたコンピュータソフトウェアもしくはファームウェアにおいて、コンピュータハードウェアにおいて、または以上のうちの1つまたは複数の組合せにおいて実施され得る。本明細書において説明される主題の実施形態は、1つまたは複数のコンピュータプログラムとして、すなわち、データ処理装置によって実行されるように、またはデータ処理装置の動作を制御するように有形の不揮発性プログラムキャリア上に符号化されたコンピュータプログラム命令の1つまたは複数のモジュールとして実施され得る。代替として、またはさらに、プログラム命令は、データ処理装置によって実行されるように適切な受信機装置に伝送するために情報を符号化するように生成された、人工的に生成された伝搬される信号、例えば、機械生成された電気信号、光信号、または電磁信号の上に符号化され得る。コンピュータ記憶媒体は、機械可読ストレージデバイス、機械可読ストレージ基板、ランダムアクセスメモリデバイスもしくはシリアルアクセスメモリデバイス、または以上のうちの1つまたは複数の組合せであることが可能である。
「データ処理装置」という用語は、例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサもしくは複数のコンピュータを含む、データを処理するためのすべての種類の装置、デバイス、および機械を包含する。装置は、専用の論理回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)を含むことが可能である。また、装置は、ハードウェアに加えて、当該のコンピュータプログラムのための実行環境を作り出すコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、または以上のうちの1つまたは複数の組合せを構成するコードを含むことも可能である。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、モジュール、ソフトウェアモジュール、スクリプト、またはコードと呼ばれることも可能である)は、コンパイルされる言語もしくは解釈される言語、または宣言型言語もしくは手続き型言語を含め、任意の形態のプログラミング言語で書かれることが可能であり、スタンドアロンのプログラムとして、あるいはモジュール、コンポーネント、サブルーチンとして、またはコンピューティング環境において使用するのに適した他のユニットとして展開されることを含め、任意の形態で展開されることが可能である。コンピュータプログラムは、ファイルシステムにおけるファイルに対応することが可能であるが、そうである必要はない。プログラムは、他のプログラムもしくはデータ(例えば、マークアップ言語文書の中に記憶された1つまたは複数のスクリプト)を保持するファイルの一部分の中に、当該のプログラムに専用の単一のファイルの中に、または複数の協調させられたファイル(例えば、1つまたは複数のモジュール、サブプログラム、もしくはコードの部分を記憶するファイル)の中に記憶されることが可能である。コンピュータプログラムは、1つの場所に配置された1つのコンピュータ上で、または複数の場所にわたって分散され、通信ネットワークによって互いに接続された複数のコンピュータ上で実行されるように展開されることが可能である。
本明細書において説明されるプロセスおよび論理フローは、入力されたデータを操作すること、および出力を生成することによって機能を実行するように1つまたは複数のコンピュータプログラムを実行する1つまたは複数のプログラマブルコンピュータによって実行され得る。これらのプロセスおよび論理フローは、専用の論理回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって実行されることも可能であり、装置がそのようなものとして実装されることも可能である。
コンピュータプログラムの実行に適したコンピュータは、例として、汎用マイクロプロセッサもしくは専用マイクロプロセッサに基づくこと、またはその両方に基づくこと、あるいは他の任意の種類の中央処理装置に基づくことが可能である。一般に、中央処理装置は、読取り専用メモリもしくはランダムアクセスメモリから、またはその両方から命令およびデータを受け取る。コンピュータの基本的な要素は、命令を実行するため、または執行するための中央処理装置、ならびに命令およびデータを記憶するための1つまたは複数のメモリデバイスである。一般に、コンピュータは、データを記憶するための1つまたは複数の大容量ストレージデバイス、例えば、磁気ディスク、光磁気ディスク、または光ディスクも含み、あるいはそのようなデバイスからデータを受信するように、またはそのようなデバイスにデータを転送するように、あるいはその両方を行うように動作上、結合される。しかし、コンピュータは、そのようなデバイスを有しなくてもよい。さらに、コンピュータは、別のデバイス、例えば、いくつかだけを挙げると、モバイル電話、携帯情報端末(PDA)、モバイルオーディオプレーヤもしくはモバイルビデオプレーヤ、ゲームコンソール、全地球測位システム(GPS)受信機、またはポータブルストレージデバイス(例えば、ユニバーサルシリアルバス(USB)フラッシュドライブ)に組み込まれることが可能である。
コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、例として、半導体メモリデバイス、例えば、EPROM、EEPROM、およびフラッシュメモリデバイス、磁気ディスク、例えば、内部ハードディスクもしくはリムーバブルディスク、光磁気ディスク、ならびにCD-ROMディスクおよびDVD-ROMディスクを含め、すべての形態の不揮発性メモリ、媒体、およびメモリデバイスを含む。プロセスおよびメモリは、専用の論理回路によって補足されること、またはそのような回路に組み込まれることが可能である。
ユーザとの対話を可能にするのに、本明細書において説明される主題の実施形態は、ユーザに情報を表示するためのディスプレイデバイス、例えば、CRT(陰極線管)モニタもしくはLCD(液晶ディスプレイ)モニタと、ユーザがコンピュータに入力を与えることができるようにするキーボードおよびポインティングデバイス、例えば、マウスもしくはトラックボールとを有するコンピュータ上で実施され得る。他の種類のデバイスが、ユーザとの対話を可能にするのに使用されることも可能であり、例えば、ユーザにもたらされるフィードバックは、任意の形態の知覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであることが可能であり、ユーザからの入力は、音響入力、音声入力、または触覚入力を含め、任意の形態で受け取られることが可能である。さらに、コンピュータは、ユーザによって使用されるデバイスに文書を送信すること、およびそのようなデバイスから文書を受信することによって、例えば、ユーザのクライアントデバイス上のウェブブラウザに、そのウェブブラウザから受信された要求に応答して、ウェブページを送信することによって、ユーザと対話することが可能である。
本明細書で説明される主題の実施形態は、バックエンド構成要素を、例えば、データサーバとして含む、またはミドルウェア構成要素、例えば、アプリケーションサーバを含む、またはフロントエンド構成要素、例えば、ユーザが、本明細書において説明される主題の実装形態と対話することができるようにするグラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータ、あるいは1つまたは複数のそのようなバックエンド構成要素、ミドルウェア構成要素、またはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムにおいて実施されることが可能である。システムの構成要素は、任意の形態または媒体のデジタルデータ通信、例えば、通信ネットワークによって互いに接続されることが可能である。通信ネットワークの例は、ローカルエリアネットワーク(「LAN」)およびワイドエリアネットワーク(「WAN」)、例えば、インターネットを含む。
コンピューティングシステムは、クライアントと、サーバとを含むことが可能である。クライアントとサーバは、一般に、互いに遠隔であり、通常、通信ネットワークを介して対話する。クライアントとサーバの関係は、それぞれのコンピュータ上で実行されており、互いにクライアント-サーバ関係を有するコンピュータプログラムによって生じる。
本明細書は、多くの特定の実装詳細を包含するが、これらの詳細は、主張され得るものの範囲に対する限定としてではなく、特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。本明細書において別々の実施形態の脈絡で説明されるいくつかの特徴が、単一の実施形態において組合せで実施されることも可能である。逆に、単一の実施形態の脈絡で説明される様々な特徴が、複数の実施形態において別々に、または任意の適切な部分的組合せで実施されることも可能である。さらに、特徴は、いくつかの組合せで作用するものとして前段で説明されて、そのようなものとして最初に主張されることさえ可能であるものの、主張される組合せからの1つまたは複数の特徴が、一部の事例において、その組合せから削除されることが可能であり、主張される組合せは、部分的組合せ、または部分的組合せの変形形態を対象としてもよい。
同様に、動作は、図面において特定の順序で示されるが、このことは、望ましい結果を実現するのに、そのような動作が、示される特定の順序で、もしくは順番に実行されること、または例示されるすべての動作が実行されることを要求するものと理解されるべきではない。いくつかの状況において、マルチタスキングおよび並列処理が有利であり得る。さらに、前段で説明される実施形態における様々なシステム構成要素の分離は、すべての実施形態においてそのような分離を要求するものと理解されるべきではなく、説明されるプログラム構成要素およびシステムは、一般に、単一のソフトウェア製品に一緒に統合されること、または複数のソフトウェア製品にまとめられることが可能である。
主題の特定の実施形態について説明されてきた。他の実施形態も、以下の特許請求の範囲に含まれる。例えば、特許請求の範囲に記載されるアクションは、異なる順序で実行されて、それでも、望ましい結果を実現することが可能である。例として、添付の図において説明されるプロセスは、望ましい結果を実現するのに、示される特定の順序も、順番も、必ずしも要求しない。いくつかの実装形態において、マルチタスキングおよび並列処理が有利であり得る。説明されるプロセスから、他のステップが提供されることも可能であり、あるいはステップが削除されることも可能である。したがって、他の実装形態も、以下の特許請求の範囲に含まれる。
200 システム
210 登録インターフェース
220 ユーザ
230 音響データ
304 話者検証イニシエータ
310 部分語アイデンティファイア
320 検証句オブテイナ
330 候補句
340 検証インターフェース
410 部分語に関する音響データ
420 部分語コンパレータ
430 話者クラシファイア
440 ウェルカムインターフェース

Claims (20)

  1. 話者識別検証句を提供するステップと、
    前記話者識別検証句を発話する候補ユーザを表すオーディオデータを取得するステップと、
    前記話者識別検証句に関連付けられた複数の部分語のそれぞれに対して、前記話者識別検証句を発話する前記候補ユーザを表す前記オーディオデータから導出されたサンプル音響特徴を取得するステップと、
    前記話者識別検証句に関連付けられた前記複数の部分語のそれぞれに対して、(i)ターゲットユーザのための音響特徴のコレクション内に記憶され、(ii)前記部分語を含む1つまたは複数の単語を発話する前記ターゲットユーザのオーディオデータから導出される、参照音響特徴を取得するステップと、
    前記話者識別検証句に関連付けられた前記複数の部分語のそれぞれに対して、前記サンプル音響特徴が前記参照音響特徴に関連付けられていると決定するステップと、
    前記サンプル音響特徴が前記参照音響特徴に関連付けられていると決定することに応答して、前記候補ユーザを前記ターゲットユーザとして識別するステップと、
    前記話者識別検証句に関連付けられた1つまたは複数の他の部分語のそれぞれに対して、(i)前記ターゲットユーザのための音響特徴の前記コレクション内にまだ記憶されておらず、(ii)前記話者識別検証句を発話する前記候補ユーザを表す前記オーディオデータから導出される、他の音響特徴を取得するステップと、
    前記候補ユーザを前記ターゲットユーザとして識別することに応答して、1つまたは複数の前記他の音響特徴を前記ターゲットユーザのための音響特徴の前記コレクション内に記憶するステップと、
    前記ターゲットユーザのための音響特徴の前記コレクション内に記憶された前記1つまたは複数の他の音響特徴のうちの少なくとも1つを使用して、前記ターゲットユーザのための音響特徴の前記コレクション内に記憶された前記1つまたは複数の前記他の音響特徴のうちの前記少なくとも1つに対応する1つまたは複数の部分語を含む次の発声を発話するユーザの身元を検証するステップとを備えるコンピュータ実施方法。
  2. 前記候補ユーザを前記ターゲットユーザとして識別することに応答して、1つまたは複数の前記他の音響特徴を前記ターゲットユーザのための音響特徴の前記コレクション内に記憶するステップは、
    前記話者識別検証句を発話する前記候補ユーザを表す前記オーディオデータから導出された前記サンプル音響特徴が前記参照音響特徴に関連付けられていると決定することに基づいて前記候補ユーザを前記ターゲットユーザとして識別することに応答して、前記ターゲットユーザのための音響特徴の前記コレクション内に、前記話者識別検証句を発話する前記候補ユーザを表す前記オーディオデータから導出された1つまたは複数の前記他の音響特徴を記憶するステップを備える請求項1に記載の方法。
  3. 前記話者識別検証句は前記複数の部分語および前記1つまたは複数の他の部分語を備える請求項1に記載の方法。
  4. 前記候補ユーザを前記ターゲットユーザとして識別することに応答して、前記1つまたは複数の前記音響特徴によって前記ターゲットユーザのための音響特徴の前記コレクションを更新するステップを備える請求項1に記載の方法。
  5. 前記1つまたは複数の前記音響特徴によって前記ターゲットユーザのための音響特徴の前記コレクションを更新するステップは、前記1つまたは複数の前記音響特徴を前記ターゲットユーザのための音響特徴の前記コレクション内に記憶するステップを備える請求項4に記載の方法。
  6. 前記話者識別検証句に関連付けられた前記複数の部分語のそれぞれに対して、前記サンプル音響特徴が前記参照音響特徴に関連付けられていると決定するステップは、
    前記話者識別検証句に関連付けられた前記複数の部分語のそれぞれに対して、前記サンプル音響特徴と前記参照音響特徴との間の距離を決定するステップと、
    少なくとも前記距離に基づいて、前記話者識別検証句に関連付けられた前記複数の部分語のそれぞれに対して、前記サンプル音響特徴が前記参照音響特徴に関連付けられていると決定するステップとを備える請求項1に記載の方法。
  7. 少なくとも前記距離に基づいて、前記話者識別検証句に関連付けられた前記複数の部分語のそれぞれに対して、前記サンプル音響特徴が前記参照音響特徴に関連付けられていると決定するステップは、
    前記部分語の音弁別性を決定するステップと、
    少なくとも前記距離および前記音弁別性に基づいて、前記サンプル音響特徴が前記参照音響特徴に関連付けられていると決定するステップとを備える請求項6に記載の方法。
  8. 前記話者識別検証句に関連付けられた前記1つまたは複数の他の部分語のそれぞれに対して、前記サンプル音響特徴が前記参照音響特徴に関連付けられていないと決定するステップを備える請求項1に記載の方法。
  9. 前記ターゲットユーザのための音響特徴の前記コレクション内に記憶された前記1つまたは複数の他の音響特徴のうちの少なくとも1つを使用して、前記ターゲットユーザのための音響特徴の前記コレクション内に記憶された前記1つまたは複数の前記他の音響特徴のうちの前記少なくとも1つに対応する1つまたは複数の部分語を含む前記次の発声を発話する前記ユーザの前記身元を検証することに応答して、前記次の発声を発話する前記ユーザが前記ターゲットユーザとして検証されるかどうかの指標を提供するステップを備える請求項1に記載の方法。
  10. 1つまたは複数のコンピュータと、
    命令を記憶している1つまたは複数のストレージデバイスとを備えるシステムであって、前記命令は、前記1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに、
    話者識別検証句を提供することと、
    前記話者識別検証句を発話する候補ユーザを表すオーディオデータを取得することと、
    前記話者識別検証句に関連付けられた複数の部分語のそれぞれに対して、前記話者識別検証句を発話する前記候補ユーザを表す前記オーディオデータから導出されたサンプル音響特徴を取得することと、
    前記話者識別検証句に関連付けられた前記複数の部分語のそれぞれに対して、(i)ターゲットユーザのための音響特徴のコレクション内に記憶され、(ii)前記部分語を含む1つまたは複数の単語を発話する前記ターゲットユーザのオーディオデータから導出される、参照音響特徴を取得することと、
    前記話者識別検証句に関連付けられた前記複数の部分語のそれぞれに対して、前記サンプル音響特徴が前記参照音響特徴に関連付けられていると決定することと、
    前記サンプル音響特徴が前記参照音響特徴に関連付けられていると決定することに応答して、前記候補ユーザを前記ターゲットユーザとして識別することと、
    前記話者識別検証句に関連付けられた1つまたは複数の他の部分語のそれぞれに対して、(i)前記ターゲットユーザのための音響特徴の前記コレクション内にまだ記憶されておらず、(ii)前記話者識別検証句を発話する前記候補ユーザを表す前記オーディオデータから導出される、他の音響特徴を取得することと、
    前記候補ユーザを前記ターゲットユーザとして識別することに応答して、1つまたは複数の前記他の音響特徴を前記ターゲットユーザのための音響特徴の前記コレクション内に記憶することと、
    前記ターゲットユーザのための音響特徴の前記コレクション内に記憶された前記1つまたは複数の他の音響特徴のうちの少なくとも1つを使用して、前記ターゲットユーザのための音響特徴の前記コレクション内に記憶された前記1つまたは複数の前記他の音響特徴のうちの前記少なくとも1つに対応する1つまたは複数の部分語を含む次の発声を発話するユーザの身元を検証することとを備える動作を実行させるように動作可能であるシステム。
  11. 前記動作は、前記候補ユーザを前記ターゲットユーザとして識別することに応答して、前記1つまたは複数の前記音響特徴によって前記ターゲットユーザのための音響特徴の前記コレクションを更新することを備える請求項10に記載のシステム。
  12. 前記1つまたは複数の前記音響特徴によって前記ターゲットユーザのための音響特徴の前記コレクションを更新することは、前記1つまたは複数の前記音響特徴を前記ターゲットユーザのための音響特徴の前記コレクション内に記憶することを備える請求項11に記載のシステム。
  13. 前記話者識別検証句に関連付けられた前記複数の部分語のそれぞれに対して、前記サンプル音響特徴が前記参照音響特徴に関連付けられていると決定することは、
    前記話者識別検証句に関連付けられた前記複数の部分語のそれぞれに対して、前記サンプル音響特徴と前記参照音響特徴との間の距離を決定することと、
    少なくとも前記距離に基づいて、前記話者識別検証句に関連付けられた前記複数の部分語のそれぞれに対して、前記サンプル音響特徴が前記参照音響特徴に関連付けられていると決定することとを備える請求項10に記載のシステム。
  14. 少なくとも前記距離に基づいて、前記話者識別検証句に関連付けられた前記複数の部分語のそれぞれに対して、前記サンプル音響特徴が前記参照音響特徴に関連付けられていると決定することは、
    前記部分語の音弁別性を決定することと、
    少なくとも前記距離および前記音弁別性に基づいて、前記サンプル音響特徴が前記参照音響特徴に関連付けられていると決定することとを備える請求項13に記載のシステム。
  15. 前記動作は、前記話者識別検証句に関連付けられた前記1つまたは複数の他の部分語のそれぞれに対して、前記サンプル音響特徴が前記参照音響特徴に関連付けられていないと決定することを備える請求項10に記載のシステム。
  16. 前記話者識別検証句は前記複数の部分語および前記1つまたは複数の他の部分語を備える請求項10に記載のシステム。
  17. 1つまたは複数のコンピュータによって実行可能な命令を備えるソフトウェアを記憶している非一時的コンピュータ可読媒体であって、前記命令は、そのような実行時に、前記1つまたは複数のコンピュータに、
    話者識別検証句を提供することと、
    前記話者識別検証句を発話する候補ユーザを表すオーディオデータを取得することと、
    前記話者識別検証句に関連付けられた複数の部分語のそれぞれに対して、前記話者識別検証句を発話する前記候補ユーザを表す前記オーディオデータから導出されたサンプル音響特徴を取得することと、
    前記話者識別検証句に関連付けられた前記複数の部分語のそれぞれに対して、(i)ターゲットユーザのための音響特徴のコレクション内に記憶され、(ii)前記部分語を含む1つまたは複数の単語を発話する前記ターゲットユーザのオーディオデータから導出される、参照音響特徴を取得することと、
    前記話者識別検証句に関連付けられた前記複数の部分語のそれぞれに対して、前記サンプル音響特徴が前記参照音響特徴に関連付けられていると決定することと、
    前記サンプル音響特徴が前記参照音響特徴に関連付けられていると決定することに応答して、前記候補ユーザを前記ターゲットユーザとして識別することと、
    前記話者識別検証句に関連付けられた1つまたは複数の他の部分語のそれぞれに対して、(i)前記ターゲットユーザのための音響特徴の前記コレクション内にまだ記憶されておらず、(ii)前記話者識別検証句を発話する前記候補ユーザを表す前記オーディオデータから導出される、他の音響特徴を取得することと、
    前記候補ユーザを前記ターゲットユーザとして識別することに応答して、1つまたは複数の前記他の音響特徴を前記ターゲットユーザのための音響特徴の前記コレクション内に記憶することと、
    前記ターゲットユーザのための音響特徴の前記コレクション内に記憶された前記1つまたは複数の他の音響特徴のうちの少なくとも1つを使用して、前記ターゲットユーザのための音響特徴の前記コレクション内に記憶された前記1つまたは複数の前記他の音響特徴のうちの前記少なくとも1つに対応する1つまたは複数の部分語を含む次の発声を発話するユーザの身元を検証することとを備える動作を実行させる非一時的コンピュータ可読媒体。
  18. 前記動作は、前記候補ユーザを前記ターゲットユーザとして識別することに応答して、前記1つまたは複数の前記音響特徴によって前記ターゲットユーザのための音響特徴の前記コレクションを更新することを備える請求項17に記載の媒体。
  19. 前記1つまたは複数の前記音響特徴によって前記ターゲットユーザのための音響特徴の前記コレクションを更新することは、前記1つまたは複数の前記音響特徴を前記ターゲットユーザのための音響特徴の前記コレクション内に記憶することを備える請求項18に記載の媒体。
  20. 前記話者識別検証句は前記複数の部分語および前記1つまたは複数の他の部分語を備える請求項17に記載の媒体。
JP2016208467A 2014-04-01 2016-10-25 動的に生成された句を使用するセグメントベースの話者検証 Active JP6208313B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US14/242,098 2014-04-01
US14/242,098 US8812320B1 (en) 2014-04-01 2014-04-01 Segment-based speaker verification using dynamically generated phrases
US14/447,115 US9424846B2 (en) 2014-04-01 2014-07-30 Segment-based speaker verification using dynamically generated phrases
US14/447,115 2014-07-30

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016551220A Division JP6208375B2 (ja) 2014-04-01 2015-03-27 動的に生成された句を使用するセグメントベースの話者検証

Publications (2)

Publication Number Publication Date
JP2017049600A JP2017049600A (ja) 2017-03-09
JP6208313B2 true JP6208313B2 (ja) 2017-10-04

Family

ID=51301789

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2016551220A Active JP6208375B2 (ja) 2014-04-01 2015-03-27 動的に生成された句を使用するセグメントベースの話者検証
JP2016208467A Active JP6208313B2 (ja) 2014-04-01 2016-10-25 動的に生成された句を使用するセグメントベースの話者検証
JP2016208468A Active JP6258438B2 (ja) 2014-04-01 2016-10-25 動的に生成された句を使用するセグメントベースの話者検証
JP2017233255A Active JP6586149B2 (ja) 2014-04-01 2017-12-05 動的に生成された句を使用するセグメントベースの話者検証

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016551220A Active JP6208375B2 (ja) 2014-04-01 2015-03-27 動的に生成された句を使用するセグメントベースの話者検証

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2016208468A Active JP6258438B2 (ja) 2014-04-01 2016-10-25 動的に生成された句を使用するセグメントベースの話者検証
JP2017233255A Active JP6586149B2 (ja) 2014-04-01 2017-12-05 動的に生成された句を使用するセグメントベースの話者検証

Country Status (6)

Country Link
US (7) US8812320B1 (ja)
EP (5) EP3664082B1 (ja)
JP (4) JP6208375B2 (ja)
KR (5) KR101763089B1 (ja)
CN (2) CN110827833B (ja)
WO (1) WO2015153351A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9020423B2 (en) * 2008-07-20 2015-04-28 Samsung Electronics Co., Ltd Method and system for managing multiple applications in near field communication
US8812320B1 (en) 2014-04-01 2014-08-19 Google Inc. Segment-based speaker verification using dynamically generated phrases
US9986075B2 (en) * 2014-06-04 2018-05-29 Qualcomm Incorporated Mobile device including a substantially centrally located earpiece
CN105357006A (zh) * 2014-08-20 2016-02-24 中兴通讯股份有限公司 一种基于声纹特征进行安全认证的方法及设备
CN105575391B (zh) * 2014-10-10 2020-04-03 阿里巴巴集团控股有限公司 声纹信息管理方法、装置以及身份认证方法、系统
US9723406B2 (en) 2015-01-21 2017-08-01 Qualcomm Incorporated System and method for changing a channel configuration of a set of audio output devices
US9578418B2 (en) * 2015-01-21 2017-02-21 Qualcomm Incorporated System and method for controlling output of multiple audio output devices
US9978374B2 (en) * 2015-09-04 2018-05-22 Google Llc Neural networks for speaker verification
US10373612B2 (en) 2016-03-21 2019-08-06 Amazon Technologies, Inc. Anchored speech detection and speech recognition
CN105933323B (zh) * 2016-06-01 2019-05-31 百度在线网络技术(北京)有限公司 声纹注册、认证方法及装置
GB2552723A (en) * 2016-08-03 2018-02-07 Cirrus Logic Int Semiconductor Ltd Speaker recognition
CN106209604A (zh) * 2016-08-26 2016-12-07 北京小米移动软件有限公司 添加好友的方法及装置
CN107886955B (zh) * 2016-09-29 2021-10-26 百度在线网络技术(北京)有限公司 一种语音会话样本的身份识别方法、装置及设备
US10490195B1 (en) * 2017-09-26 2019-11-26 Amazon Technologies, Inc. Using system command utterances to generate a speaker profile
KR102595184B1 (ko) * 2018-05-25 2023-10-30 삼성전자주식회사 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체
CN109448725A (zh) * 2019-01-11 2019-03-08 百度在线网络技术(北京)有限公司 一种语音交互设备唤醒方法、装置、设备及存储介质
US10923111B1 (en) 2019-03-28 2021-02-16 Amazon Technologies, Inc. Speech detection and speech recognition
KR20200129346A (ko) * 2019-05-08 2020-11-18 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
CN110808053B (zh) * 2019-10-09 2022-05-03 深圳市声扬科技有限公司 一种驾驶员身份验证方法、装置及电子设备
US11315575B1 (en) * 2020-10-13 2022-04-26 Google Llc Automatic generation and/or use of text-dependent speaker verification features
CN118251721A (zh) * 2021-11-16 2024-06-25 谷歌有限责任公司 经由说话者标识验证的共享助手简档
WO2024029875A1 (ko) * 2022-08-05 2024-02-08 삼성전자주식회사 전자 장치, 지능형 서버, 및 화자 적응형 음성 인식 방법
CN115604008A (zh) * 2022-10-17 2023-01-13 支付宝(杭州)信息技术有限公司(Cn) 职业身份验证方法和系统

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3812320A (en) 1971-01-13 1974-05-21 Pad B Co Inc Heated ground cover for the dissipation of moisture
US5088097A (en) 1990-04-04 1992-02-11 Canon Kabushiki Kaisha Semiconductor laser element capable of changing emission wavelength, and method of driving the same
CA2105034C (en) * 1992-10-09 1997-12-30 Biing-Hwang Juang Speaker verification with cohort normalized scoring
KR950003389A (ko) * 1993-07-20 1995-02-16 하기주 자동차 문손잡이 구조물용 폴리아미드 수지조성물
US6081782A (en) * 1993-12-29 2000-06-27 Lucent Technologies Inc. Voice command control and verification system
JPH1020883A (ja) * 1996-07-02 1998-01-23 Fujitsu Ltd ユーザ認証装置
US5797123A (en) * 1996-10-01 1998-08-18 Lucent Technologies Inc. Method of key-phase detection and verification for flexible speech understanding
WO1998022936A1 (en) * 1996-11-22 1998-05-28 T-Netix, Inc. Subword-based speaker verification using multiple classifier fusion, with channel, fusion, model, and threshold adaptation
AU2850399A (en) * 1998-03-03 1999-09-20 Lernout & Hauspie Speech Products N.V. Multi-resolution system and method for speaker verification
US6141644A (en) 1998-09-04 2000-10-31 Matsushita Electric Industrial Co., Ltd. Speaker verification and speaker identification based on eigenvoices
DE69942843D1 (de) 1999-08-03 2010-11-18 Fujitsu Ltd Schaltung zum steuern eines halbleiterlasers und steuerungsverfahren
KR20010019772A (ko) * 1999-08-30 2001-03-15 강선미 음성비밀단어를 이용한 사용자 인증 시스템 및 방법
DE19952049A1 (de) 1999-10-28 2001-05-10 Siemens Ag Verfahren und Anordnung zur Verifikation eines Sprechers anhand eines Rechners
US8812319B2 (en) 2001-01-31 2014-08-19 Ibiometrics, Inc. Dynamic pass phrase security system (DPSS)
JP2003302999A (ja) * 2002-04-11 2003-10-24 Advanced Media Inc 音声による個人認証システム
JP4463526B2 (ja) * 2003-10-24 2010-05-19 株式会社ユニバーサルエンターテインメント 声紋認証システム
US7660487B2 (en) 2003-12-10 2010-02-09 Sony Corporation Image processing method and apparatus with image resolution conversion related to relative movement detection
US20060293898A1 (en) * 2005-06-22 2006-12-28 Microsoft Corporation Speech recognition system for secure information
CN1963917A (zh) * 2005-11-11 2007-05-16 株式会社东芝 评价语音的分辨力、说话人认证的注册和验证方法及装置
US8265341B2 (en) * 2010-01-25 2012-09-11 Microsoft Corporation Voice-body identity correlation
US9318114B2 (en) 2010-11-24 2016-04-19 At&T Intellectual Property I, L.P. System and method for generating challenge utterances for speaker verification
CN103221996B (zh) 2010-12-10 2015-09-30 松下电器(美国)知识产权公司 用于验证说话人的口令建模的设备和方法、以及说话人验证系统
US9262612B2 (en) * 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
CN102801530B (zh) * 2012-09-04 2015-08-26 飞天诚信科技股份有限公司 一种基于声音传输的认证方法
US9230550B2 (en) * 2013-01-10 2016-01-05 Sensory, Incorporated Speaker verification and identification using artificial neural network-based sub-phonetic unit discrimination
US20140341593A1 (en) 2013-05-16 2014-11-20 Alcatel-Lucent Usa Inc. Method And Apparatus For Optical Transmission In A Communication Network
US20150063812A1 (en) 2013-08-27 2015-03-05 Calix, Inc. Compensator for wavelength drift due to variable laser injection current and temperature in a directly modulated burst mode laser
EP3044888B1 (en) 2013-10-14 2018-09-19 Huawei Technologies Co., Ltd. Wavelength stabilizer for twdm-pon burst mode dbr laser
US8812320B1 (en) * 2014-04-01 2014-08-19 Google Inc. Segment-based speaker verification using dynamically generated phrases
US9542948B2 (en) * 2014-04-09 2017-01-10 Google Inc. Text-dependent speaker identification

Also Published As

Publication number Publication date
EP3664082B1 (en) 2024-06-05
EP3090428B1 (en) 2018-06-06
US20180308492A1 (en) 2018-10-25
KR20200120765A (ko) 2020-10-21
US11568879B2 (en) 2023-01-31
KR20160130223A (ko) 2016-11-10
US10504524B2 (en) 2019-12-10
CN106030702B (zh) 2019-12-06
EP3664082A1 (en) 2020-06-10
US20150279374A1 (en) 2015-10-01
CN110827833A (zh) 2020-02-21
JP2017049600A (ja) 2017-03-09
KR101874274B1 (ko) 2018-07-03
KR102298583B1 (ko) 2021-09-06
JP6258438B2 (ja) 2018-01-10
US20180025734A1 (en) 2018-01-25
WO2015153351A1 (en) 2015-10-08
KR20170086703A (ko) 2017-07-26
KR20160103140A (ko) 2016-08-31
CN110827833B (zh) 2023-08-15
EP3154056A1 (en) 2017-04-12
US9424846B2 (en) 2016-08-23
US11056120B2 (en) 2021-07-06
US9741348B2 (en) 2017-08-22
KR102491993B1 (ko) 2023-01-26
US8812320B1 (en) 2014-08-19
JP2018036675A (ja) 2018-03-08
JP6208375B2 (ja) 2017-10-04
CN106030702A (zh) 2016-10-12
EP3401906B1 (en) 2020-01-01
KR101763089B1 (ko) 2017-08-04
US10037760B2 (en) 2018-07-31
US20200075029A1 (en) 2020-03-05
EP3154056B1 (en) 2018-10-03
EP3401906A1 (en) 2018-11-14
EP3392880B1 (en) 2023-01-25
US20210295850A1 (en) 2021-09-23
EP3392880A1 (en) 2018-10-24
EP3090428A1 (en) 2016-11-09
KR102167657B1 (ko) 2020-10-19
JP6586149B2 (ja) 2019-10-02
JP2017516122A (ja) 2017-06-15
KR20210110414A (ko) 2021-09-07
JP2017058689A (ja) 2017-03-23
US20160307574A1 (en) 2016-10-20

Similar Documents

Publication Publication Date Title
JP6586149B2 (ja) 動的に生成された句を使用するセグメントベースの話者検証
US9542948B2 (en) Text-dependent speaker identification
JP6158348B2 (ja) 人工ニューラル・ネットワーク・ベースのサブ音素単位区別を用いた話者照合および同定

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170906

R150 Certificate of patent or registration of utility model

Ref document number: 6208313

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250