JP6316884B2 - 個別化されたホットワード検出モデル - Google Patents

個別化されたホットワード検出モデル Download PDF

Info

Publication number
JP6316884B2
JP6316884B2 JP2016143155A JP2016143155A JP6316884B2 JP 6316884 B2 JP6316884 B2 JP 6316884B2 JP 2016143155 A JP2016143155 A JP 2016143155A JP 2016143155 A JP2016143155 A JP 2016143155A JP 6316884 B2 JP6316884 B2 JP 6316884B2
Authority
JP
Japan
Prior art keywords
acoustic data
candidate
hot word
user
utterance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016143155A
Other languages
English (en)
Other versions
JP2017027049A (ja
Inventor
ラシエル・アルバレス・ゲバラ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2017027049A publication Critical patent/JP2017027049A/ja
Application granted granted Critical
Publication of JP6316884B2 publication Critical patent/JP6316884B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/04—Training, enrolment or model building
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L13/086—Detection of language
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065—Adaptation
    • G10L15/07—Adaptation to the speaker
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/08—Use of distortion metrics or a particular distance between probe pattern and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/18—Artificial neural networks; Connectionist approaches
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065—Adaptation
    • G10L15/07—Adaptation to the speaker
    • G10L15/075—Adaptation to the speaker supervised, i.e. under machine guidance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G10L2015/0638—Interactive procedures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本開示は、一般に、音声コマンドを使用してコンピュータを制御することに関するものである。
コンピュータは、ユーザの発話(utterance)を分析することができ、それに応答してアクション(action)を実行することができる。たとえば、ユーザが、「DRIVE HOME」と言うと、コンピュータは、ユーザが現在位置から車で家に帰る道順で応答し得る。
一般に、本明細書で説明されている発明対象の一態様は、個別化されたホットワード検出モデル(individualized hotword detection model)を生成するためのプロセスを伴い得る。本明細書で使用されているように、「ホットワード」は、スリープ状態またはハイバネーション状態からデバイスをウェイクアップさせる言葉、および/または、その言葉またはその言葉に続く1つまたは複数の言葉、たとえば、ホットワードに続く音声コマンドに関する意味解釈をトリガーする言葉を指すものとしてよい。
たとえば、発話「OK COMPUTER, DRIVE HOME」の中の、言葉「OK COMPUTER」は、その後に続く言葉「DRIVE HOME」に関する意味解釈をトリガーするホットワードであってよく、言葉「DRIVE HOME」は、ユーザの家までの道順を提供するための音声コマンドに対応し得る。システムが、発話「OK COMPUTER, DRIVE HOME」に対応する音声を受け取ったときに、システムは、その発話がホットワード「OK COMPUTER」から始まると決定し、それに応答して、その音声を文字に起こし、音声コマンド「DRIVE HOME」の文字起こしに関して意味解釈を実行し、ユーザが車で家に帰る道順を出力することができる。
ホットワードは、システムに向けられていない音声を潜在的にピックアップし得る「常時オン」システムに対して有用であり得る。たとえば、ホットワードの使用は、発話が環境内に存在する別の個人に向けられるのと反対に、与えられた発話がシステムにいつ向けられたかをシステムが識別するのを助け得る。そうする際に、システムは、ホットワードを含まない音声または発話に関する、大量の計算を必要とする処理、たとえば、意味解釈を回避することができる。
ホットワードの使用は、音声ベースのシステムの信頼性を改善し得る。たとえば、ユーザによって発せられた音声コマンドを認識し、音声コマンドに依存してアクションが実行されることを引き起こすシステムにおいて、ホットワードの使用は、システムがユーザの意図された、より高い割合の音声コマンドを認識することを確実にし得る。これは、システムをより信頼性の高いものにし、またユーザに対するシステムの使い勝手も改善することは理解されるであろう。別の効果は、システムのユーザが、音声コマンドとしてシステムによって認識されるために意図された音声コマンドを繰り返されなければならない頻度が低減されることである。これは、システムがユーザからの音声または発話を解釈するか、または再解釈しなければならない頻度を潜在的に低減することによってシステム内の計算リソース(たとえば、メモリおよび処理リソース)を節減することができる。
システムは、ホットワード検出モデルに基づき発話がホットワードを含むことを検出し得る。しかしながら、異なるユーザは、異なる方法で同じホットワードを発音し得る。したがって、システムは、何人かのユーザがホットワードをいつ話すかを検出できない。システムは、個別化されたホットワード検出モデルを生成することに基づきホットワードの検出を高めることができる。しかしながら、ホットワード検出モデルを生成することは、数千もの発話を使用することがあり、ユーザは、数千もの登録発話(enrollment utterance)を行うことを望まない可能性がある。したがって、ユーザによる1つまたは複数の登録発話を受け取った後に、システムは、他のユーザによるホットワードの他の発話を識別し、ユーザによる登録発話に類似する発話を選択し、選択された発話および登録発話を使用して個別化されたホットワード検出モデルを生成することができる。
いくつかの態様では、本明細書で説明されている発明対象は、ユーザによって話された登録発話を表す登録音響データを取得するアクションと、他のユーザによって話された発話を表す候補音響データのセットを取得するアクションと、候補音響データのセットの各候補音響データについて、登録音響データと候補音響データとの間の類似性を表す類似度スコアを決定するアクションと、その類似度スコアに少なくとも基づき候補音響データのセットから候補音響データのサブセットを選択するアクションと、候補音響データのサブセットに基づき検出モデルを生成するアクションと、ユーザによって話された発話を検出する際に使用するための検出モデルを提供するアクションとを含み得る方法で具現化され得る。
他のバージョンは、対応するシステムと、装置と、これらの方法のアクションを実行するように構成され、コンピュータ記憶デバイス上に符号化されたコンピュータプログラムとを含む。
これらおよび他のバージョンは各々、以下の特徴のうちの1つまたは複数を適宜含み得る。たとえば、いくつかの実装形態において、ユーザによって話される登録発話を表す登録音響データを取得することは、ユーザによって話された所定の語句の複数の発話に対する登録音響データを取得することを含む。
いくつかの態様において、他のユーザによって話される発話を表す候補音響データのセットを取得することは、登録発話が所定の語句の発話であると決定すること、および他のユーザによって話される所定の語句の発話を表す候補音響データを識別することを含む。
いくつかの態様において、候補音響データのセットの各候補音響データについて、類似度スコアを決定することは、登録音響データと候補音響データとの間の距離を決定することと、距離に基づき類似度スコアを決定することとを含む。
いくつかの実装形態において、候補音響データのセットの各候補音響データについて、類似度スコアを決定することは、候補音響データによって表される発話を話した他のユーザの人口学的情報と、登録発話を話したユーザの人口学的情報とに基づき類似度スコアを決定することを含む。
いくつかの態様において、登録音響データと候補音響データとの間の類似度を表す候補音響データの類似度スコアに少なくとも基づき候補音響データのセットから候補音響データのサブセットを選択することは、所定の数の候補音響データを選択することに基づく。
いくつかの態様において、候補音響データのサブセットに基づき検出モデルを生成することは、候補音響データのサブセットを使用してニューラルネットワークを学習させることを含む。いくつかの実装形態において、追加のアクションは、検出モデルを使用して所定の語句の発話を検出することを含む。
本明細書で説明されている発明対象の1つまたは複数の実装形態の詳細は、付属の図面および以下の説明で述べられる。発明対象の他の潜在力のある特徴、態様、および利点は、説明、図面、および請求項から明らかになるであろう。
個別化されたホットワード検出モデルを生成するための例示的なシステムのブロック図を示す図である。 個別化されたホットワード検出モデルを生成するための例示的なシステムのブロック図を示す図である。 個別化されたホットワード検出モデルを生成するための例示的なプロセスの流れ図である。 例示的なコンピューティングデバイスの図である。
さまざまな図面内の類似の参照記号は、類似の要素を示す。
図1は、個別化されたホットワード検出モデルを生成するための例示的なシステム100のブロック図である。簡単に言うと、以下でさらに詳しく説明されるように、システム100は、クライアントデバイス120と、候補音響データスコアラー134、候補音響データセレクター136、およびホットワード検出モデル生成器140を備えるサーバ130とを備え得る。
クライアントデバイス120は、スマートフォン、ラップトップコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、またはユーザ110がホットワードをいつ言ったかを検出するように構成された他の何らかのコンピューティングデバイスであってよい。たとえば、クライアントデバイス120は、ユーザ110が「OK COMPUTER」といつ言ったかを検出するように構成され得る。
クライアントデバイス120は、ユーザ110がホットワード検出モデルを使用してホットワードをいつ話すかを検出し得る。たとえば、クライアントデバイス120は、ホットワード「OK COMPUTER」がいつ話されたかに対応して音声を検出するように学習させられたホットワード検出モデルを使用してユーザが「OK COMPUTER」と話していることを検出し得る。
しかしながら、異なるユーザは、異なる方法で同じホットワードを発音し得る。たとえば、ユーザ110は、「OK COMPUTER」を「OK COM-UT-ER」といように発声することがあり得、ホットワード検出モデルは、「OK COM-UT-ER」を「OK COMPUTER」と検出し得ない。したがって、クライアントデバイス120は、ユーザ110がホットワードをいつ言ったかを検出するように学習させられている個人化されたホットワード検出モデル152に基づきユーザ110によって話されたホットワードの検出を高めることができる。たとえば、個人化されたホットワード検出モデル152は、「OK COM-UT-ER」をホットワード「OK COMPUTER」のユーザ110の発音として検出するように学習させることができる。
個人化されたホットワード検出モデル152を取得するために、クライアントデバイス120は、登録発話を行うようにユーザに促すことができる。たとえば、ホットワード「OK COMPUTER」を検出するために個人化されたホットワード検出モデルを取得するのに、クライアントデバイス120は、「NOW PERSONALIZING HOTWORD DETECTION, SAY 'OK COMPUTER' THREE TIMES」というプロンプトをユーザ110に提供することができる。クライアントデバイス120は、音を音響データとして取り込む音響データ生成器を備え得る。たとえば、クライアントデバイス120は、ユーザ110が「OK COMPUTER」を「OK COM-UT-ER」と話すのを信号として取り込むマイクロフォンを備えるものとしてよく、信号をメル周波数ケプストラム係数によって表される登録音響データ122として符号化する。
クライアントデバイス120は、登録音響データ122をサーバ130に提供し、応答して、個人化されたホットワード検出モデル152を受け取るものとしてよい。たとえば、クライアントデバイス120は、ユーザ110が「OK COMPUTER」を「OK COM-UT-ER」と話すことを表す登録音響データ122をサーバ130に提供し、それに応答して、登録音響データに少なくとも基づき学習させられた個人化されたホットワード検出モデル152を受け取ることができる。
次いで、クライアントデバイス120は、個人化されたホットワード検出モデル152を使用してユーザがホットワードをいつ話すかを検出し得る。たとえば、ユーザ110が「OK COMPUTER」を「OK COM-UT-ER」と話すことを表す登録音響データ122に基づき学習させられた個人化されたホットワード検出モデル152を使用して、クライアントデバイス120は、ユーザが「OK COM-UT-ER」と言ったときにユーザ110がホットワード「OK COMPUTER」を言っていることを検出し得る。
サーバ130は、登録音響データに基づき個人化されたホットワード検出モデルを生成するように構成され得る。たとえば、サーバ130は、ユーザ110が「OK COMPUTER」を「OK COM-UT-ER」と話すことを表すことを表す登録音響データ122を受け取り、登録音響データに少なくとも基づき個人化されたホットワード検出モデル152を学習させることができる。
しかしながら、ホットワード検出モデルを生成することは、数千もの発話を使用することができ、ユーザは、数千もの登録発話を個人的に行いたくない場合がある。それに加えて、サーバ130によって、ユーザからの数千もの登録発話を受け取り、記憶することは、比較的大量のメモリを必要とする。したがって、ユーザによる1つまたは複数の登録発話を受け取った後に、サーバ130は、他のユーザによるホットワードの他の発話を識別し、ユーザによる登録発話に類似する発話を選択し、選択された発話および登録発話を使用して個人化されたホットワード検出モデル152を生成することができる。他にも利点はあるがとりわけ、この方式で個人化されたホットワード検出モデルを生成することは、特にシステムが多数の個人ユーザに対して個人化された検出モデルを生成し、提供するときにサーバ130に必要な総メモリ量を低減する潜在的可能性を有する。以下で説明されているように、これは、少なくとも部分的には、新規の個別音声検出モデルを生成する上で、他のユーザからの発話を使用することが効果的であり効率的であるからである。
より詳細には、サーバ130の候補音響データベース132は、さまざまなユーザの発話を表す音響データを記憶することができる。たとえば、サーバ130の候補音響データベース132は、異なるユーザの何十万という発話を表す音響データを記憶し得る。候補音響データベース132は、発話されたホットワードを指示するデータとともに各音響データを記憶し得る。たとえば、候補音響データベース132は、ホットワード「OK COMPUTER」の発話であるものとしてラベル付けされている音響データの5万セットおよび異なるホットワード「MY BUTLER」の発話であるものとしてラベル付けされている音響データの5万セットを記憶し得る。いくつかの実装形態において、候補音響データベース132は、音響データをユーザを記述する人口学的データに関連付け得る。たとえば、候補音響データベース132は、音響データを、ホットワードがユーザによって話されたときにユーザがいた場所に関連付けし得る。別の例では、候補音響データベース132は、音響データをユーザの性別、ユーザの年齢幅、またはユーザを記述する他の何らかの情報に関連付けし得る。
サーバ130の候補音響データスコアラー134は、登録音響データ122および候補音響データベース132からの候補音響データを取得し、登録音響データ122と候補音響データとの間の類似性を表す類似度スコアを生成するように構成され得る。たとえば、候補音響データスコアラー134は、「OK COMPUTER」と言うユーザの登録音響データ122および「OK COMPUTER」と言う別のユーザを表す候補音響データを受け取り、90%の類似度を決定し、0.9のスコアを候補音響データと関連付けることができる。この例において、次いで、候補音響データスコアラー134は、「OK COMPUTER」と言うさらに別のユーザを表す候補音響データの第2のセットを取得し、登録音響データ122との30%の類似度を決定し、0.3のスコアを候補音響データの第2のセットに関連付けることができる。
特定の発話を表す候補音響データの類似度スコアは、特定の発話と登録発話との間の音響的類似性を反映し得る。たとえば、類似度スコアは、0から1までの範囲とすることができ、ここで、より高い類似度スコアは、より大きい音響類似度を反映し、より低いスコアは、より低い音響類似度を反映する。他の例において、他の種類のスコアおよび範囲、たとえば、1〜5、A〜F、または0%〜100%が使用され得る。
候補音響データスコアラー134は、登録音響データと候補音響データとの間の距離に基づきスコアを生成し得る。たとえば、候補音響データスコアラー134は、複数のフレームにまたがって登録音響データおよび候補音響データのメル周波数ケプストラム係数の差を集計し、結果としてより大きい集計距離だとスコアはより小さい類似度を反映し、より低い集計距離だとスコアはより大きい類似度を反映する類似度スコアを決定し得る。
いくつかの実装形態において、候補音響データスコアラー134は、他のユーザの人口学的情報に基づきスコアを決定し得る。たとえば、同じ性別を有するユーザの発話を表す候補音響データを選択するかわりに、候補音響データスコアラー134は、異なる性別のユーザの発話を表す候補音響データを取得し、候補音響データによって表される発話を話すユーザの性別がユーザ110の性別と一致するかどうかを決定し、一致を決定したことに応答して、より高い類似度スコアをユーザ110と同じ性別のユーザの発話を表す候補音響データに割り当てるものとしてよい。
いくつかの実装形態において、候補音響データスコアラー134は、候補音響データベース132に記憶されている、より多くの候補音響データから候補音響データを選択し得る。たとえば、候補音響データスコアラー134は、ホットワード「OK COMPUTER」が話される場合に候補音響データベース132から音響データを受け取ることを選択し得る。候補音響データスコアラー134は、登録音響データとともに、話されるホットワードの指示またはホットワードを言うユーザの種類の指示のうちの1つまたは複数を取得し、同じホットワードを言うユーザまたはホットワードを言うユーザに類似する種類のユーザの音響データについて候補音響データベース132にクエリを実行し得る。たとえば、候補音響データスコアラー134は、女性ユーザによってホットワード「OK COMPUTER」が話されたという指示を取得し、それに応答として、女性ユーザによってホットワード「OK COMPUTER」が話されていることを表す音響データについて候補音響データベース132にクエリを実行し得る。
候補音響データセレクター136は、音響データスコアラー134および登録音響データ122からスコアが付けられた候補音響データを取得し、個人化されたホットワード検出モデル152を学習させるための音響データの学習セット138を生成し得る。たとえば、候補音響データセレクター136は、ユーザ110が「OK COMPUTER」と話していることを表す登録音響データを取得し、異なる他のユーザが「OK COMPUTER」と言っていることを表す5万の候補音響データを取得し、候補音響データの各々は、候補音響データと登録音響データ122との間の類似性を反映する類似度スコアに関連付けられ、5万の候補音響データおよび登録音響データ122のうちの1万個を含む音響データの学習セットを生成する。
候補音響データセレクター136は、類似度スコアに少なくとも基づき候補音響データのサブセットを選択することに基づき学習セット138を生成し得る。たとえば、候補音響データセレクター136は、5万の候補音響データのセットを取得し、他の候補音響データよりも高い、候補音響データと登録音響データ122との間の類似性を反映する類似度スコアを有するセットの1万の候補音響データのサブセットを選択し得る。
候補音響データセレクター136は、所定の数、たとえば、千、3千、1万、5万の候補音響データを選択することに基づき候補音響データのサブセットを選択し得る。たとえば、候補音響データセレクター136は、「OK COMPUTER」の単一の発話を表す登録音響データを取得し、候補音響データと登録音響データとの間のより高い類似性を反映する類似度スコアを有する3千の候補音響データのサブセットを選択し得る。
それに加えて、または代替的に、候補音響データセレクター136は、類似度スコア閾値を満たす候補音響データを選択することに基づき候補音響データのサブセットを選択し得る。たとえば、候補音響データセレクター136は、0.0〜1.0のスコア範囲から0.8、0.85、0.9の類似度スコア閾値を超える類似度スコアを有する候補音響データを選択し、学習セット138に選択された候補音響データを含めることができる。
いくつかの実装形態において、候補音響データセレクター136は、学習セット138内の音響データに重み付けし得る。たとえば、候補音響データセレクター136は、学習セット138内に登録音響データを複数回含めるか、または学習セット138内の登録音響データを候補音響データよりも大きい重みに関連付け得る。
いくつかの実装形態において、候補音響データセレクター136は、複数の登録音響データに基づき候補音響データのサブセットを選択し得る。たとえば、候補音響データセレクター136は、ユーザ110による「OK COMPUTER」の3回の発話に対する登録音響データを受け取り、各登録音響データについて、学習セット138に含めるために最も高い類似性を反映する類似度スコアを有する3千の候補音響データを選択し得る。したがって、いくつかの候補音響データは、複数の登録音響データについて候補音響データが選択された場合、学習セット138内に複数回出現し得る。いくつかの実装形態において、候補音響データセレクター136は、学習セット138から重複する候補音響データを取り除く、または重複する候補音響データが学習セット138に含まれることを防ぐことができる。
いくつかの実装形態において、候補音響データセレクター136は、候補音響データセレクター136によって受け取られた登録音響データの数に基づき登録音響データについて選択する候補音響データの数を決定し得る。たとえば、候補音響データセレクター136は、5個の登録音響データを受け取り、ホットワード検出モデル生成器が少なくとも1万の音響データの学習セットを受け取り、それに応答して、受け取った各登録音響データについて、登録音響データとともに学習セットに含める少なくとも1999の候補音響データを選択すべきであると決定し得る。別の例では、候補音響データセレクター136は、10個の登録音響データを受け取り、ホットワード検出モデル生成器が少なくとも1万の音響データの学習セットを受け取り、それに応答して、受け取った各登録音響データについて、登録音響データとともに学習セットに含める少なくとも999の候補音響データを選択すべきであると決定し得る。
別の例では、候補音響データセレクター136は、複数の登録音響データの各々について部分類似度スコアを決定することに基づき候補音響データに対する類似度スコアを決定し得る。たとえば、候補音響データセレクター136は、3つの登録音響データを受け取り、各候補音響データについて、各々登録音響データのうちの1つに対応する3つの部分類似度スコアを決定し、部分類似度スコアを平均することに基づき類似度スコアを決定し得る。さらに別の例では、候補音響データセレクターは、類似度スコアとして候補音響データに対する部分類似度スコアの中央値、下限、または上限を取ることができる。
ホットワード検出モデル生成器140は、候補音響データセレクター136から学習セット138を受け取り、個人化されたホットワード検出モデル152を生成することができる。たとえば、ホットワード検出モデル生成器140は、9997の選択された候補音響データおよび3つの登録音響データを含む学習セットを受け取り、学習セットに基づき個人化されたホットワード検出モデル152を生成し得る。
ホットワード検出モデル生成器140は、学習セット138内の音響データをホットワードの発話を表すものとして検出するためにニューラルネットワークを学習させることに基づき個人化されたホットワード検出モデル152を生成し得る。たとえば、ホットワード検出モデル生成器140は、学習セット138内の音響データに基づきホットワード「OK COMPUTER」を検出する個人化されたホットワード検出モデル152を生成し得る。
システム100の異なる構成が使用されてもよく、ここで、候補音響データスコアラー134、候補音響データセレクター136、およびホットワード検出モデル生成器140を含むクライアントデバイス120およびサーバ130の機能は、組み合わされるか、さらに分離されるか、分散されるか、または相互に入れ替えられるものとしてよい。システム100は、単一のデバイスで実装されるか、または複数のデバイスにまたがって分散され得る。
図2は、個別化されたホットワード検出モデルを生成するための例示的なサーバ130のブロック図である。サーバ130は、図1で説明されているサーバであってよい。上で説明されているように、サーバ130は、候補音響データベース132、候補音響データスコアラー134、候補音響データセレクター136、およびホットワード検出モデル生成器140を備え得る。
候補音響データベース132は、ホットワード「OK COMPUTER」を言うさまざまなユーザの複数の候補音響データを含み得る。たとえば、候補音響データベース132は、「User A」が「OK COMPUTER」を「OK COM-PU-TER」と言う候補音響データ、「User B」が「OK COMPUTER」を「OOK COM-PU-TER」という候補音響データ、「User C」が「OK COMPUTER」を「OK COP-TER」と言う候補音響データ、「User D」が「OK COMPUTER」を「OK COM-U-TER」と言う候補音響データ、「User E」が「OK COMPUTER」を「OK COM-MUT-ER」と言う候補音響データ、「User F」が「OK COMPUTER」を「OK COM-PUT-EW」という候補音響データ、および他のユーザが「OK COMPUTER」と言う他の候補音響データを含み得る。
候補音響データスコアラー134は、ユーザの登録音響データ202を受け取り、候補音響データベース132から候補音響データのセットを取得することができる。たとえば、候補音響データスコアラー134は、ユーザが「OK COMPUTER」を「OK COM-UT-ER」と言う登録音響データ202を受け取り、それに応答して、候補音響データベース132から候補音響データのセットを取得するものとしてよく、候補音響データベース132は「User A」が「OK COMPUTER」を「OK COM-PU-TER」と言う候補音響データ、「User B」が「OK COMPUTER」を「OOK COM-PU-TER」という候補音響データ、「User C」が「OK COMPUTER」を「OK COP-TER」と言う候補音響データ、「User D」が「OK COMPUTER」を「OK COM-U-TER」と言う候補音響データ、「User E」が「OK COMPUTER」を「OK COM-MUT-ER」と言う候補音響データ、「User F」が「OK COMPUTER」を「OK COM-PUT-EW」という候補音響データ、および他のユーザが「OK COMPUTER」と言う他の候補音響データを含む。
候補音響データスコアラー134は、候補音響データのセットの各々について類似度スコアを生成し得る。たとえば、ユーザ110が「OK COMPUTER」を「OK COM-UT-ER」と言う登録音響データについて、候補音響データスコアラー134は、「User A」が「OK COMPUTER」を「OK COM-PU-TER」と言う候補音響データに対する中程度の類似性を反映する0.6の類似度スコア、「User B」が「OK COMPUTER」を「OOK COM-PU-TER」と言う候補音響データに対する中程度の類似性を反映する0.5の類似度スコア、「User C」が「OK COMPUTER」を「OK COP-TER」と言う候補音響データに対する低い類似性を反映する0.3の類似度スコア、「User D」が「OK COMPUTER」を「OK COM-U-TER」と言う候補音響データに対する高い類似性を反映する0.9の類似度スコア、「User E」が「OK COMPUTER」を「OK COM-MUT-ER」と言う候補音響データに対する高い類似性を反映する0.8の類似度スコア、および「User F」が「OK COMPUTER」を「OK COM-PUT-EW」と言う候補音響データに対する中程度の類似性を反映する0.5の類似度スコアを生成し得る。
候補音響データセレクター136は、候補音響データスコアラー134からスコアを付けられた候補音響データ204を受け取り、音響データの学習セット138を生成し得る。たとえば、候補音響データセレクター136は、「User A」が「OK COMPUTER」を「OK COM-PU-TER」と言う候補音響データに対する中程度の類似性を反映する0.6の類似度スコア、「User B」が「OK COMPUTER」を「OOK COM-PU-TER」と言う候補音響データに対する中程度の類似性を反映する0.5の類似度スコア、「User C」が「OK COMPUTER」を「OK COP-TER」と言う候補音響データに対する低い類似性を反映する0.3の類似度スコア、「User D」が「OK COMPUTER」を「OK COM-U-TER」と言う候補音響データに対する高い類似性を反映する0.9の類似度スコア、「User E」が「OK COMPUTER」を「OK COM-MUT-ER」と言う候補音響データに対する高い類似性を反映する0.8の類似度スコア、「User F」が「OK COMPUTER」を「OK COM-PUT-EW」と言う候補音響データに対する中程度の類似性を反映する0.5の類似度スコア、対応する候補反響データ、および登録音響データを受け取り、それに応答して、「User D」が「OK COMPUTER」を「OK COM-U-TER」と言う候補音響データ、「User E」が「OK COMPUTER」を「OK COM-MUT-ER」と言う候補音響データ、およびユーザが「OK COMPUTER」を「OK COM-UT-ER」と言う登録音響データを含む音響データの学習セットを生成し得る。
候補音響データセレクター136は、類似度スコアに基づき候補音響データのセットのサブセットを選択することによって学習セットを生成し得る。たとえば、候補音響データセレクター136は、ホットワード検出モデル生成器は3つの音響データの学習セットを受け取るべきであると決定し、登録音響データが1つあると決定し、2つの候補音響データを選択して3つの全音響データを取得することを決定し、候補音響データのすべてから登録音響データとの最大の類似性を反映する0.9および0.8の類似度スコアを有する候補音響データを選択するものとしてよい。
ホットワード検出モデル生成器140は、学習セット138を受け取り、個人化されたホットワード検出モデル152を生成することができる。たとえば、ホットワード検出モデル生成器140は、学習セットを受け取り、この学習セットは「User D」が「OK COMPUTER」を「OK COM-U-TER」と言う候補音響データ、「User E」が「OK COMPUTER」を「OK COM-MUT-ER」と言う候補音響データ、およびユーザが「OK COMPUTER」を「OK COM-UT-ER」と言う登録音響データを含み、ユーザ110によって話されるホットワード「OK COMPUTER」を表すものとしてそれらの音響データを検出するようにニューラルネットワークを学習させることができる。
図3は、個別化されたホットワード検出モデルを生成するための例示的なプロセスの流れ図である。次に、処理300を、図1を参照しつつ説明されているシステム100の構成要素によって実行されるものとして説明する。しかしながら、プロセス300は、他のシステムまたはシステム構成によって実行されてよい。
プロセス300は、ユーザによって話される登録発話を表す登録音響データを取得すること(310)を含み得る。たとえば、候補音響データスコアラー134は、クライアントデバイス120によって、クライアントデバイス120を学習させるためサンプル登録発話を提供し、ユーザがホットワード「MY BUTLER」をいつ言うかを検出するよう促された後に、ユーザがホットワード「MY BUTLER」を言うことを表す登録音響データをクライアントデバイス120から取得し得る。
プロセス300は、他のユーザによって話される発話を表す候補音響データのセットを取得すること(320)を含み得る。たとえば、候補音響データスコアラー134は、登録音響データが20歳から30歳の年齢範囲の男性によって話されたホットワード「MY BUTLER」に対するものであると決定し、それに応答して、候補音響データベース132から、20歳から30歳の年齢範囲の他の男性ユーザがホットワード「MY BUTLER」を言うことを表す候補音響データを取得し得る。
プロセスは、候補音響データのセットの各候補音響データについて、登録音響データと候補音響データとの間の類似性を表す類似度スコアを決定すること(330)を含み得る。たとえば、候補音響データベース132から取得された各候補音響データについて、候補音響データスコアラー134は、ユーザがホットワード「MY BUTLER」を言うことを表す登録音響データ、および別のユーザがホットワード「MY BUTLER」を言うことを表す候補音響データを決定し得る。
プロセスは、類似度スコアに少なくとも基づき候補音響データのセットから候補音響データのサブセットを選択すること(340)を含み得る。たとえば、候補音響データセレクター136は、登録音響データとの最も高い類似性を反映する類似度スコアを有する、所定の数の、たとえば、1000、5000、20000、または他の何らかの数の候補音響データを選択し得る。別の例では、候補音響データセレクター136は、類似度スコア閾値、たとえば、0.7、0.8、0.9、または他の何らかの量の条件を満たす類似度スコアを有する候補音響データを選択し得る。
プロセスは、候補音響データのサブセットに基づき検出モデルを生成すること(350)を含み得る。たとえば、ホットワード検出モデル生成器140は、他のユーザが「MY BUTLER」を言う選択された候補音響データを使用してユーザがホットワード「MY BUTLER」をいつ話すかを検出するためにニューラルネットワークを学習させることに基づき個人化されたホットワード検出モデルを生成し得る。
プロセスは、ユーザによって話された発話を検出する際に使用するための検出モデルを提供すること(360)を含み得る。たとえば、サーバ130は、ホットワード検出モデル生成器140によって生成された個人化されたホットワード検出モデル152をクライアントデバイス120に提供し得る。次いで、クライアントデバイス120は、ユーザ110がホットワード「MY BUTLER」をいつ言うかを検出するために、個人化されたホットワード検出モデル152を使用し得る。
図4は、本明細書で説明されている技術を実装するために使用され得るコンピューティングデバイス400およびモバイルコンピューティングデバイス450の一例を示す。コンピューティングデバイス400は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータなどのさまざまな形態のデジタルコンピュータを表すことが意図されている。モバイルコンピューティングデバイス450は、携帯情報端末、携帯電話、スマートフォン、および他の類似のコンピューティングデバイスなどの、さまざまな形態のモバイルコンピューティングデバイスを表すことが意図されている。ここに示されている構成要素、それらの接続および関係、ならびにそれらの機能は、例示することのみを意図されており、制限することを意図されていない。
コンピューティングデバイス400は、プロセッサ402、メモリ404、記憶装置406、メモリ404および複数の高速拡張ポート410に接続する高速インターフェイス408、ならびに低速拡張ポート414および記憶装置406に接続する低速インターフェイス412を備える。プロセッサ402、メモリ404、記憶装置406、高速インターフェイス408、高速拡張ポート410、および低速インターフェイス412は、さまざまなバスを使用して相互接続され、共通マザーボード上に取り付けられるか、または適宜他の仕方で取り付けられ得る。プロセッサ402は、高速インターフェイス408に結合されているディスプレイ416などの、外部入力/出力デバイス上にグラフィカルユーザインターフェイス(GUI)に対するグラフィック情報を表示するためメモリ404内に、または記憶装置406上に、記憶されている命令を含む、コンピューティングデバイス400内で実行する命令を処理することができる。他の実装形態では、複数のプロセッサおよび/または複数のバスが、適宜、複数のメモリおよび種類のメモリとともに使用され得る。また、複数のコンピューティングデバイスが、必要な操作の一部を提供する各のデバイスと接続され得る(たとえば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして)。
メモリ404は、コンピューティングデバイス400内の情報を記憶する。いくつかの実装形態において、メモリ404は、1つまたは複数の揮発性メモリユニットである。いくつかの実装形態において、メモリ404は、1つまたは複数の不揮発性メモリユニットである。メモリ404は、磁気ディスクまたは光ディスクなどのコンピュータ可読媒体の他の形態のものであってもよい。
記憶装置406は、コンピューティングデバイス400用の大容量記憶装置を構成することができる。いくつかの実装形態において、記憶装置406は、ストレージエリアネットワークまたは他の構成のデバイスを含む、フロッピィディスクデバイス、ハードディスクデバイス、光ディスクデバイス、もしくはテープデバイス、フラッシュメモリもしくは他の類似のソリッドステートメモリデバイス、またはデバイスアレイなどのコンピュータ可読媒体であるか、またはコンピュータ可読媒体を含むことができる。命令は、情報担体内に記憶され得る。命令は、1つまたは複数の処理デバイス(たとえば、プロセッサ402)によって実行されるときに、上で説明されているような、1つまたは複数の方法を実行する。命令は、コンピュータ可読媒体もしくは機械可読媒体などの1つまたは複数の記憶装置(たとえば、メモリ404、記憶装置406、またはプロセッサ402上のメモリ)によって記憶されてもよい。
高速インターフェイス408は、コンピューティングデバイス400に対して大きな帯域幅を使用するオペレーションを管理するが、低速インターフェイス412は、少ない帯域幅を使用するオペレーションを管理する。機能のこのような割り振りは、例示的なものにすぎない。いくつかの実装形態において、高速インターフェイス408は、メモリ404、ディスプレイ416(たとえば、グラフィックスプロセッサまたはアクセラレータを通じて)、およびさまざまな拡張カード(図示せず)を受け入れることができる高速拡張ポート410に結合される。実装形態において、低速インターフェイス412は、記憶装置406および低速拡張ポート414に結合される。さまざまな通信ポート(たとえば、USB、Bluetooth(登録商標)、Ethernet、ワイヤレスEthernet)を含み得る、低速拡張ポート414は、キーボード、ポインティングデバイス、スキャナ、またはたとえば、ネットワークアダプタを通じて、スイッチまたはルータなどネットワーキングデバイスなどの1つまたは複数の入力/出力デバイスに結合され得る。
コンピューティングデバイス400は、図に示されているように、数多くの異なる形態で実装され得る。たとえば、標準サーバ420として、またはそのようなサーバのグループにおいて何倍もの数で実装され得る。それに加えて、ラップトップコンピュータ422などのパーソナルコンピュータで実装され得る。これは、ラックサーバシステム424の一部としても実装され得る。代替的に、コンピューティングデバイス400からの構成要素は、モバイルコンピューティングデバイス450などのモバイルコンピューティングデバイス(図示せず)内の他の構成要素と組み合わされ得る。このようなデバイスの各々は、コンピューティングデバイス400およびモバイルコンピューティングデバイス450のうちの1つまたは複数を含むものとしてよく、システム全体が、互いに通信する複数のコンピューティングデバイスで構成され得る。
モバイルコンピューティングデバイス450は、他にも構成要素があるがとりわけ、プロセッサ452、メモリ464、ディスプレイ454などの入力/出力デバイス、通信インターフェイス466、およびトランシーバ468を備える。モバイルコンピューティングデバイス450は、追加の記憶装置を構成するためにマイクロドライブまたは他のデバイスなどの記憶装置を備えることもできる。プロセッサ452、メモリ464、ディスプレイ454、通信インターフェイス466、およびトランシーバ468の各々は、さまざまなバスを使用して相互接続され、これらの構成要素のうちのいくつかは、共通マザーボード上に取り付けられるか、または適宜他の仕方で取り付けられ得る。
プロセッサ452は、メモリ464内に記憶されている命令を含む、モバイルコンピューティングデバイス450内の命令を実行することができる。プロセッサ452は、個別の、および複数の、アナログおよびデジタルプロセッサを備えるチップのチップセットとして実装され得る。プロセッサ452は、たとえば、ユーザインターフェイスの制御、モバイルコンピューティングデバイス450によるアプリケーション実行、およびモバイルコンピューティングデバイス450によるワイヤレス通信などの、モバイルコンピューティングデバイス450の他の構成要素の調整を行い得る。
プロセッサ452は、制御インターフェイス458およびディスプレイ454に結合されているディスプレイインターフェイス456を通じてユーザと通信することができる。ディスプレイ454は、たとえば、TFT(薄膜トランジスタ液晶ディスプレイ)ディスプレイまたはOLED(有機発光ダイオード)ディスプレイまたは他の適切なディスプレイ技術とすることができる。ディスプレイインターフェイス456は、グラフィックおよび他の情報をユーザに提示するようにディスプレイ454を駆動するための適切な回路を備え得る。制御インターフェイス458は、ユーザからコマンドを受け取り、それらをプロセッサ452に送るために変換し得る。それに加えて、外部インターフェイス462は、プロセッサ452と通信することができ、それにより、モバイルコンピューティングデバイス450と他のデバイスとの近距離通信を行うことを可能にする。外部インターフェイス462は、たとえば、いくつかの実装形態における有線通信、または他の実装形態における無線通信を行うことができ、複数のインターフェイスも使用され得る。
メモリ464は、モバイルコンピューティングデバイス450内の情報を記憶する。メモリ464は、1つまたは複数のコンピュータ可読媒体、1つまたは複数の揮発性メモリユニット、または1つまたは複数の不揮発性メモリユニットのうちの1つまたは複数として実装することができる。拡張メモリ474も、たとえば、SIMM(シングルインラインメモリモジュール)カードインターフェイスを含むものとしてよい、拡張インターフェイス472を通じて構成され、モバイルコンピューティングデバイス450に接続され得る。拡張メモリ474は、モバイルコンピューティングデバイス450に対する付加的な記憶領域を設け得るか、またはモバイルコンピューティングデバイス450用のアプリケーションもしくは他の情報も記憶し得る。特に、拡張メモリ474は、上で説明されているプロセスを実行するか、または補助する命令を含むものとしてよく、またセキュア情報も含み得る。したがって、たとえば、拡張メモリ474は、モバイルコンピューティングデバイス450に対するセキュリティモジュールとして構成されるものとしてよく、モバイルコンピューティングデバイス450の安全な使用を可能にする命令でプログラムされ得る。それに加えて、安全なアプリケーションは、SIMMカードを介して、ハッキングできない方式でSIMMカード上に識別情報を配置するなど、付加情報とともに提供され得る。
メモリは、たとえば、後述のように、フラッシュメモリおよび/またはNVRAMメモリ(不揮発性ランダムアクセスメモリ)を含み得る。いくつかの実装形態において、命令は、情報担体に記憶され、1つまたは複数の処理デバイス(たとえば、プロセッサ452)によって実行されたときに、上で説明されているような、1つまたは複数の方法を実行する。命令は、1つまたは複数のコンピュータ可読媒体もしくは機械可読媒体などの1つまたは複数の記憶装置(たとえば、メモリ464、拡張メモリ474、またはプロセッサ452上のメモリ)によって記憶されてもよい。いくつかの実装形態において、命令は、たとえば、トランシーバ468または外部インターフェイス462上で、伝搬信号で受け取られるものとしてよい。
モバイルコンピューティングデバイス450は、必要ならば、デジタル信号処理回路を備えることができる、通信インターフェイス466を通じてワイヤレス方式で通信し得る。通信インターフェイス466は、他にもいろいろあるがとりわけGSM(登録商標)音声電話(グローバルシステムフォーモバイルコミュニケーションズ)、SMS(ショートメッセージサービス)、EMS(エンハンストメッセージングサービス)、またはMMSメッセージング(マルチメディアメッセージングサービス)、CDMA(符号分割多元接続)、TDMA(時分割多元接続)、PDC(パーソナルデジタルセルラー)、WCDMA(登録商標)(広帯域符号分割多元接続)、CDMA2000、またはGPRS(汎用パケット無線サービス)などの、さまざまなモードまたはプロトコルの下で通信を行うことができる。このような通信は、たとえば、無線周波数を使用するトランシーバ468を通じて行い得る。それに加えて、Bluetooth(登録商標)、WiFi、または他のトランシーバ(図示せず)などを使用して、短距離通信を実行し得る。それに加えて、GPS(全地球測位システム)受信機モジュール470は、追加のナビゲーション位置関係無線データおよび位置関係無線データをモバイルコンピューティングデバイス450に送ることができ、これはモバイルコンピューティングデバイス450上で実行するアプリケーションによって適宜使用され得る。
モバイルコンピューティングデバイス450は、オーディオコーデック460を使用して音声で通信することもでき、ユーザから発話情報を受け取り、それを使用可能なデジタル情報に変換することができる。オーディオコーデック460は、同様に、たとえば、モバイルコンピューティングデバイス450のハンドセットのスピーカーなどを通じて、ユーザ向けに可聴音を発生することができる。このような音は、音声電話からの音を含み、録音された音を含み(たとえば、音声メッセージ、音楽ファイルなど)、またモバイルコンピューティングデバイス450上で動作するアプリケーションによって生成される音も含み得る。
モバイルコンピューティングデバイス450は、図に示されているように、数多くの異なる形態で実装され得る。たとえば、これは携帯電話480として実装されてもよい。また、これはスマートフォン482、携帯情報端末、または他の類似のモバイルコンピューティングデバイスの一部としても実装され得る。
発明対象および本明細書で説明されている機能するオペレーションおよびプロセスの実施形態は、本明細書で開示されている構造およびその構造的等価物を含む、デジタル電子回路で、有形に具現化されたコンピュータソフトウェアもしくはファームウェアで、コンピュータハードウェアで、またはこれらのうちの1つまたは複数のものの組合せで実装され得る。本明細書で説明されている発明対象の実施形態は、1つまたは複数のコンピュータプログラム、すなわち、データ処理装置による実行のため、またはデータ処理装置のオペレーションを制御するために有形な不揮発性プログラム担体上に符号化されたコンピュータプログラム命令からなる1つまたは複数のモジュールとして実装され得る。代替的に、またはそれに加えて、プログラム命令は、データ処理装置による実行のため好適な受信機装置に送信する情報を符号化するように生成される、人工的に生成された伝搬信号、たとえば、機械で生成された電気、光、または電磁信号上で符号化され得る。コンピュータ記憶媒体は、機械可読記憶装置、機械可読記憶装置基板、ランダムもしくはシリアルアクセスメモリデバイス、またはこれらのうちの1つまたは複数のものの組合せとすることができる。
「データ処理装置」という用語は、たとえば、プログラム可能なプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む、データを処理するためのあらゆる種類の装置、デバイス、および機械を包含する。装置は、専用論理回路、たとえば、FPGA(フィールドプログラマブルゲートアレイ)、またはASIC(特定用途向け集積回路)を含んでいてもよい。装置は、ハードウェアに加えて、注目しているコンピュータプログラム用の実行環境を作成するコード、たとえば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらのうちの1つまたは複数のものの組合せを構成するコードを含むものとしてもよい。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、モジュール、ソフトウェアモジュール、スクリプト、またはコードとも称されるか、または記述され得る)は、コンパイル言語もしくはインタプリタ言語または宣言型言語もしくは手続き型言語を含む、任意の形態のプログラミング言語で書かれるものとしてよく、スタンドアロンプログラム、またはモジュール、構成要素、サブルーチン、またはコンピューティング環境において使用するのに適している他のユニットを含む、任意の形態で配備され得る。コンピュータプログラムは、ファイルシステム内のファイルに対応するものとしてよいが、そうである必要はない。プログラムは、他のプログラムもしくはデータ(たとえば、マークアップ言語文書内に記憶される1つまたは複数のスクリプト)を保持するファイルの一部に、注目するプログラム専用の単一ファイル内に、または複数の調整されたファイル(たとえば、1つまたは複数のモジュール、サブプログラム、またはコードの一部を記憶するファイル)に記憶され得る。コンピュータプログラムは、1つのコンピュータ上で、または1つのサイトに配置されるか、または複数のサイトにまたがって分散され、通信ネットワークによって相互接続されている複数のコンピュータ上で実行されるように配備され得る。
本明細書で説明されているプロセスおよび論理の流れは、入力データを操作し、出力を生成することによって機能を実行するように1つまたは複数のコンピュータプログラムを実行する、1つまたは複数のプログラム可能なコンピュータによって実行され得る。プロセスおよび論理の流れも、専用論理回路、たとえば、FPGA(フィールドプログラマブルゲートアレイ)、またはASIC(特定用途向け集積回路)によって実行され、また装置も、専用論理回路、たとえば、FPGA(フィールドプログラマブルゲートアレイ)、またはASIC(特定用途向け集積回路)によって実装され得る。
コンピュータプログラムの実行に適しているコンピュータは、汎用マイクロプロセッサ、専用マイクロプロセッサ、またはその両方、または任意の他の種類の中央演算処理装置を備える、たとえば、それらに基づくものとしてよい。一般に、中央演算処理装置は、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受け取る。コンピュータの不可欠な要素は、命令を遂行または実行するための中央演算処理装置ならびに命令およびデータを記憶するための1つまたは複数のメモリデバイスである。一般に、コンピュータは、データを記憶するための1つまたは複数の大容量記憶装置、たとえば、磁気ディスク、磁気光ディスク、または光ディスクも備え、これらからデータを受け取るか、またはこれらにデータを転送するか、またはその両方を行うように動作可能なように結合される。しかし、コンピュータはこのようなデバイスを有している必要はない。さらに、コンピュータは、他のデバイス、たとえば、2、3例を挙げると、携帯電話、携帯情報端末(PDA)、携帯オーディオまたはビデオプレーヤー、ゲーム機、全地球測位システム(GPS)受信機、またはポータブルストレージデバイス(たとえば、ユニバーサルシリアルバス(USB)フラッシュドライブ)に埋め込まれ得る。
コンピュータプログラムの命令およびデータを格納するのに適したコンピュータ可読媒体は、たとえば、EPROM、EEPROM、およびフラッシュメモリデバイスなどの半導体メモリデバイス、内蔵ハードディスクまたはリムーバブルディスクなどの磁気ディスク、光磁気ディスク、ならびにCD-ROMおよびDVD-ROMディスクを含む、あらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスを含む。プロセッサおよびメモリは、専用論理回路で補完されるか、または専用論理回路に組み込まれ得る。
ユーザと情報のやり取りを行うために、本明細書で説明されている発明対象の実施形態は、ユーザに情報を表示するためのディスプレイデバイス(たとえば、CRT(陰極線管)またはLCD(液晶ディスプレイ)モニタ)ならびにユーザがコンピュータに入力を送るために使用できるキーボードおよびポインティングデバイス(たとえば、マウスもしくはトラックボール)を有するコンピュータ上で実装され得る。他の種類のデバイスも、ユーザと情報をやり取りするために使用されてよく、たとえば、ユーザに返されるフィードバックは、任意の形態の感覚フィードバック、たとえば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックとすることができ、ユーザからの入力は、音響、話し声、または触覚入力を含む、任意の形態で受け取られ得る。それに加えて、コンピュータは、ユーザによって使用されるデバイスに文書を送信し、そのデバイスから文書を受け取ることによって、たとえば、ウェブページをユーザのクライアントデバイス上のウェブブラウザに、ウェブブラウザから受け取った要求に応答して送信することによってユーザとインタラクティブにやり取りすることができる。
本明細書で説明されている発明対象の実施形態は、バックエンド構成要素を、たとえば、データサーバとして備えるか、またはミドルウェア構成要素、たとえば、アプリケーションサーバを備えるか、またはフロントエンド構成要素、たとえば、ユーザが本明細書で説明されている発明対象の実装をインタラクティブに操作するために使用することができるグラフィカルユーザインターフェイスまたはウェブブラウザを有するクライアントコンピュータを備えるコンピューティングシステムで、または1つまたは複数のそのようなバックエンド、ミドルウェア、またはフロントエンド構成要素の任意の組合せで実装され得る。システムの構成要素は、デジタルデータ通信の任意の形態または媒体、たとえば、通信ネットワークによって相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク(「LAN」)およびワイドエリアネットワーク(「WAN」)、たとえば、インターネットを含む。
コンピューティングシステムは、クライアントおよびサーバを含み得る。クライアントおよびサーバは、一般に、互いに隔てられており、典型的には、通信ネットワークを通じてインタラクティブな操作を行う。クライアントとサーバとの関係は、コンピュータプログラムが各コンピュータ上で実行され、互いとの間にクライアント-サーバ関係を有することによって発生する。
本明細書は、多くの実装形態固有の詳細事項を含んでいるが、これらは、請求内容の範囲に対する制限として解釈すべきではなく、むしろ特定の実施形態に特有のものであると思われる特徴の説明として解釈すべきである。別々の実施形態の背景状況において本明細書で説明されているいくつかの特徴も、単一の実施形態において組み合わせて実装され得る。逆に、単一の実施形態の背景状況において説明されているさまざまな特徴は、複数の実施形態で別々に、または好適な部分的組合せで、実装されることもあり得る。さらに、特徴は、いくつかの組合せで働くものとして上記で説明され、初めにそのように請求されることさえあるが、請求される組合せからの1つまたは複数の特徴は、場合によってはその組合せから削除され得、請求される組合せは、部分組合せ、または部分組合せの変形形態を対象とし得る。
同様に、動作は特定の順序で図面に示されているが、そのような動作は、望ましい結果を達成するために、示される特定の順序でもしくは順番に実行される必要がないことを、またはすべての図示の動作が実行される必要があるとは限らないことを、理解されたい。ある状況では、マルチタスキングおよび並列処理が有利である場合がある。さらに、上述の実施形態においてさまざまなシステム構成要素が分離しているが、すべての実施形態においてそのような分離が必要とされていると理解されるべきではなく、また説明されているプログラム構成要素およびシステムは、一般的に、単一のソフトウェア製品に一体化され得るか、または複数のソフトウェア製品にパッケージングされ得ることは理解されるであろう。
発明対象の特定の実施形態が説明されている。他の実施形態も、以下の請求項の範囲内に収まる。たとえば、請求項に記載のアクションは、異なる順序で実行することができ、それでも、所望の結果が得られる。一例として、付属の図面に示されているプロセスは、所望の結果を得るために、図示されている特定の順序、または順番を必ずしも必要としない。いくつかの実装形態において、マルチタスクおよび並列処理が有利な場合もある。他のステップが提供されるか、または説明されているプロセスから、ステップが取り除かれてもよい。したがって、他の実装は、以下の請求項の範囲内に収まる。
100 システム
110 ユーザ
120 クライアントデバイス
122 登録音響データ
130 サーバ
132 候補音響データベース
134 候補音響データスコアラー
136 候補音響データセレクター
138 学習セット
140 ホットワード検出モデル生成器
152 個人化されたホットワード検出モデル
202 登録音響データ
204 候補音響データ
300 処理
300 プロセス
400 コンピューティングデバイス
402 プロセッサ
404 メモリ
406 記憶装置
408 高速インターフェイス
410 高速拡張ポート
412 低速インターフェイス
414 低速拡張ポート
416 ディスプレイ
420 標準サーバ
422 ラップトップコンピュータ
424 ラックサーバシステム
450 モバイルコンピューティングデバイス
452 プロセッサ
454 ディスプレイ
456 ディスプレイインターフェイス
458 制御インターフェイス
460 オーディオコーデック
462 外部インターフェイス
464 メモリ
466 通信インターフェイス
468 トランシーバ
470 GPS(全地球測位システム)受信機モジュール
472 拡張インターフェイス
474 拡張メモリ
480 携帯電話
482 スマートフォン

Claims (35)

  1. コンピュータ実装方法であって、
    ユーザによって話される登録発話を表す登録音響データを取得するステップと、
    他のユーザによって話される発話を表す候補音響データのセットを取得するステップと、
    候補音響データの前記セットの各候補音響データについて、前記登録音響データと前記候補音響データとの間の類似性を表す類似度スコアを決定するステップと、
    前記類似度スコアと、所定の数の候補音響データを選択することとに少なくとも基づき候補音響データの前記セットから、より高い類似性を反映する前記類似度スコアを有する前記所定の数の候補音響データのサブセットを選択するステップと、
    候補音響データの前記サブセットに基づき検出モデルを生成するステップと、
    前記ユーザによって話される発話を検出する際に使用するための前記検出モデルを提供するステップと
    を含む、方法。
  2. ユーザによって話される登録発話を表す登録音響データを取得するステップは、
    前記ユーザによって話される所定の語句の複数の発話に対する登録音響データを取得するステップを含む、請求項1に記載の方法。
  3. 他のユーザによって話される発話を表す候補音響データのセットを取得するステップは、
    前記登録発話が所定の語句の発話であると決定するステップと、
    他のユーザによって話される前記所定の語句の発話を表す候補音響データを識別するステップと
    を含む、請求項1に記載の方法。
  4. 候補音響データの前記セットの各候補音響データについて、前記類似度スコアを決定するステップは、
    前記登録音響データと前記候補音響データとの間の距離を決定するステップと、
    前記距離に基づき前記類似度スコアを決定するステップと
    を含む、請求項1に記載の方法。
  5. 候補音響データの前記セットの各候補音響データについて、前記類似度スコアを決定するステップは、
    前記候補音響データによって表される前記発話を話した前記他のユーザの人口学的情報と、前記登録発話を話した前記ユーザの人口学的情報とに基づき前記類似度スコアを決定するステップを含む、請求項1に記載の方法。
  6. 候補音響データの前記サブセットに基づき検出モデルを生成するステップは、
    候補音響データの前記サブセットを使用してニューラルネットワークを学習させるステップを含む、請求項1に記載の方法。
  7. 前記検出モデルを使用して所定の語句の発話を検出するステップを含む、請求項1に記載の方法。
  8. 1つまたは複数のコンピュータと、
    前記1つまたは複数のコンピュータによって実行されたときに、前記1つまたは複数のコンピュータに以下の動作を実行させることが可能である命令を記憶する1つまたは複数の記憶装置と
    を備えたシステムであって、前記動作は
    ユーザによって話される登録発話を表す登録音響データを取得するステップと、
    他のユーザによって話される発話を表す候補音響データのセットを取得するステップと、
    候補音響データの前記セットの各候補音響データについて、前記登録音響データと前記候補音響データとの間の類似性を表す類似度スコアを決定するステップと、
    前記類似度スコアと、所定の数の候補音響データを選択することとに少なくとも基づき候補音響データの前記セットから、より高い類似性を反映する前記類似度スコアを有する前記所定の数の候補音響データのサブセットを選択するステップと、
    候補音響データの前記サブセットに基づき検出モデルを生成するステップと、
    前記ユーザによって話される発話を検出する際に使用するために前記検出モデルを提供するステップと
    を含む、システム。
  9. ユーザによって話される登録発話を表す登録音響データを取得するステップは、
    前記ユーザによって話される所定の語句の複数の発話に対する登録音響データを取得するステップを含む、請求項8に記載のシステム。
  10. 他のユーザによって話される発話を表す候補音響データのセットを取得するステップは、
    前記登録発話が所定の語句の発話であると決定するステップと、
    他のユーザによって話される前記所定の語句の発話を表す候補音響データを識別するステップと
    を含む、請求項8に記載のシステム。
  11. 候補音響データの前記セットの各候補音響データについて、前記類似度スコアを決定するステップは、
    前記登録音響データと前記候補音響データとの間の距離を決定するステップと、
    前記距離に基づき前記類似度スコアを決定するステップと
    を含む、請求項8に記載のシステム。
  12. 候補音響データの前記セットの各候補音響データについて、前記類似度スコアを決定するステップは、
    前記候補音響データによって表される前記発話を話した前記他のユーザの人口学的情報と、前記登録発話を話した前記ユーザの人口学的情報とに基づき前記類似度スコアを決定するステップを含む、請求項8に記載のシステム。
  13. 候補音響データの前記サブセットに基づき検出モデルを生成するステップは、
    候補音響データの前記サブセットを使用してニューラルネットワークを学習させるステップを含む、請求項8に記載のシステム。
  14. 前記動作は、
    前記検出モデルを使用して所定の語句の発話を検出するステップを含む、請求項8に記載のシステム。
  15. 1つまたは複数のコンピュータによって実行可能な命令を記憶するコンピュータ可読媒体であって、そのような実行時に、前記命令が、前記1つまたは複数のコンピュータに以下の動作を実行させ、前記動作が、
    ユーザによって話される登録発話を表す登録音響データを取得するステップと、
    他のユーザによって話される発話を表す候補音響データのセットを取得するステップと、
    候補音響データの前記セットの各候補音響データについて、前記登録音響データと前記候補音響データとの間の類似性を表す類似度スコアを決定するステップと、
    前記類似度スコアと、所定の数の候補音響データを選択することとに少なくとも基づき候補音響データの前記セットから、より高い類似性を反映する前記類似度スコアを有する前記所定の数の候補音響データのサブセットを選択するステップと、
    候補音響データの前記サブセットに基づき検出モデルを生成するステップと、
    前記ユーザによって話される発話を検出する際に使用するための前記検出モデルを提供するステップと
    を含む、コンピュータ可読媒体。
  16. ユーザによって話される登録発話を表す登録音響データを取得するステップは、
    前記ユーザによって話される所定の語句の複数の発話に対する登録音響データを取得するステップを含む、請求項15に記載の媒体。
  17. 他のユーザによって話される発話を表す候補音響データのセットを取得するステップは、
    前記登録発話が所定の語句の発話であると決定するステップと、
    他のユーザによって話される前記所定の語句の発話を表す候補音響データを識別するステップと
    を含む、請求項15に記載の媒体。
  18. 候補音響データの前記セットの各候補音響データについて、前記類似度スコアを決定するステップは、
    前記登録音響データと前記候補音響データとの間の距離を決定するステップと、
    前記距離に基づき前記類似度スコアを決定するステップと
    を含む、請求項15に記載の媒体。
  19. コンピュータ実装方法であって、
    登録プロセス中に、特定のホットワードを話すようユーザに対してプロンプトを提供し、前記ユーザによる前記特定のホットワードの単一の発話のみに対応するオーディオデータを受け取るステップと、
    前記ユーザによる前記特定のホットワードの単一の発話のみに対応する前記オーディオデータを受け取ったことに応答して、ホットワード検出モデルを取得するステップであって、前記ホットワード検出モデルを取得するステップは、
    他のユーザによる前記特定のホットワードの単一の発話のみに対応する候補オーディオデータのセットを取得するステップと、
    候補オーディオデータの前記セットの各候補オーディオデータについて、前記オーディオデータと前記候補オーディオデータとの間の類似性を表す類似度スコアを決定するステップと、
    前記類似度スコアと、所定の数の候補オーディオデータを選択することとに少なくとも基づき、候補オーディオデータの前記セットから、より高い類似性を反映する前記類似度スコアを有する前記所定の数の候補オーディオデータのサブセットを選択するステップと、
    候補オーディオデータの前記サブセットに基づき前記ホットワード検出モデルを生成するステップと
    を含む、ステップと、
    前記ホットワード検出モデルを使用して、その後受け取ったオーディオデータ内の前記特定のホットワードのあり得る発話を検出するステップと
    を含む、方法。
  20. 登録プロセス中に、特定のホットワードを話すようユーザに対してプロンプトを提供し、前記ユーザによる前記特定のホットワードの単一の発話のみに対応するオーディオデータを受け取るステップは、
    1つもしくは複数の言葉または前記特定のホットワードに続く1つもしくは複数の言葉の意味解釈をトリガーする1つもしくは複数の言葉を話すよう前記ユーザに対してプロンプトを提供するステップを含む、請求項19に記載の方法。
  21. 前記ホットワード検出モデルを取得した後に前記登録プロセスを終了するステップを含む、請求項19に記載の方法。
  22. 前記ホットワード検出モデルは、前記単一の発話に少なくとも基づき、前記特定のホットワードの別の発話に基づかない、請求項19に記載の方法。
  23. 前記ホットワード検出モデルを使用して、その後受け取ったオーディオデータ内の前記特定のホットワードのあり得る発話を検出するステップは、
    その後の発話に対応するオーディオデータを受け取るステップと、
    前記その後の発話は、前記ホットワード検出モデルに少なくとも基づく前記特定のホットワードを含む可能性があるかどうかを決定するステップと
    を含む、請求項19に記載の方法。
  24. 前記その後の発話が、少なくとも前記ホットワード検出モデルに基づく前記特定のホットワードを含む可能性があるかどうかを決定したことに応答して、前記その後の発話の少なくとも一部に関して意味解釈を実行するステップを含む、請求項23に記載の方法。
  25. 1つまたは複数のコンピュータと、前記1つまたは複数のコンピュータによって実行されたときに、以下の動作を前記1つまたは複数のコンピュータに実行させることが可能である命令を記憶する1つまたは複数の記憶装置とを備えたシステムであって、前記動作は、
    登録プロセス中に、特定のホットワードを話すようユーザに対してプロンプトを提供し、前記ユーザによる前記特定のホットワードの単一の発話のみに対応するオーディオデータを受け取るステップと、
    前記ユーザによる前記特定のホットワードの単一の発話のみに対応する前記オーディオデータを受け取ったことに応答して、ホットワード検出モデルを取得するステップであって、前記ホットワード検出モデルを取得するステップは、
    他のユーザによる前記特定のホットワードの単一の発話のみに対応する候補オーディオデータのセットを取得するステップと、
    候補オーディオデータの前記セットの各候補オーディオデータについて、前記オーディオデータと前記候補オーディオデータとの間の類似性を表す類似度スコアを決定するステップと、
    前記類似度スコアと、所定の数の候補オーディオデータを選択することとに少なくとも基づき、候補オーディオデータの前記セットから、より高い類似性を反映する前記類似度スコアを有する前記所定の数の候補オーディオデータのサブセットを選択するステップと、
    候補オーディオデータの前記サブセットに基づき前記ホットワード検出モデルを生成するステップと
    を含む、ステップと、
    前記ホットワード検出モデルを使用して、その後受け取ったオーディオデータ内の前記特定のホットワードのあり得る発話を検出するステップと
    を含む、システム。
  26. 登録プロセス中に、特定のホットワードを話すようユーザに対してプロンプトを提供し、前記ユーザによる前記特定のホットワードの単一の発話のみに対応するオーディオデータを受け取るステップは、
    1つもしくは複数の言葉または前記特定のホットワードに続く1つもしくは複数の言葉の意味解釈をトリガーする1つもしくは複数の言葉を話すよう前記ユーザに対してプロンプトを提供するステップを含む、請求項25に記載のシステム。
  27. 前記動作は、
    前記ホットワード検出モデルを取得した後に前記登録プロセスを終了するステップを含む、請求項25に記載のシステム。
  28. 前記ホットワード検出モデルは、前記単一の発話に少なくとも基づき、前記特定のホットワードの別の発話に基づかない、請求項25に記載のシステム。
  29. 前記ホットワード検出モデルを使用して、その後受け取ったオーディオデータ内の前記特定のホットワードのあり得る発話を検出するステップは、
    その後の発話に対応するオーディオデータを受け取るステップと、
    前記その後の発話は、前記ホットワード検出モデルに少なくとも基づく前記特定のホットワードを含む可能性があるかどうかを決定するステップと
    を含む、請求項25に記載のシステム。
  30. 前記その後の発話が、前記ホットワード検出モデルに少なくとも基づく前記特定のホットワードを含む可能性があるかどうかを決定したことに応答して、前記その後の発話の少なくとも一部に関して意味解釈を実行するステップを含む、請求項29に記載のシステム。
  31. 1つまたは複数のコンピュータによって実行可能な命令を含むソフトウェアを記憶する非一時的コンピュータ可読媒体であって、そのような実行時に、前記命令が、前記1つまたは複数のコンピュータに以下の動作を実行させ、前記動作は、
    登録プロセス中に、特定のホットワードを話すようユーザに対してプロンプトを提供し、前記ユーザによる前記特定のホットワードの単一の発話のみに対応するオーディオデータを受け取るステップと、
    前記ユーザによる前記特定のホットワードの単一の発話のみに対応する前記オーディオデータを受け取ったことに応答して、ホットワード検出モデルを取得するステップであって、前記ホットワード検出モデルを取得するステップは、
    他のユーザによる前記特定のホットワードの単一の発話のみに対応する候補オーディオデータのセットを取得するステップと、
    候補オーディオデータの前記セットの各候補オーディオデータについて、前記オーディオデータと前記候補オーディオデータとの間の類似性を表す類似度スコアを決定するステップと、
    前記類似度スコアと、所定の数の候補オーディオデータを選択することとに少なくとも基づき、候補オーディオデータの前記セットから、より高い類似性を反映する前記類似度スコアを有する前記所定の数の候補オーディオデータのサブセットを選択するステップと、
    候補オーディオデータの前記サブセットに基づき前記ホットワード検出モデルを生成するステップと
    を含む、ステップと、
    前記ホットワード検出モデルを使用して、その後受け取ったオーディオデータ内の前記特定のホットワードのあり得る発話を検出するステップと
    を含む、媒体。
  32. 登録プロセス中に、特定のホットワードを話すようユーザに対してプロンプトを提供し、前記ユーザによる前記特定のホットワードの単一の発話のみに対応するオーディオデータを受け取るステップは、
    1つもしくは複数の言葉または前記特定のホットワードに続く1つもしくは複数の言葉の意味解釈をトリガーする1つもしくは複数の言葉を話すよう前記ユーザに対してプロンプトを提供するステップを含む、請求項31に記載の媒体。
  33. 前記動作は、
    前記ホットワード検出モデルを取得した後に前記登録プロセスを終了するステップを含む、請求項31に記載の媒体。
  34. 前記ホットワード検出モデルは、前記単一の発話に少なくとも基づき、前記特定のホットワードの別の発話に基づかない、請求項31に記載の媒体。
  35. 前記ホットワード検出モデルを使用して、その後受け取ったオーディオデータ内の前記特定のホットワードのあり得る発話を検出するステップは、
    その後の発話に対応するオーディオデータを受け取るステップと、
    前記その後の発話は、前記ホットワード検出モデルに少なくとも基づく前記特定のホットワードを含む可能性があるかどうかを決定するステップと
    を含む請求項31に記載の媒体。
JP2016143155A 2015-07-22 2016-07-21 個別化されたホットワード検出モデル Active JP6316884B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/805,753 2015-07-22
US14/805,753 US10438593B2 (en) 2015-07-22 2015-07-22 Individualized hotword detection models

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018061958A Division JP6630765B2 (ja) 2015-07-22 2018-03-28 個別化されたホットワード検出モデル

Publications (2)

Publication Number Publication Date
JP2017027049A JP2017027049A (ja) 2017-02-02
JP6316884B2 true JP6316884B2 (ja) 2018-04-25

Family

ID=56204080

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016143155A Active JP6316884B2 (ja) 2015-07-22 2016-07-21 個別化されたホットワード検出モデル
JP2018061958A Active JP6630765B2 (ja) 2015-07-22 2018-03-28 個別化されたホットワード検出モデル

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018061958A Active JP6630765B2 (ja) 2015-07-22 2018-03-28 個別化されたホットワード検出モデル

Country Status (5)

Country Link
US (3) US10438593B2 (ja)
EP (2) EP3125234B1 (ja)
JP (2) JP6316884B2 (ja)
KR (2) KR101859708B1 (ja)
CN (1) CN106373564B (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10437837B2 (en) * 2015-10-09 2019-10-08 Fujitsu Limited Generating descriptive topic labels
WO2017151443A1 (en) * 2016-02-29 2017-09-08 Myteamcalls Llc Systems and methods for customized live-streaming commentary
US9990926B1 (en) * 2017-03-13 2018-06-05 Intel Corporation Passive enrollment method for speaker identification systems
WO2018195185A1 (en) * 2017-04-20 2018-10-25 Google Llc Multi-user authentication on a device
CN109213777A (zh) * 2017-06-29 2019-01-15 杭州九阳小家电有限公司 一种基于语音的食谱处理方法及系统
US10504511B2 (en) * 2017-07-24 2019-12-10 Midea Group Co., Ltd. Customizable wake-up voice commands
JP2019066702A (ja) 2017-10-02 2019-04-25 東芝映像ソリューション株式会社 対話型電子装置制御システム、対話型電子装置、対話型電子装置制御方法
JP2019086903A (ja) 2017-11-02 2019-06-06 東芝映像ソリューション株式会社 音声対話端末、および音声対話端末制御方法
CN111357048B (zh) * 2017-12-31 2024-10-08 美的集团股份有限公司 用于控制家庭助手装置的方法和系统
US10244286B1 (en) * 2018-01-30 2019-03-26 Fmr Llc Recommending digital content objects in a network environment
JP2019210197A (ja) 2018-06-07 2019-12-12 株式会社Ihi セラミック基複合材料
JP2021529382A (ja) 2018-06-19 2021-10-28 エリプシス・ヘルス・インコーポレイテッド 精神的健康評価のためのシステム及び方法
US20190385711A1 (en) 2018-06-19 2019-12-19 Ellipsis Health, Inc. Systems and methods for mental health assessment
WO2020005202A1 (en) * 2018-06-25 2020-01-02 Google Llc Hotword-aware speech synthesis
KR102622357B1 (ko) * 2018-07-13 2024-01-08 구글 엘엘씨 종단 간 스트리밍 키워드 탐지
KR102563817B1 (ko) * 2018-07-13 2023-08-07 삼성전자주식회사 사용자 음성 입력 처리 방법 및 이를 지원하는 전자 장치
KR20200023088A (ko) * 2018-08-24 2020-03-04 삼성전자주식회사 사용자 발화를 처리하는 전자 장치, 및 그 전자 장치의 제어 방법
EP3667512A1 (en) * 2018-12-11 2020-06-17 Siemens Aktiengesellschaft A cloud platform and method for efficient processing of pooled data
US10964324B2 (en) * 2019-04-26 2021-03-30 Rovi Guides, Inc. Systems and methods for enabling topic-based verbal interaction with a virtual assistant
US11132992B2 (en) 2019-05-05 2021-09-28 Microsoft Technology Licensing, Llc On-device custom wake word detection
US11158305B2 (en) * 2019-05-05 2021-10-26 Microsoft Technology Licensing, Llc Online verification of custom wake word
US11222622B2 (en) 2019-05-05 2022-01-11 Microsoft Technology Licensing, Llc Wake word selection assistance architectures and methods
WO2020231181A1 (en) * 2019-05-16 2020-11-19 Samsung Electronics Co., Ltd. Method and device for providing voice recognition service
GB2588689B (en) * 2019-11-04 2024-04-24 Nokia Technologies Oy Personalized models
US11238847B2 (en) 2019-12-04 2022-02-01 Google Llc Speaker awareness using speaker dependent speech model(s)
US11341954B2 (en) * 2019-12-17 2022-05-24 Google Llc Training keyword spotters
CN111105788B (zh) * 2019-12-20 2023-03-24 北京三快在线科技有限公司 敏感词分数检测方法、装置、电子设备及存储介质
JP7274441B2 (ja) * 2020-04-02 2023-05-16 日本電信電話株式会社 学習装置、学習方法および学習プログラム
US11315575B1 (en) * 2020-10-13 2022-04-26 Google Llc Automatic generation and/or use of text-dependent speaker verification features
US11798530B2 (en) * 2020-10-30 2023-10-24 Google Llc Simultaneous acoustic event detection across multiple assistant devices
US11620993B2 (en) * 2021-06-09 2023-04-04 Merlyn Mind, Inc. Multimodal intent entity resolver

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5465318A (en) * 1991-03-28 1995-11-07 Kurzweil Applied Intelligence, Inc. Method for generating a speech recognition model for a non-vocabulary utterance
US5199077A (en) * 1991-09-19 1993-03-30 Xerox Corporation Wordspotting for voice editing and indexing
US5913192A (en) * 1997-08-22 1999-06-15 At&T Corp Speaker identification with user-selected password phrases
US6073096A (en) 1998-02-04 2000-06-06 International Business Machines Corporation Speaker adaptation system and method based on class-specific pre-clustering training speakers
JP2000089780A (ja) 1998-09-08 2000-03-31 Seiko Epson Corp 音声認識方法および音声認識装置
US6978238B2 (en) 1999-07-12 2005-12-20 Charles Schwab & Co., Inc. Method and system for identifying a user by voice
US6405168B1 (en) * 1999-09-30 2002-06-11 Conexant Systems, Inc. Speaker dependent speech recognition training using simplified hidden markov modeling and robust end-point detection
US20040236573A1 (en) * 2001-06-19 2004-11-25 Sapeluk Andrew Thomas Speaker recognition systems
EP1293964A3 (en) 2001-09-13 2004-05-12 Matsushita Electric Industrial Co., Ltd. Adaptation of a speech recognition method to individual users and environments with transfer of data between a terminal and a server
JP2005107550A (ja) 2001-09-13 2005-04-21 Matsushita Electric Ind Co Ltd 端末装置、サーバ装置および音声認識方法
US7203652B1 (en) * 2002-02-21 2007-04-10 Nuance Communications Method and system for improving robustness in a speech system
DE60327020D1 (de) 2002-05-27 2009-05-20 Pioneer Corp Vorrichtung, Verfahren und computerlesbares Aufzeichnungsmedium zur Erkennung von Schlüsselwörtern in spontaner Sprache
US7212613B2 (en) 2003-09-18 2007-05-01 International Business Machines Corporation System and method for telephonic voice authentication
US7552055B2 (en) * 2004-01-10 2009-06-23 Microsoft Corporation Dialog component re-use in recognition systems
US7386448B1 (en) 2004-06-24 2008-06-10 T-Netix, Inc. Biometric voice authentication
US20070055517A1 (en) 2005-08-30 2007-03-08 Brian Spector Multi-factor biometric authentication
JP2007111169A (ja) * 2005-10-19 2007-05-10 Nelson Precision Casting Co Ltd ゴルフクラブヘッドのワックスパターンの製造方法
JP4854732B2 (ja) 2006-03-24 2012-01-18 パイオニア株式会社 話者認識システムにおける話者モデル登録装置及び方法、並びにコンピュータプログラム
AU2008222906A1 (en) * 2007-03-05 2008-09-12 Paxfire, Inc. Internet lookup engine
US8635243B2 (en) * 2007-03-07 2014-01-21 Research In Motion Limited Sending a communications header with voice recording to send metadata for use in speech recognition, formatting, and search mobile search application
US9092781B2 (en) 2007-06-27 2015-07-28 Verizon Patent And Licensing Inc. Methods and systems for secure voice-authenticated electronic payment
CN101465123B (zh) * 2007-12-20 2011-07-06 株式会社东芝 说话人认证的验证方法和装置以及说话人认证系统
CN101593519B (zh) 2008-05-29 2012-09-19 夏普株式会社 检测语音关键词的方法和设备及检索方法和系统
US8489399B2 (en) * 2008-06-23 2013-07-16 John Nicholas and Kristin Gross Trust System and method for verifying origin of input through spoken language analysis
US8676904B2 (en) * 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US8332223B2 (en) * 2008-10-24 2012-12-11 Nuance Communications, Inc. Speaker verification methods and apparatus
CN101447185B (zh) 2008-12-08 2012-08-08 深圳市北科瑞声科技有限公司 一种基于内容的音频快速分类方法
JP5610304B2 (ja) 2011-06-24 2014-10-22 日本電信電話株式会社 モデルパラメータ配列装置とその方法とプログラム
US8924219B1 (en) * 2011-09-30 2014-12-30 Google Inc. Multi hotword robust continuous voice command detection in mobile devices
US8818810B2 (en) 2011-12-29 2014-08-26 Robert Bosch Gmbh Speaker verification in a health monitoring system
GB2514943A (en) * 2012-01-24 2014-12-10 Auraya Pty Ltd Voice authentication and speech recognition system and method
US9323912B2 (en) 2012-02-28 2016-04-26 Verizon Patent And Licensing Inc. Method and system for multi-factor biometric authentication
US9646610B2 (en) 2012-10-30 2017-05-09 Motorola Solutions, Inc. Method and apparatus for activating a particular wireless communication device to accept speech and/or voice commands using identification data consisting of speech, voice, image recognition
US20150279351A1 (en) * 2012-12-19 2015-10-01 Google Inc. Keyword detection based on acoustic alignment
DE112014000709B4 (de) 2013-02-07 2021-12-30 Apple Inc. Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten
US9361885B2 (en) 2013-03-12 2016-06-07 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
US9123330B1 (en) * 2013-05-01 2015-09-01 Google Inc. Large-scale speaker identification
US9620123B2 (en) * 2013-05-02 2017-04-11 Nice Ltd. Seamless authentication and enrollment
JP2014232258A (ja) * 2013-05-30 2014-12-11 株式会社東芝 連携業務支援装置、方法およびプログラム
US9336781B2 (en) * 2013-10-17 2016-05-10 Sri International Content-aware speaker recognition
US10019985B2 (en) * 2013-11-04 2018-07-10 Google Llc Asynchronous optimization for sequence training of neural networks
CN103559881B (zh) 2013-11-08 2016-08-31 科大讯飞股份有限公司 语种无关的关键词识别方法及系统
US8768712B1 (en) * 2013-12-04 2014-07-01 Google Inc. Initiating actions based on partial hotwords
US9589564B2 (en) * 2014-02-05 2017-03-07 Google Inc. Multiple speech locale-specific hotword classifiers for selection of a speech locale
US9542948B2 (en) * 2014-04-09 2017-01-10 Google Inc. Text-dependent speaker identification
US10540979B2 (en) * 2014-04-17 2020-01-21 Qualcomm Incorporated User interface for secure access to a device using speaker verification
US9548979B1 (en) * 2014-09-19 2017-01-17 United Services Automobile Association (Usaa) Systems and methods for authentication program enrollment
US20160189730A1 (en) * 2014-12-30 2016-06-30 Iflytek Co., Ltd. Speech separation method and system

Also Published As

Publication number Publication date
US20170025125A1 (en) 2017-01-26
KR20170012112A (ko) 2017-02-02
CN106373564A (zh) 2017-02-01
US10535354B2 (en) 2020-01-14
US20170194006A1 (en) 2017-07-06
EP3125234A1 (en) 2017-02-01
CN106373564B (zh) 2019-11-22
JP6630765B2 (ja) 2020-01-15
EP3125234B1 (en) 2019-05-15
KR20180010923A (ko) 2018-01-31
KR102205371B1 (ko) 2021-01-20
US10438593B2 (en) 2019-10-08
US20170186433A1 (en) 2017-06-29
JP2018109789A (ja) 2018-07-12
EP3121809B1 (en) 2018-06-06
JP2017027049A (ja) 2017-02-02
KR101859708B1 (ko) 2018-05-18
EP3121809A1 (en) 2017-01-25

Similar Documents

Publication Publication Date Title
JP6316884B2 (ja) 個別化されたホットワード検出モデル
US12094472B2 (en) Server side hotwording
JP6474762B2 (ja) 発話者の検証のための動的な閾値
US10269346B2 (en) Multiple speech locale-specific hotword classifiers for selection of a speech locale
US9293136B2 (en) Multiple recognizer speech recognition
US9123339B1 (en) Speech recognition using repeated utterances
CN107066494B (zh) 语音查询的搜索结果预获取
US20160307569A1 (en) Personalized Speech Synthesis for Voice Actions

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180328

R150 Certificate of patent or registration of utility model

Ref document number: 6316884

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250