JP7022733B2 - 複数のデバイス上でのホットワード検出 - Google Patents

複数のデバイス上でのホットワード検出 Download PDF

Info

Publication number
JP7022733B2
JP7022733B2 JP2019216761A JP2019216761A JP7022733B2 JP 7022733 B2 JP7022733 B2 JP 7022733B2 JP 2019216761 A JP2019216761 A JP 2019216761A JP 2019216761 A JP2019216761 A JP 2019216761A JP 7022733 B2 JP7022733 B2 JP 7022733B2
Authority
JP
Japan
Prior art keywords
utterance
computer
computing device
audio data
particular predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019216761A
Other languages
English (en)
Other versions
JP2020034952A (ja
Inventor
マシュー・シャリフィ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=54330874&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP7022733(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Google LLC filed Critical Google LLC
Publication of JP2020034952A publication Critical patent/JP2020034952A/ja
Priority to JP2021184030A priority Critical patent/JP7354210B2/ja
Application granted granted Critical
Publication of JP7022733B2 publication Critical patent/JP7022733B2/ja
Priority to JP2023153929A priority patent/JP2023174674A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/285—Memory allocation or algorithm optimisation to reduce hardware requirements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/01—Assessment or evaluation of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Description

一般に、この明細書は、音声認識とも称される、人が話す語を認識するためのシステム及び技術に関する。
現実に音声操作が可能な自宅又はその他の環境、すなわち、ユーザはクエリ又はコマンドを強く発することだけを必要とし、コンピュータベースのシステムがそのクエリを受け取って回答する及び／又はそのコマンドの実行を引き起こす環境、が存在する。音声操作が可能な環境（例えば、自宅、職場、学校等）は、その環境の様々な空間又は区域にわたって分散配置された連係マイクロフォンデバイス網を用いることによって実装できる。そのようなマイクロフォン網を介して、ユーザは、自身の前又は近くにコンピュータ又はその他のデバイスを備える必要なしに、環境内のほぼ何処からでもシステムに口頭で問い合わせを行うことができる。例えば、キッチンで調理中であっても、ユーザは、システムに「カップ３杯は何ミリリットルか（how many milliliters in three cups?）」を尋ね、その応答として、システムから回答を、例えば合成音声出力の形態で、受け取ることができる。あるいは、ユーザは、システムに対して、「最寄りのガソリンスタンドが閉まるのは何時か（when does my nearest gas station close）」という問いを発したり、出掛ける準備をしているときに、「今日はコートを着ていくべきか（should I wear a coat today?）」という問いを発したりできる。
さらに、ユーザは、自身の個人的な情報に関して、システムに問い合わせること及び／又はコマンドを発することができる。例えば、ユーザは、「ジョンに会うのはいつだった（when is my meeting with John?）」とシステムに尋ねたり、「家に帰ったとき、ジョンに電話するようにリマインドしてくれ（remind me to call John when I get back home）」とシステムに命じたりできる。
音声操作が可能なシステムのための、ユーザによるシステムとの対話方法は、これに限定されないが、主に音声入力によるものとして設計される。その結果、システムへ向けられていないものを含む、周囲環境で生じるすべての発話を潜在的に拾い取るシステムは、任意の与えられた発話が、例えば環境内に存在する誰かに向けられたものでなく、システムに向けられたものであることを識別する何らかの手段を備えねばならない。これを達成する１つの手法として、ホットワードの使用がある。ホットワードは、環境内のユーザらとの取り決めにより、システムの注意を惹くために発せられる所定の語として予約される。環境の一例において、システムの注意を惹くために使用されるホットワードは、「ＯＫコンピュータ（OK computer）」という語である。したがって、「ＯＫコンピュータ」という語が発せられる度に、それがマイクロフォンによって拾い取られ、システムへ伝達される。システムは、音声認識技術を実行して、ホットワードが発せられたか否かを判定し、もしそうであれば、その後に続くコマンド又はクエリを待つ。したがって、システムに向けられる発話は、［ＨＯＴＷＯＲＤ］［ＱＵＥＲＹ］という一般的な形式を取る。ここで、この例における「ＨＯＴＷＯＲＤ」は、「ＯＫコンピュータ」であり、「ＱＵＥＲＹ」は、システムにより、単独で又はネットワークを介してサーバと共同で音声認識、解析、及び実行可能な任意の質問、コマンド、通知、又はその他の要求であってよい。
本明細書中に記載された主題の革新的な一態様によれば、ユーザデバイスは、ユーザによって発せられた発話を受信する。ユーザデバイスは、発話がホットワードを含むか否かを判定し、発話がホットワードを含む可能性を示すホットワード信頼性スコアを算出する。ユーザデバイスは、このスコアを近くの他のユーザデバイスに送信する。おそらくは、他のユーザデバイスは、同一の発話を受信している。他のユーザデバイスらは、ホットワード信頼性スコアを算出し、それらのスコアをユーザデバイスに送信する。ユーザデバイスは、ホットワード信頼性スコアを比較する。ユーザデバイスは、自身が最も高いホットワード信頼性スコアを有していた場合、動作を継続し、追加的なオーディオを処理するための準備をする。ユーザデバイスは、自身が最も高いホットワード信頼性スコアを有していなかった場合、追加的なオーディオを処理しない。
概して、本明細書中に記載された主題の革新的な別の態様は、方法として実施されてよく、方法は、第１コンピューティングデバイスにより、発話に対応するオーディオデータを受信するステップと、発話がホットワードを含む可能性に対応する第１の値を決定するステップと、発話がホットワードを含む可能性に対応する第２の値を受信するステップであって、第２の値は第２コンピューティングデバイスによって決定される、ステップと、第１の値と第２の値とを比較するステップと、第１の値と第２の値との比較結果に基づいて、オーディオデータに対する音声認識処理を開始するステップとを有する。
これらの及び別の実施態様は、以下の特徴のうちの１つ又は複数をそれぞれ選択的に含むことができる。方法は、第１の値がホットワードスコアしきい値に達していると判定するステップをさらに有する。方法は、第１の値を第２コンピューティングデバイスに送信するステップをさらに有する。方法は、第１の値と第２の値との比較結果に基づいて、第１コンピューティングデバイスの起動状態を決定するステップをさらに有する。第１の値と第２の値との比較結果に基づいて、第１コンピューティングデバイスの起動状態を決定するステップは、起動状態がアクティブ状態であると判定するステップをさらに含む。方法は、第１コンピューティングデバイスにより、追加的な発話に対応する追加的なオーディオデータを受信するステップと、追加的な発話がホットワードを含む可能性に対応する第３の値を決定するステップと、追加的な発話がホットワードを含む可能性に対応する第４の値を受信するステップであって、第４の値は第３コンピューティングデバイスによって決定される、ステップと、第３の値と第４の値とを比較するステップと、第３の値と第４の値との比較結果に基づいて、第１コンピューティングデバイスの起動状態が非アクティブ状態であると判定するステップとをさらに有する。
第１の値を第２コンピューティングデバイスに送信するステップは、第１の値を、ローカルネットワークを介して又は短距離無線通信を介して、サーバに送信するステップをさらに含む。発話がホットワードを含む可能性に対応する第２の値を受信するステップであって、第２の値は第２コンピューティングデバイスによって決定される、ステップは、第２コンピューティングデバイスによって決定された第２の値を、ローカルネットワークを介して又は短距離無線通信を介して、サーバから受信するステップをさらに含む。方法は、第２コンピューティングデバイスを識別するステップと、ホットワードを含む発話に応答するように第２コンピューティングデバイスが構成されていると判定するステップとをさらに有する。第１の値を第２コンピューティングデバイスに送信するステップは、第１コンピューティングデバイスに対する第１識別子を送信するステップをさらに含む。発話がホットワードを含む可能性に対応する第２の値を受信するステップであって、第２の値は第２コンピューティングデバイスによって決定される、ステップは、第２コンピューティングデバイスに対する第２識別子を受信するステップをさらに含む。起動状態がアクティブ状態であると判定するステップは、発話に対応するオーディオデータを受信してから所定の時間が経過したと判定するステップをさらに含む。方法は、起動状態がアクティブ状態であると判定したことに基づいて、所定の時間、第１の値を送信し続けるステップをさらに有する。
この態様の別の実施態様は、上記の方法の動作を実行するようにそれぞれ構成された、対応するシステム、装置、及びコンピュータストレージデバイスに記録されたコンピュータプログラムを含む。
本明細書中に記載された主題の特定の実施態様は、以下の利点のうちの１つ又は複数を実現するように実施され得る。複数のデバイスがホットワードを検出でき、１つのデバイスだけがそのホットワードに応答することとなる。
この明細書に記載された主題の１つ又は複数の実施態様の詳細は、添付の図面及び以下の発明の詳細な説明によって説明される。主題の他の特徴、態様、及び利点は、発明の詳細な説明、図面、及び特許請求の範囲の記載から明らかとなる。
ホットワード検出のためのシステムの一例を示す図である。 ホットワード検出のためのプロセスの一例を示す図である。 コンピューティングデバイス及びモバイルコンピューティングデバイスの一例を示す図である。
図中、同様の符号は同様の要素を指す。
遠くない未来、多数のデバイスがホットワードを常に聴取するようになるであろう。１人のユーザが自身の声に応答するように訓練された複数のデバイス（例えば、電話機、タブレットコンピュータ、ＴＶ等）を有する場合、ユーザは、自身が意図して話し掛けたものではないデバイスによるホットワードへの応答を抑制することを望むであろう。例えば、ユーザが１つのデバイスに向けてホットワードを発したときに、ユーザの別のデバイスが近くに存在した場合、おそらくは、それらも音声検索をトリガすることとなろう。多くの場合、このような動作はユーザの意図したものではない。故に、ただ１つのデバイス、特に、ユーザが話し掛けたデバイスだけが始動することが利点となり得る。本明細書は、ホットワードに反応するために適切なデバイスを選択するとともに、その他のデバイスによるホットワードへの反応を抑制するという課題を扱う。
図１は、ホットワード検出のためのシステム１００の一例を示す図である。概して、システム１００は、ユーザ１０２がコンピューティングデバイス１０６，１０８，１１０のマイクロフォンによって検出される発話１０４を行う状況を例示する。コンピューティングデバイス１０６，１０８，１１０は、発話１０４を処理して、発話１０４がホットワードを含む可能性を判定する。コンピューティングデバイス１０６，１０８，１１０は、それぞれ、発話１０４がホットワードを含む可能性を示すデータを相互に送信し合う。コンピューティングデバイス１０６，１０８，１１０は、それぞれ、それらのデータを比較し、発話１０４がホットワードを含む最も高い可能性を算出したコンピューティングデバイスが、発話に１０４に対する音声認識を開始する。発話１０４がホットワードを含む最も高い可能性を算出しなかったコンピューティングデバイスは、発話１０４に続く音声に対する音声認識を開始しない。
発話１０４がホットワードに対応する可能性を示すデータを他のコンピューティングデバイスに送信する前に、互いに近くに位置するコンピューティングデバイスらは、互いを識別する。いくつかの実施形態では、コンピューティングデバイスらは、ホットワードに応答するように構成された他のデバイスについてローカルネットワークを検索することによって互いを識別する。例えば、コンピューティングデバイス１０６は、ホットワードに応答するように構成された他のデバイスについてローカルエリアネットワークを検索して、コンピューティングデバイス１０８及びコンピューティングデバイス１１０を識別し得る。
いくつかの実施形態では、コンピューティングデバイスは、各デバイスにログインしたユーザを識別することによって、ホットワードに応答するように構成された他の近くのコンピューティングデバイスを識別する。例えば、ユーザ１０２は、３つのコンピューティングデバイス１０６，１０８，１１０にログインしている。ユーザ１０２は、自身の手にコンピューティングデバイス１０６を持っている。コンピューティングデバイス１０８は、テーブルの上に置かれ、コンピューティングデバイス１１０は、壁の近くに位置する。コンピューティングデバイス１０６は、コンピューティングデバイス１０８，１１０を検出し、各コンピューティングデバイスは、ユーザ識別子など、コンピューティングデバイスにログインしているユーザに関する情報を共有する。いくつかの実施形態では、コンピューティングデバイスは、話者識別を介して、ホットワードが同一のユーザによって発せられた場合に応答するように構成されたコンピューティングデバイスを識別することによって、ホットワードに応答するように構成された他の近くのコンピューティングデバイスを識別し得る。例えば、ユーザ１０２は、自身がホットワードを発したとき、自身の声にそれぞれ応答するように、コンピューティングデバイス１０６，１０８，１１０を構成する。コンピューティングデバイスは、ユーザ１０２に対するユーザ識別子を互いに提供し合うことによって、話者識別情報を共有する。いくつかの実施形態では、コンピューティングデバイスは、短距離無線通信を介して、ホットワードに応答するように構成された他のコンピューティングデバイスを識別し得る。例えば、コンピューティングデバイス１０６は、ホットワードに応答するように構成された他のコンピューティングデバイスについて検索する信号を、短距離無線通信を介して送信し得る。コンピューティングデバイスは、これらの技術のうちの１つ又はそれらの組合せを利用して、ホットワードに応答するように構成された他のコンピューティングデバイスを識別してよい。
コンピューティングデバイス１０６，１０８，１１０は、ホットワードに応答するように構成された他のコンピューティングデバイスを識別すると、識別したコンピューティングデバイスに対するデバイス識別子を共有及び格納する。識別子は、デバイスのタイプ、デバイスのＩＰアドレス、ＭＡＣアドレス、ユーザがデバイスに与えた名前、又は任意の同様の一意に定まる識別子に基づいてよい。例えば、コンピューティングデバイス１０６に対するデバイス識別子１１２は、「ｐｈｏｎｅ」であってよい。コンピューティングデバイス１０８に対するデバイス識別子１１４は、「ｔａｂｌｅｔ」であってよい。コンピューティングデバイス１１０に対するデバイス識別子１１６は、「ｔｈｅｒｍｏｓｔａｔ」であってよい。コンピューティングデバイス１０６，１０８，１１０は、ホットワードに応答するように構成された他のコンピューティングデバイスに対するデバイス識別子を格納する。各コンピューティングデバイスは、各々がデバイス識別子を格納するデバイスグループを有する。例えば、コンピューティングデバイス１０６は、自身が算出する、オーディオデータがホットワードを含む可能性を受信することとなる２つのデバイスとして、「ｔａｂｌｅｔ」及び「ｔｈｅｒｍｏｓｔａｔ」をリストしたデバイスグループ１１８を有する。コンピューティングデバイス１０８は、自身が算出する、オーディオデータがホットワードを含む可能性を受信することとなる２つのデバイスとして、「ｐｈｏｎｅ」及び「ｔｈｅｒｍｏｓｔａｔ」をリストしたデバイスグループ１２０を有する。コンピューティングデバイス１１０は、自身が算出する、オーディオデータがホットワードを含む可能性を受信する２つのデバイスとして、「ｐｈｏｎｅ」及び「ｔａｂｌｅｔ」をリストしたデバイスグループ１２２を有する。
ユーザ１０２が発話１０４を行った、すなわち、「ＯＫコンピュータ」と喋ったとき、ユーザ１０２の近くにある、マイクロフォンを備えた各コンピューティングデバイスは、発話１０４を検出し、処理する。各コンピューティングデバイスは、マイクロフォンなどのオーディオ入力デバイスを介して発話１０４を検出する。各マイクロフォンは、個々のオーディオサブシステムにオーディオデータを提供する。個々のオーディオサブシステムは、オーディオデータをバッファし、フィルタし、デジタル化する。また、いくつかの実施形態では、各コンピューティングデバイスは、オーディオデータに対して、終端決定及び話者識別を実行し得る。オーディオサブシステムは、処理されたオーディオデータをホットワード部に提供する。ホットワード部は、処理されたオーディオデータと既知のホットワードデータとを比較して、発話１０４がホットワードに対応する可能性を示す信頼性スコアを算出する。ホットワード部は、処理されたオーディオデータから、フィルタバンクエネルギー又はメル周波数ケプストラム係数などのオーディオの特徴を抽出し得る。ホットワード部は、分類化ウィンドウを使用し、サポートベクターマシン又はニューラルネットワークを使用するなどしてこれらのオーディオの特徴を処理し得る。オーディオの特徴の処理に基づいて、ホットワード部１２４は、信頼性スコア０．８５を算出し、ホットワード部１２６は、信頼性スコア０．６を算出し、ホットワード部１２８は、信頼性スコア０．４５を算出する。いくつかの実施形態では、信頼性スコアは、ゼロから１の範囲に正規化されてよく、ここで、より大きい数は、発話１０４がホットワードを含む、より高い信頼性を示す。
各コンピューティングデバイスは、個々の信頼性スコアデータパケットを、デバイスグループ内の他のコンピューティングデバイスに送信する。各信頼性スコアデータパケットは、個々の信頼性スコアと、コンピューティングデバイスに対する個々のデバイス識別子とを含む。例えば、コンピューティングデバイス１０６は、信頼性スコア０．８５及びデバイス識別子「ｐｈｏｎｅ」を含んだ信頼性スコアデータパケット１３０を、デバイスグループ１１８内のコンピューティングデバイス、すなわち、コンピューティングデバイス１０８，１１０に送信する。コンピューティングデバイス１０８は、信頼性スコア０．６及びデバイス識別子「ｔａｂｌｅｔ」を含んだ信頼性スコアデータパケット１３２を、デバイスグループ１２０内のコンピューティングデバイス、すなわち、コンピューティングデバイス１０６，１１０に送信する。コンピューティングデバイス１１０は、信頼性スコア０．４５及びデバイス識別子「ｔｈｅｒｍｏｓｔａｔ」を含んだ信頼性スコアデータパケット１３４を、デバイスグループ１２２内のコンピューティングデバイス、すなわち、コンピューティングデバイス１０６，１０８に送信する。
いくつかの実施形態では、コンピューティングデバイスは、信頼性スコアがホットワードスコアしきい値に達していた場合に、信頼性スコアデータパケットを送信してもよい。例えば、ホットワードスコアしきい値が０．５である場合、コンピューティングデバイス１１０は、信頼性スコアデータパケット１３４を、デバイスグループ１２２内の他のコンピューティングデバイスに送信しないであろう。コンピューティングデバイス１０６，１０８は、それぞれ、信頼性スコアデータパケット１３０，１３２を、デバイスグループ１１８，１２０内のコンピューティングデバイスに、今までどおりに送信するであろう。
いくつかの実施形態では、信頼性スコアデータパケットを送信するコンピューティングデバイスは、信頼性スコアデータパケットを他のコンピューティングデバイスに直接送信してよい。例えば、コンピューティングデバイス１０６は、信頼性スコアデータパケットを、短距離無線通信を介して、コンピューティングデバイス１０８，１１０に送信し得る。２つのコンピューティングデバイス間で使用される通信プロトコルは、ユニバーサルプラグアンドプレイであってよい。いくつかの実施形態では、信頼性スコアデータパケットを送信するコンピューティングデバイスは、信頼性スコアデータパケットをブロードキャストしてもよい。この例では、信頼性スコアデータパケットは、デバイスグループ内のコンピューティングデバイスによって、かつその他のコンピューティングデバイスによって受信され得る。いくつかの実施形態では、信頼性スコアデータパケットを送信するコンピューティングデバイスは、信頼性スコアデータパケットをサーバに送信し、次いで、サーバが、信頼性スコアデータパケットを、デバイスグループ内の他のコンピューティングデバイスに送信してもよい。サーバは、コンピューティングデバイスのローカルエリアネットワーク、又はインターネットを介してアクセス可能なネットワーク内に位置してよい。例えば、コンピューティングデバイス１０８は、信頼性スコアデータパケット１３２及びデバイスグループ１２０内のコンピューティングデバイスのリストを、サーバに送信する。サーバは、信頼性スコアデータパケット１３２をコンピューティングデバイス１０６、１１０に送信する。コンピューティングデバイスが信頼性スコアデータパケットを他のコンピューティングデバイスに送信する例では、受信を行ったコンピューティングデバイスは、自身が信頼性スコアデータパケットを受信したという確認通知を返してもよい。
各コンピューティングデバイスは、スコア比較部を使用して、自身が受信したホットワード信頼性スコアを比較する。例えば、コンピューティングデバイス１０６は、ホットワード信頼性スコア０．８５を算出し、ホットワード信頼性スコア０．６及び０．４５を受信する。この例では、スコア比較部１３６は、３つのスコアを比較して、スコア０．８５が最高値であることを識別する。コンピューティングデバイス１０８，１１０では、スコア比較部１３８，１４０は、同様の結論に達し、コンピューティングデバイス１０６に対応するスコア０．８５が最高値であることを識別する。
自身のホットワード信頼性スコアが最高値であると判定したコンピューティングデバイスは、ホットワードの発話に続く音声データに対して音声認識を開始する。例えば、ユーザは、「ＯＫコンピュータ」と喋ってよく、コンピューティングデバイス１０６は、自身が最高のホットワード信頼性スコアを有すると判定し得る。コンピューティングデバイス１０６は、ホットワードの後に受信するオーディオデータに対して音声認識を開始することとなる。ユーザが「アリスに電話をかけてくれ（call Alice）」と喋ったとき、コンピューティングデバイス１０６は、発話を処理して、適切なコマンドを実行することとなる。いくつかの実施形態では、ホットワードを受信することは、ホットワードを受信するコンピューティングデバイスをスリープ状態から復帰させ得る。この例では、最高のホットワード信頼性スコアを有するコンピューティングデバイスは、アウェイク状態にとどまり、一方で、最高のホットワード信頼性スコアを有しない他のコンピューティングデバイスは、ホットワードの発話に続く音声データを処理せずに、スリープ状態に移行する。
図１に示されるように、スコア比較部１３６は、コンピューティングデバイス１０６に対応するホットワード信頼性スコアが最高値であることを識別する。したがって、デバイス状態１４２は、「アウェイク（awake）」となる。スコア比較部１３８，１４０もまた、コンピューティングデバイス１０６に対応するホットワード信頼性スコアが最高値であることを識別する。したがって、デバイス状態１３８，１４０は、「アスリープ（asleep）」となる。いくつかの実施形態では、コンピューティングデバイスの起動状態は、影響を受けなくともよい。例えば、ユーザ１０２は、コンピューティングデバイス１０８で映画を視聴しつつ、その手にコンピューティングデバイス１０６を持つことができよう。ユーザ１０２が「ＯＫコンピュータ」と喋ったとき、コンピューティングデバイス１０６は、最高のホットワード信頼性スコアを有することにより、ホットワードに続くオーディオデータに対する音声認識を開始する。コンピューティングデバイス１０８は、ホットワードに続くオーディオデータに対する音声認識を開始せず、映画を再生し続ける。
いくつかの実施形態では、自身が最高のホットワード信頼性スコアを有すると判定したコンピューティングデバイスは、ホットワードに続く音声に対する音声認識の実行を開始する前に、特定の時間の経過を待つ。そうすることで、最高のホットワード信頼性スコアを算出したコンピューティングデバイスは、より高いホットワード信頼性スコアを待つことなく、ホットワードに続く音声に対する音声認識の実行を開始することが許される。例示として、コンピューティングデバイス１０６のスコア比較部１３６は、コンピューティングデバイス１０８，１１０からホットワード信頼性スコア０．６及び０．４５をそれぞれ受信し、ホットワード部１２４からホットワード信頼性スコア０．８５を受信する。コンピューティングデバイス１０６は、ホットワードに続く音声に対して音声認識を実行する前に、ホットワード部１２４がオーディオデータ「ＯＫコンピュータ」のホットワード信頼性スコアを算出した時点から５００ミリ秒経つのを待つ。スコア比較部がより高いスコアを受信する例では、コンピューティングデバイスは、デバイス状態を「スリープ（sleep）」に設定する前に、特定の時間の経過を待たなくてよい。例えば、コンピューティングデバイス１０８のホットワード部１２６は、ホットワード信頼性スコア０．６を算出し、ホットワード信頼性スコア０．８５及び０．４５を受信する。コンピューティングデバイス１０８は、ホットワード信頼性スコア０．８５を受信したとき、デバイス状態１４４を「スリープ」に設定できる。この場合、コンピューティングデバイス１０８は、ホットワード部１２６がホットワード信頼性スコア０．６を算出した後の特定の時間内にホットワード信頼性スコア０．８５を受信したものと考えられる。
いくつかの実施形態では、コンピューティングデバイスは、自身が最高のホットワード信頼性スコアを有するとき、他のコンピューティングデバイスがその信頼性スコアデータパケットを受信するための時間を確保するために、特定の時間、信頼性スコアデータパケットをブロードキャストし続けてよい。この方式は、コンピューティングデバイスが別のコンピューティングデバイスから信頼性スコアデータパケットを受信したときに確認通知を返さない例において最も適切となろう。したがって、コンピューティングデバイス１０６は、信頼性スコアデータパケット１３０をデバイスグループ１１８内のコンピューティングデバイスに送信し、５００ミリ秒などの特定の時間の経過前に確認通知を受信した場合には、ホットワードに続く音声に対する音声認識の実行を開始してよい。コンピューティングデバイスが自身の信頼性スコアデータパケットをブロードキャストし、確認通知を期待しない例では、コンピューティングデバイスは、５００ミリ秒などの特定の時間が経過するか又はより高いホットワード信頼性スコアを受信するかのいずれか早い方まで、自身のホットワード信頼性スコアをブロードキャストし続けてよい。例えば、コンピューティングデバイス１１０は、ホットワード信頼性スコア０．４５を算出し、信頼性スコアデータパケット１３４のブロードキャストを開始する。３００ミリ秒が経過した後、コンピューティングデバイス１１０は、信頼性スコアデータパケット１３０を受信し、信頼性スコアデータパケット１３０からのホットワード信頼性スコア０．８５が自身のホットワード信頼性スコア０．４５よりも高いので、信頼性スコアデータパケット１３４のブロードキャストを終了する。別のブロードキャストの例では、コンピューティングデバイス１０６は、ホットワード信頼性スコア０．８５を算出し、信頼性スコアデータパケット１３０のブロードキャストを開始する。５００ミリ秒が経過した後、コンピューティングデバイス１０６は、信頼性スコアデータパケット１３０のブロードキャストを終了し、ホットワードに続く音声に対する音声認識の実行を開始する。コンピューティングデバイス１０６は、５００ミリ秒が経過する前に信頼性スコアデータパケット１３２，１３４を受信することもあるが、信頼性スコアデータパケット１３２，１３４におけるホットワード信頼性スコアは０．８５よりも低いので、コンピューティングデバイスは、５００ミリ秒が経過するまで待機し続ける。
いくつかの実施形態では、コンピューティングデバイスは、より高いホットワード信頼性スコアを受信するまでに、ホットワードに続く音声に対する音声認識の実行を開始してもよい。ホットワード部は、ホットワード信頼性スコアを算出し、ホットワード信頼性スコアがしきい値に達している場合、コンピューティングデバイスは、ホットワードに続く音声に対して音声認識を実行する。コンピューティングデバイスは、ユーザに対して音声認識についてのいかなる表示も行うことなく、音声認識を実行してよい。これは、コンピューティングデバイスがアクティブ状態になくとも、最高のホットワードスコアを算出したことを確認するまで待機した場合よりも早く、ユーザに対して音声認識に基づく結果を表示できるという印象をユーザに与えるので、そのようにすることが望ましいだろう。一例として、コンピューティングデバイス１０６は、ホットワード信頼性スコア０．８５を算出し、ホットワードに続く音声に対する音声認識の実行を開始する。コンピューティングデバイス１０６は、信頼性スコアデータパケット１３２，１３４を受信し、ホットワード信頼性スコア０．８５が最高値であると判定する。コンピューティングデバイス１０６は、ホットワードに続く音声に対する音声認識の実行を継続し、その結果をユーザに提示する。コンピューティングデバイス１０８については、ホットワード部１２６は、ホットワード信頼性スコア０．６を算出し、コンピューティングデバイス１０８は、ユーザにデータを表示することなく、ホットワードに続く音声に対する音声認識の実行を開始する。コンピューティングデバイス１０８は、ホットワード信頼性スコア０．８５を含む信頼性スコアデータパケット１３０を受信すると、音声認識の実行を終了する。ユーザに対していかなるデータも表示されず、ユーザは、あたかもコンピューティングデバイス１０８が「スリープ」状態にとどまっているような印象を受ける。
いくつかの実施形態では、ホットワードが発せられた後のいかなる待ち時間も回避するために、スコアは、ホットワードの終端よりも前に、例えば、部分的なホットワードに対して、ホットワード部から通知されてよい。例えば、ユーザが「ＯＫコンピュータ（OK computer）」と喋ると、コンピューティングデバイスは、ユーザが「ＯＫコンピュ（OK comp）」と喋り終えた時点で、部分的なホットワード信頼性スコアを算出してよい。次いで、コンピューティングデバイスは、部分的なホットワード信頼性スコアを他のコンピューティングデバイスと共有してよい。最高の部分的なホットワード信頼性スコアを有するコンピューティングデバイスが、ユーザの会話の処理を継続できる。
いくつかの実施形態では、コンピューティングデバイスは、ホットワード信頼性スコアがしきい値に達していると判定した場合に、例えば、特定の周波数又は周波数パターンの、可聴の又は不可聴の音を発してよい。音は、コンピューティングデバイスがホットワードに続くオーディオデータの処理を継続しようとすることを、他のコンピューティングデバイスに知らせるであろう。他のコンピューティングデバイスは、この音を受信して、オーディオデータを処理しなくなるであろう。例えば、ユーザが「ＯＫコンピュータ」と喋る。複数のコンピューティングデバイスのうちの１つが、しきい値を超えるか又はそれに等しいホットワード信頼性スコアを算出する。コンピューティングデバイスは、ホットワード信頼性スコアがしきい値を超えるか又はそれに等しいと判定すると、１８キロヘルツの音を発する。ユーザの近くにある他のコンピューティングデバイスは、ホットワード信頼性スコアを算出中であってよく、その音を受信したときに、ホットワード信頼性スコアの計算の半ばであってよい。他のコンピューティングデバイスは、その音を受信したとき、ユーザの会話を処理することをやめる。いくつかの実施形態では、コンピューティングデバイスは、可聴の又は不可聴の音の中にホットワード信頼性スコアを符号化してよい。例えば、ホットワード信頼性スコアが０．５である場合、コンピューティングデバイスは、スコア０．５を符号化した周波数パターンを含む可聴の又は不可聴の音を生成し得る。
いくつかの実施形態では、コンピューティングデバイスは、異なるオーディオ測定法を使用して、ユーザの会話を処理し続けるためのコンピューティングデバイスを選択してよい。例えば、コンピューティングデバイスは、音の大きさを用いて、どのコンピューティングデバイスがユーザの会話を処理し続けるかを決定してよい。最も大きい音の会話を検出したコンピューティングデバイスは、ユーザの会話を処理し続けてよい。別の例では、現在使用されているか又はアクティブなディスプレイを有するコンピューティングデバイスは、ホットワードを検出したときに、ユーザの会話を処理し続けることを他のコンピューティングデバイスに通知してよい。
いくつかの実施形態では、ユーザが喋っているときにユーザの近くにある各コンピューティングデバイスは、オーディオデータを受信し、そのオーディオデータをサーバに送信して、音声認識を向上させる。各コンピューティングデバイスは、ユーザの会話に対応するオーディオデータを受信できる。ユーザにはただ１つのコンピューティングデバイスが自身の会話を処理するように見えるとしても、各コンピューティングデバイスが、オーディオデータをサーバに送信してよい。次いで、サーバは、各コンピューティングデバイスから受信したオーディオデータを使用して、同一の発話に対応する異なるオーディオサンプルを比較できるので、音声認識を向上させることができる。例えば、ユーザは、「ＯＫコンピュータ、牛乳を買うことをリマインドしてくれ（OK computer, remind me to buy milk）」と喋る。ユーザが「ＯＫコンピュータ」と喋り終えると、近くのコンピューティングデバイスらは、おそらくは、どのコンピューティングデバイスが最高のホットワード信頼性スコアを有するかを判定し、そのコンピューティングデバイスは、ユーザが「牛乳を買うことをリマインドしてくれ」と喋ると、それらの言葉を処理して、応答を返すこととなる。他のコンピューティングデバイスもまた、「牛乳を買うことをリマインドしてくれ」という発話を受信する。他のコンピューティングデバイスは、「牛乳を買うことをリマインドしてくれ」という発話に応答しないとしても、「牛乳を買うことをリマインドしてくれ」に対応するオーディオデータをサーバに送信してよい。「牛乳を買うことをリマインドしてくれ」に応答するコンピューティングデバイスもまた、そのオーディオデータをサーバに送信してよい。サーバは、オーディオデータを処理して、同一の「牛乳を買うことをリマインドしてくれ」という発話に対応する、異なるコンピューティングデバイスからの異なるオーディオサンプルを有するので、音声認識を向上させることができる。
図２は、ホットワード検出のためのプロセス２００の一例を示す図である。プロセス２００は、図１におけるコンピューティングデバイス１０８のようなコンピューティングデバイスによって実行されてよい。プロセス２００は、発話がホットワードを含む可能性に対応する値を算出し、その値を、他のコンピューティングデバイスによって算出された別の値と比較して、ホットワードの後の発話の部分に対して音声認識を実行するか否かを判定する。
コンピューティングデバイスは、発話に対応するオーディオデータを受信する（２１０）。ユーザが発話を行い、コンピューティングデバイスのマイクロフォンが、発話のオーディオデータを受信する。コンピューティングデバイスは、オーディオデータのバッファリング、フィルタリング、エンドポインティング、及びデジタイジングによって、そのオーディオデータを処理する。一例として、ユーザが「ＯＫコンピュータ」と発話し、コンピューティングデバイスのマイクロフォンが「ＯＫコンピュータ」に対応するオーディオデータを受信する。コンピューティングデバイスのオーディオサブシステムは、コンピューティングデバイスによるさらなる処理のために、そのオーディオデータをサンプリングし、バッファし、フィルタし、終端を決定する。
コンピューティングデバイスは、発話がホットワードを含む可能性に対応する第１の値を決定する（２２０）。コンピューティングデバイスは、発話のオーディオデータを、ホットワードを含むオーディオサンプルのグループと比較することによって、又は発話のオーディオデータのオーディオ特性を解析することによって、ホットワード信頼性スコアと称され得る第１の値を決定する。第１の値は、ゼロから１の範囲に正規化されてよく、ここで、１は、発話がホットワードを含む最も高い可能性を示す。いくつかの実施形態では、コンピューティングデバイスは、第２のコンピューティングデバイスを識別し、第２のコンピューティングデバイスが、ホットワードを含む発話に応答するように構成され、ホットワードに反応するようにユーザによって設定されていることを判定する。ユーザは、コンピューティングデバイスと第２のコンピューティングデバイスとの両方にログインしてよい。コンピューティングデバイスと第２のコンピューティングデバイスとの両方が、ユーザの声に応答するように構成されてもよい。コンピューティングデバイス及び第２のコンピューティングデバイスは、同一のローカルエリアネットワークに接続されてよい。コンピューティングデバイス及び第２のコンピューティングデバイスは、いずれも、ＧＰＳ又は信号強度によって決定されるような、１０メートルなどの互いに特定の距離内に位置し得る。例えば、コンピューティングデバイスは、短距離無線通信によって通信してよい。コンピューティングデバイスは、第２のコンピューティングデバイスによって送信される信号の強度を、５ｄＢｍなどと検出し、それを５メートルなどの対応する距離に変換してよい。
コンピューティングデバイスは、発話がホットワードを含む可能性に対応する第２の値を受信し、第２の値は、第２のコンピューティングデバイスによって決定される（２３０）。第２のコンピューティングデバイスは、自身第のマイクロフォンを介して発話を受信する。第２のコンピューティングデバイスは、発話に対応する受信したオーディオデータを処理して、第２の値又は第２のホットワード信頼性スコアを決定する。第２のホットワード信頼性スコアは、第２のコンピューティングデバイスによって算出されるような、発話がホットワードを含む可能性を表している。いくつかの実施形態では、コンピューティングデバイスは、以下の技術のうちの１つ又は複数を用いて、第１の値を第２のコンピューティングデバイスに送信する。すなわち、コンピューティングデバイスは、インターネットを介してアクセス可能なサーバを介して、ローカルエリアネットワークに位置するサーバを介して、又はローカルエリアネットワーク若しくは短距離無線通信を直接介して、第１の値を第２のコンピューティングデバイスに送信し得る。コンピューティングデバイスは、第１の値を第２のコンピューティングデバイスだけに送信してよく、又はコンピューティングデバイスは、他のコンピューティングデバイスもまた第１の値を受信し得るよう、第１の値をブロードキャストしてもよい。コンピューティングデバイスは、第１の値を送信したコンピューティングデバイスと同一の又は異なる技術を用いて、第２のコンピューティングデバイスから第２の値を受信してよい。
いくつかの実施形態では、コンピューティングデバイスは、発話に対する音量スコア又は発話に対する信号対雑音比を算出してよい。コンピューティングデバイスは、音量スコア、信号対雑音比、及びホットワード信頼性スコアを結合して、他のコンピューティングデバイスからの同様の値と比較するための新たな値を決定してよい。例えば、コンピューティングデバイスは、ホットワード信頼性スコア及び信号対雑音比を算出してよい。次いで、コンピューティングデバイスは、これら２つのスコアを結合して、他のコンピューティングデバイスで同様に算出されたスコアと比較してよい。いくつかの実施形態では、コンピューティングデバイスは、さまざまなスコアを算出して、各スコアを比較のために他のコンピューティングデバイスに送信してよい。例えば、コンピューティングデバイスは、発話に対する音量スコア及びホットワード信頼性スコアを算出してよい。次いで、コンピューティングデバイスは、これらのスコアを比較のために他のコンピューティングデバイスに送信してよい。
いくつかの実施形態では、コンピューティングデバイスは、第１の値と共に第１の識別子を送信してよい。識別子は、コンピューティングデバイスのアドレスのうちの１つ又は複数、ユーザによって与えられたコンピューティングデバイスの名前、又はコンピューティングデバイスの位置に基づいてよい。例えば、識別子は、「69.123.132.43」又は「ｐｈｏｎｅ」であってよい。同様に、第２のコンピューティングデバイスは、第２の値と共に第２の識別子を送信してよい。いくつかの実施形態では、コンピューティングデバイスは、ホットワードに応答するように構成されているものとして以前に識別されたコンピューティングデバイスである特定のコンピューティングデバイスに第１の識別子を送信してよい。例えば、コンピューティングデバイスは、第２のコンピューティングデバイスがホットワードに応答可能であることに加えて、同一のユーザが当該コンピューティングデバイスと同じように第２のコンピューティングデバイスにログインしているので、ホットワードに応答するように構成されているものとして第２のコンピューティングデバイスを以前に識別していてよい。
コンピューティングデバイスは、第１の値と第２の値とを比較する（２４０）。次いで、コンピューティングデバイスは、比較の結果に基づいて、オーディオデータに対する音声認識処理を開始する（２５０）。いくつかの実施形態では、例えば、コンピューティングデバイスは、第１の値が第２の値よりも大きいか又はそれに等しいときに、音声認識を開始する。ユーザが「ＯＫコンピュータ、キャロルに電話をかけてくれ（OK computer, call Carol）」と喋った場合、コンピューティングデバイスは、第１の値が第２の値よりも大きいか又はそれに等しいので、「キャロルに電話をかけてくれ」に対する音声認識を実行することによって、「キャロルに電話をかけてくれ」の処理を開始するであろう。いくつかの実施形態では、コンピューティングデバイスは、起動状態を設定する。第１の値が第２の値よりも大きいか又はそれに等しい例では、コンピューティングデバイスは、起動状態をアクティブ又は「アウェイク」として設定する。「アウェイク」状態では、コンピューティングデバイスは、音声認識の結果を表示する。
いくつかの実施形態では、コンピューティングデバイスは、第１の値と第２の値とを比較して、第１の値が第２の値よりも小さいと判定する。コンピューティングデバイスは、第１の値が第２の値よりも小さいと判定したことに基づいて、起動状態を非アクティブ又は「スリープ」として設定する。「スリープ」状態では、コンピューティングデバイスは、アクティブ化されるか又はオーディオデータを処理するために、ユーザに対して現れない。
いくつかの実施形態では、コンピューティングデバイスは、第１の値が第２の値よりも大きいか又はそれに等しいと判定したとき、起動状態をアクティブに設定する前に、特定の時間だけ待ってよい。コンピューティングデバイスは、特定の時間だけ待って、自身が他のコンピューティングデバイスからより高い値を受信しない可能性を高めてよい。特定の時間は、固定であってよく、又はコンピューティングデバイスが値を送信及び受信する技術に応じて変化してもよい。いくつかの実施形態では、コンピューティングデバイスは、第１の値が第２の値よりも大きいか又はそれに等しいと判定したとき、特定の時間、第１の値を送信し続けてよい。特定の時間、第１の値を送信し続けることにより、コンピューティングデバイスは、第１の値が他のコンピューティングデバイスによって受信される確率を高める。第１の値が第２の値よりも小さいとコンピューティングデバイスが判定する例では、コンピューティングデバイスは、第１の値を送信することを中止してよい。
いくつかの実施形態では、コンピューティングデバイスは、ホットワードに続くコマンドを実行するか否かを判定する際に、追加的な情報を考慮してよい。追加的な情報の一例は、ホットワードに続く発話の部分であってよい。典型的に、ホットワードに続くオーディオデータは、「サリー電話をかけてくれ（call Sally）」、「ハロウィンの映画を再生してくれ（play Halloween Movie）」、又は「温度を華氏７０度に設定してくれ（set heat to 70 degrees）」といった、コンピューティングデバイスに対するコマンドに対応する。コンピューティングデバイスは、そのタイプのリクエストを取り扱うか又はそのリクエストを取り扱うことができる、典型的なデバイスを識別し得る。典型的に、誰かに電話をかけるというリクエストは、予めプログラムされた典型的な使用法に基づいて、又はデバイスのユーザの使用パターンに基づいて、電話器によって取り扱われるであろう。ユーザが決まってタブレットで映画を観る場合、タブレットは、映画を再生するというリクエストを取り扱い得る。サーモスタットが温度調節機能を有する場合、サーモスタットは、温度調節を取り扱い得る。
コンピューティングデバイスがホットワードに続く発話の部分を考慮するためには、コンピューティングデバイスは、ホットワードを識別したであろうとき、オーディオデータに対する音声認識を開始しなければならないであろう。コンピューティングデバイスは、発話のコマンド部分を分類し、そのような分類におけるコマンドの頻度を算出してよい。コンピューティングデバイスは、その頻度をホットワード信頼性スコアと共に他のコンピューティングデバイスに送信してよい。各コンピューティングデバイスは、頻度及びホットワード信頼性スコアを用いて、ホットワードに続くコマンドを実行するか否かを判定してよい。
例えば、ユーザが「ＯＫコンピュータ、マイケルジャクソンを再生してくれ（OK computer, play Michael Jackson）」と発話し、かつコンピューティングデバイスが音楽を聴くために２０パーセントの確率でユーザに使用される電話機である場合、そのコンピューティングデバイスは、その情報をホットワード信頼性スコアと共に送信してよい。音楽を聴くために５パーセントの確率でユーザに使用されるタブレットなどのコンピューティングデバイスは、その情報をホットワード信頼性スコアと共に他のコンピューティングデバイスに送信してよい。コンピューティングデバイスは、ホットワード信頼性スコアと音楽再生確率との組合せを用いて、そのコマンドを実行するか否かを判定してよい。
図３は、明細書中に記載した技術を実施するために使用可能なコンピューティングデバイス３００及びモバイルコンピューティングデバイス３５０の一例を示す。コンピューティングデバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、及びその他の適切なコンピュータなど、様々な形態のデジタルコンピュータを指すことを意図している。モバイルコンピューティングデバイス３５０は、パーソナルデジタルアシスタント、携帯電話器、スマートフォン、及びその他の同様のコンピューティングデバイスなど、様々な形態のモバイルデバイスを指すことを意図している。明細書中に示される複数のコンポーネント、それらの接続及び関係、並びにそれらの機能は、例示のみを目的とし、限定を意味しない。
コンピューティングデバイス３００は、プロセッサ３０２、メモリ３０４、ストレージデバイス３０６、メモリ３０４と複数の高速拡張ポート３１０とを接続する高速インタフェース３０８、及び低速拡張ポート３１４とストレージデバイス３０６とを接続する低速インタフェース３１２を含む。プロセッサ３０２、メモリ３０４、ストレージデバイス３０６、高速インタフェース３０８、高速拡張ポート３１０、及び低速インタフェース３１２の各々は、様々なバスを用いて相互に接続され、共通のマザーボード上に又は適切に他の手法でマウントされてよい。プロセッサ３０２は、メモリ３０４に格納された又はストレージデバイス３０６上の命令を含む、コンピューティングデバイス３００内での実行のための命令を処理して、高速インタフェース３０８に接続されたディスプレイ３１６などの外部入力／出力デバイス上のＧＵＩのためのグラフィカルな情報を表示できる。別の実施形態では、複数のプロセッサ及び／又は複数のバスが、複数のメモリ及び複数のタイプのメモリと共に、適切に使用されてよい。また、複数のコンピューティングデバイスが、（例えば、サーババンク、ブレードサーバのグループ、又はマルチプロセッサシステムとして）必要な動作の部分を提供する各デバイスと接続されてもよい。
メモリ３０４は、コンピューティングデバイス３００内に情報を格納する。いくつかの実施形態では、メモリ３０４は、１つ又は複数の揮発性メモリユニットである。いくつかの実施形態では、メモリ３０４は、１つ又は複数の不揮発性メモリユニットである。また、メモリ３０４は、磁気又は光ディスクなど、別の形態のコンピュータ読み取り可能な媒体であってよい。
ストレージデバイス３０６は、コンピューティングデバイス３００のための大容量ストレージを提供できる。いくつかの実施形態では、ストレージデバイス３０６は、ストレージエリアネットワーク又はその他の構成中のデバイスを含む、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、若しくはテープデバイス、フラッシュメモリ若しくは他の同様のソリッドステートメモリデバイス、又はデバイスの配列などのコンピュータ読み取り可能な媒体であってよく、又はそれらを包含してもよい。命令は、情報キャリアに格納されてよい。命令は、１つ又は複数の処理デバイス（例えば、プロセッサ３０２）によって実行されたとき、先に記載されたものなどの１つ又は複数の方法を実行する。また、命令は、コンピュータ読み取り可能な又は機械読み取り可能な媒体（例えば、メモリ３０４、ストレージデバイス３０６、又はプロセッサ３０２上のメモリ）などの１つ又は複数のストレージデバイスによって格納されてよい。
高速インタフェース３０８は、コンピューティングデバイス３００のための帯域集約的な動作を管理し、一方、低速インタフェース３１２は、より低い側の帯域集約的な動作を管理する。このような機能の割当ては一例にすぎない。いくつかの実施形態では、高速インタフェース３０８は、メモリ３０４に、（例えば、グラフィックプロセッサ又はアクセラレータを介して）ディスプレイ３１６に、及びさまざまな拡張カード（図示せず）を受け入れ可能な高速拡張ポート３１０に接続される。この実施形態では、低速インタフェース３１２は、ストレージデバイス３０６及び低速拡張ポート３１４に接続される。さまざまな通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）、ワイヤレスＥｔｈｅｒｎｅｔ）を含み得る低速拡張ポート３１４は、キーボード、ポインティングデバイス、スキャナ、又は、例えばネットワークアダプタを介する、スイッチ若しくはルータのようなネットワーキングデバイスなど、１つ又は複数の入力／出力デバイスに接続されてよい。
コンピューティングデバイス３００は、図に示されるように、複数の異なる形態で実施され得る。例えば、コンピューティングデバイス３００は、標準的なサーバ３２０又はそのようなサーバのグループを複数含むものとして実施されてよい。さらに、コンピューティングデバイス３００は、ラップトップコンピュータ３２２などのパーソナルコンピュータとして実施されてもよい。また、コンピューティングデバイス３００は、ラックサーバシステム３２４の一部として実施されてもよい。あるいは、コンピューティングデバイス３００中のコンポーネントは、モバイルコンピューティングデバイス３５０などのモバイルデバイス（図示せず）中の他のコンポーネントと組み合わされてもよい。そのようなデバイスの各々は、コンピューティングデバイス３００とモバイルコンピューティングデバイス３５０とのうちの１つ又は複数を包含してよく、システム全体は、互いに通信を行う複数のコンピューティングデバイスから成ってよい。
モバイルコンピューティングデバイス３５０は、数あるコンポーネントの中でも特に、プロセッサ３５２と、メモリ３６４と、ディスプレイ３５４などの入力／出力デバイスと、通信インタフェース３６６と、送受信器３６８とを含む。また、モバイルコンピューティングデバイス３５０は、追加的なストレージを提供するために、マイクロドライブ又はその他のデバイスなどのストレージデバイスが提供されよい。プロセッサ３５２、メモリ３６４、ディスプレイ３５４、通信インタフェース３６６、及び送受信器３６８の各々は、様々なバスを用いて相互に接続され、コンポーネントのうちのいくつかは、共通のマザーボード上に又は適切に他の手法でマウントされてよい。
プロセッサ３５２は、メモリ３６４に格納された命令を含む、モバイルコンピューティングデバイス３５０内の命令を実行できる。プロセッサ３５２は、別個の又は複数のアナログ及びデジタルプロセッサを含むチップのチップセットとして実施されてよい。プロセッサ３５２は、例えば、ユーザインタフェースのコントロール、モバイルコンピューティングデバイス３５０によるアプリケーションの実行、及びモバイルコンピューティングデバイス３５０によるワイヤレス通信など、モバイルコンピューティングデバイス３５０の他のコンポーネントの協調のために提供されてよい。
プロセッサ３５２は、コントロールインタフェース３５８と、ディスプレイ３５４に接続されたディスプレイインタフェース３５６とを介して、ユーザとやりとりしてよい。ディスプレイ３５４は、例えば、ＴＦＴ ＬＣＤ（Thin-Film-Transistor Liquid Crystal Display）ディスプレイ若しくはＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ、又はその他の適切なディスプレイ技術であってよい。ディスプレイインタフェース３５６は、ディスプレイ３５４を駆動してユーザにグラフィカルな及びその他の情報を提示するための適切な回路を含んでよい。コントロールインタフェース３５８は、ユーザからのコマンドを受信し、それをプロセッサ３５２への提出のために変換し得る。さらに、外部インタフェース３６２は、モバイルコンピューティングデバイス３５０と他のデバイスとの近接エリア通信が可能になるよう、プロセッサ３５２との通信を提供してよい。外部インタフェース３６２は、例えば、いくつかの実施形態における有線通信のために又はいくつかの実施形態におけるワイヤレス通信のために提供されてよく、また、複数のインタフェースが使用されてもよい。
メモリ３６４は、モバイルコンピューティングデバイス３５０内に情報を格納する。メモリ３６４は、１つ若しくは複数のコンピュータ読み取り可能な媒体、１つ若しくは複数の揮発性メモリユニット、又は１つ若しくは複数の不揮発性メモリユニットのうちの１つ又は複数として実施されてよい。また、拡張メモリ３７４が、拡張インタフェース３７２を介して、モバイルコンピューティングデバイス３５０に提供され、接続されてよい。拡張インタフェース３７２は、例えば、ＳＩＭＭ（Single In Line Memory Module）カードインタフェースを含んでよい。拡張メモリ３７４は、モバイルコンピューティングデバイス３５０のために別途のストレージ空間を提供してよく、又は、モバイルコンピューティングデバイス３５０のためにアプリケーション又はその他の情報を格納してもよい。特に、拡張メモリ３７４は、先に記載したプロセスを実行又は増補するための命令を含んでよく、また、セキュアな情報を含んでよい。よって、例えば、拡張メモリ３７４は、モバイルコンピューティングデバイス３５０のためのセキュリティモジュールとして提供されてよく、モバイルコンピューティングデバイス３５０のセキュアな使用を許可する命令でプログラムされてよい。さらに、セキュアなアプリケーションが、ハッキング不可能な手法でＳＩＭＭカードに置かれた識別情報などの追加的な情報と共に、ＳＩＭＭカードを介して提供されてもよい。
メモリは、以下に記載の通り、例えば、フラッシュメモリ及び／又はＮＶＲＡＭメモリ（Non-Volatile Random Access Memory）を含んでよい。いくつかの実施形態では、命令は、情報キャリアに格納される。命令は、１つ又は複数の処理デバイス（例えば、プロセッサ３５２）によって実行されたとき、先に記載されたものなどの１つ又は複数の方法を実行する。また、命令は、１つ又は複数のコンピュータ読み取り可能な又は機械読み取り可能な媒体（例えば、メモリ３６４、拡張メモリ３７４、又はプロセッサ３５２上のメモリ）など、１つ又は複数のストレージデバイスによって格納されてよい。いくつかの実施形態では、命令は、例えば、送受信器３６８又は外部インタフェース３６２上で伝搬される信号として受信されてよい。
モバイルコンピューティングデバイス３５０は、通信インタフェース３６６を介してワイヤレス通信を行ってよく、必要に応じて、デジタル信号処理回路を含んでもよい。通信インタフェース３６６は、特に、ＧＳＭ（登録商標）（Global System for Mobile communications）音声通話、ＳＭＳ（Short Message Service）、ＥＭＳ（Enhanced Messaging Service）、若しくはＭＭＳ（Multimedia Messaging Service）メッセージング、ＣＤＭＡ（Code Division Multiple Access）、ＴＤＭＡ（Time Division Multiple Access）、ＰＤＣ（Personal Digital Cellular）、ＷＣＤＭＡ（登録商標）（Wideband Code Division Multiple Access）、ＣＤＭＡ２０００、又はＧＰＲＳ（General Packet Radio Service）など、様々なモード又はプロトコル下での通信を提供し得る。このような通信は、例えば、無線周波数を用いる送受信器３６８を介して行われてよい。さらに、短距離通信が、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、又はその他の上記の送受信器（図示せず）を用いるなどして行われてもよい。さらに、ＧＰＳ（Global Positioning System）受信器モジュール３７０が、モバイルコンピューティングデバイス３５０に、追加的なナビゲーション及び位置決定に関するワイヤレスデータを提供してもよく、そのようなデータは、モバイルコンピューティングデバイス３５０上で動作するアプリケーションによって適切に使用され得る。
また、モバイルコンピューティングデバイス３５０は、オーディオコーデック３６０を用いて可聴的に通信を行ってよく、ユーザの発した情報を受信して、使用に適したデジタル情報に変換し得る。オーディオコーデック３６０は、スピーカ、例えば、モバイルコンピューティングデバイス３５０のハンドセットのスピーカを介すなどして、ユーザに対する可聴音を生成してよい。そのような音は、音声電話呼からの音を含んでよく、記録された音（例えば、音声メッセージ、音楽ファイル等）を含んでもよく、また、モバイルコンピューティングデバイス３５０上で動作するアプリケーションによって生成される音を含んでもよい。
モバイルコンピューティングデバイスデバイス３５０は、図示されるように、複数の異なる形態で実施されてよい。例えば、携帯電話器３８０として実施されてよい。また、スマートフォン３８２、ＰＤＡ、又はその他の同様のモバイルデバイスとして実施されてもよい。
明細書中に記載されたシステム及び技術の様々な実施形態は、デジタル電子回路、集積回路、専用設計された特定用途向け集積回路（ＡＳＩＣ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組合せとして実現されてよい。これらの様々な実施形態は、少なくとも１つのプログラム可能プロセッサを含むプログラム可能システム上で実行可能な及び／又は解釈可能な１つ又は複数のコンピュータプログラムとしての実施を含んでよい。プログラム可能システムは、専用又は汎用のものであってよく、ストレージシステム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスからデータ及び命令を受信するように、かつそれらにデータ及び命令を送信するように接続がなされる。
（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとしても知られる）これらのコンピュータプログラムは、プログラム可能プロセッサのための機械語命令を含み、高級手続き型及び／若しくはオブジェクト指向プログラミング言語、並びに／又は、アセンブリ／機械語言語によって実装されてよい。明細書中で用いられるように、機械読み取り可能な媒体及びコンピュータ読み取り可能な媒体という用語は、機械語命令を機械読み取り可能な信号として受信する機械読み取り可能な媒体を含む、プログラム可能プロセッサに機械語命令及び／又はデータを提供するために使用される任意のコンピュータプログラム製品、装置、及び／又はデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブル・ロジック・デバイス（ＰＬＤ））を指す。機械読み取り可能な信号という用語は、プログラム可能プロセッサに機械語命令及び／又はデータを提供するために使用される任意の信号を指す。
ユーザとの対話を提供するために、明細書中に記載されたシステム及び技術は、ユーザに情報を表示するための表示デバイス（例えば、陰極線管（ＣＲＴ）又は液晶ディスプレイ（ＬＣＤ）モニタ）と、ユーザがコンピュータに入力を提供できるキーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを備えたコンピュータ上で実施されてよい。ユーザとの対話を提供するために他の種類のデバイスが使用されてよく、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚性フィードバック（例えば、視覚的フィードバック、聴覚的フィードバック、又は触覚的フィードバック）であってよく、ユーザからの入力は、音響的、音声的、又は触覚的入力を含む任意の形態で受け取られてよい。
明細書中に記載されたシステム及び技術は、バックエンドコンポーネント（例えば、データサーバ）を含む、又はミドルウェアコンポーネント（例えば、アプリケーションサーバ）を含む、又はフロントエンドコンポーネント（例えば、ユーザが明細書中に記載されたシステム及び技術の実施形態と対話可能なグラフィカルユーザインタフェース又はウェブブラウザを備えたクライアントコンピュータ）を含む、又はそのようなバックエンド、ミドルウェア、若しくはフロントエンドコンポーネントの任意の組合せである、コンピューティングシステムとして実施されてよい。システムの構成要素は、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されてよい。通信ネットワークの例には、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及びインターネットが含まれる。
コンピューティングシステムは、クライアントとサーバとを含んでよい。クライアントとサーバとは、一般に、互いに離れて位置しており、典型的に、通信ネットワークを介して対話を行う。クライアントとサーバとの関係は、各自のコンピュータ上で動作し、かつ互いにクライアント－サーバ関係を有するコンピュータプログラムの働きによって生じる。
以上、いくつかの実施形態が詳細に説明されたが、その他の修正形態を考えることもできる。例えば、クライアントアプリケーションが（複数の）代表局にアクセスするように説明されたが、別の実施形態においては、（複数の）代表局が、１つ又は複数のサーバ上で動作するアプリケーションなど、１つ又は複数のプロセッサによって実行される他のアプリケーションによって利用されてよい。さらに、図示された論理フローは、望ましい結果を得るために、記載された通りの順序又は順番を要しない。さらに、示されたフローに他の動作が提供されてよく、又は示されたフローから動作が除去されてもよい。また、示されたシステムに他の構成要素が追加されてよく、又は示されたシステムから構成要素が取り除かれてもよい。したがって、他の実施形態は、添付の特許請求の範囲内にある。
１００ システム
１０２ ユーザ
１０４ 発話
１０６，１０８，１１０ コンピューティングデバイス
１１２，１１４，１１６ デバイス識別子（ＩＤ）
１１８，１２０，１２２ デバイスグループ
１２４，１２６，１２８ ホットワード部
１３０，１３２，１３４ 信頼性スコアデータパケット
１３６，１３８，１４０ スコア比較部
１４２，１４４，１４６ デバイス状態
３００ コンピューティングデバイス
３０２ プロセッサ
３０４ メモリ
３０６ ストレージデバイス
３０８ 高速インタフェース
３１０ 高速拡張ポート
３１２ 低速インタフェース
３１４ 低速拡張ポート
３１６ ディスプレイ
３２０ サーバ
３２４ ラックサーバシステム
３５０ モバイルコンピューティングデバイス
３５２ プロセッサ
３５４ ディスプレイ
３５６ ディスプレイインタフェース
３５８ コントロールインタフェース
３６０ オーディオコーデック
３６２ 外部インタフェース
３６４ メモリ
３６６ 通信インタフェース
３６８ 送受信器
３７０ ＧＰＳ受信器モジュール
３７２ 拡張インタフェース
３７４ 拡張メモリ
３８０ 携帯電話器
３８２ スマートフォン

Claims (14)

  1. コンピュータにより、オーディオデータを受信するステップと、
    前記コンピュータにより、前記オーディオデータが特定の所定のホットワードの発話を含む可能性が高いと決定するステップであって、前記オーディオデータの前記特定の所定のホットワードの発話に続く部分に対して自動音声認識を実行せずに、前記オーディオデータが前記特定の所定のホットワードの前記発話を含む可能性が高いと決定するステップを含む、決定するステップと、
    前記オーディオデータが前記特定の所定のホットワードの前記発話を含む可能性が高いと決定することに応答して、前記コンピュータにより、前記オーディオデータが前記特定の所定のホットワードの発話を含む可能性を示すデータである信頼性スコアを含むデータを追加のコンピュータに送信するステップと、
    前記データを前記追加のコンピュータに送信することに応答して、前記コンピュータにより、前記追加のコンピュータから前記オーディオデータが前記特定の所定のホットワードの発話を含む可能性を示すデータである信頼性スコアを含む追加のデータを受信するステップと、
    前記追加のデータに基づいて、前記特定の所定のホットワードの後の前記発話に含まれるコマンドを実行するか否かを、前記コンピュータにより決定するステップであって、
    前記送信するデータに含まれる前記信頼性スコアと前記追加のデータに含まれる前記信頼性スコアとを比較するステップと、
    前記コンピュータにより、前記オーディオデータの前記特定の所定のホットワードの発話に続く部分に対して自動音声認識を実行するステップと、
    前記オーディオデータの前記特定の所定のホットワードの発話に続く部分に対する自動音声認識を実行することに基づいて、前記コンピュータにより、前記発話に含まれる前記コマンドを識別するステップと、
    を含み、前記自動音声認識の実行は、前記比較の結果に基づいて継続するか終了するかが決定される、
    決定するステップを含む、
    コンピュータ実装方法。
  2. 前記コンピュータにより、前記オーディオデータに基づいて前記データを生成するステップを含む、
    請求項１に記載の方法。
  3. 前記特定の所定のホットワードの後の前記発話に含まれる前記コマンドを実行するか否かを決定するステップは、
    前記コンピュータにより、前記コマンドを実行するステップを含む、
    請求項１に記載の方法。
  4. 前記コンピュータにより、前記特定の所定のホットワードの前記発話を含む前記オーディオデータの一部に基づいて前記データを生成するステップを含む、
    請求項１に記載の方法。
  5. 前記追加のコンピュータからの前記追加のデータは、前記オーディオデータが前記特定の所定のホットワードの前記発話を含む可能性を示す、請求項１に記載の方法。
  6. １つ又は複数のコンピュータと１つ又は複数のストレージデバイスと、を含むシステムであって、前記ストレージデバイスは、前記１つ又は複数のコンピュータによって実行されると、前記１つ又は複数のコンピュータに、
    コンピュータにより、オーディオデータを受信することと、
    前記コンピュータにより、前記オーディオデータが特定の所定のホットワードの発話を含む可能性が高いと決定することであって、前記オーディオデータの前記特定の所定のホットワードの発話に続く部分に対して自動音声認識を実行せずに、前記オーディオデータが前記特定の所定のホットワードの前記発話を含む可能性が高いと決定することを含む、決定することと、
    前記オーディオデータが前記特定の所定のホットワードの前記発話を含む可能性が高いと決定することに応答して、前記コンピュータにより、前記オーディオデータが前記特定の所定のホットワードの発話を含む可能性を示すデータである信頼性スコアを含むデータを追加のコンピュータに送信することと、
    前記データを前記追加のコンピュータに送信することに応答して、前記コンピュータにより、前記追加のコンピュータから前記オーディオデータが前記特定の所定のホットワードの発話を含む可能性を示すデータである信頼性スコアを含む追加のデータを受信することと、
    前記追加のデータに基づいて、前記特定の所定のホットワードの後の前記発話に含まれるコマンドを実行するか否かを、前記コンピュータにより決定することであって、前記送信するデータに含まれる前記信頼性スコアと前記追加のデータに含まれる前記信頼性スコアとを比較することであって、
    前記コンピュータにより、前記オーディオデータの前記特定の所定のホットワードの発話に続く部分に対して自動音声認識を実行することと、
    前記オーディオデータの前記特定の所定のホットワードの発話に続く部分に対する自動音声認識を実行することに基づいて、前記コンピュータにより、前記発話に含まれる前記コマンドを識別することと、
    を含み、前記自動音声認識の実行は、前記比較の結果に基づいて継続するか終了するかが決定される、決定することと、
    を含む動作を実行させる動作可能な命令を格納する、
    システム。
  7. 前記動作は、
    前記コンピュータにより、前記オーディオデータに基づいて前記データを生成することを含む、
    請求項６に記載のシステム。
  8. 前記特定の所定のホットワードの後の前記発話に含まれる前記コマンドを実行するか否かを決定することは、
    前記コンピュータにより、前記コマンドを実行することと、を含む、
    請求項６に記載のシステム。
  9. 前記動作は、
    前記コンピュータにより、前記特定の所定のホットワードの前記発話を含む前記オーディオデータの一部に基づいて前記データを生成することを含む、
    請求項６に記載のシステム。
  10. 前記追加のコンピュータからの前記追加のデータは、前記オーディオデータが前記特定の所定のホットワードの前記発話を含む可能性を示す、
    請求項６に記載のシステム。
  11. １つ又は複数のコンピュータによって実行可能な命令を含むソフトウェアを格納する非一時的なコンピュータ読み取り可能な記録媒体であって、その実行時に、前記１つ又は複数のコンピュータに、
    コンピュータにより、オーディオデータを受信することと、
    前記コンピュータにより、前記オーディオデータが特定の所定のホットワードの発話を含む可能性が高いと決定することであって、前記オーディオデータの前記特定の所定のホットワードの発話に続く部分に対して自動音声認識を実行せずに、前記オーディオデータが前記特定の所定のホットワードの前記発話を含む可能性が高いと決定することを含む、決定することと、
    前記オーディオデータが前記特定の所定のホットワードの前記発話を含む可能性が高いと決定することに応答して、前記コンピュータにより、前記オーディオデータが特定の所定のホットワードの発話を含む可能性を示すデータである信頼性スコアを含むデータを追加のコンピュータに送信することと、
    前記データを前記追加のコンピュータに送信することに応答して、前記コンピュータにより、前記追加のコンピュータから前記オーディオデータが前記特定の所定のホットワードの発話を含む可能性を示すデータである信頼性スコアを含む追加のデータを受信することと、
    前記追加のデータに基づいて、前記特定の所定のホットワードの後の前記発話に含まれるコマンドを実行するか否かを、前記コンピュータにより決定することであって、
    前記送信するデータに含まれる前記信頼性スコアと前記追加のデータに含まれる前記信頼性スコアとを比較することと、
    前記コンピュータにより、前記オーディオデータの前記特定の所定のホットワードの発話に続く部分に対して自動音声認識を実行することと、
    前記オーディオデータの前記特定の所定のホットワードの発話に続く部分に対する自動音声認識を実行することに基づいて、前記コンピュータにより、前記発話に含まれる前記コマンドを識別することと、
    を含み、前記自動音声認識の実行は、前記比較の結果に基づいて継続するか終了するかが決定される、決定することと、
    を含む動作を実行させる、
    非一時的なコンピュータ読み取り可能な記録媒体。
  12. 前記特定の所定のホットワードの後の前記発話に含まれる前記コマンドを実行するか否かを決定することは、
    前記コンピュータにより、前記コマンドを実行することと、を含む、
    請求項１１に記載の媒体。
  13. 前記動作は、
    前記コンピュータにより、前記特定の所定のホットワードの前記発話を含む前記オーディオデータの一部に基づいて前記データを生成することを含む、
    請求項１１に記載の媒体。
  14. 前記追加のコンピュータからの前記追加のデータは、前記オーディオデータが前記特定の所定のホットワードの前記発話を含む可能性を示す、
    請求項１１に記載の媒体。
JP2019216761A 2014-10-09 2019-11-29 複数のデバイス上でのホットワード検出 Active JP7022733B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021184030A JP7354210B2 (ja) 2014-10-09 2021-11-11 複数のデバイス上でのホットワード検出
JP2023153929A JP2023174674A (ja) 2014-10-09 2023-09-20 複数のデバイス上でのホットワード検出

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462061830P 2014-10-09 2014-10-09
US62/061,830 2014-10-09
US14/675,932 2015-04-01
US14/675,932 US9318107B1 (en) 2014-10-09 2015-04-01 Hotword detection on multiple devices

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019091428A Division JP6893951B2 (ja) 2014-10-09 2019-05-14 複数のデバイス上でのホットワード検出

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021184030A Division JP7354210B2 (ja) 2014-10-09 2021-11-11 複数のデバイス上でのホットワード検出

Publications (2)

Publication Number Publication Date
JP2020034952A JP2020034952A (ja) 2020-03-05
JP7022733B2 true JP7022733B2 (ja) 2022-02-18

Family

ID=54330874

Family Applications (7)

Application Number Title Priority Date Filing Date
JP2016551250A Active JP6208376B2 (ja) 2014-10-09 2015-09-29 複数のデバイス上でのホットワード検出
JP2016250670A Active JP6427549B2 (ja) 2014-10-09 2016-12-26 複数のデバイス上でのホットワード検出
JP2017170185A Active JP6530023B2 (ja) 2014-10-09 2017-09-05 複数のデバイス上でのホットワード検出
JP2019091428A Active JP6893951B2 (ja) 2014-10-09 2019-05-14 複数のデバイス上でのホットワード検出
JP2019216761A Active JP7022733B2 (ja) 2014-10-09 2019-11-29 複数のデバイス上でのホットワード検出
JP2021184030A Active JP7354210B2 (ja) 2014-10-09 2021-11-11 複数のデバイス上でのホットワード検出
JP2023153929A Pending JP2023174674A (ja) 2014-10-09 2023-09-20 複数のデバイス上でのホットワード検出

Family Applications Before (4)

Application Number Title Priority Date Filing Date
JP2016551250A Active JP6208376B2 (ja) 2014-10-09 2015-09-29 複数のデバイス上でのホットワード検出
JP2016250670A Active JP6427549B2 (ja) 2014-10-09 2016-12-26 複数のデバイス上でのホットワード検出
JP2017170185A Active JP6530023B2 (ja) 2014-10-09 2017-09-05 複数のデバイス上でのホットワード検出
JP2019091428A Active JP6893951B2 (ja) 2014-10-09 2019-05-14 複数のデバイス上でのホットワード検出

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021184030A Active JP7354210B2 (ja) 2014-10-09 2021-11-11 複数のデバイス上でのホットワード検出
JP2023153929A Pending JP2023174674A (ja) 2014-10-09 2023-09-20 複数のデバイス上でのホットワード検出

Country Status (7)

Country Link
US (7) US9318107B1 (ja)
EP (5) EP3171359B1 (ja)
JP (7) JP6208376B2 (ja)
KR (2) KR101752119B1 (ja)
CN (2) CN111028826B (ja)
DE (1) DE202015010012U1 (ja)
WO (1) WO2016057268A1 (ja)

Families Citing this family (347)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10032452B1 (en) * 2016-12-30 2018-07-24 Google Llc Multimodal transmission of packetized data
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US11017428B2 (en) 2008-02-21 2021-05-25 Google Llc System and method of data transmission rate adjustment
US10013986B1 (en) 2016-12-30 2018-07-03 Google Llc Data structure pooling of voice activated data packets
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10776830B2 (en) 2012-05-23 2020-09-15 Google Llc Methods and systems for identifying new computers and providing matching services
US10152723B2 (en) 2012-05-23 2018-12-11 Google Llc Methods and systems for identifying new computers and providing matching services
US10650066B2 (en) 2013-01-31 2020-05-12 Google Llc Enhancing sitelinks with creative content
US10735552B2 (en) 2013-01-31 2020-08-04 Google Llc Secondary transmissions of packetized data
CN104969289B (zh) 2013-02-07 2021-05-28 苹果公司 数字助理的语音触发器
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101959188B1 (ko) 2013-06-09 2019-07-02 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9589564B2 (en) 2014-02-05 2017-03-07 Google Inc. Multiple speech locale-specific hotword classifiers for selection of a speech locale
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9257120B1 (en) 2014-07-18 2016-02-09 Google Inc. Speaker verification using co-location information
US11942095B2 (en) 2014-07-18 2024-03-26 Google Llc Speaker verification using co-location information
US11676608B2 (en) 2021-04-02 2023-06-13 Google Llc Speaker verification using co-location information
KR20160023089A (ko) * 2014-08-21 2016-03-03 엘지전자 주식회사 디지털 디바이스 및 그 제어 방법
US10204622B2 (en) * 2015-09-10 2019-02-12 Crestron Electronics, Inc. Acoustic sensory network
US10748539B2 (en) * 2014-09-10 2020-08-18 Crestron Electronics, Inc. Acoustic sensory network
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9812128B2 (en) 2014-10-09 2017-11-07 Google Inc. Device leadership negotiation among voice interface devices
US9318107B1 (en) 2014-10-09 2016-04-19 Google Inc. Hotword detection on multiple devices
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
KR102505347B1 (ko) * 2015-07-16 2023-03-03 삼성전자주식회사 사용자 관심 음성 알림 장치 및 방법
CN106469040B (zh) * 2015-08-19 2019-06-21 华为终端有限公司 通信方法、服务器及设备
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10783888B2 (en) * 2015-09-10 2020-09-22 Crestron Electronics Inc. System and method for determining recipient of spoken command in a control system
US9542941B1 (en) * 2015-10-01 2017-01-10 Lenovo (Singapore) Pte. Ltd. Situationally suspending wakeup word to enable voice command input
US9691378B1 (en) * 2015-11-05 2017-06-27 Amazon Technologies, Inc. Methods and devices for selectively ignoring captured audio data
US9653075B1 (en) 2015-11-06 2017-05-16 Google Inc. Voice commands across devices
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10185544B1 (en) * 2015-12-28 2019-01-22 Amazon Technologies, Inc. Naming devices via voice commands
US10026401B1 (en) 2015-12-28 2018-07-17 Amazon Technologies, Inc. Naming devices via voice commands
US10127906B1 (en) 2015-12-28 2018-11-13 Amazon Technologies, Inc. Naming devices via voice commands
US10074364B1 (en) * 2016-02-02 2018-09-11 Amazon Technologies, Inc. Sound profile generation based on speech recognition results exceeding a threshold
JP2017138476A (ja) * 2016-02-03 2017-08-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10142754B2 (en) 2016-02-22 2018-11-27 Sonos, Inc. Sensor on moving component of transducer
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10743101B2 (en) 2016-02-22 2020-08-11 Sonos, Inc. Content mixing
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9779735B2 (en) * 2016-02-24 2017-10-03 Google Inc. Methods and systems for detecting and processing speech signals
US10229687B2 (en) * 2016-03-10 2019-03-12 Microsoft Technology Licensing, Llc Scalable endpoint-dependent natural language understanding
US10373612B2 (en) * 2016-03-21 2019-08-06 Amazon Technologies, Inc. Anchored speech detection and speech recognition
US9948479B2 (en) * 2016-04-05 2018-04-17 Vivint, Inc. Identification graph theory
US20170330565A1 (en) * 2016-05-13 2017-11-16 Bose Corporation Handling Responses to Speech Processing
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10438583B2 (en) * 2016-07-20 2019-10-08 Lenovo (Singapore) Pte. Ltd. Natural language voice assistant
US10621992B2 (en) * 2016-07-22 2020-04-14 Lenovo (Singapore) Pte. Ltd. Activating voice assistant based on at least one of user proximity and context
KR102575634B1 (ko) * 2016-07-26 2023-09-06 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
US10810212B2 (en) * 2016-07-29 2020-10-20 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Validating provided information in a conversation
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9693164B1 (en) 2016-08-05 2017-06-27 Sonos, Inc. Determining direction of networked microphone device relative to audio playback device
US9972320B2 (en) 2016-08-24 2018-05-15 Google Llc Hotword detection on multiple devices
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US9824692B1 (en) * 2016-09-12 2017-11-21 Pindrop Security, Inc. End-to-end speaker recognition using deep neural network
WO2018053518A1 (en) 2016-09-19 2018-03-22 Pindrop Security, Inc. Channel-compensated low-level features for speaker recognition
WO2018053537A1 (en) 2016-09-19 2018-03-22 Pindrop Security, Inc. Improvements of speaker recognition in the call center
US9794720B1 (en) 2016-09-22 2017-10-17 Sonos, Inc. Acoustic position measurement
TWI606390B (zh) * 2016-09-23 2017-11-21 元鼎音訊股份有限公司 可自動調整聲音輸出之方法及電子裝置
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
WO2018067528A1 (en) * 2016-10-03 2018-04-12 Google Llc Device leadership negotiation among voice interface devices
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US10592611B2 (en) * 2016-10-24 2020-03-17 Conduent Business Services, Llc System for automatic extraction of structure from spoken conversation using lexical and acoustic features
US10783883B2 (en) * 2016-11-03 2020-09-22 Google Llc Focus session at a voice interface device
KR102241970B1 (ko) * 2016-11-07 2021-04-20 구글 엘엘씨 기록된 미디어 핫워드 트리거 억제
US10332523B2 (en) 2016-11-18 2019-06-25 Google Llc Virtual assistant identification of nearby computing devices
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10079015B1 (en) * 2016-12-06 2018-09-18 Amazon Technologies, Inc. Multi-layer keyword detection
US10559309B2 (en) * 2016-12-22 2020-02-11 Google Llc Collaborative voice controlled devices
US10311875B2 (en) * 2016-12-22 2019-06-04 Soundhound, Inc. Full-duplex utterance processing in a natural language virtual assistant
US10276161B2 (en) 2016-12-27 2019-04-30 Google Llc Contextual hotwords
US10593329B2 (en) 2016-12-30 2020-03-17 Google Llc Multimodal transmission of packetized data
US10708313B2 (en) 2016-12-30 2020-07-07 Google Llc Multimodal transmission of packetized data
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
KR20180083587A (ko) * 2017-01-13 2018-07-23 삼성전자주식회사 전자 장치 및 그의 동작 방법
WO2018148315A1 (en) * 2017-02-07 2018-08-16 Lutron Electronics Co., Inc. Audio-based load control system
US10467509B2 (en) * 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Computationally-efficient human-identifying smart assistant computer
US10810510B2 (en) 2017-02-17 2020-10-20 International Business Machines Corporation Conversation and context aware fraud and abuse prevention agent
US10102868B2 (en) * 2017-02-17 2018-10-16 International Business Machines Corporation Bot-based honeypot poison resilient data collection
US10757058B2 (en) 2017-02-17 2020-08-25 International Business Machines Corporation Outgoing communication scam prevention
US9990926B1 (en) 2017-03-13 2018-06-05 Intel Corporation Passive enrollment method for speaker identification systems
US11183181B2 (en) * 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
US10748531B2 (en) * 2017-04-13 2020-08-18 Harman International Industries, Incorporated Management layer for multiple intelligent personal assistant services
CN117577099A (zh) * 2017-04-20 2024-02-20 谷歌有限责任公司 设备上的多用户认证的方法、系统和介质
KR20180118470A (ko) * 2017-04-21 2018-10-31 엘지전자 주식회사 음성 인식 장치 및 음성 인식 방법
IL252071A0 (en) 2017-05-03 2017-07-31 Google Inc Contextual language translation
CN108235745B (zh) 2017-05-08 2021-01-08 深圳前海达闼云端智能科技有限公司 机器人唤醒方法、装置和机器人
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US20180336892A1 (en) * 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10665232B2 (en) * 2017-05-24 2020-05-26 Harman International Industries, Inc. Coordination among multiple voice recognition devices
US10664533B2 (en) 2017-05-24 2020-05-26 Lenovo (Singapore) Pte. Ltd. Systems and methods to determine response cue for digital assistant based on context
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10395650B2 (en) * 2017-06-05 2019-08-27 Google Llc Recorded media hotword trigger suppression
US10283117B2 (en) * 2017-06-19 2019-05-07 Lenovo (Singapore) Pte. Ltd. Systems and methods for identification of response cue at peripheral device
CN109213777A (zh) * 2017-06-29 2019-01-15 杭州九阳小家电有限公司 一种基于语音的食谱处理方法及系统
US10599377B2 (en) 2017-07-11 2020-03-24 Roku, Inc. Controlling visual indicators in an audio responsive electronic device, and capturing and providing audio using an API, by native and non-native computing devices and services
KR102052510B1 (ko) * 2017-08-03 2019-12-05 에스케이브로드밴드주식회사 음성브리지장치 및 음성인식처리장치, 그리고 그 동작 방법
US10475449B2 (en) * 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
JP6513749B2 (ja) * 2017-08-09 2019-05-15 レノボ・シンガポール・プライベート・リミテッド 音声アシストシステム、サーバ装置、その音声アシスト方法、及びコンピュータが実行するためのプログラム
KR102486912B1 (ko) * 2017-08-10 2023-01-11 에스케이텔레콤 주식회사 음성 처리 장치의 구동 제어 시스템 및 구동 제어 서버
US11062702B2 (en) 2017-08-28 2021-07-13 Roku, Inc. Media system with multiple digital assistants
US11062710B2 (en) 2017-08-28 2021-07-13 Roku, Inc. Local and cloud speech recognition
US10777197B2 (en) 2017-08-28 2020-09-15 Roku, Inc. Audio responsive device with play/stop and tell me something buttons
US20190065608A1 (en) * 2017-08-29 2019-02-28 Lenovo (Singapore) Pte. Ltd. Query input received at more than one device
US10546583B2 (en) * 2017-08-30 2020-01-28 Amazon Technologies, Inc. Context-based device arbitration
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10403288B2 (en) 2017-10-17 2019-09-03 Google Llc Speaker diarization
US10916252B2 (en) 2017-11-10 2021-02-09 Nvidia Corporation Accelerated data transfer for latency reduction and real-time processing
US10867623B2 (en) * 2017-11-14 2020-12-15 Thomas STACHURA Secure and private processing of gestures via video input
US10999733B2 (en) 2017-11-14 2021-05-04 Thomas STACHURA Information security/privacy via a decoupled security accessory to an always listening device
CN107919119A (zh) 2017-11-16 2018-04-17 百度在线网络技术（北京）有限公司 多设备交互协同的方法、装置、设备及计算机可读介质
US10276175B1 (en) * 2017-11-28 2019-04-30 Google Llc Key phrase detection with audio watermarking
US10157611B1 (en) * 2017-11-29 2018-12-18 Nuance Communications, Inc. System and method for speech enhancement in multisource environments
US10102858B1 (en) * 2017-11-29 2018-10-16 International Business Machines Corporation Dynamically changing audio keywords
US10482878B2 (en) * 2017-11-29 2019-11-19 Nuance Communications, Inc. System and method for speech enhancement in multisource environments
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
EP3519936B1 (en) * 2017-12-08 2020-04-08 Google LLC Isolating a device, from multiple devices in an environment, for being responsive to spoken assistant invocation(s)
WO2019112625A1 (en) * 2017-12-08 2019-06-13 Google Llc Signal processing coordination among digital voice assistant computing devices
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US10672380B2 (en) * 2017-12-27 2020-06-02 Intel IP Corporation Dynamic enrollment of user-defined wake-up key-phrase for speech enabled computer system
WO2019128541A1 (en) * 2017-12-31 2019-07-04 Midea Group Co., Ltd. Method and system for controlling multiple home devices
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
WO2019152722A1 (en) 2018-01-31 2019-08-08 Sonos, Inc. Device designation of playback and network microphone device arrangements
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US11145298B2 (en) * 2018-02-13 2021-10-12 Roku, Inc. Trigger word detection with multiple digital assistants
KR20190101865A (ko) * 2018-02-23 2019-09-02 삼성전자주식회사 세탁 기기 및 그의 제어 방법
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US11183182B2 (en) * 2018-03-07 2021-11-23 Google Llc Systems and methods for voice-based initiation of custom device actions
KR102520068B1 (ko) 2018-03-07 2023-04-10 구글 엘엘씨 사용자 지정 디바이스 액션들의 음성 기반 시작을 위한 시스템들 및 방법들
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US11240057B2 (en) * 2018-03-15 2022-02-01 Lenovo (Singapore) Pte. Ltd. Alternative output response based on context
US11163377B2 (en) * 2018-03-22 2021-11-02 Adobe Inc. Remote generation of executable code for a client application based on natural language commands captured at a client device
US10755706B2 (en) * 2018-03-26 2020-08-25 Midea Group Co., Ltd. Voice-based user interface with dynamically switchable endpoints
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11151991B2 (en) * 2018-03-30 2021-10-19 Verizon Media Inc. Electronic message transmission
CN111971647A (zh) * 2018-04-09 2020-11-20 麦克赛尔株式会社 语音识别设备、语音识别设备的协作系统和语音识别设备的协作方法
CN108538291A (zh) * 2018-04-11 2018-09-14 百度在线网络技术（北京）有限公司 语音控制方法、终端设备、云端服务器及系统
WO2019203795A1 (en) * 2018-04-16 2019-10-24 Google Llc Automatically determining language for speech recognition of spoken utterance received via an automated assistant interface
EP3622507B1 (en) 2018-04-16 2020-10-21 Google LLC Automatically determining language for speech recognition of spoken utterance received via an automated assistant interface
EP3564949A1 (en) * 2018-04-23 2019-11-06 Spotify AB Activation trigger processing
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
CN108615526B (zh) * 2018-05-08 2020-07-07 腾讯科技（深圳）有限公司 语音信号中关键词的检测方法、装置、终端及存储介质
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US10692496B2 (en) * 2018-05-22 2020-06-23 Google Llc Hotword suppression
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
WO2019227370A1 (zh) * 2018-05-31 2019-12-05 Dong Xuezhang 一种多语音助手控制方法、装置、系统及计算机可读存储介质
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US10636425B2 (en) 2018-06-05 2020-04-28 Voicify, LLC Voice application platform
US11437029B2 (en) 2018-06-05 2022-09-06 Voicify, LLC Voice application platform
US10235999B1 (en) 2018-06-05 2019-03-19 Voicify, LLC Voice application platform
US10803865B2 (en) * 2018-06-05 2020-10-13 Voicify, LLC Voice application platform
GB2574803B (en) * 2018-06-11 2022-12-07 Xmos Ltd Communication between audio devices
US10783886B2 (en) * 2018-06-12 2020-09-22 International Business Machines Corporation Cognitive agent disambiguation
US11348586B2 (en) * 2018-06-21 2022-05-31 Dell Products L.P. Systems and methods for extending and enhancing voice assistant and/or telecommunication software functions to a remote endpoint device
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
CN108922528B (zh) * 2018-06-29 2020-10-23 百度在线网络技术（北京）有限公司 用于处理语音的方法和装置
US11373640B1 (en) * 2018-08-01 2022-06-28 Amazon Technologies, Inc. Intelligent device grouping
KR102570301B1 (ko) * 2018-08-02 2023-08-25 삼성전자주식회사 전자 장치 및 그 제어 방법
JP7250900B2 (ja) * 2018-08-09 2023-04-03 グーグル エルエルシー ホットワード認識および受動的支援
JP7018850B2 (ja) * 2018-08-20 2022-02-14 ヤフー株式会社 端末装置、決定方法、決定プログラム及び決定装置
KR102523982B1 (ko) 2018-08-21 2023-04-20 구글 엘엘씨 자동화된 어시스턴트를 호출하기 위한 다이내믹 및/또는 컨텍스트-특정 핫 워드
KR102498811B1 (ko) 2018-08-21 2023-02-10 구글 엘엘씨 자동화된 어시스턴트를 호출하기 위한 다이내믹 및/또는 컨텍스트 특정 핫워드
EP3642837B1 (en) 2018-08-23 2024-03-13 Google LLC Regulating assistant responsiveness according to characteristics of a multi-assistant environment
US11514917B2 (en) * 2018-08-27 2022-11-29 Samsung Electronics Co., Ltd. Method, device, and system of selectively using multiple voice data receiving devices for intelligent service
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
CN109391528A (zh) * 2018-08-31 2019-02-26 百度在线网络技术（北京）有限公司 语音智能设备的唤醒方法、装置、设备及存储介质
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
KR102146524B1 (ko) * 2018-09-19 2020-08-20 주식회사 포티투마루 음성 인식 학습 데이터 생성 시스템, 방법 및 컴퓨터 프로그램
US11315553B2 (en) 2018-09-20 2022-04-26 Samsung Electronics Co., Ltd. Electronic device and method for providing or obtaining data for training thereof
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11119725B2 (en) * 2018-09-27 2021-09-14 Abl Ip Holding Llc Customizable embedded vocal command sets for a lighting and/or other environmental controller
US11152003B2 (en) * 2018-09-27 2021-10-19 International Business Machines Corporation Routing voice commands to virtual assistants
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11100923B2 (en) * 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US10777186B1 (en) * 2018-11-13 2020-09-15 Amazon Technolgies, Inc. Streaming real-time automatic speech recognition service
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) * 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
KR20200074690A (ko) * 2018-12-17 2020-06-25 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR20200074680A (ko) 2018-12-17 2020-06-25 삼성전자주식회사 단말 장치 및 이의 제어 방법
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
CN111415657A (zh) * 2019-01-07 2020-07-14 成都启英泰伦科技有限公司 一种去中心化设备、多设备系统及其语音控制方法
WO2020163624A1 (en) 2019-02-06 2020-08-13 Pindrop Security, Inc. Systems and methods of gateway detection in a telephone network
CA3129378A1 (en) 2019-02-07 2020-08-13 Thomas Stachura Privacy device for smart speakers
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11195518B2 (en) 2019-03-27 2021-12-07 Sonova Ag Hearing device user communicating with a wireless communication device
KR20210143953A (ko) * 2019-04-19 2021-11-30 엘지전자 주식회사 다중 디바이스 제어 시스템과 방법 및 이를 실행하기 위한 컴포넌트가 저장된 비 일시적 컴퓨터 판독 가능 매체
CN110136707B (zh) * 2019-04-22 2021-03-02 云知声智能科技股份有限公司 一种用于进行多设备自主决策的人机交互系统
WO2020218634A1 (ko) * 2019-04-23 2020-10-29 엘지전자 주식회사 응답 기기 결정 방법 및 장치
WO2020222539A1 (en) * 2019-05-02 2020-11-05 Samsung Electronics Co., Ltd. Hub device, multi-device system including the hub device and plurality of devices, and method of operating the same
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11482210B2 (en) 2019-05-29 2022-10-25 Lg Electronics Inc. Artificial intelligence device capable of controlling other devices based on device information
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
CN110148401B (zh) * 2019-07-02 2023-12-15 腾讯科技（深圳）有限公司 语音识别方法、装置、计算机设备及存储介质
CN112712803B (zh) * 2019-07-15 2022-02-25 华为技术有限公司 一种语音唤醒的方法和电子设备
WO2021020877A1 (en) * 2019-07-29 2021-02-04 Samsung Electronics Co., Ltd. System and method for registering device for voice assistant service
US11659332B2 (en) 2019-07-30 2023-05-23 Dolby Laboratories Licensing Corporation Estimating user location in a system including smart audio devices
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
CN110415705B (zh) * 2019-08-01 2022-03-01 苏州奇梦者网络科技有限公司 一种热词识别方法、系统、装置及存储介质
KR102243325B1 (ko) * 2019-09-11 2021-04-22 넷마블 주식회사 시동어 인식 기술을 제공하기 위한 컴퓨터 프로그램
CN110660390B (zh) * 2019-09-17 2022-05-03 百度在线网络技术（北京）有限公司 智能设备唤醒方法、智能设备及计算机可读存储介质
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
DE102019215099B4 (de) * 2019-10-01 2022-09-29 Audi Ag Verfahren zum Bereitstellen einer aktuellen lokalen Umgebungszustandskarte für ein Kraftfahrzeug sowie Kraftfahrzeug zum Durchführen eines derartigen Verfahrens
KR102629796B1 (ko) * 2019-10-15 2024-01-26 삼성전자 주식회사 음성 인식의 향상을 지원하는 전자 장치
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
CN110890092B (zh) * 2019-11-07 2022-08-05 北京小米移动软件有限公司 唤醒控制方法及装置、计算机存储介质
US11315551B2 (en) * 2019-11-07 2022-04-26 Accent Global Solutions Limited System and method for intent discovery from multimedia conversation
US11061958B2 (en) 2019-11-14 2021-07-13 Jetblue Airways Corporation Systems and method of generating custom messages based on rule-based database queries in a cloud platform
US11450325B1 (en) 2019-12-12 2022-09-20 Amazon Technologies, Inc. Natural language processing
US11380308B1 (en) 2019-12-13 2022-07-05 Amazon Technologies, Inc. Natural language processing
US11551681B1 (en) * 2019-12-13 2023-01-10 Amazon Technologies, Inc. Natural language processing routing
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
CN111048086B (zh) * 2019-12-24 2022-10-21 思必驰科技股份有限公司 多设备间的语音唤醒方法、和自协商的语音唤醒方法、装置及系统
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
KR20210098250A (ko) * 2020-01-31 2021-08-10 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
EP3866157B1 (de) * 2020-02-13 2024-04-03 Deutsche Telekom AG Elektronische assistenzvorrichtung und betriebsverfahren
KR20210136463A (ko) 2020-05-07 2021-11-17 삼성전자주식회사 전자 장치 및 그 제어 방법
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11887589B1 (en) * 2020-06-17 2024-01-30 Amazon Technologies, Inc. Voice-based interactions with a graphical user interface
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11670293B2 (en) * 2020-09-02 2023-06-06 Google Llc Arbitrating between multiple potentially-responsive electronic devices
US11727925B2 (en) * 2020-10-13 2023-08-15 Google Llc Cross-device data synchronization based on simultaneous hotword triggers
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
US20220284883A1 (en) * 2021-03-05 2022-09-08 Comcast Cable Communications, Llc Keyword Detection
US20230029088A1 (en) * 2021-07-22 2023-01-26 International Business Machines Corporation Dynamic boundary creation for voice command authentication
US20230098522A1 (en) * 2021-09-30 2023-03-30 Intuit Inc. Automated categorization of data by generating unity and reliability metrics
CN115547337B (zh) * 2022-11-25 2023-03-03 深圳市人马互动科技有限公司 语音识别方法及相关产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003223188A (ja) 2002-01-29 2003-08-08 Toshiba Corp 音声入力システム、音声入力方法及び音声入力プログラム
JP2011232521A (ja) 2010-04-27 2011-11-17 On Semiconductor Trading Ltd 音声認識装置

Family Cites Families (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4363102A (en) 1981-03-27 1982-12-07 Bell Telephone Laboratories, Incorporated Speaker identification system using word recognition templates
JPS59180599A (ja) * 1983-03-31 1984-10-13 日本電気ホームエレクトロニクス株式会社 車載用音声認識制御装置
US5659665A (en) * 1994-12-08 1997-08-19 Lucent Technologies Inc. Method and apparatus for including speech recognition capabilities in a computer system
JP3674990B2 (ja) 1995-08-21 2005-07-27 セイコーエプソン株式会社 音声認識対話装置および音声認識対話処理方法
JP3522421B2 (ja) 1995-10-31 2004-04-26 株式会社リコー 話者認識システムおよび話者認識方法
US5895448A (en) 1996-02-29 1999-04-20 Nynex Science And Technology, Inc. Methods and apparatus for generating and using speaker independent garbage models for speaker dependent speech recognition purpose
US6023676A (en) * 1996-12-12 2000-02-08 Dspc Israel, Ltd. Keyword recognition system and method
SE511418C2 (sv) 1997-03-13 1999-09-27 Telia Ab Metod för talarverifiering/identifiering via modellering av typiska icke-typiska egenskaper.
US6076055A (en) 1997-05-27 2000-06-13 Ameritech Speaker verification method
US5897616A (en) 1997-06-11 1999-04-27 International Business Machines Corporation Apparatus and methods for speaker verification/identification/classification employing non-acoustic and/or acoustic models and databases
JPH1152976A (ja) * 1997-07-29 1999-02-26 Nec Home Electron Ltd 音声認識装置
JP3524370B2 (ja) * 1998-02-19 2004-05-10 富士通テン株式会社 音声起動システム
JP2000075954A (ja) 1998-09-02 2000-03-14 Sony Corp 電子機器制御装置
US6141644A (en) 1998-09-04 2000-10-31 Matsushita Electric Industrial Co., Ltd. Speaker verification and speaker identification based on eigenvoices
US6744860B1 (en) * 1998-12-31 2004-06-01 Bell Atlantic Network Services Methods and apparatus for initiating a voice-dialing operation
US6671672B1 (en) * 1999-03-30 2003-12-30 Nuance Communications Voice authentication system having cognitive recall mechanism for password verification
US6408272B1 (en) * 1999-04-12 2002-06-18 General Magic, Inc. Distributed voice user interface
JP3357629B2 (ja) * 1999-04-26 2002-12-16 旭化成株式会社 設備制御システム
US6438524B1 (en) * 1999-11-23 2002-08-20 Qualcomm, Incorporated Method and apparatus for a voice controlled foreign language translation device
DE10015960C2 (de) * 2000-03-30 2003-01-16 Micronas Munich Gmbh Spracherkennungsverfahren und Spracherkennungsvorrichtung
US6567775B1 (en) 2000-04-26 2003-05-20 International Business Machines Corporation Fusion of audio and video based speaker identification for multimedia information access
US6826159B1 (en) 2000-05-24 2004-11-30 Cisco Technology, Inc. System and method for providing speaker identification in a conference call
EP1168736A1 (en) * 2000-06-30 2002-01-02 Alcatel Telecommunication system and method with a speech recognizer
US7016833B2 (en) 2000-11-21 2006-03-21 The Regents Of The University Of California Speaker verification system using acoustic data and non-acoustic data
US6973426B1 (en) 2000-12-29 2005-12-06 Cisco Technology, Inc. Method and apparatus for performing speaker verification based on speaker independent recognition of commands
US6701293B2 (en) * 2001-06-13 2004-03-02 Intel Corporation Combining N-best lists from multiple speech recognizers
JP4224250B2 (ja) * 2002-04-17 2009-02-12 パイオニア株式会社 音声認識装置、音声認識方法および音声認識プログラム
JP2003345391A (ja) 2002-05-23 2003-12-03 Denso Corp 端末、音声認識サーバ、音声認識システムおよびコンピュータプログラム
US20030231746A1 (en) 2002-06-14 2003-12-18 Hunter Karla Rae Teleconference speaker identification
TW200409525A (en) * 2002-11-26 2004-06-01 Lite On Technology Corp Voice identification method for cellular phone and cellular phone with voiceprint password
EP1429314A1 (en) 2002-12-13 2004-06-16 Sony International (Europe) GmbH Correction of energy as input feature for speech processing
US7222072B2 (en) * 2003-02-13 2007-05-22 Sbc Properties, L.P. Bio-phonetic multi-phrase speaker identity verification
US7571014B1 (en) 2004-04-01 2009-08-04 Sonos, Inc. Method and apparatus for controlling multimedia players in a multi-zone system
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US20070198262A1 (en) 2003-08-20 2007-08-23 Mindlin Bernardo G Topological voiceprints for speaker identification
US20050165607A1 (en) * 2004-01-22 2005-07-28 At&T Corp. System and method to disambiguate and clarify user intention in a spoken dialog system
US8214447B2 (en) 2004-06-08 2012-07-03 Bose Corporation Managing an audio network
US7720012B1 (en) 2004-07-09 2010-05-18 Arrowhead Center, Inc. Speaker identification in the presence of packet losses
US8412521B2 (en) * 2004-08-20 2013-04-02 Multimodal Technologies, Llc Discriminative training of document transcription system
US8521529B2 (en) 2004-10-18 2013-08-27 Creative Technology Ltd Method for segmenting audio signals
KR100679043B1 (ko) * 2005-02-15 2007-02-05 삼성전자주식회사 음성 대화 인터페이스 장치 및 방법
US8041570B2 (en) * 2005-05-31 2011-10-18 Robert Bosch Corporation Dialogue management using scripts
US7603275B2 (en) * 2005-10-31 2009-10-13 Hitachi, Ltd. System, method and computer program product for verifying an identity using voiced to unvoiced classifiers
JP2006227634A (ja) * 2006-03-29 2006-08-31 Seiko Epson Corp 音声認識を用いた機器制御方法および音声認識を用いた機器制御システムならびに音声認識を用いた機器制御プログラムを記録した記録媒体
CN1996847B (zh) 2006-12-27 2010-05-19 中国科学院上海技术物理研究所 基于协作网格的图像及多媒体数据通信与存储系统
US8099288B2 (en) 2007-02-12 2012-01-17 Microsoft Corp. Text-dependent speaker verification
US20110060587A1 (en) * 2007-03-07 2011-03-10 Phillips Michael S Command and control utilizing ancillary information in a mobile voice-to-speech application
US8838457B2 (en) 2007-03-07 2014-09-16 Vlingo Corporation Using results of unstructured language model based speech recognition to control a system-level function of a mobile communications facility
US8352264B2 (en) 2008-03-19 2013-01-08 Canyon IP Holdings, LLC Corrective feedback loop for automated speech recognition
US8503686B2 (en) * 2007-05-25 2013-08-06 Aliphcom Vibration sensor and acoustic voice activity detection system (VADS) for use with electronic systems
US8385233B2 (en) 2007-06-12 2013-02-26 Microsoft Corporation Active speaker identification
GB2450886B (en) * 2007-07-10 2009-12-16 Motorola Inc Voice activity detector and a method of operation
JP2009104020A (ja) 2007-10-25 2009-05-14 Panasonic Electric Works Co Ltd 音声認識装置
GB2458461A (en) * 2008-03-17 2009-09-23 Kai Yu Spoken language learning system
US8504365B2 (en) * 2008-04-11 2013-08-06 At&T Intellectual Property I, L.P. System and method for detecting synthetic speaker verification
CA2665014C (en) * 2008-05-23 2020-05-26 Accenture Global Services Gmbh Recognition processing of a plurality of streaming voice signals for determination of responsive action thereto
US8145482B2 (en) * 2008-05-25 2012-03-27 Ezra Daya Enhancing analysis of test key phrases from acoustic sources with key phrase training models
KR101056511B1 (ko) * 2008-05-28 2011-08-11 (주)파워보이스 실시간 호출명령어 인식을 이용한 잡음환경에서의음성구간검출과 연속음성인식 시스템
US8676586B2 (en) * 2008-09-16 2014-03-18 Nice Systems Ltd Method and apparatus for interaction or discourse analytics
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US9922640B2 (en) * 2008-10-17 2018-03-20 Ashwin P Rao System and method for multimodal utterance detection
KR101519104B1 (ko) * 2008-10-30 2015-05-11 삼성전자 주식회사 목적음 검출 장치 및 방법
US8326637B2 (en) 2009-02-20 2012-12-04 Voicebox Technologies, Inc. System and method for processing multi-modal device interactions in a natural language voice services environment
US8209174B2 (en) 2009-04-17 2012-06-26 Saudi Arabian Oil Company Speaker verification system
US9858925B2 (en) * 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
CN101923853B (zh) 2009-06-12 2013-01-23 华为技术有限公司 说话人识别方法、设备和系统
US8311838B2 (en) 2010-01-13 2012-11-13 Apple Inc. Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts
US8626511B2 (en) 2010-01-22 2014-01-07 Google Inc. Multi-dimensional disambiguation of voice commands
KR101672212B1 (ko) 2010-06-15 2016-11-04 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
US8719018B2 (en) 2010-10-25 2014-05-06 Lockheed Martin Corporation Biometric speaker identification
US8874773B2 (en) 2010-11-30 2014-10-28 Gary W. Grube Obtaining group and individual emergency preparedness communication information
CN102741918B (zh) * 2010-12-24 2014-11-19 华为技术有限公司 用于话音活动检测的方法和设备
US8296142B2 (en) * 2011-01-21 2012-10-23 Google Inc. Speech recognition using dock context
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US9159324B2 (en) 2011-07-01 2015-10-13 Qualcomm Incorporated Identifying people that are proximate to a mobile device user via social graphs, speech models, and user context
US8660847B2 (en) * 2011-09-02 2014-02-25 Microsoft Corporation Integrated local and cloud based speech recognition
US8340975B1 (en) * 2011-10-04 2012-12-25 Theodore Alfred Rosenberger Interactive speech recognition device and system for hands-free building control
ES2409530B1 (es) * 2011-10-14 2014-05-14 Telefónica, S.A. Método para gestionar el reconocimiento del habla de llamadas de audio
US9031847B2 (en) 2011-11-15 2015-05-12 Microsoft Technology Licensing, Llc Voice-controlled camera operations
WO2013078388A1 (en) * 2011-11-21 2013-05-30 Robert Bosch Gmbh Methods and systems for adapting grammars in hybrid speech recognition engines for enhancing local sr performance
US8825020B2 (en) * 2012-01-12 2014-09-02 Sensory, Incorporated Information access and device control using mobile phones and audio in the home environment
US9117449B2 (en) 2012-04-26 2015-08-25 Nuance Communications, Inc. Embedded system for construction of small footprint speech recognition with user-definable constraints
US9093076B2 (en) * 2012-04-30 2015-07-28 2236008 Ontario Inc. Multipass ASR controlling multiple applications
US20140006825A1 (en) 2012-06-30 2014-01-02 David Shenhav Systems and methods to wake up a device from a power conservation state
US9536528B2 (en) * 2012-07-03 2017-01-03 Google Inc. Determining hotword suitability
JP6131537B2 (ja) 2012-07-04 2017-05-24 セイコーエプソン株式会社 音声認識システム、音声認識プログラム、記録媒体及び音声認識方法
TWI474317B (zh) * 2012-07-06 2015-02-21 Realtek Semiconductor Corp 訊號處理裝置以及訊號處理方法
US8983836B2 (en) * 2012-09-26 2015-03-17 International Business Machines Corporation Captioning using socially derived acoustic profiles
CN103729388A (zh) * 2012-10-16 2014-04-16 北京千橡网景科技发展有限公司 用于网络用户发表状态的实时热点检测方法
WO2014064324A1 (en) 2012-10-26 2014-05-01 Nokia Corporation Multi-device speech recognition
US8996372B1 (en) * 2012-10-30 2015-03-31 Amazon Technologies, Inc. Using adaptation data with cloud-based speech recognition
JP2014092777A (ja) 2012-11-06 2014-05-19 Magic Hand:Kk モバイル通信機器の音声による起動
US20140156281A1 (en) * 2012-12-03 2014-06-05 Qualcomm Incorporated Voice-controlled configuration of an automation system
US9704486B2 (en) 2012-12-11 2017-07-11 Amazon Technologies, Inc. Speech recognition power management
JP2014130445A (ja) * 2012-12-28 2014-07-10 Toshiba Corp 情報抽出サーバ、情報抽出クライアント、情報抽出方法、及び、情報抽出プログラム
CN103971685B (zh) * 2013-01-30 2015-06-10 腾讯科技（深圳）有限公司 语音命令识别方法和系统
US9842489B2 (en) * 2013-02-14 2017-12-12 Google Llc Waking other devices for additional data
US9256269B2 (en) 2013-02-20 2016-02-09 Sony Computer Entertainment Inc. Speech recognition system for performing analysis to a non-tactile inputs and generating confidence scores and based on the confidence scores transitioning the system from a first power state to a second power state
US9349386B2 (en) * 2013-03-07 2016-05-24 Analog Device Global System and method for processor wake-up based on sensor data
US9361885B2 (en) * 2013-03-12 2016-06-07 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
US9312826B2 (en) * 2013-03-13 2016-04-12 Kopin Corporation Apparatuses and methods for acoustic channel auto-balancing during multi-channel signal extraction
US8768687B1 (en) * 2013-04-29 2014-07-01 Google Inc. Machine translation of indirect speech
US9380654B2 (en) 2013-07-11 2016-06-28 General Electric Company Light emitting diode (LED) lamp replacement driver for linear fluorescent lamps
US20150031416A1 (en) * 2013-07-23 2015-01-29 Motorola Mobility Llc Method and Device For Command Phrase Validation
WO2015025330A1 (en) 2013-08-21 2015-02-26 Kale Aaditya Kishore A system to enable user to interact with an electronic processing device using voice of the user
US9865255B2 (en) * 2013-08-29 2018-01-09 Panasonic Intellectual Property Corporation Of America Speech recognition method and speech recognition apparatus
US9343068B2 (en) 2013-09-16 2016-05-17 Qualcomm Incorporated Method and apparatus for controlling access to applications having different security levels
US8775191B1 (en) 2013-11-13 2014-07-08 Google Inc. Efficient utterance-specific endpointer triggering for always-on hotwording
US9373321B2 (en) * 2013-12-02 2016-06-21 Cypress Semiconductor Corporation Generation of wake-up words
CN103745731B (zh) * 2013-12-31 2016-10-19 科大讯飞股份有限公司 一种语音识别效果自动化测试系统及测试方法
US8938394B1 (en) 2014-01-09 2015-01-20 Google Inc. Audio triggers based on context
US9639854B2 (en) 2014-06-26 2017-05-02 Nuance Communications, Inc. Voice-controlled information exchange platform, such as for providing information to supplement advertising
US9424841B2 (en) 2014-10-09 2016-08-23 Google Inc. Hotword detection on multiple devices
US9318107B1 (en) 2014-10-09 2016-04-19 Google Inc. Hotword detection on multiple devices
US9812126B2 (en) 2014-11-28 2017-11-07 Microsoft Technology Licensing, Llc Device arbitration for listening devices
JP6754184B2 (ja) 2014-12-26 2020-09-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 音声認識装置及び音声認識方法
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10506068B2 (en) 2015-04-06 2019-12-10 Microsoft Technology Licensing, Llc Cloud-based cross-device digital pen pairing
US9875081B2 (en) 2015-09-21 2018-01-23 Amazon Technologies, Inc. Device selection for providing a response
JP6943656B2 (ja) 2017-07-12 2021-10-06 日立造船株式会社 コイン形電池およびその製造方法
JP2021184030A (ja) 2020-05-21 2021-12-02 キヤノン株式会社 単焦点レンズおよび撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003223188A (ja) 2002-01-29 2003-08-08 Toshiba Corp 音声入力システム、音声入力方法及び音声入力プログラム
JP2011232521A (ja) 2010-04-27 2011-11-17 On Semiconductor Trading Ltd 音声認識装置

Also Published As

Publication number Publication date
KR101752119B1 (ko) 2017-06-28
WO2016057268A1 (en) 2016-04-14
JP6427549B2 (ja) 2018-11-21
US10593330B2 (en) 2020-03-17
JP2020034952A (ja) 2020-03-05
JP6530023B2 (ja) 2019-06-12
US20170084277A1 (en) 2017-03-23
US20210118448A1 (en) 2021-04-22
JP2023174674A (ja) 2023-12-08
US11915706B2 (en) 2024-02-27
KR20160101198A (ko) 2016-08-24
JP2017072857A (ja) 2017-04-13
JP6208376B2 (ja) 2017-10-04
US10134398B2 (en) 2018-11-20
JP2017520008A (ja) 2017-07-20
US20190130914A1 (en) 2019-05-02
EP3084759B1 (en) 2019-08-14
CN106030699B (zh) 2019-12-10
EP3171359B1 (en) 2020-07-01
JP2022017569A (ja) 2022-01-25
EP3084759A1 (en) 2016-10-26
KR101832648B1 (ko) 2018-02-26
US11557299B2 (en) 2023-01-17
US20160104480A1 (en) 2016-04-14
JP2017227912A (ja) 2017-12-28
JP6893951B2 (ja) 2021-06-23
CN111028826A (zh) 2020-04-17
EP3139378B1 (en) 2019-12-04
CN111028826B (zh) 2024-02-06
EP4280210A2 (en) 2023-11-22
US20230147222A1 (en) 2023-05-11
US20200058306A1 (en) 2020-02-20
KR20170004956A (ko) 2017-01-11
US10909987B2 (en) 2021-02-02
US20160217790A1 (en) 2016-07-28
EP3171359A1 (en) 2017-05-24
JP2019133198A (ja) 2019-08-08
EP4280210A3 (en) 2024-01-10
CN106030699A (zh) 2016-10-12
US9514752B2 (en) 2016-12-06
US9318107B1 (en) 2016-04-19
EP3139378A1 (en) 2017-03-08
DE202015010012U1 (de) 2023-03-01
EP3627503B1 (en) 2024-01-10
JP7354210B2 (ja) 2023-10-02
EP3627503A1 (en) 2020-03-25

Similar Documents

Publication Publication Date Title
JP7022733B2 (ja) 複数のデバイス上でのホットワード検出
US10347253B2 (en) Hotword detection on multiple devices

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191224

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210312

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211111

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211111

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211124

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220207

R150 Certificate of patent or registration of utility model

Ref document number: 7022733

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150