JP7130637B2 - 音声インタフェース装置におけるフォーカスセッション - Google Patents
音声インタフェース装置におけるフォーカスセッション Download PDFInfo
- Publication number
- JP7130637B2 JP7130637B2 JP2019522753A JP2019522753A JP7130637B2 JP 7130637 B2 JP7130637 B2 JP 7130637B2 JP 2019522753 A JP2019522753 A JP 2019522753A JP 2019522753 A JP2019522753 A JP 2019522753A JP 7130637 B2 JP7130637 B2 JP 7130637B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- target device
- activated
- user
- voice command
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 48
- 230000004044 response Effects 0.000 claims description 29
- 238000012423 maintenance Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 14
- 238000012790 confirmation Methods 0.000 claims description 10
- 238000003491 array Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 62
- 238000004891 communication Methods 0.000 description 28
- 230000000007 visual effect Effects 0.000 description 21
- 238000003860 storage Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 13
- 241000282326 Felis catus Species 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000013461 design Methods 0.000 description 8
- 230000007704 transition Effects 0.000 description 8
- 239000003086 colorant Substances 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000005266 casting Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 230000000977 initiatory effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000010399 physical interaction Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 101100408383 Mus musculus Piwil1 gene Proteins 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012508 change request Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2807—Exchanging configuration information on appliance services in a home automation network
- H04L12/281—Exchanging configuration information on appliance services in a home automation network indicating a format for calling an appliance service function in a home automation network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
- H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
- H04L67/306—User profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Telephonic Communication Services (AREA)
Description
開示された実施形態は、一般に、ターゲット装置が未知又は音声命令自体から曖昧であるときに音声命令をターゲット装置に送るための方法及びシステムを含むがこれらに限定されない、音声インタフェース及び関連装置に関する。
音声インタフェースを有する電子装置は、ユーザから音声入力を収集し、音声入力に従って異なる音声起動機能を実行するために広く使用されてきた。これらの音声起動機能は、操作を実行するようにターゲット装置に指示又は命令することを含み得る。例えば、ユーザは音声インタフェース装置へ音声入力を発して、ターゲット装置をオン又はオフにしたり、又はターゲット装置でのメディア再生を制御するように指示したりすることができる。
したがって、音声入力におけるターゲット装置の指定が存在しないか又は曖昧な際でも、音声入力のためのターゲット装置を決定又は割り当てるための方法及びシステムを組み込んだ音声アシスタントシステム及び/又は音声アシスタントサーバシステムを有する、電子装置が必要である。本出願に記載されている様々な実施形態では、操作環境は、音声アシスタントサービスへのインタフェースを提供する音声起動式電子装置、及び音声アシスタントサービスを介した音声入力によって制御され得る複数の装置(例えばキャストデバイス、スマートホームデバイス)を含む。音声起動式電子装置は、音声入力を記録するように構成され、その音声入力から音声アシスタンスサービス(例えば音声アシスタンスサーバシステム)がユーザの音声要求(例えばメディア再生要求、電源状態変更要求)を決定する。次いで、音声アシスタンスサーバシステムは、ユーザの音声要求を、音声入力によって示されるターゲット装置に伝える。音声起動式電子装置は、後続の音声入力を記録するように構成されており、この音声入力においてはターゲット装置の指示が存在しないか又は曖昧である。電子装置又は音声アシスタンスサーバシステムは、この音声入力のためにターゲット装置を割り当て、この音声入力に含まれるユーザの音声要求を決定し、割り当てられたターゲット装置にユーザの音声要求を送る。
実施形態の説明
デジタル革命は今まで、情報のオープンな共有化からグローバルな一体感まで、多くの恩恵をもたらしてきた一方で、新しい技術は、消費者の間で混乱、疑い、恐れをしばしば生じさせ、その結果、消費者がその技術から恩恵を受けることを妨げる。電子装置は、ユーザからの音声入力を受信して音声動作を開始する機能を持つ音声インタフェースとして便利に使用される。それにより、電子装置は、アイズフリー且つハンズフリーの解決策を提供して、既存技術と新技術の両方に近づく。具体的には、電子装置で受信された音声入力は、ユーザの視線が不明瞭で、手が塞がっていたとしても、指示や情報を伝えることができる。ハンズフリー且つアイズフリーの体験を可能にするために、音声起動式電子装置は、常時又はトリガされたときにのみ、周囲を聴取する(すなわち、周囲から収集された音声信号を常時処理する)。一方、ユーザのアイデンティティは、ユーザの声と使用する言語とに関連付けられている。ユーザのアイデンティティを保護するために、これらの音声起動式電子装置は、通常、非公開の場所で使用され、その場所は保護、管理され、且つ親密な空間(例えば、家庭及び車)である。
図1は、いくつかの実施形態に従う例示的操作環境である。操作環境100は、一つ以上の音声起動式電子装置104(例えば、音声起動式電子装置104‐1から104‐N、以下「音声起動式装置(複数可)」と称する)を含む。一つ以上の音声起動式装置104は、一つ以上の場所(例えば、構造物内の複数の空間全体、又は複数の構造物全体(例えば、一つは家の中に、一つはユーザの車の中に)に広がる構造物の部屋又は空間内のすべて)に配置してもよい。
図2は、いくつかの実施形態に従う、操作環境(例えば、操作環境100)においてユーザの音声命令を収集するための音声インタフェースとして適用される例示的音声起動式装置104を示すブロック図である。音声起動式装置104は、典型的には、一つ以上の処理装置(CPU)202、一つ以上のネットワークインタフェース204、メモリ206、及びこれらの構成要素(チップセットと称されることがある)を相互接続するための一つ以上の通信バス208を含む。音声起動式装置104は、ボタン212、タッチセンスアレイ214、及び一つ以上のマイクロフォン216など、ユーザ入力を容易にする一つ以上の入力装置210を含む。音声起動式装置104は、一つ以上のスピーカ220、任意にLED222のアレイ、及び任意にディスプレイ224を含む、一つ以上の出力装置218も含む。いくつかの実施形態では、LED222のアレイはフルカラーLEDのアレイである。いくつかの実施形態では、音声起動式装置104は、装置の種類に応じて、LED222のアレイ、又はディスプレイ224のどちらか一方、又は両方を含む。いくつかの実施形態では、音声起動式装置104は、位置検出装置226(例えばGPSモジュール)及び一つ以上のセンサ228(例えば加速度計、ジャイロスコープ、光センサなど)も含む。
・様々な基本的なシステムサービスを取り扱うための手順、及びハードウェア依存のタスクを実行するための手順を含むオペレーティングシステム232;
・音声起動式装置104を他の装置(例えば、音声アシスタンスサービス140、1つ以上の制御可能装置106、1つ以上のクライアント装置103、及び他の音声起動式装置(複数可)104)に、一つ以上のネットワークインタフェース204(有線又は無線)、及びインターネット、他の広域ネットワーク、ローカルエリアネットワーク(例えばローカルネットワーク108)、メトロポリタンエリアネットワークなどの一つ以上のネットワーク110、を介して接続するためのネットワーク通信モジュール234;
・一つ以上の入力装置を介して入力を受信し、一つ以上の出力装置218を介して音声起動式装置104にて情報の提示を可能にするための入力/出力制御モジュール236であって、以下を含むもの:
○音声起動式装置104を取り囲む環境において収集される、音声入力又は音声メッセージを処理するための、又は収集された音声入力又は音声メッセージを音声アシスタンスサーバシステム112での処理に対して準備するための音声処理モジュール238;
○音声起動式装置104の装置状態に従って、LED222上に視覚的パターンを生成するためのLED制御モジュール240;及び
○音声起動式装置104の上面(例えば、タッチセンサアレイ214上)でのタッチイベントを検知するためのタッチセンスモジュール242;
・音声起動式装置104に関連するデータを少なくとも記憶するための音声起動式装置データ244であって、以下を含むもの:
○共通の装置設定(サービス層、装置モデル、記憶容量、処理能力、通信能力など)、ユーザドメインにおける1つ以上のユーザアカウントの情報、装置ニックネーム及び装置グループ、未登録のユーザを扱う場合の制限に関する設定、並びにLED222によって表示される1つ以上の視覚的パターンに関連する表示仕様を含む、音声起動式装置104自体に関連する情報を記憶するための音声装置設定246;並びに
○音声信号、音声メッセージ、応答メッセージ、及び音声起動式装置104の音声インタフェース機能に関連する他のデータを記憶するための音声制御データ248;
・音声アシスタンスサーバシステム112によって生成された音声要求応答に含まれる命令を実行し、いくつかの実施形態では、一定の音声入力に対する応答を生成するための応答モジュール250;並びに
・装置に関してフォーカスセッションを確立、管理、及び終了するためのフォーカスセッションモジュール252。
・音声入力装置104に音声入力するユーザを識別し、曖昧さをなくすためのユーザ識別モジュール;
・音声入力が音声起動式装置104を起動させるためにホットワードを含んでいるかどうかを決定し、音声入力においてそのようなものを認識するためのホットワード認識モジュール;及び
・音声入力において含まれるユーザ要求を決定するための要求認識モジュール。
・未解決のフォーカスセッションにおいてフォーカスされた装置又は装置グループの識別子(例えば、装置ニックネーム、装置グループ名、装置のMACアドレス(複数可)を記憶するための、セッションがフォーカスされた装置(複数可)256;
・未解決のフォーカスセッションの開始のためのタイムスタンプを記憶するためのセッション開始時間258;及び
・少なくとも最新の要求/命令を含む、フォーカスセッションにおける以前の要求又は命令のログを記憶するためのセッション命令履歴260。ログは、ログに記録された以前の要求(複数可)/命令(複数可)のタイムスタンプ(複数可)を少なくとも含む。
・様々な基本的なシステムサービスを取り扱うための手順、及びハードウェア依存のタスクを実行するための手順を含むオペレーティングシステム316;
・サーバシステム112を他の装置(例えば、クライアント装置103、制御可能装置106、音声起動式装置104)に、一つ以上のネットワークインタフェース304(有線又は無線)、及びインターネット、他の広域ネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの一つ以上のネットワーク110を介して接続するためのネットワーク通信モジュール318;
・情報(例えば、アプリケーション(複数可)322~328、ウィジェット、ウェブサイト及びそのウェブページ、並びに/又は、ゲーム、オーディオ及び/若しくはビデオのコンテンツ、テキストなどを提示するためのグラフィカルユーザインタフェース)の提示をクライアント装置で可能にするためのユーザインタフェースモジュール320;
・サーバ側での実行のための命令実行モジュール321(例えば、クライアント装置103、制御可能装置106、音声起動式装置104、並びにスマートホーム装置を制御し、そのような装置によって取り込まれたデータを検討するための、ゲーム、ソーシャルネットワークアプリケーション、スマートホームアプリケーション、及び/又は他のウェブ若しくは非ウェブベースのアプリケーション)であって、以下を一つ以上含むもの:
○キャスト装置(複数可)に関連する、装置提供、装置制御、及びユーザアカウント管理のための、サーバ側の機能を提供するために実行されるキャスト装置アプリケーション322;
○対応するメディアソースに関連する、メディア表示及びユーザアカウント管理のためのサーバ側の機能を提供するために実行される、一つ以上のメディアプレーヤアプリケーション324;
○対応するスマートホーム装置の、装置提供、装置制御、データ処理及びデータ検討のためのサーバ側の機能を提供するために実行される、一つ以上のスマートホーム装置アプリケーション326;並びに
○音声起動式装置104から受信した音声メッセージの音声処理を整理するため、又はユーザの音声命令、及びユーザの音声命令(例えば、キャスト装置、又は別の音声起動式装置104の指定)のための一つ以上のパラメータを抽出するために音声メッセージを直接処理する音声アシスタンスアプリケーション328;並びに
・メディア表示の自動制御に関連するデータ(例えば、自動メディア出力モード、及びフォローアップモードにおいて)、及び他のデータを少なくとも記憶するサーバシステムデータ330であって、以下のうちの一つ以上を含むもの:
○共通の装置設定(例えば、サービス層、装置モデル、記憶容量、処理能力、通信能力など)、及び自動メディア表示制御のための情報を含む、一つ以上のクライアント装置と関連する情報を記憶するためのクライアント装置設定332;
○アカウントアクセス情報、装置設定のための情報(例えば、サービス層、装置モデル、記憶容量、処理能力、通信能力など)、及び自動メディア表示制御のための情報のうち一つ以上を含む、キャスト装置アプリケーション322のユーザアカウントに関連する情報を記憶するためのキャスト装置設定334;
○アカウントアクセス情報、メディアコンテンツタイプのユーザの好み、レビュー履歴データ、及び自動メディア表示制御のための情報のうちの一つ以上を含む、一つ以上のメディアプレーヤアプリケーション324のユーザアカウントに関連する情報を記憶するためのメディアプレーヤアプリケーション設定336;
○アカウントアクセス情報、1つ以上のスマートホーム装置のための情報(例えば、サービス層、装置モデル、記憶容量、処理能力、通信能力など)のうちの1つ以上を含む、スマートホームアプリケーション326のユーザアカウントに関連する情報を記憶するためのスマートホーム装置設定338;
○一つ以上のアカウントアクセス情報、一つ以上の音声起動式装置104のための情報(例えば、サービス層、装置モデル、記憶容量、処理能力、通信能力など)を含む、音声アシスタンスアプリケーション328のユーザアカウントに関連する情報を記憶するための音声アシスタンスデータ340;
○ユーザの定期購読(例えば、音楽ストリーミングサービス定期購読、ビデオストリーミングサービス定期購読、ニュースレター定期購読)、ユーザ装置(例えば、各ユーザ、装置ニックネーム、装置グループに関連する装置レジストリ118において登録された装置)、ユーザアカウント(例えばユーザの電子メールアカウント、カレンダーアカウント、金融アカウントなど)、及びその他のユーザデータを含む、ユーザドメインにおけるユーザに関する情報を記憶するためのユーザデータ342;
○例えば、ユーザの音声モデル又は音声指紋、及びユーザの快適な音量レベルのしきい値を含む、ユーザの音声プロファイルをユーザドメインにおいて記憶するためのユーザ音声プロファイル344;並びに
○複数の装置のためのフォーカスセッションデータを記憶するためのフォーカスセッションデータ346。
・電子装置104を取り囲む環境において収集された音声入力又は音声メッセージを処理するための音声処理モジュール350;並びに
・装置に関してフォーカスセッションを確立、管理、及び終了するためのフォーカスセッションモジュール352。
・フォーカスセッションが確立されている装置の識別子を記憶するためのセッションソース装置3464;
・未解決のフォーカスセッションにおいてフォーカスされた装置又は装置グループの識別子(例えば、装置のニックネーム、装置グループ名、装置のMACアドレス(複数可))を記憶するための、セッションがフォーカスされた装置3466(複数可);
・未解決のフォーカスセッションの開始に対するタイムスタンプを記憶するためのセッション開始時間3468;及び
・最新の要求/命令を少なくとも含む、フォーカスセッションにおける以前の要求又は命令のログを記憶するためのセッション命令履歴3470。
図4A-4Dは、いくつかの実施形態に従うフォーカスセッションの一例を示す。音声起動式装置104(例えば、操作環境100)及び複数の制御可能装置106を備える操作環境では、その環境においてユーザが制御可能装置106のうちの1つをターゲット装置として指定する音声入力を行うと、ターゲット装置がフォーカスされた装置としてフォーカスセッションが確立することがある。
図5は、いくつかの実施形態に従う、ユーザの音声入力に応答する方法500を示すフロー図である。いくつかの実施形態では、方法500は、一つ以上のマイクロフォン、スピーカ、一つ以上のプロセッサ、及び一つ以上のプロセッサによる実行のための一つ以上のプログラムを格納するメモリを備える第1の電子装置(例えば音声起動式装置104)にて実施される。この第1の電子装置は、共通のネットワークサービス(例えば、音声アシスタンスサービス140)に通信可能に(ネットワーク110を介して)結合される、コネクテッド電子装置(例えば、ユーザアカウントに関連付けられた、音声起動式装置104及び制御可能装置106;特定の音声起動式装置104に関連付けられた制御可能装置106など)のローカルグループのメンバである。
以下の実施形態は、メディア装置である一つ以上の制御可能装置106と同じ部屋にある音声起動式装置104のコンテキストにおける実施形態を説明する。以下に説明される実施形態は、他の種類の制御可能装置106(例えば、スマートホーム装置)及び他の装置の配置設定に適合され得ることを理解されたい。
・フォーカスセッションが(音声入力、例えば、異なる装置を明示的に指定する音声入力を介して)異なる装置に転送され、この場合、フォーカスセッションが異なる装置とともに開始される;
・音声入力又は別の装置からのキャスティングを介して(例えば音声を介して:「レディガガを<音声インタフェース装置のニックネーム>で再生して」、「ローカルでレディガガを再生して」など;キャスティングを介して:ユーザはクライアント装置上のアプリケーションを介して音声起動式装置にコンテンツをキャストする)、音声起動式装置上でフォーカスセッションが開始又は(一時停止状態から)再開される;
○しかしながら、音声起動式装置が、メディアを再生しようとしているグループのメンバ(フォロワ又はリーダ)である場合、(再生中であっても)フォーカスを停止することはない。そのため、フォーカスはグループのリーダに残る(リーダは別の音声起動式装置である可能性がある);
・要求が、フォーカスされた制御可能装置への所定の(すべての関連する文法を含む)「停止」命令であるとき;
・タイムアウト関連命令:
○タイムアウトは、制御可能装置が、明示的に指定されているか、フォーカスセッションのフォーカスされた装置に基づいて設定されているかに関わらず、制御可能装置に与えられた、最後の要求又は所定の「停止」命令以外の命令から測定することができる;
○タイムアウトはさまざまな可能な命令にわたって240分である;そして
・ユーザが、一時停止/再生に使用する、音声起動式装置のボタンを押したとき(さらに、一時停止した任意のコンテンツが音声起動式装置でローカルに再開される)。
・確認要求は、メディア開始に対して(例えば、何も再生されていないところで音楽を開始する)(早送り又は次のトラックなどのメディア制御に対して)トリガされる;
・フォーカスセッションがアクティブになると、確認要求がトリガされる;そして
・確認要求は、制御可能装置が、明示的に指定されるか、フォーカスセッションのフォーカスされた装置に基づいて設定されるかどうかに関わらず、現在の音声起動式装置から制御可能装置に与えられた、所定の「停止」命令以外の最後の音声命令から一定時間(例:20分)が経過した後でトリガされる。
・音声起動式装置は、「私に<制御可能装置名>で再生して欲しいですか?」と出力する。
図6A及び図6Bは、いくつかの実施形態に従う、音声起動式電子装置104(図1)の正面図600及び背面図620である。電子装置104は、一つ以上のマイクロフォン602とフルカラーLED604のアレイとを含む。フルカラーLED604は、電子装置104の上面の下に隠され、それらが点灯していないときにはユーザに見えないようにすることができる。いくつかの実施形態では、フルカラーLED604のアレイは、物理的にリング状に配列される。さらに、電子装置104の背面は、電源に結合するように構成された電源コネクタ608を任意に含む。
いくつかの実施形態では、電子装置104は、全表示画面ではなくフルカラー発光ダイオード(LED)のアレイを含む。フルカラーLEDのアレイの照明を構成し、電子装置104の異なる音声処理状態を示す異なる視覚的パターンを可能にするためにLED設計言語が採用される。LED設計言語は、色、パターン、及びフルカラーLEDの固定されたセットに適用される特定の動作の文法から構成されている。その言語における要素は、電子装置104の使用中に特定の装置状態を視覚的に示すために組み合わされる。いくつかの実施形態では、フルカラーLEDの照明は、他の重要な状態の中で、電子装置104の受動的な聞き取り状態及び能動的な聞き取り状態を明確に描写することを目的としている。類似のLED設計言語要素を用いてLED(例えばLED604)によって視覚的に示すことができる状態は、一つ以上のフォーカスセッションの状態、一つ以上の特定のフォーカスセッションに関連付けられた1人以上のユーザのアイデンティティ、及び/又は一つ以上のアクティブフォーカスセッションの持続期間を含む。例えば、いくつかの実施形態では、フォーカスセッションがアクティブであること、第2の音声入力の検出のために延長されたこと、及び/又は電子装置104とのユーザの音声対話の欠如のために最近失効したことを示すために、LED604の異なる光のパターン、色の組み合わせ、及び/又は特定の動きを使用することができる。特定のフォーカスセッションに関連する1人以上のユーザの1つ以上のアイデンティティもまた、視覚的に特定のユーザを識別するLED604の異なる光のパターン、色の組み合わせ、及び/又は特定の動きとともに示すことができる。フルカラーLEDの配置は、電子装置104の物理的制約に準拠し、フルカラーLEDのアレイは、特定の技術(例えば、グーグルアシスタント)に基づいて第三者の相手先ブランド名製造会社(OEM)によって製造されたスピーカにおいて使用することができる。
Claims (16)
- 1つ以上のマイクロフォン、スピーカ、1つ以上のプロセッサ、及び前記1つ以上のプロセッサによる実行のための1つ以上のプログラムを格納するメモリを含む第1の電子装置であって、共通のネットワークサービスに通信可能に結合される、コネクテッド電子装置のローカルグループのメンバである第1の電子装置が、
第1の操作の要求を含む第1の音声命令を受信することと、
コネクテッド電子装置の前記ローカルグループの中から前記第1の操作のための第1のターゲット装置を決定することと、
前記第1のターゲット装置に関してフォーカスセッションを確立することと、
前記共通のネットワークサービスの操作を介して、前記第1のターゲット装置によって前記第1の操作が実行されるようにすることと、
第2の操作の要求を含む第2の音声命令を受信することと、
前記第2の音声命令が第2のターゲット装置の明示的な指定を含まないと決定することと、
前記第2の操作が前記第1のターゲット装置によって実行することができると決定することと、
前記第2の音声命令が、前記第1の音声命令の受信に対して第1の所定の時間間隔内にまたは前記第1の音声命令の受信に対して第2の所定の時間間隔内に前記第1の電子装置によって受信されるかどうかを決定することによって、前記第2の音声命令が1つ以上のフォーカスセッション維持基準を満たすかどうかを判定することとを備え、前記第2の所定の時間間隔は前記第1の所定の時間間隔の後に続き、
さらに、前記第1の電子装置が、
前記第2の音声命令が前記第2の所定の時間間隔内に受信されたという決定に従って、前記第2の音声命令のためのターゲット装置として前記第1のターゲット装置を確認する要求を出力すること、および確認する要求に応答する前記第1のターゲット装置の肯定的な確認に従って、前記第1のターゲット装置を前記第2の音声命令のためにターゲット装置として選択することと、
前記第2の音声命令が前記フォーカスセッション維持基準を満たすという決定に従って、前記第2の操作を前記共通のネットワークサービスの操作を介して前記第1のターゲット装置によって実行させることとを備える、方法。 - コネクテッド電子装置の前記ローカルグループの中から前記第1の操作のための第1のターゲット装置を決定することは、
前記第1の音声命令から前記第1のターゲット装置の明示的な指定を取得することを備える、請求項1に記載の方法。 - コネクテッド電子装置の前記ローカルグループの中から前記第1の操作のための第1のターゲット装置を決定することは、
前記第1の音声命令が前記第1のターゲット装置の明示的な指定を含まないと決定することと、
コネクテッド電子装置の前記ローカルグループの中の第2の電子装置により前記第1の操作を実行することができると決定することと、
前記第2の電子装置を前記第1のターゲット装置として選択することとを備える、請求項1に記載の方法。 - 前記第2の音声命令は前記フォーカスセッション維持基準を満たすという前記決定に従って、前記第1のターゲット装置に関して前記フォーカスセッションを延長することをさらに備える、請求項1から3のいずれか1項に記載の方法。
- 前記第1のターゲット装置に関して前記フォーカスセッションを確立することは、
前記第1の音声命令のタイムスタンプを記憶することと、
前記第1のターゲット装置の識別子を記憶することとを備える、請求項1から4のいずれか1項に記載の方法。 - 前記第2の音声命令が前記第1の所定の時間間隔内に受信されたという決定に従って、前記第2の音声命令のためのターゲット装置として前記第1のターゲット装置を選択することをさらに備える、請求項1~5のいずれか1項に記載の方法。
- 第3の操作の要求と、コネクテッド電子装置の前記ローカルグループの中での第3のターゲット装置の明示的な指定とを含む、第3の音声命令を受信することと、
前記第1のターゲット装置に関してフォーカスセッションを終了することと、
前記第3のターゲット装置に関してフォーカスセッションを確立することと、
前記共通のネットワークサービスの操作を介して、前記第3のターゲット装置によって前記第3の操作を実行させることとをさらに備える、請求項1から6のいずれか1項に記載の方法。 - 第1のターゲット装置は前記第1の電子装置であり、
前記方法は、
第4の操作の要求と、コネクテッド電子装置の前記ローカルグループの中での第4のターゲット装置の明示的な指定とを含む、第4の音声命令を受信することをさらに備え、前記第4のターゲット装置は、コネクテッド電子装置の前記ローカルグループの第3の電子装置メンバであり、前記第3の電子装置は前記第1の電子装置とは異なり、前記方法は、さらに、
前記第1のターゲット装置に関して前記フォーカスセッションを維持することと、
前記共通のネットワークサービスの操作を介して、前記第4のターゲット装置によって前記第4の操作を実行させることとを備える、請求項1から7のいずれか1項に記載の方法。 - 前記第2の音声命令は、前記第4の操作を前記第4のターゲット装置によって実行させた後に受信され、
前記第1の操作はメディア再生動作であり、
前記第2の操作はメディア停止操作であり、
前記方法は、
第5の操作の要求と、及びコネクテッド電子装置の前記ローカルグループの中での第5のターゲット装置の明示的な指定とを含む、第5の音声命令を受信することをさらに備え、前記第5のターゲット装置は前記第3の電子装置であり、前記方法は、
前記第1のターゲット装置に関して前記フォーカスセッションを終了することと、
前記第5のターゲット装置に関してフォーカスセッションを確立することと、
前記共通のネットワークサービスの操作を介して、前記第5のターゲット装置によって前記第5の操作を実行させることとをさらに備える、請求項8に記載の方法。 - 所定の操作終了要求を含む第5の音声命令を受信することと、
前記第5の音声命令を受信することに従って、
前記第1のターゲット装置によって前記第1の操作を実行させることを止めることと、
前記第1のターゲット装置に関して前記フォーカスセッションを終了することとをさらに備える、請求項1から9のいずれか1項に記載の方法。 - 前記第1の操作はメディア再生操作であり、
前記第2の操作は、メディア停止操作、メディア巻き戻し操作、メディア早送り操作、音量を上げる操作、及び音量を下げる操作のうちの1つである、請求項1から10のいずれか1項に記載の方法。 - 前記第1の操作は、複数の装置状態のうちの第1の状態への装置状態変化操作であり、
前記第2の操作は、複数の装置状態のうちの第2の状態への装置状態変更操作である、請求項1から11のいずれか1項に記載の方法。 - 前記第1の操作は、マグニチュードスケールにおいて、第1の方向へのマグニチュード変更操作であり、
前記第2の操作は、前記マグニチュードスケールにおいて、前記第1の方向と反対の第2の方向へのマグニチュード変更操作である、請求項1から12のいずれか1項に記載の方法。 - 前記第1の電子装置は1つ以上のLEDのアレイを備え、
前記方法は、
LEDの前記アレイにおける前記LEDの1つ以上を照明することによって前記フォーカスセッションの状態を示すことをさらに備える、請求項1から13のいずれか1項に記載の方法。 - 1つ以上のマイクロフォン、
スピーカ、
1つ以上のプロセッサ、及び
前記1つ以上のプロセッサによって実行される1つ以上のプログラムを格納するメモリを備え、前記1つ以上のプログラムは請求項1から14のいずれか1項に記載の方法を実行するための指示を備える、電子装置。 - 1つ以上のマイクロフォン、スピーカ、及び1つ以上のプロセッサを備える電子装置によって実行されると、前記電子装置に請求項1から14のいずれか1項に記載の方法を実行させる命令を備える、コンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022133320A JP2022174099A (ja) | 2016-11-03 | 2022-08-24 | 音声インタフェース装置におけるフォーカスセッション |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662417281P | 2016-11-03 | 2016-11-03 | |
US62/417,281 | 2016-11-03 | ||
US15/801,307 | 2017-11-01 | ||
US15/801,307 US10783883B2 (en) | 2016-11-03 | 2017-11-01 | Focus session at a voice interface device |
PCT/US2017/059955 WO2018085671A1 (en) | 2016-11-03 | 2017-11-03 | Focus session at a voice interface device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022133320A Division JP2022174099A (ja) | 2016-11-03 | 2022-08-24 | 音声インタフェース装置におけるフォーカスセッション |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020500330A JP2020500330A (ja) | 2020-01-09 |
JP2020500330A5 JP2020500330A5 (ja) | 2020-12-03 |
JP7130637B2 true JP7130637B2 (ja) | 2022-09-05 |
Family
ID=60664673
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019522753A Active JP7130637B2 (ja) | 2016-11-03 | 2017-11-03 | 音声インタフェース装置におけるフォーカスセッション |
JP2022133320A Pending JP2022174099A (ja) | 2016-11-03 | 2022-08-24 | 音声インタフェース装置におけるフォーカスセッション |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022133320A Pending JP2022174099A (ja) | 2016-11-03 | 2022-08-24 | 音声インタフェース装置におけるフォーカスセッション |
Country Status (8)
Country | Link |
---|---|
US (3) | US10783883B2 (ja) |
EP (2) | EP3535753B1 (ja) |
JP (2) | JP7130637B2 (ja) |
KR (1) | KR102242917B1 (ja) |
CN (2) | CN108022590B (ja) |
DE (2) | DE102017125745A1 (ja) |
GB (1) | GB2558066B (ja) |
WO (1) | WO2018085671A1 (ja) |
Families Citing this family (243)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US20120309363A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Triggering notifications associated with tasks items that represent tasks to perform |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US9084058B2 (en) | 2011-12-29 | 2015-07-14 | Sonos, Inc. | Sound field calibration using listener localization |
US8867106B1 (en) | 2012-03-12 | 2014-10-21 | Peter Lancaster | Intelligent print recognition system and method |
US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
US9106192B2 (en) | 2012-06-28 | 2015-08-11 | Sonos, Inc. | System and method for device playback calibration |
US9706323B2 (en) | 2014-09-09 | 2017-07-11 | Sonos, Inc. | Playback device calibration |
US9219460B2 (en) | 2014-03-17 | 2015-12-22 | Sonos, Inc. | Audio settings based on environment |
DE212014000045U1 (de) | 2013-02-07 | 2015-09-24 | Apple Inc. | Sprach-Trigger für einen digitalen Assistenten |
US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
AU2014278592B2 (en) | 2013-06-09 | 2017-09-07 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
WO2015020942A1 (en) | 2013-08-06 | 2015-02-12 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
US9264839B2 (en) | 2014-03-17 | 2016-02-16 | Sonos, Inc. | Playback device configuration based on proximity detection |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
AU2015266863B2 (en) | 2014-05-30 | 2018-03-15 | Apple Inc. | Multi-command single utterance input method |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US9952825B2 (en) | 2014-09-09 | 2018-04-24 | Sonos, Inc. | Audio processing algorithms |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10200824B2 (en) | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
CN111314826B (zh) | 2015-09-17 | 2021-05-14 | 搜诺思公司 | 由计算设备执行的方法及相应计算机可读介质和计算设备 |
US9693165B2 (en) | 2015-09-17 | 2017-06-27 | Sonos, Inc. | Validation of audio calibration using multi-dimensional motion check |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US9743207B1 (en) | 2016-01-18 | 2017-08-22 | Sonos, Inc. | Calibration using multiple recording devices |
US11106423B2 (en) | 2016-01-25 | 2021-08-31 | Sonos, Inc. | Evaluating calibration of a playback device |
US10003899B2 (en) | 2016-01-25 | 2018-06-19 | Sonos, Inc. | Calibration with particular locations |
US9965247B2 (en) | 2016-02-22 | 2018-05-08 | Sonos, Inc. | Voice controlled media playback system based on user profile |
US10095470B2 (en) | 2016-02-22 | 2018-10-09 | Sonos, Inc. | Audio response playback |
US9947316B2 (en) | 2016-02-22 | 2018-04-17 | Sonos, Inc. | Voice control of a media playback system |
US10509626B2 (en) | 2016-02-22 | 2019-12-17 | Sonos, Inc | Handling of loss of pairing between networked devices |
US10264030B2 (en) | 2016-02-22 | 2019-04-16 | Sonos, Inc. | Networked microphone device control |
US9820039B2 (en) | 2016-02-22 | 2017-11-14 | Sonos, Inc. | Default playback devices |
US9860662B2 (en) | 2016-04-01 | 2018-01-02 | Sonos, Inc. | Updating playback device configuration information based on calibration data |
US9864574B2 (en) | 2016-04-01 | 2018-01-09 | Sonos, Inc. | Playback device calibration based on representation spectral characteristics |
US9763018B1 (en) | 2016-04-12 | 2017-09-12 | Sonos, Inc. | Calibration of audio playback devices |
US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
US9978390B2 (en) | 2016-06-09 | 2018-05-22 | Sonos, Inc. | Dynamic player selection for audio signal processing |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
US10134399B2 (en) | 2016-07-15 | 2018-11-20 | Sonos, Inc. | Contextualization of voice inputs |
US9794710B1 (en) | 2016-07-15 | 2017-10-17 | Sonos, Inc. | Spatial audio correction |
US10152969B2 (en) | 2016-07-15 | 2018-12-11 | Sonos, Inc. | Voice detection by multiple devices |
US10372406B2 (en) | 2016-07-22 | 2019-08-06 | Sonos, Inc. | Calibration interface |
US10115400B2 (en) | 2016-08-05 | 2018-10-30 | Sonos, Inc. | Multiple voice services |
US10459684B2 (en) | 2016-08-05 | 2019-10-29 | Sonos, Inc. | Calibration of a playback device based on an estimated frequency response |
US9942678B1 (en) | 2016-09-27 | 2018-04-10 | Sonos, Inc. | Audio playback settings for voice interaction |
US9743204B1 (en) | 2016-09-30 | 2017-08-22 | Sonos, Inc. | Multi-orientation playback device microphones |
US10181323B2 (en) | 2016-10-19 | 2019-01-15 | Sonos, Inc. | Arbitration-based voice recognition |
US10783883B2 (en) * | 2016-11-03 | 2020-09-22 | Google Llc | Focus session at a voice interface device |
US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
US10264358B2 (en) | 2017-02-15 | 2019-04-16 | Amazon Technologies, Inc. | Selection of master device for synchronized audio |
US10839795B2 (en) * | 2017-02-15 | 2020-11-17 | Amazon Technologies, Inc. | Implicit target selection for multiple audio playback devices in an environment |
US11276395B1 (en) * | 2017-03-10 | 2022-03-15 | Amazon Technologies, Inc. | Voice-based parameter assignment for voice-capturing devices |
US11183181B2 (en) | 2017-03-27 | 2021-11-23 | Sonos, Inc. | Systems and methods of multiple voice services |
US10258295B2 (en) | 2017-05-09 | 2019-04-16 | LifePod Solutions, Inc. | Voice controlled assistance for monitoring adverse events of a user and/or coordinating emergency actions such as caregiver communication |
DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK201770428A1 (en) | 2017-05-12 | 2019-02-18 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
DK201770411A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | MULTI-MODAL INTERFACES |
US10303715B2 (en) | 2017-05-16 | 2019-05-28 | Apple Inc. | Intelligent automated assistant for media exploration |
DK179560B1 (en) * | 2017-05-16 | 2019-02-18 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
US20180336892A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
US10475449B2 (en) | 2017-08-07 | 2019-11-12 | Sonos, Inc. | Wake-word detection suppression |
US10048930B1 (en) | 2017-09-08 | 2018-08-14 | Sonos, Inc. | Dynamic computation of system response volume |
US10446165B2 (en) | 2017-09-27 | 2019-10-15 | Sonos, Inc. | Robust short-time fourier transform acoustic echo cancellation during audio playback |
US10051366B1 (en) | 2017-09-28 | 2018-08-14 | Sonos, Inc. | Three-dimensional beam forming with a microphone array |
US10482868B2 (en) | 2017-09-28 | 2019-11-19 | Sonos, Inc. | Multi-channel acoustic echo cancellation |
US10621981B2 (en) | 2017-09-28 | 2020-04-14 | Sonos, Inc. | Tone interference cancellation |
US10466962B2 (en) | 2017-09-29 | 2019-11-05 | Sonos, Inc. | Media playback system with voice assistance |
KR102543693B1 (ko) * | 2017-10-17 | 2023-06-16 | 삼성전자주식회사 | 전자 장치 및 그의 동작 방법 |
KR102471493B1 (ko) * | 2017-10-17 | 2022-11-29 | 삼성전자주식회사 | 전자 장치 및 음성 인식 방법 |
US11182122B2 (en) * | 2017-12-08 | 2021-11-23 | Amazon Technologies, Inc. | Voice control of computing devices |
US10880650B2 (en) | 2017-12-10 | 2020-12-29 | Sonos, Inc. | Network microphone devices with automatic do not disturb actuation capabilities |
US10818290B2 (en) | 2017-12-11 | 2020-10-27 | Sonos, Inc. | Home graph |
US11201849B2 (en) * | 2018-01-15 | 2021-12-14 | Lenovo (Singapore) Pte. Ltd. | Natural language connectivity |
WO2019152722A1 (en) | 2018-01-31 | 2019-08-08 | Sonos, Inc. | Device designation of playback and network microphone device arrangements |
US10425781B1 (en) | 2018-02-22 | 2019-09-24 | Amazon Technologies, Inc. | Outputting notifications using device groups |
US10425780B1 (en) * | 2018-02-22 | 2019-09-24 | Amazon Technologies, Inc. | Outputting notifications using device groups |
US10616726B1 (en) | 2018-02-22 | 2020-04-07 | Amazon Technologies, Inc. | Outputing notifications using device groups |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
CN108566634B (zh) * | 2018-03-30 | 2021-06-25 | 深圳市冠旭电子股份有限公司 | 降低蓝牙音箱连续唤醒延时的方法、装置及蓝牙音箱 |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
CN117376505A (zh) | 2018-05-07 | 2024-01-09 | 苹果公司 | 用于查看实况视频馈送和录制视频的用户界面 |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US11175880B2 (en) | 2018-05-10 | 2021-11-16 | Sonos, Inc. | Systems and methods for voice-assisted media content selection |
US10847178B2 (en) | 2018-05-18 | 2020-11-24 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection |
US10959029B2 (en) | 2018-05-25 | 2021-03-23 | Sonos, Inc. | Determining and adapting to changes in microphone performance of playback devices |
DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
US10636425B2 (en) | 2018-06-05 | 2020-04-28 | Voicify, LLC | Voice application platform |
US10803865B2 (en) | 2018-06-05 | 2020-10-13 | Voicify, LLC | Voice application platform |
WO2019236444A1 (en) * | 2018-06-05 | 2019-12-12 | Voicify, LLC | Voice application platform |
US10235999B1 (en) | 2018-06-05 | 2019-03-19 | Voicify, LLC | Voice application platform |
US11437029B2 (en) | 2018-06-05 | 2022-09-06 | Voicify, LLC | Voice application platform |
CN110634477B (zh) * | 2018-06-21 | 2022-01-25 | 海信集团有限公司 | 一种基于场景感知的上下文判断方法、装置及系统 |
US10681460B2 (en) | 2018-06-28 | 2020-06-09 | Sonos, Inc. | Systems and methods for associating playback devices with voice assistant services |
CN109005383A (zh) * | 2018-07-06 | 2018-12-14 | 杭州涂鸦信息技术有限公司 | 一种随处播放iot监控视频流的方法 |
US11373640B1 (en) * | 2018-08-01 | 2022-06-28 | Amazon Technologies, Inc. | Intelligent device grouping |
JP7027281B2 (ja) * | 2018-08-10 | 2022-03-01 | ヤフー株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
JP7159355B2 (ja) * | 2018-08-23 | 2022-10-24 | グーグル エルエルシー | マルチアシスタント環境の特性によるアシスタント応答性の規制 |
US10461710B1 (en) | 2018-08-28 | 2019-10-29 | Sonos, Inc. | Media playback system with maximum volume setting |
US11206484B2 (en) | 2018-08-28 | 2021-12-21 | Sonos, Inc. | Passive speaker authentication |
US11076035B2 (en) | 2018-08-28 | 2021-07-27 | Sonos, Inc. | Do not disturb feature for audio notifications |
US10299061B1 (en) | 2018-08-28 | 2019-05-21 | Sonos, Inc. | Playback device calibration |
US10587430B1 (en) | 2018-09-14 | 2020-03-10 | Sonos, Inc. | Networked devices, systems, and methods for associating playback devices based on sound codes |
US10878811B2 (en) | 2018-09-14 | 2020-12-29 | Sonos, Inc. | Networked devices, systems, and methods for intelligently deactivating wake-word engines |
US10871935B2 (en) | 2018-09-18 | 2020-12-22 | Roku, Inc. | Audio cancellation and content recognition of audio received over HDMI/ARC |
US10812751B2 (en) | 2018-09-18 | 2020-10-20 | Roku, Inc. | Dynamically switching to/from a first network during audio playback over HDMI/ARC |
US11024331B2 (en) | 2018-09-21 | 2021-06-01 | Sonos, Inc. | Voice detection optimization using sound metadata |
US10811015B2 (en) | 2018-09-25 | 2020-10-20 | Sonos, Inc. | Voice detection optimization based on selected voice assistant service |
US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
US11100923B2 (en) | 2018-09-28 | 2021-08-24 | Sonos, Inc. | Systems and methods for selective wake word detection using neural network models |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US10692518B2 (en) | 2018-09-29 | 2020-06-23 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection via multiple network microphone devices |
GB2577879B (en) | 2018-10-08 | 2022-08-24 | B & W Group Ltd | Content playback system |
JP2020060951A (ja) * | 2018-10-10 | 2020-04-16 | 三菱電機株式会社 | 制御装置、機器制御システム、機器制御方法及びプログラム |
US11899519B2 (en) | 2018-10-23 | 2024-02-13 | Sonos, Inc. | Multiple stage network microphone device with reduced power consumption and processing load |
US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
EP3654249A1 (en) | 2018-11-15 | 2020-05-20 | Snips | Dilated convolutions and gating for efficient keyword spotting |
US11687850B2 (en) * | 2018-11-21 | 2023-06-27 | Honda Motor Co., Ltd | System and method for processing a task request to be executed and fulfilled |
US11694130B2 (en) | 2018-11-21 | 2023-07-04 | Honda Motor Co., Ltd. | System and method for assigning an agent to execute and fulfill a task request |
US10944588B2 (en) | 2018-11-29 | 2021-03-09 | International Business Machines Corporation | Resolving conflicting commands received by an electronic device |
GB2579554A (en) | 2018-12-03 | 2020-07-01 | Audiogum Uk Ltd | Content playback system |
US11575762B2 (en) * | 2018-12-05 | 2023-02-07 | Yahoo Assets Llc | Subscription-based message selection and transmission |
US11183183B2 (en) | 2018-12-07 | 2021-11-23 | Sonos, Inc. | Systems and methods of operating media playback systems having multiple voice assistant services |
CN109788360A (zh) * | 2018-12-12 | 2019-05-21 | 百度在线网络技术(北京)有限公司 | 基于语音的电视控制方法和装置 |
US11132989B2 (en) | 2018-12-13 | 2021-09-28 | Sonos, Inc. | Networked microphone devices, systems, and methods of localized arbitration |
KR20200074690A (ko) * | 2018-12-17 | 2020-06-25 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
US10602268B1 (en) | 2018-12-20 | 2020-03-24 | Sonos, Inc. | Optimization of network microphone devices using noise classification |
CN109637535B (zh) * | 2018-12-26 | 2021-05-25 | 珠海格力电器股份有限公司 | 语音指令的处理方法、装置和智能终端 |
CN109473109A (zh) * | 2018-12-29 | 2019-03-15 | 深圳Tcl新技术有限公司 | 数据处理方法、装置及计算机可读存储介质 |
US11024310B2 (en) * | 2018-12-31 | 2021-06-01 | Sling Media Pvt. Ltd. | Voice control for media content search and selection |
CN109634132A (zh) * | 2019-01-03 | 2019-04-16 | 深圳壹账通智能科技有限公司 | 智能家居管理方法、装置、介质及电子设备 |
US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
US11315556B2 (en) | 2019-02-08 | 2022-04-26 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification |
US10867604B2 (en) | 2019-02-08 | 2020-12-15 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing |
CN113348505A (zh) * | 2019-02-08 | 2021-09-03 | 谷歌有限责任公司 | 适应第三方服务器的设备状态报告的差异 |
JP7266418B2 (ja) * | 2019-02-14 | 2023-04-28 | 本田技研工業株式会社 | エージェント装置、エージェント装置の制御方法、およびプログラム |
JP7211856B2 (ja) * | 2019-03-11 | 2023-01-24 | 本田技研工業株式会社 | エージェント装置、エージェントシステム、サーバ装置、エージェント装置の制御方法、およびプログラム |
EP3709194A1 (en) | 2019-03-15 | 2020-09-16 | Spotify AB | Ensemble-based data comparison |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
US20200349940A1 (en) * | 2019-05-02 | 2020-11-05 | Samsung Electronics Co., Ltd. | Server for determining target device based on speech input of user and controlling target device, and operation method of the server |
WO2020222539A1 (en) | 2019-05-02 | 2020-11-05 | Samsung Electronics Co., Ltd. | Hub device, multi-device system including the hub device and plurality of devices, and method of operating the same |
US11120794B2 (en) | 2019-05-03 | 2021-09-14 | Sonos, Inc. | Voice assistant persistence across multiple network microphone devices |
US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
US10802843B1 (en) | 2019-05-31 | 2020-10-13 | Apple Inc. | Multi-user configuration |
US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
CN113748408A (zh) | 2019-05-31 | 2021-12-03 | 苹果公司 | 用于音频媒体控件的用户界面 |
US10996917B2 (en) | 2019-05-31 | 2021-05-04 | Apple Inc. | User interfaces for audio media control |
DK201970510A1 (en) | 2019-05-31 | 2021-02-11 | Apple Inc | Voice identification in digital assistant systems |
DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
US11468890B2 (en) | 2019-06-01 | 2022-10-11 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
KR102245953B1 (ko) * | 2019-06-05 | 2021-04-28 | 엘지전자 주식회사 | 복수의 전자기기의 제어방법 |
US11200894B2 (en) | 2019-06-12 | 2021-12-14 | Sonos, Inc. | Network microphone device with command keyword eventing |
US10586540B1 (en) | 2019-06-12 | 2020-03-10 | Sonos, Inc. | Network microphone device with command keyword conditioning |
US11361756B2 (en) | 2019-06-12 | 2022-06-14 | Sonos, Inc. | Conditional wake word eventing based on environment |
KR20210001082A (ko) * | 2019-06-26 | 2021-01-06 | 삼성전자주식회사 | 사용자 발화를 처리하는 전자 장치와 그 동작 방법 |
US11122423B2 (en) | 2019-06-26 | 2021-09-14 | Vmware, Inc. | Proximity based authentication of a user through a voice assistant device |
CN112187590A (zh) * | 2019-07-02 | 2021-01-05 | 百度在线网络技术(北京)有限公司 | 控制方法、装置、设备和计算机可读存储介质 |
CN110415696A (zh) * | 2019-07-26 | 2019-11-05 | 广东美的制冷设备有限公司 | 语音控制方法、电器控制装置、电器及电器控制系统 |
US11138969B2 (en) | 2019-07-31 | 2021-10-05 | Sonos, Inc. | Locally distributed keyword detection |
US10871943B1 (en) | 2019-07-31 | 2020-12-22 | Sonos, Inc. | Noise classification for event detection |
US11138975B2 (en) | 2019-07-31 | 2021-10-05 | Sonos, Inc. | Locally distributed keyword detection |
US11438452B1 (en) | 2019-08-09 | 2022-09-06 | Apple Inc. | Propagating context information in a privacy preserving manner |
US10734965B1 (en) | 2019-08-12 | 2020-08-04 | Sonos, Inc. | Audio calibration of a portable playback device |
US11094319B2 (en) | 2019-08-30 | 2021-08-17 | Spotify Ab | Systems and methods for generating a cleaned version of ambient sound |
US11295745B1 (en) * | 2019-09-04 | 2022-04-05 | Amazon Technologies, Inc. | Multi-tasking and skills processing |
US10827028B1 (en) * | 2019-09-05 | 2020-11-03 | Spotify Ab | Systems and methods for playing media content on a target device |
JP7262142B2 (ja) | 2019-09-18 | 2023-04-21 | ヨプ リ,ジョン | 複数の音声システムが装着されたオンラインメディアサービス具現方法 |
KR102111360B1 (ko) * | 2019-09-18 | 2020-05-18 | 이종엽 | 다중 음성시스템이 장착된 온라인미디어 서비스 구현 방법 |
US11488406B2 (en) | 2019-09-25 | 2022-11-01 | Apple Inc. | Text detection using global geometry estimators |
CN110769319B (zh) * | 2019-10-22 | 2022-05-10 | 思必驰科技股份有限公司 | 待机唤醒交互方法和装置 |
US11189286B2 (en) | 2019-10-22 | 2021-11-30 | Sonos, Inc. | VAS toggle based on device orientation |
US11570165B2 (en) | 2019-12-09 | 2023-01-31 | Vmware, Inc. | Single sign-on service authentication through a voice assistant |
US11200900B2 (en) | 2019-12-20 | 2021-12-14 | Sonos, Inc. | Offline voice control |
US12063214B2 (en) | 2020-01-02 | 2024-08-13 | VMware LLC | Service authentication through a voice assistant |
US11830098B2 (en) | 2020-01-02 | 2023-11-28 | Vmware, Inc. | Data leak prevention using user and device contexts |
US12088585B2 (en) * | 2020-01-06 | 2024-09-10 | VMware LLC | Voice skill session lifetime management |
US11562740B2 (en) | 2020-01-07 | 2023-01-24 | Sonos, Inc. | Voice verification for media playback |
CN111276139B (zh) * | 2020-01-07 | 2023-09-19 | 百度在线网络技术(北京)有限公司 | 语音唤醒方法及装置 |
US11556307B2 (en) | 2020-01-31 | 2023-01-17 | Sonos, Inc. | Local voice data processing |
US11335335B2 (en) | 2020-02-03 | 2022-05-17 | International Business Machines Corporation | Disambiguation of generic commands for controlling objects |
US11308958B2 (en) | 2020-02-07 | 2022-04-19 | Sonos, Inc. | Localized wakeword verification |
US11308959B2 (en) | 2020-02-11 | 2022-04-19 | Spotify Ab | Dynamic adjustment of wake word acceptance tolerance thresholds in voice-controlled devices |
US11328722B2 (en) | 2020-02-11 | 2022-05-10 | Spotify Ab | Systems and methods for generating a singular voice audio stream |
CN111091829B (zh) * | 2020-02-21 | 2023-03-14 | 珠海荣邦电子科技有限公司 | 一种语音控制方法、装置及电子设备 |
US11301906B2 (en) | 2020-03-03 | 2022-04-12 | BrandActif Ltd. | Method and system for digital marketing and the provision of digital content |
SG10202001898SA (en) | 2020-03-03 | 2021-01-28 | Gerard Lancaster Peter | Method and system for digital marketing and the provision of digital content |
US11593843B2 (en) | 2020-03-02 | 2023-02-28 | BrandActif Ltd. | Sponsor driven digital marketing for live television broadcast |
US11854047B2 (en) | 2020-03-03 | 2023-12-26 | BrandActif Ltd. | Method and system for digital marketing and the provision of digital content |
JP7508836B2 (ja) | 2020-03-31 | 2024-07-02 | ブラザー工業株式会社 | 情報処理装置、情報処理方法、電子機器及び情報処理システム |
US12026196B2 (en) * | 2020-04-03 | 2024-07-02 | Comcast Cable Communications, Llc | Error detection and correction for audio cache |
US11810578B2 (en) | 2020-05-11 | 2023-11-07 | Apple Inc. | Device arbitration for digital assistant-based intercom systems |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
US11038934B1 (en) | 2020-05-11 | 2021-06-15 | Apple Inc. | Digital assistant hardware abstraction |
US11513667B2 (en) * | 2020-05-11 | 2022-11-29 | Apple Inc. | User interface for audio message |
US11755276B2 (en) | 2020-05-12 | 2023-09-12 | Apple Inc. | Reducing description length based on confidence |
JP7347324B2 (ja) * | 2020-05-18 | 2023-09-20 | トヨタ自動車株式会社 | エージェント連携装置 |
US11727919B2 (en) | 2020-05-20 | 2023-08-15 | Sonos, Inc. | Memory allocation for keyword spotting engines |
US11482224B2 (en) | 2020-05-20 | 2022-10-25 | Sonos, Inc. | Command keywords with input detection windowing |
US11308962B2 (en) | 2020-05-20 | 2022-04-19 | Sonos, Inc. | Input detection windowing |
US11750668B1 (en) * | 2020-06-23 | 2023-09-05 | Nikolay Abkairov | Combined asynchronous and synchronous communication system and service with transcription support |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
US11698771B2 (en) | 2020-08-25 | 2023-07-11 | Sonos, Inc. | Vocal guidance engines for playback devices |
US11789928B2 (en) * | 2020-11-12 | 2023-10-17 | International Business Machines Corporation | Dynamic namespace modification for virtual agents |
US11984123B2 (en) | 2020-11-12 | 2024-05-14 | Sonos, Inc. | Network device interaction by range |
US11551700B2 (en) | 2021-01-25 | 2023-01-10 | Sonos, Inc. | Systems and methods for power-efficient keyword detection |
US11960615B2 (en) | 2021-06-06 | 2024-04-16 | Apple Inc. | Methods and user interfaces for voice-based user profile management |
US11410655B1 (en) | 2021-07-26 | 2022-08-09 | LifePod Solutions, Inc. | Systems and methods for managing voice environments and voice routines |
US11404062B1 (en) | 2021-07-26 | 2022-08-02 | LifePod Solutions, Inc. | Systems and methods for managing voice environments and voice routines |
KR20230018833A (ko) * | 2021-07-30 | 2023-02-07 | 삼성전자주식회사 | 전자 장치 및 무선 오디오 장치의 연결 전환을 제공하는 방법 |
US12021806B1 (en) | 2021-09-21 | 2024-06-25 | Apple Inc. | Intelligent message delivery |
US11677832B2 (en) * | 2021-09-23 | 2023-06-13 | International Business Machines Corporation | Voice activated device enabling |
US11838582B1 (en) * | 2022-12-12 | 2023-12-05 | Google Llc | Media arbitration |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009044609A (ja) | 2007-08-10 | 2009-02-26 | Sony Corp | リモートコントローラ、リモートコントロールシステムおよびリモートコントロール方法 |
JP2015201739A (ja) | 2014-04-08 | 2015-11-12 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 複数機器の音声操作システム、音声操作方法及び、プログラム |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6052666A (en) | 1995-11-06 | 2000-04-18 | Thomson Multimedia S.A. | Vocal identification of devices in a home environment |
KR100438838B1 (ko) * | 2002-01-29 | 2004-07-05 | 삼성전자주식회사 | 대화 포커스 추적 기능을 가진 음성명령 해석장치 및 방법 |
JP2006033795A (ja) * | 2004-06-15 | 2006-02-02 | Sanyo Electric Co Ltd | リモートコントロールシステム、コントローラ、コンピュータにコントローラの機能を付与するプログラム、当該プログラムを格納した記憶媒体、およびサーバ。 |
US8280978B2 (en) * | 2006-12-29 | 2012-10-02 | Prodea Systems, Inc. | Demarcation between service provider and user in multi-services gateway device at user premises |
US8589161B2 (en) * | 2008-05-27 | 2013-11-19 | Voicebox Technologies, Inc. | System and method for an integrated, multi-modal, multi-device natural language voice services environment |
US8340975B1 (en) * | 2011-10-04 | 2012-12-25 | Theodore Alfred Rosenberger | Interactive speech recognition device and system for hands-free building control |
US20130238326A1 (en) * | 2012-03-08 | 2013-09-12 | Lg Electronics Inc. | Apparatus and method for multiple device voice control |
US20140258942A1 (en) * | 2013-03-05 | 2014-09-11 | Intel Corporation | Interaction of multiple perceptual sensing inputs |
US20170206064A1 (en) * | 2013-03-15 | 2017-07-20 | JIBO, Inc. | Persistent companion device configuration and deployment platform |
CN104281609B (zh) * | 2013-07-08 | 2020-03-17 | 腾讯科技(深圳)有限公司 | 语音输入指令匹配规则的配置方法及装置 |
US9305554B2 (en) * | 2013-07-17 | 2016-04-05 | Samsung Electronics Co., Ltd. | Multi-level speech recognition |
US9431014B2 (en) * | 2013-07-25 | 2016-08-30 | Haier Us Appliance Solutions, Inc. | Intelligent placement of appliance response to voice command |
US8768712B1 (en) * | 2013-12-04 | 2014-07-01 | Google Inc. | Initiating actions based on partial hotwords |
KR102188090B1 (ko) * | 2013-12-11 | 2020-12-04 | 엘지전자 주식회사 | 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템 |
US9431021B1 (en) * | 2014-03-27 | 2016-08-30 | Amazon Technologies, Inc. | Device grouping for audio based interactivity |
US9785247B1 (en) * | 2014-05-14 | 2017-10-10 | Leap Motion, Inc. | Systems and methods of tracking moving hands and recognizing gestural interactions |
US10782657B2 (en) * | 2014-05-27 | 2020-09-22 | Ultrahaptics IP Two Limited | Systems and methods of gestural interaction in a pervasive computing environment |
US10008204B2 (en) * | 2014-06-30 | 2018-06-26 | Clarion Co., Ltd. | Information processing system, and vehicle-mounted device |
US9318107B1 (en) * | 2014-10-09 | 2016-04-19 | Google Inc. | Hotword detection on multiple devices |
KR102277259B1 (ko) * | 2014-11-26 | 2021-07-14 | 엘지전자 주식회사 | 디바이스 제어 시스템, 디지털 디바이스 및 디지털 디바이스 제어 방법 |
US9792901B1 (en) * | 2014-12-11 | 2017-10-17 | Amazon Technologies, Inc. | Multiple-source speech dialog input |
US9837081B2 (en) * | 2014-12-30 | 2017-12-05 | Microsoft Technology Licensing, Llc | Discovering capabilities of third-party voice-enabled resources |
US10192546B1 (en) * | 2015-03-30 | 2019-01-29 | Amazon Technologies, Inc. | Pre-wakeword speech processing |
KR102371188B1 (ko) * | 2015-06-30 | 2022-03-04 | 삼성전자주식회사 | 음성 인식 장치 및 방법과 전자 장치 |
CN105334743B (zh) * | 2015-11-18 | 2018-10-26 | 深圳创维-Rgb电子有限公司 | 一种基于情感识别的智能家居控制方法及其系统 |
US9858927B2 (en) * | 2016-02-12 | 2018-01-02 | Amazon Technologies, Inc | Processing spoken commands to control distributed audio outputs |
JP6720983B2 (ja) * | 2016-04-26 | 2020-07-08 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
US11250201B2 (en) * | 2016-06-14 | 2022-02-15 | Amazon Technologies, Inc. | Methods and devices for providing optimal viewing displays |
US10783883B2 (en) * | 2016-11-03 | 2020-09-22 | Google Llc | Focus session at a voice interface device |
US10679608B2 (en) * | 2016-12-30 | 2020-06-09 | Google Llc | Conversation-aware proactive notifications for a voice interface device |
KR101925034B1 (ko) * | 2017-03-28 | 2018-12-04 | 엘지전자 주식회사 | 스마트 컨트롤링 디바이스 및 그 제어 방법 |
US10102855B1 (en) * | 2017-03-30 | 2018-10-16 | Amazon Technologies, Inc. | Embedded instructions for voice user interface |
JP6955115B2 (ja) * | 2018-10-05 | 2021-10-27 | 三菱電機株式会社 | 音声操作支援システム、音声操作システム、音声処理装置、音声操作支援装置、音声操作支援方法及びプログラム |
-
2017
- 2017-11-01 US US15/801,307 patent/US10783883B2/en active Active
- 2017-11-02 GB GB1718184.3A patent/GB2558066B/en active Active
- 2017-11-03 KR KR1020197015360A patent/KR102242917B1/ko active IP Right Grant
- 2017-11-03 JP JP2019522753A patent/JP7130637B2/ja active Active
- 2017-11-03 WO PCT/US2017/059955 patent/WO2018085671A1/en unknown
- 2017-11-03 EP EP17838014.3A patent/EP3535753B1/en active Active
- 2017-11-03 CN CN201711071055.1A patent/CN108022590B/zh active Active
- 2017-11-03 DE DE102017125745.4A patent/DE102017125745A1/de active Pending
- 2017-11-03 DE DE202017106668.1U patent/DE202017106668U1/de active Active
- 2017-11-03 EP EP21194265.1A patent/EP3940694B1/en active Active
- 2017-11-03 CN CN202311300819.5A patent/CN117351953A/zh active Pending
-
2020
- 2020-09-21 US US17/027,520 patent/US11527246B2/en active Active
-
2022
- 2022-08-24 JP JP2022133320A patent/JP2022174099A/ja active Pending
- 2022-11-02 US US17/979,174 patent/US11990128B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009044609A (ja) | 2007-08-10 | 2009-02-26 | Sony Corp | リモートコントローラ、リモートコントロールシステムおよびリモートコントロール方法 |
JP2015201739A (ja) | 2014-04-08 | 2015-11-12 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 複数機器の音声操作システム、音声操作方法及び、プログラム |
Non-Patent Citations (1)
Title |
---|
世界のビジネスモデル予報 BUSINESS FORECAST THE INTERNET OF THINGS ブラックストーンが注目するヴィヴィントの「未来の家」,フォーブス ジャパン,株式会社アトミックスメディア,2016年07月25日,第3巻 第9号,pp.118-119 |
Also Published As
Publication number | Publication date |
---|---|
US20210005202A1 (en) | 2021-01-07 |
US11990128B2 (en) | 2024-05-21 |
US11527246B2 (en) | 2022-12-13 |
US20180122378A1 (en) | 2018-05-03 |
US20230046924A1 (en) | 2023-02-16 |
EP3535753A1 (en) | 2019-09-11 |
GB201718184D0 (en) | 2017-12-20 |
EP3940694A1 (en) | 2022-01-19 |
CN108022590A (zh) | 2018-05-11 |
EP3535753B1 (en) | 2021-10-27 |
CN108022590B (zh) | 2023-10-31 |
WO2018085671A1 (en) | 2018-05-11 |
JP2020500330A (ja) | 2020-01-09 |
KR102242917B1 (ko) | 2021-04-20 |
CN117351953A (zh) | 2024-01-05 |
DE202017106668U1 (de) | 2018-02-15 |
JP2022174099A (ja) | 2022-11-22 |
EP3940694B1 (en) | 2024-08-21 |
DE102017125745A1 (de) | 2018-05-03 |
GB2558066A (en) | 2018-07-04 |
KR20190071794A (ko) | 2019-06-24 |
US10783883B2 (en) | 2020-09-22 |
GB2558066B (en) | 2020-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7130637B2 (ja) | 音声インタフェース装置におけるフォーカスセッション | |
US11521469B2 (en) | Server-provided visual output at a voice interface device | |
CN108268235B (zh) | 用于语音接口设备的对话感知主动通知 | |
US11990126B2 (en) | Voice-controlled media play in smart media environment | |
JP6797938B2 (ja) | 媒体出力装置間での媒体転送 | |
JP2021119403A (ja) | 音声インターフェイスデバイスにおけるマルチユーザパーソナライゼーション |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201021 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201021 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220307 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220726 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220824 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7130637 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |