JP7195363B2 - レイテンシを考慮したディスプレイモード依存応答生成 - Google Patents
レイテンシを考慮したディスプレイモード依存応答生成 Download PDFInfo
- Publication number
- JP7195363B2 JP7195363B2 JP2021060635A JP2021060635A JP7195363B2 JP 7195363 B2 JP7195363 B2 JP 7195363B2 JP 2021060635 A JP2021060635 A JP 2021060635A JP 2021060635 A JP2021060635 A JP 2021060635A JP 7195363 B2 JP7195363 B2 JP 7195363B2
- Authority
- JP
- Japan
- Prior art keywords
- client device
- data
- network
- digital assistant
- response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004044 response Effects 0.000 title claims description 124
- 230000001419 dependent effect Effects 0.000 title description 2
- 230000005236 sound signal Effects 0.000 claims description 85
- 238000000034 method Methods 0.000 claims description 66
- 230000005540 biological transmission Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims 4
- 238000004891 communication Methods 0.000 description 17
- 230000009471 action Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 14
- 238000004590 computer program Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000007726 management method Methods 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 238000013515 script Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- IRLPACMLTUPBCL-KQYNXXCUSA-N 5'-adenylyl sulfate Chemical compound C1=NC=2C(N)=NC=NC=2N1[C@@H]1O[C@H](COP(O)(=O)OS(O)(=O)=O)[C@@H](O)[C@H]1O IRLPACMLTUPBCL-KQYNXXCUSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
- H04N21/4436—Power management, e.g. shutting down unused components of the receiver
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Social Psychology (AREA)
- Artificial Intelligence (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
Description
102 データ処理システム
104 インターフェース
106 自然言語プロセッサ(NLP)構成要素、NLP
108 インターフェース管理構成要素
110 オーディオ信号生成器構成要素
112 ダイレクトアクションアプリケーションプログラミングインターフェース(API)
114 応答選択器構成要素
116 クライアントデバイス構成機器
118 データリポジトリ
120 パラメータ
122 ポリシー
124 応答データ
126 テンプレート
128 クライアントコンピューティングデバイス、クライアントデバイス
130 センサー
132 スピーカー
138 データプロバイダコンピューティングデバイス、データプロバイダ
140 ディスプレイ
142 ネットワーク
200 クライアントデバイス
202 ディスプレイスクリーン、ディスプレイ、ディスプレイデバイス
204 制御モジュール
206 データバス
208 プロセッサ
210 デジタルアシスタントアプリケーション、デジタルアシスタント
212 TVアプリケーション
214 TVオペレーティングシステム
216 TV構成データ、構成データ
218 メモリ
220 スピーカー
222 マイクロフォン
224 ディスプレイコントローラ
226 ストレージ
228 ネットワークインターフェース
230 発光ステータスインジケータ
232 ベゼル
500 コンピュータシステム、コンピューティングデバイス、コンピューティングシステム
505 バス
510 プロセッサ
515 メインメモリ
520 読取り専用メモリ(ROM)
525 ストレージ記憶デバイス
530 入力デバイス
535 ディスプレイ
Claims (14)
- コンピュータネットワーク中のパケット化されたオーディオ信号を処理するためのシステムであって、
ネットワーク上でクライアントデバイスネットワークインターフェースを介してデータパケットを送信するためにクライアントデバイスのプロセッサによって実行されるデジタルアシスタントアプリケーションであって、前記データパケットが、前記クライアントデバイスのセンサーによって検出された第1の入力オーディオ信号と、第1のクライアントデバイス構成データとを含む、デジタルアシスタントアプリケーションと、
前記ネットワーク上で、データ処理システムのネットワークインターフェースを介して、前記データパケットを受信するために前記データ処理システムによって実行される自然言語プロセッサ構成要素であって、前記自然言語プロセッサ構成要素が、第1の要求と前記第1の要求に対応する第1のトリガキーワードとを識別するために前記第1の入力オーディオ信号をパースする、自然言語プロセッサ構成要素と、
前記第1のクライアントデバイス構成データから、前記クライアントデバイスにおける少なくとも1つのスピーカーの現在のボリュームレベルを決定することと、
前記クライアントデバイスにおける前記少なくとも1つのスピーカーのための第1のボリュームレベルを含む第1のクライアントデバイス構成設定を生成することであって、前記生成された第1のボリュームレベルが前記現在のボリュームレベルおよび最小応答オーディオレベルの大きい方である、生成することと、
前記第1のトリガキーワードに部分的に基づいて、第1の応答データ構造を生成することであって、前記第1の応答データ構造はオーディオデータを含む、生成することと、
前記ネットワーク上で、前記データ処理システムの前記ネットワークインターフェースを介して、前記クライアントデバイスにおける前記デジタルアシスタントアプリケーションに、
前記第1のクライアントデバイス構成設定と、
前記第1の応答データ構造と
を送信することと
を行うために前記データ処理システムによって実行されるクライアントデバイス構成機器
を備える、システム。 - 前記第1の応答データ構造がオーディオデータを含むという決定に応答して、前記第1のボリュームレベルを生成すること
を行うために前記データ処理システムによって実行される前記クライアントデバイス構成機器を備える、請求項1に記載のシステム。 - ステータスビデオデータを生成することと、
前記ネットワーク上で、前記データ処理システムの前記ネットワークインターフェースを介して、前記応答データ構造の前記送信より前に前記クライアントデバイスにおける前記デジタルアシスタントアプリケーションに前記ステータスビデオデータを送信することと
を行うために前記データ処理システムによって実行される前記クライアントデバイス構成機器と、
前記クライアントデバイスに関連するディスプレイ上に前記ステータスビデオデータを表示するために前記クライアントデバイスの前記プロセッサによって実行される前記デジタルアシスタントアプリケーションと
を備える、請求項1に記載のシステム。 - 前記クライアントデバイス上の発光ステータスインジケータの起動を示す構成設定を生成することと、
前記ネットワーク上で、前記データ処理システムの前記ネットワークインターフェースを介して、前記第1の応答データ構造の前記送信より前に前記クライアントデバイスにおける前記デジタルアシスタントアプリケーションに前記構成設定を送信することと
を行うために前記データ処理システムによって実行される前記クライアントデバイス構成機器
を備える、請求項1に記載のシステム。 - 前記クライアントデバイスの前記ネットワークインターフェースを介して、前記ネットワーク上で、前記クライアントデバイス上の発光ステータスインジケータの起動を示す前記構成設定を受信することと、
前記クライアントデバイス上の発光ステータスインジケータが起動することを引き起こすことと
を行うためにクライアントデバイスのプロセッサによって実行される前記デジタルアシスタントアプリケーション
を備える、請求項4に記載のシステム。 - 前記クライアントデバイスが無線周波数チューナーを含む、請求項1に記載のシステム。
- 前記クライアントデバイスの前記ネットワークインターフェースを介して、前記ネットワーク上で、前記第1の要求に応答する前記第1の応答データ構造を受信することと、
前記第1の応答データ構造の前記オーディオデータを決定することと、
前記オーディオデータが前記クライアントデバイスの少なくとも1つのスピーカー上で、前記第1のボリュームレベルで再生されることを引き起こすことと
を行うためにクライアントデバイスのプロセッサによって実行される前記デジタルアシスタントアプリケーション
を備える、請求項1に記載のシステム。 - コンピュータネットワーク中のパケット化されたオーディオ信号を処理するための方法であって、
クライアントデバイスのプロセッサによって実行されるデジタルアシスタントアプリケーションによってネットワーク上で送信されるデータパケットを、ネットワークインターフェースを介して受信するステップであって、前記データパケットが、前記クライアントデバイスのセンサーによって検出された第1の入力オーディオ信号と、第1のクライアントデバイス構成データとを含む、ステップと、
第1の要求と前記第1の要求に対応する第1のトリガキーワードとを識別するために前記第1の入力オーディオ信号をパースするステップと、
前記第1のクライアントデバイス構成データから、前記クライアントデバイスにおける少なくとも1つのスピーカーの現在のボリュームレベルを決定するステップと、
前記クライアントデバイスにおける前記少なくとも1つのスピーカーのための第1のボリュームレベルを含む第1のクライアントデバイス構成設定を生成するステップであって、前記第1のクライアントデバイス構成設定を生成するステップは、前記第1のボリュームレベルを、前記現在のボリュームレベルおよび最小応答オーディオレベルの大きい方として生成するステップを含む、ステップと、
前記第1のトリガキーワードに部分的に基づいて、第1の応答データ構造を生成するステップであって、前記第1の応答データ構造はオーディオデータを含む、生成するステップと、
前記ネットワーク上で、前記クライアントデバイスにおける前記デジタルアシスタントアプリケーションに、
前記第1のクライアントデバイス構成設定と、
前記第1の応答データ構造と
を送信するステップと
を含む、方法。 - 前記第1のボリュームレベルを生成するステップは、前記第1の応答データ構造がオーディオデータを含むという決定に応答する、請求項8に記載の方法。
- ステータスビデオデータを生成するステップと、
前記ネットワーク上で、前記ネットワークインターフェースを介して、前記応答データ構造の前記送信より前に前記クライアントデバイスにおける前記デジタルアシスタントアプリケーションに前記ステータスビデオデータを送信するステップであって、前記クライアントデバイスの前記デジタルアシスタントアプリケーションは、前記クライアントデバイスに関連するディスプレイ上に前記ステータスビデオデータを表示する、ステップと、
を含む、請求項8に記載の方法。 - 前記クライアントデバイス上の発光ステータスインジケータの起動を示す構成設定を生成するステップと、
前記ネットワーク上で、前記ネットワークインターフェースを介して、前記第1の応答データ構造の前記送信より前に前記クライアントデバイスにおける前記デジタルアシスタントアプリケーションに前記構成設定を送信するステップと
を含む、請求項8に記載の方法。 - 前記クライアントデバイスにおいて、前記ネットワーク上で、前記クライアントデバイス上の発光ステータスインジケータの起動を示す前記構成設定を受信するステップと、
前記クライアントデバイスによって、前記クライアントデバイス上の前記発光ステータスインジケータが起動することを引き起こすステップと
をさらに含む、請求項11に記載の方法。 - 前記クライアントデバイスが無線周波数チューナーを含む、請求項8に記載の方法。
- 前記クライアントデバイスにおいて、前記ネットワーク上で、前記第1の要求に応答する前記第1の応答データ構造を受信するステップと、
前記クライアントデバイスにおいて、前記第1の応答データ構造の前記オーディオデータを決定するステップと、
前記クライアントデバイスにおいて、前記オーディオデータが前記クライアントデバイスの少なくとも1つのスピーカー上で、前記第1のボリュームレベルで再生されることを引き起こすステップと
を含む、請求項8に記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021060635A JP7195363B2 (ja) | 2017-10-03 | 2021-03-31 | レイテンシを考慮したディスプレイモード依存応答生成 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2017/054931 WO2019070243A1 (en) | 2017-10-03 | 2017-10-03 | RESPONSE GENERATION DEPENDING ON THE DISPLAY MODE COMPRISING LATENCY CONSIDERATIONS |
JP2019568361A JP6862582B2 (ja) | 2017-10-03 | 2017-10-03 | レイテンシを考慮したディスプレイモード依存応答生成 |
JP2021060635A JP7195363B2 (ja) | 2017-10-03 | 2021-03-31 | レイテンシを考慮したディスプレイモード依存応答生成 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019568361A Division JP6862582B2 (ja) | 2017-10-03 | 2017-10-03 | レイテンシを考慮したディスプレイモード依存応答生成 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021108161A JP2021108161A (ja) | 2021-07-29 |
JP7195363B2 true JP7195363B2 (ja) | 2022-12-23 |
Family
ID=60153460
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019568361A Active JP6862582B2 (ja) | 2017-10-03 | 2017-10-03 | レイテンシを考慮したディスプレイモード依存応答生成 |
JP2021060635A Active JP7195363B2 (ja) | 2017-10-03 | 2021-03-31 | レイテンシを考慮したディスプレイモード依存応答生成 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019568361A Active JP6862582B2 (ja) | 2017-10-03 | 2017-10-03 | レイテンシを考慮したディスプレイモード依存応答生成 |
Country Status (6)
Country | Link |
---|---|
US (3) | US11120796B2 (ja) |
EP (2) | EP3622385B1 (ja) |
JP (2) | JP6862582B2 (ja) |
KR (2) | KR102366753B1 (ja) |
CN (2) | CN117215514A (ja) |
WO (1) | WO2019070243A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3622385B1 (en) | 2017-10-03 | 2023-12-06 | Google LLC | Display mode dependent response generation with latency considerations |
JP2021135324A (ja) * | 2020-02-25 | 2021-09-13 | シャープ株式会社 | 情報処理装置、情報処理方法、及び情報処理システム |
US11676594B2 (en) | 2020-12-03 | 2023-06-13 | Google Llc | Decaying automated speech recognition processing results |
CN112698872A (zh) * | 2020-12-21 | 2021-04-23 | 北京百度网讯科技有限公司 | 语音数据处理的方法、装置、设备及存储介质 |
US20220225486A1 (en) * | 2021-01-08 | 2022-07-14 | Samsung Electronics Co., Ltd. | Communicative light assembly system for digital humans |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070011270A1 (en) | 2005-06-14 | 2007-01-11 | Klein Stephen D | Methods and apparatus for initiating and alerting a conversation with an automated agent |
WO2014171144A1 (ja) | 2013-04-19 | 2014-10-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 家電機器の制御方法、家電機器制御システム、及びゲートウェイ |
JP2015232868A (ja) | 2014-05-13 | 2015-12-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 音声認識機能を用いた情報提供方法および機器の制御方法 |
JP2017527844A (ja) | 2014-08-11 | 2017-09-21 | アマゾン テクノロジーズ インコーポレイテッド | 音声アプリケーション・アーキテクチャ |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7110984B1 (en) * | 1998-08-13 | 2006-09-19 | International Business Machines Corporation | Updating usage conditions in lieu of download digital rights management protected content |
US7213005B2 (en) * | 1999-12-09 | 2007-05-01 | International Business Machines Corporation | Digital content distribution using web broadcasting services |
US20030093419A1 (en) * | 2001-08-17 | 2003-05-15 | Srinivas Bangalore | System and method for querying information using a flexible multi-modal interface |
JP2007036924A (ja) | 2005-07-29 | 2007-02-08 | Matsushita Electric Ind Co Ltd | テレビジョン受像装置 |
US9015301B2 (en) * | 2007-01-05 | 2015-04-21 | Digital Doors, Inc. | Information infrastructure management tools with extractor, secure storage, content analysis and classification and method therefor |
US20090113475A1 (en) * | 2007-08-21 | 2009-04-30 | Yi Li | Systems and methods for integrating search capability in interactive video |
JP2009116539A (ja) | 2007-11-05 | 2009-05-28 | Fujitsu Ten Ltd | 周辺監視装置 |
US9542006B2 (en) * | 2011-01-16 | 2017-01-10 | High Sec Labs Ltd. | Secure KM switch |
US20150003595A1 (en) * | 2011-04-25 | 2015-01-01 | Transparency Sciences, Llc | System, Method and Computer Program Product for a Universal Call Capture Device |
US20180032997A1 (en) * | 2012-10-09 | 2018-02-01 | George A. Gordon | System, method, and computer program product for determining whether to prompt an action by a platform in connection with a mobile device |
US9570090B2 (en) * | 2015-05-26 | 2017-02-14 | Google Inc. | Dialog system with automatic reactivation of speech acquiring mode |
US10133546B2 (en) * | 2013-03-14 | 2018-11-20 | Amazon Technologies, Inc. | Providing content on multiple devices |
WO2014197336A1 (en) * | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
US11218434B2 (en) * | 2013-06-12 | 2022-01-04 | Google Llc | Audio data packet status determination |
KR102141116B1 (ko) * | 2013-08-05 | 2020-08-04 | 삼성전자주식회사 | 음성 대화 서비스를 지원하는 인터페이스 장치 및 방법 |
US9848253B2 (en) * | 2014-03-03 | 2017-12-19 | Sony Corporation | Information processing apparatus, information processing method, and program |
JP2015184563A (ja) | 2014-03-25 | 2015-10-22 | シャープ株式会社 | 対話型家電システム、サーバ装置、対話型家電機器、家電システムが対話を行なうための方法、当該方法をコンピュータに実現させるためのプログラム |
US10084905B2 (en) * | 2014-08-28 | 2018-09-25 | Accenture Global Services Limited | System architecture for closed-loop mobile lockscreen display state control |
KR20160099388A (ko) * | 2015-02-12 | 2016-08-22 | 삼성전자주식회사 | 디스플레이 장치 및 그 동작 방법 |
KR102460393B1 (ko) * | 2015-04-30 | 2022-11-01 | 삼성전자주식회사 | 사운드 출력 기기, 전자 장치 및 그 제어 방법 |
KR20170010494A (ko) * | 2015-07-20 | 2017-02-01 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
US10157039B2 (en) * | 2015-10-05 | 2018-12-18 | Motorola Mobility Llc | Automatic capturing of multi-mode inputs in applications |
US9858927B2 (en) * | 2016-02-12 | 2018-01-02 | Amazon Technologies, Inc | Processing spoken commands to control distributed audio outputs |
KR101925034B1 (ko) * | 2017-03-28 | 2018-12-04 | 엘지전자 주식회사 | 스마트 컨트롤링 디바이스 및 그 제어 방법 |
WO2019070242A1 (en) * | 2017-10-03 | 2019-04-11 | Google Llc | DATA TRANSFERS FROM A MEMORY TO MANAGE GRAPHIC OUTPUT LATENCY |
US11409783B2 (en) * | 2017-10-03 | 2022-08-09 | Google Llc | Data structure queries to manage loading time in multimedia content |
EP3622385B1 (en) | 2017-10-03 | 2023-12-06 | Google LLC | Display mode dependent response generation with latency considerations |
US11276396B2 (en) * | 2018-05-01 | 2022-03-15 | Dell Products, L.P. | Handling responses from voice services |
-
2017
- 2017-10-03 EP EP17787725.5A patent/EP3622385B1/en active Active
- 2017-10-03 EP EP23194421.6A patent/EP4274241A3/en active Pending
- 2017-10-03 CN CN202311047783.4A patent/CN117215514A/zh active Pending
- 2017-10-03 US US16/461,424 patent/US11120796B2/en active Active
- 2017-10-03 JP JP2019568361A patent/JP6862582B2/ja active Active
- 2017-10-03 KR KR1020217038736A patent/KR102366753B1/ko active IP Right Grant
- 2017-10-03 CN CN201780092037.3A patent/CN110741339B/zh active Active
- 2017-10-03 KR KR1020197037168A patent/KR102334340B1/ko active IP Right Grant
- 2017-10-03 WO PCT/US2017/054931 patent/WO2019070243A1/en unknown
-
2021
- 2021-03-31 JP JP2021060635A patent/JP7195363B2/ja active Active
- 2021-09-10 US US17/471,695 patent/US11823675B2/en active Active
-
2023
- 2023-10-11 US US18/378,800 patent/US20240038232A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070011270A1 (en) | 2005-06-14 | 2007-01-11 | Klein Stephen D | Methods and apparatus for initiating and alerting a conversation with an automated agent |
WO2014171144A1 (ja) | 2013-04-19 | 2014-10-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 家電機器の制御方法、家電機器制御システム、及びゲートウェイ |
JP2015232868A (ja) | 2014-05-13 | 2015-12-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 音声認識機能を用いた情報提供方法および機器の制御方法 |
JP2017527844A (ja) | 2014-08-11 | 2017-09-21 | アマゾン テクノロジーズ インコーポレイテッド | 音声アプリケーション・アーキテクチャ |
Also Published As
Publication number | Publication date |
---|---|
CN110741339B (zh) | 2023-09-05 |
US20210407509A1 (en) | 2021-12-30 |
US11120796B2 (en) | 2021-09-14 |
WO2019070243A1 (en) | 2019-04-11 |
JP6862582B2 (ja) | 2021-04-21 |
EP3622385B1 (en) | 2023-12-06 |
CN110741339A (zh) | 2020-01-31 |
EP4274241A2 (en) | 2023-11-08 |
KR102366753B1 (ko) | 2022-02-23 |
KR20200006593A (ko) | 2020-01-20 |
JP2020528594A (ja) | 2020-09-24 |
EP3622385A1 (en) | 2020-03-18 |
US20240038232A1 (en) | 2024-02-01 |
JP2021108161A (ja) | 2021-07-29 |
US20190348042A1 (en) | 2019-11-14 |
CN117215514A (zh) | 2023-12-12 |
KR102334340B1 (ko) | 2021-12-02 |
US11823675B2 (en) | 2023-11-21 |
EP4274241A3 (en) | 2024-01-03 |
KR20210145862A (ko) | 2021-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7195363B2 (ja) | レイテンシを考慮したディスプレイモード依存応答生成 | |
JP7554797B2 (ja) | パケット化されたデータのマルチモーダル送信のシステムおよび方法 | |
KR102389331B1 (ko) | 컴퓨팅 디바이스간의 액세스 제어 동기화 | |
US11841893B2 (en) | Coordination of parallel processing of audio queries across multiple devices | |
JP2024063034A (ja) | オーディオクエリのオーバーラップ処理の協調 | |
US10110934B1 (en) | Proactively providing content for content distribution networks | |
CN111858260A (zh) | 信息显示方法、装置、设备及介质 | |
JP2024529838A (ja) | 第2のデバイス、たとえばtvを制御するための第1のデバイス上の仮想遠隔制御 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210402 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220825 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221213 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7195363 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |