JP6862582B2 - レイテンシを考慮したディスプレイモード依存応答生成 - Google Patents
レイテンシを考慮したディスプレイモード依存応答生成 Download PDFInfo
- Publication number
- JP6862582B2 JP6862582B2 JP2019568361A JP2019568361A JP6862582B2 JP 6862582 B2 JP6862582 B2 JP 6862582B2 JP 2019568361 A JP2019568361 A JP 2019568361A JP 2019568361 A JP2019568361 A JP 2019568361A JP 6862582 B2 JP6862582 B2 JP 6862582B2
- Authority
- JP
- Japan
- Prior art keywords
- client device
- data
- processing system
- digital assistant
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004044 response Effects 0.000 title claims description 138
- 230000001419 dependent effect Effects 0.000 title description 2
- 230000005236 sound signal Effects 0.000 claims description 94
- 238000000034 method Methods 0.000 claims description 72
- 230000005540 biological transmission Effects 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims 4
- 230000009471 action Effects 0.000 description 27
- 238000004891 communication Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 15
- 238000004590 computer program Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 238000013515 script Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- IRLPACMLTUPBCL-KQYNXXCUSA-N 5'-adenylyl sulfate Chemical compound C1=NC=2C(N)=NC=NC=2N1[C@@H]1O[C@H](COP(O)(=O)OS(O)(=O)=O)[C@@H](O)[C@H]1O IRLPACMLTUPBCL-KQYNXXCUSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
- H04N21/4436—Power management, e.g. shutting down unused components of the receiver
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Social Psychology (AREA)
- Artificial Intelligence (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
Description
102 データ処理システム
104 インターフェース
106 自然言語プロセッサ(NLP)構成要素、NLP
108 インターフェース管理構成要素
110 オーディオ信号生成器構成要素
112 ダイレクトアクションアプリケーションプログラミングインターフェース(API)
114 応答選択器構成要素
116 クライアントデバイス構成機器
118 データリポジトリ
120 パラメータ
122 ポリシー
124 応答データ
126 テンプレート
128 クライアントコンピューティングデバイス、クライアントデバイス
130 センサー
132 スピーカー
138 データプロバイダコンピューティングデバイス、データプロバイダ
140 ディスプレイ
142 ネットワーク
200 クライアントデバイス
202 ディスプレイスクリーン、ディスプレイ、ディスプレイデバイス
204 制御モジュール
206 データバス
208 プロセッサ
210 デジタルアシスタントアプリケーション、デジタルアシスタント
212 TVアプリケーション
214 TVオペレーティングシステム
216 TV構成データ、構成データ
218 メモリ
220 スピーカー
222 マイクロフォン
224 ディスプレイコントローラ
226 ストレージ
228 ネットワークインターフェース
230 発光ステータスインジケータ
232 ベゼル
500 コンピュータシステム、コンピューティングデバイス、コンピューティングシステム
505 バス
510 プロセッサ
515 メインメモリ
520 読取り専用メモリ(ROM)
525 ストレージ記憶デバイス
530 入力デバイス
535 ディスプレイ
Claims (20)
- 音声起動されたコンピュータネットワーク中のパケット化されたオーディオ信号を処理するためのシステムであって、
ネットワーク上でクライアントデバイスネットワークインターフェースを介してデータパケットを送信するためにクライアントデバイスのプロセッサによって実行されるデジタルアシスタントアプリケーションであって、前記データパケットが、前記クライアントデバイスのセンサーによって検出された第1の入力オーディオ信号と、第1のクライアントデバイス構成データとを含む、デジタルアシスタントアプリケーションと、
前記ネットワーク上で、データ処理システムのネットワークインターフェースを介して、前記データパケットを受信するために前記データ処理システムによって実行される自然言語プロセッサ構成要素であって、前記自然言語プロセッサ構成要素が、第1の要求と前記第1の要求に対応する第1のトリガキーワードとを識別するために前記第1の入力オーディオ信号をパースする、自然言語プロセッサ構成要素と、
前記クライアントデバイスに関連するディスプレイがオフ状態にあると前記第1のクライアントデバイス構成データから決定することと、
前記第1のトリガキーワードと前記ディスプレイの前記オフ状態とに部分的に基づいて、第1の応答データ構造を生成することであって、前記第1の応答データ構造が、前記第1の要求に応答する、オーディオデータを含み、ビデオデータを含まない、生成することと、
前記ネットワーク上で、前記データ処理システムの前記ネットワークインターフェースを介して、前記クライアントデバイスにおける前記デジタルアシスタントアプリケーションに前記第1の応答データ構造を送信することと
を行うために前記データ処理システムによって実行されるクライアントデバイス構成機器と
を備える、システム。 - 前記第1のクライアントデバイス構成データから、前記クライアントデバイスにおける少なくとも1つのスピーカーの現在のボリュームレベルを決定することと、
前記クライアントデバイスにおける前記少なくとも1つのスピーカーのための第1のボリュームレベルを含む第1のクライアントデバイス構成設定を生成することであって、前記第1のボリュームレベルが前記現在のボリュームレベルおよび最小応答オーディオレベルよりも大きい、生成することと、
前記ネットワーク上で、前記データ処理システムの前記ネットワークインターフェースを介して、前記クライアントデバイスにおける前記デジタルアシスタントアプリケーションに前記第1のクライアントデバイス構成設定を送信することと
を行うために前記データ処理システムによって実行される前記クライアントデバイス構成機器
を備える、請求項1に記載のシステム。 - 前記ネットワーク上で前記クライアントデバイスネットワークインターフェースを介してデータパケットを送信するために前記クライアントデバイスの前記プロセッサによって実行される前記デジタルアシスタントアプリケーションであって、前記データパケットが、前記クライアントデバイスのセンサーによって検出された第2の入力オーディオ信号と、第2のクライアントデバイス構成データとを含む、前記デジタルアシスタントアプリケーションと、
前記ネットワーク上で、前記データ処理システムの前記ネットワークインターフェースを介して、前記データパケットを受信するために前記データ処理システムによって実行される前記自然言語プロセッサ構成要素であって、前記自然言語プロセッサ構成要素が、第2の要求と前記第2の要求に対応する第2のトリガキーワードとを識別するために前記第2の入力オーディオ信号をパースする、前記自然言語プロセッサ構成要素と、
前記クライアントデバイスに関連する前記ディスプレイがオフ状態にあると前記第2のクライアントデバイス構成データから決定することと、
前記クライアントデバイスに関連する前記ディスプレイのためのオン状態を含む第2のクライアントデバイス構成設定を生成することと、
第2の応答データ構造を生成することであって、前記第2の応答データ構造が、ビデオデータを含み、前記第2の要求と前記第2のクライアントデバイス構成設定とに応答する、生成することと、
前記ネットワーク上で、前記データ処理システムの前記ネットワークインターフェースを介して、前記クライアントデバイスにおける前記デジタルアシスタントアプリケーションに前記第2の応答データ構造を送信することと
を行うために前記データ処理システムによって実行される前記クライアントデバイス構成機器と
を備える、請求項1に記載のシステム。 - 前記ネットワーク上で、前記クライアントデバイスの前記ネットワークインターフェースを介して、前記第2の応答データ構造を受信することであって、前記第2の応答データ構造がビデオデータと前記第2のクライアントデバイス構成設定とを含む、受信することと、
前記クライアントデバイスに関連する前記ディスプレイがオン状態に切り替わることを引き起こすことと、
前記ビデオデータが前記ディスプレイ上に表示されることを引き起こすことと
を行うために前記クライアントデバイスの前記プロセッサによって実行される前記デジタルアシスタントアプリケーション
を備える、請求項3に記載のシステム。 - 前記ネットワーク上で前記クライアントデバイスネットワークインターフェースを介してデータパケットを送信するために前記クライアントデバイスの前記プロセッサによって実行される前記デジタルアシスタントアプリケーションであって、前記データパケットが、前記クライアントデバイスのセンサーによって検出された第3の入力オーディオ信号と、第3のクライアントデバイス構成データとを含む、前記デジタルアシスタントアプリケーションと、
前記ネットワーク上で、前記データ処理システムの前記ネットワークインターフェースを介して、前記データパケットを受信するために前記データ処理システムによって実行される前記自然言語プロセッサ構成要素であって、前記自然言語プロセッサ構成要素が、第3の要求と前記第3の要求に対応する第3のトリガキーワードとを識別するために前記第3の入力オーディオ信号をパースする、前記自然言語プロセッサ構成要素と、
前記クライアントデバイスに関連する前記ディスプレイがオン状態にあると前記第3のクライアントデバイス構成データから決定することと、
前記第3のトリガキーワードと前記ディスプレイの前記オン状態とに部分的に基づいて、第3の応答データ構造を生成することであって、前記第3の応答データ構造が、前記第3の要求に応答する、オーディオデータとビデオデータとを含む、生成することと、
前記ネットワーク上で、前記データ処理システムの前記ネットワークインターフェースを介して、前記クライアントデバイスにおける前記デジタルアシスタントアプリケーションに前記第3の応答データ構造を送信することと
を行うために前記データ処理システムによって実行される前記クライアントデバイス構成機器と
を備える、請求項1に記載のシステム。 - ステータスビデオデータを生成することと、
前記ネットワーク上で、前記データ処理システムの前記ネットワークインターフェースを介して、前記第3の応答データ構造の前記送信より前に前記クライアントデバイスにおける前記デジタルアシスタントアプリケーションに前記ステータスビデオデータを送信することと
を行うために前記データ処理システムによって実行される前記クライアントデバイス構成機器と、
前記クライアントデバイスに関連する前記ディスプレイ上に前記ステータスビデオデータを表示するために前記クライアントデバイスの前記プロセッサによって実行される前記デジタルアシスタントアプリケーションと
を備える、請求項5に記載のシステム。 - 前記クライアントデバイス上の発光ステータスインジケータの起動を示す構成設定を生成することと、
前記ネットワーク上で、前記データ処理システムの前記ネットワークインターフェースを介して、前記第1の応答データ構造の前記送信より前に前記クライアントデバイスにおける前記デジタルアシスタントアプリケーションに前記構成設定を送信することと
を行うために前記データ処理システムによって実行される前記クライアントデバイス構成機器
を備える、請求項1に記載のシステム。 - 前記クライアントデバイスの前記ネットワークインターフェースを介して、前記ネットワーク上で、前記クライアントデバイス上の発光ステータスインジケータの起動を示す前記構成設定を受信することと、
前記クライアントデバイス上の発光ステータスインジケータが起動することを引き起こすことと
を行うためにクライアントデバイスのプロセッサによって実行される前記デジタルアシスタントアプリケーション
を備える、請求項7に記載のシステム。 - 前記クライアントデバイスが無線周波数チューナーを含む、請求項1に記載のシステム。
- 前記クライアントデバイスの前記ネットワークインターフェースを介して、前記ネットワーク上で、前記第1の応答データ構造を受信することであって、前記第1の応答データ構造が、前記第1の要求に応答する、オーディオデータを含み、ビデオデータを含まない、受信することと、
前記オーディオデータを決定することと、
前記オーディオデータが前記クライアントデバイスの少なくとも1つのスピーカー上で再生されることを引き起こすことと
を行うためにクライアントデバイスのプロセッサによって実行される前記デジタルアシスタントアプリケーション
を備える、請求項1に記載のシステム。 - 音声起動されたコンピュータネットワーク中のパケット化されたオーディオ信号を処理するための方法であって、
クライアントデバイスネットワークインターフェースを介して、ネットワーク上で、クライアントデバイスのプロセッサによって実行されるデジタルアシスタントアプリケーションによってデータパケットを送信するステップであって、前記データパケットが、前記クライアントデバイスのセンサーによって検出された第1の入力オーディオ信号と、第1のクライアントデバイス構成データとを含む、ステップと、
データ処理システムによって実行される自然言語プロセッサ構成要素において、前記ネットワーク上で、前記データ処理システムのネットワークインターフェースを介して、前記データパケットを受信するステップであって、前記自然言語プロセッサ構成要素が、第1の要求と前記第1の要求に対応する第1のトリガキーワードとを識別するために前記第1の入力オーディオ信号をパースする、ステップと、
前記データ処理システムによって実行されるクライアントデバイス構成機器において、前記クライアントデバイスに関連するディスプレイがオフ状態にあると前記第1のクライアントデバイス構成データから決定するステップと、
前記クライアントデバイス構成機器において、前記第1のトリガキーワードと前記ディスプレイの前記オフ状態とに部分的に基づいて、第1の応答データ構造を生成するステップであって、前記第1の応答データ構造が、前記第1の要求に応答する、オーディオデータを含み、ビデオデータを含まない、ステップと、
前記ネットワーク上で、前記データ処理システムの前記ネットワークインターフェースを介して、前記クライアントデバイスにおける前記デジタルアシスタントアプリケーションに前記第1の応答データ構造を送信するステップと
を含む、方法。 - 前記クライアントデバイス構成機器において、前記第1のクライアントデバイス構成データから、前記クライアントデバイスにおける少なくとも1つのスピーカーの現在のボリュームレベルを決定するステップと、
前記クライアントデバイス構成機器において、前記クライアントデバイスにおける前記少なくとも1つのスピーカーのための第1のボリュームレベルを含む第1のクライアントデバイス構成設定を生成するステップであって、前記第1のボリュームレベルが前記現在のボリュームレベルおよび最小応答オーディオレベルよりも大きい、ステップと、
前記クライアントデバイス構成機器において、前記データ処理システムの前記ネットワークインターフェースを介して、前記クライアントデバイスにおける前記デジタルアシスタントアプリケーションに前記第1のクライアントデバイス構成設定を前記ネットワーク上で送信するステップと
を含む、請求項11に記載の方法。 - 前記クライアントデバイスネットワークインターフェースを介して、前記ネットワーク上で、前記クライアントデバイスの前記プロセッサによって実行される前記デジタルアシスタントアプリケーションによってデータパケットを送信するステップであって、前記データパケットが、前記クライアントデバイスの前記センサーによって検出された第2の入力オーディオ信号と、第2のクライアントデバイス構成データとを含む、ステップと、
前記データ処理システムによって実行される前記自然言語プロセッサ構成要素において、前記ネットワーク上で、前記データ処理システムの前記ネットワークインターフェースを介して、前記データパケットを受信するステップであって、前記自然言語プロセッサ構成要素が、第2の要求と前記第2の要求に対応する第2のトリガキーワードとを識別するために前記第2の入力オーディオ信号をパースする、ステップと、
前記データ処理システムによって実行される前記クライアントデバイス構成機器において、前記クライアントデバイスに関連する前記ディスプレイがオフ状態にあると前記第2のクライアントデバイス構成データから決定するステップと、
前記クライアントデバイス構成機器において、前記クライアントデバイスに関連する前記ディスプレイのためのオン状態を含む第2のクライアントデバイス構成設定を生成するステップと、
前記クライアントデバイス構成機器において、前記第2のトリガキーワードに部分的に基づいて、第2の応答データ構造を生成するステップであって、前記第2の応答データ構造が、ビデオデータを含み、前記第2の要求と前記第2のクライアントデバイス構成設定とに応答する、ステップと、
前記クライアントデバイス構成機器において、前記ネットワーク上で、前記データ処理システムの前記ネットワークインターフェースを介して、前記クライアントデバイスにおける前記デジタルアシスタントアプリケーションに前記第2の応答データ構造を送信するステップと
を含む、請求項11に記載の方法。 - 前記クライアントデバイスの前記プロセッサによって実行される前記デジタルアシスタントアプリケーションにおいて、前記ネットワーク上で、前記クライアントデバイスの前記ネットワークインターフェースを介して、前記第2の応答データ構造を受信するステップであって、前記第2の応答データ構造がビデオデータと前記第2のクライアントデバイス構成設定とを含む、ステップと、
前記デジタルアシスタントアプリケーションによって、前記クライアントデバイスに関連する前記ディスプレイがオン状態に切り替わることを引き起こすステップと、
前記デジタルアシスタントアプリケーションによって、前記ビデオデータが前記クライアントデバイスに関連する前記ディスプレイ上に表示されることを引き起こすステップと
を含む、請求項13に記載の方法。 - 前記クライアントデバイスネットワークインターフェースを介して、前記ネットワーク上で、前記クライアントデバイスの前記プロセッサによって実行される前記デジタルアシスタントアプリケーションによってデータパケットを送信するステップであって、前記データパケットが、前記クライアントデバイスの前記センサーによって検出された第3の入力オーディオ信号と、第3のクライアントデバイス構成データとを含む、ステップと、
前記データ処理システムによって実行される前記自然言語プロセッサ構成要素において、前記ネットワーク上で、前記データ処理システムの前記ネットワークインターフェースを介して、前記データパケットを受信するステップであって、前記自然言語プロセッサ構成要素が、第3の要求と前記第3の要求に対応する第3のトリガキーワードとを識別するために前記第3の入力オーディオ信号をパースする、ステップと、
前記データ処理システムによって実行される前記クライアントデバイス構成機器において、前記クライアントデバイスに関連する前記ディスプレイがオン状態にあると前記第3のクライアントデバイス構成データから決定するステップと、
前記クライアントデバイス構成機器において、前記第3のトリガキーワードと前記ディスプレイの前記オン状態とに部分的に基づいて、第3の応答データ構造を生成するステップであって、前記第3の応答データ構造が、ビデオデータを含み、前記第3の要求と第3のクライアントデバイス構成設定とに応答する、ステップと、
前記クライアントデバイス構成機器において、前記ネットワーク上で、前記データ処理システムの前記ネットワークインターフェースを介して、前記クライアントデバイスにおける前記デジタルアシスタントアプリケーションに前記第3の応答データ構造を送信するステップと
を含む、請求項11に記載の方法。 - 前記クライアントデバイス構成機器において、ステータスビデオデータを生成するステップと、
前記クライアントデバイス構成機器において、前記ネットワーク上で、前記データ処理システムの前記ネットワークインターフェースを介して、前記第3の応答データ構造の前記送信より前に前記クライアントデバイスにおける前記デジタルアシスタントアプリケーションに前記ステータスビデオデータを送信するステップと、
前記クライアントデバイスの前記プロセッサによって実行される前記デジタルアシスタントアプリケーションによって、前記ステータスビデオデータが前記クライアントデバイスに関連する前記ディスプレイ上に表示されることを引き起こすステップと
を含む、請求項15に記載の方法。 - 前記クライアントデバイス構成機器において、前記クライアントデバイス上の発光ステータスインジケータの起動を示す構成設定を生成するステップと、
前記クライアントデバイス構成機器において、前記ネットワーク上で、前記データ処理システムの前記ネットワークインターフェースを介して、前記第1の応答データ構造の前記送信より前に前記クライアントデバイスにおける前記デジタルアシスタントアプリケーションに前記構成設定を送信するステップと
を含む、請求項11に記載の方法。 - 前記クライアントデバイスにおける前記デジタルアシスタントアプリケーションにおいて、前記クライアントデバイス上の発光ステータスインジケータの起動を示す前記構成設定を受信するステップと、
前記デジタルアシスタントアプリケーションによって、前記クライアントデバイス上の前記発光ステータスインジケータが起動することを引き起こすステップと
を含む、請求項17に記載の方法。 - 前記クライアントデバイスが無線周波数チューナーを含む、請求項11に記載の方法。
- 前記クライアントデバイスの前記プロセッサによって実行される前記デジタルアシスタントアプリケーションにおいて、前記ネットワーク上で、前記クライアントデバイスの前記ネットワークインターフェースを介して、前記第1の応答データ構造を受信するステップであって、前記第1の応答データ構造が、前記第1の要求に応答する、オーディオデータを含み、ビデオデータを含まない、ステップと、
前記デジタルアシスタントアプリケーションによって、前記オーディオデータを決定するステップと、
前記デジタルアシスタントアプリケーションによって、前記オーディオデータが前記クライアントデバイスの少なくとも1つのスピーカー上で再生されることを引き起こすステップと
を含む、請求項11に記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021060635A JP7195363B2 (ja) | 2017-10-03 | 2021-03-31 | レイテンシを考慮したディスプレイモード依存応答生成 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2017/054931 WO2019070243A1 (en) | 2017-10-03 | 2017-10-03 | RESPONSE GENERATION DEPENDING ON THE DISPLAY MODE COMPRISING LATENCY CONSIDERATIONS |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021060635A Division JP7195363B2 (ja) | 2017-10-03 | 2021-03-31 | レイテンシを考慮したディスプレイモード依存応答生成 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020528594A JP2020528594A (ja) | 2020-09-24 |
JP6862582B2 true JP6862582B2 (ja) | 2021-04-21 |
Family
ID=60153460
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019568361A Active JP6862582B2 (ja) | 2017-10-03 | 2017-10-03 | レイテンシを考慮したディスプレイモード依存応答生成 |
JP2021060635A Active JP7195363B2 (ja) | 2017-10-03 | 2021-03-31 | レイテンシを考慮したディスプレイモード依存応答生成 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021060635A Active JP7195363B2 (ja) | 2017-10-03 | 2021-03-31 | レイテンシを考慮したディスプレイモード依存応答生成 |
Country Status (6)
Country | Link |
---|---|
US (3) | US11120796B2 (ja) |
EP (2) | EP4274241A3 (ja) |
JP (2) | JP6862582B2 (ja) |
KR (2) | KR102334340B1 (ja) |
CN (2) | CN110741339B (ja) |
WO (1) | WO2019070243A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4274241A3 (en) | 2017-10-03 | 2024-01-03 | Google LLC | Display mode dependent response generation with latency considerations |
JP2021135324A (ja) * | 2020-02-25 | 2021-09-13 | シャープ株式会社 | 情報処理装置、情報処理方法、及び情報処理システム |
US11676594B2 (en) | 2020-12-03 | 2023-06-13 | Google Llc | Decaying automated speech recognition processing results |
CN112698872A (zh) * | 2020-12-21 | 2021-04-23 | 北京百度网讯科技有限公司 | 语音数据处理的方法、装置、设备及存储介质 |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7110984B1 (en) * | 1998-08-13 | 2006-09-19 | International Business Machines Corporation | Updating usage conditions in lieu of download digital rights management protected content |
US7213005B2 (en) * | 1999-12-09 | 2007-05-01 | International Business Machines Corporation | Digital content distribution using web broadcasting services |
US20030093419A1 (en) * | 2001-08-17 | 2003-05-15 | Srinivas Bangalore | System and method for querying information using a flexible multi-modal interface |
US20070011270A1 (en) | 2005-06-14 | 2007-01-11 | Klein Stephen D | Methods and apparatus for initiating and alerting a conversation with an automated agent |
JP2007036924A (ja) | 2005-07-29 | 2007-02-08 | Matsushita Electric Ind Co Ltd | テレビジョン受像装置 |
US9015301B2 (en) * | 2007-01-05 | 2015-04-21 | Digital Doors, Inc. | Information infrastructure management tools with extractor, secure storage, content analysis and classification and method therefor |
US20090113475A1 (en) * | 2007-08-21 | 2009-04-30 | Yi Li | Systems and methods for integrating search capability in interactive video |
JP2009116539A (ja) | 2007-11-05 | 2009-05-28 | Fujitsu Ten Ltd | 周辺監視装置 |
EP2663947B1 (en) * | 2011-01-16 | 2020-07-29 | High Sec Labs Ltd. | Secure km switch |
US20150003595A1 (en) * | 2011-04-25 | 2015-01-01 | Transparency Sciences, Llc | System, Method and Computer Program Product for a Universal Call Capture Device |
US20180032997A1 (en) * | 2012-10-09 | 2018-02-01 | George A. Gordon | System, method, and computer program product for determining whether to prompt an action by a platform in connection with a mobile device |
US9570090B2 (en) * | 2015-05-26 | 2017-02-14 | Google Inc. | Dialog system with automatic reactivation of speech acquiring mode |
US10133546B2 (en) * | 2013-03-14 | 2018-11-20 | Amazon Technologies, Inc. | Providing content on multiple devices |
JP6416752B2 (ja) | 2013-04-19 | 2018-10-31 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 家電機器の制御方法、家電機器制御システム、及びゲートウェイ |
WO2014197336A1 (en) * | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
US11218434B2 (en) * | 2013-06-12 | 2022-01-04 | Google Llc | Audio data packet status determination |
KR102141116B1 (ko) * | 2013-08-05 | 2020-08-04 | 삼성전자주식회사 | 음성 대화 서비스를 지원하는 인터페이스 장치 및 방법 |
EP3739460A1 (en) * | 2014-03-03 | 2020-11-18 | Sony Corporation | Information processing apparatus, information processing method, and program |
JP2015184563A (ja) * | 2014-03-25 | 2015-10-22 | シャープ株式会社 | 対話型家電システム、サーバ装置、対話型家電機器、家電システムが対話を行なうための方法、当該方法をコンピュータに実現させるためのプログラム |
JP6440513B2 (ja) | 2014-05-13 | 2018-12-19 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 音声認識機能を用いた情報提供方法および機器の制御方法 |
US9548066B2 (en) | 2014-08-11 | 2017-01-17 | Amazon Technologies, Inc. | Voice application architecture |
US10084905B2 (en) * | 2014-08-28 | 2018-09-25 | Accenture Global Services Limited | System architecture for closed-loop mobile lockscreen display state control |
KR20160099388A (ko) * | 2015-02-12 | 2016-08-22 | 삼성전자주식회사 | 디스플레이 장치 및 그 동작 방법 |
KR102460393B1 (ko) * | 2015-04-30 | 2022-11-01 | 삼성전자주식회사 | 사운드 출력 기기, 전자 장치 및 그 제어 방법 |
KR20170010494A (ko) * | 2015-07-20 | 2017-02-01 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
US10157039B2 (en) * | 2015-10-05 | 2018-12-18 | Motorola Mobility Llc | Automatic capturing of multi-mode inputs in applications |
US9858927B2 (en) * | 2016-02-12 | 2018-01-02 | Amazon Technologies, Inc | Processing spoken commands to control distributed audio outputs |
KR101925034B1 (ko) * | 2017-03-28 | 2018-12-04 | 엘지전자 주식회사 | 스마트 컨트롤링 디바이스 및 그 제어 방법 |
EP4274241A3 (en) | 2017-10-03 | 2024-01-03 | Google LLC | Display mode dependent response generation with latency considerations |
CN110770692B (zh) * | 2017-10-03 | 2023-10-13 | 谷歌有限责任公司 | 从存储器传输数据以管理图形输出延时 |
US11409783B2 (en) * | 2017-10-03 | 2022-08-09 | Google Llc | Data structure queries to manage loading time in multimedia content |
US11276396B2 (en) * | 2018-05-01 | 2022-03-15 | Dell Products, L.P. | Handling responses from voice services |
-
2017
- 2017-10-03 EP EP23194421.6A patent/EP4274241A3/en active Pending
- 2017-10-03 CN CN201780092037.3A patent/CN110741339B/zh active Active
- 2017-10-03 JP JP2019568361A patent/JP6862582B2/ja active Active
- 2017-10-03 CN CN202311047783.4A patent/CN117215514A/zh active Pending
- 2017-10-03 KR KR1020197037168A patent/KR102334340B1/ko active IP Right Grant
- 2017-10-03 KR KR1020217038736A patent/KR102366753B1/ko active IP Right Grant
- 2017-10-03 WO PCT/US2017/054931 patent/WO2019070243A1/en unknown
- 2017-10-03 EP EP17787725.5A patent/EP3622385B1/en active Active
- 2017-10-03 US US16/461,424 patent/US11120796B2/en active Active
-
2021
- 2021-03-31 JP JP2021060635A patent/JP7195363B2/ja active Active
- 2021-09-10 US US17/471,695 patent/US11823675B2/en active Active
-
2023
- 2023-10-11 US US18/378,800 patent/US20240038232A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
KR102366753B1 (ko) | 2022-02-23 |
JP2021108161A (ja) | 2021-07-29 |
KR20200006593A (ko) | 2020-01-20 |
US20210407509A1 (en) | 2021-12-30 |
CN110741339A (zh) | 2020-01-31 |
US20240038232A1 (en) | 2024-02-01 |
WO2019070243A1 (en) | 2019-04-11 |
CN110741339B (zh) | 2023-09-05 |
EP3622385A1 (en) | 2020-03-18 |
KR20210145862A (ko) | 2021-12-02 |
JP7195363B2 (ja) | 2022-12-23 |
KR102334340B1 (ko) | 2021-12-02 |
EP4274241A3 (en) | 2024-01-03 |
EP4274241A2 (en) | 2023-11-08 |
US20190348042A1 (en) | 2019-11-14 |
EP3622385B1 (en) | 2023-12-06 |
US11823675B2 (en) | 2023-11-21 |
JP2020528594A (ja) | 2020-09-24 |
CN117215514A (zh) | 2023-12-12 |
US11120796B2 (en) | 2021-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021108161A (ja) | レイテンシを考慮したディスプレイモード依存応答生成 | |
KR102068271B1 (ko) | 패킷화된 데이터의 멀티모달 송신 | |
KR20200091895A (ko) | 네트워크 시스템의 분산 식별 | |
US20240028633A1 (en) | Coordination of parallel processing of audio queries across multiple devices | |
JP2024063034A (ja) | オーディオクエリのオーバーラップ処理の協調 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200116 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210331 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6862582 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |