JP7130761B2 - カスタムデバイスアクションの音声ベースの起動のためのシステムおよび方法 - Google Patents
カスタムデバイスアクションの音声ベースの起動のためのシステムおよび方法 Download PDFInfo
- Publication number
- JP7130761B2 JP7130761B2 JP2020546986A JP2020546986A JP7130761B2 JP 7130761 B2 JP7130761 B2 JP 7130761B2 JP 2020546986 A JP2020546986 A JP 2020546986A JP 2020546986 A JP2020546986 A JP 2020546986A JP 7130761 B2 JP7130761 B2 JP 7130761B2
- Authority
- JP
- Japan
- Prior art keywords
- action
- command
- identifier
- actions
- device action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009471 action Effects 0.000 title claims description 520
- 238000000034 method Methods 0.000 title claims description 111
- 230000004913 activation Effects 0.000 title description 4
- 238000012545 processing Methods 0.000 claims description 157
- 230000004044 response Effects 0.000 claims description 109
- 230000005236 sound signal Effects 0.000 claims description 93
- 238000004891 communication Methods 0.000 claims description 62
- 230000003993 interaction Effects 0.000 claims description 41
- 230000005540 biological transmission Effects 0.000 claims description 13
- 230000002452 interceptive effect Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims 3
- 230000000875 corresponding effect Effects 0.000 description 75
- 238000013515 script Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 3
- 238000010411 cooking Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000008093 supporting effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000011273 social behavior Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- User Interface Of Digital Computer (AREA)
Description
本出願は、2018年3月7日に出願された「DISTRIBUTED IDENTIFICATION IN NETWORKED SYSTEM」と題する米国仮特許出願第62/640,007号の利益および優先権を主張し、その全体が参照により本明細書に組み込まれる。
{
"manifest":{...},
"actions":[
{
"intent":{
"name":"com.smart_cooker.COOK_CAKE",
"trigger":{
"queryPatterns":[
"bake a cake",
"cook a cake"
]
}
},
"availability":{
"deviceAction":true
},
"staticFulfillment":{
"textToSpeech":"Baking a cake",
"deviceExecution":{
"command":"com.smart_cooker.command.COOK_CAKE"
}
}
}
]
}
本スクリプトは、「COOK_CAKE」と名付けられている、ケーキを調理するための単一のデバイスアクションを定義する。本スクリプトはまた、デバイスアクションに関連付けられた照会パターン「bake a cake (ケーキを焼く)」および「cook a cake (ケーキを調理する)」を定義する。本スクリプトは、デバイスアクションを実行するためのデバイス実行可能コマンド「command.COOK_CAKE」を定義する。さらに、本スクリプトは、たとえば、音声照会「bake a cake」または「cook a cake」に応答してクライアントデバイス104によってオーディオフォーマットで再生されるべき応答、たとえば、「Baking a cake (ケーキを焼く)」を定義することができる。
{
"project_id":"my-smart-cooker",
"device_model_id":"smart-cooker-v1",
"manifest":{
"manufacturer":"Smart Cooker Inc",
"product_name":"Smart Cooker",
"device_description":"Smart device for cooking"
},
"device_type":"action.devices.types.OTHER",
"actionConfig":{
"supportedIntents":[
"com.smart_cooker.intent.COOK_CAKE"
]
}
}
上記のスクリプトの中のデータは、デバイスモデルID、製造業者名、製品名、デバイス記述、デバイスタイプ、およびアクションパッケージ(たとえば、上記の第1のスクリプトに関連付けられたアクションパッケージ)への参照(たとえば、「com.smart_cooker.intent.COOK_CAKE」)を指定する。コンピューティングデバイス108はまた、第2当事者デバイス(または第3当事者アプリケーション)に関連付けられたアクションパッケージ、識別子、および他の情報を、別々または一緒のいずれかでデータ処理システム102へ送信することができる。
.h
namespace assistant_client{
class SmartCookerHandler:public DeviceActionHandler{
public:
void Execute(const std::string&request_json)override;
};
}
.cc
namespace assistant_client{
void SmartCookerHandler::Execute(const std::string&device_request_json){
//コマンドを抽出
//cake cookingを開始
}
============================================================
namespace chromecast{
//static
assistant_client::DeviceActionHandler*
CastAssistantShlib::CreateDeviceActionHandler(const
std::string&action_type){
if(action_type=="device_control"){
return new assistant_client::SmartCookerHandler();
}
}}
//namespace chromecast
102 データ処理システム
104 クライアントデバイス
106 通信ネットワーク
108 デバイス・プロバイダ・コンピューティング・デバイス
110 メモリ
112 プロセッサ
114 通信インターフェース
116 データリポジトリ
118 アクションパッケージ
120 デバイスアクションカスタマイゼーション構成要素
122 音声認識構成要素
124 自然言語プロセッサ構成要素
126 オーディオ信号発生器構成要素
128 コンテンツ選択器構成要素
302 オーディオレシーバ
304 通信インターフェース
306 コマンド実行構成要素
308 スピーカー
310 コントローラ
600 コンピュータシステム
605 バス
610 プロセッサ
615 主記憶装置
620 読取り専用メモリ
625 記憶デバイス
630 入力デバイス
635 ディスプレイ
Claims (60)
- クライアントデバイスとの音声ベース対話を可能にするためのデータ処理システムであって、
デバイスアクションデータおよび前記デバイスアクションデータに関連付けられた識別子をコンピューティングデバイスから受信するための通信インターフェースであって、前記デバイスアクションデータが、複数のクライアントデバイスによってサポートされる複数のデバイスアクション、および複数のデバイス実行可能コマンドを示し、前記複数のデバイス実行可能コマンドの各デバイス実行可能コマンドが、前記複数のデバイスアクションのうちの対応するデバイスアクションの実行をトリガする、通信インターフェースと、
前記デバイスアクションデータを記憶するためのメモリと、
前記デバイスアクションデータを前記識別子にマッピングするためのデバイスアクションカスタマイゼーション構成要素と、
オーディオ信号および前記識別子を前記複数のクライアントデバイスのうちのクライアントデバイスから受信するための前記通信インターフェースであって、前記オーディオ信号が、音声ベース照会に応答して前記クライアントデバイスによって取得される、前記通信インターフェースと、
前記複数のクライアントデバイスによってサポートされる前記複数のデバイスアクションのうちのデバイスアクションを、前記識別子、および前記オーディオ信号に関連付けられたコンテンツを使用して識別するための自然言語プロセッサ構成要素と、
前記デバイスアクションに対応する、前記複数のデバイス実行可能コマンドのうちのデバイス実行可能コマンドを識別するための前記デバイスアクションカスタマイゼーション構成要素と、
前記デバイスアクションを遂行させるために、前記音声ベース照会に応答した実行のための前記デバイス実行可能コマンドを前記クライアントデバイスへ送信するための前記通信インターフェースと
を備えるデータ処理システム。 - 前記複数のクライアントデバイスによる提示のための複数の応答を受信するための前記通信インターフェースであって、提示のための前記複数の応答の各応答が、前記複数のクライアントデバイスによってサポートされる前記複数のデバイスアクションのうちの対応するデバイスアクションの遂行に関する、前記通信インターフェースと、
前記デバイスアクションの遂行に関する提示のために前記クライアントデバイスへ送るための応答を識別するための前記デバイスアクションカスタマイゼーション構成要素と
を備える、請求項1に記載のデータ処理システム。 - 前記クライアントデバイスから受信された前記オーディオ信号を対応するテキストに変換するための音声認識構成要素を備え、前記自然言語プロセッサ構成要素が、前記対応するテキストを使用して前記デバイスアクションを識別する、請求項1に記載のデータ処理システム。
- 前記複数のデバイスアクションのうちの第1のデバイスアクションごとに、受信されたオーディオ信号の前記コンテンツを前記第1のデバイスアクションと整合させるための対応する重み値を決定し、
前記重み値に基づいて前記デバイスアクションを識別するための
前記自然言語プロセッサ構成要素を備える、請求項1に記載のデータ処理システム。 - 前記識別子が、デバイスモデルを定義するデバイスモデル識別子であり、前記複数のデバイスアクションが、前記デバイスモデルに関連付けられたクライアントデバイスによってサポートされるデバイスアクションであり、前記複数の実行可能コマンドが、前記デバイスモデルに関連付けられた前記クライアントデバイスに特有の実行可能コマンドである、請求項1に記載のデータ処理システム。
- 前記デバイスモデルに関連付けられた前記クライアントデバイスと対話する前に、かつ前記複数のデバイス実行可能コマンドの各々のテストに成功すると、前記デバイスモデルを有効化するための、前記デバイスアクションカスタマイゼーション構成要素を備える、請求項5に記載のデータ処理システム。
- 前記コンピューティングデバイスが前記識別子および前記デバイスアクションデータを提供することを可能にするためのユーザインターフェースを提供するための前記デバイスアクションカスタマイゼーション構成要素を備える、請求項1に記載のデータ処理システム。
- 前記データ処理システムへの前記識別子および前記デバイスアクションデータの送信を可能にするために、RESTfulアプリケーションプログラミングインターフェース(API)を提供するための前記デバイスアクションカスタマイゼーション構成要素を備える、請求項1に記載のデータ処理システム。
- 前記識別子が、前記複数のクライアントデバイス上にインストールされたアプリケーションに関連付けられた識別子であり、前記複数のデバイスアクションが、前記アプリケーションによってサポートされるデバイスアクションであり、前記複数の実行可能コマンドが、前記アプリケーションに特有の実行可能コマンドである、請求項1に記載のデータ処理システム。
- 前記デバイス実行可能コマンドに関連付けられた1つまたは複数のパラメータを識別するための前記デバイスアクションカスタマイゼーション構成要素と、
前記1つまたは複数のパラメータを前記クライアントデバイスへ送信するための前記通信インターフェースと
を備える、請求項9に記載のデータ処理システム。 - クライアントデバイスとの音声ベース対話を可能にする方法であって、
デバイスアクションデータおよび前記デバイスアクションデータに関連付けられた識別子をコンピューティングデバイスから受信するステップであって、前記デバイスアクションデータが、複数のクライアントデバイスによってサポートされる複数のデバイスアクション、および複数のデバイス実行可能コマンドを示し、前記複数のデバイス実行可能コマンドの各デバイス実行可能コマンドが、前記複数のデバイスアクションのうちの対応するデバイスアクションの実行をトリガする、ステップと、
前記デバイスアクションデータを記憶するステップと、
前記デバイスアクションデータを前記識別子にマッピングするステップと、
オーディオ信号および前記識別子を前記複数のクライアントデバイスのうちのクライアントデバイスから受信するステップであって、前記オーディオ信号が、音声ベース照会に応答して前記クライアントデバイスによって取得される、ステップと、
前記複数のクライアントデバイスによってサポートされる前記複数のデバイスアクションのうちのデバイスアクションを、前記識別子、および前記オーディオ信号に関連付けられたコンテンツを使用して識別するステップと、
前記デバイスアクションに対応する、前記複数のデバイス実行可能コマンドのうちのデバイス実行可能コマンドを識別するステップと、
前記デバイスアクションを遂行させるために、前記音声ベース照会に応答した実行のための前記デバイス実行可能コマンドを前記クライアントデバイスへ送信するステップと
を備える方法。 - 前記複数のクライアントデバイスによる提示のための複数の応答を受信するステップであって、提示のための前記複数の応答の各応答が、前記複数のクライアントデバイスによってサポートされる前記複数のデバイスアクションのうちの対応するデバイスアクションの遂行に関する、ステップと、
前記デバイスアクションの遂行に関する提示のために前記クライアントデバイスへ送るための応答を識別するステップと
を備える、請求項11に記載の方法。 - 前記クライアントデバイスから受信された前記オーディオ信号を対応するテキストに変換するステップを備え、自然言語プロセッサ構成要素が、前記対応するテキストを使用して前記デバイスアクションを識別する、請求項11に記載の方法。
- 前記複数のデバイスアクションのうちの第1のデバイスアクションごとに、受信されたオーディオ信号の前記コンテンツを前記第1のデバイスアクションと整合させるための対応する重み値を決定するステップと、
前記重み値に基づいて前記デバイスアクションを識別するステップと
を備える、請求項11に記載の方法。 - 前記識別子が、デバイスモデルを定義するデバイスモデル識別子であり、前記複数のデバイスアクションが、前記デバイスモデルに関連付けられたクライアントデバイスによってサポートされるデバイスアクションであり、前記複数の実行可能コマンドが、前記デバイスモデルに関連付けられた前記クライアントデバイスに特有の実行可能コマンドである、請求項11に記載の方法。
- 前記デバイスモデルに関連付けられた前記クライアントデバイスと対話する前に、かつ前記複数のデバイス実行可能コマンドの各々のテストに成功すると、前記デバイスモデルを有効化するステップを備える、請求項15に記載の方法。
- 前記コンピューティングデバイスが前記識別子および前記デバイスアクションデータを提供することを可能にするためのユーザインターフェースを提供するステップを備える、請求項11に記載の方法。
- 前記識別子および前記デバイスアクションデータを送信するために、デバイスアクションカスタマイゼーション構成要素が、前記コンピューティングデバイスによる使用のためのRESTfulアプリケーションプログラミングインターフェース(API)を提供することを備える、請求項11に記載の方法。
- 前記識別子が、前記複数のクライアントデバイス上にインストールされたアプリケーションに関連付けられた識別子であり、前記複数のデバイスアクションが、前記アプリケーションによってサポートされるデバイスアクションであり、前記複数の実行可能コマンドが、前記アプリケーションに特有の実行可能コマンドである、請求項11に記載の方法。
- 前記デバイス実行可能コマンドに関連付けられた1つまたは複数のパラメータを識別するステップと、
前記1つまたは複数のパラメータを前記クライアントデバイスへ送信するステップと
を備える、請求項19に記載の方法。 - 電子デバイスであって、
入力音声ベース照会に対応するオーディオ信号を生成するためのオーディオレシーバであって、前記電子デバイスが、リモートデータ処理システムによって保持されるデバイスアクションデータ、および前記デバイスアクションデータの識別子に関連付けられており、前記デバイスアクションデータが、前記デバイスアクションデータに関連付けられた電子デバイスによってサポートされる、複数のデバイスアクションおよび複数のデバイス実行可能コマンドを含み、各デバイス実行可能コマンドが、前記複数のデバイスアクションのうちの対応するデバイスアクションの実行をトリガする、オーディオレシーバと、
前記音声ベース照会に応答して前記識別子および前記オーディオ信号を前記リモートデータ処理システムへ送信するための通信インターフェースであって、前記リモートデータ処理システムが、前記複数のデバイスアクションおよび前記複数のデバイス実行可能コマンドに前記識別子をマッピングする1つまたは複数のデータ構造を保持する、通信インターフェースと、
前記オーディオ信号の送信に応答して前記複数のデバイス実行可能コマンドのうちのデバイス実行可能コマンドを前記リモートデータ処理システムから受信するための前記通信インターフェースであって、前記デバイス実行可能コマンドが、前記識別子、前記オーディオ信号、および前記1つまたは複数のデータ構造に基づいて前記データ処理システムによって識別される、前記通信インターフェースと、
前記デバイスアクションを実行するための前記デバイス実行可能コマンドを実行するためのコマンド実行構成要素と
を備える電子デバイス。 - 前記オーディオ信号の前記送信に応答して、前記デバイスによる表示のためのオーディオ応答を受信するための前記通信インターフェースと、
前記デバイスアクションを実行することに関して前記オーディオ応答を再生するためのスピーカーと
を備える、請求項21に記載の電子デバイス。 - 前記デバイス実行可能コマンドに対応する前記デバイスアクションの実行の前に前記オーディオ応答を前記スピーカーに再生させるための前記コマンド実行構成要素、
前記デバイス実行可能コマンドに対応する前記デバイスアクションの実行中に前記オーディオ応答を前記スピーカーに再生させるための前記通信インターフェース、または
前記デバイス実行可能コマンドに対応する前記デバイスアクションの実行の後に前記オーディオ応答を前記スピーカーに再生させるための前記通信インターフェース
を備える、請求項22に記載の電子デバイス。 - 前記識別子が、デバイスモデルを定義するデバイスモデル識別子であり、前記複数のデバイスアクションが、前記デバイスモデルに関連付けられた電子デバイスによってサポートされるデバイスアクションであり、前記複数の実行可能コマンドが、前記デバイスモデルに関連付けられた前記電子デバイスに特有の実行可能コマンドである、請求項21に記載の電子デバイス。
- 前記デバイスモデル識別子がデバイス識別子を含む、請求項24に記載の電子デバイス。
- 前記デバイスが、
モバイルデバイス、
ロボットデバイス、
自動車、
アプライアンスデバイス、
スマートテレビジョン、
照明制御システム、または
ホームセキュリティシステムを含む、
請求項21に記載の電子デバイス。 - 前記識別子が、前記デバイスアクションデータに関連付けられた前記電子デバイス上にインストールされたアプリケーションに関連付けられた識別子であり、前記複数のデバイスアクションが、前記アプリケーションによってサポートされるデバイスアクションであり、前記複数の実行可能コマンドが、前記アプリケーションに特有の実行可能コマンドである、請求項21に記載の電子デバイス。
- 前記デバイス実行可能コマンドに関連付けられた1つまたは複数のパラメータを前記リモートデータ処理システムから受信するための前記通信インターフェースと、
前記デバイス実行可能コマンドを実行するために前記1つまたは複数のパラメータを使用するための前記コマンド実行構成要素と
を備える、請求項27に記載の電子デバイス。 - 前記アプリケーションが、第3当事者アプリケーションとの音声会話を起動するための対話式ユーザインターフェース構成要素を前記デバイスに提供させる、請求項27に記載の電子デバイス。
- 前記対話式ユーザインターフェース構成要素との対話に応答して前記リモートデータ処理システムとの通信セッションを起動するためのコントローラを備える、請求項29に記載の電子デバイス。
- 音声ベース対話のサポートを可能にする方法であって、
入力音声ベース照会に対応するオーディオ信号を電子デバイスによって生成するステップであって、前記電子デバイスが、リモートデータ処理システムによって保持されるデバイスアクションデータ、および前記デバイスアクションデータの識別子に関連付けられており、前記デバイスアクションデータが、前記デバイスアクションデータに関連付けられた電子デバイスによってサポートされる、複数のデバイスアクションおよび複数のデバイス実行可能コマンドを含み、各デバイス実行可能コマンドが、前記複数のデバイスアクションのうちの対応するデバイスアクションの実行をトリガする、ステップと、
前記電子デバイスによって、前記音声ベース照会に応答して前記識別子および前記オーディオ信号を前記リモートデータ処理システムへ送信するステップであって、前記リモートデータ処理システムが、前記複数のデバイスアクションおよび前記複数のデバイス実行可能コマンドに前記識別子をマッピングする1つまたは複数のデータ構造を保持する、ステップと、
前記電子デバイスによって、前記オーディオ信号の送信に応答して前記複数のデバイス実行可能コマンドのうちのデバイス実行可能コマンドを前記リモートデータ処理システムから受信するステップであって、前記デバイス実行可能コマンドが、前記識別子、前記オーディオ信号、および前記1つまたは複数のデータ構造に基づいて前記データ処理システムによって識別される、ステップと、
前記デバイスアクションを実行するための前記デバイス実行可能コマンドを前記電子デバイスによって実行するステップと
を備える方法。 - 前記オーディオ信号の前記送信に応答して、前記デバイスによる表示のためのオーディオ応答を受信するステップと、
前記デバイスアクションを実行することに関して前記オーディオ応答を再生するステップと
を備える、請求項31に記載の方法。 - 前記デバイス実行可能コマンドに対応する前記デバイスアクションの実行の前に前記オーディオ応答をスピーカーに再生させるステップ、
前記デバイス実行可能コマンドに対応する前記デバイスアクションの実行中に前記オーディオ応答を前記スピーカーに再生させるステップ、または
前記デバイス実行可能コマンドに対応する前記デバイスアクションの実行の後に前記オーディオ応答を前記スピーカーに再生させるステップ
を備える、請求項32に記載の方法。 - 前記識別子が、デバイスモデルを定義するデバイスモデル識別子であり、前記複数のデバイスアクションが、前記デバイスモデルに関連付けられた電子デバイスによってサポートされるデバイスアクションであり、前記複数の実行可能コマンドが、前記デバイスモデルに関連付けられた前記電子デバイスに特有の実行可能コマンドである、請求項31に記載の方法。
- 前記デバイスモデル識別子がデバイス識別子を含む、請求項34に記載の方法。
- 前記電子デバイスが、
モバイルデバイス、
ロボットデバイス、
自動車、
アプライアンスデバイス、
スマートテレビジョン、
照明制御システム、または
ホームセキュリティシステムを含む、
請求項31に記載の方法。 - 前記識別子が、前記デバイスアクションデータに関連付けられた前記電子デバイス上にインストールされたアプリケーションに関連付けられた識別子であり、前記複数のデバイスアクションが、前記アプリケーションによってサポートされるデバイスアクションであり、前記複数の実行可能コマンドが、前記アプリケーションに特有の実行可能コマンドである、請求項31に記載の方法。
- 前記デバイス実行可能コマンドに関連付けられた1つまたは複数のパラメータを前記リモートデータ処理システムから受信するステップと、
前記デバイス実行可能コマンドを実行するために前記1つまたは複数のパラメータを使用するステップと
を備える、請求項37に記載の方法。 - 前記アプリケーションが前記アプリケーションとの音声会話を起動するための対話式ユーザインターフェース構成要素を前記電子デバイスに提供させることを備える、請求項37に記載の方法。
- 前記対話式ユーザインターフェース構成要素との対話に応答して前記リモートデータ処理システムとの通信セッションを起動するステップを備える、請求項39に記載の方法。
- 音声ベース対話に応答してコンテンツを提供するためのデータ処理システムであって、
複数の電子デバイスによってサポートされる複数のデバイスアクションコマンドペアを含むデバイスアクションデータを記憶するためのメモリであって、各デバイスアクションコマンドペアが、複数のデバイスアクションのそれぞれのデバイスアクション、および前記それぞれのデバイスアクションの遂行をトリガするための複数のデバイス実行可能コマンドのそれぞれのデバイス実行可能コマンドを含む、メモリと、
前記複数の電子デバイスによってサポートされる前記複数のデバイスアクションコマンドペアの各々に識別子をマッピングするためのデバイスアクションカスタマイゼーション構成要素と、
オーディオ信号および前記識別子を電子デバイスから受信するための通信インターフェースであって、前記オーディオ信号が、音声ベース照会に応答して前記電子デバイスによって取得される、通信インターフェースと、
前記オーディオ信号に関連付けられたコンテンツ、および前記識別子を使用して、前記複数のデバイスアクションコマンドペアのうちのデバイスアクションコマンドペアを識別するための、自然言語プロセッサ構成要素と、
前記デバイスアクションデータまたは前記デバイスアクションコマンドペアに基づいて前記音声ベース照会のコンテキストを識別するための前記デバイスアクションカスタマイゼーション構成要素と、
前記音声ベース照会の前記コンテキストに基づいてデジタルコンポーネントを選択するためのコンテンツ選択器構成要素と、
前記デジタルコンポーネント、および前記デバイスアクションコマンドペアに関連付けられたデバイス実行可能コマンドを、前記電子デバイスへ送信するための前記通信インターフェースであって、前記デバイス実行可能コマンドが、前記デバイスアクションコマンドペアに関連付けられた前記デバイスアクションを遂行させ、前記デジタルコンポーネントが、前記電子デバイスによって提示されるものである、前記通信インターフェースと
を備えるデータ処理システム。 - 前記デバイスアクションが第1のデバイスアクションであり、前記データ処理システムが、
前記デバイスアクションコマンドペアに関連付けられた前記第1のデバイスアクションを使用して、前記音声ベース照会に関連付けられたデバイスアクションの既定のシーケンスを識別し、
デバイスアクションの前記既定のシーケンスの中の、前記デバイスアクションコマンドペアに関連付けられた前記第1のデバイスアクションに後続する、1つまたは複数の第2のデバイスアクションを識別し、
前記デバイスアクションに後続する前記1つまたは複数の第2のデバイスアクションに基づいて、前記音声ベース照会の前記コンテキストの属性を識別するための
前記デバイスアクションカスタマイゼーション構成要素を備える、
請求項41に記載のデータ処理システム。 - 前記デジタルコンポーネントがオーディオデジタルコンポーネントを含む、請求項41に記載のデータ処理システム。
- 前記複数の電子デバイスにサービスするための複数の応答を保持するための前記メモリであって、前記複数の応答の各応答が、前記複数の電子デバイスによってサポートされる前記複数のデバイスアクションコマンドペアのうちの対応するデバイスアクションコマンドペアにマッピングされる、前記メモリと、
前記デバイスアクションコマンドペアに対応する、前記複数の応答のうちの応答を識別するための、前記デバイスアクションカスタマイゼーション構成要素と、
前記応答を前記電子デバイスへ提示のために送信するための前記通信インターフェースと
を備える、請求項41に記載のデータ処理システム。 - 前記複数のデバイスアクションコマンドペアのうちのデバイスアクションコマンドペアごとに1つまたは複数の対応するキーワードを保持するための前記メモリと、
前記自然言語プロセッサ構成要素によって識別される前記デバイスアクションコマンドペアに関連付けられた前記1つまたは複数のキーワードに基づいて、前記音声ベース照会の前記コンテキストを識別するための、前記デバイスアクションカスタマイゼーション構成要素と
を備える、請求項41に記載のデータ処理システム。 - 前記識別子が、前記複数の電子デバイスのデバイスモデルを示すデバイスモデル識別子(ID)を含み、前記複数のデバイスアクションコマンドペアが、前記デバイスモデルに特有である、請求項41に記載のデータ処理システム。
- デバイスモデルに関連付けられた前記複数の電子デバイスの記述を保持するための前記メモリと、
デバイスモデルに関連付けられた前記複数の電子デバイスの前記記述に基づいて、前記音声ベース照会の前記コンテキストの属性を識別するための、前記デバイスアクションカスタマイゼーション構成要素と
を備える、請求項46に記載のデータ処理システム。 - 前記識別子が、前記複数の電子デバイス上にインストールされたアプリケーションに関連付けられた識別子を含み、前記複数のデバイスアクションコマンドペアが、前記アプリケーションに特有である、請求項41に記載のデータ処理システム。
- 前記複数の電子デバイス上にインストールされた前記アプリケーションの記述を保持するための前記メモリと、
前記複数の電子デバイス上にインストールされた前記アプリケーションの前記記述に基づいて、前記音声ベース照会の前記コンテキストの属性を識別するための、前記デバイスアクションカスタマイゼーション構成要素と
を備える、請求項48に記載のデータ処理システム。 - 前記デバイスアクションコマンドペアに関連付けられた前記デバイス実行可能コマンドの1つまたは複数のパラメータ値を識別するための前記デバイスアクションカスタマイゼーション構成要素と、
前記デバイスアクションコマンドペアに関連付けられた前記デバイス実行可能コマンドの前記1つまたは複数のパラメータ値に基づいて、前記音声ベース照会の前記コンテキストの属性を識別するための、前記デバイスアクションカスタマイゼーション構成要素と
を備える、請求項48に記載のデータ処理システム。 - 前記データ処理システムへの前記デバイスアクションデータおよび前記識別子の送信を可能にするためのユーザインターフェースを提供するための前記デバイスアクションカスタマイゼーション構成要素を備える、請求項41に記載のデータ処理システム。
- 前記データ処理システムへの前記デバイスアクションデータおよび前記識別子の送信を可能にするためのRESTfulアプリケーションプログラミングインターフェース(API)を提供するための前記デバイスアクションカスタマイゼーション構成要素を備える、請求項41に記載のデータ処理システム。
- 音声ベース対話に応答してコンテンツを提供する方法であって、
複数の電子デバイスによってサポートされる複数のデバイスアクションコマンドペアを含むデバイスアクションデータをメモリの中に記憶するステップであって、各デバイスアクションコマンドペアが、複数のデバイスアクションのそれぞれのデバイスアクション、および前記それぞれのデバイスアクションの遂行をトリガするための複数のデバイス実行可能コマンドのそれぞれのデバイス実行可能コマンドを含む、ステップと、
前記複数の電子デバイスによってサポートされる前記複数のデバイスアクションコマンドペアの各々に識別子をマッピングするステップと、
オーディオ信号および前記識別子を電子デバイスから受信するステップであって、前記オーディオ信号が、音声ベース照会に応答して前記電子デバイスによって取得される、ステップと、
前記オーディオ信号に関連付けられたコンテンツ、および前記識別子を使用して、前記複数のデバイスアクションコマンドペアのうちのデバイスアクションコマンドペアを識別するステップと、
前記デバイスアクションデータまたは前記デバイスアクションコマンドペアに基づいて前記音声ベース照会のコンテキストを識別するステップと、
前記音声ベース照会の前記コンテキストに基づいてデジタルコンポーネントを選択するステップと、
前記デジタルコンポーネント、および前記デバイスアクションコマンドペアに関連付けられたデバイス実行可能コマンドを、前記電子デバイスへ送信するステップであって、前記デバイス実行可能コマンドが、前記デバイスアクションコマンドペアに関連付けられた前記デバイスアクションを遂行させ、前記デジタルコンポーネントが、前記電子デバイスによって提示されるものである、ステップと
を備える方法。 - 前記デバイスアクションコマンドペアに関連付けられた第1のデバイスアクションを使用して、前記音声ベース照会に関連付けられたデバイスアクションの既定のシーケンスを識別するステップと、
デバイスアクションの前記既定のシーケンスの中の、前記デバイスアクションコマンドペアに関連付けられた前記第1のデバイスアクションに後続する、1つまたは複数の第2のデバイスアクションを識別するステップと、
前記デバイスアクションに後続する前記1つまたは複数の第2のデバイスアクションに基づいて、前記音声ベース照会の前記コンテキストの属性を識別するステップと
を備える、請求項53に記載の方法。 - 前記複数のデバイスアクションコマンドペアのうちのデバイスアクションコマンドペアごとに、1つまたは複数の対応するキーワードを保持するステップと、
自然言語プロセッサ構成要素によって識別される前記デバイスアクションコマンドペアに関連付けられた前記1つまたは複数のキーワードに基づいて、前記音声ベース照会の前記コンテキストを識別するステップと
を備える、請求項53に記載の方法。 - 前記識別子が、前記複数の電子デバイスのデバイスモデルを示すデバイスモデル識別子(ID)を含み、前記複数のデバイスアクションコマンドペアが、前記デバイスモデルに特有である、請求項53に記載の方法。
- デバイスモデルに関連付けられた前記複数の電子デバイスの記述を保持するステップと、
デバイスモデルに関連付けられた前記複数の電子デバイスの前記記述に基づいて、前記音声ベース照会の前記コンテキストの属性を識別するステップと
を備える、請求項56に記載の方法。 - 前記識別子が、前記複数の電子デバイス上にインストールされたアプリケーションに関連付けられた識別子を含み、前記複数のデバイスアクションコマンドペアが、アプリケーションに特有である、請求項53に記載の方法。
- 前記複数の電子デバイス上にインストールされた前記アプリケーションの記述を保持するステップと、
前記複数の電子デバイス上にインストールされた前記アプリケーションの前記記述に基づいて、前記音声ベース照会の前記コンテキストの属性を識別するステップと
を備える、請求項58に記載の方法。 - 前記デバイスアクションコマンドペアに関連付けられた前記デバイス実行可能コマンドの1つまたは複数のパラメータ値を識別するステップと、
前記デバイスアクションコマンドペアに関連付けられた前記デバイス実行可能コマンドの前記1つまたは複数のパラメータ値に基づいて、前記音声ベース照会の前記コンテキストの属性を識別するステップと
を備える、請求項58に記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022133277A JP2022164744A (ja) | 2018-03-07 | 2022-08-24 | カスタムデバイスアクションの音声ベースの起動のためのシステムおよび方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862640007P | 2018-03-07 | 2018-03-07 | |
US62/640,007 | 2018-03-07 | ||
PCT/US2018/031454 WO2019172948A1 (en) | 2018-03-07 | 2018-05-07 | Systems and methods for voice-based initiation of custom device actions |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022133277A Division JP2022164744A (ja) | 2018-03-07 | 2022-08-24 | カスタムデバイスアクションの音声ベースの起動のためのシステムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021515911A JP2021515911A (ja) | 2021-06-24 |
JP7130761B2 true JP7130761B2 (ja) | 2022-09-05 |
Family
ID=62386969
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020546986A Active JP7130761B2 (ja) | 2018-03-07 | 2018-05-07 | カスタムデバイスアクションの音声ベースの起動のためのシステムおよび方法 |
JP2022133277A Pending JP2022164744A (ja) | 2018-03-07 | 2022-08-24 | カスタムデバイスアクションの音声ベースの起動のためのシステムおよび方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022133277A Pending JP2022164744A (ja) | 2018-03-07 | 2022-08-24 | カスタムデバイスアクションの音声ベースの起動のためのシステムおよび方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11314481B2 (ja) |
EP (1) | EP3596729A1 (ja) |
JP (2) | JP7130761B2 (ja) |
KR (2) | KR102520068B1 (ja) |
CN (2) | CN110574105B (ja) |
WO (1) | WO2019172948A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112020707A (zh) * | 2018-01-05 | 2020-12-01 | 国立大学法人九州工业大学 | 标签添加装置、标签添加方法以及程序 |
US11127395B1 (en) * | 2018-05-23 | 2021-09-21 | Amazon Technologies, Inc. | Device-specific skill processing |
KR20200055819A (ko) * | 2018-11-08 | 2020-05-22 | 현대자동차주식회사 | 서비스 로봇 및 그의 운용 방법 |
KR20200098025A (ko) * | 2019-02-11 | 2020-08-20 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
KR20200109140A (ko) * | 2019-03-12 | 2020-09-22 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 제어 방법 |
CN112164400A (zh) * | 2020-09-18 | 2021-01-01 | 广州小鹏汽车科技有限公司 | 语音交互方法、服务器和计算机可读存储介质 |
KR20220118766A (ko) * | 2021-02-19 | 2022-08-26 | 삼성전자주식회사 | 발화 입력에 기초한 커맨드를 처리하는 방법 및 모바일 디바이스 |
CN112540545B (zh) * | 2021-02-22 | 2021-04-30 | 武汉世聪智能科技有限公司 | 一种基于多智能系统的智能设备控制方法及系统 |
US11915708B2 (en) * | 2021-03-18 | 2024-02-27 | Samsung Electronics Co., Ltd. | Methods and systems for invoking a user-intended internet of things (IoT) device from a plurality of IoT devices |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001014134A (ja) | 1999-05-21 | 2001-01-19 | Canon Inc | ネットワークシステム、ネットワークシステムにおけるサーバ及び装置 |
Family Cites Families (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69712485T2 (de) | 1997-10-23 | 2002-12-12 | Sony Int Europe Gmbh | Sprachschnittstelle für ein Hausnetzwerk |
US8498871B2 (en) * | 2001-11-27 | 2013-07-30 | Advanced Voice Recognition Systems, Inc. | Dynamic speech recognition and transcription among users having heterogeneous protocols |
US20050234779A1 (en) * | 2003-11-17 | 2005-10-20 | Leo Chiu | System for dynamic AD selection and placement within a voice application accessed through an electronic information pace |
EP1922717A4 (en) * | 2005-08-09 | 2011-03-23 | Mobile Voice Control Llc | USE OF MULTIPLE VOICE RECOGNITION SOFTWARE |
US7818176B2 (en) * | 2007-02-06 | 2010-10-19 | Voicebox Technologies, Inc. | System and method for selecting and presenting advertisements based on natural language processing of voice-based input |
US8538757B2 (en) * | 2007-05-17 | 2013-09-17 | Redstart Systems, Inc. | System and method of a list commands utility for a speech recognition command system |
US8745213B2 (en) | 2008-12-19 | 2014-06-03 | Openpeak Inc. | Managed services platform and method of operation of same |
US10264138B2 (en) * | 2009-01-28 | 2019-04-16 | Headwater Research Llc | Mobile device and service management |
US20110067059A1 (en) * | 2009-09-15 | 2011-03-17 | At&T Intellectual Property I, L.P. | Media control |
US20110271210A1 (en) * | 2010-04-30 | 2011-11-03 | American Teleconferncing Services Ltd. | Conferencing Application Store |
US8805683B1 (en) * | 2012-02-24 | 2014-08-12 | Google Inc. | Real-time audio recognition protocol |
TWI453603B (zh) | 2010-06-30 | 2014-09-21 | Ibm | 平台無關之資訊處理系統,其通訊方法,及其電腦程式產品 |
US8787987B2 (en) * | 2010-10-19 | 2014-07-22 | General Motors Llc | Configuring of vehicle communications modules |
US10069781B2 (en) | 2015-09-29 | 2018-09-04 | Theatro Labs, Inc. | Observation platform using structured communications with external devices and systems |
US9847083B2 (en) * | 2011-11-17 | 2017-12-19 | Universal Electronics Inc. | System and method for voice actuated configuration of a controlling device |
KR101972955B1 (ko) * | 2012-07-03 | 2019-04-26 | 삼성전자 주식회사 | 음성을 이용한 사용자 디바이스들 간 서비스 연결 방법 및 장치 |
US20140025230A1 (en) | 2012-07-17 | 2014-01-23 | Elwha LLC, a limited liability company of the State of Delaware | Unmanned device interaction methods and systems |
US20140024999A1 (en) | 2012-07-17 | 2014-01-23 | Elwha LLC, a limited liability company of the State of Delaware | Unmanned device utilization methods and systems |
US8953757B2 (en) * | 2012-08-06 | 2015-02-10 | Angel.Com Incorporated | Preloading contextual information for applications using a conversation assistant |
US9196250B2 (en) | 2012-11-16 | 2015-11-24 | 2236008 Ontario Inc. | Application services interface to ASR |
US9172747B2 (en) * | 2013-02-25 | 2015-10-27 | Artificial Solutions Iberia SL | System and methods for virtual assistant networks |
US9397836B2 (en) * | 2014-08-11 | 2016-07-19 | Fisher-Rosemount Systems, Inc. | Securing devices to process control systems |
US9189196B2 (en) * | 2013-03-14 | 2015-11-17 | Google Inc. | Compartmentalized self registration of external devices |
US9462663B2 (en) * | 2013-05-28 | 2016-10-04 | Abl Ip Holding Llc | Interactive user interface functionality for lighting devices or system |
US9443527B1 (en) * | 2013-09-27 | 2016-09-13 | Amazon Technologies, Inc. | Speech recognition capability generation and control |
US9698999B2 (en) * | 2013-12-02 | 2017-07-04 | Amazon Technologies, Inc. | Natural language control of secondary device |
JP6543460B2 (ja) * | 2013-12-18 | 2019-07-10 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | 音声認識問い合わせ応答システム |
US9823811B2 (en) | 2013-12-31 | 2017-11-21 | Next It Corporation | Virtual assistant team identification |
US9966065B2 (en) * | 2014-05-30 | 2018-05-08 | Apple Inc. | Multi-command single utterance input method |
US10448307B2 (en) * | 2014-07-15 | 2019-10-15 | Comcast Cable Communications, Llc | Systems and methods for managing network devices |
US9318107B1 (en) | 2014-10-09 | 2016-04-19 | Google Inc. | Hotword detection on multiple devices |
US9741344B2 (en) * | 2014-10-20 | 2017-08-22 | Vocalzoom Systems Ltd. | System and method for operating devices using voice commands |
KR102277259B1 (ko) * | 2014-11-26 | 2021-07-14 | 엘지전자 주식회사 | 디바이스 제어 시스템, 디지털 디바이스 및 디지털 디바이스 제어 방법 |
US10147421B2 (en) | 2014-12-16 | 2018-12-04 | Microcoft Technology Licensing, Llc | Digital assistant voice input integration |
US9552816B2 (en) * | 2014-12-19 | 2017-01-24 | Amazon Technologies, Inc. | Application focus in speech-based systems |
US9811312B2 (en) | 2014-12-22 | 2017-11-07 | Intel Corporation | Connected device voice command support |
US10509829B2 (en) * | 2015-01-21 | 2019-12-17 | Microsoft Technology Licensing, Llc | Contextual search using natural language |
US9947364B2 (en) | 2015-09-16 | 2018-04-17 | Google Llc | Enhancing audio using multiple recording devices |
US20170092278A1 (en) | 2015-09-30 | 2017-03-30 | Apple Inc. | Speaker recognition |
US9747926B2 (en) | 2015-10-16 | 2017-08-29 | Google Inc. | Hotword recognition |
US9928840B2 (en) | 2015-10-16 | 2018-03-27 | Google Llc | Hotword recognition |
US9653075B1 (en) | 2015-11-06 | 2017-05-16 | Google Inc. | Voice commands across devices |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10743101B2 (en) | 2016-02-22 | 2020-08-11 | Sonos, Inc. | Content mixing |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
US10958695B2 (en) | 2016-06-21 | 2021-03-23 | Google Llc | Methods, systems, and media for recommending content based on network conditions |
US9972320B2 (en) | 2016-08-24 | 2018-05-15 | Google Llc | Hotword detection on multiple devices |
US10528977B1 (en) * | 2016-09-22 | 2020-01-07 | Amazon Technologies, Inc. | Generating dynamic audio content for delivery to audio devices |
US10096319B1 (en) * | 2017-03-13 | 2018-10-09 | Amazon Technologies, Inc. | Voice-based determination of physical and emotional characteristics of users |
CN107507614B (zh) * | 2017-07-28 | 2018-12-21 | 北京小蓦机器人技术有限公司 | 结合ui执行自然语言命令的方法、设备、系统与存储介质 |
US11450314B2 (en) * | 2017-10-03 | 2022-09-20 | Google Llc | Voice user interface shortcuts for an assistant application |
CN107919129A (zh) * | 2017-11-15 | 2018-04-17 | 百度在线网络技术(北京)有限公司 | 用于控制页面的方法和装置 |
-
2018
- 2018-05-07 KR KR1020207028683A patent/KR102520068B1/ko active IP Right Grant
- 2018-05-07 EP EP18727937.7A patent/EP3596729A1/en not_active Ceased
- 2018-05-07 CN CN201880028784.5A patent/CN110574105B/zh active Active
- 2018-05-07 WO PCT/US2018/031454 patent/WO2019172948A1/en unknown
- 2018-05-07 US US15/781,787 patent/US11314481B2/en active Active
- 2018-05-07 KR KR1020237011704A patent/KR20230051619A/ko not_active Application Discontinuation
- 2018-05-07 CN CN202410003320.6A patent/CN117877477A/zh active Pending
- 2018-05-07 JP JP2020546986A patent/JP7130761B2/ja active Active
-
2022
- 2022-04-25 US US17/728,614 patent/US20220244910A1/en active Pending
- 2022-08-24 JP JP2022133277A patent/JP2022164744A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001014134A (ja) | 1999-05-21 | 2001-01-19 | Canon Inc | ネットワークシステム、ネットワークシステムにおけるサーバ及び装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2022164744A (ja) | 2022-10-27 |
CN110574105A (zh) | 2019-12-13 |
JP2021515911A (ja) | 2021-06-24 |
US11314481B2 (en) | 2022-04-26 |
EP3596729A1 (en) | 2020-01-22 |
KR20230051619A (ko) | 2023-04-18 |
KR20200128725A (ko) | 2020-11-16 |
US20220244910A1 (en) | 2022-08-04 |
US20210026593A1 (en) | 2021-01-28 |
KR102520068B1 (ko) | 2023-04-10 |
WO2019172948A1 (en) | 2019-09-12 |
CN117877477A (zh) | 2024-04-12 |
CN110574105B (zh) | 2024-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7130761B2 (ja) | カスタムデバイスアクションの音声ベースの起動のためのシステムおよび方法 | |
US11183182B2 (en) | Systems and methods for voice-based initiation of custom device actions | |
KR102389331B1 (ko) | 컴퓨팅 디바이스간의 액세스 제어 동기화 | |
US20150242420A1 (en) | Location-Based Searching | |
RU2620999C2 (ru) | Звуковое представление сжатой пространственной контекстной информации | |
EP3610378B1 (en) | Immersive web-based simulator for digital assistant-based applications | |
CN112351350B (zh) | 一种内容显示方法、装置、系统、设备及存储介质 | |
CN107924403B (zh) | 查询组成系统 | |
CN109964457B (zh) | 用于上下文信息显示的统一资源标识符和图像共享 | |
US11785094B2 (en) | Secure content delivery computer system | |
AU2021329831A1 (en) | Secure content delivery computer system | |
JP2019175290A (ja) | 情報処理システム、情報処理装置、サーバ、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201106 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220309 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220824 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7130761 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |