JP6817467B2 - 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 - Google Patents
画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 Download PDFInfo
- Publication number
- JP6817467B2 JP6817467B2 JP2019563496A JP2019563496A JP6817467B2 JP 6817467 B2 JP6817467 B2 JP 6817467B2 JP 2019563496 A JP2019563496 A JP 2019563496A JP 2019563496 A JP2019563496 A JP 2019563496A JP 6817467 B2 JP6817467 B2 JP 6817467B2
- Authority
- JP
- Japan
- Prior art keywords
- additional
- request
- sensor data
- initial
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 115
- 238000000034 method Methods 0.000 claims description 83
- 230000004044 response Effects 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 13
- 238000013481 data capture Methods 0.000 claims description 5
- 239000003795 chemical substances by application Substances 0.000 description 38
- 230000007613 environmental effect Effects 0.000 description 13
- 238000012015 optical character recognition Methods 0.000 description 9
- 230000015654 memory Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000001755 vocal effect Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 238000001931 thermography Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 240000005561 Musa balbisiana Species 0.000 description 1
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 231100000735 select agent Toxicity 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
- G06F16/90332—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
Description
1061-N クライアント装置
1071-N メッセージ交換クライアント
1091-N カメラアプリケーション
1111-N カメラ
1131-N 追加センサ
120 自動アシスタント
122 自然言語プロセッサ
124 要求エンジン
126 プロンプトエンジン
130 要求解決エンジン
132 属性モジュール
142 画像処理エンジン
144 追加処理エンジン
146 エージェント
148 リソースデータベース
160 タッチスクリーン
164 ユーザ入力フィールド
1661,2 グラフィカル要素
261 ワインのボトル
261A 描画
261B 描画
261C 描画
272A プロンプト
272B 出力
372A 出力
472A プロンプト
572A 出力
572B 応答
572C 選択可能なオプション
574A 自然言語入力
661 掃除機ロボット
672A プロンプト
672B プロンプト
672C 出力
674A 自然言語入力
772A プロンプト
772B 出力
774A 自然言語入力
910 コンピューティング装置例
912 バスサブシステム
914 プロセッサ
916 ネットワークインタフェース
920 ユーザインタフェース出力デバイス
922 ユーザインタフェース入力デバイス
924 記憶サブシステム
925 メモリサブシステム
926 ファイル記憶サブシステム
930 ランダムアクセスメモリ
932 リードオンリメモリ
Claims (18)
クライアント装置の自動アシスタントインタフェースを介して、ユーザによって与えられる音声入力を受け取るステップと、
前記音声入力が前記クライアント装置の環境内の物体に関連した要求を含むと判定するステップと、
前記音声入力が前記物体に関連した前記要求を含むとの判定に応じて、
少なくとも1つのセンサによって取得される初期センサデータに処理が行われるようにするステップであって、前記少なくとも1つのセンサが、前記クライアント装置または前記環境内の追加の電子装置のものであり、前記初期センサデータが、前記物体の1つまたは複数の特性を捉える、ステップと、
前記初期センサデータの前記処理に基づいて解決される前記物体の1つまたは複数の初期属性に基づいて、前記要求が前記初期センサデータに基づいて解決可能でないと判定するステップであって、前記1つまたは複数の初期属性に基づいて、前記要求が解決可能でないと判定することが、前記1つまたは複数の初期属性が前記要求を解決するために必要な特異度で前記物体を定義することができないと判定することを含み、前記特異度が、分類学における目標分類度である、ステップと、
前記要求が解決可能でないとの判定に応じて、
前記クライアント装置の前記自動アシスタントインタフェースを介する前記ユーザへの提示のために、前記ユーザに追加センサデータを取得するまたは前記物体を動かすように命令するプロンプトを提供するステップと、
追加センサデータを受け取るステップであって、前記追加センサデータが、前記プロンプトが前記ユーザに提示された後に前記クライアント装置または前記追加の電子装置によって取得される、ステップと、
前記追加センサデータに処理が行われるようにするステップと、
前記追加センサデータの前記処理に基づいて解決される少なくとも1つの追加属性に基づいて前記要求を解決するステップとを含む、
方法。
前記方法が、前記音声入力が前記物体に関連した前記要求を含むとの判定に応じて、
前記少なくとも1つの初期画像が取得されるようにするステップをさらに含む、
請求項1に記載の方法。
請求項2に記載の方法。
請求項1に記載の方法。
前記初期センサデータの前記処理に基づいて解決される前記1つまたは複数の初期属性に基づいて、かつ前記追加センサデータの前記処理に基づいて解決される前記少なくとも1つの追加属性に基づいて、前記要求が依然として解決可能でないと判定するステップと、
前記要求が依然として解決可能でないとの判定に応じて、
前記クライアント装置の前記自動アシスタントインタフェースを介する前記ユーザへの提示のために追加プロンプトを提供するステップとをさらに含み、
前記要求を解決するステップが、前記追加プロンプトに応じて受け取られる入力に基づいて解決される少なくとも1つのさらなる追加属性にさらに基づく、
請求項1に記載の方法。
前記入力が、前記クライアント装置または前記追加の電子装置のカメラによって取得される画像である、
請求項5に記載の方法。
前記さらなる追加属性が、前記さらなる自然言語入力に基づいて決定される、
請求項5に記載の方法。
前記初期出力を提供したことに応じてユーザフィードバックを受け取るステップと、
前記ユーザフィードバックに基づいて前記特異度を決定するステップとをさらに含む、
請求項1に記載の方法。
請求項1に記載の方法。
請求項1に記載の方法。
少なくとも1つの追加画像の画像処理に基づいて解決される前記少なくとも1つの追加属性に基づいて前記要求を解決するステップが、
前記少なくとも1つの追加属性に基づいて追加内容を生成するステップと、
前記クライアント装置の前記自動アシスタントインタフェースを介して、前記要求への応答として前記ユーザへの提示のために前記追加内容を提供するステップとを含む、
請求項1に記載の方法。
1つまたは複数のネットワークを通じてかつアプリケーションプログラミングインタフェースを介してエージェントに、前記追加属性に基づいて生成されるエージェント要求を送信するステップと、
前記エージェント要求を送信したことに応じて前記エージェントから前記追加内容を受信するステップとを含む、
請求項11に記載の方法。
クライアント装置の自動アシスタントインタフェースを介して、ユーザによって与えられる音声入力を受け取るステップと、
前記音声入力が前記クライアント装置の環境内の物体に関連した要求を含むと判定するステップと、
前記音声入力が前記物体に関連した前記要求を含むとの判定に応じて、
少なくとも1つのセンサによって取得される初期センサデータに処理が行われるようにするステップであって、前記少なくとも1つのセンサが前記クライアント装置または前記環境内の追加の電子装置のものであり、前記初期センサデータが前記物体の1つまたは複数の特性を捉える、ステップと、
前記初期センサデータの前記処理に基づいて解決される前記物体の1つまたは複数の初期属性に基づいて、前記要求が前記初期センサデータに基づいて解決可能でないと判定するステップであって、前記要求が前記1つまたは複数の初期属性に基づいて解決可能でないと判定することが、前記1つまたは複数の初期属性が前記要求を解決するために必要な特異度で前記物体を定義することができないと判定することを含み、前記特異度を決定することが、前記クライアント装置の前記自動アシスタントインタフェースを介する前記ユーザへの提示のために初期出力を提供することを含み、前記初期出力が、前記初期属性に基づく、ステップと、
前記初期出力を提供したことに応じてユーザフィードバックを受け取って、前記ユーザフィードバックに基づいて前記特異度を決定するステップと、
前記要求が解決可能でないとの判定に応じて、
前記クライアント装置の前記自動アシスタントインタフェースを介する前記ユーザへの提示のために、前記ユーザに追加センサデータを取得するまたは前記物体を動かすように命令するプロンプトを提供するステップと、
追加センサデータを受け取るステップであって、前記追加センサデータが、前記プロンプトが前記ユーザに提示された後に前記クライアント装置または前記追加の電子装置によって取得される、ステップと、
前記追加センサデータに処理が行われるようにするステップと、
前記追加センサデータの前記処理に基づいて解決される少なくとも1つの追加属性に基づいて前記要求を解決するステップとを含む、
方法。
クライアント装置の自動アシスタントインタフェースを介して、ユーザによって与えられる音声入力を受け取るステップと、
前記音声入力が前記クライアント装置の環境内の物体に関連した要求を含むと判定するステップと、
前記音声入力が前記物体に関連した前記要求を含むとの判定に応じて、
少なくとも1つのセンサによって取得される初期センサデータに処理が行われるようにするステップであって、前記少なくとも1つのセンサが前記クライアント装置または前記環境内の追加の電子装置のものであり、前記初期センサデータが前記物体の1つまたは複数の特性を捉える、ステップと、
前記初期センサデータの前記処理に基づいて解決される前記物体の1つまたは複数の初期属性に基づいて、前記要求が前記初期センサデータに基づいて解決可能でないと判定するステップと、
前記要求が解決可能でないとの判定に応じて、
前記クライアント装置の前記自動アシスタントインタフェースを介する前記ユーザへの提示のために、前記ユーザに追加センサデータを取得するまたは前記物体を動かすように命令するプロンプトを提供するステップと、
追加センサデータを受け取るステップであって、前記追加センサデータが、前記プロンプトが前記ユーザに提示された後に前記クライアント装置または前記追加の電子装置によって取得される、ステップと、
前記追加センサデータに処理が行われるようにして、前記物体の少なくとも1つの追加属性を解決するステップと、
前記初期センサデータの前記処理に基づいて解決される前記1つまたは複数の初期属性に基づいて、かつ前記追加センサデータの前記処理に基づいて解決される前記少なくとも1つの追加属性に基づいて、前記要求が依然として解決可能でないと判定するステップと、
前記要求が依然として解決可能でないとの判定に応じて、
前記クライアント装置の前記自動アシスタントインタフェースを介する前記ユーザへの提示のために追加プロンプトを提供するステップと、
前記追加センサデータの前記処理に基づいて解決される前記少なくとも1つの追加属性に基づいて、かつ前記追加プロンプトに応じて受け取られる入力に基づいて解決される少なくとも1つのさらなる追加属性に基づいて前記要求を解決するステップとを含む、
方法。
前記入力が、前記クライアント装置または前記追加の電子装置のカメラによって取得される画像である、
請求項14に記載の方法。
前記さらなる追加属性が、前記さらなる自然言語入力に基づいて決定される、
請求項14に記載の方法。
クライアント装置の自動アシスタントインタフェースを介して、ユーザによって与えられる音声入力を受け取るステップと、
前記音声入力が前記クライアント装置の環境内の物体に関連した要求を含むと判定するステップと、
前記音声入力が前記物体に関連した前記要求を含むとの判定に応じて、
少なくとも1つのセンサによって取得される初期センサデータに処理が行われるようにするステップであって、前記少なくとも1つのセンサが前記クライアント装置または前記環境内の追加の電子装置のものであり、前記初期センサデータが、前記物体の1つまたは複数の特性を捉える、ステップと、
前記初期センサデータの前記処理に基づいて解決される前記物体の1つまたは複数の初期属性に基づいて、前記要求が前記初期センサデータに基づいて解決可能でないと判定するステップであって、前記要求が前記1つまたは複数の初期属性に基づいて解決可能でないと判定することが、前記1つまたは複数の初期属性が前記要求を解決するために必要な特異度で前記物体を定義することができないと判定することを含み、前記特異度を決定することが、前記初期センサデータの前記処理に基づいて解決される前記物体の前記1つまたは複数の初期属性の分類属性に基づいて前記特異度を決定することを含む、ステップと、
前記要求が解決可能でないとの判定に応じて、
前記クライアント装置の前記自動アシスタントインタフェースを介する前記ユーザへの提示のために、前記ユーザに追加センサデータを取得するまたは前記物体を動かすように命令するプロンプトを提供するステップと、
追加センサデータを受け取るステップであって、前記追加センサデータが、前記プロンプトが前記ユーザに提示された後に前記クライアント装置または前記追加の電子装置によって取得される、ステップと、
前記追加センサデータに処理が行われるようにするステップと、
前記追加センサデータの前記処理に基づいて解決される少なくとも1つの追加属性に基づいて前記要求を解決するステップとを含む、
方法。
前記要求が前記1つまたは複数の初期属性に基づいて解決可能でないと判定するステップが、
前記項目の1つまたは複数が前記初期属性によって未定義であると判定するステップを含む、
請求項17に記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020213554A JP6891337B2 (ja) | 2017-05-16 | 2020-12-23 | 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762507153P | 2017-05-16 | 2017-05-16 | |
US62/507,153 | 2017-05-16 | ||
US15/631,274 US10275651B2 (en) | 2017-05-16 | 2017-06-23 | Resolving automated assistant requests that are based on image(s) and/or other sensor data |
US15/631,274 | 2017-06-23 | ||
PCT/US2018/032786 WO2018213321A1 (en) | 2017-05-16 | 2018-05-15 | Resolving automated assistant requests that are based on image(s) and/or other sensor data |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020213554A Division JP6891337B2 (ja) | 2017-05-16 | 2020-12-23 | 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020521167A JP2020521167A (ja) | 2020-07-16 |
JP6817467B2 true JP6817467B2 (ja) | 2021-01-20 |
Family
ID=64271738
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019563496A Active JP6817467B2 (ja) | 2017-05-16 | 2018-05-15 | 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 |
JP2020213554A Active JP6891337B2 (ja) | 2017-05-16 | 2020-12-23 | 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 |
JP2021087707A Active JP7159392B2 (ja) | 2017-05-16 | 2021-05-25 | 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 |
JP2022164139A Pending JP2023001128A (ja) | 2017-05-16 | 2022-10-12 | 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020213554A Active JP6891337B2 (ja) | 2017-05-16 | 2020-12-23 | 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 |
JP2021087707A Active JP7159392B2 (ja) | 2017-05-16 | 2021-05-25 | 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 |
JP2022164139A Pending JP2023001128A (ja) | 2017-05-16 | 2022-10-12 | 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 |
Country Status (6)
Country | Link |
---|---|
US (4) | US10275651B2 (ja) |
EP (2) | EP4206899A1 (ja) |
JP (4) | JP6817467B2 (ja) |
KR (2) | KR102097621B1 (ja) |
CN (2) | CN110637284B (ja) |
WO (1) | WO2018213321A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10275651B2 (en) | 2017-05-16 | 2019-04-30 | Google Llc | Resolving automated assistant requests that are based on image(s) and/or other sensor data |
US11004444B2 (en) * | 2017-09-08 | 2021-05-11 | Amazon Technologies, Inc. | Systems and methods for enhancing user experience by communicating transient errors |
US10970552B2 (en) * | 2017-09-28 | 2021-04-06 | Gopro, Inc. | Scene classification for image processing |
US11487501B2 (en) * | 2018-05-16 | 2022-11-01 | Snap Inc. | Device control using audio data |
KR20210017087A (ko) * | 2019-08-06 | 2021-02-17 | 삼성전자주식회사 | 음성 인식 방법 및 이를 지원하는 전자 장치 |
KR20210020219A (ko) * | 2019-08-13 | 2021-02-24 | 삼성전자주식회사 | 대용어(Co-reference)를 이해하는 전자 장치 및 그 제어 방법 |
US11036724B2 (en) | 2019-09-04 | 2021-06-15 | Microsoft Technology Licensing, Llc | Interactive visual search engine |
US11386144B2 (en) * | 2019-09-09 | 2022-07-12 | Adobe Inc. | Identifying digital attributes from multiple attribute groups within target digital images utilizing a deep cognitive attribution neural network |
US11803887B2 (en) | 2019-10-02 | 2023-10-31 | Microsoft Technology Licensing, Llc | Agent selection using real environment interaction |
US11636438B1 (en) | 2019-10-18 | 2023-04-25 | Meta Platforms Technologies, Llc | Generating smart reminders by assistant systems |
US11567788B1 (en) | 2019-10-18 | 2023-01-31 | Meta Platforms, Inc. | Generating proactive reminders for assistant systems |
US10916241B1 (en) * | 2019-12-30 | 2021-02-09 | Capital One Services, Llc | Theme detection for object-recognition-based notifications |
CN111524518B (zh) * | 2020-04-01 | 2023-04-18 | Oppo广东移动通信有限公司 | 增强现实处理方法及装置、存储介质和电子设备 |
US11558546B2 (en) * | 2020-11-24 | 2023-01-17 | Google Llc | Conditional camera control via automated assistant commands |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7680324B2 (en) | 2000-11-06 | 2010-03-16 | Evryx Technologies, Inc. | Use of image-derived information as search criteria for internet and other search engines |
JP2002228552A (ja) * | 2001-01-31 | 2002-08-14 | Mazda Motor Corp | 車両の遠隔故障診断用サーバ、車両の遠隔故障診断方法、遠隔故障診断用プログラム、車載の遠隔故障診断システム、及び、車両の遠隔故障診断システム |
US20060238550A1 (en) | 2005-03-17 | 2006-10-26 | Symagery Microsystems Inc. | Hands-free data acquisition system |
US8140335B2 (en) * | 2007-12-11 | 2012-03-20 | Voicebox Technologies, Inc. | System and method for providing a natural language voice user interface in an integrated voice navigation services environment |
US8175617B2 (en) * | 2009-10-28 | 2012-05-08 | Digimarc Corporation | Sensor-based mobile search, related methods and systems |
US9197736B2 (en) * | 2009-12-31 | 2015-11-24 | Digimarc Corporation | Intuitive computing methods and systems |
CA2792336C (en) * | 2010-03-19 | 2018-07-24 | Digimarc Corporation | Intuitive computing methods and systems |
RU2544824C2 (ru) * | 2010-05-17 | 2015-03-20 | ЭлДжи ЭЛЕКТРОНИКС ИНК. | Бытовое устройство, системы бытового устройства и способ приведения их в действие |
KR101275582B1 (ko) * | 2010-12-31 | 2013-06-17 | 엘지전자 주식회사 | 휴대 단말기의 동작방법 |
MX2012011426A (es) | 2011-09-30 | 2013-04-01 | Apple Inc | Utilizar informacion de contexto para facilitar el procesamiento de comandos en un asistente virtual. |
US9547647B2 (en) * | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
US9218192B2 (en) * | 2013-01-13 | 2015-12-22 | International Business Machines Corporation | Information handling device locally reproducing received defects by selecting an appropriate virtual machine image |
US10424009B1 (en) * | 2013-02-27 | 2019-09-24 | Amazon Technologies, Inc. | Shopping experience using multiple computing devices |
WO2014150921A1 (en) * | 2013-03-15 | 2014-09-25 | William Martin | Cord and cable identification and tracking system |
WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
US20150088923A1 (en) | 2013-09-23 | 2015-03-26 | Google Inc. | Using sensor inputs from a computing device to determine search query |
KR102188090B1 (ko) * | 2013-12-11 | 2020-12-04 | 엘지전자 주식회사 | 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템 |
KR102212030B1 (ko) | 2014-05-26 | 2021-02-04 | 엘지전자 주식회사 | 글래스 타입 단말기 및 이의 제어방법 |
KR20160065574A (ko) * | 2014-12-01 | 2016-06-09 | 엘지전자 주식회사 | 로봇 청소기 및 그의 제어방법 |
US9633019B2 (en) * | 2015-01-05 | 2017-04-25 | International Business Machines Corporation | Augmenting an information request |
US20160225372A1 (en) * | 2015-02-03 | 2016-08-04 | Samsung Electronics Company, Ltd. | Smart home connected device contextual learning using audio commands |
JP2016200666A (ja) * | 2015-04-08 | 2016-12-01 | 株式会社友功社 | 視覚障害者用商品説明システム |
US9697013B2 (en) * | 2015-06-10 | 2017-07-04 | Dell Products, L.P. | Systems and methods for providing technical support and exporting diagnostic data |
KR20170031558A (ko) * | 2015-09-11 | 2017-03-21 | 엘지전자 주식회사 | 이동 단말기, 및 홈 어플라이언스 |
GB2557532A (en) | 2015-10-21 | 2018-06-20 | Google Llc | Parameter collection and automatic dialog generation in dialog systems |
JP6693111B2 (ja) * | 2015-12-14 | 2020-05-13 | カシオ計算機株式会社 | 対話装置、ロボット、対話方法及びプログラム |
US20180053504A1 (en) * | 2016-08-19 | 2018-02-22 | Otis Elevator Company | Intention recognition for triggering voice recognition system |
US9928448B1 (en) * | 2016-09-23 | 2018-03-27 | International Business Machines Corporation | Image classification utilizing semantic relationships in a classification hierarchy |
US10182153B2 (en) * | 2016-12-01 | 2019-01-15 | TechSee Augmented Vision Ltd. | Remote distance assistance system and method |
AU2018216823B2 (en) * | 2017-01-31 | 2020-10-15 | Genesys Cloud Services Holdings II, LLC | System and method for speech-based interaction resolution |
US10049276B1 (en) * | 2017-02-28 | 2018-08-14 | DISH Technologies L.L.C. | Augmented reality installation/troubleshooting assistance |
US10355931B2 (en) * | 2017-04-17 | 2019-07-16 | Essential Products, Inc. | Troubleshooting voice-enabled home setup |
US10275651B2 (en) | 2017-05-16 | 2019-04-30 | Google Llc | Resolving automated assistant requests that are based on image(s) and/or other sensor data |
-
2017
- 2017-06-23 US US15/631,274 patent/US10275651B2/en active Active
-
2018
- 2018-05-15 EP EP22213539.4A patent/EP4206899A1/en active Pending
- 2018-05-15 CN CN201880032505.2A patent/CN110637284B/zh active Active
- 2018-05-15 EP EP18733009.7A patent/EP3612924A1/en not_active Withdrawn
- 2018-05-15 WO PCT/US2018/032786 patent/WO2018213321A1/en unknown
- 2018-05-15 JP JP2019563496A patent/JP6817467B2/ja active Active
- 2018-05-15 KR KR1020197035456A patent/KR102097621B1/ko active IP Right Grant
- 2018-05-15 KR KR1020207009097A patent/KR102290408B1/ko active IP Right Grant
- 2018-05-15 CN CN202011245475.9A patent/CN112445947A/zh active Pending
-
2019
- 2019-03-21 US US16/360,789 patent/US10867180B2/en active Active
-
2020
- 2020-11-10 US US17/093,880 patent/US11734926B2/en active Active
- 2020-12-23 JP JP2020213554A patent/JP6891337B2/ja active Active
-
2021
- 2021-05-25 JP JP2021087707A patent/JP7159392B2/ja active Active
-
2022
- 2022-10-12 JP JP2022164139A patent/JP2023001128A/ja active Pending
-
2023
- 2023-08-21 US US18/236,290 patent/US20230394816A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP6891337B2 (ja) | 2021-06-18 |
US11734926B2 (en) | 2023-08-22 |
KR20190138888A (ko) | 2019-12-16 |
US10275651B2 (en) | 2019-04-30 |
JP7159392B2 (ja) | 2022-10-24 |
EP3612924A1 (en) | 2020-02-26 |
US20230394816A1 (en) | 2023-12-07 |
KR102097621B1 (ko) | 2020-04-06 |
US20190220667A1 (en) | 2019-07-18 |
JP2021061027A (ja) | 2021-04-15 |
CN110637284B (zh) | 2020-11-27 |
KR102290408B1 (ko) | 2021-08-18 |
CN110637284A (zh) | 2019-12-31 |
JP2020521167A (ja) | 2020-07-16 |
EP4206899A1 (en) | 2023-07-05 |
US20210056310A1 (en) | 2021-02-25 |
KR20200037436A (ko) | 2020-04-08 |
JP2021120911A (ja) | 2021-08-19 |
WO2018213321A1 (en) | 2018-11-22 |
CN112445947A (zh) | 2021-03-05 |
US20180336414A1 (en) | 2018-11-22 |
US10867180B2 (en) | 2020-12-15 |
JP2023001128A (ja) | 2023-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6891337B2 (ja) | 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 | |
US11887595B2 (en) | User-programmable automated assistant | |
US11626115B2 (en) | Voice to text conversion based on third-party agent content | |
JP2021166083A (ja) | 取得画像に関連したメタデータの記憶 | |
CN110770694A (zh) | 获得来自多个语料库的响应信息 | |
US11392213B2 (en) | Selective detection of visual cues for automated assistants | |
JP2021509749A (ja) | アシスタントデバイスのディスプレイにレンダリングするコンテンツの選択 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200110 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200110 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200110 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200819 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201224 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6817467 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |