JP6974626B2 - IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 - Google Patents
IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 Download PDFInfo
- Publication number
- JP6974626B2 JP6974626B2 JP2020548705A JP2020548705A JP6974626B2 JP 6974626 B2 JP6974626 B2 JP 6974626B2 JP 2020548705 A JP2020548705 A JP 2020548705A JP 2020548705 A JP2020548705 A JP 2020548705A JP 6974626 B2 JP6974626 B2 JP 6974626B2
- Authority
- JP
- Japan
- Prior art keywords
- client device
- iot
- client
- notification
- command
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008859 change Effects 0.000 claims description 142
- 238000000034 method Methods 0.000 claims description 73
- 230000004044 response Effects 0.000 claims description 65
- 238000009877 rendering Methods 0.000 claims description 41
- 238000012544 monitoring process Methods 0.000 claims description 23
- 230000001755 vocal effect Effects 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 18
- 230000003993 interaction Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims 1
- 230000002452 interceptive effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000010587 phase diagram Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 230000015654 memory Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 150000001875 compounds Chemical class 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000005406 washing Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013475 authorization Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
- G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/30—Control
- G16Y40/35—Management of things, i.e. controlling in accordance with a policy or in order to achieve specified objectives
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
- H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
- H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Automation & Control Theory (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Selective Calling Equipment (AREA)
- Computer And Data Communications (AREA)
- User Interface Of Digital Computer (AREA)
- Alarm Systems (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Description
1061〜N クライアントコンピューティングデバイス
1071〜N ユーザインターフェース構成要素
114 音声キャプチャ/TTS/STTモジュール
116 TTSモジュール
117 STTモジュール
118 自動化アシスタントクライアント
1181 自動化アシスタントクライアント
118N 自動化アシスタントクライアント
119 クラウドベースの自動化アシスタント構成要素
120 自動化アシスタント
120A 第1の自動化アシスタント
120B 第2の自動化アシスタント
122 自然言語プロセッサ
130 IoT通知エンジン
135 ユーザ情報データベース
140 IoTシステム
1401 IoTシステム
1451〜N IoTデバイス
250〜262 部屋
300 状態図
370 IoTデータ
400 状態図
500 状態図
610 コンピューティングデバイス
612 バスサブシステム
614 プロセッサ
616 ネットワークインターフェース
620 ユーザインターフェース出力デバイス
622 ユーザインターフェース入力デバイス
624 ストレージサブシステム
625 メモリサブシステム
626 ファイルストレージサブシステム
630 RAM
632 ROM
Claims (19)
- 自動化アシスタントコンピューティングシステムの1つまたは複数のネットワークインターフェースを介して、モノのインターネット(IoT)状態変化通知を受信するステップであって、前記IoT状態変化通知が、少なくとも1つのIoTデバイスに関連する状態の変化の判定に応じて前記自動化アシスタントコンピューティングシステムに送信され、前記IoT状態変化通知が、
ユニーク識別子と、
前記少なくとも1つのIoTデバイスのインジケーションと、
前記少なくとも1つのIoTデバイスに関連する前記状態の前記変化を示す状態インジケーションと
を含む、ステップと、
前記ユニーク識別子に各々が関連付けられており、対応する自動化アシスタントクライアントを各々が有している、複数の候補アシスタントクライアントデバイスを、前記ユニーク識別子に基づいて、前記自動化アシスタントコンピューティングシステムによって特定するステップと、
前記複数の候補アシスタントクライアントデバイスのうちの少なくとも1つのクライアントデバイスのためのクライアントデバイス通知を、前記少なくとも1つのIoTデバイスの前記インジケーションに基づいておよび前記状態インジケーションに基づいて前記自動化アシスタントコンピューティングシステムによって生成するステップと、
前記1つのクライアントデバイスにコマンドを送信するステップであって、前記コマンドが、前記1つのクライアントデバイスの前記自動化アシスタントクライアントに、
前記1つのクライアントデバイスの少なくとも1つのユーザインターフェース出力デバイスを介して、前記生成されたクライアントデバイス通知を自動的にレンダリングすることであって、前記コマンドが、前記クライアントデバイスに、いかなる通知のレンダリングを明示的に要求するいかなるユーザインターフェース入力からも独立して前記生成されたクライアントデバイス通知を自動的にレンダリングさせる、ことと、
前記クライアントデバイス通知が少なくとも一部レンダリングされた後の期間の間、音声入力を自動的に監視することと、
前記音声入力の前記自動的な監視中に口頭の発話を検出したことに基づいて前記口頭の発話に対応するデータを送信することと
を行わせる、ステップと、
前記口頭の発話に対応する前記データを前記1つのクライアントデバイスから受信するステップと、
前記口頭の発話に対応する前記データに基づいておよび前記音声入力の前記自動的な監視中に前記口頭の発話を検出したことに基づいてIoTデバイスのコマンドを生成するステップと、
前記IoTデバイスのコマンドを送信するステップであって、前記IoTデバイスのコマンドを送信するステップが、前記少なくとも1つのIoTデバイスの前記状態またはさらなる状態の変化を引き起こす、ステップと
を含む、方法。 - 前記口頭の発話に対応する前記データに基づいておよび前記音声入力の前記自動的な監視中に前記口頭の発話を検出したことに基づいて前記IoTデバイスのコマンドを生成するステップが、
前記口頭の発話に対応する前記データに基づいて前記IoTデバイスのコマンドのための少なくとも1つの値を生成するステップと、
前記音声入力の前記自動的な監視中に前記口頭の発話を検出したことに基づいて前記IoTデバイスのコマンドのための少なくとも1つのさらなる値を推測するステップであって、前記少なくとも1つのさらなる値を推測するステップが、前記クライアントデバイス通知、または前記クライアントデバイス通知がそれに基づいて生成される前記IoT状態変化通知に基づく、ステップと
を含む、請求項1に記載の方法。 - 前記IoT状態変化通知に基づいて前記少なくとも1つのさらなる値を推測することが、前記IoT状態変化通知または前記クライアントデバイス通知に基づいて前記少なくとも1つのIoTデバイスの識別子を推測することを含む、請求項2に記載の方法。
- 前記口頭の発話に対応する前記データを前記1つのクライアントデバイスから受信するステップと、
前記口頭の発話に対応する前記データに基づいておよび前記音声入力の前記自動的な監視中に前記口頭の発話を検出したことに基づいて前記口頭の発話に関する応答内容を生成するステップと、
前記1つのクライアントデバイスに前記応答内容に基づく応答出力をレンダリングさせるために前記1つのクライアントデバイスに前記応答内容を送信するステップと
をさらに含む、請求項1に記載の方法。 - 前記口頭の発話に対応する前記データに基づいておよび前記音声入力の前記自動的な監視中に前記口頭の発話を検出したことに基づいて前記応答内容を生成するステップが、
前記口頭の発話に対応する前記データに基づいて少なくとも1つの値を生成するステップと、
前記音声入力の前記自動的な監視中に前記口頭の発話を検出したことに基づいて少なくとも1つのさらなる値を推測するステップであって、前記少なくとも1つのさらなる値を推測するステップが、前記クライアントデバイス通知、または前記クライアントデバイス通知がそれに基づいて生成される前記IoT状態変化通知に基づく、ステップと、
前記少なくとも1つの値および前記少なくとも1つのさらなる値に基づいて前記応答内容を生成するステップと
を含む、請求項4に記載の方法。 - 前記クライアントデバイス通知が、テキストを含み、前記コマンドが、前記クライアントデバイス通知の前記テキストを含み、前記コマンドが、前記1つのクライアントデバイスに前記テキストをオーディオデータに変換させ前記1つのクライアントデバイスの少なくとも1つのスピーカを介して前記オーディオデータをレンダリングさせることによって、選択された前記1つのクライアントデバイスの前記自動化アシスタントクライアントに、前記1つのクライアントデバイスの前記少なくとも1つのユーザインターフェース出力デバイスを介して前記生成されたクライアントデバイス通知を自動的にレンダリングさせる、請求項1から5のいずれか一項に記載の方法。
- 前記IoT状態変化通知内の前記少なくとも1つのIoTデバイスの前記インジケーションと、
前記IoT状態変化通知内の前記状態インジケーションと
のうちの一方または両方に基づいて、前記1つのクライアントデバイスに前記コマンドを送信すると決定するステップをさらに含む、請求項1から6のいずれか一項に記載の方法。 - 現在の時刻と、
現在の曜日と
のうちの一方または両方に基づいて、前記1つのクライアントデバイスに前記コマンドを送信すると決定するステップをさらに含む、請求項1から7のいずれか一項に記載の方法。 - 少なくとも1人のユーザが前記1つのクライアントデバイスの近くに位置すると判定することと、
前記1つのクライアントデバイスが1つもしくは複数の予め定義された状態にないと判定することと
のうちの一方または両方に基づいて、前記1つのクライアントデバイスに前記コマンドを送信すると決定するステップをさらに含む、請求項1から8のいずれか一項に記載の方法。 - 前記ユーザが前記1つのクライアントデバイスの近くに位置すると判定することが、
前記1つのクライアントデバイスとのユーザのインタラクションの新しさと、
前記1つのクライアントデバイスの少なくとも1つのセンサからのクライアントデバイスのセンサデータと、
前記1つのクライアントデバイスのセンサではないが、前記1つのクライアントデバイスの近くに位置する、少なくとも1つのセンサからのさらなるセンサデータと
のうちの1つまたは複数に基づく、請求項9に記載の方法。 - 前記1つのクライアントデバイスを含む複数の前記候補アシスタントクライアントデバイスのグループを選択するステップと、
前記1つのクライアントデバイスが前記選択されたグループに含まれていることに基づいて前記1つのクライアントデバイスに前記コマンドを送信するステップと、
その他の候補クライアントデバイスが前記選択されたグループに含まれていることに基づいて前記選択されたグループの前記その他の候補クライアントデバイスの各々にそれぞれのコマンドを送信するステップであって、前記それぞれのコマンドが各々、前記その他の候補クライアントデバイスのそれぞれに、前記少なくとも1つのIoTデバイスの前記インジケーションに基づいておよび前記状態インジケーションに基づいて生成されたそれぞれのクライアントデバイス通知をレンダリングさせる、ステップと
をさらに含む、請求項1から10のいずれか一項に記載の方法。 - 前記それぞれのコマンドが各々、前記コマンドと同じであり、前記それぞれのクライアントデバイス通知が各々、前記クライアントデバイス通知と同じである、請求項11に記載の方法。
- 前記それぞれのコマンドのうちの少なくとも1つが、前記コマンドとは異なり、前記それぞれのクライアントデバイス通知のうちの少なくとも1つが、前記クライアントデバイス通知とは異なる、請求項11に記載の方法。
- 複数の前記候補クライアントデバイスの前記グループを選択するステップが、
所与のクライアントデバイスが1つまたは複数の予め定義された状態にあると判定することと、
前記IoT状態変化通知内の前記少なくとも1つのIoTデバイスの前記インジケーションと、
前記IoT状態変化通知内の前記状態インジケーションと
のうちの1つまたは複数に基づいて、前記グループから前記候補クライアントデバイスのうちの前記所与のクライアントデバイスを除外するステップを含む、請求項11に記載の方法。 - 自動化アシスタントコンピューティングシステムの1つまたは複数のプロセッサによって実行されると、前記自動化アシスタントコンピューティングシステムに、請求項1から14のいずれか一項に記載の方法を実行させる命令を含む、コンピュータプログラム。
- 請求項1から14のいずれか一項に記載の方法を実行するように構成された、自動化アシスタントコンピューティングシステム。
- 請求項16に記載の自動化アシスタントコンピューティングシステムと、
少なくとも1つのクライアントデバイスと
を含む、システム。 - 少なくとも1つのモノのインターネットデバイスをさらに含む、請求項17に記載のシステム。
- 請求項1から14のいずれか一項に記載の方法を実行するように自動化アシスタントコンピューティングシステムの1つまたは複数のプロセッサによって実行可能な命令を記憶する、コンピュータ可読記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021180172A JP7250887B2 (ja) | 2018-03-14 | 2021-11-04 | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862643065P | 2018-03-14 | 2018-03-14 | |
US62/643,065 | 2018-03-14 | ||
PCT/US2019/022055 WO2019178229A1 (en) | 2018-03-14 | 2019-03-13 | Generating iot-based notification(s) and provisioning of command(s) to cause automatic rendering of the iot-based notification(s) by automated assistant client(s) of client device(s) |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021180172A Division JP7250887B2 (ja) | 2018-03-14 | 2021-11-04 | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021509975A JP2021509975A (ja) | 2021-04-08 |
JP6974626B2 true JP6974626B2 (ja) | 2021-12-01 |
Family
ID=65911298
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020548705A Active JP6974626B2 (ja) | 2018-03-14 | 2019-03-13 | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
JP2021180172A Active JP7250887B2 (ja) | 2018-03-14 | 2021-11-04 | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
JP2023044678A Pending JP2023082034A (ja) | 2018-03-14 | 2023-03-20 | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021180172A Active JP7250887B2 (ja) | 2018-03-14 | 2021-11-04 | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
JP2023044678A Pending JP2023082034A (ja) | 2018-03-14 | 2023-03-20 | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
Country Status (7)
Country | Link |
---|---|
US (3) | US10885917B2 (ja) |
EP (3) | EP4235644A3 (ja) |
JP (3) | JP6974626B2 (ja) |
KR (3) | KR102551715B1 (ja) |
CN (2) | CN111869185B (ja) |
AU (3) | AU2019234822B2 (ja) |
WO (1) | WO2019178229A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102551715B1 (ko) * | 2018-03-14 | 2023-07-04 | 구글 엘엘씨 | Iot 기반 알림을 생성 및 클라이언트 디바이스(들)의 자동화된 어시스턴트 클라이언트(들)에 의해 iot 기반 알림을 자동 렌더링하게 하는 명령(들)의 제공 |
US10795743B2 (en) | 2018-05-21 | 2020-10-06 | Salesforce.Com, Inc. | Computing device notification management software |
DK201970509A1 (en) * | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
EP3834199B1 (en) | 2019-10-15 | 2023-04-05 | Google LLC | Efficient and low latency automated assistant control of smart devices |
CN111243587A (zh) * | 2020-01-08 | 2020-06-05 | 北京松果电子有限公司 | 语音交互方法、装置、设备及存储介质 |
US11403925B2 (en) * | 2020-04-28 | 2022-08-02 | Ademco Inc. | Systems and methods for broadcasting an audio or visual alert that includes a description of features of an ambient object extracted from an image captured by a camera of a doorbell device |
US20220358917A1 (en) * | 2021-04-21 | 2022-11-10 | Meta Platforms, Inc. | Multi-device Mediation for Assistant Systems |
US11861315B2 (en) | 2021-04-21 | 2024-01-02 | Meta Platforms, Inc. | Continuous learning for natural-language understanding models for assistant systems |
US11523190B1 (en) | 2021-12-17 | 2022-12-06 | Google Llc | Generating notifications that provide context for predicted content interruptions |
KR20230128914A (ko) * | 2022-02-28 | 2023-09-05 | 주식회사 플루이즈 | 로컬서버가 IoT 기기의 상태정보를 전송하는 방법 |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020077830A1 (en) * | 2000-12-19 | 2002-06-20 | Nokia Corporation | Method for activating context sensitive speech recognition in a terminal |
US8738377B2 (en) | 2010-06-07 | 2014-05-27 | Google Inc. | Predicting and learning carrier phrases for speech input |
US20130143519A1 (en) * | 2010-07-29 | 2013-06-06 | J&M I.P. Holding Company, Llc | Fall-Responsive Emergency Device, System, and Method |
US20130260320A1 (en) * | 2012-03-28 | 2013-10-03 | Randolph G. Townsend | Range and Notification System, and Associated Method |
JP6231327B2 (ja) * | 2012-09-28 | 2017-11-15 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 端末制御方法、端末制御システム、及び、サーバ装置 |
WO2014076919A1 (ja) * | 2012-11-15 | 2014-05-22 | パナソニック株式会社 | 情報提供方法及び情報提供装置 |
US8977555B2 (en) * | 2012-12-20 | 2015-03-10 | Amazon Technologies, Inc. | Identification of utterance subjects |
US20140195620A1 (en) * | 2013-01-08 | 2014-07-10 | Ebay Inc. | Notification routing to a user device |
US9853826B2 (en) | 2013-02-25 | 2017-12-26 | Qualcomm Incorporated | Establishing groups of internet of things (IOT) devices and enabling communication among the groups of IOT devices |
AU2014251347B2 (en) * | 2013-03-15 | 2017-05-18 | Apple Inc. | Context-sensitive handling of interruptions |
JP2017163172A (ja) * | 2013-06-21 | 2017-09-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 携帯端末の制御方法及びプログラム |
WO2014208057A1 (ja) * | 2013-06-24 | 2014-12-31 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報通知方法、情報端末、およびプログラム |
US20150006296A1 (en) | 2013-06-26 | 2015-01-01 | Qualcomm Innovation Center, Inc. | NOTIFICATION DISMISSAL IN AN INTERNET OF THINGS (IoT) ENVIRONMENT |
US9584775B2 (en) | 2013-07-18 | 2017-02-28 | BOT Home Automation, Inc. | Wireless entrance communication device |
US8823795B1 (en) | 2013-07-26 | 2014-09-02 | SkyBell Technologies, Inc. | Doorbell communication systems and methods |
US10051068B2 (en) * | 2013-11-14 | 2018-08-14 | Qualcomm Incorporated | Mechanisms to route IoT notifications according to user activity and/or proximity detection |
US9495860B2 (en) | 2013-12-11 | 2016-11-15 | Echostar Technologies L.L.C. | False alarm identification |
KR102101308B1 (ko) * | 2014-02-05 | 2020-04-16 | 애플 인크. | 제어기와 액세서리 사이의 통신을 위한 균일한 통신 프로토콜 |
JP6349386B2 (ja) * | 2014-05-15 | 2018-06-27 | シャープ株式会社 | ネットワークシステム、サーバ、通信機器、および情報処理方法 |
US10170123B2 (en) * | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US10097619B2 (en) * | 2014-06-24 | 2018-10-09 | Google Llc | Cross-device notifications |
CN106664516B (zh) | 2014-07-07 | 2020-03-27 | 康维达无线有限责任公司 | 用于基于机器类型通信组的服务的协调分组 |
JP6305883B2 (ja) * | 2014-09-08 | 2018-04-04 | シャープ株式会社 | 通知装置、出力装置、情報通知システム、通知装置の制御方法、および制御プログラム |
US9152737B1 (en) * | 2014-11-26 | 2015-10-06 | Sense Labs, Inc. | Providing notifications to a user |
US9712477B2 (en) * | 2015-05-01 | 2017-07-18 | Airwatch Llc | Email notifications |
US10620920B2 (en) * | 2016-05-17 | 2020-04-14 | Google Llc | Automatic graphical user interface generation from notification data |
US10832665B2 (en) | 2016-05-27 | 2020-11-10 | Centurylink Intellectual Property Llc | Internet of things (IoT) human interface apparatus, system, and method |
US9942328B2 (en) | 2016-05-27 | 2018-04-10 | Afero, Inc. | System and method for latched attributes in an internet of things (IOT) system |
US20180025725A1 (en) * | 2016-07-22 | 2018-01-25 | Lenovo (Singapore) Pte. Ltd. | Systems and methods for activating a voice assistant and providing an indicator that the voice assistant has assistance to give |
US20180039478A1 (en) * | 2016-08-02 | 2018-02-08 | Google Inc. | Voice interaction services |
US10708313B2 (en) * | 2016-12-30 | 2020-07-07 | Google Llc | Multimodal transmission of packetized data |
US10861450B2 (en) * | 2017-02-10 | 2020-12-08 | Samsung Electronics Co., Ltd. | Method and apparatus for managing voice-based interaction in internet of things network system |
US10187870B1 (en) * | 2017-07-21 | 2019-01-22 | Qualcomm Incorporated | Systems and methods for intelligent routing of notifications of incoming voice communication requests |
US10051600B1 (en) * | 2017-12-12 | 2018-08-14 | Amazon Technologies, Inc. | Selective notification delivery based on user presence detections |
US10425780B1 (en) * | 2018-02-22 | 2019-09-24 | Amazon Technologies, Inc. | Outputting notifications using device groups |
KR102551715B1 (ko) * | 2018-03-14 | 2023-07-04 | 구글 엘엘씨 | Iot 기반 알림을 생성 및 클라이언트 디바이스(들)의 자동화된 어시스턴트 클라이언트(들)에 의해 iot 기반 알림을 자동 렌더링하게 하는 명령(들)의 제공 |
US11115630B1 (en) * | 2018-03-28 | 2021-09-07 | Amazon Technologies, Inc. | Custom and automated audio prompts for devices |
US10978064B2 (en) * | 2018-11-30 | 2021-04-13 | International Business Machines Corporation | Contextually relevant spoken device-to-device communication between IoT devices |
-
2019
- 2019-03-13 KR KR1020227024890A patent/KR102551715B1/ko active IP Right Grant
- 2019-03-13 KR KR1020207029358A patent/KR102424260B1/ko active IP Right Grant
- 2019-03-13 AU AU2019234822A patent/AU2019234822B2/en active Active
- 2019-03-13 US US16/609,015 patent/US10885917B2/en active Active
- 2019-03-13 EP EP23175890.5A patent/EP4235644A3/en active Pending
- 2019-03-13 CN CN201980017955.9A patent/CN111869185B/zh active Active
- 2019-03-13 CN CN202410198179.XA patent/CN118200349A/zh active Pending
- 2019-03-13 EP EP19713655.9A patent/EP3590249B1/en active Active
- 2019-03-13 KR KR1020237021937A patent/KR20230107384A/ko not_active Application Discontinuation
- 2019-03-13 WO PCT/US2019/022055 patent/WO2019178229A1/en unknown
- 2019-03-13 JP JP2020548705A patent/JP6974626B2/ja active Active
- 2019-03-13 EP EP20188384.0A patent/EP3751823B1/en active Active
-
2020
- 2020-12-03 US US17/110,732 patent/US11538477B2/en active Active
-
2021
- 2021-01-11 AU AU2021200128A patent/AU2021200128B2/en active Active
- 2021-11-04 JP JP2021180172A patent/JP7250887B2/ja active Active
-
2022
- 2022-04-22 AU AU2022202683A patent/AU2022202683B2/en active Active
- 2022-12-21 US US18/085,867 patent/US20230237996A1/en active Granted
-
2023
- 2023-03-20 JP JP2023044678A patent/JP2023082034A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
AU2019234822B2 (en) | 2020-10-22 |
EP3590249B1 (en) | 2020-12-30 |
KR20220104078A (ko) | 2022-07-25 |
EP3590249A1 (en) | 2020-01-08 |
CN118200349A (zh) | 2024-06-14 |
JP7250887B2 (ja) | 2023-04-03 |
JP2023082034A (ja) | 2023-06-13 |
US20200211546A1 (en) | 2020-07-02 |
AU2019234822A1 (en) | 2020-09-17 |
WO2019178229A1 (en) | 2019-09-19 |
CN111869185B (zh) | 2024-03-12 |
US20210090566A1 (en) | 2021-03-25 |
KR102551715B1 (ko) | 2023-07-04 |
KR20230107384A (ko) | 2023-07-14 |
KR20200131299A (ko) | 2020-11-23 |
AU2021200128B2 (en) | 2022-02-03 |
EP3751823A1 (en) | 2020-12-16 |
EP3751823B1 (en) | 2023-06-28 |
EP4235644A2 (en) | 2023-08-30 |
AU2022202683B2 (en) | 2023-01-12 |
AU2021200128A1 (en) | 2021-03-18 |
EP4235644A3 (en) | 2023-10-25 |
KR102424260B1 (ko) | 2022-07-25 |
CN111869185A (zh) | 2020-10-30 |
US11538477B2 (en) | 2022-12-27 |
JP2022033744A (ja) | 2022-03-02 |
JP2021509975A (ja) | 2021-04-08 |
US10885917B2 (en) | 2021-01-05 |
US20230237996A1 (en) | 2023-07-27 |
AU2022202683A1 (en) | 2022-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6974626B2 (ja) | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 | |
KR102581347B1 (ko) | 스마트 장치의 효율적이고 낮은 대기시간 자동 어시스턴트 제어 | |
JP7490822B2 (ja) | 複数のアシスタントデバイスにわたる同時音響イベント検出 | |
US11886510B2 (en) | Inferring semantic label(s) for assistant device(s) based on device-specific signal(s) | |
US20220272055A1 (en) | Inferring assistant action(s) based on ambient sensing by assistant device(s) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200930 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200930 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200930 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6974626 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |