JP7043520B2

JP7043520B2 - デバイスのステータスのマップを作成し、デバイスのステータスを制御し、表示するための方法、システム、およびデバイス

Info

Publication number: JP7043520B2
Application number: JP2019562557A
Authority: JP
Inventors: クリストファー・ヴイ・ジョーンズ; コリン・アングル
Original assignee: アイロボット・コーポレーション
Priority date: 2017-05-12
Filing date: 2018-05-09
Publication date: 2022-03-29
Anticipated expiration: 2038-05-09
Also published as: JP2022095646A; US20210208771A1; CN110785969A; EP3622673A4; CN110785969B; WO2018208879A1; US11704011B2; EP3622673A1; US20180329617A1; JP2020522156A; JP7362814B2; US10895971B2; CN115102977A

Description

本開示は、コネクテッドデバイスならびにその相互運用のためのシステムおよび方法に関する。

(インターネットおよびリモートクライアントへのワイヤレス接続を含む)接続性が、しばらくの間、家庭用電化製品のために考えられてきた。用語「モノのインターネット」(IoT)は、すべての種類の家庭用製品が公衆インターネットに接続され得るという発想を表すようになった。接続されると、そのような製品は、サーバおよびクライアントデバイスに様々なデータをレポートすることができる。たとえば、「スマート」電球が、家庭用WLAN(ワイヤレスローカルエリアネットワーク)に接続される可能性がある。各電球は、マイクロプロセッサ、メモリ、ステータス、電力、およびワイヤレス接続を検出または解釈する何らかの手段を有する可能性がある。これらの構成要素を使用して、電球は、その電球のステータスをレポートすること、ポーリングされることなどが可能である。

IoTデバイスが公衆インターネットに意味があるように接続するのに十分なだけのコンピューティングリソースまたは通信を通常含まない可能性があるという点で、IoTの概念は、概して、家庭用の接続性(たとえば、コネクテッドコンピュータ、ケーブルボックス(cable box)、メディアデバイスなど)とは異なると考えられる可能性がある。通常の冷蔵庫は、インターネットに接続しないが、IoTデバイスとしての同じデバイスは、計算、センサー、および通信ハードウェアと、リモートでおよびローカルでアドレス指定可能なエンティティになるのに十分なソフトウェアとを含み、期待されることは、このインターネット冷蔵庫が自身の様々な状態(電力消費など)をレポートし、リモートコマンドに応答する(内部温度を上げるまたは下げる)可能性があることである。

家庭用移動ロボットも、IoTデバイスになる可能性がある。いくつかの点で、家庭用移動ロボットは、この仲間の中の異なる種と考えられる可能性がある。特に、家庭用移動ロボットの自律性は、家庭用移動ロボットを、予測不可能な変わり得る環境条件のなかで作動しないか、または任務を完遂するために数十もしくは数百のセンサー入力に基づいて自律的な判断を行わないその他の電化製品から分ける。たとえば、食器洗い機--たとえIoT食器洗い機であっても--は、その食器洗い機の中身については何も知らず、単純な詰まりまたはその他のセンサーによって潜在的に中断されるモーターおよびポンプを制御する単純なスクリプトに相当するものを実行する。対照的に、掃除機ロボットは、その掃除機ロボットの任務中に様々な方法で自身の状態を検出する可能性があり、予測および計画活動に従事するだけでなく家庭の難しい状況から柔軟に逃れる可能性がある。したがって、家庭用移動ロボットの自律的な挙動をIoTのデバイスの機能と統合することには困難が存在する可能性がある。

米国特許第7,024,278号米国公開特許出願第2007/0250212号米国特許出願第15/588,117号

本開示の一部の実施形態によれば、ユーザ端末を動作させる方法が、移動ロボットによる動作環境のナビゲーションに応じて動作環境に関する占有データ(occupancy data)を受信するステップと、占有データに基づいて動作環境の視覚的表現を表示するステップとを含む。方法は、動作環境のローカルにある複数の電子デバイスおよび複数の電子デバイスのそれぞれの動作状態を特定する情報を受信するステップと、動作環境内の電子デバイスのそれぞれの空間的位置の視覚的インジケーションおよび電子デバイスのそれぞれの動作状態のステータスインジケーションを動作環境の視覚的表現に入れる(populate…with)ステップとをさらに含む。方法は、ユーザ端末の少なくとも1つのプロセッサによってまたはユーザ端末の少なくとも1つのプロセッサからの命令に応じて実行される可能性がある。

一部の実施形態において、方法は、時間を指定する入力をユーザインターフェースを介して受け取るステップをさらに含む可能性があり、視覚的表現内に表示されるそれぞれの動作状態は、入力によって指定された時間に対応する時間データ(temporal data)に関連付けられる可能性がある。指定される時間は、分、時間、日、週などである可能性がある。

一部の実施形態において、方法は、時間の範囲を視覚的に表すユーザインターフェース要素をユーザインターフェースを介して表示するステップをさらに含む可能性があり、時間を指定する入力は、ユーザインターフェース要素の操作に応じて受け取られる可能性がある。時間の範囲は、過去の時間、現在の時間、および将来の時間を含む可能性があり、ユーザ入力に応じて同様に指定される可能性がある。

一部の実施形態において、ユーザインターフェース要素は、時間の範囲を表すバー要素、および操作に応じてバー要素に沿ったそれぞれの位置に表示されるスライダ要素である可能性がある。

一部の実施形態において、時間データは、過去の時間データ、現在の時間データ、または将来の時間データを含む可能性がある。視覚的表現内に表示されるそれぞれの動作状態は、過去の時間データもしくは現在の時間データに関連する実際の動作状態である可能性があり、または将来の時間データに関連する予測される動作状態である可能性がある。

一部の実施形態において、ステータスインジケーションは、電子デバイスのうちの2つ以上のそれぞれの空間的位置に基づいて電子デバイスのうちの2つ以上の予測される動作状態の間の衝突を特定する可能性がある。

一部の実施形態において、時間を指定する入力は、時間の範囲である可能性があり、ユーザ入力によって指定された時間の範囲の電子デバイスのうちの1つまたは複数の実際の動作状態および/または予測される動作状態の表現が、ユーザインターフェースを介して表示される可能性がある。

一部の実施形態において、複数の電子デバイスを特定する情報は、移動ロボットの1つもしくは複数の位置特定センサーによって検出された位置特定データ、移動ロボットの1つもしくは複数のワイヤレス受信機によって獲得されたワイヤレス通信信号カバレッジデータ、1つもしくは複数のネットワーク要素によって検出されたネットワークデータ、および/またはユーザ端末のユーザインターフェースを介して受け取られたユーザ選択データである可能性がある。

一部の実施形態において、電子デバイスのうちの1つまたは複数は、ネットワークインターフェースを持たない非コネクテッドデバイスである可能性がある。

一部の実施形態において、動作環境の視覚的表現に入れるステップは、動作環境内の電子デバイスのそれぞれの空間的位置を決定することを含む可能性がある。電子デバイスのそれぞれの空間的位置は、動作環境内の移動ロボットのナビゲーションに応じて移動ロボットの少なくとも1つの位置特定センサーによって検出された位置特定データおよび/または移動ロボットの少なくとも1つのワイヤレス受信機によって獲得されたワイヤレス通信信号に基づいて決定される可能性がある。

一部の実施形態において、動作環境の視覚的表現に入れるステップは、動作環境の視覚的表現を表示することに応じて電子デバイスのそれぞれの空間的位置を指定するそれぞれの入力をユーザインターフェースを介して受け取ることを含む可能性がある。

一部の実施形態において、電子デバイスの1つまたは複数の動作を制御するための条件付きの命令が、電子デバイスのうちの1つまたは複数のそれぞれの空間的位置に基づいて自動的に生成される可能性がある。たとえば、電子デバイスのうちの1つまたは複数は、照明デバイスである可能性があり、条件付きの命令は、動作環境内の自然の光源との照明デバイスのそれぞれの空間的位置の近さ、および自然の光源によって与えられる光の予測されるまたは検出された量に基づいて照明デバイスの作動を指定する可能性がある。別の例として、電子デバイスのうちの1つまたは複数は、動きに基づくアラームセンサーである可能性があり、条件付きの命令は、動きに基づくアラームセンサーのそれぞれの空間的位置における移動ロボットの動作のスケジューリングされた時間に基づいて動きに基づくアラームセンサーの停止を指定する可能性がある。

一部の実施形態において、視覚的インジケーションは、電子デバイスを表すそれぞれのアイコンである可能性があり、ステータスインジケーションは、それぞれのアイコンのグラフィカルな特徴である可能性がある。

本開示の一部の実施形態によれば、ユーザ端末が、少なくとも1つの受信機と、ユーザインターフェースと、少なくとも1つの受信機およびユーザインターフェースに結合されたプロセッサと、プロセッサに結合されたメモリとを含む。メモリは、動作を実行するためにプロセッサによって実行可能であるコンピュータ可読プログラムコードを記憶する非一時的コンピュータ可読ストレージ媒体を含む。動作は、移動ロボットによる動作環境のナビゲーションに応じて動作環境に関する占有データを少なくとも1つの受信機によって受信する動作、およびユーザインターフェースを介して占有データに基づいて動作環境の視覚的表現を表示する動作を含む。動作は、動作環境のローカルにある複数の電子デバイスおよび複数の電子デバイスのそれぞれの動作状態を特定する情報を少なくとも1つの受信機によって受信する動作、ならびに動作環境内の電子デバイスのそれぞれの空間的位置の視覚的インジケーションおよび電子デバイスのそれぞれの動作状態のステータスインジケーションを動作環境の視覚的表現に入れる動作をさらに含む。

本開示の一部の実施形態によれば、コンピューティングデバイスを動作させる方法が、移動ロボットによる動作環境のナビゲーションに応じて動作環境に関する占有データを受信するステップと、占有データに基づいて動作環境のローカルにある電子デバイスを動作環境内のそれぞれの空間的位置に関連付けるステップとを含む。方法は、電子デバイスのうちの1つまたは複数に関連するそれぞれの空間的位置に基づいて電子デバイスのうちの1つまたは複数の動作を制御するために電子デバイスのうちの1つまたは複数に制御信号を送信するステップをさらに含む。方法は、コンピューティングデバイスの少なくとも1つのプロセッサによってまたはコンピューティングデバイスの少なくとも1つのプロセッサからの命令に応じて実行される可能性がある。

一部の実施形態において、占有データは、動作環境内の部屋を示す可能性があり、関連付けるステップは、占有データに基づいて動作環境内の部屋の相対的な空間的関係(spatial context)を特定することをさらに含む可能性がある。電子デバイスのうちの1つまたは複数に制御信号を送信するステップは、電子デバイスのうちの1つまたは複数に関連するそれぞれの空間的位置に対応する部屋の相対的な空間的関係にさらに基づく可能性がある。

一部の実施形態において、関連付けるステップは、部屋のうちの同じ部屋および/または部屋のうちの連続した部屋に対応する電子デバイスに関連するそれぞれの空間的位置に基づいて電子デバイスをそれぞれのサブセットにグループ分けすることをさらに含む可能性がある。電子デバイスのうちの1つまたは複数に制御信号を送信するステップは、電子デバイスのうちの1つまたは複数のグループ分けに基づく可能性がある。

一部の実施形態において、電子デバイスのうちの1つまたは複数に制御信号を送信するステップは、電子デバイスのうちの1つまたは複数に関連するそれぞれの空間的位置に対応する部屋のそれぞれの種類にさらに基づく可能性がある。

一部の実施形態において、方法は、電子デバイスのうちの少なくとも1つのその他の電子デバイスの動作を示すデータをコンピューティングデバイスの少なくとも1つの受信機によって受信するステップをさらに含む。電子デバイスのうちの少なくとも1つのその他の電子デバイスのそれぞれの空間的位置は、電子デバイスのうちの1つまたは複数のそれぞれの空間的位置に隣接する可能性があり、電子デバイスのうちの1つまたは複数に制御信号を送信するステップは、電子デバイスのうちの少なくとも1つのその他の電子デバイスの動作にさらに基づく可能性がある。

一部の実施形態において、電子デバイスのうちの少なくとも1つのその他の電子デバイスは、相対的な空間的関係において電子デバイスのうちの1つまたは複数のそれぞれの空間的位置に隣接する部屋のうちの1つの中のモーションセンサーである可能性がある。方法は、相対的な空間的関係において1つまたは複数の電子デバイスのそれぞれの空間的位置に隣接する部屋のうちの1つの中のモーションセンサーの動作に応じて、1つまたは複数の電子デバイスのそれぞれの空間的位置に対応する部屋のうちの1つの中のユーザの存在を予測するステップをさらに含む可能性があり、制御信号を送信するステップは、予測に応じる可能性がある。

一部の実施形態において、電子デバイスのうちの少なくとも1つのその他の電子デバイスは、相対的な空間的関係において電子デバイスのうちの1つまたは複数のそれぞれの空間的位置に隣接する部屋のうちの1つの中の環境センサーである可能性がある。方法は、環境センサーの動作に応じて部屋のうちの1つの中の環境条件を判定するステップをさらに含む可能性があり、電子デバイスのうちの1つまたは複数に制御信号を送信するステップは、電子デバイスのうちの1つまたは複数のそれぞれの空間的位置に隣接する部屋のうちの1つの中の環境条件に基づく可能性がある。

一部の実施形態において、方法は、それぞれの空間的位置との電子デバイスの関連付けに応じて電子デバイスのうちの1つまたは複数の動作を制御するための条件付きの命令を自動的に生成するステップをさらに含む可能性があり、電子デバイスのうちの1つまたは複数に制御信号を送信するステップは、条件付きの命令によって指定された1つまたは複数の条件の発生にさらに基づく可能性がある。

一部の実施形態において、方法は、電子デバイスのそれぞれの動作状態を示すデータおよび電子デバイスのそれぞれの動作状態に関連する時間データをコンピューティングデバイスの少なくとも1つの受信機によって受信するステップをさらに含む可能性がある。時間データは、過去の時間データ、現在の時間データ、または将来の時間データを含む可能性があり、それぞれの動作状態は、過去の時間データもしくは現在の時間データに関連する実際の動作状態、または将来の時間データに関連する予測される動作状態である可能性がある。電子デバイスのそれぞれの動作状態および電子デバイスのそれぞれの動作状態に関連する時間データは、データベースに記憶される可能性がある。

本開示の一部の実施形態によれば、コンピューティングデバイスが、少なくとも1つの送信機と、少なくとも1つの送信機に結合されたプロセッサと、プロセッサに結合されたメモリとを含む。メモリは、移動ロボットによる動作環境のナビゲーションに応じて動作環境に関する占有データを受信する動作、および占有データに基づいて動作環境のローカルにある電子デバイスを動作環境内のそれぞれの空間的位置に関連付ける動作を含む動作を実行するためにプロセッサによって実行可能であるコンピュータ可読プログラムコードを記憶する非一時的コンピュータ可読ストレージ媒体を含む。動作は、少なくとも1つの送信機によって、電子デバイスのうちの1つまたは複数に関連するそれぞれの空間的位置に基づいて電子デバイスのうちの1つまたは複数の動作を制御するために電子デバイスのうちの1つまたは複数に制御信号を送信する動作をさらに含む。

一部の実施形態において、コンピューティングデバイスは、移動ロボットまたはその構成要素である可能性があり、占有データは、移動ロボットの少なくとも1つの位置特定センサーによって検出される可能性がある。

上述の実施形態のいずれかのおよびすべての組合せを含む本開示のさらなる特徴、利点、および詳細は、以下の実施形態の図面および詳細な説明を読むことにより当業者に理解され、そのような説明は、本開示を例示するに過ぎない。

本開示の実施形態によるシステムを表す概略図である。本開示の実施形態による、内部にインストールされた図1Aのシステムを含む動作環境を示す概略図である。図1Aのシステム内で動作するように構成される、本開示の実施形態による移動ロボットの上面斜視図である。図1Aのシステム内で動作するように構成される、本開示の実施形態による移動ロボットの下面斜視図である。図1Aのシステム内で動作するように構成される、本開示の実施形態による移動ロボットを表す概略図である。図1Aのシステム内で動作するように構成される、本開示の実施形態によるコンピューティングデバイスを表す概略図である。図1Aのシステム内で動作するように構成される、本開示の実施形態によるユーザ端末を表す概略図である。本開示の実施形態による動作環境の視覚的表現を表示し、動作環境内でコネクテッドデバイスを制御するように構成されたユーザインターフェースを含むユーザ端末の平面図である。本開示の実施形態によるデバイスの相対的な空間的位置およびデバイスの動作状態を示す動作環境の視覚的表現を表示するための例示的な動作を示す平面図である。本開示の実施形態による連続した生活空間内でコネクテッドデバイスを制御するための例示的な動作を示す平面図である。本開示の実施形態によるコネクテッドデバイスを予測的に制御するための例示的な動作を示す平面図である。本開示の実施形態による隣接した空間内で電子デバイスの動作状態に基づいてコネクテッドデバイスを制御するための例示的な動作を示す平面図である。本開示の実施形態によるユーザ端末の少なくとも1つのプロセッサによってまたはそのプロセッサからの命令に応じて実行される可能性がある動作を示す流れ図である。本開示の実施形態によるコンピューティングデバイスの少なくとも1つのプロセッサによって実行される可能性がある動作を示す流れ図である。本開示の実施形態によるデバイスの相対的な空間的位置およびデバイスの動作状態を示す動作環境の視覚的表現を表示するための例示的な動作を示す平面図である。本開示の実施形態によるデバイスの相対的な空間的位置およびデバイスの動作状態を示す動作環境の視覚的表現を表示するための例示的な動作を示す平面図である。本開示の実施形態によるデバイスの相対的な空間的位置およびデバイスの動作状態を示す動作環境の視覚的表現を表示するための例示的な動作を示す平面図である。本開示の実施形態によるデバイスの相対的な空間的位置およびデバイスの動作状態を示す動作環境の視覚的表現を表示するための例示的な動作を示す平面図である。本開示の実施形態によるデバイスの相対的な空間的位置およびデバイスの動作状態を示す動作環境の視覚的表現を表示するための例示的な動作を示す平面図である。

本開示の実施形態は、移動ロボットの自律的な機能がその移動ロボットの独立した位置特定能力に基づいてIoTおよび/またはその他のローカルのデバイスの機能との統合のための独自の利点を提供する可能性があるという認識から生まれる可能性がある。特に、動作環境をナビゲートしている間に(たとえば、家庭の動作環境内で清掃の任務または巡回の任務を実行する際に)移動ロボットによって収集された占有データが、動作環境の相対的な空間的関係においてその他の電子デバイスのそれぞれの空間的位置および動作状態を視覚的に示すために使用される可能性がある。電子デバイスは、ネットワークに接続されたデバイスおよび非コネクテッドデバイスを含む可能性があり、異なる製造業者によって生産されるおよび/または異なる通信プロトコルを含む異なる規格に従って動作する可能性がある。動作環境の視覚的表現は、電子デバイスのそれぞれの位置および動作状態を示すアイコンが入れられる間取り図である可能性があり、それによって、デバイスの位置および動作の「家全体の」スナップショットを提供する。電子デバイスの履歴的なおよびスケジューリングされた動作状態情報も、記憶され、実際の過去のもしくは現在の動作状態および/または予測される将来の動作状態を見ることの許可を求めるユーザの要求に応じて提示される可能性がある。本開示の実施形態によって提供されるデバイスの空間的位置および動作ステータスの理解は、コネクテッド電子デバイスのそれぞれの空間的位置、コネクテッド電子デバイスが置かれる動作環境のエリアの相対的な空間的関係、および/または動作環境の隣接したエリア内の動作条件に基づくコネクテッド電子デバイスの制御をさらに可能にする可能性がある。

移動ロボットは、変わり得る環境条件をナビゲートし、複数のセンサー入力に基づいて自律的な判断を行うためのプロセッサ、メモリ、および駆動システムを含む任意のデバイスを指す可能性がある。本明細書において説明される移動ロボットはロボット掃除機と、自律的な巡回ロボットとを含む可能性がある。一部のそのような自律的な巡回ロボットは、1つまたは複数のセンサー要素が取り付けられるかまたはその他の方法で動作可能なように関連付けられる伸縮式マストを含む可能性がある。

ネットワーク対応電子デバイス(「コネクテッドデバイス」とも呼ばれる)は、有線またはワイヤレスパーソナルエリア、ローカルエリア、および/または広域ネットワークを介して有線またはワイヤレス通信信号を送信および/または受信するためのネットワークインターフェースを含むかまたはそのネットワークインターフェースに結合された任意のデバイスを指す可能性がある。そのようなコネクテッドデバイスは、ネットワークコントローラ、センサー、端末、および/またはIoTデバイスを含む可能性があるがこれらに限定されない。そのようなコネクテッドデバイスのその他の例は、ネットワークインターフェースへの統合されたまたはその他の接続を有するライト/電球、ドア/窓センサー、ドアロック、スピーカ、サーモスタット、環境センサー(温度、湿度、空気の質(air quality)、照明レベル)、窓のブラインド、音声インターフェースデバイス、監視カメラなどを含む可能性があるがこれらに限定されない。ワイヤレス通信信号は、Wi-Fi信号、Bluetooth（登録商標）信号、ZigBee信号、および/もしくはZ-wave信号を含むがこれらに限定されない無線周波数信号、ならびに/または光信号を含む可能性がある。そのような電子デバイスは、公衆インターネットに意味があるように接続するのに十分なだけのコンピューティングリソースまたは通信を含む可能性がありまたは含まない可能性がある。本明細書において説明される動作環境を参照して説明されるその他の電子デバイスは、ネットワークインターフェースを持たない可能性があり、「非コネクテッドデバイス」と呼ばれる可能性がある。

図1A、図1B、および図2～図4Aを参照すると、本開示の実施形態によるシステム100が、関連する生活構造物(living structure)10に設置される。構造物10は、一戸建て住宅(single-family home)、集合住宅(multi-family dwelling)(たとえば、一戸の重層型アパート(duplex)、アパート、コンドミニアムなど)、移動住宅、または商業用生活空間(たとえば、オフィスもしくはスタジオ)を含むがこれらに限定されない家または住居である可能性がある。構造物10は、本明細書において動作環境とも呼ばれる生活空間または内部空間20を定義する可能性がある。生活空間20は、(ゾーンA～Cとして示される)1つまたは複数の定義されたゾーンに(物理的に、空間的に、および/または機能的に)細分される可能性がある。一部の実施形態において、ゾーンは、台所であるゾーンA、居間であるゾーンB、および寝室であるゾーンCなどの生活構造物10内の部屋のエリアに対応する可能性がある。定義されたゾーンA～Cは、壁によって分けられる可能性があり、または示されるように、壁による分割のない1つのより広い連続した生活空間を表す複数の隣接した部屋を有するオープンコンセプトエリアである可能性がある。構造物10は、(コントローラ126に結合されたブラインド30Aを有する)窓30、ドア32、(コントローラ128に結合された)照明器具34および消耗するランプ34A、TV36(またはその他の電子機器)、ならびに(コントローラ127に結合された)暖房、換気、および空調システム(HVAC)40を有する。ユーザPが、生活空間20を占有する可能性がある。

図1Aおよび図1Bを参照すると、システム100は、ネットワーク対応移動ロボット200、1つまたは複数のワイヤレスアクセスポイント(WAP)164、(IoTデバイスを含む)ネットワーク対応または「コネクテッド」電子デバイス120、122、124を相互に接続するローカルエリアプライベートネットワーク160を作るために異なるネットワーキング方法を相互に接続するゲートウェイおよび/またはハブ110、ネットワーク対応オートメーションコントローラデバイス126、127、128、やはりネットワーク対応オートメーションコントローラデバイスである可能性があるロボットドック140、ならびに複数のそのような機能を組み合わせる可能性がある製品などのノードを含む。プライベートネットワーク160は、生活構造物10によって囲まれた生活空間20のすべてまたはほとんどをまたはその辺りを十分にカバーするための組み合わされたワイヤレス範囲を有する1つまたは複数のワイヤレスアクセスポイント(WAP)164、ゲートウェイ、またはハブ110を含む可能性がある。一部の実施形態において、ネットワークノード110、126、127、128、200、140、142、144、および150のうちの1つまたは複数は、1つまたは複数のその他のコネクテッド電子デバイス30A、34/34A、36、40、120、122、124、126、127、128、200、140、142、144および/またはそれらに接続された電子デバイスの動作を動作環境20内のそれらのそれぞれの空間的位置に基づいて制御するように構成される(図3のコンピューティングデバイス300などの)コネクテッドコンピューティングデバイスを定義する可能性がある。

プライベートネットワーク160に接続されたネットワーク接続されたデバイスは、WANインターフェース170Aおよびその関連するWAN接続170Bを介して公衆ネットワーク170に到達するためにルータ/ファイアウォール162を通じてリモート管理サービス150と通信することができる。たとえば、リモート管理サービス150は、クラウドコンピューティングデバイスである可能性があり、公衆ネットワーク170は、インターネットである可能性があり、WANインターフェース170Aは、DSL、DOCSIS、またはセルラモデムである可能性があり、その関連するWAN接続170Bは、インターネットサービスプロバイダ(ISP)によって提供される可能性がある。ルータ162、WAP164、および/またはモデム170Aは、様々な構成で単一のデバイスに統合される可能性がある。ローカルユーザ端末142が、プライベートネットワーク160に(有線またはワイヤレスで)接続される可能性がある。リモートユーザ端末144は、公衆ネットワーク170を介してリモートサーバ150および/またはプライベートネットワーク160に接続される可能性がある。たとえば、ユーザ端末142、144は、PC、スマートフォン、またはタブレットコンピュータである可能性がある。ハブ110、ロボット200、コントローラ126、127、128、およびユーザ端末142、144は、本明細書において説明されるようにノード110、126、127、128、200、140、142、144、および150の間の通信および制御を可能にする目標デバイス(たとえば、クライアントデバイス上のウェブブラウザを通じてローカルネットワークを介してUIを提示するウェブサーバ)において具現化される共通のネットワークサービスを通じてかまたは特別なクライアント(たとえば、ダウンロード可能なもしくは予めインストールされたアプリケーションソフトウェアアプリ)を介してかのどちらかでそれぞれアクセスされる可能性がある。本明細書において検討されるネットワークエンティティは、ネットワークに登録されるマシンおよび/またはコントローラであり、通信信号を送信および受信するための一意アドレスを割り振られ、同じネットワークまたは接続されたネットワーク上のその他のネットワークエンティティのマシンおよび/またはコントローラによって利用され得る可能性がある。

一部の実施形態において、「同じネットワーク」は、公衆インターネットとプライベートネットワークとの間のネットワークアドレス変換(NAT)を提供するルーティングネットワークエンティティ162の裏側のプライベートIP(インターネットプロトコル)サブネット上の1組のプライベートアドレスを指す可能性がある。プライベートネットワークに接続された各ネットワークエンティティは、その他のアクティブなネットワークエンティティのネットワーク通信を観測することおよび/または応答を求めてプライベートネットワークの可能なIPサブネットをスキャンすることのどちらかによってその他のアクティブなネットワークエンティティのネットワークアドレスを推定することができる。いくつかのゲートウェイ/ハブが、どのデバイスがそのゲートウェイ/ハブに関連付けられているかおよび/またはそのゲートウェイ/ハブを通じて到達可能であるかを列挙することができるネットワークサービスを提供する。これらの技術は、それぞれのアクティブなデバイスのIPアドレスおよび/またはそれらのアクティブなデバイスのMAC(媒体アクセス制御)アドレスの一方または両方を生み出す。アドレス解決プロトコル(ARP)ネットワークサービスは、一方の種類のアドレスを他方の種類のアドレスにマッピングすることができる。一部の実施形態においては、(移動ロボット200などの)ネットワークエンティティのプロセッサ上で実行されるルーチンが、生活構造物10内の(コネクテッドデバイス120、122、124、126、127、128などの)その他のネットワークエンティティの相対的な空間的位置だけでなく、それらのネットワークアドレスを収集し、ネットワークエンティティの種類、製造業者、および/またはモデルを特定することができる。

ロボットドック140は、電源を含むかまたは電源に接続され、移動ロボット200がロボットドック140に有効につながれるときに移動ロボット200のバッテリに充電するように動作可能な充電器を含む可能性がある。ドック140は、ロボット200からゴミを空にするように作動可能なモーター付きの容器を含む排出ステーションである可能性がある。一部の実施形態において、ドック140は、ロボット200からプライベートネットワーク160へのおよび/またはプライベートネットワーク160から移動ロボット200へのデータの送信を可能にするまたは容易にするためにプライベートネットワーク160に(有線またはワイヤレスで)接続される。したがって、ロボットドック140は、オートメーションコントローラデバイスと考えられる可能性がある。一部の実施形態において、ロボットドック140は、Bluetooth（登録商標）、近接場誘導(nearfield induction)、IR、および/または無線通信信号を含むがこれらに限定されないワイヤレス手段によって移動ロボット200と直接通信する。それぞれのコネクテッドデバイス120、122、124、126、127、128、140、142、144は、WAP164を介してハブ110および/またはプライベートネットワーク160と通信するための(Wi-Fiトランシーバなどの)ワイヤレストランシーバを含む可能性がある。特定のコネクテッドデバイス30A、34/34A、36、40、110、120、122、124、126、127、128、140、142、144、150、200が例として示されているが、より少ないまたはより多くのコネクテッドデバイスが、動作環境10に含まれる可能性があり、プライベートネットワーク160と通信する可能性がある。

移動ロボット200は、任意の好適なロボットおよび関連するコンピューティングデバイスである可能性があり、本明細書において説明される構成要素、特徴、および機能のすべてが本開示の実施形態による移動ロボットにおいて必要とされるわけではないことは、理解されるであろう。図2A～図2Cを参照すると、例示的な移動ロボット200は、車台210、コントローラ220、メモリ222、バッテリ224、バッテリ充電器226、ヒューマンマシンインターフェース(HMI)228、駆動システム230、マップ作成/ナビゲーションシステム240、サービス動作システム242(本明細書においては「掃除システム」および「クリーニングヘッド」とも呼ばれる)、ワイヤレス通信システム250、IRエミッタ260、および環境センサー270A～H、(掃除動作によって収集されたゴミを溜めるための)ゴミ貯蔵容器242A、貯蔵容器レベルセンサー242B、(掃除動作によって収集されたゴミの特徴の密度を検出するための)汚れ抽出センサー242C、インジケータライト274A、オーディオトランスデューサ274B、および掃除モード選択スイッチまたはボタン274Cを含む可能性がある。

環境センサー270A～270Hは、図2Aの上面斜視図に示されるように、移動ロボット200の上面に取り付けられたカメラ270Bを含む可能性がある。カメラ270Bは、ロボット200をナビゲートし、その他の運用上の用途のために画像を獲得するために使用され得る。一部の実施形態において、カメラ270Bは、視覚的同時位置特定およびマップ作成(VSLAM: visual simultaneous location and mapping)カメラであり、動作環境内の特徴および目標物を検出し、それらに基づいて占有マップを構築するために使用される。

図2Bの下面斜視図に示されるように、移動ロボット200は、移動ロボット筐体106の外縁に取り付けられるかまたはそれ以外の方法で位置付けられるバンパー104、段差センサー(cliff sensor)195A～195D、縁ブラシ111をさらに含む可能性がある。筐体106は、バンパー104が取り付けられる四角い形の前方の部分を有するものとして図2A～図2Bに示されるが、その他の実施形態において、筐体は、丸みのある形または円形である可能性がある。キャスターホイール196が、移動ロボット200の下側に設けられる可能性がある。一部の実施形態において、キャスターホイール196は、クリーニングヘッド242がカンチレバー構成になるように、移動ロボット200の、クリーニングヘッド242と反対の端に位置付けられる可能性があり、それらの間に駆動ローラー/キャタピラ(track)232A、232Bがある。移動ロボット200は、下向きのまたは床を向いたカメラ197も含む可能性がある。一部の実施形態において、移動ロボット200は、概して、好適な修正を施された、米国特許第7,024,278号および米国公開特許出願第2007/0250212号に記載の1台の床掃除ロボットおよび/または複数台の床掃除ロボットの方法で構成されるかまたはそれらの床掃除ロボットの特徴を含む可能性があり、これらの特許文献の開示は、参照により本明細書に組み込まれる。その他の実施形態において、移動ロボット200は、概して、取り付けられたまたはそれ以外の方法で動作可能なように関連付けられたセンサー要素270A～Hおよび/またはワイヤレス通信回路もしくはシステム250に関連する1つまたは複数の要素を有する伸縮式マストを含む自律的な巡回ロボットとして構成される可能性がある。

コントローラ220は、任意の好適に構成された1つのプロセッサまたは複数のプロセッサを含む可能性がある。プロセッサは、1箇所にまとめて置かれるかまたは1つもしくは複数のネットワークに分散される可能性がある(マイクロプロセッサおよび/またはデジタル信号プロセッサなどの)汎用および/または専用プロセッサなどの1つまたは複数のデータ処理回路を含む可能性がある。プロセッサは、実施形態のうちの1つまたは複数に関して上で説明されている動作および方法の一部またはすべてを実行するために、下でコンピュータ可読ストレージ媒体として説明されるメモリ222に記憶されたプログラムコードを実行するように構成される。メモリ222は、本開示の一部の実施形態によるロボットの動作を容易にするために使用されるソフトウェアおよびデータを含む1つまたは複数のメモリデバイスを表す。メモリ222は、以下の種類のデバイス、すなわち、キャッシュ、ROM、PROM、EPROM、EEPROM、フラッシュ、SRAM、およびDRAMを含む可能性があるがこれらに限定されない。したがって、プロセッサは、コントローラ200、メモリ222、掃除システム242、および駆動システム230と通信する。

駆動システム230は、ロボット200を生活空間20中で能動的に制御可能なように移動させるための任意の好適なメカニズムまたはシステムを含む可能性がある。一部の実施形態によれば、駆動システム230は、1つのローラー、複数のローラー、1つのキャタピラ、または複数のキャタピラ232A、232Bと、動作環境10の床を横断してロボット200を運ぶためにコントローラ220によって操作可能な1つまたは複数の搭載された(つまり、移動ロボット200によって運ばれる)電気モーター234(本明細書においては集合的に「駆動装置」または「駆動システム」と呼ばれる)とを含む。

サービス動作システム242は、一部の実施形態において任意である可能性があり、生活空間20内でサービス動作を実行するように動作可能である。一部の実施形態によれば、サービス動作システム242は、ロボット200が空間20内を移動するときに生活空間20の床面を掃除する床掃除システムを含む。一部の実施形態において、サービス動作システム242は、床に掃除機をかけるための吸い込みヘッドおよび搭載された真空発生装置を含む。一部の実施形態において、サービス動作システム242は、掃き掃除またはモップがけメカニズム、1つまたは複数の回転ブラシ、ローラー、静止したまたは発振および/もしくは振動する濡れ布巾または乾布巾、あるいは多層パッド組立体などの(しかしこれらに限定されない)エンドエフェクタを含む。

ワイヤレス通信システム250は、動作環境10内でロボット200と様々なその他のコネクテッドデバイス120、122、124、126、127、128との間のワイヤレス通信を可能にするためのワイヤレス通信トランシーバまたはモジュール252および関連するアンテナ254と、移動ロボット200がノードを形成するプライベートネットワーク160を構成するWAP、ゲートウェイ、およびハブによってサービスを提供されるネットワークセグメントとを含む。たとえば、ワイヤレス通信トランシーバまたはモジュール252は、Wi-Fiモジュールである可能性がある。

一部の実施形態において、ロボット200は、狭帯域または広帯域RF通信を使用してドック140とワイヤレスで直接通信する可能性がある。たとえば、ロボット200がWAP164に対応した送信機を備えていない場合、ロボット200は、ドック140と通信する可能性があり、そして今度は、ドック140が、ロボット200からプライベートネットワーク160およびその先の(リモート管理サーバ150などの)意図されるネットワークエンティティにデータを中継する可能性がある。一部の実施形態において、ドック140は、ロボット200からRF信号を受信し、変換し、リモート管理サーバ150またはプライベートネットワーク160内の別のデバイスに届けるためにそれらのRF信号をルータによってサポートされるフォーマットでルータ162に中継するネットワークブリッジデバイスを含む。一部の実施形態において、ドック140は、RF通信信号が移動ロボット200とドック140との間でノードからノードへと中継されるメッシュトポロジーを使用する低電力メッシュデータネットワークを含む。この場合、コネクテッドデバイス120、122、124、126、127、128、140および(もしあれば)範囲拡張器モジュール(図示せず)が、メッシュノードとして働く可能性がある。同様に、移動ロボット200は、ドック140と(ネットワーク対応センサーデバイス120、122、124、126、127、128、140および範囲拡張器などの)その他のノードとの間で信号を中継するためのノードとして働く可能性がある。

コネクテッドコンピューティングデバイス300は、任意の好適なコンピューティングデバイス、コンピュータサーバもしくはクラウドサービス、またはこれらの組合せである可能性があり、本明細書において説明される構成要素、特徴、および機能のすべてが本開示の実施形態によるコンピューティングデバイスにおいて必要とされるわけではないことは、理解されるであろう。一部の実施形態において、コンピューティングデバイス300は、移動ロボット200などの移動ロボットまたは移動ロボットの構成要素である可能性がある。図3の例を参照すると、コンピューティングデバイス300は、1つまたは複数のネットワークインターフェース330、プロセッサ回路(「プロセッサ」)310、およびプログラムコード322を含むメモリ320を含む。ネットワークインターフェース330は、1つまたは複数の有線および/またはワイヤレスネットワークを通じて任意の関連する利用可能なサーバおよび/またはデータリポジトリと通信するように構成された1つまたは複数のネットワーク送信機/受信機/トランシーバを含む可能性がある。プロセッサ310は、1箇所にまとめて置かれるかまたは1つもしくは複数のネットワークに分散される可能性がある(マイクロプロセッサおよび/またはデジタル信号プロセッサなどの)汎用および/または専用プロセッサなどの1つまたは複数のデータ処理回路を含む可能性がある。プロセッサ310は、実施形態のうちの1つまたは複数に関して上で説明されている動作および方法の一部またはすべてを実行するために、下でコンピュータ可読ストレージ媒体として説明されるメモリ320に記憶されたプログラムコード322を実行するように構成される。メモリ320は、本開示の一部の実施形態による動作を容易にするために使用されるソフトウェアおよびデータを含む1つまたは複数のメモリデバイスを表す。メモリ320は、以下の種類のデバイス、すなわち、キャッシュ、ROM、PROM、EPROM、EEPROM、フラッシュ、SRAM、およびDRAMを含む可能性があるがこれらに限定されない。

したがって、図3のコンピューティングデバイス300は、本明細書において説明される一部の実施形態による動作環境内のコネクテッドデバイスに関する視覚的なステータスインジケータを生成するおよび/または動作環境内のコネクテッドデバイスを制御する際に使用される可能性があるハードウェア/ソフトウェアアーキテクチャを示す。しかし、本開示の実施形態がそのような構成に限定されず、本明細書において説明される動作を実行することができる任意の構成を包含するように意図されることは、理解されるであろう。したがって、コンピューティングデバイス300は、関連する方法およびテクノロジーの任意の適切な組合せを使用して、稼働中の1つまたは複数のコネクテッドデバイス30A、34/34A、36、40、120、122、124、126、127、128、140、142、144、200からデータまたはコマンドを受信し、処理し、改良し、記憶し、それらのコネクテッドデバイス30A、34/34A、36、40、120、122、124、126、127、128、140、142、144、200にデータまたはコマンドを送信する能力を有する任意のデバイスまたはデバイスのネットワークをより広く表す可能性がある。コンピューティングデバイス300は、ユーザ端末142、144上で提示するための視覚化およびその他のリッチなUIインタラクションなどの、ロボット200と異なるニーズを有するその他のクライアントをサポートするための追加的な処理も提供する可能性がある。一部の実施形態において、本明細書においてコンピューティングデバイス300に割り振られる機能は、ロボットのローカルですべてもしくは部分的に、あるいは通信するロボットおよび/またはサーバもしくはその他のコンピューティングデバイスのグループと協力/連携して実行される可能性もある。

ユーザ端末142、144は、(デスクトップコンピュータ、ラップトップコンピュータ、および「スマートフォン」を含む)任意の好適な固定またはモバイルコンピューティングデバイスである可能性があり、本明細書において説明される構成要素、特徴、および機能のすべてが本開示の実施形態による、図4Aのユーザ端末400によってより広く表される可能性があるユーザ端末において必要とされるわけではないことは、理解されるであろう。図4Aの例を参照すると、ユーザ端末400が、複数の有線および/またはワイヤレス通信インターフェースを介して通信信号を送信および/または受信するように構成される。たとえば、一部の実施形態によるユーザ端末400のトランシーバ440は、セルラ通信モジュール、赤外線(IR)通信モジュール、全地球測位システム(GPS)モジュール、WLANモジュール、Bluetooth（登録商標）、Wi-Fi、ZigBee、および/もしくはZ-waveモジュールなどのワイヤレスパーソナルエリアネットワーク(WPAN)モジュール、ならびに/またはその他の種類の通信モジュールを含み得る。

ユーザ端末400のユーザインターフェース410は、液晶ディスプレイ(LCD)および/または有機発光ダイオード(OLED)ディスプレイなどのディスプレイ408を含む。任意で、ユーザインターフェース410は、ユーザ端末400の筐体上にキーパッド402またはその他のユーザ入力メカニズムを含む可能性がある。一部の実施形態において、ディスプレイ408は、キーパッド402を置き換えるおよび/または補うタッチスクリーン能力を設けられる可能性がある。ユーザインターフェース410は、マイクロフォン406およびイヤホン/スピーカ404をさらに含む可能性がある。筐体は、イヤホン/スピーカ404がユーザの頭にくっつけて配置されるときにユーザの耳を音響的に密閉するように設計される可能性がある。

キーパッド402、ディスプレイ408、マイクロフォン406、スピーカ404、およびカメラ424は、ユーザ端末400の動作を制御するように構成される可能性があるマイクロプロセッサまたはマイクロコントローラなどのプロセッサ427に結合される可能性がある。ユーザ端末400は、プロセッサ427に結合されたトランシーバ440およびメモリ428をさらに含む可能性がある。WLAN通信インターフェース、Bluetooth（登録商標）インターフェース、GPSインターフェース、デジタル信号プロセッサなどのその他の電子回路も、ユーザ端末400の電子回路に含まれる可能性がある。

メモリ428は、プロセッサ427のためのプログラム命令422と、プロセッサ427によってアクセスおよび/または使用される可能性がある音声データ、映像データ、構成データ、および/またはその他のデータなどのデータとの両方を記憶するために使用される汎用メモリである可能性がある。メモリ428は、不揮発性読み出し/書き込みメモリ、読み出し専用メモリ、および/または揮発性読み出し/書き込みメモリを含む可能性がある。特に、メモリ428は、基本的なオペレーティングシステム命令が記憶される読み出し専用メモリ、構成情報、ディレクトリ情報、およびその他の情報などの再使用可能なデータが記憶される可能性がある不揮発性読み出し/書き込みメモリ、ならびに短期的命令および/または一時データが記憶される可能性がある揮発性読み出し/書き込みメモリを含む可能性がある。

トランシーバ440は、アンテナアレー450A、450Bを介してリモートトランシーバに無線周波数信号を送信し、無線周波数信号を受信するために協力する送信機回路442、受信機回路444、およびモデム446を含む。ユーザ端末400とリモートトランシーバとの間で送信される無線周波数信号は、トラフィック信号と、別の関係者または送信先との通信を確立し、維持するために使用される制御信号(たとえば、着呼に関する呼び出し信号/メッセージ)との両方を含む可能性がある。より具体的には、トランシーバ440は、プロセッサ427と協力して、セルラ、(802.11を含む)WLAN、WiMAX(マイクロ波アクセスのための世界的相互運用性)、Wi-Fi、Bluetooth（登録商標）、ZigBee、および/またはZ-waveを含む(しかしこれらに限定されない)複数の無線アクセスおよび/またはワイヤレスネットワーキングテクノロジーによる通信のために構成される可能性がある。その他の無線アクセス技術および/または周波数帯域も、本開示による実施形態において使用され得る。

再び図2Cを参照すると、移動ロボット200は、(たとえば、レーザー距離測定器、ソナー、レーダー、三角測量、飛行時間(time-of-flight)、または位相差計算を使用して)壁および障害物の距離に基づくメトリックマップを構築し、ならびに/または空き空間(たとえば、通過可能なフロアの空間、またはオブジェクトもしくは固定物によって占有されていないフロアの空間)の占有マップを構築する位置特定回路を含む可能性がある。移動ロボット200はスキャンマッチング、ICP(反復最近点(iterative closest point))、および/またはRANSAC(ランダムサンプルコンセンサス(RANdom Sample consensus))などの技術を使用してマップ上のロボットの位置を測定することができる。追加的にまたは代替的に、移動ロボット200は、空き空間の占有マップ内の特徴、目標物、基準、および/またはビーコンのフィンガープリントを作成された特徴に基づくコンスタレーションまたはトポロジーマップ(fingerprinted, feature-based constellation or topological map)を(たとえば、カメラまたは点群を生成する3Dスキャナを、自然のまたは人工のキーポイント(keypoint)、特徴、および/または目標物を特定し、記憶し、認識するための特徴変換と一緒に使用して)構築し、VSLAM(視覚に基づく/視覚的同時位置特定およびマップ作成(vision-based/visual simultaneous localization and mapping))などの技術を使用してこの占有マップ上のロボットの位置を測定することができる位置特定回路を含む可能性がある。環境のナビゲーションに基づいて移動ロボット200の位置特定回路によって収集されたデータは、本明細書においては、概して、環境に関する占有データと呼ばれる。(ゾーン1、ゾーン2、ゾーン3として示される)一意の部屋またはエリアに関する一意のアイデンティティが、エンドユーザによってネットワークエンティティのいずれかのユーザインターフェースを介して家庭の部屋の種類もしくは一意の部屋ラベル(「居間」)に関連付けられる可能性があり、または部屋もしくはエリア内の目標物もしくはデバイスの認識によって自動的に決定される可能性がある。(動作環境に関する「間取り図マップ」として視覚的に表される可能性がある)占有データは、占有されているか、移動ロボット200によって通過可能であるか、またはまだ探索されていない表面位置にピクセル位置が対応するかどうかに対応する値をそれぞれが有する環境10内の複数の表面位置を(たとえば、ピクセルによって)定義するデータを含む可能性がある。

位置特定回路は、動作環境10内で位置特定を実行するためにコントローラ220によって使用される可能性がある移動ロボット200のセンサー270A～270Hのうちの1つまたは複数からの入力によって定義される可能性がある。より具体的には、位置特定センサー270A～270Hのうちの1つまたは複数が、動作環境10内に置かれたオブジェクトからセンサー読み取り値を検出するように構成され、コントローラ220が、位置特定センサー270A～270Hによって検出された位置特定データに基づいて、観測されるオブジェクト(「オブジェクト」は観測可能な特徴を含む物理的なオブジェクトのみでなく、角、線、パターンなどの光学的にまたはその他の方法で検出可能な表面の特徴で形成された表面「オブジェクト」も含む)に対する移動ロボット200の現在の姿勢(「姿勢」は絶対的なまたは相対的な位置および任意で絶対的なまたは相対的な向きを含む)を決定するように構成される。オブジェクトに関する姿勢も、決定される可能性がある。移動ロボット200は、占有マップによって示されるように、ロボットの姿勢(または位置)を、部屋の中に配置されたまたは部屋の構成要素(壁、天井、証明、戸口、家具)上で観測可能な観測されるオブジェクトまたはそれらの姿勢に特に関連する部屋識別子と関連付けるようにさらに構成される可能性がある。

本開示の実施形態によれば、動作環境のナビゲーションに応じて移動ロボット200の位置特定回路によって収集された占有データの視覚的表現が、本明細書において例として説明されるコネクテッドデバイス30A、34/34A、36、40、110、120、122、124、126、127、128、140、200などの動作環境のローカルにある電子デバイスのうちの1つまたは複数の動作状態の認識および/または制御を改良するためにユーザ端末上に表示される可能性がある。図4Bは、本開示の実施形態による、動作ステータスを示すおよび/またはその中のコネクテッドデバイスを制御するように構成された例示的なユーザインターフェース410を含むユーザ端末400の平面図である。

図4Bを参照すると、ユーザ端末400のユーザインターフェース410は、本明細書においては間取り図マップとも呼ばれる占有マップ(occupancy map)の視覚的表現50を表示するように構成される。間取り図マップ50は、たとえば、占有データによって示されるエリアの間の物理的な境界の有無に基づいて、動作環境の1つのエリアまたは部屋の、(書斎(den)503、勉強部屋(study)502、廊下501、ダイニングルーム504、台所506、および居間507として示される)別の部屋との相対的な位置または空間的関係を示す。部屋の名前/種類/ラベルは、ユーザによって手動で入力される可能性があり、またはその中のオブジェクトもしくはコネクテッドデバイスの認識に基づいて自動的に決定される可能性がある。間取り図マップ50には、動作環境の境界の中または動作環境のローカルにある電子デバイスを表すアイコン30a、34a～34f、および40aが入れられる。間取り図マップ50上のアイコン30a、34a～34f、および40aの配置は、部屋/エリアに対して相対的な電子デバイスのそれぞれの空間的位置を示し、一方、アイコン30a、34a～34f、および40aのグラフィカルな特徴は、これらの電子デバイスのそれぞれの動作状態を示す。ユーザインターフェース410は、動作環境のローカルにあるデバイスのリスト420と、図5を参照して下でより詳細に説明されるように、動作状態の情報が望まれるユーザ指定の時間の範囲にわたるユーザ指定の時間を受け取るように構成されたユーザ入力要素550とを表示するようにさらに構成される可能性がある。

図5～図8は、本開示の一部の実施形態による動作環境内の電子デバイスの相対的な空間的位置に基づいて電子デバイスの動作を表示し、制御するための動作を示す概略的な平面図である。図5～図8の一部の実施形態が、例として、(図1Bの照明器具34、消耗するランプ34A、および窓のブラインド30Aなどの)照明に関連するデバイスの動作を表示し、制御することに主に関連して説明され、図示される。しかし、本開示の実施形態が、そのように限定されず、むしろ、ライト/電球、ドア/窓センサー、ドアロック、スピーカ、サーモスタット、(温度、湿度、空気の質、および照明レベルセンサーを含むがこれらに限定されない)環境センサー、窓のブラインド、音声インターフェースデバイス、監視カメラなどを含むがこれらに限定されない動作環境のローカルにあるその他の電子デバイスの動作を表示することおよび/または制御することを含む可能性があることは、理解されるであろう。

図5の平面図は、本開示の実施形態によるデバイスの相対的な空間的位置およびデバイスの動作状態を視覚的に示す動作環境の視覚的表現を表示するための例示的な動作を示す。より詳細には、図5は、(図1A～図1Bの生活空間20などの)動作環境の視覚的表現50を表示する(ユーザ端末142、144、400などの)ユーザ端末の例示的なユーザインターフェース510を示す。視覚的表現は、動作環境の電子デバイスのそれぞれの空間的位置および動作状態を示すアイコン30a、34a～34f、40aが入れられる間取り図マップ50として示される。図5の例において、アイコン34a～34fによって表される電子デバイスは、(図1Bの照明器具34および/または消耗するランプ34Aなどの)コネクテッド電球/照明器具であり、アイコン30aによって表される電子デバイスは、(図1Bの窓のブラインド30Aなどの)コネクテッド窓ブラインドであり、アイコン40aによって表される電子デバイスは、(図1BのHVACシステム40の通気口などの)コネクテッドHVAC通気口である。取り込み済み間取り図マップ50は、アイコン30a、34a～34f、40aが検出されたまたはユーザ指定のデバイスの位置および状態を示す動作環境の視覚的な「スナップショット」を提供する。したがって、ユーザインターフェース510は、家全体の動作パターンを視覚的に示し、アイコン30a、34a～34f、40aによって表されるデバイスがユーザの期待通りに動作しているおよび/または協力していることを確認することができる。

間取り図マップ50は、自動的に(つまり、人が介在せずに)および/またはユーザインターフェース510を介したユーザ入力に応じてアイコン30a、34a～34f、40aが入れられる可能性がある。たとえば、ユーザインターフェース510を提供するアプリケーションを実行するユーザ端末は、(コネクテッドデバイスと非コネクテッドデバイスとの両方を含む)動作環境内の電子デバイスおよび/またはそれらのそれぞれの動作状態を特定する情報を、移動ロボット200、ハブ110、コントローラ120、またはその他のコネクテッドデバイスを含むがこれらに限定されない1つまたは複数のネットワークソースから受信する可能性がある。それによって、ローカルデバイスおよび/または動作状態を特定するリスト420が、生成される可能性がある。追加的にまたは代替的に、デバイスおよび/またはそれらの動作状態を特定する情報は、ユーザインターフェースを介して、たとえば、デバイスのリスト420の手動入力によって受け取られる可能性がある。同様に、アイコン30a、34a～34f、40aによって表されるデバイスのそれぞれの空間的位置は、(たとえば、移動ロボットによって収集された占有データおよび/もしくはワイヤレス信号カバレッジデータから)自動的にならびに/またはユーザ入力(たとえば、図4Bのデバイスのリスト420からのドラッグアンドドロップ入力)を受け取ることに応じて決定される可能性がある。

図5のユーザインターフェース510は、アイコン30a、34a～34f、および/または40aによって表されるデバイスに関する動作状態情報が望まれる時間のユーザ指定を受け取るように構成されたユーザ入力要素550をさらに含む。図5の例において、ユーザ入力要素550は、バー要素555の長さに沿ったそれぞれの位置にスライダ要素551を操作するユーザ入力を受け取るように構成される時間スライダバーとして示される。バー要素555は、アイコン30a、34a～34f、および/または40aによって表されるデバイスに関する動作状態情報が記憶されたかまたはそうでなければアクセス可能である時間の範囲を視覚的に表す。(それぞれ、過去の、現在の、および将来の時間である)それぞれの時間552、553、554を示す印が、バー要素555の長さに沿って提供される。ユーザインターフェース510は、スライダ要素またはその他のユーザ入力の操作に応じてバー要素550の長さに沿ったスライダ要素551の位置を検出するように構成され、その位置から、ユーザ端末は、バー要素555によって表される時間の範囲に沿ったスライダ要素551の位置の対応に基づいてユーザ入力によって指定された時間を決定するように構成される。それによって、ユーザインターフェース510は、(本明細書においては時間ステータス(temporal status)インジケーションとも呼ばれる)ユーザ入力によって指定された時間に対応する時間データに関連付けられるアイコン30a、34a～34f、および/または40aによって表されるデバイスの動作状態を表すステータスインジケーションを表示するように構成される。

一部の実施形態において、ユーザ入力要素550によって視覚的に表される時間の範囲は、ユーザによって指定される可能性もある。たとえば、図5に示されるバー要素555は、1日の時間の期間を表し、バー要素555の一端の印552が、「12am」に対応し、バー要素555の他端の印554が、「11:59pm」に対応し、それによって、スライダ要素551の操作が、バー要素555の長さに沿ったスライダ要素551の相対的な位置に応じた、バー要素555によって表される1日の中の(印553による)時間の表示をもたらす。図11A～図l1Eは、1日の時間の範囲を表すために選択されたバー要素555の長さに沿ったスライダ要素551のリアルタイムの操作に応じて表示される可能性がある動作環境50内の電子デバイスの動作状態および動作状態の相互運用に関する例示的な情報を示す。

別の例において、バー要素555は、1週間の時間の範囲を表すために選択される可能性があり、バー要素555の一端の印552が、「日曜日」に対応し、バー要素555の他端の印554が、「土曜日」に対応し、それによって、スライダ要素551の操作が、バー要素555の長さに沿ったスライダ要素551の相対的な位置に応じた、バー要素555によって表される週内の(印553による)曜日(たとえば、月曜日、火曜日、水曜日、木曜日、金曜日)の表示をもたらす。連続する日の間に(たとえば、月曜日と火曜日との間に)スライダ要素551を位置付けることは、連続する日の間の時刻(たとえば、12pm)を表示する可能性がある。日、週、月などのさらに詳細な部分が、バー要素555およびその長さに沿ったスライダ要素551の相対的な位置によって同様に表される可能性がある。より広く、ユーザ入力要素550によって表される時間の範囲は、ユーザによって選択され得る可能性があり、バー要素555に沿ったスライダ要素551の操作は、選択された時間の範囲に基づいて時間の測定の異なる範囲および単位(時間、日、週など)を表示する可能性がある。

したがって、ユーザインターフェース510は、ユーザ入力要素550を介してユーザによって選択されたまたはそうでなければ指定された時間に対応するアイコン30a、34a～34f、および/または40aによって表されるデバイスに関する時間ステータスインジケーションを表示するように構成される。そのような時間ステータスインジケーションは、スライダ要素551の位置に応じて、(既にログに記録されたかもしくは現在レポートされているデバイスの実際の過去のもしくは現在の動作に基づく)実際のデバイスの動作ステータス情報および/または(ユーザによって指定されたデバイスのスケジューリングされた将来の動作に基づく)予測されるデバイスの動作ステータス情報を含む可能性がある。実際のおよび予測される/スケジューリングされた動作状態(ならびにそれらに関連する過去の、現在の、または将来の時間データ)は、デバイス30A、34/34A、36、40自体ならびに/または(ネットワークノード110、120、122、124、126、127、128、200、140、142、144、および150のうちの1つもしくは複数などの)それらに結合されたコネクテッドコンピューティングデバイスによって継続的にログに記録され、更新される可能性があり、ネットワーク160および/または170を介してコネクテッドデバイスのうちの1つまたは複数によってアクセス可能であるデータベースに記憶される可能性がある。たとえば、一部の実施形態においては、(コンピューティングデバイス300などの)コンピューティングデバイスが、電子デバイスの実際の動作状態(および関連する過去のもしくは現在の時間データ)ならびに/または予測される動作状態(および関連する将来の時間データ)を示すデータを、ハブ110、コントローラ120、移動ロボット200、またはその他のコネクテッドデバイスを含むがこれらに限定されない1つまたは複数の異なるソースから受信する可能性があり、電子デバイスのそれぞれの動作状態およびそれらに関連する時間データをデータベースに記憶する可能性がある。動作状態を示すデータおよび関連する時間データは、コンピューティングデバイスによって要求される(もしくは「プルされる」)可能性があり、または電子デバイスおよび/もしくはそれらと通信するネットワークソースによってレポ
ートされる(もしくは「プッシュされる」)可能性がある。

一部の実施形態において、過去の時間ステータスインジケーションは、情報の以下の提示、すなわち、過去にいつ/どれだけ長くライトがオン/オフであったかもしくはライトがオンのままにされたかどうか(たとえば、バー要素555の長さによって表される表示された期間上のスライダ要素551の相対的な位置に基づいて変化する照明デバイス34Aに関する動作のそれぞれの時間として図11Aに示される)、どこで/いつ動きが検出されたか、デバイスがユーザによってスケジューリングされた通りに作動するかどうか、温度が1日を通じてどのように変化したか(たとえば、バー要素555の長さによって表される表示された期間上のスライダ要素551の相対的な位置に対応して変化するそれぞれの温度として図11Bに示されるように、環境センサーの動作によって示されるかもしくはサーモスタットによって設定される)、ドアもしくは窓が開いた/閉じた時間、ドアが鍵をかけられたおよび鍵を開けられた時間、ならびに/または移動ロボット200上のセンサーおよび/もしくは環境のいたる所に位置付けられた固定環境センサーからの位置に固有の温度、湿度、および/もしくは空気の質の読み取り値のマップ作成された表示を含む可能性があるがこれらに限定されない。加えて、ユーザインターフェース510は、たとえば、図11Cに示されるように、監視カメラからの記録された画像/動画を、入力要素550を介して選択された時間に対応して変化するマップ50上のオーバーレイ1120として表示するように構成される可能性がある。実施形態において、入力要素550を介して選択された時間は、移動ロボット200によって収集され、記憶されたビデオフィードのタイムスタンプに関連付けられ、画像/動画は、移動ロボット200に取り付けられた監視カメラによってその選択された時間に撮影された画像に対応する。また、コネクテッドエネルギー監視デバイスから受信された情報に基づいて、ユーザインターフェース510は、たとえば、バー要素555の長さによって表される表示された期間上のスライダ要素551の相対的な位置に基づいて変化する照明デバイス34Aに関する動作のそれぞれのキロワット時として図11Dに示されるように、瞬間的にまたは所与の時間の期間にわたってデバイス毎のエネルギー使用(または部屋毎の合計)を視覚的に表すように
構成される可能性がある。より広く、過去の時間ステータスインジケーションは、ユーザ指定の時間にまたはユーザ指定の時間の範囲にわたって動作環境中の電子デバイスの瞬間的な動作および動作パターンの見ることができる履歴を提供する可能性がある。

一部の実施形態において、将来の時間ステータスインジケーションは、情報の以下の提示、すなわち、その日の残りに関するデバイスのスケジュール、生活空間内のライトが(たとえば、スケジューリングされた時間に自動的に)点く時間、ブラインドが日没付近に閉じるかどうかに関する情報、すべてのデバイスがスケジューリングされた時間に夜間のために停止するかどうかに関する情報、サーモスタットが夜間モード動作のために予想されるように設定されるかどうか、夜間に鍵が閉まるようにスケジューリングされたドアが鍵が閉まるかどうか、アラームシステムセンサーが今夜作動させられ始めるかどうか、および/または移動ロボット200(たとえば、ロボット掃除機)が動き出し、任務を開始する次のスケジューリングされた時間を含む可能性があるがこれらに限定されない。したがって、将来の時間ステータスインジケーションは、ユーザ指定の時間の範囲にわたる動作環境中の電子デバイスの動作パターンの見ることができるスケジュールを提供する可能性がある。デバイスの2つ以上のスケジューリングされた動作の間の位置に基づく衝突などの衝突も、視覚的に示される可能性がある。本明細書において使用されるとき、2つ以上のデバイスの間の衝突は、1つのデバイスの動作が別のデバイスの動作を妨げるかまたはそうでなければ別のデバイスの動作に対して問題になる可能性がある状態を指す可能性がある。たとえば、図11Eに示されるように、モーションセンサー1107の視野内の動作環境50のエリア内にロボット掃除機1200の動作がスケジューリングされている時間の間アラームシステムのためのモーションセンサー1107が作動させられる場合、ユーザインターフェース510は、バー要素555の長さによって表される表示された期間上のスライダ要素551の相対的な位置による時間の選択に応じてアイコンおよび/またはテキストの組合せによって衝突を示す可能性がある。

アイコン30a、34a～34f、40aは、濃淡、色、記号、句読法、および/またはテキストによることを含む任意の数の方法で動作状態を視覚的に表すまたは示す可能性がある。たとえば、図5に示されるように、居間507内の電球/照明器具を表すアイコン34fは、これらの電球/照明器具がオンであることを示すための無地のパターンを有し、一方、書斎503内の電球/照明器具を表すアイコン34aは、電球がオフであることを示すために斜線を引かれる。ダイニングルーム504、廊下501、および台所506(これらのすべては居間507に空間的に隣接している)内の電球/照明器具を表すアイコン34c、34d、および34eは、電球/照明器具が薄暗くされることを示すために点が描かれる。一方、勉強部屋502内の電球/照明器具を表すアイコン34bは、その電球/照明器具の動作の問題を示すために感嘆符(!)を表示する。これらの視覚的インジケーションは、例として与えられるに過ぎず、スライダバー550を介した動作の時間および時間の所望の範囲のユーザの選択に応じて、アイコン34a～34fによって表されるデバイスの実際のまたは予測される/スケジューリングされた動作状態を示すためにユーザインターフェース510によってその他の視覚的インジケーションおよび/またはテキストが表示される可能性があることは、理解されるであろう。より広く、ユーザインターフェース510は、所望の時間を指定するユーザ入力に応じて、動作環境中のアイコン34a～34fによって表されるデバイスの活動の実際のまたは予測されるパターンを視覚的に示す可能性がある。

本明細書において説明される間取り図マップは、動作環境のナビゲーションに応じて(図2A～図2Cの移動ロボット200のセンサー270A～Hなどの)移動ロボットの位置特定センサーによって検出された占有データに基づいて生成される可能性がある。一部の実施形態において、ローカルの電子デバイスの相対的な空間的位置は、占有データに基づいて、および/または(図2A～図2Cの移動ロボット200のワイヤレストランシーバ252などの)移動ロボットのワイヤレストランシーバによって獲得された信号カバレッジデータに基づいて決定される可能性がある。移動ロボットによって獲得された占有データおよび/または信号カバレッジデータに基づいてマップを生成し、空間的位置を決定するための動作は、2017年5月5日に出願された所有者が共通である米国特許出願第15/588,117号にさらに説明されており、この特許出願の開示は、その全体が参照により本明細書に組み込まれる。

動作環境のローカルにある電子デバイスのリスト420は、ネットワーク160または170を介して受信されたデバイスおよび/またはデバイスの動作状態を特定する情報に基づいて生成される可能性がある。たとえば、デバイスおよび/または動作ステータスは、(図1Bのハブ110などの)ゲートウェイ/ハブが結合されるデバイスについてそれらのゲートウェイ/ハブによって保有される情報を要求することによって特定される可能性がある。特定の例において、ハブ110は、統合されたユーザインターフェースからIoTデバイスと接続し、IoTデバイスを制御するためのハードウェア/ソフトウェア(たとえば、SmartThings(商標)またはWinkハブ)を含む可能性があり、SmartThings(商標)またはWinkハブに結合されたデバイスは、ハブに尋ねることによって特定される可能性がある。別の例においては、Senseのホームエネルギーモニタ(home energy monitor)などのネットワーク接続された家庭のエネルギー監視デバイスが、(ネットワーク対応であるか否かに関係なく)デバイスおよび動作データをそれらのデバイスの電力消費に基づいて自動的に検出し、特定する可能性がある。つまり、リスト420(および/または取り込み済み間取り図マップ50)は、異なる製造業者によって生産されるおよび/または異なるプロトコルによって動作する電子デバイスを視覚的に表す可能性がある。デバイスの識別情報を取得するためのその他の動作は、公開されたサービスを特定するためのポートスキャン、受信された応答に対するパターンマッチング、および/またはより構造化された情報(たとえば、UPnPもしくはmDNSなどのネットワーク「発見」プロトコルによってデバイスがアドバータイズする属性)を抽出するための発見されたサービスとのインタラクションを含む可能性がある(しかしこれらに限定されない)。追加的にまたは代替的に、デバイス、それらの動作状態、および/またはそれらの空間的位置を特定する情報は、ユーザインターフェースを介して、たとえば、デバイスのリスト420の手動入力によって受け取られる可能性がある。たとえば、リスト420に示されるアイコン30a、34a～34f、40aが、マップ50上のそれぞれの位置にドラッグアンドドロップされる可能性がある。

本明細書において説明されるコネクテッドコンピューティングデバイスは、1つまたは複数の電子デバイスの動作を、動作環境内のそれらの電子デバイスのそれぞれの空間的位置およびそれらの電子デバイスが置かれるエリアの相対的な空間的関係に基づいて制御するための制御信号を送信するようにさらに構成される可能性がある。一部の実施形態において、間取り図マップは、動作環境の1つのエリア/部屋(およびエリア/部屋内に置かれたデバイス)を別のエリア/部屋(および別のエリア/部屋内に置かれたデバイス)と分ける壁および/または障害物の有無を示す可能性がある。図6は、本開示の実施形態による、間に壁または仕切りのない複数の隣接した部屋の間に広がる連続した生活空間内のコネクテッドデバイスを制御するための(ユーザ端末142、144、400などの)ユーザ端末の例示的なユーザインターフェース610を示す平面図である。

図6に示されるように、(生活空間20などの)動作環境のナビゲーションに応じて(移動ロボット200などの)移動ロボットの1つまたは複数の位置特定センサーによって収集された占有データに基づいて、ユーザインターフェース610は、動作環境の視覚的表現60を表示する。視覚的表現は、動作環境のローカルにある検出されたまたはユーザ指定の電子デバイスのそれぞれの空間的位置および動作状態を示すアイコン30a、34a/e/f、40aが入れられる間取り図マップ60として示される。図6の例において、アイコン30a、40a、および34a/e/fによって表される電子デバイスは、それぞれ、図1Bの窓のブラインド30A、HVACシステム/通気口40、および照明器具/ランプ34/34Aなどの窓のブラインド、HVAC通気口、および照明器具/ランプである。特に、取り込み済み間取り図マップ60内のアイコン30a、34a/e/f、40aは、台所606内の窓のブラインド30Aおよびライト34Aの位置、書斎603内のHVAC通気口40およびライトの位置、ならびに居間607内のライト34Aの位置を示す。アイコン40aによって示される波線は、HVAC通気口40の動作状態を「オン」または「開」として示し、アイコン34eの無地のパターンは、台所606のライトの動作状態を「オン」として示し、アイコン34a、34fの点が描かれたパターンは、書斎603および居間607のライトの動作状態を「薄暗い」として示し、アイコン30aの三角形の要素の間の分離は、窓のブラインドの動作状態を「開」として示す。

間取り図マップ60は、連続した空間650を定義する3つの部屋(居間607、台所606、および書斎603)の間に(点で描かれたエリア61によって示される)壁または仕切りがないことをさらに示す。上述のように、壁/仕切りがないことは、動作環境のナビゲーションに応じて移動ロボットの位置特定センサーによって検出された占有データおよび/またはワイヤレストランシーバによって獲得された信号カバレッジデータによって示される可能性がある。つまり、生活空間(および/またはその中のデバイスのグループ分け)はユーザ入力によって(居間607、台所606、および書斎603として示される)別々の部屋として定義される可能性があるが、図6に示される生活空間の実際の間取り図60は、より広い連続した空間650を定義する複数の隣接した部屋を含む。

間取り図マップ内の壁/仕切りまたはその他の物理的な境界の有無に基づいて、本開示の実施形態は、動作環境内のエリア/部屋の相対的な空間的関係をさらに特定する可能性があり、動作環境内の電子デバイスをエリア/部屋の相対的な空間的関係に対応するサブセットにセグメント分けするまたはグループ分けする可能性がある。図6の例において、アイコン30a、34a/e/f、および40aによって表される窓のブラインド、HVAC通気口、および照明器具は、それらのそれぞれの空間的位置を連続した空間650に対応するものとして特定することに応じて共通のサブセットにグループ分けされ、それらが置かれる部屋(居間607、台所606、および書斎603)に基づいてそれぞれのサブセットにさらにグループ分けされる可能性がある。それによって、本開示の実施形態は、電子デバイスが置かれる部屋の間の(ユーザによってまたはその他の方法で定義された)人工的な境界のみに基づくのではなく、電子デバイスが関連付けられる可能性があるグループまたはサブセットと組み合わせて部屋の相対的な空間的関係に基づいて電子デバイスの個々の制御を調整する可能性がある。

たとえば、台所606内のユーザの存在を検出することに応じて動きによって作動させられる照明を提供する際には、3つの部屋が連続した空間650に含まれるので、居間607および書斎603も明かりを点けることが望ましい可能性がある。しかし、1つの大きな部屋としての空間650のユーザに基づく定義は、複数の別々の名前の部屋とのこれらのデバイスのユーザに基づく関連付けが部屋の名前に基づいて論理的に調整されない可能性がある一方、コネクテッドデバイスが制御され得る粒度を減らす可能性があるので、アイコン30a、34a/e/f、40aによって表されるデバイスの位置に基づくユーザ定義の制御方式は、論理的に難しい可能性がある。しかし、部屋の相対的な空間的関係およびデバイスのそれぞれの空間的位置を特定することによって、本開示の実施形態は、アイコン30a、34a/e/f、40aによって表されるデバイスが置かれる個々の部屋(居間607、台所606、書斎603)に基づく制御も可能にしながら、それらのデバイスが置かれる連続した空間650に基づいてそれらのデバイスを個々に制御することができる。

特に、台所606内のユーザの存在を検出すること、ならびに居間607および書斎603を同じ連続した空間650の一部であるものとして特定することに応じて、制御信号が、台所606内のライトをオンにする(アイコン34eの無地のパターンによって示される)ため、ならびに居間607および書斎603内のライトをより低いレベルでオンにする(アイコン34aおよび34eの点が描かれたパターンによって示される)ために送信され得る。対照的に、台所606内のユーザの存在を検出することに応じて台所606のライトのみをオンにすることは、ユーザに連続した空間650の暗い居間607および書斎603の部分を凝視させる。連続した空間との電子デバイスの関連付けに基づくだけでなく、デバイスが置かれる部屋の空間的関係にも基づく電子デバイスのそのような個々の制御は、より快適な自動化された照明の体験を提供する可能性がある。

別の例においては、台所606の窓30が(アイコン30aの三角形のブラインド要素の間の間隔によって示される)「開」状態であるものとして検出される場合、および効率的なHVACの動作が指定される場合、たとえHVAC通気口40が異なる部屋に(窓30がある台所606ではなく書斎603に)置かれるとしても、開いた窓30の位置とのHVAC通気口40の位置の空間的近さに基づいて、書斎603内のコネクテッドHVAC通気口40の動作状態を(アイコン40aの波線によって示される)「開」から「閉」に切り替えるために、そのコネクテッドHVAC通気口40に制御信号が送信され得る。つまり、HVAC通気口40および開いた窓30を連続した空間650内にあるものとして特定することに基づく制御は、動作環境の別々の部屋603および606内のHVAC通気口40および窓30の空間的位置にのみ基づく制御よりも有利である可能性がある。

本明細書において説明されるコネクテッドコンピューティングデバイスは、動作環境の隣接するエリア内のデバイスの動作および/または環境条件に基づいて1つまたは複数のコネクテッド電子デバイスの動作を予測的に制御するための制御信号を送信するようにさらに構成される可能性がある。たとえば、照明などの動きによって作動させられるイベントを制御する際、空間内のユーザの存在を検出した後ではなくユーザが空間に入る前に(または入るときに)コネクテッド電子デバイスの動作を制御することが望ましい可能性がある。図7は、本開示の実施形態による、コネクテッド電子デバイスの位置に非常に近い動作環境のエリア内のユーザの存在および/または道筋を検出することに応じたコネクテッド電子デバイスの予測的な制御のための例示的な動作を示す平面図である。

図7に示されるように、(生活空間20などの)動作環境のナビゲーションに応じて(移動ロボット200などの)移動ロボットの1つまたは複数の位置特定センサーによって収集された占有データに基づいて、動作環境70内の部屋701、702の相対的な空間的関係が特定される可能性がある。たとえば、移動ロボットによって収集されたデータは、内部空間の平面図マップを構築または生成するためにまとめられる可能性がある。特に、図7は、動作環境70内の寝室702に対する廊下701の相対的な空間的関係を示す。加えて、移動ロボットによって収集された占有データおよび/もしくは信号カバレッジデータ、(ユーザ端末142、144、400などの)ユーザ端末のユーザインターフェースを介してユーザから受け取られた情報、ならびに/または(図1Aのノード110、126、127、128、200、140、および150などの)1つもしくは複数のネットワークノードから受信された情報に基づいて、電子デバイス34A1、34A2、120A1、120A2は、動作環境70内のそれぞれの空間位置と関連付けられる。特に、ライト34A1およびモーションセンサー120A1は、廊下701内のそれぞれの位置に関連付けられ、一方、ライト34A2およびモーションセンサー120A2は、寝室702内のそれぞれの位置に関連付けられる。

図7の例において、ライト34A1および34A2の動作は、それらのそれぞれの空間的位置ならびにそれらが置かれる部屋701および702の相対的な空間的関係に基づいて個々に制御され得る。たとえば、モーションセンサー120A1の視野130A1内で廊下701内のユーザPの存在を検出することに応じてライト34Alをオンにすることに加えて、本明細書において説明される実施形態は、相対的な空間的関係によって示される空間701と空間702が隣接していることに基づいて、ユーザPがどの部屋に入ろうとしている可能性があるかを予測し、先回りして措置を講じることができる。特に、廊下701が寝室702に隣接しているものとして特定されたので、ユーザPが寝室702に入り、寝室内のモーションセンサー120A2によって検出される前に、廊下701内のユーザPの存在の検出に応じて寝室702内のライト34A2をオンにするために制御信号が送信される可能性がある。つまり、寝室702内のユーザPの存在が、ライト34A2に対するモーションセンサー120A1の相対的な空間的位置と、移動ロボットの占有データによって示される部屋701、702の相対的な空間的関係とに基づいて、廊下701内で検出されたユーザPの存在から予測される(それに応じて寝室702内のコネクテッドデバイス34A2が制御される)。対照的に、寝室内のモーションセンサー120A2がトリガされるまで寝室702内のライト34A2が作動させられない場合、ユーザPは、特に、モーションセンサー120A2の視野130A2が寝室702へのドア702dを包含しないときは、暗い中を何歩も歩かなくてはならない可能性がある。

一部の実施形態において、廊下701内のモーションセンサー120A1は、(寝室702へのドア702dに向かうかまたは寝室702へのドア702dから離れるかのどちらかの)ユーザPの道筋を検出するようにさらに構成される可能性があり、寝室内のライト34A2も、検出された存在のみでなく検出された道筋に基づいて制御される可能性がある。つまり、モーションセンサー120A1が廊下701内のユーザPの存在を検出し、寝室のドア702dに向かうユーザPの道筋を検出する場合、制御信号が、寝室702内のライト34A2を作動させるために送信される可能性がある。逆に、モーションセンサー120A1が廊下701内のユーザPの存在を検出するが、寝室のドア702dに向かわないユーザPの道筋を検出する場合、寝室702内のライト34A2を作動させるための制御信号は、送信されない可能性がある。

さらに、電子デバイスは、それらの相対的な空間的位置および/またはそれらが置かれる部屋の相対的な空間的関係に基づいて、同じイベントを検出することに応じて異なるように個々に制御される可能性がある。たとえば、図7の隣接する空間701および702の照明を制御する際、(ユーザPの存在がモーションセンサー120A1によって直接検出される)廊下701内のライト34A1は、ユーザPの存在が予測される寝室702内のライト34A2よりも高いレベルの明るさに作動させられる可能性がある。つまり、ユーザPが寝室702に向かって廊下701を歩くとき、ライト34A1は、より明るい作業照明を提供するために作動させられる可能性があり、一方、隣接する寝室702のライト34A2は、より低いレベルのアクセント照明を提供するために作動させられる可能性がある。その後、ライト34A2は、モーションセンサー120A2による寝室702内の実際の存在(またはモーションセンサー120A1との近さからの寝室702内の予測される存在)の検出に応じてより明るい作業照明を提供するために作動させられる可能性があり、ライト34A1は、薄暗くされるかまたはオフにされる可能性がある。しかし、一部の実施形態において、寝室702内のライト34A2は、モーションセンサー120A2による寝室702内の別の人(たとえば、配偶者または大切な人)の存在の以前の検出に応じて、たとえ動きのさらなる検出がないとしても(たとえば、配偶者/大切な人が寝ている場合)、より明るい状態に作動させられない可能性がある。つまり、モーションセンサー120A2による以前の検出が、モーションセンサー34A2によるユーザPの後の検出に応じたライト34A2に関する後の制御動作を無効にする可能性がある。この制御方式は、ユーザPが寝室702を離れることの検出に応じて逆転される可能性がある。コネクテッドデバイスの相対的な空間的位置および/またはコネクテッドデバイスが置かれる部屋の相対的な空間的関係に基づくコネクテッドデバイスのためのそのような異なる制御方式は、動作環境内のデバイスの示された位置および部屋の相対的な空間的関係に基づいて、図5のユーザインターフェース510などの本明細書において説明されるユーザインターフェースを介してより直感的に指定される可能性がある。

本明細書において説明されるコネクテッドコンピューティングデバイスは、隣接する空間内の電子デバイスの動作状態および/または隣接する空間内の環境条件に基づいて1つまたは複数のコネクテッド電子デバイスの動作を制御するための制御信号を送信するようにさらに構成される可能性がある。図8は、本開示の実施形態による隣接した空間内の状態に基づいてコネクテッドデバイスを制御するための例示的な動作を示す平面図である。

図8に示されるように、(生活空間20などの)動作環境のナビゲーションに応じて(移動ロボット200などの)移動ロボットの1つまたは複数の位置特定センサーによって収集された占有データに基づいて、動作環境70'内の部屋701、702の相対的な空間的関係が特定される可能性がある。特に、図8は、動作環境70'内の寝室702に対する廊下701の相対的な空間的関係を示す。加えて、移動ロボットによって収集された占有データおよび/もしくは信号カバレッジデータ、(ユーザ端末142、144、400などの)ユーザ端末のユーザインターフェースを介してユーザから受け取られた情報、ならびに/または(図1Aのノード110、126、127、128、200、140、および150などの)1つもしくは複数のネットワークノードから受信された情報に基づいて、電子デバイス34A1、34A2、120A1、120A2、120Bは、動作環境70'内のそれぞれの空間位置と関連付けられる。特に、ライト34A1およびモーションセンサー120A1は、廊下701内のそれぞれの位置に関連付けられ、一方、ライト34A2、モーションセンサー120A2、および照度センサー120Bは、寝室702内のそれぞれの位置に関連付けられる。

図8の例において、ライト34A1および34A2の動作は、部屋701および702内のそれらのそれぞれの空間的位置、それらが置かれる部屋701および702の相対的な空間的関係、ならびにさらにそれらのそれぞれの動作状態に基づいて個々に制御され得る。たとえば、モーションセンサー120A2によって寝室702内のユーザPの動きおよび/またはドア702dに向かうユーザPの道筋の検出に応じて、本開示の実施形態は、廊下701内のユーザPの存在を予測する可能性があり、それに応じて廊下701内のライト34A1を作動させるための制御信号を送信する可能性がある。加えて、本開示の実施形態は、寝室702内のライト34A2の動作状態に基づいて廊下701内のライト34A1をさらに制御する可能性がある。特に、図8に示されるように、(ライト34A2自体または照度センサー120Bによってレポートされる)寝室702内のライト34A2から出力された低いレベルのまたは薄暗い光の検出に応じて、ユーザPの目をくらませることを防ぐために、ユーザPが廊下701に到着するときにユーザPが一貫した照明に出会うように、同様の低いレベルのまたは薄暗い光の出力を提供するために廊下のライト34A1に制御信号が送信される可能性がある。これらの動作は、モーションセンサー120A1による廊下701内のユーザPの存在の検出の前に行われる可能性がある。つまり、ユーザPが暗い寝室702を離れ、廊下701に入るとき、廊下のライト34A1は、ユーザPが到着した元の位置のライト34A2の動作状態に基づいて制御される可能性がある。逆に、ユーザPが明るく照らされたエリアを離れるとき、隣接する空間内の照明は、比較的明るくなるように制御される可能性がある。

さらに、寝室720内の照度センサー120Bは人工の照明と自然の照明との両方を検出する可能性があるので、廊下701内のライト34A1は、ライト34A2の動作状態の動作状態とは別にまたはライト34A2の動作状態の動作状態に加えて、隣接する空間702内の照度センサー120Bの動作状態によって検出される光のレベルに基づいて制御される可能性がある。つまり、照度センサー120Bは、日光またはその他の環境照明が原因で寝室702において高い明るさのレベルを検出する可能性があり、窓のない廊下701のライト34A1は、照度センサー120Bによって検出された明るさのレベルに基づいて同様のレベルの照明を提供するように制御される可能性がある。より広く、動作環境の1つのエリアに置かれたコネクテッドデバイスは、ユーザがいる動作環境の別のエリアからの(電子デバイスの動作および/または環境によって影響を受ける)1つまたは複数の検出された状態に基づいて制御される可能性がある。家またはその他の動作環境のレイアウトならびにコネクテッドセンサーおよびデバイスおよび人の位置の知識は、それによって、「よりスマートな」スマートホーム体験を提供することができる。

本開示の実施形態によるさらなる動作および利点は、デバイスを動作環境内のそれぞれの空間的位置に関連付けることに応じてコネクテッドデバイスを制御するための自動化された規則を自動的に生成することおよび/または適合させることを含む可能性がある。たとえば、表示された間取り図マップの位置にデバイスをドラッグアンドドロップするユーザ入力を受け取ることに応じて、デバイスの動作のための1つまたは複数の条件付きの命令が、デバイスの種類、位置に対応するもしくは位置に非常に近い部屋の種類、ならびに/または動作環境内のその他の部屋および/もしくはデバイスに対して相対的な部屋の空間的関係に基づいて自動的に生成される可能性がある。一例においては、モーションセンサー型のデバイスをマップ上の部屋に関連付けるユーザ入力を検出することに応じて、条件付きの命令が、動きが検出されるときにその部屋内でライトをオンにするために自動的に生成される可能性がある。同様に、動きに基づくアラームセンサーを空間的位置に関連付けるユーザ入力を検出することに応じて、条件付きの命令が、同じ空間的位置における移動ロボットの動作のスケジューリングされた時間に基づいて動きに基づくアラームセンサーを停止するために自動的に生成される可能性がある。

別の例においては、照明デバイスの空間的位置が自然の光源(たとえば、窓)に非常に近いと判定することに応じて、予測されるまたは検出された照明条件に基づいて照明デバイスの動作を指定する条件付きの命令が、自動的に生成される可能性がある。たとえば、照明デバイスが(日中の時間の間に予測される自然光に基づいて)日中の時間の間オフにされるかまたは(照度検出器によって検出された)自然の光源からの不十分な光に基づいてオンにされるべきであることを規定する条件付きの命令が、自動的に生成される可能性がある。条件は、季節および/または天気に関連する条件をさらに含む可能性がある(たとえば、予測される自然光に対応する日中の時間は、季節および/または天気に基づいて変わる可能性がある)。

さらに別の例においては、寝室内の照明デバイスがオフであることを検出することに応じて、寝室内の照明デバイスをオンにするための制御信号が、隣接する廊下において動きを検出することに応じて送信されない可能性がある。部屋の種類が、部屋の名前のユーザ入力を受け取ることによって決定される可能性があり、または部屋の中のオブジェクトの視覚的認識および/もしくは部屋内の電子デバイスの特定に基づいて自動的に検出される可能性がある。つまり、電子デバイスを動作させるための条件付きの命令が、空間的位置とのデバイスの関連付けに基づいて自動的に生成される可能性があり、デバイスが、条件付きの命令によって示される(時間、季節、温度、および/または天気に基づく条件を含む)1つまたは複数の条件の発生に応じて動作させられる可能性がある。

電子デバイスを動作させるための条件付きの命令は、動作環境内の1人もしくは複数のユーザまたは移動ロボットの存在の検出に基づいておよび/または相対的な空間的関係にあるそれらの位置に基づいて自動的に調整される可能性もある。たとえば自然の光源に非常に近い照明デバイスの上記の例において、自然の光源からの光の十分さ(およびひいては照明デバイスの作動をトリガする条件の発生)の閾値が、より大きな照明のニーズを必要とする可能性があるユーザまたはカメラに基づく移動ロボットの存在に基づいて変わる可能性がある。この例の移動ロボットに関連するスケジュールも、存在を判定し、条件付きの命令を調整するために使用される可能性があり、たとえば移動ロボットが特定の時刻に自然の光源に非常に近い照明デバイスの空間的位置を掃除するようにスケジューリングされる場合、ならびに季節および/または天気がスケジューリングされた時刻に自然の光源によって与えられる自然の照明が移動ロボットのカメラに基づく撮像に不十分であることを示す場合、照明デバイスが作動させられる可能性がある。より広く、電子デバイスを動作させるための条件付きの命令は、空間的位置とのデバイスの関連付けに基づくだけでなく、空間的位置において検出されるかまたは発生すると予測される可能性がある条件の任意の組合せにも基づいて自動的に生成される可能性がある。

加えて、本開示の実施形態は、占有データの一貫性および/または正確性を検証するために動作環境内の電子デバイスの動作をさらに制御する可能性がある。たとえば、動作環境のナビゲーション中に、(移動ロボット200などの)移動ロボットが、環境内のコネクテッドライトの空間的位置を視覚的に認識し、ライトの空間的位置を占有データに追加するためにコネクテッドライトをそれらの「オン」および「オフ」状態にする可能性がある。この更新された占有データは、対応する間取り図マップ内の曖昧さを解決するおよび/または環境への変更を更新するために既に収集された占有データと比較される可能性がある。さらに、移動ロボットは、コネクテッド照明デバイスを選択的に作動させ、各照明デバイスの空間に対するそれぞれの照明の影響を判定するために各照明デバイスに関する「ライトマップ」を構築する可能性がある。このライトマップは、所望の照明のレベルおよび範囲を実現するためにそのように特定の照明デバイスを選択的に制御することを可能にする可能性がある。コネクテッドデバイスを選択的に作動させるおよび/または作動を以前の結果と比較するためのそのような動作は、動作環境内の1つまたは複数のその他のネットワーク要素によって実行される可能性もある。

また、本開示の実施形態は、動作環境内のコネクテッドデバイスに関する空間的位置およびステータス情報を表すことに限定されない。たとえば、一部の実施形態は、動作環境のローカルにある非コネクテッドデバイスに関してさえも、デバイスのエネルギーの監視に基づく時間ステータス情報を提供することができる。特に、非コネクテッドデバイスのエネルギー使用が、それらの電力消費のプロフィールに基づいて非コネクテッドデバイスを自動的に検出し、特定するSenseのホームエネルギーモニタなどのネットワーク接続されたエネルギー監視デバイスを使用して判定され得る。たとえば、動作環境内の空調ユニットおよび冷蔵庫が、それらのそれぞれのエネルギー使用および電力消費のプロフィールに基づいて一意に特定され得る。そのような非コネクテッドデバイスに関する動作ステータス情報およびそれぞれの空間位置も、エネルギー使用および電源コンセントの対応する位置から決定される可能性がある。さらに、そのような非コネクテッドデバイスの空間的位置は、動作環境のナビゲーション中に移動ロボットによって視覚的に認識され得る。したがって、非コネクテッドデバイスは、特定され、それらのそれぞれの空間的位置を示すために間取り図マップに追加され、本明細書において説明されるように動作環境内の位置およびステータスの視覚的インジケーションを提供するためにそれらのエネルギー使用情報と相互に関連付けられることが可能である。

図9～図10は、本開示の実施形態によるコンピューティングデバイスの少なくとも1つのプロセッサによってまたはコンピューティングデバイスの少なくとも1つのプロセッサからの命令に応じて実行される可能性がある動作を示す流れ図である。図9～図10の動作は、本明細書において説明されるメモリデバイス222、320、428などの非一時的コンピュータ可読媒体に記憶された実行可能なルーチンまたは命令を表す可能性があり、規定されたルーチンまたは命令を実施するために本明細書において説明されるプロセッサ220、310、および/または427などの1つまたは複数のプロセッサによって実行される可能性がある。

図9は、本開示の実施形態によるユーザ端末によって実行される可能性がある動作を示す流れ図である。特に、図9の動作は、本明細書において説明されるユーザ端末142、144、400などのユーザ端末の1つまたは複数のプロセッサによってまたはユーザ端末142、144、400などのユーザ端末の1つまたは複数のプロセッサからの命令に応じて実行される可能性がある。図9を参照すると、動作環境に関する占有データが、移動ロボットによる動作環境のナビゲーションに応じてブロック905において受信される。占有データは、動作環境内のナビゲーションに応じて移動ロボットの1つまたは複数の位置特定センサーによって検出された位置特定データに基づいて生成される可能性があり、ユーザ端末の1つまたは複数の受信機によって受信される可能性がある。位置特定データは、測距センサーからの距離測定値、障害物および近接センサーからの占有および障害物判定、ならびにカメラおよびその他のパターン/イメージ/基準観測センサーからの特徴および目標物判定を含む可能性がある。位置特定データは、たとえば、VSLAM技術を使用して動作環境の位置および/または移動ロボットの姿勢を表す2次元占有データを記録するための表面マップ作成ルーチンにおいて検出される可能性がある。動作環境の視覚的表現が、占有データに基づいて生成され、ブロック910においてユーザ端末のユーザインターフェースを介して表示される。より詳細には、占有データを受信することに応じて、ユーザ端末の1つまたは複数のプロセッサが、図4～図5の間取り図マップ50などの動作環境の平面図マップを表示するようにユーザインターフェースを動作させるための命令を生成し、送信する可能性がある。

動作環境内の電子デバイスおよび電子デバイスのそれぞれの動作状態を特定する情報が、ブロック915において受信される。電子デバイスを特定する情報および/またはそれらのそれぞれの動作状態を特定する情報は、(たとえば、ハブ110、センサー120、および/もしくはコントローラ126、127、128によって収集された情報に基づいて)動作環境内の1つもしくは複数のネットワーク要素、(たとえば、動作環境のナビゲーション中に移動ロボットによって収集された占有データもしくはワイヤレス信号カバレッジデータに基づいて)移動ロボット、ならびに/または(たとえば、アイコン30a、34a～34f、40aをリスト420に追加する入力に基づいて)ユーザ端末のユーザインターフェースから受信される(またはそうでなければそれらによって提供されたデータから決定される)可能性がある。

それによって、ブロック920において、動作環境の視覚的表現には、電子デバイスのそれぞれの空間的位置の視覚的インジケーションと、それらの電子デバイスのそれぞれの動作状態のステータスインジケーションとが入れられる。たとえば、電子デバイスおよびそれらのそれぞれの動作状態を特定する情報に基づいて、(図4～図5の間取り図マップ50などの)動作環境の表示される平面図マップには、(アイコン30a、34a～34f、40aなどの)それぞれの電子デバイスをグラフィカルに表すアイコンが入れられてもよい。アイコンは、動作環境内の電子デバイスの実際の位置に対応する平面図マップ上の空間的位置に表示される可能性がある。空間的位置は、動作環境のナビゲーションに応じて移動ロボットによって収集された占有データおよび/もしくはワイヤレス信号カバレッジデータから、ならびに/またはユーザインターフェースを介して受け取られたユーザ入力(たとえば、リスト420に示されたアイコン30a、34a～34f、40aをマップ50にドラッグアンドドロップすること)から決定される可能性がある。

一部の実施形態においては、アイコン自体が、アイコンによって表される電子デバイスのそれぞれの動作状態をさらにグラフィカルに示す可能性がある。たとえば、図5のユーザインターフェース510に示されるように、間取り図マップ50には、動作環境内のコネクテッド照明デバイスを表す電球アイコン34a～34e、動作環境内のコネクテッドHVAC通気口を表す通気口アイコン40a、および動作環境内のコネクテッド窓ブラインドを表す窓アイコン30aが入れられる。電球アイコン34a～34eの記号および/または斜線、通気口アイコン40aの波線、ならびに窓アイコン30a全体へのブラインド要素の伸長は、アイコン34a～34e、40a、および30aによって表されるデバイスのそれぞれの動作状態を示す。

図10は、本開示の実施形態によるコンピューティングデバイスによって実行される可能性がある動作を示す流れ図である。特に、図10の動作は、ハブ110、コントローラ126、127、128、移動ロボット200、ドック140、ユーザ端末142、端末144、400、サーバ150、および/またはコンピューティングデバイス300などの(しかしこれらに限定されない)ネットワーク対応コンピューティングデバイスの1つもしくは複数のプロセッサによってまたはそれらのプロセッサからの命令に応じて実行される可能性がある。図10を参照すると、動作環境に関する占有データが、移動ロボットによる動作環境のナビゲーションに応じてブロック1005において受信される。占有データは、たとえば、図9のブロック905を参照して上で説明されたように、VSLAM技術を使用して移動ロボットの1つまたは複数の位置特定センサーによって検出された位置特定データに基づいて生成される可能性がある。一部の実施形態において、占有データは、コンピューティングデバイスの1つまたは複数のネットワーク受信機を介して受信される可能性がある。

動作環境内の電子デバイスが、ブロック1010において占有データに基づいて動作環境のそれぞれの空間的位置に関連付けられる。上述のように、電子デバイスの空間的位置は、動作環境のナビゲーションに応じて移動ロボットによって収集された占有データからおよび/もしくはワイヤレス信号カバレッジデータから、ならびに/またはユーザインターフェースを介して受け取られたユーザ入力から決定される可能性がある。加えて、占有データは、たとえば、ナビゲーション中に移動ロボットが遭遇した動作環境のエリアの間の物理的な境界の有無に基づいて動作環境内の部屋を示す可能性がある。動作環境内の部屋の関連する空間的関係が、占有データに基づいてさらに特定される可能性があり、それによって、電子デバイスが、動作環境内の部屋の相対的な空間的関係に照らしてそれらの電子デバイスのそれぞれの空間的位置に基づいてそれぞれのサブセットにセグメント分けされるまたはグループ分けされる可能性がある。たとえば、同じ部屋内の/同じ部屋の近くのまたは連続した部屋の境界内/付近の電子デバイスは、同じサブセットにグループ分けされる可能性があり、一方、部屋のまたは連続した部屋の境界の外の電子デバイスは、異なるサブセットにグループ分けされる可能性がある。

ブロック1015において、電子デバイスのうちの1つまたは複数のそれぞれの空間的位置に基づいて(および/またはそれぞれの空間的位置に対応する部屋の相対的な空間的関係に基づいて)それらの電子デバイスのうちの1つまたは複数の動作を制御するために、それらの電子デバイスのうちの1つまたは複数に制御信号が送信される。たとえば、共通の部屋または連続した空間内の電子デバイスのうちの1つまたは複数の対応するグループ分けまたはサブセットに従って、それらの電子デバイスのうちの1つまたは複数に制御信号が送信される可能性がある。一例においては、特定の部屋を(たとえば、部屋の表示された平面図マップの一部をクリックするかもしくはタップすることによって)選択するかまたはそれ以外の方法で示すユーザ入力を受け取ることに応じて、照明デバイスの共通のグループ分けに基づいて特定の部屋内にあるそれらの照明デバイスを作動させる(たとえば、暗くする)ためにそれぞれの制御信号が生成され、送信される可能性がある。別の例において、動作環境の連続したエリア内に空間的に置かれた照明デバイスは、異なる部屋に物理的に置かれているにもかかわらず、共通のサブセット内のそれらの照明デバイスのグループ分けに基づいて同様に制御される可能性がある。また、1つもしくは複数の電子デバイスのそれぞれの空間的位置に対応する部屋の種類、ならびに/またはそれらの1つもしくは複数の電子デバイスのそれぞれの空間的位置に隣接する動作環境のエリア内のデバイスの活動および/もしくは環境条件に基づいて、それらの1つまたは複数の電子デバイスに制御信号が送信される可能性がある。

つまり、本明細書において説明されるように、電子デバイスは、動作環境内のそれらの電子デバイスのそれぞれの空間的位置、それらの電子デバイスのそれぞれの空間的位置に対応する部屋の相対的な空間的関係、ならびに/または(その他の電子デバイスの動作状態および/もしくは環境条件を含む)動作環境の隣接したエリア内の動作条件に基づいて異なるように制御される可能性がある。電子デバイスの実際の動作を示すデータも、時間ステータス情報を生成し、表示する際に使用するために、電子デバイスの予測されるまたはスケジューリングされた動作を示すデータと一緒にログに記録され、データベースに記憶される可能性があり、それによって、電子デバイスに関する動作ステータスが、ユーザが選択可能な時点で提示され得る。したがって、動作環境のナビゲーション中に移動ロボットによって収集された占有データに基づいて、デバイスの位置およびデバイスの過去の/現在の/将来の動作状態の視覚的表現を提供し、電子デバイスの現在のまたは将来の動作状態の制御も可能にするユーザインターフェースが生成される可能性がある。

本開示の様々な実施形態の上の説明においては、本開示の態様が、任意の新しいおよび有用なプロセス、機械、製造物、もしくは組成物、またはそれらの任意の新しいおよび有用な改良を含むいくつかの特許を受けることができる部類または文脈のいずれかで本明細書において示され、説明される可能性がある。したがって、本開示の態様は、概してすべて「回路」、「モジュール」、「構成要素」、または「システム」と呼ばれる可能性があるすべてハードウェア、すべて(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)ソフトウェア、またはソフトウェアとハードウェアとを組み合わせる実装で実装される可能性がある。さらに、本開示の態様は、コンピュータ可読プログラムコードを具現化する1つまたは複数のコンピュータ可読媒体を含むコンピュータプログラム製品の形態をとる可能性がある。

1つまたは複数のコンピュータ可読媒体の任意の組合せが、使用される可能性がある。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読ストレージ媒体である可能性がある。コンピュータ可読ストレージ媒体は、たとえば、電子、磁気、光学、電磁、または半導体システム、装置、またはデバイス、またはこれらの任意の好適な組合せであるがこれらに限定されない可能性がある。コンピュータ可読ストレージ媒体のより特定の例(非網羅的リスト)は、以下、すなわち、ハードディスクドライブ、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラマブル読み出し専用メモリ(EPROMもしくはフラッシュメモリ)、中継器を有する適切な光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ(CD-ROM)、光学式ストレージデバイス、磁気式ストレージデバイス、またはこれらの任意の好適な組合せを含む。本明細書の文脈で、コンピュータ可読ストレージ媒体は、命令実行システム、装置、もしくはデバイスによってまたは命令実行システム、装置、もしくはデバイスに関連して使用するためのプログラムを含むかまたは記憶することができる任意の非一時的媒体である可能性がある。

コンピュータ可読信号媒体は、たとえば、ベースバンドにまたは搬送波の一部としてコンピュータ可読情報が具現化された伝播データ信号を含む可能性がある。そのような伝播信号は、電磁、光、またはこれらの任意の好適な組合せを含むがこれらに限定されない様々な形態のうちのいずれかの形態をとる可能性がある。コンピュータ可読信号媒体は、コンピュータ可読ストレージ媒体ではなく、命令実行システム、装置、もしくはデバイスによってまたは命令実行システム、装置、もしくはデバイスに関連して使用するためのプログラムを伝達するか、伝播させるか、または運ぶことができる任意のコンピュータ可読媒体である可能性がある。(たとえば、プログラムコードとして)コンピュータ可読信号媒体上に具現化されたコンピュータ可読情報は、ワイヤレス、固定電話回線、光ファイバケーブル、RFなど、またはこれらの任意の好適な組合せを含むがこれらに限定されない任意の適切な媒体を使用して送信される可能性がある。

本開示の態様に関する動作を実行するためのコンピュータプログラムコードは、1つまたは複数のプログラミング言語の任意の組合せで記述される可能性がある。プログラムコードは、本明細書において説明されたユーザ端末、移動ロボット、もしくはリモートサーバにおいてすべて実行されるか、またはそれぞれのうちの1つもしくは複数において部分的に実行される可能性がある。後者の筋書きにおいては、リモートサーバが、ローカルエリアネットワーク(LAN)もしくは広域ネットワーク(WAN)を含む任意の種類のネットワークを通じてユーザ端末および/もしくは移動ロボットに接続される可能性があり、あるいは接続が、(たとえば、インターネットサービスプロバイダを使用してインターネットを通じて)外部コンピュータにおよび/もしくはクラウドコンピューティング環境内で行われるか、またはサービスとしてのソフトウェア(SaaS)などのサービスとして提供される可能性がある。

本開示の態様は、本開示の実施形態による方法、装置(システム)、およびコンピュータプログラム製品の流れ図および/またはブロック図を参照して本明細書において説明されている。流れ図および/またはブロック図の各ブロックならびに流れ図および/またはブロック図のブロックの組合せがコンピュータプログラム命令によって実行され得ることは、理解されるであろう。これらのコンピュータプログラム命令は、コンピュータまたはその他のプログラミング可能な命令実行装置のプロセッサによって実行される命令が流れ図および/またはブロック図の1つのブロックまたは複数のブロックにおいて規定された機能/行為を実施するためのメカニズムを生むように、マシンを生成するために多目的コンピュータ、専用コンピュータ、またはその他のプログラミング可能なデータ処理装置のプロセッサに与えられる可能性がある。

これらのコンピュータプログラム命令は、コンピュータ可読媒体に記憶されるときに命令が、実行されるときにコンピュータに流れ図および/またはブロック図の1つのブロックまたは複数のブロックにおいて規定された機能/行為を実施させる命令を含む製品を生むように、特定の方法で機能するようにコンピュータ、その他のプログラミング可能なデータ処理装置、またはその他のデバイスに指示することができるコンピュータ可読媒体に記憶される可能性もある。コンピュータプログラム命令は、コンピュータまたはその他のプログラミング可能な装置において実行される命令が流れ図および/またはブロック図の1つのブロックまたは複数のブロックにおいて規定された機能/行為を実施するためのプロセスを提供するように、コンピュータによって実施されるプロセスを生成するようにコンピュータ、その他のプログラミング可能な装置、またはその他のデバイス上で一連の動作ステップを実行させるためにコンピュータ、その他のプログラミング可能な命令実行装置、またはその他のデバイスにロードされる可能性もある。

本明細書で使用された用語は、特定の実施形態を説明することのみを目的としており、本発明の限定であるように意図されていないことを理解されたい。別途定義されない限り、本明細書において使用される(技術用語および科学用語を含む)すべての用語は、本開示が属する技術分野の当業者によって通常理解されるのと同じ意味を有する。よく使用される辞書において定義された用語などの用語が、本明細書および関連技術の文脈でのそれらの用語の意味にふさわしい意味を持つと解釈されるべきであり、本明細書において明示的にそのように定義されない限り非現実的なまたは過度に型通りの意味に解釈されないことはさらに理解されるであろう。

図面の中の流れ図およびブロック図は、本開示の様々な態様によるシステム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、および動作を示す。これに関連して、流れ図またはブロック図の各ブロックは、規定された論理的機能を実装するための1つまたは複数の実行可能な命令を含むコードのモジュール、セグメント、または一部を表す可能性がある。一部の代替的な実装においては、ブロックに示された機能が図に示された順序から外れて行われる可能性があることにも留意されたい。たとえば、連続して示された2つのブロックが、実際には、実質的に同時に実行される可能性があり、またはブロックは、関連する機能に応じて逆順に実行されることがある可能性がある。ブロック図および/または流れ図の各ブロックならびにブロック図および/または流れ図のブロックの組合せは、規定された機能もしくは行為を実行する専用のハードウェアに基づくシステム、または専用のハードウェアとコンピュータ命令との組合せによって実装され得ることも留意される。

以上は、本開示の実施形態を例示しており、本開示の限定と解釈されるべきでない。いくつかの例示的な実施形態が説明されたが、当業者は、本発明の教示および利点から実質的に逸脱することなく例示的な実施形態において多くの修正が可能であることを容易に理解するであろう。したがって、すべてのそのような修正は、本発明の範囲内に含まれるように意図される。したがって、上記の内容が本発明を例示しており、開示された特定の実施形態に限定されると解釈されるべきでなく、開示された実施形態およびその他の実施形態が本発明の範囲に含まれるように意図されることを理解されたい。

10 生活構造物
20 生活空間
30 窓
30a アイコン
30A ブラインド、コネクテッド電子デバイス、コネクテッドデバイス
32 ドア
34 照明器具、コネクテッド電子デバイス、コネクテッドデバイス
34a～34f アイコン
34A 消耗するランプ、コネクテッド電子デバイス、コネクテッドデバイス
34A1 電子デバイス、ライト
34A2 電子デバイス、ライト
36 TV、コネクテッド電子デバイス、コネクテッドデバイス
40 暖房、換気、および空調システム(HVAC) 、コネクテッド電子デバイス、コネクテッドデバイス、HVACシステム/通気口
40a アイコン
50 占有マップの視覚的表現、間取り図マップ
60 視覚的表現、間取り図マップ
61 エリア
70 動作環境
100 システム
104 バンパー
106 移動ロボット筐体
110 ゲートウェイ、ハブ、コネクテッドデバイス、ネットワークノード
111 縁ブラシ
120 ネットワーク対応または「コネクテッド」電子デバイス、コネクテッドデバイス、センサー
120A1 電子デバイス、モーションセンサー
120A2 電子デバイス、モーションセンサー
120B 電子デバイス、照度センサー
122 ネットワーク対応または「コネクテッド」電子デバイス、コネクテッドデバイス
124 ネットワーク対応または「コネクテッド」電子デバイス、コネクテッドデバイス
126 ネットワーク対応オートメーションコントローラデバイス、コントローラ、ネットワークノード、コネクテッド電子デバイス、コネクテッドデバイス
127 ネットワーク対応オートメーションコントローラデバイス、コントローラ、ネットワークノード、コネクテッド電子デバイス、コネクテッドデバイス
128 ネットワーク対応オートメーションコントローラデバイス、コントローラ、ネットワークノード、コネクテッド電子デバイス、コネクテッドデバイス
130A1 視野
130A2 視野
140 ロボットドック、ネットワークノード、コネクテッド電子デバイス、コネクテッドデバイス、ドック
142 ネットワークノード、コネクテッド電子デバイス、ユーザ端末、ローカルユーザ端末、コネクテッドデバイス
144 ネットワークノード、コネクテッド電子デバイス、ユーザ端末、リモートユーザ端末、コネクテッドデバイス
150 リモート管理サービス、リモート管理サーバ、ネットワークノード、コネクテッドデバイス
160 ローカルエリアプライベートネットワーク
162 ルータ/ファイアウォール、ルーティングネットワークエンティティ
164 ワイヤレスアクセスポイント(WAP)
170 公衆ネットワーク
170A WANインターフェース、モデム
170B WAN接続
195A～195D 段差センサー
196 キャスターホイール
197 カメラ
200 ネットワーク対応移動ロボット、ネットワークノード、コネクテッド電子デバイス、ロボット、コネクテッドデバイス
210 車台
220 コントローラ、プロセッサ
222 メモリ、メモリデバイス
224 バッテリ
226 バッテリ充電器
228 ヒューマンマシンインターフェース(HMI)
230 駆動システム
232A 駆動ローラー/キャタピラ
232B 駆動ローラー/キャタピラ
234 電気モーター
240 マップ作成/ナビゲーションシステム
242 サービス動作システム、クリーニングヘッド、掃除システム
242A ゴミ貯蔵容器
242B 貯蔵容器レベルセンサー
242C 汚れ抽出センサー
250 ワイヤレス通信システム、ワイヤレス通信回路
252 ワイヤレストランシーバ、ワイヤレス通信トランシーバまたはモジュール
254 関連するアンテナ
260 IRエミッタ
270A 環境センサー、位置特定センサー
270B 環境センサー、位置特定センサー、カメラ
270C～H 環境センサー、位置特定センサー
274A インジケータライト
274B オーディオトランスデューサ
274C 掃除モード選択スイッチまたはボタン
300 コンピューティングデバイス
310 プロセッサ回路、プロセッサ
320 メモリ
322 プログラムコード
330 ネットワークインターフェース
400 ローカルユーザ端末、リモートユーザ端末
402 キーパッド
404 イヤホン/スピーカ
406 マイクロフォン
408 ディスプレイ
410 ユーザインターフェース
420 リスト
422 プログラム命令
424 カメラ
427 プロセッサ
428 メモリ、メモリデバイス
440 トランシーバ
442 送信機回路
444 受信機回路
446 モデム
450A アンテナアレー
450B アンテナアレー
501 廊下
502 勉強部屋
503 書斎
504 ダイニングルーム
506 台所
507 居間
510 ユーザインターフェース
550 ユーザ入力要素
551 スライダ要素
552 印
553 印
554 印
555 バー要素
603 書斎
606 台所
607 居間
610 ユーザインターフェース
650 連続した空間
701 部屋、廊下
702 部屋、寝室
702d ドア
1107 モーションセンサー
1120 オーバーレイ
1200 ロボット掃除機

Claims

ユーザ端末を動作させる方法であって、
前記ユーザ端末の少なくとも1つのプロセッサによってまたは前記ユーザ端末の前記少なくとも1つのプロセッサからの命令に応じて、
移動ロボットによる動作環境のナビゲーションに基づいて収集された前記動作環境に関する占有データを前記ユーザ端末の少なくとも1つの受信機によって受信する動作であって、前記占有データが前記動作環境内の物理的に分割されていないが人工的に分離されたエリアに対応する連続情報を含む、動作、
前記ユーザ端末のユーザインターフェースを介して、前記占有データに基づいて前記動作環境の視覚的表現を表示する動作、
照明に関連するデバイスを含む、前記動作環境のローカルにある複数の電子デバイスおよび前記複数の電子デバイスのそれぞれの空間的位置および動作状態を特定する情報を前記ユーザ端末の前記少なくとも1つの受信機によって受信する動作、
前記受信された連続情報および前記電子デバイスの前記それぞれの空間的位置に基づいて、それぞれが少なくとも1つの前記電子デバイスに関連付けられた2つ以上の前記物理的に分割されていないが人工的に分離されたエリアを前記動作環境のサブセット内の連続した空間に、プロセッサを介して、自動的にグループ分けする動作、
前記動作環境内の前記電子デバイスの前記それぞれの空間的位置の視覚的インジケーションおよび前記電子デバイスの前記それぞれの動作状態のステータスインジケーションを前記動作環境の前記視覚的表現に入れる動作、ならびに
前記グループ分けされた連続した空間内の前記照明に関連するデバイスの動作を制御するための条件付きの命令を、前記グループ分けされた連続した空間内の前記照明に関連するデバイスの前記それぞれの空間的位置に基づいて自動的に生成する動作
を含む動作を実行するステップ
を含む、方法。
時間を指定する入力を前記ユーザインターフェースを介して受け取るステップをさらに含み、
前記それぞれの動作状態が、前記入力によって指定された前記時間に対応する時間データに関連付けられる請求項1に記載の方法。
過去の時間、現在の時間、および将来の時間を含む時間の範囲を視覚的に表すユーザインターフェース要素を前記ユーザインターフェースを介して表示するステップをさらに含み、
前記時間を指定する前記入力が、前記ユーザインターフェース要素の操作に応じて受け取られる請求項2に記載の方法。
前記ユーザインターフェース要素が、前記時間の範囲を表すバー要素と、前記操作に応じて前記バー要素に沿ったそれぞれの位置に表示されるスライダ要素とを含む請求項3に記載の方法。
前記時間データが、過去の時間データ、現在の時間データ、または将来の時間データを含み、前記それぞれの動作状態が、前記過去の時間データもしくは前記現在の時間データに関連する実際の動作状態、または前記将来の時間データに関連する予測される動作状態を含む請求項2に記載の方法。
前記ステータスインジケーションが、前記電子デバイスのうちの2つ以上の前記それぞれの空間的位置に基づいて前記電子デバイスのうちの前記2つ以上の前記予測される動作状態の間の衝突を特定する請求項5に記載の方法。
前記時間を指定する前記入力が、時間の範囲を含み、前記方法が、
前記入力によって指定された前記時間の範囲の前記電子デバイスのうちの1つまたは複数の前記実際の動作状態および/または前記予測される動作状態の表現を前記ユーザインターフェースを介して表示するステップをさらに含む請求項5に記載の方法。
前記複数の電子デバイスを特定する前記情報が、前記移動ロボットの1つもしくは複数の位置特定センサーによって検出された位置特定データ、前記移動ロボットの1つもしくは複数のワイヤレス受信機によって獲得されたワイヤレス通信信号カバレッジデータ、1つもしくは複数のネットワーク要素によって検出されたネットワークデータ、および/または前記ユーザ端末の前記ユーザインターフェースを介して受け取られたユーザ選択データを含む請求項1に記載の方法。
前記動作環境の前記視覚的表現に入れる前記動作が、
前記動作環境内の前記移動ロボットのナビゲーションに応じて前記移動ロボットの少なくとも1つの位置特定センサーによって検出された位置特定データおよび/または前記移動ロボットの少なくとも1つのワイヤレス受信機によって獲得されたワイヤレス通信信号に基づいて前記動作環境内の前記電子デバイスの前記それぞれの空間的位置を決定することを含む請求項1に記載の方法。
前記視覚的インジケーションが、前記電子デバイスのそれぞれのアイコンを含み、前記ステータスインジケーションが、前記それぞれのアイコンのグラフィカルな特徴を含む請求項1に記載の方法。
前記移動ロボットが、カメラに基づく掃除ロボットであり、前記条件付きの命令が、前記動作環境内の自然の光源との照明デバイスの前記それぞれの空間的位置の近さ、および前記自然の光源によって与えられる光の予測されるまたは検出された量に基づいて照明デバイスの作動を指定する請求項1に記載の方法。
前記電子デバイスのうちの前記1つまたは複数が、動きに基づくアラームセンサーを含み、前記条件付きの命令が、前記動きに基づくアラームセンサーの前記それぞれの空間的位置における移動ロボットの動作のスケジューリングされた時間に基づいて前記動きに基づくアラームセンサーの停止を指定する請求項1に記載の方法。
前記グループ分けされた連続した空間のローカルにある前記電子デバイスを前記連続した空間に対応するサブセットにセグメント分けするまたはグループ分けするステップをさらに含む請求項1に記載の方法。
前記電子デバイスの前記セグメント分けまたはグループ分けに基づいて、前記電子デバイスの動作を制御するための条件付きの命令を生成するステップをさらに含む請求項13に記載の方法。
少なくとも1つの受信機と、
ユーザインターフェースと、
前記少なくとも1つの受信機および前記ユーザインターフェースに結合されたプロセッサと、
前記プロセッサに結合されたメモリとを含み、前記メモリが、
移動ロボットによる動作環境のナビゲーションに基づいて収集された前記動作環境に関する占有データを前記少なくとも1つの受信機によって受信する動作であって、前記占有データが前記動作環境内の物理的に分割されていないが人工的に分離されたエリアに対応する連続情報を含む、動作、
前記ユーザインターフェースを介して前記占有データに基づいて前記動作環境の視覚的表現を表示する動作、
照明に関連するデバイスを含む、前記動作環境のローカルにある複数の電子デバイスおよび前記複数の電子デバイスのそれぞれの空間的位置および動作状態を特定する情報を前記少なくとも1つの受信機によって受信する動作、
前記受信された連続情報および前記電子デバイスの前記それぞれの空間的位置に基づいて、それぞれが少なくとも1つの前記電子デバイスに関連付けられた2つ以上の前記物理的に分割されていないが人工的に分離されたエリアを前記動作環境のサブセット内の連続した空間に自動的にグループ分けする動作、
前記動作環境内の前記電子デバイスの前記それぞれの空間的位置の視覚的インジケーションおよび前記電子デバイスの前記それぞれの動作状態のステータスインジケーションを前記動作環境の前記視覚的表現に入れる動作、ならびに
前記グループ分けされた連続した空間内の前記照明に関連するデバイスの動作を制御するための条件付きの命令を、前記グループ分けされた連続した空間内の前記照明に関連するデバイスの前記それぞれの空間的位置に基づいて自動的に生成する動作
を含む動作を実行するために前記プロセッサによって実行可能であるコンピュータ可読プログラムコードを記憶するユーザ端末。
前記動作が、
時間を指定する入力を前記ユーザインターフェースを介して受け取る動作をさらに含み、
前記それぞれの動作状態が、前記入力によって指定された前記時間に対応する時間データに関連付けられる請求項15に記載のユーザ端末。
前記動作が、
過去の時間、現在の時間、および将来の時間を含む時間の範囲を視覚的に表すユーザインターフェース要素を前記ユーザインターフェースを介して表示する動作をさらに含み、
前記時間を指定する前記入力が、前記ユーザインターフェース要素の操作に応じて受け取られる請求項16に記載のユーザ端末。
前記ユーザインターフェース要素が、前記時間の範囲を表すバー要素と、前記操作に応じて前記バー要素に沿ったそれぞれの位置に表示されるスライダ要素とを含む請求項17に記載のユーザ端末。
前記時間データが、過去の時間データ、現在の時間データ、または将来の時間データを含み、前記それぞれの動作状態が、前記過去の時間データもしくは前記現在の時間データに関連する実際の動作状態、または前記将来の時間データに関連する予測される動作状態を含む請求項16に記載のユーザ端末。
前記ステータスインジケーションが、前記電子デバイスのうちの2つ以上の前記それぞれの空間的位置に基づいて前記電子デバイスのうちの前記2つ以上の前記予測される動作状態の間の衝突を特定する請求項19に記載のユーザ端末。
前記時間を指定する前記入力が、時間の範囲を含み、前記動作が、
ユーザによって指定された前記時間の範囲の前記電子デバイスのうちの1つまたは複数の前記実際の動作状態および/または前記予測される動作状態の表現を前記ユーザインターフェースを介して表示する動作をさらに含む請求項19に記載のユーザ端末。