JP7436103B2 - モバイル清掃ロボットの協同および永続マッピング - Google Patents

Description

本明細書は、モバイル清掃ロボットの協同および永続マッピングに関する。

多くの住宅環境は、住宅中で自律的にナビゲートし、コントローラに接続されたメモリに記憶されたプログラムを使用して、定められたエリア内で清掃動作を実行するモバイルロボットを含む。清掃ロボットは、ユーザが住宅であちこち清掃ロボットを手動で動かす必要なしに、住宅を清掃することができる。清掃ロボットは、手動入力デバイス、たとえば、ユーザが住宅内で自律的清掃動作を開始するために押すボタンを含むことができる。清掃ロボットは、清掃ロボットが移動したエリアのマップを確立する。ロボットが部屋のフロアエリアの大半をカバーしたとロボットが判断した後、ロボットは、再充電するために充電ステーションに戻り、次のスケジュールされた清掃セッションを待つ。たとえば、ロボットが新しい清掃タスクを実行するために充電ステーションから出るたびに、ロボットが新しい清掃タスクを実行するために住宅内でナビゲートするのに伴って、ロボットは新しいマップを生成する。住宅に複数のロボットがあるとき、各ロボットは、割り当てられたタスクを実行するために住宅内でナビゲートするのに伴って、それ自体のマップを確立する。

米国出願第15/614,844号

一般態様では、協同能力を有するモバイル清掃ロボットを含むシステムが提供される。モバイル清掃ロボットは、環境の永続マップを記憶するためのローカルストレージデバイスと、環境を感知するための少なくとも1つのセンサと、制御モジュールとを含む。制御モジュールは、永続マップおよび少なくとも1つのセンサによって提供された感知データを使用して環境内でナビゲートするようにモバイル清掃ロボットを制御することと、永続マップを第2のモバイル清掃ロボットと共有することと、第2のモバイル清掃ロボットと協調して清掃タスクを実行することとを行うように構成される。

システムの実装形態は、以下の特徴のうちの1つまたは複数を含むことができる。制御モジュールは、環境内の特徴のセットを識別するために環境を感知するように少なくとも1つのセンサを制御することと、永続マップを、永続マップ上にまだない少なくとも1つのセンサによって感知された特徴の表現を追加するために更新することと、更新された永続マップを第2のモバイル清掃ロボットと共有することとを行うように構成され得る。

モバイル清掃ロボットは、複数の清掃セッションを実行し、各清掃セッションの開始前に、永続マップのバージョンまたは永続マップ更新のうちの少なくとも1つをリモートストレージデバイスから受信し、(i)受信された永続マップをローカルストレージデバイスに記憶すること、または(ii)受信された永続マップ更新を使用して、ローカルに記憶された永続マップを更新することのうちの少なくとも1つを実行するように構成され得る。モバイル清掃ロボットは、各清掃セッション中に、永続マップ上で第1のモバイル清掃ロボットを位置特定し、環境内の特徴を感知し、永続マップを、マップ上にまだない第1のモバイル清掃ロボットによって感知された特徴の表現を追加するために更新し、更新された永続マップをリモートストレージデバイスに記憶するように構成され得る。

別の一般態様では、複数のモバイルロボットの協同を円滑にするためのサーバコンピュータを含むシステムが提供される。システムは、環境の永続マップの複数のバージョンまたは環境に関する永続マップ更新の複数のバージョンのうちの少なくとも1つを記憶するように構成されたストレージデバイスを含む。システムは、永続マップの複数のバージョンまたは永続マップ更新の複数のバージョンのうちの少なくとも1つを管理することと、永続マップまたは永続マップ更新へのアクセスを要求する第1のモバイル清掃ロボットからの要求を受信すると、永続マップまたは永続マップ更新のバージョンのうちの1つを第1のモバイル清掃ロボットに提供することと、永続マップまたは永続マップ更新へのアクセスを要求する第2のモバイル清掃ロボットからの要求を受信すると、永続マップまたは永続マップ更新のバージョンのうちの1つを第2のモバイル清掃ロボットに提供することとを実行するための命令を実行するように構成された1つまたは複数のデータプロセッサを含む。

システムの実装形態は、以下の特徴のうちの1つまたは複数を含むことができる。サーバコンピュータは、モバイル清掃ロボットからの要求を受信すると、永続マップまたは永続マップ更新の最新バージョンをモバイル清掃ロボットの各々に提供するように構成され得る。

サーバコンピュータは、更新された永続マップまたは永続マップ更新を第1のモバイル清掃ロボットから受信し、第2のモバイル清掃ロボットからの要求を受信すると、更新された永続マップまたは永続マップ更新を第2のモバイル清掃ロボットに提供するように構成され得る。

サーバコンピュータは、第1の更新された永続マップまたは第1の永続マップ更新を第1のモバイル清掃ロボットから受信し、第2の更新された永続マップまたは第2の永続マップ更新を第2のモバイル清掃ロボットから受信し、永続マップまたは永続マップ更新の新バージョンを生成するために、(i)第1の更新された永続マップまたは第1の永続マップ更新を(ii)第2の更新された永続マップまたは第2の永続マップ更新とマージするように構成され得る。

別の一般態様では、協同能力を有するモバイル清掃ロボットのシステムが提供される。システムは、環境内でナビゲートし、清掃タスクの第1のセットを実行するように構成された第1のモバイル清掃ロボットと、環境内でナビゲートし、清掃タスクの第2のセットを実行するように構成された第2のモバイル清掃ロボットとを含む。第1のモバイル清掃ロボットおよび第2のモバイル清掃ロボットは、ナビゲーションのための永続マップを共有し、清掃タスクの第1のセットおよび清掃タスクの第2のセットを実行するときに互いに協調するように構成される。

システムの実装形態は、以下の特徴のうちの1つまたは複数を含むことができる。第1のモバイル清掃ロボットおよび第2のモバイル清掃ロボットは、互いに直接通信して、清掃タスクの第1のセットおよび清掃タスクの第2のセットの実行を協調させることができる。

システムは、中央サーバを含むことができ、第1のモバイル清掃ロボットおよび第2のモバイル清掃ロボットの各々は、中央サーバと通信し、中央サーバは、清掃タスクの第1のセットおよび清掃タスクの第2のセットを実行する際に第1のモバイル清掃ロボットおよび第2のモバイル清掃ロボットを協調させることができる。

第1のモバイル清掃ロボットは、環境の第1の部分を清掃する第1の清掃タスクを実行し、第1のロケーションにおいて清掃タスクを終了させ、第2のモバイル清掃ロボットに第1のロケーションの座標を提供するように構成され得る。第2のモバイル清掃ロボットは、第1のロケーションの座標を受信すると、第1のロケーションから開始する第2の清掃タスクを実行するように構成されてよく、第2の清掃タスクは、環境の第2の部分を清掃すること、たとえば、第1のモバイル清掃ロボットによって清掃された第1の部分を省略し、第1のモバイル清掃ロボットによって清掃されなかった第2の部分を清掃することに進むことを伴う。

第1のモバイル清掃ロボットおよび第2のモバイル清掃ロボットは、並行してそれぞれ第1の清掃タスクおよび第2の清掃タスクを実行するように構成されてよく、第1の清掃タスクは、環境の第1の部分を清掃することを伴うことができ、第2の清掃タスクは、環境の第2の部分を清掃することを伴うことができる。

第1のモバイル清掃ロボットは、第1のタイプの清掃ヘッドを有することができ、第2のモバイル清掃ロボットは、第2のタイプの清掃ヘッドを有することができる。第1のモバイル清掃ロボットは、第1のタイプの清掃ヘッドを使用して環境内の第1の領域を清掃し、第1の領域が清掃されたことを示すメッセージを送信し、第1の領域を清掃した後に環境内の第2の領域を清掃するように構成され得る。第2のモバイル清掃ロボットは、第1の領域が清掃されたことを示すメッセージを受信した後、第1のモバイル清掃ロボットが第2の領域を清掃する間に第2のタイプの清掃ヘッドを使用して第1の領域を清掃するように構成され得る。

システムは、永続マップの複数のバージョンまたは永続マップ更新の複数のバージョンを管理するように構成されたサーバコンピュータを含むことができ、サーバコンピュータは、永続マップの複数のバージョンまたは永続マップ更新の複数のバージョンを記憶するためのストレージデバイスを有する。サーバコンピュータは、永続マップまたは永続マップ更新へのアクセスを要求する第1のモバイル清掃ロボットからの要求を受信すると、永続マップまたは永続マップ更新のバージョンのうちの1つを第1のモバイル清掃ロボットに提供するように構成され得る。サーバコンピュータは、永続マップまたは永続マップ更新へのアクセスを要求する第2のモバイル清掃ロボットからの要求を受信すると、永続マップまたは永続マップ更新のバージョンのうちの1つを第2のモバイル清掃ロボットに提供するように構成され得る。

サーバコンピュータは、第1のモバイル清掃ロボットからの要求を受信すると、永続マップまたは永続マップ更新の最新バージョンを第1のモバイル清掃ロボットに提供するように構成され得る。

サーバコンピュータは、更新された永続マップまたは永続マップ更新を第1のモバイル清掃ロボットから受信し、第2のモバイル清掃ロボットからの要求を受信すると、更新された永続マップまたは永続マップ更新を第2のモバイル清掃ロボットに提供するように構成され得る。

サーバコンピュータは、第1の更新された永続マップまたは第1の永続マップ更新を第1のモバイル清掃ロボットから受信し、第2の更新された永続マップまたは第2の永続マップ更新を第2のモバイル清掃ロボットから受信し、永続マップまたは永続マップ更新の新バージョンを生成するために、(i)第1の更新された永続マップまたは第1の永続マップ更新を(ii)第2の更新された永続マップまたは第2の永続マップ更新とマージするように構成され得る。

別の一般態様では、協同能力を有するモバイル清掃ロボットのシステムが提供される。システムは、少なくとも1つのセンサと、第1の制御モジュールとを有する第1のモバイル清掃ロボットを含み、第1の制御モジュールは、環境のマップを生成または受信することと、マップを使用して環境内でナビゲートし、清掃タスクを実行するように第1のモバイル清掃ロボットを制御することと、環境内の特徴の第1のセットを識別するために環境を感知するように少なくとも1つのセンサを制御することと、マップを、マップ上にまだない少なくとも1つのセンサによって感知された特徴を追加するために更新することと、更新されたマップを1つまたは複数の他のモバイル清掃ロボットと共有することとを行うように構成される。システムは、少なくとも1つのセンサと、第2の制御モジュールとを有する第2のモバイル清掃ロボットを含み、第2の制御モジュールは、第1のモバイル清掃ロボットによって共有される更新されたマップのコピーを受信することと、特徴の第2のセットを識別するために環境を感知するように少なくとも1つのセンサを制御することであって、特徴の第2のセットのうちのいくつかは、マップ上にすでにある特徴のうちのいくつかと重複する、制御することと、少なくとも1つのセンサによって感知された特徴の第2のセットにおける特徴のうちの少なくともいくつかに対応するマップ上の特徴を識別し、マップ上で識別された特徴に基づいてマップ上で第2のモバイル清掃ロボットを位置特定することと、マップを使用して環境内でナビゲートするように第2のモバイル清掃ロボットを制御することと、マップを、マップ上にまだない少なくとも1つのセンサによって感知された特徴を追加するために更新し、更新されたマップを第1のモバイル清掃ロボットと共有することとを行うように構成される。

システムの実装形態は、以下の特徴のうちの1つまたは複数を含むことができる。システムは、マップの1つまたは複数のバージョンを記憶するように構成されたリモートストレージデバイスを含むことができ、第1のモバイル清掃ロボットは、第1のモバイル清掃ロボットが環境内でナビゲートする間にマップの少なくとも一部分のコピーをローカルに記憶するための第1のローカルストレージデバイスを含むことができ、第1の制御モジュールは、更新されたマップをリモートストレージデバイスにアップロードすることによって、更新されたマップを共有するように構成される。

システムは、ユーザが第1のローカルストレージデバイスに記憶されたマップを、更新されたマップを生成するためにマップに締め出しゾーンを追加するように構成することを可能にするためのユーザインターフェースを含むことができる。第1のモバイル清掃ロボットは、更新されたマップをリモートストレージデバイスにアップロードするように構成されてよく、第2のモバイル清掃ロボットは、更新されたマップをリモートストレージデバイスからダウンロードするように構成されてよく、第2のモバイル清掃ロボットは、締め出しゾーンを考慮して清掃タスクを実行するように構成されてよい。

リモートストレージデバイスは、クラウドストレージデバイスを含むことができる。

第1のモバイル清掃ロボットと第2のモバイル清掃ロボットの両方は、ワイヤレスにリモートストレージデバイスにアクセスすることができる。

第1のモバイル清掃ロボットは、複数の清掃セッションを実行し、各清掃セッションの開始前に、リモートストレージデバイスからマップを取り出し、ローカルストレージデバイスにマップを記憶するように構成され得る。第1のモバイル清掃ロボットは、各清掃セッション中に、マップ上で第1のモバイル清掃ロボットを位置特定し、環境内の特徴を感知し、マップを、マップ上にまだない第1のモバイル清掃ロボットによって感知された特徴を追加するために更新し、更新されたマップをリモートストレージデバイスに記憶するように構成され得る。

第1および第2のモバイル清掃ロボットは、清掃タスクを実行するときに互いに協調するように構成され得る。

第1のモバイル清掃ロボットは、清掃タスクの実行を協調させるために第2のモバイル清掃ロボットと直接通信することができる。

システムは、中央サーバを含むことができ、第1および第2のモバイル清掃ロボットの各々は、中央サーバと通信することができ、中央サーバは、清掃タスクを実行する際に第1のモバイル清掃ロボットおよび第2のモバイル清掃ロボットを協調させることができる。

第1のモバイル清掃ロボットは、環境の第1の部分を清掃する第1の清掃タスクを実行し、第1のロケーションにおいて清掃タスクを終了させ、第2のモバイル清掃ロボットに第1のロケーションの座標を提供するように構成され得る。第2のモバイル清掃ロボットは、第1のロケーションの座標を受信すると、第1のロケーションから開始する第2の清掃タスクを実行するように構成されてよく、第2の清掃タスクは、環境の第2の部分を清掃すること、たとえば、第1のモバイル清掃ロボットによって清掃された第1の部分を省略し、第1のモバイル清掃ロボットによって清掃されなかった第2の部分を清掃することに進むことを伴う。

第1のモバイル清掃ロボットおよび第2のモバイル清掃ロボットは、並行してそれぞれ第1の清掃タスクおよび第2の清掃タスクを実行するように構成され得る。第1の清掃タスクは、環境の第1の部分を清掃することを伴うことができ、第2の清掃タスクは、環境の第2の部分を清掃することを伴うことができる。

第1のモバイル清掃ロボットは、第1のタイプの清掃ヘッドを有することができ、第2のモバイル清掃ロボットは、第2のタイプの清掃ヘッドを有することができる。第1のモバイル清掃ロボットは、第1のタイプの清掃ヘッドを使用して環境内の第1の領域を清掃し、第1の領域が清掃されたことを示すメッセージを送信し、第1の領域を清掃した後に環境内の第2の領域を清掃するように構成され得る。第2のモバイル清掃ロボットは、第1の領域が清掃されたことを示すメッセージが第1のモバイル清掃ロボットから送信された後、第1のモバイル清掃ロボットが第2の領域を清掃する間に第2のタイプの清掃ヘッドを使用して第1の領域を清掃するように構成され得る。

マップの第1の部分によって表される環境の第1の部分が、第1のモバイル清掃ロボットによって到達可能であるが、第2のモバイル清掃ロボットによって到達可能ではないように、第1のモバイル清掃ロボットおよび第2のモバイル清掃ロボットは、異なる能力を有することができる。

少なくとも1つのセンサは、少なくとも1つのカメラを含むことができ、特徴の第1のセットは、少なくとも1つのカメラによって感知された視覚的ランドマークのセットを含むことができる。

システムは、ユーザがマップを構成および変更することを可能にするためのユーザインターフェースを提供するように構成されたコンピュータを含むことができる。

ユーザインターフェースは、ユーザが環境内の複数の部屋の各々をラベル設定することを可能にするように構成されてよく、各部屋の同じラベルが第1のモバイル清掃ロボットおよび第2のモバイル清掃ロボットによって共有される。

ユーザインターフェースは、(i)特定の部屋を清掃するようにモバイル清掃ロボットのうちの1つに命令すること、または(ii)並行して特定の部屋を清掃するように第1のモバイル清掃ロボットと第2のモバイル清掃ロボットの両方に命令することのうちの少なくとも1つをユーザが実行することを可能にするように構成され得る。

ユーザインターフェースは、環境内の複数の部屋の各々の(i)境界を識別すること、または(ii)境界を変更することのうちの少なくとも1つをユーザが実行することを可能にするように構成され得る。

別の一般態様では、協同能力を有するモバイル清掃ロボットのシステムが提供される。システムは、環境の永続マップへのアクセスを管理するように構成されたサーバコンピュータを含み、サーバコンピュータは、永続マップを記憶するためのストレージデバイスを有する。システムは、第1の制御モジュールを有する第1のモバイル清掃ロボットを含み、第1の制御モジュールは、サーバコンピュータから環境の永続マップの少なくとも一部分を受信することと、永続マップを使用して環境をナビゲートするように第1のモバイル清掃ロボットを制御することと、環境内で第1の清掃タスクを実行することとを行うように構成される。システムは、第2の制御モジュールを有する第2のモバイル清掃ロボットを含み、第2の制御モジュールは、サーバコンピュータから環境の永続マップの少なくとも一部分を受信することと、永続マップを使用して環境をナビゲートすることと、環境内で第2の清掃タスクを実行することとを行うように構成される。

システムの実装形態は、以下の特徴のうちの1つまたは複数を含むことができる。第1のモバイル清掃ロボットは、第1のモバイル清掃ロボットが環境内でナビゲートする間に永続マップの少なくとも一部分をローカルに記憶するための第1のローカルストレージデバイスを含むことができ、第1の制御モジュールは、センサデータに基づいて永続マップを更新し、更新された永続マップをサーバコンピュータにアップロードするように構成され得る。

システムは、ユーザが第1のローカルストレージデバイスに記憶された永続マップを、更新されたマップを生成するために永続マップに(i)締め出しゾーンまたは(ii)ノータッチゾーンのうちの少なくとも1つを追加するように構成することを可能にするためのユーザインターフェースを含むことができる。第1のモバイル清掃ロボットは、更新された永続マップをサーバコンピュータにアップロードするように構成されてよく、第2のモバイル清掃ロボットは、更新された永続マップをサーバコンピュータからダウンロードするように構成されてよく、第2のモバイル清掃ロボットは、(i)締め出しゾーンまたは(ii)ノータッチゾーンのうちの少なくとも1つを考慮して清掃タスクを実行するように構成されてよい。

別の一般態様では、モバイル清掃ロボットは、ローカルストレージデバイスと、少なくとも1つのセンサと、制御モジュールとを含む。制御モジュールは、リモートストレージデバイスから環境の永続マップを受信し、ローカルストレージデバイスに永続マップを記憶することと、永続マップを使用して環境内でナビゲートし、清掃タスクを実行するようにモバイル清掃ロボットを制御することと、環境内の特徴のセットを識別するために環境を感知するように少なくとも1つのセンサを制御することと、永続マップを、永続マップ上にまだない少なくとも1つのセンサによって感知された特徴を追加するために更新することと、更新された永続マップをリモートストレージデバイスにアップロードすることとを行うように構成される。

モバイル清掃ロボットの実装形態は、以下の特徴のうちの1つまたは複数を含むことができる。制御モジュールは、更新された永続マップを、1つまたは複数の他のモバイル清掃ロボットにとってアクセス可能であるリモートストレージデバイスにアップロードするように構成され得る。

モバイル清掃ロボットは、複数の清掃セッションを実行し、各清掃セッションの開始前に、リモートストレージデバイスから永続マップを受信し、ローカルストレージデバイスに永続マップを記憶するように構成され得る。モバイル清掃ロボットは、各清掃セッション中に、マップ上で第1のモバイル清掃ロボットを位置特定し、環境内の特徴を感知し、マップを、マップ上にまだない第1のモバイル清掃ロボットによって感知された特徴を追加するために更新し、更新されたマップをリモートストレージデバイスに記憶するように構成され得る。

別の一般態様では、協同能力を有するモバイル清掃ロボットを動作させるための方法が提供される。本方法は、モバイル清掃ロボットのローカルストレージデバイスに、環境の永続マップを記憶するステップと、モバイル清掃ロボットの少なくとも1つのセンサを使用して、感知データを生成するために環境を感知するステップと、モバイル清掃ロボットの1つまたは複数のデータプロセッサを使用して、永続マップおよび感知データを使用して環境内でナビゲートするステップと、永続マップを第2のモバイル清掃ロボットと共有するステップと、第2のモバイル清掃ロボットと協調して清掃タスクを実行するステップとを含む。

本方法の実装形態は、以下の特徴のうちの1つまたは複数を含むことができる。本方法は、少なくとも1つのセンサを使用して、環境内の特徴のセットを識別するために環境を感知するステップと、永続マップを、永続マップ上にまだない少なくとも1つのセンサによって感知された特徴の表現を追加するために更新するステップと、更新された永続マップを第2のモバイル清掃ロボットと共有するステップとを含むことができる。

本方法は、モバイル清掃ロボットを使用して、複数の清掃セッションを実行し、各清掃セッションの開始前に、永続マップのバージョンまたは永続マップ更新のうちの少なくとも1つをリモートストレージデバイスから受信し、(i)受信された永続マップをローカルストレージデバイスに記憶すること、または(ii)受信された永続マップ更新を使用して、ローカルに記憶された永続マップを更新することのうちの少なくとも1つを実行するステップを含むことができる。本方法は、各清掃セッション中に、永続マップ上で第1のモバイル清掃ロボットを位置特定し、環境内の特徴を感知し、永続マップを、マップ上にまだない第1のモバイル清掃ロボットによって感知された特徴の表現を追加するために更新し、更新された永続マップをリモートストレージデバイスに記憶するステップを含むことができる。

別の一般態様では、永続マップの共有を可能にするようにサーバコンピュータを動作させるための方法が提供される。本方法は、サーバコンピュータのストレージデバイスに、環境の永続マップの複数のバージョンまたは環境に関する永続マップ更新の複数のバージョンを記憶するステップと、サーバコンピュータの1つまたは複数のデータプロセッサを使用して、永続マップの複数のバージョンまたは永続マップ更新の複数のバージョンを管理するステップとを含む。永続マップの複数のバージョンまたは永続マップ更新の複数のバージョンを管理するステップは、永続マップまたは永続マップ更新へのアクセスを要求する第1のモバイル清掃ロボットからの要求を受信すると、永続マップまたは永続マップ更新のバージョンのうちの1つを第1のモバイル清掃ロボットに提供するステップをさらに含む。永続マップの複数のバージョンまたは永続マップ更新の複数のバージョンを管理するステップは、永続マップまたは永続マップ更新へのアクセスを要求する第2のモバイル清掃ロボットからの要求を受信すると、永続マップまたは永続マップ更新のバージョンのうちの1つを第2のモバイル清掃ロボットに提供するステップを含む。

別の一般態様では、永続マップを共有する複数のモバイルロボットを動作させるための方法が提供される。本方法は、第1のモバイル清掃ロボットを使用して、清掃タスクの第1のセットを実行するステップと、第2のモバイル清掃ロボットを使用して、清掃タスクの第2のセットを実行するステップと、第1のモバイル清掃ロボットと第2のモバイル清掃ロボットとの間で環境の永続マップを共有するステップと、永続マップを使用して環境内で第1のモバイル清掃ロボットをナビゲートするステップと、永続マップを使用して環境内で第2のモバイル清掃ロボットをナビゲートするステップと、清掃タスクの第1のセットおよび清掃タスクの第2のセットを実行する際に第1のモバイル清掃ロボットおよび第2のモバイル清掃ロボットを協調させるステップとを含む。

別の一般態様では、マップを共有する複数のモバイルロボットを動作させるための方法が提供される。本方法は、第1のモバイル清掃ロボットにおいて、環境のマップを生成または受信するステップと、マップを使用して環境内でナビゲートし、清掃タスクを実行するステップと、環境内の特徴の第1のセットを識別するために環境を感知するステップと、マップを、マップ上にまだない少なくとも1つのセンサによって感知された特徴を追加するために更新するステップと、更新されたマップを1つまたは複数の他のモバイル清掃ロボットと共有するステップとを含む。本方法は、第2のモバイル清掃ロボットにおいて、第1のモバイル清掃ロボットによって共有される更新されたマップのコピーを受信するステップと、特徴の第2のセットを識別するために環境を感知するステップであって、特徴の第2のセットのうちのいくつかは、マップ上にすでにある特徴のうちのいくつかと重複する、ステップと、少なくとも1つのセンサによって感知された特徴の第2のセットにおける特徴のうちの少なくともいくつかに対応するマップ上の特徴を識別し、マップ上で識別された特徴に基づいてマップ上で第2のモバイル清掃ロボットを位置特定するステップと、マップを使用して環境内でナビゲートするステップと、マップを、マップ上にまだない少なくとも1つのセンサによって感知された特徴を追加するために更新し、更新されたマップを第1のモバイル清掃ロボットと共有するステップとを含む。

別の一般態様では、永続マップを共有する複数のモバイルロボットを動作させる方法が提供される。本方法は、サーバコンピュータのストレージデバイスに環境の永続マップを記憶するステップと、サーバコンピュータを使用して、永続マップへのアクセスを管理するステップと、第1のモバイル清掃ロボットにおいて、サーバコンピュータから環境の永続マップの少なくとも一部分を受信するステップと、永続マップを使用して環境内で第1のモバイル清掃ロボットをナビゲートするステップと、第1のモバイル清掃ロボットを使用して、環境内で清掃タスクの第1のセットを実行するステップと、第2のモバイル清掃ロボットにおいて、サーバコンピュータから環境の永続マップの少なくとも一部分を受信するステップと、永続マップを使用して環境内で第2のモバイル清掃ロボットをナビゲートするステップと、第2のモバイル清掃ロボットを使用して、環境内で清掃タスクの第2のセットを実行するステップとを含む。

別の一般態様では、永続マップを共有する複数のモバイルロボットを動作させる方法が提供される。本方法は、モバイル清掃ロボットにおいて、複数のモバイル清掃ロボットにとってアクセス可能であるリモートストレージデバイスから環境の永続マップを受信するステップと、モバイル清掃ロボットのローカルストレージデバイスに永続マップを記憶するステップと、永続マップを使用して環境内でナビゲートし、清掃タスクを実行するようにモバイル清掃ロボットを制御するステップと、モバイル清掃ロボットの少なくとも1つのセンサを使用して、環境内の特徴のセットを識別するために環境を感知するステップと、永続マップを、永続マップ上にまだない少なくとも1つのセンサによって感知された特徴を追加するために更新するステップと、更新された永続マップを複数のモバイル清掃ロボットと共有するために、更新された永続マップをリモートストレージデバイスにアップロードするステップとを含む。

本明細書の他の特徴および利点は、以下の説明から、また特許請求の範囲から明らかになろう。

別途定義されない限り、本明細書で使用するすべての技術用語および科学用語は、本発明が属する当業者によって一般に理解される意味と同じ意味を有する。参照により本明細書に組み込まれる特許または特許出願との不一致があった場合、定義を含め、本明細書が支配する。

モバイルロボットの協同を可能にする例示的なシステムのブロック図である。 モバイルロボットの協同を可能にする例示的なシステムのブロック図である。 複数のロボットが動作することができる例示的な環境の概略図である。 複数のロボットが動作することができる例示的な環境の概略図である。 オブジェクトを認識するモバイル清掃ロボットを示す図である。 例示的な永続マップの一部分を示す図である。 オブジェクトを認識するモバイル清掃ロボットを示す図である。 永続マップの一部分を示す図である。 モバイル清掃ロボットの例の概略下面図である。 モバイル清掃ロボットに搭載されたセンサの例の概略図である。 住宅内のオブジェクトを認識するための畳み込みニューラルネットワークの図である。 住宅内のオブジェクトを認識するための畳み込みニューラルネットワークの図である。 モバイル清掃ロボットがその環境を理解するのを助けることができる部屋の中のオブジェクトの例を示す図である。 モバイル清掃ロボットがその環境を理解するのを助けることができる部屋の中のオブジェクトの例を示す図である。 モバイル清掃ロボットによって確立されたフロアマップ上に情報がオーバーレイされる例の図である。 モバイル清掃ロボットがユーザカレンダー情報を考慮してタスクをスケジュールする例の図である。 協同能力を有するモバイル清掃ロボットを動作させるための例示的なプロセスの流れ図である。 永続マップおよびマップ更新の複数のバージョンを管理するようにサーバコンピュータを動作させるための例示的なプロセスの流れ図である。 協同能力を有する複数のモバイル清掃ロボットを動作させるための例示的なプロセスの流れ図である。 協同能力を有する複数のモバイル清掃ロボットを動作させるための例示的なプロセスの流れ図である。 協同能力を有する複数のモバイル清掃ロボットを動作させるための例示的なプロセスの流れ図である。 協同能力を有する複数のモバイル清掃ロボットを動作させるための例示的なプロセスの流れ図である。 永続マップを更新することが可能なモバイル清掃ロボットを動作させるための例示的なプロセスの流れ図である。 例示的なモバイルコンピューティングデバイスのブロック図である。

本書では、2つ以上のモバイルロボットがタスクを実行するためにチームとして協働することを可能にするための新規のシステムについて説明する。たとえば、2つ以上のモバイルロボットは、清掃タスクを実行するために協働するモバイル清掃ロボットであり得る。モバイルロボットの協同は、ロボットおよび環境の特性および状況を考慮する。たとえば、複数の清掃ロボットのスケジューリングは、たとえば、ロボットの屑箱およびバッテリーの状況を考慮し得る。2つのモバイル清掃ロボットが部屋を清掃するために協働する場合、ロボットは、両方が部屋の同じ端から開始する代わりに、各々が部屋の両端から開始し、部屋の中央部分に向かって清掃し得る。いくつかの実装形態では、ロケーションおよび他のロボットによって実行されているタスクなどの他のロボットの状況を各ロボットが認識するように、モバイルロボットは互いに通信する。いくつかの実装形態では、中央制御装置がロボットの動作のスケジューリングを管理する。

いくつかの実装形態では、2つ以上のモバイルロボットは、モバイルロボットが様々なタスクを実行するために環境内でナビゲートするのに伴ってロボットによって経時的に更新される環境の永続マップを共有する。たとえば、住宅内の複数のモバイル清掃ロボットが、永続マップが数日間、数週間、数ヵ月間または数年間維持されるホームサーバコンピュータまたはクラウドストレージシステムに記憶された永続マップを共有することができる。モバイル清掃ロボットの各々は、永続マップを使用して住宅であちこちナビゲートし、スケジュールされた清掃タスクを実行する。各モバイル清掃ロボットは、住宅についての情報を取得するために様々なセンサを使用し、センサによって提供された新しいデータに基づいて永続マップを更新することができる。マップマージモジュールは、永続マップのバージョン、または永続マップの更新のバージョンを複数のモバイルロボットから受信し、モバイルロボットと共有され得る永続マップのマージされたバージョンを生成する。

図1を参照すると、いくつかの実装形態では、マルチロボットシステム100が、まとめて102として参照される、第1のモバイルロボット102aおよび第2のモバイルロボット102bを含む。たとえば、モバイルロボット102a、102bは、モバイル清掃ロボットであり得る。各モバイルロボット102は、たとえば、ロボット102の様々な構成要素の動作を制御する制御モジュール104を含む。制御モジュール104は、様々な動作を実行するための命令を実行することができる1つまたは複数のデータプロセッサを含む。制御モジュール104は、モバイルロボット102によって実行される(清掃タスクなどの)様々なタスクをスケジュールするためのタスクスケジューラ106を含む。

モバイルロボット102は、ナビゲーションに使用されるマップ110、および制御モジュール104の1つまたは複数のデータプロセッサによって実行され得るプログラム命令またはプログラムコードを記憶するストレージデバイス108を含む。マップ110は、たとえば、永続マップであり得る。モバイルロボット102は、モバイルロボット102がマップ110に基づいて環境内でナビゲートすることを可能にするナビゲーションモジュール112を含む。モバイルロボット102は、周囲の画像をキャプチャするように構成された1つまたは複数のカメラ114を含み、それによりモバイルロボット102は、画像中のオブジェクトを認識できるようになる。これは、モバイルロボット102がその周囲の理解に基づいてより知的にタスクを実行することを可能にする。モバイルロボット102がモバイル清掃ロボットである例では、モバイルロボット102が清掃タスクを実行することができるように、清掃ヘッド126が設けられる。

第2のモバイルロボット102bは、第1のモバイルロボット102aのモジュールと同様のモジュールを含む。

ロボット102a、102bのユーザが、ロボットが住宅内でタスクを実行するのを支援するために住宅についての情報をロボットが収集することを承諾していることを理解されたい。いくつかの実装形態では、いつロボットのカメラが住宅の画像をキャプチャしているか、またはいつロボットのマイクロフォンが住宅内で音声をキャプチャしているかがユーザにわかるように、ロボット上に光インジケータが設けられ得る。ユーザがカメラまたはマイクロフォンなどのセンサのうちの1つまたは複数をオンまたはオフに都合よく切り替えることができるように、ロボット上に1つまたは複数のスイッチが設けられ得る。カメラおよびマイクロフォンなどのセンサがアクティブ化されているかどうかをユーザに知らせるためのインジケータを提供するために、ユーザのモバイルフォンなどのユーザのモバイルコンピューティングデバイス上のユーザインターフェースが使用されてもよい。ユーザインターフェースは、ユーザがカメラまたはマイクロフォンなどのセンサのうちの1つまたは複数をオンまたはオフに都合よく切り替えることを可能にし得る。

マルチロボットシステム100は、モバイルロボット102a、102bと通信するリモートコンピューティングシステム116を含む。リモートコンピューティングシステム116は、永続マップ120の複数のバージョンおよび永続マップ更新122の複数のバージョンを記憶するストレージデバイス118を含む。マップマージモジュール124は、永続マップの最新バージョンと見なされ、モバイルロボット102と共有され得る永続マップのマージバージョンを生成するために、永続マップの2つ以上のバージョン(たとえば、1つのバージョンは、現在のマップであり、別のバージョンは、ロボットのうちの1つによって提供された更新されたマップである)を分析する。マップマージモジュール124は、永続マップの最新バージョンと見なされ、モバイルロボット102と共有され得る永続マップのマージバージョンを生成するために、永続マップ更新の2つ以上のバージョン(たとえば、2つの異なるロボットから送信された2つの永続マップ更新)を分析することもできる。

いくつかの実装形態では、永続マップ110または120は、モバイルロボット102の各動作の後に、ロボット102によって集められた任意の新情報を組み込むために更新される。住宅所有者が家具を動かした場合、家具の位置の変化が永続マップ110に反映される。住宅所有者がドアを閉めたか、または開けた場合、ドアの開状態または閉状態についての情報も永続マップ110に追加される。住宅所有者がリビングルームに新しい絵画を掛けた場合、ロボット102は絵画を見て、それをマップ110に追加する。これは、次回ロボット102がリビングルームにあるときにロボット102がその位置を判断するのを助ける。ロボットの様々なミッションにわたってマップに追加された情報により、経時的にマップはより豊かになる。

システム100および200は、ユーザ10がマップに対して変更を行った場合に、システム100または200がそれらの変更を尊重するように構成される。たとえば、ロボット102は、部屋の中央にある長いテーブルを検出することがあり、長いテーブルが壁であると考え、壁の2つの側に2つの部屋があると判断する。ユーザ10は、実際には1つの部屋のみがあり、壁が実際には長いテーブルであることを示すために、マップ110を修正し得る。たとえば、厚いカーペットは、ロボット102が部屋のある領域に移動することを妨げることがあり、それによりロボット102が、部屋が厚いカーペットの端で終わると考えることがある。ユーザは、マップ110が住宅300の実際の構成を正確に反映するように、部屋の境界を正しくマークし、部屋の中の様々なオブジェクトをラベル設定するためにマップ110を修正するのに時間を費やすことがある。

システム100および200は、ユーザ10によって行われた変更を追跡する。ロボット102が住宅300内でナビゲートするとき、ロボット102は、長いテーブルが壁であると考えて、部屋を再び分割し得る自動的部屋セグメント化手順を実行することがある。マップマージモジュール124がロボット102から更新を受信したとき、ロボット102からの更新が、ユーザ10によって提供された情報と一致しない場合、ユーザ10によって提供された情報が、より大きい重みを与えられる。

いくつかの実装形態では、マップマージモジュール124は、マップ120を更新するための「伝達関数」を実装する。ロボットは、部屋のユーザ定義セットによりそのミッションを開始する。ロボットは、ミッションを実行し、次いで、ミッションの終わりに部屋セグメント化アルゴリズムを実行する。これは、2つの異なる部屋セグメント化をもたらし、第1の部屋セグメント化は、占有格子の旧バージョンに基づいてユーザ10によって提供されるものであり、第2の部屋セグメント化は、占有格子の新バージョンに基づく。マップマージモジュール124は、ユーザ10によって以前行われた編集のすべてを尊重しながらも、ミッション中にロボット102によって取得された任意の新情報に基づいて部屋セグメント化を更新するために、新しい部屋セグメント化の上に古い部屋セグメント化をオーバーレイする。したがって、マップマージモジュール124は、マップに対してユーザが行った編集を尊重する一方で、2つのマップ(すなわち、古い部屋セグメント化および新しい部屋セグメント化)をマージすることができる。

たとえば、ロボット102がエリアから締め出される必要があるような「締め出し」ゾーンがマップ110上にあり得る。マップマージモジュール124は、マップ120を更新した後に同じ場所に締め出しゾーンを維持するように構成される。いくつかの実装形態では、マップマージモジュール124は、部屋の隅などの「アンカーポイント」を使用し、アンカーポイントは、その上に占有格子を配置するのを助ける。マップマージモジュール124は、アンカーポイントとして締め出しゾーンの4つの隅を選択することができ、各ミッションの終わりに締め出しゾーンがアンカーポイントに基づいて配置される。

マップマージモジュール124は、ユーザによって提供された部屋ラベルを尊重する。ユーザ10が部屋を「リビングルーム」としてラベル設定した場合、マップマージモジュール124は、新しい占有格子におけるどの領域がリビングルームであるかを突き止め、それをラベル「リビングルーム」に関連付けることを試みる。

永続マップ110は、ロボット102a、102bの間で共有される。永続マップ110は、住宅などの環境についての情報のデータベースと見なされ得る。したがって、システム100は、複数のロボットの間で共有される単一のデータベースを可能にする。これによりユーザは、部屋をセグメント化およびラベル設定するなど、マップを1回編集することができ、編集は、複数のロボットによって使用されるマップに伝搬する。住宅内の何かが変化していることを1つのロボットが学習したとき、他方のロボットは、その新しい知識を自動的に継承する。たとえば、第1のロボットは、カーペット上で移動することが可能であり得る一方、第2のロボットは、カーペット上で移動することが可能ではないことがある。第1のロボットが住宅内でナビゲートするとき、第1のロボットは、住宅の領域内のカーペットを検出し得る。第1のロボットは、特定の領域にカーペットがあることを示すために、マップ110を更新することができる。第2のロボットが住宅内でナビゲートするとき、第2のロボットは、特定の領域にカーペットがあることがわかり、その領域に行くことを回避する。永続マップは、領域が硬質フロアを有するか、またはカーペットを有するかなど、様々な領域のフロアタイプを示すことができる。第1のロボットは、硬質フロア用ブラシを有することができ、第2のロボットは、カーペット用ブラシを有することができる。永続マップに基づいて、第1のロボットは、硬質フロアを有する領域に清掃しに行くことができ、第2のロボットは、カーペットを有する領域に清掃しに行くことができる。

たとえば、永続マップを共有することは、異なる能力を有する2つのロボットの協同を可能にする。第1のロボットは真空掃除能力を有することができ、第2のロボットはモップがけ能力を有することができる。ユーザは、部屋のフロアを真空掃除しモップがけしたいと思うことがある。第1のロボットは、真空掃除動作を実行することができ、次いで第2のロボットは、真空掃除されたエリアにおいてモップがけ動作を実行することができる。第2のロボットは、第1のロボットが部屋全体の真空掃除を終了させるまで待つ必要がない。第2のロボットは、第1のロボットが真空掃除を始めてから数分間待ち、次いで、真空掃除されたエリアのモップがけを始めることができる。第1および第2のロボットは、永続マップを共有するので連携して作業することができ、第1のロボットが真空掃除した場所を第2のロボットが正確に知ることができるようになる。

永続マップを作成するとき、ロボットは、環境内のランドマークを識別し、マップ上にランドマークを配置する。ロボットが環境内でナビゲートするとき、ロボットは、ロボットがそのロケーションを決定するのを助けるランドマークを認識することができる特徴検出器を有する。

異なるロボットは、異なるタイプの地形をトラバースすることに関して異なる能力を有する。第1のロボットは、カーペット上で移動することが可能であり得るのに対し、第2のロボットは、カーペット上で移動することが可能ではないことがある。第1および第2のロボットがマップを確立するとき、占有格子は、2つのロボットでは異なる。部屋の半分がカーペットによってカバーされていると仮定する。第1のロボットは、カーペット上で移動することができ、部屋の壁を正しく識別する。第2のロボットは、カーペット上で移動することができず、壁があると考え、実際のサイズの半分である部屋によりマップを確立する。マップマージモジュール124が異なるロボットからマップ更新を受信したとき、マップマージモジュール124は、ロボットの能力を考慮する。

ロボット102a、102bのユーザが、ロボットが住宅についてのマップ情報をリモートコンピューティングデバイス116に送信することを承諾していることを理解されたい。

図1の例では、リモートコンピューティングシステム116は、永続マップ120の複数のバージョンを記憶する。いくつかの実装形態では、システム116は、永続マップの1つの正式バージョンを維持することができる。モバイルロボットが変更済み永続マップをシステム116に送信したとき、マップマージモジュール124は、変更済み永続マップを正式永続マップと比較して、変更済み永続マップに含まれる新情報を含めるために正式永続マップが更新される必要があるかどうかを判断する。正式永続マップが更新される必要があるとマップマージモジュール124が判断した場合、マップマージモジュール124は、正式永続マップを変更し、変更済みマップは、ロボット102と共有される新たな正式永続マップになる。

いくつかの実装形態では、モバイルロボット102が清掃ミッションなどのミッションを開始するためにパワーアップしたとき、ロボット102は、永続マップの新バージョンがあるかどうかをチェックするためにリモートコンピューティングシステム116と連絡する。たとえば、ロボット102は、ロボット102のストレージデバイス108に記憶されたマップ110のバージョン番号を、リモートコンピューティングシステム116のストレージデバイス118に記憶されたマップ120のバージョン番号と比較することができる。システム116が永続マップの新バージョンを有する場合、ロボット102は、システム116から永続マップの新バージョンをダウンロードし、マップ110の新バージョンをストレージデバイス108に記憶する。

本書では、ロボット102において記憶されたマップを指すために参照番号110が使用され、リモートコンピューティングデバイス116において記憶されたマップを指すために参照番号120が使用される。ロボット102がリモートコンピューティングデバイス116からマップをダウンロードした後にマップを変更していない場合、マップ110はマップ120と同じである。一方、ロボットのストレージデバイスに記憶されたマップをロボットが変更した場合、マップ110はマップ120とは異なり得る。

モバイルロボット102が清掃ミッションなどのミッションを開始するためにパワーアップしたとき、ロボット102は、永続マップの新バージョンがあるかどうかをチェックするためにリモートコンピューティングシステム116と連絡する。たとえば、ロボット102は、ロボット102のストレージデバイス108に記憶されたマップ110のバージョン番号を、リモートコンピューティングシステム116のストレージデバイス118に記憶されたマップ120のバージョン番号と比較することができる。システム116が永続マップのより新しいバージョンを有する場合、ロボット102は、システム116から永続マップの新バージョンをダウンロードし、マップ110の新バージョンをストレージデバイス108に記憶する。

いくつかの実装形態では、システム116から全永続マップ120をダウンロードする代わりに、ロボット102は、システム116から永続マップ更新122をダウンロードする。永続マップ更新122は、永続マップ120の現在のバージョンと永続マップ120の以前のバージョンとの間の差についての情報を含む。永続マップ更新122は、完全な永続マップ120と比較して、より小さいファイルサイズを有する。永続マップ更新122のダウンロードは、完全な永続マップ120のダウンロードよりも速いことがある。ロボット102がリモートコンピューティングシステム116から永続マップ更新122をダウンロードした後、ロボット102は、ストレージデバイス108に記憶された永続マップ110が最新マップデータを有するように、永続マップ更新122を使用して永続マップ110を更新する。

ロボット102が様々なタスク、たとえば清掃タスクを実行するために環境、たとえば住宅であちこちナビゲートするのに伴って、ロボット102は、住宅内の状況を検出するためにカメラ114および他のセンサを使用する。ロボット102は、感知されたデータをマップ110上の情報と比較する。感知されたデータがマップ110と一致しない場合、ロボット102はマップ110を更新することができる。たとえば、第1のロケーションに障害物が位置することをマップ110が示すが、時間t1に第1のロケーションに障害物がなく、第1のロケーションの近くの第2のロケーションが障害物を有することをセンサデータが示す場合、ロボット102は、時間t1に第1のロケーションに障害物がなく、時間t1に第2のロケーションに障害物があることを示すためにマップ110を更新することができる。

いくつかの例では、ロボット102は、認識能力を有し、オブジェクトがチェアであるか、テーブルであるか、またはベッドであるかを認識するなど、オブジェクトを認識することができる。障害物がチェアであると仮定すると、ロボット102は、時間t1に第1のロケーションにチェアがなく、時間t1に第2のロケーションにチェアがあることを示すために、マップ110を更新することができる。環境が経時的にどのように変化しているかについての情報を記憶することによって、永続マップは、環境についての統計情報を含むことができ、ロボット102がタスクをより知的に実行することができるようになる。

たとえば、永続マップが、統計的に第1のロケーションには第2のロケーションよりも多くの往来があることを示す場合、清掃タスクを実行するとき、ロボット102は、第1のロケーションにおいて第2のロケーションよりも多くの時間を費やすことができる。永続マップが、ダイニングルームにはリビングルームおよびベッドルームよりも多くの往来があることを示す場合、両方のロボット102a、102bは、並行してダイニングルームを清掃するよう割り当てられてよく、1つのロボット102aはリビングルームを清掃するよう割り当てられ、1つのロボット102bはベッドルームを清掃するよう割り当てられる。

第1のロボット102aの制御モジュール104は、第2のロボット102bの制御モジュール104と協調する。たとえば、ロボット102a、102bの制御モジュール104は、第1のロボット102aがダイニングルームを部屋の第1の端から開始する形で清掃すべきであり、第2のロボット102bがダイニングルームを部屋の第2の端から開始する形で清掃すべきであると一緒に判断することができる。ロボット102a、102bの制御モジュール104は、第1のロボット102aがリビングルームを清掃すべきであり、第2のロボット102bがベッドルームを清掃すべきであると一緒に判断することができる。

清掃セッションが終了すると、ロボット102a、102bは、それぞれのドッキングステーションに戻って、バッテリーを再充電し、屑箱の屑を空にする。ロボット102a、102bはそれぞれ、更新されたマップ情報を提供するためにリモートコンピューティングシステム116と通信する。たとえば、第1のロボット102aは、清掃タスクを実行するために住宅であちこちナビゲートするのに伴って、第1のロボット102aによって検出された新しいオブジェクトについてのデータを含む第1の更新された永続マップ110を有し得る。第2のロボット102bは、清掃タスクを実行するために住宅であちこちナビゲートするのに伴って、第2のロボット102bによって検出された新しいオブジェクトについてのデータを含む第2の更新された永続マップ110を有し得る。第1のロボット102aによって検出された新しいオブジェクトのうちのいくつかは、第2のロボット102bによって検出された新しいオブジェクトのうちのいくつかと同じであることがある。第1のロボット102aによって検出された新しいオブジェクトのうちのいくつかは、第2のロボット102bによって検出された新しいオブジェクトと異なることがある。第1のロボット102aからの第1の更新された永続マップは、第2のロボット102bからの第2の更新された永続マップと完全には一致しないことがある。たとえば、第1のロボット102aは時間t1に第1のロケーションにおいてチェアを検出することがあり、第2のロボット102bは時間t2に第1のロケーションにおいてチェアを検出しないことがある。たとえば、センサの不一致に起因して、第1のロボット102aは時間t1に第1のロケーションにおいてチェアを検出することがあり、第2のロボット102bは時間t1に第1のロケーションにおいてチェアを検出しないことがある。

いくつかの実装形態では、第1のロボット102aは、第1の更新された永続マップをリモートコンピューティングシステム116に送信し、第2のロボット102bは、第2の更新された永続マップをリモートコンピューティングシステム116に送信する。マップマージモジュール124は、ストレージデバイス118に記憶された永続マップ120の正式バージョン、第1のロボット102aによって提供された第1の更新された永続マップ110、および第2のロボット102bによって提供された第2の更新された永続マップ110を分析する。マップマージモジュール124は、更新された永続マップの不一致がある場合にそれを解決し、ロボット102a、102bによって提供された新しいマップデータを含む永続マップ120の新しい正式バージョンを生成する。

いくつかの実装形態では、第1のロボット102aは、永続マップ110がリモートコンピューティングシステム116からダウンロードされた後に第1のロボット102aに記憶されたマップ110に対してなされた変更についての情報を有する第1の永続マップ更新を記憶する。同様に、第2のロボット102bは、永続マップ110がリモートコンピューティングシステム116からダウンロードされた後に第2のロボット102bに記憶されたマップ110に対してなされた変更についての情報を有する第2の永続マップ更新を記憶する。第1および第2の永続マップ更新の各々は、完全な永続マップよりも小さいファイルサイズを有する。第1のロボット102aは、第1の永続マップ更新をリモートコンピューティングシステム116に送信し、第2のロボット102bは、第2の永続マップ更新をリモートコンピューティングシステム116に送信する。マップマージモジュール124は、永続マップ120の正式バージョン、第1のロボット102aによって提供された第1の永続マップ更新、および第2のロボット102bによって提供された第2の永続マップ更新を分析する。マップマージモジュール124は、永続マップ更新の不一致がある場合にそれを解決し、ロボット102a、102bによって提供された新しいマップデータを含む永続マップ120の新しい正式バージョンを生成する。リモートコンピューティングシステム116は、新しいマップまたは新しいマップ更新についてのモバイル清掃ロボット102からの要求を受信すると、正式永続マップの最新バージョン、または永続マップ更新をモバイル清掃ロボット102の各々に提供する。

図2を参照すると、いくつかの実装形態では、マルチロボットシステム200が、互いに通信する(まとめて202として参照される)第1のモバイルロボット202aおよび第2のモバイルロボット202bを含む。第1のモバイルロボット202aは、図1の第1のモバイルロボット102aと同様に、たとえば、タスクスケジューラ106を有する制御モジュール104、永続マップ110を記憶するストレージデバイス108、およびナビゲーションモジュール112を含む。第1のモバイルロボット202aは、周囲の画像をキャプチャするように構成された1つまたは複数のカメラ114を含み、それによりモバイルロボット202aは、画像中のオブジェクトを認識できるようになる。これは、モバイルロボット202aがその周囲の理解に基づいてより知的にタスクを実行することを可能にする。

モバイルロボット202は、環境内のシーンおよびオブジェクトを認識するように構成された認識モジュール206を含む。たとえば、認識モジュール206は、モバイルロボット202がキッチンにあるか、ベッドルームにあるかをモバイルロボット202が判断することを可能にする。いくつかの実装形態では、認識モジュール206は、住宅でよく見られるシーンおよびオブジェクトの画像を使用してトレーニングされるニューラルネットワーク208を含む。ニューラルネットワーク208は、たとえば、畳み込みニューラルネットワークであり得る。認識モジュール206は、オブジェクトの様々なカテゴリーを分類するようにトレーニングされた複数のニューラルネットワーク208を含むことができる。たとえば、第1のニューラルネットワークは、シーンを認識し、どの部屋にモバイルロボット202aが位置するかを判断するようにトレーニングされてよく、第2のニューラルネットワークは、部屋の中のオブジェクトを認識するようにトレーニングされてよく、第3のニューラルネットワークは、個人およびペットを認識するようにトレーニングされてよい。

モバイルロボット202aは、住宅内の往来など、環境内のパターンについて学習するように構成された学習モジュール210を含む。たとえば、学習モジュール210は、経時的にいくつかのパラメータ値を記憶し、データ中のパターンを検出するために、記憶されたパラメータ値の統計的分析を実行するように構成され得る。学習モジュール210は、週の日ごとにその日の時間期間ごとに、マップ上の各格子点における人間存在のカウントを記憶する。記憶されたデータを分析することによって、学習モジュール210は、たとえば、週の所与の日における所与の時間に、マップ上のどの格子点で往来が多い、または往来が少ないかを判断することができる。学習モジュール210は、たとえば、家の中の所与の部屋に関して、どの時間期間に往来が少ない、またはまったくないかを判断することができる。

モバイルロボット202aがモバイル清掃ロボットである例では、モバイルロボット202aが清掃タスクを実行することができるように、清掃ヘッド126が設けられる。モバイルロボット202aは、衝突センサなどの追加のセンサ212を含むことができる。

第2のモバイルロボット202bは、第1のモバイルロボット202aの構成要素と同様の構成要素を含む。

いくつかの実装形態では、第1および第2のモバイルロボット202a、202bは、順に動作する。第1のモバイルロボット202aは、住宅であちこちナビゲートし、清掃タスクなどのタスクを実行する。第1のモバイルロボット202aは、カメラ114およびセンサ212を含む様々なセンサによって提供されたセンサデータに基づいて、永続マップ110を更新する。第1のモバイルロボット202aは、認識モジュール206によって認識された新しいオブジェクトに基づいて、永続マップ110を更新する。第1のモバイルロボット202aは、学習モジュール210によって学習された新しいパターンに基づいて、永続マップ110を更新する。

第1のモバイルロボット202aがそのバッテリーを再充電するためにドッキングステーションに戻ったとき、第2のモバイルロボット202bは、マップに対する更新を要求する要求212を第1のモバイルロボット202aに送信する。第1のモバイルロボット202aは、更新された永続マップ、または永続マップ更新214を第2のモバイルロボット202bに送信する。第2のモバイルロボット202bは、そのストレージデバイス108に記憶されたそのより古い永続マップ110を、第1のモバイルロボット202aによって提供されたより新しい更新されたマップ214に置き換えるか、またはそのストレージデバイス108に記憶されたその永続マップ110を、第1のモバイルロボット202aによって提供された永続マップ更新214を使用して更新する。

第2のモバイルロボット202bは、永続マップ110を使用して住宅であちこちナビゲートし、(カメラ114およびセンサ212を含む)様々なセンサによって提供されたセンサデータ、認識モジュール206によって認識された新しいオブジェクト、ならびに学習モジュール210によって学習された新しいパターン基づいてマップ110を更新する。第2のモバイルロボット202bがそのバッテリーを再充電するためにドッキングステーションに戻ったとき、第1のモバイルロボット202aは、マップに対する更新を要求する要求216を第2のモバイルロボット202bに送信する。第2のモバイルロボット202bは、更新された永続マップ、または永続マップ更新218を第1のモバイルロボット202aに送信し、以下同様である。

モバイルロボット202a、202bの各々は、他方のロボットによって提供された新しいマップ情報に基づいて、その永続マップがどのように更新されるべきかを判断するマップマージモジュールを有することができる。

第1および第2のロボット102aおよび102bがチームとして作業することができるいくつかの方法がある。ロボット102a、102bはマップを共有するので、各ロボットは、他方のロボットがどこにあるかがわかる。ロボット102a、102bは、第2のロボットがそのミッションを開始する前に第1のロボットがミッションを終了させるのを第2のロボットが待たない「ファーストフォロワー」モードで動作することができる。ロボット102a、102bは互いにフォローすることができ、たとえば、ロボット102aが第1の部屋の中でそのミッションを完了させるとすぐに、ロボット102aはロボット102bに伝え、ロボット102bは、第1の部屋の中でそのミッションを実行しに行く。ロボット102a、102bは、協調的清掃において一方のロボットが他方をフォローするような方法で動作する。

たとえば、ロボット102aがキッチンを清掃している間に汚物を検出した場合、ロボット102bは、ロボット102aが汚物を検出したエリアにおいてフォーカス洗浄を実行すべきであることを知る。モップがけロボットは、特定のスポットに汚れがあることを知った場合、そのスポットを十分に洗浄し、汚れを除去することができる。第1のロボットは、フロアの反射率を検出することができる光センサを有する。第1のロボットは、フロアの反射率のヒストグラムを生成することができる。暗色の汚れを示す反射率の大きい差異を第1のロボットが検出した場合、第1のロボットは、それを合図し、低い反射率を有するエリアを洗浄しに行くようモップがけロボットに伝えることができる。次回ロボットがそのエリアにナビゲートするとき、ロボットは、まだ差異があるかどうかを確かめるためにそのエリアをチェックする。差異がない場合、それは、汚れを除去するのに洗浄が効果的であった可能性が高いことを示す。まだ差異がある場合、それは、差異がおそらく永久的なものであることを示す。第1のロボットは、それが実際の差異であることを示すその情報を永続マップに追加する。

ロボットがチームとして動作を実行するとき、ロボットは、ユーザのスケジュールを考慮する。たとえば、ユーザは、1つのロボットが他のロボットをフォローするように、ロボットが連携して動作することを望む場合がある。だが、場合によっては、スケジュールは、たとえば、赤ん坊の昼寝時間のための停止時間を示すことがあり、そのためロボットは、昼寝時間が終わるまで第2のロボットは開始すべきではないと判定し得る。

たとえば、巡回ロボットは、汚物のある場所に気付いて、マップ上に汚物スポットを示し、汚物スポットを清掃しに来るよう清掃ロボットに知らせることがある。

永続マップを共有することにより、第1のロボットによって得られた知識を第2のロボットが継承することが可能になる。たとえば、ユーザは、数ヵ月にわたって住宅内で動作しており、締め出しゾーンがどこにあるかなど、住宅についての多くの情報を学習している第1のロボットを有し得る。ユーザは、第2のロボットを買うことがある。永続マップを共有することによって、第2のロボットが住宅内で最初に起動するとき、第2のロボットは、第1のロボットに知られている情報を有することもできる。たとえば、永続マップは、食器棚の周りの締め出しゾーンおよび飼い犬の水入れの周りの締め出しゾーンを示すことがある。永続マップを使用することによって、新しいロボットは食器棚または飼い犬の水入れに衝突しない。たとえば、永続マップは、敷物がどこにあるか、敷居がどこにあるかを示すことができ、そのため、敷物または敷居の上を移動することができないロボットをユーザが買ったとき、新しいロボットは、敷物および敷居がどこにあるかをすでに知っていることになり、敷物および敷居がどこにあるかを学習するための学習プロセスを経る必要なしに住宅を知的に清掃することができる。

たとえば、ユーザは、単一のロボットを有することがあり、第1フロアおよび第2フロアを清掃するためにそれを使用する。ロボットは、第1フロア配置図および第2フロア配置図によりマップを確立する。後に、ユーザは第2のロボットを買い、第2フロアを清掃するために新しいロボットを使用する。永続マップを共有することによって、新しいロボットは、第2フロアについての情報を継承し、学習プロセスを経ることなく第2フロアを知的に清掃することができる。

図3は、システム200(図2)が使用され得る環境の例の概略図を示す。以下の説明では、モバイルロボット202aはモバイル清掃ロボットであるが、ここで説明する同じ原理が、ホームセキュリティモバイルロボットなどの他のタイプのモバイルロボットに使用されてよい。モバイル清掃ロボット202aは、1つもしくは複数の囲い込み空間内または1つもしくは複数の囲い込み空間を含む環境内で動作することができる。環境は、たとえば、住宅環境、生活空間、職場環境、または他の環境を含む。囲い込み空間は、たとえば、環境内の部屋に対応する。図3に示す例示的な環境では、環境は、ユーザ10およびモバイル清掃ロボット202aが位置する住宅300を含む。ユーザ10は、モバイルコンピューティングデバイス94(図21参照)を操作し、モバイルコンピューティングデバイス94は、たとえば、モバイルフォンまたはタブレットコンピュータであってよい。住宅300は、部屋302A、302B、302C、および302D(まとめて302と呼ばれる)を含む。図3に示す例では、モバイル清掃ロボット202aは部屋302A内に位置し、ユーザ10は部屋302B内に位置する。部屋302Aは、戸口304Aによって部屋302Bに隣接し、接続されており、部屋302Bは、戸口304Bによって部屋302Cに隣接し、接続されており、部屋302Bは、戸口304Cによって部屋302Dに隣接し、接続されている。

この例では、部屋302Aは、ベッド306およびエンドテーブル308、310を含むベッドルームである。部屋302Bは、ダイニングテーブル312およびダイニングチェア314を含むダイニングルームである。部屋302Cは、浴槽316、洗面台318、およびトイレ320を含むバスルームである。部屋302Dは、デスク322およびチェア324を含むホームオフィスである。

図3に示す例では、モバイル清掃ロボット202aは、部屋302Aのフロア表面を清掃するなど、清掃ミッションを実行するために部屋302A中で自律的にナビゲートする。モバイル清掃ロボット202aは、そのミッションを実行する間に、部屋302Aに位置する障害物(たとえば、ベッド306およびエンドテーブル308、310)の周りでナビゲートする。モバイル清掃ロボット202aがミッション中に住宅300であちこち動く中、モバイル清掃ロボット202aは、そのセンサを使用して住宅300のマップを生成し、マップ内でモバイル清掃ロボット202aを位置特定する。モバイル清掃ロボット202aは、モバイル清掃ロボット202aの構成要素のステータスまたはモバイル清掃ロボット202aによって実行されているミッションもしくは動作のステータスなど、モバイル清掃ロボット202aのステータスを示す信号を生成するセンサを含む。

いくつかの実装形態では、モバイルコンピューティングデバイス94は、ユーザ10がモバイルコンピューティングデバイス94上で入力を行うことを可能にする。モバイルコンピューティングデバイス94は、たとえば、タッチスクリーンディスプレイ、ボタン、マイクロフォン、マウスパッド、トラックボール、キーボード、またはユーザ10によって行われた入力に応答する他のデバイスのうちの1つまたは複数など、ユーザ入力要素を含むことができる。モバイルコンピューティングデバイス94は、代替または追加として、ユーザ10がユーザ入力を行うために対話する没入型メディア(たとえば、仮想現実)を含む。これらの例におけるモバイルコンピューティングデバイス94は、たとえば、仮想現実ヘッドセットまたは頭部装着ディスプレイであり得る。ユーザ10は、モバイル清掃ロボット202aに対するコマンドに対応する入力を行うことができる。いくつかの実装形態では、モバイルコンピューティングデバイス94がモバイル清掃ロボット202aにワイヤレスコマンド信号を送信することを可能にするために、モバイルコンピューティングデバイス94とモバイル清掃ロボット202aとの間でワイヤレスリンク326が確立される。ユーザ10は、モバイルコンピューティングデバイス94へのコマンド信号を示すユーザ入力を行い、モバイルコンピューティングデバイス94は、ユーザ入力に対応するコマンド信号を送信する。通信リンク326を確立するために、様々なタイプのワイヤレスネットワーク(たとえば、Bluetooth(登録商標)、無線周波、光学ベースなど)およびネットワークアーキテクチャ(たとえば、網目状ネットワーク)が用いられ得る。

他のデバイスも、モバイル清掃ロボット202aにワイヤレスにリンクされてよい。図3の例では、住宅300は、リンクされたデバイス328Aおよび328Bを含む。いくつかの実装形態では、リンクされたデバイス328Aおよび328Bの各々は、たとえば、住宅300を監視すること、住宅300の占有者を監視すること、およびモバイル清掃ロボット202aの動作を監視することのうちの1つまたは複数を実行するのに適したセンサを含む。これらのセンサは、たとえば、画像センサ、占有センサ、および環境センサのうちの1つまたは複数を含むことができる。

リンクされたデバイス328A、328Bのための画像センサは、可視光カメラ、赤外線カメラ、および電磁スペクトルの他の部分を用いるセンサのうちの1つまたは複数を含むことができる。リンクされたデバイス328A、328Bのための占有センサは、たとえば、受動的もしくは能動的透過もしくは反射赤外線センサ、光、ソナー、もしくは無線周波数を使用する飛行時間もしくは三角測距センサ、占有の音もしくは音圧特性を認識するためのマイクロフォン、気流センサ、カメラ、十分に強い受信信号強度がないか周波数および/もしくはWi-Fi周波数を監視するための無線受信機もしくはトランシーバ、自然光、人工光、およびモバイルコンピューティングデバイス(たとえば、モバイルコンピューティングデバイス94)から放出された光を含む周辺光を検出することが可能な光センサ、ならびに/またはユーザ10もしくは住宅300内の他の占有者の存在を検出するための他の適切なセンサのうちの1つまたは複数を含む。占有センサは、代替または追加として、ユーザ10の動きまたは自律的モバイル清掃ロボット202aの動きを検出する。占有センサが自律的モバイル清掃ロボット202aの動きに十分に敏感である場合、リンクされたデバイス328A、328Bの占有センサは、モバイル清掃ロボット202aの動きを示す信号を生成する。リンクされたデバイス328A、328Bのための環境センサは、たとえば、電子温度計、気圧計、湿度もしくは水分センサ、ガス検出器、または空中粒子計数器を含むことができる。

図3に示す例では、第2のモバイル清掃ロボット202bが部屋302Cに位置する。第1のモバイル清掃ロボット202aと同様に、第2のモバイル清掃ロボット202bは、部屋302C内でミッション、たとえば、清掃ミッションを実行する。いくつかの例では、モバイルコンピューティングデバイス94は、第1のモバイル清掃ロボット202aおよび第2のモバイル清掃ロボット202bを含む複数のロボットデバイスにワイヤレスに接続され、それによりユーザ10がモバイルコンピューティングデバイス94と対話して複数のロボットデバイス202a、202bを制御および監視することが可能になる。いくつかの例では、モバイル清掃ロボット202a、202bの各々のためのコントローラ104、リンクされたデバイス328A、328B、および他のデバイスは、たとえば、モバイル清掃ロボット202aまたは202bとリンクされたデバイス328A、328Bのうちの1つとの間のワイヤレスリンクを開始し維持するために、ワイヤレスリンクを互いに直接開始し維持し得る。モバイルフォン、タブレット、ラップトップ、別のモバイルコンピューティングデバイス、1つもしくは複数の環境制御デバイス、または他のタイプの電子デバイスなど、他のリモート電子デバイスとの間でワイヤレスリンクが形成されてもよい。いくつかの実装形態では、ワイヤレスリンクは、限定はしないが、スマート電球、サーモスタット、ガレージドアオープナー、ドアロック、リモコン、テレビ、セキュリティシステム、セキュリティカメラ、煙検出器、ビデオゲーム機、他のロボットシステム、または他の通信対応感知および/もしくは駆動デバイスもしくは機器を含む、1つまたは複数のデバイスとの通信を可能にする。

ワイヤレスリンクは、たとえば、Bluetooth classic、Wi-Fi、BLE, 802.15.4としても知られるBluetooth-low-energy、Worldwide Interoperability for Microwave Access(WiMAX)、赤外チャネル、または衛星帯などの様々な通信方式およびプロトコルを利用し得る。いくつかの例では、ワイヤレスリンクは、限定はしないが、1G、2G、3G、または4Gとして適格である規格を含む、モバイルコンピューティングデバイスの間で通信するために使用される任意のセルラーネットワーク規格を含む。ネットワーク規格は、利用される場合、たとえば、国際電気通信連合によって維持される仕様などの仕様または規格を満たすことによってモバイル電気通信規格の1つまたは複数の世代として適格である。3G規格は、利用される場合、たとえば、International Mobile Telecommunications-2000(IMT-2000)仕様に対応し、4G規格は、International Mobile Telecommunications Advanced(IMT-Advanced)仕様に対応し得る。セルラーネットワーク規格の例には、AMPS、GSM(登録商標)、GPRS、UMTS、LTE、LTE Advanced、Mobile WiMAX、およびWiMAX-Advancedが含まれる。セルラーネットワーク規格は、様々なチャネルアクセス方法、たとえば、FDMA、TDMA、CDMA、またはSDMAを使用し得る。

モバイルロボット202aが部屋302Aの中でナビゲートするとき、モバイルロボット202aは、ベッド306およびエンドテーブル308、310の画像をキャプチャし、認識モジュール206を使用してベッド306およびエンドテーブル308、310を識別することができる。代替的に、モバイルロボット202aは、部屋302の中にオブジェクトがあると判断することができ、ユーザ10は、オブジェクトを「ベッド」および「エンドテーブル」として手動でラベル設定することができる。ロボット202aは、ベッド306およびエンドテーブル308、310の境界を検出し、その情報をマップ110に記録する。次回ロボット202aが部屋302Aを清掃するとき、ロボット202aは、ベッド306およびエンドテーブル308、310への衝突を回避する部屋302Aを通る経路を計画することができる。モバイルコンピューティングデバイス94のディスプレイ上に示されるマップ2302(図21参照)は、部屋302Aの壁の外形を示し、部屋302Aの内部のベッドおよび2つのエンドテーブルに関するアイコンを示すことができる。

モバイルロボット202aが他の部屋302B、302C、および302Dにナビゲートするとき、モバイルロボット202aが部屋302B、302C、および302Dの中の1つもしくは複数のオブジェクトを認識することができるか、またはユーザ10が部屋302B、302C、および302Dの中の1つもしくは複数のオブジェクトを手動でラベル設定することができる。ロボット202aによって維持されるマップ110は、部屋302B、302C、および302Dの中のオブジェクトの位置および境界を含めるために更新され得る。モバイルコンピューティングデバイス94のディスプレイ上に示されるマップ2302は、部屋302B、302C、302Dの壁ならびに部屋302B、302C、および302Dの中のオブジェクトのアイコンを含めるために更新され得る。

いくつかの実装形態では、住宅300は、自然音声を通じてユーザ10と対話する1つまたは複数のオーディオメディアデバイス330を含む。オーディオメディアデバイス330は、ユーザによって発せられた音声を受信することができ、ユーザ10によって聞かれるオーディオ放出を出力することができる。ユーザ10は、モバイルコンピューティングデバイス94を使用することの代替または追加として、オーディオメディアデバイス330を通じてモバイルロボット202aにコマンドまたはクエリを送信することができる。オーディオメディアデバイス330は、画像キャプチャセンサ、動き検出センサ、光学センサ、全地球測位システム(GPS)トランシーバ、(たとえば、ジオフェンシングのための)デバイス存在センサおよびオーディオメディアデバイス330の環境の状況を検出することができる他のセンサなどの他のセンサを含むことができる。いくつかの例では、オーディオメディアデバイス330は、環境内の光の量を検出するためのセンサを含み、オーディオメディアデバイス330は、微光状況で環境を照明するためのランプをアクティブ化する。いくつかの例では、オーディオメディアデバイス330は、オーディオメディアデバイス330からのユーザ10の距離および方向を検出するための、またはカメラを使用するテレビ会議動作を可能にするためのカメラを含む。オーディオメディアデバイス330の例は、2017年6月6日に出願された米国出願第15/614,844号において説明されるオーディオメディアデバイス400であり、その内容全体が参照により組み込まれる。

オーディオメディアデバイス330のセンサは、デバイス330が住宅300についての情報を取得することを可能にする。そのような情報はモバイルロボット202aに、住宅300において発生している事象に対するロボットの認識を高めるために提供され得る。たとえば、ユーザ10は、部屋302Bの中で音楽を流すためにオーディオメディアデバイス330にアクセスすることがある。オーディオメディアデバイス330が部屋302Bの中で音楽を流しているとき、1人または複数の個人が部屋302Bを使用している可能性が高い。この場合、モバイル清掃ロボット202aは、他の時間で部屋302Bの中での清掃タスクをスケジュールする。オーディオメディアデバイス330とモバイルロボット202aとの間の情報の共有が事前にユーザ10によって承諾されていることを理解されたい。

ロボット202aが住宅300内のオブジェクトを認識した後、ロボット202aは、オブジェクトの特性を考慮して、清掃タスクなどのタスクを実行することができる。ロボット202aは、往来の多いエリアをより高い頻度で清掃し、往来の少ないエリアをより低い頻度で清掃し得る。たとえば、ベッドの下奥のエリアは、往来が少ない。ロボット202aは、部屋302Aの中のオープンなフロアエリアおよびたとえばベッド306の下奥の1フィート以内のエリアを毎日清掃し、たとえばベッド306の下奥の1フィートを超えるフロアエリアを週1回、隔週で、または月1回清掃するように構成され得る。ロボット202aは、ダイニングルーム302Bのダイニングテーブル312およびダイニングチェア314に近いフロアエリアを、ダイニングテーブル312およびダイニングチェア314から遠い他のエリアよりも注意深く清掃するように構成され得る。ダイニングルームを徹底的に清掃することが重要であるので、ロボット202aは、他の部屋に移る前にダイニングルームを完全に清掃するように、清掃タスクをスケジュールし得る。ロボット202aは、バスルーム302Cの中のトイレ320に近いフロアエリアを、トイレ320から遠いエリアよりも注意深く清掃するように構成され得る。

モバイルロボット202a、202bは、ロボット202aがベッドルーム302Aを清掃し、ロボット202bがバスルーム302Cを清掃するように、互いに協調し得る。ベッドルーム302Aを清掃した後、モバイルロボット202aは、ダイニングルーム302Bを、ベッドルーム302Aに近いダイニングルームの端から開始する形で清掃することに進むことができる。バスルーム302Cを清掃した後、モバイルロボット202bは、まずホームオフィス302Dを清掃し得る。ホームオフィス302Dを清掃した後、モバイルロボット202bは、ダイニングルーム302Bを、ホームオフィス302Dに近いダイニングルームの端から清掃することに進むことができる。ダイニングルーム302Bを清掃している間、モバイルロボット202aおよび202bは、同じエリアを2回清掃しないように互いに通信する。

モバイルロボット202a、202bの間の協働の多くの変形形態があり得る。たとえば、住宅での子供の誕生日パーティの後、ユーザ10は、キャンディならびにビザおよびポップコーンの残りがフロアに散乱しているので、ダイニングルーム302Bは追加の清掃を必要とすると判定し得る。ユーザ10はモバイルロボット202a、202bに、ダイニングルーム302Bの中の各フロアエリアがロボット202a、202bの各々によって少なくとも1回清掃されるように「集中清掃」を実行するよう命令し得る。このようにして、ダイニングルーム302Bの中の各フロアエリアがロボット202a、202bによって2回清掃され、ダイニングルーム302Bが徹底的に清掃されることが確実になる。この例では、ロボット202aはダイニングルーム302Bを、ベッドルーム302Aに近いダイニングルームの端から開始し、ホームオフィス302Dに近いダイニングルームの端で終了する形で清掃し得る。ロボット202bはダイニングルーム302Bを、ホームオフィス302Dに近いダイニングルームの端から開始し、ベッドルーム302Aに近いダイニングルームの端で終了する形で清掃し得る。

図4は、システム100(図1)が使用され得る環境の例の概略図を示す。この例では、環境は、図3に示す例と同様の住宅400を含む。モバイルコンピューティングデバイス94は、リモートコンピューティングシステム116にコマンドを送信し、リモートコンピューティングシステム116は、ロボット102a、102bにコマンドを転送する。ロボット102a、102bの各々は、永続マップまたは永続マップ更新をリモートコンピューティングシステム116からダウンロードする。ロボット102a、102bの各々は、更新された永続マップまたは永続マップ更新をリモートコンピューティングシステム116にアップロードする。リモートコンピューティングシステム116は、ロボット102a、102bによって提供された新しいマップデータをマージし、永続マップの新しい正式バージョンを生成する。

いくつかの例では、モバイルロボット102a、102bは、リモートコンピューティングシステム116に通知メッセージを送信し、リモートコンピューティングシステム116は、モバイルコンピューティングデバイス94に通知メッセージを転送する。たとえば、モバイルロボット102aはユーザ10に、ベッドルーム302Aが清掃されたこと、およびモバイルロボット102aがダイニングルーム302Bの清掃を開始していることを通知し得る。モバイルロボット102bはユーザ10に、バスルーム302Cが清掃されたこと、およびドアが閉まっているのでロボット102bがバスルーム302Cから出ることができないことを通知し得る。

図4の例では、リモートコンピューティングシステム116は、クラウドサーバコンピュータである。いくつかの例では、ホームサーバコンピュータがユーザの住宅内に設けられることがあり、ホームサーバコンピュータは、上述したリモートコンピューティングシステム116の機能を実行することができる。

他のデバイスがリモートコンピューティングシステム116にワイヤレスにリンクされてもよい。たとえば、リンクされたデバイス328A、328Bは、画像センサによって生成された画像をリモートコンピューティングシステム116に送信する。リモートコンピューティングシステム116は、画像処理能力を有してよく、リンクされたデバイス328A、328Bによって提供された画像を分析することができる。リンクされたデバイス328A、328Bは、画像センサ、占有センサ、環境センサ、およびリンクされたデバイス328A、328Bに存在する他のセンサの組合せからのセンサ信号をリモートコンピューティングシステム116に送信する。これらの信号は、リモートコンピューティングシステム116がモバイル清掃ロボット102a、102bの動作を制御または監視するための入力データとしての働きをする。リンクされたデバイス328A、328Bが住宅についてのデータをリモートコンピューティングシステム116に送信することをユーザ10が承諾していることを理解されたい。

モバイルロボット102a、102bを含む複数のロボットデバイスにリモートコンピューティングシステム116が接続されているので、これは、ユーザ10がモバイルコンピューティングデバイス94と対話して、リモートコンピューティングシステム116を通じて複数のロボットデバイス102a、102bを制御および監視することを可能にする。モバイルロボット102a、102bの各々のためのコントローラ、リンクされたデバイス328A、328B、および他のデバイスは、リモートコンピューティングシステム116との通信のためのワイヤレスリンクを開始および維持し得る。

本書では、いくつかの動作について、モバイルロボット102a、102b、202a、および202bのうちの1つによって実行されているものとして説明している。同じまたは同様の動作が他のモバイルロボットによって実行されてよいことを理解されたい。

図5Aを参照すると、いくつかの例では、ロボット202aは、ダイニングルーム302Bにナビゲートし、ダイニングルーム302Bの中のオブジェクトの画像をキャプチャする。たとえば、ロボット202aはカメラ114を使用して、ダイニングチェア314の画像をキャプチャする。ロボット202aは認識モジュール206を使用して、画像中のオブジェクトがダイニングチェアであると判断する。ロボット202aは、ダイニングチェア314を含めるためにマップ110を更新する。次に、ロボット202aはカメラ114を使用して、ダイニングテーブル312、フロアランプ500、およびウォールアート502の画像をキャプチャし、認識モジュール206を使用して、画像中のオブジェクトが、それぞれダイニングテーブル、フロアランプ、およびウォールアートであると判断する。ロボット202aは、ダイニングテーブル312、フロアランプ500、およびウォールアート502をそれぞれのロケーションで含めるためにマップ110を更新する。

図5Bは、ロボット202aによって更新された後の例示的な永続マップ110を示しており、ダイニングテーブル312、ダイニングチェア314、およびフロアランプ500がそれぞれのロケーションに配置されている。図5Bに示すマップは、例にすぎず、ロボット202aによって生成される永続マップ110ははるかに多くの情報を含むことができる。

図6Aを参照すると、いくつかの例では、ロボット202aは、リビングルームにナビゲートし、リビングルームの中のオブジェクトの画像をキャプチャする。たとえば、ロボット202aはカメラ114を使用して、第1のソファー600、第2のソファー602、コーヒーテーブル604、暖炉606、棚608、およびグランドピアノ610の画像をキャプチャする。ロボット202aは認識モジュール206を使用して、画像中のオブジェクトが、それぞれ第1のソファー、第2のソファー、コーヒーテーブル、暖炉、棚、およびグランドピアノであると判断する。ロボット202aは、第1のソファー600、第2のソファー602、コーヒーテーブル604、暖炉606、棚608、およびグランドピアノ610をそれぞれのロケーションで含めるためにマップ110を更新する。

図6Bは、ロボット202aによって更新された後の永続マップ110を示しており、第1のソファー600、第2のソファー602、コーヒーテーブル604、暖炉606、棚608、およびグランドピアノ610がそれぞれのロケーションに配置されている。図6Bに示すマップ110は、説明のためのものにすぎず、異なる住宅の場合に部屋の構成が異なることがあり、そのため異なる住宅のためのマップも異なることを理解されたい。

以下では、モバイル清掃ロボットの例について説明する。モバイル清掃ロボット102(図1)および202(図2)は、駆動システムおよびセンサ一式を使用して環境、たとえば、住宅300、400であちこち自律的にナビゲートする。図7は、図1のモバイル清掃ロボット102の例の概略下面図を示す。図7は、モバイル清掃ロボット102に関して説明されるが、図7のモバイル清掃ロボットは追加または代替として、モバイル清掃ロボット202に対応する。モバイル清掃ロボット102は、駆動ホイール702を含む駆動システムを含む。いくつかの例では、キャスターホイール704がフロア表面上でモバイル清掃ロボット102を支えている。モバイル清掃ロボット102は、駆動ホイール702に接続された1つまたは複数のモータとともに動作可能なコントローラ706をさらに含む。モバイル清掃ロボット102のコントローラ706は、駆動ホイール702を駆動し、フロア表面中でモバイル清掃ロボット102をナビゲートするために、モータを選択的にアクティブ化する。

コントローラ706はまた、感知システム708とともに動作可能である。感知システム708は、住宅300であちこちナビゲートするためにコントローラ706によって使用可能なセンサを含む。感知システム708は、たとえば、住宅内の障害物を検出するための、また住宅300のマップを生成するための信号を生成するためのセンサを有する。感知システム708は、障害物までの距離を検出するための飛行時間センサ、落ち込み(たとえば、階段)を検出するための崖検出センサ、モバイル清掃ロボット102に搭載されたバンパーに関連する衝突センサ、および接触センサなどの障害物検出センサを含むことができる。コントローラ706は、障害物検出センサが障害物を検出したときにモバイル清掃ロボット102が障害物の周りを動くように駆動システムを動作させる。

コントローラ706は、そのセンサシステムからの信号を使用して、経時的にモバイル清掃ロボット102の位置および方向を追跡および更新することによって住宅300のマップを生成する。マッピングセンサは、たとえば、同時位置特定およびマッピング(SLAM:simultaneous localization and mapping)センサ、デッドレコニングセンサ、ならびに障害物検出および回避(ODOA:obstacle detection and avoidance)センサを含む。コントローラ706は、住宅300のフロア表面の2次元マップを作成し、マップ上のロボット位置を決定し、モバイル清掃ロボット102がトラバースすることができる住宅300の部分の位置(たとえば、占有されていない、トラバース可能なフロア)を決定する。デッドレコニングセンサ、接触センサ、および非接触障害物検出センサからの信号を使用して、コントローラ706は、フロア表面上またはフロア表面上の障害物のためにモバイル清掃ロボット102がトラバースすることができないフロアエリアを示す。一例では、コントローラ706は、通過する中で壁および障害物のマップを作成し、トラバース可能な占有された空間の占有格子を生成する。いくつかの実装形態では、マップは、直交座標系または極座標系を使用する。いくつかの例では、マップは、位相マップ、表現マップ、または確率マップである。

いくつかの例では、同時位置特定およびマッピング(SLAM)技法を使用して、コントローラ706は、住宅300の2次元マップ内のモバイル清掃ロボット102の位置を決定する。SLAMセンサは、たとえば、マップ上のロボット位置を計算する際に使用される特徴およびランドマークの視覚的識別のための1つまたは複数のカメラを含む。モバイル清掃ロボット102は、モバイル清掃ロボット102が住宅300であちこち動くのに伴ってモバイル清掃ロボット102の位置および/または方向をコントローラ706が推定することを可能にするための信号を生成する追加のセンサを含む。これらのセンサは、単独で、またはSLAMセンサと組み合わせて、通過するモバイル清掃ロボット102によって作られたロボットマップ上のモバイル清掃ロボット102の位置を決定する。いくつかの実装形態では、コントローラ706は、追加のセンサからの信号を使用して、SLAMセンサによって決定された位置を検証または調整する。いくつかの実装形態では、追加のセンサは、オドメータ、加速度計、ジャイロスコープ、慣性測定ユニット、および/またはモバイル清掃ロボット102の移動距離、回転量、速度、もしくは加速を示す信号を生成する他のセンサを含む。たとえば、モバイル清掃ロボット102は、モバイル清掃ロボット102がヘッディングから回転した量を示す信号を生成するジャイロスコープなどの方向センサを含む。いくつかの実装形態では、感知システム708は、駆動ホイール702の回転を示す信号を生成するためのIRホイールエンコーダなどのデッドレコニングセンサを含み、コントローラ706は、検出された回転を使用して、モバイル清掃ロボット102が移動した距離を推定する。いくつかの実装形態では、感知システム708は、たとえば、環境内の観測された障害物およびオブジェクトまでの距離を決定するためのセンサ読取値を生成するレーザースキャナまたは飛行時間センサを含む。代替または追加として、感知システム708は、モバイル清掃ロボット102がヘッディングに対してフロア表面で横方向にドリフトした距離を決定するための、フロア表面に面している光学式マウスセンサを含む。

いくつかの実装形態では、モバイル清掃ロボット102は、視覚的同時位置特定およびマッピング(VSLAM:visual simultaneous localization and mapping)を用いて、そのマップを作り、マップ上の現在の位置を決定する。感知システム708は、1つまたは複数の位置特定センサ、たとえば、環境内で検出された特徴に対するモバイル清掃ロボットのロケーションおよび方向をコントローラ706が決定するための信号を生成するカメラ710(画像キャプチャシステム)を含む。いくつかの実装形態では、モバイル清掃ロボット102は、ロボット本体の上面の下にあり、上方向に傾斜した、たとえば、モバイル清掃ロボット102がナビゲートするフロア表面から30度から80度の間の範囲で傾斜した画像キャプチャシステム710、たとえば、可視光カメラ710を含む。カメラ710は、窓枠、絵の額、戸口枠、ならびに線、隅および端などの可視的、検出可能な特徴を有する他のオブジェクトなど、静的要素が高度に集中している壁および天井のロケーションに向けられている。たとえば、カメラ710が上向きに傾斜しているとき、カメラ710のビューイングコーンの中心が、ビューイングコーンの中心が壁および天井のロケーションに向けられるように上向きに傾斜している。カメラ710によってキャプチャされた画像を使用して、コントローラ706は、モバイル清掃ロボット102が部屋または囲い込み空間、たとえば、一連の隣接した部屋302A、302B、302C、302D(まとめて囲い込み空間または部屋302と呼ばれる)であちこちナビゲートする中で作るマップ(たとえば、マップ110)上のロボット位置を決定する。

位置特定センサは、いくつかの例では、トラバース不可能なフロア空間を占有する環境内の壁およびオブジェクトの検出に応答して信号を生成することが可能なモバイル清掃ロボット102上のセンサを含む。VSLAMカメラに加えて、これらの位置特定センサは、たとえば、衝突センサなどの接触センサ、ならびにレーザー、容量ポイントクラウドセンサ、ポイントラインセンサ(たとえば、PIXARTが作成するような飛行時間ラインセンサ)、IR近接性センサ、光検出および測距(LIDAR)センサ、および音響センサなどの非接触飛行時間センサを含む。位置特定センサは、特に、トラバース可能なフロア、またはモバイル清掃ロボット102がトラバースする中で拡大するロボットマップに追加されるトラバース可能なフロア空間とトラバース不可能なフロアとを区別する、一意のシグナチャ、パターン、または特徴が抽出される信号を生成する。これらの特徴が検出されているとコントローラ706が判断したとき、コントローラ706は、これらの検出された特徴に対するモバイル清掃ロボット102のロケーションおよび方向を使用して、住宅300のマップ上のモバイル清掃ロボット102の位置を決定する。コントローラ706は、特に、住宅300内のオブジェクトに対応する特徴を参照してモバイル清掃ロボット102の現在の位置を決定することによって、住宅300内のモバイル清掃ロボット102を位置特定する。抽出された特徴は、モバイル清掃ロボット102が位置する部屋を示す。

抽出された特徴は、部屋302A、302B、302C、および302Dの各々に関する一意識別子を形成する。いくつかの実装形態では、モバイル清掃ロボット102は、抽出された特徴を使用して、特定の特徴または部屋識別子に関連する特徴を検出したことに応答して、部屋302A、302B、302C、および302Dのうちのどれにモバイル清掃ロボット102が現在位置しているかを判断する。いくつかの実装形態では、モバイル清掃ロボット102は、オブジェクト認識を通じて、事前に識別された部屋を認識する。モバイル清掃ロボット102は、たとえば、そのカメラ710を使用して、各部屋302に関連するオブジェクト(たとえば、ストーブ、皿洗い機、または冷蔵庫)の画像をキャプチャする。ユーザ10はモバイル清掃ロボット102に、それらの認識可能なオブジェクトに関連する特定の部屋識別子(たとえば、キッチン)を通信する。清掃ミッション中、モバイル清掃ロボット102がこれらのオブジェクトのうちの1つまたは複数を認識したとき、モバイル清掃ロボット102は、たとえば、モバイルコンピューティングデバイス104に可聴式アラートの生成を要求することによって、可聴式アラートの放出を生じさせること、またはたとえば、関連する記憶済み部屋識別子を示すテキスト通知をモバイルコンピューティングデバイス104上に表示することによって、視覚的アラートを発信させることによって、そのロケーションをユーザに通知する。

いくつかの実装形態では、マップは永続的であり、1つまたは複数のモバイル清掃ロボット102、202によるアクセスのためにリモートコンピューティングシステム116またはホームサーバコンピュータに記憶される。各後続ランまたは清掃セッションにおいて、モバイル清掃ロボット102は、移動した家具などの住宅300内の変更状況に従って、永続マップを更新する。永続マップは、経時的に環境についての情報を蓄積する。いくつかの例では、モバイル清掃ロボット102は、標準的プロトコルを通じて住宅300内の接続済みデバイスを発見し、マップ上でそれらを位置特定する。これは、接続済みライトおよびスピーカー、通気口、ドアおよび窓センサ、ならびに住宅300内の他の接続済みデバイスの位置を含む。モバイル清掃ロボット102は、住宅300を動き回り、無線周波数(RF)シグナチャ、視覚的認識、受信信号強度および他の方法を使用して、住宅300内の接続済みデバイスを認識し、住宅300のロボットマップ上にそれらを自動的に配置する。たとえば、モバイル清掃ロボット102は、住宅300を探査し、リビングルーム内の壁のNEST(登録商標)サーモスタット、キッチン内のSAMSUNG(商標)冷蔵庫、ならびにファミリールームおよびベッドルーム内のPhilips(商標)HUE BLOOMライトを認識する。モバイル清掃ロボット102は、認識された接続済みデバイスをマップ上に配置し、ユーザ10が接続済みデバイスに関するこの空間的知識を利用できるようにする。

感知システム708は、モバイル清掃ロボット102の動作を示す信号を生成する。いくつかの例では、感知システム708は、モバイル清掃ロボット102が住宅300内のフロア表面に沿って動くことができないモバイル清掃ロボット102の失速状況を示す信号を生成する駆動システムに統合された失速センサユニットを含む。失速センサユニットは、駆動システムのモータに供給されている電流の変化を示すための信号を生成する。電流の変化は、モバイル清掃ロボット102がその現在の位置から実質的に動くことができないモバイル清掃ロボット102の停滞状況を示し得る。失速センサユニットは、代替または追加として、ホイール、たとえば、キャスターホイール704または駆動ホイール702のうちの1つが、電力が駆動ホイール702のモータに供給されているときに動いているかどうかを示す信号を生成する光学センサを含む。失速センサユニットは、いくつかの例では、変化に関する連続画像を比較することによって、動き、または動きの欠如を追跡および検出するためのマウスセンサである。いくつかの実装形態では、モバイル清掃ロボット102は、モバイル清掃ロボット102の加速を示す信号を生成するために加速度計に依拠する。コントローラ706は、ホイールの動きがないことを検出すると、モバイル清掃ロボット102が失速状況にあると判断する。

いくつかの実装形態では、モバイル清掃ロボット102は、図8の概略図に示すように他のセンサを含む。感知システム708は、いくつかの例では、モバイル清掃ロボット102の環境から可聴信号を受信するマイクロフォン714を含む。いくつかの例では、感知システム708は、温度センサ802、周辺光センサ804、空気中水分含量センサ806、ガス組成、空気質センサ808、または環境の他の特性を感知するセンサなどの環境センサを含む。感知システム708はまた、モバイル清掃ロボット102またはモバイル清掃ロボット102の構成要素の状況を示す状況センサを含む。これらのセンサは、たとえば、モバイル清掃ロボット102の電源の充電量または充電容量を検出するためのバッテリー充電状態センサ、構成要素のもちの良さまたは構成要素の残存寿命量を検出するためのホイールトレッドセンサなどの構成要素寿命センサを含む。

モバイル清掃ロボット102は、モバイル清掃ロボット102が可聴信号を放出することを可能にするためのオーディオ放出システム712をさらに含む。コントローラ706は、可聴信号の放出により、たとえば、ユーザ10にモバイル清掃ロボット102のステータス、たとえば、モバイル清掃ロボット102の構成要素のステータス、モバイル清掃ロボット102の動作のステータス、またはモバイル清掃ロボット102によって実行されるミッションのステータスを通知する。

モバイル清掃ロボット102は、図1および図4に示すようにモバイル清掃ロボット102がリモートコンピューティングシステム116と通信することを可能にするワイヤレス通信システム810をさらに含む。ワイヤレス通信システム810を使用して、コントローラ706は、リモートコンピューティングシステム116にデータを送信する。いくつかの例では、データは、感知システム708のセンサによって生成された信号を含む。画像キャプチャシステム710を含むモバイル清掃ロボット102のいくつかの実装形態では、キャプチャされた画像は、リモートコンピューティングシステム116に直接送信され得る。いくつかの例では、モバイル清掃ロボット102は、情報を収集し、住宅300のマップを作成し、コントローラ706は、リモートコンピューティングシステム116にマップを送信する。コントローラ706が状況センサを含む場合、コントローラ706は、モバイル清掃ロボット102の状況を示す情報もリモートコンピューティングシステム116に送信する。

図3および図4に関して説明したように、モバイル清掃ロボット102は、住宅300であちこちナビゲーションしている間に、住宅300内で動作を実行し、ミッションを完了させる。実行される動作は、モバイル清掃ロボット102のタイプに依存する。本明細書で説明する実装形態の多くのタイプのモバイル清掃ロボットに存在し得る基本構成要素を示すことに加えて、図7は、本明細書で説明するプロセスから恩恵を受けることができる多くのタイプのモバイルロボットのうちの1つに対応する真空清掃ロボットに固有の構成要素を示す。他のモバイルロボットは、フロア洗浄ロボット、住宅監視ロボット、ロボット芝刈り機、モップがけロボット、コンパニオンロボット、または掃除機ロボットを含み得る。これらのロボットは、それぞれ、本書で説明するプロセスおよびシステムから恩恵を受けることができる。

いくつかの例では、モバイル清掃ロボット102は、フロア表面上の屑を取り込むための清掃システムを含む真空清掃ロボットである。清掃システムは、たとえば、フロア表面からモバイル清掃ロボット102に搭載された屑箱(図示せず)に屑を激しく動かす(agitate)回転可能ローラーまたはブラシ720を含む。清掃システムは、アクティブ化すると、空気を動かし、それによってフロア表面上の屑を屑箱に動かすエアムーバーを含む。モバイル清掃ロボット102が清掃ミッション中にその環境であちこちナビゲートする中、モバイル清掃ロボット102は、その清掃システムをアクティブ化して屑を取り込み、それによってフロア表面を清掃する。

いくつかの例では、モバイル清掃ロボット102が真空清掃ロボットである場合、ロボット102は、取り外し可能屑箱812を含み、感知システム708は、取り外し可能屑箱812に取り込まれた屑の量を検出する屑箱レベルセンサ814を含む。感知システム708は、真空清掃ロボットが屑を取り込むときに検出する1つもしくは複数の屑センサもしくは汚物センサ816を含むか、または屑取り込み率を検出する。いくつかの例では、モバイル清掃ロボット102は、屑用のフィルタを含み、感知システム708は、フィルタが清掃を必要とするかどうかを検出するためのフィルタセンサも含む。

例示的なモバイル清掃ロボット102は、シャーシ818、バッテリー820、バッテリー充電器822、バッテリー820によって電力供給される電力モジュール824、電力モジュール824によって電力供給される1つまたは複数のモータ826、モータ826によって駆動される駆動システム828、マッピング/ナビゲーションシステム830、赤外線(IR)エミッタ832、赤外放射検出器834、動き検出器(たとえば、受動IRフォトダイオード)836、超音波センサ838、圧力センサ840、慣性測定ユニット(IMU) 842、およびインジケータライト844を含む。コントローラ706は、任意の適切に構成されたプロセッサ846(たとえば、マイクロプロセッサ)または複数のプロセッサを含み得る。マイクロプロセッサ846は、コントローラ706、メモリ718、様々なセンサ、および駆動システム828と通信している。いくつかの実装形態では、カメラ710は、2D画像、全景、ビデオおよび/または3Dモデルを集める画像形成デバイスである。上記で説明したセンサは、ロボット102上に設けられ得るセンサのタイプを網羅したものではなく、いくつかのセンサは、ロボット102によって検出される環境パラメータに応じて省略されてよい。

ワイヤレス通信システム810は、ワイヤレス通信送信機またはモジュール848(たとえば、Wi-Fiモジュール)および関連アンテナ850を含み、それによりロボット102とモバイルコンピューティングデバイス94、リモートコンピューティングシステム116、(Google OnHub(登録商標)Wi-Fiアクセスポイントなどの)ハブ、ネットワークルータ、および/またはプライベートネットワークとの間のワイヤレス通信が可能になる。

いくつかの実装形態では、モバイル清掃ロボット102は、住宅300を通過している間の障害物検出および障害物回避(「ODOA」)のためのセンサを含む。これらのセンサは、静止した障害物に接触するとトリガされる機械的バンパースイッチセンサ852、ならびに超音波センサ838、赤外線エミッタ/検出器近接性センサ854、およびPixArtが作成するような構造化光センサ856などの非接触センサを含む。

マッピング/ナビゲーションシステム830は、ロボット102が住宅300の自律的ナビゲーションおよびマッピングを実行すること可能にする。モバイル清掃ロボット102は、視覚的同時位置特定およびマッピング(「VSLAM」)のためのカメラ710、マウスセンサ858、3軸加速度計および3軸ジャイロスコープを有するIMU842、ならびに/または空間300に対するロボット102の位置を決定もしくは登録するための(すなわち、空間300内のロボット102を位置特定するための)ホイールオドメータ860など、自律的ナビゲーションのためのセンサを含む。ロボット102は、その搭載センサによって収集された読取値のロケーションを位置特定することができる。(たとえば、カメラ710および特徴認識またはクラス認識ソフトウェアを使用する)機械視覚、光ビーコン、または無線周波数受信信号強度インジケータ(RSSI)技術など、ロボット102を位置特定し登録するために任意の適切な技法および構成要素が使用され得る。

ロボット102は、ユーザが様々な清掃モードなどのいくつかの動作モードのうちの1つを選択することを可能にするためのモードボタン862を含むことができる。ロボット102は、フロア表面と接触し、ロボットシャーシ818を支える被駆動推進部材864a、864bを含む。被駆動推進部材864a、864bは、モバイル清掃ロボット102に住宅300内のフロア表面をトラバースさせるようにコントローラ706によって命令可能である。マイクロプロセッサ846は、いくつかの例では、住宅300内の1つもしくは複数のマッピングされたロケーションに、または当該ロケーション中でモバイル清掃ロボット102をナビゲートする。ロボット102は、ロボット102の様々な動作を管理するオペレーティングシステム866を含む。

コントローラ706は、センサによって収集された情報とモバイル清掃ロボット102に住宅300内で動作を実行させるようにコントローラ706によって実行可能なルーチンとを記憶するメモリ718にアクセスする。ルーチンは、たとえば、住宅300であちこちモバイル清掃ロボット102をナビゲートするためのナビゲーションルーチンを含む。コントローラ706は、たとえば、感知システム708からの信号またはワイヤレス通信システム810を通じてコントローラ706に送信されたワイヤレスコマンド信号に応答して、モバイル清掃ロボット102の動作を開始する。モバイル清掃ロボット102が手動操作可能なボタンなどのユーザ入力デバイスを含む場合、入力デバイスは、ユーザ10によって、コントローラ706にモバイル清掃ロボット102の1つまたは複数の動作を開始させるように操作され得る。手動操作可能なボタンは、たとえば、押しボタンまたはタッチスクリーンディスプレイ上のボタンアイコンに対応する。いくつかの例では、メモリ718はまた、住宅300中でモバイル清掃ロボット102をナビゲートするためにコントローラ706が実施する動きの確定的パターンを記憶する。パターンは、たとえば、直線的動きパターン、つる状パターン、コーンローパターン、らせん状パターン、ジグザグパターン、またはパターンの組合せを含む他のパターンを含む。メモリ718はまた、デッドレコニングセンサ、位置特定センサ、状況センサ、または感知システム708の他のセンサのいずれかを含む、感知システム708のセンサによって収集されたデータを記憶する。コントローラ706が住宅300のマップを作成した場合、コントローラ706は、随意にマップを、後の清掃セッションで再使用するために不揮発性ストレージデバイス868に記憶する。

モバイル清掃ロボット102にとって利用可能な動作は、モバイル清掃ロボット102のタイプに依存する。たとえば、モバイル清掃ロボット102が真空清掃ロボットである場合、メモリ718は、フロア清掃動作を実行するためのルーチンを含む。真空清掃ロボットが清掃ミッションを開始するためのコマンドを受信した場合、真空清掃ロボットは、その環境であちこち自律的にナビゲートし、フロア表面から屑を取り込むことによってフロア清掃動作を実行する。フロア清掃動作は、1つの部屋または複数の部屋のフロア表面をカバーするように、あるパターン、たとえば、コーンローパターン、らせん状パターン、または他の適切な動きパターンでコントローラ706が真空清掃ロボットをナビゲートする部屋清掃動作を含む。

いくつかの例では、フロア清掃動作はスポット清掃動作を含み、真空清掃ロボットが、スポット清掃動作を実行するためのコマンドを受信すると、その清掃動作を位置特定済みエリアに制限する。位置特定済みエリアは、屑センサによって検出された、より多くの量の検出済み屑を含み得る。スポット清掃動作の一部として、コントローラ706は、追加または代替として、真空清掃ロボットが屑をより容易に取り込めるように、真空清掃ロボットのエアムーバーに供給される電力を増大させる。スポット清掃動作を実行するために、コントローラ706は、真空清掃ロボットが既定のパターン、たとえば、らせん状パターンで位置特定済みエリア内で動くように、駆動システムを制御する。フロア清掃動作のいずれかの開始は、センサ信号に応答して発生し得る。真空清掃ロボットが屑センサを含む場合、コントローラ706は、屑センサによる屑の検出に応答してスポット清掃動作を実行するように真空清掃ロボットを制御することができる。

いくつかの実装形態では、モバイル清掃ロボット102は、その環境内で他のデバイスと通信するか、またはさもなければ対話する。モバイル清掃ロボット102は、たとえば、バッテリーと電気的に接続可能なステーションで再充電され得る再充電可能バッテリーを含む。いくつかの例では、バッテリーは、ステーションに挿入される取り外し可能なバッテリーであり、他の例では、モバイル清掃ロボット102は、ステーションにドッキングし、それによってステーションはバッテリーを再充電できる。図3に示すように、ドッキングステーション332が部屋302Aに位置する。ドッキングステーション332は、モバイル清掃ロボット102がドッキングステーション332にドッキングされた、たとえば、ドッキングステーション332に物理的および/または電気的に接続されたときにモバイル清掃ロボット102のバッテリーを充電するように動作可能な充電器を含む。モバイル清掃ロボット102が真空清掃ロボットである場合、ドッキングステーション332は、追加または代替として、真空清掃ロボットの屑箱の屑を空にするための電動容器を含む排出ステーションとしての働きをする。

図3に示す別の例では、戸口304Bに近接して位置する送信ユニット334は、少なくとも戸口304Bの長さにわたる軸方向抑制ビームを送信する。送信ユニット334は、放出された抑制ビームが部屋302Bと部屋302Cを分離するように位置付けられる。いくつかの例では、感知システム708は、放出された抑制ビームを検出する全方向検出器を含む。抑制ビームの検出に応答して、コントローラ706は、抑制ビームを横切るのを回避するようにモバイル清掃ロボット102をナビゲートし、それによって、部屋302Cの中または部屋302Cの外でのモバイル清掃ロボット102の自律的ナビゲーションが維持される。モバイル清掃ロボット102は、たとえば、全方向検出器が抑制ビームを検出したときに抑制ビームから離れる。第2のモバイル清掃ロボット103がそのような全方向検出器を含む場合、送信ユニット334は、第2のモバイル清掃ロボット103が抑制ビームひいては戸口304Bを横切ることなく部屋302C内で自律的にナビゲートするように、第2のモバイル清掃ロボット103を制限する。

いくつかの例では、1つまたは複数の送信ユニットが、モバイル清掃ロボット102上の位置特定センサによって検出可能である信号を環境に放出する。信号は、たとえば、住宅300内で定常的である光学または音響信号である。たとえば、モバイル清掃ロボット102が住宅300中でナビゲートする間に送信ユニットが住宅300に狭方向音響信号を送信した場合、コントローラ706は、モバイル清掃ロボット102上の音響受信機が音響信号を受信したときにそれに対して位置特定する。音響信号は、音響受信機が反射された音響信号を検出するように、壁表面に向けられてよく、または音響信号は、音響受信機が音響信号の直接の放出を受信するように、フロア表面に向けられてよい。送信ユニットは、これらの信号のうちの1つまたは複数を住宅300に送信し、モバイル清掃ロボット102は、これらの信号の各々を位置特定特徴として使用する。いくつかの例では、送信ユニットは、感知システム708が検出し、コントローラ706が住宅300内のモバイル清掃ロボット102を位置特定するために使用する狭集束光学ビームを住宅300に放出する。

モバイル清掃ロボット102、202のためのワイヤレス通信システムは、図3および図4に示すように、モバイル清掃ロボット102、202とリモートコンピューティングシステム116との間、またはモバイル清掃ロボット102、202とモバイルコンピューティングデバイス94との間のデータの送信を可能にする。リモートコンピューティングシステム116は、モバイル清掃ロボット102の環境から離れている、たとえば、住宅300から離れている計算リソースを含むように構成され得る。たとえば、図4に示すように、リモートコンピューティングシステム116は、モバイル清掃ロボット102a、102bの各々との通信リンクを確立する1つまたは複数のサーバコンピュータ402を含むことができる。1つまたは複数のサーバコンピュータ402は、いくつかの例では、1つまたは複数の離れて位置するサーバコンピュータのネットワーク(「クラウド」コンピューティングネットワーク404)に接続される。リモートコンピューティングシステム116は、たとえば、通信ネットワークを通じて維持されアクセス可能なプロセッサ、ストレージ、およびデータベースのコンピューティングインフラストラクチャとして実装されたネットワークアクセス可能コンピューティングプラットフォームの一部分を含む。リモートコンピューティングシステムは、システムの物理的ロケーションおよび構成をユーザ10が熟知していることを求めず、リモートコンピューティングシステムは、リモートコンピューティングシステム116によって実行されるルーチンまたはリモートコンピューティングシステム116によって提供されるサービスをユーザ10が熟知していることを求めない。リモートコンピューティングシステム116は、モバイルロボット識別データおよび関連ユーザデータを記憶するための1つまたは複数のデータベースを含むことができる。

モバイル清掃ロボット102のためのデッドレコニングおよび/または位置特定センサは、モバイル清掃ロボット102を位置特定するために特徴が抽出され得る信号を生成するセンサを含むことができる。デッドレコニングおよび/または位置特定センサは、代替または追加として、モバイル清掃ロボット102から離れているセンサ、たとえば、リンクされたデバイス328A、328B上のセンサを含む。

モバイル清掃ロボット102は、リモートデッドレコニングセンサによって検出可能な信号を放出することができ、それにより、モバイル清掃ロボット102が環境であちこちナビゲートする間のモバイル清掃ロボット102の相対的位置および/または方向の変化が、これらのセンサからの出力を使用して推定される。

リンクされたデバイス328A、328B(たとえば、ネットワーク接続されたデバイス)は、いくつかの実装形態では、永続マップの正確性を改善するためにリモートコンピューティングシステム116およびモバイル清掃ロボット102によってアクセスされる情報を生成することができる。リンクされたデバイス328A、328Bは、音響センサ、画像キャプチャシステム、または特徴が抽出され得る信号を生成する他のセンサなど、住宅300内の特徴を検出するセンサを含む。いくつかの例では、リンクされたデバイス328A、328Bは、センサ信号から導出された情報をリモートコンピューティングシステム116に送信する。リモートコンピューティングシステム116は、これらの特徴に関係する情報を永続マップ上の特徴と相関付ける。

いくつかの実装形態では、リンクされたデバイス328A、328Bは、ロボット102によって維持される永続マップと比較される住宅300の部分のそれら自体のマップを生成する。リンクされたデバイス328A、328Bは、たとえば、カメラ、光学センサ、測距センサ、音響センサ、またはリンクされたデバイス328A、328Bの環境のマップを形成するために使用される信号を生成する他のセンサを含む。いくつかの例では、リンクされたデバイス328A、328Bは、マップを形成するために互いに協力する。

リンクされたデバイス328A、328Bはまた、モバイル清掃ロボット102上のセンサによって受信された信号を放出し得る。モバイル清掃ロボット102は、リンクされたデバイス328A、328Bからの信号に応答してそのセンサによって生成された信号を使用して、モバイル清掃ロボット102の位置を三角測量する。放出される信号は、たとえば、光学信号、音響信号、ワイヤレス信号、および環境中を伝搬するのに伴って強度が変化する他の検出可能信号であり得る。

いくつかの実装形態では、モバイル清掃ロボット102の動作中、モバイル清掃ロボット102のための感知システムは、モバイル清掃ロボット102に関連するエラーステータスを検出し得る。リモートコンピューティングシステム116は、エラーステータスの指示を受信し、ユーザ10にメッセージを送信し、エラーステータスの根本を是正するようユーザ10に提案することができる。

本書で説明するプロセスの各々に関する動作は、分散的な方法で実行されてよい。たとえば、リモートコンピューティングシステム116、モバイル清掃ロボット102、およびモバイルコンピューティングデバイス94は、互いに協力して動作のうちの1つまたは複数を実行し得る。リモートコンピューティングシステム116、モバイル清掃ロボット102、およびモバイルコンピューティングデバイス94のうちの1つによって実行されるものとして説明される動作は、いくつかの実装形態では、リモートコンピューティングシステム116、モバイル清掃ロボット102、およびモバイルコンピューティングデバイス94のうちの2つ以上によって少なくとも部分的に実行され得る。

以下では、モバイルロボット202が住宅内のオブジェクトを認識することを可能にするための例示的な技法について説明する。オブジェクトが認識された後、モバイルロボット202は、認識されているオブジェクトを含めるために永続マップ110を更新することができる。更新された永続マップは、他のモバイルロボットと共有され得る。

図9は、認識モジュール206(図2)におけるニューラルネットワーク208として使用され得る畳み込みニューラルネットワーク900の例示的なアーキテクチャを示す。この例では、ニューラルネットワーク900は、4つの畳み込みレイヤ、3つの平均プーリングレイヤ、および2つの完全接続レイヤを含む。図9に示す例では、ネットワーク900への入力は、チェアのビューを含む画像である。ニューラルネットワーク900がチェアを認識するようにトレーニングされる場合、ネットワーク900の出力は、画像中のオブジェクトがチェアであることを示す。

図10は、認識モジュール206(図2)におけるニューラルネットワーク208として使用され得る畳み込みニューラルネットワーク1000の別の例示的なアーキテクチャを示す。この例では、あらゆる特徴マップ出力は、画像にフィルタを適用した結果であり、新しい特徴マップは次の入力となる。ニューラルネットワークは、いくつかの畳み込みレイヤ、平均プーリングレイヤ、および完全接続レイヤを含む。図10の例では、入力画像1002は、チェアのビューを含む画像である。ネットワーク1000の出力1004は、画像中のオブジェクトがチェアである可能性が最も高いことを示す。

いくつかの実装形態では、ロボット202がカメラ114を使用して住宅300内のロボット202の周囲の画像をキャプチャし、オブジェクトを認識することで、ロボット202が様々なタスクを実行するのを助けること、またはマップ110上のロボット202のロケーションを決定することができる。図11を参照すると、モバイルロボット202が住宅300であちこち動き、清掃タスクを実行するのに伴って、モバイルロボット202は、モバイルロボット202がカメラ114を通して見る様々な目印を含めるためにマップを更新する。たとえば、目印は、模様1100、QRコード(登録商標)1102、およびビーコン1104のうちの1つまたは複数を含み得る。モバイルロボット202は、目印を認識し、それらをマップ110上に配置する。

いくつかの例では、ユーザ10はモバイルロボット202に、特定の目印(たとえば、1100、1102、1104)が特定の部屋にあることを知らせることができる。このようにして、ロボット202が特定の目印を見たとき、ロボット202は、それが特定の部屋にあることを知る。たとえば、第1の目印が部屋302Aに配置されていることがあり、第2の目印が部屋302Bに配置されていることがあり、第3の目印が部屋302Cに配置されていることがあり、第4の目印が部屋302Dに配置されていることがある。部屋302Aの中のベッド306がラベル「ベッド」に関連付けられることをユーザ10がロボット202に知らせたいと思っていると仮定する。ユーザ10は、モバイルコンピューティングデバイス94のカメラ2306(図21)を使用して、部屋302Aの中の目印の第1の画像を撮り、ベッド306の第2の画像を撮り、画像中のオブジェクトが「ベッド」であることを識別するラベルを提供し、第1および第2の画像ならびにラベルをロボット202に送信することができる。ロボット202は、第1の画像中の目印を認識するので、第2の画像中のオブジェクトが部屋302Aにあることを知る。ユーザによって提供されたラベルに基づいて、ロボット202は、第2の画像中のオブジェクトが部屋302Aの中の「ベッド」であることを知る。ロボット202は、永続マップ110を更新し、マップ110にベッド306を追加し、マップ110上の新しく追加されたオブジェクトをラベル「ベッド」に関連付けることができる。

モバイルコンピューティングデバイス94上で実行されている拡張現実モジュール2308(図21)は、仮想空間を生成し、ユーザが存在する現実世界空間と視覚的仮想内容を有する仮想空間との間の対応関係を、視覚慣性オドメトリ技法を使用して追跡することができ、動きセンサからの情報が、1つまたは複数のカメラによってキャプチャされたシーン画像のコンピュータビジョン分析と結び付けられる。視覚的内容が生のカメラ画像とともに表示される場合、ユーザは、視覚的内容が現実世界の一部であるという錯覚により拡張現実を体験する。拡張現実モジュール2308は、どのオブジェクトがユーザ10によってラベル設定されているかをロボット202が判断するのを助けるために使用され得る。拡張現実セッションでは、拡張現実モジュール2308は、仮想空間の座標系を確立し、仮想空間と現実世界空間との間の対応関係を追跡する。

いくつかの実装形態では、ユーザ10は、モバイルコンピューティングデバイス94上で実行されている拡張現実モジュール2308を使用して、住宅300内のオブジェクト(たとえば、チェア)の仮想空間座標を決定し、モバイル清掃ロボット202の仮想空間座標を決定し、仮想空間におけるモバイル清掃ロボット202の方向角を決定することができる。仮想空間と現実世界との間の対応関係を理由に、モバイル清掃ロボット202は、モバイル清掃ロボット202に対する住宅300内のオブジェクト(たとえば、チェア)の現実世界位置を、モバイル清掃ロボット202に対するオブジェクトの仮想空間位置に基づいて決定することができる。同様に、モバイル清掃ロボット202は、現実世界における基準方向に対するモバイル清掃ロボット202の方向角を、仮想空間における対応する基準方向に対するモバイル清掃ロボット202の方向角に基づいて決定することができる。

いくつかの例では、モバイルコンピューティングデバイス94は、モバイル清掃ロボット202に対するオブジェクト(たとえば、チェア)の位置を、仮想空間におけるオブジェクト(たとえば、チェア)の座標と仮想空間におけるモバイル清掃ロボット202の座標との間の差に基づいて決定する。モバイルコンピューティングデバイス94はモバイル清掃ロボット202に、オブジェクト(たとえば、チェア)の相対的位置についての情報およびモバイル清掃ロボット202の方向角についての情報を送信する。オブジェクト(たとえば、チェア)の相対的位置についての情報およびモバイル清掃ロボット202の方向角についての情報に基づいて、モバイル清掃ロボット202は、オブジェクト(たとえば、チェア)の位置を決定し、オブジェクトにナビゲートすることができる。

いくつかの例では、モバイルコンピューティングデバイス94は、オブジェクト(たとえば、チェア)の仮想空間座標、モバイル清掃ロボット202の仮想空間座標、および仮想空間における基準方向に対するモバイル清掃ロボット202の方向角をモバイル清掃ロボット202に送信する。受信された情報に基づいて、モバイル清掃ロボット202は、オブジェクト(たとえば、チェア)の相対的座標を決定し、オブジェクトにナビゲートする。

たとえば、モバイルコンピューティングデバイス94は、拡張現実モジュール2308を使用して、フロア表面に対して平行で、フロア表面上にある仮想平面を決定する。仮想平面は、仮想空間の座標系におけるx-y平面に対応する。モバイルコンピューティングデバイス94は、拡張現実モジュール2308を使用して、オブジェクト(たとえば、チェア)が仮想空間における座標(x1,y1,0)にあり、モバイル清掃ロボット202が仮想空間における座標(x2,y2,0)にあり、モバイル清掃ロボットの方向角が+x軸に対してθ度であると判断する。モバイルコンピューティングデバイス94は、モバイル清掃ロボット202に関連情報を送信する。モバイル清掃ロボット202は、オブジェクトがロボット202の現在のヘッディングに対して時計回りで

度の方向にあり、ロボット202に対して

の距離にあると判断する。したがって、ユーザ10がオブジェクトを「チェア」として識別した場合、モバイルロボット202は、ロボット202の現在のヘッディングに対して時計回りで

度の方向にあり、ロボット202に対して

の距離にあるオブジェクトがラベル「チェア」に関連付けられることがわかる。拡張現実モジュール2308は、ユーザ10が現実世界オブジェクトについての情報をモバイルロボット202に伝達するための便利な機構を提供する。

いくつかの実装形態では、モバイルコンピューティングデバイス94は、ユーザ10が容易に住宅300内のオブジェクトを識別し、モバイル清掃ロボット202を識別することができるように、たとえば、タッチスクリーンディスプレイ上にユーザインターフェース2304を提供する。たとえば、ユーザ10は、モバイルコンピューティングデバイス94のカメラ2306を、ユーザ10が識別する(すなわち、ロボット202にラベルを提供する)つもりであるオブジェクト(たとえば、チェア)に向け、オブジェクトを含むシーンの画像がタッチスクリーンディスプレイ上に示される。ユーザ10は、オブジェクトを識別するためにタッチスクリーンディスプレイ上の画像中のスポットをタッチすることによって、タッチ入力を行う。拡張現実モジュール2308は、画像分析を実行して、ユーザ10によって識別された画像中のスポットに対応する現実世界における第1の点を決定し、仮想空間座標系における第1の点の座標を決定する。次いで、ユーザ10はモバイルコンピューティングデバイス94を、モバイル清掃ロボット202の近くに動かす。ユーザ10が、識別されるオブジェクト(たとえば、チェア)の近くからモバイル清掃ロボット202の近くに移動する中、拡張現実モジュール2308は、カメラ2306によってキャプチャされた画像および動きセンサ2310によって提供された動き感知データを分析し続け、視覚慣性オドメトリ技法を使用して、現実世界におけるモバイルコンピューティングデバイス94の位置および方向を決定する。

ユーザ10は、モバイルコンピューティングデバイス94のカメラ2306をモバイル清掃ロボット202に向け、モバイル清掃ロボット202の画像がタッチスクリーンディスプレイ上に示される。いくつかの実装形態では、システムは、(たとえば、たとえばモバイルロボットを認識するようにトレーニングされているニューラルネットワークを有する深層機械学習モジュールを使用して)カメラ2306によってキャプチャされたシーン画像を分析し、ユーザ10からのさらなる入力なしにモバイル清掃ロボット202を自律的に認識する。拡張現実モジュール2308は、画像分析を実行して、画像中のモバイル清掃ロボット202の点、たとえば中心に対応する現実世界における第2の点を決定し、仮想空間の座標系における第2の点の座標を決定する。システムは、第1の点の座標および第2の点の座標をモバイル清掃ロボット202に送信することができ、モバイル清掃ロボット202は、第2の点に対する第1の点の位置を決定することができる。代替的に、システムは、第1の点の座標と第2の点の座標との間の差に基づいて、第2の点に対する第1の点の位置を決定し、相対的位置情報をモバイル清掃ロボット202に送信することができる。

いくつかの実装形態では、システムは、モバイル清掃ロボット202がある方向、たとえば、+x軸および+y軸に整合するように、ユーザ10がモバイル清掃ロボット202を手動で回転してモバイル清掃ロボット202の方向角を変更することができるように、ユーザインターフェースを提供する。いくつかの実装形態では、システムは、カメラ2306によってキャプチャされたシーン画像を分析し、ユーザからのさらなる入力なしにモバイル清掃ロボット202の方向角を自動的に認識する。モバイルコンピューティングデバイス94はモバイル清掃ロボット202に、識別されるオブジェクト(たとえば、チェア)の相対的位置(またはモバイル清掃ロボット202の座標およびオブジェクトの座標)についての情報およびモバイル清掃ロボット202の方向角についての情報を送信する。オブジェクトの相対的位置(またはモバイル清掃ロボット202の座標およびオブジェクトの座標)についての情報およびモバイル清掃ロボット202の方向角についての情報に基づいて、モバイル清掃ロボット202は、オブジェクトのロケーションを決定し、オブジェクトにナビゲートし、ユーザが提供したラベルをそのオブジェクトに関連付けることができる。

いくつかの例では、ユーザが提供したラベルをオブジェクトに関連付けるために、モバイル清掃ロボット202がオブジェクトにナビゲートする必要はない。モバイルコンピューティングデバイス94によって提供された座標情報に基づいて、モバイル清掃ロボット202は、マップ110上にオブジェクトを配置し、ユーザによって提供されたラベルにオブジェクトを関連付けることができる。いくつかの例では、モバイル清掃ロボット202がオブジェクトにナビゲートし、様々な角度からオブジェクトの画像をキャプチャし、オブジェクトの画像を使用してニューラルネットワーク124をトレーニングすることで、ニューラルネットワークが将来においてオブジェクトを認識できるようになることが有用である。

いくつかの実装形態では、モバイルコンピューティングデバイス94は、モバイル清掃ロボット202を認識するように構成された第1のニューラルネットワーク(たとえば、畳み込みニューラルネットワーク)を有する第1の画像検出モジュールを含む。第1のニューラルネットワークは、モバイル清掃ロボット202または同じモデルの他のモバイル清掃ロボットのいくつかの画像を使用してトレーニングされる。トレーニング画像は、モバイル清掃ロボット202に対する様々な距離、モバイル清掃ロボット202に対する様々な視野角から、様々な照明条件下で撮られたモバイル清掃ロボット202の画像を含む。これにより、トレーニングされたニューラルネットワークが、様々な照明条件下で、かつユーザがモバイル清掃ロボット202に対する(一定の範囲内の)任意の距離および任意の視野角でモバイルコンピューティングデバイス94のカメラ2306を持つことができる様々な状況下で、モバイル清掃ロボット202を認識することが可能になる。

いくつかの実装形態では、モバイルコンピューティングデバイス94は、モバイル清掃ロボット202の方向角を認識するように構成された第2のニューラルネットワークを有する第2の画像検出モジュールを含む。第2のニューラルネットワークは、モバイル清掃ロボット202が様々な角度で方向付けられている、モバイル清掃ロボット202または同じモデルの他のモバイル清掃ロボットのいくつかの画像を使用してトレーニングされる。トレーニング画像は、モバイル清掃ロボット202に対する様々な距離、モバイル清掃ロボット202に対する様々な視野角から、様々な照明条件下で撮られたモバイル清掃ロボット202の画像を含む。これにより、トレーニングされたニューラルネットワークが、様々な照明条件下で、かつユーザがモバイル清掃ロボット202に対する(一定の範囲内の)任意の距離および任意の視野角でモバイルコンピューティングデバイス94のカメラ2306を持つことができる様々な状況下で、モバイル清掃ロボット202の方向角を認識することが可能になる。

いくつかの実装形態では、拡張現実セッション中に、ユーザ10は、住宅300内の(同じ平面にない)3つ以上の目印およびオブジェクト(たとえば、チェア)を識別し、拡張現実モジュール2308は、仮想空間における目印およびオブジェクト(たとえば、チェア)の座標を決定する。モバイルコンピューティングデバイス94はロボット202に、目印の座標およびオブジェクト(たとえば、チェア)の座標を送信する。

上記で説明したように、ロボット202が住宅300であちこち動き、清掃タスクを実行するとき、ロボット202は、ロボット202がカメラ114を通して見る様々な目印を含めるためにマップ110を更新する。ロボット202は、ロボット座標系における目印の座標がわかる。目印についての情報を使用することによって、ロボット202は、オブジェクトの位置を決定するために座標変換または三角測量を実行することができる。3次元(3D)仮想空間座標系における3つ以上の目印の座標および3Dロボット座標系における目印の座標に基づいて、ロボット202は、3D仮想空間座標系と3Dロボット座標系との間の変換を決定することができる。仮想空間座標系におけるオブジェクト(たとえば、チェア)の座標を踏まえ、仮想空間座標系とロボット座標系との間の変換についての情報に基づいて、ロボット202は、ロボット座標系におけるオブジェクト(たとえば、チェア)の座標を決定することができる。したがって、ユーザが拡張現実モジュール2308を使用してオブジェクトを「チェア」として識別した場合、ロボット202は、どのオブジェクトがユーザ10によって「チェア」としてラベル設定されているかを判断することができる。

ロボット202が目印までのオブジェクトの距離を知っている場合、ロボット202は、3D三角測量を使用して3つ以上の目印に対するオブジェクトのロケーションを決定することができる。たとえば、仮想空間座標系における目印およびオブジェクト(たとえば、チェア)の座標の情報を使用して、ロボット202は、オブジェクト(たとえば、チェア)から各目印までの距離を決定することができる。ロボット座標系における目印の座標についての情報およびオブジェクト(たとえば、チェア)から目印の各々までの距離についての情報を使用して、ロボット202は、三角測量によってロボット座標系におけるオブジェクト(たとえば、チェア)の座標を決定することができ、したがって、どのオブジェクトがユーザ10によって「チェア」としてラベル設定されているかを判断することができる。

図12を参照すると、いくつかの実装形態では、目印は小さくされ、目立たないロケーションに配置され得る。たとえば、天井に取り付けられた火災検出器1204上にQRコード1202が配置され得る。別の例として、埋め込み天井ライトの枠にQRコードが配置され得る。天井の選択されたロケーションに複数のQRコードが配置され得る。天井またはその近くにQRコード1202および他の目印を配置することによって、目印は、住宅300の装飾にほとんど影響を与えず、さほどユーザ10の気を散らさなくなる。ロボット202には、ロボット202が天井またはその近くにある目印を検出できるようにする高解像度カメラまたはズームレンズが設けられる。ロボット202が住宅300内で動くのに伴って、同時位置特定およびマッピング(SLAM)センサは、目印(たとえば、QRコード1202)を含む、天井またはその近くにあるオブジェクトのロケーションを追跡する。

たとえば、ロボット202およびオブジェクトの座標を決定するために拡張現実モジュール2308が使用されるとき、モバイルコンピューティングデバイス94上で実行されているロボット管理プログラム2312(図21)がユーザ10に、天井のQRコード1202などの目印を走査するよう促す。拡張現実モジュール2308は、天井の目印の座標を決定し、その情報を使用して、仮想空間座標系をロボット202と共有するのを支援する。このようにして、ユーザ10が仮想空間におけるオブジェクトを識別し、拡張現実モジュール2308が仮想空間におけるオブジェクトの座標を決定したとき、ロボット202は、どのオブジェクトがユーザ10によって識別されているかを判断することができる。

たとえば、拡張現実モジュール2308を使用して、ユーザ10は、住宅300であちこち歩き、モバイルコンピューティングデバイス94のカメラ2306を様々なオブジェクトに向けることができ、オブジェクトの画像がモバイルコンピューティングデバイス94のタッチスクリーンディスプレイ上に現れる。ユーザ10は、チェアなどの画像中のオブジェクトをタップし、ユーザインターフェース2304を通じてラベル「チェア」を提供する。拡張現実モジュール2308は、仮想空間におけるチェアの座標を決定する。モバイルコンピューティングデバイス94は、チェアの仮想空間座標およびラベル「チェア」をロボット202に送信する。座標変換または三角測量を使用して、ロボット202は、「チェア」としてラベル設定されているオブジェクトのロボット座標を決定する。次回ロボット202がチェアの近くでナビゲートするとき、ロボット202は、ユーザ10によって提供されたラベル「チェア」にオブジェクトが関連付けられることを知っている。同様にして、ユーザは、住宅300内の他のオブジェクトにラベルを迅速に提供することができ、ロボット202は、どのラベルがどのオブジェクトに当てはまるかを判断することが可能になる。

いくつかの実装形態では、ユーザ10は、住宅300内のオブジェクトに特性を割り当てることができ、モバイルロボット202は、特性を考慮してタスクを実行することができる。オブジェクトの特性は、永続マップ110に追加され得る。たとえば、ユーザ10は、花瓶またはある種の木製家具などのいくつかのオブジェクトが「ノータッチ」特性を有することを示すことができる。モバイルロボット202が「ノータッチ」特性に関連するオブジェクトに遭遇したとき、ロボット202は、ロボット202がオブジェクトの損傷を回避するためにオブジェクトに接触しないように、オブジェクトの近くで「ノータッチ」ナビゲーションモードを使用し得る。

図13を参照すると、いくつかの実装形態では、永続マップ110は、ユーザ10にとって有用な追加の情報を含むことができる。たとえば、ロボット102が住宅300であちこち動く中、ロボット102は、住宅300内の様々なロケーションにおけるWi-Fi信号強度を決定し、その情報を永続マップ110に記録する。ロボット102は、様々なロケーションにおけるWi-Fi信号強度についての情報をモバイルコンピューティングデバイス94に送信し、ロボット管理プログラム2312は、その情報を使用して、ユーザ10に示されるマップ2302上にオーバーレイされるWi-Fiヒートマップ1302を生成する。

Wi-Fiヒートマップ1302は、より強いWi-Fi信号を有する住宅300内の領域、およびより弱いWi-Fi信号を有する住宅300内の領域を示す。Wi-Fiヒートマップ1302は、ユーザ10が最適なロケーションにWi-Fiルータが配置されているかどうかを判断し、電子デバイスがより強いWi-Fi信号を受信できるようにデバイスを住宅300内のどこに配置すべきかを判断するのを助けることができる。

図14を参照すると、いくつかの実装形態では、ロボット102a、102bは、ユーザ10のカレンダー1402からの情報を使用してタスクを知的にスケジュールすることができる。ロボット102a、102bは、ユーザ10のカレンダー1402へのアクセスを求める要求1404をモバイルコンピューティングデバイス94に送信する。モバイルコンピューティングデバイス94は、カレンダー1402をロボット102a、102bに送信する。ユーザ10は、モバイルコンピューティングデバイス94とロボット102aおよび102bとの間のカレンダーの共有を以前に承諾していることを理解されたい。カレンダー1402は、12月31日、日曜日の5 pmから1 amの新年会、および1月6日、土曜日の12 pmから3 pmの家族の集いがあることを示すカレンダーエントリ1406を含む。

ロボット102a、102bのタスクスケジューラ106は、カレンダー情報1402を考慮して清掃タスクをスケジュールする。たとえば、ロボット102a、102bのタスクスケジューラ106は、住宅が12月31日の5 pmに新年会を開始する態勢を整えることができるように、その日の4 pmまでに終了するように第1フロアの部屋の清掃タスクをスケジュールし得る。ロボット102a、102bのタスクスケジューラ106は、住宅が1月6日の正午に家族の集いを開始する態勢を整えることができるように、その日の11 amまでに終了するように第1フロアの部屋の清掃タスクをスケジュールし得る。ロボット102aおよび102bは、清掃タスクが予定どおり完了できるように第1フロアの様々な部屋で清掃タスクを分担するために互いに協調し得る。いくつかの例では、ロボット102aおよび102bは、清掃タスクを並行して実行し得る。いくつかの例では、ロボット102aおよび102bは、第2のロボット102bがドッキングステーション332で充電しているときに第1のロボット102aが清掃タスクを実行し、第1のロボット102aがドッキングステーション332で充電しているときに第2のロボット102bが清掃タスクを実行するように、清掃タスクを順に実行し得る。

いくつかの実装形態では、モバイルロボット102aおよび102bは、ユーザ10のスケジュールに応じて、清掃タスクを実行する際にどのように協働するかを変更し得る。たとえば、清掃ロボット102a、102bの各々は、部屋302A、302B、302C、および302Dの各々を清掃するために必要とされる時間量など、特定の清掃タスクを実行するために必要とされる時間量を追跡し得る。ロボット102aおよび102bは通常、所与の時間にたった1つのロボットが住宅を清掃しているようにロボット102aおよび102bが順に動作するような「順次モード」で動作し得る。ロボット102a、102bが9 amから11 pmの間に住宅を清掃するように通常スケジュールされ、ロボット102aおよび102bが順に動作するときに部屋302Aから302Dの清掃を終了させるのに約2時間かかると仮定する。カレンダー1402によって提供された情報に基づいて、ロボット102a、102bは、1月3日の10 amにイベント1410があることを知っている。ロボット102aおよび102bは、ロボット102aおよび102bが並行して動作するような「並行モード」での動作に切り替えることができる。このようにして、ロボット102a、102bは、9 amから10 amの1時間で住宅の清掃を終了させることができる。

図15を参照すると、別のモバイルロボットと協調するようにモバイルロボットを動作させるための例示的なプロセス1500が提供される。たとえば、モバイルロボットは、図1のロボット102aもしくは102bまたは図2のロボット202aもしくは202bなどのモバイル清掃ロボットであり得る。プロセス1500は、モバイル清掃ロボットのローカルストレージデバイスに、環境の永続マップを記憶すること1502を含む。たとえば、モバイル清掃ロボットはモバイルロボット102aであってよく、ローカルストレージデバイスはストレージデバイス108であってよく、永続マップは永続マップ110であってよい(図1)。

プロセス1500は、モバイル清掃ロボットの少なくとも1つのセンサを使用して、感知データを生成するために環境を感知すること1504を含む。たとえば、少なくとも1つのセンサは1つまたは複数のカメラ114であってよく、環境は住宅300または400であってよい。感知データは、カメラ114によってキャプチャされ得る。

プロセス1500は、モバイル清掃ロボットの1つまたは複数のデータプロセッサを使用して、永続マップおよび感知データを使用して環境内でナビゲートすること1506を含む。たとえば、1つまたは複数のデータプロセッサは、ナビゲーションモジュール112と組み合わせて環境をナビゲートする際にロボット102aを制御する、制御モジュール104の1つまたは複数のデータプロセッサであってよい。

プロセス1500は、永続マップを第2のモバイル清掃ロボットと共有すること1508を含む。たとえば、第1のモバイルロボット102aは、永続マップ110を生成または更新し、マップを第2のモバイルロボット102bと共有することができる。いくつかの例では、図1に示すように、マップ110を共有することは、マップ110をリモートコンピューティングシステム116にアップロードすることを伴うことができる。いくつかの例では、図2に示すように、マップ110を共有することは、マップを第1のモバイルロボット202aから第2のモバイルロボット202bに送信することを伴うことができる。

プロセス1500は、清掃タスクを実行するために第2のモバイル清掃ロボットと協調することを含む。たとえば、第1のモバイルロボット102aは、住宅300を清掃するときに第2のモバイルロボット102bと協調することができる。たとえば、第1のロボット102aは、第1の清掃タスクを実行し、第1の清掃タスクを終了させてそのドッキングステーションに戻ると、第1のロボット102aが第1の清掃タスクを終了させたことを第2のロボット102bに知らせることができる。第2のロボット102bは、第1のロボット102aが第1の清掃タスクを終了させたというメッセージを受信したことに応答して、第2の清掃タスクの実行を開始することができる。

たとえば、第1のロボット102aは、第1の清掃タスクを完了させずに第1の清掃タスクを実行することができる。第1のロボット102aは、部屋302Bの第1の部分を清掃し、そのバッテリーを再充電するためにドッキングステーションに戻ることがある。第1のロボット102aは、部屋302Bの第1の部分が清掃されており、清掃が部屋302Bの中の第1のロケーションで停止したというメッセージを第2のロボット102bに送信し得る。第2のロボット102bは、第1のロボット102aからメッセージを受信すると、部屋302Bの中の第1のロケーションにナビゲートし、部屋302Bの残存部分の清掃を続ける。

たとえば、第1のモバイルロボット102aは、第2のモバイルロボット102bと並行して部屋を清掃することができ、その場合、第1のモバイルロボット102aが部屋の一方の端から清掃を開始する一方、第2のモバイルロボット102bが部屋の他方の端から清掃を開始する。

図16を参照すると、協同能力を有する複数のモバイルロボットを動作させるための例示的なプロセス1600が提供される。たとえば、モバイルロボットは、図1のロボット102a、102bまたは図2のロボット202a、202bなどのモバイル清掃ロボットであり得る。プロセス1600は、サーバコンピュータのストレージデバイスに、環境の永続マップの複数のバージョンまたは環境に関する永続マップ更新の複数のバージョンを記憶すること1602を含む。たとえば、サーバコンピュータはリモートコンピューティングシステム116(図1)であってよく、ストレージデバイスはストレージデバイス118であってよい。永続マップの複数のバージョンは永続マップ120のバージョンであってよく、永続マップ更新の複数のバージョンは永続マップ更新122のバージョンであってよい。環境は、たとえば、住宅300または400であり得る。

プロセス1600は、サーバコンピュータの1つまたは複数のデータプロセッサを使用して、永続マップの複数のバージョンまたは永続マップ更新の複数のバージョンを管理すること1604を含む。

マップまたはマップ更新のバージョンを管理することは、永続マップまたは永続マップ更新へのアクセスを要求する第1のモバイル清掃ロボットからの要求を受信すると、永続マップまたは永続マップ更新のバージョンのうちの1つを第1のモバイル清掃ロボットに提供すること1606を含む。たとえば、リモートコンピューティングシステム116は、第1のモバイルロボット102aからの要求を受信することがあり、応答して、永続マップ120または永続マップ更新122のバージョンのうちの1つを第1のモバイル清掃ロボット102aに提供する。

マップまたはマップ更新のバージョンを管理することは、永続マップまたは永続マップ更新へのアクセスを要求する第2のモバイル清掃ロボットからの要求を受信すると、永続マップまたは永続マップ更新のバージョンのうちの1つを第2のモバイル清掃ロボットに提供すること1608をさらに含む。たとえば、リモートコンピューティングシステム116は、第2のモバイルロボット102bからの要求を受信することがあり、応答して、永続マップ120または永続マップ更新122のバージョンのうちの1つを第2のモバイル清掃ロボット102bに提供する。

図17を参照すると、協同能力を有する複数のモバイルロボットを動作させるための例示的なプロセス1700が提供される。たとえば、モバイルロボットは、図1のロボット102a、102bまたは図2のロボット202a、202bなどのモバイル清掃ロボットであり得る。プロセス1700は、第1のモバイル清掃ロボットを使用して、清掃タスクの第1のセットを実行すること1702を含む。たとえば、第1のモバイル清掃ロボットは、第1のロボット102aまたは202aであり得る。

プロセス1700は、第2のモバイル清掃ロボットを使用して、清掃タスクの第2のセットを実行すること1704を含む。たとえば、第2のモバイル清掃ロボットは、第2のロボット102bまたは202bであり得る。

プロセス1700は、第1のモバイル清掃ロボットと第2のモバイル清掃ロボットとの間で環境の永続マップを共有すること1706を含む。たとえば、永続マップは永続マップ110であり得る。

プロセス1700は、永続マップを使用して環境内で第1のモバイル清掃ロボットをナビゲートすること1708を含む。たとえば、第1のモバイルロボット102aは、第1のモバイルロボット102aのストレージデバイスに記憶されたマップ110を使用して、住宅300をナビゲートすることができる。

プロセス1700は、永続マップを使用して環境内で第2のモバイル清掃ロボットをナビゲートすること1710を含む。たとえば、第2のモバイルロボット102bは、第2のモバイルロボット102bのストレージデバイスに記憶されたマップ110を使用して、住宅300をナビゲートすることができる。

プロセス1700は、清掃タスクの第1のセットおよび清掃タスクの第2のセットを実行する際に第1のモバイル清掃ロボットおよび第2のモバイル清掃ロボットを協調させること1712を含む。たとえば、第1および第2のモバイルロボット102aおよび102b(または202aおよび202b)は、住宅300を清掃するときに互いに協調することができる。ロボット102aはベッドルーム302Aを清掃することができ、ロボット102bはバスルーム302Cを清掃することができ、ロボット102aとロボット102bの両方は、並行してダイニングルーム302Bを清掃することができる。第1のモバイルロボット102aは、ダイニングルーム302Bの一方の端から清掃を開始することができ、第2のモバイルロボット102bは、ダイニングルーム302Bの他方の端から清掃を開始することができる。

図18を参照すると、協同能力を有する複数のモバイルロボットを動作させるための例示的なプロセス1800が提供される。たとえば、モバイルロボットは、図1のロボット102a、102bまたは図2のロボット202a、202bなどのモバイル清掃ロボットであり得る。プロセス1800は、第1のモバイル清掃ロボットにおいて、環境のマップを生成または受信すること1802を含む。たとえば、第1のモバイル清掃ロボットは、第1のモバイルロボット102aまたは202aであり得る。マップは永続マップ110であり得る。

プロセス1800は、第1のモバイル清掃ロボットにおいて、マップを使用して環境内でナビゲートし、清掃タスクを実行すること1804を含む。たとえば、第1のモバイルロボット102aまたは202aは、マップ110を使用して住宅300、300内でナビゲートし、住宅300、300内で清掃タスクを実行することができる。

プロセス1800は、第1のモバイル清掃ロボットにおいて、環境内の特徴の第1のセットを識別するために環境を感知すること1806を含む。たとえば、第1のモバイルロボット102a、202aは、住宅300の画像をキャプチャし、住宅300内のオブジェクトを識別することができる。

プロセス1800は、第1のモバイル清掃ロボットにおいて、マップを、マップ上にまだない少なくとも1つのセンサによって感知された特徴を追加するために更新すること1808を含む。たとえば、モバイルロボット102a、202aは、マップ110上にまだない住宅300内の家具などの新しいオブジェクトを検出し、新しいオブジェクト(たとえば、新しい家具)についての情報を追加するためにマップ110を更新することができる。

プロセス1800は、第1のモバイル清掃ロボットにおいて、更新されたマップを1つまたは複数の他のモバイル清掃ロボットと共有すること1810を含む。

プロセス1800は、第2のモバイル清掃ロボットにおいて、第1のモバイル清掃ロボットによって共有される更新されたマップのコピーを受信すること1812を含む。

プロセス1800は、第2のモバイル清掃ロボットにおいて、特徴の第2のセットを識別するために環境を感知することであって、特徴の第2のセットのうちのいくつかは、マップ上にすでにある特徴のうちのいくつかと重複する、感知すること1814を含む。たとえば、第2のロボット102aは、マップ110上にすでにある家具類を識別し得る。

プロセス1800は、第2のモバイル清掃ロボットにおいて、少なくとも1つのセンサによって感知された特徴の第2のセットにおける特徴のうちの少なくともいくつかに対応するマップ上の特徴を識別し、マップ上で識別された特徴に基づいてマップ上で第2のモバイル清掃ロボットを位置特定すること1816を含む。たとえば、第2のロボット102aは、第2のロボット102aが識別した家具類のロケーションを、マップ110上の家具のロケーションと比較することで、マップ上のロボット102のロケーションを決定するのを支援することができる。

プロセス1800は、第2のモバイル清掃ロボットにおいて、マップを使用して環境内でナビゲートすること1818を含む。

プロセス1800は、第2のモバイル清掃ロボットにおいて、マップを、マップ上にまだない少なくとも1つのセンサによって感知された特徴を追加するために更新し、更新されたマップを第1のモバイル清掃ロボットと共有することを含む。

図19を参照すると、協同能力を有する複数のモバイルロボットを動作させるための例示的なプロセス1900が提供される。たとえば、モバイルロボットは、図1のロボット102a、102bまたは図2のロボット202a、202bなどのモバイル清掃ロボットであり得る。プロセス1900は、サーバコンピュータのストレージデバイスに環境の永続マップを記憶すること1902を含む。

プロセス1900は、サーバコンピュータを使用して、永続マップへのアクセスを管理すること1904を含む。

プロセス1900は、第1のモバイル清掃ロボットにおいて、サーバコンピュータから環境の永続マップの少なくとも一部分を受信すること1906を含む。

プロセス1900は、永続マップを使用して環境内で第1のモバイル清掃ロボットをナビゲートすること1908を含む。

プロセス1900は、第1のモバイル清掃ロボットを使用して、環境内で清掃タスクの第1のセットを実行すること1910を含む。

プロセス1900は、第2のモバイル清掃ロボットにおいて、サーバコンピュータから環境の永続マップの少なくとも一部分を受信すること1912を含む。

プロセス1900は、永続マップを使用して環境内で第2のモバイル清掃ロボットをナビゲートすること1914を含む。

プロセス1900は、第2のモバイル清掃ロボットを使用して、環境内で清掃タスクの第2のセットを実行すること1916を含む。

図20を参照すると、協同能力を有するモバイルロボットを動作させるための例示的なプロセス2000が提供される。たとえば、モバイルロボットは、図1のロボット102aもしくは102bまたは図2のロボット202aもしくは202bなどのモバイル清掃ロボットであり得る。プロセス2000は、モバイル清掃ロボットにおいて、複数のモバイル清掃ロボットにとってアクセス可能であるリモートストレージデバイスから環境の永続マップを受信すること2002を含む。

プロセス2000は、モバイル清掃ロボットのローカルストレージデバイスに永続マップを記憶すること2004を含む。

プロセス2000は、永続マップを使用して環境内でナビゲートし、清掃タスクを実行するようにモバイル清掃ロボットを制御すること2006を含む。

プロセス2000は、モバイル清掃ロボットの少なくとも1つのセンサを使用して、環境内の特徴のセットを識別するために環境を感知すること2008を含む。

プロセス2000は、永続マップを、永続マップ上にまだない少なくとも1つのセンサによって感知された特徴を追加するために更新すること2010を含む。

プロセス2000は、更新された永続マップを他のモバイル清掃ロボットと共有するために、更新された永続マップをリモートストレージデバイスにアップロードすること2012を含む。

図21を参照すると、いくつかの実装形態では、モバイルコンピューティングデバイス94は、たとえば、モバイルフォン、タブレットコンピュータ、またはスマートグラスなどのウェアラブルコンピューティングデバイスであり得る。モバイルコンピューティングデバイス94は、1つまたは複数のデータプロセッサ2314および1つまたは複数のカメラ2306を含む。各カメラ2306は、可視光および随意に赤外光に反応する1つまたは複数の画像センサを含む。モバイルコンピューティングデバイス94は、デバイス94の動きおよび方向の検出を可能にする1つまたは複数の動きセンサ2310を含む。

モバイルコンピューティングデバイス94は、拡張現実ツールキットまたはモジュール2308のためのプログラム命令およびモバイルロボット管理プログラム2312のためのプログラム命令を記憶するストレージデバイス2316を含む。ロボット管理プログラム2312は、ユーザが、ロボット102もしくは202によって実行される清掃タスクをスケジュールすること、またはマップ2302におけるオブジェクトにラベルを追加することなどのマップ2302を変更することのような、ロボット102または202の動作を管理することを可能にする。拡張現実モジュール2308は、拡張現実セッションにおいて環境内のオブジェクトをユーザが識別できるようにするツールを提供する。様々なオブジェクトの識別についての情報がモバイルロボット102または202に送信され得る。

モバイルコンピューティングデバイス94およびモバイル清掃ロボット102の各々は、ワイヤレス通信モジュールを有し、それによりモバイルコンピューティングデバイス94がモバイル清掃ロボット102と通信することが可能になる。モバイルコンピューティングデバイス94は、ユーザがモバイルロボット102の動作を管理することを可能にするユーザインターフェース2304を示すタッチスクリーンディスプレイを含む。たとえば、ユーザインターフェース2304は、住宅のマップ2302を示すことができ、マップ2302は、モバイルロボット102によって維持される永続マップ110に基づいて生成される。永続マップ110は、ロボット102が住宅内でナビゲートし、様々なタスクを実行するために有用である豊富な情報を含むが、永続マップ110における情報のすべてがユーザにとって有用であるわけではない。したがって、マップ2302は、ユーザフレンドリな方法で提示された永続マップ110からの情報の一部分を含むことができる。

たとえば、ユーザインターフェース2304上に示されるマップ2302は、住宅内の様々な部屋の壁の外形、ならびに戸口、階段、家具、および器具の表現を含むことができる。マップ2302は、住宅内のモバイルロボット102の現在のロケーションを示すことができる。ロボット102によって最近清掃された領域、またはロボット102が割り当てられたタスクを実行するのを妨げる条件など、追加の有用な情報がマップ2302上にオーバーレイされ得る。ユーザインターフェース2304は、たとえば、ユーザがロボット102の動作モードを選択できるようにする、選択可能なオプションを有するメニュー2318を示すことができる。ユーザインターフェース2304は、清掃タスクが完了していること、特定の部屋が清掃されたこと、または清掃タスクが実行されるのを妨げる条件をユーザに知らせることなど、ロボット102からの通知2320を示すことができる。

本書で説明する自律的モバイルロボットは、1つもしくは複数のデータ処理装置、たとえば、プログラマブルプロセッサ、コンピュータ、複数のコンピュータ、および/もしくはプログラマブル論理構成要素による実行のために、またはそれらの動作を制御するために、1つまたは複数のコンピュータプログラム製品、たとえば、1つまたは複数の非一時的機械可読媒体などの1つまたは複数の情報担体に有形に具現化された1つまたは複数のコンピュータプログラムを少なくとも部分的に使用して制御され得る。

本書で説明する自律的モバイルロボットを制御することに関連する動作は、本書で説明する機能を実行するために1つまたは複数のコンピュータプログラムを実行する1つまたは複数のプログラマブルプロセッサによって実行され得る。コンピュータプログラムは、コンパイルまたは翻訳された言語を含む任意の形式のプログラミング言語で書かれてよく、独立プログラムとしての形式、またはモジュール、構成要素、サブルーチンもしくはコンピューティング環境での使用に適した他のユニットとしての形式を含む、任意の形式で展開されてよい。本書で説明するロボットの全部または一部に対する制御は、専用論理回路、たとえばFPGA(フィールドプログラマブルゲートアレイ)および/またはASIC(特定用途向け集積回路)を使用して実装され得る。

本書で説明するコントローラは、1つまたは複数のプロセッサを含むことができる。コンピュータプログラムの実行に適したプロセッサは、例として、汎用マイクロプロセッサと専用マイクロプロセッサの両方、および任意の種類のデジタルコンピュータの任意の1つまたは複数のプロセッサを含む。一般に、プロセッサは、読取り専用記憶領域もしくはランダムアクセス記憶領域またはその両方から命令およびデータを受信する。コンピュータの要素は、命令を実行するための1つまたは複数のプロセッサならびに命令およびデータを記憶するための1つまたは複数の記憶領域デバイスを含む。一般に、コンピュータはまた、ハードドライブ、磁気ディスク、光磁気ディスクもしくは光ディスクなどの1つもしくは複数の機械可読記憶媒体を含み、またはかかる機械可読記憶媒体からデータを受信し、もしくはかかる機械可読記憶媒体にデータを転送し、もしくはその両方を行うように動作可能に接続される。コンピュータプログラム命令およびデータを具現化するのに適した機械可読記憶媒体は、例として、半導体ストレージデバイス、たとえば、EPROM、EEPROM、およびフラッシュストレージデバイス、磁気ディスク、たとえば、内部ハードディスクまたは取り外し可能ディスク、光磁気ディスク、ならびにCD-ROMおよびDVD-ROMディスクを含む、様々な形式の不揮発性記憶領域を含む。

上記で説明した状況認識のためのロボット人工知能を可能にするためのプロセスは、1つもしくは複数のモバイルコンピューティングデバイス、1つもしくは複数のモバイルロボット、および/または1つもしくは複数のリモートコンピューティングシステム上での実行のためにソフトウェアを使用して実装され得る。たとえば、ソフトウェアは、各々が少なくとも1つのプロセッサ、(揮発性および不揮発性メモリおよび/または記憶要素を含む)少なくとも1つのデータストレージシステム、少なくとも1つのワイヤードまたはワイヤレス入力デバイスまたはポート、および少なくとも1つのワイヤードまたはワイヤレス出力デバイスまたはポートを含む、モバイルロボット、モバイルコンピューティングデバイス、または(分散型、クライアント/サーバ、または格子などの様々なアーキテクチャを有し得る)リモートコンピューティングシステムのいずれかにおける、1つまたは複数のプログラムされたコンピュータシステムまたはプログラマブルコンピュータシステム上で実行される1つまたは複数のコンピュータプログラムにおける手順を形成する。ソフトウェアは、たとえば、住宅の清掃セッションおよびセキュリティ監視など、住宅の動作を管理することに関係する他のサービスを提供する、より大きいプログラムの1つまたは複数のモジュールを形成し得る。

ソフトウェアは、CD-ROM、DVD-ROM、ブルーレイディスクなど、汎用もしくは専用プログラマブルコンピュータによって読取り可能な媒体上に設けられること、またはソフトウェアが実行されるコンピュータにネットワークを介して配信される(伝搬される信号において符号化される)ことがある。機能は、専用コンピュータ上で、またはコプロセッサなどの専用ハードウェアを使用して実行され得る。ソフトウェアは、ソフトウェアによって指定された計算の異なる部分が異なるコンピュータによって実行される分散的な方法で実装され得る。そのような各コンピュータプログラムは好ましくは、汎用または専用プログラマブルコンピュータによって読取り可能な記憶媒体またはストレージデバイス(たとえば、ソリッドステートメモリもしくは媒体、または磁気もしくは光学媒体)に、本明細書で説明する手順を実行するためにコンピュータシステムによって記憶媒体またはストレージデバイスが読み取られるときにコンピュータを構成し動作させるために、記憶またはダウンロードされる。本発明のシステムはまた、コンピュータプログラムにより構成された、コンピュータ可読記憶媒体として実装されるものと見なされてよく、そのように構成された記憶媒体はコンピュータシステムに、本明細書で説明する機能を実行するために特定かつ既定の方法で動作させる。

本明細書のいくつかの実施形態について説明した。とはいえ、本明細書の趣旨および範囲から逸脱することなく、様々な変更が行われてよいことが理解されよう。たとえば、上記で説明したステップのうちのいくつかは、順序に無関係であってよく、したがって、説明した順序とは異なる順序で実行されてよい。上記の説明は例示的なものであり、添付の特許請求の範囲によって規定される本発明の範囲を限定するものではないことを理解されたい。

モバイルロボット102aおよび102bはまた、モバイルロボット202aおよび202bと同様の、(ニューラルネットワーク208を含む)認識モジュール206、学習モジュール210、および追加のセンサ212を有することができる。

モバイルコンピューティングデバイス94は、たとえば、スマートウォッチ、スマートカメラ、スマートゴーグル、または上述したモバイルコンピューティングデバイスの機能を実行することが可能である任意の他のポータブルデバイスであり得る。ユーザ10は、様々な方法を使用してオブジェクトを識別することができる。たとえば、ユーザは、ホームロボットおよびモバイル清掃ロボットを有し得る。ホームロボットは、住宅内であちこち動き、自然言語を使用してユーザと対話し得る。ホームロボットは、セキュリティ監視機能ならびに音楽の再生、ユーザの質問への回答、ユーザカレンダーのセットアップ、および住宅内の様々なデバイスの制御などの他のサービスを提供し得る。ユーザは、オブジェクトを指し、ホームロボットに、「これはチェアです」と話しかけることができる。ホームロボットは、カメラを有しており、ユーザが指したオブジェクト(たとえば、チェア)を認識し、オブジェクトの座標を決定し、座標についての情報およびラベル(たとえば、「チェア」)をモバイル清掃ロボットに送信することができる。

認識モジュール206は、様々な機械学習技法を使用してトレーニングされ得る。たとえば、入力に対して既知である所望の出力にトレーニングが基づいている教師あり学習技法が実装され得る。教師あり学習は、入力を出力にマッピングし、次いで、以前使用されていない入力に対する出力を推定する試みと見なされ得る。トレーニングが既知の入力から行われるが、未知の出力から行われる教師なし学習技法が使用されてもよい。行われたアクションの結果からシステムが学習すると見なされ得る(たとえば、入力値は既知であり、フィードバックはパフォーマンス測定値を提供する)強化学習モジュールが用いられてもよい。いくつかの構成では、実装される技法は、これらの方法のうちの2つ以上を用い得る。

上記で説明したように、ニューラルネットワーク技法は、ロボットおよびそれらの方向角を識別するように自動的に学習するためのトレーニングアルゴリズムを呼び出すためにモバイル清掃ロボットの様々なモデルの画像を使用して実装され得る。そのようなニューラルネットワークは通常、いくつかのレイヤを用いる。レイヤおよびレイヤごとのユニットの数が定義されると、ニューラルネットワークの重みおよびしきい値が通常、ネットワークのトレーニングを通じて予測誤差を最小化するように設定される。誤差を最小化するためのそのような技法は、トレーニングデータに(ネットワークによって表される)モデルを当てはめるものと見なされ得る。誤差を数量化する関数(たとえば、回帰技法において使用される2乗誤差関数)が定義され得る。誤差を最小化することによって、オブジェクト(たとえば、チェアまたはロボット)を識別することが可能である第1のニューラルネットワークが開発されてよく、オブジェクトの方向の角度を決定することが可能である第2のニューラルネットワークが開発されてよい。方向の角度を識別するように第2のニューラルネットワークをトレーニングするとき、方向角の誤差は循環的である(0°から360°の間の範囲にある値を有する)ので、ニューラルネットワークをトレーニングする際に(min(|Delta_error-360|,|360-Delta_error|)^2)などの循環的損失関数が使用され得る。ニューラルネットワーク開発中に他のファクターも考慮され得る。たとえば、モデルが、データを当てはめる(たとえば、関数全体のモデル化が劣化している範囲で曲線を当てはめる)ことをあまりにもきっちりと試みることがある。ニューラルネットワークのそのような過剰な当てはめがモデルトレーニング中に発生することがあり、その影響を低減するために1つまたは複数の技法が実装され得る。

トレーニング画像から計算されたデータから認識モジュールをトレーニングするための1つまたは複数の技法が実装され得る。たとえば、認識モジュールのニューラルネットワークは、計算されたデータからコスト関数を定義することによってトレーニングされ得る。一般に、コスト関数は、最適解と比較した解の測定値を提供するものと見なされ得る。教師あり学習を用いる機械学習の場合、コスト関数は、出力とターゲットとの間の(たとえば、誤差を最小化することによる)マッピングを支援すると考えられ得る。教師なし学習を実装して、コスト関数が(たとえば、データの関数として)定義され、出力値を提供するために最小化され得る。人工ニューラルネットワークのトレーニングに関与する技法が、コスト関数を伴う技法を用いることもある。たとえば、コスト関数は、出力値を決定するために関数のパラメータに関して処理される(たとえば、導関数を計算する)ことがある。コスト関数に、関数による過剰な当てはめを打ち消すための正規化成分が追加され得る。機械学習を支援するために、コスト関数は、導関数とともにコストを提供する。

通常、機械学習システム(たとえば、図2の認識モジュール206)を準備するために一連のトレーニングサイクルが実行される。トレーニングが完了すると、システムは、画像中のオブジェクト、およびオブジェクトの方向角を検出するために使用され得る。

複数の非線形変換から構成される、複雑な構造などを有する、モデルアーキテクチャを使用することによって、データにおける高度抽象化をモデル化することをアルゴリズムのセットが試みる深層機械学習が、認識モジュール206に利用され得る。そのような深層学習技法は、データの表現を学習することに基づくものと見なされ得る。深層学習技法は、特徴抽出および変換のために非線形処理ユニットの多くのレイヤのカスケードを使用するものと見なされ得る。次のレイヤは、以前のレイヤからの出力を入力として使用する。アルゴリズムは、教師あり、教師なし、教師ありと教師なしとの組合せであり得る。本技法は、複数のレベルの特徴またはデータの表現(たとえば、モバイル清掃ロボットの特徴)の学習に基づく。表現の教師ありまたは教師なし学習とともに、非線形処理ユニットの複数のレイヤが各レイヤにおいて用いられてよく、レイヤは、低レベルから高レベルの特徴の階層を形成する。そのようなレイヤを用いることによって、いくつかのパラメータ化された変換が、入力レイヤから出力レイヤにデータが伝搬するのに伴って使用される。

他の実施形態も、以下の特許請求の範囲内に入る。

10 ユーザ
94 モバイルコンピューティングデバイス
100 マルチロボットシステム
102 モバイル清掃ロボット
102a 第1のモバイル清掃ロボット
102b 第2のモバイル清掃ロボット
103 第2のモバイル清掃ロボット
104 制御モジュール、コントローラ
106 タスクスケジューラ
108 ストレージデバイス
110 永続マップ
112 ナビゲーションモジュール
114 カメラ
116 リモートコンピューティングデバイス
118 ストレージデバイス
120 永続マップ
122 永続マップ更新
124 マップマージモジュール
126 清掃ヘッド
200 マルチロボットシステム
202 モバイル清掃ロボット
202a 第1のモバイル清掃ロボット
202b 第2のモバイル清掃ロボット
206 認識モジュール
208 ニューラルネットワーク
210 学習モジュール
212 追加のセンサ
300 住宅、空間
302A ベッドルーム
302B ダイニングルーム
302C バスルーム
302D ホームオフィス
304A 戸口
304B 戸口
304C 戸口
306 ベッド
308 エンドテーブル
310 エンドテーブル
312 ダイニングテーブル
314 ダイニングチェア
316 浴槽
318 洗面台
320 トイレ
322 デスク
324 チェア
326 通信リンク
328A リンクされたデバイス
328B リンクされたデバイス
330 オーディオメディアデバイス
332 ドッキングステーション
334 送信ユニット
400 住宅
402 サーバコンピュータ
404 「クラウド」コンピューティングネットワーク
500 フロアランプ
502 ウォールアート
600 第1のソファー
602 第2のソファー
604 コーヒーテーブル
606 暖炉
608 棚
610 グランドピアノ
702 駆動ホイール
704 キャスターホイール
706 コントローラ
708 感知システム
710 画像キャプチャシステム、可視光カメラ
712 オーディオ放出システム
714 マイクロフォン
718 メモリ
720 回転可能ローラーまたはブラシ
802 温度センサ
804 周辺光センサ
806 空気中水分含量センサ
808 ガス組成、空気質センサ
810 ワイヤレス通信システム
812 取り外し可能屑箱
814 屑箱レベルセンサ
816 屑センサまたは汚物センサ
818 シャーシ
820 バッテリー
822 バッテリー充電器
824 電力モジュール
826 モータ
828 駆動システム
830 マッピング/ナビゲーションシステム
832 赤外線(IR)エミッタ
834 赤外放射検出器
836 動き検出器(たとえば、受動IRフォトダイオード)
838 超音波センサ
840 圧力センサ
842 慣性測定ユニット(IMU)
844 インジケータライト
846 マイクロプロセッサ
848 ワイヤレス通信送信機またはモジュール
850 関連アンテナ
852 機械的バンパースイッチセンサ
854 赤外線エミッタ/検出器近接性センサ
856 構造化光センサ
858 マウスセンサ
860 ホイールオドメータ
862 モードボタン
864a 被駆動推進部材
864b 被駆動推進部材
866 オペレーティングシステム
868 不揮発性ストレージデバイス
900 畳み込みニューラルネットワーク
1000 畳み込みニューラルネットワーク
1002 入力画像
1004 出力
1100 模様
1102 QRコード
1104 ビーコン
1202 QRコード
1204 火災検出器
1302 Wi-Fiヒートマップ
1402 カレンダー
1404 要求
1410 イベント
1500 プロセス
1600 プロセス
1700 プロセス
1800 プロセス
1900 プロセス
2000 プロセス
2302 マップ
2304 ユーザインターフェース
2306 カメラ
2308 拡張現実ツールキットまたはモジュール
2310 動きセンサ
2312 モバイルロボット管理プログラム
2314 データプロセッサ
2316 ストレージデバイス
2318 メニュー
2320 通知

Claims (28)

1. システムであって、前記システムは、
   第1のモバイル清掃ロボットを含み、
   前記第1のモバイル清掃ロボットは、
   環境の永続マップを記憶するためのローカルストレージデバイスと、
   前記環境を感知するための少なくとも1つのセンサと、
   制御モジュールと
   を含み、
   前記制御モジュールは、
   前記永続マップおよび前記少なくとも1つのセンサによって提供された感知データを使用して前記環境内でナビゲートするように前記第1のモバイル清掃ロボットを制御し、
   第2のモバイル清掃ロボットと協調して清掃タスクを実行するように構成され、前記第1のモバイル清掃ロボットは、清掃タスクの第1のセットを実行するように構成され、
   前記システムはさらに、
   前記第2のモバイル清掃ロボットは、前記環境内をナビゲートし、清掃タスクの第2のセットを実行するように構成されることを含み、
   前記第1のモバイル清掃ロボットおよび前記第2のモバイル清掃ロボットは、ナビゲーションのための前記永続マップを共有し、清掃タスクの前記第1のセットおよび清掃タスクの前記第2のセットを実行するときに互いに協調するように構成され、
   前記第1のモバイル清掃ロボットは真空掃除能力を有し、前記第2のモバイル清掃ロボットはモップがけ能力を有し、
   前記第1のモバイル清掃ロボットは、前記第1のモバイル清掃ロボットが汚物または汚れを検出したエリアを合図するように構成され、前記第2のモバイル清掃ロボットは、前記第1のモバイル清掃ロボットが前記汚物または前記汚れを検出した前記エリアにおいてフォーカス洗浄を実行するように構成される、
   システム。
2. 前記制御モジュールは、
   前記環境内の特徴のセットを識別するために前記環境を感知するように前記少なくとも1つのセンサを制御することと、
   前記永続マップを、前記永続マップ上にまだない前記少なくとも1つのセンサによって感知された前記特徴の表現を追加するために更新することと、
   前記更新された永続マップを前記第2のモバイル清掃ロボットと共有することと
   を行うように構成される、請求項1に記載のシステム。
3. 前記第1のモバイル清掃ロボットおよび前記第2のモバイル清掃ロボットは、
   複数の清掃セッションを実行し、各清掃セッションの開始前に、前記永続マップのバージョンまたは永続マップ更新のうちの少なくとも1つをリモートストレージデバイスから受信し、(i)前記受信された永続マップを前記ローカルストレージデバイスに記憶すること、または(ii)前記受信された永続マップ更新を使用して、ローカルに記憶された永続マップを更新することのうちの少なくとも1つを実行することと、
   各清掃セッション中に、前記永続マップ上で他のモバイル清掃ロボットを位置特定し、前記環境内の特徴を感知し、前記永続マップを、前記永続マップ上にまだない前記他のモバイル清掃ロボットによって感知された前記特徴の表現を追加するために更新し、前記更新された永続マップを前記リモートストレージデバイスに記憶することと
   を行うように構成される、請求項1または2に記載のシステム。
4. サーバコンピュータを含むシステムであって、
   前記サーバコンピュータは、
   環境の永続マップの複数のバージョンまたは前記環境に関する永続マップ更新の複数のバージョンのうちの少なくとも1つを記憶するように構成されたストレージデバイスと、
   1つまたは複数のデータプロセッサと
   を含み、
   前記1つまたは複数のデータプロセッサは、
   前記永続マップの前記複数のバージョンまたは前記永続マップ更新の前記複数のバージョンのうちの前記少なくとも1つを管理することと、
   前記永続マップまたは前記永続マップ更新へのアクセスを要求する第1のモバイル清掃ロボットからの要求を受信すると、前記永続マップまたは前記永続マップ更新の前記バージョンのうちの1つを前記第1のモバイル清掃ロボットに提供することと、
   前記永続マップまたは前記永続マップ更新へのアクセスを要求する第2のモバイル清掃ロボットからの要求を受信すると、前記永続マップまたは前記永続マップ更新の前記バージョンのうちの1つを前記第2のモバイル清掃ロボットに提供することと
   を実行するための命令を実行するように構成され、
   前記システムはさらに、
   前記第2のモバイル清掃ロボットは、前記環境内をナビゲートし、清掃タスクの第2のセットを実行するように構成されることを含み、
   前記第1のモバイル清掃ロボットおよび前記第2のモバイル清掃ロボットは、ナビゲーションのための前記永続マップを共有し、清掃タスクの第1のセットおよび清掃タスクの前記第2のセットを実行するときに互いに協調するように構成され、
   前記第1のモバイル清掃ロボットは真空掃除能力を有し、前記第2のモバイル清掃ロボットはモップがけ能力を有し、
   前記第1のモバイル清掃ロボットは、前記第1のモバイル清掃ロボットが汚物または汚れを検出したエリアを合図するように構成され、前記第2のモバイル清掃ロボットは、前記第1のモバイル清掃ロボットが前記汚物または前記汚れを検出した前記エリアにおいてフォーカス洗浄を実行するように構成される、
   システム。
5. 前記サーバコンピュータは、前記第1のモバイル清掃ロボットおよび前記第2のモバイル清掃ロボットからの前記要求を受信すると、前記永続マップまたは前記永続マップ更新の最新バージョンを前記第1のモバイル清掃ロボットおよび前記第2のモバイル清掃ロボットの各々に提供するように構成される、請求項4に記載のシステム。
6. 前記サーバコンピュータは、更新された永続マップまたは永続マップ更新を前記第1のモバイル清掃ロボットから受信し、前記第2のモバイル清掃ロボットからの前記要求を受信すると、更新された永続マップまたは永続マップ更新を前記第2のモバイル清掃ロボットに提供するように構成される、請求項4または5に記載のシステム。
7. 前記サーバコンピュータは、第1の更新された永続マップまたは第1の永続マップ更新を前記第1のモバイル清掃ロボットから受信し、第2の更新された永続マップまたは第2の永続マップ更新を前記第2のモバイル清掃ロボットから受信し、(i)前記第1の更新された永続マップまたは前記第1の永続マップ更新を(ii)前記第2の更新された永続マップまたは前記第2の永続マップ更新とマージして、前記永続マップまたは前記永続マップ更新の新バージョンを生成するように構成される、請求項4から6のいずれか一項に記載のシステム。
8. 前記第1のモバイル清掃ロボットおよび前記第2のモバイル清掃ロボットは、互いに直接通信して、清掃タスクの前記第1のセットおよび清掃タスクの前記第2のセットの実行を協調させる、請求項1に記載のシステム。
9. 中央サーバを含み、
   前記第1のモバイル清掃ロボットおよび前記第2のモバイル清掃ロボットの各々は、前記中央サーバと通信し、前記中央サーバは、清掃タスクの前記第1のセットおよび清掃タスクの前記第2のセットを実行する際に前記第1のモバイル清掃ロボットおよび前記第2のモバイル清掃ロボットを協調させる、請求項1または8に記載のシステム。
10. 前記第1のモバイル清掃ロボットは、前記環境の第1の部分を清掃する第1の清掃タスクを実行し、第1のロケーションにおいて前記第1の清掃タスクを終了させ、前記第2のモバイル清掃ロボットに前記第1のロケーションの座標を提供するように構成され、
    前記第2のモバイル清掃ロボットは、前記第1のロケーションの前記座標を受信すると、前記第1のロケーションから開始する第2の清掃タスクを実行するように構成され、前記第2の清掃タスクは、前記環境の第2の部分を清掃することを伴う、請求項1から9のいずれか一項に記載のシステム。
11. 前記第1のモバイル清掃ロボットおよび前記第2のモバイル清掃ロボットは、並行してそれぞれ第1の清掃タスクおよび第2の清掃タスクを実行するように構成され、前記第1の清掃タスクは、前記環境の第1の部分を清掃することを伴い、前記第2の清掃タスクは、前記環境の第2の部分を清掃することを伴う、請求項1から10のいずれか一項に記載のシステム。
12. 前記第1のモバイル清掃ロボットは、第1のタイプの清掃ヘッドを有し、前記第2のモバイル清掃ロボットは、第2のタイプの清掃ヘッドを有し、
    前記第1のモバイル清掃ロボットは、前記第1のタイプの清掃ヘッドを使用して前記環境内の第1の領域を清掃し、前記第1の領域が清掃されたことを示すメッセージを送信し、前記第1の領域を清掃した後に前記環境内の第2の領域を清掃するように構成され、
    前記第2のモバイル清掃ロボットは、前記第1の領域が清掃されたことを示すメッセージを受信した後、前記第1のモバイル清掃ロボットが前記第2の領域を清掃する間に前記第2のタイプの清掃ヘッドを使用して前記第1の領域を清掃するように構成される、請求項1から11のいずれか一項に記載のシステム。
13. サーバコンピュータを含み、
    前記サーバコンピュータは、
    前記永続マップの複数のバージョンまたは永続マップ更新の複数のバージョンを管理することであって、前記サーバコンピュータは、前記永続マップの前記複数のバージョンまたは永続マップ更新の前記複数のバージョンを記憶するためのストレージデバイスを備える、管理することと、
    前記永続マップまたは前記永続マップ更新へのアクセスを要求する前記第1のモバイル清掃ロボットからの要求を受信すると、前記永続マップまたは前記永続マップ更新の前記バージョンのうちの1つを前記第1のモバイル清掃ロボットに提供することと、
    前記永続マップまたは前記永続マップ更新へのアクセスを要求する前記第2のモバイル清掃ロボットからの要求を受信すると、前記永続マップまたは前記永続マップ更新の前記バージョンのうちの1つを前記第2のモバイル清掃ロボットに提供することと
    を行うように構成される、請求項1から12のいずれか一項に記載のシステム。
14. 前記サーバコンピュータは、前記第1のモバイル清掃ロボットからの前記要求を受信すると、前記永続マップまたは前記永続マップ更新の最新バージョンを前記第1のモバイル清掃ロボットに提供するように構成される、請求項13に記載のシステム。
15. 前記サーバコンピュータは、更新された永続マップまたは永続マップ更新を前記第1のモバイル清掃ロボットから受信し、前記第2のモバイル清掃ロボットからの前記要求を受信すると、更新された永続マップまたは永続マップ更新を前記第2のモバイル清掃ロボットに提供するように構成される、請求項13または14に記載のシステム。
16. 前記サーバコンピュータは、第1の更新された永続マップまたは第1の永続マップ更新を前記第1のモバイル清掃ロボットから受信し、第2の更新された永続マップまたは第2の永続マップ更新を前記第2のモバイル清掃ロボットから受信し、(i)前記第1の更新された永続マップまたは前記第1の永続マップ更新を(ii)前記第2の更新された永続マップまたは前記第2の永続マップ更新とマージして、永続マップまたは永続マップ更新の新バージョンを生成するように構成される、請求項13から15のいずれか一項に記載のシステム。
17. モバイル清掃ロボットのシステムであって、
    第1のモバイル清掃ロボットと、
    第2のモバイル清掃ロボットと
    を含み、
    前記第1のモバイル清掃ロボットは、
    少なくとも1つのセンサと、
    第1の制御モジュールと
    を含み、
    前記第1の制御モジュールは、
    環境のマップを生成または受信することと、
    前記マップを使用して前記環境内でナビゲートし、清掃タスクを実行するように前記第1のモバイル清掃ロボットを制御することと、
    前記環境内の特徴の第1のセットを識別するために前記環境を感知するように前記少なくとも1つのセンサを制御することと、
    前記マップを、前記マップ上にまだない前記少なくとも1つのセンサによって感知された特徴を追加するために更新することと、
    前記更新されたマップを1つまたは複数の他のモバイル清掃ロボットと共有することと
    を行うように構成され、
    前記第2のモバイル清掃ロボットは、
    少なくとも1つのセンサと、
    第2の制御モジュールと
    を含み、
    前記第2の制御モジュールは、
    前記第1のモバイル清掃ロボットによって共有される前記更新されたマップのコピーを受信することと、
    特徴の第2のセットを識別するために前記環境を感知するように前記少なくとも1つのセンサを制御することであって、特徴の前記第2のセットのうちのいくつかは、前記マップ上にすでにある特徴のうちのいくつかと重複する、制御することと、
    前記少なくとも1つのセンサによって感知された特徴の前記第2のセットにおける特徴のうちの少なくともいくつかに対応する前記マップ上の特徴を識別し、前記マップ上で識別された前記特徴に基づいて前記マップ上で前記第2のモバイル清掃ロボットを位置特定することと、
    前記マップを使用して前記環境内でナビゲートするように前記第2のモバイル清掃ロボットを制御することと、
    前記マップを、前記マップ上にまだない前記少なくとも1つのセンサによって感知された特徴を追加するために更新し、前記更新されたマップを前記第1のモバイル清掃ロボットと共有することと
    を行うように構成され、
    前記システムはさらに、
    前記第2のモバイル清掃ロボットは、前記環境内をナビゲートし、清掃タスクの第2のセットを実行するように構成されることを含み、
    前記第1のモバイル清掃ロボットおよび前記第2のモバイル清掃ロボットは、ナビゲーションのための永続マップを共有し、清掃タスクの前記第1のセットおよび清掃タスクの前記第2のセットを実行するときに互いに協調するように構成され、
    前記第1のモバイル清掃ロボットは真空掃除能力を有し、前記第2のモバイル清掃ロボットはモップがけ能力を有し、
    前記第1のモバイル清掃ロボットは、前記第1のモバイル清掃ロボットが汚物または汚れを検出したエリアを合図するように構成され、前記第2のモバイル清掃ロボットは、前記第1のモバイル清掃ロボットが前記汚物または前記汚れを検出した前記エリアにおいてフォーカス洗浄を実行するように構成される、
    システム。
18. 前記マップの1つまたは複数のバージョンを記憶するように構成されたリモートストレージデバイスを含み、
    前記第1のモバイル清掃ロボットは、前記第1のモバイル清掃ロボットが前記環境内でナビゲートする間に前記マップの少なくとも一部分のコピーをローカルに記憶するための第1のローカルストレージデバイスを含み、前記第1の制御モジュールは、前記更新されたマップを前記リモートストレージデバイスにアップロードすることによって、前記更新されたマップを共有するように構成される、請求項17に記載のシステム。
19. ユーザが前記第1のローカルストレージデバイスに記憶された前記マップを、更新されたマップを生成するために前記マップに締め出しゾーンを追加するように構成することを可能にするためのユーザインターフェースを含み、
    前記第1のモバイル清掃ロボットは、前記更新されたマップを前記リモートストレージデバイスにアップロードするように構成され、前記第2のモバイル清掃ロボットは、前記更新されたマップを前記リモートストレージデバイスからダウンロードするように構成され、前記第2のモバイル清掃ロボットは、前記締め出しゾーンを考慮して清掃タスクを実行するように構成される、請求項18に記載のシステム。
20. 前記マップの第1の部分によって表される前記環境の第1の部分が、前記第1のモバイル清掃ロボットによって到達可能であるが、前記第2のモバイル清掃ロボットによって到達可能ではないように、前記第1のモバイル清掃ロボットおよび前記第2のモバイル清掃ロボットは、異なる能力を有する、請求項17から19のいずれか一項に記載のシステム。
21. 前記少なくとも1つのセンサは、少なくとも1つのカメラを含み、特徴の前記第1のセットは、前記少なくとも1つのカメラによって感知された視覚的ランドマークのセットを含む、請求項17から20のいずれか一項に記載のシステム。
22. ユーザが前記マップを構成および変更することを可能にするためのユーザインターフェースを提供するように構成されたコンピュータを含む、請求項17から21のいずれか一項に記載のシステム。
23. 前記ユーザインターフェースは、前記ユーザが前記環境内の複数の部屋の各々をラベル設定することを可能にするように構成され、各部屋の同じラベルが前記第1のモバイル清掃ロボットおよび前記第2のモバイル清掃ロボットによって共有される、請求項22に記載のシステム。
24. 前記ユーザインターフェースは、(i)特定の部屋を清掃するように前記モバイル清掃ロボットのうちの1つに命令すること、または(ii)並行して特定の部屋を清掃するように前記第1のモバイル清掃ロボットと前記第2のモバイル清掃ロボットの両方に命令することのうちの少なくとも1つを前記ユーザが実行することを可能にするように構成される、請求項23に記載のシステム。
25. 前記ユーザインターフェースは、前記環境内の複数の部屋の各々の(i)境界を識別すること、または(ii)境界を変更することのうちの少なくとも1つを前記ユーザが実行することを可能にするように構成される、請求項22から24のいずれか一項に記載のシステム。
26. 第1のモバイル清掃ロボットのローカルストレージデバイスに、環境の永続マップを記憶するステップと、
    前記第1のモバイル清掃ロボットの少なくとも1つのセンサを使用して、前記環境を感知し、感知データを生成するステップと、
    前記第1のモバイル清掃ロボットの1つまたは複数のデータプロセッサを使用して、前記永続マップおよび前記感知データを使用して前記環境内でナビゲートするステップと、
    前記永続マップを第2のモバイル清掃ロボットと共有するステップと、
    前記第2のモバイル清掃ロボットと協調して清掃タスクを実行するステップと
    を含む方法であって、
    前記方法はさらに、
    前記第2のモバイル清掃ロボットは、前記環境内をナビゲートし、清掃タスクの第2のセットを実行するように構成されることを含み、
    前記第1のモバイル清掃ロボットおよび前記第2のモバイル清掃ロボットは、ナビゲーションのための前記永続マップを共有し、清掃タスクの第1のセットおよび清掃タスクの前記第2のセットを実行するときに互いに協調するように構成され、
    前記第1のモバイル清掃ロボットは真空掃除能力を有し、前記第2のモバイル清掃ロボットはモップがけ能力を有し、
    前記第1のモバイル清掃ロボットは、前記第1のモバイル清掃ロボットが汚物または汚れを検出したエリアを合図するように構成され、前記第2のモバイル清掃ロボットは、前記第1のモバイル清掃ロボットが前記汚物または前記汚れを検出した前記エリアにおいてフォーカス洗浄を実行するように構成される、
    方法。
27. 前記少なくとも1つのセンサを使用して、前記環境内の特徴のセットを識別するために前記環境を感知するステップと、
    前記永続マップを、前記永続マップ上にまだない前記少なくとも1つのセンサによって感知された前記特徴の表現を追加するために更新するステップと、
    前記更新された永続マップを前記第2のモバイル清掃ロボットと共有するステップと
    を含む、請求項26に記載の方法。
28. 前記第1のモバイル清掃ロボットおよび前記第2のモバイル清掃ロボットを使用して、複数の清掃セッションを実行し、各清掃セッションの開始前に、前記永続マップのバージョンまたは永続マップ更新のうちの少なくとも1つをリモートストレージデバイスから受信し、(i)前記受信された永続マップを前記ローカルストレージデバイスに記憶すること、または(ii)前記受信された永続マップ更新を使用して、ローカルに記憶された永続マップを更新することのうちの少なくとも1つを実行するステップと、
    各清掃セッション中に、前記永続マップ上で他のモバイル清掃ロボットを位置特定し、前記環境内の特徴を感知し、前記永続マップを、前記永続マップ上にまだない前記他のモバイル清掃ロボットによって感知された前記特徴の表現を追加するために更新し、前記更新された永続マップを前記リモートストレージデバイスに記憶するステップと
    を含む、請求項26または27に記載の方法。

Images