JP2023554250A - クラッターをクリアするロボットシステム - Google Patents

Abstract

【要約】ロボットは、操作されて、カメラを使用して環境をナビゲートし、物体のタイプ、サイズ、及び位置をマッピングする。システムは、物体のタイプ、サイズ、及び位置を決定し、特定のコンテナに関連付けるために物体を分類する。対応するコンテナを有する物体のカテゴリごとに、ロボットは、そのカテゴリでピックアップする特定の物体を選択し、パスプランニングを実行してカテゴリの物体にナビゲートし、物体を整理又はピックアップする。作動したプッシャーアームは、他の物体を邪魔にならないように移動させ、ターゲット物体をフロントバケットへ操作して搬送する。

Description

本出願は、クラッターをクリアする方法及びロボットシステムに関する。

本出願は、２０２０年１１月３０日に出願された「ＣＬＵＴＴＥＲ－ＣＬＥＡＲＩＮＧ ＲＯＢＯＴＩＣ ＳＹＳＴＥＭ」と題する米国特許出願番号６３／１１９，５３３号に対し、３５ＵＳＣ１１９（ｅ）に基づく優先権及び利益を主張し、その内容は、参照によりその全体が本出願に組み込まれる。さらに本出願は、２０２１年１０月８日に出願された「Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｒｏｂｏｔｉｃ Ｉｎｔｅｒｆａｃｅ」と題する米国特許出願番号６３／２５３，８６７号に対し、３５ＵＳＣ１１９（ｅ）に基づく優先権及び利益を主張し、その内容は、参照によりその全体が本出願に組み込まれる。

足の下にある物体は、迷惑なだけでなく、安全上の危険を生じる。毎年数千人が自宅で転倒して負傷している。フロアが緩い物体でクラッター（ｃｌｕｔｔｅｒ，散らかり）になっていることは、危険を表している可能性があるが、多くの人は、自宅のクラッターの状態に対処する時間が限られている。自動清掃ロボット又はデクラッターロボットが、効果的な解決策になる可能性がある。

初歩的な検索機能を備えた完全自律型のデクラッターロボットは、あらゆる部屋のフロアにある物体をピックアップする作業に適している可能性があるが、ユーザは、ロボットの行動と、自分の家に固有の特定の物体の分類と行先とを、一層微妙に制御する能力を求めている可能性がある。さらに、タスクが妨げられた場合や、ロボットのプログラミングでは考慮されていない状況パラメータが発生した場合に、ロボットは、ユーザと明確に通信する必要がある可能性がある。しかし、ほとんどのユーザは、ロボット工学及び人工知能の分野の専門家ではない可能性がある。

そのため、ユーザが深いプログラミング知識に依存せず、直感的かつ強力な方法でデクラッターロボットと相互作用する方法が必要とされる。特定のデクラッター（ｄｅｃｌｕｔｔｅｒｉｎｇ，片付け）のニーズに基づいてロボットを訓練すること、事前に設定されたルーチン以外のアクションを実行するようロボットに指示すること、及び、ロボットが割り当てられたタスクを続行又は完了するために支援が必要な場合に、指示を受け取ることを、この相互作用プロセスがユーザに可能にすることがあり得る。

本開示は、環境の中の物体に対する複数の物体カテゴリのそれぞれを、環境の中に配置された対応するコンテナに関連付けることと、
ベースステーションでロボットを起動することと、
カメラを使用してロボットを環境の周囲でナビゲートし、物体のタイプ、サイズ、及び位置をマッピングすることとを含む方法を提供し、
方法は、各物体カテゴリについて、
カテゴリの中でピックアップする物体のうちの１つ以上を選択するステップと、
ロボットの現在位置からピックアップする物体のうちの１つ以上への、パスプランニングを実行するステップと、
ピックアップする物体のうちの１つ以上の隣接ポイントへナビゲートするステップと、
ロボットの前端にあるバケットの前部で開閉するように結合されたマニピュレータを作動させて、障害物を邪魔にならないように移動させ、バケットへ１つ以上の物体を操作するステップと、
バケットの中に物体を保持するように、バケットを傾ける又は持ち上げることと、マニピュレータを作動させることとの、一方又は両方を行うステップと、
カテゴリについて、対応するコンテナへ隣接するロボットをナビゲートするステップと、
ロボットの後端を対応するコンテナの側面に位置合わせするステップと、
バケットをロボットの上に後端に向けて持ち上げ、対応するコンテナの中に物体を堆積させるステップとを備えている。

特定の要素又は行為の議論を簡単に識別するために、参照番号の最上位の数字は、その要素が最初に導入された図形番号を参照する。

一実施形態によるロボットシステム１００を示す。 一実施形態によるロボット２００の上面図を示し、バケットは下の位置にあり、アクチュエータアーム（マニピュレータ）は開いた構成である。 一実施形態によるロボット２００の斜視図を示し、バケットは下の位置にあり、マニピュレータは開いた構成である。 一実施形態によるロボット２００の正面図を示し、バケットは下の位置にあり、マニピュレータは開いた構成である。 一実施形態によるロボット２００の側面図を示し、バケットは下の位置にあり、マニピュレータは開いた構成である。 一実施形態によるロボット２００の上面図を示し、バケットは上（持ち上げ）の位置にあり、マニピュレータは開いた構成である。 一実施形態によるロボット２００の斜視図を示し、バケットは上（持ち上げ）の位置にあり、マニピュレータは開いた構成である。 一実施形態によるロボット２００の正面図を示し、バケットは上（持ち上げ）の位置にあり、マニピュレータは開いた構成である。 一実施形態によるロボット２００の側面図を示し、バケットは上（持ち上げ）の位置にあり、マニピュレータは開いた構成である。 一実施形態によるロボット２００の上面図を示し、バケットは下の位置にあり、マニピュレータは閉じた構成である。 一実施形態によるロボット２００の斜視図を示し、バケットは下の位置にあり、マニピュレータは閉じた構成である。 一実施形態によるロボット２００の正面図を示し、バケットは下の位置にあり、マニピュレータは閉じた構成である。 一実施形態によるロボット２００の側面図を示し、バケットは下の位置にあり、マニピュレータは閉じた構成である。 一実施形態による主題の一態様を示す。 別の実施形態でのロボット４００の正面図である。 斜視図でのロボット４００を示す。 側面図でのロボット４００を示す。 マニピュレータを上向きにしたロボット４００を示す。 さらに別の実施形態によるロボット５００を示す。 さらに別の実施形態によるロボット６００を示す。 さらに別の実施形態によるロボット６００を示す。 さらに別の実施形態によるロボット６００を示す。 さらに別の実施形態によるロボット６００を示す。 一実施形態によるロボット７００の態様を示す。 一実施形態によるロボット７００の態様を示す。 一実施形態によるロボット７００の態様を示す。 一実施形態によるロボット７００の態様を示す。 一実施形態によるロボット７００の下がったバケット位置及び下がったグラバー位置８００ａを示す。 一実施形態によるロボット７００の下がったバケット位置及び上がったグラバー位置８００ｂを示す。 一実施形態によるロボット７００の上がったバケット位置及び上がったグラバー位置８００ｃを示す。 別の実施形態によるロボット９００を示す。 一実施形態によるロボットプロセス１０００を示す。 一実施形態による別のロボットプロセス１１００を示す。 一実施形態によるロボットシステムの状態空間マップ１２００を示す。 スリープモードのロボットシステムの例を示す。 探索モードのロボットシステムの例を示す。 探索モードのロボットシステムの例を示す。 ピックアップモードのロボットシステムの例を示す。 ピックアップモードのロボットシステムの例を示す。 ピックアップモードのロボットシステムの例を示す。 ピックアップモードのロボットシステムの例を示す。 ピックアップモードのロボットシステムの例を示す。 ピックアップモードのロボットシステムの例を示す。 ドロップオフモードのロボットシステムの例を示す。 ドロップオフモードのロボットシステムの例を示す。 一実施形態によるロボットシステムのロボット制御アルゴリズム１７００を示す。 一実施形態によるロボットシステムのロボット制御アルゴリズム１８００を示す。 一実施形態によるロボットシステムのロボット制御アルゴリズム１９００を示す。 一実施形態によるロボット制御アルゴリズム２０００を示す。 一実施形態によるロボット制御アルゴリズム２１００を示す。 一実施形態によるデクラッターロボット環境２２００を示す。 一実施形態による拡張現実ロボットインターフェース２３００を示す。 一実施形態による拡張現実ロボットインターフェース２３００を示す。 一実施形態による拡張現実ロボットインターフェース２３００を示す。 一実施形態による拡張現実ロボットインターフェース２３００を示す。 一実施形態による拡張現実ロボットインターフェース２３００を示す。 本明細書に記載されるシステムのコンポーネントとプロセスステップとを実施するためのロボット制御システム２４００の実施形態を示す。

ロボットシステムの実施形態が開示される。これは、ロボットを操作して、カメラを使用して環境をナビゲートし、玩具、衣料品、障害物、及びその他の物体のタイプ、サイズ、及び位置をマッピングする。ロボットは、左右のステレオカメラからの画像に基づいて、物体のタイプ、サイズ、及び位置を決定するためのニューラルネットワークを備えている。対応するコンテナを有する物体のカテゴリごとに、ロボットはそのカテゴリの中でピックアップする特定の物体を選択し、パスプランニングを実行して、ターゲット物体に隣接及び対面しているポイントにナビゲートする。作動したプッシャーアームは他の物体を邪魔にならないように移動させ、搬送されようとするターゲット物体をフロントバケットに押し込む。フロントバケットはわずかに上に傾き、任意には、ロボットがプランニングされた経路の次の場所へ自らをナビゲートする間、作動したプッシャーアームが前方で閉じて物体を所定の位置に保持することができる。このプロセスが繰り返され、同じカテゴリの追加の物体がピックアップされる。バケットが満杯になると、ロボットは追加のパスプランニングを実行し、そのカテゴリのコンテナに隣接するように自らを駆動する。その後、ロボットはコンテナへ自らをナビゲートし、コンテナの側面に位置合わせし、バケットを持ち上げてターゲット物体をコンテナの端から上に持ち上げる。

ロボットシステムは、表面に残ったアイテムが、定期的なスケジュールで自動的にコンテナに収容される、表面の自動整理に利用されてよい。１つの具体的な実施形態では、子供が遊び終わった後に、玩具、及び／又はその他のアイテムが、異なるタイプの物体に固有のコンテナに自動的に返却される子供の遊び領域（例えば、家庭、学校、ビジネスなどで）を、自動的に整頓するために、このシステムは利用されてよい。他の具体的な実施形態では、このシステムは、フロアから衣料品を自動的にピックアップして洗濯用の洗濯かごに整理するために利用される場合や、フロアからゴミを自動的にピックアップして、例えばタイプ別（プラスチック、段ボール、ガラス）にゴミ箱やリサイクル箱に入れるために利用されてよい。一般に、このシステムは、表面から多種多様な物体を効率的にピックアップするために展開され、新しいタイプの物体をピックアップすることを学習してよい。

いくつかの実施形態では、システムは、ロボットアームを含んでよく、上昇した物体に到達してつかみ、それらを下方にバケットへ移動させる。いくつかの実施形態では、メインロボットをカウンタートップ、テーブル、又はその他の高い表面に持ち上げ、フロアに復帰させるためにコンパニオン「ポータブルエレベータ」ロボットを利用してよい。いくつかの実施形態では、コンテナ、棚、又はその他の高い場所や上方の場所にアイテムを落下させる場合に、バケットの高さを変更するために、上下の垂直リフト（例：シザーリフト）を利用してよい。

別の変形例では、ロボット（シザーリフトやテレスコーピングリフトなど）に組み込まれた上下の垂直リフトを利用し、これは、カウンタートップやテーブルから物体をピックアップするために、バケットとアクチュエータアームとの両方をカウンタートップ又はテーブルの高さまで持ち上げる。

いくつかの実施形態では、次のコンポーネントの１つ以上を利用してよい。
・物体をバケットへ押圧するアームでのアクチュエータの左右回転ブラシ。
・物体をつかんでバケットへ移動させる作動グリッパー。
・上から物体をバケットへ押圧するフラップ付き回転ホイール。
・フロントバケットを空中に持ち上げる１つのサーボと、前方にダンプしてコンテナにダンプする別の１つのサーボ。
・バケットを持ち上げ、高さを増すにつれて徐々に後方にダンプするシザーリフトの変形例。
・ロボットがアイテムを傾斜路上に押し上げるだけで、傾斜路の上部で、重力を伴ってアイテムをコンテナにダンプするようにした、ヒンジでのコンテナとフロントバケットとの傾斜路。
・追加の搬送能力のためのロボットでの格納ビン。ターゲット物体は、フロントバケットを使用する代わりに、傾斜路を上って格納ビンに押し込まれる。格納ビンは、ダンプトラックのように上に後に傾いて、アイテムをビンに落下させる。

ロボットシステムの実施形態が開示される。これは、アプリケーションとしてユーザに提示される拡張現実ロボットインターフェースと連携して、デクラッターロボットを操作する。デクラッターロボットは、カメラを使用して環境をナビゲートし、玩具、衣料品、障害物、及びその他の物体のタイプ、サイズ、及び位置をマッピングしてよい。ロボットは、左右のステレオカメラからの画像など、感知システムからの入力に基づいて、物体のタイプ、サイズ、及び位置を決定するニューラルネットワークを備えてよい。ロボットは、ピックアップする特定の物体を選択し、パスプランニングを実行し、ターゲット物体に隣接及び対面しているポイントにナビゲートしてよい。作動したグラバーパッドアームは、他の物体を邪魔にならないように移動させてよく、グラバーパッドを操作して、搬送されようとするターゲット物体をバケットの上へ移動させてよい。ロボットが堆積先などのプランニングされた経路の次の位置へナビゲートしている間、物体を所定の位置に維持するために、バケットがわずかに上に傾き、グラバーパッドが前方に閉じてよい。

いくつかの実施形態では、システムは、ロボットアームを含んでよく、上昇した物体に到達してつかみ、それらを下方にバケットへ移動させる。いくつかの実施形態では、メインロボットをカウンタートップ、テーブル、又はその他の高い表面に持ち上げ、フロアに復帰させるためにコンパニオン「ポータブルエレベータ」ロボットを利用してよい。いくつかの実施形態では、コンテナ、棚、又はその他の高い場所や上方の場所にアイテムを落下させるときに、バケットの高さを変更するために、上下の垂直リフト（例：シザーリフト）を利用してよい。

いくつかの実施形態では、次のコンポーネントの１つ以上を利用してよい。
・物体をバケットへ押圧するアームでのアクチュエータの左右回転ブラシ。
・物体をつかんでバケットへ移動させる作動グリッパー。
・上から物体をバケットへ押圧するフラップ付き回転ホイール。
・フロントバケットを空中に持ち上げる１つのサーボと、前方にダンプしてコンテナにダンプする別の１つのサーボ。
・バケットを持ち上げ、高さを増すにつれて徐々に後方にダンプするシザーリフトの変形例。
・ロボットがアイテムを傾斜路上に押し上げるだけで、傾斜路の上部で、重力を伴ってアイテムをコンテナにダンプするようにした、ヒンジでのコンテナとフロントバケットとの傾斜路。
・追加の搬送能力のためのロボットでの格納ビン。ターゲット物体は、フロントバケットを使用する代わりに、傾斜路を上って格納ビンに押し込まれる。格納ビンは、ダンプトラックのように上に後に傾いて、アイテムをビンに落下させる。

表面に残ったアイテムが定期的なスケジュールで自動的にコンテナに収容される、表面の自動整理に、ロボットシステムは利用されてよい。１つの具体的な実施形態では、本システムを利用して、子供が遊び終わった後に、異なるタイプの物体に固有のコンテナに、玩具やその他のアイテムが自動的に返却される子供の遊び領域（例えば、家庭、学校、ビジネスなどで）を自動的に整頓することができる。他の具体的な実施形態では、本システムを利用して、フロアから衣料品を自動的にピックアップし、洗濯のために洗濯かごに整理したり、フロアからゴミを自動的にピックアップし、例えばタイプごとに（プラスチック、段ボール、ガラス）ゴミ箱やリサイクル箱に入れたりしてよい。一般に、本システムは、表面から多種多様な異なる物体を効率的にピックアップするために展開されてよく、新しいタイプの物体をピックアップすることを学習してよい。

開示された解決策は、拡張現実を使用して、下記の情報をユーザと通信するために、デクラッターロボットと相互作用する方法である。
・ピックアップされる各物体のカテゴリ／タイプ、
・どのように物体を、タイプ別にビン又はその他の場所に整理するか、
・何の物体が次にピックアップされるか、
・ロボットが動かせない問題のある物（例えば、大きすぎる、重い、乱雑である、危険である、割れ物であるなど）、
・ロボットの経路を遮っている障害物。

デクラッターロボットは、カメラ、ＬＩＤＡＲ、その他のセンサの組み合わせを使用して、環境のグローバルエリアマップを維持し、その中で自らをローカライズさせてよい。さらに、デクラッターロボットは、物体検出と物体分類とを実行し、各物体の視覚的な再識別指紋を生成してよい。

ロボットは、各物体に対する相対的な距離と角度とを決定してよい。その後、距離と角度とを使用して、グローバルエリアマップでの物体をローカライズしてよい。その後、グローバルエリアマップは、物体情報とともに無線でアプリケーションに伝送されてよい。アプリケーションは、ユーザのモバイルデバイス、ロボットに搭載されたディスプレイ、又は便利なディスプレイとユーザ入力を受け入れる機能とを提供するその他のデバイスにインストールされてよい。

カメラフレームは、モバイルデバイスのカメラを使用してキャプチャーされてよい。その後、拡張現実ロボットインターフェースアプリケーションは、物体検出と物体分類とを実行し、各物体の視覚的な再識別指紋を生成してよい。さらに、地上面がカメラフレームの中に検出されてよい。その後、スマートフォンは、地上面、物体タイプ、及び再識別指紋の組み合わせを使用して、グローバルエリアマップの上でローカライズされてよい。物体は、タイプ、位置、及び再識別指紋を使用して再識別されてよい。

その後、物体タイプと、ユーザに支援を求めるユーザインジケータとを示す情報が、カメラフレームの上部にオーバーレイされてよい。ユーザがタスクを行って支援した場合に（例えば、障害物を動かし、又は、大きな物を片付ける）、ユーザに感謝を伝えてよい。また、ユーザは物体をクリックしてよく、物体のタイプを変更したり、次に何をピックアップするかを変更したりするなどの指示をロボットに与えてよい。

開示されたアルゴリズムは、スマートフォン又はタブレットなどのスマートデバイス又はモバイルデバイスに、アプリケーションとして展開される拡張現実の従来の使用を改善し、テクノロジーの一般のユーザにも消費者ロボティクスと相互作用する簡単なアプローチを提供する。開示されたアルゴリズムを使用すると、モバイルデバイスとデクラッターロボットとをデクラッター領域の中の別々のステーションに配置することが可能にされ、その環境の中の各デバイスの場所と方向に関係なく、その領域で検出された同じ物体に関して相互に通信することが可能にされる。一実施形態では、拡張現実ロボットインターフェースは、コンピュータ又はラップトップデバイス、テレビに接続されたゲームコンソール、又はその他の電子システムに、アプリケーションとして展開されてよい。この電子システムは、ユーザに視覚情報を提示し、ユーザの入力を受け入れ、以下に説明するようなデクラッターロボットに無線接続することができる。

開示された解決策は、環境の中の物体に対するデクラッターロボットの理解を視覚化する方法を提供する。環境は、スマートフォンなどのモバイルデバイスを使用し、その後、モバイルデバイスアプリケーション（開示された拡張現実ロボットインターフェース）をインターフェースとして使用し、ロボットが支援を要求することを可能にし、ユーザがロボットに片付け方法を指示することを可能にする。

ロボットに指示するためにコンピュータコーディングの高度なバックグラウンドを必要とするのではなく、消費者市場部門のユーザは、検出された物体をどのように整理して片付けたいかについて、容易にデクラッターロボットに指示することが可能である。また、デクラッターロボットは、問題のある物体（つまり、大きすぎる、ピックアップするには難しい、割れ物であるなどの物体）を片付けるのをどのように支援するかなど、ユーザがどのように最も良好に整理を支援できるかについて、ユーザに明確に指示してよい。デクラッターロボットと、モバイルデバイスを有するユーザとが、デクラッター領域に関して有する可能性がある、異なった視点と観点とを検出及び考慮することに加えて、開示された解決策は、この差異を利用してよい。例えば、デクラッターロボットは、家具やその他の障害物によってユーザの視界から隠された物体の位置を見るのに役立つことができる。

開示されたインターフェースは、どの物体がデクラッターロボットによってピックアップされるか、各物体について検出されたタイプ又はカテゴリ、及びどの利用可能なビンにその物体が整理されるかを、ユーザに視覚的に示してよい。ロボットが選択したデフォルトとは異なるビンに、物体を配置することができるように、ユーザは、物体カテゴリが変更できてよい。大きすぎる物体、乱雑な物体、割れ物である物体、危険をもたらす物体、自力では解決できない方法でロボットの経路を遮っている物体など、ロボットが問題を発見した物体を整理するために、ロボットは、開示されたアルゴリズムを使用して、ユーザに支援を要求してよい。次にどの物体をピックアップするか、またどの物体をスキップするかをユーザが選択することを、拡張現実ロボットインターフェースは可能にしてよい。

ロボットとアプリケーションとの間でデクラッター領域のグローバルエリアマップを無線で同期させ、グローバルエリアマップの中の物体を再識別するための新しいアルゴリズムと、グローバルエリアマップの中のモバイルデバイスのカメラをローカライズするためのアルゴリズムとが、開示された拡張現実ロボットインターフェースに組み込まれている。拡張現実ロボットインターフェースは、デクラッター領域のフロアから物体を整理することに焦点を当てているため、デクラッターロボットが使用するグローバルエリアマップ又はそのグローバルエリアマップは、２次元マップであってよい。拡張現実では、地上面と物体の開始位置とが、物体カテゴリと再識別指紋とともに検出されてよい。この情報は、グローバルエリアマップの上でモバイルデバイスをローカライズするのに使用されてよい。

一実施形態では、拡張現実ロボットインターフェースを使用して、整理作業をゲーム化してよい。アプリケーションは、例えば、ユーザが片付ける物体とロボットが片付ける物体を表示し、どの１つが最初に物体を整理するかを確認するコンテストにしてよい。１つの実施形態では、拡張現実ロボットインターフェースを使用してよく、デクラッターロボットに特定のアイテムを取ってきて、それを片付けるか、ユーザのところに持ってくるように依頼してよい。例えば、デクラッターロボットは、ユーザにテレビのリモコンを持っていくように依頼されてよい。一実施形態では、拡張現実ロボットインターフェースは、デクラッターロボットがない場合に、ユーザが自宅内の物を整理するのを支援するために使用されてよい。

一実施形態では、拡張現実ロボットインターフェースは、デクラッターロボット自体に展開されてよく、別個のモバイルデバイスの必要性を排除してよい。ロボットにはスピーカーが組み込まれ、オーディオメッセージやアラートを提供して、物体のカテゴリ、意図されたピックアップ順序、問題のある物体などの情報を伝達してよい。さらにデクラッターロボットは、マイクと音声認識機能とを備えてよく、ユーザからの音声コマンドを受け入れてよい。一実施形態では、デクラッターロボットは、タッチスクリーンで構成されてよく、これは、グローバルエリアマップと物体とを表示し、ユーザの入力を受け入れてよい。デクラッターロボットには、ピックアップした物のタイプに応じて色を変える視覚的なインジケータが含まれてよい。ロボットには、色付きレーザなどのポインティング機能が含まれることがあり、オーディオメッセージとともに特定の物体を示してよい。

一実施形態では、モバイルデバイスは、デクラッター領域をマッピングし、その情報をデクラッターロボットに伝送することが可能であってよい。このようにして、モバイルデバイスは、ロボットがまだ探索していない領域で環境のグローバルエリアマップを更新してよい。拡張現実ロボットインターフェースは、１つの実施形態では、モバイルデバイスのカメラフレームに基づくビューにデクラッター領域と物体をマッピングし、別の実施形態では、トップダウン２次元ビューでグローバルエリアマップを表示してよい。別の実施形態では、マップはロボットの地上の視点から表示され、ユーザは家具の下にある物体や、モバイルデバイスのカメラフレームから遮られている物体を見ることが可能にされる。

図１は、一実施形態でのロボットシステム１００を示す。ロボットシステム１００は、１つ以上のセンサ１０２と１つ以上のカメラ１０４とからの入力を受容し、これらの入力をローカライズロジック１０６と、マッピングロジック１０８と、知覚ロジック１１０とでの処理に供給する。処理ロジックの出力は、ロボットシステム１００のパスプランナー１１２と、ピックアッププランナー１１４と、モーションコントローラ１１６とに供給され、モーションコントローラ１１６は、システムのモータ及びサーボコントローラ１１８とを駆動する。

ローカライズロジック１０６と、マッピングロジック１０８と、知覚ロジック１１０とのうちの１つ以上は、モバイルロボットに配置及び／又は実行されてよく、又は、携帯電話、ラップトップコンピュータ、タブレットコンピュータ、又はデスクトップコンピュータなど、ロボットと無線通信するコンピューティングデバイスで実行されてよい。いくつかの実施形態では、ローカライズロジック１０６と、マッピングロジック１０８と、知覚ロジック１１０とのうちの１つ以上が、「クラウド」、即ちインターネット又は他のネットワークを介してロボットに結合されたコンピュータシステムの中で、配置及び／又は実行されてよい。

知覚ロジック１１０は、画像セグメンテーション起動１４４の信号によって作動し、カメラ１０４の視野内の物体を検出するために、任意の１つ以上の周知の画像セグメンテーション及び物体認識アルゴリズムを利用する。さらに、知覚ロジック１１０は、マッピングの目的でキャリブレーション及び物体１２０の信号を供給してよい。ローカライズロジック１０６は、その環境で移動ロボットをローカライズするために、任意の１つ以上の周知のアルゴリズムを使用する。ローカライズロジック１０６は、ローカルからグローバルへの変換１２２の参照フレーム変換を出力し、マッピングロジック１０８は、これをキャリブレーション及び物体１２０の信号と組み合わせて、ピックアッププランナー１１４のための環境マップ１２４を生成し、パスプランナー１１２のための物体トラッキング１２６の信号を生成する。

マッピングロジック１０８からの物体トラッキング１２６の信号に加えて、パスプランナー１１２はさらに、システム状態設定１３０からのシステムの現在の状態１２８と、ピックアッププランナー１１４からの同期信号１３２と、モーションコントローラ１１６からの移動フィードバック１３４とを利用する。パスプランナー１１２は、これらの入力を、モーションコントローラ１１６を駆動するナビゲーション経由地点１３６に変換する。ピックアッププランナー１１４は、知覚ロジック１１０からの画像セグメンテーション１３８の入力を有するローカル知覚と、マッピングロジック１０８からの環境マップ１２４と、パスプランナー１１２からの同期信号１３２とを、モーションコントローラ１１６への操作アクション１４０（例えば、ロボット捕捉装置、バケットの）に変換する。パスプランナー１１２とピックアッププランナー１１４とによって利用されるアルゴリズムの実施形態について、以下にさらに詳細に説明する。

一実施形態では、同時位置特定及びマッピング（ＳＬＡＭ）アルゴリズムを利用して、グローバルマップを生成し、同時にマップでのロボットをローカライズしてよい。多くのＳＬＡＭアルゴリズムがこの分野で知られ、商業的に利用可能である。

モーションコントローラ１１６は、ナビゲーション経由地点１３６と、操作アクション１４０と、画像セグメンテーションを伴うローカル知覚１３８の信号とを、モータ及びサーボコントローラ１１８へのターゲット移動１４２の信号に変換する。

図２Ａないし図２Ｌは、リフトバケットとアクチュエータアームとのさまざまな構成のロボット２００を示す。ロボット２００は、ここに開示されたアルゴリズムに従って動作するように構成されてよい。ロボット２００は、表面と緊密にシールするフロントバケット（バケット２０２）を利用してよく、プッシャーアーム（マニピュレータアクチュエータアーム２０４）は、表面の上のアイテムを押圧し、それらを搬送するためにバケット２０２の上にアイテムを推進する（ｕｒｇｅ）ことができる。（「バケット」及び「ショベル」という用語は、ここではロボットの物体収納容器を指すために、交換可能に使用される。）例えば、これにより、ロボットはレゴ（登録商標）又はビー玉などのいくつかの小さなアイテムを、落とさずに同時にピックアップすることが可能である。

ロボット２００は、機械学習／ニューラルネットワークソフトウェアアーキテクチャー（例えば、半教師付き又は教師付き畳み込みニューラルネットワーク）とともにステレオカメラ２０６を利用して、環境マップでのさまざまな物体のタイプ、サイズ、及び位置を効率的に分類してよい。ロボット２００は、前方と後方とを向く両方のカメラ２０６を利用して、前方と後方の両方にスキャンしてよい。バケット２０２は、単一の作動アーム（バケットアクチュエータアーム２０８）の上で上に後に回転して、単一のサーボ／モータでバケット２０２をフロアからわずかに持ち上げて物体を搬送し、同じサーボ／モータを使用してバケット２０２をコンテナの上部から持ち上げてダンプできるようにしてよい。この方法では、（例えば）椅子又はソファの下にあるアイテムをピックアップするためにロボット２００の高さを低く抑えているが、さらに背の高いコンテナにアイテムを持ち上げてダンプすることができる。

マニピュレータアクチュエータアーム２０４は、ブラシ毛がわずかな角度（表面に対して）に設定されたマニピュレータブラシ２１０を含み、これにより、平坦な物体（例えば、平らなレゴ（登録商標）シート又はパズルピース）の下にアクセスし、それらをピックアップバケット２０２の上にタンブル／ロールさせてよい。さらに、角度のあるマニピュレータブラシ２１０の使用は、ゴムボール又は玩具などの高摩擦物体の取り込みを容易にすることができる。マニピュレータアクチュエータアーム２０４で物体の下にわずかにはいり込みながら水平方向の圧力を与えることは、ジャミングを防ぎながら物をピックアップするのに役立つ。

ある実施形態では、ロボット２００をその環境の周りに動かすために２つのモータが使用され、左右のマニピュレータアクチュエータアーム２０４で２つのサーボが利用され、１つのサーボは、コンテナにアイテムをダンプするためにバケット２０２を上に後に持ち上げるために利用される。一層少ないモータ／サーボを使用することは、コストを削減し、重量を削減し、ロボット２００の信頼性を向上させる。サーボ付きバケット２０２を使用することで、バケット２０２をわずかに上に後に傾けることができ、地面から持ち上がるようになる。これにより、落下させずに、障害物を避けたり、段差を越えたりしながら、複数のアイテムを同時に搬送することができる。マニピュレータアクチュエータアーム２０４は、ロボット２００の前方にくさび形の「Ｖ」字形を形成し、割り鋤（ｓｐｌｉｔ－ｐｌｏｗ）のように、アイテムが駆動中に左右に押されながら走行する散らかった環境／クラッターした環境の中をナビゲートできるようにする。これにより、ロボット２００は、立ち往生することなく、散らかった環境／クラッターした環境の中を走行することができ、アイテムが車輪やその他の駆動機構に巻き付けられる可能性のあるロボット２００の下にはいることを防ぐ。さらに、これにより不要な物体がバケット２０２に乗り上げることを防止する（乗り上げさせる）。

ロボット２００は、マニピュレータのアクチュエータアーム２０４を使用して環境をナビゲートし、任意のアイテムをバケット２０２の中へピックアップしようとする前に、フロアにあるアイテムを山のように整理してよい。これは、カテゴリ別にアイテムを整理するために、使用可能なフロアの空間を利用する。ピックアップのためにターゲット物体をバケット２０２に押し付けることができるだけでなく、フロアの上に山のようにアイテムを整理することができるという点で、マニピュレータアクチュエータアーム２０４は多目的ツールである。

いくつかの実施形態では、ロボット２００が可能な限り迅速に、無差別的に物体をピックアップし、単一のコンテナに入れるか、壁に当てる「高速クリーンアップモード」であってよい。このモードでは、ロボット２００は、整理、経由地点のパスプランニング、収容（ｂｉｎｎｉｎｇ）など、後述する多くのアクションと状態とをバイパスしてよい。

コンテナ（他の図に示されている）は、環境の中に配置されてよく、同時にマシン可読であり、人間可読であるカテゴリを有する標識で構成されている。コンテナの標識を置き換えると、コンテナに整理される物体のタイプを変更する。これにより、ロボット２００は人間と一緒に作業して、散らかった部屋／クラッターした部屋を掃除するのに役立つ。また、整理のための物体のカテゴリの変更も容易になる。

バケット２０２は、独特の形状（ここでは、フロアに平らに配置されたバケット２０２に関連して説明されている）を含んでよく、独特の形状は、（図３で、）小さな物体を押し付けることができるようにフロアに対して緊密なシール３０２を維持することを（両方とも）可能にし、バケット２０２は、隣接する凸部３０４と凹部３０６とを含んでよく、バケット２０２内に物体が保持され、丸い物体がロールアウトしないようにする。凹部３０６は、反転したときに、スライド、及び漏斗として機能するように形成された延長された背面３０８（湾曲してよい）に移行する。さらに、延長された背面３０８は、ロボット２００の全体的な高さを低くするために、ロボット２００の背面に向かって（バケット２０２から離れて）角度を付けてよい。

バケット２０２は、ロボットが後方に走行するときに、前に傾けて不要なものをダンプすることを可能にするヒンジ機構を利用してよい。これは、バケット２０２を上に後に持ち上げることを可能にするのと同じサーボによって駆動されてよい。この機構を利用して、誤ってピックアップされた場合にフロアに落下して復帰させてよい。マニピュレータアクチュエータアーム２０４上の収集部材（例：マニピュレータブラシ２１０）は、圧縮性フォームパッドを利用してよい。圧縮性フォームパッドは、両方のマニピュレータアクチュエータアーム２０４が協働することを可能にし、ロボット２００の前方に物体をつかみ保持するようにする。これは、例えば、物体のカテゴリをクラスタに整理したり、経路をクリアしたりするために、特定の物体を操作する有用な方法を提供する。例えば、ターゲット物体をピックアップする前に、クラッターの少ない領域へ移動したり、フロアでの類似したアイテムのある山へ、物体を移動したりすることができる。

ユーザは、例えば、携帯電話のアプリケーションを介して、以前に学習していない物体タイプを整理するために、物体のカスタムカテゴリを構成してよい。例えば、ユーザは、携帯電話のアプリケーションを使用してカスタム標識を作成し、その標識を持つコンテナに整理したいカスタム物体の写真を撮影して、この構成を実行してよい。

ロボット２００は、特定の実施形態では、以下のコンポーネントの一部又は全部を備えてよい。
・３Ｄプリント（又は射出成形）されたプラスチック製のロボットシャーシ。
・ロボットの車輪を駆動する２つのブラシレス遊星歯車ＤＣモータ。
・左右のプッシャーアームを動かす２つの小さなサーボ。
・バケットを上に後に持ち上げる１つの中程度のサーボ。
・３Ｄプリント（又は射出成形）されたプッシャーアーム用マウントを伴うブラシストリップ。
・３Ｄプリント（又は射出成形）されたフロントバケット。
・マウント、ボールベアリング、金属シャフト、及びカップリングコネクタを伴う２つの前輪。
・ロボットが自由にターンできるように回転可能な２つの背面キャスターホイール。
・視覚的データを収集する４つのＲＧＢデジタルカメラ。
・暗い部屋でロボットに光を与えるために使われるＬＥＤライト。
・機械学習アルゴリズムを実行するためにＧＰＵが組み込まれたマイクロコントローラ（例：Ｊｅｔｓｏｎ Ｎａｎｏ（登録商標））。
・ロボットに給電する２４Ｖリチウムイオンバッテリ。
・バッテリ充電器回路を含み、センサの電力管理ができ、慣性測定ユニットを含む、カスタム回路基板。
・３Ｄプリント（又は射出成形）されたマウントとボールベアリングとを含み、サーボで持ち上げられて、フロントバケットを上に後に持ち上げることができる、硬質金属ビーム。
・ロボットの前面に取り付けられ、階段や落下の可能性を検出する赤外線センサ。

ロボットのシャーシは、モータ、サーボ、バッテリ、マイクロコントローラなどのコンポーネントのマウントを含む。

図４Ａないし図４Ｃは、カメラ４０２と、リフトアクチュエータアーム４０４と、収集部材４０６と、バケット４０８と、リニアアクチュエータ４１０とを備えている、代替の実施形態のロボット４００の様々な図を示す。ロボット４００は、本出願に開示されたアルゴリズムに従って動作するように構成されてよい。

図５は、さらに別の実施形態によるロボット５００を示し、これは、バケット５０２と、カメラ５０４と、マニピュレータアクチュエータアーム５０６と、収集部材５０８と、バケットアクチュエータアーム５１０とを備えている。ロボット５００は、ここに開示されたアルゴリズムに従って動作するように構成されてよい。

図６Ａないし図６Ｄは、さらに別の実施形態によるロボット６００を示す。ロボット６００は、バケット６０２と、カメラ６０４と、マニピュレータアクチュエータアーム６０６と、収集部材６０８と、バケットアクチュエータアーム６１０と、マニピュレータリフトアーム６１２とを備えている。ロボット６００は、ここに開示されたアルゴリズムに従って動作するように構成されてよい。

図７Ａないし図７Ｄは、一実施形態によるロボット７００の追加的な態様を示す。図７Ａはロボット７００の側面図を示し、図７Ｂは上面図を示す。ロボット７００は、シャーシ７０２と、モビリティシステム７０４と、感知システム７０６と、制御システム７０８と、捕捉及び封じ込めシステム７１０とを備えてよい。さらに、捕捉及び封じ込めシステム７１０は、バケット７１２と、バケットリフトアーム７１４と、バケットリフトアーム枢軸点７１６と、２つのマニピュレータ部材７１８と、２つのマニピュレータアーム７２０と、２つのアーム枢軸点７２２とを含んでよい。図７Ｃ及び図７Ｄは、シャーシ７０２の側面図及び上面図をそれぞれ示し、これに、制御システム７０８に対しての、感知システム７０６、モビリティシステム７０４、及び通信７２４のコンポーネントの一般的な接続性が伴う。さらに感知システム７０６は、フロントカメラ７２６及びリアカメラ７２８のようなカメラと、フロントＬＩＤＡＲセンサ７３０及びリアＬＩＤＡＲセンサ７３２のような光検出及び測距（ＬＩＤＡＲ）センサと、ＩＭＵセンサ７３４のような慣性測定ユニット（ＩＭＵ）センサとを含んでよい。いくつかの実施形態では、フロントカメラ７２６は、フロント右カメラ７３６とフロント左カメラ７３８とを含んでよい。いくつかの実施形態では、リアカメラ７２８は、リア左カメラ７４０（７４２）とリア右カメラ７４２（７４０）とを含んでよい。

シャーシ７０２は、ロボット７００の他のコンポーネントを支持及び収容してよい。モビリティシステム７０４は、当技術分野でよく理解されるように、図示した車輪だけでなく、キャタピラ軌道、コンベヤベルトなどを含んでよい。さらに、モビリティシステム７０４は、ロボット７００を目的の経路に沿って推進させるためのモータ、サーボ、又は回転又は運動エネルギー源を含んでよい。モビリティシステムのコンポーネントは、捕捉及び封じ込めシステム７１０が必要とする移動範囲を妨げたり阻害したりすることなく、デクラッターロボット全体を移動させる目的で、シャーシ７０２に取り付けてよい。シャーシ７０２、バケット７１２、マニピュレータ部材７１８及びマニピュレータアーム７２０の相互に対しての少なくともいくつかの構成では、カメラ、ＬＩＤＡＲセンサ、又はその他のコンポーネントなどの感知システム７０６の要素は、環境の周囲に明確な視線をロボット７００に与える位置でシャーシ７０２に取り付けてよい。

シャーシ７０２は、制御システム７０８を収容及び保護してよい。制御システム７０８は、いくつかの実施形態では、プロセッサと、メモリと、モビリティシステム７０４、感知システム７０６、捕捉及び封じ込めシステム７１０、及び通信７２４への接続部とを含む。シャーシ７０２は、ロボット工学の技術でよく理解されるように、バッテリ、無線通信デバイスなどの他の電子コンポーネントを収容してよい。これらのコンポーネントは、図２４に関してさらに詳細に説明されるロボット制御システム２４００として機能してよい。

捕捉及び封じ込めシステム７１０は、バケット７１２と、バケットリフトアーム７１４と、バケットリフトアーム枢軸点７１６と、マニピュレータ部材７１８と、マニピュレータアーム７２０と、マニピュレータ枢軸点７４４と、アーム枢軸点７２２とを含んでよい。バケット７１２の形状と、バケット７１２に対するマニピュレータ部材７１８及びマニピュレータアーム７２０の配置とは、物体を安全に搬送することができる封じ込め領域を記述してよい。バケットリフトアーム枢軸点７１６、マニピュレータ枢軸点７４４、及びアーム枢軸点７２２のサーボが使用されてよく、バケット７１２、マニピュレータ部材７１８、及びマニピュレータアーム７２０の配置を、完全に下げられたバケット及びグラバー位置と、上げられたバケット及びグラバー位置との間で調整してよい。

いくつかの実施形態では、グリップ面は、持ち上げられる物体に向かって内側を向いているマニピュレータ部材７１８の側面に構成してよい。これらのグリップ面は、クッション、グリット、弾力性、又はマニピュレータ部材７１８と捕捉及び収納される物体との間の摩擦を増加させる、他の何らかの特徴を提供してよい。いくつかの実施形態では、マニピュレータ部材７１８は、掃引毛で構成してよい。これらの掃引毛は、小さな物体をフロアからバケット７１２の上へ移動させるのを助けることができる。いくつかの実施形態では、掃引毛はマニピュレータ部材７１８から下方向及び内側方向に角度付けられ、マニピュレータ部材７１８がバケット７１２に向かって物体を掃引した場合に、掃引毛は傾斜を形成し、最前部の毛が物体の下にスライドすることを可能にし、物体をマニピュレータ部材７１８に向かって上方に向ける。これにより、バケットの中の物体の捕捉を容易にし、物体がフロアに押しつけられる傾向を減少させ、摩擦を増加させて移動を一層困難にする。

ゴム製の物体は、貼り付いてジャミングを生じる傾向があるため、典型的には、弾性の低い物体と比較してピックアップするのが困難である。前向きの毛は、この摩擦を減らすことで、このような弾性のある物体が回転し、ジャミングを生じないようにすることが意図されている。別の実施形態では、グリップ面にＰＴＦＥ（ポリテトラフルオロエチレン）などの低摩擦材料を利用してよい。

図８Ａないし図８Ｃは、図７Ａないし図７Ｄに関連して導入されたようなロボット７００を示し、そのために、バケットと同じシャーシとの接触点で、グラバーパッドのアームをサーボによって制御してよい。ロボット７００は、下がったバケット位置及び下がったグラバー位置８００ａ，下がったバケット位置及び上がったグラバー位置８００ｂ，及び上がったバケット位置及び上がったグラバー位置８００ｃに配置されて見えてよい。このロボット７００は、ここに開示されているアルゴリズムを実行するように構成してよい。

図９は、別の実施形態によるロボット９００を示し、これは、バケット９０２と、バケットアクチュエータアーム９１０と、カメラ９０４と、収集部材９０８用のマニピュレータアクチュエータアーム９０６とを備えている。マニピュレータアクチュエータアーム９０６は、バケット９０２から延び、バケット９０２に取り付けられている。

図１０は、一実施形態でのロボットプロセス１０００を示す。ブロック１００２では、ロボットプロセス１０００は、ベースステーションで眠っているロボットを起こす。ブロック１００４では、ロボットプロセス１０００は、カメラを使用してロボットを環境の周囲でナビゲートさせ、玩具、衣料品、障害物、及びその他の物体のタイプ、サイズ、及び位置をマッピングする。ブロック１００６では、ロボットプロセス１０００は、ニューラルネットワークを操作し、左右のステレオカメラからの画像に基づいて、物体のタイプ、サイズ、及び位置を決定する。開ループブロック１００８では、ロボットプロセス１０００は、対応するコンテナに伴い、物体の各カテゴリに対して実行する。ブロック１０１０では、ロボットプロセス１０００は、カテゴリの中でピックアップする特定の物体を選択する。ブロック１０１２では、ロボットプロセス１０００は、パスプランニングを実行する。ブロック１０１４では、ロボットプロセス１０００は、ターゲット物体に隣接してターゲット物体に対面しながらナビゲートする。ブロック１０１６では、ロボットプロセス１０００は、アームを作動させて、他の物体が邪魔にならないように移動させ、ターゲット物体をフロントバケットへ押圧する。ブロック１０１８では、ロボットプロセス１０００は、フロントバケットを上に傾けて、物体をバケットに保持する（バケットの「ボウル」構成を作成する）。ブロック１０２０では、ロボットプロセス１０００は、アームを作動させて前で閉じ、ロボットが次の位置へナビゲートする間、車輪の下から物体を遠ざける。ブロック１０２２では、ロボットプロセス１０００は、収集のために現在の物体カテゴリのコンテナに隣接して、パスプランニングとナビゲートとを実行する。ブロック１０２４では、ロボットプロセス１０００は、ロボットをコンテナの側面に位置合わせする。ブロック１０２６では、ロボットプロセス１０００は、バケットを上に後に持ち上げて、コンテナの側面上にターゲット物体を持ち上げる。ブロック１０２８では、ロボットプロセス１０００は、ロボットをベースステーションに復帰させる。

あまり洗練されていない動作モードでは、ロボットは、最初に環境のグローバルマップを作成せずに、視野内の物体を日和見的にピックアップし、コンテナに落下させてよい。例えば、ロボットは、ピックアップする物体が見つかるまで単純に探索し、一致するコンテナが見つかるまで再び探索してよい。このアプローチは、探索する領域が限られている単一ルーム環境で効果的に機能する可能性がある。

図１１はさらに、一実施形態でのロボットプロセス１１００を示す。ロボットプロセス１１００の例示的な例は、図１２に示されているように、ロボットシステムが状態空間マップ１２００の実施形態にわたってシーケンスする、図１３ないし図１６Ｂにグラフィカルなシーケンスとして示されている。

シーケンスは、ロボットがスリープ（スリープ状態１２０２）し、ベースステーション（図１３及びブロック１１０２）で充電することから始まる。ロボットは、例えばスケジュールに従って起動され、探索モード（環境探索状態１２０４、起動アクション１２０６、スケジュール開始時刻１２０８、図１４Ａ及び図１４Ｂ）にはいる。環境探索状態１２０４では、ロボットは、カメラ（及びその他のセンサ）を使用して環境をスキャンし、環境マップを更新し、マップでの自らの位置をローカライズする（ブロック１１０４、１２１０で構成された間隔での探索）。ロボットは、環境探索状態１２０４からスリープ状態１２０２に復帰することができるが、それには１２１２でピックアップする物体がなくなっているか、１２１４でバッテリが低下していることが条件となる。

環境探索状態１２０４から、ロボットは物体整理状態１２１６に移行することができるが、この状態では、１２１８でロボットが動作してフロアでのアイテムを移動させ、カテゴリごとに整理する。１２２０でフロアで物体が接近しすぎていると決定したロボットにより、又は、１２２２で１つ以上の物体へのパスが妨害されていると決定したロボットにより、この移行はトリガーされてよい。これらのトリガー条件のいずれも満たされない場合に、１２２６で環境マップが、物体のカテゴリに対して少なくとも１つのドロップオフコンテナを含む条件下では、ロボットは、環境探索状態１２０４から物体ピックアップ状態１２２４に直接移行してよい。１２２８でコンテナのカテゴリの中に、ピックアップのための妨害されていないアイテムがある。同様に、ロボットは、これらの後者の条件下で、物体整理状態１２１６から物体ピックアップ状態１２２４に移行してよい。ロボットは、１２３０でピックアップの準備ができた物体がない条件下では、物体整理状態１２１６から環境探索状態１２０４に復帰して移行してよい。

環境探索状態１２０４及び／又は物体整理状態１２１６では、カメラからの画像データを処理して異なる物体を識別する（ブロック１１０６）。ロボットは、ピックアップする特定の物体タイプ／カテゴリを選択し、次にナビゲートする経由地点を決定し、環境のマップ（ブロック１１０８、ブロック１１１０、ブロック１１１２）に基づいて、ピックアップするターゲット物体とタイプの位置とを決定する。

物体ピックアップ状態１２２４では、ロボットはターゲット物体に隣接するゴール位置を選択する（ブロック１１１４）。ロボットはパスプランニングアルゴリズムを使用して、障害物（図１５Ａ）を回避しながら、その新しい位置へ自らをナビゲートする。ロボットは、左右のプッシャーアームを作動させて、ターゲット物体が貫通してフィットするのに十分な大きさの開口を作成するが、ロボットが前方に駆動されるときに他の不要な物体が収集されるほどの大きさではない（ブロック１１１６）。ロボットは、ターゲット物体が左右のプッシャーアームの間に来るように前方に駆動され、左右のプッシャーアームが連携してターゲット物体を収集バケットへ押圧する（図１５Ｂ、図１５Ｃ及びブロック１１１８）。

ロボットは、環境のマップに基づいて、ピックアップしようとする選択したタイプの他のターゲット物体を特定するために、物体ピックアップ状態１２２４で続行してよい。他のこのような物体が検出された場合に、ロボットはターゲット物体に隣接する新しいゴール位置を選択する。パスプランニングアルゴリズムを使用して、以前に収集されたターゲット物体を搬送しながら、障害物（図１５Ｄ）を回避しながら新しい位置へ自らをナビゲートする。ロボットは、左右のプッシャーアームを作動させて、ターゲット物体が貫通してフィットするのに十分な大きさの開口を作成するが、ロボットが前方に駆動されるときに他の不要な物体が収集されるほどの大きさではない。ロボットは、次のターゲット物体が左右のプッシャーアーム（図１５Ｅ）の間に来るように前方に駆動される。ここでも、左右のプッシャーアームが連携して、ターゲット物体を収集バケット（図１５Ｆ）へ押圧する。

１２３２でカテゴリの中の識別された全ての物体がピックアップされる条件下で、又は、１２３４でバケットが容量一杯である（ａｔ ｃａｐａｃｉｔｙ）場合に、ロボットは、１２３６で物体ドロップオフ状態に移行し、環境のマップを使用して、収集された物体のタイプに対してビンに隣接するゴール位置を選択し、パスプランニングアルゴリズムを使用して、障害物を回避しながら新しい位置へ自らをナビゲートする（ブロック１１２０）。ロボットはビンに向かって上に後退し、ロボットの背面をビンの背面に合わせるドッキング位置になる（図１６Ａとブロック１１２２）。ロボットは、上に後にバケットを持ち上げ、ロボットの背面にある剛体アームの上で回転する（ブロック１１２４）。これにより、ターゲット物体がビンの上部よりも上に持ち上げられ、ビンの中にダンプされる（図１６Ｂ）。

物体ドロップオフ状態１２３６から、ロボットは環境探索状態１２０４に復帰して移行することができるが、１２３８でピックアップするアイテムがさらに多いか、１２４０で環境の不完全なマップを持っていることが条件である。ロボットは探索を再開し、関連する収集ビンを有する環境の中の他のタイプの物体ごとにプロセスを繰り返してよい（ブロック１１２６）。

これに代えて、ロボットは、１２１２でピックアップする物体がなくなっているか、１２１４でバッテリが低下しているという条件で、物体ドロップオフ状態１２３６からスリープ状態１２０２に移行してよい。バッテリが十分に充電された場合に、又は次の起動又はスケジュールされたピックアップ間隔で、ロボットは探索を再開し、関連する収集ビンを持つ環境の中の他のタイプの物体ごとにプロセスを繰り返してよい（ブロック１１２６）。

図１７は、一実施形態でのロボットシステムのロボット制御アルゴリズム１７００を示す。ロボット制御アルゴリズム１７００は、整理するべき物体の１つ以上のカテゴリを選択することから始まる（ブロック１７０２）。選択されたカテゴリ（複数可）の中で、ターゲットカテゴリと経路の開始位置とを決定するグループ化が識別される（ブロック１７０４）。カテゴリ（複数可）の中の物体グループ化を識別するために、多くの周知のクラスタリングアルゴリズムの任意のものを使用してよい。

開始ゴール位置への経路が形成され、その経路は０個以上の経由地点を含む（ブロック１７０６）。移動フィードバックは、パスプランニングアルゴリズムに返される。経由地点は、静的及び／又は動的（移動）障害物（ターゲットグループ及び／又はカテゴリの中にない物体）を回避するために選択されてよい。ロボットのモーションコントローラ（ｍｏｖｅｍｅｎｔ ｃｏｎｔｒｏｌｌｅｒ）は、ターゲットグループへの経由地点に続くことに関与する（ブロック１７０８）。安全に整理可能であるか否かを決定するための追加の品質（ｑｕａｌｉｆｉｃａｔｉｏｎｓ）を含んで、ターゲットグループは、ゴール位置を達成した時点で評価される（ブロック１７１０）。

ロボットのマニピュレータ（例えばアーム）と位置決めシステム（例えば車輪）とが、グループを整理するために（ブロック１７１４）、生成された一連の起動を決定するのに、ロボットの知覚システムは、画像セグメンテーションを提供する（ｐｅｒｆｏｒｍ，実行する）（ブロック１７１２）ことに関与される。起動のシーケンスは、ターゲットグループが整理されるまで、又は整理に失敗が生じるまで、繰り返される（失敗により、ブロック１７１０への回帰が引き起こされる）。知覚システムの関与は、ターゲットグループへの近接によってトリガーされてよい。ターゲットグループが整理され、ロボットに十分なバッテリ寿命が残っていて、整理するグループが一層多くカテゴリ（複数可）の中にある条件下で、これらのアクションが繰り返される（ブロック１７１６）。

バッテリ寿命が短くなると、ロボットはドッキングステーションに逆にナビゲートして充電する（ブロック１７１８）。ただし、十分なバッテリ寿命があり、カテゴリ（複数可）が整理されている条件下で、ロボットは物体ピックアップモードにはいり（ブロック１７２０）、整理されたグループのいずれかをピックアップして、ドロップオフコンテナに返却する。さらに、ピックアップモードにはいることは、ターゲット物体の少なくとも１つのドロップオフコンテナを含む環境マップと、ピックアップのためのターゲットグループの中に障害物のない物体が存在することとに、条件づけられてよい。ピックアップの準備ができた物体のグループがない条件下では、ロボットは環境を探索し続ける（ブロック１７２２）。

図１８は、一実施形態でのロボットシステムのロボット制御アルゴリズム１８００を示す。ロボット制御アルゴリズム１８００は、整理するべき物体の１つ以上のカテゴリを選択することから始まる（ブロック１８０２）。選択されたカテゴリ（複数可）の中で、ターゲットカテゴリと経路の開始位置とを決定するグループ化が識別される（ブロック１８０４）。カテゴリ（複数可）の中の物体グループ化を識別するために、多くの周知のクラスタリングアルゴリズムの任意のものを使用してよい。

開始ゴール位置への経路が形成され、その経路は０個以上の経由地点を含む（ブロック１８０６）。移動フィードバックは、パスプランニングアルゴリズムに返される。経由地点は、静的及び／又は動的（移動）障害物（ターゲットグループ及び／又はカテゴリの中にない物体）を回避するために選択されてよい。ロボットのモーションコントローラは、ターゲットグループへの経由地点に続くことに関与する（ブロック１８０８）。安全に整理可能であるか否かを決定するための追加の品質を含んで、ターゲットグループは、ゴール位置を達成した時点で評価される（ブロック１８１０）。

ロボットのマニピュレータ（例えばアーム）と位置決めシステム（例えば車輪）とが、グループを整理するために（ブロック１８１４）、生成された一連の起動を決定するのに、ロボットの知覚システムは、画像セグメンテーションを提供する（ブロック１８１２）ことに関与される。起動のシーケンスは、ターゲットグループが整理されるまで、又は整理に失敗が生じるまで、繰り返される（失敗により、ブロック１８１０への回帰が引き起こされる）。知覚システムの関与は、ターゲットグループへの近接によってトリガーされてよい。ターゲットグループが整理され、ロボットに十分なバッテリ寿命が残っていて、グループが一層多く、整理するカテゴリ（複数可）の中にある条件下で、これらのアクションが繰り返される（ブロック１８１６）。

バッテリ寿命が短くなると、ロボットはドッキングステーションに逆にナビゲートして充電する（ブロック１８１８）。ただし、十分なバッテリ寿命があり、カテゴリ（複数可）が整理されている条件下で、ロボットは物体ピックアップモードにはいり（ブロック１８２０）、整理されたグループのいずれかをピックアップして、ドロップオフコンテナに返却する。さらに、ピックアップモードにはいることは、ターゲット物体の少なくとも１つのドロップオフコンテナを含む環境マップと、ピックアップのためのターゲットグループの中に障害物のない物体が存在することとに、条件づけられてよい。ピックアップの準備ができた物体のグループがない条件下では、ロボットは環境を探索し続ける（ブロック１８２２）。

図１９は、一実施形態でのロボットシステムのロボット制御アルゴリズム１９００を示す。選択された物体カテゴリの中のターゲット物体が識別され（アイテム、即ちブロック１９０２）、ロボットのゴール位置は、ターゲット物体の隣接位置として決定される（ブロック１９０４）。ターゲット物体への経路は、一連の経由地点として決定され（ブロック１９０６）、ロボットは、障害物を避けながら経路に沿ってナビゲートされる（ブロック１９０８）。

隣接する場所に到達すると、ターゲット物体の評価が行われ、安全に操作することができるか否かが決定される（ブロック１９１０）。ターゲット物体を安全に操作できる条件下で、例えばバケットなどのロボットのマニピュレータアームを使用して物体を持ち上げるようにロボットを操作する（ブロック１９１２）。ロボットの知覚モジュールをこの時点で利用してよく、ターゲット物体と近くの物体とを分析し、操作をさらによく制御してよい（ブロック１９１４）。

ターゲット物体は、一度バケット又は他のマニピュレータアームの上になったら、固定される（ブロック１９１６）。ロボットが、さらに多くの物体のための容量を有さない、又は、選択したカテゴリ（複数可）の最後の物体である条件下で、物体ドロップオフモードが開始される（ブロック１９１８）。そうでない場合に、ロボットはプロセスを再び開始してよい（ブロック１９０２）。

図２０は、一実施形態によるロボット制御アルゴリズム２０００を示す。ブロック２００２では、図７Ａないし図７Ｄに関して説明されているようなデクラッターロボットの左カメラと右カメラ、又はロボットカメラの他の構成は、デクラッター領域の中にスケール不変のキーポイントを生成するために使用可能である入力を供給してよい。

本開示における「スケール不変のキーポイント」又は「視覚的なキーポイント」は、異なる領域から撮影された写真など、異なる視点にわたって維持が可能な特徴的な視覚的特徴を指す。これは、デクラッター領域でキャプチャーされた画像の中の一態様であってよく、元のキャプチャーとは異なる角度、異なるスケールで、又は異なる解像度を使用して撮影された他の画像で、この特徴又は物体がキャプチャーされた場合に、領域の特徴又は領域の中の物体を識別するために使用されてよい。

ロボットのカメラ又はモバイルデバイスのカメラで撮影された画像に基づいて、スケール不変のキーポイントは、デクラッターロボット、又はモバイルデバイスにインストールされた拡張現実ロボットインターフェースによって検出されてよい。モバイルデバイスでのデクラッターロボット又は拡張現実ロボットインターフェースが、一致するコンテンツを表示するカメラフレーム間の幾何学的変換を決定するのに、スケール不変のキーポイントは役立つことができる。これは、デクラッター領域の中のロボット又はモバイルデバイスの位置の推定を、確認又は微調整するのに役立つことができる。

スケール不変特徴変換（ＳＩＦＴ），Ｓｐｅｅｄｅｄ－Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ（ＳＵＲＦ），Ｏｒｉｅｎｔｅｄ Ｒｏｂｕｓｔ Ｂｉｎａｒｙ ｆｅａｔｕｒｅｓ（ＯＲＢ），及びＳｕｐｅｒＰｏｉｎｔなどの、当技術分野でよく理解されているアルゴリズムを使用して（ただしそれに限定はされない）、スケール不変のキーポイントを検出、変換、及び照合してよい。

デクラッター領域に位置する物体は、左カメラと右カメラとからの入力に基づいてブロック２００４で検出することができ、これにより物体の開始位置を規定し、物体をカテゴリに分類する。ブロック２００６で、物体について再識別指紋を生成することができ、そこでは、再識別指紋を使用して、この物体に対しての、将来検出された物体の視覚的類似性を決定する。将来検出された物体は、同じ物体であってよく、グローバルエリアマップの更新又は変換の一部として再検出されてよく、又は将来、同様に位置する類似物体であってよい。ここで、再識別指紋を使用して、物体を一層迅速に分類するのに役立ててよい。

ブロック２００８で、デクラッターロボットは、デクラッター領域の中にローカライズされてよい。デクラッターロボット位置を決定するために、左カメラと、右カメラと、光検出及び測距（ＬＩＤＡＲ）センサと、慣性測定ユニット（ＩＭＵ）センサとのうちの少なくとも１つからの入力を使用してよい。デクラッター領域をマッピングして、スケール不変のキーポイント、物体、及び物体の開始位置を含むグローバルエリアマップを作成してよい。デクラッター領域の中の物体は、開始位置と、カテゴリと、再識別指紋とのうちの少なくとも１つに基づいて、ブロック２０１０で再識別してよい。各物体には、ブロック２０１２で永続的な一意の識別子を割り当ててよい。

ブロック２０１４で、デクラッターロボットは、ユーザが操作するモバイルデバイスにアプリケーションとしてインストールされた拡張現実ロボットインターフェースからカメラフレームを受容してよく、カメラフレームに基づいて、カメラフレームからグローバルエリアマップへの変換を使用して、開始位置とスケール不変のキーポイントとを伴って、グローバルエリアマップを更新してよい。特定の幾何学的変換を使用して、モバイルカメラフレームで検出されたものと一致するスケール不変のキーポイントのセットを見つけるために、カメラフレームからグローバルエリアマップへの変換は、グローバルエリアマップが検索されてよい。この変換では、幾何学的一貫性を維持しながら、一致するキーポイントの数を最大化し、一致しないキーポイントの数を最小化してよい。

ブロック２０１６で、物体のユーザインジケータが生成されてよく、ユーザインジケータは、次のターゲット、ターゲットの順序、危険である、大きすぎる、割れ物である（ｂｒｅａｋａｂｌｅ，壊れやすい）、乱雑である、及び移動経路への遮断のものを含んでよい。グローバルエリアマップと物体の詳細とは、ブロック２０１８でモバイルデバイスに伝送されてよく、物体の詳細は、物体の視覚的スナップショット、カテゴリ、開始位置、永続的な一意の識別子、及びユーザインジケータのうちの少なくとも１つを含んでよい。この情報は、図７Ｃで導入された通信７２４のモジュールと、図２４で導入されたネットワークインターフェース２４０２とでサポートされるような、ＢｌｕｅＴｏｏｔｈ（登録商標）又はＷｉｆｉ（登録商標）などの無線シグナリングを使用して伝送されてよい。

更新されたグローバルエリアマップ、物体、開始位置、スケール不変のキーポイント、及び物体の詳細は、拡張現実ロボットインターフェースを使用して、モバイルデバイスに表示されてよい。拡張現実ロボットインターフェースは、拡張現実ロボットインターフェースへのユーザ入力を受け入れてよい。ここで、ユーザ入力は、ブロック２０２０で、物体タイプの変更、次に収納する、収納しない、及びユーザインジケータの変更を含む、物体プロパティのオーバーライドを示す。物体プロパティのオーバーライドは、モバイルデバイスからデクラッターロボットに伝送されてよく、ブロック２０２２でグローバルエリアマップ、ユーザインジケータ、及び物体の詳細を更新するために使用されてよい。ブロック２０１８に復帰すると、デクラッターロボットは、更新されたグローバルエリアマップをモバイルデバイスに再伝送して、この情報を再同期させてよい。

図２１は、一実施形態によるロボット制御アルゴリズム２１００を示す。ブロック２１０２で、デクラッターロボットは、モバイルデバイスでのアプリケーションとしてインストールされた拡張現実ロボットインターフェースに、デクラッター領域を表すグローバルエリアマップを伝送してよい。グローバルエリアマップは、デクラッター領域にクラッターする物体に関する物体の詳細を含んでよい。モバイルデバイスは、カメラを含んでよい。ブロック２１０４で、拡張現実ロボットインターフェースアプリケーションが、カメラフレームをモバイルデバイスカメラから受容してよい。カメラフレームは、ブロック２１０６で、デクラッター領域の中の物体を検出し、それらをカテゴリに分類するために使用してよい。

ブロック２１０８で、物体について再識別指紋を生成することができ、そこでは、再識別指紋を使用して、この物体に対しての、将来検出された物体の視覚的類似性を決定してよい。将来検出された物体は、同じ物体であってよく、グローバルエリアマップの更新又は変換の一部として再検出されてよく、又は将来、同様に位置する類似物体であってよい。ここで、再識別指紋を使用して、物体を一層迅速に分類するのに役立ててよい。

ブロック２１１０では、カメラフレームの中に地上面が検出されてよい。モバイルデバイスは、地上面と、物体と、物体カテゴリと、再識別指紋とのうちの少なくとも１つを使用して、ブロック２１１２で、グローバルエリアマップにローカライズしてよい。ブロック２１１４で、物体は、開始位置と、カテゴリと、再識別指紋とのうちの少なくとも１つに基づいて再識別してよい。

ブロック２１１６で、カメラフレームと、物体と、物体にオーバーレイされた境界ボックスとユーザインジケータとを示す拡張現実ロボットインターフェースの中に、ユーザ体験をレンダリングしてよい。拡張現実ロボットインターフェースは、ユーザインジケータとのユーザの相互作用に基づいてユーザ入力を受け入れてよい。このユーザ相互作用は、ユーザインジケータをクリック又はタップすることを含んでよい。一実施形態では、ユーザインジケータは、ユーザが実行するアクションを含んでよく、ブロック２１１８で、拡張現実ロボットインターフェースは、指示されたタスクを完了するために、デクラッター領域で実行されたユーザアクションを検出してよい。一実施形態では、ユーザアクションは、拡張現実ロボットインターフェースを介したユーザ確認、以前のカメラフレームと更新されたカメラフレームとの間で記録された変更、又はデクラッターロボットのカメラとセンサとからの情報に基づいて検出してよい。表示インジケータ（インジケータを表示する）は、ブロック２１２０でユーザの支援に感謝を伝えてよい。

ブロック２１２２で、拡張現実ロボットインターフェースは、ユーザ入力（例えば、ユーザがユーザインジケータをクリック又はタップすること）に基づいて、物体に対して使用可能なアクションを表示してよい。その後、拡張現実ロボットインターフェースは、ブロック２１２４に示されている使用可能なアクションの少なくとも１つを選択する追加のユーザ入力を受け入れてよい。拡張現実ロボットインターフェースは、ブロック２１２６で、追加のユーザ入力に基づいて、物体プロパティのオーバーライドをデクラッターロボットに伝送してよい。

図２２は、一実施形態によるデクラッターロボット環境２２００を示す。デクラッターロボット環境２２００は、デクラッター領域２２０２と、スケール不変のキーポイント２２０４と、領域にクラッターする物体２２０６と、物体２２０６が配置可能である行先ビン２２０８（即ち、コンテナであってよい）と、拡張現実ロボットインターフェースアプリケーション２２１２がインストールされカメラフレーム２２１４を提供する機能を備えているモバイルデバイス２２１０と、ロボット７００とを含んでよい。

ロボット７００は、図７Ｃ及び図７Ｄに示すセンサ及びカメラを使用して、デクラッター領域２２０２の特徴を検出してよい。これらの特徴は、壁、隅（コーナー）、家具などのスケール不変のキーポイント２２０４を含んでよい。さらにロボット７００は、ユーザ入力、過去に扱われた物体との類似性の認識、機械学習、又はこれらのいくつかの組み合わせに基づいてロボット７００が決定できるカテゴリに基づいて、これらの物体２２０６が配置される可能性のある、デクラッター領域２２０２のフロアと行先ビン２２０８とにある物体２２０６を検出してよい。さらにロボット７００は、センサとカメラとを使用して、デクラッター領域２２０２内で自らをローカライズしてよい。ロボット７００は、図２０に関して説明されるように、このデータの全てをグローバルエリアマップ２２１６に統合してよい。

デクラッターロボット環境２２００は、タブレット又はスマートフォンなどのモバイルデバイス２２１０を所持しているユーザを含んでよい。モバイルデバイス２２１０は、本開示に従って機能する拡張現実ロボットインターフェースアプリケーション２２１２がインストールされてよい。拡張現実ロボットインターフェースアプリケーション２２１２は、モバイルデバイス２２１０の一部として構成されたカメラを使用して、カメラフレーム２２１４を提供してよい。カメラフレーム２２１４は、モバイルデバイス２２１０をデクラッターロボット環境２２００内にローカライズするように識別及び使用される可能性のある地上面２２１８を含んでよい。その結果、ロボット７００によって検出されたデクラッター領域２２０２に関する情報が、カメラフレームからグローバルエリアマップへの変換２２２０に従って変換されることができ、デクラッター領域２２０２内の物体２２０６と、それらの物体２２０６に付与されたユーザインジケータ及び物体プロパティのオーバーライドとに関して、ロボット７００及びモバイルデバイス２２１０が同期を保つことができるようにする。これは、図２０及び図２１、及び図２３Ａに関してさらに詳細に説明される。

一実施形態では、グローバルエリアマップ２２１６は、デクラッター領域２２０２のトップダウン二次元表現であってよい。ロボット７００によって検出された情報がユーザの視点から拡張現実ロボットインターフェースアプリケーション２２１２で表現されるように、グローバルエリアマップ２２１６は、カメラフレームからグローバルエリアマップへの変換２２２０を受けてよい。グローバルエリアマップ２２１６は、モバイルデバイス位置２２２２と、デクラッターロボット位置２２２４と、物体の開始位置２２２６とを含むように更新されてよい。一実施形態では、拡張現実ロボットインターフェースアプリケーション２２１２はさらに、モバイルデバイス位置２２２２とデクラッターロボット位置２２２４とを示してよいが、これらは本図には示されていない。

図２３Ａは、デクラッターセッションの開始時での、一実施形態による拡張現実ロボットインターフェース２３００を示す。拡張現実ロボットインターフェース２３００は、図２２のデクラッターロボット環境２２００で導入されたように、ピックアップする物体２２０６と行先ビン２２０８とを含むデクラッター領域２２０２を示してよい。境界ボックス２３０２とユーザインジケータ２３０４とは、図に示すように物体２２０６の上に重ねて表示してよい。これらは、物体２２０６のカテゴリ２３０６と、デクラッター領域２２０２の中のアイテムに関してユーザが取る必要があるアクションを示してよい。一実施形態では、物体２２０６のどのカテゴリ２３０６がそれぞれに堆積されることが意図されているかを示すために、インジケータを行先ビン２２０８に与えてよい。ロボットは、動的にこの決定を行ってよく、又は、一貫して使用するようにビンの上でユーザによって訓練又は指示されてよい。

図に示されたデクラッター領域２２０２では、物体２２０６と行先ビン２２０８とは、一般的なカテゴリ未定の２３０８タイプ、楽器２３１０のタイプ、ぬいぐるみ２３１２、プラスチック製玩具２３１４、衣料品２３１６、及びクラフト用品２３１８に関連するものとして分類されてよい。境界ボックス２３０２と、カテゴリ２３０６に関連するその他のインジケータとは、色、線の太さとスタイル、又は視覚的に容易に区別できるその他の視覚的特性が異なってよい。

ユーザインジケータ２３０４は、感嘆符（！）として図示され、デクラッターが始まる前に必要なアクションを特定してよい。例えば、ユーザは、行先ビンがひっくり返ったり、紛失したり、位置ずれしたりした場合に、行先ビンを元の状態に復帰させる必要がある場合がある。ダッフルバッグなどのカテゴリ未定の物体や、ギターなどの繊細で大きな物体は、ロボットではなく、ユーザがピックアップする必要がある場合がある。他のユーザインジケータ２３２０は、ユーザが必要な予備アクションを完了した後に、ロボット７００が物体２２０６をピックアップし始める順序を示すために数字を使用してよい。例えば、図示されたユーザインジケータ２３２０は、ユーザアクションが完了した後、ロボット７００がぬいぐるみ２３１２をピックアップすることによってデクラッターを開始しようとしていることを示してよい。ユーザは、自分がタスクを完了した後にクリックすることによって、予備アクションのユーザインジケータ２３０４をクリアしてよい。ユーザは、ロボット７００が物体２２０６をピックアップする順序を調整するために、整頓する順序に関連する境界ボックス２３０２又はユーザインジケータ２３０４をクリックしてよい。

ユーザインジケータ２３０４及び２３２０がクリアされた後に、図２３Ａで導入された拡張現実ロボットインターフェース２３００を、図２３Ｂに示す。ロボットによって要求された最初のヘルプアクションは、完了している。ビンは正しく配置され、ダッフルバッグ（カテゴリ未定２３０８）とギター（楽器２３１０）とは、デクラッター領域２２０２からクリアされている。ぬいぐるみ２３１２は、ロボット７００にピックアップされ、指定された行先ビンに堆積されている。新しいユーザインジケータ２３２２は、シャツ（衣料品２３１６）が、ピックアップされようとする、指定されたビンに堆積されることを意図した次の物体であることを示す。

一実施形態で、これらのユーザインジケータ２３０４及び２３２０は、タスクを完了してロボットを観察する場合に、ユーザによってクリアされてよく、物体２２０６がカメラフレーム２２１４の中で許容可能な行先の場所に変位したと検出される場合に、拡張現実ロボットインターフェース２３００によってクリアされてよく、経路の中でユーザが移動した物体を検出しなくなり、整理しようとしている物体をピックアップして堆積させる場合に、ロボット７００によってクリアされてよく、又は、それらのいくつかの組み合わせによってクリアされてよい。

図２３Ｃは、衣料品２３１６のアイテムのユーザインジケータ２３２２がクリアされ、衣料品２３１６が指定されたビンに置かれた後の、拡張現実ロボットインターフェース２３００を示す。次のユーザインジケータ２３２４は、プラスチック製玩具２３１４がピックアップされ、指定されたビンに置かれる順序を示す。

図２３Ｄは、プラスチック製玩具２３１４のユーザインジケータ２３２４がクリアされ、それらのアイテムが指定されたビンに置かれた後の、拡張現実ロボットインターフェース２３００を示す。ユーザインジケータ２３２６は、指定されたビンに堆積するために、ロボット７００がクラフト用品２３１８（手芸・工芸用品）をピックアップしようとする順序を示す。

図２３Ｅは、全てのアイテムがピックアップされ、それらのビンに置かれた後での、一実施形態による拡張現実ロボットインターフェース２３００を示す。

図２４は、ここに記載されるシステムのコンポーネントとプロセスステップとを実施するためのロボット制御システム２４００の実施形態を示す。

入力デバイス２４０４（例えば、携帯電話やパソコンなどのロボットやコンパニオンデバイスの）は、物理現象をマシン内部信号、典型的には電気信号、光学信号又は磁気信号に変換するトランスデューサを含む。信号は、無線周波数（ＲＦ）範囲の電磁放射の形で無線であってよいが、さらに可能性として、赤外線又は光学範囲であってよい。入力デバイス２４０４の例としては、接触、又は物体からの物理的圧力、又は物体の表面への近接に応答する接触センサ、空間又は平面を横切る運動に応答するマウス、媒体（通常は空気）内の振動をデバイス信号に変換するマイク、二次元又は三次元の物体上の光学パターンをデバイス信号に変換するスキャナなどがある。入力デバイス２４０４からの信号は、さまざまなマシン信号の信号導体（例：バスやネットワークインターフェース）と回路とを介して、メモリ２４０６に供給される。

メモリ２４０６は通常、第１レベル又は第２レベルのメモリデバイスとして知られるものであり、入力デバイス２４０４から受容した信号の記憶（物質の構成又は物質の状態を介して）、ＣＰＵ２４０８の動作を制御するための命令及び情報、及び記憶デバイス２４１０からの信号を供給する。メモリ２４０６及び／又は記憶デバイス２４１０は、コンピュータ実行可能な命令を記憶してよい。従って、ＣＰＵ２４０８に適用されて実行された場合に、ここに開示されるプロセスの実施形態を実施するロジック２４１２を形成する。

メモリ２４０６に記憶された情報は、通常、デバイスのＣＰＵ２４０８に関して、直接アクセスできる。デバイスに入力された信号は、メモリ２４０６の内部物質／エネルギー状態の再構成を引き起こし、本質的に新しいマシン構成を作成し、制御信号（命令）と制御信号に関連して供給されたデータでＣＰＵ２４０８を構成することによって、ロボット制御システム２４００の動作に影響を与える。

第２レベル又は第３レベルのストレージデバイス２４１０は、低速だが大容量のマシンメモリ機能を提供してよい。ストレージデバイス２４１０の例としては、ハードディスク、光ディスク、大容量フラッシュメモリ又はその他の不揮発性メモリ技術、磁気メモリなどがある。

ＣＰＵ２４０８は、ストレージデバイス２４１０内の信号によってメモリ２４０６の構成を変更させてよい。つまり、ＣＰＵ２４０８は、メモリ２４０６内のストレージデバイス２４１０からデータと命令とを読み取らせてよい。これは、命令及びデータ信号としてＣＰＵ２４０８の動作に影響を与え、さらにそこから出力デバイス２４１４に供給されてよい。ＣＰＵ２４０８は、メモリ２４０６のマシンインターフェースにシグナリングすることでメモリ２４０６の内容を変更して、内部構成を変更し、次にストレージデバイス２４１０に信号を変換して送り、その物質の内部構成を変更してよい。つまり、データと命令は、普通は揮発性であるようにしたメモリ２４０６から、普通は不揮発性であるようにしたストレージデバイス２４１０にバックアップされてよい。

出力デバイス２４１４は、トランスデューサであり、メモリ２４０６から受容した信号を、空気中の振動又はマシンディスプレイの光のパターン、振動（即ち、触覚デバイス）、又はインク又はその他の材料のパターン（即ち、プリンターと３Ｄプリンター）などの物理現象に変換する。

ネットワークインターフェース２４０２は、メモリ２４０６から信号を受容し、典型的にはマシンネットワークを介して、他のマシンへの電気信号、光学信号、又は無線信号に変換する。ネットワークインターフェース２４０２は、マシンネットワークからの信号も受容し、それらをメモリ２４０６への電気信号、光学信号、又は無線信号に変換する。

ここに記載されるさまざまな機能操作は、その操作又は機能を反映する名詞又は名詞句を使用して称される、ロジックで実施されてよい。例えば、関連付け操作は、「関連付け装置（ａｓｓｏｃｉａｔｏｒ）」又は「相関装置（ｃｏｒｒｅｌａｔｏｒ）」によって実行されてよい。同様に、切り替えは「スイッチ」によって、選択は「セレクタ」によって実行されるなどしてよい。「ロジック」は、マシン実行可能命令（ソフトウェア及びファームウェア）、及び／又は回路（ハードウェア）を含む、マシンメモリ回路と、非一時的なマシン可読な媒体とを指す。この命令・回路は、その材料及び／又は材料・エネルギー構成として、制御及び／又は手順信号、及び／又は設定及び値（抵抗、インピーダンス、静電容量、インダクタンス、電流／電圧定格など）を含む。この信号・設定・値は、デバイスの動作に影響を与えるために適用されてよい。磁気メディア、電子回路、電気及び光学メモリ（揮発性と不揮発性との両方）、及びファームウェアは、ロジックの例である。ロジックは、純粋な信号又はソフトウェア自体を特に除外する（ただし、ソフトウェアを構成し、それによって物質の構成を形成するマシンメモリは除外しない）。

この開示の中で、異なる構成要素（これは、「ユニット」、「回路」、その他のコンポーネントなどとさまざまに称してよい）は、１つ以上のタスク又は操作を実行するために「構成されている」と記載されてよく、又は請求項に記載されてよい。この定式化、即ち、［１つ以上のタスクを実行する］ように構成された［構成要素］は、ここでは構造（即ち、電子回路のような物理的なもの）を指すために使用される。さらに具体的には、この定式化は、この構造が操作中に１つ以上のタスクを実行するように配置されていることを示すために使用される。構造は、構造が現在操作されていない場合でも、何らかのタスクを実行するように「構成されている」と言ってよい。「複数のプロセッサコアにクレジットを分配するように構成されているクレジット分配回路」は、例えば、当該の集積回路が現在使用されていなくても（例：電源装置が接続されていない）、動作中にこの機能を実行する回路を有する集積回路をカバーすることを意図している。従って、何らかのタスクを実行するように「構成されている」と記載又は言及されている構成要素は、タスクを実施するために実行可能なプログラム命令を記憶するデバイス、回路、メモリなど、何か物理的なものを指す。本明細書中で、この文言は、何か無形のものを指すためには、使用されない。

「構成されている」という用語は、「構成可能な」という意味ではない。例えば、プログラムされていないＦＰＧＡは、プログラミング後にその機能を実行するように「構成可能」である可能性があっても、特定の機能を実行するように「構成されている」とはみなされない。

添付の請求項の中で、１つの構造が１つ以上のタスクを実行するように「構成されている」と記載することは、その請求項の要素について３５ＵＳＣ１１２（ｆ）を適用しないことを明確に意図している。従って、「（機能を実行）する手段」という構造を他に含まない本出願の請求項は、３５ＵＳＣ１１２（ｆ）に基づいて解釈されないものとする。

ここで使用される「に基づく」という文言は、決定に影響を与える１つ以上の要因を記載するために使用される。この文言は、追加の要因が決定に影響を与えることができる可能性を排除するものではない。つまり、決定は、特定される要因のみに基づいて行われてよく、又は、特定される要因とその他の特定されない要因とに基づいて行われてよい。また、「Ｂに基づいてＡを決定する」という文言を考えるとする。この文言は、ＢがＡを決定するために使用される、又はＡの決定に影響を与える要因であることを特定する。この文言は、Ａの決定がＣなどの他の要因にも基づくことができる可能性を排除するものではない。この文言はまた、ＡがＢのみに基づいて決定される実施形態をカバーすることを意図している。ここで使用されるように、「基づく」という文言は、「少なくとも一部に基づく」という文言と同義である。

ここで使用される「応答して」という文言は、効果をトリガーする１つ以上の要因を記載するために使用される。この文言は、追加の要因が効果に影響を与えたり、その他の方法で効果をトリガーしたりすることができる可能性を排除するものではない。つまり、効果は、それらの要因にのみ反応されてよく、又は、特定される要因とその他の特定されない要因とにも反応されてよい。また、「Ｂに反応してＡを実行する」という文言を考えるとする。この文言は、ＢがＡの実行をトリガーする要因であることを特定する。この文言は、Ａの実行がＣなどの他の要因にも反応するものであってよい可能性を排除するものではない。この文言はまた、ＡがＢに反応してのみ実行される実施形態をカバーすることを意図している。

ここで使用されるように、「第１」、「第２」などの用語は、それらが先行する名詞の標識として使用され、それ以外に明記されていない限り、いかなるタイプの順序付け（例えば、空間的、時間的、論理的など）も意味しない。例えば、８つのレジスタを有するレジスタファイルでは、「第１レジスタ」及び「第２レジスタ」という用語は、８つのレジスタのうちの任意の２つを指すために使用でき、例えば、論理レジスタ０と１だけを指すために使用できるわけではない。

請求項で使用される場合に、「又は」という用語は、包括的な又はとして使用され、排他的な又はとして使用されない。例えば、「ｘ，ｙ又はｚのうち少なくとも１つ」という文言は、ｘ，ｙ及びｚのいずれか１つ、及びそれらの任意の組み合わせを意味する。

ここで使用されるように、２つ以上の要素に関する「及び／又は」の繰り返しは、１つの要素のみ、又は要素の組み合わせを意味すると解釈されるものとする。例えば、「要素Ａ、要素Ｂ、及び／又は要素Ｃ」は、要素Ａのみ、要素Ｂのみ、要素Ｃのみ、要素Ａ及び要素Ｂ、要素Ａ及び要素Ｃ、要素Ｂ及び要素Ｃ、又は要素Ａ、Ｂ及びＣを含んでよい。これに加えて、「要素Ａ又は要素Ｂのうちの少なくとも１つ」は、要素Ａの少なくとも１つ、要素Ｂの少なくとも１つ、又は要素Ａの少なくとも１つ及び要素Ｂの少なくとも１つを含んでよい。さらに、「要素Ａ及び要素Ｂのうちの少なくとも１つ」は、要素Ａの少なくとも１つ、要素Ｂの少なくとも１つ、又は要素Ａの少なくとも１つ及び要素Ｂの少なくとも１つを含んでよい。

本開示の主題は、法定要件を満たすために、ここに特殊性をもって記載される。しかしながら、記載自体は、本開示の範囲を制限することを意図していない。むしろ、発明者は、他の現在又は将来の技術と組み合わせて、本明細書に記載されているものと同様の異なるステップ又はステップの組み合わせを含むために、請求項に記載された主題が他の方式でも実施されてよいと考えている。さらに、「ステップ」及び／又は「ブロック」という用語は、ここで採用されている方法の異なる要素を意味するために使用されてよいが、用語は、個々のステップの順序が明示的に記載されている場合を除き、ここで開示されている様々なステップの間、又はその相互の間の特定の順序を意味するものとして解釈されないものとする。

このようにして、例示的な実施形態を詳細に記述したので、請求項に記載されている発明の範囲から逸脱することなく、修正及び変形が可能であることは明らかなこととなる。発明の主題の範囲は、記載された実施形態に限定されず、以下の請求項に述べるものである。

１００ ロボットシステム
１０２ センサ
１０４ カメラ
１０６ ローカライズロジック
１０８ マッピングロジック
１１０ 知覚ロジック
１１２ パスプランナー
１１４ ピックアッププランナー
１１６ モーションコントローラ
１１８ モータ及びサーボコントローラ
１２０ キャリブレーション及び物体
１２２ ローカルからグローバルへの変換
１２４ 環境マップ
１２６ 物体トラッキング
１２８ 現在の状態
１３０ システム状態設定
１３２ 同期信号
１３４ 移動フィードバック
１３６ ナビゲーション経由地点
１３８ 画像セグメンテーションを有するローカル知覚
１４０ 操作アクション
１４２ ターゲット移動
１４４ 画像セグメンテーション起動
２００ ロボット
２０２ バケット
２０４ マニピュレータアクチュエータアーム
２０６ カメラ
２０８ バケットアクチュエータアーム
２１０ マニピュレータブラシ
３０２ シール
３０４ 凸部
３０６ 凹部
３０８ 延長された背面
４００ ロボット
４０２ カメラ
４０４ リフトアクチュエータアーム
４０６ 収集部材
４０８ バケット
４１０ リニアアクチュエータ
５００ ロボット
５０２ バケット
５０４ カメラ
５０６ マニピュレータアクチュエータアーム
５０８ 収集部材
５１０ バケットアクチュエータアーム
６００ ロボット
６０２ バケット
６０４ カメラ
６０６ マニピュレータアクチュエータアーム
６０８ 収集部材
６１０ バケットアクチュエータアーム
６１２ マニピュレータリフトアーム
７００ ロボット
７０２ シャーシ
７０４ モビリティシステム
７０６ 感知システム
７０８ 制御システム
７１０ 捕捉及び封じ込めシステム
７１２ バケット
７１４ バケットリフトアーム
７１６ バケットリフトアーム枢軸点
７１８ マニピュレータ部材
７２０ マニピュレータアーム
７２２ アーム枢軸点
７２４ 通信
７２６ フロントカメラ
７２８ リアカメラ
７３０ フロントＬＩＤＡＲセンサ
７３２ リアＬＩＤＡＲセンサ
７３４ ＩＭＵセンサ
７３６ フロント右カメラ
７３８ フロント左カメラ
７４０ リア左カメラ
７４２ リア右カメラ
７４４ マニピュレータ枢軸点
８００ａ 下がったバケット位置及び下がったグラバー位置
８００ｂ 下がったバケット位置及び上がったグラバー位置
８００ｃ 上がったバケット位置及び上がったグラバー位置
９００ ロボット
９０２ バケット
９０４ カメラ
９０６ マニピュレータアクチュエータアーム
９０８ 収集部材
９１０ バケットアクチュエータアーム
１０００ ロボットプロセス
１００２ ブロック
１００４ ブロック
１００６ ブロック
１００８ 開ループブロック
１０１０ ブロック
１０１２ ブロック
１０１４ ブロック
１０１６ ブロック
１０１８ ブロック
１０２０ ブロック
１０２２ ブロック
１０２４ ブロック
１０２６ ブロック
１０２８ ブロック
１１００ ロボットプロセス
１１０２ ブロック
１１０４ ブロック
１１０６ ブロック
１１０８ ブロック
１１１０ ブロック
１１１２ ブロック
１１１４ ブロック
１１１６ ブロック
１１１８ ブロック
１１２０ ブロック
１１２２ ブロック
１１２４ ブロック
１１２６ ブロック
１２００ 状態空間マップ
１２０２ スリープ状態
１２０４ 環境探索状態
１２０６ 起動アクション
１２０８ スケジュール開始時刻
１２１０ 構成された間隔での探索
１２１２ ピックアップする物体がなくなっている
１２１４ バッテリが低下している
１２１６ 物体整理状態
１２１８ フロアでのアイテムを移動させ、カテゴリごとに整理する
１２２０ フロアで物体が接近しすぎている
１２２２ １つ以上の物体へのパスが妨害されている
１２２４ 物体ピックアップ状態
１２２６ 環境マップが、物体のカテゴリに対して少なくとも１つのドロップオフコンテナを含む
１２２８ コンテナのカテゴリの中に、ピックアップのための妨害されていないアイテムがある
１２３０ ピックアップの準備ができた物体がない
１２３２ カテゴリの中の識別された全ての物体がピックアップされる
１２３４ バケットが容量一杯である
１２３６ 物体ドロップオフ状態
１２３８ ピックアップするアイテムがさらに多い
１２４０ 環境の不完全なマップ
１７００ ロボット制御アルゴリズム
１７０２ ブロック
１７０４ ブロック
１７０６ ブロック
１７０８ ブロック
１７１０ ブロック
１７１２ ブロック
１７１４ ブロック
１７１６ ブロック
１７１８ ブロック
１７２０ ブロック
１７２２ ブロック
１８００ ロボット制御アルゴリズム
１８０２ ブロック
１８０４ ブロック
１８０６ ブロック
１８０８ ブロック
１８１０ ブロック
１８１２ ブロック
１８１４ ブロック
１８１６ ブロック
１８１８ ブロック
１８２０ ブロック
１８２２ ブロック
１９００ ロボット制御アルゴリズム
１９０２ アイテム
１９０４ アイテム
１９０６ アイテム
１９０８ アイテム
１９１０ アイテム
１９１２ アイテム
１９１４ アイテム
１９１６ アイテム
１９１８ アイテム
２０００ ロボット制御アルゴリズム
２００２ ブロック
２００４ ブロック
２００６ ブロック
２００８ ブロック
２０１０ ブロック
２０１２ ブロック
２０１４ ブロック
２０１６ ブロック
２０１８ ブロック
２０２０ ブロック
２０２２ ブロック
２１００ ロボット制御アルゴリズム
２１０２ ブロック
２１０４ ブロック
２１０６ ブロック
２１０８ ブロック
２１１０ ブロック
２１１２ ブロック
２１１４ ブロック
２１１６ ブロック
２１１８ ブロック
２１２０ ブロック
２１２２ ブロック
２１２４ ブロック
２１２６ ブロック
２２００ デクラッターロボット環境
２２０２ デクラッター領域
２２０４ スケール不変のキーポイント
２２０６ 物体
２２０８ 行先ビン
２２１０ モバイルデバイス
２２１２ 拡張現実ロボットインターフェースアプリケーション
２２１４ カメラフレーム
２２１６ グローバルエリアマップ
２２１８ 地上面
２２２０ カメラフレームからグローバルエリアマップへの変換
２２２２ モバイルデバイス位置
２２２４ デクラッターロボット位置
２２２６ 物体の開始位置
２３００ 拡張現実ロボットインターフェース
２３０２ 境界ボックス
２３０４ ユーザインジケータ
２３０６ カテゴリ
２３０８ カテゴリ未定
２３１０ 楽器
２３１２ ぬいぐるみ
２３１４ プラスチック製玩具
２３１６ 衣料品
２３１８ クラフト用品
２３２０ ユーザインジケータ
２３２２ ユーザインジケータ
２３２４ ユーザインジケータ
２３２６ ユーザインジケータ
２４００ ロボット制御システム
２４０２ ネットワークインターフェース
２４０４ 入力デバイス
２４０６ メモリ
２４０８ ＣＰＵ
２４１０ 記憶デバイス
２４１２ ロジック
２４１４ 出力デバイス

Claims (20)

1. 環境の中の物体に対する複数の物体カテゴリのそれぞれを、前記環境の中に配置された対応するコンテナに関連付けることと、
   ベースステーションでロボットを起動することと、
   カメラを使用して前記ロボットを前記環境の周囲でナビゲートし、前記物体のタイプ、サイズ、及び位置をマッピングすることとを含む方法であって、
   各物体カテゴリについて、
   カテゴリの中でピックアップする前記物体のうちの１つ以上を選択するステップと、
   前記ロボットの現在位置からピックアップする前記物体のうちの１つ以上への、パスプランニングを実行するステップと、
   ピックアップする前記物体のうちの１つ以上の隣接ポイントへナビゲートするステップと、
   前記ロボットの前端にあるバケットの前部で開閉するように結合されたマニピュレータを作動させて、障害物を邪魔にならないように移動させ、前記バケットへ１つ以上の前記物体を操作するステップと、
   前記バケットの中に前記物体を保持するように、前記バケットを傾ける又は持ち上げることと、前記マニピュレータを作動させることとの、一方又は両方を行うステップと、
   前記カテゴリについて、対応するコンテナへ隣接する前記ロボットをナビゲートするステップと、
   前記ロボットの後端を対応する前記コンテナの側面に位置合わせするステップと、
   前記バケットを前記ロボットの上に前記後端に向けて持ち上げ、対応する前記コンテナの中に前記物体を堆積させるステップとを備えている、方法。
2. さらに、前記ロボットを操作して前記環境の中の前記物体をクラスタに整理するステップであり、各クラスタは、前記カテゴリのうちの１つからの物体のみを含む、整理するステップを備えている、請求項１記載の方法。
3. さらに、
   少なくとも１つの第１アームを操作して前記ロボットの前記マニピュレータを作動させ、障害物を邪魔にならないように移動させ、前記バケットへ１つ以上の前記物体を操作するステップと、
   少なくとも１つの第２アームを操作して、前記バケットを傾ける又は持ち上げるステップとを備えている、請求項１記載の方法。
4. 各第１アームが、対応する第２アームとペアリングされ、
   さらに、前記第１アームと前記第２アームとのペアリングのそれぞれを、共通に始まりの枢軸点から操作するステップを備えている、請求項１記載の方法。
5. 前記ロボットの前記マニピュレータを作動させて障害物を邪魔にならないように移動させるステップは、前記マニピュレータを作動させて前記バケットの前方にくさび形を形成することを含む、請求項１記載の方法。
6. 前記バケットの中に前記物体を保持するように前記マニピュレータを作動させることは、前記バケットの前方にバリアを形成するために前記マニピュレータを作動させることを含む、請求項５記載の方法。
7. さらに、前記カメラからの画像から、前記物体の前記タイプ、サイズ、及び位置を決定するニューラルネットワークを操作するステップを備えている、請求項１記載の方法。
8. さらに、
   左カメラと右カメラとからの入力に基づいて、前記環境のデクラッター領域の中にスケール不変のキーポイントを生成するステップと、
   前記左カメラと前記右カメラとからの前記入力に基づいて、前記デクラッター領域の中の前記物体の位置を検出し、これにより開始位置を規定するステップと、
   前記物体を前記カテゴリに分類するステップと、
   前記物体について再識別指紋を生成するステップであり、ここで前記再識別指紋は、前記物体の間の視覚的類似性を決定するために使用される、生成するステップと、
   ロボット位置を決定するために、前記左カメラと、前記右カメラと、光検出及び測距（ＬＩＤＡＲ）センサと、慣性測定ユニット（ＩＭＵ）センサとのうちの少なくとも１つからの入力に基づいて、前記ロボットを前記デクラッター領域の中にローカライズするステップと、
   前記デクラッター領域をマッピングして、スケール不変の前記キーポイント、前記物体、及び前記開始位置を含むグローバルエリアマップを作成するステップと、
   前記開始位置と、前記カテゴリと、前記再識別指紋とのうちの少なくとも１つに基づいて前記物体を再識別するステップとを備えている、請求項１記載の方法。
9. さらに、
   前記物体に永続的な一意の識別子を割り当てるステップと、
   モバイルデバイスにアプリケーションとしてインストールされた、拡張現実ロボットインターフェースからのカメラフレームを受容するステップと、
   前記カメラフレームに基づいて、カメラフレームからグローバルエリアマップへの変換を使用して、前記開始位置とスケール不変の前記キーポイントとを伴って、前記グローバルエリアマップを更新するステップと、
   前記物体についてインジケータを生成するステップであり、前記インジケータは、次のターゲット、ターゲットの順序、危険である、大きすぎる、割れ物である、乱雑である、及び移動経路への遮断のもののうちの１つ以上を含む、生成するステップとを備えている、請求項８記載の方法。
10. さらに、
    前記グローバルエリアマップと物体の詳細とを前記モバイルデバイスに伝送するステップであり、物体の前記詳細は、視覚的スナップショット、前記カテゴリ、前記開始位置、永続的な一意の前記識別子、及び前記物体の前記インジケータのうちの少なくとも１つを含む、伝送するステップと、
    更新された前記グローバルエリアマップ、前記物体、前記開始位置、スケール不変の前記キーポイント、及び物体の前記詳細を、前記拡張現実ロボットインターフェースを使用して、前記モバイルデバイスに表示するステップと、
    前記拡張現実ロボットインターフェースへの入力を受け入れるステップであり、前記入力は、物体カテゴリの変更、次に収納する、収納しない、及びユーザインジケータの変更を含む、物体プロパティのオーバーライドを示す、受け入れるステップと、
    物体プロパティの前記オーバーライドを前記モバイルデバイスから前記ロボットに伝送するステップと、
    物体プロパティの前記オーバーライドに基づいて、前記グローバルエリアマップ、前記インジケータ、及び物体の前記詳細を更新するステップとを備えている、請求項９記載の方法。
11. ロボットシステムであって、
    ロボットと、
    ベースステーションと、
    １つ以上の物体カテゴリにそれぞれ関連付けられている複数のコンテナと、
    モバイルアプリケーションと、
    複数の物体を含む環境の周囲で前記ロボットをナビゲートし、物体のタイプ、サイズ、及び位置をマッピングするロジックとを備え、
    各カテゴリについて、前記ロジックは、
    前記カテゴリの中でピックアップする前記物体のうちの１つ以上を選択し、
    ピックアップする前記物体へのパスプランニングを実行し、
    ピックアップする前記物体のそれぞれの隣接ポイントへナビゲートし、
    前記ロボットの前端にあるバケットの前部で開閉するように結合されたマニピュレータを作動させて、障害物を邪魔にならないように移動させ、前記バケットへ１つ以上の前記物体を操作し、
    前記バケットの中にピックアップする前記物体を保持するように、前記バケットを傾ける及び持ち上げることと、前記マニピュレータを作動させることとの、一方又は両方を行い、
    前記カテゴリについて、対応するコンテナへ隣接する前記ロボットをナビゲートし、
    前記ロボットの後端を対応する前記コンテナの側面に位置合わせし、
    前記バケットを前記ロボットの上に前記後端に向けて持ち上げ、対応する前記コンテナの中にピックアップする前記物体を堆積させる、ロボットシステム。
12. さらに、前記ロボットを操作して、前記環境の中の前記物体をクラスタに整理するロジックを備え、各クラスタは、前記カテゴリのうちの１つからの物体のみを含む、請求項１１記載のシステム。
13. 前記ロボットは、少なくとも１つの第１アームと、少なくとも１つの第２アームとを含み、
    システムはさらに、前記ロボットの前記マニピュレータを作動させて、障害物を邪魔にならないように移動させ、１つ以上の前記物体を前記バケットへ押圧して、前記バケットを傾ける又は持ち上げるために少なくとも１つの前記第２アームを操作するロジックを備えている、請求項１１記載のシステム。
14. 各第１アームが、対応する第２アームとペアリングされ、
    前記第１アームと前記第２アームとのペアリングのそれぞれは、共通に始まりの枢軸点を有する、請求項１１記載のシステム。
15. さらに、前記ロボットの前記マニピュレータを作動させて、前記バケットの前方にくさび形を形成するロジックを備えている、請求項１１記載のシステム。
16. さらに、前記マニピュレータを作動させて、前記バケットの前方に閉じたバリアを形成するロジックを備えている、請求項１５記載のシステム。
17. さらに、カメラからの画像から、前記物体の前記タイプ、サイズ、及び位置を決定するように構成されているニューラルネットワークを備えている、請求項１１記載のシステム。
18. さらに、
    左カメラと右カメラとからの入力に基づいて、前記環境のデクラッター領域の中にスケール不変のキーポイントを生成し、
    前記左カメラと前記右カメラとからの前記入力に基づいて、前記デクラッター領域の中の前記物体の位置を検出し、これにより開始位置を規定し、
    前記物体を前記カテゴリに分類し、
    前記物体について再識別指紋を生成し、ここで前記再識別指紋は、前記物体の間の視覚的類似性を決定するために使用され、
    ロボット位置を決定するために、前記ロボットを前記デクラッター領域の中にローカライズし、
    前記デクラッター領域をマッピングして、スケール不変の前記キーポイント、前記物体、及び前記開始位置を含むグローバルエリアマップを作成するロジックを備えている、請求項１１記載のシステム。
19. さらに、前記開始位置と、前記カテゴリと、前記再識別指紋とのうちの少なくとも１つに基づいて、前記物体を再識別するロジックを備えている、請求項１８記載のシステム。
20. さらに、危険である、大きすぎる、割れ物である、及び乱雑であるもののうちの１つ以上に、前記物体を分類するロジックを備えている、請求項１９記載のシステム。