JP7259020B2 - ウェイポイントマッチングを用いた自律マップトラバーサル - Google Patents

Description

本開示は、ウェイポイントマッチングを用いた自律マップトラバーサルに関する。

ロボットは、一般に、タスクを実行するために、可変のプログラムされた動作を介して材料、部品、ツール、または特殊なデバイスを移動するように設計された再プログラム可能な多機能マニピュレータとして定義される。ロボットは、物理的に固定されたマニピュレータ（例えば、産業用ロボットアーム）、（例えば、脚、車輪、もしくは牽引ベースのメカニズムを使用して）環境全体を移動する移動ロボット、またはマニピュレータと移動ロボットとの何らかの組み合わせであり得る。ロボットは、例えば、製造、輸送、危険な環境、探査、およびヘルスケアを含む、様々な産業で利用される。そのため、自律的に動作する能力は、ロボットの機能性を強化し、そのような産業に追加の便益をもたらし得る。

本開示の一態様は、自律マップトラバーサルのための方法を提供する。この方法は、環境内を移動しているロボットの周りの環境のセンサーデータを、データ処理ハードウェアで受信することを含む。センサーデータは、画像データを含む。この方法はまた、画像データに基づいて、少なくとも１つのウェイポイントヒューリスティックをデータ処理ハードウェアによって実行することを含む。少なくとも１つのウェイポイントヒューリスティックは、ウェイポイントマップ上へのウェイポイント配置をトリガーするように構成されている。少なくとも１つのウェイポイントヒューリスティックがウェイポイント配置をトリガーすることに応答して、この方法は、ウェイポイントマップ上のウェイポイントをデータ処理ハードウェアによって記録することを含む。ウェイポイントは、少なくとも１つのウェイポイントエッジに関連付けられており、ロボットによって取得されたセンサーデータの少なくとも一部を含む。少なくとも１つのウェイポイントエッジは、２つのウェイポイント間を移動する方法を表すポーズ変換を含む。

本開示の実装例は、以下の任意選択の特徴のうちの１つ以上を含み得る。いくつかの実装例では、画像データは、三次元体積画像センサーによってキャプチャされた三次元点群データを含む。ここで、三次元体積画像センサーは、ステレオカメラ、走査型光検出および測距（ＬＩＤＡＲ）センサー、または走査型レーザー検出および測距（ＬＡＤＡＲ）センサーのうちの１つ以上を含み得る。ウェイポイントヒューリスティックは、ロボットの現在位置における画像データ内の閾値特徴検出を検出するように構成され得る。

いくつかの実施例では、ウェイポイントのセンサーデータは、三次元体積画像センサーによってキャプチャされた三次元点群データと、ロボットの慣性測定ユニット（ＩＭＵ）によって測定された慣性測定データを含むポーズデータと、を含む。所与のウェイポイントについて、この方法は、所与のウェイポイントに隣接するウェイポイントを識別することと、所与のウェイポイントおよび隣接するウェイポイントの三次元点群データの三次元点を、三次元点の集合として識別することと、を含み得る。所与のウェイポイントについて、この方法はまた、三次元点の集合の三次元点が、三次元点群データによって表される画像の視覚的エッジに対応するかどうかを判定することと、三次元点群データによって表される画像の視覚的エッジに対応する三次元点の集合の三次元点を、所与のウェイポイントに関連付けることと、を含み得る。

いくつかの構成では、ウェイポイントは、ロボットに、ウェイポイントにおいて方向付けられたポーズを達成させるように構成されたロボットポーズ制約を含む。ウェイポイントマップは、隣接するウェイポイントと局所的に一貫し得る。ウェイポイントエッジは、環境の空間的特徴を示す注釈を含み得る。ウェイポイントマップ上のウェイポイントを記録することは、ウェイポイントの周りのベイスンゾーン（ｂａｓｉｎ ｚｏｎｅ）を記録することを含み得、ベイスンゾーンは、ロボットが反復最接近点（ＩＣＰ）アルゴリズムを使用するように構成されているウェイポイントに隣接する領域を指定する。

本開示の別の態様は、ロボットを提供する。ロボットは、ロボットを環境の周囲に操縦するように構成された駆動システムと、駆動システムと通信するデータ処理ハードウェアと、を含む。ロボットは、データ処理ハードウェアと通信するメモリハードウェアも含む。メモリハードウェアは、データ処理ハードウェア上で実行されると、データ処理ハードウェアに動作を実行させる命令を格納する。動作は、環境内で移動しているロボットのセンサーデータを受信することを含む。センサーデータは、画像データを含む。動作はさらに、画像データに基づいて、少なくとも１つのウェイポイントヒューリスティックを実行することを含む。少なくとも１つのウェイポイントヒューリスティックは、ウェイポイントマップ上へのウェイポイント配置をトリガーするように構成されている。少なくとも１つのウェイポイントヒューリスティックがウェイポイント配置をトリガーすることに応答して、動作は、ウェイポイントマップ上のウェイポイントを記録することを含む。ウェイポイントは、少なくとも１つのウェイポイントエッジに関連付けられており、ロボットによって取得されたセンサーデータを含む。少なくとも１つのウェイポイントエッジは、２つのウェイポイント間を移動する方法を表すポーズ変換を含む。

本開示の実装例は、以下の任意選択の特徴のうちの１つ以上を含み得る。いくつかの実施例では、画像データは、三次元体積画像センサーによってキャプチャされた三次元点群データを含む。ここで、画像センサーは、ステレオカメラ、走査型光検出および測距（ＬＩＤＡＲ）センサー、または走査型レーザー検出および測距（ＬＡＤＡＲ）センサーのうちの１つ以上を含む。ウェイポイントヒューリスティックは、ロボットの現在位置における画像データ内の閾値特徴検出を検出するように構成され得る。

いくつかの実装例では、ウェイポイントのセンサーデータは、三次元体積画像センサーによってキャプチャされた三次元点群データと、ロボットの慣性測定ユニット（ＩＭＵ）によって測定された慣性測定データを含むポーズデータと、を含む。所与のウェイポイントについて、動作は、所与のウェイポイントに隣接するウェイポイントを識別することと、所与のウェイポイントおよび隣接するウェイポイントの三次元点群データの三次元点を、三次元点の集合として識別することと、を含み得る。所与のウェイポイントについて、動作はまた、三次元点の集合の三次元点が、三次元点群データによって表される画像の視覚的エッジに対応するかどうかを判定することと、三次元点群データによって表される画像の視覚的エッジに対応する三次元点の集合の三次元点を、所与のウェイポイントに関連付けることと、を含み得る。

いくつかの構成では、ウェイポイントは、ロボットに、ウェイポイントにおいて方向付けられたポーズを達成させるように構成されたロボットポーズ制約を含む。ウェイポイントマップは、隣接するウェイポイントと局所的に一貫し得る。追加的または代替的に、ウェイポイントエッジは、環境の空間的特徴を示す注釈を含み得る。ウェイポイントマップ上のウェイポイントを記録することは、ウェイポイントの周りのベイスンゾーンを記録することを含み得、ベイスンゾーンは、ロボットが反復最接近点（ＩＣＰ）アルゴリズムを使用するように構成されているウェイポイントに隣接する領域を指定する。

本開示のさらに別の態様は、自律マップトラバーサルのための方法を提供する。この方法は、環境内で移動しているロボットの周りの環境の画像データを、データ処理ハードウェアで受信することを含む。この方法はまた、受信された画像データに基づいて、ウェイポイントマップの第１のウェイポイントにローカライズするように構成された反復最接近点（ＩＣＰ）アルゴリズムを、データ処理ハードウェアによって実行することを含む。この方法は、データ処理ハードウェアによって、ウェイポイントマップの第１のウェイポイントからウェイポイントマップの第２のウェイポイントまでのトラバーサル経路を実行することと、受信された画像データに基づいて、ＩＣＰアルゴリズムにより、ウェイポイントマップの第２のウェイポイントにローカリゼーションを、データ処理ハードウェアによって更新することと、をさらに含む。

本開示のこの態様の実装例は、以下の任意選択の特徴のうちの１つ以上を含み得る。いくつかの構成では、画像データは、三次元体積画像センサーによってキャプチャされた三次元点群データを含む。画像センサーは、ステレオカメラ、走査型光検出および測距（ＬＩＤＡＲ）センサー、または走査型レーザー検出および測距（ＬＡＤＡＲ）センサーのうちの１つ以上を含み得る。

いくつかの実施例では、第２のウェイポイントにローカリゼーションを更新することは、受信された画像データをウェイポイントマップの格納された画像データと比較することを含み、この格納された画像データは第２のウェイポイントに関連付けられている。追加的または代替的に、第２のウェイポイントにローカリゼーションを更新することは、ローカリゼーションに関連付けられた位置が、ローカリゼーション距離閾値を満たしていることを判定することと、データ処理ハードウェアによって、運動学的データおよび慣性測定データに従って、当該位置でローカリゼーションを実行することと、をさらに含み得る。ここで、ローカリゼーション距離閾値は、それぞれのウェイポイントからの距離を示す。

本開示の別の態様は、ロボットを提供する。ロボットは、ボディーと、ボディーに結合され、かつロボットを環境の周囲に操縦するように構成された脚と、脚と通信するデータ処理ハードウェアと、を含む。ロボットは、データ処理ハードウェアと通信するメモリハードウェアも含む。メモリハードウェアは、データ処理ハードウェア上で実行されると、データ処理ハードウェアに動作を実行させる命令を格納する。動作は、環境内で移動しているロボットの周りの環境の画像データを受信することを含む。動作はまた、受信された画像データに基づいて、ウェイポイントマップの第１のウェイポイントにローカライズするように構成された反復最接近点（ＩＣＰ）アルゴリズムを実行することと、ウェイポイントマップの第１のウェイポイントからウェイポイントマップの第２のウェイポイントまでのトラバーサル経路を実行することと、を含む。動作はさらに、受信された画像データに基づき、ＩＣＰアルゴリズムによって、ウェイポイントマップの第２のウェイポイントにローカリゼーションを更新することを含む。

本開示のこの態様の実装例は、以下の任意選択の特徴のうちの１つ以上を含み得る。いくつかの実装例では、画像データは、三次元体積画像センサーによってキャプチャされた三次元点群データを含む。ここで、画像センサーは、ステレオカメラ、走査型光検出および測距（ＬＩＤＡＲ）センサー、または走査型レーザー検出および測距（ＬＡＤＡＲ）センサーのうちの１つ以上を含む。

いくつかの実施例では、第２のウェイポイントにローカリゼーションを更新することは、受信された画像データをウェイポイントマップの格納された画像データと比較することを含み、この格納された画像データは第２のウェイポイントに関連付けられている。任意選択で、第２のウェイポイントにローカリゼーションを更新することはまた、ローカリゼーションに関連付けられた位置が、ローカリゼーション距離閾値を満たしていることを判定することと、データ処理ハードウェアによって、運動学的データおよび慣性測定データに従って、当該位置でローカリゼーションを実行することと、を含み得る。ここで、ローカリゼーション距離閾値は、それぞれのウェイポイントからの距離を示す。

本開示の１つ以上の実装例の詳細が、添付図面および以下の説明において記述される。他の態様、特徴および利点は、説明および図面から、ならびに特許請求の範囲から明らかになるであろう。

ロボット環境内のロボットの一例の概略図である。 ロボットのためのマップの一例の概略図である。 ベイスンを有するマップの例示的なウェイポイントの概略図である。 マップ制約を有する例示的なマップの概略図である。 ロボットのための例示的なマップの概略図である。 ロボットのためのロボット環境トラバーサルを実施するための例示的な配置のフロー図である。 本明細書に記載のシステムおよび方法を実施するために使用され得る例示的なコンピューティングデバイスの概略図である。

様々な図面中の同様の参照符号は、同様の要素を示す。

図１は、ロボット環境１０の一例である。ロボット環境１０は、概して、マップ２００に従ってロボット１００によってトラバースされ得る何らかのタイプの地形に関連付けられた空間領域を指す。例えば、地形は、建物、通り、歩道、公園、路地、階段、ランプ、トンネルなどの都市の地形、道路、野原、丘、山、洞窟などの田舎の地形、洞窟、トンネルなどの地中の地形、またはそれらの任意の組み合わせである。ロボット１００は、ロボット１００がロボット環境１０を周囲に移動することを可能にする、ボディー１５０に取り付けられた脚および／または車輪などの移動ベースの構造体を含む。図１は、４つの脚１０３、１０４、１０６、１０８を有する四足歩行ロボットを示すが、ロボット１０は、ロボット環境１０をトラバースするための手段を提供する任意の数の脚または移動ベースの構造体（例えば、２つの脚を有する二足歩行もしくはヒューマノイドロボット）を含み得る。

いくつかの実装例では、ロボット１００は、コンピューティングハードウェア１１０と、少なくとも１つのセンサーシステム１２０と、を含む。コンピューティングハードウェア１１０は、概して、データ処理ハードウェア１１２と、メモリハードウェア１１４と、を含む。コンピューティングハードウェア１１０は、ロボットトラバーサルシステム１１６を制御するように構成されている。ロボットトラバーサルシステム１１６は、ロボット１００をロボット環境１０の周囲に移動させるために、ロボット１００の行動システム１０２を操作する。行動システム１０２は、概して、ロボット１００の行動を制御する（すなわち、実行する）ことに関与する。例えば、行動システム１０２は、様々な足跡パターン、脚パターン、体動パターン、または視覚システム感知パターンを制御する。ロボットトラバーサルシステム１１６は、ロボットトラバーサルシステム１１６に提供された少なくとも１つのマップ２００に基づいて、行動システム１０２を操作する。

トラバーサルシステム１１６は、ロボット１００のメモリハードウェア１１４と通信し、ロボット１００のデータ処理ハードウェア１１２を使用して行動システム１０２を操作するために、マップ２００を提供するように構成されている。いくつかの実施例では、メモリハードウェア１１４は、マップ２００をロボット１００上にローカルで格納する。他の実施例では、マップ２００は、トラバーサルシステム１１６によって、リモートで格納および／またはアクセスされる。例えば、トラバーサルシステム１１６は、ネットワーク１３０を介して、リモートシステム１４０と通信する。リモートシステム１４０は、リモートデータ処理ハードウェア１４４およびリモートメモリハードウェア１４６などのリモートリソース１４２を含むサーバまたはクラウドベースの環境であり得る。いくつかの実装例では、マップ２００は、リモートリソース１４２を使用して、リモートシステム１４０上で格納および／または処理され、ネットワーク１３０を介して、ロボット１００のトラバーサルシステム１１６に伝達される。さらに他の実施例では、マップ２００の様々な部分が、リモートで（例えば、リモートシステム１４０を介して）およびローカルで（例えば、コンピューティングハードウェア１１０を介して）処理および／または格納される。

センサーシステム１２０は、１つ以上のセンサー１２２、１２２ａ－ｎを含む。センサー１２２は、視覚／画像センサー、慣性センサー（例えば、慣性測定ユニット（ＩＭＵ））、および／または運動学的センサーを含み得る。センサー１２２のいくつかの例としては、ステレオカメラなどのカメラ、走査型光検出および測距（ＬＩＤＡＲ）センサー、または走査型レーザー検出および測距（ＬＡＤＡＲ）センサーが挙げられる。いくつかの実施例では、センサー１２２は、センサー１２２に対応する感知範囲または領域を画定する、対応する視野（複数可）Ｆ_Ｖを有する。例えば、図１は、ロボット１００の視野Ｆ_Ｖを示す。各センサー１２２は、センサー１２２が、例えば、１つ以上の軸（例えば、地面Ｇに関するｘ軸、ｙ軸、またはｚ軸）周りの視野Ｆ_Ｖを変更し得るように、枢動可能および／または回転可能であり得る。いくつかの実装例では、ロボット１００のボディー１５０は、ロボット１００の周りのすべての方向でセンサーデータ１２４を収集するために、ボディー１５０の周りに複数のセンサー１２２を有するセンサーシステム１２０を含む。例えば、図１に示される四足歩行ロボットは、胸部１２２ａ上のセンサー１２２と、各側部１２２ｎ上のセンサー１２２（片側のみが示されている）と、引き込み式の手１２２ｂの上のセンサー１２２と、を含む。ロボット１００は、ロボット１００の周りのロボット環境１０のセンサーデータ１２４を生成するために、センサーシステム１２０の一部として、任意の数のセンサー１２２を含み得る。

視野Ｆ_Ｖをセンサー１２２で調査するときに、センサーシステム１２０が、視野Ｆ_Ｖに対応するセンサーデータ１２４を生成する。いくつかの実施例では、センサーデータ１２４は、三次元体積画像センサー１２２によって生成された三次元体積点群に対応する画像データである。追加的または代替的に、ロボット１００がロボット環境１０の周囲を移動しているとき、センサーシステム１２０が、（例えば、ＩＭＵによって測定された）慣性測定データを含む、ロボット１００のポーズデータを収集する。いくつかの実施例では、ポーズデータは、ロボット１００に関する運動学的データおよび／または向きデータを含む。

ロボット環境１０に関する画像データ、ポーズデータ、慣性データ、運動学的データなどの、センサーシステム１２０によって収集されたセンサーデータ１２４は、ロボット１００のコンピューティングハードウェア１１０（例えば、データ処理ハードウェア１１２およびメモリハードウェア１１４）に伝達され得る。いくつかの実施例では、センサーシステム１２０は、センサーデータ１２４を収集および格納する（例えば、メモリハードウェア１１４、またはリモートリソース１４２のメモリハードウェア１４６内に）。他の実施例では、センサーシステム１２０は、センサーデータ１２４をリアルタイムで収集し、センサーデータ１２４を生で（すなわち、未処理で）格納せずに、センサーデータ１２４を処理する。さらに他の実施例では、コンピューティングハードウェア１１０および／またはリモートリソース１４２が、処理済みのセンサーデータ１２４と、生のセンサーデータ１２４との両方を格納する。

図２Ａ～図２Ｄは、ロボット１００および／またはリモートシステム１４０によって生成されたマップ２００、２００ａ－ｄの例である。各マップ２００は、ロボット１００を自律的に案内するために使用される環境（例えば、ロボット環境１０）を表す。ロボット１００が、図１に示すように、ロボット環境１０の周囲を移動するときに、センサーシステム１２０の１つ以上の視覚センサー１２２、１２２ａ－ｃによってキャプチャされたロボット環境１０の画像データ１２４を受信することによって、ロボット１００（またはリモートシステム１４０）が、マップ２００を生成する。いくつかの実施例では、ロボット１００が、コンピューティングハードウェア１１０を用いてマップ２００を生成する一方、他の実施例では、リモートシステム１４０が、リモートリソース１４２を用いてマップ２００を生成する。コンピューティングハードウェア１１０またはリモートシステム１４０のいずれかがマップ２００を生成すると、ロボット１００の行動システム１０２を実行するために、マップ２００が、トラバーサルシステム１１６に伝達される。ここで、行動システム１０２が、ロボット１００を、マップ２００に従ってロボット環境１０内をトラバースするように制御する。マップ２００は、ロボット環境１０をトラバースする同じロボット１００、または異なるロボットによって生成されてもよい。

マップ２００には、同様のセンサーシステム１２０を有する別のロボットに、即座に、繰り返し、および／または転送可能であるという利点がある。ここで、すべてのセンサーデータ１２４が収集されると、マップ２００は、最終的な最適化を必要としない。さらに、ロボット１００は、全地球測位情報またはビーコンからの他のナビゲーションデータなしに、マップ２００を使用してロボット環境１０を自律的にナビゲートすることができる。各マップ２００は、ロボット１００のシステム（もしくはリモートシステム１４０）によって自動的に処理されてもよく、または手動で処理されてもよい（例えば、ウェイポイント２１０、エッジ２２０、ベイスン２３０（図２Ｂ）、制約２４０（図２Ｃ）などを編集する）。これにより、マップ２００が、柔軟に追加のデータ（例えば、注釈２２２）を含むこと、または調整されたロボット行動（例えば、特徴のない領域内でＩＣＰのローカリゼーションを抑制すること）を提供することが可能になる。さらに、マップ２００のウェイポイント２１０またはエッジ２２０を（例えば、追加する、編集する、または削除することにより）変更することは、マップ２００の変更されていない部分に影響を及ぼさないはずなので、品質管理が容易である。

マップ２００は、ウェイポイント２１０と、ウェイポイント２１０間の接続を形成するエッジ２２０（ウェイポイントエッジとも呼ばれる）と、を含む。ウェイポイント２１０は、ロボット１００が、ロボット環境１０内の特定の場所で（例えば、自身のセンサーシステム１２０に従って）何を感知したかを表している。ロボット１００および／またはリモートシステム１４０は、ロボットのセンサーシステム１２０によって収集された画像データ１２４に基づいて、ウェイポイント２１０を生成する。マップ２００はウェイポイント２１０によって生成されるので、マップ２００は、局所的に一貫し得る（例えば、隣接するウェイポイントに起因して、領域内で空間的に一貫している）が、全体的に正確である、および／または一貫している必要はない。

画像データ１２４を用いて、ロボット１００および／またはリモートシステム１４０は、少なくとも１つのウェイポイントヒューリスティック２１２（図１）（例えば、ウェイポイントアルゴリズム）を実行する。少なくとも１つのウェイポイントヒューリスティック２１２は、マップ２００上へのウェイポイント配置をトリガーするように構成されている。例えば、ウェイポイントヒューリスティック２１２は、（例えば、マップ２００を生成または更新するときに）ロボット１００の位置における画像データ１２４内の閾値特徴検出を検出するように構成されている。ウェイポイントヒューリスティック２１２は、ロボット環境１０内の特徴を識別し得るものであり、この特徴は、ロボット１００がロボット環境１０の周囲を移動するための再現性を提供する信頼性の高い視覚センサーの特徴として機能する。例えば、ウェイポイントヒューリスティック２１２は、特徴認識のために事前にプログラムされている（例えば、格納された特徴でプログラムされている）か、または体積画像データ１２４の空間クラスタが発生する特徴（例えば、部屋の隅または壁の端）を識別するようにプログラムされている。少なくとも１つのウェイポイントヒューリスティック２１２がウェイポイント配置をトリガーすることに応答して、ロボット１００および／またはリモートシステム１４０が、マップ２００上のウェイポイント２１０を記録する。このウェイポイント識別プロセスは、ロボット１００が、手動で領域（例えば、ロボット環境１０）を通って駆動されるときに、繰り返され得る。いくつかの実施例では、ロボット１００および／またはリモートシステム１４０は、ロボット１００が（自身のセンサーシステム１２０を介して）以前に感知した領域について生成された複数のマップ２００を格納する。

各ウェイポイント２１０は、通常、ウェイポイントエッジ２２０に関連付けられている。より具体的には、エッジ２２０は、１つのウェイポイント２１０（例えば、第１のウェイポイント２１０ａ）が別のウェイポイント２１０（例えば、第２のウェイポイント２１０ｂ）にどのように関連しているかを示すように構成されている。例えば、エッジ２２０は、ウェイポイント２１０（例えば、隣接するウェイポイント２１０）間の位置関係を表す。言い換えれば、エッジ２２０は、２つのウェイポイント２１０間の接続である（例えば、エッジ２２０ａは、第１のウェイポイント２１０ａと、第２のウェイポイント２１０ｂとの間の接続として図２Ａに示されている）。例えば、エッジ２２０は、第１のウェイポイント２１０ａと、第２のウェイポイント２１０ｂとの間の経路（例えば、ロボット１００の移動経路）である。いくつかの実施例では、各エッジ２２０は、２つのウェイポイント２１０の間のエッジ２２０に沿って、ロボット１００がどのように移動するかを表すポーズ変換を含む。ポーズ変換は、環境内の１つの座標フレームの、別の座標フレームに対する位置および／または向きを説明し得る。いくつかの実装例では、エッジ２２０は、完全な三次元変換（例えば、６つの数値）を含む。これらの数値のいくつかは、例えば、推測航法ポーズ推定、視覚ベースの推定、またはロボット１００運動学および／もしくは慣性測定に基づく他の推定など、様々な推定値を含む。

いくつかの実施例では、エッジ２２０は、ロボット環境１０のさらなる指示／説明を提供する、エッジ２２０に関連付けられた注釈２２２を含む。注釈２２２のいくつかの例としては、エッジ２２０が階段上に位置しているか、または出入り口を横切っていることの説明または指示が挙げられる。これらの注釈２２２は、移動中、特に視覚情報が欠落または不足している場合（例えば、出入り口などの空洞）に、ロボット１００を支援し得る。いくつかの構成では、注釈２２２は、方向制約（ポーズ制約とも呼ばれ得る）を含む。注釈２２２の方向制約は、特定の環境特徴におけるロボット１００の位置合わせおよび／または向き（例えば、ポーズ）を指定し得る。例えば、注釈２２２は、階段に沿って進む、またはロボット１００が方向転換するのを制限し得る狭い廊下を進む前のロボット１００の特定の位置合わせまたはポーズを指定する。

いくつかの実装例では、マップ２００の各ウェイポイント２１０は、ロボット１００が、マップ２００を形成するロボット環境を感知したときに、ロボット１００のセンサーシステム１２０によって収集されたデータに対応するセンサーデータ１２４も含む。ここで、ウェイポイント２１０におけるセンサーデータ１２４は、ロボット１００が、マップ２００に従ってロボット環境１０をトラバースするときに収集されるリアルタイムセンサーデータ１２４を、マップ２００のウェイポイント２１０について格納されたセンサーデータ１２４と比較することによって、ロボット１００がローカライズすることを可能にする。いくつかの構成では、ロボット１００が（例えば、ターゲットウェイポイント２１０にいることを意図して）エッジ２２０に沿って移動した後に、ロボット１００は、リアルタイムセンサーデータ１２４をマップ２００（例えば、マップ２００の意図されたターゲットウェイポイント２１０に関連付けられたセンサーデータ１２４）と直接比較することによって、ローカライズするように構成されている。ここで、マップ２００のウェイポイント２１０に生の、または最小限の処理をしたほぼ生のセンサーデータ１２４を格納することにより、ロボット１００は、マップされたロボット環境１０内をロボット１００が移動するときに、リアルタイムセンサーデータ１２４を使用して、効率的にローカライズすることができる。いくつかの実施例では、反復最接近点（ＩＣＰ）アルゴリズムが、ウェイポイント２１０に関してロボット１００をローカライズする。

センサーデータ１２４は、マップ２００を使用してロボット環境１０を自律的にトラバースするためにロボット１００の初期化も可能にし得る。いくつかの実施例では、ロボット１００は、最初に、ウェイポイント２１０に対するロボット１００の（例えば、図２Ａに示されるような）初期ポーズＰ、Ｐ_Ｉを定義したヒントを受信する。ロボット１００は、このヒントを自動的に、またはロボット１００のオペレータから受信するように構成され得る。ここで、ポーズＰは、ロボット１００の運動学的位置および／または向きを指す。それぞれのウェイポイント２１０に対するロボット１００の初期ポーズＰ_Ｉで、ロボット１００は、エッジ２２０に沿って移動するようロボット１００に指示するトラバースシステム１１６からのコマンドに従って、マップ２００をトラバースする。例えば、図２Ａのマップ２００ａは、ロボット１００が、エッジ２２０ａ－ｆに沿ってウェイポイント２１０ａ－ｆ間を移動することを示す。

いくつかの構成では、マップ２００は、未処理のマップ２０２および／または処理済みのマップ２０４を含む。未処理のマップ２０２は、マップ２００の生成中にロボット１００のセンサーシステム１２０によって収集された生またはほぼ生のセンサーデータ１２４（例えば、図２Ａに点および／または点群として示されている）をすべて含むマップ２００である。対照的に、処理済みのマップ２０４は、ウェイポイント２１０のセンサーデータを、ウェイポイント２１０のすぐ隣りのウェイポイントと一緒に処理する。言い換えれば、処理済みのマップ２０４は、ロボット環境１０内の複数のウェイポイント２１０のデータなど、より広範囲のデータを含み得る。いくつかの実施例では、処理済みのマップ２０４は、ウェイポイント２１０およびエッジ２２０近くのノイズを低減して、自律トラバーサルの有効性を高める。例えば、図２Ａのマップ２００ａを参照すると、ウェイポイント２１０ａのセンサーデータ１２４は、隣接するウェイポイント２１０ｂ、２１０ｄのすべてのセンサーデータ１２４と一緒に処理されるであろう。いくつかの実施例では、処理済みのマップ２０４は、処理済みのマップ２０４の視覚的イメージとして、エッジ２２０に対応する点（例えば、体積点）を示す。一例として、所与のウェイポイント２１０ａについて、処理済みのマップ２０４を生成するロボット１００またはリモートシステム１４０（すなわち、処理システム）は、所与のウェイポイント２１０ａの隣接するウェイポイント２１０ｂ、２１０ｄを識別する。識別された隣接するウェイポイント２１０ｂ、２１０ｄに関して、トラバーサルシステム１１６は、ウェイポイント２１０ａ、２１０ｂ、２１０ｄに対応する三次元点群の三次元点が、三次元点群データによって表される画像の視覚的エッジに対応するかどうかを判定する。この判定に基づいて、トラバーサルシステム１１６が、三次元点群データによって表される画像の視覚的エッジに対応する三次元点を、所与のウェイポイント２１０ａに関連付ける。追加的または代替的に、処理済みのマップ２０４のための処理で、複数の見晴らしの利く地点からセンサーシステム１２０によって観察されなかったエッジ２２０に沿ったセンサーデータ１２４が削除される。

図２Ｂは、１つ以上のウェイポイント２１０の周りのベイスンゾーンを使用するマップ２００ｂの例である。ここで、ウェイポイント２１０は、対応するベイスン２３０を有して構成されている。ベイスン２３０は、ロボット１００が、ＩＣＰアルゴリズムを使用して、ウェイポイント２１０に対する自身の移動を決定する（例えば、２３０というラベルの付いた点線の円内の領域として図２Ｂに示されている）ウェイポイント２１０の周りの指定されたゾーンを指す。ＩＣＰアルゴリズムを使用することにより、ロボット１００は、自身の位置を微調整し得る。ロボット１００の位置Ｌが、対応するウェイポイント２１０のベイスン２３０の外にあることをロボット１００が判定すると、ロボット１００は、運動学および／または慣性測定を使用して、ロボット１００の動きを決定するように構成されている。示された実施例では、ロボット１００が第１の位置Ｌ_１にあるときには、ロボット１００は、ＩＣＰアルゴリズムを使用して、ロボット１００の動きを決定する。しかし、ロボット１００が第２の位置Ｌ_２にあるときには、ロボット１００は、運動学および／または慣性測定に従って、ロボット１００の動きを決定する。

いくつかの実施例では、ウェイポイント２１０内の領域は、ゴールゾーンと呼ばれる。ロボット１００がゴールゾーン内にある場合には、ロボット１００は、ウェイポイント２１０に正常にナビゲートしている。ウェイポイント２１０へ正常にナビゲートする（すなわち、ゴールゾーンへ入る）と、ロボット１００は、ロボット１００の経路に沿って、次のウェイポイント２１０に向かって移動し続けることができる。

いくつかの構成では、ローカリゼーションの品質が低い場合、トラバーサルシステム１１６は、マップ２００に従って、ロボット１００を自律的に誘導するのを中止することができる。この中止は、ベイスン２３０に基づいて、または、例えば、ローカリゼーション閾値（例えば、ロボット１００のオペレータがロボット１００を見失ったと判断した、ウェイポイント２１０からの位置Ｌ）に基づいて、発生する場合がある。例えば、ローカリゼーション閾値は、ＩＣＰアルゴリズムに基づいてローカリゼーションを実行するウェイポイント２１０の範囲の外にあると判定される、ウェイポイント２１０からの距離である。

追加的または代替的に、ロボット１００は、運動学、慣性測定、またはＩＣＰアルゴリズムに従ってナビゲートしながら、全地球測位（例えば、全地球測位システム（ＧＰＳ）受信機）を利用し得る。いくつかの実施例では、ロボット１００は、最初に、マップ２００を使用してロボット１００の初期進路を（例えば、ウェイポイント２１０間のエッジ２２０に沿って）決定するが、その後、ＧＰＳ受信機からロボット１００において受信されたＧＰＳ測定値を使用して、ナビゲーションを補足する（例えば、運動学、慣性測定、またはＩＣＰアルゴリズムを補足する）。いくつかの構成では、コンピューティングハードウェア１１０は、ＧＰＳ測定値を受信するように構成されている（例えば、コンピューティングハードウェア１１０は、ＧＰＳ受信機を有して構成されている）。補助ＧＰＳシステムは、ロボット１００が、屋外のロボット環境１０内でナビゲートしているときに、特に有用であり得る。ロボット１００は、ロボット１００が常時ＧＰＳシステムを使用するか、またはロボット１００が特定のロボット環境１０を検知したときに（例えば、ロボット１００が、隣接する特徴がより少ない屋外環境を感知したときに）ＧＰＳシステムを利用して、ナビゲーション入力を提供するように構成され得る。例えば、ローカリゼーションの品質が低い場合、ロボット１００は、ＧＰＳシステムをアクティブ化および／または使用して、ナビゲーション入力を提供する。いくつかの構成では、ＧＰＳシステムが、ロボット１００の経路を追跡する。これらの構成では、ＧＰＳ経路をマップ２００上のエッジ２２０と比較して、（例えば、トラバーサルシステム１１６を使用する自律ナビゲーションを微調整するために）トラバーサルシステム１１６にフィードバックを提供することができる。

図２Ｃを参照すると、いくつかの実装例では、マップ２００ｃは、マップ制約２４０、２４０ａ－ｂを含む。マップ制約２４０は、指定された、または仮想障害物でブロックされた領域内にロボット１００がそれるのを防止する仮想障害物を指す。言い換えれば、マップ制約２４０は、ロボット１００が、１つ以上のエッジ２２０に対応する移動経路から大幅に逸脱するのを防止するのに役立ち得る。マップ制約２４０は、記録された経路に対して配置されるか、オペレータによって手動で追加されるか、またはシーンの形状に基づいて事前に計算され得る。例えば、図２Ｃでは、エッジ２２０ａ－ｃは、廊下に対応し得る。ロボット１００が、ウェイポイント２１０ａ－ｃおよび廊下に対応するエッジ２２０ａ－ｃを有するマップ２００を記録したとき、ロボット１００は、廊下のいずれかの側の部屋および／または出入り口内に決して駆動されることはなかった。第１のマップ制約２４０ａおよび第２のマップ制約２４０ｂによって、これらの部屋をそれぞれの出入り口でブロックすることが有利であり得る。したがって、第１のマップ制約２４０ａおよび第２のマップ制約２４０ｂを用いて、ロボット１００が、エッジ２２０ａ－ｃを追随する際に、部屋に迷い込むのを防ぎ、それにより、ロボット１００が迷子になるか、またはコースから外れるのを防止すべきである。

図２Ｄは、トラバーサルシステム１１６が、追随するようにロボット１００を構成する、時間インデックス付きロボット軌道２５０を有するマップ２００ｄ（例えば、処理済みのマップ２０４）を示す。時間インデックス付きロボット軌道２５０は、ウェイポイント２１０間のロボット１００の移動軌道である。時間インデックス付きロボット軌道２５０は、トラバーサル経路２５０と呼ばれることもある。ここで、図２Ｄは、ロボット１００が現在位置付けられている（ウェイポイント２１０ａ内で「Ｘ」として示されている）第１のウェイポイント２１０ａから第３のウェイポイント２１０ｃに向かって指す矢印によって、時間インデックス付きロボット軌道２５０を示す。時間インデックス付きロボット軌道２５０をナビゲートするために、ロボット１００は、エッジ２２０ａ、２２０ｂをトラバースするであろう。

いくつかの実施例では、トラバーサルシステム１１６は、ロボット１００の移動のために、今後のウェイポイント２１０の全域で時間インデックス付きロボット軌道２５０を生成する。いくつかの実装例では、時間インデックス付きロボット軌道２５０のために、トラバーサルシステム１１６は、各ウェイポイント２１０におけるロボット１００の向きが、それぞれのウェイポイント２１０を通る経路の現在のエッジ２２０と次のエッジ２２０との中間であることを指定する。ここで、時間ｔは、軌道に起因して各ウェイポイント２１０に到達するための予想時間ｔ_ｅに基づいてもよい。ロボット１００が軌道２５０を進むとき、軌道２５０のための時間ｔ（例えば、第２のウェイポイント２１０ｂから第３のウェイポイント２１０ｃまで移動する時間ｔ_２）は、ロボット１００が各ウェイポイント２１０にいつ到達すべきかに関する更新された推定に基づいて、更新され得る。この構成では、ウェイポイント２１０に対応する時間ｔが現在の時間に近い場合、そのウェイポイントの時間が更新される。いくつかの実施例では、現在の時間がウェイポイント２１０に関連付けられた時間を経過した後、トラバーサルシステム１１６は、ウェイポイント２１０に到達したと見なし、続いて、ウェイポイント２１０を軌道から除外する。

追加的または代替的に、図２Ａおよび図２Ｃのマップ２００ａ、２００ｃに示されるように、エッジ２２０に関連付けられた注釈２２２は、ロボット１００が注釈２２２の方向制約に準拠するように、時間インデックス付きのロボット軌道に関連付けられたウェイポイント２１０におけるロボット１００の向きを変更し得る。これらの方向制約に基づいて、軌道内のウェイポイント２１０に対して、ロボット１００の向きも推定され得る。方向制約に照らして向きが間違っていると向き推定で判定された場合、ロボット１００が方向制約に準拠することを確実にするために、向きセグメント（例えば、その場旋回セグメント）が、時間インデックス付きロボット軌道に追加され得る。

図１に戻って参照すると、ロボット１００の行動システム１０２は、１つ以上のウェイポイント２１０に到達するためのゴール条件と制約条件とを含む経路記述２０６を、トラバーサルシステム１１６から任意選択で受信し得る。これらのゴール条件および制約条件に基づいて、ロボット１００は、調整された経路がゴール条件および制約条件を満たす限り、その経路を調整する能力を備えた経路記述２０６に従う。条件のいくつかの例としては、ターゲットウェイポイント２１０における、またはターゲットウェイポイント２１０の周りでのロボット１００の位置または向きを指定すること、またはターゲットウェイポイント２１０に進むための位置、向き、および／または速度を指定することが挙げられる。

図３は、マップ２００を構成するための方法３００の例示的な流れ図である。動作３０２で、方法３００は、ロボット環境１０内を移動しているロボット１００の周りのロボット環境１０の画像データ１２４を受信する。動作３０４で、方法３００は、少なくとも１つのウェイポイントヒューリスティック２１２を実行し、この少なくとも１つのウェイポイントヒューリスティック２１２は、ウェイポイントマップ２００上へのウェイポイント配置をトリガーするように構成されている。少なくとも１つのウェイポイントヒューリスティック２１２がウェイポイント配置をトリガーすることに応答して、動作３０６で、方法３００は、ウェイポイントマップ２００上にウェイポイント２１０を記録する。ここで、ウェイポイント２１０は、少なくとも１つのウェイポイントエッジ２２０に関連付けられており、ロボット１００のセンサーシステム１２０によって取得されたセンサーデータ１２４を含む。少なくとも１つのウェイポイントエッジ２２０は、２つのウェイポイント２１０間を移動する方法を表すポーズ変換を含み得る。

図４は、ウェイポイントマップ２００に関してロボット１００をローカライズするための方法４００の例示的な流れ図である。動作４０２で、方法４００は、ロボット環境１０内を移動しているロボット１００の周りのロボット環境１０の画像データ１２４を受信する。動作４０４で、方法４００は、受信された画像データ１２４に基づいて、ウェイポイントマップ２００の第１のウェイポイント２１０ａにローカライズするように構成された反復最接近点（ＩＣＰ）アルゴリズムを実行する。動作４０６で、方法４００は、ウェイポイントマップ２００の第１のウェイポイント２１０ａからウェイポイントマップ２００の第２のウェイポイント２１０ｂまでのトラバーサル経路２５０を実行する。動作４０４で、方法４００は、受信された画像データに基づき、ＩＣＰアルゴリズムによって、ウェイポイントマップ２００の第２のウェイポイント２１０ｂにローカリゼーションを更新する。

図５は、本明細書に記載のシステムおよび方法、例えば、行動システム１０２、コンピューティングハードウェア１１０、トラバーサルシステム１１６、または１リモートリソース１４２を実施するために使用され得る例示的なコンピューティングデバイス５００の概略図である。コンピューティングデバイス５００は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことが意図される。本明細書に示されている構成要素、それらの接続および関係、ならびにそれらの機能は、例示のみを意図しており、本明細書で説明および／または特許請求されている本発明の実装を制限することを意味するものではない。

コンピューティングデバイス５００は、プロセッサ５１０と、メモリ５２０と、ストレージデバイス５３０と、メモリ５２０および高速拡張ポート５５０に接続する高速インターフェース／コントローラー５４０と、低速バス５７０およびストレージデバイス５３０に接続する低速インターフェース／コントローラー５６０と、を含む。構成要素５１０、５２０、５３０、５４０，５５０、および５６０の各々は、様々なバスを使用して相互接続されており、共通のマザーボードに、または必要に応じて他の方法で取り付けられ得る。プロセッサ５１０は、グラフィカルユーザーインターフェース（ＧＵＩ）のためのグラフィカル情報を、高速インターフェース５４０に結合されたディスプレイ５８０などの外部入出力デバイス上に表示するために、メモリ５２０内またはストレージデバイス５３０上に格納された命令を含む、コンピューティングデバイス５００内で実行するための命令を処理し得る。他の実装例では、必要に応じて、複数のプロセッサおよび／または複数のバスが、複数のメモリおよび複数のタイプのメモリとともに使用され得る。また、複数のコンピューティングデバイス５００が、各デバイスが必要な動作の一部を提供する状態で（例えば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）、接続され得る。

メモリ５２０は、コンピューティングデバイス５００内に非一時的に情報を格納する。メモリ５２０は、コンピュータ可読媒体、揮発性メモリユニット（複数可）、または不揮発性メモリユニット（複数可）であり得る。非一時的メモリ５２０は、コンピューティングデバイス５００で使用するために、プログラム（例えば、命令のシーケンス）またはデータ（例えば、プログラム状態情報）を一時的または永続的に格納するために使用される物理デバイスであり得る。不揮発性メモリの例としては、以下に限定されないが、フラッシュメモリおよび読み取り専用メモリ（ＲＯＭ）／プログラム可能な読み取り専用メモリ（ＰＲＯＭ）／消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）／電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）（例えば、通常、ブートプログラムなどのファームウェアに使用される）が挙げられる。揮発性メモリの例としては、以下に限定されないが、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、相変化メモリ（ＰＣＭ）、ならびにディスクまたはテープが挙げられる。

ストレージデバイス５３０は、コンピューティングデバイス５００に大容量記憶装置を提供し得る。いくつかの実装例では、ストレージデバイス５３０は、コンピュータ可読媒体である。様々な異なる実装例では、ストレージデバイス５３０は、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリもしくは他の同様のソリッドステートメモリデバイス、またはストレージエリアネットワークもしくは他の構成のデバイスを含むデバイスのアレイであり得る。追加の実装例では、コンピュータプログラム製品は、情報担体内に実体的に具体化される。コンピュータプログラム製品は、実行されると、上記のような１つ以上の方法を実行する命令を含む。情報キャリアは、メモリ５２０、ストレージデバイス５３０、またはプロセッサ５１０上のメモリなどの、コンピュータ可読媒体または機械可読媒体である。

高速コントローラー５４０が、コンピューティングデバイス５００の帯域幅集中動作を管理する一方で、低速コントローラー５６０は、より低い帯域幅集中動作を管理する。そのようなデューティの割り当ては、例示にすぎない。いくつかの実装例では、高速コントローラー５４０は、メモリ５２０と、ディスプレイ５８０（例えば、グラフィックプロセッサまたはアクセラレータを介して）と、様々な拡張カード（図示せず）を受容する高速拡張ポート５５０と、に結合されている。いくつかの実装例では、低速コントローラー５６０は、ストレージデバイス５３０と、低速拡張ポート５９０と、に結合されている。様々な通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、イーサネット、ワイヤレスイーサネット）を含み得る低速拡張ポート５９０は、キーボード、ポインティングデバイス、スキャナーなどの１つ以上の入出力デバイスに、または、例えば、ネットワークアダプタを介して、スイッチもしくはルータなどのネットワーキングデバイスに結合され得る。

コンピューティングデバイス５００は、図に示すように、いくつかの異なる形態で実装され得る。例えば、コンピューティングデバイス５００は、標準のサーバ５００ａとして、もしくはそのようなサーバ５００ａのグループ内に複数回、ラップトップコンピューター５００ｂとして、またはラックサーバシステム５００ｃの一部として実装され得る。

本明細書に記載のシステムおよび技術の様々な実装は、デジタル電子および／もしくは光回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、ならびに／またはそれらの組み合わせで実現され得る。これらの様々な実装は、データおよび命令をストレージシステムから受信するため、かつデータおよび命令をストレージシステムに送信するために結合された、専用または汎用であってもよい、少なくとも１つのプログラマブルプロセッサと、少なくとも１つの入力デバイスと、少なくとも１つの出力デバイスと、を含むプログラマブルシステム上で実行可能および／または解釈可能な１つ以上のコンピュータプログラム内での実装を含み得る。

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られる）は、プログラマブルプロセッサ用の機械命令を含み、高レベル手続き型および／もしくはオブジェクト指向プログラミング言語で、ならびに／またはアセンブリ言語／機械語で実装され得る。本明細書で使用される場合、「機械可読媒体」および「コンピュータ可読媒体」という用語は、プログラマブルプロセッサに機械命令および／またはデータを提供するために使用される任意のコンピュータプログラム製品、非一時的なコンピュータ可読媒体、装置、および／またはデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械命令を機械可読信号として受け取る機械可読媒体を含む。「機械可読信号」という用語は、プログラマブルプロセッサに機械命令および／またはデータを提供するために使用される任意の信号を指す。

本明細書で説明されるプロセスおよびロジックフローは、入力データを処理して出力を生成することによって機能を実行するために、１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって実行され得る。プロセスおよびロジックフローはまた、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）などの専用論理回路によっても実行され得る。コンピュータプログラムの実行に好適なプロセッサには、例として、汎用および専用マイクロプロセッサの両方、ならびに任意の種類のデジタルコンピュータのうちの任意の１つ以上のプロセッサが含まれる。概して、プロセッサは、読み取り専用メモリもしくはランダムアクセスメモリ、またはその両方から命令および／またはデータを受信することになる。コンピュータの必須要素は、命令を実行するためのプロセッサ、ならびに命令およびデータを格納するための１つ以上のメモリデバイスである。概して、コンピュータはまた、データを格納するための１つ以上の大容量ストレージデバイス、例えば、磁気ディスク、光磁気ディスク、もしくは光ディスクを含むか、または大容量ストレージデバイスからデータを受信、もしくはデータを転送、またはその両方を行うように動作可能に結合される。しかしながら、コンピュータは必ずしもそのようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを格納するための好適なコンピュータ可読媒体には、すべての形態の不揮発性メモリ、媒体、およびメモリデバイスが含まれ、例としては、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイスなどの半導体メモリデバイス、例えば、内蔵ハードディスクまたは取り外し可能ディスクなどの磁気ディスク、光磁気ディスク、ならびにＣＤ ＲＯＭディスクおよびＤＶＤ－ＲＯＭディスクが挙げられる。プロセッサおよびメモリは、専用論理回路によって補足されるか、または専用論理回路に組み込まれ得る。

ユーザとの相互作用を提供するために、本開示の１つ以上の態様は、ユーザに情報を表示するための、例えば、ＣＲＴ（陰極線管）、ＬＣＤ（液晶ディスプレイ）モニタ、もしくはタッチスクリーンなどの表示デバイス、ならびに任意選択で、ユーザがコンピュータに入力を提供できるキーボード、および、例えば、マウスもしくはトラックボールなどのポインティングデバイスを有するコンピュータ上に実装され得る。他の種類のデバイスを使用して、ユーザとの相互作用を提供することもでき、例えば、ユーザに提供されるフィードバックは、例えば、視覚的フィードバック、聴覚的フィードバック、または触覚的フィードバックなどの任意の形態の感覚フィードバックであり得、ユーザからの入力は、音響、音声、または触覚入力を含む任意の形態で受け取ることができる。さらに、コンピュータは、ユーザによって使用されるデバイスにドキュメントを送信し、当該デバイスからドキュメントを受信することによって、例えば、ウェブブラウザから受信された要求に応答して、ユーザのクライアントデバイス上のウェブブラウザにウェブページを送信することによって、ユーザと相互作用することができる。

多数の実装態様が説明されてきた。それでもなお、本発明の趣旨および範囲から逸脱することなく、様々な修正が行われ得ることが理解されよう。したがって、他の実装は、以下の特許請求の範囲内にある。

Claims (28)

1. 方法（３００）であって、
   環境（１０）内を移動しているロボット（１００）のセンサーデータ（１２４）をデータ処理ハードウェア（１１２）で受信することと、
   ウェイポイントマップ（２００）上へのウェイポイントの配置をトリガーするように構成されている少なくとも１つのウェイポイントヒューリスティック（２１２）を、前記センサーデータ（１２４）に基づいて、前記データ処理ハードウェア（１１２）によって実行することと、
   前記少なくとも１つのウェイポイントヒューリスティック（２１２）の実行に基づいて、前記データ処理ハードウェア（１１２）によって、
   少なくとも１つのウェイポイントエッジ（２２０）に関連付けられており、かつ前記センサーデータ（１２４）の少なくとも一部に関連付けられている、前記ウェイポイントマップ（２００）上の前記ウェイポイント（２１０）、および
   前記ウェイポイントのベイスンゾーンを記録することであって、前記ロボット（１００）が反復最接近点（ＩＣＰ）アルゴリズムを使用するように構成されている前記ウェイポイントに対する領域を画定する前記ベイスンゾーンを記録することと、
   前記ロボットの位置が前記ベイスンゾーン内にあるかどうかを判定することと、
   前記ロボットの前記位置が前記ベイスンゾーン内にあるかどうかを判定することに基づいて、前記ロボットの動きを決定するための複数のアルゴリズムからアルゴリズムを決定することと
   を含む、方法（３００）。
2. 前記センサーデータ（１２４）が、三次元体積画像センサー（１２２）によってキャプチャされた三次元点群データを含む、請求項１に記載の方法（３００）。
3. 前記三次元体積画像センサー（１２２）が、ステレオカメラ、走査型光検出および測距（ＬＩＤＡＲ）センサー、または走査型レーザー検出および測距（ＬＡＤＡＲ）センサーのうちの１つ以上を備える、請求項２に記載の方法（３００）。
4. 前記少なくとも１つのウェイポイントヒューリスティック（２１２）が、前記ロボット（１００）の現在位置での前記センサーデータ（１２４）内の特徴を検出するように構成されている、請求項１～３のいずれか一項に記載の方法（３００）。
5. 前記ウェイポイント（２１０）の前記センサーデータ（１２４）が、
   三次元体積画像センサー（１２２）によってキャプチャされた三次元点群データと、
   前記ロボット（１００）の慣性測定ユニット（ＩＭＵ）によって測定された慣性測定データ（１２４）を含むポーズデータ（１２４）と、を含む、請求項１～４のいずれか一項に記載の方法（３００）。
6. 所与のウェイポイント（２１０）について、
   前記所与のウェイポイント（２１０）に隣接するウェイポイント（２１０）を識別することと、
   前記所与のウェイポイント（２１０）および前記隣接するウェイポイント（２１０）の前記三次元点群データの三次元点を、三次元点の集合として識別することと、
   前記三次元点の集合の前記三次元点が、前記三次元点群データによって表される画像の視覚的エッジに対応するかどうかを判定することと、
   前記三次元点群データによって表される前記画像の前記視覚的エッジに対応する前記三次元点の集合の前記三次元点を、前記所与のウェイポイント（２１０）に関連付けることと、をさらに含む、請求項５に記載の方法（３００）。
7. 前記ウェイポイント（２１０）が、前記ロボット（１００）に、前記ウェイポイント（２１０）において方向付けられたポーズを達成させるように構成されたロボットポーズ制約（２４０）を含む、請求項１～６のいずれか一項に記載の方法（３００）。
8. 前記ウェイポイントマップ（２００）の複数のウェイポイントが、空間的に一貫する、請求項１～７のいずれか一項に記載の方法（３００）。
9. 前記ウェイポイントエッジ（２２０）が、前記環境（１０）の空間的特徴を示す注釈を含む、請求項１に記載の方法（３００）。
10. ロボット（１００）であって、
    前記ロボット（１００）を環境（１０）の周囲に操縦するように構成された駆動システムと、
    前記駆動システムと通信するデータ処理ハードウェア（１１２）と、
    前記データ処理ハードウェア（１１２）と通信するメモリハードウェア（１１４）と、
    を備え、前記メモリハードウェア（１１４）が、前記データ処理ハードウェア（１１２）上で実行されると、前記データ処理ハードウェア（１１２）に、
    前記環境（１０）内で移動している前記ロボット（１００）のセンサーデータ（１２４）を受信することと、
    ウェイポイントマップ（２００）上へのウェイポイントの配置をトリガーするように構成されている少なくとも１つのウェイポイントヒューリスティック（２１２）を前記センサーデータ（１２４）に基づいて実行することと、
    前記少なくとも１つのウェイポイントヒューリスティック（２１２）の実行に基づいて、
    少なくとも１つのウェイポイントエッジ（２２０）に関連付けられており、かつ前記センサーデータ（１２４）の少なくとも一部に関連付けられている、前記ウェイポイントマップ（２００）上の前記ウェイポイント（２１０）、および、
    前記ウェイポイントのベイスンゾーンを記録することであって、前記ロボット（１００）が反復最接近点（ＩＣＰ）アルゴリズムを使用するように構成されている前記ウェイポイントに対する領域を画定する前記ベイスンゾーンを記録することと、
    前記ロボットの位置が前記ベイスンゾーン内にあるかどうかを判定することと、
    前記ロボットの前記位置が前記ベイスンゾーン内にあるかどうかを判定することに基づいて、前記ロボットの動きを決定するための複数のアルゴリズムからアルゴリズムを決定することと
    を含む動作を実行させる命令を格納している、ロボット（１００）。
11. 前記センサーデータ（１２４）が、三次元体積画像センサー（１２２）によってキャプチャされた三次元点群データを含む、請求項１０に記載のロボット（１００）。
12. 前記画像センサーが、ステレオカメラ、走査型光検出および測距（ＬＩＤＡＲ）センサー、または走査型レーザー検出および測距（ＬＡＤＡＲ）センサーのうちの１つ以上を備える、請求項１１に記載のロボット（１００）。
13. 前記少なくとも１つのウェイポイントヒューリスティック（２１２）が、前記ロボット（１００）の現在位置における前記センサーデータ（１２４）内の特徴を検出するように構成されている、請求項１０～１２のいずれか一項に記載のロボット（１００）。
14. 前記ウェイポイント（２１０）の前記センサーデータ（１２４）が、
    三次元体積画像センサー（１２２）によってキャプチャされた三次元点群データと、
    前記ロボット（１００）の慣性測定ユニット（ＩＭＵ）によって測定された慣性測定データ（１２４）を含むポーズデータ（１２４）と、を含む、請求項１０～１３のいずれか一項に記載のロボット（１００）。
15. 前記動作が、所与のウェイポイント（２１０）について、
    前記所与のウェイポイント（２１０）に隣接するウェイポイント（２１０）を識別することと、
    前記所与のウェイポイント（２１０）および前記隣接するウェイポイント（２１０）の前記三次元点群データの三次元点を、三次元点の集合として識別することと、
    前記三次元点の集合の前記三次元点が、前記三次元点群データによって表される画像の視覚的エッジに対応するかどうかを判定することと、
    前記三次元点群データによって表される前記画像の前記視覚的エッジに対応する前記三次元点の集合の前記三次元点を、前記所与のウェイポイント（２１０）に関連付けることと、をさらに含む、請求項１４に記載のロボット（１００）。
16. 前記ウェイポイント（２１０）が、前記ロボット（１００）に、前記ウェイポイント（２１０）において方向付けられたポーズを達成させるように構成されたロボットポーズ制約（２４０）を含む、請求項１０～１５のいずれか一項に記載のロボット（１００）。
17. 前記ウェイポイントマップ（２００）の複数のウェイポイントが、空間的に一貫する、請求項１０～１６のいずれか一項に記載のロボット（１００）。
18. 前記ウェイポイントエッジが、前記環境（１０）の空間的特徴を示す注釈を含む、請求項１０～１７のいずれかに記載のロボット（１００）。
19. 方法（４００）であって、
    環境（１０）内を移動しているロボット（１００）の前記環境（１０）の画像データ（１２４）をデータ処理ハードウェア（１１２）で受信することと、
    前記ロボットの位置がウェイポイントマップの第１のウェイポイントのベイスンゾーン内にあるかどうかを判定することと、
    前記ロボットの前記位置が前記ベイスンゾーン内にあるかどうかを判定することに基づいて、前記ロボットのローカリゼーションを決定するための複数のアルゴリズムからアルゴリズムを決定することと、
    前記アルゴリズムを決定することに基づいて、前記受信された画像データ（１２４）に基づいて前記第１のウェイポイント（２１０ａ）にローカライズするように構成された反復最接近点（ＩＣＰ）アルゴリズムを、前記データ処理ハードウェア（１１２）によって、実行することと、
    前記ウェイポイントマップ（２００）の前記第１のウェイポイント（２１０ａ）から前記ウェイポイントマップ（２００）の第２のウェイポイント（２１０ｂ）までのトラバーサル経路（２５０）を、前記データ処理ハードウェア（１１２）によって実行することと、
    前記受信された画像データ（１２４）に基づいて、前記ＩＣＰアルゴリズムにより、前記ウェイポイントマップ（２００）の前記第２のウェイポイント（２１０ｂ）に前記ローカリゼーションを、前記データ処理ハードウェア（１１２）によって更新することと、を含む、方法（４００）。
20. 前記画像データ（１２４）が、三次元体積画像センサー（１２２）によってキャプチャされた三次元点群データを含む、請求項１９に記載の方法（４００）。
21. 前記画像センサー（１２２）が、ステレオカメラ、走査型光検出および測距（ＬＩＤＡＲ）センサー、または走査型レーザー検出および測距（ＬＡＤＡＲ）センサーのうちの１つ以上を備える、請求項２０に記載の方法（４００）。
22. 前記第２のウェイポイント（２１０ｂ）に前記ローカリゼーションを更新することが、前記受信された画像データ（１２４）を前記ウェイポイントマップ（２００）の格納された画像データ（１２４）と比較することをさらに含み、前記格納された画像データ（１２４）が前記第２のウェイポイント（２１０ｂ）に関連付けられている、請求項１９～２１のいずれか一項に記載の方法（４００）。
23. 前記第２のウェイポイント（２１０ｂ）に前記ローカリゼーションを更新することが、
    前記ロボットの位置が前記第２のウェイポイントの第２のベイスンゾーン内にあるかどうかを判定することと、
    前記ロボットの前記位置が前記第２のベイスンゾーン内にあるかどうかを判定することに基づいて、前記ロボットの前記ローカリゼーションを決定するための複数のアルゴリズムから第２のアルゴリズムを決定することと、
    前記第２のアルゴリズムに基づいて、前記データ処理ハードウェア（１１２）によって、運動学的データ（１２４）および慣性測定データ（１２４）に従って、前記位置でローカリゼーションを実行することと、をさらに含む、請求項１９～２２のいずれか一項に記載の方法（４００）。
24. ロボット（１００）であって、
    ボディー（１５０）と、
    前記ボディー（１５０）に結合され、前記ロボット（１００）を環境（１０）の周囲に移動させるように構成された脚（１０３、１０４、１０６、１０８）と、
    前記脚（１０３、１０４、１０６、１０８）と通信するデータ処理ハードウェア（１１２）と、
    前記データ処理ハードウェア（１１２）と通信するメモリハードウェア（１１４）と、
    を備え、前記メモリハードウェア（１１４）が、前記データ処理ハードウェア（１１２）上で実行されると、前記データ処理ハードウェア（１１２）に、
    環境（１０）内を移動しているロボット（１００）の前記環境（１０）の画像データ（１２４）を受信することと、
    前記ロボットの位置がウェイポイントマップの第１のウェイポイントのベイスンゾーン内にあるかどうかを判定することと、
    前記ロボットの前記位置が前記ベイスンゾーン内にあるかどうかを判定することに基づいて、前記ロボットのローカリゼーションを決定するための複数のアルゴリズムからアルゴリズムを決定することと、
    前記アルゴリズムを決定することに基づいて、前記受信された画像データ（１２４）に基づいて前記第１のウェイポイント（２１０ａ）にローカライズするように構成された反復最接近点（ＩＣＰ）アルゴリズムを実行することと、
    前記ウェイポイントマップ（２００）の前記第１のウェイポイント（２１０ａ）から前記ウェイポイントマップ（２００）の第２のウェイポイント（２１０ｂ）までのトラバーサル経路（２５０）を実行することと、
    前記受信された画像データ（１２４）に基づき、前記ＩＣＰアルゴリズムによって、前記ウェイポイントマップ（２００）の前記第２のウェイポイント（２１０ｂ）に前記ローカリゼーションを更新することと、を含む動作を実行させる命令を格納する、ロボット（１００）。
25. 前記画像データ（１２４）が、三次元体積画像センサー（１２２）によってキャプチャされた三次元点群データを含む、請求項２４に記載のロボット（１００）。
26. 前記画像センサーが、ステレオカメラ、走査型光検出および測距（ＬＩＤＡＲ）センサー、または走査型レーザー検出および測距（ＬＡＤＡＲ）センサーのうちの１つ以上を備える、請求項２５に記載のロボット（１００）。
27. 前記第２のウェイポイント（２１０ｂ）に前記ローカリゼーションを更新することが、前記受信された画像データ（１２４）を前記ウェイポイントマップ（２００）の格納された画像データ（１２４）と比較することをさらに含み、前記格納された画像データ（１２４）が前記第２のウェイポイント（２１０ｂ）に関連付けられている、請求項２４～２６のいずれか一項に記載のロボット（１００）。
28. 前記第２のウェイポイント（２１０ｂ）に前記ローカリゼーションを更新することが、
    前記ロボットの位置が前記第２のウェイポイントの第２のベイスンゾーン内にあるかどうかを判定することと、
    前記ロボットの前記位置が前記第２のベイスンゾーン内にあるかどうかを判定することに基づいて、前記ロボットの前記ローカリゼーションを決定するための複数のアルゴリズムから第２のアルゴリズムを決定することと、
    前記第２のアルゴリズムに基づいて、前記データ処理ハードウェア（１１２）によって、運動学的データ（１２４）および慣性測定データ（１２４）に従って、前記位置でローカリゼーションを実行することと、をさらに含む、請求項２４～２７のいずれか一項に記載のロボット（１００）。
    
    

Images