JP2023538946A - マルチエージェント地図生成 - Google Patents

Abstract

環境の地図を生成するシステムであって、システムは複数のエージェントを含み、複数のエージェントは、距離センサを含む地図作成システムにより捕捉された地図作成データを取得する。地図作成データは、環境の三次元表現を示し、環境の部分を表現するフレームを生成するのに使用される。エージェントは、他のエージェントから他のフレームデータを受信し、他のフレームデバイスは、他のエージェントの地図作成システムにより捕捉された他の地図作成データを使用して生成された環境の部分を表す他のフレームを示す。次いで各エージェントは、フレーム及び他のフレームを使用して、環境の各部分を示すノードを生成し、ノードを相互接続するエッジを計算することにより、環境の地図を表すグラフを生成し、エッジはノード間の空間オフセットを示す。

Description

本発明は、環境の地図を生成するシステム及び方法に関し、特に、環境内の複数のエージェントを使用して環境の地図を生成するシステム及び方法に関する。

本明細書における任意の先行公開（若しくはそこから導出される情報）又は既知の任意の事柄への参照も、その先行公開（若しくはそこから導出される情報）又は既知の任意の事柄が、本明細書が関連する努力分野における一般知識の一部をなすことの承認、認可、又はあらゆる形態の示唆ではなく、そのようなものとして決して解釈されるべきではない。

三次元（３Ｄ）地図作成システムを装備した自律車両等のエージェントを使用して、環境の地図を生成することが知られている。そのようなシステムは典型的には、ＬｉＤＡＲ距離スキャナ等の距離センサを使用し、距離センサは、反射されたレーザ光を測定して、環境の部分の距離を見つけ、そしてこの情報は、点群の作成に使用される。例えば同時自己位置推定・地図作成（ＳＬＡＭ）アルゴリズムを使用した距離データの適宜分析により、エージェントは環境内で自己位置推定することができ、環境の地図を生成しながら、エージェントが環境内をナビゲートできるようにする。

そのような地図の生成は幾つかの不正確性を受ける。例えば、環境内のエージェントの軌跡は多くの場合、慣性センサを使用して追跡され、慣性センサはドリフトを受け、その上、距離検知プロセス及び生成されたデータの分析における不正確性は、完全には正確ではない地図に繋がり得る。更なる問題は、環境を走行し地図作成プロセスに時間がかかり得ることであり、これは特に、捜索救助状況等の用途で問題である。さらに、幾つかの場合、環境は走行が困難なことがあり、エージェントが、それ自体の固有の能力に起因して環境の一部しか走行できないことを意味する。これは、環境の幾つかの部分の地図作成を妨げるのみならず、生成される地図の正確性にも影響し得、例えば、地図の正確性改善を支援することができるループ閉じ込みを妨げ得る。

複数のエージェントを使用して地図作成を実行する試みがなされてきたが、これらは、単一の大域地図を生成するオフラインバッチ手法に頼る。これは正確な地図を生成することができるが、主に、他の要件を織り込んだ後、問題にとって実現不可能になる計算要件の線形増大に繋がる記帳要件の結果として、上手く拡大縮小されず、一定の時間期間後、リアルタイムで実行することができず、容易に共有されない。

広義の一形態において、本発明の一態様は、環境の地図を生成するシステムを提供しようとし、本システムは複数のエージェントを含み、各エージェントは１つ又は複数の処理デバイスを含み、１つ又は複数の処理デバイスは、距離センサを含む地図作成システムにより捕捉された地図作成データを取得することであって、地図作成データは、環境の三次元表現を示す、取得することと、地図作成データを使用して環境の部分を表現するフレームを生成することと、１つ又は複数の他のエージェントから他のフレームデータを受信することであって、他のフレームデータは、１つ又は複数の他のエージェントの地図作成システムにより捕捉された他の地図作成データを使用して生成された環境の部分を表す他のフレームを示す、受信することと、環境の地図を表すグラフを生成することであって、フレーム及び他のフレームを使用してノードを生成することであって、各ノードは環境の各部分を示す、生成すること、及びノードを相互接続するエッジを計算することであって、エッジはノード間の空間オフセットを示す、計算すること、を行うことにより、グラフを生成することと、を行うように構成される。

一実施形態において、各エージェントは、エージェントにより捕捉された地図作成データを使用して基づき生成されたフレーム、及び１つ又は複数の他のエージェントにより捕捉された他の地図作成データを使用して生成された他のフレーム、に基づいて独立した各グラフを維持する。

一実施形態において、１つ又は複数の処理デバイスは、フレームを使用して初期グラフを生成することと、追加のノード又はエッジを生成すること、及びグラフ内のエッジを改良することの少なくとも一方を行うことにより、追加のフレーム及び他のフレームを使用してグラフを更新することと、を行うように構成される。

一実施形態において、１つ又は複数の処理デバイスは、エージェントが走行した軌跡を少なくとも部分的に使用してグラフを決定するように構成される。

一実施形態において、各エージェントにより生成されるグラフは、エージェントが走行した局所的に正確な軌跡に基づき、他のエージェントにより生成されたグラフと大域的に一貫する。

一実施形態において、１つ又は複数の処理デバイスは、１つ又は複数の慣性位置センサ、及び距離センサからの信号の使用、の少なくとも一方を使用して軌跡を特定するように構成される。

一実施形態において、１つ又は複数の処理デバイスは、少なくとも部分的に軌跡を使用してノードを相互接続するエッジを計算するように構成される。１つ又は複数の処理デバイスは、地図作成データを区分化することによりフレームを生成するように構成される、請求項１～７の何れか一項に記載のシステム。

一実施形態において、１つ又は複数の処理デバイスは、地図作成データの捕捉時間、地図作成データの捕捉持続時間、地図作成データの捕捉中に走行した距離、地図作成データの捕捉中に走行した回転、及び地図作成データのカバレッジ、の少なくとも１つに基づいてフレームを生成するように構成される。

一実施形態において、１つ又は複数の処理デバイスは、エージェントが走行した軌跡を区分化することと、軌跡区分を使用してフレームを生成することと、を行うように構成される。

一実施形態において、１つ又は複数の処理デバイスは、フレームを分析することと、分析の結果に基づいてノードを生成することと、を行うように構成される。

一実施形態において、１つ又は複数の処理デバイスは、幾つかの親ノードを生成することであって、各親ノードは環境の異なる部分を表す、生成することと、幾つかの子ノードを生成することであって、各子ノードは親ノードと関連し、関連する親ノードにより表される環境の部分と同であるか、又は部分と重複する環境の部分を表す、生成することと、を行うように構成される。

一実施形態において、子ノードは、一定の幾何学的変換を通して親ノードに関連する。

一実施形態において、１つ又は複数の処理デバイスは、ノードと関連するフレーム間の重複の程度、及びノードと関連するフレームの捕捉間の移動の程度、の少なくとも一方に基づいて子ノード及び親ノードを識別するように構成される。

一実施形態において、１つ又は複数の処理デバイスは、親ノード間に延びるエッジを計算して、グラフを生成するように構成される。

一実施形態において、１つ又は複数の処理デバイスは、ノード間のエッジを生成することと、エッジが子ノードに接続される場合、子ノードと関連する親ノードまでエッジを伸ばすことと、を行うように構成される。

一実施形態において、１つ又は複数の処理デバイスは、子ノードと親ノードとの間の幾何学的変換を使用してエッジを伸ばすように構成される。

一実施形態において、１つ又は複数の処理デバイスは、ノード間のエッジを計算することと、反復最適化プロセスを使用してエッジを改良することと、を行うように構成される。

一実施形態において、１つ又は複数の処理デバイスは、局所化ドリフト手法、ループ閉じ込み、及び場所認識の少なくとも１つを使用してエッジを計算するように構成される。

一実施形態において、１つ又は複数の処理デバイスは、エージェントが走行した軌跡を使用することによりエッジを計算して、ノード間の空間オフセットを計算するように構成される。

一実施形態において、１つ又は複数の処理デバイスは、位置合わせプロセスを使用して、異なるノードのフレームを位置合わせすることと、位置合わせを使用してエッジを計算することと、を行うことによりエッジを計算するように構成される。

一実施形態において、１つ又は複数処理デバイスは、反復最近傍点アルゴリズムを使用して位置合わせプロセスを実行するように構成される。

一実施形態において、１つ又は複数の処理デバイスは、マッチングプロセスを使用して、潜在的に一致するノードを識別することと、潜在的に一致するノードを使用して、ループ閉じ込み及び場所認識の少なくとも一方を実行することと、を行うように構成される。

一実施形態において、１つ又は複数の処理デバイスは、ノードを１つ又は複数の他のノードと比較することと、比較の結果に基づいてランキングを生成することであって、ランキングは、ノードと１つ又は複数の他のノードとの間の類似度を示す、生成することと、を行うことによりマッチングプロセスを実行するように構成される。

一実施形態において、１つ又は複数の処理デバイスは、ノードのシグネチャを計算することであって、シグネチャは、ノードと関連するフレームの１つ又は複数の特徴に基づく、計算することと、シグネチャを他のノードの他のシグネチャと比較することと、を行うことにより、ノードを１つ又は複数の他のノードと比較するように構成される。

一実施形態において、１つ又は複数の処理デバイスは、ノードと関連するフレームの低次元表現を使用して、ノードのシグネチャを導出するように構成される。

一実施形態において、１つ又は複数の処理デバイスは、ノードが環境の異なる部分を表し、親ノード又は子ノードとして指定することができるか否かの判断、グラフトポロジの生成、１つ又は複数のエッジの生成、ループ閉じ込みの実行、及び場所認識の実行、の少なくとも１つにランキングを使用するように構成される。

一実施形態において、１つ又は複数の処理デバイスは、マッチングプロセスの結果を使用して１つ又は複数のグラフトポロジ候補を生成することと、グラフトポロジと関連するノード間の重複に基づいて、少なくとも１つのグラフトポロジ候補を検証することと、検証されたグラフトポロジに従って１つ又は複数のエッジを計算することと、を行うように構成される。

一実施形態において、１つ又は複数の処理デバイスは、１つ又は複数の新しいフレームを示すフレームデータを取得することと、新しい各フレーム対応するノード候補を生成することと、エッジ候補を計算することであって、エージェントが走行した軌跡、位置合わせプロセス、及びマッチングプロセス、の少なくとも１つを使用して計算する、計算することと、グラフを更新することであって、ノード候補に基づいて１つ又は複数のノードを追加すること、及びエッジ候補に基づいて１つ又は複数のエッジを追加又は更新すること、の少なくとも一方により更新する、更新することと、を行うように構成される。

一実施形態において、１つ又は複数の処理デバイスは、グラフにおける変更を識別することであって、変更は、ノードの追加、エッジの追加、及びエッジの更新の少なくとも１つを含む、識別することと、グラフにおける変更を評価することと、評価の結果に基づいてグラフを選択的に更新することと、を行うように構成される。

一実施形態において、１つ又は複数の処理デバイスは、グラフの少なくとも幾つかの部分と関連する信頼値を計算することと、信頼値に基づいてグラフを選択的に更新することと、を行うように構成される。

一実施形態において、ノードが新しいノードであるか、又は新しいエッジの近傍にある場合、１つ又は複数の処理デバイスは、近傍のノード及びエッジと関連する信頼値を査定することと、信頼値が閾値を超える場合、近傍のノード及びエッジとの位置合わせマッチングを実行することと、位置合わせマッチングの結果に基づいて新しいエッジを生成することと、信頼値が閾値を下回る場合、マッチングを実行して、潜在的に一致するノードを識別することと、を行うように構成される。

一実施形態において、１つ又は複数の処理デバイスは、グラフにおけるエッジと関連する推定誤差を計算することと、推定誤差に基づいて信頼値を生成すること及び少なくとも部分的に推定誤差を使用してグラフを最適化することの少なくとも一方を行うことと、を行うように構成される。

一実施形態において、１つ又は複数の処理デバイスは、高推定誤差を有するエッジを識別することと、グラフ予測を使用して、識別されたエッジを検証することと、を行うことにより最適化を実行するように構成される。

一実施形態において、１つ又は複数の処理デバイスは、グラフが結果に収束するまで、最適化手法を使用してグラフを繰り返し解くように構成される。

一実施形態において、１つ又は複数の処理デバイスは、エッジの最小二乗誤差を最適化するエッジの制約に基づいてグラフを解くことと、エッジと関連する誤差を更新することと、グラフが収束するまで、解くステップ及び更新するステップを繰り返すことと、を行うように構成される。

一実施形態において、１つ又は複数の処理デバイスは、１つ又は複数の他のエージェントからフレームマニフェストを取得することであって、フレームマニフェストは、１つ又は複数の他のエージェントが利用可能なフレームを示す、取得することと、フレームマニフェストに従って１つ又は複数の他のエージェントからフレームを要求することと、を行うように構成される。

一実施形態において、１つ又は複数の処理デバイスは、１つ又は複数の他のエージェントからマニフェスト要求を受信することと、マニフェスト要求に応答してフレームマニフェストを提供することと、を行うように構成される。

一実施形態において、１つ又は複数の処理デバイスは、１つ又は複数の他のエージェントからフレーム要求を受信することであって、フレーム要求は１つ又は複数の要求されたフレームを示す、受信することと、フレーム要求に応答してフレームデータを提供することと、を行うように構成される。

一実施形態において、フレームのフレームデータは、フレームのより低次元の表現、及びフレームのサーフェル表現、の少なくとも一方である。

一実施形態において、エージェントは自律車両を含む。

広義の一形態において、本発明の一態様は、環境の地図を生成する方法を提供しようとし、本方法は、各々が１つ又は複数の処理デバイスを含む複数のエージェントにおいて、距離センサを含む地図作成システムにより捕捉された地図作成データを取得することであって、地図作成データは、環境の三次元表現を示す、取得することと、地図作成データを使用して環境の部分を表現するフレームを生成することと、１つ又は複数の他のエージェントから他のフレームデータを受信することであって、他のフレームデータは、１つ又は複数の他のエージェントの地図作成システムにより捕捉された他の地図作成データを使用して生成された環境の部分を表す他のフレームを示す、受信することと、環境の地図を表すグラフを生成することであって、フレーム及び他のフレームを使用してノードを生成することであって、各ノードは環境の各部分を示す、生成すること、及びノードを相互接続するエッジを計算することであって、エッジはノード間の空間オフセットを示す、計算すること、を行うことにより、グラフを生成することと、を含む。

広義の一形態において、本発明の一態様は、環境の地図を生成するコンピュータプログラム製品を提供しようとし、本コンピュータプログラム製品はコンピュータ実行可能コードを含み、コンピュータ実行可能コードは、複数のエージェントに提供される１つ又は複数の適宜プログラムされた処理デバイスで実行されると、１つ又は複数の処理デバイスに、距離センサを含む地図作成システムにより捕捉された地図作成データを取得することであって、地図作成データは、環境の三次元表現を示す、取得することと、地図作成データを使用して環境の部分を表現するフレームを生成することと、１つ又は複数の他のエージェントから他のフレームデータを受信することであって、他のフレームデータは、１つ又は複数の他のエージェントの地図作成システムにより捕捉された他の地図作成データを使用して生成された環境の部分を表す他のフレームを示す、受信することと、環境の地図を表すグラフを生成することであって、フレーム及び他のフレームを使用してノードを生成することであって、各ノードは環境の各部分を示す、生成すること、及びノードを相互接続するエッジを計算することであって、エッジはノード間の空間オフセットを示す、計算すること、を行うことにより、グラフを生成することと、を行わせる。

本発明の広義の形態及びそれらの各特徴が併せて使用されてもよく、且つ／又は独立して使用されてもよく、別個の広義の形態への言及が限定を意図しないことが理解されよう。さらに、本方法の特徴がシステム又は装置を使用して実行することが可能であり、システム又は装置の特徴が方法を使用して実施することが可能なことが理解されよう。

本発明の種々の例及び実施形態について添付図面を参照してこれより説明する。

環境の地図作成システムの一例の模式図である。 環境の地図作成方法の一例のフローチャートである。 エージェントの更なる例の模式図である。 環境の地図作成方法の更なる例のフローチャートである。 グラフの一例の最適化の一例を示す模式図である。 グラフの一例の最適化の一例を示す模式図である。 グラフの一例の最適化の一例を示す模式図である。 グラフの一例の最適化の一例を示す模式図である。 グラフの一例の最適化の一例を示す模式図である。 ノードをグラフに追加する方法の一例のフローチャートである。 グラフの一例への子ノードの追加の一例を示す模式図である。 グラフの一例への子ノードの追加の一例を示す模式図である。 グラフの一例への子ノードの追加の一例を示す模式図である。 グラフの一例への子ノードの追加の一例を示す模式図である。 グラフエッジを生成する方法の一例のフローチャートである。 他のエージェントから他のフレームを取得する方法の一例のフローチャートである。 異なるフレーム間の関係を特定する手法の例を示す模式図である。 異なるフレーム間の関係を特定する手法の例を示す模式図である。 異なるフレーム間の関係を特定する手法の例を示す模式図である。 異なるフレーム間の関係を特定する方法の一例のフローチャートである。 環境の地図作成方法の具体例のフローチャートである。 環境の地図作成方法の具体例のフローチャートである。 環境の地図作成方法の具体例のフローチャートである。

環境の地図作成システムの一例について図１を参照してこれより説明する。

この例では、システム１００は、環境Ｅ内に複数のエージェント１１０を含む。エージェント１１０の性質及び数は、環境Ｅの性質及び特定の用途等の様々な要因に応じて様々である。例えば、エージェント１１０は、自律車両、ロボット、無人航空機（ＵＡＶ）等を含むことができるが、個人（人間）又は車両により運ばれる地図作成システムを含むこともできる。同じタイプの複数のエージェントを使用することができるが、他の例では、異なるタイプのエージェントの組合せを使用することができ、異なる形態の移動を使用して、例えば航空ドローンと地上ドローンとの組合せを使用して、環境の異なる部分を走行することが可能になる。環境Ｅは自然環境であるとともに、屋外エリア等、オープンであってもよく、又は洞窟等、囲まれていてもよい。環境Ｅは追加且つ／又は代替として、建物、地下鉱山等の建築された環境であってもよく、又は自然環境と建築された環境との組合せであってもよい。

エージェント１１０の性質を問わず、各エージェント１１０は典型的には、ＬｉＤＡＲセンサ、立体視システム等の距離センサを含む地図作成システム１１２を含む。さらに、各エージェントは、典型的には１つ又は複数の処理システムの一部をなす１つ又は複数の電子処理デバイス１１１を含み、１つ又は複数の処理デバイス１１１は、地図作成システム１１２の距離センサから信号を受信し、これらを使用して、環境の地図を生成し、且つ／又は環境を通るエージェントのナビゲーションを制御するように構成される。特定の一例において、これは、エージェントにＳＬＡＭ型アルゴリズムを実施させて、同時自己位置推定及び地図作成を実行させることを含む。

各エージェントは複数の処理デバイスを使用することができ、処理はデバイスの１つ又は複数により実行されるが、説明を容易にするために、以下の例では単一の処理デバイスを参照する。それにも関わらず、単一の処理デバイスの参照が、複数の処理デバイスを包含し、その逆も同様であることが理解されるべきであることが理解され、処理はデバイス間に適宜分散される。さらに、処理デバイスは、任意の適した形態であることができ、マイクロプロセッサ、マイクロチッププロセッサ、論理ゲート構成、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）等の論理実装と任意に関連するファームウェア、又は任意の他の電子デバイス、システム、若しくは配置を含むことができる。

エージェントは、互いと通信し、情報を交換するようにも構成され、これは、無線ポイントツーポイント通信、通信ネットワークを介した通信等の任意の適した通信システムを使用して達成することができる。一例では、これは、ネットワークにおける各ノードとしてエージェントの各々を使用して確立される無線メッシュネットワークを使用して達成することができるが、これは必須ではなく、他の手法を使用することも可能である。

地図作成プロセスの一例について図２を参照してより詳細にこれより説明する。

この例では、ステップ２００において、処理デバイス１１１は、地図作成システム１１２により捕捉された地図作成データを取得する。地図作成データは、環境の三次元表現を示し、点群等の形態であり得る。地図作成データは、地図作成システム１１２から直接受信してもよく、又はメモリ等から取り出されてもよい。地図作成データは、必要に応じて処理を受けて、例えば距離センサにより収集された距離情報を処理し、距離情報を点群又は他の同様のフォーマットに変換し得る。

ステップ２１０において、処理デバイス１１１は、地図作成データを使用して環境の部分を表現するフレームを生成する。個々のフレームは典型的には、地図作成データの一部から形成された部分地図を表し、定義された時間間隔中、定義されたエージェント走行量にわたって、等に収集された地図作成データを表し得る。

ステップ２２０において、処理デバイス１１１は、１つ又は複数の他のエージェント１１０から他のフレームデータを受信する。他のフレームデータは、１つ又は複数の他のエージェント１１０の地図作成システム１１２により捕捉された他の地図作成データを使用して生成された、環境Ｅの各部分を表す他のフレームを示す。これは、各エージェント１１０が典型的には、エージェントが走行中の環境Ｅの１つ又は複数の部分を表すフレームを生成し、次いでこれらのフレームを他のエージェントに送信し、各エージェントが環境全体の地図を確立できるようにすることが理解されよう。フレームは定期的に送信することができるが、より典型的には、要求に応答して送信され、それにより、より詳細に後述するように、送信帯域幅要件を最小化する。

エージェントが幾つかのフレームを有すると、処理デバイス１１１はフレームを使用して、環境の地図を表すグラフを生成する。これを達成するために、ステップ２３０において、処理デバイス１１１は、フレーム及び他のフレームを使用してノードを生成し、各ノードは環境の各部分を示す。これに続き、又は同時に、処理デバイス１１１は、ステップ２４０においてノードを相互接続するエッジも計算し、エッジはノード間の空間オフセットを示す。

地図を生成するプロセスは典型的には、例えばマッチング技法を使用することにより又は環境内のエージェントの移動を追跡することにより、環境の一意の部分に対応するフレームを識別することを含む。次いで、フレームの位置合わせの実行及び／又はエージェントの移動の追跡等の多様な異なる技法を使用して、これらのノード間の空間関係を識別することにより、ノードが生成される。

したがって、上記プロセスにより、各エージェントは、エージェントによって局所的に取得されたフレーム及び他のエージェントによりリモートに取得された他のフレームに基づいて、環境の地図を生成することができる。これにより、各エージェントはエージェントが走行した環境の部分を含む各地図を生成することができ、環境の他の部分は、他のエージェントから受信されたフレームに基づいて完成される。エージェントが環境内を移動するにつれて、このプロセスを続けることができ、それにより、各エージェントが環境の各自の地図を徐々に確立し、各エージェントが環境の部分しか走行していないにも関わらず、この地図が最終的に環境全体をカバーすることが理解されよう。したがって、上記手法により、各エージェントは、各エージェントが環境全体を走行する必要なく、環境全体の地図を作成することができる。

さらに、上記手法は地図作成の正確性改善に役立つことができる。これに関して、追加のフレームが利用可能になるにつれて、これらを新しいノードとして、関連する新しいエッジと共にグラフに組み込むことができる。次いで最適化手法はこの追加情報を使用することができ、それにより生成される地図は、追加されるフレームの数が増えるにつれて次第に正確になる。一例では、これは、より詳細に後述するように、計算されたエッジ内の誤差を最小化するように構成された反復最適化手法を使用して実行することができる。

各地図は各エージェントによって独立して構築されるため、これは、各地図が、他のエージェントによって生成された地図と比較してばらつき得ることを意味する。特に、任意の１つエージェントによって生成された地図は、他のエージェントによって生成されたグラフと大域的に一貫しながら、そのエージェントが走行した局所的に正確な軌跡に基づく。これは、エージェントが環境内の位置を全体としてより広く理解できるようにしながら、その周囲の局所環境内でのエージェントによる正確なナビゲーションのために地図を使用することができることを保証するのに役立つ。エージェントが、まだ走行していない環境の部分に移動するにつれて、大域地図を使用してルートを確立することができ、エージェント自体の内部地図は、エージェントが環境を通して移動するにつれて最適化され、それにより、そのエージェントの局所軌跡に基づいて地図の正確性を上げる。

上記から、これにより、複数のエージェントからのデータに依拠して環境の地図をより迅速に確立することができるとともに、地図が、例えば一種類のエージェントによっては走行することができない異なる地形をカバーできるようにすることが理解されよう。これは、様々な異なる地形及び／又は障害物を含む、それまで地図作成されていない広い領域を迅速に捜索する必要があり得る捜索救助状況等の用途で特に重要である。

さらに、エージェントが各自の地図を作成することにより、各エージェントは、環境内の自身の軌跡及び他のフレームへの関係を考慮に入れて地図を構築するプロセスを最適化して、地図の構築に必要な分析量を最小化することができ、そしてこれをスケーラブルにリアルタイムで実施できるようにする。これにより、既存の技法を使用しては達成できない、大規模環境内のリアルタイムでの地図作成及びナビゲーションを可能にする。

幾つかの更なる特徴についてこれより説明する。

先に触れたように、各エージェントは、そのエージェントによって捕捉された地図作成データを使用して生成されたフレームと、１つ又は複数の他のエージェントによって捕捉された他の地図作成データを使用して生成された他のフレームとに基づいて、それぞれ独立したグラフを維持する。

一例では、処理デバイスは、フレームを使用して初期グラフを生成し、次いで追加のノードを生成し、且つ／又はグラフ内にエッジを追加又はグラフ内のエッジを改良することにより、追加のフレーム及び他のフレームを使用してグラフを徐々に更新するように構成される。したがって、更なるフレームがエージェント又は他のエージェントによって取得されるにつれて、これらを地図に組み込むことができ、追加データとしての、環境の新しい部分に対応する新しいノード及び関連するエッジの追加及び既存のエッジの改良により、グラフの最適化を改良することができる。

一例では、処理デバイスは、少なくとも部分的に、エージェントが走行した軌跡を使用してグラフを決定するように構成され、これは、各エージェントによって生成されたグラフが局所的に正確な軌跡に基づくことを保証するのに役立つことができる。これに関して、処理デバイスは、典型的にはエージェントに搭載されて提供される１つ又は複数の慣性位置センサを使用して軌跡を特定して、ナビゲーションを支援するように構成することができ、且つ／又は距離センサからの信号を使用すること、例えばＳＬＡＭアルゴリズム等を使用して環境を通しての移動を追跡することを含むことができる。次いで、エージェントが走行した軌跡の知識を使用して、グラフにおいてノードを相互接続するエッジを計算することができる。例えば、エージェントによって捕捉されたフレームに基づく２つのノードの場合、処理デバイスは、フレーム捕捉間にエージェントが辿った軌跡を使用して、フレーム間の空間オフセットを推定し、ひいてはエッジを生成することができる。

追加且つ／又は代替として、エッジは、異なるフレーム間の位置合わせを調べることにより、例えば異なるノードのフレームにおける重複間の幾何学的変換を計算することにより生成することができる。一例では、これらのプロセスは併せて実行され、したがって、軌跡を使用して空間オフセットを推定し、２つのノード間のエッジ候補を生成し、これは２つのノード間の位置合わせを使用して改良される。

一例では、処理デバイスは、地図作成データを区分化することによってフレームを生成するように構成される。地図作成データを区分化するプロセスは、エージェントの性質及び好ましい実施等の要因に応じて、幾つかの方法のいずれか１つで実行することができる。例えば、区分化は、地図作成データの捕捉時間又は捕捉持続時間に基づいて実行することができ、例えば、５秒間隔等に基づいて地図作成データを区分化する。追加且つ／又は代替として、区分化は、地図作成データの捕捉中に走行された距離又は回転に基づいて実行することができ、例えば５～１０ｍの走行ごとに又は３０°を越える回転等に続けて新しいフレームを生成する。区分化は、地図作成データのカバレッジ等に基づいて実行することもできる。特定の一例では、処理デバイスは、エージェントが走行した軌跡を区分化し、次いで軌跡区分を使用してフレームを生成するように構成することができる。いずれの場合でも、使用される特定の手法が、環境の性質及び／又はエージェントの性質に応じて様々であり得、それにより、高速で移動するエージェントほど、より頻繁に区分化を実行し得ることが理解されよう。

フレームが生成されると、処理デバイスは、フレームを分析し、分析の結果に基づいてノードを生成するように構成することができる。ノードは、任意の適切な形態であることができ、典型的には、例えばノードに、メモリ内の他の場所に記憶されたフレームへのポインタを含ませることにより、各フレームと関連するデータの全てをノードの一部として記憶することを必要とせずに、フレームを表現するのに使用される。

各ノードは典型的には各フレームに生成される。しかしながら、かなりの重複があり、ひいてはフレーム間に冗長がある場合、正確な地図を生成するために、全てのフレームが必要とされるわけではなく、したがって、処理デバイスは、地図生成プロセスの一部として幾つかのフレームのみを処理するように構成される。

一例では、これは、他のフレームと大きく異なり、したがって地図生成に有意義に寄与するフレームのみのノードを生成することによって達成することができる。より典型的には、全てのフレームのノードが生成されるが、ノードの幾つかのみが地図最適化に使用される。これは任意の適した様式で達成することができるが、一例では、処理デバイスは、ノードを分析し、分析結果を使用して親ノード及び子ノードを生成するように構成される。親ノードは、環境の異なる部分を表すのに使用され、一方、子ノードは親ノードと関連し、関連する親ノードによって表される環境の部分と同じであるか、又は大きく重複する環境の部分を表す。したがって例えば、建物の地図を作成する場合、親ノードは、異なる部屋等の異なる各エリアに生成することができ、一方、部屋内で捕捉された異なるビューに対応する子ノードが生成される。このように親ノードと子ノードとを差別化することにより、例えば親ノード間に延びるエッジを計算してグラフを生成することにより、親ノードのみに基づいて最適化を実行することができ、それにより、地図を構築し最適化する計算複雑性を大幅に低減することができる。それにも関わらず、子ノードと関連する情報は保持することができ、必要な場合には利用されて、地図内の不明瞭さの解決を支援することができる。

処理デバイスは、好ましい実施に応じて幾つかの異なる手法を使用して、子ノードと親ノードとを差別化するように構成することができる。例えば、これは、ノードと関連するフレーム間の類似又は重複の程度に基づくことができ、又はノードと関連するフレームの捕捉間の移動の程度に基づくことができる。

一般に、子ノードは、例えば親ノード及び子ノードが捕捉されたときの異なる視点に基づいて、一定の幾何学的変換を通して親ノードと関連する。この場合、地図構築時、処理デバイスは、ノード間にエッジを生成し、エッジが子ノードに接続される場合、エッジをその子ノードと関連する親ノードに伸ばすように構成することができる。したがって例えば、子ノードの捕捉と別の親ノードの捕捉との間のエージェントの軌跡が既知である場合、これを使用して、子ノードと他の親ノードとの間にエッジを確立することができる。このエッジが作成されると、エッジは、子ノードと親ノードとの間の幾何学的変換を使用して、子ノードの親ノードに伸ばすことができ、それにより、エッジが親ノードと他の親ノードとの間に作成される。

地図作成時、処理デバイスは典型的には、ノード間のエッジを計算し、次いで反復最適化プロセスを使用してエッジを改良するように構成される。これに関して、エッジが最初に構築されるとき、これらは様々な不正確性を受ける。例えば、エッジが軌跡の慣性検知に基づいて生成される場合、これは、センサのドリフト又は不正確性等に起因して不正確であり得る。しかしながら、より詳細に後述するように、グラフ内の複数のエッジを調べ、異なるノード間の位置合わせ等のグラフの他の態様又は全体グラフトポロジを見ることにより、これを使用してエッジを再計算することができ、エッジの誤差を低減し、ひいては生成されるグラフの正確性を上げる。

処理デバイスは、局所化ドリフト（ｌｏｃａｌｉｓｅｄ ｄｒｉｆｔ）手法、ループ閉じ込み、又は場所認識等の多様な技法を使用してエッジを計算するように構成することができる。これに関して、局所化ドリフト手法は典型的には、エージェントが走行した軌跡及び／又はノード間の位置合わせを調べ、一方、ループ閉じ込み及び場所認識は典型的には、位置合わせプロセスを使用してエッジを生成して、地図内のノードの類似性に基づいてマッチングを使用する。しかしながら、ループ閉じ込みは、捜索する半径はより大きいが、局所化ドリフト手法と同じように検出することもできることに留意する。

したがって、局所化ドリフト手法を実行する場合、処理デバイスは、エージェントが走行した軌跡を使用してノード間の空間オフセットを計算することにより、エッジを計算するように構成することができる。これに続き、位置合わせプロセスを使用して、異なるノードのフレームを位置合わせし、次いで位置合わせを使用してエッジを計算することができる。したがって、軌跡は、潜在的な空間オフセットを識別する最初のパスとして使用され、これは、例えば反復最近傍点アルゴリズム又は他の適した手法を使用して異なるノードと関連するフレームの位置合わせに基づいて改良される。軌跡をこのように使用することは、位置合わせプロセスを制約することができ、これをより計算的に高価ではない方法で実行できるようにするが、これは必須ではなく、代替的には位置合わせは軌跡のみを使用して又は例えば軌跡が利用可能ではないか、若しくは信頼できないと思われる場合、軌跡に関係なく実行することができることが理解されよう。上記プロセスは、親ノードを使用して実行されてもよく、１つ若しくは複数の子ノードを使用してもよく、生成されるエッジは必要に応じて親ノードに伸びる。

代替的には、軌跡が利用可能ではなく、且つ／又は位置合わせを実行することができない場合、処理デバイスはマッチングプロセスを使用して、潜在的に一致するノードを識別し、次いで潜在的に一致するノードを使用して、ループ閉じ込み及び／又は場所認識を実行することができる。例えば、グラフ内の２つのノードが一致する場合、これはグラフ内にループが存在することを示すことができる。

処理デバイスは典型的には、ノードを１つ又は複数の他のノードと比較することによってマッチングプロセスを実行するように構成される。一般に、この比較プロセスは、典型的にはフレームのサーフェル表現等のフレームの低次元表現を使用して、ノードと関連するフレームから導出されるシグネチャを使用して実行される。この例では、処理デバイスは典型的には、フレームの１つ又は複数の特徴に基づいてノードのシグネチャを計算し、次いでシグネチャを他のノードの他のシグネチャと比較する。シグネチャは、定義された特徴セットに基づくベクトルの形態であることができ、ベクトル空間における最近傍分析を使用して比較を実行できるようにするが、他の手法を使用してもよいことが理解されよう。これに関して、ノードが最初に作成されるとき、シグネチャを生成して記憶することができ、したがって、グラフ内の既存の各ノードのシグネチャが記憶され、新しいノードが追加されたとき、このプロセスを迅速に実行できるようにする。

比較プロセスの結果を使用して、ランキングを生成することができる。ランキングは、ノードと１つ又は複数の他のノードとの間の類似の程度を示し、したがって、比較されたノードが同じ又は重複ノードである尤度を示すのに使用することができる。これにより、ランキングを使用して、例えば、潜在的に一致するノードの識別、ノードが環境の異なる部分を表すか否か及びノードが親ノード又は子ノードとして指定できるか否かの判断、グラフトポロジの生成、１つ又は複数のエッジの生成、ループ閉じ込み又は場所認識の実行等を行うことができる。

一例では、処理デバイスは、マッチングプロセスの結果を使用して１つ又は複数のグラフトポロジ候補を生成するように構成される。例えば、これを使用して、異なる潜在的なノード空間配置に基づいて幾つかの異なるエッジ候補を生成することができる。これに続き、処理デバイスは、グラフトポロジと関連するノード間の重複に基づいて少なくとも１つのグラフトポロジ候補を検証し、次いで検証されたグラフトポロジに従って１つ又は複数のエッジを計算する。したがって、実際には、処理デバイスは、潜在的なグラフトポロジの複数の仮説を作成し、仮説に適合する十分なノードが作成され、分析されたとき、仮説の１つを検証する。

上記プロセスは、全てのノードが識別された場合、実行することができるが、より典型的には、追加のフレームが捕捉され、且つ／又は他のエージェントから受信されるにつれて、グラフは徐々に作成される。

この場合、処理デバイスは、１つ又は複数の新しいフレームを示すフレームデータを取得し、新しい各フレームに対応するノード候補を生成するように構成される。次いで処理デバイスは、利用可能なデータに応じて、フレームを捕捉したエージェントが走行した軌跡、位置合わせプロセス、及び／又はマッチングプロセスの使用等の適した手法を使用してエッジ候補を計算しようとする。したがって、グラフにおける既存のノードへの軌跡が利用可能ではなく、且つ／又は位置合わせを実行することができない場合、マッチングプロセスを使用して、ノードがグラフのどこに組み込まれるべきかの識別を試みることができる。例えば、フレームが環境の異なる部分における別のエージェントから受信した最初のフレームである場合に生じ得る、フレームがマッチングできないか、又は他に追加できない場合、これは、将来、時宜を得たときに分析するために保持される必要があり得る。その他の場合、処理デバイスは、ノード候補に基づいて１つ又は複数のノードを追加し、且つ／又はエッジ候補に基づいて１つ又は複数のエッジを追加又は更新することにより、グラフを更新することができる。

ノード及び／又はエッジが追加されると、処理デバイスは、ノードの追加、エッジの追加、又はエッジの更新等のグラフにおける変更を識別し、次いでグラフにおけるこれらの変更を評価することができる。これは、変更における誤差の可能性を査定するのに使用することができ、処理デバイスが評価の結果に基づいてグラフを選択的に更新できるようにする。したがって、ノード及びエッジが追加又は修正されるにつれて、変更が評価されて、変更が正確であるか否かを調べ、正確ではない場合、所望の正確性レベルが達成されるまで、最適化手法を使用してグラフの部分を修正することができる。一例では、これは、典型的には１つ又は複数のエッジと関連する推定誤差に基づいて、グラフの少なくとも幾つかの部分と関連する信頼値を計算し、次いで信頼値に基づいてグラフを選択的に更新することによって実行することができる。

一例では、ノードが新しいノードであるか、又は新しいエッジの近傍にある場合、処理デバイスは、付近のノード及びエッジと関連する信頼値を査定する。信頼値が閾値を超える場合、処理デバイスは付近のノード及びエッジとの位置合わせマッチングを実行し、位置合わせマッチングの結果に基づいて新しいエッジを生成する。したがって、典型的には計算的に高価である位置合わせマッチングは、ノードがグラフに正確に位置決めされている高度の確実性がある場合のみ実行し得、エッジをより高度の正確性で計算できるようにする。そうではなく、信頼値が閾値を下回る場合、処理デバイスはマッチングを実行して、他の一致する潜在的なノードを識別することができ、これを場所認識及び／又はループ閉じ込めに使用することができる。

一例では、処理デバイスは、グラフにおけるエッジと関連する推定誤差を計算し、次いで推定誤差に基づいて信頼値を生成し、且つ／又は少なくとも部分的に推定誤差を使用してグラフを最適化するように構成される。具体的には、処理デバイスは、高推定誤差を有するエッジを識別し、次いでグラフ予測を使用して、識別されたエッジを検証することによって最適化を実行するように構成することができる。

最適化は、グラフが結果に収束するまで最適化手法を使用してグラフを繰り返し解くことにより、特にエッジの最小二乗誤差を最適化するエッジ制約に基づいてグラフを解き、エッジと関連する誤差を更新し、グラフが収束するまで解くステップ及び更新するステップを繰り返すことにより達成することができる。

先に触れたように、各エージェントは、他のエージェントからのフレームを使用してグラフを生成することが可能である。これを達成するために、エージェントは、必要に応じて捕捉されたフレームに関する情報を交換可能でなければならない。エージェントは、捕捉されたフレームをブロードキャストすることができるが、エージェントは限られた時間にしか通信範囲内にいないことがあり得、したがって、これはフレーム欠損に繋がり得るとともに、大量の帯域幅を必要とし得る。

したがって、より典型的には、異なるエージェントの処理デバイスは、１つ又は複数の他のエージェントから、１つ又は複数の他のエージェントが利用可能なフレームを示すフレームマニフェストを取得し、次いでフレームマニフェストに従って１つ又は複数の他のエージェントからフレームを要求するように構成される。これを達成するために、各処理デバイスは、１つ又は複数の他のエージェントからマニフェスト要求を受信し、次いでマニフェスト要求に応答してフレームマニフェストを提供するように構成される。フレームマニフェストは、エージェントが捕捉したフレームのみならず、エージェントが他のエージェントから受信したフレームも含め、エージェントが保有している全てのフレームの指示を含む。これにより、各エージェントはフレームマニフェストを使用して、生成されたフレームでまだ受信していないフレームを識別することができ、それにより、エージェントはこれらを必要に応じて要求することができる。

これに関して、各エージェントの処理デバイスは、１つ又は複数の他のエージェントから、１つ又は複数の要求されるフレームを示すフレーム要求を受信し、フレーム要求に応答してフレームデータを提供するように構成される。したがって、フレーム要求は、そのエージェントによって捕捉されたフレーム及び／又はエージェントが保有している他のエージェントによって捕捉されたフレームに対する要求であることができる。これにより、エージェントは、１つ又は複数の介在エージェントを介して直接通信していなかったエージェントからフレームを受信することができ、各エージェントがフレームの大域的完全リストを確立可能なことを保証する。

先に触れたように、一例では、エージェントは自律車両を含み、エージェントの一例を図３により詳細に示す。

この例では、エージェント３１０は、地上車両等のモバイルプラットフォームに搭載されて配置される少なくとも１つの電子処理デバイス３１１を含み、電子処理デバイス３１１は、車両周囲の環境のスキャンを実行して、環境の３Ｄ地図（即ち点群）を構築するように構成された地図作成システム３１２に結合される。一例では、地図作成システムは、Ｖｅｌｏｄｙｎｅ製のＶＬＰ－１６ ３Ｄ ＬｉＤＡＲ等の３Ｄ ＬｉＤＡＲセンサを含む。

処理デバイス３１１は、ＩＭＵ（慣性測定ユニット）等の慣性検知デバイス３１３、エージェントの移動を制御できるようにする制御システム３１４、及び１つ又は複数の他のセンサ３１５にも結合される。これは、追加の安全制御のための近接センサ又は例えば環境の点群表現に色を加えるために、環境の画像を捕捉できるようにする撮像デバイス等を含むことができる。

処理デバイス３１１は、無線インターフェース等の外部インターフェース３１６にも接続されて、例えばモバイル通信ネットワーク、４Ｇ若しくは５Ｇネットワーク、ＷｉＦｉネットワーク等の１つ若しくは複数の通信ネットワークを介して又はＢｌｕｅｔｏｏｔｈ等の直接ポイントツーポイント接続を介して、他のエージェントと無線通信できるようにする。

電子処理デバイス３１１はメモリ３１７にも結合され、メモリ３１７は、処理デバイス３１１によって実行可能であり、必要とされるプロセスを実行できるようにするアプリケーションソフトウェアを記憶する。アプリケーションソフトウェアは、１つ又は複数のソフトウェアモジュールを含み得、オペレーティングシステム環境等の適した実行環境で実行し得る。メモリ３１７は、地図作成データ及びフレームデータを必要に応じて記憶することができるとともに、任意の生成された地図を記憶することができるように構成することもできる。メモリが揮発性メモリ、不揮発性メモリ、又はそれらの組合せを必要に応じて含むことができることが理解されよう。

以下の例のために仮定される上記構成は必須ではなく、多くの他の構成も使用可能なことが理解されよう。例えば、エージェントはこの場合、車輪車両として示されているが、これは必須ではなく、ＵＡＶ等を含む多様なエージェントが使用可能であることが理解されよう。

環境の地図を表すグラフを生成するプロセスの一例について図４を参照してこれより説明する。

この例では、ステップ４００において、エージェント３１０は、搭載された地図作成システム３１２及び慣性センサ３１３を使用して地図作成データ及び軌跡データを取得する。ステップ４１０において、処理デバイス３１１は、走行時間又は走行距離に基づいて軌跡を区分化し、ステップ４２０において、これを使用して幾つかのフレームを生成し、各フレームは、環境の各部分の固定観測を表し、軌跡の各区分で捕捉された地図作成データに基づく。

ステップ４３０において、処理デバイスは任意に、１つ又は複数の他のエージェント３１０から１つ又は複数の他のフレームを受信し、フレーム及び他のフレームは、フレームデータとしてメモリ３１７に記憶される。

ステップ４４０において、処理デバイス３１１は、各フレームに対応するノードを生成し、典型的には、ノードの一意性の程度に応じてノードを親ノード又は子ノードとして識別する。次いで処理デバイス３１１は、ステップ４５０において、典型的には、可能な場合には軌跡データを使用して初期エッジを識別し、軌跡情報が利用不可能な場合にはマッチングを使用してエッジを生成して、ノード、特に親ノードを相互接続するエッジを生成する。位置合わせプロセスを使用して、ノード間に位置合わせを確立することもでき、そしてこれを使用してエッジを生成することができる。

ステップ４６０において、処理デバイス３１１は、各エッジと関連する信頼スコアを計算し、信頼スコアは各エッジの推定誤差に基づく。これに関して、誤差は、グラフが構築されるにつれて大きくなり、したがって、軌跡の原点又はルートノードから離れた誤差ほど、ルートノードに近い誤差よりも大きくなる。信頼レベルが計算されると、これらを使用して最適化を実行することができ、それにより特に、全体誤差を最小化するように誤差を再計算し、それにより、信頼レベルを上げることができる。このプロセスは典型的には、グラフが収束し、それ以上の改善が識別されなくなるまで繰り返される。

これに続き、ステップを必要に応じて繰り返すことができ、それにより、追加の地図作成データ及び／又は他のフレームが利用可能になるにつれて、大域的地図を徐々に構築することができることが理解されよう。

このようにしてグラフを生成し最適化するプロセスの一例について図５Ａ～図５Ｅを参照してこれより説明する。この例は簡易化された２Ｄ環境を参照して説明されるが、同様の手法を点群３Ｄ環境地図に用いることができることが理解されよう。

この例では、エージェントが、図５Ａに示される概念的グラフのノードＡ、Ｂ、Ｃ、Ｄ間の軌跡を辿ると仮定され、これは、エージェントに、図５Ｂに示されるノードＡ、Ｂ、Ｃ、Ｄの各々に対応する４つのフレームを捕捉させることを含む。フレームは、エージェントが見た世界の固定ポイントを表し、不変であり、各々、共有目的で使用される一意の識別子を保有する。

エージェントは、環境を走行するにつれて、軌跡を測定し、軌跡を使用して、初期地図を形成するフレーム間のオドメトリ推定エッジを生成する。したがって、ノードＡからノードＢへのエッジを構築することができ、これは命名法からエッジＡＢと呼ばれる。これらのオドメトリエッジのみを用いた場合、大域最適化された姿勢は、エッジの簡単な連結と大方同じである。交差するエッジが多いほど、誤差が累積するにつれて大域誤差は大きくなるが、エッジ自体は局所的に１つのエッジで一貫し、したがって例えば、Ｂを原点とする、ノードＡ、Ｂ、Ｃの集合が局所的に一貫することに留意されたい。

原点ノードＡからエッジＡＢ、ＢＣ、ＣＤを使用してＤの現在姿勢を取得する一例を挙げると、グラフは図５Ｃに示されるように見え得る。ここで、原点ノードＡから離れるほど、誤差が大きくなることが分かる。

例えばマッチングが実行されてループ閉じ込みを可能にした結果として、エッジがノードＡとＤとの間に存在すると仮定される場合、これにより、誤差を低減することが可能であり得る。具体的には、この時点で、エッジＡＤは、ループ閉じ込みによって確立されたノードＡからノードＤへの直接リンクの形態である。ノードＡからノードＣへのルートがここで考慮される場合、グラフは図５Ｄに示されるように見える。この例では、グラフは、エッジＢＣとは対照的に、エッジＡＤ及びＤＣを使用して生成され、その理由は、ループ閉じ込みを通して生成された、一致するエッジＡＤがエッジＢＣよりも高い信頼度を有するためである。

さらに、新しいエッジＡＤは最適化に使用することができる。例えば、走行されたエッジＡＢ、ＢＣ、ＣＤ以外の追加情報がない場合、これらのエッジの走行と大域最適化された姿勢の使用との間には殆ど違いがなく、その理由は、大域解を制約する追加情報がないためである。しかしながら、新しいエッジＡＤがグラフに組み込まれる場合、これは、ノードＡからノードＢ、ノードＣ、ノードＤへの誤差はここで、最小二乗最適化等の最適化手法を使用して分散することができ、図５Ｅに示されるものと同様のグラフになることを意味する。

この手法は、グラフ最適化をリアルタイムで実行して、大域的正確性を提供するのに役立つために、軌跡ベースのエッジとマッチングを通して識別されたエッジとの組合せを利用することができることを意味する。

ノードをグラフに追加するプロセスの一例について図６を参照してこれより説明する。

この例では、ステップ６００において、処理デバイス３１１は次のフレームを取得し、これは、地図作成データから生成された局所的に取得されたフレームであるか、又は別のエージェントから受信した別のフレームのいずれかである。ステップ６１０において、処理デバイス３１１はフレームを使用してノードを生成し、ノードはステップ６２０において査定されて、ノードと関連するフレームの一意性を特定する。一意性は、占有格子、マッチングプロセスを使用して、又は軌跡を査定して、フレームが、前のフレームと異なる環境の部分で捕捉されたか否かを判断することにより、確立することができる。

ステップ６３０において、フレーム、ひいてはノードが一意として査定される場合、ステップ６４０において、処理デバイス３１１はノードを親ノードとして組み込み、次いでステップ６５０においてエッジを生成する。しかしながら、フレーム、ひいてはノードが非一意としてステップ６３０において査定される場合、ステップ６６０において、処理デバイス３１１は、エージェントが走行した軌跡及び／又は位置合わせプロセスを使用して、ノードと親ノードとの間の幾何学的変換を計算し、ステップ６７０において、ノードを子ノードとして組み込む。ノードがグラフに追加されると、ステップ６８０において、エッジを子ノードから親ノードに伸ばす必要があり得る。

上記プロセスは、グラフを維持し最適化するために必要な計算を最小化するために実行され、これらをリアルタイムで実行できるようにする。特に、これは、環境を正確に記述するフレームの最小セットを含むようにグラフを枝刈りすることによって動作する。この枝刈りは、グラフを破壊するものではなく、子ノード及び親ノードとして２つのフレームを含むスーパーセットへのフレームのリジッドマージ（ｒｉｇｉｄ ｍｅｒｇｉｎｇ）を実行することにより、枝刈りされたフレームにおける姿勢の将来の検索を可能にし、子ノード又は親ノードがそれら自体、前にマージされていた可能性があることに留意する。このマージ戦略を実行することにより、追加のエッジをグラフに単に追加することで、グラフが保存されることを保証する。フレームは、リジッドマージされると、もはや最適化されず、ループ閉じ込み等の幾つかの機能に考慮されず、その理由は、親ノードが必要とされる情報を含むためである。

グラフにおいて子ノードを管理するプロセスの一例について図７Ａ～図７Ｄを参照してこれより説明する。

この例では、図５Ａに示されるグラフから始まって、ノードＤに密に関連する追加のノードＥ及びＦが識別される。この例では、ノードＥ及びＦは地図に寄与せず、ノードＤに表される大方は冗長の情報を含む。例えば占有格子等の簡単なヒューリスティックを使用して、最後のフレームを用いてチェックすることにより、新しいフレームが一意であるか否かを判断することができる。この場合、ノードＥ及びＦは一意ではなく、図７Ｂに示されるように、Ｄにリジッドマージすることができる。

ノードＥ及びＦは、グラフにおける位置が親ノードＤの位置のみに依存するため、もはや最適化の一部ではなく、必要であれば、それらの大域的姿勢は、ノードＥ及びＦをノードＤに関連付けるリジッド変換を使用して復元することができる。

エージェントが引き続きノードＡに向かう場合、最終的に、エージェントが最後のフレームに存在するか否か、ひいては子ノードを捕捉中であるか否かの判断に使用されるヒューリスティックは失敗し、新しいノードＧが追加される図７Ｃに示されるように、新しいフレームの生成が行われる。

この時点で、エッジＦＧが存在し、これは、ノードＦが最適化状態に存在しないことに起因してグラフに表すことができない。これへの解決策は、必要とされるノードまでリジッド変換ツリーをトラバースすることにより、親ノードＧまでエッジを伸ばすことである。これにより、図７Ｄに示されるように、新しいエッジＤＧが作成される。このエッジは、新しいエッジＤＧを作成することによってＦがＤにマージされたことを考慮に入れて、エッジＦＧを被包し、グラフがばらばらにならないことを保証する。

エッジが伸ばされた後、新しいノードＧは近傍ノードと突き合わせてテストされて、潜在的なループ閉じ込み（グラフ検索を介して）及びエッジトラバーサル（ノードＤのエッジのチェックを介して）を探す。エッジがノードＧとＡとの間に見つかる場合、元の開始場所に戻ることを表す新しいエッジＧＡを作成することができる。

これが行われると、エッジのマージ及び伸長を含む上述した同じ最適化プロセスを実行することができる。これに関して、この時点で、ノードＤとＡとの間には２つのルート、即ちループ閉じ込みエッジＧＡ及びオドメトリエッジＤＥ、ＥＦ、ＦＧが存在している。最適化された解から導出される信頼値の尺度を使用して、使用に最良のエッジを判断することができ、最終的にある程度の信頼値が得られた後、これらのエッジのマージも可能であり、それにより再び最適化状態が減少する。

例えば、エッジＤＡをトラバースした後、エージェントが今ではＡに戻ったことを検出することができ、そこから、プロセスは続き、近傍エッジを使用して、不必要な大域的探索を停止するエッジトラバーサルを探す。このプロセスは、一意のノードのみを最適化グラフに追加し続けることができ、探索される幾何学的空間と共有しスケーリングするためにグラフを小さなサイズに維持する。

エッジ作成のプロセスの一例について図８を参照するより詳細にこれより説明する。

この例では、ステップ８００において、例えば次のフレーム又は受信された他のフレームに基づいてノードが選択され、ステップ８１０において、これは査定されて、軌跡が存在するか否かを判断する。軌跡が存在する場合、ステップ８２０において、処理デバイスは、現在ノードの捕捉と前のノードの捕捉との間で走行された軌跡を使用してエッジを計算することができる。

軌跡が利用可能ではない場合、ステップ８３０において、シグネチャが生成され、ステップ８４０において、シグネチャを使用して、ノードとグラフに既存のノードとの間のマッチングを実行する。ステップ８５０において一致が識別されない場合、グラフ内のノードの位置は未知であり、したがって、ステップ８６０において、後の処理のためにノードを保持することができる。その他の場合、ステップ８７０において、処理デバイス３１１は、位置合わせプロセスを使用して位置合わせを実行し、一致するノードの相対位置を突き止め、ステップ８８０においてエッジを生成できるようにする。

他のエージェントから他のフレームを取得するプロセスの一例について図９を参照してこれより説明する。

この例では、ステップ９００において、第１のエージェントの処理デバイス３１１は、他のエージェントが利用可能なフレームの詳細を要求するマニフェスト要求を生成して送信する。マニフェスト要求は、例えばブロードキャストメッセージとして定期的に送信することができ、それにより、これは、エージェントの通信範囲内にある任意の他のエージェントにより処理することができ、又は２つのエージェント間に確立された通信に応答して送信することができる。

ステップ９１０において、他のエージェント３１０の処理デバイス３１１はマニフェスト要求を受信し、利用可能なフレームのリストを生成し、ステップ９２０において、これを第１のエージェントにマニフェストとして送信する。これは、他のエージェントが捕捉したフレーム及び他のエージェントが別のエージェントから受信したフレームを含む。

ステップ９３０において、第１のエージェントの処理デバイス３１１は、マニフェストを受信し、ステップ９４０において欠損フレームを識別してから、ステップ９５０において、欠損フレームについてのフレーム要求をエージェントに送信する。他のエージェントの処理デバイス３１１は、ステップ９６０において、フレーム要求を受信し、ステップ９７０において、これに応答して、要求されたフレームに対応するフレームデータを送信し、ステップ９８０において、第１のエージェントの処理デバイスがこれらを受信できるようにする。

上記手法の一部として実行される幾つかの特定のプロセスについてこれより説明する。

先に触れたように、グラフは典型的には、環境を表すのに必要な最小ノードセットに枝刈りされ、それにより、グラフを最適化する計算的複雑性を低減し、それにより、性能要件が満たされることを保証するのに役立つ。これは、十分には一意ではないノードを子ノードとして組み込み、一意の親ノードのみを使用して最適化を実行できるようにすることによって達成される。幾つかの要因に応じて、この動作の複雑性は劇的に変わり、主な要因は、エッジ候補における信頼レベルである。これは、フレーム内、エッジ、近傍、ループ閉じ込み、及び場所認識を含め、幾つかのレベルのトラーバサルタイプに分解される。

最も単純な形態のトラバーサルは、エージェントが現在フレームから移動しなかった場合である。これは単一フレーム内での移動であり、エージェントが静止しているか、又はセンサ範囲に関してゆっくりと移動している場合に最も一般的に観測され、多くの場合、占有重複又は特徴重複等の簡単な技法を使用して検出される。ここでの最大誤差は、前のフレームからの局所状態推定であり、したがって、信頼性は非常に高く、確認チェックは容易である。

図１０Ａに示される例では、２つのフレームＡ、Ｂが識別され、これらは両方ともフレームＸ内にある。フレームＡが既にフレームＸと関連付けられている場合、フレームＢは、この技法を使用してフレームＸとの重複として検出される。これにより、フレームＡ及びＢと関連するノードは、親ノードＸへの子ノードとして生成することができる。

エージェントがフレームから出ると、エッジトラバーサルを使用して現在フレームにおける既存のエッジをチェックすることが可能であり、これは、エージェントが元のフレームから、元のフレームへのエッジを有する別のフレームに移動する場合に行われる。ここでの最大誤差は、フレームから出た後の局所状態推定誤差であり、したがって、信頼性はかなり高く、容易に確認することができる。

図１０Ｂに示される例は、ＸＹからの前の既存のエッジと交差する２つのフレームＡ及びＢの一例である。Ａが既にＸと関連付けられている場合、フレームＢは、この技法を使用してフレームＹとの重複として検出される。

エッジが有効ではない場合、検索を付近のノードのグラフネットワークに沿って拡大することができる。この例では、地図作成する場合、エージェントは多くの場合、少数のフレーム後、例えば部屋に入り、続けて部屋から出たとき、前の場所に戻ることになる。これが有効であるフレーム量は大方、局所状態推定信頼値に依存し、信頼値が高いほど、近傍が大きいことを意味する。Ｎ個の最近傍ノードを探してグラフを検索することにより、重複が存在するか否かを識別し、信頼量（ホップ数）に基づいて、それに従って動作することが可能である。ホップ量が低いほど、信頼値は高い。

図１０Ｃの例では、２つのフレームＡ及びＢはそれぞれフレームＺ及びＷにあるが、現在エッジＷＺは存在しない。ノードＷ、Ｘ、Ｖ、Ｚの連鎖は、ノードＺの近傍を表し、この中にこの技法によって検出されるエッジＷＺが存在する。

最終的に近傍の検索を実行することは、十分大きなＮが提示される場合又は信頼値が低すぎる場合、実現不可能になることがあり、これらでは、真のエッジを検出するためにより高度な技法が必要となる。

ループ閉じ込みとは、有効な大域参照がなく、過度のエッジホップによって生じる大きな不確実性等に起因して低信頼値を有する同じグラフ内の２つのフレーム間の重複を検出するプロセスである。これらの場合、単一のエッジ候補は、多くの場合、不確実性の境界内にあるが、大域的に一貫しないことがあり、これに使用される解決策は、エッジの両側をベンチマークとして扱い、両原点の最近傍ノードの近傍を構築することである。これは、原点に関してそれら自体内で正確である２つのグラフを生成し、原点からのエッジホップが多いほど、信頼値は下がる。この時点で、２つのグラフ間のエッジを調べると、一連のエッジ及び関連する変換が示され、次にそれらの間の最も共通するエッジを見つける問題になる。この最も共通するエッジは最も可能性の高い候補であり、次に可能性の高いエッジ候補に対する最小限の数又は比率等の幾つかの基準が満たされる場合、次いでこれを使用してエッジを検証することができる。

この時点でのループ閉じ込みはまだ、エッジをフレーム候補からトラバースすることによりグラフ内の信頼情報にアクセスすることができ、これを使用して多くの候補を早期に選別することができるが、孤立したグラフが与えられた場合には、異なる手法が求められる。

場所認識とは、異なるグラフ内のフレーム間の重複を検出するプロセスであり、これは、それらの間に関連がなく、したがって、信頼の尺度もないことを意味する。この初期プロセスは大方、ループ閉じ込みに使用されるプロセスと同様であるが、規模ははるかに大きく、したがって、近傍を使用するのではなくむしろ、グラフ全体を２つの原点として使用することができる。初期推定後、疑似マージを実行し、次いで先の技法を使用してより大きな重複を検出することによって確かめることができ、疑似マージによって高信頼値がもたらされる場合、その２つを同じグラフにマージすることができ、それ以降は通常の方法が適用される。

グラフに実行されるコア動作は、局所的に一貫する軌跡からのノードの追加である。これらの手法を使用してノードを追加するプロセスフローの一例について図１１を参照してこれより説明する。

この例では、ステップ１１００において、フレームが受信され、ステップ１１０５において、フレームが査定されて、これが最後のフレーム内にあるか否かが判断される。最後のフレーム内にある場合、ステップ１１１０において、フレームは子ノードとして最後のフレームにマージされる。その他の場合、ステップ１１１５において、フレームは査定されて、近傍エッジがトラバースされたか否かが判断され、トラバースされていた場合、ステップ１１２０において、フレームは近傍フレームにマージされる。その他の場合、ステップ１１２５において、フレームは査定されて、エージェントが付近のフレーム内に移動したか否かが判断され、移動していた場合、ステップ１１３０において、フレームは付近のフレームにマージされる。その他の場合、ステップ１１３５において、フレームは査定されて、ループが閉じられたか否かが判断され、閉じられていた場合、ステップ１１４０において、フレームはループフレームにマージされる。その他の場合、ステップ１１４５において、フレームは査定されて、孤立したグラフが接続されるか否かが判断され、接続される場合、ステップ１１５０において、フレームはグラフにマージされる。その他の場合、ノードはさらなる処理のために保持される。

エージェントが環境を走行するにつれて、局所、大域、及び共有地図表現の間で、姿勢を表現し変換することが必要になるが、これらは全て異なり得る。

局所表現は、環境を通るエージェントの軌跡に基づくオドメトリ推定である。これは局所的に一貫するが、大域的には経時ドリフトする傾向がある。このタイプの復元に典型的な要件は、局所フェーズにおいて識別された物体をエージェントの大域表現又は共有表現に変換する必要があることである。この動作は、その場所を表すフレームにおいて最も適切なフレームを見つけること（又は補間技術の場合はさらに潜在的に）と、必要とされる空間においてそのフレームの位置を復元することとを含む。

例えば、親ノードＡ及びＢと関連するフレーム間の中間の時間にフレームに捕捉された物体Ｏが与えられた場合、物体Ｏは、最初に位置特定されるとき、局所推定フレーム内にあり、時間及び姿勢を介してフレームに結びつけられる（局所推定フレームにおいて）。ある時間後、グラフは局所フレームから分岐する（大域的補正を受ける等）。新しい位置を解決するには、それが存在するフレームに適用されるデルタを見つけ、次いでそれを適用して元の場所に相対する新しい場所に変換するだけである。

大域的／共有推定フレームにおける場所を指定するとき、これは、局所フレームを使用するか、又はグラフにおけるノードに取り付けることで達成することができる。

最初の事例は、西に５００歩歩き、次いで北に３００歩歩くと言うのと同等である。局所推定は経時ドリフトし、したがって、有効なままであることを保証するために頻繁な入力が求められるため、小さな距離にわたってしか正確に達成することはできない。現在の大域フレームからエージェントの局所フレームへの変換は、最新のフレームのみを考慮し、したがって、エージェントが現在どこにいると考えているかに基づくことを除いて、上記方法と同様である。この方法は、大域地図に対してエージェントが現在どこにいるかの知識以外に、動作を実行するために必要な情報がないという意味でシンプルである。

逆に、物体をグラフにおけるノードに取り付けることは、食堂内の冷蔵庫まで歩くと言うのと同等である。グラフにおけるフレーム内の位置への参照を与え、エージェントが、要求されるフレームについて知らなければならないことを意味する。例えば、エージェントが食堂に行ったことがない場合、エージェントは、グラフの関連部分を提供するか、又は局所表現に変換することにより、それがエージェントとの関係でどこにあるか指示される必要がある。次いでエージェント自体は、これがそれ自体に対して大域的にどこを意味するかを解決することができ、そこに到達するために単一のコマンドを必要とする。

フレームをグラフに追加する全体プロセスについて図１２Ａ～図１２Ｃ参照して更に詳細にこれより説明する。

この例では、ステップ１２００において、フレームが、地図作成システム３１２を使用して収集された地図作成データを区分化することにより又は１つ又は複数の他のエージェントから他のフレームデータを受信することにより取得され、これを使用してノードを生成する。

ステップ１２０２において、処理デバイス３１１は、ノードの軌跡情報が利用可能であるか否かを査定し、利用可能な場合、ステップ１２０４において、軌跡に基づいてエッジが生成される。

その他の場合、ステップ１２０６において、処理デバイス３１１はフレームのシグネチャを生成する。これを実行するために、処理デバイスは、サックス（ｓａｘ）又はサーフェル表現等のフレームの低次元表現から点記述子等のフレームの位置及び／又は回転特徴を生成し、これを使用してＮ次元ベクトルを生成する。ステップ１２０８において、処理デバイスは、試みでマッチングを実行して、グラフ内の潜在的に一致するフレームを識別し、これを使用してランキングを生成する。

マッチングプロセスは典型的には、グラフ内の既存のノードのシグネチャのデータベースの検索を含み、処理デバイス３１１は、最近傍検索を実行して、フレームと同じに見える他のノードを返す。一致がいかに類似するか及びシグネチャがいかに一意であるかによって、ノード間の類似性及びシグネチャの一意性を考慮に入れて、その一致が使用されるか否か、特にランキングの生成に使用されるか否かが決まる。例えば、非常に一意のシグネチャ間の一致は、より高いランキングを獲得し、したがって、非一意の一致（知覚的エイリアシング）よりも優先され得る。

ランキングは、ステップ１２１０において、重複仮説を導出し、例えば潜在的なループ閉じ込み及び／又は場所認識を識別するために使用され、このステップは、重複ノードを有するエッジ候補を生成する位置合わせプロセスも含む。

ステップ１２１２において、生成されたエッジ及び／又はランキングを使用して、ノードが一意であるか否かが査定される。これは典型的には、ノードが既存のノード内にあるか否か且つ／又はそれまでは存在しなかった何かを地図に追加するか否かを査定することを含む。否の場合、ステップ１２１４において、ノードと既存のノードとの間の幾何学的変換が計算され、ステップ１２１６において、新しいノードを既存のノードとマージすることにより、新しいノードは子ノードとしてグラフに組み込まれる。これが完了すると、プロセスはステップ１２００に戻ることができ、更なるフレームを取得することができる。

そうではなく、ノードが十分に一意である場合、ステップ１２１８において、ノードは親ノードとしてグラフに追加される。

これに続き、ステップ１２２０において、グラフ内のエッジの信頼値が決定される。信頼レベルは、エッジが計算される方法及び誤差が原点ノードからの距離に基づいてグラフを通して累積することを考慮に入れて、推定誤差に基づいて計算される。

これに続き、ステップ１２２２において、グラフの新しい部分及び更新された部分、例えば新しいノード及びエッジ又は更新されたエッジが査定されて、これらが高信頼値の領域にあるか、それとも低信頼値の領域にあるかを判断する。新しいノード又はエッジが低信頼値の領域にある場合、ステップ１２２４、１２２６において、潜在的な重複が、例えばステップ１２１０において生成された仮説に基づいて識別され査定される。これは典型的には、潜在的な重複を分析し、重複に十分な信頼があるか否か又は十分な数の重複サンプルがあるか否かを識別することを含み、ステップ１２２８において、これを使用して重複を検証することができ、例えばループ閉じ込み及び／又は場所認識を実行することができる。十分にない場合、ステップ１２３０において、ノードは後の処理のために保持される。

その他の場合、重複が生成されると、又はエッジがグラフの高い信頼部分である場合、ステップ１２３２において、エッジの正確性を改善するために、既存のノードとの位置合わせが位置及び／又は回転不変特徴を使用して実行され、ステップ１２３４において、これらをグラフに組み込めるようにする。

これに続き、ステップ１２３６において、処理デバイス３１１は最適化を実行し、最適化は、エッジでの最小二乗誤差を最適化することによってグラフを解くことで達成される。エッジと関連する信頼値は、ステップ１２３８において更新され、ステップ１２４０において、信頼値の変化を使用して、グラフが最適解に収束したか否かを突き止める。収束していない場合、ステップ１２３６及び１２３８は、収束が達成されるまで繰り返され、収束が達成された時点で、ステップ１２４２において、グラフの更新は終わり、グラフを大域地図として使用できるようにする。

１２００～１２４２の上記ステップは必要に応じて繰り返すことができ、追加のフレームがエージェントによって捕捉されるにつれて、大域地図を徐々に構築することができるように、更なるノード及びエッジを追加できるようにすることが理解されよう。

したがって、上記手法は姿勢－グラフ最適化技法を提供し、随時、問題サイズの削減及び大域的に一貫した地図の維持に強くフォーカスする。任意の単一の時点で、地図は、所与の時点での世界の固定ビューを表す幾つかのフレームと、座標変換を介してこれらを接続する一連のエッジとを含み、これにより、これらのエッジ及び局所的に一貫したままである変換を介してグラフに沿ってトラバースすることが可能になる。これに加えて、各フレームは大域的に一貫した姿勢も有し、それにより、経路計画及び大域的空間クエリでヒューリスティックとして使用することができる大域的投影及び共通座標フレームが可能になる。

本明細書及び以下の特許請求の範囲を通して、文脈により別のことが求められない限り、「含む（ｃｏｍｐｒｉｓｅ）」という言葉及び「含む（ｃｏｍｐｒｉｓｅｓ）」又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」等の変形は、述べられた完全体又は完全体若しくはステップの群の包含を黙示するが、他の任意の完全体又は完全体群の排除を黙示しないものと理解されよう。本明細書で使用される場合、別記されない限り、「概ね」という用語は±２０％を意味する。

当業者ならば、多くの変形及び変更が明らかになることを理解するであろう。当業者に明らかになるそのような全ての変形及び変更は、前に説明した広範に現れる本発明の趣旨及び範囲内に入ると見なされるべきである。

Claims (43)

1. 環境の地図を生成するシステムであって、前記システムは複数のエージェントを含み、各エージェントは１つ又は複数の処理デバイスを含み、前記１つ又は複数の処理デバイスは、
   ａ）距離センサを含む地図作成システムにより捕捉された地図作成データを取得することであって、前記地図作成データは、前記環境の三次元表現を示す、取得することと、
   ｂ）前記地図作成データを使用して前記環境の部分を表現するフレームを生成することと、
   ｃ）１つ又は複数の他のエージェントから他のフレームデータを受信することであって、前記他のフレームデータは、前記１つ又は複数の他のエージェントの地図作成システムにより捕捉された他の地図作成データを使用して生成された前記環境の部分を表す他のフレームを示す、受信することと、
   ｄ）前記環境の地図を表すグラフを生成することであって、
   ｉ）前記フレーム及び他のフレームを使用してノードを生成することであって、各ノードは前記環境の各部分を示す、生成すること、及び、
   ｉｉ）前記ノードを相互接続するエッジを計算することであって、前記エッジは前記ノード間の空間オフセットを示す、計算すること、
   を行うことにより、グラフを生成することと、
   を行うように構成される、
   システム。
2. 各エージェントは、
   ａ）前記エージェントにより捕捉された地図作成データを使用して基づき生成された前記フレーム、及び、
   ｂ）前記１つ又は複数の他のエージェントにより捕捉された他の地図作成データを使用して生成された前記他のフレーム、
   に基づいて独立した各グラフを維持する、
   請求項１に記載のシステム。
3. 前記１つ又は複数の処理デバイスは、
   ａ）前記フレームを使用して初期グラフを生成することと、
   ｂ）追加のフレーム及び他のフレームを使用して前記グラフを更新することであって、
   ｉ）追加のノード又はエッジを生成すること、及び、
   ｉｉ）前記グラフ内のエッジを改良すること、
   の少なくとも一方を行うことにより、更新することと、
   を行うように構成される、
   請求項１又は２に記載のシステム。
4. 前記１つ又は複数の処理デバイスは、前記エージェントが走行した軌跡を少なくとも部分的に使用して前記グラフを決定するように構成される、
   請求項１～３の何れか一項に記載のシステム。
5. 各エージェントにより生成される前記グラフは、前記エージェントが走行した局所的に正確な軌跡に基づき、他のエージェントにより生成されたグラフと大域的に一貫する、
   請求項４に記載のシステム。
6. 前記１つ又は複数の処理デバイスは、
   ａ）１つ又は複数の慣性位置センサ、及び、
   ｂ）前記距離センサからの信号の使用、
   の少なくとも一方を使用して軌跡を特定するように構成される、
   請求項４又は５に記載のシステム。
7. 前記１つ又は複数の処理デバイスは、少なくとも部分的に前記軌跡を使用して前記ノードを相互接続するエッジを計算するように構成される、
   請求項４～６の何れか一項に記載のシステム。
8. 前記１つ又は複数の処理デバイスは、前記地図作成データを区分化することにより前記フレームを生成するように構成される、
   請求項１～７の何れか一項に記載のシステム。
9. 前記１つ又は複数の処理デバイスは、
   ａ）前記地図作成データの捕捉時間、
   ｂ）前記地図作成データの捕捉持続時間、
   ｃ）前記地図作成データの捕捉中に走行した距離、
   ｄ）前記地図作成データの捕捉中に走行した回転、及び、
   ｅ）前記地図作成データのカバレッジ、
   の少なくとも１つに基づいてフレームを生成するように構成される、
   請求項１～８の何れか一項に記載のシステム。
10. 前記１つ又は複数の処理デバイスは、
    ａ）前記エージェントが走行した軌跡を区分化することと、
    ｂ）軌跡区分を使用して前記フレームを生成することと、
    を行うように構成される、
    請求項１～９の何れか一項に記載のシステム。
11. 前記１つ又は複数の処理デバイスは、
    ａ）前記フレームを分析することと、
    ｂ）前記分析の結果に基づいてノードを生成することと、
    を行うように構成される、
    請求項１～１０の何れか一項に記載のシステム。
12. 前記１つ又は複数の処理デバイスは、
    ａ）幾つかの親ノードを生成することであって、各親ノードは前記環境の異なる部分を表す、生成することと、
    ｂ）幾つかの子ノードを生成することであって、各子ノードは親ノードと関連し、前記関連する親ノードにより表される前記環境の前記部分と同じであるか、又は前記部分と重複する前記環境の部分を表す、生成することと、
    を行うように構成される、
    請求項１～１１の何れか一項に記載のシステム。
13. 前記子ノードは、一定の幾何学的変換を通して前記親ノードに関連する、
    請求項１２に記載のシステム。
14. 前記１つ又は複数の処理デバイスは、
    ａ）前記ノードと関連するフレーム間の重複の程度、及び、
    ｂ）前記ノードと関連する前記フレームの捕捉間の移動の程度、
    の少なくとも一方に基づいて子ノード及び親ノードを識別するように構成される、
    請求項１２又は１３に記載のシステム。
15. 前記１つ又は複数の処理デバイスは、前記親ノード間に延びるエッジを計算して、前記グラフを生成するように構成される、
    請求項１２～１４の何れか一項に記載のシステム。
16. 前記１つ又は複数の処理デバイスは、
    ａ）ノード間のエッジを生成することと、
    ｂ）エッジが子ノードに接続される場合、前記子ノードと関連する前記親ノードまで前記エッジを伸ばすことと、
    を行うように構成される、
    請求項１２～１５の何れか一項に記載のシステム。
17. 前記１つ又は複数の処理デバイスは、前記子ノードと前記親ノードとの間の幾何学的変換を使用して前記エッジを伸ばすように構成される、
    請求項１６に記載のシステム。
18. 前記１つ又は複数の処理デバイスは、
    ａ）前記ノード間のエッジを計算することと、
    ｂ）反復最適化プロセスを使用して前記エッジを改良することと、
    を行うように構成される、
    請求項１～１７の何れか一項に記載のシステム。
19. 前記１つ又は複数の処理デバイスは、
    ａ）局所化ドリフト手法、
    ｂ）ループ閉じ込み、及び、
    ｃ）場所認識、
    の少なくとも１つを使用してエッジを計算するように構成される、
    請求項１～１８の何れか一項に記載のシステム。
20. 前記１つ又は複数の処理デバイスは前記エージェントが走行した軌跡を使用することによりエッジを計算して、ノード間の空間オフセットを計算するように構成される、
    請求項１～１９の何れか一項に記載のシステム。
21. 前記１つ又は複数の処理デバイスは、
    ａ）位置合わせプロセスを使用して、異なるノードのフレームを位置合わせすることと、
    ｂ）前記位置合わせを使用して前記エッジを計算することと、
    を行うことによりエッジを計算するように構成される、
    請求項１～２０の何れか一項に記載のシステム。
22. 前記１つ又は複数の処理デバイスは、反復最近傍点アルゴリズムを使用して前記位置合わせプロセスを実行するように構成される、
    請求項２１に記載のシステム。
23. 前記１つ又は複数の処理デバイスは、
    ａ）マッチングプロセスを使用して、潜在的に一致するノードを識別することと、
    ｂ）潜在的に一致するノードを使用して、
    ｉ）ループ閉じ込み、及び、
    ｉｉ）場所認識
    の少なくとも一方を実行することと、
    を行うように構成される、
    請求項１～２２の何れか一項に記載のシステム。
24. 前記１つ又は複数の処理デバイスは、
    ａ）ノードを１つ又は複数の他のノードと比較することと、
    ｂ）前記比較の結果に基づいてランキングを生成することであって、前記ランキングは、前記ノードと前記１つ又は複数の他のノードとの間の類似度を示す、生成することと、
    を行うことにより前記マッチングプロセスを実行するように構成される、
    請求項２３に記載のシステム。
25. 前記１つ又は複数の処理デバイスは、
    ａ）前記ノードのシグネチャを計算することであって、前記シグネチャは、前記ノードと関連する前記フレームの１つ又は複数の特徴に基づく、計算することと、
    ｂ）前記シグネチャを他のノードの他のシグネチャと比較することと、
    を行うことにより、前記ノードを１つ又は複数の他のノードと比較するように構成される、
    請求項２４に記載のシステム。
26. 前記１つ又は複数の処理デバイスは、前記ノードと関連する前記フレームの低次元表現を使用して、ノードの前記シグネチャを導出するように構成される、
    請求項２５に記載のシステム。
27. 前記１つ又は複数の処理デバイスは、
    ａ）前記ノードが前記環境の異なる部分を表し、親ノード又は子ノードとして指定することができるか否かの判断、
    ｂ）グラフトポロジの生成、
    ｃ）１つ又は複数のエッジの生成、
    ｄ）ループ閉じ込みの実行、及び、
    ｅ）場所認識の実行、
    の少なくとも１つに前記ランキングを使用するように構成される、
    請求項２４～２６の何れか一項に記載のシステム。
28. 前記１つ又は複数の処理デバイスは、
    ａ）前記マッチングプロセスの結果を使用して１つ又は複数のグラフトポロジ候補を生成することと、
    ｂ）前記グラフトポロジと関連するノード間の重複に基づいて、少なくとも１つのグラフトポロジ候補を検証することと、
    ｃ）前記検証されたグラフトポロジに従って１つ又は複数のエッジを計算することと、
    を行うように構成される、
    請求項２３～２７の何れか一項に記載のシステム。
29. 前記１つ又は複数の処理デバイスは、
    ａ）１つ又は複数の新しいフレームを示すフレームデータを取得することと、
    ｂ）新しい各フレーム対応するノード候補を生成することと、
    ｃ）エッジ候補を計算することであって、
    ｉ）エージェントが走行した軌跡、
    ｉｉ）位置合わせプロセス、及び、
    ｉｉｉ）マッチングプロセス、
    の少なくとも１つを使用して計算する、計算することと、
    ｄ）前記グラフを更新することであって、
    ｉ）前記ノード候補に基づいて１つ又は複数のノードを追加すること、及び、
    ｉｉ）前記エッジ候補に基づいて１つ又は複数のエッジを追加又は更新すること、
    の少なくとも一方により更新する、更新することと、
    を行うように構成される、
    請求項１～２８の何れか一項に記載のシステム。
30. 前記１つ又は複数の処理デバイスは、
    ａ）前記グラフにおける変更を識別することであって、前記変更は、
    ｉ）ノードの追加、
    ｉｉ）エッジの追加、及び、
    ｉｉｉ）エッジの更新
    の少なくとも１つを含む、識別することと、
    ｂ）前記グラフにおける変更を評価することと、
    ｃ）前記評価の結果に基づいて前記グラフを選択的に更新することと、
    を行うように構成される、
    請求項２９に記載のシステム。
31. 前記１つ又は複数の処理デバイスは、
    ａ）前記グラフの少なくとも幾つかの部分と関連する信頼値を計算することと、
    ｂ）前記信頼値に基づいて前記グラフを選択的に更新することと、
    を行うように構成される、
    請求項１～３０の何れか一項に記載のシステム。
32. ノードが新しいノードであるか、又は新しいエッジの近傍にある場合、前記１つ又は複数の処理デバイスは、
    ａ）近傍のノード及びエッジと関連する信頼値を査定することと、
    ｂ）前記信頼値が閾値を超える場合、
    ｉ）近傍のノード及びエッジとの位置合わせマッチングを実行することと、
    ｉｉ）前記位置合わせマッチングの結果に基づいて新しいエッジを生成することと、
    ｃ）前記信頼値が閾値を下回る場合、マッチングを実行して、潜在的に一致するノードを識別することと、
    を行うように構成される、
    請求項３１に記載のシステム。
33. 前記１つ又は複数の処理デバイスは、
    ａ）前記グラフにおけるエッジと関連する推定誤差を計算することと、
    ｂ）
    ｉ）前記推定誤差に基づいて信頼値を生成すること、及び
    ｉｉ）少なくとも部分的に前記推定誤差を使用して前記グラフを最適化すること、
    の少なくとも一方を行うことと、
    を行うように構成される、
    請求項１～３２の何れか一項に記載のシステム。
34. 前記１つ又は複数の処理デバイスは、
    ａ）高推定誤差を有するエッジを識別することと、
    ｂ）グラフ予測を使用して、前記識別されたエッジを検証することと、
    を行うことにより最適化を実行するように構成される、
    請求項１～３３の何れか一項に記載のシステム。
35. 前記１つ又は複数の処理デバイスは、前記グラフが結果に収束するまで、最適化手法を使用して前記グラフを繰り返し解くように構成される、
    請求項１～３４の何れか一項に記載のシステム。
36. 前記１つ又は複数の処理デバイスは、
    ａ）エッジの最小二乗誤差を最適化する前記エッジの制約に基づいて前記グラフを解くことと、
    ｂ）前記エッジと関連する誤差を更新することと、
    ｃ）前記グラフが収束するまで、前記解くステップ及び前記更新するステップを繰り返すことと、
    を行うように構成される、
    請求項３５に記載のシステム。
37. 前記１つ又は複数の処理デバイスは、
    ａ）１つ又は複数の他のエージェントからフレームマニフェストを取得することであって、前記フレームマニフェストは、前記１つ又は複数の他のエージェントが利用可能なフレームを示す、取得することと、
    ｂ）前記フレームマニフェストに従って前記１つ又は複数の他のエージェントからフレームを要求することと、
    を行うように構成される、
    請求項１～３６の何れか一項に記載のシステム。
38. 前記１つ又は複数の処理デバイスは、
    ａ）１つ又は複数の他のエージェントからマニフェスト要求を受信することと、
    ｂ）前記マニフェスト要求に応答してフレームマニフェストを提供することと、
    を行うように構成される、
    請求項３７に記載のシステム。
39. 前記１つ又は複数の処理デバイスは、
    ａ）１つ又は複数の他のエージェントからフレーム要求を受信することであって、前記フレーム要求は１つ又は複数の要求されたフレームを示す、受信することと、
    ｂ）前記フレーム要求に応答してフレームデータを提供することと、
    を行うように構成される、
    請求項１～３８の何れか一項に記載のシステム。
40. フレームの前記フレームデータは、
    ａ）前記フレームのより低次元の表現、及び
    ｂ）前記フレームのサーフェル表現、
    の少なくとも一方である、
    請求項１～３９の何れか一項に記載のシステム。
41. 前記エージェントは自律車両を含む、
    請求項１～４０の何れか一項に記載のシステム。
42. 環境の地図を生成する方法であって、前記方法は、各々が１つ又は複数の処理デバイスを含む複数のエージェントにおいて、
    ａ）距離センサを含む地図作成システムにより捕捉された地図作成データを取得することであって、前記地図作成データは、前記環境の三次元表現を示す、取得することと、
    ｂ）前記地図作成データを使用して前記環境の部分を表現するフレームを生成することと、
    ｃ）１つ又は複数の他のエージェントから他のフレームデータを受信することであって、前記他のフレームデータは、前記１つ又は複数の他のエージェントの地図作成システムにより捕捉された他の地図作成データを使用して生成された前記環境の部分を表す他のフレームを示す、受信することと、
    ｄ）前記環境の地図を表すグラフを生成することであって、
    ｉ）前記フレーム及び他のフレームを使用してノードを生成することであって、各ノードは前記環境の各部分を示す、生成すること、及び、
    ｉｉ）前記ノードを相互接続するエッジを計算することであって、前記エッジは前記ノード間の空間オフセットを示す、計算すること、
    を行うことにより、グラフを生成することと、
    を含む、方法。
43. 環境の地図を生成するコンピュータプログラム製品であって、前記コンピュータプログラム製品はコンピュータ実行可能コードを含み、前記コンピュータ実行可能コードは、複数のエージェントに提供される１つ又は複数の適宜プログラムされた処理デバイスで実行されると、前記１つ又は複数の処理デバイスに、
    ａ）距離センサを含む地図作成システムにより捕捉された地図作成データを取得することであって、前記地図作成データは、前記環境の三次元表現を示す、取得することと、
    ｂ）前記地図作成データを使用して前記環境の部分を表現するフレームを生成することと、
    ｃ）１つ又は複数の他のエージェントから他のフレームデータを受信することであって、前記他のフレームデータは、前記１つ又は複数の他のエージェントの地図作成システムにより捕捉された他の地図作成データを使用して生成された前記環境の部分を表す他のフレームを示す、受信することと、
    ｄ）前記環境の地図を表すグラフを生成することであって、
    ｉ）前記フレーム及び他のフレームを使用してノードを生成することであって、各ノードは前記環境の各部分を示す、生成すること及び
    ｉｉ）前記ノードを相互接続するエッジを計算することであって、前記エッジは前記ノード間の空間オフセットを示す、計算すること
    を行うことにより、グラフを生成することと、
    を行わせる、コンピュータプログラム製品。

Images