JP7493032B2 - 未知の関連付けを有する２ｄから３ｄラインに基づいた位置合わせ - Google Patents

Description

関連出願の相互参照
本出願は、２０１９年９月１３日付けで出願された米国仮特許出願第６２／９００，１０２号の利益又はこれに対する優先権を主張する２０２０年３月３０日付けで出願された米国仮特許出願第１６／８３４，４６６号の利益又はこれに対する優先権を主張するものであり、これらの特許文献のそれぞれのものの内容は、引用により、そのすべてが本明細書に包含される。

本明細書は、一般に、既知の又は未知のデータ関連付けを有する２Ｄデータと３Ｄデータの間の剛体変換を判定するシステム及び方法に関する。更に詳しくは、本明細書は、２Ｄ及び３Ｄラインに基づいた位置合わせ（registration）を利用して環境内においてセンサを較正及び／又はローカライズ（localizing）するシステム及び方法を開示している。

２Ｄ画像データと３Ｄポイントクラウドデータの間の剛体変換の判定は、センサの較正及び以前のマップ内へのローカライゼーション（localization）を含む移動ロボット工学における用途を有する。２Ｄ－３Ｄ位置合わせに対する一般的な方式は、２Ｄラインと３Ｄラインデータの間の既知のデータ関連付けを仮定した最小二乗ソルバを使用しており、これらは、しばしば、ヒューリスティックフロントエンドによって提供されている。２Ｄ画像及び３Ｄポイントクラウドデータは、環境の相補的な表現を提供している。３Ｄポイントクラウドは、重要なメトリック情報を提供している一方で、２Ｄ画像は、環境の豊富な視覚的表現を報告している。撮像及びポイントクラウドセンサの間の剛体変換は、そのデータに対する幾何学的推論を効果的に実行するために正確に既知でなければならない。２Ｄから３Ｄへの位置合わせは、この変換の判定を追求する問題である。この問題に対する正確な解決策に依存するタスクは、カメラと光検出及び測距（ＬＩＤＡＲ）センサの間の外因性較正を判定するステップと、カメラを３Ｄマップ内にローカライズするステップと、を含む。この問題は、２つの入力間の変換を推定する更に大きな位置合わせ問題のサブセットである。

位置合わせ問題を解決する際には、剛体変換変数と２Ｄデータの部分と３Ｄデータの部分の間のデータ関連付けを表す変数という一般的に検討される２つの変数が存在している。データ関連付けは、位置合わせ問題に対するほとんどの方式において大きな役割を演じている潜在変数である。従来の方法は、既知のデータ関連付けの組によって位置合わせ問題を解決している。但し、変換又は関連付けとの関係における信頼性の高い知識が入手不能である際の状況においては、この仮定が問題となり得る。ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）又はＳｏｆｔＰＯＳＩＴ（Ｓｏｆｔ ａｓｓｉｎｅ Ｐｏｓｅ ｆｒｏｍ Ｏｒｔｈｏｇｒａｐｈｙ ａｎｄ Ｓｃａｌｉｎｇ ｗｉｔｈ ＩＴｅｒａｔｉｏｎ）アルゴリズムなどの未知の関連付けを取り扱うためのいくつかの問題が存在している一方で、これらの方法は、十分な正常値が見出される時点まで可能な関連付けをランダムにサンプリングすること又はそれぞれ最良の関連付けを見出すことと最良の変換を見出すことの間において反復的に切り替えることに依存している。

従って、既知の又は未知の初期データ関連付けを有する２Ｄ及び３Ｄラインに基づいた位置合わせを利用することにより、マップデータによって定義された環境内においてセンサを較正する且つ／又はセンサをローカライズするシステム及び方法に対するニーズが存在している。

一実施形態において、システムは、環境の画像データをキャプチャするように構成された第１センサと、環境のポイントクラウドデータをキャプチャするように構成された第２センサと、第１センサ及び第２センサに通信自在に結合された演算装置と、を含む。演算装置は、第１センサからの画像データ及び第２センサからのポイントクラウドデータを受け取るように、画像データから１つ又は複数の２Ｄラインをパラメータ化するように、ポイントクラウドデータから１つ又は複数の３Ｄラインをパラメータ化するように、射影変換ベクトル及びデータ関連付けセットについて同時に解くために混合整数線形計画として定式化された位置合わせ問題を解くことにより、１つ又は複数の２Ｄラインを１つ又は複数の３Ｄラインとアライメントするように、且つ、射影変換ベクトルに基づいてポイントクラウドデータとアライメントされた画像データを有するデータメッシュを生成するように、構成されている。

いくつかの実施形態において、システムは、環境を定義するデータをキャプチャするように構成された第１センサを含み、この場合に、データは、画像データ又はポイントクラウドデータの少なくとも１つを有しており、且つ、演算装置は、第１センサに通信自在に結合されている。演算装置は、第１センサからデータを受け取るように、環境のマップデータを取得するように、第１センサから受け取られたデータから１つ又は複数のラインをパラメータ化するように、マップデータから１つ又は複数のラインをパラメータ化するように、射影変換ベクトル及びデータ関連付けセットについて同時に解くために混合整数線形計画として定式化された位置合わせ問題を解くことにより、第１センサから受け取られたデータからパラメータ化された１つ又は複数のラインをマップデータからパラメータ化された１つ又は複数のラインとアライメントするように、且つ、射影変換ベクトルに基づいてマップデータとアライメントされた第１センサから受け取られたデータを有するデータメッシュを生成するように、構成されている。

いくつかの実施形態において、システムは、環境のカメラによってキャプチャされた画像データを取得するように、環境のポイントクラウドデータを取得するように、画像データから１つ又は複数のラインをパラメータ化するように、ポイントクラウドデータから１つ又は複数のラインをパラメータ化するように、射影変換ベクトル及びデータ関連付けセットについて同時に解くために混合整数線形計画として定式化された位置合わせ問題を解くことにより、画像データからパラメータ化された１つ又は複数のラインをポイントクラウドデータからパラメータ化された１つ又は複数のラインとアライメントするように、且つ、射影変換ベクトルに基づいてポイントクラウドデータとアライメントされた画像データを有するデータメッシュを生成するように、構成された演算装置を含む。

本明細書において記述されている実施形態によって提供されるこれらの及び更なる特徴については、図面との関連における以下の詳細な説明に鑑み、更に十分に理解することができよう。

図面において記述されている実施形態は、その特性が例示及び例証を目的としており、且つ、請求項によって定義されている主題を限定することを意図したものではない。例示用の実施形態に関する以下の詳細な説明は、以下の図面との関連において参照された際に理解することが可能であり、これらの図面においては、同一の構造が同一の参照符号によって示されており、且つ、図は、以下のとおりである。

図１は、本明細書において図示及び記述されている１つ又は複数の実施形態による２Ｄ画像データ及び３Ｄポイントクラウドデータを取得し且つ２Ｄ画像データと３Ｄポイントクラウドデータの間の剛体変換を判定する例示用のシステムを示す。

図２は、本明細書において図示及び記述されている１つ又は複数の実施形態による２Ｄ画像データと３Ｄポイントクラウドデータの間の剛体変換を判定する演算装置の例示用の概略図を示す。

図３は、本明細書において図示及び記述されている１つ又は複数の実施形態による２Ｄ及び３Ｄデータの間の剛体変換を判定するシステムを実装する車両の例示用の概略図を示す。

図４は、本明細書において図示及び記述されている１つ又は複数の実施形態によるカメラ、ＬＩＤＡＲセンサ、又はＲＡＤＡＲセンサを較正するために使用され得る射影変換ベクトルを生成するために２Ｄ画像データと３Ｄポイントクラウドデータの間の剛体変換を判定する例示用の方法のフロー図を示す。

図５は、本明細書において図示及び記述されている１つ又は複数の実施形態によるカメラ、ＬＩＤＡＲセンサ、又はＲＡＤＡＲセンサをローカライズするために使用され得る射影変換ベクトルを生成するために２Ｄ画像データ及び３Ｄポイントクラウドデータの間の剛体変換を判定する例示用の方法のフロー図を示す。

図６Ａは、Pribylにおいて記述されている方式に基づいた２Ｄ画像データからのパラメータ化されたラインと３Ｄポイントクラウドデータからのパラメータ化されたラインのアライメントの例示用の表現を示す。

図６Ｂは、本明細書において図示及び記述されている１つ又は複数の実施形態による２Ｄ画像データからのパラメータ化されたラインと３Ｄポイントクラウドデータからのパラメータ化されたラインのアライメントの例示用の表現を示す。

本開示の実施形態は、２Ｄ画像データと３Ｄポイントクラウドデータの間の剛体変換の判定を対象としている。本明細書において記述されている２Ｄ画像データと３Ｄポイントクラウドデータの間の剛体変換を判定するシステム及び方法は、移動ロボット工学、自律型車両、自動化機器、製造組立ライン、及びこれらに類似したものなどの用途において実装することができる。２Ｄ画像データと３Ｄポイントクラウドデータの間の剛体変換を判定するプロセスは、センサ較正及び／又はマップデータによって定義された環境内におけるローカライゼーションなどの動作のためにこれらの用途によって利用することができる。

更に詳しくは、本開示は、２Ｄ及び３Ｄデータの間の正しい変換及びデータ関連付けについて同時に解くために混合整数線形計画（ＭＩＬＰ）として定式化された安定したラインに基づいた２Ｄ－３Ｄ位置合わせアルゴリズムを対象としている。本明細書において定式化されているラインに基づいた２Ｄ－３Ｄ位置合わせアルゴリズムは、異常値に対して安定しており、既成の線形問題プログラムソルバが使用され得ることから実装において多様性を供給しており、且つ、２Ｄラインと３Ｄラインの間の関連付けが未知である際に動作する能力を有する。更には、以下において更に詳細に記述されているように、２Ｄ画像データと３Ｄポイントクラウドの間の剛体変換を判定する本システム及び方法は、ラインに基づいた位置合わせに対するその他の方式よりも性能が優れていることが実証されている。

本明細書において記述されている実施形態は、環境から２Ｄ画像データ及び３Ｄポイントクラウドデータをキャプチャするように構成されたシステム及び方法を含む。２Ｄ画像データ及び３Ｄポイントクラウドデータは、運転環境、建物内部、又はロボット装置又はシステムが実装され得るその他の場所から収集することができる。いくつかの実施形態において、システムは、２Ｄ画像データ及び３Ｄポイントクラウドデータから１つ又は複数のラインを判定するように構成されたパラメータ化ロジックを含む。パラメータ化ロジックによって判定されたラインを使用することにより、システムは、位置合わせ問題を定式化し且つ／又は解くように構成されたアライメントロジックを実装することができる。位置合わせ問題は、射影変換ベクトル及びデータ関連付けセットが判定され得るように、ＭＩＬＰとして定式化されている。本明細書において開示されている方式は、関連付けが線形問題におけるバイナリ変数として定式化される方法を含んでおり、これは、位置合わせ問題がＭＩＬＰに変換されることを許容している。位置合わせ問題、パラメータ化ロジック、及びアライメントロジックについては、本明細書において更に詳細に説明する。更には、アライメントロジックは、射影変換ベクトルに基づいて３Ｄポイントクラウドデータとアライメントされた２Ｄ画像データを有するデータメッシュを生成している。本明細書において使用されている「データメッシュ」は、位置合わせ問題に対する解に基づいて３Ｄポイントクラウドとの２Ｄ画像データのアライメントを定義するデータ表現又はデータフォーマットの任意の形態を有することができる。即ち、データメッシュは、３Ｄポイントクラウドデータとの２Ｄ画像データのアライメントを表すモデル、行列、その内部において注釈が付与された深さデータを有する画像、又はこれらに類似したものであってよい。

射影変換ベクトル及びデータ関連付けセットは、データを２つのモード（２Ｄライン及び３Ｄライン）間において最も一貫性を有する状態にする変換を定義している。本明細書において開示されている射影動作の固有の側面は、動作がラインを保持しているという点にある。これは、３Ｄポイントクラウド空間内の任意の３つの共線点が射影動作の後においても共線性を有していることを意味している。これに加えて、本開示の別の固有の側面は、データ関連付けが未知である際に（即ち、画像データからの２Ｄラインと３Ｄポイントクラウドデータからの３Ｄラインの間の関連付けが未知である際に）、システムがニアレストネイバーヒューリスティックを実装し得るという点にある。

いくつかの実施形態において、射影ベクトル及びデータ関連付けセットは、カメラ、ＬＩＤＡＲセンサ、ＲＡＤＡＲセンサ、又はこれらに類似したものなどのセンサに対して較正動作を実行するために使用することができる。更には、射影変換ベクトル及びデータ関連付けセットは、環境内においてセンサをローカライズするために使用することもできる。例えば、カメラによってキャプチャされた２Ｄ画像データと３Ｄポイントクラウドデータを有するマップデータの間の射影変換ベクトル及びデータ関連付けセットを判定することにより、カメラ（並びに／或いは、カメラに結合された車両）の場所を環境内においてローカライズすることができる。即ち、３Ｄポイントクラウドデータに対する２Ｄ画像データのアライメント動作のために３Ｄポイントクラウドデータの初期の既知の視点を使用することにより、結果的に得られる射影変換ベクトルは、３Ｄポイントクラウドデータの初期の既知の視点からマップデータ内において表現されている環境の２Ｄ画像データがキャプチャされた場所までの平行運動及び回転運動を付与している。いくつかの例において、環境のマップデータは、環境の３Ｄモデルを定義する３Ｄポイントクラウドであってよい。２Ｄ画像データ及び３Ｄポイントクラウドの間の剛体変換を判定するシステム及び方法の少なくともこれらの実装形態については、本明細書において更に詳細に説明する。

次に、図面を参照して更に詳細にこれらのシステム及び方法について以下において説明するが、これらの図面においては、同一の参照符号が同一の構造を参照している。

図１を参照すれば、２Ｄ画像データ及び３Ｄポイントクラウドデータを取得し且つ２Ｄ画像データと３Ｄポイントクラウドデータの間の剛体変換を判定する例示用のシステム１００が示されている。図１は、ネットワーク１６０を介して電子コントローラ１３０及びカメラ１４２、ＬＩＤＡＲセンサ１４４、及び／又はＲＡＤＡＲセンサ１４６などの１つ又は複数のセンサに通信自在に結合された演算装置１０２を含むシステム１００を示している。電子コントローラ１３０、カメラ１４２、ＬＩＤＡＲセンサ１４４、及びＲＡＤＡＲセンサ１４６は、ネットワークインターフェイスハードウェア１５０を介してネットワーク１６０に通信自在に結合することができる。図１は、ネットワーク１６０を介してその他のコンポーネントに通信自在に結合された演算装置１０２を示しているが、これは一例に過ぎない。いくつかの実施形態において、演算装置１０２は、例えば、通信経路１２０を介してその他のコンポーネントに通信自在に直接的に結合されている。即ち、いくつかの実施形態においては、演算装置１０２、電子コントローラ１３０、カメラ１４２、ＬＩＤＡＲセンサ１４４、及びＲＡＤＡＲセンサ１４６は、それぞれ、車両、ロボット、又はその他の装置内において実装することができる。

通信経路１２０は、例えば、導電性ワイヤ、導電性トレース、光導波路、又はこれらに類似したものなどの信号を送信する能力を有する任意の媒体から形成することができる。また、通信経路１２０は、電磁放射及びその対応する電磁波が伝播する空間をも意味し得る。更には、通信経路１２０は、信号を送信する能力を有する媒体の組合せから形成することもできる。一実施形態において、通信経路１２０は、プロセッサ、メモリ、センサ、入力装置、出力装置、及び通信装置などのコンポーネントへの電気データ信号の送信を許容するように協働する導電性トレース、導電性ワイヤ、コネクタ、及びバスの組合せを有する。従って、通信経路１２０は、バスを有し得る。これに加えて、「信号」という用語は、媒体を通じて移動する能力を有するＤＣ、ＡＣ、正弦波、三角波、方形波、振動、及びこれらに類似したものなどの波形（例えば、電気的、光学的、磁気的、機械的、又は電磁的なもの）を意味していることに留意されたい。通信経路１２０は、システム１００の様々なコンポーネントを通信自在に結合している。本明細書において使用されている「通信自在に結合される」という用語は、結合されたコンポーネントが、例えば、導電性媒体を介した電気信号、空気を介した電磁信号、光導波路を介した光信号、及びこれらに類似したものなどの信号を互いに交換する能力を有することを意味している。

更に図１を参照すれば、演算装置１０２は、ディスプレイ１０２ａ、処理ユニット１０２ｂ（例えば、少なくともプロセッサ及びメモリを有するもの）、及び入力装置１０２ｃを含んでいてもよく、これらのそれぞれは、１つに且つ／又はネットワーク１６０に通信自在に結合することができる。演算装置１０２は、２Ｄ画像データと３Ｄポイントクラウドデータの間の剛体変換を判定するプロセスを実行するように構成することができる。演算装置１０２については、図２を参照して更に詳細に説明する。

電子コントローラ１３０は、車両ＥＣＵ又はロボット制御装置であってよい。電子コントローラ１３０は、プロセッサ１３２と、一時的ではないコンピュータ可読メモリ１３４と、を含む。従って、プロセッサ１３２は、制御ユニット、集積回路、マイクロチップ、コンピュータ、又は任意のその他の演算装置であってよい。プロセッサ１３２は、通信経路１２０によってシステム１００のその他のコンポーネントに通信自在に結合されている。従って、通信経路１２０は、任意の数のプロセッサ１３２を互いに通信自在に結合することができると共に通信経路１２０に結合されたコンポーネントが分散演算環境内において動作することを許容することができる。具体的には、コンポーネントのそれぞれは、データを送信及び／又は受信し得るノードとして動作することができる。図１に示されている実施形態は、単一のプロセッサ１３２を含むが、その他の実施形態は、複数のプロセッサ１３２を含み得る。

システム１００の一時的ではないコンピュータ可読メモリ１３４は、通信経路１２０に結合され、且つ、プロセッサ１３２に通信自在に結合されている。一時的ではないコンピュータ可読メモリ１３４は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ハードドライブ、或いは、機械可読命令がプロセッサ１３２によってアクセス及び実行可能となるように機械可読命令を保存する能力を有する任意の一時的はないメモリ装置を有することができる。機械可読命令セットは、例えば、プロセッサ１３２によって直接的に実行され得る機械言語或いは機械可読命令にコンパイル又はアセンブルされ得る且つ一時的ではないコンピュータ可読メモリ１３４内において保存され得るアセンブリ言語、オブジェクト指向のプログラミング（ＯＯＰ）、スクリプティング言語、マイクロコード、などのような任意の世代（例えば、１ＧＬ、２ＧＬ、３ＧＬ、４ＧＬ、又は５ＧＬ）の任意のプログラミング言語において記述された１つ又は複数のロジック又はアルゴリズムを有することができる。或いは、この代わりに、機械可読命令セットは、フィールドプログラム可能なゲートアレイ（ＦＰＧＡ）構成又は用途固有の集積回路（ＡＳＩＣ）、或いは、これらの均等物を介して実装されたロジックなどのように、ハードウェア記述言語（ＨＤＬ）において記述することもできる。従って、本明細書において記述されている機能は、事前プログラミングされたハードウェア要素として、或いは、ハードウェア及びソフトウェアコンポーネントの組合せとして、任意の従来のコンピュータプログラミング言語において実装することができる。図１において示されている実施形態は、単一の一時的ではないコンピュータ可読メモリ１３４を含むが、その他の実施形態は複数のメモリモジュールを含み得る。

電子コントローラ１３０は、カメラ１４２に通信自在に結合することができる。カメラ１４２は、紫外波長帯域、可視光波長帯域、及び／又は赤外波長帯域において放射を検出する能力を有する検知装置のアレイを有する任意の装置であってよい。カメラ１４２は、任意の分解能を有し得る。カメラ１４２は、全方向性カメラ又はパノラマカメラであってよい。いくつかの実施形態において、ミラー、魚眼レンズ、又は任意のその他のタイプのレンズなどの１つ又は複数の光学コンポーネントをカメラ１４２のそれぞれに光学的に結合することができる。いくつかの実施形態において、カメラ１４２は、Ｉｎｔｅｌ（登録商標） ＲｅａｌＳｅｎｓｅ（商標） Ｄｅｐｔｈ ＣａｍｅｒａなどＲＧＢ－Ｄタイプカメラであってもよく、或いは、環境内の深さ計測値をキャプチャする且つ画像データに基づいて環境内の深さを判定するために分析される能力を有する画像をキャプチャする能力を有する類似の装置であってもよい。本明細書において記述されている実施形態において、カメラ１４２は、環境の２Ｄ画像データをキャプチャすることができる。例えば、カメラ１４２は、車両の周りの環境の２Ｄ画像データをキャプチャするために、図３を参照して図示及び記述されているように、車両に結合することができる。

また、システム１００は、光検出及び測距（ＬＩＤＡＲ）センサ１４４を含むこともできる。ＬＩＤＡＲセンサ１４４は、通信経路１２０に、且つ、ネットワークインターフェイスハードウェア１５０を介して演算装置１０２に、通信自在に結合されている。ＬＩＤＡＲセンサ１４４は、ＬＩＤＡＲセンサ１４４からパルス化レーザー光を反射する物体までの距離を計測するためにパルス化レーザー光を使用している。ＬＩＤＡＲセンサ１４４は、そのプリズム様の動作が従来の回転ＬＩＤＡＲセンサ１４４と関連する重量及びサイズの複雑さを伴うことなしに広い視野を許容している光学フェーズドアレイ装置として構成されたものを含む少ない数の可動部分を有する又は可動部分をまったく有していない半導体装置として製造することができる。ＬＩＤＡＲセンサ１４４は、飛行時間を計測するために特に適しており、この場合に、飛行時間は、ＬＩＤＡＲセンサ１４４の視野内に存在している物体に伴う距離計測と相関し得る。ＬＩＤＡＲセンサ１４４によって放出されたパルス化レーザー光の様々な波長の戻りの時間差を算出することにより、ターゲット又は環境のデジタル３Ｄ表現（例えば、ポイントクラウド表現）を生成することができる。ＬＩＤＡＲセンサ１１４によって放出されるパルス化レーザー光は、一形態においては、電磁スペクトルの赤外線レンジ内において又はこの近傍において動作させることができるが、この場合に、一例は、約９０５ナノメートルの放射を放出している。ＬＩＤＡＲセンサ１４４などのセンサは、車両の周りの環境に関する詳細な３Ｄ空間情報のみならず、特に、ＧＰＳシステム又はジャイロスコープに基づいた慣性ナビゲーションユニット（ＩＮＵ、図示されてはいない）などの地理参照装置或いは関係する推測航法システムのみならず、一時的ではないコンピュータ可読メモリ１３４（その独自の又は電子コントローラ１３０及び／又は演算装置１０２のメモリ）との関連において使用されている際に、車両のマッピング、ナビゲーション、及び自律型動作のためのシステムのサービスにおけるこのような情報の使用法を提供するために、車両によって使用することができる。

いくつかの実施形態において、システム１００の１つ又は複数のセンサは、ＲＡＤＡＲセンサ１４６を含むことができる。ＲＡＤＡＲセンサ１４６は、通信経路１２０及び電子コントローラ１３０及び／又は演算装置１０２に通信自在に結合されている。ＲＡＤＡＲセンサ１４６は、物体の距離、角度、及び相対速度を判定するために高周波を使用する方法を利用したシステムである。いくつかの実施形態において、ＲＡＤＡＲセンサ１４６は、ターゲット又は環境のデジタル３Ｄ表現（例えば、ポイントクラウド表現）を生成することができる。ＲＡＤＡＲセンサ１４６は、車両の環境に関する情報を取得するためにカメラ１４２、ＬＩＤＡＲセンサ１４４、及び／又はその他のセンサとの関連において使用することができる。

ＲＡＤＡＲセンサ１４６は、一般に、規制されていない狭帯域及び極広帯域のスペクトルの両方において２４ＧＨｚ帯域内の周波数を利用している。但し、新しいスペクトル規制は、２４ＧＨｚ帯域の使用を節減しており、且つ、従って、いくつかのシステムは、いまや、７７～８１ＧＨｚ帯域内の周波数を利用することができる。これらの帯域は、一般に、自動車のＲＡＤＡＲセンサにおいて使用されているが、本明細書において記述されているシステム及び方法の範囲は、これらの周波数レンジに限定されるものではない。一般に、ＲＡＤＡＲセンサ１４６は、高エネルギーのピングを放出し、且つ、自身が反射を受け取るのに所要する時間を計測している。但し、いくつかのシステムは、システムの帯域幅に跨る周波数掃引である「チャープ」を送信する周波数変調された連続波を実装している。この結果、信号の経路内の物体は、このチャープを反射して戻す。トランスミッタから外に放出されたチャープの周波数と受け取られた反射信号の周波数の間の差は、任意の一時点におけるトランスミッタから物体までの距離に対して線形の関係を有する。

ＲＡＤＡＲセンサ１４６を使用するローカライゼーションは、この距離計測の分解能及び精度に部分的に依存している。分解能は、物体が２つの物体として弁別可能となる前に物体がどれだけ離隔する必要があるかを決定し得る。精度は、単に距離計測の精度である。距離計測の誤差及び最小分解可能距離は、チャープの帯域幅に反比例している。利用可能な周波数の幅に起因して、例えば、２４ＧＨｚから７７ＧＨｚへの移動は、距離分解能及び精度における２０倍だけ良好な性能を実現することができる。７７ＧＨｚシステムの距離分解能は、２４ＧＨｚレーダーの場合に７５ｃｍであるのに対して、４ｃｍであることが可能であり、これは、１つに近接した複数の物体の相対的に良好な検出を許容し得る。

図１は、ＲＡＤＡＲセンサ１４６を示しているが、本明細書において記述されているいくつかのシステム１００は、ＲＡＤＡＲセンサ１４６を含んでいなくてもよい。或いは、この代わりに、システム１００は、様々な視野内の車両の環境内の物体を検出するために車両上の様々な場所において位置決めされた複数のＲＡＤＡＲセンサ１４６を含むこともできる。これに加えて、「センサ」に対する本明細書における参照は、上述のセンサ、カメラ１４２、ＬＩＤＡＲセンサ１４４、ＲＡＤＡＲセンサ１４６、又は当業者に既知の任意のその他のセンサの任意のものを参照し得ることを理解されたい。

更に図１を参照すれば、システム１００は、通信経路１２０に結合された且つ電子コントローラ１３０に通信自在に結合されたネットワークインターフェイスハードウェア１５０を含むことができる。ネットワークインターフェイスハードウェア１５０は、ネットワーク１６０を介してデータを送信及び／又は受信する能力を有する任意の装置であってよい。従って、ネットワークインターフェイスハードウェア１５０は、任意の有線又は無線通信を送信及び／又は受信する通信トランシーバを含み得る。例えば、ネットワークインターフェイスハードウェア１５０は、アンテナ、モデム、ＬＡＮポート、Ｗｉ－Ｆｉカード、ＷｉＭａｘカード、モバイル通信ハードウェア、近距離通信ハードウェア、衛星通信ハードウェア、及び／又はその他のネットワーク及び／又は装置と通信するために任意の有線又は無線ハードウェアを含むことができる。一実施形態において、ネットワークインターフェイスハードウェア１５０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）無線通信プロトコルに従って動作するように構成されたハードウェアを含む。別の実施形態において、ネットワークインターフェイスハードウェア１５０は、Ｂｌｕｅｔｏｏｔｈ通信をネットワーク１６０との間において送信及び受信するＢｌｕｅｔｏｏｔｈ送信／受信モジュールを含むことができる。

いくつかの実施形態において、システム１００は、ネットワーク１６０を介して近傍の車両、その他のロボット、及び／又はその他の演算装置（例えば、演算装置１０２などの遠隔配置された装置）に通信自在に結合することができる。いくつかの実施形態において、ネットワーク１６０は、システム１００と近傍の車両を通信自在に結合するためにＢｌｕｅｔｏｏｔｈ技術を利用するパーソナルエリアネットワークである。その他の実施形態において、ネットワーク１６０は、１つ又は複数のコンピュータネットワーク（例えば、パーソナルエリアネットワーク、ローカルエリアネットワーク、又はワイドエリアネットワーク）、セルラーネットワーク、衛星ネットワーク、及び／又は全地球測位システム、並びに、これらの組合せを含み得る。従って、システム１００は、ワイヤを介して、ワイドエリアネットワークを介して、ローカルエリアネットワークを介して、パーソナルエリアネットワークを介して、セルラーネットワークを介して、衛星ネットワークを介して、或いは、これらに類似したものを介して、ネットワーク１６０に通信自在に結合することができる。適切なローカルエリアネットワークは、有線Ｅｔｈｅｒｎｅｔ、並びに／或いは、例えば、Ｗｉ－Ｆｉなどの無線技術を含み得る。適切なパーソナルエリアネットワークは、例えば、ＩｒＤＡ、Ｂｌｕｅｔｏｏｔｈ、Ｗｉｒｅｌｅｓｓ ＵＳＢ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅ（登録商標）、及び／又はその他の近距離通信プロトコルなどの無線技術を含むことができる。同様に、適切なパーソナルエリアネットワークも、例えば、ＵＳＢ及びＦｉｒｅＷｉｒｅ（登録商標）などの有線コンピュータバスを含むことができる。適切なセルラーネットワークは、限定を伴うことなしに、ＬＴＥ、ＷｉＭＡＸ、ＵＭＴＳ、ＣＤＭＡ、及びＧＳＭなどの技術を含む。

次に図２を参照すれば、２Ｄ画像データ２３８Ａと３Ｄポイントクラウドデータ２３８Ｂの間の剛体変換を判定する演算装置１０２の例示用の概略図が示されている。演算装置１０２は、車両、ロボットシステム、又はこれらに類似したものなどの共通装置内において統合されていてもよく、或いは、遠隔配置されていてもよく、且つ、カメラ１４２、ＬＩＤＡＲセンサ１４４、ＲＡＤＡＲセンサ１４６、及び／又はこれらに類似したものなどのセンサに通信自在に結合されていてもよい。演算装置１０２は、ローカルインターフェイス２２０を介して通信自在に結合されたいくつかのコンポーネントを含むことができる。図１を参照して開示及び記述されている通信経路１２０と同様に、ローカルインターフェイス２２０は、演算装置１０２のコンポーネントの間における通信を促進するためにバス又はその他のインターフェイスとして実装することができる。

演算装置１０２は、プロセッサ２３２、メモリモジュール２３４、２Ｄ画像データ２３８Ａ及び／又は３Ｄポイントクラウドデータ２３８Ｂを保存し得るデータストレージコンポーネント２３６、入出力ハードウェア２４０、及びネットワークインターフェイスハードウェア２４２を含むことができる。メモリモジュール２３４は、機械可読メモリであってよい（これらは、一時的ではないプロセッサ可読メモリとも呼称され得る）。メモリモジュール２３４は、揮発性及び／又は不揮発性メモリとして構成されてもよく、且つ、従って、ランダムアクセスメモリ（ＳＲＡＭ、ＤＲＡＭ、及び／又はその他のタイプのランダムアクセスメモリを含む）、フラッシュメモリ、レジスタ、コンパクトディスク（ＣＤ）、デジタルバーサタイルディスク（ＤＶＤ）、及び／又はその他のタイプのストレージコンポーネントを含むことができる。メモリモジュール２３４は、図１を参照して開示及び記述されている一時的ではないコンピュータ可読メモリ１３４に類似したコンポーネントであってよい。これに加えて、メモリモジュール２３４は、オペレーティングロジック２３４Ａ、２Ｄパラメータ化ロジック２３４Ｂ、３Ｄパラメータ化ロジック２３４Ｃ、アライメントロジック２３４Ｄ、較正ロジック２３４Ｅ、及び／又はローカライゼーションロジック２３４Ｆを保存するように構成することができる（これらのそれぞれは、一例として、コンピュータプログラム、ファームウェア、又はハードウェアとして実施することができる）。

プロセッサ２３２は、（データストレージコンポーネント１３６及び／又はメモリモジュール２３４などから）プログラミング命令を受け取り且つ実行するように構成された１つ又は複数の任意の処理コンポーネントを含むことができる。プロセッサ２３２は、図１を参照して開示及び記述されているプロセッサ１３２に類似したコンポーネントであってよい。命令は、データストレージコンポーネント２３６及び／又はメモリモジュール２３４内において保存されている機械可読命令セットの形態を有することができる。入出力ハードウェア２４０は、モニタ、キーボード、マウス、プリンタ、カメラ、マイクロフォン、スピーカ、及び／又はデータを受け取り、送信し、且つ／又は提示するその他の装置を含むことができる。ネットワークインターフェイスハードウェア２４２は、モデム、ＬＡＮポート、Ｗｉ－Ｆｉカード、ＷｉＭａｘカード、モバイル通信ハードウェア、及び／又はその他のネットワーク及び／又は装置と通信するその他のハードウェアなどの任意の有線又は無線ネットワーキングハードウェアを含むことができる。ネットワークインターフェイスハードウェア２４２は、図１を参照して開示及び記述されているネットワークインターフェイスハードウェア１５０に類似したコンポーネントであってよい。

データストレージコンポーネント２３６は、演算装置１０２の近くにおいて又はこれから離れた状態において存在していてもよく、且つ、演算装置１０２及び／又はその他のコンポーネントによるアクセスのためにデータの１つ又は複数の断片を保存するように構成され得ることを理解されたい。図１に示されているように、データストレージコンポーネント２３６は、２Ｄ画像データ２３８Ａ及び３Ｄポイントクラウドデータ２３８Ｂを保存することができる。２Ｄ画像データ２３８Ａは、カメラ１４２などのシステム１００の１つ又は複数のセンサからキャプチャされた環境の画像を含むことができる。３Ｄポイントクラウドデータ２３８Ｂは、空間内のデータポイントの１つ又は複数の組を含むことができる。ポイントクラウドは、一般に、その周りの物体の外部表面上の多くのポイントを計測する３Ｄスキャナによって生成されている。例えば、３Ｄスキャナは、ＬＩＤＡＲセンサ１４４、ＲＡＤＡＲセンサ１４６、ＲＧＢ－Ｄカメラシステム、又はその他のセンサを含むことができる。いくつかの実施形態において、２Ｄ画像データ２３８Ａ及び／又は３Ｄポイントクラウドデータ２３８Ｂは、データセット内において注釈が付与されたパラメータ化されたライン基準を含むことができる。いくつかの実施形態において、３Ｄポイントクラウドデータ２３８Ｂは、環境の３Ｄモデル又はマップデータを表すことができる。

いくつかの実施形態において、２Ｄ画像データ２３８Ａ及び／又は３Ｄポイントクラウドデータ２３８Ｂは、環境を観察しているセンサ（例えば、カメラ１４２、ＬＩＤＡＲセンサ１４４、及び／又はＲＡＤＡＲセンサ１４６）から受け取られている。本明細書において更に詳しく説明するように、システム１００は、２Ｄ画像データ２３８Ａをその対応する３Ｄポイントクラウドデータ２３８Ｂとアライメントすることを追及している。また、アライメントプロセスは、２Ｄ画像データ２３８Ａと３Ｄポイントクラウドデータ２３８Ｂの間における変換とも呼称されている。通常、変換は、例えば、２Ｄ画像データ２３８Ａをその対応する３Ｄポイントクラウドデータ２３８Ｂとアライメントするなどのように、データの１つの組を別のものとアライメントする平行運動及び／又は回転運動値を提供する位置合わせ問題に対する解を判定するステップを含む。また、いくつかの実施形態において、アライメントプロセスは、データをスケーリングするステップを含むこともできる。例えば、２Ｄ画像データ２３８Ａは、対応する３Ｄポイントクラウドデータ２３８Ｂのものよりも大きな倍率でキャプチャされる場合がある。従って、アライメントを実現するために、データの両方の組の１つのスケーリングが必要となり得る。

次にメモリモジュール２３４を参照すれば、メモリモジュール２３４は、演算装置１０２及び／又はシステム１００内において動作を実行するロジックを含む。また、いくつかのケースにおいては、メモリモジュール２３４は、２Ｄ画像データ２３８Ａ及び／又は３Ｄポイントクラウドデータ２３８Ｂなどのデータを保存することもできる。例えば、メモリモジュール２３４は、オペレーティングロジック２３４Ａ、２Ｄパラメータ化ロジック２３４Ｂ、３Ｄパラメータ化ロジック２３４Ｃ、アライメントロジック２３４Ｄ、較正ロジック２３４Ｅ、及び／又はローカライゼーションロジック２３４Ｆを含むことができる。オペレーティングロジック２３４Ａは、システム及び／又は電子コントローラ１３０のコンポーネントを管理し且つこれらとインターフェイスしているオペレーティングシステム及び／又はその他のソフトウェアを含むことができる。

２Ｄパラメータ化ロジック２３４Ｂは、２Ｄ画像データ２３８Ａ内のラインをパラメータ化するロジックを含む。例えば、２Ｄ画像データ２３８Ａ内のラインをパラメータ化することは、エッジ（即ち、相対的に別個のグレーレベルを有する領域の間の境界）を識別する方法を含み得る。その他の方法は、入力画像内の細いラインの画像記述を生成する畳み込みに基づいた技法を含み得る。例えば、畳み込みカーネルは、特定の幅及び／又は向きのラインの存在を検出するようにチューニングすることができる。画像データから２Ｄラインをパラメータ化するために実装されている方法とは無関係に、２Ｄパラメータ化ロジック２３４Ｂは、３Ｄポイントクラウドデータ２３８Ｂからのパラメータ化されたラインとのアライメントプロセスにおいて使用される画像を表す複数のラインを生成している。

３Ｄパラメータ化ロジック２３４Ｃは、３Ｄポイントクラウドデータ２３８Ｂ内のラインをパラメータ化するロジックを含む。例えば、限定を伴うことなしに、３Ｄパラメータ化ロジック２３４Ｃは、３Ｄポイントクラウドデータ２３８Ｂからのパラメータ化されたラインＬがプリュッカー座標によって表される方式を実装することができる。例えば、ｐ_sが３Ｄラインセグメントの開始を表す３次元空間
内のポイントであり、且つ、ｐ_eが終端である場合には、対応するプリュッカー座標は、
として演算することが可能であり、この場合に、ｐ_e×ｐ_sは、ラインの法線を表し、且つ、ｐ_e－ｐ_sは、ラインの方向である。プリュッカー座標を変換するために、以下の６×６ライン変換行列τ_ABが使用されており、ここで、
であり、ここで、Ｒは、回転行列を表し、且つ、［・］ｘは、
における平行運動を歪対称行列に変換する動作を表している。従って、３Ｄパラメータ化ロジック２３４Ｂは、２Ｄ画像データ２３８Ａからのパラメータ化されたラインとのアライメントプロセスにおいて使用される３Ｄポイントクラウドデータ２３８Ｂを表す複数のラインを生成している。

更に図２を参照すれば、アライメントロジック２３４Ｄは、２Ｄ及び３Ｄパラメータ化されたラインデータを取得するように、且つ、平行運動及び／又は回転運動値を判定するように、且つ、任意選択により、２Ｄ及び３Ｄラインデータの間のデータ関連付けを判定するように、構成されている。また、上述のように、アライメントプロセスは、２Ｄ画像データ２３８Ａと３Ｄポイントクラウドデータ２３８Ｂの間における変換とも呼称されている。通常、変換は、例えば、２Ｄ画像データ２３８Ａをその対応する３Ｄポイントクラウドデータ２３８Ｂとアライメントするなどのように、データの１つの組を別のものとアライメントする平行運動値及び／又は回転運動値を提供する位置合わせ問題に対する解を判定するステップを含んでいる。本開示においては、アライメントロジック２３４Ｄは、カメラ内部行列Ｋによって提供される３Ｄから２Ｄへの射影が付与された場合に、基準フレーム
内の３Ｄポイントの組
を２Ｄピクセルの組
の基準フレームＡに変換する正しい変換Ｔ_ABを判定するように構成されている。問題の次元を低減するために、相対的に疎らな特徴を変換のために使用することができる。これに加えて、射影動作とも呼称され得るアライメント動作は、ラインを保持している。これは、
内の任意の３つの共線点が射影演算子の後にも共線性を有していることを意味している。

換言すれば、アライメントロジック２３４Ｄは、以下の式１として表現される固有の位置合わせ問題を解くことを追及しており、
ここで、ｐは射影変換ベクトルを表し、Ｉはデータ関連付けセットを表し、ｎは３Ｄラインを表し、且つ、ｍは２Ｄラインを表し、且つ、Ｍは計測マトリックスを表している。

例えば、プリュッカー座標の第１の半分として入手可能である画像ライン法線と３Ｄラインの法線の間の距離を極小化することを追及するラインに基づいた位置合わせに対する方式に鑑み、変換行列は、以下の式２として表現することができる。
Ｐ_AB＝［Ｒ［ｔ］ｘＲ］ 式２

以下の式３の等式表現を踏襲することにより、且つ、行列Ｐをｐにベクトル化することにより、３Ｄライン
と２Ｄライン
の間の関連付けについて、以下の式４として構造化された１８×２計測行列Ｍ^｛n,m｝が実現される。

関連付けが既知である実施形態においては、これらは、組Ａとして入力され、これが上述の式１として表現された位置合わせ問題を生成している。但し、組が提供されない場合にも、ニアレストネイバーヒューリスティックを使用することにより、射影変換Ｐ用の初期推測を生成することができる。いずれの場合にも、アライメントロジック２３４Ｄは、Ｐ又はＩの以前のものが利用不能である際には、式１を極小化するように構成されている。

式１における位置合わせの定式化に対する利点は、残差（即ち、結果におけるエラー）が射影パラメータとの関係において線形であるという点にある。いくつかの方式は、Ｍ^｛n,m｝を単一の行列に組み立て且つ組み合わせられた計測行列のヌル空間を見出すべくＳＶＤ分解を実行することにより、Ｌ₂ノルムについてこの問題を解くステップを含み得る一方で、本明細書において教示されている相対的に安定した方式は、式１のＬ₁ノルムを極小化するというものである。

更には、アライメントロジック２３４Ｄが射影変換ベクトルｐ及びデータ関連付けセットＩについて解くためには、ラインＬ_m及びｌ_nが関連付けられているかどうかを通知するバイナリ変数Ｓｍｎが必要とされていると判定された。即ち、ラインが関連付けられている場合には、値は０である。最後に、Ｌ₁に等しいスラック変数αを追加することにより、以下の式６として表現される混合整数線形計画を生成することができる。

いくつかの実施形態において、任意の異常値状況を取り扱うべく、等式
は、ｓのその他の次元にわたる加算に対する類似の変更を伴って、
に変更することができる。更には、いくつかの例におけるアライメントロジック２３４Ｄは、視野制約を活用するように更に構成することができる。例えば、３ＤラインＬ_mについてマッチングが存在している場合には、そのある程度の部分が画像プレーン内に射影されているはずである。これは、以下の式である式７及び式８により、近似することができる。

いくつかの実施形態において、アライメントロジック２３４Ｄは、ＭＩＬＰがＳＥ（２）に制約されるように構成されている。これは、問題の次元を低減し且つ解を見出すプロセスを加速させる。例えば、平行運動は、ｙ軸及びｚ軸に沿って制約されることが可能であり、且つ、回転は、３Ｄポイントクラウドデータ２３８Ｂ及び２Ｄ画像データ２３８Ａを定義する座標空間のｘ軸を中心として制約されることが可能である。これは、式９において以下に示されているように、変換行列Ｐに対して制約を追加することにより、実現することができる。

更に図２を参照すれば、アライメントロジック２３４Ｄは、２Ｄ及び３Ｄパラメータ化されたラインデータを取得するように、且つ／又は、平行運動及び／又は回転運動値を判定するように、且つ、任意選択により、２Ｄ及び３Ｄラインデータの間のデータ関連付けを判定するように、構成されている。上述の式は、（例えば、平行運動及び回転運動値を定義している）射影変換ベクトル及びデータ組合せセットを取得するためにアライメントロジック２３４Ｄによって実装されており、これは、３Ｄラインに対応する２Ｄラインを識別している。上述のように、射影変換ベクトル及び２Ｄ及び３Ｄラインデータの間のデータ関連付けを判定する方法は、ＭＩＬＰとして位置合わせ問題を構成し且つ解くことにより、実現されている。ＭＩＬＰとして定式化された位置合わせ問題を解くことに対するいくつかの利点は、データ関連付けが定式化の前に判明している必要がなく、ＭＩＬＰ用の制約の構成を簡単な方式で実行することが可能であり、結果を維持又は改善しつつ、ＭＩＬＰを実装時間を低減し得る容易に入手可能なソルバを使用して解くことができると共に、結果をセンサの較正及びローカライゼーション動作のために使用することができるという点にある。

アライメントロジック２３４Ｄがシステム１００によって実行されたら、演算装置１０２は、射影変換ベクトルに基づいて較正動作又はローカライゼーション動作を更に実行することができる。較正動作は、別のセンサ用の較正パラメータを判定するために射影変換ベクトルと共に１つの較正済みのセンサのデータを利用するように構成された較正ロジック２３４Ｅによって定義することができる。例えば、図３を参照すれば、車両１１０は、カメラ１４２及びＬＩＤＡＲセンサ１４４を含むことができる。カメラ１４２は、環境の２Ｄ画像データ２３８Ａをキャプチャするように構成されている。ＬＩＤＡＲセンサ１４４は、同一の環境の３Ｄポイントクラウドデータ２３８Ｂ又は車両１１０の周りの環境の少なくともオーバーラップした部分をキャプチャするように構成されている。カメラ１４２又はＬＩＤＡＲセンサ１４４が較正されているが、その他の較正が検証及び／又は更新される必要があるケースが存在し得る。カメラ１４２が較正されている、即ち、カメラ１４２の外因性及び／又は内因性較正値が判明しているケースにおいては、較正ロジック２３４Ｅは、ＬＩＤＡＲセンサ１４４の外因性及び／又は内因性較正値を較正（即ち、検証及び／又は更新）するように実装することができる。カメラ１４２及びＬＩＤＡＲセンサ１４４は、いずれも、環境の個々のデータをキャプチャし、且つ、２Ｄ画像データ２３８Ａ及び３Ｄポイントクラウドデータ２３８Ｂをシステム１００に入力している。システム１００は、例えば、図２を参照して記述されているように、電子コントローラ１３０を通じて且つ／又は演算装置１０２を通じて、例えば、図４を参照して記述及び図示されているように、方法を実装しており、これについては、本明細書において更に詳細に説明する。射影変換ベクトルが、それぞれ、カメラ１４２及びＬＩＤＡＲセンサ１４４によってキャプチャされた２Ｄ画像データ２３８Ａ及び３Ｄポイントクラウドデータ２３８Ｂに基づいて判定されたら、較正ロジック２３４Ｅは、ＬＩＤＡＲセンサ１４４の較正を検証及び更新するために射影変換ベクトルにおいて判定された値を利用している。換言すれば、２Ｄ画像データ２３８Ａと３Ｄポイントクラウドデータ２３８Ｂの間に平行運動及び／又は回転運動が存在していると射影変換ベクトルが判定した場合には、平行運動及び／又は回転運動値は、将来の３Ｄポイントクラウドデータ２３８Ｂがカメラ１４２によってキャプチャされた２Ｄ画像データ２３８Ａとアライメントするように、ＬＩＤＡＲセンサ１４４内において実装することができる。また、ＬＩＤＡＲセンサ１４４の較正が既知であり、且つ、カメラ１４２の較正が検証及び／又は更新される必要がある場合には、反対の動作を実行することができる。

いくつかの実施形態において、２Ｄ画像データ２３８Ａと３Ｄポイントクラウドデータ２３８Ｂの間における剛体変換を判定するシステム及び方法は、環境内の環境の２Ｄ画像又は３Ｄポイントクラウドをキャプチャするセンサをローカライズするために使用することができる。本明細書において記述されているローカライゼーション動作は、ナビゲーション座標により且つ視覚的に（例えば、２Ｄ画像データ２３８Ａにより）且つ／又は空間的に（例えば、３Ｄポイントクラウドデータ２３８Ｂにより）環境を定義している以前のマップデータを使用することができる。例えば、車両１１０（図３）は、環境の２Ｄ画像データ２３８Ａ又は３Ｄ画像データをキャプチャするカメラ１４２及び／又はＬＩＤＡＲセンサ１４４を含むことができる。図５を参照して更に詳細に記述されるローカライゼーション動作は、キャプチャされた２Ｄ画像データ２３８Ａ又は３Ｄポイントクラウドデータ２３８Ｂと以前のマップデータの間の射影変換ベクトルを判定するためにローカライゼーションロジック２３４Ｆを実装している。以前のマップデータは、ナビゲーション座標によって定義された既知の場所からの環境の２Ｄ画像データ２３８Ａであってよい（例えば、ナビゲーション座標は、経度、緯度、高度、ロール、ピッチ、及び／又はヨーを含み得る）。ローカライゼーションロジック２３４Ｆは、射影変換ベクトルを以前のマップデータのナビゲーション座標に適用することによって（即ち、例えば、平行運動及び／又は回転運動値を適用することによって）２Ｄ画像データ２３８Ａ又は３Ｄポイントクラウドデータ２３８Ｂがキャプチャされた場所からナビゲーション座標を判定している。換言すれば、以前のマップデータのナビゲーション座標及び射影変換ベクトルにおいて定義されている平行運動及び回転運動値が付与された場合に、２Ｄ画像データ２３８Ａ又は３Ｄポイントクラウドデータ２３８Ｂがキャプチャされた座標を判定することができる。従って、車両、ロボット、又はその他のシステムのローカライゼーションを判定することができる。

上述のロジックモジュールについては、本明細書の図４及び図５との関係において更に詳細に説明する。但し、以上において開示されているロジックモジュールは、独立したユニットとして記述されているが、実施形態は、それぞれのものの様々な組合せ及び一部分を含み得ることに留意されたい。更には、ロジックモジュールは、演算装置１０２を参照して記述されているが、類似のロジックモジュールは、電子コントローラ１３０によって実装することもできる。

次に図３を参照すれば、２Ｄ及び３Ｄデータの間における剛体変換を判定するシステム１００を実装した車両１１０の例示用の概略図が示されている。示されているように、例えば、限定を伴うことなしに、カメラ１４２は、ウィンドシールドの上方において配設され、且つ、車両１１０の前面において環境を観察するように位置決めされている。但し、１つ又は複数のカメラ１４２が、車両１１０の周りの環境の２Ｄ画像データ２３８Ａをキャプチャするために車両１１０上において実装され得ることから、これは、一例に過ぎない。車両１１０は、１つ又は複数のＬＩＤＡＲセンサ１４４を更に含むことができる。図示のように、ＬＩＤＡＲセンサ１４４は、ヘッドランプアレイを有するように実装されているが、ＬＩＤＡＲセンサ１４４のＬＩＤＡＲセンサは、車両１１０の周りの環境の３Ｄポイントクラウドデータ２３８Ｂをキャプチャするために車両１１０上の様々な場所において実装され得ることから、これもまた、一例に過ぎない。車両１１０は、１つ又は複数のＲＡＤＡＲセンサ１４６及びシステムを更に含むことができる。図示のように、ＲＡＤＡＲセンサ１４６は、ヘッドランプアレイを有するように実装されているが、ＲＡＤＡＲセンサ１４６のＲＡＤＡＲセンサは、車両１１０の周りの環境の３Ｄポイントクラウドデータ２３８Ｂをキャプチャするために車両１１０上の様々な場所において実装され得ることから、これもまた、一例に過ぎない。また、車両１１０は、車両１１０上の１つ又は複数のセンサからデータをキャプチャするように、演算装置１０２などのネットワークインターフェイスハードウェア１５０を介して外部演算リソースと通信するように、且つ／又は、本明細書において記述されているように較正及び／又はローカライゼーション動作を実行するように、構成された電子コントローラ１３０を含むこともできる。即ち、いくつかの実施形態において、電子コントローラ１３０は、本明細書において記述されている方法の１つ又は複数を実装することができる。車両１１０は、自律型車両又は半自律型車両であってよい。これに加えて、図３は、車両１１０を示しているが、いくつかの実施形態は、モバイルロボット、自動化機器、製造組立ライン、及びこれらに類似したものであってもよい。

システム１００及び射影変換ベクトルを生成するために２Ｄ画像データ２３８Ａと３Ｄポイントクラウドデータ２３８Ｂの間の剛体変換を判定することに基づいたシステム１００によって実行される動作についての理解と共に、関係する方法について更に十分に説明するために図４及び図５を参照されたい。２つの例示用の方法について説明する前に、これらの方法のそれぞれは、２Ｄ画像データ２３８Ａ及び３Ｄポイントクラウドデータ２３８Ｂからパラメータ化されたラインを判定すること、射影変換ベクトル及び／又はデータ関連付けセットについて同時に解くために混合整数線形計画として定式化された位置合わせ問題を解くことにより、２Ｄ画像データ２３８Ａ及び３Ｄポイントクラウドデータ２３８Ｂからのパラメータ化されたラインをアライメントすること、及び射影変換ベクトルに基づいて３Ｄポイントクラウドデータ２３８Ｂとアライメントされた２Ｄ画像データ２３８Ａを有するデータメッシュを生成及び／又は出力すること、という本明細書において記述されている固有の方式に基づいていることを理解されたい。更には、２Ｄ画像データ２３８Ａ及び３Ｄポイントクラウドデータ２３８Ｂは、リアルタイム又はほぼリアルタイムにおいて収集されてもよく、或いは、過去の時点からキャプチャされたデータセットのコピーを保持するデータストレージから取得されてもよいことを理解されたい。

図４を参照すれば、カメラ１４２、ＬＩＤＡＲセンサ１４４、又はＲＡＤＡＲセンサ１４６を較正するために使用され得る射影変換ベクトルを生成するための２Ｄ画像データ２３８Ａ（図２）及び３Ｄポイントクラウドデータ２３８Ｂ（図２）の間の剛体変換を判定する例示用の方法のフロー図４００が示されている。方法を示すフロー図４００は、図１及び図２を参照して図示及び記述されているシステム１００によって実装することができる。

フロー図４００を参照すれば、ブロック４０２において、カメラ１４２（図１）又はその他の画像検知装置は、環境の２Ｄ画像データ２３８Ａをキャプチャするように構成することができる。カメラ１４２によってキャプチャされた２Ｄ画像データ２３８Ａは、データストレージコンポーネント２３６又は類似の装置内において保存することができる。ブロック４０４において、システム１００は、例えば、２Ｄ画像データ２３８Ａから１つ又は複数の２Ｄラインをパラメータ化するために２Ｄラインパラメータ化ロジック２３４Ｂを実装している。ブロック４０６において、ＬＩＤＡＲセンサ１４４（図１）又はＲＡＤＡＲセンサ１４６（図１）などのセンサは、環境の３Ｄポイントクラウドデータ２３８Ｂ（図２）をキャプチャするように構成することができる。センサによってキャプチャされた３Ｄポイントクラウドデータ２３８Ｂ（図２）は、データストレージコンポーネント２３６又は類似の装置内において保存することができる。ブロック４０８において、システム１００は、例えば、３Ｄポイントクラウドデータ２３８Ｂから１つ又は複数の３Ｄラインをパラメータ化するために３Ｄラインパラメータ化ロジック２３４Ｃ（図２）を実装している。「２Ｄライン」及び「３Ｄライン」という用語は、それぞれ、２Ｄ画像データ２３８Ａ及び３Ｄポイントクラウドデータ２３８Ｂからのパラメータ化されたラインに対する参照であり、且つ、必ずしもラインとの関係における次元の意味を内包してはいないことを理解されたい。即ち、２Ｄ画像データ２３８Ａからのパラメータ化されたラインは、２次元空間又は３次元空間内において定義することができる。同様に、３Ｄポイントクラウドデータ２３８Ｂからのパラメータ化されたラインも、２次元空間又は３次元空間内において定義され得るが、相対的に頻繁に、３次元空間内において定義されることになる。

剛体変換の判定を要するデータの２つの組（例えば、２Ｄ画像データ２３８Ａ及び３Ｄポイントクラウドデータ２３８Ｂ）についてパラメータ化されたラインが生成されたら、システム１００は、ブロック４１０において、アライメントロジック２３４Ｄを実装している。即ち、システム１００は、ブロック４１０において、射影変換ベクトル及びデータ関連付けセットについて同時に解くために混合整数線形計画として定式化された位置合わせ問題を解くことにより、１つ又は複数の２Ｄラインを１つ又は複数の３Ｄラインとアライメントしている。更に詳細に上述されているように、１つ又は複数の２Ｄラインを１つ又は複数の３Ｄラインとアライメントするプロセスは、式６のＬ₁ノルムを極小化するステップを含むことができる。位置合わせ問題を解く、即ち、１つ又は複数の２Ｄラインを１つ又は複数の３Ｄラインとアライメントする、ことの結果として、システム１００は、射影変換ベクトル及びデータ関連付けセットを生成している。射影変換ベクトルは、２Ｄラインを３Ｄラインとアライメントするための平行運動及び回転運動値を定義している。データ関連付けセットは、２Ｄラインと３Ｄラインの間の対応性を識別している。

いくつかの実施形態において、データ関連付けは、パラメータ化プロセスが完了した後に未知である。このような例においては、データ関連付けを定義する対応性について初期推測が実施されてもよく、且つ、位置合わせ問題を解く際に使用されるデータ関連付けを確立するために、ニアレストネイバーヒューリスティックが提供されてもよい。

いくつかの実施形態において、ブロック４１０において、射影変換ベクトルがアライメントステップによって判定されたら、システム１００は、１つ又は複数の３Ｄラインとの間の１つ又は複数の２Ｄラインのアライメントから判定された射影変換ベクトルから平行運動値又は回転運動値の少なくとも１つを出力することができる。いくつかの実施形態において、射影変換ベクトルは、システム１００内のセンサ用の較正動作を実行するために更に利用されている。従って、ブロック４２０において、システム１００は、較正済みのセンサの較正値を取得又は受領することができる。較正済みのセンサは、２Ｄ画像データ２３８Ａを生成したセンサ（例えば、カメラ１４２）又は３Ｄポイントクラウドデータ２３８Ｂを生成したセンサ（例えば、ＬＩＤＡＲセンサ１４４又はＲＡＤＡＲセンサ１４６）であってよい。ブロック４３０において、システム１００は、その他のセンサの較正値を取得又は受領してもよく、この場合に、センサは、較正値の検証及び／又は更新を要するものである。ブロック４４０において、システム１００は、較正済みのセンサからの較正値及び射影変換ベクトルに基づいて、検証対象のセンサ用の予想較正値を生成することができる。換言すれば、射影変換ベクトルは、２つのセンサ（即ち、較正済みのセンサ及び検証対象のセンサ）が将来においてアライメントされる２Ｄ画像データ２３８Ａ及び３Ｄポイントクラウドデータ２３８Ｂを生成するように、較正済みのセンサの較正済みの値が調節されるべき方式について有用な情報を提供している。

例えば、カメラ１４２は、車両を基準として特定の位置（例えば、ｘ座標、ｙ座標、ｚ座標、ロール、ピッチ、及びヨー）から環境を観察するように車両１１０上において位置決めすることができる。また、ＬＩＤＡＲセンサ１４４も、カメラの視野のものと少なくとも部分的にオーバーラップした車両の周りの環境のエリアを観察するように車両１１０上において実装することができる。較正済みの環境において、両方のセンサは、その視野がオーバーラップしている場合に、空間内の同一のポイントに対するデータを生成することになる。但し、設置の際に又は時間に伴って、ＬＩＤＡＲセンサ１４４は、較正されていない状態になる場合があり、或いは、フィールドにおける使用に起因してその較正について検証を必要とする場合がある。同一の内容は、カメラ１４２についても当て嵌まり得るが、この例を目的とした場合には、カメラ１４２が較正済みのセンサであり、且つ、ＬＩＤＡＲセンサ１４４が検証及び／又は更新対象のセンサである。

ブロック４４０を更に参照すれば、システム１００は、予想された較正値が検証対象のセンサの較正値にマッチングしているかどうかを判定している。値が、例えば、エラーの予め定義されたマージン内にあると検証された場合には、検証が完了しており、且つ、システム１００は、較正のプロセスを完了している。但し、予想された較正値が、検証対象のセンサの実施の較正値との比較の際に予め定義されたエラーのマージンを充足していない際には、システム１００は、ブロック４６０において、検証対象のセンサの較正値を更新している。更新は、射影変換ベクトルに基づいて検証対象のセンサの現時点の較正値を調節するステップを含み得る。調節され得る較正値は、内因性及び外因性値を含む。いくつかの例において、センサの較正が調節可能となり得ない場合には、システム１００は、データ変換プロセスを実装してもよく、この場合には、センサによって収集されたデータが、後から射影変換ベクトルに基づいて変換されている。

次に図５を参照すれば、カメラ１４２（図１）、ＬＩＤＡＲセンサ１４４（図１）、又はＲＡＤＡＲセンサ１４６（図１）をローカライズするために使用され得る射影変換ベクトルを生成するための２Ｄ画像データ２３８Ａ（図２）と３Ｄポイントクラウドデータ２３８Ｂ（図２）の間の剛体変換を判定する例示用の方法のフロー図５００が示されている。ブロック５０２において、システム１００は、環境の２Ｄ画像データ２３８Ａ又は３Ｄポイントクラウドデータ２３８Ｂを生成するために、カメラ１４２、ＬＩＤＡＲセンサ１４４、ＲＡＤＡＲセンサ１４６、又はこれらに類似したものなどのセンサを使用してデータをキャプチャしている。環境の２Ｄ画像データ２３８Ａ又は３Ｄポイントクラウドデータ２３８Ｂは、データストレージコンポーネント２３６（図２）又は類似の装置内において保存することができる。ブロック５０４において、システム１００は、例えば、２Ｄ画像データ２３８Ａから１つ又は複数の２Ｄラインをパラメータ化するために２Ｄラインパラメータ化ロジック２３４Ｂ（図２）を実装し、或いは、３Ｄポイントクラウドデータ２３８Ｂから１つ又は複数の３Ｄラインをパラメータ化するために３Ｄラインパラメータ化ロジック２３４Ｃ（図２）を実装している。

ブロック５０６において、システム１００は、環境のマップデータを受領又は取得している。マップデータは、環境を定義する３Ｄポイントクラウドデータ２３８Ｂ又は２Ｄ画像データ２３８Ａの編集物であってよい。マップデータは、本明細書においては、マップデータがローカライゼーションの動作の前のなんらかの時点において生成され得るという事実を参照し、「以前のマップデータ」と呼称されている場合がある。いくつかの実施形態において、マップデータは、複数の斜視図が選択され得る環境の３Ｄモデルである。斜視図は、それぞれ、経度、緯度、高度、ロール、ピッチ、及び／又はヨーなどのナビゲーション座標によって定義することができる。システム１００は、センサがデータ（例えば、２Ｄ画像又は３Ｄポイントクラウド）をキャプチャした際に環境内においてセンサが配置されている場所を判定するために、センサによってキャプチャされたデータと位置合わせするようにマップデータ内の斜視図を選択することができる。この動作は、本明細書においては、ローカライゼーションと呼称されている。

いくつかの実施形態において、例えば、ブロック５０２及び５０６においてキャプチャされたデータは、２つのステージにおいて完了させることができる。第１ステージにおいては、車両がルートを走行し、且つ、全地球測位システム（ＧＰＳ）、慣性計測ユニット（ＩＭＵ）、ＬＩＤＡＲセンサ１４４、及びカメラ１４２からのデータが収集され、且つ、環境の３Ｄライン特徴のマップを生成するためにオフライン同時ローカライゼーション及びマッピング（ＳＬＡＭ）システム内において組み合わせられている。第２ステージにおいては、車両は、評価において使用するための２Ｄライン特徴検出を収集するために、ルートを再度走行している。

ブロック５０８において、システム１００は、例えば、マップデータのフォーマット（即ち、２Ｄ画像データ２３８Ａであるのか又は３Ｄポイントクラウドデータ２３８Ｂであるか）に応じて、マップデータから１つ又は複数の２Ｄラインをパラメータ化するために２Ｄラインパラメータ化ロジック２３４Ｂ（図２）を実装するか、或いは、マップデータから１つ又は複数の３Ｄラインをパラメータ化するために３Ｄラインパラメータ化ロジック２３４Ｃ（図２）を実装している。パラメータ化されたラインが、剛体変換の判定対象のデータの２つの組（例えば、マップデータ及び２Ｄ画像データ２３８Ａ又は３Ｄポイントクラウドデータ２３８Ｂ）について生成されたら、システム１００は、ブロック５１０において、アライメントロジック２３４Ｄを実装している。

即ち、システム１００は、ブロック５１０において、射影変換ベクトル及びデータ関連付けセットについて同時に解くために混合整数線形計画として定式化された位置合わせ問題を解くことにより、２Ｄ画像データ２３８Ａ又は３Ｄポイントクラウドデータ２３８Ｂから得られた１つ又は複数のラインをマップデータから得られた１つ又は複数のラインとアライメントしている。更に詳細に上述されているように、アライメントするプロセスは、式６のＬ₁ノルムを極小化するステップを含む。位置合わせ問題を解いた結果として、システム１００は、射影変換ベクトル及びデータ関連付けセットを生成している。射影変換ベクトルは、２Ｄ画像データ２３８Ａ又は３Ｄポイントクラウドデータ２３８Ｂから得られたラインをマップデータから得られたラインとアライメントするための平行運動及び回転運動値を定義している。

いくつかの実施形態においては、ブロック５１０において、射影変換ベクトルがアライメントステップによって判定されたら、システム１００は、１つ又は複数の２Ｄラインを１つ又は複数の３Ｄラインとアライメントすることから判定された射影変換ベクトルから平行運動値又は回転運動値の少なくとも１つを出力することができる。いくつかの実施形態において、射影変換ベクトルは、環境内のセンサのローカライゼーション動作を実行するために更に利用されている。従って、ブロック５２０において、システム１００は、センサデータとの間のアライメントのために使用されるマップデータの観点のナビゲーション座標を取得又は受領することができる。例えば、観点は、マップデータ（例えば、予め定義された場所からの環境の３Ｄポイントクラウド）の場所（例えば、経度、緯度、及び／又は高度）及び視点（例えば、ロール、ピッチ、及び／又はヨー）を記述することができる。

ブロック５３０において、システム１００は、ローカライゼーションロジック２３４Ｆ（図２）を実装することができる。ローカライゼーションロジック２３４Ｆは、環境内の２Ｄ画像データ２３８Ａ又は３Ｄポイントクラウドデータ２３８Ｂをキャプチャするセンサの場所を判定している。ローカライゼーションロジック２３４Ｆは、射影変換ベクトルをセンサデータとのマップデータのアライメントのために使用される以前のマップデータの観点に対応するナビゲーション座標に適用することにより（例えば、平行運動及び／又は回転運動値を適用することにより）、これを実現することができる。換言すれば、マップデータのナビゲーション座標及び射影変換ベクトル内において定義された平行運動及び回転運動値が付与された際に、環境の２Ｄ画像データ２３８Ａ又は３Ｄポイントクラウドデータ２３８Ｂがキャプチャされた座標を判定することができる。従って、環境内の車両、ロボット、又はその他のシステムのローカライゼーションを判定することができる。

上述のプロセスのステップは、本開示の目的を依然として実現しつつ、省略されてもよく、或いは、様々な順序において実行されてもよいことを理解されたい。本明細書において記述されている機能ブロック及び／又はフローチャート要素は、機械可読命令に変換することができる。非限定的な例として、機械可読命令は、（例えば、ハイパーテキストマークアップ言語、拡張可能マークアップ言語、などのような）解析対象の記述的テキスト、（ｉｉ）アセンブリ言語、（ｉｉｉ）コンパイラによってソースコードから生成されたオブジェクトコード、（ｉｖ）インタープリタによる実行のために任意の適切なプログラミング言語からの構文を使用して記述されたソースコード、（ｖ）ジャストインタイムコンパイラによるコンパイル及び実行用のソースコード、などのような任意のプログラミングプロトコルを使用して記述することができる。或いは、この代わりに、機械可読命令は、フィールドプログラム可能なゲートアレイ（ＦＰＧＡ）構成、又は用途固有の集積回路（ＡＳＩＣ）、又はこれらの均等物を介して実装されたロジックなどのように、ハードウェア記述言語（ＨＤＬ）において記述することもできる。従って、本明細書において記述されている機能は、事前プログラミングされたハードウェア要素として、或いは、ハードウェア及びソフトウェアコンポーネントの組合せとして、任意の従来のコンピュータプログラミング言語において実装することができる。

更には、上述の２つの方法は、一般に、較正プロセス及びローカライゼーションプロセスを参照しているが、２Ｄ画像データ２３８Ａ及び３Ｄポイントクラウドデータ２３８Ｂからラインをパラメータ化し、且つ、次いで、射影変換ベクトル及びデータ関連付けセットについて同時に解くために混合整数線形計画として定式化された位置合わせ問題を解くことにより、１つ又は複数の２Ｄラインを１つ又は複数の３Ｄラインとアライメントする基礎をなす概念は、全般的に同一である。

混合整数線形計画として定式化された位置合わせ問題を利用して２Ｄ画像データと３Ｄポイントクラウドデータの間の剛体変換を判定する本概念によって提供されている改善との関係における更なる理解のために、本明細書において開示されている方式とＰｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｂｒｉｔｉｓｈ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ ｉｎ ２０１６において公開された「Ｃａｍｅｒａ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅｓ ｕｓｉｎｇ Ｐｌｕｃｋｅｒ ｃｏｏｒｄｉｎａｔｅｓ」という名称のPribyl他（以下においては、「Pribyl」と呼称する）において記述されている方式の間において評価を実施した。図６Ａ及び図６Ｂは、３Ｄポイントクラウドデータからのパラメータ化されたラインとの間の２Ｄ画像データからのパラメータ化されたラインの、位置合わせとも呼称される、アライメントの例示用の表現を提供している。具体的には、図６Ａは、Pribylにおいて記述されている方式に基づいた２Ｄ画像データからのパラメータ化されたライン及び３Ｄポイントクラウドデータからのパラメータ化されたラインのアライメントの例示用の表現を提供している。図６Ｂは、本明細書において記述されているシステム及び方法に基づいた２Ｄ画像データからのパラメータ化されたライン及び３Ｄポイントクラウドデータからのパラメータ化されたラインのアライメントの例示用の表現を提供している。同時に観察された際に、本明細書において記述されているシステム及び方法は、２Ｄ画像データからのパラメータ化されたラインと３Ｄポイントクラウドデータからのパラメータ化されたラインの間の改善されたアライメントを供給していることが明白である。

図６Ａ及び図６Ｂにおいて、短破線は、２Ｄ画像データからのパラメータ化されたラインを表し、且つ、長破線は、３Ｄポイントクラウドデータからのパラメータ化されたラインを表している。これに加えて、実線の太い線は、２Ｄ画像データからのパラメータ化されたラインと３Ｄポイントクラウドデータからのパラメータ化されたラインの間の変換又はデータ関連付けを表している。上述のように、目的は、２Ｄ画像データからのパラメータ化されたラインと３Ｄポイントクラウドデータからのパラメータ化されたラインをアライメントすることにある。

本明細書において記述されているシステム及び方法並びにPribylにおいて開示されている方式の性能を評価するために、公的に入手可能なデータセットＯｘｆｏｒｄ ＶＧＧ Ｍｕｌｔｉｖｉｅｗ Ｄａｔａｓｅｔ （ＵＲＬ： ｈｔｔｐｓ：／／ｗｗｗ．ｒｏｂｏｔｓ．ｏｘ．ａｃ．ｕｋ／～ｖｇｇ／ｄａｔａ／ｍｖｉｅｗ／）を利用した。Ｏｘｆｏｒｄの「Ｃｏｒｒｉｄｏｒ」Ｄａｔａｓｅｔを本方式及びPribylにおける方式を利用して処理した。Pribylは、Ｌ₂ノルムを極小化することにより、その費用関数を解いている一方で、本方式は、Pribylとは異なる費用関数である、その費用関数のＬ₁ノルムを極小化している（例えば、混合整数線形計画、式６）。本明細書において記述されているシステム及び方法を使用してアライメントされたパラメータ化されたライン７１０のアライメントと共にパラメータ化されたライン６１０のアライメントを観察することにより、パラメータ化されたライン７１０が、パラメータ化されたライン６１０よりも緊密にアライメントされていることが明白である。これに加えて、本明細書において記述されているシステム及び方法を使用してアライメントされたパラメータ化されたライン７２０のアライメントと共にパラメータ化されたライン６２０のアライメントを観察することにより、パラメータ化されたライン７２０が、パラメータ化されたライン６２０よりも緊密にアライメントされていることが明白である。更には、本明細書において記述されているシステム及び方法を使用してアライメントされたパラメータ化されたライン７３０のアライメントと共にパラメータ化されたライン６３０のアライメントを観察することにより、パラメータ化されたライン７３０が、パラメータ化されたライン６３０よりも緊密にアライメントされていることが明白である。これらは、Pribylにおける方式との比較において本明細書において記述されているシステム及び方法を通じて実現される相対的に良好なアライメントのいくつかの例であるに過ぎない。

以下の表１は、図６Ａ及び図６Ｂにおいて示されている評価の結果を更に示している。

従って、本明細書において記述されている実施形態は、２Ｄ画像データと３Ｄポイントクラウドデータの間の剛体変換を判定するシステム及び方法を対象としていることを理解されたい。本明細書において記述されている２Ｄ画像データと３Ｄポイントクラウドデータの間の剛体変換を判定するシステム及び方法は、移動ロボット工学、自律型車両、自動化機器、製造組立ライン、及びこれらに類似したものなどの用途において実装することができる。２Ｄ画像データ及び３Ｄポイントクラウドデータの間の剛体変換を判定するプロセスは、以前のマップの環境におけるセンサ較正及び／又はローカライゼーションなどの動作のためのこれらの用途によって利用することができる。実施形態において、システム及び方法は、２Ｄ画像データ及び３Ｄポイントクラウドデータからパラメータ化されたラインを判定するステップと、射影変換ベクトル及び／又はデータ関連付けセットについて同時に解くために混合整数線形計画として定式化された位置合わせ問題を解くことにより、２Ｄ画像データ及び３Ｄポイントクラウドデータからのパラメータ化されたラインをアライメントするステップと、射影変換ベクトルに基づいて３Ｄポイントクラウドデータとアライメントされた２Ｄ画像データを有するデータメッシュを生成及び／又は出力するステップと、を含む。

「ほぼ（ｓｕｂｓｔａｎｔｉａｌｌｙ）」及び「約（ａｂｏｕｔ）」という用語は、本明細書においては、定量的比較、値、計測値、又はその他の表現に帰せられ得る不確実性の固有の程度を表すために利用され得ることに留意されたい。また、これらの用語は、定量的表現が、対象の主題の基本的機能における変化を結果的にもたらすことなしに記述された基準から変化し得る程度を表すために本明細書において利用されている。

特定の実施形態が本明細書において図示及び記述されているが、様々なその他の変更及び変形が、特許請求された主題の精神及び範囲を逸脱することなしに、実施され得ることを理解されたい。更には、特許請求された主題の様々な態様が本明細書において記述されているが、このような態様は、組合せにおいて利用される必要はない。従って、添付の請求項は、特許請求された主題の範囲に含まれているすべてのこのような変更及び変形をカバーすることが意図されている。
上述の実施形態は下記のようにも記載され得るが下記には限定されない。
［構成１］
システムであって、
環境の画像データをキャプチャするように構成された第１センサと、
前記環境のポイントクラウドデータをキャプチャするように構成された第２センサと、
前記第１センサ及び前記第２センサに通信自在に結合された演算装置と、
を有し、
前記演算装置は、
前記第１センサからの前記画像データ及び前記第２センサからの前記ポイントクラウドデータを受け取り、
前記画像データから１つ又は複数の２Ｄラインをパラメータ化し、
前記ポイントクラウドデータから１つ又は複数の３Ｄラインをパラメータ化し、
射影変換ベクトル及びデータ関連付けセットについて同時に解くために混合整数線形計画として定式化された位置合わせ問題を解くことにより、前記１つ又は複数の２Ｄラインを前記１つ又は複数の３Ｄラインとアライメントし、且つ、
前記射影変換ベクトルに基づいて前記ポイントクラウドデータとアライメントされた前記画像データを有するデータメッシュを生成するように、
構成されている、システム。
［構成２］
前記演算装置は、
前記第１センサ及び前記第２センサ用の較正値を受け取り、前記第１センサが較正済みのセンサとなり、
前記第１センサ用の前記較正値及び前記射影変換ベクトルに基づいて前記第２センサ用の予想較正値を生成し、
前記第２センサ用の前記較正値が予め定義されたエラーのマージン内において前記予想較正値とマッチングしているかどうかを判定し、且つ、
前記第２センサ用の前記較正値が前記予め定義されたエラーのマージン内において前記予想較正値とマッチングしていないと判定することに応答して、前記第２センサが前記較正済みの第１センサを基準として較正されり、前記射影変換ベクトルに基づいて前記第２センサ用の前記較正値を更新するように、
更に構成されている、構成１に記載のシステム。
［構成３］
前記演算装置は、
前記第１センサ及び前記第２センサ用の較正値を受け取り、前記第２センサが較正済みのセンサとなり、
前記第２センサ用の前記較正値及び前記射影変換ベクトルに基づいて前記第１センサ用の予想較正値を生成し、
前記第１センサ用の前記較正値が、予め定義されたエラーのマージン内において前記予想較正値とマッチングしているかどうかを判定し、
前記第１センサ用の前記較正値が前記予め定義されたエラーのマージン内において前記予想較正値とマッチングしていないという判定に応答して、前記第１センサが前記較正済みの第２センサを基準として較正され、前記射影変換ベクトルに基づいて前記第１センサ用の前記較正値を更新するように、
更に構成されている、構成１に記載のシステム。
［構成４］
前記較正値は、外因性パラメータ及び内因性パラメータを含む、構成３に記載のシステム。
［構成５］
前記混合整数線形計画として定式化された前記位置合わせ問題を解くことは、Ｌ ₁ ノルムを極小化するステップを有する、構成１に記載のシステム。
［構成６］
前記１つ又は複数の２Ｄラインと前記１つ又は複数の３Ｄラインの間のデータ関連付けは、前記データ関連付け及びニアレストネイバーヒューリスティックを定義する対応性に関する初期推測が前記位置合わせ問題を解くために適用されるように、当初既知ではない構成１に記載のシステム。
［構成７］
前記環境の前記画像データ内においてキャプチャされた前記環境の視野及び前記環境の前記ポイントクラウドデータ内においてキャプチャされた前記環境の視野は、オーバーラップした前記環境の視野の少なくとも一部分を含む、構成１に記載のシステム。
［構成８］
前記第２センサは、ＬＩＤＡＲセンサ、ＲＡＤＡＲセンサ、又はＲＧＢ－Ｄカメラの少なくとも１つを有する、構成１に記載のシステム。
［構成９］
システムであって、
環境を定義するデータをキャプチャするように構成された第１センサであって、前記データは、画像データ又はポイントクラウドデータの少なくとも１つを有する、第１センサと、
前記第１センサに通信自在に結合された演算装置と、
を有し、
前記演算装置は、
前記第１センサからデータを受け取り、
前記環境のマップデータを取得し、
前記第１センサから受け取られた前記データから１つ又は複数のラインをパラメータ化し、
前記マップデータから１つ又は複数のラインをパラメータ化し、
射影変換ベクトル及びデータ関連付けセットについて同時に解くために混合整数線形計画として定式化された位置合わせ問題を解くことにより、前記第１センサから受け取られた前記データからパラメータ化された前記１つ又は複数のラインを前記マップデータからパラメータ化された前記１つ又は複数のラインとアライメントし、且つ、
前記射影変換ベクトルに基づいて前記マップデータとアライメントされた前記第１センサから受け取られた前記データを有するデータメッシュを生成するように、
構成されている、システム。
［構成１０］
前記演算装置は、
前記マップデータに対応するナビゲーション座標を受け取り、且つ、
前記環境の前記第１センサからの前記データがキャプチャされた座標を判定し、これにより、前記環境内の前記第１センサをローカライズするために、前記射影変換ベクトルを前記ナビゲーション座標に対して適用するように、
更に構成されている、構成９に記載のシステム。
［構成１１］
前記マップデータに対応する前記ナビゲーション座標は、前記第１センサからのデータとアライメントされた前記環境の観点の経度、緯度、高度を定義している、構成１０に記載のシステム。
［構成１２］
前記第１センサは、カメラであり、且つ、前記データは、前記環境の画像データである、構成９に記載のシステム。
［構成１３］
前記第１センサによってキャプチャされた前記データは、前記環境の前記ポイントクラウドデータである、構成９に記載のシステム。
［構成１４］
前記マップデータは、前記環境の少なくとも１つの観点の画像データを含む、構成９に記載のシステム。
［構成１５］
前記マップデータは、前記環境の３Ｄモデルを含み、前記３Ｄモデルは、前記環境内の複数の場所からキャプチャされた画像データ又は前記ポイントクラウドデータの少なくとも１つを有する、構成９に記載のシステム。
［構成１６］
システムであって、
演算装置を有し、
前記演算装置は、
環境のカメラによってキャプチャされた画像データを取得し、
前記環境のポイントクラウドデータを取得し、
前記画像データから１つ又は複数のラインをパラメータ化し、
前記ポイントクラウドデータからの１つ又は複数のラインをパラメータ化し、
射影変換ベクトル及びデータ関連付けセットを同時に解くために混合整数線形計画として定式化された位置合わせ問題を解くことにより、前記画像データからパラメータ化された前記１つ又は複数のラインを前記ポイントクラウドデータからパラメータ化された１つ又は複数のラインとアライメントし、且つ、
前記射影変換ベクトルに基づいて前記ポイントクラウドデータとアライメントされた前記画像データを有するデータメッシュを生成するように、
構成されている、システム。
［構成１７］
前記混合整数線形計画として定式化された前記位置合わせ問題を解くステップは、Ｌ ₁ ノルムを極小化するステップを有する、構成１６に記載のシステム。
［構成１８］
前記画像データからパラメータ化された前記１つ又は複数のラインと前記ポイントクラウドデータからパラメータ化された前記１つ又は複数のラインの間のデータ関連付けは、前記データ関連付け及びニアレストネイバーヒューリスティックを定義する対応性に関する初期推測が前記位置合わせ問題を解くために適用されるように、当初既知ではない、構成１６に記載のシステム。
［構成１９］
前記環境の前記画像データ内においてキャプチャされた前記環境の視野及び前記環境の前記ポイントクラウドデータ内においてキャプチャされた前記環境の視野は、オーバーラップする前記環境の視野の少なくとも一部分を含む、構成１６に記載のシステム。
［構成２０］
前記環境に対応するデータをキャプチャするための１つ又は複数のセンサを有する車両を更に有し、前記１つ又は複数のセンサは、前記１つ又は複数のセンサによってキャプチャされたデータが前記演算装置に送信され且つこれによって処理される能力を有するように、前記演算装置に通信自在に結合されている、構成１６に記載のシステム。

Claims (18)

1. システムであって、
   環境の画像データをキャプチャするように構成された第１センサと、
   前記環境のポイントクラウドデータをキャプチャするように構成された第２センサと、
   前記第１センサ及び前記第２センサに通信自在に結合された演算装置と、
   を有し、
   前記演算装置は、
   前記第１センサからの前記画像データ及び前記第２センサからの前記ポイントクラウドデータを受け取り、
   前記画像データから１つ又は複数の２Ｄラインをパラメータ化し、
   前記ポイントクラウドデータから１つ又は複数の３Ｄラインをパラメータ化し、
   射影変換ベクトル及びデータ関連付けセットについて同時に解くために混合整数線形計画として定式化された位置合わせ問題を解くことにより、前記１つ又は複数の２Ｄラインを前記１つ又は複数の３Ｄラインとアライメントし、且つ、
   前記射影変換ベクトルに基づいて前記ポイントクラウドデータとアライメントされた前記画像データを有するデータメッシュを生成するように、
   構成されており、
   前記混合整数線形計画として定式化された前記位置合わせ問題を解くことは、Ｌ ₁ ノルムを極小化するステップを有する、システム。
2. 前記演算装置は、
   前記第１センサ及び前記第２センサ用の較正値を受け取り、前記第１センサが較正済みのセンサとなり、
   前記第１センサ用の前記較正値及び前記射影変換ベクトルに基づいて前記第２センサ用の予想較正値を生成し、
   前記第２センサ用の前記較正値が予め定義されたエラーのマージン内において前記予想較正値とマッチングしているかどうかを判定し、且つ、
   前記第２センサ用の前記較正値が前記予め定義されたエラーのマージン内において前記予想較正値とマッチングしていないと判定することに応答して、前記第２センサが前記較正済みの第１センサを基準として較正されり、前記射影変換ベクトルに基づいて前記第２センサ用の前記較正値を更新するように、
   更に構成されている、請求項１に記載のシステム。
3. 前記演算装置は、
   前記第１センサ及び前記第２センサ用の較正値を受け取り、前記第２センサが較正済みのセンサとなり、
   前記第２センサ用の前記較正値及び前記射影変換ベクトルに基づいて前記第１センサ用の予想較正値を生成し、
   前記第１センサ用の前記較正値が、予め定義されたエラーのマージン内において前記予想較正値とマッチングしているかどうかを判定し、
   前記第１センサ用の前記較正値が前記予め定義されたエラーのマージン内において前記予想較正値とマッチングしていないという判定に応答して、前記第１センサが前記較正済みの第２センサを基準として較正され、前記射影変換ベクトルに基づいて前記第１センサ用の前記較正値を更新するように、
   更に構成されている、請求項１に記載のシステム。
4. 前記較正値は、外因性パラメータ及び内因性パラメータを含む、請求項３に記載のシステム。
5. 前記１つ又は複数の２Ｄラインと前記１つ又は複数の３Ｄラインの間のデータ関連付けは、前記データ関連付け及びニアレストネイバーヒューリスティックを定義する対応性に関する初期推測が前記位置合わせ問題を解くために適用されるように、当初既知ではない請求項１に記載のシステム。
6. 前記環境の前記画像データ内においてキャプチャされた前記環境の視野及び前記環境の前記ポイントクラウドデータ内においてキャプチャされた前記環境の視野は、オーバーラップした前記環境の視野の少なくとも一部分を含む、請求項１に記載のシステム。
7. 前記第２センサは、ＬＩＤＡＲセンサ、ＲＡＤＡＲセンサ、又はＲＧＢ－Ｄカメラの少なくとも１つを有する、請求項１に記載のシステム。
8. システムであって、
   環境を定義するデータをキャプチャするように構成された第１センサであって、前記データは、画像データ又はポイントクラウドデータの少なくとも１つを有する、第１センサと、
   前記第１センサに通信自在に結合された演算装置と、
   を有し、
   前記演算装置は、
   前記第１センサからデータを受け取り、
   前記環境のマップデータを取得し、
   前記第１センサから受け取られた前記データから１つ又は複数の第１のラインをパラメータ化し、前記パラメータ化された１つ又は複数の第１のラインは２Ｄライン又は３Ｄラインであり、
   前記マップデータから１つ又は複数の第２のラインをパラメータ化し、前記パラメータ化された１つ又は複数の第２のラインは前記パラメータ化された１つ又は複数の第１のラインが３Ｄラインのときは２Ｄラインであり、前記パラメータ化された１つ又は複数の第２のラインは前記パラメータ化された１つ又は複数の第１のラインが２Ｄラインのときは３Ｄラインであり、
   射影変換ベクトル及びデータ関連付けセットについて同時に解くために混合整数線形計画として定式化された位置合わせ問題を解くことにより、前記第１センサから受け取られた前記データからパラメータ化された前記１つ又は複数の第１のラインを前記マップデータからパラメータ化された前記１つ又は複数の第２のラインとアライメントし、且つ、
   前記射影変換ベクトルに基づいて前記マップデータとアライメントされた前記第１センサから受け取られた前記データを有するデータメッシュを生成するように、
   構成されており、
   前記混合整数線形計画として定式化された前記位置合わせ問題を解くことは、Ｌ ₁ ノルムを極小化するステップを有する、システム。
9. 前記演算装置は、
   前記マップデータに対応するナビゲーション座標を受け取り、且つ、
   前記環境の前記第１センサからの前記データがキャプチャされた座標を判定し、これにより、前記環境内の前記第１センサをローカライズするために、前記射影変換ベクトルを前記ナビゲーション座標に対して適用するように、
   更に構成されている、請求項８に記載のシステム。
10. 前記マップデータに対応する前記ナビゲーション座標は、前記第１センサからのデータとアライメントされた前記環境の観点の経度、緯度、高度を定義している、請求項９に記載のシステム。
11. 前記第１センサは、カメラであり、且つ、前記データは、前記環境の画像データである、請求項８に記載のシステム。
12. 前記第１センサによってキャプチャされた前記データは、前記環境の前記ポイントクラウドデータである、請求項８に記載のシステム。
13. 前記マップデータは、前記環境の少なくとも１つの観点の画像データを含む、請求項８に記載のシステム。
14. 前記マップデータは、前記環境の３Ｄモデルを含み、前記３Ｄモデルは、前記環境内の複数の場所からキャプチャされた画像データ又は前記ポイントクラウドデータの少なくとも１つを有する、請求項８に記載のシステム。
15. システムであって、
    演算装置を有し、
    前記演算装置は、
    環境のカメラによってキャプチャされた画像データを取得し、
    前記環境のポイントクラウドデータを取得し、
    前記画像データから１つ又は複数の２Ｄラインをパラメータ化し、
    前記ポイントクラウドデータからの１つ又は複数の３Ｄラインをパラメータ化し、
    射影変換ベクトル及びデータ関連付けセットを同時に解くために混合整数線形計画として定式化された位置合わせ問題を解くことにより、前記画像データからパラメータ化された前記１つ又は複数の２Ｄラインを前記ポイントクラウドデータからパラメータ化された１つ又は複数の３Ｄラインとアライメントし、且つ、
    前記射影変換ベクトルに基づいて前記ポイントクラウドデータとアライメントされた前記画像データを有するデータメッシュを生成するように、
    構成されており、
    前記混合整数線形計画として定式化された前記位置合わせ問題を解くことは、Ｌ ₁ ノルムを極小化するステップを有する、システム。
16. 前記画像データからパラメータ化された前記１つ又は複数の２Ｄラインと前記ポイントクラウドデータからパラメータ化された前記１つ又は複数の３Ｄラインの間のデータ関連付けは、前記データ関連付け及びニアレストネイバーヒューリスティックを定義する対応性に関する初期推測が前記位置合わせ問題を解くために適用されるように、当初既知ではない、請求項１５に記載のシステム。
17. 前記環境の前記画像データ内においてキャプチャされた前記環境の視野及び前記環境の前記ポイントクラウドデータ内においてキャプチャされた前記環境の視野は、オーバーラップする前記環境の視野の少なくとも一部分を含む、請求項１５に記載のシステム。
18. 前記環境に対応するデータをキャプチャするための１つ又は複数のセンサを有する車両を更に有し、前記１つ又は複数のセンサは、前記１つ又は複数のセンサによってキャプチャされたデータが前記演算装置に送信され且つこれによって処理される能力を有するように、前記演算装置に通信自在に結合されている、請求項１５に記載のシステム。

Images