JP7361682B2 - ３ｄ・ｌｉｄａｒ測定に基づく、多重解像度、同時位置特定、及びマッピング - Google Patents

Description

（関連出願の相互参照）
本特許出願は、２０１７年９月１３日に出願された「３Ｄ・ＬＩＤＡＲ測定に基づく、多重解像度、同時位置特定、及びマッピング」というタイトルの米国特許仮出願番号第６２／５５８，２５６号に基づき優先権を主張している、２０１８年９月１３日に出願された「３Ｄ・ＬＩＤＡＲ測定に基づく、多重解像度、同時位置特定、及びマッピング」というタイトルの米国特許出願第１６／１３０，６１０号に基づく優先権を主張するものであり、その全体が参照により本明細書に組み込まれるものとする。

開示した実施形態は、ＬＩＤＡＲベースの３Ｄ点群測定システムに関し、より具体的には、測定される環境の効率的なマッピング及びＬＩＤＡＲ測定システムの位置特定に関する。

ＬＩＤＡＲシステムは、光パルスを使用して、各光パルスの飛行時間（ＴＯＦ）に基づいてオブジェクトまでの距離を測定する。ＬＩＤＡＲシステムの光源から放射された光パルスは、遠位のオブジェクトと互いに影響し合う。光の一部はオブジェクトから反射し、ＬＩＤＡＲシステムの検出器に戻る。光パルスの放射と戻ってきた光パルスの検出との間の経過時間に基づいて、距離が推定される。いくつかの実施例では、光パルスはレーザーエミッターによって生成される。光パルスは、レンズ又はレンズアセンブリを通して集光される。レーザー光パルスがエミッターの近くに取り付けられた検出器に戻るのにかかる時間を測定する。距離は、時間の測定値から高精度で導出される。

いくつかのＬＩＤＡＲシステムは、平面全体を効果的にスキャンするために、回転ミラーを組み込んだ単一のレーザーエミッター／検出器の組み合わせを用いる。このようなシステムによって実行される距離測定は、事実上２次元（つまり、平面）であり、捕捉された距離ポイントは、２次元（つまり、単一平面）の点群としてレンダリングされる。いくつかの実施例では、回転ミラーは非常に速い速度で回転する（例えば、毎分数千回転）。

多くの操作シナリオでは、３Ｄ点群が必要となる。周囲の環境を３次元で調べるために、多くのスキームが採用される。いくつかの実施例では、２Ｄ機器は、多くの場合ジンバル上で、上下及び／又は前後に作動する。これは、当該術分野では一般に、センサーの「ウィンク」又は「うなずき」として知られている。従って、一度に１つのポイントではあるが、単一ビームＬＩＤＡＲユニットを使用して、距離ポイントの３Ｄアレイ全体を捕捉できる。関連する実施例では、プリズムを使用して、レーザーパルスをそれぞれがわずかに異なる垂直角を持つ複数の層に「分割」する。これは上記のうなずき効果をシミュレートするが、センサー自体が作動することはない。

多くのアプリケーションでは、広い視野を見る必要がある。例えば、自律車両アプリケーションでは、アプリケーションでは、垂直視野は車両の前の地面を見るために可能な限り下げる必要がある。加えて、自動車が道路のくぼみに入った場合は、垂直視野は地平線より上にげる必要がある。さらに、現実の世界で生じる動きとそれらの動きの描画との間の遅延を最小限に抑える必要がある。いくつかの実施例では、完全な画像更新を少なくとも毎秒５回行うことが望ましい。これらの要件に対処するために、複数のレーザーエミッターと検出器のアレイを含む３Ｄ・ＬＩＤＡＲシステムが開発されている。このシステムは、２０１１年６月２８日に発行された米国特許第７，９６９，５５８号に記載されており、その内容は全体が参照により本明細書に組み込まれるものとする。

多くのアプリケーションにおいて、連続するパルスが放射される。各パルスの方向は、連続的に急速に変化する。これらの実施例では、個々のパルスに関連付けられた距離測定は、ピクセルと見なすことができ、連続的に急速に放出され捕捉されたピクセルの集合（即ち、「点群」）を画像としてレンダリングしたり、他の理由（例えば、障害物の検出）のために分析したりすることができる。いくつかの実施例では、結果得られた点群をユーザーに対して３次元で表示される画像としてレンダリングするために、表示ソフトウェアを採用する。実写アクションカメラで撮影したかのように見える３Ｄ画像として、測定した距離を表現するために別のスキームを用いることもできる。

自律車両アプリケーションでは、周囲環境の３次元幾何学的マップを構築し、その環境内でＬＩＤＡＲ測定システムを配置することが望ましい。既存の多くの例では、最初に３次元マップが構築され、次にＬＩＤＡＲ測定システムがマッピングされた環境内に配置される。ただし、多くの場合このアプローチはよく制御された屋内環境、又は実際の運転条件と一致しない動きの遅い操作シナリオに限定される。

ＬＩＤＡＲ測定システムのリアルタイムでのマッピング及び位置特定の改善が望まれている。特に、非常に活動的な都市、郊外、高速道路環境に適合した位置特定とマッピングを同時に行うことが望まれる。

ここでは、３Ｄ・ＬＩＤＡＲ画像データに基づく改善された同時的位置特定及びマッピングのための方法とシステムについて説明する。

１つの態様では、ＬＩＤＡＲ画像フレームは、特徴検出の前にセグメント化及びクラスタ化される。検出された特徴は、ＳＬＡＭ分析を実行するために使用される。特徴検出の前にセグメンテーションとクラスタリングを実行すると、自律型車両アプリケーションのマッピングと位置特定の精度を維持しながら、計算効率が向上する。

セグメンテーションには、特徴抽出の前に冗長データを除去することが伴う。このようにして、各画像フレームには、関心領域（ＲＯＩ）のみに高解像度データが含まれ、少ないピクセル又は全くなくても十分に記述される領域の低解像度データが含まれる。１つの実施例では、セグメンテーションには、地面に関する冗長な点を排除することが伴う。各画像フレームのピクセル数を減らすことにより、各画像フレームに関連するデータの量が減る。

１つの実施形態では、冗長ピクセルは、標高に基づいて識別される。

いくつかの実施形態では、３次元画像フレームは、３Ｄグリッドマップに細分される。３Ｄグリッドマップのセルは、２Ｄグリッドマップを生成するために、垂直方向（例えば、地面に垂直）に沿って投影される。

１つの実施例では、測定点が冗長であるかどうかを判定するために、各測定点の標高を車両の高さと比較する。

別の実施例では、測定点が冗長であるかどうかを判定するために、各測定点の標高を所定の閾値と比較する。

別の実施例では、セル内の測定点が冗長であるかどうかを判定するために、３Ｄグリッドマップの２Ｄ投影の各セル内の測定点の数を採用する。

別の実施例では、セル内の各測定点に関連する光学特性の平均値が決定される。例えば、光学特性は、測定された強度、反射率、信頼性、又はそれらのいくつかの組み合わせとすることができる。個々の測定点に関連する測定された光学特性と平均値との差が、測定点が冗長であるかどうかを決定するために使用される。

別の実施例では、セル内の測定ポイントが冗長であるかどうかを判断するために、セル内のすべての測定ポイントの最大標高と最小標高の差を使用する。

別の実施例では、セル内の測定ポイントに関連する標高の平均値、及び各隣接セルの測定ポイントに関連する平均標高値が決定される。隣接セルのいずれかに関連する平均標高と問題となっているセルとの差が所定の閾値を超える場合、セルに関連する測定ポイントは冗長ではないと判断する。

別の態様では、類似のオブジェクトに関連するピクセルのグループは、後続の特徴検出操作の計算の複雑さを軽減するためにクラスタ化される。このようにして、特徴検出は、多くのオブジェクトではなく、１つのオブジェクトに関連するピクセルデータに対して実行される。

別の態様では、特徴は、各測定点に関連する測定光学特性（例えば、強度、反射率、信頼性、又はそれらの組み合わせ）に基づいて、ＬＩＤＡＲ画像フレームから抽出される。

１つの実施形態では、特徴は、反射率階調度の値に基づいてＬＩＤＡＲ画像フレームから迅速に検出される。反射率階調度は有界整数であり、これらの値は効率的にソートできる。

別の実施形態では、特徴は、任意の数の光学特性を含む全体的なコントラスト値の値に基づいて、ＬＩＤＡＲ画像フレームから迅速に検出される。

ピクセルは、階調度の値に従って異なるビンに分類される。ビンは、階調度の値に基づいて異なるプール（つまり、異なる特徴セット）に分類される。特徴のさまざまなプールは、さまざまなオブジェクト（地面、壁、樹木、等）に関連付けられる。このようにして、周囲の環境内のさまざまな物理オブジェクトを識別する構造化された出力（つまり、特徴セット）が生成される。特徴点のプールは、各画像フレームに関連付けられた小さな特徴マップ（ＳＦＭ）を具備する。

別の態様では、ＬＩＤＡＲ測定システムによる推定位置は、高い繰り返し率でリフレッシュされる低解像度特徴マップに基づいて迅速に決定される一方、この推定位置は、低い繰り返し率でリフレッシュされる高解像度特徴マップに基づいて正確に更新される。

さらなる態様では、３次元環境のグローバルマップは、高い解像度の特徴マップ及びＬＩＤＡＲ測定システムによる推定位置に基づいて、定期的かつ一貫して更新される。

上述の記載は要約であり、従って、必然的に、簡素化、一般化、及び詳細の省略が含まれ、従って、当業者であればこの要約は単なる概要であり、決して限定のためのものではないことを理解するであろう。他の態様、創作的特徴、及びここに記載した装置及び／又はプロセスの利点は、ここに記載した非限定的な詳細な説明において明らかになるであろう。

ＬＩＤＡＲベースの、周囲環境のマッピングとリアルタイムで環境内のＬＩＤＡＲ測定システム１０４の位置を示すよう構成された、３次元撮像システム１０４及びコンピューティングシステム１１０を含む操作シナリオを示す図である。

少なくとも１つの新規な態様においてコンピューティングシステム１１０に組み込まれる、同時的位置特定及びマッピング（ＳＬＡＭ）エンジン１２０の例示的な説明図である。

多重解像度ＳＬＡＭモジュール１５０をさらに詳細に示す図である。

ＬＩＤＡＲ測定システム１０４のような、ＬＩＤＡＲ測定システムにより捕捉された画像フレームの検出されたピクセルの２次元投影を図示するプロット１７０を示す。

セグメンテーションモジュール１３０によるセグメンテーションの後、図４に示す同じ画像フレームの検出されたピクセルの２次元投影を図示するプロット１８０を示す。

少なくとも１つの新規な態様における少なくとも１つの統合ＬＩＤＡＲ測定装置を含むＬＩＤＡＲ測定システムの１つの実施形態を例示する簡略図である。

統合型ＬＩＤＡＲ測定装置１３０からの測定パルスの放出及び戻り測定パルスの捕捉に関連するタイミングを示す。

少なくとも１つの新規な態様において、統合ＬＩＤＡＲ測定装置によってＬＩＤＡＲ測定を実行する方法２００を例示するフローチャートを示す。

ここで、添付図に例示されている背景となる実施例及び本発明のいくつかの実施形態について詳細に言及する。

ここでは、３Ｄ・ＬＩＤＡＲ画像データに基づく、改善された同時的位置特定及びマッピングについて説明する。

同時的位置特定及びマッピング（ＳＬＡＭ）は、６自由度（例えば、ｘ、ｙ、ｚ、Ｒｘ、Ｒｙ、Ｒｚ）でリアルタイムに環境内のＬＩＤＡＲ測定システムの位置を推定している間に、ＬＩＤＡＲ測定システムを横切らせることにより、一貫した周囲の３次元幾何学的マップを構築することを伴う。ＳＬＡＭ分析は、ＬＩＤＡＲ測定システムによって生成された点群距離測定データに基づいて実行される。

図１は、ＬＩＤＡＲベースの３次元撮像システム１０４と、周囲の環境を同時的にマッピングし、リアルタイムで環境内のＬＩＤＡＲ測定システム１０４の位置を特定するように構成された、コンピューティングシステム１１０とを含む操作シナリオを示す。図１に示す実施形態では、車両１０３は、速度Ｖで道路１０２に沿って走行する。周囲環境には、建物１０１Ａ及び１０１Ｂ、樹木１０１Ｃ及び１０１Ｄ、道路１０２の路面、縁石１０６等を含む様々なオブジェクトが含まれる。周囲環境には、世界座標フレーム、例えば、図１に示される世界座標フレーム（Ｘ^Ｗ、Ｙ^Ｗ、Ｚ^Ｗ）において移動しない静的オブジェクトが含まれる。ＬＩＤＡＲ測定システム１０４は、車両１０３に取り付けられ、周囲環境の画像に関連する３次元の点群データを取得する。瞬時座標フレーム（Ｘ^Ｉ、Ｙ^Ｉ、Ｚ^Ｉ）がＬＩＤＡＲ測定システム１０４に取り付けられる。ＬＩＤＡＲ測定システム１０４は、瞬間座標フレームを参照して測定された点群データを生成する。言い換えれば、ＬＩＤＡＲシステム１０４によって実行される距離測定は、ＬＩＤＡＲ測定システム１０４自体において測定される。瞬時座標系は車両１０３とともに移動する。従って、世界座標フレームにおいて瞬時座標フレームの位置は、車両１０３の場所によって変化し、点群データのセットから生成された各画像フレームは、世界座標内の瞬間座標フレームの異なる位置に関連付けられる。

図示の実施形態では、ＬＩＤＡＲ画像情報１０５は、さらなる分析のために、ＬＩＤＡＲ測定システム１０４から１つ以上のコンピューティングシステム１１０に伝達される。ＬＩＤＡＲ画像情報１０５には、位置情報（例えば、シータ、ファイ、距離）及び光学情報（例えば、反射率、強度、信頼性、又はそれらの組み合わせ）を含む点群データの各セットに関連する点群データを含む。１つの実施形態では、多重解像度ＳＬＡＭを採用して、周囲環境の一貫した３次元マップ１０９を構築し、ＬＩＤＡＲ測定システム１０４によって生成された点群距離測定データ１０５に基づいて、世界座標フレームにおいてＬＩＤＡＲ測定システム１０４の位置１０８を推定する。結果として生じるマッピング情報１０９及び位置情報１０８は、車両制御システム１０７に伝達される。車両制御システム１０７は、更新された位置情報１０８及びマッピング情報１０９に基づいて、車両１０３の様々な要素（例えば、車両速度、ステアリング角度、ブレーキ力、表示灯など）を制御する。

１つの態様では、ＬＩＤＡＲ画像フレームは、特徴検出の前にセグメント化及びクラスタ化され、検出された特徴は、ここで説明する通りＳＬＡＭ分析を実行するために使用される。通常、特徴検出とＳＬＡＭ分析は、測定された点群データに対して直接実行される。ただし、このアプローチは計算量が多く、時間がかかる。発明者らは、特徴検出及びＳＬＡＭの前にセグメンテーション及びクラスタリングを実行することにより、自律車両アプリケーションのマッピング及び位置特定の両方の精度を維持しながら、計算効率を劇的に改善できることを発見した。

ＳＬＡＭ分析の対象となるデータの量を削減するために、ＬＩＤＡＲ画像フレームは、冗長データポイント又は自律車両アプリケーションに関連しないデータポイントを識別及び除去するためにセグメント化される。加えて、類似のオブジェクトに関連付けられた画像データポイントをグループ化するために画像データはクラスタ化される。このようなデータ削減の後、特定のオブジェクト、例えば、地面、壁、樹木、等を識別するために、特徴検出が採用される。いくつかの実施例では、データポイントの４０倍の削減は、ここで説明するように、特徴検出の前にセグメンテーションとクラスタリングを実行することによって達成される。特徴検出の後、ＳＬＡＭ分析は、対応するオブジェクトに関連付けられた非常に限られたデータセットに対して実行される。

図２は、少なくとも１つの新規な態様でコンピューティングシステム１１０に組み込まれる例示的な同時的位置特定及びマッピング（ＳＬＡＭ）エンジン１２０を示す図である。図２に示すように、ＳＬＡＭエンジン１２０には、座標変換モジュール１２５、セグメンテーションモジュール１３０、クラスタリングモジュール１３５、特徴検出モジュール１４０、及び複数の解像度、同時的位置特定及びマッピングモジュール１５０が含まれる。

図２に示すように、座標変換モジュール１２５は、点群データ１０５を受け取る。単一の点群（つまり、画像フレーム）には、１回のフルスキャン（例えば、ＬＩＤＡＲ測定システム１０４の周りの３６０度スキャン）で測定されたピクセルが含まれる。一般に、車両に取り付けられたＬＩＤＡＲ測定システムによって生成された点群データは、球面座標で表される。１つの実施例では、３次元空間内の各測定ピクセルの位置は、２つのオイラー角と距離測定自体によって表される。座標変換モジュール１２５は、点群データの座標表現を球面座標からデカルト座標（つまり、Χ、Ｙ、Ｚ）に変換する座標変換を点群データに対して実行する。各画像フレーム１２６に関連するデカルト座標データは、セグメンテーションモジュール１３０に伝達される。

別の態様では、点群データの画像フレームは、特徴抽出の前に冗長データを除去するためにセグメント化される。このようにして、各画像フレームには、関心のある領域（ＲＯＩ）にある高解像度データと、ピクセル数が少ないかまったくない領域で十分に記述されている領域中の解像度が低いデータとが含まれる。各画像フレームのピクセル数を減らすことにより、各画像フレームに関連するデータの量が減る。この結果、通信のオーバーヘッドとダウンストリームの計算の複雑さが軽減される。

１つの実施形態では、セグメンテーションモジュール１３０は、ＬＩＤＡＲ測定システム１０４によって捕捉された各画像フレーム１２６に関連するデカルト座標データを受け取る。セグメンテーションモジュール１３０は、地表面に関連する点を識別し、地表面に関連する冗長な点を排除する。

１つの実施形態では、セグメンテーションモジュール１３０は、標高に基づいて冗長ピクセルを識別する。地表面の標高が先験的にわかっていると仮定すると（例えば、地表でのＺ座標がゼロ）、地表面と同じ標高を持つピクセルは地表に関連付けられていると想定される。地表面に関連する余分なピクセルは削除される。

好ましい実施形態では、セグメンテーションモジュール１３０は、特定のピクセルが地表面に関連付けられているかどうかを確認するために付加的な空間情報を使用する。付加的な情報には、局所的な滑らかさ、データ密度などが含まれる。１つの実施例では、セグメンテーションモジュール１３０は、３次元画像フレームをさらに３Ｄグリッドマップに分割する。３Ｄグリッドマップのセルの規則的なパターンにより、インデックス作成の効率が向上し、３Ｄデータの挿入又は取得が容易になる。さらに、セグメンテーションモジュール１３０は、２Ｄグリッドマップを生成するためにｚ方向に沿ってセルを投影する。セグメンテーションモジュール１３０は、２Ｄグリッドマップを使用して冗長ピクセルを識別する。

１つの実施例では、セグメンテーションモジュール１３０は、各ピクセルに１つ以上の基準を適用して、ピクセルが冗長であるか冗長でないかを判定する。

１つの実施例では、セグメンテーションモジュール１３０は、ピクセルの標高が車両の高さより大きいかどうかを決定する。ピクセルの標高が車両の高さよりも高い場合、それは冗長ではない（例えば、地面ではない）。

別の実施例では、セグメンテーションモジュール１３０は、ピクセルの標高が閾値より大きいかどうかを決定する。ピクセルの標高が閾値よりも大きい場合、それは冗長ではない（例えば、地面ではない）。

別の実施例では、セグメンテーションモジュール１３０は、３Ｄグリッドマップの２Ｄ投影のセルの含むピクセルが所定の閾値よりも少ないかどうかを究明する。もし少ないなら、そのセルに関連するピクセルは、ピクセルの解像度がすでに低いため、冗長ではないと判断する。

別の実施例では、セグメンテーションモジュール１３０は、２Ｄ投影のセル内の各ピクセルに関連付けられた光学特性の平均値を決定する。例えば、光学特性は、測定された強度、反射率、信頼性、又はそれらのいくつかの組み合わせとすることができる。セグメンテーションモジュール１３０は、各ピクセルに関連する測定された光学特性（測定された強度、反射率、信頼性、又はそれらのいくつかの組み合わせ）とセル内のすべてのピクセルの測定された光学特性の平均値との差が所定の閾値を超えるかどうかを決定する。光学特性の値が平均値と大きく異なる場合、ピクセルは冗長ではないと決定される。

別の実施例では、セグメンテーションモジュール１３０は、セル内のすべてのピクセルの最大標高（例えば、ｚ座標）値とセル内のすべてのピクセルの最小標高値との間の差を測定する。差が所定の閾値を超える場合、ピクセルは冗長ではないと決定される。セル内の標高の大きな違いは、地表面ではなく垂直構造を示す。

別の実施例では、セグメンテーションモジュール１３０は、セル内のピクセルに関連付けられた標高の平均値及び各隣接セル内のピクセルに関連付けられた平均標高値を測定する。隣接するセルのいずれかに関連付けられている平均標高と問題のセルとの差の値が所定の閾値を超える場合、セルに関連付けられているピクセルは冗長ではないと決定される。

図４は、ＬＩＤＡＲ測定システム１０４のような、ＬＩＤＡＲ測定システムにより捕捉された画像フレームのすべての検出されたピクセルの２次元投影を図示するプロット１７０を示す。プロット１７０に示すように、ピクセルは、ｘ方向に２００メートル、ｙ方向に２５０メートルの範囲内で検出される。ＬＩＤＡＲ測定システムは、プロット１７０においてポイント｛０、０｝に配置される。

図５は、セグメンテーションモジュール１３０によるセグメンテーションの後の図４に示されたものと同じ画像フレームの検出されたピクセルの２次元投影を図示するプロット１８０を示す。この例では、ピクセル数が３１％削減されている。図４及び５に示すように。セグメンテーションモジュール１３０は、ＬＩＤＡＲ測定装置の近くの地表面の測定に関連する冗長な高解像度ピクセルを削除した。

セグメンテーションモジュール１３０は、前述の基準の任意の組み合わせを適用して、ピクセルが冗長であるか又は冗長でないかを決定する。一般に、前述の基準は、非限定的な例として提供され、他の多くの基準を、この特許文書の範囲内として考えることができる。いくつかの実施例では、セグメンテーションモジュール１３０は、完全な画像フレームに関連するピクセルのグループを受け取り、ピクセルのグループに作用し、セグメント化されたピクセルのグループをクラスタリングモジュール１３５に伝達する。しかしながら、いくつかの他の実施例では、セグメンテーションモジュール１３０は、一度に１ピクセルずつピクセルデータを受け取り、受け取ったピクセルに順次作用し、ＬＩＤＡＲ測定システムから受け取ったときにリアルタイムでセグメント化する。

特定のピクセルが冗長であるか又は冗長でないかを決定した後、セグメンテーションモジュールは、各冗長でないピクセル１３１に関連する画像データをクラスタリングモジュール１３５に伝達する。冗長なピクセルに関連する画像データは、クラスタリングモジュール１３５に伝達されない。

別の態様では、後続の特徴検出操作の計算の複雑さを低減するために、画像データはクラスタ化される。図２に示す実施例では、クラスタリングモジュール１３５は、画像データ１３１を受け取り、類似するオブジェクトに関連するピクセルのグループを識別する。ピクセル１３６の各グループは、特徴検出モジュール１４０に伝達される。このようにして、特徴検出モジュール１４０は、多くのオブジェクトではなく、１つのオブジェクトに関連するピクセルデータに作用する。

別の態様では、特徴は、各ピクセルに関連する、測定された強度、反射率、信頼性、又はそれらの組み合わせに基づいてＬＩＤＡＲ画像フレームから迅速に抽出される。

通常は、測定された画像空間をサブ領域に細分し、局所的な滑らかさをすべてのピクセルについて計算する。この滑らかさに基づいて、ピクセルは、空間内の事前定義された各サブ領域のＬＩＤＡＲチャンネルごとに、{最もシャープ、シャープ、スムーズ、最もスムーズ}の4つのカテゴリに分類される。ＮチャンネルとＭポイントのフレームを持つＬＩＤＡＲシステムの場合、各チャンネルはＭ／Ｎ個のポイントを有する。８つのサブ領域の場合、各サブ領域にはＫ＝Ｍ／（８Ｎ）個のポイントを有する。平滑度値の並べ替えには平均計算量順、Ｏ（ＭｌｏｇＫ）が含まれる。１６チャンネル（Ｎ＝１６）のＬＩＤＡＲシステムと１０，０００ポイント（Ｍ＝１０，０００）の画像フレームの場合、このアプローチを使用して妥当な計算コストで特徴を検出することができる。しかしながら、多くのチャンネルを有するセンサー及びより多くの数のピクセル（例えば、Ｎ＝３２及びＭ＝５０，０００）を有する画像フレームの場合、費用効率の高い方法でリアルタイムで結果を達成することは可能ではない。

１つの実施形態では、特徴は、空間の階調度の計算を特徴点検出時の反射率階調度で置き換えることにより、ＬＩＤＡＲ画像フレームから迅速に検出される。空間の階調度の値は、非有界浮動小数点値となる。このため、これらの数値を効率的にソートすることは、計算集約的となる。対照的に、反射率階調度は有界整数であり、これらの値は効率的にソートできる（線形複雑度、Ｏ（Ｍ））。

１つの実施形態では、特徴検出モジュール１４０はピクセルの画像フレーム１３６を受け取る。各ピクセルには、ＬＩＤＡＲ測定システムにおけるピクセルの位置を表す位置データ（例えば、Χ、Ｙ、Ζ座標）と、測定結果自体を表す光学値（例えば、反射率、Ｒ、強度、Ｉ、及び信頼性、Ｒｅ）が含まれる。いくつかの実施形態では、各ピクセルには６つの属性｛ｘ、ｙ、ｚ、Ｒ、Ｉ、Ｒｅ｝が含まれる。いくつかの実施形態では、各ピクセルには、４つの属性｛ｘ、ｙ、ｚ、Ｒ｝又は｛ｘ、ｙ、ｚ、Ｉ｝が含まれる。一般に、任意の数の属性を考えることができる。

１つの実施例では、各ＬＩＤＡＲチャンネルについて及び画像フレーム１３６のサブ領域について、特徴検出モジュール１４０は、以前に測定されたピクセルｉ－１に関して各ピクセルｉについて、反射率階調度（ａｂｓ（Ｒ_ｉ－Ｒ_ｉ-ｉ））、強度階調度（ａｂｓ（Ｉ_ｉ－Ｉ_ｉ－ｉ））、信頼性階調度（ａｂｓ（Ｒｅ_ｉ－Ｒｅ_ｉ－ｉ））、又はそれらの任意の組み合わせについて計算する。特徴検出モジュール１４０によって究明されるそれぞれの階調度の値は例えば、０から２５５の範囲の整数値である。

複数の階調度が計算される実施例の場合、特徴検出モジュール１４０は、全体的なコントラスト値を決定する（例えば、ここで、コントラストは、曲率の近似値）。例えば、反射率、強度、及び信頼性の階調度がすべて利用可能な場合、全体的なコントラストは式（1）によって決定され、床関数は、要素の値よりも小さく、要素の値に最も近い整数値を意味する。

一般に、各階調度の値は、全体のコントラスト値に対する各階調度値の影響を変化させるために、異なる定数によって重み付けしてもよい。

加えて、特徴検出モジュール１４０は、ピクセルをビンの集合に分類する。ビンの数は、全体的なコントラストの可能な整数値の数と同じとなる（例えば、２５６ビン）。従って、特定の全体的なコントラスト整数値を有する各ピクセルはは対応するビンの中にある。

特徴検出モジュール１４０は、ビンを異なるプールのビン（つまり、異なる機能セット）に分類する。１つの実施例では、４つのプールが定義される、つまり、高コントラスト特徴点、低コントラスト特徴点、最高コントラスト特徴点、及び最低コントラスト特徴点であり、それぞれ所定の閾値、#highest_contrast、#high_contrast、#low_contrast、及び#lowest_contrastによって定義される。１つの実施例では、全体のコントラスト値が#highest_contrast以上のすべてのビンが最高コントラストプールに関連付けられ、全体のコントラスト値が#high_contrastt以上のすべてのビンは、最高のコントラストとして識別されたものを除き、高コントラストのプールに関連付けられる。逆に、全体のコントラスト値が#lowest_contrast以下のすべてのビンは最低コントラストプールに関連付けられ、全体のコントラスト値が#low_contrast以下のすべてのビンは、最低コントラストとして識別されたものを除いて、低コントラストプールに関連付けられる。特徴のさまざまなプールは、さまざまなオブジェクト（地面、壁、木など）に関連付けられている。このようにして、特徴検出モジュール１４０は、周囲環境内の異なる物理オブジェクトを識別する構造化出力（つまり、特徴セット）を生成する。

このようにして、特徴検出モジュール１４０は、各画像フレームに対して特徴点の４つのプールを生成する。特徴点のプールは、画像フレームに関連付けられた小さな特徴マップ（ＳＦ）を構成する。図２に示すように、特徴検出モジュール１４０は、現在のフレームに関連付けられたＳＦＭ１４１及び前のフレームに関連付けられたＳＦＭ１４２を複数解像度ＳＬＡＭモジュール１５０に伝達する。

いくつかの例では、ｋ次元木（別名、ｋｄ木）が、点群及び特徴セットを編成するために使用される。ｋｄ木は、他の制約が課されたバイナリ検索ツリーです。ｋｄ木は、範囲探索及び最近傍探索に非常に役立つ。前述の例では、ｋｄ木は各ピクセルに関連付けられた属性の次元に合致させる。例えば、６つの属性｛ｘ、Ｙ、Ｚ、Ｒ、Ｉ、Ｒｅ｝を有するピクセルの場合、６次元のｋｄ木を採用する。

別の態様では、ＬＩＤＡＲ測定システムでの位置の推定は、高い繰り返し率でリフレッシュされた低解像度特徴マップに基づいて迅速に決定される一方、推定された位置は、低い繰り返し率でリフレッシュされた高解像度特徴マップに基づいて正確に更新される。

図３は、多重解像度ＳＬＡＭモジュール１５０をさらに詳細に示す図である。図３に示すように、ＳＬＡＭモジュール１５０には、増分センサー走行距離計測モジュール１５３、高速センサー走行距離計測モジュール１５８、低速センサー走行距離計測モジュール１５６、及び特徴マップ融合モジュール１５９が含まれる。

図３に示すように、現在のフレームに関連付けられたＳＦＭ１４１及び前のフレームに関連付けられたＳＦＭ１４２は、増分センサー走行距離計測モジュール１５１によって受け取られる。図６に示す。図３において、ＳＦＭ１４１は、現在の画像フレーム（ｎ番目のフレーム）を取得した時のＬＩＤＡＲ測定システムの位置に関して選択された特徴の位置を特定する特徴マップであり、ＳＦＭ１４２は、前の画像フレーム（ｎ-１番目のフレーム）を取得した時のＬＩＤＡＲ測定システムの位置に関して選択された特徴の位置を特定する特徴マップである。

図３に示されるように、増分センサー走行距離計測モジュール１５１は、ｎ番目の特徴セット（つまり、ＳＦＭ_ｎ）におけるＬＩＤＡＲ測定システムの６自由度（例えば、Ｘ、Ｙ、Ｒｘ、Ｒｙ、Ｒｚ）の位置を、ｎ-１番目の特徴セット（つまり、ＳＦＭ_ｎ-１）におけるＬＩＤＡＲ測定システムの位置及び_nΔＰ_sensor ^n-1との関係で推定する。_nΔＰ_sensor ^n-1は、ＳＦＭ_ｎにおいて選択された特徴と、ＳＦＭ_ｎ-１における同じ特徴とが最適に適合することになるように定める。１つの実施例では、この分析のために約３００の特徴が選択されている。_nΔＰ_sensor ^n-1の推定は、ＬＩＤＡＲ測定システムの画像フレームの更新速度（例えば、１０Hz）に一致させてリアルタイムで実行される。ＬＩＤＡＲ測定システムの角速度と直線速度は、更新期間（例えば、０．１秒間）にわたって滑らかで連続的であると想定される。しかしながら、速度の急激な変化が発生した場合、多重解像度ＳＬＡＭモジュール１５０は、ＬＩＤＡＲ測定システムの慣性測定ユニット（ＩＭＵ）から入力を受け取り、速度の急激な変化を補償する。

１つの実施例では、増分センサー走行距離計測モジュール１５１は、式（２）の残差を最小化することにより_nΔＰ_sensor ^n-1を推定する。

ここで、ｘは現在の特徴セットの特徴点であり、式（２）は、エッジポイントと対応するエッジラインとの間、又は平面点と対応する平面区画との間の幾何学的関係（つまり、移動と回転）を表す。例えば、式（２）には、点から平面までの距離、点から線までの距離等が含まれる。Ｄは距離のベクトルｄであり、各特徴点ｘは、距離ｄ及び非線形関数ｆによって定義される関係を有する。式（３）は、非線形最小２乗最小化法の各反復における_nΔＰ_sensor ^n-1の推定を示している。

ここで、λはレーベンバーグ・マーカートアルゴリズムにより決定されたスカラー値であり、Ｊは関数fのヤコビアン（導関数）である。ヤコビアンは数値微分によって決定される。非線形最小２乗最小法により、式（２）により定義される残差を最小化する位置を特定する。

図３に示す実施形態において、_nΔＰ_sensor ^n-1１５２は、特徴ロケータモジュール１５３に伝達される。特徴ロケータモジュール１５３は、現在のフレームの特徴点、ＳＦＭ_Features ⁿ、をＬＩＤＡＲ測定システムの更新速度（例えば、１０Ｈｚ）で、ワールド座標フレームＷに投影する。これは、ＳＦＭよりも高い解像度を持つ大きな特徴マップ（ＬＦＭ）を生成するために、連続するＳＦＭに対して繰り返し実行される。ＬＦＭは、ＳＦＭよりも長い時間をかけて生成される（例えば、０．１秒毎ではなく、１秒毎に）。

図３に示す実施形態において、低速センサー走行距離計測モジュール１５６は、現在の大きなフレームインデックスｋでのワールド座標フレームＷにおける多くの特徴（ＳＦＭより多い）の位置を記述する現在のＬＦＭ（_kＬＭＭ_Features ^W１５５）を受け取る。低速センサー走行距離計測モジュール１５６はまた、先の大きなフレームインデックスｋ-１での世界座標フレームＷにおける多くの特徴の位置を記述する先のＬＦＭ（_k-1ＬＭＭ_Features ^W１５４）を受け取る。低速センサー走行距離計測モジュール１５６は、現在のＬＦＭの最も重要な機能を先のＬＦＭに最適に適合させることにより、先のフレームでの世界座標フレームにおけるＬＩＤＡＲ測定システムの６自由度の位置に対して、世界フレームにおける_kＰ_sensor ^W１５７の現在の６自由度の位置を推定する。最適化は、特徴セットが大きく、世界座標フレームを参照する点を除いて、増分センサー走行距離計測モジュール１５１を参照して説明した最適化と似ている。１つの実施例では、この適合化は１Ｈｚの速度で実行される。

図３に示す実施形態において、高速センサー走行距離計測モジュール１５８は、現在の大きなフレームインデックスｋで、ワールドフレーム_kＰ_sensor ^W１５７におけるＬＩＤＡＲ測定システムの現在の位置を受け取る。高速センサー走行距離計測モジュール１５８は、世界座標フレームにおいて測定された推定_kＰ_sensor ^W１５７に、連続する各増分変位、（例えば、_nΔＰ_sensor ^n-1）を加算することにより、現在の小フレームインデックス、ｎ（_nＰ_sensor ^W１６０）における世界座標フレームにおけるセンサーの現在の６自由度位置を推定する。これは、低速センサー走行距離計測モジュール１５６（例えば、_k+1Ｐ_sensor ^W）によってセンサー位置の新しい推定が行われまで続く。その時点で、高速センサー走行距離計測モジュール１５８は新しい推定値をセンサーのベースライン位置と見なし、そして、別の新しい推定値が低速センサー走行距離測定モジュール１５６によって提供されるまで、連続する各増分変位を基準位置に加算する。このようにして、高速センサー走行距離測定モジュールにより、比較的速い更新速度（例えば、１０Ｈｚ）で世界座標フレームにおけるセンサーの位置の更新された推定値がもたらされる。この更新は、比較的遅い更新速度（例えば、１Ｈｚ）で、低速センサー走行距離計測モジュール１５６によってもたらされる世界座標フレームにおけるセンサー位置の、より正確な推定によって定期的に修正される。前述の通り、センサーの位置の加算による変化は、比較的低い解像度の特徴マップに基づいて増分センサー走行距離計測モジュール１５１によってもたらされる一方、低速センサー走行距離計測モジュールによってもたらされるセンサーの位置の変化は、比較的高い解像度特徴マップに基づく。このようにして、低解像度特徴マップに基Ｙづく位置推定によって引き起こされる誤差は、高解像度特徴マップに基づくより正確な推定によって定期的に修正される。

図３に示す実施形態において、特徴マップ融合モジュール１５９は、ワールドフレーム内のＬＩＤＡＲ測定システムの現在の位置、_kＰ_sensor ^W１５７、現在のＬＦＭ、_kＬＦＭ_Features ^W１５５、及び以前のＬＦＭ、_k-1ＬＦＭ_Features ^W１５４を受信する。機能マップ融合モジュール１５９は、現在のセンサー位置_kＰ_sensor ^W１５７に基づいて_kＬＦＭ_Features ^W１５５と_k-1ＬＦＭ_Features ^W１５４とを連続して融合し、融合した特徴マップを、世界座標フレームにおける特徴（建物、樹木など）の場所を特定するグローバルグリッドマップ_kＭ_Features ^W１６１へと辻褄を合わせて統合する。１つの実施例では、これは１Ｈｚの更新速度で生じる。

図２に示すように、非限定的な例として、マップ１６１及び位置推定１６０は、コンピューティングシステム１１０のメモリ１１３、又は任意の他の適切なメモリデバイス（例えば、外部メモリ又はＬＩＤＡＲ測定システム１０４のボード上のメモリ）に格納される。

図６は、１つの実施形態におけるＬＩＤＡＲ測定システム１０４を示す本明細書で説明するように、他の多くのＬＩＤＡＲ測定システムを使用してＬＩＤＡＲ画像情報を提供することができるので、図６に示すＬＩＤＡＲ測定システム１０４の実施形態は非限定的な例として提示される。ＬＩＤＡＲ測定システム１０４には、主制御装置２９０及び１つ以上の統合ＬＩＤＡＲ測定装置２３０が含まれる。統合ＬＩＤＡＲ測定装置２３０には、戻り信号受信機集積回路（ＩＣ）、照明ドライバ集積回路（ＩＣ）２５２、照明源２６０、光検出器２７０、及びトランスインピーダンス増幅器（ＴＩＡ）２８０が含まれる。これらの要素の各々は、要素間の機械的支持及び電気的接続を行う共通基板２３５（例えば、プリント回路基板）に取り付けられる。

照明源２６０は、電流パルス２５３に応答して、照明光２６２の測定パルスを放射する。いくつかの実施形態では、照明源２６０は、レーザーベース（例えば、レーザーダイオード）である。いくつかの実施形態では、照明源は、１つ以上の発光ダイオードに基づく。一般に、任意の適切なパルス照明源を考慮することができる。照明光２６２は、ＬＩＤＡＲ測定装置１０４を出て、測定中の周囲の３次元環境内のオブジェクトから反射される。反射光の一部は、測定パルス２６２に関連する戻り測定光２７１として収集される。図６に示すように、統合ＬＩＤＡＲ測定装置２３０から放射される照明光２６２とＬＩＤＡＲ測定装置に向けられた対応する戻り測定光２７１は、光路を共有する。

１つの態様では、照明光２６２は、ＬＩＤＡＲ測定システム１０４の１つ以上のビーム成形光学要素２６３及びビーム走査装置２６４によって、周囲環境内の特定の場所に向けて集中的に投影される。さらなる態様では、戻り測定光２７１は、ビーム走査装置２６４及びＬＩＤＡＲ測定システム１０４の１つ以上のビーム成形光学要素２６３によって光検出器２７０に向けて集光される。ビーム走査装置は、ビーム整形光学系と測定環境との間の光路で使用される。ビーム走査装置は、３Ｄ・ＬＩＤＡＲシステムの視野を効果的に拡大し、視野内のサンプリング密度を高める。

図６に示す実施形態において、ビーム走査装置２６４は、回転アクチュエータ２６５によって回転軸２６７の周りを回転する可動ミラー要素である。主制御装置２９０によって生成されたコマンド信号２６６は、主制御装置２９０から回転アクチュエータ２６５に伝達される。それに応答して、回転アクチュエータ２６５は、所定の運動プロファイルに従って可動ミラー要素２６４を走査する。

統合型ＬＩＤＡＲ測定装置２３０には、アクティブなセンサー領域２７４を有する光検出器２７０が含まれる。図６に示すように、照明源１６０は、光検出器のアクティブ領域２７４の視野の外側に配置される。図６に示すように、オーバーモールドレンズ２７２が光検出器２７０の上に取り付けられている。オーバーモールドレンズ２７２には、戻り光２７１の光線受け入れ円錐と対応する円錐空洞が含まれる。照明源２６０からの照明光２６２は、ファイバ導波管によって検出器受信コーンに導かれる。光カプラは、照明源２６０とファイバ導波路とを光学的に結合する。ファイバ導波路の端部では、ミラー要素２６１は、導波路に対して４５度の角度に傾けられ、照明光２６２を戻り光の円錐２７１に導く。１つの実施形態では、ファイバ導波路の端面は４５度の角度で切断され、端面は高反射性誘電体コーティングでコーティングされて鏡面を提供する。いくつかの実施形態では、導波路には、長方形のガラスコアと、より低い屈折率のポリマークラッディングとが含まれる。いくつかの実施形態では、光学アセンブリ全体が、ポリマークラッディングの屈折率と厳密に一致する屈折率を有する材料でカプセル化される。このようにして、導波路は、最小限のオクルージョンで照明光２６２を戻り光の受容コーン２７１に導く。

検出器２７０のアクティブ検知領域２７４上に投影された戻り光２７１のアクセプタンスコーン内の導波路の配置は、照明スポットと検出器の視野が遠視野で最大の重なりを確実に生じさせるように選択する。

図６に示すように、周囲環境から反射された戻り光２７１は、光検出器２７０によって検出される。いくつかの実施形態では、光検出器２７０はアバランシェフォトダイオードである。光検出器２７０は、アナログトランスインピーダンス増幅器（ＴＩＡ）２８０によって増幅される出力信号２７３を生成する。しかしながら、一般に、出力信号２７３の増幅では、複数の増幅器段を有することができる。この意味で、他の多くのアナログ信号増幅の組み合わせをこの特許文書の技術的範囲内で考え付くことができるため、アナログトランスインピーダンス増幅器を、非限定的な例として提示する。ＴＩＡ２８０が、受信機ＩＣ２５０とは別個のデバイスとして図６に示されるが、一般に、ＴＩＡ２８０は、受信機ＩＣ２５０と統合することもできる。いくつかの実施形態では、スペースを節約し、信号汚染を低減するために、ＴＩＡ２８０を受信機ＩＣ２５０と統合することが好ましい。

増幅された信号２８１は、戻り信号受信機ＩＣ２５０に伝達される。受信機ＩＣ２５０には、タイミング回路と、照明源２６０から３次元の反射オブジェクトへ行き、光検出器２７０に戻ってくる測定パルスの飛行時間を推定する時間・デジタル変換器とが含まれる。推定飛行時間を示す信号２５５は、さらなる処理及びＬＩＤＡＲ測定システム１０４のユーザーへの通信のために主制御装置２９０に伝達される。加えて、戻り信号受信機ＩＣ２５０は、ピーク値（すなわち、戻りパルス）を含む戻り信号２８１のセグメントをデジタル化し、デジタル化されたセグメントを示す信号２５６を主制御装置２９０に伝達するように構成される。いくつかの実施形態では、主制御装置２９０は、これらの信号セグメントを処理して、検出されたオブジェクトの特性を識別する。いくつかの実施形態では、主制御装置２９０は、さらなる処理のために信号２５６をＬＩＤＡＲ測定システム１０４のユーザーに伝達する。

主制御装置２９０は、統合ＬＩＤＡＲ測定装置２３０の受信機ＩＣ２５０に伝達されるパルスコマンド信号２９１を生成するように構成される。パルスコマンド信号２９１は、主制御装置２９０によって生成されるデジタル信号である。従って、パルスコマンド信号２９１のタイミングは、主制御装置２９０に関連するクロックによって決定される。いくつかの実施形態では、パルスコマンド信号２９１は、照明ドライバＩＣ２５２によるパルス生成及び受信機ＩＣ２５０によるデータ取得を始動させるために直接使用される。しかしながら、照明ドライバＩＣ２５２及び受信機ＩＣ２５０は、主制御装置２９０と同じクロックを共有しない。この理由により、飛行時間の正確な推定は、パルスコマンド信号２９１をパルス生成及びデータ取得を始動させるために直接使用される場合、はるかに計算的に面倒になる。

一般に、ＬＩＤＡＲ測定システムには、ＬＩＤＡＲデバイスから各々が周囲環境に照明光パルスビームを放射し、周囲環境のオブジェクトから反射された戻り光を測定する、いくつかの異なる統合ＬＩＤＡＲ測定装置２３０が含まれる。

これらの実施形態では、主制御装置２９０は、パルスコマンド信号２９１を別々の統合ＬＩＤＡＲ測定装置に伝達する。このようにして、主制御装置２９０は、任意の数の統合されたＬＩＤＡＲ測定装置によって実行されるＬＩＤＡＲ測定のタイミングを調整する。さらなる態様では、ビーム成形光学素子２６３及びビーム走査装置２６４は、統合された各ＬＩＤＡＲ測定装置に関連する照明パルス及び戻り測定パルスの光路にある。このようにして、ビーム走査装置２６４は、各照明パルスとＬＩＤＡＲ測定システム１０４の戻り測定パルスを導く。

図示の実施形態では、受信機ＩＣ２５０は、パルスコマンド信号２９１を受信し、パルスコマンド信号２９１に応答して、パルストリガ信号Ｖ_ＴＲＧ２５１を生成する。パルストリガ信号２５１は、照明ドライバＩＣ２５２に伝達され、照明ドライバＩＣ２５２をすぐに始動させて、照明源２６０を電源２３３に電気的に結合し、照明光２６２のパルスを生成させる。加えて、パルストリガ信号２５１は、戻り信号２８１のデータ取得及び関連する飛行時間計算をすぐに開始させる。このようにして、受信機ＩＣ２５０の内部クロックに基づいて生成されたパルストリガ信号２５１は、パルス生成と戻りパルスデータ取得の両方を開始させるために使用される。これにより、パルスの生成と戻りパルスの取得を正確に同期させることが保証され、時間からデジタルへの変換により正確な飛行時間の計算が可能になる。

図７は、統合型ＬＩＤＡＲ測定装置２３０からの測定パルスの放射及び戻り測定パルスの捕捉に関連するタイミングの図を示す。図７に示すように、測定は、受信機ＩＣ２５０によって生成されたパルストリガ信号２６２の立ち上がりエッジによって開始される。図６及び７に示すように、増幅された戻り信号２８１は、受信機ＩＣ２５０によって受信される。前述のように、測定窓（すなわち、収集された戻り信号データが特定の測定パルスに関連付けられている期間）は、パルストリガ信号２６２の立ち上がりエッジでのデータ取得を可能にすることによって開始される。受信機ＩＣ２５０は、連続する測定パルスの放射に応答して戻り信号が予期されるときの時間窓に対応するように、測定窓Ｔ_measurementの持続時間を制御する。いくつかの実施例では、測定窓は、パルストリガ信号２６２の立ち上がりエッジで有効にされ、ＬＩＤＡＲシステムの範囲の約２倍の距離にわたる光の飛行時間に対応する時間に無効にされる。このようにして、測定窓が開いて、ＬＩＤＡＲシステムに隣接するオブジェクト（つまり、無視できる飛行時間）からの戻り光からＬＩＤＡＲシステムの最大範囲にあるオブジェクトからの戻り光までを収集する。このようにして、有用な戻り信号に寄与する可能性のない他のすべての光は排除される。

図７に示されるように、戻り信号２８１には、放射された測定パルスに対応する３つの戻り測定パルスが含まれる。一般に、信号検出は、検出されたすべての測定パルスに対して実行される。さらに、最も近い有効な信号２８１Ｂ（つまり、戻り測定パルスの最初の有効な事象）、最も強い信号、及び最も遠い有効な信号２８１Ｃ（つまり、測定窓における戻り測定パルスの最後の有効な事象）を識別するために、信号分析を実行することができる。これらの事象はいずれも、有効な距離測定値としてＬＩＤＡＲシステムから伝えることができる。

ＬＩＤＡＲシステムからの光の放出に関連する内部システム遅延（例えば、スイッチング要素、エネルギー貯蔵要素、及びパルス発光装置に関連する信号通信遅延及び待ち時間）、及び光の収集と収集された光を示す信号の生成（例えば、増幅器の待ち時間、アナログデジタル変換遅延など）に関連する遅延は、光の測定パルスの飛行時間の推定における誤差の原因となる。したがって、パルストリガ信号１４３の立ち上がりエッジと各有効戻りパルス（すなわち、２８１Ｂ及び２８１Ｃ）との間の経過時間に基づく飛行時間の測定には、望ましくない測定誤差が入り込んでいる。いくつかの実施形態では、修正した実際の光の飛行時間の推定値を得るため、電子的な遅延を補正するために、較正済みの所定の遅延時間が採用されている。ただし、動的に変化する電子遅延に対して静的な補正を行うことには、精度に限界が生じる。頻繁に再キャリブレーションを行うこともできるが、これには計算の複雑さが伴い、システムの動作可能時間に悪影響を及ぼす。

別の態様では、受信機ＩＣ２５０は、照明源２６０と光検出器２７０との間の内部クロストークによる検出パルス２８１Ａの検出と、有効な戻りパルス（例えば、２８１Ｂ及び２８１Ｃ）との間の経過時間に基づいて飛行時間を測定する。このようにして、システムに起因する遅延は飛行時間の推定から排除される。パルス２８１Ａは、光の伝播距離が事実上存在しない内部クロストークによって生成される。したがって、パルストリガ信号の立ち上がりエッジからパルス２８１Ａの検出の事象までの時間遅れは、照明及び信号検出に関連するシステムに起因する遅延のすべてを捕捉する。有効な戻りパルス（例えば、戻りパルス２８１Ｂ及び２８１Ｃ）の飛行時間を、検出されたパルス２８１Ａを基準にして測定することにより、内部クロストークによる照明及び信号検出に関連するすべての、システムに起因する遅延が除去される。図７に示すように、戻りパルス２８１Ａを基準として、受信機ＩＣ２５０は、戻りパルス２８１Ｂに関連する飛行時間ＴＯＦ_１と、戻りパルス２８１Ｃに関連する飛行時間ＴＯＦ_２とを推定する。

いくつかの実施形態では、信号分析は、受信機ＩＣ２５０によって完全に実行される。これらの実施形態では、統合ＬＩＤＡＲ測定装置２３０から伝達される信号２５５には、受信機ＩＣ２５０によって決定された飛行時間の表示が含まれる。いくつかの実施形態では、信号２５６には、受信機ＩＣ２５０によって生成されたデジタル化されたセグメントが含まれる。この生の測定信号セグメントは、３Ｄ－ＬＩＤＡＲシステム（例えば、プロセッサ２９５）に搭載された、又は３Ｄ－ＬＩＤＡＲシステムの外部にある１つ以上のプロセッサによってさらに処理され、距離の別の推定値、検出されたオブジェクトの１つ以上の特性、又は反射率、強度、信頼性、又はそれらの組み合わせのような測定の推定値を取得する。

主制御装置２９０又は任意の外部コンピューティングシステムには、パーソナルコンピュータシステム、メインフレームコンピュータシステム、ワークステーション、画像コンピュータ、並列プロセッサ、又は当該技術分野で既知の任意の他のデバイスを含むことができるが、これらに限定されない。一般に、「コンピューティングシステム」という用語は、記憶媒体からの命令により１つ又は複数のプロセッサを実行する１つ以上のプロセッサを有する装置である。

本明細書に記載されているような方法を実行するプログラム命令２９２は、ワイヤ、ケーブル、又はワイヤレス伝送リンクのような伝送媒体を介して送信することができる。例えば、図６に示すように、メモリ２９１に格納されたプログラム命令２９２は、バス２９４を介してプロセッサ２９５に送信される。プログラム命令２９２は、コンピュータ読み取り可能媒体（例えば、メモリ２９１）に格納される。例示的なコンピュータ読み取り可能媒体には、読み取り専用メモリ、ランダムアクセスメモリ、磁気又は光ディスク、又は磁気テープが含まれる。

図８は、ここに記載されているようなＬＩＤＡＲ測定システムにより実行するのに適した方法２００のフローチャートを示している。いくつかの実施形態では、ＬＩＤＡＲ測定システム１０４は、図８に示される方法２００に従って動作可能である。しかしながら、一般に、方法２００の実行は、図１を参照して説明したＬＩＤＡＲ測定システム１０４の実施形態に限定されない。他の多くの実施形態及び動作例を提示することが可能なので、これらの図解及び対応する説明は、例示のために提供するものである。

ブロック２０１では、移動するＬＩＤＡＲ測定システムを用いて３次元環境で複数の点が測定される。

ブロック２０２では、時間的に連続する画像フレームが生成される。各画像フレームには、ＬＩＤＡＲ測定システムにおける３次元環境での別の場所での測定にそれぞれ関連する複数の測定点が含まれる。複数の測定点の各測定には、ＬＩＤＡＲ測定システムにおける測定点の位置の表示、及び測定における光学特性の表示が含まれる。

ブロック２０３では、直前の画像フレームにおける現在の画像フレームでのＬＩＤＡＲ測定システムの位置が推定される。

ブロック２０４では、第１の連続する小さな特徴マップのそれぞれの測定点を３Ｄ環境に固定された世界座標フレームに投影することにより、第１の大きな特徴マップが、第１の連続する小さな特徴マップから生成される。

ブロック２０５では、第２の連続する小さな特徴マップのそれぞれの測定点を３Ｄ環境に固定された世界座標フレームに投影することにより、第２の大きな特徴マップが、第２の連続する小さな特徴マップから生成される。第２の連続する小さな特徴マップは第１の連続する小さな特徴マップの直後に続くものである。

ブロック２０６では、世界座標フレームにおけるＬＩＤＡＲ測定システムの現在の位置は、第１の大きな特徴マップ及び第２の大きな特徴マップに基づき推定される。

本開示の全体にわたって説明した様々なステップは、単一のコンピュータシステム１１０によって、又は代替として、複数のコンピュータシステム１１０によって実行することができることを理解すべきである。さらに、ＬＩＤＡＲ測定システム１０４の別のサブシステムには、ここで説明するステップの少なくとも一部を実行するのに適したコンピュータシステムを含めることができる。従って、前述の説明は、本発明を限定するものとして解釈すべきではなく、単なる例示として解釈すべきである。さらに、１つ以上のコンピューティングシステム１１０は、ここで説明するずれかの方法の実施形態の任意の他のステップを実行するように構成することができる。

加えて、コンピュータシステム１１０は、当該技術分野で知られている任意の方法でＬＩＤＡＲ測定システム１０４に通信可能に結合することができる。例えば、１つ以上のコンピューティングシステム１１０は、ＬＩＤＡＲ測定システム１０４に関連するコンピューティングシステムに結合することができる。別の実施例では、統合ＬＩＤＡＲ測定装置２３０は、コンピュータシステム１１０によって直接制御することができる。

コンピュータシステム１１０は、有線及び／又は無線部分を含むことができる伝送媒体によってＬＩＤＡＲ測定システム１０４からデータ又は情報を受信及び／又は取得するように構成することができる。このようにして、伝送媒体は、コンピュータシステム１１０とＬＩＤＡＲ測定システム１０４の他のサブシステムとの間のデータリンクとして機能することができる。

コンピュータシステム１１０は、有線及び／又は無線部分を含むことができる伝送媒体によって他のシステムからデータ又は情報（例えば、ＬＩＤＡＲ測定結果、圧縮データセット、セグメント化データセット、特徴セット、等）を受信及び／又は取得するように構成することができる。このようにして、伝送媒体は、コンピュータシステム１１０と他のシステム（例えば、メモリ搭載ＬＩＤＡＲ測定システム１０４、外部メモリ、又は外部システム）との間のデータリンクとして機能することができる。例えば、コンピューティングシステム１１０は、データリンクを介して記憶媒体（すなわち、メモリ１１３又はメモリ２９１）から測定データ（例えば、ＬＩＤＡＲ画像情報１０５）を受信するように構成することができる。さらに、コンピュータシステム１１０は、伝送媒体を介して他のシステムにデータを送ることができる。例えば、コンピュータシステム１１０によって究明された特徴マップ及び位置情報は、永久的又は半永久的なメモリデバイス（例えば、メモリ１１４）に格納することができる。別の実施例では、マッピング情報１０９及び位置情報１０８は、車両コントローラ１０７に通信することができる。その際、測定結果を別のシステムにエクスポートすることもできる。

コンピューティングシステム１１０には、パーソナルコンピュータシステム、メインフレームコンピュータシステム、ワークステーション、画像コンピュータ、並列プロセッサ、又は当該技術分野で知られている任意の他のデバイスを含めることができるが、これらに限定されない。一般に、用語「コンピューティングシステム」は広く定義することができ、メモリ媒体からの命令を実行する１つ以上のプロセッサを有する任意のデバイスを含む。

本明細書に記載されているものなどの方法を実行するプログラム命令１１５は、ワイヤ、ケーブル、又はワイヤレス伝送リンクなどの伝送媒体を介して送信することができる。例えば、図１に示すように、メモリ１１３に格納されたプログラム命令は、バス１１２を介してプロセッサ１１１に送信される。プログラム命令１１５は、コンピュータ読み取り可能媒体（例えば、メモリ１１３）に格納される。例示的なコンピュータ読み取り可能媒体には、読み取り専用メモリ、ランダムアクセスメモリ、磁気又は光ディスク、又は磁気テープが含まれる。

１つ以上の例示的な実施形態では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせで実施することができる。ソフトウェアで実施される場合、機能は、コンピュータ読み取り可能媒体上の１つ以上の命令又はコードとして格納又は送信することができる。コンピュータ読み取り可能媒体には、コンピュータの記憶媒体と、ある場所から他の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体の両方が含まれる。記憶媒体は、汎用コンピュータ又は専用コンピュータがアクセスできる利用可能な任意の媒体とすることができる。限定するためではなく例示として、そのようなコンピュータ読み取り可能媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ-ＲＯＭ又は他の光ディスク記憶装置、磁気ディスク記憶装置又は他の磁気記憶装置、又は、所望のプログラムコードを命令又はデータ構造の形式で持ち運び又は格納のために使用することができ、汎用コンピュータ又は専用コンピュータ、又は汎用プロセッサ又は専用プロセッサからアクセスすることができる他の媒体を含むことができる。また、すべての接続は、コンピュータ読み取り可能媒体と適切に称される。例えば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、又は赤外線、ラジオ波、マイクロ波のような無線技術を使用して、Ｗｅｂサイト、サーバ、又はその他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、又は赤外線、ラジオ波、マイクロ波のような無線技術が媒体の定義に含まれる。ここで使用されるディスク及び磁気ディスクには、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、及びブルーレイディスクが含まれ、ここで、通常、磁気ディスクは磁気的にデータを再生するものであり、ディスクはレーザーで光学的にデータを再生するものである。これらの組み合わせもコンピュータ読み取り可能媒体の範囲内に含まれる。

特定の実施形態を説明目的のために上述の通り説明したが、この特許文書の教示は一般的な利用可能性を示し、上記の特定の実施形態に限定することを意味しない。したがって、特許請求の範囲に記載された本発明の範囲から逸脱することなく、説明した実施形態の様々な特徴の様々な修正、改変、及び組み合わせを実施することができる。

Claims (12)

1. 複数のＬＩＤＡＲ測定装置であって、それぞれが、
   電源と電気的に結合しているときに照明光の測定パルスを放射する照明源と、
   前記照明源及び第１の電源と電気的に結合している照明ドライバであって、前記照明ドライバのＩＣは、パルストリガ信号に応答して前記照明源を前記電源に選択的に電気的に結合させるよう構成されている、照明ドライバと、
   照明光の前記測定パルスに応答して３次元環境（３Ｄ環境）における点から反射した戻り光を検出する光検出器と、
   時間をかけて検出された前記戻り光を示す戻り信号を生成する戻り信号受信機と、
   を具備することを特徴とする複数のＬＩＤＡＲ測定装置と、
   時間的に連続する画像フレームを同時的な位置特定及びマッピングエンジンに伝達するよう構成された主制御装置であって、前記画像フレームには別々の複数の測定点が含まれ、各測定点には、ＬＩＤＡＲ測定システムにおける前記それぞれの測定点の位置の推定及び前記それぞれの測定点の光学特性が含まれることを特徴とする主制御装置と、
   を具備し、
   前記同時的な位置特定及びマッピングエンジンは、
   複数の小さな特徴マップを生成し、各小さな特徴マップは前記時間的に連続する画像フレーム中のそれぞれの画像フレームに対応し、前記それぞれの画像フレームから抽出した１つ以上特徴点を含むものであり、各小さな特徴マップは（ｉ）前記それぞれの画像フレーム中の複数の測定点をセグメント化しクラスタ化し、その後（ｉｉ）前記それぞれの画像フレームから１つ以上の特徴点を抽出することで生成され、前記セグメント化は、特徴抽出の前に冗長データ点を除去することを伴うことを特徴とし、
   直前の画像フレームにおける現在の画像フレームでのＬＩＤＡＲ測定システムの第１の位置を推定し、
   第１の連続する小さな特徴マップの特徴点を前記３Ｄ環境に固定された世界座標フレームに投影することにより、第１の大きな特徴マップを、前記第１の連続する小さな特徴マップから生成し、
   第２の連続する小さな特徴マップの特徴点の各々を前記３Ｄ環境に固定された世界座標フレームに投影することにより、第２の大きな特徴マップを前記第２の連続する小さな特徴マップから生成し、前記第２の連続する小さな特徴マップは前記第１の連続する小さな特徴マップの直後に続くことを特徴とし、
   前記世界座標フレームにおける前記ＬＩＤＡＲ測定システムの第２の位置を、前記第１の大きな特徴マップ及び前記第２の大きな特徴マップに基づき推定することを特徴とする、
   ＬＩＤＡＲ測定システム。
2. 前記同時的な位置特定及びマッピングエンジンはさらに、
   前記ＬＩＤＡＲ測定システムの前記第２の位置及び前記ＬＩＤＡＲ測定システムの前記第１の位置に基づき、前記世界座標フレームにおける前記ＬＩＤＡＲ測定システムの第３の位置の推定を行うよう構成されていることを特徴とする、請求項１に記載のＬＩＤＡＲ測定システム。
3. 前記それぞれの画像フレーム中の前記複数の測定点をセグメント化するステップは、前記それぞれの画像フレーム中の複数の測定点を、さらなる分析のために保持される第１の測定点のグループと、さらなる分析のために保持されない第２の測定点のグループとに分割するステップを具備することを特徴とする、請求項１に記載のＬＩＤＡＲ測定システム。
4. 前記それぞれの画像フレーム中の複数の測定点をクラスタ化するステップは、前記それぞれの画像フレームに関連する測定点の前記第１のグループを、測定点の前記第１のグループのピクセル値に基づき１つ以上のサブグループにクラスタ化するステップを具備することを特徴とする、請求項３に記載のＬＩＤＡＲ測定システム。
5. 前記それぞれの画像フレームから１つ以上の特徴点を抽出するステップは、前記それぞれの画像フレームに関連する測定点の前記第１のグループから、測定点の前記第１のグループの各々の光学特性に基づいて１つ以上の特徴点を識別するステップを具備することを特徴とする請求項４に記載のＬＩＤＡＲ測定システム。
6. 前記それぞれの測定点の前記光学特性には、前記それぞれの測定点の反射率、前記それぞれの測定点からの戻り光の強度、前記それぞれの測定点の測定の信頼性、又はそれらの任意の組み合わせが含まれることを特徴とする請求項１に記載のＬＩＤＡＲ測定システム。
7. 移動するＬＩＤＡＲ測定システムを用いて３次元環境（３Ｄ環境）で複数の点を測定するステップと、
   時間的に連続する画像フレームを生成するステップであって、前記画像フレームの各々には、ＬＩＤＡＲ測定システムにおける３次元環境内の別の位置の測定にそれぞれ関連する複数の測定点が含まれ、各測定には、ＬＩＤＡＲ測定システムにおける測定点の位置の表示、及び前記測定点における光学特性の表示が含まれることを特徴とするステップと、
   複数の小さな特徴マップを生成するステップであって、各小さな特徴マップは前記時間的に連続する画像フレーム中のそれぞれの画像フレームに対応し、前記それぞれの画像フレームから抽出した１つ以上特徴点を含むものであり、各小さな特徴マップは（ｉ）前記それぞれの画像フレーム中の複数の測定点をセグメント化しクラスタ化し、その後（ｉｉ）前記それぞれの画像フレームから１つ以上の特徴点を抽出することで生成され、前記セグメント化は、特徴抽出の前に冗長データ点を除去することを伴うことを特徴とするステップと、
   直前の画像フレームにおける現在の画像フレームでの前記ＬＩＤＡＲ測定システムの位置を推定するステップと、
   第１の連続する小さな特徴マップのそれぞれの特徴点を前記３Ｄ環境に固定された世界座標フレームに投影することにより、前記第１の連続する小さな特徴マップから第１の大きな特徴マップを生成するステップと、
   第２の連続する小さな特徴マップのそれぞれの特徴点を前記３Ｄ環境に固定された世界座標フレームに投影することにより、前記第２の連続する小さな特徴マップから第２の大きな特徴マップを生成するステップであって、前記第２の連続する小さな特徴マップは前記第１の連続する小さな特徴マップの直後に続くものであることを特徴とするステップと、
   前記第１の大きな特徴マップ及び前記第２の大きな特徴マップに基づき、
   前記世界座標フレームにおける前記ＬＩＤＡＲ測定システムの現在の位置を推定するステップと、
   を具備する方法。
8. 前記ＬＩＤＡＲ測定システムの第２の位置に基づき、前記世界座標フレームにおける前記ＬＩＤＡＲ測定システムの第３の位置を推定するステップ、
   をさらに具備することを特徴とする請求項７に記載の方法。
9. 前記それぞれの画像フレーム中の前記複数の測定点をセグメント化するステップは、前記それぞれの画像フレーム中の前記複数の測定点を、さらなる分析のために保持される測定点の第１のグループと、さらなる分析のために保持されない測定点の第２のグループとに分割するステップを具備することを特徴とする請求項７に記載の方法。
10. 前記それぞれの画像フレーム中の前記複数の測定点をクラスタ化するステップは、前記それぞれの画像フレームに関連する前記測定点の第１のグループを１つ以上のサブグループにクラスタ化するステップを具備することを特徴とする請求項９に記載の方法。
11. 前記それぞれの画像フレームから１つ以上の特徴点を抽出するステップは、前記それぞれの画像フレームに関連する前記測定点の第１のグループから、測定点の前記第１のグループの各々の光学特性に基づき、１つ以上の特徴点を識別するステップを具備することを特徴とする請求項１０に記載の方法。
12. 前記それぞれの測定点の前記光学特性には、前記それぞれの測定点の反射率、前記それぞれの測定点からの戻り光の強度、前記それぞれの測定点の測定の信頼性、又はそれらの任意の組み合わせが含まれることを特徴とする請求項７に記載の方法。

Images