JP6552729B2 - 異なる分解能を有するセンサーの出力を融合するシステム及び方法 - Google Patents

Description

本発明は、検知システム及び検知方法に関し、より詳細には、異なる分解能を有するセンサーの出力を融合することに関する。

センサー融合は、異なるセンサーから導出された検知データを組み合わせるプロセスである。シーンを取得するために用いられるセンサー及びセンサー様式の数が増大するにつれ、センサーデータの統合又は融合がますます重要になっている。センサー融合は、別個のセンサー様式を利用して、環境に関する補足情報を提供し、ハードウェアの制限を克服し、又は各個々のセンサーに起因したデータの不確実性を低減する。例えば、センサー融合により、或るセンサーによって測定されたデータの分解能を、別のセンサーの測定値を用いて増大させる、すなわち、アップサンプリングすることができる。加えて又は代替的に、センサー融合は、或るセンサーによって測定されたデータに、別のセンサーの測定値により注釈を付けることができる。

例えば、深度検知は、シーンにおける深度、すなわち、センサーからシーン内の点への距離を測定するための技術である。深度検知のタイプは、構造化光カメラ、ステレオカメラ、及びシーンから反射された光の飛行時間（ＴＯＦ）測定値に基づく深度検知カメラを用いた測定値を含む。ＬＩＤＡＲセンサー等の幾つかの深度センサーは、実際の用途に十分な分解能を有していない。そのために、深度超解像のために融合を用いることができ、すなわち、ＬＩＤＡＲセンサーからの低分解能深度データを、光カメラからの画像と融合して、より高い分解能の深度画像を生成することができる。

センサー融合は、各センサーの互いに対する位置及び向き等の、各センサーの較正パラメーターを決定する外的較正（extrinsic calibration）を用いる。融合中、較正パラメーターは、各センサーの出力を、共通基準系にマッピングする幾何学的変換を計算するのに用いられる。

例えば、幾つかの方法は、既知の位置合わせ標的を用いてオフラインの較正を行う。しかしながら、オフラインの較正を行うことは、幾つかの用途にとって可能でないか又は実際的でない。この問題は、センサーが移動車両に設置されているときに特に明らかとなる。これは、そのようなセンサーが、道路状況の潜在的な粗さに起因して較正を失いやすいことに起因し、較正は、絶えず変動するシーンについてオンラインで行われる必要がある。

他の方法は、様々な画像における物体のエッジを用いて較正をオンラインで行う。しかしながら、幾つかの用途では、エッジマッチングに基づく較正は、センサー測定値の低分解能に起因して不正確である。

したがって、異なる分解能を有するセンサーの出力を融合するシステム及び方法が必要とされている。

本発明の幾つかの実施形態は、融合及び較正が相補的プロセスであり、一方の改善を用いて、他方の性能を高めることができるという認識に基づいている。このため、共同の較正及び融合方法により、最終的な出力を改善することができる。通常、較正又は融合のいずれかに対処するが、両方には対処しない既存の手法と対照的に、共同処理は、共通の目標、すなわち、較正パラメーターに応じたセンサー融合の最終的な出力の改善に向けて機能する。

したがって、本発明の幾つかの実施形態は、センサーの較正及びセンサーの出力の融合を共同で行う。例えば、本発明の幾つかの実施形態は、各事例において適切なコスト関数を用いて、較正パラメーター及び融合出力を共同で最適化する。例えば、１つの実施形態は、較正パラメーター及び融合された測定値組を互いに依拠して更新する。例えば、共同の較正及び融合は、較正パラメーターを所与として、融合された測定値組のコスト関数を最適化することができる。

本発明の１つの実施形態は、異なる分解能を有するセンサーの測定値を融合する方法を開示する。本方法は、第１のセンサーによって測定されたシーンの第１の測定値組を取得することと、第２のセンサーによって測定された前記シーンの第２の測定値組を取得することであって、前記第１のセンサーの様式は前記第２のセンサーの様式と異なり、前記第１のセンサーの分解能は、前記第２のセンサーの分解能未満であることと、前記第１のセンサー及び前記第２のセンサーの較正と、前記第１の測定値組及び前記第２の測定値組の融合とを共同で行い、前記第１のセンサーの座標系と前記第２のセンサーの座標系との間の幾何学的マッピングを定義する較正パラメーターと、前記第１のセンサーの前記分解能よりも高い分解能を有する、前記第１のセンサーの前記様式を含む融合された測定値組とを生成することであって、前記較正及び前記融合は、互いに依拠して、前記較正パラメーター及び前記融合された測定値組を更新するために共同で行われることと、を含む。前記方法のステップは、プロセッサを用いて行われる。

別の実施形態は、シーンを測定して、該シーンの第１の測定値組を生成する第１のセンサーと、前記シーンを測定して、該シーンの第２の測定値組を生成する第２のセンサーであって、前記第１のセンサーの分解能は、前記第２のセンサーの分解能未満である、第２のセンサーと、前記第１のセンサー及び前記第２のセンサーの較正と、前記第１の測定値組及び前記第２の測定値組の融合とを共同で行い、前記第１のセンサーの座標系と前記第２のセンサーの座標系との間の幾何学的マッピングを定義する較正パラメーターと、前記第１のセンサーの前記分解能よりも高い分解能を有する、前記第１のセンサーの様式を含む融合された測定値組とを生成するプロセッサであって、前記較正及び前記融合は、互いに依拠して、前記較正パラメーター及び前記融合された測定値組を更新するために共同で行われる、プロセッサと、を備える、システムを開示する。

更に別の実施形態は、較正されていないセンサーの出力を融合する方法であって、第１のセンサーからシーンの第１の測定値組を取得することと、第２のセンサーから前記シーンの第２の測定値組を取得することであって、前記第１のセンサーの分解能は、前記第２のセンサーの分解能未満であることと、前記第２の測定値組を用いて前記第１の測定値組を融合して、前記第１のセンサーの様式及び該第１のセンサーの前記分解能よりも高い分解能を含む融合された測定値組を生成することであって、該融合は、前記第１のセンサーの座標系と前記第２のセンサーの座標系との幾何学的マッピングを定義する較正パラメーターを用いることと、前記融合された測定値組を、前記第２の測定値組と比較して、前記較正パラメーターの誤差を求めることと、前記較正パラメーターを更新して前記誤差を低減することと、終了条件が満たされるまで、前記融合、前記比較、及び前記更新を繰り返すことと、を含む、方法を開示する。

本発明の様々な実施形態による、センサーの較正及びセンサーの測定値の融合を共同で行う方法のブロック図である。 本発明の様々な実施形態による、センサーの較正及びセンサーの測定値の融合を共同で行う方法のブロック図である。 本発明の様々な実施形態による、センサーの較正及びセンサーの測定値の融合を共同で行う方法のブロック図である。 本発明の幾つかの実施形態による、融合された測定値組を決定する融合方法のブロック図である。 本発明の１つの実施形態によるシステムの概略図である。 本発明の幾つかの実施形態による、センサーの出力を融合する例示的なシステムのブロック図である。

図１Ａは、本発明の幾つかの実施形態による、センサーの較正及びセンサーの測定値の融合を共同で行う方法のブロック図を示す。本方法は、第１のセンサー１１０からシーン１０５の第１の測定値組を取得し（１２０）、第２のセンサー１１５からシーン１０５の第２の測定値組も取得する（１２５）。

本方法のステップは、センサーのうちの１つに対し内部又は外部にあるプロセッサ等のプロセッサを用いて行われる。測定値は、センサーから直接取得することができるか、間接的に、例えば、メモリストレージから、及び／又は有線若しくは無線の通信チャネルを介して取得することができる。幾つかの実施形態では、第１のセンサーの分解能は、第２のセンサーの分解能未満である。さらに、幾つかの実施形態では、第１のセンサーの様式は第２のセンサーの様式と異なる。

幾つかの実施形態は、様々なタイプ及び／又は様式のセンサーデータを用いてシーンに関する情報を特定する。シーンは、センサー測定値を生成することができる任意の物理的エリアとすることができる。例えば、限定ではないが、シーンは、市街エリア、近所、森林エリア、水中領域、空域、製造施設内のエリア、部屋、構造物の表面、又は何らかの他の適切なタイプのシーンとすることができる。

第１のセンサー及び第２のセンサーの様々な様式は、限定ではないが、音響データ、バイオメトリックデータ、撮像データ、電圧読み値、振動データ、及び他の適切なタイプのセンサーデータを含む。これらの様々な様式のセンサーデータを、シーン内の物体の存在の検出、シーン内の物体の特定、シーン内の物体の移動の追跡、シーンの環境内の変化の検出、シーン内の物体間の距離の測定等の動作、及び他の適切な動作を行う際に用いることができる。

１つの例として、シーン内の物体を検出、特定及び／又は追跡するために様々なタイプの撮像データを用いることができる。様々なタイプの撮像データは、例えば、電気光学（ＥＯ）画像、赤外線（ＩＲ）画像、熱画像、レーダー画像、紫外画像、及び他の適切なタイプの撮像データを含むことができる。

例えば、１つの実施形態では、第１のセンサーは、標的をレーザーで照明し、反射光を分析することにより距離を測定するＬＩＤＡＲセンサー等の深度センサーである。第２のセンサーの例は、シーンの画像の輝度を記録するための光カメラである。

本発明の幾つかの実施形態は、センサー融合が、他のセンサーに対する位置及び向き等の各センサーの幾何学的パラメーターを決定する較正を必要とするという認識に基づく。例えば、２つのセンサーの較正は、一方のシステムの基準系の、他方のシステムの基準系に対する透視投影を決定しようとする。この投影は、自由度としても知られる複数のパラメーターによって記述することができる。例として、本発明の１つの実施形態は、６自由度、すなわち、３つの角度回転（ロール、ピッチ及びヨー）、及び３つの並進（ｘ軸沿い、ｙ軸沿い及びｚ軸沿い）での変換を決定する。この実施形態において、較正パラメーターは、θ＝（θ_ｒｏｌｌ，θ_{ｐｉｔｃｈ}，θ_ｙａｗ，θ_ｘ，θ_ｙ，θ_ｚ）である。しかしながら、他の実施形態は、より小さい又はより大きい自由度を検討することができる。例えば、１つの実施形態は、回転を検討しない。加えて又は代替的に、別の実施形態は、センサーの相対的な拡大及び歪み係数を決定する。これらのパラメーターは、本明細書において、第１のセンサーの座標系と第２のセンサーの座標系との間の幾何学的マッピングを定義する較正パラメーターと呼ばれる。センサーの座標系は、センサー測定値の融合を行うための基準系として用いることができる。

便宜上、大域基準系は、通常、センサーのうちの１つのセンサーの基準系に一致する。例示的な実施形態では、分解能がより高いセンサー１１５が大域基準系を提供する。較正パラメーターがわかった後、幾何学形状は、分解能がより低いセンサー１１０の基準系を含む任意の基準系に自明にマッピングすることができる。

第１の測定値組１２０は、その基準系において、

で表される。ここで、Ｍは、第１の組における測定値の数である。例えば、分解能がより低いセンサーがＬＩＤＡＲシステムに対応するとき、ψは、点群、すなわち、そこからのＬＩＤＡＲ反射が記録された（ｘ，ｙ，ｚ）デカルト座標の組を表す。

第２の測定値組１２５は、その基準系において、

で表される。ここで、Ｎは、第２の組における測定値の総数である。例えば、分解能がより高いセンサーが光カメラに対応するとき、第２の測定値組は、合計Ｎ＝Ｎ_ｘ＊Ｎ_ｙ個の測定値を含む。ここで、Ｎ_ｘは水平ピクセル数であり、Ｎ_ｙは垂直ピクセル数である。本開示は、ｎ∈｛１，…，Ｎ｝を用いて、ｕ及び他の類似の大きさのデータの要素をインデックス付けし、本質的に、それらをベクトル化する。

較正パラメーターθを所与として、第１の測定値組を、線形３Ｄ剛体変換を用いて、分解能がより高いセンサーの座標系にマッピングすることができる。

ここで、Ｐは、較正パラメーターθによって特徴付けられる投影行列である。

幾つかの実施形態は、較正及び融合が相補的プロセスであり、一方の改善を用いて、他方の性能を高めることができるという認識に基づいている。そのために、実施形態は、第１のセンサー及び第２のセンサーの較正と、第１の測定値組及び第２の測定値組の融合とを共同で実行し（１６０）、第１のセンサーの座標系と第２のセンサーの座標系との間の幾何学的マッピングを定義する較正パラメーター１６３を生成し、第１のセンサーの様式を含み、第１のセンサーの分解能よりも高い分解能を有する融合された測定値組１６５を生成する。本明細書において用いられるとき、共同の較正及び融合は、較正パラメーター１６３及び融合された測定値組１６５の双方を互いに依存して（１６７）更新する。

例えば、１つの実施形態では、共同の較正及び融合１６０は、終了基準が満たされるまで、較正パラメーター及び融合された測定値組を再帰的に更新し、融合された測定値組の変更に応答して較正パラメーターが更新され、較正パラメーターの変更に応答して融合された測定値組が更新されるようにする。

例えば、較正は、第１の測定値組及び第２の測定値組から較正パラメーターθを直接推定する。

第１の測定値組は、第２の測定値組と対照的に、大幅に低い分解能を有する。較正パラメーターを所与として、融合１３０は、双方のセンサーからのデータを統合して、双方からの情報を組み合わせるデータを生成する。例えば、幾つかの実施形態において、融合の目標は、高分解能のデータ

を推定することであり、ここで、φの各要素は、第２のセンサーの基準系において第１のセンサーの様式を有する。

融合プロセスの出力の品質は、通常、融合品質が改善するときにより低い値又はより高い値をとるコスト関数を用いて、融合データから推定することができる。

図１Ｂは、本発明の１つの実施形態による、センサーの較正及びセンサーの測定値の融合を共同で行う方法のブロック図を示す。この実施形態において、較正及び融合は、較正パラメーターを所与として、融合された測定値組のコスト関数１７５を最適化すること（１７０）によって共同で行われる。

例えば、較正パラメーターを推定するために、本発明の幾つかの実施形態は、融合プロセスの出力と、融合品質を表し、融合データから推定されるコストとを利用する。特に、１つの実施形態は、φ_θ＝ｆ_{ｆｕｓｉｏｎ}（ｕ，ψ，θ）を用いて、較正パラメーターθを所与として、融合された測定値組をコンパクトに表す。較正パラメーターは、融合プロセスの品質を評価するのに用いられるコスト関数に対応する、φ_θに関するコスト関数を最適化することによって推定される。幾つかの実施形態では、最適化は、終了条件が満たされるまでコスト関数を増減させることを含む。

最適化が、コスト関数を減少させることを含む実施形態において、最適化方法は、融合された測定値組及び第２の測定値組のエッジ間の誤った位置合わせにペナルティーを課す。

ここで、以下の式が成り立つ。

例えば、分子Ａ_ｋ（φ_θ）は、以下のように定義することができる融合された測定値組の重み付けされたｌ_１全変動（ＴＶ）を測定する。

ここで、ｋは、方向を表し、∇_ｋは、方向ｋに沿ったφ_θに対し作用する勾配を表す。例えば、φ_θが、高分解能カメラデータと融合された低分解能のＬＩＤＡＲデータに対応するとき、ｋは、水平ｘ方向又は垂直ｙ方向のいずれかである。重みｗ_ｋ，ｎは、第２の測定値組を用いて指定され、

これにより、実行パラメーターγ≧０によって制御されるように、第２の測定値組及び融合された測定値組間のエッジの位置合わせを促進する。幾つかの実施形態では、データは、ＬＩＤＡＲ及びカメラ測定値に対応し、エッジは、対応する画像における物体の境界に対応する。

１つの実施形態において、組

は、低分解能のセンサーからの測定値に対応する位置の部分組を表す。コストをこれらの点に制約することによって、融合された測定値組の信頼性がある領域のみを検討することが確実になる。関数がこれらの点においてのみ計算される場合であっても、これらの位置において勾配を計算することが可能になるには、融合を行うことが必要とされることに留意されたい。

加えて又は代替的に、第２の測定値組におけるエッジを所与として、大きなγは、融合された測定値組における対応するエッジにペナルティーを課さない。このため、第２の測定値組において対応するエッジを有しない、すなわち適切に位置合わせされていない、融合された測定値組におけるエッジのみが、ペナルティーを課される。他方で、小さなγは、第２の測定値組の影響を低減し、これにより、第２の測定値組が対応するエッジを有するか否かと無関係に、融合された測定値組におけるエッジに同様にペナルティーを課す。

分母は、異なるパラメーター組θを所与として、評価に含まれるΩ_θにおける点の数の差を考慮に入れる、必要な正規化係数である。

図１Ｃは、本発明の別の実施形態による、センサーの較正及びセンサーの測定値の融合を共同で行う方法のブロック図を示す。この実施形態において、２つのセンサーからのデータは、較正パラメーターの現在の値を用いて融合され、融合の出力は、第２の測定値組と比較され、較正パラメーターを更新するのに用いられる融合における誤差が求められる。

例えば、実施形態は、第２の測定値組１２５を用いて第１の測定値組１２０を融合し（１３０）、第１のセンサーの様式を有し、第１のセンサーの分解能よりも高い分解能を有する融合された測定値組１３５を生成する。実施形態は、融合された測定値組１３５を、第２の測定値組１２５と比較して（１４０）、較正パラメーターの誤差１５５を求める。実施形態は、較正パラメーター１５０を更新して、誤差１５５を低減する（１４５）。幾つかの実施態様では、誤差１５５は、コスト関数１７５として設計され、それによって、この誤差により、融合プロセス及び較正の品質が測定される。

プロセスは、終了基準が満たされるまで、更新された較正パラメーター１５０を用いて反復される。本方法は、推定較正パラメーター若しくは融合データ、又は双方を、後続の処理により要求されるのに応じて出力する。任意選択で、最終的な融合ステップは、推定較正パラメーターを用いて行われてもよい。

センサー融合
固定パラメーターベクトルθを所与として、融合は、第２の測定値組ｕと、大域基準系Ｐ_θ｛ψ｝への第１の測定値組の投影とを用いて、

を推定する。

１つの実施形態において、融合は、分解能がより低いセンサーの様式に対応する、分解能がより高いデータを決定する。高分解能データの品質は、様々な方法で推定することができる。１つの実施形態は、結果として得られる融合された測定値組と、投影データとの一貫性を促進するために、ｌ_２ペナルティーを用いる。換言すれば、実施形態は、

を用いて、データ忠実性Ｄ（Φ）又は誤差を測定する。ここで、

は、投影Ｐ_θ｛ψ｝においてデータを有するインデックスのみを選択するマスキング演算子である。

１つの実施形態において、第１の測定値組は、より低い分解能を有するので、第１の測定値組の重み付けされた等方性全変動（ＴＶ）を用いて融合を正則化する。

これは、重みｗ_ｎに従って、よりシャープなエッジを促進する。

融合は、データ忠実性及び正則化項を組み合わせて、融合品質を推定する単一のコスト関数にする。融合により、このコストを以下のように最小限にする融合データが出力される。

ここで、

は、融合された測定値組に対する一定の物理的制約を強制するのに用いられ、λ＞０は、正則化の量を制御する。例えば、第１の測定値組が深度に対応するとき、Φは、融合された深度データの非負性を強制する。

図２は、本発明の幾つかの実施形態による、融合された測定値組を決定する融合方法を示す。第１の測定値組１２０は、第２の測定値組の基準系にマッピングされ（２０５）、マッピングされた第１の測定値組は、目標分解能までアップサンプリングされる（２０８）。例えば、目標分解能は、第２の測定値組の分解能とすることができる。

幾つかの実施形態では、融合は、第２の測定値組を利用して、重みｗ_ｎを通じて融合出力を改善する。そのために、１つの実施形態は、第２の測定値組ｕ１２５を用いて重みｗ_ｎを求める（２１０）。例えば、幾つかの実施形態は、各ロケーションにおいて第２の測定値組の勾配の関数として重みを選択し、深度画像における対応するエッジがペナルティーを課されないようにする。

幾つかの実施形態は、較正パラメーターが不正確であるとき、この重み付けが、その後の較正を混乱させる偽のエッジを生じさせる可能性があるという理解に基づいている。このため、幾つかの実施形態では、較正が行われる間、重みはｗ_ｎ＝１として選択される。較正パラメーターが推定された後、定数τ＞０について、

等の異なる重みを用いて最終的な融合ステップを行うことができる。代替的な実施形態は、［∇ｕ］_ｎが大きい場合に小さい値をとり、［∇ｕ］_ｎが小さい場合に大きい値をとる重みを用いる。

実施形態は、コスト関数Ｄ（φ）＋λＲ（φ）を低減する方向を計算することによって、融合された測定値組を決定し（２２０）、この方向に従って、融合された測定値組を更新する（２４０）。例えば、１つの実施態様は、最急降下法を用いて、以下の式に従って更新２４０を行う。

ここで、ν＞０は、ステップサイズであり、

は、Ｒの劣勾配であり、φ^ｔ−１は、古い融合された測定値組であり、φ^ｔは、新しい融合された測定値組である。

物理的制約を強制するために（２３０）、１つの実施形態は、違反値を最も近い制約に設定する。例えば、融合された深度データの非負性を強制するために、実施形態は、負の深度値を０に設定する。融合された測定値組の結果としての推定値を用いて、停止基準に達するまでステップ２２０、２３０及び２４０を反復し、最終的な融合された測定値組２５０を出力する。

例示的な実施形態
図３は、本発明の１つの実施形態によるシステムの概略図を示す。システムは、シーンを測定してシーンの第１の測定値組を生成する第１のセンサー３１０と、シーンを測定してシーンの第２の測定値組を生成する第２のセンサー３２０とを備える。例えば、第１のセンサー３１０は、ＬＩＤＡＲであり、第２のセンサー３２０は、カメラである。ＬＩＤＡＲセンサー３１０は、低分解能の第１のセンサーであり、カメラ３２０は、高分解能の第２のセンサーである。

システムは、本発明の様々な実施形態によって用いられる原理に従って、第１のセンサー及び第２のセンサーの較正、並びに第１の測定値組及び第２の測定値組の融合を共同で行うプロセッサ３０２も備える。例えば、１つの実施形態では、第１のセンサー及び第２のセンサーは、車両３０１に設置され、プロセッサ３０２は、車両の計算システムの一部を形成する。加えて又は代替的に、プロセッサ３０２は、センサー３１０及び／又は３２０のプロセッサとすることができる。

ＬＩＤＡＲは、その基準系に従って物体の距離を記録し、点群３１５の形式でデータを提供する。幾つかの実施形態では、ＬＩＤＡＲは、物体の反射性も記録する。通常のＬＩＤＡＲセンサーは、１〜６４の範囲を取る幾つかの垂直方向を用いて水平に走査するが、更なる方向が可能である。このため、ＬＩＤＡＲは、厳密な深度情報を提供することができるが、この情報は、低い空間分解能を有する。

カメラは、自身の基準系に従って物体の反射性を記録し、画像３２５の形態で測定値を提供する。ＬＩＤＡＲと対照的に、高分解能のカメラは安価である。このため、カメラは、物体の反射性に関する高空間分解能情報を提供することができる。しかしながら、カメラは、深度情報を提供しない。

２つのセンサーによって記録される情報の分解能及びタイプの差は、融合を非常に魅力的にする。２つのセンサーからのデータを融合するとき、１つの実施形態は、シーン内の全ての物体について高い空間分解能及び精密な深度情報を有する深度マップを出力する。深度マップは、位置合わせされ、高分解能カメラによって記録される輝度マップに対応し、このため、カメラによって記録される輝度情報に深度情報を提供する。換言すれば、１つの実施形態は、双方のセンサーを拡張するために、すなわち、ＬＩＤＡＲ出力３３５の分解能を高め、高分解能深度情報をカメラ出力に組み込むために、共同の較正及び融合３３０を用いる。融合結果は、ディスプレイ３４０上にレンダリングするか、又は異なるアプリケーション３５０、例えば、物体追跡アプリケーションにサブミットすることができる。

カメラ及びＬＩＤＡＲが、同じシーンを観測するために搭載されるとき、これらの基準系は異なる。センサーが搭載された後、それらの基準系が一定のままである場合、融合の前の外的較正が実際的であり得る。例えば、カメラが僅かであっても動く場合、既知の標的を用いたオフライン較正手順は、大きなコスト及びダウンタイムで繰り返されなくてはならない。

実際には、センサーの較正は固定されない。通常、センサーは、搭載構成要素が変形するか又は緩むにつれ、経時的にずれていく可能性がある。偶発的な接触により、センサーの向きが大幅に変化する可能性もある。このため、例示的な実施形態は、オフラインの手動の較正を必要とすることなく、２つのセンサーの動作時にこれらのセンサーを連続して自動的に較正する。特に、共同の融合及び較正プロセスは、連続して動作し、較正パラメーター及び融合データの双方を推定する。

様々な実施形態において、計算を低減するために、共同の較正及び融合プロセスが間欠的に、例えば、毎秒１回、毎分１回、又は毎時間１回（又はそれよりも低い頻度で）行われ、較正パラメーターが更新される。その間に、最後に計算された較正パラメーターを用いて、融合のみが行われる。この手法は、センサーの向き、したがって較正パラメーターが、融合のみが行われる期間、例えば、それぞれ、１秒、１分又は１時間にわたって、概ね変化しないままであることを推定する。センサーの向きがその時間中に変化する場合、融合は、不正確なパラメーターにより実行され、不正確な結果を生成する場合がある。

そのような実施形態は、自動車用途及び自律ナビゲーションシステムにおいて特に有用である。そのようなシステムは、環境を理解し、自身の動作を計算するために、車両３０１に設置されたＬＩＤＡＲ及びカメラに依拠する。例えば、運転支援安全システムは、実施形態の融合出力を用いて、前のトラフィックが突然停止した場合に、車両を減速させるか、車線を変更させることができる。同様に、自律車両又はロボットは、そのような融合情報を用いて、自身の位置及び自身の経路上の障害物を特定し、適切なナビゲーションルートを求めることができる。しかしながら、そのようなシステムが適切に動作するためには、センサーが較正される必要がある。本発明の様々な実施形態は、オフライン再較正のために頻繁なダウンタイムを必要とすることなく、正確性を確保することができる。

図４は、本発明の幾つかの実施形態による、センサーの出力を融合するように構成された例示的なシステム４００のブロック図を示す。システム４００は、第１のセンサー及び／又は第２のセンサーの内部に実装することができる。加えて又は代替的に、システム４００は、融合を行うためにセンサーに通信可能に接続することができる。

システム４００は、カメラ４１０、慣性測定ユニット（ＩＭＵ）４３０、プロセッサ４５０、メモリ４６０、送受信機４７０、及びディスプレイ／スクリーン４８０のうちの１つ又は組み合わせを備えることができる。これらは、接続４２０を通じて他の構成要素に作動的に結合することができる。接続４２０は、バス、ライン、ファイバー、リンク又はそれらの組み合わせを含むことができる。

送受信機４７０は、例えば、１つ以上のタイプの無線通信ネットワークを通じて１つ以上の信号を送信することを可能にする送信機と、１つ以上のタイプの無線通信ネットワークを通じて送信された１つ以上の信号を受信する受信機とを備えることができる。送受信機４７０は、様々な技術に基づいて無線ネットワークとの通信を可能にすることができる。これらの技術は、標準規格のＩＥＥＥ８０２．１１ファミリーに基づくことができるフェムトセル、Ｗｉ−Ｆｉネットワーク又は無線ローカルエリアネットワーク（ＷＬＡＮ）、標準規格のＩＥＥＥ８０２．１５ｘファミリーに基づくＢｌｕｅｔｏｏｔｈ、近距離場通信（ＮＦＣ）、ネットワーク等の無線パーソナルエリアネットワーク（ＷＰＡＮ）、及び／又はＬＴＥ、ＷｉＭＡＸ等の無線ワイドエリアネットワーク（ＷＷＡＮ）等であるが、これらに限定されるものではない。システム４００は、有線ネットワークを通じて通信する１つ以上のポートを備えることもできる。

幾つかの実施形態では、システム４００は、ＣＣＤセンサー若しくはＣＭＯＳセンサー、レーザー及び／又はカメラ等の画像センサー４１０を備えることができる。この画像センサーは、以下では「センサー４１０」と呼ばれる。例えば、センサー４１０は、光画像を電子画像又はデジタル画像に変換することができ、取得された画像をプロセッサ４５０に送信することができる。加えて又は代替的に、センサー４１０は、シーン内のターゲット物体から反射された光を検知し、捕捉された光の強度をプロセッサ４５０にサブミットすることができる。

例えば、センサー４１０は、「カラー情報」を提供するカラーカメラ又はグレースケールカメラを含むことができる。「カラー情報」という用語は、本明細書において用いられるとき、カラー情報及び／又はグレースケール情報を指す。一般に、カラー画像又はカラー情報は、本明細書において用いられるとき、１〜Ｎ個のチャネルを含むものとみなすことができる。ここで、Ｎは、画像を記憶するのに用いられている色空間に依存する或る整数である。例えば、ＲＧＢ画像は、３つのチャネルを含み、赤情報、青情報及び緑情報についてそれぞれ１つのチャネルを有する。

例えば、センサー４１０は、「深度情報」を提供する深度センサーを含むことができる。深度情報は、深度センサーを用いて様々な方法で取得することができる。「深度センサー」という用語は、深度情報を単独で及び／又は他の幾つかのカメラと併せて取得するのに用いることができる機能ユニットを指すのに用いられる。例えば、幾つかの実施形態では、深度センサー及び光カメラは、センサー４１０の一部分とすることができる。例えば、幾つかの実施形態では、センサー４１０はＲＧＢＤカメラを備える。このＲＧＢＤカメラは、カラー（ＲＧＢ）画像に加えて、深度センサーが有効にされているときはピクセルごとの深度（Ｄ）情報を捕捉することができる。

別の例として、幾つかの実施形態では、センサー４１０は、３Ｄ飛行時間（３ＤＴＯＦ）カメラを備えることができる。３ＤＴＯＦカメラを用いた実施形態では、深度センサーは、３ＤＴＯＦカメラに結合されたストロボライトの形態を取ることができる。このストロボライトは、シーン内の物体を照明することができ、反射された光は、センサー４１０内のＣＣＤ／ＣＭＯＳセンサーが捕捉することができる。深度情報は、光パルスが物体に進んでセンサーに戻って来るまでに要する時間を測定することによって取得することができる。

更なる例として、深度センサーは、センサー４１０に結合された光源の形態を取ることができる。１つの実施形態では、この光源は、１つ以上の狭い光の帯を含むことができる構造化された光パターン又はテクスチャー付けされた光パターンをシーン内の物体に投射する。深度情報は、物体の表面形状によって引き起こされる投射パターンの幾何学的歪みを利用することによって取得される。１つの実施形態は、赤外線構造化光プロジェクターと、ＲＧＢカメラにレジスタリングされた赤外線カメラとの組み合わせ等のステレオセンサーから深度情報を求める。

幾つかの実施形態では、センサー４１０は立体カメラを備える。例えば、深度センサーは、２つ以上のカメラを用いてシーンの深度情報を取得することができる受動ステレオビジョンセンサーの一部分を成すことができる。捕捉されたシーンにおける双方のカメラに共通の点のピクセル座標を、カメラ姿勢情報及び／又は三角測量技法とともに用いて、ピクセルごとの深度情報を取得することができる。

幾つかの実施形態では、システム４００は、デュアルフロントカメラ及び／又は前面カメラ及び背面カメラ等の複数のセンサー４１０に作動的に接続することができ、これらの複数のセンサーは、様々なセンサーを組み込むこともできる。幾つかの実施形態では、センサー４１０は、静止画像及びビデオ画像の双方を捕捉することができる。幾つかの実施形態では、センサー４１０は、例えば、３０フレーム毎秒（ｆｐｓ）で画像を捕捉することが可能なＲＧＢＤ又は立体ビデオカメラを備えることができる。１つの実施形態では、センサー４１０によって捕捉された画像は、生の未圧縮フォーマットとすることができ、処理及び／又はメモリ４６０への記憶の前に圧縮することができる。幾つかの実施形態では、画像圧縮は、プロセッサ４５０によって可逆圧縮技法又は非可逆圧縮技法を用いて実行することができる。

幾つかの実施形態では、プロセッサ４５０は、ＩＭＵ４３０から入力を受信することもできる。他の実施形態では、ＩＭＵ４３０は、３軸加速度計（複数の場合もある）、３軸ジャイロスコープ（複数の場合もある）、及び／又は磁気計（複数の場合もある）を備えることができる。ＩＭＵ４３０は、速度、方位、及び／又は他の位置関連情報をプロセッサ４５０に提供することができる。幾つかの実施形態では、ＩＭＵ４３０は、測定された情報を、センサー４１０による各画像フレームの捕捉と同期して出力することができる。幾つかの実施形態では、ＩＭＵ４３０の出力は、プロセッサ４５０がセンサー測定値を融合し及び／又は融合された測定値を更に処理するのに部分的に用いられる。

また、システム４００は、カラー画像及び／又は深度画像等の画像をレンダリングするスクリーン又はディスプレイ４８０を備えることができる。幾つかの実施形態では、ディスプレイ４８０は、センサー４１０によって捕捉されたライブ画像、画像３３５等の融合画像、拡張現実（ＡＲ）画像、グラフィカルユーザーインターフェース（ＧＵＩ）、及び他の番組（program：プログラム）出力を表示するのに用いることができる。幾つかの実施形態では、ディスプレイ４８０は、ユーザーが、仮想キーボード、アイコン、メニュー、又は他のＧＵＩ、ユーザージェスチャー及び／又はスタイラス及び他の筆記用具等の入力デバイスの或る組み合わせを介してデータを入力することを可能にするタッチスクリーンを備えることができ及び／又はこのようなタッチスクリーンとともに収容することができる。幾つかの実施形態では、ディスプレイ４８０は、液晶ディスプレイ（ＬＣＤ）又は有機ＬＥＤ（ＯＬＥＤ）ディスプレイ等の発光ダイオード（ＬＥＤ）ディスプレイを用いて実施することができる。他の実施形態では、ディスプレイ４８０は、ウェアラブルディスプレイとすることができる。

幾つかの実施形態では、融合の結果をディスプレイ４８０にレンダリングすることもできるし、システム４００の内部又は外部に存在することができる異なるアプリケーションにサブミットすることもできる。例えば、プロセッサ４５０上で動作するコンピュータービジョン（ＣＶ）アプリケーション４５５は、コンピュータービジョンベースの追跡方法、モデルベースの追跡方法、及び／又は同時ローカライゼーション／マッピング（ＳＬＡＭ）方法を実施及び実行することができる。

例示的なシステム４００は、図示した機能ブロックのうちの１つ以上の追加、組み合わせ、又は省略等によって、本開示と整合性を有するように様々な方法で変更することもできる。例えば、幾つかの構成では、システム４００は、ＩＭＵ４３０又は送受信機４７０を備えていない。さらに、幾つかの特定の例示の実施態様では、システム４００は、周辺光センサー、マイクロフォン、音響センサー、超音波センサー、レーザーレンジファインダー等の様々な他のセンサー（図示せず）を備える。幾つかの実施形態では、システム４００の幾つかの部分は、１つ以上のチップセット等の形態を取る。

プロセッサ４５０は、ハードウェア、ファームウェア及びソフトウェアの組み合わせを用いて実現することができる。プロセッサ４５０は、センサー融合及び／又は融合した測定値を更に処理するための方法に関連付けられる計算手順又はプロセスの少なくとも一部を実行するように構成可能な１つ以上の回路を表すことができる。プロセッサ４５０は、メモリ４６０から命令及び／又はデータを引き出す。プロセッサ４５０は、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、中央及び／又はグラフィカル処理ユニット（ＣＰＵ及び／又はＧＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラー、マイクロコントローラー、マイクロプロセッサ、埋め込みプロセッサコア、電子デバイス、本明細書において記述される機能を実行するように設計された他の電子ユニット、又はその組み合わせを用いて実現することができる。

メモリ４６０は、プロセッサ４５０の内部に、及び／又はプロセッサ４５０の外部に実装することができる。本明細書において使用されるときに、「メモリ」という用語は、任意のタイプの長期、短期、揮発性、不揮発性又は他のメモリを指しており、任意の特定のタイプのメモリ若しくはメモリの数、又はメモリが記憶される物理媒体のタイプに制限されるべきではない。幾つかの実施形態では、メモリ４６０は、センサー融合及び／又は１つ以上の画像処理を容易にし、プロセッサ４５０上のＣＶ４５５によって実行されるＳＬＡＭ、追跡、３Ｄ再構成、及び他のタスクを実行するプログラムコードを保持する。

例えば、メモリ４６０は、静止画像、深度情報、ビデオフレーム、プログラム結果、並びにＩＭＵ４３０及び他のセンサーによって提供されるデータ等のセンサーの測定値を記憶することができる。一般に、メモリ４６０は、任意のデータ記憶機構を表すことができる。メモリ４６０は、例えば、一次メモリ及び／又は二次メモリを含むことができる。一次メモリは、例えば、ランダムアクセスメモリ、リードオンリーメモリ等を含むことができる。図４においてプロセッサ４５０とは別であるように示されるが、一次メモリの全て又は一部をプロセッサ４５０内に設けることができるか、又はそうでなくても、プロセッサ４５０と同一の場所に配置し、及び／又はプロセッサ４５０に結合することができることは理解されたい。

二次メモリは、例えば、一次メモリと同じ、又は類似のタイプのメモリ、及び／又は例えば、フラッシュ／ＵＳＢメモリドライブ、メモリカードドライブ、ディスクドライブ、光ディスクドライブ、テープドライブ、ソリッドステートドライブ、ハイブリッドドライブ等の１つ以上のデータ記憶デバイス又はシステムを含むことができる。或る特定の実施態様において、二次メモリは、取外し可能な媒体ドライブ（図示せず）内の非一時的コンピューター可読媒体に動作可能に収容可能であるか、又は別の方法で、動作可能に構成可能とすることができる。幾つかの実施形態において、非一時的コンピューター可読媒体は、メモリ４６０及び／又はプロセッサ４５０の一部を形成する。

幾つかの実施形態では、ＣＶ４５５は、様々なコンピュータービジョン方法を実施し及び／又はセンサー４１０によって捕捉された画像を処理することができる。例えば、ＣＶ４５５は、センサー４１０によって捕捉された１つ以上の画像を処理して、これらの捕捉された画像に関連付けられた深度情報を用いてモデル化されている環境の再構成を実行するように構成することができる。

深度データに基づいて、再構成中、各ピクセルに３Ｄ座標を割り当てることができる。１つの実施形態では、プロセッサ４５０上のＣＶ４５５は、単眼（単一カメラ）視覚ＳＬＡＭシステムを用いて、カメラ４１０の正確でロバストな６ＤＯＦ追跡のためのＭＳ周辺の環境の粗いマップを作成することによってカメラ４１０の位置を追跡する。単眼という用語は、単一の非立体カメラを用いて画像を捕捉すること又は深度情報を伴わずに捕捉された画像を指す。その場合、他の再構成方法は、カメラ姿勢及びピクセルごとの深度情報を用いて、捕捉された画像（複数の場合もある）を視認方向に沿って押し出すことができる。例えば、１つの実施形態では、プロセッサ４５０は、融合された測定値組を用いてシーン内の物体を追跡するように構成されている。

本発明の上記で説明した実施形態は、多数の方法のうちの任意のもので実施することができる。例えば、実施形態は、ハードウェア、ソフトウェア又はそれらの組み合わせを用いて実施することができる。ソフトウェアで実施される場合、ソフトウェアコードは、単一のコンピューターに設けられるのか又は複数のコンピューター間に分散されるのかにかかわらず、任意の適したプロセッサ又はプロセッサの集合体において実行することができる。そのようなプロセッサは、１つ以上のプロセッサを集積回路部品に有する集積回路として実装することができる。ただし、プロセッサは、任意の適したフォーマットの回路類を用いて実装することができる。

また、本発明の実施形態は、例が提供された方法として実施することができる。この方法の一部として実行される動作は、任意の適切な方法で順序付けすることができる。したがって、動作が示したものと異なる順序で実行される実施形態を構築することができ、これには、例示の実施形態では一連の動作として示されたにもかかわらず、幾つかの動作を同時に実行することを含めることもできる。

請求項の要素を修飾する、特許請求の範囲における「第１」、「第２」等の序数の使用は、それ自体で、１つの請求項の要素の別の請求項の要素に対する優先順位も、優位性も、順序も暗示するものでもなければ、方法の動作が実行される時間的な順序も暗示するものでもなく、請求項の要素を区別するために、単に、或る特定の名称を有する１つの請求項の要素を、同じ（序数の用語の使用を除く）名称を有する別の要素と区別するラベルとして用いられているにすぎない。

Claims (19)

1. 異なる分解能を有するセンサーの測定値を融合する方法であって、
   第１のセンサーによって測定されたシーンの第１の測定値組を取得することと、
   第２のセンサーによって測定された前記シーンの第２の測定値組を取得することであって、前記第１のセンサーの様式は前記第２のセンサーの様式と異なり、前記第１のセンサーの分解能は、前記第２のセンサーの分解能未満であることと、
   前記第１のセンサー及び前記第２のセンサーの較正と、前記第１の測定値組及び前記第２の測定値組の融合とを共同で行い、前記第１のセンサーの座標系と前記第２のセンサーの座標系との間の幾何学的マッピングを定義する較正パラメーターと、前記第１のセンサーの前記分解能よりも高い分解能を有する、前記第１のセンサーの前記様式を含む融合された測定値組とを生成することであって、前記較正及び前記融合は、互いに依拠して、前記較正パラメーター及び前記融合された測定値組を更新するために共同で行われ、前記融合は、前記第２の測定値組の値を用いて、前記第１の測定値組をアップサンプリングし、前記融合された測定値組を生成することと、
   を含み、
   前記較正及び前記融合は、
   前記第２の測定値組を用いて前記第１の測定値組を融合し、前記融合された測定値組を生成することであって、前記第１の測定値組及び前記第２の測定値組は、前記較正パラメーターに従って互いにマッピングされることと、
   前記融合された測定値組を前記第２の測定値組と比較して、前記較正パラメーターの誤差を求めることと、
   前記較正パラメーターを更新して、前記誤差を低減することと、
   終了条件が満たされるまで、前記融合、前記比較、及び前記更新を繰り返すことと、
   を含み、前記方法は、プロセッサを用いて行われる、方法。
2. 前記較正及び前記融合は、
   前記較正パラメーターを所与として前記融合された測定値組のコスト関数を最適化すること、
   を含む、請求項１に記載の方法。
3. 前記コスト関数は、
   前記コスト関数を低減する方向を求めることと、
   前記方向に従って前記融合された測定値組を更新することと、
   を含む最急降下法を用いて最適化される、請求項２に記載の方法。
4. 前記較正及び前記融合は、
   終了基準が満たされるまで、前記較正パラメーター及び前記融合された測定値組を再帰的に更新することであって、前記較正パラメーターが、前記融合された測定値組の変化に応じて更新され、前記融合された測定値組が、前記較正パラメーターの変化に応じて更新されるようにすること、
   を含む、請求項１に記載の方法。
5. 前記誤差は、前記較正パラメーターを所与として最適化された、前記融合された測定値組のコスト関数の値を含む、請求項１に記載の方法。
6. 前記融合することは、
   前記較正パラメーターを用いて、前記第１の測定値組を前記第２のセンサーの前記座標系にマッピングして、マッピングされた測定値組を形成することと、
   前記第２の測定値組を用いて前記マッピングされた測定値組をアップサンプリングして、前記融合された測定値組を生成することと、
   を含む、請求項１に記載の方法。
7. 前記アップサンプリングは、前記第１のセンサーによって当初に取得された測定値の一貫性を保持する、請求項６に記載の方法。
8. 前記アップサンプリングは、前記融合された測定値組の品質の尺度を最大にする、請求項６に記載の方法。
9. 前記アップサンプリングは、前記融合された測定値組と、前記第２の測定値組との間の相違の尺度を最小にする、請求項６に記載の方法。
10. 前記第１のセンサー及び前記第２のセンサーは、前記第１の測定値組及び前記第２の測定値組を取得するために車両に設置される、請求項１に記載の方法。
11. 前記第１のセンサーは、深度センサーであり、前記第２のセンサーは、カメラであり、前記第１の測定値組は、前記深度センサーの前記分解能を有する深度画像であり、前記第２の測定値組は、前記カメラの前記分解能を有する輝度画像であり、前記融合された測定値組は、前記カメラの前記分解能を有する深度画像である、請求項１に記載の方法。
12. シーンを測定して、該シーンの第１の測定値組を生成する第１のセンサーと、
    前記シーンを測定して、該シーンの第２の測定値組を生成する第２のセンサーであって、前記第１のセンサーの分解能は、前記第２のセンサーの分解能未満である、第２のセンサーと、
    前記第１のセンサー及び前記第２のセンサーの較正と、前記第１の測定値組及び前記第２の測定値組の融合とを共同で行い、前記第１のセンサーの座標系と前記第２のセンサーの座標系との間の幾何学的マッピングを定義する較正パラメーターと、前記第１のセンサーの前記分解能よりも高い分解能を有する、前記第１のセンサーの様式を含む融合された測定値組とを生成するプロセッサであって、前記較正及び前記融合は、互いに依拠して、前記較正パラメーター及び前記融合された測定値組を更新するために共同で行われ、前記融合は、前記第２の測定値組の値を用いて、前記第１の測定値組をアップサンプリングし、前記融合された測定値組を生成する、プロセッサと、
    を備え、
    前記プロセッサは、前記較正及び前記融合を行うに当たり、
    前記第２の測定値組を用いて前記第１の測定値組を融合し、前記融合された測定値組を生成し、前記第１の測定値組及び前記第２の測定値組は、前記較正パラメーターに従って互いにマッピングされ、
    前記融合された測定値組を前記第２の測定値組と比較して、前記較正パラメーターの誤差を求め、
    前記較正パラメーターを更新して、前記誤差を低減し、
    終了条件が満たされるまで、前記融合、前記比較、及び前記更新を繰り返す、
    システム。
13. 前記プロセッサは、前記融合された測定値組を用いて前記シーン内の物体を追跡するように構成される、請求項１２に記載のシステム。
14. 前記プロセッサは、前記較正パラメーターを所与として、前記融合された測定値組のコスト関数を最適化する、請求項１２に記載のシステム。
15. 前記第１のセンサー及び前記第２のセンサーは、前記第１の測定値組及び前記第２の測定値組を取得するために車両に設置され、前記プロセッサは、前記車両の計算システムの一部を形成する、請求項１２に記載のシステム。
16. 前記第１のセンサーは、深度センサーであり、前記第２のセンサーは、カメラであり、前記第１の測定値組は、前記深度センサーの前記分解能を有する深度画像であり、前記第２の測定値組は、前記カメラの前記分解能を有する輝度画像であり、前記融合された測定値組は、前記カメラの前記分解能を有する深度画像である、請求項１２に記載のシステム。
17. 較正されていないセンサーの出力を融合する方法であって、
    第１のセンサーからシーンの第１の測定値組を取得することと、
    第２のセンサーから前記シーンの第２の測定値組を取得することであって、前記第１のセンサーの分解能は、前記第２のセンサーの分解能未満であることと、
    前記第２の測定値組を用いて前記第１の測定値組を融合して、前記第１のセンサーの様式及び該第１のセンサーの前記分解能よりも高い分解能を含む融合された測定値組を生成することであって、該融合は、前記第１のセンサーの座標系と前記第２のセンサーの座標系との幾何学的マッピングを定義する較正パラメーターを用い、前記融合は、前記第２の測定値組の値を用いて、前記第１の測定値組をアップサンプリングし、前記融合された測定値組を生成することと、
    前記融合された測定値組を、前記第２の測定値組と比較して、前記較正パラメーターの誤差を求めることと、
    前記較正パラメーターを更新して前記誤差を低減することと、
    終了条件が満たされるまで、前記融合、前記比較、及び前記更新を繰り返すことと、
    を含む、方法。
18. 前記第１のセンサーの前記様式は、前記第２のセンサーの様式と異なり、前記融合された測定値組は、前記第１のセンサーの前記様式及び前記第２のセンサーの前記様式を有するデータを含み、前記第２のセンサーの分解能を有する、請求項１７に記載の方法。
19. 前記第１のセンサーは、深度センサーであり、前記第２のセンサーは、カメラである、請求項１８に記載の方法。

Images