JP2024514715A - 車両からのセンサ情報を較正する方法及び運転者支援システム - Google Patents

Abstract

本発明は、車両（１）からのセンサ情報をオンラインで較正する方法に関し、車両（１）は、第１のセンサタイプの少なくとも１つのセンサ（２）と、第１のセンサタイプとは異なる第２のセンサタイプの少なくとも１つのセンサ（３）とを有する。【選択図】図３

Description

本発明は、車両からのセンサ情報をオンラインで較正する方法、及び運転者支援システムに関する。

自律運転のためには、環境の知覚が可能な限り信頼できることが不可欠である。この文脈において、環境は、少なくとも１つのレーダセンサ、１又は２以上のカメラ、及び好ましくは少なくとも１つのＬＩＤＡＲセンサなど、異なるセンサタイプのセンサによって検出される。車両環境内の全ての静的及び動的物体を検出できるように、環境の全体的な３６０°３Ｄ検出が好ましい。

環境の信頼できる検出を保証するために、特にセンサの互いに対する正確な較正が必要である。この観点から、センサシステムの較正状態を常時監視すると同時に、必要に応じて走行中に再較正を行うことは、そうでない場合には自律運転機能の故障が生じる結果となるであろうことから、高度な自動運転機能にとって不可欠である。

既知の方法では、センサは、車両の固定点に対して個別に較正されるが、互いに対するセンサのセット全体に関する較正は行われない。このことは、自動運転機能に必要な精度を達成できないことが多いという欠点がある。

ドイツ国特許出願ＤＥ １０ ２０１９ ２０８ ２１６ Ａ１

これに基づいて、本発明の目的は、信頼性が高く高精度のオンラインセンサ較正をもたらす、すなわち、車両の移動中に異なるセンサタイプのセンサ情報を互いに較正することを可能にする、車両からのセンサ情報を較正する方法を提供することである。

この目的は、独立請求項１の特徴を備えた方法によって達成される。好ましい実施形態は、下位請求項の主題である。運転者支援システムは、代替の独立請求項１５の主題である。

第１の態様によれば、本発明は、車両のセンサ情報を較正するための方法に関する。車両は、第１のセンサタイプの少なくとも１つのセンサと、第１のセンサタイプとは異なる第２のセンサタイプの少なくとも１つのセンサとを備える。ここで、「異なるセンサタイプ」とは、センサが環境を検出するために異なる方法又は技術を使用することを意味し、例えば、異なるタイプの電磁波（レーダ、ＬＩＤＡＲ、超音波、可視光など）に基づいて環境を検出する。

本方法は、以下のステップを含む。

先ず、環境は、第１のセンサタイプの少なくとも１つのセンサによって、車両の移動中に検出される。これに関連して、第１のセンサ情報は、この第１のセンサタイプのセンサによって提供される。

同様に、環境は、第２のセンサタイプの少なくとも１つのセンサによって、車両の移動中に検出される。これに関連して、第２のセンサ情報は、この第２のセンサタイプのセンサによって提供される。第１及び第２のセンサ情報は、同時に又は少なくとも時間的に重なるタイミングで検出することができる。第１のセンサ情報と第２のセンサ情報は、少なくとも部分的に同じ環境領域に関連し、従って、少なくとも部分的に同じ範囲（カバレッジ、ｃｏｖｅｒａｇｅ）を有することが理解される。

続いて、環境情報の第１の３次元表現が、第１のセンサ情報から生成される。環境情報の第１の３次元表現は、特に、３次元空間内の複数の点に基づいて車両周囲環境を表す３Ｄ点群である。

更に、環境情報の第２の３次元表現は、第２のセンサ情報から生成される。環境情報の第２の３次元表現もまた、特に、３次元空間内の複数の点に基づいて車両周囲環境を反映する３Ｄ点群である。

その後、環境情報の第１及び第２の３次元表現又はそこから導出された情報が比較される。本開示の意味における「比較」とは、特に、環境情報の第１及び第２の３次元表現の一致を確認できるように、第１及び第２の３次元表現が互いに関連付けられることを意味すると理解される。詳細には、これは、環境情報の第１及び第２の３次元表現において互いに対応する領域を決定することを意味することができる。「そこから導出される情報」とは、例えばデータ削減、フィルタリングなど、あらゆる種類のデータ処理によって第１及び第２の３次元表現から得ることができるあらゆる情報を意味すると理解される。

次に、環境情報の第１及び第２の３次元表現間の又はそこから導出された情報間の差異が決定される。特に、第１及び第２の３次元表現における複数の対応する領域の間に、全体として、差異があるかどうかがチェックされ、この差異は、センサの不適切な較正が原因とされ得る。例えば、第１及び第２の３次元表現における対応する領域のオフセット（このオフセットは、車両からの距離とともに増加する）は、センサのロール角、ピッチ角、及び／又はヨー角における不適切な較正に起因し得る。

差異を決定した後、決定された差異に基づいて、少なくとも１つのセンサの較正パラメータに関する補正情報が計算される。補正情報は、特に、環境情報の第１及び第２の３次元表現の一致精度の向上を達成するために、１又は２以上のセンサの較正をどのように変更する必要があるかの指標を提供することができる。

最後に、車両のセンサは、計算された補正情報に基づいて互いに較正される。センサの較正は、特にソフトウェアベースの較正を含み、すなわち、環境情報の第１及び第２の３次元表現の改善された一致が達成されるように、１又は２以上のセンサによって提供されるセンサ情報が、補正情報に基づいて適合される。

提案された方法に基づいて、２つ以上の異なるセンサタイプのセンサを較正することも可能であることが理解される。

提案された方法の技術的利点は、複数の異なるセンサ情報を環境情報の３次元表現に変換することで、センサ情報が互いに比較可能になり、その結果、車両走行中に得られる周囲環境情報に基づいてセンサのオンライン較正が可能になることである。その結果、車両の自律運転機能において、確実且つ高精度な周囲環境検出を行うために必要な、高精度なセンサの較正が可能となる。

例示的な実施形態によれば、環境情報の第１及び第２の３次元表現は離散時間情報である。言い換えれば、センサは連続時間情報を提供せず、特定のクロックレートなどの離散時点での環境情報を提供する。環境情報の第１及び第２の３次元表現、又はそこから導出された情報を比較する前に、情報は時間に関して互いに同期化される。従って、環境情報の第１及び第２の３次元表現間の一致の不正確さを低減することが可能であり、この不正確さは、異なるセンサ、例えば異なるクロックレート又は異なる検出時間による環境情報の時間的オフセットに起因する。

環境情報の第１及び第２の３次元表現を時間に関して同期させることが不可能な場合、環境情報の第１及び第２の３次元表現又はそこから導出された情報を比較する前に、離散時間情報の２つの時間ステップ間の情報の補間を実施することができる。このようにして、センサ情報又は環境情報の３次元表現の中間値を、２つの連続する時間ステップ間で得ることができ、これによって、一致精度の向上を達成することができる。

例示的な実施形態によれば、同じ時点における車両環境を反映するそれぞれの環境情報の第１及び第２の３次元表現が互いに比較され、これらの環境情報の第１及び第２の３次元表現間の差異が補正情報を計算するのに使用される。特に、環境情報の第１及び第２の３次元表現において、対応する情報間に存在する複数の差異のうち、１又は２以上のセンサの較正誤差に起因する差異を決定することが可能かどうかがチェックされる。このような差異が決定された場合、その差異が低減されるように、すなわち、環境情報の第１及び第２の３次元表現の一致精度が向上するように、１又は２以上のセンサの較正を調整する試みを行うことができる。

例示的な実施形態によれば、較正パラメータに関する補正情報は、反復的に、すなわち、複数の反復ステップにおいて、同じ時点における車両周囲環境を反映する少なくとも１つの環境情報の第１及び第２の３次元表現が互いに比較されるような方法で計算されて、補正情報が計算され、少なくとも１つのセンサの較正パラメータへの補正情報の適用後に、環境情報の第１及び第２の３次元表現の一致に関する情報が決定される。その結果、センサの較正を反復的に改善することができる。

例示的な実施形態によれば、補正情報は、環境情報の第１及び第２の３次元表現間の一致誤差が低減されるように、連続する反復ステップにおいて反復的に変更される。例えば、反復ステップで補正情報を決定した後、補正情報が適用され、それによってセンサ較正が変更される。この結果、環境情報の第１及び／又は第２の３次元表現が変更され、整合性がチェックされる。このサイクルは、終了基準が満たされるまで数回実行される。このようにして、センサ較正は反復的に改善される。

例示的な実施形態によれば、一致誤差を低減するために最小化法又は最適化法が使用される。このような方法の例として、反復的最近接点アルゴリズムがある。このアルゴリズムを実行する際、例えば、回転と平行移動によって、環境情報の第１と第２の３次元表現をできるだけ近づける試みがなされる。例えば、環境情報の第１及び第２の３次元表現の互いに対応する点が決定され、次に、例えば、これらのペアの点の全てにわたって距離の二乗和が形成される。こうして、環境情報の３次元表現及び／又は３Ｄ点群間の対応に関する品質基準が得られる。アルゴリズムの目的は、変換パラメータ（すなわち、回転と平行移動のパラメータ）を変更することによって、この品質基準を最小化することである。その結果、異なるセンサによって得られた環境情報の３次元表現の一致度を逐次改善することができる。

例示的な実施形態によれば、較正パラメータに関する補正情報は、異なる時点で決定された環境情報の複数の第１及び第２の３次元表現によって、すなわち、環境情報の複数の第１及び第２の３次元表現のペア（各ペアの環境情報は、同じ時点における車両周囲環境を表す）が互いに比較され、補正情報が計算されるような方法で計算される。複数の時点における環境情報の第１及び第２の３次元表現を比較することにより、センサ較正の精度を更に向上させることができる。

例示的な実施形態によれば、第１のセンサタイプのセンサはカメラである。特に、カメラは、２次元画像を生成するように設計することができる。第１のセンサタイプの複数のセンサを設けて、車両の周囲のより広い範囲を検出することもできる。特に、第１のセンサタイプのセンサを使用して、周囲の３６０°表現、すなわち水平面内の全方位ビューを生成することができる。

例示的な実施形態によれば、カメラは単眼カメラであり、カメラによって提供される画像情報から、環境情報の３次元表現が、単一画像又は時間的に連続する２次元画像のシーケンスから計算される。ここでは、例えば、運動からの構造復元（ｓｔｒｕｃｔｕｒｅ－ｆｒｏｍ－ｍｏｔｉｏｎ）法、シェイプフロムフォーカス（ｓｈａｐｅ－ｆｒｏｍ－ｆｏｃｕｓ）法、シェイプフロムシェーディング（ｓｈａｐｅ－ｆｒｏｍ－ｓｈａｄｉｎｇ）法などを用いることができる。また、ニューラルネットワークを用いて奥行き推定を行うこともできる。これにより、カメラからの２次元画像情報に対して奥行き情報を得ることができ、これを用いて環境情報の３次元表現を生成することができる。運動からの構造復元法は通常、静的な環境を想定している。

また、１台または２台以上のステレオカメラを使用して、２次元画像情報上の奥行き情報を得ることもできる。

例示的な実施形態によれば、画像情報に含まれる移動物体のセグメンテーションと、セグメンテーションされた物体と静止した周囲との３次元構造と相対的な動きの推定は、少なくとも１つのカメラからの時間的に連続する一連の画像情報、特に２次元画像情報に基づいて、例えばドイツ国特許出願ＤＥ １０ ２０１９ ２０８ ２１６ Ａ１の方法によって実施される。これにより、動的な環境においても、セグメンテーション及び構造情報を高い精度で決定することができる。決定された周囲と移動物体の相対的な動きに関する情報は、有利には、全ての物体の３次元表現の同期化、又は２つの時間ステップ間の補間に組み込むことができ、これは、較正パラメータの補正情報の決定においてより高い精度につながる。

例示的な実施形態によれば、第２のセンサタイプのセンサは、レーダセンサ又はＬＩＤＡＲセンサである。

例示的な実施形態によれば、補正情報が専ら静止物体に基づいて計算されるように、環境情報の第１及び第２の３次元表現から移動物体がフィルタリングされる。移動物体をフィルタリングすることにより、静止物体の場合、環境情報の第１及び第２の３次元表現間の差は、センサ間の較正の不正確さを直接推論するために使用することができるので、センサ較正の精度を向上させることができる。

別の例示的な実施形態によれば、補正情報は、静止物体のみを含む環境情報の第１及び第２の３次元表現の比較、並びに、移動物体のみを含む環境情報の第１及び第２の３次元表現の比較に基づいて計算される。従って、センサ較正のための補正情報の計算には、静止物体に加えて、移動物体も用いることができる。しかしながら、補正情報を計算する際に物体の動きを補うことができるようにするため、移動物体については、例えば軌跡や速度などの移動情報が既知であることが望ましい。

更なる態様によれば、本発明は、車両の運転者支援システムに関する。運転者支援システムは、第１のセンサタイプのセンサと、第１のセンサタイプとは異なる第２のセンサタイプの少なくとも１つのセンサとを含む。運転者支援システムは、以下のステップ、
第１のセンサタイプの少なくとも１つのセンサによって車両移動中の環境を検出し、この第１のセンサタイプのセンサによって第１のセンサ情報を提供するステップと、
第２のセンサタイプの少なくとも１つのセンサによって車両移動中の環境を検出し、第２のセンサタイプのこのセンサによって第２のセンサ情報を提供するステップと、
第１のセンサ情報から環境情報の第１の３次元表現を作成するステップと、
第２のセンサ情報から環境情報の第２の３次元表現を作成するステップと、
環境情報の第１及び第２の３次元表現、又はそこから導出された情報を比較するステップと、
環境情報の第１及び第２の３次元表現又はそこから導出された情報間の差異を決定するステップと、
決定された差異に基づいて、少なくとも１つのセンサの較正パラメータに関する補正情報を計算するステップと、
計算された補正情報に基づいて、車両のセンサを互いに較正するステップと、
を実行するよう構成される。

用語「環境情報の３次元表現」とは、３次元座標系における環境情報のあらゆる表現を意味し、例えば、３次元空間におけるオブジェクト範囲の離散的な空間表現を意味する。

本開示において使用される「３Ｄ点群」という用語は、３次元空間における点の集合を意味し、各点は、３次元空間において点が見出される位置にオブジェクト部分が存在することを示すと理解される。

本開示において使用される「センサタイプ」という用語は、所定の検出原理によって環境情報を決定するセンサタイプを意味すると理解される。センサタイプは、例えば、カメラ、レーダセンサ、ＬＩＤＡＲセンサ、超音波センサなどとすることができる。

本発明の意味において、「およそ」、「実質的に」又は「約」という表現は、それぞれの正確な値から±１０％、好ましくは±５％の偏差、及び／又は機能にとって重要でない変化の形の偏差を意味する。

本発明の更なる発展、利点及び可能な使用は、例示的な実施形態の以下の説明及び図面からも得られる。これに関連して、記載及び／又は図示された全ての特徴は、原則として、特許請求の範囲におけるそれらの要約又はその後方参照に関係なく、個々に又は任意の組み合わせで、本発明の主題である。特許請求の範囲の内容も本明細書の一部とする。

以下、例示的な実施形態を用いて図面を参照しながら本発明をより詳細に説明する。

車両の環境を検出するための異なるセンサタイプの複数のセンサを含む運転者支援システムを備えた車両の例示的な概略図である。 カメラのセンサ情報とレーダ及び／又はＬＩＤＡＲのセンサ情報とを較正するための方法ステップを例示するためのフローチャートである。 異なるセンサタイプのセンサ情報をオンラインで較正するための方法ステップを例示的に示す概略図である。

図１は、異なるセンサタイプの複数のセンサ２、３、４によって環境の検出を可能にする運転者支援システムを備えた車両１を例示的且つ概略的に示している。センサ２、３、４の少なくとも幾つかは、環境の全方位検出（環境の３６０°検出）を可能にする。

車両１は、特に、レーダセンサである第１のセンサタイプの少なくとも１つのセンサ２を備える。このように、第１のセンサタイプは、レーダの原理に基づいている。センサ２は、例えば、車両の前部領域に設けることができる。第１のセンサタイプの複数のセンサ２は、車両１の周囲、例えば車両１の前方領域、後方領域、及び／又は側方領域に分布するように設けることができることが理解される。第１のセンサタイプの少なくとも１つのセンサ２は、第１のセンサ情報を生成する。これは、例えば、レーダセンサによって提供される生の情報である。この第１のセンサ情報から、環境情報の第１の３次元表現が生成される。特に、これは３Ｄ点群である。第１のセンサタイプの複数のセンサ２が使用される場合、環境情報の第１の３次元表現は、これらのセンサ２のうち複数又は全てからのセンサ情報に基づいて生成することができる。

更に、車両１は、カメラである第２のセンサタイプの少なくとも１つのセンサ３を備える。このように、第２のセンサタイプは、「カメラ」タイプ、すなわち撮像センサである。センサ３は、例えば、車両１のフロントガラス領域に設けることができる。第２のセンサタイプの複数のセンサ３は、車両１の周囲、例えば車両１の前方領域、後方領域及び／又は側方領域に分散して設けられることができることが理解される。第２のセンサタイプの少なくとも１つのセンサ３は、第２のセンサ情報を生成する。これは、例えば、カメラによって提供される画像情報である。カメラは、環境の２次元画像情報を提供することができ、すなわち、画像情報は奥行き情報を含まない。この場合、第２のセンサ情報は、画像シーケンスの連続する画像における画像情報の変化から画像情報の奥行き情報が得られるように、更に処理することができる。この目的のために、２次元画像シーケンスから空間相関を生成する当業者に公知の方法を使用することができる。例えば、運動からの構造復元（ｓｔｒｕｃｔｕｒｅ－ｆｒｏｍ－ｍｏｔｉｏｎ）法、シェイプフロムフォーカス（ｓｈａｐｅ－ｆｒｏｍ－ｆｏｃｕｓ）法、シェイプフロムシェーディング（ｓｈａｐｅ－ｆｒｏｍ－ｓｈａｄｉｎｇ）法などがある。ニューラルネットワークを用いた奥行き推定も原理的には可能である。カメラがステレオカメラである場合、第２のセンサ情報は、直接的に３次元情報、すなわち、画素の一部又は画像の各画素の奥行き情報を持つこともできる。この第２のセンサ情報から、環境情報の第２の３次元表現が生成される。特に、これは３Ｄ点群である。第２のセンサタイプの複数のセンサ３が使用される場合、環境情報の第２の３次元表現は、これらのセンサ３のうちの複数又は全てからのセンサ情報に基づいて生成することができる。

好ましくは、車両１は、ＬＩＤＡＲセンサである第３のセンサタイプの少なくとも１つのセンサ４も備える。従って、第３のセンサタイプは、ＬＩＤＡＲの原理に基づいている。センサ４は、例えば、車両１の屋根部分に設けることができる。第３のセンサタイプの複数のセンサ４を、車両１上に分散するように設けることができることが理解される。第３センサタイプの少なくとも１つのセンサ４は、第３センサ情報を生成する。これは、例えば、ＬＩＤＡＲセンサによって提供される生の情報である。この第３のセンサ情報から、第３のセンサ情報によって既に提供されていない限り、環境情報の第３の３次元表現が生成される。特に、これは３Ｄ点群である。第３のセンサタイプの複数のセンサ４が使用される場合、環境情報の第３の３次元表現は、これらのセンサ４のうちの複数又は全てからのセンサ情報に基づいて生成することができる。

更に、車両は、センサ２、３、４によって提供されたデータを更に処理するように構成されたコンピューティングユニット５を更に備える。このコンピューティングユニットは、図１に示すような中央コンピューティングユニットとすることもできるが、以下に説明する方法のサブタスクが複数のコンピューティングユニットに分散されるように実行されるように、多数の分散コンピューティングユニットを設けることもできる。

図２は、異なるセンサ２、３、４のセンサ情報を互いに較正するための方法のステップを示すフローチャートである。

ステップＳ１０において、少なくとも１つのレーダセンサ及び／又は少なくとも１つのＬＩＤＡＲセンサのセンサ情報が受信される。レーダセンサとＬＩＤＡＲセンサが存在する場合、センサ情報は、先ず、センサの種類ごとに別々に提供される。

これらのセンサが環境情報の３次元表現、特に３Ｄ点群をまだ提供していない場合、センサ情報から３次元表現が形成される。レーダセンサとＬＩＤＡＲセンサが存在する場合、環境情報の３次元表現、特に３Ｄ点群は、センサの種類ごとに別々に提供される。３Ｄ点群は、単一のセンサからのセンサ情報によって形成することもでき、同じセンサタイプの複数のセンサからのセンサ情報を統合することによって形成することもできる。

好ましくは、ステップＳ１１において、レーダセンサのセンサ情報から得られる３Ｄ点群と、もし存在すれば、ＬＩＤＡＲセンサのセンサ情報から得られる３Ｄ点群とが静的コンテンツと動的コンテンツとに応じて分離される。具体的には、センサの種類ごとに、静的なオブジェクトのみを含む第１の３Ｄ点群と、動的なオブジェクトのみを含む第２の３Ｄ点群が作成される。これにより、静的オブジェクトと動的オブジェクトから、キャリブレーションパラメータに関する補正情報を別々に生成することが可能となる。

更に、ステップＳ１２では、カメラから第２のセンサ情報を受信する。ステップＳ１３では、第２のセンサ情報から３Ｄ点群を生成する。

例えば、１又は２以上のカメラの画像シーケンスの時間的に連続する画像を評価することにより、車両１の環境の３次元再構成が、例えば、運動からの構造再構成法によって実施される。

好ましくは、ドイツ特許出願ＤＥ １０ ２０１９ ２０８ ２１６ Ａ１に開示された方法が使用される。この特許出願の開示内容は、その全体が本開示の主題とされる。好ましくは、本方法によれば、環境の３Ｄ再構成又は３Ｄ点群の出力と、移動物体のセグメンテーションの両方が実行される。従って、少なくとも１つのカメラによって提供される画像情報において、移動オブジェクトと静止オブジェクトとを分離することが可能である（Ｓ１４）。更に、移動物体の軌跡は、静止した周囲に対するカメラシステムの軌跡と同様に、本方法によって決定することができる。物体の動きを知ることにより、移動物体を含む異なるセンサタイプの３Ｄ点群を互いに相関させ、このようにして較正のための補正情報を導出することも可能である。これにより、特に同期と補間のステップが簡略化され、より正確な結果が得られる。

レーダセンサ及び／又はＬＩＤＡＲセンサのセンサ情報並びにカメラのセンサ情報から生成された３Ｄ点群における静的コンテンツと動的コンテンツの分離が行われた後、更なる方法ステップは、静的オブジェクトを含む３Ｄ点群に基づいてのみ実行されるか、又は、それぞれの場合に静的オブジェクト又は動的オブジェクトを含む別々の３Ｄ点群が生成され、更なる方法実行は、静的オブジェクト及び動的オブジェクトに対して別々に実行される。すなわち、静的オブジェクトを含む３Ｄ点群と動的オブジェクトを含む３Ｄ点群の両方が比較され、センサ較正のための補正情報を生成するのに使用される。従って、以下に説明するステップは、動的オブジェクトを含む３Ｄ点群と静的オブジェクトを含む３Ｄ点群に対して並行して実行することができる。

ステップＳ１０／Ｓ１１及びＳ１２／Ｓ１３／Ｓ１４、すなわち、レーダセンサ又はＬＩＤＡＲセンサによって提供されるセンサ情報の処理と、カメラによって提供されるセンサ情報の処理は、少なくとも部分的に並行して実施することができる。

ステップＳ１５において、３Ｄ点群は、好ましくは、一致をチェック可能になるように互いに同期化される。一方では、これは時間的な同期とすることもできる。それぞれのセンサタイプの３Ｄ点群は、異なる時間に生成されるため、３Ｄ点群内の周囲情報は、車両の移動により互いに局所的にオフセットする。このオフセットは、３Ｄ点群を時間的に同期させることで補正できる。更に、それぞれのセンサの３Ｄ点群間の時間的なオフセットを補うために、例えば補間によって、時間的に互いに追従する複数の３Ｄ点群から中間情報を計算することも可能である。

続いて、ステップＳ１６において、３Ｄ点群が互いに比較され、３Ｄ点群間の差異が決定される。例えば、比較される点群内の互いに対応する点、すなわち周囲のシーン（光景）の同じ領域を表す点が互いに比較され、これらの点間の距離又はそれらの互いからのローカルオフセットを決定することができる。従って、ステップＳ１８において、車両支援システムのセンサ間にどの較正不正確さが存在し、どの較正パラメータを変更しなければならないか（例えば、センサのねじれによる線形オフセット又は差異）を決定することができる。

続いて、ステップＳ１８において、補正情報が適用される、すなわち、補正情報に基づいて較正パラメータが修正された後、３Ｄ点群の一致が再度チェックされ、この一致が評価される。

その後、ステップＳ１９において、十分な一致が得られたか否かの判断が行われる。一致しない場合は、ステップＳ１６～Ｓ１９が繰り返される。線形勾配降下による最小化手順、例えば反復的最近接点法（ＩＣＰ法）を実行することができる。

３Ｄ点群間の十分な一致が達成されると、ステップＳ２０において、センサの較正パラメータに関する補正情報の出力、及び／又はセンサの較正への利用が行われる。

図３は、車両のセンサからのセンサ情報のオンライン較正のための方法のステップを明確にするフローチャートを示す。

先ず、第１のセンサタイプの少なくとも１つのセンサによって、車両の移動中に環境が検出される。更に、この第１のセンサタイプのセンサによって、第１のセンサ情報が提供される（Ｓ３０）。

更に、第２のセンサタイプの少なくとも１つのセンサによって、車両の移動中の環境が検出される。これに関連して、第２のセンサ情報は、この第２のセンサタイプのセンサによって提供される（Ｓ３１）。ステップＳ３１及びＳ３２は、同時に又は少なくとも一時的に時間的に重複して実行される。

続いて、第１のセンサ情報から環境情報の第１の３次元表現が作成される（Ｓ３２）。

ステップＳ３２と同時又は少なくとも時間的に重複して、第２のセンサ情報から環境情報の第２の３次元表現が作成される（Ｓ３３）。

次に、環境情報の第１及び第２の３次元表現又はそこから導出された情報が互いに比較される（Ｓ３４）。ここで、「導出された情報」とは、例えば、フィルタリング、静止物体又は非静止物体への制限などの修正によって、第１又は第２の３次元表現から得ることができる任意の情報を意味する。

比較結果に基づいて、環境情報の第１及び第２の３次元表現間の又はそこから導出された情報間の差異を決定する（Ｓ３５）。

決定された差異に基づいて、少なくとも１つのセンサの較正パラメータの補正情報が計算される（Ｓ３６）。最後に、計算された補正情報に基づいて、車両のセンサが互いに互いに較正される（Ｓ３７）。これは特に、車両上のセンサの位置又は方向は変更されないが、補正情報に基づいて３Ｄ点群を変更することにより間接的な較正が実行されることを意味する。

以上、本発明を例示的な実施形態を用いて説明してきた。特許請求の範囲によって定義される保護範囲を逸脱することなく、多数の修正及び変形が可能であることが理解される。

１ 車両
２ センサ
３ センサ
４ センサ
５ コンピューティングユニット

Claims (15)

1. 車両（１）のセンサ情報を較正するための方法であって、
   前記車両（１）は、第１のセンサタイプの少なくとも１つのセンサ（２）と、前記第１のセンサタイプとは異なる第２のセンサタイプの少なくとも１つのセンサ（３）とを備え、
   前記方法が、
   前記第１のセンサタイプの少なくとも１つのセンサ（２）によって前記車両（１）の移動中の環境を検出し、前記第１のセンサタイプのこのセンサ（２）によって第１のセンサ情報を提供するステップ（Ｓ１０）と、
   前記第２のセンサタイプの少なくとも１つのセンサ（３）によって前記車両（１）の移動中の環境を検出し、前記第２のセンサタイプのこのセンサ（３）によって第２のセンサ情報を提供するステップ（Ｓ１１）と、
   第１のセンサ情報から環境情報の第１の３次元表現を作成するステップ（Ｓ１２）と、
   第２のセンサ情報から環境情報の第２の３次元表現を作成するステップ（Ｓ１３）と、
   前記環境情報の第１及び第２の３次元表現又はそこから導出された情報を比較するステップ（Ｓ１４）と、
   前記環境情報の第１及び第２の３次元表現又はそこから導出された情報の間の差異を決定するステップ（Ｓ１５）と、
   前記決定された差異に基づいて、少なくとも１つのセンサの較正パラメータに関する補正情報を計算するステップ（Ｓ１６）と、
   前記計算された補正情報に基づいて、前記車両（１）のセンサ（２、３）を互いに較正するステップ（Ｓ１７）と、
   を含む、方法。
2. 前記環境情報の第１及び第２の３次元表現が離散時間情報であり、前記環境情報の第１及び第２の３次元表現又はそこから導出された情報が比較される前に、前記情報が時間に関して互いに同期化される、ことを特徴とする請求項１に記載の方法。
3. 前記環境情報の第１及び第２の３次元表現が離散時間情報であり、前記環境情報の第１及び第２の３次元表現又はそこから導出された情報が比較される前に、前記離散時間情報の２つの時間ステップ間の情報の補間が実行される、ことを特徴とする請求項１又は２に記載の方法。
4. 何れの場合にも、同時に前記車両の周囲環境を反映する環境情報の第１及び第２の３次元表現が互いに比較され、これら前記環境情報の第１及び第２の３次元表現間の差異が、補正情報を計算するのに使用される、ことを特徴とする請求項１～３の何れか１項に記載の方法。
5. 前記較正パラメータに関する補正情報の計算が、反復的に実施され、すなわち、複数の反復ステップにおいて何れの場合にも、同時に車両周囲環境を反映する少なくとも１つの環境情報の第１及び第２の３次元表現が互いに比較されて、補正情報が計算され、前記少なくとも１つのセンサの較正パラメータへの前記補正情報の適用後に、前記環境情報の第１及び第２の３次元表現の一致に関する情報が決定されるように実施される、ことを特徴とする、請求項１～４の何れか１項に記載の方法。
6. 連続する反復ステップにおいて、前記補正情報は、前記環境情報の第１及び第２の３次元表現間の一致誤差が減少するように、反復的に変更される、ことを特徴とする請求項５に記載の方法。
7. 前記一致誤差を減少させるために最小化法又は最適化法を用いる、ことを特徴とする、請求項６に記載の方法。
8. 前記較正パラメータに関する補正情報が、異なる時点で決定された複数の環境情報の第１及び第２の３次元表現を用いて、前記環境情報の第１及び第２の３次元表現の複数のペア、すなわち同じ時点における前記車両周囲環境環境を各々が反映しているペアの前記環境情報が、互いに比較されて、補正情報が計算されるような方法で計算される、ことを特徴とする、請求項１～７の何れか１項に記載の方法。
9. 前記第１のセンサタイプの前記センサ（２）がカメラである、ことを特徴とする、請求項１～８の何れか１項に記載の方法。
10. 前記カメラが単眼カメラであり、前記カメラによって提供される画像情報から、前記環境情報の３次元表現が、単一画像又は時間的に連続する２次元画像のシーケンスから計算される、ことを特徴とする請求項９に記載の方法。
11. 少なくとも１つの前記カメラの時間的に連続する画像情報のシーケンスに基づいて、前記画像情報に含まれる移動物体のセグメンテーションと、前記セグメンテーションされた物体と静止した周囲環境の３次元構造及び相対的な動きの推定がある、ことを特徴とする請求項９又は１０に記載の方法。
12. 前記第２のセンサタイプの前記センサ（３）が、レーダセンサ又はＬＩＤＡＲセンサである、ことを特徴とする、請求項１～１１の何れか１項に記載の方法。
13. 前記環境情報の第１及び第２の３次元表現から移動物体がフィルタリングされ、前記補正情報の計算が排他的に静止物体に基づいて実行されるようにする、ことを特徴とする請求項１～１２の何れか１項に記載の方法。
14. 前記補正情報は、静止物体のみを含む前記環境情報の第１及び第２の３次元表現の比較に基づいて計算され、また移動物体のみを含む前記環境情報の第１及び第２の３次元表現の比較に基づいて計算される、ことを特徴とする請求項１から１２の何れか１項に記載の方法。
15. 第１のセンサタイプのセンサ（２）と、前記第１のセンサタイプとは異なる第２のセンサタイプの少なくとも１つのセンサ（３）とを有する車両（１）のための運転者支援システムであって、
    前記運転者支援システムは、
    前記第１のセンサタイプの少なくとも１つのセンサ（２）によって前記車両（１）の移動中の環境を検出し、前記第１のセンサタイプのこのセンサ（２）によって第１のセンサ情報を提供するステップと、
    前記第２のセンサタイプの少なくとも１つのセンサ（３）によって前記車両（１）の移動中の環境を検出し、前記第２のセンサタイプのこのセンサ（３）によって第２のセンサ情報を提供するステップと、
    第１のセンサ情報から環境情報の第１の３次元表現を作成するステップと、
    第２のセンサ情報から環境情報の第２の３次元表現を作成するステップと、
    前記環境情報の第１及び第２の３次元表現又はそこから導出された情報を比較するステップと、
    前記環境情報の第１及び第２の３次元表現又はそこから導出された情報の間の差異を決定するステップと、
    前記決定された差異に基づいて、少なくとも１つのセンサ（２、３）の較正パラメータに関する補正情報を計算するステップと、
    前記計算された補正情報に基づいて、前記車両（１）のセンサ（２、３）を互いに較正するステップと、
    を実行するように構成される、運転者支援システム。

Images