JP2024514006A - 自車両の周辺環境における少なくとも１つの特徴の位置を補正する方法およびシステム - Google Patents

Abstract

自車両の周辺環境における少なくとも１つの特徴の位置を補正する方法およびシステム本発明は、少なくとも１つの第１周辺環境検出センサ（１）および第２周辺環境検出センサ（２）のデータの融合を用いて自車両の周辺環境における少なくとも１つの特徴の位置（Ｐ）を補正する方法において、－第１周辺環境検出センサ（１）を用いて自車両の周辺環境を記録し、第１周辺環境表現を生成するステップ（Ｓ１）と、－第２周辺環境検出センサ（２）を用いて自車両の周辺環境を記録し、第２周辺環境表現を生成するステップ（Ｓ２）と、－第１周辺環境表現における少なくとも１つの特徴を検出するステップ（Ｓ３）と、－第１周辺環境表現に基づいて少なくとも１つの特徴の位置（Ｐ）を特定するステップ（Ｓ４）と、－第２周辺環境表現に基づいて自車両の前方の領域における高度プロファイル（３，５）を決定するステップ（Ｓ５）と、－少なくとも１つの検出された特徴の位置（Ｐ）と決定された高度プロファイル（３，５）とを融合し、補正された位置を決定するステップ（Ｓ６）と、－決定された補正された位置に基づいて少なくとも１つの特徴の位置（Ｐ）を補正するステップ（Ｓ７）とを備える方法に関する。

Description

本発明は、自車両の周辺環境における少なくとも１つの特徴の位置を補正する方法およびシステムに関する。

従来技術からは、例えば、カメラ画像において行われる、ＡＤＡＳシステムにおいて用いるための特徴抽出（例えば、他の交通参加者、車線の幾何形状、走行可能な領域等）が知られている。さらに、画像中の抽出された特徴を車両座標系に変換するために、カメラの内部および外部キャリブレーションが行われる。その際、現在では３つの主なアプローチが存在する。

平面世界を仮定するものが存在する。つまり、カメラの視野における全ては高度差が存在しない平面（例えば、道路）上に位置すると仮定される。また、ステレオカメラを用いるものがあり、これにより、２つのカメラ画像における連関に基づいて深度情報／高度情報を取得し、このようにして、３Ｄ情報を取得する。３番目としては、技術、例えば、オプティカルフロー等を介して、深度および高度の推定を行うことが知られている。

本発明の課題は、特徴を位置特定する際の精確度の向上が達成される方法およびシステムを提供することである。

本課題は独立請求項１および６により有利に解決される。さらなる有利な構成および実施形態が従属請求項の対象である。

まず、カメラは、原理的に、車両の非常に近くに位置する特徴に関しては非常に高い解像度を有するものの、より離間している特徴に関しては非常に低い解像度を有することが考察された。従って、抽出結果は、原理的に、即座に不精確となる。横方向の解像度（つまり、自車両に対する特徴の角度）は確かに良好ではあるが、車両に対する特徴の高度または距離は、既に数メートル後にはより大きな誤差を有する。上述の３つのアプローチ全てにおいてこの問題は存在し、様々な形で顕著に現れている。特に、高度記述および距離記述の誤差とリンクしている。

従って、本発明によると、少なくとも１つの第１周辺環境検出センサおよび第２周辺環境検出センサのデータの融合を用いて自車両の周辺環境における少なくとも１つの特徴の位置を補正する方法において、
－第１周辺環境検出センサを用いて自車両の周辺環境を記録し、第１周辺環境表現を生成するステップと、
－第２周辺環境検出センサを用いて自車両の周辺環境を記録し、第２周辺環境表現を生成するステップと、
－第１周辺環境表現における少なくとも１つの特徴を検出するステップと、
－第１周辺環境表現に基づいて少なくとも１つの特徴の位置を特定するステップと、
－第２周辺環境表現に基づいて自車両の前方の領域における高度プロファイルを決定するステップと、
－少なくとも１つの検出された特徴の位置と決定された高度プロファイルとを融合し、補正された位置を決定するステップと、
－決定された補正された位置に基づいて少なくとも１つの特徴の位置を補正するステップとを備える方法である。

好ましくは、第１周辺環境検出センサはカメラであり、第２周辺環境検出センサはレーダセンサまたはライダセンサである。従って、第１周辺環境表現はカメラ画像であり、第２周辺環境表現は物体リストまたは点群である。少なくとも１つの特徴は、例えば、物体、例えば、交通標識、道路境界線等、または他の交通参加者、例えば、さらなる車両、歩行者、自転車運転者等であってもよい。第１周辺環境表現における特徴を検出するために、例えば、セマンティックセグメンテーションが行われてよい。車両の前方の領域は、好ましくは、車両の前方に位置する車道または路面を示す。特徴の検出、位置の特定、高度プロファイルの決定、位置の融合および補正は、好ましくは、それに対応する計算ユニットにおいて行われる。この計算ユニットは、好ましくは、ＥＣＵまたはＡＤＣＵ（運転支援および自動運転制御ユニット）である。また、方法ステップ用にセンサ計算ユニット、例えば、カメラの計算ユニットを用いることも考えられる。この場合、生成された周辺環境表現は計算ユニットに伝送される。

好ましい実施形態において、第１周辺環境表現における特徴の位置が、平面世界仮定においてｘｙ座標において出力される。この平面世界仮定の基準平面は路面であってよい。この仮定に基づいて、この特徴と自車両との距離も特定することができる。この場合、座標は、それに対応してキャリブレーションされた、第１周辺環境検出センサの座標系に基づく。また、第１周辺環境検出センサは既に高度モデルを有しており、平面世界仮定を用いないことも考えられる。この場合、第１周辺環境検出センサの高度モデルは、一般に、比較的に不精確である。その一方、第２周辺環境検出センサのデータに基づく高度モデルは、実質的に、より高精度で、より詳細である。また、そのような構成においても、本方法は上記のように実施することができる。

さらなる好ましい構成において、少なくとも１つの特徴の位置と高度プロファイルとを融合するために、幾何学的ステップが適用される。これは、簡略化して説明すると、第１周辺環境検出センサ、好ましくは、カメラの視線は、決定された高度プロファイルと交差することを意味する。視線は、物体から第１周辺環境検出センサに到達する光線として実質的に記載することができる。高度プロファイルに応じて、視線を必要な場合には拡張する必要がある。このようにして、２つのデータを融合することができ、補正された位置を特定することができるのは、この時点における高度が既知であり、第１周辺環境検出センサの位置も既知であるからである。

好ましい構成において、高度プロファイルを決定するために、回帰法が適用される。このために、第２周辺環境検出センサのデータに基づいて、高度情報を有する少なくとも２つのデータ点が決定される。

特に好ましくは、本方法の１つの構成において、回帰法として最小二乗法が適用される。特に好ましくは、線形最小二乗法である。この場合、線形モデルまたは多項式モデルが用いられてよい。最小二乗法は、一般に、調整のための数学的方法を示すものである。ここで、測定点の集合に対する関数が決定され、この関数は測定点の可能な限り近傍を通るものであるため、データを最も良くまとめている。例えば、ライダセンサの測定値を用いてよく、ライダにより供給される点群のｚ座標を高度、ｘ座標を位置として用いてよく、これにより、車両の前方の高度を示す高度プロファイルモデルを推定する。この場合、ｘ軸からのｙ偏差があまり大きくない点のみが用いられる。

本発明によると、少なくとも１つの第１周辺環境検出センサおよび第２周辺環境検出センサと計算ユニットとを備える、自車両の周辺環境における少なくとも１つの特徴の位置を補正するシステムにおいて、計算ユニットが、請求項１～５の何れか１項に記載の方法を実行するように構成されている、システムがさらに提案される。

ここで、計算ユニットは、例えば、別体の要素として自車両に搭載されているＥＣＵまたはＡＤＣＵとして構成されていてよい。また、本方法を実行する計算ユニットは、センサのうちの１つのコンポーネントであることも考えられる。

さらなる有利な構成が図面の対象である。

図１は、本発明の１つの実施形態による方法の概略フロー図である。 図２は、位置検出に関するシーンの概略図である。 図３は、本発明の１つの実施形態によるシステムの概略図である。

図１には、少なくとも１つの第１周辺環境検出センサ１および第２周辺環境検出センサ２のデータの融合を用いて自車両の周辺環境における少なくとも１つの特徴の位置Ｐを補正する方法が示されており、この方法は以下のステップを備えている。ステップＳ１において、第１周辺環境検出センサ１を用いて自車両の周辺環境を記録し、第１周辺環境表現を生成する。ステップＳ１と同時またはその後に行われてよいステップＳ２において、第２周辺環境検出センサ２を用いて自車両の周辺環境を記録し、第２周辺環境表現を生成する。ステップＳ３において、第１周辺環境表現における少なくとも１つの特徴を検出する。その次のステップＳ４において、第１周辺環境表現に基づいて少なくとも１つの特徴の位置Ｐを特定する。ステップＳ５において、第２周辺環境表現に基づいて自車両の前方の領域における高度プロファイル３，５を決定する。高度プロファイル３，５とは、例えば、上昇３または下降５に関するものであってよい。また、連続的な下降５または上昇３のみが存在するのではなく、両者が一定の間隔で互いに交代し、このようにして一定の区間に渡って小さい起伏が存在することも考えられる。ステップＳ６において、少なくとも１つの検出された特徴の位置Ｐと決定された高度プロファイル３，５とを融合し、補正された位置を決定する。最後に、ステップＳ７において、決定された補正された位置に基づいて少なくとも１つの特徴の位置Ｐを補正する。

図２は、位置検出に関するシーンの概略図を示す。図２に示されているように、第１周辺環境検出センサ１、この場合、カメラを用いて、自車両の周辺環境を記録する。この周辺環境において、カメラ画像には、特徴、この図においては、人の位置Ｐが決定される。この場合、カメラの基準座標系６は平面世界仮定４に基づいて較正される。これは、平面世界仮定４の基準平面は路面であることを意味する。この仮定において、カメラ１は、カメラ１の検出領域７における特徴を検出し、その位置Ｐを特定する。しかし、現実の道路プロファイルは、例えば、上昇３または下降５を有する場合があり、従って、決定された位置Ｐの補正が必要になるのは、平面世界仮定４に基づく位置が正しく特定されていないからである。この場合、参照符号Ｐ１は、潜在的上昇３の場合における補正された位置Ｐ１を示し、参照符号Ｐ２は、潜在的下降５の場合における補正された位置Ｐ２を示す。車道プロファイル３，５が異なっていることから、現実または補正された位置Ｐ１，Ｐ２は、平面世界仮定４に基づいて特定された位置Ｐとは部分的に著しく異なっている。

図３には、本発明の１つの実施形態によるシステム１０の概略図が示されている。ここで、システム１０は第１周辺環境検出センサ１と第２周辺環境検出センサ２とを有する。さらに、計算ユニット８が設けられており、計算ユニット８を用いて本発明に係る方法を実行することができる。この構成において、計算ユニット８は、別体の要素として、例えば、ＥＣＵ／ＡＤＣＵとして、自車両に設けられている。この場合、第１周辺環境検出センサ１および第２周辺環境検出センサ２は、データコネクションＤを用いて計算ユニット８と接続されている。また、本方法を実行するための計算ユニット８をセンサ１，２のうちの１つに一体化することも考えられる。データコネクションＤは、例えば、有線または無線で構成されてよい。

１ 第１周辺環境検出センサ
２ 第２周辺環境検出センサ
３ 上昇の車道プロファイル
４ 平面世界仮定の平面
５ 下降の車道プロファイル
６ カメラ座標系
７ 検出領域
８ 計算ユニット
１０ システム
Ｄ データコネクション
Ｐ 少なくとも１つの特徴の位置
Ｐ１，Ｐ２ 補正された位置
Ｓ１－Ｓ７ 方法ステップ

Claims (6)

1. 少なくとも１つの第１周辺環境検出センサ（１）および第２周辺環境検出センサ（２）のデータの融合を用いて自車両の周辺環境における少なくとも１つの特徴の位置（Ｐ）を補正する方法において、
   －前記第１周辺環境検出センサ（１）を用いて前記自車両の前記周辺環境を記録し、第１周辺環境表現を生成するステップ（Ｓ１）と、
   －前記第２周辺環境検出センサ（２）を用いて前記自車両の前記周辺環境を記録し、第２周辺環境表現を生成するステップ（Ｓ２）と、
   －前記第１周辺環境表現における少なくとも１つの特徴を検出するステップ（Ｓ３）と、
   －前記第１周辺環境表現に基づいて前記少なくとも１つの特徴の前記位置（Ｐ）を特定するステップ（Ｓ４）と、
   －前記第２周辺環境表現に基づいて前記自車両の前方の領域における高度プロファイル（３，５）を決定するステップ（Ｓ５）と、
   －前記少なくとも１つの検出された特徴の前記位置（Ｐ）と前記決定された高度プロファイル（３，５）とを融合し、補正された位置を決定するステップ（Ｓ６）と、
   －前記決定された補正された位置に基づいて前記少なくとも１つの特徴の前記位置（Ｐ）を補正するステップ（Ｓ７）とを備える方法。
2. 前記第１周辺環境表現における前記特徴の前記位置（Ｐ）が、平面世界仮定（４）においてｘｙ座標において出力されることを特徴とする、請求項１に記載の方法。
3. 前記少なくとも１つの特徴の前記位置（Ｐ）と前記高度プロファイル（３，５）とを融合するために、幾何学的ステップが適用されることを特徴とする、請求項１に記載の方法。
4. 前記高度プロファイルを決定するために、回帰法が適用されることを特徴とする、請求項１に記載の方法。
5. 回帰法として最小二乗法が適用されることを特徴とする、請求項４に記載の方法。
6. 少なくとも１つの第１周辺環境検出センサ（１）および第２周辺環境検出センサ（２）と計算ユニット（８）とを備える、自車両の周辺環境における少なくとも１つの特徴の位置（Ｐ）を補正するシステム（１０）において、前記計算ユニット（８）が、請求項１～４の何れか１項に記載の方法を実行するように構成されている、システム（１０）。
   

Images