JP4843190B2 - 画像センサシステムのキャリブレーション方法および装置 - Google Patents

Description

本発明は、車両に接してまたは車両内に配置された少なくとも１つの画像センサシステムをキャリブレーションオブジェクトを用いてキャリブレーションする画像センサシステムのキャリブレーション方法および装置に関する。

こんにちの車両では車両の周囲環境を把握するために画像センサシステムを利用することが考慮されている。特に走行補助システムに画像センサシステムを用いることが計画されている。例えば画像センサシステムを先行車両との車間距離の自動制御システムに用いることができる。

画像の検出領域を拡大するために、少なくとも部分的に検出領域のオーバラップする複数の画像センサシステムを車両内に配置することが考えられている。特にほぼ同じシーンを撮影する２つの画像センサシステムから成るステレオカメラを使用すると有利である。

車両内の画像センサシステムをキャリブレーションオブジェクトを用いてキャリブレーションする方法および装置が既に知られている。

２００２年６月２９日付提出の独国特許出願第１０２２９３３６．８号明細書（未公開）から車両内の画像センサシステムをキャリブレーションオブジェクトおよび位置センサを用いてキャリブレーションする方法および装置が知られる。

欧州特許出願公開第１１２０７４６号明細書には車両内の画像センサシステムをキャリブレーションオブジェクトを用いてキャリブレーションする方法および装置が記載されている。ここではキャリブレーションオブジェクトは車両に接続されており、車両に対する機械的なシフト装置によって配向される。長手軸線は車両（特にそのボディ）のシンメトリ特徴によって構成される。製造誤差のためにこの長手軸線はジオメトリ走行軸線には一致せず、これは後部軸線のトラック角の１／２で規定される。長手軸線とジオメトリ走行軸線とのあいだの差は測定を行う画像センサシステムにとって、これが走行補助システムで使用される場合は特に、無視できるものではない。なぜならジオメトリ走行軸線は直進走行の際の方向として長手軸線から独立に定められるからである。

ジオメトリ走行軸線に対する画像センサシステムの配向状態を求めることのヒントは欧州特許出願公開第１１２０７４６号明細書には記載されていない。
独国特許出願第１０２２９３３６．８号明細書（未公開） 欧州特許出願公開第１１２０７４６号明細書

本発明の課題は、製造誤差を考慮したうえで正確かつ簡単に画像センサシステムの配向状態を求められる方法を提供することである。

この課題は、車両がキャリブレーションオブジェクトに対して第１の位置を取っているとき、画像センサシステムによりキャリブレーションオブジェクトの第１の画像情報を有利には少なくとも１つの画像データセットのかたちで形成し、車両がキャリブレーションオブジェクトに対して第２の位置を取っているとき、画像センサシステムによりキャリブレーションオブジェクトの第２の画像情報を有利には少なくとも１つの画像データセットのかたちで形成し、キャリブレーションオブジェクトに対して車両が第１の位置から第２の位置へ移動したことによる位置変化量を求め、少なくとも第１の画像情報および第２の画像情報から車両のジオメトリ走行軸線に対する画像センサシステムの配向状態を求めることにより解決される。

車両のジオメトリ走行軸線に対する画像センサシステムの配向状態を求めることにより、有利には画像センサシステムの測定精度が著しく高まる。画像センサシステムが特に走行補助システムで使用される場合、ジオメトリ走行軸線と長手軸線とのあいだに測定される偏差は測定誤差を引き起こすおそれがあり、無視できない。

特に有利には、以下に説明する方法および装置により、車両のジオメトリ走行軸線に対する少なくとも１つの画像センサシステムの配向状態を少なくとも１つのキャリブレーションオブジェクトの少なくとも２つの画像情報から直接に求めることができる。ここで車両はキャリブレーションオブジェクトに対して少なくとも２つの位置を取る。有利には車両のジオメトリ走行軸線に対する少なくとも１つの画像センサシステムの配向状態を求める画像情報があれば充分である。

有利には、少なくとも２つの画像情報に含まれる車両のジオメトリ走行軸線に関する情報が使用される。これにより以下に説明する方法および装置を用いて、少なくとも１つの画像センサシステムのキャリブレーションを別のセンサから独立して行うことができる。なぜなら車両のジオメトリ走行軸線に対する少なくとも１つの画像センサシステムの配向状態を求めるのに必要な全ての情報は画像情報に含まれているからである。これにより装置の技術的コストが低減され、キャリブレーションにかかるコストが低減される。

有利には車両のジオメトリ走行軸線に対する画像センサシステムの配向状態を実際の走行条件のもとで求めることにより少なくとも１つの画像センサシステムのキャリブレーションを行う。これにより後に画像センサシステムの実際の使用状態に適したキャリブレーションを行うことができる。これにより有利にはキャリブレーションの精度、特にジオメトリ走行軸線に対するキャリブレーションの精度が高まる。

特に有利には、車両がキャリブレーションオブジェクトに対して第３の位置を取っているとき、画像センサシステムによりキャリブレーションオブジェクトの第３の画像情報が有利には少なくとも１つの画像データセットのかたちで形成され、キャリブレーションオブジェクトに対して車両が第３の位置へ移動した位置変化量が求められる。この画像情報の形成は、車両が停止している場合にも、一定の速度で運動している場合にも、一定の加速度または変則的な加速度で運動している場合にも行われる。有利には車両の運動座標および／または画像センサシステムの撮影方向の変化量から、測定中のステアリング運動が識別される。３つ以上の画像情報を評価することにより、有利には走行カーブの再構成や車両の運動の軌道が得られる。有利には行われたステアリング運動について画像情報の評価時に補正がなされたり、ステアリング運動が一定でないことから補正をせずに再度の測定が促されたりする。

ここで有利には、付加的に操舵角センサの情報および／または少なくとも１つの付加的なセンサの情報を用いて補正または再度の測定の要不要の判別に用いる。こうした付加的なセンサを使用すると、測定誤りが確実に識別されるので、画像センサシステムのキャリブレーションの統計的な精度が高まる。さらに有利には、測定された画像情報から走行路平面を再構成する。このための前提条件として、車両が走行路平面上の少なくとも１つの別の位置を取る。つまり少なくとも３つの異なる位置で画像情報を取得し、これを評価に使用するのである。３つの異なる位置の画像情報を用いる際には、第３の位置は他の２つの位置を結んだ直線上にあってはならない。

有利には、画像センサシステムは所定の位置でキャリブレーションオブジェクトの少なくとも２つの画像情報を有利には少なくとも１つの画像データセットのかたちで形成する。車両の画像センサシステムが所定の位置で１つ以上の画像を撮影すると、画像内で識別される基準指標またはそこから求められた画像センサシステムの撮影位置が求められるので、有利には精度が上昇する。

さらに有利には、走行路平面に対するキャリブレーションオブジェクトの位置が画像情報を評価する際に考慮される。特に画像センサシステムをビデオサポート型の走行補助システムの分野へ適用する場合、有利には、少なくとも１つの座標または基準指標に対する走行路平面の位置が既知となることにより、走行路平面が測定空間へ導入され、画像センサシステムがキャリブレーションされる。これにより有利にはジオメトリ走行軸線および撮影方向（特に画像センサシステムの光軸）の方向成分が相互に関連して定義される。これにより特に有利には別のデータ、特に画像センサシステムと走行路との距離（画像センサシステムの走行路に対する組み込み高さ、および／または傾角、および／または走行路平面に対するロール角、ピッチ角など）を求めることができる。

特に有利には、ジオメトリ走行軸線に沿った車両の運動が直進するようにステアリングの設定された車両によって検出される。後に説明する本発明の方法および装置のここでの実施形態では、２つの位置のみを用いて形成された画像情報を評価すれば充分である。これにより迅速かつ低コストに少なくとも１つの画像センサシステムのキャリブレーションを行うことができる。

有利にはキャリブレーションオブジェクトおよび／または走行路平面は水平化されている。走行路平面が地球重力場のポテンシャル平面に対して平行であれば（つまり水平化されていれば）、有利には、キャリブレーションオブジェクト、例えば基準指標を備えたキャリアユニットを測定空間内へ導入することができる。ここで法線に対する配向状態は例えば地球重力場に追従するキャリブレーションペンデュラムおよび／または水準器を用いて求められる。これらを用いることにより、有利にはキャリブレーションの精度が高まる。なぜなら走行路平面に対するキャリブレーションオブジェクトの配向状態が正確に得られるからである。これは特に走行路平面に対するキャリブレーションオブジェクトの位置が画像情報の評価の際に考慮される場合に有利である。

特に有利には、後に説明する本発明の方法および装置において、ほぼ同じシーンを撮影する少なくとも２つの画像センサシステムに対して、ジオメトリ走行軸線に対する画像センサシステムの配向状態が求められ、そこから画像センサシステム相互の配向状態が求められる。特に有利には、このとき少なくとも１つのステレオカメラシステムが車両のジオメトリ走行軸線に対してキャリブレーションされる。

有利にはキャリブレーションオブジェクトは基準指標を備えた自由な形状のキャリアユニットとして構成されている。基準指標はキャリアユニットの構造から定められるか、または特別に構成される。これにより確実に検出可能な基準指標を備えた簡単な構造が得られる。確実に基準指標を検出するために、有利には、基準指標がジオメトリ的に既知の形状を有していてもよいし、周囲に対して良好なコントラストを有していてもよいし、アクティブに発光してもよいし、および／または反射マークとして構成されていてもよい。

他の利点は以下に説明する図示の実施例およびそれぞれの従属請求項から得られる。

本発明を以下に図示の実施例に則して詳細に説明する。

図１にはジオメトリ走行軸線１８、車両１０の長手中央面２０、および車両の長手軸線２２の定義を説明するための図が示されている。図示されているのは前軸に取り付けられた駆動可能な２つの前輪１２と後軸に取り付けられた駆動不能な２つの後輪１４とを備えた車両１０である。前軸および後軸はそれぞれ車輪軸である。ジオメトリ走行軸線１８は後軸のトラック角の１／２の線として定義されており、ここでトラック角２４とは２つの後輪１４のトラック１６の開きによって定められる角度である。ジオメトリ走行軸線１８は走行路平面に平行である。走行路平面は図１では示されていない。これに対して車両の長手中央面２０は走行路平面に垂直な平面にあり、前輪および後輪のトラック幅の中心を通っている。長手軸線２２は車両１０（特にボディ）のシンメトリ特徴によって構成される。長手軸線２２は走行路平面に対して平行である。製造誤差のためにジオメトリ走行軸線１８、車両の長手中央面２０、および長手軸線２２は一般には一致しない。ジオメトリ走行軸線１８は車両１０が直進するときの走行方向を定める。この直進時の走行方向は車両の長手軸線２２およびドライブ機構に対するボディの配向状態からは独立している。

図２には少なくとも１つの画像センサシステム３８をキャリブレーションする第１の実施例が示されている。画像センサシステムは車両１０内に位置しており、ジオメトリ走行軸線に対する画像センサシステム３８の配向状態が求められる。この実施例では画像センサシステム３８が車両１０内のキャノピーガラスの後方、バックミラーの近傍領域に設けられている。画像センサシステム３８の検出領域４８は車両１０のフォワード走行方向へ配向されている。この画像センサシステム３８はビデオセンサ、例えばＣＣＤカメラまたはＣＭＯＳカメラとして構成されている。車両１０は例えば車両製造工場または車両整備工場の走行路平面５４上にある。評価ユニット５０が画像センサシステム３８の画像情報を評価する。図２には少なくとも３つのジオメトリ基準指標９０を備えた測定空間が示されており、これがキャリブレーションオブジェクト３６を形成している。基準指標９０は反対側に位置する評価回路５０にとって既知である。基準指標９０は測定空間で固定されている。この実施例では測定空間はキャリブレーションオブジェクト３６として基準指標９０を備えた自由な形状のキャリアユニットを有している。基準指標９０はこの実施例ではキャリアユニット３６の構造から得られるが、このキャリアユニット３６専用に設けられたものであってもよい。画像センサシステム３８は少なくとも２つの任意の位置４０、４２から充分に大きな距離を置いてキャリブレーションオブジェクト３６または測定空間の画像情報を少なくとも１つずつ、有利には少なくとも１つの画像データセットのかたちで撮影する。車両１０の位置４０、４２は車両１０が前進することにより自身の車輪に踏襲される。画像センサシステム３８からキャリブレーションオブジェクト３６までの距離は例えば１ｍ〜２０ｍの範囲であり、有利には２ｍ〜５ｍが適切である。画像センサシステム３８をキャリブレーションするために、形成された画像情報から、ジオメトリ走行軸線に対する画像センサシステム３８の配向状態が求められる。

図３には少なくとも１つの画像センサシステム３８をキャリブレーションする第２の実施例が示されている。画像センサシステムは車両１０内に位置しており、ジオメトリ走行軸線に対する画像センサシステム３８の配向状態が求められる。図２の実施例と同様に、この実施例においても、画像センサシステム３８が車両１０内のキャノピーガラスの後方、バックミラーの近傍領域に設けられている。画像センサシステム３８の検出領域４８は車両１０のフォワード走行方向へ配向されている。この画像センサシステム３８はビデオセンサ、例えばＣＣＤカメラまたはＣＭＯＳカメラとして構成されている。車両１０は例えば車両製造工場または車両整備工場の走行路平面５４上にある。評価ユニット５０が画像センサシステム３８の画像情報を評価する。この実施例では走行路平面５４は画像センサシステム３８のキャリブレーションのための測定空間へ導入される。これは測定空間または基準指標空間内の少なくとも１つの基準指標９０の少なくとも１つの成分に対して走行路平面５４の位置を既知とすることによって行われる。これによりジオメトリ走行軸線および画像センサシステム３８の撮影方向の方向成分が相互に定義される。図３には基準指標空間の座標軸Ｘ、Ｙ、Ｚが定義されており、ここでは走行路平面５４がＸ−Ｙ平面にあり、ジオメトリ走行軸線がほぼＸ軸に一致している。この実施例ではキャリブレーションオブジェクト３６として基準指標９０を備えた平坦なキャリアユニットが使用され、ここでキャリアユニットの平面は走行路平面５４に垂直であり、かつジオメトリ走行軸線に対して近似に垂直に配向されている。画像センサシステム３８は少なくとも２つの任意の位置４０、４２から充分に大きな距離を置いてキャリブレーションオブジェクト３６または測定空間の画像情報を少なくとも１つずつ、有利には少なくとも１つの画像データセットのかたちで撮影する。車両１０の位置４０、４２は車両１０が前進することにより自身の車輪に踏襲される。画像センサシステム３８からキャリブレーションオブジェクト３６までの距離は例えば１ｍ〜２０ｍの範囲であり、有利には２ｍ〜５ｍが適切である。画像センサシステム３８をキャリブレーションするために、形成された画像情報から、ジオメトリ走行軸線に対する画像センサシステム３８の配向状態が求められる。

特に画像センサシステムのヨー角はジオメトリ走行軸線と画像センサシステム３８の撮影方向とをＸ−Ｙ平面へ投影して求められる。キャリブレーションデータの他のパラメータとして、画像センサシステム３８の走行路平面に対する組み込み高さ、および／または画像センサシステム３８の走行路平面に対するピッチ角、および／または画像センサシステム３８の走行路平面に対するロール角が求められる。この実施例では、走行路平面５４の位置は基準指標９０の座標系内で既知である。例えば走行路平面３２の位置は構造的に定義されて既知となっているか、独立した測定システムにより付加的に検出されるか、または画像情報から再構成される。画像情報からの再構成は、車両１０が走行路平面上で他の２つの位置４０、４２を結んだ直線上以外の少なくとも１つの別の位置を取ることによって行われる。これに代えて、またはこれに加えて、走行路平面５４は地球重力場のポテンシャル平面に対して平行になっている。つまりこの平面は水平化されており、法線に対するキャリアユニットの配向状態は地球重力場に追従するキャリブレーションペンデュラムおよび／または水準器によって求められる。

図４には特に画像情報を処理および評価する本発明の実施例にしたがって画像センサシステム３８をキャリブレーションする装置のブロック図が示されている。これは画像センサシステム３８、評価ユニット５０、および有利にはメモリユニットなどの少なくとも１つの装置５２から成る。画像センサシステム３８で撮影された少なくとも２つの画像は、有利には画像データセットのかたちで信号線路４９を介して評価ユニット５０へ電気的および／または光学的に伝送される。これに代えて画像データセットを無線で伝送してもよい。評価ユニット５０はここでは画像センサシステム３８から分離されて配置されており、特に車両内または車両外に位置するが、評価ユニット５０を直接に画像センサシステム３８内に配置してもよい。評価ユニット５０は少なくとも１つのマイクロプロセッサを有しており、少なくとも１つのマイクロプロセッサのプログラムとして構成された図５の複数のモジュールから成る。評価ユニット５０は画像情報から少なくとも１つのキャリブレーションデータのパラメータを求める。これは例えばヨー角および／またはピッチ角および／またはロール角および／または車両内の画像センサシステム３８の３次元の組み込み位置を表す他のパラメータである。ヨー角はここでは光軸または画像平面の法線がジオメトリ走行軸線に対して有する水平の角度偏差として定義される。ピッチ角とは光軸または画像平面の法線がジオメトリ走行軸線に対して有する垂直の角度偏差である。ロール角とは画像センサシステム３８の光軸を中心とした走行路平面に関する回転角度である。キャリブレーションデータのパラメータは信号線路５１を介して後置接続された少なくとも１つの装置５２、例えばメモリユニットへ電気的および／または光学的に伝送される。これに代えて無線で伝送を行ってもよい。装置５２もここでは画像センサシステム３８から分離されて配置されているが、これを直接に画像センサシステム３８内に配置してもよい。そのほかキャリブレーションデータのパラメータは画像センサシステム３８を機械的にアライメントするために用いてもよいし、および／または画像センサシステム３８の駆動中画像データをソフトウェアまたはアルゴリズムによって処理して操作するアプリケーションに用いてもよい。これによりアプリケーションのためのシミュレーションおよび／または画像センサシステム３８による測定値検出が保証される。

図５にはキャリブレーションデータ８６の少なくとも１つのパラメータを求める本発明の方法の実施例のフローチャートが示されている。図４の信号線路４９の画像センサ信号７０、すなわち画像データセットのかたちのキャリブレーションオブジェクトの画像情報は前処理のためにモジュール７２へ供給される。このモジュール７２では画像情報７４が前処理される。前処理として、特にコントラスト改善および／または輝度の変更および／またはフィルタリングによる画像修正などが行われる。前処理された画像情報７４はモジュール７６へ供給され、ここで指標のアイデンティフィケーションが行われる。このモジュール７６は特に基準指標のサーチおよびアイデンティフィケーションに用いられる。画像中の重要な指標は周知の画像処理プロセスによって求められる。例えば設定されたグレー値によるプロセスおよび／またはエッジ処理プロセスおよび／または形状適合プロセスなどが使用される。モジュール７６で求められたデータ７８はモジュール８０へ供給され、基準指標の２Ｄ位置（２次元位置）が求められる。その場合、特にピクセル精度またはサブピクセル精度の２Ｄ位置検出が行われる。プロセスとして例えばグレー値合計および／または平均値形成などによる重心演算、円エッジまたは楕円エッジでのストラクチャ演算、および／またはパターングレー値マトリクスなどが使用される。パターングレー値マトリクスを使用するプロセスはテンプレートマッチング（パターン適合化）であり、人工的に定義された指標のグレー値マトリクスがシミュレーションされた基準指標全体にわたって最大限に配置され、これにより２Ｄ位置が求められる。求められた基準指標の２Ｄ位置、すなわち基準指標の画像座標はデータ８２としてモジュール８４へ供給され、キャリブレーションデータの少なくとも１つのパラメータが計算される。車両内の画像センサシステムのキャリブレーションのためのキャリブレーションデータ８６のパラメータとして基本的に内部データと外部データとに区別される。キャリブレーション内部データは例えばカメラのメインポイントおよび／またはカメラ定数および／または少なくとも１つの歪みパラメータである。キャリブレーション外部データは６つのパラメータに区別される。３つの並進運動パラメータによって画像センサシステムの車両に対しての組み込み位置が記述される。そのほかに３つの回転角度、すなわちヨー角度、ピッチ角度、ロール角度が区別される。キャリブレーションデータ８６の少なくとも１つのパラメータを求めるために、モジュール８４で周知の数値的な写真測定プロセスが使用される。有利には直接線形変換ＤＬＴが使用される。これに代えて空間的なバックワードカットのプロセスを使用することもできる。ＤＬＴを使用することにより、キャリブレーションデータ８６の少なくとも１つのパラメータを近似値なしに線形の式の系で求めることができる。この手法はオブジェクト空間と画像空間とのあいだの射影関係に基づいており、画像の座標のアフィン変換を拡張したかたちである。空間的なバックワードカットプロセスを用いると、立てられた共線式に非線形の解が生じ、キャリブレーションデータのためにサーチしているパラメータに近似値が必要となる。この解は最小２乗誤差の手法にしたがって補償計算で反復される。ここで共線式から観察の改善式が導出される。観察とはここでは画像内で測定される基準指標の画像座標に相当する。いわゆる標準式が立てられて解かれ、しかもこれはキャリブレーションデータ８６のためにサーチされるパラメータが大きく変化しなくなるまで反復される。

図６には例えば前述の実施例で使用されるキャリブレーションオブジェクト３６が示されている。図６のキャリブレーションオブジェクト３６は平面的なキャリアユニットとして構成されている。例えば図６には９つの基準指標９０が示されている。基準指標９０を確実に検出するために、この指標はジオメトリ的に既知の形状を有するか、および／または周囲に対して良好なコントラストを有するか、および／またはアクティブに発光するか、および／または反射マークを備えている。基準指標９０は少なくとも１つの画像センサシステムの画像内で簡単に自動的に検出することができる。図６に示されている基準指標９０は円形であり、有利には光学的な散乱反射性を有する。基準指標９０は少なくとも１つの画像センサシステムのシミュレーション尺度と撮影方向とに依存して選定された径を有する。基準指標９０は自動的に区別される。これは少なくとも１つの基準指標９０が少なくとも１つの画像センサシステムで検出可能なコードを有しているか、および／または所定のジオメトリを備えたグループとして構成されているからである。基準指標９０を照明するために少なくとも１つの光源を使用する手段を用いて、基準指標９０の把握しやすさをいっそう増大させることもできる。特に画像センサシステムの対物レンズ近傍に少なくとも１つの光源を配置することにより反射性の基準指標９０を把握しやすくなる。この実施例では光源からの光が赤外線スペクトルで送信される。これにより測定位置の人員に対する光のふるまいの障害が回避される。基準指標９０が少なくとも１つの画像センサシステムに対する図６の平面的な構成に加えてキャリブレーションオブジェクト３６上で空間的にずらされて配置されている場合、基準指標９０の平面的構成に対する評価は簡単化され、測定結果がいっそう確実となる。

本発明の実施例の１つのバリエーションでは、測定空間は３つ以上の基準指標を有し、車両は少なくとも２つの位置を取る。基準指標は少なくとも１つの画像センサシステムから種々のパースペクティブで撮影を行う。これにより基準指標の空間的な相互位置を知る必要がなくなる。なぜならこれは評価の段階で求めることができるからである。

本発明の方法および装置の別のバリエーションでは、測定空間は３つ以上の基準指標を有し、車両は少なくとも２つの位置を取って測定空間内に固定されたキャリブレーションオブジェクトを検出し、さらに他のパースペクティブでの少なくとも１つの別の画像情報を評価に用いる。ここでは車両は自身の位置を変更するのではなく、キャリブレーションオブジェクトまたはキャリアユニットのほうが動かされる。キャリブレーションオブジェクトは位置および／または配向状態を変更し、少なくとも１つの画像センサシステムが他のパースペクティブでキャリブレーションオブジェクトを撮影する。このとき基準指標の空間的な相互位置は既知であっても未知であってもよい。

測定空間内のキャリブレーションオブジェクトが３つ以上の基準指標を有する場合、本発明の実施例の１つのバリエーションではキャリブレーションデータの内部パラメータが求められる。基準指標により付加的に例えば画像センサシステムとオブジェクトとのあいだのキャノピーガラスに起因する歪みの影響の光学的なシミュレーションが得られる。

車両のジオメトリ走行軸線は実際の走行条件のもとで求められる。この実施例では画像情報の形成、すなわち画像撮影が停止状態で行われている。停止状態での画像撮影により測定結果の信頼性が支援される。これに代えて画像撮影を加速のない走行および／または加速走行で行うこともできる。

前述の方法および装置は、同時に１つ以上の画像センサシステムをキャリブレーションするのにも適している。特に評価中、直接に、少なくとも２つの異なるパースペクティブでオブジェクトを捉える２つ以上の画像センサシステムを相互に割り当て、このオブジェクトを画像から３次元的に再構成する。特に前述の方法および装置はほぼ同じシーンを撮影する２つの画像センサシステムから成るステレオカメラをキャリブレーションするのに適している。この場合には各画像センサシステムが分離された状態で車両のジオメトリ走行軸線に対する画像センサシステムの配向状態が求められ、そこから画像センサシステム相互の配向状態が求められるか、または画像センサシステム相互の割り当てと車両のジオメトリ走行軸線に対するステレオカメラの配向状態とが共通の１つの評価ステップで求められる。

車両の走行方向での少なくとも１つの画像センサシステムの配向状態を前述の実施例にしたがって求めることのほか、本発明の方法および装置は偏差する配向状態を有する画像センサシステムのキャリブレーションに適している。特に車両の後進方向での少なくとも１つの画像センサシステムのキャリブレーションが可能となる。さらに本発明の方法および装置は車両上および／または車両に接して設けられている少なくとも１つの画像センサシステムのキャリブレーションにも適している。

前述の方法および装置の別のバリエーションでは、車両が２つ以上の位置を取る。ジオメトリ走行軸線は多数回の検出からの平均によって求められる。車両の運動座標から特に測定中のステアリング運動が識別される。画像情報を３つ以上の位置から評価することにより、走行カーブや車両の運動軌道の再構成を行うことができる。この場合、ステアリング運動に例えば相応に大きなステアリング半径があって画像情報の評価時に補正が行われるケースと、ステアリング運動が一定でなく補正不能であって再測定が促されるケースとが区別される。ここでは特に操舵角センサの情報および／または車輪センサの情報および／または他のセンサの情報が補正または再測定の要不要の判別に用いられる。

前述の実施例では、画像センサシステムがオブジェクトに対して少なくとも１つの車両位置を取って少なくとも２つの画像が撮影される場合、少なくとも１つの画像センサシステムのキャリブレーションプロセスの精度が上昇する。これは画像中で識別される基準指標とキャリブレーションデータの少なくとも１つのパラメータとを測定して平均化することにより行われる。キャリブレーションデータのパラメータは例えばヨー角および／またはピッチ角および／またはロール角である。

別のバリエーションでは、少なくとも２つのキャリブレーションオブジェクトが少なくとも１つの画像センサシステムをキャリブレーションする方法が前述の実施例にしたがって行われる。

ジオメトリ走行軸線、車両の長手中央面、車両長手軸線の定義を説明するための図である。

車両内の少なくとも１つの画像センサシステムのキャリブレーションの第１の実施例を示す図である。

車両内の少なくとも１つの画像センサシステムのキャリブレーションの第２の実施例を示す図である。

画像センサシステムのキャリブレーション装置のブロック図である。

キャリブレーションデータを求める方法のフローチャートである。

キャリブレーションオブジェクトを示す図である。

符号の説明

３８ 画像センサシステム
４９、５１ 信号線路
５０ 評価ユニット
５２ メモリユニット

Claims (10)

1. 走行路平面上に存在する車両に接してまたは車両内または車両上に配置された少なくとも１つの画像センサシステムをキャリブレーションオブジェクトを用いてキャリブレーションする、
   画像センサシステムのキャリブレーション方法において、
   走行路平面とキャリブレーションオブジェクトとによって画像センサシステムのキャリブレーションのための測定空間を形成し、測定空間内のキャリブレーションオブジェクトの少なくとも１つの基準指標の少なくとも１つの座標に対する走行路平面の位置を既知とし、
   車両がキャリブレーションオブジェクトに対して第１の位置を取っているとき、画像センサシステムによりキャリブレーションオブジェクトの第１の画像情報を少なくとも１つの画像データセットのかたちで形成し、
   車両がキャリブレーションオブジェクトに対して第２の位置を取っているとき、画像センサシステムによりキャリブレーションオブジェクトの第２の画像情報を少なくとも１つの画像データセットのかたちで形成し、
   キャリブレーションオブジェクトに対して車両が第１の位置から第２の位置へ移動したことによる位置変化量を求め、
   少なくとも第１の画像情報および第２の画像情報から車両のジオメトリ走行軸線に対する画像センサシステムの配向状態を求め、
   求められた位置変化量および求められた配向状態に基づいて、ジオメトリ走行軸線の方向成分と画像センサシステムの撮影方向とを相互に関連して定義し、
   さらに、車両がキャリブレーションオブジェクトに対して第３の位置を取っているとき、画像センサシステムによりキャリブレーションオブジェクトの第３の画像情報を少なくとも１つの画像データセットのかたちで形成し、少なくとも３つの位置について形成された画像情報を用いて車両運動のカーブを再構成してステアリング運動が一定であるか否かを判別し、一定でない場合には再測定を要求する
   ことを特徴とする画像センサシステムのキャリブレーション方法。
2. 走行路平面は水平化されている、請求項１記載の方法。
3. ジオメトリ走行軸線に沿って直進設定されたステアリングの車両の運動について第１の画像情報および第２の画像情報を形成する、請求項１記載の方法。
4. 少なくとも１つの操舵角センサの情報を用いて車両のステアリング運動を判別する、請求項１記載の方法。
5. ほぼ同じシーンを撮影する少なくとも２つの画像センサシステムすなわち少なくとも１つのステレオカメラシステムに対して、各画像センサシステムを分離した状態でジオメトリ走行軸線に対する画像センサシステムの配向状態を求め、そこから画像センサシステム相互の配向状態を求める、請求項１から４までのいずれか１項記載の方法。
6. 走行路平面上に存在する車両に接してまたは車両内または車両上に配置された少なくとも１つの画像センサシステムが少なくとも１つのキャリブレーションオブジェクトと画像センサシステムからの画像情報を評価する少なくとも１つの評価ユニットとによってキャリブレーションされる、
   画像センサシステムのキャリブレーション装置において、
   画像センサシステムは、車両がキャリブレーションオブジェクトに対して第１の位置を取っているとき、キャリブレーションオブジェクトの第１の画像情報を少なくとも１つの画像データセットのかたちで形成し、車両がキャリブレーションオブジェクトに対して第２の位置を取っているとき、キャリブレーションオブジェクトの第２の画像情報を少なくとも１つの画像データセットのかたちで形成し、
   評価ユニットは、走行路平面とキャリブレーションオブジェクトとによって画像センサシステムのキャリブレーションのための測定空間を形成し、測定空間内のキャリブレーションオブジェクトの少なくとも１つの基準指標の少なくとも１つの座標に対する走行路平面の位置を既知とする手段と、
   キャリブレーションオブジェクトに対して車両が第１の位置から第２の位置へ移動したことによる位置変化量を求め、少なくとも１つの画像データセットのかたちの、少なくともキャリブレーションオブジェクトの第１の画像情報および第２の画像情報から、車両のジオメトリ走行軸線に対する画像センサシステムの配向状態を求め、求められた位置変化量および求められた配向状態に基づいてジオメトリ走行軸線の方向成分と画像センサシステムの撮影方向とを相互に関連して定義する手段と、
   車両がキャリブレーションオブジェクトに対して第３の位置を取っているとき、画像センサシステムによりキャリブレーションオブジェクトの第３の画像情報を少なくとも１つの画像データセットのかたちで形成し、少なくとも３つの位置について形成された画像情報を用いて車両運動のカーブを再構成してステアリング運動が一定であるか否かを判別し、一定でない場合には再測定を要求する手段と
   を有する
   ことを特徴とする画像センサシステムのキャリブレーション装置。
7. 評価ユニットは、さらに、少なくとも１つの画像データセットのかたちの第３の画像情報を評価する手段を有している、請求項６記載の装置。
8. 走行路平面は水平化されている、請求項６または７記載の装置。
9. 車両の運動に関する情報を求める少なくとも１つの車輪センサおよび少なくとも１つの操舵角センサが設けられている、請求項６から８までのいずれか１項記載の装置。
10. 各画像センサシステムを分離した状態でジオメトリ走行軸線に対する画像センサシステムの配向状態を求め、そこから画像センサシステム相互の配向状態を求めるために、同じシーンを撮影する少なくとも２つの画像センサシステムすなわち少なくとも１つのステレオカメラシステムが設けられている、請求項６から９までのいずれか１項記載の装置。