JP5890900B2 - カメラの結像歪みを決定するための装置および方法 - Google Patents

Description

本発明は、カメラの結像歪みを決定するための装置および方法に関する。

特許文献１には、較正用オブジェクトおよび位置基準センサを有する自動車における画像センサシステムの較正について記載されている。ここに記載された、好適な形式で自動車に配置された画像センサシステムを較正するための方法は、少なくとも１つのテスト画像を使用するものであり、画像センサシステムは、テストフィールドを撮影し、撮影されたテストフィールドは較正のために使用される。この場合、テストフィールドは公知の立体的かつ幾何学的な装置を備えた較正基準マークを有していて、画像センサシステムが較正基準マークを撮影する。

特許文献２には、センサシステムを較正するための方法について記載されており、この方法によって、車両のカーブ走行時におけるオブジェクトの検出および評価が実施される。この方法において、センサシステムによって、オブジェクトの特徴的なデータが検出され、車両の固有運動を考慮しながら静止したまたはほぼ静止したオブジェクトとして検知されたデータが較正ユニットに供給される。較正ユニットにおいて、オブジェクトのモデルのデータに対する実際に測定されたデータの偏差がエラーベクトルとして算出され、モデルのデータを修正するために偏差を最小にするように考慮される。

特許文献３には、カメラ自動調整のためにカメラおよびレンズ特性を測定する方法が記載されており、この方法において、少なくとも１つの仮想のオブジェクトが、実際の周辺状況と仮想の周辺状況とを組み合わせた画像内で少なくとも１つの実際のオブジェクトに対して相対的に正しい位置に配置され、カメラおよびレンズの触感調整が、実際の周辺状況がカメラおよびレンズによって撮影され、実際の周辺状況を表わす第１のビデオ信号が共通のディスプレー装置に伝送されるように、選定されるステップを有しており、この場合、実際の周辺状況が少なくとも１つの実際の目盛を有している。

固定焦点レンズは、不変の距離調整を備えた固定焦点を有している。固定焦点レンズを備えたカメラをいわゆる過焦点距離に焦点合わせすることは、公知のやり方である。このような焦点合わせは、被写界深度範囲が、無限大と過焦点距離の半分との間に位置することを特徴としている。過焦点距離は、カメラに使用された対物レンズの焦点距離、焦点面における容認可能な不鮮明円の直径およびＦ値から算出される。自動車用カメラのための過焦点距離の典型的な値は４ｍ〜１１ｍの間の範囲内にある。このような間隔は、製造環境における検査装置で満足に実現できない。

欧州特許第１３７６０５１号明細書 ドイツ連邦共和国特許公開第１９９６２９９７号明細書 ドイツ連邦共和国特許公告第１９８１５１０６号明細書

本発明は、請求項１の特徴を有するカメラの結像歪みを決定するための装置、および請求項１０の特徴を有する方法を提供する。

請求項１に記載された、カメラの結像歪みを決定するための装置は、第１の間隔に焦点合わせされているカメラと、カメラに対して第２の間隔を保ってカメラの視野内に配置され、かつ較正マークを備えた３次元表面構造を有するテスト構造ユニットとを有している。さらに、この装置は、カメラに対して第３の間隔を保ってテスト構造ユニットとカメラとの間に配置され、かつ前記３次元表面構造がカメラによって結像可能となるように構成されたレンズユニットと、カメラに接続され、かつカメラの結像歪みが前記３次元表面構造の較正マークの撮影された結像の評価によって決定可能であるように構成された制御ユニットとを有している。

請求項１０に記載された、カメラの結像歪みを決定するための方法は、カメラを第１の間隔に焦点合わせするステップと、較正マークを備えた３次元表面構造を有するテスト構造ユニットをカメラに対して第２の間隔を保って配置するステップと、カメラに対して第３の間隔を保って配置され、かつカメラによって表面構造を結像するためのレンズユニットを装着するステップとを有している。この方法はさらに、３次元表面構造の較正マークの結像を前記カメラによって撮影するステップと、撮影された結像を評価することにより、カメラの結像歪みを制御ユニットによって決定するステップと、を有している。

本発明は、運転者アシストシステムに使用されるカメラが、被写界深度範囲が機能にとって重要な間隔範囲を確実にカバーするように、焦点合わせされていることを保証する。本発明の基になる考え方は、オブジェクトの結像によって、大きい間隔でも短い距離でも、カメラの十分に良好な較正が得られる、という点にある。これは、画像の異なる部分領域内に互いに離れて位置する画像範囲のためにも正しいことが証明されなければならない。何故ならば、製造中および組立中に発生する公差によって制限され、また対物レンズの誤った特性によって制限されて、像平面は、画像センサの表面に対して平行に整列され得ないからである。また、対物レンズのコントラスト伝達機能が像高さに依存していて、典型的には像中央から縁部に向かって明らかに減少することを考慮する必要がある。

製造プロセス中の焦点位置の調整のためにも、また鮮明度の最終検査においても、本発明は、様々な間隔からオブジェクトを結像する際に得られるコントラストを決定することができる適切なテスト法を可能にする。レンズユニットによって、小さい間隔内に位置するテストチャートは、より大きい作業間隔に焦点合わせされたカメラによって最大の鮮明度で結像され得る。従って、テストチャートの大きさは取り扱い可能な程度に減少される。

本発明の考え方は、画像内でコントラスト決定を可能にするテストパターンを備えた、それ以外はフラットなチャートの代わりに、測定しようとするカメラのための様々なオブジェクト間隔におけるテストフィールドを提供する、小区画に分割されたテストチャートを構成する、という点にある。この場合の目標設定は、検査をできるだけ少ないステップで実施できるようにすることである。このやり方の利点は、新しいカメラにおける画像の高い程度の解像度を、鮮明度検査のテストをできるだけ広くカバーするために使用することができる、という点にある。

本発明の好適な実施態様によれば、カメラの結像歪みとして、被写界深度の歪みおよび／またはカメラの焦点位置の歪みが決定可能である。

この装置の別の好適な実施態様によれば、カメラの結像歪みとして、カメラのピッチング歪みおよび／またはヨーイング歪みおよび／またはローリング歪みが決定可能である。

この装置の別の好適な実施態様によれば、結像歪みとして、光学収差および／または球面収差および／または非点収差および／または像面湾曲が決定可能である。

この装置の別の好適な実施態様によれば、装置が光源を有していて、該光源は、較正マークが反射式、半透過式または透過式に照明可能であるように構成されている。

この装置の別の好適な実施態様によれば、記光源が波長同調可能である。

この装置の別の好適な実施態様によれば、較正マークの結像が、様々な波長を有する光によって撮影可能であり、前記カメラの結像歪みが波長に基づいて決定可能である。

この装置の別の好適な実施態様によれば、レンズユニットが、可変な焦点距離を有する光学素子として設計されていて、前記焦点距離が前記制御ユニットによって制御可能である。

別の好適な実施態様によれば、較正マークが、様々なストリップ幅を有するストリップパターンとしておよび／または様々な配向を有する方形としておよび／または英数字記号として構成されている。これによって、較正マークの識別、および較正マークの撮影された結像の簡単な評価が可能である。

方法の好適な実施態様によれば、カメラの結像歪みとして、カメラのピッチング歪みおよび／またはヨーイング歪みおよび／またはローリング歪みが決定される。

方法のさらに好適な実施態様によれば、カメラの結像歪みとして、光学収差および／または球面収差および／または非点収差および／または像面湾曲が決定される。

方法のさらに好適な実施態様によれば、較正マークの結像が様々な波長を有する光によって撮影され、カメラの結像歪みが波長に基づいて決定される。これによって、好適な形式で、カメラの光学収差を波長に基づいて決定することができる。

第１実施例による装置の概略図である。 第２実施例による装置の概略図である。 本発明の１実施例による較正マークの概略図である。 この方法の実施例を示すフローチャートである。

本発明の実施例が図面に示されていて、以下に詳しく記載されている。

図面において、同一のまたは機能的に同じ要素、特徴および構成部材には、特に記載がなければ、それぞれ同じ符号が付けられている。

図面において、構成部材及び要素は、見やすさ及び分かりやすさのために必ずしも縮尺通りに記載されていないことは、明らかである。

図１には、第１実施例による装置の主要な構成部材が示されている。

この装置は、カメラ１０、テスト構造ユニット５、レンズユニット１５および制御ユニット２５を有している。カメラ１０は、第１の間隔Ａ１に焦点合わせされている。テスト構造ユニット５は、カメラ１０に対して第２の間隔Ａ２を保って、カメラ１０の視野３０内に配置されている。例えばテスト構造ユニット５は、較正マークＫ１〜Ｋ６を備えた３次元表面構造６を有している。前記装置は６つの較正マークを有しているが、この装置は６つの数に限定されるものではなく、それ以上またはそれ以下の較正マークを使用してもよい。

レンズユニット１５は、例えばカメラ１０に対して第３の間隔Ａ３を保ってテスト構造ユニット５とカメラ１０との間に配置されており、カメラがテスト構造ユニット５に焦点合わせされていなくても、カメラ１０によって３次元表面構造６をシャープに結像することを可能にする。何故ならばレンズユニット１５によって、テスト構造ユニット５の虚像５ｖがカメラ１０の視野３０内に生成されるからである。この場合、テスト構造ユニット５の虚像５ｖは、カメラ１０に対して間隔Ａ１で生成され、従って同じ間隔Ａ１に焦点合わせされたカメラ１０によって結像される。

制御ユニット２５は、カメラ１０およびレンズユニット１５に接続されている。制御ユニット２５は、カメラ１０のカメラ機能を制御し、画像データを処理することができる。制御ユニット２５のベースは、実時間データ通信のための適当なカメラインターフェースを備えたコンピュータユニットである。制御ユニット２５はさらに、カメラ制御、画像データ入手、画像データ処理および歪み決定のためのソフトウエアを有している。

所定の焦点範囲に亘る被写界深度の決定を含む、様々ないわゆるスルーフォーカススキャン（Ｔｈｒｏｕｇｈ−Ｆｏｃｕｓ−Ｓｃａｎ）を実施する場合、カメラ１０の被写界深度の比較的良好な決定を得るために、レンズユニット１５のそれぞれの焦点位置を変えることができる。

レンズユニット１５は例えば可変な焦点距離を有する光学素子として設計されていて、焦点距離は制御ユニット２５によって制御可能である。また、制御ユニット２５は、画像分析およびカメラ１０の歪み決定のために用いられる。カメラ１０によって撮影された画像は、制御ユニット２５によって画像認識アルゴリズムを用いて分析される。

テスト構造ユニット５として、ＵＳＡＦチャート（ＵＳＡＦ解像力テストチャート、ドイツ語では“ＵＳＡＦ−Ａｕｆｌｏｅｓｕｎｇｓｔｅｓｔｔａｆｅｌ”とも称呼されている）により公知の様々なラインペア幅のストライプパターン、またはＩＳＯ１２２３３で提案された評価法に準拠する斜めに配置された方形が、３次元表面構造６上に設けられている。テスト構造ユニット５は、カメラ側から照らし出されるか、つまり反射型に設計されているか、または透過型に構成されていて、個別の較正マークＫ１〜Ｋｎの背面から照らし出されてもよい。

較正マークＫ１〜Ｋ６は、種々異なるストライプ幅を有するストライプパターンとしておよび／または種々異なる配向の方形としておよび／またはその他の幾何学的形状としておよび／または英数字記号として構成されていてよい。較正マークＫ１〜Ｋ６は、カメラ１０によって結像され、カメラ１０のカメラ画像を満たす較正パターンを提供する。

較正マークＫ１〜Ｋ６を分析するために、所定の座標系またはコード化された較正マークＫ１〜Ｋ６が使用される。自動測定において、較正マークＫ１〜Ｋ６のコード化は、本来の較正マークＫ１〜Ｋ６を円形に取り囲んで配置された２進コードの形で行われる。相応の画像処理法によって、較正マークＫ１〜Ｋ６の画像座標の測定と共に、その同一性も検知され、直ちに割り当てられる。

カメラ１０は、例えば運転者アシストシステムに使用されるカメラとして構成されている。例えばカメラ１０は固定焦点式に構成されている。カメラ１０は、自動車に使用される場合、被写界深度範囲がカメラの機能にとって重要な距離範囲を確実にカバーするように、焦点合わせされる。つまり、例えば８０ｍ〜２００ｍの長い距離のオブジェクトも、例えば３ｍ〜８０ｍの短い距離のオブジェクトも、十分に良好なコントラストで結像することができる、ということである。

コントラスト比の十分に良好な結像は、カメラ１０によって撮影された画像の様々なコーナー部における互いに離れて位置する画像範囲のためにも正しいことが証明されなければならない。何故ならば、モンタージュ技術における公差およびオブジェクトの特性によって制約されて、像平面は、画像センサの表面に対して平行に整列され得ないからである。

例えばレンズユニット１５によって、テスト構造ユニット５の３次元表面構造６が虚像５ｖとして生成され、それによってカメラ１０によって結像される。

レンズユニット１５は例えば２つの屈折面を有する光学的に有効な素子として設計されており、２つの屈折面のうちの少なくとも１つは凸状または凹状に湾曲されている。

さらに、レンズユニットは、可変な焦点距離を有する光学素子として設計されていてよく、光学素子の焦点距離は制御ユニット２５によって制御可能である。

レンズユニット１５は、テスト構造ユニット５の虚像を光学画像として生成させることができ、この場合、カメラはテスト構造ユニット５の虚像５ｖ上に間隔Ａ１を保って焦点合わせされている。

テスト構造ユニット５は、例えば３次元表面構造６を備えて構成されている。３次元表面構造６は較正マークＫ１〜Ｋ６を有しており、これらの較正マークＫ１〜Ｋ６は、測定しようとするカメラ１０を較正するための様々な表面間隔Ａ１１，Ａ１２で提供されている。

較正マークＫ１〜Ｋ６のコード化は例えば回転不変式である。従って較正マークＫ１〜Ｋ６の整列および位置は検知にとって重要ではなく、コード化はすべての位置のために明確に識別可能である。

仕様およびコード化深度（１２ビットまたは１４ビット）に応じて、種々様々の較正マークＫ１〜Ｋ６を区別することができる。多くの使用例において、全部で１４７までの異なるナンバーを有する１２ビットコード化で十分である。１４ビットコード化により、５１６のナンバーを区別可能である。

図２には、第２実施例による装置の主要な構成部材が示されている。

テスト構造ユニット５をカメラ側から照明するために、例えば光源４０ａが設けられており、この光源４０ａは制御ユニット２５に接続されている。同様に制御ユニット２５に接続された別の光源４０ｂは、背面からの照明を可能にし、この場合、個別の較正マークＫ１〜Ｋ６は透過型に構成されている。

光源４０ａ，４０ｂは、例えば放射された波長が同調可能な光源として、例えば順次方式の発光ダイオードまたはその他の発光ダイオードとして構成されている。この場合、制御ユニット２５によって、光源４０ａ，４０ｂから生成される色調が調節される。

図２のその他の符号については、図１の説明に記載されている。

図３は本発明の１実施例による較正マークの概略図である。

較正マークＫ１〜Ｋｎは、例えばｙ方向およびｘ方向に張設されたフィールドまたはマトリックスの形でテスト構造ユニット５上に配置されていて、カメラ１０の視野内に異なる複数のオブジェクト間隔（ｚ方向における）を有している。較正マーキングＫ１〜Ｋｎの可能な分割は、例えば５つの異なるオブジェクト間隔を有しており、これらのオブジェクト間隔は、３ｍ、５ｍ，１１ｍ、２００ｍの仮想の間隔および、カメラ１０とテスト構造ユニット５の虚像５ｖとの間の無限大に相当する。

近位範囲内および遠位範囲内のオブジェクト間隔を表わすテストフィールドの左右対称分割によって、唯一のテスト画像を用いてカメラ１０の正しい焦点位置も、また画像平面に対する画像センサの平行な整列も検査することができる。

図４は、この方法の１実施例を示すフローチャートである。

図４に示された方法は、例えば上記装置によって実施可能である。しかしながら、この方法の実施可能性は、上記装置または上記装置を備えたカメラ較正システムの使用に限定されるものではない。

第１の方法ステップにおいて、第１の間隔Ａ１にカメラ１０の焦点合わせＳ１が行われる。

例えば、焦点合わせＳ１の第１の方法ステップにおいて、カメラ１０は過焦点距離に焦点合わせされてよい。過焦点距離は、好適には２５ｍ〜３００ｍの範囲内である。

次の方法ステップＳ２において、較正マークＫ１〜Ｋｎを備えた３次元表面構造６を有するテスト構造ユニット５が、カメラ１０に対して第２の間隔Ａ２を保って配置される。

さらに次の方法ステップＳ３において、カメラ１０に対して第３の間隔Ａ３を保って配置された、カメラによる表面構造の結像を行うためのレンズユニット１５の装着が行われる。

さらに次の方法ステップＳ４において、３次元表面構造の較正マークＫ１〜Ｋｎの結像の撮影がカメラ１０によって行われる。好適には、この撮影Ｓ４の方法ステップにおいて較正マークＫ１〜Ｋｎの結像が様々な波長を有する光によって撮影され、波長に基づくカメラ１０の結像歪みが決定される。

さらに次の方法ステップＳ５において、撮影された結像を評価することにより制御ユニット２５によって、カメラ１０の結像歪みの決定が行われる。好適には、この方法ステップＳ５において、カメラ１０の結像歪みに基づいて、カメラ１０の被写界深度および／または焦点位置の歪みが決定される。

さらに、カメラ１０のピッチング歪みおよび／またはヨーイング歪みおよび／またはローリング歪みが、結像歪みとして決定されてもよい。同様に、光学収差として、球面収差および／または非点収差および／または像面湾曲が決定されてよい。

この方法は、カメラ１０またはその他のデジタル撮像システムを較正するか、または存在する歪みを検査することができる。

方法ステップＳ１〜Ｓ５の記号は、この方法を実施するための時間的な順序を規定するものではない。

５ テスト構造ユニット
５ｖ 虚像
６ 表面構造
１０ カメラ
１５ レンズユニット
２５ 制御ユニット
３０ 視野
Ａ１ 第１の間隔
Ａ２ 第２の間隔
Ａ３ 第３の間隔
Ｋ１〜Ｋ６ 較正マーク
Ｓ１ 焦点合わせ
Ｓ２ 配置
Ｓ３ 装着
Ｓ４ 撮影
Ｓ５ 結像歪みの決定

Claims (13)

1. カメラ（１０）の結像歪みを決定するための装置において、
   第１の間隔（Ａ１）に焦点合わせされているカメラ（１０）と、
   前記カメラ（１０）に対して前記第１の間隔（Ａ１）よりも短い第２の間隔（Ａ２）を保って前記カメラ（１０）の視野（３０）内に配置され、かつ、前記カメラとの間隔が互いに異なる複数の較正マーク（Ｋ１〜Ｋｎ）を備えた３次元表面構造（６）を有するテスト構造ユニット（５）と、
   前記カメラ（１０）に対して第３の間隔（Ａ３）を保って前記テスト構造ユニット（５）と前記カメラ（１０）との間に配置され、かつ前記３次元表面構造（６）が前記カメラ（１０）によって結像可能となるように構成されたレンズユニット（１５）と、
   前記カメラに接続され、かつ前記カメラ（１０）の結像歪みが前記３次元表面構造（６）の較正マーク（Ｋ１〜Ｋｎ）の撮影された結像の評価によって決定可能であるように構成された制御ユニット（２５）と、
   を有し、
   前記レンズユニット（１５）は、可変な焦点距離を有する光学素子として設計され、
   前記制御ユニット（２５）は、前記３次元表面構造（６）の較正マーク（Ｋ１〜Ｋｎ）の撮影時に、前記焦点距離を制御する、
   カメラの結像歪みを決定するための装置。
2. 前記カメラ（１０）の結像歪みとして、被写界深度の歪みおよび／または前記カメラ（１０）の焦点位置の歪みが決定可能である、
   請求項１に記載の装置。
3. 前記カメラ（１０）の結像歪みとして、前記カメラ（１０）のピッチング歪みおよび／またはヨーイング歪みおよび／またはローリング歪みが決定可能である、
   請求項１または２に記載の装置。
4. 前記カメラ（１０）の結像歪みとして、光学収差および／または球面収差および／または非点収差および／または像面湾曲が決定可能である、
   請求項１から３のいずれか１項に記載の装置。
5. 前記装置が光源を有していて、該光源は、前記較正マーク（Ｋ１〜Ｋｎ）が反射式、半透過式または透過式に照明可能であるように構成されている、
   請求項１から４のいずれか１項に記載の装置。
6. 前記光源が波長同調可能である、
   請求項５に記載の装置。
7. 前記較正マーク（Ｋ１〜Ｋｎ）の結像が、様々な波長を有する光によって撮影可能であり、前記カメラ（１０）の結像歪みが波長に基づいて決定可能である、
   請求項１から６のいずれか１項に記載の装置。
8. 前記較正マーク（Ｋ１〜Ｋｎ）が、様々なストリップ幅を有するストリップパターンとしておよび／または様々な配向を有する方形としておよび／または英数字記号として構成されている、
   請求項１から７のいずれか１項に記載の装置。
9. カメラ（１０）の結像歪みを決定するための方法において、
   カメラ（１０）を第１の間隔（Ａ１）に焦点合わせするステップ（Ｓ１）と、
   複数の較正マーク（Ｋ１〜Ｋｎ）を備えた３次元表面構造（６）を有するテスト構造ユニット（５）を、該複数の較正マーク（Ｋ１〜Ｋｎ）の前記カメラに対する間隔が互いに異なる状態になるように、前記カメラ（１０）に対して前記第１の間隔（Ａ１）よりも短い第２の間隔（Ａ２）を保って前記カメラ（１０）の視野（３０）内に配置するステップ（Ｓ２）と、
   可変な焦点距離を有する光学素子として設計された、カメラ（１０）によって３次元表面構造（６）を結像するためのレンズユニット（１５）を、カメラ（１０）に対して第３の間隔（Ａ３）を保って前記テスト構造ユニット（５）と前記カメラ（１０）との間に配置されるように、装着するステップ（Ｓ３）と、
   ３次元表面構造（６）の較正マーク（Ｋ１〜Ｋｎ）の結像を、前記焦点距離を制御して、前記カメラ（１０）によって撮影するステップ（Ｓ４）と、
   撮影された結像を評価することにより、前記カメラの結像歪みを制御ユニット（２５）によって決定するステップ（Ｓ５）と、
   を有している、
   カメラ（１０）の結像歪みを決定するための方法。
10. 前記カメラ（１０）の結像歪みとして、前記カメラ（１０）の被写界深度および／または焦点位置の歪みを決定する、
    請求項９に記載の方法。
11. 前記カメラ（１０）の結像歪みとして、前記カメラ（１０）のピッチング歪みおよび／またはヨーイング歪みおよび／またはローリング歪みを決定する、
    請求項９または１０に記載の方法。
12. 前記カメラ（１０）の結像歪みとして、光学収差および／または球面収差および／または非点収差および／または像面湾曲を決定する、
    請求項９から１１のいずれか１項に記載の方法。
13. 前記較正マーク（Ｋ１〜Ｋｎ）の結像を様々な波長を有する光によって撮影し、前記カメラ（１０）の結像歪みを波長に基づいて決定する、
    請求項９から１２のいずれか１項に記載の方法。

Images