JP5944687B2 - 外因パラメータのみのサラウンドビューカメラ自動較正 - Google Patents

Description

(発明の分野）
本発明は、所定の固有較正を有する複数のカメラを備えているカメラシステムを較正する方法に関し、カメラは、車両などの物体に備え付けられ、物体の周囲をカバーする。

（発明の背景）
車両などの現代の物体において、物体のすぐ近くの周囲についての情報を得るという要求が増えている。例えば、車両に関して、運転者は、しばしば駐車距離を制御するセンサより以上の情報を望む。そのような情報は、知らない空間か、狭い空間かもしくは囲まれた空間において、または他の事情により車両を出る運転者も乗客（いる場合）も運転者を支援することが難しい場合、特に有用であり得る。そのような場合、コントロールディスプレイ上に提示され、鳥瞰透視図で車両およびその周囲の両方を示す、実質的に全体の画像を提供することがしばしば望まれる。そのような画像は、通常、駐車距離を感知し制御するためにしばしば用いられるような超音波センサからは得られ得ない。代わりに、そのような画像を得るために、カメラがしばしば用いられる。得られた映像は、通常、運転者または車両を制御する人に容易に見えるコントロールディスプレイにデジタルで提示され得る。この明瞭な全体像は、次いで、囲まれた空間においてでさえ運転者が自分の頭を回すことすらしないで、正確に車両または物体を操縦することを可能にする。そのような情報は、オフロード通路などの起伏の多い地形においてでさえミリメートルの精度を表示し得、岩、木、丸太、および他の障害物を回避し得る。そのような情報はまた、トレーラーと共に運転する場合も特に有用であり得る。従って、花用平鉢、壁などによるひっかき傷は、実質的に回避され得る。システムは、車両が低速で移動しているときでさえ、昼間および夜間の両方において、また、狭い運転状況において他の車両または非移動品目のいずれかとの接触を回避するために有用であり得る。

そのような情報はまた、部分的にまたは完全にさえリモートコントロール下にある物体に対して有用であり得る。

典型的には、実質的に３６０度に近い周囲の環境のビューを得るために、少なくとも２つのカメラが必要である。そのようなカメラは、車両のサイドミラーに備え付けられ得る。これらのカメラから得られる自動車およびその環境についてのデータは、中央コンピュータによって処理され得る。

さらにカメラは、物体の他の位置においてカメラシステムに組み込まれ得、従って例えば、車両に対して交差して動く往来を監視するように働き得る。重要な問題は、盲点／暗影、すなわち、システムのどのカメラによってもカバーされない、車両の周囲の点を回避することである。

そのような全体画像を提供するカメラシステムの重要な局面は、システムの較正である。

カメラ較正のための単純なモデルは、Ｔｓａｉによるモデルであり、Ｔｓａｉによるモデルは、ピンホールカメラまたは同様に透視投影のピンホールモデルを適用し、これらは、基本パラメータのいくつかを説明するように働き得る。

Ｔｓａｉのカメラモデルは、透視投影のピンホールモデルに基づく。３Ｄ世界座標においてある点の位置が与えられるとすると、モデルは、２Ｄ画素座標において点の映像の位置を予測する。Ｔｓａｉのモデルは、５つの内部（ｉｎｔｅｒｎａｌ）（固有または内部（ｉｎｔｅｒｉｏｒ）とも呼ばれる）パラメータと、６つの外部パラメータとを含む１１のパラメータを有する。

内部パラメータは、ピンホールカメラの有効焦点距離を示すｆと、１次（１ｓｔ ｏｒｄｅｒ）ラジアルレンズディストーション係数を示すｋ_１と、ラジアルレンズディストーションの中心の座標を示すＣｘ、Ｃｙと、カメラのセンサ平面を有するカメラ座標フレームのＺ軸の穿孔点と、フレームグラバ水平走査線リサンプリングによる任意の不確定性を説明するスケールファクタを示すｓｘとを含む。

外部（ｅｘｔｅｒｎａｌ）（外因または外部（ｅｘｔｅｒｉｏｒ）とも呼ばれる）パラメータは、世界座標フレームとカメラ座標フレームとの間の変換に対する回転角（オイラー角）を示すＲｘ、Ｒｙ、Ｒｚと、世界座標フレームとカメラ座標フレームとの間の変換に対する平行移動の構成要素を示すＴｘ、Ｔｙ、Ｔｚとを含む。指標ｘ、ｙ、およびｚは、１、２、３として同義に表わされ得る。

内部パラメータは、カメラが映像を形成する仕方を説明し、一方、外部パラメータは、世界座標フレームにおいてカメラの位置および配向を説明する。モデルに対する較正データは、（通常、ｍｍの単位で与えられる）特徴点の３Ｄ（ｘ、ｙ、ｚ）世界座標と、（典型的には、画素の単位で与えられる）映像における特徴点の対応する２Ｄ座標（Ｘｆ、Ｙｆ）とからなる。較正の２つの形式が可能である。すなわち、同一平面上の較正において、較正点は、３Ｄの単一平面にあり、一方、非同一平面上において較正点は、３Ｄ体積を占める。基本較正アルゴリズムの説明は、例えば、非特許文献１および２において与えられる。

カメラを較正する別の方法は、非特許文献３において考察される。

カメラのシステムは、しばしば固定の位置に提供されるマーカを用いることによって較正される。そのような較正に対して、車両などの物体は固定の位置に動かされる。車両は、さらに固定の配向を有する。両方の要件は、かなり困難で時間のかかる作業である。この較正アプローチはまた、全較正セットアップが正確に転送されなければならないかまたはコピー／複製されなければならない、現場を離れた実演において行うこともかなり困難である。いずれの場合においても、マーカ位置および物体に対するマーカの相対的位置は、できるだけ正確に保たれるべきである。

「Ａｎ Ｅｆｆｉｃｉｅｎｔ ａｎｄ Ａｃｃｕｒａｔｅ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ ３Ｄ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ」、Ｒｏｇｅｒ Ｙ．Ｔｓａｉ、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、Ｍｉａｍｉ Ｂｅａｃｈ、ＦＬ、１９８６、ページ３６４〜３７４ 「Ａ ｖｅｒｓａｔｉｌｅ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｈｉｇｈ−Ａｃｃｕｒａｃｙ ３Ｄ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｍｅｔｒｏｌｏｇｙ Ｕｓｉｎｇ Ｏｆｆ−ｔｈｅ−Ｓｈｅｌｆ ＴＶ Ｃａｍｅｒａｓ ａｎｄ Ｌｅｎｓｅｓ」、Ｒｏｇｅｒ Ｙ．Ｔｓａｉ、ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ、Ｖｏｌ．ＲＡ−３、Ｎｏ．４、Ａｕｇｕｓｔ １９８７、ページ３２３〜３４４ 「Ａ ｆｌｅｘｉｂｌｅ ｎｅｗ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ」、Ｚ．Ｚｈａｎｇ、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｖｏｌ．２２、Ｎｏ．１１、ページ１３３０〜１３３４、２０００

（発明の概要）
本発明は、カメラシステムを較正するために上記の問題に対するソリューションを提供する。特に、本ソリューションに従ってカメラシステムを較正する方法は、カメラシステムのすべてのカメラの外因パラメータを提供することによって、較正を非常に順応性のあるようにし、移動可能にし、実施することを容易にする。

本発明は、所定の固有較正を有する複数のカメラを備えているカメラシステムを較正する方法を提供し、カメラは、車両などの物体に備え付けられ、物体の周囲をカバーし、方法は、（ａ）既知の寸法だけ間隔を空けて置かれ、物体の周囲およびカメラの視野内における単一の平面に位置を定められる一セットのマーカの位置を決めるステップと、次いで（ｂ）カメラのためのそれぞれのセットのマーカからカメラの外因パラメータを計算するステップと、次いで（ｃ）複数のカメラのうちのその他のカメラの各々に対して上記ステップ（ａ）および（ｂ）を繰り返すステップとを包含する。

既知の方法によって提供される既知の固有較正を考慮に入れて、本発明に従う方法は、外因パラメータに焦点を合わせる。上記のステップによって、典型的には、複数のカメラのすべては、単一の平面、すなわち同一平面に点を提供することが仮定される、チェッカーボードなどの一セットのマーカを用いることによって較正され得る。これらのボードは典型的には正方形であり得、ボードは実質的に平らであり得る。

各カメラに対する固有カメラパラメータは固有較正から既知であるので、このことは、回転パラメータおよび平行移動パラメータなどの外因パラメータを決定するための基礎を提供する。一セットのマーカは、典型的には外因パラメータを決定するために用いられる線形方程式の任意のシステム（または線形システム）において未知の点の数よりはるかに多い多数の点を提供するので、任意の線形システムセットアップは、最適化が適用され得るように複合要因によって決定される。

上記に説明された方法において、各カメラの視野は、各カメラに隣接する複数のカメラのうちの少なくとも１つと少なくとも部分的にオーバーラップし得る。カメラシステムにおいて用いられるカメラの視野のオーバーラップは、カメラシステムの異なるすなわち独立した複数のカメラによって見られる対応する映像点を提供する利点を提供する。単一の平面内の一セットの複数のマーカ、その寸法および拡張は、通常周知であるので、オーバーラップは、較正の誤差の減少すなわちカメラパラメータの正確な決定にさらに寄与する。

上記に説明される方法において、一セットのマーカは、隣接するカメラの視野のオーバーラップする領域において選択され得る。一セットのマーカは、典型的には、隣接するカメラのオーバーラップ領域において選ばれる。例えば、１つの平面内に位置を定められるカメラに対して、この平面は、各カメラの左右の隣接平面をいい、可能であれば各カメラに対して対応する点を提供する。

複数のカメラのうちの少なくとも１つに対して上記に説明されるような方法において、それぞれのセットのマーカは、それぞれのカメラの外因パラメータが原点を参照し得るように原点を含み得る。従って基準点としての世界座標系の原点が、導入され得る。

上記に説明されるような方法は、（ｃ）において得られたその他のカメラの外因パラメータに対して複数のカメラの各々に対して第２のセットの外因パラメータを計算するステップ（ｄ）をさらに包含し得る。これらの追加のステップによって、カメラの較正は、隣接するカメラに対してテストされ得る。すなわち、カメラの外因パラメータは、その隣接するカメラのうちの１つに対して表わされ得る。しかしながら、これらのパラメータはまた、上記カメラの別の隣接するカメラに対して提供され得る。このことは、次いで、すべてのカメラに対してうまく継続させられ得、さらなる最適化に適している一セットの等式を得る。

上記に説明されるような方法は、原点に対してその他のカメラの各々に対して第３のセットの外因パラメータを推定するステップ（ｅ）をさらに包含し得る。基準点として既に上記に示されたように、原点は、原点に対して１つのカメラから見たような任意の他のカメラの外因パラメータを表す可能性を提供し、それによって、後の最適化において用いられるさらなる情報に対して可能性を提供する。

上記に説明されるような方法は、複数のセットの外因パラメータを最適化するステップ（ｆ）をさらに包含し得る。測定値のノイズがなく、上記の推定される外因パラメータは正確である。しかしながら、各測定は通常、例えばノイズによるいくらかの不確実性を伴うので、最適化ステップは必要である。典型的には、最小化問題は、平均最小２乗法を用いて、パラメータの推定値を最小限にし得る。そのような方法は、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔアルゴリズムを用いることによって実装され得、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔアルゴリズムは、Ｎｅｗｔｏｎ−Ｇａｕｓｓと最急降下法とを組み合わせる。

上記に説明されるような方法において、最適化は、典型的には、ステップ（ｅ）の推定結果を用いる再投影の誤差を最小限にする。すなわち、選ばれた一セットのマーカの再投影は、通常、最小限の誤差をもたらす。

上記に説明されるような方法において、最適化は、典型的には、ステップ（ｄ）の結果間の相違を最小限にする。これは、上記に考察されたように、最小化法に対するさらなる制約として用いられ得、従ってこれは、最小化問題における自由パラメータの数を減少させ、方法の集中を改善する。

上記に説明されるような方法において、最適化は、各カメラの前部の既知の位置において追加のセットのマーカを用いることによってさらに制約され得る。これらは、最小限問題のパラメータにおける限度を提供する追加の情報であり、問題の集中をさらに改善する。さらに、最小２乗法の代わりに最適化問題に最大可能性アプローチを適用することも可能であり得る。

上記に説明されるような方法において、カメラの投影面に垂直なひずみは、典型的には多項式によって近似される。従ってカメラのひずみは、多項式近似によって、すなわち関数近似を敏速に用いて近似され得る。この点において、例えばスプラインなどの異なる関数によってひずみに近似することも可能であり得る。

上記に説明されるような方法において、カメラは魚眼カメラである。通常、１２０°以上であり得る大開き角度を有する直線カメラは、用いるのに非常に複雑で、備え付けるのに費用がかかる。魚眼カメラを用いることは、典型的には、頑丈で、十分に扱い易いセットのカメラを提供する可能性を提供する。典型的には、上記カメラの水平開き角度は、１７５°以上である。そのようなカメラはまた、次いで隣接するカメラを少なくとも部分的に見る可能性を提供し得、このことは、外因パラメータを較正するためにさらに豊富な情報を提供する。

上記に説明されるような方法において、カメラは、物体の少なくとも１つの対称軸に対して対称に配置され得る。物体において、特に車両に関して、そのようなカメラは、車両の左および右のミラーに備え付けられ得る。さらに少なくともカメラは、車両の前部および／または後部に備え付けられ得る。より大きい物体に対して、物体のルーフのリム近くなど、カメラのための追加または他の位置が選ばれ得る。

上記に説明される方法において、カメラの数は４であり得る。これは、いくつかの車両製造業者に対して現在採用されているＳｕｒｒｏｕｎｄ−Ｖｉｅｗシステムなどのシステムにおいて用いられ得るカメラの選択である。

本発明に従って、コンピュータ上で実行される場合、上記請求項のうちの一項の方法のステップを実行するコンピュータ実行可能命令を有する少なくとも１つのコンピュータ読み取り可能媒体を含むコンピュータプログラム製品がさらに提供される。すなわち、本発明は、上記に説明された方法に従って、カメラシステムを較正するように適合されるコンピュータプログラム製品または装置を提供し得る。上記装置は、上記に説明された方法に従って上記に説明されたカメラシステムを較正する手段を含み得る。

例えば、本発明は以下の項目を提供する。
（項目１）
所定の固有較正を有する複数のカメラを備えているカメラシステムを較正する方法であって、該カメラは、車両などの物体に備え付けられ、該物体の周囲をカバーする、該方法は、
（ａ）既知の寸法だけ間隔を空けて置かれ、該物体の該周囲およびカメラの視野内における単一の平面に位置を定められる一セットのマーカの位置を決めるステップと、
（ｂ）該カメラのための該それぞれのセットのマーカから該カメラの外因パラメータを計算するステップと、
（ｃ）該複数のカメラのうちのその他のカメラの各々に対してステップ（ａ）および（ｂ）を繰り返すステップと
を包含する、方法。
（項目２）
各カメラの上記視野は、各カメラの隣接するカメラのうちの少なくとも１つと少なくとも部分的にオーバーラップする、上記項目のいずれかに記載の方法。
（項目３）
上記一セットのマーカは、隣接するカメラの上記視野の上記オーバーラップする領域において選択される、上記項目のいずれかに記載の方法。
（項目４）
上記複数のカメラのうちの少なくとも１つに対して、上記それぞれのセットのマーカは、上記それぞれのカメラの上記外因パラメータが原点を参照するように該原点を含む、上記項目のいずれかに記載の方法。
（項目５）
ステップ（ｃ）において得られた上記その他のカメラの上記外因パラメータに対して上記複数のカメラの各々に対して第２のセットの外因パラメータを計算するステップ（ｄ）をさらに包含する、上記項目のいずれかに記載の方法。
（項目６）
上記原点に対して上記その他のカメラの各々に対して第３のセットの外因パラメータを推定するステップ（ｅ）をさらに包含する、上記項目のいずれかに記載の方法。
（項目７）
上記セットの外因パラメータを最適化するステップ（ｆ）をさらに包含する、上記項目のいずれかに記載の方法。
（項目８）
上記最適化は、ステップ（ｅ）の上記推定結果を用いる上記セットのマーカにおける再投影の誤差を最小限にする、上記項目のいずれかに記載の方法。
（項目９）
上記最適化は、ステップ（ｄ）の結果間の相違を最小限にする、上記項目のいずれかに記載の方法。
（項目１０）
上記最適化は、各カメラの前部の既知の位置において追加のセットのマーカを用いることによってさらに制約される、上記項目のいずれかに記載の方法。
（項目１１）
カメラの投影面に垂直なひずみは、多項式によって近似される、上記項目のいずれかに記載の方法。
（項目１２）
上記カメラは、魚眼カメラである、上記項目のいずれかに記載の方法。
（項目１３）
上記カメラは、上記物体の少なくとも１つの対称軸に対して対称に配置される、上記項目のいずれかに記載の方法。
（項目１４）
上記カメラの数は、４つである、上記項目のいずれかに記載の方法。
（項目１５）
コンピュータ上で実行される場合、上記項目のいずれかのステップを実行するコンピュータ実行可能命令を有する少なくとも１つのコンピュータ読み取り可能媒体を含むコンピュータプログラム製品。

(摘要）
所定の固有較正を有する複数のカメラを備えているカメラシステムを較正する方法であり、カメラは、車両などの物体に備え付けられ、物体の周囲をカバーし、方法は、既知の寸法だけ間隔を空けて置かれ、物体の周囲およびカメラの視野内における単一の平面に位置を定められる一セットのマーカの位置を決めるステップと、次いでカメラのためのそれぞれのセットのマーカからカメラの外因パラメータを計算するステップと、複数のカメラのうちのその他のカメラの各々に対してステップを繰り返すステップとを包含する。

本発明の上記および他の局面、特徴および利点は、添付の図面と関連して解される場合、以下の詳細な説明からより明らかとなる。

本発明に従って較正され得るカメラシステムの構成。 本発明に従って較正され得るカメラシステムのカメラの捕捉。 本発明に従うカメラシステムの外因パラメータを較正する方法の概略図。 車両の周囲を見る最大６台のカメラから構成されるカメラシステムの一実施例。

（詳細な説明）
以下において、４つのカメラを有するカメラシステムが考察される。カメラの数は決して限定することとして理解されるべきではなく、単に説明の目的のために選ばれることとして理解されるべきであり、カメラの数は、カメラシステムの特定の用途に従って異なるシステムおよび異なる目的のために変化し得る。

図１は、４つのカメラから構成されるカメラシステムを有する物体１を描く。カメラは、前部カメラを示す２Ｆ、後方／後部カメラを示す２Ｂ、左カメラを示す２Ｌ、および右カメラを示す２Ｒとして表わされる。物体１は、実質的に直方体として描かれる。カメラ２Ｆ、２Ｂ、２Ｌ、および２Ｒは、黒点として描かれ、黒点は、例えば車両である物体１を表わす直方体の長軸ＡＬおよび短軸ＡＲに対して対称的に配置される。図１において、カメラ２Ｆ、２Ｂ、２Ｌ、および２Ｒは、それらが実質的に同じ高さ、または図１において垂直軸を表わすｚにおける実質的に同じ位置にあるように位置を決められる。図１は、−８０００ｍｍ〜８０００ｍｍのミリメートル単位でのｘ軸と、−５０００ｍｍ〜５０００ｍｍのｙ軸とを描く。ｚ軸は、ミリメートル単位で０〜５０００ｍｍの範囲を示す。これらの範囲が単に例示的目的のために選ばれ、他の範囲が用いられ得ることは理解されるべきである。

カメラシステムのカメラ２Ｆ、２Ｂ、２Ｌ、および２Ｒは、超広角カメラなどの大開き角度（ｏｐｅｎｉｎｇ ａｎｇｌｅ）を有する。これらのカメラ２Ｆ、２Ｂ、２Ｌ、および２Ｒの開き角度は、例えば１２０°より大きい場合がある。これらのカメラの水平開き角度は、１７５°以上であり得る。あるいは、カメラは、物体の全周囲をできるだけ多くカバーするために、物体１の周囲に対して対称的に位置を決められ得る。等高線ＣＬは、図１において破線で描かれる。例えば車両などの物体１の構造的局面のために、側面方向を見るために物体１の側面にこれらのカメラを備え付けることはより厄介となり得る。従って、カメラ２Ｆ、２Ｂ、２Ｌ、および２Ｒは、物体１の側面の十分なビューおよびカバーを提供するために、車両のミラー（図示されていない）など、物体１の最も外側の左および右の点に備え付けられ得る。

カメラ２Ｆ、２Ｂ、２Ｌ、および２Ｒの投影空間は図１に示され、図１において、距離はミリメートル単位で示される。物体１のボウル形投影表面の底部は、底部の点が実質的に平面にのみ与えられるように平らである。

図２は、魚眼カメラなどの４つのカメラで見られるように、チェッカーテストボード４の一実施例を示し、ここで、これらのカメラによるビューは、３Ｆ（前部）、３Ｂ（後方／後部）、３Ｌ（左）、および３Ｒ（右）として表わされる。図２のビューを生成するカメラは、図１に示されるように、カメラ２Ｆ、２Ｂ、２Ｌ、および２Ｒに対応し得る。図２のカメラの各々は、例えば、複数のカメラの少なくとも２つのビュー平面におけるチェッカーテストボードを示す。

図１のカメラに関して、例えば、カメラ２Ｆ（前部）および２Ｒ（右）は、図２に示されるように、ビュー３Ｆおよび３Ｒにおけるチェッカーボード４などのテストボードを見る。すなわち同じボード４は、少なくとも２つのカメラの各々によって見られる。

図１および図２に描かれるセットアップに対して、較正の方法は、後に説明される。この実施例においてカメラの数が４であるが、カメラの数が変化し得、より少ないかまたはより多いカメラが選ばれ得ることは再び強調されるべきである。上記に説明されたように、以下において較正の方法は、図１に描かれるように４つのカメラ２Ｆ、２Ｂ、２Ｌ、および２Ｒを有するカメラシステムに関する。これらのカメラ２Ｆ、２Ｂ、２Ｌ、および２Ｒは、図２に関して考察されたようにビュー３Ｆ、３Ｂ、３Ｌおよび３Ｒを生成し得る。

各カメラ、ここではカメラシステムの２Ｆ、２Ｂ、２Ｌ、および２Ｒに対する固有較正が、既知であり、適切な較正方法によって達成されたと仮定すると、外因パラメータの決定は、固有パラメータの較正から分離すると仮定される。回転パラメータおよび平行移動パラメータである外因パラメータは、ここで、例えば図２に見られるようにチェッカーボード４などの一セットのテストマーカを示す単一の平面から引き出し可能であり、一セットのマーカに対する唯一の要件はそれらの寸法が既知であるべきことである。すなわち、一セットのテストマーカの外側サイズは既知であるべきであり、テストマーカ間の距離は既知であるべきである。典型的には、テストマーカは、実質的に平らな平面に位置を定められる。チェッカーボード４に対して、そのサイズは、既知であるべきであり、ボードの黒と白の正方形または長方形のサイズは、既知であるべきである。

典型的には、図２のカメラ２Ｆ、２Ｂ、２Ｌ、および２Ｒなどの魚眼様カメラは、異なるマッピング機構を有する。各カメラのカメラ挙動を説明する特定のカメラ応答関数は、得るのが困難であり得る。従って、ひずみは、多項式またはスプラインなどの適切な近似関数によって近似させられ得る。

以下において、平行移動行列Ｔは、カメラへのパターン／一セットのマーカの平行移動に対する外因パラメータを説明し、さらに回転行列Ｒは、オイラー角などの回転外因パラメータを説明する。外部パターン座標系において、点は、Ｘ＝［Ｘ，Ｙ，Ｚ，１］’として説明される。以下の説明の全体にわたり、複数の成分を有するベクトルの記号は、例えば［ｘ，ｙ，ｚ］として表わされる。転置ベクトルは、［ｘ，ｙ，ｚ］’または［ｘ，ｙ，ｚ］^Ｔとして表わされ得る。魚眼カメラのうちの１つの映像によって見られるように、点の投影Ｘ＝［Ｘ，Ｙ，Ｚ，１］は、ｘ＝［ｘ，ｙ，ｚ］’として説明される。ここで、上記に考察されたように、ｚは、それぞれのカメラのひずみの多項式近位などの近似によって、
ｚ＝ａ_０＋ａ_１ｄ＋ａ_２ｄ^２…＋ａ_ｎｄ^ｎ
として与えられ、ここでｄは映像中心に対する投影点の距離を表わし、ｎは近似のために選ばれた多項式の次数を表わす。

以下において、Ｈは射影行列を表わし、それに対して、Ｈおよびｘは共線的であるので、Ｈとｘとのクロス乗積は０であることに注意することは重要である。Ｈは、

によって与えられる。

以下に対して、Ｚ＝０であること、すなわちそれぞれの点が外部パターン座標系のＸＹ平面に位置を決められることが仮定される。この仮定の下で、以下の等式が得られ得る。

本出願人は、ｚに対するひずみの近似を考慮に入れて、等式（２）から以下の線形系を引き出す。

開始するために、テストボードに位置を定められるすべての点に対して最後の２つの等式のみが考慮され、以下の定義を用いて

、最後の２つの等式から

が得られ得る。

チェッカーボードなどの一セットのマーカからの点の数は、通常、未知の点の数よりはるかに多いので、

などの最小２乗規範によって線形系を解くことが可能である。

さらに、回転行列Ｒの列が正規直交であることは注意されるべきである。従って、回転行列Ｒの残りの成分は、独自に決定される。

従って、システム内において外因の回転および平行移動パラメータは、Ｔ_３を除いて決定される。

以下において、Ｔ３に対して解くために、回転パラメータＲおよび平行移動パラメータＴに対して上記で得られた式を考慮に入れ、（３）の最初の２つの式が用いられる。次いで以下の式が得られる。

ここで、以下の省略が用いられる。

ここで、指標ｊは、テストボード上の点、すなわち較正に用いられるテストセットのマーカを表わす。

等式（６）に関して、複合要因によって決定された線形系が得られる。この系は、Ｍｏｏｒ−Ｐｅｎｒｏｓｅ一般逆行列（以下、単に一般逆行列）を用いることによって解かれ得、一般逆行列は、線形等式の系に対して（最小２乗などの）最良適合を計算する。これはまた次いで、複数の解を有する線形等式の系に対する最小（ユークリッド）ノルム解に役立つ。入力が実数または複素数であるすべての行列に対して一般逆行列が定義されかつ固有であることは注意されるべきである。一般逆行列は、特異値分解（ＳＶＤ）を用いて実装され得る。

Ｔ_３に対して解いて、

が得られ、これから、回転行列Ｒおよび平行移動行列Ｔのすべてのパラメータがここで決定された。すなわち、図１および図２のカメラの各々および各特定のテストボードに対する外因パラメータが得られた。

次いで、第１のカメラの外因パラメータに対して（おおざっぱにいうと、第１のカメラに対して）第２のカメラの外因パラメータ（おおざっぱにいうと、第２のカメラ）を表わすことが可能である。例えば、図１および図２に示されるように、第１のカメラが前部カメラであり第２のカメラが右カメラである場合、ＲＢｏａｒｄ_１ＬおよびＲＢｏａｒｄ_１Ｒは、カメラ１に対するボードの左回転行列および右回転行列を表わす。対応する平行移動パラメータは、それぞれＴＢｏａｒｄ_１ＬおよびＴＢｏａｒｄ_１Ｒとして表わされる。第２のカメラは、次いで第１のカメラに対する第２のカメラの位置において表わされ得る。すなわち、

上記のスキーム内において、カメラ２のパラメータは、カメラ１に対して表わされた。このスキームに続いて、図１および図２における後部カメラである、第３のカメラすなわちカメラ３は、カメラ２に対して表わされ得る。さらに、図１および図２における左側の第４のカメラすなわちカメラ４は、カメラ１に対して表わされ得る。

ここで、２つの異なる方法でカメラ１に対するカメラ３（後方）の外因パラメータを表わすことが可能である。中間結果として第２のカメラのパラメータを用い得るかまたは同様に、中間結果して第４のカメラのパラメータを用い得るかのいずれかである。これらの２つの選択肢は、以下の２つの式によって表わされ得る。

全体の基準点を得るために、前部カメラすなわちカメラ１の外因パラメータは、典型的にはカメラの前の地上に一セットのテストマーカすなわち較正ボードを配置することによって決定され得る。地上の前の較正ボードのこの位置は、ボードの中間軸が車両の前部の中間、従って較正の中間開始点とおおよそ一致するように選ばれる。従ってボードは、自動車の軸に沿って自動車と実質的に平行になるように選ばれる。この方法で、自動車に対する前部カメラ外因較正が達成される。この較正は、非常に雑で、近似であるが、後の較正の開始点を簡易にかつ容易に実現し、提供する。

一セットのテストマーカすなわちボードの寸法は、事前に決められ、既知であり、上記の方法のための入力として用いられ得る。従って、第１のカメラのための外因パラメータは、全体の基準点に対して得られる。

残りの３つのカメラのパラメータ、すなわち、この実施例において、方法を限定することなく、後方カメラ３、左カメラ４および右カメラ２は、ここで原点に対して表わされ得、原点は基準点に対し、すなわち、

である。

このようにして、カメラシステムのすべてのカメラ、すなわちここではカメラ１〜４に対する外因パラメータの推定値が得られる。推定値のこれらの値は、カメラノイズおよびひずみがなく正確であり、理想的なシナリオと言える。しかしながら、カメラノイズもひずみも無視することができないので、各カメラから得られた測定値は、最適化手順のための入力として用いられる。

最適化は、例えば、Ｎｅｗｔｏｎ−Ｇａｕｓｓと最急降下法との組み合わせであるＬｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔアルゴリズムを用いる平均最小２乗法を用いて行われ得る。

最適化内において、さらなる制約が考慮に入れられ得る。推定された結果を用いる、較正ボードに対する再投影は、最小限の誤差を提供すべきである。さらに、等式（１０）および（１１）、すなわち上記の２つの異なる方法によって計算されるカメラパラメータは、同じ結果をもたらすべきである。各カメラの前、通常地上に位置を定められる追加のボードが用いられ得、その結果、地上にあるこれらの点は、最適化問題に対するさらなる制約を提供し得る。

図３は、本発明に従うカメラシステムの外因パラメータを較正する方法の概略図を示す。カメラシステムは、図１および図２に関して描かれ考察されたようなカメラシステムを再び参照し得る。

ステップ２００において、物体の周囲およびカメラの視野において既知の寸法だけ間隔を空けて置かれ、単一の平面に位置を定められる一セットのマーカの位置を決める。ステップ２１０において、方法は、カメラに対するそれぞれ一セットのマーカからカメラの外因パラメータを計算することに関する。ステップ２２０において、ステップ２００および２１０が複数のカメラのうちのその他のカメラの各々に対して繰り返される。ステップ２３０において、２２０で得られたその他のカメラの外因パラメータ関する複数のカメラの各々に対する第２のセットの外因パラメータが計算される。ステップ２４０において、原点に関するその他のカメラの各々に対する第３のセットの外因パラメータに対する推定値が提供される。ステップ２５０において、ステップ２４０の一セットの外因パラメータが最適化される。ステップ２５０の最適化は、２５３各カメラの前部の既知の位置において追加のセットのマーカを用いることによる２４０、２５５制約の推定結果を用いて一セットのマーカにおける再投影の誤差を最小限にすることの１つ以上、および２５７異なるカメラに対する２３０の結果間の相違を最小限にすることを考慮に入れ得る。ステップ３００において、結果は、カメラシステムを制御する制御システムの出力ユニットに出力される。

上記に説明された方法は、コンピュータプログラム製品を表し得る制御システムまたは制御ユニットにおいて実装され得る。方法は、上記の制御システムに含まれるハードディスク、フラッシュディスク、フラッシュメモリまたは任意の他の現代のメモリユニットなどの少なくとも１つのコンピュータ読み取り可能媒体に格納され得る。従ってメモリは、制御ユニットなどのコンピュータ上で実行される場合、上記の請求項うちの１つの方法のステップを実行するコンピュータ実行可能命令を有し得る。これらのコンピュータ実行可能命令は、例えば、Ｃ_＋＋などのオブジェクト指向コンピュータ言語で符号化され得る。

カメラシステムから得られたデータは、物体の制御ユニットによって有利に考慮に入れられ得る。制御ユニットは、通常、車両の運転者に容易に見える適切なディスプレイにデータの映像を提供し得る。得られた結果はまた、物体の速度を制御する速度制御システムと組み合わされ得る。物体の視界、速度、近辺、近くの物体の速度の変化のうちの１つ以上に関する所定の閾値は、考慮に入れられ得、物体を制御する運転者または人に、自身の決定を支援するために信号で伝えられ得る。

図４は、さらなる実施例を示す。車両１０は、６つのカメラを有するカメラシステムが装備され、６つのカメラは、前を示す１１Ｆ、後方／後を示す１１Ｂ、右を示す１１Ｒ、左を示す１１Ｌ、車両の前左を見るカメラを示す１１ＦＬ、車両の前右を見るカメラを示す１１ＦＲ、車両の後方左を見るカメラを示す１１ＢＬ、およびカメラの後方右を見るカメラを示す１１ＢＲである。カメラ１１Ｆ、１１Ｂ、１１Ｌ、１１Ｒ、１１ＦＬ、１１ＦＲ、１１ＢＬおよび１１ＢＲのセットは、車両１０の周囲を実質的にカバーする。図１および図２に示されるカメラシステムと同様に、これらのカメラは、視野のオーバーラップを有する。

カメラシステムから得られたデータをパターン認識ユニットと組み合わせることがさらに可能であり、パターン認識ユニットは、得られたデータを人、動物のシルエット、またはさらに熱放射源のシルエットなどの所定のパターンと比較することが可能である。このことは、夜間に物体を安全に導くのに十分な視界を提供するために特に重要であり得る。

周囲の視知覚のためのカメラの数および赤外線、すなわち周囲の熱知覚のためのさらなるカメラの数が、種々であり、またはこれらのカメラが車両のヘッドライト外の領域をカバーするために、異なる主方向に向けられることがさらに可能であり得る。

カメラが道路標識または交通信号灯または警告標識、特に、これらのさらなる情報が考慮に入れられるように、運転者の視野にないこれらのものなどの交通情報を自動記録し得ることがさらに可能であり得る。

本発明は、本発明の特定の好ましい実施形態に関して示され、説明されたが、形式および細部における様々な変更が添付の特許請求の範囲によって定義されるような本発明の精神及び範囲から逸脱することなく本発明において行われ得ることは当業者によって理解される。

１ 物体
４ チェッカーボード
１０ 車両

Claims (12)

1. 所定の固有較正を有する複数のカメラを備えているカメラシステムを較正する方法であって、該複数のカメラは、物体に備え付けられ、該物体の周囲をカバーする、該方法は、
   （ａ）既知の寸法だけ間隔を空けて置かれ、かつ、該物体の該周囲およびカメラの視野内における単一の平面に位置を定められる一セットのマーカの位置を決めるステップと、
   （ｂ）該カメラのためのそれぞれのセットのマーカから該カメラの外因パラメータを計算するステップと、
   （ｃ）該複数のカメラのうちのその他のカメラの各々に対してステップ（ａ）およびステップ（ｂ）を繰り返すステップであって、該複数のカメラのうちの少なくとも１つに対して、それぞれのカメラに対する該それぞれのセットのマーカの寸法が基準値として用いられ、該それぞれのカメラの該外因パラメータは、該基準値に対して取得される、ステップと、
   （ｄ）該複数のカメラの各々に対して、ステップ（ｃ）において取得された該その他のカメラの該外因パラメータに対する第２のセットの外因パラメータを計算するステップと、
   （ｅ）該その他のカメラの各々に対して、該基準値に対して取得された第３のセットの外因パラメータを推定するステップと
   を含む、方法。
2. 各カメラの前記視野は、各カメラの隣接するカメラのうちの少なくとも１つと少なくとも部分的にオーバーラップする、請求項１に記載の方法。
3. 前記一セットのマーカは、隣接するカメラの前記視野の前記オーバーラップする領域において選択される、請求項２に記載の方法。
4. 前記セットの外因パラメータを最適化するステップ（ｆ）をさらに含む、請求項１に記載の方法。
5. 前記最適化は、ステップ（ｅ）の前記第３のセットの外因パラメータを用いる前記セットのマーカに対する再投影の誤差を最小化する、請求項４に記載の方法。
6. 前記最適化は、ステップ（ｄ）の結果間の相違を最小化する、請求項４または５に記載の方法。
7. 前記最適化は、各カメラの前部の既知の位置において追加のセットのマーカを用いることによってさらに制約される、請求項４〜６のいずれか一項に記載の方法。
8. 撮像面に投影された画像のひずみは、多項式によって近似される、請求項１〜７のいずれか一項に記載の方法。
9. 前記カメラは、魚眼カメラである、請求項１〜８のいずれか一項に記載の方法。
10. 前記カメラは、前記物体の少なくとも１つの対称軸に対して対称に配置される、請求項１〜９のいずれか一項に記載の方法。
11. 前記カメラの数は、４つである、請求項１〜１０のいずれか一項に記載の方法。
12. コンピュータ実行可能命令が格納されたコンピュータ読み取り可能な格納媒体であって、該コンピュータ実行可能命令は、請求項１〜１１のいずれか一項に記載の方法のステップを実行することをコンピュータに行わせるためのものである、コンピュータ読み取り可能な格納媒体。

Images