JP6327370B2 - 計測用具、校正方法、校正装置及びプログラム - Google Patents

Description

本発明は計測用具、校正方法、校正装置及びプログラムに関する。

被写体までの距離を計測できるステレオカメラが利用されている。例えば自動車に搭載されたステレオカメラ（以下「車載ステレオカメラ」という。）により、自動車前方の被写体までの距離を計測して、自動車を制御する技術が実用化されている。車載ステレオカメラが計測した距離は、例えば自動車の衝突防止や車間距離の制御等の目的で、運転者への警告、ブレーキ及びステアリング等の制御に利用されている。また自動車等の移動体に搭載されたステレオカメラを校正する技術が知られている。

例えば特許文献１には、ステレオカメラの光学的な歪みと位置的なずれとを、所定のパターンを有するチャートが撮影された画像データに基づく画像処理によって調整する発明が開示されている。

しかしながら従来の技術では、チャートとステレオカメラとの相対位置のずれを正確に計測することが難しく、この相対位置のずれを正確に考慮してステレオカメラを校正することが難しかった。

本発明は、上記に鑑みてなされたものであって、より高い精度でステレオカメラを校正することができる計測用具、校正方法、校正装置及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、ステレオカメラの校正に使用されるチャートを含む面を有する第１部材と、前記第１部材の面上に設置される計測部材と、を備え、前記計測部材は、前記面上の位置に依らずに一様な強度の光を放射する光源と、前記光源を被覆し、複数の第１の穴と、前記第１の穴よりも大きい複数の第２の穴と、から前記光を放射する第２部材と、を含む。

本発明によれば、より高い精度でステレオカメラを校正することができるという効果を奏する。

図１は第１実施形態の計測用具と、ステレオカメラと、校正装置との関係の例を示す図である。 図２は第１実施形態のステレオカメラの機能構成の例を示す図である。 図３はステレオカメラを使用した距離の計測原理を説明するための図である。 図４は第１実施形態の計測用具の正面を示す正面図である。 図５Ａは第１実施形態の角度計測板の正面を示す正面図である。 図５Ｂは第１実施形態の角度計測板のＡ−Ａ断面を示す断面図である。 図５Ｃは第１実施形態の角度計測板のＢ−Ｂ断面を示す断面図である。 図６は第１カメラの光学中心の位置から第２部材に開けられた第１の穴１０６、第１の穴１０７及び第１の穴１０８を見た場合を説明するための図である。 図７Ａは第１カメラの光学中心の位置から第１の穴１０６を見た場合の第１の穴１０６の形を示す図である。 図７Ｂは第１カメラの光学中心の位置から第１の穴１０７を見た場合の第１の穴１０７の形を示す図である。 図７Ｃは第１カメラの光学中心の位置から第１の穴１０８を見た場合の第１の穴１０８の形を示す図である。 図８は光学ボケを含まない場合の角度計測板の像を示す図である。 図９は光学ボケを含む場合の複数の第１の穴の像を示す図である。 図１０は図９の輝度の山の裾野の半径の大きさを説明するための図である。 図１１は第１カメラの光学中心の位置から第２部材に開けられた第２の穴１２１、第２の穴１２２及び第２の穴１２３を見た場合を説明するための図である。 図１２Ａは第１カメラの光学中心の位置から第２の穴１２１を見た場合の第２の穴１２１の形を示す図である。 図１２Ｂは第１カメラの光学中心の位置から第２の穴１２２を見た場合の第２の穴１２２の形を示す図である。 図１２Ｃは第１カメラの光学中心の位置から第２の穴１２３を見た場合の第２の穴１２３の形を示す図である。 図１３は第１実施形態の第２の穴の用途を説明するための概念図である。 図１４は撮像面の第１の穴の像の輝度ピークの位置と、角度計測板の傾きとの関係を説明するための図である。 図１５は計測用具の位置を示す平面の方程式を決定する方法を説明するための図である。 図１６は第１実施形態の校正装置の構成の例を示す図である。 図１７は第１実施形態の校正方法の例の概略を示すフローチャートである。 図１８は第１実施形態の校正方法の例を示すフローチャートである。 図１９Ａは第２実施形態の角度計測板のＡ−Ａ断面を示す断面図である。 図１９Ｂは第２実施形態の角度計測板のＢ−Ｂ断面を示す断面図である。 図２０は光の屈折の角度について説明するための図である。 図２１は第２実施形態の第１の穴から放射される光について説明するための図である。 図２２は計測用具の傾きと、複数の第１の穴の像の輝度ピークの位置のずれとの関係を説明するための図である。 図２３はモアレ周期と、第１の穴の像の輝度ピークの移動範囲との関係について説明するための図である。 図２４は隣接する第１の穴の像の輝度ピークの位置について説明するための図である。 図２５は第１及び第２実施形態の校正装置のハードウェア構成の例を示す図である。

以下に添付図面を参照して、計測用具、校正方法、校正装置及びプログラムの実施形態を詳細に説明する。

（第１実施形態）
図１は第１実施形態の計測用具２０と、ステレオカメラ１０と、校正装置３０との関係の例を示す図である。図１の例は、自動車のフロントガラスの内側に取り付けられたステレオカメラ１０（車載ステレオカメラ）により撮影された撮影画像を校正する場合を示す。

ステレオカメラ１０は、自動車の前方の被写体を撮影し、被写体までの距離を計測する。

計測用具２０は、ステレオカメラ１０を校正する校正パラメータを決定するための計測データを取得するために使用される。計測用具２０はステレオカメラ１０の撮影範囲に入るように設置される。例えば計測用具２０はステレオカメラ１０からおよそ２ｍの距離に、ほぼ正対するように設置される。第１実施形態の計測用具２０は、角度計測板１０１及び第１部材１０２を備える。角度計測板１０１は水平方向に傾いた計測用具２０のずれを示す角度、及び垂直方向に傾いた計測用具２０のずれを示す角度の計測に使用される。第１部材１０２はステレオカメラ１０を校正するためのチャートとして使用される。

校正装置３０は、計測用具２０を使用して得られた計測データから校正パラメータを決定するコンピュータである。

次に第１実施形態のステレオカメラ１０の機能構成について説明する。

図２は第１実施形態のステレオカメラ１０の機能構成の例を示す図である。第１実施形態のステレオカメラ１０は、第１カメラ１、第２カメラ２、記憶部３、外部Ｉ／Ｆ４、補正部５及び算出部６を備える。第１カメラ１は被写体を撮影して第１撮影画像を取得する。第２カメラ２は被写体を撮影して第２撮影画像を取得する。第１カメラ１及び第２カメラ２は光軸が平行になるように並列に配置されている。第１カメラ１及び第２カメラ２の撮影タイミングは同期されており、同じ被写体を同時に撮影する。

記憶部３は第１撮影画像、第２撮影画像、及び校正パラメータを記憶する。校正パラメータは、ステレオカメラ１０の組み付け公差及びフロントガラス等に起因する第１撮影画像及び第２撮影画像のずれを補正するときに使用されるパラメータである。校正パラメータは本実施形態の校正方法により決定される。外部Ｉ／Ｆ４は、記憶部３のデータの入出力を行うためのインターフェースである。ステレオカメラ１０で使用される校正パラメータは、本実施形態の校正方法により決定され、外部Ｉ／Ｆ４を使用して記憶部３に記憶される。

補正部５は、記憶部３から第１撮影画像、第２撮影画像及び校正パラメータを読み出す。補正部５は校正パラメータに応じた画像補正式により第１撮影画像及び第２撮影画像を補正する。画像補正式は第１撮影画像（第２撮影画像）の座標を変換することにより第１撮影画像（第２撮影画像）を補正する式である。例えば第１撮影画像（第２撮影画像）の座標をアフィン変換により補正する場合には、当該画像補正式は行列により表現できるので、校正パラメータは行列の成分である。また第１撮影画像（第２撮影画像）の座標を非線形な変換により補正する場合には、校正パラメータは当該変換を表す多項式などの係数である。なお補正部５は、第１撮影画像及び第２撮影画像のいずれか一方を補正するようにしてもよい。すなわち画像補正式は、いずれか一方の撮影画像を基準にして、もう一方の撮影画像を補正するための画像補正式でもよい。補正部５は、補正後の第１撮影画像及び補正後の第２撮影画像を算出部６に入力する。

算出部６は補正後の第１撮影画像及び補正後の第２撮影画像から、被写体毎の視差を算出する。ここで、視差と、視差を用いた距離計測原理について説明する。

図３はステレオカメラ１０を使用した距離の計測原理を説明するための図である。図３の例では、第１カメラ１（焦点距離ｆ、光学中心Ｏ_０、撮像面Ｓ_０）がＺ軸を光軸方向として配置されている。また第２カメラ２（焦点距離ｆ、光学中心Ｏ_１、撮像面Ｓ_１）がＺ軸を光軸方向として配置されている。第１カメラ１及び第２カメラ２はＸ軸に対して平行に、距離Ｂ（基線長）だけ離れた位置に配置される。以下、図３の座標系を「カメラ座標系」という。また第１カメラ１の光学中心を基準とした座標系を「第１カメラ座標系」という。また第２カメラ２の光学中心を基準とした座標系を「第２カメラ座標系」という。

第１カメラ１の光学中心Ｏ_０から光軸方向に距離ｄだけ離れた位置にある被写体Ａは、直線Ａ−Ｏ_０と撮像面Ｓ_０の交点であるＰ_０に像を結ぶ。一方、第２カメラ２では、同じ被写体Ａが、撮像面Ｓ_１上の位置Ｐ_１に像を結ぶ。

ここで第２カメラ２の光学中心Ｏ_１を通り、直線Ａ−Ｏ_０と平行な直線と、撮像面Ｓ_１との交点をＰ_０’とする。またＰ_０’とＰ_１の距離をＤとする。距離Ｄは同じ被写体の像を２台のカメラで撮影した画像上での位置のずれ量（視差）を表す。三角形Ａ−Ｏ_０−Ｏ_１と三角形Ｏ_１−Ｐ_０’−Ｐ_１とは相似である。そのため、下記式（１）が成り立つ。

すなわち基線長Ｂ、焦点距離ｆ及び視差Ｄから、被写体Ａまでの距離ｄを求めることができる。なお第１カメラ１及び第２カメラ２が正確に配置されている場合、第１カメラ座標系で算出された距離ｄ（第１カメラ１の光学中心Ｏ_０と被写体Ａとの光軸方向の距離）と、第２カメラ座標系で算出された距離ｄ（第２カメラ２の光学中心Ｏ_１と被写体Ａとの光軸方向の距離）と、は一致する。

以上が、ステレオカメラ１０による距離計測原理である。被写体Ａまでの距離ｄを正確に求めるには、第１カメラ１及び第２カメラ２が正確に配置されていなければならない。しかしながら第１カメラ１（第２カメラ２）は、Ｘ軸、Ｙ軸又はＺ軸周りに回転する方向に位置がずれる可能性がある。これにより、第１撮影画像（第２撮影画像）の座標は、およそ上下左右にずれを生じる。更にフロントガラスを介して被写体を撮影する車載ステレオカメラの場合、フロントガラスの影響による第１撮影画像（第２撮影画像）の歪みも生じる。ステレオカメラ１０は、２台のカメラの組み付け公差による第１撮影画像（第２撮影画像）のずれ、及びフロントガラスによる第１撮影画像（第２撮影画像）の歪みに起因する視差の誤差を正す校正パラメータを使用して信号処理により第１撮影画像（第２撮影画像）を補正する。

図２に戻り、算出部６は、視差を算出するときに基準にした撮影画像（第１撮影画像又は第２撮影画像）の画素の濃度値により画素毎の視差を表した視差画像を生成する。また算出部６は、視差画像及び式（１）を利用して被写体までの距離を算出する。

次に第１実施形態の計測用具２０の構造について説明する。

図４は第１実施形態の計測用具２０の正面を示す正面図である。第１実施形態の計測用具２０は、角度計測板１０１及び第１部材１０２を備える。角度計測板１０１は第１部材１０２の面の中央に配置されている。また第１部材１０２は角度計測板１０１の上部にマーク１１１を有する。マーク１１１は第１部材１０２（計測用具２０）と校正対象のステレオカメラ１０（第１カメラ１）との間の距離を算出するための基準点として使用される。また第１部材１０２の表面は、第１撮影画像上の点に対応する第２撮影画像上の対応点を検出し易くするための濃淡模様を有する。

次に第１実施形態の角度計測板１０１の構造について説明する。

図５Ａは第１実施形態の角度計測板１０１の正面を示す正面図である。図５Ｂは第１実施形態の角度計測板１０１のＡ−Ａ断面を示す断面図である。図５Ｃは第１実施形態の角度計測板１０１のＢ−Ｂ断面を示す断面図である。

角度計測板１０１（計測部材）は光源１０３及び第２部材１０４を含む。光源１０３は一様な輝度分布を持つ平面状の拡散光源である。すなわち光源１０３は第１部材１０２の面上の位置に依らずに一様な強度の光（面上の位置に依る光の強度の差が所定の範囲内の光）を放射する。

第２部材１０４は光源１０３を被覆するように設置されており、複数の第１の穴１００と、複数の第２の穴１２０と、から光源１０３の光を放射する。それぞれの第１の穴１００は第１部材１０２の面に垂直な方向に開けられている。それぞれの第１の穴１００は第１の間隔ａ１で、縦及び横に整列するようにして設けられている。第１の穴１００の形は、直径ｂ１の円形である。また、それぞれの第２の穴１２０は第１部材１０２の面に垂直な方向に開けられている。それぞれの第２の穴１２０は第２の間隔ａ２（ａ２＞ａ１）で、第２部材１０４の上端部及び左端部に設けられている。第２の穴１２０の形は、ｂ２×ｂ３（ｂ２＞ｂ１）の矩形である。

なお第１の穴１００及び第２の穴１２０の数、形及び配列の仕方は図５Ａの形態に限られず任意でよい。例えば第２の穴１２０を、第２の部材１０４の下端部及び右端部に開けてもよい。また第２部材１０４の材質は任意でよい。第２部材１０４の材質は、例えば金属である。

また光源１０３は、第２部材１０４の第１の穴１００及び第２の穴１２０から光を放射できる位置にあれば、第１部材１０２の面上に設置されていなくてもよい。

以下、第１の穴１００について、特定の位置の第１の穴１００を参照する場合は、他の番号により参照する。同様に、第２の穴１２０について、特定の位置の第２の穴１２０を参照する場合は、他の番号により参照する。

次に第１の穴１００の用途について説明する。

図６は第１カメラ１の光学中心Ｏ_０の位置から第２部材１０４に開けられた第１の穴１０６、第１の穴１０７及び第１の穴１０８を見た場合を説明するための図である。第１の穴１０６の位置では、光学中心Ｏ_０の位置からの視線と、第２部材１０４の面との角度が直交するため、第２部材１０４の背後にある光源１０３の光が図７Ａの形に見える。第１の穴１０７の位置では、光学中心Ｏ_０の位置からの視線が第２部材１０４の第１の穴１０７に斜めに進入するため、第２部材１０４の背後にある光源１０３の光が図７Ｂの形に見える。第１の穴１０８の位置では、光学中心Ｏ_０の位置からの視線が第２部材１０４の第１の穴１０８に進入しないため、第２部材１０４の背後にある光源１０３の光が見えなくなる（図７Ｃ）。

図５Ａに戻り、すなわち第１の穴１００の第１の間隔ａ１に比べ十分高い解像度の第１カメラ１で角度計測板１０１（第２部材１０４）を撮影すれば、第１カメラ１の光学中心Ｏ_０からの視線と第２部材１０４の面とが直交している箇所の付近の第１の穴１００の像の面積は大きく写る。そして第１カメラ１の光学中心Ｏ_０からの視線と第２部材１０４の面とが直交している箇所から離れるに従って第１の穴１００の像の面積が欠けてゆき、十分大きく離れた位置では第１の穴１００の像が写らなくなる。

ここで第２部材１０４の第１の穴１００の第１の間隔ａ１について説明する。図５Ａの第１の穴１００の第１の間隔ａ１は、ステレオカメラ１０（第１カメラ１）の解像限界よりも狭く設定する。例えば（半）視野角２０度、撮影距離（校正距離）２ｍ、６４０ｘ４８０画素センサという条件の場合、下記式（２）より、第１の間隔ａ１がおよそ２ｍｍ以下であれば、画素ピッチよりも小さくなる。

第１の間隔ａ１が画素ピッチよりも小さい場合、ステレオカメラ１０（第１カメラ１）により角度計測板１０１（第２部材１０４）を撮影すると、撮影画像は図８のようになる。しかしながら現実には画素開口特性、結像光学系のボケ、カラーカメラの場合の光学ＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）等の光学ボケの影響により、第１の間隔ａ１がおよそ２ｍｍ以下であっても解像限界を超えることになる。すると、撮影画像上では、個々の第１の穴１００は判別できず、撮影画像に含まれる第１の穴１００の像は図９のような大きな一つの輝度の山（輝度分布）となる。図９の輝度の山の頂点は、例えば図６の第１の穴１０６付近に対応する。また図９の輝度の山の裾野は、例えば図６の第１の穴１０８付近に対応する。

図１０は図９の輝度の山の裾野の半径ｃの大きさを説明するための図である。第２部材１０４の厚さを４０ｍｍ、第１の穴１０８の直径を１ｍｍとする。またステレオカメラ１０（第１カメラ１）の（半）視野角を２０度、画素センサを６４０ｘ４８０ピクセルとする。このとき撮像面４０上の輝度の山の裾野の半径ｃは下記式（３）よりおよそ２２ピクセルになる。

このように、図１０の個々の第１の穴１００の像ではなく、それをならした連続的な大きな輝度の山を考えることで、ステレオカメラ１０（第１カメラ１）の光学中心Ｏ_０が第１の穴１００のちょうど真上ではない位置が、角度計測板１０１の面と垂直な方向に対応する場合でも、輝度ピークの位置が角度計測板１０１の面と垂直な方向を表していると捉えることができる。これによりステレオカメラ１０（第１カメラ１）の光学中心Ｏ_０の位置に依らずに、角度計測板１０１を撮影した撮影画像の輝度の山（輝度分布）の輝度ピークの位置が、角度計測板１０１の面と垂直な方向を表していると捉えることができる。

なお輝度の山全体を、例えばガウス関数（ｅｘｐ（−ｒ^２））のような関数で近似し、多数の画素値の平均的な分布を推定することにより、個々の画素値に含まれるランダムノイズの影響を低減し、輝度ピークの位置を正確に推定することができる。

次に第２の穴１２０の用途について説明する。

図１１は第１カメラ１の光学中心Ｏ_０の位置から第２部材１０４に開けられた第２の穴１２１、第２の穴１２２及び第２の穴１２３を見た場合を説明するための図である。第２の穴１２１の位置では、光学中心Ｏ_０の位置からの視線と、第２部材１０４の面との角度が直交するため、第２部材１０４の背後にある光源１０３の光が図１２Ａの形に見える。第２の穴１２２の位置では、光学中心Ｏ_０の位置からの視線が第２部材１０４の第２の穴１２２に斜めに進入するため、第２部材１０４の背後にある光源１０３の光が図１２Ｂの形に見える。第２の穴１２３の位置では、光学中心Ｏ_０の位置からの視線が第２部材１０４の第２の穴１２３に進入しないため、第２部材１０４の背後にある光源１０３の光が見えなくなる（図１２Ｃ）。

第２の穴の直径ｂ２＞第１の穴の直径ｂ１である場合、光が見えなくなるまでの角度は第２の穴１２０の方が大きい。すなわち光量の変化を捉えることで角度の変化を知ろうとしたときの検出角度の範囲は第２の穴１２０の方が大きくなるが、角度あたりの変動量は小さくなるので第１の穴１００の方がより小さな単位の角度の検出に有利になる。

図１３は第１実施形態の第２の穴１２０の用途を説明するための概念図である。第１の穴１００の像１００ａ、１００ｂ、１００ｃ及び１００ｄは、第１の穴１００の像の輝度ピークを示す。このように第１の穴１００の像の輝度ピークが、撮影画像上に複数生じた際、どの輝度ピークが真の垂線方向（ステレオカメラ１０との正対方向）であるかを特定できなくなる。

そこで、第１の間隔ａ１よりも大きい第２の間隔ａ２で開けられ、第１の穴１００よりも大きい第２の穴１２０により形成される第２の穴１２０の像の輝度ピークの位置によって、真の垂線方向を特定できるようにする。図１３の例では、第２の穴１２０の像１２０ａ、１２０ｂ、１２０ｃ及び１２０ｄにより、撮影画像の上端部及び右端部に形成されたゼブラ模様から、第１の穴１００の輝度ピークの位置を特定することが可能になる。すなわち第２の穴１２０の像１２０ａが、第１の穴１００の像の水平方向の輝度ピークの位置を示し、第２の穴１２０の像１２０ｄが、第１の穴１００の像の垂直方向の輝度ピークの位置を示す。これにより第１の穴１００の像１００ｃが真の垂線方向であることを特定することが可能になる。

なお第１の穴１００の輝度ピークが撮影画像上に複数生じる場合は、例えば第１の穴１００の像にモアレ現象が生じることにより、第１の穴１００の像が周期的に繰り返す場合である。第１の穴１００の輝度ピークにモアレ現象が生じる場合については、第２実施形態で説明する。

次に第１の穴１００の像の輝度ピークの位置と、角度計測板１０１の傾きとの関係について説明する。

図１４は撮像面４０の第１の穴１００の像の輝度ピークの位置と、角度計測板１０１の傾きとの関係を説明するための図である。撮像面４０の座標を撮像面４０の中央を原点とし、画素単位で表す。このとき撮像面４０（撮影画像）上の輝度ピークの位置の座標（ｉ_ｐ，ｊ_ｐ）が、ステレオカメラ１０（第１カメラ１）の光学中心Ｏ_０から角度計測板１０１へ下ろした垂線の足の位置を示す。したがって角度計測板１０１と、ステレオカメラ１０（第１カメラ１）とが正対しているならば、つまり計測用具２０の面に対する法線と、ステレオカメラ１０（第１カメラ１）の光軸が平行ならば、輝度ピークの位置は撮影画像の中央（原点）になるはずである。すなわち輝度ピークの位置（ｉ_ｐ，ｊ_ｐ）が撮影画像の中央（原点）からずれていれば、その輝度ピークの位置を示す撮影画像（撮像面４０）の座標（ｉ_ｐ，ｊ_ｐ）から、正対方向から傾いている計測用具２０の水平方向のずれを示す角度、及び垂直方向のずれを示す角度がわかる。つまりステレオカメラ１０（第１カメラ１）の焦点距離（画素単位）をｆとすると、（ｉ_ｐ，ｊ_ｐ，ｆ）により角度計測板１０１の法線の方向を決定することができる。言い換えると、正対方向から傾いて設置されている角度計測板１０１に正対するステレオカメラ１０（第１カメラ１）の向きがわかる。

次に角度計測板１０１（計測用具２０）の位置を示す平面の方程式を決定する方法を具体的に説明する。図１５は計測用具２０の位置を示す平面の方程式を決定する方法を説明するための図である。ステレオカメラ１０（第１カメラ１）の光学中心Ｏ_０を原点とした座標系で計測用具２０を表す平面の方程式を下記式（４）で表す。

角度計測板１０１の法線の方向は図１４で説明したように（ｉ_ｐ，ｊ_ｐ，ｆ）と表すことができる。したがって、この平面の法線ベクトルは（ｉ_ｐ，ｊ_ｐ，ｆ）により決定できるので、（ａ，ｂ，ｃ）＝（ｉ_ｐ，ｊ_ｐ，ｆ）である。次に平面の方程式の変数ｄを決定するために、計測用具２０（第１部材１０２）のマーク１１１をレーザー距離計などで計測し、この距離をｄ_ｃとする。また撮影画像上のマーク１１１の位置を示す座標を（ｉ_ｃ，ｊ_ｃ）とする。ステレオカメラ１０（第１カメラ１）の焦点距離（画素単位）をｆとすると、ベクトル（ｉ_ｃ，ｊ_ｃ，ｆ）方向の距離ｄ_ｃの点（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）がマーク１１１の位置を示す座標となる。すなわちマーク１１１の位置を示す平面上の座標（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）は下記式（５）により算出することができる。

したがって下記式（６）から下記式（７）により平面の方程式の変数ｄを決定することができる。以上により計測用具２０を表す平面の方程式（ａ，ｂ，ｃ，ｄ）を決定することができる。

なお角度計測板１０１の撮影画像からは、角度計測板１０１の水平方向に傾いたずれを示す角度、及び垂直方向に傾いたずれを示す角度を算出することができるが、角度計測板１０１までの距離はわからない。そのため上述の説明では、マーク１１１の撮影画像上の位置、及び、マーク１１１までの距離情報ｄ_ｃを使用した。これ以外の方法として、図１５のｄ_１等を実測するという方法も可能である。またステレオカメラ１０（第１カメラ１）の校正の許容精度に対して計測用具２０の位置精度が高ければ（かつ角度精度が悪ければ）、マーク１１１とステレオカメラ１０との間の距離を実際に計測せずに、距離情報として固定値を使用してもよい。

次に上述の方法を使用してステレオカメラ１０（第１カメラ１）を校正する第１実施形態の校正装置３０の構成について説明する。

図１６は第１実施形態の校正装置３０の構成の例を示す図である。第１実施形態の校正装置３０は、受付部３１、計測部３２、理想視差算出部３３、視差算出部３４及び決定部３５を備える。

受付部３１はステレオカメラ１０により撮影された計測用具２０を被写体として含む撮影画像（第１カメラ１により撮影された第１撮影画像及び第２カメラ２により撮影された第２撮影画像）を受け付ける。また受付部３１は上述の距離情報ｄ_ｃ（図１５参照）を受け付ける。受付部３１は第１撮影画像及び距離情報ｄ_ｃを計測部３２に入力する。また受付部３１は撮影画像（第１撮影画像及び第２撮影画像）を視差算出部３４に入力する。

計測部３２は受付部３１から第１撮影画像及び距離情報ｄ_ｃを受け付ける。計測部３２は計測用具２０（角度計測板１０１）の面と垂直な方向（法線ベクトル）を、第１撮影画像の最大輝度の位置に基づいて図１４で説明した方法で決定する。これにより計測部３２はステレオカメラ１０（第１カメラ１）の正対位置からの計測用具２０の向きのずれ（水平方向に傾いたずれを示す角度及び垂直方向に傾いたずれを示す角度）を計測する。また第１カメラ座標系（第１カメラ１の光学中心Ｏ_０を原点とした座標系）で計測用具２０の位置を表す平面の方程式を、法線ベクトル及び距離情報ｄ_ｃに基づいて図１５で説明した方法で決定する。計測部３２は当該平面の方程式を示す情報を理想視差算出部３３に入力する。

理想視差算出部３３は計測部３２から計測用具２０の位置を表す平面の方程式を受け付ける。理想視差算出部３３は当該方程式により表される平面を撮影した場合の視差を示す理想視差を図３で説明した方法により算出する。理想視差算出部３３は理想視差を決定部３５に入力する。

視差算出部３４は受付部３１から撮影画像（第１撮影画像及び第２撮影画像）を受け付ける。視差算出部３４は計測用具２０（第１部材１０２）の濃淡模様等を使用して、第１撮影画像の点に対応する第２撮影画像の対応点を検出することにより視差を算出する。視差算出部３４は視差を決定部３５に入力する。

決定部３５は理想視差を理想視差算出部３３から受け付け、視差を視差算出部３４から受け付ける。また決定部３５は第１撮影画像と第２撮影画像とを受付部３１から受け付ける。決定部３５は第１撮影画像及び第２撮影画像を補正する校正パラメータを、視差と理想視差とに基づいて決定する。決定部３５は、例えば視差と理想視差との差分が０になるように、第１撮影画像及び第２撮影画像のうち少なくとも一方を補正する校正パラメータを決定する。

次に第１実施形態の校正方法の例について説明する。

図１７は第１実施形態の校正方法の例の概略を示すフローチャートである。はじめに、ステレオカメラ１０が、計測用具２０を被写体として含む撮影画像（第１撮影画像及び第２撮影画像）を撮影する（ステップＳ１）。

次に、校正装置３０が、ステレオカメラ１０と計測用具２０との相対位置を計測する（ステップＳ２）。具体的には、計測部３２が、撮影画像（第１撮影画像及び第２撮影画像）から、ステレオカメラ１０の正対位置からの計測用具２０の向きのずれを計測する。また受付部３１が、距離情報ｄ_ｃ（図１５参照）を受け付ける。

次に、校正装置３０が、ステップＳ２で計測された相対位置に基づく校正パラメータを決定する（ステップＳ３）。

図１８は第１実施形態の校正方法の例を示すフローチャートである。受付部３１が、計測用具２０を被写体として含む撮影画像（第１撮影画像及び第２撮影画像）を受け付ける（ステップＳ１１）。また受付部３１は距離情報ｄ_ｃを受け付ける（ステップＳ１２）。

次に、計測部３２はステレオカメラ１０の正対位置からの計測用具２０の向きのずれを計測する（ステップＳ１３）。具体的には、計測部３２は、第１撮影画像に含まれる複数の第１の穴１００の像の最大輝度（輝度ピーク）の位置を、第１撮影画像に含まれる複数の第２の穴１２０の像の最大輝度の位置により特定する。そして計測部３２は、特定された複数の第１の穴１００の像の最大輝度の位置に基づいて、計測用具２０（角度計測板１０１）の面と垂直な方向（法線ベクトル）を特定することにより、ステレオカメラ１０の正対位置からの計測用具２０の向きのずれを計測する（図１４参照）。

次に、計測部３２が、第１カメラ座標系（第１カメラ１の光学中心Ｏ_０を原点とした座標系）で計測用具２０の位置を表す平面の方程式を、法線ベクトル及び距離情報ｄ_ｃに基づいて図１５で説明した方法で決定する（ステップＳ１４）。

次に、理想視差算出部３３が、ステップＳ１４で決定した方程式により表される平面を撮影した場合の視差を示す理想視差を図３で説明した方法により算出する（ステップＳ１５）。次に、視差算出部３４が、計測用具２０（第１部材１０２）の濃淡模様等を利用して、第１撮影画像の点に対応する第２撮影画像の対応点を検出することにより視差を算出する（ステップＳ１６）。

次に、決定部３５が、第１撮影画像及び第２撮影画像のうち少なくとも一方を、視差と理想視差とに基づいて補正する校正パラメータを決定する（ステップＳ１７）。決定部３５は、第１撮影画像及び第２撮影画像のうち少なくとも一方を、例えば視差と理想視差との差分が０になるように補正する校正パラメータを決定する。

以上説明したように、第１実施形態の校正方法では、計測部３２が、第１撮影画像に含まれる複数の第２の穴１２０の像の最大輝度の位置により、第１の穴１００の像の最大輝度の位置を特定する。そして計測部３２が、第１の穴１００の像の最大輝度の位置に基づいて、ステレオカメラ１０の正対位置からの計測用具２０の向きのずれを計測する。また決定部３５が、第１撮影画像及び第２撮影画像から算出された視差と、計測用具２０の向きのずれが考慮された理想視差と、に基づいてステレオカメラ１０を校正する校正パラメータを決定する。これにより設置位置精度の確保が難しい車両搭載状態のステレオカメラ１０に対しても高精度な校正パラメータを容易に算出することができる。

（第２実施形態）
次に第２実施形態について説明する。第２実施形態では、第１実施形態の角度計測板１０１とは異なる構造の角度計測板２０１を備える計測用具２０を使用する場合について説明する。第２実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

まず第２実施形態の角度計測板２０１の構造について説明する。第２実施形態の角度計測板２０１の正面図の説明は第１実施形態と同じなので省略する（図５Ａ参照）。

図１９Ａは第２実施形態の角度計測板２０１のＡ−Ａ断面を示す断面図である。図１９Ｂは第２実施形態の角度計測板２０１のＢ−Ｂ断面を示す断面図である。角度計測板２０１は、光源１０３、遮光板２０２、透明ガラス２０３及び遮光板２０４を備える。光源１０３については第１実施形態と同じなので説明を省略する。遮光板２０２、透明ガラス２０３及び遮光板２０４は、第１実施形態の第２部材１０４に相当する。

第２実施形態の角度計測板２０１は、両面に不透明な遮光領域（遮光板２０２及び遮光板２０４）を配置した透明なガラス板を使用する。透明ガラス２０３は遮光板２０２及び遮光板２０４の位置を固定するために配置されている。遮光板２０２及び遮光板２０４との間をガラスで充填することにより、機械的なずれに強く、温度や経時的な変形等による計測誤差を低減することができる。なお透明ガラス２０３は透明な任意の物体でもよい。

第２実施形態の角度計測板２０１は表裏両面の遮光面の穴によって、角度計測板２０１にほぼ直交する方向に入射する光が、向かい合う穴（例えば図１９Ａの第２の穴２２３及び第２の穴２２４、並びに、図１９Ｂの第１の穴２０８及び第１の穴２０９）を通り透過するという点では第１実施形態の角度計測板１０１と同様である。しかしながら光が透明ガラス２０３と空気との境界面で屈折するため、撮影画像の輝度分布が第１実施形態とは異なる。

図２０は光の屈折の角度について説明するための図である。周知（スネル則）の通り、ガラス−空気境界面の屈折により、透過した光が出射する方向が変化する。比屈折率Ｒとすると、図２０の角度θ_１とθ_２との関係は下記式（８）となる。

したがって遮光板２０２、透明ガラス２０３及び遮光板２０４の合計の厚さが、第１実施形態の第２部材１０４と同じ板厚と穴径ならば、ガラスの屈折によって、より遠くの穴も見えるようになる（図２０参照）。そのため撮影画像の輝度分布の山の裾野の大きさは第１実施形態と比べ大きくなる。しかしながら複数の第１の穴１００の像の輝度ピークの位置が、ステレオカメラ１０（第１カメラ１）の光学中心Ｏ_０の位置に依らず遮光板２０４の法線方向に対応するという性質は同じである。

また第１実施形態の角度計測板１０１と異なり、第２実施形態の角度計測板２０１は、正面方向以外に、図２１の点線で示す方向の、正対していない穴を通る光も透過する。例えば第１の穴２０７では、第１の穴２０８と向かい合う第１の穴２０９の光も屈折の影響で第１の穴２０７を透過する。

したがって角度計測板２０１を撮影した画像には、第１実施形態の場合と異なり、明暗が周期的に繰り返すモアレ模様が観察される。そのため撮影画像上の複数の第１の穴１００の像に、複数の輝度ピークが存在する可能性がある。しかしながら第２実施形態の角度計測板２０１においても、第１実施形態の場合と同様に、撮影画像上の複数の第２の穴１２０の像の輝度ピークの位置に基づいて、複数の第１の穴１００の像の輝度ピークの位置を容易に特定することが可能になる。

なお予めステレオカメラ１０（第１カメラ１）と計測用具２０との設置角度の精度が分かっていれば、設置ずれの範囲に応じた第１の穴１００の像の輝度ピークの位置の移動範囲に対応するモアレの周期を考慮することで、正対している第１の穴１００の像の輝度ピークの位置を、隣接する第１の穴１００の像に対応する輝度ピークと取り違えることを避けることができる。

ここでモアレの周期を考慮して第１の穴１００の第１の間隔ａ１を決定する場合について説明する。

図２２は計測用具２０の傾きと、複数の第１の穴１００の像の輝度ピークの位置のずれとの関係を説明するための図である。図２３はモアレ周期と、第１の穴１００の像の輝度ピークの移動範囲との関係について説明するための図である。図２２のように、計測用具２０の設置角度が正対方向から±Ｘ度以下の角度ずれを持つ場合、複数の第１の穴１００の像の輝度ピークの位置も正対位置（画面中央）からＸ度以下の範囲に存在する。つまり図２３のように、予測される輝度ピークの位置ずれの２倍以上離れた位置に隣接する第１の穴１００の輝度ピークが来るように第１の穴１００の第１の間隔ａ１を調整すればよい。隣接する第１の穴１００の輝度ピークの位置は、図２４の角度φで決まり（正確には、焦点距離ｆ×ｔａｎ（φ））、角度φは、遮光面の穴ピッチ（ｐ）、ガラス板厚（ｄ）及びガラス屈折率（ｎ）と下記式（９）の関係を持つ。

式（９）より、下記式（１０）を満たすようにガラス板厚（ｄ）及び穴ピッチ（ｐ）を決め、ガラス板厚（ｄ）を透明ガラス２０３の厚さとし、穴ピッチ（ｐ）を第１の穴１００の第１の間隔ａ１とすればよい。

上述の説明では、設置角度の精度のみを考慮して、隣接する第１の穴１００の輝度ピークの位置を予測した。しかしながら実際には計測用具２０の設置角度以外にも、ステレオカメラ１０の設置角度、計測用具２０の並進ずれ、及びステレオカメラ１０の並進ずれ等、想定されうる全ての設置ずれを考慮して、正対位置を示す輝度ピークの存在範囲を予測する必要がある。そして予測された輝度ピーク位置の範囲内に隣の第１の穴１００の輝度ピークが入らないように、ガラス板厚（ｄ）及び穴ピッチ（ｐ）を決定すれば、ステレオカメラ１０と正対している穴に対応する予測範囲内の輝度ピークの位置を一意に決定することができる。

このように、隣接する第１の穴１００の輝度ピークの位置を予測して第１の穴１００の第１の間隔ａ１を決定することは手間がかかる場合が多い。しかしながら撮影画像上の複数の第２の穴１２０の像の輝度ピークの位置を参照することにより、第１の間隔ａ１に依らずに、複数の第１の穴１００の像の輝度ピークの位置を容易に特定することが可能になる。

なお遮光板２０２（２０４）の作成する際には、平板上に遮光領域を形成する方法として、印刷やフォトエッチング等の技術が利用できる。これらの技術では、一般に、ドリルで厚板に穴を開ける等の方法で作成された第１実施形態の第２部材１０４に比べて、小径の穴や狭ピッチを実現することが容易である。輝度の山の大きさは、穴の径と板厚の比率（と屈折率）で決まる。例えば板厚（遮光板２０２、透明ガラス２０３及び遮光板２０４の厚さの合計）を６ｍｍ、第１の穴１００の半径を０．０５ｍｍとしても、第１実施形態の場合とほぼ同様の輝度分布が得られる。

以上説明したように、第２実施形態の計測用具２０では、角度計測板２０１を、第１実施形態の角度計測板１０１よりも、より軽量小型の薄い板にしても、第１実施形態の角度計測板１０１と同等の校正精度が実現できる。

なお単に光を遮るだけならば、透明ガラス２０３を配置せずに、ガラス両面の遮光領域と同じ位置に遮光板２０２及び遮光板２０４を配置してもよい。

最後に第１及び第２実施形態の校正装置３０のハードウェア構成の例について説明する。

図２５は第１及び第２実施形態の校正装置３０のハードウェア構成の例を示す図である。第１及び第２実施形態の校正装置３０は、制御装置５１、主記憶装置５２、補助記憶装置５３、表示装置５４、入力装置５５及び通信装置５６を備える。制御装置５１、主記憶装置５２、補助記憶装置５３、表示装置５４、入力装置５５及び通信装置５６は、バス５７を介して互いに接続されている。

制御装置５１は補助記憶装置５３から主記憶装置５２に読み出されたプログラムを実行する。主記憶装置５２はＲＯＭやＲＡＭ等のメモリである。補助記憶装置５３はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やメモリカード等である。表示装置５４は校正装置３０の状態などを表示する。入力装置５５はユーザーからの入力を受け付ける。通信装置５６はネットワークに接続するためのインターフェースである。

第１及び第２実施形態の校正装置３０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。

また、第１及び第２実施形態の校正装置３０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また第１及び第２実施形態の校正装置３０で実行するプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

また、第１及び第２実施形態の校正装置３０のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

第１及び第２実施形態の校正装置３０で実行されるプログラムは、上述した各機能ブロック（受付部３１、計測部３２、理想視差算出部３３、視差算出部３４及び決定部３５）を含むモジュール構成となっている。

上述の各機能ブロックは、実際のハードウェアとしては、制御装置５１が上記記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置５２上にロードされる。すなわち上記各機能ブロックは、主記憶装置５２上に生成される。

なお上述した各機能ブロックの一部又は全部を、ソフトウェアにより実現せずに、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。

なお第１及び第２実施形態は、車両に搭載されたステレオカメラ１０の場合を例にしているが、これに限られることはない。ステレオカメラ１０の精確な設置位置の測定が必要で、その計測に時間がかかるような場合等に、第１及び第２実施形態の計測用具２０を使用することにより、従来の校正方法に比べ比較的簡便にステレオカメラ１０を高精度に校正することができる。

特開２００４−１３２８７０号公報

Claims (8)

1. ステレオカメラの校正に使用されるチャートを含む面を有する第１部材と、
   前記第１部材の面上に設置される計測部材と、を備え、
   前記計測部材は、
   前記面上の位置に依らずに一様な強度の光を放射する光源と、
   前記光源を被覆し、複数の第１の穴と、前記第１の穴よりも大きい複数の第２の穴と、から前記光を放射する第２部材と、を含み、
   前記第２部材は、前記面に垂直な方向に開けられた前記複数の第１の穴が第１の間隔で設けられ、前記面に垂直な方向に開けられた前記複数の第２の穴が第２の間隔で設けられた、互いに平行な２枚の平板であり、
   前記２枚の平板それぞれの前記第１の穴は前記面上の位置が同じであり、
   前記２枚の平板それぞれの前記第２の穴は前記面上の位置が同じである、
   計測用具。
2. 前記２枚の平板は、前記２枚の平板の間の透明な物体により固定されている、
   請求項１に記載の計測用具。
3. 前記第１の間隔は、前記ステレオカメラと前記計測用具との間の校正距離における前記ステレオカメラの解像限界以下である、
   請求項１又は４に記載の計測用具。
4. 前記第２の穴は矩形であり、前記第２部材の上端部及び下端部の少なくとも一方の水平方向と、前記第２部材の右端部及び左端部の少なくとも一方の垂直方向に、前記第２の間隔で開けられている、
   請求項１、４乃至５のいずれか１項に記載の計測用具。
5. ステレオカメラの校正に使用されるチャートを含む面を有する第１部材と、前記第１部材の面上に設置される計測部材と、を備え、前記計測部材は、前記面上の位置に依らずに一様な強度の光を放射する光源と、前記光源を被覆し、複数の第１の穴と、前記第１の穴よりも大きい複数の第２の穴と、から前記光を放射する第２部材と、を含む計測用具によりステレオカメラを校正する校正方法であって、
   前記ステレオカメラにより撮影された前記計測用具を被写体として含む撮影画像を取得するステップと、
   前記撮影画像に含まれる前記複数の第１の穴の像の最大輝度の位置を、前記撮影画像に含まれる前記複数の第２の穴の像の最大輝度の位置により特定し、特定された前記複数の第１の穴の像の最大輝度の位置に基づいて、前記ステレオカメラの正対位置からの前記計測用具の向きのずれを計測するステップと、
   前記計測用具の向きのずれと、前記撮影画像と、に基づいて前記ステレオカメラを校正する校正パラメータを決定するステップと、
   を含む校正方法。
6. 前記決定するステップは、
   前記撮影画像から前記チャートの視差を算出するステップと、
   前記計測用具の向きのずれを考慮した理想視差を算出するステップと、
   前記視差と、前記理想視差とに基づいて前記ステレオカメラを校正する校正パラメータを決定するステップと、
   を含む請求項７に記載の校正方法。
7. ステレオカメラの校正に使用されるチャートを含む面を有する第１部材と、前記第１部材の面上に設置される計測部材と、を備え、前記計測部材は、前記面上の位置に依らずに一様な強度の光を放射する光源と、前記光源を被覆し、複数の第１の穴と、前記第１の穴よりも大きい複数の第２の穴と、から前記光を放射する第２部材と、を含む計測用具を被写体として含む、前記ステレオカメラにより撮影された撮影画像を受け付ける受付部と、
   前記撮影画像に含まれる前記複数の第１の穴の像の最大輝度の位置を、前記撮影画像に含まれる前記複数の第２の穴の像の最大輝度の位置により特定し、特定された前記複数の第１の穴の像の最大輝度の位置に基づいて、前記ステレオカメラの正対位置からの前記計測用具の向きのずれを計測する計測部と、
   前記計測用具の向きのずれと、前記撮影画像と、に基づいて前記ステレオカメラを校正する校正パラメータを決定する決定部と、
   を備える校正装置。
8. コンピュータを、
   ステレオカメラの校正に使用されるチャートを含む面を有する第１部材と、前記第１部材の面上に設置される計測部材と、を備え、前記計測部材は、前記面上の位置に依らずに一様な強度の光を放射する光源と、前記光源を被覆し、複数の第１の穴と、前記第１の穴よりも大きい複数の第２の穴と、から前記光を放射する第２部材と、を含む計測用具を被写体として含む、前記ステレオカメラにより撮影された撮影画像を受け付ける受付部と、
   前記撮影画像に含まれる前記複数の第１の穴の像の最大輝度の位置を、前記撮影画像に含まれる前記複数の第２の穴の像の最大輝度の位置により特定し、特定された前記複数の第１の穴の像の最大輝度の位置に基づいて、前記ステレオカメラの正対位置からの前記計測用具の向きのずれを計測する計測部と、
   前記計測用具の向きのずれと、前記撮影画像と、に基づいて前記ステレオカメラを校正する校正パラメータを決定する決定部、
   として機能させるためのプログラム。