JP6582683B2 - 角度算出システム、角度算出装置、プログラム、および角度算出方法 - Google Patents

Description

本発明は、角度算出システム、角度算出装置、プログラム、および角度算出方法に関する。

ステレオカメラにおいて、光軸の平行度ずれ（１つのカメラの光軸に対してもう１つのカメラの光軸が平行ではなくなる方向への回転）や、光学中心に対する撮像センサの横方向の位置ずれが生じると、視差方向に像位置が変化する。これらの誤差は、直接視差に加算されて、距離精度の劣化の要因となる。また、左右の各カメラ内で画像の歪曲に変化を生じると、やはり視差方向に誤差が加算されて、距離制度劣化の要因となる。これらの距離精度の劣化を抑制するために、ステレオカメラ製造時には精密な組立てや、正確な調整を実施している。

自動車などの車両内にステレオカメラを設置すると、車両への設置作業による光軸ずれや、フロントガラスによる歪曲変化による距離精度劣化などの問題が新たに生じる。そこで、車両設置後の距離精度を復帰するために、校正用チャートを用いて再校正を実施する技術が提案されている。

例えば特許文献１は、ステレオカメラの光学的な歪みおよび位置的なずれを画像処理によって調整するために、格子状パターンが描かれた校正用チャートを車両前方に設置し、撮影画像上の格子点位置情報から、画像データの歪みを正す補正パラメータおよび画像データのずれを正す校正パラメータを算出する技術が提案されている。

しかしながら、従来の再校正方法では、校正用チャートの撮影結果を補正目標値（＝正解値）として最適化を実施するため、校正用チャートの設置誤差による校正パラメータの精度劣化が問題として残存している。特に校正用チャートの傾き誤差は、後段で補正することが困難であり、再校正後の測定精度劣化の大きな要因となる恐れがある。

このため、特に傾き誤差に対する校正用チャートの設置精度、または、校正用チャートの設置姿勢（傾き誤差量）の検知精度を高くする必要がある。この際、作業者による作業負荷をより低減すること、および、保守や使用や構成が複雑な治具を用いずに精度を高めることが望ましい。

本発明は、上記に鑑みてなされたものであって、校正パラメータの算出などに用いるための傾き角度を、より容易に算出することができる角度算出システム、角度算出装置、プログラム、および角度算出方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、第１部材と、第２部材と、前記第１部材と一体に保持され、前記第２部材が映される反射部材と、前記第２部材が映される前記反射部材を含む撮影画像を受け付ける受付部と、前記撮影画像上での前記第２部材の位置に基づいて、前記第１部材の傾き角度を算出する角度算出部と、前記傾き角度と、前記撮影画像と、に基づいて、前記撮影画像を撮影するステレオカメラを校正する校正パラメータを決定する決定部と、を備える。

本発明によれば、校正パラメータの算出などに用いるための傾き角度を、より容易に算出することができるという効果を奏する。

図１は、本実施形態の校正システムの構成例を示す図である。 図２は、本実施形態のステレオカメラの構成の例を示すブロック図である。 図３は、ステレオカメラを使用した距離の計測原理を説明するための図である。 図４は、校正用チャートの傾き検知に関する基本的な構成の一例を示す図である。 図５は、ステレオカメラによる撮影画像の一例を示す図である。 図６は、ステレオカメラとマーキングと反射部との光学的な関係を示す図である。 図７は、ステレオカメラへの入射角から反射部の傾き角度を求める計算式の算出方法を説明するための図である。 図８は、本実施形態にかかる校正装置の構成の例を示すブロック図である。 図９は、本実施形態における校正処理の一例を示すフローチャートである。 図１０は、変形例にかかる校正装置の構成例を示すブロック図である。 図１１は、変形例における校正処理の例を示すフローチャートである。 図１２は、校正目標としての校正用チャートが設置誤差角αを持って設置された状態を示す図である。 図１３は、図１２における校正用チャートをステレオカメラ側から見た状態を示す図である。 図１４は、本実施形態の校正装置のハードウェア構成の例を示す図である。

以下に添付図面を参照して、この発明にかかる角度算出システム、角度算出装置、プログラム、および角度算出方法の一実施形態を詳細に説明する。以下では、ステレオカメラを校正する校正装置および当該校正装置を含む校正システムとして、角度算出装置および角度算出システムを実現する例を主に説明する。

本実施形態では、より簡易な（シンプルな）仕組みを用いて簡単に校正用チャートの設置姿勢（傾き誤差量）を検知し、校正パラメータの算出時に設置姿勢を勘案することを可能とする。これにより、校正用チャートの設置誤差による校正パラメータの精度劣化を抑制し、校正用チャートに対する高い設置精度要求を排除することが可能となる。

本実施形態では、ある物体（第２部材）である第２被写体から、第１被写体（第１部材）としての校正用チャート中の反射部（反射部材）を経たステレオカメラまでを１つの光学系として考慮する。校正用チャートが傾くと、第２被写体上の１点を物点とする光線がステレオカメラへ入射する角度が変化する。ステレオカメラへの光線入射角の変化は、ステレオカメラによる撮影画像中の第２被写体の位置の変化となって現れる。この第２被写体の位置の変化量から、校正用チャートの傾き（傾き角度）を算出できる。校正用チャート中の反射部は、例えば、単純な平面反射物（平面ミラー）で構成できる。撮影画像中の第２被写体の位置は、画像認識により高精度かつ簡便に検出できる。従って、簡便な構成で高精度に校正用チャートの設置姿勢を検知することができる。

校正用チャートは、校正用チャートの面内に沿った並進誤差を生じても、校正結果へ悪影響を与えない。これは、校正用チャートの面内に沿った並進誤差は、直接的な視差誤差に関与しないためである。本実施形態の方法では、この校正用チャート面内に沿った並進成分は原理的に検知の対象とならない。すなわち例えば並進成分を検知するための複雑な認識や処理などの必要がなく、より簡便な構成とすることができる。

以下に添付図面を参照して、角度算出システム、角度算出装置、プログラム、および角度算出方法の実施形態を詳細に説明する。

校正環境の構成として、車両内のステレオカメラの位置と姿勢、第２被写体の位置、第１被写体としての校正用チャートの位置と姿勢が確定すると、校正用チャートが理想的に設置されている状態、例えば傾き誤差なしの状態における、ステレオカメラの撮影画像中の、校正用チャート中の反射部を基準とした第２被写体の位置は一義に決定される。実際の撮影画像において、反射部を基準とした第２被写体の位置が、傾き誤差なしの状態における位置からどれだけ移動しているかを検出することで、校正用チャートの傾き誤差量を算出できる。

なお、撮影画像中における、反射部や第２被写体を含む、校正用チャート全体の位置移動は、校正用チャートに対するステレオカメラの傾きで生じるため、本手法の検知対象とは異なる。本手法の検知対象である校正用チャートの傾きを算出する際には、校正用チャート中に基準（例えば反射部端面）を設け、この基準に対する第２被写体の位置変動を検知することが必要となる。なお校正用チャート全体の位置移動を検知して補正するように構成してもよい。

図１は、本実施形態の校正システムの構成例を示す図である。図１に示すように、校正システムは、第１被写体（第１部材）としての校正用チャート２０と、ステレオカメラ１０と、校正装置３０とを含む。校正用チャート２０は、ステレオカメラ１０の校正に使用されるチャート（後述のランダムパターンなど）を含む部材である。このように以下ではチャートを含む部材自体を校正用チャート２０という。

図１は、校正用チャート２０と、ステレオカメラ１０と、校正装置３０との関係の例を示している。図１は、自動車のフロントガラスの内側に取り付けられたステレオカメラ１０（車載ステレオカメラ）により撮影された撮影画像を校正する場合の例である。校正用チャート２０は、ステレオカメラ１０の撮影範囲に入るように設置する。例えば校正用チャート２０は、ステレオカメラ１０からおよそ２ｍの距離に、ほぼ正対するように設置する。

校正用チャート２０には、画面内で広く視差値を得られるように、例えば白黒のランダムパターンが全面に描画されている。校正用チャート２０は、ステレオカメラ１０を校正する校正パラメータを決定するための計測データを取得するために用いられる。計測データは、校正装置３０としてのコンピュータに入力され、当該コンピュータにより校正パラメータが決定される。まず校正対象のステレオカメラ１０について説明する。なお、本実施形態では、ステレオカメラ１０と校正装置３０とが別体として構成されているが、ステレオカメラ１０が校正装置３０の機能を含んでいても構わない。

図２は、本実施形態のステレオカメラ１０の構成の例を示すブロック図である。本実施形態のステレオカメラ１０は、第１カメラ１、第２カメラ２、記憶部３、外部Ｉ／Ｆ４、補正部５、および算出部６を備える。第１カメラ１は、被写体を撮影して第１撮影画像を取得する。第２カメラ２は、被写体を撮影して第２撮影画像を取得する。第１カメラ１および第２カメラ２は、光軸が平行になるように並列に配置されている。第１カメラ１および第２カメラ２の撮影タイミングは同期されており、同じ被写体を同時に撮影する。

記憶部３は、第１撮影画像、第２撮影画像、および校正パラメータを記憶する。校正パラメータは、第１撮影画像および第２撮影画像の歪みを補正するときに使用されるパラメータである。校正パラメータは、本実施形態の校正方法により決定される。外部Ｉ／Ｆ４は、記憶部３のデータの入出力を行うためのインターフェースである。ステレオカメラ１０で使用される校正パラメータは、本実施形態の校正方法により決定され、外部Ｉ／Ｆ４を使用して記憶部３に記憶される。

補正部５は、記憶部３から第１撮影画像、第２撮影画像および校正パラメータを読み出す。補正部５は、校正パラメータに応じた画像補正式により、第１撮影画像および第２撮影画像を補正する。画像補正式は、第１撮影画像（第２撮影画像）の座標を変換することにより第１撮影画像（第２撮影画像）を補正する式である。例えば第１撮影画像（第２撮影画像）の座標をアフィン変換により補正する場合には、当該画像補正式は行列により表現できるので、校正パラメータは行列の成分である。また第１撮影画像（第２撮影画像）の座標を非線形な変換により補正する場合には、校正パラメータは当該変換を表す多項式などの係数である。

なお補正部５は、第１撮影画像および第２撮影画像のいずれか一方を補正するようにしてもよい。すなわち画像補正式は、いずれか一方の撮影画像を基準にして、もう一方の撮影画像を補正するための画像補正式でもよい。補正部５は、補正後の第１撮影画像および補正後の第２撮影画像を算出部６に入力する。

算出部６は、補正後の第１撮影画像および補正後の第２撮影画像から、被写体毎の視差を算出する。ここで、視差と、視差を用いた距離計測原理について説明する。

図３は、ステレオカメラ１０を使用した距離の計測原理を説明するための図である。図３の例では、第１カメラ１（焦点距離ｆ、光学中心Ｏ_０、撮像面Ｓ_０）がＺ軸を光軸方向として配置されている。また第２カメラ２（焦点距離ｆ、光学中心Ｏ_１、撮像面Ｓ_１）がＺ軸を光軸方向として配置されている。第１カメラ１および第２カメラ２は、Ｘ軸に対して平行に、距離Ｂ（基線長）だけ離れた位置に配置される。以下、図３の座標系を「カメラ座標系」という。また、第１カメラ１の光学中心Ｏ_０を基準とした座標系を「第１カメラ座標系」という。また、第２カメラ２の光学中心Ｏ_１を基準とした座標系を「第２カメラ座標系」という。

第１カメラ１の光学中心Ｏ_０から光軸方向に距離ｄだけ離れた位置にある被写体Ａは、直線Ａ−Ｏ_０と撮像面Ｓ_０の交点であるＰ_０に像を結ぶ。一方、第２カメラ２では、同じ被写体Ａが、撮像面Ｓ_１上の位置Ｐ_１に像を結ぶ。

ここで第２カメラ２の光学中心Ｏ_１を通り、直線Ａ−Ｏ_０と平行な直線と、撮像面Ｓ_１との交点をＰ_０’とする。またＰ_０’とＰ_１の距離をＤとする。距離Ｄは、同じ被写体の像を２台のカメラで撮影した画像上での位置のずれ量（視差）を表す。三角形Ａ−Ｏ_０−Ｏ_１と三角形Ｏ_１−Ｐ_０’−Ｐ_１とは相似である。そのため、以下の式（１）が成り立つ。
ｄ＝Ｂｆ／Ｄ ・・・（１）

すなわち基線長Ｂ、焦点距離ｆおよび視差Ｄから、被写体Ａまでの距離ｄを求めることができる。なお第１カメラ１および第２カメラ２が正確に配置されている場合、第１カメラ座標系で算出された距離ｄ（第１カメラ１の光学中心Ｏ_０と被写体Ａとの光軸方向の距離）と、第２カメラ座標系で算出された距離ｄ（第２カメラ２の光学中心Ｏ_１と被写体Ａとの光軸方向の距離）と、は一致する。

以上が、ステレオカメラ１０による距離計測原理である。被写体Ａまでの距離ｄを正確に求めるには、第１カメラ１および第２カメラ２が正確に配置されていなければならない。しかしながら第１カメラ１（第２カメラ２）は、Ｘ軸、Ｙ軸またはＺ軸周りに回転する方向に位置がずれる可能性がある。これにより、第１撮影画像（第２撮影画像）の座標は、およそ上下左右にずれを生じる。さらにフロントガラスを介して被写体を撮影する車載ステレオカメラの場合、フロントガラスの影響による第１撮影画像（第２撮影画像）の歪みも生じる。ステレオカメラ１０は、２台のカメラの組み付け公差による第１撮影画像（第２撮影画像）のずれ、およびフロントガラスによる第１撮影画像（第２撮影画像）の歪みに起因する視差の誤差を正す校正パラメータを使用して信号処理により第１撮影画像（第２撮影画像）を補正する。

図２に戻り、算出部６は、視差を算出するときに基準にした撮影画像（第１撮影画像または第２撮影画像）の画素の濃度値により画素毎の視差を表した視差画像を生成する。また算出部６は、視差画像および式（１）を利用して被写体までの距離を算出する。

図４は、校正用チャート２０の傾き検知に関する基本的な構成の一例を示す図である。ステレオカメラ１０は、車両のフロントガラス４２の車内側に、車両前方を撮影方向として取り付けられる。校正用チャート２０は、車両前方の、ステレオカメラ１０の撮影範囲内に設置される。校正用チャート２０と一体に反射部材としての反射部４３が設置される。さらに、第２被写体（第２部材）としてのマーキング４１がフロントガラス４２上に配設されている。マーキング４１は、フロントガラス４２上の基準位置に合わせて一時的に貼付または固定設置される。フロントガラス４２上の基準位置は、例えば、ステレオカメラ１０を覆うフロントガラス４２に形成される黒セラミック形状とすることができる。車内のステレオカメラ１０の設置位置に対して、傾き検知の精度に影響しない程度の位置精度を担保することが可能であれば、基準位置は任意の位置とすることができる。

校正用チャート２０が理想的に設置されたときに、ステレオカメラ１０の撮影画像における反射部４３の中央付近にマーキング４１が映るように、反射部４３とマーキング４１とを相対的に設置すると、校正用チャート２０の傾き検知幅にバランスがとれてよい。

本実施形態では、白黒で構成される格子状のマーキング４１を第２被写体としている。マーキング４１は、位置を検出するための目標として、白部と黒部の境界が交わる交点（マーキング交点）を含む。マーキング４１の大きさは、ステレオカメラ１０の撮影画像において、マーキング交点の位置（交点位置）を基準に±１０ピクセル程度（すなわち２０ピクセル程度）の大きさを得られる程度にすると、安定的に精度よく交点位置の検出を行うことが可能となる。

図５は、ステレオカメラ１０による撮影画像５０１の一例を示す図である。撮影画像５０１は、第１カメラ１によって撮影された撮影画像（第１撮影画像）および第２カメラ２によって撮影された撮影画像（第２撮影画像）のいずれであっても構わない。すなわち本実施形態では、第１撮影画像および第２撮影画像のうち少なくとも一方の撮影画像により、校正用チャート２０の傾き検知を実行できる。

撮影画像５０１には、校正用チャート２０、校正用チャート２０内の反射部４３、および、反射部４３内にマーキング４１が撮影されている。マーキング４１の、白部と黒部の境界が交わる交点位置が撮影画像５０１上で検出され、撮影画像５０１上の座標として出力される。画像５１１は校正用チャート２０の画像であり、画像５１２は反射部４３の画像である。画像５２１は校正用チャート２０が理想的に設置された場合のマーキング４１の画像であり、画像５２２は実際に撮影された撮影画像５０１から検出されるマーキング４１の画像である。

画像５２１の交点位置と、画像５２２の交点位置との差分が、校正用チャート２０の傾き誤差量に応じた量を表している。各交点位置は、例えば反射部４３の右上の角部を基準として表すことができる。

例えば、校正用チャート２０が図４のように傾いていた場合、反射部４３内のマーキング４１の位置は、撮影画像５０１中で相対的に下方に移動することになる。図５の例では、マーキング４１の位置は、画像５２１の位置から画像５２２の位置に下方に移動する。この移動量から、校正用チャート２０の傾き誤差量が算出される。

上記のように、第１カメラ１の撮影画像、および、第２カメラ２の撮影画像のいずれを用いても本質的な差異はなく、いずれか一方の撮影画像から傾き誤差量を算出することが可能である。また、校正用チャート２０の傾きがない理想状態の位置が不明であっても、実際の画像位置のみから後述する図７上の座標における校正用チャート２０の傾き量を算出することは可能である。例えば、撮影画像５０１の中心（撮影画像中心）の位置が、理想的に設置された場合のマーキング４１の画像の中心位置であると仮定できる場合は、撮影画像中心からの移動量により傾き量を算出できる。図５では位置５１３が、撮影画像中心を表している。

本実施形態では、第１カメラ１および第２カメラ２ともに撮影画像として歪曲補正したピンホールカメラとしての調整を実施済みで、加えて、撮影レンズの光軸と撮影画像中心とが一致しているものとする。そのため、撮影画像５０１上での撮影画像中心からマーキング交点までの距離から、マーキング交点からの光線が撮影レンズに入射する角度が以下の式（２）のように算出できる。なお、θはマーキング交点からの光線の、撮影レンズへの入射角度、Ｐｉｘは撮影画像上の距離（ピクセル）、Ｐｉｔは撮像素子の画素ピッチ、ｆは歪曲補正実施後の撮影レンズ焦点距離である。
θ＝ｔａｎ^−１（（Ｐｉｘ×Ｐｉｔ）／ｆ） ・・・（２）

図６は、ステレオカメラ１０と、マーキング４１と、校正用チャート２０と一体に保持されている反射部との光学的な関係を示す図である。反射部４３−１は、校正用チャート２０が傾きなく理想的に設置されている場合の反射部を表す。反射部４３−２は、校正用チャート２０がθ_ｐ傾いて設置されている場合の反射部を表す。マーキング交点と、撮影を実施する第１カメラ１または第２カメラ２の光学中心とを結ぶ線分長さを２Ｄ、線分の中点から反射部４３−１に下ろした垂線の距離を２Ｌとする。

図６に示すように、以下では、反射部４３−１と反射部４３−１へ下した垂線との交点を軸として校正用チャート２０が回転することにより、θ_ｐの角度で傾くという条件を仮定する。例えば校正用チャート２０を鉛直方向に設置する場合であれば、上記線分の中点から校正用チャート２０までの水平方向の長さが２Ｌとなるように校正用チャート２０を設置すれば、このような条件を満たすことができる。校正用チャート２０の設置精度を高くすれば、このような条件を仮定しても傾き量の算出精度に対する影響を小さくすることができる。

校正用チャート２０が傾きなく理想的に設置されている場合は、図６の破線の矢印のような光路が形成されて、マーキング４１からの光線はステレオカメラ１０に対して入射角θ_ａとして入射し、それに対応した撮影画像上の位置に撮影される。図６では、校正用チャート２０がθ_ｐ傾いた状態を重ねて図示している。その場合は、図６の実線の矢印のような光路が形成されて、マーキング４１からの光線はステレオカメラ１０に対して入射角θ_ｂとして入射し、それに対応した撮影画像上の位置に撮影される。撮影光学系への入射角度と撮影画像上の中心位置からの高さは、式（２）で示したように、撮影光学系の特性から一義に関係付けられる。このため、撮影画像上の位置から入射角θ_ａやθ_ｂを換算することが可能である。

図７は、ステレオカメラ１０への入射角θ_ｂから、反射部４３−２の傾きθ_ｐを求める計算式の算出方法を説明するための図である。図７は、この計算式を分かりやすく算出するために、図６の構成に座標系を適用して示している。なお、煩雑さを避けるために、マーキング４１付近の構成は図から削除している。

撮影を実施する第１カメラ１または第２カメラ２の光学中心と、マーキング交点とを結ぶ線分の中点である点Ｏを、座標系の原点（０，０）とする。ステレオカメラ１０の光学中心は点Ａ_ａとし、座標値を（ｘ_ａ，−ｙ_ａ）とする。点Ｏから反射部４３−１へ下ろした垂線の着地点を点Ｍとし、座標値を（−２Ｌ，０）とする。点Ｑは、線分ＯＭの中点である。点Ｏから、傾いた反射部４３−２へ下ろした垂線の着地点を点Ｐとし、座標値を（ｘ_ｐ、ｙ_ｐ）とする。相似関係から、∠ＭＯＰもθ_ｐであることが明らかである。また、幾何的な拘束条件から、点Ｐは、点Ｑを中心とし線分ＯＭを直径とした円Ｃの円弧上を移動することが明らかである。すなわち、点Ａ_ａを通る傾きθ_ｂの直線が円Ｃと交わる２つの交点のうち、より小さいＸ座標の交点を算出することで、θ_ｐを算出できることになる。以下に図７の座標系に従って計算結果を示す。

円Ｃは、以下の式（３）のように表現できる。
（ｘ＋Ｌ）^２＋ｙ^２＝Ｌ^２ ・・・（３）

点Ａ_ａを通る傾きθ_ｂの直線は、以下の式（４）のように表現できる。
ｙ＝−ｔａｎ（θ_ｂ）×ｘ−（ｙ_ａ＋ｘ_ａ×ｔａｎ（θ_ｂ）） ・・・（４）

式（３）と式（４）を連立してｘについて解き、ａ，ｂ，ｃをそれぞれ以下の式（５）、式（６）、および、式（７）のようにおく。
ａ＝１＋（ｔａｎ（θ_ｂ））^２ ・・・（５）
ｂ＝２Ｌ＋２ｔａｎ（θ_ｂ）×（ｙ_ａ＋ｘ_ａ×ｔａｎ（θ_ｂ）） ・・・（６）
ｃ＝（ｙ_ａ＋ｘ_ａ×ｔａｎ（θ_ｂ））^２ ・・・（７）

交点のＸ座標ｘ_ｉは、以下の式（８）のように表現できる。
ｘ_ｉ＝（−ｂ±√（ｂ^２−４ａｃ））／２ａ ・・・（８）

点ＰのＸ座標ｘ_ｐは、２つの交点のＸ座標のうち、より値が小さいＸ座標であるので、以下の式（９）のように表現できる。
ｘ_ｐ＝（−ｂ−√（ｂ^２−４ａｃ））／２ａ ・・・（９）

式（９）で得られた解ｘ_ｐを式（４）のｘへ代入すると、ｙ_ｐが算出できる。これにより点Ｐの座標（ｘ_ｐ，ｙ_ｐ）が得られる。

点Ｐの座標から、∠ＭＯＰのθ_ｐは以下の式（１０）で算出できる。
θ_ｐ＝ｔａｎ^−１（ｙ_ｐ／ｘ_ｐ） ・・・（１０）

すなわち、上記のようにステレオカメラ１０の撮影画像上で検出したマーキング４１の交点位置から、校正用チャート２０の傾き量が算出できる。この傾き量を鑑みて、校正パラメータを算出（決定）することで、校正用チャート２０の傾きが直接的に校正パラメータの誤差成分、すなわち、測距精度劣化要因になることを抑制可能となる。

なお、これまでは例えば図３のＸ軸に平行な線を軸として回転して校正用チャート２０が傾く場合を例に説明した。例えば図３のＹ軸に平行な線を軸として回転する場合も同様の方法を適用できる。なお図３のＺ軸に平行な線を軸として回転する場合の誤差は、上述の校正用チャート２０の面内に沿った並進誤差に相当するため検知対象とする必要はない。

図８は、本実施形態にかかる校正装置３０の構成の例を示すブロック図である。図８に示すように、校正装置３０は、受付部１３１と、角度算出部１３２と、決定部１３３と、を備える。

受付部１３１は、ステレオカメラ１０により撮影された撮影画像などの各種情報を受け付ける。

角度算出部１３２は、校正用チャート２０の傾き量（傾き角度）を算出する。例えば角度算出部１３２は、図６および図７などを用いて説明した上記方法により、撮影画像上でのマーキング４１の位置に基づいて、校正用チャート２０の傾き量を算出する。

決定部１３３は、算出された傾き量と撮影画像とに基づいて、ステレオカメラ１０を校正する校正パラメータを決定する。校正パラメータの決定方法の詳細は後述する。

次に、このように構成された本実施形態にかかる校正装置３０による校正処理について図９を用いて説明する。図９は、本実施形態における校正処理の一例を示すフローチャートである。例えば校正用チャート２０の設置などにより校正環境が整えられた後、図９のフローチャートが実行される。

受付部１３１は、校正用チャート２０の撮影画像を取得する（ステップＳ１０１）。また受付部１３１は、校正用チャート２０上の反射部に映るマーキング４１の撮影画像を取得する（ステップＳ１０２）。必要に応じて、校正用チャート２０の撮影画像を取得した後に、校正用チャート２０上に反射部を設置したり、マーキング４１を設置したりする手順を追加することも可能である。すなわち、例えば反射部を取り外した状態で校正用チャート２０を撮影した後、反射部を取り付けて反射部に映るマーキング４１を撮影した撮影画像を取得するように構成してもよい。校正用チャート２０の撮影画像の取得時にすでに反射部とマーキング４１が適切に設置することにより、校正用チャート２０の撮影画像とマーキング４１の撮影画像を同時に取得することも可能である。

その後、角度算出部１３２は、前述したような手法で、校正用チャート２０の設置誤差（角度）を算出する（ステップＳ１０３）。その後、決定部１３３は、校正用チャート２０の設置誤差（角度）から校正パラメータに対する補正を実施し（ステップＳ１０４）、校正パラメータを決定する（ステップＳ１０５）。

設置誤差に基づき校正用チャート２０の設置位置を調整するように構成してもよい。図１０は、このように構成した変形例にかかる校正装置３０−２の構成例を示すブロック図である。図１０に示すように、校正装置３０−２は、受付部１３１と、角度算出部１３２と、決定部１３３と、調整部１３４−２と、を備える。調整部１３４−２以外の機能は図８と同様であるため同一の符号を付し説明を省略する。

調整部１３４−２は、算出された傾き量に応じて校正用チャート２０の姿勢を調整する。例えば調整部１３４−２は、校正用チャート２０を駆動する駆動部に対して、傾き量を補正するように校正用チャート２０を駆動させる指示を送信する。

図１１は、本変形例における校正処理の例を示すフローチャートである。例えば校正環境が整えられた後、図１１のフローチャートが実行される。

調整部１３４−２は、校正用チャート２０の設置位置を調整する（ステップＳ２０１）。最初に校正環境を整える際にこの処理を実行してもよい。

ステップＳ２０２からステップＳ２０４は、図９のステップＳ１０１からステップＳ１０３と同様の処理であるため説明を省略する。

調整部１３４−２は、算出された傾き量が、要求される距離精度に応じて定められる閾値より小さいか否かを判断する（ステップＳ２０５）。傾き量が閾値以上である場合（ステップＳ２０５：Ｎｏ）、算出した誤差量を補正するように校正用チャート２０の設置姿勢を調整する（ステップＳ２０１）。その後、ステップＳ２０２からステップＳ２０４までの処理が繰り返される。

傾き量が閾値よりも小さい場合（ステップＳ２０５：Ｙｅｓ）、決定部１３３は、校正用チャート２０の設置誤差（角度）から校正パラメータに対する補正を実施し（ステップＳ２０６）、校正パラメータを決定する（ステップＳ２０７）。

なお、要求される距離精度から鑑みて、必要量よりも小さい閾値が設定できている場合は、校正パラメータの補正を実施せず、校正用チャート２０の傾き誤差を鑑みないまま校正パラメータを算出（決定）することも可能である。

ここで、校正用チャート２０の傾き角度から校正パラメータを補正する補正方法について説明する。

図１２は、ステレオカメラ１０の校正環境において、校正目標としての校正用チャート２０が設置誤差角αを持って設置された状態を示す図である。図１２は、例えば図３のＹ軸に平行な線を軸として回転する例を示している。

校正用チャート２０を校正目標として校正パラメータを作成する場合、校正用チャート２０の角度の誤差は、校正用チャート面の各位置における測距方向１１０１の位置誤差となって現れて校正目標値の誤差となり、この誤差が測距精度誤差の要因となる。すなわち、図１２においては、回転中心付近であるカメラ正面付近ではほとんど視差誤差を生じず、回転中心から離れるに従って大きな視差誤差を生じることとなる。

図１３は、図１２における校正用チャート２０をステレオカメラ１０側から見た状態を示す図である。縦方向の一点鎖線は、校正用チャート２０の設置誤差角αの回転中心を表す。横方向の一点鎖線は、縦方向の一点鎖線に対する垂線を表す。回転中心からｘ_ｂ離れた点Ａ_ｂにおける視差誤差Ｄ_ｆ（ｘ_ｂ）は、以下の式（１１）のように表される。
Ｄ_ｆ（ｘ_ｂ）＝Ｂ×ｆ｛１／Ｌ’−１／（Ｌ’−ｘ_ｂ×ｔａｎα）｝ ・・・（１１）

ここで、Ｂはステレオカメラ１０の基線長、ｆは撮影レンズの焦点距離、Ｌ’はステレオカメラ１０の光学中心から校正用チャート２０までの距離を表す。Ｌ’は、例えば図６の２Ｌに対応する。

式（１１）に示すように、設置誤差角αを算出できれば、画面内の任意の座標位置における視差誤差量（校正目標としての校正用チャート２０の設置誤差角による視差誤差量）を算出できる。すなわち、画面全体の視差誤差量の分布（視差誤差分布）を得ることができる。校正パラメータを作成する上で校正目標となる、校正用チャート２０から得られた視差分布から、視差誤差分布を補償するように補正した視差分布（補正分布）を得ることができる。例えば決定部１３３は、校正用チャート２０から得られた視差分布から、視差誤差分布を減算することにより補正分布を算出できる。決定部１３３は、このように補正した視差分布（補正分布）を新たな校正目標とすることで、校正用チャート２０の設置誤差角による誤差の影響を除去した校正パラメータを得ることが可能となる。

以下に、本実施形態の他の変形例について説明する。

第１カメラ１の撮影画像と第２カメラ２の撮影画像の両方を用いて、それぞれについて校正用チャート２０の傾き量算出を実施し、その平均値を校正用チャート２０の傾き量として採用してもよい。これにより、フロントガラス４２や反射部などで生じる部分的な歪みや、画像上のノイズなどの成分を平均化することが可能で、ロバスト性の高い傾き量算出を実施することが可能となる。

校正用チャート２０中の反射部４３が着脱可能となっており、マーキング４１撮影時にのみ反射部４３を設置するように構成してもよい。校正用チャート２０の撮影時に反射部４３が存在しないことで、ステレオカメラ１０の校正パラメータ算出用の画面内視差値を比較的多数個かつ広い面積で取得可能で、パラメータの信頼度向上が可能となる。

校正用チャート面よりも一段低い面（例えば校正用チャート面を図３のＺ軸方向に平行移動した面）に反射部４３が形成され、校正用チャート２０の撮影時には反射部４３の表面を校正用チャート２０と同一面となる別部材で覆い、マーキング４１撮影時には、この別部材を除去して反射部４３を露出させてもよい。着脱方式と異なり、校正用チャート２０と反射部４３とを常に一体に保持可能であるため、反射部４３の着脱による設置誤差によって生じるマーキング４１の位置検出誤差を抑制可能となる。

第２被写体として、上記のようなマーキング４１を複数個構成してもよい。この場合、例えば角度算出部１３２は、複数のマーキング４１それぞれにより算出される傾き角度の統計値（平均値、中央値など）を算出する。そして、決定部１３３は、統計値を用いて校正パラメータを決定する。ある程度広い範囲における複数点を母集団とした統計値として傾き角度を算出することで、フロントガラス４２の部分的な歪みによって生じる、マーキング４１の交点位置の検出誤差を抑制可能となる。

ステレオカメラ１０の一部または全部を第２被写体としてもよい。例えば、ステレオカメラ１０自身をマーキング４１としてもよい。撮影画像において、例えばステレオカメラ１０レンズ部の円筒形のレンズ枠を対象として位置を検出する。理想の位置に対する検出した位置の移動量から校正用チャート２０の傾き量が算出できる。レンズ枠の位置は、例えば、予め定められたレンズ枠の画像とのパターンマッチングなどにより検出できる。ステレオカメラ１０自身をマーキング４１とすることで、ステレオカメラ１０からマーキング４１までの相対位置誤差によって生じる、マーキング４１の位置検出誤差を抑制可能となる。

ステレオカメラ１０自身に検知用のマーキング４１を構成してもよい。ステレオカメラ１０からマーキング４１までの相対位置誤差によって生じる、マーキング４１の位置検出誤差を抑制できるのに加え、明快で安易なマーキングパターンを採用することで安定的に精度よく検出可能となる。

車両自身の意匠の一部をマーキング４１としてもよい。この場合も、ステレオカメラ１０からマーキング４１までの相対位置誤差によって生じる、マーキング４１の位置検出誤差を抑制することが可能となる。

これまでは、ステレオカメラを校正する校正装置を例に説明したが、ある部材（第１部材）の角度を算出する角度算出装置に、上記のような角度算出方法を適用することができる。例えば、プロジェクタなどの投影装置は、画像を投影するスクリーン（第１部材）の傾きなどにより生じる投影画像の歪みの補正（台形補正など）を実行する場合がある。角度算出装置としての投影装置が、スクリーンの傾き角度を算出するために上記と同様の構成を備えてもよい。この場合、投影装置は、カメラ（ステレオカメラである必要はない）によって撮影された撮影画像を受付け（受付部）、投影画像からスクリーンの傾き角度を算出する（角度算出部）機能を少なくとも備えていればよい。

以上のように、本実施形態によれば、校正パラメータの算出などに用いるための傾き角度を、より容易に算出することが可能となる。

本実施形態の校正装置３０のハードウェア構成の例について説明する。図１４は本実施形態の校正装置３０のハードウェア構成の例を示す図である。本実施形態の校正装置３０は、制御装置５１、主記憶装置５２、補助記憶装置５３、表示装置５４、入力装置５５および通信装置５６を備える。制御装置５１、主記憶装置５２、補助記憶装置５３、表示装置５４、入力装置５５および通信装置５６は、バス５７を介して互いに接続されている。

制御装置５１は補助記憶装置５３から主記憶装置５２に読み出されたプログラムを実行する。主記憶装置５２はＲＯＭやＲＡＭ等のメモリである。補助記憶装置５３はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やメモリカード等である。表示装置５４は校正装置３０の状態などを表示する。入力装置５５はユーザーからの入力を受け付ける。通信装置５６はネットワークに接続するためのインターフェースである。

本実施形態の校正装置３０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。

また、本実施形態の校正装置３０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の校正装置３０で実行するプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

また、本実施形態の校正装置３０のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施形態の校正装置３０で実行されるプログラムは、上述した各部を含むモジュール構成となっている。当該各部は、実際のハードウェアとしては、制御装置５１が上記記憶媒体からプログラムを読み出して実行することにより、上記各部が主記憶装置５２上にロードされる。すなわち、上記各部は、主記憶装置５２上に生成される。

なお、上述した各部の一部又は全部を、ソフトウェアにより実現せずに、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。

１０ ステレオカメラ
２０ 校正用チャート
３０ 校正装置
４１ マーキング
４２ フロントガラス
４３、４３−１、４３−２ 反射部
１３１ 受付部
１３２ 角度算出部
１３３ 決定部
１３４−２ 調整部

特許第４１０９０７７号公報

Claims (14)

1. 第１部材と、
   第２部材と、
   前記第１部材と一体に保持され、前記第２部材が映される反射部材と、
   前記第２部材が映される前記反射部材を含む撮影画像を受け付ける受付部と、
   前記撮影画像上での前記第２部材の位置に基づいて、前記第１部材の傾き角度を算出する角度算出部と、
   前記傾き角度と、前記撮影画像と、に基づいて、前記撮影画像を撮影するステレオカメラを校正する校正パラメータを決定する決定部と、
   を備える角度算出システム。
2. 第１部材と、
   第２部材と、
   前記第１部材と一体に保持され、前記第２部材が映される反射部材と、
   前記第２部材が映される前記反射部材を含む撮影画像を受け付ける受付部と、
   前記撮影画像上での前記第２部材の位置に基づいて、前記第１部材の傾き角度を算出する角度算出部と、
   前記反射部材を覆う部材と、
   を備える角度算出システム。
3. 前記傾き角度に基づいて前記第１部材の姿勢を調整する調整部をさらに備える、
   請求項１または２に記載の角度算出システム。
4. 前記角度算出部は、前記第１部材の傾きがないときの撮影画像上での前記第２部材の位置に対する、受け付けられた前記撮影画像上での前記第２部材の位置の変化量に基づいて、前記第１部材の傾き角度を算出する、
   請求項１または２に記載の角度算出システム。
5. 前記反射部材は、平面ミラーである、
   請求項１または２に記載の角度算出システム。
6. 前記反射部材は、前記第１部材から着脱可能である、
   請求項１または２に記載の角度算出システム。
7. 複数の前記第２部材を含み、
   前記角度算出部は、前記撮影画像上での複数の前記第２部材の位置に基づいて、前記第１部材の傾き角度を算出する、
   請求項１または２に記載の角度算出システム。
8. 前記第２部材は、前記撮影画像を撮影するステレオカメラの一部または全部である、
   請求項１または２に記載の角度算出システム。
9. 前記撮影画像を撮影するステレオカメラは、フロントガラスを有する車両に備えられ、
   前記第２部材は、前記フロントガラス上に構成される、
   請求項１または２に記載の角度算出システム。
10. 第１部材と一体に保持され、第２部材が映される反射部材を含む撮影画像を受け付ける受付部と、
    前記撮影画像上での前記第２部材の位置に基づいて、前記第１部材の傾き角度を算出する角度算出部と、
    前記傾き角度と、前記撮影画像と、に基づいて、前記撮影画像を撮影するステレオカメラを校正する校正パラメータを決定する決定部と、
    を備える角度算出装置。
11. コンピュータを、
    第１部材と一体に保持され、第２部材が映される反射部材を含む撮影画像を受け付ける受付部と、
    前記撮影画像上での前記第２部材の位置に基づいて、前記第１部材の傾き角度を算出する角度算出部と、
    前記傾き角度と、前記撮影画像と、に基づいて、前記撮影画像を撮影するステレオカメラを校正する校正パラメータを決定する決定部と、
    として機能させるためのプログラム。
12. 第１部材と一体に保持され、第２部材が映される反射部材を含む撮影画像を受け付ける受付ステップと、
    前記撮影画像上での前記第２部材の位置に基づいて、前記第１部材の傾き角度を算出する角度算出ステップと、
    前記傾き角度と、前記撮影画像と、に基づいて、前記撮影画像を撮影するステレオカメラを校正する校正パラメータを決定する決定ステップと、
    を含む角度算出方法。
13. 第１部材と一体に保持され、第２部材が映される反射部材を含む撮影画像を受け付ける受付ステップと、
    前記撮影画像上での前記第２部材の位置に基づいて、前記第１部材の傾き角度を算出する角度算出ステップと、
    前記反射部材を覆う部材により前記反射部材を覆うステップと、
    を含む角度算出方法。
14. 前記傾き角度に基づいて前記第１部材の姿勢を調整する調整ステップをさらに含む、
    請求項１２または１３に記載の角度算出方法。

Images