JP7436400B2 - ステレオ画像処理装置及び画像補正手段 - Google Patents

Description

本発明は、ステレオ画像処理装置及び画像補正手段に関する。

３次元的に物体を認識するための装置として、ステレオカメラが知られている。ステレオカメラは、異なる位置に配置した複数のカメラの画像の写り方の違いを利用して、三角法に基づき複数のカメラの間の視差を検出し、その視差を用いて物体の奥行きや位置を検出するものであり、観察対象の位置を正確に検出することができる。

このようなステレオカメラは、自動車に搭載され、障害物等の位置を検知する技術（車載センシング技術）に応用されている。車載用センシング技術では、多くのユースケースに対応するため、広画角で障害物等を検知すると共に、より遠方の障害物まで検知すること（広画角化及び遠方化）が要求されている。

広画角化及び遠方化の要求に対応する技術として、例えば特許文献１が提案されている。車載ステレオカメラは、汚れなどの影響を回避するため、一般的に自動車の室内に搭載されているが、広画角化に伴って車両に搭載されているフロントガラスによる影響が無視できなくなっている。従来、ステレオカメラ搭載ずれを補正するため、車両製造時や検査時にエーミングと呼ばれるステレオカメラの校正作業が行われるが、広画角化のためには、更なる対応が求められる。

フロントガラスの影響を考慮したステレオカメラの校正の方法を開示するものとして、特許文献２が知られている。特許文献２は、第１カメラと第２カメラとを備え、透明体を介して被写体を撮影するステレオカメラの校正方法を開示している。この校正方法では、高精度な校正パラメータを算出するため、第１カメラにより撮影される画像、及び第２カメラにより撮影される画像の少なくとも一方の、透明体に起因する被写体の像の座標のずれを示す絶対位置ずれを校正する補正パラメータを算出する。また、ステレオカメラにより校正用具を撮影して第１カメラによる第１撮影画像と第２カメラによる第２撮影画像とを取得する。そして、第１撮影画像と第２撮影画像に基づいて、第１撮影画像の被写体の像と第２撮影画像の被写体の像との視差のずれを示す相対位置ずれを校正する補正パラメータを算出する。絶対位置ずれを校正する補正パラメータ、及び相対位置ずれを校正する補正パラメータに基づいた補正パラメータを、ステレオカメラに記憶させる。以上の手順により、ステレオカメラの校正が実行される。

特許文献２には、高精度の補正パラメータを算出できることが記載されている。一方で、特許文献１記載のような広画角のステレオカメラの場合には、そのための評価用のチャート(以下、チャートと示す)を必要とするため、チャートサイズの拡大は避けられず、車両メーカでは車両製造ラインの大規模な改修が必要となる。例えば、水平方向の画角４０度のステレオカメラで３ｍ離れた位置にチャートを配置した場合、約２ｍのチャートが必要となる。一方で、水平画角１２０度のステレオカメラで３ｍ離れた位置にチャートを配置した場合、約１０ｍのチャートが必要となる。さらに、水平画角１５０度のステレオカメラで３ｍ離れた位置にチャートを配置した場合、約２２ｍのチャートが必要となる。

チャートのサイズに関しては、ステレオカメラとチャート間距離を近づけることで必要なチャートのサイズを小さくすることも考えられるが、センサ上の像がぼけてしまうため、正確な校正を行うことができない。このように、チャートのサイズは、ステレオカメラの水平画角に大きく依存するため、ステレオカメラの広画角化を行う上での課題となる。

特開２０１９－３２４０９号公報 特開２０１９－１３２８５５号公報

本発明は、上記のような課題に鑑みてなされたものであり、チャートのサイズを大型化することなく、高精度に広画角のステレオカメラの校正を行うことができるステレオ画像処理装置及び画像補正手段を提供するものである。

本発明に係るステレオ画像処理装置は、複数のカメラにより対象物を撮像する撮像部と、前記撮像部により撮像した複数の画像のステレオマッチングを行い視差を検出するステレオマッチング部と、前記対象物を撮像したときの画素シフトを補正する画素シフト補正処理部とを備える。前記撮像部の画角については、第１の画角範囲と、前記第１の画角範囲より水平方向に広角側である第２の画角範囲がある。前記画素シフト補正処理部は、前記第１の画角範囲で求められた画素シフト量に基づき、前記第２の画角範囲の画素シフト補正処理を行う。

本発明に係るステレオ画像処理装置によれば、チャートのサイズを大型化することなく、高精度に広画角のステレオカメラの校正を行うことができるステレオ画像処理装置及び画像補正手段を提供することができる。

第１の実施の形態に係るステレオカメラ画像処理装置１０の構成を説明するブロック図である。 第１の実施の形態に係るステレオカメラ画像処理装置１０の動作を説明する概念図である。 フロントガラス１と光線の関係を示した模式図である。 フロントガラス１を車両に搭載したときの右カメラ５０の画像センサ上の像の変化を示している。 フロントガラス１による垂直方向の画素シフト量の計算結果の一例を示している。 フロントガラス１の代表的なばらつきの影響を示している。 画角Ａと画角Ｂでの垂直方向の画素シフト量の関係を示すグラフの一例である。 標準（ノミナル条件）との比較において、フロントガラスの様々な製造ばらつきが生じた状況や、ステレオカメラとフロントガラスの相対位置のずれが生じた状況を示す概略図である。 ステレオカメラの補正パラメータを求める手順を示すフローチャートである。 補正関数の導出を説明するグラフである。 本実施の形態の補正の効果を示したグラフである。 補正関数Ｃ１００の導出の方法を説明する。 校正チャートの一例を説明する。 第２の実施の形態に係るステレオ画像処理装置を説明するフローチャートである。 間隔変化量ＢＤと、画角Ａでの垂直方向の画素シフト量の関係を示すグラフの一例である。 第３の実施の形態に係るステレオ画像処理装置を説明するフローチャートである。 第４の実施の形態に係るステレオ画像処理装置を説明するフローチャートである。 フロントガラスによる水平方向の画素シフトの計算結果を示している。 アフィン処理手段２０ａによって、（ｆｓｉｎθｘ、ｆｓｉｎθｙ）に変換された後、左右単眼画像生成部３００で処理された後の垂直画角０度の位置での水平方向の画素シフト量を示している。 補正関数Ｃ４００の導出の方法を説明する。 第４の実施の形態の補正の効果を示したグラフである。

以下、添付図面を参照して本実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本開示の原理に則った実施形態を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。本明細書の記述は典型的な例示に過ぎず、本開示の特許請求の範囲又は適用例を如何なる意味においても限定するものではない。

本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。

［第１の実施の形態］
図１Ａを参照して、第１の実施の形態に係るステレオカメラ画像処理装置１０（以下、画像処理装置１０という）の構成を説明する。この画像処理装置１０は、例えば自動車などの車両に搭載され、車両から車両の周囲の立体物（他の自動車、建物、歩行者など）までの距離を検出するのに用いられる。以下では、車両に画像処理装置１０が搭載される場合を例として説明するが、これに限定される趣旨ではない。

図１Ａは、第１の実施の形態に係る画像処理装置１０の構成例を示すブロック図である。この画像処理装置１０は、左右のカメラ５０及び６０により得られた画像に基づき、周囲の立体物を検知し、必要に応じ警報を発することができるように構成される。左右のカメラ５０、６０によりステレオカメラが構成される。

この画像処理装置１０は、一例として、画像処理部１００、ステレオ視差画像生成部２００、左右単眼画像生成部３００、路面断面形状推定部４００、ステレオ視立体物検知部５００、ハイブリッド立体物検知部６００、及び警報制御部７００とを備えて構成される。

この画像処理装置１０は、図１Ｂに示すように、左右のカメラ５０及び６０で共通に撮像が可能な領域（以下、「ステレオ視領域」という）では、左右のカメラ５０及び６０の視差を利用してステレオ視差画像生成部２００においてステレオ視差画像が生成される。そして、ステレオ視立体物検知部５００において、視差に従って、車両から立体物までの距離を計測する。

一方、ステレオ視領域の左右には、左右どちらかのカメラ（５０又は６０）の一方でのみ画像が得られる領域（以下「単眼視領域」という）が存在する。ステレオ視領域に比べ、単眼視領域は測距精度においては劣るが、このような単眼視領域を設定することで、より広角に立体物を検知可能なステレオカメラとすることができる。後述するように、単眼視領域では、ステレオ視領域での視差に基づいた測距結果に従い、車両から立体物までの距離が計測され、車両の周囲環境が認識される。

右カメラ５０、左カメラ６０は、図示は省略するが、レンズと、画像センサとを備えている。左右のカメラ５０及び６０は、それぞれ、対象物の画像をレンズを介して画像センサで取得（撮像）する。画像処理装置１０は、右カメラ５０から画像Ｐ１（第１の画像）を取得するとともに、左カメラ６０から画像Ｐ２（第２の画像）を取得する。

画像処理部１００は、一例として、アフィン処理手段２０ａ、２０ｂ、輝度補正手段２１ａ、２１ｂ、画素補間手段２２ａ、２２ｂ、及び輝度情報生成手段２３ａ、２３ｂを備えて構成される。画像処理部１００は、左右のカメラ５０及び６０により得られた画像Ｐ１及びＰ２に所定の画像処理を適用し、ステレオ視差画像生成部２００及び左右単眼画像生成部３００に供給する。

アフィン処理手段２０ａは、右カメラ５０からの画像Ｐ１にアフィン処理を適用する。アフィン処理は、例えば線形の座標変換処理であるが、非線形の演算を含むものであってもよい。このアフィン処理を行った結果として、アフィン処理手段２０ａは画像Ｐ３（第３の画像）を取得する。同様に、アフィン処理手段２０ｂは、左カメラ６０からの画像Ｐ２にアフィン処理を適用して画像Ｐ４（第４の画像）を取得する。

アフィン処理手段２０ａ及び２０ｂは、アフィン処理以外の歪変換処理を併せて実行するものであってもよい。本実施の形態では、魚眼レンズの射影方式のｆｓｉｎθを、（ｆｔａｎθｘ、ｆｔａｎθｙ）の座標系へ射影変換する。ここで、ｆは魚眼レンズの焦点距離、θは魚眼レンズに入射する画角、θｘ、θｘは魚眼レンズに入射する画角の水平、垂直成分を示している。さらに本実施の形態では、フロントガラスの影響による垂直方向の画素シフトをアフィン処理手段２０ａ及び２０ｂで補正する。すなわち、アフィン処理手段２０ａ及び２０ｂは、画素シフトを補正する画素シフト補正処理部として機能する。

輝度補正手段２１ａは、画像Ｐ３の各画素の輝度を補正する。例えば、右カメラ５０のゲイン、画像Ｐ３内の各画素のゲインの違い等に基づいて、画像Ｐ３の各画素の輝度の補正が行われる。同様に、輝度補正手段２１ｂは、画像Ｐ４の各画素の輝度を補正する。

画素補間手段２２ａは、画像Ｐ３に対してデモザイキング処理を行う。例えば、ＲＡＷ画像からカラー画像への変換が行われる。同様に、画素補間手段２２ｂは、画像Ｐ４に対してデモザイキング処理を行う。

輝度情報生成手段２３ａは、画像Ｐ３の輝度情報を生成する。例えば、カラー画像を表す情報を、視差画像を生成するための輝度情報に変換する。同様に、輝度情報生成手段２３ｂは、画像Ｐ４の輝度情報を生成する。

ステレオ視差画像生成部２００は、得られた画像Ｐ３、Ｐ４のうち、前述のステレオ視領域（共通視野領域）の画像を利用して、ステレオ視領域のステレオ視差画像を生成する。ステレオ視差画像生成部２００は、露光調整部２１０、感度調整部２２０を備え、左右のカメラ５０、６０の露光量、感度等についてのカメラ５０、６０へのフィードバック制御を実行可能に構成され得る。また、ステレオ視差画像生成部２００は更に、左右の画像の幾何補正を行う幾何補正部２３０、左右の画像のマッチング処理を行うマッチング部２４０、画素シフト量を演算する画素シフト量演算部２６０、及び、後述する補正関数を導出する補正関数導出部２７０を備える。画素シフト量演算部２６０、及び補正関数導出部２７０は、アフィン処理手段２０ａ、２０ｂとともに画素シフト補正処理部を構成する。路面断面形状推定部４００は、画像処理装置１０が搭載された車両が進行する予定の道路の路面の断面形状の推定を行う。路面断面形状推定部４００の詳細は、国際公開第２０１９／１１６９５８号に開示の装置と同様とすることができる。

左右単眼画像生成部３００は、得られた画像Ｐ３、Ｐ４のうち、前述のステレオ視領域以外の領域の画像を、単眼視画像として生成する。ここで、左右単眼画像生成部３００は、左右の単眼視画像の同一の水平線に沿った単位長の長さが、互いに等しい距離を表すよう射影変換が行われる。

ステレオ視立体物検知部５００は、ステレオ視差画像生成部２００で生成されたステレオ視差画像に従い、ステレオ視領域における立体物の検知を行う。また、検知された立体物に対しステレオマッチングを適用して、視差を検出すると共に、立体物の種別（歩行者、自転車、車両、建物など）を識別する。立体物を検知するとともに、立体物の種別を識別することにより、更に予防安全に利用する種別を特定する。車両が検知された場合、その検知結果は、先行車の追従制御や、緊急時のブレーキ制御などに利用することができる。検知された立体物が歩行者や自転車の場合には、緊急ブレーキ制御や、警報の制御を実行することができる。静止物体と比較して、車両に向けて飛び出してくる物体には広い視野範囲内の対象物に対して警報や制御を実施することとなる。これら検知した物体に対して距離を計測するとともに時系列にトラッキングしている対象物の移動速度を推定することで、より適切な警報や制御を警報制御部７００で実施することができる。

ハイブリッド立体物検知部６００は、ステレオ視差画像と単眼視画像とを合成して１つのハイブリッド画像を生成し、そのハイブリッド画像に基づいて、立体物を検知する。ハイブリッド画像は、ステレオ視差画像の左右に単眼視画像を配置して合成される。ハイブリッド立体物検知部６００は、ハイブリッド画像において、ステレオ視差画像での視差等の情報に従い、単眼視領域に存在する立体物を検出し、その立体物までの距離を検出する。さらに、ハイブリッド立体物検知部６００は、単眼視画像において障害物となる立体物を検知し、更に、ステレオ視領域と同様にパターンマッチングによる種別の特定として、歩行者、自転車、車両などの識別を実施する。

前述のように、ステレオ視差画像生成部２００、及び左右単眼画像生成部３００は、ステレオ視領域及び単眼視領域の画像上の同一の水平線に沿った単位長の長さが互いに等しい距離になるよう画像変換を行う。このため、例えば、単眼視領域で検知される立体物（測定対象物）が人の場合、単眼視領域の単眼視画像の上下方向の人の足元位置を検出し、路面断面形状推定部４００によって得られたステレオ視による位置情報を用いて、人までの距離を推定する。車両の場合、車両と地面との接地面を検出することで、車両から人までの距離が推定できる。

ステレオ視立体物検知部５００、及びハイブリッド立体物検知部６００では、立体物を検知するとともに、立体物の中で歩行者か自転車か車両かなどの識別を行うことで更に、予防安全に利用する種別を特定する。車両検知結果であれば、先行車の追従や、緊急時のブレーキ制御などに利用する。歩行者や自転車の場合には、基本的に緊急ブレーキの対応となり、特に飛び出してくる歩行者や自転車への警報や車両の制御に利用する。静止物体と比較して飛び出してくる物体には広い画角範囲内の対象物に対して警報や制御を実施することとなる。これら検知した物体に対して距離を計測するとともに時系列にトラッキングしている対象物の移動速度を推定することで、より適切な警報や制御を警報制御部７００で実施する。

上述したように、本実施の形態のステレオカメラの単独視領域は、人の足元や車両の地面との接地面の位置を用いることで、対象物までの距離を推定している。このため、フロントガラスの影響により、画像上下方向の検出位置がずれてしまうと、測距誤差が発生する。

図２は、フロントガラス１と光線の関係を示した模式図である。図２（ａ）は、画像処理装置１０の光軸の水平断面、図２（ｂ）は垂直断面を示している。

フロントガラス１に光線が入射したとき、スネルの法則に従って光線が屈折する。このとき、光線が伝搬するフロントガラス１の２つの面の傾きが同じ場合には、入射光と出射光の光線の傾きは同じになる。このため、図２（ａ）に示すように、フロントガラス１の正面近傍から入射する光線Ｒ００は、光線の角度が入射後と出射後とであまり変化しない。一方で、光線Ｒ０１のように車両の左右方向からフロントガラス１に対し傾いて入射する光は、入射の前後で光線の方向が大きく変化する。このため、物体が実際の位置よりもずれた位置に見えることになる。

また、図２（ｂ）に示すように、フロントガラス１が、多くの場合、垂直方向に対し傾けて取り付けられているので、多くの光線はフロントガラス１の面に対し傾いて入射する。カメラ光軸近傍を通る光線Ｒ１０ｓ、下側画角の光線Ｒ１１はいずれも、光線Ｒ００、光線Ｒ０１に比べ、入射の前後で光線の方向が大きく変化する。このように、フロントガラス１が物体とカメラとの間に入ると、物体が実際より下側に見えることになる。

図３は、フロントガラス１を車両に搭載したときの右カメラ５０の画像センサ上の像の変化を示している。ここでは、画像センサ上のレンズ光軸中心Ｏ５２の近傍の位置、水平方向の軸Ｏ５２１に沿った広画角の位置、及び垂直方向の軸Ｏ５２２に沿った広画角の位置の３つの位置に対象物（ここでは四角形で示す）がある場合を示している。

なお、図３において、対象物の像の位置が、点線と実線の２つで表されている。点線はフロントガラス１が無い場合の対象物の像の位置を示し、実線はフロントガラス１が有る場合の対象物の像の位置を示している。また、図中の矢印はフロントガラス１の挿入による対象物の像の位置の変化の方向を示している。

図２で説明したように、フロントガラス１が一般に垂直方向に対し傾いて車体に取り付けられるため、垂直方向における光線のずれが大きい。光線は、レンズによって画像センサに入射するが、この光線のずれに起因して、画像センサ上では光線が入射する位置が変化する（以下、「画素シフト」と呼ぶ）。この画像シフトは、画像の歪として現れる。本実施の形態の単独視領域では、人の足元や車両の地面との接地面の位置を用いて対象物までの距離を推定している。このため、このような画素シフトがあると測距誤差を発生し、車載センシング装置における正常な動作が阻害される。

図４のグラフは、フロントガラス１による垂直方向の画素シフト量の計算結果の一例を示している。ここで、グラフの水平方向の軸は画像の水平方向の画角、垂直方向の軸は画像の垂直方向の画角を示している。また、グラフ中の濃淡により、その画角（水平、垂直）での画素シフト量が示されている。グラフの水平方向は、右方向が水平方向の画角のプラス方向であり、垂直方向は、上方向が垂直方向の画角のプラス方向である。そして、画素シフト量は、下側へのシフトをプラスとして、グラフの濃淡で表現している。図４は、左右単眼画像生成部３００で生成された左右単眼画像に基づく結果である。以下は、図４の計算に用いられる計算パラメータを示している。

－レンズパラメータ
・焦点距離：４ｍｍ
・射影：ｆｓｉｎθ
－ガラスパラメータ
・曲率半径(垂直、水平)：２ｍ
・屈折率：１．５４３
－センサパラメータ
・画素ピッチ：４μｍ
－位置・姿勢パラメータ
・基線長：１６０ｍｍ
・レンズ－ガラス間距離：４０ｍｍ
・ガラス傾き：２５度

ここで、実際のフロントガラス１の形状は、曲率半径だけでなく、高次の係数の曲面となっているが、主に光線の傾きに影響するのは変化の大きい曲率（２次の係数）であるため、本実施の形態では曲率のみを使用した。これは、ステレオカメラのフロントガラス１からの入射範囲が局所的なためである。

従来、この画像シフト量を補正するため、例えば特許文献２の技術のような画素シフト補正方法がある。しかし、上述したようにチャートサイズの拡大は避けられず、車両メーカでは車両製造ラインの大規模な改修が必要となる。また、一方でフロントガラスで発生する画素シフトを固定値で補正することも考えられるが、フロントガラスの製造ばらつきや、取付ばらつきなどの影響により、誤差が発生する。

図５は、代表的なばらつきの影響を示している。図５（ａ）は、図４で示した条件（ノミナル条件）からフロントガラスが＋１度傾いたときの垂直方向の画素シフトの変化量（絶対値）を示している。また、図５（ｂ）は、ノミナル条件からフロントガラスの中心を３ｍｍだけ、沈ませた場合（曲率が大きくなる方向に変化させた場合）の垂直方向の画素シフトの変化量（絶対値）を示している。このとき、ガラスの大きさは垂直方向０．８ｍ、水平方向１．２ｍとした。

図５（ａ）、（ｂ）より、例えば同一の垂直画角で水平画角が大きくなるにつれて、画素シフト量が大きくなることがわかる。また、同様に同一の水平画角で垂直画角が大きくなるについて、画素シフト量が大きくなることがわかる。水平、垂直方向のいずれの位置でも、垂直方向の画素シフトが発生することがわかる。これは、フロントガラスが曲面になっていることが影響している。

ここで、例えば、水平画角６０度、垂直画角０度の画角Ａと、水平画角０度、垂直画角－２０度の画角Ｂ（図５）を考える。図６は、画角Ａと画角Ｂでの垂直方向の画素シフト量の関係を示すグラフの一例である。図６のようなグラフは、予め実測又はシミュレーション等により、車種ごとに予め取得される。

図６のグラフの縦軸は画角Ａでの垂直方向の画素シフト量を示し、横軸は画角Ｂでの垂直方向の画素シフト量を示している。図６のグラフの複数のドットは、様々な状況下における、画角Ａ及び画角Ｂでの垂直方向の画素シフト量ＳＡ、ＳＢの関係を表している。様々な状況とは、標準（ノミナル条件）との比較において、フロントガラスの様々な製造ばらつきが生じた状況や、ステレオカメラとフロントガラスの相対位置のずれが生じた状況などである。具体的に、様々な状況とは、一例として、図７（ａ）～（ｇ）に示すように
（ａ）フロントガラスが標準の位置から左右にずれた場合（±２ｍｍ）
（ｂ）フロントガラスが標準の位置から上下方向にずれた場合（±２ｍｍ）
（ｃ）フロントガラスの傾斜角が標準の角度からずれた場合（±１度）
（ｄ）フロントガラスのガラス厚さが標準値からずれた場合（±０．１ｍｍ）
（ｅ）フロントガラスの中心位置が標準位置からずれた場合（曲率半径ずれ：±３ｍｍ）（ｆ）フロントガラスが標準位置から左右方向に回転ずれした場合（±１度）
（ｇ）カメラ－フロントガラスの間隔が標準値からずれた場合（±２ｍｍ）
である。

図６より分かるように、画角Ａと画角Ｂでの垂直方向の画素シフト量ＳＡ、ＳＢは、フロントガラスの製造ばらつきや取り付け誤差等に拘わらず、相関関係を有する。これは、ガラスが水平方向、垂直方向の曲面であるため、ばらつきが発生した時も、水平方向と垂直方向の垂直方向の画素シフトが発生するためである。例えば、曲率半径やガラスの傾きに依ってばらつきに対する変化量は変わるが、相関関係は維持される。このため、本実施の形態では、例えばステレオ視差画像生成部２００において、このような相関関係から導き出される画素シフト量ＳＡ、ＳＢの関数（図中の直線）を補正パラメータとして用いてステレオカメラの校正を実行する。

図８は、ステレオカメラの補正パラメータを求める手順を示すフローチャートである。また、説明を簡単にするため、垂直画角０度での画素シフト量の補正を例として説明する。

まず、ステレオカメラを、フロントガラスが未搭載の車両に搭載する（Ｆ１０１）。次に、校正用のチャートを、ステレオカメラで（フロントガラスを介さず）撮像する（Ｆ１０２）。

そして、フロントガラスを車両に搭載（Ｆ１０３）し、ステレオカメラで、フロントガラス越しに校正チャートを撮像する（Ｆ１０４）。そして、フロントガラス無しで撮像した校正チャートの画像（Ｆ１０２）と、フロントガラス越しに撮影された校正チャートの画像（Ｆ１０４）を比較し、所定画角、例えば水平画角－２０度～＋２０度での垂直方向の画素シフト量を測定する（Ｆ１０５）。本実施の形態の校正チャートは、撮像対象である全画角（例えば－６０度～＋６０度）ではなく、例えば、水平画角－２０度～＋２０度、垂直画角－２０度～＋２０度の範囲をステレオカメラで計測可能な程度の大きさを有する校正チャートである。

次に、画角Ｂ（水平画角０度、垂直画角－２０度）での画素シフト量ＳＢと、図６の相関関数から、画角Ａ（水平画角－６０度、垂直画角０度）の画素シフト量を推測する（Ｆ１０６）。そして、図９に示すように、補正関数導出部２７０は、水平画角－２０度～＋２０度での画素シフト量の測定結果（Ｆ１０５）と、画角Ａでの垂直方向の画素シフト量を用いて、補正関数Ｃ１００を導出する（Ｆ１０７）。そして、フロントガラスがないときのアフィン処理のパラメータと、この補正関数Ｃ１００を基に、アフィン処理手段２０ａ及びアフィン処理手段２０ｂで補正を行う。

図１０は、本実施の形態の補正の効果を示したグラフである。図１０では、回転ずれの条件での補正前と補正後を示している。本図より、本補正を用いることで画素シフト量が大幅に抑制できることがわかる。

このように本実施の形態では、フロントガラス無しで撮像された構成チャートの画像（Ｆ１０２）とフロントガラス越しに撮像された校正チャートの画像（Ｆ１０４）とを比較し、所定画角の垂直方向の画素シフト量を検出する。そして、予め求めてある相関関数（図６）を用いて補正関数を求め、単眼視領域も含めて画素シフトの補正を行う。このようにすることで、広画角のステレオカメラに対して、所定サイズの校正チャートの測定結果に基づき、広画角部（単眼視領域）の補正を行うことができる。本実施の形態の補正を行うことで、広画角のステレオカメラであっても、撮像範囲の全てを含まない小さなサイズの校正チャートを用いて画素シフト量の補正を行うことができる。

本実施の形態では、２つのカメラ５０、６０に補正を行うことでフロントガラスで光が屈折することによって発生する測距誤差の影響を抑制することができる。本実施の形態の補正方式によれば、画素シフト量は０．５画素程度に抑制される。上述したように、本実施の形態のステレオカメラの単独視領域では、車両周囲にいる人の足元の位置の情報、車両の地面との接地面の位置を用いることで、対象物までの距離を推定している。単独視領域は広画角の領域であり、比較的に近い対象物を測定すること、広画角は前方ほど測距の精度が要求されないため、０．５画素程度の誤差は十分に許容可能である。これにより、大きな校正チャートを用いずに、広角カメラにおけるフロントガラスの影響を是正できる。

なお、本実施の形態では、説明を簡単にするため垂直画角０度の画素シフト量の補正を例として説明を行ったが、垂直画角０度以外でも、同様に補正を実行することができるのは言うまでもない。図１１は、図６の条件で垂直画角のみを変えたとき（０度、－１０度、＋１０度）の画角Ｂでの画素シフト量ＳＢと画角Ａでの画素シフト量ＳＡとの関係を示している。図１１から分かるように、垂直画角が変わっても、それぞれの垂直画角での垂直方向の画素シフト量と画角Ｂでの垂直方向の画素シフト量に相関があることがわかる。これらを用いて垂直方向の０度以外の画角の補正関数を求め、フロントガラスの影響を是正することができる。なお、図１１のグラフに示す相関関係は、予め車種ごとに予め求めておく。

図１２（ａ）、（ｂ）に、校正チャートの一例を説明する。このようなパターンを用いることで、精度良く画素シフト量を検出することができる。

また、本実施の形態では、フロントガラスの影響による垂直方向の画素シフト量をアフィン処理で補正したが、ハイブリッド立体物検知部６００での単独視領域の測距の際に補正する方法であってもよい。

図８のフローチャートに示す補正の手順は、ステレオカメラが取り付けられる車両の製造時、フロントガラスの交換時、車両検査時などに実施することができる。本実施の形態ではフロントガラスを搭載したときのステレオカメラの位置変化を考慮していなかったが、これについては、その位置変化を校正チャートを用いて検出してもよい。例えば、図１２（ａ）、（ｂ）の校正チャートの色をランダムにし、その位置が検出できるようにしてもよい。また、図１２（ａ）、（ｂ）の校正チャート内に所定パターンを組み込むことで、その位置を検出することで、ステレオカメラの位置変化を検出してもよい。

さらに、本実施の形態では、画角Ａを水平画角０度、垂直画角－６０度、画角Ｂを水平画角－２０度、垂直画角０度としたが、これは一例であり、画角Ａ、Ｂの水平画角及び垂直画角の値を上記とは異なる値としても、同様の効果が得られる。そして、本実施の形態では、広画角領域（単眼視領域）の１点のみの画素シフト量しか求めなかったが、同様の方法を用いて複数点の画素シフト量を求めてもよい。この場合、計算量は増えるが、さらに補正精度を上げることができる。

また、本実施の形態では、図６の相関を示す関数として直線を用いたが、曲線であっても同様の効果が得られる。そして本実施の形態の誤差要因としてチャート上下方向／水平方向軸の回転ずれがあるが、例えばオートコリメータなどの測定器で測定し、実物のチャートを回転調整してもよい。また、その回転量を幾何計算で補正してもよい。そして、本実施の形態では、レンズの射影方式のｆｓｉｎθを、（ｆｔａｎθｘ、ｆｔａｎθｙ）の座標系へ射影変換したが、水平線がエピポーラ線となっていれば、射影変換後の画像の形式は（ｆｔａｎθｘ、ｆｔａｎθｙ）以外の座標系であってもよい。このようにすることで、２つの画像を水平ラインで比較することで比較的計算量が少なく、視差計算が行える利点がある。

［第２の実施の形態］
図１３を参照して、第２の実施の形態に係るステレオ画像処理装置を説明する。この第２の実施の形態のステレオ画像処理装置の概略構成は、第１の実施の形態（図１）と同様であってよい。ただし、この第２の実施の形態では、補正パラメータの導出の手順が第１の実施の形態とは異なっている。

図１３のフローチャートは、第２の実施の形態に係るステレオ画像処理装置の補正パラメータを求める手順を示している。第１の実施の形態との違いは、図示しない前工程でフロントガラスとステレオカメラはすでに車両に搭載されていることである。この第２の実施の形態では、第１の実施の形態のように、フロントガラス無しで撮像された校正チャートの画像（図８のＦ１０２）と、フロントガラス越しで撮像された校正チャートの画像（Ｆ１０４）を比較し、所定画角の垂直方向の画素シフト量を検出することは行わない。これに代えて、第２の実施の形態では、予め取得されている校正パターンの実際のサイズと、撮像された校正パターンのサイズとの比較を行い、所定画角の垂直方向の画素シフト量の検出を行う。

上述したように、画素シフトは、ガラス入射角度に伴って大きくなる。このため、垂直方向は、フロントガラスが傾いている分、画素シフトが大きい。一方、水平方向はフロントガラスが傾いていないので、画素シフト量が小さく、このため、基準として用いるには好適である。レンズ光軸付近の領域では、画素シフトは非常に小さく、画像のサイズは殆ど変化しない。

実際には、ステレオカメラなので、その光軸はフロントガラスの曲率中心からずれてしまうが、垂直方向に比べれば水平方向の画素シフトは非常に小さい。例えば、水平方向－１０度から＋１０度の間隔を見た場合、フロントガラスによる誤差は０．０１％程度であり、垂直方向に比べ、非常に小さい（フロントガラスによる水平方向１０度での水平方向の画素シフト：０．０１６画素、水平方向０～１０度の画素数：１７６画素）。このため、本実施の形態では、垂直方向における所定位置の間の画像上での間隔の変化量を求め、これに従って画像シフト量を検出する。

図１３の手順では、最初にフロントガラス越しにカメラ５０、６０により校正チャートを撮像する（Ｆ２０１）。このとき、一例としては、例えば図１２（ａ）の校正チャートを撮像する。図１２（ａ）の校正チャートに関しては、白と黒の領域の位置が、予め分かっており、その白黒のパターンのサイズに関する情報が予め取得されている。

Ｆ２０１で校正チャートの撮像が終わったら、左カメラ６０が撮像した画像のアフィン変換後の画像の白と黒のパターンの画素サイズと、予め測定された白と黒のパターンのサイズの情報とを用いて、ステレオカメラと校正チャートとの間の距離Ｚ１を見積る（Ｆ２０２）。具体的には、所定距離Ｚ０で撮像した図１２（ａ）の校正チャートのパターンのサイズがＤ０であるとき、右カメラ５０で撮像した校正パターンの画像のパターンサイズがＤ１であれば、ステレオカメラと校正チャートの間の距離Ｚ１は、以下の（式１）のように求めることができる。
（式１）Ｚ１＝Ｄ１／Ｄ０×Ｚ０

次にアフィン変換後の画像の水平画角０度／垂直画角－２０度の画角Ｂ１の位置と、水平画角０度／垂直画角＋２０度の画角Ｂ２の位置との撮像画像上で間隔Ｙ１を求め、所定距離Ｚ０のときに想定される画角Ｂ１の位置と画角Ｂ２の位置との間隔Ｙ０から、フロントガラスの挿入の影響による間隔変化量ＢＤを算出する（Ｆ２０３）。
（式２）ＢＤ＝|Ｙ１×Ｚ０／Ｚ１－Ｙ０|

そして、図１４に示すような補正パラメータを用いて、画角Ａ（水平画角－６０度、垂直画角０度）での垂直方向の画素シフト量を推測する（Ｆ２０４）。図１４のグラフは、図６のグラフと同様に、予め実測又はシミュレーションにより予め取得される。ただし、図６のグラフと図１４のグラフとは、横軸が異なる。図６のグラフでは、横軸が画角Ｂでの画素シフト量ＳＢになっているに対し、図１４のグラフの横軸は、間隔変化量ＢＤとなっている。

次に、第１の実施の形態と同様に、水平画角－２０度～＋２０度での画像シフト量の測定結果と、画角Ａの垂直方向のシフト量を用いて補正関数Ｃ２００を導出する（Ｆ２０５）。そして、フロントガラスがないときのアフィン処理のパラメータと、この補正関数Ｃ２００を基に、アフィン処理手段２０ａ及びアフィン処理手段２０ｂで補正を行う。

このように、第２の実施の形態によっても、第１の実施の形態と同様に、広画角のステレオカメラに対して、所定サイズのチャートの測定結果に基づき、広画角部（単眼視領域）の補正を行うことができる。本実施の形態の補正を行うことで、広画角のステレオカメラであっても、撮像範囲の全てを含まない小さなサイズの校正チャートを用いて画素シフトの補正を行うことができる。なお、本実施の形態では、画角Ｂ１を水平方向０度、垂直方向－２０度、画角Ｂ２を水平方向０度、垂直方向＋２０度としたが、これには限定されず、水平および垂直の画角条件を変更しても同様の効果が得られる。

［第３の実施の形態］
図１５を参照して、第３の実施の形態に係るステレオ画像処理装置を説明する。この第３の実施の形態のステレオ画像処理装置の概略構成は、第１の実施の形態（図１）と同様であってよい。ただし、この第３の実施の形態では、補正パラメータの導出の手順が第１の実施の形態とは異なっている。図１５は、第３の実施の形態に係るステレオ画像処理装置のフロントガラスの補正パラメータを求めるためのフローチャートを示している。第１の実施の形態との違いは、フロントガラス越しに校正チャートを撮像し、その撮像された画像に基づいてシフト量を推測することである。

最初にフロントガラス越しにカメラ６０で校正チャートを撮像する（Ｆ３０１）。ただし、カメラ６０と校正チャートの相対位置・姿勢を変化させて複数回撮像が行われる。

次に、非特許文献１（Learning OpenCV 3: Computer Vision in C++ with the OpenCV Library Adrian Kaehler, Gary Bradski）に従って、撮像された校正チャートの複数枚の画像と、所定画角の実際の校正チャートのサイズとの違いを検出する（Ｆ３０２）。例えば、本実施の形態では、水平画角－２０度～＋２０度、垂直画角－２０度～＋２０度の範囲において撮像された校正チャートの複数の画像と、その画角での校正チャートのサイズとを比較し、その違いを検出する。その違いに基づいて、所定画角の範囲での画素シフト量を測定することができる。

次に、画角Ｂ（水平画角０度、垂直画角－２０度）でのシフト量と、図６の相関関数から、画角Ａ（水平画角－６０度、垂直画角０度）のシフト量を推測する（Ｆ３０３）。そして、第１の実施の形態と同様に、水平画角－２０度～＋２０度での測定結果と、画角Ａの垂直方向のシフト量を用いて補正関数Ｃ１００を導き出す（Ｆ３０４）。そして、フロントガラスがないときのアフィン処理のパラメータとこの補正関数Ｃ１００を基に、アフィン処理手段２０ａおよびアフィン処理手段２０ｂで補正を行う。このように本実施の形態の補正を行うことで、広画角のステレオカメラであっても、小さなサイズのチャートを用いてフロントガラスの補正を行うことができる。なお、非特許文献１の方式は、広画角になるほど測定回数が増え、計算負荷も大きくなる。しかし、本実施の形態の補正を行うことで、検出する画角を小さくできるので、少ない測定回数で補正を実現することできる。本実施形態の方式は、例えばディーラー整備工場などの大規模な設備を導入できない場合に適している。

［第４の実施の形態］
図１６を参照して、第４の実施の形態に係るステレオ画像処理装置を説明する。この第４の実施の形態のステレオ画像処理装置の概略構成は、第１の実施の形態（図１）と同様であってよい。ただし、この第４の実施の形態では、補正パラメータの導出の手順が第１の実施の形態とは異なっている。

図１６は、第４の実施の形態に係るステレオ画像処理装置のフロントガラスの補正パラメータを求めるためのフローチャートを示している。前述の実施の形態は、垂直方向の画素シフト量の補正を行うのに対し、第４の実施の形態は、水平方向の画素シフトの補正を行う。単独視野領域の水平方向の像のずれは測距には影響しないが、対象物を検出した画像の水平位置がずれるため、交差点などの衝突判定などに影響する。第４の実施の形態では、単独視野領域の水平方向の画素シフトを補正する。

図１７は、フロントガラスによる水平方向の画素シフトの計算結果を示している。計算条件は第１の実施の形態と同様であり、縦軸は、垂直画角０度の位置での水平方向の画素シフト量を示している。また、図１７は、アフィン処理手段２０ａによって（ｆｔａｎθｘ、ｆｔａｎθｙ）への射影変換がされた後、左右単眼画像生成部３００で処理された後の垂直画角０度の位置での水平方向の画素シフト量を示している。

図１７より、水平方向の画素シフト量は、水平方法の画角に対し非線形に変化することがわかる。特に広画角領域での画素シフト量が非常に大きい。このため、例えば水平画角－２０度～＋２０度の水平方向の画素シフトを検出したとしても広角側（水平画角－６０～－２０度および＋２０度～＋６０度）を推測するのは難しい。特に測定誤差などにより誤差が生じた場合、補正値は大きく変化すると考えられる。

図１８は、アフィン処理手段２０ａによって、（ｆｓｉｎθｘ、ｆｓｉｎθｙ）に変換された後、左右単眼画像生成部３００で処理された後の垂直画角０度の位置での水平方向の画素シフト量を示している。本図は図１７と異なり、広画角も含め、略線形にとなっている。フロントガラスの形状が曲面になっているため、発散するｔａｎ関数ではなく、ｓｉｎ関数による座標系に変換する方がよい。これは、スネルの法則がｓｉｎ成分で示されるため、その影響がｓｉｎ関数に対して略線形に依存していると考える。本実施の形態では、この特性を利用して補正を行う。

図１６は、第４の実施の形態に係るステレオ画像処理装置のフロントガラスの補正パラメータを求めるためのフローチャートを示している。説明を簡単にするため、垂直画角０度での画素シフト量の補正を例として説明する。この第２の実施の形態では、２つのアフィン処理手段を用いて補正関数を求める。

最初に、画像処理装置１０を車両（フロントガラス無し）に搭載する（Ｆ４０１）。次に校正チャートを画像処理装置１０で撮像し（Ｆ４０２）、アフィン処理で（ｆｓｉｎθｘ、ｆｓｉｎθｙ）の座標系に第１射影変換を行う（Ｆ４０３）。本実施の形態の校正チャートは、撮像対象である全画角（例えば－６０度～＋６０度）ではなく、例えば、水平画角－２０度～＋２０度、垂直画角－２０度～＋２０度の範囲をステレオカメラで計測可能な程度の大きさを有する校正チャートである。

そして、フロントガラスを車両に搭載（Ｆ４０４）し、フロントガラス越しに校正チャートを撮像する（Ｆ４０５）。次に、その撮像された構成チャートの画像について、アフィン処理で（ｆｓｉｎθｘ、ｆｓｉｎθｙ）の座標系に第１射影変換を行う（Ｆ４０６）。その後、左右単眼画像生成部３００で処理された後のそして、フロントガラス無しで撮像した第１射影変換後の校正チャートの画像と、フロントガラス越しに撮影された第１射影変換後の校正チャートの画像を比較し、所定画角、例えば水平画角－２０度～＋２０度での垂直方向の画素シフト量を測定する（Ｆ４０７）。そして、図１９に示すように、水平画角－２０度～＋２０度の画素シフト量から線形近似し、広画角を含む補正関数Ｃ４００を求める（Ｆ４０８）。ここで、この画像は、画像上の水平線が等距離になっていないので、本実施の形態では第２射影変換を行う。次に、この補正関数Ｃ４００にアフィン処理で、（ｆｔａｎθｘ、ｆｔａｎθｙ）の座標系に第一射影変換を行い、補正関数Ｃ４０１を求める（Ｆ４０９）。そして、フロントガラスがないときのアフィン処理のパラメータと、この補正関数Ｃ４０１を基に、アフィン処理手段２０ａおよびアフィン処理手段２０ｂで補正を行う。

以上説明したように、第４の実施の形態では、フロントガラスによる水平方向の画素シフトを補正するため、２つの射影変換を行う。第１射影変換では、検出した画像を（ｆｓｉｎθｘ、ｆｓｉｎθｙ）の座標系に変換し、画素シフトを検出する。そして、広画角の補正関数Ｃ４００を推測する。次に、第２射影変換では、画素シフトを射影変換し、アフィン処理を行う補正関数Ｃ４０１を求める。

図２０は、第４の実施の形態の補正の効果を示したグラフである。図２０では、ばらつき無し条件での補正前と補正後を示している。図２０より、２つの射影変換を用いることにより、水平方向の画素シフト量が大幅に抑制できることが分かる。

なお、本実施の形態では第一射影変換で（ｆｓｉｎθｘ、ｆｓｉｎθｙ）の座標系に変換したが、これには限定されない。例えば（ｆθｘ、ｆθｙ）、（２ｆｓｉｎθｘ／２、２ｆｓｉｎθｙ／２）、（２ｆｔａｎθｘ／２、２ｆｔａｎθｙ／２）であっても効果の程度は異なるが同様の効果を得ることができる。フロントガラスの曲率や傾きに依存するが、例えば垂直画角が大きくなる（－２０度や－３０度）と線形性が崩れてしまうため、本補正の効果が低減してしまう。ただし、そのような状態であっても本補正の効果は得られる。また、第一射影変換での補正関数Ｃ４００は、これに対応するために非線形であってもよい。そして、本実施の形態では、実施の形態１のようなばらつきについては説明しなかったが、ばらつきがあったとしても同様に補正関数Ｃ４０１で補正することで同様の効果が得られる。

また、本実施の形態では、第１の実施の形態と同じ方法で水平方向の画素シフトを求めたが、第２の実施の形態、第３の実施の形態と同じ方法で水平方向の画素シフトを求めてもよい。第１～第４の実施の形態を組み合わせて、水平、垂直方向画素シフトの補正を同時に実行してもよい。

なお、上記の第４の実施の形態では、特許文献１に記載の装置と同様に、ステレオ視領域、単独視領域を設定し、両者と統合したハイブリッド画像に基づくモデルを採用した例を説明した。２つの射影変換を使って、広画角の水平方向の画素シフトを推測するという観点は、共通視野領域しか持たない通常のステレオカメラでも適用可能である。また、同様の補正は、単眼カメラにも適用することができる。例えば、単眼カメラを用いる場合には、単眼カメラの画像を、第一射影変換で（ｆｓｉｎθｘ、ｆｓｉｎθｙ）の座標系に変換し、その後、画素シフト量の測定結果を、第二射影変換で（ｆｔａｎθｘ、ｆｔａｎθｙ）の座標系に変換することで、フロントガラスによる画素シフトを抑制した（ｆｔａｎθｘ、ｆｔａｎθｙ）の座標系の画像を得ることができる。この処理については、車両製造時、ガラス交換時、車両検査時に行えばよいだけなので、処理に時間がかかることは問題とならない。また、計算量は多くなるが、第一射影変換後に補正を行い、その結果を第二射影変換する処理を組み込んでも同様の効果は得られる。

＜変形例＞
本発明は上記した実施形態に限定されるものではなく、上記以外の様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。特にフロントガラスによる画素シフトの補正については、アフィン処理部には限定されず、例えば、ハイブリッド立体物検知部６００であってもよいし、ソフト的な処理でもよい。ソフト処理を行う場合には、対象物の水平位置から補正関数を用いて画素シフト量を求め、単独視野領域の測距を行うときにオフセットとして処理すればよい。

１…フロントガラス
１０…画像処理装置
５０…右カメラ
６０…左カメラ
２０ａ…アフィン処理手段
２０ｂ…アフィン処理手段
２００…ステレオ視差画像生成部
３００…左右単眼画像生成部
４００…路面断面形状推定部
５００…ステレオ視立体物検知部
６００…ハイブリッド立体物検知部

Claims (6)

1. 複数のカメラにより対象物を撮像する撮像部と、
   前記撮像部により撮像した複数の画像のステレオマッチングを行い視差を検出するステレオマッチング部と、
   前記対象物を撮像したときの画素シフトを補正する画素シフト補正処理部と、
   を備え、
   前記撮像部の画角について、第１の画角範囲と、前記第１の画角範囲より水平方向に広角側である第２の画角範囲があり、
   前記画素シフト補正処理部は、前記第１の画角範囲で求められた画素シフト量に基づき、前記第２の画角範囲の画素シフトを補正する処理を行い、
   前記画素シフト補正処理部は、
   前記第１の画角範囲における垂直方向の画素シフト量と、前記第２の画角範囲における画素シフト量との相関情報を予め有し、
   前記第１の画角範囲における垂直方向の画素シフト量を測定し、測定された前記第１の画角範囲における垂直方向の画素シフト量と、前記相関情報とに基づき、前記第２の画角範囲における垂直方向の画素シフト量を推定する、
   ことを特徴とするステレオ画像処理装置。
2. 前記画素シフト補正処理部は、前記第２の画角範囲における垂直方向の画素シフト量の推定値と、前記第１の画角範囲における画素シフト量とに基づき、前記画素シフト量の補正関数を演算する、請求項１に記載のステレオ画像処理装置。
3. 前記画素シフト補正処理部は、前記第１の画角範囲における画素シフト量を、校正チャートを前記撮像部で撮像して得られた複数の画像を比較することにより測定する、請求項１に記載のステレオ画像処理装置。
4. 前記画素シフト補正処理部は、フロントガラスを介さずに前記校正チャートを撮像した第１の画像と、前記フロントガラスを介して前記校正チャートを撮像した第２の画像とを比較することにより、前記第１の画角範囲における画素シフト量を測定する、請求項３に記載のステレオ画像処理装置。
5. 前記画素シフト補正処理部は、校正チャートを撮像した画像と、前記校正チャートのパターンのサイズの情報とを用いて、前記撮像部の前記カメラと前記校正チャートとの間の距離を見積もるよう構成された、請求項１に記載のステレオ画像処理装置。
6. 前記画素シフト補正処理部は、前記第１の画角範囲において検出した画像に対し第１射影変換を適用し、前記第１射影変換後の画像を比較して前記第１の画角範囲における画素シフト量を測定し、
   測定された画素シフト量に基づいて求められた第１の補正関数に対し前記第１射影変換とは異なる第２射影変換を適用して第２の補正関数を求める、
   請求項２に記載のステレオ画像処理装置。

Images