WO2018123642A1 - ステレオカメラ - Google Patents

Abstract

本発明は、第１撮像部で撮像された第１画像と第２撮像部で撮像された第２画像の間の垂直ずれの補正精度を向上することができるステレオカメラを提供する。本発明は、撮像系部１００ａは、基準画像を撮像する。撮像系部１００ｂは、参照画像を撮像する。幾何補正部１２５は、参照画像からの垂直方向の移動量が異なる複数の幾何補正後の参照画像を生成する。視差算出部１２６は、基準画像とそれぞれの参照画像の組合せから複数の視差画像を生成する。視差画像評価部１３１は、それぞれの視差画像の信頼性の評価値を算出する。垂直ずれ補正部１３２は、垂直ずれと信頼性の評価値の対応関係に基づいて、最大の信頼性の評価値及びそれに対応する垂直ずれを算出し、最大の信頼性の評価値に対応する垂直ずれを垂直ずれの補正量として設定する。

Description

ステレオカメラ

　本発明は、ステレオカメラに関する。

　２つの画像の幾何的な補正処理を行い、２つの画像から特徴を抽出して、２つの画像上の同じ特徴を対応させて、これらの特徴及びその対応関係をもとに、カメラパラメータのずれを補正する従来技術が知られている（例えば、特許文献１参照）。ここで、視差に係るカメラパラメータを補正するには、特徴とカメラ間の距離、あるいは、特徴間の距離情報を用いる。

特開2004-354257号公報

　特許文献１に開示されるような従来技術では、ステレオカメラ起動時に、経年変化、熱変化や衝撃振動などの機械ずれによって発生した左右画像間の縦方向に大きなずれがある場合、２つの画像上の特徴の対応関係を探索するのに、同じ高さの画像上の領域だけを探索するのではなく、縦方向にある所定の範囲の領域を探索する必要がある。特徴の探索では、２つの特徴のパターンの差を表す指標を算出するマッチング手法などが使われる。また、左右画像間の縦方向のずれを高精度に補正するためには、複数の特徴の対応関係を求める必要がある。このマッチング手法で、複数の特徴について、同じ高さの画像上の領域だけではなく、縦方向にある所定の範囲の領域を探索すると、処理負荷が大きく、縦方向の補正を行うカメラパラメータのずれを補正するまでに長い時間がかかり、その間、左右画像間の縦方向のずれ（垂直ずれ）が大きいため、正常な視差画像を出力できない。

　本発明の目的は、第１撮像部で撮像された第１画像と第２撮像部で撮像された第２画像の間の垂直ずれの補正精度を向上することができるステレオカメラを提供することにある。

　上記目的を達成するために、本発明は、第１画像を撮像する第１撮像部と、第２画像を撮像する第２撮像部と、前記第２画像からの垂直方向の移動量が異なる複数の第３画像を生成する幾何補正部と、前記第１画像とそれぞれの前記第３画像の組合せから複数の視差画像を生成する視差算出部と、それぞれの前記視差画像の信頼度を算出する視差画像評価部と、前記移動量と前記信頼度の対応関係に基づいて、最大の前記信頼度及びそれに対応する前記移動量を算出し、前記最大の前記信頼度に対応する前記移動量を垂直ずれの補正量として設定する垂直ずれ補正部と、を備える。

　本発明によれば、第１撮像部で撮像された第１画像と第２撮像部で撮像された第２画像の間の垂直ずれの補正精度を向上することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の一実施形態のステレオカメラの構成を示す図である。 ステレオカメラの動作を示す図である。 ステレオカメラの基準画像と参照画像間の垂直ずれ補正の動作を示す図である。 基準画像及び参照画像を示す図である。 視差算出における探索位置とパターンの一致度を示す図である。 基準画像と参照画像間の垂直ずれ補正における垂直ずれと視差画像の信頼性の評価値を示す図である。 演算装置の処理周期における垂直ずれ補正の処理時間を示す図である。 ステレオカメラの動作を示す図である。 ステレオカメラの基準画像と参照画像間の垂直ずれ補正の動作を示す図である。 ステレオカメラの基準画像と参照画像間の垂直ずれ補正の動作を示す図である。

　以下、図面を用いて、本発明の実施形態によるステレオカメラの構成及び動作について説明する。ステレオカメラは、例えば、複数のカメラ画像から距離画像を算出するとともに、画像上の対象物を認識して、対象物までの距離等を算出する。

　なお、本発明の実施形態の課題は、前述した目的と一部重複するが、例えば、経年変化、熱変化や衝撃振動などの機械ずれによって発生した左右画像間の縦方向の大きなずれを短時間で高精度に補正するステレオカメラを提供することにある。

　（実施形態）
  図１に本発明のステレオカメラの一実施形態の構成を示す。

　本発明の一実施形態は、撮像系部１００ａ、撮像系部１００ｂ、記憶部１１０、集積回路演算部１２０（論理回路）、汎用演算部１３０、画面音声出力部１４０、制御部１５０とを備えている。

　カメラなどの撮像系部１００ａは、光学素子部１０１ａ、撮像素子部１０２ａとを備えている。

　レンズなどの光学素子部１０１ａは、光を屈折させて、撮像素子部１０２ａ上に像を結ぶ。

　撮像素子などの撮像素子部１０２ａは、光学素子部１０１ａにより屈折した光の像を受光し、その光の強さに応じた画像を生成する。

　換言すれば、撮像系部１００ａ（第１撮像部）は、第１画像を撮像する。

　カメラなどの撮像系部１００ｂは、光学素子部１０１ｂ、撮像素子部１０２ｂとを備えている。また、撮像系部１００ａと撮像系部１００ｂの焦点距離の設計値は同じである。
撮像系部１００ａと撮像系部１００ｂの光軸の方向は、おおむね同じである。

　レンズなどの光学素子部１０１ｂは、光を屈折させて、撮像素子部１０２ｂ上に像を結ぶ。

　撮像素子などの撮像素子部１０２ｂは、光学素子部１０１ｂにより屈折した光の像を受光し、その光の強さに応じた画像を生成する。

　換言すれば、撮像系部１００ｂ（第２撮像部）は、第２画像を撮像する。

　撮像系部１００ａが撮像した画像（第１画像）は、視差画像を作成するときに基準となる画像であるため、基準画像と呼ぶ。また、撮像系部１００ｂが撮像した画像（第２画像）は、視差画像を作成するときに、基準画像から抽出した領域と一致する領域が探索される画像であり、参照画像と呼ぶ。

　メモリなどから構成される記憶部１１０は、認識用撮像画像記憶部１１１、校正用撮像画像記憶部１１２、幾何補正画像記憶部１１３、視差画像記憶部１１４、幾何補正情報記憶部１１５を備えている。

　メモリなどの認識用撮像画像記憶部１１１は、撮像系部１００ａ及び撮像系部１００ｂから出力される画像を格納する。これらの画像は、幾何補正部１２５で幾何補正の処理が行われ、最終的に認識部１３３で車両や歩行者などの認識を行うために用いられる。

　メモリなどの校正用撮像画像記憶部１１２は、撮像系部１００ａ及び撮像系部１００ｂから出力される画像を格納する。これらの画像は、幾何補正部１２５で幾何補正の処理が行われ、最終的に垂直ずれ補正部１３２で基準画像と参照画像間の垂直ずれを算出するために用いられる。

　メモリなどの幾何補正画像記憶部１１３は、撮像された基準画像（撮像後の基準画像）及び参照画像（撮像後の参照画像）を幾何的に補正した基準画像（幾何補正後の基準画像）及び参照画像（幾何補正後の参照画像）を格納する。

　メモリなどの視差画像記憶部１１４は、視差画像を格納する。

　メモリなどの幾何補正情報記憶部１１５は、基準画像及び参照画像において、歪がない画像上の各画素に対応する、歪がある撮像後の画像上の２次元座標（幾何補正情報）を格納する。この幾何補正情報（アフィン変換等の写像）は、幾何補正部１２５で撮像後の基準画像及び参照画像のレンズ歪みや光軸ずれを補正する処理に用いられる。換言すれば、幾何補正情報記憶部１１５（記憶部）は、基準画像（第１画像）及び参照画像（第２画像）の幾何補正の前後の対応関係を示す幾何補正情報（写像）を記憶する。幾何補正部１２５は、幾何補正情報を用いて基準画像及び参照画像の光学的な歪みを補正する。

　また、幾何補正情報記憶部１１５は、幾何補正情報で幾何補正処理が行われた基準画像及び参照画像で、経年変化、熱変化や衝撃振動などの機械ずれによって発生した垂直方向及び水平方向のずれを補正するための基準画像及び参照画像の垂直方向及び水平方向の移動量を格納する。

　ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ　ｇａｔｅ　ａｒｒａｙ）やＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ　ｓｐｅｃｉｆｉｃ　ｉｎｔｅｇｒａｔｅｄ　ｃｉｒｃｕｉｔ、特定用途向け集積回路）などの集積回路演算部１２０は、入出力格納情報記憶部１２１、幾何補正変更情報記憶部１２２、同期信号発生部１２３、基準画像取込部１２４ａ、参照画像取込部１２４ｂ、幾何補正部１２５、視差算出部１２６を備えている。

　レジスタなどの入出力格納情報記憶部１２１は、基準画像取込部１２４ａ、参照画像取込部１２４ｂ、幾何補正部１２５、視差算出部１２６が入力、出力するデータが格納されている記憶部１１０の場所の情報（アドレス）を記憶する。ここで、基準画像取込部１２４ａ及び参照画像取込部１２４ｂの出力先の初期値は、記憶部１１０の認識用撮像画像記憶部１１１に設定されている。また、幾何補正部１２５の画像の入力場所の初期値は、記憶部１１０の認識用撮像画像記憶部１１１に設定されている。

　レジスタなどの幾何補正変更情報記憶部１２２は、幾何補正部１２５が画像の幾何補正処理を実施するときに幾何補正情報から更に水平方向及び垂直方向に移動させるための基準画像及び参照画像の水平移動量及び垂直移動量が格納されている。ここで、基準画像及び参照画像の水平移動量及び垂直移動量の初期値はゼロである。

　同期信号発生部１２３は、同期信号を生成し、発信する。

　基準画像取込部１２４ａは、同期信号発生部１２３の同期信号に合わせて、撮像素子部１０２ａに同期信号及び露光時間の情報を送った後に、撮像素子部１０２ａが生成する画像を取得する。基準画像取込部１２４ａは、入出力格納情報記憶部１２１から画像の出力場所の情報を読み込み、記憶部１１０のその場所に画像を格納する。

　参照画像取込部１２４ｂは、同期信号発生部１２３の同期信号に合わせて、撮像素子部１０２ｂに同期信号及び露光時間の情報を送った後に、撮像素子部１０２ｂが生成する画像を取得する。参照画像取込部１２４ｂは、入出力格納情報記憶部１２１から画像の出力先の情報を読み込み、記憶部１１０のその場所に画像を格納する。

　幾何補正部１２５は、入出力格納情報記憶部１２１から画像の入力場所の情報を読み込み、記憶部１１０のその場所から基準画像及び参照画像を読み込む。幾何補正部１２５は、幾何補正情報記憶部１１５から幾何補正情報を読み込み、幾何補正変更情報記憶部１２２から基準画像及び参照画像の水平移動量及び垂直移動量を読み込む。幾何補正部１２５は、幾何補正情報である基準画像及び参照画像における歪のない画像上の各画素に対応する、歪のある画像上の２次元座標（幾何補正情報）にそれぞれ基準画像及び参照画像の水平移動量及び垂直移動量を足し合わせる。幾何補正部１２５は、撮像後の基準画像及び参照画像、足し合わせた幾何補正情報をもとに、幾何補正処理を行い、歪のない画像を算出する。換言すれば、幾何補正部１２５は、基準画像（第１画像）及び参照画像（第２画像）の光学的な歪みを補正する。幾何補正部１２５は、これらの幾何補正後の基準画像及び参照画像を幾何補正画像記憶部１１３に格納する。

　視差算出部１２６は、幾何補正画像記憶部１１３から幾何補正後の基準画像及び参照画像を読み込み、基準画像上から抽出した所定のサイズの領域（テンプレート画像）に対応する参照画像上の同じ高さにある領域を探索する。視差算出部１２６は、テンプレート画像と一致する参照画像上の領域の位置と、基準画像上のテンプレート画像の位置の差すなわち視差を算出する。視差算出部１２６は、各領域について視差を算出することにより、視差画像を算出する。次に、視差算出部１２６は、基準画像上の各領域（テンプレート画像）とそれらに最も一致する参照画像上の領域の一致度をもとに、視差が有効であるか無効であるかを判定する。視差算出部１２６は、視差画像を視差画像記憶部１１４に格納する。

　ＣＰＵ（ｃｅｎｔｒａｌ　ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ、中央演算処理装置）などから構成される汎用演算部１３０は、視差画像評価部１３１、垂直ずれ補正部１３２、認識部１３３、自動幾何校正部１３４を備えている。

　視差画像評価部１３１は、所定の範囲で参照画像を垂直方向に所定の間隔ΔＹでずらしたとき、つまり、幾何補正後の基準画像と参照画像間を所定の範囲で所定の間隔ΔＹずらしたときの視差画像の有効領域数（有効ブロック数）をカウントして、視差画像の信頼性の評価量を算出する。

　垂直ずれ補正部１３２は、視差画像の有効領域数が最も多い、つまり、視差画像の信頼性の評価値が最も大きい垂直ずれを求めて、それを垂直ずれの補正量ΔＹｃとする。

　認識部１３３は、視差画像記憶部１１４から視差画像を読み込み、視差、撮像系部１００ａと撮像系部１００ｂの焦点間の距離（基線長）、焦点距離及び１画素のサイズをもとに、撮像系部１００ａ及び撮像系部１００ｂの光軸方向にステレオカメラから画像上の対象物までの距離を算出する。認識部１３３は、各領域について距離を算出することにより、距離画像を算出する。次に、認識部１３３は、幾何補正画像記憶部１１３から幾何補正後の基準画像を読み込み、幾何補正後の基準画像及び距離画像を用いて、基準画像に写っている対象物及び基準画像上の対象物の位置を認識し、ステレオカメラに対する対象物の３次元の相対位置及び相対速度を算出する。

　ここで、ステレオカメラに対する３次元の相対位置座標系は、撮像系部１００ａの主点を原点として、撮像系部１００ａに対して右方向にｘ座標、下方向にｙ座標、光軸方向にｚ座標をとる。また、認識部１３３は、ステレオカメラと対象物の相対位置及び相対速度をもとに衝突までに時間を算出して、所定の時間内に衝突するかどうかを判定する。認識部１３３は、ステレオカメラと対象物の相対位置、相対速度、衝突判定結果及び衝突時間を画面音声出力部１４０及び制御部１５０に送る。

　自動幾何校正部１３４は、幾何補正画像記憶部１１３から幾何補正後の基準画像及び参照画像を、視差画像記憶部１１４から視差画像を読み込み、これらの情報をもとに、幾何補正後の基準画像上の光軸（消失点）位置が設計値になるような基準画像の水平移動量ΔＸ２及び垂直移動量ΔＹ２を算出するとともに、幾何補正後の基準画像上の光軸（消失点）位置で視差がゼロになるような参照画像の水平移動量ΔＸ１を算出する。自動幾何校正部１３４は、それらの結果を幾何補正情報記憶部１１５に格納する。

　モニタ及びスピーカなどの画面音声出力部１４０は、基準画像、あるいは、視差画像、距離画像を画面に表示する。また、画面音声出力部１４０は、対象物の位置に枠あるいはマーカを表示する。このとき、認識部１３３からの衝突判定結果が衝突するという判定である対象物の枠あるいはマーカの色を、衝突しない対象物と異なるものとする。画面音声出力部１４０は、認識部１３３からの衝突判定結果が衝突するという判定である対象物がある場合、警告音を出力する。

　ＣＰＵなどの制御部１５０は、ステレオカメラと対象物の相対位置、相対速度、衝突時間及び衝突判定結果をもとに制御信号を生成して、ステレオカメラの外部に出力する。

　図１に示す本発明のステレオカメラの一実施形態の動作手順を、図２及び図３を用いて説明する。

　（全体フロー）
  ステップ２０１：幾何補正部１２５は、撮像後の参照画像を幾何的に補正するとともに、所定の範囲で参照画像を垂直方向に所定の間隔ΔＹでずらした幾何補正後の参照画像を算出する。換言すれば、幾何補正部１２５は、参照画像（第２画像）からの垂直方向の移動量が異なる複数の幾何補正後の参照画像（第３画像）を生成する。

　視差算出部１２６は、幾何補正後の基準画像及び参照画像をもとに視差画像を算出するとともに、視差画像の各領域の有効／無効を判定する。換言すれば、視差算出部１２６は、基準画像（第１画像）とそれぞれの参照画像（第３画像）の組合せから複数の視差画像を生成する。

　視差画像評価部１３１は、幾何補正後の基準画像と、所定の範囲で参照画像を垂直方向に所定の間隔ΔＹでずらした幾何補正後の参照画像から算出された視差画像の有効領域数、つまり、視差画像の信頼性の評価値を算出する。換言すれば、視差画像評価部１３１は、それぞれの視差画像の信頼度を算出する。なお、信頼性の評価値（信頼度）は、それぞれの視差画像において有効な視差の数を示す指標であるともいえる。

　垂直ずれ補正部１３２は、幾何補正後の基準画像と、所定の範囲で参照画像を垂直方向に所定の間隔ΔＹでずらした幾何補正後の参照画像から算出された視差画像の有効領域数
（信頼性の評価値）をもとに、垂直ずれの補正量ΔＹｃを算出する。このステップの動作手順を図３に示す。なお、その詳細は後述する。

　ステップ２０２：同期信号発生部１２３は、同期信号を生成して、基準画像取込部１２４ａ及び参照画像取込部１２４ｂに送る。基準画像取込部１２４ａは、同期信号発生部１２３からの同期信号を受け取った直後に、撮像素子部１０２ａに同期信号及び露光時間の情報を送る。撮像素子部１０２ａは、基準画像取込部１２４ａからの同期信号及び露光時間の情報を受け取った直後に、光学素子部１０１ａにより屈折した光の像を露光時間だけ受光し、その光の強さに応じた画像を生成して、基準画像取込部１２４ａに画像を送る。
基準画像取込部１２４ａは、撮像素子部１０２ａから画像を受け取るとともに、入出力格納情報記憶部１２１から画像の出力場所の情報を読み込み、記憶部１１０のその場所に画像を格納する。ここでは、ステップ３０４で基準画像取込部１２４ａの出力先が認識用撮像画像記憶部１１１に設定されているため、画像を認識用撮像画像記憶部１１１に格納することになる。

　参照画像取込部１２４ｂは、同期信号発生部１２３からの同期信号を受け取った直後に、撮像素子部１０２ｂに同期信号及び露光時間の情報を送る。撮像素子部１０２ｂは、参照画像取込部１２４ｂからの同期信号及び露光時間の情報を受け取った直後に、光学素子部１０１ｂにより屈折した光の像を露光時間だけ受光し、その光の強さに応じた画像を生成して、参照画像取込部１２４ｂに画像を送る。参照画像取込部１２４ｂは、撮像素子部１０２ｂから画像を受け取るとともに、入出力格納情報記憶部１２１から画像の出力場所の情報を読み込み、記憶部１１０のその場所に画像を格納する。ここでは、ステップ３０４で参照画像取込部１２４ｂの出力先が認識用撮像画像記憶部１１１に設定されているため、画像を認識用撮像画像記憶部１１１に格納することになる。

　ステップ２０３：幾何補正部１２５は、入出力格納情報記憶部１２１から画像の入力場所を読み込み、記憶部１１０のその場所（認識用撮像画像記憶部１１１）の撮像後の基準画像及び参照画像を読み込む。幾何補正部１２５は、幾何補正情報記憶部１１５から基準画像及び参照画像の幾何補正情報（写像Ｆｘ）を読み込み、幾何補正変更情報記憶部１２２から基準画像及び参照画像の水平移動量及び垂直移動量を読み込む。

　幾何補正部１２５は、数式（１）及び数式（２）を用いて、幾何補正後の基準画像上の各画素に対応する撮像後の画像上の座標（Ｆｘ（Ｘ２，Ｙ２）、Ｆｙ（Ｘ２，Ｙ２））、基準画像の水平移動量ΔＸ２及び垂直移動量ΔＹ２をもとに、幾何補正後の基準画像の画素（Ｘ２，Ｙ２）に対応する撮像前の基準画像の位置（Ｘ１，Ｙ１）を算出する。

　幾何補正部１２５は、基準画像の位置（Ｘ１，Ｙ１）の周辺４画素の輝度値を２次元線形補間することにより、幾何補正後の基準画像の画素（Ｘ２，Ｙ２）の輝度値を算出する。幾何補正部１２５は、幾何補正後の基準画像の各画素について上記の手順を実施して、幾何補正後の基準画像の輝度値を算出する。また、幾何補正部１２５は、参照画像についても上記の手順を実施して、幾何補正後の参照画像の輝度値を算出する。幾何補正部１２５は、幾何補正後の基準画像及び参照画像を幾何補正画像記憶部１１３に格納する。

　ステップ２０４：視差算出部１２６は、幾何補正画像記憶部１１３から幾何補正後の基準画像及び参照画像を読み込む。図４に示すように、視差算出部１２６は、幾何補正後の基準画像４０１の所定のサイズの領域の画像４０３（テンプレート画像）を抽出する。視差算出部１２６は、幾何補正後の参照画像４０２でテンプレート画像４０３と同じ対象物が写っている領域の画像を以下のテンプレートマッチングで探索する。

　視差算出部１２６は、テンプレート画像４０３と同じ高さにある参照画像４０２の所定のサイズの領域の画像４０４（被探索画像）を抽出して、テンプレート画像４０３の輝度値と被探索画像４０４の輝度値の差の絶対値の和（ＳＡＤ、Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ）を算出する。視差算出部１２６は、テンプレート画像４０３と同じ高さにある参照画像４０２上の各被探索画像４０４についてＳＡＤを算出して、ＳＡＤが最も小さい値の被探索画像４０５を探索する。視差算出部１２６は、被探索画像４０５のＳＡＤ及び被探索画像４０５から１画素の左右隣の被探索画像のＳＡＤを用いて、等角直線フィッティングを行い、テンプレート画像４０３と最も一致する参照画像上の被探索画像４０５のサブピクセルを算出する。視差算出部１２６は、テンプレート画像４０３と被探索画像４０５の位置の差にサブピクセルを加算することにより、幾何補正後の基準画像４０１上のテンプレート画像４０３の視差を算出する。

　次に、視差算出部１２６は、以下の２つの判定方法で視差が有効であるか無効であるかを判定する。視差算出部１２６は、テンプレート画像４０３と同じ高さにある参照画像４０２上の各被探索画像４０４を用いて、求めたＳＡＤの最小値が閾値以上である場合、テンプレート４０３と被探索画像４０５が一致していないとして、その領域の視差を無効であると判定し、ＳＡＤの最小値が閾値未満である場合、有効であると判定する。

　また、図５に示すように、視差算出部１２６は、パターンの一致度を表すＳＡＤ５０１において、隣とのＳＡＤの差（ＳＡＤの傾き）を算出する。これらの差の値が負から正に変化する箇所５０２～５０４を検出して、それらの箇所のＳＡＤが最も小さい箇所５０２と、２番目に小さい箇所５０３を検出して、それらのＳＡＤの差が閾値未満である場合、テンプレート画像と似たパターンがあり、ミスマッチングの可能性があるとして、その領域の視差は無効であると判定し、そうでない場合、有効であると判定する。ここで、隣のＳＡＤの差が負から正に変化する箇所が１箇所しかない場合、その視差は有効であると判定する。２つの判定方法でともに有効と判定された領域を有効とし、どちらか一方の判定方法で無効と判定された場合、その領域を無効とする。

　換言すれば、視差算出部１２６は、基準画像（第１画像）のテンプレート画像４０３（領域）と同じ高さの参照画像（第３画像）の被探索画像４０４（領域）の複数の組合せのそれぞれについて基準画像のテンプレート画像４０３と参照画像の被探索画像４０４の類似度を算出し、類似度が最大となる基準画像のテンプレート画像４０３と参照画像の被探索画像４０４から視差を算出する。視差算出部１２６は、最大の類似度が第１閾値未満である場合、視差が無効であると判定する。視差算出部１２６は、類似度の極大値が２個以上あり、かつ、最大の極大値と２番目に大きい極大値の差が第２閾値未満である場合、視差は無効であると判定する。視差算出部１２６は、最大の前記類似度が第１閾値以上であり、かつ、類似度の極大値が１個だけの場合、視差が有効であると判定する。視差算出部１２６は、最大の類似度が第１閾値以上であり、類似度の極大値が２個以上あり、かつ、最大の極大値と２番目に大きい極大値の差が第２閾値以上の場合、視差が有効であると判定する。これにより、視差が有効であるか否かを正確に判定することができる。

　このような処理を幾何補正後の基準画像上の全ての領域について実施して、基準画像４０１の全体での視差を算出する。このようにして算出した視差画像を視差画像記憶部１１４に格納する。

　ステップ２０５：認識部１３３は、視差画像記憶部１１４から視差画像を、幾何補正画像記憶部１１３から幾何補正画像（幾何補正後の基準画像及び参照画像）を読み込む。

　認識部１３３は、数式（３）を用いて、視差画像上の領域におけるステレオカメラとの光軸方向の距離Ｌを算出する。ここで、ｆは撮像系部１００ａ及び撮像系部１００ｂの焦点距離の設計値、Ｂは撮像系部１００ａと撮像系部１００ｂの主点間の距離（基線長）、ｄは視差、ｃは撮像素子部１０２ａ及び撮像素子部１０２ｂの画素ピッチである。

　認識部１３３は、この処理を視差画像の全ての領域について実施して、視差画像全体におけるステレオカメラとの光軸方向の距離を算出して、距離画像を作成する。

　次に、認識部１３３は、基準画像上の消失点の位置の算出、自動車や歩行者などの対象物の判定、ステレオカメラに対する対象物の相対位置及び相対速度の算出、対象物とステレオカメラとの衝突判定を行う。

　先ず、認識部１３３は、基準画像上の消失点の位置の算出を以下の手順で実施する。基準画像上の車線の境界にある両側の白線を検出して、基準画像上の白線の傾きを算出する。両側の白線が直線であるとして、算出した傾きにより、両側の白線が交わる点の基準画像上の位置を算出する。これが消失点の位置である。

　次に、認識部１３３は、自動車や歩行者などの対象物の検出を以下の手順で実施する。
認識部１３３は、距離画像において、距離が所定の範囲内にある画素が連結している領域１を求める。所定の範囲の例として、５～１０ｍ、７．５～１２．５ｍ、１０～１５ｍなどと幅５ｍの範囲で２．５ｍごとに範囲が重複する複数の範囲を設定する。認識部１３３は、距離が所定の範囲内にある画素が連結している各領域１の基準画像上の縦及び横方向の長さを求める。認識部１３３は、各領域１の基準画像上の縦方向の長さ、距離と画素ピッチをかけた値を焦点距離で割って、各領域１の３次元の縦方向の長さを算出する。同様に、認識部１３３は、各領域１の基準画像上の横方向の長さ、距離と画素ピッチをかけた値を焦点距離で割って、各領域１の３次元の横方向の長さを算出する。認識部１３３は、数式（４）を用いて、各領域１の地面に関する基準画像上の縦方向の位置Ｖｇを近似的に算出する。ここで、Ｖｖは消失点の高さ、Ｈｉはステレオカメラの取付高さ、Ｌｒは領域１の平均距離である。また、数式（４）は、撮像系部１００ａ及び撮像系部１００ｂの光軸はおおむね水平方向であるという仮定を設定したときの計算式である。

　領域１の３次元の縦及び横方向の長さが自動車の所定の範囲内であり、かつ、領域１の下限の基準画像上の縦方向の位置と、数式（２）で算出した領域１の地面の基準画像上の縦方向の位置の差が閾値以内である場合、領域１の対象物は自動車であると認識部１３３は判定する。同様に、領域１の３次元の縦及び横方向の長さが歩行者の所定の範囲内であり、かつ、領域１の下限の基準画像上の縦方向の位置と、数式（２）で算出した領域１の地面の基準画像上の縦方向の位置の差が閾値以内である場合、領域１の対象物は歩行者であると認識部１３３は判定する。これらの処理を全ての領域１について実施して、認識部１３３は、対象物が自動車、歩行者であるかを判定する。

　次に、認識部１３３は、ステレオカメラに対する対象物の相対位置及び相対速度の算出を以下の手順で実施する。認識部１３３は、自動車あるいは歩行者と判定された領域１について、数式（５）～数式（７）を用いて、ステレオカメラに対する対象物の相対位置（Ｘｏ、Ｙｏ、Ｚｏ）を算出する。ここで、（Ｕｏ、Ｖｏ）は自動車あるいは歩行者と判定された領域１の中央に関する基準画像上の位置である。

　ステップ２０２～２０８の処理は、所定の周期で繰り返し実施される。前回と今回の処理のステップ２０５で検出された領域１の基準画像上の位置の差が閾値以内である場合、同じ対象物であると判定して、今回の処理で算出されたステレオカメラに対する対象物の相対位置から、前回の処理のステップ２０５で算出された相対位置を引いた値を、ステップ２０２～２０８の処理周期の時間間隔で割って、ステレオカメラに対する対象物の相対速度（Ｖｘ、Ｖｙ、Ｖｚ）を算出する。

　最後に、認識部１３３は、対象物とステレオカメラとの衝突判定を以下の手順で実施する。ステレオカメラに対する対象物の相対速度Ｖｚが０以上である場合、認識部１３３は、自動車あるいは歩行者と判定された領域１の対象物に衝突しないと判定する。ステレオカメラに対する対象物の相対速度Ｖｚが負である場合、認識部１３３は、今回の処理で算出したステレオカメラに対する対象物の相対位置Ｚｏを、ステレオカメラに対する対象物の相対速度Ｖｚの絶対値で割り、衝突までの時間（衝突時間）を算出する。また、認識部１３３は、ステレオカメラに対する対象物の相対速度Ｖｘに衝突時間をかけた値に対象物の相対位置Ｘｏを足して、衝突時におけるステレオカメラに対する対象物の相対位置Ｘｏを算出する。そこで、ステレオカメラに対する対象物の相対速度Ｖｚが負であり、かつ、衝突時間が閾値以内であり、かつ、衝突時におけるステレオカメラに対する対象物の相対位置Ｘｏの絶対値が閾値内である場合、認識部１３３は、自動車あるいは歩行者と判定された領域１の対象物に衝突すると判定する。それ以外の場合、認識部１３３は、衝突しないと判定する。認識部１３３は、自動車あるいは歩行者と判定された領域１に関する基準画像上の四隅の位置、ステレオカメラに対する対象物の相対位置及び相対速度、衝突判定結果及び衝突時間を画面音声出力部１４０及び制御部１５０に送る。

　ステップ２０６：自動幾何校正部１３４は、幾何補正画像記憶部１１３から幾何補正後の基準画像及び参照画像を、視差画像記憶部１１４から視差画像を読み込む。自動幾何校正部１３４は、幾何補正後の基準画像上の道路上の左右の白線を検出して、左右の白線の近似直線を算出する。自動幾何校正部１３４は、左右の白線の近似直線の交点の位置を算出して、この交点の位置が消失点であり、基準画像上の光軸の位置と一致するとして、交点の位置と光軸の位置の設計値の差を算出して、基準画像の水平方向及び垂直方向の補正量とする。自動幾何校正部１３４は、これらの補正量を基準画像の水平移動量ΔＸ２及び垂直移動量ΔＹ２として幾何補正情報記憶部１１５及び幾何補正変更情報記憶部１２２に送り、幾何補正情報記憶部１１５及び幾何補正変更情報記憶部１２２は基準画像の水平移動量ΔＸ２及び垂直移動量ΔＹ２を格納する。

　自動幾何校正部１３４は、参照画像についても同様に、幾何補正後の参照画像上の道路上の左右の白線を検出して、左右の白線の近似直線を算出する。左右の白線の近似直線の交点の位置を算出して、この交点の位置が消失点であり、参照画像上の光軸の位置と一致するとして、交点の位置と光軸の位置の設計値の差を算出して、参照画像の水平方向の補正量とする。これらの補正量を参照画像の水平移動量ΔＸ１として幾何補正情報記憶部１１５及び幾何補正変更情報記憶部１２２に送り、幾何補正情報記憶部１１５及び幾何補正変更情報記憶部１２２は参照画像の水平移動量ΔＸ１を格納する。

　ステップ２０７：画面音声出力部１４０は、認識部１３３から自動車あるいは歩行者と判定された領域１に関する基準画像上の四隅の位置、ステレオカメラに対する対象物の相対位置及び相対速度、衝突判定結果及び衝突時間を受け取る。画面音声出力部１４０は、幾何補正画像記憶部１１３から幾何補正後の基準画像を読み込む。画面に基準画像を表示し、自動車あるいは歩行者と判定された領域１を枠として表示する。また、画面音声出力部１４０は、衝突判定結果が衝突するという判定結果である領域１の枠の色を衝突しないという判定結果の対象物の領域１の枠の色と変えて、画面に表示する。領域１の中に、衝突判定結果が衝突するという判定結果がある場合、画面音声出力部１４０は警告音を出力する。

　ステップ２０８：制御部１５０は、認識部１３３から自動車あるいは歩行者と判定された領域１に関する基準画像上の四隅の位置、ステレオカメラに対する対象物の相対位置及び相対速度、衝突判定結果及び衝突時間を受け取る。自動車あるいは歩行者と判定された領域１の中に、衝突判定結果が衝突するという判定結果がある場合、衝突を回避する制御信号を生成して、ステレオカメラの外部に出力する。

　（垂直ずれの補正）
  本発明のステレオカメラの一実施形態の動作手順のステップ２０１の基準画像と参照画像間の垂直ずれの補正の動作手順を、図３を用いて説明する。

　ステップ３０１：垂直ずれ補正部１３２は、幾何補正情報記憶部１１５から基準画像及び参照画像の垂直移動量を読み込む。

　ステップ３０２：垂直ずれ補正部１３２は、入出力格納情報記憶部１２１の基準画像取込部１２４ａ及び参照画像取込部１２４ｂの出力先を記憶部１１０の校正用撮像画像記憶部１１２に設定する。

　ステップ３０３：同期信号発生部１２３は、同期信号を生成して、基準画像取込部１２４ａ及び参照画像取込部１２４ｂに送る。基準画像取込部１２４ａは、同期信号発生部１２３からの同期信号を受け取った直後に、撮像素子部１０２ａに同期信号及び露光時間の情報を送る。撮像素子部１０２ａは、基準画像取込部１２４ａからの同期信号及び露光時間の情報を受け取った直後に、光学素子部１０１ａにより屈折した光の像を露光時間だけ受光し、その光の強さに応じた画像を生成して、基準画像取込部１２４ａに画像を送る。
基準画像取込部１２４ａは、撮像素子部１０２ａから画像を受け取るとともに、入出力格納情報記憶部１２１から画像の出力場所の情報を読み込み、記憶部１１０のその場所に画像を格納する。ここでは、ステップ３０２で基準画像取込部１２４ａの出力先が校正用撮像画像記憶部１１２に設定されているため、画像を校正用撮像画像記憶部１１２に格納することになる。

　参照画像取込部１２４ｂは、同期信号発生部１２３からの同期信号を受け取った直後に、撮像素子部１０２ｂに同期信号及び露光時間の情報を送る。撮像素子部１０２ｂは、参照画像取込部１２４ｂからの同期信号及び露光時間の情報を受け取った直後に、光学素子部１０１ｂにより屈折した光の像を露光時間だけ受光し、その光の強さに応じた画像を生成して、参照画像取込部１２４ｂに画像を送る。参照画像取込部１２４ｂは、撮像素子部１０２ｂから画像を受け取るとともに、入出力格納情報記憶部１２１から画像の出力場所の情報を読み込み、記憶部１１０のその場所に画像を格納する。ここでは、ステップ３０２で参照画像取込部１２４ｂの出力先が校正用撮像画像記憶部１１２に設定されているため、画像を校正用撮像画像記憶部１１２に格納することになる。

　ステップ３０４：垂直ずれ補正部１３２は、入出力格納情報記憶部１２１の基準画像取込部１２４ａ及び参照画像取込部１２４ｂの出力先を記憶部１１０の認識用撮像画像記憶部１１１に設定する。

　ステップ３０５：垂直ずれ補正部１３２は、入出力格納情報記憶部１２１の幾何補正部１２５の入力場所を記憶部１１０の校正用撮像画像記憶部１１２に設定する。

　ステップ３０６：垂直ずれ補正部１３２は、ステップ３０１で読み込んだ参照画像の垂直移動量ΔＹ１を中心に所定の範囲内の最小値ΔＹ０を、幾何補正変更情報記憶部１２２の参照画像の垂直移動量ΔＹ１（＝ΔＹ０）に設定する。ここで、垂直ずれ補正部１３２は、２回目以降の動作では、参照画像の垂直移動量を中心に所定の範囲内の最小値からΔＹごとに順次増やした値を、幾何補正変更情報記憶部１２２の参照画像の垂直移動量ΔＹ１（＝ΔＹ１＋ΔＹ）に設定する。

　ステップ３０７：ステップ２０３と同様の動作を実施することにより、幾何補正部１２５は、撮像後の基準画像及び参照画像を幾何的に補正するとともに、参照画像については、所定の範囲内で所定の間隔ΔＹごとに垂直方向に移動させる。

　ステップ３０８：視差算出部１２６は、ステップ２０４と同様の動作を実施する。

　ステップ３０９：視差画像評価部１３１は、視差画像において、有効と判定された領域の数をカウントする。

　ステップ３１０：参照画像の垂直移動量を所定の範囲で所定の間隔ΔＹごとに全て設定して、ステップ３０６～ステップ３０９を実施した場合、ステップ３１１に進む。そうでない場合、ステップ３０６に進む。

　ステップ３１１：垂直ずれ補正部１３２は、ステップ３０１で読み込んだ参照画像の垂直移動量ΔＹ１を、幾何補正変更情報記憶部１２２の参照画像の垂直移動量ΔＹ１に設定するとともに、入出力格納情報記憶部１２１の幾何補正部１２５の入力場所を記憶部１１０の認識用撮像画像記憶部１１１に設定する。

　ステップ３１２：垂直ずれ補正部１３２は、基準画像と参照画像の垂直移動量の差を基準画像と参照画像の垂直ずれとする。垂直ずれ補正部１３２は、図６に示すように、その垂直ずれにおける視差画像の信頼性の評価値を表す有効領域数６０１において、視差画像の有効領域数が最も多い垂直ずれ（最大となる有効領域数６０２の垂直ずれ）から所定の範囲の有効領域数のデータを用いて、二次近似式６０３を算出する。有効領域数の二次近似式が最大値となる垂直ずれの値を算出し、これを垂直ずれの補正量ΔＹｃとする。視差画像の信頼性の評価値は、基準画像と参照画像間の垂直方向の一致度を表す。

　換言すれば、垂直ずれ補正部１３２は、垂直ずれ（移動量）と信頼性の評価値（信頼度）の対応関係に基づいて、最大の信頼性の評価値及びそれに対応する垂直ずれを算出し、最大の信頼性の評価値に対応する垂直ずれを垂直ずれの補正量として設定する。これにより、垂直ずれの補正量を正確に算出することができる。

　ステップ３１３：下記の条件を全て満たす場合、ステップ３１２で算出した基準画像と参照画像間の垂直ずれが正常であるとして、ステップ３１４に進む。そうでない場合、ステップ３１２で算出した垂直ずれが異常であるとして、ステップ３０１に進む。ここで、１つ目及び２つ目の条件（ｉ）、（ｉｉ）は、基準画像と参照画像間の垂直ずれが検出されるところが垂直ずれの所定の範囲にあることをチェックする。３つ目の条件（ｉｉｉ）は、２次近似式が正常に算出されていることをチェックする。４つ目の条件（ｉｖ）は、視差画像の有効領域数に変化があり、有効領域数が最大となる垂直ずれを正確に検出できることをチェックする。

　（ｉ）視差画像の有効領域数の最大値が垂直ずれの所定の範囲の端部にないこと
  （ｉｉ）２次近似式の最大値が垂直ずれの所定の範囲にあること
  （ｉｉｉ）２次近似式の相関係数が閾値以上であること
  （ｉｖ）視差画像の有効領域数の最小値と最大値の差が閾値以上であること
  ステップ３１４：垂直ずれ補正部１３２は、幾何補正情報記憶部１１５から参照画像の垂直移動量ΔＹ１を読み込み、参照画像の垂直移動量ΔＹ１に垂直ずれの補正量ΔＹｃを足し合わせて、幾何補正情報記憶部１１５に参照画像の垂直移動量ΔＹ１（ΔＹ１＝ΔＹ１＋ΔＹｃ）として格納する。また、参照画像の垂直移動量に垂直ずれの補正量ΔＹｃを足し合わせた値を幾何補正変更情報記憶部１２２に参照画像の垂直移動量ΔＹ１として格納する。

　その結果、幾何補正部１２５は、垂直ずれの補正量ΔＹｃ（＝ΔＹ１）で基準画像（第１画像）及び参照画像（第２画像）の間の垂直ずれを補正する。

　図１に示す本発明のステレオカメラの一実施形態の動作手順（図２及び図３）では、基準画像と参照画像の垂直ずれが小さくなると、基準画像上のテンプレート画像と、それと同じ高さにある参照画像上の被探索画像の一致度が向上して、視差画像の有効領域数が多くなることを利用している。基準画像と参照画像の垂直ずれを所定の間隔ΔＹずつ変化させて、視差画像の有効領域数が最も多くなる垂直ずれを求めている。

　ステレオカメラ起動直後に、基準画像と参照画像間の垂直ずれが大きい場合、基準画像上の各領域に一致する参照画像上の領域がないため、視差画像上に有効な視差が表れず、前方に車両や歩行者などがあったとしても、検出できず、衝突防止機能が正常に働かない懸念がある。

　また、基準画像上のある領域に対応する参照画像上の領域を探索する手法では、探索領域が広く、処理時間がかかる。図１に示す本発明のステレオカメラの一実施形態の動作手順（図２及び図３）によれば、集積回路演算部１２０の視差算出部１２６及び幾何補正部１２５によってそれぞれ、画像の幾何補正処理、視差画像の作成処理がリアルタイムで実行されるため、幾何補正後の基準画像と参照画像の垂直ずれを短時間で補正できる。また、基準画像及び参照画像の全面を用いているため、垂直ずれを高精度に検出できる。このため、ステレオカメラ起動直後に、基準画像と参照画像間の垂直ずれを補正して、視差画像を正常に出力でき、衝突防止機能が正常に動作できる。

　図１に示す本発明のステレオカメラの一実施形態の動作手順のステップ３０１～ステップ３１４に関して、画像サイズ、視差算出のテンプレート画像（領域）サイズ、視差画像のサイズ、視差画像作成時の探索幅及び視差画像の作成回数をもとに、垂直ずれ補正の命令数を算出できる。その命令数をＣＰＵやＦＰＧＡなどの演算装置の処理周期（ｆｃｌｏｃｋ）で割ると、処理時間を算出できる。演算装置の処理周期と垂直ずれ補正の処理時間の関係を示すグラフを図７に示す。垂直ずれ補正の処理時間及びステレオカメラの初期設定時間を足し合わせた時間が、ステレオカメラの起動（電源オン）からセンシング開始までの時間の要求値以下である場合、その装置で本発明の一実施形態を実現できる。

　なお、本発明のステレオカメラは、上記で説明したような実施の形態に限定されるものではなく、様々に変形して適用することができる。以下では、本発明のステレオカメラの変形例について説明する。

　（変形例１－１）
  図１に示す本発明のステレオカメラの一実施形態の動作手順（図２）のステップ２０４において、視差算出部１２６がＳＡＤの値を算出し、そのＳＡＤ値が最も小さい参照画像上の領域を探索して、視差を算出する代わりに、ＺＳＡＤ（Ｚｅｒｏ－ｍｅａｎ　Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅｓ）、あるいは、ＳＳＤ（Ｓｕｍ　ｏｆ　Ｓｑｕａｒｅｄ　Ｄｉｆｆｅｒｅｎｃｅｓ）、ＺＳＳＤ（Ｚｅｒｏ－ｍｅａｎ　Ｓｕｍ　ｏｆ　Ｓｑｕａｒｅｄ　Ｄｉｆｆｅｒｅｎｃｅｓ）、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ　Ｃｒｏｓｓ　Ｃｏｒｒｅｌａｔｉｏｎ）、ＺＮＣＣ（Ｚｅｒｏ－ｍｅａｎ　Ｎｏｒｍａｌｉｚｅｄ　Ｃｒｏｓｓ　Ｃｏｒｒｅｌａｔｉｏｎ）を算出し、最も小さい値の参照画像上の領域を探索して、視差を算出しても、視差を求めることができる。

　（変形例１－２）
  図１に示す本発明のステレオカメラの一実施形態の動作手順（図３）のステップ３０９において、視差画像評価部１３１は視差画像の有効領域数をカウントする代わりに、路面を検出して、路面の所定の領域における視差のばらつき（標準偏差）の逆数を算出して、これを視差画像の信頼性の評価値としても、基準画像と参照画像間の垂直ずれを検出できる。これは、基準画像と参照画像間の垂直ずれが大きくなると、正確に視差を算出できなくなり、視差の値がばらつくことを利用するものである。

　（変形例１－３）
  図１に示す本発明のステレオカメラの一実施形態の動作手順を図８～図１０に示す。なお、既に動作手順を記載したステップ２０２～ステップ２０８の説明を省略する。

　ステップ８０１：フレーム番号が補正周期のフレーム数で割った余りが１である場合、ステップ８０２に進み、そうでない場合、ステップ２０２に進む。

　ステップ８０２：視差画像評価部１３１は、視差画像の信頼性の評価値を算出して、垂直ずれ補正部１３２はその評価値をもとに、基準画像と参照画像間の垂直ずれを算出して、補正する。このステップの動作手順を図９及び図１０に示す。

　本発明のステレオカメラの一実施形態の動作手順のステップ８０２の基準画像と参照画像間の垂直ずれの補正の動作手順を図９及び図１０を用いて説明する。なお、既に動作手順を記載したステップ３０１～ステップ３１２の説明を省略する。但し、ステップ３１０及びステップ３１３では、条件を満たさない場合、ステップ３０２に進む。

　ステップ９０１：基準画像と参照画像間の垂直ずれの補正の前回の処理で、ステップ３１２を実施して、垂直ずれの補正量ΔＹｃを算出した場合、ステップ３０１に進む。そうでない場合、ステップ３０６に進む。

　図１に示す本発明のステレオカメラの一実施形態の動作手順（図８～図１０）によれば、所定の周期（サイクル）で基準画像と参照画像間の垂直ずれを算出、補正する処理が実施される。それ以外の場合、視差画像を作成して、車両や歩行者などの対象物を認識して、もしその対象物に衝突すると判定すれば、衝突防止の信号を出力する。基準画像と参照画像間の垂直ずれの補正の１フレームの処理では、１つの視差画像を作成する。この処理が、垂直ずれを補正するときに用いる視差画像の所定の数だけ実施されると、垂直ずれの補正量ΔＹｃが１回算出される。例えば、５フレームに１回、ステップ８０２が実施され、垂直ずれの補正量ΔＹｃを算出するために必要な視差画像の数が９である場合、４５（＝５フレーム×９）フレームに１回、垂直ずれの補正量ΔＹｃが算出される。

　テレオカメラが起動中であっても、経年変化、熱変化や衝撃振動などの機械ずれによって基準画像と参照画像間の垂直ずれが発生する。図１に示す本発明のステレオカメラの一実施形態の動作手順（図８～図１０）によれば、ステレオカメラが動作している間、常に基準画像と参照画像間の垂直ずれの補正量ΔＹｃを算出できるため、ステレオカメラの動作中に発生する経年変化、熱変化や衝撃振動などの機械ずれによる基準画像と参照画像間の垂直ずれを補正できる。

　図１に示す本発明のステレオカメラの一実施形態の動作手順のステップ３０６～３０９に関して、画像サイズ、視差算出のテンプレート画像（領域）サイズ、視差画像のサイズをもとに、１つの視差画像の信頼性の評価値の算出処理の命令数を算出できる。その命令数を演算装置の処理周期（ｆｃｌｏｃｋ）で割ると、その処理時間を算出できる。１つの視差画像の信頼性の評価値を算出するのに要する処理時間がセンシング周期以下である場合、その装置で本発明の一実施形態を実現できる。

　以上説明したように、本実施形態によれば、撮像系部１００ａ（第１撮像部）で撮像された基準画像（第１画像）と撮像系部１００ｂ（第２撮像部）で撮像された参照画像（第２画像）の間の垂直ずれの補正精度を向上することができる。

　なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

　例えば、第１画像及び前記第２画像の幾何補正の前後の対応関係を示す写像は、第２画像を前記垂直ずれの補正量だけ垂直方向へ移動することを含んでもよい。この場合、幾何補正部１２５は、この写像を用いて第１画像及び第２画像の間の光学的な歪みを補正するだけでなく、経年変化、熱変化や衝撃振動などの機械ずれによって発生した垂直ずれを補正する。

　図３の処理は、ステレオカメラの起動時に実行されるようにしてもよい。また、図３の処理は、ステレオカメラの周囲の温度が所定の時間内に閾値以上変化した場合に実行されるようにしてもよい。なお、ステレオカメラの周囲の温度は、温度センサで測定される。
温度センサは、ステレオカメラに取り付けてもよいし、車両に取り付けてもよい。

　また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサ（汎用演算部１３０）がそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。

　なお、本発明の実施形態は、以下の態様であってもよい。

　（１）基準画像と参照画像とを撮影する２つの撮像部と、前記参照画像を垂直方向に所定値分ずらす処理を行う画像幾何補正部と、視差画像を生成する視差画像生成部と、視差画像の信頼性の評価値を算出する評価部と、視差画像の信頼性の評価値が高くなる垂直ずれの値を算出して、前記の垂直ずれの値を補正量として補正する補正部と、を備えるステレオカメラ。

　（２）前記画像幾何補正部は、集積回路上で画像補正前後の幾何的な対応関係を示すテーブルに所定の値を足し合わせ、画像全体を垂直方向にずらし、画像を幾何的に補正するものである、（１）に記載のステレオカメラ。

　（３）（１）の処理はステレオカメラの起動時に行われる、（１）に記載のステレオカメラ。

　（４）前記幾何補正部は、幾何補正に用いられる前記テーブルを補正することにより、参照画像全体を垂直方向に所定値分ずらす処理を行う、（２）に記載のステレオカメラ。

　（５）前記テーブルを誤差分ずらす処理は集積回路によって行われる、請求項４に記載のステレオカメラ。

　（６）前記視差画像を生成する処理は集積回路によって行われる、請求項２に記載のステレオカメラ。

　（７）所定の時間内に閾値以上の温度変化があった場合、（１）の処理が行われる、（１）に記載のステレオカメラ。

　（８）ある所定のサイクルで、前記画像幾何補正部は前記参照画像を垂直方向に所定値分ずらす処理を行い、ある所定のサイクルで、前記視差画像生成部は視差画像を生成して、ある所定のサイクルで、評価部は視差画像の信頼性の評価値を算出して、前記参照画像を垂直方向に所定の範囲の垂直ずれで視差画像の信頼性の評価値を算出した後に、補正部は視差画像の信頼性の評価値が高くなる垂直ずれの値を補正量として補正する処理が行われる、（１）の記載のステレオカメラ。

　上記（１）～（８）によれば、視差画像全面から求めた信頼性の評価値を用いて、基準画像と参照画像間の垂直方向のずれの補正量を求めるため、基準画像と参照画像の一部である特徴だけを用いる方法に比べて、補正精度が高い。また、集積回路演算部１２０の視差算出部１２６及び幾何補正部１２５によってそれぞれ、幾何補正及び視差画像生成の処理がリアルタイムで実行されるため、短時間で補正することができる。

１００ａ…撮像系部、１００ｂ…撮像系部、１０１ａ…光学素子部、１０１ｂ…光学素子部、１０２ａ…撮像素子部、１０２ｂ…撮像素子部、１１０…記憶部、１１１…認識用撮像画像記憶部、１１２…校正用撮像画像記憶部、１１３…幾何補正画像記憶部、１１４…視差画像記憶部、１１５…幾何補正情報記憶部、１２０…集積回路演算部、１２１…入出力格納情報記憶部、１２２…幾何補正変更情報記憶部、１２３…同期信号発生部、１２４ａ…基準画像取込部、１２４ｂ…参照画像取込部、１２５…幾何補正部、１２６…視差算出部、１３０…汎用演算部、１３１…視差画像評価部、１３２…垂直ずれ補正部、１３３…認識部、１３４…自動幾何校正部、１４０…画面音声出力部、１５０…制御部、４０１…基準画像、４０２…参照画像、４０３…基準画像のテンプレート画像、４０４…参照画像の被探索画像、４０５…テンプレート画像に最も一致する被探索画像、５０１…テンプレート画像と同じ高さの被探索画像で求めたＳＡＤ、５０２…隣とのＳＡＤの差が負から正に変化する箇所でＳＡＤが最も小さい位置、５０３…隣とのＳＡＤの差が負から正に変化する箇所でＳＡＤが２番目に小さい位置、５０４…隣とのＳＡＤの差が負から正に変化する箇所、６０１…基準画像と参照画像のある垂直ずれにおける視差画像の信頼性の評価値の箇所、６０２…視差画像の信頼性の評価値が最も高い垂直ずれの箇所、６０３…垂直ずれと視差画像の信頼性の評価値の２次近似式

Claims (10)

1. 　第１画像を撮像する第１撮像部と、
   　第２画像を撮像する第２撮像部と、
   　前記第２画像からの垂直方向の移動量が異なる複数の第３画像を生成する幾何補正部と、
   　前記第１画像とそれぞれの前記第３画像の組合せから複数の視差画像を生成する視差算出部と、
   　それぞれの前記視差画像の信頼度を算出する視差画像評価部と、
   　前記移動量と前記信頼度の対応関係に基づいて、最大の前記信頼度及びそれに対応する前記移動量を算出し、前記最大の前記信頼度に対応する前記移動量を垂直ずれの補正量として設定する垂直ずれ補正部と、
   　を備えることを特徴とするステレオカメラ。
2. 　請求項１に記載のステレオカメラであって、
   　前記幾何補正部は、
   　前記第１画像及び前記第２画像の光学的な歪みを補正し、
   　前記垂直ずれの補正量で前記第１画像及び前記第２画像の間の前記垂直ずれを補正する
   　ことを特徴とするステレオカメラ。
3. 　請求項２に記載のステレオカメラであって、
   　前記第１画像及び前記第２画像の幾何補正の前後の対応関係を示す写像を記憶する記憶部を備え、
   　前記幾何補正部は、
   　前記写像を用いて前記第１画像及び前記第２画像の光学的な歪みを補正し、
   　前記垂直ずれの補正量で前記第１画像及び前記第２画像の間の前記垂直ずれを補正する
   　ことを特徴とするステレオカメラ。
4. 　請求項１に記載のステレオカメラであって、
   　少なくとも前記垂直ずれ補正部は、
   　前記ステレオカメラの起動時に動作する
   　ことを特徴とするステレオカメラ。
5. 　請求項３に記載のステレオカメラであって、
   　前記写像は、
   　前記第２画像を前記垂直ずれの補正量だけ垂直方向へ移動することを含み、
   　前記幾何補正部は、
   　前記写像を用いて前記第１画像及び前記第２画像の間の前記垂直ずれを補正する
   　ことを特徴とするステレオカメラ。
6. 　請求項１に記載のステレオカメラであって、
   　前記幾何補正部及び前記視差算出部は、
   　論理回路である
   　ことを特徴とするステレオカメラ。
7. 　請求項１に記載のステレオカメラであって、
   　少なくとも前記垂直ずれ補正部は、
   　前記ステレオカメラの周囲の温度が所定の時間内に閾値以上変化した場合、動作する
   　ことを特徴とするステレオカメラ。
8. 　請求項１に記載のステレオカメラであって、
   　少なくとも前記垂直ずれ補正部は、
   　所定のサイクルで、動作する
   　ことを特徴とするステレオカメラ。
9. 　請求項１に記載のステレオカメラであって、
   　前記信頼度は、　それぞれの前記視差画像において有効な視差の数を示す指標である
   　ことを特徴とするステレオカメラ。
10. 　請求項９に記載のステレオカメラであって、
    　前記視差算出部は、
    　前記第１画像の領域と同じ高さの前記第３画像の領域の複数の組合せのそれぞれについて前記第１画像の領域と前記第３画像の領域の類似度を算出し、前記類似度が最大となる前記第１画像の領域と前記第３画像の領域から前記視差を算出し、
    　前記最大の類似度が第１閾値未満である場合、前記視差が無効であると判定し、
    　前記類似度の極大値が２個以上あり、かつ、最大の極大値と２番目に大きい極大値の差が第２閾値未満である場合、前記視差は無効であると判定し、
    　最大の前記類似度が第１閾値以上であり、かつ、前記類似度の極大値が１個だけの場合、前記視差が有効であると判定し、
    　最大の前記類似度が第１閾値以上であり、前記類似度の極大値が２個以上あり、かつ、最大の極大値と２番目に大きい極大値の差が第２閾値以上の場合、前記視差が有効であると判定する
    　ことを特徴とするステレオカメラ。

Images