JP4894771B2 - 校正装置及び校正方法 - Google Patents

Description

本発明は、移動体に搭載され撮影手段のカメラパラメータを校正する校正装置及び校正方法に関するものである。

近年、交通事故を未然に防止するために、ステレオカメラやレーダーを利用した運転支援システムの研究が盛んに行われている。運転支援システムは、移動体に搭載され、進行方向にある障害物を検出し、障害物までの距離を測ることで、移動体が危険状態にあるか否かを判断し、運転者に警告を発したり、ブレーキ制御を行ったりするものである。中でも、ステレオカメラを利用した運転支援システムは、撮影した画像を処理することで障害物を特定することが可能であると共に、その障害物の動きも解析可能であるというようにレーダーを利用した運転支援システムにはないメリットを有している。

また、ステレオカメラで高精度に距離計測するためには、カメラが適正にキャリブレーションされている必要があるが、車載ステレオカメラの場合には、振動や温度変化など過酷な条件で使用されるため、経時的にキャリブレーション値が変化し、計測精度の低下をもたらすという問題がある。

特許文献１には、地点Ａにおいて左カメラと右カメラとで撮影された撮影画像から信号機を抽出し、左右の撮影画像を用いて当該信号機の視差ｄＡを求める。次に、地点Ｂに移動するまでの間、信号機を追跡し、地点Ｂにおいて当該信号機の視差ｄＢを求める。そして、視差ｄＡ，ｄＢ、走行距離Ｚから左カメラと右カメラとのズレ角Δθを求め、このΔθを用いてカメラ校正を行う車載ステレオカメラの校正方法が開示されている。

特許文献２には、画像内の無限遠点に対応する視差の標準値を予め記憶しておき、無限遠点に対するその時々の視差と視差の標準値との偏差を算出し、当該偏差を補正量として、一対の撮影手段により撮影された画像を用いて計測された距離を補正する距離計測装置が開示されている。
特開平１０−３４１４５８号公報 特許第３６１７７０９号公報

しかしながら、特許文献１の手法では、信号機を追跡することでカメラ校正が行われてため、各撮影画像から同じ信号機を認識するための手段が必要となり、処理が煩雑になってしまう。また、特許文献２の手法では、各画像から無限遠点を認識する手段が必要であるが有効な手段が述べられていない。

本発明の目的は、物体を認識する処理を行わなくてもカメラパラメータの校正値を算出することができる校正装置及び校正方法を提供することである。

（１）本発明による校正装置は、移動体に搭載され、撮影手段のカメラパラメータを校正する校正装置であって、前記撮影手段により所定のフレームレートで撮影された入力画像に複数の注目点を設定し、各注目点の視差と２次元のオプティカルフローとを算出する視差・フロー算出手段と、前記視差と前記注目点の垂直成分とを基に、前記入力画像に含まれる道路面と前記撮影手段との関係を示す路面パラメータを算出する路面パラメータ推定手段と、前記オプティカルフローと、前記視差と、前記路面パラメータとを基に、前記カメラパラメータの校正値を算出する校正値算出手段とを備えることを特徴とする。

本発明の校正方法は、移動体に搭載された撮影手段のカメラパラメータを校正する校正方法であって、前記撮影手段により所定のフレームレートで撮影された入力画像に複数の注目点を設定し、各注目点の視差と２次元のオプティカルフローとを算出する視差・フロー算出ステップと、前記視差と前記注目点の垂直成分とを基に、前記入力画像に含まれる道路面と前記撮影手段との関係を示す路面パラメータを算出する路面パラメータ推定ステップと、前記オプティカルフローと、前記視差と、前記路面パラメータとを基に、前記カメラパラメータの校正値を算出する校正値算出ステップとを備えることを特徴とする。

これらの構成によれば、視差と注目点の垂直成分とを基に、路面パラメータが算出され、この路面パラメータとオプティカルフローと視差とを基にカメラパラメータの校正値が算出されているため、入力画像から特定の物体を認識する手段を設けずに、校正値を算出することができる。

（２）また、前記路面パラメータは、前記撮影手段の道路面に対するピッチ方向の傾斜角度であり、前記校正値算出手段は、前記路面パラメータ推定手段により前フレームにおいて算出された傾斜角度と、現フレームにおいて算出された傾斜角度との差分を基に、前記撮影手段のピッチ方向の角速度を算出する第１の手段を備えることが好ましい。

この構成によれば、撮像手段のピッチ方向の角速度を精度良く算出することができる。

（３）また、前記校正値は、視差を校正するための視差オフセットであり、前記撮影手段の道路面に対するピッチ方向の傾斜角度であり、前記校正値算出手段は、前記視差オフセットの候補値で校正された視差の２乗を示す座標軸と、前記オプティカルフローの垂直成分を示す座標軸とで規定される２次座標元空間上に、前記候補値を変更させながら、各注目点をプロットすることで、前記道路面上に位置する注目点群を表す直線を前記候補値毎に求め、各直線の切片を基に前記候補値毎の角速度を算出する第２の手段と、前記第１の手段により算出された角速度に近似する角速度を前記第２の手段により算出された角速度の中から特定し、特定した角速度に対応する候補値を前記視差オフセットとして算出する第３の手段とを更に備えることが好ましい。

この構成によれば、第２の手段において視差オフセットの各候補値に対応するピッチ方向の角速度が算出され、これらの角速度のうち第１の手段において算出されたピッチ方向の角速度と近似する角速度に対応する候補値が視差オフセットとして算出されているため、視差オフセットを精度良く算出することができる。

（４）また、前記校正値は、前記撮影手段の道路面に対するピッチ方向の傾斜角度であり、前記校正値算出手段は、前記視差と前記オプティカルフローの垂直成分と前記第１の手段により算出された角速度とを基に、前記移動体の前進速度と前記視差オフセットとを変数とし、前記道路面上に各注目点が存在すると仮定した場合に描かれる曲線を注目点毎に算出し、得られた曲線を、前記前進速度を示す座標軸と前記視差オフセットを示す座標軸とで規定される投票空間に投票することで、前記視差オフセットを算出する第２の手段を更に備えることが好ましい。

この構成によれば、移動体の前進速度と視差オフセットとで規定される２次元座標空間が投票空間とされ、この投票空間に、各注目点が道路面上に存在すると仮定した場合に描かれる注目点毎の曲線が投票され、この投票結果から視差オフセットが算出されているため、視差オフセットを精度良く算出することができる。

（５）また、前記路面パラメータ推定手段は、前記視差を示す座標軸と前記注目点の垂直成分を示す座標軸とで規定される２次座標元空間上に各注目点をプロットすることで、前記入力画像に含まれる道路面上に位置する注目点群を表す直線を求め、当該直線の切片を基に前記撮影手段のピッチ方向の傾斜角度を算出することが好ましい。

この構成によれば、撮影手段のピッチ方向の傾斜角度を精度良く算出することができる。

（６）また、前記路面パラメータ推定手段は、前記視差と前記注目点の垂直成分とを基に、前記撮影手段の前記道路面に対する高さとピッチ方向の傾斜角度とを変数とし、前記道路面上に各注目点が存在すると仮定した場合に描かれる直線を注目点毎に算出し、得られた直線を、前記高さを示す座標軸と前記ピッチ方向の傾斜角度を示す座標軸とで規定される投票空間に投票することで、前記撮影手段のピッチ方向の傾斜角度を算出することが好ましい。

この構成によれば、撮影手段の前記道路面に対する高さとピッチ方向の傾斜角度とによって規定される２次元座標空間が投票空間とされ、この投票空間に、各注目点が路面上に存在すると仮定した場合に描かれる注目点毎の直線が投票され、この投票結果からピッチ方向の傾斜角度が算出されているため、撮影手段のピッチ方向の傾斜角度を精度良く算出することができる。

（７）また、前記校正値算出手段は、前記路面パラメータ推定手段により算出された路面パラメータを基に、道路面上に位置する注目点を特定し、特定した注目点を処理対象の注目点とすることが好ましい。

この構成によれば、道路面上に位置する注目点のみが校正値算出手段における処理対象の注目点とされるため、処理コストを低減することができる。

（８）また、前記路面パラメータ推定手段は、複数フレームの入力画像を用いて前記路面パラメータを算出し、前記校正値算出手段は、複数フレームの入力画像を用いて前記校正値を算出することが好ましい。

この構成によれば、路面パラメータと校正値とが複数フレームの入力画像を用いて算出されているため、校正値を精度良く算出することができる。

（９）また、前記道路面がうねっているか否かを検出するうねり検出手段を更に備え、
前記校正値算出手段は、前記うねり検出手段により前記道路面がうねっていることが検出された場合、前記校正値を算出しないことが好ましい。

この構成によれば、適切な校正値を得ることが困難であるうねった道路面が撮影手段により撮影された場合、校正値の算出処理が実行されないため、不適切な校正値の算出を防止することができる。

（１０）また、前記路面パラメータ推定手段は、前記入力画像を複数の領域に分割し、各領域における路面パラメータを算出し、前記うねり検出手段は、前記路面パラメータ推定手段により領域毎に算出された路面パラメータを基に、前記道路面がうねっているか否かを検出することが好ましい。

この構成によれば、道路面のうねりを精度良く検出することができる。

（１１）また、前記視差・フロー算出手段は、前記撮影手段により撮影された処理対象となる複数の入力画像のうち、１枚の入力画像を基準画像とし、前記基準画像上に設定された注目点を基準としてウインドウを設定すると共に、残りの処理対象となる複数の入力画像にも前記ウインドウを設定し、設定したウインドウ内の画像を周波数分解し、振幅成分を抑制した信号同士の相関に基づいて対応点を探索することで、前記オプティカルフロー及び前記視差を算出することが好ましい。

この構成によれば、振幅成分を抑制した信号同士の相関に基づいて対応点が探索されているため、ステレオペア画像の感度の違いなどに影響されずにロバストに視差演算を行うことができ、道路面でも安定して対応点を求めることができる。

（１２）また、前記情報算出手段は、位相限定相関法により前記対応点を算出することが好ましい。

この構成によれば、ロバストに対応点を探索することができる。

本発明によれば、物体を認識する処理を行わなくても撮影手段の校正値を算出することができる。

（実施の形態１）
以下、本発明の実施の形態１による校正装置について説明する。図１は、本発明の実施の形態１による校正装置の全体構成図を示している。図１に示す校正装置は、自動車等の移動体に搭載され、複数の撮影手段を用いて撮影された画像を用いて移動体の動きを解析したり、撮影手段のカメラパラメータを校正したりするものであり、ステレオカメラ１（撮影手段の一例）、演算装置２、及び表示装置３を備えている。ステレオカメラ１は、左右一対のカメラ１１，１２により構成されている。図２は、ステレオカメラ１の設置箇所の一例を示した図である。ステレオカメラ１は、例えば、図２（ａ）、（ｂ）に示すように移動体のルーフのフロントガラス側に取り付けられている。但し、これは一例であり、ステレオカメラ１は、移動体の前方に光軸が向く位置であればどのような位置に取り付けられていてもよい。

カメラ１１，１２は、移動体の前進方向に直交し、かつ水平方向に平行な方向である左右方向に所定の間隔を設けて、前進方向を中心に対称となるように同一高さ位置に配設され、所定のフレームレートで移動体の前方を撮影する。ここで、カメラ１１，１２は、同一時刻においてフレームが撮影されるように撮影タイミングの同期が図られており、移動体の前方を走行する自動車、自動二輪車、及び自転車、並びに移動体の前方を通行する通行人等の物体を撮影する。

ここで、カメラ１１により撮影された画像を基準画像、カメラ１２により撮影された画像を参照画像と称する。また、参照画像及び基準画像を総称して入力画像と称する。また、入力画像としては、例えば０（黒）〜２５５（白）の２５６階調値を有する複数の画素がマトリックス状に配列されたデジタルの画像データが採用される。また、本実施の形態では、図１１に示すように入力画像は、中心が原点とされ、水平成分がｘ軸により規定され、垂直成分がｙ軸により規定される座標系によって各画素が表される。また、ｘ軸は原点より右方向が正とされ、ｙ軸は原点より下方向が正とされている。

演算装置２は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を備えるハードウエア装置により構成され、カメラ１１，１２で同一時刻に撮影された２枚の画像に後述する画像処理を施し、移動体の動きを解析したり、ステレオカメラ１のカメラパラメータを校正したりする。表示装置３は、液晶表示ディスプレイ、有機ＥＬディスプレイといった表示装置から構成され、演算装置２による解析結果等の情報を表示する。ここで、表示装置３は、移動体がカーナビゲーションシステムを備えている場合は、当該カーナビゲーションシステムの表示装置により構成してもよいし、カーナビゲーションシステムとは別の表示装置により構成してもよい。

図３は、演算装置２の機能ブロック図を示している。演算装置２は、視差・フロー算出部２１、路面パラメータ推定部２２、校正値算出部２３、障害物検出部２４、障害物測距部２５を備えている。視差・フロー算出部２１は、視差演算部２１１及びＯＦ演算部２１２を備え、ステレオカメラ１により撮影された入力画像に複数の注目点を設定し、各注目点の視差と２次元のオプティカルフローとを算出する。

視差演算部２１１は、基準画像に複数の注目点を設定し、各注目点の視差を算出する。具体的には、視差演算部２１１は、各注目点の対応点を参照画像から探索することで、各注目点の視差をフレーム毎に算出する。ここで、視差演算部２１１は、１枚の基準画像に順次注目点を設定し、ＰＯＣ（位相限定相関法）やＳＡＤ（sum of absolute differences）等の探索手法を用いて参照画像から当該注目点の対応点を探索し、探索した対応点と注目点とを基に視差を算出する。

ＯＦ演算部２１２は、現フレームの基準画像に設定された注目点の対応点をＰＯＣやＳＡＤといった探索手法を用いて現フレームより１フレーム前の前フレームの基準画像又は現フレームの次のフレームの基準画像から探索することで各注目点の２次元のオプティカルフローを算出する。ここで、オプティカルフローとしては、注目点と対応点との水平及び垂直成分同士の差分を採用することができる。

路面パラメータ推定部２２は、視差演算部２１１により算出された視差と注目点の垂直成分とを基に、入力画像に含まれる道路面とステレオカメラ１との関係を示す路面パラメータを算出する。具体的には、路面パラメータ推定部２２は、視差を示す座標軸と注目点の垂直成分を示す座標軸とで規定される２次座標元空間上に各注目点をプロットすることで、入力画像に含まれる道路面上に位置する注目点群を表す直線を求め、当該直線の傾きを基にステレオカメラ１の道路面に対する高さを算出すると共に、当該直線の切片を基にステレオカメラ１の道路面に対するピッチ方向の傾斜角度を算出する。ここで、道路面に対するステレオカメラ１の高さ及びピッチ方向の傾斜角度を路面パラメータと称する。

校正値算出部２３は、ＯＦ演算部２１２により算出されたオプティカルフローと、視差演算部２１１により算出された視差と、路面パラメータとを基に、カメラパラメータの校正値を算出するものであり、回転成分演算部２３１（請求項２の第１の手段一例）及び補正パラメータ演算部２３２（請求項３の第２及び第３の手段の一例）を備えている。本実施の形態では、校正値として視差を校正するための視差オフセットを採用した場合を例に挙げて説明する。

回転成分演算部２３１は、路面パラメータ推定部２２により前フレームにおいて算出されたステレオカメラ１のピッチ方向の傾斜角度と、現フレームにおいて算出されたステレオカメラ１のピッチ方向の傾斜角度との差分を基に、ステレオカメラ１のピッチ方向の角速度を算出する第１の処理を実行する。

補正パラメータ演算部２３２は、視差オフセットの候補値で校正された視差の２乗を示す座標軸と、オプティカルフローの垂直成分を示す座標軸とで規定される２次座標元空間上に、候補値を変更させながら、各注目点をプロットすることで、道路面上に位置する注目点群を表す直線を候補値毎に求め、各直線の切片を基に候補値毎の角速度を算出する第２の処理を実行する。

また、補正パラメータ演算部２３２は、第１の処理により算出されたピッチ方向の角速度に近似するピッチ方向の角速度を第２の処理により算出されたピッチ方向の角速度の中から特定し、特定したピッチ方向の角速度に対応する候補値を算出対象となる視差オフセットとして算出する。

なお、路面パラメータ推定部２２は、ある一定期間に撮影された複数フレームの入力画像を用いて路面パラメータを算出し、校正値算出部２３は、当該複数フレームの入力画像を用いて校正値を算出してもよい。この場合、複数フレームの入力画像を用いて路面パラメータ及び校正値が算出されるため、校正値を算出するうえでの情報量が増す結果、校正値を精度良く算出することができる。なお、一定期間としては、校正値を算出するうえで好ましい予め定められた期間を採用することができる。

障害物検出部２４は、移動体の前方に障害物が存在するか否かを判定する。ここで、障害物検出部２４は、例えば、路面パラメータ推定部２２により道路面上に位置する注目点以外の注目点であって、ＯＦ演算部２１２によりオプティカルフローが移動体に向かっていると判別される注目点を障害物を示す注目点として抽出することで障害物を検出する。

障害物測距部２５は、障害物検出部２４により障害物が存在すると判定された場合、当該障害物と移動体との距離を算出し、当該距離が予め定められた値より小さい場合、危険であることを報知するための情報を生成し、表示装置３に表示する。

（校正装置の動作）
次に、実施の形態１による校正装置の動作について説明する。図４は、校正装置の動作を示すフローチャートである。ステップＳ１において、ステレオカメラ１は、移動体前方のシーンをとらえた基準画像と参照画像とを取得し、演算装置２に出力する。なお、ステレオカメラ１は、Δｔの時間間隔で、すなわち、Δｔのフレーム周期で基準画像及び参照画像を取得するものとする。

図５は、ステップＳ１で取得される基準画像と参照画像との一例を示した図である。図５の場合、移動体の前方を走行する自動車をとらえた基準画像と参照画像とが取得されていることが分かる。

ステップＳ２において、視差演算部２１１は、基準画像に設定した各注目点の対応点を、同一タイミングで撮影された参照画像から探索し、得られた対応点と注目点との各ペアの水平及び垂直成分同士の差を求めることで、視差を算出する。なお、対応点の探索処理の詳細については後述する。

図６は、視差とオプティカルフローとの算出処理の説明図である。図６において上段の１枚の画像は、時刻ｔ−Δｔにおける基準画像を示し、下段の２枚の画像は、時刻ｔにおける基準画像と参照画像とを示している。図６に示すように、各時刻において、前方を走行する自動車をとらえた基準画像と参照画像とが取得されていることが分かる。以下、時刻ｔ−Δｔのフレームが前フレームを示し、時刻ｔのフレームが現フレームを示すものとする。

図６に示すように、視差演算部２１１は、基準画像に設定した注目点（ｘ１（ｔ），ｙ１（ｔ））の対応点（ｘ２（ｔ），ｙ２（ｔ））を参照画像から求め、例えば（ｘ１（ｔ）−ｘ２（ｔ），ｙ１（ｔ）−ｙ２（ｔ））を視差として算出する。

ステップＳ３において、ＯＦ演算部２１２は、各注目点の２次元のオプティカルフローを算出する。図６に示すように、ＯＦ演算部２１２は、基準画像に設定された注目点（ｘ１（ｔ），ｙ１（ｔ））の対応点（ｘ１（ｔ−Δｔ），ｙ１（ｔ−Δｔ））を１フレーム前の基準画像から求め、例えば（ｘ１（ｔ）−ｘ１（ｔ−Δｔ），ｙ１（ｔ）−ｙ１（ｔ−Δｔ））を各注目点のオプティカルフローとして算出する。

図７は、ＯＦ演算部２１２により算出されたオプティカルフローを基準画像上にプロットした図を示している。図７において道路面にプロットされた白筋がオプティカルフローである。図７においては、オプティカルフローは、大きさに応じた長さを有し、かつ向きに応じた方向を有する線分によって表されている。道路面の下側に向かうにつれて白筋が込みいっているのは、下側ほどオプティカルフローの大きさが大きいためである。なお、図７においては、道路面以外のオプティカルフローは省略されている。

図４に戻り、ステップＳ４において、路面パラメータ推定部２２は、路面パラメータを算出する。具体的には、以下のような処理が実行される。まず、各注目点に対する視差と注目点の垂直成分とを求める。次に、視差と注目点の垂直成分とを座標軸とする２次元座標空間に各注目点をプロットする。

図８は、ステップＳ４の処理の説明図であり、（ａ）、（ｂ）は視差と注目点の垂直成分とを座標軸とする２次元座標空間を示している。図８のグラフにおいて、横軸は注目点の垂直成分（ｙ）を示し、縦軸は視差（ｄ）を示している。図８（ａ）に示すように、２次元座標空間に各注目点がプロットされていることが分かる。

次に、最小二乗法、ハフ変換等の直線算出手法を用いて、プロットした各点によって描かれる直線Ｌ１を算出する。次に、直線Ｌ１の傾き及び切片を求め、得られた傾きからステレオカメラ１の高さｈを算出すると共に、得られた切片からピッチ方向の傾斜角度φを算出する。ここで、視差（ｄ）と、注目点の垂直成分（ｙ）とは式（Ａ）の関係を有することを本発明者は発見した。

すなわち、式（Ａ）は、図８（ｂ）に示すように、ｙ、ｄを変数とし、Ｂ／ｈを傾きとし、（Ｂ／ｈ）・（α・φ）を切片とした場合の直線を表している。ここで、Ｂ，αは定数である。

したがって、直線Ｌ１の傾きを求め、定数Ｂを用いることでｈを算出し、次に、直線Ｌ１の切片を求め、定数Ｂ，αと、算出したｈとを用いることでピッチ方向の傾斜角度φを算出する、すなわち、路面パラメータを算出することができる。

図１０は、ステレオカメラ１と道路面との位置関係の説明図である。図１０において、Ｙは鉛直方向を示し、Ｚは移動体の前進方向を示し、Ｚ´はステレオカメラ１の光軸方向を示し、φはＺ方向を基準にしたときのステレオカメラ１のピッチ方向の傾斜角度を示し、ｆは焦点距離を示し、Ｙ´は入力画像の垂直成分を示し、ｈはステレオカメラ１の道路面に対する高さを示し、ｙは移動体からＺ方向にＤ離れた路面上の点Ａを表す入力画像上の点の垂直成分を示している。したがって、ステップＳ４の処理により、図１０に示すφとｈとが算出されることになる。

図４に戻り、ステップＳ５において、回転成分演算部２３１は、第１の処理を実行し、路面パラメータ推定部２２により前フレームにおいて算出されたステレオカメラ１のピッチ方向の傾斜角度φ_ｔ−Δｔと、現フレームにおいて算出されたステレオカメラ１のピッチ方向の傾斜角度φ_ｔとの差分を基に、ステレオカメラ１のピッチ方向の角速度を算出する。

ここで、ステップＳ４で算出された、直線Ｌ１において、前フレームの切片及び高さをｂ_ｔ−Δｔ及びｈ_ｔ−Δｔ、現フレームの切片及び高さをｂ_ｔ及びｈ_ｔとする。ｂ_ｔ、ｂ_ｔ−Δｔは、ｂ_ｔ−Δｔ＝Ｂ／ｈ_ｔ−Δｔ（α・φ_ｔ−Δｔ）−Δｄ、ｂ_ｔ＝Ｂ／ｈ_ｔ（α・φ_ｔ）−Δｄの関係を有する。なお、Δｄは、視差オフセットを示している。

そのため、ω・Δｔ＝φ_ｔ−φ_ｔ−Δｔ≒（ｈ／Ｂ・α）・（ｂ_ｔ−ｂ_ｔ−Δｔ）が得られる。したがって、φ_ｔ−φ_ｔ−ΔｔをΔｔで除すればピッチ方向の角速度ωが得られる。なお、ピッチ方向の角速度としてωを採用したが、これに限定されず、１フレームあたりの角速度であるω・Δｔをピッチ方向の角速度として採用してもよい。この場合、φ_ｔ−φ_ｔ−Δｔの演算のみによりピッチ方向の角速度を得ることができる。

ステップＳ６において、補正パラメータ演算部２３２は、第２の処理を実行し、視差オフセットの候補値毎の角速度を算出する。具体的には、以下のような処理が実行される。まず、候補値を設定し、設定した候補値で校正された各注目点の視差の２乗と、オプティカルフローの垂直成分とを求める。次に、校正された視差の２乗とオプティカルフローの垂直成分とを座標軸とする２次元座標空間に各注目点をプロットする。

図９は、ステップＳ６の処理の説明図であり、（ａ）、（ｂ）は視差オフセットの候補値で校正された視差とオプティカルフローの垂直成分とを座標軸とする２次元座標空間を示している。図９のグラフにおいて、縦軸はオプティカルフローの垂直成分（Δｙ）を示し、横軸は校正された視差の２乗（ｄ＋Δｄ）^２を示している。図９（ａ）に示すように、２次元座標空間に各注目点がプロットされていることが分かる。

次に、最小二乗法、ハフ変換等の直線算出手法を用いて、プロットした各注目点によって描かれる直線Ｌ２を算出する。次に、直線Ｌ２の傾き及び切片を求め、得られた傾きから前進速度を算出すると共に、得られた切片からピッチ方向の角速度を算出する。ここで、校正された視差の２乗（ｄ＋Δｄ）^２と、オプティカルフローの垂直成分（Δｙ）とは式（Ｂ）の関係を有することを本発明者は発見した。

但し、αカメラパラメータを示し、ｖは前進速度を示し、Δｔはフレーム周期を示し、ｈはステレオカメラ１の高さを示し、ωはピッチ方向の角速度を示し、Ｂはステレオカメラ１を構成する２台のカメラの間隔を示している。すなわち、式（Ｂ）は、図９（ｂ）に示すように、Δｙ、（ｄ＋Δｄ）^２を変数とし、（１／α）・（ｖ・Δｔ／１）・（ｈ／Ｂ^２）を傾きとし、−α・ω・Δｔを切片とした場合の直線を表している。ここで、α，Ｂ，Δｔは定数である。

したがって、直線Ｌ２の切片を求め、定数α、Δｔを用いることでピッチ方向の角速度ωを算出することができる。

次に、オフセット視差の候補値Δｄを変更し、同様の処理を行って、ピッチ方向の角速度ωを算出する。このように、オフセット視差の候補値Δｄを所定範囲内で順次変化させながら、上記の処理を繰り返し実行することで、各候補値に対応するピッチ方向の角速度ωを算出する。ここで、所定範囲としては、オフセット視差の解が得られることが想定される予め定められた範囲を採用することができる。

なお、ステップＳ６において、ピッチ方向の角速度としてωを採用したが、１フレームあたりのピッチ方向の角速度であるω・Δｔをピッチ方向の角速度として採用してもよい。

図４に戻り、ステップＳ７において、補正パラメータ演算部２３２は、第１の処理により算出されたピッチ方向の角速度に近似するピッチ方向の角速度を第２の処理により算出されたピッチ方向の角速度の中から特定し、特定したピッチ方向の角速度に対応する候補値を算出対象となる視差オフセットとして算出する。以上により視差オフセットが得られる。

（式（Ａ）〜（Ｂ）の導出）
次に、式（Ａ）〜（Ｂ）の導出について図１０〜１２を用いて説明する。

（ｉ）カメラと道路面との位置関係
ステレオカメラ１と設置位置と撮影条件とは図１０に示すような関係を有している。ステレオカメラ１は、前進方向Ｚに対して、ピッチ方向の傾きを持って設置されており、パン方向及びロール方向の傾きは略０とする。図１１は、基準画像の座標系を示している。図１１に示すように、基準画像は、中心が原点とされ、垂直成分がｙ軸によって規定され、水平成分がｘ軸によって規定されている。

図１０から基準画像上の座標ｙと、道路面までの距離Ｄとの関係は以下で表すことができる。

ｈ／Ｄ＝ｔａｎ（ｔａｎ^−１（ｙ／α）＋φ） （１）
但し、α＝ｆ／ｐ＝Ｎ／２θを示し、ｐは画素ピッチを示し、Ｎは画素数を示し、θは画角を示している。なお、本実施の形態では、例えば、Ｎとして１２８０×９６０画素、ｐとして０．００４６５ｍｍ、ｆとして１５ｍｍ、Ｂとして２１０ｍｍを採用することができる。

ｈ／Ｄ、ｙ／αが１に比べて十分小さい場合は、式（１）は次式に簡略化できる。

ｈ／Ｄ＝（１／α）・ｙ＋φ （２）
なお、式（２）より、基準画像上の座標ｙの道路面上の点Ａまでの距離は、次式で表される。

Ｄ＝α・ｈ／（ｙ＋α・φ） （３）
一方、ステレオカメラ（平行ステレオ）の視差と道路面との距離の関係は、次式で表される。

Ｄ＝Ｂ・α・（１／ｄ） （４）
式（４）と（３）とから視差と路面の画像上の点との関係が以下の関係式として得られる。

ｄ＝（Ｂ／ｈ）・（ｙ＋α・φ） （５）

（ｉｉ）移動体の前進によるオプティカルフロー
図１２は、移動体の前進時における入力画像を示した図である。移動体が前進しているとき、道路面上の注目点のオプティカルフローは、（０，−αφ）に集まる。ここで、（０，−αφ）を通り、かつ、水平方向と平行な直線によって表される面が消失面となる。時刻ｔ０及び時刻ｔ０からΔｔ秒経過した時刻ｔ１において、移動体からＺ方向にＤ離れた道路面上の点Ａの入力画像上の座標は、次式で計算できる。

ｙ０＝α・（ｈ／Ｄ−φ）
ｙ１＝α・（ｈ／（Ｄ−ｖ・Δｔ）−φ） （６）
従って、その位置変化は、次式により得られる。

Δｙ＝ｙ１−ｙ０＝α・（ｈ／（Ｄ−ｖ・Δｔ）−ｈ／Ｄ）
＝α・（ｖ・Δｔ・ｈ／（Ｄ−ｖ・Δｔ）・Ｄ）
≒α・ｖ・Δｔ・ｈ／Ｄ^２ （７）
また、図１２より、オプティカルフローの水平成分Δｘは、Δｙを用いて次式で計算できる。

Δｘ＝ｘ・Δｙ／（ｙ＋α・φ） （８）
式（３）を用いてＤをｙで表すと、移動体の前進によるオプティカルフローΔx，Δyは、式（７）、（８）を用いて次式で表すことができる。

Δｙ＝（１／α）・（ｖ・Δｔ／ｈ）・（ｙ＋α・φ）^２
Δｘ＝（１／α）・（ｖ・Δｔ／ｈ）・（ｙ＋α・φ）・ｘ・ｄ （９）

（ｉｉｉ）移動体の縦揺れ（ピッチ方向の回転）によるオプティカルフロー
時刻ｔ０及び時刻ｔ０からΔｔ秒経過した時刻ｔ１において、移動体からＤ離れた道路面上の点Ａの入力画像上の座標は、次式で表される。

ｙ０＝α・（ｈ／Ｄ−φ）
ｙ１＝α・（ｈ／Ｄ−（φ＋ω・Δｔ）） （１０）
よって、縦揺れによるオプティカルフローΔｘ・Δｙは、式（１０）から次式で表される。

Δｙ＝ｙ１−ｙ０＝−α・ω・Δｔ
Δｘ＝０ （１１）

（ｉｖ）移動体の操舵（パン方向の回転）によるオプティカルフロー
移動体の操舵により、横方向の併進と横方向の回転が生じる。よって、移動体のパン方向の角速度をσとすると、車の横方向の併進量ｂは、以下で計算できる。

ｂ＝ｖ・Δｔ／ｓｉｎ（σ・Δｔ）−ｖ・Δｔ／ｔａｎ（σ・Δｔ）
＝ｖ・Δｔ・（ｔａｎ（σ・Δｔ）−ｓｉｎ（σ・Δｔ））／（ｓｉｎ（σ・Δｔ）・ｔａｎ（σ・Δｔ））
≒（ｖ・Δｔ／（σ・Δｔ）^２）・（１／２）・（σ・Δｔ）^３
＝（１／２）・ｖ・Δｔ・σ・Δｔ
入力画像上では、（５）式より、Δｘ＝（ｂ／ｈ）・（ｙ＋α・φ）＝（ｖ・Δｔ／２ｈ）・（ｙ＋α・φ）・σ・Δｔのオプティカルフローが発生する。

よって、回転及び併進を合わせて、移動体の操舵によるオプティカルフローΔx・Δyは、以下で計算できる。

Δｘ＝−（α＋（ｖ・Δｔ／２ｈ）・（ｙ＋α・φ））・σ・Δｔ
Δｙ＝０ （１２）

（ｖ）（１）〜（ｉｖ）のまとめ
（ｉ）〜（ｉｖ）より移動体の前進、縦揺れ、及び操舵を加味した走行時に観測できるオプティカルフローΔｘ，Δｙは、式（９）、（１１）、（１２）より次式によって表される。

Δｙ＝（１／α）・（ｖ・Δｔ／ｈ）・（ｙ＋α・φ）^２−α・ω・Δｔ （１３）
Δｘ＝（１／α）・（ｖ・Δｔ／ｈ）・（ｙ＋α・φ）・ｄ・ｘ−（α＋（ｖ・Δｔ／２ｈ）・（ｙ＋α・φ））・σ・Δｔ （１４）
式（５）を用いて式（１３）、（１４）から、以下のオプティカルフローと視差との関係が得られる（但し、α＝ｆ／ｐ＝Ｎ／２θ）
ｄ＝（Ｂ／ｈ）・（ｙ＋α・φ） （５）
Δｙ＝（１／α）・（ｖ・Δｔ／１）・（ｈ／Ｂ^２）・ｄ^２−α・ω・Δｔ （１５）
Δｘ＝（１／α）・（ｖ・Δｔ／１）・（１／Ｂ）・ｄ・ｘ−（α＋（ｖ・Δｔ／２）・（１／Ｂ）・ｄ））σ・Δｔ （１６）
そして、式（５）が上記式（Ａ）となり、式（１５）においてｄとしてｄ＋Δｄを代入した式が式（Ｂ）となる。なお、式（５）、（１５）、（１６）において算出対象となるパラメータは以下の通りである。

ステレオカメラ１の道路面からの高さ：ｈ
ステレオカメラ１のピッチ方向の傾斜角度：φ
ステレオカメラ１の前進速度：ｖ
ステレオカメラ１のパン方向の角速度：σ
ステレオカメラ１のピッチ方向の角速度：ω
また、式（５）、（１５）、（１６）において既知のパラメータは以下の通りである。

各注目点の視差：ｄ
各注目点のオプディカルフロー：Δｘ，Δｙ
よって、道路面上の注目点における、ステレオ視差およびオプティカルフローは、式（５）及び式（１５）、（１６）の下記の拘束関係１〜３を持つことになる。

（拘束関係１）Δｙ−ｄ^２が直線に乗る→式（１５）を用いて、その傾きからｈ・ｖ、切片からωが求まる。

（拘束関係２）ｄ−ｙが直線に乗る→式（５）を用いて、その傾きからｈ、切片からφが求まる。拘束関係１、２は、ハフ変換により直線を求めることでロバストな処理が可能となる。

（拘束関係３）上記拘束関係１及び拘束関係２を満たす道路面上の注目点に対して、式（１６）を当てはめると、σを求めることができる。

（対応点の探索処理）
次に、ステップＳ３、Ｓ４で実行される対応点の探索処理の詳細について説明する。以下の説明では、視差演算部２１１による対応点の探索処理を例に挙げて説明する。ＯＦ演算部２１２による対応点の探索処理は、視差演算部２１１による対応点の探索処理において、基準画像を前フレームとし、参照画像を現フレームとすれば同様の処理となるため、説明を省略する。

図１３は、対応点の探索処理の詳細を示したフローチャートである。まず、ステップＳ２１において、注目点を順次設定するための基準画像におけるスキャンが終了したか否かが判定され、スキャンが終了されている場合は（ステップＳ２１でＹＥＳ）、処理が終了され、スキャンが終了されていない場合は（ステップＳ２１でＮＯ）、基準画像に注目点が設定される（ステップＳ２２）。図１４は、注目点の設定処理を示した図である。図１４（ａ）に示すように、基準画像が、例えば左上から右下に向けてラスタスキャンするようにされて、注目点ＣＰが順次設定される。そして、基準画像上、右下の注目点に対する対応点が算出されると、ステップＳ２１でＹＥＳと判定され、処理が終了される。ここで、基準画像の各画素を注目点として設定してもよいし、一定間隔で間引いた画素を注目点として設定してもよい。

ステップＳ２３において、ステップＳ２２で設定された注目点に対する対応点が参照画像からＰＯＣを用いて探索され、処理がステップＳ２１に戻される。図１５は、ＰＯＣを実行するＰＯＣ算出部の機能ブロック図を示している。このＰＯＣ算出部は、視差演算部２１１及びＯＦ演算部２１２に実装されている。基準ウインドウ設定部ＰＣ１は、基準画像に基準ウインドウを設定し、参照ウインドウ設定部ＰＣ２は、参照画像に参照ウインドウを設定する。図１６は基準ウインドウ及び参照ウインドウの説明図であり、図１６（ａ）は、基準画像に設定される基準ウインドウＷ１を示した図であり、図１６（ｂ）は参照画像に設定される参照ウインドウＷ２を示した図である。

基準ウインドウＷ１及び参照ウインドウＷ２はそれぞれ同じサイズを有し、例えば、３１×３１のサイズのものを採用することができる。図１６（ａ）に示すように基準ウインドウ設定部ＰＣ１は、基準画像上に設定された注目点ＣＰに中心が位置するように基準ウインドウＷ１を設定する。一方、参照ウインドウ設定部ＰＣ２は、図１６（ｂ）に示すように、基準ウインドウＷ１と同一サイズのウインドウＷ２´を参照画像上でラスタスキャンしていき、基準ウインドウＷ１内の画像のパターンと最もマッチする位置を探索し、その位置に参照ウインドウＷ２を設定する。ここで、参照ウインドウ設定部ＰＣ２は、例えば、相関演算やＳＡＤを用いてマッチする位置を探索すればよい。

図１５に戻り、ＤＦＴ部ＰＣ３は、基準ウインドウＷ１内の画像ｆ（ｎ１，ｎ２）に離散フーリエ変換を実行し、画像Ｆ（ｋ１，ｋ２）を算出する。また、ＤＦＴ部ＰＣ４は、参照ウインドウＷ２内の画像ｇ（ｎ１，ｎ２）に離散フーリエ変換を実行し、画像Ｇ（ｋ１，ｋ２）を算出する。

位相比較部ＰＣ５は、画像Ｆ（ｋ１，ｋ２）と、画像Ｇ（ｋ１，ｋ２）の複素共役とを乗じ、相関画像Ｒ（ｋ１，ｋ２）を算出する。図１７は、位相比較部ＰＣ５の処理を示した図である。図１７の左上のグラフは、画像Ｆ（ｋ１，ｋ２）の振幅及び位相成分を示し、左下のグラフは画像Ｇ（ｋ１，ｋ２）の振幅及び位相成分を示し、右のグラフは相関画像Ｒ（ｋ１，ｋ２）の振幅及び位相成分を示している。図１７の右のグラフに示すように、画像Ｆ（ｋ１，ｋ２）と画像Ｇ（ｋ１，ｋ２）との位置ズレ量が相関画像Ｒ（ｋ１，ｋ２）の位相成分の傾きに反映されている。

なお、位相比較部ＰＣ５は、位相成分の傾きをロバストに推定するために、周波数成分毎に重み付けをして相関画像Ｒ（ｋ１，ｋ２）を算出してもよい。図１８は、周波数成分毎に重み付けが施された相関画像Ｒ（ｋ１，ｋ２）の算出処理を示した図である。

まず、図１８（ａ）に示すように、画像Ｆ（ｋ１，ｋ２）と画像Ｇ（ｋ１，ｋ２）の複素共役とが乗じられる。次に、図１８（ｂ）に示すように、この乗じた値が規格化され、相関画像Ｒ´（ｋ１，ｋ２）が求められる。次に、図１８（ｃ）に示すように、相関画像Ｒ´（ｋ１，ｋ２）に例えばほぼステップ状の重み付け関数Ｈ（ｋ１，ｋ２）が乗じられ、相関画像Ｒ（ｋ１，ｋ２）が求められる。

図１５に戻り、位置ズレ演算部ＰＣ６は、相関画像Ｒ（ｋ１，ｋ２）を逆離散フーリエ変換し、ＰＯＣ関数ｒ（ｎ１，ｎ２）を算出し、基準ウインドウＷ１内の画像に対する参照ウインドウＷ２内の画像の位置ズレ量を算出する。ここで、逆離散フーリエ変換としては式（１７）を採用することができる。

但し、Ｍ１は基準ウインドウ及び参照ウインドウの中心点から、水平直方向における端までの距離を示し、Ｍ２は基準ウインドウ及び参照ウインドウの中心点から、垂直方向における端までの距離を示す。

図１９は、ＰＯＣ関数ｒ（ｎ１，ｎ２）を示したグラフである。このグラフにおいて、ｎ１軸及びｎ２軸は、基準ウインドウＷ１の中心を原点としたときの水平方向及び垂直方向の各座標を表し、ｚ軸はＰＯＣ値を示している。図１９に示すようにＰＯＣ関数は、急峻な相関ピークを有し、画像マッチングにおけるロバスト性と推定精度とが高いことが知られている。この相関ピークの位置は、基準ウインドウＷ１内の画像と参照ウインドウＷ２内の画像とが最もマッチする位置を示している。

したがって、相関ピークの位置を特定することで基準ウインドウＷ１に対する参照ウインドウＷ２の位置ズレ量を算出し、対応点を算出することができる。ここで、ＰＯＣ関数は、基準画像の画素単位、すなわち、ピクセルレベルで算出されているため、相関ピーク位置もピクセルレベルで求められることになるが、ＰＯＣ関数を補間することでサブピクセルレベルで相関ピークの位置を推定してもよい。補間方法としては、放物線などの関数をフィッティングすることで行えばよい。

図１５に戻り、対応点算出部ＰＣ７は、例えば、参照ウインドウＷ２の中心点の座標に位置ズレ演算部ＰＣ６により算出された位置ズレ量を加算することにより得られる座標上の点を対応点として算出する。

このように、実施の形態１による校正装置によれば、ステレオカメラ１により移動体周囲を撮影することで得られる入力画像に複数の注目点が設定され、各注目点の視差と注目点の垂直成分とを基に、路面パラメータ（φ、ｈ）が算出され、この路面パラメータとオプティカルフローと視差とを基にカメラパラメータである視差の校正値である視差オフセットΔｄが算出されているため、入力画像から特定の物体を認識する手段を設けずに、校正値を算出することができる。

（実施の形態２）
次に、本発明の実施の形態２による校正装置について説明する。本校正装置は、実施の形態１におけるステップＳ４、Ｓ６、Ｓ７に示す処理が異なる点を特徴としている。なお、本実施の形態において実施の形態１と同一のものは説明を省略し、相違点のみ説明する。

本実施の形態において図３に示す路面パラメータ推定部２２は、視差と注目点の垂直成分とを基に、ステレオカメラ１の道路面に対する高さとピッチ方向の傾斜角度とを変数とし、道路面上に各注目点が存在すると仮定した場合に描かれる直線を注目点毎に算出し、得られた直線を、高さを示す座標軸とピッチ方向の傾斜角度を示す座標軸とで規定される投票空間に投票することで、ステレオカメラ１のピッチ方向の傾斜角度を算出する。

回転成分演算部２３１は、実施の形態１と同様に第１の処理を実行してピッチ方向の角速度を算出する。

補正パラメータ演算部２３２は、視差とオプティカルフローの垂直成分と第１の処理により算出された角速度とを基に、移動体の前進速度と視差オフセットとを変数とし、道路面上に各注目点が存在すると仮定した場合に描かれる曲線を注目点毎に算出し、得られた曲線を、前進速度を示す座標軸と視差オフセットを示す座標軸とで規定される投票空間に投票することで、視差オフセットを算出する第２の処理を実行する。なお、本実施の形態において、回転成分演算部２３１が請求項２の第１の手段に相当し、補正パラメータ演算部２３２が請求項４の第２の手段に相当する。

次に、実施の形態２による校正装置の動作について説明する。図２０は、実施の形態２による校正装置の動作を示すフローチャートである。ステップＳ３１〜Ｓ３３、Ｓ３５の処理は、図４のステップＳ１〜Ｓ３、Ｓ５と同一であるため、説明を省略する。

ステップＳ３４において、路面パラメータ推定部２２は、路面パラメータを算出する。具体的には、以下のような処理が実行される。まず、各注目点における視差（ｄ）と注目点の垂直成分（ｙ）とを式（Ｃ）に代入することで、φとｈとを変数とする直線（φ−ｈ直線）を注目点毎に求める。

ここで、式（Ｃ）は、式（Ａ）をφについて解いたものである。なお、式（Ｃ）において、α、Ｂは定数であるため、ｄとｙとを代入することで、φとｈとを変数とするφ−ｈ直線が得られる。

次に、φとｈとを座標軸とする２次元座標空間（φ−ｈ空間）に、注目点毎に求めたφ−ｈ直線をプロットする。図２１は、実施の形態２におけるステップＳ３４の説明図であり、（ａ）、（ｂ）は、φ−ｈ空間を示している。このφ−ｈ空間は、図２１（ｂ）に示すように、０≦φ≦φ＿ｍ、ｈ＿ｓ≦ｈ≦ｈ＿ｍにより規定される矩形状の領域が投票空間として設定され、この投票空間が所定サイズの矩形状のブロックに予め区画されているものとする。なお、φ＿ｍとしては例えば、０．１（ｒａｄ）、ｈ＿ｓとしては例えば１０００（ｍｍ）、ｈ＿ｍとしては例えば１５００（ｍｍ）を採用することができる。この場合、各ブロックのサイズとしては、０≦φ≦φ＿ｍ、ｈ＿ｓ≦ｈ≦ｈ＿ｍにより規定される矩形状の領域を縦、横に例えば５０分割した値を採用することができる。

次に、φ−ｈ直線を求め、φ−ｈ空間に投影することで各ブロックに投票していく。次に、投票数が最大のブロック、すなわちφ−ｈ直線が多く通過するブロックを特定し、このブロックのφとｈとを移動体のピッチ方向の傾斜角度とステレオカメラ１の高さとして算出する。図２１（ａ）はプロットされたφ−ｈ直線を示しており、輝度により投票数が示されている。したがって、輝度の高い箇所のφとｈとがピッチ方向の傾斜角度とステレオカメラ１の高さとして算出されることになる。

ここで、φ−ｈ空間は、全領域ではなく、０≦φ≦φ＿ｍ、ｈ＿ｓ≦ｈ≦ｈ＿ｍの領域、すなわち最大の投票結果のブロックが得られると想定される領域が投票空間として設定されている。これは、算出対象となるφ，ｈの値はステレオカメラ１の設置箇所や移動体の種類により予め想定することができるからである。これにより、処理の簡略化が図られている。

図２０に戻り、ステップＳ３６において、補正パラメータ演算部２３２は、移動体の前進速度とピッチ方向の角速度とを算出する。具体的には、以下のような処理が実行される。まず、各注目点における視差ｄとオプティカルフローの垂直成分（Δｙ）とを式（Ｄ）に代入することで、ｖとΔｄとを変数とする曲線（ｖ−Δｄ曲線）を注目点毎に求める。

なお、式（Ｄ）は式（Ｂ）をｖ・Δｔについて解いたものである。また、式（Ｄ）において、α、Ｂ、Δｔは定数であり、ｈはステップＳ３４で算出され、ωはステップＳ３５で算出されているため、ｄとΔｙとを代入することでｖとΔｄとを変数とするｖ−Δｄ曲線が得られる。

次に、ｖとΔｄとを座標軸とする２次元座標空間（ｖ−Δｄ空間）に、注目点毎に求めたｖ−Δｄ曲線を投影する。図２２は、実施の形態２におけるステップＳ３６の説明図であり、（ａ）、（ｂ）は、ｖ−Δｄ空間を示している。このｖ−Δｄ空間は、図２２（ｂ）に示すように、０≦ｖ≦ｖ＿ｍ、−Δｄ＿ｍ≦Δｄ≦Δｄ＿ｍにより規定される矩形状の領域が投票空間とされ、この投票空間が所定サイズの矩形状のブロックに予め区画されているものとする。なお、各ブロックのサイズとしては、０≦ｖ≦ｖ＿ｍ、−Δｄ＿ｍ≦Δｄ≦Δｄ＿ｍにより規定される矩形状の領域を縦、横に例えば５０分割した値を採用することができる。

次に、ｖ−Δｄ曲線をｖ−Δｄ空間に投影することで各ブロックに投票していく。次に、投票数が最大のブロック、すなわち、ｖ−Δｄ曲線が多く通過するブロックを特定し、このブロックのｖとΔｄとを移動体の前進速度と、視差オフセットとして算出する。図２２（ａ）はプロットされたｖ−Δｄ曲線を示しており、輝度により投票数が示されている。したがって、輝度の高い箇所のｖとΔｄとが前進速度と視差オフセットとして算出されることになる。これにより、算出対象となる視差オフセットΔｄが算出される。

ここで、ｖ−Δｄ空間は、全領域ではなく、０≦ｖ≦ｖ＿ｍ、−Δｄ＿ｍ≦Δｄ≦Δｄ＿ｍの領域、すなわち、最大の投票結果のブロックが得られると想定される領域が投票空間として設定されている。これは、算出対象となるｖ，Δｄの値は移動体の種類により予め想定することができるからである。これにより、処理の簡略化が図られている。

なお、移動体の前進速度としてｖに代えてｖ・Δｔを採用してもよい。この場合、ｖ−Δｄ曲線は、ｖ・ΔｔとΔｄとを変数とし、図２２（ａ）、（ｂ）に示すｖ−Δｄ空間は、縦軸をｖ・Δｔ横軸をΔｄとすればよい。

このように、実施の形態２による校正装置によれば、投票空間への投票により視差オフセットΔｄが算出されているため、視差オフセットΔｄを精度良く求めることができる。

（実施の形態３）
次に、本発明の実施の形態３による校正装置について説明する。実施の形態３による校正装置は、図３に示すように、演算装置２がうねり検出部２６を備えていることを特徴とする。うねり検出部２６は、移動体が走行する道路面がうねっているか否かを検出する。なお、本実施の形態において実施の形態１、２と同一のものは説明を省略する。

次に、実施の形態３による校正装置の動作について説明する。図２３は、実施の形態３による校正装置の動作を示すフローチャートである。ステップＳ４１〜４３の処理は図２０に示すステップＳ３１〜Ｓ３３と同一であるため説明を省略する。

ステップＳ４４において、路面パラメータ推定部２２は、入力画像を例えば水平方向を長手方向とする短冊状の複数の領域に区画し、各領域において、図２０のステップＳ３５と同じ手法を用いて路面パラメータであるφとｈとを算出する。

ステップＳ４７において、うねり検出部２６は、路面パラメータ推定部２２により領域毎に算出された路面パラメータを基に、道路面がうねっているか否かを検出し、道路面のうねりを検出した場合（ステップＳ４７でＹＥＳ）、校正値を算出しないように校正値算出部２３に指示し（ステップＳ４８）、処理を終了する。ここで、うねり検出部２６は、領域毎に算出されたφの値が一定の範囲内に存在しない場合は、道路面がうねっていると判定し、φが一定範囲内に存在する場合、道路面がうねっていないと判定すればよい。一定の範囲としては、φが平らな路面であることが推定できる予め定められた範囲を採用すればよい。

一方、ステップＳ４７においてＮＯと判定された場合、処理がステップＳ４５に進められる。ステップＳ４５において、回転成分演算部２３１は、図２０のステップＳ３５と同様にして、第１の処理を実行してピッチ方向の角速度を算出する。この場合、回転成分演算部２３１は、ステップＳ４４で領域毎に算出されたφ、ｈの例えば平均値を用いてピッチ方向の角速度を算出すればよい。ステップＳ４６の処理は図２０のステップＳ３６と同一であるため、説明を省略する。

このように実施の形態３による校正装置によれば、適切な校正値を得ることが困難であるうねった道路面がステレオカメラ１により撮影された場合、校正値の算出処理が実行されなくなり、不適切な校正値の算出を防止することができる。

なお、上記説明では、うねり検出部２６を実施の形態２に適用した場合を例に挙げて説明したが、実施の形態１に適用してもよい。

また、うねりの検出は、例えばＧＰＳによる位置計測データに基づいて判断してもよいし、走行場所周辺で送信されている道路情報に基づいて判断してもよいし、予め用意され、記憶されている道路情報等に基づいて判断してもよい。

（実施の形態４）
次に、本発明の実施の形態４による校正装置について説明する。実施の形態４による校正装置は、校正値算出部２３が、路面パラメータ推定部２２により算出された路面パラメータから道路面上に位置する注目点を特定し、特定した注目点のみを処理対象の注目点とすることを特徴とする。

図２４は、実施の形態４による校正装置の動作を示すフローチャートである。ステップＳ５１〜Ｓ５４は図２０のステップＳ３１〜Ｓ３４と同一であるため説明を省略する。

ステップＳ５７において、回転成分演算部２３１は、ステップＳ５４で算出された路面パラメータであるφとｈとを上記式（Ｃ）に代入し、注目点の垂直成分（ｙ）と視差（ｄ）とを変数とする直線を求め、ｙとｄとがこの直線上に位置する注目点を道路面上の注目点として特定する。ステップＳ５５において、回転成分演算部２３１は、ステップＳ５７で特定された注目点を処理対象として、図２０のステップＳ３５と同一の第１の処理を実行する。ステップＳ５６において、補正パラメータ演算部２３２は、ステップＳ５７で特定された注目点を処理対象として、図２０のステップＳ３６と同一の第２の処理を実行する。

このように実施の形態４による校正装置によれば、校正値算出部２３における処理対象となる注目点の個数が減少し、処理コストを低減することができる。

なお、上記説明では、実施の形態２に注目点を特定する処理を適用した場合を例に挙げて説明したが、これに限定されず、実施の形態１に注目点を特定する処理を適用してもよい。この場合、回転成分演算部２３１は、図８に示す直線Ｌ１上又は直線Ｌ１上とその近傍にプロットされた注目点を処理対象の注目点として特定すればよい。

本発明の実施の形態１による校正装置の全体構成図を示している。 ステレオカメラの設置箇所の一例を示した図である。 演算装置の機能ブロック図を示している。 校正装置の動作を示すフローチャートである。 基準画像と参照画像との一例を示した図である。 視差とオプティカルフローとの算出処理の説明図である。 オプティカルフローを基準画像上にプロットした図を示している。 ステップＳ４の処理の説明図である。 ステップＳ６の処理の説明図である。 ステレオカメラの設置位置と撮影条件との関係の説明図である。 基準画像の座標系を示している。 移動体の前進時における入力画像を示した図である。 対応点の探索処理の詳細を示したフローチャートである。 注目点の設定処理を示した図である。 ＰＯＣを実行するＰＯＣ算出部の機能ブロック図を示している。 基準ウインドウ及び参照ウインドウの説明図である。 位相比較部の処理を示した図である。 周波数成分毎に重み付けが施された相関画像の算出処理を示した図である。 ＰＯＣ関数を示したグラフである。 実施の形態２による校正装置の動作を示すフローチャートである。 実施の形態２におけるステップＳ３４の説明図である。 実施の形態２におけるステップＳ３６の説明図である。 実施の形態３による校正装置の動作を示すフローチャートである。 実施の形態４による校正装置の動作を示すフローチャートである。

符号の説明

１ ステレオカメラ
２ 演算装置
３ 表示装置
２１ 視差・フロー算出部
２２ 路面パラメータ推定部
２３ 校正値算出部
２４ 障害物検出部
２５ 障害物測距部
２６ うねり検出部
２３１ 回転成分演算部
２３２ 補正パラメータ演算部

Claims (13)

1. 移動体に搭載され、撮影手段のカメラパラメータを校正する校正装置であって、
   前記撮影手段により所定のフレームレートで撮影された入力画像に複数の注目点を設定し、各注目点の視差と２次元のオプティカルフローとを算出する視差・フロー算出手段と、
   前記視差と前記注目点の垂直成分とを基に、前記入力画像に含まれる道路面と前記撮影手段との関係を示す路面パラメータを算出する路面パラメータ推定手段と、
   前記オプティカルフローと、前記視差と、前記路面パラメータとを基に、前記カメラパラメータの校正値を算出する校正値算出手段とを備えることを特徴とする校正装置。
2. 前記路面パラメータは、前記撮影手段の道路面に対するピッチ方向の傾斜角度であり、
   前記校正値算出手段は、
   前記路面パラメータ推定手段により前フレームにおいて算出された傾斜角度と、現フレームにおいて算出された傾斜角度との差分を基に、前記撮影手段のピッチ方向の角速度を算出する第１の手段を備えることを特徴とする請求項１記載の校正装置。
3. 前記校正値は、視差を校正するための視差オフセットであり、
   前記校正値算出手段は、
   前記視差オフセットの候補値で校正された視差の２乗を示す座標軸と、前記オプティカルフローの垂直成分を示す座標軸とで規定される２次座標元空間上に、前記候補値を変更させながら、各注目点をプロットすることで、前記道路面上に位置する注目点群を表す直線を前記候補値毎に求め、各直線の切片を基に前記候補値毎の角速度を算出する第２の手段と、
   前記第１の手段により算出された角速度に近似する角速度を前記第２の手段により算出された角速度の中から特定し、特定した角速度に対応する候補値を前記視差オフセットとして算出する第３の手段とを更に備えることを特徴とする請求項２記載の校正装置。
4. 前記校正値は、視差を校正するための視差オフセットであり、
   前記校正値算出手段は、
   前記視差と前記オプティカルフローの垂直成分と前記第１の手段により算出された角速度とを基に、前記移動体の前進速度と前記視差オフセットとを変数とし、前記道路面上に各注目点が存在すると仮定した場合に描かれる曲線を注目点毎に算出し、得られた曲線を、前記前進速度を示す座標軸と前記視差オフセットを示す座標軸とで規定される投票空間に投票することで、前記視差オフセットを算出する第２の手段を更に備えることを特徴とする請求項２記載の校正装置。
5. 前記路面パラメータ推定手段は、前記視差を示す座標軸と前記注目点の垂直成分を示す座標軸とで規定される２次座標元空間上に各注目点をプロットすることで、前記入力画像に含まれる道路面上に位置する注目点群を表す直線を求め、当該直線の切片を基に前記撮影手段のピッチ方向の傾斜角度を算出することを特徴とする請求項３記載の校正装置。
6. 前記路面パラメータ推定手段は、前記視差と前記注目点の垂直成分とを基に、前記撮影手段の前記道路面に対する高さとピッチ方向の傾斜角度とを変数とし、前記道路面上に各注目点が存在すると仮定した場合に描かれる直線を注目点毎に算出し、得られた直線を、前記高さを示す座標軸と前記ピッチ方向の傾斜角度を示す座標軸とで規定される投票空間に投票することで、前記撮影手段のピッチ方向の傾斜角度を算出することを特徴とする請求項４記載の校正装置。
7. 前記校正値算出手段は、前記路面パラメータ推定手段により算出された路面パラメータを基に、道路面上に位置する注目点を特定し、特定した注目点を処理対象の注目点とすることを特徴とする請求項１〜６のいずれかに記載の校正装置。
8. 前記路面パラメータ推定手段は、複数フレームの入力画像を用いて前記路面パラメータを算出し、
   前記校正値算出手段は、複数フレームの入力画像を用いて前記校正値を算出することを特徴とする請求項１〜７のいずれかに記載の校正装置。
9. 前記道路面がうねっているか否かを検出するうねり検出手段を更に備え、
   前記校正値算出手段は、前記うねり検出手段により前記道路面がうねっていることが検出された場合、前記校正値を算出しないことを特徴とする請求項１〜８のいずれかに記載の校正装置。
10. 前記路面パラメータ推定手段は、前記入力画像を複数の領域に分割し、各領域における路面パラメータを算出し、
    前記うねり検出手段は、前記路面パラメータ推定手段により領域毎に算出された路面パラメータを基に、前記道路面がうねっているか否かを検出することを特徴とする請求項９記載の校正装置。
11. 前記視差・フロー算出手段は、前記撮影手段により撮影された処理対象となる複数の入力画像のうち、１枚の入力画像を基準画像とし、前記基準画像上に設定された注目点を基準としてウインドウを設定すると共に、残りの処理対象となる１又は複数の入力画像にも前記ウインドウを設定し、設定したウインドウ内の画像を周波数分解し、振幅成分を抑制した信号同士の相関に基づいて対応点を探索することで、前記オプティカルフロー及び前記視差を算出することを特徴とする請求項１〜１０のいずれかに記載の校正装置。
12. 前記視差・フロー算出手段は、位相限定相関法により前記対応点を算出することを特徴とする請求項１１記載の校正装置。
13. 移動体に搭載された撮影手段のカメラパラメータを校正する校正方法であって、
    前記撮影手段により所定のフレームレートで撮影された入力画像に複数の注目点を設定し、各注目点の視差と２次元のオプティカルフローとを算出する視差・フロー算出ステップと、
    前記視差と前記注目点の垂直成分とを基に、前記入力画像に含まれる道路面と前記撮影手段との関係を示す路面パラメータを算出する路面パラメータ推定ステップと、
    前記オプティカルフローと、前記視差と、前記路面パラメータとを基に、前記カメラパラメータの校正値を算出する校正値算出ステップとを備えることを特徴とする校正方法。