図1に示す本発明のキャリブレーション装置及びそれを用いたキャリブレーションシステムの一実施例は、左右に配置された2つの撮像系手段(カメラ)を有する撮像装置からの画像上の歪、設計値からの左右上下方向のずれを補正する各画素の補正量(幾何補正情報)を算出する。
図1に本発明のキャリブレーション装置及びシステムの一実施例の構成を示す。
本発明のキャリブレーション装置の一実施例は、演算手段110を備えており、キャリブレーションシステムの一実施例は、キャリブレーション装置である演算手段110に加え、チャート101、設置台102、設置冶具103a、設置冶具103b、画面出力手段130を備えている。
チャート101は、撮像装置100(撮像装置100aは設置冶具103aに設置した場合の撮像装置100、撮像装置100bは設置冶具103bに設置した場合の撮像装置100)の視野104a及び104bに設置され、視野104a及び104bを含む大きさである。
また、図2に示すように、複数の特徴点が描かれている。図2(a)に示すチャートの例101aは特徴点の形状が矩形である場合であり、図2(b)に示すチャートの例101bは特徴点の形状がリングである場合である。
設置台102は、設置冶具103a及び103bを介して、撮像装置100を取り付ける台である。
設置冶具103aは、撮像装置100を取り付け、固定する。チャート101の面に対して垂直な方向が光軸になるように、撮像装置100が取り付けられている。具体的には、チャート101から予め定めた第1の距離離れた位置(視点1)に撮像装置を設置可能であって、且つチャート101から第1の距離と異なる予め定めた第2の距離離れた位置(視点2)に撮像装置を設置可能な台である。なお、本実施例では、チャート101から第1の距離離れた位置の高さは、第1の距離より短い第2の距離離れた位置の高さより低く設定している。
図4に示すように、設置冶具103aには、3つのピン401a〜401cがある。また、撮像装置100にはピン401a〜401cにあたる箇所402a〜402cが平面に加工されている。3つのピン401a〜401cを、平面に加工された箇所402a〜402cにそれぞれあてて、撮像装置100を設置冶具103aに取り付け、固定する。
また、3つの全てのピン401a〜401cは1つの直線上にはない。
設置冶具103bは、チャート101と設置冶具103bの距離とは異なる距離に設置されている。また、設置冶具103bに取り付けられた撮像装置100の視野104aに入っていない場所に設置されている。設置冶具103a及び103bに設置された撮像装置100のチャート101上のそれぞれの視野104a及び104bが重なるように設置されている。設置冶具103bと同様に、図4に示すように、設置冶具103bには、3つのピン401a〜401cがある。
CPU(central processing unit、中央演算処理装置)及びメモリ(記憶装置)などから構成される演算手段110は、画像記憶手段111a、画像記憶手段111b、輝度補正情報記憶手段112、設計情報記憶手段113、特徴点位置記憶手段114、幾何補正情報記憶手段115、誤差記憶手段116、画像取込手段117a、画像取込手段117b、輝度補正手段118、特徴点位置設計値算出手段119、特徴点位置計測手段120、幾何補正情報生成手段121、修正パラメータ算出手段122、幾何補正情報修正手段123、幾何補正情報送信手段124、幾何補正手段125と、を備えている。
メモリやハードディスクなどの画像記憶手段111aは、設置冶具103a(視点1)に撮像装置100が設置されたときの画像、その画像を輝度補正、幾何補正した画像を記憶する。
メモリやハードディスクなどの画像記憶手段111bは、設置冶具103b(視点2)に撮像装置100が設置されたときの画像、その画像を輝度補正、幾何補正した画像を記憶する。
メモリやハードディスクなどの特徴点位置記憶手段114は、特徴点位置の設計値、計測値及び補正値を記憶する。
メモリやハードディスクなどの輝度補正情報記憶手段112は、撮像装置100が有する2つのカメラなどの撮像系手段が出力する画像における各画素の輝度の補正係数を記憶する。この補正係数は、均一なライトや対象物を撮影したときの画像の輝度が画像全面で同じになる値である。
メモリやハードディスクなどの設計情報記憶手段113は、左右の撮像系手段のカメラパラメータ、撮像装置100内における2つの撮像系手段の位置及び姿勢、チャート101に対する視点1の位置及び姿勢、チャート101に対する視点2の位置及び姿勢、チャート101に描かれた特徴点の数、位置及び形状の設計値(設計情報)を記憶する。カメラパラメータは、焦点距離、画素ピッチ、横及び縦方向の解像度及び画像上の光軸位置である。
メモリやハードディスクなどの幾何補正情報記憶手段115は、撮像装置100が有する2つのカメラなどの撮像系手段が出力する画像における各画素の幾何的な補正量(幾何補正情報)を記憶する。ここでは、幾何補正情報生成手段121及び幾何補正情報修正手段123が出力する幾何補正情報を記憶する。
メモリやハードディスクなどの誤差記憶手段116は、撮像装置100における撮像系手段間の位置誤差、撮像装置100の設置誤差を記憶する。ここでは、修正パラメータ算出手段122が算出する誤差を記憶する。
画像取込手段117aは、視点1に設置された撮像装置100が出力する画像を取得する。言い換えれば、複数の特徴点が描かれたチャート101から予め定めた第1の距離離れた撮像装置において撮像した第1の画像を取得する。
画像取込手段117bは、視点2に設置された撮像装置100が出力する画像を取得する。言い換えれば、チャート101から第1の距離と異なる予め定めた第2の距離離れた撮像装置において撮像した第2の画像を取得する。
輝度補正手段118は、輝度補正情報記憶手段112から各画素の輝度の補正係数を読み込み、左右の画像をそれぞれ補正する。
特徴点位置設計値算出手段119は、設計情報記憶手段113からカメラパラメータ、2つの撮像系手段の位置及び姿勢、チャート101と視点1との距離、チャート101と視点2との距離、チャート101に描かれた特徴点の数及び位置の設計値をもとに、撮像装置100の製造誤差及び設置誤差がない場合の特徴点位置の設計値を算出する。
特徴点位置計測手段120は、設計情報記憶手段113からカメラパラメータ、2つの撮像系手段の位置及び姿勢、チャート101と視点1との距離、チャート101と視点2との距離、チャート101に描かれた特徴点の数、位置及び形状の設計値を読み込み、これらの設計情報をもとに、1つの特徴点の画像を視点1及び視点2に関してそれぞれ作成する。チャート101から視点1の距離及びチャート101から視点2までの距離は異なるため、特徴点の画像の大きさが異なる。
ここで、図3(a)に示す特徴点の例301aは、特徴点の形状が矩形である場合であり、図3(b)に示す特徴点の例301bは、特徴点の形状がリングである場合である。輝度補正された視点1の画像を画像記憶手段111aから読み込み、特徴点の画像と視点1の左右の画像の各特徴点をマッチング処理して、左右の画像上の特徴点の位置(計測値)を計測する。また、輝度補正された視点2の画像を画像記憶手段111bから読み込み、特徴点の画像と視点2の左右の画像の各特徴点をマッチング処理して、左右の画像上の特徴点の位置(計測値)を計測する。
幾何補正情報生成手段121は、特徴点位置記憶手段114から左右の画像上における特徴点位置の設計値及び計測値を読み込み、左右の特画像について徴点位置の設計値と計測値の差をそれぞれ算出し、この差を特徴点位置の設計値における補正量とする。特徴点位置の設計値間の補正量を補間することにより、各画素における補正量(幾何補正情報)を算出する。つまり、幾何補正情報生成手段121は、複数の特徴点が描かれたチャート101から予め定めた第1の距離離れた撮像装置において撮像した第1の画像(視点1から取り込んだ画像)と、2つの撮像系手段のカメラパラメータと、2つの撮像系手段間の基線長と、複数の特徴点位置と、に基づいて、幾何補正情報(第1の補正情報)を生成する。
修正パラメータ算出手段122は、幾何補正情報生成手段121で生成された各画素における補正量を用いて、視点2から撮影した画像上の特徴点位置の計測値を補正して、特徴点位置の補正値を算出する。もし撮像装置100の撮像系手段の位置の製造誤差及び撮像手段の設置位置の誤差がなければ、特徴点位置の補正値と設計値は一致する。しかし、実際には、これらの誤差が発生する。そこで、更に、補正した画像を横、縦、回転及び拡大縮小方向に修正することにより、より正確な補正を実現することにする。
次に、特徴点位置の補正値と設計値を用いて、撮像装置100の撮像系手段の位置の横及び縦方向の製造誤差及び撮像装置100の設置位置の奥行き方向の誤差を算出するとともに、左右の画像を横、縦、回転及び拡大縮小方向に修正するパラメータの値をそれぞれ算出する。
撮像装置100の撮像系手段の位置の横方向の誤差、つまり2つの撮像系手段間の基線長の誤差は、複数の特徴点が描かれたチャート101から第1の距離と異なる予め定めた第2の距離離れた撮像装置において撮像した第2の画像(視点2から取り込んだ画像)と、2つの撮像系手段のカメラパラメータと、2つの撮像系手段間の基線長と、幾何補正情報(第1の補正情報)と、に基づいて算出する。
幾何補正情報修正手段123は、修正パラメータ算出手段122で算出した修正パラメータの値だけ、横、縦、回転及び拡大縮小方向に画像を補正したときの各画素における補正量を左右の画像についてそれぞれ算出し、その補正量を、幾何補正情報生成手段121で算出した各画素における補正量に加算して、各画素における新たな補正量とする。つまり、幾何補正情報修正手段123は、画像取込手段117bで取り込んだ第2の画像と、2つの撮像系手段のカメラパラメータと、2つの撮像系手段間の基線長と、複数の特徴点位置と、に基づいて、幾何補正情報生成手段121にて生成された第1の補正情報(幾何補正情報)を修正し、第2の補正情報(幾何補正情報)を生成する。その第2の補正情報(幾何補正情報)は、幾何補正情報記憶手段115に記憶される。
幾何補正情報送信手段124は、幾何補正情報修正手段123で修正されて記憶された幾何補正情報記憶手段115から幾何補正情報(第2の補正情報)を、誤差記憶手段116から撮像装置100における撮像系手段間の横及び縦方向の位置誤差を読み込む。幾何補正情報と、撮像装置100における撮像系手段間の横及び縦方向の位置誤差と、を撮像手段に送る。
幾何補正手段125は、視点1及び視点2から撮影され、輝度補正された画像を画像記憶手段111aあるいは111bから読み込み、幾何補正情報修正手段123で修正された画像補正情報を幾何補正情報記憶手段115から読み込む。各画素の補正量をもとに左右の画像を補正する。
モニタなどの画面出力手段130は、画像記憶手段111aあるいは111bから左右の入力画像(基準画像及び比較画像)、輝度補正画像、あるいは、幾何補正画像を読み込み、画面に表示する。また、特徴点位置記憶手段114から特徴点位置の設計値、計測値及び補正値を読み込み、画像上にそれらのいずれか、あるいは、全ての位置にマークを表示する。
図1に示す本発明のキャリブレーション装置の一実施例の動作手順を、図5を用いて説明する。
ステップ501は、撮像装置100が設置冶具103a(視点1)に設置された状態で、撮像装置100は左右の撮影系手段で撮影した画像を出力する。画像取込手段117aは撮影装置からの左右の画像を取得し、画像記憶手段111aに送る。画像記憶手段111aは、その画像を格納する。
ステップ502は、輝度補正手段118にて、輝度補正情報記憶手段112から左右画像における各画素の輝度の補正係数を、画像記憶手段111aから撮像装置100が出力した視点1での画像をそれぞれ読み込み、左右の画像について各画素の輝度に補正係数をかけ合わせて、画像を補正する。補正した画像を画像記憶手段111aに格納する。
ステップ503は、特徴点位置計測手段120にて、設計情報記憶手段113からカメラパラメータ、撮像装置100内における2つの撮像系手段の位置及び姿勢、チャート101に対する視点1の位置及び姿勢、チャート101に描かれた特徴点の数、位置及び形状の設計値を、画像記憶手段111aから、輝度補正された視点1からの画像を読み込む。読み込んだ設計情報をもとに、視点1における特徴点画像を作成し、輝度補正した視点1の画像と特徴点画像をマッチング処理することにより、特徴点位置を計測する。特徴点位置の計測値を特徴点位置記憶手段114に格納する。詳細な処理は図6を用いて、後で説明する。
ステップ504は、特徴点位置設計値算出手段119にて、設計情報記憶手段113からカメラパラメータ、撮像装置100内における2つの撮像系手段の位置及び姿勢、チャート101に対する視点1の位置及び姿勢、チャート101に描かれた特徴点の数及び位置の設計値を読み込む。これらの設計情報をもとに、チャート101上の特徴点位置から画像上の特徴点位置へ透視変換を行い、視点1からの画像上の特徴点位置の設計値を算出する。この処理を左右の画像について行う。特徴点位置の設計値を特徴点位置記憶手段114に格納する。
ステップ505は、幾何補正情報算出手段にて、左右の画像上の特徴点位置の設計値及び計測値を読み込む。特徴点位置の設計値と計測値の差を算出し、この差を特徴点位置の設計値における補正量とする。特徴点位置の設計値間の補正量を補間することにより、各画素における補正量(幾何補正情報)を算出する。この処理を左右の画像について行う。
左右の画像における幾何補正情報を幾何補正記憶手段に格納する。
ステップ506は、撮像装置100が設置冶具103b(視点2)に設置された状態で、撮像装置100は左右の撮影系手段で撮影した画像を出力する。画像取込手段117bは撮影装置からの左右の画像を取得し、画像記憶手段111bに送る。画像記憶手段111bは、その画像を格納する。
ステップ507は、輝度補正手段118にて、輝度補正情報記憶手段112から左右画像における各画素の輝度の補正係数を、画像記憶手段111bから撮像装置100が出力した視点2での画像をそれぞれ読み込み、左右の画像について各画素の輝度に補正係数をかけ合わせて、画像を補正する。補正した画像を画像記憶手段111bに格納する。
ステップ508は、特徴点位置計測手段120にて、設計情報記憶手段113からカメラパラメータ、撮像装置100内における2つの撮像系手段の位置及び姿勢、チャート101に対する視点2の位置及び姿勢、チャート101に描かれた特徴点の数、位置及び形状の設計値を、画像記憶手段111bから、輝度補正された視点2からの画像を読み込む。読み込んだ設計情報をもとに、視点2における特徴点画像を作成し、輝度補正した視点2の画像と特徴点画像をマッチング処理することにより、特徴点位置を計測する。特徴点位置の計測値を特徴点位置記憶手段114に格納する。詳細な処理を図3を用いて、後で説明する。
ステップ509は、特徴点位置設計値算出手段119にて、設計情報記憶手段113からカメラパラメータ、撮像装置100内における2つの撮像系手段の位置及び姿勢、チャート101に対する視点2の位置及び姿勢、チャート101に描かれた特徴点の数及び位置の設計値を読み込む。これらの設計情報をもとに、チャート101上の特徴点位置から画像上の特徴点位置へ透視変換を行い、視点1からの画像上の特徴点位置の設計値を算出する。この処理を左右の画像について行う。特徴点位置の設計値を特徴点位置記憶手段114に格納する。
ステップ510は、修正パラメータ算出手段122にて、幾何補正情報記憶手段115からステップ505で作成された幾何補正情報を、特徴点位置記憶手段114から視点2からの画像上の特徴点位置の計測値及び設計値を読み込む。各画素における補正量(幾何補正情報)を用いて、視点2から撮影した画像上の特徴点位置の計測値を補正して、特徴点位置の補正値を算出する。特徴点位置の補正値と設計値を用いて、撮像装置100の撮像系手段の位置の横及び縦方向の製造誤差及び撮像装置100の設置位置の奥行き方向の誤差を算出するとともに、左右の画像を横、縦、回転及び拡大縮小方向に修正するパラメータの値をそれぞれ算出する。特徴点位置の補正量を特徴点位置記憶手段114に格納し、撮像装置100の撮像系手段の位置の横及び縦方向の製造誤差及び視点1での撮像装置100の設置位置の奥行き方向の誤差を誤差記憶手段116に格納し、修正パラメータを幾何補正情報修正手段123に送る。図7を用いて、詳細な処理を後で説明する。
ステップ511は、幾何補正情報修正手段123にて、幾何補正情報記憶手段115からステップ505で作成された幾何補正情報を読み込む。修正パラメータ算出手段122から左右の画像に関する横、縦、回転及び拡大縮小方向の修正パラメータの値をそれぞれ受け取る。修正パラメータの値だけ、横、縦、回転及び拡大縮小方向に画像を変換したときの各画素における変換量を左右の画像についてそれぞれ算出し、各画素の変換後の位置を算出する。ここで、回転及び拡大縮小方向の変換を画像上の光軸の位置を中心に行う。幾何補正情報を用いて、変換後の位置における各画素の補正量を補間により算出する。各画素における変換量と補正量を加算したものを各画素における新たな補正量とする。各画素の新たな補正量(幾何補正情報)を幾何補正記憶手段に格納する。
ステップ512は、幾何補正情報送信手段124にて、幾何補正情報記憶手段115から幾何補正情報を、誤差記憶手段116から撮像装置100における撮像系手段間の横及び縦方向の位置誤差を読み込み、幾何補正情報、撮像装置100における撮像系手段間の横及び縦方向の位置誤差を撮像手段に送る。撮像装置100は、幾何補正情報、撮像装置100における撮像系手段間の横及び縦方向の位置誤差を受け取り、幾何補正情報記憶手段115及び誤差記憶手段116(実施例5に記述)にそれぞれ記憶する。
ステップ513は、幾何補正手段125にて、画像記憶手段111aあるいは111bから輝度補正された左右の画像を、幾何補正情報記憶手段115からステップ511で修正された幾何補正情報を読み込む。各画素の補正量をもとに左右の画像を補正する。画像記憶手段111aあるい111bはに左右の幾何補正画像を格納する。
ステップ514は、画面出力手段130にて、画像記憶手段111aあるいは111bから左右の入力画像、輝度補正画像、あるいは、幾何補正画像を読み込み、画面に表示する。また、特徴点位置記憶手段114から特徴点位置の設計値、計測値及び補正値を読み込み、画像上にそれらのいずれか、あるいは、全ての位置にマークを表示する。
図1に示す本発明のキャリブレーション装置の一実施例の動作手順のステップ503及びステップ508を、図6を用いて説明する。ここで、ステップ508では、視点1に関する情報の代わりに視点2の情報を用いる。
ステップ601は、特徴点位置計測手段120にて、設計情報記憶手段113からカメラパラメータ、撮像装置100内における2つの撮像系手段の位置及び姿勢、チャート101に対する視点1(視点2)の位置及び姿勢、チャート101に描かれた特徴点の数、位置及び形状の設計値を、画像記憶手段111a(111b)から、輝度補正された視点1(視点2)からの画像を読み込む。
ステップ602は、特徴点位置計測手段120にて、カメラパラメータ、撮像装置100内における2つの撮像系手段の位置及び姿勢、チャート101に対する視点1(視点2)の位置及び姿勢、チャート101に描かれた特徴点の形状の設計値をもとに、視点1(視点2)に関して、図3(a)あるいは(b)に示す1つの特徴点の画像を作成する。
ステップ603は、特徴点位置計測手段120にて、視点1(視点2)からの輝度補正画像と特徴点画像との各輝度の差の絶対値の和(SAD、Sum of Absolute Difference)を算出して、この輝度の絶対値の和が最も小さい位置を求める。各輝度の絶対値の和が最も小さい位置の左右方向の隣の位置において、特徴点画像との各輝度の差の絶対値の和を算出する。以下数1を用いて、折れ線近似(Equiangular Fitting、1次の対称関数フィッティング、等角フィッティング)で特徴点位置の横方向の計測値uをサブピクセルまで算出する。ここで、Sc、Sl、Srは、輝度の差の絶対値の和が最も小さい位置、その左隣及び右隣の画素の位置における輝度の差の絶対値の和である。
縦方向についても同様な処理を行い、特徴点位置の縦方向の計測値を算出する。これにより、一つの特徴点について画像上の位置を計測する。この処理を各特徴点について順次行い、画像上の全ての特徴点の位置を計測する。特徴点位置の計測値を特徴点位置記憶手段114に格納する。
図1に示す本発明のキャリブレーション装置の一実施例の動作手順のステップ510を、図7を用いて説明する。ここで、ステップ711〜714は、拡大縮小方向の修正パラメータの算出を行うステップ710、ステップ721〜724は、回転及び縦方向の修正パラメータの算出を行うステップ720、ステップ731〜734は、横方向の修正パラメータの算出を行うステップ730である。
ステップ701は、修正パラメータ算出手段122にて、幾何補正情報記憶手段115からステップ505で作成された幾何補正情報を、特徴点位置記憶手段114から視点2からの画像上の特徴点位置の計測値及び設計値を読み込む。各画素における補正量(幾何補正情報)を用いて、視点2から撮影した画像上の特徴点位置の計測値を補正して、特徴点位置の補正値を算出する。
ステップ711は、修正パラメータ算出手段122にて、視点2からの左右の画像上における特徴点位置の設計値を読み込む。視点2からの左右の画像上において、横方向の列ごとに最も右にある特徴点と最も左にある特徴点位置の間隔の補正値と設計値を算出する。横方向の各列において、特徴点位置の間隔の補正値と設計値の比を算出し、それらの平均を算出する。同様に、視点2からの左右の画像上において、縦方向の特徴点位置の間隔の補正値と設計値の比の平均値を算出する。横と縦方向の特徴点位置の間隔の補正値と設計値の比の平均値から、それらの平均値を算出する。
ステップ712は、以下数2〜数4を用いて、チャート101と視点1間の奥行きの設置誤差Δz1を算出する。ここで、rl及びrrは左右の画像上における特徴点位置の間隔の補正値と設計値の比、L1及びL2はチャート101から視点1及び視点2までの距離である。
[数2]
Δz1l=(1−rl)L1L2/(rl L1−L2)
[数3]
Δz1r=(1−rr)L1L2/(rr L1−L2)
ステップ713は、以下数5を用いて、幾何補正情報の拡大縮小方向の修正パラメータmを算出する。ここで、左右の画像における拡大縮小方向の修正パラメータの値は同じである。
ステップ714は、視点2の画像上の特徴点位置の補正値を光軸位置を中心に拡大縮小方向に修正パラメータの値だけ変換する。チャート101と視点2間の奥行きの設置誤差の値が、チャート101と視点1間の奥行きの設置誤差の値と同じがあると想定して、透視変換を用いて、チャート101上の特徴点位置の設計値を画像上の特徴点位置(変換値)に変換する。特徴点位置の変換値と設計値の差を算出し、その差だけ、視点2からの画像の特徴点位置の補正量を変更する。
ステップ721は、修正パラメータ算出手段122にて、視点2からの左画像と右画像における各特徴点の縦方向の位置の補正値の差、設計値の差をそれぞれ算出し、各特徴点について縦方向の位置の補正値の差と設計値の差の差を算出して、その差の平均を算出する。
ステップ722は、以下数6を用いて、撮像装置100における2つの撮像系手段の縦方向の位置間の製造誤差Δhを算出する。ここで、Δvは視点2からの左画像と右画像における特徴点の縦方向の位置の補正値の差と設計値の差の平均値、cは撮像系手段の画像素子の画素ピッチ、fは撮像系手段の焦点距離である。
ステップ723は、以下数7及び数8を用いて、幾何補正情報の回転及び縦方向の修正パラメータθ及びtvを算出する。ここで、Bは基線長(撮像系手段間の距離)である。
ステップ724は、視点2の画像上の特徴点位置の補正値を光軸位置を中心に回転方向に修正パラメータθの値だけ変換するとともに、左右の画像における特徴点位置の補正値を縦方向にそれぞれtv/2及び−tv/2変換する。撮像装置100の撮像系手段間の縦方向の位置の製造誤差がΔhだけあると想定して、透視変換を用いて、チャート101上の特徴点位置の設計値を視点2からの画像上の特徴点位置(変換値)に変換する。特徴点位置の変換値と設計値の差を算出し、その差だけ、視点2からの画像の特徴点位置の補正量を変更する。
ステップ731は、修正パラメータ算出手段122にて、視点2からの左画像と右画像における各特徴点の横方向の位置の補正値の差、設計値の差をそれぞれ算出し、各特徴点について横方向の位置の補正値の差と設計値の差の差を算出して、その差の平均を算出する。
ステップ732は、以下数9を用いて、撮像装置100における2つの撮像系手段の横方向の位置間の製造誤差ΔBを算出する。ここで、Δuは視点2からの左画像と右画像における特徴点の横方向の位置の補正値の差と設計値の差の平均値である。
ステップ733は、以下数10を用いて、幾何補正情報の横方向の修正パラメータtuを算出する。
ステップ734は、視点2の画像上の特徴点位置の補正値を左右の画像における特徴点位置の補正値を横方向にそれぞれtu/2及び−tu/2変換する。撮像装置100の撮像系手段間の横方向の位置の製造誤差がΔBだけあると想定して、透視変換を用いて、チャート101上の特徴点位置の設計値を視点2からの画像上の特徴点位置(変換値)に変換する。特徴点位置の変換値と設計値の差を算出し、その差だけ、視点2からの画像の特徴点位置の補正量を変更する。横、縦、回転及び拡大縮小方向の修正パラメータを幾何補正情報修正手段123に送る。特徴点位置の補正量を特徴点位置記憶手段114に格納し、撮像装置100の撮像系手段の位置の横及び縦方向の製造誤差及び撮像装置100の設置位置の奥行き方向の誤差を誤差記憶手段116に格納する。
図8(a)に示すように、撮像装置100における2つの撮像系手段801a及び801b間の製造誤差がなく、撮像装置100の視点1での設置誤差もなければ、図8(b)及び(c)に示すように、ステップ505で視点1の画像をもとに生成した幾何補正情報を用いて補正した左右の画像802a及び802bでは、画像中央に映る像803a及び803bは設計情報通りに中央に映る。
しかし、図9(a)に示すように、チャート101に対する撮像装置100の奥行き方向の設置位置に誤差903が発生し、遠くに設置されると、図9(b)及び(c)に示すように、ステップ505で生成した幾何補正情報を用いて幾何補正した左右の画像802a及び802bでは、設計で画像中央に映る像901a及び901bが図8(b)及び(c)に比べ小さくなってしまう。
このため、例えば、左画像の中心の特徴点位置は設計値通りであるが、それに対応する右画像の左側の領域の特徴点位置の計測値は設計値よりも右方向誤差を持つ。1つの視点からの画像だけで幾何補正情報を求める手法では、このように、横方向に誤差を持つ特徴点位置の計測値により、幾何補正情報に誤差が発生してしまう。撮像装置100において、横方向の誤差を持つ幾何補正情報を用いて、画像を補正すると、視差に誤差が発生し、距離画像に誤差が発生してしまう。
図1に示す本発明のキャリブレーション装置の一実施例の動作手順(図5〜図7)によれば、ステップ701で、視点1からの画像を用いて算出した幾何補正情報で視点2の特徴点位置の計測値を補正し、ステップ711〜ステップ714で、視点2からの画像における横及び縦方向の特徴点間隔の補正値と設計値の比をもとに、チャート101と視点1間の奥行き誤差を算出し、その誤差を修正する拡大縮小方向の修正パラメータを算出して、ステップ512で、幾何補正情報を拡大縮小方向に修正パラメータで修正する。この処理により、チャート101と視点1間の奥行き誤差の影響を幾何補正情報から除去でき、図9(d)及び(e)に示すように、ステップ511で修正した幾何補正情報を用いて補正した左右の画像804a及び804bの中央に写る像902a及び902bは図8(b)及び(c)と同様に設計通り補正されるとともに、修正された幾何補正情報を用いた撮像装置100では、正確な距離画像を算出することができる。
図10(a)に示すように、撮像装置100における2つの撮像系手段801aと801bの縦方向の位置に製造誤差があると、図10(b)及び(c)に示すように、ステップ505で視点1の画像をもとに生成した幾何補正情報を用いて補正した左右の画像802a及び802bでは、設計で画像中央に映る像1001a及び1001bが上下方向にずれてしまう。
このため、特徴点位置の計測値が上下方向に誤差を持つ。1つの視点からの画像だけで幾何補正情報を求める手法では、このように、縦方向に誤差を持つ特徴点位置の計測値により、幾何補正情報に誤差が発生してしまう。撮像装置100において、縦方向の誤差を持つ幾何補正情報を用いて、画像を補正すると、画像上に上下方向に位置誤差が発生し、基準画像のテンプレート画像にマッチする比較画像の領域がなく、距離画像を求めることができなくなる。
図1に示す本発明のキャリブレーション装置の一実施例の動作手順(図5〜図7)によれば、ステップ701で、視点1からの画像を用いて算出した幾何補正情報で視点2の特徴点位置の計測値を補正し、ステップ721〜ステップ724で、視点2からの左画像と右画像における特徴点の縦方向の位置の補正値の差と設計値の差の平均をもとに、撮像装置100おける2つの撮像系手段の縦方向の位置間の製造誤差を算出し、その誤差を修正する回転及び上下方向の修正パラメータを算出して、ステップ512で、幾何補正情報を回転及び上下方向に修正パラメータで修正する。この処理により、撮像装置100おける2つの撮像系手段の縦方向の位置間の製造誤差の影響を幾何補正情報から除去でき、図10(d)及び(e)に示すように、ステップ511で修正した幾何補正情報を用いて補正した左右の画像804a及び804bの中央に写る像1002a及び1002bは設計通り補正されるとともに、修正された幾何補正情報を用いた撮像装置100では、基準画像のテンプレート画像にマッチする比較画像の領域を探索でき、距離画像を求めることができる。
以上の処理では、ステップ505で生成された幾何補正情報により、各撮像系手段の光軸中心の回転方向の製造誤差の影響を除去して、画像を補正する。また、ステップ721〜724で算出された回転方向の修正パラメータにより、式7及び図10(d)及び(e)に示すように、撮像系手段間の実際の位置(焦点)を結んだ線と撮像系手段間の設計上の位置(焦点)を結んだ線がなす角度1003だけ左右の画像を回転させて、撮像装置100における2つの撮像系手段との縦方向の位置に製造誤差の影響を除去する。よって、ステップ511で修正された幾何補正情報を用いて画像を補正すると、各撮像系手段の光軸中心の回転方向の製造誤差と、撮像系手段間の実際の位置を結んだ線と撮像系手段間の設計上の位置を結んだ線がなす角度1003を足し合わせた角度だけ画像が回転する。
図11(a)に示すように、撮像装置100における2つの撮像系手段801aと801bの横方向の位置に製造誤差があると、図11(b)及び(c)に示すように、ステップ505で視点1の画像をもとに生成した幾何補正情報を用いて補正した左右の画像802a及び802bでは、設計で画像中央に映る像1101a及び1101bが左右方向にずれてしまう。
このため、特徴点位置の計測値が左右方向に誤差を持つ。1つの視点からの画像だけで幾何補正情報を求める手法では、このように、横方向に誤差を持つ特徴点位置の計測値により、幾何補正情報に誤差が発生してしまう。撮像装置100において、横方向の誤差を持つ幾何補正情報を用いて、画像を補正すると、視差に誤差が発生し、距離画像に誤差が発生してしまう。
図1に示す本発明のキャリブレーション装置の一実施例の動作手順(図5〜図7)によれば、ステップ701で、視点1からの画像を用いて算出した幾何補正情報で視点2の特徴点位置の計測値を補正し、ステップ731〜ステップ734で、視点2からの左画像と右画像における特徴点の横方向の位置の補正値の差と設計値の差の平均をもとに、撮像装置100おける2つの撮像系手段の横方向の位置間の製造誤差を算出し、その誤差を修正する横方向の修正パラメータを算出して、ステップ512で、幾何補正情報を横方向に修正パラメータで修正する。この処理により、撮像装置100おける2つの撮像系手段の横方向の位置間の製造誤差の影響を幾何補正情報から除去でき、ステップ511で修正した幾何補正情報を用いて補正した左右の画像804a及び804bの中央に写る像1102a及び1102bは設計通り補正されるとともに、修正された幾何補正情報を用いた撮像装置100では、正確な距離画像を算出することができる。
以上の処理では、ステップ731〜734で、撮像装置100おける2つの撮像系手段の横方向の位置間の製造誤差により発生する画像上の横(視差)方向の誤差を除去する。すなわち、ステップ510で得られる幾何補正情報によって補正された左右の画像間の視差を求めると、撮像装置100おける2つの撮像系手段の横方向の位置間の距離の設計値と製造誤差を足し合わせたことを想定したときの視差を求めることができる。
撮像装置100を設置冶具103a及び設置冶具103bに設置するときに設置ずれが発生すると、チャート101に対する撮像装置100の奥行き位置に誤差が生じ、画像上の特徴点位置の計測値に横方向の誤差が発生するとともに、撮像装置100において、横方向の誤差を持つ幾何補正情報を用いて、画像を補正すると、視差に誤差が発生し、距離画像に誤差が発生してしまう。
図1に示す本発明のキャリブレーション装置の一実施例によれば、図4に示すように、撮像装置100の設置冶具103a及び103bに3つのピン401a〜401cを配置するとともに、撮像装置100の筐体における平面に加工されている箇所402a〜402cにピン401a〜401cをあてる3つの平面を有して、3つの平面に3つのピン401a〜401cをそれぞれあてて設置することにより、撮像装置100の設置ずれを防ぐことができるとともに、撮像装置100の設置ずれによる誤差を幾何補正情報から除去でき、撮像装置100において正確な距離画像を算出することができる。
なお、本発明のキャリブレーション装置は、上記で説明したような実施の形態に限定されるものではなく、様々に変形して適用することができる。以下では、本発明のキャリブレーション装置の変形例について説明する。
(変形例1−1)
図1に示す本発明のキャリブレーション装置の一実施例の動作手順(図5〜図7)のステップ502及びステップ507において、輝度補正手段118は、輝度補正情報記憶手段112から左右画像における各画素の輝度の補正係数をそれぞれ読み込み、左右の画像について各画素の輝度に補正係数をかけ合わせて、画像を補正するとともに、画像がカラーである場合、RGBの画素の輝度値を補正する処理を行う。
具体的には、特徴点ごとに特徴点画像の黒い部分及び白い部分におけるRGBの画素の輝度値の平均をそれぞれ算出して、RGBの画素の黒い部分及び白い部分が同じ所定の輝度値になるように変換する一次関数をRGBごとに求める。これにより、特徴点ごとにRGBの一次関数の2つの係数が算出される。特徴点位置間を線形補間することにより、画素毎に一次関数の2つの係数を算出する。各画素ごとの一次関数の2つの係数を用いて、画素毎に輝度値を補正する。
以上のカラーの輝度補正処理を行わないと、同じ画像領域でRGBごとに輝度値が異なり、ステップ504及びステップ508で、特徴点画像と補正画像をマッチングするときに特徴点位置の計測値に誤差が発生し、これにより、幾何補正情報に誤差が発生する。
図1に示す本発明のキャリブレーション装置の一実施例の動作手順(図5〜図7)のステップ502及びステップ507において、画像がカラーである場合、RGBの画素の輝度値を補正する処理を行うことにより、同じ画像領域でRGBごとに輝度値をほぼ同じにでき、特徴点位置の計測値の誤差及び幾何補正情報の誤差を除去できる。また、同じ画像領域で異なるRGBの輝度値による誤差を除去した幾何補正情報を用いた撮像装置100において正確な距離画像を算出することができる。
(変形例1−2)
図1に示す本発明のキャリブレーション装置の一実施例の動作手順(図5〜図7)のステップ603において、特徴点位置計測手段120は、視点1(視点2)からの輝度補正画像と特徴点画像との各輝度の差の絶対値の和(SAD)を算出する代わりに、ZSAD(Zero−mean Sum of Absolute Differences)、あるいは、SSD(Sum of Squared Differences)、ZSSD(Zero−mean Sum of Squared Differences)、NCC(Normalized Cross Correlation)、ZNCC(Zero−mean Normalized Cross Correlation)を算出して、これらのいずれかの値が最も小さい位置を求め、これらのいずれかの値が最も小さい位置の左右方向の隣の位置において、特徴点画像とのこれらのいずれかの値を算出して、式1を用いて、特徴点位置の計測値を算出しても、サブピクセルまで算出することができる。
(変形例1−3)
図1に示す本発明のキャリブレーション装置の一実施例の動作手順(図5〜図7)のステップ603において、特徴点位置計測手段120は、式1を用いた折れ線近似の代わりに、以下数11を用いた放物線近似(Parabola Fitting、パラボラ・フィッティング)で、特徴点位置の横方向の計測値uを算出しても、サブピクセルまで算出することができる。ここで、縦方向についても同様な処理を行う。ここで、ここで、Sc、Sl、Srは、輝度の差の絶対値の和(SAD)、あるいは、ZSAD、SSD、ZSSD、NCC、ZNCCの値である。
(変形例1−4)
撮像装置100が3つ以上の撮像系手段(カメラ)を有している場合、図1に示す本発明のキャリブレーション装置の一実施例の動作手順(図5〜図7)のステップ501〜ステップ513を、2つの撮像系手段の組合せごとに実施する。撮像装置100では、2つの撮像系手段の組合せごとに、それぞれの幾何補正情報で画像を補正して、距離画像を算出する。これにより、3つ以上の撮像系手段を有する撮像装置100の幾何キャリブレーションを可能にする。
(変形例1−5)
図1に示す本発明のキャリブレーション装置の一実施例の動作手順(図5〜図7)において、ステップ501の後にステップ506を実施する。このようにステップ506の処理の順序を換えても、撮像装置100における2つの撮像系手段及びの製造誤差及び撮像装置100の設置誤差の影響を幾何補正情報から除去でき、撮像装置100において正確な距離画像を算出することができる。
(変形例1−6)
図1に示す本発明のキャリブレーション装置の一実施例において、画像取込手段117a及び117bの代わりに、視点1及び視点2に設置された撮像装置100からの画像を取得する画像取込手段117にするとともに、画像記憶手段111a及び111bの代わりに、視点1及び視点2からの画像、輝度補正した画像、幾何補正した画像を記憶する画像記憶手段111にする。このように画像取込手段117a及び117bの代わりに画像取込手段117を、画像記憶手段111a及び111bの代わりに画像記憶手段111を設けても、撮像装置100における2つの撮像系手段及びの製造誤差及び撮像装置100の設置誤差の影響を幾何補正情報から除去でき、撮像装置100において正確な距離画像を算出することができる。
(変形例1−7)
図1に示す本発明のキャリブレーションシステムの一実施例において、図12に示すように、設置台102に設置冶具103cを新たに設け、画像取込手段117bは、設置冶具103c(視点3)に設置したときの撮像装置100(撮像装置100cは設置冶具103cに設置した場合の撮像装置100)の画像を取得する(チャート101からの第1の距離、第2の距離とは異なる第3距離離れた撮像装置において撮像した第3の画像を取得する)と共に、画像記憶手段111bは、視点3からの画像、輝度補正した画像及び幾何補正した画像を記憶する。
この設置台102は、チャート101から第1の距離離れた位置(視点1)に撮像装置を設置可能であって、且つチャート101から第1の距離と異なる予め定めた第2の距離離れた位置(視点2)に撮像装置を設置可能であって、且つチャート101から第1の距離と第2の距離とは異なる予め定めた第3の距離離れた位置(視点3)に撮像装置を設置可能な台である。
ここで、設置冶具103cに設置された撮像装置100の視野104cは設置冶具103a及び104bに設置された撮像装置100の視野104a及び104bと重なるとともに、設置冶具103cは視野104a及び104bに撮像装置100が入らないように配置されている。
図1に示す本発明のキャリブレーション装置の一実施例の動作手順(図5〜図7)において、ステップ506〜ステップ510を視点3からの画像についても実施する。ここで、視点3からの画像におけるステップ510で、修正パラメータ算出手段122は、視点3の画像を用いて、幾何補正情報の横、縦、回転及び拡大縮小方向の修正パラメータ、製造誤差及び設置誤差を算出する。ステップ511で、視点2及び視点3の画像を用いて算出した修正パラメータの平均値をもとに幾何補正情報を修正する。これにより、2つの視点からの画像をもとに幾何補正情報を修正でき、幾何補正情報の精度が向上する。また、精度が向上した幾何補正情報を用いた撮像装置100においてより正確な距離画像を算出することができる。
図13に本発明のキャリブレーション装置及びのキャリブレーションシステムの一実施例の構成を示す。
本発明の一実施例は、チャート101、設置台142、設置冶具103、スライダ手段105、演算手段150、画面出力手段130を備えている。チャート101、設置冶具103、画面出力手段130は、図1に示すものと同じであり、説明の記述を省略する。
設置台142は、スライダ手段105及び設置冶具103を介して、撮像装置100を取り付ける台である。つまり、図1や図12のように、視点毎に段差を設けた設置台ではなく、スライダ手段105を設けて、チャート101と撮像装置間の距離を可変して、それぞれ異なる距離にて画像を撮像し、取り込んでいる。それにより異なる視点での画像を取り込むことが可能となる。
図12のキャリブレーションシステムに、本実施例のスライダ手段105を適用したものを図15に記す。但し、内容は、図3と全く同様ですので、説明は省略する。
スライダなどのスライダ手段105は、制御信号を受け取り、制御信号で指定された位置に、設置冶具103が取り付けられた台を移動させる。ここでは、チャートの面に対して垂直な方向に光軸となるように設置冶具103を介して撮像装置100が設置される。スライダ手段105は、チャートの面に対して垂直な方向に設置冶具及103及び撮像装置100を移動させる。
CPU及びメモリなどから構成されるキャリブレーション装置である演算手段150は、画像記憶手段111a、画像記憶手段111b、輝度補正情報記憶手段112、設計情報記憶手段113、特徴点位置記憶手段114、幾何補正情報記憶手段115、誤差記憶手段116、画像取得手段117、輝度補正手段118、特徴点位置設計値算出手段119、特徴点位置計測手段120、幾何補正情報生成手段121、修正パラメータ算出手段122、幾何補正情報修正手段123、幾何補正情報送信手段124、幾何補正手段125、制御手段126を備えている。
画像記憶手段111a、画像記憶手段111b、輝度補正情報記憶手段112、設計情報記憶手段113、特徴点位置記憶手段114、幾何補正情報記憶手段115、誤差記憶手段116、画像取得手段117、輝度補正手段118、特徴点位置設計値算出手段119、特徴点位置計測手段120、幾何補正情報生成手段121、修正パラメータ算出手段122、幾何補正情報修正手段123、幾何補正情報送信手段124、幾何補正手段125は、図1に示すものと同じであり、説明の記述を省力する。
画像取込手段117は、撮像装置140が出力する画像を取り込む。
制御手段126は、撮像装置の位置(視点1’)(撮像装置140aは視点1’に位置した場合の撮像装置)、あるいは、撮像装置140bの位置(視点2’)(撮像装置140bは視点2’に位置した場合の撮像装置)に移動するという制御信号をスライダ手段105に送る。
視点1’及び視点2’はチャート101からの撮像装置までの距離が異なる。ここでは、視点1’及び視点2’における撮像装置の視野141a及び141bはチャート101の面を含まれている。スライダ手段105の台がチャート101の面に対して垂直に移動し、チャート101と視点2’の距離がチャート101と視点1’の距離よりも短いため、視点2’における撮像装置の視野141bは視点1’における撮像装置の視野141aに含まれる。
図13に示す本発明のキャリブレーション装置の一実施例の動作手順を、図14を用いて説明する。
ここで、ステップ502〜505、ステップ507〜514の処理は、図5のステップ502〜505、ステップ507〜514と同じであるため、説明の記述を省略する。
ステップ1401は、制御手段126にて、視点1’の位置に台を移動するという制御信号をスライダ手段105に送る。スライダ手段105はこの制御信号を受け取り、設置冶具103が取れ付けられた台を視点1’まで移動させる。
ステップ1402は、撮像装置にて、左右の撮影系手段で撮影した画像を出力する。画像取得手段117は撮影装置からの左右の画像を取得し、画像記憶手段111aに送る。
画像記憶手段111aはその画像を格納する。
ステップ1403は、制御手段126にて、視点2’の位置に台を移動するという制御信号をスライダ手段105に送る。スライダ手段105はこの制御信号を受け取り、設置冶具103が取れ付けられた台を視点2’まで移動させる。
ステップ1404は、撮像装置にて左右の撮影系手段で撮影した画像を出力する。画像取得手段117は撮影装置100からの左右の画像を取得し、画像記憶手段111bに送る。画像記憶手段111bはその画像を格納する。
図13に示す本発明のキャリブレーション装置の一実施例の動作手順(図14)によれば、ステップ1401及びステップ1403でスライダ手段105が視点1’及び視点2’に撮像装置100を移動させる。これにより、撮像装置100の移動を自動化できる。
なお、本発明のキャリブレーション装置は、上記で説明したような実施の形態に限定されるものではなく、様々に変形して適用することができる。以下では、本発明のキャリブレーション装置の変形例について説明する。
(変形例2−1)
図1に示す本発明のキャリブレーション装置の一実施例の動作(図14)において、ステップ510の後に、撮像装置を130cの位置(視点3’)(撮像装置140cは視点3’に位置した場合の撮像装置)に設置して、ステップ1403、1404、ステップ507〜510を実施して、ステップ511で、視点2’及び視点3’の画像を用いて算出した修正パラメータの平均値をもとに幾何補正情報を修正する。これにより、2つの視点からの画像をもとに幾何補正情報を修正でき、幾何補正情報の精度が向上する。また、精度が向上した幾何補正情報を用いた撮像装置においてより正確な距離画像を算出することができる。
図16に本発明のキャリブレーションシステムの一実施例の構成を示す。
本発明の一実施例は、チャート1601、設置台1602、第1の設置冶具(図示せず)、第2の設置冶具(図示せず)、演算手段1610a〜1610e、画面出力手段1620a〜1620eを備えている。この実施例では、チャート101の面に対して平行方向に複数の撮像装置(5台の撮像装置1600a〜1600e)が配置され、その複数の撮像装置の各々は、互いに撮像領域が重なるように配置されている。
チャート1601は、複数の特徴点が描かれている。例えば、図3(a)に示す特徴点の例101aの形状は矩形であり、図3(b)に示す特徴点の例301bの形状はリングである。
設置台1602は、第1の設置冶具と第2の設置冶具を介して、5台の撮像装置1600a〜1600eをそれぞれ取り付ける台である。つまり設置台1602は、チャート101の面に対して平行方向に複数の撮像装置が配置され、その複数の撮像装置の各々は、互いに撮像領域が重なるように配置される台である。
第1の設置冶具は、チャート1601からの距離が同じ位置に設置されている。第1の設置冶具に設置された撮像装置1600a〜1600eの視野1604a〜1604eが重なるように、第1の設置冶具が設置されている。
第2の設置冶具は、チャート1601からの距離が同じ位置に設置され、チャート1601と第1の設置冶具の距離とは異なる。第2の設置冶具に設置された撮像装置1600a〜1600eの視野は、第1の設置冶具に設置された撮像装置1600a〜1600eの視野1604a〜1604eと重なるように設置されている。
キャリブレーション装置である演算手段1610a〜1610eの構成は、図1に示す本発明のキャリブレーション装置の一実施例の演算手段110と同じ構成である。このため、説明の記述を省略する。
画面出力手段1620a〜1620eは、図1に示す本発明のキャリブレーション装置の一実施例の画面出力手段130と同じである。このため、説明の記述を省略する。
図16に示す本発明のキャリブレーション装置の一実施例における演算手段1610a〜1610e、画面出力手段1620a〜1620eのそれぞれの動作は、図2〜図7に示す動作と同じである。このため、説明の記述を省略する。
図16に示す本発明のキャリブレーション装置の一実施例によれば、複数の撮像装置のキャリブレーションを実施でき、複数の撮像装置の視野が重なるように、複数の撮像装置が設置されていることにより、図1に示す本発明のキャリブレーション装置の一実施例を複数設置するスペースよりも狭くすることができる。
図17に本発明のキャリブレーションシステムの他の実施例の構成を示す。
本発明の一実施例は、チャート1701、設置台1702、スライダ手段1705a〜1705e、設置冶具(図示せず)、5台の撮像装置1700a〜1700e、演算手段1710a〜1710e、画面出力手段1720a〜1720eを備えている。ここで、チャート1701は、図16に示す本発明のキャリブレーション装置の一実施例のチャートと同じである。このため、説明の記述を省略する。
設置台1702は、スライダ手段1705a〜1705e及び設置冶具を介して、5台の撮像装置1700a〜1700eをそれぞれ取り付ける台である。
スライダなどのスライダ手段1705a〜1705eは、制御信号を受け取り、制御信号で指定された位置に、設置冶具がそれぞれ取り付けられた台を移動させる。ここでは、チャート1701の面に対して垂直な方向に光軸となるように設置冶具を介して撮像装置1700a〜1700eが設置される。スライダ手段1705a〜1705eは、この方向に設置冶具及び撮像装置1700a〜1700eを移動させる。撮像装置1700a〜1700eの視野1704a〜1704eはそれぞれ重なるように、スライダ手段1705a〜1705eが設置されている。
設置冶具は、図13に示す本発明のキャリブレーション装置の一実施例の設置冶具と同じ構成である。このため、説明の記述を省略する。
演算手段1710a〜1710eの構成は、図13に示す本発明のキャリブレーション装置の一実施例の演算手段150と同じ構成である。このため、説明の記述を省略する。
画面出力手段1720a〜1720eは、図1に示す本発明のキャリブレーション装置の一実施例の画面出力手段130と同じである。このため、説明の記述を省略する。
図17に示す本発明のキャリブレーション装置の一実施例におけるスライダ手段1705a〜1705e、演算手段1710a〜1710e、画面出力手段1720a〜1720eのそれぞれの動作は、図14、図6及び図7に示す動作と同じである。このため、説明の記述を省略する。
図17に示す本発明のキャリブレーション装置の一実施例によれば、複数の撮像装置をキャリブレーションを実施でき、複数の撮像装置の視野が重なるように、複数の撮像装置が設置されていることにより、図13に示す本発明のキャリブレーション装置の一実施例を複数設置するスペースよりも狭くすることができる。
図17に示す本発明のキャリブレーション装置の一実施例の動作手順(図14、図6及び図7)によれば、ステップ1401及びステップ1403でスライダ手段が視点1’及び視点2’に撮像装置を移動させる。これにより、撮像装置の移動を自動化できる。
図18に本発明の撮像装置の一実施例の構成を示す。
本発明の一実施例は、撮像系手段1800a、撮像系手段1800b、演算手段1810、画面音声出力手段1830、制御手段1840を備えている。
カメラなどの撮像系手段1800aは、光学素子手段1801a、シャッタ手段1802a、撮像素子手段1803aを備えている。
レンズなどの光学素子手段1801aは、光を屈折させて、撮像素子に像を結ぶ。
シャッタなどのシャッタ手段1802aは、光学素子手段1801aを通過した光が通る箇所に設置され、シャッタ開閉信号及び露光時間の情報を受け取った直後に露光時間だけその光が通るようにシャッタの機構を開き、それ以外の時は光をさえぎるようにシャッタの機構を閉じる。
撮像素子などの撮像素子手段1803aは、光学素子手段1801aにより屈折した光の像を受光し、その光の強さに応じた画像を生成する。
カメラなどの撮像系手段1800bは、光学素子手段1801b、シャッタ手段1802b、撮像素子手段1803bを備えている。また、撮像系手段1800aと撮像系手段1800bの焦点距離の設計値は同じである。撮像系手段1800aと撮像系手段1800bの光軸の方向は、おおむね同じである。
レンズなどの光学素子手段1801bは、光を屈折させて、撮像素子に像を結ぶ。
シャッタなどのシャッタ手段1802bは、光学素子手段1801bを通過した光が通る箇所に設置され、シャッタ開閉信号及び露光時間の情報を受け取った直後に露光時間だけその光が通るようにシャッタの機構を開き、それ以外の時は光をさえぎるようにシャッタの機構を閉じる。
撮像素子などの撮像素子手段1803bは、光学素子手段1801bにより屈折した光の像を受光し、その光の強さに応じた画像を生成する。
CPU及びメモリなどから構成される演算手段1810は、基準画像記憶手段1811、比較画像記憶手段1812、処理画像記憶手段1813、輝度補正情報記憶手段1814、幾何補正情報記憶手段1815、設計情報記憶手段1816、誤差記憶手段1817、同期信号発信手段1818、基準画像取込手段1819a、比較画像取込手段1819b、輝度補正手段1820、幾何補正手段1821、視差算出手段1822、距離算出手段1823、認識手段1824を備えている。
メモリやハードディスクなどの基準画像記憶手段1811は、撮像系手段1800aで撮影された画像を記憶する。視差算出において、基準画像記憶手段1811に記憶されている画像からテンプレート画像を切り出されるため、この画像は基準画像である。
メモリやハードディスクなどの比較画像記憶手段1812は、撮像系手段1800bで撮影された画像を記憶する。視差算出において、比較画像記憶手段1812に記憶されている画像をテンプレート画像で探索されるため、この画像は比較画像である。
メモリやハードディスクなどの処理画像記憶手段1813は、演算手段1810で処理され、生成された画像を記憶する。
メモリやハードディスクなどの輝度補正情報記憶手段1814は、撮像系手段1800a及び撮像系手段1800bの画像(基準画像及び比較画像)における各画素の輝度の補正係数を記憶する。この補正係数は、均一なライトや対象物を撮影したときの画像の輝度が画像全面で同じになる値である。
メモリやハードディスクなどの幾何補正情報記憶手段115は、撮像系手段1800a及び撮像系手段1800bの画像(基準画像及び比較画像)における各画素の幾何の補正量(幾何補正情報)を記憶する。この補正量は、光学素子手段1801a及び光学素子手段1801bの歪、撮像系手段1800a及び撮像系手段1800bの焦点距離の誤差、画像上の光軸位置の誤差及び取付誤差が0であるときの画像に補正する値である。
記憶されている幾何補正情報は、図1、図13、図16及び図17に示す本発明のキャリブレーション装置の一実施例が算出したものである。このため、撮像系手段の光軸中心の回転方向の製造誤差と、撮像系手段間の実際の位置(焦点)を結んだ線と撮像系手段間の設計上の位置(焦点)を結んだ線がなす角度を足し合わせた角度だけ画像を回転させる幾何補正情報である。
メモリやハードディスクなどの設計情報記憶手段は、撮像系手段と間の距離(基線長)、撮像系手段の焦点距離の設計値、撮像素子手段の画素ピッチ、解像度の設計値を記憶する。
メモリやハードディスクなどの誤差記憶手段は、撮像系手段との間の横方向の位置誤差を記憶する。撮像系手段との間の位置誤差は、図1、図13、図16及び図17に示す本発明のキャリブレーション装置の一実施例が算出したものである。
同期信号発信手段1818は、同期信号を生成し、発信する。
基準画像取込手段1819aは、同期信号発信手段1818の同期信号に合わせて、シャッタ手段1802aにシャッタを開けるという信号を送るとともに、撮像素子手段1803aが生成する画像を取得する。
比較画像取込手段1819bは、同期信号発信手段1818の同期信号に合わせて、シャッタ手段1802bにシャッタを開けるという信号を送るとともに、撮像素子手段1803bが生成する画像を取得する。
輝度補正手段1820は、輝度補正情報記憶手段1814から各画素の輝度の補正係数を読み込み、基準画像及び比較画像の輝度を補正する。
幾何補正手段1821は、幾何補正情報記憶手段115から各画素の幾何の2次元補正量(幾何補正情報)を読み込み、基準画像及び比較画像に幾何学的に補正し、写る像の形状を補正する。つまり、撮像系手段1800a(第1の撮像系手段)と撮像系手段1800b(第2の撮像系手段)の幾何補正情報に基づいて基準画像及び比較画像を補正する。更に、撮像系手段1800aと撮像系手段1800b間を結ぶ実際の基線長の線と撮像系手段1800aと撮像系手段1800b間を結ぶ理想の基線長の線のなす角度と、撮像系手段1800aの回転角の理想値からの誤差と、を足し合わせ角度を、回転方向に補正する。
視差算出手段1822は、基準画像上から抽出した所定のサイズの領域(テンプレート画像)に対応する比較画像上の領域を探索する。テンプレート画像と一致する比較画像上の領域の位置と、基準画像上のテンプレート画像の位置の差すなわち視差を算出する。各画素について視差を算出することにより、視差画像を算出する。
距離算出手段1823は、視差算出手段1822が算出した視差、撮像系手段1800aと撮像系手段1800bの焦点の距離(基線長)、焦点距離及び画素ピッチをもとに、撮像系手段1800a及び撮像系手段1800bの光軸方向に撮像装置から画像上の対象物までの距離を算出する。各画素について距離を算出することにより、距離画像を算出する。また、撮像系手段1800aと撮像系手段1800b間の基線長と、その基線長の理想値からの誤差と、を足し合わせた値を用いて、距離画像を算出する。
認識手段1824は、基準画像及び距離画像を用いて、基準画像に写っている対象物及び基準画像上の対象物の位置を認識し、撮像装置に対する対象物の3次元の相対位置及び相対速度を算出する。ここで、撮像装置に対する3次元の相対位置座標系は、撮像系手段1800aと撮像系手段1800bの焦点間の中点を原点として、撮像系手段1800a及び撮像系手段1800bに対して右方向にx座標、上方向にy座標、光軸方向にz座標をとる。
また、撮像装置と対象物の相対位置及び相対速度をもとに衝突までに時間を算出して、所定の時間内に衝突するかどうかを判定する。撮像装置と対象物の相対位置、相対速度、衝突判定結果及び衝突時間を画面音声出力手段1830及び制御手段1840に送る。
モニタ及びスピーカなどの画面音声出力手段1830は、基準画像、あるいは、視差画像、距離画像を画面に表示する。また、対象物の位置に枠あるいはマーカを表示する。このとき、認識手段1824からの衝突判定結果が衝突するという判定である対象物の枠あるいはマーカの色を、衝突しない対象物と異なるものとする。認識手段1824からの衝突判定結果が衝突するという判定である対象物がある場合、警告音を出力する。
CPUなどの制御手段1840は、撮像装置と対象物の相対位置、相対速度、衝突時間及び衝突判定結果をもとに制御信号を生成して、撮像装置の外部に出力する。
図18に示す本発明の撮像装置の一実施例の動作手順を、図19を用いて説明する。
ステップ1901は、同期信号発信手段1818にて、同期信号を生成して、基準画像取込手段1819a及び比較画像取込手段1819bに送る。基準画像取込手段1819aは、同期信号発信手段1818からの同期信号を受け取った直後に、シャッタ手段1802aにシャッタ開閉信号及び露光時間の情報を送る。
シャッタ手段1802aは、基準画像取込手段1819aからのシャッタ開閉信号及び露光時間の情報を受け取った直後に、シャッタの機構を露光時間だけ開き、その後、閉じる。撮像素子手段1803aは、光学素子手段1801aにより屈折した光の像を受光し、その光の強さに応じた画像を生成して、基準画像取込手段1819aに画像を送る。基準画像取込手段1819aは、撮像素子手段1803aから画像を受け取り、基準画像記憶手段1811に格納する。
比較画像取込手段1819bは、同期信号発信手段1818からの同期信号を受け取った直後に、シャッタ手段1802bにシャッタ開閉信号及び露光時間の情報を送る。シャッタ手段1802bは、比較画像取込手段1819bからのシャッタ開閉信号及び露光時間の情報を受け取った直後に、シャッタの機構を露光時間だけ開き、その後、閉じる。
撮像素子手段1803bは、光学素子手段1801bにより屈折した光の像を受光し、その光の強さに応じた画像を生成して、比較画像取込手段1819bに画像を送る。比較画像取込手段1819bは、撮像素子手段1803bから画像を受け取り、比較画像記憶手段1812に格納する。
ステップ1902は、輝度補正手段1820にて、輝度補正情報記憶手段1814から撮像素子手段1803a及び撮像素子手段1803bの画像における各画素の補正係数を読み込み、基準画像記憶手段1811及び比較画像記憶手段1812からそれぞれ基準画像及び比較画像を読み込む。基準画像の各画素の輝度値に撮像素子手段1803aの画像における各画素の補正係数を掛け合わせて、基準画像の輝度値を補正する。同様に、比較画像の各画素の輝度値に撮像素子手段1803bの画像における各画素の補正係数を掛け合わせて、比較画像の輝度値を補正する。補正した基準画像及び比較画像をそれぞれ基準画像記憶手段1811及び比較画像記憶手段1812に格納する。
ステップ1903は、幾何補正手段1821にて、幾何補正情報記憶手段1815から撮像素子手段1803a及び撮像素子手段1803bの画像における各画素の幾何の2次元補正量を読み込み、基準画像記憶手段1811及び比較画像記憶手段1812からそれぞれ基準画像及び比較画像を読み込む。基準画像の各画素から2次元補正量を変化させた基準画像上の位置を算出して、その位置周辺の画素の輝度値から補間計算によりその位置の輝度値を算出する。この計算を基準画像上の全ての画素について実施する。同様に、比較画像の各画素から2次元補正量を変化させた比較画像上の位置を算出して、その位置周辺の画素の輝度値から補間計算によりその位置の輝度値を算出する。この計算を比較画像上の全ての画素について実施する。補正した基準画像及び比較画像をそれぞれ基準画像記憶手段1811及び比較画像記憶手段1812に格納する。
ステップ1904は、視差算出手段1822にて、図20に示すように、基準画像2001上の所定のサイズの領域の画像2003(テンプレート画像)を抽出する。比較画像2002上でテンプレート画像2003と同じ対象物が写っている領域の画像を以下のテンプレートマッチングで探索する。比較画像2002上の所定のサイズの領域の画像2004を抽出して、基準画像2001上のテンプレート画像2003の輝度値と比較画像2002上の所定のサイズの領域の画像2004の輝度値の差の絶対値の和(SAD)を比較画像2002上の各領域の画像2004について算出して、最も小さい値の比較画像2002上の領域の画像2004を求める。
各輝度の絶対値の和が最も小さい比較画像2002上の領域の画像2004の左右方向の隣の位置において、基準画像2001上のテンプレート画像2003の輝度値と比較画像2002上の所定のサイズの領域の画像2004の輝度値の差の絶対値の和を算出する。
上記数1を用いて、輝度の差の絶対値の和が最も小さい位置、その左隣及び右隣の画素の位置における輝度の差の絶対値の和Sc、Sl、Srをもとに、折れ線近似で比較画像2002上の領域の画像2004とテンプレート画像2003の領域の横方向の距離u、すなわち、視差を算出する。この処理を基準画像2001上の全ての領域について実施して、基準画像2001の全体での視差を算出する。このようにして算出した視差画像を処理画像記憶手段1813に格納する。
ステップ1905は、距離算出手段1823は、処理画像記憶手段1813から視差画像を、設計情報記憶手段から基線長、焦点距離及び画素ピッチの設計値を、誤差記憶手段から撮像系手段と間の横(基線長)方向の位置誤差を読み込む。
以下数12を用いて、基準画像上の各領域の画像2003に写っている像と撮像装置との光軸方向の距離Lを算出する。ここで、Bは撮像系手段1800aと撮像系手段1800bの焦点間の距離(基線長)の設計値、ΔBは基線長の誤差、fは焦点距離の設計値、dはステップ1904で算出した各領域の視差、cは撮像素子手段の画素ピッチの設計値である。
この処理を基準画像上の全ての領域について実施して、基準画像の全体における各像と撮像装置との光軸方向の距離を算出する。このようにして算出した距離画像を処理画像記憶手段1813に格納する。
ステップ1906は、認識手段1824は、基準画像記憶手段1811から基準画像を、処理画像記憶手段1813から距離画像を読み込む。そこで、基準画像上の消失点の位置の算出、自動車や歩行者などの対象物の判定、撮像装置に対する対象物の相対位置及び相対速度の算出、対象物と撮像装置との衝突判定を行う。
先ず、認識手段1824は、基準画像上の消失点の位置の算出を以下の手順で実施する。基準画像上の車線の境界にある両側の白線を検出して、基準画像上の白線の傾きを算出する。両側の白線が直線であるとして、算出した傾きにより、両側の白線が交わる点の基準画像上の位置を算出する。これが消失点の位置である。
次に、認識手段1824は、自動車や歩行者などの対象物の検出を以下の手順で実施する。距離画像において、距離が所定の範囲内にある画素が連結している領域1を求める。所定の範囲の例として、5〜10m、7.5〜12.5m、10〜15mなどと幅5mで2.5mごとに範囲が重複する複数の範囲を設定する。
距離が所定の範囲内にある画素が連結している各領域1の基準画像上の縦及び横方向の長さを求める。各領域1の基準画像上の縦方向の長さ、距離と画素ピッチをかけた値を焦点距離で割って、各領域1の3次元の縦方向の長さを算出する。同様に、各領域1の基準画像上の横方向の長さ、距離と画素ピッチをかけた値を焦点距離で割って、各領域1の3次元の横方向の長さを算出する。
以下数13を用いて、各領域1の地面に関する基準画像上の縦方向の位置Vgを近似的に算出する。ここで、Vvは消失点の高さ、Hiは撮像装置の取付高さ、Lrは領域1の平均距離である。また、撮像系手段100a及び撮像系手段100bの光軸はおおむね水平方向であるという仮定を設定したときの計算式である。
領域1の3次元の縦及び横方向の長さが自動車の所定の範囲内であり、かつ、領域1の下限の基準画像上の縦方向の位置と、上記数1で算出した領域1の地面の基準画像上の縦方向の位置の差が閾値以内である場合、領域1の対象物は自動車であると判定する。同様に、領域1の3次元の縦及び横方向の長さが歩行者の所定の範囲内であり、かつ、領域1の下限の基準画像上の縦方向の位置と、上記数1で算出した領域1の地面の基準画像上の縦方向の位置の差が閾値以内である場合、領域1の対象物は歩行者であると判定する。これらの処理を全ての領域1について実施して、自動車、歩行者であるかを判定する。
次に、撮像装置に対する対象物の相対位置及び相対速度の算出を以下の手順で実施する。自動車あるいは歩行者と判定された領域1について、以下数14〜数16を用いて、撮像装置に対する対象物の相対位置(Xo、Yo、Zo)を算出する。ここで、(Uo、Vo)は自動車あるいは歩行者と判定された領域1の中央に関する基準画像上の位置である。
ステップ1901〜1908の処理は、所定の周期で繰り返し実施される。前回と今回の処理のステップ1906で検出された領域1の基準画像上の位置の差が閾値以内である場合、同じ対象物であると判定して、今回の処理で算出された撮像装置に対する対象物の相対位置から、前回の処理のステップ1906で算出された相対位置を引きた値を、ステップ1901〜1908の処理周期の時間間隔で割って、撮像装置に対する対象物の相対速度(Vx、Vy、Vz)を算出する。
最後に、対象物と撮像装置との衝突判定を以下の手順で実施する。撮像装置に対する対象物の相対速度Vzが0以上である場合、自動車あるいは歩行者と判定された領域1の対象物に衝突しないと判定する。撮像装置に対する対象物の相対速度Vzが負である場合、今回の処理で算出した撮像装置に対する対象物の相対位置Zoを、撮像装置に対する対象物の相対速度Vzの絶対値で割り、衝突までの時間(衝突時間)を算出する。
また、撮像装置に対する対象物の相対速度Vxに衝突時間をかけた値に対象物の相対位置Xoを足して、衝突時における撮像装置に対する対象物の相対位置Xoを算出する。
そこで、撮像装置に対する対象物の相対速度Vzが負であり、かつ、衝突時間が閾値以内であり、かつ、衝突時における撮像装置に対する対象物の相対位置Xoの絶対値が閾値内である場合、自動車あるいは歩行者と判定された領域1の対象物に衝突すると判定する。それ以外の場合、衝突しないと判定する。
認識手段1824は、自動車あるいは歩行者と判定された領域1に関する基準画像上の四隅の位置、撮像装置に対する対象物の相対位置及び相対速度、衝突判定結果及び衝突時間を画面音声出力手段1830及び制御手段1840に送る。
ステップ1907は、画面音声出力手段1830にて、認識手段1824から自動車あるいは歩行者と判定された領域1に関する基準画像上の四隅の位置、撮像装置に対する対象物の相対位置及び相対速度、衝突判定結果及び衝突時間を受け取る。
基準画像記憶手段1811から基準画像を読み込む。画面に基準画像を表示し、自動車あるいは歩行者と判定された領域1を枠として表示する。また、衝突判定結果が衝突するという判定結果である領域1の枠の色を衝突しないという判定結果の対象物の領域1の枠の色と変えて、画面に表示する。領域1の中に、衝突判定結果が衝突するという判定結果がある場合、警告音を出力する。
ステップ1908は、制御手段1840にて、認識手段1824から自動車あるいは歩行者と判定された領域1に関する基準画像上の四隅の位置、撮像装置に対する対象物の相対位置及び相対速度、衝突判定結果及び衝突時間を受け取る。自動車あるいは歩行者と判定された領域1の中に、衝突判定結果が衝突するという判定結果がある場合、衝突を回避する制御信号を生成して、撮像装置の外部に出力する。
図10(a)に示すように、撮像装置における2つの撮像系手段との縦方向の位置に製造誤差があると、図10(b)及び(c)に示すように、ステップ505で視点1の画像をもとに生成した幾何補正情報を用いて補正した左右の画像及びでは、設計で画像中央に映る像が上下方向にずれてしまう。このため、特徴点位置の計測値が上下方向に誤差を持つ。
1つの視点からの画像だけで幾何補正情報を求める手法では、このように、縦方向に誤差を持つ特徴点位置の計測値により、幾何補正情報に誤差が発生してしまい、2つの撮像系手段を有する撮像装置において、縦方向の誤差を持つ幾何補正情報を用いて、画像を補正すると、画像上に上下方向に位置誤差が発生し、基準画像のテンプレート画像にマッチする比較画像の領域がなく、距離画像を求めることができなくなる。
図1、図13、図16及び図17に示す本発明のキャリブレーション装置の一実施例の動作手順(図5(図14)、図6及び図7)によれば、ステップ701で、視点1からの画像を用いて算出した幾何補正情報で視点2の特徴点位置の計測値を補正し、ステップ721〜ステップ724で、視点2からの左画像と右画像における特徴点の縦方向の位置の補正値の差と設計値の差の平均をもとに、撮像装置おける2つの撮像系手段の縦方向の位置間の製造誤差を算出し、その誤差を修正する回転及び上下方向の修正パラメータを算出して、ステップ512で、幾何補正情報を回転及び上下方向に修正パラメータで修正する。
この処理により、撮像装置おける2つの撮像系手段の縦方向の位置間の製造誤差の影響を幾何補正情報から除去できる。
図18に示す本発明の撮像装置の一実施例の動作手順(図19)によれば、図1、図13、図16及び図17に示す本発明のキャリブレーション装置の一実施例が算出した幾何補正情報を幾何補正情報記憶手段に格納して、ステップ1903で前記の幾何補正情報を用いて、基準画像及び比較画像を幾何補正する。これにより、画像の上下方向の誤差が除去できるため、基準画像のテンプレート画像にマッチする比較画像の領域を探索でき、距離画像を求めることができる。
図11(a)に示すように、撮像装置における2つの撮像系手段との横方向の位置に製造誤差があると、図11(b)及び(c)に示すように、ステップ505で視点1の画像をもとに生成した幾何補正情報を用いて補正した左右の画像及びでは、設計で画像中央に映る像が左右方向にずれてしまう。このため、特徴点位置の計測値が左右方向に誤差を持つ。
1つの視点からの画像だけで幾何補正情報を求める手法では、このように、横方向に誤差を持つ特徴点位置の計測値により、幾何補正情報に誤差が発生してしまう。撮像装置において、横方向の誤差を持つ幾何補正情報を用いて、画像を補正すると、視差に誤差が発生し、距離画像に誤差が発生してしまう。
図1、図13、図16及び図17に示す本発明のキャリブレーション装置の一実施例の動作手順(図5(図14)、図6、図7)によれば、ステップ701で、視点1からの画像を用いて算出した幾何補正情報で視点2の特徴点位置の計測値を補正し、ステップ731〜ステップ734で、視点2からの左画像と右画像における特徴点の横方向の位置の補正値の差と設計値の差の差の平均をもとに、撮像装置おける2つの撮像系手段の横方向の位置間の製造誤差を算出し、その誤差を修正する横方向の修正パラメータを算出して、ステップ512で、幾何補正情報を横方向に修正パラメータで修正する。
この処理により、撮像装置おける2つの撮像系手段の横方向の位置間の製造誤差の影響を幾何補正情報から除去できる。
図18に示す本発明の撮像装置の一実施例の動作手順(図19)によれば、図1、図13、図16及び図17に示す本発明のキャリブレーション装置の一実施例が算出した幾何補正情報を幾何補正情報記憶手段に格納して、ステップ1903で前記の幾何補正情報を用いて、基準画像及び比較画像を幾何補正する。これにより、画像の横方向の誤差が除去できるため、基準画像のテンプレート画像にマッチする比較画像の領域を正確に探索でき、正確な距離画像を算出することができる。
図11(a)に示すように、撮像装置における2つの撮像系手段との横方向の位置に製造誤差があると、たとえこの製造誤差の影響を画像から除去したとしても、この製造誤差の値が不明である場合、この製造誤差を考慮せず、距離を算出するため、以下式17に示す距離の誤差ΔLが発生する。
図1、図13、図16及び図17に示す本発明のキャリブレーション装置の一実施例の動作手順(図5(図14)、図6、図7)、図18に示す本発明の撮像装置の一実施例の動作手順(図19)によれば、ステップ732で撮像装置おける2つの撮像系手段の横方向の位置間の製造誤差を算出して、ステップ512で撮像装置の誤差記憶手段に格納して、ステップ1905で式12に示すように、この製造誤差を考慮して、距離を算出する。これにより、視差をもとにした距離の算出で、2つの撮像系手段の横方向の位置間の製造誤差による距離誤差を除去できる。
撮像装置100を設置冶具103a及び設置冶具103bに設置するときに設置ずれが発生すると、チャート101に対する撮像装置100の奥行き位置に誤差が生じ、画像上の特徴点位置の計測値に横方向の誤差が発生するとともに、撮像装置100において、横方向の誤差を持つ幾何補正情報を用いて、画像を補正すると、視差に誤差が発生し、距離画像に誤差が発生してしまう。
図1に示す本発明のキャリブレーション装置の一実施例及び図18に示す本発明の撮像装置の一実施例によれば、図4に示すように、撮像装置100を設置する設置冶具103a及び103bに3つのピン401a〜401cを配置するとともに、撮像装置100の筐体における平面に加工されている箇所402a〜402cにピン401a〜401cをあてる3つの平面を有して、3つの平面に3つのピン401a〜401cをそれぞれあてて設置することにより、撮像装置100の設置ずれを防ぐことができるとともに、撮像装置100の設置ずれによる誤差を幾何補正情報から除去でき、撮像装置100において正確な距離画像を算出することができる。
なお、本発明の撮像装置は、上記で説明したような実施の形態に限定されるものではなく、様々に変形して適用することができる。以下では、本発明の撮像装置の変形例について説明する。
(変形例5−1)
図18に示す本発明の撮像装置の一実施例の動作手順(図19)のステップ1904において、視差算出手段1822は、基準画像2001上のテンプレート画像2003の輝度値と比較画像2002上の所定のサイズの領域の画像2004の輝度値の差の絶対値の和(SAD)を比較画像2002上の各領域の画像2004について算出する代わりに、基準画像2001上のテンプレート画像2003の輝度値と比較画像2002上の所定のサイズの領域の画像2004の輝度値のZSAD、あるいは、SSD、ZSSD、NCC、ZNCCを比較画像302上の各領域の画像2004について算出しても、比較画像2002上の領域の画像2004とテンプレート画像2003の領域の横方向の距離、すなわち、視差を算出することができる。
(変形例5−2)
図18に示す本発明の撮像装置の一実施例の動作手順(図19)のステップ1904において、視差算出手段1822は、輝度の差の絶対値の和が最も小さい位置、その左隣及び右隣の画素の位置における輝度の差の絶対値の和Sc、Sl、Srをもとに、式1を用いて、折れ線近似で比較画像2002上の領域の画像2004とテンプレート画像2003の領域の横方向の距離u、すなわち、視差を算出する代わりに、数11を用いて、放物線近似(Parabola Fitting、パラボラ・フィッティング)で比較画像2002上の領域の画像2004とテンプレート画像2003の領域の横方向の距離u、すなわち、視差を算出することができる。
(変形例5−3)
図18に示す本発明の撮像装置の一実施例において、3つ以上の撮像系手段を備え、動作手順(図19)のステップ1901〜1908の処理を、複数の撮像系手段の組合せの数だけ実施する。これにより、2つの撮像系手段を備えた場合に比べ、広い範囲の距離画像が得られるとともに、広い範囲の対象物を認識することができる。