JP3983573B2 - ステレオ画像特性検査システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ステレオカメラで撮像したステレオ画像の特性を検査し、補正データを生成するステレオ画像特性検査システムに関する。
【０００２】
【従来の技術】
従来より、空間を三次元的に認識する技術として、複数のカメラを利用したステレオ画像認識技術があり、例えば、自動車等の車両に搭載される障害物検出装置等に応用され、立体物までの距離を検出しつつ、前方の障害物や道路の形状を認識し、安全性の向上に寄与することができる。
【０００３】
このようなステレオ画像認識技術を用いた装置では、ステレオカメラを構成する各カメラに写った画像から一致する箇所を探索して互いの視差を求め、この視差から距離情報を計算する手法が一般的であるが、装置の認識能力を確保するためには、一致点検索の確実性と、視差の検出精度を確保する必要がある。
【０００４】
このため、本出願人は、先に、特開平１１−３２５８８９号公報において、ステレオカメラの撮像画像の非線形な位置ズレに対する補正を行って画像の光軸を合わせ、一致検索の基線を揃える技術を提案しており、また、特開２００１−９１２４５号公報において、レンズ等の光学系の特性・バラツキに起因する視差の検出誤差を補正する技術を提案している。更に、本出願人は、特開２００１−９２９６８号公報において、画像上の位置に応じて適切な探索範囲を設定可能なように、一致検索開始位置を補正する技術を提案している。
【０００５】
【発明が解決しようとする課題】
しかしながら、ステレオ画像認識装置の能力を保つためには、装置の出荷前や出荷後の再調整時に、ステレオ画像特性に対する総合的且つ高精度の補正データを装置個体毎に得ることのできるシステムが必要であり、しかも、できるだけ簡素なシステム構成で補正データを採取可能とし、装置本体にかかるコスト上昇の要因を取り除くことが望まれる。
【０００６】
本発明は上記事情に鑑みてなされたもので、ステレオ画像特性を簡便なシステムで総合的且つ高精度に検査し、画像特性のばらつきを補正するための高精度の補正データを得ることのできるステレオ画像特性検査システムを提供することを目的としている。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、請求項１記載の発明は、ステレオカメラの撮像方向に配置される格子状の図柄を有すると共に、上記ステレオカメラを構成する各カメラに対応した基準マークを設けた検査スクリーンと、上記検査スクリーンを上記ステレオカメラで撮像し、上記ステレオカメラを構成する各カメラに対応した画像上の格子点の座標を、初回に上記基準マークを検索して順次隣接する格子を検出することにより求め、求めた座標と予め記憶してある各格子点の理想座標とに基づいて、少なくとも上記ステレオカメラの特性に起因するステレオ画像特性のバラツキを補正するための補正データを生成する手段とを備えたことを特徴とする。
【０００８】
請求項２記載の発明は、ステレオカメラの撮像方向に配置される格子状の図柄を、格子線の中央から背景側にかけて多段階或いは連続的に明度が変化する階調度をもって形成した検査スクリーンと、上記検査スクリーンを上記ステレオカメラで撮像し、上記ステレオカメラを構成する各カメラに対応した画像上の格子点の座標を求め、求めた座標と予め記憶してある各格子点の理想座標とに基づいて、少なくとも上記ステレオカメラの特性に起因するステレオ画像特性のバラツキを補正するための補正データを生成する手段とを備えたことを特徴とする。
【０００９】
請求項３記載の発明は、請求項１又は２記載の発明において、上記検査スクリーンの画像パターンと予め記憶してあるパターンとの相関値を計算して一致点を検索し、上記画像上の格子点の座標を求めることを特徴とする。
【００１０】
請求項４記載の発明は、請求項１，２，３の何れか一に記載の発明において、上記検査スクリーンは、上記格子線の明度が背景より高いことを特徴とする。
【００１１】
請求項５記載の発明は、請求項１，２，３，４の何れか一に記載の発明において、上記補正データは、画像の座標変換補正データ、画角修正比による視差補正データ、一致点検索範囲補正データの少なくとも何れか一つであることを特徴とする。
【００１２】
請求項６記載の発明は、請求項１，２，３，４，５の何れか一に記載の発明において、上記ステレオカメラからの画像を上記ステレオカメラと一対一で組合わせた画像処理ユニットを介して取込み、上記補正データを、上記画像処理ユニット内の不揮発性メモリに書き込む手段を備えたことを特徴とする。
【００１４】
すなわち、請求項１記載の発明は、格子状の図柄を有すると共に、ステレオカメラを構成する各カメラに対応した基準マークを設けた検査スクリーンをステレオカメラの撮像方向に配置し、検査スクリーンをステレオカメラで撮像する。そして、各カメラに対応した画像上の格子点の座標を、初回に上記基準マークを検索して順次隣接する格子を検出することにより求め、求めた座標と予め記憶してある各格子点の理想座標とに基づいて、少なくともステレオカメラの特性に起因するステレオ画像特性のバラツキを補正するための補正データを生成することで、ステレオカメラを用いた装置の出荷前や出荷後の再調整時に、ステレオ画像特性を簡便なシステムで総合的且つ高精度に検査することができ、高精度の補正データにより装置の能力を高水準に維持することを可能とする。
請求項２記載の発明は、格子状の図柄を格子線の中央から背景側にかけて多段階或いは連続的に明度が変化する階調度をもって形成した検査スクリーンをステレオカメラの撮像方向に配置し、検査スクリーンをステレオカメラで撮像する。そして、ステレオカメラを構成する各カメラに対応した画像上の格子点の座標を求め、求めた座標と予め記憶してある各格子点の理想座標とに基づいて、少なくともステレオカメラの特性に起因するステレオ画像特性のバラツキを補正するための補正データを生成することで、ステレオカメラを用いた装置の出荷前や出荷後の再調整時に、ステレオ画像特性を簡便なシステムで総合的且つ高精度に検査することができ、高精度の補正データにより装置の能力を高水準に維持することを可能とする。
【００１５】
その際、請求項３記載の発明のように、検査スクリーンの画像パターンと予め記憶してあるパターンとの相関値を計算して一致点を検索し、画像上の格子点の座標を求めることが望ましく、一致点検出のミスマッチングを防止して正確な格子点の座標を求めることができる。
【００１８】
また、請求項４記載の発明のように、検査スクリーンは、格子線の明度が背景より高いことが望ましく、背景色の信号レベルの影響を低減し、より正確な格子点座標データを得ることができる。
【００１９】
更に、請求項５記載の発明のように、補正データは、画像の座標変換補正データ、画角修正比による視差補正データ、一致点検索範囲補正データの少なくとも何れか一つであることが望ましく、請求項６記載の発明のように、ステレオカメラからの画像をステレオカメラと一対一で組合わせた画像処理ユニットを介して取込み、補正データを画像処理ユニット内の不揮発性メモリに書き込む手段を備えることで、ステレオカメラを含めた装置全体としての特性を検査することができる。
【００２０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図１１は本発明の一実施の形態に係わり、図１はステレオ画像特性検査システムの構成図、図２は基準マークパターンを示す説明図、図３は十字パターンを示す説明図、図４は格子交点周辺の拡大図、図５は基準マーク周辺の拡大図、図６は格子点座標算出処理のフローチャート、図７は十字パターンと格子点との一致検索を示す説明図、図８は一致相関値と一致点との関係を示す説明図、図９は画像座標変換補正データ算出処理のフローチャート、図１０は一致検索開始点補正データ算出処理のフローチャート、図１１は画角補正データ算出処理のフローチャートである。
【００２１】
図１は、ステレオ画像の特性を検査して補正データを得るためのステレオ画像特性検査システムを示し、検査対象である複数のカメラ（本形態においては、２台のカメラ）からなるステレオカメラ１と、このステレオカメラ１で撮像した画像の特性を検査するための被撮像対象となる検査スクリーン２と、ステレオカメラ１に接続される画像処理部１０とを備えて構成される。
【００２２】
ステレオカメラ１は、互いに同期が取れ、例えば電荷結合素子（ＣＣＤ）等の撮像素子を内蔵したシャッタ速度可変の２台のカメラの一方を、ステレオ処理の際の基準画像を撮像する基準カメラ１ａ、他方をステレオ処理の際の比較画像を撮像する比較カメラ１ｂとして、基準カメラ１ａと比較カメラ１ｂとが所定の基線長で互いの光軸が概ね平行となるようにステー１ｃに組付けられている。
【００２３】
一方、画像処理部１０は、ステレオカメラ１で撮像した一対の画像（ステレオ画像）の所定の小領域（例えば、４画素×４画素の小領域）毎に一致部位を検索して視差を求めるステレオマッチング処理を行い、得られた視差に基づく三次元の距離分布情報に基づいて各種認識処理を行うステレオ画像認識ユニット１１に対し、このステレオ画像認識ユニット１１に接続されてステレオ画像特性を検出するステレオ画像特性検出部１２、ステレオ画像特性から補正データを生成する補正データ生成部１３、生成した補正データをステレオ画像認識ユニット１１に書込む補正データ書込み部１４を、ステレオ画像認識ユニット１１と一体的或いは別個に備えて構成され、検査対象であるステレオカメラ１とステレオ画像認識ユニット１１とを一対一で組合わせて検査対象とする。
【００２４】
すなわち、ステレオカメラ１を構成する２台のカメラ１ａ，１ｂは、初期製造段階で互いの光軸が、例えば平行であるような予め決められた相対位置関係となるように機械的に調整されてステー１ｃに固定されているが、各カメラ１ａ，１ｂで撮像した画像には、機械的な組立て精度の限界による光軸のずれ、レンズの焦点距離のバラツキやレンズ歪みの影響、撮像素子の受光面のあおりによる撮像画像内の拡大縮小率の相違、互いの撮像素子の感度や信号処理回路の特性のバラツキ等により、出力される画像間には線形のみならず非線形の位置ズレが少なからず存在する。
【００２５】
また、ステレオ画像を処理するステレオ画像認識ユニット１１側にも、２台のカメラ１ａ，１ｂに対応した信号処理系統のアンプのゲインやオフセット、Ａ／Ｄ変換器の特性等の回路素子の特性のバラツキにより、調整範囲内で信号特性にバラツキが存在する可能性があり、ステレオ処理前の一対の元画像間に線形乃至非線形の位置ズレが存在する。
【００２６】
従って、製品出荷前や出荷後の再調整時に、ステレオカメラ１で検査スクリーン２を撮像した撮像画像に基づいて、ステレオカメラ１及びステレオ画像認識ユニット１１の個体毎に、光学レンズの歪特性や焦点距離特性、カメラ光軸の水平及び垂直変位特性、カメラ回転方向特性、カメラ実画角分布特性、無限遠視差分布特性、同じ距離にある被写体を撮像した場合の等距離面分布特性等を検査し、その検査結果に基づく補正データを生成する。そして、この補正データをステレオカメラ１と一対一に組合わされるステレオ画像認識ユニット１１内の不揮発性メモリに記憶させることで、市場における実働状態において、確実且つ正確な距離分布情報を得ることができる。
【００２７】
尚、ステレオ画像認識ユニット１１側の回路的なバラツキを無視できる場合には、ステレオカメラ１のみを検査対象として、本検査システムにはステレオ画像認識ユニット１１を含めず、ステレオカメラ１の特性検査終了後、別途、補正データをステレオ画像認識ユニット１１内に書き込んだ時点でステレオカメラ１とステレオ画像認識ユニット１１とを一対一の組で固定するようにしても良い。
【００２８】
具体的には、検査スクリーン２には、予め設定した間隔（例えば、ステレオカメラ１の基線長の整数分の一の間隔）の格子線を基調とした図柄が描かれており、ステレオカメラ１と検査スクリーン２とを予め規定した相対位置、例えばステレオカメラ１の撮像方向が検査スクリーン２に正対する位置に正確に配置する。そして、ステレオカメラ１で検査スクリーン２を撮像した２枚の元画像に対し、ステレオ画像特性検出部１２で画像上の各格子点（格子線の交点）の座標を求め、補正データ生成部１３で、得られた各格子点の座標と予め記憶してある各格子点の理想座標とから画像特性のバラツキを補正する補正データを生成する。
【００２９】
補正データは、画像上の各格子点の座標を幾何学的に補正するための座標変換補正データ、画角修正比（実画角と理想状態の画角との比）による距離補正用の視差補正データ、無限遠対応点のズレを考慮して一致点検索開始位置を補正するための一致点検索範囲補正データ等であり、基本データとして、画像上の各格子点の座標と記憶してある理想座標との差から各格子点に対する座標変換補正データを生成する。この座標変換補正データは、全ての画素が各々補正データを持つよう、各格子点を座標補完して全ての画素に対する座標変換補正データを求める。また、得られた画像上の格子間隔と予め記憶してある理想格子間隔との比から画角修正比を求め、この画角修正比を画像端から画素毎に積分することで、画角修正比による視差補正データと、一致点検索範囲補正データとを算出する。
【００３０】
詳細には、検査スクリーン２には、ステレオカメラ１の２つのカメラ１ａ，１ｂと概ね同じ間隔の格子位置、すなわち基準カメラ１ａ用の中央垂直格子線２ａと中央水平線２ｃとの交点（基準画像側の中央格子点）を囲む格子間、及び、比較カメラ１ｂ用の中央垂直格子線２ｂと中央水平線２ｃとの交点（比較画像側の中央格子点）を囲む格子間に、それぞれ基準マーク３ａ，３ｂが描かれている。各カメラ１ａ，１ｂに対応する基準マーク３ａ，３ｂは、格子点の一致検索に影響を与えない形状に設定され、予め各カメラ１ａ，１ｂとの対応関係が既知で予めそれぞれの一致検索の開始位置を明確に設定できることから、本形態では、基準マーク３ａ，３ｂは同一形状とする。
【００３１】
そして、ステレオ画像特性検出部１２に、検査スクリーン２上の基準マーク３ａ，３ｂに対する参照パターンとして図２の基準マークパターン４を予め記憶しておくと共に、格子点に対する参照パターンとして図３の十字パターン５を予め記憶しておき、画像上の各格子点の座標を求める際に、基準マークパターン４と十字パターン５とを用いて画像相関値を計算しながら水平垂直方向に２次元の一致検索を行い、画像上の格子点の座標を求める。
【００３２】
すなわち、画像上の各格子点の座標を求めるには、先ず、各カメラ１ａ，１ｂの画像上の基準マーク３ａ，３ｂと、基準マークパターン４との一致検索を行い、この基準マークの一致検索結果によって得られた格子点の座標に基づいて、順次隣接する格子点の座標を十字パターン５との一致検索により検出する。その際、前回に検出した格子点の座標から予め設定した相対位置に今回の検索領域を設定することで、誤った位置の格子点を検出することを防止する。
【００３３】
画像上の各格子点の座標は、画像相関値が最も一致を示す座標近傍の画像相関値の関係により、１画素以下の分解能で求めることが望ましく、本形態においては、画像相関値として、２次元平面間の各座標における値の差の絶対値の和として定義されるシティブロック距離を用い、２枚の画像の各画素の明るさ（輝度）の差の絶対値の総和でシティブロック距離を計算する。
【００３４】
この場合、検査スクリーン２の格子線は、図４，図５に示すように、格子線の中央から背景側にかけて、多段階或いは連続的に明度が変化する階調度を有することが望ましい。すなわち、一般に、ステレオカメラ１に使用されるＣＣＤ等の撮像素子は、受光セル（画素）が縦・横に配列されており、画素と画素との間には、必ず不感領域が存在する。従って、座標情報を１画素単位以下の精度で検出するサブピクセル処理を行う場合、格子線と背景との境界が不感領域に結像すると、正確な格子点の座標が検出できないことになる。従って、格子線中央から外側にかけて多段階階調或いは連続階調とすることにより、格子線と背景の境界の位置情報が複数の画素に渡って勾配を持ったデータ群を得ることができ、１画素単位以下の正確な格子点の座標を検出することが可能となる。
【００３５】
また、検査スクリーン２の色に関しては、背景が黒色で、格子線及び基準マーク３ａ，３ｂを白色とすることが望ましい。一般に、白色は照明の影響を受けやすく、黒色は照明の影響を受けにくいという特徴があり、加えて、撮像素子は、通常、黒色が零レベルになるような信号の出力形式であり、カメラの感度に差があっても黒の信号レベルは白の信号レベルより感度の影響を受けにくい。一方、一致検出に用いるパターンは背景色の面積割合が多くなるため、格子点座標の検出結果は背景色の信号レベルの影響を受けやすい。
【００３６】
従って、検査スクリーン２は、背景が黒色で、格子線及び基準マーク３ａ，３ｂを白色とすることにより、より正確な格子点座標データを得ることができ、精度の高い補正データを生成することができる。尚、この場合、図４，図５に示す格子線から背景にかけての階調は、背景側が暗く、格子線中央に行くほど明度が高くなり、図５に示す基準マークも白色となる。
【００３７】
以下、ステレオ画像特性検出部１２における格子点座標算出処理について、図６に示すフローチャートを用いて説明し、補正データ生成部１３における画像座標変換補正データ、一致検索開始点補正データ、画角補正データの生成処理について、図９，１０，１１のフローチャートを用いて説明する。
【００３８】
図６に示すステレオ画像特性検出処理では、先ず、ステップＳ１０１で、ステレオカメラ１の仕様定数値や各種処理変数値等を初期化し、ステップＳ１０２で、ステレオカメラ１で検査スクリーン２を撮像した基準側と比較側とのそれぞれの画像について、各１画面をサンプリングする。
【００３９】
次に、ステップＳ１０３へ進み、基準カメラ１ａと検査スクリーン２の基準マーク３ａとの位置関係から基準画像の初回検索範囲を設定し、この初回検索範囲内から、記憶してある基準マークパターンに対し、シティブロック距離（一致度）を使って２次元で一致検索を行う。そして、ステップＳ１０４で、水平方向をＸ座標、垂直方向をＹ座標として、基準画像の基準マークに対する画像中の格子点の座標（Ｘ，Ｙ）を、サブピクセル演算付で１画素単位以下の分解能で求める。この１画素単位以下のサブピクセル演算には、例えば、シティブロック距離の分布から極小値の位置を特定し、直線近似等によって極小点の座標を計算する等の手法を用いることができる。
【００４０】
更に、ステップＳ１０５で、比較カメラ１ｂと検査スクリーン２の基準マーク３ｂとの位置関係から比較画像の初回検索範囲を設定し、この初回検索範囲内から、記憶してある基準マークパターンに対し、シティブロック距離（一致度）を使って２次元で一致検索を行い、ステップＳ１０６で、比較画像の基準マークに対する画像中の格子点の座標（Ｘ，Ｙ）をサブピクセル演算付で求める。
【００４１】
次に、ステップＳ１０７へ進み、基準画像の前回検索した格子点に隣接する格子点を検索するため、図７に示すように、前回の格子点座標から格子間隔に基づく所定の相対位置に今回の格子点の検索範囲を設定する。そして、ステップＳ１０８で、基準画像の設定検索範囲から、記憶してある十字パターン５に対し、シティブロック距離（一致度）を使って２次元で一致検索を行う。図８は、一走査毎の一致相関値（シティブロック距離）を示し、一致相関値が最も低い値となる点が一致点となる。
【００４２】
次いで、ステップＳ１０９へ進み、基準画像の格子点に対する画像中の座標（Ｘ，Ｙ）をサブピクセル演算付で求め、ステップＳ１１０で、基準画像についての検索が終了したか否かを調べる。その結果、検索が終了していない場合、ステップＳ１０７へ戻って次の隣接する格子点の検索範囲を再設定して上述の処理を続行し、基準画像についての全検索が終了した場合、ステップＳ１１１以降で比較画像上の格子点の座標を求める。
【００４３】
ステップＳ１１１では、比較画像の今回の格子点の検索範囲を設定し、ステップＳ１１２で、比較画像の検索範囲から、記憶してある十字パターンに対し、シティブロック距離（一致度）を使って２次元で一致検索を行う。そして、ステップＳ１１３で、比較画像の格子点に対する画像中の座標（Ｘ，Ｙ）をサブピクセル演算付で求める。
【００４４】
そして、ステップＳ１１４で、比較画像についての検索が終了したか否かを調べ、検索が終了していない場合、ステップＳ１１１へ戻って次の隣接する格子点の検索範囲を設定して以上の処理を続行し、比較画像についての全検索が終了したとき、本処理を終了する。
【００４５】
以上の処理により、基準側と比較側との各画像における全格子点の座標が求まると、次に、図９に示す画像座標変換補正データ算出処理において、格子点の座標と予め記憶してある理想格子点の座標との差から座標変換補正データを生成する。
【００４６】
この画像座標変換補正データ算出処理では、先ず、ステップＳ２０１で初期化を行い、ステップＳ２０２で、基準画像の各理想格子点と実際の画像の各格子点とに対して番号付け及び対応付けを行い、また、ステップＳ２０３で、比較画像の各理想格子点と実際の画像の各格子点とに対し、番号付け及び対応付けを行う。
【００４７】
続くステップＳ２０４では、基準画像の理想格子点の座標（ＸＲｎ，ＹＲｎ）に対し、対応した実際の画像上の格子点の座標（Ｘｎ，Ｙｎ）との差を基準画像の理想格子点の座標補正量として、この座標補正量のＸ軸成分ΔＸｎ，Ｙ軸成分ΔＹｎを、それぞれ算出する。更に、ステップＳ２０５で、同様に、比較画像の理想格子点の座標（ＸＲｎ，ＹＲｎ）に対し、対応した実際の画像上の格子点の座標（Ｘｎ，Ｙｎ）との差を比較画像の理想格子点の座標補正量として、この座標補正量のＸ軸成分ΔＸｎ，Ｙ軸成分ΔＹｎを、それぞれ算出する。
【００４８】
そして、ステップＳ２０６で、基準画像の理想格子点の座標補正量（ΔＸｎ，ΔＹｎ）から各画素に対する座標補正量（ΔＸｐｎ，ΔＹｐｎ）を補完計算によって求め、座標変換補正データテーブルを作成する。更に、ステップＳ２０７で、比較画像の理想格子点の座標補正量（ΔＸｎ，ΔＹｎ）から各画素に対する座標補正量（ΔＸｐｎ，ΔＹｐｎ）を補完計算によって求め、座標変換補正データテーブルを作成して本処理を終了する。
【００４９】
この座標変換補正データテーブルにより、ステレオカメラ１とステレオ画像認識ユニット１１とを一対一で組合わせた状態での市場における実働状態において、基準画像及び比較画像の上下・左右のズレ、回転ズレ、レンズ歪み、焦点距離のバラツキを補正して正確な視差検出を可能とすることができる。
【００５０】
次に、図１０に示す一致検索開始点補正データ算出処理について説明する。この処理では、先ず、ステップＳ３０１で、基準、比較のそれぞれの画像の垂直格子線上での各画素のＸ座標を、格子点座標をＹ軸方向に補完することによって求める。次に、ステップＳ３０２で、基準、比較のそれぞれの画像の垂直格子線について、それぞれ画像の中央格子点を通る垂直格子線を基準とした番号付けを行う。
【００５１】
次いで、ステップＳ３０３へ進み、基準画像と比較画像とで同じ番号Ｎ同士の垂直格子線上での各画素のＸ座標の差、すなわち、無限遠対応点のズレを算出する。そして、ステップＳ３０４で、垂直格子線上での各画素のＸ座標の差を、隣合った垂直格子線の間でＸ軸方向に補完し、基準画像の小領域（例えば４画素×４画素の小領域）毎に、基準画像と比較画像との間の無限遠対応点ズレを算出する。そして、ステップＳ３０５で、無限遠対応点ズレから所定の値を減算し、基準画像の小領域毎の一致検索開始点補正量を算出して処理を終了する。
【００５２】
この一致検索開始点補正量により、ステレオカメラ１とステレオ画像認識ユニット１１とを一対一で組合わせた状態での市場における実働状態において、無限遠対応点のズレに応じて一致検索の開始位置を適切に設定することが可能となり、ステレオマッチング処理の際の演算負荷を抑制すると共に、ミスマッチングを防止し、信頼性を向上することができる。
【００５３】
更に、図１１に示す画角補正データの算出処理では、先ず、ステップＳ４０１で、基準、比較それぞれの画像の垂直格子線上での各画素のＸ座標を、格子点座標をＹ軸方向に補完することによって求め、ステップＳ４０２で、基準、比較それぞれの画像の垂直格子線について、それぞれの画像の中央格子点を通る垂直格子線を基準とした番号付けを行う。
【００５４】
次いで、ステップＳ４０３へ進み、比較画像中の垂直格子線上の画素毎に、隣の垂直格子線上の同一Ｙ座標上の画素のＸ座標との差（格子間隔）Ｄを、微小実画角として求める。そして、ステップＳ４０４で、比較画像中の垂直格子線上の各画素毎に、実画角を表す格子間隔Ｄと所定の理想格子間隔Ｍとから画角修正比Ｒを算出する（Ｒ＝Ｄ／Ｍ）。
【００５５】
その後、ステップＳ４０５へ進み、比較画像中の垂直格子線上の画素毎に、画角修正比Ｒを画像の左端（初期値位置）から水平走査方向に積分して画角修正比積分値Ｓを算出する。そして、ステップＳ４０６で、垂直格子線上の画素の画角修正比積分値Ｓを、隣合った垂直格子線の間でＸ軸方向に補完し、処理走査線（例えば、４走査線）毎に、比較画像のＸ座標に対する画角修正比積分値テーブルを作成する。
【００５６】
すなわち、ステレオ画像の一致点検索で得られる視差データは、いわば１画素毎の微小画角の差を視差検出走査方向に積分した値に相当することから、画角修正比Ｒを画像座標の初期位置から比較画像の１画素毎に積分した画角修正比積分値Ｓを、レンズ焦点距離の相違、レンズ歪みの影響、撮像方向の相違等を含んだ補正データとして、市場での実働状態におけるステレオ画像認識ユニット１１の一致検策で得られる視差データを直接的に補正可能とする。
【００５７】
次に、ステップＳ４０７で、基準画像と比較画像とで同じ番号Ｎ同士の垂直格子線上での画素のＸ座標の差（無限遠対応点のズレ）を求め、ステップＳ４０８で、垂直格子線上での画素のＸ座標の差を、隣合った垂直格子線の間でＸ軸方向に補完し、基準画像の小領域（例えば４画素×４画素の小領域）毎に、基準画像と比較画像との間の無限遠対応点ズレのテーブルを作成する。
【００５８】
そして、ステップＳ４０９で、基準画像と比較画像の無限遠対応点ズレを、基準画像の小領域のＸ座標に加算し、基準画像の４×４画素小領域に対する比較画像中の無限遠対応点のＸ座標を算出すると、ステップＳ４１０で、比較画像中の無限遠対応点のＸ座標で画角修正比積分値テーブルを参照し、基準画像の４×４画素小領域毎の無限遠対応点画角修正比積分値テーブルを作成して本処理を終了する。
【００５９】
この画角修正比積分値テーブル及び無限遠対応点画角修正比積分値テーブルを用いることにより、ステレオカメラ１とステレオ画像認識ユニット１１とを一対一で組合わせた状態での実働状態における比較画像の検索一致点及び無限遠対応点に対し、レンズ焦点距離の相違、レンズ歪みの影響、撮像方向の相違等の影響を補正することができる。
【００６０】
このように、本実施の形態においては、ステレオカメラ１、及びこのステレオカメラ１に組合わされるステレオ画像認識ユニット１１の総合的な特性を、製品出荷前や出荷後の再調整時に、簡便なシステム構成で高精度に検査することができ、総合的且つ高精度な補正データを得ることができる。
【００６１】
これにより、市場においてステレオカメラを用いた各種装置の補正機構を有効に機能させることが可能となり、距離情報の精度向上、信頼性の向上を図ることができる。しかも、本検査システムは、各種の補正データを１回の撮像で計算できるため、自動化が容易であり、機械的な調整よりも少ない時間で調整することができ、装置本体のコスト低減に寄与することができる。
【００６２】
【発明の効果】
以上説明したように本発明によれば、ステレオカメラを用いた装置の出荷前や出荷後の再調整時に、ステレオ画像特性を簡便なシステム構成で高精度に検査して総合的且つ高精度な補正データを得ることができ、市場においてステレオカメラを用いた各種装置の補正機構を有効に機能させることが可能となり、正確な距離情報に基づく認識精度の向上、信頼性の向上を図ることができる。
【図面の簡単な説明】
【図１】ステレオ画像特性検査システムの構成図
【図２】基準マークパターンを示す説明図
【図３】十字パターンを示す説明図
【図４】格子交点周辺の拡大図
【図５】基準マーク周辺の拡大図
【図６】格子点座標算出処理のフローチャート
【図７】十字パターンと格子点との一致検索を示す説明図
【図８】一致相関値と一致点との関係を示す説明図
【図９】画像座標変換補正データ算出処理のフローチャート
【図１０】一致検索開始点補正データ算出処理のフローチャート
【図１１】画角補正データ算出処理のフローチャート
【符号の説明】
１ ステレオカメラ
２ 検査スクリーン
３ａ，３ｂ 基準マーク
４ 基準マークパターン
５ 十字パターン
１０ 画像処理部
１１ ステレオ画像認識ユニット
１２ ステレオ画像特性検出部
１３ 補正データ生成部
１４ 補正データ書き込み部

Claims (6)

1. ステレオカメラの撮像方向に配置される格子状の図柄を有すると共に、上記ステレオカメラを構成する各カメラに対応した基準マークを設けた検査スクリーンと、
   上記検査スクリーンを上記ステレオカメラで撮像し、上記ステレオカメラを構成する各カメラに対応した画像上の格子点の座標を、初回に上記基準マークを検索して順次隣接する格子を検出することにより求め、求めた座標と予め記憶してある各格子点の理想座標とに基づいて、少なくとも上記ステレオカメラの特性に起因するステレオ画像特性のバラツキを補正するための補正データを生成する手段とを備えたことを特徴とするステレオ画像特性検査システム。
2. ステレオカメラの撮像方向に配置される格子状の図柄を、格子線の中央から背景側にかけて多段階或いは連続的に明度が変化する階調度をもって形成した検査スクリーンと、
   上記検査スクリーンを上記ステレオカメラで撮像し、上記ステレオカメラを構成する各カメラに対応した画像上の格子点の座標を求め、求めた座標と予め記憶してある各格子点の理想座標とに基づいて、少なくとも上記ステレオカメラの特性に起因するステレオ画像特性のバラツキを補正するための補正データを生成する手段とを備えたことを特徴とするステレオ画像特性検査システム。
3. 上記検査スクリーンの画像パターンと予め記憶してあるパターンとの相関値を計算して一致点を検索し、上記画像上の格子点の座標を求めることを特徴とする請求項１又は２記載のステレオ画像特性検査システム。
4. 上記検査スクリーンは、上記格子線の明度が背景より高いことを特徴とする請求項１，２，３の何れか一に記載のステレオ画像特性検査システム。
5. 上記補正データは、画像の座標変換補正データ、画角修正比による視差補正データ、一致点検索範囲補正データの少なくとも何れか一つであることを特徴とする請求項１，２，３，４の何れか一に記載のステレオ画像特性検査システム。
6. 上記ステレオカメラからの画像を上記ステレオカメラと一対一で組合わせた画像処理ユニットを介して取込み、
   上記補正データを、上記画像処理ユニット内の不揮発性メモリに書き込む手段を備えたことを特徴とする請求項１，２，３，４，５の何れか一に記載のステレオ画像特性検査システム。

Images