JP3284190B2 - ステレオカメラの画像補正装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ステレオカメラで
撮像した画像の光学的な位置ズレを補正するステレオカ
メラの画像補正装置に関する。

【０００２】

【従来の技術】一般に、画像による三次元計測技術とし
て、２台のカメラ（ステレオカメラ）で対象物を異なる
位置から撮像した１対の画像の相関を求め、同一物体に
対する視差からステレオカメラの取り付け位置や焦点距
離等のカメラパラメータを用いて三角測量の原理により
距離を求める、いわゆるステレオ法による画像処理が知
られている。

【０００３】このステレオ法による画像処理では、ステ
レオカメラからの２つの画像信号を順次シフトしながら
重ね合わせて２つの画像信号が一致した位置を求めるよ
うにしているため、本来、２つの画像間には、視差から
生じる対応位置のズレのみが存在することが望ましく、
他の光学的な歪み等による位置ズレが存在すると、ミス
マッチングを生じて距離情報の精度が低下する。

【０００４】このため、ステレオカメラの使用に際して
は光学位置の調整が極めて重要であり、特開平５−１５
７５５７号公報には、一対のビデオカメラを連結保持す
る保持部材に、一方のビデオカメラのイメージセンサの
画素の並びが他方のビデオカメラのイメージセンサの画
素の並びと平行になるように調整する平行調整手段、一
方のビデオカメラの光軸と他方のビデオカメラの光軸と
が平行となるように調整する光軸調整部材を設け、２台
のカメラの相関関係を機械的に調整・保持する技術が開
示されている。

【０００５】しかしながら、一旦、固定したステレオカ
メラに経年変化によるズレが生じた場合、従来では、機
械構造的に再調整しなければならず、煩雑な作業を要す
るばかりでなく、再調整のための時間も長くなり、機械
的な調整では精度確保に限界がある。

【０００６】これに対処するため、本出願人は、先に、
特願平９−１１７２６８号において、ステレオカメラの
光学的位置のズレに応じて画像をアフィン変換すること
で、機械的な調整を行うことなく電気的に調整する技術
を提案しており、ステレオカメラの光学的位置を機械的
には調整困難なレベルまで精密に調整可能とするととも
に、調整後の経年変化によるズレに対しても容易に再調
整可能としている。

【０００７】

【発明が解決しようとする課題】しかしながら、先に本
出願人が提案した画像のアフィン変換による補正は、水
平・垂直方向や回転方向の光学位置補正、レンズの焦点
距離（画角）のバラツキ補正等、画像全体に対して一様
に作用する線形補正であり、レンズ歪みの影響や撮像素
子の受光面のあおりによる画像内の領域による拡大・縮
小率の相違等、画像の非線形な歪みには対処困難であ
る。

【０００８】さらに、ステレオカメラでは、距離情報の
生成領域を用途に応じて最適な方向にするため、ステレ
オ処理の際の基準画像を撮像するメインカメラとステレ
オ処理の際の比較画像を撮像するサブカメラとを、予め
ステレオカメラの基線に対して斜めに装着する場合があ
る。例えば、車載のステレオカメラでは、視野範囲に対
して距離検出領域を左右均等にするため、カメラシステ
ムの正面（自車両の正面）に対し、メインカメラとサブ
カメラとを右向きに装着し、メインカメラの撮像画像の
うち、サブカメラ側の所定割合の領域を距離情報生成領
域とする場合がある。

【０００９】このようなステレオカメラの基線に対する
２台のカメラの斜角装着では、撮像画像に対して非線形
な形状補正が必要であり、前述したレンズ歪みや撮像素
子の受光面のあおり等の歪みを含め、画像の非線形な位
置ズレに対する補正が残された課題となっていた。

【００１０】本発明は上記事情に鑑みてなされたもの
で、ステレオカメラの撮像画像の光学的な位置ズレに対
し、非線形な位置ズレの補正をオンボードにて可能とし
てステレオ処理の信頼性を向上することのできるステレ
オカメラの画像補正装置を提供することを目的としてい
る。

【００１１】

【課題を解決するための手段】請求項１記載の発明は、
ステレオカメラで撮像した画像の光学的な位置ズレを補
正するステレオカメラの画像補正装置であって、上記ス
テレオカメラで撮像した一対の画像に対するステレオマ
ッチングの際の互いの参照位置を、予め求めた画素毎の
位置ズレと上記参照位置周辺の座標データとを用いて補
完する手段を備えたことを特徴とする。

【００１２】すなわち、本発明では、ステレオカメラで
撮像した一対の画像に対し、ステレオマッチングの際の
互いの画像の参照位置を、予め求めた画素毎の位置ズレ
と参照位置周辺の座標データとを用いて補完し、補完し
た座標を参照してマッチングを取ることで、対応位置の
ミスマッチングを防止する。

【００１３】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１〜図９は本発明の実施の一形
態に係わり、図１はステレオ処理システムの全体構成
図、図２は垂直／水平補正の補正パターンを示す説明
図、図３は回転補正の補正パターンを示す説明図、図４
は焦点距離補正の補正パターンを示す説明図、図５はレ
ンズ歪み補正パターンを示す説明図、図６は垂直方向の
データ補完を示す説明図、図７は水平格子パターンの撮
像画像を示す説明図、図８は座標補正テーブルのデータ
分布例を模式的に示す説明図、図９は元画像を座標補正
した画像を示す説明図である。

【００１４】図１は、互いに同期が取れ、例えば電荷結
合素子（ＣＣＤ）等のイメージセンサを内蔵したシャッ
タ速度可変の２台のカメラからなるステレオカメラ１で
撮像した画像を処理するステレオ画像処理システムの構
成を示し、例えば自動車やヘリコプタ等の移動体に搭載
され、周囲環境や自己位置を認識するシステムの一部と
して使用される。

【００１５】上記ステレオカメラ１は、一方のカメラを
ステレオ処理の際の基準画像を撮像するメインカメラ、
他方のカメラをステレオ処理の際の比較画像を撮像する
サブカメラとして、図示しないカメラステイに所定の基
線長をもって配設される。両カメラ２，３で撮像した２
枚の画像は、画像入力装置である画像補正装置１０を介
してステレオ処理装置４０へ入力され、ステレオマッチ
ングにより２つの画像の一致度が評価されて遠近情報を
数値化した三次元画像情報としての距離画像が生成され
る。

【００１６】この場合、２台のカメラ２，３は、初期製
造段階で互いの光軸が平行となるように機械的に調整さ
れてカメラステイに固定されているが、両カメラ２，３
で撮像した各画像には、機械的な組立て精度の限界、レ
ンズの焦点距離のバラツキやレンズ歪みの影響、イメー
ジセンサの受光面のあおりによる撮像画像内の拡大縮小
率の相違等によって光学的に非線形の位置ズレが少なか
らず存在し、必ずしもステレオ処理に最適な画像が得ら
れるわけではない。

【００１７】このため、上記画像補正装置１０では、各
カメラ２，３の撮像画像における光学的な位置ズレを画
素毎に補正してステレオ処理に最適な画像データが得ら
れるようにしており、各カメラ２，３からのアナログ画
像をＡ／Ｄ変換器１１，１２でデジタル画像に変換して
データバス切り換え回路１３を介して画像メモリ１４に
格納し、この画像メモリ１４に格納した画像データをデ
ータ補完回路２１によって画素毎に補正するようにして
いる。

【００１８】上記画像メモリ１４には、アドレス切り換
え回路１５を介して基準・比較画像書き込みアドレス生
成回路１６と基準・比較画像読み出しアドレス生成回路
１７とが接続されており、基準・比較画像読み出しアド
レス生成回路１７から画素毎の座標補正データを記憶す
る基準・比較画像座標補正テーブル１８がアクセスされ
る。

【００１９】上記基準・比較画像読み出しアドレス生成
回路１７から出力される水平アドレスには、マイクロコ
ンピュータ（マイコン）５０からの指示によって画像座
標補正値を演算する座標補正値演算回路１９からの座標
補正データが加算され、アドレス切り換え回路１５に出
力される。また、上記基準・比較画像読み出しアドレス
生成回路１７から出力される垂直アドレスには、上記基
準・比較画像座標補正テーブル１８からの座標補正デー
タと上記座標補正値演算回路１９からの座標補正データ
とが加算され、データ補完回路２１に出力されるととも
に２段アクセス回路２０を介してアドレス切り換え回路
１５に出力される。

【００２０】上記データ補完回路２１の出力は、基準・
比較画像読み出しアドレス生成回路１７からアクセスさ
れるシェーディング補正テーブル２２の出力とともに輝
度補正結果テーブル２３に入力されて輝度補正され、輝
度補正された画像データが基準画像メモリ３１及び比較
画像メモリ３２に出力される。

【００２１】基準画像メモリ３１及び比較画像メモリ３
２にストアされた画像データは、絶対値演算器と加算器
とをピラミッド状に接続したパイプライン構造のシティ
ブロック距離計算回路や、シティブロック距離の最小値
及び最大値等を評価する最小値・画素ズレ検出回路等か
らなるステレオ処理装置４０に読み込まれ、互いの画像
の小領域（例えば、４×４画素の小領域）毎に一致度が
評価されて距離画像が生成される。尚、距離画像の生成
処理については、本出願人による特開平５−１１４０９
９号公報に詳述されている。

【００２２】さらに、上記ステレオ処理装置４０から出
力される距離画像データと上記画像補正装置１０から出
力される補正後の元画像データとは、マイクロコンピュ
ータ５０に読み込まれ、各種認識処理が行なわれる。例
えば車両に適用する場合、道路形状や前方車両の存在等
の走行環境を認識し、衝突危険度を判定して運転者に警
報を発したり、自動的にブレーキを作動させて停止させ
る、あるいは、先行車との車間距離を安全に保つよう自
動的に走行速度を増減する等の車両制御用データを出力
する。

【００２３】以上のステレオ処理システムでは、メイン
カメラ２で撮像した基準画像とサブカメラ３で撮像した
比較画像とを画像入力装置である画像補正装置１０にお
いて時分割で処理するようにしており、基準画像メモリ
３１にステレオマッチングのための小領域の画像データ
がストアされ、比較画像メモリ３２には、一つの小領域
に対して対応位置を参照するための画像データが水平方
向に所定の画素ズレ数分（例えば、小領域を４×４画素
として１００画素ズレ分；４×１０４画素のデータ）だ
けストアされる。

【００２４】すなわち、画像補正装置１０では、両カメ
ラ２，３で撮像したアナログ画像をＡ／Ｄ変換器１１，
１２で所定の輝度階調（例えば２５６階調のグレースケ
ール）のデジタル画像に変換し、データバス切り換え回
路１３によって画像メモリ１４側にバスを切り換えてデ
ジタル画像データを基準・比較画像書き込みアドレス生
成回路１６によって指定される水平アドレス及び垂直ア
ドレスで画像メモリ１４にストアする。

【００２５】そして、画像メモリ１４に所定の画像デー
タがストアされると、基準・比較画像読み出しアドレス
生成回路１７によって画像データの読み出しが開始さ
れ、基準・比較画像座標補正テーブル１８がアクセスさ
れて座標補正データ（アドレス補正データ）が垂直アド
レスに加算されるとともに、座標補正値演算回路１９か
らの座標補正データが水平アドレス及び垂直アドレスに
加算され、アドレス切り換え回路１５を介して画像メモ
リ１４がアクセスされる。

【００２６】本形態においては、基準・比較画像座標補
正テーブル１８に記憶される座標補正データは、ステレ
オマッチングの走査方向（水平方向）に垂直な成分を補
正するためのデータであり、基準画像及び比較画像の上
下ズレ、回転ズレ、レンズ歪み、焦点距離のバラツキを
補正するための初期補正データである。この座標補正デ
ータには、例えば８ビットのデータを用い、最上位の１
ビットで補正方向を示す正負の符号、次の４ビットで整
数部分、下位３ビットで小数部分を表わし、最大座標補
正量±１６画素、最小座標補正分解能０．１２５画素
（１／８画素）の補正を行なう。

【００２７】上記基準・比較画像座標補正テーブル１８
は、予め、正方格子パターンのような特定の補正量計測
用撮像パターンを両カメラ２，３で同時に撮像し、それ
ぞれのカメラ２，３の撮像画像について画素毎の座標補
正量を計算して作成される。すなわち、撮像した画像か
ら各格子点中心の座標を１画素以下で計測し、計測用コ
ンピュータにストアされている基準正方格子パターンの
対応格子点位置と比較して格子点毎に偏差を算出し、こ
の偏差から補正方向を加味したデータ形式の変換を行っ
て格子点毎の補正量を求める。そして、それぞれの画素
について、その画素を囲む４つの格子点の補正量から４
点補完によって画素毎の座標補正量を算出し、テーブル
１８に記憶させる。

【００２８】また、基準・比較画像座標補正テーブル１
８には、必要に応じて垂直方向の補正データあるいは水
平方向の補正データのみを記憶するようにしても良い。
図７〜図９は、垂直方向の補正データをテーブル１８に
記憶させる例を示している。この例では、予め、補正量
計測用の水平格子パターンを両カメラ２，３で同時に撮
像する。図７はカメラ２，３の画像の一例を示す。撮像
された画像から各水平格子線の幅の中心線（重心線）を
求め、それぞれの重心線を計測用コンピュータにストア
されている基準水平格子と照らし合わせる。そして基準
格子上に位置する各画素における垂直方向の座標補正量
を求め、さらに、基準格子上にない画素の座標補正量を
線形補完で求めて図８に示すようなデータ分布の座標補
正テーブルを作成する。

【００２９】図９は、図８の座標補正テーブルを用いて
図７の水平格子パターンを撮像した画像を補正した結果
を示している。撮像画像の四隅で顕著に見られる歪が補
正され、すべての格子が水平に修正されていることがわ
かる。

【００３０】尚、水平方向の補正データをテーブル１８
に記憶させる場合には、垂直格子パターンを使用して同
様の処理を行う。また、垂直方向あるいは水平方向の補
正データをテーブル１８に記憶させる場合、他方の補正
データを後述する座標補正値演算回路１９にて演算する
ようにしても良い。

【００３１】一方、座標補正値演算回路１９からの座標
補正データは、経時変化による両カメラ２，３の上下ズ
レ、左右ズレ、回転ズレ等をマイクロコンピュータ５０
からの指示に基づいて補正するためのデータであり、画
像全体に一律に作用する補正データである。この補正で
は、垂直方向は、１／８画素までの補正を行なうが、垂
直水平方向の座標補正は１画素単位で行なう。この場
合、水平方向の座標補正量は、無限遠までの全ての対象
がステレオマッチングの走査範囲内に入るよう、無限遠
で互いの画像の対応位置が所定画素（例えば、３画素）
ずれるように設定する。なお、回転ズレの補正について
は、マイクロコンピュータが設定した回転ズレ補正デー
タに応じ、水平アドレスの増加に対して垂直補正量を増
加または減少させることで簡易的に実現することができ
る。

【００３２】例えば、図２に示すような上下ズレや左右
ズレに対する垂直／水平方向の補正は、垂直方向が最小
１／８画素ピッチで補正され、水平方向は１画素ピッチ
で行なわれる。また、図３に示すような回転ズレに対す
る補正、図４に示すような焦点距離のバラツキに対する
補正、図５に示すようなレンズ歪みに対する補正は、垂
直成分のみで最小１／８画素ピッチで行なわれる。

【００３３】すなわち、本形態のようにステレオマッチ
ングを比較的画素数の少ない小領域で行う場合には、デ
ータ補完によって隣接する画素間の輝度差情報が多少な
りとも失われること、処理時間を要すること等から、ス
テレオマッチングの走査方向に垂直な成分のみ１画素以
下の分解能でデータ補完を行ない、水平方向は１画素単
位で読み出しアドレスをずらすようにしている。

【００３４】このため、基準・比較画像読み出しアドレ
ス生成回路１７で生成した垂直アドレスに座標補正を加
えたデータは、小数以下を表わす下位３ビットがデータ
補完回路２１に出力され、上位５ビットのデータによっ
て２段アクセス回路２０で垂直方向の上下２画素のデー
タが２段階にアクセスされる。そして、これらのデータ
からデータ補完回路２１でステレオマッチングにおける
基準画像と比較画像との互いの参照位置のデータ補完が
行なわれる。

【００３５】上述の小数以下を表わす下位３ビットのデ
ータに基づき、データ補完回路２１では、画像メモリ１
４の元画像において、図６に示すように、基準・比較画
像座標補正テーブル１８及び座標補正演算による座標補
正を加えた所定の画素の座標Ａ(x,y)が本来の位置から
ｍ画素（ｍは、図６に示すように少数以下であり、上述
の小数以下を表わす下位３ビットのデータに対応する）
ずれている場合、対応座標ｂ(x,y)に対し２段アクセス
回路２０でアクセスして得られる垂直方向の上下２画素
の座標データｂ(x,y-1)，ｂ(x,y+1)から、正方向ズレの
ときには以下の(1)式で、また、負方向のズレのときに
は以下の(2)式で補完を行い、１画素以下で位置ズレを
補正した座標Ｂ(x,y)を求める。この処理を元画像の全
ての画素について行う。

【００３６】 Ｂ(x,y)＝ｂ(x,y)×（１−ｍ）＋ｂ(x,y-1)×ｍ…(1) Ｂ(x,y)＝ｂ(x,y)×（１−ｍ）＋ｂ(x,y+1)×ｍ …(2)ここで、上述のようにｍは小数以下を表わす下位３ビッ
トのデータであり、また、 垂直方向及び水平方向の補正
を共に１画素以下で行う場合には、水平アドレス及び垂
直アドレスを、それぞれ２段アクセスして参照位置周辺
の座標データを求め、これらの座標データと水平アドレ
スライン及び垂直アドレスラインからの座標データによ
って水平方向の補完と垂直方向の補完とを行うようにす
る。

【００３７】以上のデータ補完回路２１によって補正さ
れた画像データは、輝度補正結果テーブル２３におい
て、基準・比較画像読み出しアドレス生成回路１７によ
ってアクセスされるシェーディング補正テーブル２２か
らのデータによって各カメラの光学系に発生するシェー
ディング現象による輝度低下が補正され、基準画像メモ
リ３１、比較画像メモリ３２にストアされる。

【００３８】基準画像メモリ３１及び比較画像メモリ３
２にストアされた画像データは、ステレオ処理装置４０
に読み込まれ、ステレオマッチングが行なわれる。この
ステレオマッチングでは、基準画像メモリ３１の一つの
小領域に対し、比較画像メモリ３２の小領域との間のシ
ティブロック距離を計算する処理を水平方向に１画素ず
つずらしながら所定画素分ずれるまで繰り返し、シティ
ブロック距離の最小値及び最大値等を評価してシティブ
ロック距離の最小値が本当に２つの画像の小領域の一致
を示しているものかどうかをチェックする。そして、チ
ェック条件を満足する場合、シティブロック距離が最小
になる画素ズレ量を基準画像の小領域に対応する距離情
報として出力する。

【００３９】このステレオマッチングの際には、両カメ
ラ２，３の撮像画像全体に一律に生ずる線形的な位置ズ
レは勿論のこと、局部的に補正量の異なる非線形な位置
ズレの影響がオンボードにて除去されているため、対応
位置のミスマッチングを生じることがなく、正確な距離
情報を得て画像処理における信頼性を向上することがで
きる。

【００４０】さらに、２台のカメラ２，３が基線に対し
て斜角装着されている場合にも、斜め方向から撮像した
画像に対する非線形な形状補正を行なうことができ、柔
軟なシステムとすることができる。

【００４１】

【発明の効果】以上説明したように本発明によれば、ス
テレオカメラで撮像した一対の画像に対し、ステレオマ
ッチングの際の互いの画像の参照位置を、予め求めた画
素毎の位置ズレと参照位置周辺の座標データとを用いて
補完するため、撮像画像全体に一律に生ずる線形的な位
置ズレは勿論のこと、局部的に補正量の異なる非線形な
位置ズレの影響をオンボードにて除去することができ、
対応位置のミスマッチングを生じることがなく、正確な
距離情報を得て画像処理における信頼性を向上すことが
できる。さらには、ステレオカメラが基線に対して斜角
装着されている場合にも、斜め方向から撮像した画像に
対する非線形な形状補正を行なうことができ、柔軟なシ
ステムとすることができる等優れた効果が得られる。

【図面の簡単な説明】

【図１】ステレオ処理システムの全体構成図

【図２】垂直／水平補正の補正パターンを示す説明図

【図３】回転補正の補正パターンを示す説明図

【図４】焦点距離補正の補正パターンを示す説明図

【図５】レンズ歪み補正パターンを示す説明図

【図６】垂直方向のデータ補完を示す説明図

【図７】水平格子パターンの撮像画像を示す説明図

【図８】座標補正テーブルのデータ分布例を模式的に示
す説明図

【図９】元画像を座標補正した画像の例を示す説明図

【符号の説明】

１ …ステレオカメラ １０…画像補正装置 １８…基準・比較画像座標補正テーブル ２１…データ補完回路 ４０…ステレオ処理装置

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 ステレオカメラで撮像した画像の光学的
   な位置ズレを補正するステレオカメラの画像補正装置で
   あって、 上記ステレオカメラで撮像した一対の画像に対するステ
   レオマッチングの際の互いの参照位置を、予め求めた画
   素毎の位置ズレと上記参照位置周辺の座標データとを用
   いて補完する手段を備えたことを特徴とするステレオカ
   メラの画像補正装置。