JPH11234701A - ステレオ画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 ステレオ撮像した一対の画像間のバラツキや
低周波ノイズに影響されることなく、正確なステレオマ
ッチングを行う。 【解決手段】 メイン画像平均値処理部５０でメイン画
像の小領域の平均値を計算し、サブ画像平均値処理部６
０サブ画像の小領域の平均値をメイン画像に対して１画
素ずつずらしながら計算する。そして、平均値差分部７
０でサブ画像及びメイン画像に対して小領域内の各画素
の輝度値から平均値を差分した値を計算し、ステレオマ
ッチング部８０でメイン画像の輝度値から平均値を減算
した値とサブ画像の輝度値から平均値を減算した値との
差の絶対値を総和してシティブロック距離を計算するこ
とで、画像の高周波成分のみをマッチング対象として低
周波ノイズを除去し、２つの画像の輝度の僅かなバラン
スの狂い、カメラやアナログ回路部品の経年変化による
ゲイン変化の影響に対し、ミスマッチングを生じること
なく正確な距離情報を得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ステレオカメラで
撮像した一対の画像を処理して距離画像を生成するステ
レオ画像処理装置に関する。

【０００２】

【従来の技術】一般に、画像による３次元計測技術とし
て、２台のカメラからなるステレオカメラで対象物を異
なる位置から撮像した一対の画像の相関を求め、同一物
体に対する視差からステレオカメラの取り付け位置や焦
点距離等のカメラパラメータを用いて三角測量の原理に
より距離を求める、いわゆるステレオ法による画像処理
が知られている。

【０００３】このステレオ法による画像処理としては、
本出願人は、先に、特開平５−１１４０９９号公報にお
いて、車両に搭載したステレオカメラで撮像した画像を
処理して車外の対象物の３次元位置を測定する技術を提
案している。この技術では、ステレオ撮像した一対の画
像に対し、複数の小領域間のシティブロック距離を演算
して対応位置を探索するステレオマッチングをハードウ
エア回路によって高速に処理し、対応する小領域の画素
ズレ量を距離情報として出力するようにしている。

【０００４】

【発明が解決しようとする課題】しかしながら、従来の
ステレオマッチング処理では、ステレオカメラで撮像し
た一対のアナログ画像をデジタル処理のためにデジタル
化した後、デジタル化した画像の値そのものを用いてシ
ティブロック距離を演算している。このため、２つの画
像間の輝度の僅かなバランスの狂いやノイズの影響を受
け、ミスマッチングが生じて正確な距離情報を得られな
い場合がある。

【０００５】従って、従来、ステレオカメラからの２系
統の画像信号をステレオ処理する際には、２系統の信号
のゲインを揃えるためのゲインコントロールアンプ、カ
メラ特性の相違を補正するためのルックアップテーブ
ル、撮像画像内の領域による感度バラツキを補正するた
めのシェーディング補正回路等による入力画像に対する
補正が必須であり、回路部品が増加してコスト上昇を招
くばかりでなく、カメラやアナログ回路部品の経年変化
が生じた場合には、ミスマッチングを防止することは困
難であった。

【０００６】本発明は上記事情に鑑みてなされたもの
で、ステレオ撮像した一対の画像間のバラツキや低周波
ノイズに影響されることなく、正確なステレオマッチン
グを行うことのできるステレオ画像処理装置を提供する
ことを目的としている。

【０００７】

【課題を解決するための手段】請求項１記載の発明は、
ステレオカメラで撮像した基準画像及び比較画像からな
る一対の画像に対し、互いの画像の小領域間のシティブ
ロック距離を演算して対応する小領域を探索し、対応す
る小領域で対象物までの距離に応じて生じる画素ズレ量
に基づく遠近情報を数値化した距離画像を生成するステ
レオ画像処理装置において、上記基準画像の小領域内の
各画素の画像データを平均し、第１の平均値として算出
する手段と、上記比較画像の小領域内の各画素の画像デ
ータを平均し、第２の平均値として算出する手段と、上
記基準画像の小領域内の各画素の画像データから上記第
１の平均値を差分し、第１のデータ群として算出する手
段と、上記比較画像の小領域内の各画素の画像データか
ら上記第２の平均値を差分し、第２のデータ群として算
出する手段と、上記第１のデータ群の各データと上記第
２のデータ群の各データとの差分の絶対値を総和し、上
記シティブロック距離を演算する手段とを備えたことを
特徴とする。

【０００８】すなわち、本発明によるステレオ画像処理
装置では、ステレオカメラで撮像した一対の画像に対
し、基準画像の小領域内の各画素の画像データから小領
域内の各画素の画像データを平均した第１の平均値を差
分した第１のデータ群、及び、比較画像の小領域内の各
画素の画像データから小領域内の各画素の画像データを
平均した第２の平均値を差分した第２のデータ群を算出
し、第１のデータ群の各データと第２のデータ群の各デ
ータとの差分の絶対値を総和してシティブロック距離を
演算することにより、対応する小領域を探索する。そし
て、対応する小領域で対象物までの距離に応じて生じる
画素ズレ量に基づく遠近情報を数値化した距離画像を生
成する。

【０００９】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１〜図４は本発明の実施の一形
態に係わり、図１はステレオ処理部のブロック図、図２
はステレオ画像処理装置の基本構成図、図３はメイン画
像及びサブ画像の小領域のデータを示す説明図、図４は
画像処理のタイミングチャートである。

【００１０】図２は、例えば自動車やヘリコプタ等の移
動体に搭載され、対象風景をステレオ撮像した一対の画
像を処理して三次元の距離情報を求め、求めた距離の情
報に基づいて周囲環境や自己位置を認識する装置等に使
用されるステレオ画像処理装置の基本構成を示し、２台
１組のカメラから構成されるステレオカメラ１０、この
ステレオカメラ１０で撮像した画像に対する入力処理を
行う画像入力部２０、この画像入力部で処理した撮像画
像を元画像としてストアする元画像メモリ２５、元画像
をステレオ処理して距離分布情報（距離画像）を取得す
るステレオ処理部３０、距離画像をストアする距離画像
メモリ３５、距離画像を読み込んで各種認識処理を行う
認識処理部４０等から構成される。

【００１１】上記ステレオカメラ１０を構成する２台の
カメラ１０ａ，１０ｂは、互いに、同期が取れ、且つ、
シャッタースピード可変のＣＣＤカメラであり、一方の
ＣＣＤカメラ１０ａをステレオ処理の際の基準画像を撮
像するメインカメラ、他方のＣＣＤカメラ１０ｂをステ
レオ処理の際の比較画像を撮像するサブカメラとして、
所定の基線長で互いの撮像面垂直軸が平行となるよう配
置されている。

【００１２】画像入力部２０は、各ＣＣＤカメラ１０
ａ，１０ｂからの２系統のアナログ撮像信号を処理する
ためのアンプやＡ／Ｄコンバータと、例えば高集積度Ｆ
ＰＧＡによって構成した画像処理の各種機能回路とを備
え、さらに、ＣＣＤカメラ１０ａ，１０ｂの機械的な光
学位置の僅かなズレを電気的に補正するための画像調整
回路を備えたものであり、ＣＣＤカメラ１０ａ，１０ｂ
からの撮像画像を所定の輝度階調のデジタル画像データ
に変換し、画像調整によってＣＣＤカメラ１０ａ，１０
ｂの機械的な取り付け位置の誤差を補正して元画像メモ
リ２５にストアする。

【００１３】ステレオ処理部３０は、元画像メモリ２５
にストアされたメイン画像（基準画像）及びサブ画像
（比較画像）の２枚の画像に対し、各画像の小領域毎に
シティブロック距離を計算して互いの相関を求めること
で対応する小領域を特定するステレオマッチングを行
い、対象物までの距離に応じて生じる画素のズレ（＝視
差）から得られる対象物までの遠近情報を数値化した３
次元画像情報（距離画像）を取得するものであり、マッ
チングシーケンスに関する機能を、同様に高集積度ＦＰ
ＧＡ等によって構成する。

【００１４】認識処理部４０は、距離画像から得られる
距離分布情報に基づいて高速に各種認識処理を行うため
のＲＩＳＣプロセッサ等からなり、例えば車両に搭載さ
れた場合、道路形状や前方車両の存在等の走行環境を認
識し、衝突危険度を判定して運転者に警報を発したり、
自動的にブレーキを作動させて停止させる、あるいは、
先行車との車間距離を安全に保つよう自動的に走行速度
を増減する等の車両制御用データを出力する。

【００１５】上記ステレオ処理部３０におけるステレオ
マッチングは、基本的には、先に本出願人によって提出
された特開平５−１１４０９９号公報に詳述されている
処理と同様であるが、特開平５−１１４０９９号の処理
では元画像データから直接シティブロック距離を演算し
ているのに対し、本発明では、元画像に対して予めマッ
チングを取る小領域の平均値を取り、小領域内のそれぞ
れの画素の輝度値から平均値を差分した値によってシテ
ィブロック距離を演算する平均値差分マッチングを行
う。

【００１６】この平均値差分マッチングは、画像の高周
波成分のみをマッチング対象とするものであり、ハイパ
スフィルタと等価な作用を有しているため低周波ノイズ
を除去することができ、２つの画像間の輝度の僅かなバ
ランスの狂いの影響、カメラやアナログ回路部品の経年
変化によるゲイン変化の影響に対し、ミスマッチングを
生じることがなく正確な距離情報を得ることができる。

【００１７】従って、上記画像入力部２０には、従来の
ステレオ処理の前段として必須であった２系統の画像信
号のバラツキ補正に関する回路、すなわち、ゲインコン
トロールアンプ、ルックアップテーブル、シェーディン
グ補正回路等が必要なくなり、回路部品点数を減らして
コスト低減を図ることができるばかりでなく、回路構成
の簡素化により信頼性を向上することができる。

【００１８】詳細には、ステレオ処理部３０の機能構成
は、図１に示すように、メイン画像の小領域の平均値を
計算するメイン画像平均値処理部５０、このメイン画像
平均値処理部５０で計算したメイン画像の小領域の平均
値データをストアするメイン平均値デュアルポートメモ
リ５５、サブ画像の小領域の平均値をメイン画像に対し
て１画素ずつずらしながら計算するサブ画像平均値処理
部６０、このサブ画像平均値処理部６０で計算したサブ
画像の小領域の平均値データをストアするサブ平均値デ
ュアルポートメモリ６５、サブ画像及びメイン画像に対
し、小領域内のそれぞれの画素の輝度値から平均値を差
分した値を計算する平均値差分部７０、メイン元画像の
輝度値から平均値を減算した値とサブ画像の輝度値から
平均値を減算した値との差の絶対値を総和してシティブ
ロック距離を計算するステレオマッチング部８０、シテ
ィブロック距離の最小値及び最大値等を評価してシティ
ブロック距離の最小値が本当に２つの画像の小領域の一
致を示しているものかどうかをチェックするシティブロ
ック距離チェック部９０等から構成されており、さら
に、異常な距離データを排除するための特異点除去フィ
ルタ部１００を付属的に備えている。

【００１９】本形態では、元画像を横５００×縦２００
画素の大きさとし、その中で処理範囲を横４２０×縦１
６０として、横８×縦４画素の小領域でマッチングを取
るようにしており、図３に示すように、メイン画像の横
８×縦４画素の小領域内の各画素の輝度データＭi,j
（ｉ＝１〜８、ｊ＝１〜４）、サブ画像の横８×縦４画
素の小領域内の各画素の輝度データＳi,j（ｉ＝１〜
８、ｊ＝１〜４）に対し、それぞれ以下の(1),(2)式で
示す平均値ＡM,ＳMを求め、以下の(3)式で示すシティブ
ロック距離ＣBを演算する。但し、Σはｉ＝１〜８，ｊ
＝１〜４の総和を求めるものとする。

【００２０】 ＡM＝ΣＭi,j／３２ …(1) ＳM＝ΣＳi,j／３２ …(2) ＣB＝Σ│(Ｍi,j−ＡM)−(Ｓi,j−ＡM)│ …(3) 小領域の平均値は、元画像の４ライン毎に計算するよう
にしており、メイン画像平均値処理部５０は、３個の２
バイト加算器を組み合わせた４バイト加算ブロック５１
に、加算器とＤ−フリップフロップとシフトレジスタと
を組み合わせた２つの加算ブロック５２，５３（図中、
加算１，２）が並列接続された構成で、各加算ブロック
５２，５３のデータがマルチプレクサ５４を介してメイ
ン平均値デュアルポートメモリ５５に出力される。

【００２１】一方、サブ画像平均値処理部６０は、横８
×縦４画素の小領域を水平走査方向に１画素ずつずらし
ながら平均値を計算するため、３個の２バイト加算器を
組み合わせた４バイト加算ブロック６１に、パラレル接
続した９個の加算器（図中、加算１〜９）及び８個のマ
ルチプレクサからなる加算平均ブロック６２を接続した
構成となっている。加算平均ブロック６２では、加算１
〜８の各２個毎の加算器出力を７個のマルチプレクサに
よる３段構成で処理し、さらに、最終段のマルチプレク
サで３段構成のマルチプレクサ出力と加算９の加算器出
力に対するデータセレクトを行って加算平均値を出力す
る。

【００２２】平均値差分部７０は、元画像の４ライン分
に対応して４つの平均値差分ブロック７１，７２，７
３，７４（図中、平均値差分１〜４）からなり、それぞ
れに、メイン画像用の差分器とサブ画像用の差分器とが
備えられている。メイン画像用の差分器では、元画像メ
モリ２５のメイン画像データからメイン平均値デュアル
ポートメモリ５５の平均値データを減算する処理をマル
チプレクサ及び８段のシフトレジスタを介して横８バイ
ト分を順次行い、サブ画像用の差分器では、元画像メモ
リ２５のサブ画像データからサブ平均値デュアルポート
メモリ６５の平均値データを減算する処理を行う。

【００２３】さらに、ステレオマッチング部８０は、４
個の差分器と４個の絶対値演算器と３個の加算器とをピ
ラミッド状に接続した縦加算ブロック８１に、横加算ブ
ロック８２を接続した構成となっている。

【００２４】縦加算ブロック８１は、４段構成となって
おり、各平均値差分ブロック７１，７２，７３，７４の
メイン画像データとサブ画像データとの差分を取る４個
の差分器で１段目が構成され、２段目が４個の絶対値演
算器で構成されている。２段目の絶対値演算の出力デー
タは、２個毎に３段目の加算器（２個）で加算され、こ
の３段目の２個の加算器の出力データが４段目の最終段
の加算器に入力される。縦加算ブロック８１の最終段の
加算器出力は、加算器とＤ−フリップフロップとを組み
合わせた横加算ブロック８２に入力され、この横加算ブ
ロック８２からシティブロック距離の演算結果が出力さ
れる。

【００２５】以上の構成によるステレオ画像処理装置で
は、図４のタイムチャートに示すように、１００ｍｓ毎
の処理サイクルで距離画像を生成する。

【００２６】すなわち、処理サイクルの初めで画像をサ
ンプルして画像調整を行い、残りの処理時間で必要な領
域の距離画像を生成する。図４の例では、１サイクルで
中央４０ライン分（line00〜line27）すなわち横４２０
画素×縦１６０画素についてのステレオ処理を行うよう
になっており、このステレオ処理では、１ライン分の処
理の先頭で、横４２０×縦１６０画素の元画像の４ライ
ン分について横８×縦４画素の小領域の輝度データの平
均値を求める処理を行う。この平均化処理では、メイン
平均値デュアルポートメモリ５５にメイン元画像の各小
領域の輝度平均値が４０バイト分ストアされ、サブ平均
値デュアルポートメモリ６５には、サブ元画像の各小領
域の輝度平均値が４１３バイト（４２０−７＝バイト）
分ストアされる。

【００２７】メイン元画像に対しては、メイン画像平均
値処理部５０の４バイト加算ブロック５１でメイン元画
像の縦４バイト分を加算し、この加算結果を次段の加算
ブロック５２（加算ブロック５３）のＤ−フリップフロ
ップにラッチされている前回の縦４バイト分のデータに
加算する。これをパイプライン処理で８回繰り返すこと
により、小領域に対する８×４＝３２バイト分の演算を
行い、シフトレジスタでビットシフトして平均値を得
る。２つの加算ブロック５２，５３は、演算遅れによっ
て処理の流れが不均一となることを避けるためバンク切
換えで使用するようにしており、メイン元画像の横３２
０画素まで交互に３２バイト分の演算を行い、マルチプ
レクサ５４を介してメイン平均値デュアルポートメモリ
５５に平均値データ（第１の平均値）が４０バイト（３
２０／８＝４０バイト）分出力される。

【００２８】サブ元画像では、メイン元画像に対して横
８×縦４画素の小領域の平均値を水平走査方向に１画素
ずつずらしながら１００画素ずれまで計算するため、サ
ブ画像平均値処理部６０の４バイト加算ブロック６１で
サブ元画像の縦４バイト分を加算し、次段の加算平均ブ
ロック６２の加算１の加算器で１画素目から８画素目ま
での横８バイト分の加算を実行し、加算２の加算器で２
画素目から９画素目までの横８バイト分の加算を実行
し、加算３の加算器で３画素目から１０画素目までの横
８バイト分の加算を実行し、加算４の加算器で４画素目
から１１画素目までの横８バイト分の加算を実行し、加
算５の加算器で５画素目から１２画素目までの横８バイ
ト分の加算を実行し、加算６の加算器で６画素目から１
３画素目までの横８バイト分の加算を実行し、加算７の
加算器で７画素目から１４画素目までの横８バイト分の
加算を実行し、加算８の加算器で８画素目から１５画素
目までの横８バイト分の加算を実行し、加算９の加算器
で９画素目から１６画素目までの横８バイト分の加算を
実行する。

【００２９】そして、次は、再び、加算１の加算器で１
０画素目から１７画素目までの横８バイト分の加算を実
行するというように、加算１の加算器から加算９の加算
器を順次使用して多段接続したマルチマルチプレクサを
介して加算平均値を出力する。この平均値計算をサブ元
画像の中央部４２０画素分実行し、サブ平均値デュアル
ポートメモリ６５に平均値データ（第２の平均値）が４
１３バイト（４２０−７＝４１３バイト）分出力され
る。

【００３０】次に、ライン処理先頭の平均化処理が終わ
ると、メイン画像での４０個の小領域についてステレオ
処理（area00〜area27）が開始され、シティブロック距
離を演算するシティブロック処理が始まる。このシティ
ブロック処理では、平均値差分ブロック７１，７２，７
３，７４で、それぞれ元画像１ライン分の差分計算が行
われ、メイン画像の小領域内の画素毎の輝度データから
平均値を減算した差分データ群（第１のデータ群）、サ
ブ画像の小領域内の画素毎の輝度データから平均値を減
算した差分データ群（第２のデータ群）の個々のデータ
がステレオマッチング部８０に順次出力される。

【００３１】この処理は、１画素ずれ毎に１００画素ず
れまで順次行われ（dpx00〜dpx64）、ステレオマッチン
グ部８０の縦加算ブロック８１では、初段で平均値差分
ブロック７１，７２，７３，７４からそれぞれ出力され
るメイン画像の差分データからサブ画像の差分データを
減算し、２段目の絶対値演算器で絶対値演算を行い、３
段目の２個の加算器の各々で、２段目の絶対値演算器か
らの２つの同時入力データを加算して４段目で前段の出
力を加算する。

【００３２】そして、縦加算ブロック８１での縦４バイ
ト分の演算結果が横加算ブロック８２に入力され、横８
バイト分の処理に移る（ｒｏｗ加算処理：row00H〜row7
H）。この横加算ブロック８２では、Ｄ−フリップフロ
ップにラッチされている縦４バイト分のデータを順次加
算して８×４＝３２画素分の総和を取り、シティブロッ
ク距離の演算値を出力する。

【００３３】ステレオマッチング部８０から出力された
シティブロック距離は、シティブロック距離チェック部
９０において最小値及び最大値等が評価され、シティブ
ロック距離の最小値が本当に２つの画像の小領域の一致
を示しているものかどうかがチェックされる。そして、
チェック条件を満足し、且つ、シティブロック距離が最
小になる画素ズレ量が有効な距離データとして距離画像
メモリ３５にストアされ、２ライン遅れで局所的な異常
データを排除するための特異点除去フィルタ処理が実施
される。

【００３４】

【発明の効果】以上説明したように本発明によれば、ス
テレオ撮像した元画像に対して予めマッチングを取る小
領域の平均値を取り、小領域内のそれぞれの画素の画像
データから平均値を差分した値によってシティブロック
距離を演算するため、画像の高周波成分のみをマッチン
グ対象として低周波ノイズを除去することができ、２つ
の画像間の輝度の僅かなバランスの狂いの影響、カメラ
やアナログ回路部品の経年変化によるゲイン変化の影響
に対し、ミスマッチングを生じることがなく正確な距離
情報を得ることができる。

【００３５】従って、従来のステレオ処理の前段として
必須であった２系統の画像信号のバラツキ補正に関する
回路が必要なくなり、回路部品点数を減らしてコスト低
減を図ることができるばかりでなく、回路構成の簡素化
により信頼性を向上することができる等優れた効果が得
られる。

【図面の簡単な説明】

【図１】ステレオ処理部のブロック図

【図２】ステレオ画像処理装置の基本構成図

【図３】メイン画像及びサブ画像の小領域のデータを示
す説明図

【図４】画像処理のタイミングチャート

【符号の説明】

１０…ステレオカメラ ３０…ステレオ処理部 ５０…メイン画像平均化処理部 ６０…サブ画像平均化処理部 ７０…平均値差分部 ８０…ステレオマッチング部

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ステレオカメラで撮像した基準画像及び
   比較画像からなる一対の画像に対し、互いの画像の小領
   域間のシティブロック距離を演算して対応する小領域を
   探索し、対応する小領域で対象物までの距離に応じて生
   じる画素ズレ量に基づく遠近情報を数値化した距離画像
   を生成するステレオ画像処理装置において、 上記基準画像の小領域内の各画素の画像データを平均
   し、第１の平均値として算出する手段と、 上記比較画像の小領域内の各画素の画像データを平均
   し、第２の平均値として算出する手段と、 上記基準画像の小領域内の各画素の画像データから上記
   第１の平均値を差分し、第１のデータ群として算出する
   手段と、 上記比較画像の小領域内の各画素の画像データから上記
   第２の平均値を差分し、第２のデータ群として算出する
   手段と、 上記第１のデータ群の各データと上記第２のデータ群の
   各データとの差分の絶対値を総和し、上記シティブロッ
   ク距離を演算する手段とを備えたことを特徴とするステ
   レオ画像処理装置。