JP3287465B2 - ステレオ画像処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ステレオ画像処理
装置に係り、特に、ステレオ画像により算出された視差
のフィルタリング処理に関する。

【０００２】

【従来の技術】近年、ステレオカメラを用いて自車輌の
前方の情報（プレビュー情報）を取得し、この情報に基
づいて車輌制御を行う車外監視装置が注目されている。
例えば、ステレオ式車外監視装置においては、まず、撮
像された画像対における同一対象物の位置的なずれ（視
差）を算出する（ステレオマッチング）。この算出され
た視差から三角測量の原理を用いてその対象物までの距
離を特定する。そして、画像認識技術を併用することに
より、先行車等との車間距離や道路形状などを認識して
いる。

【０００３】

【発明が解決しようとする課題】ところで、車外には様
々な立体物が存在し、複数の類似した対象物が撮像画像
中に映し出されることも多い。類似した立体物の典型的
な例は、道路のパイロン列、照明灯または電柱等が挙げ
られる。類似した立体物が複数映し出されたステレオ画
像に基づいてステレオマッチングを行うと、ミスマッチ
が生じやすく、誤った視差が算出されてしまう可能性が
ある。

【０００４】この発明は、このような事情に鑑みてなさ
れたもので、その目的は、類似した立体物が複数存在す
るような状況でミスマッチにより誤った視差が算出され
た場合、フィルタリング処理によりそれを除去すること
である。

【０００５】また、この発明の別の目的は、誤って算出
された視差を除去することにより、距離情報の信頼性の
低下を抑制することである。

【０００６】

【課題を解決するための手段】かかる課題を解決するた
めに、本発明は、一対の撮像画像に基づいて視差を算出
するステレオ画像処理装置において、一方の撮像画像に
おける画素ブロック毎に、当該画素ブロックの他方の撮
像画像における相関先を、画素ブロックと同一水平線上
を探索することにより特定するとともに、画素ブロック
の位置と相関先の位置とのずれに基づき画素ブロックの
視差を算出するステレオマッチング手段と、一方の撮像
画像における同一水平線上に位置した複数の画素ブロッ
クの相関先が同一である場合、当該複数の画素ブロック
に関して算出された視差のうち、値が最も小さな視差の
みを有効視差と判断するフィルタ手段とを有するステレ
オ画像処理装置を提供する。

【０００７】ここで、フィルタ手段は、有効視差と判断
されなかった視差のうち、所定値以下の視差については
有効視差と判断することが好ましい。

【０００８】

【発明の実施の形態】図１は、ステレオ式車外監視装置
のブロック図である。車外の景色を撮像するステレオカ
メラ１は、ルームミラーの近傍に取り付けられており、
ＣＣＤ等のイメージセンサを内蔵した一対のカメラ２
ａ，２ｂで構成されている。各カメラ２ａ，２ｂは、車
幅方向において所定の間隔で取り付けられている。基準
画像を得るためのメインカメラ２ａは、車輌の進行方向
に向かって右側に取り付けられている。一方、比較画像
を得るためのサブカメラ２ｂは、進行方向に向かって左
側に取り付けられている。カメラ対２ａ，２ｂの同期が
取れている状態において、各カメラ２ａ，２ｂから出力
されたアナログ画像は、後段の回路の入力レンジに合致
するように、アナログインターフェース３において調整
される。アナログインターフェース３中のゲインコント
ロールアンプ（ＧＣＡ）は、一対のアナログ画像信号の
明るさバランスを調整する。

【０００９】アナログインターフェース３において調整
されたアナログ画像対は、Ａ／Ｄコンバータ４により、
所定の輝度階調（例えば、256階調のグレースケール）
のデジタル画像に変換される。デジタル化された画像対
（ステレオ画像）は、補正回路５において、輝度の補正
および画像の幾何学的な変換等が行われる。通常、ステ
レオカメラ１，２の取付位置は、程度の差こそあれ誤差
があるため、それに起因したずれが左右の画像に存在し
ている。そこで、アフィン変換等を用いて、画像の回転
や平行移動等の幾何学的な変換を行う。これにより、ス
テレオマッチングを行う際の前提となる、画像対におけ
る水平線の一致が保証される。このような画像処理を経
て、メインカメラ２ａの出力信号から、水平方向が512
画素、垂直方向が200画素の基準画像データが生成され
る。また、サブカメラ２の出力信号から、基準画像デー
タと垂直方向長が同じで、基準画像データよりも大きな
水平方向長の比較画像データが生成される（一例とし
て、水平方向が640画素、垂直方向が200画素）。基準画
像データおよび比較画像データは、画像データメモリ７
に格納される。

【００１０】ステレオ演算回路６は、基準画像データと
比較画像データとに基づいて視差を算出する。この視差
は、4×4画素の画素ブロック毎に一つ算出されるため、
一フレームの基準画像全体では128×50個の視差が算出
され得る。基準画像中の一画素ブロックを対象とした場
合、その対象画素ブロックの輝度特性と相関を有する領
域を比較画像を探索することにより特定する（ステレオ
マッチング）。

【００１１】周知のとおり、ステレオ画像に映し出され
た対象物までの距離は、ステレオ画像における視差、す
なわち、基準画像と比較画像との間における水平方向の
ずれ量として現れる。したがって、比較画像の探索を行
う場合、対象画素ブロックの水平位置（ｊ座標）と同じ
水平線（エピポーラライン）上を探索すればよい。ステ
レオ演算回路６は、このエピポーラライン上を一画素ず
つシフトしながら、画素ブロック毎に対象画素ブロック
との相関を評価する。画素ブロック間の相関は、例え
ば、シティブロック距離を算出することで評価でき、基
本的には、その値が最小となるものが相関を有する画素
ブロックである。そして、画素ブロック間の視差が視差
として出力される。なお、シティブロック距離を算出す
るためのハードウェア構成については、特開平５−１１
４００９号公報に開示されているので、必要ならば参照
されたい。以上の手法によって算出された一フレーム分
の視差は、距離データメモリ８に格納される。

【００１２】マイクロコンピュータ９（機能的に捉えた
場合、その機能的ブロックである認識部１０）は、道路
形状（白線）や車輌前方の立体物（走行車）等を認識す
る。この認識は、画像データメモリ７中に記憶された画
像データと視差メモリ８に格納された視差とに基づいて
行われる。また、図示していない車速センサや舵角セン
サからのセンサ情報、或いはナビゲーション情報等も必
要に応じて参照される。道路形状の認識や立体物の認識
に関する具体的な手法については、特開平５−２６５５
４７号公報に開示されているので必要ならば参照された
い。これらの認識結果に基づいて、警報が必要と判定さ
れた場合、モニターやスピーカー等の警報装置１１を作
動させてドライバーに注意を促す。また、必要に応じて
制御装置１２を制御することにより、ＡＴ（自動変速
機）のシフトダウンやエンジン出力の抑制、或いはブレ
ーキの作動といった車輌制御が実行される。

【００１３】ペアリングフィルタ１３は、ステレオ演算
回路５において相関が取れているとされた画素ブロック
間の位置関係の矛盾を検出し、そのような画素ブロック
について算出された視差を除去する。すなわち、図２に
示したように、基準画像における同一水平線上の複数の
画素ブロックＰＢ１，ＰＢ２に関して、これらの相関先
が同一である場合（画素ブロックＰＢ３）、いずれか一
つの画素ブロックに関する視差のみを有効な視差と判断
する。そして、この有効な視差が認識部１０に転送され
る。残りの視差は無効とされる（視差が０に設定され
る）。ステレオ法の原理から、本来、基準画像における
同一水平線上に位置した複数の画素ブロックの相関先が
同じになることはない。しかしながら、道路のパイロン
列、照明灯または電柱といった複数の類似物が映し出さ
れている状況では、複数の画素ブロックＰＢ１，ＰＢ２
が、同一の画素ブロックＰＢ３とマッチしてしまうこと
がある。これにより、誤った視差が算出されてしまう。

【００１４】そこで、ペアリングフィルタ１３は、複数
の画素ブロックＰＢ１，ＰＢ２の相関先が重複している
場合、基本的には、最も小さい視差（画素ブロックＰＢ
２に関する視差）のみを有効とする。そして、それ以外
の視差（画素ブロックＰＢ１に関する視差）は無効とす
る。すなわち、近傍の距離情報よりも遠方の情報の方を
優先するわけである。

【００１５】このように、小さい視差（すなわち遠距離
の情報）の方を優先する理由は、画像中において遠方に
存在する対象物は小さく映るため、その対象物に関して
算出される視差の数が少ないことに起因している。すな
わち、近傍に存在する対象物は比較的大きく映るため、
その対象物に関して比較的多数の視差が算出される傾向
がある。したがって、フィルタリング処理によりいくつ
かを無効にしたとしても、その対象物の距離データが不
足してしまうことはあまりない。これに対して、遠方の
対象物は小さく映る関係上、それの対象物に関して算出
される視差の数はあまり多くない。そのため、遠方の対
象物に関する視差を無効にしてしまうと、その対象物に
関する情報量が不足してしまうおそれがある。そのた
め、個々の視差の重要性は近傍よりも遠方の方が必然的
に高くなる。以上のような理由により、ペアリングフィ
ルタ１３によるフィルタリング処理においては、視差が
小さいものを有効とし、それよりも重要性が低いであろ
う残りの視差を無効にしている。

【００１６】以上に説明したようなペアリングフィルタ
１３を用いることで、複数の類似した対象物が存在する
ような撮像状況においても、ステレオマッチングの際の
ミスマッチングにより誤って算出された視差を適切に除
去することができる。すなわち、フィルタリング処理を
行った結果として、基準画像中の画素ブロックが比較画
像中の同一領域と対応づけられないように（多対一の関
係にならないように）修正することができる。したがっ
て、ペアリングフィルタ１３におけるフィルタリング処
理によって有効と判断された視差の精度は、ステレオ演
算回路６において算出された視差の精度よりも高くな
る。

【００１７】また、算出される視差数が相対的に少ない
遠方の情報を優先することにより、重要な距離情報の欠
如を招くことを防止することができる。そして、このよ
うなフィルタリング処理を通じて得られた有効視差に基
づいて車外監視を行えば、その監視精度の向上を図るこ
とができるという効果がある。

【００１８】なお、このような観点でいえば、一定値以
下の視差（比較的遠方の対象物に関する情報）が複数存
在する場合は、いずれも有効視差とすることが好まし
い。

【００１９】図３は、フィルタリング処理手順を示した
フローチャートである。また、図４は、一ライン分の視
差の修正を説明するための図である。まず、ステップ１
において初期化が行われる。すなわち、カウンタｉを０
にリセットするとともに、配列Ｃをクリアする。配列Ｃ
は、基準画像における一水平ライン分の画素ブロックに
ついて算出された視差の対応関係を評価するためのワー
クエリアであり、比較画像の水平画素数と同数の配列要
素Ｃ[0]〜Ｃ[639]で構成される。

【００２０】つぎに、ステップ２において、配列Ｄに一
水平ライン分の視差データが取り込まれる。配列Ｄは、
基準画像における水平方向の画素ブロック数と同数の配
列要素Ｄ[0]〜Ｄ[127]で構成されている。図４（ａ）に
示したように、配列要素Ｄ[0]の視差は8である。各配列
要素Ｄ[i]（0≦ｉ≦127）は画素ブロックに相当し、画
素ブロックの水平画素数は４である。したがって、配列
要素Ｄ[0]の相関先は配列要素Ｃ[8]となる（0×4＋
8）。一方、配列要素Ｄ[1]の視差は4であるから、配列
要素Ｄ[1]の相関先も、配列要素Ｄ[0]と同様に配列要素
Ｄ[8]となる（同一相関先）。したがって、以下のステ
ップ３からステップ９までの一連の手順によって、配列
要素Ｄ[0]の視差8を無効にする。

【００２１】ステップ３において、変数ｅに配列要素Ｃ
[4×i＋Ｄ[i]]の値をセットする。ｉの初期値は０であ
り、配列要素Ｄ[0]は8であるから、ｅには8がセットさ
れる。

【００２２】そして、ステップ４において変数ｅが0で
あるか否かが判断される。ｉは０なのでステップ６に進
み、配列要素Ｄ[i]の値を配列要素Ｃ[4×i＋Ｄ[i]]にセ
ットする。ここでは、図４（ｂ）に示したように、配列
要素Ｄ[0]、すなわち8が配列要素Ｃ[8]にセットされ
る。配列要素Ｃ[j]（0≦ｊ≦639）に値がセットされる
ということは、その要素Ｃ[j]を相関先とする配列要素
Ｄ[i]が存在するということである。

【００２３】ステップ４に続くステップ５において、カ
ウンタｉをインクリメントした後に（すなわちｉは1に
なる）、カウンタｉが128であるか否か、すなわち基準
画像の一水平ライン分の評価が終了したか否かが判断さ
れる。ｉは1であるから、ステップ３へ戻る。

【００２４】ステップ３において、配列要素Ｃ[4×1＋
Ｄ[1]]の値、すなわち8が読み出され、8が変数ｅにセッ
トされる。変数ｅに0以外の値がセットされるというこ
とは、今回評価対象となっている配列要素Ｄ[i]（ｉ＝1
の場合はＤ[1]）以前に、同一の相関先を有する別の配
列要素が既に存在するということを意味している。した
がって、この場合は、ステップ４における否定判定から
ステップ５に進み、視差の大きい方の配列要素の値を0
にセットする。すなわち、配列要素Ｄ[i−(ｅ−Ｄ[i]／
4)]に0をセットする。ここではｉ＝1であるから、配列
要素Ｄ[1−(8−4)／4]、すなわち配列要素Ｄ[0]に0がセ
ットされる（図４（ｃ）参照）。これにより、大きい方
の視差8が除去される。そして、ステップ６において、
配列要素Ｄ[1]（＝4）が、配列要素Ｃ[4×1＋Ｄ[1]]、
すなわち配列要素Ｃ[8]にセットされる。

【００２５】以上のような手順を繰り返してカウンタｉ
が128になったら、すなわち一水平ラインにおける視差
の評価が完了したらステップ９に進む。そして、修正さ
れた配列Ｄを一ライン分の視差データとして出力して処
理を終了する。

【００２６】このように、図３のフローチャートに示し
たフィルタリング処理を１フレーム中のすべての水平ラ
イン（50本）について行う。

【００２７】なお、ペアリングフィルタ１３において視
差の除去数（無効とされた視差の数）が多いということ
は、算出されたステレオ演算回路６において算出された
視差の信頼性に問題があるということを意味している。
したがって、ペアリングフィルタ１３において無効とさ
れた視差数をカウントし、１ライン分（または１フレー
ム分）の無効視差数を求める。そして、これを視差の信
頼性指数して用いれば、より適切な車外監視制御を行う
ことができる。例えば、本出願人による先願である特願
平１１−２４２８１２号に記載されているように、この
信頼性指数を、輝度変化量の判定しきい値ＤＣＤＸthの
設定に用いることができる。また、この信頼性指数に基
づいて、認識部１０における視差データの重み付けを行
うような手法も考えられる。

【００２８】さらに、図３のフローチャートにおいて
は、視差の評価を行うためのワークエリアである配列Ｃ
は640個の配列要素Ｃ[j]が必要となる。しかしながら、
図３に示したステップ３，５および６の各手順を以下の
ように変更すれば、ワークエリアを１／４に縮小するこ
とができる。この場合における配列Ｃはｉ個の要素要素
Ｃ[i]（0≦i≦160）で構成される。

【００２９】（ステップ３） ｅ←Ｃ[i−（Ｄ[i]＋2）／4] （ステップ５） Ｄ[i−（ｅ−（Ｄ[i]＋2）／4）×4]←０ （ステップ６） Ｃ[i＋（Ｄ[i]＋2）／4]←（Ｄ[i]＋2）／4

【００３０】

【発明の効果】このように、本発明では、類似した立体
物が複数存在するような状況でミスマッチにより誤った
視差が算出された場合、フィルタリング処理によりそれ
を除去することができる。そして、誤って算出された視
差を除去することで、距離情報（視差）の信頼性の低下
を抑制することができる。

【図面の簡単な説明】

【図１】ステレオ式車外監視装置のブロック図

【図２】ペアリングフィルタの原理を説明するための図

【図３】フィルタリング処理手順を示したフローチャー
ト

【図４】一ライン分の視差の修正を説明するための図

【符号の説明】

１ ステレオカメラ、 ２ａ メインカメ
ラ、２ｂ サブカメラ、 ３ アナロ
グインターフェース、４ Ａ／Ｄコンバータ、
５ 補正回路、６ ステレオ演算回路、
７ 画像データメモリ、８ 距離データメモリ、
９ マイクロコンピュータ、１０ 認識部、
１１ 警報装置、１２ 制御装置、
１３ ペアリングフィルタ

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 G06T 1/00 G01B 11/00 - 11/30 B60R 21/00 G08G 1/00 - 1/16 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】一対の撮像画像に基づいて視差を算出する
   ステレオ画像処理装置において、 一方の撮像画像における画素ブロック毎に、当該画素ブ
   ロックの他方の撮像画像における相関先を、前記画素ブ
   ロックと同一水平線上を探索することにより特定すると
   ともに、前記画素ブロックの位置と前記相関先の位置と
   のずれに基づき前記画素ブロックの視差を算出するステ
   レオマッチング手段と、 一方の撮像画像における同一水平線上に位置した複数の
   画素ブロックの相関先が同一である場合、当該複数の画
   素ブロックに関して算出された視差のうち、値が最も小
   さな視差を有効視差と判断するフィルタ手段とを有する
   ことを特徴とするステレオ画像処理装置。
2. 【請求項２】前記フィルタ手段は、前記有効視差と判断
   されなかった視差のうち、所定値以下の視差については
   有効視差と判断することを特徴とする請求項１に記載さ
   れたステレオ画像処理装置。