JP3348939B2

JP3348939B2 - 車輌用距離検出装置

Info

Publication number: JP3348939B2
Application number: JP29680593A
Authority: JP
Inventors: 敬二実吉
Original assignee: Fuji Jukogyo KK
Current assignee: Subaru Corp
Priority date: 1993-11-26
Filing date: 1993-11-26
Publication date: 2002-11-20
Anticipated expiration: 2017-11-20
Also published as: JPH07152914A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、車外の対象のステレオ
画像対を処理し、距離情報を求める車輌用距離検出装置
に関する。

【０００２】

【従来の技術】従来より、カメラ等の撮像手段を車輌に
搭載し、撮像した画像を処理して車外の状態を認識する
技術の開発が進められており、自車輌と車外の対象物と
の距離を知ることが基本的に必要となっている。このた
め、例えば、特開昭５９−１９７８１６号公報には、２
台のＴＶカメラを車輌前方に取り付け、各々のＴＶカメ
ラの画像について、２次元的な輝度分布パターンから障
害物を検出し、次に、２つの画像上における障害物の位
置のずれを求め、三角測量の原理によって障害物の３次
元位置を算出する、いわゆるステレオ法による車間距離
検出装置が開示されている。

【０００３】このステレオ法による距離計測の技術で
は、ステレオ画像対で対応する部分を求めてその画像上
の位置の差（視差）を計算し（ステレオマッチング）、
この視差を三角測量の原理によって三次元距離情報を求
めるようにしており、特開平２−２１６４１３号公報、
特開平２−２６８２１５号公報等に、ステレオマッチン
グを精度良く行なうための技術が開示されている。

【０００４】

【発明が解決しようとする課題】しかしながら、車外に
様々な物体が存在する車輌の走行環境においては、撮像
したステレオ画像対中に、道路のパイロン列、照明灯、
電柱等の複数の類似物が存在するため、ステレオマッチ
ングの際に対応位置の誤認識を生じ、画面全体に渡る正
確な距離分布が得られないという問題がある。

【０００５】本発明は前記事情に鑑みてなされたもの
で、ステレオ画像対内の複数の類似物による対応位置の
誤認識を修正し、画面全体に渡る正確な距離分布を求め
ることのできる車輌用距離検出装置を提供することを目
的としている。

【０００６】

【課題を解決するための手段】本発明の車輌用距離検出
装置は、車輌に搭載した撮像系で撮像した車外の対象の
ステレオ画像対を処理し、このステレオ画像対の対応位
置のずれ量から三角測量の原理によって距離情報を求め
る車輌用距離検出装置において、前記撮像系で撮像した
ステレオ画像対の一方の画像を基準画像として他方の画
像を比較画像とし、前記基準画像に対する前記比較画像
の対応位置を視線像毎に探索して、ずれ量を求めるステ
レオ画像マッチング手段と、前記ステレオ画像マッチン
グ手段と同期して前記比較画像における同一視線像上の
類似位置を探索し、互いのずれ量を求める比較画像類似
位置探索手段と、前記基準画像における類似位置の順序
は前記比較画像における類似位置の順序と同じであると
して、前記ステレオ画像マッチング手段で求めた対応位
置のずれ量を、前記比較画像類似位置探索手段で求めた
類似位置のずれ量によって修正する対応位置修正手段(2
0c)とを備えたものである。

【０００７】

【作用】本発明では、車輌に搭載した撮像系で撮像した
ステレオ画像対に対し、ステレオ画像マッチング手段で
基準画像に対する比較画像の対応位置を視線像毎に探索
してずれ量を求めるとともに、ステレオ画像マッチング
手段と同期して、比較画像類似位置探索手段により、比
較画像における類似位置を同一視線像上で探索して互い
のずれ量を求める。そして、基準画像における類似位置
の順序が比較画像における類似位置の順序と同じである
として、対応位置修正手段により、ステレオ画像マッチ
ング手段で求めた対応位置のずれ量を比較画像類似位置
探索手段で求めた類似位置のずれ量によって修正し、複
数の類似物による対応位置関係の誤認識を修正して画面
全体に渡って正確な距離分布を求める。

【０００８】

【実施例】以下、図面を参照して本発明の実施例を説明
する。図面は本発明の一実施例に係わり、図１は距離検
出装置の全体構成図、図２は距離検出装置のブロック
図、図３は車輌の正面図、図４はカメラと被写体との関
係を示す説明図、図５はイメージプロセッサの動作を示
すフローチャート、図６は対応位置修正処理のフローチ
ャート、図７は類似領域が無い場合の対応位置修正前後
の状態を示す説明図、図８はマッチングした左右小領域
が類似領域である１回目の場合の対応位置修正前後の状
態を示す説明図、図９及び図１０はマッチングした左右
小領域が類似領域である２回目の場合の対応位置修正前
後の状態を示す説明図、図１１は左右画像における類似
物の対応関係を示す説明図である。

【０００９】図１において、符号１は自動車等の車輌で
あり、この車輌１に搭載される距離検出装置２は、車外
の対象を撮像する撮像系としての左右１組のカメラから
なるステレオ光学系１０と、このステレオ光学系１０に
よって撮像した左右１組のステレオ画像対（以下、単に
ステレオ画像と称する）を処理して外界の距離情報を得
る画像処理装置２０とを備え、例えば図示しない道路・
障害物認識装置等を接続することにより、３次元の距離
情報から道路形状及び障害物を認識して運転者に対する
警告、車体の自動衝突回避等の制御等を行なうことがで
きるようになっている。

【００１０】前記ステレオ光学系１０を構成する左右１
組のカメラは、例えば電荷結合素子（ＣＣＤ）等の固体
撮像素子を用いたＣＣＤカメラであり、図３に示すよう
に、左右画像用としての２台のＣＣＤカメラ１１ａ，１
１ｂ（代表してＣＣＤカメラ１１と表記する場合もあ
る）が、それぞれ車室内の天井前方に一定の間隔をもっ
て取付けられている。

【００１１】また、前記画像処理装置２０は、基準画像
としての右画像に対し、比較画像としての左画像の対応
位置を視線像毎に探索し、この対応位置のずれ量を求め
るステレオ画像マッチング手段２０ａと、このステレオ
画像マッチング手段２０ａと同期して、比較画像として
の左画像における類似位置を同一視線像上で探索し、類
似位置の互いのずれ量を求める比較画像類似位置探索手
段２０ｂと、基準画像としての右画像における類似位置
の順序と、比較画像としての左画像における類似位置の
順序とは同じであるとして、前記ステレオ画像マッチン
グ手段２０ａで求めた対応位置のずれ量を、前記比較画
像類似位置探索手段２０ｂで求めた類似位置のずれ量で
修正する対応位置修正手段２０ｃとから構成されてい
る。尚、左右のＣＣＤカメラ１１ａ，１１ｂの両光学中
心を結ぶ線に平行な線を左右画像上に引き（エピポーラ
ライン）、その線に乗っている像を視線像という。

【００１２】ここで、例えば、車輌１の直近から例えば
１００ｍ遠方まで距離を計測しようとする場合、車室内
のＣＣＤカメラ１１の取付位置を、車輌１のボンネット
先端から２ｍとして、実際には前方２ｍから１００ｍま
での位置を計測できれば良い。すなわち、図４に示すよ
うに、２台のＣＣＤカメラ１１ａ、１１ｂの取付間隔を
ｒとし、２台のカメラ１１ａ，１１ｂの設置面から距離
Ｄにある点Ｐを撮影する場合、２台のカメラ１１ａ，１
１ｂの焦点距離を共にｆとすると、点Ｐの像は、それぞ
れのカメラについて焦点位置からｆだけ離れた投影面に
写る。

【００１３】このとき、右のＣＣＤカメラ１１ｂにおけ
る像の位置から左のＣＣＤカメラ１１ａにおける像の位
置までの距離は、ｒ＋ｘとなり、このｘをずれ量とする
と、点Ｐまでの距離Ｄは、ずれ量ｘから以下の式で求め
ることができる。

【００１４】Ｄ＝ｒ・ｆ／ｘ（１）この左右画像のずれ量ｘは、エッジ、線分、特殊な形
等、何らかの特徴を抽出し、それらの特徴が一致する部
分を見つけ出すことによっても検出できるが、情報量の
低下を避けるため、前記ステレオ画像マッチング手段２
０ａでは、左右画像における同一物体の像を見つけ出す
際に画像を小領域に分割し、それぞれの小領域内の輝度
あるいは色のパターンを左右画像で比較して対応する領
域を見つけ出すことにより、小領域毎の距離分布を全画
面に渡って求める。

【００１５】左右画像の対応度の評価すなわちステレオ
マッチングは、右画像、左画像のｉ番目画素の輝度（色
を用いても良い）を、それぞれ、Ａｉ、Ｂｉとすると、
例えば、以下の（２）式に示すシティブロック距離Ｈを
計算することによって行なうことができ、左右画像の各
小領域間のシティブロック距離Ｈの最小値が所定の条件
を満たすとき、互いの小領域が対応すると判断すること
ができる。

【００１６】Ｈ＝Σ｜Ａｉ−Ｂｉ｜（２）このシティブロック距離Ｈによるステレオマッチングで
は、平均値を減算することによる情報量の低下もなく、
乗算がないことから演算速度を向上させることができる
が、分割すべき小領域の大きさが大き過ぎると、その領
域内に遠方物体と近くの物体とが混在する可能性が高く
なり、検出される距離が曖昧になる。従って、画像の距
離分布を得るためにも分割する領域は小さい方が良い
が、小さ過ぎると逆に対応度を調べるための情報量が不
足する。このため、例えば、１００ｍ先にある幅１．７
ｍの車輌が、隣の車線の車輌と同じ領域内に含まれない
よう、最適な領域の大きさを実際の画像で試行した結
果、例えば５１２×２００画素の画面に対して縦横共に
４画素となる。

【００１７】以下、画像を４×４の小領域で分割してス
テレオマッチングを行なうものとするが、このステレオ
マッチングの際には、撮像したステレオ画像内に複数の
柱等の類似形状の物体が写っていると、左右画像の対応
を誤認識する可能性がある。このため、本発明では、比
較画像としての左画像に対し、前記比較画像類似位置探
索手段２０ｂで小領域毎のシティブロック距離Ｈを求
め、このシティブロック距離Ｈの最小値が所定の条件を
満たすとき、類似物が存在すると判断して該当領域から
類似領域までの画素ずれ量を出力する。

【００１８】この場合、前記ステレオ光学系１０で撮像
されたステレオ画像における複数の類似物は、左画像と
右画像とで並ぶ順序が同じであり、撮像された類似物の
位置関係が左右画像で逆転するのは車輌直前を撮像した
場合のみである。車載の本距離検出装置２では、距離を
検出するのは、せいぜい車輌前方２ｍ程度から以遠で良
く、車輌直前の画像を扱う必要はないため、前記対応位
置修正手段２０ｃによって、前記ステレオ画像マッチン
グ手段２０ａで求めたずれ量を前記比較画像類似位置探
索手段２０ｂで求めたずれ量で修正することにより、撮
像画像内に複数の類似物が存在し、左右画像の対応関係
を誤認識した場合においても、最終的に正しいずれ量を
求めることができる。

【００１９】図２は、画像処理装置２０のハードウエア
構成例を示し、画像処理装置２０は、ステレオ画像マッ
チング手段２０ａ及び比較画像類似位置探索手段２０ｂ
としての機能を実現するイメージプロセッサ３０、対応
位置修正手段２０ｃの機能を実現するマイクロコンピュ
ータ４０、及び、前記イメージプロセッサ３０と前記マ
イクロコンピュータ４０とのインターフェースとなるデ
ュアルポートメモリＤＭ１，ＤＭ２から構成されてい
る。

【００２０】前記イメージプロセッサ３０には、左右画
像用のＣＣＤカメラ１１ａ，１１ｂに対応して、Ａ／Ｄ
コンバータ３１ａ，３１ｂが備えられ、各Ａ／Ｄコンバ
ータ３１ａ，３１ｂに、それぞれ、低輝度部分に対する
コントラスト補正、ＣＣＤアンプの固有ゲインの補正を
行なうためのルックアップテーブル（ＬＵＴ）３２ａ，
３２ｂが接続され、さらに、各ＬＵＴ３２ａ，３２ｂ
に、左画像メモリ３３ａ、右画像メモリ３３ｂがそれぞ
れ接続されている。

【００２１】前記左画像メモリ３３ａの画像データは、
入力バッファメモリ３４ａ，３４ｂを介してシフトレジ
スタ３６，３８に転送され、また、前記右画像メモリ３
３ｂの画像データは、入力バッファメモリ３５ａ，３５
ｂを介してシフトレジスタ３７に転送される。

【００２２】そして、左右画像メモリ３３ａ，３３ｂに
記録された画像データの一部が前記シフトレジスタ３
６，３７を介して繰返し取出されてシティブロック距離
計算回路３９に入力され、左右画像の対応度を評価する
ためのシティブロック距離Ｈlrが計算されると同時に、
左画像メモリ３３ａに記録された画像データの一部が前
記シフトレジスタ３６、３８を介して繰返し取出されて
他のシティブロック距離計算回路４０に入力され、左画
像における類似位置を探索するためのシティブロック距
離Ｈlが計算される。

【００２３】前記各入力バッファメモリ３４ａ，３４
ｂ，３５ａ，３５ｂは、例えば、シティブロック距離計
算の速度に応じた比較的小容量（４ライン分）の入出力
が分離した高速タイプであり、また、前記各シフトレジ
スタ３６，３７，３８は、それぞれ、例えば２×８段構
成のレジスタから構成されている。

【００２４】また、各シティブロック距離計算回路３
９，４０は、それぞれ、例えば、加減算器に入出力ラッ
チをつなげた高速演算器を組み合わせてピラミッド状に
接続したパイプライン構造となっており、例えば８画素
分を同時に入力して計算するようになっている。このピ
ラミッド型構造の初段は、絶対値演算器、２段〜４段
は、それぞれ、第１加算器、第２加算器、第３加算器を
構成し、最終段は総和加算器となっている。

【００２５】さらに、前記各シティブロック距離計算回
路３９，４０で計算されたシティブロック距離Ｈlr,Ｈl
は、それぞれ、最小値検出・チェック回路４１，４２に
入力される。これらの最小値検出・チェック回路４１，
４２は、前記各シティブロック距離計算回路３９，４０
と同様の高速演算器を使用し、この高速演算器に小規模
のＲＩＳＣプロセッサを接続して構成される。

【００２６】一方の最小値検出・チェック回路４１で
は、シティブロック距離Ｈlrの出力と同期してシティブ
ロック距離Ｈlrの最小値を検出し、得られた最小値が本
当に左右小領域の対応を示しているものかどうかを、例
えば、最小値の大きさ、隣接画素間の輝度差等によって
チェックする。すなわち、シティブロック距離計算回路
３９で計算したシティブロック距離Ｈlrが最小となるず
れ量が左右画像の対応する位置のずれ量ｘとなる訳であ
るが、前記最小値検出・チェック回路４１でチェック条
件を満たしたもののみ、デュアルポートメモリＤＭ１の
該当番地にずれ量ｘを出力し、満足しない場合にはデー
タを採用せずに“０”を出力する。

【００２７】前記最小値検出・チェック回路４１による
チェックでは、類似した物体が横にいくつか並んでいる
場合には、左右画像の対応関係の誤認識を防ぎきれな
い。従って、他方の最小値検出・チェック回路４２で
は、左画像における類似位置を探索するためのシティブ
ロック距離Ｈlの出力と同期してシティブロック距離Ｈl
の最小値を検出し、得られた最小値が本当に左画像にお
ける類似領域を示しているものかどうかのチェックを行
ない、チェック条件を満たしたもののみ、デュアルポー
トメモリＤＭ２の該当番地に類似位置のずれ量ｙを出力
し、満足しない場合にはデータを採用せずに”０”を出
力する。

【００２８】さらに、前記マイクロコンピュータ４０
は、マイクロプロセッサ４１に、後述する対応位置修正
処理等の処理プログラムを格納するためのＲＯＭ４２、
計算途中のデータを記憶するためのＲＡＭ４３、処理結
果を記憶する出力用メモリとしてのデュアルポートメモ
リＤＭ３等がバス４４を介して接続されて構成されてお
り、前記デュアルポートメモリＤＭ１，ＤＭ２に書込ま
れたずれ量ｘ，ｙを読込み、左右画像の対応位置を修正
する処理を行なう。

【００２９】すなわち、図１１に示すように、ステレオ
画像内に、例えば２つの類似した柱Ｐ１，Ｐ２が写って
いる場合、前記イメージプロセッサ３０では、左右画像
の対応位置探索の結果、左右画像の柱Ｐ１，Ｐ２の対応
関係を誤認識する可能性があるため、同時に、同じ視線
像上で左画像の柱Ｐ１のａ1点に対して柱Ｐ２のｂ2点が
類似していることを見出しており、複数の類似物の並ぶ
順序（柱Ｐ１，Ｐ２の並ぶ順序）は左右画像で同じであ
るという前提の基に、マイクロコンピュータ４０で複数
の類似物による左右画像の対応関係の誤認識を修正す
る。

【００３０】例えば、右画像の柱Ｐ１，Ｐ２の視線像上
のｃ1点とｄ2点とが、左画像の柱Ｐ１の同じ視線像上の
ａ1点に共に対応すると誤認識した場合には、左画像に
おけるａ1点とｂ2点が類似していることから、右画像の
ｃ1点とｄ2点とはａ1点を介して類似していることがわ
かり、柱Ｐ１，Ｐ２の並ぶ順序が左右画像で同じである
という前提の基に、ａ1点とｃ1点が対応し、ｂ2点とｄ2
点が対応するという正しい対応関係を導き出すことがで
きる。

【００３１】また、右画像のｃ1点とｄ2点とが共に左画
像のｂ2点に対応すると誤認識した場合、さらには、右
画像のｃ1点が左画像のｂ2点に対応し、右画像のｄ2点
が左画像のａ1に対応すると誤認識した場合において
も、同様に、左画像におけるａ1点とｂ2点が類似してい
ることから、右画像のｃ1点とｄ2点とは類似しており、
柱Ｐ１，Ｐ２の並ぶ順序が左右画像で同じであるという
前提の基に、ａ1点とｃ1点が対応し、ｂ2点とｄ2点が対
応するという正しい対応関係を導き出すことができる。

【００３２】これにより、従来、ステレオ法の欠点であ
った複数の類似物による対応関係の誤認識を高速で修正
することができ、画面全体に渡る正確な距離分布を求め
て車外環境のより高度な認識を可能にし、例えば、走行
の妨げとなる障害物の位置や動きを考慮した、より高度
な障害物回避等を実現することができるのである。

【００３３】次に、距離検出装置２の動作について説明
する。図５は、イメージプロセッサ３０の動作の流れを
示すフローチャートであり、まず、ステップS101で左右
のＣＣＤカメラ１１ａ，１１ｂによって撮像した画像を
入力すると、ステップS102へ進み、入力したアナログ画
像をＡ／Ｄコンバータ３１ａ，３１ｂで所定の輝度階調
（例えば２５６階調のグレースケール）を有するデジタ
ル画像に変換する。

【００３４】前記各Ａ／Ｄコンバータ３１ａ，３１ｂに
よって変換されたデジタル画像は、ＬＵＴ３２ａ，３２
ｂで、低輝度部分のコントラスト増強、左右のＣＣＤカ
メラ１１ａ，１１ｂの特性補償等が行なわれ、左右の画
像メモリ３３ａ，３３ｂに記録される。尚、各画像メモ
リ３３ａ，３３ｂに記憶される画像は、ＣＣＤカメラ１
１ａ，１１ｂのＣＣＤ素子の全ラインのうち、その後の
処理に必要なラインのみであり、例えば０．１秒に１回
の割合（テレビ画像で３枚に１枚の割合）で書換えられ
る。

【００３５】その後、左右の画像メモリ３３ａ，３３ｂ
に記録された画像データは、ステップS103で、各画像メ
モリ３３ａ，３３ｂから入力バッファメモリ３４ａ，３
４ｂ，３５ａ，３５ｂへ、例えば４ラインずつ読込ま
れ、左右画像の対応位置の探索と、左画像の類似領域の
探索とが並列に実行される。

【００３６】その際、左右の画像毎に、前記画像メモリ
３３ａ，３３ｂから前記入力バッファメモリ３４ａ，３
４ｂ，３５ａ，３５ｂへの読込み動作と、シフトレジス
タ３６，３７，３８に対する書込み動作とが交互に行な
われる。例えば、左画像メモリ３３ａから一方の入力バ
ッファメモリ３４ａに画像データが読込まれている間
に、他方の入力バッファメモリ３４ｂからシフトレジス
タ３６へ読込んだ画像データの書出しが行なわれ、右画
像メモリ３３ｂから一方の入力バッファメモリ３５ａに
画像データが読込まれている間に、他方の入力バッファ
メモリ３５ｂからシフトレジスタ３７へ読込んだ画像デ
ータの書出しが行なわれる。

【００３７】そして、各シフトレジスタ３６，３７から
８段のうちの偶数段の内容が同時にシティブロック距離
計算回路３９，４０に出力され、左右画像の対応度を評
価するためのシティブロック距離Ｈlr、及び、左画像に
おける類似位置を探索するためのシティブロック距離Ｈ
lの計算が始まると、右画像、左画像のデータが、それ
ぞれ、シフトレジスタ３７，３８内に保持されて、クロ
ック毎に奇数ライン、偶数ラインのデータが交互に出力
される一方、左画像のデータがシフトレジスタ３６に転
送され続け、奇数ライン、偶数ラインのデータが交互に
出力されつつ、２クロック毎に１画素分右のほうにずれ
たデータに置き換わってゆく。

【００３８】この動作を、例えば１００画素分ずれるま
で（２００クロック）繰り返し、その後、一つの小領域
に対する転送が終了すると、図示しないアドレスカウン
タ内の左画像用アドレスカウンタに右画像用アドレスカ
ウンタの内容（次の４×４画素の小領域の先頭アドレ
ス）がセットされ、次の小領域の処理が始まる。

【００３９】各シティブロック距離計算回路３９，４０
では、まず、ピラミッド型構造初段の絶対値演算器に８
画素分のデータを入力し、左右画像の輝度差の絶対値を
計算する。すなわち、右画素の輝度から対応する左画素
の輝度を引き算し、結果が負になった場合、演算命令を
変えることにより、引く方と引かれる方を逆にして再び
引き算を行なうことにより、絶対値の計算を行なう。従
って、初段では引き算を２回行なう場合がある。

【００４０】次いで、初段を通過すると、２段目から４
段目までの第１ないし第３加算器で二つの同時入力デー
タを加算して出力する。そして、最終段の総和加算器で
二つの連続するデータを加え合わせて総和を計算し、必
要とする１６画素分のシティブロック距離Ｈlr,Ｈlを２
クロック毎に出力する。

【００４１】次に、ステップS104へ進み、前記ステップ
S103で検出したシティブロック距離Ｈlr,Ｈlの最小値
を、それぞれ、最小値検出・チェック回路４１，４２で
検出する。この最小値の検出は、クロック毎に送られて
くるシティブロック距離Ｈlr,Ｈlの比較演算結果を保存
しながら、ずれ量ｘが１００になるまで計算が続けら
れ、計算が終了すると、ステップS105へ進む。

【００４２】ステップS105では、シティブロック距離Ｈ
lrの最小値が本当に左右小領域の対応を示しているもの
かどうかを一方の最小値検出・チェック回路４１でチェ
ックするとともに、シティブロック距離Ｈlの最小値が
本当に左画像における類似領域を示しているものかどう
かを他方の最小値検出・チェック回路４２でチェックす
る。

【００４３】そして、左右画像の対応する位置のずれ量
ｘ、及び、左画像における類似位置のずれ量ｙを決定
し、ステップS106で、デュアルポートメモリＤＭ１，Ｄ
Ｍ２に出力する。デュアルポートメモリＤＭ１には、右
小領域の当該番地に左小領域のずれ量ｘが画面の横一列
分保存され、デュアルポートメモリＤＭ２には、左画像
の当該領域に対する類似領域のずれ量ｙが掃引方向を正
として、同様に画面の横一列分保存される。

【００４４】以上のようにイメージプロセッサ３０によ
ってずれ量ｘ，ｙが算出され、画面横一列分のデュアル
ポートメモリＤＭ１，ＤＭ２への書込みが完了すると、
図６に示す対応関係修正処理のプログラムが画面横一列
分毎にマイクロコンピュータ４０で実行され、複数の類
似物によって左右画像の対応関係に誤認識が生じた場合
の修正が行なわれる。

【００４５】以下、図６のフローチャートに従い、マイ
クロコンピュータ４０による対応位置修正処理について
説明する。

【００４６】先ず、ステップS201で、ＲＡＭ４３のワー
クエリアを０に初期化する。このワークエリアは画面横
一列分の変数領域として使用され、デュアルポートメモ
リＤＭ２の当該番地のずれ量ｙの値が０でない場合、す
なわち類似領域がある場合に、後述する修正用データが
書込まれる。

【００４７】次いで、ステップS202へ進み、デュアルポ
ートメモリＤＭ１のａ番地にあるずれ量ｘを読込むと、
ステップS203で、デュアルポートメモリＤＭ２のａ＋ｘ
番地の内容ｙ、すなわち左小領域が類似領域を持つ場合
の該当領域から次の類似領域までのずれ量ｙを読込み、
読込んだ内容ｙをステップS204で０と比較する。

【００４８】前記ステップS204においてデュアルポート
メモリＤＭ２のａ＋ｘ番地の内容ｙが０の場合には、類
似領域が無いため、ステップS205へ進み、図７に示すよ
うに、デュアルポートメモリＤＭ１のａ番地に保存され
ている左右画像のずれ量ｘを修正せず、デュアルポート
メモリＤＭ３のａ番地にそのまま最終結果として書出
す。

【００４９】次に、ステップS212へ進み、デュアルポー
トメモリＤＭ１の処理対象番地を１つ増やすと（ａ←ａ
＋１）、ステップS213で、画面横一列分の処理が終了し
たか否かを判断し、画面横一列分の処理が終了していな
い場合、前記ステップS202へ戻り、画面横一列分の処理
を終了した場合には、プログラムを終了してイメージプ
ロセッサ３０から次の画面横一列分のずれ量ｘ，ｙがデ
ュアルポートメモリＤＭ１，ＤＭ２に書込まれるまで待
機する。

【００５０】一方、前記ステップS204で、デュアルポー
トメモリＤＭ２のａ＋ｘ番地の内容ｙが０でない場合、
すなわち類似領域がある場合には、前記ステップS204か
らステップS206へ分岐してワークエリアのａ＋ｘ番地の
内容ｚを読込み、ステップS207で、この内容ｚを０と比
較する。

【００５１】そして、前記ステップS207で、ワークエリ
アのａ＋ｘ番地の内容ｚが０の場合には、類似領域の処
理が初回であり、左右小領域の対応が正しいか否かを判
断することはできないため、図８に示すように、ステッ
プS208で、ワークエリアのａ＋ｘ，ａ＋ｘ＋ｙ番地に、
それぞれ、ずれ量ｘ，ｘ＋ｙを修正用データとして書込
み、さらに、デュアルポートメモリＤＭ３のａ番地に、
ずれ量ｘをとりあえず修正せずに書込み、前述のステッ
プS212へ進む。

【００５２】すなわち、ワークエリアには、イメージプ
ロセッサ３０で対応付けした右小領域に対する左小領域
が類似領域を持つ場合に、該当する右小領域から各類似
領域までのずれ量が該当する各番地に修正用データとし
て一時的に記憶され、左右小領域の対応関係が誤認識状
態にあるとき、以降の処理で左右小領域のずれ量を修正
するために使用されるのである。

【００５３】また、前記ステップS207で、ワークエリア
のａ＋ｘ番地の内容ｚが０でない場合、すなわち、デュ
アルポートメモリＤＭ１のａ＋ｘ−ｚ番地の右小領域に
対し、現在のａ＋ｘ番地の左小領域が類似領域の一つで
あり、修正用データが既にワークエリアに書込まれてい
るときには、前記ステップS207からステップS209へ分岐
し、デュアルポートメモリＤＭ２のａ＋ｘ番地の内容ｙ
の正負を調べる。

【００５４】そして、前記ステップS209で、デュアルポ
ートメモリＤＭ２のａ＋ｘ番地の内容ｙが正の場合に
は、デュアルポートメモリＤＭ２には、画面の横一列
分、左画像の当該領域に対するずれ量ｙが掃引方向を正
として保存されているため、左画像のａ＋ｘ番地の小領
域は先頭の類似領域であり、イメージプロセッサ３０に
よるステレオマッチングの結果、ａ＋ｘ−ｚ番地の右小
領域とａ番地の右小領域が共にａ＋ｘ番地の左小領域
（先頭の類似領域）に対応するとの誤認識状態、あるい
は、ａ＋ｘ−ｚ番地の右小領域がａ＋ｘ＋ｙ番地の左小
領域（２番目の類似領域）に対応し、ａ番地の右小領域
がａ＋ｘ番地の左小領域（先頭の類似領域）に対応する
との誤認識状態にあることがわかる。

【００５５】従って、左右画像において類似物の並ぶ順
序は同じであるという前提の基に、図９に示すように、
ａ番地の右小領域がａ＋ｘ＋ｙ番地の左小領域（２番目
の類似領域；ａ番地の右小領域からのずれ量ｘ＋ｙ）に
対応し、ａ＋ｘ−ｚ番地の右小領域がａ＋ｘ番地の左小
領域（先頭の類似領域；ａ＋ｘ−ｚ番地の右小領域から
のずれ量＝ワークエリアに記憶されている修正用データ
ｚ）に対応していると判断することができ、前記ステッ
プS209からステップS210へ進んで、デュアルポートメモ
リＤＭ３のａ番地にずれ量ｘ＋ｙを書出し、さらに、デ
ュアルポートメモリＤＭ３のｘ＋ｙ−ｚ番地にずれ量ｚ
を書出して左右画像のずれ量を修正し、前述のステップ
S212へ進む。

【００５６】一方、前記ステップS209で、デュアルポー
トメモリＤＭ２のａ＋ｘ番地の内容ｙが負の場合には、
該当する左小領域は２番目の類似領域であり、イメージ
プロセッサ３０によるステレオマッチングにおいて、ａ
番地の右小領域とａ＋ｘ番地の左小領域（２番目の類似
領域）との対応関係は正しいと判断することができる
が、ａ＋ｘ＋ｙ−ｚ番地の右小領域は先頭の類似領域に
正しく対応していない可能性もある。

【００５７】このため、前記ステップS209からステップ
S211へ進むと、図１０に示すように、デュアルポートメ
モリＤＭ３のａ番地にずれ量ｘを最終結果として書出
し、さらに、デュアルポートメモリＤＭ３のａ＋ｘ＋ｙ
−ｚ番地には、ワークエリアのａ＋ｘ＋ｙ番地に記憶さ
れているずれ量ｙ＋ｚを最終結果として書出し、前述の
ステップS212を経て画面１列分の処理を終了するまで修
正を続行する。

【００５８】尚、本実施例においては、ステレオ画像対
中の類似物が２つの場合について説明したが、本発明は
これに限定されるものではなく、類似物が３つ以上存在
する場合にも、例えば、左画像の当該領域に対する２つ
以上の類似領域のずれ量を保存する番地のポインタをデ
ュアルポートメモリＤＭ２の各番地に書込む等して本発
明を適用することができる。

【００５９】

【発明の効果】以上説明したように本発明によれば、車
輌に搭載した撮像系で撮像したステレオ画像対に対し、
基準画像に対する比較画像の対応位置を視線像毎に探索
して対応位置のずれ量を求めるとともに、比較画像の同
一視線像上の類似位置を同期して探索し、類似位置の互
いのずれ量を求める。そして、基準画像における類似位
置の順序は比較画像における類似位置の順序と同じであ
るとして、求めた対応位置のずれ量を類似位置のずれ量
によって修正するため、ステレオ画像対内の複数の類似
物による対応位置関係の誤認識を修正して画面全体に渡
る正確な距離分布を求めることができる。従って、その
距離分布を利用することにより、車外環境のより高度な
認識を可能にし、例えば、走行の妨げとなる障害物の位
置や動きを考慮した、より高度な障害物回避を実現する
ことができる等優れた効果が得られる。

【図面の簡単な説明】

【図１】距離検出装置の全体構成図

【図２】距離検出装置のブロック図

【図３】車輌の正面図

【図４】カメラと被写体との関係を示す説明図

【図５】イメージプロセッサの動作を示すフローチャー
ト

【図６】対応位置修正処理のフローチャート

【図７】類似領域が無い場合の対応位置修正前後の状態
を示す説明図

【図８】マッチングした左右小領域が類似領域である１
回目の場合の対応位置修正前後の状態を示す説明図

【図９】マッチングした左右小領域が類似領域である２
回目の場合の対応位置修正前後の状態を示す説明図

【図１０】マッチングした左右小領域が類似領域である
２回目の場合の対応位置修正前後の状態を示す説明図

【図１１】左右画像における類似物の対応関係を示す説
明図

【符号の説明】

１０ステレオ光学系（撮像系）２０ａステレオ画像マッチング手段２０ｂ比較画像類似位置探索手段２０ｃ対応位置修正手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩＧ０６Ｔ 7/00 Ｇ０６Ｔ 7/00 ＣＧ０８Ｇ 1/00 Ｇ０８Ｇ 1/00 Ｊ 1/16 1/16 Ｃ (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 B60R 21/00 G01B 11/00 - 11/30 G01C 3/06 G06T 1/00 G08G 1/00 - 1/16

Claims

(57)【特許請求の範囲】

【請求項１】車輌に搭載した撮像系で撮像した車外の
対象のステレオ画像対を処理し、このステレオ画像対の
対応位置のずれ量から三角測量の原理によって距離情報
を求める車輌用距離検出装置において、前記撮像系で撮像したステレオ画像対の一方の画像を基
準画像として他方の画像を比較画像とし、前記基準画像
に対する前記比較画像の対応位置を視線像毎に探索し
て、ずれ量を求めるステレオ画像マッチング手段と、前記ステレオ画像マッチング手段と同期して前記比較画
像における同一視線像上の類似位置を探索し、互いのず
れ量を求める比較画像類似位置探索手段と、前記基準画像における類似位置の順序は前記比較画像に
おける類似位置の順序と同じであるとして、前記ステレ
オ画像マッチング手段で求めた対応位置のずれ量を、前
記比較画像類似位置探索手段で求めた類似位置のずれ量
によって修正する対応位置修正手段とを備えたことを特
徴とする車輌用距離検出装置。