JPH07120255A - 車輌用距離検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 ステレオ画像による距離計測に際し、距離分
布の空間分解能を向上してより高度な画像認識を可能に
する。 【構成】 ステレオ光学系１０によって車外の設定範囲
内の対象を撮像すると、撮像した左右画像に対し、小領
域距離画像生成装置２０ａで、左右画像のずれ量を決定
するためのシティブロック距離を計算して最小値を検出
し、この最小値が左右小領域の一致を示すものであるか
否かをチェックして小領域単位のずれ量を決定する。決
定した小領域単位のずれ量は、小領域内マッチング装置
２０ｂに読み込まれ、右画像小領域内の画素に対し、対
応する左画像小領域内の同じライン上で略同じ輝度の画
素を探索して右画像小領域の画素に対してどの位ずれて
いるかを求めた後、求めたずれ量を小領域単位のずれ量
に加算して画素単位のずれ量が求められる。これによ
り、距離分布の空間分解能を向上してより高度な画像認
識を可能にすることができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ステレオ法による距離
分布の空間分解能を向上する車輌用距離検出装置に関す
る。

【０００２】

【従来の技術】従来より、カメラ等の撮像手段を車輌に
搭載し、撮像した画像を処理して車外の状態を認識する
技術の開発が進められており、自車輌と車外の対象物と
の距離を知ることが基本的に必要となっている。このた
め、例えば、特開昭５９−１９７８１６号公報には、２
台のＴＶカメラを車輌前方に取り付け、各々のＴＶカメ
ラの画像について、２次元的な輝度分布パターンから障
害物を検出し、次に、２つの画像上における障害物の位
置のずれを求め、三角測量の原理によって障害物の３次
元位置を算出する、いわゆるステレオ法による車間距離
検出装置が開示されている。

【０００３】このステレオ画像による距離計測の技術で
は、特開平２−２６８２１５号公報に開示されているよ
うに、被測定物を異なった位置から撮影した２枚の画像
に対し、画像を複数のブロック（小領域）に分割して最
も相関度の高いブロック間の位置ずれ量を求め、この位
置ずれ量から三角測量の原理により対象物までの奥行き
方向の距離を得るようにしている。

【０００４】

【発明が解決しようとする課題】しかしながら、ステレ
オ法によって求めた距離分布は、小領域内で全て同じ距
離となるため、遠方の対象物、例えば道路の白線がかな
りの距離に渡って同じ距離として検出されたり、前方車
輌の側面が後ろから前まで同じ距離として検出され、道
路形状の認識処理や障害物認識処理の際にハンチングが
発生して正確な認識の妨げになる等の不都合を生じる。

【０００５】本発明は前記事情に鑑みてなされたもの
で、ステレオ画像による距離計測に際し、距離分布の空
間分解能を向上してより高度な画像認識を可能にする車
輌用距離検出装置を提供することを目的としている。

【０００６】

【課題を解決するための手段】本発明は、車輌に搭載し
た撮像系によって車外の対象を異なる位置から撮像し、
撮像した１組の画像を処理して対応する位置のずれ量か
ら三角測量の原理により距離情報を求める車輌用距離検
出装置において、前記撮像系で撮像した１組の画像に対
し、画像を複数の小領域に分割して互いに対応する小領
域を探索し、小領域単位のずれ量を求める小領域マッチ
ング手段と、前記互いに対応する小領域に対し、画像の
同一ライン上で輝度差が最小となる画素を探索して各画
素間のずれ量を求め、このずれ量に前記小領域マッチン
グ手段で求めた小領域単位のずれ量を加算して画素単位
のずれ量を求める小領域内マッチング手段とを備えたこ
とを特徴とする。

【０００７】

【作用】本発明では、車輌に搭載した撮像系で撮像した
１組の画像に対し、まず、画像を複数の小領域に分割し
て対応する小領域を探索し、小領域単位のずれ量を求め
る。次に、互いに対応する小領域に対し、画像の同一ラ
イン上で輝度差が最小となる画素を探索して各画素間の
ずれ量を求める。そして、求めた画素間のずれ量に小領
域単位のずれ量を加算して画素単位のずれ量を求め、三
角測量の原理により画素毎の距離を求める。

【０００８】

【実施例】以下、図面を参照して本発明の実施例を説明
する。図面は本発明の一実施例に係わり、図１は距離検
出装置の全体構成図、図２は距離検出装置の回路構成
図、図３は車輌の正面図、図４はカメラと被写体との関
係を示す説明図、図５はシティブロック距離計算回路の
説明図、図６は最小値検出回路のブロック図、図７は左
右画像における小領域の画素毎のずれを示す説明図、図
８は小領域マッチング処理のフローチャート、図９はシ
フトレジスタ内の保存順序を示す説明図、図１０はシテ
ィブロック距離計算回路の動作を示すタイミングチャー
ト、図１１はずれ量決定部の動作を示すタイミングチャ
ート、図１２は小領域マッチング処理全体の動作を示す
タイミングチャート、１３及び図１４は小領域内マッチ
ング処理のフローチャートである。

【０００９】図１において、符号１は自動車などの車輌
であり、この車輌１に、車外の対象を撮像する撮像系と
してのステレオ光学系１０と、このステレオ光学系１０
によって撮像した画像を処理し、小領域単位のずれ量を
求める小領域マッチング手段としての小領域距離画像生
成装置２０ａと、この小領域距離画像生成装置２０ａで
距離を求めた小領域に対し、各小領域内の画素単位のず
れ量を求める小領域内マッチング手段としての小領域内
マッチング装置２０ｂとから構成される距離検出装置２
が搭載されている。

【００１０】そして、前記距離検出装置２に、例えば図
示しない道路・障害物認識装置などを接続して、３次元
の距離情報から道路形状及び障害物を認識することによ
り、運転者に対する警告、車体の自動衝突回避等の制御
等を行なうことができるようになっている。

【００１１】前記ステレオ光学系１０は、例えば電荷結
合素子（ＣＣＤ）等の固体撮像素子を用いたカメラによ
り構成され、図３に示すように、遠距離の左右画像用と
しての２台のＣＣＤカメラ１１ａ，１１ｂ（代表してＣ
ＣＤカメラ１１と表記する場合もある）が、それぞれ車
室内の天井前方に一定の間隔をもって取り付けられると
ともに、近距離の左右画像用としての２台のＣＣＤカメ
ラ１２ａ，１２ｂ（代表してＣＣＤカメラ１２と表記す
る場合もある）が、それぞれ、遠距離用のＣＣＤカメラ
１１ａ，１１ｂの内側に一定の間隔をもって取り付けら
れている。

【００１２】前記ステレオ光学系１０として、直近から
例えば１００ｍ遠方までの距離計測を行なう場合、車室
内のＣＣＤカメラ１１，１２の取付位置を、例えば、車
輌１のボンネット先端から２ｍとすると、実際には前方
２ｍから１００ｍまでの位置を計測できれば良い。

【００１３】すなわち、図４に示すように、遠距離用の
２台のＣＣＤカメラ１１ａ、１１ｂの取付間隔をｒとし
て、２台のカメラ１１ａ，１１ｂの設置面から距離Ｄに
ある点Ｐを撮影する場合、２台のカメラ１１ａ，１１ｂ
の焦点距離を共にｆとすると、点Ｐの像は、それぞれの
カメラについて焦点位置からｆだけ離れた投影面に写
る。

【００１４】このとき、右のＣＣＤカメラ１１ｂにおけ
る像の位置から左のＣＣＤカメラ１１ａにおける像の位
置までの距離は、ｒ＋ｘとなり、このｘをずれ量とする
と、点Ｐまでの距離Ｄは、ずれ量ｘから以下の式で求め
ることができる。

【００１５】 Ｄ＝ｒ・ｆ／ｘ （１） この左右画像のずれ量ｘを検出するには、左右画像にお
ける同一物体の像を見つけ出す必要があり、次に述べる
小領域距離画像生成装置２０ａでは、画像を小領域に分
割し、それぞれの小領域内の輝度あるいは色のパターン
を左右画像で比較して一致する領域を見つけ出し、その
後、小領域内マッチング装置２０ｂで小領域内の画素毎
の距離分布を求め、画素毎の距離分布を全画面に渡って
求める。すなわち、従来のように、エッジ、線分、特殊
な形等、何らかの特徴を抽出し、それらの特徴が一致す
る部分を見つけ出すことによる情報量の低下を避けるの
である。

【００１６】ここで、左右画像の一致度は、右画像、左
画像のｉ番目画素の輝度（色を用いても良い）を、それ
ぞれ、Ａｉ、Ｂｉとすると、例えば、以下の（２）式に
示すシティブロック距離Ｈによって評価することができ
る。このシティブロック距離Ｈによる左右画像の一致度
評価では、平均値の採用による情報量の低下もなく、乗
算がないことから演算速度を向上させることができる。

【００１７】 Ｈ＝Σ｜Ａｉ−Ｂｉ｜ （２） また、分割すべき小領域の大きさとしては、大きすぎる
と、その領域内に遠方物体と近くの物体が混在する可能
性が高くなり、検出される距離が曖昧になる。画像の距
離分布を得るためにも領域は小さい方が良いが、小さす
ぎると、一致度を調べるための情報量が不足する。

【００１８】このため、例えば、１００ｍ先にある幅
１．７ｍの車輌が、隣の車線の車輌と同じ領域内に含ま
れないように、４つに分割される画素数を領域横幅の最
大値とすると、前記ステレオ光学系１０に対して４画素
となる。この値を基準に最適な画素数を実際の画像で試
行した結果、縦横共に４画素となる。

【００１９】以下の説明では、画像を４×４の小領域で
分割して左右画像の一致度を調べるものとし、ステレオ
光学系１０は、遠距離用のＣＣＤカメラ１１で代表する
ものとする。

【００２０】図２に示すように、小領域距離画像生成装
置２０ａは、前記ステレオ光学系１０で撮像したアナロ
グ画像をデジタル画像に変換する画像変換部３０、この
画像変換部３０からの画像データに対し、左右画像のず
れ量ｘを決定するためのシティブロック距離Ｈを画素を
一つずつずらしながら次々と計算する一致度計算部とし
てのシティブロック距離計算部４０、シティブロック距
離Ｈの最小値ＨMIN 及び最大値ＨMAX を検出する最小・
最大値検出部５０、この最小・最大値検出部５０で得ら
れた最小値ＨMIN が左右小領域の一致を示すものである
か否かをチェックしてずれ量ｘを決定するずれ量決定部
６０を備えている。

【００２１】前記画像変換部３０には、左右画像用のＣ
ＣＤカメラ１１ａ，１１ｂに対応してＡ／Ｄコンバータ
３１ａ，３１ｂが備えられ、各ＣＣＤカメラ１１ａ，１
１ｂからのアナログ信号が、各Ａ／Ｄコンバータ３１
ａ，３１ｂでデジタル信号に変換され、さらに、各Ａ／
Ｄコンバータ３１ａ，３１ｂの出力が、ルックアップテ
ーブル（ＬＵＴ）３２ａ，３２ｂに入力されるようにな
っている。

【００２２】前記Ａ／Ｄコンバータ３１ａ，３１ｂは、
例えば８ビットの分解能を有し、ＣＣＤカメラ１１から
のアナログ画像を、所定の輝度階調を有するデジタル画
像に変換する。すなわち、処理の高速化のため画像の二
値化を行なうと、左右画像の一致度を計算するための情
報が著しく失われるため、例えば２５６階調のグレース
ケールに変換するのである。

【００２３】また、前記各ＬＵＴ３２ａ，３２ｂはＲＯ
Ｍ上に構成され、前記各Ａ／Ｄコンバータ３１ａ，３１
ｂでデジタル量に変換されたデジタル画像のデータのビ
ット数と同じビット数のアドレスをそれぞれ有し、入力
データと等しいアドレスの内容に、低輝度部分に対する
コントラスト補正、ＣＣＤアンプの固有ゲイン補正等を
施したデータが書き込まれている。例えば８ビットの画
像データを、前記ＬＵＴ３２ａ，３２ｂのアドレスとし
て与えると、低輝度部分のコントラストを増強し、左右
のＣＣＤカメラ１１ａ，１１ｂの特性の違いを補正した
８ビットのデータを読み出すことができる。

【００２４】そして、ＬＵＴ３２ａ，３２ｂで変換され
たデジタル画像信号は、後述する＃１アドレスコントロ
ーラ８６によってアドレス指定され、左右の画像メモリ
３３ａ，３３ｂに記録されるとともに、後述するデュア
ルポートメモリ９０に記録される。前記画像メモリ３３
ａ，３３ｂは、共通バス８０に接続され、この共通バス
８０を介して、シティブロック距離計算部４０に画像デ
ータが転送される。尚、左右画像メモリ３３ａ，３３ｂ
は、シティブロック距離計算部４０において画像の一部
を繰り返し取り出して処理するため、比較的低速のメモ
リから構成することができ、コスト低減を図ることがで
きる。

【００２５】一方、シティブロック距離計算部４０で
は、前記画像変換部３０の左画像メモリ３３ａに、共通
バス８０を介して２組の入力バッファメモリ４１ａ，４
１ｂが接続されるとともに、右画像メモリ３３ｂに、共
通バス８０を介して２組の入力バッファメモリ４２ａ，
４２ｂが接続されている。

【００２６】前記各入力バッファメモリ４１ａ，４１
ｂ，４２ａ，４２ｂは、シティブロック距離計算の速度
に応じた比較的小容量の入出力が分離した高速タイプで
あり、これらの入力バッファメモリ４１ａ，４１ｂ，４
２ａ，４２ｂ、及び、画像メモリ３３ａ，３３ｂに、ク
ロック発生回路８５から供給されるクロックに従って＃
１アドレスコントローラ８６から発生されるアドレスが
共通に与えられる。

【００２７】前記左画像用の各入力バッファメモリ４１
ａ，４１ｂには、２組の例えば８段構成のシフトレジス
タ４３ａ，４３ｂが接続され、右画像用の各入力バッフ
ァメモリ４２ａ，４２ｂには、同様に、２組の例えば８
段構成のシフトレジスタ４４ａ，４４ｂが接続されてい
る。さらに、これら４組のシフトレジスタ４３ａ，４３
ｂ，４４ａ，４４ｂには、シティブロック距離を計算す
るシティブロック距離計算回路４５が接続されており、
これら４組のシフトレジスタ４３ａ，４３ｂ，４４ａ，
４４ｂと前記各入力バッファメモリ４１ａ，４１ｂ，４
２ａ，４２ｂとの間のデータ転送は、＃２アドレスコン
トローラ８７によって制御される。

【００２８】また、前記右画像用のシフトレジスタ４４
ａ、４４ｂには、後述するずれ量決定部６０の２組の１
０段構成のシフトレジスタ６４ａ，６４ｂが接続されて
おり、次の小領域のデータ転送が始まると、シティブロ
ック距離Ｈの計算の終わった古いデータはこれらのシフ
トレジスタ６４ａ，６４ｂに送られ、ずれ量ｘの決定の
際に用いられる。

【００２９】また、シティブロック距離計算回路４５
は、加減算器に入出力ラッチをつなげてワンチップ化し
た高速ＣＭＯＳ型演算器４６を組み合わせており、図５
に詳細が示されるように、演算器４６を１６個ピラミッ
ド状に接続したパイプライン構造で、例えば８画素分を
同時に入力して計算するようになっている。このピラミ
ッド型構造の初段は、絶対値演算器、２段〜４段は、そ
れぞれ、第１加算器、第２加算器、第３加算器を構成
し、最終段は総和加算器となっている。尚、図５におい
ては、絶対値計算と１，２段目の加算器は半分のみ表示
している。

【００３０】このシティブロック距離Ｈの計算をコンピ
ュータのソフトウエアで行なう場合、右画像の一つの小
領域に対して左画像の小領域を次々に探索し、これを右
画像の小領域全部について行なう必要があり、この計算
を例えば０．０８秒で行なうとすると、一画素当たり例
えば５ステップのプログラムで、５００ＭＩＰＳ（Mega
Instruction Per Second ）の能力が要求される。これ
は現在の一般的なシスク（ＣＩＳＣ）タイプのマイクロ
プロセッサでは実現不可能な数字であり、リスク（ＲＩ
ＳＣ）プロセッサ、デジタルシグナルプロセッサ（ＤＳ
Ｐ）、あるいは、並列プロセッサなどを用いなければな
らなくなる。

【００３１】前記最小・最大値検出部５０は、シティブ
ロック距離Ｈの最小値ＨMIN を検出する最小値検出回路
５１とシティブロック距離Ｈの最大値ＨMAX を検出する
最大値検出回路５２とを備えており、前記シティブロッ
ク距離計算回路４５で使用する演算器４６を最小値、最
大値検出用として２個使用した構成となっており、シテ
ィブロック距離Ｈの出力と同期が取られるようになって
いる。

【００３２】図６に示すように、最小値検出回路５１
は、具体的には、Ａレジスタ４６ａ、Ｂレジスタ４６
ｂ、及び、算術論理演算ユニット（ＡＬＵ）４６ｃから
なる演算器４６に、Ｃラッチ５３，ラッチ５４，Ｄラッ
チ５５を接続して構成され、シティブロック距離計算回
路４５からの出力が、Ａレジスタ４６ａと、Ｃラッチ５
３を介してＢレジスタ４６ｂとに入力され、ＡＬＵ４６
ｃの出力の最上位ビット（ＭＳＢ）がラッチ５４に出力
される。このラッチ５４の出力は、Ｂレジスタ４６ｂ及
びＤラッチ５５に出力され、演算器４６での最小値計算
の途中の値が、Ｂレジスタ４６ｂに保存されるととも
に、そのときのずれ量ｘがＤラッチ５５に保存されるよ
うになっている。尚、最大値検出回路５２については、
論理が逆になることと、ずれ量ｘを保存しないこと以外
は、最小値検出回路５１と同様の構成である。

【００３３】前述したようにシティブロック距離Ｈは、
一つの右画像小領域に対し、左画像小領域を１画素ずつ
ずらしながら順次計算されていく。そこで、シティブロ
ック距離Ｈの値が出力される毎に、これまでの値の最大
値ＨMAX 、最小値ＨMIN と比較、更新することによっ
て、最後のシティブロック距離Ｈの出力とほぼ同時に、
その小領域におけるシティブロック距離Ｈの最大値ＨMA
X 、最小値ＨMIN が求まるようになっている。

【００３４】前記ずれ量決定部６０は、比較的小規模の
ＲＩＳＣプロセッサとして構成され、演算器６１を中心
として、２本の１６ビット幅データバス６２ａ，６２
ｂ、ずれ量ｘを保持するラッチ６３ａ、第１の規定値と
してのしきい値Ｈa を保持するラッチ６３ｂ、第２の規
定値としてのしきい値Ｈb を保持するラッチ６３ｃ、第
３の規定値としてのしきい値Ｈc を保持するラッチ６３
ｄ、右画像の輝度データを保持する２組のシフトレジス
タ６４ａ，６４ｂ、演算器６１の出力を受けてずれ量ｘ
または”０”を出力するスイッチ回路６５、そして出力
された結果を一時保存する出力バッファメモリ６６ａ，
６６ｂ、回路の動作タイミングや演算器６１の機能の制
御プログラムが書き込まれた１６ビット幅のＲＯＭ６７
が備えられている。

【００３５】前記演算器６１は、ＡＬＵ７０を中心とし
て、Ａレジスタ７１、Ｂレジスタ７２、Ｆレジスタ７
３、及び、セレクタ７４からなり、前記データバス６２
ａ（以下、Ａバス６２ａとする）にＡレジスタ７１が接
続されるとともに、前記データバス６２ｂ（以下、Ｂバ
ス６２ｂとする）にＢレジスタ７２が接続され、ＡＬＵ
７０の演算結果で前記スイッチ回路６５を作動し、ずれ
量ｘまたは“０”が前記出力バッファメモリ６６ａ，６
６ｂに格納されるようになっている。

【００３６】前記Ａバス６２ａには、各しきい値Ｈa 、
Ｈb 、Ｈc を保持するラッチ６３ｂ，６３ｃ，６３ｄ、
前記最大値検出回路５２が接続され、前記Ｂバス６２ｂ
には、前記最小値検出回路５１が接続されている。さら
に、前記Ａバス６２ａ及びＢバス６２ｂには、前記各シ
フトレジスタ６４ａ，６４ｂが接続されている。

【００３７】また、前記スイッチ回路６５には、前記演
算器６１が接続されるとともに、前記ラッチ６３ａを介
して前記最小値検出回路５１が接続され、後述する３つ
のチェック条件が演算器６１で判定され、その判定結果
に応じて前記出力バッファメモリ６６ａ，６６ｂへの出
力が切り換えられる。

【００３８】このずれ量決定部６０では、得られたシテ
ィブロック距離Ｈの最小値ＨMIN が本当に左右小領域の
一致を示しているものかどうかチェックを行い、条件を
満たしたもののみ、出力バッファメモリ６６ａ，６６ｂ
の対応する画素の位置にずれ量ｘを出力する。

【００３９】すなわち、シティブロック距離Ｈが最小と
なるずれ量が求めるずれ量ｘとなる訳であるが、以下の
３つのチェック条件を満足した場合にずれ量ｘを出力
し、満足しない場合には、データを採用せずに“０”を
出力する。

【００４０】（１）ＨMIN ≦Ｈa （ＨMIN ＞Ｈa のとき
には距離を検出できず。） （２）ＨMAX −ＨMIN ≧Ｈb （得られた最小値ＨMIN が
ノイズによる揺らぎより明らかに低くなっていることを
チェックするための条件であり、最小値ＨMINの近傍の
値との差でなく、最大値ＨMAX との差をチェック対象と
することにより、 曲面などの緩やかに輝度の変わる物
体に対しても距離検出が行なえる。） （３）右画像の小領域内の横方向の隣接画素間の輝度差
＞Ｈc （しきい値Ｈc を大きくするとエッジ検出となる
が、輝度が緩やかに変化している場合にも対応可能なよ
うに、しきい値Ｈc は通常のエッジ検出レベルよりはず
っと低くしてある。この条件は、輝度変化のない部分で
は、距離検出が行なえないという基本的な原理に基づい
ており、小領域中の画素毎に行なわれるため、小領域の
中でも実際に距離の検出された画素のみが採用されるこ
とになり、自然な結果が得られる。）尚、このずれ量決
定の処理も、通常のマイクロプロセッサでソフト的に行
おうとすると、例えば２７ＭＩＰＳの速さが必要とな
り、実行不可能である。

【００４１】以上のずれ量決定部６０から出力される小
領域単位のずれ量ｘは、共通バス８０を介して小領域内
マッチング装置２０ｂとのインターフェースとなるデュ
アルポートメモリ９０へ出力され、左右画像に対応する
アドレスに記録される。

【００４２】一方、前記小領域内マッチング装置２０ｂ
は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、出力
デュアルポートメモリ１０４がバス１００を介して互い
に接続されたマイクロコンピュータからなり、バス１０
０に前記小領域距離画像生成装置２０ａのデュアルポー
トメモリ９０が接続されている。

【００４３】前記小領域内マッチング装置２０ｂでは、
左右画像に対し、右画像小領域から画素を順次選び、同
じライン内で略同じ輝度の画素を対応する左画像小領域
から見つける。そして、見つけた左画像小領域の画素が
右画像小領域の画素に対してどの位ずれているかを求
め、求めたずれ量を小領域単位のずれ量ｘに加算して、
その画素のずれ量とすることにより、画素単位のずれ量
を求める。

【００４４】すなわち、図７（ａ）に示すように、例え
ば、左右のＣＣＤカメラ１１ａ，１１ｂによって道路上
の白線をステレオ撮影し、前記小量域距離画像生成装置
２０ａによって小量域単位のずれ量ｘを求めた場合、こ
のずれ量ｘは小領域全体の平均的な値であり、左右の各
小領域を拡大すると、図７（ｂ）に示すように、画素毎
には必ずしも左右小領域内での位置は一致していない。

【００４５】ここで、各小領域内の対応する画素は画像
の同一ライン上にあることから、左右小領域の同じライ
ンの画素の輝度を比較することにより略一致する画素を
見つけることができる。そして、図７（ｃ）に示すよう
に、その画素が右画像小領域内の画素に対してどの位ず
れているかを求め、この画素のずれ量を小領域のずれ量
ｘに加算することにより画素の真のずれ量を求めること
ができるのである。

【００４６】次に、距離検出装置２の動作について説明
する。

【００４７】図８は、小領域距離画像生成装置２０ａに
おける小領域マッチング処理のフローチャートであり、
まず、ステップS101で左右のＣＣＤカメラ１１ａ，１１
ｂによって撮像した画像を入力すると、ステップS102へ
進み、入力したアナログ画像をＡ／Ｄコンバータ３１
ａ，３１ｂでデジタル量に変換する。

【００４８】前記各Ａ／Ｄコンバータ３１ａ，３１ｂに
よって変換されたデジタル画像は、ＬＵＴ３２ａ，３２
ｂで、低輝度部分のコントラスト増強、左右のＣＣＤカ
メラ１１ａ，１１ｂの特性補償等が行なわれ、画像メモ
リ３３ａ，３３ｂに記録される。尚、前記画像メモリ３
３ａ，３３ｂに記憶される画像は、ＣＣＤカメラ１１
ａ，１１ｂのＣＣＤ素子の全ラインのうち、その後の処
理に必要なラインのみであり、例えば０．１秒に１回の
割合（テレビ画像で３枚に１枚の割合）で書き換えられ
る。

【００４９】その後、左右の画像メモリ３３ａ，３３ｂ
に記録された画像データは、ステップS103で、各画像メ
モリ３３ａ，３３ｂから入力バッファメモリ４１ａ，４
１ｂ，４２ａ，４２ｂへ、共通バス８０を介して、例え
ば４ラインずつ左右画像データが読み込まれ、読み込ん
だ左右画像のマッチング、すなわち一致度の評価が行な
われる。その際、左右の画像毎に、前記画像メモリ３３
ａ，３３ｂから前記入力バッファメモリ４１ａ，４１
ｂ，４２ａ，４２ｂへの読み込み動作と、シフトレジス
タ４３ａ，４３ｂ，４４ａ，４４ｂに対する書き込み動
作とが交互に行なわれる。

【００５０】例えば、左画像メモリ３３ａから一方の入
力バッファメモリ４１ａに画像データが読み込まれてい
る間に、他方の入力バッファメモリ４１ｂからシフトレ
ジスタ４３ｂへ読み込んだ画像データの書き出しが行な
われ、右画像メモリ３３ｂから一方の入力バッファメモ
リ４２ａに画像データが読み込まれている間に、他方の
入力バッファメモリ４２ｂからシフトレジスタ４４ｂへ
読み込んだ画像データの書き出しが行なわれる。

【００５１】そして、図９に示すように、前記シフトレ
ジスタ４３ａ，４３ｂ，４４ａ，４４ｂには、左右の４
×４画素の小領域の画像データ（１，１）…（４，４）
が保存され、一方のシフトレジスタ４３ａ（４４ａ）に
は１、２ラインのデータが、もう一方のシフトレジスタ
４３ｂ（４４ｂ）には３、４ラインのデータが、それぞ
れ１画素毎に奇数ライン、偶数ラインの順序で入る。

【００５２】前記各シフトレジスタ４３ａ，４３ｂ，４
４ａ，４４ｂは、それぞれが独立した転送ラインを持
ち、４×４画素のデータは例えば８クロックで転送され
る。そして、これらのシフトレジスタ４３ａ，４３ｂ，
４４ａ，４４ｂは、８段のうちの偶数段の内容を同時に
シティブロック距離計算回路４５に出力し、シティブロ
ック距離Ｈの計算が始まると、右画像のデータはシフト
レジスタ４４ａ，４４ｂ内に保持されて、クロック毎に
奇数ライン、偶数ラインのデータが交互に出力され、一
方、左画像のデータはシフトレジスタ４３ａ，４３ｂに
転送され続け、奇数ライン、偶数ラインのデータが交互
に出力されつつ、２クロック毎に１画素分右のほうにず
れたデータに置き換わっていく。この動作を、例えば１
００画素分ずれるまで（２００クロック）繰り返す。

【００５３】その後、一つの小領域に対する転送が終了
すると、＃２アドレスコントローラ８７内の左画像用ア
ドレスカウンタに右画像用アドレスカウンタの内容（次
の４×４画素の小領域の先頭アドレス）がセットされ、
次の小領域の処理が始まる。シティブロック距離計算回
路４５では、図１０のタイミングチャートに示すよう
に、まず、ピラミッド型構造初段の絶対値演算器に８画
素分のデータを入力し、左右画像の輝度差の絶対値を計
算する。すなわち、右画素の輝度から対応する左画素の
輝度を引き算し、結果が負になった場合、演算命令を変
えることにより、引く方と引かれる方を逆にして再び引
き算を行なうことにより、絶対値の計算を行なう。従っ
て、初段では引き算を２回行なう場合がある。

【００５４】次いで、初段を通過すると、２段目から４
段目までの第１ないし第３加算器で二つの同時入力デー
タを加算して出力する。そして、最終段の総和加算器で
二つの連続するデータを加え合わせて総和を計算し、必
要とする１６画素分のシティブロック距離Ｈを２クロッ
ク毎に最小・最大値検出部５０へ出力する。

【００５５】次に、ステップS104へ進み、前記ステップ
S103で算出したシティブロック距離Ｈの最大値ＨMAX 、
最小値ＨMIN を検出する。前述したように、この最大値
ＨMAX の検出と最小値ＨMIN の検出とは、互いに論理が
逆になることと、ずれ量を保存しないこと以外は、全く
同じであるため、以下、代表して最小値ＨMIN の検出に
ついて説明する。

【００５６】まず、最初に出力されてきたシティブロッ
ク距離Ｈ（ずれ量ｘ＝０）が、図６に示す最小値検出回
路５１のＣラッチ５３を介して、演算器４６のＢレジス
タ４６ｂに入力される。次のクロックで出力されてきた
シティブロック距離Ｈ（ずれ量ｘ＝１）は、Ｃラッチ５
３と演算器４６のＡレジスタ４６ａとに入れられ、演算
器４６では、同時に、Ｂレジスタ４６ｂとの比較演算が
始まる。

【００５７】前記演算器４６での比較演算の結果、Ｂレ
ジスタ４６ｂの内容よりもＡレジスタ４６ａの内容の方
が小さければ、次のクロックのときに、Ｃラッチ５３の
内容（すなわちＡレジスタ４６ａの内容）がＢレジスタ
４６ｂに送られ、このときのずれ量ｘがＤラッチ５５に
保存される。このクロックで同時に、次のシティブロッ
ク距離Ｈ（ずれ量ｘ＝２）がＡレジスタ４６ａとＣラッ
チ５３に入れられ、再び比較演算が始まる。

【００５８】このようにして、計算途中での最小値が常
にＢレジスタ４６ｂに、そのときのずれ量ｘがＤラッチ
５５に保存されながら、ずれ量ｘが１００になるまで計
算が続けられる。計算が終了すると（最後のシティブロ
ック距離Ｈが出力されてから１クロック後）、Ｂレジス
タ４６ｂとＤラッチ５５の内容はずれ量決定部６０に読
み込まれる。

【００５９】この間に、前述したシティブロック距離計
算回路４５では次の小領域の初期値が読み込まれ、時間
の無駄を生じないようになっており、一つのシティブロ
ック距離Ｈを計算するのに、例えば４クロックかかる
が、パイプライン構造をとっているため、２クロック毎
に新たな計算結果が得られる。

【００６０】ステップS105では、前記ステップS104でシ
ティブロック距離Ｈの最小値ＨMIN、最大値ＨMAX が確
定すると、ずれ量決定部６０にて、前述した３つの条件
がチェックされ、ずれ量ｘが決定される。

【００６１】すなわち、図１１のタイミングチャートに
示すように、Ｂバス６２ｂを介して最小値ＨMIN が演算
器６１のＢレジスタ７２にラッチされるとともに、この
Ｂレジスタ７２の値と比較されるしきい値Ｈa がＡバス
６２ａを介してＡレジスタ７１にラッチされる。そして
ＡＬＵ７０で両者が比較され、しきい値Ｈa よりも最小
値ＨMIN の方が大きければ、スイッチ回路６５がリセッ
トされ、以後のチェックの如何に係わらず常に０が出力
されるようになる。

【００６２】次に、Ａレジスタ７１に最大値ＨMAX がラ
ッチされ、このＡレジスタ７１にラッチされた最大値Ｈ
MAX とＢレジスタ７２に保存されている最小値ＨMIN と
の差が計算されて、その結果がＦレジスタ７３に出力さ
れる。次のクロックでＡレジスタ７１にしきい値Ｈb が
ラッチされ、Ｆレジスタ７３の値と比較される。Ａレジ
スタ７１にラッチされたしきい値Ｈb よりもＦレジスタ
７３の内容の方が小さければ同様にスイッチ回路６５が
リセットされる。

【００６３】次のクロックからは、隣接画素間の輝度差
の計算が始まる。輝度データが保存されている２組のシ
フトレジスタ６４ａ，６４ｂは１０段構成であり、それ
ぞれ、シティブロック距離計算部４０の１，２ライン用
のシフトレジスタ４４ａと、３，４ライン用のシフトレ
ジスタ４４ｂの後段に接続されている。前記シフトレジ
スタ６４ａ，６４ｂの出力は最後の段とその２つ手前の
段から取り出され、それぞれが、Ａバス６２ａとＢバス
６２ｂとに出力される。

【００６４】輝度差の計算が始まるとき、前記シフトレ
ジスタ６４ａ，６４ｂの各段には小領域中の各場所の輝
度データが保持されており、初めに前回の小領域の第４
行第１列の輝度データと、今回の小領域の第１行第１列
の輝度データとが、演算器６１のＡレジスタ７１とＢレ
ジスタ７２とにラッチされる。

【００６５】そして、Ａレジスタ７１の内容とＢレジス
タ７２の内容の差の絶対値が計算され、結果がＦレジス
タ７３に保存される。次のクロックでＡレジスタ７１に
しきい値Ｈc がラッチされ、Ｆレジスタ７３の値と比較
される。

【００６６】前記演算器６１での比較結果、Ａレジスタ
の内容（しきい値Ｈc ）よりもＦレジスタ７３の内容
（輝度差の絶対値）のほうが大きければ、前記スイッチ
回路６５からずれ量ｘあるいは”０”が出力され、、Ａ
レジスタの内容よりもＦレジスタ７３の内容のほうが小
さければ”０”が出力されて、出力バッファメモリ６６
ａ，６６ｂの該当する小領域の第１行第１列に当たる位
置に書き込まれる。

【００６７】前記演算器６１で隣接画素間の輝度差とし
きい値Ｈc との比較が行なわれている間に、シフトレジ
スタ６４ａ，６４ｂは１段シフトする。そして今度は、
前回の小領域の第４行第２列と、今回の小領域の第１行
第２列の輝度データに対して計算を始める。このように
して小領域の第１列、第２列に対し交互に計算を行なっ
た後、第３列、第４列に対して同様に計算を進める。

【００６８】計算中は、シフトレジスタ６４ａ，６４ｂ
の最終段と最初の段がつながってリングレジスタになっ
ており、小領域全体を計算した後にシフトクロックが２
回追加されるとレジスタの内容が計算前の状態に戻り、
次の小領域の輝度データが転送され終わったときに、最
終段とその前の段に今回の小領域の第４行のデータが留
められる。

【００６９】このように、ずれ量決定のための計算中に
次のデータをＡバス６２ａ，Ｂバス６２ｂに用意した
り、結果の書き込みを行なうため、計算に必要な２クロ
ックのみで一つのデータが処理される。この結果、初め
に行なう最小値ＨMIN 、最大値ＨMAX のチェックを含め
ても、例えば４３クロックで全ての計算が終了する。す
なわち、一つの小領域に対して、シティブロック距離Ｈ
の最小値ＨMIN 、最大値ＨMAX を求めるのに要する時間
は充分に余裕があり、さらに機能を追加することも可能
である。

【００７０】そして、小領域毎のずれ量ｘが決定される
と、ステップS106で、出力バッファメモリ６６ａ，６６
ｂからデュアルポートメモリ９０へずれ量ｘを出力し、
小領域距離画像生成装置２０ａにおける処理が終了す
る。前記出力バッファメモリ６６ａ，６６ｂは、前述し
た入力バッファメモリ４１ａ，４１ｂ，４２ａ，４２ｂ
と同様、例えば４ライン分の容量があり、２組の一方に
決定したずれ量ｘを書き込んでいる間に、もう一方から
先に書込まれたずれ量ｘを前記デュアルポートメモリ９
０へ送り出す。

【００７１】次に、小領域距離画像生成装置２０ａにお
ける小領域マッチング処理全体のタイミングについて、
図１２に示すタイミングチャートに従って説明する。

【００７２】まず初めに、同期を取っている左右のＣＣ
Ｄカメラ１１ａ，１１ｂからのフィールド信号を０．１
秒毎（３画面に１画面の割合）に、画像メモリ３３ａ，
３３ｂに書き込む。

【００７３】次に、取り込み終了信号を受けて、４ライ
ン毎のブロック転送が始まる。この転送は、右画像、左
画像、結果の距離分布像の順に３ブロック転送する。

【００７４】この間に、一方の入出力バッファメモリに
対してずれ量ｘの計算が行われる。そして、ずれ量ｘの
計算時間を考慮し、所定時間待機してからもう一方の入
出力バッファメモリに対して転送を始める。

【００７５】一つの右画像の４×４画素の小領域に対す
るシティブロック距離Ｈの計算は、左画像について１０
０画素ずらしながら計算するため、１００回行われる。
一つの領域のシティブロック距離Ｈが計算されている間
に、その前の領域のずれ量ｘが各チェックを経て距離分
布として出力される。

【００７６】処理すべきライン数を２００とすると４ラ
イン分の処理を５０回繰り返すことになり、計算の開始
時に最初のデータを転送するための４ライン分の処理時
間、計算終了後に最後の結果を画像認識部に転送するた
めの４ライン分の処理時間と、計８ライン分の処理時間
がさらに必要となる。

【００７７】最初の入力画像ラインの転送を開始してか
ら最後の距離分布を転送し終わるまでの時間は、実際の
回路動作の結果、０．０７６秒である。

【００７８】以上の小領域距離画像生成装置２０ａで小
領域単位のずれ量ｘが算出され、デュアルポートメモリ
９０に出力されると、このデュアルポートメモリ９０の
データが小領域内マッチング装置２０ｂに読み込まれ、
小領域内の各画素毎のずれ量が求められる。以下、図１
３及び図１４のフローチャートに従って、小領域内マッ
チング処理について説明する。

【００７９】先ず、ステップS201で、右画像の小領域の
ポインタｐｒを小領域の左上に設定すると、ステップS2
02へ進み、このポインタｐｒの示す小領域のずれ量ｘを
ｐｒに加え、左画像の対応する小領域のポインタｐｌを
得る。

【００８０】次に、ステップS203,S204,S205で、右画像
小領域内の行アドレスを移動させる行ポインタｍ，列ア
ドレスを移動させる列ポインタｌ、及び、同一ラインで
一致する画素を見つけるため、左画像小領域内の行アド
レスをサーチするサーチポインタｋを初期化すると（ｍ
←０、ｌ←０、ｋ←０）、ステップS206で、左画像小領
域のポインタｐｌから行ポインタｍを減算し、左画像の
小領域内を動くポインタｐｐを設定する（ｐｐ←ｐｌ−
ｍ）。

【００８１】そして、ステップS207へ進み、右画像小領
域のポインタｐｒの示すｐｒ番地の輝度と、左画像小領
域内を動くポインタｐｐの示すｐｐ番地の輝度との輝度
差ｄｉｆ（絶対値）を算出する。次いで、ステップS208
で、サーチポインタｋの動く範囲内、すなわち小領域の
行アドレスの範囲内での輝度差ｄｉｆの最小値を求め、
そのときのサーチポインタｋから行ポインタｍを減算し
たｋ−ｍの値をオフセット値ｏｓに保存する。

【００８２】すなわち、右画像小領域内の画素に対し、
同一ライン上で、この画素との輝度差が最小となる左画
像小領域内の画素を行アドレスの幅内でサーチし、輝度
差ｄｉｆが最小となる画素を見つけたとき、その画素が
右画像小領域内の画素に一致するものとして、右画像小
領域内の画素に対する左画像小領域内の画素の行アドレ
スのずれをオフセット値ｏｓに保存するのである。

【００８３】その後、ステップS209へ進み、左画像小領
域内を動くポインタｐｐ及びサーチポインタｋをインク
リメントし（ｐｐ←ｐｐ＋１、ｋ←ｋ＋１）、ステップ
S210で、サーチポインタｋが小領域の幅すなわち行アド
レスの範囲を越えたか否かを判定し、サーチポインタｋ
が小領域の幅を越えていないときには、前述のステップ
207へ戻って、輝度差ｄｉｆの最小値を求めて、ｋ−ｍ
の値をオフセット値ｏｓに保存する処理を繰り返し、サ
ーチポインタｋが小領域の幅を越えると、ステップS211
へ進む。

【００８４】ステップS211では、ポインタｐｒの示す小
領域のずれ量ｘに、前述のステップS208で求めたオフセ
ット値ｏｓを加算し、この値を画素単位のずれ量として
出力デュアルポートメモリ１０４の当該画素領域に書き
込むと、ステップS212で、右画像小領域のポインタｐｒ
及び左画像小領域のポインタｐｌをインクリメントし
（ｐｒ←ｐｒ＋１、ｐｌ←ｐｌ＋１）、ステップS213
で、行ポインタｍをインクリメントする（ｍ←ｍ＋
１）。

【００８５】次に、ステップS214へ進むと、右画像小領
域の行ポインタｍが小領域の幅を越えたか否かを判定
し、小領域の幅を越えていないときには、前述のステッ
プ205へ戻って右画像小領域内の画素に対応する左画像
小領域内の画素を同一ライン上でサーチする処理を繰り
返し、行ポインタｍが小領域の幅を越えたときには、ス
テップS215で、右画像のポインタｐｒに画像の１行分を
加算した値から小領域の幅を減算することにより、ポイ
ンタｐｒを現在の小領域内の１行下先頭に移動する。

【００８６】また、同様に、ステップS216で、左画像の
ポインタｐｌに画像の１行分を加算した値から小領域の
幅を減算することにより、ポインタｐｌを現在の小領域
内の１行下先頭に移動すると、ステップS217で、列ポイ
ンタｌをインクリメントする（ｌ←ｌ＋１）。そして、
ステップS218で、列ポインタｌが小領域の縦すなわち列
アドレスの範囲を越えたか否かを判定する。

【００８７】前記ステップS218で、列ポインタｌが小領
域の縦を越えていないときには、前述のステップS204へ
戻って行ポインタｍを再初期化して以上の処理を繰り返
し、列ポインタｌが小領域の縦を越えたときには、右画
像小領域のポインタｐｒを次の小領域のポインタに移
す。

【００８８】そして、ステップS220で、画像の全領域に
渡ってマッチング処理が終了したか否かを判定し、全領
域のマッチング処理が終了してしていないときには、前
述のステップS202へ戻ってマッチング処理を続行し、全
領域に渡ってマッチング処理が終了すると、プログラム
を抜ける。

【００８９】この小領域内マッチング処理によって得ら
れる画素単位のずれ量からは、ＣＣＤカメラ１１の取付
け位置と焦点距離などのレンズパラメータを用いて物体
の３次元位置を画素単位で精密に算出することができ、
緻密な距離画像により遠方の対象物に対する空間分解能
を向上することができる。従って、得られた距離画像
を、例えば道路・障害物認識装置などで処理して道路形
状及び障害物を認識する場合にも、遠方の白線等の距離
をハンチングせずにスムーズに求めることができ、より
高度な画像認識を実現することができるのである。

【００９０】

【発明の効果】以上説明したように本発明によれば、車
輌に搭載した撮像系で撮像した１組の画像に対し、画像
を複数の小領域に分割して互いに対応する小領域のずれ
量を求めた後、これらの互いに対応する小領域に対し、
画像の同一ライン上で輝度差が最小となる画素を探索し
て各画素間のずれ量を求め、この画素間のずれ量に小領
域単位のずれ量を加算して画素単位のずれ量を求めるた
め、ステレオ画像による距離計測に際し、距離分布の空
間分解能を向上してより高度な画像認識を可能にする等
優れた効果が得られる。

【図面の簡単な説明】

【図１】距離検出装置の全体構成図

【図２】距離検出装置の回路構成図

【図３】車輌の正面図

【図４】カメラと被写体との関係を示す説明図

【図５】シティブロック距離計算回路の説明図

【図６】最小値検出回路のブロック図

【図７】左右画像における小領域の画素毎のずれを示す
説明図

【図８】小領域マッチング処理のフローチャート

【図９】シフトレジスタ内の保存順序を示す説明図

【図１０】シティブロック距離計算回路の動作を示すタ
イミングチャート

【図１１】ずれ量決定部の動作を示すタイミングチャー
ト

【図１２】小領域マッチング処理全体の動作を示すタイ
ミングチャート

【図１３】小領域内マッチング処理のフローチャート

【図１４】小領域内マッチング処理のフローチャート
（続き）

【符号の説明】

１０ ステレオ光学系（撮像系） ２０ａ 小領域距離画像生成装置（小領域マッチング手
段） ２０ｂ 小領域内マッチング装置（小領域内マッチング
手段）

Claims (1)

【特許請求の範囲】
1. 【請求項１】 車輌に搭載した撮像系(10)によって車外
   の対象を異なる位置から撮像し、撮像した１組の画像を
   処理して対応する位置のずれ量から三角測量の原理によ
   り距離情報を求める車輌用距離検出装置において、 前記撮像系(10)で撮像した１組の画像に対し、画像を複
   数の小領域に分割して互いに対応する小領域を探索し、
   小領域単位のずれ量を求める小領域マッチング手段(20
   a)と、 前記互いに対応する小領域に対し、画像の同一ライン上
   で輝度差が最小となる画素を探索して各画素間のずれ量
   を求め、このずれ量に前記小領域マッチング手段(20a)
   で求めた小領域単位のずれ量を加算して画素単位のずれ
   量を求める小領域内マッチング手段(20b)とを備えたこ
   とを特徴とする車輌用距離検出装置。