JP3452076B2 - 車輌用距離検出装置 - Google Patents

Description

【発明の詳細な説明】 【０００１】 【産業上の利用分野】本発明は、撮像系の感度を調整し
て適正な画像信号を得ることにより、距離検出の精度を
向上する車輌用距離検出装置に関する。 【０００２】 【従来の技術】人や物を運ぶ手段の１つである自動車等
の車輌は、その利便性と快適性から現代社会においてな
くてはならない存在となっている。そこで、自動車の持
つ優れた点を犠牲にすることなく、自動的に事故を回避
することのできる技術の開発が従来より進められてい
る。 【０００３】自動車の衝突を自動的に回避するために
は、走行の障害となる物体を検出することがまず第一に
重要であり、一方、自動車の走行には、検出した障害物
が道路上の何処に存在しているのかを知る必要がある。 【０００４】従って、最近では、電荷結合素子（ＣＣ
Ｄ）等の固体撮像素子（イメージセンサ）を用いたカメ
ラ等を車輌に搭載して車外の対象風景を撮像し、この撮
像した画像を画像処理して車輌から対象物までの距離を
求める計測技術が有力な手段として採用されるようにな
っており、例えば、特開昭５９−１９７８１６号公報に
は、２台のＴＶカメラを車輌前方に取り付け、各々のＴ
Ｖカメラの画像について、２次元的な輝度分布パターン
から障害物を検出し、次に、２つの画像上における障害
物の位置のずれを求め、三角測量の原理によって障害物
の３次元位置を算出する、いわゆるステレオ法による車
間距離検出装置が開示されている。 【０００５】この場合、前記ステレオ法のような２台以
上のカメラを使用して左右画像における同一物体の位置
の相対的なずれから距離を求める技術では、日向や影、
トンネルへの進入といったように急激な明度変化に遭遇
すると、左右画像のコントラストが不均一となって距離
検出の精度が低下する。 【０００６】このため、特開昭５８−１２２４１８号公
報には、イメージセンサからの出力信号の平均値を走査
毎に求め、前回走査の平均値と基準信号とを比較してそ
の偏差分が零となるように絞りの開度を調整する、いわ
ゆるオートアイリスによる感度調整の技術が開示されて
おり、また、特開昭６０−６１６０９号公報には、カメ
ラのアナログ信号からＡＣ成分を抽出してピークホール
ド回路により十分なコントラストがあるか否かを検出
し、コントラストが弱い場合でもある一定値となるよう
ゲインを制御する技術が開示されている。 【０００７】さらに、特開昭６０−７８３１２号公報に
は、イメージセンサからのアナログ信号の最大値と最小
値をサンプルホールドし、最大値と最小値との間におい
てイメージ信号を所定レベル数にＡ／Ｄ変換してイメー
ジ信号の直流分を実質的に除去することにより、イメー
ジ信号のコントラストが小さい場合であっても、イメー
ジ信号の特徴を浮き上がらせて像の相対位置のずれの検
出を行ない、対象物までの距離を算出する技術が開示さ
れている。 【０００８】 【発明が解決しようとする課題】しかしながら、左右画
像のコントラストが弱い場合に、輝度平均やゲイン制御
等によりカメラの感度を調整する技術では、回路構成が
複雑となるばかりでなく、アナログ回路を使用するため
ノイズ成分を完全に除去することが困難であり、ダイナ
ミックレンジを広くとれない。さらには、処理に時間を
要することから、逆光や真昼の非常に照度の高い状態か
らトンネル内に進入したときのように急激に照度が変化
するような状態に対応できないおそれがある。 【０００９】本発明は前記事情に鑑みてなされたもの
で、車外の対象を撮像する撮像手段の感度を高速で調整
し、外界の照度変化にも適正な画像を得て距離検出の精
度を向上することのできる車輌用距離検出装置を提供す
ることを目的としている。 【００１０】 【課題を解決するための手段】本発明は、車輌に搭載し
た撮像系によって車外の対象を撮像し、撮像した画像を
データ処理して画像全体に渡る距離分布を算出する車輌
用距離検出装置において、前記撮像系の感度を調整する
感度調整手段に、前記撮像系によって撮像した画像の画
素毎のデジタルデータを、感度オーバーを表わす基準デ
ータと比較する第１の比較器と、前記デジタルデータ
を、感度アンダーを表わす基準データと比較する第２の
比較器と、前記第１の比較器の出力をアップカウント
し、前記第２の比較器の出力をダウンカウントする計数
器と、所定領域に渡って計数した前記計数器の計数値が
正の値のとき、前記撮像系の感度を下げるよう前記撮像
系へ感度調整信号を出力し、前記計数値が負の値のと
き、前記撮像系の感度を上げるよう前記撮像系へ感度調
整信号を出力する感度コントローラとを備えたことを特
徴とする。 【００１１】 【００１２】 【作用】本発明では、車輌に搭載した撮像系によって撮
像した画像の画素毎のデジタルデータを、第１の比較器
で感度オーバーを表わす基準データと比較すると共に、
第２の比較器で感度アンダーを表わす基準データと比較
し、計数器で、第１の比較器の出力をアップカウント
し、第２の比較器の出力をダウンカウントする。そし
て、所定の領域に渡って計数した計数器の計数値が正の
値のとき、感度コントローラから撮像系へ撮像系の感度
を下げるよう感度調整信号を出力し、計数値が負の値の
とき、感度コントローラから撮像系へ撮像系の感度を上
げるよう感度調整信号を出力することで、撮像系の感度
を調整する。 【００１３】 【００１４】 【実施例】以下、図面を参照して本発明の実施例を説明
する。図面は本発明の一実施例に係わり、図１は車輌用
距離検出装置の回路構成図、図２は距離検出装置の全体
構成図、図３は車輌の正面図、図４はカメラと被写体と
の関係を示す説明図、図５はシティブロック距離計算回
路の説明図、図６は最小値検出回路のブロック図、図７
は距離検出処理のフローチャート、図８はシフトレジス
タ内の保存順序を示す説明図、図９はシティブロック距
離計算回路の動作を示すタイミングチャート、図１０は
ずれ量決定部の動作を示すタイミングチャート、図１１
は全体の動作を示すタイミングチャート、図１２は車載
のＣＣＤカメラで撮像した画像の例を示す説明図、図１
３は距離画像の例を示す説明図である。 【００１５】図２において、符号１は自動車などの車輌
であり、この車輌１に、車外の設置範囲内の対象を撮像
して距離を検出する距離検出装置２が搭載されている。
この距離検出装置２は、例えば図示しない道路・障害物
認識装置などに接続されて障害物監視装置を構成し、運
転者に対する警告、車体の自動衝突回避等の動作を行な
うことができるようになっている。 【００１６】前記距離検出装置２は、車外の対象を撮像
する撮像系としてのステレオ光学系１０と、このステレ
オ光学系１０の感度を調整して適正な画像を撮像できる
よう制御するための感度調整手段としての感度調整装置
１５と、前記ステレオ光学系１０によって撮像した画像
を処理し、画像全体に渡る距離分布を算出するステレオ
画像処理装置２０とを備えており、このステレオ画像処
理装置２０で算出した３次元の距離情報が、例えば道路
・障害物認識装置等に取り込まれ、道路形状及び車輌１
に対する障害物が認識される。 【００１７】前記ステレオ光学系１０は、例えば電荷結
合素子（ＣＣＤ）等の固体撮像素子を用いたカメラによ
り構成され、図３に示すように、遠距離の左右画像用と
しての２台のＣＣＤカメラ１１ａ，１１ｂ（代表してＣ
ＣＤカメラ１１と表記する場合もある）が、それぞれ車
室内の天井前方に一定の間隔をもって取り付けられると
ともに、近距離の左右画像用としての２台のＣＣＤカメ
ラ１２ａ，１２ｂ（代表してＣＣＤカメラ１２と表記す
る場合もある）が、それぞれ、遠距離用のＣＣＤカメラ
１１ａ，１１ｂの内側に一定の間隔をもって取り付けら
れている。 【００１８】前記ステレオ光学系１０として、直近から
例えば１００ｍ遠方までの距離計測を行なう場合、車室
内のＣＣＤカメラ１１，１２の取付位置を、例えば、車
輌１のボンネット先端から２ｍとすると、実際には前方
２ｍから１００ｍまでの位置を計測できれば良い。 【００１９】すなわち、図４に示すように、遠距離用の
２台のＣＣＤカメラ１１ａ、１１ｂの取付間隔をｒとし
て、２台のカメラ１１ａ，１１ｂの設置面から距離Ｄに
ある点Ｐを撮影する場合、２台のカメラ１１ａ，１１ｂ
の焦点距離を共にｆとすると、点Ｐの像は、それぞれの
カメラについて焦点位置からｆだけ離れた投影面に写
る。 【００２０】このとき、右のＣＣＤカメラ１１ｂにおけ
る像の位置から左のＣＣＤカメラ１１ａにおける像の位
置までの距離は、ｒ＋ｘとなり、このｘをずれ量とする
と、点Ｐまでの距離Ｄは、ずれ量ｘから以下の式で求め
ることができる。 【００２１】 Ｄ＝ｒ・ｆ／ｘ （１） この左右画像のずれ量ｘを検出するには、左右画像にお
ける同一物体の像を見つけ出す必要があり、次に述べる
ステレオ画像処理装置２０では、画像を小領域に分割
し、それぞれの小領域内の輝度あるいは色のパターンを
左右画像で比較して一致する領域を見つけ出し、全画面
に渡って距離分布を求める。すなわち、従来のように、
エッジ、線分、特殊な形等、何らかの特徴を抽出し、そ
れらの特徴が一致する部分を見つけ出すことによる情報
量の低下を避けるのである。 【００２２】左右画像の一致度は、右画像、左画像のｉ
番目画素の輝度（色を用いても良い）を、それぞれ、Ａ
ｉ、Ｂｉとすると、例えば、以下の（２）式に示すシテ
ィブロック距離Ｈによって評価することができ、平均値
の採用による情報量の低下もなく、乗算がないことから
演算速度を向上させることができる。 【００２３】 Ｈ＝Σ｜Ａｉ−Ｂｉ｜ （２） また、分割すべき小領域の大きさとしては、大きすぎる
と、その領域内に遠方物体と近くの物体が混在する可能
性が高くなり、検出される距離が曖昧になる。画像の距
離分布を得るためにも領域は小さい方が良いが、小さす
ぎると、一致度を調べるための情報量が不足する。 【００２４】このため、例えば、１００ｍ先にある幅
１．７ｍの車輌が、隣の車線の車輌と同じ領域内に含ま
れないように、４つに分割される画素数を領域横幅の最
大値とすると、前記ステレオ光学系１０に対して４画素
となる。この値を基準に最適な画素数を実際の画像で試
行した結果、縦横共に４画素となる。 【００２５】以下の説明では、画像を４×４の小領域で
分割して左右画像の一致度を調べるものとし、ステレオ
光学系１０は、遠距離用のＣＣＤカメラ１１で代表する
ものとする。 【００２６】図１に示すように、ステレオ画像処理装置
２０は、前記ステレオ光学系１０で撮像したアナログ画
像をデジタル画像に変換する画像変換部３０、この画像
変換部３０からの画像データに対し、左右画像のずれ量
ｘを決定するためのシティブロック距離Ｈを画素を一つ
ずつずらしながら次々と計算する一致度計算部としての
シティブロック距離計算部４０、シティブロック距離Ｈ
の最小値ＨMIN 及び最大値ＨMAX を検出する最小・最大
値検出部５０、この最小・最大値検出部５０で得られた
最小値ＨMIN が左右小領域の一致を示すものであるか否
かをチェックしてずれ量ｘを決定するずれ量決定部６０
を備えている。 【００２７】前記画像変換部３０には、左右画像用のＣ
ＣＤカメラ１１ａ，１１ｂに対応してＡ／Ｄコンバータ
３１ａ，３１ｂが備えられ、各ＣＣＤカメラ１１ａ，１
１ｂからのアナログ信号が、各Ａ／Ｄコンバータ３１
ａ，３１ｂでデジタル信号に変換され、さらに、各Ａ／
Ｄコンバータ３１ａ，３１ｂの出力がルックアップテー
ブル（ＬＵＴ）３２ａ，３２ｂに入力されるようになっ
ている。 【００２８】前記Ａ／Ｄコンバータ３１ａ，３１ｂは、
例えば８ビットの分解能を有し、ＣＣＤカメラ１１から
のアナログ画像を、所定の輝度階調を有するデジタル画
像に変換する。すなわち、処理の高速化のため画像の二
値化を行なうと、左右画像の一致度を計算するための情
報が著しく失われるため、例えば２５６階調のグレース
ケールに変換するのである。 【００２９】また、前記ＬＵＴ３２ａ，３２ｂはＲＯＭ
上に構成され、前記各Ａ／Ｄコンバータ３１ａ，３１ｂ
でデジタル量に変換されたデジタル画像のデータのビッ
ト数と同じビット数のアドレスをそれぞれ有し、入力デ
ータと等しいアドレスの内容に、輝度補正やＣＣＤアン
プの固有ゲインの補正を施したデータが書き込まれてい
る。従って、例えば８ビットの画像データを、前記ＬＵ
Ｔ３２ａ，３２ｂのアドレスとして与えると、低輝度部
分のコントラストを上げたり、左右のＣＣＤカメラ１１
ａ，１１ｂの特性の違いを補正した８ビットのデータを
読み出すことができる。 【００３０】そして、ＬＵＴ３２ａ，３２ｂで変換され
たデジタル画像信号は、後述する＃１アドレスコントロ
ーラ８６によってアドレス指定され、画像メモリ３３
ａ，３３ｂに記録される。この画像メモリ３３は、シテ
ィブロック距離計算部４０で画像の一部を繰り返し取り
出して処理するため、比較的低速のメモリから構成する
ことができ、コスト低減を図ることができる。 【００３１】この場合、前記ＣＣＤカメラ１１ａ，１１
ｂには、感度調整装置１５が接続されており、前記画像
メモリ３３ａ，３３ｂに記録される画像を適正なものと
して常に正確なシティブロック距離Ｈを算出することが
できるようになっている。 【００３２】前記感度調整装置１５には、左画像用のＡ
／Ｄコンバータ３１ａに接続されるコンパレータ１６
ａ，１７ａ、これらのコンパレータ１６ａ，１７ａから
の出力をアップカウントあるいはダウンカウントするア
ップダウンカウンタ１８ａ、右画像用のＡ／Ｄコンバー
タ３１ｂに接続されるコンパレータ１６ｂ，１７ｂ、こ
れらのコンパレータ１６ｂ，１７ｂからの出力をアップ
カウントあるいはダウンカウントするアップダウンカウ
ンタ１８ｂが備えられている。 【００３３】前記各コンパレータ１６ａ，１６ｂ（代表
してコンパレータ１６と表記する場合もある）は、各Ａ
／Ｄコンバータ３１ａ，３１ｂからの画素毎の各デジタ
ルデータと、感度オーバーを表わす基準データＤOVRと
を比較する第１の比較器であり、各デジタルデータがこ
の基準データＤOVRを越えると、各コンパレータ１６
ａ，１６ｂの各出力がオンとなって計数器としての各ア
ップダウンカウンタ１８ａ，１８ｂ（代表してアップダ
ウンカウンタ１８と表記する場合もある）でアップカウ
ントされる。 【００３４】また、前記各コンパレータ１７ａ，１７ｂ
（代表してコンパレータ１７と表記する場合もある）
は、各Ａ／Ｄコンバータ３１ａ，３１ｂからの画素毎の
各デジタルデータと、感度アンダーを表わす基準データ
ＤUDRとを比較する第２の比較器であり、各デジタルデ
ータがこの基準データＤUDRより小さくなると、各コン
パレータ１７ａ，１７ｂの各出力がオンとなって前記ア
ップダウンカウンタ１８ａ，１８ｂでダウンカウントさ
れる。 【００３５】さらに、前記感度調整装置１５には、前記
各アップダウンカウンタ１８ａ，１８ｂの計数値に基づ
いて前記ＣＣＤカメラ１１ａ，１１ｂの感度を調整する
感度コントローラ１９が備えられ、前記各アップダウン
カウンタ１８ａ，１８ｂの計数値の、例えば合計値が正
の値のとき感度を上げ、負の値のとき感度を上げるよ
う、各ＣＣＤカメラ１１ａ，１１ｂに感度調整信号を出
力する。 【００３６】すなわち、逆光や真昼の非常に照度の高い
状態からトンネル内に進入したときのように急激に照度
が変化する場合にも、輝度平均処理等による従来の感度
調整に対し、簡単な回路構成で高速に処理することがで
き、広いダイナミックレンジを得ることができる。 【００３７】一方、ステレオ画像処理装置２０のシティ
ブロック距離計算部４０では、前記画像変換部３０の左
画像用の画像メモリ３３ａに、共通バス８０を介して２
組の入力バッファメモリ４１ａ，４１ｂが接続されると
ともに、右画像用の画像メモリ３３ｂに、共通バス８０
を介して２組の入力バッファメモリ４２ａ，４２ｂが接
続されている。 【００３８】前記各入力バッファメモリ４１ａ，４１
ｂ，４２ａ，４２ｂは、シティブロック距離計算の速度
に応じた比較的小容量の入出力が分離した高速タイプで
あり、これらの入力バッファメモリ４１ａ，４１ｂ，４
２ａ，４２ｂ、及び、画像メモリ３３ａ，３３ｂに、ク
ロック発生回路８５から供給されるクロックに従って＃
１アドレスコントローラ８６から発生されるアドレスが
共通に与えられる。 【００３９】前記左画像用の各入力バッファメモリ４１
ａ，４１ｂには、２組の例えば８段構成のシフトレジス
タ４３ａ，４３ｂが接続され、右画像用の各入力バッフ
ァメモリ４２ａ，４２ｂには、同様に、２組の例えば８
段構成のシフトレジスタ４４ａ，４４ｂが接続されてい
る。さらに、これら４組のシフトレジスタ４３ａ，４３
ｂ，４４ａ，４４ｂには、シティブロック距離を計算す
るシティブロック距離計算回路４５が接続されており、
これら４組のシフトレジスタ４３ａ，４３ｂ，４４ａ，
４４ｂと前記各入力バッファメモリ４１ａ，４１ｂ，４
２ａ，４２ｂとの間のデータ転送は、＃２アドレスコン
トローラ８７によって制御される。 【００４０】また、前記右画像用のシフトレジスタ４４
ａ、４４ｂには、後述するずれ量決定部６０の２組の１
０段構成のシフトレジスタ６４ａ，６４ｂが接続されて
おり、次の小領域のデータ転送が始まると、シティブロ
ック距離Ｈの計算の終わった古いデータはこれらのシフ
トレジスタ６４ａ，６４ｂに送られ、ずれ量ｘの決定の
際に用いられる。 【００４１】また、シティブロック距離計算回路４５
は、加減算器に入出力ラッチをつなげてワンチップ化し
た高速ＣＭＯＳ型演算器４６を組み合わせており、図５
に詳細が示されるように、演算器４６を１６個ピラミッ
ド状に接続したパイプライン構造で、例えば８画素分を
同時に入力して計算するようになっている。このピラミ
ッド型構造の初段は、絶対値演算器、２段〜４段は、そ
れぞれ、第１加算器、第２加算器、第３加算器を構成
し、最終段は総和加算器となっている。 【００４２】尚、図５においては、絶対値計算と１，２
段目の加算器は半分のみ表示している。 【００４３】このシティブロック距離Ｈの計算をコンピ
ュータのソフトウエアで行なう場合、右画像の一つの小
領域に対して左画像の小領域を次々に探索し、これを右
画像の小領域全部について行なう必要があり、この計算
を例えば０．０８秒で行なうとすると、一画素当たり例
えば５ステップのプログラムで、５００ＭＩＰＳ（Mega
Instruction Per Second ）の能力が要求される。これ
は現在の一般的なシスク（ＣＩＳＣ）タイプのマイクロ
プロセッサでは実現不可能な数字であり、リスク（ＲＩ
ＳＣ）プロセッサ、デジタルシグナルプロセッサ（ＤＳ
Ｐ）、あるいは、並列プロセッサなどを用いなければな
らなくなる。 【００４４】前記最小・最大値検出部５０は、シティブ
ロック距離Ｈの最小値ＨMIN を検出する最小値検出回路
５１とシティブロック距離Ｈの最大値ＨMAX を検出する
最大値検出回路５２とを備えており、前記シティブロッ
ク距離計算回路４５で使用する演算器４６を最小値、最
大値検出用として２個使用した構成となっており、シテ
ィブロック距離Ｈの出力と同期が取られるようになって
いる。 【００４５】図６に示すように、最小値検出回路５１
は、具体的には、Ａレジスタ４６ａ、Ｂレジスタ４６
ｂ、及び、算術論理演算ユニット（ＡＬＵ）４６ｃから
なる演算器４６に、Ｃラッチ５３，ラッチ５４，Ｄラッ
チ５５を接続して構成され、シティブロック距離計算回
路４５からの出力が、Ａレジスタ４６ａと、Ｃラッチ５
３を介してＢレジスタ４６ｂとに入力され、ＡＬＵ４６
ｃの出力の最上位ビット（ＭＳＢ）がラッチ５４に出力
される。このラッチ５４の出力は、Ｂレジスタ４６ｂ及
びＤラッチ５５に出力され、演算器４６での最小値計算
の途中の値が、Ｂレジスタ４６ｂに保存されるととも
に、そのときのずれ量ｘがＤラッチ５５に保存されるよ
うになっている。 【００４６】尚、最大値検出回路５２については、論理
が逆になることと、ずれ量ｘを保存しないこと以外は、
最小値検出回路５１と同様の構成である。 【００４７】前述したようにシティブロック距離Ｈは、
一つの右画像小領域に対し、左画像小領域を１画素ずつ
ずらしながら順次計算されていく。そこで、シティブロ
ック距離Ｈの値が出力される毎に、これまでの値の最大
値ＨMAX 、最小値ＨMIN と比較、更新することによっ
て、最後のシティブロック距離Ｈの出力とほぼ同時に、
その小領域におけるシティブロック距離Ｈの最大値ＨMA
X 、最小値ＨMIN が求まるようになっている。 【００４８】前記ずれ量決定部６０は、比較的小規模の
ＲＩＳＣプロセッサとして構成され、演算器６１を中心
として、２本の１６ビット幅データバス６２ａ，６２
ｂ、ずれ量ｘを保持するラッチ６３ａ、第１の規定値と
してのしきい値Ｈa を保持するラッチ６３ｂ、第２の規
定値としてのしきい値Ｈb を保持するラッチ６３ｃ、第
３の規定値としてのしきい値Ｈc を保持するラッチ６３
ｄ、右画像の輝度データを保持する２組のシフトレジス
タ６４ａ，６４ｂ、演算器６１の出力を受けてずれ量ｘ
または”０”を出力するスイッチ回路６５、そして出力
された結果を一時保存する出力バッファメモリ６６ａ，
６６ｂ、回路の動作タイミングや演算器６１の機能の制
御プログラムが書き込まれた１６ビット幅のＲＯＭ６７
が備えられている。 【００４９】前記演算器６１は、ＡＬＵ７０を中心とし
て、Ａレジスタ７１、Ｂレジスタ７２、Ｆレジスタ７
３、及び、セレクタ７４からなり、前記データバス６２
ａ（以下、Ａバス６２ａとする）にＡレジスタ７１が接
続されるとともに、前記データバス６２ｂ（以下、Ｂバ
ス６２ｂとする）にＢレジスタ７２が接続され、ＡＬＵ
７０の演算結果で前記スイッチ回路６５を作動し、ずれ
量ｘまたは“０”が前記出力バッファメモリ６６ａ，６
６ｂに格納されるようになっている。 【００５０】前記Ａバス６２ａには、各しきい値Ｈa 、
Ｈb 、Ｈc を保持するラッチ６３ｂ，６３ｃ，６３ｄ、
前記最大値検出回路５２が接続され、前記Ｂバス６２ｂ
には、前記最小値検出回路５１が接続されている。さら
に、前記Ａバス６２ａ及びＢバス６２ｂには、前記各シ
フトレジスタ６４ａ，６４ｂが接続されている。 【００５１】また、前記スイッチ回路６５には、前記演
算器６１が接続されるとともに、前記ラッチ６３ａを介
して前記最小値検出回路５１が接続され、後述する３つ
のチェック条件が演算器６１で判定され、その判定結果
に応じて前記出力バッファメモリ６６ａ，６６ｂへの出
力が切り換えられる。 【００５２】このずれ量決定部６０では、得られたシテ
ィブロック距離Ｈの最小値ＨMIN が本当に左右小領域の
一致を示しているものかどうかチェックを行い、条件を
満たしたもののみ、出力バッファメモリ６６ａ，６６ｂ
の対応する画素の位置にずれ量ｘを出力する。 【００５３】すなわち、シティブロック距離Ｈが最小と
なるずれ量が求めるずれ量ｘとなる訳であるが、以下の
３つのチェック条件を満足した場合にずれ量ｘを出力
し、満足しない場合には、データを採用せずに“０”を
出力する。 【００５４】（１）ＨMIN ≦Ｈa （ＨMIN ＞Ｈa のとき
には距離を検出できず。） （２）ＨMAX −ＨMIN ≧Ｈb （得られた最小値ＨMIN が
ノイズによる揺らぎより明らかに低くなっていることを
チェックするための条件であり、最小値ＨMINの近傍の
値との差でなく、最大値ＨMAX との差をチェック対象と
することにより、 曲面などの緩やかに輝度の変わる物
体に対しても距離検出が行なえる。） （３）右画像の小領域内の横方向の隣接画素間の輝度差
＞Ｈc （しきい値Ｈc を大きくするとエッジ検出となる
が、輝度が緩やかに変化している場合にも対応可能なよ
うに、しきい値Ｈc は通常のエッジ検出レベルよりはず
っと低くしてある。この条件は、輝度変化のない部分で
は、距離検出が行なえないという基本的な原理に基づい
ており、小領域中の画素毎に行なわれるため、小領域の
中でも実際に距離の検出された画素のみが採用されるこ
とになり、自然な結果が得られる。）尚、このずれ量決
定の処理も、通常のマイクロプロセッサでソフト的に行
おうとすると、例えば２７ＭＩＰＳの速さが必要とな
り、実行不可能である。 【００５５】以上のずれ量決定部６０から出力される最
終結果である距離分布情報は、道路・障害物認識装置な
どの外部装置へのインターフェースとなるデュアルポー
トメモリ９０へ共通バス８０を介して書き込まれる。 【００５６】次に、距離検出装置２の動作について説明
する。 【００５７】図７は、ステレオ画像処理装置２０におけ
る距離検出処理のフローチャートであり、まず、ステッ
プS101で左右のＣＣＤカメラ１１ａ，１１ｂによって撮
像した画像を入力すると、ステップS102へ進み、入力し
たアナログ画像をＡ／Ｄコンバータ３１ａ，３１ｂでデ
ジタル量に変換する。このＡ／Ｄ変換された画像データ
は、感度調整装置１５の各コンパレータ１６，１７に入
力される。 【００５８】前記感度調整装置１５では、前記各Ａ／Ｄ
コンバータ３１ａ，３１ｂからのデジタルデータを、コ
ンパレータ１６で感度オーバーを表わす基準データＤOV
Rと比較するとともに、コンパレータ１７で感度アンダ
ーを表わす基準データＤUDRと比較し、比較結果をアッ
プダウンカウンタ１８でカウントする。 【００５９】例えば、前記各Ａ／Ｄコンバータ３１ａ，
３１ｂからのデジタルデータが８ビットの場合、感度オ
ーバーを示す基準データＤOVRを”２５５”、感度アン
ダーを示す基準データＤUDRを”０”とし、前記各Ａ／
Ｄコンバータ３１ａ，３１ｂからのデジタルデータを各
基準データＤOVR，ＤUDRと画素毎に比較し、感度オーバ
ーあるいは感度アンダーのデータが表れる毎にオンとな
るコンパレータ１６，１７の出力をアップダウンカウン
タ１８でアップカウントあるいはダウンカウントする。 【００６０】そして、所定領域に渡って計数した結果、
例えば１画面分に対する計数結果が正の値で感度オーバ
ーのときには、ＰＩＤ制御等によりＣＣＤカメラの絞り
を絞るか、あるいはシャッタースピードを上げ、感度を
下げるよう制御し、計数結果が負の値で感度アンダーの
ときには、絞りを開けるか、あるいはシャッタースピー
ドを下げ、感度を上げるよう制御する。尚、ＣＣＤカメ
ラの絞りとシャッタースピードとを同時に制御するよう
にして良い。 【００６１】これにより、走行状態における外界照度が
大きく変化した場合においても、左右のＣＣＤカメラ１
１ａ，１１ｂの感度が適切に調整される。この場合、感
度オーバー、感度アンダーの領域をなくすように動作す
るため、より本質的、より確実な感度調整を行なうこと
ができる。 【００６２】このように、ＣＣＤカメラ１１ａ，１１ｂ
の感度が適切に調整された状態で撮像された画像が、前
記各Ａ／Ｄコンバータ３１ａ，３１ｂによってデジタル
画像に変換されると、ＬＵＴ３２ａ，３２ｂで、低輝度
部分のコントラスト増強、左右のＣＣＤカメラ１１ａ，
１１ｂの特性補償等が行なわれ、画像メモリ３３ａ，３
３ｂに記録される。尚、前記画像メモリ３３ａ，３３ｂ
に記憶される画像は、ＣＣＤカメラ１１ａ，１１ｂのＣ
ＣＤ素子の全ラインのうち、その後の処理に必要なライ
ンのみであり、例えば０．１秒に１回の割合（テレビ画
像で３枚に１枚の割合）で書き換えられる。 【００６３】その後、各画像メモリ３３ａ，３３ｂに記
録された画像データは、ステップS103で、左右画像用の
画像メモリ３３ａ，３３ｂから入力バッファメモリ４１
ａ，４１ｂ，４２ａ，４２ｂへ、共通バス８０を介し
て、例えば４ラインずつ左右画像データが読み込まれ、
読み込んだ左右画像のマッチング、すなわち一致度の評
価が行なわれる。その際、左右の画像毎に、前記画像メ
モリ３３ａ，３３ｂから前記入力バッファメモリ４１
ａ，４１ｂ，４２ａ，４２ｂへの読み込み動作と、シフ
トレジスタ４３ａ，４３ｂ，４４ａ，４４ｂに対する書
き込み動作とが交互に行なわれる。 【００６４】例えば、左画像では、画像メモリ３３ａか
ら一方の入力バッファメモリ４１ａに画像データが読み
込まれている間に、他方の入力バッファメモリ４１ｂか
らシフトレジスタ４３ｂへ読み込んだ画像データの書き
出しが行なわれ、右画像では、画像メモリ３３ｂから一
方の入力バッファメモリ４２ａに画像データが読み込ま
れている間に、他方の入力バッファメモリ４２ｂからシ
フトレジスタ４４ｂへ読み込んだ画像データの書き出し
が行なわれる。 【００６５】そして、図８に示すように、前記シフトレ
ジスタ４３ａ，４３ｂ，４４ａ，４４ｂには、左右の４
×４画素の小領域の画像データ（１，１）…（４，４）
が保存され、一方のシフトレジスタ４３ａ（４４ａ）に
は１、２ラインのデータが、もう一方のシフトレジスタ
４３ｂ（４４ｂ）には３、４ラインのデータが、それぞ
れ１画素毎に奇数ライン、偶数ラインの順序で入る。 【００６６】前記各シフトレジスタ４３ａ，４３ｂ，４
４ａ，４４ｂは、それぞれが独立した転送ラインを持
ち、４×４画素のデータは例えば８クロックで転送され
る。そして、これらのシフトレジスタ４３ａ，４３ｂ，
４４ａ，４４ｂは、８段のうちの偶数段の内容を同時に
シティブロック距離計算回路４５に出力し、シティブロ
ック距離Ｈの計算が始まると、右画像のデータはシフト
レジスタ４４ａ，４４ｂ内に保持されて、クロック毎に
奇数ライン、偶数ラインのデータが交互に出力され、一
方、左画像のデータはシフトレジスタ４３ａ，４３ｂに
転送され続け、奇数ライン、偶数ラインのデータが交互
に出力されつつ、２クロック毎に１画素分右のほうにず
れたデータに置き換わっていく。この動作を、例えば１
００画素分ずれるまで（２００クロック）繰り返す。 【００６７】その後、一つの小領域に対する転送が終了
すると、＃２アドレスコントローラ８７内の左画像用ア
ドレスカウンタに右画像用アドレスカウンタの内容（次
の４×４画素の小領域の先頭アドレス）がセットされ、
次の小領域の処理が始まる。シティブロック距離計算回
路４５では、図９のタイミングチャートに示すように、
まず、ピラミッド型構造初段の絶対値演算器に８画素分
のデータを入力し、左右画像の輝度差の絶対値を計算す
る。すなわち、右画素の輝度から対応する左画素の輝度
を引き算し、結果が負になった場合、演算命令を変える
ことにより、引く方と引かれる方を逆にして再び引き算
を行なうことにより、絶対値の計算を行なう。従って、
初段では引き算を２回行なう場合がある。 【００６８】次いで、初段を通過すると、２段目から４
段目までの第１ないし第３加算器で二つの同時入力デー
タを加算して出力する。そして、最終段の総和加算器で
二つの連続するデータを加え合わせて総和を計算し、必
要とする１６画素分のシティブロック距離Ｈを２クロッ
ク毎に最小・最大値検出部５０へ出力する。 【００６９】次に、ステップS104へ進み、前記ステップ
S103で算出したシティブロック距離Ｈの最大値ＨMAX 、
最小値ＨMIN を検出する。前述したように、この最大値
ＨMAX の検出と最小値ＨMIN の検出とは、互いに論理が
逆になることと、ずれ量を保存しないこと以外は、全く
同じであるため、以下、代表して最小値ＨMIN の検出に
ついて説明する。 【００７０】まず、最初に出力されてきたシティブロッ
ク距離Ｈ（ずれ量ｘ＝０）が、図６に示す最小値検出回
路５１のＣラッチ５３を介して、演算器４６のＢレジス
タ４６ｂに入力される。次のクロックで出力されてきた
シティブロック距離Ｈ（ずれ量ｘ＝１）は、Ｃラッチ５
３と演算器４６のＡレジスタ４６ａとに入れられ、演算
器４６では、同時に、Ｂレジスタ４６ｂとの比較演算が
始まる。 【００７１】前記演算器４６での比較演算の結果、Ｂレ
ジスタ４６ｂの内容よりもＡレジスタ４６ａの内容の方
が小さければ、次のクロックのときに、Ｃラッチ５３の
内容（すなわちＡレジスタ４６ａの内容）がＢレジスタ
４６ｂに送られ、このときのずれ量ｘがＤラッチ５５に
保存される。このクロックで同時に、次のシティブロッ
ク距離Ｈ（ずれ量ｘ＝２）がＡレジスタ４６ａとＣラッ
チ５３に入れられ、再び比較演算が始まる。 【００７２】このようにして、計算途中での最小値が常
にＢレジスタ４６ｂに、そのときのずれ量ｘがＤラッチ
５５に保存されながら、ずれ量ｘが１００になるまで計
算が続けられる。計算が終了すると（最後のシティブロ
ック距離Ｈが出力されてから１クロック後）、Ｂレジス
タ４６ｂとＤラッチ５５の内容はずれ量決定部６０に読
み込まれる。 【００７３】この間に、前述したシティブロック距離計
算回路４５では次の小領域の初期値が読み込まれ、時間
の無駄を生じないようになっており、一つのシティブロ
ック距離Ｈを計算するのに、例えば４クロックかかる
が、パイプライン構造をとっているため、２クロック毎
に新たな計算結果が得られる。 【００７４】ステップS105では、前記ステップS104でシ
ティブロック距離Ｈの最小値ＨMIN、最大値ＨMAX が確
定すると、ずれ量決定部６０にて、前述した３つの条件
がチェックされ、ずれ量ｘが決定される。 【００７５】すなわち、図１０のタイミングチャートに
示すように、Ｂバス６２ｂを介して最小値ＨMIN が演算
器６１のＢレジスタ７２にラッチされるとともに、この
Ｂレジスタ７２の値と比較されるしきい値Ｈa がＡバス
６２ａを介してＡレジスタ７１にラッチされる。そして
ＡＬＵ７０で両者が比較され、しきい値Ｈa よりも最小
値ＨMIN の方が大きければ、スイッチ回路６５がリセッ
トされ、以後のチェックの如何に係わらず常に０が出力
されるようになる。 【００７６】次に、Ａレジスタ７１に最大値ＨMAX がラ
ッチされ、このＡレジスタ７１にラッチされた最大値Ｈ
MAX とＢレジスタ７２に保存されている最小値ＨMIN と
の差が計算されて、その結果がＦレジスタ７３に出力さ
れる。次のクロックでＡレジスタ７１にしきい値Ｈb が
ラッチされ、Ｆレジスタ７３の値と比較される。Ａレジ
スタ７１にラッチされたしきい値Ｈb よりもＦレジスタ
７３の内容の方が小さければ同様にスイッチ回路６５が
リセットされる。 【００７７】次のクロックからは、隣接画素間の輝度差
の計算が始まる。輝度データが保存されている２組のシ
フトレジスタ６４ａ，６４ｂは１０段構成であり、それ
ぞれ、シティブロック距離計算部４０の１，２ライン用
のシフトレジスタ４４ａと、３，４ライン用のシフトレ
ジスタ４４ｂの後段に接続されている。前記シフトレジ
スタ６４ａ，６４ｂの出力は最後の段とその２つ手前の
段から取り出され、それぞれが、Ａバス６２ａとＢバス
６２ｂとに出力される。 【００７８】輝度差の計算が始まるとき、前記シフトレ
ジスタ６４ａ，６４ｂの各段には小領域中の各場所の輝
度データが保持されており、初めに前回の小領域の第４
行第１列の輝度データと、今回の小領域の第１行第１列
の輝度データとが、演算器６１のＡレジスタ７１とＢレ
ジスタ７２とにラッチされる。 【００７９】そして、Ａレジスタ７１の内容とＢレジス
タ７２の内容の差の絶対値が計算され、結果がＦレジス
タ７３に保存される。次のクロックでＡレジスタ７１に
しきい値Ｈc がラッチされ、Ｆレジスタ７３の値と比較
される。 【００８０】前記演算器６１での比較結果、Ａレジスタ
の内容（しきい値Ｈc ）よりもＦレジスタ７３の内容
（輝度差の絶対値）のほうが大きければ、前記スイッチ
回路６５からずれ量ｘあるいは”０”が出力され、、Ａ
レジスタの内容よりもＦレジスタ７３の内容のほうが小
さければ”０”が出力されて、出力バッファメモリ６６
ａ，６６ｂの該当する小領域の第１行第１列に当たる位
置に書き込まれる。 【００８１】前記演算器６１で隣接画素間の輝度差とし
きい値Ｈc との比較が行なわれている間に、シフトレジ
スタ６４ａ，６４ｂは１段シフトする。そして今度は、
前回の小領域の第４行第２列と、今回の小領域の第１行
第２列の輝度データに対して計算を始める。このように
して小領域の第１列、第２列に対し交互に計算を行なっ
た後、第３列、第４列に対して同様に計算を進める。 【００８２】計算中は、シフトレジスタ６４ａ，６４ｂ
の最終段と最初の段がつながってリングレジスタになっ
ており、小領域全体を計算した後にシフトクロックが２
回追加されるとレジスタの内容が計算前の状態に戻り、
次の小領域の輝度データが転送され終わったときに、最
終段とその前の段に今回の小領域の第４行のデータが留
められる。 【００８３】このように、ずれ量決定のための計算中に
次のデータをＡバス６２ａ，Ｂバス６２ｂに用意した
り、結果の書き込みを行なうため、計算に必要な２クロ
ックのみで一つのデータが処理される。この結果、初め
に行なう最小値ＨMIN 、最大値ＨMAX のチェックを含め
ても、例えば４３クロックで全ての計算が終了する。す
なわち、一つの小領域に対して、シティブロック距離Ｈ
の最小値ＨMIN 、最大値ＨMAX を求めるのに要する時間
は充分に余裕があり、さらに機能を追加することも可能
である。 【００８４】そして、ずれ量ｘが決定されると、ステッ
プS106で、出力バッファメモリ６６ａ，６６ｂからデュ
アルポートメモリ９０へ、ずれ量ｘを距離分布情報とし
て出力し、ステレオ画像処理装置２０における処理が終
了する。前記出力バッファメモリ６６ａ，６６ｂは、前
述した入力バッファメモリ４１ａ，４１ｂ，４２ａ，４
２ｂと同様、例えば４ライン分の容量があり、２組の一
方に書き込んでいる間にもう一方から前記デュアルポー
トメモリ９０へ距離分布情報を送り出す。 【００８５】次に、ステレオ画像処理装置２０のシステ
ム全体のタイミングについて、図１１に示すタイミング
チャートに従って説明する。 【００８６】まず初めに、同期を取っている左右のＣＣ
Ｄカメラ１１ａ，１１ｂからのフィールド信号を０．１
秒毎（３画面に１画面の割合）に、画像メモリ３３ａ，
３３ｂに書き込む。 【００８７】次に、取り込み終了信号を受けて、４ライ
ン毎のブロック転送が始まる。この転送は、右画像、左
画像、結果の距離分布像の順に３ブロック転送する。 【００８８】この間に、一方の入出力バッファメモリに
対してずれ量ｘの計算が行われる。そして、ずれ量ｘの
計算時間を考慮し、所定時間待機してからもう一方の入
出力バッファメモリに対して転送を始める。 【００８９】一つの右画像の４×４画素の小領域に対す
るシティブロック距離Ｈの計算は、左画像について１０
０画素ずらしながら計算するため、１００回行われる。
一つの領域のシティブロック距離Ｈが計算されている間
に、その前の領域のずれ量ｘが各チェックを経て距離分
布として出力される。 【００９０】処理すべきライン数を２００とすると４ラ
イン分の処理を５０回繰り返すことになり、計算の開始
時に最初のデータを転送するための４ライン分の処理時
間、計算終了後に最後の結果を画像認識部に転送するた
めの４ライン分の処理時間と、計８ライン分の処理時間
がさらに必要となる。 【００９１】最初の入力画像ラインの転送を開始してか
ら最後の距離分布を転送し終わるまでの時間は、実際の
回路動作の結果、０．０７６秒である。 【００９２】以上説明したステレオ画像処理装置２０か
ら出力される距離分布情報は、画像のような形態をして
おり（距離画像）、左右２台のＣＣＤカメラ１１ａ，１
１ｂで撮影した画像、例えば図１２に示すような画像
（図１２は片方のカメラで撮像した画像を示す）を前記
ステレオ画像処理装置２０で処理すると、図１３のよう
な画像となる。 【００９３】図１３に示す画像例では、画像サイズは横
４００画素×縦２００画素であり、距離データを持って
いるのは黒点の部分で、これは図１２の画像の各画素の
うち、左右方向に隣合う画素間で明暗変化が大きい部分
である。画像上の座標系は、図１３に示すように、左上
隅を原点として横方向をｉ座標軸，縦方向をｊ座標軸と
し、単位は画素である。 【００９４】この場合、図１２に示す画像は、感度調整
装置１５により、左右のＣＣＤカメラ１１ａ，１１ｂの
感度を調整して撮像した画像であり、この画像を記録し
た画像メモリ３３のデータを処理して得られる図１３の
距離画像は、車外の照度が急激に変化するような状況で
あっても、正確な距離分布を示すものとなる。 【００９５】そして、この距離画像からは、ＣＣＤカメ
ラ１１の取付け位置と焦点距離などのレンズパラメータ
を用いて各画素に対応する物体のＸＹＺ空間における３
次元位置を算出することができ、情報量の低下なく車外
の対象物までの距離を正確に検出することができる。 【００９６】尚、前記ずれ量ｘによる距離分布情報から
ＸＹＺ空間における３次元位置への計算は、ステレオ画
像処理装置２０内で処理しても良く、ステレオ画像処理
装置２０から外部に出力されるデータ形式は、接続する
外部装置との兼ね合いで定めれば良い。 【００９７】 【発明の効果】以上説明したように本発明によれば、外
界の照度変化にも高速に対応して適正な画像を得ること
ができ、距離検出の精度を向上することができる等優れ
た効果が得られる。

【図面の簡単な説明】 【図１】車輌用距離検出装置の回路構成図 【図２】距離検出装置の全体構成図 【図３】車輌の正面図 【図４】カメラと被写体との関係を示す説明図 【図５】シティブロック距離計算回路の説明図 【図６】最小値検出回路のブロック図 【図７】距離検出処理のフローチャート 【図８】シフトレジスタ内の保存順序を示す説明図 【図９】シティブロック距離計算回路の動作を示すタイ
ミングチャート 【図１０】ずれ量決定部の動作を示すタイミングチャー
ト 【図１１】全体の動作を示すタイミングチャート 【図１２】車載のＣＣＤカメラで撮像した画像の例を示
す説明図 【図１３】距離画像の例を示す説明図 【符号の説明】 １０ ステレオ光学系（撮像系） １５ 感度調整装置（感度調整手段） １６ コンパレータ（第１の比較器） １７ コンパレータ（第２の比較器） １８ アップダウンカウンタ（計数器） １９ 感度コントローラ ＤOVR 感度オーバーを表わす基準データ ＤUDR 感度アンダーを表わす基準データ

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ (58)調査した分野(Int.Cl.⁷，ＤＢ名) G01C 3/00 - 3/32 G01B 11/00 - 11/30 102 B60R 21/00 - 21/00 630 G06T 1/00 - 9/40 G08G 1/00 - 9/02

Claims (1)

1. (57)【特許請求の範囲】 【請求項１】 車輌に搭載した撮像系によって車外の対
   象を撮像し、撮像した画像をデータ処理して画像全体に
   渡る距離分布を算出する車輌用距離検出装置において、前記撮像系の感度を調整する感度調整手段に、 前記撮像系によって撮像した画像の画素毎のデジタルデ
   ータを、感度オーバーを表わす基準データと比較する第
   １の比較器と、 前記デジタルデータを、感度アンダーを表わす基準デー
   タと比較する第２の比較器と、 前記第１の比較器の出力をアップカウントし、前記第２
   の比較器の出力をダウンカウントする計数器と、 所定領域に渡って計数した前記計数器の計数値が正の値
   のとき、前記撮像系の感度を下げるよう前記撮像系へ感
   度調整信号を出力し、前記計数値が負の値のとき、前記
   撮像系の感度を上げるよう前記撮像系へ感度調整信号を
   出力する感度コントローラと を備えたことを特徴とする
   車輌用距離検出装置。