JPH0845000A - 車間距離制御装置 - Google Patents

車間距離制御装置

Info

Publication number
JPH0845000A
JPH0845000A JP6177236A JP17723694A JPH0845000A JP H0845000 A JPH0845000 A JP H0845000A JP 6177236 A JP6177236 A JP 6177236A JP 17723694 A JP17723694 A JP 17723694A JP H0845000 A JPH0845000 A JP H0845000A
Authority
JP
Japan
Prior art keywords
vehicle
distance
speed
inter
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6177236A
Other languages
English (en)
Inventor
Keiji Hanawa
圭二 塙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Priority to JP6177236A priority Critical patent/JPH0845000A/ja
Publication of JPH0845000A publication Critical patent/JPH0845000A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【目的】 先行車との車間距離を一定に保つ上で車輌の
様々な走行状況変化にすばやく応答して良好な制御性能
を得、運転者の負担を軽減して安全性を向上する。 【構成】 車間距離制御部200では、自車輌1の走行
速度から適切な車間距離の目標値を設定し、画像処理部
100で算出した先行車との車間距離及び相対速度に基
づいて速度制御モードの判断を行ない、設定加速度ある
いは設定減速度を発生させるエンジン出力を走行速度及
びエンジン回転数に基づいて算出する。そして、算出し
たエンジン出力とエンジン回転数とからスロットル開度
を求め、求めたスロットル開度となるようスロットルア
クチュエータ3を駆動して加速・減速を行ない、車間距
離を目標値に保つ。すなわち、エンジン回転数、トル
ク、スロットル開度の間のエンジン固有の関係からスロ
ットル開度をきめ細かく制御することにより、走行状況
変化にすばやく応答して良好な制御性能を実現し、運転
者の負担を軽減する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、先行車との車間距離を
自動的に一定に保つ車間距離制御装置に関する。
【0002】
【従来の技術】一般に、自動車等の車輌においては、走
行中に運転者が操作スイッチ等によって希望の車速をセ
ットすると、その速度を記憶し、アクセルペダルを踏ま
なくとも車輌を自動的に一定速度で走行させる定速走行
制御装置が普及しており、高速道路を長時間走行する場
合等に、運転者の疲労を軽減することができる。
【0003】このような定速走行制御装置では、前方に
遅い車輌がいると、運転者が定速走行の操作スイッチや
ブレーキ等を操作して減速を行なわなければならず、先
行車の少ない状況以外では有効性を十分に発揮すること
ができないという問題があった。
【0004】このため、最近では、先行車を検出して車
間距離を制御する技術が開発されており、例えば、特開
昭64−66712号公報には、 画像認識によって先
行車を検出し、計測した先行車との相対速度及び車間距
離に基づいてスロットル弁を漸開、保持、漸閉のいずれ
かで制御して目標車速にすることで、車間距離を目標車
間距離に制御する技術が開示されている。
【0005】また、特開平2−299936号公報に
は、レーザ・レーダによって先行車を検出し、計測した
車間距離と自車輌の速度から演算した安全車間距離との
差に基づいて目標スロットル開度を計算した後、スロッ
トル開度信号を時間的に平滑化してスロットルアクチュ
エータに出力し、加減速を行なって車間距離を安全に保
つ技術が開示されている。
【0006】
【発明が解決しようとする課題】ところで、車間距離を
目標車間距離あるいは安全車間距離とする従来の技術に
おいては、スロットルバルブをON,OFF的に制御す
ることによってのみ速度制御を行なっており、運転者の
不快感を除去するためスロットル開度の急激な変化を緩
和する処理を行なう場合においても、基本的には、同様
に、スロットルバルブのON,OFFにより、速度制御
を行なっている。
【0007】しかしながら、エンジンの特性上、エンジ
ン回転数、トルク、スロットル開度の間には、複雑な関
係があり、例えば、低速走行時のエンジン回転数が低い
状態では、スロットル開度の僅かな変化でトルクが大き
く変化し、また、高速走行時のエンジン回転数が高い状
態では、スロットル開度の変化に対してトルクの変化が
小さくなる。
【0008】このため、スロットルバルブをON,OF
F的に制御するのみでは、低速走行時に車輌が唐突な挙
動を発生し易くなって良好な性能が得られないばかりで
なく、高速走行時に車輌の挙動が緩慢になってしまう傾
向があり、先行車が急に減速した場合等のように、極め
て速い応答性を要求されるような状況を含む様々な走行
状態に対応することが困難となる。
【0009】本発明は前記事情に鑑みてなされたもの
で、先行車との車間距離を一定に保つ上で車輌の様々な
走行状況変化にすばやく応答して良好な制御性能が得ら
れ、運転者の負担を軽減して安全性を向上することので
きる車間距離制御装置を提供することを目的としてい
る。
【0010】
【課題を解決するための手段】本発明は、自車輌の進行
方向に存在する先行車を検出し、先行車と自車輌との車
間距離及び自車輌に対する先行車の相対速度を算出する
先行車検出手段と、前記先行車検出手段で算出した車間
距離及び相対速度に基づき自車輌と先行車との車間距離
を目標車間距離にするための速度制御モードを判断して
自車輌の走行速度を制御する際、自車輌の走行速度及び
エンジン回転数に基づいて、前記速度制御モードにおけ
る設定加速度あるいは設定減速度を発生させるエンジン
出力を算出し、このエンジン出力とエンジン回転数とか
ら求めたスロットル開度となるよう、スロットルバルブ
に連設したアクチュエータを駆動する車間距離制御手段
とを備えたものである。
【0011】
【作用】本発明では、先行車検出手段によって先行車を
検出すると、先行車と自車輌との車間距離及び自車輌に
対する先行車の相対速度を算出し、この車間距離及び相
対速度に基づいて車間距離制御手段で速度制御モードを
判断する。そして、判断した速度制御モードにおける設
定加速度あるいは設定減速度を発生させるエンジン出力
を、自車輌の走行速度及びエンジン回転数に基づいて算
出し、この算出したエンジン出力とエンジン回転数とか
らスロットル開度を求め、求めたスロットル開度となる
よう、スロットルバルブに連設したアクチュエータを駆
動することにより、自車輌と先行車との車間距離を目標
車間距離に制御する。
【0012】
【実施例】以下、図面を参照して本発明の実施例を説明
する。
【0013】図1〜図41は本発明の第1実施例に係わ
り、図1は車間距離制御装置の全体構成図、図2は車間
距離制御装置の回路ブロック図、図3はディスプレイの
画面を示す説明図、図4は車輌の正面図、図5はカメラ
と被写体との関係を示す説明図、図6はイメージプロセ
ッサの詳細回路図、図7はシティブロック距離計算回路
の説明図、図8は最小値検出回路のブロック図、図9は
車載のCCDカメラで撮像した画像の例を示す説明図、
図10は距離画像の例を示す説明図、図11は車輌の上
面図、図12は車輌の側面図、図13は画像処理・車間
距離制御用コンピュータの機能ブロック図、図14は道
路モデルの例を示す説明図、図15は3次元ウインドウ
の形状を示す説明図、図16は2次元ウインドウの形状
を示す説明図、図17は直線要素とデータのずれ量を示
す説明図、図18はずれ量と重み係数の関係を示す説明
図、図19は検出した道路形状の例を示す説明図、図2
0は画像の区分方法を示す説明図、図21は検出物体と
ヒストグラムの関係を示す説明図、図22は物体の存在
領域の検出結果と検出距離の例を示す説明図、図23は
物体検出用の3次元ウインドウの形状を示す説明図、図
24は物体検出用の2次元ウインドウの形状を示す説明
図、図25は物体の輪郭を構成するデータの例を示す説
明図、図26は物体の輪郭像と検出された外径寸法の例
を示す説明図、図27は速度制御モード判断の概念を示
す説明図、図28はエンジンのトルク特性を示す説明
図、図29は速度制御の効果を示す説明図、図30は警
報判断の説明図、図31はイメージプロセッサの動作を
示すフローチャート、図32はシフトレジスタ内の保存
順序を示す説明図、図33はシティブロック距離計算回
路の動作を示すタイミングチャート、図34はずれ量決
定部の動作を示すタイミングチャート、図35はイメー
ジプロセッサの動作を示すタイミングチャート、図36
及び図37は道路検出処理のフローチャート、図38及
び図39は物体検出処理のフローチャート、図40は速
度制御処理のフローチャート、図41は警報出力処理の
フローチャートである。
【0014】図1において、符号1は自動車等の車輌で
あり、この車輌1に搭載される車間距離制御装置300
には、自車輌の進行方向に存在する先行車を検出し、先
行車と自車輌との車間距離及び自車輌に対する先行車の
相対速度を算出する先行車検出手段としての機能を実現
するステレオ光学系10及び画像処理部100と、この
画像処理部100で算出した車間距離及び相対速度に基
づき自車輌と先行車との車間距離を目標車間距離にする
ための速度制御モードを判断して自車輌の走行速度を制
御する際、自車輌の走行速度及びエンジン回転数に基づ
いて、前記速度制御モードにおける設定加速度あるいは
設定減速度を発生させるエンジン出力を算出し、このエ
ンジン出力とエンジン回転数とから求めたスロットル開
度となるよう、エンジン(図示せず)のスロットルバル
ブ2に連設したスロットルアクチュエータ3を駆動する
車間距離制御手段としての機能を実現する車間距離制御
部200とが備えられており、運転者に対する高度な支
援制御を行なうアクティブドライブアシスト(ADA)
システムの一機能として、定速走行時における先行車と
の車間距離を自動的に一定に保ち、運転者の負担を軽減
して安全を確保するようになっている。
【0015】前記ステレオ光学系10は、車外の対象を
撮像する撮像系としての左右1組のカメラからなり、前
記画像処理部100では、前記ステレオ光学系10によ
って撮像した左右1組のステレオ画像対を処理して画像
全体に渡る3次元の距離分布を算出し、その距離分布情
報から、道路形状や複数の立体物の3次元位置を高速で
検出した後、検出した道路形状と各立体物の位置を比較
して自車輌の先行車を特定し、車速センサ4からの信号
に基づいて先行車との車間距離及び相対速度を算出す
る。
【0016】また、前記車間距離制御部200には、前
記スロットルアクチュエータ3、前記車速センサ4、エ
ンジン回転数センサ5、速度制御モードに応じた自車輌
の制御状態を運転者に報知する報知手段として運転者の
前方に設置されたディスプレイ9等が接続されており、
前記車速センサ4から得られる自車輌の走行速度から適
切な車間距離の目標値を設定して速度制御モードを判断
し、この速度モードに応じたスロットル開度を決定して
対応する信号を前記スロットルアクチュエータ3に出力
する。
【0017】これにより、サーボモータあるいは空気圧
によって作動する前記スロットルアクチュエータ3が駆
動されて前記スロットルバルブ2の開度が制御され、エ
ンジン出力が調節されて速度制御が行なわれる。この場
合、例えば、先行車が急ブレーキをかけて先行車に異常
接近する等の異常事態発生に対処するため、前記車間距
離制御部200では、このような事態を予め推測し、前
記ディスプレイ9に表示して運転者に警告を発すること
により、図示しないブレーキの操作を促す。
【0018】前記ディスプレイ9の画面には、図3に示
すように、車輌前方の風景を、後述する距離画像の状態
で表示するモニタ部9aが中央部に設けられており、こ
のモニタ部9aの側部に、ADAの各モード(例えば、
高速道路等の定速走行時における先行車との車間距離を
自動的に適正に制御するクルーズモード、前方の左右に
存在する物体と自車輌側部との左右の隙間を表示するガ
イドモード、渋滞時等に先行車との車間距離を自動的に
適正に制御する渋滞モード、障害物との衝突の危険を警
報するアシストモード等)を表示するモード表示部9b
が設けられ、後述するモード設定スイッチから規定の信
号が入力されると、クルーズモードが選択され、前記モ
ード表示部9bの”クルーズ”の表示が点灯するように
なっている。
【0019】また、前記モニタ部9aの上部には、デー
タ表示部9cと、楕円を4分割した形状で車輌の前後左
右を表わす位置表示部9dとが設けられ、前記モニタ部
9a下部には、ADAの各モードにおける文字及び数値
を表示するモードデータ表示部9eが設けられ、クルー
ズモードが選択されると、図3に示すように、車間距
離、速度の文字の下に、算出した数値が表示され、前記
位置表示部9dの前後部分が点灯する。この位置表示部
9dは、通常は緑色で点灯され、先行車に異常接近する
おそれがある場合には例えば黄色で点灯され、また、衝
突の可能性がある場合には例えば赤色で点灯される。こ
れにより、運転者に警告を与えてブレーキ操作を促す。
【0020】尚、簡易的には、前記ディスプレイ9に代
えて、例えば、複数のランプを配設した表示器を採用し
ても良く、先行車が検出されていない状態、前記スロッ
トルアクチュエータ3が作動している状態、先行車に異
常接近するおそれがあり、警報が発生している状態等の
表示内容を区別するようにしても良い。また、複数の色
を表示できるランプを取り付け、ランプの色によって表
示内容を区別しても良く、さらには、ランプによる警報
に代えて、ブザー等の音による警報あるいは音声による
警報でも良い。
【0021】次に、前記画像処理部100及び前記車間
距離制御部200の具体的なハードウエア構成を図2に
基づいて説明する。
【0022】まず、前記画像処理部100に接続される
前記ステレオ光学系10は、例えば電荷結合素子(CC
D)等の固体撮像素子を用いたCCDカメラを用いて構
成されており、後述するように、遠距離用としての左右
1組のCCDカメラ11a,11b、及び、近距離用と
しての左右1組のCCDカメラ12a,12bが備えら
れている。
【0023】前記画像処理部100及び車間距離制御部
200は、前記ステレオ光学系10で撮像した画像を処
理し、画像のような形態をした距離分布データ(距離画
像)を出力するイメージプロセッサ20と、このイメー
ジプロセッサ20からの距離画像から先行車を検出し、
その車間距離を一定に制御する処理を行なう画像処理・
車間距離制御用コンピュータ110とから構成されてい
る。
【0024】前記イメージプロセッサ20は、前記ステ
レオ光学系10で撮像した2枚のステレオ画像対に対し
て微小領域毎に同一の物体が写っている部分を探索し、
対応する位置のずれ量を求めて物体までの距離を算出す
る距離検出回路20aと、この距離検出回路20aの出
力である距離分布データを記憶する距離画像メモリ20
bとから構成されている。
【0025】また、前記画像処理・車間距離制御用コン
ピュータ110は、主として道路形状を検出する処理を
行なうマイクロプロセッサ110aと、主として個々の
立体物を検出する処理を行なうマイクロプロセッサ11
0bと、主として先行車との車間距離を制御する処理を
行なうマイクロプロセッサ110cがシステムバス11
1を介して並列に接続されたマルチマイクロプロセッサ
のシステム構成となっている。
【0026】そして、前記システムバス111には、前
記距離画像メモリ20bに接続されるインターフェース
回路112と、制御プログラムを格納するROM113
と、計算処理途中の各種パラメータを記憶するRAM1
14と、処理結果のパラメータを記憶する出力用メモリ
115と、前記ディスプレイ(DISP)9を制御する
ためのディスプレイコントローラ(DISP.CON
T.)116と、センサ・スイッチ類からの信号を入力
するとともにアクチェータ類に制御信号を出力する入出
力(I/O)インターフェース回路117とが接続され
ている。
【0027】前記I/Oインターフェース回路117に
接続されるセンサ・スイッチ類としては、前記車速セン
サ4、前記エンジン回転数センサ5、ステアリングの操
舵角を検出する舵角センサ6、ADAにおける各モード
を選択するモード設定スイッチ7、前記スロットルバル
ブ2の開度を検出するスロットル開度センサ8等があ
り、また、アクチェータとしては前記スロットルアクチ
ュエータ3がある。尚、前記モード設定スイッチ7によ
って”クルーズ”モードを選択した場合、本装置に図示
しない既存の定速走行制御装置を連動させることが可能
であり、前方に先行車が検出されない場合、既存の定速
走行制御装置による通常の定速走行制御を行なわせるこ
とができる。
【0028】前記画像処理・車間距離制御用コンピュー
タ110においては、各マイクロプロセッサ110a,
110b,110cが使用するメモリの領域が分けられ
ており、各マイクロプロセッサ110a,110bで前
記イメージプロセッサ20からの距離情報に基づいて道
路形状検出処理、立体物検出処理を実行し、検出した道
路形状と各立体物の位置、先行車との車間距離及び相対
速度等のデータを出力用メモリ115に出力する。
【0029】前記出力用メモリ115に記憶されたデー
タは、前記マイクロプロセッサ110cに読み込まれ、
先行車との車間距離を一定に保つため前記スロットルア
クチュエータ3を制御し、また、先行車へ異常接近する
可能性を事前に推測し、警報を発する処理を行なう。
【0030】以下、前記イメージプロセッサ20、前記
画像処理・車間距離制御用コンピュータ110の機能に
ついて説明する。
【0031】まず、前記イメージプロセッサ20に接続
される前記ステレオ光学系10について説明すると、こ
のステレオ光学系10を構成する左右1組のカメラは、
図4に示すように、遠距離の左右画像用としての2台の
CCDカメラ11a,11b(代表してCCDカメラ1
1と表記する場合もある)が、それぞれ車室内の天井前
方に一定の間隔をもって取り付けられるとともに、近距
離の左右画像用としての2台のCCDカメラ12a,1
2b(代表してCCDカメラ12と表記する場合もあ
る)が、それぞれ、遠距離用のCCDカメラ11a,1
1bの内側に一定の間隔をもって取り付けられている。
【0032】前記ステレオ光学系10として、直近から
例えば100m遠方までの距離計測を行なう場合、車室
内のCCDカメラ11、12の取付位置を、例えば、車
輌1のボンネット先端から2mとすると、実際には前方
2mから100mまでの位置を計測できれば良い。
【0033】そこで、近距離用のCCDカメラ12a,
12bでは、前方2mから20mまでの位置を計測し、
遠距離用のCCDカメラ11a,11bでは、前方10
mから100mまでの位置を計測すれば、近距離用CC
Dカメラ12と遠距離用CCDカメラ11とで前方10
mから20mの間にオーバラップを有して信頼性を確保
しつつ、全ての範囲を計測することができる。
【0034】以下に、イメージプロセッサ20による距
離の算出方法を、遠距離用CCDカメラ11を例に説明
するが、近距離用CCDカメラ12に対しても同様の処
理により距離の算出が行われる。尚、本実施例では、高
速道路等での定速走行時に先行車との車間距離を求める
ため、遠距離用CCDカメラ11を用いる。
【0035】すなわち、図5に示すように、遠距離用の
2台のCCDカメラ11a、11bの取付間隔をrとし
て、2台のカメラ11a,11bの設置面から距離Dに
ある点Pを撮影する場合、2台のカメラ11a,11b
の焦点距離を共にfとすると、点Pの像は、それぞれの
カメラについて焦点位置からfだけ離れた投影面に写
る。
【0036】このとき、右のCCDカメラ11bにおけ
る像の位置から左のCCDカメラ11aにおける像の位
置までの距離は、r+xとなり、このxをずれ量とする
と、点Pまでの距離Dは、ずれ量xから以下の式で求め
ることができる。
【0037】 D=r×f/x … (1) この左右画像のずれ量xは、エッジ、線分、特殊な形
等、何らかの特徴を抽出し、それらの特徴が一致する部
分を見つけ出すことによっても検出できるが、情報量の
低下を避けるため、前記イメージプロセッサ20では、
左右画像における同一物体の像を見つけ出す際に画像を
小領域に分割し、それぞれの小領域内の輝度あるいは色
のパターンを左右画像で比較して対応する領域を見つけ
出すことにより、小領域毎の距離分布を全画面に渡って
求める。
【0038】左右画像の一致度の評価すなわちステレオ
マッチングは、右画像、左画像のi番目画素の輝度(色
を用いても良い)を、それぞれ、Ai、Biとすると、例
えば、以下の(2)式に示すシティブロック距離Hによ
って行なうことができ、左右画像の各小領域間のシティ
ブロック距離Hの最小値が所定の条件を満たすとき、互
いの小領域が対応すると判断することができる。
【0039】 H=Σ|Ai−Bi| … (2) このシティブロック距離Hによるステレオマッチングで
は、平均値を減算することによる情報量の低下もなく、
乗算がないことから演算速度を向上させることができる
が、分割すべき小領域の大きさが大き過ぎると、その領
域内に遠方物体と近くの物体が混在する可能性が高くな
り、検出される距離が曖昧になる。従って、画像の距離
分布を得るためにも領域は小さい方が良いが、小さ過ぎ
ると逆に一致度を調べるための情報量が不足する。この
ため、例えば、100m先にある幅1.7mの車輌が、
隣の車線の車輌と同じ領域内に含まれないように、4つ
に分割される画素数を領域横幅の最大値とすると、前記
ステレオ光学系10に対して4画素となる。この値を基
準に最適な画素数を実際の画像で試行した結果、縦横共
に4画素となる。
【0040】以下の説明では、画像を4×4画素の小領
域で分割して左右画像の一致度を調べるものとし、ステ
レオ光学系10は、遠距離用のCCDカメラ11a,1
1bで代表するものとする。
【0041】前記イメージプロセッサ20の回路詳細
は、図6に示され、この回路では、距離検出回路20a
に、前記ステレオ光学系10で撮像したアナログ画像を
デジタル画像に変換する画像変換部30、この画像変換
部30からの画像データに対し、左右画像のずれ量xを
決定するためのシティブロック距離Hを画素を一つずつ
ずらしながら次々と計算するシティブロック距離計算部
40、シティブロック距離Hの最小値HMIN及び最大値
HMAXを検出する最小・最大値検出部50、この最小・
最大値検出部50で得られた最小値HMINが左右小領域
の一致を示すものであるか否かをチェックしてずれ量x
を決定するずれ量決定部60が備えられており、また、
距離画像メモリ20bとしてデュアルポートメモリ90
が採用されている。
【0042】前記画像変換部30では、左右画像用のC
CDカメラ11a,11bに対応してA/Dコンバータ
31a,31bが備えられ、各A/Dコンバータ31
a,31bに、データテーブルとしてのルックアップテ
ーブル(LUT)32a,32b、前記CCDカメラ1
1a,11bで撮像した画像を記憶する画像メモリ33
a,33bが、それぞれ接続されている。尚、前記画像
メモリ33a,33bは、後述するように、シティブロ
ック距離計算部40で画像の一部を繰り返し取り出して
処理するため、比較的低速のメモリから構成することが
でき、コスト低減を図ることができる。
【0043】各A/Dコンバータ31a,31bは、例
えば8ビットの分解能を有し、左右のCCDカメラ11
a,11bからのアナログ画像を、所定の輝度階調を有
するデジタル画像に変換する。すなわち、処理の高速化
のため画像の二値化を行なうと、左右画像の一致度を計
算するための情報が著しく失われるため、例えば256
階調のグレースケールに変換するのである。
【0044】また、LUT32a,32bはROM上に
構成され、前記A/Dコンバータ31a,31bでデジ
タル量に変換された画像に対し、低輝度部分のコントラ
ストを上げたり、左右のCCDカメラ11a,11bの
特性の違いを補正する。そして、LUT32a,32b
で変換された信号は、一旦、画像メモリ33a,33b
に記憶される。
【0045】前記シティブロック距離計算部40では、
前記画像変換部30の左画像用の画像メモリ33aに、
共通バス80を介して2組の入力バッファメモリ41
a,41bが接続されるとともに、右画像用の画像メモ
リ33bに、共通バス80を介して2組の入力バッファ
メモリ42a,42bが接続されている。
【0046】前記左画像用の各入力バッファメモリ41
a,41bには、2組の例えば8段構成のシフトレジス
タ43a,43bが接続され、右画像用の各入力バッフ
ァメモリ42a,42bには、同様に、2組の例えば8
段構成のシフトレジスタ44a,44bが接続されてい
る。さらに、これら4組のシフトレジスタ43a,43
b,44a,44bには、シティブロック距離を計算す
るシティブロック距離計算回路45が接続されている。
【0047】また、前記右画像用のシフトレジスタ44
a、44bには、後述するずれ量決定部60の2組の1
0段構成のシフトレジスタ64a,64bが接続されて
おり、次の小領域のデータ転送が始まると、シティブロ
ック距離Hの計算の終わった古いデータはこれらのシフ
トレジスタ64a,64bに送られ、ずれ量xの決定の
際に用いられる。
【0048】また、シティブロック距離計算回路45
は、加減算器に入出力ラッチをつなげてワンチップ化し
た高速CMOS型演算器46を組み合わせており、図7
に詳細が示されるように、演算器46を16個ピラミッ
ド状に接続したパイプライン構造で、例えば8画素分を
同時に入力して計算するようになっている。このピラミ
ッド型構造の初段は、絶対値演算器、2段〜4段は、そ
れぞれ、第1加算器、第2加算器、第3加算器を構成
し、最終段は総和加算器となっている。尚、図7におい
ては、絶対値計算と1,2段目の加算器は半分のみ表示
している。
【0049】また、前記各入力バッファメモリ41a,
41b,42a,42bは、シティブロック距離計算の
速度に応じた比較的小容量の高速タイプであり、入出力
が分離し、クロック発生回路85から供給されるクロッ
クに従って、#1アドレスコントローラ86によって発
生されるアドレスが共通に与えられる。また、4組のシ
フトレジスタ43a,43b,44a,44bとの転送
は、#2アドレスコントローラ87によって制御され
る。
【0050】前記最小・最大値検出部50は、シティブ
ロック距離Hの最小値HMINを検出する最小値検出回路
51とシティブロック距離Hの最大値HMAXを検出する
最大値検出回路52とを備えており、前記シティブロッ
ク距離計算回路45と同様の高速CMOS型演算器を最
小値、最大値検出用として2個使用した構成となってお
り、シティブロック距離Hの出力と同期が取られるよう
になっている。
【0051】図8に示すように、最小値検出回路51
は、具体的には、Aレジスタ46a、Bレジスタ46
b、及び、算術論理演算ユニット(ALU)46cから
なる演算器46に、Cラッチ53,ラッチ54,Dラッ
チ55を接続して構成され、シティブロック距離計算回
路45からの出力が、Aレジスタ46aと、Cラッチ5
3を介してBレジスタ46bとに入力され、ALU46
cの出力の最上位ビット(MSB)がラッチ54に出力
される。このラッチ54の出力は、Bレジスタ46b及
びDラッチ55に出力され、演算器46での最小値計算
の途中の値が、Bレジスタ46bに保存されるととも
に、そのときのずれ量δがDラッチ55に保存されるよ
うになっている。尚、最大値検出回路52については、
論理が逆になることと、ずれ量δを保存しないこと以外
は、最小値検出回路51と同様の構成である。
【0052】前述したようにシティブロック距離Hは、
一つの右画像小領域に対し、左画像小領域を1画素ずつ
ずらしながら順次計算されていく。そこで、シティブロ
ック距離Hの値が出力される毎に、これまでの値の最大
値HMAX、最小値HMINと比較、更新することによって、
最後のシティブロック距離Hの出力とほぼ同時に、その
小領域におけるシティブロック距離Hの最大値HMAX、
最小値HMINが求まるようになっている。
【0053】前記ずれ量決定部60は、比較的小規模の
RISCプロセッサとして構成され、演算器61を中心
として、2本の16ビット幅データバス62a,62
b、ずれ量xを保持するラッチ63a、第1の規定値と
してのしきい値HAを保持するラッチ63b、第2の規
定値としてのしきい値HBを保持するラッチ63c、第
3の規定値としてのしきい値HCを保持するラッチ63
d、右画像の輝度データを保持する2組のシフトレジス
タ64a,64b、演算器61の出力を受けてずれ量x
または”0”を出力するスイッチ回路65、そして出力
された結果を一時保存する出力バッファメモリ66a,
66b、回路の動作タイミングや演算器61の機能の制
御プログラムが書き込まれた16ビット幅のROM67
が備えられている。
【0054】前記演算器61は、ALU70を中心とし
て、Aレジスタ71、Bレジスタ72、Fレジスタ7
3、及び、セレクタ74からなり、前記データバス62
a(以下、Aバス62aとする)にAレジスタ71が接
続されるとともに、前記データバス62b(以下、Bバ
ス62bとする)にBレジスタ72が接続され、ALU
70の演算結果で前記スイッチ回路65を作動し、ずれ
量xまたは“0”が前記出力バッファメモリ66a,6
6bに格納されるようになっている。
【0055】前記Aバス62aには、各しきい値HA、
HB、HCを保持するラッチ63b,63c,63d、前
記最大値検出回路52が接続され、前記Bバス62bに
は、前記最小値検出回路51が接続されている。さら
に、前記Aバス62a及びBバス62bには、前記各シ
フトレジスタ64a,64bが接続されている。
【0056】また、前記スイッチ回路65には、前記演
算器61が接続されるとともに、前記ラッチ63aを介
して前記最小値検出回路51が接続され、後述する3つ
のチェック条件が演算器61で判定され、その判定結果
に応じて前記出力バッファメモリ66a,66bへの出
力が切り換えられる。
【0057】このずれ量決定部60では、得られたシテ
ィブロック距離Hの最小値HMINが本当に左右小領域の
一致を示しているものかどうかチェックを行い、条件を
満たしたもののみ、出力バッファメモリ66a,66b
の対応する画素の位置にずれ量xを出力する。
【0058】すなわち、シティブロック距離Hが最小と
なるずれ量が求めるずれ量xとなる訳であるが、以下の
3つのチェック条件を満足した場合にずれ量xを出力
し、満足しない場合には、データを採用せずに“0”を
出力する。
【0059】(1)HMIN ≦HA (HMIN >HA のとき
には距離を検出できず。) (2)HMAX −HMIN ≧HB (得られた最小値HMIN が
ノイズによる揺らぎより明らかに低くなっていることを
チェックするための条件であり、最小値HMIN の近傍の
値との差でなく、最大値HMAX との差をチェック対象と
することにより、曲面等の緩やかに輝度の変わる物体に
対しても距離検出が行なえる。) (3)右画像の小領域内の横方向の隣接画素間の輝度差
>HC (しきい値HC を大きくするとエッジ検出となる
が、輝度が緩やかに変化している場合にも対応可能なよ
うに、しきい値HC は通常のエッジ検出レベルよりはず
っと低くしてある。この条件は、輝度変化のない部分で
は、距離検出が行なえないという基本的な原理に基づい
ており、小領域中の画素毎に行なわれるため、小領域の
中でも実際に距離の検出された画素のみが採用されるこ
とになり、自然な結果が得られる。) このずれ量決定部60から出力される最終結果である距
離分布情報は、距離画像メモリ20bとしてのデュアル
ポートメモリ90へ共通バス80を介して書き込まれ
る。
【0060】以上のイメージプロセッサ20から出力さ
れる距離分布情報は、画像のような形態をしており(距
離画像)、CCDカメラ11で撮影した画像、例えば図
9に示すように、立体物を撮像した画像(図9は片方の
カメラで撮像した画像を示す)を前記イメージプロセッ
サ20で処理すると、図10のような画像となる。
【0061】図10に示す距離画像の例では、画像サイ
ズは横400画素×縦200画素であり、距離データを
持っているのは黒点の部分で、これは図9の画像の各画
素のうち、左右方向に隣合う画素間で明暗変化が大きい
部分である。画像上の座標系は、図10に示すように、
左上隅を原点として横方向をi座標軸,縦方向をj座標
軸とし、単位は画素である。
【0062】この距離画像は、画像処理・車間距離制御
用コンピュータ110に読み込まれ、前方に存在する他
の車輌や障害物等の複数の物体が検出され、その位置と
大きさ、位置の時間変化による自車との相対速度等が算
出され、さらに、検出した物体の輪郭像が抽出される。
【0063】この場合、前記画像処理・車間距離制御用
コンピュータ110では、物体の3次元的な位置情報を
利用し、道路と物体の区別は道路表面からの高さによっ
て行い、物体と背景の区別は距離の値によって行なう。
そのため、前記画像処理・車間距離制御用コンピュータ
110では、まず、前記イメージプロセッサ20からの
距離画像の座標系を、自車(車輌1)を取り巻く実空間
の座標系に変換し、検出した立体物に対し、位置や大き
さを計算する。
【0064】すなわち、図11及び図12に示すよう
に、実空間の座標系を車輌1固定の座標系とし、X軸を
車輌1の右側側方、Y軸を車輌1の上方、Z軸を車輌1
の前方、原点を2台のCCDカメラ11a(12b),
11b(12b)の中央の真下の道路面とすると、XZ
平面(Y=0)は、道路が平坦な場合、道路面と一致す
ることになり、画像中の距離情報(i,j,Z)から被
写体の3次元位置(X,Y,Z)を算出するには、以下
の(3),(4)式により一種の座標変換を行なう。
【0065】 Y=CH−Z×PW×(j−JV) … (3) X=r/2+Z×PW×(i−IV) … (4) CH :CCDカメラ11(CCDカメラ12)の
取付け高さ PW :1画素当たりの視野角 JV,IV:車輌1の真正面の無限遠点の画像上の座標 また、実空間の3次元座標(X,Y,Z)から画像上の
位置(i,j)を算出する式も、前記(3),(4)式
を変形し、次のようになる。
【0066】 j=(CH−Y)/(Z×PW)+JV … (5) i=(X−r/2)/(Z×PW)+IV … (6) 尚、CCDカメラ11の取り付け位置を、前記実空間の
XYZ座標系で示すと、例えば、右側のCCDカメラ1
1bは、X=0.45m,Y=1.24m,Z=0.0
m(CCDカメラ12bはXのみ相違し、X=0.20
m)であり、左側のCCDカメラ11aは、X=−0.
45m,Y=1.24m,Z=0.0m(CCDカメラ
12aは、X=−0.20m)となる。
【0067】図13は、前記画像処理・車間距離制御用
コンピュータ110の機能構成を示すものであり、主と
して、マイクロプロセッサ110aによる道路検出部1
30と、マイクロプロセッサ110bによる物体認識部
140と、マイクロプロセッサ110cによる車間距離
制御部160とに大別され、道路検出部130及び物体
認識部140の処理結果が、出力用メモリ115からな
る道路・立体物パラメータ記憶部150に記憶され、前
記マイクロプロセッサ110cによる車間距離制御部1
60、及び、ADAのための図示しない他の装置に読み
込まれる。
【0068】前記道路検出部130の機能は、道路形状
推定部131、3次元ウインドウ発生部132、直線要
素検出部133、道路形状判定部134に細分され、前
記物体認識部140の機能は、物体検出部141、3次
元ウインドウ発生部142、物体輪郭像抽出部143に
細分される。また、前記車間距離制御部160の機能
は、目標車間距離設定部161、速度制御設定部16
2、スロットル制御部163、警報判断部164に細分
される。
【0069】前記道路検出部130では、距離画像メモ
リ20bに記憶された距離画像による3次元的な位置情
報を利用し、実際の道路上の白線だけを分離して抽出
し、内蔵した道路モデルのパラメータを、実際の道路形
状と合致するよう修正・変更して道路形状を認識する。
【0070】実際の画像では、道路上の白線に先行車な
どが重なって写るが、画像に写った道路の白線を2次元
的な特徴を頼りに検出する従来の多くの装置では、白線
と立体物とを2次元的な特徴によって分離することは困
難な場合が多いが、本装置では、白線の3次元的な位置
情報を利用することにより、確実に白線と立体物とを分
離することができる。すなわち、3次元空間では白線は
道路の平面上にあり、一方、先行車などの立体物は道路
平面より高い位置にある。そこで、道路面からの高さに
よって白線と立体物を区別するのである。
【0071】さらに、道路検出部130には道路モデル
が内蔵されており、この道路モデルは、認識対象範囲ま
での道路の自車線を、設定した距離によって複数個の区
間に分け、各区間毎に左右の白線を、後述する3次元の
直線式で近似して折れ線状に連結したものであり、左右
の折れ線で囲まれた範囲を自車輌の走行車線と判断す
る。道路形状の認識とは、3次元の直線式のパラメータ
を導出するプロセスともいえる。
【0072】図14は道路モデルの例であり、例えば、
前方84mまでの道路を、第0区間R0,第1区間R1,
第2区間R2,…,第6区間R6の7区間に分け、左カー
ブを近似表現したものである。この道路モデルでは、7
個の区間で道路を近似表現することにより、直線路のみ
でなくカーブやS字路も十分な精度で表現でき、また、
各区間は直線で表現されるため、計算処理や取扱いが簡
単である。さらに、後述するように、各区間は、水平方
向及び垂直方向の直線式で表され、道路の上り下りや凹
凸などの、道路の上下方向の形状も表現できる。
【0073】尚、前記道路モデルの各区間を区切る距離
の値は、走行する道路のカーブの曲率に応じて変更する
必要がある。一般の高速道路ではカーブの半径は最小で
230m程度に設計されているため、このような場合、
各区間の区切り距離を、10m,17m,25m,35
m,48m,64m,84mにすると良好な結果が得ら
れる。
【0074】次に、前記道路検出部130の機能を詳細
に説明する。道路形状推定部131では、前回(Δts
ec前)の道路形状の認識結果を基にし、車速センサ
4、舵角センサ6からの出力信号を使ってΔt秒間の車
輌1の動きを算出し、Δt秒後の車輌1の位置から見た
道路形状を推定する。
【0075】すなわち、車速センサ4の出力信号に基づ
く車速をVe(単位;m/sec)、ステアリングコラ
ムに取り付けた舵角センサ6の出力信号に基づく操舵角
をη(単位;rad)とすると、Δt秒間の車輌1の前
進量ΔZ(単位;m)と回転角(ヨー角)Δθ(単位;
rad)は、一般に次式で概算できる。
【0076】 ΔZ=Ve×Δt … (7) Δθ=ΔZ×tan(η/rs)×1/wb … (8) rs:ステアリングと前輪の回転比 wb:車輌のホイールベース 従って、前回の処理で検出した道路形状をΔZだけ手前
に移動し、さらに、Δθだけ車輌1の回転と逆方向に道
路形状を回転させることにより、Δt秒後の道路の概略
の位置と形状が推定できるのである。
【0077】3次元ウインドウ発生部132では、推定
した道路形状RDを表す左右の折れ線の内の一つの直線
要素Ldを中心として、図15に示すような直方体状の
3次元空間領域すなわち3次元ウインドウWD3Aを設定
し、この設定した3次元ウインドウWD3Aが、図16に
示すように、2次元の画像上でどのように見えるかを計
算し、ウインドウ輪郭線の内側(図16中の斜線部分)
を2次元ウインドウWD2Aとし、この中のデータのみを
検出対象とする。
【0078】3次元ウインドウWD3Aから2次元ウイン
ドウWD2Aを求めるには、3次元ウインドウWD3Aの8
個の頂点の各座標(Xn,Yn,Zn)から、前述した
(5)(6)式を用いて画像上の座標(in,jn)を
計算し、これらの点を包絡する多角形を計算する。
【0079】この3次元ウインドウWD3Aは、長さを各
区間の区切り距離(例えば、第1区間R1では前方10
〜17m)と等しくし、一方、高さと幅は、車速などの
状況に応じて変化させるが、道路形状の推定に誤差があ
り、実際の白線の位置とのずれが予想される場合には、
高さや幅を大きくして検出する範囲を広くする。しか
し、ウインドウを大きくし過ぎると、道路周辺の縁石や
草木なども検出してしまい、誤認識の原因となるため、
ウインドウの大きさを適切に選定することは重要であ
る。一般の高速道路の走行では、試験の結果、高さ0.
4m〜0.8m、幅0.4〜1.6mの範囲で変化させ
ると良いことがわかっている。
【0080】このように、2次元の画像上では道路の白
線と立体物が重なり合っていても、3次元ウィンドウを
設定して道路の表面付近のデータのみを抽出することに
より、白線を立体物と区別して検出できる。また、道路
周辺には縁石や草木などもあるが、3次元ウィンドウを
設定して白線があると推定される位置の近辺のデータの
みを抽出することによって、道路上の白線をこれらの縁
石や草木などと区別して検出できる。さらには、2次元
ウィンドウを設定することにより、探索する領域及びデ
ータ数を少なくして処理時間を短縮することができるの
である。
【0081】直線要素検出部133では、先に推定した
道路形状の直線要素Ldに対し、被写体の3次元位置の
X方向のずれ量ΔX、Y方向のずれ量ΔYを計算し、こ
のずれ量ΔX,ΔYに応じて設定した重み係数を各デー
タに掛け、最小自乗法により、水平方向(XZ方向)及
び垂直方向(YZ)方向の直線式を導出してパラメータ
を求める。
【0082】詳細には、まず、2次元ウインドウWD2A
内の画素を順次サーベイして行き、距離データを持って
いる画素について、前述の(3),(4)式を用いて被
写体の3次元位置(X,Y,Z)を計算し、距離Zの値
が3次元ウインドウWD3Aの長さの範囲(例えば、第1
区間R1ではZ=10〜17m)の外にある距離データ
は検出対象から除外する。
【0083】すなわち、3次元ウインドウWD3Aの向こ
う側や手前側にある物体の画像は、2次元ウインドウW
D2A内に写り込むため、2次元ウインドウWD2A内でサ
ーベイされる被写体は、3次元ウインドウWD3Aに包含
されるとは限らない。そこで、各画素の被写体の3次元
位置(X,Y,Z)を計算し、3次元ウインドウWD3A
に含まれるか否かを判別するのである。
【0084】続いて、先に推定した道路形状の直線要素
Ldと被写体の3次元位置を比較して図17に示すよう
なデータDiのX方向、Y方向のずれ量ΔXi、ΔYi
を計算し、3次元ウインドウWD3Aの幅、高さの範囲内
にあるデータのみを選別した後、X方向、Y方向のずれ
量ΔXi、ΔYiに応じたデータDiの重み係数を決定
する。
【0085】前記重み係数は、図18に示すように、例
えば、中心を1.0、周辺を0.0とする放物線状で、
X方向の重み係数fxとY方向の重み係数fyの積を、
そのデータDiの重み係数としている。また、重み係数
が0.0以上となるX方向、Y方向の範囲は、3次元ウ
インドウWD3Aの幅、高さと同一とするか、あるいは、
これらより大きくする。
【0086】各データDiに対して、前記重み係数を掛
けた後、最小自乗法を用いて、以下の(9),(10)
式に示す水平方向及び垂直方向の直線式を導出し、パラ
メータa,b,c,dを求め、これを新しい直線要素L
dの候補とする。
【0087】 水平方向:X=a×Z+b … (9) 垂直方向:Y=c×Z+d … (10) 同時に、重み係数が設定値(例えば、0.05〜0.1
程度)以上のデータについて、その個数と、それらのデ
ータが分布する距離Zの範囲を調べ、データ数が設定値
(例えば、10個程度)以下の場合、または距離Zの範
囲が3次元ウインドウWD3Aの長さ(例えば、第1区間
R1ではZ=10m〜17mの長さ7m)の1/2以下の場
合には、正確な直線要素Ldの候補は得られていないと
判断し、前記で求めた直線式は棄却し、候補なしとす
る。
【0088】以上の処理を、左右および手前側から遠方
側の区間に向かって順次行い、道路モデルを構成する全
ての直線要素Ldの候補を求める。この場合、3次元ウ
ィンドウの幅の設定が大き過ぎると、道路周辺の縁石や
草木などが3次元ウィンドウの端に掛かって来る場合が
あるが、前記直線要素検出部133では、各データに重
み係数を掛けて3次元ウィンドウの周辺部の重みを小さ
くすることにより、万一、縁石や草木などが掛かってき
た場合にも、これらの影響を小さくし、安定して白線の
直線式が導出できるのである。
【0089】道路形状判定部134では、各区間につい
て、左右両方の直線要素Ldの候補について、水平方向
及び垂直方向の平行度から妥当性を判定する。その判定
の結果、妥当と判定した場合には、両方を新しい直線要
素Ldの候補として採用し、一方、左右いずれかの直線
要素Ldの候補が正確でないと判定した場合には、直線
要素Ldの代用、補完を行なう。そして、求められた各
直線要素Ldのパラメータを道路・立体物パラメータ記
憶部150に出力する。
【0090】具体的には、まず、左側の直線要素Ldに
対する(9)式のパラメータ(以下、左側を表すL、右
側を表すRを各パラメータに付加して示す)aLと、右
側の直線要素Ldに対する(9)式のパラメータaRと
の差異から、水平方向の平行度を調べ、設定値(例え
ば、5°程度)以上の場合には、左右いずれかの直線要
素Ldは不正確であると判定する。同様にして、パラメ
ータcRとパラメータcLの差異から垂直方向の平行度
を調べ、設定値(例えば、1°程度)以上の場合は、い
ずれかの直線要素は不正確であると判定する。
【0091】この判定の結果、水平方向及び垂直方向い
ずれの平行度も条件を満たす場合には、両方が新しい直
線要素として採用されるが、左右いずれかの直線要素L
dが不正確と判定されると、左右の各々の直線要素Ld
の候補と先に推定した道路形状の位置とを比較し、ずれ
量が少ない方を新しい直線要素Ldとして採用し、他方
は棄却して候補なしとする。
【0092】そして、平行度の判定により左右いずれか
の直線要素Ldが候補なしとされた場合、あるいは、道
路上の白線が破線状であったり、障害物に隠れて見えな
いためにデータが不足して左右いずれかの直線要素Ld
が候補なしと判定された場合には、検出された側の直線
要素Ldを車線の幅だけ並行移動して代用する。さら
に、左右両方の直線要素Ldが候補なしの場合には、先
に推定した道路形状の直線要素Ldを代用する。これに
より、部分的に直線要素の検出失敗や誤検出が起こって
も、全体としては安定した道路形状が得られるのであ
る。
【0093】図19は、道路検出部130によって検出
された道路形状を図式化した説明図あり、左右の白線に
沿って直線要素が検出されている。前方の車輌に隠れて
見えない部分も、上述したように補完することによって
良好に推定される。尚、左右の直線要素の間の横線は、
各区間の境界である。
【0094】次に、前記物体認識部140における物体
検出部141、3次元ウインドウ発生部142、及び、
物体輪郭像抽出部143の各機能を詳細に説明する。
【0095】物体検出部141では、イメージプロセッ
サ20からの距離画像を格子状に所定の間隔(例えば、
8〜20画素間隔)で区分し、各領域毎に、走行の障害
となる可能性のある立体物のデータのみを選別し、その
検出距離を算出する。
【0096】図20は、車輌1から前方風景を撮像した
明暗画像の上に、格子状の領域を設定した説明図であ
り、実際には、図10の距離画像を、このように区分す
る。本実施例では、12画素間隔で33個の小領域AR
1〜AR33に区分する。すなわち、画像を多数の領域に
分割して物体を探すことにより、複数の物体を同時に検
出することができるようになっている。
【0097】各領域における被写体は、画像上の座標
(i,j)と距離データZから、前述の(3),(4)
式を使って実空間の3次元位置(X,Y,Z)が算出さ
れ、さらに、先に検出した道路形状の式(10)を使っ
て、距離Zに於ける道路表面の高さYrが計算される。
被写体の道路表面からの高さHは、次の(11)式で計
算することができる。
【0098】 H=Y−Yr … (11) 高さHが0.1m程度以下の被写体は、道路上の白線や
汚れ、影などであり、走行の障害になる物体ではないと
考えられるため、この被写体のデータは棄却する。ま
た、車輌1の高さより上にある被写体も、歩道橋や標識
などと考えられるので棄却し、道路上の障害となる立体
物のデータのみを選別する。これにより、2次元の画像
上で物体が道路などと重なり合っていても、道路表面か
らの高さによってデータを区別し、物体のみを検出でき
る。
【0099】次に、このようにして抽出された立体物の
データに対して、予め設定された距離Zの区間に含まれ
るデータの個数を数え、距離Zを横軸とするヒストグラ
ムを作成する。図21は先行車輌400を検出物体とす
るヒストグラムである。
【0100】設定する距離Zの区間の長さや区間の個数
は、距離Zの検出限界や精度および検出対象の物体の形
状などを考慮して決定する必要があり、例えば高速道路
の走行を対象にする場合には、区間長さは、10m前方
では約1.5m、100m前方では約15m程度にする
と良い。
【0101】前記ヒストグラムにおいては、入力される
距離画像中の距離データには、誤って検出された値も存
在するので、実際には物体の存在しない位置にも多少の
データが現れる。しかし、ある程度の大きさの物体があ
ると、その位置の度数は大きな値を示し、一方、物体が
何も存在しない場合には、誤った距離データのみによっ
て発生する度数は小さな値となる。
【0102】従って、作成されたヒストグラムの度数
が、予め設定した判定値以上かつ最大値をとる区間があ
れば、その区間に物体が存在すると判断し、度数の最大
値が判定値以下の場合は、物体が存在しないと判断する
ことにより、画像のデータに多少のノイズが含まれてい
る場合においても、ノイズの影響を最小限にして物体を
検出できる。
【0103】物体が存在すると判断されると、検出され
た区間と、その前後に隣接する区間に含まれている立体
物のデータの距離Zの平均値を計算し、この値を物体ま
での距離と見なす。
【0104】このような物体までの距離検出の処理を全
領域について行なった後、各領域の物体の検出距離を調
べ、隣接する領域において物体までの検出距離の差異が
設定値以下の場合は同一の物体と見なし、一方、設定値
以上の場合は別々の物体と見なす。
【0105】具体的には、まず、左端の領域AR1を調
べ、物体が検出されている場合には、それを物体S1、
距離をZ1とする。次に右隣の領域AR2を調べ、物体が
検出されていない場合には、物体S1は領域AR1の内部
とその近辺に存在し、その距離はZ1と判定し、物体が
検出され、その検出距離がZ2である場合には、距離Z1
とZ2の差を調べる。
【0106】そして、距離Z1とZ2の差が設定値以上の
場合、領域AR2で検出された物体は、先に検出された
物体S1とは異なると判定し、新たに物体S2、距離Z2
とし、さらに右隣の領域を調べて行く。
【0107】一方、距離Z1とZ2の差が設定値以下の場
合には、領域AR2で検出された物体は、先に検出され
た物体S1であると判定し、その距離はZ1とZ2の平均
値とし、さらに右隣の領域を順次調べて行き、連続して
物体S1があると判定されれば、距離と存在領域を更新
してゆく。
【0108】従来、2次元の画像上で物体の周囲に遠方
の背景が写っている場合には物体のデータだけを抽出す
ることは困難であったが、本装置では、以上のような処
理を左端の領域AR1から右端の領域AR33まで行なっ
て距離の値によってデータを区別することにより、複数
の物体とその距離、存在領域を背景と区別して検出する
ことができ、さらには、2次元の画像上で複数の物体が
重なり合って写っている場合においても、各々の物体の
距離の違いによって、それらを区別して検出できるので
ある。
【0109】尚、前記設定値は、自動車を検出する場合
には4m〜6m程度、歩行者を検出する場合には1m〜
2m程度にすると良いことが実験的に得られている。
【0110】図22は、以上の処理で検出した物体の存
在領域を枠線で示したものであり、この例では3個の物
体が検出されている。尚、図の下側の数値は各物体の検
出距離である。
【0111】3次元ウインドウ発生部142では、前記
物体検出部141で検出された各々の物体について、図
23に示すような3次元空間で、検出物体(先行車輌)
400を包含する直方体状の3次元空間領域すなわち3
次元ウインドウWD3Bを設定し、この設定した3次元ウ
インドウWD3Bが、2次元の画像上でどのように見える
かを計算し、ウインドウ輪郭線の内側を2次元ウインド
ウWD2Bとして、この中のデータのみを検出対象とす
る。
【0112】前記物体検出用の3次元ウインドウWD3B
の横幅は、物体の存在領域より左右に1領域分だけ拡張
した範囲とする。これは、ある領域に物体の左右端の一
部分のみが掛かっている場合には、その物体はヒストグ
ラム上で大きな値とならず、別の物体が検出される可能
性があるため、このような場合を考慮してウインドウの
範囲を拡大しておくものである。
【0113】また、3次元ウインドウWD3Bの距離Z方
向の長さは、その物体の検出距離におけるヒストグラム
の区間長さを、その検出距離の前後に加えた範囲とす
る。3次元ウインドウWD3Bの下端は、道路表面の高さ
に約0.1mを加えた位置とし、上端は物体検出のため
に区分した各領域の上端とする。
【0114】尚、物体検出用の3次元ウインドウWD3B
から物体検出用の2次元ウインドウWD2Bを求める処理
は、先に道路検出部130の3次元ウインドウ発生部1
32において説明した処理と同様である。
【0115】図24は、先に図22で示した3個の検出
物体の内の1個について、2次元ウインドウWD2Bを設
定した例を示したものである。
【0116】物体輪郭像抽出部143では、前記2次元
ウインドウWD2B内の各データを順次サーベイし、3次
元ウインドウWD3Bに含まれるデータのみを選別し、検
出した物体の輪郭像を抽出する処理を行ない、検出物体
の位置、速度、加速度など自車輌との位置関係量を検出
して自車輌1に対する先行車を特定し、その車間距離及
び相対速度を算出する。
【0117】すなわち、まず、物体毎に2次元ウインド
ウWD2B内の各データを順次サーベイし、距離データを
持っている画素について、前述の(3),(4)式を用
いて3次元位置(X,Y,Z)を計算した後、距離や高
さの値が3次元ウインドウWD3Bの範囲内にあるデータ
のみを抽出し、他は棄却する。
【0118】このようにして抽出したデータを、2次元
の画像上に投影して表示すると図25のようになる。さ
らに、これらのデータの外形を線分で連結すると、図2
6に示すような物体の輪郭像が得られる。この輪郭像の
左右端および上端の画像上での座標(i,j)を検出
し、続いて、その物体の検出距離Zと(3),(4)式
を用いて、3次元空間での物体の左右端と上端の位置を
算出すると、左右端の位置から物体の横幅が求まり、上
端の位置から物体の高さが求まる。図26においては、
幅1.7m、高さ1.3mの物体と判別できる。
【0119】また、物体の左右端の中心位置(X,Z)
を計算し、これの距離Zの時間的な変化から、自車輌1
から見た物体の前後方向の相対速度が算出され、また、
位置Xの左右方向の時間的な変化から左右方向の相対速
度が算出される。さらに、車速センサ4から入力される
自車の走行速度に物体の相対速度を加算すると、道路面
に対する物体の走行速度が算出され、この走行速度の時
間変化から各物体の加速度が算出される。
【0120】続いて、検出した各物体の位置と先に検出
した道路の車線の位置を比較し、その物体が自車線上に
あるのか、あるいは左右の車線上にあるのか、或いは道
路外にあるのかを調べ、それぞれに分類する。例えば、
前方を複数の車輌が走行し、さらに、道路がカーブして
いる場合には、その道筋に沿って各物体の位置を比較
し、自車線上で最も手前に存在する物体を先行車と判断
し、その物体までの距離を車間距離とする。
【0121】以上のようにして求められた各物体の位
置、形状、速度、加速度、及び、これらのデータから特
定される先行車との車間距離等のパラメータが、道路・
立体物パラメータ記憶部150に記憶されると、これら
のデータが前記車間距離制御部160に読み込まれ、車
間距離制御が行なわれる。
【0122】前記車間距離制御部160では、スロット
ルアクチュエータ3を制御して先行車との車間距離を一
定に保つとともに、先行車への異常接近の可能性を予測
し、異常接近の可能性がある場合には、前記ディスプレ
イ9により警報を発する。以下、これらの処理について
説明する。
【0123】前記目標車間距離設定部161では、ま
ず、車速センサ4から自車輌1の走行速度Veを入力
し、目標とする車間距離Dsを計算する。この目標車間
距離Dsは、速度Veでの走行状態からブレーキを作動
させて停止するまでの制動距離、運転者や車輌の応答遅
れ時間等を考慮して決定する。
【0124】前記速度制御設定部162では、前記目標
車間距離設定部161で設定した目標車間距離Dsと現
在の車間距離Drとの差、及び、自車輌と先行車との相
対速度Vrから、自車輌1の速度を制御すべきモード
が、加速モード、減速モード、速度保持モード等の速度
制御モードのいずれに該当するかを判断し、該当する速
度制御モードでのスロットルバルブ2の開度を決定す
る。
【0125】速度制御モードの判断は、概念的には、図
27に示すように、縦軸を先行車との車間距離Dr、横
軸を相対速度Vrとする領域R1,…,R5のいずれに
先行車との車間距離及び相対速度が分類されるかによっ
て行ない、自車輌と先行車との相対速度が0の目標車間
距離Dsを中心として、車間距離の設定値Ds1〜Ds
4、相対速度の設定値Vrs1〜Vrs4の矩形範囲の領
域R4が、目標とする状態、すなわち、車間距離Dr及
び相対速度Vrの計測誤差等を考慮して目標車間距離D
s且つ相対速度0m/sの点に許容誤差を加えた範囲と
して設定され、この領域R4内に先行車との車間距離D
r及び相対速度Vrがあるときには、速度保持モードと
判断される。
【0126】また、前記領域R4の左下部分に設定され
る領域R1に先行車が分類される場合、減速モードと判
断され、前記領域R4の右上部分に設定される領域R2
に先行車が分類される場合には、目標速度追従を行なう
モードと判定される。前記領域R1と前記領域R2の間
に設定される領域R3では、目標速度追従において加速
を禁止し、代わりに速度保持を行なうモードと判断され
る。さらに、先行車の検出限界距離(例えば80m〜1
60m程度)以上の領域R5では、通常走行モード(既
存の定速走行装置が連動されている場合には定速走行モ
ード、既存の定速走行装置が連動されていない場合に
は、運転者のアクセル操作に応じた通常の速度制御モー
ド)と判断される。
【0127】尚、後述するように、領域R1〜3の境界
は、実際には図27に示すような2次元的な領域として
設定されるのではなく、最小車間距離Dminあるいは
最大車間距離Dmaxが車間距離の設定値Ds1、Ds
2,Ds3,Ds4(Ds1>Ds2>Ds3>Ds4)に対
してどのような関係にあるかによって決定される。最小
車間距離Dminとは、先行車の相対速度が負(先行車
が接近してくる状態)の状態で減速した場合に、先行車
と最も接近する時の車間距離であり、最大車間距離Dm
axとは、相対速度が正の状態(先行車が遠ざかって行
く状態)で加速して先行車を追いかけ、先行車が一定の
速度を保持すると仮定した場合に、先行車と最も離れる
時の車間距離である。
【0128】次に、各モードにおけるスロットル開度
を、各モードでの加減速度を発生させるために必要なエ
ンジン出力から決定する。この場合、加速モードにおけ
る加速度Aa(単位;m/s2)は、運転者の乗り心地
を重視して一定値(例えば、0.5m/s2)とし、同
様に、減速モードにおける減速度Ac(単位;m/
2)も、高速走行における変速機の選択がトップある
いはオーバードライブであるとしてスロットルバルブ2
を設定開度に固定した場合の一定値(例えば、−0.5
m/s2)とする。従って、ここでは、一定の加速度A
aを目標加速度として、加速モードにおける目標加速度
Aaを発生させるためのスロットル開度を求めることに
なる。
【0129】この加速モードにおけるスロットル開度を
決定するには、まず、自車の現在の速度Ve(単位;m
/s)における走行抵抗Fd(単位;N)を考慮する。
一般に、自動車の走行抵抗は、空気抵抗やタイヤの摩擦
抵抗等によって発生するもので、風の強さや路面の状況
等によって多少の影響を受けるものであるが、このよう
な影響は無視し、その車種によって特有(固有)の標準
的な値(メーカ公表値)を使用しても十分な精度が得ら
れる。
【0130】この走行抵抗Fdの標準的な値は、速度V
eに対して以下の(12)式のような2次式で近似でき
る。
【0131】 Fd=Kf1×Ve2+Kf2×Ve+Kf3 … (12) 前記(12)式における各係数Kf1,Kf2,Kf3
は、車種毎に固有な値であり、本装置を搭載する車種毎
に予め設定しておく必要があるが、例えば、Kf1=
0.4、Kf2=2.0、Kf3=150.0程度の値で
ある。Ve=28m/s(約100km/h)での走行
抵抗を求めると、約500N(53kgf)となる。
【0132】一方、目標加速度Aaを発生するのに必要
なエンジンの動力Pe(単位;kw)は、運動に関する
一般的な式を変形した以下の(13)式で求めることが
できる。
【0133】 Pe=(Aa×We+Fd)×Ve×1/Ke×10-3 … (13) 前記(13)式におけるKeは、トランスミッションや
駆動系の動力伝達効率で車種に固有の値であり、通常、
Ke=0.90〜0.95程度である。また、Weは車
輌の全体の重量(単位;kg)であり、乗員数や荷物の
積載状態によって変わるが、ここでは通常時の値で一定
としても精度は十分に確保される。前記(13)式の括
弧内の第1項Aa×Weは、車輌を加速するのに必要な
動力、第2項は走行抵抗に消費される動力である。
【0134】次に、前記(13)式から導かれるエンジ
ン動力Peをエンジンが出力するために必要なトルクT
e(単位;N・m)を、エンジン回転数Ne(単位;r
/sec)に基づいて求める。このトルクTeは、以下
の(14)式のような運動の一般式から計算することが
できる。
【0135】 Te=(Pe×103)/(2×π×Ne) … (14) このエンジンのトルクTeとエンジン回転数Neとの間
の関係は、スロットル開度Thに依存し、図28に示す
ように、これら、トルクTe、エンジン回転数Ne、ス
ロットル開度Thの間には、エンジンの設計条件等によ
って固有な関係すなわちトルク特性がある。
【0136】よって、図28上で、エンジン回転数セン
サ5からの信号に基づくエンジン回転数Ne及び前記
(14)式によって求めたトルクTeに対するスロット
ル開度Thの値を読めば、その値が目標とするスロット
ル開度となる。このため、画像処理・車間距離制御用コ
ンピュータ110には、図28のようなトルク特性を数
値マップ化したデータがROM113に記憶されてお
り、エンジン回転数NeとトルクTeに対応するスロッ
トル開度Thの値を読み出すことで、目標とする値を求
めることができる。
【0137】前記スロットル制御部163では、先行車
が検出されて、領域R1〜R4に分類される場合、前記
速度制御設定部162で求めたスロットル開度Thを制
御目標値として、サーボモータあるいは空気圧によって
動作するスロットルアクチュエータ3に制御信号を出力
し、スロットルバルブ2の開度が、この制御目標値と一
致するよう、スロットル開度センサ8からの信号に基づ
いてフィードバック制御する。
【0138】このように、本発明では、エンジン回転数
Ne、エンジン出力(トルクTe)、スロットル開度T
hの間のエンジン固有の関係から、きめ細かくスロット
ル開度を制御するため、従来のようにスロットルバルブ
をON,OFF的に制御することによって低速走行時に
車輌の唐突な挙動を発生することがなく、高速走行時に
は走行状況変化にすばやく応答して良好な制御性能を得
ることができる。
【0139】尚、スロットル開度を制御した結果として
エンジン回転数が変化するが、以上の処理は、エンジン
回転数の変化速度に対して十分に速いサイクルで実行さ
れ、瞬時、瞬時におけるエンジン回転数に適したスロッ
トル開度を維持することができるようになっている。
【0140】また、自車輌1に自動変速機を搭載してい
る場合、スロットル開度を制御した結果として、変速機
のギヤ比が自動的に変わってしまう可能性があるが、ス
ロットル開度を決定するための前述の(12)〜(1
4)式においては、ギヤ比に関係する項が無いため、ギ
ヤ比に関係なく最適なスロットル開度に制御することが
できる。
【0141】そして、先行車が検出されて領域R1に分
類される場合には、スロットルバルブ2を全閉にして減
速を行ない、また、先行車が領域R2に分類される場合
には、自車輌1の速度Veと目標速度Vsとを比較し、
速度Veが低い場合には、加速度Aaを発生するような
スロットル開度Thに制御し、Ve≒Vsの場合には、
そのときのスロットルバルブ2の開度を保持して速度を
保持し、速度Veが高い場合にはスロットルバルブ2を
設定開度に固定して減速を行なう目標速度追従モードと
なる。
【0142】また、先行車が領域R3に分類される場合
には、前記目標速度追従における加速を禁止して代わり
に速度保持を行なうことにより、減速域である領域R1
と加速域である領域R2との間のスロットルバルブ2の
急激な開度変化を回避し、運転者に違和感を与えないよ
うにする。
【0143】例えば、遠方に遅い先行車が一定速度で走
行している状況を想定して、各領域毎の速度制御につい
て説明すると、この先行車は、車間距離Drが大、相対
速度Vrが負であり、図29において点A1で示され
る。この時点では、先行車は検出されないため、領域R
5に分類され、自車輌1は通常の走行制御となる。
【0144】やがて、先行車が接近して来て検出限界以
内に入ると、先行車と車間距離Dr及び相対速度Vrが
算出され、先行車は点B1に位置し、領域R1に分類さ
れるようになる。この領域R1内では、スロットルバル
ブ2を閉じて減速を行なう。すると、先行車の状態は、
点B1から破線のような軌跡を通って、点C1に至る。こ
こで、自車輌1の減速度Acは、例えば−0.5m/s
2程度と低いため、車間距離Drが目標車間距離Dsを
越えて接近してしまう。従って、減速状態を点D1に至
るまで続け、点D1で領域R3に入ると、減速を止め、
速度を保持する。
【0145】その結果、相対速度Vrはそのままで、車
間距離Drのみが増加することになり、先行車が点E1
に至って領域R2に入ると、加速を行なう。これによ
り、相対速度Vrが減少し、車間距離Drも目標車間距
離Dsに近づいて行き、点F1で領域R4に入る。
【0146】また、別の例として先行車が点A2の状態
にある場合を想定する。この場合は相対速度Vrが小さ
く、先行車がゆっくりと接近して来る状況であるが、先
行車が点B2の位置に至り、車間距離Dr、相対速度V
rが計測されると、先行車は領域R3に分類される。領
域R3では、自車輌1の速度Veが目標速度Vsに達し
ている場合、そのまま速度保持される。
【0147】やがて、先行車がそのまま接近を続け、点
C2に至って領域R1に入った時点で減速を行なうと、
破線のような放物線状の軌跡を通って点D2に至り、領
域R4に入り、速度が保持される。
【0148】このように、本発明では、高速道路等を走
行する場合、前方に遅い車輌がいても自動的に車間距離
を安全に保つことができ、しかも、車間距離制御が前述
したような簡素なロジックによって行なわれ、先行車の
広範囲な状態に対して合理的且つ滑らかに車間距離を調
節することができる。また、その際、車輌の加速や減速
が比較的小さく、走行フィーリングを快適なものとする
ことができる。
【0149】また、前記警報判断部164では、検出さ
れた先行車の位置、前後方向及び左右方向の走行速度と
加速度から先行車の数秒後の位置を推定し、同時に、自
車輌1は検出した道路の車線あるいは現在の操舵角に従
って走行すると仮定して自車輌1の数秒後の位置を推定
することにより、先行車と自車輌のそれぞれの位置を比
較し、車間距離の異常接近や衝突の可能性を判断する。
そして、車間距離の異常接近や衝突の可能性がある場合
には、前記ディスプレイ9に前述したような警報表示を
行なう。
【0150】すなわち、図30に示すように、例えば検
出した先行車との車間距離及び相対速度が点A3の位置
に相当する状況を想定すると、この状態から自車輌1を
減速させると、先行車の状態は図中の破線上を推移し、
やがて点B3に至り、先行車との衝突が生じる。そこ
で、衝突に至るような危険な状況を事前に検出し、警報
を発して運転者にブレーキの作動や回避を促す。
【0151】危険を事前に検出するには、最小車間距離
Dminの値で判断する。例えば、図30に示す例で
は、最小車間距離Dminが目標車間距離Dsの1/3
より小さい場合には、やがて衝突に至る危険があると判
断し、衝突警報を発する。また、最小車間距離Dmin
が目標車間距離Dsの1/3〜2/3に入る場合には、
車間距離の接近警報を発する。この場合、それぞれの警
報を出力する領域は、図30の衝突警報領域及び接近警
報領域となる。
【0152】これにより、例えば点A3のように先行車
が遠方にいる時点から警報を発し、運転者の運転操作に
十分な時間的余裕を与えることができ、より安全性を高
めることができるのである。
【0153】次に、本実施例の動作について説明する。
【0154】図31は、イメージプロセッサ20の動作
の流れを示すフローチャートであり、まず、ステップS1
01で左右のCCDカメラ11a,11bによって撮像し
た画像を入力すると、ステップS102で、入力したアナロ
グ画像をA/Dコンバータ31a,31bで所定の輝度
階調を有するデジタル画像にA/D変換した後、LUT
32a,32bで、低輝度部分のコントラスト増強、左
右のCCDカメラ11a,11bの特性補償等を行な
い、画像メモリ33a,33bに記憶する。
【0155】これらの画像メモリ33a,33bに記憶
される画像は、CCDカメラ11a,11bのCCD素
子の全ラインのうち、その後の処理に必要なラインのみ
であり、例えば0.1秒に1回の割合(テレビ画像で3
枚に1枚の割合)で書き換えられる。
【0156】次に、ステップS103へ進むと、左右画像用
の画像メモリ33a,33bから入力バッファメモリ4
1a,41b,42a,42bへ、共通バス80を介し
て、例えば4ラインずつ左右画像データが読み込まれ、
読み込んだ左右画像のマッチング、すなわち一致度の評
価が行なわれる。
【0157】その際、左右の画像毎に、前記画像メモリ
33a,33bから前記入力バッファメモリ41a,4
1b,42a,42bへの読み込み動作と、シフトレジ
スタ43a,43b,44a,44bに対する書き込み
動作とが交互に行なわれる。例えば、左画像では、画像
メモリ33aから一方の入力バッファメモリ41aに画
像データが読み込まれている間に、他方の入力バッファ
メモリ41bからシフトレジスタ43bへ読み込んだ画
像データの書き出しが行なわれ、右画像では、画像メモ
リ33bから一方の入力バッファメモリ42aに画像デ
ータが読み込まれている間に、他方の入力バッファメモ
リ42bからシフトレジスタ44bへ読み込んだ画像デ
ータの書き出しが行なわれる。
【0158】図32に示すように、前記シフトレジスタ
43a,43b,44a,44bには、左右の4×4画
素の小領域の画像データ(1,1)…(4,4)が保存
され、一方のシフトレジスタ43a(44a)には1、
2ラインのデータが、もう一方のシフトレジスタ43b
(44b)には3、4ラインのデータが、それぞれ1画
素毎に奇数ライン、偶数ラインの順序で入る。前記各シ
フトレジスタ43a,43b,44a,44bは、それ
ぞれが独立した転送ラインを持ち、4×4画素のデータ
は例えば8クロックで転送される。
【0159】そして、これらのシフトレジスタ43a,
43b,44a,44bから8段のうちの偶数段の内容
が同時にシティブロック距離計算回路45に出力され、
シティブロック距離Hの計算が始まると、右画像のデー
タはシフトレジスタ44a,44b内に保持されて、ク
ロック毎に奇数ライン、偶数ラインのデータが交互に出
力され、一方、左画像のデータはシフトレジスタ43
a,43bに転送され続け、奇数ライン、偶数ラインの
データが交互に出力されつつ、2クロック毎に1画素分
右のほうにずれたデータに置き換わっていく。この動作
を、例えば100画素分ずれるまで(200クロック)
繰り返す。
【0160】その後、一つの小領域に対する転送が終了
すると、#2アドレスコントローラ87内の左画像用ア
ドレスカウンタに右画像用アドレスカウンタの内容(次
の4×4画素の小領域の先頭アドレス)がセットされ、
次の小領域の処理が始まる。
【0161】シティブロック距離計算回路45では、図
33のタイミングチャートに示すように、まず、ピラミ
ッド型構造初段の絶対値演算器に8画素分のデータを入
力し、左右画像の輝度差の絶対値を計算する。すなわ
ち、右画素の輝度から対応する左画素の輝度を引き算
し、結果が負になった場合、演算命令を変えることによ
り、引く方と引かれる方を逆にして再び引き算を行なう
ことにより、絶対値の計算を行なう。従って、初段では
引き算を2回行なう場合がある。
【0162】次いで、初段を通過すると、2段目から4
段目までの第1ないし第3加算器で二つの同時入力デー
タを加算して出力する。そして、最終段の総和加算器で
二つの連続するデータを加え合わせて総和を計算し、必
要とする16画素分のシティブロック距離Hを2クロッ
ク毎に最小・最大値検出部50へ出力する。
【0163】次に、ステップS104へ進み、前記ステップ
S103で算出したシティブロック距離Hの最大値HMAX、
最小値HMINを検出する。前述したように、この最大値
HMAXの検出と最小値HMINの検出とは、互いに論理が逆
になることと、ずれ量を保存しないこと以外は、全く同
じであるため、以下、代表して最小値HMINの検出につ
いて説明する。
【0164】まず、最初に出力されてきたシティブロッ
ク距離H(ずれ量x=0)が、図8に示す最小値検出回
路51のCラッチ53を介して、演算器46のBレジス
タ46bに入力される。次のクロックで出力されてきた
シティブロック距離H(ずれ量δ=1)は、Cラッチ5
3と演算器46のAレジスタ46aとに入れられ、演算
器46では、同時に、Bレジスタ46bとの比較演算が
始まる。
【0165】前記演算器46での比較演算の結果、Bレ
ジスタ46bの内容よりもAレジスタ46aの内容の方
が小さければ、次のクロックのときに、Cラッチ53の
内容(すなわちAレジスタ46aの内容)がBレジスタ
46bに送られ、このときのずれ量δがDラッチ55に
保存される。このクロックで同時に、次のシティブロッ
ク距離H(ずれ量δ=2)がAレジスタ46aとCラッ
チ53に入れられ、再び比較演算が始まる。
【0166】このようにして、計算途中での最小値が常
にBレジスタ46bに、そのときのずれ量δがDラッチ
55に保存されながら、ずれ量δが100になるまで計
算が続けられる。計算が終了すると(最後のシティブロ
ック距離Hが出力されてから1クロック後)、Bレジス
タ46bとDラッチ55の内容はずれ量決定部60に読
み込まれる。
【0167】この間に、前述したシティブロック距離計
算回路45では次の小領域の初期値が読み込まれ、時間
の無駄を生じないようになっており、一つのシティブロ
ック距離Hを計算するのに、例えば4クロックかかる
が、パイプライン構造をとっているため、2クロック毎
に新たな計算結果が得られる。
【0168】そして、前記ステップ104でシティブロッ
ク距離Hの最小値HMIN、最大値HMAXが確定すると、ス
テップS105では、ずれ量決定部60にて、前述した3つ
の条件がチェックされ、ずれ量xが決定される。
【0169】すなわち、図34のタイミングチャートに
示すように、Bバス62bを介して最小値HMINが演算
器61のBレジスタ72にラッチされるとともに、この
Bレジスタ72の値と比較されるしきい値HAがAバス
62aを介してAレジスタ71にラッチされる。そして
ALU70で両者が比較され、しきい値HAよりも最小
値HMINの方が大きければ、スイッチ回路65がリセッ
トされ、以後のチェックの如何に係わらず常に0が出力
されるようになる。
【0170】次に、Aレジスタ71に最大値HMAXがラ
ッチされ、このAレジスタ71にラッチされた最大値H
MAXとBレジスタ72に保存されている最小値HMINとの
差が計算されて、その結果がFレジスタ73に出力され
る。次のクロックでAレジスタ71にしきい値HBがラ
ッチされ、Fレジスタ73の値と比較される。Aレジス
タ71にラッチされたしきい値HBよりもFレジスタ7
3の内容の方が小さければ同様にスイッチ回路65がリ
セットされる。
【0171】次のクロックからは、隣接画素間の輝度差
の計算が始まる。輝度データが保存されている2組のシ
フトレジスタ64a,64bは10段構成であり、それ
ぞれ、シティブロック距離計算部40の1,2ライン用
のシフトレジスタ44aと、3,4ライン用のシフトレ
ジスタ44bの後段に接続されている。前記シフトレジ
スタ64a,64bの出力は最後の段とその2つ手前の
段から取り出され、それぞれが、Aバス62aとBバス
62bとに出力される。
【0172】輝度差の計算が始まるとき、前記シフトレ
ジスタ64a,64bの各段には小領域中の各場所の輝
度データが保持されており、初めに前回の小領域の第4
行第1列の輝度データと、今回の小領域の第1行第1列
の輝度データとが、演算器61のAレジスタ71とBレ
ジスタ72とにラッチされる。
【0173】そして、Aレジスタ71の内容とBレジス
タ72の内容の差の絶対値が計算され、結果がFレジス
タ73に保存される。次のクロックでAレジスタ71に
しきい値HCがラッチされ、Fレジスタ73の値と比較
される。
【0174】前記演算器61での比較結果、Aレジスタ
の内容(しきい値HC)よりもFレジスタ73の内容
(輝度差の絶対値)のほうが大きければ、前記スイッチ
回路65からずれ量xあるいは”0”が出力され、、A
レジスタの内容よりもFレジスタ73の内容のほうが小
さければ”0”が出力されて、出力バッファメモリ66
a,66bの該当する小領域の第1行第1列に当たる位
置に書き込まれる。
【0175】前記演算器61で隣接画素間の輝度差とし
きい値HCとの比較が行なわれている間に、シフトレジ
スタ64a,64bは1段シフトする。そして今度は、
前回の小領域の第4行第2列と、今回の小領域の第1行
第2列の輝度データに対して計算を始める。このように
して小領域の第1列、第2列に対し交互に計算を行なっ
た後、第3列、第4列に対して同様に計算を進める。
【0176】計算中は、シフトレジスタ64a,64b
の最終段と最初の段がつながってリングレジスタになっ
ており、小領域全体を計算した後にシフトクロックが2
回追加されるとレジスタの内容が計算前の状態に戻り、
次の小領域の輝度データが転送され終わったときに、最
終段とその前の段に今回の小領域の第4行のデータが留
められる。
【0177】このように、ずれ量決定のための計算中に
次のデータをAバス62a,Bバス62bに用意した
り、結果の書き込みを行なうため、計算に必要な2クロ
ックのみで一つのデータが処理される。この結果、初め
に行なう最小値HMIN、最大値HMAXのチェックを含めて
も、例えば43クロックで全ての計算が終了し、一つの
小領域に対して、シティブロック距離Hの最小値HMI
N、最大値HMAXを求めるのに要する時間は充分に余裕が
あり、さらに機能を追加することも可能となっている。
【0178】そして、ずれ量xが決定されると、ステッ
プS106で、出力バッファメモリ66a,66bからデュ
アルポートメモリ90へ、ずれ量xを距離分布情報とし
て出力し、イメージプロセッサ20における処理が終了
する。
【0179】この出力バッファメモリ66a,66b
は、前述した入力バッファメモリ41a,41b,42
a,42bと同様、例えば4ライン分の容量があり、2
組の一方に書き込んでいる間にもう一方から前記デュア
ルポートメモリ90へ距離分布情報を送り出す。
【0180】前記デュアルポートメモリ90へ書き込ま
れた距離分布情報からは、CCDカメラ11,12の取
付け位置と焦点距離等のレンズパラメータとから、各画
素に対応する物体のXYZ空間における3次元位置を算
出することができ、情報量の低下なく車外の対象物まで
の距離を正確に検出することができる。
【0181】ここで、イメージプロセッサ20の全体の
タイミングについて、図35に示すタイミングチャート
に従って説明する。
【0182】まず初めに、同期を取っている左右のCC
Dカメラ11a,11bからのフィールド信号を0.1
秒毎(3画面に1画面の割合)に、画像メモリ33a,
33bに書き込む。
【0183】次に、取り込み終了信号を受けて、4ライ
ン毎のブロック転送が始まる。この転送は、右画像、左
画像、結果の距離分布像の順に3ブロック転送する。
【0184】この間に、一方の入出力バッファメモリに
対してずれ量δの計算が行われる。そして、ずれ量δの
計算時間を考慮し、所定時間待機してからもう一方の入
出力バッファメモリに対して転送を始める。
【0185】一つの右画像の4×4画素の小領域に対す
るシティブロック距離Hの計算は、左画像について10
0画素ずらしながら計算するため、100回行われる。
一つの領域のシティブロック距離Hが計算されている間
に、その前の領域のずれ量δが各チェックを経て距離分
布として出力される。
【0186】処理すべきライン数を200とすると4ラ
イン分の処理を50回繰り返すことになり、計算の開始
時に最初のデータを転送するための4ライン分の処理時
間、計算終了後に最後の結果を画像認識部に転送するた
めの4ライン分の処理時間と、計8ライン分の処理時間
がさらに必要となる。
【0187】最初の入力画像ラインの転送を開始してか
ら最後の距離分布を転送し終わるまでの時間は、実際の
回路動作の結果、0.076秒である。
【0188】一方、図36及び図37のフローチャート
は、マイクロプロセッサ110aで実行される道路検出
処理であり、まず、ステップS201で、前回(Δtsec
前)の道路形状パラメータを読み込むと、次いで、ステ
ップS202へ進み、車速センサ4の出力信号、舵角センサ
6の出力信号を読み込む。
【0189】次に、ステップS203へ進むと、前記ステッ
プS202で読み込んだ車速センサ4の出力信号と舵角セン
サ6の出力信号を使ってΔt秒間の車輌1の位置を算出
し、ステップS204で、Δt秒後の車輌1の位置から見た
道路形状を推定して道路形状パラメータを修正する。
【0190】以上の道路形状推定処理が終わると、3次
元ウインドウ発生処理へ移行し、ステップS205で、道路
モデルの第1区間R1の左側の直線要素Ldのパラメー
タ(a,b,c,d)を読み込むと、ステップS206で、
この直線要素Ldを中心とする3次元ウインドウWD3A
を設定する。
【0191】その後、ステップS207へ進み、前記ステッ
プS206で設定した3次元ウインドウWD3Aから2次元画
像上での2次元ウインドウWD2Aを設定し、次のステッ
プS208以降へ進む。
【0192】ステップS208〜ステップS217は、直線要素
検出処理であり、ステップS208で、2次元ウインドウW
D2A内のデータを読み込むと、ステップS209で、各デー
タの3次元位置を計算し、ステップS210で、距離Zの値
が3次元ウインドウWD3Aの長さの範囲内にあるデータ
を選別する。
【0193】そして、ステップS211へ進み、先に推定し
た道路形状の直線要素Ldと被写体の3次元位置を比較
してX方向、Y方向の位置のずれ量ΔX、ΔYを計算
し、ステップS212で、これらのずれ量ΔX,ΔYが、3
次元ウインドウWD3Aの幅、高さの範囲内にあるデータ
のみを選別し、他は除外する。
【0194】その後、ステップS213へ進み、前記ステッ
プS212で計算したX方向、Y方向のずれ量ΔX,ΔYに
応じて、そのデータの重み係数を決定し、各データに、
ずれ量ΔX,ΔYに応じた重み係数を付加する。
【0195】次に、ステップS214へ進むと、最小自乗法
を用いて水平方向(XZ平面)および垂直方向(YZ平
面)の直線式を導出し、パラメータ(a,b,c,d)
を求め、これを新しい直線要素Ldの候補とする。
【0196】そして、ステップS215で、道路モデルの右
側のラインの直線要素Ldの候補が求められたか否かを
調べ、その結果がNOの場合には、ステップS216で、右
側の直線要素Ldのパラメータを読み込んで前述のステ
ップS206へ戻り、結果がYESの場合には、ステップS2
17へ進む。
【0197】ステップS217では、求めた直線要素Ldの
候補が最終区間の右側のものであるか否かを調べ、最終
区間でない場合には、ステップS218で、次の区間の左側
の直線要素Ldのパラメータを読み込んで、前述のステ
ップS206へ戻り、同様の処理を繰り返す。
【0198】一方、前記ステップS217で、求めた直線要
素Ldの候補が最終区間の右側のものであり、道路モデ
ルを構成する全ての直線要素Ldの候補を求め終えた場
合には、前記ステップS217からステップS219以降へ進
み、道路形状判定処理を実行する。
【0199】すなわち、ステップS219で、第1区間R1
の直線要素Ldのパラメータを読み込むと、ステップS2
20で、左右の直線要素Ldの水平方向の平行度を調べ
て、その妥当性を判定し、ステップS221で、左右の直線
要素Ldの垂直方向の平行度を調べ、その妥当性を判定
する。
【0200】その後、ステップS222へ進み、前記ステッ
プS220,S221における判定の結果、左右いずれかの直線
要素が妥当でないと判定された場合、あるいは、道路上
の白線が破線状であったり、障害物に隠れて見えないた
めにデータが不足して、左右いずれかの直線要素の候補
がない場合に対し、検出された側の直線要素を車線の幅
だけ並行移動して代用することにより、欠落する直線要
素を補完し、ステップS223へ進む。
【0201】尚、左右両方の直線要素が無しの場合に
は、先に推定した道路形状の直線要素を代用する。
【0202】ステップS223では、最終区間か否かを調
べ、最終区間でない場合には、ステップS224で、次の区
間の左右の直線要素Ldのパラメータを読み込んで前述
のステップS220へ戻り、最終区間の場合には、ステップ
S223からステップS225へ進んで、各直線要素Ldのパラ
メータを出力用メモリに115へ書き込んで処理を終了
する。
【0203】次に、マイクロプロセッサ110bによる
物体認識処理について図38及び図39のフローチャー
トに従って説明する。この物体認識処理では、ステップ
S301で道路形状パラメータを読み込むと、ステップS302
で、イメージプロセッサ20からの距離画像を格子状の
領域に区分し、ステップS303で、最初の領域のデータを
読み込む。
【0204】次に、ステップS304へ進んで、領域内の最
初のデータをセットすると、ステップS305で、被写体の
3次元位置(X,Y,Z)、すなわち距離と高さを算出
し、ステップS306で、距離Zに於ける道路表面の高さを
算出し、ステップS307で、道路面より上にあるデータを
選別する。
【0205】そして、ステップS308へ進んで最終データ
か否かを調べ、最終データでない場合、ステップS309で
領域内の次のデータをセットすると、前述のステップS3
05へ戻って処理を繰り返し、最終データの場合にはステ
ップS308からステップS310へ進む。
【0206】ステップS310〜ステップS315は、物体検出
処理であり、ステップS310で、ヒストグラムを作成する
と、ステップS311で、このヒストグラムの度数が判定値
以上で、かつ最大値となる区間を検出し、ヒストグラム
の度数が判定値以上で、かつ最大値となる区間が検出さ
れた場合、ステップS312で、その区間に物体が存在する
と判断し、その物体までの距離を検出する。
【0207】そして、ステップS313で、最終領域か否か
を調べ、最終領域でない場合には、ステップS314で、次
の領域のデータを読み込み、前述のステップS304へ戻っ
て同様の処理を続行し、最終領域である場合には、ステ
ップS315へ進み、各物体の距離と存在領域の検出を終了
し、ステップS316〜S318の3次元ウインドウ発生処理へ
進む。
【0208】ステップS316では、最初の物体のパラメー
タをセットし、次いで、ステップS317で、3次元ウイン
ドウWD3Bの下端の高さ及び距離範囲を設定し、ステッ
プS318で、この3次元ウインドウWD3Bに基づいて2次
元ウインドウWD2B形状を算出してステップS319へ進
む。
【0209】ステップS319以下は、物体輪郭抽出処理で
あり、まず、ステップS319で、2次元ウインドウWD2B
内のデータを読み出すと、ステップS320で、被写体の3
次元位置を算出し、ステップS321で、3次元ウインドウ
WD3B内に含まれるデータを選別して抽出する。
【0210】その後、ステップS322へ進み、前記ステッ
プS321で抽出したデータを2次元の画像上に投影する
と、ステップS323で、各データを線分で連結して輪郭像
を作成する。続いて、ステップS324で、物体の形状、寸
法、位置、速度を算出し、ステップS325で、道路の車線
と物体との位置関係を算出する。
【0211】そして、ステップS326で、最終物体か否か
を調べ、最終物体でない場合には、ステップS327で次の
物体のパラメータをセットして前述のステップS317へ戻
り、最終物体である場合には、ステップS328へ進んで、
先行車を含む各物体の位置、形状、速度、加速度、これ
らのデータから特定される先行車との車間距離及び相対
速度等のパラメータを出力用メモリ115に書き込み、
処理を終了する。
【0212】以上の処理により、前方に存在する先行車
が検出され、自車輌1との車間距離及び相対速度が算出
されると、画像処理・車間距離制御用コンピュータ11
0で図40の速度制御処理のプログラムが所定時間(例
えば、50〜100ms)毎に実行され、また、図41
の警報出力処理のプログラムが実行される。
【0213】この速度制御処理では、まず、ステップS4
01で、自車輌1と先行車の状態、すなわち、画像処理・
車間距離制御用コンピュータ110の出力用メモリ11
5に記憶されている先行車との車間距離Dr及び相対速
度Vrの検出値、車速センサ4からの自車輌1の速度V
eの検出値等を入力する。
【0214】次いで、ステップS402へ進み、入力したデ
ータから先行車が検出されているか否かを調べ、前方に
先行車が無い場合あるいは先行車が検出限界距離より遠
方にある場合には、ステップS403で、先行車の状態を領
域R5と判断して通常走行制御とする。
【0215】一方、前記ステップS402で、先行車が検出
されている場合には、前記ステップS402からステップS4
04へ進み、車間距離Dr及び相対速度Vrが設定範囲内
(領域R4の説明で前述した設定範囲、Ds4<Dr<
Ds1、且つ、Vrs4<Vr<Vrs1;図27参照)
であるか否かを調べ、設定範囲内のとき、ステップS405
で、先行車の状態を領域R4として現在のスロットル開
度を維持して速度を保持し、設定範囲外のとき、ステッ
プS406へ進む。
【0216】ステップS406では、先行車の相対速度Vr
が正であるか負であるかを調べ、Vr<0.0の場合、
すなわち、先行車が接近してくる場合には、ステップS4
07へ進み、Vr≧0.0の場合、すなわち、先行車が遠
ざかって行く場合には、ステップS410へ進む。
【0217】まず、先行車が接近してくる場合のステッ
プS407以降について説明すると、ステップS407では、自
車輌1を減速度Acで減速した場合の最小車間距離Dm
inを、以下の(15)式で計算する。
【0218】 Dmin=Dr+(1/2)×Vr2/Ac … (15) 次に、ステップS408へ進み、前記ステップS407で計算し
た最小車間距離Dminが車間距離の設定値Ds2未満
か否かを調べる。Dmin<Ds2の場合には、ステッ
プS413で先行車の状態は領域R1と分類してスロットル
開度を設定開度にして減速を行ない、Dmin≧Ds2
の場合には、前記ステップS408からステップS409へ進
み、相対速度Vrが設定値Vrs4より大きいか否かを
調べる。
【0219】そして、Vr>Vrs4の場合には、相対
速度が0.0に近いので、先行車との車間距離が、なか
なか目標車間距離Dsに近づかない状況であり、この場
合にはステップS414で領域R2へ分類し、現在のエンジ
ン回転数Neと前述の(14)式から求めたトルクTe
とをパラメータとしてマップ検索によりスロットル開度
Thを求め、スロットルアクチュエータ3を駆動して加
速を行ない、車間距離を速やかに詰めるようにする。
【0220】一方、Vr≦Vrs4の場合には、先行車
は徐々に接近してくる状況であるため、前記ステップS4
09からステップS415へ進んで領域R3へ分類し、車間距
離が詰まるまで自車輌1の速度保持を行う。
【0221】次に、前記ステップS406で、相対速度が正
(Vr≧0.0)であり、先行車が遠ざかって行く場合
について説明する。この場合は、ステップS410で、自車
輌1を加速度Aaで加速した場合の最大車間距離Dma
xを、以下の(16)式で計算する。
【0222】 Dmax=Dr+(1/2)×Vr2/Aa … (16) 次に、ステップS411へ進み、最大車間距離Dmaxが車
間距離の設定値Ds4未満か否かを調べる。Dmax<
Ds4の場合には、ステップS411から前述のステップS41
3へ進んで領域R1に分類し、減速を行う。これは、車
間距離Drが目標車間距離Dsより接近した危険な状態
であるため、減速を行なって速やかに車間距離を回復す
るのである。
【0223】また、前記ステップS411で、Dmax≧D
s4の場合には、ステップS412へ進み、最大車間距離D
maxが車間距離の設定値Ds3(図27参照)より大
きいか否かを調べ、Dmax>Ds3の場合、前述のス
テップS414で領域R2へ分類して加速を行なうことによ
り先行車を追いかけ、Dmax≦Ds3の場合には、前
述のステップS415で、領域R3へ分類して速度保持を行
なう。
【0224】一方、この速度制御処理に対し、図41の
警報出力処理のプログラムが割込み実行され、先行車と
の車間距離の異常接近や衝突の可能性を判断して、警報
を発する。
【0225】この警報出力処理では、ステップS601で、
画像処理・車間距離制御用コンピュータ110の出力用
メモリ115に記憶されている先行車との車間距離Dr
及び相対速度Vrの検出値、車速センサ4からの自車輌
1の速度Veの検出値等の自車輌1と先行車の状態を入
力し、次いで、ステップS602で、入力したデータから先
行車が検出されてるか否かを調べる。
【0226】そして、先行車を検出していない場合には
プログラムを抜け、先行車を検出している場合、ステッ
プS603へ進んで、先行車の相対速度Vrが正であるか負
であるかを調べ、Vr≧0.0の場合、すなわち、先行
車が遠ざかって行く場合には、プログラムを抜け、Vr
<0.0の場合、すなわち、先行車が接近してくる場合
には、ステップS604へ進み、減速度Acで減速した場合
の最小車間距離Dminを計算する。
【0227】尚、前記最小車間距離Dminは、前述の
速度制御処理において説明した(15)式で計算され
る。
【0228】次に、ステップS605へ進み、前記ステップ
S604で計算した最小車間距離Dminが目標車間距離D
sの1/3より小さいか否かを調べ、Dmin<(1/
3)×Dsの場合には、先行車と自車輌1とが衝突する
可能性があるため、ステップS606で衝突警報を発生して
ディスプレイ9に出力し、前述したように、例えばディ
スプレイ9の位置表示部9dを赤色で点灯して警告し、
運転者にブレーキ操作を促す。
【0229】一方、前記ステップS605で最小車間距離D
minが目標車間距離Dsの1/3以上の場合には、ス
テップS607へ進み、最小車間距離Dminが目標車間距
離Dsの2/3より小さいか否かを調べる。そして、D
min≧(2/3)×Dsの場合にはプログラムを抜
け、Dmin<(2/3)×Dsの場合には、車間距離
の異常接近が生じるおそれがあるため、ステップS608で
接近警報を発生してディスプレイ9に出力し、前述した
ように、例えばディスプレイ9の位置表示部9dを黄色
で点灯し、運転者に警告を与える。
【0230】このように、本装置では、高速走行時に先
行車との車間距離を自動的に一定に保って運転者の負担
を大幅に軽減することができ、また、作動状態が常にデ
ィスプレイ9に表示され、先行車への異常接近の可能性
が事前に推測されて警報が発せられるため、運転者の運
転操作に十分な時間的余裕を与えてより安全性を高める
ことができる。また、万一、トラブルが発生した場合に
おいても、運転者が容易に状況を把握することができ、
迅速な対応操作を可能とすることができるのである。
【0231】図42〜図46は本発明の第2実施例に係
わり、図42は車間距離制御装置の全体構成図、図43
は車間距離制御装置の回路ブロック図、図44はレーザ
ビームの走査方法を側面から示す説明図、図45はレー
ザビームの走査方法を上面から示す説明図、図46はレ
ーザ・レーダ測距部で計測される立体物の2次元分布を
示す説明図である。
【0232】本実施例の車輌500に搭載される車間距
離制御装置300Aは、図42に示すように、前述の第
1実施例に対し、ステレオ光学系10及び画像処理部1
00に代えて、レーザ投光ユニット501及びレーザ・
レーダ測距部510を先行車検出手段として採用するも
のであり、他の構成は前述の第1実施例と同様であるた
め、同一の符号を付してその説明を省略する。
【0233】前記レーザ・レーダ測距部510は、レー
ザビームを投射し、このレーザビームが物体に当たって
反射してくる光を受光し、この所要時間から物体までの
距離を測定するものであり、周知の装置を適用すること
ができ、前記レーザ・レーダ測距部510によって得ら
れる立体物の2次元分布の位置情報を前述の第1実施例
と同様の方法で処理し、車間距離を制御することができ
る。
【0234】すなわち、本実施例では、レーザビームの
投射・受光と左右方向への走査機能を有するレーザ投光
ユニット501が車輌500の前部に取り付けられてお
り、図43に示すように、レーザ・レーダ測距部510
は、レーザビームの投光受光の所要時間から物体までの
距離を計算し、また、レーザビームを走査する方向から
物体の2次元の位置を計算する距離検出回路520a、
及び、検出された物体の2次元の位置を書き込む2次元
分布メモリ520bからなる測距回路520に、第1実
施例の画像処理・車間距離制御用コンピュータ110が
接続されて構成され、前記2次元分布メモリ520bに
書き込まれた2次元分布情報から先行車を検出し、その
車間距離及び相対速度が算出される。
【0235】図44に示すように、前記レーザ投光ユニ
ット501からはレーザビームが水平に投射され、道路
表面より高い位置にある立体物のみが検出される。ま
た、図45に示すように、レーザビームは左右方向に走
査され、所定の走査範囲で一定の間隔毎にレーザビーム
が投光・受光されて距離を検出する動作が繰り返され、
立体物の2次元分布が計測される。
【0236】例えば、前方に他の車輌がある状況を前記
レーザ・レーダ測距部510で計測すると、図46に示
すような立体物の2次元分布のデータが得られる。従っ
て、これらのデータに対し、第1実施例と同様の物体検
出処理を行なうことにより先行車を検出し、その車間距
離及び相対速度を算出することができる。
【0237】本実施例においても、前述の第1実施例と
同様、スロットル開度をきめ細かく制御することによ
り、走行状況変化にすばやく応答して良好な制御性能が
得られ、先行車との車間距離を自動的に一定に保って運
転者の負担を大幅に軽減することができる。
【0238】
【発明の効果】以上説明したように本発明によれば、先
行車検出手段によって先行車を検出すると、先行車と自
車輌との車間距離及び自車輌に対する先行車の相対速度
を算出し、この車間距離及び相対速度に基づいて車間距
離制御手段で速度制御モードを判断する。そして、判断
した速度制御モードにおける設定加速度あるいは設定減
速度を発生させるエンジン出力を、自車輌の走行速度及
びエンジン回転数に基づいて算出し、この算出したエン
ジン出力とエンジン回転数とからスロットル開度を求
め、求めたスロットル開度となるよう、スロットルバル
ブに連設したアクチュエータを駆動することにより、自
車輌と先行車との車間距離を目標車間距離に制御するた
め、車輌の様々な走行状況変化にすばやく応答して良好
な制御性能が得られ、運転者の負担を軽減して安全性を
向上することのできる等優れた効果が得られる。
【図面の簡単な説明】
【図1】図1〜図41は本発明の第1実施例に係り、図
1は車間距離制御装置の全体構成図
【図2】車間距離制御装置の回路ブロック図
【図3】ディスプレイの画面を示す説明図
【図4】車輌の正面図
【図5】カメラと被写体との関係を示す説明図
【図6】イメージプロセッサの詳細回路図
【図7】シティブロック距離計算回路の説明図
【図8】最小値検出回路のブロック図
【図9】車載のCCDカメラで撮像した画像の例を示す
説明図
【図10】距離画像の例を示す説明図
【図11】車輌の上面図
【図12】車輌の側面図
【図13】画像処理・車間距離制御用コンピュータの機
能ブロック図
【図14】道路モデルの例を示す説明図
【図15】3次元ウインドウの形状を示す説明図
【図16】2次元ウインドウの形状を示す説明図
【図17】直線要素とデータのずれ量を示す説明図
【図18】ずれ量と重み係数の関係を示す説明図
【図19】検出した道路形状の例を示す説明図
【図20】画像の区分方法を示す説明図
【図21】検出物体とヒストグラムの関係を示す説明図
【図22】物体の存在領域の検出結果と検出距離の例を
示す説明図
【図23】物体検出用の3次元ウインドウの形状を示す
説明図
【図24】物体検出用の2次元ウインドウの形状を示す
説明図
【図25】物体の輪郭を構成するデータの例を示す説明
【図26】物体の輪郭像と検出された外径寸法の例を示
す説明図
【図27】速度制御モード判断の概念を示す説明図
【図28】エンジンのトルク特性を示す説明図
【図29】速度制御の効果を示す説明図
【図30】警報判断の説明図
【図31】イメージプロセッサの動作を示すフローチャ
ート
【図32】シフトレジスタ内の保存順序を示す説明図
【図33】シティブロック距離計算回路の動作を示すタ
イミングチャート
【図34】ずれ量決定部の動作を示すタイミングチャー
【図35】イメージプロセッサの動作を示すタイミング
チャート
【図36】道路検出処理のフローチャート
【図37】道路検出処理のフローチャート(続き)
【図38】物体検出処理のフローチャート
【図39】物体検出処理のフローチャート(続き)
【図40】速度制御処理のフローチャート
【図41】警報出力処理のフローチャート
【図42】図42〜図46は本発明の第2実施例に係わ
り、図42は車間距離制御装置の全体構成図
【図43】車間距離制御装置の回路ブロック図
【図44】レーザビームの走査方法を側面から示す説明
【図45】レーザビームの走査方法を上面から示す説明
【図46】レーザ・レーダ測距部で計測される立体物の
2次元分布を示す説明図
【符号の説明】
2 スロットルバルブ 3 スロットルアクチュエータ(アクチュエータ) 10 ステレオ光学系(先行車検出手段) 100 画像処理部(先行車検出手段) 200 車間距離制御部(車間距離制御手段) Dr 車間距離 Vr 相対速度 Ds 目標車間距離 Aa 設定加速度 Ac 設定減速度 Th スロットル開度 Ve 走行速度 Ne エンジン回転数 Te トルク(エンジン出力)
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G08G 1/09 S V

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 自車輌の進行方向に存在する先行車を検
    出し、先行車と自車輌との車間距離及び自車輌に対する
    先行車の相対速度を算出する先行車検出手段と、 前記先行車検出手段で算出した車間距離及び相対速度に
    基づき自車輌と先行車との車間距離を目標車間距離にす
    るための速度制御モードを判断して自車輌の走行速度を
    制御する際、自車輌の走行速度及びエンジン回転数に基
    づいて、前記速度制御モードにおける設定加速度あるい
    は設定減速度を発生させるエンジン出力を算出し、この
    エンジン出力とエンジン回転数とから求めたスロットル
    開度となるよう、スロットルバルブに連設したアクチュ
    エータを駆動する車間距離制御手段とを備えたことを特
    徴とする車間距離制御装置。
JP6177236A 1994-07-28 1994-07-28 車間距離制御装置 Pending JPH0845000A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6177236A JPH0845000A (ja) 1994-07-28 1994-07-28 車間距離制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6177236A JPH0845000A (ja) 1994-07-28 1994-07-28 車間距離制御装置

Publications (1)

Publication Number Publication Date
JPH0845000A true JPH0845000A (ja) 1996-02-16

Family

ID=16027533

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6177236A Pending JPH0845000A (ja) 1994-07-28 1994-07-28 車間距離制御装置

Country Status (1)

Country Link
JP (1) JPH0845000A (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09226490A (ja) * 1996-02-22 1997-09-02 Nippon Soken Inc 横断物の検出装置
JPH1075398A (ja) * 1996-08-30 1998-03-17 Honda Motor Co Ltd 車両前方監視用イメージセンサおよび車両前方監視用イメージセンサの受光部の縦横比設定方法
JPH115456A (ja) * 1997-06-16 1999-01-12 Hino Motors Ltd オートクルーズ装置
JPH11316122A (ja) * 1998-05-06 1999-11-16 Fujitsu Ten Ltd 画像測距装置
JP2000517265A (ja) * 1996-09-07 2000-12-26 バイエリッシェ モートーレン ウエルケ アクチエンゲゼルシャフト 乗員保護に用いられる複数の装置を有する車両のためのデータバス
JP2001014597A (ja) * 1999-06-28 2001-01-19 Hitachi Ltd 車線位置推定装置
JP2001507646A (ja) * 1996-09-07 2001-06-12 バイエリッシェ モートーレン ウエルケ アクチエンゲゼルシャフト 乗員保護に用いられる複数の装置を有する車両のためのデータバス
JP2003044995A (ja) * 2001-07-26 2003-02-14 Nissan Motor Co Ltd 物体種別判別装置及び物体種別判別方法
US6567749B2 (en) 2001-04-20 2003-05-20 Fuji Jukogyo Kabushiki Kaisha Vehicle controlling apparatus and method
WO2003104055A1 (en) * 2002-01-20 2003-12-18 Neelam Agarwal Composite passenger safety and vehicular protection system
US6675096B2 (en) 2001-04-20 2004-01-06 Fuji Jukogyo Kabushiki Kaisha Vehicle controlling apparatus and method
JP2004103018A (ja) * 2003-09-02 2004-04-02 Honda Motor Co Ltd 車両の周辺監視装置
US7177747B2 (en) 2003-07-04 2007-02-13 Fuji Jukogyo Kabushiki Kaisha Vehicle braking device and vehicle braking method
JP2007066047A (ja) * 2005-08-31 2007-03-15 Mitsubishi Electric Corp 道路形状認識装置
JP2015155249A (ja) * 2014-02-20 2015-08-27 株式会社デンソー 車両走行制御装置
JP2017020481A (ja) * 2015-07-15 2017-01-26 いすゞ自動車株式会社 走行制御装置および走行制御方法
JP2017212531A (ja) * 2016-05-24 2017-11-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 撮像システム、移動体、撮像方法、及びプログラム
WO2018198574A1 (ja) * 2017-04-28 2018-11-01 株式会社デンソー 障害物検知装置
US10386889B2 (en) 2013-12-11 2019-08-20 Apple Inc. Cover glass for an electronic device
WO2020066646A1 (ja) * 2018-09-28 2020-04-02 日立オートモティブシステムズ株式会社 走行制御装置、車両及び走行制御方法
WO2022019117A1 (ja) * 2020-07-21 2022-01-27 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び、プログラム

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09226490A (ja) * 1996-02-22 1997-09-02 Nippon Soken Inc 横断物の検出装置
JPH1075398A (ja) * 1996-08-30 1998-03-17 Honda Motor Co Ltd 車両前方監視用イメージセンサおよび車両前方監視用イメージセンサの受光部の縦横比設定方法
JP2000517265A (ja) * 1996-09-07 2000-12-26 バイエリッシェ モートーレン ウエルケ アクチエンゲゼルシャフト 乗員保護に用いられる複数の装置を有する車両のためのデータバス
JP2001507646A (ja) * 1996-09-07 2001-06-12 バイエリッシェ モートーレン ウエルケ アクチエンゲゼルシャフト 乗員保護に用いられる複数の装置を有する車両のためのデータバス
JPH115456A (ja) * 1997-06-16 1999-01-12 Hino Motors Ltd オートクルーズ装置
JPH11316122A (ja) * 1998-05-06 1999-11-16 Fujitsu Ten Ltd 画像測距装置
JP2001014597A (ja) * 1999-06-28 2001-01-19 Hitachi Ltd 車線位置推定装置
US6567749B2 (en) 2001-04-20 2003-05-20 Fuji Jukogyo Kabushiki Kaisha Vehicle controlling apparatus and method
US6675096B2 (en) 2001-04-20 2004-01-06 Fuji Jukogyo Kabushiki Kaisha Vehicle controlling apparatus and method
EP1251060B1 (en) * 2001-04-20 2008-08-06 Fuji Jukogyo Kabushiki Kaisha Vehicle controlling apparatus and method
JP2003044995A (ja) * 2001-07-26 2003-02-14 Nissan Motor Co Ltd 物体種別判別装置及び物体種別判別方法
WO2003104055A1 (en) * 2002-01-20 2003-12-18 Neelam Agarwal Composite passenger safety and vehicular protection system
US7177747B2 (en) 2003-07-04 2007-02-13 Fuji Jukogyo Kabushiki Kaisha Vehicle braking device and vehicle braking method
JP2004103018A (ja) * 2003-09-02 2004-04-02 Honda Motor Co Ltd 車両の周辺監視装置
JP2007066047A (ja) * 2005-08-31 2007-03-15 Mitsubishi Electric Corp 道路形状認識装置
US10386889B2 (en) 2013-12-11 2019-08-20 Apple Inc. Cover glass for an electronic device
JP2015155249A (ja) * 2014-02-20 2015-08-27 株式会社デンソー 車両走行制御装置
US9694815B2 (en) 2014-02-20 2017-07-04 Denso Corporation Vehicle driving control apparatus
JP2017020481A (ja) * 2015-07-15 2017-01-26 いすゞ自動車株式会社 走行制御装置および走行制御方法
JP2017212531A (ja) * 2016-05-24 2017-11-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 撮像システム、移動体、撮像方法、及びプログラム
WO2018198574A1 (ja) * 2017-04-28 2018-11-01 株式会社デンソー 障害物検知装置
JP2018189422A (ja) * 2017-04-28 2018-11-29 株式会社Soken 障害物検知装置
WO2020066646A1 (ja) * 2018-09-28 2020-04-02 日立オートモティブシステムズ株式会社 走行制御装置、車両及び走行制御方法
JPWO2020066646A1 (ja) * 2018-09-28 2021-08-30 日立Astemo株式会社 走行制御装置、車両及び走行制御方法
WO2022019117A1 (ja) * 2020-07-21 2022-01-27 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び、プログラム

Similar Documents

Publication Publication Date Title
JPH0845000A (ja) 車間距離制御装置
US11318928B2 (en) Vehicular automated parking system
US5410346A (en) System for monitoring condition outside vehicle using imaged picture by a plurality of television cameras
CN110362077B (zh) 无人驾驶车辆紧急避险决策系统、方法及介质
JP3324821B2 (ja) 車輌用車外監視装置
JP3739693B2 (ja) 画像認識装置
US7366325B2 (en) Moving object detection using low illumination depth capable computer vision
US20210403037A1 (en) Arithmetic operation system for vehicles
JP2002319091A (ja) 後続車両認識装置
JPH07192199A (ja) 車輌用走行案内装置
JPH07225892A (ja) 車輌の走行制御装置
US8050460B2 (en) Method for recognition of an object
JPH1139596A (ja) 車外監視装置
JP3324859B2 (ja) 車間距離制御装置
JPH0696397A (ja) 画像追尾装置および画像追尾方法
JP3872179B2 (ja) 車両の衝突防止装置
JP4937844B2 (ja) 歩行者検出装置
JP4151890B2 (ja) 車両監視装置および車両監視方法
KR102031635B1 (ko) 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
JPH09106500A (ja) 車輌の運転支援装置
JPH1114346A (ja) 車両用障害物検出装置
JP3762406B2 (ja) 車輌用走行案内装置
EP4060643B1 (en) Traffic signal recognition method and traffic signal recognition device
US11679769B2 (en) Traffic signal recognition method and traffic signal recognition device
EP3716137A1 (en) Systems and methods for estimating the position of a target vehicle