JP3349002B2 - 先行車両認識方法 - Google Patents

先行車両認識方法

Info

Publication number
JP3349002B2
JP3349002B2 JP00374595A JP374595A JP3349002B2 JP 3349002 B2 JP3349002 B2 JP 3349002B2 JP 00374595 A JP00374595 A JP 00374595A JP 374595 A JP374595 A JP 374595A JP 3349002 B2 JP3349002 B2 JP 3349002B2
Authority
JP
Japan
Prior art keywords
candidate points
vehicle
preceding vehicle
image
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP00374595A
Other languages
English (en)
Other versions
JPH08188104A (ja
Inventor
憲一 山田
敏夫 伊東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daihatsu Motor Co Ltd
Original Assignee
Daihatsu Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daihatsu Motor Co Ltd filed Critical Daihatsu Motor Co Ltd
Priority to JP00374595A priority Critical patent/JP3349002B2/ja
Publication of JPH08188104A publication Critical patent/JPH08188104A/ja
Application granted granted Critical
Publication of JP3349002B2 publication Critical patent/JP3349002B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、自動車に搭載した撮
像手段による先行車両の車両画像を処理して同一車線前
方を走行する先行車両を認識する先行車両認識方法に関
する。
【0002】
【従来の技術】従来、自動車において前方を走行する先
行車両を認識する手法として、ステレオ画像処理による
手法、車両の形状特徴や対象性を拘束条件とした時系列
探索による手法、オプティカルフローから3次元情報を
復元し移動物体を抽出する手法等がある。
【0003】そのひとつに、撮像手段により同一車線前
方の先行車両を撮像して得られた車両画像を処理装置に
より微分処理し、車両画像の所定領域の画素の濃度微分
値の合計を算出して前記車両画像のエッジヒストグラム
を導出し、このエッジヒストグラムに基づいて先行車両
を認識する方法があり、これは以下のような手順で行わ
れる。
【0004】即ち、図3に示すように、自動車に搭載さ
れた2次元CCDカメラなどの撮像手段1より同一車線
前方を走行する先行車両が撮像され、得られた車両画像
が全画素について微分処理手段2により微分処理され、
更に注視領域設定手段3により、図4に示すように撮像
手段1の撮像画面4の垂直方向に所定の水平幅の水平注
視領域Hが設定されると共に、図5に示すように撮像手
段1の撮像画面4の水平方向に所定の垂直幅の垂直注視
領域Vが設定される。
【0005】そして、図3に示すように、濃度投影手段
5により、水平注視領域Hにおける水平方向への画素行
毎の濃度微分値の合計が算出されると共に、垂直注視領
域Vにおける垂直方向への画素列毎濃度の微分値の合計
が算出されて、車両画像のエッジヒストグラムが導出さ
れ、対応検索手段6により、このエッジヒストグラムで
濃度微分値がピークとなる複数の点が車両画像の輪郭の
候補点とされ、これら各候補点のある時刻tでの撮像画
面4上の水平軸(X軸)座標と一連の処理に要する所定
時間後の時刻t+1における撮像画面4上のX軸座標と
から各候補点毎の移動量がそれぞれ算出され、これらの
各候補点の中から車両画像の輪郭に対応する点の対応検
索が次のようにして行われる。
【0006】いま、時刻tの車両画像の輪郭に対応する
点のX軸座標をxi(t)、その点のエッジヒストグラムに
おけるピーク値をPi(t)とし、時刻tから一連の処理に
要する所定時間後の時刻t+1におけるこの点の候補点
のX軸座標をxi(t+1)(k)(但し、kは候補点の番号)、
その点のエッジヒストグラムにおけるピーク値をPi
(t+1)(k)とすると、各候補点の移動量Ui(k)は数式1に
より表され、これらの移動量Ui(k)のうち数式2で表さ
れるようにしきい値Uthより小さく、かつ最小になる候
補点が車両画像の輪郭に対応する対応点として検索さ
れ、検索された対応点の座標の変化等から先行車両の運
動が検出されて先行車両の認識が行われる。
【0007】
【数1】
【0008】
【数2】
【0009】その結果、先行車両が自車に異常に接近す
るなどの追突回避が必要とされる事態が生じた場合に
は、図3に示す車両制御装置7により自動ブレーキが駆
動され、追突が未然に回避される。
【0010】
【発明が解決しようとする課題】しかし、上記した複数
の候補点の中から車両画像の輪郭に対応する点の対応検
索を行う方法は、車両の急激な運動を考慮せずに先行車
両は同一車線上を一定の車間距離でまっすぐ前方に向か
って走行するという仮定のもとでのものであり、1時刻
前の座標とエッジヒストグラムのピーク値とからのみ演
算した結果に基づいて対応検索を行っているため、先行
車両に比較的大きな相対運動,特に水平運動が生じる
と、簡単に先行車両を見失っていわゆるトラッキングエ
ラーを起こしてしまうことがある。
【0011】そこで、この発明は、上記のような問題点
を解消するためになされたもので、先行車両の軌道を予
測した結果を反映することによって、先行車の比較的大
きな相対運動,特に水平運動に対するトラッキングエラ
ーを防止できるようにすることを目的とする。
【0012】
【課題を解決するための手段】この発明は、自動車に搭
載された撮像手段により同一車線前方の先行車両を撮像
して得られた車両画像を処理装置により微分処理し、前
記撮像手段の撮像画面の垂直方向に所定の水平幅の水平
注視領域を設定すると共に水平方向に所定の垂直幅の垂
直注視領域を設定し、前記水平注視領域における水平方
向への画素行毎の濃度微分値の合計を算出すると共に前
記垂直注視領域における垂直方向への画素列毎濃度の微
分値の合計を算出して前記車両画像のエッジヒストグラ
ムを導出し、このエッジヒストグラムで濃度微分値がピ
ークとなる複数の点を前記車両画像の輪郭の候補点と
し、これら各候補点のある時刻での前記撮像画面上の座
標と一連の処理に要する所定時間後における前記撮像画
面上の座標とから前記候補点毎の移動量をそれぞれ算出
し、前記各候補点のうち、算出した前記移動量が所定の
しきい値よりも小さくかつ最小になる候補点を前記車両
画像の輪郭に対応する対応点として検索し、先行車両の
認識を行う先行車両認識方法において、軌道予測手段に
より前記先行車両の軌道を予測し、予測結果に基づき前
記各候補点の中から前記車両画像の輪郭に対応する有力
な候補点の絞り込みを行い、前記絞り込んだ候補点の中
から前記対応点の検索を行うことを特徴としている。
【0013】
【作用】この発明においては、複数の候補点の中から車
両画像の輪郭に対応する点を検索する対応検索におい
て、軌道予測手段により先行車両の軌道を予測し、その
結果から各候補点のうち車両画像の輪郭に対応する有力
な候補点を絞り込むため、従来のように1時刻前の座標
とエッジヒストグラムのピーク値とからのみ演算した結
果に基づいて対応検索を行う場合に比べ、先行車両に比
較的大きな相対運動,特に水平運動が生じても、先行車
両を見失うというトラッキングエラーを起こすことがな
く、トラッキング精度の向上を図れる。
【0014】
【実施例】図1はこの発明の一実施例の動作説明用のフ
ローチャート、図2は適用されるシステムのブロック図
である。
【0015】図2において、図3と同一符号は同一のも
の若しくは相当するものを示し、図3と相違するのは、
軌道予測手段としてカルマンフィルタからなる最小分散
推定手段10を設け、この最小分散推定手段10により
先行車両の軌道を予測し、その予測結果に基づき、濃度
投影手段5により導出されたエッジヒストグラムでピー
クとなる複数の候補点の中から車両画像の輪郭に対応す
る点を絞り込み、絞り込んだ候補点の中から、対応検索
手段6により車両画像の輪郭に対応する対応点の検索を
行うようにした点である。
【0016】ところで、カルマンフィルタからなる最小
分散推定手段10による候補点の絞り込み手順の概要に
ついて説明する。
【0017】いま、先行車両が運動方程式に従うことか
ら、車両の時刻tにおける状態ベクトルxt及び観測ベ
クトルytを数式3で示されるものとして、自動車の運
動もある種の雑音と考えたときのシステム雑音wt,電気
的な雑音も含む観測系における観測雑音vtを考慮し
て、数式4により表されるような基本式が得られる。こ
こで、数式3において、X,Zはそれぞれ上記したX軸
の座標及び車両進行方向に相当する撮像手段1の光軸で
あるZ軸の座標であり、V,Aはそれぞれ速度及び加速
度であり、数式4において、各係数ベクトルF,G,H
は数式5で示され、更にこの数式5において、T1はサ
ンプリングタイムであり、T2は(1/2)*T12である。
【0018】
【数3】
【0019】
【数4】
【0020】
【数5】
【0021】そして、カルマンゲインKtのカルマンフ
ィルタ処理により、状態ベクトルxtの最小分散推定
量,即ち時刻t+1における状態ベクトルの予測値は数
式6によって表される。
【0022】
【数6】
【0023】一方、実際に車両画像を処理することによ
って得られる観測データは、車両画像の輪郭における
左,右端の撮像画面4のX軸座標(xl,xr)である
から、上記した数式3におけるX及びZはそれぞれ数式
7によって表される。ここでWは車両の幅、fはカメラ
の焦点距離である。
【0024】
【数7】
【0025】従って、時刻tにおける観測データである
上記したX軸座標(xl,xr)から、数式3によって
表わされる観測ベクトルyt及び時刻tの1時刻前の時刻
t−1における状態ベクトルx^t/t-1に基づき、数式
6の演算により、時刻tにおける状態ベクトルのx^
t/tが算出されると共に、この時刻tにおける状態ベク
トルのx^t/tから次の時刻t+1における状態ベクト
ルの予測値x^t+1/tが算出され、この算出された時刻
t+1における状態ベクトルの予測値x^t+1/tがカル
マンフィルタからなる最小分散推定手段10から対応検
索手段6に出力される。
【0026】そして、このような最小分散推定手段10
の出力である時刻t+1における状態ベクトルの予測値
x^t+1/tから、時刻t+1における先行車両画像の輪
郭の左,右端それぞれのX軸座標の予測値xl^
i(t+1)/t,xr^i(t+1)/tが得られ、このX軸座標の予
測値それぞれに対する候補点xli(t+1)(k),xr
i(t+1)(k)のエッジヒストグラムにおけるピーク値をそ
れぞれPli(t+1)(k),Pri(t+1)(k)とすると、このよ
うにX軸座標の予測値が得られることによって候補点が
絞り込まれ、その結果絞り込まれた候補点について数式
1で表されていた移動量Ui(k)は数式8のように書き換
えられ、これらの候補点xli(t+1)(k),xri(t+1)(k)
のうち、数式8の演算によって得れられる各々の移動量
Ul’i(k),Ur’i(k)が数式9のように予め定められ
たしきい値Uthより小さくかつ最小となるものが、時刻
t+1における車両画像の輪郭の左,右端に対応する対
応点として検索される。
【0027】
【数8】
【0028】
【数9】
【0029】つぎに、一連の動作について図1のフロー
チャートを参照しつつ説明する。
【0030】いま、図1に示すように、撮像手段1によ
り先行車両が撮像されると(ステップS1)、得られた
車両画像の全画素について微分処理手段2により微分処
理されたのち(ステップS2)、注視領域設定手段3に
より、水平注視領域H(図4参照)が設定されると共に
垂直注視領域V(図5参照)が設定される(ステップS
2)。
【0031】さらに、濃度投影手段5により、水平注視
領域Hにおける水平方向への画素行毎の濃度微分値の合
計が算出されると共に、垂直注視領域Vにおける垂直方
向への画素列毎濃度の微分値の合計が算出され、車両画
像のエッジヒストグラムが導出され(ステップS3)、
カルマンフィルタからなる最小分散推定手段10によ
り、導出されたエッジヒストグラムでピークとなる複数
の候補点の中から、上記したようにして車両画像の輪郭
に対応する候補点の絞り込みが行われ(ステップS
4)、対応検索手段6により、絞り込まれた候補点の中
から車両画像の輪郭に対応する対応点の検索が行われる
(ステップS5)。
【0032】そして、検索された対応点のデータと実際
に観測されたデータとの比較によって、先行車両を見失
うことなくトラッキングできているか否かの判定がなさ
れ(ステップS6)、この判定結果がYESであれば上
記したステップS1に戻って再びステップS1以降の処
理が繰り返し行われ、判定結果がNOであればトラッキ
ングエラーが発生したとして、ステップS5で得られた
対応点のデータをキャンセルする等の所定のエラー処理
が行われ(ステップS7)、その後ステップS1に戻
る。
【0033】従って、カルマンフィルタからなる最小分
散推定手段10により先行車両の座標及び移動量を予測
し、その予測結果に基づき車両画像の輪郭の複数の候補
点の中から、車両画像の輪郭に対応する有力な候補点の
絞り込みを行うことにより、先行車両のある程度予測し
た上で対応検索を行うことができるため、従来のように
1時刻前の座標とエッジヒストグラムのピーク値とから
のみ演算した結果に基づいて対応検索を行う場合に比
べ、先行車両に比較的大きな相対運動,特に水平運動が
生じても、先行車両を見失うというトラッキングエラー
を起こすことがなく、トラッキング精度の向上を図るこ
とができる。
【0034】なお、上記実施例では、軌道予測手段をカ
ルマンフィルタからなる最小分散推定手段10により構
成した場合について説明したが、特にカルマンフィルタ
に限定されるものではなく、いわゆるARフィルタによ
り構成してもよいのは勿論である。
【0035】
【発明の効果】以上のように、この発明によれば、複数
の候補点の中から車両画像の輪郭に対応する点を検索す
る対応検索において、軌道予測手段により先行車両の軌
道を予測し、その結果から各候補点のうち車両画像の輪
郭に対応する有力な候補点の絞り込みを行うことによ
り、先行車両の運動をある程度予測した上で対応検索を
行うことができるため、先行車両に比較的大きな相対運
動,特に水平運動が生じても、先行車両を見失うという
トラッキングエラーを起こすことがなく、トラッキング
精度の向上を図ることができ、追突防止システムに好適
であり、システムの信頼性の向上を図ることが可能とな
る。
【図面の簡単な説明】
【図1】この発明の一実施例の動作説明用のフローチャ
ートである。
【図2】一実施例に適用されるシステムのブロック図で
ある。
【図3】従来例のブロック図である。
【図4】従来例の動作説明図である。
【図5】従来例の動作説明図である。
【符号の説明】
1 撮像手段 2 微分処理手段 3 注視領域設定手段 5 濃度投影手段 6 対応検索手段 10 最小分散推定手段
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) B60R 21/00 H04N 7/18 G01C 3/06 G06T 1/00 G06T 9/20

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 自動車に搭載された撮像手段により同一
    車線前方の先行車両を撮像して得られた車両画像を処理
    装置により微分処理し、前記撮像手段の撮像画面の垂直
    方向に所定の水平幅の水平注視領域を設定すると共に水
    平方向に所定の垂直幅の垂直注視領域を設定し、前記水
    平注視領域における水平方向への画素行毎の濃度微分値
    の合計を算出すると共に前記垂直注視領域における垂直
    方向への画素列毎濃度の微分値の合計を算出して前記車
    両画像のエッジヒストグラムを導出し、このエッジヒス
    トグラムで濃度微分値がピークとなる複数の点を前記車
    両画像の輪郭の候補点とし、これら各候補点のある時刻
    での前記撮像画面上の座標と一連の処理に要する所定時
    間後における前記撮像画面上の座標とから前記候補点毎
    の移動量をそれぞれ算出し、前記各候補点のうち、算出
    した前記移動量が所定のしきい値よりも小さくかつ最小
    になる候補点を前記車両画像の輪郭に対応する対応点と
    して検索し、先行車両の認識を行う先行車両認識方法に
    おいて、 軌道予測手段により前記先行車両の軌道を予測し、予測
    結果に基づき前記各候補点の中から前記車両画像の輪郭
    に対応する有力な候補点の絞り込みを行い、前記絞り込
    んだ候補点の中から前記対応点の検索を行うことを特徴
    とする先行車両認識方法。
JP00374595A 1995-01-13 1995-01-13 先行車両認識方法 Expired - Fee Related JP3349002B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP00374595A JP3349002B2 (ja) 1995-01-13 1995-01-13 先行車両認識方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP00374595A JP3349002B2 (ja) 1995-01-13 1995-01-13 先行車両認識方法

Publications (2)

Publication Number Publication Date
JPH08188104A JPH08188104A (ja) 1996-07-23
JP3349002B2 true JP3349002B2 (ja) 2002-11-20

Family

ID=11565745

Family Applications (1)

Application Number Title Priority Date Filing Date
JP00374595A Expired - Fee Related JP3349002B2 (ja) 1995-01-13 1995-01-13 先行車両認識方法

Country Status (1)

Country Link
JP (1) JP3349002B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001134772A (ja) 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
JP4973008B2 (ja) * 2006-05-26 2012-07-11 富士通株式会社 車両判別装置及びそのプログラム
JP5082955B2 (ja) * 2008-03-14 2012-11-28 オムロン株式会社 車両検出装置および方法、並びに、プログラム

Also Published As

Publication number Publication date
JPH08188104A (ja) 1996-07-23

Similar Documents

Publication Publication Date Title
CN111693972B (zh) 一种基于双目序列图像的车辆位置与速度估计方法
Van Leuven et al. Real-time vehicle tracking in image sequences
US8406472B2 (en) Method and system for processing image data
EP2757527B1 (en) System and method for distorted camera image correction
JP4246766B2 (ja) 車両から対象物を位置測定して追跡する方法および装置
JP4157620B2 (ja) 移動物体検出装置及びその方法
EP3115966B1 (en) Object detection device, object detection method, and computer program
CN111937036A (zh) 用于处理传感器数据的方法、设备和具有指令的计算机可读存储介质
CN114419098A (zh) 基于视觉变换的运动目标轨迹预测方法及装置
WO2019224103A1 (en) Lane detection based on lane models
JP2005329779A (ja) 障害物認識方法及び障害物認識装置
JP5082955B2 (ja) 車両検出装置および方法、並びに、プログラム
CN114972427A (zh) 一种基于单目视觉的目标跟踪方法、终端设备及存储介质
JP5107154B2 (ja) 運動推定装置
CA2392578A1 (en) System and method for detecting obstacles to vehicle motion
JP3349002B2 (ja) 先行車両認識方法
JP2002104113A (ja) 後方監視装置
JP4575315B2 (ja) 物体検出装置及びその方法
JPH0725286A (ja) 先行車両認識方法
CN112513573B (zh) 立体摄像机装置
JPH10143799A (ja) 先行車追従装置
JP4151631B2 (ja) 物体検出装置
JP4407921B2 (ja) 障害物認識方法及び障害物認識装置
JP4075879B2 (ja) 車両用衝突警報装置及び車両用衝突警報方法
JP3543912B2 (ja) オプティカルフロー検出方法

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees