JP3378476B2 - 車両認識方法 - Google Patents

車両認識方法

Info

Publication number
JP3378476B2
JP3378476B2 JP22436597A JP22436597A JP3378476B2 JP 3378476 B2 JP3378476 B2 JP 3378476B2 JP 22436597 A JP22436597 A JP 22436597A JP 22436597 A JP22436597 A JP 22436597A JP 3378476 B2 JP3378476 B2 JP 3378476B2
Authority
JP
Japan
Prior art keywords
vehicle
image
rectangular
image pickup
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP22436597A
Other languages
English (en)
Other versions
JPH1153692A (ja
Inventor
憲一 山田
敏夫 伊東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daihatsu Motor Co Ltd
Original Assignee
Daihatsu Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daihatsu Motor Co Ltd filed Critical Daihatsu Motor Co Ltd
Priority to JP22436597A priority Critical patent/JP3378476B2/ja
Publication of JPH1153692A publication Critical patent/JPH1153692A/ja
Application granted granted Critical
Publication of JP3378476B2 publication Critical patent/JP3378476B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、自動車に搭載し
た撮像手段による前方の画像を処理して自車の前方を走
行する先行車両を認識する車両認識方法に関する。
【0002】
【従来の技術】自動車に搭載される車間距離警報システ
ムや追突警報システム等では、移動物体である先行車両
を認識する機能が必要であり、このような認識を行う従
来の手法として、白黒濃淡画像の濃度微分値から得られ
るエッジヒストグラムに基づいて先行車両を認識するこ
とが行われている。
【0003】即ち、撮像手段により自車の前方を撮像
し、図5に示すような前方画像が得られたときに、この
前方画像の全画素の濃度について微分処理し、撮像画面
の縦方向に所定横幅の縦方向注視領域Aを設定すると共
に、横方向に所定縦幅の横方向注視領域Bを設定し、縦
方向注視領域Aにおける横方向への画素毎の濃度微分値
の合計及び横方向注視領域Bにおける縦方向への画素毎
の濃度微分値の合計を算出してエッジヒストグラムを導
出する。
【0004】そして、このエッジヒストグラムで濃度微
分値がピークとなる縦方向及び横方向それぞれにおける
点を導出し、縦方向及び横方向それぞれに2個ずつの点
が明確に存在すれば、これらの点により形成される矩形
領域が自車の前方を走行する先行車両であると認識する
ことができる。
【0005】
【発明が解決しようとする課題】しかし、上記した車両
認識の場合、図5に示すように注視領域A、B内に複数
(2台)の車両や道路標識の画像を含む場合には、エッ
ジヒストグラムで濃度微分値がピークとなる縦方向及び
横方向それぞれにおける点が複数存在して車両候補とな
る矩形領域が複数選定されることになり、これらのうち
どれが自車と同一車線上を走行する車両に対応し、どれ
が異なる車線上を走行する車両に対応し、どれが道路標
識に対応するのか区別することが困難になり、自車と同
一車線上を走行する先行車両に対応する矩形領域を特定
することができず、先行車両の認識を的確に行うことが
できないという問題がある。
【0006】また、撮像手段による前方画像におけるあ
るフレームと次のフレームの変化から対象点の動きを表
わすオプティカルフローを導出し、このオプティカルフ
ローから自車の前方における移動物体を識別して先行車
両を認識することも考えられているが、導出した数多く
のオプティカルフローのうちどれが同一物体から発生し
ているのか判断するのが困難であり、しかも移動物体が
自車に対して相対速度ゼロで走行する場合にはオプティ
カルフローは発生しないため、移動物体の識別を行うこ
とができないという問題がある。
【0007】この発明が解決しようとする課題は、先行
車両を確実に認識できるようにすることにある。
【0008】
【課題を解決するための手段】 請求項1に記載の発明
は、撮像手段により自車の前方を撮像して得られた前方
画像を微分処理し、前記撮像手段の撮像画面の縦方向に
拡大焦点を含む所定横幅の縦方向注視領域を設定すると
共に横方向に拡大焦点を含む所定縦幅の横方向注視領域
を設定し、前記縦方向注視領域における横方向への画素
毎の濃度微分値の合計を算出すると共に前記横方向注視
領域における縦方向への画素毎の濃度微分値の合計を算
出してエッジヒストグラムを導出し、このエッジヒスト
グラムで濃度微分値がピークとなる複数個の点を導出
し、これらの点のうち縦方向及び横方向のそれぞれ2個
ずつの点により車両候補となる矩形領域を複数選定し、
これらの矩形領域のうち自車の前方を走行する先行車両
に対応する矩形領域を特定して先行車両の認識を行う車
両認識方法において、前記前方画像について前記エッジ
ヒストグラムを導出して車両候補となる前記各矩形領域
を選定すると共に、前記前方画像のフレーム画像からオ
プティカルフローを導出し、選定した前記各矩形領域内
それぞれにおける前記オプティカルフローが均一である
かという整合性の有無を判断し、整合性があればその矩
形領域が先行車両に対応すると判断することを特徴とし
ている。
【0009】このような構成によれば、車両候補として
複数の矩形領域が選定され、選定された各矩形領域につ
いてオプティカルフローが均一であるかどうかという整
合性の有無が判断され、整合性があればその矩形領域は
先行車両に対応し、整合性がなければその矩形領域は先
行車両ではない。
【0010】従って、選定された各矩形領域内のオプテ
ィカルフローが整合性を有するか否かにより先行車両に
対応する矩形領域かどうかを容易に識別でき、先行車両
の認識を確実に行うことができる。
【0011】このとき、請求項2に記載のように、前記
撮像手段をカラー撮像手段により構成し、前記オプティ
カルフローの導出に各画素の明るさの時間的微分値と空
間的微分値との関係を用いた勾配法を適用し、赤
(R)、緑(G)、青(B)の各画像それぞれについて
拘束条件を設定すると、拘束条件が多くなることでオプ
ティカルフローの導出精度が上がる。
【0012】さらに、請求項3に記載のように、マンセ
ル表色系による色相(H)、明度(V)、彩度(C)の
各色画像それぞれについても拘束条件を設定すること
も、精度向上を図る上で効果的である。
【0013】
【発明の実施の形態】この発明の一実施形態について図
1ないし図4を参照して説明する。但し、図1はシステ
ムのブロック図、図2、図3は動作説明図、図4は動作
説明用フローチャートである。
【0014】システムの構成を示す図1について説明す
ると、同図において、1は自動車に搭載され自車の前方
を撮像する2次元カラーCCDカメラ等から成るカラー
撮像手段(以下、カラーカメラと称する)、2はカラー
カメラ1により撮像された前方画像をA/D変換するA
/D変換部、3はA/D変換されたフレーム画像を記憶
するフレームメモリ、4は画像処理部であり、カラーカ
メラ1により撮像された前方画像を次のように処理する
機能を有する。
【0015】画像処理部4は、カラーカメラ1による前
方画像の全画素の濃度について微分処理し、撮像画面の
縦方向に拡大焦点を含む所定横幅の縦方向注視領域A
(図5参照)を設定すると共に、横方向に拡大焦点を含
む所定縦幅の横方向注視領域B(図5参照)を設定し、
縦方向注視領域Aにおける横方向への画素毎の濃度微分
値の合計及び横方向注視領域Bにおける縦方向への画素
毎の濃度微分値の合計を算出してエッジヒストグラムを
導出すると共に、このエッジヒストグラムで濃度微分値
がピークとなる縦方向及び横方向それぞれにおける点を
導出し、縦方向及び横方向それぞれに2個ずつの点が明
確に存在すれば、これらの点による矩形領域を形成し、
このようにして車両候補として複数の矩形領域を選定す
る機能を有する。
【0016】このとき、例えば図5に示す場合と同様に
2台の車両の画像が撮像されると、図2に示すように少
なくとも2個の矩形領域K1、K2が選定される。
【0017】さらに、画像処理部4は、カラーカメラ1
による前方画像におけるあるフレームと次のフレームの
変化から対象点の動きを表わすオプティカルフローを導
出し、その際に各画素の明るさの時間的微分値と空間的
微分値との関係を用いた勾配法を適用し、R(赤)、G
(緑)、B(青)の各画像それぞれについて、数式1で
表わされる拘束条件を設定すると共に、マンセル表色系
によるH(色相)、V(明度)、C(彩度)の各色画像
それぞれについても、数式2で表わされる拘束条件を設
定し、これらの拘束条件のもとで、最小自乗法等により
X軸方向、Y軸方向への動き成分を算出してオプティカ
ルフローを導出し、先に選定した各矩形領域内における
オプティカルフローが均一であるかどうかという整合性
の有無を判断し、整合性があればその矩形領域が先行車
両に対応すると判断する機能を有する。尚、数式1、数
式2においてu、vは画像上でのX軸方向、Y軸方向へ
の動き成分、Rx、Gx、Bx、Hx、Vx、Cxはそ
れぞれR、G、B、H、V、C画像における明るさのX
軸方向の微分値、Ry、Gy、By、Hy、Vy、Cy
はそれぞれR、G、B、H、V、C画像における明るさ
のY軸方向の微分値、Rt、Gt、Bt、Ht、Vt、
CtはそれぞれR、G、B、H、V、C画像における明
るさの時間方向の微分値である。
【0018】
【数1】
【0019】
【数2】
【0020】つぎに、この発明の原理について説明する
と、図2に示すように前方画像として図5の場合と同様
に2台の車両の画像が得られ、そのうち1台の車両の画
像が他方の車両方向に(図5中の矢印方向)に移動する
ときに、上記したようにエッジヒストグラムから車両候
補として2個の矩形領域K1、K2が選定されるべきで
あるが、実際には車両以外の道路構造物等に対応する矩
形領域も候補として選定される。
【0021】例えば、図3(a)に示すように、図2の
矩形領域K1、K2の両方と更に矩形領域K2よりも小
さい矩形領域K3、K4とを含む大きな矩形領域Kも候
補として選定されたとすると、どの矩形領域が車両に対
応するのかわからないため、各矩形領域についてオプテ
ィカルフローの整合性が判断される。
【0022】まず、一番大きな矩形領域K内のオプティ
カルフローが図3(a)に示すようになったとすると、
そのオプティカルフローは均一ではないため矩形領域K
は車両に対応しないと判断でき、次に大きな矩形領域K
1内のオプティカルフローについて同様に整合性が判断
され、矩形領域K1内のオプティカルフローが図3
(b)に示すようになったとすると、そのオプティカル
フローは均一であるため矩形領域Kは車両に対応する。
【0023】さらに、図3(c)に示すような矩形領域
K2、K3、K4を含む矩形領域K5内のオプティカル
フローについて同様に整合性が判断され、矩形領域K2
内のオプティカルフローはその画像の移動方向に対して
均一なものとなるため、矩形領域K2は車両に対応し、
これに対して矩形領域K3、K4は車両に対応せず、こ
のようにして図3(d)に示すようにその内部のオプテ
ィカルフローが均一になる矩形領域K1、K2が車両に
対応すると判断されるのである。
【0024】つぎに、動作について図4のフローチャー
トを参照して説明すると、図4に示すように、まずカラ
ーカメラ1により前方画像が撮像され(ステップS
1)、A/D変換部2によりA/D変換されてフレーム
メモリ3にフレーム画像データが記憶され、記憶された
フレーム画像データが画像処理部4に取り込まれてその
全画素の濃度について微分処理がなされ(ステップS
2)、上記したようにエッジヒストグラムが導出され
(ステップS3)、エッジヒストグラムから、上記した
ように縦方向及び横方向のそれぞれ2個ずつの点により
形成される矩形領域が複数選定され(ステップS4)、
更に上記したようにフレーム画像と次のフレーム画像と
からオプティカルフローが導出される(ステップS
5)。
【0025】そして、ステップS4で選定された各矩形
領域についてその内部のオプティカルフローが均一で整
合性が有るか否かの判定がなされ(ステップS6)、こ
の判定結果がYESであれば、その矩形領域は先行車両
であると判断され(ステップS7)、判定結果がNOで
あればその矩形領域は車両としての候補から棄却され
(ステップS8)、その後ステップS7の処理を経た後
と共にステップS9に移行し、全矩形領域についての探
索が終了したか否かの判定がなされ(ステップS9)、
この判定結果がNOであれば全ての矩形領域について探
索が終了していないため上記したステップS5の処理に
戻り、判定結果がYESであれば動作は終了する。
【0026】従って、上記した実施形態によれば、エッ
ジヒストグラムから車両候補として複数の矩形領域が選
定され、選定された各矩形領域についてオプティカルフ
ローの整合性の有無が判断され、整合性があればその矩
形領域は先行車両に対応すると判断されるため、選定さ
れた各矩形領域内のオプティカルフローが整合性を有す
るか否かにより先行車両に対応する矩形領域かどうかを
容易に識別することができ、先行車両の認識を確実に行
うことが可能になる。
【0027】また、オプティカルフローの導出の際に、
R、G、B、H、V、Cの各画像それぞれについて拘束
条件を設定したため、オプティカルフローの導出精度を
向上することができる。
【0028】なお、上記実施形態では、オプティカルフ
ローの導出の際にR、G、B、H、V、Cの各画像それ
ぞれについて拘束条件を設定した場合について説明した
が、少なくともR、G、Bの各画像について拘束条件を
設定すればよい。
【0029】さらに、この発明は上記した実施形態に限
定されるものではなく、その趣旨を逸脱しない限りにお
いて上述したもの以外に種々の変更を行うことが可能で
ある。
【0030】
【発明の効果】以上のように、請求項1に記載の発明に
よれば、選定された各矩形領域内のオプティカルフロー
が整合性を有するか否かにより先行車両に対応する矩形
領域かどうかを容易に識別でき、先行車両の認識を確実
に行うことが可能になり、車間距離警報システムや追突
警報システム等に好適である。
【0031】また、請求項2または3に記載のように、
オプティカルフローの導出の際に複数の拘束条件を設定
することにより、オプティカルフローの導出精度の向上
を図ることができる。
【図面の簡単な説明】
【図1】この発明の一実施形態のブロック図である。
【図2】同上の動作説明図である。
【図3】同上の動作説明図である。
【図4】同上の動作説明用フローチャートである。
【図5】従来例の動作説明図である。
【符号の説明】
1 カラーカメラ(カラー撮像手段) 4 画像処理部 K、K1〜K5 矩形領域
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平8−329397(JP,A) 特開 平7−296297(JP,A) 特開 平6−14232(JP,A) 特開 平9−185703(JP,A) (58)調査した分野(Int.Cl.7,DB名) G08G 1/16 G01B 11/00 G06T 1/00

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 撮像手段により自車の前方を撮像して得
    られた前方画像を微分処理し、前記撮像手段の撮像画面
    の縦方向に拡大焦点を含む所定横幅の縦方向注視領域を
    設定すると共に横方向に拡大焦点を含む所定縦幅の横方
    向注視領域を設定し、前記縦方向注視領域における横方
    向への画素毎の濃度微分値の合計を算出すると共に前記
    横方向注視領域における縦方向への画素毎の濃度微分値
    の合計を算出してエッジヒストグラムを導出し、このエ
    ッジヒストグラムで濃度微分値がピークとなる複数個の
    点を導出し、これらの点のうち縦方向及び横方向のそれ
    ぞれ2個ずつの点により車両候補となる矩形領域を複数
    選定し、これらの矩形領域のうち自車の前方を走行する
    先行車両に対応する矩形領域を特定して先行車両の認識
    を行う車両認識方法において、 前記前方画像について前記エッジヒストグラムを導出し
    て車両候補となる前記各矩形領域を選定すると共に、前
    記前方画像のフレーム画像からオプティカルフローを導
    出し、選定した前記各矩形領域内それぞれにおける前記
    オプティカルフローが均一であるかという整合性の有無
    を判断し、整合性があればその矩形領域が先行車両に対
    応すると判断することを特徴とする車両認識方法。
  2. 【請求項2】 前記撮像手段をカラー撮像手段により構
    成し、前記オプティカルフローの導出に各画素の明るさ
    の時間的微分値と空間的微分値との関係を用いた勾配法
    を適用し、赤(R)、緑(G)、青(B)の各画像それ
    ぞれについて拘束条件を設定することを特徴とする請求
    項1に記載の車両認識方法。
  3. 【請求項3】 マンセル表色系による色相(H)、明度
    (V)、彩度(C)の各色画像それぞれについても拘束
    条件を設定することを特徴とする請求項2に記載の車両
    認識方法。
JP22436597A 1997-08-06 1997-08-06 車両認識方法 Expired - Fee Related JP3378476B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22436597A JP3378476B2 (ja) 1997-08-06 1997-08-06 車両認識方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22436597A JP3378476B2 (ja) 1997-08-06 1997-08-06 車両認識方法

Publications (2)

Publication Number Publication Date
JPH1153692A JPH1153692A (ja) 1999-02-26
JP3378476B2 true JP3378476B2 (ja) 2003-02-17

Family

ID=16812623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22436597A Expired - Fee Related JP3378476B2 (ja) 1997-08-06 1997-08-06 車両認識方法

Country Status (1)

Country Link
JP (1) JP3378476B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100867937B1 (ko) 2007-05-29 2008-11-10 연세대학교 산학협력단 적분 히스토그램을 이용한 자동차 탐지 방법 및 시스템
CN108242183B (zh) * 2018-02-06 2019-12-10 淮阴工学院 基于运动目标标记框宽度特性的交通冲突检测方法及装置

Also Published As

Publication number Publication date
JPH1153692A (ja) 1999-02-26

Similar Documents

Publication Publication Date Title
CN109034047B (zh) 一种车道线检测方法及装置
JP4930046B2 (ja) 路面判別方法および路面判別装置
US8406472B2 (en) Method and system for processing image data
JP4157620B2 (ja) 移動物体検出装置及びその方法
JP4416039B2 (ja) 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
JP3328711B2 (ja) 車輌高さ計測装置およびこの装置を用いた車輌監視システム
JP5188429B2 (ja) 環境認識装置
JP4344860B2 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
CN107220632B (zh) 一种基于法向特征的路面图像分割方法
JP2016206801A (ja) 物体検出装置、移動体機器制御システム及び物体検出用プログラム
JP2023184572A (ja) 電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体
JP5073700B2 (ja) 物体検出装置
CN106340031A (zh) 一种检测运动物体的方法和装置
JP3378476B2 (ja) 車両認識方法
JPH11278182A (ja) 車両用霧状況検出装置
JPH0725286A (ja) 先行車両認識方法
CN113674361B (zh) 一种车载环视校准实现方法及系统
JP4106163B2 (ja) 障害物検出装置及びその方法
WO2017017140A1 (en) Method for capturing an object on a road in the environment of a motor vehicle, camera system and motor vehicle using the same
CN110765877B (zh) 基于热像仪和双目相机的行人检测方法及系统
JP3104645B2 (ja) 道路白線検出方法及び道路白線検出装置
JP3380436B2 (ja) 車両等の認識方法
JPH06348991A (ja) 移動車の走行環境認識装置
JPH0520593A (ja) 走行レーン認識装置と先行車認識装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20021126

LAPS Cancellation because of no payment of annual fees