JPH06266825A - 画像追尾装置 - Google Patents

画像追尾装置

Info

Publication number
JPH06266825A
JPH06266825A JP5052745A JP5274593A JPH06266825A JP H06266825 A JPH06266825 A JP H06266825A JP 5052745 A JP5052745 A JP 5052745A JP 5274593 A JP5274593 A JP 5274593A JP H06266825 A JPH06266825 A JP H06266825A
Authority
JP
Japan
Prior art keywords
window
image
tracking
image signal
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5052745A
Other languages
English (en)
Other versions
JP3022033B2 (ja
Inventor
Hiroko Maekawa
ひろ子 前川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP5052745A priority Critical patent/JP3022033B2/ja
Publication of JPH06266825A publication Critical patent/JPH06266825A/ja
Application granted granted Critical
Publication of JP3022033B2 publication Critical patent/JP3022033B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Navigation (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

(57)【要約】 【目的】 追尾ウィンド内を分割してその距離データか
ら先行車両とそれ以外のノイズを区別出来る為、道路上
の白線や汚れ、影等の影響が少なく、追尾精度及び信頼
性の高い自動車用画像追尾装置が得ることを目的とす
る。 【構成】 撮像するイメージセンサ1,2と、イメージ
センサ1,2より出力された画像信号をそれぞれ記憶す
るメモリ5,6と、メモリ5に記憶された画像信号より
追尾対象物を認識する認識手段、認識された追尾対象の
画像信号にウィンドを複数個に分割して設定するウィン
ド設定手段、各ウィンドが設定された画像信号と同一の
画像信号をメモリ6より検索して前記各ウィンド毎に、
画像信号で示される物体までの距離を演算する距離演算
手段、各ウィンド毎に演算した距離の差異より撮像物が
追尾対象物であるか判定する判定手段を有するCPU1
1を備えている。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、撮像された追尾対
象、例えば先行車両の画像を用いて先行車両を追尾する
画像追尾装置に関するものである。
【0002】
【従来の技術】図5は、例えば特公昭61ー57756
号公報に示された従来の自動車用の画像追尾装置の構成
を示すブロック図である。図において、1はイメージセ
ンサであり、このイメージセンサ1は図示しないレンズ
によって先行車両10を図示しない固体撮像素子である
例えばCCD素子群に結像し、アナログ信号でなる先行
車両10の画像信号を出力する。3はイメージセンサ1
より出力された画像信号をデジタル変換するA/D変換
器、5,7はデジタル変換された画像信号をCCD素子
群(ピクセル)の位置に応じたアドレスに記憶するメモ
リ、9はCPUであり、このCPU9はメモリ5,7に
記憶された画像信号を読み出して両画像信号の相関をと
る画像処理を行って先行車両10の追尾演算等を行う。
【0003】次に、従来の画像追尾装置の動作について
説明する。イメージセンサ1によって撮像された先行車
両10の画像信号(以下、単に車両画像信号と記載す
る)A/D変換器3によってデジタル変換された後に
メモリ5に記憶される。だが、次の撮像タイミングでは
メモリ5に記憶された画像信号はメモリ7に移され、各
メモリ5,7の内容が更新される。そして、現撮像タイ
ミングにおける画像信号がメモリ5に記憶される。
【0004】このように、各撮像タイミング毎にメモリ
5,7に記憶された画像信号を用いて先行車両10を追
尾するための画像処理としては次ぎのような方法があ
る。先ず、CPU9は例えばメモリ5に記憶された画像
信号を処理して先行車両10を認識する。そして、認識
された先行車両10の画像信号を記憶したメモリ5のア
ドレスより先行車両10を設定する追尾ウィンドの位置
を演算する。そして、図2(a)に示すように、追尾ウ
ィンド21を設定する。更に、次の撮像タイミングでは
ウィンド位置が設定された画像信号はメモリ7に移さ
れ、メモリ5には新たな画像信号が記憶される。
【0005】すると、CPU9はウィンドを設定した画
像信号と同一の画像信号をメモリ5より検索するため
に、両メモリ5,7に記憶した画像信号の相関をとる処
理を行う。この場合の処理の方法として図2(b)に示
すように、既に設定した追尾ウィンド21の位置を基準
にして先行車両10の画像を検索する範囲を決め、この
検索範囲22をメモリ5に記憶した画像信号に設定す
る。
【0006】このように、検索範囲22が設定されたな
らば、公知のパターンマッチングのアルゴリズムにより
検索範囲22の中から追尾ウィンド21内の画像信号と
一致する画像信号を選び出す。一致する画像信号が選び
出されたならばその画像信号に新たな追尾ウィンド23
を設定し、メモリ7に記憶する。以上の動作を高速に繰
り返すことで、最初に追尾ウィンド21を設定した先行
車両10を自車両は追尾することができる。
【0007】尚、CPU9が画像信号を処理して先行車
両10を認識する方法として、車両の形状の左右対称性
を利用して、左右対称性のある物体の画像信号を選び出
し、その画像信号に追尾ウィンドを設定するのが公知で
ある。
【0008】
【発明が解決しようとする課題】従来の画像追尾装置は
以上のように、道路面の画像信号に対して輝度が高い車
両画像信号を検索範囲より検索し、検索した画像に新た
な追尾ウィンドを設定していた。しかしながら、道路面
と同色のグレー系の先行車両を追尾している道路面に、
先行車両と比較して輝度が高いセンターラインが描かれ
ているとイメージセンサはセンターラインを撮像しがち
になる。そして、このような状態で画像信号のパターン
マッチングの処理を行い、追尾ウィンドを設定する対象
を更新して行くと追尾ウィンドの設定対象が先行車両よ
りセンタラインにずれる傾向となって追尾精度及び信頼
性が低下するという問題点があった。
【0009】この発明は上記のような問題点を解決する
ためになされたもので、追尾ウィンド内の追尾対象が車
両であるか否かを判定することができる画像追尾装置を
得ることを目的とする。
【0010】
【課題を解決するための手段】請求項1の発明に係る画
像追尾装置は、車両に搭載されて車外を撮像する一対の
撮像手段と、これら撮像手段より出力された画像信号を
それぞれ記憶する第1の記憶手段及び第2の記憶手段
と、前記第1の記憶手段に記憶された画像信号より追尾
対象物を認識する認識手段と、認識された追尾対象の画
像信号にウィンドを複数個に分割して設定するウィンド
設定手段と、各ウィンドが設定された画像信号と同一の
画像信号を前記第2の記憶手段より検索して前記各ウィ
ンド毎に、画像信号で示される物体までの距離を演算す
る距離演算手段と、各ウィンド毎に演算した距離の差異
より撮像物が追尾対象物であるか否かを判定する判定手
段とを備えたものである。
【0011】
【作用】この発明における画像追尾装置は、同一の追尾
対象物に対してウィンドを複数分割して設定し、各ウィ
ンド毎に追尾対象物までの距離を演算した時に、各距離
がほぼ同一距離であると判定されたならば追尾対象は自
車両と所定車間距離を保って走行している先行車両であ
ると判定し、また各距離がそれぞれ単調に減少して行く
場合は、追尾対象物は自車両がその距離を縮めながら接
近して行くセンターライン等、路上表示物であると認識
し、追尾エラーを判定して追尾動作を一時停止する。
【0012】
【実施例】
実施例1.以下、この発明の一実施例を図について説明
する。図1は本実施例における画像追尾装置の構成を示
すブロック図である。尚、図中、図5と同一符号は同一
又は相当部分を示す。図において、2は撮像手段を構成
するイメージセンサであり、このイメージセンサ2はレ
ンズ2aによって先行車両14を固体撮像素子である例
えばCCD素子群2bに結像し、アナログ信号でなる車
両画像信号を出力する。4はイメージセンサ2より出力
された画像信号をデジタル変換するA/D変換器、6,
8はデジタル変換された画像信号をCCD素子群の位置
に応じたアドレスに記憶するメモリである。
【0013】また、イメージセンサ1もイメージセンサ
2と同様にレンズ1aとCCO素子群1bより構成され
ている。尚、レンズ1aと2aは基線長Lだけ離隔して
左右対象に配置されている。そして、イメージセンサ1
b,2bは対応するレンズ1a,2aの焦点距離f後方
に配置されている。9Aは本実施例におけるCPUであ
り、このCPU9Aは認識手段、ウィンド設定手段、距
離演算手段、及び判定手段を構成する。更に、メモリ
5,7は第1の記憶手段を、そしてメモリ6,8は第2
の記憶手段を構成する。
【0014】次に、図1に示したこの発明の一実施例の
動作について説明する。尚、先行車両10の追尾演算処
理に関しては従来技術で述べた処理と同様である。ここ
では、先ず、本装置を使用した距離演算とその演算処理
のアルゴリズムについて説明する。図2(a)に示すよ
うに例えばメモリ5に記憶された画像20の先行車両1
0に追尾ウィンド21を設定したならば、追尾ウィンド
21内の画像と一致する画像を検索する範囲(検索範囲
22)例えばメモリ6に記憶された画像20(図2
(b))内に設定する。この検索範囲22は追尾ウィン
ド21の設定位置を基準にきめる。
【0015】以上のように検索範囲22が設定されたな
らば、CPU9Aはメモリ5,6を通して各CCD素子
(ピクセル)群1b,2bの各ピクセルをn(n=1.
2.3..)づつシフトしながら、追尾ウィンド21内
の車両画像信号を検索範囲22から検索する。そして車
両画像信号と最も一致した画像信号を検索範囲22より
検索した時のピクセルのシフト数nと共に、レンズ1
a,2a間の基線長L、レンズ1a,2aの焦点距離
f、イメージセンサ1,2を構成するCCD素子(ピク
セル)間のピッチ幅pを以下の(1)式に代入して三角
測量の原理で先行車両10までの距離Rを求める。
【0016】 R=(f*L)/(n*p) ・・・(1)
【0017】以下、本実施例の動作を図3のフローチャ
ートを参照して説明する。先ず、CPU9Aは上述した
処理方法で、例えばメモリ6に記憶されている画像信号
から先行車両10を認識する(ステップS30)。次
に、車両画像信号のメモリアドレスより追尾ウィンドを
設定する位置を演算する。この時、明確に先行車両を認
識できず追尾ウィンドの設定が不可能な場合は再度ステ
ップS30へ戻り先行車両の認識処理に戻る。尚、車両
画像信号に追尾ウィンド21Aを設定する場合は、図4
(a)〜(c)の下段に示すように追尾ウィンド21A
を横方向に4つに分割したサブウィンド21a〜21d
を設定する。
【0018】このように、各サブウィンド21a〜21
dが車両画像信号に設定されたならば、従来技術と同様
にメモリ5に記憶した画像信号に、各サブウィンド21
a〜21dの設定位置を基準にして各検索範囲(図2
(b)の検索範囲22に相当する)を設定する。そし
て、各検索範囲の中から対応するサブウィンド内に設定
した車両画像信号と一致した画像信号を上述したアルゴ
リズムで検索しながら、検索した画像信号までの距離を
測定する。各検索範囲より車両画像信号に一致する画像
信号が検索されと、検索された各画像信号にそれぞれサ
ブウィンド21a〜21dを設定して追尾ウィンドの更
新を行うと共に、メモリ6に記憶した車両画像信号を検
索された画像信号に更新する(ステップS32)。
【0019】そして、各サブウィンド21a〜21dを
設定された画像信号までの距離を読み出し、先行車両1
0を追尾しているかを判定する(ステップS33)。こ
の時、読み出した各距離の関係から先行車両10を追尾
していることが判明したならば再度ステップS32へ戻
り再び先行車両10の追尾動作に入る。しかし、追尾エ
ラーが判定されたならばステップS30へ戻り先行車両
10の認識動作に入り、再び追尾動作に入る。
【0020】次に、本実施例の特徴的な処理であるステ
ップS33の車両判定処理を詳細に説明する前に、車両
判定のアルゴリズムについて説明する。先ず、道路上の
白線等と追尾対象である先行車両10とでは、追尾ウィ
ンド21内の距離データの分布が異なることに注目して
車両判定を以下の手順でおこなう。まず、追尾ウィンド
21Aを横方向に複数分割して複数のサブウィンド21
a〜21dを追尾対象に設定する。次に各サブウィンド
21a〜21d内に捕捉された画像信号までの距離を求
め、追尾ウィンド21A内の距離分布を求める。この距
離分布から追尾ウィンドが車両画像信号をとらえている
か否かの判定をおこなう。
【0021】以下、車両判定処理を図4を参照して説明
する。図4における(a)〜(c)の上段の図は更新さ
れた追尾ウィンド21A内に捕捉された画像信号を映像
化した場合の画像であり、同図(a)では先行車両10
のみが捕捉され、同図(b)では先行車両10と共に白
線10aが捕捉され、更に、同図(c)では白線10a
のみが捕捉されている。同図(a)〜(c)の下段は、
追尾ウィンド21Aを横方向に4つに分割して作成した
サブウィンド21a〜21dを用いて三角測量方式で測
距した距離を各サブウィンド21a〜21d毎に書き込
んだものである。
【0022】その結果、同図(a)に示すように追尾ウ
ィンド21A内の中心に追尾対象である先行車両10が
ある場合、各サブウィンド21a〜21dの距離情報は
ほぼ同じ値を示す。また、同図(b)に示すように追尾
ウィンド21A内に白線10aの方が先行車両10より
も輝度情報として特徴がある場合には追尾ウィンド21
Aは徐々に白線10a方向にずれ始めるが、各サブウィ
ンド21a〜21dの距離情報は同図(a)と結果はほ
ぼ同様である。しかし、同図(c)に示すように追尾ウ
ィンド21A内に白線10aだけが捕捉された場合は、
各サブウィンド21a〜21dの距離情報はサブウィン
ド21aからサブウィンド21dへと下に下がるにつれ
て距離が単調減少するので、追尾ウィンド21A内に捕
捉した画像信号に車両画像信号が含まれていないことが
検知できる。
【0023】このように、このアルゴリズムは追尾ウィ
ンド21A内の距離分布を求めることによりウィンド内
に捕捉した画像信号を検出し、この画像信号が車両画像
信号かどうかを判定するので追尾ウィンド21Aの信頼
性が向上する。尚、このアルゴリズムは各サブウィンド
21a〜21dの分割の仕方や数等を厳密に規定するも
のでなく、同図(d)に示すように追尾ウィンド21A
を左右2つに分割し、さらに分割したウィンドを横方向
に3つに分割して6つサブウィンド21a〜21fを作
成してもよい。また、同図(e)に示すよう追尾ウィン
ド21A内にサブウィンド21a〜21cを分散させて
も良く、要は用途や要求仕様に応じて適宜選択すれば良
い。
【0024】又、本実施例では2眼カメラによる測距を
実施しているが、車両判定処理部において、測距部分は
スキャン型レーザレーダ等のセンサからの情報をうける
構成とし、従来例で説明した1眼カメラの画像追尾装置
と組み合わせたシステムとしても全く同様の効果が得ら
れる。
【0025】
【発明の効果】この発明によれば、車両に搭載されて車
外を撮像する一対の撮像手段と、これら撮像手段より出
力された画像信号をそれぞれ記憶する第1の記憶手段及
び第2の記憶手段と、前記第1の記憶手段に記憶された
画像信号より追尾対象物を認識する認識手段と、認識さ
れた追尾対象の画像信号にウィンドを複数個に分割して
設定するウィンド設定手段と、各ウィンドが設定された
画像信号と同一の画像信号を前記第2の記憶手段より検
索して前記各ウィンド毎に、画像信号で示される物体ま
での距離を演算する距離演算手段と、各ウィンド毎に演
算した距離の差異より撮像物が追尾対象物であるか否か
を判定する判定手段とを備えたので、分割したウィンド
内の距離情報を基にウィンド内に捕捉した撮像物が追尾
対象であるか否かの判定を行うことができるので、追尾
性能が向上すると共に、追尾の信頼性が向上するという
効果がある。
【図面の簡単な説明】
【図1】この発明の一実施例による画像追尾装置の構成
を示すブロック図である。
【図2】追尾対象物である先行車両に追尾ウィンドを設
定した場合を説明する図である。
【図3】本実施例の動作を説明するフローチャートであ
る。
【図4】追尾ウィンドを分割したサブウィンドとその距
離分布を示した図である。
【図5】従来の画像追尾装置の構成を示すブロック図で
ある。
【符号の説明】
1,2 イメージセンサ 5〜8 メモリ 9A CPU 10 先行車両 21A 追尾ウィンド 21a〜21d サブウィンド

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 車両に搭載されて車外を撮像する一対の
    撮像手段と、これら撮像手段より出力された画像信号を
    それぞれ記憶する第1の記憶手段及び第2の記憶手段
    と、前記第1の記憶手段に記憶された画像信号より追尾
    対象物を認識する認識手段と、認識された追尾対象の画
    像信号にウィンドを複数個に分割して設定するウィンド
    設定手段と、各ウィンドが設定された画像信号と同一の
    画像信号を前記第2の記憶手段より検索して前記各ウィ
    ンド毎に、画像信号で示される物体までの距離を演算す
    る距離演算手段と、各ウィンド毎に演算した距離の差異
    より撮像物が追尾対象物であるか否かを判定する判定手
    段とを備えたことを特徴とする画像追尾装置。
JP5052745A 1993-03-12 1993-03-12 画像追尾装置 Expired - Fee Related JP3022033B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5052745A JP3022033B2 (ja) 1993-03-12 1993-03-12 画像追尾装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5052745A JP3022033B2 (ja) 1993-03-12 1993-03-12 画像追尾装置

Publications (2)

Publication Number Publication Date
JPH06266825A true JPH06266825A (ja) 1994-09-22
JP3022033B2 JP3022033B2 (ja) 2000-03-15

Family

ID=12923461

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5052745A Expired - Fee Related JP3022033B2 (ja) 1993-03-12 1993-03-12 画像追尾装置

Country Status (1)

Country Link
JP (1) JP3022033B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9609289B2 (en) 2004-04-15 2017-03-28 Magna Electronics Inc. Vision system for vehicle
US9643605B2 (en) 2002-05-03 2017-05-09 Magna Electronics Inc. Vision system for vehicle
US10787116B2 (en) 2006-08-11 2020-09-29 Magna Electronics Inc. Adaptive forward lighting system for vehicle comprising a control that adjusts the headlamp beam in response to processing of image data captured by a camera

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9643605B2 (en) 2002-05-03 2017-05-09 Magna Electronics Inc. Vision system for vehicle
US9834216B2 (en) 2002-05-03 2017-12-05 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US10118618B2 (en) 2002-05-03 2018-11-06 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US11203340B2 (en) 2002-05-03 2021-12-21 Magna Electronics Inc. Vehicular vision system using side-viewing camera
US9609289B2 (en) 2004-04-15 2017-03-28 Magna Electronics Inc. Vision system for vehicle
US9736435B2 (en) 2004-04-15 2017-08-15 Magna Electronics Inc. Vision system for vehicle
US9948904B2 (en) 2004-04-15 2018-04-17 Magna Electronics Inc. Vision system for vehicle
US10015452B1 (en) 2004-04-15 2018-07-03 Magna Electronics Inc. Vehicular control system
US10110860B1 (en) 2004-04-15 2018-10-23 Magna Electronics Inc. Vehicular control system
US10187615B1 (en) 2004-04-15 2019-01-22 Magna Electronics Inc. Vehicular control system
US10306190B1 (en) 2004-04-15 2019-05-28 Magna Electronics Inc. Vehicular control system
US10787116B2 (en) 2006-08-11 2020-09-29 Magna Electronics Inc. Adaptive forward lighting system for vehicle comprising a control that adjusts the headlamp beam in response to processing of image data captured by a camera

Also Published As

Publication number Publication date
JP3022033B2 (ja) 2000-03-15

Similar Documents

Publication Publication Date Title
JP3167752B2 (ja) 車輌用距離検出装置
US5650944A (en) Shutter speed control method and system
JP2005310140A (ja) オブジェクトの認識及び/又は追跡方法
JP2000339597A (ja) 物体検出装置
JP2004037239A (ja) 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置
KR19990072061A (ko) 차량 항법 시스템 및 상기 항법 시스템용 신호 처리 방법
JPH07167649A (ja) 距離測定装置
US5218414A (en) Distance measuring apparatus utilizing two-dimensional image
KR19980018429A (ko) 이미지를 사용한 거리 검출 방법
JP3562250B2 (ja) 先行車両検出装置
JP3807583B2 (ja) 道路領域判定装置
JP3570198B2 (ja) 画像処理方法およびその装置
JPH10267618A (ja) 距離計測装置
JP2020077293A (ja) 区画線検出装置及び区画線検出方法
JPH11278182A (ja) 車両用霧状況検出装置
JPH07244717A (ja) 車両用走行環境認識装置
JPH06266825A (ja) 画像追尾装置
JP3287166B2 (ja) 距離測定装置
JP3452075B2 (ja) 車輌用距離検出装置
JP3452076B2 (ja) 車輌用距離検出装置
JPH11223516A (ja) 3次元画像撮像装置
JPH1151644A (ja) 車両用距離測定装置
JP2000337870A (ja) 物体判定装置
JP3517999B2 (ja) 車両認識装置
JP3373331B2 (ja) 車間距離検出装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080114

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090114

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees