JP3334451B2 - 移動物体検出装置 - Google Patents

移動物体検出装置

Info

Publication number
JP3334451B2
JP3334451B2 JP26508595A JP26508595A JP3334451B2 JP 3334451 B2 JP3334451 B2 JP 3334451B2 JP 26508595 A JP26508595 A JP 26508595A JP 26508595 A JP26508595 A JP 26508595A JP 3334451 B2 JP3334451 B2 JP 3334451B2
Authority
JP
Japan
Prior art keywords
moving object
small area
object detection
vertical plane
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP26508595A
Other languages
English (en)
Other versions
JPH09114987A (ja
Inventor
敏彦 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP26508595A priority Critical patent/JP3334451B2/ja
Publication of JPH09114987A publication Critical patent/JPH09114987A/ja
Application granted granted Critical
Publication of JP3334451B2 publication Critical patent/JP3334451B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は移動物体検出装置、
特に画像から得られた移動ベクトル(オプティカルフロ
ー)を用いて移動物体を検出する装置に関する。
【0002】
【従来の技術】従来より、異なる時刻に得られた画像か
ら移動ベクトル(オプティカルフロー:以下単にOPF
と称する)から移動物体を抽出する手法が提案されてい
る。例えば、特開平5−233813号公報には、移動
するカメラで得られた動画像からOPFを算出し、その
OPFの信頼性を示す情報を用いてカメラの移動及び移
動物体を検出する方法が開示されている。
【0003】しかし、この方法では移動物体を抽出する
際に基準となるカメラの移動パラメータが高精度に検出
できることを前提としており、現実の環境下では必ずし
もこの前提が成立しない場合がある。
【0004】そこで、本願出願人は先に特願平7−11
8564号にて、近接する複数のOPF群からなる小領
域を形成し、OPF群の始点と成分が小領域間で所定の
関係を満たし類似すると判定された場合に、これら小領
域をグルーピングして移動物体の面を抽出する方法を提
案した。これによれば、カメラの移動状態によらず、画
像から得られたOPFから移動物体を簡易にかつ確実に
抽出することができる。
【0005】
【発明が解決しようとする課題】しかしながら、この方
法においては、移動物体の面をカメラ光軸に対して垂直
な平面と仮定しているため、移動物体の面抽出及びその
面が接近しているか離れているかを検出できるにとどま
り、抽出した面がカメラに対してどのような方向にある
のか、つまりカメラの光軸に対して移動物体の面がどの
程度傾いているかを知ることができない問題があった。
【0006】本発明は上記従来技術の有する課題に鑑み
なされたものであり、その目的は、移動物体を構成する
面のカメラなどの撮像手段に対する傾き角をも検出で
き、さらに移動物体の3次元形状も特定できる移動物体
検出装置を提供することにある。
【0007】
【課題を解決するための手段】上記目的を達成するため
に、第1の発明は、対象物を撮影する撮像手段と、得ら
れた画像の小領域毎に移動ベクトルを算出し、各移動ベ
クトルの類似性に基づいて前記小領域をグルーピングす
ることにより対象物を構成する面を検出する面検出手段
とを有する移動物体検出装置において、前記対象物を構
成する垂直平面を仮定し、前記垂直平面内に位置する小
領域の一領域に対して設定される前記撮像手段からの距
離に関する所定値Z1に基づき、前記小領域の他の領域
が有する前記撮像手段からの距離に関する推定値Zaを
算出する距離演算手段と、前記所定値Z1及び推定値Z
aに基づき、前記小領域の移動ベクトル及び前記小領域
が含まれる垂直平面の前記撮像手段に対する傾き角を算
出する演算手段とを備えることを特徴とする。
【0008】また、上記目的を達成するために、第2の
発明は、第1の発明において、さらに前記傾き角が算出
された複数の垂直平面から対象物の3次元形状を特定す
る形状特定手段を有することを特徴とする。
【0009】なお、本発明における傾き角算出の基本原
理は、以下の実施形態を参照することにより明らかとな
ろう。
【0010】
【発明の実施の形態】以下、図面に基づき本発明の実施
形態について説明する。
【0011】図1には本実施形態の構成ブロック図が示
されている。車両周囲環境を撮影する撮像手段としてカ
メラ10(焦点距離fとする)が設けられ、得られた画
像は電子制御装置ECU12に供給される。カメラ10
の設置位置は車両のフロント側部あるいはドアミラーな
どが考えられる。ECU12は、A/D変換器12a、
VRAM12b、12c、デジタル信号処理回路DSP
12d、CPU12e、RAM12f、ROM12g、
及びI/O12hを含んで構成される。A/D変換器1
2aはカメラ10からのアナログ画像信号を順次デジタ
ル信号に変換し、VRAM12bまたは12cに出力し
て格納する。VRAM12b、12cには、それぞれ異
なる時刻で撮影された画像信号が格納され、デジタル信
号処理回路DSP12dにて差分演算によりOPFが算
出されてRAM12fに格納される。そして、距離演算
手段及び角度演算手段としてのCPU12eが、算出さ
れたOPFを用いて後述する所定の演算処理を行い、移
動物体を構成する面のカメラ10に対する傾き角を算出
する。さらに、CPU12eは、形状特定手段として移
動物体の3次元形状を認識し、移動物体が車両か否かを
判定する。判定結果はI/O12hを介して警報装置1
4に出力される。
【0012】図2には本実施形態における処理フローチ
ャートが示されている。まず、VRAM12b及び12
cに格納された異なる時刻の画像(これを第1画像と第
2画像とする)からOPFを算出する(S101)。こ
の算出は、特願平7−118564号と同様に、第1画
像において予め設定されたウインドウが第2画像におい
てどの位置に移動したかを相関法(ブロックマッチン
グ)により最も相関の高い位置で判断することにより算
出する。なお、輝度コントラスト変化の小さいウインド
ウにおいては相関がうまくとれない場合があるが、その
ような信頼性の低いOPFは相関値の変化度合いなどの
しきい値パラメータで除去するのが好適である。
【0013】OPFを算出した後、移動体の境界領域の
比較的高信頼性を有するOPF群からなる小領域の垂直
平面の移動ベクトルとその面の傾き角を算出する(S1
02)。この処理が本実施形態の中核をなす処理であ
り、以下この処理を詳述する。
【0014】図3には本実施形態で用いられる観測座標
系が示されている。カメラ10の設置位置を原点として
X軸、Y軸、Z軸が固定される。カメラ10の光軸はZ
軸に一致している。また、X−Z平面は路面に対して平
行であるとする。対象物の一点P(X,Y,Z)の2次
元画像上の投影点をp(x,y)とする。画像面はX−
Y平面に平行でZ=fである。一点P(X,Y,Z)が
運動ベクトル(U,V,W)で並進運動している場合
の、投影点pの運動ベクトル、すなわちOPFをt
(u,v)とする。なお、点Pが回転運動している場合
でも、この回転運動ベクトルは移動物体の抽出にとって
重要ではないので、本実施形態では無視する。
【0015】カメラ10から見た場合、接近物(あるい
は遠ざかる物)に起因するOPFは必ず一点を中心とし
て放射状のベクトルになるので、
【数1】 u=f・U/Z−x・W/Z v=f・V/Z−y・W/Z ・・・(1) の関係にある。なお、この式(1)は特願平7−118
564号の(数5)及び(数6)と等価である。この式
(1)は距離に関するパラメータ(以下深度パラメータ
と称する)Zに関して非線形である。従って、両辺にZ
を乗じ、かつ、Zとして所定の値Z1 (例えばZ1 =
1)を設定すると、以下のように線形方程式となる。
【0016】
【数2】 U−x/f・W=Z1・u V−y/f・W=Z1・v ・・・(2) ここで、図4に示すように、移動物体が車両であり、車
両を構成する一つの移動垂直平面内(車両を4つの垂直
面から構成される固体と仮定する)に位置する小領域内
の4つのOPFを考える。これらの4つのOPFの内の
2つのOPFが同一垂直線上にあってZパラメータは未
知のZa であり、残りの2つのOPFは同一垂直線上に
あってZパラメータは既知のZ1 であるとする。これら
4つのOPFについて上記の(2)式を適用すると、未
知のパラメータU,V,W,Zaに関して冗長な線形の
方程式が得られる。
【0017】
【数3】 Ω・a=Ψ ・・・(3) ここで、
【数4】
【数5】
【数6】 である。このように、行列ΩとベクトルΨは既知パラメ
ータあるいは計測された値を成分に持つ。実際には、行
列ΩとベクトルΨの成分には計測誤差が含まれているの
で、ベクトルaの評価は最小2乗法により行う必要があ
る。
【0018】
【数7】 A=inv[ tΩ・Ω] ・Ω・Ψ ・・・(7) ここで、Aはaの評価値であり、inv[ tΩ・Ω] は
行列tΩ・Ωの逆行列であり、tΩはΩの転置行列であ
る。これにより、運動ベクトルT(U,V,W)及び任
意の深度パラメータZa が得られることになる。
【0019】また、図4において、移動垂直平面のX−
Z面への正射影の直線の傾き角Dは、
【数8】 D=arctan[ (Za ーZ1 )/(Xa −X1 )] ・・・(8) で与えられる。一方、点P(X,Y,Z)と点p(x,
y)との間には、
【数9】 x=−f・X/Z y=−f・Y/Z ・・・(9) の関係があるから、結局、傾き角Dは、(8)式と
(9)式より、
【数10】 D=arctan[ f(Za −Z1 )/(X2 ・Z1 −X1 ・Za )] ・・ ・(10) となる。これにより、評価値Za 、所定値Z1 、計測値
X1 、X2 より移動垂直平面のZ軸に対する傾きが得ら
れることになる。なお、運動パラメータ(U,V,W)
の比と垂直平面の方向Dは深度パラメータの設定値Z1
の値自身に影響されないことは明らかである。また、本
実施形態では小領域内の4つのOPFについて計算した
が、これに限定されるものではないことも言うまでもな
い。
【0020】以上のようにして小領域の運動ベクトル
(U,V,W)と傾き角Dが算出され、S102の処理
が終了する。この処理を各小領域に対して実行し、全て
の小領域について運動ベクトルと傾き角を算出すると、
同じ運動ベクトル比と傾きを有する小領域群を抽出し、
これらをグルーピングして平面を再構成する(S10
3)。車両を構成する4つの垂直平面のそれぞれの面内
の小領域は、互いに同一の運動ベクトル比と同一の傾き
角を有するはずであるから、このグルーピング処理によ
り、車両を構成するであろう垂直平面を確実に抽出でき
ることになる。
【0021】垂直平面を抽出した後、これらの垂直平面
が確かに車両を構成するか否かを確認する。すなわち、
抽出した平面が互いに隣接し、かつ平面間のなす角度が
ほぼ直角であるか否かを判定し、条件を満たす平面を組
み合わせて移動物体としての車両を構成する(S10
4)。このようにして、移動物体の3次元形状(本実施
形態では車両)を把握することができる。移動物体の形
状を認識した後、画面上の位置から認識車両までの距離
を推測し、実際の速度を算出する(S105)。
【0022】なお、本実施形態では移動物体としての車
両を4つの垂直面から構成されると仮定したが、他のモ
デルを適用できることは言うまでもない。但し、この4
面固体モデルには、車両の境界周辺の数個のOPFから
移動体の運動ベクトルが得られる利点があり、抽出され
た垂直平面で構成される3次元形状とそのサイズから、
移動体が車両か否かを容易に判断することができる利点
もある。
【0023】
【発明の効果】以上説明したように、本発明によれば、
移動物体の移動方向を検出でき、さらに移動物体の3次
元形状を認識することができる。
【図面の簡単な説明】
【図1】 本発明の実施形態の構成ブロック図である。
【図2】 同実施形態の処理フローチャートである。
【図3】 同実施形態の観測系説明図である。
【図4】 同実施形態の移動垂直平面及び画像面のOP
F説明図である。
【符号の説明】
10 カメラ、12 ECU、14 警報装置。
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06T 7/20 G01B 11/24 G06T 1/00 H04N 5/262 JICSTファイル(JOIS)

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 対象物を撮影する撮像手段と、 得られた画像の小領域毎に移動ベクトルを算出し、各移
    動ベクトルの類似性に基づいて前記小領域をグルーピン
    グすることにより対象物を構成する面を検出する面検出
    手段と、 を有する移動物体検出装置において、前記対象物を構成する垂直平面を仮定し、 前記垂直平面内に位置する小領域の一領域 に対して設定
    される前記撮像手段からの距離に関する所定値Z1に基
    づき、前記小領域の他の領域が有する前記撮像手段から
    の距離に関する推定値Zaを算出する距離演算手段と、 前記所定値Z1及び推定値Zaに基づき、前記小領域の
    移動ベクトル及び前記小領域が含まれる垂直平面の前記
    撮像手段に対する傾き角を算出する演算手段と、 を備えることを特徴とする移動物体検出装置。
  2. 【請求項2】 請求項1記載の移動物体検出装置におい
    て、さらに、 前記傾き角が算出された複数の垂直平面から対象物の3
    次元形状を特定する形状特定手段を有することを特徴と
    する移動物体検出装置。
JP26508595A 1995-10-13 1995-10-13 移動物体検出装置 Expired - Fee Related JP3334451B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26508595A JP3334451B2 (ja) 1995-10-13 1995-10-13 移動物体検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26508595A JP3334451B2 (ja) 1995-10-13 1995-10-13 移動物体検出装置

Publications (2)

Publication Number Publication Date
JPH09114987A JPH09114987A (ja) 1997-05-02
JP3334451B2 true JP3334451B2 (ja) 2002-10-15

Family

ID=17412397

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26508595A Expired - Fee Related JP3334451B2 (ja) 1995-10-13 1995-10-13 移動物体検出装置

Country Status (1)

Country Link
JP (1) JP3334451B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3629935B2 (ja) * 1998-01-27 2005-03-16 オムロン株式会社 移動体の速度計測方法およびその方法を用いた速度計測装置
JP5612915B2 (ja) * 2010-06-18 2014-10-22 東芝アルパイン・オートモティブテクノロジー株式会社 移動体検出装置及び移動体検出方法

Also Published As

Publication number Publication date
JPH09114987A (ja) 1997-05-02

Similar Documents

Publication Publication Date Title
JP3986360B2 (ja) カメラ校正装置
US20020134151A1 (en) Apparatus and method for measuring distances
JPH10222679A (ja) 車両用画像処理装置
JP3710548B2 (ja) 車両検出装置
JP2000207693A (ja) 車載用障害物検出装置
JP4256992B2 (ja) 障害物検出装置
CN110197104B (zh) 基于车辆的测距方法及装置
JPH1144533A (ja) 先行車両検出装置
JP4397573B2 (ja) 画像処理装置
JP3516118B2 (ja) 物体認識方法および物体認識装置
JP3334451B2 (ja) 移動物体検出装置
JP3465531B2 (ja) 物体認識方法およびその装置
KR100631082B1 (ko) 단일 카메라를 사용한 3차원 영상정보 획득방법 및 이를이용한 영상검지방법
JP3586938B2 (ja) 車載用距離測定装置
JP3503543B2 (ja) 道路構造認識方法、距離測定方法及び距離測定装置
JP2798349B2 (ja) 車両位置検出装置
JPH1055446A (ja) 物体認識装置
JP4200165B2 (ja) ステレオカメラによるオブジェクトの分類のための方法
JPH11259658A (ja) 物体認識方法およびその方法を用いた物体認識装置,車輌認識方法,車輌認識装置
JPH0719893A (ja) 道路曲率検出装置
JP2001116545A (ja) 距離画像算出装置
JP2004038760A (ja) 車両用走行路認識装置
JP2000028355A (ja) 3次元画像処理装置
JP3178283B2 (ja) 走行路カーブ計測法
JP4876676B2 (ja) 位置計測装置、方法及びプログラム、並びに移動量検出装置、方法及びプログラム

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070802

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080802

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080802

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090802

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees