JPH10147199A - 車両用監視方法 - Google Patents
車両用監視方法Info
- Publication number
- JPH10147199A JPH10147199A JP9243220A JP24322097A JPH10147199A JP H10147199 A JPH10147199 A JP H10147199A JP 9243220 A JP9243220 A JP 9243220A JP 24322097 A JP24322097 A JP 24322097A JP H10147199 A JPH10147199 A JP H10147199A
- Authority
- JP
- Japan
- Prior art keywords
- optical flow
- vehicle
- time
- image
- luminance difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
Abstract
所定時間毎に同一点の移動をオプティカルフローとして
高速に認識することができるようにした車両用監視方法
を提供する。 【構成】 走行している自車両から撮像して得た所定時
間相前後する2コマの画像中の同一点の移動をオプティ
カルフローとして検出して自車両に対する他の車両又は
路上障害物の相対関係を監視する。所定時間相前後する
2コマの画像で輝度差を求め、この輝度差がある一定の
しきい値を越えた点についてオプティカルフローを求め
る。
Description
置したビデオカメラによって撮像した画像を用いて、車
両の走行の際に他の車両又は障害物を監視して検知し、
例えば運転者に警告を与えるための車両用監視方法に関
するものである。
平2−241855号公報に開示されたものがある。同
公報に開示された方法は、走行している自車両から前景
を撮影し、この撮影した前景の同一点の移動を所定時間
毎にオプティカルフローとして認識し、このオプティカ
ルフローと前方車両との車間距離を測定する距離センサ
をもとに自車両に対する先行車両の位置、相対速度から
なる情報を得、この情報をもとに危険と判断した場合に
運転者にその旨を知らせるものである。
に、従来、2コマの画像間で対応する点を検出するマッ
チング法と呼ばれる手法が採用されていた。このマッチ
ング法は、図9(a)に示す時点tにおける画像上にお
いて着目する画素Pに対し窓W1をとり、画像内全域又
は周辺の領域に対し窓を移動しながら相関値を計算し、
図9(b)に示すように、相関値が最大となった窓W2
の点を対応点、すなわち対応する画素Qとして求め、こ
のPQ(矢印)がオプティカルフローとなる。上記相関
値を求めるためには、 Σ(W1(x,y) ×W2(x,y) )/(ΣW12 (x,y) ×ΣW22 (x,y) )1/2 ……(1) なる計算を行う。なお、W1(x,y) ,W2(x,y) は窓W
1,W2内の(x,y)座標の出力である。
来の方法では、オプティカルフローを求めるために、2
枚の画像間で対応する点を検出するという演算処理を行
う必要があるが、上述したようにこの演算処理は、ある
一点の対応点を検出するために、画像内の一画素に対
し、画像内の全領域あるいは周辺の領域の全ての画素に
対して検索を行うといったものである。画像全体にわた
って対応点を検出するためには、この処理を全画素に対
して行わなければならない。また、検索を行うために指
標として使用する相関値を求めるためにも多くの計算を
必要とする。
が困難であったり、実現するためには、高速度の演算処
理装置を必要とするため装置自体が高価格化してしまう
というような問題があげられる。
鑑み、ビデオカメラで撮像して得た画像において、所定
時間毎に同一点の移動をオプティカルフローとして高速
に認識することができるようにした車両用監視方法を提
供することを目的としている。
本発明によりなされた車両用監視方法は、走行している
自車両から撮像して得た所定時間相前後する2コマの画
像中の同一点の移動をオプティカルフローとして検出
し、自車両に対する他の車両又は路上障害物の相対関係
を監視する車両用監視方法において、所定時間相前後す
る2コマの画像で輝度差を求め、該輝度差がある一定の
しきい値を越えた点についてオプティカルフローを求め
ることを特徴としている。
のように時間的な輝度変化のない場所があることに着目
して、所定時間相前後する2コマの画像で輝度差を求
め、該輝度差がある一定のしきい値を越えた点について
オプティカルフローを求めるようにしているので、オプ
ティカルフローを求める画像内の点の数が大幅に減少
し、無駄な処理を省くことが可能となり処理の高速化が
図られる。
する。図1は本発明による方法を実施するための装置の
構成を示し、同図において、1は前景を撮像するビデオ
カメラ、2はビデオカメラ1によって得られた画像を入
力し、後述する画像処理を行う演算処理装置、3は自車
両の速度を計測する速度計、4は演算処理装置2の画像
処理結果と速度計3から得られる自車両速度とを入力し
て危険度判定処理を行う演算処理装置、5は警報装置で
ある。
前景画像の変化を説明するための図であり、(b)は
(a)に示す自車両を含む状況においてビデオカメラ1
が時間tで撮像した画像、(c)は時間t+Δtで撮像
した画像をそれぞれ示す。
る。例えば(a)に示される道路標識及び建物に注目す
ると、時間の経過により時間t、時間t+Δtにおい
て、(b)、(c)に示されるような画像が得られる。
この2枚の画像において対応する点を捜しそれらを結ぶ
と(d)に示されるような速度ベクトルが得られる。こ
れがオプティカルフローである。
内のFOE(Focus of Expansion)とよばれる1点から
放射状に現れる。FOEとは、無限遠点又は消失点と呼
ばれ、車両が直進している場合画像上において自車両の
進行方向を示す1点に対応する。このように、自車両が
走行している場合に求められるオプティカルフローは、
FOEから放射状の方向である。ここで先行他の車両か
ら発せられたオプティカルフローは、自車両に対する先
行する他の車両の位置、相対速度からなる情報を含んで
おり、オプティカルフローが長い程危険度が高いと考え
られる。
る。同図の光学的配置おいて、11はビデオカメラのレ
ンズ、12はビデオカメラのイメージプレーン、fはレ
ンズ11からイメージプレーン12までの距離、P
(X,Y,Z)は先行する他の車両又は障害物上の任意
の1点、p(x,y)はイメージプレーン12上の点P
に対応する点とすると、3角形の相似の比から x=f・X/Z ……(2) となる。
先行する他の車両又は障害物までの距離が小である程、
又はαが大、すなわち先行する他の車両との相対速度が
大である程、オプティカルフローのx成分は大きくな
る。これはY方向についても同様である。従って、オプ
ティカルフローは先行する他の車両などとの距離が小さ
い程、更に相対速度が大きい程長くなり、これよりオプ
ティカルフローが短いときより長いときの方が相対的に
先行する他の車両又は障害物に対する危険度が大きいと
考えられる。
から放射状の向きに求められるということを利用し、高
速にオプティカルフローを求めるようにしており、その
方法を図4に基づいて以下説明する。
める方法の一実施例を示した図である。まず、始めに時
間tでの画像において着目する一点に対しFOEから放
射状の方向に細長い窓を設定する(図4(a))。次
に、時間t+Δtでの画像において、窓をFOEから放
射状の方向に一点づつ移動しながら、時間tでの窓との
輝度差の絶対値の総和を求める。そして総和が最小にな
ったときの窓の移動量が、着目する一点の速度ベクトル
として求められる(図4(b))。なお、上記輝度差
は、窓を構成する各画素について、例えば(a)及び
(b)に○で示す対応する位置の画素間のものである。
以上のような処理を時間tの画像の全ての点において繰
り返し行うことにより、画像全体のオプティカルフロー
を求めることができる。
比べる際に、相互相関値を用いていた。それに対し本発
明の方法では、輝度差の絶対値の総和を用いているの
で、計算量の軽減となり、処理の高速化が行える。
速度ベクトルを求めているのではなく、時間tと時間t
+Δtとの画像で輝度差を求め、その輝度差である一定
のしきい値を越えた点だけに対し処理を行うようにして
いる。
は、空や路面のように時間的な輝度変化がない場所が多
い。このような場所では、原理的にオプティカルフロー
を求めることが不可能である。従って、本発明の方法の
ように、時間tでの画像と時間t+Δtでの画像内で、
輝度差のあるとことに着目して処理を行うことにより、
無駄な処理を省くことが可能となり高速化が行える。
ティカルフローが求められる。しかし、ここで求まった
オプティカルフローには、道路以外の風景や路面の車線
などの障害物ではないものによって生じているオプティ
カルフローが含まれている。従って、ここで求められて
いるオプティカルフローを用いて前方の障害物の存在又
はその障害物による危険度を求めることは困難である。
よって、道路外の風景や路面の車線から生じているオプ
ティカルフローを除去する必要がある。次に、この方法
について説明する。
フローを除去する方法の一実施例である。同図において
斜線が引かれている位置が、道路上を示しているとし
て、それ以外の場所では、処理を行わないものとする。
こうすることにより、始めから道路外の風景から生じる
オプティカルフローは求まらないことになり、なおかつ
領域を制限することにより、処理時間の高速化が行える
こととなる。
図を用いて説明する。図6はこの方法の一実施例であ
り、まず光学的構成を説明する。図6はビデオカメラを
設置した車両が直進する代わりに、路面全体が近づいて
きたと仮定して描かれている。11は前方を撮像するビ
デオカメラのレンズ、12はビデオカメラのイメージプ
レーンを示す。13及び14は移動前後の車線を表して
いる。レンズの中心を原点とする3次元座標と、イメー
ジプレーン2上で上記FOEを原点とする2次元座標を
考える。
Z)、Z方向にΔZ移動後の位置をQ(X,Y,Z)と
すると、2つの3角形の相似比より式(1)のようにオ
プティカルフローの生じている車線のビデオカメラまで
の高さを知ることができる。 Y=y2 ΔZ/fΔy ……(9) この求まった高さ情報を用いて、高さがビデオカメラ高
と一致している、つまり路面上のマークなどによって生
じているオプティカルフローを除去することができる。
の間に前進した距離であり、車両速度を知ることにより
求めることができる。以上説明したような処理によっ
て、前方の障害物以外から生じているオプティカルフロ
ーを除去することが可能となる。従って、いま残されて
いるオプティカルフローの位置及び長さから前方の障害
物がどの程度危険であるかを示す危険度を求めることが
可能となる。
る。図7はこの方法の一実施例を示すものである。まず
構成を説明すると、I 〜IVの各領域はそれぞれ自車線の
遠方、自車線の近方、隣車線の遠方、隣車線の近方を示
している。ここで危険度は、各領域に存在するオプティ
カルフローの長さの総和に対して各区域毎に重み付け
し、この重み付けした値によって求められる。更に、各
領域毎に所定のしきい値を設定しておき、フロー長さの
総和がこのしきい値を越えたらしきい値を越えた領域は
危険と判断される。しきい値を数レベル設定しておき、
危険度のレベルを判断することもできる。
て警報を鳴らすことによって運転者に対し注意を促せる
ことが可能となる。また、ディスプレイ上にどの領域が
どの程度危険かを表示することも可能になる。さらに危
険レベルにより警報の音色などの種類を変えることも可
能である。
の手順を要約して示すと、図8のようになる。まず、ス
テップS1において時間tでの画像を取り込み、次にス
テップS2において時間t+Δtでの画像を取り込む。
その後ステップS3においてFOEの設定を行い、続く
ステップS4において処理領域の設定を行う。続いてス
テップS5に進み、ここで時間tと時間t+Δtの画像
で輝度差が一定のしきい値を越えた領域を抽出する。そ
の後ステップS6に進んで抽出した領域内でオプティカ
ルフローを求め、次のステップS7において道路上のオ
プティカルフローを除去し、更に次のステップS8にお
いて各区域毎に重み付けした値によって危険度を計算す
る。
度差のあるとことに着目して処理を行うことにより、無
駄な処理を省くことが可能となり高速化が図られ、実時
間処理が容易になる。
を示すブロック図である。
得られるオプティカルフローを示す図である。
説明するための図である。
方を説明するための図である。
るため設定した領域の一例を示す図である。
ィカルフローの除去の仕方を説明するための図である。
た区域の一例を示す図である。
る。
Claims (1)
- 【請求項1】 走行している自車両から撮像して得た所
定時間相前後する2コマの画像中の同一点の移動をオプ
ティカルフローとして検出し、自車両に対する他の車両
又は路上障害物の相対関係を監視する車両用監視方法に
おいて、 所定時間相前後する2コマの画像間で各点の輝度差を求
め、該輝度差がある一定のしきい値を越えている点につ
いてのみオプティカルフローを求めることを特徴とする
車両用監視方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24322097A JP3543912B2 (ja) | 1997-09-08 | 1997-09-08 | オプティカルフロー検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24322097A JP3543912B2 (ja) | 1997-09-08 | 1997-09-08 | オプティカルフロー検出方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP4256268A Division JP2863381B2 (ja) | 1992-09-25 | 1992-09-25 | 車両用監視方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10147199A true JPH10147199A (ja) | 1998-06-02 |
JP3543912B2 JP3543912B2 (ja) | 2004-07-21 |
Family
ID=17100624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24322097A Expired - Fee Related JP3543912B2 (ja) | 1997-09-08 | 1997-09-08 | オプティカルフロー検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3543912B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007233470A (ja) * | 2006-02-27 | 2007-09-13 | Mazda Motor Corp | 車両用走行支援装置 |
US9418443B2 (en) | 2013-08-27 | 2016-08-16 | Hyundai Motor Company | Apparatus and method for detecting obstacle |
CN108427424A (zh) * | 2018-05-14 | 2018-08-21 | 珠海市微半导体有限公司 | 一种障碍物的检测装置、方法与移动机器人 |
-
1997
- 1997-09-08 JP JP24322097A patent/JP3543912B2/ja not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007233470A (ja) * | 2006-02-27 | 2007-09-13 | Mazda Motor Corp | 車両用走行支援装置 |
US9418443B2 (en) | 2013-08-27 | 2016-08-16 | Hyundai Motor Company | Apparatus and method for detecting obstacle |
CN108427424A (zh) * | 2018-05-14 | 2018-08-21 | 珠海市微半导体有限公司 | 一种障碍物的检测装置、方法与移动机器人 |
CN108427424B (zh) * | 2018-05-14 | 2023-10-27 | 珠海一微半导体股份有限公司 | 一种障碍物的检测装置、方法与移动机器人 |
Also Published As
Publication number | Publication date |
---|---|
JP3543912B2 (ja) | 2004-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2863381B2 (ja) | 車両用監視方法 | |
JP3452268B2 (ja) | 車両用後側方監視方法 | |
US5521633A (en) | Motor vehicle obstacle monitoring system using optical flow processing | |
US6246961B1 (en) | Collision alarm method and apparatus for vehicles | |
US7684590B2 (en) | Method of recognizing and/or tracking objects | |
JP4899424B2 (ja) | 物体検出装置 | |
JP2000251080A (ja) | 車両用後側方監視装置 | |
JP2006184276A (ja) | 視覚検知による全天候障害物衝突防止装置とその方法 | |
JP2000074645A (ja) | 周辺監視装置及び方法 | |
JP2008168811A (ja) | 車線認識装置、車両、車線認識方法、及び車線認識プログラム | |
JP2009040108A (ja) | 画像表示制御装置及び画像表示制御システム | |
JP4937844B2 (ja) | 歩行者検出装置 | |
JP2994170B2 (ja) | 車両周辺監視装置 | |
JP2005217883A (ja) | ステレオ画像を用いた道路平面領域並びに障害物検出方法 | |
JP3464368B2 (ja) | 車両用後側方監視装置 | |
JP7031157B2 (ja) | 物体検出方法及び物体検出装置 | |
JP3351340B2 (ja) | オプティカルフロー式後方情報検出装置 | |
Yang | Estimation of vehicle's lateral position via the Lucas-Kanade optical flow method | |
JPH10147200A (ja) | 車両用監視方法 | |
JP3543912B2 (ja) | オプティカルフロー検出方法 | |
JP4788399B2 (ja) | 歩行者検出方法、装置、およびプログラム | |
JP3292292B2 (ja) | オプティカルフロー検出方法 | |
JP3398937B2 (ja) | 車両用監視方法及び装置 | |
JP2001023092A (ja) | 車両周辺領域監視装置 | |
JP2001101420A (ja) | 障害物検出装置及びその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20020806 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040303 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040330 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080416 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090416 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090416 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100416 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110416 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110416 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |