JPH1120546A - Readward/sideway monitering method for vehicle and device thereof - Google Patents

Readward/sideway monitering method for vehicle and device thereof

Info

Publication number
JPH1120546A
JPH1120546A JP9181420A JP18142097A JPH1120546A JP H1120546 A JPH1120546 A JP H1120546A JP 9181420 A JP9181420 A JP 9181420A JP 18142097 A JP18142097 A JP 18142097A JP H1120546 A JPH1120546 A JP H1120546A
Authority
JP
Japan
Prior art keywords
point
feature point
image
vehicle
mask image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9181420A
Other languages
Japanese (ja)
Other versions
JP3841323B2 (en
Inventor
Kazutomo Fujinami
一友 藤浪
Koji Ishii
宏二 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP18142097A priority Critical patent/JP3841323B2/en
Publication of JPH1120546A publication Critical patent/JPH1120546A/en
Application granted granted Critical
Publication of JP3841323B2 publication Critical patent/JP3841323B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To detect a vehicle approaching from the rear part and the side part and to warn a driver of the approach by monitering the degree of approach of a succeeding vehicle or a vehicle running on adjacent lane against one's own vehicle, based on an optical flow and a point of infinity. SOLUTION: An optical flow forming circuit 13 forms an optical flow by connecting a feature point to a correspondence point, and sends it to a degree of danger judging circuit 14. The degree of danger judging circuit 14 judges the degree of approach (i.e., the degree of danger) of the speed of a vehicle running on the adjacent lane and a succeeding vehicle, according to whether the optical flow is going from a point of infinity (FOE) in the direction of radiating, or in the direction of converging into the FOE, and sends the judged result to a warning part 15. Namely, as the optical flow is largely going in the direction of radiating from the FOE, the degree of danger is judged to be higher.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、自動車などの車両
に設置したビデオカメラによって後方及び側方を撮像し
た画像を用いて、車両の走行の際に後方および側方より
接近する車両を検知し運転者に警告を与えるための車両
用後側方監視方法及び装置に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention detects a vehicle approaching from the rear and side when the vehicle is running, using images captured by the video camera installed on the vehicle such as an automobile. The present invention relates to a method and an apparatus for monitoring a vehicle rear side for giving a warning to a driver.

【0002】[0002]

【従来の技術】片側2車線以上の道路を車両が走行中に
車線変更する際、変更しようとする隣接車線を、自車よ
り速い速度で走行中の車両を見落した場合、大事故につ
ながる危険性が大である。また、自車と同じ車線を走行
中の後続車両がある場合、急接近してきた場合などに急
ブレーキをかけると追突される危険性があるため、近接
車両を認識しておく必要がある。
2. Description of the Related Art When a vehicle changes lanes on a road having two or more lanes on one side, if a vehicle running at a faster speed than the own vehicle is overlooked on an adjacent lane to be changed, a large accident may occur. The danger is great. In addition, when there is a following vehicle traveling in the same lane as the own vehicle, if a sudden brake is applied when approaching suddenly, there is a risk of a collision, and it is necessary to recognize a nearby vehicle.

【0003】隣接車線を走行中の車両および後続車両を
認識させる従来例としては特開平1−189289号公
報(車両情報表示装置)が提案されている。この特開平
1−189289号公報には、車両の後方及び側方をカ
メラによって撮影し、撮影された画像をモニタに表示さ
せることによって、隣接車線を走行中の車両および後続
車両を認識させるようにしている。
As a conventional example for recognizing a vehicle traveling in an adjacent lane and a following vehicle, Japanese Patent Application Laid-Open No. 1-189289 (vehicle information display device) has been proposed. Japanese Patent Application Laid-Open No. Hei 1-189289 discloses a technique in which a rear side and a side of a vehicle are photographed by a camera, and the photographed images are displayed on a monitor so that a vehicle traveling in an adjacent lane and a following vehicle can be recognized. ing.

【0004】しかしながら、運転者がモニタに表示され
た車両を見落とすおそれがあり、またモニタを見ただけ
では隣接車線を走行中の車両及び後続車両の速度が自車
の速度より速いか否かを直ちに判断することは困難であ
った。
However, there is a risk that the driver may overlook the vehicle displayed on the monitor, and it is difficult to determine whether the speed of the vehicle traveling in the adjacent lane and the speed of the following vehicle are higher than the speed of the own vehicle only by looking at the monitor. It was difficult to judge immediately.

【0005】そこで従来、車両の後側方に向けて取り付
けられたビデオカメラにより車両走行中に得られた撮像
画像の各点が全体として収束するような無限遠点又は消
失点(一般にFOE(Focus of Expansion)と呼ばれ
る)を求めると共に、撮像画像中の特徴点の移動ベクト
ル(以下、これをオプティカルフローと呼ぶ)を求め、
このオプティカルフローがFOEから発散する方向に向
かっているか、FOEに収束する方向に向かっているか
に応じて、隣接車線を走行中の車両及び後続車両の速度
の自車に対する接近度を判断するようにした車両用後側
方監視方法が提案されている(特願平5−196189
号)。
Conventionally, a point at an infinity point or a vanishing point (generally, an FOE (Focus)) in which each point of a captured image obtained during traveling of the vehicle by a video camera attached to the rear side of the vehicle converges as a whole. of the feature points in the captured image (hereinafter referred to as optical flow),
According to whether the optical flow is directed in a direction diverging from the FOE or in a direction converging on the FOE, the approaching speed of the vehicle traveling in the adjacent lane and the speed of the following vehicle to the own vehicle is determined. A rear side monitoring method for vehicles has been proposed (Japanese Patent Application No. 5-196189).
issue).

【0006】この車両用後側方監視方法を、図11を用
いて簡単に説明する。図11は、自車両後方に後ろ向き
に取り付けられたカメラにより得られた時間的に連続し
た画像である。そして図11は自車両が走行している隣
の車線を走行している車が、自車両を追い越していくと
ころを示す。
This method of monitoring the rear side of the vehicle will be briefly described with reference to FIG. FIG. 11 is a temporally continuous image obtained by a camera mounted rearward behind the host vehicle. FIG. 11 shows a case where a vehicle running in the adjacent lane in which the host vehicle is running passes the host vehicle.

【0007】先ず、図11(A)の特徴点Aと対応する
対応点を、図11(B)のFOEと特徴点Aを結ぶ直線
上で探索する。この例では、図11(B)の点A′が対
応点として検出された。この点Aと点A′を結ぶベクト
ルがオプティカルフローであり、この例の場合、オプテ
ィカルフローがFOEから発散する方向に向かっている
ので、隣接車線を走行中の車両の自車に対する接近度が
大きいと判断される。
First, a corresponding point corresponding to the feature point A in FIG. 11A is searched for on a straight line connecting the FOE and the feature point A in FIG. In this example, point A ′ in FIG. 11B is detected as a corresponding point. The vector connecting the point A and the point A 'is an optical flow. In this example, since the optical flow is diverging from the FOE, the vehicle traveling in the adjacent lane has a large approach to the own vehicle. Is determined.

【0008】[0008]

【発明が解決しようとする課題】しかしながら、図12
に示すような場合、対応点を正しく求めることができな
いため、誤ったオプティカルフローを求めてしまう可能
性がある。これについて説明すると、図12(A)で白
線上の点を特徴点Bとして設定したとすると、その特徴
点Bに対応する対応点B′を図12(B)から検出する
必要がある。
However, FIG.
In the case shown in (1), since the corresponding point cannot be obtained correctly, an erroneous optical flow may be obtained. To explain this, assuming that a point on the white line is set as a feature point B in FIG. 12A, it is necessary to detect a corresponding point B ′ corresponding to the feature point B from FIG.

【0009】この際、図13に示すように、図12
(A)の特徴点B上に作ったマスク1と相関があう点
(対応点)を、図12(B)のFOEと特徴点Bを結ぶ
直線上からマスク2により検索するのだが、白線上には
マスク1と同様な輝度分布の点が幾つもあるため、対応
点の検出が困難になり誤った点を対応点としてしまう可
能性が高い。実際に、図13の例では、特徴点Bに対応
する対応点B′が特徴点Bに対してFOEの反対側で検
出されているが、本当の対応点は特徴点BよりもFOE
側の白線上で検出されるべきである。
At this time, as shown in FIG.
A point (corresponding point) having a correlation with the mask 1 formed on the feature point B in (A) is searched by the mask 2 from a straight line connecting the FOE and the feature point B in FIG. Since there are many points having the same luminance distribution as in the mask 1, it is difficult to detect the corresponding point, and there is a high possibility that an erroneous point will be set as the corresponding point. In fact, in the example of FIG. 13, the corresponding point B ′ corresponding to the feature point B is detected on the opposite side of the FOE with respect to the feature point B, but the true corresponding point is more FOE than the feature point B.
Should be detected on the side white line.

【0010】このように特徴点に対して誤った対応点が
検出され、誤ったオプティカルフローが求められると、
自車両に対して後方車両又は隣接車線を走行中の車両が
接近していないのに接近していると判断されたり、これ
とは逆に接近してくる車両があるにも拘らずこれを見逃
したりすることになり、後側方監視の信頼性が著しく低
下する問題があった。
When an erroneous corresponding point is detected for a feature point and an erroneous optical flow is obtained,
It is determined that a vehicle running behind or adjacent to the own vehicle is approaching the vehicle, but it is judged that the vehicle is approaching, or, on the contrary, there is a vehicle approaching, but the vehicle is overlooked. And the reliability of the rear side monitoring is significantly reduced.

【0011】本発明は以上の点を考慮してなされたもの
で、正確なオプティカルフローを求めることにより信頼
性の高い後側方監視を行うことができる車両用後側方監
視方法及び車両用後側方監視装置を提案しようとするも
のである。
The present invention has been made in consideration of the above points, and a vehicle rear side monitoring method and a vehicle rear side monitoring method capable of performing highly reliable rear side monitoring by obtaining an accurate optical flow. It is intended to propose a side monitoring device.

【0012】[0012]

【課題を解決するための手段】かかる課題を解決するた
め本発明により成された請求項1に記載の車両用後側方
監視方法は、走行している自車両から後側景を撮像し、
所定時間相前後する2コマの画像中の対応点の移動をオ
プティカルフローとして検出し、自車両に対する後方車
両又は隣接車線を走行中の車両の相対関係を監視する車
両用後側方監視方法において、ある時点の撮像画像から
特徴点を検出すると共に、当該特徴点のうち当該ある時
点の撮像画像の無限遠点(FOE)を通って直線的に並
ぶ特徴点を削除し、前記ある時点の画像と時間的に相前
後する画像中において、削除されずに残った特徴点と撮
像画像の無限遠点とを結ぶ直線上の点を候補点として、
削除されずに残った特徴点に対応する対応点を検出し、
特徴点と対応点を結ぶベクトルをオプティカルフローと
して検出し、オプティカルフローと無限遠点とに基づい
て自車両に対する後方車両又は隣接車線を走行中の車両
の接近の度合いを監視するようにした。
According to a first aspect of the present invention, there is provided a method for monitoring a rear side of a vehicle, comprising the steps of:
In the vehicle rear side monitoring method of detecting the movement of the corresponding point in the image of two frames before and after the predetermined time as an optical flow, and monitoring the relative relationship of the vehicle running in the rear lane or the adjacent lane to the own vehicle, A feature point is detected from a captured image at a certain point in time, and feature points that are linearly arranged through the infinite point (FOE) of the captured image at the certain point in time are deleted from the feature points. In images that are temporally consecutive, a point on a straight line connecting the remaining feature point without being deleted and the point at infinity of the captured image as a candidate point,
Detect corresponding points corresponding to the remaining feature points without being deleted,
A vector connecting the feature point and the corresponding point is detected as an optical flow, and based on the optical flow and the point at infinity, the degree of approach of a vehicle traveling behind or adjacent to the own vehicle is monitored.

【0013】また本発明により成された請求項5に記載
の車両用後側方監視装置は、図1に示すように、撮像手
段2により走行している自車両から後側景を撮像し、所
定時間相前後する2コマの画像中の対応点の移動をオプ
ティカルフローとして検出し、自車両に対する後方車両
又は隣接車線を走行中の車両の相対関係を監視する車両
用後側方監視装置1において、ある時点の撮像画像から
特徴点を検出すると共に、当該特徴点のうち当該ある時
点の撮像画像の無限遠点(FOE)を通って直線的に並
ぶ特徴点を削除する特徴点選別手段5と、ある時点の画
像と時間的に相前後する画像中において、特徴点選別手
段5で削除されずに残った特徴点と当該撮像画像の無限
遠点とを結ぶ直線上の点を候補点として、削除されずに
残った特徴点に対応する対応点を検出する対応点検出手
段12と、特徴点と対応点を結ぶベクトルをオプティカ
ルフローとして検出するオプティカルフロー形成手段1
3と、オプティカルフローと無限遠点とに基づいて自車
両に対する後方車両又は隣接車線を走行中の車両の接近
の度合いを求めて危険度を判定する危険度判定手段14
とを備えるようにした。
According to a fifth aspect of the present invention, there is provided a vehicle rear side monitoring apparatus according to the present invention, wherein a rear view is imaged from an own vehicle running by an image pickup means, as shown in FIG. In the rear side monitoring device 1 for a vehicle, which detects the movement of the corresponding point in the two frames of images before and after the predetermined time as an optical flow, and monitors the relative relationship between the own vehicle and a vehicle traveling in a rear lane or an adjacent lane. A feature point selecting means 5 for detecting a feature point from a captured image at a certain time, and deleting a feature point linearly arranged through an infinity point (FOE) of the captured image at the certain time from the feature points; In an image temporally before and after an image at a certain time, a point on a straight line connecting a feature point remaining without being deleted by the feature point selection means 5 and an infinity point of the captured image as a candidate point, For feature points that remain without being deleted A corresponding point detecting means 12 for detecting the corresponding points, optical flow forming means 1 for detecting a vector connecting the feature points and the corresponding points as optical flow
Risk determining means 14 for determining the degree of danger by obtaining the degree of approach of a vehicle traveling in a rear lane or an adjacent lane to the own vehicle based on the optical flow and the point at infinity
And was prepared.

【0014】以上の構成において、対応点検出手段12
において対応点の検出が困難になるような特徴点、すな
わち特徴点と無限遠点を結ぶ直線上に複数の似通った対
応候補点が存在してしまうような特徴点が、特徴点選別
手段5により予め削除されるので、対応点検出手段12
は特徴点に対応する対応点を的確かつ速やかに検出でき
るようになる。この結果、オプティカルフロー形成手段
13では、正確なオプティカルフローを求められ、危険
度判定手段14により信頼性のある判定処理を行うこと
ができるようになる。
In the above configuration, the corresponding point detecting means 12
In the above, the characteristic points for which the detection of the corresponding points becomes difficult, that is, the characteristic points in which a plurality of similar corresponding candidate points exist on a straight line connecting the characteristic points and the point at infinity, Since they are deleted in advance, the corresponding point detecting means 12
Can accurately and quickly detect a corresponding point corresponding to a feature point. As a result, the optical flow forming unit 13 can obtain an accurate optical flow, and the risk determination unit 14 can perform a reliable determination process.

【0015】また本発明により成された請求項2に記載
の車両用後側方監視方法は、特徴点を削除する際に、特
徴点を含む周辺画素からなる第1のマスク画像を形成す
ると共に、当該第1のマスク画像に隣接しかつ特徴点と
無限遠点を通る直線上に第2のマスク画像を形成し、第
1のマスク画像と第2のマスク画像の相関関係を比較
し、第1のマスク画像と第2のマスク画像の相関性が強
いとき、特徴点を削除するようにした。
According to a second aspect of the present invention, when a feature point is deleted, a first mask image including peripheral pixels including the feature point is formed when the feature point is deleted. Forming a second mask image on a straight line adjacent to the first mask image and passing through the feature point and the point at infinity, comparing the correlation between the first mask image and the second mask image, When the correlation between the first mask image and the second mask image is strong, the feature points are deleted.

【0016】また本発明により成された請求項6に記載
の車両用後側方監視装置は、図1に示すように、請求項
5の特徴点選別手段5は、特徴点を含む周辺画素からな
る第1のマスク画像を形成すると共に、当該第1のマス
ク画像に隣接しかつ特徴点と無限遠点を通る直線上に第
2のマスク画像を形成するマスク画像形成手段7と、第
1のマスク画像と第2のマスク画像の相関関係を比較す
る相互比較手段10と、第1のマスク画像と第2のマス
ク画像の相関性が強いとき、特徴点を削除する特徴点削
除手段11とを備えるようにした。
According to a sixth aspect of the present invention, there is provided a rear side monitoring apparatus for a vehicle, as shown in FIG. Mask image forming means 7 for forming a first mask image, and forming a second mask image on a straight line adjacent to the first mask image and passing through the feature point and the point at infinity; An inter-comparison means 10 for comparing the correlation between the mask image and the second mask image, and a feature point deletion means 11 for deleting a feature point when the first mask image and the second mask image have a strong correlation. I prepared for it.

【0017】以上の構成において、対応点検出手段12
において対応点の検出が困難になるような特徴点を簡単
かつ確実に削除することができるようになる。
In the above configuration, the corresponding point detecting means 12
In this case, it is possible to easily and reliably delete a feature point that makes it difficult to detect a corresponding point.

【0018】また本発明により成された請求項3に記載
の車両用後側方監視方法は、特徴点を削除する際に、あ
る時点の撮像画像のエッジ画像を形成し、当該エッジ画
像におけるエッジ上の所定の点を特徴点として設定し、
当該特徴点を含む周辺画素からなる第1のマスク画像を
形成すると共に、当該第1のマスク画像に隣接しかつ当
該特徴点と無限遠点を通る直線上に第2のマスク画像を
形成し、第1のマスク画像と第2のマスク画像の相関関
係を比較し、第1のマスク画像と第2のマスク画像の相
関性が強いとき、その特徴点を削除するようにした。
According to a third aspect of the present invention, when a feature point is deleted, an edge image of a captured image at a certain point in time is formed, and an edge in the edge image is formed. Set the above predetermined point as a feature point,
Forming a first mask image including peripheral pixels including the feature point, and forming a second mask image on a straight line that is adjacent to the first mask image and that passes through the feature point and the point at infinity; The correlation between the first mask image and the second mask image is compared, and when the correlation between the first mask image and the second mask image is strong, the feature point is deleted.

【0019】また本発明により成された請求項7に記載
の車両用後側方監視装置は、図1に示すように、請求項
5の特徴点選別手段5は、ある時点の撮像画像のエッジ
画像を形成するエッジ画像形成手段6と、当該エッジ画
像におけるエッジ上の所定の点を特徴点として設定する
特徴点設定手段8と、当該特徴点を含む周辺画素からな
る第1のマスク画像を形成すると共に、当該第1のマス
ク画像に隣接しかつ当該特徴点と無限遠点を通る直線上
に第2のマスク画像を形成するマスク画像形成手段7
と、第1のマスク画像と第2のマスク画像の相関関係を
比較する相互比較手段10と、第1のマスク画像と第2
のマスク画像の相関性が強いとき、特徴点を削除する特
徴点削除手段11とを備えるようにした。
In the vehicle rear side monitoring apparatus according to a seventh aspect of the present invention, as shown in FIG. 1, the feature point selecting means 5 according to the fifth aspect is arranged such that the feature point selecting means 5 is adapted to detect an edge of a captured image at a certain point in time. Edge image forming means 6 for forming an image, feature point setting means 8 for setting a predetermined point on an edge in the edge image as a feature point, and forming a first mask image including peripheral pixels including the feature point And a mask image forming means 7 for forming a second mask image on a straight line adjacent to the first mask image and passing through the feature point and the point at infinity.
An inter-comparison means 10 for comparing the correlation between the first mask image and the second mask image;
And a feature point deleting unit 11 for deleting a feature point when the mask image has a high correlation.

【0020】以上の構成において、エッジ画像上の点を
特徴点としたことにより、撮像画像から画像の特徴を十
分に反映した特徴点を効率的に絞り込むことができ、こ
の結果全体としての演算回数を有効に低減することがで
きと共に一段と的確なオプティカルフローを検出できる
ようになる。
In the above configuration, by using the points on the edge image as the feature points, the feature points sufficiently reflecting the features of the image can be efficiently narrowed down from the picked-up image. Can be effectively reduced, and a more accurate optical flow can be detected.

【0021】また本発明により成された請求項4に記載
の車両用後側方監視方法は、特徴点を削除する際に、削
除する特徴点と共に当該削除する特徴点が検出されたエ
ッジ画像の直線部分を一括して削除するようにした。
According to a fourth aspect of the present invention, there is provided a method for monitoring a rear side of a vehicle, comprising the steps of: deleting a feature point together with a feature point to be deleted; Straight lines are now deleted all at once.

【0022】さらに本発明により成された請求項8に記
載の車両用後側方監視装置は、請求項6又は請求項7の
特徴点削除手段11は、削除する特徴点と共に当該削除
する特徴点が検出されたエッジ画像の直線部分を一括し
て削除するようにした。
According to a further aspect of the present invention, there is provided a rear side monitoring apparatus for a vehicle, wherein the characteristic point deleting means according to claim 6 or 7 includes the characteristic point to be deleted together with the characteristic point to be deleted. The line portion of the detected edge image is collectively deleted.

【0023】以上の構成において、特徴点を一つ一つ設
定してそれらの特徴点に対して特徴点の選別処理を行う
のではなく、削除する特徴点を一つ検出したときに、そ
の特徴点と直線的に並ぶ特徴点を一括して削除するよう
にしたことにより、続く特徴点選別処理で削除されるで
あろう特徴点を、それらの処理を行わずに削除できるよ
うになる。この結果、特徴点設定処理及び特徴点削除処
理の処理回数を格段に減らすことができるようになる。
In the above configuration, instead of setting feature points one by one and performing feature point selection processing on those feature points, when one feature point to be deleted is detected, the feature point is determined. The feature points that are linearly aligned with the points are collectively deleted, so that the feature points that will be deleted in the subsequent feature point selection process can be deleted without performing those processes. As a result, the number of times of the feature point setting process and the feature point deletion process can be significantly reduced.

【0024】[0024]

【発明の実施の形態】以下、図面に基づき本発明の一実
施形態を説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below with reference to the drawings.

【0025】(1)構成 図1において、1は全体として車両用後側方監視装置を
示し、自車両後方に後ろ向きに取り付けられたビデオカ
メラ2により撮像された画像信号S1がフレームメモリ
3及びFOE検出回路4に供給される。FOE検出回路
4は時間的に連続する画像から無限遠点(すなわちFO
E)を検出する。
(1) Configuration In FIG. 1, reference numeral 1 denotes a rear side monitoring device for a vehicle as a whole. An image signal S1 picked up by a video camera 2 mounted rearward behind the host vehicle is stored in a frame memory 3 and a FOE. It is supplied to the detection circuit 4. The FOE detection circuit 4 detects a point at infinity (that is, FO) from a temporally continuous image.
E) is detected.

【0026】フレームメモリ3から読み出された1フレ
ーム分過去の画像信号S1は特徴点選別部5のハイパス
フィルタ(HPF)6及びマスク画像形成回路7に入力
される。ハイパスフィルタ6は画像信号S1のエッジ画
像を形成するためのエッジ画像形成手段として機能し、
画像信号S1のの高周波成分のみを通過させる(換言す
れば画像信号S1を微分する)ことによりエッジ画像信
号S2を形成し、これを特徴点設定回路8に送出する。
すなわち図2に示すような生画像から図3に示すような
エッジ画像を形成する。
The image signal S1 of one frame past read from the frame memory 3 is input to the high-pass filter (HPF) 6 and the mask image forming circuit 7 of the feature point selection unit 5. The high-pass filter 6 functions as an edge image forming unit for forming an edge image of the image signal S1,
An edge image signal S2 is formed by passing only the high-frequency component of the image signal S1 (in other words, differentiating the image signal S1), and this is sent to the feature point setting circuit 8.
That is, an edge image as shown in FIG. 3 is formed from a raw image as shown in FIG.

【0027】特徴点設定回路8はエッジ画像信号S2に
基づいて、図3に示すようにエッジ上に特徴点P1を設
定し、設定した特徴点P1の座標情報S3を傾き検出回
路9に送出する。傾き検出回路9は特徴点P1の座標情
報S3と、FOE検出回路4からのFOE座標情報S4
とに基づいて、図3に示すようにFOEと特徴点P1と
を結ぶ直線L1の傾きθを求め、これを傾き情報S5と
してマスク画像形成回路7に送出する。
The feature point setting circuit 8 sets a feature point P1 on the edge as shown in FIG. 3 based on the edge image signal S2, and sends the coordinate information S3 of the set feature point P1 to the inclination detection circuit 9. . The tilt detection circuit 9 is provided with coordinate information S3 of the feature point P1 and FOE coordinate information S4 from the FOE detection circuit 4.
As shown in FIG. 3, the inclination θ of the straight line L1 connecting the FOE and the feature point P1 is obtained, and this is sent to the mask image forming circuit 7 as inclination information S5.

【0028】マスク画像形成回路7は画像信号S1、特
徴点P1の座標情報S3及び傾き情報S5を入力し、図
2に示すように、生画像上の着目している特徴点と同じ
座標位置にマスクAを設定すると共に、図4に示すよう
にマスクAに対して傾きθの上下位置に、マスクAと同
じ大きさのマスクB及びマスクCを作る。そして、この
マスクA、マスクB及びマスクC内の画素情報を、マス
ク画像情報S6として相互比較回路10に送出する。
The mask image forming circuit 7 receives the image signal S1, the coordinate information S3 of the characteristic point P1, and the inclination information S5, and as shown in FIG. While setting the mask A, as shown in FIG. 4, a mask B and a mask C having the same size as the mask A are formed above and below the mask A at an inclination θ. Then, the pixel information in the masks A, B and C is sent to the mutual comparison circuit 10 as mask image information S6.

【0029】相互比較回路10はマスク画像情報S6に
基づいて、マスクAとマスクB中の画素を比較すること
によりマスクAとマスクBの相関を求めると共にマスク
AとマスクC中の画素を比較することによりマスクAと
マスクCの相関を求め、これにより得た比較結果S7を
特徴点削除回路11に送出する。
The mutual comparison circuit 10 determines the correlation between the masks A and B by comparing the pixels in the masks A and B based on the mask image information S6, and also compares the pixels in the masks A and C. Thus, the correlation between the mask A and the mask C is obtained, and the obtained comparison result S7 is sent to the feature point deletion circuit 11.

【0030】特徴点削除回路11は、マスクAがマスク
B及びマスクCと相関性が高いことを表す比較結果S7
が入力された場合には、その特徴点の座標情報S3を削
除する。これに対してマスクAがマスクB及びマスクC
と相関性が低いことを表す比較結果S7が入力された場
合には、その特徴点の座標情報S3を削除せずにそのま
ま対応点検出回路12及びオプティカルフロー形成回路
13に送出するようになされている。これにより特徴点
選別部5においては、対応点が検出し難い特徴点を予め
削除することができる。
The feature point elimination circuit 11 compares the mask A with the mask B and the mask C to indicate that the correlation is high.
Is input, the coordinate information S3 of the feature point is deleted. On the other hand, the mask A is the mask B and the mask C
When the comparison result S7 indicating that the correlation is low is input to the corresponding point detection circuit 12 and the optical flow formation circuit 13 without deleting the coordinate information S3 of the feature point. I have. This allows the feature point selection unit 5 to delete in advance the feature points whose corresponding points are difficult to detect.

【0031】具体的には、図4のような場合には、マス
クAはマスクB及びマスクCとの相関が高いので相互比
較回路10でそのことを表す比較結果S7が得られ、特
徴点削除回路11において特徴点P1が削除される。
More specifically, in the case shown in FIG. 4, since the mask A has a high correlation with the masks B and C, the mutual comparison circuit 10 obtains a comparison result S7 indicating this, and the feature point is deleted. In the circuit 11, the feature point P1 is deleted.

【0032】これに対して、図5〜図7に示すように、
特徴点設定回路8で特徴点P2を設定し、この特徴点P
2に応じたマスクAに対して傾きθ′の上下位置に、マ
スクAと同じ大きさのマスクB及びマスクCを作った場
合には、マスクAはマスクB及びマスクCとの相関が低
いので相互比較回路10でそのことを表す比較結果S7
が得られ、特徴点削除回路11において特徴点P2は削
除されずに、対応点検出回路12及びオプティカルフロ
ー形成回路13に送出される。
On the other hand, as shown in FIGS.
The characteristic point P2 is set by the characteristic point setting circuit 8, and the characteristic point P2 is set.
In the case where masks B and C having the same size as the mask A are formed at the upper and lower positions of the inclination A 'with respect to the mask A according to 2, the correlation between the mask A and the masks B and C is low. The comparison result S7 indicating this in the mutual comparison circuit 10
Are obtained and sent to the corresponding point detection circuit 12 and the optical flow forming circuit 13 without deleting the feature point P2 in the feature point deletion circuit 11.

【0033】この結果、特徴点削除回路11からは、図
8に示すように、FOEを通って直線的に並ぶような特
徴点が削除されたエッジ画像がエッジ画像信号S8とし
て出力されるようになる。
As a result, as shown in FIG. 8, the feature point deletion circuit 11 outputs an edge image from which feature points that are arranged in a straight line through the FOE are deleted as an edge image signal S8. Become.

【0034】対応点検出回路12は、特徴点削除回路1
1から入力した時点tの特徴点座標と対応する対応点
を、ビデオカメラ2から入力した時点t+Δtの画像上
で探索する。すなわち、図について上述したように、特
徴点と対応する対応点をFOEと特徴点を結ぶ直線上で
探索する。
The corresponding point detection circuit 12 includes the feature point deletion circuit 1
A corresponding point corresponding to the feature point coordinates at time t input from 1 is searched for on the image at time t + Δt input from the video camera 2. That is, as described above with respect to the figure, a corresponding point corresponding to the feature point is searched for on the straight line connecting the FOE and the feature point.

【0035】オプティカルフロー形成回路13は特徴点
と対応点を結ぶことによりオプティカルフローを形成
し、これを危険度判定回路14に送出する。危険度判定
回路14はオプティカルフローがFOEから発散する方
向に向かっているか、FOEに収束する方向に向かって
いるかに応じて、隣接車線を走行中の車両及び後続車両
の速度の自車に対する接近度(すなわち危険度)を判断
し、当該判定結果を警報部15に送出する。すなわちオ
プティカルフローがFOEから発散する方向に大きく向
かっているほど、危険度が高いと判断する。
The optical flow forming circuit 13 forms an optical flow by connecting the characteristic points and the corresponding points, and sends the optical flow to the risk determining circuit 14. The risk determination circuit 14 determines whether the speed of the vehicle traveling in the adjacent lane and the speed of the following vehicle are close to the own vehicle according to whether the optical flow is flowing in the direction diverging from the FOE or in the direction converging on the FOE. (I.e., the degree of risk) is determined, and the determination result is sent to the alarm unit 15. In other words, it is determined that the greater the optical flow is in the direction diverging from the FOE, the higher the risk is.

【0036】警報部15は警報ブザーや警報ランプ等で
なり、危険度判定回路14から危険なことを表す判定結
果が入力された場合には、当該警報ブザーをならしたり
警報ランプを点灯させることにより、運転者に後側方か
ら急接近してくる車両があることを知らせるようになさ
れている。
The alarm unit 15 comprises an alarm buzzer, an alarm lamp, and the like. When a judgment result indicating danger is input from the danger judgment circuit 14, the alarm buzzer is sounded or the alarm lamp is turned on. Thus, the driver is informed that there is a vehicle approaching from the rear side.

【0037】(2)動作 以上の構成において、車両用後側方監視装置1は、図9
に示すような後側方監視処理手順を実行することによ
り、正確なオプティカルフローを求めて信頼性の高い後
側方監視を行うことができるようになっている。
(2) Operation In the above configuration, the rear side monitoring device 1 for a vehicle is configured as shown in FIG.
By executing the rear-side monitoring processing procedure as shown in (1), it is possible to perform accurate rear-side monitoring by obtaining an accurate optical flow.

【0038】すなわち、先ずステップSP1においてビ
デオカメラ2から時点tの画像を取り込むと共にステッ
プSP2においてフレームメモリ3から時点t+Δtの
画像を取り込み、続くステップSP3においてFOE検
出回路4でFOEを検出する。
That is, first, at step SP1, the image at the time point t is fetched from the video camera 2, and at step SP2, the image at the time point t + Δt is fetched from the frame memory 3. Then, at the next step SP3, the FOE detection circuit 4 detects the FOE.

【0039】次にステップSP4において、特徴点選別
部5によって、対応が取り難い特徴点を削除する。そし
て続くステップSP5において、危険度判定回路14に
よって、対応点検出回路12及びオプティカルフロー形
成回路13で求めたオプティカルフローに基づきFOE
から発散するオプティカルフローを検出し、続くステッ
プSP6において危険度を計算する。
Next, in step SP4, the feature point selection unit 5 deletes the feature points that are difficult to deal with. Then, in the subsequent step SP5, the risk determination circuit 14 sets the FOE based on the optical flows obtained by the corresponding point detecting circuit 12 and the optical flow forming circuit 13.
Is detected, and the risk is calculated in the following step SP6.

【0040】ここで本発明の特徴であるステップSP4
での特徴点削除処理について、図10を用いてさらに詳
述する。この特徴点削除処理SP4は、図1の特徴点選
別部5において行われる。特徴点選別部5は特徴点削除
処理SP4に入ると、先ずステップSP10でフレーム
メモリ3から生画像を取得する。続くステップSP11
では、ハイパスフィルタ6で微分処理を行うと共に特徴
点設定回路8でエッジ画像中から所定の特徴点を選ぶこ
とにより、特徴点を抽出する。
Here, step SP4, which is a feature of the present invention, is described.
Will be described in more detail with reference to FIG. This feature point deletion processing SP4 is performed in the feature point selection unit 5 of FIG. When entering the feature point deletion processing SP4, the feature point selection unit 5 first obtains a raw image from the frame memory 3 in step SP10. Subsequent step SP11
Then, the characteristic point is extracted by performing a differentiation process with the high-pass filter 6 and selecting a predetermined characteristic point from the edge image by the characteristic point setting circuit 8.

【0041】ステップSP12では、傾き検出回路9に
よって特徴点とFOEを結ぶ直線の傾きθを算出する。
続くステップSP13では、マスク画像形成回路7によ
って特徴点の位置にマスクAを作成し、ステップSP1
4では、マスクAに対して傾きθの方向の上下位置にマ
スクB及びマスクCを作成する。因みにこのステップS
P10〜ステップSP14までの処理は従来の処理と同
様である。
In step SP12, the inclination detecting circuit 9 calculates the inclination θ of a straight line connecting the characteristic point and the FOE.
In a succeeding step SP13, a mask A is created at the position of the feature point by the mask image forming circuit 7, and a step SP1
In step 4, a mask B and a mask C are created at upper and lower positions in the direction of the inclination θ with respect to the mask A. By the way, this step S
The processing from P10 to step SP14 is the same as the conventional processing.

【0042】次にステップSP15では、相互比較回路
10によってマスクAとマスクBの相関がとれているか
否か判断し、相関がとれている場合には、ステップSP
16に移ってマスクAとマスクCの相関がとれているか
否か判断する。ここでステップSP15及びステップS
P16で共に肯定結果が得られた場合には、ステップS
P17に移り、何れか一方又は両方で否定結果が得られ
た場合には、ステップSP17の処理を行わずにステッ
プSP18に移る。
Next, in step SP15, it is determined by the mutual comparison circuit 10 whether or not the correlation between the mask A and the mask B has been obtained.
The process proceeds to 16 to determine whether or not the correlation between the mask A and the mask C is obtained. Here, step SP15 and step S
If an affirmative result is obtained in P16, step S
The process moves to P17, and if a negative result is obtained in any one or both, the process moves to step SP18 without performing the process in step SP17.

【0043】ステップSP17では、特徴点削除回路1
1によって現在処理している特徴点を削除する。これに
よりエッジ画像上でFOEを通って直線的に並ぶ特徴点
ような互いに似通った特徴点が削除されるので、図1の
対応点検出回路12で誤った対応点が検出されることを
防止できるようになる。
In step SP17, the feature point deletion circuit 1
1 deletes the feature point currently being processed. As a result, similar feature points such as feature points linearly arranged in line through the FOE on the edge image are deleted, so that an erroneous corresponding point can be prevented from being detected by the corresponding point detection circuit 12 in FIG. Become like

【0044】ステップSP18では、エッジ画像上での
全ての特徴点の処理が終了したか否か判断し、処理が終
了していない特徴点が残っている場合には、ステップS
P12に戻って次の特徴点についてステップSP12〜
ステップSP17までの処理を繰り返す。これに対して
ステップSP18で肯定結果が得られた場合には、ステ
ップSP19に移って当該特徴点削除処理ルーチンSP
4を終了して、図9のステップSP5に移る。
In step SP18, it is determined whether or not processing of all the feature points on the edge image has been completed.
Returning to P12, for the next feature point, steps SP12-
The processing up to step SP17 is repeated. On the other hand, if a positive result is obtained in step SP18, the process proceeds to step SP19 and the feature point deletion processing routine SP
Then, the process proceeds to step SP5 in FIG.

【0045】(3)効果 かくして以上の構成によれば、ある時点の撮像画像から
FOEを通って直線的に並ぶような特徴点を削除してか
ら、この画像と時間的に相前後する画像中において対応
点を検出するようにしたことにより、特徴点に対応する
対応点を的確かつ速やかに検出できるようになる。かく
して特徴点とこの対応点を結ぶベクトルをオプティカル
フローとして検出すれば、正確なオプティカルフローを
求めることができ、信頼性の高い後側方監視を行うこと
ができる車両用後側方監視装置1を実現できる。
(3) Effects According to the above arrangement, after the characteristic points linearly arranged through the FOE are deleted from the captured image at a certain point in time, an image which is temporally adjacent to this image is deleted. By detecting the corresponding points in the above, the corresponding points corresponding to the feature points can be detected accurately and promptly. Thus, if the vector connecting the feature point and the corresponding point is detected as an optical flow, an accurate optical flow can be obtained, and the vehicular rear side monitoring device 1 capable of performing highly reliable rear side monitoring can be provided. realizable.

【0046】(4)他の実施形態 なお上述の実施形態においては、エッジ画像形成手段と
してのハイパスフィルタ6によりエッジ画像を形成し、
当該エッジ画像上の点を特徴点とする場合について述べ
たが、本発明はこれに限らず、特徴点を検出する際に例
えば画像信号S1のテクスチャ成分を抽出したテクスチ
ャ画像を形成し、当該テクスチャ画像上の点を特徴点と
するようにしてもよい。
(4) Other Embodiments In the above embodiment, an edge image is formed by the high-pass filter 6 as an edge image forming means.
The case where the point on the edge image is used as a feature point has been described. However, the present invention is not limited to this. For example, when detecting a feature point, a texture image in which a texture component of the image signal S1 is extracted is formed. A point on the image may be set as a feature point.

【0047】また上述の実施形態においては、図10で
説明したように、特徴点を一つ一つ設定してそれらの特
徴点に対して特徴点の選別処理を行うようにした場合に
ついて述べたが、本発明はこれに限らず、削除する特徴
点を一つ検出したときに、その特徴点と直線的に並ぶ特
徴点を一括して削除するようにしてもよい。このように
すれば、続く特徴点選別処理で削除されるであろう特徴
点を、それらの処理を行わずに一括して削除できるよう
になる。この結果、特徴点設定処理及び特徴点削除処理
の処理回数を格段に減らすことができるようになる。
In the above embodiment, as described with reference to FIG. 10, a case has been described in which feature points are set one by one and feature point selection processing is performed on those feature points. However, the present invention is not limited to this. When one feature point to be deleted is detected, the feature points linearly aligned with that feature point may be collectively deleted. In this way, the feature points that will be deleted in the subsequent feature point selection process can be collectively deleted without performing those processes. As a result, the number of times of the feature point setting process and the feature point deletion process can be significantly reduced.

【0048】また上述の実施形態においては、マスクA
に対して傾きθの上下位置に、マスクAと同じ大きさの
マスクB及びマスクCを作るようにした場合について述
べたが、本発明はこれに限らず、この位置からマスクB
及びマスクCを左右に数画素分振り、マスクAとの相関
を求めるようにしてもよい。このようにすれば、特徴点
及びFOEを通る直線に対して、削除したいエッジ部分
の傾きが多少ずれた場合でも、このエッジ部分を削除す
ることができるようになる。
In the above embodiment, the mask A
The mask B and the mask C having the same size as the mask A are formed above and below the inclination θ, but the present invention is not limited to this.
Alternatively, the mask C may be shifted left and right by several pixels to obtain the correlation with the mask A. In this way, even if the inclination of the edge portion to be deleted is slightly different from the straight line passing through the feature point and the FOE, the edge portion can be deleted.

【0049】また上述の実施形態においては、時点t+
Δtの画像から特徴点を検出する際には生画像を微分し
て得たエッジ画像を用いると共に、この特徴点に対応す
る対応点を探索する際には時点tの生画像をそのまま用
いるようにした場合について述べたが、本発明はこれに
限らず、対応点を探索する際にも時点tの画像からエッ
ジ画像を形成し、当該エッジ画像に基づいて探索を行う
ようにしてもよい。このようにすれば、生画像を用いて
探索を行う場合と比較して、情報量の少ない画像を用い
て探索を行うことができるようになるため、対応点を一
段と短い時間で検出することができるようになる。
In the above embodiment, the time t +
When detecting a feature point from the image of Δt, an edge image obtained by differentiating the raw image is used, and when searching for a corresponding point corresponding to this feature point, the raw image at time point t is used as it is. However, the present invention is not limited to this, and when searching for a corresponding point, an edge image may be formed from the image at the time point t, and the search may be performed based on the edge image. This makes it possible to perform a search using an image having a small amount of information as compared with a case where a search is performed using a raw image, so that a corresponding point can be detected in a much shorter time. become able to.

【0050】[0050]

【発明の効果】上述のように請求項1及び請求項5の発
明によれば、ある時点の撮像画像から当該撮像画像の無
限遠点(FOE)を通って直線的に並ぶような特徴点を
削除してから、この画像と時間的に相前後する画像中に
おいて対応点を検出するようにしたことにより、特徴点
に対応する対応点を的確かつ速やかに検出できるように
なる。かくして特徴点とこの対応点を結ぶベクトルをオ
プティカルフローとして検出すれば、正確なオプティカ
ルフローを求めることができ、信頼性の高い後側方監視
を行うことができる車両用後側方監視方法及び車両用後
側方監視装置を実現できる。
As described above, according to the first and fifth aspects of the present invention, feature points that are arranged linearly from a captured image at a certain point in time through the infinite point (FOE) of the captured image are obtained. After the deletion, the corresponding point is detected in the image temporally before and after this image, so that the corresponding point corresponding to the feature point can be detected accurately and promptly. Thus, if a vector connecting a feature point and its corresponding point is detected as an optical flow, an accurate optical flow can be obtained, and a reliable rear side monitoring method and vehicle capable of performing highly reliable rear side monitoring can be obtained. A rear-side monitoring device can be realized.

【0051】また請求項2及び請求項6の発明によれ
ば、特徴点を削除する際に、特徴点を含む周辺画素から
なる第1のマスク画像を形成すると共に、当該第1のマ
スク画像に隣接しかつ特徴点と無限遠点を通る直線上に
第2のマスク画像を形成し、第1のマスク画像と第2の
マスク画像の相関関係を比較し、第1のマスク画像と第
2のマスク画像の相関性が強いとき、特徴点を削除する
ようにしたことにより、対応点の検出が困難になるよう
な特徴点を簡単かつ確実に削除することができる車両用
後側方監視方法及び装置を実現できるようになる。
According to the second and sixth aspects of the present invention, when a feature point is deleted, a first mask image including peripheral pixels including the feature point is formed, and the first mask image is added to the first mask image. A second mask image is formed on a straight line that is adjacent and passes through the feature point and the point at infinity, the correlation between the first mask image and the second mask image is compared, and the first mask image and the second mask image are compared. When the correlation of the mask image is strong, the feature points are deleted, so that the feature points that make it difficult to detect the corresponding points can be easily and reliably deleted. The device can be realized.

【0052】また請求項3及び請求項7の発明によれ
ば、特徴点を削除する際に、ある時点の撮像画像のエッ
ジ画像を形成し、当該エッジ画像におけるエッジ上の所
定の点を特徴点として設定し、当該特徴点を含む周辺画
素からなる第1のマスク画像を形成すると共に、当該第
1のマスク画像に隣接しかつ当該特徴点と無限遠点を通
る直線上に第2のマスク画像を形成し、第1のマスク画
像と第2のマスク画像の相関関係を比較し、第1のマス
ク画像と第2のマスク画像の相関性が強いとき、その特
徴点を削除するようにしたことにより、撮像画像から画
像の特徴を十分に反映した特徴点を効率的に絞り込むこ
とができ、この結果全体としての演算回数を有効に低減
することができと共に一段と的確なオプティカルフロー
を検出できる車両用後側方監視方法及び装置を実現でき
るようになる。
According to the third and seventh aspects of the present invention, when deleting a feature point, an edge image of a captured image at a certain point in time is formed, and a predetermined point on the edge in the edge image is determined as a feature point. To form a first mask image including peripheral pixels including the feature point, and a second mask image on a straight line adjacent to the first mask image and passing through the feature point and the point at infinity. And comparing the correlation between the first mask image and the second mask image. When the correlation between the first mask image and the second mask image is strong, the feature point is deleted. As a result, it is possible to efficiently narrow down feature points sufficiently reflecting the features of the image from the captured image, thereby effectively reducing the number of calculations as a whole and detecting a more accurate optical flow for a vehicle. It becomes possible to realize a lateral monitoring method and device.

【0053】さらに請求項4及び請求項8の発明によれ
ば、削除する特徴点と共に当該削除する特徴点が検出さ
れたエッジ画像の直線部分を一括して削除するようにし
たことにより、特徴点設定処理及び特徴点削除処理の処
理回数を格段に減らすことができる車両用後側方監視方
法及び装置を実現できるようになる。
According to the fourth and eighth aspects of the present invention, the feature point to be deleted and the straight line portion of the edge image in which the feature point to be deleted is detected are collectively deleted. This makes it possible to realize a vehicle rear side monitoring method and apparatus that can significantly reduce the number of times of the setting process and the feature point deletion process.

【図面の簡単な説明】[Brief description of the drawings]

【図1】実施の形態による車両用後側方監視装置の構成
を示すブロック図である。
FIG. 1 is a block diagram showing a configuration of a vehicle rear side monitoring device according to an embodiment.

【図2】マスク画像形成の説明に供する略線図である。FIG. 2 is a schematic diagram for explaining mask image formation.

【図3】エッジ画像形成の説明に供する略線図である。FIG. 3 is a schematic diagram for explaining edge image formation.

【図4】図3の特徴点P1に対するマスク画像形成の説
明に供する略線図である。
4 is a schematic diagram for explaining mask image formation for a feature point P1 in FIG. 3;

【図5】マスク画像形成の説明に供する略線図である。FIG. 5 is a schematic diagram for explaining mask image formation.

【図6】エッジ画像形成の説明に供する略線図である。FIG. 6 is a schematic diagram for explaining edge image formation.

【図7】図6の特徴点P2に対するマスク画像形成の説
明に供する略線図である。
FIG. 7 is a schematic diagram for explaining mask image formation for a feature point P2 in FIG. 6;

【図8】特徴点削除処理の後に残ったエッジ画像を示す
略線図である。
FIG. 8 is a schematic diagram illustrating an edge image remaining after the feature point deletion processing.

【図9】実施の形態による車両用後側方監視装置の動作
の説明に供するフローチャートである。
FIG. 9 is a flowchart for explaining the operation of the vehicle rear side monitoring device according to the embodiment;

【図10】特徴点選別部による特徴点削除処理ルーチン
を示すフローチャートである。
FIG. 10 is a flowchart illustrating a feature point deletion processing routine performed by a feature point selection unit.

【図11】オプティカルフローの検出の説明に供する略
線図である。
FIG. 11 is a schematic diagram used for describing detection of an optical flow.

【図12】誤ったオプティカルフローが検出される場合
を説明するための略線図である。
FIG. 12 is a schematic diagram illustrating a case where an erroneous optical flow is detected.

【図13】誤ったオプティカルフローが検出される場合
を説明するための略線図である。
FIG. 13 is a schematic diagram illustrating a case where an erroneous optical flow is detected.

【符号の説明】[Explanation of symbols]

1 車両用後側方監視装置 2 ビデオカメラ(撮像手段) 5 特徴点選別部(特徴点選別手段) 6 ハイパスフィルタ(エッジ画像形成手段) REFERENCE SIGNS LIST 1 rear side monitoring device for vehicle 2 video camera (imaging means) 5 feature point selection unit (feature point selection means) 6 high-pass filter (edge image formation means)

Claims (8)

【特許請求の範囲】[Claims] 【請求項1】 走行している自車両から後側景を撮像
し、所定時間相前後する2コマの画像中の対応点の移動
をオプティカルフローとして検出し、自車両に対する後
方車両又は隣接車線を走行中の車両の相対関係を監視す
る車両用後側方監視方法において、 ある時点の撮像画像から特徴点を検出すると共に、当該
特徴点のうち当該ある時点の撮像画像の無限遠点(FO
E)を通って直線的に並ぶ特徴点を削除し、 前記ある時点の画像と時間的に相前後する画像中におい
て、削除されずに残った前記特徴点と当該撮像画像の無
限遠点とを結ぶ直線上の点を候補点として、削除されず
に残った前記特徴点に対応する対応点を検出し、 前記特徴点と前記対応点を結ぶベクトルをオプティカル
フローとして検出し、 前記オプティカルフローと前記無限遠点とに基づいて自
車両に対する後方車両又は隣接車線を走行中の車両の接
近の度合いを監視するようにしたことを特徴とする車両
用後側方監視方法。
1. An image of a rear view of a running own vehicle is captured, a movement of a corresponding point in two frames preceding and following a predetermined time is detected as an optical flow, and a rear vehicle or an adjacent lane to the own vehicle is detected. In a vehicular rear side monitoring method for monitoring a relative relationship of a running vehicle, a feature point is detected from a captured image at a certain time, and an infinite point (FO) of the captured image at the certain time among the characteristic points is detected.
E), removing the feature points linearly arranged through E), and in an image temporally before and after the image at a certain time, the feature points remaining without being deleted and the infinity point of the captured image are determined. Assuming a point on the connecting straight line as a candidate point, detecting a corresponding point corresponding to the feature point remaining without being deleted, detecting a vector connecting the feature point and the corresponding point as an optical flow, A rear side monitoring method for a vehicle, wherein the degree of approach of a vehicle running in a rear lane or an adjacent lane to the own vehicle is monitored based on the infinity point.
【請求項2】 前記特徴点を削除する際に、 前記特徴点を含む周辺画素からなる第1のマスク画像を
形成すると共に、当該第1のマスク画像に隣接しかつ前
記特徴点と前記無限遠点を通る直線上に第2のマスク画
像を形成し、 前記第1のマスク画像と前記第2のマスク画像の相関関
係を比較し、 前記第1のマスク画像と前記第2のマスク画像の相関性
が強いとき、前記特徴点を削除するようにしたことを特
徴とする請求項1に記載の車両用後側方監視方法。
2. The method according to claim 1, further comprising: forming a first mask image including peripheral pixels including the feature point, deleting the feature point, and adjoining the first mask image, and the feature point and the infinity. Forming a second mask image on a straight line passing through points; comparing a correlation between the first mask image and the second mask image; a correlation between the first mask image and the second mask image; 2. The method according to claim 1, wherein the characteristic point is deleted when the characteristic is strong.
【請求項3】 前記特徴点を削除する際に、 前記ある時点の撮像画像のエッジ画像を形成し、 当該エッジ画像におけるエッジ上の所定の点を特徴点と
して設定し、 当該特徴点を含む周辺画素からなる第1のマスク画像を
形成すると共に、当該第1のマスク画像に隣接しかつ当
該特徴点と前記無限遠点を通る直線上に第2のマスク画
像を形成し、 前記第1のマスク画像と前記第2のマスク画像の相関関
係を比較し、 前記第1のマスク画像と前記第2のマスク画像の相関性
が強いとき、前記特徴点を削除するようにしたことを特
徴とする請求項1に記載の車両用後側方監視方法。
3. When deleting the feature point, an edge image of the captured image at a certain point in time is formed, a predetermined point on an edge in the edge image is set as a feature point, and a periphery including the feature point is set. Forming a first mask image composed of pixels, forming a second mask image on a straight line that is adjacent to the first mask image and that passes through the feature point and the point at infinity; Comparing the correlation between the image and the second mask image, and deleting the feature point when the correlation between the first mask image and the second mask image is strong. Item 7. The method for monitoring a rear side of a vehicle according to Item 1.
【請求項4】 前記特徴点を削除する際に、 削除する特徴点と共に当該削除する特徴点が検出された
前記エッジ画像の直線部分を一括して削除するようにし
たことを特徴とする請求項1、請求項2又は請求項3に
記載の車両用後側方監視方法。
4. The method according to claim 1, wherein when the feature point is deleted, a straight line portion of the edge image in which the feature point to be deleted is detected is collectively deleted together with the feature point to be deleted. The vehicle rear side monitoring method according to claim 1, 2 or 3.
【請求項5】 撮像手段により走行している自車両から
後側景を撮像し、所定時間相前後する2コマの画像中の
対応点の移動をオプティカルフローとして検出し、自車
両に対する後方車両又は隣接車線を走行中の車両の相対
関係を監視する車両用後側方監視装置において、 ある時点の撮像画像から特徴点を検出すると共に、当該
特徴点のうち当該ある時点の撮像画像の無限遠点(FO
E)を通って直線的に並ぶ特徴点を削除する特徴点選別
手段と、 前記ある時点の画像と時間的に相前後する画像中におい
て、前記特徴点選別手段で削除されずに残った前記特徴
点と当該撮像画像の無限遠点とを結ぶ直線上の点を候補
点として、削除されずに残った前記特徴点に対応する対
応点を検出する対応点検出手段と、 前記特徴点と前記対応点を結ぶベクトルをオプティカル
フローとして検出するオプティカルフロー形成手段と、 前記オプティカルフローと前記無限遠点とに基づいて自
車両に対する後方車両又は隣接車線を走行中の車両の接
近の度合いを求めて危険度を判定する危険度判定手段と
を具えることを特徴とする車両用後側方監視装置。
5. An image of a rear view of an own vehicle traveling by an imaging means, and movement of a corresponding point in two frames preceding and succeeding a predetermined time is detected as an optical flow, and a rear vehicle or a rear vehicle with respect to the own vehicle is detected. In a vehicle rear side monitoring device that monitors a relative relationship between vehicles traveling in an adjacent lane, a feature point is detected from a captured image at a certain point, and an infinite point of the captured image at the certain point in time among the characteristic points. (FO
E) a feature point selection unit that deletes feature points that are lined up in a straight line through E); and in the image temporally preceding and succeeding the image at a certain time, the feature remaining without being deleted by the feature point selection unit. A point on a straight line connecting a point and an infinity point of the captured image as a candidate point, a corresponding point detecting means for detecting a corresponding point corresponding to the feature point remaining without being deleted, and the feature point and the correspondence Optical flow forming means for detecting a vector connecting points as an optical flow, and determining a degree of approach of a vehicle traveling in a rear vehicle or an adjacent lane with respect to the own vehicle based on the optical flow and the point at infinity to determine a degree of risk. And a danger determining means for determining a vehicle.
【請求項6】 前記特徴点選別手段は、 前記特徴点を含む周辺画素からなる第1のマスク画像を
形成すると共に、当該第1のマスク画像に隣接しかつ前
記特徴点と前記無限遠点を通る直線上に第2のマスク画
像を形成するマスク画像形成手段と、 前記第1のマスク画像と前記第2のマスク画像の相関関
係を比較する相互比較手段と、 前記第1のマスク画像と前記第2のマスク画像の相関性
が強いとき、前記特徴点を削除する特徴点削除手段とを
具えることを特徴とする請求項5に記載の車両用後側方
監視装置。
6. The feature point selecting means forms a first mask image including peripheral pixels including the feature point, and sets the feature point and the infinity point adjacent to the first mask image. Mask image forming means for forming a second mask image on a straight line passing therethrough; mutual comparing means for comparing the correlation between the first mask image and the second mask image; 6. The rear side monitoring device for a vehicle according to claim 5, further comprising a feature point deleting unit that deletes the feature point when the second mask image has a high correlation.
【請求項7】 前記特徴点選別手段は、 前記ある時点の撮像画像のエッジ画像を形成するエッジ
画像形成手段と、当該エッジ画像におけるエッジ上の所
定の点を特徴点として設定する特徴点設定手段と、 当該特徴点を含む周辺画素からなる第1のマスク画像を
形成すると共に、当該第1のマスク画像に隣接しかつ当
該特徴点と前記無限遠点を通る直線上に第2のマスク画
像を形成するマスク画像形成手段と、 前記第1のマスク画像と前記第2のマスク画像の相関関
係を比較する相互比較手段と、 前記第1のマスク画像と前記第2のマスク画像の相関性
が強いとき、前記特徴点を削除する特徴点削除手段とを
具えることを特徴とする請求項5に記載の車両用後側方
監視装置。
7. The feature point selecting means includes: an edge image forming means for forming an edge image of the captured image at a certain point in time; and a feature point setting means for setting a predetermined point on an edge in the edge image as a feature point. And forming a first mask image including peripheral pixels including the feature point, and forming a second mask image on a straight line adjacent to the first mask image and passing through the feature point and the point at infinity. A mask image forming means for forming; a mutual comparing means for comparing a correlation between the first mask image and the second mask image; and a strong correlation between the first mask image and the second mask image. 6. The rear side monitoring device for a vehicle according to claim 5, further comprising a feature point deleting unit that deletes the feature point.
【請求項8】 前記特徴点削除手段は、削除する特徴点
と共に当該削除する特徴点が検出された前記エッジ画像
の直線部分を一括して削除するようにしたことを特徴と
する請求項6又は請求項7に記載の車両用後側方監視装
置。
8. The feature point deleting means collectively deletes a straight line portion of the edge image in which the feature point to be deleted is detected, together with the feature point to be deleted. The vehicle rear side monitoring device according to claim 7.
JP18142097A 1997-07-07 1997-07-07 Vehicle rear side monitoring method and vehicle rear side monitoring device Expired - Fee Related JP3841323B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18142097A JP3841323B2 (en) 1997-07-07 1997-07-07 Vehicle rear side monitoring method and vehicle rear side monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18142097A JP3841323B2 (en) 1997-07-07 1997-07-07 Vehicle rear side monitoring method and vehicle rear side monitoring device

Publications (2)

Publication Number Publication Date
JPH1120546A true JPH1120546A (en) 1999-01-26
JP3841323B2 JP3841323B2 (en) 2006-11-01

Family

ID=16100466

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18142097A Expired - Fee Related JP3841323B2 (en) 1997-07-07 1997-07-07 Vehicle rear side monitoring method and vehicle rear side monitoring device

Country Status (1)

Country Link
JP (1) JP3841323B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001091289A (en) * 1999-09-17 2001-04-06 Data Tec:Kk Sensor unit
JP3300340B2 (en) * 1999-09-20 2002-07-08 松下電器産業株式会社 Driving support device
KR20170133751A (en) * 2016-05-26 2017-12-06 현대자동차주식회사 System and Method for Detecting Obstacle on the basis of motion information

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06130076A (en) * 1992-10-15 1994-05-13 Daihatsu Motor Co Ltd Detecting method of running vehicle at obliquely back position
JPH06282655A (en) * 1993-03-30 1994-10-07 Toyota Motor Corp Device for recognizing moving object

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06130076A (en) * 1992-10-15 1994-05-13 Daihatsu Motor Co Ltd Detecting method of running vehicle at obliquely back position
JPH06282655A (en) * 1993-03-30 1994-10-07 Toyota Motor Corp Device for recognizing moving object

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001091289A (en) * 1999-09-17 2001-04-06 Data Tec:Kk Sensor unit
JP3300340B2 (en) * 1999-09-20 2002-07-08 松下電器産業株式会社 Driving support device
US6993159B1 (en) 1999-09-20 2006-01-31 Matsushita Electric Industrial Co., Ltd. Driving support system
KR20170133751A (en) * 2016-05-26 2017-12-06 현대자동차주식회사 System and Method for Detecting Obstacle on the basis of motion information

Also Published As

Publication number Publication date
JP3841323B2 (en) 2006-11-01

Similar Documents

Publication Publication Date Title
US6246961B1 (en) Collision alarm method and apparatus for vehicles
JPH0750769A (en) Backward side supervising method for vehicle
JP3239521B2 (en) Mobile object recognition device
JP2003296736A (en) Device for detecting obstacle and method thereof
US11912199B2 (en) Trailer hitching assist system with trailer coupler detection
JP2002308030A (en) Periphery monitoring system for vehicle
JPH06107096A (en) Forward monitoring method for vehicle
JP2000127849A (en) Rear and side monitor for vehicle
JP2002314989A (en) Peripheral monitor for vehicle
JP2994170B2 (en) Vehicle periphery monitoring device
JP2003281700A (en) Cutting-in vehicle detecting device and method
JP4798576B2 (en) Attachment detection device
JP3464368B2 (en) Rear side monitoring device for vehicles
JPH0973529A (en) Two-wheeled vehicle monitor device
JP2002104113A (en) Rear monitoring device
JP3729005B2 (en) Vehicle rear monitoring device
JPH1120546A (en) Readward/sideway monitering method for vehicle and device thereof
JP2000011298A (en) Read and side monitoring device for vehicle
JPH1040490A (en) Road monitoring device
JP2005309660A (en) Device supporting vehicle in turning right or left
JP2001023092A (en) Monitoring device for vehicle peripheral area
JP2000242900A (en) Device for detecting interruption vehicle
JPH1186199A (en) Method and device for detecting traffic lane
JP2003187228A (en) Device and method for recognizing vehicle
JP2003306102A (en) Passing vehicle detection device, and rear side alarm device for drive supporting system

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060725

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20060804

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060804

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090818

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100818

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110818

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120818

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130818

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees