JPH06247246A - Approaching car monitoring device - Google Patents
Approaching car monitoring deviceInfo
- Publication number
- JPH06247246A JPH06247246A JP5038163A JP3816393A JPH06247246A JP H06247246 A JPH06247246 A JP H06247246A JP 5038163 A JP5038163 A JP 5038163A JP 3816393 A JP3816393 A JP 3816393A JP H06247246 A JPH06247246 A JP H06247246A
- Authority
- JP
- Japan
- Prior art keywords
- optical flow
- flow
- image
- optical
- approaching vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【産業上の利用分野】この発明は、自動車に搭載し車両
周辺の状況を監視する装置、特にイメージセンサ等の光
学系により撮像された画像を用いて、接近する車両を検
出する接近車監視装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus mounted on an automobile for monitoring the condition around the vehicle, and more particularly, an approaching vehicle monitoring apparatus for detecting an approaching vehicle using an image picked up by an optical system such as an image sensor. It is about.
【０００２】[0002]
【従来の技術】従来、時系列的に連続した画像から移動
物体を検出する方法としては、画像間の差分による検出
手法が用いられており、この手法を利用した技術として
特開平４−２９４７２号公報に開示されているような接
近車監視装置がある。図１１は例えば画像処理ハンドブ
ック（１９８７年昭晃堂発行）第３７５頁に示された方
法を示す説明図である。図１１において４０、４１は時
間的に異なる２枚の入力画像、４４は画像４０から画像
４１を差分した出力画像である。この方法では２枚の画
像４０、４１中に移動物体が存在すれば、得られた差分
画像４４には濃度レベルが正の領域４５と、濃度レベル
が０の領域４７と、濃度レベルが負の領域４６が得ら
れ、濃度レベルが正の領域４５と負の領域４６が画像中
で移動した領域、濃度レベルが０の領域は変化しなかっ
た領域（背景）背景部分であると考えることができる。2. Description of the Related Art Conventionally, as a method for detecting a moving object from images that are continuous in time series, a detection method based on a difference between images has been used. As a technology using this method, Japanese Patent Laid-Open No. 4-29472. There is an approaching vehicle monitoring device as disclosed in the official gazette. FIG. 11 is an explanatory diagram showing the method shown on page 375 of the image processing handbook (published by Shokoido in 1987). In FIG. 11, reference numerals 40 and 41 denote two input images temporally different from each other, and 44 denotes an output image obtained by subtracting the image 41 from the image 40. In this method, if a moving object is present in the two images 40 and 41, the obtained difference image 44 has a region 45 where the density level is positive, a region 47 where the density level is 0, and a region where the density level is negative. It can be considered that the area 46 is obtained, the area 45 where the density level is positive and the area 46 where the density level is negative are moved in the image, and the area where the density level is 0 is the unchanged area (background) background portion. .
【０００３】図１２（ａ）、（ｂ）は差分画像による従
来の方法の説明図である。図において、２０、２５は図
１１に示す画像４０のＡ−Ａ線での画像を１次元信号で
表したものであり、２１、２６は画像４１のＡ−Ａ線で
の画像を１次元信号で表したものである。各信号２０、
２１、２５、２６において、横方向は画像の位置、縦方
向は濃度レベルを示す。従来の差分法により、移動物体
を検出するためには、２枚の画像２０、２１を差分した
画像信号７０において、２つの閾値Ｔ１、Ｔ２を設定
し、濃度の変化領域７１を抽出する。領域７１の正負の
位置により移動方向を決定する。即ち、濃度の変化領域
が正から負となる方向を移動方向とすると、図１２
（ａ）では矢印７２が移動方向となる。12A and 12B are explanatory views of a conventional method using a difference image. In the figure, 20 and 25 are images of the image 40 shown in FIG. 11 taken along the line AA, and 21 and 26 are images of the image 41 taken along the line AA, which are shown as one-dimensional signals. It is represented by. Each signal 20,
21, 25, and 26, the horizontal direction indicates the position of the image, and the vertical direction indicates the density level. In order to detect a moving object by the conventional difference method, two threshold values T1 and T2 are set in the image signal 70 obtained by subtracting the two images 20 and 21, and the density change region 71 is extracted. The moving direction is determined by the positive and negative positions of the area 71. That is, assuming that the moving direction is the direction in which the density change region changes from positive to negative,
In (a), the arrow 72 is the moving direction.
【０００４】しかし、画像によって濃度が異なるため、
２つの閾値Ｔ１、Ｔ２は一定とはならず処理する画像毎
に最適な閾値を決定する必要が生じ、様々な画像に対応
するのは実用上困難である。特に、物体と背景の濃度差
が小さい場合には最適な閾値を決定するのは容易でない
という問題が残る。更に図１２（ｂ）に示す２枚の画像
２５、２６の様に背景と物体の濃度差が逆になっている
場合には、差分画像７３から抽出された変化領域７４は
図のようになる。従って、変化領域の正負で移動方向を
判定すると、移動方向は矢印７５のように矢印７４と正
反対の方向に判定されてしまう。However, since the density varies depending on the image,
The two threshold values T1 and T2 are not constant, and it is necessary to determine an optimum threshold value for each image to be processed, and it is practically difficult to deal with various images. Especially, when the density difference between the object and the background is small, there remains a problem that it is not easy to determine the optimum threshold value. Further, when the density difference between the background and the object is reversed as in the two images 25 and 26 shown in FIG. 12B, the change area 74 extracted from the difference image 73 becomes as shown in the figure. . Therefore, when the moving direction is determined based on whether the change area is positive or negative, the moving direction is determined to be a direction opposite to the arrow 74 as indicated by an arrow 75.
【０００５】又、従来のイメージセンサ等により撮像さ
れた画像を用いた車両周辺の監視装置、特に後方車両の
監視装置としては、特公平３−４７２１３号公報に開示
されたような装置がある。これは図１２で示したような
テレビカメラ等で撮像した後方画像８０上にマーカー８
１を付して後方車両の位置を判断しやすいようにしたも
のである。Further, as a conventional monitoring device for the surroundings of a vehicle using an image picked up by an image sensor or the like, particularly a monitoring device for a rear vehicle, there is a device disclosed in Japanese Patent Publication No. 3-47213. This is the marker 8 on the rear image 80 taken by a television camera as shown in FIG.
The number 1 is added so that the position of the rear vehicle can be easily determined.
【０００６】[0006]
【発明が解決しようとする課題】上述したように、従来
の連続画像間の差分画像による移動物体の検出方法で
は、処理画像によって濃度が異なるため、２つの閾値Ｔ
１、Ｔ２は一定とはならず、処理する画像毎に最適な閾
値を決定する必要が生じるため様々な画像に対応するの
は実用上困難である。特に物体と背景の濃度差が小さい
場合には最適な閾値を決定することは容易ではないとい
う問題点がある。又、背景と物体の濃度差が逆になって
いる場合には、誤判定することになるという問題点もあ
る。更に、移動する車両からの撮像では接近車両や障害
物などの移動物体のみならず、それらの背景も動くた
め、差分画像から背景と画像上を動く移動物体とを分離
するのは非常に困難であるという問題点もある。As described above, in the conventional method of detecting a moving object by the difference image between continuous images, the density differs depending on the processed image, and therefore two threshold values T
Since 1 and T2 are not constant and it is necessary to determine an optimum threshold value for each image to be processed, it is practically difficult to deal with various images. Especially, when the difference in density between the object and the background is small, it is not easy to determine the optimum threshold value. There is also a problem that an erroneous determination will be made when the density difference between the background and the object is opposite. Furthermore, in imaging from a moving vehicle, not only moving objects such as approaching vehicles and obstacles but also their backgrounds move, so it is very difficult to separate the background and moving objects moving on the image from the difference image. There is also the problem that there are.
【０００７】また、特公平３−４７２１３号公報に開示
されているようなビデオカメラ等で撮像した画像８０上
にマーカー８１を付す技術は、単に画像を表示する技術
にすぎず、ドライバが表示面を見て経験的に判断するも
ので、画像を処理して後方車の接近を判断する機能を備
えた技術ではなかった。Further, the technique of attaching a marker 81 on an image 80 taken by a video camera or the like as disclosed in Japanese Patent Publication No. 3-47213 is merely a technique for displaying an image, and the driver is However, it is not a technology that has a function of processing an image to determine the approach of a rear vehicle.
【０００８】この発明は上記のような問題点を解消する
ためになされたもので、時間的に異なる２枚の画像から
画像上での見かけの動きの速度分布を示す大きさと方向
を有するオプティカルフローを求め、これを利用して移
動物体とその移動方向を検出することにより、上記の差
分画像を使った移動体検出法に比べ、２つの閾値Ｔ１、
Ｔ２を画像毎に設定する必要がなく、濃度差が逆になっ
ているときも移動方向を正しく判定でき、しかも移動車
から撮像したような、現実上の背景も移動する動画像に
対しても、実質上の背景と接近車のような移動体とを分
離し得、移動体のみ、特に接近車のみを検出することが
できる接近車監視装置を得ることを目的としている。The present invention has been made in order to solve the above problems, and an optical flow having a size and a direction showing an apparent motion velocity distribution on an image from two images temporally different from each other. Is obtained and the moving object and its moving direction are detected by using this, as compared with the moving object detection method using the difference image, two threshold values T1,
It is not necessary to set T2 for each image, the moving direction can be correctly determined even when the density difference is reversed, and even for a moving image in which the actual background is moving such as captured from a moving vehicle. An object of the present invention is to provide an approaching vehicle monitoring device capable of separating a substantial background from a moving body such as an approaching vehicle and detecting only the moving body, particularly only the approaching vehicle.
【０００９】更に、走行中の道路の凹凸による自車両が
バウンドから生じた動画像の揺れや、複雑背景により発
生するオプティカルフローのノイズを除去し、接近車両
の検出をより正確に行える接近車監視装置を得ることを
も目的としている。Further, the approaching vehicle monitoring can be carried out more accurately so as to remove the shaking of the moving image caused by the bouncing of the own vehicle due to the unevenness of the running road and the noise of the optical flow generated by the complicated background to detect the approaching vehicle more accurately. It is also intended to obtain a device.
【００１０】[0010]
【課題を解決するための手段】この発明の請求項１に係
る接近車監視装置は、車両に設けられ、この車両より所
定の方向を撮像する撮像手段と、この撮像手段により撮
像された画面内の所定の位置に１つ以上の領域を設定
し、その領域内で時系列的に異なる２枚の画像から画像
上での速度分布を表す大きさと方向を有するオプティカ
ルフローを求めるオプティカルフロー演算手段と、この
オプティカルフロー演算手段により上記各領域内で得ら
れたオプティカルフローのうち、それぞれの領域で設定
した一定値以上の大きさを持つオプティカルフローの方
向を出力するオプティカルフローの方向検出手段と、上
記それぞれの領域内の所定の位置に更に１つ以上のフロ
ー監視領域を設定し、この監視領域内で上記オプティカ
ルフローの方向検出手段により得られた各々のオプティ
カルフローの方向を監視し、接近車が存在する場合に仮
定される接近車の画像上での動きの方向と同様の方向を
持つオプティカルフローを抽出するフローパターン抽出
手段と、このフローパターン抽出手段により上記フロー
監視領域内で抽出されたオプティカルフローから接近車
を検出する接近車検出手段とを備えたものである。An approaching vehicle monitoring device according to claim 1 of the present invention is provided in a vehicle, and image pickup means for picking up an image in a predetermined direction from the vehicle, and a screen image picked up by the image pickup means. An optical flow calculating means for setting one or more areas at predetermined positions in the area, and obtaining an optical flow having a size and a direction representing a velocity distribution on the image from two images that are different in time series in the area. Among the optical flows obtained in each of the regions by the optical flow calculation means, an optical flow direction detecting means for outputting a direction of the optical flow having a size equal to or larger than a constant value set in each area, One or more flow monitoring areas are set at a predetermined position in each area, and the direction of the optical flow is detected in this monitoring area. Flow pattern extraction means for monitoring the direction of each optical flow obtained by the step and extracting an optical flow having a direction similar to the direction of movement on the image of the approaching vehicle assumed when an approaching vehicle exists. And an approaching vehicle detecting means for detecting an approaching vehicle from the optical flow extracted in the flow monitoring area by the flow pattern extracting means.
【００１１】車両に設けられ、この車両より所定の方向
を撮像する撮像手段と、この撮像手段により撮像された
画面内の所定の位置に１つ以上の領域を設定し、その領
域内で時系列的に異なる２枚の画像から画像上での速度
分布を表す大きさと方向を有するオプティカルフローを
求めるオプティカルフロー演算手段と、このオプティカ
ルフロー演算手段により上記各領域内で得られたオプテ
ィカルフローのうち、それぞれの領域で設定した一定値
以上の大きさを持つオプティカルフローの方向を出力す
るオプティカルフローの方向検出手段と、上記それぞれ
の領域内の所定の位置に更に１つ以上のフロー監視領域
を設定し、この監視領域内で上記オプティカルフローの
方向検出手段により得られた各々のオプティカルフロー
の方向を監視し、接近車が存在する場合に仮定される接
近車の画像上での動きの方向と同様の方向を持つオプテ
ィカルフローを抽出するフローパターン抽出手段と、こ
のフローパターン抽出手段により上記フロー監視領域内
で抽出されたオプティカルフローから接近車を検出する
接近車検出手段と、上記フローパターン抽出手段によっ
て抽出された各オプティカルフローに対し、その値の大
きさ、その近傍に抽出されたオプティカルフローを持つ
画素がどれだけあるかを判断することにより、これらの
オプティカルフローがノイズであるかどうかを判断し、
ノイズと判断したオプティカルフローはこれを除去する
一方、接近車のオプティカルフローと判断したものはそ
の画素及びその近傍におけるオプティカルフローの範囲
を広げ強調するオプティカルフロー強調手段と、このオ
プティカルフロー強調手段により強調されたオプティカ
ルフローのうち、時系列的に連続して抽出されないオプ
ティカルフローをノイズとして除去するノイズ除去手段
とを備えたものである。An image pickup means is provided on the vehicle for picking up an image in a predetermined direction from the vehicle, and at least one area is set at a predetermined position on the screen imaged by the image pickup means. An optical flow calculating means for obtaining an optical flow having a size and a direction representing a velocity distribution on the image from two different images, and an optical flow obtained in each of the regions by the optical flow calculating means, An optical flow direction detecting means for outputting a direction of the optical flow having a size equal to or larger than a certain value set in each area, and one or more flow monitoring areas are further set at predetermined positions in each area. , Monitoring the direction of each optical flow obtained by the optical flow direction detection means in this monitoring region, Flow pattern extracting means for extracting an optical flow having a direction similar to the direction of movement on the image of an approaching vehicle assumed when an oncoming vehicle exists, and the flow pattern extracting means for extracting in the flow monitoring region. Approaching vehicle detection means for detecting an approaching vehicle from the optical flow extracted, and for each optical flow extracted by the flow pattern extraction means, the magnitude of the value, which pixel in the vicinity has the optical flow extracted By determining if these optical flows are noise,
The optical flow that is judged to be noise removes this, while the optical flow that is judged to be the optical flow of an approaching vehicle is emphasized by the optical flow emphasizing means that expands and expands the range of the optical flow in the pixel and its vicinity, and this optical flow emphasizing means. Of the generated optical flows, a noise removing unit that removes, as noise, optical flows that are not continuously extracted in time series is provided.
【００１２】[0012]
【作用】この発明の請求項１に係る接近車監視装置によ
れば、車両に設けられた撮像手段がこの車両より所定の
方向を撮像する。また、オプティカルフロー演算手段が
撮像手段により撮像された画面内の所定の位置に１つ以
上の領域を設定し、その領域内で時系列的に異なる２枚
の画像から画像上での速度分布を表す大きさと方向を有
するオプティカルフローを求める。更に、オプティカル
フローの方向検出手段がオプティカルフロー演算手段に
より上記各領域内で得られたオプティカルフローのう
ち、それぞれの領域で設定した一定値以上の大きさを持
つオプティカルフローの方向を出力する。また、フロー
パターン抽出手段が上記それぞれの領域内の所定の位置
に更に１つ以上のフロー監視領域を設定し、この監視領
域内で上記オプティカルフローの方向検出手段により得
られた各々のオプティカルフローの方向を監視し、接近
車が存在する場合に仮定される接近車の画像上での動き
の方向と同様の方向を持つオプティカルフローを抽出す
る。そして、接近車検出手段がこのフローパターン抽出
手段により上記フロー監視領域内で抽出されたオプティ
カルフローから接近車を検出する。According to the approaching vehicle monitoring device of the first aspect of the present invention, the image pickup means provided in the vehicle picks up an image in a predetermined direction from the vehicle. Further, the optical flow calculation means sets one or more areas at predetermined positions within the screen imaged by the imaging means, and calculates the velocity distribution on the image from two images that are different in time series within the area. Find the optical flow with the indicated size and direction. Further, the optical flow direction detecting means outputs the direction of the optical flow having a size equal to or larger than a certain value set in each area, among the optical flows obtained in each area by the optical flow calculating means. Further, the flow pattern extracting means further sets one or more flow monitoring areas at predetermined positions in the respective areas, and within each of the monitoring areas, the optical flow direction detecting means of the optical flow direction detecting means The direction is monitored, and the optical flow having the same direction as the direction of movement on the image of the approaching vehicle assumed when the approaching vehicle exists is extracted. Then, the approaching vehicle detection means detects the approaching vehicle from the optical flow extracted in the flow monitoring area by the flow pattern extraction means.
【００１３】また、この発明の請求項２に係る接近車監
視装置によれば、車両に設けられた撮像手段がこの車両
より所定の方向を撮像する。また、オプティカルフロー
演算手段が撮像手段により撮像された画面内の所定の位
置に１つ以上の領域を設定し、その領域内で時系列的に
異なる２枚の画像から画像上での速度分布を表す大きさ
と方向を有するオプティカルフローを求める。更に、オ
プティカルフローの方向検出手段がオプティカルフロー
演算手段により上記各領域内で得られたオプティカルフ
ローのうち、それぞれの領域で設定した一定値以上の大
きさを持つオプティカルフローの方向を出力する。ま
た、フローパターン抽出手段が上記それぞれの領域内の
所定の位置に更に１つ以上のフロー監視領域を設定し、
この監視領域内で上記オプティカルフローの方向検出手
段により得られた各々のオプティカルフローの方向を監
視し、接近車が存在する場合に仮定される接近車の画像
上での動きの方向と同様の方向を持つオプティカルフロ
ーを抽出する。そして、接近車検出手段がこのフローパ
ターン抽出手段により上記フロー監視領域内で抽出され
たオプティカルフローから接近車を検出する。また、オ
プティカルフロー抽出手段が上記フローパターン抽出手
段によって抽出された各オプティカルフローに対し、そ
の値の大きさ、その近傍に抽出されたオプティカルフロ
ーを持つ画素がどれだけあるかを判断することにより、
これらのオプティカルフローがノイズであるかどうかを
判断し、ノイズと判断したオプティカルフローはこれを
除去する一方、接近車のオプティカルフローと判断した
ものはその画素及びその近傍におけるオプティカルフロ
ーの範囲を広げ強調する。そして、ノイズ除去手段がオ
プティカルフロー強調手段により強調されたオプティカ
ルフローのうち、時系列的に連続して抽出されないオプ
ティカルフローをノイズとして除去する。Further, according to the approaching vehicle monitoring device of the second aspect of the present invention, the image pickup means provided in the vehicle picks up an image in a predetermined direction from the vehicle. Further, the optical flow calculation means sets one or more areas at predetermined positions within the screen imaged by the imaging means, and calculates the velocity distribution on the image from two images that are different in time series within the area. Find the optical flow with the indicated size and direction. Further, the optical flow direction detecting means outputs the direction of the optical flow having a size equal to or larger than a certain value set in each area, among the optical flows obtained in each area by the optical flow calculating means. Further, the flow pattern extraction means further sets one or more flow monitoring areas at predetermined positions in the respective areas,
The direction of each optical flow obtained by the optical flow direction detection means is monitored in this monitoring area, and a direction similar to the direction of movement on the image of the approaching vehicle assumed when an approaching vehicle exists Extract the optical flow with. Then, the approaching vehicle detection means detects the approaching vehicle from the optical flow extracted in the flow monitoring area by the flow pattern extraction means. Further, the optical flow extraction means, for each optical flow extracted by the flow pattern extraction means, the magnitude of the value, by determining how many pixels with the optical flow extracted in the vicinity,
It is judged whether or not these optical flows are noise, and the optical flows judged to be noise are removed, while those judged to be the optical flows of approaching vehicles are expanded and emphasized in the range of the optical flow in the pixel and its vicinity. To do. Then, the noise removing unit removes, as noise, the optical flow that is not continuously extracted in time series among the optical flows that are emphasized by the optical flow emphasizing unit.
【００１４】[0014]
実施例１．以下、この発明の実施例１を後方接近車を監
視する後方接近車装置に例をとって図について説明す
る。図１は実施例１を示すブロック図である。１、２は
時間的に異なる２枚の画像を形成するための画像信号出
力手段、３は画像信号出力手段１、２に接続され、これ
ら画像信号出力手段１、２より得られる画像内の所定の
位置に１つ以上の領域を設定し、その領域内で速度分布
を示す大きさと方向を有するオプティカルフローを計算
するオプティカルフロー演算手段、４はオプティカルフ
ロー演算手段３に接続され、オプティカルフロー演算手
段３により得られたオプティカルフローのうち、それぞ
れの領域で設定した一定値以上の大きさを持つオプティ
カルフローの方向を出力するオプティカルフローの方向
検出手段、５は上記それぞれの演算領域内の所定の位置
に更に１つ以上のフロー監視領域を設定し、このフロー
監視領域内で、上記オプティカルフローの方向検出手段
４により得られた各々のオプティカルフローの方向を監
視し、後方接近車が存在する場合に仮定される接近車の
画像上での動きの方向と同様の方向を持つオプティカル
フローを抽出するフローパターン抽出手段、６はフロー
パターン抽出手段５に接続され、フロー監視領域内でフ
ローパターン抽出法によって得られた各オプティカルフ
ローに対し、その値の大きさや、その近傍に同様にして
抽出されたオプティカルフローがどれだけあるか（抽出
されたオプティカルフローを持つ近傍画素の面積）によ
り、これらのオプティカルフローがノイズであるかどう
かを判断し、ノイズと判断したオプティカルフローを除
去し後方接近車のフローと判断したものはその画素及び
その近傍画素のオプティカルフローの範囲を広げ強調す
るオプティカルフロー強調手段、７はこのオプティカル
フロー強調手段６により検出強調されたオプティカルフ
ローのうち、時系列的に連続して抽出されないオプティ
カルフローをノイズとして除去するノイズ除去手段、８
はノイズ除去手段７に接続され、ノイズ除去手段７によ
り得られたオプティカルフローから後方接近車を検出す
る後方接近車検出手段である。Example 1. Embodiment 1 of the present invention will be described below with reference to the drawings, taking a rear approaching vehicle device for monitoring a rear approaching vehicle as an example. FIG. 1 is a block diagram showing the first embodiment. Image signal output means 1 and 2 for forming two images different in time are connected to the image signal output means 1 and 2 and 3 are predetermined in the images obtained by these image signal output means 1 and 2. The optical flow calculating means 4 for setting one or more areas at the position and calculating an optical flow having a size and a direction showing the velocity distribution within the area is connected to the optical flow calculating means 3 and the optical flow calculating means Of the optical flows obtained in step 3, the optical flow direction detecting means for outputting the direction of the optical flow having a size equal to or larger than a certain value set in each region is a predetermined position in each of the calculation regions. Further, one or more flow monitoring areas are set in the flow monitoring area, and the optical flow direction detecting means 4 is used in the flow monitoring area. Flow pattern extraction means for monitoring the direction of each of the optical flows obtained, and extracting an optical flow having a direction similar to the direction of movement on the image of the approaching vehicle assumed when a rear approaching vehicle exists, 6 Is connected to the flow pattern extraction means 5, and for each optical flow obtained by the flow pattern extraction method within the flow monitoring area, the magnitude of the value and how many optical flows are similarly extracted in the vicinity thereof. Whether or not these optical flows are noise is determined by the or (the area of the neighboring pixels that have the extracted optical flow), the optical flow that is determined to be noise is removed, and the one that is determined to be the flow of the rear approaching vehicle is Optical flow enhancement for expanding and enhancing the optical flow range of a pixel and its neighboring pixels Stage, 7 noise removing means for removing of the optical flows detected emphasized by the optical flow enhancement means 6, time series optical flows are not extracted continuously as noise, 8
Is a rear approaching vehicle detecting means that is connected to the noise removing means 7 and detects a rear approaching vehicle from the optical flow obtained by the noise removing means 7.
【００１５】次に実施例１の基本となるオプティカルフ
ロー法の詳細について説明する。オプティカルフローと
は、時間的に異なる２枚の画像から画像の空間方向の濃
度勾配と時間方向の濃度勾配を用いて画像上で移動した
物体の移動ベクトルである。このオプティカルフローを
求める方法は多数提案されているが、実施例１では一般
的にグローバル法と呼ばれる方法「ビー．ケイ．ピー．
ホーンとビー．ジー．シャンクによる１９８１年発行の
人工知能第１７巻１乃至３号のオプティカルフローの決
定（B.K.P.Forn＆B.G.Schunck、“Determining optical
flow"、Artificial Intelligence.Vol.17.no.1-3(198
1)」（第205頁〜第210頁参照)を採用した。以下にその
方法を説明する。Next, details of the optical flow method, which is the basis of the first embodiment, will be described. The optical flow is a movement vector of an object that has moved on an image from two temporally different images using a spatial density gradient and a temporal density gradient of the image. Although many methods for obtaining the optical flow have been proposed, in the first embodiment, a method generally called a global method “B.K.P.
Horn and Bee. Gee. Shank's optical flow determination for Artificial Intelligence Vol. 17 No. 1 to No. 3 issued in 1981 (BKPForn & B.G.Schunck, “Determining optical
flow ", Artificial Intelligence.Vol.17.no.1-3 (198
1) ”(see pages 205 to 210). The method will be described below.
【００１６】ある時刻ｔにおける画像中のある座標
（ｘ，ｙ）の濃度をＥ（ｘ，ｙ，ｔ）で表わしたとき、
物体の濃度は時間的に不変であると仮定すれば、下に示
す近似式（１）が成立する。When the density at a certain coordinate (x, y) in the image at a certain time t is represented by E (x, y, t),
Assuming that the density of an object is time-invariant, the following approximate expression (1) is established.
【００１７】 Ｅｘ・＋Ｅｙ・ｖ＋Ｅｔ＝０ （１） ここで、Ｅｘ、Ｅｙは空間方向（ｘ方向、ｙ方向）の濃
度勾配、Ｅｔは時間方向（ｔ方向）の濃度勾配 ｕ、ｖはそれぞれｘ方向、ｙ方向の速度成分である。Ex · + Ey · v + Et = 0 (1) where Ex and Ey are concentration gradients in the spatial direction (x direction, y direction), Et is a concentration gradient in the time direction (t direction) u and v are x, respectively. Direction and y direction velocity components.
【００１８】式（１）に局所的な速度は滑らかに変化す
るという仮定を加え、次の式（２）で与えられる誤差関
数を最小にするｕ、ｖが求めるオプティカルフローの速
度成分であるとするものである。Adding the assumption that the local velocity changes smoothly to equation (1), u and v that minimize the error function given by the following equation (2) are the velocity components of the optical flow to be obtained. To do.
【００１９】 ∫∫（ｅｂ2 ＋ｅｃ2 ）ｄｘｄｙ （２） ここで、 ｅｂ＝ Ｅｘ・ｕ＋Ｅｙ／ｖ＋Ｅｔ ｅｃ2 ＝（δｕ／δｘ）2＋（δｕ／δｙ）2＋（δｖ／
δｘ）2＋（δｖ／δｙ）2である。∫∫ (eb 2 + ec 2 ) dxdy (2) where eb = Ex · u + Ey / v + Et ec 2 = (δu / δx) 2 + (δu / δy) 2 + (δv /
δx) 2 + (δv / δy) 2 .
【００２０】図２、図３はこのオプティカルフロー法を
示す説明図である。図２は連続画像４０、４１及びこの
２枚の連続画像４０、４１における物体の位置関係とオ
プティカルフローの関係を表わして２次元画像４２を示
したものである。今、図２に示したように画像４０にお
ける物体４８が画像４１上で４９で示す位置に移動した
と考える。図３（ａ）（ｂ）は図２における連続画像４
０、４１のＢ−Ｂ線における画像の濃度を１次元信号で
表したものであり、２０、２５は画像１における濃度レ
ベルを示す信号、２１、２６は画像２における濃度レベ
ルを示す信号、実線矢印２２はオプティカルフロー、点
線矢印２３は空間的な濃度勾配、一点鎖線矢印２４は時
間的な濃度勾配を示す。このオプティカルフローの向き
は図３（ｂ）に示すように背景と物体の濃度差が逆にな
っている画像信号２５、画像信号２６の様な場合でも変
わらない。この性質は図２の２次元画像４２において４
３のようなオプティカルフローとして得られる。図２に
示すように、このような連続画像４０、４１から得られ
るオプティカルフローは背景との濃度差がある（物体の
エッジ部分）において、空間的な濃度勾配２３と時間的
な濃度勾配２４のベクトル和２２（図３）、４３（図
２）であるとして与えられる。FIG. 2 and FIG. 3 are explanatory views showing this optical flow method. FIG. 2 shows a two-dimensional image 42 showing the continuous images 40 and 41 and the relationship between the positional relationship of the objects and the optical flow in the two continuous images 40 and 41. It is now considered that the object 48 in the image 40 has moved to the position indicated by 49 on the image 41 as shown in FIG. 3A and 3B are continuous images 4 in FIG.
The densities of the images on the lines B-B of 0 and 41 are represented by a one-dimensional signal, 20 and 25 are signals indicating the density level of the image 1, 21 and 26 are signals indicating the density level of the image 2, and the solid line An arrow 22 indicates an optical flow, a dotted arrow 23 indicates a spatial concentration gradient, and a chain line arrow 24 indicates a temporal concentration gradient. The direction of this optical flow does not change even in the case of the image signal 25 and the image signal 26 in which the density difference between the background and the object is reversed as shown in FIG. This property is 4 in the two-dimensional image 42 of FIG.
It is obtained as an optical flow such as 3. As shown in FIG. 2, the optical flow obtained from such continuous images 40 and 41 has a spatial density gradient 23 and a temporal density gradient 24 when there is a density difference from the background (edge portion of the object). Given as being the vector sum 22 (FIG. 3), 43 (FIG. 2).
【００２１】図４は高速道路を走行中の自車両からイメ
ージセンサ等により撮像した後方画像を示したものであ
る。図４の画像３０、画像３１は接近してくる２台の後
方車５０、５１を捕えた連続画像である。この２枚の連
続画像３０、３１上の図５に示したような位置にオプテ
ィカルフローの演算領域５２を設定し、該演算領域内で
上記に説明した方法でオプティカルフローを算出する。
これがオプティカルフロー演算手段３である。FIG. 4 shows a rear image taken by an image sensor or the like from a vehicle running on a highway. Images 30 and 31 in FIG. 4 are continuous images of two approaching rear vehicles 50 and 51. The optical flow calculation area 52 is set at the position shown in FIG. 5 on the two continuous images 30 and 31, and the optical flow is calculated in the calculation area 52 by the method described above.
This is the optical flow calculation means 3.
【００２２】次にオプティカルフロー演算手段３により
得られたオプティカルフローの大きさに対しある閾値を
設定し、この閾値以上のものについてのみその方向を図
６（ａ）の１０〜１７に示すような８方向に量子化して
出力し、それ以下のオプティカルフローは全てその大き
さを０とした。実施例１では上記のオプティカルフロー
演算領域５２におけるオプティカルフローの閾値を０．
１とした。これにより、イメージセンサの特性やイメー
ジセンサを搭載している自車両の微細な揺れ等から生じ
る後方画像の微妙な揺れに対応したオプティカルフロー
等が背景とみなされ０になる。この様にして得られたオ
プティカルフローの方向を２次元画像で示したものは図
６（ｂ）である。図に示したように、上記のオプティカ
ルフローの方向検出手段４により接近車や白線、標識な
どコントラストの大きい背景のオプティカルフローが出
力される。Next, a threshold value is set for the magnitude of the optical flow obtained by the optical flow calculation means 3, and only for those values larger than this threshold value, the directions are as shown in 10-17 of FIG. 6 (a). Quantization was performed in eight directions and output, and all optical flows below that were set to 0. In the first embodiment, the optical flow threshold value in the optical flow calculation area 52 is set to 0.
It was set to 1. As a result, the optical flow or the like corresponding to the subtle shaking of the rear image caused by the characteristics of the image sensor or the slight shaking of the vehicle equipped with the image sensor is regarded as the background, and becomes zero. FIG. 6B shows a two-dimensional image showing the direction of the optical flow thus obtained. As shown in the figure, the optical flow direction detection means 4 outputs an optical flow of a background such as an approaching vehicle, a white line or a sign having a high contrast.
【００２３】上記のオプティカルフローに対し、図５の
５３、５４の様に左右にフロー監視領域（Ｌ、Ｒ領域）
を設定し、この領域の中で後方接近車の動きの方向と想
定されるものと同様の方向を持つオプティカルフローを
抽出する。Ｒ領域５３では、後方接近車５１が動くと仮
定される１４、１５の方向のフローを持つオプティカル
フローを、Ｌ領域５４では後方接近車５２が動くと仮定
される１０、１７の方向のフローを持つオプティカルフ
ローを抽出する。このフローパターン抽出手段５により
抽出されたオプティカルフローを２次元画像で示したも
のが図７の画像３４である。図７に示したようにＬ領域
５４では後方接近車５０の周辺にオプティカルフロー６
１が、Ｒ領域５３では後方接近車５１の周辺にオプティ
カルフロー６２が抽出される。With respect to the above optical flow, flow monitoring areas (L and R areas) are provided on the left and right as indicated by 53 and 54 in FIG.
Is set, and the optical flow having the same direction as that assumed to be the direction of movement of the vehicle approaching behind is extracted in this region. In the R region 53, the optical flow having the flows in the directions of 14 and 15 in which the rear approaching vehicle 51 is assumed to move, and in the L region 54, the flows in the directions of 10 and 17 in which the rear approaching vehicle 52 is assumed to move. Extract the optical flow that you have. An image 34 in FIG. 7 is a two-dimensional image showing the optical flow extracted by the flow pattern extraction means 5. As shown in FIG. 7, in the L area 54, the optical flow 6 is generated around the rear approaching vehicle 50.
However, in the R region 53, the optical flow 62 is extracted around the rear approaching vehicle 51.
【００２４】このようなオプティカルフローのフローパ
ターン抽出手段５により後方接近車のオプティカルフロ
ーを抽出するが、後方車のオプティカルフロー以外に画
像３４に示すようなノイズ（背景）のオプティカルフロ
ー８５が抽出される。このオプティカルフロー８５は走
行中の自車両のハウンドによる画像の大きな揺れ等によ
り、コントラストの強い背景の一部で抽出される。こう
したノイズを除去し、後方接近車のオプティカルフロー
を強調するための手段がオプティカルフローの強調手段
６である。このオプティカルフローの強調手段６は各々
のフロー監視領域内５３、５４の抽出されたオプティカ
ルフローに対し、オプティカルフローの大きさや抽出さ
れたオプティカルフローを持つ近傍画素の面積により、
その画素のオプティカルフローがノイズであるかどうか
を判断し、ノイズと判断したものは除去する一方、後方
接近車と判断したものはこれを強調するものである。実
施例１では、上記のオプティカルフロー強調手段６とし
て以下で説明するような２値画像でよく使われる膨張・
収縮フィルタを採用した。The optical flow of the vehicle approaching behind is extracted by the flow pattern extracting means 5 of the optical flow as described above, but the optical flow 85 of noise (background) shown in the image 34 is extracted in addition to the optical flow of the vehicle approaching behind. It The optical flow 85 is extracted in a part of the background with high contrast due to a large shake of the image due to the hound of the running vehicle. A means for removing such noise and emphasizing the optical flow of a vehicle approaching behind is the optical flow emphasizing means 6. The optical flow emphasizing means 6 determines, for each of the extracted optical flows in the flow monitoring areas 53 and 54, the size of the optical flow and the area of the neighboring pixel having the extracted optical flow.
Whether or not the optical flow of the pixel is noise is determined, and the one determined to be noise is removed, while the one determined to be a rear approaching vehicle emphasizes this. In the first embodiment, as the optical flow emphasizing means 6 described above, expansion / commonly used in a binary image as described below.
Uses a contraction filter.
【００２５】まず、膨張フィルタについて説明する。そ
れぞれのフロー監視領域内５３、５４内における各画素
及びその８方向近傍で上記のフローパターン抽出手段５
によって得られたオプティカルフローがｎ（ｎ＜５）個
以上あればその画素の値を１とし、それ以下の時は上記
の画素の値を０とする。次にこうして得られた２値画像
上におけるそれぞれのフロー監視領域内の各画素に対
し、この画素及びその８方向近傍における画素の値の値
が１である画素がｍ（ｍ＞５）個以上であれば、その画
素の値を１とし、それ以下であればその値を０とする。
これが収縮フィルタである。以上のようにして、フロー
パターン抽出手段５により抽出されたオプティカルフロ
ーのうち、その近傍に同様に抽出されたオプティカルフ
ローを持つ近傍画素がどれだけあるかにより、このオプ
ティカルフローがバウンド等による画像の揺れから生じ
たノイズがあるかどうかを判断し、ノイズと判断すれば
これを除去し、後方接近車であると判断すれば、その領
域を拡大し隣接する抽出領域同士を結合させる。実施例
１ではｎ＝３、ｍ＝７と設定して処理を行ったが、画像
の特性やオプティカルフローの出方によりこの値は自由
に設定してよく、又今回はフィルタの大きさを３×３画
素に設定したがこれも上記の条件により自由に設定して
よい。First, the expansion filter will be described. The flow pattern extraction means 5 is provided in the vicinity of each pixel in each of the flow monitoring areas 53 and 54 and its eight directions.
If there are n (n <5) or more optical flows obtained by, the value of the pixel is set to 1, and if it is less than that, the value of the pixel is set to 0. Next, for each pixel in each flow monitoring area on the binary image thus obtained, there are m (m> 5) or more pixels whose pixel value is 1 in the vicinity of this pixel and its eight directions. If so, the value of the pixel is set to 1, and if it is less than that, the value is set to 0.
This is a contraction filter. As described above, among the optical flows extracted by the flow pattern extraction unit 5, depending on how many neighboring pixels have the same extracted optical flow in the vicinity thereof, this optical flow can be detected by a bound image or the like. It is determined whether or not there is noise caused by the shaking, and if it is determined that it is noise, it is removed. If it is determined that the vehicle is a rear approaching vehicle, that region is enlarged and adjacent extraction regions are combined. In the first embodiment, the processing is performed by setting n = 3 and m = 7, but this value may be set freely depending on the characteristics of the image and the appearance of the optical flow, and this time the filter size is 3 Although it has been set to × 3 pixels, this may be freely set according to the above conditions.
【００２６】上記のオプティカルフロー強調手段６によ
って得られた画像を示したものが図７の画像３５であ
る。図７に示したように、オプティカルフロー強調手段
６によって出力されたオプティカルフロー画像３５は上
記の処理を行う以前のオプティカルフロー画像に３４に
比べ、後方接近車５０、５１のオプティカルフロー６
３、６４が強調され、ノイズがかなり減少するが、バウ
ンド等による画像の揺れが激しい時にはフロー強調手段
による処理後も画像３５に示すようなノイズのオプティ
カルフロー８５が残る場合がある。こうしたノイズのオ
プティカルフロー８５は自系列的に連続して検出されな
いため、オプティカルフロー強調手段６によって得られ
たオプティカルフローのうち、連続して検出されないオ
プティカルフローはノイズとして除去する。これがノイ
ズ除去手段７であり、図８はこのノイズ除去手段７の説
明図である。図において時間ｔ＝ｔ０の時に以上で説明
した諸手段により得られたオプティカルフロー６５と、
時間ｔ＝ｔ０＋△ｔにおいて諸手段によ得られたオプテ
ィカルフロー６６のうち連続して得られたオプティカル
フロー６７を後方接近車のオプティカルフローとして検
出する。The image 35 shown in FIG. 7 shows the image obtained by the optical flow enhancing means 6. As shown in FIG. 7, the optical flow image 35 output by the optical flow emphasizing means 6 is compared with the optical flow image 34 before the above-described processing compared with 34.
Although noises 3 and 64 are emphasized and noise is considerably reduced, there is a case where the optical flow 85 of noise as shown in the image 35 remains even after the processing by the flow emphasizing means when the image is greatly shaken due to bounce or the like. Since the optical flow 85 of such noise is not continuously detected in a self-sequential manner, among the optical flows obtained by the optical flow emphasizing unit 6, the optical flow that is not continuously detected is removed as noise. This is the noise removing means 7, and FIG. 8 is an explanatory diagram of the noise removing means 7. In the figure, at time t = t0, the optical flow 65 obtained by the various means described above,
At time t = t0 + Δt, the optical flow 67 continuously obtained from the optical flows 66 obtained by various means is detected as the optical flow of the vehicle approaching rearward.
【００２７】上記のようなノイズ除去手段７によりノイ
ズを除去したオプティカルフロー６７を２次元画像上に
表示したものが図９の画像３７である。このオプティカ
ルフロー画像３７上のそれぞれのフロー監視領域Ｒ領域
５３、Ｌ領域５４上に図に示すようなウインドウ領域８
６を設定し、これを動かしながら該領域内に含まれるオ
プティカルフロー６７の大きさ（画素数）がある閾値以
上である矩形範囲６８、６９を取りだし、この範囲を後
方接近車領域として検出する。実施例１ではオプティカ
ルフロー画像３７の大きさ５１２×４８０画素に対し後
方接近車検出用ウインドウの大きさをＲ領域５３、Ｌ領
域５４共に６４×６４（Ｈ×Ｖ）画素、閾値を２０００
画素とした。このウインドウの大きさは、画像の大きさ
や、検出したい後方接近車の大きさによって自由に設定
でき、又それぞれのフロー監視領域で異なる大きさの接
近車検出用ウインドウを設定してもよい。An image 37 of FIG. 9 is a display of the optical flow 67 from which noise is removed by the noise removing means 7 as described above on a two-dimensional image. A window area 8 as shown in the figure is provided on each of the flow monitoring areas R area 53 and L area 54 on the optical flow image 37.
6 is set, and while moving this, rectangular ranges 68 and 69 in which the size (the number of pixels) of the optical flow 67 included in the region is equal to or larger than a certain threshold value are taken out, and this range is detected as a rear approaching vehicle region. In the first embodiment, the size of the rear approaching vehicle detection window is 64 × 64 (H × V) pixels for both the R area 53 and the L area 54 with respect to the size of the optical flow image 37 of 512 × 480 pixels, and the threshold value is 2000.
Pixels. The size of this window can be freely set according to the size of the image and the size of the rear approaching vehicle to be detected, or different sizes of approaching vehicle detection windows may be set in the respective flow monitoring areas.
【００２８】図１０は上述した全体動作の流れを示すフ
ローチャートである。以下にこの流れを簡単に説明する
と、まずステップＳ１において初期設定を行った後、ス
テップＳ２において画像を取り込む、次に、ステップＳ
３においてオプティカルフローを演算し、ステップＳ４
において求められたオプティカルフローの方向検出を行
う。そして、ステップＳ５でフローパターンの抽出を行
った後、ステップＳ６でオプティカルフローの強調を行
い、ステップＳ７でノイズを除去した後、ステップＳ８
で後方接近車を検出する。FIG. 10 is a flow chart showing the flow of the above-mentioned overall operation. The flow will be briefly described below. First, initial setting is performed in step S1, then an image is captured in step S2, and then step S2.
3, the optical flow is calculated, and step S4
The direction of the optical flow obtained in step 1 is detected. Then, after the flow pattern is extracted in step S5, the optical flow is emphasized in step S6, noise is removed in step S7, and then step S8.
To detect a rear approaching vehicle.
【００２９】以上のように、実施例１では１つ以上の領
域を設定しその中で後方接近車の動きと同様のある特定
の方向のオプティカルフローのみを抽出し、後方接近車
を検出するように構成したので、対象物体（接近車）と
背景の濃度差が少ない場合、或いは背景と物体の濃度差
が逆になっている場合においても、比較的正確にその移
動体の移動方向を検出できる。また、走行車両という移
動体から撮像した画像のように移動体のみならず背景も
移動するような画像であっても画像からある特定の方向
へ移動する物体（接近車）を分離して抽出できる。又、
激しいバウンド等による画像の揺れから生じるオプティ
カルフローのノイズを除去し、安定して移動体（接近
車）の検出を行える。さらに従来の後方監視装置が単に
後方画像をドライバーが見やすいように表示するだけで
あったのに比べ、後方接近車の存在の有無やその位置を
検出することができる。As described above, in the first embodiment, one or more areas are set, and only the optical flow in a certain specific direction similar to the movement of the rear approaching vehicle is extracted to detect the rear approaching vehicle. With this configuration, even if the density difference between the target object (approaching vehicle) and the background is small or the density difference between the background and the object is opposite, the moving direction of the moving body can be detected relatively accurately. . Further, even in an image in which not only the moving body but also the background moves, such as an image captured from a moving body called a traveling vehicle, an object (approaching vehicle) moving in a certain direction can be separated and extracted from the image. . or,
Optical flow noise caused by image shake due to severe bounce can be removed, and moving objects (approaching vehicles) can be detected stably. Further, the presence or absence of a vehicle approaching behind and the position thereof can be detected as compared with the case where the conventional rear monitoring device merely displays the rear image so that the driver can easily see it.
【００３０】尚、実施例１ではこの発明に係る接近車監
視装置を後方接近車を監視する後方接近車監視装置とし
て説明したが、この発明は後方接近車の監視に限定され
ることはなく、例えば前方接近車を監視する装置に適用
しても良いことは明らかである。Although the approaching vehicle monitoring device according to the present invention has been described as the rearward approaching vehicle monitoring device for monitoring the rearward approaching vehicle in the first embodiment, the present invention is not limited to the monitoring of the rearward approaching vehicle. For example, it is obvious that the present invention may be applied to a device that monitors a front approaching vehicle.
【００３１】[0031]
【発明の効果】以上に詳述したように、車両に設けら
れ、この車両より所定の方向を撮像する撮像手段と、こ
の撮像手段により撮像された画面内の所定の位置に１つ
以上の領域を設定し、その領域内で時系列的に異なる２
枚の画像から画像上での速度分布を表す大きさと方向を
有するオプティカルフローを求めるオプティカルフロー
演算手段と、このオプティカルフロー演算手段により上
記各領域内で得られたオプティカルフローのうち、それ
ぞれの領域で設定した一定値以上の大きさを持つオプテ
ィカルフローの方向を出力するオプティカルフローの方
向検出手段と、上記それぞれの領域内の所定の位置に更
に１つ以上のフロー監視領域を設定し、この監視領域内
で上記オプティカルフローの方向検出手段により得られ
た各々のオプティカルフローの方向を監視し、接近車が
存在する場合に仮定される接近車の画像上での動きの方
向と同様の方向を持つオプティカルフローを抽出するフ
ローパターン抽出手段と、このフローパターン抽出手段
により上記フロー監視領域内で抽出されたオプティカル
フローから接近車を検出する接近車検出手段とを備えた
ため、背景との濃度差が少ない場合、或いは背景との濃
度差が逆になっている時でも正確に移動体の動く方向を
検出できるという効果を奏する。又、走行中の車両から
撮像した画像のように検出したい移動体（接近車）のみ
ならず背景も移動するような画像に対しても特定の移動
体（接近車）を背景から分離して検出することができ、
更に、従来の接近車監視装置が単に後方画像をドライバ
が見やすいように表示するだけなのに対し、接近車の存
在の有無とその位置を自動的に検出することができると
いう効果をも奏する。As described above in detail, the image pickup means provided on the vehicle for picking up a predetermined direction from the vehicle, and one or more areas at predetermined positions within the screen imaged by the image pickup means. 2 and set differently in that area in time series
An optical flow calculating means for obtaining an optical flow having a size and a direction representing a velocity distribution on the image from one image, and an optical flow obtained in each of the above areas by the optical flow calculating means, in each area. An optical flow direction detecting means for outputting a direction of the optical flow having a size equal to or larger than a set fixed value, and one or more flow monitoring areas are further set at predetermined positions in the respective areas, and the monitoring area is set. The direction of each optical flow obtained by the optical flow direction detecting means is monitored in the optical flow direction, and the optical direction having the same direction as the moving direction on the image of the approaching vehicle assumed when there is an approaching vehicle exists. Flow pattern extraction means for extracting a flow, and the above flow by this flow pattern extraction means Since it has an approaching vehicle detection unit that detects an approaching vehicle from the optical flow extracted in the visual area, it accurately moves even when the density difference with the background is small or when the density difference with the background is reversed. This has the effect of being able to detect the direction of body movement. In addition, a specific moving object (approaching vehicle) is detected separately from the background for an image in which not only the moving object (approaching vehicle) to be detected but also the background, such as an image captured from a moving vehicle, is detected. You can
Further, while the conventional approaching vehicle monitoring device merely displays the rear image so that the driver can easily see it, the presence or absence of the approaching vehicle and its position can be automatically detected.
【００３２】また、この発明の請求項２に係る接近車監
視装置によれば、車両に設けられ、この車両より所定の
方向を撮像する撮像手段と、この撮像手段により撮像さ
れた画面内の所定の位置に１つ以上の領域を設定し、そ
の領域内で時系列的に異なる２枚の画像から画像上での
速度分布を表す大きさと方向を有するオプティカルフロ
ーを求めるオプティカルフロー演算手段と、このオプテ
ィカルフロー演算手段により上記各領域内で得られたオ
プティカルフローのうち、それぞれの領域で設定した一
定値以上の大きさを持つオプティカルフローの方向を出
力するオプティカルフローの方向検出手段と、上記それ
ぞれの領域内の所定の位置に更に１つ以上のフロー監視
領域を設定し、この監視領域内で上記オプティカルフロ
ーの方向検出手段により得られた各々のオプティカルフ
ローの方向を監視し、接近車が存在する場合に仮定され
る接近車の画像上での動きの方向と同様の方向を持つオ
プティカルフローを抽出するフローパターン抽出手段
と、このフローパターン抽出手段により上記フロー監視
領域内で抽出されたオプティカルフローから接近車を検
出する接近車検出手段と、上記フローパターン抽出手段
によって抽出された各オプティカルフローに対し、その
値の大きさ、その近傍に抽出されたオプティカルフロー
を持つ画素がどれだけあるかを判断することにより、こ
れらのオプティカルフローがノイズであるかどうかを判
断し、ノイズと判断したオプティカルフローはこれを除
去する一方、接近車のオプティカルフローと判断したも
のはその画素及びその近傍におけるオプティカルフロー
の範囲を広げ強調するオプティカルフロー強調手段と、
このオプティカルフロー強調手段により強調されたオプ
ティカルフローのうち、時系列的に連続して抽出されな
いオプティカルフローをノイズとして除去するノイズ除
去手段とを備えたため、上記効果に加え、実際に車道を
走行中に大きなバウンド等により画像が激しく揺れてノ
イズが発生したような場合でも安定してこの接近車の監
視を行うことができる。Further, according to the approaching vehicle monitoring device of the second aspect of the present invention, an image pickup means provided on the vehicle for picking up an image in a predetermined direction from the vehicle, and a predetermined image within the screen imaged by the image pickup means. An optical flow calculation means for setting one or more areas at the position, and obtaining an optical flow having a size and a direction representing the velocity distribution on the image from two images that are different in time series within the area, and Of the optical flows obtained in each of the areas by the optical flow calculating means, an optical flow direction detecting means for outputting the direction of the optical flow having a size equal to or larger than a certain value set in each area, and each of the above One or more flow monitoring areas are further set at predetermined positions in the area, and the optical flow direction detecting means is provided in the monitoring area. The flow pattern extraction means for monitoring the direction of each optical flow obtained from the optical flow and extracting an optical flow having a direction similar to the direction of movement on the image of the approaching vehicle assumed when an approaching vehicle exists , An approaching vehicle detecting means for detecting an approaching vehicle from the optical flows extracted in the flow monitoring area by the flow pattern extracting means, and the magnitude of the value for each optical flow extracted by the flow pattern extracting means , By determining how many pixels have the extracted optical flow in its vicinity, it is determined whether or not these optical flows are noise, and the optical flow determined to be noise removes this. What is judged to be the optical flow of an approaching vehicle is the one in the pixel and its vicinity. And emphasize the optical flow emphasizing means expanding the range of optical flow,
Among the optical flows emphasized by this optical flow emphasizing means, a noise removing means for removing optical flows that are not continuously extracted in time series as noise is provided, so in addition to the above effects, while actually traveling on the roadway. This approaching vehicle can be stably monitored even when the image is violently shaken due to a large bounce and noise is generated.
【図１】この発明の実施例１を示すブロック図である。FIG. 1 is a block diagram showing a first embodiment of the present invention.
【図２】物体が移動する際に得られるオプティカルフロ
ーのパターンを示す説明図である。FIG. 2 is an explanatory diagram showing an optical flow pattern obtained when an object moves.
【図３】一次元信号で模式的に表したオプティカルフロ
ーの性質を説明するための説明図である。FIG. 3 is an explanatory diagram for explaining properties of an optical flow schematically represented by a one-dimensional signal.
【図４】この発明の実施例１におけるオプティカルフロ
ー演算手段の説明図である。FIG. 4 is an explanatory diagram of an optical flow calculation means according to the first embodiment of the present invention.
【図５】実施例１におけるオプティカルフロー演算領域
とオプティカルフロー監視領域を示す説明図である。FIG. 5 is an explanatory diagram showing an optical flow calculation area and an optical flow monitoring area in the first embodiment.
【図６】実施例１におけるオプティカルフローの方向検
出手段と該手段によるオプティカルフローの出力状況を
示す説明図である。FIG. 6 is an explanatory diagram showing an optical flow direction detection unit according to the first embodiment and an output state of the optical flow by the unit.
【図７】実施例１におけるフローパターン抽出手段とオ
プティカルフロー強調手段を示す説明図である。FIG. 7 is an explanatory diagram showing a flow pattern extraction unit and an optical flow enhancement unit according to the first embodiment.
【図８】実施例１におけるノイズ除去手段を説明するた
めの説明図である。FIG. 8 is an explanatory diagram illustrating a noise removing unit according to the first exemplary embodiment.
【図９】実施例１における後方接近車検出手段を説明す
るための図である。FIG. 9 is a diagram for explaining a rear approaching vehicle detection unit according to the first embodiment.
【図１０】実施例１の全体動作を説明するフローチャー
トである。FIG. 10 is a flowchart illustrating the overall operation of the first embodiment.
【図１１】従来の差分法による移動体抽出法の概念を説
明する説明図である。FIG. 11 is an explanatory diagram illustrating a concept of a moving object extraction method by a conventional difference method.
【図１２】図１１のＡ−Ａ線における濃度信号である１
次元信号から差分法によって移動体を抽出する方法を示
す説明図である。FIG. 12 is a density signal on line AA of FIG.
It is explanatory drawing which shows the method of extracting a moving body from the dimension signal by the difference method.
【図１３】従来の接近車監視装置を説明する説明図であ
る。FIG. 13 is an explanatory diagram illustrating a conventional approaching vehicle monitoring device.
１、２ 画像信号出力手段 ３ オプティカルフロー演算手段 ４ オプティカルフローの方向検出手段 ５ フローパターン抽出手段 ６ オプティカルフロー強調手段 ７ ノイズ除去手段 ８ 後方接近車検出手段 ２２ オプティカルフロー ２３ 空間的な濃度勾配 ２４ 時間的な濃度勾配 ５２ オプティカルフロー演算領域 ５３、５４ オプティカルフロー方向監視領域 ６７ 後方接近車のオプティカルフロー ６８、６９ 検出された後方接近車領域 ８６ 後方接近車用ウインドウ 1, 2 Image signal output means 3 Optical flow calculation means 4 Optical flow direction detection means 5 Flow pattern extraction means 6 Optical flow enhancement means 7 Noise removal means 8 Rear approaching vehicle detection means 22 Optical flow 23 Spatial concentration gradient 24 hours Concentration gradient 52 Optical flow calculation area 53, 54 Optical flow direction monitoring area 67 Optical flow of rear approaching vehicle 68, 69 Detected rear approaching vehicle area 86 Rear approaching vehicle window
Claims (2)
向を撮像する撮像手段と、 この撮像手段により撮像された画面内の所定の位置に１
つ以上の領域を設定し、その領域内で時系列的に異なる
２枚の画像から画像上での速度分布を表す大きさと方向
を有するオプティカルフローを求めるオプティカルフロ
ー演算手段と、 このオプティカルフロー演算手段により上記各領域内で
得られたオプティカルフローのうち、それぞれの領域で
設定した一定値以上の大きさを持つオプティカルフロー
の方向を出力するオプティカルフローの方向検出手段
と、 上記それぞれの領域内の所定の位置に更に１つ以上のフ
ロー監視領域を設定し、この監視領域内で上記オプティ
カルフローの方向検出手段により得られた各々のオプテ
ィカルフローの方向を監視し、接近車が存在する場合に
仮定される接近車の画像上での動きの方向と同様の方向
を持つオプティカルフローを抽出するフローパターン抽
出手段と、 このフローパターン抽出手段により上記フロー監視領域
内で抽出されたオプティカルフローから接近車を検出す
る接近車検出手段と、 を備えた接近車監視装置。1. An image pickup means provided in a vehicle for picking up an image in a predetermined direction from the vehicle, and one at a predetermined position in a screen imaged by the image pickup means.
An optical flow calculating means for setting two or more areas, and obtaining an optical flow having a size and a direction representing a velocity distribution on the image from two images that are different in time series within the area, and the optical flow calculating means. Among the optical flows obtained in each of the above areas, an optical flow direction detecting means for outputting the direction of the optical flow having a size equal to or larger than a constant value set in each area, and a predetermined value in each of the areas. It is assumed that one or more flow monitoring regions are set at the positions of the above, and the direction of each optical flow obtained by the optical flow direction detecting means is monitored within this monitoring region, and an approaching vehicle is present. Flow pattern for extracting an optical flow that has a direction similar to the direction of movement on the image of an approaching vehicle Detecting means and a proximity vehicle detection means for detecting an approaching vehicle from the optical flow extracted by the flow surveillance area by the flow pattern extracting means, approaching vehicle monitoring apparatus having a.
向を撮像する撮像手段と、 この撮像手段により撮像された画面内の所定の位置に１
つ以上の領域を設定し、その領域内で時系列的に異なる
２枚の画像から画像上での速度分布を表す大きさと方向
を有するオプティカルフローを求めるオプティカルフロ
ー演算手段と、 このオプティカルフロー演算手段により上記各領域内で
得られたオプティカルフローのうち、それぞれの領域で
設定した一定値以上の大きさを持つオプティカルフロー
の方向を出力するオプティカルフローの方向検出手段
と、 上記それぞれの領域内の所定の位置に更に１つ以上のフ
ロー監視領域を設定し、この監視領域内で上記オプティ
カルフローの方向検出手段により得られた各々のオプテ
ィカルフローの方向を監視し、接近車が存在する場合に
仮定される接近車の画像上での動きの方向と同様の方向
を持つオプティカルフローを抽出するフローパターン抽
出手段と、 このフローパターン抽出手段により上記フロー監視領域
内で抽出されたオプティカルフローから接近車を検出す
る接近車検出手段と、 上記フローパターン抽出手段によって抽出された各オプ
ティカルフローに対し、その値の大きさ、その近傍に抽
出されたオプティカルフローを持つ画素がどれだけある
かを判断することにより、これらのオプティカルフロー
がノイズであるかどうかを判断し、ノイズと判断したオ
プティカルフローはこれを除去する一方、接近車のオプ
ティカルフローと判断したものはその画素及びその近傍
におけるオプティカルフローの範囲を広げ強調するオプ
ティカルフロー強調手段と、 このオプティカルフロー強調手段により強調されたオプ
ティカルフローのうち、時系列的に連続して抽出されな
いオプティカルフローをノイズとして除去するノイズ除
去手段と、 を備えた接近車監視装置。2. An image pickup means provided on a vehicle for picking up an image in a predetermined direction from the vehicle, and an image pickup device at a predetermined position on a screen imaged by the image pickup means.
An optical flow calculating means for setting two or more areas, and obtaining an optical flow having a size and a direction representing a velocity distribution on the image from two images that are different in time series within the area, and the optical flow calculating means. Among the optical flows obtained in each of the above areas, an optical flow direction detecting means for outputting the direction of the optical flow having a size equal to or larger than a constant value set in each area, and a predetermined value in each of the areas. It is assumed that one or more flow monitoring regions are set at the positions of the above, and the direction of each optical flow obtained by the optical flow direction detecting means is monitored within this monitoring region, and an approaching vehicle is present. Flow pattern for extracting an optical flow that has a direction similar to the direction of movement on the image of an approaching vehicle Output means, approaching vehicle detection means for detecting an approaching vehicle from the optical flow extracted in the flow monitoring area by the flow pattern extraction means, and the value for each optical flow extracted by the flow pattern extraction means Size, and how many pixels have the extracted optical flow in the vicinity, it is determined whether or not these optical flows are noise, and the optical flow that is determined to be noise removes this. On the other hand, what is judged to be the optical flow of the approaching vehicle is an optical flow emphasizing means for expanding and enhancing the range of the optical flow in the pixel and its vicinity, and the optical flow emphasizing by this optical flow emphasizing means is time-series. Is not extracted continuously An approaching vehicle monitoring device comprising: a noise removing unit that removes the local flow as noise.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5038163A JP3011566B2 (en) | 1993-02-26 | 1993-02-26 | Approaching vehicle monitoring device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5038163A JP3011566B2 (en) | 1993-02-26 | 1993-02-26 | Approaching vehicle monitoring device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06247246A true JPH06247246A (en) | 1994-09-06 |
| JP3011566B2 JP3011566B2 (en) | 2000-02-21 |
Family
ID=12517739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5038163A Expired - Lifetime JP3011566B2 (en) | 1993-02-26 | 1993-02-26 | Approaching vehicle monitoring device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3011566B2 (en) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1013824A (en) * | 1996-06-25 | 1998-01-16 | Yazaki Corp | Vehicle periphery monitoring device |
| US6581007B2 (en) | 2001-05-11 | 2003-06-17 | Honda Giken Kogyo Kabushiki Kaisha | System, method, and program for detecting approach to object |
| US6847894B1 (en) | 2002-09-05 | 2005-01-25 | Honda Giken Kogyo Kabushiki Kaisha | Vehicle control system, program and method |
| US7266220B2 (en) | 2002-05-09 | 2007-09-04 | Matsushita Electric Industrial Co., Ltd. | Monitoring device, monitoring method and program for monitoring |
| US7512251B2 (en) | 2004-06-15 | 2009-03-31 | Panasonic Corporation | Monitoring system and vehicle surrounding monitoring system |
| JP2012227639A (en) * | 2011-04-18 | 2012-11-15 | Nissan Motor Co Ltd | Traveling support device and traveling support method |
| US8842176B2 (en) | 1996-05-22 | 2014-09-23 | Donnelly Corporation | Automatic vehicle exterior light control |
| US8917169B2 (en) | 1993-02-26 | 2014-12-23 | Magna Electronics Inc. | Vehicular vision system |
| US8993951B2 (en) | 1996-03-25 | 2015-03-31 | Magna Electronics Inc. | Driver assistance system for a vehicle |
| US9008369B2 (en) | 2004-04-15 | 2015-04-14 | Magna Electronics Inc. | Vision system for vehicle |
| US9171217B2 (en) | 2002-05-03 | 2015-10-27 | Magna Electronics Inc. | Vision system for vehicle |
| US9436880B2 (en) | 1999-08-12 | 2016-09-06 | Magna Electronics Inc. | Vehicle vision system |
| WO2016157698A1 (en) * | 2015-03-31 | 2016-10-06 | 株式会社デンソー | Vehicle detection system, vehicle detection apparatus, vehicle detection method, and vehicle detection program |
| US10071676B2 (en) | 2006-08-11 | 2018-09-11 | Magna Electronics Inc. | Vision system for vehicle |
| KR20200079070A (en) * | 2018-12-24 | 2020-07-02 | 안동대학교 산학협력단 | Detecting system for approaching vehicle in video and method thereof |
-
1993
- 1993-02-26 JP JP5038163A patent/JP3011566B2/en not_active Expired - Lifetime
Cited By (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8917169B2 (en) | 1993-02-26 | 2014-12-23 | Magna Electronics Inc. | Vehicular vision system |
| US8993951B2 (en) | 1996-03-25 | 2015-03-31 | Magna Electronics Inc. | Driver assistance system for a vehicle |
| US8842176B2 (en) | 1996-05-22 | 2014-09-23 | Donnelly Corporation | Automatic vehicle exterior light control |
| JPH1013824A (en) * | 1996-06-25 | 1998-01-16 | Yazaki Corp | Vehicle periphery monitoring device |
| US9436880B2 (en) | 1999-08-12 | 2016-09-06 | Magna Electronics Inc. | Vehicle vision system |
| US6581007B2 (en) | 2001-05-11 | 2003-06-17 | Honda Giken Kogyo Kabushiki Kaisha | System, method, and program for detecting approach to object |
| US11203340B2 (en) | 2002-05-03 | 2021-12-21 | Magna Electronics Inc. | Vehicular vision system using side-viewing camera |
| US10118618B2 (en) | 2002-05-03 | 2018-11-06 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
| US10351135B2 (en) | 2002-05-03 | 2019-07-16 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
| US10683008B2 (en) | 2002-05-03 | 2020-06-16 | Magna Electronics Inc. | Vehicular driving assist system using forward-viewing camera |
| US9555803B2 (en) | 2002-05-03 | 2017-01-31 | Magna Electronics Inc. | Driver assistance system for vehicle |
| US9834216B2 (en) | 2002-05-03 | 2017-12-05 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
| US9171217B2 (en) | 2002-05-03 | 2015-10-27 | Magna Electronics Inc. | Vision system for vehicle |
| US9643605B2 (en) | 2002-05-03 | 2017-05-09 | Magna Electronics Inc. | Vision system for vehicle |
| US7266220B2 (en) | 2002-05-09 | 2007-09-04 | Matsushita Electric Industrial Co., Ltd. | Monitoring device, monitoring method and program for monitoring |
| US6847894B1 (en) | 2002-09-05 | 2005-01-25 | Honda Giken Kogyo Kabushiki Kaisha | Vehicle control system, program and method |
| US9736435B2 (en) | 2004-04-15 | 2017-08-15 | Magna Electronics Inc. | Vision system for vehicle |
| US10015452B1 (en) | 2004-04-15 | 2018-07-03 | Magna Electronics Inc. | Vehicular control system |
| US9609289B2 (en) | 2004-04-15 | 2017-03-28 | Magna Electronics Inc. | Vision system for vehicle |
| US9428192B2 (en) | 2004-04-15 | 2016-08-30 | Magna Electronics Inc. | Vision system for vehicle |
| US9191634B2 (en) | 2004-04-15 | 2015-11-17 | Magna Electronics Inc. | Vision system for vehicle |
| US9008369B2 (en) | 2004-04-15 | 2015-04-14 | Magna Electronics Inc. | Vision system for vehicle |
| US9948904B2 (en) | 2004-04-15 | 2018-04-17 | Magna Electronics Inc. | Vision system for vehicle |
| US10462426B2 (en) | 2004-04-15 | 2019-10-29 | Magna Electronics Inc. | Vehicular control system |
| US11847836B2 (en) | 2004-04-15 | 2023-12-19 | Magna Electronics Inc. | Vehicular control system with road curvature determination |
| US10110860B1 (en) | 2004-04-15 | 2018-10-23 | Magna Electronics Inc. | Vehicular control system |
| US11503253B2 (en) | 2004-04-15 | 2022-11-15 | Magna Electronics Inc. | Vehicular control system with traffic lane detection |
| US10187615B1 (en) | 2004-04-15 | 2019-01-22 | Magna Electronics Inc. | Vehicular control system |
| US10306190B1 (en) | 2004-04-15 | 2019-05-28 | Magna Electronics Inc. | Vehicular control system |
| US10735695B2 (en) | 2004-04-15 | 2020-08-04 | Magna Electronics Inc. | Vehicular control system with traffic lane detection |
| US7916899B2 (en) | 2004-06-15 | 2011-03-29 | Panasonic Corporation | Monitoring system and vehicle surrounding monitoring system |
| US7693303B2 (en) | 2004-06-15 | 2010-04-06 | Panasonic Corporation | Monitoring system and vehicle surrounding monitoring system |
| US7512251B2 (en) | 2004-06-15 | 2009-03-31 | Panasonic Corporation | Monitoring system and vehicle surrounding monitoring system |
| US10787116B2 (en) | 2006-08-11 | 2020-09-29 | Magna Electronics Inc. | Adaptive forward lighting system for vehicle comprising a control that adjusts the headlamp beam in response to processing of image data captured by a camera |
| US11148583B2 (en) | 2006-08-11 | 2021-10-19 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| US11396257B2 (en) | 2006-08-11 | 2022-07-26 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| US11623559B2 (en) | 2006-08-11 | 2023-04-11 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| US10071676B2 (en) | 2006-08-11 | 2018-09-11 | Magna Electronics Inc. | Vision system for vehicle |
| US11951900B2 (en) | 2006-08-11 | 2024-04-09 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| JP2012227639A (en) * | 2011-04-18 | 2012-11-15 | Nissan Motor Co Ltd | Traveling support device and traveling support method |
| WO2016157698A1 (en) * | 2015-03-31 | 2016-10-06 | 株式会社デンソー | Vehicle detection system, vehicle detection apparatus, vehicle detection method, and vehicle detection program |
| KR20200079070A (en) * | 2018-12-24 | 2020-07-02 | 안동대학교 산학협력단 | Detecting system for approaching vehicle in video and method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3011566B2 (en) | 2000-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3239521B2 (en) | Mobile object recognition device | |
| JP3011566B2 (en) | Approaching vehicle monitoring device | |
| JP3807331B2 (en) | Camera dirt detection device and camera dirt detection method | |
| WO2010058821A1 (en) | Approaching object detection system | |
| WO2019026785A1 (en) | Attached object detection device, and vehicle system provided with same | |
| KR101439052B1 (en) | Apparatus and method for detecting obstacle | |
| JP2003067752A (en) | Vehicle periphery monitoring device | |
| JP2000090277A (en) | Reference background image updating method, method and device for detecting intruding object | |
| JP2994170B2 (en) | Vehicle periphery monitoring device | |
| JP2006059252A (en) | Method, device and program for detecting movement, and monitoring system for vehicle | |
| JP2011071932A (en) | Vehicle surroundings monitoring apparatus | |
| JP2011070593A (en) | Vehicle periphery monitoring device | |
| JP4826355B2 (en) | Vehicle surrounding display device | |
| JPH06180749A (en) | Device for monitoring object on road | |
| JP3853574B2 (en) | Moving object detection system | |
| JP5388059B2 (en) | Object detection method and object detection apparatus based on background image estimation | |
| Wu et al. | Overtaking Vehicle Detection Techniques based on Optical Flow and Convolutional Neural Network. | |
| JP5004923B2 (en) | Vehicle driving support device | |
| JP4946897B2 (en) | Distance measuring device | |
| JP3729005B2 (en) | Vehicle rear monitoring device | |
| JP3226699B2 (en) | Perimeter monitoring device for vehicles | |
| JP2019032619A (en) | Dirt detector, camera, computer program and recording medium | |
| JP3942289B2 (en) | Vehicle monitoring device | |
| Carswell et al. | Automated recognition of drunk driving on highways from video sequences | |
| JP6201809B2 (en) | Perimeter monitoring apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081210 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 14 |
|
| EXPY | Cancellation because of completion of term |