JPH06337998A - Vehicle detector, vehicle tracking device and vehicle monitoring device - Google Patents
Vehicle detector, vehicle tracking device and vehicle monitoring deviceInfo
- Publication number
- JPH06337998A JPH06337998A JP5128558A JP12855893A JPH06337998A JP H06337998 A JPH06337998 A JP H06337998A JP 5128558 A JP5128558 A JP 5128558A JP 12855893 A JP12855893 A JP 12855893A JP H06337998 A JPH06337998 A JP H06337998A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- area
- image
- detection
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、車両監視画像に撮影さ
れている車両の動態を検出する装置に関するものであ
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus for detecting the movement of a vehicle captured in a vehicle monitoring image.
【０００２】[0002]
【従来の技術】実際の人手による車両監視では、様々な
撮影環境のもとで多様な形態の車両を個別に追跡し、車
両の動態を高精度に計測する必要がある。このような車
両監視を自動化した従来の車両検出装置では、微分画
像、時間差分画像、背景差分画像などの一般に知られて
いる様々な処理画像のうちただ一つだけに依存する装置
を構成していた。例えば、特開平４−２５７１００号公
報に記載の「移動物体検知装置」では、時系列の微分画
像間の差分をとることにより、移動車両の存在を検出す
ることを可能にした。2. Description of the Related Art In actual vehicle monitoring, it is necessary to track various types of vehicles individually under various photographing environments and measure the dynamics of the vehicles with high accuracy. In a conventional vehicle detection device that automates such vehicle monitoring, a device that depends on only one of various commonly known processed images such as differential images, time difference images, and background difference images is configured. It was For example, in the "moving object detection device" described in Japanese Patent Laid-Open No. 4-257100, it is possible to detect the presence of a moving vehicle by taking the difference between time-series differential images.
【０００３】また、特開平４−２１１９００号公報に記
載の「交通流計測方法及び装置」にみられるように、従
来の車両追跡装置では、画像処理により一度だけ車両検
出した後、前時点における車両情報を利用して現時点に
おける同一車両を抽出する操作を繰り返すことにより追
跡し、車両動態データを得ることを可能にした。Further, as seen in "Traffic flow measuring method and device" disclosed in Japanese Patent Laid-Open No. 4-211900, a conventional vehicle tracking device detects a vehicle only once by image processing and then detects the vehicle at a previous time. It is possible to obtain the vehicle dynamics data by tracking by repeating the operation of extracting the same vehicle at the present time using the information.
【０００４】[0004]
【発明が解決しようとする課題】特開平４−２５７１０
０号公報に記載の車両検出装置は、微分画像だけを利用
するために、撮影環境の変動や特殊な車両形態のために
車両エッジの検出に失敗したり、移動車両を個別に検出
できないという問題点があった。[Patent Document 1] Japanese Patent Laid-Open No. 25710/1992
Since the vehicle detection device described in Japanese Patent Publication No. 0 uses only the differential image, the vehicle edge detection fails or the moving vehicle cannot be detected individually due to a change in the shooting environment or a special vehicle configuration. There was a point.
【０００５】また、特開平４−２１１９００号公報に記
載の車両追跡装置は、誤差累積したり、最初の車両検出
に失敗した場合に車両を追跡することができないという
問題点があった。Further, the vehicle tracking device disclosed in Japanese Patent Laid-Open No. 4-211900 has a problem that the vehicle cannot be tracked when errors are accumulated or the first vehicle detection fails.
【０００６】本発明の目的は、撮影環境や車両形態の変
化のために１種類の画像処理だけでは移動車両が十分に
検出できない場合にも、安定した検出が実現できる車両
検出装置を提供することにある。It is an object of the present invention to provide a vehicle detection device capable of realizing stable detection even when a moving vehicle cannot be sufficiently detected by only one type of image processing due to changes in the shooting environment and vehicle form. It is in.
【０００７】本発明の他の目的は、車両検出で検出誤差
を生じたり検出に失敗した場合にも、検出位置の誤差の
縮小や検出失敗時刻における該当車両の補間を実現でき
る車両追跡装置を提供することにある。Another object of the present invention is to provide a vehicle tracking device capable of reducing the error in the detected position and interpolating the vehicle at the detection failure time even when a detection error occurs in the vehicle detection or the detection fails. To do.
【０００８】本発明のさらに他の目的は、車両を個別に
追跡し、高精度に動態計測する車両監視装置を提供する
ことにある。Still another object of the present invention is to provide a vehicle monitoring device for individually tracking a vehicle and measuring a dynamic state with high accuracy.
【０００９】[0009]
【課題を解決するための手段】第１の発明の車両検出装
置は、監視カメラにより撮影された時系列の入力画像を
領域に分割して領域分割画像を生成する領域分割手段
と、前記入力画像からエッジを検出してエッジ画像を生
成するエッジ検出手段と、前記入力画像から移動情報を
検出して移動情報画像を生成する移動情報検出手段と、
領域分割画像を格納する領域分割画像記憶手段と、エッ
ジ画像を格納するエッジ画像記憶手段と、移動情報画像
を格納する移動情報画像記憶手段と、前記エッジ画像記
憶手段に登録されているエッジ画像および前記移動情報
画像記憶手段に登録されている移動情報画像を参照し
て、前記領域分割画像記憶手段に登録されている領域分
割画像の領域毎にエッジ情報と移動情報を情報融合して
領域情報テーブルを生成する情報融合手段と、前記情報
融合手段において得られた領域情報テーブルを格納する
領域情報テーブル記憶手段と、前記領域情報テーブル記
憶手段に登録された領域群から車両領域部品を選び、選
択情報を再び前記領域情報テーブル記憶手段に登録する
車両領域部品選択手段と、前記領域情報テーブル記憶手
段に登録された領域群から既定の車両領域特徴を持つ領
域に融合し、融合情報を再び前記領域情報テーブル記憶
手段に登録する領域融合手段と、前記領域情報テーブル
記憶手段に登録された領域群から車両領域を選ぶ車両領
域選択手段とを備え、前記車両領域選択手段で選ばれた
車両領域を車両検出結果として出力することを特徴とし
ている。According to a first aspect of the present invention, there is provided a vehicle detection device, which comprises area dividing means for dividing a time-series input image photographed by a surveillance camera into areas to generate a divided area image, and the input image. An edge detection unit that detects an edge from the input image to generate an edge image; a movement information detection unit that detects movement information from the input image and generates a movement information image;
Area division image storage means for storing area division images, edge image storage means for storing edge images, movement information image storage means for storing movement information images, edge images registered in the edge image storage means, and With reference to the movement information image registered in the movement information image storage means, the area information table is created by fusing edge information and movement information for each area of the area division image registered in the area division image storage means. A region information table storage unit for storing the region information table obtained by the information fusion unit, and a vehicle region component selected from the region group registered in the region information table storage unit, and the selection information And vehicle region parts selecting means for re-registering in the area information table storage means, and areas registered in the area information table storage means. Area fusion means for merging the vehicle information with an area having a predetermined vehicle area characteristic and registering the fusion information again in the area information table storage means, and a vehicle area for selecting a vehicle area from the area group registered in the area information table storage means Selecting means, and outputting the vehicle area selected by the vehicle area selecting means as a vehicle detection result.
【００１０】第２の発明の車両追跡装置は、一定時間内
の時系列の車両検出情報群を検出位置の時空間分布に変
換する検出車両分布作成手段と、前記検出車両分布作成
手段で得られた検出車両分布を記憶する検出車両分布記
憶手段と、前記検出車両分布記憶手段に格納されている
検出車両分布から曲線の成分を検出する曲線成分検出手
段とを備え、前記曲線成分検出手段で検出された曲線を
車両の追跡結果として出力することを特徴としている。The vehicle tracking device of the second invention is obtained by the detected vehicle distribution creating means for converting a time-series vehicle detection information group within a fixed time into a spatio-temporal distribution of detected positions, and the detected vehicle distribution creating means. The detected vehicle distribution storing means for storing the detected vehicle distribution, and the curve component detecting means for detecting a curve component from the detected vehicle distribution stored in the detected vehicle distribution storing means, and the curve component detecting means detects the detected vehicle distribution. The feature is that the generated curve is output as a tracking result of the vehicle.
【００１１】第３の発明の車両監視装置は、一定時間内
に入力された時系列の監視画像を格納する入力画像記憶
手段と、前記入力画像記憶手段に格納された入力画像か
ら車両を検出する複数の車両検出手段と、前記車両検出
手段により得られた車両検出結果を記憶する時系列の検
出結果記憶手段と、前記検出結果記憶手段に格納された
時系列の検出結果群から車両を追跡する車両追跡手段
と、前記車両追跡手段により得られた追跡結果を記憶す
る追跡結果記憶手段と、前記追跡結果記憶手段に格納さ
れた追跡結果を表示する追跡結果表示手段と、を備えて
いることを特徴としている。The vehicle monitoring apparatus of the third aspect of the invention detects the vehicle from the input image storage means for storing time-series monitoring images input within a fixed time and the input image stored in the input image storage means. A vehicle is tracked from a plurality of vehicle detection means, a time-series detection result storage means for storing the vehicle detection result obtained by the vehicle detection means, and a time-series detection result group stored in the detection result storage means. Vehicle tracking means, tracking result storage means for storing the tracking result obtained by the vehicle tracking means, and tracking result display means for displaying the tracking result stored in the tracking result storage means. It has a feature.
【００１２】[0012]
【作用】まず、第１の発明の車両検出装置について、時
刻ｔにおける入力画像から移動車両を検出する方法を図
４を用いて説明する。ここでは、移動情報の検出方法と
して、時間差分処理を行うものとして説明する。３枚の
入力画像（ａ），（ｂ），（ｃ）を参照する。（ａ）を
時刻ｔにおける入力画像、（ｂ）を時刻ｔの１フレーム
前の入力画像、（ｃ）を時刻ｔの１フレーム後の入力画
像とする。入力画像（ａ）を参照して、領域分割により
領域分割画像（ｄ）を作り、エッジ検出処理によりエッ
ジ画像（ｅ）を得る。また、入力画像（ｂ）および
（ｃ）を参照して差分をとることにより、時間差分画像
（ｆ）を得る。領域分割画像（ｄ）で与えられる領域毎
に、エッジ画像（ｅ）および時間差分画像（ｆ）を参照
して領域特徴を調べ、既定の車両領域部品特徴に合致す
る特徴を持つ領域を選択する。選択された車両領域部品
群を示しているのが（ｇ）である。選ばれた車両領域部
品群の全ての組み合わせについて、融合することにより
既定の車両領域特徴に近づく場合にはそれらを融合し一
つの領域と見なすものとする。これらの領域融合の結果
得られる領域群の中から、車両領域に合致する領域を選
ぶ。選択された車両領域を示しているのが（ｈ）であ
り、本例の検出車両数は１台のみである。First, a method for detecting a moving vehicle from an input image at time t in the vehicle detection device of the first invention will be described with reference to FIG. Here, as the method of detecting the movement information, the time difference processing is performed. Reference is made to the three input images (a), (b) and (c). It is assumed that (a) is an input image at time t, (b) is an input image one frame before time t, and (c) is an input image one frame after time t. With reference to the input image (a), a region division image (d) is created by region division, and an edge image (e) is obtained by edge detection processing. Further, the time difference image (f) is obtained by taking the difference with reference to the input images (b) and (c). For each area given by the area-divided image (d), the area feature is checked with reference to the edge image (e) and the time difference image (f), and the area having the feature that matches the predetermined vehicle area component feature is selected. . (G) shows the selected vehicle area component group. When all the combinations of the selected vehicle area component groups are approximated to a predetermined vehicle area feature by merging, they are combined and regarded as one area. A region that matches the vehicle region is selected from the region group obtained as a result of the region fusion. (H) shows the selected vehicle area, and the number of detected vehicles in this example is only one.
【００１３】次に、第２の発明の車両追跡装置につい
て、時系列の車両検出情報から車両の直線運動成分を検
出する方法を例にとり、図５を用いて説明する。各時刻
における車両検出情報から車両検出位置を読み取り、画
像空間と時間軸が張る時空間における検出車両分布に置
き換える。次に、図５に示す直線成分検出方法により、
検出車両分布から車両の直線運動成分を検出する。Next, the vehicle tracking device of the second invention will be described with reference to FIG. 5, taking as an example a method of detecting a linear motion component of the vehicle from time-series vehicle detection information. The vehicle detection position is read from the vehicle detection information at each time and is replaced with the detected vehicle distribution in the space-time stretched with the image space. Next, using the linear component detection method shown in FIG.
The linear motion component of the vehicle is detected from the detected vehicle distribution.
【００１４】まず、ステップ５０１では追跡開始時刻に
おける各検出車両に番号付けを行う。First, at step 501, each detected vehicle at the tracking start time is numbered.
【００１５】ステップ５０２では、番号が付与された各
検出車両と時空間内の距離がしきい値未満の検出車両に
同じ番号を与える操作を繰り返し、番号を伝播させる。
ただし、どの番号付き検出車両ともしきい値以上の距離
がある場合には新しい番号を与え、同様の操作で番号を
伝播させる。In step 502, the operation of giving the same number to each of the numbered detected vehicles and the detected vehicles whose distance in space-time is less than the threshold value is repeated to propagate the number.
However, if any numbered detected vehicle has a distance equal to or greater than the threshold value, a new number is given and the number is propagated by the same operation.
【００１６】ステップ５０３では、各検出車両番号ごと
の時空間分布を参照し、時空間内の曲線に近似する。In step 503, the spatiotemporal distribution for each detected vehicle number is referred to and approximated to a curve in spatiotemporal space.
【００１７】ステップ５０４では、近似直線から車両の
追跡情報を計算する。例えば、時空間座標が画像空間座
標（ｘ，ｙ）と時間座標ｔを用いて（ｘ，ｙ，ｔ）で与
えられ、近似直線が時間τを変数として（ｘ（τ），ｙ
（τ），τ）と表現された場合を考える。このとき、画
像空間内で時刻ｔにおける車両は（ｘ（ｔ），ｙ
（ｔ））の位置で（ｄｘ（ｔ）／ｄｔ，ｄｙ（ｔ）／ｄ
ｔ）の方向に速度√〔（ｄｘ（ｔ）／ｄｔ）2 ＋（ｄｙ
（ｔ）／ｄｔ）2 〕で移動していることがわかる。In step 504, vehicle tracking information is calculated from the approximate straight line. For example, the spatio-temporal coordinate is given by (x, y, t) using the image space coordinate (x, y) and the time coordinate t, and the approximate straight line is (x (τ), y with time τ as a variable.
Consider the case where it is expressed as (τ), τ). At this time, the vehicle at time t in the image space is (x (t), y
(Dx (t) / dt, dy (t) / d at the position of (t))
velocity in the direction of t) √ [(dx (t) / dt) 2 + (dy
It can be seen that (t) / dt) 2 ].
【００１８】[0018]
【実施例】次に、本発明の実施例について図面を参照し
て説明する。Embodiments of the present invention will now be described with reference to the drawings.
【００１９】図１は、第１の発明の車両検出装置の一実
施例を示すブロック図である。この車両検出装置は、監
視カメラにより撮影された時系列の入力画像を領域に分
割して領域分割画像を生成する領域分割手段１０２と、
入力画像からエッジを検出してエッジ画像を生成するエ
ッジ検出手段１０３と、入力画像から移動情報を検出し
て移動情報画像を生成する移動情報検出手段１０４と、
領域分割画像を格納する領域分割画像メモリ１０５と、
エッジ画像を格納するエッジ画像メモリ１０６と、移動
情報画像を格納する移動情報画像メモリ１０７と、エッ
ジ画像メモリ１０６に登録されているエッジ画像および
移動情報画像メモリ１０７に登録されている移動情報画
像を参照して、領域分割画像メモリ１０５に登録されて
いる領域分割画像の領域毎にエッジ情報と移動情報を情
報融合して領域情報テーブルを生成する情報融合手段１
０８と、情報融合手段１０８において得られた領域情報
テーブルを格納する領域情報テーブルメモリ１０９と、
領域情報テーブルメモリに登録された領域群から車両領
域部品を選び、選択情報を再び領域情報テーブルメモリ
１０９に登録する車両領域部品選択手段１１０と、領域
情報テーブルメモリに登録された領域群から既定の車両
領域特徴を持つ領域に融合し、融合情報を再び領域情報
テーブルメモリ１０９に登録する領域融合手段１１１
と、領域情報テーブルメモリ１０９に登録された領域群
から車両領域を選ぶ車両領域選択手段１１２とを備えて
いる。FIG. 1 is a block diagram showing an embodiment of a vehicle detection device of the first invention. The vehicle detection device divides a time-series input image captured by a surveillance camera into regions and generates a region-divided image, and region division means 102.
An edge detection unit 103 that detects an edge from an input image to generate an edge image, a movement information detection unit 104 that detects movement information from the input image and generates a movement information image,
A region-divided image memory 105 for storing a region-divided image,
The edge image memory 106 that stores the edge image, the movement information image memory 107 that stores the movement information image, the edge image registered in the edge image memory 106, and the movement information image registered in the movement information image memory 107 With reference to the above, the information fusing means 1 for fusing the edge information and the movement information for each area of the area division image registered in the area division image memory 105 to generate an area information table.
08, an area information table memory 109 for storing the area information table obtained by the information fusing means 108,
A vehicle region part selecting means 110 for selecting a vehicle region part from the region group registered in the region information table memory and again registering the selection information in the region information table memory 109, and a predetermined group from the region group registered in the region information table memory. A region merging unit 111 that merges into a region having a vehicle region characteristic and registers the fusion information in the region information table memory 109 again.
And a vehicle area selecting means 112 for selecting a vehicle area from the area group registered in the area information table memory 109.
【００２０】移動情報検出手段１０４としては、時差の
ある入力画像間の差分をとることにより移動領域を求め
る時間差分手段や、車両の存在しない背景画像を用意し
入力画像との差分をとることにより移動領域を求める背
景差分手段や、入力画像の移動ベクトルを求めることに
より移動領域を求める移動ベクトル検出手段などが利用
できる。As the movement information detecting means 104, a time difference means for obtaining a movement area by taking a difference between input images having a time difference, or a background image in which no vehicle exists is prepared and the difference from the input image is obtained. Background subtraction means for obtaining the movement area, movement vector detection means for obtaining the movement area by obtaining the movement vector of the input image, and the like can be used.
【００２１】以上のような構成の車両検出装置におい
て、領域分割手段１０２は、監視カメラにより撮影され
た時系列の入力画像を領域に分割して領域分割画像を作
成する。作成された領域分割画像は領域分割画像記憶手
段としての領域分割画像メモリ１０５に格納される。In the vehicle detection device having the above-mentioned structure, the area dividing means 102 divides the time-series input image photographed by the surveillance camera into areas and creates area divided images. The created area-divided image is stored in the area-divided image memory 105 as an area-divided image storage unit.
【００２２】エッジ検出手段１０３は、入力画像からエ
ッジを検出してエッジ画像を作成する。作成されたエッ
ジ画像はエッジ画像記憶手段としてのエッジ画像メモリ
１０６に格納される。The edge detecting means 103 detects an edge from the input image and creates an edge image. The created edge image is stored in the edge image memory 106 as an edge image storage means.
【００２３】移動情報検出手段１０４は、入力画像から
移動情報を検出して移動情報画像を作成する。作成され
た移動情報画像は移動情報画像記憶手段としての移動情
報画像メモリ１０７に格納される。The movement information detecting means 104 detects movement information from the input image and creates a movement information image. The created movement information image is stored in the movement information image memory 107 as a movement information image storage means.
【００２４】情報融合手段１０８は、エッジ画像メモリ
１０６および移動情報画像メモリ１０７に格納されたエ
ッジ画像および移動情報画像を参照し、領域分割画像メ
モリ１０５に格納された領域分割画像で与えられる領域
毎に、エッジ情報と移動情報とを情報融合して領域情報
テーブルを作成する。作成された領域情報テーブルは領
域情報テーブル記憶手段としての領域情報テーブルメモ
リ１０９に格納される。The information fusion means 108 refers to the edge image and the movement information image stored in the edge image memory 106 and the movement information image memory 107, and for each area given by the area division image stored in the area division image memory 105. Then, the area information table is created by fusing the edge information and the movement information. The created area information table is stored in the area information table memory 109 as an area information table storage unit.
【００２５】車両領域部品選択手段１１０では、領域情
報テーブルメモリ１０９に格納された領域情報テーブル
を参照し、既定の車両領域部品特徴に合致する領域に車
両領域部品のフラグを立てる。The vehicle area part selection means 110 refers to the area information table stored in the area information table memory 109 and sets a flag for the vehicle area part in an area that matches the predetermined vehicle area part characteristics.
【００２６】領域融合手段１１１では、領域情報テーブ
ルメモリ１０９に格納された領域情報テーブルを参照
し、車両領域部品のフラブの立った領域間で融合後の領
域特徴を調べ、既定の車両領域特徴に近づくならば融合
し、近づかなければ不変とする。The area merging means 111 refers to the area information table stored in the area information table memory 109 to check the area characteristics after the merging between the areas where the flav of the vehicle area parts are set, and determine the predetermined vehicle area characteristics. If it approaches, it will fuse, and if it does not approach, it will remain unchanged.
【００２７】車両領域選択手段１１２では、領域情報テ
ーブルメモリ１０９に格納された領域情報テーブルを参
照し、既定の車両領域特徴に合致する領域を選択し、検
出結果記憶手段としての検出結果メモリ１１３に出力す
る。The vehicle area selection means 112 refers to the area information table stored in the area information table memory 109, selects an area that matches the predetermined vehicle area characteristics, and stores it in the detection result memory 113 as the detection result storage means. Output.
【００２８】図２は、第２の発明の車両追跡装置の一実
施例を示すブロック図である。図中、破線内が車両追跡
装置である。FIG. 2 is a block diagram showing an embodiment of the vehicle tracking device of the second invention. In the figure, the vehicle within the broken line is the vehicle tracking device.
【００２９】この車両追跡装置は、一定時間内の時系列
の車両検出情報群を検出位置の時空間分布に変換する検
出車両分布作成手段２０２と、検出車両分布作成手段で
得られた検出車両分布を記憶する検出車両分布メモリ２
０３と、検出車両分布メモリに格納されている検出車両
分布から曲線の成分を検出する曲線成分検出手段２０４
とを備えている。図１の車両検出装置あるいは公知の車
両検出手段により得られる時系列の検出情報を、検出情
報記憶手段としての検出情報メモリ２０１−１〜２０１
−ｎに格納する。This vehicle tracking device includes a detected vehicle distribution creating means 202 for converting a time-series vehicle detection information group within a fixed time into a spatio-temporal distribution of detected positions, and a detected vehicle distribution obtained by the detected vehicle distribution creating means. Detected vehicle distribution memory 2 for storing
03, and a curve component detecting means 204 for detecting a curve component from the detected vehicle distribution stored in the detected vehicle distribution memory.
It has and. The time-series detection information obtained by the vehicle detection device shown in FIG. 1 or a known vehicle detection means is used as detection information storage means 201-1 to 201-1.
Store in -n.
【００３０】検出車両分布作成手段２０２は、検出情報
メモリ２０１−１〜２０１−ｎに格納されている時系列
の車両検出情報を、車両検出位置の時空間分布に変換す
る。作成された検出車両分布は検出車両分布記憶手段と
しての検出車両分布メモリ２０３に格納される。曲線成
分検出手段２０４は、検出車両分布メモリ２０３に格納
されている検出車両分布を参照して曲線成分を抽出し、
追跡結果記憶手段としての追跡結果メモリ２０５に出力
する。The detected vehicle distribution creating means 202 converts the time-series vehicle detection information stored in the detection information memories 201-1 to 201-n into a spatio-temporal distribution of vehicle detection positions. The created detected vehicle distribution is stored in the detected vehicle distribution memory 203 as the detected vehicle distribution storage means. The curve component detection means 204 extracts a curve component by referring to the detected vehicle distribution stored in the detected vehicle distribution memory 203,
It outputs to the tracking result memory 205 as a tracking result storage means.
【００３１】図３は、第３の発明の車両監視装置の一実
施例を示すブロック図である。この発明の車両監視装置
は、一定時間内に入力された時系列の監視画像を格納す
る（ｎ＋２）個の入力画像メモリ３０１と、入力画像メ
モリに格納された入力画像から車両を検出するｎ個の車
両検出手段３０２と、車両検出手段により得られた車両
検出結果を記憶する時系列のｎ個の検出結果メモリ３０
３と、検出結果メモリに格納された時系列の検出結果群
から車両を追跡する車両追跡手段３０４と、車両追跡手
段により得られた追跡結果を記憶する追跡結果メモリ３
０５と、追跡結果メモリに格納された追跡結果を表示す
る追跡結果表示手段３０６とを備えている。FIG. 3 is a block diagram showing an embodiment of the vehicle monitoring device of the third invention. The vehicle monitoring device of the present invention includes (n + 2) input image memories 301 that store time-series monitoring images that are input within a fixed time period, and n number of vehicles that detect a vehicle from the input images stored in the input image memory. Vehicle detection means 302, and n time-series detection result memories 30 for storing the vehicle detection results obtained by the vehicle detection means.
3, vehicle tracking means 304 for tracking the vehicle from the time-series detection result group stored in the detection result memory, and tracking result memory 3 for storing the tracking result obtained by the vehicle tracking means.
05, and a tracking result display means 306 for displaying the tracking result stored in the tracking result memory.
【００３２】この車両監視装置において、車両検出手段
３０２として図１の車両検出装置を利用できる。また、
車両追跡手段３０４として図２の車両追跡装置を利用で
きる。In this vehicle monitoring device, the vehicle detection device of FIG. 1 can be used as the vehicle detection means 302. Also,
The vehicle tracking device shown in FIG. 2 can be used as the vehicle tracking means 304.
【００３３】図３において、入力された監視画像は入力
画像メモリ３０１−１〜３０１−（ｎ＋２）に格納され
る。車両検出手段３０２−１は、入力画像メモリ３０１
−１〜３０１−３に格納されている入力画像を参照し、
車両検出結果を検出結果記憶手段としての検出結果メモ
リ３０３−１に格納する。同様にして、車両検出手段３
０２−ｔ（１≦ｔ≦ｎ）は、入力画像メモリ３０１−ｔ
〜３０１−（ｔ＋２）に格納されている入力画像を参照
し、車両検出の結果を検出結果メモリ３０３−ｔに格納
する。車両追跡手段３０４は、検出結果メモリ３０３−
１〜３０３−ｎに格納されている車両検出結果を参照
し、車両追跡した結果を追跡結果記憶手段としての追跡
結果メモリ３０５に格納する。追跡結果表示手段３０６
は、追跡結果メモリ３０５に格納されている追跡結果を
表示する。In FIG. 3, the input monitoring image is stored in the input image memories 301-1 to 301- (n + 2). The vehicle detection means 302-1 is an input image memory 301.
Refer to the input image stored in -1 to 301-301,
The vehicle detection result is stored in the detection result memory 303-1 as the detection result storage means. Similarly, the vehicle detection means 3
02-t (1 ≦ t ≦ n) is the input image memory 301-t.
~ 301- (t + 2) is referred to and the result of vehicle detection is stored in the detection result memory 303-t. The vehicle tracking means 304 includes a detection result memory 303-
The result of vehicle tracking is stored in the tracking result memory 305 as a tracking result storage unit with reference to the vehicle detection results stored in 1 to 303-n. Tracking result display means 306
Displays the tracking result stored in the tracking result memory 305.
【００３４】[0034]
【発明の効果】以上に説明したように、第１の発明の車
両検出装置によれば、エッジ検出処理と移動情報検出処
理の２つの画像処理を利用することにより、撮影環境や
車両形態の変化のために１種類の画像処理だけでは移動
車両が十分に検出できない場合にも、安定した検出が実
現できる。また、領域情報をもとに各車両領域部品の同
一車両への帰属性を吟味しているので、近傍に存在する
他車両との識別が可能である。As described above, according to the vehicle detection device of the first aspect of the present invention, by utilizing the two image processings of the edge detection processing and the movement information detection processing, it is possible to change the photographing environment and the vehicle form. Therefore, stable detection can be realized even when the moving vehicle cannot be sufficiently detected by only one type of image processing. Further, since the belonging property of each vehicle area component to the same vehicle is examined based on the area information, it is possible to distinguish from other vehicles existing in the vicinity.
【００３５】また、第２の発明の車両追跡装置では、車
両検出で検出誤差を生じたり検出に失敗した場合にも、
検出位置の分布から曲線運動の成分を検出することによ
り、検出位置の誤差の縮小や検出失敗時刻における該当
車両の補間を実現できる。Further, in the vehicle tracking device of the second invention, even when a detection error occurs in the vehicle detection or the detection fails,
By detecting the curvilinear motion component from the detection position distribution, it is possible to reduce the error in the detection position and to interpolate the vehicle at the detection failure time.
【００３６】また、第３の発明の車両監視装置では、監
視画像に撮影された移動車両を個別に追跡し、追跡対象
となった車両の速度の測定や、右左折や車線変更の検出
を高精度で実現できる。Further, in the vehicle monitoring apparatus of the third invention, the moving vehicles photographed in the monitoring image are individually tracked, and the speed of the tracked vehicle is measured and the detection of a right / left turn or lane change is enhanced. Can be realized with accuracy.
【図１】第１の発明の車両検出装置の一実施例を示すブ
ロック図である。FIG. 1 is a block diagram showing an embodiment of a vehicle detection device of the first invention.
【図２】第２の発明の車両追跡装置の一実施例を示すブ
ロック図である。FIG. 2 is a block diagram showing an embodiment of a vehicle tracking device of the second invention.
【図３】第３の発明の車両監視装置の一実施例を示すブ
ロック図である。FIG. 3 is a block diagram showing an embodiment of a vehicle monitoring device of the third invention.
【図４】図１における処理の仮定を示す説明図である。FIG. 4 is an explanatory diagram showing an assumption of processing in FIG.
【図５】第２の発明の車両追跡装置において検出車両分
布から曲線成分を検出する処理を示す流れ図である。FIG. 5 is a flowchart showing a process of detecting a curve component from a detected vehicle distribution in the vehicle tracking device of the second invention.
１０２ 領域分割手段 １０３ エッジ検出手段 １０４ 移動情報検出手段 １０５ 領域分割画像メモリ １０６ エッジ画像メモリ １０７ 移動情報画像メモリ １０８ 情報融合手段 １０９ 融合情報テーブルメモリ １１０ 車両部品選択手段 １１１ 領域融合手段 １１２ 車両領域選択手段 ２０１−１〜２０１−ｎ 検出結果メモリ ２０２ 検出車両分布作成手段 ２０３ 検出車両分布メモリ ２０４ 曲線成分検出手段 ２０５ 追跡結果メモリ ３０１−１〜３０１（ｎ＋２） 入力画像メモリ ３０２−１〜３０２−ｎ 車両検出手段 ３０３−１〜３０３−ｎ 検出結果メモリ ３０４ 車両追跡手段 ３０５ 追跡結果メモリ ３０６ 追跡結果表示手段 102 area division means 103 edge detection means 104 movement information detection means 105 area division image memory 106 edge image memory 107 movement information image memory 108 information fusion means 109 fusion information table memory 110 vehicle part selection means 111 area fusion means 112 vehicle area selection means 201-1 to 201-n detection result memory 202 detected vehicle distribution creating means 203 detected vehicle distribution memory 204 curve component detecting means 205 tracking result memory 301-1 to 301 (n + 2) input image memory 302-1 to 302-n vehicle detection Means 303-1 to 303-n Detection result memory 304 Vehicle tracking means 305 Tracking result memory 306 Tracking result display means
Claims (4)
画像を領域に分割して領域分割画像を生成する領域分割
手段と、 前記入力画像からエッジを検出してエッジ画像を生成す
るエッジ検出手段と、 前記入力画像から移動情報を検出して移動情報画像を生
成する移動情報検出手段と、 領域分割画像を格納する領域分割画像記憶手段と、 エッジ画像を格納するエッジ画像記憶手段と、 移動情報画像を格納する移動情報画像記憶手段と、 前記エッジ画像記憶手段に登録されているエッジ画像お
よび前記移動情報画像記憶手段に登録されている移動情
報画像を参照して、前記領域分割画像記憶手段に登録さ
れている領域分割画像の領域毎にエッジ情報と移動情報
を情報融合して領域情報テーブルを生成する情報融合手
段と、 前記情報融合手段において得られた領域情報テーブルを
格納する領域情報テーブル記憶手段と、 前記領域情報テーブル記憶手段に登録された領域群から
車両領域部品を選び、選択情報を再び前記領域情報テー
ブル記憶手段に登録する車両領域部品選択手段と、 前記領域情報テーブル記憶手段に登録された領域群から
既定の車両領域特徴を持つ領域に融合し、融合情報を再
び前記領域情報テーブル記憶手段に登録する領域融合手
段と、 前記領域情報テーブル記憶手段に登録された領域群から
車両領域を選ぶ車両領域選択手段とを備え、 前記車両領域選択手段で選ばれた車両領域を車両検出結
果として出力することを特徴とする車両検出装置。1. A region dividing unit that divides a time-series input image captured by a surveillance camera into regions to generate a region divided image; and an edge detecting unit that detects an edge from the input image and generates an edge image. A movement information detecting means for detecting movement information from the input image to generate a movement information image; an area division image storage means for storing an area division image; an edge image storage means for storing an edge image; A movement information image storage unit for storing an image, an edge image registered in the edge image storage unit, and a movement information image registered in the movement information image storage unit are referred to and the area division image storage unit is referred to. An information fusing means for fusing the edge information and the movement information for each area of the registered area division image to generate an area information table; Area information table storage means for storing the area information table obtained in advance, and vehicle area parts are selected from the area group registered in the area information table storage means, and selection information is registered again in the area information table storage means. Vehicle area component selecting means, area fusion means for merging the area group registered in the area information table storage means into an area having a predetermined vehicle area feature, and registering the fusion information again in the area information table storage means, Vehicle detection, comprising vehicle area selection means for selecting a vehicle area from an area group registered in the area information table storage means, and outputting the vehicle area selected by the vehicle area selection means as a vehicle detection result. apparatus.
出位置の時空間分布に変換する検出車両分布作成手段
と、 前記検出車両分布作成手段で得られた検出車両分布を記
憶する検出車両分布記憶手段と、 前記検出車両分布記憶手段に格納されている検出車両分
布から曲線の成分を検出する曲線成分検出手段とを備
え、 前記曲線成分検出手段で検出された曲線を車両の追跡結
果として出力することを特徴とする車両追跡装置。2. A detected vehicle distribution creating means for converting a time-series vehicle detected information group within a fixed time into a spatiotemporal distribution of detected positions, and a detection for storing the detected vehicle distribution obtained by the detected vehicle distribution creating means. A vehicle distribution storage means; and a curve component detection means for detecting a curve component from the detected vehicle distribution stored in the detected vehicle distribution storage means, wherein the curve detected by the curve component detection means is tracked by the vehicle. The vehicle tracking device is characterized by outputting as.
を格納する入力画像記憶手段と、 前記入力画像記憶手段に格納された入力画像から車両を
検出する複数の車両検出手段と、 前記車両検出手段により得られた車両検出結果を記憶す
る時系列の検出結果記憶手段と、 前記検出結果記憶手段に格納された時系列の検出結果群
から車両を追跡する車両追跡手段と、 前記車両追跡手段により得られた追跡結果を記憶する追
跡結果記憶手段と、 前記追跡結果記憶手段に格納された追跡結果を表示する
追跡結果表示手段と、を備えていることを特徴とする車
両監視装置。3. An input image storage means for storing time-series monitoring images input within a fixed time; a plurality of vehicle detection means for detecting a vehicle from the input images stored in the input image storage means; A time-series detection result storage unit that stores the vehicle detection result obtained by the vehicle detection unit; a vehicle tracking unit that tracks the vehicle from the time-series detection result group stored in the detection result storage unit; A vehicle monitoring device comprising: a tracking result storage unit that stores the tracking result obtained by the unit; and a tracking result display unit that displays the tracking result stored in the tracking result storage unit.
検出装置であり、 前記車両追跡手段は、請求項２記載の車両追跡装置であ
る、ことを特徴とする請求項３記載の車両監視装置。4. The vehicle according to claim 3, wherein the vehicle detection means is the vehicle detection device according to claim 1, and the vehicle tracking means is the vehicle tracking device according to claim 2. Monitoring equipment.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5128558A JP2624117B2 (en) | 1993-05-31 | 1993-05-31 | Vehicle detection device, vehicle tracking device, and vehicle monitoring device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5128558A JP2624117B2 (en) | 1993-05-31 | 1993-05-31 | Vehicle detection device, vehicle tracking device, and vehicle monitoring device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06337998A true JPH06337998A (en) | 1994-12-06 |
| JP2624117B2 JP2624117B2 (en) | 1997-06-25 |
Family
ID=14987736
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5128558A Expired - Fee Related JP2624117B2 (en) | 1993-05-31 | 1993-05-31 | Vehicle detection device, vehicle tracking device, and vehicle monitoring device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2624117B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002007096A1 (en) * | 2000-07-17 | 2002-01-24 | Mitsubishi Denki Kabushiki Kaisha | Device for tracking feature point on face |
| US6847371B2 (en) | 1996-08-29 | 2005-01-25 | Sanyo Electric Co., Ltd. | Texture information assignment method, object extraction method, three-dimensional model generating method, and apparatus thereof |
| CN104700396A (en) * | 2013-12-10 | 2015-06-10 | 国际商业机器公司 | Method for determining parameters for estimation of volume of traffic from images |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0268698A (en) * | 1988-09-02 | 1990-03-08 | Nagoya Denki Kogyo Kk | Method and device for detecting vehicle |
| JPH04313198A (en) * | 1991-03-26 | 1992-11-05 | Mitsubishi Electric Corp | Mobile objection measuring device |
-
1993
- 1993-05-31 JP JP5128558A patent/JP2624117B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0268698A (en) * | 1988-09-02 | 1990-03-08 | Nagoya Denki Kogyo Kk | Method and device for detecting vehicle |
| JPH04313198A (en) * | 1991-03-26 | 1992-11-05 | Mitsubishi Electric Corp | Mobile objection measuring device |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6847371B2 (en) | 1996-08-29 | 2005-01-25 | Sanyo Electric Co., Ltd. | Texture information assignment method, object extraction method, three-dimensional model generating method, and apparatus thereof |
| US7106348B2 (en) | 1996-08-29 | 2006-09-12 | Sanyo Electric Co., Ltd. | Texture information assignment method, object extraction method, three-dimensional model generating method, and apparatus thereof |
| WO2002007096A1 (en) * | 2000-07-17 | 2002-01-24 | Mitsubishi Denki Kabushiki Kaisha | Device for tracking feature point on face |
| CN104700396A (en) * | 2013-12-10 | 2015-06-10 | 国际商业机器公司 | Method for determining parameters for estimation of volume of traffic from images |
| DE102014117588A1 (en) | 2013-12-10 | 2015-06-11 | International Business Machines Corporation | A method for determining a parameter for estimating a traffic volume based on an image |
| CN104700396B (en) * | 2013-12-10 | 2017-11-24 | 国际商业机器公司 | The method and system of the parameter for estimating the volume of traffic is determined from image |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2624117B2 (en) | 1997-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7769227B2 (en) | Object detector | |
| US5719954A (en) | Stereo matching method and disparity measuring method | |
| CN100544403C (en) | The image stabilization system and method | |
| CN1465988A (en) | Laser position detector and method | |
| US20110205355A1 (en) | Data Mining Method and System For Estimating Relative 3D Velocity and Acceleration Projection Functions Based on 2D Motions | |
| JPH07167649A (en) | Distance measuring equipment | |
| KR19980018429A (en) | Distance detection method using image | |
| JPH09226490A (en) | Detector for crossing object | |
| JP2002056379A (en) | Three-dimensional data generating device | |
| US5255064A (en) | Distance-measuring equipment | |
| JPH06337998A (en) | Vehicle detector, vehicle tracking device and vehicle monitoring device | |
| CN112666550A (en) | Moving object detection method and apparatus, fusion processing unit, and medium | |
| JPH04345382A (en) | Scene change detecting method | |
| JPH05312819A (en) | Speed detecting device for moving object | |
| Reulke et al. | Traffic surveillance using multi-camera detection and multi-target tracking | |
| US20050128298A1 (en) | Method for following at least one object in a scene | |
| JPH02182093A (en) | Monitor | |
| JPH1096607A (en) | Object detector and plane estimation method | |
| JP4158300B2 (en) | 3D input method and 3D input device | |
| JP2001004367A (en) | Distance measurement computing device | |
| JPH1151644A (en) | Distance measuring instrument for vehicle | |
| CN115082712B (en) | Target detection method and device based on radar-vision fusion and readable storage medium | |
| JPH04180371A (en) | Motion detector for image | |
| JP2013142668A (en) | Position estimation device and position estimation method | |
| JPH07190757A (en) | Distance measuring device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19970204 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080411 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090411 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100411 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110411 Year of fee payment: 14 |
|
| LAPS | Cancellation because of no payment of annual fees |