JPH06231252A - Method for tracking moving object on monitoring picture - Google Patents

Method for tracking moving object on monitoring picture

Info

Publication number
JPH06231252A
JPH06231252A JP1730393A JP1730393A JPH06231252A JP H06231252 A JPH06231252 A JP H06231252A JP 1730393 A JP1730393 A JP 1730393A JP 1730393 A JP1730393 A JP 1730393A JP H06231252 A JPH06231252 A JP H06231252A
Authority
JP
Japan
Prior art keywords
moving object
image
area
tracking
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP1730393A
Other languages
Japanese (ja)
Inventor
Keiko Yamagishi
桂子 山岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP1730393A priority Critical patent/JPH06231252A/en
Publication of JPH06231252A publication Critical patent/JPH06231252A/en
Pending legal-status Critical Current

Links

Landscapes

  • Geophysics And Detection Of Objects (AREA)
  • Burglar Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE:To provide a monitored picture moving object tracking method capable of accurately tracking a moving object in a monitoring picture and improving performance for judging the existence of a moving object. CONSTITUTION:A picture monitoring device for monitoring a moving object by picking up the images of a monitoring area by an image pickup means, continuously entering and digitizing the picked up images at a prescribed time interval and computing the plural digitized images, a difference image of the digitized images is calculated, the calculated difference image is binarized to generate (S2) a binarized difference image, a change area is detected from the generated binarized difference image and registered in a change area gradation pattern dictionary as a moving object. After the lapse of a prescribed time, the contents of the gradation pattern dictionary are compared with the gradation pattern of an original image at the periphery of a position where the moving object on the original image inputted from the image pickup means exists, an area having high similirity is extracted and judged as a moving object to track the moving object.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、監視領域内における移
動物体の監視を行なう画像監視装置において、監視画像
内の移動物体を追跡する監視画像の移動物体追跡方法に
関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a monitoring object moving object tracking method for tracking a moving object in a monitoring image in an image monitoring apparatus for monitoring a moving object in a monitoring area.

【0002】[0002]

【従来の技術】この種の画像監視装置の一例として、た
とえば、図9および図10に示すものがある。図におい
て、撮像手段としてのITVカメラ1は監視領域2内の
画像を撮像し、電気信号に変換する。このITVカメラ
1で撮像された画像は、伝送路3によって処理装置4、
および、画像記録手段としてのビデオテープレコーダ
(以降、単にVTRと略称する)5に送られる。VTR
5は、ITVカメラ1で撮像された監視画像を連続的、
あるいは移動物体(以降、侵入物体と言うこともある)
を検出した場合に記録する。
2. Description of the Related Art An example of this type of image monitoring apparatus is shown in FIGS. 9 and 10, for example. In the figure, an ITV camera 1 as an image pickup means picks up an image in a monitoring area 2 and converts it into an electric signal. The image captured by the ITV camera 1 is processed by the transmission path 3 into the processing device 4,
Then, it is sent to a video tape recorder (hereinafter simply referred to as VTR) 5 as an image recording means. VTR
Reference numeral 5 indicates continuous monitoring images captured by the ITV camera 1,
Or moving object (hereinafter sometimes referred to as intruding object)
Record when detected.

【0003】一方、処理装置4に送られた画像信号は、
サンプリングパルス生成回路10から出力される所定周
期のサンプリングパルスにより、A/D変換器11でデ
ジタル信号に変換され、たとえば、時刻t=tiの画像
データとして画像メモリ12内に格納される。
On the other hand, the image signal sent to the processing device 4 is
The sampling pulse having a predetermined cycle output from the sampling pulse generation circuit 10 is converted into a digital signal by the A / D converter 11, and is stored in the image memory 12 as image data at time t = ti, for example.

【0004】そして、差分2値化回路13において、こ
の時刻t=tiの画像データは、変化領域を抽出するた
めに、後述するように、これよりも前に画像メモリ12
内に取込まれていた時刻t=ti-1の画像データと画素
間差分演算を行なうことにより差分画像が求められ、さ
らに、変化があった画素が”1”で表わされる差分2値
化画像に変換され、差分2値化画像メモリ14に格納さ
れる。
Then, in the differential binarization circuit 13, the image data at the time t = ti is extracted before the image memory 12 in order to extract a change area, as will be described later.
The difference image is obtained by performing the inter-pixel difference calculation with the image data at time t = ti-1 that was captured in the difference binary image in which the changed pixel is represented by "1". And is stored in the differential binarized image memory 14.

【0005】CPU(セントラル・プロセッシング・ユ
ニット)15は、差分2値化画像メモリ14内の差分2
値化画像を用いて変化領域の解析を行ない、変化領域が
移動物体(侵入物体)であると判定した場合には、警報
装置6を鳴らしたり、監視者が表示装置7の画面上で移
動物体が何であるかを確認したり、VTR5が動作して
いなかった場合は動作させて監視画像の記録などを行な
う。もし、移動物体でないと判定した場合には、引続き
画像を取込み、上記処理を繰返す。
A CPU (Central Processing Unit) 15 has a difference 2 in a difference binarized image memory 14.
When the changed area is analyzed using the binarized image and it is determined that the changed area is a moving object (intruding object), the alarm device 6 is sounded, or the supervisor moves the moving object on the screen of the display device 7. Is checked, and if the VTR 5 is not operating, it is operated to record a monitoring image. If it is determined that the object is not a moving object, the image is continuously captured and the above processing is repeated.

【0006】ところで、変化領域の抽出のための画素間
演算としては、一般的に、移動物体が存在しない場合の
背景画像との差分、あるいは、所定時間Δt前の時刻t
=ti-1の画像との時系列差分のどちらかが用いられ
る。背景画像との差分では、移動物体が停止していても
検出できるが、屋外のように、明るさなどの環境が変化
してゆく場合には、背景画像を更新しないと、移動物体
が存在しなくても変化領域を生じるという特徴がある。
By the way, as an inter-pixel calculation for extracting a change area, in general, a difference from a background image when a moving object does not exist, or a time t before a predetermined time Δt.
Either one of the time-series differences from the image of = ti-1 is used. With the difference from the background image, it can be detected even when the moving object is stopped, but when the environment such as the brightness is changing, such as outdoors, the moving object exists unless the background image is updated. There is a feature that a change area is generated even if it is not used.

【0007】時系列差分の場合は、一般に、比較的短い
時間間隔での差分を行なうため、環境変化への追従性は
優れているが、移動物体が停止した場合には検出でき
ず、さらに、移動物体が動いても、2画面での差分で
は、移動物体の消失部分と、発生部分の両方が検出され
るという特徴がある。
In the case of the time series difference, since the difference is generally made at a relatively short time interval, the followability to the environmental change is excellent, but it cannot be detected when the moving object stops, and further, Even if the moving object moves, the difference between the two screens is characterized in that both the disappearing portion and the occurring portion of the moving object are detected.

【0008】時系列差分の後者の欠点を取り除くため
に、t=tiとt=ti-1の2画面でなく、さらに、t
=ti+1の連続した3画面を用いて、前の2画面と後ろ
の2画面でそれぞれ差分演算を行ない、得られた2つの
差分画像の論理積により、t=tiの画像での移動物体
を抽出する方法をとる場合もある。
In order to eliminate the latter drawback of the time-series difference, in addition to the two screens of t = ti and t = ti-1,
= Ti + 1 consecutive three screens are used to perform the difference calculation on the front two screens and the rear two screens respectively, and by the logical product of the two difference images obtained, the moving object in the image t = ti In some cases, the method of extracting is taken.

【0009】また、CPU15が、差分2値化画像から
変化領域の解析を行なう際、所定のまとまった領域を求
めるために、画像処理の基本的な手法として、値が”
1”である閉領域にシリアル番号を与え(ラべリン
グ)、それぞれの部分領域の面積や、距離などを求めて
まとまった領域を抽出し、この領域内で形状や値が”
1”である面積などを計算して解析する場合が多いが、
全画像領域でこの操作を行なうと、非情に時間がかか
る。
In addition, when the CPU 15 analyzes a change area from a binary difference image, the value is "as a basic method of image processing in order to obtain a predetermined grouped area.
A serial number is given (labeling) to the closed area that is 1 ", and the area and distance of each partial area are calculated to extract a grouped area.
In many cases, the area such as 1 "is calculated and analyzed.
Performing this operation over the entire image area is extremely time consuming.

【0010】そこで、たとえば、特開昭62-147891 号公
報に開示されているように、差分2値化画像から変化の
あった領域を粗く区分けする方法が提案されている。こ
れは、差分2値化画像において、図11に示すように、
X,Y軸方向に射影ヒストグラムを求めて、得られたヒ
ストグラムのうち、所定値Xth、Yth以上の高さが所定
幅Xw ,Yw 以上であるような区分領域を求め、この内
部を解析するような手法である。
Therefore, for example, as disclosed in Japanese Patent Laid-Open No. 62-147891, a method has been proposed in which a changed area is roughly divided from a difference binary image. This is as shown in FIG. 11 in the difference binarized image.
The projection histogram is obtained in the X and Y axis directions, and in the obtained histogram, a segmented area whose height of the predetermined value Xth or Yth or more is equal to or more than the predetermined width Xw or Yw is obtained, and the inside is analyzed. Is a technique.

【0011】すなわち、CPU15は、図11に示す区
分領域A11〜A22のみを調べて、変化領域が移動物体で
あるか否かといった解析を行なう。変化領域の解析時に
は、前述のように、ラベリングを行なった解析も行なえ
るし、図11の区分領域A11,A22のように、区分領域
が移動物体の外接四角形になる場合が多いことから、こ
の区分領域が所定の大きさの場合には、ラベリングなど
の処理を行なわずに、直接、その形状を検査したり、値
が”1”である部分の面積を求めるといった方法によっ
て解析することもある。
That is, the CPU 15 examines only the divided areas A11 to A22 shown in FIG. 11 and analyzes whether or not the changed area is a moving object. As described above, when the change area is analyzed, the labeling analysis can be performed, and as in the case of the divided areas A11 and A22 in FIG. 11, the divided area is often a circumscribed rectangle of the moving object. When the divided area has a predetermined size, it may be analyzed by a method such as directly inspecting its shape or obtaining the area of a portion whose value is "1" without performing processing such as labeling. .

【0012】以上、画像の差分の手法と移動物体の解析
方法について述べたが、取込んだ画像はノイズ成分を含
むために、空間フィルタリングや論理フィルタリングの
処理を施すことが一般的である。
The method of image difference and the method of analyzing a moving object have been described above. However, since the captured image contains a noise component, it is common to perform spatial filtering or logical filtering processing.

【0013】[0013]

【発明が解決しようとする課題】従来の画像監視装置で
は、変化領域が移動物体であると判定して警報を鳴らす
とか、VTRに録画するなどした後、監視者が全ての移
動物体について、その移動物体がどこからどのように移
動したかで怪しい人物か否かを判定するものである。し
たがって、常に表示装置の画面を見て監視者が移動物体
を見つけ出すような、初期の画像監視装置と比較する
と、作業の軽減になるが、後処理で監視者が判断する際
にかなりの時間と労力を費やす。
In the conventional image monitoring apparatus, after the change area is determined to be a moving object, an alarm is sounded, or a video recording is performed on the VTR, and the like. It is determined whether or not the moving object moves from where and how it is a suspicious person. Therefore, compared with the initial image monitoring device in which the monitor always looks at the screen of the display device to find the moving object, the work is reduced, but it takes a considerable time for the monitor to make a judgment in the post-processing. Spend labor.

【0014】そのため、単に移動物体の検出というだけ
でなく、移動物体の追跡を行なって本当に怪しい人物の
みに対して警報を鳴らすように改良することで、さらに
作業の軽減が期待できる。
Therefore, not only the detection of the moving object but also the improvement of tracking the moving object and sounding the alarm only to a truly suspicious person can be expected to further reduce the work.

【0015】そこで、本発明は、監視画像内の移動物体
を精度よく追跡でき、移動物体か否かの判定性能の向上
が図れ、しかも、効率のよい画像監視が可能となる監視
画像の移動物体追跡方法を提供することを目的とする。
Therefore, according to the present invention, it is possible to accurately track a moving object in a monitoring image, improve the performance of determining whether or not the object is a moving object, and perform efficient image monitoring. The purpose is to provide a tracking method.

【0016】[0016]

【課題を解決するための手段】本発明の監視画像の移動
物体追跡方法は、監視領域内の画像を撮像手段で撮像し
て入力し、この入力された監視領域内の画像を所定の時
間間隔で連続的に取込んでデジタル化し、このデジタル
化された複数の画像を演算することによって、前記監視
領域内での移動物体の監視を行なう画像監視装置におい
て、デジタル化された画像の差分画像を算出し、この算
出した差分画像を2値化して差分2値化画像を生成し、
この生成した差分2値化画像から変化領域を検出し、こ
の検出した変化領域を移動物体としてその変化領域の濃
淡パターンを記憶手段に記憶し、所定時間経過後に前記
撮像手段から入力された原画画像の前記移動物体の存在
した位置の周辺において、前記記憶手段内の濃淡パター
ンと前記原画画像の濃淡パターンとを比較することによ
って、類似度の高い領域を抽出して前記移動物体と判定
することにより前記移動物体を追跡することを特徴とす
る。
According to the method of tracking a moving object in a surveillance image of the present invention, an image in the surveillance area is picked up by an image pickup means and inputted, and the inputted image in the surveillance area is set at predetermined time intervals. In the image monitoring apparatus for monitoring a moving object in the monitoring area, a differential image of the digitized image is obtained by continuously capturing and digitizing the digitized image and calculating a plurality of the digitized images. Then, the calculated difference image is binarized to generate a difference binarized image,
A change area is detected from the generated difference binarized image, the detected change area is used as a moving object, a grayscale pattern of the change area is stored in the storage means, and an original image input from the image pickup means after a predetermined time elapses. In the vicinity of the position where the moving object existed, by comparing the grayscale pattern in the storage means with the grayscale pattern of the original image, a region with high similarity is extracted to determine the moving object. It is characterized in that the moving object is tracked.

【0017】[0017]

【作用】本発明によれば、時系列フレーム間で移動物体
の追跡を行なうことにより、移動物体の出現場所や目的
地がわかり、どこから現れてどの方向に向かっているか
で、本当の移動物体か否かの判定を精度よく行なうこと
が可能となり、移動物体か否かの判定性能の向上が図れ
る。また、追跡する際には、複数の移動物体が交差して
移動した場合や、多数の移動物体が分離したり併合した
りして移動している場合にも対応できるように、差分画
像から求めた移動物体の原画の濃淡パターンを辞書情報
として登録しておき、あらかじめ設定した予測窓の範囲
内で原画と上記濃淡パターンの辞書情報とをマッチング
処理して類似度の高い領域を候補とし、その候補の選択
に差分画像から求まる移動領域を用いることで、より精
度の高い追跡を実現することができる。
According to the present invention, by tracking a moving object between time-series frames, the appearance location and destination of the moving object can be known, and whether the moving object appears and in which direction the true moving object It is possible to accurately determine whether or not the object is a moving object, and the performance of determining whether or not the object is a moving object can be improved. In addition, when tracking, it is calculated from the difference image so that it can be dealt with even when a plurality of moving objects move in an intersecting manner or when a large number of moving objects move by separating or merging. The grayscale pattern of the original image of the moving object is registered as dictionary information, and the original image and the dictionary information of the grayscale pattern are subjected to matching processing within the range of the preset prediction window, and a region having a high degree of similarity is set as a candidate. By using the moving area obtained from the difference image for selecting the candidate, more accurate tracking can be realized.

【0018】[0018]

【実施例】以下、本発明の一実施例について図面を参照
して説明する。まず、具体的な説明を行なう前に本発明
の概要について説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below with reference to the drawings. First, an outline of the present invention will be described before giving a specific description.

【0019】移動物体の動きを解析するには、ある時刻
t=tiの画像で移動物体を抽出し、それ以降の時刻の
画像でその移動物体の対応する領域を抽出することであ
ると考えられる。すなわち、「追跡」というのは、移動
物体の抽出と対応部分の抽出(以下、追跡処理と呼ぶ)
の2つのステップに分けることができる。ここで、第1
ステップである移動物体の抽出処理は、従来例に述べた
方法で実現できる。第1ステップに、本発明で述べる第
2ステップの追跡処理を追加することにより、従来例と
比べ、より効果的な画像監視装置を実現することができ
る。
In order to analyze the movement of the moving object, it is considered that the moving object is extracted from the image at a certain time t = ti, and the corresponding area of the moving object is extracted from the images at the subsequent times. . That is, "tracking" means extraction of moving objects and extraction of corresponding parts (hereinafter referred to as tracking processing).
Can be divided into two steps. Where the first
The step of extracting a moving object can be realized by the method described in the conventional example. By adding the tracking process of the second step described in the present invention to the first step, a more effective image monitoring device can be realized as compared with the conventional example.

【0020】前述したように、移動物体の追跡を行なう
ためには、異なる時間で取込んだ画像で移動物体の対応
をとる必要がある。この対応をとるために、時刻t=t
iでの移動物体が時刻t=ti+1で移動したと考えられ
る画像内の領域(以下、予測窓と呼ぶ)を設定し、その
予測窓中で時刻t=tiでの移動物体に対応する領域を
抽出すればよい。すなわち、予測窓の設定方法(本発明
の第1のポイント)と、時刻t=ti+1の予測窓内にお
ける時刻t=tiの移動物体の対応の取り方(移動物体
の抽出方法)が重要となる。
As described above, in order to track a moving object, it is necessary to correspond the moving object with images captured at different times. In order to take this correspondence, time t = t
An area (hereinafter referred to as a prediction window) in the image that is considered to have moved by the moving object at i at time t = ti + 1 is set, and corresponds to the moving object at time t = ti in the prediction window. The area may be extracted. That is, the method of setting the prediction window (the first point of the present invention) and the method of taking correspondence with the moving object at time t = ti within the prediction window at time t = ti + 1 (method of extracting the moving object) are important. Becomes

【0021】まず、予測窓の設定方法について説明す
る。たとえば、図3(a)に示すように、時刻t=ti
で移動物体が抽出されたとする。ここで、この移動物体
の時刻t=ti-1における位置と時刻t=tiにおける
位置とから、移動物体が移動した方向ベクトルが求ま
る。この方向ベクトルは、たとえば、両者の重心を結ぶ
ことで得られる。この方向ベクトルを次の位置を予測す
る移動予測方向ベクトル(矢印)52(x1 >0,y1
>0)と設定する。
First, a method of setting the prediction window will be described. For example, as shown in FIG. 3A, time t = ti
It is assumed that the moving object is extracted by. Here, from the position of the moving object at time t = ti−1 and the position at time t = ti, the direction vector in which the moving object moves can be obtained. This direction vector is obtained, for example, by connecting the centers of gravity of the both. A movement prediction direction vector (arrow) 52 (x1> 0, y1) for predicting the next position from this direction vector
> 0).

【0022】この場合、移動物体51は、前のフレーム
(時刻t=ti-1)から右上方向に進んでいるから、次
のフレーム(時刻t=ti+1)でも右上方向に進むはず
である。方向を変える場合にも、画像の取込み間隔が短
ければ徐々に方向は変化するはずであるし、移動速度も
それほど急に変わることもないため、予測窓は右上方向
に大きく設定すればよい。
In this case, since the moving object 51 has moved in the upper right direction from the previous frame (time t = ti−1), it should also move in the upper right direction in the next frame (time t = ti + 1). . Even when the direction is changed, the direction should gradually change if the image capturing interval is short, and the moving speed does not change so suddenly. Therefore, the prediction window may be set large in the upper right direction.

【0023】実際には、現在のフレーム(時刻t=t
i)の移動物体51を含む外接四角形53を、上下方向
にはy1 の大きさを参考にW1,W2を設定して拡大
し、左右方向にはx1 の大きさを参考にW3,W4を設
定して拡大することにより予測窓54を生成する。
In practice, the current frame (time t = t
The circumscribed quadrangle 53 including the moving object 51 of i) is enlarged by setting W1 and W2 in the vertical direction with reference to the size of y1 and set W3 and W4 in the horizontal direction with reference to the size of x1. Then, the prediction window 54 is generated by enlarging.

【0024】同様に、図3(b)に示すように、移動物
体55が抽出され、前のフレーム位置と現在のフレーム
位置とから移動予測方向ベクトル(矢印)56(x2 <
0,y2 >0)が設定された場合には、移動物体55を
含む外接四角形57を、上下方向にはy2 の大きさを参
考に拡大し、左右方向にはx2 の大きさ(絶対値)を参
考に拡大することにより予測窓58を生成する。
Similarly, as shown in FIG. 3B, a moving object 55 is extracted, and a predicted movement direction vector (arrow) 56 (x2 <x2 <from the previous frame position and the current frame position is extracted.
0, y2> 0) is set, the circumscribing quadrangle 57 including the moving object 55 is enlarged in the vertical direction with reference to the size of y2, and the horizontal direction is the size of x2 (absolute value). The prediction window 58 is generated by enlarging the prediction window 58.

【0025】次に、予測窓内での移動物体の抽出方法に
ついて説明する。移動物体は移動に伴って大きさ、形
状、濃度が変化するが、移動時間(画像の取込み間隔)
が短ければその変化は小さくなるはずである。
Next, a method of extracting a moving object within the prediction window will be described. The size, shape, and density of moving objects change as they move, but the moving time (image capture interval)
If is short, the change should be small.

【0026】そこで、本発明では、時刻t=tiでの移
動物体の原画での濃淡パターンを基準パターン(以下、
辞書パターンと呼ぶ)として、予測窓内で辞書パターン
を動かして最も合う濃淡パターンを求めることによっ
て、移動物体と思われる領域を抽出する方法(本発明の
第2のポイント)、この抽出が良いか否かを確認する方
法(本発明の第3のポイント)、移動に伴う大きさ、形
状、濃度の変化に対応するために辞書パターンを更新す
る方法(本発明の第4のポイント)を考えた。
Therefore, in the present invention, the grayscale pattern in the original image of the moving object at time t = ti is used as a reference pattern (hereinafter, referred to as a reference pattern).
(Referred to as a dictionary pattern), the dictionary pattern is moved in the prediction window to find the best matching grayscale pattern, and a region considered to be a moving object is extracted (second point of the present invention). Is this extraction good? A method of confirming whether or not there is a third point (the third point of the present invention) and a method of updating a dictionary pattern to cope with changes in size, shape, and density due to movement (the fourth point of the present invention) have been considered. .

【0027】まず、辞書パターンの設定方法を説明す
る。移動物体の濃淡パターンを得るということは、移動
物体の抽出処理を行ない、その抽出された領域の差分2
値化画像を原画に当てはめ、抽出領域と同じ位置のデー
タのみ残し、他は”0”とすればよく、これを辞書パタ
ーンとする。
First, a method of setting a dictionary pattern will be described. To obtain a grayscale pattern of a moving object means to perform a moving object extraction process and obtain a difference 2 of the extracted regions.
The binarized image is applied to the original image, only the data at the same position as the extraction region is left, and the others are set to "0", which is used as the dictionary pattern.

【0028】たとえば、図4に第1ステップの移動物体
抽出処理における移動物体の濃淡パターンの例を示す。
ここで、入力フレーム31内の移動領域32の濃淡パタ
ーンを辞書パターンとして登録する。辞書領域は、差分
2値化画像から求まる移動物体の背景を含む短形を辞書
パターンにする場合と、背景を除く人物型を辞書パター
ンにする場合が考えられるが、背景が複雑な場合は背景
を除く人物型の辞書パターンを作成する方が効果的であ
る。
For example, FIG. 4 shows an example of a grayscale pattern of a moving object in the moving object extraction processing of the first step.
Here, the grayscale pattern of the moving area 32 in the input frame 31 is registered as a dictionary pattern. The dictionary area may be a dictionary pattern of a short shape including the background of a moving object obtained from the difference binarized image or a dictionary pattern of a person type excluding the background. It is more effective to create a person-type dictionary pattern excluding.

【0029】次に、予測窓内における濃淡パターンの抽
出方法を説明する。たとえば、図4の画像(時刻t=t
i)の次のフレームで図5の画像(時刻t=ti+1)
が取り込まれたとする(移動物体32は41の位置に移
動している)。時刻t=tiで、前述したように辞書パ
ターン32と予測窓33が設定されていたとすると、時
刻t=ti+1で予測窓42(前のフレームの33と同
じ)内の濃淡パターンと辞書パターン32とを比較す
る。比較の方法は、たとえば、辞書パターンを予測窓内
で次々にずらして総当たりで比較するテンプレートマッ
チング法など、色々な照合方法が考えられる。
Next, a method of extracting a shade pattern in the prediction window will be described. For example, the image of FIG. 4 (time t = t
In the next frame of i), the image of FIG. 5 (time t = ti + 1)
Is taken in (the moving object 32 is moving to the position of 41). Assuming that the dictionary pattern 32 and the prediction window 33 are set at time t = ti as described above, the shade pattern and the dictionary pattern in the prediction window 42 (same as 33 of the previous frame) at time t = ti + 1. Compare with 32. Various comparison methods are conceivable, for example, a template matching method in which dictionary patterns are sequentially shifted within a prediction window and compared in a brute force manner.

【0030】上記比較(マッチング)により、予測窓4
2内で辞書パターン32と最も類似度の高い領域が求ま
った場合は、これらが移動物体と思われる領域となる。
なお、類似度の高い領域は1つではなく、複数の候補を
抽出することも考えられる。
By the above comparison (matching), the prediction window 4
When areas having the highest degree of similarity with the dictionary pattern 32 in 2 are obtained, these areas are considered to be moving objects.
It should be noted that it is possible to extract a plurality of candidates instead of one area having a high degree of similarity.

【0031】また、移動物体と思われる領域が本当に移
動物体に相当するか否かの確認は、前述の移動物体の抽
出方法を組合わせることにする。すなわち、時刻t=t
i+1で従来と同じ方法によって差分2値化画像(所定
のしきい値で移動領域が”1”、それ以外が”0”とな
っている)を求め、前記差分2値化画像から抽出された
領域と、予測窓内で原画を用いて抽出された領域の位置
などを用いて比較することにより移動物体であるか否か
の判定を行ない、抽出領域の正当性を確かめる。
Further, in order to confirm whether or not the region considered to be a moving object really corresponds to the moving object, the above-mentioned moving object extraction method is combined. That is, time t = t
At i + 1, a difference binarized image (moving region is "1" at a predetermined threshold value and "0" other than that) is obtained by the same method as the conventional method, and is extracted from the difference binarized image. The validity of the extracted area is confirmed by comparing the area with the position of the area extracted using the original image in the prediction window to determine whether or not the object is a moving object.

【0032】従来は、差分2値化画像のみで移動物体の
検出を行なっていたが、前述したように、原画でマッチ
ング処理して、それが正しいか否かの判定に差分2値化
画像を用いることで、複数人の追跡に大変有効である。
具体的な判定方法は、類似度の高い領域内の移動領域が
含まれる割合や、X方向およびY方向のライン抜けなど
が考えられる。
Conventionally, the moving object is detected only by the difference binary image, but as described above, the matching process is performed on the original image, and the difference binary image is used to judge whether or not it is correct. By using it, it is very effective for tracking multiple people.
As a specific determination method, a ratio of a moving area included in an area having a high degree of similarity, a line omission in the X direction and the Y direction, and the like can be considered.

【0033】次に、辞書パターンの更新方法について説
明する。辞書パターンの更新は、移動物体の動きに伴う
変化およびカメラ1の遠近によるサイズの変化に対応す
るため、毎フレームで行なう。すなわち、図6に示すよ
うに、現在のフレーム(時刻t=ti)での移動物体
は、次のフレーム(時刻t=ti+1)ではサイズが大
きくなったり、小さくなったりするため、類似度が高い
として抽出された領域を基準に辞書パターンのサイズを
拡大あるいは縮小して辞書パターンの更新を行なう必要
がある。大きさ、形状、濃度の変化は、画像の取込み間
隔が短いほど小さいはずであるが、たとえば、足を踏み
出したり、手を振った場合などはかなり大きさが変化す
る。
Next, a method of updating the dictionary pattern will be described. The update of the dictionary pattern is performed every frame because it corresponds to the change due to the movement of the moving object and the change in the size due to the perspective of the camera 1. That is, as shown in FIG. 6, the moving object in the current frame (time t = ti) has a large size or a small size in the next frame (time t = ti + 1), and thus has a high degree of similarity. It is necessary to enlarge or reduce the size of the dictionary pattern based on the area extracted as to update the dictionary pattern. The change in size, shape, and density should be smaller as the image capture interval is shorter, but the size changes considerably when the user steps on his / her foot or shakes his / her hand.

【0034】そこで、辞書パターンの更新時に前記差分
2値化画像を参照し、図6におけるパターン61のよう
に、マッチング位置を越えて移動領域が存在する場合に
は、D1〜D3のサイズ分62の大きさまで辞書パター
ンのサイズを拡大する。また、図6におけるパターン6
3のように、移動領域がマッチング位置よりも小さい場
合には、D4〜D6のサイズ分64の大きさまで辞書パ
ターンのサイズを縮小する。
Therefore, when the dictionary pattern is updated, the differential binarized image is referred to, and if a moving area exists beyond the matching position as in the pattern 61 in FIG. 6, the size 62 of D1 to D3 is used. Expand the size of the dictionary pattern to the size of. In addition, pattern 6 in FIG.
When the moving area is smaller than the matching position as in 3, the size of the dictionary pattern is reduced to the size of 64 of D4 to D6.

【0035】その際、前述した人物辞書は、背景を含む
矩形情報の場合と背景を除く人物型の場合が考えられ
る。前述したように、辞書パターンを毎フレームで更新
し、マッチングにおいて前のフレームの辞書パターンと
サイズを用いることで、次のフレームでのマッチングの
性能を上げることができる。なお、差分画像を用いて辞
書パターンを拡大あるいは縮小する外に、アフィン変換
を用いた辞書パターンのサイズ変更なども考えられる。
次に、本発明の一実施例について具体的に説明する。
At this time, the person dictionary described above may be rectangular information including a background or a person type excluding the background. As described above, by updating the dictionary pattern for each frame and using the dictionary pattern and the size of the previous frame in matching, the matching performance in the next frame can be improved. In addition to enlarging or reducing the dictionary pattern using the difference image, it is also possible to change the size of the dictionary pattern using affine transformation.
Next, one embodiment of the present invention will be specifically described.

【0036】図1は、本発明を実施する場合の画像監視
装置の構成を示すものである。本発明方法で従来方法と
異なるのは、画像メモリ12に格納されているt=ti
の画像と、それよりも前に取込まれていた画像との画素
間差分演算を行なって差分画像を求め、差分2値化回路
13で変化のあった画素が”1”で表わされる差分2値
化画像に変換し、CPU15で変化領域を求めて移動物
体であると判定した後、その移動物体を濃淡パターンで
人物辞書(記憶手段)16に登録(記憶)しておき、次
のフレーム以降では、上記移動物体の移動方向に予測窓
を設定して、入物辞書16内の辞書パターンを予測窓内
の原画でマッチング処理を行ない、その類似度の最も高
い領域に上記移動物体が移動したと判定して、移動物体
の追跡を行なうことである。
FIG. 1 shows the structure of an image monitoring apparatus for carrying out the present invention. The difference between the method of the present invention and the conventional method is that t = ti stored in the image memory 12.
Difference image is obtained by performing the difference calculation between the pixels of the image of No. 1 and the image captured before that, and the difference 2 in which the changed pixel in the difference binarization circuit 13 is represented by "1". After conversion into a binarized image, the CPU 15 obtains a change area and determines that the object is a moving object, the moving object is registered (stored) in a person dictionary (storage means) 16 in a light and shade pattern, and the next frame and thereafter. Then, the prediction window is set in the moving direction of the moving object, the dictionary pattern in the entry dictionary 16 is matched with the original image in the prediction window, and the moving object is moved to the region having the highest degree of similarity. That is, the moving object is tracked.

【0037】また、各フレームでの移動物体の位置およ
び予測窓の大きさなどは、追跡テーブル17に格納して
おく。単に移動物体の検出だけでなく、その移動物体の
履歴を求めることにより、移動物体の出現場所や目的地
がわかり、また、複数人が交差して歩いた場合などにも
両者を追跡することが可能となる。
The position of the moving object and the size of the prediction window in each frame are stored in the tracking table 17. Not only the detection of a moving object, but the history of the moving object is obtained so that the appearance location and the destination of the moving object can be known, and even when two or more people cross each other, they can be tracked. It will be possible.

【0038】次に、図2に示すフローチヤートを参照し
て移動物体の追跡処理手順について説明する。処理は、
大別して新物体抽出処理と追跡処理とに分かれる。ま
ず、新物体抽出処理を説明する。画像を入力して(S
1)、差分2値化回路13で時系列差分あるいは背景差
分方式を用いて差分2値化画像を生成する(S2)。次
に、追跡テーブル17に保存されているフラグ(新物体
抽出、または追跡成功)をチェックして追跡物体がなか
った場合(S3)、上記生成した差分2値化画像を用い
てX,Y方向への射影、あるいは、閉領域の抽出などに
より移動物体を抽出する(S4)。
Next, the procedure for tracking a moving object will be described with reference to the flow chart shown in FIG. The processing is
It is roughly divided into new object extraction processing and tracking processing. First, the new object extraction process will be described. Enter the image (S
1) The difference binarization circuit 13 generates a difference binarized image using the time series difference or the background difference method (S2). Next, if the flag (new object extraction or tracking success) stored in the tracking table 17 is checked and there is no tracking object (S3), the generated differential binary image is used to determine the X and Y directions. A moving object is extracted by projecting onto the object or extracting a closed region (S4).

【0039】移動物体があれば(S5)、前述したよう
に、抽出された移動領域の濃淡パターンの人物辞書パタ
ーンを生成して人物辞書16に登録する(S6)。抽出
された移動物体は、フレームのエッジまたは物陰から出
現するわけであるが、出現現場により次に移動する方向
を予測することが可能であるため、その移動予測方向に
前述したような予測窓を設定し、次のフレーム以降で追
跡を行なうための新物体抽出フラグ(FLG)、位置情
報とともに追跡テーブル17に格納しておく(S7)。
If there is a moving object (S5), as described above, a person dictionary pattern of the shade pattern of the extracted moving area is generated and registered in the person dictionary 16 (S6). The extracted moving object appears from the edge of the frame or the shadow of the object, but since it is possible to predict the direction of the next movement depending on the appearance site, the prediction window as described above is set in the predicted movement direction. The flag is set and stored in the tracking table 17 together with the new object extraction flag (FLG) and position information for tracking in the next frame and later (S7).

【0040】移動予測方向は、フレーム内に建物などの
物陰がない場合を考えると、上下左右の4つの(もしく
は右上など2つのエッジにまたがる)フレームエッジか
らの移動物体の出現が予測されるため、上下左右それぞ
れに(0,−1)、(0,1)、(1,0)、(−1,
0)、((X,Y):X方向、Y方向)の移動予測方向
を設定しておく(右上の場合は(−1,−1))。
As for the movement prediction direction, considering that there is no shadow of a building or the like in the frame, the appearance of a moving object is predicted from four frame edges (top and bottom, left and right (or two edges such as upper right)). , (0, -1), (0, 1), (1, 0), (-1,
0) and ((X, Y): X direction, Y direction) movement prediction directions are set ((−1, −1) in the case of upper right).

【0041】図4では、移動物体32はフレーム31の
下部から出現したので、移動予測方向(矢印)34
(0,1)が与えられ、予測窓33が設定される。予測
窓33の大きさは、画像の取込み間隔や移動物体の移動
速度により考慮されなければならないが、新規に現れる
移動物体の移動速度がわからないため、大きめの予測窓
を設定する。
In FIG. 4, since the moving object 32 has emerged from the lower part of the frame 31, the predicted movement direction (arrow) 34
(0, 1) is given and the prediction window 33 is set. The size of the prediction window 33 must be taken into consideration by the image capturing interval and the moving speed of the moving object, but since the moving speed of the newly appearing moving object is unknown, a larger prediction window is set.

【0042】また、次のフレームで移動物体が追跡され
た場合の移動予測方向は、前のフレーム位置から次のフ
レーム位置への方向ベクトルを用いる。たとえば、図4
の画像の次のフレームで移動物体が図5の移動物体41
の位置に移動したとすると、移動予測方向は矢印43と
なる。
Further, when the moving object is tracked in the next frame, the direction vector from the previous frame position to the next frame position is used as the predicted motion direction. For example, in FIG.
In the next frame of the image of FIG.
If it is moved to the position of, the movement prediction direction is an arrow 43.

【0043】次に、追跡処理を説明する。図2のフロー
チャートで、画像入力後(S1)、差分2値化画像を生
成し(S2)、追跡テーブル17に保存されているフラ
グ(新物体抽出、または追跡成功)をチェックして追跡
物体があった場合(S3)、以下の方法で追跡処理を行
なう。
Next, the tracking process will be described. In the flowchart of FIG. 2, after inputting an image (S1), a differential binarized image is generated (S2), and a flag (new object extraction or tracking success) stored in the tracking table 17 is checked to find a tracking object. If there is (S3), tracking processing is performed by the following method.

【0044】まず、前のフレームで設定した予測窓42
内の濃淡パターンと、人物辞書16に登録されている濃
淡パターン(図4の32の部分)とを比較する(S8、
第1のマッチング処理)。ここでは、たとえば、テンプ
レートマッチング法を用いて、予測窓42内で人物辞書
16に登録されている濃淡パターンと最も類似度の高い
領域を抽出する。
First, the prediction window 42 set in the previous frame
The light and shade pattern inside is compared with the light and shade pattern registered in the person dictionary 16 (portion 32 in FIG. 4) (S8,
First matching process). Here, for example, the template matching method is used to extract the region in the prediction window 42 that has the highest degree of similarity with the grayscale pattern registered in the person dictionary 16.

【0045】しかし、移動物体の移動に伴い形状や濃度
が異なったり、カメラ1からの遠近の差により大きさが
多少変化することが考えられるため、類似度の高い領域
が必ずしも移動物体とはならない。そのため、抽出され
た領域が移動物体であるか否かを判定する方法として、
前述のように差分2値化画像での抽出領域と予測窓内で
原画を用いて抽出した人物と思われる領域の位置などを
比較することなどにより判定を行なう。
However, since it is possible that the shape and density of the moving object may change as the moving object moves, or the size may change slightly due to the difference in distance from the camera 1, a region having a high degree of similarity does not necessarily become a moving object. . Therefore, as a method of determining whether the extracted region is a moving object,
As described above, the determination is performed by comparing the position of the extracted region in the difference binarized image with the position of the region thought to be a person extracted using the original image in the prediction window.

【0046】また、前述の差分2値化画像を用いた判定
の外に、その移動物体のそれまでの移動方向(図4の3
4)と、前のフレーム位置から現在抽出された位置への
方向ベクトル(図5の43)とを比較して判定の参考に
することも考えられるが、移動物体が必ずしも同じ方向
に同じ速度で移動するとも限らないので、他に候補があ
ったら同方向を優先する程度の利用法がよい。しかし、
この方向を用いた判定は、同じような移動物体が反対方
向から移動してきて、交差してすれちがった場合などに
有効である。
In addition to the determination using the above-described differential binary image, the moving direction of the moving object up to that time (3 in FIG. 4).
4) and the direction vector (43 in FIG. 5) from the previous frame position to the presently extracted position may be compared for reference, but the moving object does not necessarily move in the same direction at the same speed. It is not limited to moving, so if there are other candidates, it is better to use them in the same direction. But,
The determination using this direction is effective when a similar moving object moves from the opposite direction and crosses and passes.

【0047】第1のマッチング処理(S8)では、差分
領域のライン抜けと移動領域の割合と方向ベクトルの違
いによって比較結果を判定している。もし、マッチング
失敗と判定された場合は、別の方法で移動物体の追跡を
行なう必要がある。ここでは、第1のマッチング処理で
失敗した場合、前記差分2値化画像と原画との論理和を
とり、差分領域の原画画像で再びマッチング処理を行な
う(S9、第2のマッチング処理)。ここでも、第1の
マッチング処理と同様にテンプレートマッチング法を用
い、評価方法も同様に差分領域のライン抜け、移動領域
の割合、方向ベクトルの違いを用いた。
In the first matching process (S8), the comparison result is determined based on the difference between the line omission in the difference area, the ratio of the moving area, and the direction vector. If it is determined that the matching has failed, it is necessary to track the moving object by another method. Here, when the first matching process fails, the logical sum of the difference binarized image and the original image is obtained, and the matching process is performed again on the original image in the difference area (S9, second matching process). Also in this case, the template matching method is used similarly to the first matching processing, and the evaluation method also uses the line omission in the difference area, the ratio of the moving area, and the difference in the direction vector.

【0048】さらに、第2のマッチング処理でもマッチ
ングに失敗した場合は、予測窓の大きさを変更している
(S10)。特に、移動方向を重視して、移動方向以外
の領域を縮小し、移動方向に予測窓を大きく設定し、再
度、差分領域の原画画像でマッチング処理を行なう(S
11、第3のマッチング処理)。たとえば、図5の位置
41に前フレームで移動物体が存在し、予測窓45を設
定してマッチングに失敗した場合には、さらに大きな予
測窓44を設定してマッチング処理を行なう。
Further, if the matching also fails in the second matching process, the size of the prediction window is changed (S10). In particular, with emphasis on the moving direction, areas other than the moving direction are reduced, the prediction window is set large in the moving direction, and the matching process is performed again on the original image of the difference area (S).
11, third matching processing). For example, when a moving object is present in the previous frame at the position 41 in FIG. 5 and the prediction window 45 is set and the matching fails, a larger prediction window 44 is set and the matching process is performed.

【0049】第3のマッチング処理の評価方法も、第1
のマッチング処理と同様であり、第3のマッチング処理
でも失敗した場合は、また別の範囲で検索することも可
能だが、ここでは追跡打切りとする。
The evaluation method of the third matching processing is also the first.
Similar to the matching process of No. 3, and if the third matching process also fails, it is possible to search in another range, but here, the tracking is terminated.

【0050】追跡を失敗した移動物体は、後に行なう新
物体抽出処理(S4以降)で新移動物体として抽出され
るはずで、後処理(S12)で追跡失敗物体と新物体と
の対応づけを行なうことで追跡を続ける。
A moving object that has failed tracking should be extracted as a new moving object in a new object extracting process (S4 and later) to be performed later, and a post-processing (S12) associates the tracking-failed object with the new object. Keep track of things.

【0051】以上述べてきた第1〜第3のマッチング処
理で辞書パターンとのマッチングに成功し、移動物体の
追跡を行なうことができたならば、辞書パターンを更新
して人物辞書16に登録し(S14)、次のフレームで
用いる予測窓および追跡成功フラグを設定して(S1
5)、追跡テーブル17に保存する。一方、前記第1〜
第3のマッチング処理で辞書パターンとのマッチングに
失敗した場合は、追跡失敗フラグを追跡テーブル17に
保存する(S16)。
If the matching with the dictionary pattern is successful in the above-described first to third matching processes and the moving object can be tracked, the dictionary pattern is updated and registered in the person dictionary 16. (S14), the prediction window and the tracking success flag used in the next frame are set (S1).
5), save in the tracking table 17. On the other hand, the first to
When the matching with the dictionary pattern fails in the third matching process, the tracking failure flag is stored in the tracking table 17 (S16).

【0052】上記追跡処理が終了した後、前記差分2値
化画像から上記追跡処理で抽出した追跡物体を削除した
画像で、さらに新移動物体を抽出する(S4)。図7
(a)にtiフレームの差分2値化画像、図7(b)に
(ti+1)フレームの差分2値化画像、図7(c)に
「(ti+1)フレームの差分2値化画像−追跡物体」の
一例を示す。削除する追跡物体の範囲は、背景を除く人
物型や人物を含む矩形などが考えられるが、ここでは人
物を含む矩形を用いている。その後の「(ti+1)フレ
ームの差分2値化画像−追跡物体」の画像で行なう「新
物体抽出処理」は前述した通りである。
After the tracking process is completed, a new moving object is further extracted from the image obtained by deleting the tracking object extracted by the tracking process from the difference binary image (S4). Figure 7
FIG. 7A is a differential binarized image of a ti frame, FIG. 7B is a differential binarized image of a (ti + 1) frame, and FIG. 7C is “binary differential binarization of a (ti + 1) frame. An example of "image-tracking object" is shown. The range of the tracking object to be deleted may be a person type excluding the background or a rectangle including a person. Here, a rectangle including a person is used. The subsequent "new object extraction process" performed on the image of "(ti + 1) frame difference binary image-tracking object" is as described above.

【0053】また、追跡処理、新物体抽出処理が終了し
た後に、後処理(S12)を行なう。後処理では、追跡
失敗の移動物体が新移動物体として抽出された場合、追
跡は成功したが、別の移動物体として判定されていた場
合などを追跡テーブル17に保存されている情報を用い
てチェックして結果を修正する。そして、後処理ののち
処理を終了する(S13)。なお、追跡テーブル17の
一例を図8に示す。
After the tracking process and the new object extraction process are completed, post-processing (S12) is performed. In the post-processing, when a moving object that has failed in tracking is extracted as a new moving object, tracking is successful, but when it is determined as another moving object, it is checked using the information stored in the tracking table 17. And correct the result. Then, after the post-processing, the processing ends (S13). An example of the tracking table 17 is shown in FIG.

【0054】以上追跡処理を説明したが、単に移動物体
があるだけでなく、上記方法で移動物体を追跡すること
により、危険区域や不許可区域に向かっている侵入物体
(侵入者)、あるいは、不審な動きをしている侵入物体
の検出が可能で、上記怪しい侵入物体を検出した場合に
警報を鳴らすことで、有効な監視を行なうことができ
る。また、フレーム内に複数の侵入者が交差して歩いて
いる場合にも、原画を用いてマッチング処理しているた
め追跡が可能である。
Although the tracking process has been described above, not only a moving object is present, but by tracking the moving object by the above method, an intruding object (intruder) heading for a dangerous area or an unauthorized area, or It is possible to detect an intruding object that is moving suspiciously, and when an suspicious intruding object is detected, sound an alarm to enable effective monitoring. Further, even when a plurality of intruders cross each other in the frame, they can be tracked because the matching process is performed using the original image.

【0055】このように、上記実施例によれば、画像監
視装置で移動物体を追跡する場合、差分画像で領域を抽
出して、濃淡パターンの辞書情報を用いて予測窓内で原
画とマッチング処理を行なうことで、移動物体がどこに
移動したかがわかり、移動物体を精度よく追跡すること
ができる。
As described above, according to the above embodiment, when the moving object is tracked by the image monitoring apparatus, the region is extracted from the difference image, and the dictionary information of the grayscale pattern is used to perform the matching process with the original image in the prediction window. By doing, it is possible to know where the moving object has moved, and to track the moving object with high accuracy.

【0056】また、原画の辞書情報を持つことで、複数
の移動物体があった場合にも、その対応付けが可能で、
たとえ方向を変えて移動した場合にも、原画とのマッチ
ング処理で同一物体と判定することができる。その原画
とのマッチング処理では、移動物体の移動速度と方向に
応じた予測窓を設けて、範囲を限定してマッチング処理
を行なうことで、検索時間の短縮が可能となる。
Further, by having the dictionary information of the original picture, even when there are a plurality of moving objects, it is possible to correlate them.
Even if the object is moved in a different direction, the same object can be determined by the matching process with the original image. In the matching process with the original image, a search window can be shortened by providing a prediction window according to the moving speed and direction of the moving object and limiting the range to perform the matching process.

【0057】さらに、人物辞書は、差分画像を利用して
大きさを拡大あるいは縮小して毎フレームごとに更新す
ることで、各フレームでのマッチングの精度を向上させ
ることができる。
Furthermore, the person dictionary can be improved in matching accuracy in each frame by expanding or reducing the size using the difference image and updating it for each frame.

【0058】以上のことから、従来のように移動物体を
検出することを目的とする装置に比べ、本発明のように
移動物体を追跡することで、効率のよい画像監視装置を
実現できる。
From the above, it is possible to realize an efficient image monitoring apparatus by tracking a moving object as in the present invention as compared with a conventional apparatus for detecting a moving object.

【0059】[0059]

【発明の効果】以上詳述したように本発明によれば、監
視画像内の移動物体を精度よく追跡でき、移動物体か否
かの判定性能の向上が図れ、しかも、効率のよい画像監
視が可能となる監視画像の移動物体追跡方法を提供でき
る。
As described in detail above, according to the present invention, it is possible to accurately track a moving object in a monitoring image, improve the performance of determining whether or not the object is a moving object, and perform efficient image monitoring. It is possible to provide a possible moving object tracking method of a monitoring image.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の一実施例が適用される画像監視装置の
構成を示すブロック図。
FIG. 1 is a block diagram showing a configuration of an image monitoring apparatus to which an embodiment of the present invention is applied.

【図2】追跡処理を説明するためのフローチャート。FIG. 2 is a flowchart for explaining tracking processing.

【図3】追跡処理における予測窓の設定方法を説明する
図。
FIG. 3 is a diagram illustrating a method of setting a prediction window in tracking processing.

【図4】追跡処理におけるtiフレームの画像の一例を
示す図。
FIG. 4 is a diagram showing an example of an image of a ti frame in a tracking process.

【図5】追跡処理における(ti+1)フレームの画像の
一例を示す図。
FIG. 5 is a diagram showing an example of an image of a (ti + 1) frame in a tracking process.

【図6】追跡処理における人物辞書の更新方法を説明す
る図。
FIG. 6 is a diagram illustrating a method of updating a person dictionary in tracking processing.

【図7】追跡処理における新物体の抽出処理を説明する
図。
FIG. 7 is a diagram for explaining a new object extraction process in the tracking process.

【図8】追跡処理における追跡テーブルの一例を示す
図。
FIG. 8 is a diagram showing an example of a tracking table in tracking processing.

【図9】画像監視装置の一例を示す構成図。FIG. 9 is a configuration diagram showing an example of an image monitoring device.

【図10】従来の画像監視装置の構成を示すブロック
図。
FIG. 10 is a block diagram showing a configuration of a conventional image monitoring device.

【図11】射影を用いた領域抽出方法を説明する図。FIG. 11 is a diagram illustrating a region extraction method using projection.

【符号の説明】[Explanation of symbols]

1……ITVカメラ、2……監視領域、3……伝送路、
4……処理装置、5……VTR、6……警報装置、7…
…表示装置、10……サンプリングパルス生成回路、1
1……A/D変換器、12……画像メモリ、13……差
分2値化回路、14……差分2値化画像メモリ、15…
…CPU、16……人物辞書、17……追跡テーブル。
1 ... ITV camera, 2 ... monitoring area, 3 ... transmission path,
4 ... Processing device, 5 ... VTR, 6 ... Alarm device, 7 ...
Display device, 10 sampling pulse generation circuit, 1
1 ... A / D converter, 12 ... Image memory, 13 ... Difference binarization circuit, 14 ... Difference binarized image memory, 15 ...
... CPU, 16 ... person dictionary, 17 ... tracking table.

Claims (4)

【特許請求の範囲】[Claims] 【請求項1】 監視領域内の画像を撮像手段で撮像して
入力し、この入力された監視領域内の画像を所定の時間
間隔で連続的に取込んでデジタル化し、このデジタル化
された複数の画像を演算することによって、前記監視領
域内での移動物体の監視を行なう画像監視装置におい
て、 デジタル化された画像の差分画像を算出し、この算出し
た差分画像を2値化して差分2値化画像を生成し、この
生成した差分2値化画像から変化領域を検出し、この検
出した変化領域を移動物体としてその変化領域の濃淡パ
ターンを記憶手段に記憶し、所定時間経過後に前記撮像
手段から入力された原画画像の前記移動物体の存在した
位置の周辺において、前記記憶手段内の濃淡パターンと
前記原画画像の濃淡パターンとを比較することによっ
て、類似度の高い領域を抽出して前記移動物体と判定す
ることにより前記移動物体を追跡することを特徴とする
監視画像の移動物体追跡方法。
1. An image in a surveillance area is picked up by an image pickup means and inputted, and the inputted image in the surveillance area is continuously taken in at a predetermined time interval and digitized, and the digitized plurality of images are obtained. In the image monitoring apparatus that monitors the moving object in the monitoring area by calculating the image of the difference image, the difference image of the digitized image is calculated, and the calculated difference image is binarized to obtain the difference binary value. A changed image is generated, a change region is detected from the generated difference binarized image, the detected change region is used as a moving object, and a grayscale pattern of the change region is stored in a storage unit, and after a predetermined time has elapsed, the image pickup unit. In the vicinity of the position where the moving object exists in the original image input from, the grayscale pattern in the storage means and the grayscale pattern of the original image are compared to obtain a high degree of similarity. Moving object tracking method of monitoring an image, characterized in that tracking the moving object by determining said moving object by extracting frequency.
【請求項2】 移動物体を追跡した後に前記移動物体の
1つ前のフレーム位置と現在位置とから求まる速度に応
じて現在位置を中心とした予測窓を設定し、次のフレー
ムで前記設定された予測窓内で前記記憶手段内の濃淡パ
ターンと前記原画画像の濃淡パターンとを比較すること
を特徴とする請求項1記載の監視画像の移動物体追跡方
法。
2. A tracking window centering on the current position is set according to the speed obtained from the frame position immediately before the moving object and the current position after tracking the moving object, and the prediction window is set in the next frame. 2. The method according to claim 1, wherein the grayscale pattern in the storage means is compared with the grayscale pattern of the original image in the prediction window.
【請求項3】 前記記憶手段内の濃淡パターンと前記原
画画像の濃淡パターンとを比較して類似度の高い領域を
抽出した後、前記差分画像から求まる移動領域を用い
て、前記類似度の高い領域に含まれている移動領域の割
合もしくは移動領域の形状により、前記抽出した領域が
正当の追跡物体であるか否かの判定を行なうことを特徴
とする請求項1記載の監視画像の移動物体追跡方法。
3. The gray level pattern in the storage means is compared with the gray level pattern of the original image to extract an area having a high degree of similarity, and then the moving area obtained from the difference image is used to obtain the high degree of similarity. The moving object of the monitoring image according to claim 1, wherein it is determined whether or not the extracted area is a valid tracking object based on a ratio of the moving area included in the area or a shape of the moving area. Tracking method.
【請求項4】 前記記憶手段内の濃淡パターンと前記原
画画像の濃淡パターンとを比較して類似度の高い領域を
抽出した後、この抽出した領域を前記差分画像を用いて
拡大または縮小し、これを次のフレームにおける移動物
体の追跡のための濃淡パターンとして前記記憶手段にフ
レームごとに更新記憶することを特徴とする請求項1記
載の監視画像の移動物体追跡方法。
4. A grayscale pattern in the storage means and a grayscale pattern of the original image are compared to extract a region having a high degree of similarity, and the extracted region is enlarged or reduced using the difference image, 2. The moving object tracking method for monitoring images according to claim 1, wherein this is updated and stored for each frame in the storage means as a grayscale pattern for tracking the moving object in the next frame.
JP1730393A 1993-02-04 1993-02-04 Method for tracking moving object on monitoring picture Pending JPH06231252A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP1730393A JPH06231252A (en) 1993-02-04 1993-02-04 Method for tracking moving object on monitoring picture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1730393A JPH06231252A (en) 1993-02-04 1993-02-04 Method for tracking moving object on monitoring picture

Publications (1)

Publication Number Publication Date
JPH06231252A true JPH06231252A (en) 1994-08-19

Family

ID=11940244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1730393A Pending JPH06231252A (en) 1993-02-04 1993-02-04 Method for tracking moving object on monitoring picture

Country Status (1)

Country Link
JP (1) JPH06231252A (en)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0927021A (en) * 1995-07-11 1997-01-28 Yazaki Corp Detecting device and counting device for passing object
JP2002163657A (en) * 2000-11-24 2002-06-07 Matsushita Electric Ind Co Ltd Device and method for recognizing image and recording medium storing program therefor
WO2002067199A1 (en) * 2001-02-19 2002-08-29 Honda Giken Kogyo Kabushiki Kaisha Target recognizing device and target recognizing method
JP2002352248A (en) * 2001-05-25 2002-12-06 Nhk Engineering Services Inc Supporting device for video object extraction
JP2002358526A (en) * 2001-06-01 2002-12-13 Nhk Engineering Services Inc Device for detecting and tracking video object
JP2003280805A (en) * 2002-03-26 2003-10-02 Gen Tec:Kk Data inputting device
JP2006202047A (en) * 2005-01-20 2006-08-03 Toyota Motor Corp Moving-object detection device and method
JP2007142527A (en) * 2005-11-15 2007-06-07 Hitachi Ltd Mobile body supervisory system, mobile body feature quantity calculation apparatus, and inter-camera mobile body collation tracing apparatus
US7400344B2 (en) 2002-12-19 2008-07-15 Hitachi Kokusai Electric Inc. Object tracking method and object tracking apparatus
JP2009205638A (en) * 2008-02-29 2009-09-10 Dainippon Printing Co Ltd Object detection system
JP2009211657A (en) * 2008-03-06 2009-09-17 Dainippon Printing Co Ltd Object detection system
WO2010018669A1 (en) * 2008-08-11 2010-02-18 オムロン株式会社 Detection information registration device, object detection device, electronic device, method for controlling detection information registration device, method for controlling object detection device, program for controlling detection information registration device, and program for controlling object detection device
JP2010218232A (en) * 2009-03-17 2010-09-30 Dainippon Printing Co Ltd Object tracking device
JP2010238181A (en) * 2009-03-31 2010-10-21 Sogo Keibi Hosho Co Ltd Facial authentication apparatus and facial authentication method
CN102819848A (en) * 2012-04-12 2012-12-12 无锡慧眼电子科技有限公司 Method for detecting moving object
WO2014024364A1 (en) * 2012-08-09 2014-02-13 パナソニック株式会社 Object detection device, object detection method, and program
CN111125437A (en) * 2019-12-24 2020-05-08 四川新网银行股份有限公司 Method for identifying lip language picture in video

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0927021A (en) * 1995-07-11 1997-01-28 Yazaki Corp Detecting device and counting device for passing object
JP2002163657A (en) * 2000-11-24 2002-06-07 Matsushita Electric Ind Co Ltd Device and method for recognizing image and recording medium storing program therefor
JP4548933B2 (en) * 2000-11-24 2010-09-22 パナソニック株式会社 An image recognition apparatus, an image recognition method, and a recording medium storing the program.
US7298907B2 (en) 2001-02-19 2007-11-20 Honda Giken Kogyo Kabushiki Kaisha Target recognizing device and target recognizing method
WO2002067199A1 (en) * 2001-02-19 2002-08-29 Honda Giken Kogyo Kabushiki Kaisha Target recognizing device and target recognizing method
JP2002352248A (en) * 2001-05-25 2002-12-06 Nhk Engineering Services Inc Supporting device for video object extraction
JP2002358526A (en) * 2001-06-01 2002-12-13 Nhk Engineering Services Inc Device for detecting and tracking video object
JP2003280805A (en) * 2002-03-26 2003-10-02 Gen Tec:Kk Data inputting device
US7400344B2 (en) 2002-12-19 2008-07-15 Hitachi Kokusai Electric Inc. Object tracking method and object tracking apparatus
JP2006202047A (en) * 2005-01-20 2006-08-03 Toyota Motor Corp Moving-object detection device and method
JP4609076B2 (en) * 2005-01-20 2011-01-12 トヨタ自動車株式会社 Moving object detection apparatus and moving object detection method
JP2007142527A (en) * 2005-11-15 2007-06-07 Hitachi Ltd Mobile body supervisory system, mobile body feature quantity calculation apparatus, and inter-camera mobile body collation tracing apparatus
JP2009205638A (en) * 2008-02-29 2009-09-10 Dainippon Printing Co Ltd Object detection system
JP2009211657A (en) * 2008-03-06 2009-09-17 Dainippon Printing Co Ltd Object detection system
WO2010018669A1 (en) * 2008-08-11 2010-02-18 オムロン株式会社 Detection information registration device, object detection device, electronic device, method for controlling detection information registration device, method for controlling object detection device, program for controlling detection information registration device, and program for controlling object detection device
JP2010044516A (en) * 2008-08-11 2010-02-25 Omron Corp Detection information registration device, electronic device, method for controlling detection information registration device, method for controlling electronic device, program for controlling detection information device, and program for controlling electronic device
CN102105904A (en) * 2008-08-11 2011-06-22 欧姆龙株式会社 Detection information registration device, object detection device, electronic device, method for controlling detection information registration device, method for controlling object detection device, program for controlling detection information registration device
US8774456B2 (en) 2008-08-11 2014-07-08 Omron Corporation Detective information registration device and target object detection device for detecting an object in an image
JP2010218232A (en) * 2009-03-17 2010-09-30 Dainippon Printing Co Ltd Object tracking device
JP2010238181A (en) * 2009-03-31 2010-10-21 Sogo Keibi Hosho Co Ltd Facial authentication apparatus and facial authentication method
CN102819848A (en) * 2012-04-12 2012-12-12 无锡慧眼电子科技有限公司 Method for detecting moving object
WO2014024364A1 (en) * 2012-08-09 2014-02-13 パナソニック株式会社 Object detection device, object detection method, and program
JP2014035302A (en) * 2012-08-09 2014-02-24 Panasonic Corp Object detection device, object detection method and program
CN111125437A (en) * 2019-12-24 2020-05-08 四川新网银行股份有限公司 Method for identifying lip language picture in video
CN111125437B (en) * 2019-12-24 2023-06-09 四川新网银行股份有限公司 Method for recognizing lip language picture in video

Similar Documents

Publication Publication Date Title
JPH06231252A (en) Method for tracking moving object on monitoring picture
US7916944B2 (en) System and method for feature level foreground segmentation
JP4668921B2 (en) Object detection in images
US20040141633A1 (en) Intruding object detection device using background difference method
Chen et al. Neuroaed: Towards efficient abnormal event detection in visual surveillance with neuromorphic vision sensor
Bogaert et al. The PASSWORDS Project [intelligent video image analysis system]
CN110728700B (en) Moving target tracking method and device, computer equipment and storage medium
JP4728795B2 (en) Person object determination apparatus and person object determination program
JPH06274625A (en) Moving object tracking method for monitor image
Nandashri et al. An efficient tracking of multi object visual motion using Hungarian method
KR20060003321A (en) The method or device for the object recognition in the security system
JP4192719B2 (en) Image processing apparatus and method, and program
JP3227179B2 (en) Moving object detection and tracking processing method
JP2001043383A (en) Image monitoring system
JPH0514891A (en) Image monitor device
JPH0793558A (en) Image monitoring device
US20050128298A1 (en) Method for following at least one object in a scene
JP2000030033A (en) Person detecting method
JP3230509B2 (en) Moving image processing device
JP2865442B2 (en) Method of extracting change area of surveillance image
JPH08167022A (en) Image monitor device
JPH0652311A (en) Image processing method
JP4449483B2 (en) Image analysis apparatus, image analysis method, and computer program
JP3379453B2 (en) Caption region detection method and device, and moving image search method and device
JP3585977B2 (en) Moving area detection device