JPH08315149A - Intruding body recognition device - Google Patents

Intruding body recognition device

Info

Publication number
JPH08315149A
JPH08315149A JP7118222A JP11822295A JPH08315149A JP H08315149 A JPH08315149 A JP H08315149A JP 7118222 A JP7118222 A JP 7118222A JP 11822295 A JP11822295 A JP 11822295A JP H08315149 A JPH08315149 A JP H08315149A
Authority
JP
Japan
Prior art keywords
intruding object
intruding
processing circuit
area
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7118222A
Other languages
Japanese (ja)
Other versions
JP3078203B2 (en
Inventor
Takahiro Watanabe
孝弘 渡辺
Satoshi Nakagawa
聰 中川
Yoshinori Shimosakota
義則 下迫田
Yuji Kuno
裕次 久野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP07118222A priority Critical patent/JP3078203B2/en
Publication of JPH08315149A publication Critical patent/JPH08315149A/en
Application granted granted Critical
Publication of JP3078203B2 publication Critical patent/JP3078203B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

PURPOSE: To accurately recognize intruding bodies without misdetection even when they are photographed overlapping each other. CONSTITUTION: A processing circuit 7 analyzes whether or not there is a possibility that a variation area, which was judged not to be an intruding body, was judged so because of overlapping of intruding bodies as to judged information showing that the variation area is not the intruding body. When it is judged by the analysis that there is the possibility of the overlap of the intruding bodies, that is reported to a processing circuit 8. The processing circuit 8 restores the variation area wherein it is estimated that the intruding bodies overlap to several variation areas wherein it is estimated that a single intruding body is represented according to the information showing that there is the possibility of the overlap of the intruding bodies. When it is judged that one of the variation areas obtained by the restoration is the intruding body, a processing circuit 9 judges that there is the intruding body to be detected in the variation area wherein it is estimated that the intruding bodies overlap each other.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は侵入物体認識装置に関
し、複数の侵入物体が一部分重なった状態で例えばテレ
ビカメラなどで撮影された画像信号から認識対象である
侵入物体の有無を認識するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an intruding object recognizing device for recognizing the presence or absence of an intruding object which is a recognition target from image signals taken by, for example, a television camera in a state where a plurality of intruding objects partially overlap each other. is there.

【0002】[0002]

【従来の技術】近年、テレビカメラ等によって撮像され
た画像から特定の侵入物体を検出する侵入物体認識シス
テムが研究・開発されている。
2. Description of the Related Art In recent years, an intruding object recognition system for detecting a specific intruding object from an image taken by a television camera or the like has been researched and developed.

【0003】例えば、次の文献にはこのようなシステム
の応用例が提案されている。 文献:平成6年(1994年)、第9回産業における画
像センシング技術シンポジウム講演論文集、ページ83
〜88、「画像処理を用いた鉄塔敷地内侵入監視手
法」。
For example, the following documents propose application examples of such a system. Reference: Proceedings of the 9th Image Sensing Technology Symposium in Industry, 1994, page 83.
~ 88, "Intrusion monitoring method on steel premises using image processing".

【0004】この文献の提案による侵入監視の検出原理
は、背景画像と監視画像とを対応する画素ごとに輝度の
差を求め、この差分の輝度ヒストグラムをとる。そこ
で、侵入がない場合は、輝度の値が0付近に輝度のピー
クが現れる。しかしながら、侵入がある場合には、侵入
に対応する画像の領域では、背景画像と監視画像との相
関がないため、ヒストグラムはピークにブロードな分布
が重なった形となる。従って、ヒストグラム上でピーク
の中心輝度を基準として、ここからある閾値以上離れた
ところに別の分布が検出された場合に侵入有りと判断す
るものである。
The detection principle of the intrusion monitoring proposed in this document is to obtain a difference in brightness between the background image and the monitor image for each corresponding pixel, and take a brightness histogram of this difference. Therefore, when there is no intrusion, a luminance peak appears near the luminance value of 0. However, when there is an intrusion, there is no correlation between the background image and the monitoring image in the area of the image corresponding to the intrusion, and therefore the histogram has a shape in which a broad distribution overlaps the peak. Therefore, with reference to the central brightness of the peak on the histogram, it is judged that there is an intrusion when another distribution is detected at a position separated by a certain threshold value or more.

【0005】[0005]

【発明が解決しようとする課題】しかしながら、上述な
どによる従来の技術では、複数の侵入物体が重なって見
える変化領域の場合は、侵入物体が一つの変化領域と比
べ全く異なっている。このため、このような変化領域か
ら求められる面積や外接四角形などの特徴量が、前もっ
て設定している特定の侵入物体の基準特徴量と異なる結
果となり、侵入物体を見落とす可能性があった。
However, in the conventional technique described above, in the case of a change area in which a plurality of intruding objects appear to overlap each other, the intruding object is completely different from one changing area. For this reason, the feature amount such as the area and the circumscribed quadrangle obtained from the change region may be different from the preset reference feature amount of the particular intruding object, and the intruding object may be overlooked.

【0006】以上のようなことから、侵入物体が重なっ
て撮影されている場合でも、侵入物体を誤検出すること
なく、正確に侵入物体を認識することができる侵入物体
認識装置の提供が要請されている。
From the above, it is demanded to provide an intruding object recognition apparatus which can accurately recognize an intruding object without erroneously detecting the intruding object even when the intruding objects are photographed in an overlapping manner. ing.

【0007】[0007]

【課題を解決するための手段】そこで、本発明の侵入物
体認識装置は、複数の侵入物体が一部分重なった状態で
撮影された画像信号から変化領域を抽出する抽出手段
と、上記変化領域から認識対象である単体の侵入物体を
表しているか否かを分析する分析手段と、この分析手段
の分析によって認識対象である単体の侵入物体を表して
いないと判断されると、侵入物体の重なりの状態を分析
し、侵入物体が重なっていると推定される変化領域から
いくつかの侵入物体の変化領域を復元する復元手段とを
備え、この復元された変化領域から認識対象である侵入
物体の有無を認識することで、上述の課題を解決するも
のである。
Therefore, the intruding object recognizing apparatus of the present invention recognizes the intruding object recognizing from the changing area and the extracting means for extracting the changing area from the image signal photographed in a state where a plurality of intruding objects partially overlap each other. An analysis unit that analyzes whether or not the target single intruding object is represented, and if the analysis unit determines that it does not represent the single intruding object that is the recognition target, the overlapping state of the intruding objects And a reconstructing means for reconstructing the changing regions of some intruding objects from the changing regions presumed to overlap with each other, and the presence or absence of the intruding object to be recognized from the restored changing regions. By recognizing, the above-mentioned problems are solved.

【0008】[0008]

【作用】本発明の構成によれば、複数の侵入物体が一部
分重なっていても、変化領域を抽出し、この変化領域か
ら認識対象である単体の侵入物体を表しているか否かを
分析し、認識対象であると判断されれば即座に侵入物体
の有無を出力でき、ここで認識対象である単体の侵入物
体を表していないと判断されれば、侵入物体の重なりの
状態を分析し、侵入物体が重なっていると推定される変
化領域からいくつかの侵入物体の変化領域を復元するこ
とで、この復元された変化領域の特徴量と、事前に求め
た認識対象である侵入物体の基準特徴量との比較結果な
どから容易に認識対象である侵入物体の有無を認識する
ことができ、従って従来に比べ精度良く認識することが
できるのである。
According to the configuration of the present invention, even if a plurality of intruding objects partially overlap with each other, a change area is extracted, and it is analyzed whether or not a single intruding object that is a recognition target is represented from the change area. If it is judged that it is a recognition target, the presence or absence of an intruding object can be output immediately, and if it is judged that it does not represent a single intruding object that is a recognition target, the overlapping state of the intruding object is analyzed and By restoring the change regions of some intruding objects from the change regions that are estimated to overlap with each other, the feature amount of the restored changing regions and the reference features of the intruding object that is the recognition target obtained in advance. The presence or absence of an intruding object, which is a recognition target, can be easily recognized from the result of comparison with the amount, and thus can be recognized more accurately than in the past.

【0009】[0009]

【実施例】次に本発明の好適な実施例を図面を用いて説
明する。 『第1実施例』:図1は本実施例の侵入物体認識装置の
機能構成図である。この図1において、侵入物体認識装
置は、ビデオカメラ11と、ビデオインタフェース回路
12と、背景画像メモリ回路1と、入力画像メモリ回路
2と、差分処理回路3と、二値化処理回路4と、変化領
域切り出し処理回路5と、単体侵入物体判定処理回路6
と、侵入物体重なり判定処理回路7と、単体侵入物体復
元処理回路8と、単体侵入物体判定処理回路9と、出力
処理回路10とから構成されている。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT A preferred embodiment of the present invention will be described with reference to the drawings. "First embodiment": FIG. 1 is a functional block diagram of an intruding object recognition apparatus of this embodiment. In FIG. 1, the intruder recognition apparatus includes a video camera 11, a video interface circuit 12, a background image memory circuit 1, an input image memory circuit 2, a difference processing circuit 3, a binarization processing circuit 4, Change area cutout processing circuit 5 and single intruding object determination processing circuit 6
It includes an intruding object weight judgment processing circuit 7, a single intruding object restoration processing circuit 8, a single intruding object determination processing circuit 9, and an output processing circuit 10.

【0010】ビデオカメラ11は、侵入物体などを撮像
するためのもので、侵入物体が重なった撮像画像をアナ
ログ信号(例えば、NTSC信号、PAL信号、SEC
AM信号、RGB信号などのいずれか)で出力し、ビデ
オインタフェース回路12に与えるものである。ビデオ
インタフェース回路12は、撮影画像信号を与えられる
と背景画像メモリ回路1又は入力画像メモリ回路2に撮
影画像信号をデジタル信号に変換して与える。特に入力
画像メモリ回路2は、ビデオカメラ11で逐次撮影され
た入力画像信号をデジタル信号で格納するものである。
他方、背景画像メモリ回路1は、侵入物体(被写体)が
存在しないときに撮影した背景画像信号をデジタル信号
で格納するものである。
The video camera 11 is for picking up an image of an intruding object and the like, and the captured image in which the intruding object is overlapped is converted into an analog signal (for example, NTSC signal, PAL signal, SEC).
It is output as an AM signal, an RGB signal, or the like) and given to the video interface circuit 12. When the video interface circuit 12 is supplied with the captured image signal, the video interface circuit 12 converts the captured image signal into a digital signal and supplies it to the background image memory circuit 1 or the input image memory circuit 2. Particularly, the input image memory circuit 2 stores the input image signals sequentially captured by the video camera 11 as digital signals.
On the other hand, the background image memory circuit 1 stores, as a digital signal, a background image signal captured when there is no intruding object (subject).

【0011】差分処理回路3は、入力画像メモリ回路2
から与えられる入力画像信号と、背景画像メモリ回路1
から与えられる背景画像信号とから画素間の差(例え
ば、濃度差の絶対値)を求め、差分画像信号を生成し、
二値化処理回路4に与えるものである。二値化処理回路
4は、差分画像信号を与えられると、適当な閾値で二値
化を行い、差分二値化画像信号を生成し、変化領域切り
出し処理回路5へ与えるものである。尚、この差分二値
化画像信号は、入力画像信号中の背景画像信号から濃度
値が変化した画素の値が1に設定され、変化していない
画素の値は0に設定される。
The difference processing circuit 3 is an input image memory circuit 2
Input image signal given from the background image memory circuit 1
From the background image signal given from the difference between the pixels (for example, the absolute value of the density difference), to generate a difference image signal,
This is given to the binarization processing circuit 4. When the differential image signal is given, the binarization processing circuit 4 performs binarization with an appropriate threshold value, generates a differential binarized image signal, and gives it to the change region cutout processing circuit 5. In this differential binarized image signal, the value of the pixel whose density value has changed from the background image signal in the input image signal is set to 1, and the value of the pixel which has not changed is set to 0.

【0012】変化領域切り出し処理回路5は、侵入物体
を表す変化領域を一つにまとめるために、例えば、差分
2値化画像を数回膨脹した後、同じ回数だけ収縮する。
膨脹とは、値0の画素の回りに値1の画素がある場合、
その値0の画素を1に変換するものである。つまり、変
化領域の回りを一画素分膨らますのである。収縮はその
逆で、変化領域の回りを一画素分小さくする。これらの
処理によって一つの侵入物体を表すと推定される変化領
域は、一つの領域として抽出される。このようにして得
られた変化領域を例えば、外接矩形で囲み、この外接矩
形に囲まれた領域を差分2値化画像から切り出すもので
ある。
The change area cut-out processing circuit 5 expands the difference binary image several times and then contracts the same number of times in order to combine the change areas representing the intruding object into one.
Inflation means that when there is a pixel with a value of 1 around a pixel with a value of 0,
The pixel having the value 0 is converted into 1. In other words, it expands around the change area by one pixel. Contraction is the opposite, and reduces the area around the change area by one pixel. The change area estimated to represent one intruding object by these processes is extracted as one area. The change area thus obtained is surrounded by, for example, a circumscribed rectangle, and the area surrounded by the circumscribed rectangle is cut out from the differential binarized image.

【0013】単体侵入物体判定処理回路6は、変化領域
切り出し処理回路5からの切り出された差分2値化画像
の領域から、重なりがある単体の侵入物体を検出し、変
化領域が単体の侵入物体を表しているか否かを判定する
ものである。
The single intruding object determination processing circuit 6 detects a single intruding object having an overlap from the area of the differential binarized image cut out from the changing area cutting processing circuit 5, and the changing area is a single intruding object. Is determined.

【0014】侵入物体重なり判定処理回路7は、単体侵
入物体判定処理回路6からの侵入物体でないとの判定情
報に対して、図8のように重なっている場合の侵入物体
の検出処理を引き続き行うものである。即ち、具体的に
はそれまでの処理によって侵入物体ではないと判定され
た変化領域が、『侵入物体の重なり』によってそのよう
に判定された可能性があるか否かを分析するものであ
る。この分析によって、侵入物体が重なっている可能性
がないと判定される場合は、その旨を出力処理回路10
に与え、侵入物体が重なっている可能性があると判定さ
れる場合は、その旨を更に、単体侵入物体復元処理回路
8に与えるものである。
The intruding object weight judgment processing circuit 7 continuously performs the intruding object detection processing in the case of overlapping as shown in FIG. 8 in response to the judgment information from the single intruding object judgment processing circuit 6 that the object is not the intruding object. It is a thing. That is, specifically, it is analyzed whether or not there is a possibility that the change area that has been determined to be not an intruding object by the processing up to that time may have been so determined by "overlapping of intruding objects". If it is determined by this analysis that there is no possibility that the intruding objects overlap each other, that effect is output.
When it is determined that there is a possibility that the intruding objects overlap each other, the fact is further given to the single intruding object restoration processing circuit 8.

【0015】単体侵入物体復元処理回路8は、侵入物体
重なり判定処理回路7からの侵入物体が重なっている可
能性がある旨の情報から、侵入物体が重なっていると推
定される変化領域から単体の侵入物体を表すと推定され
るいくつかの変化領域を復元し、単体侵入物体判定処理
回路9に与えるものである。
The single intruding object restoration processing circuit 8 uses the information indicating that there is a possibility that the intruding objects are overlapped from the intruding object weight judgment processing circuit 7, and the single intruding object restoration processing circuit Are restored and given to the single intruding object determination processing circuit 9.

【0016】単体侵入物体判定処理回路9は、単体侵入
物体復元処理回路8からのいくつかの復元された変化領
域から、上述の単体侵入物体判定処理回路6と同じよう
な処理を行う。即ち、少なくともいずれかの復元された
変化領域が検出すべき侵入物体であると判定されれば、
侵入物体が重なっていると推定される変化領域中に検出
すべき侵入物体が存在するものとして、その結果を出力
処理回路10へ出力するものである。
The single intruding object determination processing circuit 9 performs the same processing as that of the single intruding object determination processing circuit 6 from some of the restored changed areas from the single intruding object restoration processing circuit 8. That is, if it is determined that at least one of the restored changed areas is an intruding object to be detected,
Assuming that the intruding object to be detected exists in the change area in which it is estimated that the intruding objects are overlapped, the result is output to the output processing circuit 10.

【0017】出力処理回路10は、単体侵入物体判定処
理回路6又は単体侵入物体判定処理回路9からの変化領
域に侵入物体有りの判定結果を例えば表示出力し、侵入
物体重なり判定処理回路7又は単体侵入物体判定処理回
路9からの変化領域に侵入物体無しの判定結果を表示出
力するものである。
The output processing circuit 10 outputs, for example, a determination result indicating that there is an intruding object in the change area from the single intruding object determination processing circuit 6 or the single intruding object determination processing circuit 9, and outputs the intruding object weight / inward determination processing circuit 7 or the single operation. The intrusion object determination processing circuit 9 outputs the determination result indicating that there is no intrusion object in the changed area.

【0018】(単体侵入物体判定処理回路6の詳細な構
成): 図2は単体侵入物体判定処理回路6の具体的
な機能構成図である。この図2において、単体侵入物体
判定処理回路6は、単体変化領域特徴量計算処理回路6
1と、単体侵入物体判定処理回路62とから構成されて
いる。単体変化領域特徴量計算処理回路61は、変化領
域切り出し処理回路5からの切り出しされた差分2値化
画像の領域から、変化領域の面積や外接四角形の縦横比
などの変化領域特徴量を計算し、単体侵入物体判定処理
回路62に与えるものである。単体侵入物体判定処理回
路62は、単体変化領域特徴量計算処理回路61からの
特徴量と予め設定しておいた検出するべき特定の侵入物
体(人など)の変化領域の基準特徴量とを比較し、入力
画像中の変化領域が検出すべき特定の侵入物体か否かを
判定し、その結果を出力し、抽出された変化領域が侵入
物体と判定されれば、この旨を出力処理回路10に与
え、侵入物体でないと判定されれば、その旨を侵入物体
重なり判定処理回路7に与えるものである。
(Detailed Configuration of Single Intruding Object Determination Processing Circuit 6): FIG. 2 is a specific functional configuration diagram of the single intruding object determination processing circuit 6. In FIG. 2, the single intruding object determination processing circuit 6 is a single change area feature amount calculation processing circuit 6
1 and a single intruding object determination processing circuit 62. The single change region feature amount calculation processing circuit 61 calculates change region feature amounts such as the area of the change region and the aspect ratio of the circumscribed quadrangle from the region of the difference binarized image cut out from the change region cutout processing circuit 5. , The single intruding object determination processing circuit 62. The single intruding object determination processing circuit 62 compares the characteristic amount from the single changing area feature amount calculation processing circuit 61 with a preset reference characteristic value of the changing area of a specific intruding object (such as a person) to be detected. Then, it is determined whether or not the change area in the input image is a specific intruding object to be detected, the result is output, and if the extracted change area is determined to be the intruding object, this is output processing circuit 10 If it is determined that the object is not an intruding object, the effect is given to the intruding object weight / weight determination processing circuit 7.

【0019】(侵入物体重なり判定処理回路7の詳細な
構成): 単体侵入物体判定処理回路6までの処理に
よって侵入物体ではないと判定された変化領域が、侵入
物体の重なりによってそのように判定された可能性があ
るか否かを分析するために、図3(a)、(b)のよう
に変化領域を外接四角形で囲み、その外接四角形内を上
から垂直方向に走査して、変化領域に初めにぶつかる点
の座標の値を外接四角形内のx軸上の全てについて求
め、その値によって図3(c)、(d)のようなシルエ
ット関数f(x)を生成するのである。その後にノイズ
の影響を除去するためにこのシルエット関数f(x)の
平滑化を行っておく。
(Detailed Structure of Intruding Object Weight Determining Processing Circuit 7): A change area determined to be not an intruding object by the processing up to the single intruding object determining processing circuit 6 is determined as such by overlapping intruding objects. In order to analyze whether or not there is a possibility that the change area is surrounded, the change area is surrounded by a circumscribed quadrangle as shown in FIGS. 3A and 3B, and the circumscribed quadrangle is vertically scanned from above to change the change area. The values of the coordinates of the points that first collide with are calculated for all on the x-axis in the circumscribed quadrangle, and the silhouette function f (x) as shown in FIGS. After that, the silhouette function f (x) is smoothed in order to remove the influence of noise.

【0020】更に、図3(c)から分かるように侵入物
体が重なっている場合、シルエット関数f(x)にはい
くつもの凹凸が発生し、山が多くできるようになるが、
図3(d)のように侵入物体が重なっていない場合、シ
ルエット関数f(x)に山は一つしかできないのであ
る。
Further, as can be seen from FIG. 3 (c), when the intruding objects are overlapped with each other, many irregularities are generated in the silhouette function f (x), and many mountains can be formed.
When the intruding objects do not overlap with each other as shown in FIG. 3D, only one mountain can be formed in the silhouette function f (x).

【0021】そこで、シルエット関数f(x)から極大
点を計算し、極大点の数が2つ以上あれば、侵入物体が
重なっている可能性があると判定し、単体侵入物体復元
処理回路8で処理を引き続き行うものである。また、極
大点の数が一つなら、侵入物体が重なっている可能性が
ないとして処理を終了するのである。
Therefore, the maximum points are calculated from the silhouette function f (x), and if there are two or more maximum points, it is determined that the intruding objects may overlap, and the single intruding object restoration processing circuit 8 is executed. The processing is continued. Further, if the number of maximum points is one, it is determined that there is no possibility that the intruding objects overlap each other, and the processing ends.

【0022】(単体侵入物体復元処理回路8の詳細な構
成): 単体侵入物体復元処理回路8では、侵入物体
が重なっていると推定される変化領域から単体の侵入物
体を表すと推定される変化領域を復元するために、その
手順を図4を参照しながら説明する。そこで、先ず図4
(a)に示すように、侵入物体重なり判定処理回路7に
おいて求められたシルエット関数f(x)の最も両端に
ある極大点のx座標の値をxl、xrを求めるのであ
る。
(Detailed Structure of Single Intruding Object Restoration Processing Circuit 8): In the single intruding object restoration processing circuit 8, a change estimated to represent a single intruding object from a change region in which the intruding objects are estimated to overlap. The procedure for restoring the area will be described with reference to FIG. Therefore, first, in FIG.
As shown in (a), the values of the x-coordinates of the maximum points at the extreme ends of the silhouette function f (x) determined by the intruder weight / weight determination processing circuit 7 are determined as xl and xr.

【0023】次にこのx座標xl、xrによって、変化
領域を縦方向に分割するものである。この場合に三つの
領域に分割でき、左からA、B、Cとする。また、内側
の変化領域であるBは侵入物体によって複雑に重なり合
っているので、ここの部分から単体の侵入物体を切り出
すことは容易ではない。そこで、両端のAやCの変化領
域は侵入物体同士の重なり部分が少なく、両端の侵入物
体の右半身或いは左半身を表しているといえるのであ
る。
Next, the change region is divided in the vertical direction by the x-coordinates xl and xr. In this case, the area can be divided into three areas, which are A, B, and C from the left. Further, since the inside change area B is complicatedly overlapped by the intruding object, it is not easy to cut out a single intruding object from this portion. Therefore, it can be said that the changing regions of A and C at both ends represent the right half body or the left half body of the intruding objects at both ends, since there is little overlap between the intruding objects.

【0024】ここで、例えば、『検出すべき侵入物体が
歩行中(歩行中の物体は、横方向でも正面でもかまわな
い)の人である場合、変化領域はほぼ左右対称とな
る』。そこで、このような性質を利用して、図4(c)
のように図4(b)の両端の変化領域A、Cをx=x
l、x=xrの軸に対してそれぞれ内側に向かって折り
返し対称移動するのである。
Here, for example, "if the intruding object to be detected is a person who is walking (the walking object may be in the lateral direction or in the front), the change region is substantially left-right symmetric". Therefore, by utilizing such a property, FIG.
As shown in FIG. 4B, the change regions A and C at both ends are x = x
They are folded inward and symmetrically moved inward with respect to the axes of l and x = xr.

【0025】即ち、図4(c)のA´、C´に示すよう
に、x=xlの左側にある変化領域Aはx=xlに対し
て右側へ、x=xrの右側にある変化領域Cはx=xr
に対して左側へ対称移動するのである。更に、その対称
移動した変化領域A´、C´と、元の対称移動する前の
変化領域A、Cをそれぞれ合わせると、両端に存在する
単体の侵入物体が復元されるのである。
That is, as shown by A'and C'in FIG. 4C, the change area A on the left side of x = xl is on the right side with respect to x = xl, and the change area on the right side of x = xr. C is x = xr
It moves symmetrically to the left with respect to. Furthermore, when the change areas A ′ and C ′ that have moved symmetrically and the original change areas A and C that have not been moved symmetrically are respectively combined, the single intruding objects existing at both ends are restored.

【0026】図5、図6は別の重なり人物像の変化領域
に対して同様の処理を行った場合を表している。また、
図4(c)、図6(c)から分かるように上述の処理に
よって両端の侵入物体がほぼ大まかに復元されているこ
とが分かる。この復元された2つの変化領域を次の単体
侵入物体判定処理回路9によって侵入物体の認識を行
い、少なくともどちから一方が検出すべき侵入物体と判
定されれば、侵入物体が重なっていると推定される変化
領域中に検出すべき侵入物体が存在するとして、その結
果を出力するものである。
FIGS. 5 and 6 show the case where similar processing is performed on different overlapping human image change regions. Also,
As can be seen from FIGS. 4 (c) and 6 (c), it can be seen that the intruding objects at both ends are roughly restored by the above-described processing. The next single intruding object determination processing circuit 9 recognizes the intruding object from these two changed regions, and if at least one of them is determined to be an intruding object, it is estimated that the intruding object overlaps. Assuming that there is an intruding object to be detected in the changed area, the result is output.

【0027】(装置の動作): ビデオカメラ11か
らのアナログの画像信号は、ビデオインタフェース回路
12に与えられ、ここでデジタルの画像信号に変換され
る。ビデオインタフェース回路12から与えられた、逐
次撮影された入力画像信号は入力画像メモリ回路2に記
憶され、背景画像信号は背景画像メモリ回路1に記憶さ
れる。
(Operation of Device): An analog image signal from the video camera 11 is given to the video interface circuit 12 and converted into a digital image signal here. The sequentially captured input image signals supplied from the video interface circuit 12 are stored in the input image memory circuit 2, and the background image signal is stored in the background image memory circuit 1.

【0028】入力画像信号と、背景画像メモリ回路1か
ら与えられる背景画像信号とは差分処理回路3で画素間
の差が求められ、差分画像信号が生成される。この差分
画像信号が二値化処理回路4に与えられ、適当な閾値で
二値化が行われ、差分二値化画像信号が生成され、変化
領域切り出し処理回路5に与えられる。
The difference between the input image signal and the background image signal provided from the background image memory circuit 1 is obtained by the difference processing circuit 3 to generate a difference image signal. This difference image signal is given to the binarization processing circuit 4, binarization is performed with an appropriate threshold value, a difference binarization image signal is generated, and given to the change region cutout processing circuit 5.

【0029】変化領域切り出し処理回路5では、差分二
値画像中から重なった侵入物体の変化領域を抽出し、単
体侵入物体判定処理回路6に与えられる。切り出しされ
た差分2値化画像の領域は、単体侵入物体判定処理回路
6で重なりがある単体の侵入物体を検出し、変化領域が
単体の侵入物体を表しているか否かを判定する。ここで
抽出された変化領域が認識対象の侵入物体と判定されれ
ば、この旨を出力処理回路10に与える。また、侵入物
体でないと判定されれば、その旨を侵入物体重なり判定
処理回路7に与える。
The change area cut-out processing circuit 5 extracts the change area of the overlapping intruding object from the differential binary image and supplies it to the single intruding object determination processing circuit 6. In the cut-out differential binary image area, a single intruding object determination processing circuit 6 detects an overlapping single intruding object, and determines whether or not the changed area represents the single intruding object. If the changed region extracted here is determined to be an intruding object to be recognized, the fact is given to the output processing circuit 10. If it is determined that the object is not an intruding object, the fact is given to the intruding object weight / weight determination processing circuit 7.

【0030】次に単体侵入物体判定処理回路6までの処
理によって侵入物体ではないと判定された変化領域が、
侵入物体の重なりによってそのように判定された可能性
があるか否かを侵入物体重なり判定処理回路7で分析す
る。この分析におけるシルエット関数f(x)から極大
点を計算し、極大点の数が一つなら、侵入物体が重なっ
ている可能性がないとして、その旨を出力処理回路10
に通知する。また、極大点の数が2つ以上あれば、侵入
物体が重なっている可能性があると判定し、単体侵入物
体復元処理回路8で処理を行う。
Next, the change area determined to be not an intruding object by the processing up to the single intruding object determination processing circuit 6 is
The intruder weight / weight determination processing circuit 7 analyzes whether or not there is a possibility of such determination due to the overlap of the intruding objects. The maximum point is calculated from the silhouette function f (x) in this analysis, and if the number of maximum points is one, it is considered that there is no possibility that the intruding objects overlap, and the output processing circuit 10
To notify. If the number of maximum points is two or more, it is determined that the intruding objects may overlap, and the single intruding object restoration processing circuit 8 performs the processing.

【0031】単体侵入物体復元処理回路8では、侵入物
体が重なっていると推定される変化領域から単体の侵入
物体を表すと推定される変化領域を復元し、単体侵入物
体判定処理回路9に与える。単体侵入物体判定処理回路
9では、復元された変化領域から、少なくともいずれか
の復元された変化領域が検出すべき侵入物体であると判
定されれば、侵入物体が重なっていると推定される変化
領域中に検出すべき侵入物体が存在するものとして、そ
の結果を出力処理回路10へ出力する。出力処理回路1
0は、単体侵入物体判定処理回路6又は単体侵入物体判
定処理回路9からの通知によって、変化領域に侵入物体
有りの判定結果を表示出力し、侵入物体重なり判定処理
回路7又は単体侵入物体判定処理回路9からの通知によ
って、変化領域に侵入物体無しの判定結果を表示出力す
るものである。
The single intruding object restoration processing circuit 8 restores the changed area estimated to represent the single intruding object from the changing area estimated to overlap the intruding objects, and supplies it to the single intruding object determination processing circuit 9. . If the single intruding object determination processing circuit 9 determines from the restored changed regions that at least one of the restored changed regions is an intruding object to be detected, a change in which it is estimated that the intruding objects overlap Assuming that an intruding object to be detected exists in the area, the result is output to the output processing circuit 10. Output processing circuit 1
In response to the notification from the single intruding object determination processing circuit 6 or the single intruding object determination processing circuit 0, the determination result indicating that there is an intruding object in the change area is displayed and output, and the intruder weight / weight determination processing circuit 7 or the single intruding object determination processing In response to the notification from the circuit 9, the determination result indicating that there is no intruding object in the changed area is displayed and output.

【0032】(装置のハードウエア構成): 図7は
本発明の実施例の侵入物体認識装置を実現するための一
例のハードウエア構成図である。この図7において、侵
入物体認識装置のハードウエア構成は、ビデオカメラ1
1と、ワークステーション本体22と、CRTディスプ
レイ26と、キーボード25と、マウス24と、外部記
憶装置27とから構成されている。ワークステーション
本体22は、CPU20とメインメモリ21とビデオボ
ード28とから構成されている。
(Hardware Configuration of Device): FIG. 7 is a hardware configuration diagram of an example for realizing the intruding object recognition device of the embodiment of the present invention. In FIG. 7, the hardware configuration of the intruder recognition apparatus is the video camera 1.
1, a workstation body 22, a CRT display 26, a keyboard 25, a mouse 24, and an external storage device 27. The workstation main body 22 is composed of a CPU 20, a main memory 21, and a video board 28.

【0033】ビデオカメラ9で撮影された画像信号は、
アナログ信号(RGB信号又はNTSC信号など)でビ
デオボード28に与えられる。このビデオボード28
は、入力された画像信号をアナログ信号からデジタル信
号に変換して背景画像信号や逐次撮影された入力画像信
号をメインメモリ21に格納させる。このメインメモリ
21は、ビデオボード28からの画像信号を格納する
他、上述の侵入物体の画像認識を行うための種々のプロ
グラムデータや、必要な各種のワークデータなどを格納
しているものである。メインメモリ21のこれらのデー
タを使用してCPU20は処理して侵入物体の画像認識
処理を行うものである。
The image signal taken by the video camera 9 is
An analog signal (RGB signal or NTSC signal) is provided to the video board 28. This video board 28
Converts the input image signal from an analog signal into a digital signal and stores the background image signal and the sequentially captured input image signal in the main memory 21. The main memory 21 stores the image signal from the video board 28, and also stores various program data for performing the above-described image recognition of an intruding object, various necessary work data, and the like. . The CPU 20 processes these data in the main memory 21 to perform image recognition processing of an intruding object.

【0034】外部記憶装置27は、メインメモリ21に
格納されたプログラムデータのバックアップ用として使
用される他、侵入物体の画像認識処理に必要な各種デー
タを記憶していて、必要に応じてメインメモリ21に与
えるものである。侵入物体の画像認識処理の結果は、C
RTディスプレイ26に表示出力される。マウス24、
キーボード25などは、処理段階でデータ選択やデータ
入力のための入力手段として使用される。このように侵
入物体認識装置を構成することで、上述の機能構成を実
現でき、精度良く侵入物体を認識することができるので
ある。
The external storage device 27 is used as a backup of the program data stored in the main memory 21, and also stores various data necessary for image recognition processing of an intruding object, and if necessary, the main memory. 21. The result of the image recognition processing of the intruding object is C
The output is displayed on the RT display 26. Mouse 24,
The keyboard 25 and the like are used as input means for data selection and data input in the processing stage. By configuring the intruding object recognition device in this manner, the above-described functional configuration can be realized, and the intruding object can be recognized with high accuracy.

【0035】(第1実施例の効果): 以上の第1実
施例によれば、テレビカメラなどによって撮像された画
像からの特定の侵入物体を検出する処理において、侵入
物体が図8に示すように複数の侵入物体の変化領域が重
なって見える場合にも差分処理、二値化処理によって抽
出される変化領域の重なりがない両端の領域を用いて、
その領域を内側に対称移動することで、単体の侵入物体
の変化領域を復元し、その変化領域を基にして検出処理
を行うことで、侵入物体が重なって見える場合も侵入物
体の検出を可能とすることができるのである。
(Effect of First Embodiment): According to the first embodiment described above, in the process of detecting a specific intruding object from an image taken by a television camera or the like, the intruding object is as shown in FIG. Even when the change areas of multiple intruding objects appear to overlap with each other, using the areas at both ends where the change areas extracted by the difference processing and the binarization processing do not overlap,
By moving the area symmetrically inward, the changed area of a single intruding object is restored, and by performing detection processing based on that changed area, it is possible to detect the intruding object even when the intruding objects appear to overlap. It can be

【0036】また、変化領域の面積又は外接多角形の縦
横比から変化領域の特徴量を求め、認識対象である侵入
物体の基準特徴量との比較を行い、認識対象である単体
の侵入物体を表しているか否かを分析することで、重な
りが簡単なものであれば容易に認識結果を出力すること
ができる。
Further, the feature amount of the changing region is obtained from the area of the changing region or the aspect ratio of the circumscribing polygon, and the feature amount of the changing region is compared with the reference feature amount of the intruding object that is the recognition target. By analyzing whether or not it is displayed, the recognition result can be easily output if the overlap is simple.

【0037】更に、侵入物体の重なりの状態の分析とし
て、変化領域からシルエット関数を生成し、このシルエ
ット関数の極大点(又は極小点)の数を分析し、この分
析結果から侵入物体が重なっているか否かを推定するこ
とで、複雑に侵入物体が重なっていても、正確に重なり
の有無を認識することができる。
Further, as an analysis of the overlapping state of the intruding objects, a silhouette function is generated from the change region, the number of maximum points (or minimum points) of this silhouette function is analyzed, and the intruding objects are overlapped from the analysis result. By estimating whether or not there is an overlapping intruding object, the presence or absence of the overlapping can be accurately recognized.

【0038】更にまた、侵入物体が重なっていると推定
される変化領域のシルエット関数の極大点又は極小点の
位置から、極大点又は極小点を中心として1又は2以上
の軸を設定し、上記軸を中心として変化領域の対称性を
分析し、この対称性の分析から変化領域内のいくつかの
侵入物体の変化領域を復元することで、複雑に侵入物体
が重なっていても、認識対象である単体の侵入物体の変
化領域を復元することができ、認識判定を容易にさせる
ことができる。
Furthermore, from the position of the maximum point or the minimum point of the silhouette function of the change area where the intruding objects are estimated to overlap, one or more axes are set around the maximum point or the minimum point, and By analyzing the symmetry of the change area around the axis and restoring the change areas of some intruding objects in the change area from this symmetry analysis, even if the intruding objects overlap in a complicated manner, the recognition target can be recognized. It is possible to restore a change area of a certain single intruding object and facilitate recognition determination.

【0039】『第2実施例』:上述の第1実施例では単
体侵入物体判定処理6において、切り出された変化領域
から面積や外接四角形の縦横比などの変化領域特徴量を
計算し、この特徴量と前もって設定しておいた検出すべ
き特定の侵入物体(例えば、人など)の変化領域の基準
特徴量とを比較し、入力画像中の変化領域が検出すべき
特定の侵入物体か否かを判定する処理を行った。
[Second Embodiment]: In the first embodiment described above, in the single intruding object determination process 6, the change area feature amount such as the area and the aspect ratio of the circumscribed quadrangle is calculated from the cut change area, and this feature is calculated. Whether the change area in the input image is a specific intruding object to be detected by comparing the amount of change with a reference feature value of the changing area of a specific intruding object (for example, a person) to be detected that is set in advance. The process of determining is performed.

【0040】そこで、テレビカメラ等によって撮像され
た画像から侵入物体を検出するテレビカメラの設置場所
から遠くにいる侵入物体は、画像上で変化領域の面積が
小さくなる。一方、テレビカメラ設置場所の近くでは、
小さなものが動いても変化領域の面積が大きくなる。こ
のためテレビカメラの設置場所から遠い位置にいる侵入
物体を検出しようとして、面積の閾値の設定を低くする
と、テレビカメラの近くで人以外の小さな物体が動くこ
とによって生じる変化領域やノイズによる変化領域との
区別ができず、侵入物体を見落としたり、検出すべき侵
入物体でないものを侵入物体として誤検出してしまうこ
とがあり得る。
Therefore, an intruding object that is far from the installation location of the television camera that detects the intruding object from the image picked up by the television camera or the like has a small area of change area on the image. On the other hand, near the TV camera installation location,
Even if a small object moves, the area of the change region increases. Therefore, if you try to detect an intruding object that is far from the installation location of the TV camera and lower the area threshold setting, the change area caused by the movement of a small object other than a person near the TV camera or the change area caused by noise. Therefore, there is a possibility that an intruding object may be overlooked, or a non-intruding object that should be detected may be erroneously detected as an intruding object.

【0041】また、もう一つのパラメータである外接四
角形の縦横比は、人が通常に歩行する動作を横から捉え
た場合、足と腕を閉じたときは開いたときに比べて約4
〜5倍ほども大きくなる。このため、縦横比から侵入者
を判断する場合も、面積から判定する場合と同じような
問題が起こり得る。
The aspect ratio of the circumscribed quadrangle, which is another parameter, is about 4 when a person normally walks from the side and when the legs and arms are closed compared to when they are opened.
~ 5 times larger. Therefore, when the intruder is determined from the aspect ratio, the same problem as in the case of determining the area can occur.

【0042】これらのことから、変化領域の面積と外接
四角形の縦横比とから侵入物体を完全に精度良く検出し
きれない場合があり得る。
From the above, there is a possibility that the intruding object cannot be detected completely accurately from the area of the changing region and the aspect ratio of the circumscribing quadrangle.

【0043】そこで、本第2実施例では、人の歩行時に
発生する人物特有の形状を利用して人物を正確に認識
し、誤検出を極めて少なくする侵入物体認識装置を構成
するものである。
Therefore, in the second embodiment, an intruding object recognizing device for accurately recognizing a person by utilizing the shape peculiar to the person generated when a person walks and for extremely reducing false detection is constructed.

【0044】そこで、図9は第2実施例の侵入物体認識
装置の機能構成図である。この図9において、侵入物体
認識装置は、ビデオカメラ11と、ビデオインタフェー
ス回路12と、背景画像メモリ回路1と、入力画像メモ
リ回路2と、差分処理回路3と、二値化処理回路4と、
変化領域切り出し処理回路5と、単体侵入物体形状判定
処理回路106と、侵入物体重なり判定処理回路7と、
単体侵入物体復元処理回路8と、単体侵入物体形状判定
処理回路107と、出力処理回路19とから構成されて
いる。
Therefore, FIG. 9 is a functional block diagram of the intruding object recognition apparatus of the second embodiment. In FIG. 9, the intruding object recognition apparatus includes a video camera 11, a video interface circuit 12, a background image memory circuit 1, an input image memory circuit 2, a difference processing circuit 3, a binarization processing circuit 4,
A change area cutout processing circuit 5, a single intruding object shape determination processing circuit 106, an intruding object weight determination processing circuit 7,
It is composed of a single intruding object restoration processing circuit 8, a single intruding object shape determination processing circuit 107, and an output processing circuit 19.

【0045】本第2実施例において、特徴的な構成は単
体侵入物体形状判定処理回路106、107である。
尚、上述の第1実施例と同じ機能構成回路には同じ符号
を付しているので、詳細な説明は省略する。即ち、変化
領域切り出し処理回路5までは、上述の第1実施例と同
様に変化領域を抽出する。その後に第1実施例ではこの
変化領域から面積や縦横比などの変化領域の特徴量を計
算し、この特徴量によって判定を行っていた。
In the second embodiment, the characteristic configuration is the single intruding object shape determination processing circuits 106 and 107.
Since the same functional components as those in the first embodiment are designated by the same reference numerals, detailed description thereof will be omitted. That is, up to the change area cutout processing circuit 5, the change area is extracted as in the first embodiment. After that, in the first embodiment, the feature amount of the change region such as the area and the aspect ratio is calculated from this change region, and the determination is performed based on this feature amount.

【0046】そこで、具体的には本第2実施例の単体侵
入物体形状判定処理回路106では、図10に示すよう
な回路構成で実現するものである。即ち、単体侵入物体
形状判定処理回路106、107は、変化領域分割処理
回路86と、投影ヒストグラム作成処理回路87と、特
徴量抽出回路88と、侵入物体判定処理回路89とから
構成されている。
Therefore, specifically, the single intruding object shape determination processing circuit 106 of the second embodiment is realized by the circuit configuration as shown in FIG. That is, the single intruding object shape determination processing circuits 106 and 107 are composed of a change area division processing circuit 86, a projection histogram creation processing circuit 87, a feature amount extraction circuit 88, and an intruding object determination processing circuit 89.

【0047】変化領域分割処理回路86は、抽出された
変化領域を縦に3等分し、この3等分された変化領域を
投影ヒストグラム作成処理回路87において、横軸上に
投影処理を行う。つまり、変化領域を表す値1の画素を
縦方向に加算して、投影ヒストグラムを求めるのであ
る。そして、この投影ヒストグラムから特徴量抽出処理
回路88において、平均値や標準偏差などを求め、この
特徴量と前もって設定しておいた検出すべき特定の侵入
物体(例えば、人など)の変化領域も基準特徴量とを、
侵入物体判定回路89において比較、侵入物体を検出す
ることで、重なって見える侵入物体でもより精度良く侵
入物体の検出を行うことができるのである。
The change area division processing circuit 86 vertically divides the extracted change area into three equal parts, and the projection histogram creation processing circuit 87 projects the divided change area on the horizontal axis. That is, the projection histogram is obtained by vertically adding the pixels having the value 1 representing the change area. Then, the feature amount extraction processing circuit 88 obtains an average value or a standard deviation from the projection histogram, and the feature amount and the change area of a specific intruding object (for example, a person) to be detected which is set in advance are also included. And the standard feature
By comparing and detecting the intruding object in the intruding object determining circuit 89, it is possible to detect the intruding object with higher accuracy even if the intruding objects appear to overlap each other.

【0048】本第2実施例の構成で、撮影した侵入物体
の重なり画像データ370フレームの検出実験を行った
ところ、94%以上の精度で侵入物体の検出に成功し、
検出すべき侵入物体が存在せずにその他の侵入物体が存
在したり、ノイズが発生した画像データ100フレーム
で誤検出(検出すべき侵入物体が存在しないにも関わら
ず存在すると誤ってしまうこと)実験を行ったところ、
20%以下の精度に誤検出を抑えることができた。
An experiment of detecting 370 frames of overlapping image data of an intruding object photographed with the configuration of the second embodiment was successful and succeeded in detecting the intruding object with an accuracy of 94% or more.
There is no intruding object to be detected but other intruding objects are present, or false detection is made in 100 frames of image data in which noise has occurred (it is erroneous if there is no intruding object to be detected). When I conducted an experiment,
False detection could be suppressed to an accuracy of 20% or less.

【0049】(第2実施例の効果): 以上の第2実
施例の構成によれば、単体侵入物体形状判定処理回路1
06、107を備え、変化領域分割処理、投影ヒストグ
ラム作成、特徴量抽出を行うことで、侵入物体の形状特
徴を利用して侵入物体を高精度に検出でき、且つ、より
正確に侵入物体を検出することができるのである。
(Effect of Second Embodiment): According to the configuration of the second embodiment described above, the single intruding object shape determination processing circuit 1
06 and 107, the changing area division process, the projection histogram creation, and the feature amount extraction can be performed to detect the intruding object with high accuracy by using the shape feature of the intruding object, and more accurately detect the intruding object. You can do it.

【0050】(他の実施例): (1)尚、以上の実
施例と、侵入物体の形状特徴を利用して侵入物体を高い
精度で検出する構成を組み合わせることも可能であり、
このような組み合わせによって更に高い精度で侵入物体
を検出することもできるのである。
(Other Embodiments) (1) It should be noted that it is possible to combine the above embodiment with the configuration for detecting an intruding object with high accuracy by utilizing the shape feature of the intruding object.
With such a combination, the intruding object can be detected with higher accuracy.

【0051】(2)また、入力画像信号は、テレビカメ
ラからのものの他、ビデオ記録・再生装置などからの記
録・再生信号でも認識することができる。また、認識出
力は表示出力の他、印刷出力することも好ましい。
(2) Further, the input image signal can be recognized not only from the television camera but also from a recording / reproducing signal from a video recording / reproducing device or the like. In addition to the display output, the recognition output is preferably printed out.

【0052】(3)更に、侵入物体認識として、人物認
識だけでなく、車両、航空機、動物などのどのようなも
のにも適用することができる。また、複数の顔画像の重
なりなどでも適用することができる。
(3) Further, as the intruding object recognition, not only the person recognition but also any object such as a vehicle, an aircraft, an animal can be applied. Further, it is also possible to apply it to the overlapping of a plurality of face images.

【0053】(4)更にまた、図1、図2、図9、図1
0の図は機能構成を示すものとして表したが、処理の手
順(流れ)を示すフローチャートとして見ることもでき
る。 (5)また、本発明の侵入物体認識装置は、テレビ会議
システムや、各種監視カメラ装置や、玄関用カメラ装置
や、車両や航空機などの移動体に搭載される衝突防止装
置などに適用することもできる。
(4) Furthermore, FIG. 1, FIG. 2, FIG. 9, FIG.
Although the figure of 0 is shown as showing the functional configuration, it can be seen as a flowchart showing the procedure (flow) of the processing. (5) Further, the intruding object recognition device of the present invention may be applied to a video conference system, various monitoring camera devices, a front door camera device, a collision prevention device mounted on a moving body such as a vehicle or an aircraft, and the like. You can also

【0054】[0054]

【発明の効果】以上述べた様に本発明の構成によれば、
複数の侵入物体が一部分重なった状態で撮影された画像
信号から変化領域を抽出する抽出手段と、上記変化領域
から認識対象である単体の侵入物体を表しているか否か
を分析する分析手段と、この分析手段の分析によって認
識対象である単体の侵入物体を表していないと判断され
ると、侵入物体の重なりの状態を分析し、侵入物体が重
なっていると推定される変化領域からいくつかの侵入物
体の変化領域を復元する復元手段とを備え、この復元さ
れた変化領域から認識対象の侵入物体の有無を認識する
ことで、侵入物体が重なって撮影されている場合でも、
侵入物体を誤検出することなく、正確に認識対象である
侵入物体を認識する侵入物体認識装置を実現することが
できる。
As described above, according to the constitution of the present invention,
Extraction means for extracting a change area from an image signal captured in a state where a plurality of intruding objects are partially overlapped, and analysis means for analyzing whether or not the change area represents a single intruding object that is a recognition target, When it is determined by the analysis of this analysis means that the single intruding object that is the recognition target is not represented, the overlapping state of the intruding objects is analyzed, and some of the change areas estimated to overlap the intruding objects are analyzed. A restoration unit that restores the changed area of the intruding object is provided, and by recognizing the presence or absence of the intruding object of the recognition target from the restored changed area, even when the intruding objects are imaged in an overlapping manner,
It is possible to realize an intruding object recognition device that accurately recognizes an intruding object that is a recognition target without erroneously detecting the intruding object.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の第1実施例の侵入物体認識装置の機能
構成図である。
FIG. 1 is a functional configuration diagram of an intruding object recognition apparatus according to a first embodiment of the present invention.

【図2】第1実施例の単体侵入物体判定処理回路の機能
構成図である。
FIG. 2 is a functional configuration diagram of a single intruding object determination processing circuit according to the first embodiment.

【図3】実施例の変化領域とシルエット関数の説明図
(その1)である。
FIG. 3 is an explanatory diagram (No. 1) of a change area and a silhouette function of the embodiment.

【図4】実施例の単体侵入物体復元の説明図(その1)
である。
FIG. 4 is an explanatory view (No. 1) of restoration of a single intruding object according to the embodiment.
Is.

【図5】実施例の変化領域とシルエット関数の説明図
(その2)である。
FIG. 5 is an explanatory diagram (part 2) of a change area and a silhouette function according to the embodiment.

【図6】実施例の実施例の単体侵入物体復元の説明図
(その2)である。
FIG. 6 is an explanatory view (No. 2) of restoration of a single intruding object in the example of the embodiment.

【図7】実施例の侵入物体認識装置の一例のハードウエ
ア構成図である。
FIG. 7 is a hardware configuration diagram of an example of an intruding object recognition device according to the embodiment.

【図8】実施例の重なって見える侵入物体の変化領域の
説明図である。
FIG. 8 is an explanatory diagram of a change area of an intruding object that is seen in an overlapping manner according to the embodiment.

【図9】第2実施例の侵入物体認識装置の機能構成図で
ある。
FIG. 9 is a functional configuration diagram of an intruding object recognition device of a second embodiment.

【図10】第2実施例の単体侵入物体形状判定処理回路
の詳細な機能構成図である。
FIG. 10 is a detailed functional configuration diagram of a single intruding object shape determination processing circuit according to the second embodiment.

【符号の説明】[Explanation of symbols]

1…背景画像メモリ回路、2…入力画像メモリ回路、3
…差分処理回路、4…二値化処理回路、5…変化領域切
り出し処理回路、6、9…単体侵入物体判定処理回路、
7…侵入物体重なり判定処理回路、8…単体侵入物体復
元処理回路、10…出力処理回路、11…ビデオカメ
ラ、12…ビデオインタフェース回路、61…単体変化
領域特徴量計算処理回路、62…単体侵入物体判定処理
回路、106、107…単体侵入物体形状判定処理回
路。
1 ... Background image memory circuit, 2 ... Input image memory circuit, 3
... difference processing circuit, 4 ... binarization processing circuit, 5 ... change area cutout processing circuit, 6, 9 ... single intruding object determination processing circuit,
7 ... Intruder weight judgment processing circuit, 8 ... Single intruding object restoration processing circuit, 10 ... Output processing circuit, 11 ... Video camera, 12 ... Video interface circuit, 61 ... Single change area feature amount calculation processing circuit, 62 ... Single intrusion Object determination processing circuit, 106, 107 ... Single intruding object shape determination processing circuit.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 久野 裕次 東京都港区虎ノ門1丁目7番12号 沖電気 工業株式会社内 ─────────────────────────────────────────────────── ─── Continued Front Page (72) Inventor Yuji Kuno 1-7-12 Toranomon, Minato-ku, Tokyo Oki Electric Industry Co., Ltd.

Claims (5)

【特許請求の範囲】[Claims] 【請求項1】 複数の侵入物体が一部分重なった状態で
撮影された画像信号から変化領域を抽出する抽出手段
と、 上記変化領域から認識対象である単体の侵入物体を表し
ているか否かを分析する分析手段と、 この分析手段の分析によって認識対象である単体の侵入
物体を表していないと判断されると、更に侵入物体の重
なりの状態を分析し、この分析で侵入物体が重なってい
ると推定される変化領域からいくつかの侵入物体の変化
領域を復元する復元手段とを備え、 この復元された変化領域から認識対象である侵入物体の
有無を認識することを特徴とする侵入物体認識装置。
1. An extracting unit for extracting a change region from an image signal captured by a plurality of intruding objects partially overlapped with each other, and analyzing whether or not the change region represents a single intruding object to be recognized. When the analysis means and the analysis means determine that the object does not represent a single intruding object that is a recognition target, the overlapping state of the intruding objects is further analyzed, and it is determined that the intruding objects overlap in this analysis. An intruding object recognition apparatus, comprising: a restoring unit that restores some changed areas of an intruding object from the estimated changed area, and recognizes the presence or absence of an intruding object that is a recognition target from the restored changed areas. .
【請求項2】 上記分析手段は、変化領域の面積又は外
接多角形の縦横比から変化領域の特徴量を求め、事前に
求めた認識対象である侵入物体の基準特徴量との比較を
行い、認識対象である単体の侵入物体を表しているか否
かを分析することを特徴とする請求項1記載の侵入物体
認識装置。
2. The analyzing means obtains the feature amount of the change region from the area of the change region or the aspect ratio of the circumscribing polygon, and compares the feature amount with the reference feature amount of the intruding object which is the recognition target obtained in advance. The intruder recognizing device according to claim 1, wherein the intruder recognizing device analyzes whether or not a single intruding object which is a recognition target is represented.
【請求項3】 上記分析手段は、抽出された変化領域を
分割し、分割された変化領域に対して、投影処理を行っ
て投影ヒストグラムを求め、この投影ヒストグラムを分
析し、この分析から得た変化領域特徴量と、事前に求め
た認識対象である侵入物体の基準特徴量とを比較して認
識対象である単体の侵入物体を表しているか否かを分析
することを特徴とする請求項1記載の侵入物体認識装
置。
3. The analyzing means divides the extracted change area, performs projection processing on the divided change area to obtain a projection histogram, analyzes the projection histogram, and obtains from this analysis. 2. The change area feature amount and a reference feature amount of an intruding object that is a recognition target obtained in advance are compared to analyze whether or not a single intruding object that is a recognition target is represented. The intruding object recognition device described.
【請求項4】 上記復元手段は、侵入物体の重なりの状
態の分析として、変化領域からシルエット関数を生成
し、このシルエット関数の極大点又は極小点の数を分析
し、この分析結果から侵入物体が重なっているか否かを
分析することを特徴とする請求項1〜3のいずれかに記
載の侵入物体認識装置。
4. The restoring means generates a silhouette function from the change region as an analysis of the overlapping state of the intruding object, analyzes the number of maximum points or minimum points of this silhouette function, and analyzes the intruding object from the analysis result. The intruding object recognition device according to any one of claims 1 to 3, wherein it is analyzed whether or not the two overlap.
【請求項5】 上記復元手段は、侵入物体が重なってい
ると推定される変化領域Aのシルエット関数の極大点又
は極小点の位置を求め、この極大点又は極小点を中心と
して1又は2以上の軸を設定し、上記軸を中心として上
記変化領域Aの対称性を分析し、この対称性の分析から
上記変化領域A内のいくつかの侵入物体の変化領域を復
元することを特徴とする請求項1〜4のいずれかに記載
の侵入物体認識装置。
5. The restoring means obtains the position of the maximum point or the minimum point of the silhouette function of the change area A estimated to be overlapping with the intruding object, and 1 or 2 or more around the maximum point or the minimum point. Is set, the symmetry of the change area A is analyzed around the axis, and the change areas of some intruding objects in the change area A are restored from the analysis of the symmetry. The intruding object recognition device according to claim 1.
JP07118222A 1995-05-17 1995-05-17 Intruding object recognition device Expired - Lifetime JP3078203B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP07118222A JP3078203B2 (en) 1995-05-17 1995-05-17 Intruding object recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07118222A JP3078203B2 (en) 1995-05-17 1995-05-17 Intruding object recognition device

Publications (2)

Publication Number Publication Date
JPH08315149A true JPH08315149A (en) 1996-11-29
JP3078203B2 JP3078203B2 (en) 2000-08-21

Family

ID=14731250

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07118222A Expired - Lifetime JP3078203B2 (en) 1995-05-17 1995-05-17 Intruding object recognition device

Country Status (1)

Country Link
JP (1) JP3078203B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005196359A (en) * 2004-01-05 2005-07-21 Honda Motor Co Ltd Moving object detection apparatus, moving object detection method and moving object detection program
JP2006098119A (en) * 2004-09-28 2006-04-13 Ntt Data Corp Object detector, object detection method, and object detection program
WO2011062010A1 (en) * 2009-11-19 2011-05-26 株式会社日立国際電気 Video encoding and decoding device
US8045759B2 (en) 2006-11-29 2011-10-25 Fujitsu Limited Object detection system and method
JP4829966B2 (en) * 2006-11-29 2011-12-07 富士通株式会社 Object detection system and object detection method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005196359A (en) * 2004-01-05 2005-07-21 Honda Motor Co Ltd Moving object detection apparatus, moving object detection method and moving object detection program
JP2006098119A (en) * 2004-09-28 2006-04-13 Ntt Data Corp Object detector, object detection method, and object detection program
US8045759B2 (en) 2006-11-29 2011-10-25 Fujitsu Limited Object detection system and method
JP4829966B2 (en) * 2006-11-29 2011-12-07 富士通株式会社 Object detection system and object detection method
WO2011062010A1 (en) * 2009-11-19 2011-05-26 株式会社日立国際電気 Video encoding and decoding device
JP2011109528A (en) * 2009-11-19 2011-06-02 Hitachi Kokusai Electric Inc Moving image encoding and decoding apparatus

Also Published As

Publication number Publication date
JP3078203B2 (en) 2000-08-21

Similar Documents

Publication Publication Date Title
US7916944B2 (en) System and method for feature level foreground segmentation
US6570608B1 (en) System and method for detecting interactions of people and vehicles
US8134596B2 (en) Classifying an object in a video frame
US20090310822A1 (en) Feedback object detection method and system
KR102101623B1 (en) Method and apparatus for detecting informal situation using image
JP2010057105A (en) Three-dimensional object tracking method and system
JPH06231252A (en) Method for tracking moving object on monitoring picture
JP2008288684A (en) Person detection device and program
JP4728795B2 (en) Person object determination apparatus and person object determination program
JP3227179B2 (en) Moving object detection and tracking processing method
JP3078203B2 (en) Intruding object recognition device
JP4192719B2 (en) Image processing apparatus and method, and program
JPH0514891A (en) Image monitor device
JP6603123B2 (en) Animal body detection apparatus, detection method, and program
JP2000134638A (en) Image processor
JPH06274625A (en) Moving object tracking method for monitor image
JPH0721388A (en) Picture recognizing device
JP3417635B2 (en) Intruding object recognition method
JP4096757B2 (en) Image tracking device
JP2000125288A5 (en)
JP3230509B2 (en) Moving image processing device
KR20000054784A (en) system for tracking the movement of the multiple object using an Appearance Model Based on Temporal Color and controlling method therefore
JP3062383B2 (en) People recognition method
JPH08221549A (en) Intrusion object recognizing device
JP2002008042A (en) Action recognizing and processing device, and moving object action analyzing system