JP4250172B2

JP4250172B2 - Object detection method and object detection apparatus

Info

Publication number: JP4250172B2
Application number: JP2006047762A
Authority: JP
Inventors: 渡伊藤; 博唯上田
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2000-02-28
Filing date: 2006-02-24
Publication date: 2009-04-08
Anticipated expiration: 2021-02-28
Also published as: JP2006211696A

Description

本発明は、監視システムに係り、特に監視領域全体を撮像する第１の侵入物体監視手段と、侵入物体の移動にしたがって撮像装置の視野方向を追従させて制御する第２の侵入物体監視手段とが、互いに独立に、侵入物体を自動的に監視するようにした物体検出方法及び物体検出装置に関する。 The present invention relates to a monitoring system, and in particular, a first intruding object monitoring unit that images the entire monitoring area, and a second intruding object monitoring unit that controls the visual field direction of the imaging apparatus to follow the movement of the intruding object. The present invention relates to an object detection method and an object detection device that automatically monitor an intruding object independently of each other.

近年、侵入物体監視システムにおいて、カメラ等の撮像装置による画像入力手段を用いた侵入物体監視装置の中には、従来の監視員による有人監視の方法に頼らず、監視対象領域内の侵入物体を自動的に検出し、カメラの視野内に侵入物体が常に捉えられるように侵入物体の検出位置に基づいてカメラを乗せた雲台を制御して、カメラの視線方向等を変更して撮像し、所定の報知や警報、侵入物体映像記録などの処置が得られるようしたものがある。 In recent years, intrusion object monitoring systems that use image input means such as cameras and other image input means in an intrusion object monitoring system do not rely on conventional methods of manned monitoring by observers, Automatically detects and controls the camera platform on which the camera is mounted based on the detection position of the intruding object so that the intruding object is always captured within the camera's field of view, and changes the camera's line-of-sight direction etc. There are some which can obtain a predetermined notification, alarm, intrusion object video recording and the like.

このようなシステムとしては、例えば、図７に示すような２種類のカメラで構成した監視システムがある。図７はタンクヤードの監視を想定した監視システムを説明するための図である。 As such a system, for example, there is a monitoring system composed of two types of cameras as shown in FIG. FIG. 7 is a diagram for explaining a monitoring system assuming tank yard monitoring.

第１のカメラ７０２は、監視対象領域７０４全体を所定の時刻毎に連続的に撮像する画像入力手段である。この第１のカメラ７０２を含む第１の監視手段１０１は、異なる時刻に撮像した複数のフレーム画像から侵入物体７０１を検出し、検出した侵入物体７０１に関する情報を第２のカメラ７０３に与える。第２のカメラ７０３は、第１のカメラ７０２から与えられる侵入物体７０１の情報に応じて、侵入物体７０１を自動的に追尾して所定の時刻毎に連続的に撮像する画像入力手段である。 The first camera 702 is an image input unit that continuously captures the entire monitoring target area 704 at predetermined times. The first monitoring unit 101 including the first camera 702 detects the intruding object 701 from a plurality of frame images captured at different times, and gives the second camera 703 information on the detected intruding object 701. The second camera 703 is an image input unit that automatically tracks the intruding object 701 in accordance with information on the intruding object 701 given from the first camera 702 and continuously captures images at a predetermined time.

また、第１の監視手段は、引き続き監視対象領域７０４全体の監視を行い、更に、検出された侵入物体７０２の追跡を行う。
ここで、本明細書の記載における“追跡”と“追尾”とは、以下のように定義される。 The first monitoring unit continuously monitors the entire monitoring target area 704 and further tracks the detected intruding object 702.
Here, “tracking” and “tracking” in the description of the present specification are defined as follows.

追跡：監視用カメラなどの撮像装置の視野内に写る対象物体の画面上での位置変化を計測する処理。例えば、監視対象領域全体について、対象物体の移動軌跡を求める等、対象物体が検出されてから検出されなくなるまでの時間的変化を監視し記録する。 Tracking: A process of measuring a change in position on the screen of a target object that appears in the field of view of an imaging device such as a monitoring camera. For example, a temporal change from when the target object is detected to when it is no longer detected is monitored and recorded for the entire monitoring target area, such as obtaining a movement trajectory of the target object.

追尾：撮像装置の雲台制御（カメラの光軸方向の制御）を伴う処理。例えば、移動する対象物体の現時刻の位置を常にカメラの光軸の中心に捉えるように、光軸方向を制御して、監視対象領域の１部である対象物体の領域部分を常に追いかける。 Tracking: A process involving pan head control (control in the optical axis direction of the camera) of the imaging apparatus. For example, the direction of the optical axis is controlled so that the current time position of the moving target object is always captured at the center of the optical axis of the camera, and the area portion of the target object that is a part of the monitoring target area is always followed.

図７と図８とを用いて、第１のカメラ７０２によって検出された侵入物体７０１を、第２のカメラ７０３が追跡する方法を簡単に説明する。
図７において、第１のカメラ７０２によって得られた、異なる時刻に入力された複数フレームの画像は、画素毎に輝度値の差分を求められ、その差分の大きい領域が侵入物体７０１として検出される。更に、侵入物体７０１が検出された場合に、第１のカメラ７０２側から、侵入物体の検出位置に基いて第２のカメラ７０３を乗せる雲台を制御する。これによって、第２のカメラ７０３の視野７０５内に常に侵入物体７０１を捉えるようにすることができる。 A method for the second camera 703 to track the intruding object 701 detected by the first camera 702 will be briefly described with reference to FIGS. 7 and 8.
In FIG. 7, for a plurality of frames of images input at different times obtained by the first camera 702, a difference in luminance value is obtained for each pixel, and an area having a large difference is detected as an intruding object 701. . Further, when an intruding object 701 is detected, the camera platform on which the second camera 703 is placed is controlled from the first camera 702 side based on the detection position of the intruding object. As a result, the intruding object 701 can always be captured in the field of view 705 of the second camera 703.

図８は、第１のカメラ７０２による侵入物体検出処理方法の原理を説明する図である。この方法は、フレーム間差分法などと呼ばれ、従来から広く用いられている。
図８において、減算器８０９は、時刻ｔ０−１に取得した入力画像８０１と時刻ｔ０に取得した入力画像８０２とについて画素毎の輝度値の差分を計算し、入力画像８０１と入力画像８０２との差分画像８０４を出力する。同様に滅算器８１０も、時刻ｔ０に取得した入力画像８０２と時刻ｔ０＋１に取得した入力画像８０３との画素毎の輝度値の差分を計算し、入力画像８０２と入力画像８０３との差分画像８０５を出力する。 FIG. 8 is a diagram for explaining the principle of the intruding object detection processing method by the first camera 702. This method is called an inter-frame difference method or the like and has been widely used conventionally.
In FIG. 8, the subtractor 809 calculates a luminance value difference for each pixel between the input image 801 acquired at time t0-1 and the input image 802 acquired at time t0, and the difference between the input image 801 and the input image 802 is calculated. The difference image 804 is output. Similarly, the subtractor 810 also calculates a luminance value difference for each pixel between the input image 802 acquired at time t0 and the input image 803 acquired at time t0 + 1, and a difference image 805 between the input image 802 and the input image 803. Is output.

次に、二値化器８１１は、差分画像８０４の画素毎の輝度値が所定のしきい値Ｔｈ未満の輝度値を“０”、しきい値Ｔｈ以上の画素の輝度値を、例えば“２５５”（１画素の輝度値を８ビットで計算）として二値化画像８０６を得る。二値化器８１２もまた同様の処理を行い、差分画像８０５から二値化画像８０７を得る。 Next, the binarizer 811 sets the luminance value for each pixel of the difference image 804 to “0” for a luminance value less than a predetermined threshold Th, and sets the luminance value for a pixel equal to or higher than the threshold Th to “255”, for example. "(Luminance value of one pixel is calculated by 8 bits) to obtain a binarized image 806. The binarizer 812 also performs similar processing, and obtains a binarized image 807 from the difference image 805.

次に論理積器８１３は、二値化画像８０６と二値化画像８０７との画素毎の輝度値の論理積を計算し論理積画像８０８を出力する。これによって入力画像８０１，８０２，８０３に写った人型の物体８１４，８１５，８１６は、減算器８０９または８１０によって差分が生じた領域８１７または８１８として算出される。そして、二値化器８１１または８１２によって輝度値“２５５”のかたまりの画像８１９または８２０として抽出され、更に、論理積器８１３によって画像８１９と８２０を構成する画素の中で、両画像共に輝度値“２５５”を持つ画素のかたまり画像８２１が検出される。即ち、画素８２１が侵入物体として検出される。 Next, the logical product unit 813 calculates a logical product of luminance values for each pixel of the binarized image 806 and the binarized image 807 and outputs a logical product image 808. As a result, the humanoid objects 814, 815, and 816 shown in the input images 801, 802, and 803 are calculated as areas 817 or 818 in which a difference is generated by the subtractor 809 or 810. Then, the binarizer 811 or 812 extracts the image 819 or 820 as a block having the luminance value “255”, and the logical product 813 uses the luminance value for both the images constituting the images 819 and 820. A cluster image 821 of pixels having “255” is detected. That is, the pixel 821 is detected as an intruding object.

なお、監視視野内の侵入物体を検出する方法であればフレーム間差分法以外の方法も適用できる。
以上のように第１のカメラ７０２によって侵入物体が検出された場合には、第１のカメラ７０２によって検出された侵入物体７０１の大きさと検出位置の情報に基いて、第１のカメラ７０２は、制御信号を第２のカメラ７０３に与える。これによって、第２のカメラ７０３の監視視野範囲７０５の方向（雲台の方向）が制御される。そしてこれによって、第２のカメラ８０３は侵入物体８０１を捕捉することができる。 A method other than the inter-frame difference method can be applied as long as it is a method for detecting an intruding object in the monitoring visual field.
As described above, when an intruding object is detected by the first camera 702, the first camera 702 is based on the size of the intruding object 701 detected by the first camera 702 and the information on the detection position. A control signal is supplied to the second camera 703. Thus, the direction of the monitoring visual field range 705 of the second camera 703 (the direction of the pan head) is controlled. As a result, the second camera 803 can capture the intruding object 801.

第２のカメラ７０３の雲台の制御量を求める方法を図９によって説明する。図９は、第１のカメラ９０２の視野範囲９０４で検出された侵入物体９０１を第２のカメラ９０３で追尾する方法を説明するための図である。図９では、簡略化のため第１のカメラ９０２と第２のカメラ９０３を同じ位置に設置し、第１のカメラ９０２の視野の中心（光軸）方向と第２のカメラ９０３の基準視野方向（雲台制御角をバン０°，チルト０°）を一致させ、ｘ軸の方向だけに着目して表示している。 A method for obtaining the control amount of the pan head of the second camera 703 will be described with reference to FIG. FIG. 9 is a diagram for explaining a method for tracking the intruding object 901 detected in the visual field range 904 of the first camera 902 with the second camera 903. In FIG. 9, for the sake of simplicity, the first camera 902 and the second camera 903 are installed at the same position, and the direction of the center (optical axis) of the field of view of the first camera 902 and the direction of the reference field of view of the second camera 903 are shown. (The pan head control angle is 0 ° for the van and 0 ° for the tilt), and the display is focused on only the x-axis direction.

図９において、２Ｗは第１のカメラ９０２の視野（監視対象領域）９０４全体についての入力画像の横（ｘ軸）方向の画素数（単位：ｐｉｘ）、Δｘは検出された侵入物体の第１のカメラ９０２の視野中心からの横方向の変位（単位：ｐｉｘ）、θｗは第１のカメラ９０２の半監視角度（単位：°）、θｘは第２のカメラ９０３の雲台１０２ｍのパン制御角度（単位：°）を表す。ここで、第１のカメラ９０２の半監視角度θｗは、第１のカメラ９０２の撮像素子の横方向の大きさｈ（単位：ｍｍ）と、第１のカメラ９０２の焦点距離ｆ（単位：ｍｍ）とによって、 In FIG. 9, 2W is the number of pixels (unit: pix) in the horizontal (x-axis) direction of the input image for the entire field of view (monitoring target area) 904 of the first camera 902, and Δx is the first intruding object detected. Displacement in the horizontal direction from the center of the field of view of the camera 902 (unit: pix), θw is the semi-monitoring angle (unit: °) of the first camera 902, and θx is the pan control angle of the camera platform 102m of the second camera 903 (Unit: °). Here, the semi-monitoring angle θw of the first camera 902 includes the horizontal size h (unit: mm) of the image sensor of the first camera 902 and the focal length f (unit: mm) of the first camera 902. )

と表すことができる。
また、この監視条件において、入力画像の横方向の画素数２Ｗ、侵入物体９０１の検出位置の第１のカメラ９０２の視野中心からの横方向の変位Δｘと、第１のカメラ９０２の半監視角度θｗと、第２のカメラ９０３の雲台１０２ｍのパン制御角度θｘとには、 It can be expressed as.
In this monitoring condition, the number of pixels 2 W in the horizontal direction of the input image, the horizontal displacement Δx of the detection position of the intruding object 901 from the center of the field of view of the first camera 902, and the semi-monitoring angle of the first camera 902 θw and the pan control angle θx of the pan head 102m of the second camera 903 are

の関係がある。
即ち、第２のカメラ９０３の雲台１０２ｍのパン制御角度θｘは、 There is a relationship.
That is, the pan control angle θx of the camera platform 102m of the second camera 903 is

となる。
例えば、半監視角度θｗを３０°、第１のカメラ９０２の入力画像の横方向の画素数２Ｗを３２０ｐｉｘ、検出された侵入物体の第１のカメラ９０２の視野中心からの変位Δｘを４０とした場合、第２のカメラ９０３の雲台１０２ｍのパン制御角度は８．２°となる。 It becomes.
For example, the semi-monitoring angle θw is 30 °, the number of pixels 2W in the horizontal direction of the input image of the first camera 902 is 320 pix, and the displacement Δx of the detected intruding object from the center of the visual field of the first camera 902 is 40. In this case, the pan control angle of the camera platform 102m of the second camera 903 is 8.2 °.

以上のように、第１のカメラ９０２によって異なる時刻に入力した複数フレームの画像を比較して画素毎に輝度値の差分を求め、その差分の大きい領域を侵入物体９０１として検出した場合に、その侵入物体９０１の大きさと検出位置に基いて第１のカメラ９０２から送られる制御信号によって、第２のカメラ９０３の雲台１０２ｍが制御される。これによって、第２のカメラ９０３の視野範囲９０５内に常に侵入物体９０１を捉えることができるため、移動する侵入物体を第２のカメラ９０３が常に自動的に追尾することができる。 As described above, when a plurality of frames of images input at different times by the first camera 902 are compared to find a difference in luminance value for each pixel, and a region with a large difference is detected as an intruding object 901, The camera platform 102m of the second camera 903 is controlled by a control signal sent from the first camera 902 based on the size of the intruding object 901 and the detection position. Accordingly, since the intruding object 901 can always be captured within the visual field range 905 of the second camera 903, the second camera 903 can always automatically track the moving intruding object.

上記２つのカメラ構成による監視装置としては、例えば、特開平５−３３４５７２号公報及び特開平６−１５３０５１号公報がある。 As a monitoring device having the above two camera configurations, there are, for example, JP-A-5-334572 and JP-A-6-153051.

前述の従来技術には、複数の侵入物体を追尾するために複数の第２のカメラを制御する構成とした場合に、侵入物体の数に比例して、第１のカメラが複数の第２のカメラを制御するため、第１のカメラの処理量が増加する欠点があった。 In the prior art described above, when a plurality of second cameras are controlled to track a plurality of intruding objects, the first camera has a plurality of second in proportion to the number of intruding objects. Since the camera is controlled, there is a drawback that the processing amount of the first camera increases.

更に、第１のカメラで侵入物体が一時的に検出できなくなった場合には、第２のカメラがその侵入物体を捉えられる位置にあっても、継続して追尾を行なうことができないという欠点があった。 Further, when the intruding object cannot be temporarily detected by the first camera, there is a disadvantage that the tracking cannot be continuously performed even if the second camera is in a position where the intruding object can be captured. there were.

また、第１のカメラの撮像範囲でしか侵入物体の検出が行えず、侵入物体を正確に検出できるような大きさで侵入物体を撮像するように第１のカメラの撮像範囲を設定すると、おのずと監視エリアが制限されてしまう欠点があった。例えば、横幅１．０ｍ以上の侵入物体を検出するために、侵入物体が二値化画像中で幅１０画素以上のかたまりとして検出されなければならないようなような場合、画像サイズを３２０×４８０画素として、３２０画素の実際の大きさは、１．０／（１０／３２０）＝３２．０となり、第１のカメラの撮像範囲は横方向３２０ｍまでしか設定できず、更に、ズームレンズと雲台とを制御しながら侵入物体を追尾する場合、第１のカメラの撮像範囲から外れた監視エリアが死角となってしまうことになる。 In addition, if an intruding object can be detected only within the imaging range of the first camera, and the imaging range of the first camera is set so that the intruding object is imaged with a size that can accurately detect the intruding object, There was a drawback that the monitoring area was limited. For example, in order to detect an intruding object having a width of 1.0 m or more, when the intruding object has to be detected as a block having a width of 10 pixels or more in the binarized image, the image size is set to 320 × 480 pixels. As a result, the actual size of 320 pixels is 1.0 / (10/320) = 32.0, and the imaging range of the first camera can be set only up to 320 m in the horizontal direction. When tracking an intruding object while controlling the above, a monitoring area outside the imaging range of the first camera becomes a blind spot.

また、監視エリア内に存在する建物の陰や雲台の動作限界などによる死角に侵入物体が入った場合に、侵入物体を継続して追尾することが出来なくなってしまうといった欠点があった。 In addition, when an intruding object enters a blind spot due to the shadow of a building in the monitoring area or the operating limit of the pan head, there is a disadvantage that the intruding object cannot be tracked continuously.

本発明の目的は、第１のカメラによって得られる入力画像信号を第１の画像処理手段で処理し、複数の第２のカメラによって得られる入力画像信号をそれぞれ第２の画像処理手段で処理して、それぞれの画像処理手段を独立に制御することによって監視処理の負荷を分散させながら複数の侵入物体を監視できるようにし、更には、検出された侵入物体の位置情報に基づき侵入物体に近い位置に設置された第２の侵入物体監視手段で侵入物体を追尾するように割当てたり、最も重要度の高い領域に存在する侵入物体を優先的に追尾するように第２の侵入物体監視手段を割当ることで、迅速かつ効率的で正確に侵入物体を追尾する、信頼性の高い物体検出方法及び物体検出装置を提供することにある。 An object of the present invention is to process an input image signal obtained by a first camera by a first image processing means and process input image signals obtained by a plurality of second cameras by a second image processing means. In addition, by independently controlling each image processing means, it is possible to monitor a plurality of intruding objects while distributing the monitoring processing load, and further, a position close to the intruding object based on the position information of the detected intruding object. Assign the second intruding object monitoring means installed so that the intruding object is tracked by the second intruding object monitoring means installed in the area, or the second intruding object monitoring means is preferentially tracked to the intruding object existing in the area of highest importance. Accordingly, it is an object of the present invention to provide a highly reliable object detection method and object detection apparatus that can track an intruding object quickly, efficiently, and accurately.

上記の目的を達成するために、本発明の侵入物体監視方法は、監視対象領域をカバーする視野範囲を持つ第１の侵入物体監視装置と、第１の侵入物体監視装置の視野範囲の一部を監視領域とする複数の第２の侵入物体監視装置とを有する侵入物体監視システムを使用した侵入物体監視方法において、第１の侵入物体監視装置によって、監視対象領域の画像を入力する第１の画像入力ステップと、第１の画像入力ステップによって入力した画像から侵入物体の第１の情報を検出する第１の検出ステップと、第１の情報に基づいて第２の侵入物体監視装置の１つを制御して監視領域の画像を入力し、侵入物体を捕捉する第２の画像入力ステップと、第２の侵入物体監視装置によって、侵入物体の第２の情報を検出する第２の検出ステップとを設け、第２の情報に応じて、第２の侵入物監視装置が第１の侵入物体監視装置の制御なしで、侵入物体を追尾する。 In order to achieve the above object, an intruding object monitoring method of the present invention includes a first intruding object monitoring device having a visual field range that covers a monitoring target region, and a part of the visual field range of the first intruding object monitoring device. In the intruding object monitoring method using the intruding object monitoring system having a plurality of second intruding object monitoring devices having a monitoring area as a monitoring area, the first intruding object monitoring apparatus inputs a first image of the monitoring target area. One of an image input step, a first detection step of detecting first information of an intruding object from the image input in the first image input step, and a second intruding object monitoring device based on the first information A second image input step of controlling an image to input an image of a monitoring area and capturing an intruding object, and a second detecting step of detecting second information of the intruding object by a second intruding object monitoring device; Provided In response to the second information, the second intruder monitoring apparatus without control of the first intruding object monitoring apparatus, to track the intruding object.

また、第２の検出ステップによって検出した第２の情報は、侵入物体の大きさと検出位置を含む情報であり、第２の侵入物体監視装置による捕捉した侵入物体の追尾は、第２の情報に基づき第２の侵入物体監視装置の雲台を制御して撮像装置の視線方向を変更して行い、またあるいは、第１の検出ステップは、侵入物体の第１の情報の検出を差分法によって行い、またあるいは、第２の検出ステップは、侵入物体の第２の情報の検出をテンプレートマッチング法によって行う。 The second information detected by the second detection step is information including the size and detection position of the intruding object, and the tracking of the intruding object captured by the second intruding object monitoring device is the second information. Based on this, the pan head of the second intruding object monitoring device is controlled to change the line-of-sight direction of the imaging device. Alternatively, the first detection step detects the first information of the intruding object by a difference method. Alternatively, in the second detection step, the second information of the intruding object is detected by the template matching method.

更に、本発明の侵入物体監視方法は、侵入物体が新規に検出された侵入物体であるか否かを判定する新規検出物体判定ステップを有し、第１の侵入物体監視装置は、新規に検出された侵入物体であれば、新規に検出された侵入物体を現在追尾を行っていない第２の侵入物体監視装置の１つに追尾を割り当て、追尾を割り当てられた第２の侵入物体監視装置が、新規に検出された侵入物体を追尾する。 Furthermore, the intruding object monitoring method of the present invention includes a new detection object determining step for determining whether or not the intruding object is a newly detected intruding object, and the first intruding object monitoring apparatus newly detects The second intruding object monitoring apparatus to which tracking is assigned, and tracking is assigned to one of the second intruding object monitoring apparatuses that are not currently tracking the newly detected intruding object. Track newly detected intruding objects.

またあるいは、第１の侵入物体監視装置は、新規に検出された侵入物体であれば、新規に検出された侵入物体を、侵入物体を追尾していない第２の侵入物体監視装置の１つに、新規に検出した侵入物体の第３の情報を伝達し、伝達された第３の情報に応じて、第２の侵入物体監視装置が新規に検出された侵入物体を捕捉し、捕捉後は、第２の侵入物体監視装置が、第１の侵入物体監視装置の制御なしで、捕捉した侵入物体を追尾する。 Alternatively, if the first intruding object monitoring device is a newly detected intruding object, the newly detected intruding object is changed to one of the second intruding object monitoring devices that are not tracking the intruding object. The third information of the newly detected intruding object is transmitted, and the second intruding object monitoring device captures the newly detected intruding object according to the transmitted third information. The second intruding object monitoring device tracks the captured intruding object without the control of the first intruding object monitoring device.

また更に、第２の侵入物体監視装置は、第３の情報に基づいて、新規に検出された侵入物体を捕捉し、捕捉後は、第２の侵入物体監視装置が、捕捉した侵入物体を追尾する。
さらにまた、第１の侵入物体監視装置は、新規に侵入物体を検出した場合に、侵入物体の第４の情報を、現在侵入物体を追尾していない１つの第２の侵入物体監視装置を特定し、特定された第２の侵入物体監視装置に与えることにより、第２の侵入物体監視装置を追尾に割り当てる追尾割当ステップを有する。 Furthermore, the second intruding object monitoring device captures the newly detected intruding object based on the third information, and after the capturing, the second intruding object monitoring device tracks the captured intruding object. To do.
Furthermore, when the first intruding object monitoring device detects a new intruding object, the first intruding object monitoring device identifies one second intruding object monitoring device that is not currently tracking the intruding object. The tracking assignment step of assigning the second intruding object monitoring device to the tracking by giving it to the specified second intruding object monitoring device.

追尾割当ステップは、現在侵入物体を追尾していない前記第２の侵入物体監視装置のうち前記新規に検出した侵入物体に最も近い位置にある第２の侵入物体監視装置を追尾に割り当てる。 In the tracking assignment step, the second intruding object monitoring device that is closest to the newly detected intruding object among the second intruding object monitoring devices that are not currently tracking the intruding object is assigned to the tracking.

さらに、本発明の侵入物体監視方法は、監視領域全体を複数の部分監視領域に分割し、分割された部分監視領域に予め優先順位を設け、侵入物体が複数検出された場合、追尾割当ステップによって優先順位の高い部分監視領域に検出された侵入物体から順番に、第２の侵入物体監視装置を追尾に割り当てる。 Further, the intruding object monitoring method of the present invention divides the entire monitoring area into a plurality of partial monitoring areas, and priorities are set in advance in the divided partial monitoring areas. The second intruding object monitoring device is assigned to tracking in order from the intruding object detected in the partial monitoring area with the higher priority.

また、新規検出物体判定ステップによって、侵入物体が新規に検出された侵入物体ではないと判定された場合には、第１の侵入物体監視装置によって追跡中の侵入物体であるとして、侵入物体の以前の位置から現在の侵入物体の位置への変化を、追跡中の侵入物体の移動軌跡とする。 Further, when it is determined by the new detected object determination step that the intruding object is not a newly detected intruding object, the previous intruding object is determined to be an intruding object being tracked by the first intruding object monitoring device. The change from the position of the current intruding object to the current position of the intruding object is used as the movement locus of the intruding object being tracked.

またさらに、応答が一番速い第２の侵入物体監視手段から順に、新規に検出した侵入物体を追尾させる。
そのほか更に、本発明の侵入物体監視方法は、新規に侵入物体が存在すると判定された場合に、侵入物体の検出された位置座標をもとに監視領域内での絶対座標を算出する絶対座標算出ステップと、算出された絶対座標と最も近い位置に存在する第２の撮像手段を持つ第２の侵入物体監視手段を選択するカメラ選択ステップと、侵入物体の追尾を指定された第２の侵入物体監視手段に割当てる追尾割当修正ステップとを設け、監視領域内の侵入物体を追尾する。 Furthermore, the newly detected intruding object is tracked in order from the second intruding object monitoring means with the fastest response.
In addition, the intruding object monitoring method of the present invention calculates absolute coordinates in the monitoring area based on the detected position coordinates of the intruding object when it is determined that an intruding object is newly present. A camera selection step of selecting a second intruding object monitoring means having a second imaging means present at a position closest to the calculated absolute coordinates, and a second intruding object designated to track the intruding object A tracking allocation correcting step to allocate to the monitoring means is provided to track an intruding object in the monitoring area.

また、新規に検出した侵入物体に一番近い領域を視野範囲としている第２の侵入物体監視手段から順に、新規に検出した侵入物体を追尾させる。
さらに、監視対象領域内に予め設定された少なくとも２つ以上の優先順位の異なる領域に対し、監視対象領域内で検出された侵入物体の存在する領域の優先順位に基づいて、第２の侵入物体監視手段を割当てる追尾割当修正ステップを設け、監視対象領域内の侵入物体を追尾する。 In addition, the newly detected intruding object is tracked in order from the second intruding object monitoring means whose field of view is the region closest to the newly detected intruding object.
Further, the second intruding object is based on the priority of the area where the intruding object detected in the monitoring target area exists with respect to at least two or more areas having different priorities preset in the monitoring target area. A tracking allocation correcting step for allocating monitoring means is provided to track an intruding object in the monitoring target area.

本発明の侵入物体監視システムは、監視対象領域の映像を入力し、監視対象領域に侵入する物体の検出情報を検出し、侵入物体の第１の情報を追跡する第１の侵入物体監視装置と、第１の侵入物体監視装置が検出した第１の情報に基づいて侵入物体を捕捉し捕捉した侵入物体を追尾する複数の第２の侵入物体監視装置とを備える侵入物体監視システムにおいて、新規に侵入物体が存在すると判定された場合に、まだ侵入物体を追尾していない第２の侵入物体監視装置を特定し、特定した第２の侵入物体監視装置に新規に検出された侵入物体を追尾させる。 An intruding object monitoring system according to the present invention includes a first intruding object monitoring apparatus that inputs video of a monitoring target area, detects detection information of an object that enters the monitoring target area, and tracks first information of the intruding object. An intrusion object monitoring system comprising: a plurality of second intrusion object monitoring devices that capture an intrusion object and track the intrusion object captured based on the first information detected by the first intrusion object monitoring device. When it is determined that an intruding object exists, the second intruding object monitoring device that has not yet tracked the intruding object is identified, and the newly detected intruding object is tracked by the identified second intruding object monitoring device. .

また、第２の侵入物体監視装置は、それぞれ、第２の侵入物体監視装置によって制御される雲台を有し、第１の侵入物体監視装置が検出した第１の情報に応じて侵入物体を捕捉した後は、第２の侵入物体監視装置が検出する第２の情報によって、第１の侵入物体監視装置の制御なしで侵入物体を追尾する。 Each of the second intruding object monitoring devices has a pan head controlled by the second intruding object monitoring device, and the intruding object is detected according to the first information detected by the first intruding object monitoring device. After the capture, the intruding object is tracked by the second information detected by the second intruding object monitoring device without the control of the first intruding object monitoring device.

即ち、本発明の侵入物体検出システムは、例えば、監視対象とする監視領域全体を撮像するカメラ等の第１の画像入力手段と、カメラ等の第１の画像入力手段が撮像した画像を入力する第１の画像入力Ｉ／Ｆと、１つ以上の侵入物体監視手段とデータの通信を行なう第１のデータ通信手段と、第１の画像入力Ｉ／Ｆから入力された画像を記憶する第１の画像メモリと、侵入物体検出を行なう第１の侵入物体検出手段の動作プログラムを記憶している第１のプログラムメモリと、第１のプログラムメモリに保持されているプログラムにしたがって第１の侵入物体検出手段を動作させる第１のＣＰＵと、第１の画像メモリに記憶された画像の解析を行う際に一時的にデータを記憶する第１のワークメモリとによって構成される第１の侵入物体監視装置と、監視対象とする監視領域の一部を撮像するカメラ等の第２の画像入力手段と、カメラ等の第２の画像入力手段が撮像した画像を入力する第２の画像入力Ｉ／Ｆと、第２の画像入力手段の撮像方向を変える雲台制御手段と、１つ以上の侵入物体監視手段との間でデータの通信を行なう第２のデータ通信手段と、第２の画像入力Ｉ／Ｆから入力された画像を記憶する第２の画像メモリと、侵入物体検出を行なう第２の侵入物体検出手段の動作プログラムを記憶している第２のプログラムメモリと、第２のプログラムメモリに保持されているプログラムにしたがって第２の侵入物体検出手段を動作させる第２のＣＰＵと、第２の画像メモリに記憶された画像の解析を行なう際に一時的にデータを記憶する第２のワークメモリとによって構成される第２の侵入物体監視装置と、音、可視光、振動、回転運動、上下運動等の少なくとも１つ以上で表し人間または補助動物が感知可能な信号を発生する警告表示手段と、監視モニタと、第１あるいは第２のワークメモリの解析結果に対応して第１のＣＰＵの指示によって警告手段に警告を表示させる信号を伝達する出力Ｉ／Ｆと、第１あるいは第２のワークメモリの解析結果に対応して第１のＣＰＵの指示によって監視モニタに画像を送る画像出力Ｉ／Ｆとを有し、第１のＣＰＵが、第１のプログラムメモリに保持されているプログラムにしたがって第１の画像メモリに記憶されてる入力画像から第１の画像入力手段の視野内に写る侵入物体を検出する第１の侵入物体検出手段によって侵入物体を検出した場合に、第１のデータ通信手段によって第２の侵入物体監視装置に検出物体の位置情報と共に追尾割当要求を送信し、検出した侵入物体を追跡するようにし、更に、第２のＣＰＵが、第２のデータ通信手段によって第１の侵入物体監視装置から追尾割当要求を受信した場合に、侵入物体の位置情報に基づいて第２の画像入力手段の撮像方向を変える雲台制御手段を制御し、第２のプログラムメモリに保持されているプログラムにしたがって第２の画像メモリに記憶されてる入力画像から第２の画像入力手段の視野内に写る侵入物体を検出する第２の侵入物体検出手段によって侵入物体を検出し、検出した侵入物体の位置情報に基づいて第２の画像入力手段の撮像方向を変える雲台制御手段を制御するようにして監視視野内の侵入物体の監視を行なうようにしたものである。 That is, the intruding object detection system of the present invention inputs, for example, a first image input unit such as a camera that images the entire monitoring area to be monitored and an image captured by the first image input unit such as a camera. A first image input I / F, a first data communication means for communicating data with one or more intruding object monitoring means, and a first for storing an image input from the first image input I / F An image memory, a first program memory storing an operation program of first intruding object detecting means for detecting an intruding object, and a first intruding object according to a program held in the first program memory First intruding object monitoring constituted by a first CPU for operating the detecting means and a first work memory for temporarily storing data when an image stored in the first image memory is analyzed A second image input unit such as a camera that captures a part of a monitoring area to be monitored, and a second image input I / F that inputs an image captured by the second image input unit such as a camera. A pan head control unit that changes the imaging direction of the second image input unit, a second data communication unit that performs data communication between the one or more intruding object monitoring units, and a second image input I / F stores a second image memory that stores an image input from / F, a second program memory that stores an operation program of second intruding object detection means for detecting an intruding object, and a second program memory. A second CPU for operating the second intruding object detection means in accordance with the stored program, and a second work for temporarily storing data when analyzing the image stored in the second image memory Configured by memory and A second intruding object monitoring device, a warning display means for generating a signal that can be detected by a human or an auxiliary animal, expressed by at least one of sound, visible light, vibration, rotational movement, vertical movement, etc., and a monitoring monitor The output I / F for transmitting a signal for displaying a warning on the warning means according to the instruction of the first CPU corresponding to the analysis result of the first or second work memory, and the analysis of the first or second work memory An image output I / F that sends an image to the monitoring monitor in accordance with an instruction from the first CPU in response to the result, and the first CPU follows the program stored in the first program memory. When the intruding object is detected by the first intruding object detecting means for detecting the intruding object reflected in the field of view of the first image input means from the input image stored in the image memory, the first data communication means Therefore, the tracking assignment request is transmitted to the second intruding object monitoring apparatus together with the position information of the detected object so that the detected intruding object is tracked, and the second CPU communicates with the first data communication means by the first data communication means. When the tracking allocation request is received from the intruding object monitoring device, the pan head control means for changing the imaging direction of the second image input means is controlled based on the position information of the intruding object, and is held in the second program memory. The intruding object is detected by the second intruding object detecting means for detecting the intruding object appearing in the field of view of the second image input means from the input image stored in the second image memory in accordance with the program being stored, and the detected intruding object The intruding object in the monitoring visual field is monitored by controlling the pan head control means for changing the imaging direction of the second image input means based on the position information.

以上のように本発明によれば、第１の侵入物体監視装置と第２の侵入物体監視装置とをそれぞれに内在するＣＰＵの制御の下でそれぞれ独立に制御することによって侵入物体監視システムの処理量を分散させて複数の侵入物体を追尾できるようにして、検出した侵入物体を追尾する最適の第２の侵入物体監視装置を使って侵入物体を追尾することができる。 As described above, according to the present invention, the first intruding object monitoring device and the second intruding object monitoring device are independently controlled under the control of the CPUs contained in the first intruding object monitoring device. The intruding object can be tracked by using the optimum second intruding object monitoring device for tracking the detected intruding object by distributing the amount so that a plurality of intruding objects can be tracked.

更に、本発明の別の効果によれば、監視領域を分割して優先順位をつけ、侵入物体を検出した監視領域の優先順位にしたがって第２の侵入物体監視装置を割当てることができるため侵入物体の監視性能を著しく向上させることができる。 Furthermore, according to another effect of the present invention, the monitoring area is divided and prioritized, and the second intruding object monitoring device can be assigned according to the priority order of the monitoring area in which the intruding object is detected. Monitoring performance can be significantly improved.

以上のように、本発明は、複数の物体が監視区域内に侵入しても、それぞれの侵入物体に対して、迅速かつ効率的に個々に追尾を開始することができるため、正確で信頼性の高い侵入物体監視システムを提供することができるため、侵入物体監視システムの適用範囲を大きく広げることができる。 As described above, according to the present invention, even when a plurality of objects enter the monitoring area, tracking can be started individually and quickly with respect to each intruding object. Therefore, the application range of the intruding object monitoring system can be greatly expanded.

まず、本発明の侵入物体監視システムの一実施例を図１によって説明する。
図１は、侵入物体監視システムのハードウエア構成を示すブロック図である。第１の侵入物体監視手段１０１と第２の侵入物体監視手段１０２とをそれぞれ１組ずつ備えた構成の一例である。 First, an embodiment of the intruding object monitoring system of the present invention will be described with reference to FIG.
FIG. 1 is a block diagram showing a hardware configuration of the intruding object monitoring system. This is an example of a configuration in which one set of the first intruding object monitoring unit 101 and the second intruding object monitoring unit 102 is provided.

なお、第２の侵入物体監視手段１０２には固有のＩＤ（識別）番号が割当てられており、複数組の第２の侵入物体監視手段で構成した場合でもそれぞれを区別できるようになっている。 Note that a unique ID (identification) number is assigned to the second intruding object monitoring means 102 so that even when the second intruding object monitoring means is constituted by a plurality of sets of second intruding object monitoring means, each can be distinguished.

第１の侵入物体監視装置１０１と第２の侵入物体監視装置１０２とは、第１の通信Ｉ／Ｆ１０１ｈと第２の通信Ｉ／Ｆ１０２ｈとが通信ケーブル１０７によって接続されている。 In the first intruding object monitoring apparatus 101 and the second intruding object monitoring apparatus 102, a first communication I / F 101h and a second communication I / F 102h are connected by a communication cable 107.

また、第１の侵入物体監視装置１０１側では、第１の入力Ｉ／Ｆ１０１ｇが入力装置１０５に接続されている。更に第１の出力Ｉ／Ｆ１０１ｊが画像切替合成装置１０６の制御信号入力端子に接続され、また、警告灯１０４にも接続されている。 In addition, on the first intruding object monitoring apparatus 101 side, the first input I / F 101g is connected to the input apparatus 105. Further, the first output I / F 101 j is connected to the control signal input terminal of the image switching composition device 106, and also connected to the warning lamp 104.

更にまた、第１の侵入物体監視装置１０１側の第１の画像出力Ｉ／Ｆ１０１ｉと、第２の侵入物体監視装置１０２側の第２の画像出力Ｉ／Ｆ１０２ｉとは、画像切替合成装置１０６に接続され、画像切替合成装置１０６は監視モニタ１０３に接続されている。 Furthermore, the first image output I / F 101 i on the first intruding object monitoring apparatus 101 side and the second image output I / F 102 i on the second intruding object monitoring apparatus 102 side are sent to the image switching composition apparatus 106. The image switching composition device 106 is connected to the monitoring monitor 103.

第１の侵入物体監視装置１０１において、第１のカメラ１０１ａは第１の画像入力Ｉ／Ｆ１０１ｂに接続され、第１の画像入力Ｉ／Ｆ１０１ｂ、第１のＣＰＵ１０１ｃ、第１の画像メモリ１０１ｄ、第１のプログラムメモリ１０１ｅ、第１のワークメモリ１０１ｆ、第１の入力Ｉ／Ｆ１０１ｇ、第１の通信Ｉ／Ｆ１０１ｈ、第１の画像出力Ｉ／Ｆ１０１ｉ、及び第１の出力Ｉ／Ｆ１０１ｊは、第１のデータバス１０１ｋにそれぞれ接続されている。 In the first intruding object monitoring apparatus 101, the first camera 101a is connected to the first image input I / F 101b, the first image input I / F 101b, the first CPU 101c, the first image memory 101d, and the first image memory 101d. The first program memory 101e, the first work memory 101f, the first input I / F 101g, the first communication I / F 101h, the first image output I / F 101i, and the first output I / F 101j are the first Are connected to the data bus 101k.

また、第２の侵入物体監視装置１０２において、第２のカメラ１０２ａは第２の画像入力Ｉ／Ｆ１０２ｂに接続され、第２のカメラ１０２ａはカメラ雲台１０２ｍに設置され、第２の出力Ｉ／Ｆ１０２ｊは雲台制御装置１０２ｌに接続され、雲台制御装置１０２ｌはカメラ雲台１０２ｍに接続されている。また、第２の画像入力Ｉ／Ｆ１０２ｂ、第２のＣＰＵ１０２ｃ、第２の画像メモリ１０２ｄ、第２のプログラムメモリ１０２ｅ、第２のワークメモリ１０２ｆ、第２の通信Ｉ／Ｆ１０２ｈ、第２の画像出力Ｉ／Ｆ１０２ｉ、及び第２の出力Ｉ／Ｆ１０２ｊは、第２のデータバス１０２ｋにそれぞれ接続されている。 Further, in the second intruding object monitoring apparatus 102, the second camera 102a is connected to the second image input I / F 102b, the second camera 102a is installed on the camera platform 102m, and the second output I / F F102j is connected to a pan head controller 102l, and the pan head controller 102l is connected to a camera pan head 102m. Also, the second image input I / F 102b, the second CPU 102c, the second image memory 102d, the second program memory 102e, the second work memory 102f, the second communication I / F 102h, and the second image output The I / F 102i and the second output I / F 102j are respectively connected to the second data bus 102k.

また、監視モニタは、１台である必要はなく、２台またはそれ以上でもよく、表示する内容もユーザの要求により自由に変更できる。
その他、第１の侵入物体監視手段１０１と第２の侵入物体監視手段１０２、及び、入力装置１０５、画像切替え合成装置１０６、警告灯１０４、監視モニタ１０３間の物理的結合は、上述の実施例以外であっても、必要な情報や信号が伝達できる方法であればどんな方法でのよいことはいうまでもない。 Further, the number of monitoring monitors does not have to be one, but two or more may be used, and the contents to be displayed can be freely changed according to the user's request.
In addition, the physical connection among the first intruding object monitoring means 101 and the second intruding object monitoring means 102, the input device 105, the image switching / combining device 106, the warning light 104, and the monitoring monitor 103 is the same as that in the above-described embodiment. It goes without saying that any other method can be used as long as it can transmit necessary information and signals.

図１において、第１のカメラ１０１ａは監視対象区域を含んだ撮像視野内全体を所定の時刻毎に連続的に撮像し、撮像した画像を映像信号に変換して、その映像信号を第１の画像入力Ｉ／Ｆ１０１ｂに与える。第１の画像入力Ｉ／Ｆ１０１ｂは、入力した映像信号を侵入物体監視システムで扱うフォーマット（例えば、幅３２０ｐｉｘ、高さ２４０ｐｉｘ、８ｂｉｔ／ｐｉｘ）の画像データに変換し、第１のデータバス１０１ｋを介して第１の画像メモリ１０１ｄに送る。 In FIG. 1, the first camera 101a continuously captures the entire imaging field including the monitoring target area at a predetermined time, converts the captured image into a video signal, and converts the video signal into the first signal. This is given to the image input I / F 101b. The first image input I / F 101b converts the input video signal into image data in a format (for example, width 320 pix, height 240 pix, 8 bits / pix) handled by the intruding object monitoring system, and the first data bus 101k Via the first image memory 101d.

第１の画像メモリ１０１ｄは、入力してきた画像データを蓄積する。第１のＣＰＵ１０１ｃは、第１のプログラムメモリ１０１ｅに保存されているプログラムに従って、第１のワークメモリ１０１ｆを処理作業領域として使用し、第１の画像メモリ１０１ｄに蓄積された画像の解析を行なう。 The first image memory 101d accumulates input image data. The first CPU 101c analyzes the image stored in the first image memory 101d by using the first work memory 101f as a processing work area according to the program stored in the first program memory 101e.

以上の解析の結果、第１の侵入物体監視装置１０１は、第１のカメラ１０１ａの撮像視野内に侵入物体が侵入したか否か、また侵入物体が侵入した場合には、その検出された侵入物体の大きさや検出位置等の検出情報を得る。第１のＣＰＵ１０１ｃは、処理結果に応じて第１のデータバス１０１ｋから第１の通信Ｉ／Ｆ１０１ｈを介して第２の侵入物体監視装置１０２へ侵入物体の有無、侵入物体の位置情報、侵入物体追跡結果その他の検出情報を送信する。更に、新規に侵入物体を発見した場合には、第１の通信Ｉ／Ｆ１０１ｈを介して、第２の侵入物体監視装置１０２のうち、まだ追尾を割り当てられていない第２の侵入物体監視装置１０２に宛てて、侵入物体追尾割り当てと対象物体の位置情報を送信し、その他、例えば、第１の出力Ｉ／Ｆ１０１ｊを介して警告灯１０４を点灯したり、例えば監視結果画像を第１の画像出力Ｉ／Ｆ１０１ｉを介して画像切替合成装置１０６に与える。 As a result of the above analysis, the first intruding object monitoring apparatus 101 determines whether or not an intruding object has entered the imaging field of view of the first camera 101a. Detection information such as the size and detection position of the object is obtained. The first CPU 101c determines whether there is an intruding object from the first data bus 101k to the second intruding object monitoring device 102 via the first communication I / F 101h according to the processing result, the position information of the intruding object, and the intruding object. Send tracking results and other detection information. Further, when a new intruding object is found, the second intruding object monitoring device 102 that has not yet been assigned tracking among the second intruding object monitoring devices 102 via the first communication I / F 101h. The intruding object tracking assignment and the position information of the target object are transmitted to, for example, the warning lamp 104 is turned on via the first output I / F 101j, or the monitoring result image is output to the first image, for example. The image is given to the image switching composition device 106 via the I / F 101i.

第１の通信Ｉ／Ｆ１０１ｈは、第１のＣＰＵ１０１ｃからの送信データを例えばＲＳ４８５フォーマットに変換して、通信ケーブル１０７で接続された１台以上の別の第２の侵入物体監視装置（図１では、１台で代表して描き、以下の説明も第２の侵入物体監視装置１０２の中の構成要素の参照符号を代表として説明する）へ送信する。また、第１の画像出力Ｉ／Ｆ１０１ｉは、第１のＣＰＵ１０１ｃからの信号を画像切替合成装置１０６が使用できるフォーマット（例えば、ＮＴＳＣ映像信号）に変換して、画像切替合成装置１０６に送る。 The first communication I / F 101h converts transmission data from the first CPU 101c into, for example, the RS485 format, and one or more other second intrusion object monitoring devices (in FIG. 1) connected by the communication cable 107. One unit is drawn as a representative, and the following description is also transmitted to the second intruding object monitoring apparatus 102 as a representative reference numeral. Also, the first image output I / F 101 i converts the signal from the first CPU 101 c into a format (for example, NTSC video signal) that can be used by the image switching composition device 106, and sends it to the image switching composition device 106.

その他、第１の侵入物監視装置１０１と第２の侵入物監視装置１０２、及び、入力装置１０５、画像切替え合成装置１０６、警告灯１０４、監視モニタ１０３間の物理的結合は、上述の実施例以外であっても、必要な情報や信号が伝達できる方法であればどんな方法での良いことはいうまでもない。 In addition, the physical connection among the first intruder monitoring device 101 and the second intruder monitoring device 102, the input device 105, the image switching composition device 106, the warning light 104, and the monitoring monitor 103 is the same as that in the above-described embodiment. It goes without saying that any other method can be used as long as it can transmit necessary information and signals.

次に、第２のカメラ１０２ａは、第２のカメラ１０２ａの有する撮像視野内を所定の時刻毎に連続的に撮像する。カメラ雲台１０２ｍは雲台制御装置１０２ｌが与える雲台制御信号によって第２のカメラ１０２ａの撮像方向を変える。第２のカメラ１０２ａは、撮像した画像を映像信号に変換し、変換した映像信号を第２の画像入力Ｉ／Ｆ１０２ｂに与える。第２の画像入力Ｉ／Ｆ１０２ｂは、入力した映像信号を第２の侵入物体監視装置１０２で扱うことができるフォーマット（例えば、幅３２０ｐｉｘ、高さ２４０ｐｉｘ、８ｂｉｔ／ｐｉｘ）の画像データに変換し、第２のデータバス１０２ｋを介して第２の画像メモリ１０２ｄに送る。第２の画像メモリ１０２ｄは、送られてきた画像データを蓄積する。第２のＣＰＵ１０２ｃは第２のプログラムメモリ１０２ｅに保存されているプログラムに従って、第２のワークメモリ１０２ｆ内で第２の画像メモリ１０２ｄに蓄積された画像の解析を行う。以上の解析結果、第２のカメラ１０２ａの撮像視野内に侵入物体が侵入した等の検出情報を得る。 Next, the second camera 102a continuously captures images within the imaging field of view of the second camera 102a at predetermined times. The camera head 102m changes the imaging direction of the second camera 102a according to a head control signal provided by the head control device 102l. The second camera 102a converts the captured image into a video signal, and provides the converted video signal to the second image input I / F 102b. The second image input I / F 102b converts the input video signal into image data of a format (for example, width 320 pix, height 240 pix, 8 bits / pix) that can be handled by the second intruding object monitoring apparatus 102. The image data is sent to the second image memory 102d via the second data bus 102k. The second image memory 102d stores the sent image data. The second CPU 102c analyzes the image stored in the second image memory 102d in the second work memory 102f in accordance with the program stored in the second program memory 102e. As a result of the above analysis, detection information indicating that an intruding object has entered the imaging field of view of the second camera 102a is obtained.

第２のＣＰＵ１０２ｃは、処理結果に応じて第２のデータバス１０２ｋから第２の出力Ｉ／Ｆ１０２ｊを介して雲台制御装置１０２ｊへ制御信号を送信すると共に、第２の通信Ｉ／Ｆ１０２ｈを介して第１の侵入物体監視装置１０１へ侵入物体の位置情報、侵入物体追尾結果等の検出情報を送信する。また更に、検出情報、例えば監視結果画像を第２の画像出力Ｉ／Ｆ１０２ｉを介して画像切替合成装置１０６に与える。 The second CPU 102c transmits a control signal from the second data bus 102k to the pan head control device 102j via the second output I / F 102j according to the processing result, and via the second communication I / F 102h. Then, the detection information such as the position information of the intruding object and the intruding object tracking result is transmitted to the first intruding object monitoring apparatus 101. Furthermore, the detection information, for example, the monitoring result image is provided to the image switching composition device 106 via the second image output I / F 102i.

第２の通信Ｉ／Ｆ１０２ｈは、第２のＣＰＵ１０２ｃからの送信データを例えばＲＳ４８５フォーマットに変換して、通信ケーブル１０７で接続された第１の侵入物体監視装置へ送信する。更に、別の第２の侵入物体監視装置が１台以上通信ケーブル１０７で接続されている場合には、第２の通信Ｉ／Ｆ１０２ｈは、通信ケーブル１０７を介して、この別の第２の侵入物体監視装置１０２へも第２のＣＰＵ１０２ｃからの送信データを送信する。また、第２の画像出力Ｉ／Ｆ１０２ｉは、第２のＣＰＵ１０２ｃからの信号を画像切替合成装置１０６が使用できるフォーマット（例えば、ＮＴＳＣ映像信号）に変換して、画像切替合成装置１０６に送る。 The second communication I / F 102h converts transmission data from the second CPU 102c into, for example, the RS485 format, and transmits the converted data to the first intruding object monitoring apparatus connected by the communication cable 107. Further, when one or more other second intrusion object monitoring devices are connected by the communication cable 107, the second communication I / F 102 h is connected to the other second intrusion device via the communication cable 107. The transmission data from the second CPU 102c is also transmitted to the object monitoring apparatus 102. Also, the second image output I / F 102i converts the signal from the second CPU 102c into a format (for example, NTSC video signal) that can be used by the image switching synthesizer 106, and sends it to the image switching synthesizer 106.

更にまた、入力装置１０５は、ユーザからの例えばマウス操作、キーボード操作等の指示によって表示画像の切替等の入力を行ない、監視モニタ１０３は、画像切替合成装置１０６を介して、第１の侵入物体監視装置１０１及び第２の侵入物体監視装置１０２による監視結果画像を、ユーザから入力された指示により、例えば２画面並べて表示したり、どちらか１つを切り替えて表示する。 Furthermore, the input device 105 performs input such as switching of a display image in accordance with an instruction from the user such as a mouse operation or a keyboard operation, and the monitor monitor 103 receives the first intruding object via the image switching composition device 106. The monitoring result images by the monitoring device 101 and the second intruding object monitoring device 102 are displayed, for example, in two screens side by side according to an instruction input from the user, or one of them is switched and displayed.

次に、本発明の別の実施例の侵入物体監視システムを説明する。
本実施例の侵入物体監視システムは、第２の侵入物体監視装置を複数備える。第２の侵入物体監視装置１０２には、固有のＩＤ（識別）番号が割り当てられており、複数の第２の侵入物体監視装置のそれぞれを区別できるようになっている。例えば、第２の侵入物体監視装置が２台の場合の構成例を図１１で説明する。 Next, an intruding object monitoring system according to another embodiment of the present invention will be described.
The intruding object monitoring system of this embodiment includes a plurality of second intruding object monitoring devices. A unique ID (identification) number is assigned to the second intruding object monitoring apparatus 102 so that each of the plurality of second intruding object monitoring apparatuses can be distinguished. For example, a configuration example in the case where there are two second intruding object monitoring devices will be described with reference to FIG.

図１１は、本発明の侵入物体監視システムのハードウエア構成を示すブロック図である。この侵入物体監視システムは、第１の侵入物体監視装置１０１と２台の第２の侵入物体監視装置１０２と１０８によって構成されている。図１１に示す構成は、図１で示される侵入物体監視システムに第２の監視装置１０８を追加したものであり、第２の侵入物体監視装置１０８を構成するブロック１０８ａ〜１０８ｍは、第２の侵入物体監視装置１０２を構成するブロック１０２ａ〜１０２ｍと同じものである。 FIG. 11 is a block diagram showing a hardware configuration of the intruding object monitoring system of the present invention. This intruding object monitoring system includes a first intruding object monitoring apparatus 101 and two second intruding object monitoring apparatuses 102 and 108. The configuration shown in FIG. 11 is obtained by adding the second monitoring device 108 to the intruding object monitoring system shown in FIG. 1, and the blocks 108a to 108m constituting the second intruding object monitoring device 108 are the second This is the same as the blocks 102a to 102m constituting the intruding object monitoring apparatus 102.

このハードウエア構成を示すブロック図では、第１の通信Ｉ／Ｆ１０１ｈと第２の通信Ｉ／Ｆ１０２ｈ、更に別の第２の通信Ｉ／Ｆ１０８ｈとは、通信ケーブル１０７によって接続されている。また、第１の画像出力Ｉ／Ｆ１０１ｉと第２の画像出力Ｉ／Ｆ１０２ｉ、更に別の第２の画像出力Ｉ／Ｆ１０８ｉとは、画像切替合成装置１０６に接続されている。 In the block diagram showing the hardware configuration, the first communication I / F 101h, the second communication I / F 102h, and another second communication I / F 108h are connected by a communication cable 107. In addition, the first image output I / F 101 i and the second image output I / F 102 i and another second image output I / F 108 i are connected to the image switching composition device 106.

図２と図３は、本発明の一実施例の侵入物体監視方法の処理手順の一例を説明するフローチャートであり、図１１の侵入物体監視システムを参照しつつ以下で説明する。
本実施例は、監視領域全体の映像を撮像する第１の撮像装置（第１のカメラ）から逐次入力する画像信号中から侵入物体を検出し、検出した侵入物体の位置変化を追跡する第１の侵入物体監視プロセスと、第１の侵入物体監視プロセスによって侵入物体が存在すると判定された場合に、第２の撮像装置（第２のカメラ）から逐次入力する画像信号中の侵入物体を検出し、雲台を制御しながら第２の撮像装置の視野内に常に侵入物体を捉えるように追尾するための第２の侵入物体監視プロセスとを備え、第１の侵入物体監視プロセスを第１の侵入物体監視装置１０１のＣＰＵ１０１ｃの下で制御し、第２の侵入物体監視プロセスを第２の侵入物体監視装置１０２または１０８のＣＰＵ１０２ｃまたは１０８ｃの下で制御することによって、それぞれ独立に制御する。これによって、監視処理対象領域内の侵入物体を追尾させるようにした方法である。 2 and 3 are flowcharts for explaining an example of the processing procedure of the intruding object monitoring method according to the embodiment of the present invention, which will be described below with reference to the intruding object monitoring system of FIG.
In the present embodiment, an intruding object is detected from image signals sequentially input from a first imaging device (first camera) that captures an image of the entire monitoring area, and a change in the position of the detected intruding object is tracked. When the intruding object monitoring process and the first intruding object monitoring process determine that an intruding object exists, the intruding object is detected in the image signal sequentially input from the second imaging device (second camera). And a second intruding object monitoring process for tracking the intruding object in the field of view of the second imaging apparatus while controlling the pan head, and the first intruding object monitoring process is included in the first intrusion process. By controlling under the CPU 101c of the object monitoring device 101 and controlling the second intruding object monitoring process under the CPU 102c or 108c of the second intruding object monitoring device 102 or 108. It is controlled independently. This is a method of tracking an intruding object in the monitoring processing target area.

図２は第１の侵入物体監視プロセスの一実施例を説明するフローチャートであり、図３は第２の侵入物体監視プロセスの一実施例を説明するフローチヤートである。
図２において、侵入物体の監視を開始すると、
画像入カステップ２０１では、第１のカメラ１０１ａから、例えば、幅３２０ｐｉｘ、高さ２４０ｐｉｘ、８ｂｉｔ／ｐｉｘの入力画像を取得する。 FIG. 2 is a flowchart for explaining an embodiment of the first intruding object monitoring process, and FIG. 3 is a flowchart for explaining an embodiment of the second intruding object monitoring process.
In FIG. 2, when monitoring of the intruding object is started,
In the image input step 201, for example, an input image having a width of 320 pix, a height of 240 pix, and 8 bits / pix is acquired from the first camera 101a.

侵入物体検出ステップ２０２では、入力画像に基づき、例えば、図９で説明したように、侵入物体検出処理を行なう。
次に、新規検出物体判定ステップ２０３では、検出した物体の検出位置と、１フレーム前の検出物体との検出位置を比較し、その検出位置の変化量を求める。そして、求めた変化量が所定の量（第１のカメラ１０１ａの視野角に依存する量、例えば、５０画素（５０ｐｉｘ））未満の場合には、検出物体が１フレーム前にも存在したもの（即ち、新規の検出物体ではない）とし、侵入物体追跡ステップ２０４へ分岐する。ここで、画像入力ステップ２０１で入力画像を取得する時間間隔は、例えば、１００ｍｓｅｃであり、従って、１フレーム前とは、１００ｍｓｅｃ前の時刻である。また、変化量が所定の量以上の場合には、以前に検出された物体が移動すると予想される距離以上離れた場所で検出されたので、新規に検出された物体として待機確認要求送信ステップ２０７へ分岐する。 In the intruding object detection step 202, for example, as described with reference to FIG. 9, an intruding object detection process is performed based on the input image.
Next, in a new detected object determination step 203, the detected position of the detected object is compared with the detected position of the detected object one frame before, and the change amount of the detected position is obtained. If the obtained change amount is less than a predetermined amount (an amount depending on the viewing angle of the first camera 101a, for example, 50 pixels (50 pix)), the detected object exists one frame before ( That is, it is not a new detected object), and the process branches to the intruding object tracking step 204. Here, the time interval at which the input image is acquired in the image input step 201 is, for example, 100 msec. Therefore, “one frame before” is the time before 100 msec. If the amount of change is greater than or equal to the predetermined amount, the object has been detected at a location more than the distance at which the previously detected object is expected to move, so that the standby confirmation request transmission step 207 is detected as a newly detected object. Branch to

侵入物体追跡ステップ２０４では、１フレーム前の検出物体を現時刻の検出物体の１フレーム前の検出物体とみなし、その位置変化を侵入者の移動軌跡であるとする。
次に追跡失敗判定ステップ２０５では、侵入物体の１フレーム前に求めた移動軌跡と現時刻に求めた移動軌跡の角度変化量を計算し、角度変化量が所定の値（例えば９０°）以上変化していた場合には、追跡失敗と見なす。これは、侵入物体が、通常、急激に進行方向を変えないという知見に基づく。 In the intruding object tracking step 204, the detected object one frame before is regarded as the detected object one frame before the detected object at the current time, and the position change is assumed to be the movement trajectory of the intruder.
Next, in the tracking failure determination step 205, the angle change amount of the movement locus obtained one frame before the intruding object and the movement locus obtained at the current time is calculated, and the angle change amount changes by a predetermined value (for example, 90 °) or more. If it does, it is regarded as a tracking failure. This is based on the finding that intruders usually do not change direction of travel abruptly.

１フレーム前に求めた移動軌跡と現在求めた移動軌跡の変化量θは、１フレーム前に侵入物体が（ｘ１１，ｙ１１）から（ｘ１２，ｙ１２）、現在のフレームで侵入物体が（ｘ２１，ｙ２１）から（ｘ２２，ｙ２２）と移動したものとすると、次式のように算出される。 The amount of change θ between the movement trajectory obtained one frame ago and the currently obtained movement trajectory is as follows: (x11, y11) to (x12, y12) for the intruding object one frame ago, and (x21, y21) for the intruding object in the current frame. ) To (x22, y22), the following equation is calculated.

追跡失敗判定ステップ２０５で追跡失敗と見なされた場合には、第１の通信Ｉ／Ｆ１０１ｈを介して、第２の侵入物体監視装置１０２または１０８に侵入物体の追跡結果を送信すると共に、視野外移動判定ステップ２０６に進み、視野外移動判定ステップ２０６において、画像切替合成装置１０６を介して監視モニタ１０３へ信号が送られ、監視モニタ１０３は例えば“侵入物体見逃し”等の表示を行い、全検出物体終了判定ステップ２１０に分岐する。 If the tracking failure determination step 205 determines that the tracking failure has occurred, the tracking result of the intruding object is transmitted to the second intruding object monitoring device 102 or 108 via the first communication I / F 101h, and the Proceeding to the movement determination step 206, a signal is sent to the monitoring monitor 103 via the image switching composition device 106 in the out-of-field movement determination step 206, and the monitoring monitor 103 displays, for example, “missing intruding object” and all the detections. The process branches to the object end determination step 210.

追跡失敗判定ステップ２０５で追跡失敗と判定された場合には、第１の通信Ｉ／Ｆ１０１ｈを介して、第２の侵入物体監視装置１０２または１０８に侵入物体の追跡結果を送信すると共に、視野外移動判定ステップ２０６に進み、視野外移動判定ステップ２０６において、画像切替合成装置１０６を介して監視モニタ１０３へ信号が送られ、監視モニタ１０３は例えば“侵入物体見逃し”等の表示を行い、全検出物体終了判定ステップ２０８に分岐する。 When the tracking failure determination step 205 determines that the tracking failure has occurred, the tracking result of the intruding object is transmitted to the second intruding object monitoring apparatus 102 or 108 via the first communication I / F 101h, and the out-of-view Proceeding to the movement determination step 206, a signal is sent to the monitoring monitor 103 via the image switching composition device 106 in the out-of-field movement determination step 206, and the monitoring monitor 103 displays, for example, “missing intruding object” and all the detections. The process branches to the object end determination step 208.

以上のように、追跡失敗判定ステップ２０５で、追跡失敗と判定された場合には、追跡失敗という追跡結果を第２の侵入物体監視装置１０２または１０８に送信すると述べた。尚、上記「侵入物体の追跡結果」とは、侵入物体がどのように動いたかを表す情報で、例えば、対象物体の位置や移動量や移動方向などを含む情報である。例えば、次のような、ありえない数値を侵入物体の追跡結果として第２の侵入物体監視装置１０２または１０８に送信するようにしても良い。例えば、カメラ１０１ａあるいは１０２ａまたは１０８ａによって得られる入力画像が、横２５６画素、縦１９２画素で構成され、画像上の侵入物体の座標位置（Ｘ，Ｙ）を横軸（Ｘ軸）の０から２５５までの数値と縦軸（Ｙ軸）の０から１９１までの数値を組合せて指定するものとする。このとき、例えば、（９９９，９９９）は上記ありえない数値として、何か予め定めたところの情報を伝えるために使用することができる。 As described above, when it is determined that the tracking failure has occurred in the tracking failure determination step 205, the tracking result indicating that the tracking failure has occurred is transmitted to the second intruding object monitoring apparatus 102 or 108. The “tracking result of the intruding object” is information indicating how the intruding object has moved, for example, information including the position, moving amount, moving direction, and the like of the target object. For example, an impossible numerical value such as the following may be transmitted to the second intruding object monitoring apparatus 102 or 108 as an intruding object tracking result. For example, an input image obtained by the camera 101a or 102a or 108a is composed of 256 pixels horizontally and 192 pixels vertically, and the coordinate position (X, Y) of the intruding object on the image is 0 to 255 on the horizontal axis (X axis). The numerical values up to and the numerical values from 0 to 191 on the vertical axis (Y axis) are designated in combination. At this time, for example, (999, 999) can be used as the above-mentioned impossible numerical value to convey some predetermined information.

また、追跡失敗判定ステップ２０５で追跡が行なえたと判定された場合には、第１の通信Ｉ／Ｆ１０１ｈを介して、第２の侵入物体監視装置１０２または１０８に侵入物体の位置情報と共に追跡結果を送信し、全検出物体終了判定ステップ２１０へ分岐する。尚、図２の右向きの太い矢印は、第１の侵入物体監視プロセスの処理結果の情報を第２の侵入物体監視プロセスを処理する第２の侵入物体監視装置のいずれかに宛てて送信することを表す。 If it is determined in the tracking failure determination step 205 that the tracking can be performed, the tracking result together with the position information of the intruding object is sent to the second intruding object monitoring apparatus 102 or 108 via the first communication I / F 101h. Then, the process branches to the all detected object end determination step 210. 2 indicates that the information on the processing result of the first intruding object monitoring process is sent to one of the second intruding object monitoring apparatuses that processes the second intruding object monitoring process. Represents.

また、侵入物体追尾割当ステップ２０７では、第１の通信Ｉ／Ｆ１０１ｈを介して、現在追尾を行っていない第２の侵入物体監視装置１０２または１０８に侵入物体の位置情報と共に追尾割当の信号を送信し、全検出物体終了判定ステップ２０８へ分岐する。 In the intruding object tracking assignment step 207, a tracking assignment signal is transmitted together with the position information of the intruding object to the second intruding object monitoring apparatus 102 or 108 that is not currently tracking through the first communication I / F 101h. Then, the process branches to the all detected object end determination step 208.

図１０は、本発明の一実施例の通信ケーブル１０７に流れる通信情報の構成を表す一例である。
通信データは、７バイトのデータ列から構成されており、ＳＴＸ３２０１、ＤＳＴ３２０２、ＳＲＣ３２０３、ＣＯＭ３２０４、ＤＴ１３２０５、ＤＴ２３２０６、ＥＴＸ３２０７の順で送信される。ここで、ＳＴＸ３２０１は、通信データの先頭バイトを表し（ＳｔａｒｔｏｆＴｅＸｔ）、例えば、＄Ａ０（＄は１６進数の数値であることを表す）を用いる。更に、ＤＳＴ３２０２は送信宛先（Ｄｅｓｔｉｎａｔｉｏｎ）のＩＤ（識別名）、ＳＲＣ３２０３は送信元（Ｓｏｕｒｃｅ）のＩＤを表し、例えば、第１の侵入物体監視装置１０１のＩＤを“１”、第２の侵入物体監視装置１０２のＩＤを“２”、第２の侵入物体監視装置１０８のＩＤを“３”とした場合、第１の侵入物体監視装置１０１から第２の侵入物体監視装置１０２へ通信データを送信する場合、ＤＳＴ＝２、ＳＲＣ＝１となる。更に、ＣＯＭ３２０４は、通信データの内容（Ｃｏｍｍａｎｄ）を表し、このデータで通信データが、例えば、追尾割当要求なのか、追跡結果なのか、あるいは追尾結果なのかを表す。例えば、追尾割当要求の場合はＣＯＭ＝１、追跡結果の場合はＣＯＭ＝２、追尾結果の場合はＣＯＭ＝３とする。更に、ＤＴ１３２０５、ＤＴ２３２０６は、付加情報１（Ｄａｔａ１）と付加情報２（Ｄａｔａ２）を表し、通信データの内容ＣＯＭ３２０４と組み合わせて用いる。例えば、追尾割当要求（ＣＯＭ＝１）とした場合、追尾すべき対象物体がどの位置に存在するかを第２の侵入物体監視装置１０２または１０８に送信しなければならないが、この場合、付加情報１（Ｄａｔａ１）に対象物体のＸ座標、付加情報２（Ｄａｔａ２）に対象物体のＹ座標を指定する。更に、ＥＴＸ３２０７は、通信データの終了バイトを表し（ＥｎｄｏｆＴｅＸｔ）、例えば、＄ＡＦを用いる。 FIG. 10 is an example showing a configuration of communication information flowing through the communication cable 107 according to the embodiment of this invention.
The communication data is composed of a 7-byte data string, and is transmitted in the order of STX3201, DST3202, SRC3203, COM3204, DT13205, DT23206, and ETX3207. Here, STX3201 represents the first byte of communication data (Start of TeXt), and for example, $ A0 ($ represents a hexadecimal number) is used. Further, DST3202 represents the ID (identification name) of the transmission destination (Destination), SRC3203 represents the ID of the transmission source (Source), for example, the ID of the first intruding object monitoring device 101 is “1”, the second intruding object When the ID of the monitoring device 102 is “2” and the ID of the second intruding object monitoring device 108 is “3”, communication data is transmitted from the first intruding object monitoring device 101 to the second intruding object monitoring device 102. In this case, DST = 2 and SRC = 1. Further, the COM 3204 represents the content (Command) of the communication data, and this data represents whether the communication data is a tracking allocation request, a tracking result, or a tracking result, for example. For example, COM = 1 for a tracking allocation request, COM = 2 for a tracking result, and COM = 3 for a tracking result. Furthermore, DT13205 and DT23206 represent additional information 1 (Data1) and additional information 2 (Data2), and are used in combination with the content COM3204 of communication data. For example, in the case of a tracking allocation request (COM = 1), the position of the target object to be tracked must be transmitted to the second intruding object monitoring apparatus 102 or 108. In this case, additional information The X coordinate of the target object is designated as 1 (Data 1), and the Y coordinate of the target object is designated as additional information 2 (Data 2). Furthermore, ETX 3207 represents the end byte of communication data (End of TeXt), and uses, for example, $ AF.

以上の通信データを用いることで、複数の侵入物体監視装置間で追尾割当要求、対象物体の追跡結果、対象物体の追尾結果をやり取りすることができる。なお、ここでは、通信データを７バイトのデータ列で構成したが、７バイト以外のデータ列で構成したり、また送信するデータの内容に応じて可変長にすることも可能である。 By using the above communication data, a tracking allocation request, a tracking result of the target object, and a tracking result of the target object can be exchanged between a plurality of intruding object monitoring devices. Although the communication data is composed of a 7-byte data string here, it can be composed of a data string other than 7 bytes, or can have a variable length according to the content of data to be transmitted.

次に、待機状態判定ステップ２０８では、第２の侵入監視装置１０２または１０８から、第１の通信Ｉ／Ｆ１０１ｈを介して待機状態信号が到来するのを待ち受ける。
第２の侵入物体監視装置１０２または１０８は、それぞれ、待機確認信号を受信すると、現在侵入物体の追尾を受け持っているものは応答を返さない。しかし、現在侵入物体の追尾を行っていない第２の侵入物体監視装置１０２または１０８はすべて、例えば最後に追尾した雲台の制御量情報等から、現在監視対象区域のどの部分にカメラ視野が向いているかの情報を、自分に割当てられたＩＤ番号と共に、待機状態信号として第１の侵入物体監視装置１０１に応答を返す。 Next, in the standby state determination step 208, it waits for a standby state signal to arrive from the second intrusion monitoring apparatus 102 or 108 via the first communication I / F 101h.
When the second intruding object monitoring apparatus 102 or 108 receives the standby confirmation signal, the second intruding object monitoring apparatus 102 or 108 that is currently in charge of tracking the intruding object does not return a response. However, all of the second intruding object monitoring devices 102 or 108 that are not currently tracking the intruding object have the camera field of view directed to any part of the currently monitored area based on, for example, the control amount information of the last tracked head. A response to the first intruding object monitoring apparatus 101 is returned as a standby state signal together with the ID number assigned to itself.

第１の侵入物体監視装置１０１は、所定時間内に待機状態信号を受信した場合には侵入物体追尾割当ステップ２０９へ分岐し、所定時間内に待機状態信号を受信しなかった場合には全検出物体終了判定ステップ２１０へ分岐する。もし、侵入物体に割当て可能な第２の侵入物体監視装置がなければ、全検出物体終了判定ステップ２１０が、ユーザに知らせる何らかの処理（例えば警告を鳴らす）を実行し、記録を残す。 The first intruding object monitoring apparatus 101 branches to the intruding object tracking assignment step 209 when it receives a standby state signal within a predetermined time, and detects all when it does not receive a standby state signal within a predetermined time. The process branches to the object end determination step 210. If there is no second intruding object monitoring device that can be assigned to the intruding object, the all-detected object end determination step 210 executes some processing (for example, sounds a warning) to inform the user and leaves a record.

前述のように、この待機状態信号には、複数の第２の侵入物体監視装置１０２または１０８の１組を特定するためのＩＤ番号が付加されており、複数の第２の侵入物体監視装置で構成した場合でも、どの第２の侵入物体監視装置から送信されたものかを識別することができる。 As described above, an ID number for identifying one set of the plurality of second intruding object monitoring devices 102 or 108 is added to the standby state signal. Even in the case of the configuration, it is possible to identify which second intruding object monitoring device has transmitted.

次に、侵入物体追尾割当ステップ２０９では、待機状態信号に付加されているＩＤ番号に基づき、第１の通信Ｉ／Ｆ１０１ｈを介して、該当する第２の侵入物体監視装置へ侵入物体の位置情報と共に追尾割当要求を送信し、第２の侵入物体監視プロセスヘ移行し、全検出物体終了判定ステップ２１０へ分岐する。 Next, in the intruding object tracking assignment step 209, based on the ID number added to the standby state signal, the intruding object position information is sent to the corresponding second intruding object monitoring device via the first communication I / F 101h. At the same time, a tracking allocation request is transmitted, the process proceeds to the second intruding object monitoring process, and the process branches to the all detected object end determination step 210.

第１の侵入監視装置１０１が、待機状態信号を１つだけ受信した場合には、その待機状態信号に付加されたＩＤ番号を付加して、追尾割当要求を送信する。
しかし、待機状態信号を所定時間内に複数受信した場合には、例えば、複数の第２の侵入監視装置１０２または１０８から待機状態信号を受信した場合には、一番初めに受信した待機状態信号を選択する。そして、選択したＩＤ番号を付加して追尾割当要求を送信する。 When the first intrusion monitoring apparatus 101 receives only one standby state signal, it adds the ID number added to the standby state signal and transmits a tracking allocation request.
However, when a plurality of standby state signals are received within a predetermined time, for example, when a standby state signal is received from a plurality of second intrusion monitoring devices 102 or 108, the first standby state signal received Select. Then, the tracking allocation request is transmitted with the selected ID number added.

全検出物体終了判定ステップ２１０では、侵入物体検出ステップ２０２において検出された全ての侵入物体に対して侵入物体追跡ステップ２０４あるいは待機確認要求送信ステップ２０７が実行された場合に画像入カステップ２０１へ分岐し、侵入物体追跡ステップ２０４あるいは待機確認要求送信ステップ２０７が実行されていない物体が存在する場合は新規検出物体判定ステップ２０３へ分岐する。 In the all detection object end determination step 210, the process branches to the image input step 201 when the intruding object tracking step 204 or the standby confirmation request transmitting step 207 is executed for all the intruding objects detected in the intruding object detecting step 202. If there is an object for which the intruding object tracking step 204 or the standby confirmation request transmitting step 207 is not executed, the process branches to the new detected object determining step 203.

次に図３の第２の侵入物体監視プロセスでは、
追尾割当待ちステップ３０１では、第２の通信Ｉ／Ｆ１０２ｈまたは１０８ｈを介して、第１の侵入物体監視プロセスから、検出物体の位置情報と追尾割当の信号が送信されてくるまで待機する。 Next, in the second intruding object monitoring process of FIG.
In the tracking allocation waiting step 301, the process waits until the position information of the detected object and the tracking allocation signal are transmitted from the first intruding object monitoring process via the second communication I / F 102h or 108h.

追尾割当判定ステップ３０２では、追尾割当の信号を受信した場合に待機状態情報送信ステップ３０３へ分岐し、追尾割当の信号を受信しなかった場合に追尾割当待ちステップ３０１へ分岐する。 In the tracking allocation determination step 302, the process branches to the standby state information transmission step 303 when the tracking allocation signal is received, and branches to the tracking allocation waiting step 301 when the tracking allocation signal is not received.

そして、待機状態情報送信ステップ３０３では、第２の通信Ｉ／Ｆ１０２ｈまたは１０８ｈを介して、第１の侵入物体監視装置１０１へ侵入物体監視装置ＩＤ番号を付加した待機状態信号を送信する。 In the standby state information transmission step 303, a standby state signal with the intruding object monitoring device ID number added is transmitted to the first intruding object monitoring device 101 via the second communication I / F 102h or 108h.

追尾割当待ちステップ３０４では、第２の通信Ｉ／Ｆ１０２ｈまたは１０８ｈを介して、第１の侵入物体監視装置１０１からの検出物体の位置情報と追尾割当の信号が送信されてくるまで所定時間待機する。 In the tracking allocation waiting step 304, the system waits for a predetermined time until the position information of the detected object and the tracking allocation signal are transmitted from the first intruding object monitoring apparatus 101 via the second communication I / F 102h or 108h. .

そして、追尾割当判定ステップ３０５では、追尾割当待ちステップ３０４において、追尾割当の信号を所定時間内に受信した場合にはカメラ雲台制御ステップ３０６へ分岐し、追尾割当の信号を所定時間内に受信しなかった場合には待機確認要求受信ステップ３０１へ分岐する。 In the tracking allocation determination step 305, if the tracking allocation signal is received within the predetermined time in the tracking allocation waiting step 304, the process branches to the camera head control step 306, and the tracking allocation signal is received within the predetermined time. If not, the process branches to the standby confirmation request receiving step 301.

カメラ雲台制御ステップ３０６では、追尾割当待ちステップ３０４で受信した侵入物体の位置等の検出情報に基づき、第２の出力Ｉ／Ｆ１０２Ｊまたは１０８ｊを介して雲台制御装置１０２ｌまたは１０８ｌを制御することによってカメラ雲台１０２ｍまたは１０８ｍを操作して第２のカメラ１０２ａまたは１０８ａの視野９０５内（図９）に第１の侵入物体監視プロセスで検出した侵入物体９０１（図９）を捉える。 In the camera pan head control step 306, the pan head control device 102l or 108l is controlled via the second output I / F 102J or 108j based on the detection information such as the position of the intruding object received in the tracking allocation waiting step 304. By operating the camera platform 102m or 108m, the intruding object 901 (FIG. 9) detected in the first intruding object monitoring process is captured in the field of view 905 (FIG. 9) of the second camera 102a or 108a.

カメラ雲台１０２ｍまたは１０８ｍの制御量（パン角、チルト角）は、例えば、前述の図９で示した方法によって算出される。
次に画像入カステップ３０７では、第２のカメラ１０２ａまたは１０８ａから、例えば、幅３２０ｐｉｘ、高さ２４０ｐｉｘ、８ｂｉｔ／ｐｉｘの入力画像を取得する。 The control amount (pan angle, tilt angle) of the camera platform 102m or 108m is calculated by, for example, the method shown in FIG.
Next, in the image input step 307, for example, an input image having a width of 320 pix, a height of 240 pix, and 8 bits / pix is acquired from the second camera 102a or 108a.

初期テンプレート作成ステップ３０８では、画像入カステップ３０７で取得した入力画像に基づき図８で説明した侵入物体検出処理を行い、検出された侵入物体をテンプレート画像として第２の画像メモリ１０２ｄに記憶する。 In the initial template creation step 308, the intruding object detection process described with reference to FIG. 8 is performed based on the input image acquired in the image input step 307, and the detected intruding object is stored in the second image memory 102d as a template image.

次に画像入カステップ３０９では、画像入カステップ３０７と同様に入力画像を取得する。但し、画像入カステップ３０９が取得する画像は、画像入カステップ３０７から画像入カステップ３０９までの処理時間が経過しているため、その処理時間後入力したフレームの画像が取得される。 Next, in an image input step 309, an input image is acquired as in the image input step 307. However, since the processing time from the image input step 307 to the image input step 309 has passed for the image acquired by the image input step 309, the image of the frame input after that processing time is acquired.

そして、侵入物体追尾ステップ３１０では、第２の画像メモリ１０２ｄまたは１０８ｄに記憶したテンプレート画像に基づき、画像入カステップ３０７で取得した入力画像のテンプレートマッチングを行ない、第１の侵入物体監視プロセスで検出した侵入物体との位置変化量を検出する。 In the intruding object tracking step 310, based on the template image stored in the second image memory 102d or 108d, the input image acquired in the image input step 307 is subjected to template matching, and detected by the first intruding object monitoring process. The amount of change in position with the intruding object is detected.

テンプレートマッチングとは、ある画像中でテンプレート画像として登録された画像がどの位置に存在するかを検出するもので、例えば、１９８５年に総研出版より出版された田村秀行氏監修による『コンピュータ画像処理入門』と題する書籍のＰ１１８〜１２５に解説されている。 Template matching is to detect where an image registered as a template image exists in a certain image. For example, “Introduction to computer image processing” by Hideyuki Tamura published by Soken Publishing in 1985. Is described in P118-125 of the book entitled “.

次に、追尾失敗判定ステップ３１１では、侵入物体追尾ステップ３１０において、テンプレートに登録した侵入物体が検出されなかった場合には第２の通信Ｉ／Ｆ１０２ｈまたは１０８ｈを介して第１の侵入物体監視装置１０１に侵入物体の位置情報と共に追尾結果を送信し、追尾要求待ちステップ３０１へ分岐する。 Next, in the tracking failure determination step 311, if the intruding object registered in the template is not detected in the intruding object tracking step 310, the first intruding object monitoring device is connected via the second communication I / F 102h or 108h. The tracking result is transmitted together with the position information of the intruding object to 101, and the process branches to the tracking request waiting step 301.

また侵入物体が検出された場合には、第２の通信Ｉ／Ｆ１０２ｈまたは１０８ｈを介して第１の侵入物体監視装置１０１に侵入物体の位置情報と共に追尾結果を送信し、テンプレート更新ステップ３１２へ分岐する。 If an intruding object is detected, the tracking result is transmitted together with the position information of the intruding object to the first intruding object monitoring apparatus 101 via the second communication I / F 102h or 108h, and the process branches to the template update step 312. To do.

テンプレート更新ステップ３１２では、テンプレートマッチングによって検出した侵入物体の位置の画像を使って、第２の画像メモリ１０２ｄまたは１０８ｄに記憶したテンプレート画像を更新する。 In the template update step 312, the template image stored in the second image memory 102d or 108d is updated using the image of the position of the intruding object detected by template matching.

次に、カメラ雲台制御ステップ３１３では、侵入物体追尾ステップ３１０でテンプレートマッチングによって検出された侵入物体の位置に基づき、第２の出力Ｉ／Ｆ１０２ｈまたは１０８ｈを介して雲台制御装置１０２ｌまたは１０８ｌを制御する。 Next, in the camera pan head control step 313, the pan head control device 102l or 108l is set via the second output I / F 102h or 108h based on the position of the intruding object detected by the template matching in the intruding object tracking step 310. Control.

即ち、侵入物体が、画像中央から上方に存在する場合にはカメラ雲台１０２ｍまたは１０８ｍのチルト角を適量上向きに変更し、画像中央から下方に存在する場合にはカメラ雲台１０２ｍまたは１０８ｍのチルト角を適量下向きに変更する。 That is, when the intruding object exists above the center of the image, the tilt angle of the camera platform 102m or 108m is changed upward by an appropriate amount, and when the intruding object exists below the center of the image, the tilt of the camera platform 102m or 108m is changed. Change the corner downward by an appropriate amount.

また、侵入物体が、画像中央から左方に存在する場合にはカメラ雲台１０２ｍまたは１０８ｍのパン角を適量左向きに変更し、画像中央から右方に存在する場合にはカメラ雲台１０２ｍまたは１０８ｍのパン角を適量右向きに変更する。 Further, when an intruding object is present to the left from the center of the image, the pan angle of the camera platform 102m or 108m is changed to the left by an appropriate amount. Change the pan angle to the right by an appropriate amount.

即ち、本実施例によれば、第１の侵入物体監視プロセスを第１の侵入物体監視装置１０１のＣＰＵ１０１ｃの制御の下で制御し、第２の侵入物体監視プロセスを第２の侵入物体監視装置１０２または１０８のＣＰＵ１０２ｃまたは１０８ｃの制御の下で制御し、それぞれ独立に制御する。これによって監視処理の処理量を分散させることができ、監視領域内に複数の侵入物体が存在する場合であっても、監視処理に関わる処理量が増加することなく、それぞれの侵入物体を複数の第２の侵入物体監視装置のどれかに割当てることによって侵入物体を追尾することが可能となる。 That is, according to the present embodiment, the first intruding object monitoring process is controlled under the control of the CPU 101c of the first intruding object monitoring apparatus 101, and the second intruding object monitoring process is controlled by the second intruding object monitoring apparatus. The control is performed under the control of the CPU 102c or 108c of the control unit 102 or 108, and is controlled independently. As a result, the processing amount of the monitoring process can be distributed, and even when there are a plurality of intruding objects in the monitoring area, each intruding object is divided into a plurality of intrusive objects without increasing the processing amount related to the monitoring process. By assigning to any of the second intruding object monitoring devices, it is possible to track the intruding object.

図４は、本発明の別の実施例の侵入物体監視方法の処理手順の一例を説明するフローチャートである。
本実施例は、図２で説明した待機確認要求送信ステップ２０７の代わりに、図２の待機確認要求送信ステップ２０７とは異なる処理機能を持った待機確認要求送信ステップ４０１を設け、侵入物体から最も近い位置に設置された第２の侵入物体監視装置へ待機確認要求を送信する。そして、待機状態判定ステップ２０８において、この最も近い位置に設置された第２の侵入物体監視装置が待機状態である場合は、侵入物体追尾割り当てステップ２０９に分岐し、この侵入物体から最も近い位置に設置された第２の侵入物体監視装置へ侵入物体の追尾を割り当てる。 FIG. 4 is a flowchart for explaining an example of the processing procedure of the intruding object monitoring method according to another embodiment of the present invention.
In this embodiment, instead of the standby confirmation request transmission step 207 described in FIG. 2, a standby confirmation request transmission step 401 having a processing function different from that of the standby confirmation request transmission step 207 of FIG. A standby confirmation request is transmitted to the second intruding object monitoring apparatus installed at a close position. In the standby state determination step 208, if the second intruding object monitoring device installed at the closest position is in the standby state, the process branches to the intruding object tracking assignment step 209, and the closest position from the intruding object is reached. The tracking of the intruding object is assigned to the installed second intruding object monitoring apparatus.

侵入物体から最も近い位置に設置された第２の侵入物体監視装置が待機状態でない（即ち、他の侵入物体を追尾中である）場合には待機確認要求送信ステップ４０１へ分岐して、次に近い位置に設置された第２の侵入物体監視装置へ待機確認要求信号を送信する。 If the second intruding object monitoring device installed closest to the intruding object is not in a standby state (that is, tracking another intruding object), the process branches to a standby confirmation request transmission step 401, A standby confirmation request signal is transmitted to the second intruding object monitoring apparatus installed at a close position.

全ての第２の侵入物体監視装置が追尾中（待機状態ではない）場合は、例えば、追尾割り当てを行わず、全検出物体終了ステップ２１０へ分岐する。待機確認要求送信ステップ４０１は、従って、侵入物体の検出された画像上の位置座標を基に侵入物体の監視領域内での座標（絶対座標）を算出し、この算出した座標と各第２の侵入物体監視装置の監視領域内での位置（該当する第２の侵入物体監視装置のプログラムメモリに保存されている）を比較し、侵入物体に最も近い第２の侵入物体監視装置を侵入物体の追尾に指定して侵入物体追尾割り当てステップ２０９で追尾割り当てを行う。 If all the second intruding object monitoring devices are tracking (not in a standby state), for example, tracking allocation is not performed, and the process branches to the all detected object end step 210. Therefore, the standby confirmation request transmission step 401 calculates the coordinates (absolute coordinates) of the intruding object in the monitoring area based on the position coordinates on the detected image of the intruding object, and the calculated coordinates and the second coordinates. The position of the intruding object monitoring device in the monitoring area (stored in the program memory of the corresponding second intruding object monitoring device) is compared, and the second intruding object monitoring device closest to the intruding object is Tracking is designated and tracking assignment is performed in the intruding object tracking assignment step 209.

待機状態判定ステップ２０８でこの侵入物体に最も近い第２の侵入物体監視装置が追尾中であると判定された場合には、次に侵入物体に近い第２の侵入物体監視装置を侵入物体の追尾に指定し、侵入物体追尾割り当てステップ２０９において追尾割り当てが修正される。 If it is determined in the standby state determination step 208 that the second intruding object monitoring device closest to the intruding object is being tracked, the second intruding object monitoring device next to the intruding object is tracked to the intruding object. And the tracking assignment is corrected in the intruding object tracking assignment step 209.

即ち、このように、図４における待機確認要求送信ステップ４０１では、検出した侵入物体の検出位置に応じて、例えば、新規に検出した侵入物体の位置座標に最も近い位置に取付けられた第２の侵入物体監視装置を選択するようにしたものである。 That is, in this way, in the standby confirmation request transmission step 401 in FIG. 4, for example, according to the detected position of the intruding object, for example, the second attached to the position closest to the position coordinates of the newly detected intruding object. The intruding object monitoring device is selected.

図４のフローチャートの処理動作の一例を図５によって説明する。図５は、１台の第１の侵入物体監視装置と複数の第２の侵入物体監視装置とによって構成された本発明の侵入物体監視システムの一実施例を説明するための図である。但し、複数の第２の侵入物体監視装置のうち２台だけ表示し、他は省略している。 An example of the processing operation of the flowchart of FIG. 4 will be described with reference to FIG. FIG. 5 is a diagram for explaining an embodiment of the intruding object monitoring system of the present invention constituted by one first intruding object monitoring apparatus and a plurality of second intruding object monitoring apparatuses. However, only two of the plurality of second intruding object monitoring devices are displayed, and the others are omitted.

図５において、監視領域５０５中の侵入物体５０１を第１のカメラ５０１によって検出し、ステップ２０３までの処理がなされ、ステップ２０３によって対象の侵入物体が新規に検出された侵入物体であると判定されたとする。 In FIG. 5, the intruding object 501 in the monitoring area 505 is detected by the first camera 501, the processing up to step 203 is performed, and it is determined in step 203 that the target intruding object is a newly detected intruding object. Suppose.

すると、第１のプログラムメモリ１０１ｅに保存されている第１の侵入物体監視プログラム（図５では、第１のカメラ５０１で代表し、他の構成要素は省略している）は、検出した侵入物体の位置情報をもとに、侵入物体５０１に最も近い位置に存在する第２の侵入物体監視装置（図５では、第３のカメラ５０３で代表し、他の構成要素は省略している）を選択し待機要求確認信号を送信する（ステップ４０１）。 Then, the first intruding object monitoring program stored in the first program memory 101e (represented by the first camera 501 in FIG. 5 and other components omitted) is detected by the detected intruding object. Based on the position information of the second intruding object monitoring device (represented by the third camera 503 in FIG. 5 and other components are omitted) present at the position closest to the intruding object 501. A standby request confirmation signal is selected and transmitted (step 401).

次に、待機状態判定ステップ２０８では、選択した第２の侵入物体監視装置が待機状態でない（他の侵入物体を追尾中である）場合に待機確認要求送信ステップ４０１へ分岐する。また、待機中である場合は、ステップ２０９に進む。 Next, in standby state determination step 208, if the selected second intruding object monitoring device is not in the standby state (tracking other intruding objects), the process branches to standby confirmation request transmission step 401. If it is on standby, the process proceeds to step 209.

待機確認要求送信ステップ４０１では、第２のプログラムメモリ１０２ｅに保存されている第２の侵入物体監視装置の位置情報から侵入物体５０１に次に近い位置に存在する第２の侵入物体監視装置を選択し待機要求確認信号を送信する。 In the waiting confirmation request transmission step 401, the second intruding object monitoring device existing next to the intruding object 501 is selected from the position information of the second intruding object monitoring device stored in the second program memory 102e. Then, a standby request confirmation signal is transmitted.

即ち、本発明によると、検出した侵入物体の追尾を、その存在する位置に最も近い第２の侵入物体監視装置から順に割り当てることができ、侵入物体を的確かつ迅速に追尾することが可能となる。 That is, according to the present invention, the tracking of the detected intruding object can be assigned in order from the second intruding object monitoring device closest to the existing position, and the intruding object can be tracked accurately and quickly. .

更に、図４のフローチャートの処理動作の他の一例を図６によって説明する。図６は、第１の侵入物体監視装置と１台の第２の侵入物体監視装置とによって構成された侵入物体監視システムの一実施例である。 Further, another example of the processing operation of the flowchart of FIG. 4 will be described with reference to FIG. FIG. 6 is an example of an intruding object monitoring system constituted by a first intruding object monitoring apparatus and one second intruding object monitoring apparatus.

図６の監視領域全体６０５中には、侵入物体６０１と侵入物体６０２が存在する。第１のカメラ６０３の監視領域全体６０５中には、優先順位の高い部分監視領域６０６が予め設定されている。新規検出物体判定２０３ステップでは、検出された侵入物体が複数ある場合に、先ず優先順位の高い部分監視領域６０６で検出された侵入物体に対して新規に検出された侵入物体であるか否かを判定し、これまでに検出されていた侵入物体であれば侵入物体追跡ステップ２０４へ分岐し、新規の侵入物体であった場合は待機確認要求送信ステップ４０１へ分岐する。そして、優先順位が高い部分監視領域６０６での検出物体の判定がすべて終了してから、次に優先度が高い部分監視領域というように、優先順位が高い部分監視領域から順番に判定を行う。 An intruding object 601 and an intruding object 602 exist in the entire monitoring area 605 in FIG. In the entire monitoring area 605 of the first camera 603, a partial monitoring area 606 having a high priority is set in advance. In the newly detected object determination 203 step, when there are a plurality of detected intruding objects, it is first determined whether or not the intruding object is newly detected with respect to the intruding object detected in the partial monitoring area 606 having a high priority. If it is an intruding object that has been detected so far, the process branches to the intruding object tracking step 204, and if it is a new intruding object, the process branches to the standby confirmation request transmission step 401. Then, after all detection object determinations in the partial monitoring area 606 with the higher priority are completed, the determination is performed in order from the partial monitoring area with the highest priority, such as the partial monitoring area with the next highest priority.

従って、本発明の上記実施例によると、監視領域を分割して複数の部分領域を設けかつそれらの部分領域に優先順位をつけ、第２の侵入物体監視装置に、検出した複数の侵入物体が存在する部分監視領域の優先順位にしたがって順に割当てることによって、迅速かつ効率的に侵入物体を追尾することが可能となる。 Therefore, according to the above-described embodiment of the present invention, the monitoring area is divided to provide a plurality of partial areas and priorities are assigned to the partial areas, and the second intruding object monitoring device includes a plurality of detected intruding objects. By sequentially assigning in accordance with the priorities of the existing partial monitoring areas, it is possible to track an intruding object quickly and efficiently.

前述の実施例では、第１の侵入監視装置１０１が、待機状態信号を所定時間内に複数受信した場合には、例えば、以下の方法があると説明した。
（１）一番初めに受信した待機状態信号を採用する。
（２）新規に検出した侵入物体の位置座標と、最も近い位置に取付けられた第２の侵入物体監視装置を選択する。 In the above-described embodiment, when the first intrusion monitoring apparatus 101 receives a plurality of standby state signals within a predetermined time, for example, the following method is described.
(1) The standby state signal received first is adopted.
(2) The position coordinates of the newly detected intruding object and the second intruding object monitoring device attached at the closest position are selected.

しかし、その他、第２の侵入物体監視装置は、今現在のカメラ方向など、今現在の雲台の制御情報を待機状態信号に含めても良い。
この今現在の雲台の制御情報に基づき、待機確認要求送信ステップは、例えば、監視領域全体の中のある部分を監視しようとする場合、ちょうどカメラの光軸方向がたまたま都合よくこの部分の方に向いている第２の侵入物体監視装置を的確に選択することができる。 However, in addition, the second intruding object monitoring apparatus may include the current pan head control information such as the current camera direction in the standby state signal.
Based on the current pan / tilt head control information, the standby confirmation request transmission step, for example, when monitoring a certain part of the entire monitoring area, happens to be convenient when the optical axis direction of the camera happens to be in this direction. It is possible to accurately select the second intruding object monitoring device that is suitable for.

以上述べたように、第１の侵入物体監視装置は、それら第２の侵入物体監視装置からの待機状態信号に含められた雲台の制御情報の内容や、ＩＤ番号と照合できるカメラ位置情報等種々の情報の組合せから、最適な第２の侵入物体監視装置を選択し、選択したＩＤ番号を付加して追尾割当要求を送信することができる。 As described above, the first intruding object monitoring apparatus is capable of checking the contents of the pan head control information included in the standby state signal from the second intruding object monitoring apparatus, the camera position information that can be collated with the ID number, and the like. The optimum second intruding object monitoring device can be selected from various combinations of information, and the tracking allocation request can be transmitted with the selected ID number added.

そしてその結果、迅速かつ効率的で正確に侵入物体監視を実行可能な最適な条件を選択することができる。 As a result, it is possible to select an optimum condition that enables rapid, efficient, and accurate intrusion object monitoring.

本発明の侵入物体監視システムの構成の一実施例を示すプロック図。The block diagram which shows one Example of the structure of the intruding object monitoring system of this invention. 本発明の一実施例の処理動作を説明するためフローチャート。The flowchart for demonstrating the processing operation of one Example of this invention. 本発明の一実施例の処理動作を説明するためフローチャート。The flowchart for demonstrating the processing operation of one Example of this invention. 本発明の一実施例の処理動作を説明するためフローチャート。The flowchart for demonstrating the processing operation of one Example of this invention. 本発明の監視モニタに表示される画像の一実施例を示す図。The figure which shows one Example of the image displayed on the monitoring monitor of this invention. 本発明の監視モニタに表示される画像の一実施例を示す図。The figure which shows one Example of the image displayed on the monitoring monitor of this invention. 従来の２種類のカメラを用いた監視装置について説明するための図。The figure for demonstrating the monitoring apparatus using the two types of conventional cameras. 侵入物体検出処理方法の原理の一例を説明する図。The figure explaining an example of the principle of an intruding object detection processing method. 第１のカメラが検出した侵入物体を、第２のカメラが追尾する方法を説明するための図。The figure for demonstrating the method in which the 2nd camera tracks the intruding object which the 1st camera detected. 本発明の一実施例の通信ケーブル１０７に流れる通信情報の構成を表す一例。An example showing the structure of the communication information which flows into the communication cable 107 of one Example of this invention. 本発明の侵入物体監視システムの構成の一実施例を示すプロック図。The block diagram which shows one Example of the structure of the intruding object monitoring system of this invention.

Explanation of symbols

１０１：第１の侵入物体監視装置、１０１ａ：第１のカメラ、１０４ｂ：第１の画像入力Ｉ／Ｆ、１０１ｃ：第１のＣＰＵ、１０１ｄ：第１の画像メモリ、１０１ｅ：第１のプログラムメモリ、１０１ｆ：第１のワークメモリ、１０１９：入力Ｉ／Ｆ、１０１ｈ：第１の通信Ｉ／Ｆ、１０１ｉ：第１の画像出力Ｉ／Ｆ、１０１ｊ：第１の出力Ｉ／Ｆ、１０１ｋ：第１データバス、１０２，１０８：第２の侵入物体監視装置、１０２ａ，１０８ａ：第２のカメラ、１０２ｂ，１０８ｂ：第２の画像入力Ｉ／Ｆ、１０２ｃ，１０８ｃ：第２のＣＰＵ、１０２ｄ，１０８ｄ：第２の画像メモリ、１０２ｅ，１０８ｅ：第２のプログラムメモリ、１０２ｆ，１０８ｆ：第２のワークメモリ、１０２ｈ，１０８ｈ：第２の通信Ｉ／Ｆ、１０２ｉ，１０８ｉ：第２の画像出力Ｉ／Ｆ、１０２ｊ，１０８ｊ：第２の出力Ｉ／Ｆ、１０２ｋ，１０８ｋ：第２のデータバス、１０２ｌ，１０８ｌ：雲台制御装置、１０２ｍ，１０８ｍ：カメラ雲台、１０３：監視モニタ、１０４：警告灯、１０５：入力装置、１０６：画像切替合成装置、１０７：通信ケーブル、７０１：侵入物体、７０２：第１のカメラ、７０３：第２のカメラ、７０４：監視対象領域、７０５：第２のカメラの視野範囲、８０１，８０２，８０３：入力画像、８０４，８０５：差分画像、８０６，８０７：二値化画像、８０８：論理積画像、８０９，８１０：減算器、８１１，８１２：二値化器、８１３：論理積器、８１４，８１５，８１６：物体、８１７，８１８：領域、８１９，８２０，８２１：画像、９０１：侵入物体、９０２：第１のカメラ、９０３：第２のカメラ、９０４，９０５：視野範囲。
101: first intruding object monitoring apparatus, 101a: first camera, 104b: first image input I / F, 101c: first CPU, 101d: first image memory, 101e: first program memory 101f: first work memory, 1019: input I / F, 101h: first communication I / F, 101i: first image output I / F, 101j: first output I / F, 101k: first 1 data bus, 102, 108: second intruding object monitoring device, 102a, 108a: second camera, 102b, 108b: second image input I / F, 102c, 108c: second CPU, 102d, 108d : Second image memory, 102e, 108e: second program memory, 102f, 108f: second work memory, 102h, 108h: second communication I / F, 102i, 108 : Second image output I / F, 102j, 108j: second output I / F, 102k, 108k: second data bus, 102l, 108l: pan head controller, 102m, 108m: camera pan head, 103 : Monitoring monitor, 104: warning light, 105: input device, 106: image switching composition device, 107: communication cable, 701: intruding object, 702: first camera, 703: second camera, 704: monitoring target area 705: field of view of the second camera, 801, 802, 803: input image, 804, 805: difference image, 806, 807: binarized image, 808: logical product image, 809, 810: subtractor, 811 812: Binary: 813: AND, 814, 815, 816: Object, 817, 818: Region, 819, 820, 821: Image, 901: Intruding object, 90 : First camera, 903: second camera, 904, 905: field of view.

Claims

Object detection using an object detection device including a first camera device that captures a wide area and a second camera device that captures the object based on position information of the object detected from an image of the first camera device A method,
When there are a plurality of the second camera devices, the first camera device obtains the ID number assigned to each of the second camera devices and the position information of the intruding object with respect to the plurality of second camera devices. Send a tracking allocation request containing
In response to the tracking request, the plurality of second camera devices transmit a standby state signal including control information of each pan head and the ID number to the first camera device,
The first camera device collates the ID number with the camera position information based on the received standby state signal, and the plurality of second camera devices whose optical axis direction faces the detected object direction Selecting the second camera device in which the standby state signal is received earliest as the person in charge of tracking,
An object detection method characterized by the above.

An object detection device comprising: a first camera device that captures a wide area; and a second camera device that captures the object based on position information of the object detected from an image of the first camera device,
When there are a plurality of the second camera devices, the ID number assigned to each of the second camera devices and the position information of the intruding object transmitted from the first camera device to the plurality of second camera devices. in response to tracking allocation request including bets, receives a waiting state signal including the control information and the ID number of the camera platform of each said plurality of second camera device is transmitted to the first camera device The first camera device compares the ID number with the camera position information based on the standby state signal, and the optical axis direction of the plurality of second camera devices is directed toward the detected object. Selecting the second camera device in which the standby state signal is received earliest as the person in charge of tracking,
An object detection apparatus characterized by that.