KR102347026B1

KR102347026B1 - Video analysis device using a multi camera consisting of a plurality of fixed cameras

Info

Publication number: KR102347026B1
Application number: KR1020210129685A
Authority: KR
Inventors: 고현준
Original assignee: 주식회사 넥스트케이
Priority date: 2021-09-30
Filing date: 2021-09-30
Publication date: 2022-01-04

Abstract

The present invention relates to multiple cameras and a technique for analyzing images captured by multiple cameras. An image analysis device using multiple cameras includes: an intelligent edge device detecting an object from a plurality of camera images received from multiple cameras having an extended monitoring area formed by successively arranging a plurality of individual monitoring areas formed by a plurality of fixed cameras, and identifying the same object from two camera images for each of two successive individual monitoring areas to generate metadata; and an edge-based image analysis device connected to the intelligent edge device through a communication network and performing analysis using the metadata.

Description

Video analysis device using multiple cameras composed of a plurality of fixed cameras {VIDEO ANALYSIS DEVICE USING A MULTI CAMERA CONSISTING OF A PLURALITY OF FIXED CAMERAS}

본 발명은 다중 카메라 및 다중 카메라로 촬영한 영상을 분석하는 기술에 관한 것이다.The present invention relates to multiple cameras and a technique for analyzing images captured by multiple cameras.

감시 카메라는 소정 영역을 감시할 목적으로 설치된다. 감시하려는 영역이 감시 카메라가 커버할 수 있는 범위보다 크면, 회전할 수 있는 PTZ 카메라가 설치될 수 있다. 회전, 틸트 및 줌이 가능하므로, PTZ 카메라가 촬영할 수 있는 감시 영역은 특정 방향을 향하도록 고정된 고정 카메라가 촬영할 수 있는 감시 영역보다 넓다. 하지만 PTZ 카메라는 고정 카메라에 비해 상대적으로 고가이다. 한편, PTZ 카메라는 회전하기 때문에, PTZ 카메라가 현재 촬영하고 있는 영역의 주변은 촬영되지 않는다. 이로 인해, 고정 카메라와 PTZ 카메라로 구성된 CCTV 카메라 1식이 선호되고 있다.A surveillance camera is installed for the purpose of monitoring a predetermined area. If the area to be monitored is larger than the range that the surveillance camera can cover, a rotatable PTZ camera may be installed. Because rotation, tilt and zoom are possible, the surveillance area that a PTZ camera can shoot is wider than that that a fixed camera fixed to face in a specific direction can shoot. However, PTZ cameras are relatively expensive compared to fixed cameras. Meanwhile, since the PTZ camera rotates, the periphery of the area currently being photographed by the PTZ camera is not photographed. For this reason, one type of CCTV camera consisting of a fixed camera and a PTZ camera is preferred.

한국 공개특허공보 제10-2021-0065647호Korean Patent Publication No. 10-2021-0065647

본 발명의 실시예는 PTZ 카메라에 비해 상대적으로 저가의 고정 카메라를 이용하여 PTZ 카메라와 동일 또는 그 이상으로 넓은 감시 영역을 촬영할 수 있는 다중 카메라를 이용하여 촬영한 복수의 카메라 영상을 하나의 고정 카메라가 촬영한 영상으로 취급하여 분석할 수 있는 방안을 제공하고자 한다. 즉, 감시 영역을 확장하면서도 그에 따른 비용 증가를 최소화할 수 있는 영상 분석 방안을 제공하고자 한다. An embodiment of the present invention uses a fixed camera that is relatively inexpensive compared to a PTZ camera to record a plurality of camera images captured using multiple cameras capable of capturing a surveillance area equal to or larger than that of a PTZ camera into one fixed camera. We want to provide a way to treat and analyze the images taken by . In other words, it is intended to provide an image analysis method capable of minimizing an increase in cost while expanding a monitoring area.

본 발명의 일측면에 따르면, 다중 카메라를 이용한 영상분석장치가 제공된다. 다중 카메라를 이용한 영상분석장치는 복수의 고정 카메라에 의해 형성된 복수의 개별 감시 영역을 연속적으로 배치하여 형성된 확장 감시 영역을 갖는 다중 카메라로부터 수신한 복수의 카메라 영상에서 객체를 검출하며, 연속한 두 개별 감시 영역 각각에 대한 두 카메라 영상에서 동일 객체를 식별하여 메타 데이터를 생성하는 지능형 에지장치 및 상기 지능형 에지장치와 통신망을 통해 연결되며, 상기 메타 데이터를 이용하여 분석을 수행하는 에지기반 영상분석장치를 포함할 수 있다. According to one aspect of the present invention, an image analysis apparatus using multiple cameras is provided. An image analysis apparatus using a multi-camera detects an object from a plurality of camera images received from a multi-camera having an extended monitoring area formed by continuously arranging a plurality of individual monitoring areas formed by a plurality of fixed cameras, An intelligent edge device that generates metadata by identifying the same object in two camera images for each surveillance area, and an edge-based image analysis device that is connected to the intelligent edge device through a communication network and performs analysis using the metadata may include

일 실시예로, 상기 다중 카메라는 상기 복수의 고정 카메라-여기서, 상기 복수의 고정 카메라 중 연속한 두 고정 카메라는 카메라 사이각만큼 벌어짐- 및 상기 복수의 고정 카메라가 고정되는 다중 카메라용 브라켓을 포함하되, 상기 다중 카메라용 브라켓은 장착 대상에 체결되는 장착 부재, 상기 장착 부재에 일단이 고정되며 타단은 서로 이격되는 복수의 암, 상기 암의 타단에 회전 가능하게 결합된 제1 회전 부재, 및 상기 제1 회전 부재에 회전 가능하게 결합되며 상기 고정 카메라가 장착되는 제2 회전 부재를 포함할 수 있다.In one embodiment, the multi-camera includes the plurality of fixed cameras, wherein two consecutive fixed cameras among the plurality of fixed cameras are spread apart by an angle between the cameras- and a bracket for the multi-camera to which the plurality of fixed cameras are fixed. However, the multi-camera bracket includes a mounting member fastened to a mounting target, a plurality of arms having one end fixed to the mounting member and the other ends spaced apart from each other, a first rotating member rotatably coupled to the other end of the arm, and the It may include a second rotation member rotatably coupled to the first rotation member and to which the fixed camera is mounted.

일 실시예로, 상기 지능형 에지장치는 객체 재인식에 의해 상기 연속한 두 개별 감시 영역 각각에 대응하는 상기 두 카메라 영상에서 동일 객체를 검출할 수 있다.In an embodiment, the intelligent edge device may detect the same object from the two camera images corresponding to each of the two consecutive monitoring areas by object re-recognition.

일 실시예로, 상기 지능형 에지장치에 의해 검출될 이벤트를 설정하면, 설정된 이벤트에 따른 카메라 설정은 연동에 의해 상기 다중 카메라를 구성하는 상기 복수의 고정 카메라에 적용될 수 있다.In an embodiment, when an event to be detected by the intelligent edge device is set, camera settings according to the set event may be applied to the plurality of fixed cameras constituting the multi-camera by interworking.

일 실시예로, 상기 영상분석모듈은 상기 다중 카메라로부터 상기 복수의 카메라 영상을 수신하며, 상기 수신한 복수의 카메라 영상을 영상 분석에 적합하게 전처리하는 영상데이터 처리 모듈 및 상기 확장 감시 영역을 하나의 고정 카메라에 의해 촬영한 단일 감시 영역으로 취급하기 위해, 상기 확장 감시 영역을 구성하는 상기 복수의 개별 감시 영역간 배치 관계로부터 성립된 상기 복수의 카메라 영상간 대응 관계를 이용하여, 상기 연속한 두 개별 감시 영역에 각각 대응하는 상기 두 카메라 영상에서 상기 동일 객체를 식별하여 추적하는 영상분석모듈을 포함할 수 있다.In one embodiment, the image analysis module receives the plurality of camera images from the multi-camera, and includes an image data processing module for pre-processing the received plurality of camera images suitable for image analysis and the extended monitoring area into one In order to treat as a single monitoring area photographed by a fixed camera, the two consecutive individual monitoring is performed using a correspondence relationship between the plurality of camera images established from the arrangement relationship between the plurality of individual monitoring areas constituting the extended monitoring area. It may include an image analysis module for identifying and tracking the same object in the two camera images respectively corresponding to the region.

일 실시예로, 상기 확장 감시 영역은 상기 복수의 개별 감시 영역 중 상기 연속한 두 개별 감시 영역 사이에 형성된 사각 영역을 포함할 수 있다.In an embodiment, the extended monitoring area may include a blind area formed between the two consecutive individual monitoring areas among the plurality of individual monitoring areas.

일 실시예로, 상기 두 카메라 영상 중 한 카메라 영상에서 이탈하는 객체가 나머지 카메라 영상에서 출현하는 위치는 상기 객체가 이탈하기 시작한 시점에서 결정된 벡터에 의해 결정될 수 있다.In an embodiment, a position at which an object departing from one camera image among the two camera images appears in the other camera images may be determined by a vector determined when the object starts to depart.

일 실시예로, 상기 확장 감시 영역은 상기 복수의 개별 감시 영역 중 연속하는 두 개별 감시 영역에 의한 중첩 영역을 포함할 수 있다.In an embodiment, the extended monitoring area may include an overlapping area by two successive individual monitoring areas among the plurality of individual monitoring areas.

일 실시예로, 제1 카메라 영상의 좌측면은 제2 카메라 영상에 설정된 제2 검출선에 대응하고, 상기 제2 카메라 영상의 우측면은 상기 제1 카메라 영상에 설정된 제1 검출선에 대응하며, 상기 제1 검출선에 도달한 객체는 상기 제2 카메라 영상에서 식별 및 추적될 수 있다.In one embodiment, the left side of the first camera image corresponds to a second detection line set in the second camera image, and the right side of the second camera image corresponds to the first detection line set in the first camera image, An object that has reached the first detection line may be identified and tracked in the second camera image.

본 발명의 실시예에 따르면, 다중 카메라가 생성한 복수의 카메라 영상을 소프트웨어적으로 처리함으로써, 개별 감시 영역을 가진 복수의 고정 카메라를 하나의 확장 감시 영역을 가진 카메라와 같이 활용할 수 있게 되어 비용 대비 효율이 극대화될 수 있다. 특히, 복수의 카메라 영상이 현장에서 분석되기 때문에, 원격지에 위치한 영상분석장치로 전송하기 위해 필요한 통신 자원 역시 크게 감소될 수 있다.According to an embodiment of the present invention, by processing a plurality of camera images generated by multiple cameras in software, a plurality of fixed cameras having individual monitoring areas can be utilized like a camera having one extended monitoring area, thereby reducing cost. Efficiency can be maximized. In particular, since a plurality of camera images are analyzed in the field, a communication resource required for transmission to an image analysis apparatus located at a remote location can also be greatly reduced.

또한, 본 발명의 실시예에 따르면 PTZ 카메라에 비해 상대적으로 저가의 고정 카메라를 이용하여 PTZ 카메라와 동일 또는 그 이상으로 넓은 감시 영역을 촬영할 수 있어서, 설치 비용이 크게 감소된다. 1대의 PTZ 카메라 또는 CCTV 카메라 1식과 달리, 복수의 고정 카메라로 구성된 다중 카메라의 감시 영역에서는 사각 영역이 일시적으로 발생하지 않는다.In addition, according to an embodiment of the present invention, a relatively inexpensive fixed camera can be used to photograph a large surveillance area equal to or larger than that of a PTZ camera, so that the installation cost is greatly reduced. Unlike one PTZ camera or one CCTV camera, blind spots do not occur temporarily in the surveillance area of multiple cameras composed of a plurality of fixed cameras.

이하에서 본 발명은 첨부된 도면에 도시된 실시예를 참조하여 설명된다. 이해를 돕기 위해, 첨부된 전체 도면에 걸쳐, 동일한 구성 요소에는 동일한 도면 부호가 할당되었다. 첨부된 도면에 도시된 구성은 본 발명을 설명하기 위해 예시적으로 구현된 실시예에 불과하며, 본 발명의 범위를 이에 한정하기 위한 것은 아니다. 특히, 첨부된 도면들은 발명의 이해를 돕기 위해서, 도면에 표현된 요소 중 일부를 다소 과장하여 표현하고 있다.
도 1은 공지의 1식 카메라와 본 발명의 다중 카메라를 예시적으로 비교한 도면이다.
도 2는 다중 카메라용 브라켓을 예시적으로 도시한 도면이다.
도 3은 다중 카메라를 이용한 감시 영역 확장을 예시적으로 도시한 도면이다.
도 4는 다중 카메라에 의한 확장 감시 영역 및 단일 카메라에 의한 단일 감시 영역을 예시적으로 도시한 도면이다.
도 5는 확장 감시 영역에 적용하는 지능형 에지장치를 예시적으로 도시한 도면이다.
도 6은 확장 감시 영역에서 동일 객체를 검출 및 추적하는 과정을 예시적으로 도시한 도면이다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described with reference to the embodiments shown in the accompanying drawings. For ease of understanding, like elements have been assigned like reference numerals throughout the accompanying drawings. The configuration shown in the accompanying drawings is merely an exemplary embodiment for explaining the present invention, and is not intended to limit the scope of the present invention. In particular, in the accompanying drawings, some of the elements represented in the drawings are somewhat exaggerated to help the understanding of the invention.
1 is a view comparing a known one-type camera and a multi-camera of the present invention by way of example.
2 is a diagram illustrating a bracket for multiple cameras by way of example.
3 is a diagram exemplarily illustrating the expansion of a surveillance area using multiple cameras.
4 is a diagram exemplarily illustrating an extended monitoring area by multiple cameras and a single monitoring area by a single camera.
5 is a diagram exemplarily illustrating an intelligent edge device applied to an extended monitoring area.
6 is a diagram exemplarily illustrating a process of detecting and tracking the same object in an extended monitoring area.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 특히, 이하에서 첨부된 도면을 참조하여 설명될 기능, 특징, 실시예들은 단독으로 또는 다른 실시예와 결합하여 구현될 수 있다. 따라서 본 발명의 범위가 첨부된 도면에 도시된 형태에만 한정되는 것이 아님을 유의하여야 한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and will be described in detail through the detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In particular, functions, features, and embodiments to be described below with reference to the accompanying drawings may be implemented alone or in combination with other embodiments. Therefore, it should be noted that the scope of the present invention is not limited to the forms shown in the accompanying drawings.

첨부된 도면 전체에 걸쳐서, 동일하거나 유사한 요소는 동일한 도면 부호를 사용하여 인용된다. 한편, 설명의 편의와 이해를 돕기 위해서, 도면은 다소 과장하여 도시되었다.Throughout the appended drawings, identical or similar elements are referenced using the same reference numerals. On the other hand, for convenience and understanding of the description, the drawings are shown in a somewhat exaggerated manner.

도 1은 공지의 CCTV 카메라 1식과 본 발명의 다중 카메라를 예시적으로 비교한 도면으로, (a)는 공지의 CCTV 카메라 1식에 의한 감시 영역을 나타내며, (b)는 다중 카메라에 의한 확장 감시 영역이다.1 is a view comparing a known CCTV camera type 1 and multiple cameras of the present invention by way of example, (a) shows a surveillance area by a known CCTV camera type 1, (b) is extended monitoring by multiple cameras is the area

도 1의 (a)를 참조하면, CCTV 카메라는 안전 또는 보안 목적으로 특정 영역(이하 감시 영역)을 촬영하여 감시 영상을 출력한다. 일반적으로 사용되는 CCTV 카메라 1식은 1대의 고정 카메라(10a)와 1대의 PTZ(Pan tilt zoom) 카메라(10b)로 구성된다. 고정 카메라(10a)에 의해 촬영되는 감시 영역(11a)은 고정적이며 변경되지 않는다. 따라서 검출된 객체가 감시 영역(11a)에서 이탈하면 더 이상 객체 추적이 불가능하게 된다. PTZ 카메라(10b)는 회전(Pan), 기울기 조절(Tilt), 확대(Zoom) 기능을 가지고 있어서, PTZ 카메라(10b)에 의해 촬영되는 감시 영역(11b, 11b')은 변경이 가능하다. 즉, PTZ 카메라(10b)는 감시 영역(11a)을 이탈한 객체를 촬영할 수 있다.Referring to (a) of FIG. 1 , the CCTV camera outputs a surveillance image by photographing a specific area (hereinafter referred to as a monitoring area) for safety or security purposes. A commonly used CCTV camera type consists of one fixed camera (10a) and one PTZ (Pan tilt zoom) camera (10b). The surveillance area 11a photographed by the fixed camera 10a is fixed and does not change. Therefore, when the detected object is separated from the monitoring area 11a, it is no longer possible to track the object. Since the PTZ camera 10b has functions of rotation (Pan), tilt adjustment (Tilt), and zoom (Zoom), the monitoring areas 11b and 11b' photographed by the PTZ camera 10b can be changed. That is, the PTZ camera 10b may photograph an object that has deviated from the monitoring area 11a.

CCTV 카메라 1식은 2대의 카메라를 이용하여 상대적으로 넓은 감시 영역을 커버할 수 있는 장점을 가진다. 하지만 PTZ 카메라(10b)의 가격은 고정 카메라(10a) 상대적으로 고가이다. 따라서 PTZ 카메라(10b)를 필요한 수량만큼 설치하려면 상당한 비용이 요구된다. 특히, CCTV 카메라 1식이 상대적으로 넓은 감시 영역을 커버할 순 있지만, 동시에 감시 영역 전체를 커버하지 못한다. 도시된 예에서, PTZ 카메라(10b)의 감시 영역(11b)이 감시 영역(11a)의 좌측에 위치한 시점에서, 감시 영역(11a)의 우측 영역을 감시할 수 없게 된다. 유사하게, PTZ 카메라(10b)가 반시계 방향으로 회전하여 감시 영역(11b')을 촬영하는 동안, 감시 영역(11a)의 좌측 영역을 감시할 수 없다.CCTV camera set 1 has the advantage of being able to cover a relatively wide surveillance area using two cameras. However, the price of the PTZ camera 10b is relatively high for the fixed camera 10a. Therefore, considerable cost is required to install the PTZ cameras 10b in the required quantity. In particular, a single CCTV camera can cover a relatively wide monitoring area, but at the same time cannot cover the entire monitoring area. In the illustrated example, when the monitoring area 11b of the PTZ camera 10b is positioned to the left of the monitoring area 11a, the right area of the monitoring area 11a cannot be monitored. Similarly, while the PTZ camera 10b rotates counterclockwise to photograph the monitoring area 11b', the left area of the monitoring area 11a cannot be monitored.

도 1의 (b)를 참조하면, 다중 카메라(20a, 20b, 20c)는 복수의 개별 감시 영역(21a, 21b, 21c)을 정의한다. 동일 사양을 가진 다중 카메라(20a, 20b, 20c)의 광축 사이의 각도(이하 카메라 사이각)는 실질적으로 동일하게 설정될 수 있다. 제2 고정 카메라(20b)에 의해 정의된 제2 감시 영역(21b)은 제1 고정 카메라(20a)에 의해 정의된 제1 감시 영역(21a)을 카메라 사이각 만큼 회전시킨 것과 실질적으로 동일할 수 있다. 동일한 관계는 제2 감시 영역(21b)와 제3 감시 영역(21c)간에도 성립될 수 있다. 따라서 동일한 카메라 사이각만큼 회전하여 배치된 다중 카메라는 각각의 감시 영역이 연속되어 부채꼴 형상을 갖는 확장 감시 영역을 정의할 수 있다. 확장 감시 영역을 형성하는 복수의 개별 감시 영역(21a, 21b, 21c)은 이웃하는 개별 감시 영역과 부분적으로 중첩되거나 이격될 수 있다. 중첩의 정도 또는 이격 거리는 카메라 사이각에 의해 조절될 수 있다. Referring to FIG. 1B , multiple cameras 20a, 20b, and 20c define a plurality of individual monitoring areas 21a, 21b, and 21c. The angle between the optical axes of the multiple cameras 20a, 20b, and 20c having the same specification (hereinafter, the angle between the cameras) may be set to be substantially the same. The second monitoring area 21b defined by the second fixed camera 20b may be substantially the same as the rotation of the first monitoring area 21a defined by the first fixed camera 20a by the angle between the cameras. have. The same relationship can also be established between the second monitoring area 21b and the third monitoring area 21c. Accordingly, in the case of multiple cameras rotated by the same angle between the cameras, each monitoring area is continuous to define an extended monitoring area having a sectoral shape. The plurality of individual monitoring areas 21a , 21b , and 21c forming the extended monitoring area may partially overlap or be spaced apart from neighboring individual monitoring areas. The degree of overlap or the separation distance may be adjusted by the angle between the cameras.

고정 카메라의 화각은 렌즈에 의해 결정된다. 널리 사용되는 4.0 mm 고정 초점 렌즈의 경우 좌우 약 70도 및 상하 약 50도의 화각을 가지며, 전방으로 약 4M까지는 객체를 명확하게 식별 가능하게 촬영할 수 있지만, 그 이상의 거리에 있는 객체는 존재 여부 정도만 확인할 수 있다. 따라서 보다 먼 거리에 위치한 객체를 식별 가능하게 촬영하려면 초점 거리가 긴 렌즈를 사용하여야 하며, 그 경우 고정 카메라의 화각은 크게 감소한다. 예를 들어 8.0 mm 고정 초점 렌즈는 약 10M 내지 20M에 위치한 객체를 식별 가능하게 촬영할 수 있지만, 화각은 약 40도 이하이다. 본 명세서에서 지칭하는 확장 감시 영역, 개별 감시 영역 및 단일 감시 영역은 영상 분석을 통해 객체를 명확하게 검출 및 추적할 수 있는 영역이다. 따라서 개별 감시 영역 및 단일 감시 영역은 고정 카메라가 촬영할 수 있는 최대 범위의 영역보다는 상대적으로 작을 수 있다. The angle of view of a fixed camera is determined by the lens. In the case of a widely used 4.0 mm fixed-focus lens, it has an angle of view of about 70 degrees left and right and about 50 degrees up and down. can Therefore, in order to identifiably photograph an object located at a greater distance, it is necessary to use a lens with a long focal length, and in that case, the angle of view of the fixed camera is greatly reduced. For example, an 8.0 mm fixed focus lens can identifiably photograph an object located at about 10M to 20M, but the angle of view is about 40 degrees or less. The extended monitoring area, individual monitoring area, and single monitoring area referred to herein are areas capable of clearly detecting and tracking an object through image analysis. Accordingly, the individual monitoring area and the single monitoring area may be relatively smaller than the area of the maximum range that a fixed camera can capture.

공지의 CCTV 카메라 1식과 비교하면, 다중 카메라는 사각 영역을 최소화할 수 있다. CCTV 카메라 1식의 경우, 회전하는 PTZ 카메라의 시야에서 벗어난 영역은 일시적으로 사각 영역이 될 수 있다. 이에 반해 다중 카메라는 복수의 개별 감시 영역 전부를 동시에 촬영하므로, 사각 영역이 발생하지 않는다. 따라서 다중 카메라는 동등 또는 보다 넓은 영역을 CCTV 카메라 1식보다 상대적으로 적은 비용으로 일시적인 사각 영역의 발생 없이 촬영할 수 있다.Compared with the known CCTV camera set 1, multiple cameras can minimize the blind area. In the case of CCTV camera type 1, the area outside the field of view of the rotating PTZ camera may become a temporary blind area. On the other hand, since the multi-camera shoots all of the plurality of individual monitoring areas at the same time, a blind spot does not occur. Therefore, multiple cameras can shoot the same or wider area at a relatively lower cost than a single CCTV camera, without causing temporary blind spots.

사각 영역이 일시적으로 발생하는 상황과는 별도로, CCTV 카메라 1식을 이용한 객체 추적은 고정 카메라의 시야에서 벗어난 객체를 PTZ 카메라를 이용하여 추적하는 방식이다. 따라서 PTZ 카메라가 이미 객체를 추적하고 있는 동안에 새로운 이벤트가 PTZ 카메라 또는 고정 카메라의 시야에서 검출되더라도 추적이 불가능할 수 있다. 따라서 CCTV 카메라 1식으로 동시 추적할 수 있는 객체 또는 이벤트의 수는 매우 제한적이다. 이에 반해, 이하에서 상세히 설명하겠지만, 다중 카메라를 이용하여 추적 가능한 객체의 수는 확장 감시 영역 내에서는 실질적으로 제한되지 않는다. 다중 카메라를 구성하는 복수의 고정 카메라는 확장 감시 영역 전체를 촬영하기 때문에, 특정 객체를 추적하는 동안에도 새로운 객체나 이벤트를 검출하고 추적할 수 있다. Apart from the situation where the blind area temporarily occurs, object tracking using CCTV camera set 1 is a method of tracking an object out of the field of view of a fixed camera using a PTZ camera. Therefore, even if a new event is detected in the field of view of the PTZ camera or fixed camera while the PTZ camera is already tracking the object, tracking may not be possible. Therefore, the number of objects or events that can be tracked simultaneously with one CCTV camera is very limited. On the other hand, as will be described in detail below, the number of objects trackable using multiple cameras is not substantially limited within the extended surveillance area. Since the plurality of fixed cameras constituting the multi-camera captures the entire extended surveillance area, it is possible to detect and track a new object or event while tracking a specific object.

도 2는 다중 카메라용 브라켓을 예시적으로 도시한 도면으로, (a)는 다중 카메라용 브라켓을, (b)는 고정 카메라가 부착된 상태를 각각 나타낸다. 도 2에 예시된 다중 카메라용 브라켓은 복수의 고정 카메라를 설치하기 위한 일 예이며, 도시된 브라켓 이외에도 다양한 브라켓이 구현 가능하다.2 is a view illustrating a multi-camera bracket by way of example, (a) is a multi-camera bracket, (b) is a state in which a fixed camera is attached, respectively. The bracket for multiple cameras illustrated in FIG. 2 is an example for installing a plurality of fixed cameras, and various brackets can be implemented in addition to the illustrated bracket.

다중 카메라는 카메라 사이각만큼 회전한 복수의 고정 카메라(20a, 20b, 20c) 및 복수의 고정 카메라(20a, 20b, 20c)를 설치 대상에 고정시키는 다중 카메라용 브라켓(30)을 포함한다. 다중 카메라용 브라켓(30)은 복수의 결합공(34)이 형성된 장착 부재(31), 장착 부재(31)에 일단이 고정된 복수의 암(32a, 32b, 32c), 및 복수의 암(32a, 32b, 32c) 각각의 타단에 결합된 카메라 결합 부재(33)를 포함할 수 있다.The multi-camera includes a plurality of fixed cameras (20a, 20b, 20c) and a plurality of fixed cameras (20a, 20b, 20c) rotated by the angle between the cameras (20a, 20b, 20c) for a multi-camera bracket for fixing to the installation target (30). The bracket 30 for multiple cameras includes a mounting member 31 having a plurality of coupling holes 34 formed therein, a plurality of arms 32a, 32b, and 32c having one end fixed to the mounting member 31, and a plurality of arms 32a. , 32b, 32c) may include a camera coupling member 33 coupled to the other end of each.

장착 부재(31)는 장착 대상에 체결된다. CCTV 설치용 폴 또는 전신주에 다중 카메라를 설치하는 경우, 예시된 장착 부재(31)가 사용될 수 있다. 장착 부재(31)는 금속 판재로 제조되며, 판재의 양측이 장착 대상을 향해 절곡될 수 있다. 복수의 결합공(34)은 금속 판재의 양단 부근에 형성될 수 있다. 결합공(34)에 삽입된 금속 또는 합성 수지로 제조된 버클(35)을 이용하며 장착 부재(31)를 장착 대상에 체결할 수 있다. 한편, 벽면 등에 다중 카메라를 설치하는 경우, 장착 부재(31)는 복수의 결합공이 형성된 금속 판재일 수 있다.The mounting member 31 is fastened to the mounting object. When installing multiple cameras on a CCTV installation pole or utility pole, the illustrated mounting member 31 may be used. The mounting member 31 is made of a metal plate, and both sides of the plate may be bent toward the mounting target. The plurality of coupling holes 34 may be formed near both ends of the metal plate. By using the buckle 35 made of metal or synthetic resin inserted into the coupling hole 34, the mounting member 31 can be fastened to the mounting target. Meanwhile, when multiple cameras are installed on a wall or the like, the mounting member 31 may be a metal plate having a plurality of coupling holes formed therein.

복수의 암(32a, 32b, 32c)의 일단은 장착 부재(31)에 고정되며, 타단은 서로 이격된다. 예시된 구조에서, 이웃하는 암간의 사이각은 동일하며, 이로 인해 타단으로 갈수록 암(32a, 32b, 32c) 사이 거리는 증가할 수 있다. 제2 암(32b)은 제1 암(32a)과 제3 암(32c) 사이에 위치하며 장착 부재(31)의 전방으로 연장한다. 제1 암(32a)과 제3 암(32c)은 제2 암(32b)으로부터 소정의 사이각만큼 벌어져서 장착 부재(31)의 전방으로 연장한다. 복수의 암(32a, 32b, 32c)의 타단은 동일 직선상에 정렬될 수 있다. 따라서 제2 암(32b)은 제1 암(32a) 및 제3 암(32c)보다 짧을 수 있다.One end of the plurality of arms 32a, 32b, and 32c is fixed to the mounting member 31, and the other ends are spaced apart from each other. In the illustrated structure, the angle between the adjacent arms is the same, and as a result, the distance between the arms 32a, 32b, and 32c may increase toward the other end. The second arm 32b is positioned between the first arm 32a and the third arm 32c and extends forward of the mounting member 31 . The first arm 32a and the third arm 32c are spread apart from the second arm 32b by a predetermined angle and extend forward of the mounting member 31 . The other ends of the plurality of arms 32a, 32b, and 32c may be aligned on the same straight line. Accordingly, the second arm 32b may be shorter than the first arm 32a and the third arm 32c.

카메라 결합 부재(33)는 암의 타단에 회전 가능하게 결합된 제1 회전 부재(33a) 및 제1 회전 부재(33a)에 회전 가능하게 결합되며 고정 카메라가 장착되는 제2 회전 부재(33b)를 포함할 수 있다. 제1 회전 부재(33a)의 회전축과 제2 회전 부재(33b)의 회전축은 수직할 수 있다. 고정 카메라의 지향 방향은 제1 회전 부재(33a)의 회전축을 중심으로 좌우로 조정될 수 있으며, 제2 회전 부재(33b)의 회전축을 중심으로 상하로 조정될 수 있다.The camera coupling member 33 includes a first rotating member 33a rotatably coupled to the other end of the arm and a second rotating member 33b rotatably coupled to the first rotating member 33a and to which a fixed camera is mounted. may include A rotation axis of the first rotation member 33a and a rotation axis of the second rotation member 33b may be perpendicular to each other. The orientation direction of the fixed camera may be adjusted left and right about the rotation axis of the first rotation member 33a, and may be adjusted up and down about the rotation axis of the second rotation member 33b.

도 3은 다중 카메라를 이용한 감시 영역 확장을 예시적으로 도시한 도면으로, 고정 카메라의 개별 감시 영역과 이들을 조합한 확장 감시 영역을 예시하고 있다. 3 is a diagram exemplarily illustrating expansion of a monitoring area using multiple cameras, illustrating an individual monitoring area of a fixed camera and an extended monitoring area combining them.

복수의 카메라 영상을 소프트웨적으로 처리하여 복수의 개별 감시 영역을 하나의 확장 감시 영역으로 취급하기 위해서는, 개별 감시 영역들간의 다양한 배치 관계를 고려하여야 한다. 도 3의 (a)는 개별 감시 영역들이 이격된 경우를, (b)는 개별 감시 영역들이 접하고 있는 경우를, 그리고 (c)는 개별 감시 영역들이 중첩된 경우를 각각 나타낸다. In order to process a plurality of camera images in software to treat a plurality of individual monitoring areas as one extended monitoring area, various arrangement relationships between individual monitoring areas must be considered. 3(a) shows a case in which the individual monitoring areas are spaced apart, (b) a case in which the individual monitoring areas are in contact, and (c) a case in which the individual monitoring areas overlap.

다중 카메라를 구성하는 복수의 고정 카메라는 복수의 개별 감시 영역(또는 확장 감시 영역)에서 동일한 객체 및 이벤트를 검출하기 위한 복수의 카메라 영상을 출력한다. 만일 고정 카메라별 설정이 다르면, 객체 및 이벤트 검출이 불가능한 카메라 영상이 생성될 수 있어서, 영상 분석 효율이 감소될 수 있다. 이를 방지하기 위해서, 임의의 객체 또는 이벤트 검출이 설정되면, 설정된 이벤트 검출에 필요한 카메라 설정은 연동에 의해 다중 카메라를 구성하는 복수의 고정 카메라 전체에 적용될 수 있다. 따라서 고정 카메라마다 카메라 설정을 개별적으로 변경할 필요가 없어진다.A plurality of fixed cameras constituting the multi-camera outputs a plurality of camera images for detecting the same object and event in a plurality of individual monitoring areas (or extended monitoring areas). If the settings for each fixed camera are different, a camera image in which object and event detection is impossible may be generated, and thus image analysis efficiency may be reduced. In order to prevent this, when an arbitrary object or event detection is set, the camera settings required for the set event detection may be applied to all of the plurality of fixed cameras constituting the multi-camera by interworking. This eliminates the need to individually change camera settings for each fixed camera.

다중 카메라를 구성하는 복수의 고정 카메라는 개별 감시 영역을 각각 형성한다. 다중 카메라를 구성하는 복수의 고정 카메라의 사양이 실질적으로 동일하면, 복수의 개별 감시 영역도 실질적으로 동일하게 형성될 수 있다. 복수의 고정 카메라가 카메라 사이각 만큼 회전하면, 개별 감시 영역도 카메라 사이각 만큼 회전한다. 한편, 다중 카메라를 구성하는 복수의 고정 카메라의 사양이 상이하더라도, 고정 카메라를 적절하게 좌우 회전 및 상하 회전시키면 복수의 개별 감시 영역들을 서로 가깝게 형성할 수 있다. 따라서 복수의 고정 카메라는 하나의 확장 감시 영역을 부분적으로 촬영하여 생성된 복수의 카메라 영상을 조합하여 확장 감시 영역 전체를 나타낼 수 있도록 배치되어야 한다. 이하에서는 이 조건에 부합하는 배치의 경우를 구분해서 설명한다. A plurality of fixed cameras constituting the multi-camera form an individual surveillance area, respectively. If the specifications of the plurality of fixed cameras constituting the multi-camera are substantially the same, the plurality of individual monitoring areas may be formed to be substantially the same. When the plurality of fixed cameras rotate by the angle between the cameras, the individual monitoring area also rotates by the angle between the cameras. Meanwhile, even if the specifications of the plurality of fixed cameras constituting the multi-camera are different, the plurality of individual monitoring areas can be formed close to each other by appropriately rotating the fixed cameras left and right and up and down. Accordingly, the plurality of fixed cameras should be arranged to represent the entire extended monitoring area by combining a plurality of camera images generated by partially photographing one extended monitoring area. Hereinafter, cases of batches satisfying this condition will be separately described.

3대의 고정 카메라(20a, 20b, 20c)로 구성된 다중 카메라가 예시된 (a)에서, 카메라 사이각 θ ₁ 이 크면 개별 감시 영역(21a, 21b, 21c)이 서로로부터 이격되어 이웃한 두 개별 감시 영역 사이에 사각 영역(22a, 22b)이 발생할 수 있다. 반면, (b)와 (c)에 예시된 경우에서, 카메라 사이각 θ ₂ 또는 θ ₃ 이 적절하게 선택되면(여기서, θ ₁ >θ ₂ >θ ₃ ), 및 θ ₁ , θ ₂ , θ ₃ <90)사각 영역은 이웃하는 두 개별 감시 영역 사이에 발생하지 않을 수 있다. In (a), in which a multi-camera composed of three fixed cameras 20a, 20b, and 20c is exemplified, if the angle _{between the cameras θ 1} is large, the individual monitoring areas 21a, 21b, and 21c are spaced apart from each other to monitor two neighboring individual monitoring areas. Rectangular regions 22a and 22b may occur between the regions. On the other hand, in the cases illustrated in (b) and (c), if the angle _{between the cameras θ 2} or θ ₃ is appropriately selected (here, θ ₁ > θ ₂ > θ ₃ ), and θ ₁ , θ ₂ , θ ₃ <90) A blind area may not occur between two adjacent individual monitoring areas.

공지의 CCTV 카메라 1식과 달리, 사각 영역(22a, 22b)은 개별 감시 영역 사이에 위치하며 사각 영역(22a, 22b)의 형상은 변경되지 않는다. 따라서 검출할 객체의 특성, 예를 들어 차량의 평균 길이 또는 일정한 주행 방향 등을 고려할 때, 사각 영역(22a, 22b)의 폭(즉, 두 개별 감시 영역 사이의 거리)이 지나치게 크지 않으면, 객체가 사각 영역(22a, 22b)에 일시적으로 진입하더라도 계속해서 추적할 수 있다. Unlike the known CCTV camera type 1, the blind areas 22a and 22b are located between the individual monitoring areas, and the shapes of the blind areas 22a and 22b are not changed. Therefore, considering the characteristics of the object to be detected, for example, the average length of the vehicle or a constant driving direction, if the width of the blind areas 22a and 22b (ie, the distance between the two separate monitoring areas) is not too large, the object is Even if it temporarily enters the blind areas 22a and 22b, tracking can be continued.

4대의 고정 카메라(20a, 20b, 20c, 20d)로 구성된 다중 카메라가 예시된 (b)에서, 고정 카메라의 수가 증가할수록 확장 감시 영역의 형태는 반원 형상과 비슷하게 된다. 고정 카메라(20a, 20b, 20c, 20d)를 적절하게 좌우 회전 및 상하 회전시키면 사각 영역 및 중첩 영역이 발생하지 않거나 발생하더라도 무시할 수 있을 정도로 개별 감시 영역들(21a, 21b, 21c, 21d)이 서로 가까워질 수 있다.In (b) in which multiple cameras composed of four fixed cameras 20a, 20b, 20c, and 20d are exemplified, as the number of fixed cameras increases, the shape of the extended surveillance area becomes similar to a semicircle shape. When the stationary cameras 20a, 20b, 20c, and 20d are properly rotated left and right and up and down, the individual monitoring areas 21a, 21b, 21c, and 21d are negligible to each other to such an extent that no blind area and overlapping area occur or occur. can get closer

(c)도 4대의 고정 카메라(20a, 20b, 20c, 20d)로 구성된 다중 카메라가 형성한 확장 감시 영역을 예시한다. 카메라 사이각 θ ₃ 이 작으면 이웃하는 개별 감시 영역(21a, 21b, 21c, 21d)의 일부가 중첩되어 중첩 영역(23a, 23b, 23c)이 발생할 수 있다. 한편, (c)에서 제1 감시 영역(21a)과 제4 감시 영역(21d)이 고정 카메라(20a, 20d)로부터 멀어지도록 방사상으로 이동하면, 중첩 영역(23a, 23c)이 감소될 수 있다. 또한, 확장 감시 영역의 형상이 부채꼴에서 직선에 가까운 형상으로 변형될 수 있다. (c) illustrates an extended surveillance area formed by multiple cameras composed of 4 fixed cameras 20a, 20b, 20c, and 20d. When the angle θ ₃ between the cameras is small, a portion of the neighboring individual monitoring areas 21a , 21b , 21c , and 21d may overlap to generate the overlapping areas 23a , 23b , and 23c . Meanwhile, in (c), when the first monitoring area 21a and the fourth monitoring area 21d are radially moved away from the fixed cameras 20a and 20d, the overlapping areas 23a and 23c may be reduced. Also, the shape of the extended monitoring area may be changed from a sector shape to a shape close to a straight line.

도 4는 다중 카메라에 의한 확장 감시 영역 및 단일 카메라에 의한 단일 감시 영역을 예시적으로 도시한 도면이다. 4 is a diagram exemplarily illustrating an extended monitoring area by multiple cameras and a single monitoring area by a single camera.

도 4의 (a)를 참조하면, 두 대의 다중 카메라(20L, 20R)에 의한 확장 감시 영역(24a, 24b)이 왕복 4차선 도로에 정의될 수 있다. 제1 다중 카메라(20L) 및 제2 다중 카메라(20R) 각각은 3대의 고정 카메라를 포함하며, 지상으로부터 소정 높이에 설치되어 있다. 제1 내지 제3 고정 카메라는 카메라 사이각만큼 회전하여 설치되지만, 각 카메라 사이각은 동일하거나 상이할 수 있다. 한편, 네 대의 고정 카메라(25a, 25b, 25c, 25d)는 왕복 4차선 도로로 이어지는 골목길을 향해 설치되며, 고정 카메라(25a, 25b, 25c, 25d) 각각은 골목길의 일부 및 반대편 인도의 일부에 단일 감시 영역(26a, 26b, 26c, 26d)을 정의할 수 있다. 여기서, 왕복 4차선 도로는 고속 주행하는 차량이 통과하여 검출 및 추적할 객체의 수가가 많은 조건을 가지며, 골목길은 통과하는 차량 또는 행인이 적어서 검출 및 추적할 객체의 수가 작은 조건을 가지는 것으로 가정한다. Referring to FIG. 4A , extended monitoring areas 24a and 24b by two multi-cameras 20L and 20R may be defined on a round-trip four-lane road. Each of the first multi-camera 20L and the second multi-camera 20R includes three fixed cameras and is installed at a predetermined height from the ground. The first to third fixed cameras are installed to be rotated by the angle between the cameras, but the angle between the cameras may be the same or different. On the other hand, four fixed cameras (25a, 25b, 25c, 25d) are installed toward the alley leading to a round-trip four-lane road, and each of the fixed cameras (25a, 25b, 25c, 25d) is a single on a part of the alleyway and a part of the opposite sidewalk. Monitoring areas 26a, 26b, 26c, and 26d may be defined. Here, it is assumed that a round-trip four-lane road has a condition in which the number of objects to be detected and tracked is large as a high-speed vehicle passes through, and an alleyway has a condition in which the number of objects to be detected and tracked is small due to a small number of passing vehicles or passers-by. .

도 4의 (b)는 대상 객체를 검출하는 영역(이하 관심 영역) 밖에 위치한 영역들(F1, F2, F3, F4, F5)을 나타낸다. 여기서 영역 F1, F2, F3은 제1 확장 감시 영역(24a)을 촬영한 카메라 영상에서 제거될 영역을 나타내고, 영역 F4는 제3 단일 감시 영역(26c)을 촬영한 카메라 영상에서 제거될 영역을 나타내며, 영역 F5는 제4 단일 감시 영역(26d)을 촬영한 카메라 영상에서 제거될 영역을 나타낸다. FIG. 4B illustrates regions F1, F2, F3, F4, and F5 located outside the region (hereinafter, ROI) in which the target object is detected. Here, the areas F1, F2, and F3 represent areas to be removed from the camera image captured by the first extended monitoring area 24a, and the area F4 represents areas to be removed from the camera image captured by the third single monitoring area 26c. , area F5 represents an area to be removed from the camera image captured by the fourth single monitoring area 26d.

영상 분석 장치에 입력되는 카메라 영상은 검출 대상 객체뿐 아니라 비대상 객체까지 포함할 수 있다. 복수의 고정 카메라를 카메라 회전각만큼 회전하여 형성되므로, 확장 감시 영역은 부채꼴과 유사한 형상을 가질 수 있다. 따라서 관심 영역 밖에 위치한 객체도 카메라 영상에 포함될 수 있다. 예를 들어, 제1 다중 카메라(20L)에 의한 제1 확장 감시 영역(24a)은 도시된 도면의 좌측 2개 차선을 통과하는 차량 객체를 검출하기 위해 정의될 수 있다. 영역 F1 및 F3은 좌측 인도에 위치하며 그로 인해 사람 객체가 카메라 영상에 포함될 수 있다. 특히 영역 F1 및 F3에는 가로등이 위치하고 있어서, 비가 내리는 야간에는 가로등 불빛이 반사될 수도 있다. 한편 영역 F2는 도시된 도면의 우측 차선에 위치하며 그로 인해 반대 방향으로 주행하는 차량 객체가 카메라 영상에 포함될 수 있다. The camera image input to the image analysis apparatus may include not only a detection target object but also a non-target object. Since the plurality of fixed cameras are rotated by the camera rotation angle, the extended monitoring area may have a shape similar to a sector shape. Accordingly, an object located outside the ROI may be included in the camera image. For example, the first extended monitoring area 24a by the first multi-camera 20L may be defined to detect a vehicle object passing through two lanes on the left side of the illustrated drawing. Areas F1 and F3 are located on the left sidewalk, so that a human object may be included in the camera image. In particular, since street lamps are located in the areas F1 and F3, the light of the street lamp may be reflected at night when it rains. Meanwhile, the area F2 is located in the right lane of the drawing, and thus a vehicle object traveling in the opposite direction may be included in the camera image.

이러한 영역들은 환경 필터를 이용하여 제거될 수 있다. 환경 필터는 관심 영역 내에서 노이즈로 작용할 수 있는 환경 요소를 제거한다. 환경 환경 요소는 다양하며, 주간에는 비나 눈, 야간에는 차량이나 가로등의 불빛이 대표적이다. 예를 들어, 도로에 반사된 불빛은 주변의 어두운 영역에 비해 밝은 영역의 화소값을 가진다. 영상에 표출된 밝은 영역은 예를 들어, Morphology 연산을 적용하여 감소되거나 제거될 수 있다. 이외에도, 환경 요소의 유형에 따라, 다양한 제거 방식이 적용될 수 있다. 또한, 환경 필터는 관심 영역 이외 영역을 제거함으로써 관심 영역만 영상 분석에 이용될 수 있도록 한다. 이를 통해 처리 속도 및 분석의 정확도가 향상될 수 있다.These areas can be removed using an environmental filter. The environmental filter removes environmental factors that may act as noise within the region of interest. Environment Environmental factors are diverse, and typical examples include rain or snow during the day and the light of vehicles or street lamps at night. For example, light reflected on a road has a pixel value in a bright area compared to a dark area around it. The bright area expressed in the image may be reduced or removed by applying a morphology operation, for example. In addition, various removal methods may be applied according to types of environmental factors. In addition, the environment filter removes regions other than the region of interest so that only the region of interest can be used for image analysis. Through this, processing speed and analysis accuracy may be improved.

도 5는 확장 감시 영역에 적용하는 지능형 에지장치를 예시적으로 도시한 도면이다. 5 is a diagram exemplarily illustrating an intelligent edge device applied to an extended monitoring area.

지능형 에지장치(100)는 복수의 고정 카메라로 구성된 다중 카메라(20)와 설치된 현장에 설치되어, 다중 카메라에 의해 생성된 복수의 카메라 영상을 1차 영상 분석하여 메타 데이터를 생성할 수 있다. 메타 데이터는 영상에서 검출된 객체 및 객체 관련 이벤트 중 어느 하나에 대한 정보를 포함할 수 있다. 지능형 에지장치(100)는 카메라(20)가 설치된 위치 및 현장 상황에 적합하게 학습하며, 수행한 학습에 기초하여 복수의 카메라 영상을 분석할 수 있다. 지능형 에지장치(100)는, 예를 들어, 검출할 객체별로 설정된 이벤트를 검출하도록 학습될 수 있다. 생성된 메타 데이터는 에지기반 영상분석장치(200)에 의해 2차 영상 분석될 수 있다. 1차 영상 분석은 다중 카메라(20)에 의해 생성된 복수의 카메라 영상에서 학습된 이벤트를 검출하는 분석을 포함할 수 있다. 2차 영상 분석은 지능형 에지장치(100)가 학습하지 않은 이벤트를 검출하거나, 둘 이상의 카메라 영상으로부터 이벤트를 검출하기 위한 분석을 포함할 수 있다. The intelligent edge device 100 may be installed at the installation site with the multi-camera 20 composed of a plurality of fixed cameras, and may generate metadata by first analyzing the plurality of camera images generated by the multi-camera. The metadata may include information on any one of an object detected in an image and an object-related event. The intelligent edge device 100 may learn to suit the location where the camera 20 is installed and field conditions, and may analyze a plurality of camera images based on the learning performed. The intelligent edge device 100 may be trained to detect an event set for each object to be detected, for example. The generated metadata may be subjected to secondary image analysis by the edge-based image analysis apparatus 200 . The primary image analysis may include an analysis of detecting an event learned from a plurality of camera images generated by the multi-camera 20 . The secondary image analysis may include an analysis for detecting an event that the intelligent edge device 100 has not learned or an event from two or more camera images.

도 5를 참조하면, 지능형 에지장치(100)는 영상데이터 처리모듈(110), 영상분석모듈(120) 및 메타데이터 전송모듈(130)을 포함한다. 영상데이터 처리모듈(110)은 하나 이상의 다중 카메라(20)로부터 복수의 카메라 영상을 수신하며, 수신한 카메라 영상을 영상 분석에 적합하게 전처리한다. 영상분석모듈(120)은 전처리된 복수의 카메라 영상에서 객체를 검출하고, 객체의 움직임을 추적하며, 추적중인 객체의 행위를 분석하여 이벤트를 검출한다.Referring to FIG. 5 , the intelligent edge device 100 includes an image data processing module 110 , an image analysis module 120 , and a metadata transmission module 130 . The image data processing module 110 receives a plurality of camera images from one or more multiple cameras 20 , and pre-processes the received camera images to be suitable for image analysis. The image analysis module 120 detects an object from a plurality of preprocessed camera images, tracks the movement of the object, and detects an event by analyzing the behavior of the object being tracked.

영상데이터 처리모듈(110)과 영상분석모듈(120)은 모듈 형태의 소프트웨어일 수 있다. 즉, 지능형 에지장치(100)는 하나 이상의 중앙처리장치(예를 들어, CPU, GPU 등), 반도체 메모리, 통신 모뎀 칩 등과 같은 물리적 구성 요소를 포함하며, 영상데이터 처리모듈(110) 및 영상분석모듈(200)은 메모리에 로딩된 프로그램이 CPU에 의해 실행되는 동작을 기능적으로 구분하여 표현한 것이다. The image data processing module 110 and the image analysis module 120 may be modular software. That is, the intelligent edge device 100 includes physical components such as one or more central processing units (eg, CPU, GPU, etc.), a semiconductor memory, a communication modem chip, and the like, and the image data processing module 110 and image analysis The module 200 is a functionally divided expression of the operation of the program loaded into the memory being executed by the CPU.

영상데이터 처리모듈(110)은 RTSP 클라이언트, 디코더 및 영상 전처리 모듈을 포함할 수 있다. RTSP 클라이언트는 영상 전송 프로토콜, 예를 들어, RTSP를 지원하는 통신 모뎀으로, 다중 카메라(20)로부터 영상 데이터를 수신한다. 디코더는 수신된 영상 데이터를 디코딩하여 복수의 카메라 영상을 복원한다. 영상 전처리 모듈은 영상 분석에 적합하도록, 복원된 카메라 영상의 해상도, 크기 등을 변경하거나 컬러 영상을 흑백 영상으로 변환한다. 디코더 및 영상 전처리 모듈은 CPU 또는 GPU에 의해 실행되는 모듈일 수 있다. The image data processing module 110 may include an RTSP client, a decoder, and an image preprocessing module. The RTSP client is a communication modem supporting an image transmission protocol, for example, RTSP, and receives image data from the multiple cameras 20 . The decoder decodes the received image data to restore a plurality of camera images. The image pre-processing module changes the resolution, size, etc. of the restored camera image or converts a color image into a black-and-white image so as to be suitable for image analysis. The decoder and the image preprocessing module may be modules executed by a CPU or GPU.

영상분석모듈(120)은 하나 이상의 객체를 복수의 카메라 영상에서 검출하는 객체 검출 모듈 및 검출된 객체의 움직임을 분석하여 이벤트를 검출하는 이벤트 검출 모듈을 포함할 수 있다. 추가적으로, 객체 검출 모듈은 검출된 객체를 유형별로 분류하거나 검출된 객체를 추적할 수 있다. 객체 검출 모듈은, 예를 들어, 객체 이미지를 이용하여 학습되거나 객체를 표현한 템플릿을 이용하여 객체를 검출할 수 있다. 객체 검출 모듈은 검출 및 추적중인 객체에 관한 메타 데이터를 생성할 수 있다. 객체 검출 모듈은 둘 이상의 객체를 확장 감시 영역 내에서 검출 및 추적할 수 있다. 생성된 메타 데이터는 이벤트 검출 모듈에 의한 이벤트 검출에 이용되거나 통신망(40)을 통해 에지기반 영상분석장치(200)로 전송될 수 있다.The image analysis module 120 may include an object detection module that detects one or more objects from a plurality of camera images, and an event detection module that detects an event by analyzing the motion of the detected object. Additionally, the object detection module may classify the detected object by type or track the detected object. The object detection module may detect an object using, for example, a template that is learned using an object image or expressed the object. The object detection module may generate metadata about the object being detected and tracked. The object detection module may detect and track two or more objects within the extended monitoring area. The generated metadata may be used for event detection by the event detection module or transmitted to the edge-based image analysis apparatus 200 through the communication network 40 .

복수의 개별 감시 영역으로 구성된 하나의 확장 감시 영역을 효율적으로 감시하기 위해서는, 복수의 카메라 영상에서 동일 객체를 개별적으로 검출 및 추적하는 방식을 대신하여, 복수의 고정 카메라에 의해 촬영된 확장 감시 영역을 하나의 고정 카메라에 의해 촬영한 단일 감시 영역으로 취급하는 방식이 적용될 수 있다. 확장 감시 영역을 하나의 단일 감시 영역처럼 처리하기 위해서, 동일 객체를 복수의 카메라 영상에서 식별하며 추적할 수 있어야 한다. 객체가 개별 감시 영역 내에서 움직이는 동안에는 공지의 객체 추적 방식, 예를 들어, 객체의 움직임 예측을 통한 추적 방식, 객체의 속성 비교를 통한 추적 방식 등이 적용될 수 있다. 한편, 객체가 연속한 개별 감시 영역 중 하나로부터 이탈하기 시작하면, 하나의 확장 감시 영역을 구성하는 복수의 개별 감시 영역들 사이의 지리적인 배치 관계(이하 배치 관계)를 이용하여 객체를 식별 및 추적할 수 있다. 이를 통해, 연속된 두 카메라 영상에 표출된 객체의 동일 여부가 신속하게 결정될 수 있도록 한다. 여기서 배치 관계는 예를 들어 연속한 두 개별 감시 영역 사이의 거리, 연속한 두 개별 감시 영역간 각도를 포함할 수 있다. 배치 관계는 두 개별 감시 영역을 각각 촬영하여 생성된 두 카메라 영상간 대응 관계를 설정하는데 이용될 수 있다. 영상분석모듈(120)의 객체 검출 모듈이 객체를 검출 및 추적하는 방식은 이하에서 도 6을 참조하여 상세히 설명한다.In order to efficiently monitor one extended monitoring area composed of a plurality of individual monitoring areas, instead of individually detecting and tracking the same object in a plurality of camera images, the extended monitoring area captured by a plurality of fixed cameras is used. A method of treating a single surveillance area photographed by one fixed camera may be applied. In order to treat the extended surveillance area as one single surveillance area, the same object must be identified and tracked from multiple camera images. While the object is moving in the individual monitoring area, a known object tracking method, for example, a tracking method through motion prediction of an object, a tracking method through object property comparison, etc. may be applied. On the other hand, when an object starts to deviate from one of the continuous individual monitoring areas, the object is identified and tracked using a geographical arrangement relationship (hereinafter referred to as arrangement relationship) between a plurality of individual monitoring areas constituting one extended monitoring area. can do. Through this, it is possible to quickly determine whether an object displayed in two consecutive camera images is the same. Here, the arrangement relationship may include, for example, a distance between two consecutive monitoring areas and an angle between two consecutive monitoring areas. The arrangement relationship may be used to set a corresponding relationship between two camera images generated by photographing two separate monitoring areas, respectively. A method in which the object detection module of the image analysis module 120 detects and tracks an object will be described in detail below with reference to FIG. 6 .

이벤트 검출 모듈은 검출된 객체의 행위가 미리 설정된 이벤트 조건에 부합하는지를 객체 검출 모듈이 생성한 메타 데이터를 이용하여 판단한다. 이벤트 검출 모듈은 둘 이상의 이벤트를 확장 감시 영역 내에서 검출할 수 있다. 기존의 이벤트 검출 방식은 딥러닝 방식과 룰 기반 방식 중 어느 하나에 의해 수행되었으며, 최근 들어 딥러닝 방식이 룰 기반 방식보다 상대적으로 더 많이 사용되고 있다. 딥러닝 방식은 객체의 속성을 검출하는데 유리하며, 룰 기반 방식은 객체를 검출하기 위해 미리 지정된 영역에서 객체의 행위를 검출하는데 유리하다. 딥러닝 방식은 객체 및 객체에 연관된 행위를 학습한 딥러닝 알고리즘이, 영상 또는 영상 속 객체의 속성을 추출하고, 해당 속성을 가진 객체의 행위가 미리 설정된 이벤트 조건에 부합하는지 판단하는 방식이다. 한편, 룰 기반 방식은 객체의 움직임을 기준으로 해당 객체의 행위를 특정하며, 해당 행위가 미리 설정된 이벤트 조건에 부합하는지 판단하는 방식이다.The event detection module determines whether the behavior of the detected object meets a preset event condition using metadata generated by the object detection module. The event detection module may detect two or more events within the extended monitoring area. The existing event detection method was performed by either a deep learning method or a rule-based method, and recently, the deep learning method is relatively more used than the rule-based method. The deep learning method is advantageous in detecting the properties of the object, and the rule-based method is advantageous in detecting the behavior of the object in a pre-designated area for detecting the object. The deep learning method is a method in which a deep learning algorithm that has learned an object and an action related to the object extracts an image or a property of an object in the video, and determines whether the action of the object with the property meets a preset event condition. On the other hand, the rule-based method is a method of specifying an action of a corresponding object based on the movement of the object, and determining whether the corresponding action meets a preset event condition.

딥러닝 방식으로 수행하도록 설정된 이벤트 조건이 복수이면, 각 이벤트 조건에 따라 동작하는 딥러닝 이벤트 검출 모듈도 복수일 수 있다. 동일하게, 룰 기반 방식을 수행하도록 설정된 이벤트 조건이 복수이면, 각 이벤트 조건에 따라 동작하는 룰 기반 이벤트 검출 모듈도 복수개일 수 있다. 이로 인해, 확장 감시 영역 내에서 특정 객체를 추적하는 동안에도 새로운 이벤트를 검출할 수 있다. 또한, 각 이벤트 검출에 의한 객체 추적을 복수로 수행할 수 있다.If there are a plurality of event conditions set to be performed in the deep learning method, there may also be a plurality of deep learning event detection modules operating according to each event condition. Similarly, if there are a plurality of event conditions set to perform the rule-based method, there may be a plurality of rule-based event detection modules operating according to each event condition. Due to this, it is possible to detect a new event while tracking a specific object within the extended monitoring area. In addition, it is possible to perform a plurality of object tracking by detecting each event.

통신망(40)은 메타 데이터의 전송이 가능한 유선, 무선 또는 유무선 혼합 데이터 통신망일 수 있다. 유선 통신망은 패킷 형태의 디지털 데이터 전송을 위한 통신 프로토콜을 지원하는 전용선이나 케이블망 등일 수 있으며, 무선 통신망은 CDMA, WCDMA, GSM, EPC, LTE, 와이브로 뿐 아니라, 와이파이 이외에 블루투스, 지그비 등과 같이, 무선 신호를 이용하여 데이터를 전송하는 통신 시스템일 수 있다.The communication network 40 may be a wired, wireless, or wired/wireless mixed data communication network capable of transmitting meta data. The wired communication network may be a dedicated line or cable network that supports a communication protocol for packet-type digital data transmission, and the wireless communication network is not only CDMA, WCDMA, GSM, EPC, LTE, WiBro, but also wireless networks such as Bluetooth and Zigbee in addition to Wi-Fi. It may be a communication system that transmits data using a signal.

에지기반 영상분석장치(200)는 2차 분석 결과에 기초하여, 지능형 에지 장치(100)의 이벤트 검출 모듈을 갱신하여, 새로운 이벤트를 검출하거나, 변화된 환경에 적응할 수 있도록 한다. 한편, 지능형 에지 장치(100)는 1차 분석이 어려울 경우, 검출된 객체에 대한 메타 데이터를 에지기반 영상분석장치(200)로 전송하여 분석을 요청할 수도 있다.The edge-based image analysis apparatus 200 updates the event detection module of the intelligent edge apparatus 100 based on the secondary analysis result to detect a new event or to adapt to a changed environment. Meanwhile, when the first analysis is difficult, the intelligent edge device 100 may transmit metadata on the detected object to the edge-based image analysis device 200 to request analysis.

도 6은 확장 감시 영역에서 동일 객체를 검출 및 추적하는 과정을 예시적으로 도시한 도면으로, 복수의 개별 감시 영역 각각에 대한 복수의 카메라 영상을 소프트웨어적으로 처리하기 위한 방식을 예시적으로 설명하고 있다.6 is a diagram exemplarily illustrating a process of detecting and tracking the same object in an extended monitoring area, and exemplarily explaining a method for processing a plurality of camera images for each of a plurality of individual monitoring areas in software. have.

하나의 확장 감시 영역은 복수의 고정 카메라에 의해 촬영된다. 따라서 하나의 확장 감시 영역에서 움직이는 객체를 검출 및 추적하기 위해서는, 복수의 카메라 영상이 분석되어야 한다. 검출할 객체의 출현 빈도가 높은(즉, 혼잡도가 높은) 영역에 확장 감시 영역을 정의하면, 복수의 카메라 영상을 원격지의 영상 분석 장치로 전송하기 위해 상당한 큰 통신 대역폭이 요구된다. 반면, 혼잡도가 낮은 영역에 단일 감시 영역을 정의하면, 카메라 영상을 상대적으로 작은 통신 대역폭으로도 원격지의 영상 분석 장치로 전송할 수 있다.One extended surveillance area is photographed by a plurality of fixed cameras. Therefore, in order to detect and track a moving object in one extended monitoring area, a plurality of camera images must be analyzed. If the extended surveillance area is defined in an area where an object to be detected has a high frequency of appearance (ie, a high congestion level), a large communication bandwidth is required to transmit a plurality of camera images to a remote image analysis device. On the other hand, if a single monitoring area is defined in an area with a low degree of congestion, a camera image can be transmitted to an image analysis device at a remote location even with a relatively small communication bandwidth.

따라서, 복수의 카메라 영상을 분석하여 생성한 메타 데이터가 원격지의 에지기반 영상분석장치(200)로 전송될 수 있다. 예를 들어, 고속으로 주행하는 다수의 차량 객체가 검출되는 도로에 설치된 다중 카메라는 현장에 설치된 지능형 에지장치(100)에 복수의 카메라 영상을 전송한다. 지능형 에지장치(100)는 설치된 현장 상황에 맞게 학습되며, 학습된 모델에 따라 검출한 객체 및 객체 관련 이벤트 중 어느 하나 또는 모두를 메타 데이터로 변환하여 에지기반 영상분석장치(200)로 전송한다. 한편, 지능형 에지장치(100)는 필요한 경우에 한해 카메라 영상을 에지기반 영상분석장치(200)로 전송할 수 있다. 이로 인해 통신망의 종류, 접근성, 대역폭 등의 제한을 받지 않으며, 신속한 영상 분석을 통한 이벤트 검출이 가능해질 수 있다.Accordingly, metadata generated by analyzing a plurality of camera images may be transmitted to the edge-based image analysis apparatus 200 in a remote location. For example, a multi-camera installed on a road in which a plurality of vehicle objects traveling at high speed are detected transmits a plurality of camera images to the intelligent edge device 100 installed in the field. The intelligent edge device 100 is trained according to the installed field situation, and any one or all of the objects and object-related events detected according to the learned model are converted into metadata and transmitted to the edge-based image analysis device 200 . Meanwhile, the intelligent edge device 100 may transmit a camera image to the edge-based image analysis device 200 only when necessary. Due to this, it is not limited by the type of communication network, accessibility, bandwidth, etc., and it is possible to detect events through rapid image analysis.

다중 카메라(20)에 연결된 지능형 에지장치(100)는 복수의 카메라 영상에서 동일 객체를 식별 및 추적할 수 있도록 학습된다. 복수의 카메라 영상에서 동일 객체를 식별 및 추적하는 대표적인 방식은 객체 재인식(Re-identification)이다. 객체 재인식은 딥러닝 분석을 통해 객체의 속성을 추출하며, 기존에 등록된 객체의 속성과 비교하여, 둘 이상의 영상에 각각 표출된 객체가 동일 객체인지를 판단할 수 있다. 판단 결과에 따라, 기존에 등록된 객체와 일치할 확률(이하 유사도)이 표출되거나, 재인식된 객체에 부여되었던 객체 식별자가 다시 부여될 수 있다. 객체 재인식은 객체의 유형에 따라, 해당 객체를 식별하는데 적절한 속성을 추출할 수 있다. 차량 객체의 경우, 차종, 색깔, 차량 번호 등을 이용하여 객체를 재인식할 수 있다.The intelligent edge device 100 connected to the multi-camera 20 is trained to identify and track the same object in a plurality of camera images. A representative method of identifying and tracking the same object in a plurality of camera images is object re-identification. Object re-recognition extracts the properties of an object through deep learning analysis, and compares it with the properties of a previously registered object to determine whether the objects displayed in two or more images are the same object. According to the determination result, the probability of matching with the previously registered object (hereinafter, the degree of similarity) may be expressed, or the object identifier given to the re-recognized object may be re-applied. Object re-recognition may extract appropriate properties for identifying the object according to the type of object. In the case of a vehicle object, the object may be re-recognized using a vehicle model, color, vehicle number, and the like.

도 6의 (a) 내지 (d)에 예시된 방식은 하나의 확장 감시 영역에 대응하는 복수의 카메라 영상에서 동일 객체를 검출 및 추적할 수 있는 다양한 방식을 예시적으로 나타낸다. (a) 및 (c)는 한 대의 차량이 3개의 개별 감시 영역으로 구성된 확장 감시 영역을 통과하는 상황을 나타내며, (b) 및 (d)는 각 개별 감시 영역을 촬영한 카메라 영상을 나타낸다. 상세하게, (a)는 사각 영역이 연속한 두 개별 감시 영역 사이에 존재하는 경우를 나타내며, (c)는 연속한 두 개별 감시 영역에 중첩 영역이 존재하며 사각 영역은 존재하지 않는 경우를 나타낸다. 지능형 에지장치(100)는 이러한 개별 감시 영역간 배치 관계를 미리 학습할 수 있다. The methods illustrated in FIGS. 6A to 6D exemplarily show various methods for detecting and tracking the same object in a plurality of camera images corresponding to one extended surveillance area. (a) and (c) show a situation in which one vehicle passes through the extended surveillance area composed of three individual surveillance areas, and (b) and (d) show the camera images taken from each individual surveillance area. In detail, (a) shows a case in which a blind area exists between two consecutive individual monitoring areas, and (c) shows a case in which an overlapping area exists in two consecutive individual monitoring areas and no blind area exists. The intelligent edge device 100 may learn in advance the arrangement relationship between these individual monitoring areas.

이하에서 상세히 설명하겠지만, 연속한 두 개별 감시 영역의 배치 관계에 의해서 두 개별 감시 영역을 촬영한 두 카메라 영상의 대향하는 측면간에 대응 관계가 성립한다. 대응 관계를 이용하면, 제1 감시 영상에서 이탈하는 객체가 제2 감시 영상의 어느 위치에서 출현하는지를 복잡한 연산에 의하지 않더라도 결정할 수 있게 된다. 다만, 연속한 두 개별 감시 영역 사이에 사각 영역이 존재하면, 객체의 벡터에 따라 두 개별 감시 영역간 대응 관계는 동적으로 변경될 수 있다. 이를 통해, 복수의 개별 감시 영역에서 개별적으로 검출되는 객체는 하나의 확장 감시 영역상에서 검출되는 것으로 처리될 수 있다. As will be described in detail below, a correspondence relationship is established between opposite sides of two camera images captured by two separate monitoring areas due to the arrangement relationship of the two consecutive monitoring areas. If the correspondence relationship is used, it is possible to determine at which position in the second monitoring image the object deviated from the first monitoring image appears without using a complicated calculation. However, if a blind area exists between two consecutive monitoring areas, the correspondence between the two individual monitoring areas may be dynamically changed according to the vector of the object. Through this, objects individually detected in the plurality of individual monitoring areas may be processed as being detected in one extended monitoring area.

한편, 객체를 더 이상 추적할 수 없는 경우는 객체가 감시 영역에서 이탈하여 사각 영역에 진입하는 경우 이외에도 다양하게 발생할 수 있다. 예를 들어, 객체가 카메라 영상에 표출되었지만 식별이 불가능하거나 상이한 객체로 인식될 수 있고, 다른 객체에 가려져서 추적이 더 이상 불가능해질 수도 있으며, 이외에도 다양한 경우에서 객체 추적이 불가능해질 수 있다. 객체를 더 이상 추적할 수 없게 되면, 객체의 위치는 객체 추적이 중단된 시점에서의 위치로 결정되며 추적 불가능한 객체가 해당 위치에서 발생했음을 알리는 알람이 출력될 수 있다.On the other hand, the case in which the object can no longer be tracked may occur in various ways other than the case where the object departs from the monitoring area and enters the blind area. For example, although an object is displayed on a camera image, it may be impossible to identify or may be recognized as a different object, may be obscured by other objects and thus may no longer be tracked, and may become impossible to track in various other cases. When the object can no longer be tracked, the location of the object is determined as the location at the point in time when the tracking of the object is stopped, and an alarm indicating that an untrackable object has occurred at the location may be output.

도 6의 (a) 및 (b)를 참조하면, 동일 객체는 객체가 움직이는 방향을 나타내는 벡터를 이용하여 연속한 두 개별 감시 영역에서 검출될 수 있다. 제1 내지 제3 개별 감시 영역(21a, 21b, 21c)은 서로 중첩하지 않으며, 이로 인해 사각 영역이 발생한다. 제1 내지 제3 카메라 영상(26a, 26b, 26c)은 제1 내지 제3 개별 감시 영역(21a, 21b, 21c)을 촬영한 영상이다. 지능형 에지장치(100)는 배치 관계 및 객체의 벡터를 이용하여 어느 한 카메라 영상에서 이탈한 객체가 다른 카메라 영상에서 출현할 위치를 예측할 수 있다. Referring to (a) and (b) of FIG. 6 , the same object may be detected in two consecutive monitoring areas using a vector indicating the direction in which the object moves. The first to third individual monitoring areas 21a, 21b, and 21c do not overlap each other, which results in a blind area. The first to third camera images 26a, 26b, and 26c are images obtained by photographing the first to third individual monitoring areas 21a, 21b, and 21c. The intelligent edge device 100 may predict a position at which an object deviated from one camera image will appear in another camera image by using the arrangement relationship and the vector of the object.

시각 t₁에서 차량 객체는 연속하는 제1 개별 감시 영역(21a)과 제2 개별 감시 영역(21b) 양측 모두에 부분적으로 위치한다. 따라서 제1 카메라 영상(27a)과 제2 카메라 영상(27b) 모두에 표출된다. 제1 예측 영역(27b')은 차량 객체가 제1 카메라 영상(27a)을 이탈하기 시작하는 시점, 즉 시각 t₁이전에 결정된 차량 객체의 벡터 및 제1 개별 감시 영역(21a)과 제2 개별 감시 영역(21b)간 배치 관계에 의해 결정될 수 있다. 차량 객체가 시각 t₁에서 제1 예측 영역(27b')에 출현하면, 제1 카메라 영상(27a)을 이탈하고 있는 차량 객체와 제2 카메라 영상(27b)에 진입하고 있는 차량 객체는 동일 객체로 분류될 수 있다. 제2 카메라 영상(27b)에 출현하기 시작하면, 제1 카메라 영상(27a)에서 동일 객체로 확인된 차량 객체에 대한 추적은 종료될 수 있다. 이후 제2 카메라 영상(27b)에서 이탈하기 전까지는, 공지의 객체 추적 방식이 적용될 수 있다.At time t ₁ , the vehicle object is partially located on both sides of the successive first individual monitoring area 21a and the second individual monitoring area 21b . Therefore, it is expressed in both the first camera image 27a and the second camera image 27b. The first prediction area 27b ′ includes a vector of the vehicle object determined before the time point at which the vehicle object starts to depart from the first camera image 27a , that is, _{before time t 1} , and the first individual monitoring area 21a and the second individual monitoring area 21a . It may be determined by the arrangement relationship between the monitoring areas 21b. When the vehicle object appears _{in the first prediction area 27b' at time t 1} , the vehicle object leaving the first camera image 27a and the vehicle object entering the second camera image 27b are the same object. can be classified. When the second camera image 27b starts to appear, tracking of the vehicle object identified as the same object in the first camera image 27a may be terminated. Thereafter, a known object tracking method may be applied until it departs from the second camera image 27b.

한편, 시각 t₃에 사각 영역에 위치한 차량 객체는 제2 카메라 영상(27b)과 제3 카메라 영상(27c) 모두에서 검출되지 않는다. 그렇지만 차량 객체의 벡터는 제2 카메라 영상(27b)을 이탈하는 시점에서 결정되므로, 동일한 차량 객체가 제3 카메라 영상(27c)에서 출현할 제2 예측 영역(27c')이 결정될 수 있다. 도시된 예에서, 차량 객체는 제2 카메라 영상(27b)을 이탈하는 과정에서 차선을 변경하였다. 따라서 차량의 벡터는 변경된 차선을 향하게 결정될 수 있다. 그로 인해 제2 예측 영역(27c')의 위치는 차선 변경 전의 예측 영역과 달라질 수 있다. 만일, 차량 객체의 벡터가 사각 영역 진입시와 사각 영역 진출시에 달라질 수 있을 정도(예를 들어, 차선 변경)로 사각 영역의 폭이 넓으면, 객체 재인식을 적용하여 동일 객체인지 여부를 결정할 수 있다.Meanwhile, _{the vehicle object located in the blind area at time t 3} is not detected in both the second camera image 27b and the third camera image 27c. However, since the vector of the vehicle object is determined at the point of departure of the second camera image 27b, the second prediction area 27c' in which the same vehicle object will appear in the third camera image 27c may be determined. In the illustrated example, the vehicle object changed lanes while leaving the second camera image 27b. Accordingly, the vector of the vehicle can be determined to face the changed lane. Accordingly, the position of the second prediction area 27c' may be different from the prediction area before the lane change. If the width of the blind area is wide enough to allow the vector of the vehicle object to be different when entering the blind area and when entering the blind area (for example, changing a lane), it is possible to determine whether the vehicle object is the same object by applying object re-recognition. .

도 6의 (c) 및 (d)를 참조하면, 동일 객체는 중첩한 개별 감시 영역의 측면 및 이에 대응하도록 설정한 검출선을 이용하여 두 개별 감시 영역에서 검출될 수 있다. 연속된 제1 내지 제3 개별 감시 영역(21a, 21b, 21c)은 서로 중첩하도록 정의되어 사각 영역은 형성되지 않는다. 따라서, 제1 개별 감시 영역(21a)의 우측면 전체는 제2 개별 감시 영역(21b)에 위치하며, 제2 개별 감시 영역(21b)의 좌측면 전체는 제1 개별 감시 영역(21a)에 위치하게 된다. 유사하게, 제3 개별 감시 영역(21c)의 좌측면 일부는 제2 개별 감시 영역(21b)에 위치하며, 제2 개별 감시 영역(21b)의 우측면 일부는 제3 개별 감시 영역(21c)에 위치하게 된다. 제1 검출선(21a')은 제2 개별 감시 영역(21b)의 좌측면에 일치하도록 제1 카메라 영상(27a)에 설정되며, 제2 검출선(21b')은 제1 개별 감시 영역(21a)의 우측면에 일치하도록 제2 카메라 영상(27b)에 설정된다. 따라서 제1 검출선(21a')과 제2 카메라 영상(27b)의 좌측면 사이에 1:1 대응 관계가 성립되며, 제2 검출선(21b')과 제1 카메라 영상(21a)의 우측면 사이에도 1:1 대응 관계가 성립될 수 있다. 동일한 방식으로, 제3 검출선(21b'')과 제3 카메라 영상(27c)의 좌측면, 그리고 제4 검출선(21c')과 제2 카메라 영상(27b)의 우측면 사이에도 1:1 대응 관계가 성립될 수 있다. 예를 들어, 차량 객체가 제1 카메라 영상(27a)의 제1 검출선(21a')에 도달하면, 동일한 차량 객체가 제2 카메라 영상(27b)의 좌측면상의 특정 위치에서 출현하기 시작한다. 제1 검출선(21a')과 제2 카메라 영상(27b)의 좌측면은 1:1 대응 관계이므로, 제1 검출선(21a')상의 위치가 결정되면 제2 카메라 영상(27b)의 좌측면 상의 위치도 결정될 수 있다. Referring to (c) and (d) of FIG. 6 , the same object may be detected in two separate monitoring areas using a side surface of the overlapping individual monitoring areas and a detection line set to correspond thereto. The continuous first to third individual monitoring areas 21a, 21b, and 21c are defined to overlap each other, so that no blind area is formed. Accordingly, the entire right side of the first individual monitoring area 21a is located in the second individual monitoring area 21b, and the entire left side of the second individual monitoring area 21b is located in the first individual monitoring area 21a. do. Similarly, a part of the left side of the third individual monitoring area 21c is located in the second individual monitoring area 21b, and a part of the right side of the second individual monitoring area 21b is located in the third individual monitoring area 21c. will do The first detection line 21a' is set in the first camera image 27a to match the left side of the second individual monitoring area 21b, and the second detection line 21b' is the first individual monitoring area 21a ) is set in the second camera image 27b to match the right side. Accordingly, a 1:1 correspondence is established between the first detection line 21a' and the left side of the second camera image 27b, and between the second detection line 21b' and the right side of the first camera image 21a. A 1:1 correspondence may also be established. In the same manner, 1:1 correspondence between the third detection line 21b'' and the left side of the third camera image 27c, and the fourth detection line 21c' and the right side of the second camera image 27b relationship can be established. For example, when the vehicle object reaches the first detection line 21a' of the first camera image 27a, the same vehicle object starts to appear at a specific position on the left side of the second camera image 27b. Since the left side of the first detection line 21a' and the second camera image 27b has a 1:1 correspondence, when the position on the first detection line 21a' is determined, the left side of the second camera image 27b The position of the image may also be determined.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 특히, 도면을 참조하여 설명된 본 발명의 특징은 특정 도면에 도시된 구조에 한정되는 것이 아니며, 독립적으로 또는 다른 특징에 결합되어 구현될 수 있다.The above description of the present invention is for illustration, and those of ordinary skill in the art to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. In particular, the features of the present invention described with reference to the drawings are not limited to the structures shown in the specific drawings, and may be implemented independently or in combination with other features.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. .

Claims

An object is detected from a plurality of camera images received from multiple cameras having an extended monitoring area formed by successively arranging a plurality of individual monitoring areas formed by a plurality of fixed cameras installed at the same location, and in each of the two continuous monitoring areas an intelligent edge device that generates metadata by identifying the same object in two camera images; and
An edge-based image analysis device connected to the intelligent edge device through a communication network and detecting an event that the intelligent edge device has not learned by using the metadata,
A first detection line set in a first camera image obtained by photographing two consecutive overlapping monitoring areas corresponds to a left side of a second camera image 1:1, and the second camera image of an object detected by the first detection line The appearance position in is determined by the detection position in the first detection line,
A second detection line set in the second camera image corresponds to a right side of the first camera image 1:1, and an appearance position of an object detected in the second detection line in the first camera image is the second detection line An image analysis device using multiple cameras determined by the detection position in

The method according to claim 1, wherein the multi-camera
the plurality of fixed cameras, wherein two consecutive fixed cameras among the plurality of fixed cameras are spaced apart by an angle between the cameras; and
A multi-camera bracket to which the plurality of fixed cameras are fixed,
The multi-camera bracket is
a mounting member fastened to the mounting object;
A plurality of arms having one end fixed to the mounting member and the other end being spaced apart from each other;
a first rotating member rotatably coupled to the other end of the arm; and
Image analysis apparatus using a multi-camera including a second rotation member rotatably coupled to the first rotation member and the fixed camera is mounted.

The image analysis apparatus according to claim 1, wherein the intelligent edge device detects the same object from the two camera images corresponding to each of the two overlapping continuous individual monitoring areas by object re-recognition.

The apparatus according to claim 1, wherein when an event to be detected by the intelligent edge device is set, the camera setting according to the set event is applied to the plurality of fixed cameras constituting the multi-camera by interworking.

The method according to claim 1, wherein the intelligent edge device
an image data processing module for receiving the plurality of camera images from the multi-camera and pre-processing the received plurality of camera images for image analysis; and
In order to treat the extended monitoring area as a single monitoring area photographed by a single fixed camera, a correspondence relationship between the plurality of camera images established from the arrangement relationship between the plurality of individual monitoring areas constituting the extended monitoring area is used. , An image analysis apparatus using multiple cameras including an image analysis module for identifying and tracking the same object in the two camera images respectively corresponding to the two overlapping continuous individual monitoring areas.

delete