KR102367782B1 - Apparatus for Tracking Objects and Driving Method Thereof - Google Patents
Apparatus for Tracking Objects and Driving Method Thereof Download PDFInfo
- Publication number
- KR102367782B1 KR102367782B1 KR1020210090709A KR20210090709A KR102367782B1 KR 102367782 B1 KR102367782 B1 KR 102367782B1 KR 1020210090709 A KR1020210090709 A KR 1020210090709A KR 20210090709 A KR20210090709 A KR 20210090709A KR 102367782 B1 KR102367782 B1 KR 102367782B1
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- area
- tracking
- line
- map
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
본 발명은 객체추적장치 및 그 장치의 구동방법에 관한 것으로서, 더 상세하게는 가령 복수의 카메라의 영상을 맵 좌표계로 맵핑을 용이하게 하기 위해 라인을 기반으로 한 캘리브레이션 방법으로 개별 카메라와 맵에서의 2쌍 이상의 대응 라인을 설정하고 개별 카메라의 객체 좌표의 오차를 최소화하기 위해 맵좌표로 변환하여 맵상에서 객체를 검출하고 추적하는 객체추적장치 및 그 장치의 구동방법에 관한 것이다.The present invention relates to an object tracking apparatus and a method of driving the apparatus, and more particularly, in a line-based calibration method to facilitate mapping of images of a plurality of cameras to a map coordinate system, in individual cameras and maps. An object tracking apparatus for detecting and tracking objects on a map by setting two or more pairs of corresponding lines and converting them into map coordinates in order to minimize the error of object coordinates of individual cameras, and a method of driving the apparatus.
최근에는 딥러닝 객체 검출 기술을 바탕으로 많은 응용기술이 개발되고 있으며 기존의 CCTV 카메라 영상을 활용하여 실시간으로 분석하고, 그 결과를 이용한 서비스 분야가 점점 확대되고 있다. 이러한 분야에는 외곽 감시, 지능형 교통 시스템, 매장 고객 분석 및 산업 안전 등이 있다. 현재는 카메라 단위에서만 주로 객체를 모니터링하고 사건을 검출하는 방식으로 활용이 되고 있으나 컴퓨터비전 기반의 인식기술이나 또는 딥러닝 객체 인식 기술 등이 고도화되면서 카메라 단위에서 벗어나 복수의 카메라에서의 객체를 추적하고 모니터링하려는 요구사항이 증대되고 있다. 기존에도 얼굴인식, 번호인식을 통하여 맵상에서의 이동 동선을 표출하는 솔루션이 이미 운용되고 있지만 해당 카메라에서 인식이 된 이후에만 객체를 인지하는 방식이기 때문에 실시간성이 떨어질 수밖에 없다.Recently, many application technologies are being developed based on deep learning object detection technology, and real-time analysis using existing CCTV camera images, and service fields using the results are gradually expanding. These areas include perimeter surveillance, intelligent transportation systems, store customer analytics and industrial safety. Currently, it is mainly used as a method of monitoring objects and detecting events only in the camera unit. The need to monitor is increasing. In the past, solutions that express movement lines on the map through face recognition and number recognition are already in operation, but real-time performance is inevitably lowered because the method recognizes objects only after being recognized by the camera.
사회 안전의 목적 또는 다양한 이유로 특정한 관심 객체를 지속적으로 추적하려는 요구사항은 지속적으로 증대되고 있으며 멀티카메라 또는 멀티센서를 통하여 객체를 지속적으로 추적하는 시스템은 이미 시도되었거나 운영이 되고 있다.The requirement to continuously track a specific object of interest for the purpose of social safety or for various reasons is continuously increasing, and a system for continuously tracking an object through a multi-camera or multi-sensor has already been tried or operated.
예를 들어 매장 내에서는 카메라 또는 TOF(Time of Flight) 센서들을 촘촘하게 설치한 후 대칭점을 맵핑하는 방법으로 카메라 캘리브레이션을 하여 개별 센서의 검출된 객체의 좌표를 기준 맵좌표로 맵핑하게 하여 고객의 동선을 맵상에서 끊김없이 추적하는 시스템이 개발되어 운영이 되고 있다. 하지만 여전히 기술적 한계와 시스템 설정과 구성의 어려움으로 보편화되어 있지 않다.For example, in a store, cameras or TOF (Time of Flight) sensors are installed densely and the camera is calibrated by mapping a symmetric point. A system that tracks seamlessly on the map has been developed and is being operated. However, it is still not universal due to technical limitations and difficulties in setting up and configuring the system.
지능형 교통시스템에서도 영상 또는 센서를 통하여 검출된 좌표를 GPS 좌표로 맵핑하여 주변 차량에 정보를 전달하거나 지도상에서 객체의 이동 경로를 모니터링하는 솔루션이 속속 도입이 되고 있으나 영상의 지면과 지도상의 위치를 맵핑하는 방식이 어렵거나 맵핑을 하더라도 지면은 항상 평면이 아니고 고도 차이가 존재하는 곡면일 수 있기 때문에 이를 고려하지 않는 경우 많은 오차가 발생하는 문제가 있다.Even in intelligent transportation systems, solutions that map the coordinates detected through images or sensors to GPS coordinates to deliver information to nearby vehicles or monitor the movement path of objects on the map are being introduced one after another. Even if it is difficult to do or mapping, the ground is not always flat and may be a curved surface with a difference in elevation, so if this is not taken into account, many errors occur.
본 발명의 실시예는 가령 복수의 카메라의 영상을 맵 좌표계로 맵핑을 용이하게 하기 위해 라인을 기반으로 한 캘리브레이션 방법으로 개별 카메라와 맵에서의 2쌍 이상의 대응 라인을 설정하고 개별 카메라의 객체 좌표의 오차를 최소화하기 위해 맵좌표로 변환하여 맵상에서 객체를 검출하고 추적하는 객체추적장치 및 그 장치의 구동방법을 제공함에 그 목적이 있다.An embodiment of the present invention sets two or more pairs of corresponding lines in an individual camera and a map in a line-based calibration method to facilitate mapping of images from a plurality of cameras to a map coordinate system, for example, and sets the object coordinates of individual cameras. It is an object of the present invention to provide an object tracking device for detecting and tracking an object on a map by converting it into map coordinates in order to minimize an error, and a method for driving the device.
본 발명의 실시예에 따른 객체추적장치는, 임의 지역의 맵(map) 데이터상의 제1 지면(ground) 영역과, 상기 임의 지역의 감시 구역을 감시하는 각 카메라의 촬영영상에 포함되어 상기 제1 지면 영역에 대응하는 제2 지면 영역의 변환 관계에 대한 정보를 저장하는 저장부, 및 상기 각 카메라의 촬영 영상 내 객체들에 대한 추적 결과 및 상기 저장한 변환 관계에 대한 정보를 근거로 상기 추적 객체들의 상기 맵 데이터상의 맵 좌표에 매칭되는 물체들의 위치 및 속성 정보를 추출하며, 상기 추출한 위치 및 속성 정보를 근거로 상기 추적 객체들과 관련한 이벤트를 처리하는 제어부를 포함한다.The object tracking apparatus according to an embodiment of the present invention is included in a first ground area on map data of an arbitrary area and a captured image of each camera that monitors a monitoring area of the arbitrary area to include the first A storage unit for storing information on a transformation relationship of a second ground region corresponding to the ground region, and a tracking result for objects in the captured image of each camera and the tracking object based on the stored information on the transformation relationship and a control unit for extracting location and property information of objects matching map coordinates on the map data of the users, and processing an event related to the tracking objects based on the extracted location and property information.
상기 제어부는, 상기 맵 데이터상에 설정되는 제1 라인과 상기 촬영영상에 설정되는 제2 라인을 근거로 서로 대응하는 상기 제1 지면 영역 및 상기 제2 지면 영역을 생성해 변환 관계를 계산할 수 있다.The controller may calculate a transformation relationship by generating the first ground area and the second ground area corresponding to each other based on a first line set on the map data and a second line set on the captured image. .
상기 제어부는, 상기 제1 지면 영역에 설정되는 2개의 수평 라인과 상기 제2 지면 영역에 설정되는 2개의 수평 라인을 상기 제1 라인과 상기 제2 라인으로 각각 이용할 수 있다.The controller may use two horizontal lines set in the first ground area and two horizontal lines set in the second ground area as the first line and the second line, respectively.
상기 저장부는, 상기 위치 및 속성정보로서 상기 맵 데이터상의 물체들에 대한 속도, 크기 및 실측 단위의 위치값을 맵핑하여 저장할 수 있다.The storage unit may map and store velocity, size, and measurement unit position values of objects on the map data as the position and attribute information.
상기 제어부는, 상기 임의 지역 내의 제1 카메라와 제2 카메라의 사이에 복수의 지면 영역이 설정되는 경우, 상기 설정된 복수의 지면 영역을 평면이 아닌 곡면으로 판단하여 상기 변환 관계에 대한 정보를 생성할 수 있다.When a plurality of ground areas are set between the first camera and the second camera in the arbitrary area, the controller determines that the plurality of set ground areas are curved rather than flat to generate information on the transformation relationship. can
상기 제어부는, 상기 추적 객체들이 포함되는 대응 영역이 없는 경우 거리가 가까운 대응 영역을 이용해 좌표 변환 동작을 수행할 수 있다.When there is no corresponding area including the tracking objects, the controller may perform a coordinate transformation operation using a corresponding area having a close distance.
상기 제어부는, 상기 복수의 카메라의 촬영 영상에서 각각 추적되는 추적 객체들에 대하여 하나의 맵 데이터를 근거로 상기 추출한 위치 및 속성 정보를 통합 관리하여 각 추적객체의 이벤트를 처리할 수 있다.The controller may process the event of each tracking object by managing the extracted location and attribute information based on one map data for each tracking object in the captured image of the plurality of cameras.
또한, 본 발명의 실시예에 따른 객체추적장치의 구동방법은, 저장부가, 임의 지역의 맵 데이터상의 제1 지면 영역과, 상기 임의 지역의 감시 구역을 감시하는 각 카메라의 촬영영상에 포함되어 상기 제1 지면 영역에 대응하는 제2 지면 영역의 변환 관계에 대한 정보를 저장하는 단계, 및 제어부가, 상기 각 카메라의 촬영 영상 내 객체들에 대한 추적 결과 및 상기 저장한 변환 관계에 대한 정보를 근거로 상기 추적 객체들의 상기 맵 데이터상의 맵 좌표에 매칭되는 물체들의 위치 및 속성 정보를 추출하며, 상기 추출한 위치 및 속성 정보를 근거로 상기 추적 객체들과 관련한 이벤트를 처리하는 단계를 포함한다.In addition, in the method of driving an object tracking apparatus according to an embodiment of the present invention, the storage unit is included in the first ground area on the map data of the arbitrary area and the captured image of each camera for monitoring the monitoring area of the arbitrary area. Storing information on a transformation relationship of a second ground region corresponding to the first ground region, and, by the controller, based on the tracking result for objects in the captured image of each camera and the stored information on the transformation relationship and extracting location and property information of the objects matching the map coordinates on the map data of the tracked objects, and processing an event related to the tracked objects based on the extracted location and property information.
상기 처리하는 단계는, 상기 맵 데이터상에 설정되는 제1 라인과 상기 촬영영상에 설정되는 제2 라인을 근거로 서로 대응하는 상기 제1 지면 영역 및 상기 제2 지면 영역을 생성해 변환 관계를 계산할 수 있다.The processing may include calculating a transformation relationship by generating the first ground area and the second ground area corresponding to each other based on the first line set on the map data and the second line set on the captured image. can
상기 처리하는 단계는, 상기 제1 지면 영역에 설정되는 2개의 수평 라인과 상기 제2 지면 영역에 설정되는 2개의 수평 라인을 상기 제1 라인과 상기 제2 라인으로 각각 이용할 수 있다.In the processing, two horizontal lines set in the first ground area and two horizontal lines set in the second ground area may be used as the first line and the second line, respectively.
상기 저장하는 단계는, 상기 위치 및 속성정보로서 상기 맵 데이터상의 물체들에 대한 속도, 크기 및 실측 단위의 위치값을 맵핑하여 저장할 수 있다.The storing may include mapping and storing velocity, size, and actual measurement unit position values of objects on the map data as the position and attribute information.
상기 처리하는 단계는, 상기 임의 지역 내의 제1 카메라와 제2 카메라의 사이에 복수의 지면 영역이 설정되는 경우, 상기 설정된 복수의 지면 영역을 평면이 아닌 곡면으로 판단하여 상기 변환 관계에 대한 정보를 생성할 수 있다.In the processing, when a plurality of ground areas are set between the first camera and the second camera in the arbitrary area, it is determined that the set plurality of ground areas are curved rather than flat, and information about the transformation relationship is obtained. can create
상기 처리하는 단계는, 상기 추적 객체들이 포함되는 대응 영역이 없는 경우 거리가 가까운 대응 영역을 이용해 좌표 변환 동작을 수행할 수 있다.In the processing, when there is no corresponding area including the tracking objects, a coordinate transformation operation may be performed using a corresponding area having a close distance.
상기 처리하는 단계는, 상기 복수의 카메라의 촬영 영상에서 각각 추적되는 추적 객체들에 대하여 하나의 맵 데이터를 근거로 상기 추출한 위치 및 속성 정보를 통합 관리하여 각 추적객체의 이벤트를 처리할 수 있다.In the processing, the event of each tracking object may be processed by integrating and managing the extracted location and attribute information based on one map data for each of the tracking objects tracked in the captured images of the plurality of cameras.
본 발명의 실시예에 따르면 맵상의 지면과 카메라 영상에서의 지면과의 관계를 가령 단 2개의 라인으로 설정하는 방식이기 때문에 설정이 간단하고 설정 시간을 최소화할 수 있을 것이다.According to the embodiment of the present invention, since the relationship between the ground on the map and the ground in the camera image is set by, for example, only two lines, the setting is simple and the setting time can be minimized.
또한, 본 발명의 실시예에 따르면, 지면이 평면이 아닌 곡면이라 가정하면 맵상의 지면과 카메라 영상에서의 지면을 맵핑하기 위한 방식이 복잡해지므로, 이를 위하여 각 카메라별로 라인을 3개 이상 지정하게 되면 2개 이상의 4정점으로 이루어진 대칭 영역을 얻을 수 있기 때문에 다수의 대응 평면들로 나뉘어지고 각 대응 평면 단위로 변환행렬을 구하는 방식을 적용하므로 정확도를 높일 수 있다.In addition, according to an embodiment of the present invention, assuming that the ground is a curved surface rather than a flat surface, the method for mapping the ground on the map to the ground in the camera image becomes complicated. For this purpose, if three or more lines are designated for each camera, Since it is possible to obtain a symmetric region composed of two or more four vertices, it is divided into a plurality of corresponding planes and the method of obtaining a transformation matrix for each corresponding plane is applied, so that the accuracy can be improved.
나아가, 본 발명의 실시예는 카메라 영상에서 검출된 객체의 좌표를 맵 좌표계로 변환하고 이렇게 생성된 객체들을 전역객체로 통합 관리하게 되면 복수의 카메라에서 촬영된 객체들이라고 하더라도 객체의 동선을 끊김없이 추적할 수 있으며 설령 두개의 카메라가 맵 상에서 겹치는 부분이 없더라도 맵 상에서 공통된 좌표로 관리하기 때문에 추후 물체의 재인식을 하기 위한 정보로도 활용할 수 있다.Furthermore, according to an embodiment of the present invention, if the coordinates of the objects detected in the camera image are converted into the map coordinate system and the created objects are integrated and managed as global objects, the movement of the objects is seamlessly It can be tracked, and even if there is no overlap between the two cameras on the map, they are managed with common coordinates on the map, so it can be used as information for re-recognition of an object in the future.
특히 전역 물체의 좌표 궤적 정보는 카메라 별로의 투영변환(projective transformaton)이 제거된 정보이기 때문에 이를 통한 이벤트 정의도 쉽게 정의되고 관리될 수 있다. 대표적인 예로 교통분야에서 좌회전 차량 탐지 및 불법 유턴 등은 일반 카메라에서는 정의되기 어려운 이벤트이지만 맵 상에서는 이벤트 규칙을 정규화할 수 있게 된다. 정규화할 수 있다는 것은 예를 들어 유턴의 궤적을 탐지한다고 가정하였을 때 일반 카메라에서는 투영변환을 하기 때문에 유턴의 궤적을 정의하기가 어렵지만 맵 좌표로 변환된 좌표계에서는 유턴의 궤적을 쉽게 적용하고 이벤트를 검출할 수 있다.In particular, since the coordinate trajectory information of the global object is information from which the projection transformation for each camera has been removed, the event definition through this information can also be easily defined and managed. For example, in the traffic field, detection of left-turning vehicles and illegal U-turns are events that are difficult to define with a general camera, but event rules can be normalized on the map. For example, when it is assumed that the trajectory of a U-turn is detected, it is difficult to define the trajectory of the U-turn because a normal camera performs projection transformation. can do.
도 1은 본 발명의 실시예에 따른 객체 추적 시스템을 나타내는 도면,
도 2는 맵과 카메라에서의 대칭 라인을 설정하는 방법을 설명하기 위한 도면,
도 3은 도 1의 복수의 카메라 기반 객체 추적 시스템에서의 카메라 관계 및 대칭 라인을 설정하고, 호모그래피를 구하는 과정을 설명하기 위한 도면,
도 4는 맵과 카메라에서 설정한 대응되는 2개 라인으로 대응되는 4개의 정점으로 구성되는 대응 평면을 구성하고 각 평면마다 맵 좌표로 변환하기 위한 호모그래피를 구하기 위한 방법을 설명하기 위한 도면,
도 5는 도 1의 복수 카메라 기반 객체 추적시스템에서의 각 카메라의 추적 물체를 맵 좌표로 변환하는 과정을 설명하기 위한 도면,
도 6은 본 발명의 다른 실시예에 따른 도 1의 객체추적장치의 세부구성을 예시한 블록다이어그램, 그리고
도 7은 본 발명의 다른 실시예에 따른 도 1의 객체추적장치의 구동과정을 나타내는 흐름도이다.1 is a diagram illustrating an object tracking system according to an embodiment of the present invention;
2 is a diagram for explaining a method of setting a symmetric line in a map and a camera;
3 is a view for explaining a process of setting a camera relationship and a symmetric line in the plurality of camera-based object tracking system of FIG. 1, and obtaining a homography;
4 is a diagram for explaining a method for obtaining a homography for constructing a corresponding plane consisting of four vertices corresponding to two corresponding lines set in a map and a camera, and converting into map coordinates for each plane;
5 is a diagram for explaining a process of converting a tracking object of each camera into map coordinates in the multiple camera-based object tracking system of FIG. 1;
6 is a block diagram illustrating a detailed configuration of the object tracking apparatus of FIG. 1 according to another embodiment of the present invention, and
7 is a flowchart illustrating a driving process of the object tracking apparatus of FIG. 1 according to another embodiment of the present invention.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
도 1은 본 발명의 실시예에 따른 객체 추적 시스템을 나타내는 도면이다.1 is a diagram illustrating an object tracking system according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 객체 추적 시스템(90)은 복수의 카메라 기반의 객체 추적 시스템으로서, 복수의 카메라(100), 영상분석장치(110), 통신망(미도시) 및 객체추적장치(120)의 일부 또는 전부를 포함한다.As shown in FIG. 1 , the
여기서, "일부 또는 전부를 포함한다"는 것은 영상분석장치(110)와 같은 일부 구성요소가 생략되어 객체 추적 시스템(90)이 구성되거나 영상분석장치(110)와 같은 일부 구성요소가 객체추적장치(120)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다. 또한, 영상분석장치(110)나 객체추적장치(120)는 영상처리장치라 명명될 수 있다.Here, “including some or all” means that some components such as the
촬영장치 즉 카메라(100)는 본 발명의 실시예에 따라 2개 이상의 카메라로 구성된다. 카메라(100)는 실내 또는 실외에 설치된 카메라들로서 지면에서 일정 이상의 높이에 설치되어 있으면서 카메라 뷰(view)가 서로 겹치거나 겹치지 않을 수 있다. 단 카메라 뷰는 관계를 설정하게 될 맵의 영역과는 지면 영역이 겹쳐 있어야 한다. 물론 여기서 맵은 지도 데이터일 수 있으며, "겹쳐"있다는 것은 서로 대응되거나 매칭(matching)되는 것으로 이해될 수 있다. 각 카메라는 영상만 송신하는 카메라와, 영상 분석을 통하여 영상과 객체 정보를 전송할 수 있는 카메라로 구성될 수 있다. 또한 별도의 영상분석장치(110)를 통하여 영상과 객체 정보를 수신할 수 있다. 영상분석장치(110)는 카메라 내부에 탑재되는 영상분석모듈, 카메라(100)의 주변에 별도로 구비되는 에지장치, 나아가 유무선 통신망과 같은 별도의 통신망에 연결되어 서버로서 동작하는 영상분석장치를 모두 의미할 수 있다. 따라서, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.The photographing apparatus, that is, the
카메라(100)는 건물이나 건물 내의 매장과 같은 곳에 설치되어 건물이나 매장의 내부 또는 그 주변(예: 외부)을 촬영한다. 또한 카메라(100)는 안전지역이나 교통감시 등 실외의 다양한 곳에 설치되어 촬영 동작을 수행한다. 카메라(100)는 건물 또는 매장, 또 실외의 지정 장소를 촬영하는 감시카메라로서 일반 CCTV(Closed Circuit Television) 카메라나 IP(Internet Protocol) 카메라 등을 포함할 수 있으며 고정식 카메라뿐 아니라 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 동작이 가능한 PTZ(Pan-Tilt-Zoom) 카메라를 포함할 수 있다. 나아가 2D 카메라 이외에 3D 카메라가 사용될 수도 있을 것이다. 3D 카메라를 적용하는 경우 메타 데이터를 획득하기에 용이할 수 있다. 예를 들어, 촬영 영상 내의 객체들에 대한 속성 정보 등을 얻기가 쉬울 수 있다. 본 발명의 실시예에서는 카메라(100)에 의해 촬영되는 실환경에서의 대상물은 물체라 명명할 수 있으며, 해당 물체가 카메라(100)에 의해 촬영되어 촬영 영상 내에 반영되는 물체는 객체라 명명할 수 있다.The
통신망은 도면에 별도로 도시하지는 않았지만, 복수의 카메라(100)를 영상분석장치(110) 및 객체추적장치(120)와 유무선으로 연결하여 통신이 이루어지도록 다. 다시 말해, 영상분석장치(110)와 객체추적장치(120)의 경우에도 인트라넷 등의 내부 통신망을 통해 서로 연결될 수 있지만, 통신사(예: SKT 등)에서 운용하는 유무선의 사설 통신망을 통해 서로 연결될 수 있으므로, 본 발명의 실시예에서는 도 1의 객체 추적 시스템(90)이 어떠한 형태로 구성되는지에 대하여는 특별히 한정하지 않을 것이다.Although not shown separately in the drawing, the communication network is connected to the
좀더 구체적으로, 통신망은 유무선 통신망을 모두 포함한다. 가령 통신망으로서 유무선 인터넷망이 이용되거나 연동될 수 있다. 여기서, 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 망 등을 포함하는 의미이다. 물론 본 발명의 실시예에 따른 통신망은 이에 한정되는 것이 아니며, 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망, 5G망 등에 사용될 수 있다. 가령, 통신망이 유선 통신망인 경우 통신망 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Transmissive Station), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.More specifically, the communication network includes both wired and wireless communication networks. For example, a wired/wireless Internet network may be used or linked as a communication network. Here, the wired network includes an Internet network such as a cable network or a public telephone network (PSTN), and the wireless communication network includes CDMA, WCDMA, GSM, Evolved Packet Core (EPC), Long Term Evolution (LTE), Wibro network, etc. is meant to include Of course, the communication network according to the embodiment of the present invention is not limited thereto, and may be used, for example, in a cloud computing network under a cloud computing environment, a 5G network, and the like. For example, if the communication network is a wired communication network, an access point within the communication network can connect to a switching center of a telephone company, etc., but in the case of a wireless communication network, it accesses the SGSN or GGSN (Gateway GPRS Support Node) operated by the communication company to process data, or BTS (Base Transmissive Station), NodeB, e-NodeB, etc. can be connected to various repeaters to process data.
통신망은 액세스포인트(AP)를 포함할 수 있다. 여기서의 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 펨토 또는 피코 기지국은 소형 기지국의 분류상 카메라(100)나, 에지장치와 같은 영상분석장치(110) 등을 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스포인트는 카메라(100)나 에지장치와 같은 영상분석장치(110) 등과 지그비 및 와이파이 등의 근거리 통신을 수행하기 위한 근거리 통신모듈을 포함할 수 있다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선, UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 서버로서 동작하는 영상분석장치(110) 및 객체추적장치(120)로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함된다.The communication network may include an access point (AP). Here, the access point includes a small base station, such as a femto or pico base station, which is often installed in a building. Femto or pico base stations are classified according to the maximum number of
도 1의 영상분석장치(110)는 카메라(100)에 탑재되는 영상분석모듈, 카메라(100)의 주변에 구비되어 동작하는 에지장치, 그리고 서버로서 동작하는 영상분석장치 등 다양한 형태의 장치를 의미할 수 있다. 카메라(100)에서 촬영된 촬영영상은 영상분석장치(110)를 통해 영상분석 동작이 이루어질 수 있으며, 대표적으로 사람이나 사물 등을 각 비디오 프레임에서 추출하고, 추출한 각 비디오 프레임의 객체들에 대하여 객체의 오검출 및 분류 등의 동작을 수행할 수 있다. 객체의 오검출은 객체 검출기를 통해 이루어질 수 있으며, 객체 검출기는 템플릿(template) 기반이나 DCNN 기반의 딥러닝 기술을 적용하여 객체의 검출 즉 인식 동작이 이루어질 수 있다. 따라서, 객체 검출과 함께 사람, 사물 등의 객체 유형을 분류하고, 이의 과정에서 오검출 객체를 분류할 수도 있다.The
그리고, 영상분석장치(110)에서 이루어지는 영상 분석 결과 즉 객체의 정보는 객체추적장치(120)로 제공되어 객체 추적 동작이 이루어진다. 여기서, 객체 추적이란, 가령 초당 60장의 비디오 프레임이 수신되었다고 가정할 때, 영상분석장치(110)에서는 각 비디오프레임에서 객체를 추출하고, 추출한 객체의 검출 및 분류 동작을 수행하였다. 이러한 데이터를 객체추적장치(120)에 제공하게 되면, 객체추적장치는 전체 60장의 비디오 프레임에서 지정 객체가 어떠한 형태로 움직임이 발생하는지를 추적할 수 있다. 이러한 추적은 영상 내에서 움직임 거리 및 방향을 나타내는 벡터값으로 설정될 수 있지만, 영상 내의 화소들에 대한 좌표값의 형태로 설정될 수 있다. 본 발명의 실시예에서는 후자의 경우와 같이 카메라 좌표계에 의한 방법을 사용할 수 있다. 예를 들어, 촬영영상의 분석 결과 특정 사용자가 쓰레기를 들고 와서 지정 장소에 배출한다고 가정할 때, 이러한 사용자의 움직임을 추적하게 되며, 촬영영상에서 해당 사용자의 객체를 추적함으로써 실 환경에서의 해당 사용자의 움직임 동향을 영상을 통해 판단할 수 있게 된다. 이러한 객체의 추출이나 인식 및 분류 등은 이미 당업자에게 자명하므로 더 이상의 설명은 생략한다.Then, the image analysis result performed by the
객체추적장치(120)는 본 발명의 실시예에 따라 복수의 카메라 영상 좌표를 맵 좌표로 변환하기 위한 라인 기반 캘리브레이션 방법 즉 동작을 수행한다. 다시 말해, 객체추적장치(120)는 복수의 카메라 영상 좌표를 맵 좌표로 변환하기 위한 라인 기반 캘리브레이션 방법을 수행하기 위하여 맵과 각 카메라(100)가 지면 영역을 공유하고 있는 경우 맵과 카메라(100) 간의 관계를 설정하고, 관계가 맺어진 맵과 각 카메라(100) 간의 최소 2개 이상의 대칭 라인을 지정하며, 각 대칭라인으로부터 4개의 정점으로 이루어지는 대칭 영역을 구하고, 카메라 좌표계에서 맵 좌표계로 변환하기 위한 호모그래피 매트릭스를 구한다. 또한, 객체추적장치(120)는 각각의 카메라(100)에서 객체를 검출하고(혹은 기검출된 객체를) 추적한 후 각 객체 위치를 호모그래피 매트릭스를 통하여 맵 좌표계 위치로 변환하고, 맵 좌표계로 변환된 지역 추적 물체의 위치 정보를 이용하여 전역물체를 생성하며, 전역 물체의 추적 및 궤적 정보를 이용하여 이벤트를 검출하고 이러한 전역물체의 정보를 화면에 표출하거나 저장하여 검색하는 동작을 수행한다.The
이를 위하여, 객체추적장치(120)는 도 1에 도시된 바와 같이, 영상기반 지역객체 추적부(121a) 및/또는 카메라별 지역객체 수신부(121b), 좌표계 변환부(122), 맵기반 전역객체 생성부(123), 라인기반 캘리브레이션 도구(부)(124), 전역 추적객체기반 이벤트 검출부(125), 전역객체 화면 표출부(126), 그리고 전역객체 데이터 저장 및 검색부(127)의 일부 또는 전부를 포함한다. 여기서, "일부 또는 전부를 포함한다"는 것은 영상기반 지역객체 추적부(121a)나 카메라별 지역객체 수신부(121b)의 일부 구성요소가 생략되어 객체추적장치(120)가 구성되거나, 영상기반 지역객체 추적부(121a)와 같은 일부 구성요소가 카메라별 지역객체 수신부(121b)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.To this end, as shown in FIG. 1 , the
본 발명의 실시예에 따른 영상기반 지역객체 추적부(121a) 및/또는 카메라별 지역객체 수신부(121b), 좌표계 변환부(122), 맵기반 전역객체 생성부(123), 라인기반 캘리브레이션 도구부(124), 전역 추적객체기반 이벤트 검출부(125), 전역객체 화면 표출부(126), 그리고 전역객체 데이터 저장 및 검색부(127)는 서로 물리적으로 분리된 하드웨어 모듈로 구성되지만, 각 모듈은 내부에 세부 동작을 수행하기 위한 소프트웨어를 저장하고 이를 실행할 수 있다. 다만, 해당 소프트웨어는 소프트웨어 모듈의 집합이고, 각 모듈은 하드웨어로 형성되는 것이 얼마든지 가능하므로 소프트웨어니 하드웨어니 하는 구성에 특별히 한정하지 않을 것이다. 예를 들어 저장부는 하드웨어인 스토리지(storage) 또는 메모리(memory)일 수 있다. 하지만, 소프트웨어적으로 정보를 저장(repository)하는 것도 얼마든지 가능하므로 어느 하나의 형태 특별히 한정하지는 않을 것이다.An image-based local
지역객체 추적부(121a)는 서로 감시하는 구역이 겹치거나 겹치지 않더라도 하나의 맵에 맵핑될 수 있는 카메라 영상을 입력받아 객체를 검출 및 추적한다. 물론 기검출된 객체의 분석 결과가 제공되는 경우에는 이를 이용해 객체 추적 동작을 수행할 수 있다. 또는 직접 분석을 하지 않더라도 지역객체 수신부(121b)는 외부 영상분석장치(110)로부터 객체 정보를 수신할 수 있다.The local
객체추적장치(120)는 자체적으로 영상분석 기능을 탑재하여 카메라 영상을 입력받아 실시간으로 직접 객체를 검출하고 추적을 수행할 수 있으며, 각 카메라 단위로 분석된 객체들을 지역 객체 리스트로 관리한다. 지역객체 수신부(121b)는 외부의 영상분석 카메라 또는 영상분석장치(110)를 통하여 수신된 객체 정보를 수신하고 관리한다. 지역객체 수신부(121b)는 기본적으로 객체의 정보만 수신하면 되지만 라이브 화면 출력 및 라인기반 캘리브레이션을 위해 정지영상 또는 실시간 영상을 수신할 수 있다.The
좌표 변환부(122)는 복수의 카메라(100)부터 분석된 객체의 좌표들을 맵상에서의 좌표로 변환하는 카메라 영상과 맵 사이에서의 좌표 변환 동작을 수행한다. 카메라 좌표를 맵 좌표로 변환하는 좌표 변환부(122)는 각각의 카메라(100)에서 검출된 객체들을 맵 좌표로 변환하는 부분이다. 본 발명의 실시예에서는 대칭 라인 쌍에서 생성되는 영역을 통한 호모그래피 관계로 변환을 한다. 이와 관련한 자세한 내용은 이후에 좀더 다루기로 한다. 여기서 맵은 일반적인 정지영상 또는 동영상일 수 있으며 GPS 좌표에 기반한 GIS(Geographic Information System) 맵일 수 있다.The coordinate
맵기반 전역객체 추적부(123)는 카메라(100)별 객체 추적 결과 및 맵상의 지역 객체의 좌표를 이용하여 전역 객체 추적 결과를 생성한다. 즉 맵기반 전역객체 추적부(123)는 맵 좌표로 변환된 지역 객체 정보들을 기반으로 전역객체 리스트를 생성하게 된다. 이때 두 카메라(100)가 동일한 지역의 동일한 물체를 검출하였고 이 물체가 맵상에서 인접 또는 겹쳐 있으면서 객체의 종류와 속성이 유사한 경우에는 동일한 물체로 간주하는 방식으로 전역물체를 생성하게 된다. 맵 좌표상에서 생성되는 전역객체는 고유의 식별정보(ID)를 가지게 되고 각 카메라(100)에서 분석된 객체의 속성 정보들을 유지하게 된다. 여기서, 속성은 모양이나 컬러, 특징점 등의 다양한 정보를 포함할 수 있다.The map-based global
라인기반 캘리브레이션 도구(부)(124)는 각 카메라(100)의 영상과 맵 영상을 입력받아 대칭 라인을 설정하기 위한 UI(User Interface)에 기반한 도구, 또는 해당 도구를 실행시키는 부분이다. 이 도구에서 대칭라인 설정이 완료되면 설정 정보를 (맵) 좌표 변환부(122)에 전달하게 된다. The line-based calibration tool (unit) 124 receives an image and a map image of each
전역 추적객체기반 이벤트 검출부(125)는 전역 객체 추적 결과를 이용하여 이벤트를 검출한다. 전역 추적객체기반 이벤트 검출부(125)는 가령 전역 물체의 추적 궤적 정보와 물체의 속성 정보를 기반으로 이벤트를 검출할 수 있다. 검출할 수 있는 이벤트의 예로는 특정 관심영역(ROI)별로의 관심객체 포함여부 또는 관심객체의 궤적 유형 등으로 검출할 수 있다.The global tracking object-based
전역객체 화면 표출부(126)는 추적 중인 전역 객체의 위치를 사이트 맵 상에 (실시간으로) 표출한다. 전역객체 화면 표출부(126)는 전역객체 생성부(123)가 생성한 실시간 물체 추적 결과를 이용하여 화면에 실시간으로 표출되거나 전역객체 데이터 저장 및 검색부(127)에 저장된 객체 정보를 이용하여 녹화된 객체 추적정보를 재생하거나 검색할 수 있다. 예를 들어, 데스크탑 컴퓨터, 랩탑컴퓨터, 태블릿PC 및 스마트폰 등의 사용자 단말장치나 관리자 단말장치에서 객체추적장치(120)에 접속하여 검색 서비스를 요청하는 경우, 해당 검색 조건에 따라 본 발명의 실시예에 따른 객체 추적 정보를 검색하여 재생시킬 수 있을 것이다.The global object
전역객체 데이터 저장 및 검색부(127)는 실시간으로 발생된 객체 추적정보들을 스트림의 형태로 저장하게 되며 전역객체에 이벤트가 발생한 경우 이벤트 정보도 함께 저장하게 된다.The global object data storage and
상기의 구성 결과 본 발명의 실시예에 따른 객체 추적 시스템(90)은 맵상의 지면과 카메라 영상에서의 지면과의 관계를 단 2개의 라인으로 설정하는 방식이기 때문에 설정이 간단하고 설정 시간을 최소화할 수 있게 된다. 이는 가령 대응 점을 입력하는 방식과는 차별화될 수 있는데, 대응점을 입력하는 방식의 경우 점을 지정하는 방식이기 때문에 설정된 대응점을 찾기 어렵다. 따라서, 이러한 대응점들로 하는 경우 적용되는 대상 평면을 지정하기가 번거로울 수 있으며 대개 문제를 간단히 해결하기 위하여 단일 평면으로 가정하고 단 하나의 변환 관계를 가지도록 하기 때문에 정확도가 떨어질 수밖에 없다.As a result of the above configuration, the
따라서, 가령 지면이 평면이 아닌 곡면이라고 가정하면 이를 맵핑하기 위한 방식이 복잡해질 수 있기 때문에 본 발명의 실시예에서는 각 카메라 별로 라인을 3개 이상 지정하게 되면 2개 이상의 4정점으로 이루어진 대칭 영역을 얻을 수 있기 때문에 다수의 대응 평면들로 나뉘어지고 각 대응 평면 단위로 변환행렬을 구하는 방식을 제공하기 때문에 정확도를 증가시킬 수 있다. Therefore, for example, if it is assumed that the ground is a curved surface rather than a flat surface, the method for mapping it may be complicated. Therefore, in the embodiment of the present invention, if three or more lines are designated for each camera, a symmetrical area consisting of two or more four vertices is formed. Since it can be obtained, it is divided into a number of corresponding planes, and the accuracy can be increased because a method of finding a transformation matrix in units of each corresponding plane is provided.
카메라 영상에서 검출된 객체의 좌표를 맵 좌표계로 변환하고 이렇게 생성된 객체들을 전역객체로 통합 관리하게 되면 복수의 카메라에서 촬영된 객체들이라고 하더라도 객체의 동선을 끊김없이 추적할 수 있으며 설령 두개의 카메라가 맵 상에서 겹치는 부분이 없더라도 맵 상에서 공통된 좌표로 관리하기 때문에 추후 물체의 재인식을 하기 위한 정보로도 활용할 수 있다.If the coordinates of the objects detected in the camera image are converted into the map coordinate system and the objects thus created are integrated and managed as global objects, the movement of objects can be tracked seamlessly even if they are captured by multiple cameras, and even if two cameras Even if there is no overlapping part on the map, since it is managed with common coordinates on the map, it can be used as information for re-recognizing an object in the future.
특히 전역 물체의 좌표 궤적 정보는 카메라 별로의 투영변환이 제거된 정보이기 때문에 이를 통한 이벤트 정의도 쉽게 정의되고 관리될 수 있다. 대표적인 예로 교통분야에서 좌회전 차량 탐지 및 불법 유턴 등은 일반 카메라에서는 정의되기 어려운 이벤트이지만 맵 상에서는 이벤트 규칙을 정규화할 수 있게 된다. 정규화할 수 있다는 것은 예를 들어 유턴의 궤적을 탐지한다고 가정하였을 때 일반 카메라에서는 투영변환을 하기 때문에 유턴의 궤적을 정의하기가 어렵지만 맵 좌표로 변환된 좌표계에서는 유턴의 궤적을 쉽게 적용하고 이벤트를 검출할 수 있다.In particular, since the coordinate trajectory information of the global object is information from which the projection transformation for each camera is removed, event definition can be easily defined and managed through this information. For example, in the traffic field, detection of left-turning vehicles and illegal U-turns are events that are difficult to define with a general camera, but event rules can be normalized on the map. For example, when it is assumed that the trajectory of a U-turn is detected, it is difficult to define the trajectory of the U-turn because a normal camera performs projection transformation. can do.
도 2는 맵과 카메라에서의 대칭 라인을 설정하는 방법을 설명하기 위한 도면이다.2 is a diagram for explaining a method of setting a symmetric line in a map and a camera.
도 2에서 볼 수 있는 바와 같이, 도 1의 카메라(100)는 맵상에서 2개 이상 설치되어 있으며 설치의 위치는 도 2의 카메라(100)와 같이 동일 위치에 설치하거나 서로 다른 위치에 설치될 수 있다. 도 2의 예에서는 관심 도로의 근거리(예: 100m 이내)를 모니터링하는 카메라와 원거리(예: 80m이상-200m 이내)를 줌인하여 관찰하는 카메라가 있다. As can be seen in FIG. 2 , two or
맵에서 기준을 삼을 대칭 라인들을 지정한다. 도 2의 예에서는 3개의 라인을 추가하였다. 그리고 각각의 카메라(100)마다 맵에서 설정한 대칭 라인과 대응되는 라인을 설정한다. 첫번째 카메라에서는 2개의 대칭라인(예: ①, ②)을 지정하였다. 두번째 카메라에서도 2개의 대칭라인(예: ②, ③)을 지정하였다.Specifies the symmetric lines to use as a reference in the map. In the example of FIG. 2, three lines are added. In addition, a line corresponding to the symmetric line set in the map is set for each
각 카메라 영상에서 대칭라인을 지정할 때 맵에서 지정된 라인과의 연관 관계를 알 수 있도록 인덱스 값을 지정해야 한다.When designating a symmetric line in each camera image, you must designate an index value so that you can know the relationship with the designated line on the map.
그리고 각 라인을 지정할 때에는 라인의 지정 방향이 동일해야 한다. 지정 방향이 동일해야 하는 이유는 라인쌍으로 구성되는 4개의 정점으로 호모그래피를 구하려면 대응점 들이 각각 일치해야 하기 때문이다. 이를 위하여 라인을 구성하는 각 정점에 방향을 알 수 있도록 별도의 표식을 하여 구분할 수 있다. 도 2에서는 시작점을 원형, 종료점을 마름모로 하였다. 라인의 지정 방향이 맞는지 쉽게 알 수 있도록 하는 또다른 방법에는 두 라인쌍에 의하여 구성되는 평면을 그리는 방법이 사용될 수 있다. 따라서, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.And when designating each line, the designation direction of the lines must be the same. The reason why the designation direction must be the same is that the corresponding points must coincide to obtain a homography with four vertices composed of a line pair. To this end, each vertex constituting the line can be distinguished by putting a separate mark so that the direction can be known. In Fig. 2, the starting point is a circle, and the ending point is a rhombus. Another method of making it easy to know whether the specified direction of a line is correct may be a method of drawing a plane composed of two line pairs. Therefore, the embodiment of the present invention will not be particularly limited to any one form.
도 3은 도 1의 복수의 카메라 기반 객체 추적 시스템에서의 카메라 관계 및 대칭 라인을 설정하고, 호모그래피를 구하는 과정을 설명하기 위한 도면이다.FIG. 3 is a diagram for explaining a process of setting a camera relationship and a symmetric line and obtaining a homography in the plurality of camera-based object tracking system of FIG. 1 .
설명의 편의상 도 3을 도 1과 함께 참조하면, 객체 추적 시스템(90)에서는 맵은 하나 이상으로 구성될 수 있으며 카메라(100)들도 복수 개의 카메라들로 구성될 수 있다.Referring to FIG. 3 together with FIG. 1 for convenience of description, in the
카메라(100)와 맵의 관계 등록에서는 맵과 연관되어 있는 카메라를 지정하는 단계이다(S300). 각 맵은 연관되어 있는 카메라 정보를 리스트로 관리된다. 복수의 맵을 등록하기 위한 사용자 인터페이스가 제공된다. 복수의 카메라(100)를 등록할 수 있는 사용자 인터페이스가 제공된다. 또한 맵과 카메라를 관계를 맺어주는 사용자 인터페이스가 제공될 수 있다. 예를 들어, 객체추적장치(120)에 연계하여 동작하는 관리자 등의 사용자 단말장치 또는 관리자 단말장치로부터 사용자 인터페이스(예: 서비스 화면 등)를 통해 설정이 이루어질 수 있다.In the registration of the relationship between the
맵 영상(혹은 맵 데이터)에서의 캘리브레이션 라인 추가 단계(S310)에서는 맵 영상에서 캘리브레이션 라인을 추가하면서 추가한 라인별로 식별정보(ID)가 부여된다. 또한 라인이 지정되는 방향이 표시될 수 있어야 한다. 따라서, 라인의 방향이 지정될 수 있다.In the step of adding a calibration line to the map image (or map data) ( S310 ), identification information (ID) is given to each line added while adding the calibration line to the map image. It must also be possible to indicate the direction in which the line is to be drawn. Thus, the direction of the line can be specified.
카메라 영상에서의 캘리브레이션 라인들 추가하는 단계(S320)에서는 맵 영상에서 설정하는 라인과 대응되는 라인을 설정하는 단계이다. 맵에서 지정한 라인과 대응되는 라인을 지정할 때 라인의 방향을 알 수 있도록 정점별로 표시하는 기능을 제공한다.The step of adding calibration lines in the camera image ( S320 ) is a step of setting a line corresponding to a line set in the map image. When designating the line corresponding to the line specified on the map, it provides a function to display each vertex so that the direction of the line can be known.
대응 라인쌍 별로 대칭 영역을 구하는 단계(S330)에서는 호모그래피 행렬을 얻기 위하여 4개의 대칭 점으로 구성된 폴리곤(polygon) 영역을 구하는 단계이다. 올바른 순서와 방향으로 대응 라인을 지정하였는지를 알 수 있도록 폴리곤 영역을 화면에 표출하는 방법을 제공한다.In step S330 of obtaining a symmetric area for each pair of corresponding lines, a polygon area composed of four symmetric points is obtained in order to obtain a homography matrix. It provides a method of displaying the polygon area on the screen so that you can know whether the corresponding lines are specified in the correct order and direction.
마지막으로 대응 영역 별로 호모그래피 매트릭스를 계산하는 단계(S340)이다. 각 카메라(100)의 영상에서 맵 영상으로 대응되는 영역정보와 호모그래피 정보는 함께 저장되어야 한다. 카메라에서 정의된 4정점으로 구성된 폴리곤 좌표는 카메라의 객체 좌표가 어떠한 변환행렬에 적용할지에 대한 판단 용도이고, 맵에서 정의된 4정점으로 구성된 폴리곤 좌표는 맵 영상내에서 실측 위치 좌표값으로 변환할 때 사용된다.Finally, it is a step of calculating a homography matrix for each corresponding region (S340). Region information and homography information corresponding to the map image in the image of each
상기한 내용 이외에도 도 3의 객체추적장치(120)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신한다.In addition to the above, the
도 4는 맵과 카메라에서 설정한 대응되는 2개 라인으로 대응되는 4개의 정점으로 구성되는 대응 평면을 구성하고 각 평면마다 맵 좌표로 변환하기 위한 호모그래피를 구하기 위한 방법을 설명하는 도면이다.4 is a view for explaining a method for obtaining a homography for constructing a corresponding plane composed of four vertices corresponding to two corresponding lines set in a map and a camera, and converting the corresponding planes into map coordinates for each plane.
설명의 편의상 도 4를 도 1 및 도 2와 함께 참조하면, 도 2에서 설정된 라인들로부터 각 카메라(100)와 맵과의 대응되는 평면을 구성한다. 첫번째 카메라에서 생성된 영역과 맵 카메라(혹은 맵 데이터)의 대응영역으로 맵핑되는 호모그래피 매트릭스 H1을 구한다. 두번째 카메라에서 생성된 영역과 맵 카메라의 대응영역으로 맵핑되는 호모그래피 매트릭스 H2을 구한다.For convenience of explanation, referring to FIG. 4 together with FIGS. 1 and 2 , a corresponding plane between each
도 2에서의 호모그래피 매트릭스는 카메라 영상과 맵 영상에서 라인설정방식에 의하여 생성된 4정점으로 구성된 평면상의 좌표를 변환하며 <수학식1>과 같이 투영변환(Projective Transformation)에 의하여 표현될 수 있다. The homography matrix in FIG. 2 transforms the coordinates on a plane composed of 4 vertices generated by the line setting method in the camera image and the map image, and can be expressed by projection transformation as in <Equation 1>. .
위의 수학식에서 (x,y)는 카메라 영상에서의 좌표이고 (X,Y)는 맵 영상에서의 좌표이다. (a1, ...., a8)는 (x,y)와 (X,Y) 사이의 맵핑 관계를 정의하는 변환 파라미터들이고, λ는 0이 아닌 임의의 값을 갖는 스케일 값이다. 상기에서 한 개의 특징점 대응쌍이 주어지면 미지수 (a1, ...., a8)로 구성된 2개의 방정식을 얻을 수 있다. 따라서 4개의 정점 대응쌍들이 주어지면 총 8개의 연립 방정식으로부터 변환 파라미터 (a1, ...., a8)를 구할 수 있다.In the above equation, (x,y) is the coordinates in the camera image, and (X,Y) is the coordinates in the map image. (a 1 , ...., a 8 ) are transformation parameters defining a mapping relationship between (x,y) and (X,Y), and λ is a scale value having an arbitrary non-zero value. In the above, if one pair of feature points is given, two equations composed of unknowns (a 1 , ...., a 8 ) can be obtained. Therefore, given four pairs of vertices, the transformation parameters (a 1 , ...., a 8 ) can be obtained from a total of eight simultaneous equations.
도 5는 도 1의 복수 카메라 기반 객체 추적시스템(90)에서의 각 카메라(100)의 추적 물체를 맵 좌표로 변환하는 과정을 설명하는 도면으로서, 카메라 좌표계를 맵 좌표로 변환하는 부 즉 좌표 변환부(122)와 맵기반 전역객체 생성부(123), 그리고 전역 추적객체 기반 이벤트 검출부(125)에서 수행되는 과정을 설명하기 위한 도면이다.5 is a diagram for explaining a process of converting a tracking object of each
설명의 편의상 도 5를 도 1과 함께 참조하면, 도 1에 도시한 객체추적장치(120)의 객체 검출 추적부(121)에서 각 카메라 영상을 기반으로 물체를 검출하고 추적하는 단계이다(S500). 복수 카메라 기반 객체 검출 시스템(90)을 구성하는 객체 추적 장치(120) 내에서 검출할 수도 있고, 또한 외부에서 검출한 객체를 수신받을 수 있다. 따라서, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.Referring to FIG. 5 together with FIG. 1 for convenience of explanation, it is a step of detecting and tracking an object based on each camera image in the object detection and tracking unit 121 of the
각 카메라(100)에서 검출된 객체가 각 카메라 영상에서 설정된 대응 영역 내에 있는지를 판단한다(S501). 해당 객체의 좌표를 변환하게 될 H 매트릭스를 찾기 위함이다. 객체가 각 카메라(100)에 설정된 대응 영역 내에 존재하지 않는 경우 해당 객체와 가장 인접한 영역을 검색한다(S502). It is determined whether the object detected by each
객체를 변환할 대응 영역을 찾았으면 대칭 영역에 대응되는 호모그래피 행렬을 적용해 맵 좌표로 변환한다(S503).When the corresponding area to transform the object is found, the homography matrix corresponding to the symmetric area is applied to convert the object into map coordinates (S503).
맵 좌표로 변환된 지역 객체 좌표는 카메라 단위로 묶어서 전역 객체 생성부(123)에 전달되게 된다. The local object coordinates converted into map coordinates are grouped in camera units and transmitted to the
맵기반 전역객체 생성부(123)에서는 카메라 단위로 전달된 객체 좌표를 전달받아 관리한다(S505). 각 카메라(100)에서 수신받은 객체의 객체 좌표들이 정확하게 맵좌표로 맵핑되면 동일 물체에 대해서는 위치 및 객체의 속성 정보를 이용하여 병합하게 된다(S506). The map-based global
통합 객체 리스트 생성 및 관리 단계(S506)에서는 물체를 병합한 후 전역 객체를 생성하고 관리하게 된다. In the integrated object list creation and management step (S506), after merging objects, a global object is created and managed.
통합된 객체는 맵 좌표계로 운영되기 때문에 이 좌표계를 기준으로 한 물체의 속성을 추출한다(S507). 맵 좌표계가 GIS를 기반한 데이터의 경우 GPS 좌표 정보를 통하여 실측 정보를 얻어낼 수 있다. 또한 GIS 기반이 아닌 경우에도 사용자가 실측 정보를 수동으로 입력하는 방식도 실측 단위의 정보를 얻어낼 수 있다. 사용자가 수동으로 입력하는 방법은 라인을 설정할 때 실측 위치 값을 지정하는 방식이 사용될 수 있다. 실측 정보(혹은 실환경에서의 물체 정보)에는 물체속도(km/h), 물체의 크기, 물체의 실측단위의 위치값을 얻어낼 수 있으며 이러한 정보는 향후 이벤트를 검출하거나 물체의 속성을 추출하여 정보를 제공하는 데 사용될 수 있다.Since the integrated object is operated in the map coordinate system, the properties of the object are extracted based on this coordinate system (S507). In the case of data whose map coordinate system is GIS-based, actual measurement information can be obtained through GPS coordinate information. In addition, even when not based on GIS, the method in which the user manually inputs the measurement information can also obtain information in the measurement unit. A method of manually input by the user may be a method of designating a measured position value when setting a line. Object speed (km/h), size of object, and location value of the actual measurement unit of the object can be obtained from the actual measurement information (or object information in the real environment). It can be used to provide information.
상기한 내용 이외에도 도 1의 객체추적장치(120)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 살명하였으므로 그 내용들로 대신한다.In addition to the above, the
도 6은 본 발명의 다른 실시예에 따른 객체추적장치의 세부구성을 예시한 블록다이어그램이다.6 is a block diagram illustrating a detailed configuration of an object tracking apparatus according to another embodiment of the present invention.
도 6에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 객체추적장치(120')는 통신 인터페이스부(600), 제어부(610), 라인기반 캘리브레이션부(620) 및 저장부(630)의 일부 또는 전부를 포함한다.As shown in FIG. 6 , the
여기서, "일부 또는 전부를 포함한다"는 것은 저장부(630)와 같은 일부 구성요소가 생략되어 구성되거나, 라인기반 캘리브레이션부(620)와 같은 일부 구성요소가 제어부(610)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.Here, “including some or all” means that some components such as the
통신 인터페이스부(600)는 가령 통신망을 경유하여 도 1의 카메라(100) 또는 영상분석장치(110)와 각각 통신한다. 물론 통신 인터페이스부(600)는 데스크탑컴퓨터, 랩탑컴퓨터, 태블릿PC, 차량용 블랙박스 등을 사용하는 사용자 단말장치나 관리자 단말장치와 통신하여 USB 등에 저장되어 있는 촬영영상을 수신하는 것도 얼마든지 가능하므로 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다. 통신 인터페이스부(600)는 카메라(100)나 영상분석장치(110)로부터 제공되는 촬영영상 또는 영상분석결과를 수신하여 제어부(610)로 제공한다.The
이의 과정에서 통신 인터페이스부(600)는 변/복조, 먹싱/디먹싱, 인코딩/디코딩, 해상도를 변환하는 스케일링 등의 동작을 수행할 수 있으며, 이는 당업자에게 자명하므로 더 이상의 설명은 생략한다.In this process, the
제어부(610)는 도 6의 객체추적장치(120')를 구성하는 통신 인터페이스부(600), 라인기반 캘리브레이션부(620) 및 저장부(630)의 전반적인 제어 동작을 담당한다. 제어부(610)는 통신 인터페이스부(600)에서 제공되는 촬영영상이나 영상분석결과를 저장부(630)에 임시 저장한 후 불러내어 라인기반 캘리브레이션부(620)에 제공할 수 있다. 또한, 제어부(610)는 라인기반 캘리브레이션부(620)의 요청에 따라 관리자 단말장치 등으로 UI 화면을 제공하여 사용자 인터페이스 동작이 이루어지도록 한다.The
이외에도 제어부(610)는 라인기반 캘리브레이션부(620)와 본 발명의 실시예에 따른 다양한 동작을 수행할 수 있다. 예를 들어, 도 3에서와 같이 데이터 구축 동작이 이루어질 수 있다. 다시 말해, 임의 지역(혹은 전역)에 대한 맵 데이터를 확보하여 해당 지역에서 감시 동작을 수행하는 카메라와 관계를 등록할 수 있다. 여기서, 임의 지역은 복수의 카메라에 의해 감시되는 감시 구역을 포함하는 영역이다. 예를 들어, 맵 데이터를 확보할 때 행정구역상 가령 시나 군, 또는 구 단위의 맵 데이터를 사용할 수 있으나, 이의 경우에는 데이터량이 많아 연산 처리 부담이 있을 수 있으므로, 해당 지역의 맵 데이터를 확보하여 복수의 영역으로 분할하여 사용하는 것도 얼마든지 가능하므로 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다. 물론 분할 영역 또한 복수의 카메라에 의한 감시 구역을 포함하는 영역일 수 있다.In addition, the
따라서, 제어부(610)는 확보한 임의 지역의 맵 데이터상에, 더 정확하게는 맵 데이터에 반영되는 있는 실환경에서 어떠한 카메라가 배치되어 사용되고 있는지 사용자 또는 관리자와의 인터페이스에 의해 관계를 등록한다. 물론 특정 조건을 만족할 때 자동으로 등록되는 것도 얼마든지 가능하므로 본 발명의 실시예에서는 수동으로 관계를 등록하는 것에 특별히 한정하지는 않을 것이다. 데이터에 식별번호를 부여하고, 카메라에 식별번호를 부여하여 서로 매칭하는 형태로 관계 등록이 이루어질 수 있다. 그리고, 제어부(610)는 맵에 라인을 추가하고, 또 카메라의 촬영 영상에서 라인을 추가하고 서로 대응되는 라인 쌍별로 대칭영역을 구한다. 이는 도 4에서 이미 설명한 바 있다. 나아가, 제어부(610)는 구한 대칭영역, 다시 말해 맵 데이터상의 제1 지면영역과, 촬영영상 내의 제2 지면영역의 대응 관계를 계산한다. 호모그래피(H)를 계산하며, 이는 <수학식 1>에서 변환 파라미터 (a1, ...., a8)의 형태로 생성될 수 있다.Accordingly, the
따라서, 임의 지역의 감시 구역을 촬영하는 각 카메라의 촬영영상 내의 객체들에 대하여 카메라 좌표값, 더 정확하게는 카메라에 의해 촬영된 촬영영상 내의 좌표값에 호모그래피(H)의 변환 행렬을 적용하게 되면, 맵 데이터상의 좌표값을 얻을 수가 있고, 해당 좌표값의 맵 데이터상에는 촬영영상 내의 객체들에게 대응되는 물체들의 실제 위치, 크기 및 속도 등의 값이 맵핑되어 있을 수 있다. 따라서, 영상 내에서의 추적 객체들에 대한 이벤트 판단시 맵 데이터상에서 특정 물체에 맵핑되어 있는 값들을 이용하게 되면, 실환경에서와 같은 정확한 이벤트의 도출이 가능하다. 이를 통해 촬영영상만을 통해 이벤트를 판단하는 것에 비해 이벤트 검출 등의 정확도를 높일 수 있을 것이다. 제어부(610)는 이러한 동작에 관여할 수 있다.Therefore, when the transformation matrix of homography (H) is applied to the camera coordinate values for the objects in the captured image of each camera that shoot the monitoring area of an arbitrary area, or more precisely, to the coordinate values in the captured image captured by the camera, , coordinate values on the map data may be obtained, and values such as actual positions, sizes, and speeds of objects corresponding to objects in the captured image may be mapped on the map data of the corresponding coordinate values. Accordingly, if the values mapped to the specific object on the map data are used when determining the event for the tracking objects in the image, it is possible to derive the exact event as in the real environment. Through this, it will be possible to increase the accuracy of event detection compared to judging an event through only the captured image. The
라인기반 캘리브레이션부(620)는 본 발명의 실시예에 따른 다양한 동작을 수행한다. 예를 들어, 데이터 구축을 위한 사용자 인터페이스 동작을 수행한다. 맵 데이터상의 지면을 기준으로 하는 제1 지면영역과 해당 제1 지면영역에 대응되는 카메라별 제2 지면영역을 관계짓기 위한 동작을 수행한다. 이를 위하여 라인기반 캘리브레이션부(620)는 사용자로부터 수신되는 2개의 수평라인을 이용한 방식으로 서로 대응되는 대응 영역을 정의하고, 대응 영역별로 호모그래피를 계산하여 매트릭스 형태의 변환 행렬값을 기저장한다.The line-based
또한, 라인기반 캘리브레이션부(620)는 촬영영상의 분석결과로서 객체의 추적 결과가 수신되면, 물론 촬영영상이 수신되는 경우에는 객체를 영상 내에서 검출하고, 검출한 객체의 추적 결과를 생성할 수 있지만, 어떠한 방식으로든 객체 추적 결과를 수신한다는 가정하에 라인기반 캘리브레이션부(620)는 해당 추적 객체들에 위의 기저장한 변환 행렬을 적용하여 맵 데이터 상의 좌표값을 얻어낸다. 다시 말해, 카메라 촬영영상 내의 a 객체는 맵 데이터의 좌표값을 변환되는 경우 해당 a 객체를 나타내는 실환경에서의 a' 객체 즉 물체가 되는 것이므로, 영상 내의 추적 객체와 관련한 실환경에서의 정확한 위치나 속성을 알기 위하여 맵 데이터의 좌표값에 맵핑되어 있는 물체의 위치나 속성 데이터를 이용함으로써 이벤트 검출의 정확도를 증가시킬 수 있게 된다. 물론 라인기반 캘리브레이션부(620)는 추적 객체가 대응 영역 내에 없는 경우에는 도 5에서와 같이 객체가 가장 근접한 대응 영역을 검색하고 이를 이용하여 맵 좌표 변환을 수행하고, 변환된 맵 좌표값을 이용한다.In addition, the line-based
저장부(630)는 제어부(610)의 제어하에 처리되는 다양한 유형의 데이터를 임시 저장한 후 출력할 수 있다. 저장부(630)는 롬(ROM), 램(RAM), HDD 형태의 메모리를 포함할 수 있으며, 소프트웨어적인 레지스트리 등의 메모리를 포함할 수도 있다. 저장부(630)는 위의 호모그래피 변환 행렬을 이용하여 좌표변환을 위한 연산 동작을 수행할 수 있지만, 해당 변환행렬이 적용된 값들을 룩업테이블(LUT) 형태로 생성하여 저장한 후 이를 이용할 수 있다. 이의 경우에는 연산 처리 속도가 빠르게 증가할 수 있을 것이다.The
상기한 내용 이외에도 도 6의 통신 인터페이스부(600), 제어부(610), 라인기반 캘리브레이션부(620) 및 저장부(630)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.In addition to the above, the
본 발명의 실시예에 따른 도 6의 통신 인터페이스부(600), 제어부(610), 라인기반 캘리브레이션부(620) 및 저장부(630)는 서로 물리적으로 분리된 하드웨어 모듈로 구성되지만, 각 모듈은 내부에 상기의 동작을 수행하기 위한 소프트웨어를 저장하고 이를 실행할 수 있을 것이다. 다만, 해당 소프트웨어는 소프트웨어 모듈의 집합이고, 각 모듈은 하드웨어로 형성되는 것이 얼마든지 가능하므로 소프트웨어니 하드웨어니 하는 구성에 특별히 한정하지 않을 것이다. 예를 들어 저장부(630)는 하드웨어인 스토리지(storage) 또는 메모리(memory)일 수 있다. 하지만, 소프트웨어적으로 정보를 저장(repository)하는 것도 얼마든지 가능하므로 위의 내용에 특별히 한정하지는 않을 것이다.The
한편, 본 발명의 다른 실시예로서 제어부(610)는 CPU 및 메모리를 포함할 수 있으며, 원칩화하여 형성될 수 있다. CPU는 제어회로, 연산부(ALU), 명령어해석부 및 레지스트리 등을 포함하며, 메모리는 램을 포함할 수 있다. 제어회로는 제어동작을, 그리고 연산부는 2진비트 정보의 연산동작을, 그리고 명령어해석부는 인터프리터나 컴파일러 등을 포함하여 고급언어를 기계어로, 또 기계어를 고급언어로 변환하는 동작을 수행할 수 있으며, 레지스트리는 소프트웨어적인 데이터 저장에 관여할 수 있다. 상기의 구성에 따라, 가령 객체추적장치(120)의 동작 초기에 라인기반 캘리브레이션부(620)에 저장되어 있는 프로그램을 복사하여 메모리 즉 램(RAM)에 로딩한 후 이를 실행시킴으로써 데이터 연산 처리 속도를 빠르게 증가시킬 수 있다.Meanwhile, as another embodiment of the present invention, the
도 7은 본 발명의 다른 실시예에 따른 도 1의 객체추적장치의 구동과정을 나타내는 흐름도이다.7 is a flowchart illustrating a driving process of the object tracking apparatus of FIG. 1 according to another embodiment of the present invention.
설명의 편의상 도 7을 도 1과 함께 참조하면, 본 발명의 실시예에 따른 객체추적장치(120)는 임의 지역의 맵 데이터상의 제1 지면 영역과, 임의 지역의 감시 구역을 감시하는 각 카메라의 촬영영상에 포함되어 제1 지면 영역에 대응하는 제2 지면 영역의 변환 관계에 대한 정보를 저장한다(S700).For convenience of explanation, referring to FIG. 7 together with FIG. 1 , the
이를 위하여 객체추적장치(120)는 제1 지면 영역과 제2 지면 영역의 생성에 필요한 정보를 사용자 인터페이스에 의해 제공할 수 있으며, 여기서 필요 정보는 2개 이상의 수평 라인 또는 대칭 라인일 수 있다. 여기서, 수평 라인은 동일 지면 영역에 형성되는 것을 의미하며, 대칭 라인은 서로 다른 지면 영역에서 서로 대응하는 라인을 의미할 수 있다. 그러나, 본 발명의 실시예에서는 그러한 용어의 개념에 특별히 한정하지는 않을 것이다.To this end, the
또한, 객체추적장치(120)는 각 카메라의 촬영 영상 내 객체들에 대한 추적 결과 및 저장한 변환 관계에 대한 정보를 근거로 추적 객체들의 맵 데이터상의 맵 좌표에 매칭되는 물체들의 위치 및 속성 정보를 추출하며, 추출한 위치 및 속성 정보를 근거로 추적 객체들과 관련한 이벤트를 처리한다(S710).In addition, the
예를 들어, 본 발명의 실시예에 따른 객체추적장치(120) 더 정확하게는 영상처리장치는 임의 지역에 대한 맵 데이터를 획득하여, 획득 맵 데이터를 바닥판과 같이 복수의 소영역으로 구분하여 각 영역마다 좌표를 설정하여 좌표값을 생성할 수 있다. 각 좌표에는 맵 데이터상의 실제 물체, 가령 건물이나 신호등 등의 사물 등이 있을 수 있으며, 위의 맵 좌표의 설정에 따라 맵 데이터상의 물체들에는 좌표값이 부여될 수 있다. 따라서, 해당 맵 좌표값과 매칭시켜 해당 물체의 실측 위치 좌표값, 가령 GPS 좌표값, 물체 속도, 물체의 크기와 관련한 실측정보 즉 실환경에서의 실제 정보를 저장하고 이를 이용하면 이벤트 검출시 정확도를 높일 수 있다. 위에서와 같은 맵핑 방식이라 명명될 수 있다. 다시 말해, 카메라에서 촬영된 촬영영상 내의 객체들에 대응하는 실제 물체를 맵 데이터상에서 찾고, 그 찾은 실제 물체에 맵핑되어 있는 실측 정보 또는 실측 데이터를 이용하는 경우, 이벤트의 판단이 더욱 정밀해 질 수 있다. 물론, 이벤트를 판단하기 위하여 룰(rule) 기반으로 설정되는 정책을 이용하거나, 딥러닝 등을 통해 이벤트를 검출한다. 예를 들어, 카메라 영상의 분석 결과 2대의 차량이 접촉하고 있는 경우 접촉 사고로 판단하는 것이 대표적이며, 실환경의 실측 데이터를 이용하는 경우에는 그 접촉 사고의 판단 정확도가 더욱 증가할 수 있을 것이다.For example, the
상기한 내용 이외에도 도 1의 객체추적장치(120)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.In addition to the above, the
한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.On the other hand, even though it has been described that all components constituting the embodiment of the present invention are combined or operated in combination, the present invention is not necessarily limited to this embodiment. That is, within the scope of the object of the present invention, all the components may operate by selectively combining one or more. In addition, all of the components may be implemented as one independent hardware, but a part or all of each component is selectively combined to perform some or all of the combined functions in one or a plurality of hardware program modules It may be implemented as a computer program having Codes and code segments constituting the computer program can be easily inferred by those skilled in the art of the present invention. Such a computer program is stored in a computer-readable non-transitory computer readable media, read and executed by the computer, thereby implementing an embodiment of the present invention.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.Here, the non-transitory readable recording medium refers to a medium that stores data semi-permanently and can be read by a device, not a medium that stores data for a short moment, such as a register, cache, memory, etc. . Specifically, the above-described programs may be provided by being stored in a non-transitory readable recording medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.In the above, preferred embodiments of the present invention have been illustrated and described, but the present invention is not limited to the specific embodiments described above, and it is common in the technical field to which the present invention pertains without departing from the gist of the present invention as claimed in the claims. Various modifications may be made by those having the knowledge of, of course, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.
100: 카메라(혹은 촬영장치) 110: 영상분석장치
120, 120': 객체추적장치 121a: 지역객체 추적부
121b: 지역객체 수신부 122: 좌표 변환부
123: 맵기반 전역객체 생성부 124: 라인기반 캘리브레이션 도구(부)
125: 전역추적 객체기반 이벤트 검출부 126: 전역객체 화면 표출부
127: 전역객체 데이터 저장 및 검색부 600: 통신 인터페이스부
610: 제어부 620: 라인기반 캘리브레이션부
630: 저장부100: camera (or recording device) 110: image analysis device
120, 120': object tracking
121b: local object receiving unit 122: coordinate transformation unit
123: map-based global object generator 124: line-based calibration tool (part)
125: global tracking object-based event detection unit 126: global object screen display unit
127: global object data storage and search unit 600: communication interface unit
610: control unit 620: line-based calibration unit
630: storage
Claims (10)
상기 각 카메라의 촬영 영상 내 객체들에 대한 추적 결과 및 상기 저장한 변환 관계에 대한 정보를 근거로 상기 추적 객체들의 상기 맵 데이터상의 맵 좌표에 매칭되는 물체들의 위치 및 속성 정보를 추출하며, 상기 추출한 위치 및 속성 정보를 근거로 상기 추적 객체들과 관련한 이벤트를 처리하는 제어부;를 포함하되,
상기 제어부는,
상기 임의 지역 내의 제1 카메라와 제2 카메라의 사이에 복수의 지면 영역이 설정되는 경우, 상기 설정된 복수의 지면 영역을 평면이 아닌 곡면으로 판단하여 상기 변환 관계에 대한 정보를 생성하고,
상기 제어부는,
상기 복수의 카메라의 촬영 영상에서 각각 추적되는 추적 객체들에 대하여 하나의 맵 데이터를 근거로 상기 추출한 위치 및 속성 정보를 통합 관리하여 각 추적객체의 이벤트를 처리하며,
상기 제어부는,
상기 맵 데이터상에 설정되는 제1 라인과 상기 촬영영상에 설정되는 제2 라인을 근거로 서로 대응하는 상기 제1 지면 영역 및 상기 제2 지면 영역을 생성해 변환 관계를 계산하고,
상기 제어부는,
상기 각 카메라의 촬영영상에 포함되는 상기 제2 지면 영역에 상기 제2 라인을 설정할 때 상기 맵 데이터상의 제1 지면 영역에 설정하는 상기 제1 라인과의 연관 관계를 알 수 있는 인덱스값을 설정하며, 각 라인을 지정할 때 상기 라인의 지정 방향을 동일하게 지정하는 객체추적장치.A transformation relationship between a first ground area on map data of an arbitrary area and a second ground area included in the captured image of each camera monitoring the monitoring area of the arbitrary area and corresponding to the first ground area a storage unit for storing information about the; and
Extracting location and property information of objects matching the map coordinates on the map data of the tracking objects based on the tracking result of the objects in the captured image of each camera and the stored transformation relationship information, A control unit that processes an event related to the tracking objects based on location and attribute information; including,
The control unit is
When a plurality of ground areas are set between the first camera and the second camera in the arbitrary area, it is determined that the plurality of set ground areas are curved rather than flat, and information about the transformation relationship is generated,
The control unit is
Processes an event of each tracking object by integrating and managing the extracted location and attribute information based on one map data for each tracking object tracked in the captured images of the plurality of cameras,
The control unit is
calculating a transformation relationship by generating the first ground area and the second ground area corresponding to each other based on the first line set on the map data and the second line set on the captured image;
The control unit is
When the second line is set in the second ground area included in the captured image of each camera, an index value is set for identifying a correlation with the first line set in the first ground area on the map data, , an object tracking device that designates the same direction of the line when designating each line.
상기 제어부는, 상기 제1 지면 영역에 설정되는 2개의 수평 라인과 상기 제2 지면 영역에 설정되는 2개의 수평 라인을 상기 제1 라인과 상기 제2 라인으로 각각 이용하는 객체추적장치.According to claim 1,
The control unit may be configured to use two horizontal lines set in the first ground area and two horizontal lines set in the second ground area as the first line and the second line, respectively.
상기 저장부는, 상기 위치 및 속성정보로서 상기 맵 데이터상의 물체들에 대한 속도, 크기 및 실측 단위의 위치값을 맵핑하여 저장하는 객체추적장치.According to claim 1,
The storage unit, as the location and attribute information, an object tracking device for mapping and storing the speed, size, and location values of the measured units of the objects on the map data.
상기 제어부는, 상기 추적 객체들이 포함되는 대응 영역이 없는 경우 거리가 가까운 대응 영역을 이용해 좌표 변환 동작을 수행하는 객체추적장치.According to claim 1,
The control unit, when there is no corresponding area in which the tracking objects are included, an object tracking device for performing a coordinate transformation operation using a corresponding area having a close distance.
제어부가, 상기 각 카메라의 촬영 영상 내 객체들에 대한 추적 결과 및 상기 저장한 변환 관계에 대한 정보를 근거로 상기 추적 객체들의 상기 맵 데이터상의 맵 좌표에 매칭되는 물체들의 위치 및 속성 정보를 추출하며, 상기 추출한 위치 및 속성 정보를 근거로 상기 추적 객체들과 관련한 이벤트를 처리하는 단계;를 포함하되,
상기 처리하는 단계는,
상기 임의 지역 내의 제1 카메라와 제2 카메라의 사이에 복수의 지면 영역이 설정되는 경우, 상기 설정된 복수의 지면 영역을 평면이 아닌 곡면으로 판단하여 상기 변환 관계에 대한 정보를 생성하는 단계;
상기 복수의 카메라의 촬영 영상에서 각각 추적되는 추적 객체들에 대하여 하나의 맵 데이터를 근거로 상기 추출한 위치 및 속성 정보를 통합 관리하여 각 추적객체의 이벤트를 처리하는 단계;
상기 맵 데이터상에 설정되는 제1 라인과 상기 촬영영상에 설정되는 제2 라인을 근거로 서로 대응하는 상기 제1 지면 영역 및 상기 제2 지면 영역을 생성해 변환 관계를 계산하는 단계; 및
상기 각 카메라의 촬영영상에 포함되는 상기 제2 지면 영역에 상기 제2 라인을 설정할 때 상기 맵 데이터상의 제1 지면 영역에 설정하는 상기 제1 라인과의 연관 관계를 알 수 있는 인덱스값을 설정하며, 각 라인을 지정할 때 상기 라인의 지정 방향을 동일하게 지정하는 단계;를
포함하는 객체추적장치의 구동방법.Information on a transformation relationship between a storage unit, a first ground area on map data of an arbitrary area, and a second ground area corresponding to the first ground area included in a captured image of each camera monitoring the monitoring area of the arbitrary area saving the; and
The control unit extracts location and property information of objects that match the map coordinates on the map data of the tracking objects based on the tracking result for the objects in the captured image of each camera and the stored information on the transformation relationship, , processing an event related to the tracking objects based on the extracted location and attribute information;
The processing step is
generating information on the transformation relationship by determining that the plurality of set ground areas are curved rather than flat, when a plurality of ground areas are set between the first camera and the second camera in the arbitrary area;
processing an event of each tracking object by integrating and managing the extracted location and attribute information based on one map data for each tracking object tracked in the images captured by the plurality of cameras;
calculating a transformation relationship by generating the first ground area and the second ground area corresponding to each other based on a first line set on the map data and a second line set on the captured image; and
When the second line is set in the second ground area included in the captured image of each camera, an index value is set for identifying a correlation with the first line set in the first ground area on the map data, , when designating each line, designating the designation direction of the line in the same way;
A method of driving an object tracking device, including.
상기 처리하는 단계는,
상기 제1 지면 영역에 설정되는 2개의 수평 라인과 상기 제2 지면 영역에 설정되는 2개의 수평 라인을 상기 제1 라인과 상기 제2 라인으로 각각 이용하는 객체추적장치의 구동방법.7. The method of claim 6,
The processing step is
A method of driving an object tracking apparatus using two horizontal lines set in the first ground area and two horizontal lines set in the second ground area as the first line and the second line, respectively.
상기 저장하는 단계는,
상기 위치 및 속성정보로서 상기 맵 데이터상의 물체들에 대한 속도, 크기 및 실측 단위의 위치값을 맵핑하여 저장하는 객체추적장치의 구동방법.7. The method of claim 6,
The storing step is
A method of driving an object tracking apparatus for mapping and storing velocity, size, and measurement unit position values for objects on the map data as the position and attribute information.
상기 처리하는 단계는,
상기 추적 객체들이 포함되는 대응 영역이 없는 경우 거리가 가까운 대응 영역을 이용해 좌표 변환 동작을 수행하는 객체추적장치의 구동방법.7. The method of claim 6,
The processing step is
When there is no corresponding area including the tracking objects, a method of driving an object tracking device for performing a coordinate conversion operation using a corresponding area having a close distance.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210090709A KR102367782B1 (en) | 2021-07-12 | 2021-07-12 | Apparatus for Tracking Objects and Driving Method Thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210090709A KR102367782B1 (en) | 2021-07-12 | 2021-07-12 | Apparatus for Tracking Objects and Driving Method Thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102367782B1 true KR102367782B1 (en) | 2022-02-25 |
Family
ID=80490408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210090709A KR102367782B1 (en) | 2021-07-12 | 2021-07-12 | Apparatus for Tracking Objects and Driving Method Thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102367782B1 (en) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100544677B1 (en) | 2003-12-26 | 2006-01-23 | 한국전자통신연구원 | Apparatus and method for the 3D object tracking using multi-view and depth cameras |
KR101287190B1 (en) * | 2012-06-04 | 2013-07-17 | 주식회사 로드코리아 | Photographing position automatic tracking method of video monitoring apparatus |
KR101645959B1 (en) | 2014-07-29 | 2016-08-05 | 주식회사 일리시스 | The Apparatus and Method for Tracking Objects Based on Multiple Overhead Cameras and a Site Map |
KR101856488B1 (en) | 2017-09-06 | 2018-05-10 | 윤재민 | Method, apparatus and computer-readable medium for object tracking using the three-dimensional mapping |
KR101936837B1 (en) * | 2018-08-29 | 2019-01-09 | 서정원 | Map-based intelligent video integrated surveillance system and monitoring method using the same |
KR20190059395A (en) * | 2017-11-23 | 2019-05-31 | (주) 피플소프트 | Gis 3 cctv 3 cctv |
KR20210041213A (en) | 2019-10-07 | 2021-04-15 | 엘지전자 주식회사 | Method and apparatus of tracking objects using map information in autonomous driving system |
KR20210069385A (en) * | 2019-12-03 | 2021-06-11 | 한국과학기술정보연구원 | Mapping device between image and space, and computer trogram that performs each step of the device |
-
2021
- 2021-07-12 KR KR1020210090709A patent/KR102367782B1/en active IP Right Grant
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100544677B1 (en) | 2003-12-26 | 2006-01-23 | 한국전자통신연구원 | Apparatus and method for the 3D object tracking using multi-view and depth cameras |
KR101287190B1 (en) * | 2012-06-04 | 2013-07-17 | 주식회사 로드코리아 | Photographing position automatic tracking method of video monitoring apparatus |
KR101645959B1 (en) | 2014-07-29 | 2016-08-05 | 주식회사 일리시스 | The Apparatus and Method for Tracking Objects Based on Multiple Overhead Cameras and a Site Map |
KR101856488B1 (en) | 2017-09-06 | 2018-05-10 | 윤재민 | Method, apparatus and computer-readable medium for object tracking using the three-dimensional mapping |
KR20190059395A (en) * | 2017-11-23 | 2019-05-31 | (주) 피플소프트 | Gis 3 cctv 3 cctv |
KR101936837B1 (en) * | 2018-08-29 | 2019-01-09 | 서정원 | Map-based intelligent video integrated surveillance system and monitoring method using the same |
KR20210041213A (en) | 2019-10-07 | 2021-04-15 | 엘지전자 주식회사 | Method and apparatus of tracking objects using map information in autonomous driving system |
KR20210069385A (en) * | 2019-12-03 | 2021-06-11 | 한국과학기술정보연구원 | Mapping device between image and space, and computer trogram that performs each step of the device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9646212B2 (en) | Methods, devices and systems for detecting objects in a video | |
US20220319183A1 (en) | System for tracking and visualizing objects and a method therefor | |
US11334756B2 (en) | Homography through satellite image matching | |
KR102154610B1 (en) | Image Device Capable of Calculating Location of Event Occurrence and Driving Method Thereof | |
CN102959946A (en) | Augmenting image data based on related 3d point cloud data | |
KR102327872B1 (en) | Apparatus for Extracting GPS Coordinate of Image-based Tracking Object and Driving Method Thereof | |
US20220044558A1 (en) | Method and device for generating a digital representation of traffic on a road | |
CN110706278A (en) | Object identification method and device based on laser radar and camera | |
WO2020211593A1 (en) | Digital reconstruction method, apparatus, and system for traffic road | |
JP2019029935A (en) | Image processing system and control method thereof | |
JP2023064093A (en) | Traffic mark detection method and method of training traffic mark detection model | |
CN111277791B (en) | Case event monitoring method and system | |
KR101758786B1 (en) | Apparatus for determining location of special point in image and method thereof | |
KR102367782B1 (en) | Apparatus for Tracking Objects and Driving Method Thereof | |
KR101937582B1 (en) | Safety System for Walkway Monitor | |
KR102293570B1 (en) | Image Analysis Apparatus for Providing Search Service by Using Location Information of Object and Driving Method Thereof | |
TW202341006A (en) | Object tracking integration method and integrating apparatus | |
JP6546898B2 (en) | Three-dimensional space identification apparatus, method, and program | |
JP2016115082A (en) | Image search system and image search method | |
KR102446320B1 (en) | Apparatus for Map-based Object Tracking and Event Detection Based on a plurality of Cameras and Driving Method Thereof | |
CN111275823B (en) | Target associated data display method, device and system | |
CN110413843B (en) | Method and device for fusing video picture and image map | |
KR102660024B1 (en) | Method for detection road event and apparatus for the same | |
KR20240078230A (en) | Indoor navigation system using still images based on LIDAR point cloud data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GRNT | Written decision to grant |