KR101996907B1 - Apparatus for tracking object - Google Patents

Apparatus for tracking object Download PDF

Info

Publication number
KR101996907B1
KR101996907B1 KR1020180088082A KR20180088082A KR101996907B1 KR 101996907 B1 KR101996907 B1 KR 101996907B1 KR 1020180088082 A KR1020180088082 A KR 1020180088082A KR 20180088082 A KR20180088082 A KR 20180088082A KR 101996907 B1 KR101996907 B1 KR 101996907B1
Authority
KR
South Korea
Prior art keywords
tracking
camera
tilt
detection
mapping information
Prior art date
Application number
KR1020180088082A
Other languages
Korean (ko)
Inventor
장준호
이종록
Original Assignee
비티에스 유한회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 비티에스 유한회사 filed Critical 비티에스 유한회사
Priority to KR1020180088082A priority Critical patent/KR101996907B1/en
Application granted granted Critical
Publication of KR101996907B1 publication Critical patent/KR101996907B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H04N5/23296—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Disclosed are an improved method for tracking an object, configured to monitor an object at various angles by simultaneously tracking the object detected by a detection camera using a plurality of cameras, and an apparatus for tracking an object appropriate for the same. The method for tracking an object comprises the steps of: preparing mapping information by matching area coordinates recognized by the detection camera with area coordinates recognized by each of the plurality of tracking cameras while the detection camera and the plurality of tracking cameras are photographing the same area; calculating, in real time, location coordinates of the object detected by the detection camera; calculating, by each of the plurality of tracking cameras, pan, tilt, and zoom parameters for photographing the object with reference to the calculated location coordinates of the object and the mapping information; and simultaneously photographing, by the plurality of tracking cameras, the object, according to the calculated pan, tilt, and zoom parameters.

Description

객체 추적 장치 {Apparatus for tracking object}Apparatus for tracking object

본 발명은 객체 추적 방법 및 장치에 관한 것으로, 더욱 상세하게는 검지 카메라에 의해 검지된 객체(object)에 대하여 복수의 추적 카메라로 동시에 추적함으로써 다양한 각도에서 객체를 감시할 수 있는 개선된 객체 추적 방법 및 이제 적합한 객체 추적 장치에 관한 것이다.The present invention relates to an object tracking method and apparatus, and more particularly, to an improved object tracking method capable of monitoring objects at various angles by simultaneously tracking an object detected by a detection camera with a plurality of tracking cameras And now to a suitable object tracking device.

객체 추적 시스템은 감시 대상이 되는 객체를 추적하여 영상을 저장하거나 감시 영역 내에 들어온 사람의 위치를 판별하여 지능형 가전을 제어하는 등의 용도로 사용되고 있다.The object tracking system is used for tracking an object to be monitored and storing the image or for controlling the intelligent home appliance by determining the position of the person who is in the surveillance area.

공원, 항만, 옥외 주차장 등 넓은 지역을 CCTV 카메라로 감시하기 위해서 종래에는 고정된 하나의 검지 카메라와 pan/tilt/zoom 조절이 가능한 추적 카메라를 하나의 기둥(POLE)에 설치하여, 검지 카메라에서 객체 검지 시, 추적 카메라가 객체를 추적하는 영상감시 시스템을 활용하였다. 이는 검지 카메라의 영역 내에서만 감시 추적이 가능하다는 제한이 있었다.In order to monitor a large area such as a park, a port, and an outdoor parking lot with a CCTV camera, conventionally, a single fixed detection camera and a tracking camera capable of controlling pan / tilt / zoom are installed on a single pole, During detection, a tracking camera uses a video surveillance system to track objects. This has limited the ability to track surveillance only within the area of a sensing camera.

즉, 종래의 객체 추적 장치에서는 하나의 검지 카메라를 이용하여 피사체, 예컨대 사람의 이동에 대한 추적을 수행하기 때문에 피사체가 이동하여 다른 물체에 의해 겹치거나 가려지는 경우에는 검지 카메라에 의해 검출되지 않기 때문에 피사체 추적을 수행하는데 어려움이 있다.That is, in the conventional object tracking apparatus, since tracking of a moving object, for example, a person, is performed using one detection camera, when the moving object is overlapped or covered by another object, it is not detected by the detection camera It is difficult to track the subject.

도 1은 종래의 객체 추적 장치를 보이는 블록도이다.1 is a block diagram illustrating a conventional object tracking apparatus.

*도 1을 참조하면, 종래의 객체 추적 장치는 제1영상획득부(110), 객체추출부(120), 제2영상획득부(130) 및 제어부(140)를 구비한다.1, the conventional object tracking apparatus includes a first image acquiring unit 110, an object extracting unit 120, a second image acquiring unit 130, and a controller 140.

제1영상획득부(110)는 감시대상 영역 전체에 대해 전방위 검지 카메라에 의해 촬영된 복수의 전체 영상 프레임을 일정한 시간 간격으로 획득한다.The first image acquiring unit 110 acquires a plurality of entire image frames photographed by the omnidirectional detecting camera over the entire surveillance target area at regular time intervals.

객체추출부(120)는 복수의 전체 영상 프레임 중 현재 영상프레임을 구성하는 화소들과 현재 영상프레임에 시간적으로 앞서는 이전 영상프레임을 구성하는 화소들의 화소값의 차를 기초로 현재 영상 프레임으로부터 객체영상을 추출한다.The object extracting unit 120 extracts object images from the current image frame based on the difference between the pixels constituting the current image frame among the plurality of whole image frames and the pixel values of the pixels constituting the previous image frame temporally preceding the current image frame, .

객체추출부(120)에 의해 객체영상을 추출하는 방법으로, 연속하는 이전 영상프레임 및 현재 영상프레임 간의 화소값의 변화만을 이용하는 방법이 있다. 객체가 존재하지 않았던 감시대상 영역에 객체의 진입이 발생하면 전방위 검지 카메라에 의해 촬영되는 전체영상프레임에 변화가 발생하게 되며, 이는 전체영상프레임 상에서 감시대상 영역에 진입한 객체가 위치하는 영역에서의 화소값의 변화로 나타난다. 따라서 객체추출부(120)는 이전 영상프레임과 현재영상프레임을 구성하는 화소들의 화소값을 각각 비교하여 화소값에 변화가 발생한 영역을 객체영상으로 결정할 수 있다.A method of extracting an object image by the object extracting unit 120 includes a method of using only a change in pixel value between successive previous image frames and a current image frame. When an object enters an area to be monitored where the object does not exist, a change occurs in the entire image frame photographed by the omnidirectional detection camera. In this case, It appears as a change in pixel value. Accordingly, the object extracting unit 120 may compare the pixel values of the pixels constituting the current image frame with the previous image frame, respectively, and determine the region where the pixel value is changed as the object image.

객체영상을 추출하는 다른 방법으로, 복수의 이전 영상프레임을 이용하여 현재 영상프레임으로부터 객체영상을 추출하기 위한 기준을 설정할 수도 있다. 즉, 객체추출부(120)는 현재 영상프레임에 시간적으로 앞서는 복수의 이전 영상프레임을 기초로 객체영상을 추출하기 위한 배경영상을 생성하고, 배경영상을 구성하는 화소들과 현재 영상프레임을 구성하는 화소들의 화소값의 차를 기초로 객체영상을 추출할 수 있다. 복수의 이전 영상프레임에 걸쳐 화소값이 변화하지 않는 영역은 객체가 존재하지 않는 배경으로 간주되므로, 객체추출부(120)는 이를 이용하여 배경영상을 생성한다. 배경영상과 현재 영상프레임 사이에서 화소값이 변화한 영역을 객체영상으로 결정하게 되면 이전 영상프레임과 현재 영상프레임을 비교하는 경우에 비하여 보다 정확하게 객체영상을 추출할 수 있다.As another method of extracting an object image, a reference for extracting an object image from a current image frame using a plurality of previous image frames may be set. That is, the object extracting unit 120 generates a background image for extracting an object image based on a plurality of previous image frames temporally preceding the current image frame, and composes a current image frame with pixels constituting the background image The object image can be extracted based on the difference between the pixel values of the pixels. Since the area in which the pixel value does not change over a plurality of previous image frames is regarded as a background in which no object exists, the object extracting unit 120 generates a background image using it. If the area of the pixel value change between the background image and the current image frame is determined to be the object image, the object image can be extracted more accurately than when comparing the previous image frame with the current image frame.

제2영상획득부(130)는 감시대상 영역 중에서 객체영상에 대응하는 감시대상 객체에 대해 팬/틸트/줌 조절이 가능한 추적 카메라에 의해 촬영된 객체 영상 프레임을 획득한다.The second image acquiring unit 130 acquires an object image frame photographed by the tracking camera capable of pan / tilt / zoom control on the monitored object corresponding to the object image in the monitored area.

즉, 종래의 객체 추적 장치는 검지 카메라와 추적 카메라가 동일한 방향, 동일한 영역, 같은 화각을 가지고 있어서, 검지된 객체의 좌표 정보를 팬/틸트/줌 (pan/tilt/zoom) 카메라에 전송하여 객체의 좌표에 따라 pan/tilt/zoom의 파라메터 값을 컨트롤하여 팬/틸트/줌 카메라를 객체를 따라 이동시키고, 객체의 움직임에 따른 좌표 변화 정보를 피드백하여 다시 팬/틸트/줌 카메라의 PAN, TILT, ZOOM 파라메터 값을 컨트롤하였다.That is, in the conventional object tracking apparatus, the detection camera and the tracking camera have the same direction, the same area, and the same angle of view, so that the coordinate information of the detected object is transmitted to the pan / tilt / Tilt / zoom camera by moving the pan / tilt / zoom camera along the object by controlling the parameter values of pan / tilt / zoom according to the coordinates of the pan / tilt / zoom camera, , The ZOOM parameter value was controlled.

도 2는 종래의 객체 추적 장치의 동작을 보인다.2 shows the operation of a conventional object tracking apparatus.

도 2를 참조하면, 종래의 객체 추적 장치는 검지 카메라와 추적 카메라가 1:1로 매칭되어 있고, 검지 카메라의 화각에 따라 추적 카메라의 팬/틸트/줌을 매칭시켜 객체 추적을 수행한다.Referring to FIG. 2, in the conventional object tracking apparatus, a detection camera and a tracking camera are matched at a ratio of 1: 1, and object tracking is performed by matching a pan / tilt / zoom of a tracking camera according to an angle of view of a detection camera.

그렇지만 이러한 종래의 객체 추적 장치는 검지 카메라와 추적 카메라가 1 : 1로 조합된 경우만이 가능하였고, 검지 카메라와 추적 카메라가 동일한 영역, 동일한 방향인 경우만 가능하여 추적 카메라의 활용이 제한적이었다. However, such a conventional object tracking apparatus can only be used when the detection camera and the tracking camera are combined in a 1: 1 ratio, and the detection camera and the tracking camera can be used only in the same region and the same direction.

대한민국특허청 공개특허 10-2010-0103109 (2010.09.27.)Korean Patent Registration No. 10-2010-0103109 (Sep. 27, 2010) 대한민국특허청 공개특허 10-2013-0097868 (2013.09.04.)Korean Patent Publication No. 10-2013-0097868 (2013.09.04.)

본 발명은 상기의 문제점을 해결하기 위해 고안된 것으로서 팬/틸트/줌 동작이 가능한 추적 카메라와 고정된 검지 카메라의 n : n 조합이 가능한 객체 추적 방법을 제공하는 것을 그 목적으로 한다.SUMMARY OF THE INVENTION It is an object of the present invention to provide an object tracking method capable of combining n: n of a tracking camera capable of performing pan / tilt / zoom operation and a fixed detection camera.

본 발명의 다른 목적은 상기 객체 추적 방법에 적합한 객체 추적 장치를 제공하는 것에 있다.It is another object of the present invention to provide an object tracking apparatus suitable for the object tracking method.

상기의 목적을 달성하기 위한 본 발명에 따른 객체 추적 방법은 According to an aspect of the present invention,

고정된 검지 카메라에 의해 검출된 객체를 pan/tilt/zoom 조절이 가능한 복수의 추적 카메라로 동시에 추적하는 객체 추적 방법에 있어서,1. An object tracking method for simultaneously tracking an object detected by a fixed detection camera with a plurality of tracking cameras capable of pan / tilt / zoom control,

상기 검지 카메라와 상기 복수의 추적 카메라가 동일한 영역을 촬상하고 있는 상태에서 상기 검지 카메라에서 파악되는 영역 좌표와 상기 복수의 추적 카메라 각각에서 파악되는 영역 좌표를 매칭시킨 매핑 정보를 작성하는 과정;Generating mapping information that matches area coordinates grasped by the detection camera and area coordinates grasped by each of the plurality of tracking cameras while the detection camera and the plurality of tracking cameras capture the same area;

상기 검지 카메라에 의해 검출된 객체의 위치 좌표를 실시간으로 산출하는 과정;Calculating a position coordinate of the object detected by the detection camera in real time;

산출된 객체 위치 좌표 및 상기 매핑 정보를 참조하여 복수의 추적 카메라 각각이 객체를 촬상하기 위한 pan/tilt/zoom 파라메터를 산출하는 과정;Calculating a pan / tilt / zoom parameter for capturing an object of each of the plurality of tracking cameras with reference to the calculated object position coordinates and the mapping information;

산출된 pan/tilt/zoom 파라메터에 따라 상기 복수의 추적 카메라가 동시에 객체를 촬상하는 과정;을 포함한다.And capturing an object at the same time by the plurality of tracking cameras according to the calculated pan / tilt / zoom parameter.

상기의 다른 목적을 달성하는 본 발명에 따른 객체 추적 장치는According to another aspect of the present invention,

화각 및 방향이 고정된 복수의 검지 카메라; A plurality of detection cameras fixed in angle of view and direction;

pan/tilt/zoom을 제어할 수 있는 복수의 추적 카메라;a plurality of tracking cameras capable of controlling pan / tilt / zoom;

상기 검지 카메라에 의해 검지된 객체를 추적하도록 상기 추적 카메라를 제어하는 객체 추적 서버;를 포함하며,And an object tracking server for controlling the tracking camera to track the object detected by the detecting camera,

여기서, 상기 객체 추적 서버는Here, the object tracking server

상기 검지 카메라와 상기 추적 카메라와의 매핑 정보를 발생하는 매핑 정보 발생부; A mapping information generator for generating mapping information between the detection camera and the tracking camera;

상기 검지 카메라에서 발생한 영상 프레임으로부터 객체가 위치하는 좌표 (객체 위치 좌표)를 검출하는 객체 위치 좌표 검출부;An object position coordinate detector for detecting coordinates (object position coordinates) at which an object is located from an image frame generated by the detection camera;

상기 매핑 정보 발생부에서 발생된 매핑 정보와 상기 객체 위치 좌표 검출부에 의해 검출된 객체 위치 좌표를 참조하여 상기 추적 카메라에서 본 객체의 위치 좌표를 얻고, 이에 근거하여 상기 추적 카메라를 제어하기 위한 pan/tilt/zoom 파라메터를 연산하여 상기 추적 카메라에 제공하는 pan/tilt/zoom 파라메터 연산부;And a controller for obtaining position coordinates of the object viewed from the tracking camera by referring to the mapping information generated by the mapping information generating unit and the object position coordinates detected by the object position coordinate detecting unit, a pan / tilt / zoom parameter operation unit for operating the tilt / zoom parameter and providing the pan / tilt / zoom parameter to the tracking camera;

상기 추적 카메라에 의해 획득된 객체 영상을 저장하는 저장부; 및A storage unit for storing an object image obtained by the tracking camera; And

상기 매핑 정보 발생부, 상기 객체 위치 좌표 검출부, 상기 pan/tilt/zoom 파라메터 연산부를 제어하여 상기 검지 카메라에 의해 검지된 객체를 상기 추적 카메라가 추적하도록 제어하며, 상기 추적 카메라에 의해 획득된 객체 영상을 상기 저장부에 저장하도록 제어하는 제어부;를 포함하는 것을 특징으로 한다.Controlling the tracking camera to track the object detected by the detection camera by controlling the mapping information generating unit, the object position coordinate detecting unit, and the pan / tilt / zoom parameter calculating unit, And a control unit for controlling the storage unit to store the image data in the storage unit.

본 발명에 따른 객체 추적 방법 및 장치는 일정 지역내의 여러 장소의 개별 기둥(POLE)에 분산 설치된 고정형 카메라를 검지 카메라로 활용하여 검지 카메라 1대와 추적 카메라 n대의 구성으로 그루핑(GRUPPING)할 수도 있고, 필요에 따라서는 검지 카메라 n대와 추적 카메라 n대의 구성으로 그루핑하여 사각 지역을 최소화하고 추적 카메라의 활용도를 극대화하여 비용을 절감할 수 있다. The object tracking method and apparatus according to the present invention can group (group) a fixed camera, which is distributed in individual poles (POLE) at various places in a certain area, as a detection camera, and configure one detection camera and n tracking cameras If necessary, it is possible to reduce the cost by minimizing the rectangular area and maximizing the utilization of the tracking camera by grouping it into the configuration of n detection cameras and n tracking cameras.

또한 영역 좌표값의 자동 매핑(Mapping) 제네레이션을 이용하여 감시 정확성을 확대할 수 있다.In addition, monitoring accuracy can be extended using automatic mapping (mapping) generation of area coordinate values.

도 1은 종래의 객체 추적 장치를 보이는 블록도이다.
도 2는 종래의 객체 추적 장치의 동작을 보인다.
도 3은 본 발명에 따른 객체 추적 장치의 개념을 도시한다.
도 4는 본 발명에 따른 객체 검출 장치의 구동 방식을 도식적으로 보인다.
도 5는 검지 카메라와 추적 카메라를 매핑시키는 방법을 보이는 흐름도이다.
도 6은 본 발명에 따른 객체 추적 장치의 구성을 보이는 구성도이다.
도 7은 도 6에 도시된 객체 추적 서버의 상세한 구성을 보이는 구성도이다.1 is a block diagram illustrating a conventional object tracking apparatus.
2 shows the operation of a conventional object tracking apparatus.
3 shows the concept of an object tracking apparatus according to the present invention.
4 schematically shows a driving method of the object detecting apparatus according to the present invention.
5 is a flowchart showing a method of mapping a detection camera and a tracking camera.
6 is a block diagram illustrating the configuration of an object tracking apparatus according to the present invention.
7 is a block diagram showing a detailed configuration of the object tracking server shown in FIG.

이하 첨부된 도면을 참조하여 본 발명의 구성 및 동작을 상세하게 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 3은 본 발명에 따른 객체 추적 장치의 개념을 도시한다.3 shows the concept of an object tracking apparatus according to the present invention.

도 3은 1대의 검지 카메라와 n대의 추적 카메라를 조합한 경우를 도시한다. 도 3에는 1대의 검지 카메라와 4대의 추적 카메라가 도시되어 있지만 이에 한정하는 것은 아니다. 여기서, 검지 카메라(302)는 방향 및 화각이 고정된 카메라이고 추적 카메라(304)는 팬/틸트/줌 동작에 의해 방향 및 화각을 변경할 수 있는 카메라이다.Fig. 3 shows a case in which one detection camera and n tracking cameras are combined. In Fig. 3, one detection camera and four tracking cameras are shown, but the present invention is not limited thereto. Here, the detection camera 302 is a camera having a fixed direction and an angle of view, and the tracking camera 304 is a camera capable of changing a direction and an angle of view by a pan / tilt / zoom operation.

검지 카메라(302)와 4대의 추적 카메라(304)가 보는 방향과 각도가 서로 다르지만 미리 설정된 매핑 정보에 따라 하나의 객체를 4대의 추적 카메라(304)에 의해 동시에 감시함으로써 객체의 한 면이 아니라 다양한 각도에서 추적이 가능하다.Although the direction and angle of the detection camera 302 and the four tracking cameras 304 are different from each other, one object is simultaneously monitored by the four tracking cameras 304 according to the preset mapping information, It is possible to trace from an angle.

도 4는 본 발명에 따른 객체 검출 장치의 구동 방식을 도식적으로 보인다.4 schematically shows a driving method of the object detecting apparatus according to the present invention.

도 4에 도시된 바와 같이, 고정된 검지 카메라(302)가 영상 분석에 의해 객체를 검지하고, 객체의 실시간 위치 정보를 산출하여 전송한다.As shown in FIG. 4, the fixed detection camera 302 detects an object by image analysis, calculates real-time position information of the object, and transmits the real-time position information.

추적 카메라(304)는 수신된 객체의 실시간 위치 정보를 참조하여 이동 및 추적을 수행하게 된다.The tracking camera 304 performs movement and tracking by referring to the real-time position information of the received object.

검지 카메라(302)가 검지한 객체를 복수의 추적 카메라(304)가 동시에 추적하도록 하기 위해서는 검지 카메라(302)의 화각과 추적 카메라(304)의 화각을 매칭시켜 매핑하는 단계가 필요하다.A step of matching and mapping the angle of view of the detection camera 302 and the angle of view of the tracking camera 304 is required in order for the plurality of tracking cameras 304 to track the object detected by the detection camera 302 at the same time.

이를 위해서, 검지 카메라(302)와 추적 카메라(304)가 동일한 영역(예를 들어, 동일한 객체)을 촬영하고 있는 상태에서 검지 카메라(302)의 사각형 화면 영역을 추적 카메라(304)의 투시 영역으로 변환 매칭한 후, 각각의 좌표 정보를 매핑한다.For this purpose, in a state in which the detection camera 302 and the tracking camera 304 are photographing the same area (for example, the same object), the rectangular screen area of the detection camera 302 is moved to the perspective area of the tracking camera 304 After the transform matching, each coordinate information is mapped.

이는 검지 카메라(302)에게 보이는 사각형 화면 영역이 추적 카메라(304)가 보는 영역(투시 영역) 내에서 어떤 영역에 해당하는 것인지를 판단하고, 검지 카메라(302)의 사각형 화면 영역의 네 귀퉁이 좌표와 추적 카메라(304)의 투시 영역 내의 사각형 화면 영역(아마도 찌그러진 형태의 사각형)의 네 귀퉁이 좌표를 묶어서 함께 저장한다.It is determined whether a rectangular screen region visible to the detection camera 302 corresponds to an area within an area (perspective region) viewed by the tracking camera 304, and the four corner coordinates of the rectangular screen region of the detection camera 302 The coordinates of the four corners of a rectangular screen area (possibly a squared rectangle) in the perspective area of the tracking camera 304 are bundled together and stored.

검지 카메라가 보는 영역은 직선이지만 추적 카메라가 보는 영역은 직선이 아니다. The area where the detector camera looks is straight, but the area that the tracking camera sees is not straight.

검지 카메라(302)가 보는 영역은 직사각형이고 추적 카메라(304)가 보는 영역은 보는 각도가 다른 영역의 동일 화면이다. 따라서 검지카메라와 추적카메라의 영역을 사각 꼭지점의 좌표를 매칭할 때, 검지 카메라(302)는 직선으로, 추적 카메라(304)는 곡선의 좌표로 매칭을 하게 된다. An area viewed by the detection camera 302 is rectangular and an area viewed by the tracking camera 304 is the same screen in an area having a different viewing angle. Therefore, when the coordinates of the square vertex are matched with the areas of the detection camera and the tracking camera, the detection camera 302 is matched with a straight line and the tracking camera 304 is matched with the coordinates of the curved line.

직선 y = px + q(p ≠ 0), 이차곡선 f(x, y) = 0을 연립하여 f(x, px + q) = 0으로 놓게 되면, If we let f (x, px + q) = 0 in a row y = px + q (p ≠ 0) and quadratic curve f (x, y)

f(x, px + q) = 0은 x에 관한 이차식이다.f (x, px + q) = 0 is a quadratic expression for x.

이차곡선과 직선의 위치관계는 크게 두 점에서 만나는 경우, 한 점에서 만나는 경우(접하는 경우), 만나지 않는 경우로 나눌 수 있다. The positional relationship between the quadratic curve and the straight line can be broadly divided into two cases, a case where the two points meet, a case where the two curves meet, and a case where the two curves do not meet.

위치관계를 파악하기 위해서는 f(x, px + q) = 0의 판별식을 이용하면 된다.In order to grasp the positional relationship, a discriminant of f (x, px + q) = 0 may be used.

여기서는 검지카메라가 보는 영역과 추적 카메라가 보는 영역이 만나는 것 즉, 직선과 곡선이 무조건 만나는 경우만을 가정하므로,In this case, only the case where the area of the detection camera and the area of the tracking camera meet, that is, the case where the straight line and the curve meet unconditionally are assumed,

포물선 y2 = 4px 위의 점(x1, y1)에서의 접선의 방정식은 y1y = 2p(x + x1), Parabola y 2 = 4px equation of the tangent line at the point (x1, y1) of the above y1y = 2p (x + x1) ,

포물선 x2 = 4py위의 점(x1, y1)에서의 접선의 방정식은 x1x = 2p(y + y1) 이다.Equation of the tangent of the parabola x 2 = 4py point (x1, y1) above is x1x = 2p (y + y1) .

여기서, x1, y1, x2, y2는 사각형 꼭지점의 x,y 좌표이고 p는 기울기이다.Where x1, y1, x2, y2 are the x and y coordinates of the rectangle vertices and p is the slope.

이러한 수학식을 이용하여 검지 카메라(302)의 사각형 화면에 상당하는 추적 카메라(304)의 사각형 화면의 좌표를 얻는다.The coordinates of the rectangular screen of the tracking camera 304 corresponding to the rectangular screen of the detection camera 302 are obtained using this equation.

도 5는 검지 카메라와 추적 카메라를 매핑시키는 방법을 보이는 흐름도이다.5 is a flowchart showing a method of mapping a detection camera and a tracking camera.

먼저, 객체 검지 카메라(302)로 미리 설정된 영역을 촬상한다. (s402)First, the object detection camera 302 images an area set in advance. (s402)

추적 카메라(304)의 팬/틸트/줌 파라메터를 조정하여 객체 검지 카메라(302)와 동일한 영역을 촬상하도록 한다.(s404)Tilt / zoom parameter of the tracking camera 304 so as to capture the same area as the object detecting camera 302. (s404)

검지 카메라(302)의 사각형 화면 영역을 추적 카메라(304)의 투시 영역으로 변환 매칭한다. (s406) 변환 방법은 상기의 수식을 참조하여 설명한 바 있으므로 상세할 설명을 생략한다.The rectangular screen area of the detection camera 302 is converted into a sight area of the tracking camera 304 and matched. (s406) Since the conversion method has been described with reference to the above equation, a detailed description will be omitted.

각각의 좌표 정보를 매핑한다. (s408)Maps each coordinate information. (s408)

먼저, 검지 카메라(302)의 사각형 영역 네 꼭지점 좌표가 산출된다. First, the four vertex coordinates of the rectangular area of the detection camera 302 are calculated.

이어서 검지 카메라(302)에 보이는 사각형 영역의 정중앙 좌표를 함수 값으로 계산한 후, 추적 카메라(304)의 좌표 값을 산정하여 좌표 정보를 보정한다,Then, the center coordinate of the rectangular area shown in the detection camera 302 is calculated as a function value, and the coordinate information of the tracking camera 304 is calculated to correct the coordinate information.

사각형 영역은 검지 카메라(302)에서 투시하는 영역이다. The rectangular area is an area viewed by the detection camera 302.

검지 카메라(302)의 가시영역의 객체의 위치 좌표를 추적 카메라(304)의 가시 영역의 위치 좌표에 매칭하여야 추적 카메라(304)가 그 객체를 추적하게 된다.The tracking camera 304 tracks the object by matching the positional coordinates of the object in the visible region of the detection camera 302 to the positional coordinates of the visible region of the tracking camera 304. [

이러한 과정을 각각의 n대의 검지 카메라(302) 및 n대의 추적 카메라(304)에 대하여 반복하여 전체 매핑 정보를 획득한다. (s410)This process is repeated for each of the n-number of detection cameras 302 and n-number of tracking cameras 304 to obtain the entire mapping information. (s410)

획득된 매핑 정보를 저장한다.(s412)The acquired mapping information is stored (S412)

매핑 정보는 검지 카메라(302)의 식별 번호와 함께 저장된다.The mapping information is stored together with the identification number of the detection camera 302.

저장되는 매핑 정보는 다음과 같다. The mapping information to be stored is as follows.

검지 카메라 #1 ; 추적 카메라 #1 좌표 정보Detection camera # 1; Tracking camera # 1 coordinate information

추적 카메라 #2 좌표 정보Tracking camera # 2 coordinate information

, , ,                  ,,,

추적 카메라 #n 좌표 정보   Tracking camera #n coordinate information

,,,,,,

검지 카메라 #2 ; 추적 카메라 #1 좌표 정보Detection camera # 2; Tracking camera # 1 coordinate information

추적 카메라 #2 좌표 정보Tracking camera # 2 coordinate information

, , ,                  ,,,

추적 카메라 #n 좌표 정보   Tracking camera #n coordinate information

,,,,,,

검지 카메라 #n ; 추적 카메라 #1 좌표 정보Detection camera #n; Tracking camera # 1 coordinate information

추적 카메라 #2 좌표 정보Tracking camera # 2 coordinate information

, , ,                  ,,,

추적 카메라 #n 좌표 정보   Tracking camera #n coordinate information

도 6은 본 발명에 따른 객체 추적 장치의 구성을 보이는 구성도이다.6 is a block diagram illustrating the configuration of an object tracking apparatus according to the present invention.

객체 추적 장치(500)는 검지 카메라(302), 추적 카메라(304), 네트워크 장치(306), 스위칭 허브(308), 객체 추적 서버(310)를 포함한다.The object tracking device 500 includes a sensing camera 302, a tracking camera 304, a network device 306, a switching hub 308, and an object tracking server 310.

검지 카메라(302) 및 추적 카메라(304)는 현장에 설치되는 것 예를 들어, 기둥(pole)에 설치되는 것이다.The detection camera 302 and the tracking camera 304 are installed in the field, for example, at a pole.

검지 카메라(302) 및 추적 카메라(304)는 네트워크 장치(306) 및 스위칭 허브(308)를 통하여 객체 추적 서버(310)로 연결된다.The sensing camera 302 and the tracking camera 304 are connected to the object tracking server 310 via the network device 306 and the switching hub 308. [

스위칭 허브(308) 및 객체 추적 서버(310)는 상황실에 설치되는 것으로서, 원격으로 검지 카메라(302) 및 추적 카메라(304)를 운용하는 것을 가능하게 한다.The switching hub 308 and the object tracking server 310 are installed in the situation room and enable to operate the detecting camera 302 and the tracking camera 304 remotely.

여기서, 객체 추적 서버(310)는 매핑 정보 발생부(502), 객체 위치 좌표 검출부(504), pan/tilt/zoom 파라메터 연산부(506), 제어부(508) 그리고 저장부(510)로 구성된다. (도 7 참조)The object tracking server 310 includes a mapping information generator 502, an object position coordinate detector 504, a pan / tilt / zoom parameter calculator 506, a controller 508, and a storage unit 510. (See Fig. 7)

도 7은 도 6에 도시된 객체 추적 서버의 상세한 구성을 보이는 구성도이다.7 is a block diagram showing a detailed configuration of the object tracking server shown in FIG.

도 7을 참조하면, 객체 추적 장치(500)는 검지 카메라(302), 추적 카메라(304), 객체 추적 서버(310)를 포함하며, 여기서 객체 추적 서버(310)는 매핑 정보 발생부(502), 객체 위치 좌표 검출부(504), pan/tilt/zoom 파라메터 연산부(506), 제어부(508) 그리고 저장부(510)로 구성된다. 도 7에 있어서, 설명을 간략하게 하기 위하여 도 6에 도시된 네트워크 장치(306) 및 스위칭 허브(308)는 생략되어있다.7, the object tracking apparatus 500 includes a detection camera 302, a tracking camera 304, and an object tracking server 310. The object tracking server 310 includes a mapping information generator 502, An object position coordinate detection unit 504, a pan / tilt / zoom parameter calculation unit 506, a control unit 508, and a storage unit 510. In Fig. 7, the network device 306 and the switching hub 308 shown in Fig. 6 are omitted for the sake of simplicity.

매핑 정보 발생부(502)는 검지 카메라(302)와 추적 카메라(304)와의 매핑 정보를 발생한다. 매핑 정보는 상기에서 설명한 바 있으므로 상세한 설명을 생략하기로 한다.The mapping information generation unit 502 generates mapping information of the detection camera 302 and the tracking camera 304. Since the mapping information has been described above, a detailed description thereof will be omitted.

객체 위치 좌표 검출부(504)는 검지 카메라(302)에서 발생한 영상 프레임으로부터 객체가 위치하는 좌표 (이하 객체 위치 좌표라 함)를 검출한다.The object position coordinate detection unit 504 detects coordinates (hereinafter, referred to as object position coordinates) at which the object is located from the image frame generated by the detection camera 302.

pan/tilt/zoom 파라메터 연산부(306)는 저장된 매핑 정보와 객체 위치 좌표 검출부(504)에 의해 검출된 객체 위치 좌표를 참조하며, 추적 카메라(304)에서 본 객체의 위치 좌표를 얻고, 이에 근거하여 추적 카메라(304)를 제어하기 위한 pan/tilt/zoom 파라메터를 연산한다.The pan / tilt / zoom parameter operation unit 306 refers to the stored mapping information and the object position coordinates detected by the object position coordinate detection unit 504, obtains the position coordinates of the object viewed from the tracking camera 304, And calculates a pan / tilt / zoom parameter for controlling the tracking camera 304.

pan/tilt/zoom 파라메터 연산부(506)에서 연산된 pan/tilt/zoom 파라메터는 추적 카메라(304)에 제공되고, 추적 카메라(304)는 그에 제공된 pan/tilt/zoom 파라메터에 따라 방향 및 줌을 제어한다.The pan / tilt / zoom parameters calculated by the pan / tilt / zoom parameter calculator 506 are provided to the tracking camera 304 and the tracking camera 304 controls the direction and zoom according to the pan / tilt / do.

pan/tilt/zoom 파라메터에 따라 방향 및 줌을 제어함에 따라 추적 카메라(304)는 객체로 이동 및 추적을 수행하게 된다.By controlling the direction and zoom according to the pan / tilt / zoom parameter, the tracking camera 304 moves and traces to the object.

객체 위치 좌표 검출부(504)가 실시간으로 객체 위치 좌표를 산출하므로 추적 카메라(304)가 객체를 실시간으로 추적하게 된다.Since the object position coordinate detection unit 504 calculates the object position coordinates in real time, the tracking camera 304 tracks the object in real time.

저장부(508)는 객체 추적 영상을 저장한다.The storage unit 508 stores the object tracking image.

제어부(510)는 객체 추적 장치(500)의 동작을 제어하는 것으로서 마이크로 프로세서와 메모리를 포함하는 구성일 수 있다.The control unit 510 controls the operation of the object tracking apparatus 500 and may include a microprocessor and a memory.

한편, n:n 구성은 a 검지 카메라의 감시 영역을 벗어나서 b 검지 카메라의 감시 영역에 들어섰을 때 객체 위치 좌표를 검출하는 역할을 b 검지 카메라쪽으로 돌리는 것에 의해 달성될 수 있다. a 검지 카메라에서 객체의 운동 방향 및 속도를 체크하뎌 동일한 방향에 있는 b 검지 카메라와 추적 카메라(304)를 매칭시킴으로써 추적 카메라(304)가 b 검지 카메라가 검지하는 객체를 추적하게 할 수 있다.On the other hand, the n: n configuration can be achieved by turning the role of detecting the object position coordinate toward the b detection camera when the b camera is out of the monitoring area of the b camera. the tracking camera 304 can track the object detected by the b-detection camera by matching the b-detection camera and the tracking camera 304 in the same direction by checking the motion direction and speed of the object in a detection camera.

302...검지 카메라 304...추적 카메라
502...매핑 정보 발생부 504...객체 위치 좌표 산출부
506...pan/tilt/zoom 파라메터 연산부
508...제어부 510...저장부302 ... index camera 304 ... tracking camera
502 ... mapping information generator 504 ... object position coordinate calculator
506 ... pan / tilt / zoom parameter operating unit
508 ... control unit 510 ... storage unit

Claims (1)

일정 지역내의 여러 장소의 개별 기둥(POLE)에 분산 설치되며 화각 및 방향이 고정된 복수의 검지 카메라;
일정 지역내의 여러 장소의 개별 기둥(POLE)에 분산 설치되며 pan/tilt/zoom을 제어할 수 있는 복수의 추적 카메라;
상기 검지 카메라 1대와 상기 추적 카메라 n대의 구성으로 그루핑하여 하나의 검지 카메라에서 검출된 객체를 n대의 추적 카메라로 추적하도록 제어하는 객체 추적 서버;를 포함하며,
여기서, 상기 객체 추적 서버는
상기 검지 카메라와 상기 추적 카메라와의 매핑 정보를 발생하는 매핑 정보 발생부;
상기 검지 카메라에서 발생한 영상 프레임으로부터 객체가 위치하는 좌표 (객체 위치 좌표)를 검출하는 객체 위치 좌표 검출부; 및
상기 매핑 정보 발생부에서 발생된 매핑 정보와 상기 객체 위치 좌표 검출부에 의해 검출된 객체 위치 좌표를 참조하여 상기 추적 카메라에서 본 객체의 위치 좌표를 얻고, 이에 근거하여 상기 추적 카메라를 제어하기 위한 pan/tilt/zoom 파라메터를 연산하여 상기 추적 카메라에 제공하는 pan/tilt/zoom 파라메터 연산부;
상기 추적 카메라에 의해 획득된 객체 영상을 저장하는 저장부; 및
상기 매핑 정보 발생부, 상기 객체 위치 좌표 검출부, 상기 pan/tilt/zoom 파라메터 연산부를 제어하여 상기 검지 카메라에 의해 검지된 객체를 상기 추적 카메라가 추적하도록 제어하며, 상기 추적 카메라에 의해 획득된 객체 영상을 상기 저장부에 저장하도록 제어하는 제어부;를 포함하며,
여기서, 상기 매핑 정보 발생부에서 발생하는 매핑 정보는 상기 검지 카메라의 사각형 화면 영역의 네 귀퉁이 좌표와 상기 추적 카메라의 투시 영역 내의 사각형 화면의 네 귀퉁이 좌표를 가지는 것을 특징으로 하는 객체 추적 장치.A plurality of detection cameras which are installed on individual poles (POLE) at various places in a certain area and are fixed in angle of view and direction;
A plurality of tracking cameras distributed on individual poles (POLE) at various places within a certain area and capable of controlling pan / tilt / zoom;
And an object tracking server for grouping the detection cameras into a configuration of one detection camera and n tracking cameras and controlling the objects detected by one detection camera to be tracked by n tracking cameras,
Here, the object tracking server
A mapping information generator for generating mapping information between the detection camera and the tracking camera;
An object position coordinate detector for detecting coordinates (object position coordinates) at which an object is located from an image frame generated by the detection camera; And
And a controller for obtaining position coordinates of the object viewed from the tracking camera by referring to the mapping information generated by the mapping information generating unit and the object position coordinates detected by the object position coordinate detecting unit, a pan / tilt / zoom parameter operation unit for operating the tilt / zoom parameter and providing the pan / tilt / zoom parameter to the tracking camera;
A storage unit for storing an object image obtained by the tracking camera; And
Controlling the tracking camera to track the object detected by the detection camera by controlling the mapping information generating unit, the object position coordinate detecting unit, and the pan / tilt / zoom parameter calculating unit, To the storage unit,
Wherein the mapping information generated by the mapping information generation unit has four corner coordinates of a rectangular screen area of the detection camera and four corner coordinates of a rectangular screen within a perspective area of the tracking camera.
KR1020180088082A 2018-07-27 2018-07-27 Apparatus for tracking object KR101996907B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180088082A KR101996907B1 (en) 2018-07-27 2018-07-27 Apparatus for tracking object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180088082A KR101996907B1 (en) 2018-07-27 2018-07-27 Apparatus for tracking object

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180045885A Division KR101916093B1 (en) 2018-04-20 2018-04-20 Method for tracking object

Publications (1)

Publication Number Publication Date
KR101996907B1 true KR101996907B1 (en) 2019-07-08

Family

ID=67255884

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180088082A KR101996907B1 (en) 2018-07-27 2018-07-27 Apparatus for tracking object

Country Status (1)

Country Link
KR (1) KR101996907B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111818270A (en) * 2020-09-10 2020-10-23 视见科技(杭州)有限公司 Automatic control method and system for multi-camera shooting

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100103109A (en) 2009-03-13 2010-09-27 고려대학교 산학협력단 Apparatus and method for unmanned surveillance using omni-directional camera and pan/tilt/zoom camera
JP2013093787A (en) * 2011-10-27 2013-05-16 Secom Co Ltd Camera system
KR20130097868A (en) 2012-02-27 2013-09-04 주식회사 레이스전자 Intelligent parking management method and system based on camera
KR20130114899A (en) * 2012-04-10 2013-10-21 한국기술교육대학교 산학협력단 Image sensing method using dual camera and apparatus thereof
JP2018502504A (en) * 2015-12-09 2018-01-25 ジオスペェィシャル インフォメーション テクノロジー カンパニー リミテッドＧｅｏｓｐａｔｉａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． Subject space movement tracking system using multiple stereo cameras
KR101836882B1 (en) * 2016-12-26 2018-03-09 (주) 케이에스솔루션 All directional Camera and Pan Tilt Zoom Camera Linkage Possible Photographing Apparatus and Method Thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100103109A (en) 2009-03-13 2010-09-27 고려대학교 산학협력단 Apparatus and method for unmanned surveillance using omni-directional camera and pan/tilt/zoom camera
JP2013093787A (en) * 2011-10-27 2013-05-16 Secom Co Ltd Camera system
KR20130097868A (en) 2012-02-27 2013-09-04 주식회사 레이스전자 Intelligent parking management method and system based on camera
KR20130114899A (en) * 2012-04-10 2013-10-21 한국기술교육대학교 산학협력단 Image sensing method using dual camera and apparatus thereof
JP2018502504A (en) * 2015-12-09 2018-01-25 ジオスペェィシャル インフォメーション テクノロジー カンパニー リミテッドＧｅｏｓｐａｔｉａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． Subject space movement tracking system using multiple stereo cameras
KR101836882B1 (en) * 2016-12-26 2018-03-09 (주) 케이에스솔루션 All directional Camera and Pan Tilt Zoom Camera Linkage Possible Photographing Apparatus and Method Thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111818270A (en) * 2020-09-10 2020-10-23 视见科技(杭州)有限公司 Automatic control method and system for multi-camera shooting
CN111818270B (en) * 2020-09-10 2021-02-19 视见科技(杭州)有限公司 Automatic control method and system for multi-camera shooting

Similar Documents

Publication Publication Date Title
CN110458897B (en) Multi-camera automatic calibration method and system and monitoring method and system
Senior et al. Acquiring multi-scale images by pan-tilt-zoom control and automatic multi-camera calibration
KR101916093B1 (en) Method for tracking object
US7583815B2 (en) Wide-area site-based video surveillance system
AU2011202555B2 (en) Multi-view alignment based on fixed-scale ground plane rectification
US8180107B2 (en) Active coordinated tracking for multi-camera systems
CN110910460B (en) Method and device for acquiring position information and calibration equipment
US20060203090A1 (en) Video surveillance using stationary-dynamic camera assemblies for wide-area video surveillance and allow for selective focus-of-attention
KR101695249B1 (en) Method and system for presenting security image
US20080291278A1 (en) Wide-area site-based video surveillance system
US20030085992A1 (en) Method and apparatus for providing immersive surveillance
CN105574847B (en) Camera system and image registration method thereof
KR101347450B1 (en) Image sensing method using dual camera and apparatus thereof
KR20150050172A (en) Apparatus and Method for Selecting Multi-Camera Dynamically to Track Interested Object
CN102917171A (en) Small target locating method based on pixel
CN112207821B (en) Target searching method of visual robot and robot
KR101125233B1 (en) Fusion technology-based security method and security system thereof
KR101203816B1 (en) Robot fish localization system using artificial markers and method of the same
US11703820B2 (en) Monitoring management and control system based on panoramic big data
KR101452342B1 (en) Surveillance Camera Unit And Method of Operating The Same
KR101996907B1 (en) Apparatus for tracking object
KR101410985B1 (en) monitoring system and monitoring apparatus using security camera and monitoring method thereof
CN111627048A (en) Multi-camera cooperative target searching method
CN114037758A (en) Camera attitude sensing system based on images
KR20170012717A (en) Method and apparatus for generating location information based on video image

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant