KR101518314B1 - Method and apparatus for video surveillance by using surveillance apparatus of unmanned aerial vehicle - Google Patents

Method and apparatus for video surveillance by using surveillance apparatus of unmanned aerial vehicle Download PDF

Info

Publication number
KR101518314B1
KR101518314B1 KR1020130110823A KR20130110823A KR101518314B1 KR 101518314 B1 KR101518314 B1 KR 101518314B1 KR 1020130110823 A KR1020130110823 A KR 1020130110823A KR 20130110823 A KR20130110823 A KR 20130110823A KR 101518314 B1 KR101518314 B1 KR 101518314B1
Authority
KR
South Korea
Prior art keywords
intruder
information
image
unmanned aerial
calculated
Prior art date
Application number
KR1020130110823A
Other languages
Korean (ko)
Other versions
KR20150031530A (en
Inventor
이희성
이동성
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020130110823A priority Critical patent/KR101518314B1/en
Publication of KR20150031530A publication Critical patent/KR20150031530A/en
Application granted granted Critical
Publication of KR101518314B1 publication Critical patent/KR101518314B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography

Abstract

영상 감시 방법 및 장치가 개시되어 있다. 침입자 감시 방법은 지상 감시 장치에서 촬영된 영상 정보를 기반으로 위치 산출 수식을 결정하는 단계, 지상 감시 장치에서 침입자가 탐지되는 경우, 침입자의 위치 정보와 침입자의 특징 정보를 산출하는 단계와 침입자의 위치 정보와 침입자의 특징 정보를 무인 항공 감시 장치로 전송하는 단계를 포함할 수 있다.A video surveillance method and apparatus are disclosed. The intruder monitoring method includes a step of determining a position calculation formula based on the image information captured by the ground monitoring device, a step of calculating an intruder's location information and an intruder's characteristic information when an intruder is detected in the ground monitoring device, And transmitting the information of the intruder to the unmanned aerial surveillance apparatus.

Description

무인 항공 감시 장치를 이용한 영상 감시 방법 및 장치{METHOD AND APPARATUS FOR VIDEO SURVEILLANCE BY USING SURVEILLANCE APPARATUS OF UNMANNED AERIAL VEHICLE}TECHNICAL FIELD [0001] The present invention relates to a video surveillance method and apparatus using an unmanned aerial surveillance apparatus,

본 발명은 감시 방법에 관한 것으로서 보다 상세하게는 영상 감시 방법 및 장치에 관한 것이다.The present invention relates to a monitoring method, and more particularly, to a video monitoring method and apparatus.

객체를 인식하고 추적하는 기술은 영상 합성, 모션캡처, 보안 감시 시스템, Human Computer Interaction(HCI)등의 많은 분야에서 널리 적용된다. 특히 최근 실생활에서의 보안, 감시에 대한 요구사항이 늘어남에 따라 비디오 감시 시스템에서의 객체 인식 및 추적 기술은 날로 그 중요성이 증가하고 있다.Object recognition and tracking techniques are widely applied in many fields such as image synthesis, motion capture, security surveillance, and Human Computer Interaction (HCI). Especially, as the requirements for security and surveillance in real life have been increasing recently, object recognition and tracking technology in video surveillance system has become increasingly important.

최근까지 객체 인식 및 추적을 위한 많은 알고리즘들이 개발되어 왔다. 객체 인식 및 추적을 위한 많은 알고리즘으로 예를 들어, 적응적 배경 생성과 배경 차분 기법, 영역 기반의 객체 추적 기법, 그리고 형태 정보 기반 객체 추출 기법 등이 있다. 하지만 기존의 영상 처리 시스템의 이동 물체 검출 기법은 아직 안정성에 있어서 문제점이 존재한다. 또한, 검출하는 과정에 따른 파워소모와 정확성, 처리 속도에 있어서도 역시 문제점들이 존재한다. Until recently, many algorithms for object recognition and tracking have been developed. Many algorithms for object recognition and tracking include, for example, adaptive background generation and background difference techniques, area based object tracking, and shape information based object extraction techniques. However, there is still a problem in the stability of the moving object detection technique of the existing image processing system. There are also problems with power consumption, accuracy, and processing speed according to the detection process.

영상에서 물체 인식이란 입력된 영상에서 목표 물체의 위치를 찾아내는 일련의 과정을 말한다. 영상에서 물체 인식을 수행함에 있어 같은 물체라고 하더라도 개개의 영상 안에서는 물체의 크기, 방향, 위치, 포즈 등이 다르게 나타날 수 있다. 또한 한 영상 내에 여러 개의 물체가 포함되어 있거나, 목표 물체가 다른 물체에 의해 가리워져 그 일부분만 볼 수 있는 경우도 발생할 수 있다. 이러한 모든 조건하에서도 강인하게 동작하는 물체 인식 방법은 쉽지 않은 문제이다. 그 동안 영상에서 물체 인식 기법에 대한 많은 연구가 진행되어 왔고 현재에도 여러 가지 접근방식이 활발하게 모색되고 있다.In object recognition, object recognition is a series of processes for locating a target object on an input image. In performing the object recognition in the image, the size, direction, position, pose, and the like of the object may appear differently in the individual images even if they are the same object. Also, there may be cases where a plurality of objects are contained in one image, or a target object is covered by another object and only a part of the object is visible. A robust object recognition method under all these conditions is a difficult problem. In the meantime, many researches on object recognition technique have been carried out in image, and various approaches are actively sought now.

이러한 영상에서 물체를 인식하는 기술은 다양한 기술 분야에서 활용될 수 있다. 예를 들어, 영상에서 물체를 인식하는 기술은 군사 시설, 공항, 주차장, 지하철, 고속도로, 할인점, 주유소, 건설 현장, 유치원, 병원 교통 시스템, ATM 및 편의점 등 다양한 곳에서 보안을 위해 사용할 수 있다. 현재 이러한 영상 보안 시장은 지속적으로 증가하고 있다. 또한, 영상을 편집하는 기술에서도 영상에서 물체를 인식하는 기술이 사용될 수 있다. 이러한 다양한 분야에서 사용되기 위해 영상에서 물체를 인식하기 위한 정확도를 높이기 위한 기술이 필요하다.The technique of recognizing objects in such images can be utilized in various technical fields. For example, the technology of recognizing objects in images can be used for security in various places such as military facilities, airports, parking lots, subways, highways, discount stores, gas stations, construction sites, kindergartens, hospital transportation systems, ATMs and convenience stores. Currently, the market for video security is steadily increasing. Also, a technique of recognizing an object in an image may be used in a technique of editing an image. In order to be used in these various fields, there is a need for a technique for increasing the accuracy for recognizing an object in an image.

본 발명의 제1 목적은 영상 감시 방법을 제공하는 것이다.A first object of the present invention is to provide a video surveillance method.

본 발명의 제2 목적은 영상 감시 장치를 제공하는 것이다.A second object of the present invention is to provide a video surveillance apparatus.

상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 침입자 감시 방법은 지상 감시 장치에서 촬영된 영상 정보를 기반으로 위치 산출 수식을 결정하는 단계, 상기 지상 감시 장치에서 침입자가 탐지되는 경우, 상기 침입자의 위치 정보와 상기 침입자의 특징 정보를 산출하는 단계와 상기 침입자의 위치 정보와 상기 침입자의 특징 정보를 무인 항공 감시 장치로 전송하는 단계를 포함할 수 있다. 상기 위치 산출 수식 H는 아래의 수학식에 의해 결정되고,According to an aspect of the present invention, there is provided an intruder monitoring method comprising: determining a position calculation formula based on image information photographed by a terrestrial monitoring device; detecting an intruder from the terrestrial surveillance device; The location information of the intruder and the feature information of the intruder, and transmitting the location information of the intruder and the feature information of the intruder to the unmanned aerial surveillance apparatus. The position calculation formula H is determined by the following equation,

<수학식>&Lt; Equation &

Figure 112013084319665-pat00001
Figure 112013084319665-pat00001

상기 Y는 GPS(global positioning system) 좌표, A는 영상 좌표이고, 상기 영상 좌표는 상기 지상 감시 장치에서 촬상된 영상에서 산출되는 좌표 정보이고,상기 H는 상기 영상 좌표와 상기 GPS 좌표 사이의 관계를 나타내는 위치 산출 행렬일 수 있다. 상기 위치 산출 수식은 참조점을 기반으로 상기 침입자의 영상에서의 위치를 보간하여 상기 침입자의 위치 정보를 산출하기 위한 수식이고, 상기 참조점은 상기 영상 정보를 X 좌표 및 Y 좌표를 기반으로 분할하여 산출된 점일 수 있다. 상기 침입자의 특징 정보는 템플릿 모델을 기반으로 결정된 상기 침입자의 관절의 움직임을 기반으로 산출되는 정보이거나, 상기 침입자의 윤곽선 정보를 기반으로 산출되는 정보일 수 있다. 상기 침입자 감시 방법은 상기 무인 항공 감시 장치가 수신한 상기 침입자의 위치 정보를 기반으로 상기 침입자의 위치로 이동하는 단계, 상기 무인 항공 감시 장치가 이동한 위치에서 영상을 촬상하는 단계, 상기 무인 항공 감시 장치가 촬상한 영상에서 움직이는 객체에 대한 객체 특징 정보를 산출하는 단계, 상기 무인 항공 감시 장치가 상기 움직이는 객체에 대한 특징 정보와 상기 침입자의 특징 정보를 비교하는 침입자 결정 수식에 기반하여 상기 움직이는 객체 중 하나의 객체를 상기 침입자로 결정하는 단계를 더 포함할 수 있다. 상기 침입자 결정 수식은 아래의 수학식을 기반으로 수행되고, Y is a global positioning system (GPS) coordinate, A is an image coordinate, the image coordinates are coordinate information calculated from an image picked up by the terrestrial monitoring apparatus, H is a relationship between the image coordinates and the GPS coordinates Lt; / RTI &gt; The position calculation formula is an equation for calculating position information of the intruder by interpolating the position of the intruder on the basis of the reference point, and the reference point is obtained by dividing the image information based on the X coordinate and the Y coordinate Can be calculated points. The feature information of the intruder may be information that is calculated based on movement of the intruder's joint determined based on the template model, or may be information that is calculated based on the intruder's outline information. Wherein the intruder monitoring method comprises: moving to an intruder position based on position information of the intruder received by the unmanned aerial vehicle monitoring apparatus; imaging an image at a position where the unmanned aerial vehicle monitoring apparatus moves; The method comprising the steps of: calculating object feature information on a moving object in an image captured by a device; determining, based on an intruder determination formula that compares feature information of the moving object with feature information of the moving object, And determining an object as the intruder. The intruder determination formula is performed based on the following equation,

<수학식>&Lt; Equation &

Figure 112013084319665-pat00002
Figure 112013084319665-pat00002

상기 Vi는 상기 무인 항공 감시 장치가 촬상한 영상에서 움직이는 객체에 대한 객체 특징 정보이고, 상기 F는 지상 감시 장치에서 산출한 침입자의 특징 정보이고 상기 i는 상기 움직이는 객체의 개수에 기반하여 결정되는 파라메터이고, 상기 m은 상기 움직이는 객체 중 결정된 침입자일 수 있다. 상기 무인 항공 감시 장치가 상기 지상 감시 장치로 상기 침입자를 촬상한 영상 정보를 전송하는 단계를 더 포함할 수 있다. Vi is object feature information on an object moving in an image captured by the UAV, F is feature information of an intruder calculated by a ground monitoring device, i is a parameter determined based on the number of moving objects , And m may be a determined intruder among the moving objects. The unmanned aerial vehicle monitoring apparatus may further include transmitting the image information of the intruder to the ground monitoring apparatus.

상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 침입자 감시 장치는 지상 감시 장치를 포함하고, 상기 지상 감시 장치는 제1 프로세서를 포함하고, 상기 제1 프로세서는 촬영된 영상 정보를 기반으로 위치 산출 수식을 결정하고, 침입자가 탐지되는 경우, 상기 침입자의 위치 정보와 상기 침입자의 특징 정보를 산출하고, 상기 침입자의 위치 정보와 상기 침입자의 특징 정보를 무인 항공 감시 장치로 전송하도록 구현될 수 있다. 상기 위치 산출 수식 H는 아래의 수학식에 의해 결정되고,According to another aspect of the present invention, there is provided an intruder monitoring apparatus including a ground monitoring apparatus, wherein the ground monitoring apparatus includes a first processor, The position calculation formula is determined based on the information, and when the intruder is detected, the position information of the intruder and the feature information of the intruder are calculated, and the position information of the intruder and the feature information of the intruder are transmitted to the unmanned aerial surveillance device . &Lt; / RTI &gt; The position calculation formula H is determined by the following equation,

<수학식>&Lt; Equation &

Figure 112013084319665-pat00003
Figure 112013084319665-pat00003

상기 Y는 GPS(global positioning system) 좌표, A는 영상 좌표이고, 상기 영상 좌표는 상기 지상 감시 장치에서 촬상된 영상에서 산출되는 좌표 정보이고, 상기 H는 상기 영상 좌표와 상기 GPS 좌표 사이의 관계를 나타내는 위치 산출 행렬일 수 있다. 상기 위치 산출 수식은 참조점을 기반으로 상기 침입자의 영상에서의 위치를 보간하여 상기 침입자의 위치 정보를 산출하기 위한 수식이고, 상기 참조점은 상기 영상 정보를 X 좌표 및 Y 좌표를 기반으로 분할하여 산출된 점일 수 있다. 상기 침입자의 특징 정보는 템플릿 모델을 기반으로 결정된 상기 침입자의 관절의 움직임을 기반으로 산출되는 정보이거나, 상기 침입자의 윤곽선 정보를 기반으로 산출되는 정보일 수 있다. 상기 침입자 감시 장치는 무인 항공 감시 장치를 포함하고, 상기 무인 항공 감시 장치는 제2 프로세서를 포함하고, 상기 제2 프로세서는 수신한 상기 침입자의 위치 정보를 기반으로 상기 침입자의 위치로 이동하고, 이동한 위치에서 영상을 촬상하고, 촬상한 영상에서 움직이는 객체에 대한 객체 특징 정보를 산출하고, 상기 움직이는 객체에 대한 특징 정보와 상기 침입자의 특징 정보를 비교하는 침입자 결정 수식에 기반하여 상기 움직이는 객체 중 하나의 객체를 상기 침입자로 결정하도록 구현될 수 있다. 상기 침입자 결정 수식은 아래의 수학식을 기반으로 수행되고, Y is a global positioning system (GPS) coordinate, A is an image coordinate, the image coordinates are coordinate information calculated from an image picked up by the terrestrial monitoring apparatus, H is a relationship between the image coordinates and the GPS coordinates Lt; / RTI &gt; The position calculation formula is an equation for calculating position information of the intruder by interpolating the position of the intruder on the basis of the reference point, and the reference point is obtained by dividing the image information based on the X coordinate and the Y coordinate Can be calculated points. The feature information of the intruder may be information that is calculated based on movement of the intruder's joint determined based on the template model, or may be information that is calculated based on the intruder's outline information. Wherein the intruder monitoring apparatus includes an unmanned aerial surveillance apparatus, the unmanned aerial vehicle monitoring apparatus includes a second processor, the second processor moves to a location of the intruder based on the received location information of the intruder, The method comprising the steps of: capturing an image at a position, calculating object feature information on an object moving in the captured image, and comparing the feature information of the moving object with feature information of the intruder, As the intruder. The intruder determination formula is performed based on the following equation,

<수학식>&Lt; Equation &

Figure 112013084319665-pat00004
Figure 112013084319665-pat00004

상기 Vi는 상기 무인 항공 감시 장치가 촬상한 영상에서 움직이는 객체에 대한 객체 특징 정보이고, 상기 F는 지상 감시 장치에서 산출한 침입자의 특징 정보이고 상기 i는 상기 움직이는 객체의 개수에 기반하여 결정되는 파라메터이고, 상기 m은 상기 움직이는 객체 중 결정된 침입자일 수 있다. 상기 제2 프로세서는 상기 지상 감시 장치로 상기 침입자를 촬상한 영상 정보를 전송하도록 구현될 수 있다.Vi is object feature information on an object moving in an image captured by the UAV, F is feature information of an intruder calculated by a ground monitoring device, i is a parameter determined based on the number of moving objects , And m may be a determined intruder among the moving objects. The second processor may be configured to transmit image information of the intruder to the ground monitoring device.

상술한 바와 같이 본 발명의 실시예에 따른 영상 감시 방법 및 장치를 사용함으로써 카메라의 사각 지역이나 설치된 카메라의 화각 밖으로 나간 경우에도 침입자를 정확하게 연속적으로 추적할 수 있다.As described above, by using the video surveillance method and apparatus according to the embodiment of the present invention, the intruder can be accurately and continuously tracked even when the camera is out of the rectangular area or the angle of view of the installed camera.

도 1은 본 발명의 실시예에 따른 감시 대상 객체 추적 방법을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 위치 산출 수식을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 위치 산출 수식을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 침입자의 특징 정보를 산출하는 방법을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 침입자를 탐색하는 방법을 나타낸 순서도이다.
도 6은 본 발명의 실시예에 따른 지상 감시 장치와 무인 항공 감시 장치의 네트워킹 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 영상 감시 시스템을 나타낸 개념도이다.
1 is a conceptual diagram illustrating a monitoring object tracking method according to an embodiment of the present invention.
2 is a conceptual diagram illustrating a position calculation formula according to an embodiment of the present invention.
3 is a conceptual diagram illustrating a position calculation formula according to an embodiment of the present invention.
4 is a conceptual diagram illustrating a method of calculating intruder feature information according to an embodiment of the present invention.
5 is a flowchart illustrating a method of searching for an intruder according to an embodiment of the present invention.
6 is a conceptual diagram illustrating a networking method of the ground monitoring device and the UAV according to the embodiment of the present invention.
7 is a conceptual diagram illustrating a video surveillance system according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or &lt; / RTI &gt; includes any combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Hereinafter, the same reference numerals will be used for the same constituent elements in the drawings, and redundant explanations for the same constituent elements will be omitted.

기존의 카메라를 이용한 감시 시스템에서는 영상 감시 카메라를 통해 촬상을 한 영상에서 감시 대상 객체를 탐지하기 위한 모니터링 요원이 필요하다. 하지만 모니터링 요원은 감시 시간이 지속될수록 모니터링을 수행함에 있어 집중도가 감소할 수 있다. 모니터링 시간이 증가할수록 감시 대상 객체를 놓칠 확률이 높아진다. 또한, 영상 감시 시스템을 구현하는 카메라의 사각 지역에 감시 대상 객체가 위치한 경우 또는 감시 대상 카메라의 화각을 벋어난 경우, 물체를 추적할 수 없게 된다.In existing surveillance system using camera, a monitoring agent is needed to detect the object to be monitored in the image captured through the surveillance camera. However, the monitoring staff may be less focused on monitoring as the monitoring time continues. As the monitoring time increases, the probability of missed monitored objects increases. In addition, when the object to be monitored is located in a rectangular area of the camera implementing the video surveillance system, or when the angle of view of the surveillance camera is removed, the object can not be traced.

이하, 본 발명의 실시예에서는 감시 대상 객체를 자동으로 추적하고, 감지된 물체가 카메라의 사각 지역에 존재하는 경우 또는 카메라의 화각 밖으로 벋어난 경우에도 감시 대상 객체를 추적하기 위한 방법이 필요하다.
Hereinafter, in the embodiment of the present invention, there is a need for a method for automatically tracking a monitored object and tracking the monitored object even when the detected object exists in a rectangular area of the camera or outside the angle of view of the camera.

도 1은 본 발명의 실시예에 따른 감시 대상 객체 추적 방법을 나타낸 개념도이다.1 is a conceptual diagram illustrating a monitoring object tracking method according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예에 따른 감시 대상 객체 추적 방법을 수행하는 영상 감시 장치는 지상 감시 장치(100)와 무인 항공 감시 장치(150)를 포함할 수 있다. 지상 감시 장치(100)는 지상 감시 카메라를 포함하고, 항공 감시 장치(150)는 항공 감시 카메라를 포함할 수 있다.Referring to FIG. 1, an image monitoring apparatus for performing a monitoring object tracking method according to an exemplary embodiment of the present invention may include a ground monitoring apparatus 100 and an unmanned aerial vehicle monitoring apparatus 150. The ground surveillance apparatus 100 may include a ground surveillance camera, and the air surveillance apparatus 150 may include an air surveillance camera.

지상 감시 장치(100)는 지상 감시 카메라를 사용하여 촬영된 영상을 기반으로 영상에 포함된 객체의 위치 정보를 산출하기 위한 위치 산출 수식을 결정할 수 있다. 본 발명의 실시예에 따르면, 지상 감시 카메라에서 촬영된 영상에 침입자(120)가 나타난 것으로 판단되는 경우, 지상 감시 장치(100)는 위치 산출 수식을 기반으로 영상에서 침입자(120)의 위치에 대한 정보를 산출할 수 있다. 지상 감시 장치(100)는 무인 항공 감시 장치(150)로 산출된 침입자(120)의 위치 정보를 전달할 수 있고, 무인 항공 감시 장치(150)가 침입자(120)의 위치로 이동하여 침입자(120)를 탐색할 수 있다. 예를 들어, 지상 감시 장치(100)는 위치 산출 수식을 기반으로 산출된 침입자의 GPS 좌표를 무인 항공 감시 장치(150)로 전달하여 무인 항공 감시 장치(150)가 침입자(120)의 위치로 이동하도록 구현될 수 있다.The terrestrial monitoring apparatus 100 may determine a position calculation formula for calculating positional information of an object included in the image based on the image captured using the terrestrial surveillance camera. According to an embodiment of the present invention, when it is determined that the intruder 120 appears on an image photographed by the ground surveillance camera, the ground surveillance apparatus 100 calculates the position of the intruder 120 Information can be calculated. The ground monitoring apparatus 100 can transmit the position information of the intruder 120 calculated by the unmanned aerial vehicle monitoring apparatus 150 and the unmanned aerial vehicle monitoring apparatus 150 moves to the location of the intruder 120, . &Lt; / RTI &gt; For example, the ground monitoring apparatus 100 transmits the GPS coordinates of the intruder calculated based on the location calculation formula to the unmanned aerial surveillance apparatus 150, so that the unmanned aerial surveillance apparatus 150 moves to the location of the intruder 120 . &Lt; / RTI &gt;

예를 들어, 침입자(120)의 GPS 좌표는 지상 감시 장치(100)가 영상을 기반으로 좌표 변환 행렬을 산출하고 산출된 좌표 변환 행렬을 기반으로 영상 좌표를 GPS(global positioning system) 좌표로 변환함으로써 산출될 수 있다.For example, the GPS coordinates of the intruder 120 may be obtained by the ground surveillance apparatus 100 calculating a coordinate transformation matrix based on an image and converting the image coordinates into GPS (global positioning system) coordinates based on the calculated coordinate transformation matrix Can be calculated.

GPS 좌표는 무인 항공 감시 장치(150)를 침입자(120)의 위치로 이동시키기 위한 위치 정보의 하나의 예시로 다른 위치 정보가 무인 항공 감지 장치(150)의 이동을 위해 사용될 수 있다.GPS coordinates are one example of location information for moving the unmanned aerial vehicle monitoring device 150 to the location of the intruder 120, and other location information may be used for movement of the UAV 150.

또한, 본 발명의 실시예에 따르면 지상 감시 장치(100)는 침입자가 촬상된 영상 정보 및 영상에서 침입자의 위치 정보를 별도의 변환 없이 무인 항공 감시 장치(150)로 전달할 수 있다. 무인 항공 감시 장치(150)는 수신한 칩입자(120)가 촬상된 영상 정보 및 영상 정보에서 포함된 침입자(120)의 위치 정보를 기반으로 칩입자(120)의 위치를 산출하고 산출된 위치로 이동할 수도 있다. 즉, 무인 항공 감시 장치(150)가 이동하는 위치에 대한 정보가 지상 감시 장치(100)가 아닌 무인 항공 감시 장치(150)에서 산출될 수도 있다.In addition, according to the embodiment of the present invention, the terrestrial monitoring apparatus 100 can transmit the intruder's location information to the unmanned aerial surveillance apparatus 150 without changing the image information and the image captured by the intruder. The unmanned aerial vehicle monitoring apparatus 150 calculates the position of the chip particle 120 based on the position information of the intruder 120 included in the received image information and image information of the chip particle 120, It can also be moved. That is, the information about the position of the unmanned aerial vehicle monitoring device 150 may be calculated by the unmanned aerial vehicle monitoring device 150, not by the ground monitoring device 100.

또한, 지상 감지 장치(100)에서 침입자(120)가 나타난 것으로 판단되는 경우, 지상 감시 장치(100)는 침입자(120)의 특징 정보를 산출할 수 있다. 예를 들어, 지상 감시 장치(100)는 침입자(120)의 윤곽선 정보를 산출하거나 침입자(120)의 특징점을 산출하고 이를 기반으로 침입자(120)의 특징 벡터를 산출함으로써 침입자(120)의 특징 정보를 산출할 수 있다.In addition, when it is determined that the intruder 120 is present in the ground sensing apparatus 100, the ground monitoring apparatus 100 can calculate the characteristic information of the intruder 120. For example, the terrestrial monitoring apparatus 100 may calculate the feature information of the intruder 120 by calculating the contour information of the intruder 120, calculating feature points of the intruder 120, Can be calculated.

산출된 침입자(120)의 위치 정보 및 침입자(120)의 특징 정보는 무인 항공 감시 장치(150)로 전송될 수 있다. 무인 항공 감시 장치(150)는 수신한 침입자(120)의 좌표를 기반으로 침입자(120)의 위치로 이동할 수 있다. 무인 항공 감시 장치(150)는 이동된 위치에서 움직이는 객체가 존재하는 경우, 움직이는 객체의 특징을 산출할 수 있다. 무인 항공 감시 장치(150)는 직접 산출한 객체의 특징과 지상 감시 장치(100)로부터 수신한 침입자(120)의 특징 정보를 기반으로 움직이는 객체 중 침입자(120)가 어떠한 객체인지 여부를 판단할 수 있다. The location information of the intruder 120 and the feature information of the intruder 120 may be transmitted to the UAV 150. The unmanned aerial surveillance apparatus 150 can move to the location of the intruder 120 based on the coordinates of the intruder 120. The unmanned aerial vehicle monitoring apparatus 150 can calculate the characteristics of the moving object when the moving object exists in the moved position. The unmanned aerial vehicle monitoring apparatus 150 can determine whether the intruder 120 is an object among the moving objects based on the characteristic of the object directly calculated and the characteristic information of the intruder 120 received from the ground monitoring apparatus 100 have.

또 다른 실시예로 무인 항공 감시 장치(150)가 직접적으로 침입자(120)에 대응되는 객체를 판단하지 않고, 무인 항공 감시 장치(150)를 통해 촬상된 영상 정보를 영상 감시 장치(100)로 전달하여 영상 감시 장치(100)에서 침입자에 대응되는 객체를 판단하고 판단된 정보를 다시 무인 항공 감시 장치(150)로 전달할 수 있다.
In another embodiment, the UAV 150 may not directly determine the object corresponding to the intruder 120, but may transmit the image information captured through the UAV 150 to the video surveillance apparatus 100 The video surveillance apparatus 100 may determine an object corresponding to the intruder and transmit the determined information to the unmanned aerial surveillance apparatus 150 again.

도 2는 본 발명의 실시예에 따른 위치 산출 수식을 나타낸 개념도이다. 2 is a conceptual diagram illustrating a position calculation formula according to an embodiment of the present invention.

도 2에서는 영상 좌표에서 GPS 좌표로 변환하는 위치 산출 수식을 산출하는 방법에 대해 개시한다.In Fig. 2, a method for calculating a position calculating formula for converting from image coordinates to GPS coordinates will be described.

도 2를 참조하면, 촬영된 영상에서 특징점(200)을 결정한다. 영상에서의 특징점(200)은 영상에서 GPS 좌표를 산출하기 위한 참조점일 수 있다. 예를 들어, 촬영된 영상에서 X 축과 Y 축을 소정의 간격으로 설정하고 만나는 점을 특징점(200)으로 설정할 수 있다. 특징점(200)을 기반으로 영상의 다른 위치에 존재하는 침입자(250)의 위치를 산출할 수 있다. 예를 들어 4개의 특징점(200)을 기반으로 보간식을 통해 침입자(250)의 위치 정보를 산출할 수 있다. 즉, 4개의 특징점(200)을 기준으로 보간을 수행하여 현재 칩입자(250)의 위치에 대응되는 점의 GPS 위치를 산출할 수 있다.
Referring to FIG. 2, the feature point 200 is determined from the photographed image. The feature point 200 in the image may be a reference point for calculating GPS coordinates in the image. For example, the X-axis and Y-axis may be set at predetermined intervals in the photographed image, and a point where they meet can be set as the feature point 200. [ The position of the intruder 250 existing at another position of the image based on the feature point 200 can be calculated. For example, the location information of the intruder 250 can be calculated through the interpolation formula based on the four minutiae points 200. That is, the GPS position of the point corresponding to the position of the chip particle 250 can be calculated by performing interpolation based on the four feature points 200.

도 3은 본 발명의 실시예에 따른 위치 산출 수식을 나타낸 개념도이다. 3 is a conceptual diagram illustrating a position calculation formula according to an embodiment of the present invention.

도 3에서는 영상 좌표에서 GPS 좌표로 변환하는 위치 산출 수식을 산출하는 방법에 대해 개시한다.
In Fig. 3, a method for calculating a position calculation formula for converting from image coordinates to GPS coordinates will be described.

*위치 산출 수식은 영상에서 감시하고자 하는 침입자가 나타날 수 있는 지점에 대한 영상의 위치 정보와 GPS 좌표 정보를 산출하고 두 정보 사이의 관계를 산출하는 수식일 수 있다. 즉, 특징점(300)의 영상에서의 위치 정보와 GPS 좌표 정보를 산출하고 위치 산출 수식은 특징점(300)의 영상에서의 위치 정보와 GPS 좌표 정보 사이의 관계에 대해 결정하는 수식일 수 있다. 예를 들어, 위치 산출 수식은 아래의 수학식 1을 만족하는 행렬일 수 있다.* The position calculation formula may be a formula for calculating the positional information of the image and the GPS coordinate information of the point where the intruder to be monitored in the image can appear and calculating the relation between the two information. That is, the location information and the GPS coordinate information in the image of the feature point 300 may be calculated and the position calculation formula may be a formula for determining the relationship between the position information in the image of the feature point 300 and the GPS coordinate information. For example, the position calculation formula may be a matrix satisfying the following equation (1).

<수학식 1>&Quot; (1) &quot;

Figure 112013084319665-pat00005
Figure 112013084319665-pat00005

여기서, Y는 특징점의 GPS 좌표, A는 특징점의 영상 좌표, H는 위치 산출 수식일 수 있다. Here, Y may be a GPS coordinate of a minutia, A may be an image coordinate of a minutia, and H may be a position calculation formula.

산출된 H를 기반으로 지상 감시 장치는 침입자가 나타난 경우 촬상된 영상에서의 위치를 기반으로 GPS 위치를 산출할 수 있다. 예를 들어, 영상에서 위치 X(350)에 침입자가 위치한 경우, 영상에서의 위치 X(350)의 영상 좌표 A를 위의 수학식 1에 대입하여 침입자의 GPS 좌표를 산출할 수 있다.Based on the calculated H, the terrestrial surveillance system can calculate the GPS position based on the position in the captured image when the intruder is present. For example, when an intruder is located at the location X 350 in the image, the GPS coordinates of the intruder can be calculated by substituting the image coordinate A of the location X 350 in the image into Equation 1 above.

도 2 및 도 3에서 개시한 위치 산출 수식 결정 방법은 하나의 예시로서 도 2 및 도 3에서 개시한 방법이 아닌 다양한 방법이 침입자의 위치를 산출하기 위해 사용될 수 있다.
The method of determining the position calculation formula disclosed in Figs. 2 and 3 can be used as one example of various methods other than those disclosed in Figs. 2 and 3 to calculate the position of the intruder.

도 4는 본 발명의 실시예에 따른 침입자의 특징 정보를 산출하는 방법을 나타낸 개념도이다.4 is a conceptual diagram illustrating a method of calculating intruder feature information according to an embodiment of the present invention.

도 4를 참조하면, 침입자의 특징 정보는 인체의 템플릿 모델을 기반으로 산출될 수 있다. 예를 들어, 인체의 템플릿 모델을 기반으로 침입자가 이동시 발생하는 관절의 위치 변화 정보를 기반으로 침입자의 특징 정보를 산출할 수 있다. Referring to FIG. 4, the intruder's feature information can be calculated based on the template model of the human body. For example, based on the template model of the human body, the intruder can calculate the feature information of the intruder based on the joint position change information generated when the intruder moves.

인체의 템플릿 모델은 많은 수의 관절(400)과 자유도(degree of freedom, DOF)를 가진 모델로서 사람의 복잡한 포즈를 반영하기 위한 모델일 수 있다. 침입자의 이동시 발생하는 관절(400)의 위치 변화를 기반으로 템플릿 모델에 포함된 관절의 위치를 변화시킬 수 있다. 변화된 템플릿 모델의 관절 위치 정보를 기반으로 침입자의 특징 정보를 산출할 수 있다.The human template model may be a model with a large number of joints (400) and a degree of freedom (DOF) model to reflect the complex pose of a person. The position of the joint included in the template model can be changed based on the change in the position of the joint 400 occurring when the intruder moves. The feature information of the intruder can be calculated based on the joint position information of the changed template model.

산출된 침입자의 특징 정보는 전술한 바와 같이 지상 감시 장치에서 무인 항공 감시 장치로 전달되어 무인 항공 감시 장치가 이동한 위치에서 침입자를 탐색하기 위해 사용될 수 있다. 아래의 수학식 2는 무인 항공 감시 장치에서 침입자의 정보를 탐색하기 위한 식이다.The feature information of the intruder can be transmitted from the ground monitoring device to the unmanned aerial surveillance device as described above, and can be used to search for an intruder in a location where the unmanned aerial surveillance device has moved. Equation (2) below is an expression for searching intruder information in the UAV.

<수학식 2>&Quot; (2) &quot;

Figure 112013084319665-pat00006
Figure 112013084319665-pat00006

여기서 Vi는 무인 항공 감시 장치에서 획득한 영상에서 이동하는 객체들의 특징 정보이고 F는 지상 감시 장치에서 산출한 침입자의 특징 정보일 수 있다. 무인 항공 감시 장치에서는 수학식 2를 기반으로 가장 차이가 작은 Vi를 가진 객체를 침입자로 판단하여 침입자에 대한 탐색을 수행할 수 있다.
Here, Vi is the feature information of moving objects in the image acquired from the unmanned aerial surveillance system, and F may be the feature information of the intruder calculated by the ground monitoring device. In the unmanned aerial surveillance system, an object having Vi with the smallest difference can be determined as an intruder based on Equation (2), and an intruder can be searched.

도 5는 본 발명의 실시예에 따른 침입자를 탐색하는 방법을 나타낸 순서도이다. 5 is a flowchart illustrating a method of searching for an intruder according to an embodiment of the present invention.

도 5를 참조하면, 지상 감시 장치는 촬영된 영상 정보에서 위치 산출 수식을 결정한다(단계 S500).Referring to FIG. 5, the ground surveillance apparatus determines a position calculation formula from photographed image information (step S500).

위치 산출 수식은 예를 들어, 영상 정보와 위치 정보 사이의 변환을 수행하기 위한 수식일 수 있다. 위치 산출 수식은 소정의 행렬일 수 있고, 촬상된 영상에서 특징점을 위치 산출 행렬을 곱하여 GPS 좌표를 산출할 수 있다. 또 다른 방법으로 위치 산출 수식은 일종의 보간 함수로써 기준점을 기반으로 침입자의 위치를 보간하여 산출할 수 있다. The position calculation formula may be, for example, an equation for performing a conversion between the image information and the position information. The position calculation formula may be a predetermined matrix, and the GPS coordinates may be calculated by multiplying the feature point by the position calculation matrix in the captured image. Alternatively, the position calculation formula can be calculated by interpolating the position of the intruder based on the reference point as a kind of interpolation function.

침입자가 지상 감시 장치에서는 탐지되는 경우, 침입자의 위치 정보와 침입자의 특징 정보를 산출한다(단계 S510).If the intruder is detected by the ground surveillance apparatus, the intruder's location information and intruder's feature information are calculated (step S510).

침입자가 지상 감시 장치에서 탐지되는 경우, 지상 감지 장치는 침입자의 위치 정보 및 침입자의 특징 정보를 산출할 수 있다. 침입자의 위치 정보는 침입자의 현재 영상에서의 위치와 정보와 위치 산출 지식을 기반으로 산출된 정보일 수 있다. 침입자의 특징 정보는 다양한 방법으로 산출될 수 있다. 예를 들어, 침입자의 특징 정보는 템플릿 모델을 사용하거나 윤곽선 정보를 사용하여 산출할 수 있다. If an intruder is detected in the ground monitoring device, the ground sensing device can calculate the intruder's location information and the intruder's characteristic information. The location information of the intruder may be information based on the location and information of the intruder in the current image and the knowledge of the location calculation. The intruder's feature information can be calculated in various ways. For example, the attacker's feature information can be calculated using the template model or using the outline information.

지상 감시 장치에서 무인 항공 감시 장치로 침입자의 위치 정보와 침입자의 특징 정보를 전송한다(단계 S520).The location information of the intruder and the feature information of the intruder are transmitted from the ground monitoring apparatus to the unmanned aerial surveillance apparatus (step S520).

지상 감시 장치에서 무인 항공 감시 장치로 침입자의 위치 정보와 침입자의 특징 정보를 전송하기 위해서는 다양한 방법이 사용될 수 있다. 예를 들어, 지상 감시 장치와 무인 항공 감시 장치 사이에 3G 또는 LTE와 같은 이동 통신망을 기반으로 한 서비스가 가용한 경우, 지상 감시 장치와 무인 항공 감시 장치 사이에서 이동 통신망을 기반으로 네트워킹을 수행할 수 있다.
Various methods can be used to transmit intruder's location information and intruder's characteristic information from the ground monitoring device to the unmanned aerial surveillance device. For example, if a service based on a mobile communication network such as 3G or LTE is available between a ground monitoring device and an unmanned aerial surveillance device, networking is performed based on the mobile communication network between the ground monitoring device and the unmanned aerial vehicle monitoring device .

도 6은 본 발명의 실시예에 따른 지상 감시 장치와 무인 항공 감시 장치의 네트워킹 방법을 나타낸 개념도이다. 6 is a conceptual diagram illustrating a networking method of the ground monitoring device and the UAV according to the embodiment of the present invention.

도 6을 참조하면, 지상 감시 장치(600)에서 생성된 침입자의 위치 정보 및 침입자의 특징 정보는 무선랜 네트워크를 통해 무인 항공 감시 장치로 전달될 수 있다. 영상 감시 장치는 복수의 AP 사이의 네트워크를 기반으로 형성될 수 있다. 예를 들어, 지상 감시 장치(600)는 생성된 침입자의 위치 정보 및 침입자의 특징 정보를 제1 AP(620)를 통해 무인 항공 감시 장치(660)로 전송하거나, 무인 항공 감시 장치(660)를 커버하는 제2 AP(640)로 전송하여 무인 항공 감시 장치(660)로 전송할 수 있다.Referring to FIG. 6, the intruder's location information and the intruder's characteristic information generated in the terrestrial monitoring apparatus 600 may be transmitted to the unmanned aerial surveillance apparatus through the wireless LAN network. The video surveillance apparatus may be formed based on a network between a plurality of APs. For example, the ground monitoring apparatus 600 transmits the generated intruder's location information and intruder's characteristic information to the unmanned aerial observation device 660 through the first AP 620, And transmits it to the second AP 640 which covers it, and transmits it to the unmanned aerial vehicle monitoring device 660.

무인 항공 감시 장치(660)는 수신한 침입자의 위치 정보 및 침입자의 특징 정보를 기반으로 침입자를 탐지할 수 있다. 무인 항공 감시 장치(660)가 촬상한 침입자의 영상에 대한 정보는 3G, LTE 또는 LTE-A와 같은 이동 통신망을 통해 지상 감시 장치(600)로 전달될 수 있다. 예를 들어, 무인 항공 감시 장치(660)는 주변 기지국(680)을 통해 침입자의 영상 정보를 전송하고 기지국(680)은 수신한 영상 정보를 다시 지상 감시 장치(600)로 전달할 수 있다. 이러한 무인 항공 감시 장치(660)와 지상 감시 장치(660) 사이의 네트워킹은 하나의 예시로서 다른 다양한 네크워크를 기반으로 영상 감시 장치를 구현할 수 있다.The unmanned aerial vehicle monitoring apparatus 660 can detect an intruder based on the received location information of the intruder and the feature information of the intruder. Information on the image of the intruder captured by the unmanned aerial vehicle monitoring apparatus 660 may be transmitted to the ground monitoring apparatus 600 through a mobile communication network such as 3G, LTE or LTE-A. For example, the unmanned aerial vehicle monitoring apparatus 660 transmits the image information of the intruder through the peripheral base station 680, and the base station 680 can transmit the received image information to the ground monitoring apparatus 600 again. The networking between the unmanned aerial vehicle monitoring apparatus 660 and the ground monitoring apparatus 660 can be implemented on a variety of networks as an example.

무인 항공 감시 장치가 침입자의 위치 정보를 기반으로 산출된 위치로 이동한다(단계 S530).The unmanned aerial vehicle monitoring apparatus moves to the calculated position based on the intruder's location information (step S530).

무인 항공 항공 감시 장치는 지상 감시 장치가 전송한 침입자의 위치 정보로 이동할 수 있다. The unmanned aerial surveillance system can be moved to the location information of the intruder transmitted by the ground monitoring device.

무인 항공 감시 장치가 침입자의 위치 정보를 기반으로 산출된 위치로 이동한 후에 움직이는 객체의 정보를 탐색한다(단계 S540).After the unmanned aerial vehicle monitoring apparatus moves to the calculated position based on the location information of the intruder, the information of the moving object is searched (step S540).

무인 항공 감시 장치에서 움직이는 객체의 정보를 판단할 수 있다. 무인 항공 장치에 구비된 카메라로 영상을 촬상하고, 촬상된 영상에서 움직이는 객체에 대한 정보를 획득할 수 있다.The information of the moving object can be determined in the UAV. It is possible to capture an image with a camera provided in the unmanned aerial vehicle and acquire information on a moving object in the captured image.

무인 항공 감시 장치에서 움직이는 객체 중 침입자에 해당하는 객체가 어떠한 물체인지 여부를 판단하여 결정된 객체를 추적한다(단계 S550).The unmanned aerial vehicle monitoring system determines whether an object corresponding to an intruder among moving objects is an object and tracks the determined object (step S550).

무인 항공 감시 장치에서 움직이는 물체 중 침입자에 해당하는 객체는 무인 항공 감지 장치가 지상 감시 장치로부터 수신한 특징 정보를 기반으로 움직이는 물체의 특징 정보를 비교하여 차이가 가장 작은 객체를 침입자에 해당하는 객체로 판단할 수 있다.
An object corresponding to an intruder among moving objects in an unmanned aerial surveillance system is an object corresponding to an intruder by comparing the feature information of the moving object based on the feature information received from the ground monitoring device by the unmanned aerial vehicle It can be judged.

도 7은 본 발명의 실시예에 따른 영상 감시 시스템을 나타낸 개념도이다. 7 is a conceptual diagram illustrating a video surveillance system according to an embodiment of the present invention.

도 7을 참조하면, 영상 감시 장치는 무인 항공 감시 장치(750) 및 지상 감시 장치(700)를 포함할 수 있다.Referring to FIG. 7, the video surveillance apparatus may include an unmanned aerial surveillance system 750 and a terrestrial surveillance system 700.

지상 감시 장치(700)는 영상 촬상부(705), 위치 정보 산출부(710), 침입자의 특징 정보 산출부(715), 통신부(720), 프로세서(725)를 포함할 수 있다.The terrestrial monitoring apparatus 700 may include an image pickup section 705, a positional information calculating section 710, an intruder's characteristic information calculating section 715, a communication section 720, and a processor 725.

영상 촬상부(705)는 지상에 설치된 카메라를 통해 감시 영상을 촬영할 수 있다.The image pickup unit 705 can take a surveillance image through a camera installed on the ground.

위치 정보 산출부(710)는 감시 영상에서 영상의 위치 정보와 GPS 위치 정보 사이의 관계를 산출할 수 있다. The position information calculation unit 710 can calculate the relationship between the position information of the image and the GPS position information in the supervised image.

위치 정보 산출부(710)는 촬영된 영상 정보에서 위치 산출을 위한 수식을 결정한다. 위치 산출 수식은 예를 들어, 영상 정보와 위치 정보 사이의 변환을 수행하기 위한 수식일 수 있다. 위치 산출 수식은 소정의 행렬일 수 있고, 촬상된 영상에서 특징점을 위치 산출 행렬을 곱하여 GPS 좌표를 산출할 수 있다. 또 다른 방법으로 위치 산출 수식은 일종의 보간 함수로써 기준점을 기반으로 침입자의 위치를 보간하여 산출할 수 있다. The position information calculation unit 710 determines a formula for position calculation from the photographed image information. The position calculation formula may be, for example, an equation for performing a conversion between the image information and the position information. The position calculation formula may be a predetermined matrix, and the GPS coordinates may be calculated by multiplying the feature point by the position calculation matrix in the captured image. Alternatively, the position calculation formula can be calculated by interpolating the position of the intruder based on the reference point as a kind of interpolation function.

침입자의 특징 정보 산출부(715)는 영상에 촬상된 침입자에 대한 특징 정보를 산출할 수 있다. 침입자에 대한 특징 정보는 침입자를 구분하기 위한 정보일 수 있다. 예를 들어, 템플릿 모델을 기반으로 산출된 침입자의 특징점에 대한 정보의 집합일 수도 있고, 침입자의 윤곽선을 기반으로 산출된 침입자의 외곽선에 대한 정보일 수도 있다.The intruder's feature information calculating unit 715 can calculate the feature information on the intruder captured in the image. The feature information for the intruder may be information for identifying the intruder. For example, it may be a set of information on the feature points of the intruder calculated based on the template model, or may be information on the outline of the intruder calculated based on the outline of the intruder.

통신부(720)는 생성된 침입자의 위치 정보 및 침입자의 특징 정보를 무인 항공 장치로 전달하기 위해 구현될 수 있다. 또한 만약, 무인 항공 감시 장치(750)가 촬상한 영상 정보가 전송되는 경우, 통신부(720)는 무인 항공 감시 장치(750)가 촬상한 영상 정보를 수신하기 위해 구현될 수 있다.The communication unit 720 may be implemented to transmit the generated intruder's location information and intruder's characteristic information to the UAV. If the image information captured by the unmanned aerial vehicle monitoring apparatus 750 is transmitted, the communication unit 720 may be implemented to receive image information captured by the unmanned aerial vehicle monitoring apparatus 750.

프로세서(725)는 영상 촬상부(705), 위치 정보 산출부(710), 침입자의 특징 정보 산출부(715), 통신부(720)의 동작을 제어하기 위해 구현될 수 있다.The processor 725 may be implemented to control operations of the image pickup unit 705, the positional information calculation unit 710, the intruder's feature information calculation unit 715, and the communication unit 720.

무인 항공 감시 장치(750)는 영상 촬상부(755), 침입자 결정부(760), 통신부(765), 프로세서(770)를 포함할 수 있다. 무인 항공 감시 장치(750)는 무인 항공기에 설치된 무인 카메라를 기반으로 구현될 수 있다.The unmanned aerial vehicle monitoring apparatus 750 may include an image pickup unit 755, an intruder determination unit 760, a communication unit 765, and a processor 770. The unmanned aerial vehicle monitoring apparatus 750 can be implemented based on an unattended camera installed on an unmanned airplane.

영상 촬상부(755)는 무인 항공 감시 장치(750)에 설치된 카메라를 통해 감시 영상을 촬영할 수 있다.The image capturing unit 755 can capture a surveillance image through a camera installed in the unmanned aerial observation device 750.

침입자 결정부(760)는 영상 촬상부(755)에서 촬영된 영상에 포함된 객체에서 침입자가 어떠한 객체인지 여부를 판단할 수 있다. 침입자 결정부(760)는 무인 항공 감시 장치(750)에서 획득된 객체의 특징 정보와 침입자의 특징 정보를 비교하여 침입자를 판단할 수 있다.The intruder determination unit 760 can determine whether an intruder is an object in the object included in the image photographed by the image pickup unit 755. [ The intruder determination unit 760 can determine the intruder by comparing the feature information of the object obtained by the UAV 750 with the feature information of the intruder.

통신부(765)는 지상 항공 감시 장치(700)로부터 침입자의 위치 정보 및 침입자의 특징정보를 수신할 수 있다. 무인 항공 감지 장치(750)는 수신한 침입자의 위치 정보를 기반으로 침입자의 위치로 이동할 수 있다. 또한, 무인 항공 감시 장치(750)는 침입자의 특징 정보를 획득하고 침입자 결정부(760)는 획득한 정보를 기반으로 침입자에 대한 감시를 수행할 수 있다. 만약 지상 감시 장치(700)에서 무인 항공 감시 장치(750)에서 촬상한 영상 정보가 필요한 경우, 통신부(765)는 촬상된 영상 정보를 지상 감시 장치(700)로 전달할 수 있다.The communication unit 765 can receive the location information of the intruder and the feature information of the intruder from the terrestrial aviation monitoring apparatus 700. [ The unmanned aerial vehicle sensing apparatus 750 can move to the location of the intruder based on the received location information of the intruder. In addition, the unmanned aerial vehicle monitoring apparatus 750 acquires feature information of the intruder, and the intruder determining unit 760 can perform intruder monitoring based on the acquired information. If the ground surveillance apparatus 700 requires image information captured by the unmanned aerial surveillance apparatus 750, the communication section 765 can transmit the captured image information to the ground surveillance apparatus 700.

프로세서(770)는 영상 촬상부(755), 침입자 결정부(760), 통신부(765)의 동작을 제어하기 위해 구현될 수 있다.
The processor 770 may be implemented to control operations of the image pickup unit 755, the intruder determination unit 760, and the communication unit 765. [

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined in the appended claims. It will be possible.

Claims (14)

침입자 감시 방법에 있어서,
지상 감시 장치에서 촬영된 영상 정보를 기반으로 위치 산출 수식을 결정하는 단계;
상기 지상 감시 장치에서 침입자가 탐지되는 경우, 상기 침입자의 위치 정보와 상기 침입자의 특징 정보를 산출하는 단계; 및
상기 침입자의 위치 정보와 상기 침입자의 특징 정보를 무인 항공 감시 장치로 전송하는 단계를 포함하며,
상기 위치 산출 수식(H)은 아래의 수학식에 의해 결정되고,
<수학식>
Figure 112014116473359-pat00007

상기 Y는 GPS(global positioning system) 좌표, A는 영상 좌표이고,
상기 영상 좌표는 상기 지상 감시 장치에서 촬상된 영상에서 산출되는 좌표 정보이고,
상기 H는 상기 영상 좌표와 상기 GPS 좌표 사이의 관계를 나타내는 위치 산출 행렬인 침입자 감시 방법.
In the intruder monitoring method,
Determining a position calculation formula based on image information photographed by the ground monitoring device;
Calculating a location information of the intruder and the feature information of the intruder when the intruder is detected in the terrestrial monitoring apparatus; And
And transmitting the location information of the intruder and the feature information of the intruder to the UAV,
The position calculation formula (H) is determined by the following equation,
&Lt; Equation &
Figure 112014116473359-pat00007

Y is a global positioning system (GPS) coordinate, A is an image coordinate,
Wherein the image coordinates are coordinate information calculated from an image captured by the terrestrial monitoring device,
And H is a position calculation matrix indicating a relationship between the image coordinates and the GPS coordinates.
삭제delete 제1항에 있어서, 상기 위치 산출 수식은
참조점을 기반으로 상기 침입자의 영상에서의 위치를 보간하여 상기 침입자의 위치 정보를 산출하기 위한 수식이고,
상기 참조점은 상기 영상 정보를 X 좌표 및 Y 좌표를 기반으로 분할하여 산출된 점인 침입자 감시 방법.
The method of claim 1, wherein the position calculation formula
Wherein the position information of the intruder is calculated by interpolating a position of the intruder on the basis of a reference point,
Wherein the reference point is a point calculated by dividing the image information based on an X coordinate and a Y coordinate.
제1항에 있어서, 상기 침입자의 특징 정보는,
템플릿 모델을 기반으로 결정된 상기 침입자의 관절의 움직임을 기반으로 산출되는 정보이거나, 상기 침입자의 윤곽선 정보를 기반으로 산출되는 정보인 침입자 감시 방법.
The method according to claim 1,
Wherein the information is calculated based on movement of the intruder's joint determined based on a template model or information calculated based on contour information of the intruder.
제1항에 있어서,
상기 무인 항공 감시 장치가 수신한 상기 침입자의 위치 정보를 기반으로 상기 침입자의 위치로 이동하는 단계;
상기 무인 항공 감시 장치가 이동한 위치에서 영상을 촬상하는 단계;
상기 무인 항공 감시 장치가 촬상한 영상에서 움직이는 객체에 대한 객체 특징 정보를 산출하는 단계;
상기 무인 항공 감시 장치가 상기 움직이는 객체에 대한 특징 정보와 상기 침입자의 특징 정보를 비교하는 침입자 결정 수식에 기반하여 상기 움직이는 객체 중 하나의 객체를 상기 침입자로 결정하는 단계를 더 포함하는 침입자 감시 방법.
The method according to claim 1,
Moving to a location of the intruder based on position information of the intruder received by the unmanned aerial vehicle monitoring device;
Capturing an image at a position where the unmanned aerial vehicle monitoring apparatus moves;
Calculating object feature information on a moving object in the image captured by the unmanned aerial vehicle monitoring apparatus;
Further comprising determining the one of the moving objects as the intruder based on an intruder determination formula for comparing the characteristic information of the moving object with the characteristic information of the intruder.
제5항에 있어서, 상기 침입자 결정 수식은,
아래의 수학식을 기반으로 수행되고,
<수학식>
Figure 112013084319665-pat00008

상기 Vi는 상기 무인 항공 감시 장치가 촬상한 영상에서 움직이는 객체에 대한 객체 특징 정보이고, 상기 F는 지상 감시 장치에서 산출한 침입자의 특징 정보이고 상기 i는 상기 움직이는 객체의 개수에 기반하여 결정되는 파라메터이고, 상기 m은 상기 움직이는 객체 중 결정된 침입자인 침입자 감시 방법.
The method according to claim 5,
Is performed based on the following equation,
&Lt; Equation &
Figure 112013084319665-pat00008

Vi is object feature information on an object moving in an image captured by the UAV, F is feature information of an intruder calculated by a ground monitoring device, i is a parameter determined based on the number of moving objects And m is a determined intruder among the moving objects.
제5항에 있어서,
상기 무인 항공 감시 장치가 상기 지상 감시 장치로 상기 침입자를 촬상한 영상 정보를 전송하는 단계를 더 포함하는 침입자 감시 방법.
6. The method of claim 5,
Wherein the unmanned aerial surveillance apparatus further comprises transmitting image information of the intruder to the ground monitoring apparatus.
침입자 감시 장치에 있어서, 상기 침입자 감시 장치는 지상 감시 장치를 포함하고, 상기 지상 감시 장치는 제1 프로세서를 포함하고,
상기 제1 프로세서는 촬영된 영상 정보를 기반으로 위치 산출 수식을 결정하고, 침입자가 탐지되는 경우, 상기 침입자의 위치 정보와 상기 침입자의 특징 정보를 산출하고, 상기 침입자의 위치 정보와 상기 침입자의 특징 정보를 무인 항공 감시 장치로 전송하도록 구현되며,
상기 위치 산출 수식 H는 아래의 수학식에 의해 결정되고,
<수학식>
Figure 112014116473359-pat00009

상기 Y는 GPS(global positioning system) 좌표, A는 영상 좌표이고,
상기 영상 좌표는 상기 지상 감시 장치에서 촬상된 영상에서 산출되는 좌표 정보이고,
상기 H는 상기 영상 좌표와 상기 GPS 좌표 사이의 관계를 나타내는 위치 산출 행렬인 침입자 감시 장치.
An intruder monitoring apparatus, wherein the intruder monitoring apparatus includes a ground monitoring apparatus, the ground monitoring apparatus includes a first processor,
Wherein the first processor determines a position calculation formula based on the photographed image information, calculates the position information of the intruder and the feature information of the intruder when the intruder is detected, and calculates the position information of the intruder based on the position information of the intruder, Information to the unmanned aerial surveillance device,
The position calculation formula H is determined by the following equation,
&Lt; Equation &
Figure 112014116473359-pat00009

Y is a global positioning system (GPS) coordinate, A is an image coordinate,
Wherein the image coordinates are coordinate information calculated from an image captured by the terrestrial monitoring device,
And H is a position calculation matrix indicating a relationship between the image coordinates and the GPS coordinates .
삭제delete 제8항에 있어서, 상기 위치 산출 수식은
참조점을 기반으로 상기 침입자의 영상에서의 위치를 보간하여 상기 침입자의 위치 정보를 산출하기 위한 수식이고,
상기 참조점은 상기 영상 정보를 X 좌표 및 Y 좌표를 기반으로 분할하여 산출된 점인 침입자 감시 장치.
9. The method according to claim 8, wherein the position calculation formula
Wherein the position information of the intruder is calculated by interpolating a position of the intruder on the basis of a reference point,
Wherein the reference point is a point calculated by dividing the image information based on an X coordinate and a Y coordinate.
제8항에 있어서, 상기 침입자의 특징 정보는,
템플릿 모델을 기반으로 결정된 상기 침입자의 관절의 움직임을 기반으로 산출되는 정보이거나, 상기 침입자의 윤곽선 정보를 기반으로 산출되는 정보인 침입자 감시 장치.
The method according to claim 8,
Wherein the information is calculated based on movement of the intruder's joint determined based on a template model or information calculated based on contour information of the intruder.
제8항에 있어서, 상기 침입자 감시 장치는 무인 항공 감시 장치를 포함하고, 상기 무인 항공 감시 장치는 제2 프로세서를 포함하고,
상기 제2 프로세서는 수신한 상기 침입자의 위치 정보를 기반으로 상기 침입자의 위치로 이동하고, 이동한 위치에서 영상을 촬상하고, 촬상한 영상에서 움직이는 객체에 대한 객체 특징 정보를 산출하고, 상기 움직이는 객체에 대한 특징 정보와 상기 침입자의 특징 정보를 비교하는 침입자 결정 수식에 기반하여 상기 움직이는 객체 중 하나의 객체를 상기 침입자로 결정하도록 구현되는 침입자 감시 장치.
9. The system of claim 8, wherein the intruder monitoring device comprises an unmanned aerial surveillance device, the unmanned aerial surveillance device includes a second processor,
The second processor moves to the intruder's location based on the received location information of the intruder, captures an image at the moved location, calculates object feature information on the moving object in the captured image, And determining one of the moving objects as the intruder based on the intruder determination formula comparing feature information of the intruder with feature information of the intruder.
제12항에 있어서, 상기 침입자 결정 수식은,
아래의 수학식을 기반으로 수행되고,
<수학식>
Figure 112013084319665-pat00010

상기 Vi는 상기 무인 항공 감시 장치가 촬상한 영상에서 움직이는 객체에 대한 객체 특징 정보이고, 상기 F는 지상 감시 장치에서 산출한 침입자의 특징 정보이고 상기 i는 상기 움직이는 객체의 개수에 기반하여 결정되는 파라메터이고, 상기 m은 상기 움직이는 객체 중 결정된 침입자인 침입자 감시 장치.
13. The method of claim 12,
Is performed based on the following equation,
&Lt; Equation &
Figure 112013084319665-pat00010

Vi is object feature information on an object moving in an image captured by the UAV, F is feature information of an intruder calculated by a ground monitoring device, i is a parameter determined based on the number of moving objects And m is a determined intruder among the moving objects.
제12항에 있어서, 상기 제2 프로세서는,
상기 지상 감시 장치로 상기 침입자를 촬상한 영상 정보를 전송하도록 구현되는 침입자 감시 장치.

13. The apparatus of claim 12,
And transmits the image information obtained by imaging the intruder to the ground monitoring device.

KR1020130110823A 2013-09-16 2013-09-16 Method and apparatus for video surveillance by using surveillance apparatus of unmanned aerial vehicle KR101518314B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130110823A KR101518314B1 (en) 2013-09-16 2013-09-16 Method and apparatus for video surveillance by using surveillance apparatus of unmanned aerial vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130110823A KR101518314B1 (en) 2013-09-16 2013-09-16 Method and apparatus for video surveillance by using surveillance apparatus of unmanned aerial vehicle

Publications (2)

Publication Number Publication Date
KR20150031530A KR20150031530A (en) 2015-03-25
KR101518314B1 true KR101518314B1 (en) 2015-05-08

Family

ID=53025016

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130110823A KR101518314B1 (en) 2013-09-16 2013-09-16 Method and apparatus for video surveillance by using surveillance apparatus of unmanned aerial vehicle

Country Status (1)

Country Link
KR (1) KR101518314B1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106162070B (en) * 2015-04-23 2019-07-30 神讯电脑(昆山)有限公司 Safety monitoring system and its method
KR101648680B1 (en) * 2015-11-19 2016-08-16 이화여자대학교 산학협력단 Unmanned Aerial Vehicle
WO2018069911A1 (en) * 2016-10-11 2018-04-19 Dr. Frucht Systems Ltd Method and system for detecting and positioning an intruder using a laser detection and ranging device
CN111291585B (en) * 2018-12-06 2023-12-08 杭州海康威视数字技术股份有限公司 GPS-based target tracking system, method and device and ball machine
KR102336224B1 (en) * 2020-12-30 2021-12-08 몬드리안에이아이 주식회사 Airport traffic control support information generation device and Airport traffic control support device including the same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100888935B1 (en) * 2008-09-01 2009-03-16 주식회사 일리시스 Method for cooperation between two cameras in intelligent video surveillance systems
KR101210327B1 (en) * 2012-06-19 2012-12-11 대한민국(해양경찰청장) System of warning for ship

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100888935B1 (en) * 2008-09-01 2009-03-16 주식회사 일리시스 Method for cooperation between two cameras in intelligent video surveillance systems
KR101210327B1 (en) * 2012-06-19 2012-12-11 대한민국(해양경찰청장) System of warning for ship

Also Published As

Publication number Publication date
KR20150031530A (en) 2015-03-25

Similar Documents

Publication Publication Date Title
Guido et al. Evaluating the accuracy of vehicle tracking data obtained from Unmanned Aerial Vehicles
KR101758576B1 (en) Method and apparatus for detecting object with radar and camera
US9652860B1 (en) System and method for autonomous PTZ tracking of aerial targets
JP4802112B2 (en) Tracking method and tracking device
KR101518314B1 (en) Method and apparatus for video surveillance by using surveillance apparatus of unmanned aerial vehicle
KR101329111B1 (en) System and method for indoor navigation
CN110264495B (en) Target tracking method and device
US20180190014A1 (en) Collaborative multi sensor system for site exploitation
CN109325456B (en) Target identification method, target identification device, target identification equipment and storage medium
JP2012163495A (en) Sensor integration system and sensor integration method
US20100128110A1 (en) System and method for real-time 3-d object tracking and alerting via networked sensors
CN109407697A (en) A kind of unmanned plane pursuit movement goal systems and method based on binocular distance measurement
CN104103030A (en) Image analysis method, camera apparatus, control apparatus and control method
US9213904B1 (en) Autonomous lock-on target tracking with geospatial-aware PTZ cameras
WO2003092291A1 (en) Object detection device, object detection server, and object detection method
KR101380628B1 (en) Method and apparatus for object tracking using multiple cameras
JP2021530821A (en) Methods, equipment and computer programs for performing 3D wireless model construction
Fang et al. A point cloud-vision hybrid approach for 3D location tracking of mobile construction assets
KR102472075B1 (en) System and method for supporting automatic detection service based on real-time road image and radar signal analysis results
CN111879305A (en) Multi-mode perception positioning model and system for high-risk production environment
JP2018061114A (en) Monitoring device and monitoring method
Amin et al. Quality of obstacle distance measurement using ultrasonic sensor and precision of two computer vision-based obstacle detection approaches
US8929603B1 (en) Autonomous lock-on target tracking with geospatial-aware PTZ cameras
CN113910224A (en) Robot following method and device and electronic equipment
US11837084B2 (en) Traffic flow estimation apparatus, traffic flow estimation method, traffic flow estimation program, and storage medium storing traffic flow estimation program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200224

Year of fee payment: 6