KR20150031530A - 무인 항공 감시 장치를 이용한 영상 감시 방법 및 장치 - Google Patents

무인 항공 감시 장치를 이용한 영상 감시 방법 및 장치 Download PDF

Info

Publication number
KR20150031530A
KR20150031530A KR20130110823A KR20130110823A KR20150031530A KR 20150031530 A KR20150031530 A KR 20150031530A KR 20130110823 A KR20130110823 A KR 20130110823A KR 20130110823 A KR20130110823 A KR 20130110823A KR 20150031530 A KR20150031530 A KR 20150031530A
Authority
KR
South Korea
Prior art keywords
intruder
information
image
unmanned aerial
calculated
Prior art date
Application number
KR20130110823A
Other languages
English (en)
Other versions
KR101518314B1 (ko
Inventor
이희성
이동성
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020130110823A priority Critical patent/KR101518314B1/ko
Publication of KR20150031530A publication Critical patent/KR20150031530A/ko
Application granted granted Critical
Publication of KR101518314B1 publication Critical patent/KR101518314B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

영상 감시 방법 및 장치가 개시되어 있다. 침입자 감시 방법은 지상 감시 장치에서 촬영된 영상 정보를 기반으로 위치 산출 수식을 결정하는 단계, 지상 감시 장치에서 침입자가 탐지되는 경우, 침입자의 위치 정보와 침입자의 특징 정보를 산출하는 단계와 침입자의 위치 정보와 침입자의 특징 정보를 무인 항공 감시 장치로 전송하는 단계를 포함할 수 있다.

Description

무인 항공 감시 장치를 이용한 영상 감시 방법 및 장치{METHOD AND APPARATUS FOR VIDEO SURVEILLANCE BY USING SURVEILLANCE APPARATUS OF UNMANNED AERIAL VEHICLE}
본 발명은 감시 방법에 관한 것으로서 보다 상세하게는 영상 감시 방법 및 장치에 관한 것이다.
객체를 인식하고 추적하는 기술은 영상 합성, 모션캡처, 보안 감시 시스템, Human Computer Interaction(HCI)등의 많은 분야에서 널리 적용된다. 특히 최근 실생활에서의 보안, 감시에 대한 요구사항이 늘어남에 따라 비디오 감시 시스템에서의 객체 인식 및 추적 기술은 날로 그 중요성이 증가하고 있다.
최근까지 객체 인식 및 추적을 위한 많은 알고리즘들이 개발되어 왔다. 객체 인식 및 추적을 위한 많은 알고리즘으로 예를 들어, 적응적 배경 생성과 배경 차분 기법, 영역 기반의 객체 추적 기법, 그리고 형태 정보 기반 객체 추출 기법 등이 있다. 하지만 기존의 영상 처리 시스템의 이동 물체 검출 기법은 아직 안정성에 있어서 문제점이 존재한다. 또한, 검출하는 과정에 따른 파워소모와 정확성, 처리 속도에 있어서도 역시 문제점들이 존재한다.
영상에서 물체 인식이란 입력된 영상에서 목표 물체의 위치를 찾아내는 일련의 과정을 말한다. 영상에서 물체 인식을 수행함에 있어 같은 물체라고 하더라도 개개의 영상 안에서는 물체의 크기, 방향, 위치, 포즈 등이 다르게 나타날 수 있다. 또한 한 영상 내에 여러 개의 물체가 포함되어 있거나, 목표 물체가 다른 물체에 의해 가리워져 그 일부분만 볼 수 있는 경우도 발생할 수 있다. 이러한 모든 조건하에서도 강인하게 동작하는 물체 인식 방법은 쉽지 않은 문제이다. 그 동안 영상에서 물체 인식 기법에 대한 많은 연구가 진행되어 왔고 현재에도 여러 가지 접근방식이 활발하게 모색되고 있다.
이러한 영상에서 물체를 인식하는 기술은 다양한 기술 분야에서 활용될 수 있다. 예를 들어, 영상에서 물체를 인식하는 기술은 군사 시설, 공항, 주차장, 지하철, 고속도로, 할인점, 주유소, 건설 현장, 유치원, 병원 교통 시스템, ATM 및 편의점 등 다양한 곳에서 보안을 위해 사용할 수 있다. 현재 이러한 영상 보안 시장은 지속적으로 증가하고 있다. 또한, 영상을 편집하는 기술에서도 영상에서 물체를 인식하는 기술이 사용될 수 있다. 이러한 다양한 분야에서 사용되기 위해 영상에서 물체를 인식하기 위한 정확도를 높이기 위한 기술이 필요하다.
본 발명의 제1 목적은 영상 감시 방법을 제공하는 것이다.
본 발명의 제2 목적은 영상 감시 장치를 제공하는 것이다.
상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 침입자 감시 방법은 지상 감시 장치에서 촬영된 영상 정보를 기반으로 위치 산출 수식을 결정하는 단계, 상기 지상 감시 장치에서 침입자가 탐지되는 경우, 상기 침입자의 위치 정보와 상기 침입자의 특징 정보를 산출하는 단계와 상기 침입자의 위치 정보와 상기 침입자의 특징 정보를 무인 항공 감시 장치로 전송하는 단계를 포함할 수 있다. 상기 위치 산출 수식 H는 아래의 수학식에 의해 결정되고,
<수학식>
Figure pat00001
상기 Y는 GPS(global positioning system) 좌표, A는 영상 좌표이고, 상기 영상 좌표는 상기 지상 감시 장치에서 촬상된 영상에서 산출되는 좌표 정보이고,상기 H는 상기 영상 좌표와 상기 GPS 좌표 사이의 관계를 나타내는 위치 산출 행렬일 수 있다. 상기 위치 산출 수식은 참조점을 기반으로 상기 침입자의 영상에서의 위치를 보간하여 상기 침입자의 위치 정보를 산출하기 위한 수식이고, 상기 참조점은 상기 영상 정보를 X 좌표 및 Y 좌표를 기반으로 분할하여 산출된 점일 수 있다. 상기 침입자의 특징 정보는 템플릿 모델을 기반으로 결정된 상기 침입자의 관절의 움직임을 기반으로 산출되는 정보이거나, 상기 침입자의 윤곽선 정보를 기반으로 산출되는 정보일 수 있다. 상기 침입자 감시 방법은 상기 무인 항공 감시 장치가 수신한 상기 침입자의 위치 정보를 기반으로 상기 침입자의 위치로 이동하는 단계, 상기 무인 항공 감시 장치가 이동한 위치에서 영상을 촬상하는 단계, 상기 무인 항공 감시 장치가 촬상한 영상에서 움직이는 객체에 대한 객체 특징 정보를 산출하는 단계, 상기 무인 항공 감시 장치가 상기 움직이는 객체에 대한 특징 정보와 상기 침입자의 특징 정보를 비교하는 침입자 결정 수식에 기반하여 상기 움직이는 객체 중 하나의 객체를 상기 침입자로 결정하는 단계를 더 포함할 수 있다. 상기 침입자 결정 수식은 아래의 수학식을 기반으로 수행되고,
<수학식>
Figure pat00002
상기 Vi는 상기 무인 항공 감시 장치가 촬상한 영상에서 움직이는 객체에 대한 객체 특징 정보이고, 상기 F는 지상 감시 장치에서 산출한 침입자의 특징 정보이고 상기 i는 상기 움직이는 객체의 개수에 기반하여 결정되는 파라메터이고, 상기 m은 상기 움직이는 객체 중 결정된 침입자일 수 있다. 상기 무인 항공 감시 장치가 상기 지상 감시 장치로 상기 침입자를 촬상한 영상 정보를 전송하는 단계를 더 포함할 수 있다.
상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 침입자 감시 장치는 지상 감시 장치를 포함하고, 상기 지상 감시 장치는 제1 프로세서를 포함하고, 상기 제1 프로세서는 촬영된 영상 정보를 기반으로 위치 산출 수식을 결정하고, 침입자가 탐지되는 경우, 상기 침입자의 위치 정보와 상기 침입자의 특징 정보를 산출하고, 상기 침입자의 위치 정보와 상기 침입자의 특징 정보를 무인 항공 감시 장치로 전송하도록 구현될 수 있다. 상기 위치 산출 수식 H는 아래의 수학식에 의해 결정되고,
<수학식>
Figure pat00003
상기 Y는 GPS(global positioning system) 좌표, A는 영상 좌표이고, 상기 영상 좌표는 상기 지상 감시 장치에서 촬상된 영상에서 산출되는 좌표 정보이고, 상기 H는 상기 영상 좌표와 상기 GPS 좌표 사이의 관계를 나타내는 위치 산출 행렬일 수 있다. 상기 위치 산출 수식은 참조점을 기반으로 상기 침입자의 영상에서의 위치를 보간하여 상기 침입자의 위치 정보를 산출하기 위한 수식이고, 상기 참조점은 상기 영상 정보를 X 좌표 및 Y 좌표를 기반으로 분할하여 산출된 점일 수 있다. 상기 침입자의 특징 정보는 템플릿 모델을 기반으로 결정된 상기 침입자의 관절의 움직임을 기반으로 산출되는 정보이거나, 상기 침입자의 윤곽선 정보를 기반으로 산출되는 정보일 수 있다. 상기 침입자 감시 장치는 무인 항공 감시 장치를 포함하고, 상기 무인 항공 감시 장치는 제2 프로세서를 포함하고, 상기 제2 프로세서는 수신한 상기 침입자의 위치 정보를 기반으로 상기 침입자의 위치로 이동하고, 이동한 위치에서 영상을 촬상하고, 촬상한 영상에서 움직이는 객체에 대한 객체 특징 정보를 산출하고, 상기 움직이는 객체에 대한 특징 정보와 상기 침입자의 특징 정보를 비교하는 침입자 결정 수식에 기반하여 상기 움직이는 객체 중 하나의 객체를 상기 침입자로 결정하도록 구현될 수 있다. 상기 침입자 결정 수식은 아래의 수학식을 기반으로 수행되고,
<수학식>
Figure pat00004
상기 Vi는 상기 무인 항공 감시 장치가 촬상한 영상에서 움직이는 객체에 대한 객체 특징 정보이고, 상기 F는 지상 감시 장치에서 산출한 침입자의 특징 정보이고 상기 i는 상기 움직이는 객체의 개수에 기반하여 결정되는 파라메터이고, 상기 m은 상기 움직이는 객체 중 결정된 침입자일 수 있다. 상기 제2 프로세서는 상기 지상 감시 장치로 상기 침입자를 촬상한 영상 정보를 전송하도록 구현될 수 있다.
상술한 바와 같이 본 발명의 실시예에 따른 영상 감시 방법 및 장치를 사용함으로써 카메라의 사각 지역이나 설치된 카메라의 화각 밖으로 나간 경우에도 침입자를 정확하게 연속적으로 추적할 수 있다.
도 1은 본 발명의 실시예에 따른 감시 대상 객체 추적 방법을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 위치 산출 수식을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 위치 산출 수식을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 침입자의 특징 정보를 산출하는 방법을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 침입자를 탐색하는 방법을 나타낸 순서도이다.
도 6은 본 발명의 실시예에 따른 지상 감시 장치와 무인 항공 감시 장치의 네트워킹 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 영상 감시 시스템을 나타낸 개념도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
기존의 카메라를 이용한 감시 시스템에서는 영상 감시 카메라를 통해 촬상을 한 영상에서 감시 대상 객체를 탐지하기 위한 모니터링 요원이 필요하다. 하지만 모니터링 요원은 감시 시간이 지속될수록 모니터링을 수행함에 있어 집중도가 감소할 수 있다. 모니터링 시간이 증가할수록 감시 대상 객체를 놓칠 확률이 높아진다. 또한, 영상 감시 시스템을 구현하는 카메라의 사각 지역에 감시 대상 객체가 위치한 경우 또는 감시 대상 카메라의 화각을 벋어난 경우, 물체를 추적할 수 없게 된다.
이하, 본 발명의 실시예에서는 감시 대상 객체를 자동으로 추적하고, 감지된 물체가 카메라의 사각 지역에 존재하는 경우 또는 카메라의 화각 밖으로 벋어난 경우에도 감시 대상 객체를 추적하기 위한 방법이 필요하다.
도 1은 본 발명의 실시예에 따른 감시 대상 객체 추적 방법을 나타낸 개념도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 감시 대상 객체 추적 방법을 수행하는 영상 감시 장치는 지상 감시 장치(100)와 무인 항공 감시 장치(150)를 포함할 수 있다. 지상 감시 장치(100)는 지상 감시 카메라를 포함하고, 항공 감시 장치(150)는 항공 감시 카메라를 포함할 수 있다.
지상 감시 장치(100)는 지상 감시 카메라를 사용하여 촬영된 영상을 기반으로 영상에 포함된 객체의 위치 정보를 산출하기 위한 위치 산출 수식을 결정할 수 있다. 본 발명의 실시예에 따르면, 지상 감시 카메라에서 촬영된 영상에 침입자(120)가 나타난 것으로 판단되는 경우, 지상 감시 장치(100)는 위치 산출 수식을 기반으로 영상에서 침입자(120)의 위치에 대한 정보를 산출할 수 있다. 지상 감시 장치(100)는 무인 항공 감시 장치(150)로 산출된 침입자(120)의 위치 정보를 전달할 수 있고, 무인 항공 감시 장치(150)가 침입자(120)의 위치로 이동하여 침입자(120)를 탐색할 수 있다. 예를 들어, 지상 감시 장치(100)는 위치 산출 수식을 기반으로 산출된 침입자의 GPS 좌표를 무인 항공 감시 장치(150)로 전달하여 무인 항공 감시 장치(150)가 침입자(120)의 위치로 이동하도록 구현될 수 있다.
예를 들어, 침입자(120)의 GPS 좌표는 지상 감시 장치(100)가 영상을 기반으로 좌표 변환 행렬을 산출하고 산출된 좌표 변환 행렬을 기반으로 영상 좌표를 GPS(global positioning system) 좌표로 변환함으로써 산출될 수 있다.
GPS 좌표는 무인 항공 감시 장치(150)를 침입자(120)의 위치로 이동시키기 위한 위치 정보의 하나의 예시로 다른 위치 정보가 무인 항공 감지 장치(150)의 이동을 위해 사용될 수 있다.
또한, 본 발명의 실시예에 따르면 지상 감시 장치(100)는 침입자가 촬상된 영상 정보 및 영상에서 침입자의 위치 정보를 별도의 변환 없이 무인 항공 감시 장치(150)로 전달할 수 있다. 무인 항공 감시 장치(150)는 수신한 칩입자(120)가 촬상된 영상 정보 및 영상 정보에서 포함된 침입자(120)의 위치 정보를 기반으로 칩입자(120)의 위치를 산출하고 산출된 위치로 이동할 수도 있다. 즉, 무인 항공 감시 장치(150)가 이동하는 위치에 대한 정보가 지상 감시 장치(100)가 아닌 무인 항공 감시 장치(150)에서 산출될 수도 있다.
또한, 지상 감지 장치(100)에서 침입자(120)가 나타난 것으로 판단되는 경우, 지상 감시 장치(100)는 침입자(120)의 특징 정보를 산출할 수 있다. 예를 들어, 지상 감시 장치(100)는 침입자(120)의 윤곽선 정보를 산출하거나 침입자(120)의 특징점을 산출하고 이를 기반으로 침입자(120)의 특징 벡터를 산출함으로써 침입자(120)의 특징 정보를 산출할 수 있다.
산출된 침입자(120)의 위치 정보 및 침입자(120)의 특징 정보는 무인 항공 감시 장치(150)로 전송될 수 있다. 무인 항공 감시 장치(150)는 수신한 침입자(120)의 좌표를 기반으로 침입자(120)의 위치로 이동할 수 있다. 무인 항공 감시 장치(150)는 이동된 위치에서 움직이는 객체가 존재하는 경우, 움직이는 객체의 특징을 산출할 수 있다. 무인 항공 감시 장치(150)는 직접 산출한 객체의 특징과 지상 감시 장치(100)로부터 수신한 침입자(120)의 특징 정보를 기반으로 움직이는 객체 중 침입자(120)가 어떠한 객체인지 여부를 판단할 수 있다.
또 다른 실시예로 무인 항공 감시 장치(150)가 직접적으로 침입자(120)에 대응되는 객체를 판단하지 않고, 무인 항공 감시 장치(150)를 통해 촬상된 영상 정보를 영상 감시 장치(100)로 전달하여 영상 감시 장치(100)에서 침입자에 대응되는 객체를 판단하고 판단된 정보를 다시 무인 항공 감시 장치(150)로 전달할 수 있다.
도 2는 본 발명의 실시예에 따른 위치 산출 수식을 나타낸 개념도이다.
도 2에서는 영상 좌표에서 GPS 좌표로 변환하는 위치 산출 수식을 산출하는 방법에 대해 개시한다.
도 2를 참조하면, 촬영된 영상에서 특징점(200)을 결정한다. 영상에서의 특징점(200)은 영상에서 GPS 좌표를 산출하기 위한 참조점일 수 있다. 예를 들어, 촬영된 영상에서 X 축과 Y 축을 소정의 간격으로 설정하고 만나는 점을 특징점(200)으로 설정할 수 있다. 특징점(200)을 기반으로 영상의 다른 위치에 존재하는 침입자(250)의 위치를 산출할 수 있다. 예를 들어 4개의 특징점(200)을 기반으로 보간식을 통해 침입자(250)의 위치 정보를 산출할 수 있다. 즉, 4개의 특징점(200)을 기준으로 보간을 수행하여 현재 칩입자(250)의 위치에 대응되는 점의 GPS 위치를 산출할 수 있다.
도 3은 본 발명의 실시예에 따른 위치 산출 수식을 나타낸 개념도이다.
도 3에서는 영상 좌표에서 GPS 좌표로 변환하는 위치 산출 수식을 산출하는 방법에 대해 개시한다.
*위치 산출 수식은 영상에서 감시하고자 하는 침입자가 나타날 수 있는 지점에 대한 영상의 위치 정보와 GPS 좌표 정보를 산출하고 두 정보 사이의 관계를 산출하는 수식일 수 있다. 즉, 특징점(300)의 영상에서의 위치 정보와 GPS 좌표 정보를 산출하고 위치 산출 수식은 특징점(300)의 영상에서의 위치 정보와 GPS 좌표 정보 사이의 관계에 대해 결정하는 수식일 수 있다. 예를 들어, 위치 산출 수식은 아래의 수학식 1을 만족하는 행렬일 수 있다.
<수학식 1>
Figure pat00005
여기서, Y는 특징점의 GPS 좌표, A는 특징점의 영상 좌표, H는 위치 산출 수식일 수 있다.
산출된 H를 기반으로 지상 감시 장치는 침입자가 나타난 경우 촬상된 영상에서의 위치를 기반으로 GPS 위치를 산출할 수 있다. 예를 들어, 영상에서 위치 X(350)에 침입자가 위치한 경우, 영상에서의 위치 X(350)의 영상 좌표 A를 위의 수학식 1에 대입하여 침입자의 GPS 좌표를 산출할 수 있다.
도 2 및 도 3에서 개시한 위치 산출 수식 결정 방법은 하나의 예시로서 도 2 및 도 3에서 개시한 방법이 아닌 다양한 방법이 침입자의 위치를 산출하기 위해 사용될 수 있다.
도 4는 본 발명의 실시예에 따른 침입자의 특징 정보를 산출하는 방법을 나타낸 개념도이다.
도 4를 참조하면, 침입자의 특징 정보는 인체의 템플릿 모델을 기반으로 산출될 수 있다. 예를 들어, 인체의 템플릿 모델을 기반으로 침입자가 이동시 발생하는 관절의 위치 변화 정보를 기반으로 침입자의 특징 정보를 산출할 수 있다.
인체의 템플릿 모델은 많은 수의 관절(400)과 자유도(degree of freedom, DOF)를 가진 모델로서 사람의 복잡한 포즈를 반영하기 위한 모델일 수 있다. 침입자의 이동시 발생하는 관절(400)의 위치 변화를 기반으로 템플릿 모델에 포함된 관절의 위치를 변화시킬 수 있다. 변화된 템플릿 모델의 관절 위치 정보를 기반으로 침입자의 특징 정보를 산출할 수 있다.
산출된 침입자의 특징 정보는 전술한 바와 같이 지상 감시 장치에서 무인 항공 감시 장치로 전달되어 무인 항공 감시 장치가 이동한 위치에서 침입자를 탐색하기 위해 사용될 수 있다. 아래의 수학식 2는 무인 항공 감시 장치에서 침입자의 정보를 탐색하기 위한 식이다.
<수학식 2>
Figure pat00006
여기서 Vi는 무인 항공 감시 장치에서 획득한 영상에서 이동하는 객체들의 특징 정보이고 F는 지상 감시 장치에서 산출한 침입자의 특징 정보일 수 있다. 무인 항공 감시 장치에서는 수학식 2를 기반으로 가장 차이가 작은 Vi를 가진 객체를 침입자로 판단하여 침입자에 대한 탐색을 수행할 수 있다.
도 5는 본 발명의 실시예에 따른 침입자를 탐색하는 방법을 나타낸 순서도이다.
도 5를 참조하면, 지상 감시 장치는 촬영된 영상 정보에서 위치 산출 수식을 결정한다(단계 S500).
위치 산출 수식은 예를 들어, 영상 정보와 위치 정보 사이의 변환을 수행하기 위한 수식일 수 있다. 위치 산출 수식은 소정의 행렬일 수 있고, 촬상된 영상에서 특징점을 위치 산출 행렬을 곱하여 GPS 좌표를 산출할 수 있다. 또 다른 방법으로 위치 산출 수식은 일종의 보간 함수로써 기준점을 기반으로 침입자의 위치를 보간하여 산출할 수 있다.
침입자가 지상 감시 장치에서는 탐지되는 경우, 침입자의 위치 정보와 침입자의 특징 정보를 산출한다(단계 S510).
침입자가 지상 감시 장치에서 탐지되는 경우, 지상 감지 장치는 침입자의 위치 정보 및 침입자의 특징 정보를 산출할 수 있다. 침입자의 위치 정보는 침입자의 현재 영상에서의 위치와 정보와 위치 산출 지식을 기반으로 산출된 정보일 수 있다. 침입자의 특징 정보는 다양한 방법으로 산출될 수 있다. 예를 들어, 침입자의 특징 정보는 템플릿 모델을 사용하거나 윤곽선 정보를 사용하여 산출할 수 있다.
지상 감시 장치에서 무인 항공 감시 장치로 침입자의 위치 정보와 침입자의 특징 정보를 전송한다(단계 S520).
지상 감시 장치에서 무인 항공 감시 장치로 침입자의 위치 정보와 침입자의 특징 정보를 전송하기 위해서는 다양한 방법이 사용될 수 있다. 예를 들어, 지상 감시 장치와 무인 항공 감시 장치 사이에 3G 또는 LTE와 같은 이동 통신망을 기반으로 한 서비스가 가용한 경우, 지상 감시 장치와 무인 항공 감시 장치 사이에서 이동 통신망을 기반으로 네트워킹을 수행할 수 있다.
도 6은 본 발명의 실시예에 따른 지상 감시 장치와 무인 항공 감시 장치의 네트워킹 방법을 나타낸 개념도이다.
도 6을 참조하면, 지상 감시 장치(600)에서 생성된 침입자의 위치 정보 및 침입자의 특징 정보는 무선랜 네트워크를 통해 무인 항공 감시 장치로 전달될 수 있다. 영상 감시 장치는 복수의 AP 사이의 네트워크를 기반으로 형성될 수 있다. 예를 들어, 지상 감시 장치(600)는 생성된 침입자의 위치 정보 및 침입자의 특징 정보를 제1 AP(620)를 통해 무인 항공 감시 장치(660)로 전송하거나, 무인 항공 감시 장치(660)를 커버하는 제2 AP(640)로 전송하여 무인 항공 감시 장치(660)로 전송할 수 있다.
무인 항공 감시 장치(660)는 수신한 침입자의 위치 정보 및 침입자의 특징 정보를 기반으로 침입자를 탐지할 수 있다. 무인 항공 감시 장치(660)가 촬상한 침입자의 영상에 대한 정보는 3G, LTE 또는 LTE-A와 같은 이동 통신망을 통해 지상 감시 장치(600)로 전달될 수 있다. 예를 들어, 무인 항공 감시 장치(660)는 주변 기지국(680)을 통해 침입자의 영상 정보를 전송하고 기지국(680)은 수신한 영상 정보를 다시 지상 감시 장치(600)로 전달할 수 있다. 이러한 무인 항공 감시 장치(660)와 지상 감시 장치(660) 사이의 네트워킹은 하나의 예시로서 다른 다양한 네크워크를 기반으로 영상 감시 장치를 구현할 수 있다.
무인 항공 감시 장치가 침입자의 위치 정보를 기반으로 산출된 위치로 이동한다(단계 S530).
무인 항공 항공 감시 장치는 지상 감시 장치가 전송한 침입자의 위치 정보로 이동할 수 있다.
무인 항공 감시 장치가 침입자의 위치 정보를 기반으로 산출된 위치로 이동한 후에 움직이는 객체의 정보를 탐색한다(단계 S540).
무인 항공 감시 장치에서 움직이는 객체의 정보를 판단할 수 있다. 무인 항공 장치에 구비된 카메라로 영상을 촬상하고, 촬상된 영상에서 움직이는 객체에 대한 정보를 획득할 수 있다.
무인 항공 감시 장치에서 움직이는 객체 중 침입자에 해당하는 객체가 어떠한 물체인지 여부를 판단하여 결정된 객체를 추적한다(단계 S550).
무인 항공 감시 장치에서 움직이는 물체 중 침입자에 해당하는 객체는 무인 항공 감지 장치가 지상 감시 장치로부터 수신한 특징 정보를 기반으로 움직이는 물체의 특징 정보를 비교하여 차이가 가장 작은 객체를 침입자에 해당하는 객체로 판단할 수 있다.
도 7은 본 발명의 실시예에 따른 영상 감시 시스템을 나타낸 개념도이다.
도 7을 참조하면, 영상 감시 장치는 무인 항공 감시 장치(750) 및 지상 감시 장치(700)를 포함할 수 있다.
지상 감시 장치(700)는 영상 촬상부(705), 위치 정보 산출부(710), 침입자의 특징 정보 산출부(715), 통신부(720), 프로세서(725)를 포함할 수 있다.
영상 촬상부(705)는 지상에 설치된 카메라를 통해 감시 영상을 촬영할 수 있다.
위치 정보 산출부(710)는 감시 영상에서 영상의 위치 정보와 GPS 위치 정보 사이의 관계를 산출할 수 있다.
위치 정보 산출부(710)는 촬영된 영상 정보에서 위치 산출을 위한 수식을 결정한다. 위치 산출 수식은 예를 들어, 영상 정보와 위치 정보 사이의 변환을 수행하기 위한 수식일 수 있다. 위치 산출 수식은 소정의 행렬일 수 있고, 촬상된 영상에서 특징점을 위치 산출 행렬을 곱하여 GPS 좌표를 산출할 수 있다. 또 다른 방법으로 위치 산출 수식은 일종의 보간 함수로써 기준점을 기반으로 침입자의 위치를 보간하여 산출할 수 있다.
침입자의 특징 정보 산출부(715)는 영상에 촬상된 침입자에 대한 특징 정보를 산출할 수 있다. 침입자에 대한 특징 정보는 침입자를 구분하기 위한 정보일 수 있다. 예를 들어, 템플릿 모델을 기반으로 산출된 침입자의 특징점에 대한 정보의 집합일 수도 있고, 침입자의 윤곽선을 기반으로 산출된 침입자의 외곽선에 대한 정보일 수도 있다.
통신부(720)는 생성된 침입자의 위치 정보 및 침입자의 특징 정보를 무인 항공 장치로 전달하기 위해 구현될 수 있다. 또한 만약, 무인 항공 감시 장치(750)가 촬상한 영상 정보가 전송되는 경우, 통신부(720)는 무인 항공 감시 장치(750)가 촬상한 영상 정보를 수신하기 위해 구현될 수 있다.
프로세서(725)는 영상 촬상부(705), 위치 정보 산출부(710), 침입자의 특징 정보 산출부(715), 통신부(720)의 동작을 제어하기 위해 구현될 수 있다.
무인 항공 감시 장치(750)는 영상 촬상부(755), 침입자 결정부(760), 통신부(765), 프로세서(770)를 포함할 수 있다. 무인 항공 감시 장치(750)는 무인 항공기에 설치된 무인 카메라를 기반으로 구현될 수 있다.
영상 촬상부(755)는 무인 항공 감시 장치(750)에 설치된 카메라를 통해 감시 영상을 촬영할 수 있다.
침입자 결정부(760)는 영상 촬상부(755)에서 촬영된 영상에 포함된 객체에서 침입자가 어떠한 객체인지 여부를 판단할 수 있다. 침입자 결정부(760)는 무인 항공 감시 장치(750)에서 획득된 객체의 특징 정보와 침입자의 특징 정보를 비교하여 침입자를 판단할 수 있다.
통신부(765)는 지상 항공 감시 장치(700)로부터 침입자의 위치 정보 및 침입자의 특징정보를 수신할 수 있다. 무인 항공 감지 장치(750)는 수신한 침입자의 위치 정보를 기반으로 침입자의 위치로 이동할 수 있다. 또한, 무인 항공 감시 장치(750)는 침입자의 특징 정보를 획득하고 침입자 결정부(760)는 획득한 정보를 기반으로 침입자에 대한 감시를 수행할 수 있다. 만약 지상 감시 장치(700)에서 무인 항공 감시 장치(750)에서 촬상한 영상 정보가 필요한 경우, 통신부(765)는 촬상된 영상 정보를 지상 감시 장치(700)로 전달할 수 있다.
프로세서(770)는 영상 촬상부(755), 침입자 결정부(760), 통신부(765)의 동작을 제어하기 위해 구현될 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (14)

  1. 침입자 감시 방법에 있어서,
    지상 감시 장치에서 촬영된 영상 정보를 기반으로 위치 산출 수식을 결정하는 단계;
    상기 지상 감시 장치에서 침입자가 탐지되는 경우, 상기 침입자의 위치 정보와 상기 침입자의 특징 정보를 산출하는 단계; 및
    상기 침입자의 위치 정보와 상기 침입자의 특징 정보를 무인 항공 감시 장치로 전송하는 단계를 포함하는 침입자 감시 방법.
  2. 제1항에 있어서, 상기 위치 산출 수식 H는 아래의 수학식에 의해 결정되고,
    <수학식>
    Figure pat00007

    상기 Y는 GPS(global positioning system) 좌표, A는 영상 좌표이고,
    상기 영상 좌표는 상기 지상 감시 장치에서 촬상된 영상에서 산출되는 좌표 정보이고,
    상기 H는 상기 영상 좌표와 상기 GPS 좌표 사이의 관계를 나타내는 위치 산출 행렬인 침입자 감시 방법.
  3. 제1항에 있어서, 상기 위치 산출 수식은
    참조점을 기반으로 상기 침입자의 영상에서의 위치를 보간하여 상기 침입자의 위치 정보를 산출하기 위한 수식이고,
    상기 참조점은 상기 영상 정보를 X 좌표 및 Y 좌표를 기반으로 분할하여 산출된 점인 침입자 감시 방법.
  4. 제1항에 있어서, 상기 침입자의 특징 정보는,
    템플릿 모델을 기반으로 결정된 상기 침입자의 관절의 움직임을 기반으로 산출되는 정보이거나, 상기 침입자의 윤곽선 정보를 기반으로 산출되는 정보인 침입자 감시 방법.
  5. 제1항에 있어서,
    상기 무인 항공 감시 장치가 수신한 상기 침입자의 위치 정보를 기반으로 상기 침입자의 위치로 이동하는 단계;
    상기 무인 항공 감시 장치가 이동한 위치에서 영상을 촬상하는 단계;
    상기 무인 항공 감시 장치가 촬상한 영상에서 움직이는 객체에 대한 객체 특징 정보를 산출하는 단계;
    상기 무인 항공 감시 장치가 상기 움직이는 객체에 대한 특징 정보와 상기 침입자의 특징 정보를 비교하는 침입자 결정 수식에 기반하여 상기 움직이는 객체 중 하나의 객체를 상기 침입자로 결정하는 단계를 더 포함하는 침입자 감시 방법.
  6. 제5항에 있어서, 상기 침입자 결정 수식은,
    아래의 수학식을 기반으로 수행되고,
    <수학식>
    Figure pat00008

    상기 Vi는 상기 무인 항공 감시 장치가 촬상한 영상에서 움직이는 객체에 대한 객체 특징 정보이고, 상기 F는 지상 감시 장치에서 산출한 침입자의 특징 정보이고 상기 i는 상기 움직이는 객체의 개수에 기반하여 결정되는 파라메터이고, 상기 m은 상기 움직이는 객체 중 결정된 침입자인 침입자 감시 방법.
  7. 제5항에 있어서,
    상기 무인 항공 감시 장치가 상기 지상 감시 장치로 상기 침입자를 촬상한 영상 정보를 전송하는 단계를 더 포함하는 침입자 감시 방법.
  8. 침입자 감시 장치에 있어서, 상기 침입자 감시 장치는 지상 감시 장치를 포함하고, 상기 지상 감시 장치는 제1 프로세서를 포함하고,
    상기 제1 프로세서는 촬영된 영상 정보를 기반으로 위치 산출 수식을 결정하고, 침입자가 탐지되는 경우, 상기 침입자의 위치 정보와 상기 침입자의 특징 정보를 산출하고, 상기 침입자의 위치 정보와 상기 침입자의 특징 정보를 무인 항공 감시 장치로 전송하도록 구현되는 침입자 감시 장치.
  9. 제8항에 있어서, 상기 위치 산출 수식 H는 아래의 수학식에 의해 결정되고,
    <수학식>
    Figure pat00009

    상기 Y는 GPS(global positioning system) 좌표, A는 영상 좌표이고,
    상기 영상 좌표는 상기 지상 감시 장치에서 촬상된 영상에서 산출되는 좌표 정보이고,
    상기 H는 상기 영상 좌표와 상기 GPS 좌표 사이의 관계를 나타내는 위치 산출 행렬인 침입자 감시 장치.
  10. 제8항에 있어서, 상기 위치 산출 수식은
    참조점을 기반으로 상기 침입자의 영상에서의 위치를 보간하여 상기 침입자의 위치 정보를 산출하기 위한 수식이고,
    상기 참조점은 상기 영상 정보를 X 좌표 및 Y 좌표를 기반으로 분할하여 산출된 점인 침입자 감시 장치.
  11. 제8항에 있어서, 상기 침입자의 특징 정보는,
    템플릿 모델을 기반으로 결정된 상기 침입자의 관절의 움직임을 기반으로 산출되는 정보이거나, 상기 침입자의 윤곽선 정보를 기반으로 산출되는 정보인 침입자 감시 장치.
  12. 제8항에 있어서, 상기 침입자 감시 장치는 무인 항공 감시 장치를 포함하고, 상기 무인 항공 감시 장치는 제2 프로세서를 포함하고,
    상기 제2 프로세서는 수신한 상기 침입자의 위치 정보를 기반으로 상기 침입자의 위치로 이동하고, 이동한 위치에서 영상을 촬상하고, 촬상한 영상에서 움직이는 객체에 대한 객체 특징 정보를 산출하고, 상기 움직이는 객체에 대한 특징 정보와 상기 침입자의 특징 정보를 비교하는 침입자 결정 수식에 기반하여 상기 움직이는 객체 중 하나의 객체를 상기 침입자로 결정하도록 구현되는 침입자 감시 장치.
  13. 제12항에 있어서, 상기 침입자 결정 수식은,
    아래의 수학식을 기반으로 수행되고,
    <수학식>
    Figure pat00010

    상기 Vi는 상기 무인 항공 감시 장치가 촬상한 영상에서 움직이는 객체에 대한 객체 특징 정보이고, 상기 F는 지상 감시 장치에서 산출한 침입자의 특징 정보이고 상기 i는 상기 움직이는 객체의 개수에 기반하여 결정되는 파라메터이고, 상기 m은 상기 움직이는 객체 중 결정된 침입자인 침입자 감시 장치.
  14. 제12항에 있어서, 상기 제2 프로세서는,
    상기 지상 감시 장치로 상기 침입자를 촬상한 영상 정보를 전송하도록 구현되는 침입자 감시 장치.

KR1020130110823A 2013-09-16 2013-09-16 무인 항공 감시 장치를 이용한 영상 감시 방법 및 장치 KR101518314B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130110823A KR101518314B1 (ko) 2013-09-16 2013-09-16 무인 항공 감시 장치를 이용한 영상 감시 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130110823A KR101518314B1 (ko) 2013-09-16 2013-09-16 무인 항공 감시 장치를 이용한 영상 감시 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150031530A true KR20150031530A (ko) 2015-03-25
KR101518314B1 KR101518314B1 (ko) 2015-05-08

Family

ID=53025016

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130110823A KR101518314B1 (ko) 2013-09-16 2013-09-16 무인 항공 감시 장치를 이용한 영상 감시 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101518314B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101648680B1 (ko) * 2015-11-19 2016-08-16 이화여자대학교 산학협력단 무인 비행기
CN106162070A (zh) * 2015-04-23 2016-11-23 神讯电脑(昆山)有限公司 安全监控系统及其方法
WO2018069920A3 (en) * 2016-10-11 2018-10-25 Dr. Frucht Systems Ltd. Method and system for capturing an intruder in-flight
KR102336224B1 (ko) * 2020-12-30 2021-12-08 몬드리안에이아이 주식회사 공항의 교통관제 지원정보 생성장치 및 이를 포함하는 공항의 교통관제 지원장치
US11470280B2 (en) * 2018-12-06 2022-10-11 Hangzhou Hikvision Digital Technology Co., Ltd. GPS-based target tracking system, method and dome camera

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100888935B1 (ko) * 2008-09-01 2009-03-16 주식회사 일리시스 지능형 영상 감시 시스템에서 두 카메라 간의 연동 방법
KR101210327B1 (ko) * 2012-06-19 2012-12-11 대한민국(해양경찰청장) 지능형 선박용 경보 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106162070A (zh) * 2015-04-23 2016-11-23 神讯电脑(昆山)有限公司 安全监控系统及其方法
CN106162070B (zh) * 2015-04-23 2019-07-30 神讯电脑(昆山)有限公司 安全监控系统及其方法
KR101648680B1 (ko) * 2015-11-19 2016-08-16 이화여자대학교 산학협력단 무인 비행기
WO2018069920A3 (en) * 2016-10-11 2018-10-25 Dr. Frucht Systems Ltd. Method and system for capturing an intruder in-flight
US11470280B2 (en) * 2018-12-06 2022-10-11 Hangzhou Hikvision Digital Technology Co., Ltd. GPS-based target tracking system, method and dome camera
KR102336224B1 (ko) * 2020-12-30 2021-12-08 몬드리안에이아이 주식회사 공항의 교통관제 지원정보 생성장치 및 이를 포함하는 공항의 교통관제 지원장치

Also Published As

Publication number Publication date
KR101518314B1 (ko) 2015-05-08

Similar Documents

Publication Publication Date Title
Guido et al. Evaluating the accuracy of vehicle tracking data obtained from Unmanned Aerial Vehicles
JP5617100B2 (ja) センサ統合システム及びセンサ統合方法
KR101758576B1 (ko) 물체 탐지를 위한 레이더 카메라 복합 검지 장치 및 방법
JP4802112B2 (ja) トラッキング方法及びトラッキング装置
KR101329111B1 (ko) 실내 네비게이션 시스템 및 방법
KR101518314B1 (ko) 무인 항공 감시 장치를 이용한 영상 감시 방법 및 장치
CN109325456B (zh) 目标识别方法、装置、目标识别设备及存储介质
JP6184271B2 (ja) 撮像管理装置、撮像管理システムの制御方法およびプログラム
CN110264495B (zh) 一种目标跟踪方法及装置
US20140072170A1 (en) 3d human pose and shape modeling
US20100128110A1 (en) System and method for real-time 3-d object tracking and alerting via networked sensors
CN109407697A (zh) 一种基于双目视觉测距的无人机跟踪运动目标系统及方法
KR101380628B1 (ko) 복수의 카메라를 사용한 객체 추적 방법 및 장치
JP2021530821A (ja) 三次元無線モデル構築を実行するための方法、装置およびコンピュータプログラム
CN109448326B (zh) 一种基于快速图像识别的地质灾害智能群防监测系统
CN104103030A (zh) 图像分析方法、照相机装置、控制装置及控制方法
JP6588413B2 (ja) 監視装置および監視方法
CN111311649A (zh) 一种室内物联视频跟踪方法和系统
Fang et al. A point cloud-vision hybrid approach for 3D location tracking of mobile construction assets
US11210529B2 (en) Automated surveillance system and method therefor
Papaioannou et al. Tracking people in highly dynamic industrial environments
KR102472075B1 (ko) 실시간 도로영상 및 레이다 신호를 분석한 결과에 기초하여 돌발상황 자동검지 서비스를 지원하는 시스템 및 방법
CN115035470A (zh) 一种基于混合视觉的低小慢目标识别与定位方法及系统
CN113910224A (zh) 机器人跟随的方法、装置及电子设备
GB2586099A (en) An apparatus and method for person detection, tracking and identification utilizing wireless signals and images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200224

Year of fee payment: 6