KR102305438B1 - 무인기 감시 시스템 및 방법 - Google Patents

무인기 감시 시스템 및 방법 Download PDF

Info

Publication number
KR102305438B1
KR102305438B1 KR1020210072750A KR20210072750A KR102305438B1 KR 102305438 B1 KR102305438 B1 KR 102305438B1 KR 1020210072750 A KR1020210072750 A KR 1020210072750A KR 20210072750 A KR20210072750 A KR 20210072750A KR 102305438 B1 KR102305438 B1 KR 102305438B1
Authority
KR
South Korea
Prior art keywords
unmanned aerial
aerial vehicle
camera
noise
drone
Prior art date
Application number
KR1020210072750A
Other languages
English (en)
Inventor
김상현
유중희
진성언
Original Assignee
주식회사 에세텔
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에세텔 filed Critical 주식회사 에세텔
Priority to KR1020210072750A priority Critical patent/KR102305438B1/ko
Application granted granted Critical
Publication of KR102305438B1 publication Critical patent/KR102305438B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H15/00—Measuring mechanical or acoustic impedance
    • H04N5/23299—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

무인기 감시 시스템으로서, 적어도 하나의 소음 센서와 소음 센서의 소음 센서 위치 좌표를 제공하는 GPS 수신기와 각각 연동하며, 소음 센서가 임의의 객체에서 발생된 소음을 센싱하여 소음 신호를 생성하면 소음 신호로부터 스펙트럼을 추출하여 임의의 객체가 무인기인지 검출하는 복수의 무인기 검출 장치들, 그리고 복수의 무인기 검출 장치들과 적어도 하나의 카메라와 연동하며, 특정 무인기 검출 장치로부터 무인기의 출현을 검출하여 생성한 무인기 검출 정보를 수신하면, 무인기에서 생성한 소음을 센싱한 소음 센서 방향으로 카메라를 회전시켜 무인기를 감시하는 무인기 감시 장치를 포함한다.

Description

무인기 감시 시스템 및 방법{System and method for UAV surveillance}
본 발명은 카메라와 다수의 소음 센서들과 연동하여 무인기를 감시하는 무인기 감시 시스템 및 방법에 관한 것이다.
드론(drone)(이하, '무인기'라 지칭함)은 무인으로 비행하는 비행체로, 항공 기술 또는 통신 기술이 발전함에 따라 기존 국사용 또는 정찰용에 한정하여 보급되었으나, 영상 제작이나 취미, 물류 배송, 항공구조, 감시, 측량, 방역 방제 등 다양한 활용 범위에서 사용되고 있다.
이와 같이 무인기의 응용 분야와 활용 범위가 확대됨에 따라, 안전이나 보안을 이유로 공항, 연구소, 군사 보호 지역 등의 보호 지역에 대한 침범 사고가 빈번히 일어나 사회적 불안이 발생하고 있다. 이에 보호 지역에 위협이 되는 무인기를 감시하고 추적하기 위한 시스템 도입의 요구가 늘어남에 따라, 다양한 기술들이 논의되고 있다.
논의되고 있는 기술들에는 레이더를 통한 탐지 기술, 영상신호 분석 기반 무인기 탐지기술, 소음특성 기반 무인기 탐지기술 등이 제시되고 있다. 그러나, 무인기의 크기가 소형인 경우 탐지하기 어렵다는 문제가 있다.
또한, 무인기와 같은 초소형 표적을 탐지하기 위해, 기존에는 적외선과 가시광선을 융합한 전자광학영상센서(Electro-Optical/Infra-Red)를 이용한 탐지 시스템이 주로 사용되었다. 그러나, 이러한 적외선 및 가시광선 센서와 같은 2D 센서들은 복잡한 배경의 조건에서 드론과 같은 초소형 표적을 효과적으로 탐지하는데 한계가 있다.
따라서, 본 발명은 보호 지역 외곽에 설치된 소음 센서들을 이용하여 불법 무인기를 검출하고, 카메라가 검출된 무인기를 추적할 수 있는 무인기 감시 시스템 및 방법을 제공한다.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 적어도 하나의 프로세서에 의해 동작하는 무인기 검출 장치가 무인기를 검출은 방법으로서,
적어도 하나의 소음 센서와 상기 소음 센서의 소음 센서 위치 좌표를 제공하는 GPS 수신기와 연동하며, 연동한 상기 GPS 수신기를 통해 상기 소음 센서 위치 좌표를 수집하는 단계, 상기 소음 센서가 임의의 객체에서 발생된 소음을 센싱 한 소음 신호를 수신하는 단계, 소음 신호 분석 모듈이 상기 소음 신호를 분석하여, 상기 임의의 객체가 무인기인지 확인하는 단계, 그리고 상기 임의의 객체가 무인기이면, 상기 소음 센서의 소음 센서 위치 좌표와 상기 소음 센서의 식별 정보를 포함하는 무인기 검출 정보를 생성하고, 상기 무인기 검출 정보를 연동한 무인기 감시 장치로 전송하는 단계를 포함한다.
상기 임의의 객체가 무인기인지 확인하는 단계는, 상기 소음 신호의 스펙트럼을 추출하는 단계, 상기 스펙트럼에 매핑된 객체의 식별 정보를 출력하는 단계, 그리고 상기 출력한 식별 정보가 무인기에 매핑된 식별 정보인지 확인하는 단계를 포함하며, 상기 소음 신호 분석 모듈은 상기 소음 신호의 스펙트럼이 입력되면 상기 스펙트럼에 매핑된 객체의 식별 정보를 출력하도록 학습되어 있을 수 있다.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 적어도 하나의 프로세서에 의해 동작하는 무인기 감시 장치가 카메라와 연동하여 무인기를 감시하는 방법으로서,
상기 카메라의 GPS 송신기로부터, 상기 카메라의 카메라 좌표를 수신하는 단계, 복수의 무인기 검출 장치들 중 무인기를 검출한 특정 무인기 검출 장치로부터 상기 특정 무인기 검출 장치와 연동한 소음 센서의 소음 센서 위치 좌표를 포함하는 무인기 검출 정보를 수신하면, 상기 카메라 좌표와 상기 소음 센서 위치 좌표를 기초로 상기 카메라를 상기 소음 센서의 방향으로 회전시킬 제1 회전 값을 계산하는 단계, 상기 계산한 제1 회전 값을 기초로 상기 카메라가 상기 소음 센서의 방향으로 회전하여 촬영한 영상을 수신하고, 수신한 영상의 화면에서 상기 무인기를 검출하고 검출한 무인기의 화면 좌표를 추출하는 단계, 상기 화면의 중심점과 상기 화면 좌표를 기초로 상기 무인기가 상기 화면의 중심에 오도록 상기 카메라의 제2 회전 값을 계산하는 단계, 그리고 상기 제2 회전 값을 기초로 회전한 상기 카메라가 상기 무인기를 상기 화면의 중심에 위치하도록 촬영하여 상기 무인기를 감시하는 단계를 포함한다.
상기 제1 회전 값 및 제2 회전 값은 상기 카메라의 팬 값과 틸트 값을 포함하고, 상기 카메라는 PTZ 카메라일 수 있다.
상기 제2 회전 값을 계산하는 방법은, 상기 화면의 중심점과 상기 화면 좌표를 기초로 상기 무인기가 위치한 각도를 계산하는 단계, 그리고 상기 계산한 각도를 기초로 상기 무인기가 상기 화면의 중심에 오도록 상기 카메라를 회전시킬 상기 제2 회전 값을 구하는 단계를 포함할 수 있다.
상기 무인기가 위치한 각도를 계산하는 방법은, 상기 카메라의 화각과 상기 화면의 해상도를 기초로, 상기 무인기가 위치한 화면의 픽셀에 대한 좌우 각도와 상하 각도를 계산하는 단계를 포함할 수 있다.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 무인기 감시 시스템으로서,
적어도 하나의 소음 센서와 상기 소음 센서의 소음 센서 위치 좌표를 제공하는 GPS 수신기와 각각 연동하며, 상기 소음 센서가 임의의 객체에서 발생된 소음을 센싱하여 소음 신호를 생성하면 상기 소음 신호로부터 스펙트럼을 추출하여 상기 임의의 객체가 무인기인지 검출하는 복수의 무인기 검출 장치들, 그리고 상기 복수의 무인기 검출 장치들, 그리고 어도 하나의 카메라와 연동하며, 특정 무인기 검출 장치로부터 상기 무인기의 출현을 검출하여 생성한 무인기 검출 정보를 수신하면, 상기 무인기에서 생성한 소음을 센싱한 소음 센서 방향으로 카메라를 회전시켜 상기 무인기를 감시하는 무인기 감시 장치를 포함한다.
각 무인기 검출 장치는, 상기 소음 센서가 생성한 상기 임의의 객체에 대한 소음 신호를 수신하는 소음 신호 수신부, 상기 소음 센서의 소음 센서 좌표를 상기 GPS 수신기로부터 수신하는 좌표 수신부, 상기 소음 신호를 분석하여 상기 스펙트럼을 추출하고, 추출한 스펙트럼에 매핑되어 학습된 객체의 객체 식별 정보를 확인하여 상기 임의의 객체가 무인기인지 확인하는 소음 신호 분석부, 그리고 상기 임의의 객체가 무인기이면 상기 소음 센서 좌표와 상기 소음 센서의 식별 정보를 포함하는 상기 무인기 검출 정보를 생성하여, 상기 무인기 감시 장치로 전송하는 무인기 검출 정보 전송부를 포함할 수 있다.
학습 데이터는 복수의 객체들의 객체 식별 정보와 각 객체에서 생성한 소음의 스펙트럼들이 포함되어 있으며, 상기 소음 신호 분석부는 상기 학습 데이터에 포함된 스펙트럼이 입력되면 상기 스펙트럼에 매핑된 객체 식별 정보가 출력되도록 학습될 수 있다.
상기 무인기 감시 장치는, 상기 무인기 출현을 검출한 상기 특정 무인기 검출 장치에서 전송되는 상기 무인기 검출 정보를 수신하는 무인기 검출 정보 수신부, 상기 카메라의 카메라 좌표를 GPS 수신기로부터 수신하는 좌표 수신부, 그리고 상기 무인기 검출 정보에 포함된 소음 센서 좌표와 상기 카메라 좌표를 기초로, 상기 카메라가 상기 특정 무인기 검출 장치에 연결된 소음 센서의 방향으로 회전하도록 상기 카메라의 회전 값을 계산하며, 계산한 상기 회전 값으로 상기 카메라가 회전하도록 제어 신호를 생성하는 카메라 제어부를 포함할 수 있다.
상기 무인기 감시 장치는, 상기 제어 신호를 기초로 상기 소음 센서의 방향으로 회전한 카메라가 수집한 영상을 수신하는 영상 수신부, 그리고 상기 영상을 분석하여 상기 영상에서 상기 무인기를 추출하고, 상기 영상의 화면에서 상기 추출한 무인기의 화면 좌표를 추출하는 영상 분석부를 더 포함할 수 있다.
상기 카메라 제어부는, 상기 영상 분석부가 추출한 상기 무인기의 화면 좌표와 상기 화면의 중심점을 기초로, 상기 무인기가 상기 화면의 중심에 오도록 상기 카메라를 회전시킬 회전 값을 계산할 수 있다.
본 발명에 따르면, 소음 센서와 한 대의 카메라만 이용하여 불법 무인기나 비행 물체의 출현을 빠르고 정확하게 검출할 수 있다.
도 1은 본 발명의 실시예에 따른 무인기 감시 시스템이 적용된 환경의 예시도이다.
도 2는 본 발명의 실시예에 따른 무인기 검출 장치의 구조도이다.
도 3은 본 발명의 실시예에 따른 무인기 감시 장치의 구조도이다.
도 4는 본 발명의 실시예에 따른 무인기를 검출하고 감시하는 방법에 대한 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 도면을 참조로 하여 본 발명의 실시예에 따른 무인기 검출 시스템 및 방법에 대해 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 무인기 감시 시스템이 적용된 환경의 예시도이다.
도 1에 도시된 바와 같이, 무인기 감시 시스템(10)은 보호 구역(예를 들어, 연구소, 군사 보호 지역 등) 주변에 설치되어 있는 복수의 무인기 검출 장치(100, 100-1~100-4)들과, 각 무인기 검출 장치(100)들이 불법 무인기(500)를 검출한 위치 정보를 제공하면, 해당 위치를 촬영하여 무인기(500)를 감시하는 적어도 하나의 무인기 감시 장치(200)를 포함한다.
여기서, 각 무인기 검출 장치(100)는 소음 센서(310)와 소음 센서(310)의 위치를 제공하는 GPS 수신기(320)가 연결되어 있다. 본 발명의 실시예에서는 소음 센서(310)와 GPS 수신기(320)를 포함하여 검출 정보 제공 수단(300)으로 표현하나, 반드시 이와 같이 한정되는 것은 아니다.
그리고, 본 발명의 실시예에서는 무인기 검출 장치(100)가 검출 정보 제공 수단(300)과 연결되어 있는 것을 예로 하여 설명하나, 검출 정보 제공 수단(300) 즉, 소음 센서(310)와 GPS 수신기(320)가 무인기 검출 장치(100) 내에 포함되도록 구현될 수 있다. 또한, 본 발명의 실시예에서는 하나의 무인기 검출 장치(100)에 하나의 소음 센서(310)가 연결되어 있는 것을 예로 하여 설명하나, 일정 간격을 두고 설치된 복수의 소음 센서들이 하나의 무인기 검출 장치(100)에 연결되어 소음 신호를 무인기 검출 장치(100)에 전달할 수도 있다.
이와 마찬가지로 무인기 감시 장치(200)도 GPS 수신기(420)와 카메라(410)를 포함하는 감시 정보 제공 수단(400)과 연결되어 있다. 본 발명의 실시예에서는 무인기 감시 장치(200)가 감시 정보 제공 수단(400)과 연결되어 있는 것을 예로 하여 설명하나, 감시 정보 제공 수단(400) 즉, 카메라(410)와 GPS 수신기(420)가 무인기 감시 장치(200) 내에 포함되도록 구현될 수 있다.
여기서, 카메라(410)는 팬틸트줌 카메라(Pan-Tilt Zoom camera)인 것을 예로 하여 설명하나, 스테레오 카메라 등 다양한 카메라를 사용할 수도 있다. 팬틸트줌 카메라는 카메라(410)를 여러 방향으로 이동하여 감시 영역의 전체 영상을 획득하고, 무인기(500)의 감시를 위해 영상을 확대하거나 축소할 수 있다. 팬, 틸트 및 줌 기능을 사용하여, 하나의 카메라(410)로 넓은 영역을 감시할 수 있으며, 팬틸트줌 카메라에 대한 기술은 이미 알려진 것으로, 본 발명의 실시예에서는 상세한 설명을 생략한다.
보호 구역 내로 무인기(500)가 침범하면, 소음 센서(310)는 무인기(500)에서 발생되는 소음(예를 들어, 프로펠러 소음 등)을 소음 신호로 수집하여 무인기 검출 장치(100)로 전달한다. 그리고 소음 센서(310)가 소음 신호를 수집하면, 해당 소음 센서(310)와 무인기 검출 장치(100)에 연결된 GPS 수신기(320)는 소음 센서(310)에 대한 GPS 정보를 무인기 검출 장치(100)로 전달한다.
소음 센서(310)는 반경 20~30m 내로 무인기(500)가 근접할 경우, 무인기(500)에서 발생되는 소음을 센싱한다. 따라서, 소음 센서(310)가 센싱한 소음 신호를 무인기 검출 장치(100)가 분석하여 무인기(500) 여부만 확인하면 되므로 빠르게 무인기(500) 발현을 판별할 수 있다.
무인기 검출 장치(100)는 소음 센서(310)로부터 전달되는 소음 신호를 분석하여 무인기(500)가 출현하였는지 여부를 검출한다. 이를 위해, 무인기 검출 장치(100)에서 소음 신호를 분석하는 소음 신호 분석 모듈(도면 미도시)은 사전에 다양한 무인기들의 소음 신호를 입력으로 받아 해당 무인기들의 식별 정보가 출력되도록 학습 데이터로 학습되어 있다.
무인기 검출 장치(100)가 무인기(500)의 출현을 검출하면, GPS 수신기(320)로부터 수신한 GPS 좌표를 무인기 감시 장치(200)로 전달한다. 무인기 감시 장치(200)는 무인기 검출 장치(100)로부터 GPS 좌표를 수신하면, 불법 무인기(500))를 검출한 무인기 검출 장치(100)쪽으로 카메라(410)를 회전시킨다.
카메라(410)가 무인기 검출 장치(100)쪽으로 회전하여 영상을 촬영하면, 무인기 검출 장치(100)는 영상에서 무인기(500)를 검출한다. 그리고 무인기 감시 장치(200)는 검출한 무인기(500)가 화면의 중심에 놓이도록 카메라(410)의 팬 값과 틸트 값을 제어하면서 무인기(500)를 실시간 추적하며 감시할 수 있다.
이러한 환경에서, 무인기(500)를 검출하고 감시하는 무인기 검출 장치(100)와 무인기 감시 장치(200)의 구조에 대해 도 2 및 도 3을 참조로 설명한다.
도 2는 본 발명의 실시예에 따른 무인기 검출 장치의 구조도이다.
도 2에 도시된 바와 같이, 소음 센서(310) 및 GPS 수신기(320)와 연동한 무인기 검출 장치(100)는 소음 신호 수신부(110), 좌표 수신부(120), 소음 신호 분석부(130) 그리고 무인기 검출 정보 전송부(140)를 포함한다.
소음 신호 수신부(110)는 소음 센서(310)가 센싱한 소음 신호를 수신한다. 본 발명의 실시예에서는 소음 신호의 형태를 어느 하나로 한정하지 않는다.
좌표 수신부(120)는 소음 센서(310)가 설치된 위치의 GPS 좌표(이하, 설명의 편의를 위하여 '소음 센서 좌표'라 지칭함)를 GPS 수신기(320)로부터 수신한다.
소음 신호 분석부(130)는 소음 신호 수신부(110)가 수신한 소음 신호를 분석하여, 소음 센서(310)가 센싱한 소음을 발생시킨 객체가 무인기(500)인지 확인한다. 이를 위해, 소음 신호 분석부(130)는 사전에 소음 학습 데이터로 학습되어 있다.
소음 학습 데이터는 소음 신호의 스펙트럼과 해당 소음 신호를 발생시키는 다양한 객체들(예를 들어, 무인기, 들짐승, 자동차, 사람 등)들의 식별 정보로 구성된다. 소음 신호 분석부(130)는 소음 신호를 수신하면 소음 신호를 분석하여 스펙트럼을 추출한다.
그리고, 해당 스펙트럼이 입력되면 해당 스펙트럼에 대응하는 객체의 식별 정보가 출력되도록 학습되어 있다. 여기서, 소음 신호 분석부(130)가 소음 신호를 분석하여 스펙트럼을 추출하는 방법은 다양하므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.
소음 신호 분석부(130)는 수신한 소음 신호가 무인기(500)에서 발생한 소음인 것으로 분석하면, 무인기 검출 정보 전송부(140)는 소음 신호를 전송한 소음 센서(310)의 식별 정보와 해당 소음 센서(310)의 소음 센서 좌표를 무인기 검출 정보에 포함시켜 무인기 감시 장치(200)로 전달한다.
도 3은 본 발명의 실시예에 따른 무인기 감시 장치의 구조도이다.
도 3에 도시된 바와 같이, 무인기 검출 정보 수신부(210), 좌표 수신부(220), 카메라 제어부(230), 영상 수신부(240) 그리고 영상 분석부(250)를 포함한다.
무인기 검출 정보 수신부(210)는 무인기 검출 장치(100)로부터 전송되는 무인기 검출 정보를 수신한다. 무인기 검출 정보에는 무인기(500)를 센싱한 소음 센서(310)의 식별 정보와 해당 소음 센서(310)가 설치된 소음 센서 좌표를 포함한다.
좌표 수신부(220)는 카메라(410)가 설치된 GPS 좌표(이하, '카메라 좌표'라 지칭함) 정보를 GPS 수신기(420)로부터 수신한다.
카메라 제어부(230)는 무인기 검출 정보에 포함된 소음 센서 좌표와 좌표 수신부(220)가 수신한 카메라 좌표를 기초로, 카메라(410)가 소음 센서(310) 방향을 촬영할 수 있도록 팬 값과 틸트 값을 계산한다. 그리고, 계산한 팬 값과 틸트 값을 기초로 카메라(410)가 회전하도록 제어 신호를 생성한다.
이때, 카메라 제어부(230)가 소음 센서 좌표와 카메라 좌표를 기초로 팬 값과 틸트 값을 계산하는 방법은 다양한 방법으로 계산할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다. 카메라 제어부(230)가 팬 값과 틸트 값을 계산하는 방법에 대해 하나의 예를 들어 설명하면 다음과 같다.
카메라(410)가 GPS 좌표 상의 특정 방향(예를 들어, 정북방향)을 향하도록 설치되어 있다고 가정한다. 그러면, 카메라 제어부(230)가 카메라 좌표와 소음 센서 좌표를 수신하면, 두 장치 사이의 세로/가로 거리를 계산할 수 있다. 그리고, 'tanθ = 세로/가로'이므로, 카메라 제어부(230)는 이 값을 회전각으로 계산한다.
또한, 카메라 제어부(230)는 이후 카메라(410)가 촬영한 영상에서 무인기(500)를 검출하면, 촬영한 영상의 화면 가운데 무인기(500)가 위치하도록 카메라(410)의 팬 값과 틸트 값을 보정한다. 이에 대해서는 이후 방법을 통해 설명한다.
영상 수신부(240)는 카메라(410)가 촬영한 영상을 수신한다. 영상 분석부(250)는 영상 수신부(240)가 수신한 영상에서 무인기(500)를 검출한다.
영상 분석부(240)는 실시간 이미지 프로세싱 즉, OpenCV를 통해 영상을 분석하여 영상 내에서 무인기(500)를 검출한다. 영상 분석부(250)가 영상에서 무인기(500)를 검출하는 방법은 이미 다양한 방법을 통해 실행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.
그리고, 영상 분석부(250)는 영상에서 무인기(500)를 검출하기 위해 학습 데이터로 기 학습되어 있다. 즉, 무인기(500)의 형태가 다양하므로, 본 발명의 실시예에서는 다양한 형태의 무인기들의 형태와 각 무인기들의 형태에 매핑된 무인기 식별 정보를 포함하는 학습 데이터를 이용하여, 무인기의 형태가 입력되면 무인기 식별 정보가 출력되도록 영상 분석부(250)를 학습시킨다.
영상 분석부(250)가 영상에서 무인기(500)를 검출하면, 카메라 제어부(230)는 화면상에서의 무인기(500)의 좌표값이 화면 중심에서 떨어진 거리를 계산한다. 그리고 떨어진 거리에 따라 카메라 제어부(230)는 무인기(500)가 화면의 중심에 위치하도록 카메라(410)를 제어할 팬 값과 틸트 값을 계산하며, 실시간으로 무인기(500)를 추적한다.
카메라 제어부(230)가 무인기(500)를 화면 중심에 위치하도록 카메라(410)를 제어하기 위한 회전 값(팬 값과 틸트 값)을 계산하는 예에 대해 설명하면 다음과 같다. 카메라(410)의 화각이 전체 화면에 해당한다. 따라서, 화면 내의 특정 위치를 화각을 기준으로 나누면, 특정 위치의 상하 각도와 좌우 각도를 계산할 수 있다.
예를 들어, 카메라(410)의 화각이 가로 80도, 세로 60도이고, 화면의 해상도가 1920*1080라 가정한다. 그러면 한 픽셀에 대한 좌우 각도가 '80도/1920'로 계산된 값이고, 상하 각도가 '60도/1080'로 계산된 값이다. 이와 같은 방법으로, 화면 상의 특정 픽셀에 대한 화면 중심에서의 각도를 계산할 수 있다.
또 다른 방법으로는, 화면에서 우측에 무인기(500)가 있다고 가정한다. 그러면, 카메라 제어부(230)는 화면의 우측에 무인기(500)가 있는 것을 인지할 수 있으므로, 미리 설정한 각도로 카메라(410)를 우측으로 이동시키면서 화면 중심에 무인기(500)가 위치할 때까지 반복할 수도 있다.
상술한 무인기 검출 장치(100)와 무인기 감시 장치(200)를 이용하여 무인기(500)를 검출하고 감시하는 방법에 대해 도 4를 참조로 설명한다.
도 4는 본 발명의 실시예에 따른 무인기를 검출하고 감시하는 방법에 대한 흐름도이다.
도 4에 도시된 바와 같이, 무인기 검출 장치(100)는 연결된 GPS 수신기(320)를 통해 소음 센서(310)의 위치 좌표를 수신한다(S100). 여기서, 위치 좌표는 무인기 검출 장치(100)가 최초 설치될 때 한 번만 수신하거나, 미리 설정된 주기에 따라 수신할 수도 있다. 또한, 하나의 무인기 검출 장치(100)에 복수의 소음 센서(310)들이 연결되어 있다면, 각 소음 센서의 위치 정보와 각 소음 센서의 식별 정보를 매핑하여 수신, 저장할 수도 있다.
무인기 검출 장치(100)는 임의의 객체가 발생시킨 소음을 센싱한 소음 센서(310)로부터 소음 신호를 수신하고(S101), 수신한 소음 신호를 분석하여 스펙트럼을 추출한다(S102). 그리고, 소음을 발생시킨 객체가 무인기인지 여부를 확인한다(S103). 이를 위해, 본 발명의 실시예에서는 무인기 검출 장치(100)가 학습 데이터들로 사전에 학습되어 있는 것을 예로 하여 설명한다.
즉, 다양한 소음의 스펙트럼들과, 각 소음을 발생시킨 객체의 식별 정보(예를 들어, 객체명 등)를 포함하는 학습 데이터로 무인기 검출 장치(100)를 학습시켜, 소음 신호가 입력되면 입력된 소음 신호를 발생시킨 객체가 무인기인지 아닌지를 검출한다. 여기서, 무인기 검출 장치(100)가 소음 신호를 분석하여 스펙트럼으로 생성하는 방법은 다양하게 실행할 수 있으므로, 본 발명의 실시예에서는 어느 하나로 한정하지 않는다.
만약, 소음 센서(310)가 여러 소음들을 겹쳐 센싱하여 소음 신호로 생성한 경우, 무인기 검출 장치(100)는 소음 신호의 각 스펙트럼들을 분리한다. 그리고, 분리된 복수의 스펙트럼들을 각각 확인하여 무인기(500)에서 발생시킨 소음이 있는지 확인한다. 무인기 검출 장치(100)가 소음 신호에서 여러 스펙트럼들을 분리하는 방법 역시 이미 알려진 기술이므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.
무인기 검출 장치(100)는 S101 단계에서 수신한 소음 신호를 발생시킨 객체가 무인기가 아닌 것으로 확인하면, S101 단계 이후의 절차를 반복 실행한다. 그러나, 수신한 소음 신호에서 무인기가 발생시킨 소음이 있는 것으로 확인하면, 무인기 검출 장치(100)는 무인기를 검출하였음을 알리는 무인기 검출 정보를 생성한다(S104). 여기서, 무인기 검출 정보는 소음 신호를 센싱한 소음 센서의 식별 정보와 소음 센서 좌표를 포함한다.
무인기 검출 장치(100)는 S104 단계에서 생성한 무인기 검출 정보를 무인기 감시 장치(200)로 전달한다(S105). 무인기 감시 장치(200)는 연결된 GPS 수신기(420)를 통해 카메라 위치 좌표를 수집한다(S106). 본 발명의 실시예에서는 무인기 검출 정보를 수신한 후에 카메라 위치 좌표를 수집하는 것으로 나타내었으나, 무인기 감시 장치(200)가 실행될 때 카메라 위치 좌표를 수집하여 저장해 둘 수 있다. 또는, 미리 설정된 주기에 따라 카메라 위치 좌표를 수집하여 갱신할 수도 있으며, 어느 하나의 방법으로 한정하지 않는다.
무인기 감시 장치(200)는 S105 단계에서 수신한 무인기 검출 정보로부터 소음 센서 위치 좌표를 확인하고, 확인한 소음 센서 위치 좌표와 S106 단계에서 수집한 카메라 위치 좌표를 기초로, 카메라(410)를 소음 센서(310) 방향으로 회전시킬 카메라 회전 값(팬 값과 틸트 값)을 계산한다(S107).
무인기 감시 장치(200)는 S107 단계에서 계산한 회전 값으로 카메라(410)의 팬 값과 틸트 값을 변경시키기 위해 제어 신호로 카메라(410)를 회전시킨다. 그리고, 카메라(410)가 회전된 위치에서 영상을 촬영하면, 무인기 감시 장치(200)는 카메라(410)가 촬영한 영상을 수집하여 분석한다(S108). 여기서, 카메라(410)는 무인기(500)가 포함된 영상을 촬영한다.
무인기 감시 장치(200)는 영상을 분석하여, 영상 속에서 무인기를 검출한다(S109). 즉, OpenCV를 통해 영상을 분석하여 영상 내에서 무인기를 검출하고, 검출한 무인기가 영상 속 화면에서 위치한 화면 좌표를 추출한다.
무인기 감시 장치(200)는 화면의 중심점과 무인기(500)의 화면 좌표를 이용하여 각도를 계산한다. 그리고 계산한 각도를 이용하여 무인기(500)가 화면의 중심에 위치하도록 카메라(410)를 회전시킬 카메라 회전 값을 계산한다(S110). 계산한 카메라 회전 값에 따라 카메라(410)가 회전하면, 무인기 감시 장치(200)는 무인기(500)가 화면의 중심에 오도록 촬영되는 영상을 이용하여 무인기를 감시한다(S111).
상술한 도 4에서는 하나의 소음 센서(310)에서 무인기(500)의 소음을 센싱한 경우에 대해서만 설명하였으나, 무인기(500)가 빠르게 다른 영역으로 이동할 경우에도 동일하게 처리한다. 즉, 무인기(500)가 빠르게 제1 소음 센서가 설치된 영역에서 제2 소음 센서가 설치된 영역으로 이동할 경우, 무인기 감시 장치(200)는 제1 소음 센서를 통해 받은 정보로 카메라(410)가 영상을 촬영하게 되면 무인기(500)의 검출에 실패하게 된다.
그러나, 제2 소음 센서가 연결된 무인기 검출 장치로부터 무인기 검출 정보를 수신한다. 따라서, 무인기 감시 장치(200)는 제2 소음 센서가 연결된 무인기 검출 장치에서 전송된 무인기 검출 정보를 이용하여 무인기(500) 검출 및 감시 절차를 수행할 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (12)

  1. 삭제
  2. 삭제
  3. 적어도 하나의 프로세서에 의해 동작하는 무인기 감시 장치가 카메라와 연동하여 무인기를 감시하는 방법으로서,
    상기 카메라의 GPS 송신기로부터, 상기 카메라의 카메라 좌표를 수신하는 단계,
    복수의 무인기 검출 장치들 중 무인기를 검출한 특정 무인기 검출 장치로부터 상기 특정 무인기 검출 장치와 연동한 소음 센서의 소음 센서 위치 좌표를 포함하는 무인기 검출 정보를 수신하면, 상기 카메라 좌표와 상기 소음 센서 위치 좌표를 기초로 상기 카메라를 상기 소음 센서의 방향으로 회전시킬 제1 회전 값을 계산하는 단계,
    상기 계산한 제1 회전 값을 기초로 상기 카메라가 상기 소음 센서의 방향으로 회전하여 촬영한 영상을 수신하고, 수신한 영상의 화면에서 상기 무인기를 검출하고 검출한 무인기의 화면 좌표를 추출하는 단계,
    상기 화면의 중심점과 상기 화면 좌표를 기초로 상기 무인기가 상기 화면의 중심에 오도록 상기 카메라의 제2 회전 값을 계산하는 단계, 그리고
    상기 제2 회전 값을 기초로 회전한 상기 카메라가 상기 무인기를 상기 화면의 중심에 위치하도록 촬영하여 상기 무인기를 감시하는 단계
    를 포함하는, 무인기 감시 방법.
  4. 제3항에 있어서,
    상기 제1 회전 값 및 제2 회전 값은 상기 카메라의 팬 값과 틸트 값을 포함하고,
    상기 카메라는 PTZ 카메라인, 무인기 감시 방법.
  5. 제4항에 있어서,
    상기 제2 회전 값을 계산하는 방법은,
    상기 화면의 중심점과 상기 화면 좌표를 기초로 상기 무인기가 위치한 각도를 계산하는 단계, 그리고
    상기 계산한 각도를 기초로 상기 무인기가 상기 화면의 중심에 오도록 상기 카메라를 회전시킬 상기 제2 회전 값을 구하는 단계
    를 포함하는, 무인기 감시 방법.
  6. 제5항에 있어서,
    상기 무인기가 위치한 각도를 계산하는 방법은,
    상기 카메라의 화각과 상기 화면의 해상도를 기초로, 상기 무인기가 위치한 화면의 픽셀에 대한 좌우 각도와 상하 각도를 계산하는 단계
    를 포함하는, 무인기 감시 방법.
  7. 무인기 감시 시스템으로서,
    적어도 하나의 소음 센서와 상기 소음 센서의 소음 센서 위치 좌표를 제공하는 GPS 수신기와 각각 연동하며, 상기 소음 센서가 임의의 객체에서 발생된 소음을 센싱하여 소음 신호를 생성하면 상기 소음 신호로부터 스펙트럼을 추출하여 상기 임의의 객체가 무인기인지 검출하는 복수의 무인기 검출 장치들, 그리고
    상기 복수의 무인기 검출 장치들, 그리고 적어도 하나의 카메라와 연동하며, 특정 무인기 검출 장치로부터 상기 무인기의 출현을 검출하여 생성한 무인기 검출 정보를 수신하면, 상기 무인기에서 생성한 소음을 센싱한 소음 센서 방향으로 카메라를 회전시켜 상기 무인기를 감시하는 무인기 감시 장치
    를 포함하는, 무인기 감시 시스템.
  8. 제7항에 있어서,
    각 무인기 검출 장치는,
    상기 소음 센서가 생성한 상기 임의의 객체에 대한 소음 신호를 수신하는 소음 신호 수신부,
    상기 소음 센서의 소음 센서 좌표를 상기 GPS 수신기로부터 수신하는 좌표 수신부,
    상기 소음 신호를 분석하여 상기 스펙트럼을 추출하고, 추출한 스펙트럼에 매핑되어 학습된 객체의 객체 식별 정보를 확인하여 상기 임의의 객체가 무인기인지 확인하는 소음 신호 분석부, 그리고
    상기 임의의 객체가 무인기이면 상기 소음 센서 좌표와 상기 소음 센서의 식별 정보를 포함하는 상기 무인기 검출 정보를 생성하여, 상기 무인기 감시 장치로 전송하는 무인기 검출 정보 전송부
    를 포함하는, 무인기 감시 시스템.
  9. 제8항에 있어서,
    학습 데이터는 복수의 객체들의 객체 식별 정보와 각 객체에서 생성한 소음의 스펙트럼들이 포함되어 있으며,
    상기 소음 신호 분석부는 상기 학습 데이터에 포함된 스펙트럼이 입력되면 상기 스펙트럼에 매핑된 객체 식별 정보가 출력되도록 학습된, 무인기 감시 시스템.
  10. 제7항에 있어서,
    상기 무인기 감시 장치는,
    상기 무인기 출현을 검출한 상기 특정 무인기 검출 장치에서 전송되는 상기 무인기 검출 정보를 수신하는 무인기 검출 정보 수신부,
    상기 카메라의 카메라 좌표를 GPS 수신기로부터 수신하는 좌표 수신부, 그리고
    상기 무인기 검출 정보에 포함된 소음 센서 좌표와 상기 카메라 좌표를 기초로, 상기 카메라가 상기 특정 무인기 검출 장치에 연결된 소음 센서의 방향으로 회전하도록 상기 카메라의 회전 값을 계산하며, 계산한 상기 회전 값으로 상기 카메라가 회전하도록 제어 신호를 생성하는 카메라 제어부
    를 포함하는, 무인기 감시 시스템.
  11. 제10항에 있어서,
    상기 무인기 감시 장치는,
    상기 제어 신호를 기초로 상기 소음 센서의 방향으로 회전한 카메라가 수집한 영상을 수신하는 영상 수신부, 그리고
    상기 영상을 분석하여 상기 영상에서 상기 무인기를 추출하고, 상기 영상의 화면에서 상기 추출한 무인기의 화면 좌표를 추출하는 영상 분석부
    를 더 포함하는, 무인기 감시 시스템.
  12. 제11항에 있어서,
    상기 카메라 제어부는,
    상기 영상 분석부가 추출한 상기 무인기의 화면 좌표와 상기 화면의 중심점을 기초로, 상기 무인기가 상기 화면의 중심에 오도록 상기 카메라를 회전시킬 회전 값을 계산하는, 무인기 감시 시스템.
KR1020210072750A 2021-06-04 2021-06-04 무인기 감시 시스템 및 방법 KR102305438B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210072750A KR102305438B1 (ko) 2021-06-04 2021-06-04 무인기 감시 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210072750A KR102305438B1 (ko) 2021-06-04 2021-06-04 무인기 감시 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102305438B1 true KR102305438B1 (ko) 2021-09-27

Family

ID=77925322

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210072750A KR102305438B1 (ko) 2021-06-04 2021-06-04 무인기 감시 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102305438B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102450210B1 (ko) * 2022-03-15 2022-10-04 (주)스콘박스 사생활 보호를 위한 안티 드론 탐지방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102147121B1 (ko) * 2018-08-21 2020-08-25 윤성욱 저고도 무인항공기 식별 및 무력화 방법
KR20200140723A (ko) * 2019-06-07 2020-12-16 한국전자통신연구원 무인기 추적 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102147121B1 (ko) * 2018-08-21 2020-08-25 윤성욱 저고도 무인항공기 식별 및 무력화 방법
KR20200140723A (ko) * 2019-06-07 2020-12-16 한국전자통신연구원 무인기 추적 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102450210B1 (ko) * 2022-03-15 2022-10-04 (주)스콘박스 사생활 보호를 위한 안티 드론 탐지방법
WO2023177117A1 (ko) * 2022-03-15 2023-09-21 (주)스콘박스 사생활 보호를 위한 안티 드론 탐지방법

Similar Documents

Publication Publication Date Title
CN105759834B (zh) 一种主动捕获低空小型无人飞行器的系统及方法
TWI580273B (zh) 監視系統
JP6155032B2 (ja) 撮影システム
US20100013917A1 (en) Method and system for performing surveillance
KR101948569B1 (ko) 라이다 센서 및 팬틸트줌 카메라를 활용한 비행체 식별 시스템 및 그 제어 방법
KR20160102923A (ko) 침입 탐지 장치
Bhadwal et al. Smart border surveillance system using wireless sensor network and computer vision
WO2018009835A2 (en) Passive optical detection method and system for vehicles
KR102335994B1 (ko) 드론 감시를 위한 촬영 감시 장치들의 통합 제어 장치
CN104902246A (zh) 视频监视方法和装置
KR101328246B1 (ko) 이동 객체 자동 추적 시스템과 그 방법
KR102292117B1 (ko) 드론 관제 시스템 및 이를 이용한 드론 탐지 및 식별 방법
KR102310192B1 (ko) 객체 인식률 및 감시 정확성을 높인 융복합 카메라 및 이를 이용한 경계 감시시스템
KR102305438B1 (ko) 무인기 감시 시스템 및 방법
CN110703760A (zh) 一种用于安防巡检机器人的新增可疑物体检测方法
US11740315B2 (en) Mobile body detection device, mobile body detection method, and mobile body detection program
KR20170058767A (ko) 스마트 재배농장 시스템 및 그 제어방법
CN111681399A (zh) 多维立体安全防控方法、装置及系统
JP7089926B2 (ja) 管制装置
CN110267004A (zh) 一种小型无人机探测监控系统
CN107045805B (zh) 一种用于小型航空器和空飘物的监测方法及系统
KR20170112714A (ko) 비행 촬영 유닛을 통한 분산된 구역 자동 감시 시스템
KR101410985B1 (ko) 감시카메라를 이용한 감시시스템 및 감시장치와 그 감시방법
RU2542873C1 (ru) Комплекс технического наблюдения за охраняемой территорией
CN112802100A (zh) 一种入侵检测方法、装置、设备和计算机可读存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant