KR20180135146A - 3d 정보를 이용한 드론 탐지장치 및 그 방법 - Google Patents

3d 정보를 이용한 드론 탐지장치 및 그 방법 Download PDF

Info

Publication number
KR20180135146A
KR20180135146A KR1020170072607A KR20170072607A KR20180135146A KR 20180135146 A KR20180135146 A KR 20180135146A KR 1020170072607 A KR1020170072607 A KR 1020170072607A KR 20170072607 A KR20170072607 A KR 20170072607A KR 20180135146 A KR20180135146 A KR 20180135146A
Authority
KR
South Korea
Prior art keywords
information
image
drones
camera
visible camera
Prior art date
Application number
KR1020170072607A
Other languages
English (en)
Inventor
이현기
문전일
김민영
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020170072607A priority Critical patent/KR20180135146A/ko
Publication of KR20180135146A publication Critical patent/KR20180135146A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06K9/00201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 드론의 탐지에 관한 것으로, 보다 상세하게는 3D 정보를 이용한 드론 탐지장치 및 그 방법에 관한 것이다. 이를 위해, 비행중인 드론(50)을 촬영하는 가시 카메라(100); 드론(50)을 촬영하는 적외선 카메라(200); 드론(50)의 3차원 정보를 생성하는 3D정보 생성수단; 가시 카메라(100) 및 적외선 카메라(200)의 촬영된 영상과 3D정보에 기초하여 영상으로부터 드론(50)을 분리하는 영상분리부(400); 및 영상분리부(400)에 의해 분리된 드론(50)의 영상을 탐지하거나 추적하는 드론탐지부(500)를 포함하는 것을 특징으로 하는 3D 정보를 이용한 드론 탐지장치가 제공된다.

Description

3D 정보를 이용한 드론 탐지장치 및 그 방법{Drone Detecting Device using 3D Information and Method Thereof}
본 발명은 드론의 탐지에 관한 것으로, 보다 상세하게는 3D 정보를 이용한 드론 탐지장치 및 그 방법에 관한 것이다.
드론은 비행체로서 레저, 방송, 군사, 취미, 유통, 통신 등 다양한 분야에서 활용되고 있다. 이와 같이 드론의 응용분야가 점차 확대됨에 따라 안전이나 보안을 이유로 하여 드론 비행 금지 구역을 설정하여 비행 여부를 엄격하게 관리하게 되었다.
이러한 관리의 일환으로 비행하는 드론의 탐지, 추적 등을 위해 카메라 영상 기술이 도입되었다. 도 1은 산(10)과 건물(20)을 배경으로 비행중인 이러한 드론(50)을 촬영하는 구성을 개략적으로 나타내는 도면이다. 도 1에 도시된 바와 같이, 드론(50)은 헬리콥터와 같이 정지 비행이 가능하고, 급격한 방향전환이 가능하여 복잡한 도심 건물(20) 사이에서 비행이 가능하다. 또한, 국토의 대부분이 산악지형으로 이루진 한국에서 통상적으로 드론(50)은 낮은 고도로 비행한다. 이러한 드론(50)을 발견하고 추적하기 위하여 레이더를 우선적으로 사용하고, 정확한 인식을 위해 카메라(70)가 드론(50)을 촬영한다.
도 2a는 드론(50)을 검출/추적하기 위한 종래 추적 시스템의 개략적인 블럭도이다. 도 2a에 도시된 바와 같이, 가시 카메라(100)와 적외선 카메라(200)가 드론(50)을 촬영한다. 적외선 카메라(200)는 야간에 사용될 수 있거나 가시 카메라(100)와 병행하여 사용된다. 영상 처리부(60)는 가시광선 영역의 영상과 적외선 영역의 영상을 싱크하거나 병합하여 영상을 생성하고, 드론탐지부(70)는 이와 같은 영상으로부터 드론(70)을 탐지한다. 참고로, 도 2b는 도 2a와 같은 종래의 추적 시스템에서 가시 카메라(100)의 영상과 적외선 카메라(200)의 영상을 표출하는 통합 운영 프로그램(예 : AUDSTM)의 일예이다.
그런데, 산악지형이 대부분인 나라에서 드론을 촬영하는 경우 또는 도심지에서 드론을 촬영하는 경우 배경으로 산, 숲, 나무, 건물, 도시 구조물(예 : 교량, 탑, 육교, 고가도로 등)이 같이 촬영되곤 하였다. 도 2c는 도 2a와 같은 종래의 시스템을 이용하여 산을 배경으로 비행중인 드론을 촬영한 영상의 일예이다. 도 2c에 도시된 바와 같이, 산(10), 숲, 건물(20) 등을 배경으로 하여 드론을 촬영하는 경우 2차원 영상에 불과했다. 따라서, 배경영상과 드론 영상이 간섭을 일으키거나 드론이 흐리게 촬영되는 경우 또는 드론이 작게 촬영되는 경우 배경영상으로 부터 드론을 식별하기 어려워 드론 탐지율이 저하되는 문제가 있었다. 이는 결국 드론의 촬영에 실패하거나 간헐적인 탐지 촬영으로 연속적인 추적을 못하고 드론을 놓치는 사례로 이어졌다.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 해결하고자 하는 과제는 드론의 3차원 정보를 생성하여 이를 촬영영상과 융합함으로써 드론영상을 쉽게 탐지하여 추적할 수 있도록 하는 3D 정보를 이용한 드론 탐지장치 및 그 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 특히 산악지대나 도심지에서 이를 배경으로 드론을 촬영하는 경우 생성된 드론의 3D 정보로부터 드론영상을 쉽게 탐지하여 추적할 수 있도록 하는 3D 정보를 이용한 드론 탐지장치 및 그 방법을 제공하는 것이다.
다만, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기의 기술적 과제를 달성하기 위한 수단으로는, 비행중인 드론(50)을 촬영하는 가시 카메라(100); 드론(50)을 촬영하는 적외선 카메라(200); 드론(50)의 3차원 정보를 생성하는 3D정보 생성수단; 가시 카메라(100) 및 적외선 카메라(200)의 촬영된 영상과 3D정보에 기초하여 영상으로부터 드론(50)을 분리하는 영상분리부(400); 및 영상분리부(400)에 의해 분리된 드론(50)의 영상을 탐지하거나 추적하는 드론탐지부(500)를 포함하는 것을 특징으로 하는 3D 정보를 이용한 드론 탐지장치가 제공된다.
또한, 3D정보 생성수단은, 가시 카메라(100)와 동기되어 3D 정보를 생성하는 LRF(110)일 수 있다. 그리고, 가시 카메라(100)의 전방에 구비되어 입사광을 LRF(110)측으로 분지하는 스플리터(120)를 더 포함할 수 있다.
또한, 3D정보 생성수단은, 가시 카메라(100)의 결상계 전방에 구비된 렌즈 릿(Let 또는 Array)(140)일 수 있다.
또한, 3D정보 생성수단은, 가시 카메라(100)를 제 1 가시 카메라(100a)로 하고, 드론(50)을 촬영하는 제 2 가시 카메라(100b)를 더 포함하여 스테레오 비전 정보로부터 3D정보를 생성할 수도 있다.
또한, 3D정보 생성수단은, 가시 카메라(100)의 결상계 전방에 구비된 코딩된 어퍼쳐(150)일 수도 있다.
상기와 같은 본 발명의 목적은, 또 다른 카테고리로서, 가시 카메라(100)와 적외선 카메라(200)중 적어도 하나가 비행중인 드론(50)을 촬영하는 단계(S100);와 3D정보 생성수단이 드론(50)을 촬영하여 3차원 정보를 생성하는 단계(S110);가 병행적으로 수행되는 단계; 3차원 영상처리부(300)가 촬영단계(S100)의 영상과 3D 정보를 융합하는 단계(S120); 및 영상분리부(400)가 촬영단계(S100)의 영상과 3D정보에 기초하여 융합된 영상으로부터 드론(50)의 영상과 배경영상을 분리하는 단계(S150);를 포함하는 것을 특징으로 하는 3D 정보를 이용한 드론 탐지방법에 의해서도 달성될 수 있다.
또한, 드론탐지부(500)가 드론(50)의 영상을 탐지하거나 추적하는 단계(S170);를 더 포함할 수 있다.
또한, 3차원 정보의 생성단계(S110)는, LRF(110)가 가시 카메라(100)와 동기되어 3D 정보를 생성하는 단계를 포함할 수 있다.
또한, 3차원 정보의 생성단계(S110)는, 가시 카메라(100)의 전방에 구비된 스플리터(120)가 입사광을 LRF(110)측으로 분지하여 동기될 수 있다.
또한, 3차원 정보의 생성단계(S110)는, 가시 카메라(100)의 결상계 전방에 구비된 렌즈 릿(140)을 이용하여 3D정보를 생성할 수 있다.
또한, 3차원 정보의 생성단계(S110)는, 가시 카메라(100)를 제 1 가시 카메라(100a)로 하고, 제 2 가시 카메라(100b)가 드론(50)을 촬영하는 스테레오 비전 정보로부터 3D정보를 생성할 수도 있다.
또한, 3차원 정보의 생성단계(S110)는, 가시 카메라(100)의 결상계 전방에 구비된 코딩된 어퍼쳐(150)가 3D정보를 생성할 수 있다.
본 발명의 일실시예에 따르면, 드론의 3차원 정보를 생성하여 이를 촬영영상과 융합함으로써 드론영상을 놓치지 않고 쉽게 탐지하여 추적할 수 있다.
특히, 산악지대나 도심지에서 이를 배경으로 드론을 촬영하는 경우에도 드론영상을 쉽게 탐지하여 추적할 수 있도록 하는 유용성이 있다. 이를 통해 드론으로 인한 보안의 위협이나 안전 사고를 미연에 방지할 수 있는 효과가 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어서 해석되어서는 아니된다.
도 1은 산(10)과 건물(20)을 배경으로 비행중인 이러한 드론(50)을 촬영하는 구성을 개략적으로 나타내는 도면,
도 2a는 드론(50)을 검출/추적하기 위한 종래 추적 시스템의 개략적인 블럭도,
도 2b는 도 2a와 같은 종래의 추적 시스템에서 가시 카메라(100)의 영상과 적외선 카메라(200)의 영상을 표출하는 통합 운영 프로그램(예 : AUDSTM)의 일예,
도 2c는 도 2a와 같은 종래의 시스템을 이용하여 산을 배경으로 비행중인 드론을 촬영한 영상의 일예,
도 3은 본 발명의 제 1 실시예에 따른 3D 정보를 이용한 드론 탐지장치의 개략적인 블럭도,
도 4는 본 발명의 제 2 실시예에 따른 3D 정보를 이용한 드론 탐지장치의 개략적인 블럭도,
도 5는 본 발명의 제 3 실시예에 따른 3D 정보를 이용한 드론 탐지장치의 개략적인 블럭도,
도 6은 본 발명의 제 4 실시예에 따른 3D 정보를 이용한 드론 탐지장치의 개략적인 블럭도,
도 7은 본 발명의 실시예에 따른 3D 정보를 이용한 드론 탐지방법의 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시 예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시 예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시 예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
제 1 실시예
도 3은 본 발명의 제 1 실시예에 따른 3D 정보를 이용한 드론 탐지장치의 개략적인 블럭도이다. 도 3에 도시된 바와 같이, 비행중인 드론(50)을 가시 카메라(100)와 적외선 카메라(200)가 촬영한다.
가시 카메라(Visible Camera)(100)는 가시광선(즉, 주광)을 촬영하는 카메라로서, 소정 해상도(예 : 1024×768, 또는 1920×1080, 또는 2560×1440 또는 3840×2160)의 컬러 또는 흑백 동영상을 출력한다. 이러한 가시 카메라(100)는 단독으로 사용되거나 적외선 카메라(200)와 병행될 수 있다.
적외선 카메라(Infrared Camera, Thmographic Devices)(200)는 물체의 표면에서 방사되는 적외선을 CCD를 사용하여 촬영하는 카메라로서 단색(Mono Chrome)의 동영상을 출력한다. 특히 적외선 카메라(200)는 적외선을 검출하여 그 온도분포를 영상화할 수 있으며, 드론과 배경사이의 온도차를 이용하여 주간은 물론 야간에서도 수 Km 떨어진 드론의 탐지가 가능하다. 이러한 적외선 카메라(200)는 야간에 유효하게 사용될 수 있고, 단독으로 사용되거나 가시 카메라(100)와 병행될 수 있다.
가시 카메라(100)와 적외선 카메라(200)는 링크(미도시)로 연결하여 동시에 좌우회전 및/또는 상하회전이 가능하도록 구성하고, 줌인/줌아웃도 동기화시킬 수 있다. 이를 통해 가시 카메라(100)와 적외선 카메라(200)가 항상 같은 방향을 촬영할 수 있다. 이러한 카메라의 회전 기술은 공지의 기술이므로 구체적인 설명은 생략하기로 한다.
스플리터(120)는 가시 카메라(100)의 전방에 설치되어 가시 카메라(100)가 촬영하는 빛을 분지하여 LRF(110) 측으로 보낸다. 가시 카메라(100)와 LRF(110)를 나란히 설치하여 조향이 동기화될 수 있도록 하고, LRF(110)의 전방에는 반사경(130)을 설치하여 스플리터(120)에서 분지된 빛을 그대로 반사하여 LRF(110)로 입사시킨다.
LRF(Laser Range Finder, 110)는 일명 레이저 거리 측정기로서, 레이저를 사용하여 계기에서 한 점 또는 드론까지의 거리를 측정할 수 있는 장치이다. LRF(110)는 전자기파의 송신과 수신 사이의 시간 차이를 측정하여 거리를 산출하며 광원으로는 레이저외에도 가시광선이나 적외선을 사용할 수 있다.
3차원 영상처리부(300)는 LRF(110), 가시 카메라(100) 및 적외선 카메라(200)와 연결되어 이들로부터 정보를 받아 들이고, 처리된 영상을 드론과 배경분리부(400) 측으로 출력한다. 3차원 영상처리부(300)는 가시 카메라(100) 및 적외선 카메라(200)의 영상중 하나를 선택하거나 또는 각각의 영상을 중첩하여 하나의 영상을 생성한다. 가시 카메라(100) 및 적외선 카메라(200)의 영상중 하나를 선택할 때는 관리자에 의해 선택하거나 주야의 시간대에 따라 선택하거나 선명도에 따라 선택할 수 있다. 그리고, 3차원 영상처리부(300)는 이러한 영상에 LRF(110)에 의해 산출된 드론(50)과 거리를 통합한다. 배경이 되는 산이나 건물과의 거리 보다 드론(50)과의 거리가 상대적으로 짧기 때문에 촬영된 영상에서 드론(50)의 위치를 3차원적인(직각좌표계(x, y, z) 또는 구형좌표계(r, θ, ψ)) 수치 데이터로 확보할 수 있다.
드론과 배경분리부(400)는 3차원 영상처리부(300)와 드론탐지부(500) 사이에 구성된다. 드론과 배경분리부(400)는 3차원 영상처리부(300)가 생성한 영상 정보에 기초하여 촬영된 영상중 배경영상과 드론 영상을 분리한다. 즉, 드론과 배경분리부(400)는 LRF(110)에 의해 산출된 드론(50)의 좌표 정보에 기초하여 배경영상과 드론 영상을 분리한다. 전체 영상, 배경영상 및 분리된 드론 영상은 각각 저장되고 표출될 수 있다.
드론탐지부(500)는 분리된 드론 영상의 움직임에 기초하여 가시 카메라(100)와 적외선 카메라(200)를 팬/틸트/줌인아웃 동작시킨다. 이를 통해 임의 방향으로 비행중인 드론(50)을 탐지한 후에도 지속적으로 추적 촬영할 수 있다.
3차원 영상처리부(300), 드론과 배경분리부(400) 및 드론탐지부(500)는 기능별로 개별 구성할 수도 있고, 하나의 구성으로 통합 구현할 수 있다. 또한, 이러한 3차원 영상처리부(300), 드론과 배경분리부(400) 및 드론탐지부(500)는 전용 칩이나 모듈 또는 회로 보드를 이용하여 하드웨어적으로 구현할 수도 있고, 프로그램을 통해 소프트웨어적으로 구현할 수도 있다.
제 2 실시예
도 4는 본 발명의 제 2 실시예에 따른 3D 정보를 이용한 드론 탐지장치의 개략적인 블럭도이다. 도 4에 도시된 바와 같이, 적외선 카메라(200), 3차원 영상처리부(300), 드론과 배경분리부(400) 및 드론탐지부(500)의 구성과 동작은 제 1 실시예와 동일 유사하므로 구체적인 설명은 생략하기로 한다.
가시 카메라(Visible Camera)(100)는 가시광선(즉, 주광)을 촬영하는 카메라로서, 제 1 실시예의 가시 카메라(100) 구성과 유사하다. 다만, 드론(50)의 3차원 측정을 위해 가시 카메라 내부의 결상계(예 : CCD 또는 CMOS) 전방에 렌즈 릿(Let 또는 Array, 140)을 배치한다. 렌즈 릿(140)은 소형의 렌즈를 행렬 형태로 배치하여 구성한 것이다. 이러한 렌즈 릿(140)은 드론(50)의 한 위치가 렌즈 릿(140)을 통해 CCD의 여러 화소에 결상되도록 한다.
따라서, 제 2 실시예에서 3차원 영상처리부(300)는 가시 카메라(100)의 여러 화소에 각각 결상된 드론(50)의 위치를 이용하여 드론(50)까지의 거리(심도 정보, Depth Information)를 산출할 수 있다.
제 3 실시예
도 5는 본 발명의 제 3 실시예에 따른 3D 정보를 이용한 드론 탐지장치의 개략적인 블럭도이다. 도 5에 도시된 바와 같이, 가시 카메라(100), 적외선 카메라(200), 3차원 영상처리부(300), 드론과 배경분리부(400) 및 드론탐지부(500)의 구성은 제 1 실시예와 동일 유사하므로 구체적인 설명은 생략하기로 한다.
제 3 실시예에서는 2대의 가시 카메라(100a, 100b)를 사용하여 스테레오 비전을 구현함으로써 3차원적인 거리 좌표를 산출한다. 제 1 가시카메라(100a)와 제 2 가시카메라(100b)는 동일한 구성이고, 드론(50)을 향해 나란히 설치된다. 제 1 가시카메라(100a)가 촬영한 제 1 영상과 제 2 가시카메라(100b)가 촬영한 제 2 영상을 대비하거나 중첩하여 드론(50)까지의 거리를 산출할 수 있다. 또는 제 1, 2 영상을 이용하여 드론(50)을 제외한 나머지 영상을 배경영상으로 처리할 수 있다. 이러한 스테레오 비전의 영상 처리 기술은 공지의 기술이므로 구체적인 로직이나 동작은 생략하기로 한다. 제 3 실시예에서는 3차원 영상처리부(300)가 이러한 스테레오 비전의 영상 처리를 담당할 수 있다.
제 4 실시예
도 6은 본 발명의 제 4 실시예에 따른 3D 정보를 이용한 드론 탐지장치의 개략적인 블럭도이다. 도 6에 도시된 바와 같이, 적외선 카메라(200), 3차원 영상처리부(300), 드론과 배경분리부(400) 및 드론탐지부(500)의 구성은 제 1 실시예와 동일 유사하므로 구체적인 설명은 생략하기로 한다.
가시 카메라(Visible Camera)(100)는 가시광선(즉, 주광)을 촬영하는 카메라로서, 제 1 실시예의 가시 카메라(100) 구성과 유사하다. 다만, 드론(50)의 3차원 측정을 위해 가시 카메라 내부에 코딩된 어퍼쳐(Coded Aperture, 150)를 구비한다. 코딩된 어퍼쳐(150)는 부호화 어퍼쳐 또는 부호화 필터라고도 한다.
코딩된 어퍼쳐(150)는 드론(50)로부터의 입사광을 필터링하는 것으로 부호화된 필터 구조로 설계된 특정한 패턴의 영역으로만 광 통과를 허용한다. 이 패턴은 어넷 러빈(Anat Levin et al) 등이 제시한 현실 이미지의 통계적 모형으로서 불확실한 확률적 모형(probabilistic model)에 따른 코딩된 어퍼쳐(150)의 설계에 기초한다. 이러한 코딩된 어퍼쳐(150)는 드론(50) 이미지의 심도(거리) 변화에 민감하도록 부호화되어 있다. 따라서 드론(50)으로부터의 입사광은 코딩된 어퍼쳐(150)를 통과하면서 특정 부호로 변조(modified)된 상태에서 결상계(예 : CCD 또는 CMOS)에 결상된다. 가시 카메라(100)의 결상계로부터 얻어진 컨벌루젼 이미지 신호는 3차원 영상처리부(300)에 의해 심도 및 초점 정보를 얻는다.
실시예의 동작
도 7은 본 발명의 실시예에 따른 3D 정보를 이용한 드론 탐지방법의 흐름도이다. 도 7에 도시된 바와 같이, 먼저, 가시 카메라(100)와 적외선 카메라(200)가 비행중인 드론(50)을 촬영한다(S100).
그리고 이와 거의 동시에(또는 순차적으로) 3D정보 생성수단이 드론(50)을 촬영하여 3차원 정보를 생성한다(S110). 즉, 제 1 실시예와 같이 LRF(110)를 사용하는 경우, 제 2 실시예와 같이 렌즈 릿(140)을 사용하는 경우 그리고 제 4 실시예와 같이 코딩된 어퍼쳐(150)를 사용하는 경우 3차원 정보가 거의 동시에 생성된다.
반면, 제 3 실시예와 같이 2대의 가시 카메라(100a, 100b)를 사용하는 경우 2대의 가시 카메라(100a, 100b)에 의한 촬영이 이루어진 후 3D정보가 생성된다(S110).
그 다음, 3차원 영상처리부(300)는 촬영단계(S100)의 영상과 3D 정보를 융합하여 드론(50)의 3차원 위치 또는 드론까지의 거리(심도)를 산출한다(S120).
그 다음, 영상분리부(400)는 3D정보에 기초하여 융합된 영상으로부터 드론(50)의 영상과 배경영상을 분리한다(S150).
그 다음, 드론탐지부(500)가 드론(50)의 영상을 탐지하고, 가시카메라(100)와 적외선 카메라(200)의 위치를 제어하여 드론(50)을 추적한다(S170).
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시 예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시 예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시 예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.
10 : 산,
20 : 건물,
50 : 드론,
60 : 영상처리부,
70 : 드론탐지부,
100 : 가시 카메라,
100a : 제 1 가시 카메라,
100b : 제 2 가시 카메라,
110 : 2D LRF,
120 : 스플리터,
130 : 반사경,
140 : 렌즈 LET,
150 : 코딩된 어퍼쳐,
200 : 적외선 카메라,
300 : 3차원 영상처리부,
400 : 드론과 배경분리부,
500 : 드론탐지부.

Claims (13)

  1. 비행중인 드론(50)을 촬영하는 가시 카메라(100);
    상기 드론(50)을 촬영하는 적외선 카메라(200);
    상기 드론(50)의 3차원 정보를 생성하는 3D정보 생성수단;
    상기 가시 카메라(100) 및 상기 적외선 카메라(200)의 촬영된 영상과 상기 3D정보에 기초하여 상기 영상으로부터 상기 드론(50)을 분리하는 영상분리부(400); 및
    상기 영상분리부(400)에 의해 분리된 상기 드론(50)의 영상을 탐지하거나 추적하는 드론탐지부(500)를 포함하는 것을 특징으로 하는 3D 정보를 이용한 드론 탐지장치.
  2. 제 1 항에 있어서,
    상기 3D정보 생성수단은,
    상기 가시 카메라(100)와 동기되어 3D 정보를 생성하는 LRF(110)인 것을 특징으로 하는 3D 정보를 이용한 드론 탐지장치.
  3. 제 2 항에 있어서,
    상기 가시 카메라(100)의 전방에 구비되어 입사광을 상기 LRF(110)측으로 분지하는 스플리터(120)를 더 포함하는 것을 특징으로 하는 3D 정보를 이용한 드론 탐지장치.
  4. 제 1 항에 있어서,
    상기 3D정보 생성수단은,
    상기 가시 카메라(100)의 결상계 전방에 구비된 렌즈 릿(140)인 것을 특징으로 하는 3D 정보를 이용한 드론 탐지장치.
  5. 제 1 항에 있어서,
    상기 3D정보 생성수단은,
    상기 가시 카메라(100)를 제 1 가시 카메라(100a)로 하고,
    상기 드론(50)을 촬영하는 제 2 가시 카메라(100b)를 더 포함하여 스테레오 비전 정보로부터 상기 3D정보를 생성하는 것을 특징으로 하는 3D 정보를 이용한 드론 탐지장치.
  6. 제 1 항에 있어서,
    상기 3D정보 생성수단은,
    상기 가시 카메라(100)의 결상계 전방에 구비된 코딩된 어퍼쳐(150)인 것을 특징으로 하는 3D 정보를 이용한 드론 탐지장치.
  7. 가시 카메라(100)와 적외선 카메라(200)중 적어도 하나가 비행중인 드론(50)을 촬영하는 단계(S100);와 3D정보 생성수단이 상기 드론(50)을 촬영하여 3차원 정보를 생성하는 단계(S110);가 병행적으로 수행되는 단계;
    3차원 영상처리부(300)가 상기 촬영단계(S100)의 영상과 상기 3D 정보를 융합하는 단계(S120); 및
    영상분리부(400)가 상기 촬영단계(S100)의 영상과 상기 3D정보에 기초하여 상기 융합된 영상으로부터 상기 드론(50)의 영상과 배경영상을 분리하는 단계(S150);를 포함하는 것을 특징으로 하는 3D 정보를 이용한 드론 탐지방법.
  8. 제 7 항에 있어서,
    드론탐지부(500)가 상기 드론(50)의 영상을 탐지하거나 추적하는 단계(S170);를 더 포함하는 것을 특징으로 하는 3D 정보를 이용한 드론 탐지방법.
  9. 제 7 항에 있어서,
    상기 3차원 정보의 생성단계(S110)는,
    LRF(110)가 상기 가시 카메라(100)와 동기되어 3D 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 3D 정보를 이용한 드론 탐지방법.
  10. 제 9 항에 있어서,
    상기 3차원 정보의 생성단계(S110)는,
    상기 가시 카메라(100)의 전방에 구비된 스플리터(120)가 입사광을 상기 LRF(110)측으로 분지하여 동기되는 것을 특징으로 하는 3D 정보를 이용한 드론 탐지방법.
  11. 제 7 항에 있어서,
    상기 3차원 정보의 생성단계(S110)는,
    상기 가시 카메라(100)의 결상계 전방에 구비된 렌즈 릿(140)을 이용하여 3D정보를 생성하는 것을 특징으로 하는 3D 정보를 이용한 드론 탐지방법.
  12. 제 7 항에 있어서,
    상기 3차원 정보의 생성단계(S110)는,
    상기 가시 카메라(100)를 제 1 가시 카메라(100a)로 하고,
    제 2 가시 카메라(100b)가 상기 드론(50)을 촬영하는 스테레오 비전 정보로부터 상기 3D정보를 생성하는 것을 특징으로 하는 3D 정보를 이용한 드론 탐지방법.
  13. 제 7 항에 있어서,
    상기 3차원 정보의 생성단계(S110)는,
    상기 가시 카메라(100)의 결상계 전방에 구비된 코딩된 어퍼쳐(150)가 3D정보를 생성하는 것을 특징으로 하는 3D 정보를 이용한 드론 탐지방법.
KR1020170072607A 2017-06-09 2017-06-09 3d 정보를 이용한 드론 탐지장치 및 그 방법 KR20180135146A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170072607A KR20180135146A (ko) 2017-06-09 2017-06-09 3d 정보를 이용한 드론 탐지장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170072607A KR20180135146A (ko) 2017-06-09 2017-06-09 3d 정보를 이용한 드론 탐지장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20180135146A true KR20180135146A (ko) 2018-12-20

Family

ID=64952816

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170072607A KR20180135146A (ko) 2017-06-09 2017-06-09 3d 정보를 이용한 드론 탐지장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20180135146A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102029991B1 (ko) * 2019-02-27 2019-11-08 (주)텔미전자 멀티 tod 서라운드 카메라 장치를 이용한 드론 침입 감지 포획 방법
KR102050755B1 (ko) 2019-05-24 2020-01-08 한화시스템 주식회사 3d 센서 시스템을 위한 증강 표적 데이터 세트 생성방법 및 이를 이용하여 생성된 증강 표적 데이터 세트
KR102050756B1 (ko) 2019-05-24 2020-01-08 한화시스템 주식회사 초소형 표적 탐지기
KR102050754B1 (ko) 2019-05-24 2020-01-08 한화시스템 주식회사 3d 센서 시스템을 위한 초소형 표적 탐지방법
RU2758881C1 (ru) * 2020-12-30 2021-11-02 Федеральное казённое учреждение "войсковая часть 36360" Тепловизионный способ обнаружения беспилотного летательного аппарата типа "мультикоптер"

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102029991B1 (ko) * 2019-02-27 2019-11-08 (주)텔미전자 멀티 tod 서라운드 카메라 장치를 이용한 드론 침입 감지 포획 방법
KR102050755B1 (ko) 2019-05-24 2020-01-08 한화시스템 주식회사 3d 센서 시스템을 위한 증강 표적 데이터 세트 생성방법 및 이를 이용하여 생성된 증강 표적 데이터 세트
KR102050756B1 (ko) 2019-05-24 2020-01-08 한화시스템 주식회사 초소형 표적 탐지기
KR102050754B1 (ko) 2019-05-24 2020-01-08 한화시스템 주식회사 3d 센서 시스템을 위한 초소형 표적 탐지방법
RU2758881C1 (ru) * 2020-12-30 2021-11-02 Федеральное казённое учреждение "войсковая часть 36360" Тепловизионный способ обнаружения беспилотного летательного аппарата типа "мультикоптер"

Similar Documents

Publication Publication Date Title
KR20180135146A (ko) 3d 정보를 이용한 드론 탐지장치 및 그 방법
CN104126299B (zh) 视频图像稳定化
US6894809B2 (en) Multiple angle display produced from remote optical sensing devices
EP2630802B1 (en) Camera imaging systems and methods
US20150145950A1 (en) Multi field-of-view multi sensor electro-optical fusion-zoom camera
US11930156B2 (en) Methods and associated devices and systems for enhanced 2D and 3D vision
JP2010086228A (ja) ３次元表示装置および方法並びにプログラム
CN107122770A (zh) 多目相机系统、智能驾驶系统、汽车、方法和存储介质
CN106254738A (zh) 双图像采集系统及图像采集方法
CN116137902A (zh) 用于红外光检测的计算机视觉相机
CN106382918A (zh) 一种三维视觉传感器
CN111382607A (zh) 活体检测方法、装置及人脸认证系统
KR102173476B1 (ko) 비행 안전 시야 확보를 위한 항공기용 신호처리 시스템
KR101737260B1 (ko) 영상간 피사계 심도 차이에서 깊이를 추출하는 카메라 시스템 및 그 동작 방법
KR20140135368A (ko) 어레이형 카메라를 이용한 교차로 촬영 시스템
CN210201926U (zh) 双鱼眼全景图像采集装置
US20170351104A1 (en) Apparatus and method for optical imaging
CN110673160A (zh) 数据融合处理方法及激光相机、对应的智能车或无人机
JP2011096263A (ja) ３次元表示装置および方法並びにプログラム
JP2021150942A (ja) 撮像装置および撮像処理方法
KR102614389B1 (ko) 고 프레임률 영상 획득 장치 및 방법
JP6966011B1 (ja) 撮像装置、撮像方法および情報処理装置
CN214177434U (zh) 可见红外一体化相机系统
KR102240896B1 (ko) 단일 조리개를 이용한 카메라 장치
Drouin et al. Infrared and Visible Image Registration for Airborne Camera Systems

Legal Events

Date Code Title Description
E601 Decision to refuse application
E601 Decision to refuse application
E801 Decision on dismissal of amendment