KR20190097350A - 드론의 정밀착륙을 위한 방법, 이를 수행하기 위한 기록매체, 및 이를 적용한 드론 - Google Patents

드론의 정밀착륙을 위한 방법, 이를 수행하기 위한 기록매체, 및 이를 적용한 드론 Download PDF

Info

Publication number
KR20190097350A
KR20190097350A KR1020180016638A KR20180016638A KR20190097350A KR 20190097350 A KR20190097350 A KR 20190097350A KR 1020180016638 A KR1020180016638 A KR 1020180016638A KR 20180016638 A KR20180016638 A KR 20180016638A KR 20190097350 A KR20190097350 A KR 20190097350A
Authority
KR
South Korea
Prior art keywords
landing
drone
image
altitude
landing point
Prior art date
Application number
KR1020180016638A
Other languages
English (en)
Inventor
하석운
문용호
강원만
Original Assignee
경상대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경상대학교산학협력단 filed Critical 경상대학교산학협력단
Priority to KR1020180016638A priority Critical patent/KR20190097350A/ko
Publication of KR20190097350A publication Critical patent/KR20190097350A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
    • B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • B64C2201/145—
    • B64C2201/18—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS

Abstract

본 발명은 드론의 정밀착륙을 위한 방법, 이를 수행하기 위한 기록매체, 및 이를 적용한 드론에 관한 것으로, 더욱 상세하게는 드론을 이용한 이동조명장치에서 사용자의 요구에 따라 조명 역할 임무를 완수하고 출발지점을 목표로 귀환할 때 목표지점에서의 정밀착륙을 위해 GPS 데이터, 비컨, 영상 정보를 활용하는 것에 관한 기술이다.

Description

드론의 정밀착륙을 위한 방법, 이를 수행하기 위한 기록매체, 및 이를 적용한 드론{Precise Landing Method of Drone, Recording Medium for Performing the Method, and Drone Employing the Method}
본 발명은 드론의 정밀착륙을 위한 방법, 이를 수행하기 위한 기록매체, 및 이를 적용한 드론에 관한 것으로, 더욱 상세하게는 드론을 이용한 이동조명장치에서 사용자의 요구에 따라 조명 역할 임무를 완수하고 출발지점을 목표로 귀환할 때 목표지점에서의 정밀착륙을 위해 GPS 데이터, 비컨, 영상 정보를 활용하는 것에 관한 기술이다.
드론(Drone)이 화제에 오르내리고 있다. 작은 장난감 모형에서부터 촬영용 드론, 비즈니스용 드론, 군사 작전을 위한 드론에 이르기까지 다양한 용도로 활용되고 있다. 원래 벌이 윙윙거린다는 의미의 드론은 무선조정기에 의해 조정할 수 있는 무인항공기를 말한다. 20 g 내외의 초소형부터 1000 kg이 넘을 정도로 다양하다. 기본적으로 하늘을 날 수 있는 엔진과 프로펠러, 교신을 위한 센서 및 통신시스템을 갖추고 이미지나 동영상을 촬영하는 카메라를 장착하고 있다. 어린이들이 무선조정기로 조작하는 소형 헬리콥터를 다루는 것과 큰 차이가 없다. 원래 드론은 군사용 목적으로 개발되었다. 적의 동향을 파악하는 정찰용에서 중동지역에서 실전에 배치된 무인 폭격기가 대표적이다. 중동지역의 항공모함에서 출력하여 폭격 위치를 정확히 포착하여 폭격을 감행한다. 드론의 조작은 몇천 킬로미터가 떨어진 미국 본토에서 조정을 한다. 마치 게임에서 화상을 보며 가상의 적과 싸우듯 드론을 활용하여 실전을 펼친다. 이렇게 개발된 시스템이 소형화, 대중화되면서 다양한 분야에 적용되기 시작하였다.
최근, 기존 드론의 제한된 기능에서 벗어나 드론에 다양한 조명기능을 추가해 다목적용 조명 드론이 개발되고 있다. 예를 들면, 다목적용 조명 드론은 사고 발생 시 조명장치를 가동시켜 야간에도 작업을 용이하도록 하는 구조용 목적과 야외파티 등과 같은 문화생활을 할 때 밤에 활용할 수 있는 오락용 드론 등의 목적일 수 있다.
조명 드론 기술을 제안한 종래의 기술을 살펴보면, 대한민국 공개특허공보 제10-2017-0001674호에 개시된 바와 같이, 조종하지 않아도 알아서 주인을 따라오는 드론에 조명기구를 장착하여 자동차 내부에 추적기를 저절로 따라오게 하여 동시에 야간운행시 조명기능을 하여 가로등이 켜지지 않는 어두운 지역에 운행시에도 조명을 비추어주어 안전운전을 할 수 있도록 하는 야간조명기능을 하는 추적드론이 개시되었다.
그러나, 상기 종래의 기술과 같은 드론을 이용한 야간조명시스템을 운행하기 위해서는 임무를 마치고 귀환하는 드론이 출발 지점에 정밀하게 착륙할 수 있는 방법이 요구된다.
일반적으로 드론의 착륙에는 착륙지점의 GPS 데이터를 이용하거나 비컨과 같은 무선통신장치를 이용하여 착륙한다.
그러나, 이와 같은 착륙 방법은 착륙지점과 약 0.5미터에서 크게는 10미터 까지도 오차가 발생하고 있다.
대한민국 공개특허공보 제10-2017-0001674호(2017.01.04.)
상기와 같은 GPS 데이터나 비컨의 무선 정보를 활용하는 드론의 착륙은, GPS 데이터를 적용하는 경우에는 그 정밀성에 따라 크게는 10미터 이상의 오차를 발생시킬 수 있으므로 정밀 착륙이 불가능하다. 또한 비컨을 이용하는 착륙에서는 비컨의 가격 대비 성능에 따라 0.2미터 이하의 정밀 착륙도 가능하나 비용 문제가 발생하며 착륙 당시의 기후, 드론의 성능 등의 환경에 따라 오차가 크게 발생하는 경우가 빈번하다. 따라서 이러한 착륙 오차를 환경에 관계없이 0.1 미터 이하로 줄이기 위한 정밀 착륙을 위해서 드론에 이미 장착되어 있는 카메라에서 촬영되는 베이스 마커 영상을 기반으로 하는 영상 정합 방법을 적용한 드론의 정밀착륙을 위한 방법, 이를 수행하기 위한 기록매체, 및 이를 적용한 드론을 제공하는데 그 목적이 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제로 제한되지 않으며, 여기에 언급되지 않은 본 발명이 해결하려는 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 드론의 정밀착륙을 위한 방법은, GPS통신부에 의해, 착륙지점의 GPS 정보를 수신하여 상기 착륙지점으로 접근하는 단계, 비컨통신부에 의해, 비컨정보를 수신하여 상기 착륙지점의 제1고도 상공으로 비행하고, 상기 제1고도 상공에서 상기 제2고도 상공으로 하강하는 단계, 및 카메라에 의해 촬영되는 상기 착륙지점의 영상을 영상정합부에 의해 영상 정합하여 정밀 착륙하는 단계;를 포함하고, 상기 착륙지점은 드론이 사용자의 요구에 따라 임무를 완수하고 귀환하고자 하는 출발지점인 것을 특징으로 한다.
또한, 본 발명의 드론의 정밀착륙을 위한 방법에 있어서, 상기 정밀 착륙하는 단계는, 상기 촬영되는 상기 착륙지점의 영상을 템플릿 마커에 대해 영상 정합하는 영상정합단계, 상기 영상정합단계를 통해 인식된 템플릿 마커의 중심이 착지 반경 안에 위치할 경우 상기 착륙지점의 제3고도 상공까지 하강 비행을 수행하고, 밖에 위치할 경우 상기 착지 반경 안으로 위치하도록 이동 비행하는 보정비행단계, 및 상기 드론이 상기 착륙지점의 상기 제3고도 상공에 위치할 경우 하강하여 상기 착륙지점의 지상으로 착지하는 지상착지단계를 포함하는 것을 특징으로 한다.
또한, 본 발명의 드론의 정밀착륙을 위한 방법에 있어서, 상기 영상정합단계는 템플릿 정합 기법을 사용하는 것을 특징으로 한다.
또한, 본 발명의 드론의 정밀착륙을 위한 방법에 있어서, 상기 템플릿 정합 기법은, 상기 착륙지점의 영상 위에 상기 템플릿 마커를 배치하여, 상기 템플릿 마커가 배치된 상기 착륙지점의 영상의 모든 픽셀에 대해 상기 템플릿 마커와 SAD(Sum of Absolute Difference) 연산을 수행하는 단계, 상기 템플릿 마커가 배치된 상기 착륙지점의 영상 중에서 상기 계산된 SAD 값이 최소인 좌표를 저장하는 단계, 및 상기 착륙지점의 영상에 상기 템플릿 마커를 이동 배치하여, 상기 착륙지점의 영상 전체에 대해 상기 저장된 좌표를 각각 추출하여 최소 SAD 정합 영역을 결정하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명의 드론의 정밀착륙을 위한 방법에 있어서, 상기 지상착지단계는, 상기 드론이 상기 제3고도 상공에서 상기 착륙지점의 제4고도 상공까지 하강 비행하는 단계, 및 상기 드론이 상기 제4고도 상공에 도달하면 동력을 차단하고 자연으로 지상으로 착지하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명은 상기 드론의 정밀착륙을 위한 방법을 제공하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 제공할 수 있다.
또한, 본 발명은 상기 드론의 정밀착륙을 위한 방법을 적용한 드론을 제공할 수 있다.
상기 과제의 해결 수단에 의해, 본 발명의 드론의 정밀착륙을 위한 방법, 이를 수행하기 위한 기록매체, 및 이를 적용한 드론은 임무를 수행하고 원래 위치로 귀환해서 착륙할 때, GPS, 비컨, 카메라 영상 정합을 사용하는 정밀 착륙 기술로써 드론을 활용하는 모든 분야에서 드론의 정밀 착륙에 활용될 것이다.
도 1은 본 발명에 따른 드론을 활용한 이동조명 시스템의 개요도이다.
도 2는 본 발명에 따른 드론의 출발지점 귀환 및 착륙 과정을 도시한 도면이다.
도 3은 본 발명에 따른 드론의 정밀착륙을 위한 시스템의 구성도이다.
도 4는 본 발명에 따른 드론의 정밀착륙을 위한 방법을 나타낸 순서도이다.
도 5는 본 발명에 따른 드론의 정밀착륙을 위한 템플릿 정합 기법을 나타낸 순서도이다.
도 6은 본 발명에 따른 템플릿 정합 기법의 처리 시퀀스를 설명하기 위한 도면이다.
도 7은 본 발명에 따른 드론이 영상 정합 과정에 있어서 2m, 1.5m, 1m 상공에서의 영상 정합 결과를 나타낸 도면이다.
이상과 같은 본 발명에 대한 해결하고자 하는 과제, 과제의 해결 수단, 발명의 효과를 포함한 구체적인 사항들은 다음에 기재할 실시예 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
본 발명에 따른 드론의 정밀착륙을 위한 방법, 이를 수행하기 위한 기록매체, 및 이를 적용한 드론은, 드론이 사용자의 요구에 따라 임무를 완수하고 귀환하고자 할 때 출발지점인 곳을 착륙지점으로 하여 0.1m 이하의 오차로 정밀하게 착륙하기 위한 것이다.
또한, 본 발명에 따른 드론의 정밀착륙을 위한 방법, 이를 수행하기 위한 기록매체, 및 이를 적용한 드론은, 도 1에 도시된 바와 같이, 국방, 방송, 상업, 물류 등의 다양한 산업에 널리 활용되고 있는 소형무인비행체인 드론을 활용하여, 야간에 어두운 곳이나 범죄가 가능한 우범 지역을 지나는 보행자의 안전과 범죄를 예방하기 위하여, 보행자가 스마트폰 어플리케이션을 통해 가장 근처 지역에 있는 지상제어센터(GCS; Ground Control Station)로 서비스를 요청하면 대기하고 있는 드론이 보행자의 상공에서 귀가하기까지 보행자를 추적하면서 조명 역할을 수행하는 이동조명시스템에 적용될 수 있다.
구체적으로, 상기 이동조명시스템은 1) 밤길을 걷는 보행자가 지상통제센터(GCS)에 조명드론을 호출하면, 보행자가 소유하고 있는 스마트폰에서 보행자의 위치 정보(GPS 데이터)가 GCS에 자동으로 전송되어, 보행자와 GCS 관리자와의 사이에 채팅이 시작되는 단계, 2) GCS 관리자는 보행자의 호출에 응답하여 조명드론 출발과 동시에 드론상태데이터를 전송하여 보행자와 채팅을 시작하는 단계, 3) GCS는 조명드론을 기동하고 조명을 켠 후에 보행자의 위치정보를 사용하여 조명드론을 보행자에게로 이동시키는 단계, 4) 조명드론은 자신의 현재 상태와 위치데이터를 GCS에 전송하고, 보행자 상공에서 보행자를 연속적으로 추적하면서 조명을 비추는 단계, 5) 귀가가 완료되면 보행자는 GCS에 조명드론 종료를 알리는 단계, 6) GCS는 조명드론의 귀환을 지시하고, 귀환 위치 데이터를 전송하는 단계, 7) 조명드론은 GCS로부터 받은 귀환지점의 위치데이터를 기반으로 돌아와서 착륙하는 단계로 이루어질 수 있다.
본 발명에서는 상기 7)단계인 귀환지점의 위치데이터를 기반으로 복귀하여 착륙하는 데 있어서, 오차 0.1m 이내의 정밀착륙을 위한 방법 및 시스템에 대해 상세히 서술하기로 한다.
본 발명에 따른 드론의 정밀착륙을 위한 방법에서의 각 단계들은 드론의 정밀착륙을 위한 시스템에 의하여 수행될 수 있으며, 다음과 같다.
1. GPS통신부(10)에 의해, 착륙지점의 GPS 정보를 수신하여 상기 착륙지점으로 접근하는 단계(S10)
2. 비컨통신부(20)에 의해, 비컨정보를 수신하여 상기 착륙지점의 제1고도 상공으로 비행하고, 상기 제1고도 상공에서 상기 제2고도 상공으로 하강하는 단계(S20)
3. 카메라(30)에 의해 촬영되는 상기 착륙지점의 영상을 영상정합부(40)에 의해 영상 정합하여 정밀 착륙하는 단계(S30)
이하 본 발명에 따른 드론의 정밀착륙을 위한 방법을 도 2 및 도 3을 참조하여 각 단계별로 상세히 설명한다.
1. 착륙지점의 GPS 정보를 수신하여 상기 착륙지점으로 접근하는 단계(S10)
드론은 출발했던 귀환지점, 즉 착륙지점으로 착륙명령을 수신하면, GPS 통신부(10)에 의해 귀환 위치 GPS 데이터를 함께 수신하게 된다. 수신한 GPS 위치에 따라 드론은 제어부(50)에 의해 착륙지점 인접 상공으로 이동하게 되며, GPS 정보만으로는 신호 특성상의 오차범위로 인해 착륙지점에 있어 10m 이상으로 착륙지점에서 벗어나게 될 수 있다.
2. 비컨정보를 수신하여 착륙지점의 제1고도 상공으로 비행하고, 제1고도 상공에서 제2고도 상공으로 하강하는 단계(S20)
GPS 정보를 이용하여 착륙지점의 인접 상공에 위치한 드론은, 비컨 통신부(20)에 의해 비컨의 무선통신(템플릿 마커의 중심에 놓인 비컨신호)을 사용하여 착륙지점의 더욱 가까운 상공인 제1고도 상공으로 이동하게 된다. 이후, 드론은 제어부(50)에 의해 호버링하면서 영상 정합 기능을 수행할 수 있는 제2고도 상공까지 하강한다.
상기 제1고도 상공은 메모리(60)에 저장된 기설정된 고도일 수 있으며, 바람직하게는 5 내지 6m 상공일 수 있다.
드론의 카메라(30)에 의해 상기 제2고도 상공보다 더 높은 고도에서 영상을 습득할 경우 더 넓은 반경에서 착지 비행을 시험할 수 있지만 낮은 해상도로 인해 영상 정합 과정에서 마커를 인식하지 못하는 경우가 발생할 수 있다. 따라서 상기 제2고도 상공은 영상 정합 기법이 적용 가능한 고도로 메모리(60)에 기설정되며, 바람직하게는 1.75 내지 2.15m 상공일 수 있다.
상기 GPS 접근단계(S10) 및 상기 비컨 비행단계(S20)는 초기 비행 환경 단계에 해당하며, 드론이 영상 템플릿 정합을 시작하기 전에 호버링하는 단계를 의미한다. 고도와 위치의 유지는 드론에 탑재된 센서/내비게이션 시스템과 제어부(50)에서 담당하게 된다. 본 시험 비행에 사용된 드론은 센서/내비게이션 시스템으로 FCC에 내장된 INS 센서와 Optical Flow 센서를 탑재할 수 있고, 비행 제어는 PID 제어를 이용하여 고도와 위치 유지 비행이 가능한 펌웨어(Firmware)를 FCC에 탑재될 수 있다. 이를 통해 고도와 위치가 고정된 드론을 카메라(30)로부터 템플릿 마커를 인식할 수 있는 범위 내 위치로 이동시키고 호버링 상태를 유지하게 함으로써 정합 비행 환경인 호버링이 이루어지는 것이다.
3. 카메라에 의해 촬영되는 착륙지점의 영상을 영상 정합하여 정밀 착륙하는 단계(S30)
드론은 착지할 때까지 카메라(30)에 의해 지형 영상을 수신 받아, 제어부(50)에 의해 영상 정합을 수행하고 드론의 이동을 제어한다. 이러한 프로세스를 반복적으로 수행하면서 목표 지점인 착륙지점으로 정확하게 이동 및 하강 비행하게 된다.
본 발명에 따른 드론의 정밀착륙을 위한 방법의 ‘카메라에 의해 촬영되는 착륙지점의 영상을 영상 정합하여 정밀 착륙하는 단계(S30)’는 다음과 같은 단계를 포함한다.
3-1. 촬영되는 착륙지점의 영상을 템플릿 마커에 대해 영상 정합하는 영상정합단계(S310)
3-2. 영상정합단계를 통해 인식된 템플릿 마커의 중심이 착지 반경 안에 위치할 경우 착륙지점의 제3고도 상공까지 하강 비행을 수행하고, 밖에 위치할 경우 착지 반경 안으로 위치하도록 이동 비행하는 보정비행단계(S320)
3-3. 드론이 착륙지점의 제3고도 상공에 위치할 경우 하강하여 착륙지점의 지상으로 착지하는 지상착지단계(S330)
이하 본 발명에 따른 드론의 정밀착륙을 위한 방법의 ‘카메라에 의해 촬영되는 착륙지점의 영상을 영상 정합하여 정밀 착륙하는 단계’를 도 4를 참조하여 각 단계별로 상세히 설명한다.
3-1. 촬영되는 착륙지점의 영상을 템플릿 마커에 대해 영상 정합하는 영상정합단계(S310)
물체 인식은 일반적으로 카메라로부터 입력된 영상 또는 비디오 시퀀스로부터 원하는 물체가 어디에 있는지 찾아내는 기술로써, 대표적인 기법으로는 SIFT(Scale Invariant Feature Transformation), SURF(Speed Up Robust Features) 등이 있다. 이러한 기법은 특징점 기반의 물체 추출 기법으로 물체의 크기와 방향에 적응적으로 인식할 수 있는 장점이 있으나 연산시간이 오래 걸리는 단점이 있다. 비교적 단순한 영상에 대해서는 전과 후 영상 사이의 차 영상을 이용하여 물체를 추출하는 기법으로 템플릿 정합 기법을 유용하다고 사료된다.
상기 영상정합단계는 착륙지점을 카메라(30)에 의해 촬영한 영상을 템플릿 마커에 대해 영상 정합하여 정확한 마커 위치로 드론을 이동시키기 위한 것으로, 영상정합부(40)에 의해 수행되며, 템플릿 정합 기법을 적용될 수 있다.
템플릿 정합 기법은 입력 영상에 대해서 템플릿 영상과 SAD(Sum of Absolute Differences) 연산을 수행하여 입력 영상 내에서 가장 유사한 영역을 찾아내는 영상 정합 기법이다.
본 발명에 따른 드론의 정밀착륙을 위한 방법의 ‘템플릿 정합 기법’은 다음과 같은 단계를 포함한다.
3-1-1. 착륙지점의 영상 위에 템플릿 마커를 배치하여, 템플릿 마커가 배치된 착륙지점의 영상의 모든 픽셀에 대해 템플릿 마커와 SAD(Sum of Absolute Difference) 연산을 수행하는 단계(S311)
3-1-2. 템플릿 마커가 배치된 착륙지점의 영상 중에서 계산된 SAD 값이 최소인 좌표를 저장하는 단계(S312)
3-1-3. 착륙지점의 영상에 템플릿 마커를 이동 배치하여, 착륙지점의 영상 전체에 대해 저장된 좌표를 각각 추출하여 최소 SAD 정합 영역을 결정하는 단계(S313)
이하 본 발명에 따른 드론의 정밀착륙을 위한 방법의 템플릿 정합 기법의 처리 시퀀스를 도 5를 참조하여 각 단계별로 상세히 설명한다.
3-1-1. 착륙지점의 영상 위에 템플릿 마커를 배치하여, 템플릿 마커가 배치된 착륙지점의 영상의 모든 픽셀에 대해 템플릿 마커와 SAD(Sum of Absolute Difference) 연산을 수행하는 단계(S311)
착륙 지점의 템플릿 마커의 상기 제2고도 상공에서 드론이 촬영한 영상의 한 프레임에 대해 영상 중 한 곳, 예를 들면 도 6에 도시된 바와 같이, 가장 좌측 상단에 존재하는 픽셀을 중심으로 그 위에 템플릿 마커를 중심에 위치하도록 배치하고 템플릿 아래 윈도우 부분의 영상 데이터와 템플릿 마커 사이에 정합 계산을 실행한다. 이를 실행하는 연산을 SAD(Sum of Absolute Difference) 연산이라 부른다. 수학식 1은 템플릿 정합의 SAD 연산을 식으로 나타낸 것이다.
[수학식 1]
Figure pat00001
x, y는 입력 영상에서 연산을 수행하게 될 영상 좌표를 의미한다. Diff 연산은 수학식 2와 같이 나타낼 수 있고
Figure pat00002
,
Figure pat00003
,
Figure pat00004
,
Figure pat00005
는 해당 입력 영상과 템플릿 영상의 영상 밝기 값을 나타낸다.
[수학식 2]
Figure pat00006
상기 수학식 2와 같이 영상 밝기 값은 Diff에 저장되고 SAD는 템플릿 영상 크기만큼 수행하면서 Diff의 값을 저장한다. 즉, 해당 영상좌표 영역에서 템플릿 마커와의 차이 값을 저장하는 것이다.
3-1-2. 템플릿 마커가 배치된 착륙지점의 영상 중에서 계산된 SAD 값이 최소인 좌표를 저장하는 단계(S312)
상기 SAD 연산은 템플릿 마커가 배치된 착륙지점 영상의 모든 픽셀에 대해 연산을 수행하고, 그 값을 비교하며 SAD 값이 최소인 픽셀 좌표를 저장한다. 해당 영상 좌표의 SAD 최솟값은 템플릿 영상과 차이가 거의 없다는 것을 의미하고 착륙 지점과 가장 근접한 곳임을 의미한다.
3-1-3. 착륙지점의 영상에 템플릿 마커를 이동 배치하여, 착륙지점의 영상 전체에 대해 저장된 좌표를 각각 추출하여 최소 SAD 정합 영역을 결정하는 단계(S313)
처음, 단계(S311)에서 드론이 착륙 지점을 촬영한 영상의 한 프레임에 대해 영상 중 한 곳, 예를 들면 가장 좌측 상단에 존재하는 픽셀을 중심으로 그 위에 템플릿 마커를 중심에 위치하도록 배치 한 후, SAD 최소값을 단계(S312)에서 저장하여 그 좌표를 도출하였다면, 단계(S313)에서는 템플릿 마커의 위치를 변경하여 템플릿 마커가 전체 영상을 순차적으로 이동하면서 SAD 연산을 수행하고 최소값인 좌표를 각각 도출하는 것이다. 이를 통해, 최소값인 좌표를 각각 연결하여 최소 SAD 정합 영역을 결정할 수 있다.
3-2. 영상정합단계를 통해 인식된 템플릿 마커의 중심이 착지 반경 안에 위치할 경우 착륙지점의 제3고도 상공까지 하강 비행을 수행하고, 밖에 위치할 경우 착지 반경 안으로 위치하도록 이동 비행하는 보정비행단계(S320)
상기 착지 반경은 상기 영상정합단계(S310)에서 결정된 상기 최소 SAD 정합 영역으로 설정될 수 있다.
도 7을 참조하면, 각각 2m, 1.5m, 1m 높이에서 지면을 지향하는 카메라 영상과, 초록색 테두리로 설정한 착지 반경이 도시되어 있다. 영상 정합을 통해 인식된 마커의 중심이 착지 반경 안에 위치할 경우 드론은 하강 비행을 수행하고, 밖일 경우 착지 반경 안으로 드론은 보정 비행한다.
이를 통해, 드론은 착륙지점의 제3고도 상공까지 하강 및 보정비행을 수행한다.
상기 제3고도 상공의 고도는 해당 고도에서 지형 영상을 촬영했을 때, 템플릿 마커가 전체 영상의 80%를 차지하는 고도를 의미한다. 전체 영상에서 템플릿 영상의 크기가 80%이상 차지할 경우 영상 정합을 시도하여 보정 비행을 수행할 때 기체의 이동이 거의 발생하지 않는다.
바람직하게는, 상기 제3고도 상공은 착륙지점으로부터 0.6 내지 0.8m 상공일 수 있다.
3-3. 드론이 착륙지점의 제3고도 상공에 위치할 경우 하강하여 착륙지점의 지상으로 착지하는 지상착지단계(S330)
상기 착지 반경 안으로 하강 비행을 수행하는 드론은 상기 제3고도 상공에 위치할 경우 최종적으로 목표 착륙 지점으로 착륙하는 방식의 유도 비행을 수행한다.
상기 지상착지단계(S330)는 드론이 상기 제3고도 상공에서 상기 착륙지점의 제4고도 상공까지 하강 비행하는 단계, 및 상기 드론이 상기 제4고도 상공에 도달하면 동력을 차단하고 자연으로 지상으로 착지하는 단계를 포함할 수 있다.
상기 제4고도 상공은 드론이 무동력으로 지상에 착지할 때 드론에 손상을 가하지 않는 최고 높이로 기설정된다.
바람직하게는, 상기 제4고도 상공은 착륙지점으로부터 0.35 내지 0.45m 상공일 수 있다.
[실험예]
본 발명의 영상 템플릿 정합 기법을 적용한 드론의 정밀착륙을 위한 방법을 검증하기 위해 추가적인 실험이 수행되었다.
검증 실험은 GPS 정보, 비컨 정보, 영상 정합 과정을 사용해서 총 8회의 정밀 착륙 실험을 실행한 결과, 착지 오차를 측정하여 표 1에 비교하여 나타내었다.
실험 치수 GPS(m) 비컨(m) 영상정합(cm)
1 5.4 0.42 2.3
2 4.7 0.35 1.8
3 4.8 0.76 4.8
4 3.2 1.14 3.0
5 2.4 0.27 3.6
6 4.2 0.13 4.0
7 1.8 0.49 3.1
8 4.6 0.72 7.2
평균 3.89 0.54 3.2
정밀 착륙 실험 결과, GPS 정보를 사용해서 측정한 착륙 오차 평균은 3.89미터, 비컨 정보를 사용해서 측정한 착륙 오차는 0.54미터(54 센티미터), 영상 정합을 사용해서 측정한 착륙 오차 평균은 3.2 센티미터로 나타났다. 실험 결과 영상 정합에 의한 정밀 착륙 결과가 GPS나 비컨 정보에 의한 착륙 결과보다 더욱 정밀하게 착륙할 수 있음을 나타내었다.
이상에서 본 발명에 따른 드론의 정밀착륙을 위한 방법에 대하여 설명하였지만, 드론의 정밀착륙을 위한 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체 및 드론의 정밀착륙을 위한 방법이 적용된 드론이 제공 가능함은 물론이다.
즉, 상술한 드론의 정밀착륙을 위한 방법은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써, 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음을 당업자들이 쉽게 이해할 수 있을 것이다. 다시 말해, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능한 기록매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 상기 컴퓨터 판독 가능한 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록매체(optical media), 플롭티컬 디스크(flopticaldisk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, USB 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
드론을 활용하여 야간 보행자를 위한 이동조명시스템의 경우, GPS 정보만으로 보행자를 추적하는 방법에 있어서는 전체적인 추적은 가능했으나 전통적으로 GPS 데이터의 부정확성으로 인해 정밀한 추적이 어려웠다. 이로 인해 좁은 건물들 사이나 골목길에서는 소형비행체의 충돌 또는 추락 등과 같은 난항을 겪었다. 그러나 영상 정합을 통한 정밀 착륙은 매우 정확성이 높은 결과를 가져 귀환 지점인 목표 착륙 지점에 오차 0.1m 내로 정밀하게 착륙하는 데 바람직하다.
이와 같이, 상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10 : GPS 통신부
20 : 비컨 통신부
30 : 카메라
40 : 영상정합부
50 : 제어부
60 : 메모리
S10 : 착륙지점의 GPS 정보를 수신하여 착륙지점으로 접근하는 단계
S20 : 비컨정보를 수신하여 착륙지점의 제1고도 상공으로 비행하고, 제1고도 상공에서 제2고도 상공으로 하강하는 단계
S30 : 카메라에 의해 촬영되는 상기 착륙지점의 영상을 영상 정합하여 정밀 착륙하는 단계
S310 : 영상정합단계
S311 : 착륙지점의 영상 위에 템플릿 마커를 배치하여, 템플릿 마커가 배치된 착륙지점의 영상의 모든 픽셀에 대해 템플릿 마커와 SAD(Sum of Absolute Difference) 연산을 수행하는 단계
S312 : 템플릿 마커가 배치된 착륙지점의 영상 중에서 계산된 SAD 값이 최소인 좌표를 저장하는 단계
S313 : 착륙지점의 영상에 템플릿 마커를 이동 배치하여, 착륙지점의 영상 전체에 대해 저장된 좌표를 각각 추출하여 최소 SAD 정합 영역을 결정하는 단계
S320 : 보정비행단계
S330 : 지상착지단계

Claims (7)

  1. GPS통신부에 의해, 착륙지점의 GPS 정보를 수신하여 상기 착륙지점으로 접근하는 단계;
    비컨통신부에 의해, 비컨정보를 수신하여 상기 착륙지점의 제1고도 상공으로 비행하고, 상기 제1고도 상공에서 상기 제2고도 상공으로 하강하는 단계; 및
    카메라에 의해 촬영되는 상기 착륙지점의 영상을 영상정합부에 의해 영상 정합하여 정밀 착륙하는 단계;를 포함하고,
    상기 착륙지점은 드론이 사용자의 요구에 따라 임무를 완수하고 귀환하고자 하는 출발지점인 것을 특징으로 하는 드론의 정밀착륙을 위한 방법.
  2. 제1항에 있어서,
    상기 정밀 착륙하는 단계는,
    상기 촬영되는 상기 착륙지점의 영상을 템플릿 마커에 대해 영상 정합하는 영상정합단계;
    상기 영상정합단계를 통해 인식된 템플릿 마커의 중심이 착지 반경 안에 위치할 경우 상기 착륙지점의 제3고도 상공까지 하강 비행을 수행하고, 밖에 위치할 경우 상기 착지 반경 안으로 위치하도록 이동 비행하는 보정비행단계; 및
    상기 드론이 상기 착륙지점의 상기 제3고도 상공에 위치할 경우 하강하여 상기 착륙지점의 지상으로 착지하는 지상착지단계;를 포함하는 것을 특징으로 하는 드론의 정밀착륙을 위한 방법.
  3. 제2항에 있어서,
    상기 영상정합단계는 템플릿 정합 기법을 사용하는 것을 특징으로 하는 드론의 정밀착륙을 위한 방법.
  4. 제3항에 있어서,
    상기 템플릿 정합 기법은,
    상기 착륙지점의 영상 위에 상기 템플릿 마커를 배치하여, 상기 템플릿 마커가 배치된 상기 착륙지점의 영상의 모든 픽셀에 대해 상기 템플릿 마커와 SAD(Sum of Absolute Difference) 연산을 수행하는 단계;
    상기 템플릿 마커가 배치된 상기 착륙지점의 영상 중에서 상기 계산된 SAD 값이 최소인 좌표를 저장하는 단계; 및
    상기 착륙지점의 영상에 상기 템플릿 마커를 이동 배치하여, 상기 착륙지점의 영상 전체에 대해 상기 저장된 좌표를 각각 추출하여 최소 SAD 정합 영역을 결정하는 단계;를 포함하는 것을 특징으로 하는 드론의 정밀착륙을 위한 방법.
  5. 제2항에 있어서,
    상기 지상착지단계는,
    상기 드론이 상기 제3고도 상공에서 상기 착륙지점의 제4고도 상공까지 하강 비행하는 단계; 및
    상기 드론이 상기 제4고도 상공에 도달하면 동력을 차단하고 자연으로 지상으로 착지하는 단계;를 포함하는 것을 특징으로 하는 드론의 정밀착륙을 위한 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 따른 방법을 제공하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  7. 제1항 내지 제5항 중 어느 한 항에 따른 방법을 적용한 드론.
KR1020180016638A 2018-02-12 2018-02-12 드론의 정밀착륙을 위한 방법, 이를 수행하기 위한 기록매체, 및 이를 적용한 드론 KR20190097350A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180016638A KR20190097350A (ko) 2018-02-12 2018-02-12 드론의 정밀착륙을 위한 방법, 이를 수행하기 위한 기록매체, 및 이를 적용한 드론

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180016638A KR20190097350A (ko) 2018-02-12 2018-02-12 드론의 정밀착륙을 위한 방법, 이를 수행하기 위한 기록매체, 및 이를 적용한 드론

Publications (1)

Publication Number Publication Date
KR20190097350A true KR20190097350A (ko) 2019-08-21

Family

ID=67808095

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180016638A KR20190097350A (ko) 2018-02-12 2018-02-12 드론의 정밀착륙을 위한 방법, 이를 수행하기 위한 기록매체, 및 이를 적용한 드론

Country Status (1)

Country Link
KR (1) KR20190097350A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102223190B1 (ko) * 2019-11-15 2021-03-04 주식회사 보라스카이 드론 착륙 시스템
KR102307316B1 (ko) * 2021-04-08 2021-09-30 세종대학교산학협력단 무인비행체의 자율 정밀 착륙 검증 시스템
KR102448233B1 (ko) * 2021-12-13 2022-10-04 주식회사 유시스 정밀 착륙을 위한 드론 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170001674A (ko) 2016-12-15 2017-01-04 김준구 야간조명기능을 하는 추적드론

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170001674A (ko) 2016-12-15 2017-01-04 김준구 야간조명기능을 하는 추적드론

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102223190B1 (ko) * 2019-11-15 2021-03-04 주식회사 보라스카이 드론 착륙 시스템
WO2021096181A1 (ko) * 2019-11-15 2021-05-20 주식회사 보라스카이 드론 착륙 시스템
KR102307316B1 (ko) * 2021-04-08 2021-09-30 세종대학교산학협력단 무인비행체의 자율 정밀 착륙 검증 시스템
KR102448233B1 (ko) * 2021-12-13 2022-10-04 주식회사 유시스 정밀 착륙을 위한 드론 제어 방법
WO2023113058A1 (ko) * 2021-12-13 2023-06-22 ㈜유시스 정밀 착륙을 위한 드론 제어 방법

Similar Documents

Publication Publication Date Title
US11604479B2 (en) Methods and system for vision-based landing
US20220091618A1 (en) Methods and system for autonomous landing
AU2020202629B2 (en) Systems and methods for automatic vehicle imaging
KR102018892B1 (ko) 무인기의 착륙 제어 방법 및 장치
US10613507B2 (en) Automated loading bridge positioning using encoded decals
CN106502257B (zh) 一种无人机精准降落抗干扰的控制方法
CN106054929A (zh) 一种基于光流的无人机自动降落引导方法
KR20190097350A (ko) 드론의 정밀착륙을 위한 방법, 이를 수행하기 위한 기록매체, 및 이를 적용한 드론
WO2018211777A1 (ja) 制御装置、制御方法およびプログラム
CN106094876A (zh) 一种无人机目标锁定系统及其方法
EP3792873A1 (en) Image processing device, method, and storage medium
CN109753079A (zh) 一种无人机精准降落于移动平台方法
JP2020138681A (ja) 無人飛行体の制御システム
US10908580B2 (en) Devices, systems, and methods for automated loading bridge positioning using shapes associated with a vehicle
CN112119428A (zh) 获取降落位置的方法、设备、无人机、系统及存储介质
KR102349818B1 (ko) 개선된 cnn 기반으로 한 도로 균열 감지 자율 비행 드론
WO2021146973A1 (zh) 无人机返航的控制方法、设备、可移动平台和存储介质
CN113759940A (zh) 无人机降落方法、装置、无人机系统、机场、设备和介质
KR101537324B1 (ko) 영상기반 비행체 자동 이착륙 유도 시스템
CN112241180B (zh) 一种无人机移动平台降落引导的视觉处理方法
KR102348289B1 (ko) 드론을 이용하여 시설물을 점검하는 시스템 및 그 제어방법
Robaglia et al. Autonomous landing of an unmanned aerial vehicle on a moving ship
CN116762354A (zh) 影像拍摄方法、控制装置、可移动平台和计算机存储介质
WO2020172878A1 (zh) 可移动平台的射击瞄准控制方法、设备及可读存储介质
TWI829005B (zh) 高空定位中心設定方法及高空定位飛行控制方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application