KR20240028320A

KR20240028320A - Image based precision control method and apparatus for safe landing of drones

Info

Publication number: KR20240028320A
Application number: KR1020230110955A
Authority: KR
Inventors: 김대희
Original assignee: 한국전자통신연구원
Priority date: 2022-08-24
Filing date: 2023-08-24
Publication date: 2024-03-05

Abstract

본 발명의 일 실시예에 따른 방법은, 드론에 탑재된 카메라를 이용하여 지상을 바라보는 영상을 획득하는 단계; 상기 영상 내에서 착륙점을 탐지하는 단계; 및 상기 영상 내에서 착륙점이 탐지되고, 상기 영상 내에서 인지되는 상기 무인 비행체와 지표면과의 거리가 임계높이에 도달하면, 안전착륙 가능여부를 판단하는 단계를 포함한다. A method according to an embodiment of the present invention includes the steps of acquiring an image looking at the ground using a camera mounted on a drone; Detecting a landing point within the image; And when the landing point is detected in the image and the distance between the unmanned air vehicle and the ground surface recognized in the image reaches a critical height, it includes the step of determining whether a safe landing is possible.

Description

Image-based precision control method and device for safe landing of drones {IMAGE BASED PRECISION CONTROL METHOD AND APPARATUS FOR SAFE LANDING OF DRONES}

본 발명은 무인 드론의 착륙을 위한 정밀 제어에 관한 기술로서, 특히 무인 드론이 설정된 목적지에 안전하게 착륙하기 위해 비행장치에 장착되어 착륙을 보조해 주는 장치 및 방법에 관한 것이다.The present invention relates to a technology related to precise control for the landing of an unmanned drone, and in particular, to a device and method for assisting the landing of an unmanned drone by being mounted on a flying device in order to safely land at a set destination.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래 기술을 구성하는 것은 아니다.The content described in this section simply provides background information for this embodiment and does not constitute prior art.

기존의 물품 배달을 위한 무인 드론은 미리 입력된 출발점 GPS 정보와 도착점 GPS 정보를 이용하여 도착점에 착륙하는 방법을 이용하고 있다. 그러나 GPS의 정밀도가 낮아 4 ~ 16m의 평균 오차를 보이고 있으며, 지형, 건물, 위성 개수들이 정밀도에 영향을 미치고 있고 이중에 지형(산악지형, 운동장 등)이 가장 큰 영향을 미치는 것으로 나타나 고 있다. 따라서 정확한 지점에 착륙해야 하는 무인 드론의 경우 오차가 발생하고 있으며 이는 일반적으로 사용하고 있는 자동차 내비게이션을 생각하면 알 수 있다. 또한 도착점 상공에서 하강하여 착륙할 때 착륙점 근처에 예상치 못한 장애물 (사람, 개, 고양 이, 고정된 적재물 , 박스 등)이 있는 경우에 안전 착륙에 문제가 발생하고 있다.Existing unmanned drones for product delivery use a method of landing at the destination using pre-entered starting point GPS information and destination GPS information. However, the accuracy of GPS is low, showing an average error of 4 to 16 m. Terrain, buildings, and the number of satellites affect accuracy, and among these, terrain (mountainous terrain, playgrounds, etc.) appears to have the greatest influence. Therefore, in the case of unmanned drones that must land at a precise point, errors occur, which can be seen when thinking about commonly used car navigation systems. Additionally, when descending and landing from above the destination, problems with safe landing occur if there are unexpected obstacles (people, dogs, cats, fixed cargo, boxes, etc.) near the landing point.

관련 기술로 비컨 등을 목적지에 두고 신호를 보내어 착륙을 유도하는 방법 등이 있으나 계속 전원을 인가해야 하는 문제점 등이 있다. Related technologies include a method of placing a beacon at a destination and sending a signal to induce landing, but there is a problem that the power must be continuously applied.

한국등록특허공보 KR 10-2223190 "드론 착륙 시스템" (2021년 2월 25일)Korean Patent Publication KR 10-2223190 “Drone Landing System” (February 25, 2021) 한국등록특허공보 KR 10-2307584 "무인비행체의 자율 착륙 제어 시스템" (2021년 9월 27일)Korean Patent Publication KR 10-2307584 “Autonomous landing control system for unmanned aerial vehicle” (September 27, 2021)

본 발명은 종래 기술의 문제점을 해결하기 위해 도출된 것으로, 기존 GPS의 낮은 정밀도를 보강하여 무인 드론에 하방 카메라를 장착한 후 착륙점의 마커 영상을 탐지하고, 착륙가능 여부를 판단하는 기능을 탑재하여 정밀하게 기체를 제어하는 방법 및 장치를 제안하는 것을 목적으로 한다. The present invention was developed to solve the problems of the prior art, and by reinforcing the low precision of existing GPS, it is equipped with a function to install a downward camera on an unmanned drone, detect a marker image of the landing point, and determine whether landing is possible. The purpose is to propose a method and device for precisely controlling an aircraft.

무인 배달용 드론 같은 경우 출발점과 도착점의 GPS 정보를 입력 받아 도착점 상공에서 하강하는 방법을 이용한다. GPS 정밀도 문제로 인하여 착륙점 마커까지 정밀한 착륙이 불가한 상황이므로, 하방 카메라를 이용하여 착륙점 마커를 탐지하고 정밀 제어를 통해 안전하게 착륙하는 것을 목적으로 한다.In the case of unmanned delivery drones, a method is used to receive GPS information of the starting and ending points and then descend from the sky above the destination. Since precise landing to the landing point marker is impossible due to GPS accuracy issues, the purpose is to detect the landing point marker using a downward camera and land safely through precise control.

본 발명은 비행장치의 하부에 장착되는 depth(심도) 측정이 가능한 스테레오 카메라를 이용하여 착륙점 까지의 거리 정보와, 착륙점의 마커를 탐지하는 객체탐지 기술을 결합하여 정밀하게, 착륙점까지 드론을 제어하는 방법을 제안하는 것을 목적으로 한다. The present invention combines distance information to the landing point using a stereo camera capable of measuring depth mounted on the bottom of the flying device and object detection technology that detects a marker at the landing point to precisely detect the drone to the landing point. The purpose is to propose a method for controlling .

또한 본 발명은 착륙점 하강시 안전 착륙을 위한 판단을 위하여 이진 분류 방법을 이용하여 안전착륙을 지원하는 것을 목적으로 한다. Additionally, the purpose of the present invention is to support safe landing by using a binary classification method to determine safe landing when descending to the landing point.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 드론의 안전착륙을 위한 영상기반 정밀제어 방법은, 메모리(memory)에 저장된 적어도 하나 이상의 명령을 실행하는 프로세서(processor)에 의하여 수행되는 방법으로서, 드론에 탑재된 카메라를 이용하여 지상을 바라보는 영상을 획득하는 단계; 상기 영상 내에서 착륙점을 탐지하는 단계; 및 상기 영상 내에서 착륙점이 탐지되고, 상기 영상 내에서 인지되는 상기 무인 비행체와 지표면과의 거리가 임계높이에 도달하면, 안전착륙 가능여부를 판단하는 단계를 포함한다. An image-based precision control method for safe landing of a drone according to an embodiment of the present invention to achieve the above object is a method performed by a processor that executes at least one command stored in memory. , acquiring an image looking at the ground using a camera mounted on a drone; Detecting a landing point within the image; And when the landing point is detected in the image and the distance between the unmanned aircraft recognized in the image and the ground reaches a critical height, determining whether a safe landing is possible.

상기 안전착륙 가능여부를 판단하는 단계에서는, 상기 착륙점으로 표시된 영역 내에 착륙을 방해하는 장애물이 위치하는 지 여부가 판단될 수 있다. 이때 장애물이 위치하면 "착륙불가", 장애물이 위치하지 않으면 "착륙가능"으로 판단될 수 있다. In the step of determining whether a safe landing is possible, it may be determined whether an obstacle that prevents landing is located within the area marked as the landing point. At this time, if an obstacle is located, it may be judged as “landing impossible,” and if an obstacle is not located, it may be judged as “landing possible.”

상기 안전착륙 가능여부를 판단하는 단계는, 상기 착륙점으로 표시된 영역 내에 착륙을 방해하는 장애물이 위치하는 지 여부를 판단하는 기능을 학습한 이진 분류 (binary classification) 모델에 의하여 수행될 수 있다. The step of determining whether a safe landing is possible may be performed by a binary classification model that has learned the function of determining whether an obstacle that prevents landing is located in the area marked as the landing point.

상기 이진 분류 모델은, "착륙불가", "착륙가능"으로 이진 분류 라벨링됨으로써 구축된 학습 데이터셋에 기반하여 미리 훈련될 수 있다. The binary classification model may be trained in advance based on a learning dataset constructed by binary classification labeling as “unable to land” and “possible to land.”

본 발명의 일 실시예에 따른 드론의 안전착륙을 위한 영상기반 정밀제어 방법은, 상기 드론이 좌우로 정밀 이동하여 상기 영상 내에서 탐지된 상기 착륙점 상의 위치로 이동하도록 상기 드론의 움직임을 좌우로 정밀 제어하는 단계를 더 포함할 수 있다. An image-based precision control method for a safe landing of a drone according to an embodiment of the present invention is to move the drone left and right so that the drone moves precisely to the left and right and moves to the location on the landing point detected in the image. A precise control step may be further included.

이때 상기 드론의 움직임을 좌우로 정밀 제어하는 단계는, 상기 영상 내 상기 착륙점의 위치와 상기 드론의 현재 위치를 비교하고, 상기 드론이 이동할 방향과 거리를 산출하는 단계를 포함할 수 있다. At this time, the step of precisely controlling the movement of the drone left and right may include comparing the location of the landing point in the image with the current location of the drone and calculating the direction and distance in which the drone will move.

상기 드론이 이동할 방향과 거리를 산출하는 단계는, 상기 영상 내 상기 착륙점의 중심점을 식별하는 단계; 상기 영상 내 중심점을 식별하는 단계, 및 상기 영상 내 각 사분면에서 상기 영상 내 중심점으로부터 상기 착륙점의 중심점에 이르는 거리 및 방향을 산출하는 단계를 포함할 수 있다. Calculating the direction and distance in which the drone will move includes identifying the center point of the landing point in the image; It may include identifying a center point within the image, and calculating a distance and direction from the center point within the image to the center point of the landing point in each quadrant within the image.

상기 착륙점의 중심점을 식별하는 단계는, 상기 착륙점을 포함하는 마커의 중심점을 식별할 수 있다. The step of identifying the center point of the landing point may identify the center point of the marker including the landing point.

상기 영상 내에서 상기 착륙점을 탐지하는 단계는, 상기 영상 내에서 다양한 각도로 촬영된 일반적인 착륙점 영역을 포함하는 마커를 탐지하는 기능을 훈련한 모델에 의하여 수행될 수 있다. The step of detecting the landing point within the image may be performed by a model trained to detect a marker including a general landing point area photographed at various angles within the image.

상기 착륙점 영역을 포함하는 마커를 탐지하는 기능을 훈련한 모델은, 미리 구축된 다양한 각도와 영상 내 위치를 가지도록 촬영되고 정지영상으로 추출된 후, 라벨링되어 구축된 훈련용 영상 데이터셋에 기반하여 미리 훈련될 수 있다. The model that trained the function to detect the marker containing the landing point area is based on a training image dataset that is captured and extracted as a still image with various pre-established angles and positions in the image, and then labeled and constructed. So it can be trained in advance.

본 발명의 일 실시예에 따르면, 비행장치의 하부에 장착되는 depth(심도) 측정이 가능한 스테레오 카메라를 이용하여 착륙점까지의 거리 정보와, 착륙점의 마커를 탐지하는 객체탐지 기술을 결합하여 정밀하게, 착륙점까지 드론을 제어하는 방법을 구현할 수 있다. According to one embodiment of the present invention, a stereo camera capable of measuring depth mounted on the lower part of the flying device is used to combine distance information to the landing point and object detection technology to detect a marker at the landing point to provide precision. So, it is possible to implement a method to control the drone up to the landing point.

또한 본 발명의 일 실시예에 따르면, 착륙점 하강시 안전 착륙을 위한 판단을 위하여 이진 분류 방법을 이용하여 안전착륙을 지원할 수 있다. Additionally, according to an embodiment of the present invention, safe landing can be supported by using a binary classification method to determine safe landing when descending to the landing point.

본 발명의 일 실시예에 따르면, 상공에서 하방으로 영상을 촬영시에 입체적 형상을 한 객체들은 객체탐지 정확도가 부족할 경우, 안전착륙 판단을 위해 별도로 이진 분류 방법을 이용할 수 있다. According to one embodiment of the present invention, when object detection accuracy is insufficient for objects with a three-dimensional shape when taking an image from above to below, a separate binary classification method can be used to determine a safe landing.

본 발명의 일 실시예에 따르면, 착륙점까지 드론을 정밀하게 제어하기 위해 드론이 움직여야 할 정확한 거리와 방향을 제시할 수 있다. According to one embodiment of the present invention, the exact distance and direction in which the drone should move can be presented in order to precisely control the drone to the landing point.

본 발명의 일 실시예에 따르면, GPS 정보와 카메라 영상만으로 손쉽게 원하는 목표점에 정확 및 안전하게 착륙할 수 있다. According to one embodiment of the present invention, it is possible to easily and accurately land at a desired target point using only GPS information and camera images.

도 1은 본 발명의 일 실시예에 따른 영상기반 드론 제어 장치의 기능 블록과, 드론의 구성 및 운용 예시를 도시하는 개념도이다.
도 2는 본 발명의 일 실시예에 따른 안전착륙을 위한 영상기반 드론 제어 방법을 도시하는 동작 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 영상기반 드론 제어 방법을 구현하기 위한 데이터 구축 과정을 도시하는 개념도이다.
도 4는 도 3의 과정의 일부로서, 라벨링 작업의 일 실시예를 도시한다.
도 5는 본 발명의 일 실시예에 따른 영상기반 드론 제어 방법에서, 드론의 정밀 제어를 위한 움직임 거리 추정 과정을 도시하는 개념도이다.
도 6은 본 발명의 일 실시예에 따른 영상기반 드론 제어 방법에서, 영상 내 각 사분면에서 영상 내 마커의 위치에 따른 값 예시를 도시하는 개념도이다.
도 7은 본 발명의 일 실시예에 따른 영상기반 드론 제어 방법에서, 드론의 x,y 방향 움직임 거리 계산을 위한 하방 영상의 실시예를 도시하는 개념도이다.
도 8은 도 1 내지 도 7의 과정의 적어도 일부를 수행할 수 있는 일반화된 영상기반 드론 제어 장치 또는 컴퓨팅 시스템의 예시를 도시하는 개념도이다. Figure 1 is a conceptual diagram illustrating the functional blocks of an image-based drone control device and an example of the configuration and operation of a drone according to an embodiment of the present invention.
Figure 2 is an operation flowchart showing an image-based drone control method for safe landing according to an embodiment of the present invention.
Figure 3 is a conceptual diagram showing a data construction process for implementing a video-based drone control method according to an embodiment of the present invention.
Figure 4 shows one embodiment of a labeling operation, as part of the process of Figure 3.
Figure 5 is a conceptual diagram illustrating a movement distance estimation process for precise control of a drone in an image-based drone control method according to an embodiment of the present invention.
Figure 6 shows the image-based drone control method according to an embodiment of the present invention, according to the position of the marker in the image in each quadrant in the image. This is a conceptual diagram showing an example value.
Figure 7 is a conceptual diagram illustrating an example of a downward image for calculating a moving distance in the x and y directions of a drone in an image-based drone control method according to an embodiment of the present invention.
FIG. 8 is a conceptual diagram illustrating an example of a generalized image-based drone control device or computing system capable of performing at least part of the processes of FIGS. 1 to 7.

상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시예에 대한 설명을 통하여 명백히 드러나게 될 것이다.In addition to the above object, other objects and features of the present invention will be clearly revealed through the description of the embodiment with reference to the accompanying drawings.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. '및/또는' 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, a first component may be named a second component, and similarly, the second component may also be named a first component without departing from the scope of the present invention. The term 'and/or' includes any of a plurality of related stated items or a combination of a plurality of related stated items.

본 출원의 실시예들에서, "A 및 B 중에서 적어도 하나"는 "A 또는 B 중에서 적어도 하나" 또는 "A 및 B 중 하나 이상의 조합들 중에서 적어도 하나"를 의미할 수 있다. 또한, 본 출원의 실시예들에서, "A 및 B 중에서 하나 이상"은 "A 또는 B 중에서 하나 이상" 또는 "A 및 B 중 하나 이상의 조합들 중에서 하나 이상"을 의미할 수 있다.In embodiments of the present application, “at least one of A and B” may mean “at least one of A or B” or “at least one of combinations of one or more of A and B.” Additionally, in embodiments of the present application, “one or more of A and B” may mean “one or more of A or B” or “one or more of combinations of one or more of A and B.”

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is said to be "connected" or "connected" to another component, it is understood that it may be directly connected to or connected to the other component, but that other components may exist in between. It should be. On the other hand, when it is mentioned that a component is “directly connected” or “directly connected” to another component, it should be understood that there are no other components in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in this application are only used to describe specific embodiments and are not intended to limit the invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, terms such as “comprise” or “have” are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the technical field to which the present invention pertains. Terms defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and unless explicitly defined in the present application, should not be interpreted in an idealized or excessively formal sense. No.

한편 본 출원일 전에 공지된 기술이라 하더라도 필요 시 본 출원 발명의 구성의 일부로서 포함될 수 있으며, 이에 대해서는 본 발명의 취지를 흐리지 않는 범위 내에서 본 명세서에서 설명한다. 다만 본 출원 발명의 구성을 설명함에 있어, 본 출원일 전에 공지된 기술로서 당업자가 자명하게 이해할 수 있는 사항에 대한 자세한 설명은 본 발명의 취지를 흐릴 수 있으므로, 공지 기술에 대한 지나치게 자세한 사항의 설명은 생략한다. Meanwhile, even if the technology was known before the filing date of this application, it may be included as part of the structure of the invention of this application when necessary, and this will be described herein to the extent that it does not obscure the purpose of the present invention. However, in explaining the configuration of the invention of this application, a detailed description of matters that can be clearly understood by a person skilled in the art as known technology before the filing date of this application may obscure the purpose of the present invention, so excessively detailed description of the known technology is not necessary. Omit it.

예를 들어, 영상에 기반하여 드론의 착륙 시 필요한 정보를 제공하거나 드론의 제어에 영향을 미쳐 드론의 안전 착륙을 지원하는 기술 등은 본 발명의 출원 전 공지 기술을 이용할 수 있으며, 이들 공지 기술들 중 적어도 일부는 본 발명을 실시하는 데에 필요한 요소 기술로서 적용될 수 있다. 예를 들어 본 발명의 구성의 일부를 실시하는 데에 필요한 요소 기술은 한국등록특허공보 KR 10-2223190 "드론 착륙 시스템", 한국등록특허공보 KR 10-2307584 "무인비행체의 자율 착륙 제어 시스템" 등을 통하여 당업자에게 공지되었음을 알림으로써 설명에 갈음할 수 있다. For example, technologies that provide necessary information when landing a drone based on an image or that support a safe landing of a drone by influencing the control of the drone can use technologies known before the application of the present invention, and these known technologies At least some of them can be applied as elemental technologies necessary for practicing the present invention. For example, the element technology required to implement part of the configuration of the present invention is Korean Patent Publication KR 10-2223190 "Drone Landing System", Korean Patent Publication KR 10-2307584 "Autonomous Landing Control System for Unmanned Aircraft", etc. The description can be replaced by notifying that it is known to those skilled in the art.

그러나 본 발명의 취지는 이들 공지 기술에 대한 권리를 주장하고자 하는 것이 아니며 공지 기술의 내용은 본 발명의 취지에 벗어나지 않는 범위 내에서 본 발명의 일부로서 포함될 수 있다. However, the purpose of the present invention is not to claim rights to these known technologies, and the content of the known technologies may be included as part of the present invention within the scope without departing from the spirit of the present invention.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the attached drawings. In order to facilitate overall understanding when describing the present invention, the same reference numerals are used for the same components in the drawings, and duplicate descriptions for the same components are omitted.

도 1은 본 발명의 일 실시예에 따른 영상기반 드론 제어 장치의 기능 블록과, 드론의 구성 및 운용 예시를 도시하는 개념도이다. Figure 1 is a conceptual diagram illustrating the functional blocks of an image-based drone control device and an example of the configuration and operation of a drone according to an embodiment of the present invention.

도 1을 참조하면, 일반적인 드론의 구성과 관제 시스템을 포함하되, 본 발명의 영상기반 드론 제어 장치를 구성하기 위하여 필요한 구성요소가 도시된다. Referring to Figure 1, the components necessary to configure the video-based drone control device of the present invention, including the configuration and control system of a general drone, are shown.

전반적인 관제 시스템은, 드론을 구성하고 있는 모터 및 센서 류 (GPS, 기압센서, 자이로, 가속도, 컴퍼스 등) (110), 이러한 센서 신호를 수신하고 제어하는 FC (120), 임무 수행을 위한 소형 컴퓨터인 MC (130)및 MC(130)와의 통신을 통해 드론의 현재 상태 및 제어가 가능한 관제(150)를 포함한다. The overall control system consists of motors and sensors that make up the drone (GPS, barometric pressure sensor, gyro, acceleration, compass, etc.) (110), FC (120) that receives and controls these sensor signals, and a small computer for mission performance. It includes an MC (130) and a control unit (150) capable of controlling and controlling the current status of the drone through communication with the MC (130).

본 발명의 일 실시예에 따른 안전착륙을 위한 영상기반 정밀제어 시스템/장치는 도 1의 MC (130)에 탑재하여 구동 가능하며, MC (130)에 탑재되지 않는 경우에는 별도의 소형 컴퓨터를 MC (130)와 연결하여 독립적으로 구동할 수도 있다. The video-based precision control system/device for safe landing according to an embodiment of the present invention can be mounted and driven on the MC 130 of FIG. 1. If it is not mounted on the MC 130, a separate small computer can be installed on the MC. It can also be connected to (130) and driven independently.

본 발명의 일 실시예에 따른 안전착륙을 위한 영상기반 정밀제어 시스템/장치는 도착점 마커 탐지를 위한 객체탐지 모델과 착륙가능 여부 판단 모델을 포함할 수 있다. An image-based precision control system/device for safe landing according to an embodiment of the present invention may include an object detection model for detecting a destination marker and a model for determining whether a landing is possible.

드론의 아랫면 정중앙에 하방 카메라(140)가 설치되어, 드론의 하방 영상이 획득될 수 있다. 이때 사용되는 카메라는 영상내 특정 지점까지의 거리 측정이 가능한 모델일 수 있다. 시중에는 스테레오랩스의 zed2, 인텔의 리얼센스 등의 카메라가 있으며, depth (심도) 및 거리 측정을 위한 듀얼 렌즈 타입의 카메라 등이 이용되고 있다. A downward camera 140 is installed at the exact center of the lower surface of the drone, so that a downward image of the drone can be obtained. The camera used at this time may be a model capable of measuring the distance to a specific point in the image. There are cameras on the market such as Stereolapse's zed2 and Intel's RealSense, and dual-lens type cameras are being used to measure depth and distance.

본 출원 명세서에서 드론이라 명시한 개념은, 무인 비행체를 제한 없이 일반적으로 이르는 개념이다. The concept specified as a drone in this application specification is a concept that generally refers to an unmanned flying vehicle without limitation.

도 2는 본 발명의 일 실시예에 따른 안전착륙을 위한 영상기반 드론 제어 방법을 도시하는 동작 흐름도이다. Figure 2 is an operation flowchart showing an image-based drone control method for safe landing according to an embodiment of the present invention.

도 2를 참조하면, 도착점의 GPS 좌표를 가지고 드론이 출발한 후, 도착점 상공에서 안전착륙 시스템이 동작할 수 있다. 착륙점의 마커 탐지를 위해서 객체 탐지 모델이 구동되면(S201) 마커가 탐지될 때까지(S204) 또는 미리 설정된 높이에 도달할 때까지(S203) 드론이 현재 위치에서 수직으로 하강할 수 있다 (S202). Referring to FIG. 2, after the drone departs with the GPS coordinates of the destination, a safe landing system can operate above the destination. When the object detection model is run to detect a marker at the landing point (S201), the drone can descend vertically from the current position until the marker is detected (S204) or until it reaches a preset height (S203) (S202) ).

드론의 고도는 드론에 설치된 depth 측정이 가능한 듀얼렌즈 카메라를 이용하여 실시간으로 측정 가능하다. 하강 시 착륙점 마커를 탐지하지 못한 상태이면(S204) 5미터 지점까지(S203), 1미터씩 수직 하강할 수 있다(S205). 이때 본 발명의 일 실시예에 따른 안전 착륙 판단 모델의 구동 높이인 5m, 하강 시 움직이는 거리 1m는 예시적인 값이며, 설정 값에 의해 수정될 수 있다. The altitude of the drone can be measured in real time using a dual lens camera installed on the drone that can measure depth. If the landing point marker is not detected during descent (S204), you can descend vertically up to 5 meters (S203) and 1 meter at a time (S205). At this time, the driving height of 5m and the moving distance during descent of 1m of the safe landing judgment model according to an embodiment of the present invention are exemplary values and can be modified by setting values.

수직 하강하는 중에 아직 기설정된 높이에 도달하기 전이고(S203) 착륙점 마커가 탐지되면(S204) 하강을 멈추고 호버링하며 움직여야 할 좌, 우 방향 및 거리를 계산 후 정밀 이동할 수 있다(S206). 원하는 위치로 이동이 완료되면 5m 지점까지 수직 하강한 후(S207) 호버링하며 안전착륙 판단 모델을 구동할 수 있다(S208).During vertical descent, if the preset height has not yet been reached (S203) and the landing point marker is detected (S204), the descent can be stopped, hovered, and the left and right direction and distance to be moved can be calculated and precise movement can be made (S206). When the movement to the desired location is completed, it can descend vertically to a 5m point (S207) and then hover and run a safe landing judgment model (S208).

안전착륙 판단 모델에 의해 착륙 가능 여부를 판단하여(S209) 착륙 가능한 경우에는 곧바로 착륙하고(S210), 착륙불가능하다고 판단되는 경우에는 (예를 들어, 착륙점 내부에 사람이나 동물, 기타 장애물로 판단되는 물건이 있는 경우) 호버링하며 관제(150)에 메시지를 전송하고 사이렌 또는 임의의 경보를 동작시킬 수 있다(S211). Whether or not landing is possible is determined by the safe landing judgment model (S209). If landing is possible, land immediately (S210). If landing is judged impossible (for example, it is judged to be a person, animal, or other obstacle inside the landing point). (if there is an object) it can hover and transmit a message to the control unit 150 and activate a siren or arbitrary alarm (S211).

일정시간 대기(S212) 후 관제(150)의 지시에 따라 비상착륙(S213) 및 기타 조치를 취할 수 있다. 착륙점 마커를 탐지하지 못한 채로(S204) 5m 이하까지 하강한 경우도(S203) 단계 S211 내지 S213의 프로세스를 따라 비상착륙할 수 있다. 단계 S212의 일정시간은 설정값에 의해 정해질 수 있다.After waiting for a certain period of time (S212), emergency landing (S213) and other actions can be taken according to the instructions of the controller (150). Even if the landing point marker is not detected (S204) and descends to 5 m or less (S203), an emergency landing can be made by following the process of steps S211 to S213. The constant time of step S212 can be determined by a set value.

본 발명의 일 실시예에 따른 객체탐지 모델(S201 참조)을 만들기 위한 학습 데이터 구축/획득 방법은 다음과 같다.The method of building/obtaining learning data to create an object detection model (see S201) according to an embodiment of the present invention is as follows.

도 3은 본 발명의 일 실시예에 따른 영상기반 드론 제어 방법을 구현하기 위한 데이터 구축 과정을 도시하는 개념도이다. Figure 3 is a conceptual diagram illustrating a data construction process for implementing a video-based drone control method according to an embodiment of the present invention.

도 3을 참조하면, 먼저 착륙점 마커 준비 단계 (S310)가 수행될 수 있다. 이때 다양한 형태의 마커가 고려될 수 있고, 원하는 형태의 마커가 준비/제작될 수 있다. Referring to FIG. 3, a landing point marker preparation step (S310) may be performed first. At this time, various types of markers may be considered, and a marker of a desired type may be prepared/manufactured.

영상 하방 촬영이 가능한 일반 드론 (예, MAVIC 등)으로 지상 30미터 부근에서 지상 5미터 사이까지 여러 장소 (잔디밭, 건물 사이, 운동장, 도로 등)에 준비한 착륙점 마커를 설치하고 다양한 방법 (원주 비행, 수직하강, 제자리 회전 등)으로 하강하며 동영상을 촬영한다(S320).With a general drone (e.g., MAVIC, etc.) capable of shooting video downwards, prepare landing point markers are installed in various places (lawns, between buildings, playgrounds, roads, etc.) from around 30 meters above the ground to 5 meters above the ground, and can be used in various ways (circular flight) , vertical descent, rotation in place, etc.) and shoot a video (S320).

촬영한 동영상을 프레임 캡쳐하여 정지영상을 추출한다(S330) 이때 추출되는 정지영상의 수는 예를 들어 2000장 이상으로 미리 설정될 수 있다. Still images are extracted by capturing frames from the captured video (S330). At this time, the number of still images extracted may be preset to, for example, 2000 or more.

단계 S330에 의하여 얻어진 각각의 정지영상에 대해 라벨링이 수행될 수 있다 (S340). Labeling may be performed on each still image obtained by step S330 (S340).

도 4는 도 3의 과정의 일부로서, 라벨링 작업의 일 실시예를 도시한다. Figure 4 shows one embodiment of a labeling operation, as part of the process of Figure 3.

라벨링 작업은 탐지하고자 하는 객체를 영상 속에서 박스 형태로 표시하는 작업이며 탐지하고자 하는 객체 종류에 따라 다양하게 라벨링될 수 있다. 본 발명의 일 실시예에 따른 안전착륙 시스템의 객체 탐지 모델은 착륙점 마커 1개의 클래스만 적용하여 도 4와 같은 형태로 라벨링되며, 라벨링 정보와 영상정보를 이용하여 객체탐지 모델을 학습한다.The labeling task is to display the object to be detected in the form of a box in the image, and can be labeled in various ways depending on the type of object to be detected. The object detection model of the safe landing system according to an embodiment of the present invention is labeled in the form shown in Figure 4 by applying only one class of landing point marker, and the object detection model is learned using labeling information and image information.

즉, 착륙점 (400)이 영상 내 탐지하고자 하는 객체이며, 영상 내에서 나타나는 착륙점 (400)의 외곽 또는 특정한 패턴이 마커 (410)로서 라벨링될 수 있다. That is, the landing point 400 is an object to be detected in the image, and the outline or specific pattern of the landing point 400 that appears in the image may be labeled as a marker 410.

본 발명의 일 실시예에서, 객체 탐지 모델은 YOLO, SSD등 기술 분야의 다양한 모델이 사용될 수 있다. YOLO 모델을 예를 들면 학습데이터 영상 한장마다 라벨링 정보가 담긴 파일이 생성되며 클래스 수 정보와 함께 입력 값으로 설정하여 모델을 학습할 수 있다. In one embodiment of the present invention, various models in the technology field, such as YOLO and SSD, may be used as the object detection model. For example, in the YOLO model, a file containing labeling information is created for each training data video, and the model can be learned by setting it as an input value along with the number of classes.

도 5는 본 발명의 일 실시예에 따른 영상기반 드론 제어 방법에서, 드론의 정밀 제어를 위한 움직임 거리 추정 과정을 도시하는 개념도이다. Figure 5 is a conceptual diagram illustrating a movement distance estimation process for precise control of a drone in an image-based drone control method according to an embodiment of the present invention.

도 5를 참조하면, 드론(500)의 좌우 정밀 이동(S206 참조)을 위해 드론(500)이 움직여야 할 거리 및 방향에 대한 개념도이다. 이를 참고하면 착륙점(400) 상공에 드론(500)이 위치해 있을 때 각 기호는 아래와 같이 정의한다.Referring to FIG. 5, it is a conceptual diagram of the distance and direction in which the drone 500 must move in order to precisely move the drone 500 left and right (see S206). Referring to this, when the drone 500 is located above the landing point 400, each symbol is defined as follows.

h : 지상에서 드론(500)까지의 거리(높이)h: Distance (height) from the ground to the drone (500)

d : 드론(500)에서 객체 탐지된 착륙점(400) 마커 중심점 까지의 거리d: Distance from the drone (500) to the center point of the object detected landing point (400) marker

: h 와 d 사이의 각도 : angle between h and d

: 드론(500)을 그대로 지상에 착륙시켰을 때 위치와(도 5의 원점) 착륙점(400) 마커 중심점 까지의 거리 : Location when the drone (500) is landed on the ground (origin point in Figure 5) and distance to the center point of the landing point (400) marker

: 각 사분면에서 가로축을 기준으로 착륙점 마커 중심점 까지의 각도로서, 후술할 도 6을 통해 더욱 구체적으로 도시된다. : This is the angle from the horizontal axis to the center point of the landing point marker in each quadrant, and is shown in more detail in FIG. 6, which will be described later.

: 도 5를 참고하면 원점을 기준으로 드론(500)이 움직여야 할 가로 및 세로의 실제 거리 및 방향 : Referring to Figure 5, the actual horizontal and vertical distance and direction in which the drone 500 should move based on the origin.

도 6은 본 발명의 일 실시예에 따른 영상기반 드론 제어 방법에서, 영상 내 각 사분면에서 영상 내 마커의 위치에 따른 값 예시를 도시하는 개념도이다. Figure 6 shows the image-based drone control method according to an embodiment of the present invention, according to the position of the marker in the image in each quadrant in the image. This is a conceptual diagram showing an example value.

도 5 및 도 6을 참조하면, 다음의 기호와 그 의미가 정의될 수 있다. Referring to Figures 5 and 6, the following symbols and their meanings can be defined.

: 카메라로 얻어진 영상의 중심점으로부터 착륙점 마커 중심 점까지 선을 그었을 때 만들어 지는 직각 삼각형의 가로의 픽셀수를 dx, 세로 방향 픽 셀수를 dy로 정의할 수 있다. : The number of horizontal pixels of a right triangle created when a line is drawn from the center point of the image obtained by the camera to the center point of the landing point marker can be defined as dx, and the number of vertical pixels as dy.

위의 정의를 참고하여, 심도 측정이 가능한 듀얼 렌즈 카메라로 하방 영상을 찍으면, 드론의 카메라 중심으로부터 착륙점 마커 중심점 까지의 거리(d)를 구할 수 있다. 또한 같은 방법으로 바로 수직아래 방향에 대한 거리 또한 획득이 가능하다(h). Referring to the above definition, if you take a downward image with a dual lens camera capable of measuring depth, you can find the distance (d) from the drone's camera center to the center point of the landing point marker. In addition, the distance in the direction directly below the vertical can also be obtained in the same way (h).

따라서 는 하기 수학식 1에 의해 얻어지고, 지상의 중심점으로부터 착륙점 마커 까지의 거리 는 하기 수학식 2에 의해 얻어질 수 있다. thus is obtained by Equation 1 below, and is the distance from the center point of the ground to the landing point marker Can be obtained by Equation 2 below.

도 7은 본 발명의 일 실시예에 따른 영상기반 드론 제어 방법에서, 드론의 x,y 방향 움직임 거리 계산을 위한 하방 영상의 실시예를 도시하는 개념도이다. Figure 7 is a conceptual diagram illustrating an example of a downward image for calculating a moving distance in the x and y directions of a drone in an image-based drone control method according to an embodiment of the present invention.

도 7을 참고하면, 드론에서 카메라로 촬영된 하방 영상의 예시가 도시되며, 착륙점 마커가 탐지됨으로써 영상 내 위치정보를 알 수 있다. (예, 영상 크기 : 1280 * 720, 영상의 중심점 : (640, 360), 착륙점 마커의 중심점 좌표 (510, 480), dx의 픽셀수 : 130, dy의 픽셀수 : 120 )Referring to Figure 7, an example of a downward image captured with a camera from a drone is shown, and the landing point marker is detected, allowing location information in the image to be known. (e.g. image size: 1280 * 720, center point of image: (640, 360), coordinates of center point of landing point marker (510, 480), number of pixels in dx: 130, number of pixels in dy: 120)

와 의 픽셀수의 비를 이용하면 도 7에서의 를 하기 수학식 3에서 구할 수 있다. and Using the ratio of the number of pixels, in FIG. 7 can be obtained from Equation 3 below.

드론이 움직여야 할 실제거리 , 는 하기 수학식 4와 수학식 5에 의하여 결정될 수 있다. Actual distance the drone must move , Can be determined by Equation 4 and Equation 5 below.

영상의 중심점을 , 착륙점의 중심점을 라 하면 착륙점의 중심점은 원점을 기준으로 4개 사분면 중에 한군데에 존재할 수 있다. the center point of the video , the center point of the landing point In other words, the center point of the landing point may be in one of four quadrants based on the origin.

의 값을 계산하여 0 보다 크면 로 설정하고 0보다 작으면 -1로 설정한다. 마찬가지로 의 값을 계산 하여 0 보다 크면 로 설정하고 0보다 작으면 -1로 설정한다. Calculate the value of and if it is greater than 0, Set to and if it is less than 0, set to -1. Likewise Calculate the value of and if it is greater than 0, Set to and if it is less than 0, set to -1.

이를 종합하여 x,y 방향으로 드론이 움직여야 할 거리 및 방향을 하기 수학식 6 및 수학식 7에서 구할 수 있다. 단위는 m가 널리 이용된다. Putting this together, the distance and direction in which the drone should move in the x and y directions can be obtained from Equation 6 and Equation 7 below. The unit m is widely used.

와 의 값은 영상을 기준으로 드론이 착륙점을 향해 움직여야 할 가로와 세로의 거리값이다. 상용으로 많이 사용하는 FC(flight controller)에는 MC에서 생성된 명령을 추종할 수 있는 모드와 관련 API를 제공한다. 그중에 Position Control 모드에서는 위의 마커의 절대 위치가 요구될 수 있다. and The value of is the horizontal and vertical distance that the drone must move toward the landing point based on the image. FC (flight controller), which is widely used commercially, provides a mode and related API that can follow commands generated by MC. Among them, in Position Control mode, the absolute position of the above marker may be required.

앞에서 드론으로부터 상대거리를 구했으므로 미터 단위의 현재 위치를 더해서 마커의 절대 위치를 구하고 이 값을 FC에 입력하여 착륙을 수행하도록 한다.Since the relative distance from the drone was previously obtained, add the current position in meters to obtain the absolute position of the marker and enter this value in FC to perform landing.

본 발명의 일 실시예에 따른 안전착륙 모델은(S208 참조) 이진 분류(binary classification) 모델을 사용하여 적용한다. 분류 알고리즘은 logistic regression, SVM, MLP, CNN 등 여러 모델이 사용될 수 있다. 본 발명에 따른 안전착륙 모델(208)을 만들기 위한 학습 데이터 획득 방법은 다음과 같다.The safe landing model according to an embodiment of the present invention (see S208) is applied using a binary classification model. As a classification algorithm, several models such as logistic regression, SVM, MLP, and CNN can be used. The method of acquiring learning data to create the safe landing model 208 according to the present invention is as follows.

1. 여러 높이 및 방향에서 착륙점 마커 영상을 획득한다. (최소 1000장)1. Acquire images of the landing point marker at various heights and directions. (Minimum 1000 sheets)

2. 착륙점 마커 위에 사람, 고양이, 개, 박스 등을 랜덤으로 올려 놓고 여러 높이 및 방향에서 학습 영상을 수집한다. 여러 물체가 같이 올라갈 수도 있고, 단독으로 올라갈 수도 있다. (최소 1000장)2. Randomly place people, cats, dogs, boxes, etc. on the landing point marker and collect learning images from various heights and directions. Several objects can go up together or individually. (Minimum 1000 sheets)

3. 1번 영상을 "착륙가능", 2번 영상을 "착륙불가"로 각 영상파일 이름에 포함하여 데이터를 획득한다.3. Acquire data by including video number 1 as “landing possible” and video number 2 as “landing not possible” in each video file name.

획득한 영상을 이용하여 이진 분류 모델을 생성한다. A binary classification model is created using the acquired image.

본 발명의 일 실시예는, 도 1 내지 도 7에 의하여 설명되는 안전착륙 시스템을 포함할 수 있다.One embodiment of the present invention may include a safe landing system illustrated in FIGS. 1 to 7.

본 발명의 일 실시예는, 도 1 내지 도 7에 의하여 설명되는 마커 탐지 모델 데이터 획득 방법을 포함할 수 있다.An embodiment of the present invention may include a method of acquiring marker detection model data described in FIGS. 1 to 7.

본 발명의 일 실시예는, 도 1 내지 도 7에 의하여 설명되는 마커 위치까지 드론이 움직여야 할 거리와 방향 계산 방법을 포함할 수 있다.One embodiment of the present invention may include a method for calculating the distance and direction in which the drone must move to the marker location illustrated in FIGS. 1 to 7.

본 발명의 일 실시예는, 도 1 내지 도 7에 의하여 설명되는 이진 분류 모델 데이터 획득 방법을 포함할 수 있다.An embodiment of the present invention may include a method for obtaining binary classification model data described in FIGS. 1 to 7.

본 발명의 일 실시예는, 착륙점 상단에서 목표지점의 마커를 향해 정확한 착륙을 유도하는 제어 기술 및 착륙지점내의 장애물 발견시 관제로 상황을 전달하고 스피커 장치를 통해 알림을 발생하는 방법을 제공한다.One embodiment of the present invention provides a control technology that induces an accurate landing from the top of the landing point toward the marker of the target point, and a method of transmitting the situation to the control when an obstacle is discovered within the landing point and generating a notification through a speaker device. .

도 8은 도 1 내지 도 7의 과정의 적어도 일부를 수행할 수 있는 일반화된 영상기반 드론 제어 장치 또는 컴퓨팅 시스템의 예시를 도시하는 개념도이다. FIG. 8 is a conceptual diagram illustrating an example of a generalized image-based drone control device or computing system capable of performing at least part of the processes of FIGS. 1 to 7.

본 발명의 일 실시예에 따른 안전착륙을 위한 영상기반 드론 정밀제어 방법의 적어도 일부의 과정은 도 8의 컴퓨팅 시스템(1000)에 의하여 실행될 수 있다. At least some processes of the image-based drone precision control method for safe landing according to an embodiment of the present invention may be executed by the computing system 1000 of FIG. 8.

도 8을 참조하면, 본 발명의 일 실시예에 따른 컴퓨팅 시스템(1000)은, 프로세서(1100), 메모리(1200), 통신 인터페이스(1300), 저장 장치(1400), 입력 인터페이스(1500), 출력 인터페이스(1600) 및 버스(bus)(1700)를 포함하여 구성될 수 있다.Referring to FIG. 8, the computing system 1000 according to an embodiment of the present invention includes a processor 1100, a memory 1200, a communication interface 1300, a storage device 1400, an input interface 1500, and an output. It may be configured to include an interface 1600 and a bus 1700.

본 발명의 일 실시예에 따른 컴퓨팅 시스템(1000)은, 적어도 하나의 프로세서(processor)(1100) 및 상기 적어도 하나의 프로세서(1100)가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)(1200)를 포함할 수 있다. 본 발명의 일 실시예에 따른 방법의 적어도 일부의 단계는 상기 적어도 하나의 프로세서(1100)가 상기 메모리(1200)로부터 명령어들을 로드하여 실행함으로써 수행될 수 있다. The computing system 1000 according to an embodiment of the present invention includes at least one processor 1100 and instructions instructing the at least one processor 1100 to perform at least one step. It may include a memory 1200 for storing. At least some steps of the method according to an embodiment of the present invention may be performed by the at least one processor 1100 loading instructions from the memory 1200 and executing them.

프로세서(1100)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. The processor 1100 may refer to a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to embodiments of the present invention are performed.

메모리(1200) 및 저장 장치(1400) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(1200)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다. Each of the memory 1200 and the storage device 1400 may be comprised of at least one of a volatile storage medium and a non-volatile storage medium. For example, the memory 1200 may be comprised of at least one of read only memory (ROM) and random access memory (RAM).

또한, 컴퓨팅 시스템(1000)은, 무선 네트워크를 통해 통신을 수행하는 통신 인터페이스(1300)를 포함할 수 있다. Additionally, the computing system 1000 may include a communication interface 1300 that performs communication through a wireless network.

또한, 컴퓨팅 시스템(1000)은, 저장 장치(1400), 입력 인터페이스(1500), 출력 인터페이스(1600) 등을 더 포함할 수 있다.Additionally, the computing system 1000 may further include a storage device 1400, an input interface 1500, an output interface 1600, etc.

또한, 컴퓨팅 시스템(1000)에 포함된 각각의 구성 요소들은 버스(bus)(1700)에 의해 연결되어 서로 통신을 수행할 수 있다.Additionally, each component included in the computing system 1000 may be connected by a bus 1700 and communicate with each other.

본 발명의 컴퓨팅 시스템(1000)의 예를 들면, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.Examples of the computing system 1000 of the present invention include a communication capable desktop computer, laptop computer, laptop, smart phone, tablet PC, and mobile phone. (mobile phone), smart watch, smart glass, e-book reader, PMP (portable multimedia player), portable game console, navigation device, digital camera, DMB (digital) It may be a multimedia broadcasting player, digital audio recorder, digital audio player, digital video recorder, digital video player, PDA (Personal Digital Assistant), etc. .

본 발명의 일 실시예에 따른 드론의 안전착륙을 위한 영상기반 정밀제어 방법은, 메모리(memory)(1200)에 저장된 적어도 하나 이상의 명령을 실행하는 프로세서(processor)(1100)에 의하여 수행되는 방법으로서, 드론에 탑재된 카메라를 이용하여 지상을 바라보는 영상을 획득하는 단계; 상기 영상 내에서 착륙점을 탐지하는 단계(S204); 및 상기 영상 내에서 착륙점이 탐지되고(S204), 상기 영상 내에서 인지되는 상기 무인 비행체와 지표면과의 거리가 임계높이에 도달하면(S207), 안전착륙 가능여부를 판단하는 단계(S208, S209)를 포함한다. The image-based precision control method for safe landing of a drone according to an embodiment of the present invention is a method performed by a processor 1100 that executes at least one command stored in a memory 1200. , acquiring an image looking at the ground using a camera mounted on a drone; Detecting a landing point in the image (S204); And when the landing point is detected in the image (S204) and the distance between the unmanned aircraft recognized in the image and the ground reaches a critical height (S207), determining whether a safe landing is possible (S208, S209) Includes.

상기 안전착륙 가능여부를 판단하는 단계(S208, S209)에서는, 상기 착륙점으로 표시된 영역 내에 착륙을 방해하는 장애물이 위치하는 지 여부가 판단될 수 있다. 이때 장애물이 위치하면 "착륙불가", 장애물이 위치하지 않으면 "착륙가능"으로 판단될 수 있다. In the step of determining whether a safe landing is possible (S208, S209), it may be determined whether an obstacle that prevents landing is located in the area marked by the landing point. At this time, if an obstacle is located, it may be judged as “landing impossible,” and if an obstacle is not located, it may be judged as “landing possible.”

상기 안전착륙 가능여부를 판단하는 단계(S208, S209)는, 상기 착륙점으로 표시된 영역 내에 착륙을 방해하는 장애물이 위치하는 지 여부를 판단하는 기능을 학습한 이진 분류 (binary classification) 모델에 의하여 수행될 수 있다. The steps (S208, S209) of determining whether a safe landing is possible are performed by a binary classification model that has learned the function of determining whether an obstacle that prevents landing is located in the area marked by the landing point. It can be.

본 발명의 일 실시예에 따른 드론의 안전착륙을 위한 영상기반 정밀제어 방법은, 상기 드론이 좌우로 정밀 이동하여 상기 영상 내에서 탐지된 상기 착륙점 상의 위치로 이동하도록 상기 드론의 움직임을 좌우로 정밀 제어하는 단계(S206)를 더 포함할 수 있다. The image-based precision control method for the safe landing of a drone according to an embodiment of the present invention is to move the drone left and right so that the drone moves precisely to the left and right and moves to the location on the landing point detected in the image. A precise control step (S206) may be further included.

이때 상기 드론의 움직임을 좌우로 정밀 제어하는 단계(S206)는, 상기 영상 내 상기 착륙점의 위치와 상기 드론의 현재 위치를 비교하고, 상기 드론이 이동할 방향과 거리를 산출하는 단계를 포함할 수 있다. At this time, the step of precisely controlling the movement of the drone to the left and right (S206) may include comparing the location of the landing point in the image with the current location of the drone and calculating the direction and distance in which the drone will move. there is.

상기 영상 내에서 상기 착륙점을 탐지하는 단계(S204)는, 상기 영상 내에서 다양한 각도로 촬영된 일반적인 착륙점 영역을 포함하는 마커를 탐지하는 기능을 훈련한 모델에 의하여 수행될 수 있다. The step of detecting the landing point within the image (S204) may be performed by a model trained to detect a marker including a general landing point area photographed at various angles within the image.

상기 착륙점 영역을 포함하는 마커를 탐지하는 기능을 훈련한 모델은, 미리 구축된 다양한 각도와 영상 내 위치를 가지도록 촬영되고(S320) 정지영상으로 추출된 후(S330), 라벨링되어 구축된(S340) 훈련용 영상 데이터셋에 기반하여 미리 훈련될 수 있다. The model trained to detect the marker containing the landing point area is photographed at various pre-established angles and positions in the image (S320), extracted as a still image (S330), and then labeled and constructed ( S340) It can be trained in advance based on the training image dataset.

본 발명의 실시예에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽힐 수 있는 정보가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.The operation of the method according to an embodiment of the present invention can be implemented as a computer-readable program or code on a computer-readable recording medium. Computer-readable recording media include all types of recording devices that store information that can be read by a computer system. Additionally, computer-readable recording media can be distributed across networked computer systems so that computer-readable programs or codes can be stored and executed in a distributed manner.

또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.Additionally, computer-readable recording media may include hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Program instructions may include not only machine language code such as that created by a compiler, but also high-level language code that can be executed by a computer using an interpreter, etc.

본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시 예에서, 가장 중요한 방법 단계들의 적어도 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.Although some aspects of the invention have been described in the context of an apparatus, it may also refer to a corresponding method description, where a block or device corresponds to a method step or feature of a method step. Similarly, aspects described in the context of a method may also be represented by corresponding blocks or items or features of a corresponding device. Some or all of the method steps may be performed by (or using) a hardware device, such as a microprocessor, programmable computer, or electronic circuit, for example. In some embodiments, at least one or more of the most important method steps may be performed by such an apparatus.

실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그래머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그래머블 게이트 어레이(field-programmable gate array)는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서(microprocessor)와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.In embodiments, a programmable logic device (e.g., a field programmable gate array) may be used to perform some or all of the functionality of the methods described herein. In embodiments, a field-programmable gate array may operate in conjunction with a microprocessor to perform one of the methods described herein. In general, the methods are preferably performed by some hardware device.

이상 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the present invention has been described with reference to preferred embodiments of the present invention, those skilled in the art may make various modifications and changes to the present invention without departing from the spirit and scope of the present invention as set forth in the claims below. You will understand that it is possible.

Claims

A method performed by a processor that executes at least one instruction stored in memory,
Obtaining an image looking at the ground using a camera mounted on a drone;
Detecting a landing point within the image; and
When a landing point is detected in the image and the distance between the unmanned aircraft recognized in the image and the ground reaches a critical height, determining whether a safe landing is possible;
Including,
Image-based precision control method for safe landing of drones.