KR20160102844A - System and method for guiding landing of multi-copter - Google Patents

System and method for guiding landing of multi-copter Download PDF

Info

Publication number
KR20160102844A
KR20160102844A KR1020150025451A KR20150025451A KR20160102844A KR 20160102844 A KR20160102844 A KR 20160102844A KR 1020150025451 A KR1020150025451 A KR 1020150025451A KR 20150025451 A KR20150025451 A KR 20150025451A KR 20160102844 A KR20160102844 A KR 20160102844A
Authority
KR
South Korea
Prior art keywords
pattern
landing
image
image processing
copter
Prior art date
Application number
KR1020150025451A
Other languages
Korean (ko)
Inventor
이주성
박시열
Original Assignee
한남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한남대학교 산학협력단 filed Critical 한남대학교 산학협력단
Priority to KR1020150025451A priority Critical patent/KR20160102844A/en
Publication of KR20160102844A publication Critical patent/KR20160102844A/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
    • B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G06K9/20—
    • G06K9/32—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • B64C2201/18—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Analysis (AREA)

Abstract

Provided is a system for guiding the landing of a multi-copter according to an embodiment of the present invention. The system for guiding landing of a multi-copter comprises: an image capturing unit obtaining an image for a landing pattern of a landing pad by capturing the landing pad using a camera; an image treatment unit searching a first landing pattern from the image and performing a first image treatment on the searched first landing pattern; and a flight control unit moving and lowering a multi-copter to align with the center of the first landing pattern and the center of the camera based on the result of the first image treatment. The image treatment unit searches a second landing pattern from the image in accordance with the lowering of the multi-copter, and corrects an error to align the horizontal and vertical axes of the image and the horizontal and vertical axes of the second landing pattern by performing a second image treatment on the searched second landing pattern in stages. The fight control unit controls the lowering of the multi-copter to land the multi-copter at the landing center of the second landing pattern based on the result of the second image treatment.

Description

멀티콥터 착륙 가이드 시스템 및 방법{SYSTEM AND METHOD FOR GUIDING LANDING OF MULTI-COPTER}TECHNICAL FIELD [0001] The present invention relates to a multi-copter landing guiding system and method,

본 발명의 실시예들은 착륙 패드(Landing Pad) 및 영상 처리 기술을 이용하여 멀티콥터의 착륙을 가이드 하는 시스템 및 방법에 관한 것이다.
Embodiments of the present invention are directed to a system and method for guiding the landing of a multi-copter using landing pads and image processing techniques.

멀터콥터 자동 착륙 패드의 설계는 어떤 영상처리를 선택하는데 결정적인 영향을 미친다. 설계 패턴과 특징에 따라 영상처리 알고리즘의 프로차트가 결정되며, 멀터콥터와 착륙 패드의 정렬 방법, 착륙 정밀도가 결정된다. 기존의 방법을 사례로 살펴보면 착륙 정밀도가 떨어지고, 각도 정렬이 불가능한 등 한계점을 가지고 있다.The design of a Murtercopter automatic landing pad has a crucial effect on the choice of image processing. Depending on the design pattern and characteristics, the image charting algorithm of the image processing algorithm is determined, and the alignment method and landing accuracy of the multer copter and landing pad are determined. In the case of the existing method, landing accuracy is lowered and angle alignment is impossible.

- 이진화(Binarization)와 반지름 사이즈를 이용한 상태 파악- Identification using Binarization and Radius Size

기존의 착륙 패턴은 6각형과 그 안에 배치한 다양한 지름과 두께의 원형 무늬로 구성되어 있다. 6각형은 멀터콥터의 착륙 각도 오차를 판단할 수 있고, 원형 반지름과 두께는 착륙 패드의 센터를 확인하는 데 사용된다. 아울러 지름의 크기와 두께를 이용하여 멀티콥터의 대략적인 높이를 판단할 수 있다.Conventional landing patterns consist of hexagons and circular patterns of various diameters and thicknesses arranged in them. The hexagons can determine the landing angle error of the farther copter, and the round radius and thickness are used to identify the center of the landing pad. In addition, the approximate height of the multi-copter can be determined using the size and thickness of the diameter.

이 방법은 멀티콥터에 가까이 접근해도 원형 무늬의 개수와 중심을 통해 멀티콥터를 가이드할 수 있지만, 6각형이 카메라에서 사라지는 순간 xy축 판단이 불가능하여 각도오차를 정확히 제어할 수 없다는 단점을 가지고 있다. 정확한 각도 정렬은 멀터콥터의 정확한 착륙이나 도킹에 필수적인 기술이다.Although this method can guide the multi-copter through the number and center of the circular pattern even if it approaches the multi-copter, it can not control the angle error exactly because the xy axis can not be judged when the hexagonal disappears from the camera . Accurate angular alignment is an essential technique for correct landing or docking of a Multercopter.

- 특징점과 라벨링을 이용한 세그멘테이션(Segmentation) 및 상태 파악- Segmentation and status using feature points and labeling

기존의 착륙 패드의 패턴을 이용한 영상 처리는 임계값(Threshold)와 히스토그램(Histogram)을 통해 착륙 패턴 전체를 확인하고, Histogram, 라벨링(Labelling), 특징점 검출(Feature Point Detection) 등 이미지 처리를 통해 멀티콥터의 현재 상태를 체크하여 6축 자세 제어를 하는 방법이다. 이러한 방법의 문제점은 비행체가 착륙 패드에 근접 시 더 이상 착륙 패드의 이미지를 획득하여 분석하는 것이 불가능함으로 인하여, 정밀 착륙에 한계를 지니고 있다. The image processing using the pattern of the landing pad in the past confirms the entire landing pattern through the threshold and the histogram and the image processing such as histogram, labeling, feature point detection, It is a method to control the 6-axis attitude by checking the current state of the copter. The problem with this method is that it is impossible to obtain and analyze images of the landing pad any more when the aircraft is close to the landing pad, which limits the precision landing.

일반적으로 이러한 패턴과 영상 처리 방법은 5cm ~ 10cm의 착륙 정밀도를 보여 준다. 정밀 도킹에 필요한 정밀도가 밀리미터인 점을 착안하면, 이러한 종전 기술은 적용에 한계가 있다. 뿐만 아니라, 영상 처리 과정이 복잡하여, 실시간 처리를 위해서는 고가의 프로세서를 사용해야 하는 단점도 가지고 있다.Typically, these patterns and image processing methods show landing accuracy from 5 cm to 10 cm. When considering the precision required for precision docking in millimeters, these conventional techniques have limited application. In addition, the image processing process is complicated and has a disadvantage in that an expensive processor must be used for real-time processing.

그 외에도 다양한 착륙 패턴과 그와 결합한 영상처리 알고리즘이 제안되었지만, 멀티콥터의 정밀 착륙 또는 도킹을 위한 위치 정밀도가 밀리미터인 점을 고려하면 이러한 사양을 만족시키기 위한 패턴으로는 부족한 상황이다.In addition, various landing patterns and image processing algorithms combined with the landing patterns have been proposed. However, considering the fact that the position accuracy for the precise landing or docking of the multicopter is millimeter, it is not enough to satisfy these specifications.

관련 선행기술로는 대한민국 등록특허공보 제10-1140763호(발명의 명칭: 무인 비행체 착륙기, 등록일자: 2012년 4월 20일)가 있다.
A related prior art is Korean Patent Registration No. 10-1140763 entitled " unmanned aerial vehicle landing gear, registration date: April 20, 2012 ".

본 발명의 일 실시예는 착륙 패턴 인식 및 영상 처리 기술을 이용하여 멀티콥터의 정밀 착륙을 가이드할 수 있는 멀티콥터 착륙 가이드 시스템 및 방법을 제공한다.
One embodiment of the present invention provides a multi-copter landing guide system and method capable of guiding the precision landing of a multi-copter using landing pattern recognition and image processing techniques.

본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
The problems to be solved by the present invention are not limited to the above-mentioned problem (s), and another problem (s) not mentioned can be clearly understood by those skilled in the art from the following description.

본 발명의 일 실시예에 따른 멀티콥터 착륙 가이드 시스템은 카메라를 통해 착륙 패드를 촬영하여 상기 착륙 패드의 착륙 패턴에 대한 이미지를 획득하는 이미지 촬영부; 상기 이미지로부터 제1 착륙 패턴을 탐색하고, 상기 탐색된 제1 착륙 패턴을 제1 영상 처리하는 영상 처리부; 및 상기 제1 영상 처리의 결과에 기초하여, 상기 제1 착륙 패턴의 중심과 상기 카메라의 중심이 정렬되도록 멀티콥터를 이동 및 하강시키는 비행 제어부를 포함하고, 상기 영상 처리부는 상기 멀티콥터의 하강에 따라 상기 이미지로부터 제2 착륙 패턴을 탐색하고, 상기 탐색된 제2 착륙 패턴을 단계적으로 제2 영상 처리하여 상기 이미지의 가로세로 축과 상기 제2 착륙 패턴의 가로세로 축이 정렬되도록 오차를 보정하며, 상기 비행 제어부는 상기 제2 영상 처리의 결과에 기초하여, 상기 멀티콥터가 상기 제2 착륙 패턴의 착륙 중심점에 착륙하도록 상기 멀티콥터의 하강을 제어할 수 있다.The multi-copter landing guide system according to an embodiment of the present invention includes an image photographing unit photographing a landing pad through a camera to acquire an image of a landing pattern of the landing pad; An image processing unit for searching for a first landing pattern from the image and for performing a first image processing on the searched first landing pattern; And a flight controller for moving and lowering the multi-copter so that the center of the first landing pattern and the center of the camera are aligned based on a result of the first image processing, A second landing pattern is searched for from the image, a second image processing is performed on the searched second landing pattern step by step, and the error is corrected so that the horizontal and vertical axes of the image and the horizontal and vertical axes of the second landing pattern are aligned The flight control unit may control the descent of the multicoperator so that the multicoperator landes at a landing center point of the second landing pattern based on a result of the second image processing.

상기 제1 착륙 패턴은 검정색의 원형 패턴인 것이 바람직하다.The first landing pattern is preferably a black circular pattern.

상기 영상 처리부는 임계값에 기반한 영상 이진화 처리를 통해 상기 제1 착륙 패턴을 탐색할 수 있다.The image processing unit may search for the first landing pattern through an image binarization process based on a threshold value.

상기 영상 처리부는 상기 제1 착륙 패턴의 탐색 시, 상기 제2 착륙 패턴을 모두 검정색으로 처리할 수 있다.The image processing unit may process all of the second landing patterns into black when the first landing pattern is searched.

상기 영상 처리부는 상기 멀티콥터의 하강에 따라, 상기 원형 착륙 패턴의 지름 크기에 대응하는 픽셀 수를 체크하고, 상기 픽셀 수가 기준 픽셀 수를 초과하는 경우, 상기 이미지로부터 상기 제2 착륙 패턴을 탐색할 수 있다.The image processing unit checks the number of pixels corresponding to the diameter of the circular landing pattern in accordance with the descent of the multicopter, and searches the second landing pattern from the image when the number of pixels exceeds the reference number of pixels .

상기 제2 착륙 패턴은 서로 다른 색상 및 크기로 이루어진 적어도 3개의 십자가 패턴이 상기 착륙 중심점을 기준으로 중첩되어 형성될 수 있다.The second landing pattern may be formed by overlapping at least three cross patterns of different colors and sizes with reference to the landing center point.

상기 제2 착륙 패턴은 상기 적어도 3개의 십자가 패턴 중 가장 큰 크기를 가지며 제1 색상으로 이루어진 제1 십자가 패턴; 상기 제1 십자가 패턴보다 작은 크기를 가지며 상기 제1 색상과는 다른 제2 색상으로 이루어진 제2 십자가 패턴; 및 상기 제2 십자가 패턴보다 작은 크기를 가지며 상기 제1 및 제2 색상과는 다른 제3 색상으로 이루어진 제3 십자가 패턴을 포함할 수 있다.Wherein the second landing pattern comprises a first cross pattern having a largest size among the at least three cross patterns and made of a first color; A second cross pattern having a size smaller than the first cross pattern and having a second color different from the first color; And a third cross pattern having a smaller size than the second cross pattern and having a third color different from the first and second colors.

상기 영상 처리부는 상기 제2 착륙 패턴의 탐색 시, 상기 제1 십자가 패턴, 상기 제2 십자가 패턴 및 상기 제3 십자가 패턴 순으로 탐색하며, 각 십자가 패턴의 탐색 시마다 상기 제2 영상 처리를 통해 상기 이미지의 가로세로 축과 상기 제2 착륙 패턴의 가로세로 축이 정렬되도록 오차를 보정할 수 있다.Wherein the image processing unit searches for the first land pattern in the order of the first cross pattern, the second cross pattern and the third cross pattern, and searches the cross pattern for each of the cross patterns by the second image processing, And the horizontal and vertical axes of the first and second landing patterns are aligned with each other.

상기 제1 십자가 패턴은 빨간색으로 이루어진 레드(RED) 십자가 패턴이고, 상기 제2 십자가 패턴은 녹색으로 이루어진 그린(GREEN) 십자가 패턴이며, 상기 제3 십자가 패턴은 파란색으로 이루어진 블루(BLUE) 십자가 패턴인 것이 바람직하다.Wherein the first cross pattern is a red cross pattern with red, the second cross pattern is a green cross pattern with green, and the third cross pattern is a BLUE cross pattern with blue .

상기 영상 처리부는 상기 제1 십자가 패턴의 탐색 시, 상기 제1 착륙 패턴을 상기 제1 착륙 패턴을 둘러싼 배경의 색상과 동일한 색으로 처리하고, 상기 제2 십자가 패턴 및 상기 제3 십자가 패턴을 모두 상기 제1 색상으로 처리하며, 상기 제2 십자가 패턴의 탐색 시, 상기 제1 십자가 패턴을 상기 배경의 색상과 동일한 색으로 처리하고, 상기 제3 십자가 패턴을 상기 제2 색상으로 처리하며, 상기 제3 십자가 패턴의 탐색 시, 상기 제2 십자가 패턴을 상기 배경의 색상과 동일한 색으로 처리할 수 있다.Wherein the image processing unit processes the first landing pattern into the same color as that of the background surrounding the first landing pattern when the first cross pattern is searched for and the second cross pattern and the third cross pattern Processing the first cross pattern into a first color, processing the first cross pattern to a color the same as the background color, and processing the third cross pattern into the second color when searching for the second cross pattern, When searching for a cross pattern, the second cross pattern can be processed to have the same color as the background color.

상기 영상 처리부는 상기 제1 십자가 패턴의 탐색 후에, 상기 이미지에서 상기 제1 십자가 패턴의 크기가 기준 픽셀 수를 초과하는 경우, 상기 제2 십자가 패턴을 탐색하고, 상기 제2 십자가 패턴의 탐색 후에, 상기 이미지에서 상기 제2 십자가 패턴의 크기가 상기 기준 픽셀 수를 초과하는 경우, 상기 제3 십자가 패턴을 탐색할 수 있다.Wherein the image processing unit searches the second cross pattern when the size of the first cross pattern in the image exceeds the reference number of pixels after the search of the first cross pattern and after the search of the second cross pattern, If the size of the second cross pattern exceeds the reference number of pixels in the image, the third cross pattern can be searched.

여기서, 상기 이미지는 상기 멀티콥터의 하강에 연동하여, 상기 카메라를 통해 새로 촬영된 갱신 이미지를 나타낼 수 있다.Here, the image may indicate an update image newly photographed through the camera in conjunction with the descent of the multi-copter.

본 발명의 일 실시예에 따른 멀티콥터 착륙 가이드 방법은 멀티콥터 착륙 가이드 시스템의 이미지 촬영부에서, 카메라를 통해 착륙 패드를 촬영하여 상기 착륙 패드의 착륙 패턴에 대한 이미지를 획득하는 단계; 상기 멀티콥터 착륙 가이드 시스템의 영상 처리부에서, 상기 이미지로부터 제1 착륙 패턴을 탐색하는 단계; 상기 영상 처리부에서, 상기 탐색된 제1 착륙 패턴을 제1 영상 처리하는 단계; 상기 멀티콥터 착륙 가이드 시스템의 비행 제어부에서, 상기 제1 영상 처리의 결과에 기초하여, 상기 제1 착륙 패턴의 중심과 상기 카메라의 중심이 정렬되도록 멀티콥터를 이동 및 하강시키는 단계; 상기 영상 처리부에서, 상기 멀티콥터의 하강에 따라 상기 이미지로부터 제2 착륙 패턴을 탐색하는 단계; 상기 영상 처리부에서, 상기 탐색된 제2 착륙 패턴을 단계적으로 제2 영상 처리하여 상기 이미지의 가로세로 축과 상기 제2 착륙 패턴의 가로세로 축이 정렬되도록 오차를 보정하는 단계; 및 상기 비행 제어부에서, 상기 제2 영상 처리의 결과에 기초하여, 상기 멀티콥터가 상기 제2 착륙 패턴의 착륙 중심점에 착륙하도록 상기 멀티콥터의 하강을 제어하는 단계를 포함한다.The multi-copter landing guide method according to an embodiment of the present invention includes the steps of photographing a landing pad through a camera in an image capturing unit of a multi-copter landing guide system to obtain an image of a landing pattern of the landing pad; Searching for a first landing pattern from the image in an image processing unit of the multi-copter landing guide system; Performing a first image processing on the searched first landing pattern in the image processing unit; Moving and lowering the multi-copter so that the center of the first landing pattern and the center of the camera are aligned on the basis of a result of the first image processing in the flight control unit of the multi-copter landing guide system; Searching for a second landing pattern from the image according to the descent of the multicoperator in the image processing unit; Correcting the error so that the horizontal and vertical axes of the image and the horizontal and vertical axes of the second landing pattern are aligned in the image processing unit by stepwise performing a second image processing on the searched second landing pattern; And controlling the descent of the multi-copter so that the multi-copter landing at a landing center point of the second landing pattern, based on a result of the second image processing, in the flight control unit.

상기 제1 착륙 패턴은 검정색의 원형 패턴인 것이 바람직하다.The first landing pattern is preferably a black circular pattern.

상기 제1 착륙 패턴을 탐색하는 단계는 임계값에 기반한 영상 이진화 처리를 통해 상기 제1 착륙 패턴을 탐색하는 단계를 포함할 수 있다.The searching of the first landing pattern may include searching the first landing pattern through an image binarization process based on a threshold value.

상기 제1 영상 처리하는 단계는 상기 제2 착륙 패턴을 모두 검정색으로 처리하는 단계를 포함할 수 있다.The step of processing the first image may include processing all of the second landing patterns into black.

상기 제2 착륙 패턴을 탐색하는 단계는 상기 멀티콥터의 하강에 따라, 상기 원형 착륙 패턴의 지름 크기에 대응하는 픽셀 수를 체크하는 단계; 및 상기 픽셀 수가 기준 픽셀 수를 초과하는 경우, 상기 이미지로부터 상기 제2 착륙 패턴을 탐색하는 단계를 포함할 수 있다.The step of searching for the second landing pattern may include: checking the number of pixels corresponding to the diameter of the circular landing pattern as the multi-copter descends; And searching the second landing pattern from the image if the number of pixels exceeds a reference number of pixels.

상기 제2 착륙 패턴은 서로 다른 색상 및 크기로 이루어진 적어도 3개의 십자가 패턴이 상기 착륙 중심점을 기준으로 중첩되어 형성될 수 있다.The second landing pattern may be formed by overlapping at least three cross patterns of different colors and sizes with reference to the landing center point.

상기 제2 착륙 패턴은 상기 적어도 3개의 십자가 패턴 중 가장 큰 크기를 가지며 제1 색상으로 이루어진 제1 십자가 패턴; 상기 제1 십자가 패턴보다 작은 크기를 가지며 상기 제1 색상과는 다른 제2 색상으로 이루어진 제2 십자가 패턴; 및 상기 제2 십자가 패턴보다 작은 크기를 가지며 상기 제1 및 제2 색상과는 다른 제3 색상으로 이루어진 제3 십자가 패턴을 포함할 수 있다.Wherein the second landing pattern comprises a first cross pattern having a largest size among the at least three cross patterns and made of a first color; A second cross pattern having a size smaller than the first cross pattern and having a second color different from the first color; And a third cross pattern having a smaller size than the second cross pattern and having a third color different from the first and second colors.

상기 제2 착륙 패턴을 탐색하는 단계는 상기 제2 착륙 패턴의 탐색 시, 상기 제1 십자가 패턴, 상기 제2 십자가 패턴 및 상기 제3 십자가 패턴 순으로 탐색하는 단계를 포함하고, 상기 오차를 보정하는 단계는 각 십자가 패턴의 탐색 시마다 상기 제2 영상 처리를 통해 상기 이미지의 가로세로 축과 상기 제2 착륙 패턴의 가로세로 축이 정렬되도록 오차를 보정하는 단계를 포함할 수 있다.Wherein the step of searching for the second landing pattern includes searching for the first landing pattern in the order of the first cross pattern, the second cross pattern and the third cross pattern, May include correcting the error so that the horizontal and vertical axes of the image and the horizontal and vertical axes of the second landing pattern are aligned through the second image processing each time the cross pattern is searched.

상기 오차를 보정하는 단계는 상기 제1 십자가 패턴의 탐색 시, 상기 제1 착륙 패턴을 상기 제1 착륙 패턴을 둘러싼 배경의 색상과 동일한 색으로 처리하고, 상기 제2 십자가 패턴 및 상기 제3 십자가 패턴을 모두 상기 제1 색상으로 처리하는 단계; 상기 제2 십자가 패턴의 탐색 시, 상기 제1 십자가 패턴을 상기 배경의 색상과 동일한 색으로 처리하고, 상기 제3 십자가 패턴을 상기 제2 색상으로 처리하는 단계; 및 상기 제3 십자가 패턴의 탐색 시, 상기 제2 십자가 패턴을 상기 배경의 색상과 동일한 색으로 처리하는 단계를 포함할 수 있다.Wherein the step of correcting the error includes processing the first landing pattern to the same color as that of the background surrounding the first landing pattern when the first cross pattern is searched and the second cross pattern and the third cross pattern To the first color; Processing the first cross pattern to the same color as the background color and processing the third cross pattern into the second color when searching for the second cross pattern; And processing the second cross pattern with the same color as the background color when searching for the third cross pattern.

상기 제2 착륙 패턴을 탐색하는 단계는 상기 제1 십자가 패턴의 탐색 후에, 상기 이미지에서 상기 제1 십자가 패턴의 크기가 기준 픽셀 수를 초과하는 경우, 상기 제2 십자가 패턴을 탐색하는 단계; 상기 제2 십자가 패턴의 탐색 후에, 상기 이미지에서 상기 제2 십자가 패턴의 크기가 상기 기준 픽셀 수를 초과하는 경우, 상기 제3 십자가 패턴을 탐색하는 단계를 포함할 수 있다.Wherein the searching for the second landing pattern includes searching for the second cross pattern when the size of the first cross pattern in the image exceeds the reference number of pixels after the search for the first cross pattern; And searching for the third cross pattern when the size of the second cross pattern in the image exceeds the reference number of pixels after the search for the second cross pattern.

여기서, 상기 이미지는 상기 멀티콥터의 하강에 연동하여, 상기 카메라를 통해 새로 촬영된 갱신 이미지를 나타낼 수 있다.
Here, the image may indicate an update image newly photographed through the camera in conjunction with the descent of the multi-copter.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
The details of other embodiments are included in the detailed description and the accompanying drawings.

본 발명의 일 실시예에 따르면, 착륙 패턴 인식 및 영상 처리 기술을 이용하여 멀티콥터의 정밀 착륙을 가이드할 수 있다.
According to an embodiment of the present invention, accurate landing of a multi-copter can be guided using landing pattern recognition and image processing techniques.

도 1은 본 발명의 일 실시예에 따른 멀티콥터 착륙 가이드 시스템 및 방법에 적용되는 착륙 패턴의 이미지를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 멀티콥터 착륙 가이드 시스템을 설명하기 위해 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따라 제1 착륙 패턴을 영상 처리한 결과를 도시한 도면이다.
도 4 내지 도 7은 본 발명의 일 실시예에 따른 멀티콥터 착륙 가이드 방법을 설명하기 위해 도시한 흐름도이다.1 is a view showing an image of a landing pattern applied to a multi-copter landing guide system and method according to an embodiment of the present invention.
2 is a block diagram illustrating a multi-copter landing guide system according to an embodiment of the present invention.
3 is a diagram illustrating a result of image processing of a first landing pattern according to an embodiment of the present invention.
4 to 7 are flowcharts for explaining a multi-copter landing guide method according to an embodiment of the present invention.

본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
BRIEF DESCRIPTION OF THE DRAWINGS The advantages and / or features of the present invention, and how to accomplish them, will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. It should be understood, however, that the invention is not limited to the disclosed embodiments, but is capable of many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 일 실시예에서, 멀티콥터의 착륙 지점을 나타내는 착륙 패드의 착륙 패턴은 제1 착륙 패턴 및 제2 착륙 패턴을 포함하여 구성된다.In one embodiment of the present invention, the landing pattern of the landing pad, representing the landing point of the multicopter, comprises a first landing pattern and a second landing pattern.

상기 제1 착륙 패턴은 사각형의 배경 내에 존재하는 원형의 패턴으로서 검정색으로 형성될 수 있다.The first landing pattern may be formed in black as a circular pattern existing within the background of the rectangle.

상기 제2 착륙 패턴은 서로 다른 색상 및 크기로 이루어진 적어도 3개의 십자가 패턴이 상기 착륙 중심점을 기준으로 중첩되어 형성될 수 있다.The second landing pattern may be formed by overlapping at least three cross patterns of different colors and sizes with reference to the landing center point.

즉, 상기 제2 착륙 패턴은 상기 적어도 3개의 십자가 패턴 중 가장 큰 크기를 가지며 제1 색상으로 이루어진 제1 십자가 패턴, 상기 제1 십자가 패턴보다 작은 크기를 가지며 상기 제1 색상과는 다른 제2 색상으로 이루어진 제2 십자가 패턴, 및 상기 제2 십자가 패턴보다 작은 크기를 가지며 상기 제1 및 제2 색상과는 다른 제3 색상으로 이루어진 제3 십자가 패턴을 포함하여 구성될 수 있다.That is, the second landing pattern may include a first cross pattern having the largest size among the at least three cross patterns and having a first color, a second cross pattern having a size smaller than the first cross pattern, And a third cross pattern having a size smaller than the second cross pattern and of a third color different from the first and second colors.

이하에서는 도 1을 참조하여 상기 착륙 패턴에 대해 더욱 구체적으로 설명한다. 도 1은 본 발명의 일 실시예에 따른 멀티콥터 착륙 가이드 시스템 및 방법에 적용되는 착륙 패턴의 이미지를 도시한 도면이다.Hereinafter, the landing pattern will be described in more detail with reference to FIG. 1 is a view showing an image of a landing pattern applied to a multi-copter landing guide system and method according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 상기 착륙 패턴(100)은 흰색 배경(105)에 검정색 원형 패턴(110)이 있고, 그 안에 점진적으로 크기와 두께가 작아지는 십자가 패턴(120)이 설계되어 있다. 이러한 착륙 패턴(100)은 멀티콥터가 근접할수록 점점 더 정확한 중심과 각도 오차를 추출할 수 있고, 정밀 착륙 및 도킹을 유도할 수 있도록 한다.As shown in FIG. 1, the landing pattern 100 has a black circular pattern 110 on a white background 105, and a cross pattern 120 is designed in which the size and thickness gradually decrease. This landing pattern 100 allows for more accurate center and angular error extraction as the multi-copter approaches, and can lead to precise landing and docking.

상기 십자가 패턴(120)에 대해 보다 구체적으로 설명하면, 상기 십자가 패턴(120)은 레드(RED) 십자가 패턴(122), 그린(GREEN) 십자가 패턴(124), 및 블루(BLUE) 십자가 패턴(126)을 포함하여 이루어질 수 있다.More specifically, the cross pattern 120 includes a red cross pattern 122, a green cross pattern 124, and a blue cross pattern 126 ). ≪ / RTI >

상기 RED 십자가 패턴(122)은 상기 3개의 십자가 패턴들(122, 124, 126) 중에서 가장 큰 크기를 가지며, 빨간색으로 이루어질 수 있다.The RED cross pattern 122 has the largest size among the three cross patterns 122, 124, and 126, and may be red.

상기 GREEN 십자가 패턴(124)은 상기 RED 십자가 패턴(122) 내에 형성되며, 상기 3개의 십자가 패턴들(122, 124, 126) 중에서 중간 크기를 가지며, 녹색으로 이루어질 수 있다.The GREEN cross pattern 124 is formed in the RED cross pattern 122 and is medium in size among the three cross patterns 122, 124, 126 and may be green.

상기 BLUE 십자가 패턴(126)은 상기 GREEN 십자가 패턴(124) 내에 형성되며, 상기 3개의 십자가 패턴들(122, 124, 126) 중에서 가장 작은 크기를 가지며, 파란색으로 이루어질 수 있다.
The BLUE cross pattern 126 is formed in the GREEN cross pattern 124 and may be the smallest of the three cross patterns 122, 124, 126 and may be blue.

도 2는 본 발명의 일 실시예에 따른 멀티콥터 착륙 가이드 시스템을 설명하기 위해 도시한 블록도이다.2 is a block diagram illustrating a multi-copter landing guide system according to an embodiment of the present invention.

도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 멀티콥터 착륙 가이드 시스템(200)은 이미지 촬영부(210), 영상 처리부(220), 비행 제어부(230), 및 제어부(240)를 포함할 수 있다.1 and 2, a multi-copter landing guide system 200 according to an exemplary embodiment of the present invention includes an image photographing unit 210, an image processing unit 220, a flight control unit 230, . ≪ / RTI >

상기 이미지 촬영부(210)는 카메라를 통해 착륙 패드를 촬영하여 상기 착륙 패드의 착륙 패턴(100)에 대한 이미지를 획득한다.The image photographing unit 210 photographs a landing pad through a camera to obtain an image of the landing pad 100 of the landing pad.

상기 영상 처리부(220)는 상기 이미지로부터 제1 착륙 패턴, 즉 검정색의 원형 패턴(110)을 탐색한다. 이때, 상기 영상 처리부(220)는 임계값에 기반한 영상 이진화 처리(Thresholding & Binarization)를 통해 상기 검정색의 원형 패턴(110)을 탐색할 수 있다.The image processing unit 220 searches for a first landing pattern, i.e., a black circular pattern 110, from the image. At this time, the image processing unit 220 can search for the black circular pattern 110 through an image binarization process based on a threshold value.

상기 영상 처리부(220)는 상기 탐색된 제1 착륙 패턴을 제1 영상 처리한다. 즉, 상기 영상 처리부(220)는 도 3에 도시된 바와 같이 상기 검정색의 원형 패턴(110)을 탐색 시, 상기 착륙 패턴(100)에서 제2 착륙 패턴에 해당하는 십자가 패턴(120)을 모두 검정색으로 처리할 수 있다.The image processing unit 220 processes the first landing pattern that is searched for the first image. 3, when the black pattern 110 is detected, the image processing unit 220 determines that all of the cross patterns 120 corresponding to the second landing pattern in the landing pattern 100 are black . ≪ / RTI >

다시 말해, 상기 영상 처리부(220)는 흰색 배경(105)을 제외한 나머지 패턴들(110, 120)을 모두 검정색으로 처리할 수 있다.In other words, the image processing unit 220 may process all the patterns 110 and 120 except for the white background 105 as black.

상기 영상 처리부(220)는 상기 멀티콥터의 하강에 따라 상기 이미지로부터 상기 제2 착륙 패턴을 탐색한다. 구체적으로, 후술하는 상기 비행 제어부(230)에 의해 상기 멀티콥터의 이동 및 하강이 이루어지면, 상기 영상 처리부(220)는 상기 이미지로부터 상기 제2 착륙 패턴을 탐색할 수 있다.The image processor 220 searches for the second landing pattern from the image according to the descent of the multicoperator. Specifically, when the multi-copter is moved and descended by the flight control unit 230 described below, the image processing unit 220 can search for the second landing pattern from the image.

이때, 상기 영상 처리부(220)는 상기 멀티콥터의 하강에 따라, 상기 원형 착륙 패턴의 지름 크기에 대응하는 픽셀 수를 체크할 수 있다. 상기 체크 결과, 상기 픽셀 수가 기준 픽셀 수를 초과하는 경우, 상기 영상 처리부(220)는 상기 이미지로부터 상기 제2 착륙 패턴을 탐색할 수 있다.At this time, the image processing unit 220 may check the number of pixels corresponding to the diameter of the circular landing pattern as the multicoperator descends. As a result of the check, if the number of pixels exceeds the reference number of pixels, the image processing unit 220 may search for the second landing pattern from the image.

반면에, 상기 체크 결과, 상기 픽셀 수가 기준 픽셀 수보다 작거나 같은 경우, 상기 영상 처리부(220)는 상기 멀티콥터의 이동 및 하강이 더 이루어진 다음에 상기 이미지로부터 상기 제2 착륙 패턴을 탐색할 수 있다.On the other hand, if it is determined that the number of pixels is smaller than or equal to the reference number of pixels, the image processing unit 220 may search for the second landing pattern from the image after the moving and falling of the multicopter have.

상기 영상 처리부(220)는 상기 탐색된 제2 착륙 패턴을 단계적으로 제2 영상 처리하여 상기 이미지의 가로세로 축과 상기 제2 착륙 패턴의 가로세로 축이 정렬되도록 오차를 보정한다.The image processing unit 220 processes the second landing pattern in a stepwise manner to correct the error so that the horizontal and vertical axes of the image and the horizontal and vertical axes of the second landing pattern are aligned.

즉, 상기 영상 처리부(220)는 상기 제2 착륙 패턴의 탐색 시, 상기 제1 십자가 패턴, 상기 제2 십자가 패턴 및 상기 제3 십자가 패턴 순으로 탐색하며, 각 십자가 패턴의 탐색 시마다 상기 제2 영상 처리를 통해 상기 이미지의 가로세로 축과 상기 제2 착륙 패턴의 가로세로 축이 정렬되도록 오차를 보정할 수 있다.That is, when searching for the second landing pattern, the image processing unit 220 searches for the first cross pattern, the second cross pattern, and the third cross pattern in the order of the cross pattern, The error can be corrected so that the horizontal and vertical axes of the image are aligned with the horizontal and vertical axes of the second landing pattern.

예를 들면, 상기 영상 처리부(220)는 상기 RED 십자가 패턴(122), 상기 GREEN 십자가 패턴(124), 및 상기 BLUE 십자가 패턴(126) 순으로 탐색할 수 있으며, 각 패턴의 탐색 시 오차 보정을 위한 상기 제2 영상 처리를 수행할 수 있다.For example, the image processing unit 220 can search for the RED cross pattern 122, the GREEN cross pattern 124, and the BLUE cross pattern 126 in order. The second image processing may be performed.

이를 위해, 상기 영상 처리부(220)는 상기 제1 십자가 패턴의 탐색 시, 상기 제1 착륙 패턴을 상기 제1 착륙 패턴을 둘러싼 배경의 색상과 동일한 색으로 처리하고, 상기 제2 십자가 패턴 및 상기 제3 십자가 패턴을 모두 상기 제1 색상으로 처리할 수 있다.For this, the image processing unit 220 processes the first landing pattern into the same color as that of the background surrounding the first landing pattern when searching for the first cross pattern, 3 < / RTI > cross pattern to the first color.

도 1의 착륙 패턴(100)을 예로 들어 설명하면, 상기 영상 처리부(220)는 상기 RED 십자가 패턴(122)을 탐색 시, 검정색의 원형 패턴(110)을 흰색으로 처리하고, 상기 GREEN 십자가 패턴(124) 및 상기 BLUE 십자가 패턴(126)을 모두 빨간색으로 처리할 수 있다. 즉, 상기 영상 처리부(220)는 상기 십자가 패턴(120) 전체를 빨간색으로 처리할 수 있다.1, the image processing unit 220 processes a black circular pattern 110 in white and searches the RED cross pattern 122 for a GREEN cross pattern (FIG. 1) 124 and the BLUE cross pattern 126 may all be processed in red. That is, the image processing unit 220 may process the entire cross pattern 120 in red.

다음으로, 상기 영상 처리부(220)는 상기 제2 십자가 패턴의 탐색 시, 상기 제1 십자가 패턴을 상기 배경의 색상과 동일한 색으로 처리하고, 상기 제3 십자가 패턴을 상기 제2 색상으로 처리할 수 있다.Next, the image processing unit 220 may process the first cross pattern into the same color as the background color and process the third cross pattern into the second color when searching for the second cross pattern have.

도 1의 착륙 패턴(100)을 예로 들어 설명하면, 상기 영상 처리부(220)는 상기 GREEN 십자가 패턴(124)을 탐색 시, 상기 RED 십자가 패턴(122)을 흰색으로 처리하고, 상기 BLUE 십자가 패턴(126)을 녹색으로 처리할 수 있다.1, the image processing unit 220 processes the RED cross pattern 122 in white and searches for the BLUE cross pattern 122 in the search for the GREEN cross pattern 124. For example, 126 may be treated as green.

이와 같이, 본 발명의 일 실시예에서는 상기 제2 착륙 패턴의 탐색 시, 상기 착륙 패턴 전체(100)와 상기 십자가 패턴(120) 간의 오차 보정을 위한 제2 영상 처리를 단계적으로 실시함으로써, 상기 멀티콥터가 착륙 중심점에 정확히 착륙할 수 있는 환경을 마련할 수 있다.As described above, in the embodiment of the present invention, when the second landing pattern is searched, the second image processing for error correction between the entire landing pattern 100 and the cross pattern 120 is performed step by step, It is possible to provide an environment in which the copter can land correctly at the landing center point.

한편, 상기 영상 처리부(220)는 상기 제1 십자가 패턴의 탐색 후에, 상기 이미지에서 상기 제1 십자가 패턴의 크기가 기준 픽셀 수를 초과하는 경우, 상기 제2 십자가 패턴을 탐색하고, 상기 제2 십자가 패턴의 탐색 후에, 상기 이미지에서 상기 제2 십자가 패턴의 크기가 상기 기준 픽셀 수를 초과하는 경우, 상기 제3 십자가 패턴을 탐색할 수 있다.The image processor 220 searches for the second cross pattern when the size of the first cross pattern exceeds the reference number of pixels in the image after the search for the first cross pattern, After the search of the pattern, if the size of the second cross pattern in the image exceeds the reference number of pixels, the third cross pattern can be searched.

도 1의 착륙 패턴을 예로 들어 설명하면, 상기 영상 처리부(220)는 RED 십자가 패턴(122)의 탐색 후에, 상기 이미지(상기 멀티콥터의 하강에 연동하여, 상기 카메라를 통해 새로 촬영된 갱신 이미지)에서 상기 RED 십자가 패턴(122)의 크기를 기준 픽셀 수와 비교할 수 있다. 상기 비교 결과, 상기 RED 십자가 패턴(122)의 크기에 해당하는 픽셀 수가 상기 기준 픽셀 수를 초과하면, 상기 영상 처리부(220)는 상기 GREEN 십자가 패턴(124)을 탐색할 수 있다.1, the image processing unit 220 searches the RED cross pattern 122 for an image (an updated image newly photographed through the camera in conjunction with the descent of the multicoperator) The size of the RED cross pattern 122 may be compared with the number of reference pixels. As a result of the comparison, if the number of pixels corresponding to the size of the RED cross pattern 122 exceeds the number of reference pixels, the image processing unit 220 can search for the GREEN cross pattern 124. [

또한, 상기 영상 처리부(220)는 GREEN 십자가 패턴(124)의 탐색 후에, 상기 이미지(상기 멀티콥터의 하강에 연동하여, 상기 카메라를 통해 새로 촬영된 갱신 이미지)에서 상기 GREEN 십자가 패턴(124)의 크기를 기준 픽셀 수와 비교할 수 있다. 상기 비교 결과, 상기 GREEN 십자가 패턴(124)의 크기에 해당하는 픽셀 수가 상기 기준 픽셀 수를 초과하면, 상기 영상 처리부(220)는 상기 BLUE 십자가 패턴(126)을 탐색할 수 있다.After the search of the GREEN cross pattern 124, the image processing unit 220 extracts the GREEN cross pattern 124 from the image (an updated image newly captured through the camera in conjunction with the descent of the multicoperator) The size can be compared with the reference pixel number. As a result of the comparison, if the number of pixels corresponding to the size of the GREEN cross pattern 124 exceeds the number of reference pixels, the image processing unit 220 can search for the BLUE cross pattern 126. [

상기 비행 제어부(230)는 상기 제1 영상 처리의 결과에 기초하여, 상기 제1 착륙 패턴의 중심과 상기 카메라의 중심이 정렬되도록 멀티콥터를 이동 및 하강시킨다.The flight control unit 230 moves and lowers the multi-copter so that the center of the first landing pattern and the center of the camera are aligned based on the result of the first image processing.

즉, 상기 비행 제어부(230)는 상기 제1 영상 처리의 결과에 기초하여 검정색의 원형 패턴(모두 검정색으로 처리)을 통해 상기 멀티콥터가 상기 착륙 패드의 중심에 정렬되도록, 상기 멀티콥터의 중심 이동 및 하강을 제어할 수 있다.That is, the flight controller 230 controls the center of the multi-copter so that the multi-copter is aligned with the center of the landing pad through a black circle pattern (all processed in black) based on the result of the first image processing And the lowering can be controlled.

상기 비행 제어부(230)는 상기 제2 영상 처리의 결과에 기초하여, 상기 멀티콥터가 상기 제2 착륙 패턴의 착륙 중심점에 착륙하도록 상기 멀티콥터의 하강을 제어한다.The flight control unit 230 controls the descent of the multi-copter so that the multi-copter landing at the landing center point of the second landing pattern, based on the result of the second image processing.

즉, 상기 비행 제어부(230)는 상기 제2 영상 처리의 결과에 기초하여, 단계적으로 십자가 패턴(120)을 가장 큰 RED 십자가 패턴(122)부터 가장 작은 BLUE 십자가 패턴까지의 인식을 기반으로 한 오차 보정을 통해, 상기 멀티콥터가 착륙 중심점에 정확히 착륙하도록 상기 멀티콥터의 하강을 제어할 수 있다.That is, based on the result of the second image processing, the flight control unit 230 sequentially calculates the cross pattern 120 based on the recognition from the largest RED cross pattern 122 to the smallest BLUE cross pattern Through the correction, it is possible to control the descent of the multi-copter so that the multi-copter lands correctly at the landing center point.

상기 제어부(240)는 본 발명의 일 실시예에 따른 멀티콥터 착륙 가이드 시스템(200), 즉 상기 이미지 촬영부(210), 상기 영상 처리부(220), 상기 비행 제어부(230) 등의 동작을 전반적으로 제어할 수 있다.
The controller 240 controls the operation of the multi-copter landing guide system 200, that is, the image photographing unit 210, the image processing unit 220, the flight control unit 230, .

도 4 내지 도 7은 본 발명의 일 실시예에 따른 멀티콥터 착륙 가이드 방법을 설명하기 위해 도시한 흐름도이다.4 to 7 are flowcharts for explaining a multi-copter landing guide method according to an embodiment of the present invention.

먼저 도 2 및 도 4를 참조하면, 단계(410)에서 멀티콥터 착륙 가이드 시스템(200)의 비행 제어부(230)는 상기 멀티콥터의 GPS를 이용하여 상기 멀티콥터를 착륙 지점 부근으로 비행 제어할 수 있다.2 and 4, in step 410, the flight controller 230 of the multi-copter landing guide system 200 controls the multi-copter to fly close to the landing point using the GPS of the multi-copter. have.

다음으로, 단계(420)에서 상기 멀티콥터 착륙 가이드 시스템(200)의 이미지 촬영부(210)는 카메라를 통해 착륙 패드를 촬영하여 상기 착륙 패드의 착륙 패턴에 대한 이미지를 획득한다.Next, in step 420, the image capturing unit 210 of the multi-copter landing guide system 200 captures an image of the landing pad of the landing pad by capturing the landing pad through the camera.

다음으로, 단계(430)에서 상기 멀티콥터 착륙 가이드 시스템(200)의 영상 처리부(220)는 상기 이미지로부터 제1 착륙 패턴을 탐색한다.Next, in step 430, the image processing unit 220 of the multi-copter landing guide system 200 searches for a first landing pattern from the image.

다음으로, 단계(440)에서 상기 영상 처리부(220)는 상기 제1 착륙 패턴이 발견되었는지 여부를 판단할 수 있다.Next, in step 440, the image processing unit 220 may determine whether the first landing pattern is found.

상기 판단 결과, 상기 제1 착륙 패턴이 발견되지 않은 경우(440의 "아니오" 방향), 상기 단계(410)으로 리턴(Return)된다.As a result of the determination, if the first landing pattern is not found (No in step 440), the process returns to step 410.

반면, 상기 판단 결과, 상기 제1 착륙 패턴이 발견된 경우(440의 "예" 방향), 단계(450)에서 상기 영상 처리부(220)는 상기 탐색된 제1 착륙 패턴을 제1 영상 처리한다.On the other hand, if it is determined that the first landing pattern is found (Yes in step 440), the image processing unit 220 processes the first landing pattern in step 450. In step 450,

다음으로, 단계(460)에서 상기 비행 제어부(230)는 상기 제1 영상 처리의 결과에 기초하여, 상기 제1 착륙 패턴의 중심과 상기 카메라의 중심이 정렬되도록 멀티콥터를 이동 및 하강시킨다.Next, in step 460, the flight control unit 230 moves and lowers the multi-copter so that the center of the first landing pattern and the center of the camera are aligned based on the result of the first image processing.

다음으로, 다만, 상기 제1 착륙 패턴의 지름 크기에 대응하는 픽셀 수(Rb)가 기준 픽셀 수(Tb)보다 작거나 같은 경우(470의 "아니오" 방향), 상기 비행 제어부(230)는 상기 멀티콥터를 이동 및 하강시킨다.Next, if the number of pixels Rb corresponding to the diameter of the first landing pattern is less than or equal to the reference number of pixels Tb ("no" direction of 470), the flight control unit 230 Move and lower the multi-copter.

반면, 상기 제1 착륙 패턴의 지름 크기에 대응하는 픽셀 수(Rb)가 기준 픽셀 수(Tb)를 초과하는 경우(470의 "예" 방향), 도 5의 A 단계로 이동한다.On the other hand, if the number of pixels Rb corresponding to the diameter of the first landing pattern exceeds the reference number of pixels Tb (the "Yes" direction of 470), the process moves to step A of FIG.

즉, 도 2 및 도 5를 참조하면, 단계(510)에서 상기 영상 처리부(220)는 RED 십자가 패턴을 탐색한다.2 and 5, in step 510, the image processing unit 220 searches for a RED cross pattern.

다음으로, 단계(520)에서 상기 영상 처리부(220)는 상기 RED 십자가 패턴을 영상 처리한다.Next, in step 520, the image processing unit 220 processes the RED cross pattern image.

즉, 도 6을 참조하면, 상기 영상 처리부(220)는 단계(610)에서 검정색 원형 착륙 패턴을 흰색으로 처리하고, 단계(620)에서 GREEN 십자가 패턴 및 BLUE 십자가 패턴을 모두 빨간색으로 처리할 수 있다.6, the image processing unit 220 processes the black circular landing pattern to white in step 610, and processes the GREEN cross pattern and the BLUE cross pattern in red in step 620 .

다음으로, 단계(530)에서 상기 비행 제어부(230)는 상기 단계(520)에서의 영상 처리에 의한 오차 보정이 이루어지면, 상기 멀티콥터를 하강시킨다.Next, in step 530, when the error correction by the image processing in step 520 is performed, the flight control unit 230 lowers the multi-copter.

이때, 상기 RED 십자가 패턴의 크기에 해당하는 픽셀 수(Dr)가 기준 픽셀 수(Tr)보다 작거나 같으면(540의 "아니오" 방향), 상기 비행 제어부(230)는 상기 멀티콥터를 하강시킨다.At this time, if the number of pixels Dr corresponding to the size of the RED cross pattern is less than or equal to the reference pixel number Tr (the "no" direction of 540), the flight control unit 230 descends the multicoperator.

반면, 상기 RED 십자가 패턴의 크기에 해당하는 픽셀 수(Dr)가 기준 픽셀 수(Tr)를 초과하면(540의 "예" 방향), 단계(550)에서 상기 영상 처리부(220)는 상기 GREEN 십자가 패턴을 탐색한다.On the other hand, if the number of pixels Dr corresponding to the size of the RED cross pattern exceeds the reference number of pixels Tr (in the "YES" direction of 540), the image processing unit 220, in step 550, Search for patterns.

다음으로, 단계(560)에서 상기 영상 처리부(220)는 상기 탐색된 GREEN 십자가 패턴을 영상 처리한다.Next, in step 560, the image processing unit 220 performs image processing on the searched GREEN cross pattern.

즉, 도 7을 참조하면, 상기 영상 처리부(220)는 단계(710)에서 상기 RED 십자가 패턴을 흰색으로 처리하고, 단계(720)에서 상기 BLUE 십자가 패턴을 녹색으로 처리할 수 있다.7, the image processing unit 220 may process the RED cross pattern to white in step 710, and process the BLUE cross pattern in green in step 720. FIG.

다음으로, 단계(570)에서 상기 비행 제어부(230)는 상기 단계(560)에서의 영상 처리에 의한 오차 보정이 이루어지면, 상기 멀티콥터를 하강시킨다.Next, in step 570, when the error correction by the image processing in step 560 is performed, the flight control unit 230 lowers the multi-copter.

이때, 상기 GREEN 십자가 패턴의 크기에 해당하는 픽셀 수(Dg)가 기준 픽셀 수(Tg)보다 작거나 같으면(580의 "아니오" 방향), 상기 비행 제어부(230)는 상기 멀티콥터를 하강시킨다.At this time, if the number of pixels Dg corresponding to the size of the GREEN cross pattern is less than or equal to the reference number of pixels Tg (the "no" direction of 580), the flight control unit 230 causes the multi-copter to descend.

반면, 상기 GREEN 십자가 패턴의 크기에 해당하는 픽셀 수(Dg)가 기준 픽셀 수(Tg)를 초과하면(580의 "예" 방향), 단계(585)에서 상기 영상 처리부(220)는 상기 BLUE 십자가 패턴을 탐색한다.On the other hand, if the number of pixels Dg corresponding to the size of the GREEN cross pattern exceeds the reference number of pixels Tg (YES in 580), the image processing unit 220, in step 585, Search for patterns.

다음으로, 단계(590)에서 상기 영상 처리부(220)는 상기 탐색된 BLUE 십자가 패턴을 영상 처리한다.Next, in step 590, the image processing unit 220 processes the searched BLUE cross pattern.

즉, 상기 영상 처리부(220)는 상기 GREEN 십자가 패턴을 흰색으로 처리할 수 있다. 다시 말해, 상기 영상 처리부(220)는 상기 착륙 패턴의 이미지에서 상기 BLUE 십자가 패턴을 제외한 나머지 영역을 모두 흰색으로 처리할 수 있다.That is, the image processing unit 220 may process the GREEN cross pattern as white. In other words, the image processing unit 220 may process all the remaining regions except the BLUE cross pattern in the image of the landing pattern as white.

다음으로, 단계(595)에서 상기 비해 제어부(230)는 상기 단계(590)에서의 영상 처리에 의한 오차 보정이 이루어지면, 상기 멀티콥터를 하강시킨다.Next, in step 595, if the error correction by the image processing in step 590 is performed, the comparator controller 230 lowers the multi-copter.

이로써, 본 발명의 일 실시예에서는 제1 및 제2 착륙 패턴을 단계적 영상 처리를 통해 인식 및 보정하여 멀티콥터의 하강을 제어함으로써, 상기 멀티콥터가 착륙 패드의 중심에 정확히 착륙할 수 있도록 한다.
Thus, in one embodiment of the present invention, the first and second landing patterns are recognized and corrected through the step-by-step image processing to control the descent of the multi-copter so that the multi-copter can land correctly at the center of the landing pad.

실시예Example

1. 원형 패턴 탐색을 기반으로 하는 착륙 1. Landing based on circular pattern search 모드mode

상기 멀티콥터는 GPS를 이용하여 착륙 지점 부근으로 비행한 후, 카메라를 이용하여 1차적으로 검정색 원형 패턴을 검색한다. Thresholding과 Binarization을 이용하여 원형 패턴을 검색하는데, 여기에서 핵심은 RGB 십자가 패턴을 모두 검정색으로 인식하여 처리하는 것이다.The multi-copter uses the GPS to fly to the vicinity of the landing spot and then primarily searches for a black circle pattern using a camera. Thresholding and binarization are used to search for a circular pattern, where the key is to recognize and process all RGB cross patterns as black.

if Image_red(x,y) > 200 (Tr: threshold_red) if Image_red (x, y) > 200 (Tr: threshold_red)

then Image(x,y) = 0 //black 처리then Image (x, y) = 0 // black processing

if Image_green(x,y) > 200 (Tg: threshold_green) if Image_green (x, y) > 200 (Tg: threshold_green)

then Image(x,y) = 0//black 처리then Image (x, y) = 0 // black processing

if Image_blue(x,y) > 200 (Tg: threshold_blue) if Image_blue (x, y) > 200 (Tg: threshold_blue)

then Image(x,y) = 0//black 처리then Image (x, y) = 0 // black processing

이러한 이미지 처리를 통해 도 3과 같이 하나의 간단한 검정 원형 패턴(110)이 흰색의 배경(105)과 구분되며, 간단한 이미지 처리를 통해 원의 중심을 찾고, 그 중심과 카메라의 중심이 정렬되도록 오차 보정을 한 후 상기 멀티콥터를 이동시킨다. 현재 모드에서 각도 정렬은 사각 흰색 배경(105)을 이용하여 처리한다.
3, one simple black circle pattern 110 is distinguished from the white background 105. The center of the circle is found through simple image processing, and the center of the circle is aligned with the center of the camera After the correction, the multi-copter is moved. In the current mode, angular alignment is handled using a rectangular white background 105.

2. RGB 십자가 패턴 탐색을 기반으로 하는 정밀 착륙 2. Precise landing based on RGB cross pattern search 모드mode

상기 멀티콥터가 하강하면서 검정색 원형 패턴의 크기는 증가하게 된다. 이러한 원형 패턴의 이미지에서 원지름의 크기가 일정 픽셀수를 넘어서면, 십자가 패턴 탐색을 기반으로 하는 정밀 착륙 모드로 전환된다.The size of the black circular pattern increases while the multicoperator descends. When the size of the circle diameter exceeds a certain number of pixels in the image of such a circular pattern, it is converted into a fine landing mode based on the cross pattern search.

상기 정밀 착륙 모드에서는 흰색 배경과 검정색 원형 패턴을 모두 흰색으로 처리한다. 먼저 RED 십자가 패턴을 탐색하는데, 이 경우 GREEN 십자가 패턴과 BLUE 십자가 패턴은 모두 빨간색으로 처리한다. 상기 멀티콥터를 제어하여 카메라 이미지의 xy축(가로세로 축)과 RED 십자가 패턴의 xy축(가로세로 축)을 정렬하고 점차적으로 하강시킨다.In the precise landing mode, both the white background and the black circular pattern are treated as white. First, the RED cross pattern is searched. In this case, both the GREEN cross pattern and the BLUE cross pattern are processed in red. The multi-copter is controlled to align the xy axis (horizontal and vertical axes) of the camera image with the xy axis (horizontal and vertical axes) of the RED cross pattern and gradually lower.

상기 이미지에서 RED 십자가 패턴의 크기가 일정 픽셀 수를 넘으면, 상기 RED 십자가 패턴은 흰색으로 처리하고, 상기 GREEN 십자가 패턴을 탐색한다. 이 경우에, BLUE 십자가 패턴은 녹색으로 처리한다. 상기 멀티콥터를 제어하여 카메라 이미지의 xy축과 GREEN 십자가 패턴의 xy축을 정렬하고 점차적으로 하강시킨다. If the size of the RED cross pattern exceeds the predetermined number of pixels in the image, the RED cross pattern is processed to white and the GREEN cross pattern is searched. In this case, the BLUE cross pattern is treated as green. The multi-copter is controlled to align the xy-axis of the camera image with the xy-axis of the GREEN cross pattern and gradually lower.

마찬가지로, 이미지에서 GREEN 십자가 패턴의 크기가 일정 픽셀 수를 넘으면, RED 십자가 패턴과 GREEN 십자가 패턴은 흰색으로 처리하고, BLUE 십자가 패턴을 탐색한다. 상기 멀티콥터를 제어하여 카메라 이미지의 xy축과 BLUE 십자가 패턴의 xy축을 정렬하고 점차적으로 최종 착륙시킨다.
Similarly, if the size of the GREEN cross pattern in the image exceeds a certain number of pixels, the RED cross pattern and the GREEN cross pattern are treated as white and the BLUE cross pattern is searched. The multi-copter is controlled to align the xy-axis of the camera image with the xy-axis of the BLUE cross pattern and gradually land on it.

본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
Embodiments of the present invention include computer readable media including program instructions for performing various computer implemented operations. The computer-readable medium may include program instructions, local data files, local data structures, etc., alone or in combination. The media may be those specially designed and constructed for the present invention or may be those known to those skilled in the computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floppy disks, and ROMs, And hardware devices specifically configured to store and execute the same program instructions. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.

지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허 청구의 범위뿐 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the scope of the appended claims and equivalents thereof.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, Modification is possible. Accordingly, the spirit of the present invention should be understood only in accordance with the following claims, and all equivalents or equivalent variations thereof are included in the scope of the present invention.

210: 이미지 촬영부
220: 영상 처리부
230: 비행 제어부
240: 제어부210: Image shooting unit
220:
230:
240:

Claims (8)

카메라를 통해 착륙 패드를 촬영하여 상기 착륙 패드의 착륙 패턴에 대한 이미지를 획득하는 이미지 촬영부;
상기 이미지로부터 제1 착륙 패턴을 탐색하고, 상기 탐색된 제1 착륙 패턴을 제1 영상 처리하는 영상 처리부; 및
상기 제1 영상 처리의 결과에 기초하여, 상기 제1 착륙 패턴의 중심과 상기 카메라의 중심이 정렬되도록 멀티콥터를 이동 및 하강시키는 비행 제어부
를 포함하고,
상기 영상 처리부는
상기 멀티콥터의 하강에 따라 상기 이미지로부터 제2 착륙 패턴을 탐색하고, 상기 탐색된 제2 착륙 패턴을 단계적으로 제2 영상 처리하여 상기 이미지의 가로세로 축과 상기 제2 착륙 패턴의 가로세로 축이 정렬되도록 오차를 보정하며,
상기 비행 제어부는
상기 제2 영상 처리의 결과에 기초하여, 상기 멀티콥터가 상기 제2 착륙 패턴의 착륙 중심점에 착륙하도록 상기 멀티콥터의 하강을 제어하는 것을 특징으로 하는 멀티콥터 착륙 가이드 시스템.
An image photographing unit photographing a landing pad through a camera to acquire an image of a landing pattern of the landing pad;
An image processing unit for searching for a first landing pattern from the image and for performing a first image processing on the searched first landing pattern; And
A flight controller for moving and lowering the multi-copter so that the center of the first landing pattern and the center of the camera are aligned based on a result of the first image processing,
Lt; / RTI >
The image processing unit
Searching for a second landing pattern from the image in accordance with the descent of the multi-copter, performing a second image processing step by step on the searched second landing pattern, and calculating the horizontal and vertical axes of the image and the horizontal and vertical axes of the second landing pattern Corrects the error to be aligned,
The flight control unit
Wherein the control unit controls the descent of the multi-copter so that the multi-copter landes at a landing center point of the second landing pattern based on the result of the second image processing.
제1항에 있어서,
상기 제1 착륙 패턴은
검정색의 원형 패턴이고,
상기 영상 처리부는
임계값에 기반한 영상 이진화 처리를 통해 상기 제1 착륙 패턴을 탐색하고, 상기 제1 착륙 패턴의 탐색 시, 상기 제2 착륙 패턴을 모두 검정색으로 처리하는 것을 특징으로 하는 멀티콥터 착륙 가이드 시스템.
The method according to claim 1,
The first landing pattern
It is a black circular pattern,
The image processing unit
Wherein the first landing pattern is searched through an image binarization process based on a threshold value and the second landing pattern is all blacked when searching for the first landing pattern.
제2항에 있어서,
상기 영상 처리부는
상기 멀티콥터의 하강에 따라, 상기 원형 착륙 패턴의 지름 크기에 대응하는 픽셀 수를 체크하고, 상기 픽셀 수가 기준 픽셀 수를 초과하는 경우, 상기 이미지로부터 상기 제2 착륙 패턴을 탐색하는 것을 특징으로 하는 멀티콥터 착륙 가이드 시스템.
3. The method of claim 2,
The image processing unit
The number of pixels corresponding to the diameter of the circular landing pattern is checked in accordance with the descent of the multicopter, and when the number of pixels exceeds the reference number of pixels, the second landing pattern is searched for from the image Multicopter Landing Guide System.
제1항에 있어서,
상기 제2 착륙 패턴은
서로 다른 색상 및 크기로 이루어진 적어도 3개의 십자가 패턴이 상기 착륙 중심점을 기준으로 중첩되어 형성되는 것을 특징으로 하는 멀티콥터 착륙 가이드 시스템.
The method according to claim 1,
The second landing pattern
At least three cross patterns of different colors and sizes are formed on the basis of the landing center point.
제4항에 있어서,
상기 제2 착륙 패턴은
상기 적어도 3개의 십자가 패턴 중 가장 큰 크기를 가지며 제1 색상으로 이루어진 제1 십자가 패턴;
상기 제1 십자가 패턴보다 작은 크기를 가지며 상기 제1 색상과는 다른 제2 색상으로 이루어진 제2 십자가 패턴; 및
상기 제2 십자가 패턴보다 작은 크기를 가지며 상기 제1 및 제2 색상과는 다른 제3 색상으로 이루어진 제3 십자가 패턴
을 포함하고,
상기 제1 십자가 패턴은
빨간색으로 이루어진 레드(RED) 십자가 패턴이고,
상기 제2 십자가 패턴은
녹색으로 이루어진 그린(GREEN) 십자가 패턴이며,
상기 제3 십자가 패턴은
파란색으로 이루어진 블루(BLUE) 십자가 패턴인 것을 특징으로 하는 멀티콥터 착륙 가이드 시스템.
5. The method of claim 4,
The second landing pattern
A first cross pattern having a largest size among the at least three cross patterns and made of a first color;
A second cross pattern having a size smaller than the first cross pattern and having a second color different from the first color; And
A third cross pattern having a size smaller than the second cross pattern and having a third color different from the first and second colors,
/ RTI >
The first cross pattern
Red (RED) cross pattern,
The second cross pattern
Green is a green cross pattern,
The third cross pattern
And a blue (BLUE) cross pattern.
제5항에 있어서,
상기 영상 처리부는
상기 제1 십자가 패턴의 탐색 시, 상기 제1 착륙 패턴을 상기 제1 착륙 패턴을 둘러싼 배경의 색상과 동일한 색으로 처리하고, 상기 제2 십자가 패턴 및 상기 제3 십자가 패턴을 모두 상기 제1 색상으로 처리하며,
상기 제2 십자가 패턴의 탐색 시, 상기 제1 십자가 패턴을 상기 배경의 색상과 동일한 색으로 처리하고, 상기 제3 십자가 패턴을 상기 제2 색상으로 처리하며,
상기 제3 십자가 패턴의 탐색 시, 상기 제2 십자가 패턴을 상기 배경의 색상과 동일한 색으로 처리하는 것을 특징으로 하는 멀티콥터 착륙 가이드 시스템.
6. The method of claim 5,
The image processing unit
Processing the first landing pattern to the same color as that of the background surrounding the first landing pattern, and setting the second cross pattern and the third cross pattern as the first color Processing,
Processing the first cross pattern to the same color as the background color, processing the third cross pattern into the second color,
Wherein when the third cross pattern is searched, the second cross pattern is processed to have the same color as the background color.
제6항에 있어서,
상기 영상 처리부는
상기 제1 십자가 패턴의 탐색 후에, 상기 이미지에서 상기 제1 십자가 패턴의 크기가 기준 픽셀 수를 초과하는 경우, 상기 제2 십자가 패턴을 탐색하고,
상기 제2 십자가 패턴의 탐색 후에, 상기 이미지에서 상기 제2 십자가 패턴의 크기가 상기 기준 픽셀 수를 초과하는 경우, 상기 제3 십자가 패턴을 탐색하는 것을 특징으로 하는 멀티콥터 착륙 가이드 시스템.
여기서, 상기 이미지는 상기 멀티콥터의 하강에 연동하여, 상기 카메라를 통해 새로 촬영된 갱신 이미지를 나타냄.
The method according to claim 6,
The image processing unit
Searching for the second cross pattern when the size of the first cross pattern in the image exceeds the reference number of pixels after the search for the first cross pattern,
And when the size of the second cross pattern exceeds the reference number of pixels in the image after the search for the second cross pattern, searches for the third cross pattern.
Here, the image indicates an updated image newly captured through the camera in conjunction with the falling of the multi-copter.
멀티콥터 착륙 가이드 시스템의 이미지 촬영부에서, 카메라를 통해 착륙 패드를 촬영하여 상기 착륙 패드의 착륙 패턴에 대한 이미지를 획득하는 단계;
상기 멀티콥터 착륙 가이드 시스템의 영상 처리부에서, 상기 이미지로부터 제1 착륙 패턴을 탐색하는 단계;
상기 영상 처리부에서, 상기 탐색된 제1 착륙 패턴을 제1 영상 처리하는 단계;
상기 멀티콥터 착륙 가이드 시스템의 비행 제어부에서, 상기 제1 영상 처리의 결과에 기초하여, 상기 제1 착륙 패턴의 중심과 상기 카메라의 중심이 정렬되도록 멀티콥터를 이동 및 하강시키는 단계;
상기 영상 처리부에서, 상기 멀티콥터의 하강에 따라 상기 이미지로부터 제2 착륙 패턴을 탐색하는 단계;
상기 영상 처리부에서, 상기 탐색된 제2 착륙 패턴을 단계적으로 제2 영상 처리하여 상기 이미지의 가로세로 축과 상기 제2 착륙 패턴의 가로세로 축이 정렬되도록 오차를 보정하는 단계; 및
상기 비행 제어부에서, 상기 제2 영상 처리의 결과에 기초하여, 상기 멀티콥터가 상기 제2 착륙 패턴의 착륙 중심점에 착륙하도록 상기 멀티콥터의 하강을 제어하는 단계
를 포함하는 것을 특징으로 하는 멀티콥터 착륙 가이드 방법.Capturing an image of a landing pad of a landing pad by photographing a landing pad through a camera in an image capturing unit of a multi-copter landing guide system;
Searching for a first landing pattern from the image in an image processing unit of the multi-copter landing guide system;
Performing a first image processing on the searched first landing pattern in the image processing unit;
Moving and lowering the multi-copter so that the center of the first landing pattern and the center of the camera are aligned based on a result of the first image processing in the flight control unit of the multi-copter landing guide system;
Searching for a second landing pattern from the image according to the descent of the multicoperator in the image processing unit;
Correcting the error so that the horizontal and vertical axes of the image and the horizontal and vertical axes of the second landing pattern are aligned in the image processing unit by stepwise performing a second image processing on the searched second landing pattern; And
Controlling a descent of the multi-copter so that the multi-copter landing at a landing center point of the second landing pattern, based on the result of the second image processing, in the flight control section
Wherein the multi-copter landing guiding method comprises:
KR1020150025451A 2015-02-23 2015-02-23 System and method for guiding landing of multi-copter KR20160102844A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150025451A KR20160102844A (en) 2015-02-23 2015-02-23 System and method for guiding landing of multi-copter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150025451A KR20160102844A (en) 2015-02-23 2015-02-23 System and method for guiding landing of multi-copter

Publications (1)

Publication Number Publication Date
KR20160102844A true KR20160102844A (en) 2016-08-31

Family

ID=56877383

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150025451A KR20160102844A (en) 2015-02-23 2015-02-23 System and method for guiding landing of multi-copter

Country Status (1)

Country Link
KR (1) KR20160102844A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180047055A (en) * 2016-10-31 2018-05-10 한국항공우주연구원 Apparatus and method for precision landing guidance
KR20190078098A (en) * 2017-12-26 2019-07-04 주식회사 솔탑 Method and apparatus for controlling drone landing
KR102018892B1 (en) * 2019-02-15 2019-09-05 국방과학연구소 Method and apparatus for controlling take-off and landing of unmanned aerial vehicle
KR20200132458A (en) * 2019-05-17 2020-11-25 한국항공우주연구원 Automatic landing method of unmanned aerial vehicle into ground-free vehicle, and automatic landing device of unmanned aerial vehicles
KR20220003851A (en) 2020-07-02 2022-01-11 중앙대학교 산학협력단 Autonomous landing system of UAV on moving platform
KR102597440B1 (en) * 2023-04-17 2023-11-02 한국광기술원 Unmanned Aerial Vehicle Landing Guidance Device and Unmanned Aerial Vehicle Take-off and Landing System Including the Same

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180047055A (en) * 2016-10-31 2018-05-10 한국항공우주연구원 Apparatus and method for precision landing guidance
KR20190078098A (en) * 2017-12-26 2019-07-04 주식회사 솔탑 Method and apparatus for controlling drone landing
KR102018892B1 (en) * 2019-02-15 2019-09-05 국방과학연구소 Method and apparatus for controlling take-off and landing of unmanned aerial vehicle
KR20200132458A (en) * 2019-05-17 2020-11-25 한국항공우주연구원 Automatic landing method of unmanned aerial vehicle into ground-free vehicle, and automatic landing device of unmanned aerial vehicles
KR20220003851A (en) 2020-07-02 2022-01-11 중앙대학교 산학협력단 Autonomous landing system of UAV on moving platform
KR102597440B1 (en) * 2023-04-17 2023-11-02 한국광기술원 Unmanned Aerial Vehicle Landing Guidance Device and Unmanned Aerial Vehicle Take-off and Landing System Including the Same

Similar Documents

Publication Publication Date Title
KR20160102844A (en) System and method for guiding landing of multi-copter
CN110991207B (en) Unmanned aerial vehicle accurate landing method integrating H pattern recognition and Apriltag two-dimensional code recognition
CN110569838B (en) Autonomous landing method of quad-rotor unmanned aerial vehicle based on visual positioning
CN110989661B (en) Unmanned aerial vehicle accurate landing method and system based on multiple positioning two-dimensional codes
KR101083394B1 (en) Apparatus and Method for Building and Updating a Map for Mobile Robot Localization
KR102462025B1 (en) Apparatus and method for detecting checkerboard corner point for camera calibration
CN107563373B (en) Unmanned aerial vehicle landing area active safety detection method based on stereoscopic vision and application
CN106502257B (en) Anti-interference control method for precise landing of unmanned aerial vehicle
CN104506857A (en) Camera position deviation detection method and device
CN111127497B (en) Robot and stair climbing control method and device thereof
US20230388449A1 (en) Flying body control apparatus, flying body control method, and flying body control program
KR20200056068A (en) System for tracking an object in unmanned aerial vehicle based on mvs
CN110488848B (en) Unmanned aerial vehicle vision-guided autonomous landing method and system
CN107609468B (en) Class optimization aggregation analysis method for active safety detection of unmanned aerial vehicle landing area and application
KR102441563B1 (en) Apparatus and method for controlling landing based on image learning
US20150063637A1 (en) Image recognition method and robot
KR20190097350A (en) Precise Landing Method of Drone, Recording Medium for Performing the Method, and Drone Employing the Method
KR102099112B1 (en) Method of teaching for electronic parts information
CN113781524B (en) Target tracking system and method based on two-dimensional label
KR20120108277A (en) Method for localizing intelligent mobile robot by using both natural landmark and artificial landmark
KR101688642B1 (en) Apparatus and Method of Marker Recognition for Automatic Landing Image Based on Unmanned Plane
KR101305405B1 (en) Method for Localizing Intelligent Mobile Robot by using a lateral landmark
KR101844328B1 (en) Occlusion and rotation invariant object recognition system and method in factory automation
KR101935969B1 (en) Method and apparatus for detection of failure of object tracking and retracking based on histogram
EP3540630A1 (en) Glint detection method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application