KR101050730B1 - Apparatus for controlling position of uav based on runway extension lines and method thereof - Google Patents

Apparatus for controlling position of uav based on runway extension lines and method thereof Download PDF

Info

Publication number
KR101050730B1
KR101050730B1 KR1020100073920A KR20100073920A KR101050730B1 KR 101050730 B1 KR101050730 B1 KR 101050730B1 KR 1020100073920 A KR1020100073920 A KR 1020100073920A KR 20100073920 A KR20100073920 A KR 20100073920A KR 101050730 B1 KR101050730 B1 KR 101050730B1
Authority
KR
South Korea
Prior art keywords
runway
image
area
auxiliary line
detected
Prior art date
Application number
KR1020100073920A
Other languages
Korean (ko)
Inventor
장한진
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020100073920A priority Critical patent/KR101050730B1/en
Application granted granted Critical
Publication of KR101050730B1 publication Critical patent/KR101050730B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
    • B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE: A device and method for controlling pilotless aircraft of runway guide line base are provided to control the location of pilotless aircraft by detecting a landing area and runway guide line. CONSTITUTION: A device for controlling pilotless aircraft comprises an image inputting unit(110), a runway detecting unit(120), a runway guide line detecting unit(130), and a position controller. The image inputting unit gets a landing zone image of a pilotless aircraft. The runway detecting unit detects a landing zone image on a runway domain by using a bayesian classifier. A plurality of edges is extracted from the detected runway domain by the guide line detecting unit. The guide line detecting unit is based on in extracted a plurality of edges and detects one or more runway guide lines. The position controller uses one among the location of the detected runway guide lines as a position control standard value in order to control the location of the pilotless aircraft. The image inputting unit outputs the obtained landing zone image as the image on a YUV color space.

Description

활주로 보조선 기반의 무인 항공기 위치 제어장치 및 그 제어방법{ Apparatus for controlling position of UAV based on runway extension lines and Method thereof}Unmanned aerial vehicle position control device based on runway auxiliary line and its control method {Apparatus for controlling position of UAV based on runway extension lines and Method

본 발명은 무인 항공기의 위치 제어장치 및 그 제어방법에 관한 것으로서, 더욱 상세하게는 활주로 보조선에 기반하여 무인 항공기의 위치를 제어하는 장치 및 방법에 관한 것이다. The present invention relates to an apparatus for controlling the position of an unmanned aerial vehicle and a control method thereof, and more particularly, to an apparatus and a method for controlling the position of an unmanned aerial vehicle based on a runway auxiliary line.

일반적으로 항공기는 운행하는 주체에 따라 사람이 탑승하여 항공기를 직접 운행하는 유인 항공기와, 전자적 제어시스템인지에 의해서 운행되는 무인 항공기(UAV: Unmanned Aerial Vehicle)로 구분할 수 있다. 현재 제어 기술 및 통신 기술의 급격한 발전에 따라 위험한 영역에서 항공기를 활용하는, 예를 들어 위험 지역 탐사 및 군사용 정찰 등에 이용하기 위하여 무인 항공기에 대한 개발이 활발히 진행되고 있다. 따라서 무인 항공기는 인간이 직접 탑승하여 수행하기에 위험하거나 어려운 작업도 가능하게 한다. In general, an aircraft may be classified into a manned aircraft in which a person directly rides the aircraft according to a subject to operate and an unmanned aerial vehicle (UAV) operated by an electronic control system. With the rapid development of control technology and communication technology, the development of unmanned aircraft is actively progressed in order to use the aircraft in dangerous areas, for example, exploration of dangerous areas and military reconnaissance. Thus, drones allow dangerous or difficult tasks for humans to carry on board.

이러한 무인 항공기는 외부 제어 시스템에서 전달되는 비행 제어 신호에 의해 자동으로 비행하거나, 무인 항공기 내에 탑재된 제어시스템에 의하여 위치나 자세, 방향 등을 제어하는 것도 가능하다. 외부 제어 시스템은 무인 항공기로부터 전달된 관성 값에 의거하여 무인 항공기의 위치를 추정하고 그 위치 추정 정보에 의거하여 무인항공기의 비행 제어 신호를 생성한다.
Such an unmanned aerial vehicle may fly automatically by flight control signals transmitted from an external control system, or may control a position, attitude, or direction by a control system mounted in an unmanned aerial vehicle. The external control system estimates the position of the unmanned aerial vehicle based on the inertial value transmitted from the unmanned aerial vehicle and generates the flight control signal of the unmanned aerial vehicle based on the position estimation information.

본 발명의 실시예들은 인공 보조물이 아닌 착륙지의 활주로 영역 및 활주로 보조선을 검출하여 활주로 보조선에 기반하여 무인 항공기의 위치를 제어하는 장치 및 방법을 제공하는 것이다. Embodiments of the present invention provide an apparatus and method for detecting a runway area and a runway auxiliary line of a landing place other than an artificial auxiliary to control the position of an unmanned aerial vehicle based on the runway auxiliary line.

본 발명의 실시예에 따른 무인 항공기의 위치 제어장치는, 무인 항공기의 착륙지 영상을 획득하는 영상 입력부; 활주로 영상 및 비활주로 영상으로 미리 학습된 베이지안 분류기(bayesian classifier)를 이용하여 상기 착륙지 영상에서 활주로 영역을 검출하는 활주로 검출부; 상기 검출된 활주로 영역에서 다수의 모서리를 추출하고, 상기 추출된 다수의 모서리에 기반하여 적어도 하나의 활주로 보조선을 검출하는 보조선 검출부; 및 상기 검출된 활주로 영역의 크기 및 상기 검출된 활주로 보조선의 위치 중 적어도 어느 하나를 위치제어 기준값으로 이용하여 상기 무인 항공기의 위치를 제어하는 위치 제어부를 포함한다. An apparatus for controlling a position of an unmanned aerial vehicle according to an embodiment of the present invention includes an image input unit for obtaining a landing image of an unmanned aerial vehicle; A runway detector that detects a runway area in the landing image by using a Bayesian classifier previously trained as a runway image and a runway image; An auxiliary line detector for extracting a plurality of edges from the detected runway area and detecting at least one runway auxiliary line based on the extracted plurality of edges; And a position control unit for controlling the position of the unmanned aerial vehicle using at least one of the size of the detected runway area and the position of the detected runway auxiliary line as a position control reference value.

상기 활주로 검출부는, 상기 베이지안 분류기(bayesian classifier)를 이용하여 상기 착륙지 영상을 픽셀단위로 활주로 영역과 비활주로 영역으로 분류하는 영역 분류부; 상기 착륙지 영상을 다수의 픽셀들로 구성된 서브 영상들로 분할하고 상기 다수의 픽셀들 중 비활주로 영역에 해당하는 픽셀 수가 기준값 이상이고 해당 서브 영상이 활주로 영역으로 분류된 경우에는 해당 서브 영상을 활주로 영역에 제거하는 오류 제거부; 및 상기 검출된 활주로 영역의 크기 변화량 또는 중심점 위치 변화량이 기설정된 변화량 한계값 이내인 경우에만 활주로 영역의 검출 작업을 지속하는 활주로 영역 추적부를 포함하여 구성된다. The runway detection unit may include: an area classifier configured to classify the landing image into a runway area and a non-runway area on a pixel-by-pixel basis using the bayesian classifier; When the landing image is divided into sub-images composed of a plurality of pixels, and the number of pixels corresponding to the non-runway area among the plurality of pixels is equal to or larger than a reference value and the sub-image is classified as a runway area, the sub-image is runway. An error removal unit for removing the area; And a runway area tracking unit for continuing the detection of the runway area only when the detected size change amount or the center point position change amount is within a predetermined change amount threshold value.

상기 오류 제거부는, 상기 분할된 서브 영상들의 각각을 구성하는 픽셀들 중 활주로 영역에 해당하는 픽셀 수가 기준값 이상이고 해당 서브 영상이 비활주로 영역으로 분류된 경우에는 해당 서브 영상을 활주로 영역으로 복원하는 것을 특징으로 한다. The error removing unit may restore the sub image to the runway area when the number of pixels corresponding to the runway area among the pixels constituting each of the divided sub-images is equal to or larger than a reference value and the sub image is classified as the non-runway area. It features.

상기 오류 제거부는 연결요소 분석법(CCA, Connected Component Analysis)을 이용하여 상기 착류지 영상에서 인접한 요소들을 하나의 그룹으로 군집화하고, 상기 군집화된 영상의 크기, 밀도, 모양에 기초하여 상기 분류된 활주로 영역 및 비활주로 영역에서 오류를 제거하는 것을 특징으로 한다. The error elimination unit clusters adjacent elements in the landing image into a group by using a connected component analysis (CCA) and classifies the runway area based on the size, density, and shape of the clustered image. And eliminating errors in the runway area.

상기 보조선 검출부는, 상기 착륙지 영상에 소벨(Sobel) 모서리 검출기를 적용하여 주변영역과 구별되는 색상이며 급격한 색상차를 갖는 상기 적어도 하나의 활주로 보조선별 대응되는 모서리 포인트들을 검출하는 보조선 포인트 검출부; 상기 활주로 보조선별 모서리 포인트들에 대하여 허프 변환(Hough Transform)을 적용하여 국소값을 갖는 직선을 정합되는 상기 활주로 보조선으로 분류하는 보조선 정합부; 및 상기 착륙지 영상의 소정 연속 프레임에서 검출된 활주로 보조선 간의 기울기 변화량과 상기 검출된 활주로 영역의 중심점 위치 변화량이 기설정된 한계값을 벗어나지 않는 경우에만 활주로 보조선 검출 작업을 지속하는 보조선 추적부를 포함하여 구성된다. The auxiliary line detector detects a corner point corresponding to each of the at least one runway auxiliary line having a sharp color difference and a color distinguished from a surrounding area by applying a Sobel corner detector to the landing image. ; An auxiliary line matching unit for classifying a straight line having a local value as the runway auxiliary line by applying a Hough Transform to the corner points of each runway auxiliary line; And an auxiliary line tracking unit for continuing the runway auxiliary line detection operation only when the inclination change amount between the runway auxiliary line detected in a predetermined continuous frame of the landing image and the detected center point position change amount of the detected runway area do not deviate from a preset limit value. It is configured to include.

상기 위치 제어부는, 상기 착륙지 영상의 연속된 소정의 프레임에서 검출된 활주로 보조선의 기울기와 활주로 영역의 중심점 위치에 대한 변화량이 기설정된 한계값을 벗어나지 않는 경우에만 상기 검출된 활주로 보조선에 기반하여 상기 무인 항공기의 위치제어를 수행하는 것이 바람직하다. The position control unit may be configured based on the detected runway auxiliary line only when the amount of change in the slope of the runway auxiliary line detected in a predetermined frame of the landing image and the position of the center point of the runway area does not deviate from a preset limit value. It is preferable to perform position control of the unmanned aerial vehicle.

상기 위치 제어부는 상기 검출된 활주로 보조선이 길이방향의 두 가장자리 보조선인 경우에는 상기 두 가장자리 보조선의 내부에 상기 무인항공기가 위치하도록 상기 무인 항공기를 제어하는 것을 특징으로 한다. The position control unit may control the unmanned aerial vehicle so that the unmanned aerial vehicle is positioned inside the two edge auxiliary lines when the detected runway auxiliary line is two edge auxiliary lines in the longitudinal direction.

상기 위치 제어부는 상기 검출된 활주로 보조선이 길이방향의 두 가장자리 보조선과, 하나의 중심 보조선인 경우에는 상기 두 가장자리 보조선의 내부에 위치하고, 상기 무인 항공기의 중심 위치와 상기 중심 보조선의 위치가 기설정된 오차범위 내에서 유지되도록 상기 무인 항공기를 제어하는 것을 특징으로 한다. The position control unit is located inside the two edge auxiliary line if the detected runway auxiliary line in the longitudinal direction and one center auxiliary line, the center position of the unmanned aerial vehicle and the position of the center auxiliary line is preset The drone is controlled to be maintained within an error range.

상기 영상 입력부는 상기 획득된 착륙지 영상을 YUV 컬러 공간상의 영상으로 출력하는 것이 바람직하다. The image input unit preferably outputs the acquired landing image as an image on a YUV color space.

본 발명의 실시예에 따른 무인 항공기의 위치 제어방법은, (a) 무인 항공기의 착륙지 영상을 획득하는 단계; (b) 활주로 영상 및 비활주로 영상으로 미리 학습된 베이지안 분류기(bayesian classifier)를 이용하여 상기 착륙지 영상을 활주로 영역과 비활주로 영역으로 분류하여 상기 활주로 영역을 검출하는 단계; (c) 상기 검출된 활주로 영역에서 다수의 모서리를 추출하고, 상기 추출된 다수의 모서리에 기반하여 적어도 하나의 활주로 보조선을 검출하는 단계; 및 (d) 상기 검출된 활주로 영역의 크기 및 상기 검출된 활주로 보조선의 위치 중 적어도 어느 하나를 위치제어 기준값으로 이용하여 상기 무인 항공기의 위치를 제어하는 단계를 포함한다. Method for controlling the position of an unmanned aerial vehicle according to an embodiment of the present invention, the method comprising the steps of: (a) acquiring the landing image of the unmanned aerial vehicle; (b) detecting the runway area by classifying the landing image into a runway area and a runway area by using a Bayesian classifier previously trained as a runway image and a runway image; (c) extracting a plurality of edges from the detected runway area and detecting at least one runway auxiliary line based on the extracted plurality of edges; And (d) controlling the position of the unmanned aerial vehicle using at least one of a size of the detected runway area and a position of the detected runway auxiliary line as a position control reference value.

상기 (b) 단계에서는, (b1) 상기 베이지안 분류기(bayesian classifier)가 미리 학습된 내용에 따라 상기 착륙지 영상을 픽셀단위에서 활주로 영역과 비활주로 영역으로 분류하는 단계; 및 (b2) 상기 착륙지 영상을 서브 영상들로 분할하고 상기 분할된 서브 영상들의 각각을 구성하는 픽셀들 중 비활주로 영역에 해당하는 픽셀 수가 기준값 이상이고 해당 서브 영상이 상기 활주로 영역으로 분류된 경우에는 해당 서브 영상을 상기 활주로 영역에서 제거하는 단계를 포함하는 것을 특징으로 한다. In the step (b), (b1) the bayesian classifier classifies the landing image into a runway area and a non-runway area in pixel units according to previously learned contents; And (b2) dividing the landing image into sub-images, wherein the number of pixels corresponding to the non-runway region among the pixels constituting each of the divided sub-images is equal to or greater than a reference value and the sub-image is classified into the runway region. And removing the corresponding sub-image from the runway area.

상기 (b2)단계에서는, 상기 분할된 서브 영상들의 각각을 구성하는 픽셀들 중 활주로 영역에 해당하는 픽셀 수가 기준값 이상이고 해당 서브 영상이 비활주로 영역으로 분류된 경우에는 해당 서브 영상을 활주로 영역으로 복원하는 것을 특징으로 한다. In the step (b2), when the number of pixels corresponding to the runway area among the pixels constituting each of the divided sub-images is equal to or greater than a reference value and the sub-image is classified as a runway area, the sub-image is restored to the runway area. Characterized in that.

상기 (b2)단계에서는, 연결요소 분석법(CCA, Connected Component Analysis)을 이용하여 상기 착류지 영상에서 인접한 요소들을 하나의 그룹으로 군집화하고, 상기 군집화된 영상의 크기, 밀도, 모양에 기초하여 상기 분류된 활주로 영역 및 비활주로 영역에서 오류를 제거하는 것을 특징으로 한다. In the step (b2), adjacent elements in the landing image are clustered into a group using a connected component analysis (CCA), and the classification is performed based on the size, density, and shape of the clustered image. Error in the runway area and the non-runway area.

상기 (b) 단계는, (b3) 상기 검출된 활주로 영역의 크기 변화량 또는 중심점 위치 변화량이 기설정된 제1한계치 이내인 경우에만 활주로 영역을 추적하는 단계를 추가적으로 포함하는 것이 바람직하다. The step (b) preferably further includes the step of tracing the runway area only when the detected amount of change in the size of the runway area or the center point position change is within a predetermined first limit value.

상기 (b3) 단계는, 상기 검출된 활주로 영역의 크기 변화량 또는 중심점 위치 변화량이 상기 제1한계치를 벗어나는 경우에는 상기 활주로 영역의 추적을 중단하고, 상기 착륙지 영상 또는 새롭게 입력된 착륙지 영상으로부터 활주로 영역을 다시 검출하는 것을 특징으로 한다. In the step (b3), if the detected change in the size of the runway area or the change in the center point position is outside the first limit value, the tracking of the runway area is stopped, and the runway from the landing image or the newly input landing image. The area is detected again.

(c1) 상기 착륙지 영상에 소벨(Sobel) 모서리 검출기를 적용하여 주변영역과 구별되는 색상이며 급격한 색상차를 갖는 상기 적어도 하나의 활주로 보조선별 대응되는 모서리 포인트들을 검출하는 단계; 및 (c2) 상기 활주로 보조선별 모서리 포인트들에 대하여 허프 변환(Hough Transform)을 적용하여 국소값을 갖는 직선을 정합되는 상기 활주로 보조선으로 분류하는 단계를 포함하는 것을 특징으로 한다. (c1) detecting a corner point corresponding to each of the at least one runway auxiliary line by applying a Sobel edge detector to the landing image, the color being distinct from the surrounding area and having a sharp color difference; And (c2) classifying a straight line having a local value into the matching runway auxiliary line by applying a Hough Transform to the corner points of the runway auxiliary line.

상기 (c)단계는, (c3) 상기 착륙지 영상의 소정 연속 프레임에서 검출된 활주로 보조선 간의 기울기 변화량과 상기 검출된 활주로 영역의 중심점 위치 변화량이 기설정된 제2한계치 이내인 경우에만 활주로 보조선을 추적하는 단계를 추가적으로 포함하는 것이 바람직하다. In step (c), (c3) the runway auxiliary line only when the inclination change amount between the runway auxiliary line detected in a predetermined continuous frame of the landing image and the center point position change amount of the detected runway area are within a preset second limit value. It is preferable to further include the step of tracking.

상기 (c3) 단계는, 상기 검출된 활주로 보조선 간의 기울기 변화량과 상기 검출된 활주로 영역의 중심점 위치 변화량이 상기 제2한계치를 벗어나는 경우에는 상기 활주로 보조선의 추적을 중단하고, 상기 착륙지 영상 또는 새롭게 입력된 착륙지 영상으로부터 활주로 영역을 다시 검출하는 것을 특징으로 한다. In the step (c3), when the amount of change in the slope between the detected runway auxiliary line and the change in the position of the center point of the detected runway area are out of the second limit value, the tracking of the runway auxiliary line is stopped and the landing image or the new destination is stopped. And detecting the runway area again from the input landing image.

상기 (d) 단계는, 상기 착륙지 영상의 연속된 소정의 프레임에서 검출된 활주로 보조선의 기울기와 활주로 영역의 중심점 위치에 대한 변화량이 기설정된 제어 한계치을 벗어나지 않는 경우에만 상기 검출된 활주로 보조선에 기반하여 상기 무인 항공기의 위치제어를 수행하는 것을 특징으로 한다. The step (d) is based on the detected runway auxiliary line only when the variation of the slope of the runway auxiliary line detected in a predetermined frame of the landing image and the position of the center point of the runway area does not deviate from a preset control limit value. To perform the position control of the unmanned aerial vehicle.

상기 (d) 단계는 활주로 길이방향의 두 가장자리 보조선이 검출된 경우에는 상기 두 가장자리 보조선의 내부에 상기 무인항공기가 위치하도록 상기 무인 항공기를 제어하고, 상기 길이방향의 두 가장자리 보조선과 하나의 중심 보조선이 검출된 경우에는 상기 두 가장자리 보조선의 내부에서 상기 무인 항공기의 중심 위치와 상기 중심 보조선의 위치가 기설정된 오차범위 내에서 유지되도록 상기 무인 항공기를 제어하는 것이 더욱 바람직하다. Step (d) controls the unmanned aerial vehicle so that the unmanned aerial vehicle is located inside the two edge auxiliary lines when the two edge auxiliary lines in the runway longitudinal direction are detected, and the two edge auxiliary lines and one center in the longitudinal direction are controlled. When the auxiliary line is detected, it is more preferable to control the unmanned aerial vehicle so that the center position of the unmanned aerial vehicle and the position of the center auxiliary line are maintained within a predetermined error range within the two edge auxiliary lines.

본 발명의 실시예들에 따른 무인 항공기의 위치 제어장치 및 그 제어방법은, 별도의 부가적인 구조물을 설치하지 않고, 착륙지의 활주로 영역 및 활주로 보조선을 검출하여 활주로 보조선에 기반하여 용이하게 무인 항공기를 제어할 수 있는 효과가 있다.The position control device and control method of the unmanned aerial vehicle according to the embodiments of the present invention, without installing a separate additional structure, detects the runway area and the runway auxiliary line of the landing place to easily unmanned based on the runway auxiliary line There is an effect to control the aircraft.

도 1은 본 발명의 일실시예에 따른 활주로 보조선에 기반한 무인 항공기의 위치 제어장치의 블록도이고,
도 2는 본 발명의 일실시예에 따른 활주로 보조선에 기반한 무인 항공기의 위치 제어방법의 순서도이고
도 3(a),(b),(c)의 각각은 YUV 컬러 공간상에서의 입력된 영상의 Y 영상, U 영상 및 V 영상을 도시한 것이고,
도 4(a),(b),(c)의 각각은 RGB 컬러 공간상에서의 입력된 영상의 R 영상, G 영상 및 B 영상을 도시한 것이고,
도 5는 활주로 영역과 비활주로 영역의 이미지를 이용한 베이지안 확률 모델 학습기를 도시한 것이고,
도 6은 도 5에서와 같이 학습된 베이지안 확률 모델을 이용하여 획득된 착류지 영상에서 활주로 영역을 분리하는 예를 도시한 것이고,
도 7은 착륙지 영상의 영역 분류 오류를 제거하기 위하여 활주로 영역과 비활주로 영역으로 분류된 영상을 분할하는 방식을 도시한 것이고,
도 8은 8-connectivity 연결 요소 분석법을 이용하여 활주로 영역과 비활주로 영역이 분류된 영상에서 오류를 제거한 영상을 도시한 것이고,
도 9는 입력된 착륙지 영상에 대하여 모서리 마스크를 이용하여 모서리를 추출한 영상을 도시한 것이고,
도 10 및 11은 다수의 보조선이 포함된 활주로 영상과 보조선별 검출된 모서리 포인트의 분류 결과를 도시한 것이고,
도 12는 각 보조선별로 분류된 모서리 포인트에 대하여 허프 변화를 적용하여 활주로 보조선의 정합 과정을 도시한 것이다. 1 is a block diagram of a position control apparatus for an unmanned aerial vehicle based on a runway auxiliary line according to an embodiment of the present invention;
2 is a flowchart illustrating a method for controlling a position of an unmanned aerial vehicle based on a runway auxiliary line according to an embodiment of the present invention.
3 (a), 3 (b) and 3 (c) show the Y image, the U image and the V image of the input image in the YUV color space,
4 (a), 4 (b) and 4 (c) show R images, G images and B images of the input image in the RGB color space,
5 illustrates a Bayesian probability model learner using images of a runway region and a non-runway region,
FIG. 6 illustrates an example of separating a runway area from a landing image acquired using a trained Bayesian probability model as shown in FIG. 5.
FIG. 7 illustrates a method of dividing an image classified into a runway area and a non-runway area to remove an area classification error of the landing image.
FIG. 8 illustrates an image of which an error is removed from an image in which a runway region and a non-runway region are classified using an 8-connectivity connection element analysis method.
9 illustrates an image of extracting corners using an edge mask with respect to the input landing image.
10 and 11 illustrate a classification result of a runway image including a plurality of auxiliary lines and edge points detected for each auxiliary line.
FIG. 12 illustrates a matching process of a runway auxiliary line by applying a Hough change to corner points classified for each auxiliary line.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하며, 단수로 기재된 용어도 복수의 개념을 포함할 수 있다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. First, in adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are assigned to the same components as much as possible, even if shown on different drawings. In addition, in describing the present invention, when it is determined that a detailed description of a related well-known configuration or function may obscure the gist of the present invention, the detailed description is omitted, and the singular terminology may include a plurality of concepts. . In addition, the following will describe a preferred embodiment of the present invention, but the technical idea of the present invention is not limited thereto and may be variously modified and modified by those skilled in the art.

도 1은 본 발명의 일실시예에 따른 활주로 보조선에 기반한 무인 항공기의 위치 제어장치의 블록도이다. 1 is a block diagram of a position control apparatus for an unmanned aerial vehicle based on a runway auxiliary line according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예에 따른 무인 항공기의 위치 제어장치(100)는 무인 항공기의 착륙지 영상을 획득하는 영상 입력부(110)와, 활주로 영상 및 비활주로 영상으로 미리 학습된 베이지안 분류기(bayesian classifier)를 이용하여 상기 착륙지 영상에서 활주로 영역을 검출하는 활주로 검출부(120)와, 상기 검출된 활주로 영역에서 다수의 모서리를 추출하고, 상기 추출된 다수의 모서리에 기반하여 적어도 하나의 활주로 보조선을 검출하는 보조선 검출부(130)와, 상기 검출된 활주로 영역의 크기 및 상기 검출된 활주로 보조선의 위치 중 적어도 어느 하나를 위치제어 기준값으로 이용하여 상기 무인 항공기의 위치를 제어하는 위치 제어부(140)를 포함한다. Referring to FIG. 1, the position control apparatus 100 of an unmanned aerial vehicle according to an exemplary embodiment of the present invention includes an image input unit 110 for obtaining an image of a landing place of a drone, and a Bayesian previously trained as a runway image and a runway image. A runway detector 120 that detects a runway area in the landing image using a bayesian classifier, and extracts a plurality of edges from the detected runway area, based on the extracted plurality of edges Position control unit for controlling the position of the unmanned aerial vehicle using the auxiliary line detection unit 130 for detecting a runway auxiliary line, and at least one of the size of the detected runway area and the position of the detected runway auxiliary line as a position control reference value. 140.

상기 활주로 검출부(120)는, 상기 베이지안 분류기(bayesian classifier)를 이용하여 상기 착륙지 영상을 픽셀단위로 활주로 영역과 비활주로 영역으로 분류하는 영역 분류부(121)와, 상기 착륙지 영상을 다수의 픽셀들로 구성된 서브 영상들로 분할하고 상기 다수의 픽셀들 중 비활주로 영역에 해당하는 픽셀 수가 기준값 이상이고 해당 서브 영상이 활주로 영역으로 분류된 경우에는 해당 서브 영상을 활주로 영역에 제거하는 오류 제거부(122)와, 상기 검출된 활주로 영역의 크기 변화량 또는 중심점 위치 변화량이 기설정된 변화량 한계값 이내인 경우에만 활주로 영역의 검출 작업을 지속하는 활주로 영역 추적부(121)를 포함하여 구성된다. The runway detection unit 120 uses a Bayesian classifier to classify the landing image into a runway area and a non-runway area in pixel units, and the landing image. An error removing unit for dividing the sub image into a runway area when the pixels are divided into sub-images of pixels and the number of pixels corresponding to the non-runway area among the plurality of pixels is equal to or larger than a reference value and the sub-image is classified as a runway area. And a runway area tracking unit 121 for continuing the detection of the runway area only when the detected amount of change in the size of the runway area or the center point position change amount is within a predetermined change amount threshold value.

상기 보조선 검출부(130)는, 상기 착륙지 영상에 소벨(Sobel) 모서리 검출기를 적용하여 주변영역과 구별되는 색상이며 급격한 색상차를 갖는 상기 적어도 하나의 활주로 보조선별 대응되는 모서리 포인트들을 검출하는 보조선 포인트 검출부(131)와, 상기 활주로 보조선별 모서리 포인트들에 대하여 허프 변환(Hough Transform)을 적용하여 국소값을 갖는 직선을 정합되는 상기 활주로 보조선으로 분류하는 보조선 정합부(132)와, 상기 착륙지 영상의 소정 연속 프레임에서 검출된 활주로 보조선 간의 기울기 변화량과 상기 검출된 활주로 영역의 중심점 위치 변화량이 기설정된 한계값을 벗어나지 않는 경우에만 활주로 보조선 검출 작업을 지속하는 보조선 추적부(133)를 포함하여 구성된다. The auxiliary line detecting unit 130 applies a Sobel corner detector to the landing image to detect corresponding corner points of the at least one runway auxiliary line having a color distinct from the surrounding area and having a sharp color difference. Ship line point detection unit 131, and the auxiliary line matching unit 132 to classify the straight line having a local value to the runway auxiliary line by applying a Hough transform (Hough Transform) to the corner points of the runway auxiliary line, and An auxiliary line tracking unit for continuing the runway auxiliary line detection operation only when the inclination change amount between the runway auxiliary line detected in a predetermined continuous frame of the landing image and the detected change in the center point position of the runway area do not deviate from a preset limit value; 133).

상기 위치 제어부(140)는 착륙지 영상의 연속된 소정의 프레임에서 검출된 활주로 보조선의 기울기와 활주로 영역의 중심점 위치에 대한 변화량이 기설정된 한계값을 벗어나지 않는 경우에만 상기 검출된 활주로 보조선에 기반하여 상기 무인 항공기의 위치제어를 수행한다. The position control unit 140 is based on the detected runway auxiliary line only when the variation of the slope of the runway auxiliary line detected in a predetermined frame of the landing image and the position of the center point of the runway area does not deviate from a preset limit value. Position control of the unmanned aerial vehicle.

더욱 상세하게는, 상기 위치 제어부(140)는 상기 검출된 활주로 보조선이 길이방향의 두 가장자리 보조선인 경우에는 상기 두 가장자리 보조선의 내부에 상기 무인항공기가 위치하도록 상기 무인 항공기를 제어하고, 상기 검출된 활주로 보조선이 길이방향의 두 가장자리 보조선과, 하나의 중심 보조선인 경우에는 상기 두 가장자리 보조선의 내부에 위치하고, 상기 무인 항공기의 중심 위치와 상기 중심 보조선의 위치가 기설정된 오차범위 내에서 유지되도록 상기 무인 항공기를 제어한다.
More specifically, the position control unit 140 controls the unmanned aerial vehicle so that the unmanned aerial vehicle is located inside the two edge auxiliary lines when the detected runway auxiliary line is two edge auxiliary lines in the longitudinal direction, and the detection is performed. The runway auxiliary line is located at the two edge auxiliary lines in the longitudinal direction, and in the case of one center auxiliary line, the inside of the two edge auxiliary lines, and the center position of the drone and the position of the center auxiliary line are maintained within a preset error range. Control the drone.

이하에서는 본 발명의 실시예에 따른 활주로 보조선 기반의 무인 항공기 위치 제어방법을 도 1과, 도 2 내지 도 12를 참조하여 상세하게 설명하겠다. Hereinafter, a method for controlling the position of an unmanned aircraft based on a runway auxiliary line according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 and 2 to 12.

도 2를 참조하면, 본 발명의 실시예에 따른 무인 항공기 위치 제어방법은 무인 항공기의 착륙지 영상을 획득하는 단계(S10), 활주로 영상 및 비활주로 영상으로 미리 학습된 베이지안 분류기(bayesian classifier)를 이용하여 상기 착륙지 영상을 활주로 영역과 비활주로 영역으로 분류하여 상기 활주로 영역을 검출하는 단계(S20), 상기 검출된 활주로 영역에서 다수의 모서리를 추출하고, 상기 추출된 다수의 모서리에 기반하여 적어도 하나의 활주로 보조선을 검출하는 단계(S30), 상기 검출된 활주로 영역의 크기 및 상기 검출된 활주로 보조선의 위치 중 적어도 어느 하나를 위치제어 기준값으로 이용하여 상기 무인 항공기의 위치를 제어하는 단계(S40)를 포함한다.
Referring to FIG. 2, the method for controlling the position of an unmanned aerial vehicle according to an exemplary embodiment of the present invention includes obtaining a landing image of an unmanned aerial vehicle (S10), and using a Bayesian classifier previously learned as a runway image and a runway image. Classifying the landing image into a runway area and a non-runway area by detecting the runway area (S20), extracting a plurality of edges from the detected runway area, and based at least on the extracted plurality of edges Detecting one runway auxiliary line (S30), controlling the position of the unmanned aerial vehicle using at least one of the size of the detected runway area and the position of the detected runway auxiliary line as a position control reference value (S40) ).

1. 착륙지 영상 획득1. Landing image acquisition

착륙지 영상 획득 단계(S10)에서는, 영상 입력부(110)가 착륙지 영상을 획득하여 획득된 영상을 YUV 컬러공간상의 영상으로 출력한다(S21). 여기서, YUV 컬러공간이란 한 개의 휘도 성분(Y)과 두 개의 색차 성분(U, V)으로 컬러 영상을 표현하는 컬러 공간을 의미한다. YUV 컬러 공간에서는 TV의 영상 표현을 위한 표준 규격으로 사용되며 전달 오류율과 압축 오류율을 줄이기 위해 색차 성분(U, V)의 표현 범위가 제한되어 있다. 이로 인해 영상 처리 과정에서 RGB 컬러 공간을 사용하는 것과 비교하여 정보의 손실을 감수할 수밖에 없다. In the landing image acquisition step (S10), the image input unit 110 obtains the landing image and outputs the obtained image as an image on the YUV color space (S21). Here, the YUV color space means a color space that represents a color image with one luminance component (Y) and two color difference components (U, V). The YUV color space is used as a standard for displaying images of TVs, and the range of expression of chrominance components (U and V) is limited to reduce transmission error rate and compression error rate. This results in loss of information compared to using RGB color space in image processing.

도 3(a),(b),(c)의 각각은 YUV 컬러 공간상에서의 입력된 영상의 Y 영상, U 영상 및 V 영상을 도시한 것이고, 도 4(a),(b),(c)의 각각은 RGB 컬러 공간상에서의 입력된 영상의 R 영상, G 영상 및 B 영상을 도시한 것이다.3 (a), 3 (b) and 3 (c) show the Y image, the U image and the V image of the input image in the YUV color space, and FIGS. 4 (a), (b) and (c). Each of Rx) shows R, G and B images of the input image in the RGB color space.

도 3을 참조하면, YUV 컬러 공간을 사용하는 경우 색차 성분(U, V)에서 RGB성분에 비해 표현 범위의 제한으로 정보의 손실이 발생한 것을 확인할 수 있다. Referring to FIG. 3, it can be seen that when the YUV color space is used, loss of information occurs due to the limitation of the expression range in the color difference components (U, V) compared to the RGB components.

DSP 개발 보드에 입력되는 아날로그 카메라(110)의 입력 영상은 YUV 컬러 공간을 사용한다. 본 실시예에서는 YUV 컬러 공간을 사용할 경우 정보 손실로 인한 영상 처리시 성능 저하가 예상되지만, RGB 컬러 공간으로 변환시 많은 연산량이 필요하고 변환한다고 하더라도 정보의 복원이 보장되지 못하므로 1차 버전의 영상처리시에는 YUV컬러 공간을 사용하고 사용 컬러 공간 개선에 대해서는 추후 논의하도록 한다.
The input image of the analog camera 110 input to the DSP development board uses a YUV color space. In the present embodiment, when the YUV color space is used, performance degradation is expected when processing the image due to loss of information. However, a large amount of computation is required when converting to the RGB color space, and even when converted, the restoration of the information is not guaranteed. The city will use the YUV color space and discuss further improvement of the color space used.

2 활주로 영역 검출2 runway area detection

활주로 영역 검출 단계(S20)에서는 활주로 검출부(120)가 입력 영상(착륙지 영상) 내에서 착륙을 수행할 활주로 영역을 타 영역으로부터 검출하고 특정 개수 프레임 이상 안정적인 검출이 되는 영역에 대하여 추적을 수행한다. In the runway area detection step (S20), the runway detection unit 120 detects a runway area to be landed in an input image (landing image) from another area and tracks an area that is stably detected for a specific number of frames or more. .

활주로 영역 검출 단계(S20)는 세부적으로 획득한 착류지 영상을 활주로 영역과 비활주로 영역으로 분류하는 단계(S21), 상기 분류된 활주로 영영과 비활주로 영역의 각각에 포함된 오류를 제거하는 단계(S22) 및 상기 오류가 제거된 활주로 영역이 실제 활주로 영역인지를 추적하는 단계(23)로 이루어진다.
The runway area detection step (S20) includes classifying the acquired landing image in detail into a runway area and a non-runway area (S21), and removing an error included in each of the classified runway area and the non-runway area ( S22) and the step 23 of tracking whether the runway area from which the error has been eliminated is an actual runway area.

2.1 활주로 영역과 비활주로 영역 분류2.1 Classification of runway and non-runway areas

활주로 영역 분류 단계(S21)에서는 활주로 검출부(120)의 영역 분류부(121)가 영상 획득부(110)에서 입력받은 착륙지 영상을 활주로 영역과 비활주로 영역으로 분류한다. In the runway area classification step S21, the area classification unit 121 of the runway detection unit 120 classifies the landing image received by the image acquisition unit 110 into a runway area and a non-runway area.

더욱 상세하게는, 영역 분류부(121)가 너비 w, 높이 h인 카메라(11)가 획득한 상기 착륙지 영상 I에 포함된 w x h 개의 픽셀들에서 활주로 영역에 포함된 픽셀들을 검출해낸다(S21). 이미지에서 관심영역을 검출해내는 기술을 Computer Vision 분야에서는 Image Segmentation이라고 하며 얼굴 영역 검출기의 한 기술로서 활발히 연구되어왔고, 이와 같은 Image Segmentation 기술은 Skin Detector 뿐 아니라, 패턴인식이나 물체 검출 등의 다양한 기술을 위한 전처리기로서 활용되고 있다. More specifically, the area classification unit 121 detects pixels included in the runway area from the wxh pixels included in the landing image I acquired by the camera 11 having a width w and a height h (S21). . Detecting the region of interest in the image is called Image Segmentation in the field of Computer Vision, and has been actively studied as a technology of the face area detector. Such image segmentation technology is not only a skin detector but also various technologies such as pattern recognition and object detection. It is being used as a preprocessor for.

현재 다양한 Image Segmentation 기술들이 존재하나 각 기술들에 대한 정량적이고 절대적인 성능 비교는 어려우며 Skin Detector응용 분야에 대해서는 확률 모델에 기반한 베이지안 분류기(Bayesian Classifier)가 가장 좋은 성능을 보이는 것으로 조사되었다. 본 실시에서도 활주로 영역 검출을 위하여 베이지안 분류기(Bayesian Classifier)를 적용하였다. 본 실시예에서 적용된 베이지안 분류기(Bayesian Classifier)의 분류 규칙은 수식 (1)과 같다. Although there are various image segmentation techniques at present, it is difficult to compare the quantitative and absolute performance of each technique. Bayesian Classifier based on probability model is the best for skin detector application. In this embodiment, Bayesian Classifier was applied to runway area detection. The classification rule of the Bayesian Classifier applied in this embodiment is shown in Equation (1).

Figure 112010049455608-pat00001
----------------(1)
Figure 112010049455608-pat00001
----------------(One)

여기서, P(ㆍ|ㆍ)는 조건부 확률이고, {y, u, v}는 YUV 컬러 값이고, L은 분류 라벨이고, c는 상수이다. Where P (· | ·) is a conditional probability, {y, u, v} is a YUV color value, L is a classification label, and c is a constant.

따라서 활주로 영역 검출에 베이지안 분류기(Bayesian Classifier)를 적용하기 위해서는 활주로 영역과 비 활주로 영역에 대한 사후확률(Posterior Probability) P({y,u,v} | Ltrue), P({y,u,v} | LFalse)를 획득하여야 한다. Therefore, in order to apply the Bayesian Classifier to runway area detection, the posterior probability P ({y, u, v} | L true ), P ({y, u, v} | L False ).

도 5는 활주로 영역과 비활주로 영역의 이미지를 이용한 베이지안 확률 모델 학습기를 도시한 것이고, 도 6은 도 5에서와 같이 학습된 베이지안 확률 모델을 이용하여 획득된 착류지 영상에서 활주로 영역을 분리하는 예를 도시한 것이다. FIG. 5 illustrates a Bayesian probability model learner using images of a runway region and a non-runway region, and FIG. 6 illustrates an example of separating a runway region from a landing image acquired using a trained Bayesian probability model as shown in FIG. 5. It is shown.

도 5를 참조하면, 사후확률 획득을 위하여 활주로 영역과 비활주로 영역에 대하여 미리 촬영된 영상으로 학습 세트를 생성하였으며 이로부터 활주로 영역과 비활주로 영역에 대해 Y, U, V 컬러 공간상에서의 확률 모델을 학습시킬 수 있다.Referring to FIG. 5, a learning set was generated by pre-recorded images of a runway region and a non-runway region to obtain a posterior probability. From this, a probability model in the Y, U, and V color spaces of the runway region and the non-runway region was generated. Can learn.

이렇게 학습된 사후확률을 이용하여 특정한 Y, U, V 값을 가지는 이미지 픽셀에 대하여 조건부 확률을 계산할 수 있으며 특정한 경계값(threshold)을 지정함으로써 다음과 같이 활주로 영역에 해당하는 픽셀과 비활주로 영역에 해당하는 픽셀을 분류해낼 수 있다.
Using this learned posterior probability, conditional probabilities can be calculated for image pixels with specific Y, U, and V values. By specifying specific thresholds, pixels and runway areas corresponding to the runway area are defined as follows: You can classify the corresponding pixels.

2.2 분류된 영역의 오류 제거 2.2 Eliminating Errors in Classified Zones

상기와 같이 학습된 확률모델을 이용하여 활주로 영역과 비활주로 영역으로 입력영상을 분류한 경우에도, 활주로 픽셀이지만 비활주로 픽셀로 제거되었거나 비활주로 픽셀이면서도 활주로 픽셀로 검출된 오검출 결과가 발생할 수 있다. Even when the input image is classified into a runway area and a non-runway area by using the trained probability model as described above, a false detection result may be detected as a runway pixel but a non-runway pixel or a runway pixel detected as a runway pixel. .

따라서 분류된 영역의 오류 제거 단계(S22)에서는 오류 제거부(122)가 오검출된 비활주로 픽셀들을 제거하고 오제거된 활주로 픽셀을 복원하기 위하여 활주로 픽셀들의 이미지 내 분포 밀집도를 고려하여 분류 오류를 제거한다(S22). 도 7은 착륙지 영상의 영역 분류 오류를 제거하기 위하여 활주로 영역과 비활주로 영역으로 분류된 영상을 분할하는 방식을 도시한 것이다. 도 7을 참조하면, 도 오류 제거부(122)는 이미지를 k픽셀 x t픽셀 크기를 가지고, 서로 겹치지 않는 섹터로 구분하고 섹터 영역내부에 포함된 활주로 픽셀의 개수를 측정하여 특정 개수 이상의 활주로 픽셀을 포함하는 섹터를 활주로 섹터로 추출한다. 이러한 방식의 오류 제거부(122)는 활주로 픽셀 분포 밀도 필터가 될 수 있으며, 다음과 같은 장점이 있다. Therefore, in the error elimination step S22 of the classified region, the error eliminator 122 removes the misdetected non-runway pixels and removes the classification error in consideration of the distribution density in the image of the runway pixels in order to restore the misremoved runway pixels. Remove (S22). FIG. 7 illustrates a method of dividing an image classified into a runway area and a non-runway area in order to remove an area classification error of the landing image. Referring to FIG. 7, the diagram error removing unit 122 divides an image into k-pixel xt-pixel sizes, and divides the image into a non-overlapping sector and measures the number of runway pixels included in a sector area to determine a plurality of runway pixels. The containing sector is extracted as a runway sector. The error canceling unit 122 in this manner may be a runway pixel distribution density filter, and has the following advantages.

이와 같은 오류 제거 방식은 활주로 픽셀 검출 모듈에서 발생한 오검출 비활주로 픽셀 제거할 수 있고, 활주로 픽셀 검출 모듈에서 발생한 오제거 활주로 픽셀 복원할 수 있으며, 활주로 영역 군집화 모듈에서의 연산량을 줄일 수 있고, 이미지 다운 샘플링(downsamplilng)에서 발생가능한 이미지 정보 손실 차단할 수 있는 장점이 있다.
This method of error elimination can remove the misdetected non-runway pixels generated by the runway pixel detection module, restore the misrepresented runway pixels generated by the runway pixel detection module, and reduce the amount of computation in the runway area clustering module. It has the advantage of blocking image information loss that may occur in downsamplilng.

일반적으로 이미지 내 위치한 활주로 영역은 소수개의 픽셀 또는 섹터보다 큰 크기를 가지므로, 전단계에서 검출된 활주로 섹터들 중 인접한 것들을 연결 요소 분석(CCA, Connected Component Analysis)를 이용하여 군집화시킨다. CCA는 위치상 인접한 요소들을 하나의 그룹으로 군집화하는 방법론에는 상하 좌우 요소의 인접성만을 고려한 4-connectivity 방법론과 주변 8개의 요소들을 고려하는 8-connectivity 방법이 있다. In general, since the runway area located in the image has a size larger than a few pixels or sectors, adjacent ones of the runway sectors detected in the previous step are clustered by using connected component analysis (CCA). CCA clusters positionally adjacent elements into one group, and there is a 4-connectivity method that considers only the proximity of upper, lower, left, and right elements, and an 8-connectivity method that considers around eight elements.

도 8에는 활주로 영역과 비활주로 영역이 분류된 영상과, 8-connectivity 연결 요소 분석법을 이용하여 영역분류된 영상에서 오류를 제거한 영상을 도시하고 있다. FIG. 8 illustrates an image in which the runway area and the non-runway area are classified, and an image in which errors are removed from the area classified using the 8-connectivity connection element analysis method.

본 실시예에서 적용한 결과, 실제 활주로 픽셀 분포 밀도 필터의 결과를 분석해본 결과 4-connectivity 방법론을 적용할 경우 활주로 영역이 이분할 되는 문제점이 발생하여 8-connectivity적용하였다. CCA를 적용하여 상기 검출된 섹터들을 군집화함으로써 특정 크기, 밀도, 모양을 가지는 영역을 활주로로 분리해내고 전단계에서 발생한 오검출된 섹터들을 제거할 수 있다.
As a result of applying this embodiment, when analyzing the results of the actual runway pixel distribution density filter, when the 4-connectivity methodology was applied, the runway area was divided into two, and 8-connectivity was applied. By applying the CCA to cluster the detected sectors, an area having a specific size, density, and shape can be separated into a runway, and false detection sectors generated in the previous step can be removed.

3. 활주로 영역의 추적3. Tracking of runway areas

활주로 영역을 추적하는 단계(S23)에서는, 영역 추적부(123)가 검출된 활주로 영역의 크기 변화량 또는 중심점 위치 변화량에 기반하여 활주로 영역을 추적한다.In the step S23 of tracking the runway area, the area tracking unit 123 tracks the runway area based on the detected change in the size of the runway area or the change in the center point position.

더욱 상세하게는, 카메라(110)에 입력된 영상은 조명, 날씨 등의 환경 조건 변화에 따라 민감하게 반응하고, 활주로를 포함하는 영상은 활주로와 유사한 다양한 환경 요소를 포함하므로 단일 프레임 영상에서의 활주로 검출 모듈은 outlier를 발생시킬 확률이 높다.More specifically, the image input to the camera 110 reacts sensitively to changes in environmental conditions such as lighting and weather, and the image including the runway includes a variety of environmental elements similar to the runway, so the runway in the single frame image The detection module is likely to generate an outlier.

따라서 특정 개수 이상의 프레임들에서 일정한 수준의 연속성을 보이는 활주로 영역만을 선별함으로써 데이터 신뢰도를 높일 수 있다. 영상을 이용하여 물체 추적을 수행하는 경우에는 사후 영상에서의 물체 정보를 확률적으로 예측하는 확률적 모델을 적용하는 것이 다른 방법에 의한 경우보다 좋은 결과를 얻을 수 있다. Therefore, data reliability can be improved by selecting only the runway area showing a certain level of continuity in a certain number of frames or more. In the case of object tracking using an image, applying a probabilistic model that probabilistically predicts object information in a post image may yield better results than in other methods.

특히 가우시안 확률 모델에 기반한 Kalman Filter Tracking, 램덤 내부 파라미터 변화를 고려한 Particle Filter Tracking 등이 있으나 본 실시예에서는 DSP 보드의 연산량을 고려하여 검출된 활주로 영역의 크기와 중심점의 위치 변화량만을 고려한 추적을 수행한다. 즉, 특정 개수의 프레임에서 검출된 활주로 영역의 크기 및 위치가 큰 변화를 보이지 않는 경우 추적 물체로 등록하여 추적하고 매 프레임 정보를 갱신한다. 추적 중인 활주로 영역이 특정 개수의 프레임동안 연속으로 유사한 크기 및 중심점 위치를 유지하지 못하는 경우 추적을 해제한다.
Particularly, there are Kalman Filter Tracking based on Gaussian Probabilistic Model and Particle Filter Tracking considering random internal parameter change. However, in this embodiment, tracking is performed considering only the size of the detected runway area and the position change of the center point in consideration of the amount of computation of the DSP board. . That is, when the size and position of the runway area detected in a certain number of frames do not show a large change, it is registered as a tracking object and tracked and updated every frame information. If the runway area being tracked does not maintain similar size and center point position continuously for a certain number of frames, release tracking.

3 활주로 보조선 검출3 Runway Auxiliary Line Detection

활주로 보조선을 검출하는 단계(S30)에서는 보조선 검출부(130)가 검출된 활주로 영역에서 다수의 모서리를 추출하고, 상기 추출된 다수의 모서리에 기반하여 적어도 하나의 활주로 보조선을 검출한다. 활주로 보조선 검출단계(S30)는 활주로 보조선 포인트 검출하는 단계(S31)와, 검출된 활주로 보조선 포인트에 기반한 활주로 보조선을 정합하는 단계(33)를 포함하고, 바람직하게는 검출된 활주로 보조선 추적단계(S33)를 포함하여 이루어진다.
In the detecting of the runway auxiliary line (S30), the auxiliary line detector 130 extracts a plurality of edges from the detected runway area and detects at least one runway auxiliary line based on the extracted plurality of edges. The runway auxiliary line detecting step S30 includes detecting the runway auxiliary line point S31 and matching the runway auxiliary line based on the detected runway auxiliary line point, preferably the detected runway beam. Shipbuilding tracking step (S33) is made.

3.1 모서리 포인트 검출3.1 Edge point detection

활주로 보조선 포인트 검출 단계(S31)에서는 포인트 검출부(131)가 각 활주로 보조선에 포함된 포인트들을 추출하며, 소벨 모서리 검출기(Sobel edge detector)를 이용하여 모서리 포인트들을 검출한다. 활주로 보조선에 포함되는 픽셀들이 이미지상의 모서리 영역에 포함되는 것은 활주로 보조선의 색상은 흰색이며, 활주로 보조선 영역은 주변부(활주로)에 비해 급격한 색상차를 가지는 환경적 특성에 근거한다.In the runway auxiliary line point detection step S31, the point detector 131 extracts points included in each runway auxiliary line, and detects corner points by using a Sobel edge detector. The pixels included in the runway auxiliary line are included in the corner area of the image based on an environmental characteristic that the color of the runway auxiliary line is white and the runway auxiliary line area has a sharp color difference compared to the periphery (the runway).

도 9는 입력된 착륙지 영상에 대하여 모서리 마스크를 이용하여 모서리를 추출한 영상을 도시한 것이다 .9 illustrates an image of extracting corners using an edge mask with respect to the input landing image.

도 9에 도시된 바와 같이, 카메라(110)로부터 입력된 영상에 대하여 밑의 그림에서 표현된 모서리 마스크로 이미지 전체 영역에 대해 스캐닝함으로써, 수직 모서리 성분과 수평 모서리 성분을 모두 고려한 모서리 성분을 검출할 수 있다. 실제적으로는 DSP 보드상에서의 연산량을 최소화하기 위하여 추적되는 활주로 영역 내부에 대해서만 모서리 검출을 수행한다.As shown in FIG. 9, by scanning the image input from the camera 110 over the entire area of the image with the edge mask represented in the following figure, the edge component considering both the vertical edge component and the horizontal edge component can be detected. Can be. In practice, edge detection is only performed inside the runway area being tracked to minimize the amount of computation on the DSP board.

도 10 및 11은 다수의 보조선이 포함된 활주로 영상과 보조선별 검출된 모서리 포인트의 분류 결과를 도시한 것이다. 10 and 11 illustrate classification results of a runway image including a plurality of auxiliary lines and edge points detected for each auxiliary line.

도 10 및 11을 참조하면, 포인트 검출부(131)는 중앙선 1개, 외각선 2개, 총 3개의 보조선에 대하여 선정합을 수행하기 위해서는 전 단계에서 추출된 모서리 포인트들을 각 보조선에 포함되는 세가지 선영역에 대해 분류해야한다. 이러한 작업을 위해서는 영상을 획득하는 카메라(110)와 실제 Scene간의 기하 정보를 알아야 하지만, 현재 이에 대한 정보를 획득할 수 없으므로 영상을 획득하는 카메라(110)의 rolling 각도가 -90도에서 90도의 범위에 존재한다는 가정한다. 이후 선택된 활주로 영역 내에서 y축방향으로 특정 간격으로 scanning line을 설정하고 각 scanning line에서 x축 방향으로 활주로 섹터들이 존재하는 최소 x 좌표와 최대 x좌표를 계산한다. 이 범위내에서 scanning line의 특정 간격을 가지는 외각부와 중앙부에 범위를 재설정하고 각 범위에 속하는 모서리 포인트를 검출하여 이를 각 보조선에 포함된 포인트들로 분류한다.
Referring to FIGS. 10 and 11, the point detector 131 includes the corner points extracted in the previous step in each auxiliary line in order to perform the selection sum on one auxiliary line, two outer lines, and three auxiliary lines. Three line areas should be classified. For this operation, we need to know the geometric information between the camera 110 that acquires the image and the actual scene. However, since the information about this cannot be obtained at present, the rolling angle of the camera 110 that acquires the image ranges from -90 to 90 degrees. Assume that it exists in Thereafter, scanning lines are set at specific intervals in the y-axis direction within the selected runway area, and the minimum x coordinates and the maximum x coordinates in which the runway sectors exist in the x-axis direction at each scanning line are calculated. Within this range, the range is reset to the outer and central portions having a specific interval of the scanning line, and corner points belonging to each range are detected and classified into points included in each auxiliary line.

3.4 활주로 보조선 정합 3.4 Runway Auxiliary Line Matching

보조선 정합부(132)는 전단계에서 허프 변환(Hough Transform)을 이용하여 추출된 보조선별 포인트들에 대하여 선정합을 수행함으로써 활주로의 중앙선 및 보조선을 추출해낼 수 있다. 허프 변환(Hough Transform)은 각 직선을 원점으로부터의 거리

Figure 112010049455608-pat00002
과 직선의 원점 기준 회전 각도
Figure 112010049455608-pat00003
로 표현하고 표현 가능한 모든 선에 대하여 포인트들에 대한 cost function을 계산하여 local minimum cost값을 가지는 직선을 정합되는 직선으로 선별하는 방법론이다. The auxiliary line matching unit 132 may extract the centerline and the auxiliary line of the runway by performing the selection sum on the points for each auxiliary line extracted by the Hough transform in the previous step. Hough Transform is the distance from the origin to each straight line.
Figure 112010049455608-pat00002
Rotation angle around the origin
Figure 112010049455608-pat00003
It is a methodology that selects the straight line with the local minimum cost value as the matching straight line by calculating the cost function for the points for all possible lines.

도 12는 각 보조선별로 분류된 모서리 포인트에 대하여 허프 변화를 적용하여 활주로 보조선을 정합하는 과정을 도시하고 있다. FIG. 12 illustrates a process of registering runway auxiliary lines by applying a Hough change to corner points classified for each auxiliary line.

도 12를 참조하면, 2D 공간상에 표시된 활주로 보조선별 모서리 포인트들에 허프변활을 적용하면, 각 보조선을 정합하여 각각의 보조선 즉 두 개의 활주로 가장자리 보조선과, 하나의 활주로 중앙 보조선이 검출된다. 일반적으로 포인트와 직선간의 직선거리를 cost로 설정하는 square error distance방법이 사용되지만, 본 실시예에서는 DSP보드 상에서의 연산량 최소를 위해 직선과 포인트간의 x좌표 거리만을 cost값에 포함시키도록 하였다.
Referring to FIG. 12, when Huff change is applied to edge points of each runway auxiliary line displayed in 2D space, each auxiliary line is matched to detect each auxiliary line, that is, two runway edge auxiliary lines, and one runway center auxiliary line. do. In general, the square error distance method of setting a straight line distance between a point and a straight line is used as a cost. However, in the present embodiment, only the x coordinate distance between the straight line and the point is included in the cost value to minimize the amount of calculation on the DSP board.

3.4 활주로 보조선 추적3.4 Runway Tracking

앞선 활주로 영역 추적 모듈과 같이 허프 변환(hough transform)을 이용한 보조선 정합은 아웃 라이어(outlier)를 포함할 가능성이 있다. 즉, 허프 변환(hough transform)에 의해 정합된 보조선이 최적화된 선이 아닌 경우, 또는 허프 변환에 이용된 보조선별 후보 포인트들이 부정확한 경우 최종적으로 정합된 선들은 바람직하지 않은 선일 수 있다. 따라서, 보조선 추적부(133)는 이러한 outlie를 제거하기 위해 연속된 프레임에서 추출된 중앙선 및 외각선의 프레임별 격차가 크지 않다는 가정하고 특정 개수의 프레임에서 유사한 기울기 및 중심점을 가지는 경우 추적을 수행한다. 추적 진행중인 직선 중 특정 개수의 프레임동안 기울기 및 중심점의 변화량이 큰 경우 추적을 해제한다.
As with the previous runway area tracking module, auxiliary line registration using a hough transform is likely to include an outlier. That is, when the auxiliary lines matched by the hough transform are not optimized lines, or when candidate points for each auxiliary line used for the Hough transform are incorrect, the finally matched lines may be undesirable lines. Accordingly, the auxiliary line tracking unit 133 performs tracking in the case of having similar slopes and center points in a specific number of frames, assuming that the frame-by-frame gap between the center line and the outer line extracted from the continuous frames is not large to remove such outlie. . If the amount of change in the slope and the center point is large during a certain number of frames, the tracking is released.

4. 무인 항공기의 위치 제어4. Position control of drone

위치 제어 단계(S40)에서는, 위치 제어부(140)가 상기 착륙지 영상의 연속된 소정의 프레임에서 검출된 활주로 보조선의 기울기와 활주로 영역의 중심점 위치에 대한 변화량이 기설정된 제어 한계치을 벗어나지 않는 경우에만 상기 검출된 활주로 보조선에 기반하여 상기 무인 항공기의 위치제어를 수행한다. In the position control step (S40), the position control unit 140 is only when the slope of the runway auxiliary line detected in the predetermined frame of the landing image and the amount of change in the center point position of the runway area does not deviate from the preset control limit value. Position control of the unmanned aerial vehicle is performed based on the detected runway auxiliary line.

구제적으로는, 위치 제어부(140)는 활주로 길이방향의 두 가장자리 보조선이 검출된 경우에는 상기 두 가장자리 보조선의 내부에 무인 항공기(150)가 위치하도록 상기 무인 항공기를 제어하고, 상기 길이방향의 두 가장자리 보조선과 하나의 중심 보조선이 검출된 경우에는 상기 두 가장자리 보조선의 내부에서 상기 무인 항공기의 중심 위치와 상기 중심 보조선의 위치가 기설정된 오차범위 내에서 유지되도록 상기 무인 항공기를 제어한다.
In detail, the position control unit 140 controls the unmanned aerial vehicle so that the unmanned aerial vehicle 150 is positioned inside the two edge auxiliary lines when the two edge auxiliary lines in the runway length direction are detected, When two edge auxiliary lines and one center auxiliary line are detected, the unmanned aerial vehicle is controlled to maintain the center position of the unmanned aerial vehicle and the position of the center auxiliary line in the two edge auxiliary lines.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications, changes, and substitutions may be made by those skilled in the art without departing from the essential characteristics of the present invention. will be. Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are not intended to limit the technical spirit of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by the embodiments and the accompanying drawings. . The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

110 : 영상 입력부 120 : 활주로 검출부
121 : 활주로 영역 분류부 122 : 오류 제거부
123 : 영역 추적부 130 : 활주로 보조선 검출부
131 : 포인트 검출부 132 : 보조선 정합부
133 : 보조선 추적부 130 : 위치 제어부
140 : 무인 항공기(UAV)110: image input unit 120: runway detection unit
121: runway area classification unit 122: error removal unit
123: area tracking unit 130: runway auxiliary line detection unit
131: point detection unit 132: auxiliary line matching unit
133: auxiliary line tracking unit 130: position control unit
140: unmanned aerial vehicle (UAV)

Claims (20)

무인 항공기의 착륙지 영상을 획득하는 영상 입력부;
활주로 영상 및 비활주로 영상으로 미리 학습된 베이지안 분류기(bayesian classifier)를 이용하여 상기 착륙지 영상에서 활주로 영역을 검출하는 활주로 검출부;
상기 검출된 활주로 영역에서 다수의 모서리를 추출하고, 상기 추출된 다수의 모서리에 기반하여 적어도 하나의 활주로 보조선을 검출하는 보조선 검출부; 및
상기 검출된 활주로 영역의 크기 및 상기 검출된 활주로 보조선의 위치 중 적어도 어느 하나를 위치제어 기준값으로 이용하여 상기 무인 항공기의 위치를 제어하는 위치 제어부를 포함하고,
상기 영상 입력부는 상기 획득된 착륙지 영상을 YUV 컬러 공간 상의 영상으로 출력하는 것을 특징으로 하는 무인 항공기의 위치 제어장치. An image input unit which acquires an image of a landing place of the drone;
A runway detector that detects a runway area in the landing image by using a Bayesian classifier previously trained as a runway image and a runway image;
An auxiliary line detector for extracting a plurality of edges from the detected runway area and detecting at least one runway auxiliary line based on the extracted plurality of edges; And
And a position control unit configured to control the position of the unmanned aerial vehicle using at least one of the size of the detected runway area and the position of the detected runway auxiliary line as a position control reference value.
And the image input unit outputs the acquired landing image as an image on a YUV color space. 제1항에 있어서,
상기 활주로 검출부는,
상기 베이지안 분류기(bayesian classifier)를 이용하여 상기 착륙지 영상을 픽셀단위로 활주로 영역과 비활주로 영역으로 분류하는 영역 분류부;
상기 착륙지 영상을 다수의 픽셀들로 구성된 서브 영상들로 분할하고 상기 다수의 픽셀들 중 비활주로 영역에 해당하는 픽셀 수가 기준값 이상이고 해당 서브 영상이 활주로 영역으로 분류된 경우에는 해당 서브 영상을 활주로 영역에 제거하는 오류 제거부; 및
상기 검출된 활주로 영역의 크기 변화량 또는 중심점 위치 변화량이 기설정된 변화량 한계값 이내인 경우에만 활주로 영역의 검출 작업을 지속하는 활주로 영역 추적부를 포함하는 것을 특징으로 하는 무인 항공기의 위치 제어장치.The method of claim 1,
The runway detection unit,
An area classifier configured to classify the landing image into a runway area and a non-runway area by pixel unit using the Bayesian classifier;
When the landing image is divided into sub-images composed of a plurality of pixels, and the number of pixels corresponding to the non-runway area among the plurality of pixels is equal to or larger than a reference value and the sub-image is classified as a runway area, the sub-image is runway. An error removal unit for removing the area; And
And a runway area tracking unit for continuing the detection of the runway area only when the detected amount of change in the runway area size or the center point position change amount is within a predetermined change amount limit value. 제2항에 있어서,
상기 오류 제거부는, 상기 분할된 서브 영상들의 각각을 구성하는 픽셀들 중 활주로 영역에 해당하는 픽셀 수가 기준값 이상이고 해당 서브 영상이 비활주로 영역으로 분류된 경우에는 해당 서브 영상을 활주로 영역으로 복원하는 것을 특징으로 하는 무인 항공기의 위치 제어장치.The method of claim 2,
The error removing unit may restore the sub image to the runway area when the number of pixels corresponding to the runway area among the pixels constituting each of the divided sub-images is equal to or larger than a reference value and the sub image is classified as the non-runway area. Position control device of the unmanned aerial vehicle. 제2항 또는 제3항에 있어서,
상기 오류 제거부는 상기 착륙지 영상에 인접한 요소들을 하나의 그룹으로 군집화하고, 상기 군집화된 영상의 크기, 밀도, 모양에 기초하여 상기 분류된 활주로 영역 및 비활주로 영역에서 오류를 제거하는 것을 특징으로 하는 무인 항공기의 위치 제어장치.The method according to claim 2 or 3,
The error removing unit clusters elements adjacent to the landing image into a group, and removes errors from the classified runway area and non-runway area based on the size, density, and shape of the clustered image. Position control of unmanned aerial vehicles. 제1항에 있어서
상기 보조선 검출부는,
상기 착륙지 영상에 소벨(Sobel) 모서리 검출기를 적용하여 주변영역과 구별되는 색상이며 급격한 색상차를 갖는 상기 적어도 하나의 활주로 보조선별 대응되는 모서리 포인트들을 검출하는 보조선 포인트 검출부;
상기 활주로 보조선별 모서리 포인트들에 대하여 허프 변환(Hough Transform)을 적용하여 국소값을 갖는 직선을 정합되는 상기 활주로 보조선으로 분류하는 보조선 정합부; 및
상기 착륙지 영상의 소정 연속 프레임에서 검출된 활주로 보조선 간의 기울기 변화량과 상기 검출된 활주로 영역의 중심점 위치 변화량이 기설정된 한계값을 벗어나지 않는 경우에만 활주로 보조선 검출 작업을 지속하는 보조선 추적부를 포함하는 것을 특징으로 하는 무인 항공기의 위치 제어장치. The method of claim 1
The auxiliary line detector,
An auxiliary line point detection unit detecting a corner point corresponding to each of the at least one runway auxiliary line by applying a Sobel edge detector to the landing image, the color being distinct from the surrounding area and having a sharp color difference;
An auxiliary line matching unit for classifying a straight line having a local value as the runway auxiliary line by applying a Hough Transform to the corner points of each runway auxiliary line; And
And an auxiliary line tracking unit for continuing the runway auxiliary line detecting operation only when the inclination change amount between the runway auxiliary line detected in the predetermined continuous frame of the landing image and the detected change of the center point position of the detected runway area do not deviate from a preset limit value. Position control device of the drone, characterized in that. 제1항에 있어서
상기 위치 제어부는, 상기 착륙지 영상의 연속된 소정의 프레임에서 검출된 활주로 보조선의 기울기와 활주로 영역의 중심점 위치에 대한 변화량이 기설정된 한계값을 벗어나지 않는 경우에만 상기 검출된 활주로 보조선에 기반하여 상기 무인 항공기의 위치제어를 수행하는 것을 특징으로 하는 무인 항공기의 위치 제어장치. The method of claim 1
The position control unit may be configured based on the detected runway auxiliary line only when the amount of change in the slope of the runway auxiliary line detected in a predetermined frame of the landing image and the position of the center point of the runway area does not deviate from a preset limit value. Position control device of the unmanned aerial vehicle, characterized in that for performing the position control of the unmanned aerial vehicle. 제6항에 있어서
상기 위치 제어부는 상기 검출된 활주로 보조선이 길이방향의 두 가장자리 보조선인 경우에는 상기 두 가장자리 보조선의 내부에 상기 무인항공기가 위치하도록 상기 무인 항공기를 제어하는 것을 특징으로 하는 무인 항공기의 위치 제어장치.The method of claim 6
And the position control unit controls the unmanned aerial vehicle so that the unmanned aerial vehicle is positioned inside the two edge auxiliary lines when the detected runway auxiliary line is two edge auxiliary lines in the longitudinal direction. 제6항에 있어서
상기 위치 제어부는 상기 검출된 활주로 보조선이 길이방향의 두 가장자리 보조선과, 하나의 중심 보조선인 경우에는 상기 두 가장자리 보조선의 내부에 위치하고, 상기 무인 항공기의 중심 위치와 상기 중심 보조선의 위치가 기설정된 오차범위 내에서 유지되도록 상기 무인 항공기를 제어하는 것을 특징으로 하는 무인 항공기의 위치 제어장치.The method of claim 6
The position control unit is located inside the two edge auxiliary line if the detected runway auxiliary line in the longitudinal direction and one center auxiliary line, the center position of the unmanned aerial vehicle and the position of the center auxiliary line is preset Position control device of the unmanned aerial vehicle, characterized in that for controlling the unmanned aerial vehicle to be maintained within the error range. 삭제delete (a) 무인 항공기의 착륙지 영상을 획득하는 단계;
(b) 활주로 영상 및 비활주로 영상으로 미리 학습된 베이지안 분류기(bayesian classifier)를 이용하여 상기 착륙지 영상을 활주로 영역과 비활주로 영역으로 분류하여 상기 활주로 영역을 검출하는 단계;
(c) 상기 검출된 활주로 영역에서 다수의 모서리를 추출하고, 상기 추출된 다수의 모서리에 기반하여 적어도 하나의 활주로 보조선을 검출하는 단계; 및
(d) 상기 검출된 활주로 영역의 크기 및 상기 검출된 활주로 보조선의 위치 중 적어도 어느 하나를 위치제어 기준값으로 이용하여 상기 무인 항공기의 위치를 제어하는 단계를 포함하고,
상기 (d) 단계는, 상기 착륙지 영상의 연속된 소정의 프레임에서 검출된 활주로 보조선의 기울기와 활주로 영역의 중심점 위치에 대한 변화량이 기설정된 제어 한계치을 벗어나지 않는 경우에만 상기 검출된 활주로 보조선에 기반하여 상기 무인 항공기의 위치제어를 수행하는 것을 특징으로 하는 무인 항공기의 위치 제어방법.(a) obtaining a landing image of the drone;
(b) detecting the runway area by classifying the landing image into a runway area and a runway area by using a Bayesian classifier previously trained as a runway image and a runway image;
(c) extracting a plurality of edges from the detected runway area and detecting at least one runway auxiliary line based on the extracted plurality of edges; And
(d) controlling the position of the unmanned aerial vehicle using at least one of the size of the detected runway area and the position of the detected runway auxiliary line as a position control reference value;
The step (d) is based on the detected runway auxiliary line only when the variation of the slope of the runway auxiliary line detected in a predetermined frame of the landing image and the position of the center point of the runway area does not deviate from a preset control limit value. Position control method of the unmanned aerial vehicle, characterized in that for performing the position control of the unmanned aerial vehicle. 제10항에 있어서,
상기 (b) 단계에서는,
(b1) 상기 베이지안 분류기(bayesian classifier)가 미리 학습된 내용에 따라 상기 착륙지 영상을 픽셀단위에서 활주로 영역과 비활주로 영역으로 분류하는 단계; 및
(b2) 상기 착륙지 영상을 서브 영상들로 분할하고 상기 분할된 서브 영상들의 각각을 구성하는 픽셀들 중 비활주로 영역에 해당하는 픽셀 수가 기준값 이상이고 해당 서브 영상이 상기 활주로 영역으로 분류된 경우에는 해당 서브 영상을 상기 활주로 영역에서 제거하는 단계를 포함하는 것을 특징으로 하는 무인 항공기의 위치 제어방법.The method of claim 10,
In the step (b),
(b1) classifying the landing image into a runway region and a non-runway region in pixel units according to a previously learned content by a bayesian classifier; And
(b2) when the landing image is divided into sub-images, and the number of pixels corresponding to the non-runway region among the pixels constituting each of the divided sub-images is equal to or greater than a reference value, and the sub-image is classified as the runway region. And removing the corresponding sub image from the runway area. 제11항에 있어서,
상기 (b2)단계에서는, 상기 분할된 서브 영상들의 각각을 구성하는 픽셀들 중 활주로 영역에 해당하는 픽셀 수가 기준값 이상이고 해당 서브 영상이 비활주로 영역으로 분류된 경우에는 해당 서브 영상을 활주로 영역으로 복원하는 것을 특징으로 하는 무인 항공기의 위치 제어방법.The method of claim 11,
In the step (b2), when the number of pixels corresponding to the runway area among the pixels constituting each of the divided sub-images is equal to or greater than a reference value and the sub-image is classified as a runway area, the sub-image is restored to the runway area. Position control method of the drone, characterized in that. 제11항에 있어서,
상기 (b2)단계에서는, 상기 착륙지 영상에서 인접한 요소들을 하나의 그룹으로 군집화하고, 상기 군집화된 영상의 크기, 밀도, 모양에 기초하여 상기 분류된 활주로 영역 및 비활주로 영역에서 오류를 제거하는 것을 특징으로 하는 무인 항공기의 위치 제어방법.The method of claim 11,
In the step (b2), the adjacent elements in the landing image are clustered into a group, and the errors are removed from the classified runway area and the runway area based on the size, density, and shape of the clustered image. Position control method of the unmanned aerial vehicle characterized in that. 제11항에 있어서
상기 (b) 단계는, (b3) 상기 검출된 활주로 영역의 크기 변화량 또는 중심점 위치 변화량이 기설정된 제1한계치 이내인 경우에만 활주로 영역을 추적하는 단계를 추가적으로 포함하는 것을 특징으로 하는 무인 항공기의 위치 제어방법.The method of claim 11,
The step (b) further includes the step of: (b3) tracking the runway area only when the detected change in the size of the runway area or the change in the center point position is within a predetermined first limit value. Control method. 제14항에 있어서
상기 (b3) 단계는, 상기 검출된 활주로 영역의 크기 변화량 또는 중심점 위치 변화량이 상기 제1한계치를 벗어나는 경우에는 상기 활주로 영역의 추적을 중단하고, 상기 착륙지 영상 또는 새롭게 입력된 착륙지 영상으로부터 활주로 영역을 다시 검출하는 것을 특징으로 하는 무인 항공기의 위치 제어방법.The method of claim 14, wherein
In the step (b3), if the detected change in the size of the runway area or the change in the center point position is outside the first limit value, the tracking of the runway area is stopped, and the runway from the landing image or the newly input landing image. A method for controlling the position of an unmanned aerial vehicle characterized by detecting the area again. 제11항에 있어서
상기 (c)단계에서는,
(c1) 상기 착륙지 영상에 소벨(Sobel) 모서리 검출기를 적용하여 주변영역과 구별되는 색상이며 급격한 색상차를 갖는 상기 적어도 하나의 활주로 보조선별 대응되는 모서리 포인트들을 검출하는 단계; 및
(c2) 상기 활주로 보조선별 모서리 포인트들에 대하여 허프 변환(Hough Transform)을 적용하여 국소값을 갖는 직선을 정합되는 상기 활주로 보조선으로 분류하는 단계를 포함하는 것을 특징으로 하는 무인 항공기의 위치 제어방법. The method of claim 11,
In the step (c),
(c1) detecting a corner point corresponding to each of the at least one runway auxiliary line by applying a Sobel edge detector to the landing image, the color being distinct from the surrounding area and having a sharp color difference; And
(c2) applying a hough transform to the corner points of each runway auxiliary line, and classifying a straight line having a local value into the matching runway auxiliary line. . 제16항에 있어서
상기 (c)단계는, (c3) 상기 착륙지 영상의 소정 연속 프레임에서 검출된 활주로 보조선 간의 기울기 변화량과 상기 검출된 활주로 영역의 중심점 위치 변화량이 기설정된 제2한계치 이내인 경우에만 활주로 보조선을 추적하는 단계를 추가적으로 포함하는 것을 특징으로 하는 무인 항공기의 위치 제어방법.The method of claim 16, wherein
In step (c), (c3) the runway auxiliary line only when the inclination change amount between the runway auxiliary line detected in a predetermined continuous frame of the landing image and the center point position change amount of the detected runway area are within a preset second limit value. Position control method of the drone further comprising the step of tracking. 제17항에 있어서
상기 (c3) 단계는, 상기 검출된 활주로 보조선 간의 기울기 변화량과 상기 검출된 활주로 영역의 중심점 위치 변화량이 상기 제2한계치를 벗어나는 경우에는 상기 활주로 보조선의 추적을 중단하고, 상기 착륙지 영상 또는 새롭게 입력된 착륙지 영상으로부터 활주로 영역을 다시 검출하는 것을 특징으로 하는 무인 항공기의 위치 제어방법.The method of claim 17
In the step (c3), when the amount of change in the slope between the detected runway auxiliary line and the change in the position of the center point of the detected runway area are out of the second limit value, the tracking of the runway auxiliary line is stopped and the landing image or the new destination is stopped. And detecting the runway area again from the input landing image. 삭제delete 제10항에 있어서
상기 (d) 단계는 활주로 길이방향의 두 가장자리 보조선이 검출된 경우에는 상기 두 가장자리 보조선의 내부에 상기 무인항공기가 위치하도록 상기 무인 항공기를 제어하고, 상기 길이방향의 두 가장자리 보조선과 하나의 중심 보조선이 검출된 경우에는 상기 두 가장자리 보조선의 내부에서 상기 무인 항공기의 중심 위치와 상기 중심 보조선의 위치가 기설정된 오차범위 내에서 유지되도록 상기 무인 항공기를 제어하는 것을 특징으로 하는 무인 항공기의 위치 제어방법.
The method of claim 10
Step (d) controls the unmanned aerial vehicle so that the unmanned aerial vehicle is located inside the two edge auxiliary lines when the two edge auxiliary lines in the runway longitudinal direction are detected, and the two edge auxiliary lines and one center in the longitudinal direction are controlled. When the auxiliary line is detected, the unmanned aerial vehicle is controlled so that the center position of the unmanned aerial vehicle and the position of the center auxiliary line are maintained within a preset error range within the two edge auxiliary lines. Way.
KR1020100073920A 2010-07-30 2010-07-30 Apparatus for controlling position of uav based on runway extension lines and method thereof KR101050730B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100073920A KR101050730B1 (en) 2010-07-30 2010-07-30 Apparatus for controlling position of uav based on runway extension lines and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100073920A KR101050730B1 (en) 2010-07-30 2010-07-30 Apparatus for controlling position of uav based on runway extension lines and method thereof

Publications (1)

Publication Number Publication Date
KR101050730B1 true KR101050730B1 (en) 2011-07-20

Family

ID=44923882

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100073920A KR101050730B1 (en) 2010-07-30 2010-07-30 Apparatus for controlling position of uav based on runway extension lines and method thereof

Country Status (1)

Country Link
KR (1) KR101050730B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102135725B1 (en) * 2019-06-03 2020-07-20 주식회사 한화 Automatic landing control device and operation method of the same
CN116385475A (en) * 2023-06-06 2023-07-04 四川腾盾科技有限公司 Runway identification and segmentation method for autonomous landing of large fixed-wing unmanned aerial vehicle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6157876A (en) 1999-10-12 2000-12-05 Honeywell International Inc. Method and apparatus for navigating an aircraft from an image of the runway
US6952632B2 (en) * 2002-01-25 2005-10-04 Airbus Method of guiding an aircraft in the final approach phase and a corresponding system
US20090214079A1 (en) 2008-02-27 2009-08-27 Honeywell International Inc. Systems and methods for recognizing a target from a moving platform
KR100985195B1 (en) 2010-01-21 2010-10-05 한국항공우주산업 주식회사 System for automatic taking off and landing of image based

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6157876A (en) 1999-10-12 2000-12-05 Honeywell International Inc. Method and apparatus for navigating an aircraft from an image of the runway
US6952632B2 (en) * 2002-01-25 2005-10-04 Airbus Method of guiding an aircraft in the final approach phase and a corresponding system
US20090214079A1 (en) 2008-02-27 2009-08-27 Honeywell International Inc. Systems and methods for recognizing a target from a moving platform
KR100985195B1 (en) 2010-01-21 2010-10-05 한국항공우주산업 주식회사 System for automatic taking off and landing of image based

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102135725B1 (en) * 2019-06-03 2020-07-20 주식회사 한화 Automatic landing control device and operation method of the same
CN116385475A (en) * 2023-06-06 2023-07-04 四川腾盾科技有限公司 Runway identification and segmentation method for autonomous landing of large fixed-wing unmanned aerial vehicle
CN116385475B (en) * 2023-06-06 2023-08-18 四川腾盾科技有限公司 Runway identification and segmentation method for autonomous landing of large fixed-wing unmanned aerial vehicle

Similar Documents

Publication Publication Date Title
EP2930686B1 (en) Context-aware object detection in aerial photographs/videos using travel path metadata
RU2484531C2 (en) Apparatus for processing video information of security alarm system
Zhou et al. Efficient road detection and tracking for unmanned aerial vehicle
US9465997B2 (en) System and method for detection and tracking of moving objects
KR101709751B1 (en) An automatic monitoring system for dangerous situation of persons in the sea
US20220004796A1 (en) Survey marker, image processing apparatus, image processing method, and program
US9031285B2 (en) Detection of floating objects in maritime video using a mobile camera
KR101737430B1 (en) A method of detecting objects in the image with moving background
KR102514301B1 (en) Device for identifying the situaton of object's conduct using sensor fusion
Liang et al. Aviation video moving-target detection with inter-frame difference
Luo et al. Stationary vehicle detection in aerial surveillance with a UAV
CN110832495A (en) Wave identification method and device, computer readable storage medium and unmanned aerial vehicle
KR101050730B1 (en) Apparatus for controlling position of uav based on runway extension lines and method thereof
KR101542206B1 (en) Method and system for tracking with extraction object using coarse to fine techniques
Ajith et al. Robust method to detect and track the runway during aircraft landing using colour segmentation and runway features
CN113994381A (en) Method for detecting moving object
KR101646580B1 (en) Device and method for detecting/tracking low-body part
KR102528718B1 (en) Drone detection system based on deep learning using SWIR camera
Volkov et al. Devising an image processing method for transport infrastructure monitoring systems
KR20150033047A (en) Method and Apparatus for Preprocessing Image for Detecting Objects
Guo et al. Global-Local MAV Detection Under Challenging Conditions Based on Appearance and Motion
KR102161212B1 (en) System and method for motion detecting
Zhou EKF based object detect and tracking for UAV by using visual-attention-model
US20240020847A1 (en) Inferring the amount of liquid contained in a transparent vessel through image segmentation
CN109754441A (en) Ship tracking based on position prediction and color similarity

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140421

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150522

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160615

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180515

Year of fee payment: 8