KR20230018237A - Gps 신호 수신 불가 시 드론의 회귀 방법 - Google Patents

Gps 신호 수신 불가 시 드론의 회귀 방법 Download PDF

Info

Publication number
KR20230018237A
KR20230018237A KR1020210100174A KR20210100174A KR20230018237A KR 20230018237 A KR20230018237 A KR 20230018237A KR 1020210100174 A KR1020210100174 A KR 1020210100174A KR 20210100174 A KR20210100174 A KR 20210100174A KR 20230018237 A KR20230018237 A KR 20230018237A
Authority
KR
South Korea
Prior art keywords
drone
landing
landing point
value
altitude
Prior art date
Application number
KR1020210100174A
Other languages
English (en)
Other versions
KR102578901B1 (ko
Inventor
박진하
김민경
정하형
Original Assignee
주식회사 아이팝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이팝 filed Critical 주식회사 아이팝
Priority to KR1020210100174A priority Critical patent/KR102578901B1/ko
Publication of KR20230018237A publication Critical patent/KR20230018237A/ko
Application granted granted Critical
Publication of KR102578901B1 publication Critical patent/KR102578901B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B6/00—Internal feedback arrangements for obtaining particular characteristics, e.g. proportional, integral or differential
    • G05B6/02—Internal feedback arrangements for obtaining particular characteristics, e.g. proportional, integral or differential electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/06—Rate of change of altitude or depth
    • G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
    • G06T5/006—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 드론의 운용 도중 GPS 신호를 수신하는 못하는 경우 드론이 착륙 지점으로 회귀하는 방법에 관한 것이다.
본 발명에 따른 드론의 회귀 방법은 드론 비행 시 GPS 신호를 수신하는 못하는 경우 착륙 지점으로 회귀하는 방법에 있어서, 드론에서 GPS 신호 수신을 하지 못하는 경우, IMU 기반으로 드론의 고도를 기 설정된 일정 고도까지 상승시키는 단계(a)와; 드론의 고도가 일정 고도까지 상승하면, 착륙 지점까지의 Yaw 값을 계산하여 드론의 Heading 각을 결정하는 단계(b)와; 결정된 드론 Heading 각에 따라 드론을 회전시킨 후, 착륙 지점까지 직진하며 드론이 비행하는 단계(c)와; 드론의 비행 도중, 드론에 지상을 향하여 설치된 카메라를 통하여 착륙 지점의 랜딩 태그가 발견되면, 랜딩 태그의 중앙 상부에서 드론이 정지하여 호버링 하는 단계(d)와; 랜딩 태그의 크기에 비례하는 PID 제어를 통해 드론의 고도를 낮추어 드론이 착륙 지점에 착륙하는 단계(e);를 포함하여 이루어져, 드론의 GPS 신호를 수신하지 못하는 경우에도 안정적으로 안전지대로 회귀할 수 있도록 제공된다.

Description

GPS 신호 수신 불가 시 드론의 회귀 방법 {Drone Return Method when GPS Signals cannot be Received}
본 발명은 드론의 회귀 방법에 관한 것으로, 보다 상세하게는 드론의 운용 도중 GPS 신호를 수신하는 못하는 경우 드론이 착륙 지점으로 회귀하는 방법에 관한 것이다.
근래 들어 드론 기술의 발전으로 드론의 활용도가 넓어지고 있으며, 특히 인명구조, 화재 현장 등 각종 재난 현장에서 무인 드론의 역할과 그 중요성이 강조되고 있다. 이러한 무인 드론은 화재·구조·구급 등 재난 현장에서 기동력이 빠르고 입체적인 시야 확보가 가능해 재난 현장의 정보를 수집하는데 아주 용이한 장점을 지니고 있다.
일반적으로 무인 드론은 GPS 신호를 수신하여 현재 위치를 파악하면서 목표 지점을 비행하게 되는데, 비행 도중 GPS 수신기의 고장 등에 따라 GPS 신호 수신이 불가능할 경우 안정적인 비행이 어려워 원래의 착륙 지점인 안전지대로 회귀하기 어려운 문제점이 있었다.
즉, 드론의 비행 시 GPS 신호 수신이 불가능한 경우, 바람의 저항 등에 의해 엔코더를 통한 SLAM(Simultaneous Localization and Mapping)이나 위치 제어가 불가능하게 된다. 만약, GPS 신호 대신 영상 기반으로 SLAM을 수행할 경우에도 햇빛 등의 변화가 심하여 위치 인식의 정확성이 떨어지고, 이전 위치와 현재 위치 간의 차이를 인식하기 어려워 잘못된 위치 정보를 제공할 가능성이 많은 문제점이 있었다.
대한민국 등록특허공보 제10-2212232호 (2021.01.29. 등록) 대한민국 등록특허공보 제10-1650136호 (2016.08.16. 등록)
본 발명은 상기 종래 기술의 문제점을 해결하기 위하여 제안된 것으로서, 본 발명의 목적은 무인 드론 운용 시 GPS 신호 수신이 불가능한 경우에도 안정적으로 착륙 지점으로 자동 회귀할 수 있도록 하는 드론의 회귀 방법을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명에 따른 드론의 회귀 방법은 드론 비행 시 GPS 신호를 수신하는 못하는 경우 착륙 지점으로 회귀하는 방법에 있어서, 드론에서 GPS 신호 수신을 하지 못하는 경우, IMU 기반으로 드론의 고도를 기 설정된 일정 고도까지 상승시키는 단계(a)와; 드론의 고도가 일정 고도까지 상승하면, 착륙 지점까지의 Yaw 값을 계산하여 드론의 Heading 각을 결정하는 단계(b)와; 결정된 드론 Heading 각에 따라 드론을 회전시킨 후, 착륙 지점까지 직진하며 드론이 비행하는 단계(c)와; 드론의 비행 도중, 드론에 지상을 향하여 설치된 카메라를 통하여 착륙 지점의 랜딩 태그가 발견되면, 랜딩 태그의 중앙 상부에서 드론이 정지하여 호버링 하는 단계(d)와; 랜딩 태그의 크기에 비례하는 PID 제어를 통해 드론의 고도를 낮추어 드론이 착륙 지점에 착륙하는 단계(e);를 포함한다.
상기 드론의 Heading 각을 결정하는 단계(b)에서, 드론의 착륙 지점까지의 상대적인 위치를 계산하기 위해 드론에 장착된 IMU를 통해 착륙 지점으로부터 드론이 회전한 각도 θ인 Yaw 값을 구하되, 상기 Yaw 값인 θ는 다음 수학식을 통해 계산된다.
Figure pat00001
(여기서, Xm은 착륙 지점에 대한 드론의 X축 좌표, Ym은 착륙 지점에 대한 드론의 Y축 좌표, Mx는 지자기 센서의 x축 값, My는 지자기 센서의 y축 값, Mz는 지자기 센서의 y축 값, ρ는 가속도 센서 및 자이로 센서를 통하여 산출된 드론의 Roll 값, φ는 가속도 센서 및 자이로 센서를 통하여 산출된 드론의 Pitch 값을 나타낸다.)
또한, 상기 드론의 Roll 값인 ρ와 Pitch 값인 φ는 다음의 수학식으로부터 구해진다.
Figure pat00002
(여기서, α는 가속도 센서 값에 자이로 센서 값
Figure pat00003
을 적용하기 위한 계수를 나타내고,
Figure pat00004
및
Figure pat00005
는 IMU의 가속도 센서의 각 축 성분이
Figure pat00006
로부터 구해지는 드론의 Roll 값 및 Pitch 값으로,
Figure pat00007
으로 구해진다)
한편, 상기 드론이 착륙 지점까지 직진하며 비행하는 단계(c)에서, 드론은 착륙 지점까지 Yaw 값을 유지하면서 직진으로 비행하되, 드론 비행시 Yaw 값을 기준으로 발생하는 오차를 줄이기 위해 PID 제어를 통해 드론의 모터 출력을 조절하는 것이 바람직하다.
상기 드론의 착륙 지점에 설치되는 랜딩 태그에는, 원거리 및 근거리에서 식별이 가능하도록, 정중앙에 드론의 착륙유도표시인 "H" 글자가 표시되어 있고, 상기 "H" 글자의 외측으로 반지름이 다른 복수의 동심원이 표시된다.
또한, 상기 드론에 설치되어 지상을 촬영하는 카메라에는 광각 렌즈가 구비되고, 카메라 광각 렌즈를 통하여 촬영되는 영상에서 발생하는 왜곡을 보정하기 위해 카메라 보정이 수행되는 것이 바람직하다.
한편, 상기 드론이 착륙 지점에 착륙하는 단계(e)에서, 상기 드론의 고도가 낮아짐에 따라 카메라를 통하여 촬영되어 인식되는 착륙 지점의 랜딩 태그 크기가 변하는 것에 맞추어, PID 제어시 드론 고도에 따라 PID 제어 이득(
Figure pat00008
,
Figure pat00009
,
Figure pat00010
)이 다르게 적용되도록 한다.
상기 드론이 GPS 신호 수신을 하지 못하여 일정 고도로 상승하여 착륙 지점의 랜딩 태그 상부까지 비행하는 과정에서 드론이 좌우로 움직이는 것을 방지하기 위한 호버링 제어가 이루어지되, 상기 드론의 호버링 제어는 카메라의 2차원 영상을 기반으로, 이전 영상과 현재 영상에서 같은 위치를 추적한 특징점의 위치 변화 이동량을 통해 광류의 움직임을 계산하여 드론의 자세를 제어하는 광류(Optical flow) 기반 호버링을 통해 이루어진다.
본 발명에 따른 드론의 회귀 방법은 드론 운용 시 GPS 신호 수신이 불가능한 경우 IMU와 카메라 영상을 이용하여 안정적으로 안전지대로 회귀할 수 있는 효과가 있다. 또한, IMU 센서의 오차와 드론 비행 시 발생하는 진동 등의 노이즈를 제거하여 정밀한 위치 추정이 가능하며, 광각 렌즈를 이용하여 멀리서도 착륙 지점의 랜딩 태그를 찾아 안전하게 착륙할 수 있는 효과가 있다.
그뿐만 아니라, 드론의 고도에 따른 단계별로 착륙 중심 지점을 찾기 위해 동심원 형태의 랜딩 태그를 제공하여, 단계별 랜딩 태그의 크기에 비례한 제어기의 PID 제어 이득을 적용함으로써 안정적인 호버링을 통해 정밀한 착륙을 수행할 수 있는 효과가 있다.
도 1은 본 발명에 따른 드론의 사시도,
도 2는 본 발명에 따른 드론의 블록 구성도,
도 3은 본 발명에 따른 GPS 신호 수신 불가 시 드론의 회귀 과정을 나타낸 흐름도,
도 4는 본 발명에 따른 드론과 착륙 지점까지의 상대적인 위치 관계 좌표도,
도 5는 본 발명에 따른 가속도 센서 및 자이로 센서에 필터를 적용하는 개념도,
도 6은 본 발명에 따른 드론의 PID 제어 개념도,
도 7은 본 발명에 따른 드론에 설치된 카메라 보정 전후의 영상 일례,
도 8은 본 발명에 따른 카메라 보정에 따른 특징점 검출 영역 제한 광류의 일례,
도 9는 본 발명에 따른 동심원 형태의 랜딩 태그 일례,
도 10은 본 발명에서 드론의 고도에 따른 랜딩 태그와 비례한 PID 제어 개념도를 나타낸 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 드론의 사시도이고, 도 2는 드론의 블록 구성도를 나타낸 것이다.
도 1과 도 2에 도시된 바와 같이, 본 발명에 따른 드론(100)은 일반적인 무인 드론과 마찬가지로 비행을 위해 몸체(101)를 중심으로 사방으로 암을 형성하는 프레임(102)이 형성되고, 이 프레임(102)의 일단 상부에는 구동부(170)에 의해 구동되어 회전하는 복수의 회전 날개(103)가 설치되며, 몸체(101)의 하부에는 이착륙을 위한 랜딩기어(104)가 설치되어 있다. 또한, 몸체(101) 일측에는 비행 중에 드론(100)의 위치, 고도, 속도 등의 정보를 획득하는 센서부(140)와, 비행 영역 및 지상을 촬영하는 카메라(150)가 설치된다. 또한, 드론(100)의 몸체(101) 내측에는 드론(100)의 동작을 설정하기 위한 설정부(120)와, 지상 관제장치(300)와 무선으로 통신을 수행하는 통신부(130)와, 상기 각 구성부의 동작을 제어하는 제어부(110)와, 드론(100)의 각 구성부에 공급하는 전원부(170)가 구비된다.
한편, 상기 드론(100)의 센서부(140)에는 드론의 속도와 방향, 중력, 가속도를 측정하는 관성 측정장치인 IMU(Inertial Measurement Unit)(141)와, GPS 신호를 수신하여 드론의 현재 위치를 측정하는 GPS 수신기(142)가 구비된다. 상기 IMU(141)에는 가속도 센서, 자이로 센서, 각속도 센서, 기압계 등이 구비된다.
상기 제어부(110)는 센서부(140)의 GPS 수신기(142)를 통하여 수신되는 GPS 신호를 분석하여 드론(100)의 현재 위치를 파악하고, IMU(141)를 통해 드론의 속도와 자세를 파악하여, 드론(100)이 설정된 경로를 따라 비행하며 임무를 수행하도록 드론(100)의 비행 및 호버링 동작을 제어하게 된다. 한편, 제어부(110)는 드론(100)의 비행 중 GPS 신호를 정상적으로 수신할 수 없는 경우, IMU 측정값과 카메라 영상을 분석하여 드론(100)이 안전지대인 착륙 지점으로 이동하여 착륙할 수 있도록 드론(100)의 비행을 제어하게 된다.
이하에서는 상기의 구성으로 이루어진 드론(100)이 GPS 신호를 정상적으로 수신하지 못할 경우, 제어부(110)의 제어에 따라 착륙 지점으로 이동하여 안정적으로 착륙하는 방법에 대하여 설명하기로 한다.
도 3은 본 발명의 실시 예에 따른 GPS 신호 수신 불가 시 드론의 회귀 과정을 나타낸 흐름도이다.
단계 S100, S110, S120 : 드론(100)이 비행하면서 임무를 수행하는 도중(S100), GPS 신호를 수신하지 못하는 경우가 발생하면(S110), 드론(100)은 비행을 중단하고 자동 회귀 모드로 전환되어 IMU(141)의 고도 측정값을 기반으로 미리 설정된 일정 고도까지 상승하여 고도를 유지하게 된다(S120). 상기 드론(100)이 유지하는 일정 고도는 드론(100)이 착륙 지점으로 이동시 장애물의 제약을 받지 않을 정도의 고도로 설정되는데, 추후 착륙 지점에서의 랜딩 단계별 고도를 고려해 1단계 높이의 고도를 유지하나, 회귀 과정 중 해당 고도의 장애물이 있을 경우 해당 장애물 이상 높이의 고도를 유지하도록 변경될 수 있다. 본 발명의 실시 예에서는 상기 드론(100)의 고도 상승 시 드론(100)이 좌우로 움직이는 것을 방지하지 위해 드론(100)의 호버링 제어도 함께 이루어진다.
단계 S130, S140 : 드론(100)의 고도가 일정 고도까지 상승하면, 드론(100)의 착륙 지점 이동을 위해 착륙 지점까지의 방향을 계산하여 드론(100)의 Heading 각을 결정하게 된다. 즉, 현재의 드론(100)과 착륙 지점까지의 상대적인 위치를 계산하기 위해 드론(100)에 장착된 IMU(141)를 통해 착륙 지점으로부터 드론(100)이 회전한 각도 θ를 구하게 되는데, 드론(100)은 비행 시 바람의 영향 등에 의해 이동 경로가 휘어지거나 진동이 큰 흔들림으로 인해 산출된 위치와 방향의 오차값이 비행 시의 오차보다 크게 될 수 있다.
도 4는 드론과 착륙 지점까지의 상대적인 위치 관계를 나타낸 것이다.
드론(100)에 장착된 IMU(141)의 좌표(
Figure pat00011
)로부터 착륙 지점 좌표(
Figure pat00012
)까지의 방향인 Yaw 값을 계산하기 위해, 먼저 다음 수학식 1과 같이 IMU(141)의 가속도 센서의 각 축 성분인
Figure pat00013
로부터 Roll
Figure pat00014
, Pitch
Figure pat00015
를 계산하게 된다.
Figure pat00016
가속도 센서의 경우 저주파 응답 특성이 좋음으로 Low pass filter를, 자이로 센서
Figure pat00017
의 경우 고주파 응답 특성이 좋음으로 High pass filter를 통화시키는데, 도 5는 이러한 가속도 센서 및 자이로 센서에 필터를 적용하는 개념을 나타낸 것이다.
이렇게 필터를 적용한 가속도 센서 및 자이로 센서가 적용된 Roll
Figure pat00018
과 Pitch
Figure pat00019
는 다음 수학식 2와 같이 구해진다.
Figure pat00020
여기서, α는 가속도 센서 값에 자이로 센서 값을 적용하기 위한 계수를 나타낸다.
그리고 Yaw 값이 θ 각도 추정은 기울기 변화에 따라 다음 수학식 3과 같이 계산한다.
Figure pat00021
여기서, Xm은 착륙 지점에 대한 드론의 X축 좌표, Ym은 착륙 지점에 대한 드론의 Y축 좌표, Mx는 지자기 센서의 x축 값, My는 지자기 센서의 y축 값, Mz는 지자기 센서의 y축 값을 나타낸다.
상기 과정을 통해 결정된 Yaw 값 θ는 드론(100)의 진행 방향을 나타내는 드론 Heading 각이 된다.
단계 S140 : 상기 과정을 통해 결정된 Yaw 값에 따라 드론(100)의 착륙 지점으로부터 Heading 각을 결정하고, 결정된 Heading 각에 따라 드론(100)의 진행 방향을 회전시킨 후, 착륙 지점까지 Yaw 값을 유지하면서 드론(100)을 직진으로 비행시키게 된다. 상기 과정에서 계산된 Yaw 값을 통해 목표로 설정된 착륙 지점 방향을 향해 드론(100)이 직진하면서, 바람이나 떨림 등에 의해 드론(100)의 Heading 각에 오차가 발생할 수 있다. 이를 방지하기 위해, 본 발명에서는 드론 비행시 Yaw 값을 기준으로 발생하는 에러 값을 관찰하며, PID(Proportional Integral Derivative; 비례적분미분) 제어를 통해 드론(100)의 구동부 모터 출력을 조절하게 되는데, 도 6은 이러한 드론의 PID 제어 개념을 나타낸 것이다. 이러한 드론(100)의 PID 제어에 따라 드론(100)이 비행할 때 Heading 각이 틀어짐을 보정하여 위치 추정 오차를 줄일 수 있게 된다.
한편, 드론(100)의 GPS 신호 수신 불능에 따라 드론(100)이 일정 고도로 상승하여 드론 Heading 각을 결정하고, 결정된 Heading 각에 따라 드론(100)이 직진 비행을 수행하는 과정에서, 드론(100)의 위치 오차를 보정하기 위한 호버링 제어도 함께 진행된다.
본 발명에서는 광류(Optical flow) 기반 호버링 기술을 이용하여 드론(100)의 호버링을 제어하는데, 이 광류 기반 호버링 기술은 카메라의 2차원 영상을 기반으로 자세를 제어하는 기술로서, 광류의 움직임은 이전 영상과 현재 영상에서 같은 위치를 추적한 특징점이 위치를 변화한 이동량으로 계산하여 구한다. 이때 카메라는 드론(100)의 하부에서 지상을 향하도록 고정하여 설치된다. 드론(100)에 설치된 카메라가 넓은 지역을 관찰해야 이후 안전지대인 착륙 지점을 찾기 유리하기 때문에 광각 렌즈를 사용하는데, 이때 광각 렌즈에 의한 발생하는 시야각 때문에 왜곡 현상이 나타난다. 이에 따라 왜곡이 있는 광각 렌즈의 카메라 영상을 영상 좌표에서 물리적인 좌표를 변환하면 영상 왜곡 정도에 따라서 심각한 오차가 발생할 수 있기 때문에 카메라 보정 과정을 수행한다.
도 7은 카메라 보정 전후의 영상 일례를 나타낸 것으로, 광각 형태의 렌즈를 가진 카메라의 왜곡 보정을 한 영상은 가장자리 부근에 사용하지 않은 영역이 발생하게 된다. 본 발명의 실시 예에서는 광류 추적을 위해 해리스 코너 특징점 알고리즘을 사용하는데, 영상이 보이는 영역과 영상이 보이지 않는 영역의 경계 부근에 나타나는 특징점은 이후 카메라의 움직임을 추정할 때 오차로 발생하게 된다. 도 8은 특징점 검출 영역 제한 광류의 일례를 나타낸 것이다.
오차 보정을 위해, 먼저 이전 영상과 현재 영상의 해리스 코너 특징점을 추출하여 두 데이터 셋을 생성한다. 그리고 두 데이터 셋으로부터 다음의 수학식 4의 Affine 변환을 근사하여 추정하여 2차원 영상의 이동 벡터와 회전 행렬을 구한다.
Figure pat00022
이때, dst는 현재 영상을, src는 이전 영상의 특징점 데이터 셋을 의미하며, A는 2×2 회전행렬, B는 2×1 병진 벡터를 의미한다.
두 데이터 셋으로부터 Affine 변환을 추정하면 다음 수학식 5와 같은 결과를 얻을 수 있는데, 여기서
Figure pat00023
은 X축으로,
Figure pat00024
는 Y축으로 영상이 움직인 픽셀 양을 의미하고, 이것을 누적하여 카메라의 움직임을 추정한다.
Figure pat00025
위 수식에서 회전 행렬 A와 병진 벡터 B는 2차원 영상에서 이동량을 측정하는 것으로서, 드론(100)의 고도에 따라 같은 병진 벡터 이동량이라도 실제 드론(100)의 이동량과 차이가 발생하게 된다. 따라서 드론(100)의 GPS 신호가 끊겼을 때, 사전에 정의된 일정 고도로 드론(100)을 띄우고 호버링 제어를 시작하게 된다.
본 발명에서는 드론(100)의 호버링 제어를 위해 PID 제어 방식을 도입한다. 광류 영상에서 추정된 이동 벡터는 결국 드론(100)의 고도를 제외한 2차원 움직임을 의미한다. X축과 Y축으로 각각 계산된 편류양을 dx, dy라 하면, 이상적인 호버링 상태의 경우 dx, dy는 0이 되어야 한다. 따라서 영상좌표계에서 오차 e는 축별로
Figure pat00026
,
Figure pat00027
와 같다.
Roll과 Pitch 제어 입력은 다음 수학식 6의 PID 제어기를 거쳐 실제 드론(100)의 프로펠러 모터에 가해줌으로써 호버링을 구현하게 된다.
Figure pat00028
(여기서, Kp는 PID 제어기의 비례 제어 이득, Ki는 적분 제어 이득, Kd는 미분 제어 이득을 나타낸다)
단계 S150, S160 : 드론(100)의 GPS 신호가 끊겼을 때 상기와 같은 방식으로 호버링이 실행되면, 드론(100)은 결정된 드론 Heading 각에 따라 IMU(141)를 통하여 착륙 지점이 존재하는 방향으로 비행을 하게 된다. 비행하는 중에 안전지대인 착륙 지점에 설치된 랜딩 태그를 검색하게 되며(S150), 랜딩 태그가 검출되면 드론(100)은 랜딩 태그의 중앙 상부에서 비행을 멈추고 호버링 동작을 수행하게 된다(S160).
본 발명의 실시 예에서 착륙 지점에 설치되는 랜딩 태그는 높은 고도에서도 검출하기 수월하고, 드론(100)이 착륙할 때에도 지속해서 검출할 수 있도록 크기가 서로 다른 원을 복수개 배치한 동심원으로 제작하였다. 도 9는 이러한 동심원 형태의 랜딩 태그 일례를 나타낸 것으로, 정중앙에는 드론(100)의 착륙유도표시인 "H" 글자가 표시되어 있고, 이 "H" 글자의 외측으로 반지름이 다른 3개의 동심원이 표시되어 있다.
단계 S170, S180 : 랜딩 태그의 중앙 상부에서 정지하여 호버링 동작을 수행하는 드론(100)은 랜딩 태그의 크기에 비례하여 드론(100)의 고도를 점차 낮추어(S170), 안전지대인 착륙 지점에 안정적으로 착륙하게 된다(S180).
도 9의 랜딩 태그에 표시된 3개의 동심원 중, 반지름이 가장 큰 원은 높은 고도에서 검출이 가능할 것이고, 드론(100)이 착륙 중에 큰 원이 안 보이게 될 때는 작은 원이 보이게 되어 연속하여 원의 검출이 가능해진다. 그리고 정중앙에 존재하는 착륙유도표시 "H" 글자는 높은 고도에서는 인식이 어려울 수 있지만, 점차 고도가 낮아지면 인식이 가능해지므로 착륙 지점에 정밀한 착륙이 가능해진다.
한편, 2차원 영상에서 원을 검출하게 되면 원의 중심은 2차원 좌표로 나타나게 되며, 앞에서 설명한 PID 제어기를 통해 원의 중심이 카메라 중심으로 위치하도록 제어하게 된다. X축과 Y축으로 각각 계산된 랜딩 태그의 위치 오차를 dx, dy라 하면, 이상적인 중앙 정렬 상태의 경우 dx, dy는 0이 되어야 한다. Roll과 Pitch 제어 입력은 상기 수학식 6의 PID 제어기에 인가하여 호버링을 수행하게 된다.
상기 수학식 6의 PID 제어기는 일정 고도에 실험적으로 계산된 PID 제어 이득을 선정하지만, 착륙을 시도할 때는 고도가 점점 낮아지기 때문에 일정 고도에서 실험적으로 구한 제어 이득
Figure pat00029
,
Figure pat00030
,
Figure pat00031
로는 왜란 발생이 점점 심해지게 된다.
따라서, 본 발명에서는 몇 가지 고도를 선정하여 랜딩 태그와 비례한 PID 제어 이득을 구하여 고도가 낮아짐에 따라 랜딩 태그 크기가 변화하는 것에 맞춘 PID 제어 이득을 적용함으로써 더욱 안정적인 호버링을 통해 착륙이 수행될 수 있도록 하였다. 도 10은 이러한 드론의 고도에 따른 랜딩 태그와 비례한 PID 제어 개념도를 나타낸 것으로, 드론 고도에 따라 PID 제어 이득(
Figure pat00032
,
Figure pat00033
,
Figure pat00034
)이 다르게 적용되는 것을 알 수 있다. 이러한 가정을 통해 드론(100)은 최종적으로 랜딩 태그의 중앙에 형성된 "H" 글자에 안정적으로 착륙하게 된다.
이와 같이, 본 발명에서는 드론(100)에서 GPS 신호를 수신하지 못하는 경우, 드론(100)을 일정 고도로 상승시킨 후 IMU(141)를 이용하여 착륙 지점을 대한 Yaw 값을 산출하고, 산출된 Yaw 값에 따라 드론(100)의 Heading 각을 결정하여 착륙 지점을 향해 드론(100)이 직진으로 비행하도록 제어하게 된다. 드론(100)의 직진 비행 중 호버링 및 PID 제어를 통하여 드론(100)의 위치를 정밀하게 측정하고 보정함으로써 드론(100)이 안정적으로 회귀할 수 있도록 제어한다.
또한, 착륙 지점으로 자동 회귀 후, 지정된 착륙 지점 위에 자동 착륙하기 위하여 광류 기반의 호버링 기술을 사용하여 드론 기체 안정화를 수행하고, 랜딩 태그를 검출하여 랜딩 태그의 크기에 비례하는 PID 제어를 통해 드론(100)이 착륙 지점에 정밀하게 착륙할 수 있게 된다.
이러한 본 발명은 상술한 실시 예에 한정되는 것은 아니며 본 발명이 속하는 기술 분야에서 통상의 지식을 갖는 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구 범위의 균등범위 내에서 다양한 수정 및 변형이 이루어질 수 있음은 물론이다.
100 : 드론 101 : 몸체
102 : 프레임 103 : 회전 날개
104 : 랜딩기어 110 : 제어부
120 : 설정부 130 : 통신부
140 : 센서부 141 : IMU
142 : GPS 수신기 160 : 구동부
170 : 전원부

Claims (8)

  1. 드론 비행 시 GPS 신호를 수신하는 못하는 경우 착륙 지점으로 회귀하는 방법에 있어서,
    (a) 드론에서 GPS 신호 수신을 하지 못하는 경우, IMU 기반으로 드론의 고도를 기 설정된 일정 고도까지 상승시키는 단계와;
    (b) 드론의 고도가 일정 고도까지 상승하면, 착륙 지점까지의 Yaw 값을 계산하여 드론의 Heading 각을 결정하는 단계와;
    (c) 결정된 드론 Heading 각에 따라 드론을 회전시킨 후, 착륙 지점까지 직진하며 드론이 비행하는 단계와;
    (d) 드론의 비행 도중, 드론에 지상을 향하여 설치된 카메라를 통하여 착륙 지점의 랜딩 태그가 발견되면, 랜딩 태그의 중앙 상부에서 드론이 정지하여 호버링 하는 단계와;
    (e) 랜딩 태그의 크기에 비례하는 PID 제어를 통해 드론의 고도를 낮추어 드론이 착륙 지점에 착륙하는 단계;를 포함하는 것을 특징으로 하는 드론의 회귀 방법.
  2. 제 1항에 있어서,
    상기 드론의 Heading 각을 결정하는 단계(b)에서,
    드론의 착륙 지점까지의 상대적인 위치를 계산하기 위해 드론에 장착된 IMU를 통해 착륙 지점으로부터 드론이 회전한 각도 θ인 Yaw 값을 구하되,
    상기 Yaw 값인 θ는 다음 수학식을 통해 계산되는 것을 특징으로 하는 드론의 회귀 방법.
    Figure pat00035

    (여기서, Xm은 착륙 지점에 대한 드론의 X축 좌표, Ym은 착륙 지점에 대한 드론의 Y축 좌표, Mx는 지자기 센서의 x축 값, My는 지자기 센서의 y축 값, Mz는 지자기 센서의 y축 값, ρ는 가속도 센서 및 자이로 센서를 통하여 산출된 드론의 Roll 값, φ는 가속도 센서 및 자이로 센서를 통하여 산출된 드론의 Pitch 값을 나타낸다.)
  3. 제 2항에 있어서,
    상기 드론의 Roll 값인 ρ와 Pitch 값인 φ는 다음의 수학식으로부터 구해지는 것을 특징으로 하는 드론의 회귀 방법.
    Figure pat00036

    (여기서, α는 가속도 센서 값에 자이로 센서 값
    Figure pat00037
    을 적용하기 위한 계수를 나타내고,
    Figure pat00038
    및
    Figure pat00039
    는 IMU의 가속도 센서의 각 축 성분이
    Figure pat00040
    로부터 구해지는 드론의 Roll 값 및 Pitch 값으로,
    Figure pat00041
    으로 구해진다)
  4. 제 1항에 있어서,
    상기 드론이 착륙 지점까지 직진하며 비행하는 단계(c)에서,
    드론은 착륙 지점까지 Yaw 값을 유지하면서 직진으로 비행하되, 드론 비행시 Yaw 값을 기준으로 발생하는 오차를 줄이기 위해 PID 제어를 통해 드론의 모터 출력을 조절하는 것을 특징으로 하는 드론의 회귀 방법.
  5. 제 1항에 있어서,
    드론의 착륙 지점에 설치되는 랜딩 태그에는,
    원거리 및 근거리에서 식별이 가능하도록, 정중앙에 드론의 착륙유도표시인 "H" 글자가 표시되어 있고, 상기 "H" 글자의 외측으로 반지름이 다른 복수의 동심원이 표시된 것을 특징으로 하는 드론의 회귀 방법.
  6. 제 5항에 있어서,
    상기 드론에 설치되어 지상을 촬영하는 카메라에는 광각 렌즈가 구비되고, 카메라 광각 렌즈를 통하여 촬영되는 영상에서 발생하는 왜곡을 보정하기 위해 카메라 보정이 수행되는 것을 특징으로 하는 드론의 회귀 방법.
  7. 상기 6항에 있어서,
    상기 드론이 착륙 지점에 착륙하는 단계(e)에서,
    상기 드론의 고도가 낮아짐에 따라 카메라를 통하여 촬영되어 인식되는 착륙 지점의 랜딩 태그 크기가 변하는 것에 맞추어, PID 제어시 드론 고도에 따라 PID 제어 이득(
    Figure pat00042
    ,
    Figure pat00043
    ,
    Figure pat00044
    )이 다르게 적용되도록 한 것을 특징으로 하는 드론의 회귀 방법.
  8. 제 1항에 있어서,
    상기 드론이 GPS 신호 수신을 하지 못하여 일정 고도로 상승하여 착륙 지점의 랜딩 태그 상부까지 비행하는 과정에서 드론이 좌우로 움직이는 것을 방지하기 위한 호버링 제어가 이루어지되,
    상기 드론의 호버링 제어는 카메라의 2차원 영상을 기반으로, 이전 영상과 현재 영상에서 같은 위치를 추적한 특징점의 위치 변화 이동량을 통해 광류의 움직임을 계산하여 드론의 자세를 제어하는 광류(Optical flow) 기반 호버링을 통해 이루어지는 것을 특징으로 하는 드론의 회귀 방법.
KR1020210100174A 2021-07-29 2021-07-29 Gps 신호 수신 불가 시 드론의 회귀 방법 KR102578901B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210100174A KR102578901B1 (ko) 2021-07-29 2021-07-29 Gps 신호 수신 불가 시 드론의 회귀 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210100174A KR102578901B1 (ko) 2021-07-29 2021-07-29 Gps 신호 수신 불가 시 드론의 회귀 방법

Publications (2)

Publication Number Publication Date
KR20230018237A true KR20230018237A (ko) 2023-02-07
KR102578901B1 KR102578901B1 (ko) 2023-09-14

Family

ID=85221258

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210100174A KR102578901B1 (ko) 2021-07-29 2021-07-29 Gps 신호 수신 불가 시 드론의 회귀 방법

Country Status (1)

Country Link
KR (1) KR102578901B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101650136B1 (ko) 2016-02-05 2016-08-25 김석준 원위치 자동복귀·컬러트래킹 자동추적을 갖는 스마트 드론 장치
KR101749578B1 (ko) * 2016-02-05 2017-06-21 고려대학교 산학협력단 드론의 자동 이착륙 방법 및 장치
KR20180065439A (ko) * 2016-12-08 2018-06-18 주식회사 휴인스 드론용 초소형 영상 카메라 모듈
US20190187724A1 (en) * 2016-08-26 2019-06-20 SZ DJI Technology Co., Ltd. Methods and system for autonomous landing
JP6752481B2 (ja) * 2018-02-28 2020-09-09 株式会社ナイルワークス ドローン、その制御方法、および、プログラム
KR102212232B1 (ko) 2020-07-23 2021-02-04 (주)올포랜드 드론을 이용한 특정지역 자동촬영과 충전과 복귀 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101650136B1 (ko) 2016-02-05 2016-08-25 김석준 원위치 자동복귀·컬러트래킹 자동추적을 갖는 스마트 드론 장치
KR101749578B1 (ko) * 2016-02-05 2017-06-21 고려대학교 산학협력단 드론의 자동 이착륙 방법 및 장치
US20190187724A1 (en) * 2016-08-26 2019-06-20 SZ DJI Technology Co., Ltd. Methods and system for autonomous landing
KR20180065439A (ko) * 2016-12-08 2018-06-18 주식회사 휴인스 드론용 초소형 영상 카메라 모듈
JP6752481B2 (ja) * 2018-02-28 2020-09-09 株式会社ナイルワークス ドローン、その制御方法、および、プログラム
KR102212232B1 (ko) 2020-07-23 2021-02-04 (주)올포랜드 드론을 이용한 특정지역 자동촬영과 충전과 복귀 시스템

Also Published As

Publication number Publication date
KR102578901B1 (ko) 2023-09-14

Similar Documents

Publication Publication Date Title
CN109753076B (zh) 一种无人机视觉追踪实现方法
US11604479B2 (en) Methods and system for vision-based landing
EP3158293B1 (en) Sensor fusion using inertial and image sensors
EP3158417B1 (en) Sensor fusion using inertial and image sensors
US9387927B2 (en) Rotary-wing drone comprising autonomous means for determining a position in an absolute coordinate system linked to the ground
EP3158412B1 (en) Sensor fusion using inertial and image sensors
EP2472221B1 (en) Flight Control System for Flying Object
EP3158411B1 (en) Sensor fusion using inertial and image sensors
EP2895819B1 (en) Sensor fusion
US20080077284A1 (en) System for position and velocity sense of an aircraft
JP6390013B2 (ja) 小型無人飛行機の制御方法
EP3128386B1 (en) Method and device for tracking a moving target from an air vehicle
JP5990453B2 (ja) 自律移動ロボット
US20220017235A1 (en) Autonomous landing systems and methods for vertical landing aircraft
Troiani et al. Low computational-complexity algorithms for vision-aided inertial navigation of micro aerial vehicles
KR102288346B1 (ko) 무인비행체 자동 정밀 착륙 시스템 및 방법
EP3276306A1 (en) Navigating an unmanned aerial vehicle
US20210229810A1 (en) Information processing device, flight control method, and flight control system
Mebarki et al. Autonomous landing of rotary-wing aerial vehicles by image-based visual servoing in GPS-denied environments
US20180164122A1 (en) Electronic Control Device for Controlling a Drone, Related Drone, Controlling Method and Computer Program
JP6900029B2 (ja) 無人航空機、位置推定装置、飛行制御装置、位置推定方法、制御方法及びプログラム
KR102578901B1 (ko) Gps 신호 수신 불가 시 드론의 회귀 방법
Lin et al. 6DoF Motion estimation for UAV landing on a moving shipdeck using real-Time on-board vision
JP2020135327A (ja) 飛行体システム、飛行体、位置測定方法、プログラム
Lee et al. Autonomous Pose Correction and Landing System for Unmanned Aerial Vehicles

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant