KR20240032258A - 소형 무인기의 자율 정밀 부착을 위한 다중 센서 기반 목표 자세 추정 및 부착 제어 방법 및 장치 - Google Patents

소형 무인기의 자율 정밀 부착을 위한 다중 센서 기반 목표 자세 추정 및 부착 제어 방법 및 장치 Download PDF

Info

Publication number
KR20240032258A
KR20240032258A KR1020220110867A KR20220110867A KR20240032258A KR 20240032258 A KR20240032258 A KR 20240032258A KR 1020220110867 A KR1020220110867 A KR 1020220110867A KR 20220110867 A KR20220110867 A KR 20220110867A KR 20240032258 A KR20240032258 A KR 20240032258A
Authority
KR
South Korea
Prior art keywords
attachment
unmanned aerial
aerial vehicle
value
small unmanned
Prior art date
Application number
KR1020220110867A
Other languages
English (en)
Inventor
홍성경
트엉 동 도
이용석
이석태
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020220110867A priority Critical patent/KR20240032258A/ko
Publication of KR20240032258A publication Critical patent/KR20240032258A/ko

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C15/00—Attitude, flight direction, or altitude control by jet reaction
    • B64C15/02—Attitude, flight direction, or altitude control by jet reaction the jets being propulsion jets
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 소형 무인기의 자율 정밀 부착을 위한 다중 센서 기반 목표 자세 추정 및 부착 제어 방법 및 장치에 관한 것으로서, 더욱 상세하게는 고정밀 부착 성능을 위해 평면 시각적 마커와 다중 범위 센서를 융합한 병합 알고리즘을 사용하는 다중 센서 기반 목표 위치 추정 방법 및 장치에 관한 것이다.
본 발명에 의하면, 초소형 UAV뿐만 아니라 대형 멀티로터의 부착 작업에서도 사용될 수 있고, 감시, 모니터링 및 환경 탐사에 대한 항공 매핑과 같은 많은 실제 응용 프로그램, 특히, 목표 위치에 도달한 후 전체 임무 기간 동안 드론이 능동적으로 비행할 필요가 없는 작업에 활용할 수 있는 안정적이고 정확한 목표 자세 추정 방법 및 장치를 제공한다.

Description

소형 무인기의 자율 정밀 부착을 위한 다중 센서 기반 목표 자세 추정 및 부착 제어 방법 및 장치{Multi-sensor-based target pose-estimation and perching-control method and apparatus for autonomous precision perching of nano aerial vehicles}
본 발명은 소형 무인기의 자율 정밀 부착을 위한 다중 센서 기반 목표 자세 추정 및 부착 제어 방법 및 장치에 관한 것으로서, 더욱 상세하게는 고정밀 부착 성능을 위해 평면 시각적 마커와 다중 범위 센서를 융합한 병합 알고리즘을 사용하는 다중 센서 기반 목표 자세 추정 방법 및 장치에 관한 것이다.
자율 초소형 무인기는 높은 기동성, 저렴한 비용과 효율성으로 여러 분야에서 사용되고 있으며 감시, 모니터링 및 항공 지도 제작, 환경 탐사 또는 예술적 공연 등을 예로 들 수 있다. 이러한 작업 대부분은 비행체가 지면 목표물에 착륙하거나 임의의 표면에 설치되어 있는 목표물에 부착되어야 한다. 따라서 비행체가 다가가고자 하는 목표물을 고려할 때, 착륙 과제를 해결하는 것보다 비행체의 부착 제어 문제를 해결하는 데 더 많은 노력이 필요하다는 것은 명백하다. 이외에도 센서의 결함, 외부적 요인 등 여러 가지 이유로 인해 부착 제어 성능이 크게 저하될 수 있다. 따라서 신뢰할 수 있고 정확한 부착을 달성하는 것은 여전히 어려우면서도 유망하다.
이 문제를 해결하는 데 사용할 수 있는 다양한 센서 중 시각 기반 카메라는 가장 널리 사용되는 예들 중 하나이다. 이러한 시각기반 카메라는 GPS를 사용할 수 없는 환경에서 비행체의 자세를 추정하거나 목표의 위치 지정 응용 프로그램의 솔루션이다. 이번 발명에 사용될 시각기반 카메라의 사용은 일반적으로 하나 이상의 ArUco마커를 활용하게 된다. 대형 마커는 카메라의 원거리 감지에 탁월하나 카메라와 마커사이의 거리가 충분히 가까워지면 마커가 카메라의 시야에서 벗어나게 되며 이로 인해 표적 손실 현상을 초래할 수 있다. 이와는 대조적으로 작은 마커는 먼 거리에서의 식별이 어려우나 카메라가 대형 마커를 인식할 수 없는 거리까지 근접했을 때 대형 마커를 대신하여 탐지할 수 있다는 장점이 있다. 그러나 비행체가 점진적으로 목표물을 접근하고 위치할 준비가 된 경우 이러한 유형의 마커는 카메라에 의해 감지되지 않을 수 있다. 이러한 경우 카메라에서 캡처한 정보와 융합하기 위해 고정밀 센서를 사용한 추가 자세 추정이 필요하다.
WO WO2022-107114 A1 WO WO2019-226917 A1
본 발명은 이와 같은 문제점을 해결하기 위해 창안된 것으로서, 초소형 UAV뿐만 아니라 대형 멀티로터의 부착 작업에서도 사용될 수 있고, 감시, 모니터링 및 환경 탐사에 대한 항공 매핑과 같은 많은 실제 응용 프로그램, 특히, 목표 위치에 도달한 후 전체 임무 기간 동안 드론이 능동적으로 비행할 필요가 없는 작업에 활용할 수 있는 안정적이고 정확한 목표 자세 추정 방법 및 장치를 제공하는데 그 목적이 있다.
이와 같은 목적을 달성하기 위하여 본 발명에 따른 소형 무인기의 자율 정밀 부착을 위한 다중 센서 기반 목표 자세 추정 방법은, (a) 소형 무인기로부터, 카메라에서 획득된 이미지 및 다중 범위(multi-ranger) 센서부에서 감지된 5방향 거리 값을 수신하는 단계; (b) 상기 이미지로부터 마커를 감지하는 단계; (c) 마커가 감지된 경우, 상기 소형 무인기의 마커에 대한 상대적 자세를 측정하는 단계; (d) 상기 5방향 거리 값이 각각, 부착 평면 영역의 주변 4면에 형성된 부착 케이지 내에서 측정된 값인지 여부를 판단하는 단계; (e) 상기 소형 무인기와 부착 목표 간의 상대적 자세에 대한 최종 값(이하 '자세 최종 값'이라 한다)을 산출하는 단계; 및, (f) 상기 단계(e)에서 산출된 상대적 자세에 대한 최종 값으로부터, 상기 소형 무인기의 자세 제어 목표값을 산출하는 단계를 포함하고, 상기 자세 최종값은, 상기 단계(c)에서 감지된 마커에 대한 상대적 자세가 측정되고, 상기 단계(d)에서 상기 5방향 거리 값이 상기 부착 케이지 내에서 측정된 값인 것으로 판단된 경우, 상기 측정된 상대적 자세 값 및 상기 5방향 거리 값을 병합하여 산출되고, 상기 단계(c)에서 감지된 마커에 대한 상대적 자세가 측정되고, 상기 단계(d)에서 상기 5방향 거리 값이 상기 부착 케이지 내에서 측정된 값이 아닌 것으로 판단된 경우, 상기 측정된 상대적 자세 값만으로 산출되며, 상기 마커가 감지되지 않고, 상기 단계(d)에서 상기 5방향 거리 값이 상기 부착 케이지 내에서 측정된 값인 것으로 판단된 경우, 상기 5방향 거리 값만으로 산출된다.
상기 마커는, 정사각형의 대형 마커; 및, 상기 대형 마커 내부에 정사각형의 소형 마커를 포함할 수 있다.
상기 부착 케이지는, 상기 마커를 중심으로 하는 정사각형 또는 직사각형의 부착 평면 영역의 4개의 모서리에서 일정 길이만큼 아래로 내려가는 수직 벽면 형태로 형성될 수 있다.
상기 마커가 감지된 경우 상기 단계(c)에서 측정된 상대적 자세 값은, 이전 상태의 정보로부터 지금 시점의 자세값을 추정하기 위한 칼만필터에 입력되고, 이에 의해 상기 칼만필터에서 출력된 최적의 상대적 자세 값이 상기 자세 최종값 산출에 사용된다.
상기 단계(e)에서, 상기 소형 무인기와 부착 목표 간의 상대적 자세에 대한 최종 값은, 인 경우, 상기 대형 마커에 대한 상기 소형 무인기의 상대적 자세 값으로 결정되고, 인 경우, 상기 대형 마커 및 상기 소형 마커 각각에 대한 상기 소형 무인기의 상대적 자세 값을 병합한 값으로 결정되고, 인 경우, 상기 소형 마커에 대한 상기 소형 무인기의 상대적 자세 값으로 결정되고, 인 경우, 상기 소형 마커에 대한 상기 소형 무인기의 상대적 자세 값 및, 상기 5방향 거리 값을 병합한 값으로 결정되고, 인 경우, 상기 5방향 거리 값으로 결정될 수 있고, 여기서, zCF는 상기 부착 평면에서 상기 소형 무인기까지의 상대거리, z1은 대형 마커가 탐지되기 시작하는, 상기 부착 평면으로부터의 최대 상대 거리, z2는 소형 마커가 탐지되기 시작하는, 상기 부착 평면으로부터의 최대 상대 거리, z3는 대형 마커가 탐지되는 범위의, 상기 부착 평면으로부터의 최소 상대 거리, z4는 부착 케이지 내부를 비행하여 다중 범위 센서를 이용 가능한 범위의, 상기 부착 평면으로부터의 최대 상대 거리, z5는 소형 마커가 탐지되는 범위의, 상기 부착 평면으로부터의 최소 상대 거리이다.
본 발명의 다른 측면에 따르면, 소형 무인기의 자율 정밀 부착을 위한 다중 센서 기반 목표 자세 추정 장치는, 적어도 하나의 프로세서; 및 컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되, 상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여, (a) 소형 무인기로부터, 카메라에서 획득된 이미지 및 다중 범위(multi-ranger) 센서부에서 감지된 5방향 거리 값을 수신하는 단계; (b) 상기 이미지로부터 마커를 감지하는 단계; (c) 마커가 감지된 경우, 상기 소형 무인기의 마커에 대한 상대적 자세를 측정하는 단계; (d) 상기 5방향 거리 값이 각각, 부착 평면 영역의 주변 4면에 형성된 부착 케이지 내에서 측정된 값인지 여부를 판단하는 단계; (e) 상기 소형 무인기와 부착 목표 간의 상대적 자세에 대한 최종 값(이하 '자세 최종 값'이라 한다)을 산출하는 단계; 및, (f) 상기 단계(e)에서 산출된 상대적 자세에 대한 최종 값으로부터, 상기 소형 무인기의 자세 제어 목표값을 산출하는 단계가 실행되도록 하고, 상기 자세 최종값은, 상기 단계(c)에서 감지된 마커에 대한 상대적 자세가 측정되고, 상기 단계(d)에서 상기 5방향 거리 값이 상기 부착 케이지 내에서 측정된 값인 것으로 판단된 경우, 상기 측정된 상대적 자세 값 및 상기 5방향 거리 값을 병합하여 산출되고, 상기 단계(c)에서 감지된 마커에 대한 상대적 자세가 측정되고, 상기 단계(d)에서 상기 5방향 거리 값이 상기 부착 케이지 내에서 측정된 값이 아닌 것으로 판단된 경우, 상기 측정된 상대적 자세 값만으로 산출되며, 상기 마커가 감지되지 않고, 상기 단계(d)에서 상기 5방향 거리 값이 상기 부착 케이지 내에서 측정된 값인 것으로 판단된 경우, 상기 5방향 거리 값만으로 산출된다.
본 발명의 또 다른 측면에 따르면, 소형 무인기의 자율 정밀 부착을 위하여 다중 센서 기반으로 목표 자세를 추정하기 위한 컴퓨터 프로그램은, 비일시적 저장 매체에 저장되며, 프로세서에 의하여, (a) 소형 무인기로부터, 카메라에서 획득된 이미지 및 다중 범위(multi-ranger) 센서부에서 감지된 5방향 거리 값을 수신하는 단계; (b) 상기 이미지로부터 마커를 감지하는 단계; (c) 마커가 감지된 경우, 상기 소형 무인기의 마커에 대한 상대적 자세를 측정하는 단계; (d) 상기 5방향 거리 값이 각각, 부착 평면 영역의 주변 4면에 형성된 부착 케이지 내에서 측정된 값인지 여부를 판단하는 단계; (e) 상기 소형 무인기와 부착 목표 간의 상대적 자세에 대한 최종 값(이하 '자세 최종 값'이라 한다)을 산출하는 단계; 및, (f) 상기 단계(e)에서 산출된 상대적 자세에 대한 최종 값으로부터, 상기 소형 무인기의 자세 제어 목표값을 산출하는 단계가 실행되도록 하는 명령을 포함하고, 상기 자세 최종값은, 상기 단계(c)에서 감지된 마커에 대한 상대적 자세가 측정되고, 상기 단계(d)에서 상기 5방향 거리 값이 상기 부착 케이지 내에서 측정된 값인 것으로 판단된 경우, 상기 측정된 상대적 자세 값 및 상기 5방향 거리 값을 병합하여 산출되고, 상기 단계(c)에서 감지된 마커에 대한 상대적 자세가 측정되고, 상기 단계(d)에서 상기 5방향 거리 값이 상기 부착 케이지 내에서 측정된 값이 아닌 것으로 판단된 경우, 상기 측정된 상대적 자세 값만으로 산출되며, 상기 마커가 감지되지 않고, 상기 단계(d)에서 상기 5방향 거리 값이 상기 부착 케이지 내에서 측정된 값인 것으로 판단된 경우, 상기 5방향 거리 값만으로 산출된다.
본 발명의 또 다른 측면에 따르면, 소형 무인기의 자율 정밀 부착을 위한 부착 제어 방법은, (a) 부착 목표 영역으로 비행하는 소형 무인기에 대하여 최초 마커 탐지를 수행하는 단계; (b) 마커가 탐지된 경우, 상기 목표 자세 추정 방법으로 상기 소형 무인기의 자세 제어 목표값을 산출하는 단계; (c) 상기 자세 제어 목표값을, 상기 소형 무인기에 대한 최종 자세 제어 출력신호를 발생하는 자세 제어 장치로 송신하는 단계; 및, (d) 상기 소형 무인기가 상기 부착 목표에 기 설정된 범위 내로 근접하였는지를 판단하여, 근접한 경우 상기 부착 목표에의 부착을 위한 제어를 수행하는 단계를 포함한다.
상기 단계(d)는, (d1) 상기 소형 무인기가 상기 부착 목표에 기 설정된 범위 내로 수평적으로 충분히 근접하고, 요 각도(yaw-angle)이 0이 되면, 수평 위치를 유지하면서 상승하도록 제어하고, 해당 조건을 만족하지 못하면, 자세 제어 목표값 재산출을 위하여 상기 단계(b)로 되돌아가는 단계; 및, (d2) 상기 소형 무인기가 상기 부착 목표에 기 설정된 범위 내로 수직적으로 충분히 근접한 경우 상기 소형 무인기에 대하여 상기 부착 목표에의 부착을 위한 제어를 수행하고, 해당 조건을 만족하지 못하면, 자세 제어 목표값 재산출을 위하여 상기 단계(b)로 되돌아가는 단계를 포함할 수 있다.
상기 단계(b)에서, 마커가 탐지되지 않은 경우, 마커 탐지를 위한 시도 횟수 또는 시도 시간이 기 설정된 값에 도달한 경우에는 상기 소형 무인기를 착륙하도록 제어하고, 도달하지 않은 경우에는 상기 소형 무인기를 상승하도록 제어하고 상기 단계(a)로 되돌아갈 수 있다.
상기 단계(d)에서, 상기 소형 무인기가 상기 부착 목표에 기 설정된 범위 내로 근접하여 부착을 위한 제어를 시도한 경우, 부착 시도 횟수 또는 시도 시간이 기 설정된 값에 도달한 경우에는 상기 소형 무인기를 착륙하도록 제어하고, 도달하지 않은 경우에는 상기 소형 무인기를 일정 거리 하강하도록 제어하고 상기 단계(b)로 되돌아갈 수 있다.
본 발명의 또 다른 측면에 따르면, 소형 무인기의 자율 정밀 부착을 위한 부착 제어 장치는, 적어도 하나의 프로세서; 및 컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되, 상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여, (a) 부착 목표 영역으로 비행하는 소형 무인기에 대하여 최초 마커 탐지를 수행하는 단계; (b) 마커가 탐지된 경우, 상기 목표 자세 추정 방법으로 상기 소형 무인기의 자세 제어 목표값을 산출하는 단계; (c) 상기 자세 제어 목표값을, 상기 소형 무인기에 대한 최종 자세 제어 출력신호를 발생하는 자세 제어 장치로 송신하는 단계; 및, (d) 상기 소형 무인기가 상기 부착 목표에 기 설정된 범위 내로 근접하였는지를 판단하여, 근접한 경우 상기 부착 목표에의 부착을 위한 제어를 수행하는 단계가 실행되도록 한다.
본 발명의 또 다른 측면에 따르면, 소형 무인기의 자율 정밀 부착을 위한 컴퓨터 프로그램은, 비일시적 저장 매체에 저장되며, 프로세서에 의하여, (a) 부착 목표 영역으로 비행하는 소형 무인기에 대하여 최초 마커 탐지를 수행하는 단계; (b) 마커가 탐지된 경우, 상기 목표 자세 추정 방법으로 상기 소형 무인기의 자세 제어 목표값을 산출하는 단계; (c) 상기 자세 제어 목표값을, 상기 소형 무인기에 대한 최종 자세 제어 출력신호를 발생하는 자세 제어 장치로 송신하는 단계; 및, (d) 상기 소형 무인기가 상기 부착 목표에 기 설정된 범위 내로 근접하였는지를 판단하여, 근접한 경우 상기 부착 목표에의 부착을 위한 제어를 수행하는 단계가 실행되도록 하는 명령을 포함한다.
본 발명에 의하면, 초소형 UAV뿐만 아니라 대형 멀티로터의 부착 작업에서도 사용될 수 있고, 감시, 모니터링 및 환경 탐사에 대한 항공 매핑과 같은 많은 실제 응용 프로그램, 특히, 목표 위치에 도달한 후 전체 임무 기간 동안 드론이 능동적으로 비행할 필요가 없는 작업에 활용할 수 있는 안정적이고 정확한 목표 자세 추정 방법 및 장치를 제공하는 효과가 있다.
도 1은 본 발명의 소형 무인기의 자율 정밀 부착을 위한 다중 센서 기반 목표 자세 추정을 위한 플랫폼을 나타내는 도면이다.
도 2는 설계된 다중 마커 부착 표적의 실시예를 나타내는 도면이다.
도 3은 본 발명의 다중 센서 기반 목표 자세 추정에 사용되는 소형 무인기의 일 실시예를 나타내는 도면이다.
도 4는 본 발명의 소형 무인기의 자율 정밀 부착을 위한 제어 구조를 나타내는 블록 다이어그램이다.
도 5는 자세 측정부에서 측정된 요 각도(yaw angle)와 칼만필터에 의해 최적 추정된 요 각도를 각각 나타내는 그래프이다.
도 6은 본 발명의 부착 표적 자세 추정의 5단계 과정을 나타내는 모식도이다.
도 7은 부착 케이지 내의 상대적 거리를 나타내는 도면이다.
도 8은 본 발명의 자율 정밀 부착 제어 과정을 나타내는 순서도이다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 소형 무인기(200)의 자율 정밀 부착을 위한 다중 센서 기반 목표 자세 추정을 위한 플랫폼을 나타내는 도면이고, 도 2는 설계된 다중 마커(10) 형태의 부착 표적의 실시예를 나타내는 도면이다.
이하의 설명에서의 수치 및, 각 도면에 나타난 수치는 일 실시예로서의 수치이며, 필요에 따라 다양한 수치가 가능하다.
도 1의 위 도면은 부착 케이지(20) 및, 상면에 표시된 다중 마커(10)를 나타낸 도면이고, 도 1의 아래 도면은 소형 무인기(200)와, 위치 및 자세를 나타내기 위한 좌표축 및 각도를 함께 도시한 도면이다. 이러한 좌표축 및 각도에 대한 정의는 이하 모든 설명에 적용된다.
도 2는 대형 마커(11) 내부에 소형 마커(12)를 포함한 다중 마커(10) 형태의 부착 표적을 나타낸다.
이를 위해 ArUco 마커 사전을 선택할 수 있다. 이때, 마커에 포함된 비트 수가 그것이 탐지될 수 있는 거리를 통제하고, 심플 내부 이진 행렬이 있는 마커는 탐지하기가 덜 어렵고 더 먼 거리에서 잘못 탐지될 가능성이 적다는 것을 고려해야 한다. 따라서 대형 마커의 경우 DICT_4x4_100 dictionary와 소형 마커의 경우 DICT_ARUCO_ORIGINAL dictionary를 선택할 수 있다.
마커를 인쇄하고 소형 무인기의 부착 대상으로 배치하기 전에 마커의 크기를 정의해야 한다. 이 경우 카메라 최대 탐지 범위인 mm를 달성하기 위해 대형 마커 크기는 150×150 mm이어야 하므로, mm에서 밀리미터까지 탐지할 수 있는 소형 마커의 크기는 25 x 25 밀리미터로 한다. 부정확한 3D 대 2D 대응은 카메라의 부정확한 자세 추정치를 산출하기 때문에 마커의 물리적 치수를 아는 것은 매우 중요하다. 마커를 정의하고 인쇄한 후 성능을 보장하기 위해 마커의 측면 길이를 다시 측정했다.
이에 따라 정사각형의 대형 마커(11)의 한 변의 길이는 150mm이며 ID가 = 997인 DICT_4x4_100 dictionary에 속한다. 한편, 탐지 혼동을 방지하기 위해 ID = 5인 DICT_ARUCO_ORIGINAL에서 소형 마커(12)를 선택한다. 한 변의 길이가 25mm인 정사각형의 소형 마커(12)를 대형 마커(11)의 중앙에 배치한다. 둘 다 원점과 좌표가 동일하다.
이후, 설계된 다중 마커(10)를 인쇄하여 부착 평면의 중앙에 표적으로 배치한다. 부착 평면 영역은 600mm x 600mm 정사각형 영역일 수 있으며, 주변 4면은 250mm 아래로 내려가는 수직 평면으로 덮어 부착 케이지(20)를 형성한다. 이를 통해 소형 무인기(200)에 장착된 다중 범위 센서가 표적에 근접했을 때, 후술하는 바와 같이 부착 케이지(20)를 이용하여 5방향 거리를 측정할 수 있다. 다만 이와 같은 부착 평면 영역의 주변 4면의 부착 케이지(20)는, 본 명세서에서 일 실시예로서 정사각형 영역으로 설명하였으나, 이에 한정되지는 않으며, 일반적으로 직사각형 영역으로도 가능하다.
도 3은 본 발명의 다중 센서 기반 목표 자세 추정에 사용되는 소형 무인기(200)의 일 실시예를 나타내는 도면이다.
소형 무인기(200)는 나노(nano) UAV일 수 있으며, 카메라(210)가 탑재되어 시각적 마커 탐지 및 상대적인 자세 추정 작업을 위하여 마커(10)에 대한 이미지를 획득한다. 카메라(210)에서 수집된 이미지는 일 예로서 640 x 480 픽셀 크기일 수 있다.
또한 소형 무인기(200)는 다중 범위(multi-ranger) 센서부(220)를 구비한다. 다중 센서부(220)는 소형 무인기(200)의 상단에 부착돼 부착 케이지(20) 내의 다방향 거리를 측정한다.
광학 유량 센서는 도 3에 도시되어 있지는 않으나, X-Y 평면의 특징과 프레임 사이의 움직임을 추적하여 항공기를 안정화시키기 위한 보완재로 작동하며, 소형 무인기(200) 아래부분에 부착되는 카메라이다.
또한 다중 마커(10)의 중심에 있는 둥근 자기 표적에 부착하기 위해 소형 무인기(200) 상단에 작고 강한 자기 부착 기어(230)가 고정되어 있다.
본 발명의 '소형 무인기의 자율 정밀 부착을 위한 다중 센서 기반 목표 자세 추정 및 부착 제어 장치'(이하, '부착 제어 장치'라 한다)(100)가 지상국으로서 소형 무인기(200)와 별도로 설치될 경우, 그러한 부착 제어 장치(100)는 소형 무인기의 카메라(210)로부터 5.8GHz 이상 대역의 아날로그 전송을 통하여 연속적인 영상의 형태로 이미지를 수신하고, 소형 무인기(200)에 탑재된 자세 제어 장치(240, 도 4 참조)와 양방향 통신을 수행, 데이터를 로깅하고, 차량에 제어 신호를 전송할 수 있다. 부착 제어 장치(100)에 대하여는 이하에서 도 4를 참조하여 상세히 후술하기로 한다.
도 4는 본 발명의 소형 무인기(200)의 자율 정밀 부착을 위한 제어 구조를 나타내는 블럭 다이어그램이다.
부착 제어 장치(100)의 다중 센서 기반 부착 목표 자세 추정 장치(이하, '자세 추정 장치'라 한다)(110)는, 소형 무인기(200)로부터 수신한 마커(10) 이미지 및 다방향 거리 값으로부터 소형 무인기(200)의 목표 자세를 추정한다.
부착 제어 장치(100)의 자율 정밀 부착 제어부(120)는, 자세 추정 장치(110)로부터 수신한, 소형 무인기(200)와 부착 타겟 간의 상대적 자세 차이값으로부터 소형 무인기(200)에 대한 자세 제어 목표값을 산출하여 이를 소형 무인기(200)의 자세 제어 장치(240)로 송신한다.
소형 무인기(240)의 자세 제어 장치(240)는 최종 자세 제어 출력신호를 산출하여, 이에 의해 소형 무인기(240)의 자세 제어를 수행한다.
전술한 자세 추정 장치(110), 자율 정밀 부착 제어부(120) 및 자세 제어 장치(240)의 배치는 다양한 방안이 가능하다. 이상적으로는 자세 추정 장치(110), 자율 정밀 부착 제어부(120) 및 자세 제어 장치(240)가 모두 소형 무인기(200)에 온보드 방식으로 탑재되는 방식을 채택할 수 있다. 그러나 소형 무인기(200)는 매우 가벼운 장치로서, 이에 따라 탑재될 수 있는 장치의 무게 역시 제한을 받는다. 특히 매우 많은 양의 계산이 필요한 자세 추정 장치(110)는 메모리 등의 하드웨어적인 요소가 더 필요하게 되므로 이를 소형 무인기(200)에 탑재하는 것은 실질적으로 제한을 받을 수 있다.
따라서 이하 본 발명의 설명에서는 자세 추정 장치(110) 및 자율 정밀 부착 제어부(120)를 포함하는 부착 제어 장치(100)는 지상국으로서 설치되고, 자세 제어 장치(240)는 소형 무인기(200)에 탑재되어, 부착 제어 장치(100)와 자세 제어 장치(240) 간에는 무선 통신에 의해 데이터를 주고 받는 것으로 하였다.
그러나 본 발명은 이와 같은 방식에 한정되는 것은 아니며, 자세 추정 장치(110), 자율 정밀 부착 제어부(120) 및 자세 제어 장치(240) 중 어느 장치를 지상국으로서 설치할 것인지, 또한 어느 장치를 소형 무인기(200)에 탑재할 것인지는 다양한 방식으로 결정할 수 있으며, 어떻게 배치되더라도 이하에서 설명하는 바와 같은, 서로 주고 받는 데이터 및 그에 따라 수행하는 기능은 동일하게 구현될 수 있다.
또한 이하에서 부착 제어 장치(100)는 자세 추정 장치(110) 및 자율 정밀 부착 제어부(120)를 포함하는 장치로서 설명하였으나, 이것 역시 자세 추정 장치(110) 및 자율 정밀 부착 제어부(120)가 지상국에 반드시 함께 설치되거나 또는 소형 무인기(200)에 반드시 함께 탑재되어야 한다는 것으로 한정된다는 것을 의미하지는 않는다. 즉, 예를 들어 자세 추정 장치(110)는 지상국에 구비되고, 자율 정밀 부착 제어부(120)는 소형 무인기(200)에 탑재되는 것도 얼마든지 가능하며, 어떻게 배치되더라도 서로 송수신하는 데이터 및 수행하는 기능은 이하에서 설명하는 것과 동일하게 구현될 수 있다.
자세 추정 장치(110)에서 마커 탐지 및 자세 추정을 수행하기 전에, 실제 단위에서 마커(10)의 크기에 대한 정보를 복구하고 장면(scene)에서 카메라의 자세를 좋은 정확도로 결정할 수 있도록 카메라를 보정해야 한다. 이러한 보정 과정은 공지된 프로그램을 사용할 수도 있다. 예를 들어 ArUco 모듈은 카메라 고유 매개 변수와 왜곡 계수를 얻을 수 있는 OpenCV를 통해 이 옵션을 제공한다.
카메라 보정 절차는 렌즈를 교체하는 등 물리적 구성을 변경하지 않는 한 카메라의 특성은 변하지 않기 때문에 한 번만 수행하면 된다.
소형 무인기(200)에 장착된 카메라(210)에서 획득된 마커(10)에 대한 이미지는 다중 센서 기반 부착 목표 자세 추정 장치(이하, '자세 추정 장치'라 한다)(110)로 전달된다.
소형 무인기(200)에 장착된 다중 범위 센서부(220)에서는 부착 케이지(20) 내에서, 소형 무인기(200)가 부착 케이지(20)의 각 면으로부터 떨어진 거리를 측정하여, 자세 추정 장치(110)로 제공한다.
이때, 카메라(210)에서 자세 추정 장치(110)로 전달된 이미지에서 마커(10)가 감지되지 않는 경우도 있으며, 다중 범위 센서부(220)에서 측정되어 자세 추정 장치(110)로 제공되는 거리가, 부착 케이지(20) 밖에서 측정된 거리일 수도 있다.
이에 따라 소형 무인기(200)와 부착 목표 간의 상대적 자세에 대한 최종 값(이하 '자세 최종 값'이라 한다)은 다음 중 어느 하나의 방법으로 구해진다.
i) 이미지에서 마커가 감지되어, 감지된 마커에 대한 상대적 자세가 측정되고, 다중 범위 센서부(220)에서 측정된 5방향 거리 값이 부착 케이지(20) 내에서 측정된 값인 것으로 판단된 경우, 측정된 상대적 자세 값 및 5방향 거리 값을 병합하여 산출된다.
ii) 이미지에서 마커가 감지되어, 감지된 마커에 대한 상대적 자세가 측정되고, 다중 범위 센서부(220)에서 측정된 5방향 거리 값이 부착 케이지(20) 내에서 측정된 값이 아닌 것으로 판단된 경우, 측정된 상대적 자세 값만으로 산출된다.
iii) 이미지에서 마커가 감지되지 않고, 다중 범위 센서부(220)에서 측정된 5방향 거리 값이 부착 케이지(20) 내에서 측정된 값인 것으로 판단된 경우, 5방향 거리 값만으로 산출된다.
이러한 자세 최종값의 산출은, 이하 도 4 내지 도 7을 참조한 설명에서 더욱 상세하게 설명하기로 한다.
부착 제어장치(100)에 구비된 마커 감지부(111)는, 획득된 각 이미지 프레임(J)으로부터 다중 마커(10)를 탐지하고, 마커(10)가 탐지된 경우, 자세 측정부(112)는 해당 이미지 프레임에서 해당 마커에 대한 소형 무인기(200)의 상대적 자세가 계산되어 칼만필터(113)에 공급된다. 여기서 이미지 프레임(J)은 카메라(210)에서의 캡쳐 이미지이며, 이미지 프레임은, 마커와 카메라 사이의 x,y,z의 상대적 위치와 마커와 카메라 사이의 roll, pitch, yaw(소형 무인기의 자세값)이다.
칼만필터(113)는 이전 상태 데이터, 측정 데이터 및 오차 공분산 행렬이 주어질 때 소형 무인기(200)의 상대적 자세를 최적 추정한다.
소형 무인기(200)가 부착 표적에 가까이 접근하면 Multi-ranger(220)로 5방향 거리를 측정하고, 이는 자세 추정 장치(110)의 5방향 거리 측정부(114)에 의해 수신되어, 자세 병합부(115)로 전달된다.
5방향 거리 측정부(114)는, 다중 범위 센서부(220)에서 측정된 5방향 거리 값이 부착 케이지(20) 내에서 측정된 값인지 여부를 판단할 수 있다.
일 실시예로서의 판단 방법은, 5방향 거리 중, x축에 대하여 측정된 좌측거리 및 우측거리의 합이 부착 케이지(20)의 x축 방향 모서리 길이와 같고, y축에 대하여 측정된 좌측거리 및 우측거리의 합이 부착 케이지(20)의 y축 방향 모서리 길이와 같으며, 상부측 감지 거리가 부착 케이지(20)의 z축 방향 모서리 길이 범위 내에 있으면, 부착 케이지(20) 내에서 측정된 값인 것으로 판단할 수 있다. 이외에도 다양한 방법으로 판단할 수 있다.
이로부터 5방향 거리 측정부(114)는, 다중 범위 센서부(220)에서 측정된 5방향 거리 값이 부착 케이지(20) 내에서 측정된 값인 것으로 판단된 경우에만 해당 5방향 거리값을 자세 병합부(115)로 입력한다.
이후, 5방향 거리및 칼만필터의 출력인 소형 무인기(200)의 자세에 대한 최적 추정치(이하 '자세 최적 추정치'라 한다)는 자세 병합부(115)로 입력되고, 자세 병합부(115)는 이러한 5방향 거리 값 및 자세 최적 추정치를 병합하여, 소형 무인기(200)와 부착 목표 간의 상대적 자세에 대한 최종 값인 을 산출한다. 소형 무인기(200)와 부착 목표 간의 상대적 자세에 대한 최종 값인 은, 도 6을 참조하여 후술하는 각 단계에서의 PCF와 동일한 의미의 식이다.
이러한 상대적 자세 최종 값인 은 자율 정밀 부착 제어부(120)로 전달되고, 자율 정밀 부착 제어부(120)는 이로부터 자세 제어 신호를 산출하여 소형 무인기(200)로 송신한다. 자세 제어 신호는, x, y 및 z축 방향에 대한 자세 제어 목표값인 및, 요 각도(yaw angle)의 자세 제어 목표값인
Figure pat00017
를 포함한다. x축은 전방 및 후방 방향을 정의하고, y축은 왼쪽 및 오른쪽을 정의하며, z축은 표적에 대한 수직 상향 방향을 정의한다. 표적과 소형 무인기(200) 사이의 모든 추정 거리는 월드프레임 센티미터이다.
전술한 자세 병합부(115)가 수행하는 단계별 자세 병합 기능에 대하여는 도 6을 참조하여 상세히 후술하며, 또한 자율 정밀 부착 제어부(120)는 소형 무인기의 부착 타겟에의 부착을 위한 전체적인 제어를 수행하는데, 이에 대하여는 도 8의 순서도를 참조하여 상세히 후술하기로 한다.
자세 제어 장치(240)의 위치 제어부(241)는, 자율 정밀 부착 제어부(120)로부터 수신한 자세 제어 목표값인 xc, yc 및, 소형 무인기(200)의 측정부로부터 수신한 소형 무인기(200)의 현재 위치값인 x, y로부터, 자세 제어 목표값인 φc, θc를 산출한다.
자세 제어 장치(240)의 자세 제어부(242)는 산출된 φc, θc 및 자율 정밀 부착 제어부(120)로부터 수신한 자세 제어 목표값인 ψc, 그리고 이와 함께 소형 무인기(200)의 측정부로부터 수신한 소형 무인기의 현재 위치값인 φ, θ, ψ로부터로부터 소형 무인기(200)에 대한 최종 자세 제어 출력신호 U2, U3, U4를 출력한다.
자세 제어 장치(240)의 고도 제어부(243)는, 자율 정밀 부착 제어부(120)로부터 수신한 자세 제어 목표값인 zc 및 소형 무인기(200)의 측정부로부터 수신한 소형 무인기의 현재 위치값인 z로부터, 소형 무인기(200)에 대한 최종 자세 제어 출력신호 U1을 출력한다.
이와 같이 산출된 최종 자세 제어 출력신호은 소형 무인기(200)의 자세를 제어하는 신호로서 사용된다.
도 5는 자세 측정부(112)에서 측정된 요 각도(yaw angle)와 칼만필터(113)에 의해 최적 추정된 요 각도를 각각 나타내는 그래프이다.
도 5의 위의 그래프는 자세 측정부(112)에서 측정된 요 각도로서, 전송 손실, 카메라 진동, 감지된 정보의 손실 등, 예상치 못한 이유로 인해 그래프에 나타난 바와 같이 요 각도 값이 측정되지 못하는 경우가 생긴다.
칼만필터(113)는 이전 상태의 정보로부터 지금 시점의 자세값을 추정한다. 이것은 시간 경과에 따라 자세 정보를 안정되게 만들며, 도 5의 아래 그래프와 같이 손실되는 값이 없이 연속적인 그래프가 되도록 한다. 따라서, '최적 추정'된 요 각도라고 표현할 수 있는 것이다.
도 6은 본 발명의 부착 표적 자세 추정의 5단계 과정을 나타내는 모식도이고, 도 7은 부착 케이지 내의 상대적 거리를 나타내는 도면이다.
도 6 및 도 7에서의 기호에 대한 설명을 정리하면 다음과 같다.
기호 설명

대형 마커가 탐지되기 시작하는 최대 상대 거리

소형 마커가 탐지되기 시작하는 최대 상대 거리

대형 마커가 탐지되는 범위의 최소 상대 거리

부착 케이지 내부를 비행하여 다중 범위 센서 이용 가능한 최대 상대 거리

소형 마커가 탐지되는 범위의 최소 상대 거리

x축에서 부착 케이지 벽까지의 거리는 Multi-range deck의 전방 및 후방 센서에 의해 측정

y축에서 부착 케이지 벽까지의 거리는 Multi-range deck의 좌측 및 우측 센서에 의해 측정

z축에서 부착 평면까지의 거리는 Multi-range deck의 상향 센서에 의해 측정

드론의 카메라에서 부착 대상까지의 x, y, z축 상대 거리

지구-프레임 좌표에서 드론의 롤, 피치, 요 각도
도 6과 같이, 소형 무인기(200)는 안정적이고, 롤과 피치각의 변화가 매우 작아 무시될 수 있다고 가정하며, z5 < z4 < z3 < z2 < z1 이고, 여기서 zi∈ R 이다.
대형 마커(11)는 범위에서 탐지될 수 있다.
소형 마커(12)는 범위에서 탐지될 수 있다.
다중 범위 센서부(220)는 경우에 사용될 수 있다.
측정 결과, 다음과 같은 결과를 얻었다. 물론 이하의 수치 역시 일 실시예일 뿐이며, 구성에 따라 다양한 수치가 산출될 수 있다.
대형 마커(마커 1)(11)의 자세는 다음과 같이 나타낼 수 있다.
소형 마커(마커 2)(12)의 자세는 다음과 같이 나타낼 수 있다.
윗 식에서 왼쪽 위 첨자 c는 카메라를 의미한다. 예를 들어 cxM1에서 M1은 마커1이라는 의미이고, c는 카메라를 의미한다. 따라서 cxM1 은 마커1에서 카메라까지의 상대적인 거리(x값)를 의미한다. 이와 마찬가지로 cyM1 은 마커1과 카메라 사이의 상대적인 거리(y값)을 의미한다.
소형 무인기(200)의 자세는 다음과 같이 나타낼 수 있다.
이하에서는 도 6 및 도 7을 참조하여, 자세 추정 장치(110)의 자세 병합부(115)가, 부착 표적에 대한 소형 무인기(200)의 자세를 추정하는 방법의 다섯 단계, 즉, 1단계 내지 5단계를 설명하기로 한다.
도 7을 참조하여 부착 케이지(20)는 정사각형의 경우로써 설명하였으나, 이에 한정되지 않고 일반적인 직사각형이 될 수도 있다.
1) 1단계
대형 마커(11)만 탐지된다.
이에 따라, 소형 무인기(200)의 자세는 다음과 같이 정의된다.
2) 2단계
대형 마커(11)과 소형 마커(12) 모두 탐지된다.
과 의 자세 벡터를 다음과 같이 정의할 수 있다.
이에 따라, 소형 무인기(200)의 자세를 다음과 같이 정의할 수 있다.
여기서,
이고, 는, 카메라(210)에서 나오는 대형 마커(11)와 소형 마커(12)의 실제 자세와 추정 자세 사이의 를 최소화하는 LMS(Least Mean Square) 필터링 알고리즘을 적용해 선택한다.
3) 3단계
소형 마커(12)만 탐지된다.
이에 따라, 소형 무인기(200)의 자세는 다음과 같이 정의할 수 있다.
4) 4단계
소형 무인기(200)가 부착 케이지(20) 내부를 비행하고 있으며, 이에 따라 다중 범위 센서부(220)가 사용되며 소형 마커(12)가 탐지된다.
다중 범위 센서부(220)에 의해 측정된 자세는 다음과 같이 표현될 수 있다.
여기서,
이다.
도 7에 표시된 것처럼, 소형 무인기(200)는 안정적이고 부착 케이지(20) 내의 부착 표적에 가까이 접근하기 전에 요 각도를 로 이미 정렬했다고 가정한다. 요 각도의 변화는 매우 작으므로, 무시할 수 있다.
따라서,
이다.
대형 마커(11)와 다중 범위 센서부(220)의 자세 벡터를 다음과 같이 정의한다.
따라서, 소형 무인기(200)의 자세를 다음과 같이 부착 표적에 얻을 수 있다.
여기서,
이고, 는 카메라(210)와 다중 범위 센서부(220) 측정으로부터, 소형 마커(12)의 실제 자세와 추정 자세 사이의 를 최소화하는 LMS(Least Mean Square) 필터링 알고리즘을 적용해 선택한다.
5) 5단계
소형 무인기(200)가 부착 케이지 내에서 비행하고 있으며, 카메라(210)의 탐지로부터 소형 마커(12)가 사라지게 된다.
따라서, 소형 무인기(200)의 자세를 다음과 같이 부착 표적에 얻을 수 있다.
도 8은 본 발명의 자율 정밀 부착 제어 과정을 나타내는 순서도이다.
이하에서, 단계 S101 및 S104를 제외한 단계들은 부착 제어 장치(100)의 자율 정밀 부착 제어부(120)의 제어에 의해 이루어진다.
1) 1단계는 부착 영역 접근 단계이다.
이 단계에서, 소형 무인기(200)는, 비행하여 부착 영역에 도달하고 부착 목표물(Perching Target, PT)을 탐색하기 위해 고도는 물론 위치 유지를 위해 호버링한다(S101).
2) 2단계는 부착 목표 탐색 단계이다.
이 단계에서는, 최대 탐색 시도 횟수에 도달할 때까지 마커 탐지에 의해 PT가 탐색된다. 즉, 부착 목표물에 대한 탐색을 실시하여(S102), 마커(10)가 탐지되었는지를 판단하고, 마커를 탐지하지 못한 경우(S103), 마커(10)를 찾기 위해 소형 무인기(200)의 고도를 올리도록 제어한다(S116). 단계 S103에서의 마커(10)가 탐지되었는지의 판단은, 소형 무인기(200)의 상승 중 최초로 마커(10) 탐지가 되었는지를 판단하는 것이다. 즉, 도 6의 단계에서 최초로 대형 마커(11)가 탐지되었는지의 판단을 의미한다. 이후의 소형 마커(12)의 탐지 여부 판단, 상승 단계에 따라 대형 마커(11) 또는 소형 마커(12)가 탐지 가능 영역에서 사라졌는지의 판단은 이하 단계 S104에서 이루어진다.
마커(10)를 찾는 시도의 횟수 또는 시도한 시간 등의 기준값을 설정하여, 그 횟수 또는 시간이 되었는지 판단하고(S115), 그 횟수 또는 시간이 되기 전이라면 소형 무인기(200)를 상승시켜(S116) 마커(10) 탐지 과정을 반복하고, 그 횟수 또는 시간이 될 때까지 마커(10)가 탐지되지 않았다면, 안전을 위해 소형 무인기(200)를 현재 위치에서 착륙시킨다(S114).
3) 3단계는 부착 대상 자세 추정을 위한 단계이다.
자세 추정 장치(110)의 마커 감지부(111)에 의해 마커(10)가 탐지되면, 자세 추정 장치(110)는, 도 6을 참조하여 설명한 자세 추정 방법을 사용하여 부착 대상에 대한 소형 무인기(200)의 상대적인 자세를 얻는다(S104). 이때 도 6을 참조하여 설명한 바와 같이, 마커(10) 감지 뿐 아니라, 소형 무인기(200)가 부착 케이지 내로 진입한 이후에는 소형 무인기(200)의 다중 범위 센서부(220)에서 측정된 5방향 거리도 자세 추정에 사용된다.
4) 4단계는 소형 무인기(200)의 자세 정렬을 위한 단계이다.
자세를 추정한 후(S104), 추정된 자세에 따라 소형 무인기(200)의 수평위치, 즉, x-y 위치 및 요 각도(yaw-angle)룰 정렬시킨다(S105). 이후 소형 무인기(200)가 목표물에 수평적으로 충분히 가깝고 요 각도가 0이 되는지를 판단하여(S106), 그러한 조건이 만족되지 않았으면, 자세 추정 장치(110)에 의한 자세 추정(S104) 및 수평위치, 즉, x-y 위치 및 요 각도(yaw-angle)의 정렬(S105)를 반복한다.
5) 5단계는 소형 무인기(200)를 부착 목표로 상승시키는 단계이다.
소형 무인기(200)가 목표물에 수평적으로 기 설정된 값 범위 내로 충분히 가깝고 요 각도가 0이 되는지를 판단하여(S106), 그러한 조건을 만족하게 된 경우에는 수평 위치를 유지하면서 상승하도록 제어한다(S107). 이후, 소형 무인기의 수직위치, 즉, z 위치가 목표물에 근접하였는지 판단하고(S108), 근접하지 않았으면 다시 단계 S104 내지 S108을 반복한다.
6) 6단계는 부착 임무를 수행하는 단계이다.
소형 무인기의 수직위치, 즉, z 위치가 목표물에 근접하였는지 판단하여(S108), 기 설정된 값 범위 내로 충분히 근접하였다면 부착 임무를 수행하도록 제어한다(S109). 즉, 소형 무인기(200)가 부착 타겟에 수직으로 근접하면, 자율 정밀 부착 제어부(120)는 소형 무인기(200)의 자기식 부착 기어(230)가 부착 중심에 빠르게 부착될 수 있도록 스로틀(throttle)을 증가시키고, 안정화된 제어를 비활성화하는 등의 부착 임무를 수행한다(S109).
7) 7단계는 부착 완료 단계이다.
소형 무인기(200)가 부착되면, 소형 무인기(200)는 자기 부착 위치에 정지하여 매달려 있고, 자율 정밀 부착 제어부(120)가 모터를 돌리면 부착 임무가 완료된다(S111). 부착 임무가 실패하고(S110) 사전 정의된 최대 부착 시도 횟수 또는 시도 시간을 초과하지 않았다면(S113) 소형 무인기(200)는 일정거리(예: 10cm)를 하강하여(S112) 단계 S104로 돌아가 자세 추정 단계부터 다시 수행한다. 사전 정의된 최대 부착 시도 횟수 또는 시도 시간을 초과하였다면(S113), 소형 무인기(200)는 현재 위치에 착륙하여(S114) 배터리 부족을 방지한다.
10: 다중 마커
11: 대형 마커
12: 소형 마커
20: 부착 케이지
100: 소형 무인기의 자율 정밀 부착을 위한 다중 센서 기반 목표 자세 추정 및 부착 제어 장치
110: 다중 센서 기반 부착 목표 자세 추정 장치
111: 마커 감지부
112: 자세 측정부
113: 칼만필터
114: 5방향 거리측정부
115: 자세 병합부
120: 자율 정밀 부착 제어부
200: 소형 무인기
210: 카메라
220: 다중 범위 센서부
230: 자기 부착 기어
240: 자세 제어 장치

Claims (13)

  1. 소형 무인기의 자율 정밀 부착을 위한 다중 센서 기반 목표 자세 추정 방법으로서,
    (a) 소형 무인기로부터, 카메라에서 획득된 이미지 및 다중 범위(multi-ranger) 센서부에서 감지된 5방향 거리 값을 수신하는 단계;
    (b) 상기 이미지로부터 마커를 감지하는 단계;
    (c) 마커가 감지된 경우, 상기 소형 무인기의 마커에 대한 상대적 자세를 측정하는 단계;
    (d) 상기 5방향 거리 값이 각각, 부착 평면 영역의 주변 4면에 형성된 부착 케이지 내에서 측정된 값인지 여부를 판단하는 단계;
    (e) 상기 소형 무인기와 부착 목표 간의 상대적 자세에 대한 최종 값(이하 '자세 최종 값'이라 한다)을 산출하는 단계; 및,
    (f) 상기 단계(e)에서 산출된 상대적 자세에 대한 최종 값으로부터, 상기 소형 무인기의 자세 제어 목표값을 산출하는 단계
    를 포함하고,
    상기 자세 최종값은,
    상기 단계(c)에서 감지된 마커에 대한 상대적 자세가 측정되고, 상기 단계(d)에서 상기 5방향 거리 값이 상기 부착 케이지 내에서 측정된 값인 것으로 판단된 경우, 상기 측정된 상대적 자세 값 및 상기 5방향 거리 값을 병합하여 산출되고,
    상기 단계(c)에서 감지된 마커에 대한 상대적 자세가 측정되고, 상기 단계(d)에서 상기 5방향 거리 값이 상기 부착 케이지 내에서 측정된 값이 아닌 것으로 판단된 경우, 상기 측정된 상대적 자세 값만으로 산출되며,
    상기 마커가 감지되지 않고, 상기 단계(d)에서 상기 5방향 거리 값이 상기 부착 케이지 내에서 측정된 값인 것으로 판단된 경우, 상기 5방향 거리 값만으로 산출되는,
    소형 무인기의 자율 정밀 부착을 위한 다중 센서 기반 목표 자세 추정 방법.
  2. 청구항 1에 있어서,
    상기 마커는,
    정사각형의 대형 마커; 및,
    상기 대형 마커 내부에 정사각형의 소형 마커
    를 포함하는 다중 마커 형태인 것
    을 특징으로 하는 소형 무인기의 자율 정밀 부착을 위한 다중 센서 기반 목표 자세 추정 방법.
  3. 청구항 1에 있어서,
    상기 부착 케이지는,
    상기 마커를 중심으로 하는 정사각형 또는 직사각형의 부착 평면 영역의 4개의 모서리에서 일정 길이만큼 아래로 내려가는 수직 벽면 형태로 형성되는 것
    을 특징으로 하는 소형 무인기의 자율 정밀 부착을 위한 다중 센서 기반 목표 자세 추정 방법.
  4. 청구항 1에 있어서,
    상기 마커가 감지된 경우 상기 단계(c)에서 측정된 상대적 자세 값은, 이전 상태의 정보로부터 지금 시점의 자세값을 추정하기 위한 칼만필터에 입력되고,
    이에 의해 상기 칼만필터에서 출력된 최적의 상대적 자세 값이 상기 자세 최종값 산출에 사용되는 것
    을 특징으로 하는 소형 무인기의 자율 정밀 부착을 위한 다중 센서 기반 목표 자세 추정 방법.
  5. 청구항 2에 있어서,
    상기 단계(e)에서, 상기 소형 무인기와 부착 목표 간의 상대적 자세에 대한 최종 값은,
    인 경우, 상기 대형 마커에 대한 상기 소형 무인기의 상대적 자세 값으로 결정되고,
    인 경우, 상기 대형 마커 및 상기 소형 마커 각각에 대한 상기 소형 무인기의 상대적 자세 값을 병합한 값으로 결정되고,
    인 경우, 상기 소형 마커에 대한 상기 소형 무인기의 상대적 자세 값으로 결정되고,
    인 경우, 상기 소형 마커에 대한 상기 소형 무인기의 상대적 자세 값 및, 상기 5방향 거리 값을 병합한 값으로 결정되고,
    인 경우, 상기 5방향 거리 값으로 결정되고,
    여기서,
    zCF는 상기 부착 평면에서 상기 소형 무인기까지의 상대거리,
    z1은 대형 마커가 탐지되기 시작하는, 상기 부착 평면으로부터의 최대 상대 거리,
    z2는 소형 마커가 탐지되기 시작하는, 상기 부착 평면으로부터의 최대 상대 거리,
    z3는 대형 마커가 탐지되는 범위의, 상기 부착 평면으로부터의 최소 상대 거리,
    z4는 부착 케이지 내부를 비행하여 다중 범위 센서를 이용 가능한 범위의, 상기 부착 평면으로부터의 최대 상대 거리,
    z5는 소형 마커가 탐지되는 범위의, 상기 부착 평면으로부터의 최소 상대 거리
    인 것을 특징으로 하는 소형 무인기의 자율 정밀 부착을 위한 다중 센서 기반 목표 자세 추정 방법.
  6. 소형 무인기의 자율 정밀 부착을 위한 다중 센서 기반 목표 자세 추정 장치로서,
    적어도 하나의 프로세서; 및
    컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되,
    상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여,
    (a) 소형 무인기로부터, 카메라에서 획득된 이미지 및 다중 범위(multi-ranger) 센서부에서 감지된 5방향 거리 값을 수신하는 단계;
    (b) 상기 이미지로부터 마커를 감지하는 단계;
    (c) 마커가 감지된 경우, 상기 소형 무인기의 마커에 대한 상대적 자세를 측정하는 단계;
    (d) 상기 5방향 거리 값이 각각, 부착 평면 영역의 주변 4면에 형성된 부착 케이지 내에서 측정된 값인지 여부를 판단하는 단계;
    (e) 상기 소형 무인기와 부착 목표 간의 상대적 자세에 대한 최종 값(이하 '자세 최종 값'이라 한다)을 산출하는 단계; 및,
    (f) 상기 단계(e)에서 산출된 상대적 자세에 대한 최종 값으로부터, 상기 소형 무인기의 자세 제어 목표값을 산출하는 단계
    가 실행되도록 하고,
    상기 자세 최종값은,
    상기 단계(c)에서 감지된 마커에 대한 상대적 자세가 측정되고, 상기 단계(d)에서 상기 5방향 거리 값이 상기 부착 케이지 내에서 측정된 값인 것으로 판단된 경우, 상기 측정된 상대적 자세 값 및 상기 5방향 거리 값을 병합하여 산출되고,
    상기 단계(c)에서 감지된 마커에 대한 상대적 자세가 측정되고, 상기 단계(d)에서 상기 5방향 거리 값이 상기 부착 케이지 내에서 측정된 값이 아닌 것으로 판단된 경우, 상기 측정된 상대적 자세 값만으로 산출되며,
    상기 마커가 감지되지 않고, 상기 단계(d)에서 상기 5방향 거리 값이 상기 부착 케이지 내에서 측정된 값인 것으로 판단된 경우, 상기 5방향 거리 값만으로 산출되는,
    소형 무인기의 자율 정밀 부착을 위한 다중 센서 기반 목표 자세 추정 장치.
  7. 소형 무인기의 자율 정밀 부착을 위하여 다중 센서 기반으로 목표 자세를 추정하기 위한 컴퓨터 프로그램으로서,
    비일시적 저장 매체에 저장되며, 프로세서에 의하여,
    (a) 소형 무인기로부터, 카메라에서 획득된 이미지 및 다중 범위(multi-ranger) 센서부에서 감지된 5방향 거리 값을 수신하는 단계;
    (b) 상기 이미지로부터 마커를 감지하는 단계;
    (c) 마커가 감지된 경우, 상기 소형 무인기의 마커에 대한 상대적 자세를 측정하는 단계;
    (d) 상기 5방향 거리 값이 각각, 부착 평면 영역의 주변 4면에 형성된 부착 케이지 내에서 측정된 값인지 여부를 판단하는 단계;
    (e) 상기 소형 무인기와 부착 목표 간의 상대적 자세에 대한 최종 값(이하 '자세 최종 값'이라 한다)을 산출하는 단계; 및,
    (f) 상기 단계(e)에서 산출된 상대적 자세에 대한 최종 값으로부터, 상기 소형 무인기의 자세 제어 목표값을 산출하는 단계
    가 실행되도록 하는 명령을 포함하고,
    상기 자세 최종값은,
    상기 단계(c)에서 감지된 마커에 대한 상대적 자세가 측정되고, 상기 단계(d)에서 상기 5방향 거리 값이 상기 부착 케이지 내에서 측정된 값인 것으로 판단된 경우, 상기 측정된 상대적 자세 값 및 상기 5방향 거리 값을 병합하여 산출되고,
    상기 단계(c)에서 감지된 마커에 대한 상대적 자세가 측정되고, 상기 단계(d)에서 상기 5방향 거리 값이 상기 부착 케이지 내에서 측정된 값이 아닌 것으로 판단된 경우, 상기 측정된 상대적 자세 값만으로 산출되며,
    상기 마커가 감지되지 않고, 상기 단계(d)에서 상기 5방향 거리 값이 상기 부착 케이지 내에서 측정된 값인 것으로 판단된 경우, 상기 5방향 거리 값만으로 산출되는,
    소형 무인기의 자율 정밀 부착을 위하여 다중 센서 기반으로 목표 자세를 추정하기 위한 컴퓨터 프로그램.
  8. 소형 무인기의 자율 정밀 부착을 위한 부착 제어 방법으로서,
    (a) 부착 목표 영역으로 비행하는 소형 무인기에 대하여 최초 마커 탐지를 수행하는 단계;
    (b) 마커가 탐지된 경우, 청구항 1의 방법으로 상기 소형 무인기의 자세 제어 목표값을 산출하는 단계;
    (c) 상기 자세 제어 목표값을, 상기 소형 무인기에 대한 최종 자세 제어 출력신호를 발생하는 자세 제어 장치로 송신하는 단계; 및,
    (d) 상기 소형 무인기가 상기 부착 목표에 기 설정된 범위 내로 근접하였는지를 판단하여, 근접한 경우 상기 부착 목표에의 부착을 위한 제어를 수행하는 단계
    를 포함하는 소형 무인기의 자율 정밀 부착을 위한 부착 제어 방법.
  9. 청구항 8에 있어서,
    상기 단계(d)는,
    (d1) 상기 소형 무인기가 상기 부착 목표에 기 설정된 범위 내로 수평적으로 충분히 근접하고, 요 각도(yaw-angle)이 0이 되면, 수평 위치를 유지하면서 상승하도록 제어하고, 해당 조건을 만족하지 못하면, 자세 제어 목표값 재산출을 위하여 상기 단계(b)로 되돌아가는 단계; 및,
    (d2) 상기 소형 무인기가 상기 부착 목표에 기 설정된 범위 내로 수직적으로 충분히 근접한 경우 상기 소형 무인기에 대하여 상기 부착 목표에의 부착을 위한 제어를 수행하고, 해당 조건을 만족하지 못하면, 자세 제어 목표값 재산출을 위하여 상기 단계(b)로 되돌아가는 단계
    를 포함하는 것을 특징으로 하는 소형 무인기의 자율 정밀 부착을 위한 부착 제어 방법.
  10. 청구항 8에 있어서,
    상기 단계(b)에서, 마커가 탐지되지 않은 경우,
    마커 탐지를 위한 시도 횟수 또는 시도 시간이 기 설정된 값에 도달한 경우에는 상기 소형 무인기를 착륙하도록 제어하고, 도달하지 않은 경우에는 상기 소형 무인기를 상승하도록 제어하고 상기 단계(a)로 되돌아가는 것
    을 특징으로 하는 소형 무인기의 자율 정밀 부착을 위한 부착 제어 방법.
  11. 청구항 8에 있어서,
    상기 단계(d)에서,
    상기 소형 무인기가 상기 부착 목표에 기 설정된 범위 내로 근접하여 부착을 위한 제어를 시도한 경우, 부착 시도 횟수 또는 시도 시간이 기 설정된 값에 도달한 경우에는 상기 소형 무인기를 착륙하도록 제어하고, 도달하지 않은 경우에는 상기 소형 무인기를 일정 거리 하강하도록 제어하고 상기 단계(b)로 되돌아가는 것
    을 특징으로 하는 소형 무인기의 자율 정밀 부착을 위한 부착 제어 방법.
  12. 소형 무인기의 자율 정밀 부착을 위한 부착 제어 장치로서,
    적어도 하나의 프로세서; 및
    컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되,
    상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여,
    (a) 부착 목표 영역으로 비행하는 소형 무인기에 대하여 최초 마커 탐지를 수행하는 단계;
    (b) 마커가 탐지된 경우, 청구항 1의 방법으로 상기 소형 무인기의 자세 제어 목표값을 산출하는 단계;
    (c) 상기 자세 제어 목표값을, 상기 소형 무인기에 대한 최종 자세 제어 출력신호를 발생하는 자세 제어 장치로 송신하는 단계; 및,
    (d) 상기 소형 무인기가 상기 부착 목표에 기 설정된 범위 내로 근접하였는지를 판단하여, 근접한 경우 상기 부착 목표에의 부착을 위한 제어를 수행하는 단계
    가 실행되도록 하는 소형 무인기의 자율 정밀 부착을 위한 부착 제어 장치.
  13. 소형 무인기의 자율 정밀 부착을 위한 컴퓨터 프로그램으로서,
    비일시적 저장 매체에 저장되며, 프로세서에 의하여,
    (a) 부착 목표 영역으로 비행하는 소형 무인기에 대하여 최초 마커 탐지를 수행하는 단계;
    (b) 마커가 탐지된 경우, 청구항 1의 방법으로 상기 소형 무인기의 자세 제어 목표값을 산출하는 단계;
    (c) 상기 자세 제어 목표값을, 상기 소형 무인기에 대한 최종 자세 제어 출력신호를 발생하는 자세 제어 장치로 송신하는 단계; 및,
    (d) 상기 소형 무인기가 상기 부착 목표에 기 설정된 범위 내로 근접하였는지를 판단하여, 근접한 경우 상기 부착 목표에의 부착을 위한 제어를 수행하는 단계
    가 실행되도록 하는 명령을 포함하는 소형 무인기의 자율 정밀 부착을 위한 컴퓨터 프로그램.
KR1020220110867A 2022-09-01 2022-09-01 소형 무인기의 자율 정밀 부착을 위한 다중 센서 기반 목표 자세 추정 및 부착 제어 방법 및 장치 KR20240032258A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220110867A KR20240032258A (ko) 2022-09-01 2022-09-01 소형 무인기의 자율 정밀 부착을 위한 다중 센서 기반 목표 자세 추정 및 부착 제어 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220110867A KR20240032258A (ko) 2022-09-01 2022-09-01 소형 무인기의 자율 정밀 부착을 위한 다중 센서 기반 목표 자세 추정 및 부착 제어 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20240032258A true KR20240032258A (ko) 2024-03-12

Family

ID=90299736

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220110867A KR20240032258A (ko) 2022-09-01 2022-09-01 소형 무인기의 자율 정밀 부착을 위한 다중 센서 기반 목표 자세 추정 및 부착 제어 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20240032258A (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019226917A1 (en) 2018-05-23 2019-11-28 Planck Aerosystems Inc. System and method for drone tethering
WO2022107114A1 (ja) 2020-11-20 2022-05-27 三菱重工業株式会社 ドローンポート

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019226917A1 (en) 2018-05-23 2019-11-28 Planck Aerosystems Inc. System and method for drone tethering
WO2022107114A1 (ja) 2020-11-20 2022-05-27 三菱重工業株式会社 ドローンポート

Similar Documents

Publication Publication Date Title
US11218689B2 (en) Methods and systems for selective sensor fusion
CN107240063B (zh) 一种面向移动平台的旋翼无人机自主起降方法
US10942529B2 (en) Aircraft information acquisition method, apparatus and device
CN108227751B (zh) 一种无人机的降落方法及系统
CN110262568B (zh) 一种基于目标跟踪的无人机避障方法、装置及无人机
CN106774431B (zh) 一种测绘无人机航线规划方法及装置
US20200344464A1 (en) Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Defects
CN105335733B (zh) 一种无人机自主着陆视觉定位方法及系统
CN109885086B (zh) 一种基于复合多边形标志引导的无人机垂直降落方法
CN106155086B (zh) 一种道路检测无人机及其自动巡航方法
CN110077595A (zh) 复杂动态颠簸条件下无人自主飞行器自动降落及回收系统
CN109901580A (zh) 一种无人机与无人地面机器人协作循径避障系统及其方法
CN113359810A (zh) 一种基于多传感器的无人机着陆区域识别方法
CN112037260B (zh) 一种跟踪目标的位置估计方法、装置及无人飞行器
CN106054903A (zh) 一种多旋翼无人机自适应降落方法及系统
CN105182992A (zh) 无人机的控制方法、装置
CN108052110A (zh) 基于双目视觉的无人机编队飞行方法和系统
EP3077760B1 (en) Payload delivery
Bao et al. Vision-based horizon extraction for micro air vehicle flight control
CN115280398A (zh) 用于着陆uav的特设地理基准垫
CN107576329B (zh) 基于机器视觉的固定翼无人机着降引导合作信标设计方法
WO2021056139A1 (zh) 获取降落位置的方法、设备、无人机、系统及存储介质
CN109857133A (zh) 基于双目视觉的多旋翼无人机选择性避障控制方法
KR20240032258A (ko) 소형 무인기의 자율 정밀 부착을 위한 다중 센서 기반 목표 자세 추정 및 부착 제어 방법 및 장치
CN112859923A (zh) 一种无人机视觉编队飞行控制系统