KR102476374B1 - 무인 비행체의 원격 제어를 위한 시스템 및 이에 의해 수행되는 방법 - Google Patents

무인 비행체의 원격 제어를 위한 시스템 및 이에 의해 수행되는 방법 Download PDF

Info

Publication number
KR102476374B1
KR102476374B1 KR1020210093602A KR20210093602A KR102476374B1 KR 102476374 B1 KR102476374 B1 KR 102476374B1 KR 1020210093602 A KR1020210093602 A KR 1020210093602A KR 20210093602 A KR20210093602 A KR 20210093602A KR 102476374 B1 KR102476374 B1 KR 102476374B1
Authority
KR
South Korea
Prior art keywords
uav
state
video frame
estimate
previous
Prior art date
Application number
KR1020210093602A
Other languages
English (en)
Inventor
송진우
강산희
김응주
김용훈
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020210093602A priority Critical patent/KR102476374B1/ko
Application granted granted Critical
Publication of KR102476374B1 publication Critical patent/KR102476374B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • B64C2201/146—

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)

Abstract

무인 비행체(Unmanned Aerial Vehicle: UAV)를 원격으로 제어하는 시스템이 제공된다. 개시된 시스템은, UAV에서 포착된 이전 영상 프레임을 수신한 후, UAV의 위치 및 자세를 포함하는 상태를 제어하는 제어 입력을 UAV에 송신하는 통신 유닛과, UAV의 동적 모델에 기반하여 상태를 추정하고(동적 모델은 제어 입력을 사용하여 상태의 시간적 전개를 나타냄), UAV에서 포착된 현재 영상 프레임을 수신하는 데에 지연이 있는 경우, 추정된 상태에 따라 이전 영상 프레임을 변환하여 현재 영상 프레임에 대한 대체 영상 프레임을 생성하는 처리 유닛을 포함한다.

Description

무인 비행체의 원격 제어를 위한 시스템 및 이에 의해 수행되는 방법{SYSTEM FOR REMOTE CONTROL OF UNMANNED AERIAL VEHICLE AND METHOD PERFORMED THEREBY}
본 개시는 무인 비행체(Unmanned Aerial Vehicle: UAV)의 원격 제어를 위한 시스템 및 이에 의해 수행되는 방법에 관한 것이다.
다양한 환경에서 드론(drone)과 같은 무인 비행체(Unmanned Aerial Vehicle: UAV)를 활용하려는 연구가 활발하다. 어떤 환경에서는 UAV가 지상 관제 시스템(Ground Control System: GCS)과 같은 원격 제어 시스템에 의해 원격으로 제어될 수 있다. 그러한 시스템은 UAV와 무선으로 통신하여 UAV에 명령하고(가령, 미션을 수행하라는 명령을 전달하고), UAV에서 감지된 정보 또는 UAV에서 포착된(captured) 영상을 수신하여 이를 저장하고/거나 디스플레이할 수 있다.
일반적으로 UAV로부터 GCS로 정보가 송신되는 하향 링크는 200 ms 이하의 전송 지연을 갖도록 설계된다. 그러나, 그러한 무선 통신에서 품질 악화로 인해 심각한 지연이 발생하는 경우가 있을 수 있는데, 예를 들어, 군집 비행 중인 다수의 UAV와의 통신에서 과도한 부하가 걸리기 쉽다. 이러한 경우에, GCS가 UAV로부터 UAV의 제어에 유용한 데이터(가령, UAV의 센서로부터의 출력, UAV의 전방 및/또는 주위가 촬상된 영상 등)를 실시간으로 내지 별로 시간 지연 없이 획득하기가 어렵다.
UAV의 원격 제어를 위한 시스템 및 이에 의해 수행되는 방법이 본 문서에 개시된다.
예에서, 무인 비행체(Unmanned Aerial Vehicle: UAV)를 원격으로 제어하는 시스템은 다음을 포함한다: 상기 UAV에서 포착된 이전 영상 프레임을 수신한 후, 상기 UAV의 위치 및 자세를 포함하는 상태를 제어하는 제어 입력을 상기 UAV에 송신하는 통신 유닛; 및 상기 상태를 상기 UAV의 동적 모델(dynamic model)에 기반하여 추정하고(상기 동적 모델은 상기 제어 입력을 사용하여 상기 상태의 시간적 전개를 나타냄), 상기 UAV에서 포착된 현재 영상 프레임을 수신하는 데에 지연이 있는 경우, 상기 추정된 상태에 따라 상기 이전 영상 프레임을 변환하여 상기 현재 영상 프레임에 대한 대체 영상 프레임을 생성하는 처리 유닛.
전술된 개요는 상세한 설명에서 추가로 후술되는 몇몇 양상을 단순화된 형태로 소개하기 위해 제공된다. 이 개요는 청구된 주제(subject matter)의 중요 특징 또는 필수적 특징을 식별하도록 의도되지 않고, 청구된 주제의 범위를 정하는 데 사용되도록 의도되지도 않는다. 나아가, 청구된 주제는 본 명세서에서 논의되는 임의의 또는 모든 이점을 제공하는 구현에 한정되지 않는다.
본 개시에 따르면, UAV 및 이를 원격으로 제어하는 원격 제어 시스템 간의 무선 통신에서 지연이 발생한 상황에서도 원격 제어 시스템이 별다른 지연 시간 없이 UAV의 효율적인 관제를 수행하고 UAV의 사고를 예방할 수 있다.
본 개시에 따르면, 원격 제어 시스템은 UAV의 동적 모델을 기반으로 UAV에의 제어 입력 및 UAV로부터 수신된 측정 데이터를 사용하여 UAV의 상태 및 동적 모델 파라미터를 추정할 수 있고, UAV와의 통신에 지연이 있더라도 그러한 추정 및 제어 입력을 사용하여 UAV의 상태를 추정할 수 있다.
본 개시에 따르면, 통신 지연으로 인해 UAV로부터 원격 제어 시스템으로의 영상 정보의 전달이 끊기더라도 원격 제어 시스템이 대체 영상 프레임을 생성하여 끊김 없는 영상을 제공할 수 있는바, 원격 제어 시스템의 사용자는 UAV 제어 명령을 발할 것인지를 판단하는 데에서 그러한 시각적 정보에 더 확실히 의존할 수 있다.
도 1은 예시적인 UAV 및 이를 위한 예시적인 원격 제어 시스템 간의 통신의 예를 도시한다.
도 2는 도 1의 UAV의 예시적인 구현을 보여주는 블록도이다.
도 3은 도 1의 원격 제어 시스템의 예시적인 구현을 보여주는 블록도이다.
도 4는 도 1의 UAV의 동적 모델의 예를 설명하기 위한 도면이다.
도 5는 도 1의 UAV의 상태 및 동적 모델 파라미터를 추정하기 위해 도 1의 원격 제어 시스템에 의해 수행되는 예시적인 필터링을 설명하기 위한 도면이다.
도 6 내지 도 8은 도 1의 UAV의 상태에 대응하는 영상 프레임을 제시하기 위해 도 1의 원격 제어 시스템에 의해 수행되는 예시적인 영상 처리를 설명하기 위한 도면이다.
도 9는 도 1의 원격 제어 시스템에 의해 수행되는 프로세스의 예를 보여주는 흐름도이다.
본 개시에서 사용되는 다양한 용어는 본 문서에서의 기능을 고려하여 상용 용어의 용어법으로부터 선택되는데, 이는 당업자의 의도, 준례, 또는 새로운 기술의 출현에 따라서 달리 인식될 수 있다. 특정한 사례에서, 몇몇 용어에는 상세한 설명에서 개진된 바와 같이 의미가 주어질 수 있다. 따라서, 본 문서에서 사용되는 용어는, 단순히 그 명칭에 의해서가 아니라, 본 개시의 맥락에서 그 용어가 갖는 의미와 일관되게 정의되어야 한다.
본 문서에서 용어 "포함하다", "가지다" 등은 이후에 열거된 요소, 예컨대, 어떤 특징, 숫자, 단계, 동작, 구성요소, 정보 또는 이들의 조합의 존재를 명시하는 경우에 사용된다. 달리 표시되지 않는 한, 이런 용어 및 이의 변형은 다른 요소의 존재 또는 추가를 배제하도록 의도되지 않는다.
본 문서에서 사용되는 바와 같이, 용어 "제1", "제2" 등은 몇 개의 서로 닮은 요소를 식별하도록 의도된다. 달리 기재되지 않는 한, 그러한 용어는 이들 요소의 또는 이들의 사용의 특정한 순서와 같은 한정을 부과하도록 의도된 것이 아니라, 단지 여러 요소를 따로따로 지칭하기 위해 사용된다. 예를 들면, 어떤 요소가 일례에서 용어 "제1"로써 참조될 수 있는 한편 동일한 요소가 다른 예에서 "제2" 또는 "제3"과 같은 상이한 서수로써 참조될 수 있다. 그러한 예에서, 이들 용어는 본 개시의 범위를 한정하지 않는 것이다. 또한, 여러 요소의 리스트에서 용어 "및/또는"을 사용하는 것은 열거된 항목 중 임의의 하나 또는 복수 개를 비롯하여 이들 항목의 모든 가능한 조합을 포함한다. 나아가, 단수 형태의 표현은 명확하게 달리 사용되지 않는 한, 복수 형태의 의미를 포함한다.
첨부된 도면을 참조하여 본 개시의 소정의 예가 이제 상세히 기술될 것이다. 다만, 본 개시는 많은 상이한 형태로 체현될 수 있으며, 본 문서에 개진된 예에 한정되는 것으로 해석되어서는 안 된다. 오히려, 이들 예는 본 개시의 범위의 더 나은 이해를 제공하기 위해서 주어지는 것이다.
도 1은 예시적인 UAV(10) 및 이를 원격으로 제어하는 원격 제어 시스템(100) 간의 통신을 예시한다.
UAV(10)의 예는 하나 이상의 로터(rotor)(또는 회전익(rotor blade))를 가진 회전익체 드론(rotorcraft drone)(가령, 4개의 로터를 가진, 쿼드로터(quadrotor)로도 지칭되는 쿼드콥터(quadcopter) 드론), 고정익(fixed wing)을 가진 드론, 가변 로터(tilt-rotor) 메커니즘을 가진 드론 및 유사한 것을 포함한다. 특정한 예에서, UAV(10)는 수직 이착륙(Vertical Take-Off and Landing: VTOL)이 가능한 비행체일 수 있다.
원격 제어 시스템(100)의 예는 지상 관제 스테이션(Ground Control Station: GCS)(가령, 육상에 고정식으로 설치된 GCS, 이동체에 설치된 GCS, 휴대가능한 GCS 등), GCS 기능을 실행하는 일반 목적 컴퓨팅 디바이스(가령, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 이동체내(in-vehicle) 컴퓨터 등) 및 유사한 것을 포함한다.
도 1의 예시적인 원격 제어 시스템(100)은 UAV(10)로 하여금 제어된 방식으로 동작(예를 들어, 제어된 경로를 따라 비행하는 것, 제어된 속도로 이동하는 것, 제어된 자세를 유지하는 것 등)하게 하는 제어 입력(control input)을 UAV(10)에 제공하고, UAV(10)로부터 데이터(예를 들어, UAV(10)에 의해 감지된 데이터)를 획득한다. 예를 들어, 원격 제어 시스템(100)은 무선 통신 링크(가령, 제어 채널)를 통해 UAV(10)의 상태(가령, UAV(10)의 위치, 속도 및/또는 자세)를 제어하는 제어 입력을 UAV(10)에 송신할 수 있고, UAV(10)에서 감지된 데이터(가령, UAV(10)에 의해 포착된 영상 데이터 및/또는 UAV(10)에 의해 측정된 센서 데이터)를 다른 무선 통신 링크(가령, 영상 데이터 채널 및/또는 센서 데이터 채널과 같은 대응하는 데이터 채널)를 통해 UAV(10)로부터 수신할 수 있다. 몇몇 예에서, 원격 제어 시스템(100)은 UAV(10)에 대한 현재의 항법 정보(이는, 예컨대, UAV(10)의 현재의 위치, 속도 및/또는 자세를 나타냄)를, UAV(10)로부터 수신된 데이터 및 UAV(10)에 대한 이전의 항법 정보에 기반하여, 그리고 몇몇 경우에는 UAV(10)에의 제어 입력에 또한 기반하여, 산출할 수 있다.
도 2는 UAV(10)의 예시적인 구현을 보여주는 블록도이다.
도 2의 예에서, UAV(10)는 감지 유닛(sensing unit)(210), 촬상 유닛(imaging unit)(220), 액추에이터(actuator)(230), 저장 유닛(storage unit)(240), 통신 유닛(communication unit)(250) 및 처리 유닛(processing unit)(260)을 포함한다. UAV(10)의 다른 예시적인 구현이 또한 고려된다. 예를 들어, UAV(10)는 도 2에 도시되지 않은 추가적인 컴포넌트를 또한 포함할 수 있고/거나, 도 2에 관해서 열거된 컴포넌트 중 일부를 포함하나 전부를 포함하지는 않을 수 있다.
도시된 예에서, 감지 유닛(210)은 관성 측정 유닛(Inertial Measurement Unit: IMU(212) 및 위성 항법 수신기(214)를 포함하는데, 이들은 개별적으로 감지 유닛(210)으로서든 또는 집합적으로 감지 유닛(210)으로서든 칭해질 수 있다. 감지 유닛(210)은 후술되는 바와 같이 다양한 타입의 센서 데이터를 감지하고 이를 제공할 수 있다.
몇몇 예시적인 구현에서, IMU(212)는 각속도 측정 데이터를 제공하는 자이로스코프(gyroscope)를 포함할 수 있다. 자이로스코프는 각속도 측정 데이터가 UAV(10)의 동체 좌표계(body frame)의 x축, y축 및 z축에 대해 각각 측정된 각속도를 나타내도록 UAV(10)에 장착될 수 있다. 예를 들어, 자이로스코프는 3축 자이로스코프일 수 있다.
몇몇 예시적인 구현에서, IMU(212)는 가속도 측정 데이터를 제공하는 가속도계(accelerometer)를 포함할 수 있다. 가속도계는 가속도 측정 데이터가 UAV(10)의 동체 좌표계의 x축, y축 및 z축에 대해 각각 측정된 가속도를 나타내도록 UAV(10)에 장착될 수 있다. 예를 들어, 가속도계는 3축 가속도계일 수 있다.
몇몇 예시적인 구현에서, 위성 항법 수신기(214)는 위성 기반 항법 시스템(가령, 글로벌 항법 위성 시스템(Global Navigation Satellite System: GNSS))의 항법 위성으로부터 위성 항법 신호를 수신하고 이에 기반하여 위성 측정 데이터(가령, 가시 위성 및 위성 항법 수신기(214) 간의 의사거리(pseudorange) 및/또는 의사거리율(pseudorange rate) 및/또는 위성 항법 수신기(214)의 위도, 경도 및/또는 방위각)를 제공할 수 있다. 예를 들어, 위성 항법 수신기(214)는 글로벌 포지셔닝 시스템(Global Positioning System: GPS) 수신기일 수 있다.
몇몇 예시적인 구현에서, 감지 유닛(210)은 다른 측정 데이터를 제공하는 추가적인 센서를 더 포함할 수 있다. 예를 들어, 그러한 센서는 자기장 측정 데이터를 제공하는 지자기 센서(가령, 3축 자력계)일 수 있다.
도 2의 예에서, 촬상 유닛(220)은 영상 데이터를 제공한다. 예시적인 구현에서, 촬상 유닛(220)은 UAV(10)의 전진 방향(가령, x축 방향)을 따라 M×N 픽셀의 크기를 갖는 영상 프레임(image frame)을 포착하고 이를 제공하도록 UAV(10)에 장착될 수 있다. 예를 들어, 촬상 유닛(220)은 전하 커플링 디바이스(Charge-Coupled Device: CCD) 이미지 센서, 상보적 금속 산화물 반도체(Complementary Metal-Oxide Semiconductor: CMOS) 이미지 센서, 카메라 모듈, 또는 다른 타입의 촬상 유닛일 수 있다.
도시된 예에서, 액추에이터(230)는, 원격 제어 시스템(100)의 제어 하에(예컨대, 원격 제어 시스템(100)으로부터 통신 유닛(250) 및 처리 유닛(260)을 거쳐 인가된 제어 입력에 따라) UAV(10)(또는 그것의 어떤 컴포넌트)를 소정의 위치에 위치시키고/거나 소정의 속도로 이동시키고/거나 소정의 방향으로 배향시키도록 동작하는 제어가능 유닛이다. 예를 들어, 액추에이터(230)는 전기 모터 액추에이터(electric motor actuator), 로터리 액추에이터(rotary actuator), 또는 다른 타입의 액추에이터일 수 있다.
몇몇 예시적인 구현에서, UAV(10)는 4개의 로터를 갖는 쿼드콥터일 수 있고, 액추에이터(230)는 4개의 로터 각각을 그것의 축에 대해 회전시키는 대응하는 모터를 포함할 수 있다. 그러한 구현에서, UAV(10)에의 제어 입력은 이들 모터를 각각 구동하는(가령, 각각의 모터의 추력(thrust) 및 토크(torque)를 생성하는) 입력 신호를 포함할 수 있다.
도 2의 예에서, 저장 유닛(240)은 다양한 정보를 저장한다. 예를 들어, 저장 유닛(240)은 비일시적(non-transitory) 형태로 데이터를 저장하는 컴퓨터 판독가능 저장 매체(computer readable storage medium)를 포함할 수 있다. 그러므로, 저장 유닛(240)은 내부에 다양한 정보, 예컨대, 처리 유닛(260)에 의해 실행될 명령어의 세트 및/또는 다른 정보가 저장될 수 있다.
도시된 예에서, 통신 유닛(250)은 UAV(10)로 하여금 원격 제어 시스템(100)과 같은 외부 개체와 통신할 수 있게 한다. 이를 위해, 통신 유닛(250)은 다양한 타입의 통신 모듈을 포함할 수 있다. 예를 들어, 통신 유닛(250)은 장거리 무선 통신(가령, 로라(LoRa)), 고주파 대역(가령, HF(High Frequency), VHF(Very High Frequency), UHF(Ultra High Frequency) 대역 등) 무선 통신, 셀룰러 통신(가령, 롱텀 에볼루션(Long Term Evolution: LTE), 5세대(5th Generation: 5G) 등), 지그비(Zigbee) 및/또는 임의의 다른 적합한 타입의 무선 통신 기술을 지원하는 무선 통신 모듈을 포함할 수 있다.
몇몇 예시적인 구현에서, 통신 유닛(250)은 촬상 유닛(220)에 의해 포착된 영상 데이터(가령, 동일한 프레임 크기를 갖는 영상 프레임의 시퀀스(sequence)) 및 감지 유닛(210)에 의해 감지된 측정 데이터(가령, 가속도 측정 데이터, 각속도 측정 데이터, 위성 측정 데이터 등)과 같은 다양한 타입의 데이터를 원격 제어 시스템(100)에 송신할 수 있다. 또한, 통신 유닛(250)은 UAV(10)에 제공되는 제어 입력(가령, UAV(10)의 상태가 제1 상태로부터 제2 상태로 전이하게 하는 제어 입력)을 원격 제어 시스템(100)으로부터 수신할 수 있다. 예를 들어, 수신된 제어 입력은 통신 유닛(250)으로부터 처리 유닛(260)에 전달될 수 있다.
도 2의 예에서, 처리 유닛(260)은 수신된 제어 입력에 따라(가령, 제어 입력을 액추에이터(230)에 인가하여 액추에이터(230)를 구동함으로써) UAV(10)가 동작하게 하며, 그 밖에 UAV(10)의 전반적인 동작을 제어한다. 예를 들어, 처리 유닛(260)은 UAV(10)에 관해서 본 문서에 기술된 몇몇 동작을 수행하기 위해 프로세서(processor) 또는 다른 처리 회로(processing circuitry)로써 구현될 수 있다.
도 3은 원격 제어 시스템(100)의 예시적인 구현을 보여주는 블록도이다.
도 3의 예에서, 원격 제어 시스템(100)은 저장 유닛(310), 통신 유닛(320), 사용자 인터페이스(User Interface: UI) 유닛(330) 및 처리 유닛(340)을 포함한다. 원격 제어 시스템(100)의 다른 예시적인 구현이 또한 고려된다. 예를 들어, 원격 제어 시스템(100)은 도 3에 도시되지 않은 추가적인 컴포넌트를 또한 포함할 수 있고/거나, 도 3에 관해서 열거된 컴포넌트 중 일부를 포함하나 전부를 포함하지는 않을 수 있다.
도시된 예에서, 저장 유닛(310)은 다양한 정보를 저장한다. 예를 들어, 저장 유닛(310)은 비일시적 형태로 데이터를 저장하는 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 그러므로, 저장 유닛(310)은 내부에 다양한 정보, 예컨대, 처리 유닛(340)에 의해 실행될 명령어의 세트 및/또는 다른 정보가 저장될 수 있다.
몇몇 예시적인 구현에서, 저장 유닛(310)은 내부에 처리 유닛(310)에 의해 새로운 정보가 저장될 수 있고, 저장 유닛(310)에 저장된 어떤 정보는 처리 유닛(340)에 의해 갱신될 수 있다. 예를 들어, 저장 유닛(310)은 통신 유닛(320)에 의해 UAV(10)로부터 수신된 데이터를 저장할 수 있는데, 이는 원격 제어 시스템(100)에 의한 처리를 위해 인출되고 사용될 수 있다.
도 3의 예에서, 통신 유닛(320)은 원격 제어 시스템(100)으로 하여금 UAV(10)와 같은 외부 개체와 통신할 수 있게 한다. 이를 위해, 통신 유닛(320)은 다양한 타입의 통신 모듈을 포함할 수 있다. 예를 들어, 통신 유닛(320)은 장거리 무선 통신(가령, LoRa), 고주파 대역(가령, HF, VHF, UHF 대역 등) 무선 통신, 셀룰러 통신(가령, LTE, 5G 등), Zigbee 및/또는 임의의 다른 적합한 타입의 무선 통신 기술을 지원하는 무선 통신 모듈을 포함할 수 있다.
몇몇 예시적인 구현에서, 통신 유닛(320)은 UAV(10)에 제어 입력(이에 따라 UAV(10)의 상태는, 예컨대, 제1 상태로부터 제2 상태로 전환됨)을 송신할 수 있다. 예를 들어, 제어 입력은 처리 유닛(340)으로부터 통신 유닛(320)에 전달될 수 있다. 또한, 통신 유닛(320)은 UAV(10)로부터 다양한 타입의 데이터(예를 들어, UAV(10)의 감지 유닛(210)에 의해 감지된 측정 데이터, UAV(10)의 촬상 유닛(220)에 의해 포착된 영상 데이터 등)를 수신할 수 있다.
도 3의 예에서, UI 유닛(330)은 디스플레이 디바이스(332)를 포함한다. 디스플레이 디바이스(332)의 예는 액정 디스플레이(Liquid Crystal Display: LCD), 발광 다이오드(Light Emitting Diode: LED) 디스플레이, 터치 감지 디스플레이(touch-sensitive display) 및 유사한 것을 포함한다. 예시적인 구현에서, 디스플레이 디바이스(332)는 UAV(10)로부터 수신된 데이터(가령, 포착된 영상 프레임의 시퀀스) 및/또는 그러한 데이터의 처리된 버전을 디스플레이할 수 있다.
또한, 도 3에 도시된 바와 같이, UI 유닛(330)은 다른 사용자 입력/출력(Input/Output: I/O) 디바이스(334)를 더 포함할 수 있다. 사용자 I/O 디바이스(334)의 예는 문자숫자 입력 디바이스(alphanumeric input device)(가령, 키보드, 키패드 등), 포인팅 디바이스(pointing device)(가령, 조이스틱, 마우스 등), 오디오 I/O 디바이스(가령, 스피커, 마이크, 헤드세트 등) 및 유사한 것을 포함한다. 예시적인 구현에서, 사용자 I/O 디바이스(334)(가령, 포인팅 디바이스)는 사용자 입력을 수신하고 이를 처리 유닛(340)에 전달할 수 있는데, 처리 유닛(340)은 이후에 사용자 입력을 기반으로 UAV(10)의 상태를 제어하는 제어 입력을 생성할 수 있다.
도시된 예에서, 처리 유닛(340)은 원격 제어 시스템(100)의 전반적인 동작을 제어한다. 예를 들어, 처리 유닛(340)은 원격 제어 시스템(100)에 관해서 본 문서에 기술된 몇몇 동작을 수행하기 위해 프로세서 또는 다른 처리 회로로써 구현될 수 있다.
몇몇 예시적인 구현에서, 처리 유닛(340)은 UAV(10)의 상태를 추정하고, UAV(10)의 상태에 대응하는 영상 데이터를 제시할 수 있다. 이것은, 특히 UAV(10) 및 원격 제어 시스템(100) 간의 무선 통신에 문제가 발생한 상황에서도, 원격 제어 시스템(100)을 통해 별다른 지연 시간 없이 UAV(10)를 제어하는 데에 이바지할 수 있다.
예를 들어, 처리 유닛(340)은 UAV(10)와의 통신이 원활하지 않더라도 UAV(10)의 상태를 신뢰성 있는 방식으로 추정하기 위해, 다음과 같은 동작을 수행할 수 있다: UAV(10)로부터 측정 데이터(가령, IMU(212)에 의해 제공되는 측정 데이터 및 위성 항법 수신기(214)에 의해 제공되는 측정 데이터)가 정상적으로 수신된 경우, UAV(10)의 동적 모델(dynamic model)(이는 UAV(10)의 상태의 시간적 전개(temporal evolution)를 기술함)을 기반으로, 그러한 수신된 측정 데이터로부터, UAV(10)의 상태 및 동적 모델 파라미터를 추정하기 위해 필터링을 수행하는 것; 그리고 이후에 UAV(10)로부터 후속 측정 데이터가 정상적으로 수신되지 않는 경우(가령, 후속 측정 데이터의 수신에서 지연이 발생하는 경우), UAV(10)의 동적 모델을 기반으로, 그러한 이전에 추정된 상태 및 모델 파라미터로부터, UAV(10)의 금번 상태를 추정하는 것.
또한, 예를 들어, 처리 유닛(340)은 UAV(10)와의 통신이 원활하지 않더라도 UAV(10)의 상태에 대응하는 영상 데이터를 끊김 없이 제시하기 위해, 다음과 같은 동작을 수행할 수 있다: UAV(10)로부터 영상 데이터(가령, 촬상 유닛(220)에 의해 제공되는 영상 데이터)가 정상적으로 수신된 경우, 수신된 영상 데이터를 UI 유닛(330)(가령, 디스플레이 디바이스(332))에 제시하는 것; 그리고 이후에 UAV(10)로부터 후속 영상 데이터가 정상적으로 수신되지 않는 경우(가령, 후속 영상 데이터의 수신에서 지연이 발생하는 경우), 그러한 이전에 수신된 영상 데이터를 UAV(10)의 추정된 상태에 따라 대체 영상 데이터로 변환하여 이를 후속 영상 데이터 대신에 UI 유닛(330)에 제시하는 것.
우선, UAV(10)의 동적 모델의 예가 논의된다. UAV(10)의 동적 모델은 UAV(10)의 상태(이는, 예컨대, UAV(10)의 위치 및 자세를 포함함)의 시간적 전개를 나타낸다. 그러한 모델을 정의하는 데에는 UAV(10)에의 제어 입력이 사용될 수 있다. 따라서, (가령, 전술된 바와 같이 원격 제어 시스템(100)에서 제어 입력이 산출되면), 원격 제어 시스템(100)의 처리 유닛(340)은 UAV(10)의 동적 모델에 따라 UAV(10)의 상태를 계산하기 위해 제어 입력을 사용할 수 있다.
예를 들어, 지구 좌표계(Earth frame)(가령, 도 4에서 OE를 원점으로 갖는 것으로 도시된 좌표계)에서의 UAV(10)의 위치가 그 좌표계의 x'축, y'축 및 z'축 상의 각자의 좌표 X, Y 및 Z로 표기되고, UAV(10)의 동체 좌표계(가령, 도 4에서 OB를 원점으로 갖는 것으로 도시된 좌표계)에서의 UAV(10)의 각속도가 그 좌표계의 x축, y축 및 z축 상의 각자의 성분 p, q 및 r로 표기되며, UAV(10)의 롤(roll), 피치(pitch) 및 요(yaw)가 각각 φ, θ 및 ψ로 표기되면(가령, 도 4에서 이들 오일러(Euler) 각도는 각각 x축에 대한 회전 각도, y축에 대한 회전 각도 및 z축에 대한 회전 각도로서 도시됨), UAV(10)의 동적 모델은 다음과 같이 주어질 수 있다.
Figure 112021082454437-pat00001
여기서 Uz는 UAV(10)의 동체 좌표계의 z축을 따라 UAV(10)에 인가되는 양력(lift) 성분이고, Uφ, Uθ 및 Uψ는 각각 UAV(10)의 동체 좌표계의 x축, y축 및 z축에 대해 UAV(10)에 인가되는 토크 성분이며,
Figure 112021082454437-pat00002
은 UAV(10)의 질량 m의 역수(즉,
Figure 112021082454437-pat00003
)이고,
Figure 112021082454437-pat00004
,
Figure 112021082454437-pat00005
및
Figure 112021082454437-pat00006
는 각각 UAV(10)의 동체 좌표계의 x축, y축 및 z축에 대한 관성 모멘트(moment of inertia) Ixx, Iyy 및 Izz의 역수(즉,
Figure 112021082454437-pat00007
,
Figure 112021082454437-pat00008
및
Figure 112021082454437-pat00009
)이며, g는 중력 가속도이다.
또한, 오일러 각 변화율 및 동체 좌표계 각속도는 다음과 같은 관계를 갖는다.
Figure 112021082454437-pat00010
만일 UAV(10)의 움직임의 각도가 작다면
Figure 112021082454437-pat00011
로 근사화될 수 있다.
나아가, UAV(10)에 인가되는 양력 및 토크 성분은 UAV(10)에의 제어 입력에 따라 정해질 수 있다. 설명의 편의상, 도 4에 도시된 바와 같이, UAV(10)가 쿼드로터이고, 그것의 4개의 로터에 각각 대응하는 4개의 모터를 포함하며, 2개의 모터는 동체 좌표계의 x축에 수직인 추력(T1 및 T2)을 갖고 시계 방향으로 회전하며(토크 τ1 및 τ2에 의해 나타내어짐), 다른 2개의 모터는 동체 좌표계의 y축에 수직인 추력(T3 및 T4)을 갖고 반시계 방향으로 회전한다(토크 τ3 및 τ4에 의해 나타내어짐)고 가정하자.
이 예에서, UAV(10)의 적어도 몇몇 모터는 제어 입력에 따라 특정 회전 속도로 회전될 수 있는바, 이로써 각각의 모터의 추력 및 토크를, 그리고 결국 UAV(10)의 양력, 롤 각 변화, 피치 각 변화 및/또는 요 각 변화를 초래한다. 또한, 예시로서, 그러한 제어 입력은 4개의 모터에 각각 대응하는 제어 입력 u1, u2, u3 및 u4를 포함할 수 있는데, 각각의 모터는 대응하는 제어 입력에 동일한 비례 상수 K로써 비례하는 추력(즉, Ti=Kui이되, i=1, 2, 3, 4)을 갖고, 대응하는 제어 입력에 동일한 비례 상수 K'로써 비례하는 토크(즉, τi=K'ui이되, i=1, 2, 3, 4)를 갖는다고 모델링된다고 고려하자. 그러면, Uz, Uφ, Uθ 및 Uψ는 소정의 공기 역학 모델에 따라 다음과 같이 주어질 수 있다.
Figure 112021082454437-pat00012
여기서 L은 UAV(10)의 질량 중심으로부터 각 모터까지의 거리이다.
이에 따라, 소정의 경우에, 처리 유닛(340)은 제어 입력으로부터 UAV(10)의 가속도 및 각가속도를 계산할 수 있다. 그러면, 처리 유닛(340)은 제어 입력 및/또는 결국 그러한 계산된 정보를 UAV(10)로부터 수신된 측정 데이터와 융합하는 필터를 구동할 수 있다. 예를 들어, 그러한 필터링은 UAV(10)의 추정된 위치 및 추정된 자세를 산출할 수 있다. 추가적으로, 이 필터는 UAV(10)의 동적 모델에서 파라미터로서 나타나는 UAV(10)의 질량 및 관성 모멘트를 추정하는 데에 사용될 수 있다. 이는 동적 모델 파라미터의 불확실성을 감소시켜 UAV(10)의 상태가 더 정확히 추정될 수 있게 한다.
구체적으로, 도 5를 참조하여, UAV(10)의 상태 및 동적 모델 파라미터를 추정하기 위해 원격 제어 시스템(100)에 의해 수행되는 예시적인 필터링을 설명한다. 예를 들어, 그러한 추정은 통신 유닛(320)이 UAV(10)로부터 측정 데이터를 정상적으로 수신하는 경우에 처리 유닛(340)이 도 5의 예시적인 필터(500)를 구동함으로써 수행될 수 있다. 도 5에서 필터(500)는 항법 필터(510) 및 동적 모델 기반 필터(520)를 포함하는 것으로 예시된다. 도시된 바와 같이, 항법 필터(510)에는 UAV(10)로부터 수신된 측정 데이터가 입력된다. 또한, 동적 모델 기반 필터(520)는 UAV(10)에의 제어 입력 및 항법 필터(510)로부터의 출력을 처리하여 UAV(10)의 상태의 추정치 및 UAV(10)의 동적 모델의 파라미터의 추정치를 생성하고, 이를 필터(500)의 출력으로서 제공한다.
도시된 예에서, 항법 필터(510)는 관성 항법 필터(512), 위성 항법 필터(514) 및 통합 필터(516)를 포함한다. 도시된 바와 같이, 관성 항법 필터(512)는 UAV(10)의 IMU(212)에 의해 제공되고 UAV(10)로부터 수신된 측정 데이터(가령, 각속도 및 가속도 측정 데이터)를 처리하여 UAV(10)의 상태(가령, UAV(10)의 위치, 속도 및 자세)의 관성 항법 추정치를 출력한다. 위성 항법 필터(514)는 UAV(10)의 위성 항법 수신기(214)에 의해 제공되고 UAV(10)로부터 수신된 위성 측정 데이터를 처리하여 UAV(10)의 상태(가령, UAV(10)의 위치 및 속도)의 위성 항법 추정치를 출력한다. 통합 필터(516)는 관성 항법 필터(512)의 출력 및 위성 항법 필터(514)의 출력을 사용하여 UAV(10)의 상태(가령, UAV(10)의 위치, 속도 및 자세)의 통합된 추정치를 산출한다. 예를 들어, 통합 필터(516)는 위성 항법 추정치를 사용하여 관성 항법 추정치의 오차를 추정하는 칼만 필터(Kalman Filter: KF)를 포함할 수 있고, 추정된 오차로써 보정된 관성 항법 추정치를 통합된 추정치로서 출력할 수 있다. 항법 필터(510)는 통합 필터(516)의 출력(즉, 전술된 통합된 추정치)을 항법 해로서 출력한다.
도시된 예에서, 동적 모델 기반 필터(520)는 UAV(10)의 상태를 제어하는 제어 입력과 함께 항법 필터(510)의 항법 해로부터 UAV(10)의 상태(이는, 예컨대, UAV(10)의 위치, 자세, 속도 및 가속도를 포함함)의 모델 기반 추정치 및 UAV(10)의 동적 모델의 파라미터(이는, 예컨대, UAV(10)의 질량 및 관성 모멘트를 포함함)의 모델 기반 추정치를 산출한다. 예를 들어, 식 1에 나타내어진 바와 같은 동적 모델의 비선형성을 감안하여, 동적 모델 기반 필터(520)는 확장 칼만 필터(Extended Kalman Filter: EKF)로서 구성될 수 있다. 이는 자코비안(Jacobian)을 통해 비선형 모델을 선형화하는 것을 수반한다. 그러면, UAV(10)의 동적 모델에 따라, 항법 필터(510)로부터 출력된 항법 해 및 UAV(10)에 제공된 제어 입력으로부터 EKF의 측정 모델에서의 사용을 위한 측정치가 구성될 수 있다. 또한, 이 EKF는 그것의 상태 변수로서 UAV(10)의 상태와 함께 UAV(10)의 동적 모델의 파라미터를 사용할 수 있다. 특히, 전술된 선형화 과정에서 UAV(10)의 질량 및 관성 모멘트는 매우 큰 오차를 겪을 수 있는데, 이들 모델 파라미터 각각 대신에 그것의 역수를 EKF의 상태 변수로 정의하는 것은 그러한 오차를 줄이는 데에 도움이 될 것이다.
한편, 만일 UAV(10)로부터 측정 데이터가 정상적으로 수신되지 않는 경우, 원격 제어 시스템(100)의 처리 유닛(340)은 UAV(10)의 상태를 추정하기 위해 다음과 같이 동작할 수 있다. 몇몇 예시적인 구현에서, 통신 유닛(320)이 UAV(10)로부터 측정 데이터를 수신하는 데에 지연(가령, 사전설정된 임계 시간을 초과하는 지연)이 발생하는 경우, 처리 유닛(340)은, 도 5의 필터(500)를 구동하는 것 대신에, UAV(10)에의 제어 입력 및 UAV(10)의 상태의 이전 추정치(이는, 예컨대, 이전에 필터(500)로부터, 특히 동적 모델 기반 필터(520)로부터 제공됨)로부터 UAV(10)의 상태의 현재 추정치를 산출할 수 있다. 그러한 추정에서 UAV(10)의 질량 및 관성 모멘트를 포함하는 동적 모델 파라미터의 이전 추정치(이는, 예컨대, 이전에 필터(500)로부터, 특히 동적 모델 기반 필터(520)로부터 제공됨)가 또한 사용될 수 있다. 예를 들어, UAV(10)의 동적 모델이 식 1로 주어진 경우, 비록 UAV(10)의 상태가 현재 어떤 상태인지에 관한 측정 데이터를 (가령, 센서 데이터 채널이 지연을 겪기 때문에) 원격 제어 시스템(100)이 UAV(10)로부터 전혀 획득하지 못하더라도, 그래서 그러한 측정 데이터에 대한 필터링(가령, 도 5에 관해서 전술된 필터링)이 없어도, 처리 유닛(340)은 UAV(10)를 위해 현재 제공된 제어 입력, UAV(10)의 이전에 추정된 상태 및 UAV(10)의 동적 모델의 이전에 추정된 파라미터를 사용하여 UAV(10)의 가속도 및 각가속도를 계산할 수 있고, 이에 대해 적분 연산을 수행함으로써 UAV(10)의 위치 및 자세의 추정치를 산출할 수 있다.
이제, 도 6 내지 도 8을 참조하여, UAV(10)의 상태에 대응하는 영상 프레임을 제시하기 위해 원격 제어 시스템(100)에 의해 수행되는 영상 처리를 설명한다.
도 6의 예에서, UAV(10)의 촬상 유닛(220)은 특정 시점 t에서 제1 영상 프레임(601)을 포착하고 후속 시점 t+1에서 제2 영상 프레임(602)을 포착한다. 제1 영상 프레임(601)에는 물체(690)를 포함하는 제1 장면이 촬상되고, 제2 영상 프레임(602)에는 물체(690)를 포함하는 제2 장면이 촬상되는데, 도시된 바와 같이 제1 영상 프레임(601) 및 제2 영상 프레임(602) 각각은 서로 동일한 부분을 갖지만 나머지 부분은 서로 상이하다. 전술된 바와 같이, 그러한 영상 데이터는 무선 통신 링크를 통해 UAV(10)로부터 원격 제어 시스템(100)에 송신될 수 있다.
도시된 예에서, UAV(10)로부터 제1 영상 프레임(601)이 정상적으로 수신된 후에 UAV(10)로부터 제2 영상 프레임(602)이 정상적으로 수신되지 않는다(가령, 통신 유닛(320)이 UAV(10)로부터 제2 영상 프레임(602)을 수신하는 데에 임계 시간을 초과하는 지연이 발생함)고 가정하자. 이 경우에, 처리 유닛(340)은 제1 영상 프레임(601)을 (가령, 디스플레이 디바이스(332) 상에) 제시하고, 수신되지 않은 제2 영상 프레임(602) 대신에, 대체 영상 프레임을 (가령, 디스플레이 디바이스(332) 상에) 제1 영상 프레임(601)에 이어서 제시할 수 있다.
몇몇 예시적인 구현에서, 대체 영상 프레임은 시점 t+1에 대해 추정된 UAV(10)의 상태에 따라 제1 영상 프레임(601)을 변환함으로써 생성될 수 있다. 예를 들어, 그러한 변환은 제1 영상 프레임(601)에 대해 영상 변환 행렬을 적용하는 것을 수반할 수 있는데, 그러한 행렬은 UAV(10)의 위치 및 자세의 추정치(가령, 전술된 바와 같이, UAV(10)로부터 수신된 측정 데이터과 함께 또는 그러한 수신된 측정 데이터 없이 제어 입력에 기반하여 산출됨)에 기반하여 계산될 수 있다.
몇몇 예시적인 구현에서, 제1 영상 프레임(601)의 변환만으로는 (가령, 제1 영상 프레임(601)과, 그리고 또한 제2 영상 프레임(602)과 동일한 프레임 크기를 갖는) 대체 영상 프레임의 일부분을 채우지 못할 수 있다. 그러한 공백 부분(즉, 이에 대한 정보가 사전에 주어지지 않음)은 다른 부분을 이용한 영상 처리(가령, 보간) 및/또는 인공지능 알고리즘을 사용하여 새로 생성된 영상 부분으로써 보충(가령, 덮어쓰기)될 수 있다. 이 보충된 영상 부분은 설령 그것의 실제에 매우 정확히 부합하도록 재현되지는 못하더라도, 원격 제어 시스템(100)의 사용자가 장애물과 같은 주의할 만한 물체(가령, 물체(690))가 어디에 존재하는지를 뚜렷이 인지하는 데에 도움이 될 수 있다.
몇몇 예시적인 구현에서, 제2 영상 프레임(602)을 위한 대체 영상 프레임을 생성하기 위해 제1 영상 프레임(601)을 변환하는 것은 UAV(10)의 위치의 변화(가령, 시점 t에서의 위치의 추정치 및 시점 t+1에서의 위치의 추정치 간의 차이)에 대응하는 변환 및 UAV(10)의 자세의 변화(가령, 시점 t에서의 자세의 추정치 및 시점 t+1에서의 자세의 추정치 간의 차이)에 대응하는 변환 중 적어도 하나를 포함할 수 있다.
설명을 위해, 도 7은 물체(690)가 촬상된 2개의 예시적인 영상 프레임(701, 702)을 도시하는데, 시점 t에서 시점 t+1에 걸쳐 UAV(10)의 위치는 변하나 UAV(10)의 자세는 변하지 않으면서, 촬상 유닛(220)이 시점 t에서 영상 프레임(701)을 포착하고 시점 t+1에서 영상 프레임(702)을 포착한다고 가정하자. 도시된 바와 같이, 영상 프레임(702)은 영상 프레임(701)의 부분(711)이 변환된 부분(721) 및 영상 프레임(701)에 포함되지 않은 새로운 부분(722)을 포함한다. 이에 따라, 영상 프레임(701)이 정상적으로 수신된 후에 영상 프레임(702)의 수신에 지연이 있는 경우, 처리 유닛(340)은 이미 수신된 영상 프레임(701)에 대해 UAV(10)의 위치에서의 변화에 대응하는 변환(이는 병진 변환(translational transformation) 및/또는 스케일링 변환(scaling transformation)을 포함함)을 수행하여 대체 영상 프레임의 일부분(이는 수신되지 않은 영상 프레임(702)의 부분(721)을 재현하는 부분임)을 생성하고, 영상 프레임(701)(가령, 부분(711) 또는 그것의 경계)에 기반하여 대체 영상 프레임의 다른 부분(이는 영상 프레임(702)의 부분(722) 대신 채워지는 부분임)을 생성함으로써, 대체 영상 프레임을 생성할 수 있다.
마찬가지로, 도 8은 물체(690)가 촬상된 2개의 예시적인 영상 프레임(801, 802)을 도시하는데, 시점 t에서 시점 t+1에 걸쳐 UAV(10)의 자세는 변하나 UAV(10)의 위치는 변하지 않으면서, 촬상 유닛(220)이 시점 t에서 영상 프레임(801)을 포착하고 시점 t+1에서 영상 프레임(802)을 포착한다고 가정하자. 도시된 바와 같이, 영상 프레임(802)은 영상 프레임(801)의 부분(811)이 변환된 부분(821) 및 영상 프레임(801)에 포함되지 않은 새로운 부분(822)을 포함한다. 이에 따라, 영상 프레임(801)이 정상적으로 수신된 후에 영상 프레임(802)의 수신에 지연이 있는 경우, 처리 유닛(340)은 이미 수신된 영상 프레임(801)에 대해 UAV(10)의 자세에서의 변화에 대응하는 변환(이는 회전 변환(rotational transformation) 및/또는 투영 변환(projective transformation)을 포함함)을 수행하여 대체 영상 프레임의 일부분(이는 수신되지 않은 영상 프레임(802)의 부분(821)을 재현하는 부분임)을 생성하고, 영상 프레임(801)(가령, 부분(811) 또는 그것의 경계)에 기반하여 대체 영상 프레임의 다른 부분(이는 영상 프레임(802)의 부분(822) 대신 채워지는 부분임)을 생성함으로써, 대체 영상 프레임을 생성할 수 있다.
도 9는 원격 제어 시스템(100)에 의해 수행되는 예시적인 프로세스(900)를 보여주는 흐름도이다. 프로세스(900)의 다른 예시적인 흐름이 또한 고려된다. 예를 들어, 프로세스(900)는 도 9에 도시되지 않은 추가적인 동작을 또한 포함할 수 있고/거나, 도 9에 관해서 열거된 동작 중 일부를 포함하나 전부를 포함하지는 않을 수 있다.
동작(910)에서, 원격 제어 시스템(100)은 UAV(10)에서 포착된 제1 영상 프레임을 수신한다. 전술된 바와 같이, 제1 영상 프레임은 UAV(10)의 촬상 유닛(220)에 의해 포착될 수 있고, UAV(10)의 통신 유닛(250)으로부터 원격 제어 시스템(100)의 통신 유닛(320)으로 제공될 수 있다.
동작(920)에서, 원격 제어 시스템(100)은 수신된 제1 영상 프레임을 제시한다. 전술된 바와 같이, 수신된 제1 영상 프레임은 원격 제어 시스템(100)의 UI 유닛(330)(가령, 디스플레이 디바이스(332)) 상에 디스플레이될 수 있다.
동작(930)에서, 원격 제어 시스템(100)은 UAV(10)에 제어 입력을 송신한다. 전술된 바와 같이, 원격 제어 시스템(100)의 처리 유닛(340)은 UAV(10)의 상태(이는, 예컨대, 위치 및 자세를 포함함)를 제어하는 제어 입력을 생성할 수 있고, 원격 제어 시스템(100)의 통신 유닛(320)은 생성된 제어 입력을 UAV(10)에 송신할 수 있다.
동작(940)에서, 원격 제어 시스템(100)은 UAV(10)의 상태를 추정한다. 예를 들어, 원격 제어 시스템(100)의 처리 유닛(340)은 전술된 바와 같이 UAV(10)의 상태를 UAV(10)의 동적 모델을 기반으로 추정할 수 있다.
동작(950)에서, 원격 제어 시스템(100)은 UAV(10)에서 포착된 제2 영상 프레임을 수신하는 데에 지연이 있는지를 판정한다. 예를 들어, 원격 제어 시스템(100)의 처리 유닛(340)은 원격 제어 시스템(100)의 통신 유닛(220)이 UAV(10)로부터 그러한 영상 프레임을 수신하는 데에서의 지연(가령, 영상 데이터 채널이 겪는 지연)이 임계 시간을 초과하는지를 판정할 수 있다.
동작(960)에서, 제2 영상 프레임의 수신에 지연이 있다고 판정된 경우, 원격 제어 시스템(100)은 동작(940)에서 추정된 상태에 따라 제1 영상 프레임을 변환하여 제2 영상 프레임에 대한 대체 영상 프레임을 생성한다. 전술된 바와 같이, 그러한 변환은 UAV(10)의 위치에서의 변화(가령, 위치의 현재 추정치 및 이전 추정치 간의 차이)에 대응하는 변환(가령, 이는 병진 변환 및/또는 스케일링 변환을 포함함) 및/또는 UAV(10)의 자세에서의 변화(가령, 자세의 현재 추정치 및 이전 추정치 간의 차이)에 대응하는 변환(가령, 이는 회전 변환 및/또는 투영 변환을 포함함)을 포함할 수 있다. 또한, 대체 영상 프레임을 생성하는 것은 제1 영상 프레임에 대해 그러한 변환을 수행하여 대체 영상 프레임의 제1 부분을 생성하는 것과, 제1 부분에 기반하여 대체 영상 프레임의 제2 부분을 생성하는 것을 포함할 수 있다.
동작(970)에서, 원격 제어 시스템(100)은 생성된 대체 영상 프레임을 제시한다. 전술된 바와 같이, 생성된 대체 영상 프레임은, 제1 영상 프레임에 이어서, 원격 제어 시스템(100)의 UI 유닛(330)(가령, 디스플레이 디바이스(332)) 상에 디스플레이될 수 있다.
동작(980)에서, 제2 영상 프레임의 수신에 지연이 없다고 판정된 경우, 원격 제어 시스템(100)은 수신된 제2 영상 프레임을 제시한다. 전술된 바와 같이, 수신된 제2 영상 프레임은, 제1 영상 프레임에 이어서, 원격 제어 시스템(100)의 UI 유닛(330)(가령, 디스플레이 디바이스(332)) 상에 디스플레이될 수 있다.
도 9의 프로세스(900)의 추가적인 세부사항에 대해, 원격 제어 시스템(100)에 관해 전술된 설명이 참조될 수 있다.
다음은 UAV를 원격으로 제어하는 시스템에 관련된 다양한 예이다.
예 1에서, 무인 비행체(Unmanned Aerial Vehicle: UAV)를 원격으로 제어하는 시스템은 다음을 포함한다: 위 UAV에서 포착된 이전 영상 프레임을 수신한 후, 위 UAV의 위치 및 자세를 포함하는 상태를 제어하는 제어 입력을 위 UAV에 송신하는 통신 유닛과; 및 위 상태를 위 UAV의 동적 모델(dynamic model)에 기반하여 추정하고(위 동적 모델은 위 제어 입력을 사용하여 위 상태의 시간적 전개를 나타냄), 위 UAV에서 포착된 현재 영상 프레임을 수신하는 데에 지연이 있는 경우, 위 추정된 상태에 따라 위 이전 영상 프레임을 변환하여 위 현재 영상 프레임에 대한 대체 영상 프레임을 생성하는 처리 유닛.
예 2는 예 1의 주제를 포함하는데, 위 동적 모델은 위 상태의 위 시간적 전개를 나타내는 데에 위 UAV의 질량(mass) 및 관성 모멘트(moment of inertia)를 포함하는 파라미터를 또한 사용하고, 위 상태를 추정하는 것은, 위 UAV에서 감지된 측정 데이터를 수신하는 경우에 위 파라미터의 현재 추정치와 함께 위 상태의 현재 추정치를 위 수신된 측정 데이터 및 위 제어 입력으로부터 산출하는 것을 포함한다.
예 3은 예 1의 주제를 포함하는데, 위 상태를 추정하는 것은, 위 UAV에서 감지된 측정 데이터를 수신하는 데에 지연이 있는 경우에 위 상태의 현재 추정치를 위 상태의 이전 추정치 및 위 제어 입력으로부터 산출하는 것을 포함한다.
예 4는 예 1의 주제를 포함하는데, 위 동적 모델은 위 상태의 위 시간적 전개를 나타내는 데에 위 UAV의 질량 및 관성 모멘트를 포함하는 파라미터를 또한 사용하고, 위 상태를 추정하는 것은, 위 UAV에서 감지된 측정 데이터를 수신하는 경우에 위 파라미터의 추정치와 함께 위 상태의 추정치를 위 수신된 측정 데이터 및 위 제어 입력으로부터 산출하는 것과, 위 UAV에서 감지된 측정 데이터를 수신하는 데에 지연이 있는 경우에 위 상태의 추정치를 위 상태의 이전 추정치, 위 파라미터의 이전 추정치 및 위 제어 입력으로부터 산출하는 것을 포함한다.
예 5는 예 1 내지 예 4 중 임의의 것의 주제를 포함하는데, 위 변환은 위 위치의 현재 추정치 및 위 위치의 이전 추정치 간의 차이에 대응하는 제1 변환 및 위 자세의 현재 추정치 및 위 자세의 이전 추정치 간의 차이에 대응하는 제2 변환 중 적어도 하나를 포함한다.
예 6은 예 1 내지 예 5 중 임의의 것의 주제를 포함하는데, 위 제1 변환은 병진 변환(translational transformation) 및 스케일링 변환(scaling transformation) 중 적어도 하나를 포함한다.
예 7은 예 1 내지 예 6 중 임의의 것의 주제를 포함하는데, 위 제2 변환은 회전 변환(rotational transformation) 및 투영 변환(projective transformation) 중 적어도 하나를 포함한다.
예 8은 예 1 내지 예 7 중 임의의 것의 주제를 포함하는데, 위 대체 영상 프레임을 생성하는 것은, 위 이전 영상 프레임에 대해 위 변환을 수행하여 위 대체 영상 프레임의 제1 부분을 생성하는 것과, 위 제1 부분에 기반하여 위 대체 영상 프레임의 제2 부분을 생성하는 것을 포함한다.
예 9는 예 1 내지 예 8 중 임의의 것의 주제를 포함하는데, 위 처리 유닛은 또한, 위 현재 영상 프레임을 수신하는 데에 지연이 있는 경우, 위 이전 영상 프레임에 이어서 위 대체 영상 프레임을 디스플레이 디바이스 상에 제시한다.
예 10은 예 1 내지 예 9 중 임의의 것의 주제를 포함하는데, 위 시스템은 위 UAV를 위한 지상 관제 시스템(Ground Control System: GCS)이다.
예 11에서, 무인 비행체(Unmanned Aerial Vehicle: UAV)를 원격으로 제어하는 시스템에 의해 수행되는 방법은 다음을 포함한다: 위 UAV에서 포착된 이전 영상 프레임을 수신한 후, 위 UAV의 위치 및 자세를 포함하는 상태를 제어하는 제어 입력을 위 UAV에 송신하는 단계; 위 상태를 위 UAV의 동적 모델에 기반하여 추정하는 단계(위 동적 모델은 위 제어 입력을 사용하여 위 상태의 시간적 전개를 나타냄); 및 위 UAV에서 포착된 현재 영상 프레임을 수신하는 데에 지연이 있는 경우, 위 추정된 상태에 따라 위 이전 영상 프레임을 변환하여 위 현재 영상 프레임에 대한 대체 영상 프레임을 생성하는 단계.
예 12는 예 11의 주제를 포함하는데, 위 동적 모델은 위 상태의 위 시간적 전개를 나타내는 데에 위 UAV의 질량 및 관성 모멘트를 포함하는 파라미터를 또한 사용하고, 위 상태를 추정하는 단계는, 위 UAV에서 감지된 측정 데이터를 수신하는 경우에 위 파라미터의 현재 추정치와 함께 위 상태의 현재 추정치를 위 수신된 측정 데이터 및 위 제어 입력으로부터 산출하는 단계를 포함한다.
예 13은 예 11의 주제를 포함하는데, 위 상태를 추정하는 단계는, 위 UAV에서 감지된 측정 데이터를 수신하는 데에 지연이 있는 경우에 위 상태의 현재 추정치를 위 상태의 이전 추정치 및 위 제어 입력으로부터 산출하는 단계를 포함한다.
예 14는 예 11의 주제를 포함하는데, 위 동적 모델은 위 상태의 위 시간적 전개를 나타내는 데에 위 UAV의 질량 및 관성 모멘트를 포함하는 파라미터를 또한 사용하고, 위 상태를 추정하는 단계는, 위 UAV에서 감지된 측정 데이터를 수신하는 경우에 위 파라미터의 추정치와 함께 위 상태의 추정치를 위 수신된 측정 데이터 및 위 제어 입력으로부터 산출하는 단계와, 위 UAV에서 감지된 측정 데이터를 수신하는 데에 지연이 있는 경우에 위 상태의 추정치를 위 상태의 이전 추정치, 위 파라미터의 이전 추정치 및 위 제어 입력으로부터 산출하는 단계를 포함한다.
예 15는 예 11 내지 예 14 중 임의의 것의 주제를 포함하는데, 위 변환은 위 위치의 현재 추정치 및 위 위치의 이전 추정치 간의 차이에 대응하는 제1 변환 및 위 자세의 현재 추정치 및 위 자세의 이전 추정치 간의 차이에 대응하는 제2 변환 중 적어도 하나를 포함한다.
예 16은 예 11 내지 예 15 중 임의의 것의 주제를 포함하는데, 위 제1 변환은 병진 변환 및 스케일링 변환 중 적어도 하나를 포함한다.
예 17은 예 11 내지 예 16 중 임의의 것의 주제를 포함하는데, 위 제2 변환은 회전 변환 및 투영 변환 중 적어도 하나를 포함한다.
예 18은 예 11 내지 예 17 중 임의의 것의 주제를 포함하는데, 위 대체 영상 프레임을 생성하는 단계는, 위 이전 영상 프레임에 대해 위 변환을 수행하여 위 대체 영상 프레임의 제1 부분을 생성하는 단계와, 위 제1 부분에 기반하여 위 대체 영상 프레임의 제2 부분을 생성하는 단계를 포함한다.
예 19는 예 11 내지 예 18 중 임의의 것의 주제를 포함하는데, 위 방법은, 위 현재 영상 프레임을 수신하는 데에 지연이 있는 경우, 위 이전 영상 프레임에 이어서 위 대체 영상 프레임을 디스플레이 디바이스 상에 제시하는 단계를 더 포함한다.
예 20은 예 11 내지 예 19 중 임의의 것의 주제를 포함하는데, 위 시스템은 위 UAV를 위한 지상 관제 시스템(Ground Control System: GCS)이다.
특정한 예에서, 본 문서에서 언급된 장치, 디바이스, 시스템, 머신 등은 임의의 적합한 유형은 컴퓨팅 장치이거나, 이를 포함하거나, 이에 구현될 수 있다. 컴퓨팅 장치는 프로세서 및 프로세서에 의해 판독가능한 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 프로세서는 컴퓨터 판독가능 저장 매체 내에 저장된 하나 이상의 명령어를 실행할 수 있다. 프로세서는 또한 컴퓨터 판독가능 저장 매체 내에 저장된 다른 정보를 판독할 수 있다. 추가로, 프로세서는 컴퓨터 판독가능 저장 매체 내에 새로운 정보를 저장할 수 있고 컴퓨터 판독가능 저장 매체 내에 저장된 어떤 정보를 갱신할 수 있다. 프로세서는, 예컨대, 중앙 처리 유닛(Central Processing Unit: CPU), 디지털 신호 프로세서(Digital Signal Processor: DSP), 그래픽 처리 유닛(Graphics Processing Unit: GPU), 프로세서 코어(processor core), 마이크로프로세서(microprocessor), 마이크로제어기(microcontroller), 필드 프로그램가능 게이트 어레이(Field-Programmable Gate Array: FPGA), 애플리케이션 특정 집적 회로(Application Specific Integrated Circuit: ASIC), 다른 하드웨어 및 로직 회로, 또는 이의 임의의 적합한 조합을 포함할 수 있다. 컴퓨터 판독가능 저장 매체는 다양한 정보, 예컨대, 프로세서에 의해 수행될 수 있는 프로세서 실행가능(processor executable) 명령어의 세트 및/또는 다른 정보로써 인코딩된다. 예를 들어, 컴퓨터 판독가능 저장 매체는 프로세서에 의해 실행되는 경우 컴퓨팅 장치(가령, 프로세서)로 하여금 본 문서에 개시된 몇몇 동작을 수행하게 하는 컴퓨터 프로그램 명령어 및/또는 그러한 동작에서 사용되는 정보, 데이터, 변수, 상수, 데이터 구조, 기타 등등이 내부에 저장될 수 있다. 컴퓨터 판독가능 저장 매체는, 예컨대, 판독 전용 메모리(Read-Only Memory: ROM), 랜덤 액세스 메모리(Random-Access Memory: RAM), 휘발성(volatile) 메모리, 비휘발성(non-volatile) 메모리, 착탈가능(removable) 메모리, 비착탈가능(non-removable) 메모리, 플래시(flash) 메모리, 솔리드 스테이트(solid-state) 메모리, 다른 타입의 메모리 디바이스, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 다른 타입의 저장 디바이스 및 저장 매체, 또는 이의 임의의 적합한 조합을 포함할 수 있다.
특정한 예에서, 본 문서에 기술된 동작, 기법, 프로세스, 또는 이의 어떤 양상이나 부분은 컴퓨터 프로그램 제품 내에 체현될 수 있다. 그러한 컴퓨터 프로그램은 컴퓨터에 의해 실행될 수 있는 어떤 유형의 (가령, 컴파일형(compiled) 또는 해석형(interpreted)) 프로그래밍 언어, 예컨대, 어셈블리(assembly), 기계어(machine language), 프로시저형(procedural) 언어, 객체지향(object-oriented) 언어 등등으로 구현될 수 있고, 하드웨어 구현과 조합될 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 저장 매체의 형태로 배포될 수 있거나 온라인으로 배포될 수 있다. 온라인 배포를 위해, 컴퓨터 프로그램 제품의 일부 또는 전부가 서버(가령, 서버의 컴퓨터 판독가능 저장 매체) 내에 일시적으로 저장되거나 일시적으로 생성될 수 있다.
이상의 설명은 상세하게 몇몇 예를 예시하고 기술하기 위해 제시되었다. 본 개시의 범주에서 벗어나지 않고서 위의 교시에 비추어 많은 수정 및 변형이 가능함을 당업자는 응당 이해할 것이다. 다양한 예에서, 전술된 기법이 상이한 순서로 수행되고/거나, 전술된 시스템, 아키텍처, 디바이스, 회로 및 유사한 것의 컴포넌트 중 일부가 상이한 방식으로 결합 또는 조합되거나, 다른 컴포넌트 또는 이의 균등물에 의해 대치 또는 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 본 개시의 범주는 개시된 그 형태에 한정되어서는 안 되며, 후술하는 청구항 및 이의 균등물에 의해 정해져야 한다.
10: 무인 비행체
100: 원격 제어 시스템
210: 감지 유닛
220: 촬상 유닛
230: 액추에이터
240: 저장 유닛
250: 통신 유닛
260: 처리 유닛
310: 저장 유닛
320: 통신 유닛
330: 사용자 인터페이스 유닛
340: 처리 유닛

Claims (14)

  1. 무인 비행체(Unmanned Aerial Vehicle: UAV)를 원격으로 제어하는 시스템으로서,
    상기 UAV에서 포착된 이전 영상 프레임을 수신한 후, 상기 UAV의 위치 및 자세를 포함하는 상태를 제어하는 제어 입력을 상기 UAV에 송신하는 통신 유닛과,
    상기 상태를 상기 UAV의 동적 모델(dynamic model)에 기반하여 추정 - 상기 동적 모델은 상기 제어 입력을 사용하여 상기 상태의 시간적 전개를 나타냄 - 하고, 상기 UAV에서 포착된 현재 영상 프레임을 수신하는 데에 지연이 있는 경우, 상기 추정된 상태에 따라 상기 이전 영상 프레임을 변환하여 상기 현재 영상 프레임에 대한 대체 영상 프레임을 생성하는 처리 유닛을 포함하는
    시스템.
  2. 제1항에 있어서,
    상기 동적 모델은 상기 상태의 상기 시간적 전개를 나타내는 데에 상기 UAV의 질량(mass) 및 관성 모멘트(moment of inertia)를 포함하는 파라미터를 또한 사용하고,
    상기 상태를 추정하는 것은,
    상기 UAV에서 감지된 측정 데이터를 수신하는 경우에 상기 파라미터의 현재 추정치와 함께 상기 상태의 현재 추정치를 상기 수신된 측정 데이터 및 상기 제어 입력으로부터 산출하는 것을 포함하는,
    시스템.
  3. 제1항에 있어서,
    상기 상태를 추정하는 것은,
    상기 UAV에서 감지된 측정 데이터를 수신하는 데에 지연이 있는 경우에 상기 상태의 현재 추정치를 상기 상태의 이전 추정치 및 상기 제어 입력으로부터 산출하는 것을 포함하는,
    시스템.
  4. 제1항에 있어서,
    상기 변환은 상기 위치의 현재 추정치 및 상기 위치의 이전 추정치 간의 차이에 대응하는 변환 및 상기 자세의 현재 추정치 및 상기 자세의 이전 추정치 간의 차이에 대응하는 변환 중 적어도 하나를 포함하는,
    시스템.
  5. 제1항에 있어서,
    상기 대체 영상 프레임을 생성하는 것은,
    상기 이전 영상 프레임에 대해 상기 변환을 수행하여 상기 대체 영상 프레임의 제1 부분을 생성하는 것과,
    상기 제1 부분에 기반하여 상기 대체 영상 프레임의 제2 부분을 생성하는 것을 포함하는,
    시스템.
  6. 제1항에 있어서,
    상기 처리 유닛은 또한, 상기 현재 영상 프레임을 수신하는 데에 지연이 있는 경우, 상기 이전 영상 프레임에 이어서 상기 대체 영상 프레임을 디스플레이 디바이스 상에 제시하는,
    시스템.
  7. 제1항에 있어서,
    상기 시스템은 상기 UAV를 위한 지상 관제 시스템(Ground Control System: GCS)인,
    시스템.
  8. 무인 비행체(Unmanned Aerial Vehicle: UAV)를 원격으로 제어하는 시스템에 의해 수행되는 방법으로서,
    상기 UAV에서 포착된 이전 영상 프레임을 수신한 후, 상기 UAV의 위치 및 자세를 포함하는 상태를 제어하는 제어 입력을 상기 UAV에 송신하는 단계와,
    상기 상태를 상기 UAV의 동적 모델에 기반하여 추정하는 단계 - 상기 동적 모델은 상기 제어 입력을 사용하여 상기 상태의 시간적 전개를 나타냄 - 와,
    상기 UAV에서 포착된 현재 영상 프레임을 수신하는 데에 지연이 있는 경우, 상기 추정된 상태에 따라 상기 이전 영상 프레임을 변환하여 상기 현재 영상 프레임에 대한 대체 영상 프레임을 생성하는 단계를 포함하는
    방법.
  9. 제8항에 있어서,
    상기 동적 모델은 상기 상태의 상기 시간적 전개를 나타내는 데에 상기 UAV의 질량 및 관성 모멘트를 포함하는 파라미터를 또한 사용하고,
    상기 상태를 추정하는 단계는,
    상기 UAV에서 감지된 측정 데이터를 수신하는 경우에 상기 파라미터의 현재 추정치와 함께 상기 상태의 현재 추정치를 상기 수신된 측정 데이터 및 상기 제어 입력으로부터 산출하는 단계를 포함하는,
    방법.
  10. 제8항에 있어서,
    상기 상태를 추정하는 단계는,
    상기 UAV에서 감지된 측정 데이터를 수신하는 데에 지연이 있는 경우에 상기 상태의 현재 추정치를 상기 상태의 이전 추정치 및 상기 제어 입력으로부터 산출하는 단계를 포함하는,
    방법.
  11. 제8항에 있어서,
    상기 변환은 상기 위치의 현재 추정치 및 상기 위치의 이전 추정치 간의 차이에 대응하는 변환 및 상기 자세의 현재 추정치 및 상기 자세의 이전 추정치 간의 차이에 대응하는 변환 중 적어도 하나를 포함하는,
    방법.
  12. 제8항에 있어서,
    상기 대체 영상 프레임을 생성하는 단계는,
    상기 이전 영상 프레임에 대해 상기 변환을 수행하여 상기 대체 영상 프레임의 제1 부분을 생성하는 단계와,
    상기 제1 부분에 기반하여 상기 대체 영상 프레임의 제2 부분을 생성하는 단계를 포함하는,
    방법.
  13. 제8항에 있어서,
    상기 UAV에서 포착된 현재 영상 프레임을 수신하는 데에 지연이 있는 경우, 상기 이전 영상 프레임에 이어서 상기 대체 영상 프레임을 디스플레이 디바이스 상에 제시하는 단계를 더 포함하는
    방법.
  14. 제8항에 있어서,
    상기 시스템은 상기 UAV를 위한 지상 관제 시스템(Ground Control System: GCS)인,
    방법.
KR1020210093602A 2021-07-16 2021-07-16 무인 비행체의 원격 제어를 위한 시스템 및 이에 의해 수행되는 방법 KR102476374B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210093602A KR102476374B1 (ko) 2021-07-16 2021-07-16 무인 비행체의 원격 제어를 위한 시스템 및 이에 의해 수행되는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210093602A KR102476374B1 (ko) 2021-07-16 2021-07-16 무인 비행체의 원격 제어를 위한 시스템 및 이에 의해 수행되는 방법

Publications (1)

Publication Number Publication Date
KR102476374B1 true KR102476374B1 (ko) 2022-12-08

Family

ID=84437103

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210093602A KR102476374B1 (ko) 2021-07-16 2021-07-16 무인 비행체의 원격 제어를 위한 시스템 및 이에 의해 수행되는 방법

Country Status (1)

Country Link
KR (1) KR102476374B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0152021B1 (ko) * 1992-12-21 1998-12-15 윤종용 데이타전송시에 발생한 에러를 처리하는 복호화방법 및 그 장치
KR20170079373A (ko) * 2015-12-30 2017-07-10 재단법인대구경북과학기술원 도로 상의 객체를 검출하기 위한 장치 및 그 방법
KR102254491B1 (ko) * 2019-11-22 2021-05-21 (주)가시 지능형 영상 분석 모듈을 탑재한 자율비행 드론

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0152021B1 (ko) * 1992-12-21 1998-12-15 윤종용 데이타전송시에 발생한 에러를 처리하는 복호화방법 및 그 장치
KR20170079373A (ko) * 2015-12-30 2017-07-10 재단법인대구경북과학기술원 도로 상의 객체를 검출하기 위한 장치 및 그 방법
KR102254491B1 (ko) * 2019-11-22 2021-05-21 (주)가시 지능형 영상 분석 모듈을 탑재한 자율비행 드론

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Rodrigo Munguia 외 2명, EKF Based Parameter Identification of Multi Rotor Unmanned Aerial VehiclesModels, Sensors 2019, 19, 4174. *
안희준 외 2, 쿼드로터드론의 영상기반 자율비행연구를 위한 지상제어시스템 설계, 한국통신학회논문지, v.41 no.10, 2016, pp.1247-1255 *

Similar Documents

Publication Publication Date Title
US10914590B2 (en) Methods and systems for determining a state of an unmanned aerial vehicle
US10565732B2 (en) Sensor fusion using inertial and image sensors
US20220206515A1 (en) Uav hardware architecture
US11822353B2 (en) Simple multi-sensor calibration
EP3158293B1 (en) Sensor fusion using inertial and image sensors
CN111792034B (zh) 使用传感器融合估计可移动物体的状态信息的方法及系统
EP3158411B1 (en) Sensor fusion using inertial and image sensors
US11556681B2 (en) Method and system for simulating movable object states
EP2927771B1 (en) Flying drone trajectory synchronization
US11287261B2 (en) Method and apparatus for controlling unmanned aerial vehicle
CN110998235B (zh) 在机器人式运载工具中的图像输出调整
US20210404840A1 (en) Techniques for mapping using a compact payload in a movable object environment
KR102476374B1 (ko) 무인 비행체의 원격 제어를 위한 시스템 및 이에 의해 수행되는 방법
CN110622086B (zh) 可移动物体应用框架
Vlasceanu et al. Ground Control Station for an Unmanned Aerial Vehicle Integrated in IoT
US20230316939A1 (en) Collision detection and avoidance for unmanned aerial vehicle systems and methods

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant