KR20170074539A - 딥 러닝을 이용한 무인기 비행 제어 시스템 및 방법 - Google Patents

딥 러닝을 이용한 무인기 비행 제어 시스템 및 방법 Download PDF

Info

Publication number
KR20170074539A
KR20170074539A KR1020150183932A KR20150183932A KR20170074539A KR 20170074539 A KR20170074539 A KR 20170074539A KR 1020150183932 A KR1020150183932 A KR 1020150183932A KR 20150183932 A KR20150183932 A KR 20150183932A KR 20170074539 A KR20170074539 A KR 20170074539A
Authority
KR
South Korea
Prior art keywords
neural network
posture
uav
deep learning
current
Prior art date
Application number
KR1020150183932A
Other languages
English (en)
Other versions
KR101813697B1 (ko
Inventor
최영식
황금별
Original Assignee
한국항공대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공대학교산학협력단 filed Critical 한국항공대학교산학협력단
Priority to KR1020150183932A priority Critical patent/KR101813697B1/ko
Publication of KR20170074539A publication Critical patent/KR20170074539A/ko
Application granted granted Critical
Publication of KR101813697B1 publication Critical patent/KR101813697B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C27/00—Rotorcraft; Rotors peculiar thereto
    • B64C27/006—Safety devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C27/00—Rotorcraft; Rotors peculiar thereto
    • B64C27/04—Helicopters
    • B64C27/08—Helicopters with two or more rotors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G05D1/0816—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft to ensure stability
    • G05D1/0825—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft to ensure stability using mathematical models
    • B64C2201/141—
    • B64C2700/6292—
    • B64C2700/6294—

Abstract

본원은 자세 예측 모듈로부터 무인기의 현재 자세를 획득하는 단계, 위치 제어 모듈로부터 상기 무인기의 목표 자세 및 목표 추력의 크기를 포함한 목표치를 획득하는 단계, 상기 현재 자세 및 상기 목표치에 기초하여 딥 러닝 신경망을 형성하는 단계 및 상기 딥 러닝 신경망에 기초하여 상기 무인기의 자세를 제어하는 단계를 포함하되, 상기 딥 러닝 신경망을 형성하는 단계는 상기 무인기가 상기 위치 제어 모듈과 연동하여 정상적으로 호버링하는 상태에서 획득된 상기 현재 자세 및 상기 목표치에 기초하여 상기 딥 러닝 신경망의 학습을 수행할 수 있는 딥 러닝을 이용한 무인기 비행 제어 방법에 관한 것이다.

Description

딥 러닝을 이용한 무인기 비행 제어 시스템 및 방법 {UNMANNED AERIAL VEHICLE FLIGHT CONTROL SYSTEM AND METHOD USING DEEP LEARNING}
본원은 딥 러닝을 이용하여 무인기의 비행 장애를 자동 회복하거나 호버링을 유지하는 등 무인기의 비행을 제어하는 방법에 관한 것이다.
무인기는 부드럽고 안정적인 이동 및 호버링(hovering, 공중에 정지해 있는 상태)을 위하여 일반적으로 위치 제어기를 구비하며, 위치 제어기가 의도한 알고리즘대로 작동하기 위해서는 무인기의 현재 위치를 정확하게 예측할 수 있어야 한다. 무인기는 신뢰성 높은 위치 예측을 위하여 일반적으로 GPS를 사용하며, 최근에는 컴퓨터 비전(Computer Vision)이 주로 이용되고 있다.
GPS 또는 컴퓨터 비전에 기초하여 무인기의 위치를 측정하는 종래 기술은, GPS가 수신되지 않거나 컴퓨터 비전 시스템이 제대로 동작하지 않을 경우 위치 제어기가 안정적으로 동작하지 못함에 따라 과도한 드리프트(drift, 위치를 고수 못하고 계속 한 방향으로 표류하는 상태)로 인하여 추락하는 등 일시적인 비행 장애가 일어나는 문제가 있었다.
이처럼 무인기의 비행에 있어서, GPS 수신 장애나 컴퓨터 비전 시스템의 위치 예측 실패와 같은 위치 측정 센서의 고장은 비행 안정성의 저하 문제와 직결될 뿐만 아니라 기체 파손, 인명 피해, 재산 피해 등의 문제를 야기하였다.
본원의 배경이 되는 기술은 한국등록특허공보 제10-1472392호(등록일: 2014.12.08)에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 무인기의 위치 제어기가 안정적으로 동작하지 않을 때 발생될 수 있는 추락, 기체 파손, 인명 피해, 재산 피해 등의 문제를 해결할 수 있는 딥 러닝을 이용한 무인기 비행 제어 방법을 제공하려는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 위치 제어기가 안정적으로 동작하지 않는 경우에 무인기를 안전하게 호버링할 수 있도록 하는 딥 러닝을 이용한 무인기 비행 제어 방법을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들도 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 딥 러닝을 이용한 무인기 비행 제어 방법은 자세 예측 모듈로부터 무인기의 현재 자세를 획득하는 단계, 위치 제어 모듈로부터 상기 무인기의 목표 자세 및 목표 추력의 크기를 포함한 목표치를 획득하는 단계, 상기 현재 자세 및 상기 목표치에 기초하여 딥 러닝 신경망을 형성하는 단계 및 상기 딥 러닝 신경망에 기초하여 상기 무인기의 자세를 제어하는 단계를 포함하되, 상기 딥 러닝 신경망을 형성하는 단계는 상기 무인기가 상기 위치 제어 모듈과 연동하여 정상적으로 호버링하는 상태에서 획득된 상기 현재 자세 및 상기 목표치에 기초하여 상기 딥 러닝 신경망의 학습을 수행할 수 있다.
또한, 상기 딥 러닝 신경망을 형성하는 단계는 상기 정상적으로 호버링하는 상태에서 획득된 상기 현재 자세를 상기 딥 러닝 신경망의 입력으로 설정하고, 상기 정상적으로 호버링하는 상태에서 획득된 상기 목표치를 상기 딥 러닝 신경망의 출력으로 설정함으로써 상기 학습을 수행할 수 있다. 또한, 상기 딥 러닝 신경망을 형성하는 단계에서는, 보다 정확한 학습을 위하여 거리 측정 센서, 가속도계 등 센서 측정 값이 신경망 입력으로 추가될 수 있다.
또한, 상기 무인기의 자세를 제어하는 단계는 상기 위치 제어 모듈이 비정상적으로 작동하는 경우, 상기 자세 예측 모듈로부터 출력된 현재 자세 및 상기 현재 자세에 대응하여 학습된 딥 러닝 신경망의 목표치 출력에 기초하여 상기 무인기가 호버링 자세를 취하도록 제어할 수 있다.
또한, 상기 무인기의 자세를 제어하는 단계는 상기 위치 제어 모듈이 정상적으로 작동하는 경우, 확장칼만필터(Extended Kalman Filter)에 기초하여 예측된 상기 무인기의 현재 위치 및 상기 현재 자세를 이용하여 상기 자세를 제어하고, 상기 위치 제어 모듈이 비정상적으로 작동하는 경우, 상기 확장칼만필터에 기초하여 예측된 상기 현재 자세를 이용하여 상기 자세를 제어할 수 있다.
또한, 상기 딥 러닝 신경망을 형성하는 단계는 제1 시간에서 획득된 현재 자세와 상기 제1 시간 이전의 제2 시간에서 획득된 목표치에 기초하여, 상기 딥 러닝 신경망의 출력으로서 상기 제1 시간에서의 목표치를 산출할 수 있다. 이때, 보다 정확한 학습을 위하여 거리 측정 센서, 가속도계 등 센서 측정 값이 신경망 입력으로 추가되는 경우, 상기 센서 측정 값은 제1 시간에서 획독된 값을 사용할 수 있다.
또한, 상기 딥 러닝 신경망을 형성하는 단계는 상기 제1 시간에서 획득된 현재 자세와 상기 제2 시간에서 획득된 목표치 각각에 대한 가중치 및 활성 함수(activation function)에 기초하여, 상기 제1 시간에서의 목표치를 산출할 수 있다.
또한, 상기 딥 러닝 신경망을 형성하는 단계는 비용 함수(cost function)를 이용하여 계산된 상기 딥 러닝 신경망의 출력 에러에 기초하여 상기 가중치를 갱신하는 단계를 포함할 수 있다.
또한, 상기 가중치를 갱신하는 단계는 상기 출력 에러가 최소화되도록 경사 하강법(gradient descent)에 기초하여 상기 가중치를 갱신할 수 있다.
한편, 본원의 일 실시예에 따른 딥 러닝을 이용한 무인기 비행 제어 시스템은 무인기의 현재 자세를 산출하는 자세 예측 모듈, 상기 무인기의 목표 자세 및 목표 추력의 크기를 포함한 목표치를 산출하는 위치 제어 모듈, 상기 현재 자세 및 상기 목표치에 기초하여 딥 러닝 신경망을 형성하는 딥 러닝 신경망 생성 모듈 및 상기 딥 러닝 신경망에 기초하여 상기 무인기의 자세를 제어하는 자세 제어 모듈을 포함하되, 상기 딥 러닝 신경망 생성 모듈은 상기 무인기가 상기 위치 제어 모듈과 연동하여 정상적으로 호버링하는 상태에서 획득된 상기 현재 자세 및 상기 목표치에 기초하여 상기 딥 러닝 신경망의 학습을 수행할 수 있다.
또한, 상기 딥 러닝 신경망 생성 모듈은 상기 정상적으로 호버링하는 상태에서 획득된 상기 현재 자세를 상기 딥 러닝 신경망의 입력으로 설정하고, 상기 정상적으로 호버링하는 상태에서 획득된 상기 목표치를 상기 딥 러닝 신경망의 출력으로 설정함으로써 상기 학습을 수행할 수 있다.
또한, 상기 자세 제어 모듈은 상기 위치 제어 모듈이 비정상적으로 작동하는 경우, 상기 자세 예측 모듈로부터 출력된 현재 자세 및 상기 현재 자세에 대응하여 학습된 딥 러닝 신경망의 목표치 출력에 기초하여 상기 무인기가 호버링 자세를 취하도록 제어할 수 있다.
또한, 상기 자세 제어 모듈은 상기 위치 제어 모듈이 정상적으로 작동하는 경우, 확장칼만필터(Extended Kalman Filter)에 기초하여 예측된 상기 무인기의 현재 위치 및 상기 현재 자세를 이용하여 상기 자세를 제어하고, 상기 위치 제어 모듈이 비정상적으로 작동하는 경우, 상기 확장칼만필터에 기초하여 예측된 상기 현재 자세를 이용하여 상기 자세를 제어할 수 있다.
또한, 상기 딥 러닝 신경망 생성 모듈은 제1 시간에서 획득된 현재 자세와 상기 제1 시간 이전의 제2 시간에서 획득된 목표치에 기초하여, 상기 딥 러닝 신경망의 출력으로서 제1 시간에서의 목표치를 산출할 수 있다. 이때, 보다 정확한 학습을 위하여 거리 측정 센서, 가속도계 등 센서 측정 값이 신경망 입력으로 추가되는 경우, 상기 센서 측정 값은 제1 시간에서 획독된 값을 사용할 수 있다.
또한, 상기 딥 러닝 신경망 생성 모듈은 상기 제1 시간에서 획득된 현재 자세와 상기 제2 시간에서 획득된 목표치 각각에 대한 가중치 및 활성 함수(activation function)에 기초하여, 상기 제1 시간에서의 목표치를 산출할 수 있다.
또한, 상기 딥 러닝 신경망 생성 모듈은 비용 함수(cost function)를 이용하여 계산된 상기 딥 러닝 신경망의 출력 에러에 기초하여 상기 가중치를 갱신할 수 있다.
또한, 상기 딥 러닝 신경망 생성 모듈은 상기 출력 에러가 최소화되도록 경사 하강법(gradient descent)에 기초하여 상기 가중치를 갱신할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 본원은 무인기가 위치 제어 모듈과 연동하여 정상적으로 호버링하는 상태에서 획득된 무인기의 현재 자세 및 목표치에 기초하여 무인기의 자세 제어를 위한 딥 러닝 신경망의 학습을 수행하므로, 비행 장애 시 학습된 딥 신경망에 기초하여 무인기의 자세를 자동으로 회복시키거나 호버링을 유지시킬 수 있는 효과가 있다.
전술한 본원의 과제 해결 수단에 의하면, 본원은 위치 제어 모듈이 비정상적으로 작동하는 경우 학습된 딥 러닝 신경망의 목표치 출력에 기초하여 무인기가 호버링 자세를 취하도록 제어함으로써, 위치 제어 모듈이 비정상적으로 작동할 때 발생될 수 있는 추락, 기체 파손, 인명 피해, 재산 피해 등의 문제를 해결할 수 있는 효과가 있다.
도 1은 본원의 일 실시예에 따른 딥 러닝을 이용한 무인기 비행 제어 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 본원의 일 실시예에 따른 딥 러닝을 이용한 무인기 비행 제어 시스템에서 위치 제어 모듈이 정상적으로 작동하는 상태에서의 데이터 흐름을 나타낸 도면이다.
도 3은 본원의 일 실시예에 따른 딥 러닝을 이용한 무인기 비행 제어 시스템에서 위치 제어 모듈이 비정상적으로 작동하는 상태에서의 데이터 흐름을 나타낸 도면이다.
도 4는 본원의 일 실시예에 따른 딥 러닝을 이용한 무인기 비행 제어 시스템에서 딥 러닝 신경망의 구성도를 나타낸 도면이다.
도 5는 본원의 일 실시예에 따른 딥 러닝을 이용한 무인기 비행 제어 시스템에서 딥 러닝 신경망의 구성을 시간에 따라 펼친 도면이다.
도 6은 본원의 일 실시예에 따른 딥 러닝을 이용한 무인기 비행 제어 시스템에서 딥 러닝 신경망의 가중치 갱신 과정을 나타낸 도면이다.
도 7은 본원의 일 실시예에 따른 딥 러닝을 이용한 무인기 비행 제어 방법에 대한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 GPS 수신 장애, 컴퓨터 비전 시스템의 위치 예측 실패와 같은 위치 측정 센서의 부재 상황에서 무인기가 추락하지 않고 안전하게 위치 및 자세를 회복하거나 호버링(hovering, 공중에 정지해 있는 상태) 상태로 유지할 수 있도록 하는 딥 러닝을 이용한 무인기 비행 제어 기술에 관한 것이다.
본원에서 무인기(UAV, Unmanned Aerial Vehicle)는 원격 조작에 의하여 조종되는 무인 항공기로서, 소형 무인기(MAV, Micro Aerial Vehicle)일 수 있다.
도 1은 본원의 일 실시예에 따른 딥 러닝을 이용한 무인기 비행 제어 시스템의 구성을 개략적으로 나타낸 도면이고, 도 2는 본원의 일 실시예에 따른 딥 러닝을 이용한 무인기 비행 제어 시스템에서 위치 제어 모듈이 정상적으로 작동하는 상태에서의 데이터 흐름을 나타낸 도면이고, 도 3은 본원의 일 실시예에 따른 딥 러닝을 이용한 무인기 비행 제어 시스템에서 위치 제어 모듈이 비정상적으로 작동하는 상태에서의 데이터 흐름을 나타낸 도면이다.
본격적인 설명에 앞서, 우선 도 2 내지 도 3을 간단히 살펴보면, 본원의 일 실시예에 따른 딥 러닝을 이용한 무인기 비행 제어 시스템(100)은 크게 도 2와 같이 위치 제어 모듈(120)이 정상적으로 작동하는 경우와 도 3과 같이 위치 제어 모듈(120)이 비정상적으로 작동하는 경우로 구분할 수 있다.
위치 제어 모듈(120)이 정상적으로 작동하는 상태라 함은 가속계, 각속도계, 지자계, GPS, 컴퓨터 비전(Computer Vision) 등과 같은 위치 측정 센서가 정상적으로 동작하여 무인기의 위치정보를 획득할 수 있는 상태를 의미하고, 반면, 위치 제어 모듈(120)이 비정상적으로 작동하는 상태라 함은 GPS가 끊기거나 위치 제어 모듈(120)의 고장, 손상, 오류 등의 이상 상태에 의하여 무인기의 위치정보를 획득할 수 없는 상태를 의미할 수 있다.
도 2와 같이 위치 제어 모듈(120)이 정상적으로 작동하는 경우에는 딥 러닝 신경망 생성 모듈(130)을 통해 딥 러닝 신경망의 학습이 수행될 수 있다. 이때 딥 러닝 신경망의 학습에 이용되는 데이터로는 무인기의 현재 자세, 현재 위치, 목표 자세 및 목표 추력의 크기가 있을 수 있으며, 이는 위치 제어 모듈(120)이 정상적으로 작동하는 상태에서 무인기가 호버링 중일 때 획득될 수 있다.
도 2의 경우, 자세 예측 모듈(110)로부터 출력된 현재 위치를 고려해 위치 제어 모듈(120)로부터 출력된 목표 자세와 목표 추력의 크기, 및 자세 예측 모듈(110)로부터 출력된 현재 자세에 기초하여, 자세 제어 모듈(140)은 무인기의 자세를 제어할 수 있고, 딥 러닝 신경망 생성 모듈(130)은 딥 러닝 신경망의 학습을 수행할 수 있다.
한편, 도 3과 같이 위치 제어 모듈(120)이 비정상적으로 작동하는 경우, 자세 제어 모듈(140)은 자세 예측 모듈(110)로부터 출력된 현재 자세 및 현재 자세에 대응하여 학습된 딥 러닝 신경망의 목표치 출력에 기초하여 무인기가 호버링 자세를 취하도록 제어할 수 있다.
도 3의 경우, 본원의 일 실시예에 따른 딥 러닝을 이용한 무인기 비행 제어 시스템(100)은 위치 제어 모듈(120)이 비정상적으로 작동할 때 자세 예측 모듈(110)로부터 출력된 현재 자세와 학습된 딥 러닝 신경망의 목표치 출력(즉, 현재 자세에 대응하여 학습된 딥 러닝 신경망 생성 모듈(130)로부터 출력된 목표 자세 및 목표 추력의 크기)에 기초하여 무인기가 호버링 자세를 취하도록 제어할 수 있으므로, GPS 수신 장애, 컴퓨터 비전의 위치 예측 실패 등과 같이 위치 측정 센서의 부재 상황에서 무인기가 추락하지 않고 안전하게 호버링될 수 있도록 제어할 수 있다.
도 1을 참조하면, 본원의 일 실시예에 따른 딥 러닝을 이용한 무인기 비행 제어 시스템(100)은 자세 예측 모듈(110), 위치 제어 모듈(120), 딥 러닝 신경망 생성 모듈(130) 및 자세 제어 모듈(140)을 포함할 수 있다.
자세 예측 모듈(110)은 무인기의 현재 자세를 산출할 수 있다.
자세 예측 모듈(110)은 확장칼만필터(Extended Kalman Filter)에 기초하여 무인기의 현재 위치 및 현재 자세를 예측할 수 있으며, 자세 예측 모듈(110)은 가속계, 각속도계, 지자계, GPS, 컴퓨터 비전(Computer Vision) 등 복수의 센서로부터 측정된 데이터를 확장칼만필터에 기초하여 확률적으로 종합함으로써 무인기의 현재 위치 및 현재 자세를 예측할 수 있다.
자세 예측 모듈(110)는 X 좌표, Y 좌표, 및 Z 좌표 등의 정보가 포함된 무인기의 현재 위치를 예측할 수 있으며, 또한 롤(roll), 피치(pitch), 및 요(yaw) 각 등의 정보가 포함된 무인기의 현재 자세를 예측할 수 있다. 롤(roll)은 앞뒤축으로 회전하는 것을 의미하고, 피치(pitch)는 무인기 앞쪽의 위아래 움직임을 의미하며, 요(yaw) 각은 한쪽으로 기울어지는 각도를 의미한다.
자세 예측 모듈(110)은 출력으로서 무인기의 현재 위치와 현재 자세를 포함할 수 있다.
자세 예측 모듈(110)에 의하여 예측된 무인기의 현재 위치는 위치 제어 모듈(120)이 수신할 수 있으며, 자세 예측 모듈(110)에 의하여 예측된 무인기의 현재 자세는 자세 제어 모듈(140)이 수신할 수 있다.
위치 제어 모듈(120)은 무인기의 목표 자세 및 목표 추력의 크기를 포함한 목표치를 산출할 수 있다.
위치 제어 모듈(120)은 자세 예측 모듈(110)로부터 수신한 무인기의 현재 위치와 미리 설정된 무인기의 목표 위치 및 목표 요(yaw) 각에 기초하여, 무인기의 목표 자세 및 목표 추력의 크기를 산출할 수 있다.
위치 제어 모듈(120)은 입력으로서 자세 예측 모듈(110)로부터 수신한 무인기의 현재 위치와 미리 설정된 무인기의 목표 위치 및 목표 요(yaw) 각을 포함할 수 있으며, 출력으로서 무인기의 목표 자세 및 목표 추력의 크기를 포함할 수 있다.
딥 러닝 신경망 생성 모듈(130)은 자세 예측 모듈(120)로부터 출력된 현재 자세와 위치 제어 모듈(120)로부터 출력된 목표치(즉, 목표 자세 및 목표 추력의 크기)에 기초하여, 딥 러닝 신경망을 형성할 수 있다.
딥 러닝 신경망 생성 모듈(130)은 무인기가 위치 제어 모듈(120)과 연동하여 정상적으로 호버링하는 상태에서 획득된 현재 자세 및 목표치에 기초하여 딥 러닝 신경망의 학습을 수행할 수 있다. 이는 도 2를 참조하여 보다 쉽게 이해될 수 있다.
딥 러닝 신경망의 학습을 수행하기 위해 이용되는 현재 위치, 현재 자세 및 목표치(즉, 목표 자세 및 목표 추력의 크기)는 위치 제어 모듈(120)이 정상적으로 작동하는 상태이면서 무인기가 호버링 중일 때 획득될 수 있다. 이때, 위치 제어 모듈(120)이 정상적으로 동작하는 상태는 GPS, 컴퓨터 비전 등과 같은 위치 측정 수단을 통해 무인기의 위치정보를 획득할 수 있는 상태를 의미할 수 있다.
딥 러닝 신경망 생성 모듈(130)은 무인기가 정상적으로 호버링하는 상태에서 획득된 현재 자세를 딥 러닝 신경망의 입력으로 설정하고, 무인기가 정상적으로 호버링하는 상태에서 획득된 목표치를 딥 러닝 신경망의 출력으로 설정함으로써, 딥 러닝 신경망의 학습을 수행할 수 있다.
이때, 무인기는 거리 측정 센서, 가속도 측정 센서 등을 구비한 센서부를 더 포함할 수 있으며, 딥 러닝 신경망 생성 모듈(130)은 딥 러닝 신경망의 학습을 보다 정확히 수행하기 위하여, 딥 러닝 신경망의 입력으로서, 거리 측정 센서, 가속도 측정 센서 등의 센서부를 통해 측정된 센서 측정 값을 더 고려할 수 있다.
자세 제어 모듈(140)은 무인기의 자세를 제어할 수 있다.
자세 제어 모듈(140)은 위치 제어 모듈(120)이 정상적으로 작동하는 경우(즉, 도 2의 경우), 확장칼만필터(Extended Kalman Filter)에 기초하여 예측된 무인기의 현재 위치 및 현재 자세를 이용하여 무인기의 자세를 제어할 수 있고, 위치 제어 모듈(120)이 비정상적으로 작동하는 경우(즉, 도 3의 경우), 확장칼만필터에 기초하여 예측된 현재 자세를 이용하여 무인기의 자세를 제어할 수 있다.
도 3과 같이 위치 제어 모듈(120)이 비정상적으로 작동하는 경우, 자세 제어 모듈(140)은 자세 예측 모듈(110)로부터 출력된 현재 자세 및 상기 현재 자세에 대응하여 학습된 딥 러닝 신경망의 목표치 출력(즉, 목표 자세 및 목표 추력의 크기)에 기초하여, 무인기가 호버링 자세를 취하도록 제어할 수 있다.
이때, 위치 제어 모듈(120)이 비정상적으로 동작하는 상태라 함은 GPS, 컴퓨터 비전 등과 같은 위치 측정 수단을 통해 무인기의 위치정보를 획득할 수 없는 상태로서, GPS 수신이 끊기거나, 위치 제어 모듈(120) 또는 위치 측정 수단의 이상 상태(예를 들어, 고장, 손상, 측정 오류 등)를 의미한다.
이하에서는 딥 러닝 신경망 생성 모듈(130)에 의하여 형성되는 딥 러닝 신경망의 구성 방법에 대하여 보다 자세히 설명하기로 한다.
딥 러닝 신경망 생성 모듈(130)에서 생성되는 딥 러닝 신경망은 수학식 1과 같은 입력 및 수학식 2와 같은 출력을 가질 수 있다.
[수학식 1]
Figure pat00001
[수학식 2]
Figure pat00002
이때, x(t)는 시간 t에서의 딥 러닝 신경망 입력으로서, 무인기의 현재 자세(q0, q1, q2, q3)를 사원수(quaternion)로 표현한 4차원 벡터로 나타낼 수 있다. o(t)는 시간 t에서의 딥 러닝 신경망의 출력으로서, 무인기의 목표 자세(q0,des, q1,des, q2,des, q3,des) 사원수와 목표 추력의 크기(Tdes)를 포함하는 5차원 벡터로 나타낼 수 있다.
딥 러닝 신경망의 학습에 이용되는 입출력 데이터(즉, 현재 자세, 목표 자세, 목표 추력의 크기)는 학습 데이터(learning sample)라 할 수 있으며, 학습 데이터는 자세 예측 모듈(110) 및 위치 제어 모듈(120)로부터 획득할 수 있다.
딥 러닝 생성 모듈(130)에 의하여 생성되는 딥 러닝 신경망은 순환 신경망(RNN, Recurrent Neural Network)에 기초하여 생성될 수 있다. RNN은 시간에 따라 순차적인 데이터(time sequence data)를 학습하기 위한 딥 신경망(deep neural network)의 구성 방식으로서, RNN 구성 방식은 시간 t에서 신경망 내의 특정 뉴런(neuron)의 출력이 시간 t+1에서 다시 다른 뉴런의 입력으로 들어가도록 하는 과정의 반복을 통해 신경망을 형성할 수 있다.
딥 러닝 생성 모듈(130)은 무인기가 정상적으로 호버링하는 상태에서 시간에 따라 순차적으로 획득되는 데이터(즉, 현재 자세, 목표 자세, 목표 추력의 크기)에 기초하여 딥 러닝 신경망의 학습을 수행하므로, RNN 구성 방식에 적합할 수 있다.
도 4는 본원의 일 실시예에 따른 딥 러닝을 이용한 무인기 비행 제어 시스템(100)에서 딥 러닝 신경망의 구성도를 나타낸 도면이다.
도 4를 참조하면, 딥 러닝 생성 모듈(130)에 의하여 생성된 딥 러닝 신경망은 일 실시예로 두 개의 층(Layer)으로 형성될 수 있다. x(t)는 t 시간에서 무인기의 현재 자세를 의미하고, o(t-1)은 t-1시간에서 무인기의 목표 자세와 목표 추력의 크기를 의미한다.
U(t)는 x(t)에서 o(t)로 피드 포워드(feed forward) 하기 위한 가중치 행렬로서, 도 4의 일예에서는 5x4 크기를 가질 수 있다. V(t)는 o(t-1)에서 o(t)로 피드 포워드 하기 위한 가중치 행렬로서, 도 4의 일 예에서는 5x5 크기를 가질 수 있다. 이러한 경우, 현재 시간에서 딥 러닝 신경망의 출력 o(t)는 수학식 3과 같을 수 있다.
[수학식 3]
Figure pat00003
이때, f는 활성함수(activation function)로서, 일 실시예로 로지스틱(logistic) 함수, 하이퍼볼릭 탄젠트(Hyperbolic Tangent, tanh) 함수 등이 이용될 수 있다.
f가 로지스틱 함수일 경우에는 수학식 4와 같이 정의될 수 있고, f가 하이퍼볼릭 탄젠트 함수일 경우에는 수학식 5와 같이 정의될 수 있다.
[수학식 4]
Figure pat00004
[수학식 5]
Figure pat00005
도 5는 본원의 일 실시예에 따른 딥 러닝을 이용한 무인기 비행 제어 시스템에서 딥 러닝 신경망의 구성을 시간에 따라 펼친(unfold) 도면이다.
도 5를 참조하면, k는 딥 러닝 신경망의 학습이 k 시간까지 수행됨을 의미하며, k의 크기에 따라 시간에 따른 순차 데이터의 학습량이 결정될 수 있다.
수학식 1 내지 수학식 3에 따르면, 딥 러닝 신경망 생성 모듈(130)은 제1 시간(예를 들어, t 시간)에서 획득된 현재 자세 x(t)와 제1 시간 이전의 제2 시간(예를 들어, t-1 시간)에서 획득된 목표치 o(t-1)에 기초하여, 딥 러닝 신경망의 출력으로서 제1 시간에서의 목표치 o(t)를 산출할 수 있다.
이때, 본원의 일 실시예에 따라서는, 수학식 1에서 딥 러닝 신경망의 입력이 제1 시간에서 획득된 무인기의 현재 자세만 고려되는 것으로 예시하였으나, 이에 한정된 것은 아니며, 본원의 다른 일 실시예에 따라서는 딥 러닝 신경망의 입력에, 거리 측정 센서, 가속도 측정 센서 등을 통해 측정된 센서 측정 값이 더 고려될 수 있다. 즉, 딥 러닝 신경망 생성 모듈(130)은 제1 시간(예를 들어, t 시간)에서 획득된 현재 자세, 제1 시간에서 획득된 센서 측정 값, 및 제2 시간(예를 들어, t-1 시간)에서 획득된 목표치(즉, 목표 자세 및 목표 추력의 크기)를 딥 러닝 신경망의 입력으로 설정함으로써, 제1 시간에서의 목표치를 산출할 수 있다.
딥 러닝 신경망 생성 모듈(130)은 제1 시간에서 획득된 현재 자세 x(t)와 제2 시간에서 획득된 목표치 o(t-1) 각각에 대한 가중치(예를 들어, U(t), V(t)) 및 활성 함수(f)에 기초하여, 제1 시간에서의 목표치 o(t)를 산출할 수 있다. 딥 러닝 신경망 생성 모듈(130)에서 제1 시간에서의 목표치 o(t)를 산출하는 과정은 피드 포워드(feed forward) 과정이라 할 수 있다.
딥 러닝 신경망 생성 모듈(130)은 순차적으로 학습 데이터를 획득할 때마다 가중치(예를 들어, U, V)를 갱신할 수 있으며, 딥 러닝 신경망 생성 모듈(130)은 비용 함수(cost function)를 이용하여 계산된 딥 러닝 신경망의 출력 에러에 기초하여 가중치를 갱신될 수 있다.
또한, 딥 러닝 신경망 생성 모듈(130)은 딥 러닝 신경망의 출력 에러가 최소화되도록 경사 하강법(gradient descent)에 기초하여 가중치를 갱신할 수 있다. 신경망의 출력 에러를 계산하고 가중치를 갱신하는 과정은 피드백(feed back) 과정이라 할 수 있으며, 이는 후술할 설명을 통해 보다 쉽게 이해될 수 있다.
도 6은 본원의 일 실시예에 따른 딥 러닝을 이용한 무인기 비행 제어 시스템에서 딥 러닝 신경망의 가중치 갱신 과정을 나타낸 도면이다.
도 6에서 실선은 피드 포워드(feed forward) 단계를 나타내고, 점선은 피드백(feed back) 단계를 나타낸다.
피드 포워드 단계와 피드백 단계는 딥 러닝 신경망의 학습을 위해 수행되는 단계로서, 피드 포워드 단계는 딥 러닝 신경망 생성 모듈(130)에서 표본(sample) 데이터를 수신하고, 가중치(weight)와 활성 함수(activation function)를 통해 딥 러닝 신경망의 출력을 계산하는 단계를 의미한다.
피드 포워드 단계는 앞서 설명한 바와 같이, t 시간에서 획득된 현재 자세 x(t)와 t-1 시간에서 획득된 목표치 o(t-1)에 기초하여 딥 러닝 신경망의 출력으로서 t 시간에서의 목표치 o(t)를 산출하는 과정을 의미한다.
피드백 단계는 딥 러닝 신경망 생성 모듈(130)에서 표본의 목표 출력과 신경망의 출력 에러(error)를 계산하고, 이에 따라 현재 신경망의 가중치를 갱신하는 단계를 의미한다.
딥 러닝 신경망 생성 모듈(130)은 일 실시예로, 시간에 따른 가중치 갱신 방법인 BPTT(back propagation through time)에 기초하여 가중치를 갱신할 수 있다.
BPTT를 이용한 가중치 갱신을 위하여, 딥 러닝 신경망 생성 모듈(130)은 비용 함수(cost function)를 이용하여 딥 러닝 신경망의 출력 에러(error)를 계산할 수 있으며, 비용 함수는 수학식 6과 같이 정의될 수 있다.
[수학식 6]
Figure pat00006
이때, p는 학습 데이터(즉, 현재 자세, 목표 자세, 목표 추력의 크기) 표본의 수를 나타내고, dp(t)는 p 번째 표본의 시간 t에서 딥 러닝 신경망의 출력 y(t)의 목표 값(desired output)을 나타낸다.
수학식 3에서, 가중치 U와 가중치 V는 비용 함수에 기초하여 계산되는 신경망의 출력 에러를 최소화하는 방향으로 갱신될 수 있으며, 이를 위해 딥 러닝 신경망 생성 모듈(130)은 경사 하강법(gradient descent)을 이용하여 가중치를 갱신할 수 있다. 가중치는 이하 수학식 7 내지 수학식 12에 기초화여 갱신될 수 있다.
[수학식 7]
Figure pat00007
[수학식 8]
Figure pat00008
이때, ΔU, ΔV는 가중치 갱신 변화량을 나타내고,
Figure pat00009
는 학습 비율(learning rate)을 나타낸다.
도 5에서 알 수 있는 바와 같이, 가중치 U와 가중치 V는 시간 t-k+1부터 t까지 k번 갱신되어야 하며, 가중치 U와 가중치 V는 수학식 9 및 수학식 10과 같이 반복적으로 갱신될 수 있다.
[수학식 9]
Figure pat00010
[수학식 10]
Figure pat00011
이때, e(t)는 시간 t 에서 비용함수 C로부터 전파(propagation)된 에러를 의미하며, e(t)는 수학식 11 및 수학식 12에 기초하여 계산될 수 있다.
[수학식 11]
Figure pat00012
[수학식 12]
Figure pat00013
도 4 내지 도 6을 참조한 설명에서는 본원의 일 실시예에 따른 딥 러닝 신경망이 두 개의 층(Layer)으로 형성되는 것으로만 예시하였으나, 이에 한정된 것은 아니며, 다른 일 실시예에 따라서는 딥 러닝 신경망이 3개의 층, 4개의 층 등으로 형성될 수도 있으며, 이를 통해 딥 러닝 신경망 생성 모듈(130)은 보다 깊은(deep) 신경망을 형성할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 7은 본원의 일 실시예에 따른 딥 러닝을 이용한 무인기 비행 제어 방법에 대한 동작 흐름도이다.
도 7을 참조하면, 본원의 일 실시예에 따른 딥 러닝을 이용한 무인기 비행 제어 시스템(100)은 단계S710에서 자세 예측 모듈(110)로부터 무인기의 현재 자세를 획득할 수 있다.
단계S710에서는 확장칼만필터에 기초하여 산출된 무인기의 현재 위치 및 현재 자세를 자세 예측 모듈(110)로부터 획득할 수 있으며, 현재 위치는 X 좌표, Y 좌표, 및 Z 좌표 등의 정보를 포함하고, 현재 자세는 롤(roll), 피치(pitch), 및 요(yaw) 각 등의 정보를 포함할 수 있다.
다음으로, 본원의 일 실시예에 따른 딥 러닝을 이용한 무인기 비행 제어 시스템(100)은 단계S720에서 위치 제어 모듈(120)로부터 무인기의 목표 자세 및 목표 추력의 크기를 포함한 목표치를 획득할 수 있다.
다음으로, 본원의 일 실시예에 따른 딥 러닝을 이용한 무인기 비행 제어 시스템(100)은 단계S730에서 현재 자세와 목표치에 기초하여 딥 러닝 신경망 생성 모듈(130)에 의하여 딥 러닝 신경망을 형성할 수 있다.
단계S730에서 딥 러닝 신경망 생성 모듈(130)은 무인기가 위치 제어 모듈(120)과 연동하여 정상적으로 호버링하는 상태에서 획득된 현재 자세 및 목표치에 기초하여 딥 러닝 신경망의 학습을 수행할 수 있다.
단계S730에서 딥 러닝 신경망 생성 모듈(130)은 무인기가 정상적으로 호버링하는 상태에서 획득된 현재 자세를 딥 러닝 신경망의 입력으로 설정하고, 무인기가 정상적으로 호버링하는 상태에서 획득된 목표치를 딥 러닝 신경망의 출력으로 설정함으로써 학습을 수행할 수 있다.
단계S730에서 딥 러닝 신경망 생성 모듈(130)은 제1 시간(예를 들어 t 시간)에서 획득된 현재 자세와 제1 시간 이전의 제2 시간(예를 들어 t-1 시간)에서 획득된 목표치 각각의 가중치 및 활성 함수(activation function)에 기초하여, 딥 러닝 신경망의 출력으로서 제1 시간에서의 목표치를 산출할 수 있다.
또한, 단계S730에서 딥 러닝 신경망 생성 모듈(130)은 비용 함수(cost function)를 이용하여 계산된 딥 신경망의 출력 에러에 기초하여 가중치를 갱신할 수 있으며, 이때, 출력 에러가 최소화되도록 경사 하강법(gradient descent)에 기초하여 가중치를 갱신할 수 있다.
다음으로, 본원의 일 실시예에 따른 딥 러닝을 이용한 무인기 비행 제어 시스템(100)은 단계S740에서 자세 제어 모듈(140)에 의하여 무인기의 자세를 제어할 수 있다.
단계S740에서 자세 제어 모듈(140)은 위치 제어 모듈(120)이 비정상적으로 작동하는 경우, 자세 예측 모듈(110)로부터 출력된 현재 자세 및 상기 현재 자세에 대응하여 학습된 딥 러닝 신경망의 목표치 출력에 기초하여 무인기가 호버링 자세를 취하도록 제어할 수 있다.
단계S740에서 자세 제어 모듈(140)은 위치 제어 모듈(120)이 정상적으로 작동하는 경우(즉, 도 2와 같은 경우), 확장칼만필터(Extended Kalman Filter)에 기초하여 예측된 무인기의 현재 위치 및 현재 자세를 이용하여 무인기의 자세를 제어할 수 있으며, 위치 제어 모듈(120)이 비정상적으로 작동하는 경우(즉, 도 3과 같은 경우), 확장칼만필터에 기초하여 예측된 현재 자세를 이용하여 무인기의 자세를 제어할 수 있다.
본원의 일 실시 예에 따른 딥 러닝을 이용한 무인기 비행 제어 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
100: 딥 러닝을 이용한 무인기 비행 제어 시스템
110: 자세 예측 모듈 120: 위치 제어 모듈
130: 딥 러닝 신경망 생성 모듈 140: 자세 제어 모듈

Claims (17)

  1. 자세 예측 모듈로부터 무인기의 현재 자세를 획득하는 단계;
    위치 제어 모듈로부터 상기 무인기의 목표 자세 및 목표 추력의 크기를 포함한 목표치를 획득하는 단계;
    상기 현재 자세 및 상기 목표치에 기초하여 딥 러닝 신경망을 형성하는 단계; 및
    상기 딥 러닝 신경망에 기초하여 상기 무인기의 자세를 제어하는 단계,
    를 포함하되,
    상기 딥 러닝 신경망을 형성하는 단계는
    상기 무인기가 상기 위치 제어 모듈과 연동하여 정상적으로 호버링하는 상태에서 획득된 상기 현재 자세 및 상기 목표치에 기초하여 상기 딥 러닝 신경망의 학습을 수행하는 것인, 딥 러닝을 이용한 무인기 비행 제어 방법.
  2. 제1항에 있어서,
    상기 딥 러닝 신경망을 형성하는 단계는
    상기 정상적으로 호버링하는 상태에서 획득된 상기 현재 자세를 상기 딥 러닝 신경망의 입력으로 설정하고,
    상기 정상적으로 호버링하는 상태에서 획득된 상기 목표치를 상기 딥 러닝 신경망의 출력으로 설정함으로써 상기 학습을 수행하는 것인, 딥 러닝을 이용한 무인기 비행 제어 방법.
  3. 제2항에 있어서,
    상기 무인기의 자세를 제어하는 단계는
    상기 위치 제어 모듈이 비정상적으로 작동하는 경우, 상기 자세 예측 모듈로부터 출력된 현재 자세 및 상기 현재 자세에 대응하여 학습된 딥 러닝 신경망의 목표치 출력에 기초하여 상기 무인기가 호버링 자세를 취하도록 제어하는 것인, 딥 러닝을 이용한 무인기 비행 제어 방법.
  4. 제3항에 있어서,
    상기 무인기의 자세를 제어하는 단계는
    상기 위치 제어 모듈이 정상적으로 작동하는 경우, 확장칼만필터(Extended Kalman Filter)에 기초하여 예측된 상기 무인기의 현재 위치 및 상기 현재 자세를 이용하여 상기 자세를 제어하고,
    상기 위치 제어 모듈이 비정상적으로 작동하는 경우, 상기 확장칼만필터에 기초하여 예측된 상기 현재 자세를 이용하여 상기 자세를 제어하는 것인, 딥 러닝을 이용한 무인기 비행 제어 방법.
  5. 제1항에 있어서
    상기 딥 러닝 신경망을 형성하는 단계는
    제1 시간에서 획득된 현재 자세와 상기 제1 시간 이전의 제2 시간에서 획득된 목표치에 기초하여, 상기 딥 러닝 신경망의 출력으로서 상기 제1 시간에서의 목표치를 산출하는 것인, 딥 러닝을 이용한 무인기 비행 제어 방법.
  6. 제5항에 있어서,
    상기 딥 러닝 신경망을 형성하는 단계는
    상기 제1 시간에서 획득된 현재 자세와 상기 제2 시간에서 획득된 목표치 각각에 대한 가중치 및 활성 함수(activation function)에 기초하여, 상기 제1 시간에서의 목표치를 산출하는 것인, 딥 러닝을 이용한 무인기 비행 제어 방법.
  7. 제6항에 있어서,
    상기 딥 러닝 신경망을 형성하는 단계는
    비용 함수(cost function)를 이용하여 계산된 상기 딥 러닝 신경망의 출력 에러에 기초하여 상기 가중치를 갱신하는 단계,
    를 포함하는 것인, 딥 러닝을 이용한 무인기 비행 제어 방법.
  8. 제7항에 있어서,
    상기 가중치를 갱신하는 단계는
    상기 출력 에러가 최소화되도록 경사 하강법(gradient descent)에 기초하여 상기 가중치를 갱신하는 것인, 딥 러닝을 이용한 무인기 비행 제어 방법.
  9. 무인기의 현재 자세를 산출하는 자세 예측 모듈;
    상기 무인기의 목표 자세 및 목표 추력의 크기를 포함한 목표치를 산출하는 위치 제어 모듈;
    상기 현재 자세 및 상기 목표치에 기초하여 딥 러닝 신경망을 형성하는 딥 러닝 신경망 생성 모듈; 및
    상기 딥 러닝 신경망에 기초하여 상기 무인기의 자세를 제어하는 자세 제어 모듈,
    을 포함하되,
    상기 딥 러닝 신경망 생성 모듈은
    상기 무인기가 상기 위치 제어 모듈과 연동하여 정상적으로 호버링하는 상태에서 획득된 상기 현재 자세 및 상기 목표치에 기초하여 상기 딥 러닝 신경망의 학습을 수행하는 것인, 딥 러닝을 이용한 무인기 비행 제어 시스템.
  10. 제9항에 있어서,
    상기 딥 러닝 신경망 생성 모듈은
    상기 정상적으로 호버링하는 상태에서 획득된 상기 현재 자세를 상기 딥 러닝 신경망의 입력으로 설정하고,
    상기 정상적으로 호버링하는 상태에서 획득된 상기 목표치를 상기 딥 러닝 신경망의 출력으로 설정함으로써 상기 학습을 수행하는 것인, 딥 러닝을 이용한 무인기 비행 제어 시스템.
  11. 제10항에 있어서,
    상기 자세 제어 모듈은
    상기 위치 제어 모듈이 비정상적으로 작동하는 경우, 상기 자세 예측 모듈로부터 출력된 현재 자세 및 상기 현재 자세에 대응하여 학습된 딥 러닝 신경망의 목표치 출력에 기초하여 상기 무인기가 호버링 자세를 취하도록 제어하는 것인, 딥 러닝을 이용한 무인기 비행 제어 시스템.
  12. 제11항에 있어서,
    상기 자세 제어 모듈은
    상기 위치 제어 모듈이 정상적으로 작동하는 경우, 확장칼만필터(Extended Kalman Filter)에 기초하여 예측된 상기 무인기의 현재 위치 및 상기 현재 자세를 이용하여 상기 자세를 제어하고,
    상기 위치 제어 모듈이 비정상적으로 작동하는 경우, 상기 확장칼만필터에 기초하여 예측된 상기 현재 자세를 이용하여 상기 자세를 제어하는 것인, 딥 러닝을 이용한 무인기 비행 제어 시스템.
  13. 제9항에 있어서
    상기 딥 러닝 신경망 생성 모듈은
    제1 시간에서 획득된 현재 자세와 상기 제1 시간 이전의 제2 시간에서 획득된 목표치에 기초하여, 상기 딥 러닝 신경망의 출력으로서 제1 시간에서의 목표치를 산출하는 것인, 딥 러닝을 이용한 무인기 비행 제어 시스템.
  14. 제13항에 있어서
    상기 딥 러닝 신경망 생성 모듈은
    상기 제1 시간에서 획득된 현재 자세와 상기 제2 시간에서 획득된 목표치 각각에 대한 가중치 및 활성 함수(activation function)에 기초하여, 상기 제1 시간에서의 목표치를 산출하는 것인, 딥 러닝을 이용한 무인기 비행 제어 시스템.
  15. 제14항에 있어서,
    상기 딥 러닝 신경망 생성 모듈은
    비용 함수(cost function)를 이용하여 계산된 상기 딥 러닝 신경망의 출력 에러에 기초하여 상기 가중치를 갱신하는 것인, 딥 러닝을 이용한 무인기 비행 제어 시스템.
  16. 제15항에 있어서,
    상기 딥 러닝 신경망 생성 모듈은
    상기 출력 에러가 최소화되도록 경사 하강법(gradient descent)에 기초하여 상기 가중치를 갱신하는 것인, 딥 러닝을 이용한 무인기 비행 제어 시스템.
  17. 제1항 내지 제8항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록매체.
KR1020150183932A 2015-12-22 2015-12-22 딥 러닝을 이용한 무인기 비행 제어 시스템 및 방법 KR101813697B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150183932A KR101813697B1 (ko) 2015-12-22 2015-12-22 딥 러닝을 이용한 무인기 비행 제어 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150183932A KR101813697B1 (ko) 2015-12-22 2015-12-22 딥 러닝을 이용한 무인기 비행 제어 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20170074539A true KR20170074539A (ko) 2017-06-30
KR101813697B1 KR101813697B1 (ko) 2017-12-29

Family

ID=59279485

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150183932A KR101813697B1 (ko) 2015-12-22 2015-12-22 딥 러닝을 이용한 무인기 비행 제어 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101813697B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108216233A (zh) * 2017-12-28 2018-06-29 北京经纬恒润科技有限公司 一种自适应巡航系统控制参数的标定方法及装置
KR20190054641A (ko) * 2017-11-14 2019-05-22 주식회사 셈웨어 인공지능 기반의 드론의 동역학 모델링 생성 방법
KR20190072900A (ko) * 2017-12-18 2019-06-26 한밭대학교 산학협력단 딥러닝을 이용한 무선 측위 장치 및 방법
CN110806756A (zh) * 2019-09-10 2020-02-18 西北工业大学 基于ddpg的无人机自主引导控制方法
CN110879602A (zh) * 2019-12-06 2020-03-13 安阳全丰航空植保科技股份有限公司 基于深度学习的无人机控制律参数调节方法及系统
US20200301446A1 (en) * 2019-02-25 2020-09-24 Aero Knowhow Limited Tilt-Wing Aircraft
CN114684293A (zh) * 2020-12-28 2022-07-01 成都启源西普科技有限公司 一种机器人行走仿真算法
KR20230027603A (ko) * 2021-08-19 2023-02-28 한국로봇융합연구원 각속도계와 가속도계 출력 정보로부터 장치의 자세를 추정하는 깊은 신경망 모델의 입력데이터를 구조화하기 위한 장치 및 이를 위한 방법
US11748593B2 (en) 2018-12-05 2023-09-05 Hyundai Motor Company Sensor fusion target prediction device and method for vehicles and vehicle including the device
CN116880538A (zh) * 2023-09-06 2023-10-13 杭州牧星科技有限公司 高亚音速无人机大机动飞行控制系统及其方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101981624B1 (ko) * 2018-10-16 2019-05-23 엘아이지넥스원 주식회사 빅데이터 기반 인공지능 기술을 이용한 저피탐 표적 탐지 장치 및 그 방법
CN110488861B (zh) * 2019-07-30 2020-08-28 北京邮电大学 基于深度强化学习的无人机轨迹优化方法、装置和无人机
KR102309042B1 (ko) * 2019-10-01 2021-10-05 주식회사 엘지유플러스 무인 비행 장치 및 이의 동작 방법
KR102194238B1 (ko) 2020-06-24 2020-12-22 국방과학연구소 실시간 항공기 안정성 상실 위험 예측 시스템 및 예측 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4644522B2 (ja) * 2005-05-06 2011-03-02 国立大学法人 千葉大学 小型無人ヘリコプタの自律飛行制御装置及び自律飛行制御方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190054641A (ko) * 2017-11-14 2019-05-22 주식회사 셈웨어 인공지능 기반의 드론의 동역학 모델링 생성 방법
KR20190072900A (ko) * 2017-12-18 2019-06-26 한밭대학교 산학협력단 딥러닝을 이용한 무선 측위 장치 및 방법
CN108216233A (zh) * 2017-12-28 2018-06-29 北京经纬恒润科技有限公司 一种自适应巡航系统控制参数的标定方法及装置
CN108216233B (zh) * 2017-12-28 2019-10-15 北京经纬恒润科技有限公司 一种自适应巡航系统控制参数的标定方法及装置
US11748593B2 (en) 2018-12-05 2023-09-05 Hyundai Motor Company Sensor fusion target prediction device and method for vehicles and vehicle including the device
US20200301446A1 (en) * 2019-02-25 2020-09-24 Aero Knowhow Limited Tilt-Wing Aircraft
CN110806756B (zh) * 2019-09-10 2022-08-02 西北工业大学 基于ddpg的无人机自主引导控制方法
CN110806756A (zh) * 2019-09-10 2020-02-18 西北工业大学 基于ddpg的无人机自主引导控制方法
CN110879602A (zh) * 2019-12-06 2020-03-13 安阳全丰航空植保科技股份有限公司 基于深度学习的无人机控制律参数调节方法及系统
CN114684293A (zh) * 2020-12-28 2022-07-01 成都启源西普科技有限公司 一种机器人行走仿真算法
KR20230027603A (ko) * 2021-08-19 2023-02-28 한국로봇융합연구원 각속도계와 가속도계 출력 정보로부터 장치의 자세를 추정하는 깊은 신경망 모델의 입력데이터를 구조화하기 위한 장치 및 이를 위한 방법
CN116880538A (zh) * 2023-09-06 2023-10-13 杭州牧星科技有限公司 高亚音速无人机大机动飞行控制系统及其方法
CN116880538B (zh) * 2023-09-06 2024-01-09 杭州牧星科技有限公司 高亚音速无人机大机动飞行控制系统及其方法

Also Published As

Publication number Publication date
KR101813697B1 (ko) 2017-12-29

Similar Documents

Publication Publication Date Title
KR101813697B1 (ko) 딥 러닝을 이용한 무인기 비행 제어 시스템 및 방법
JP6739463B2 (ja) 回転翼型小型飛行体（ｍａｖ）での屋内環境及び屋外環境における安定自律飛行のためのマルチセンサの融合
Shen et al. Multi-sensor fusion for robust autonomous flight in indoor and outdoor environments with a rotorcraft MAV
EP3158293B1 (en) Sensor fusion using inertial and image sensors
EP3158417B1 (en) Sensor fusion using inertial and image sensors
US11693373B2 (en) Systems and methods for robust learning-based control during forward and landing flight under uncertain conditions
EP3158411B1 (en) Sensor fusion using inertial and image sensors
CN108919640B (zh) 无人机自适应多目标跟踪的实现方法
Al-Sharman et al. Precision landing using an adaptive fuzzy multi-sensor data fusion architecture
WO2016187760A1 (en) Sensor fusion using inertial and image sensors
JP6884685B2 (ja) 制御装置、無人システム、制御方法及びプログラム
Ludington et al. Augmenting UAV autonomy
US8346408B2 (en) Fault tolerant flight control system
Chambers et al. Robust multi-sensor fusion for micro aerial vehicle navigation in GPS-degraded/denied environments
Raja et al. PFIN: An efficient particle filter-based indoor navigation framework for UAVs
JP2007317165A (ja) 自律移動ロボットの動作計画方法、自律移動ロボットの動作計画方法を利用した自律移動ロボットの制御方法、自律移動ロボットの動作計画装置、自律移動ロボットの動作計画プログラム及びその記録媒体、自律移動ロボットの制御プログラム
CN111624875A (zh) 视觉伺服控制方法、装置和无人设备
Elisha et al. Active online visual-inertial navigation and sensor calibration via belief space planning and factor graph based incremental smoothing
Watanabe et al. Optimal 3-D guidance from a 2-D vision sensor
Lee et al. Autopilot design for unmanned combat aerial vehicles (UCAVs) via learning-based approach
CN113692560A (zh) 可移动平台的控制方法、装置、可移动平台及存储介质
JP2020107013A (ja) 最適経路生成システム
CN118011826A (en) Unmanned plane control strategy security verification and correction method and system
Cannon et al. Non-Redundant Sensor Fault Detection for Autonomous Rotorcraft using an Improved Dynamic Model
Brooks et al. Toward indoor autonomous flight using a multi-rotor vehicle

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant