KR20230150057A

KR20230150057A - 무인 항공기용 뉴럴 네트워크 시스템, 이를 포함하는 무인 항공기 제어 시스템 및 이를 이용한 무인 항공기 제어 방법

Info

Publication number: KR20230150057A
Application number: KR1020220049538A
Authority: KR
Inventors: 방효충; 심태민; Awais Arshad Muhammad; Marin Mikael
Original assignee: 한국과학기술원
Priority date: 2022-04-21
Filing date: 2022-04-21
Publication date: 2023-10-30

Abstract

무인 항공기용 뉴럴 네트워크 시스템은 제1 모델 및 제2 모델을 포함한다. 상기 제1 모델은 센서 유닛의 센싱 데이터 및 사용자 커맨드를 기초로 무인 항공기의 경로를 제어하기 위한 수학적 예측 신호를 생성한다. 상기 제2 모델은 상기 센서 유닛의 상기 센싱 데이터, 상기 사용자 커맨드, 상기 무인 항공기의 플랜트 출력 신호, 상기 무인 항공기의 상태 신호 및 상기 수학적 예측 신호를 기초로 상기 무인 항공기의 경로를 제어하기 위한 신경망 예측 신호를 생성한다. 상기 뉴럴 네트워크 시스템은 상기 수학적 예측 신호 및 상기 신경망 예측 신호 중 하나를 선택하여 동작 예측 출력 신호를 생성한다.

Description

무인 항공기용 뉴럴 네트워크 시스템, 이를 포함하는 무인 항공기 제어 시스템 및 이를 이용한 무인 항공기 제어 방법 {NEURAL NETWORK SYSTEM FOR UNMANNED AERIAL VEHICLE, SYSTEM OF CONTROLLING UNMANNED AERIAL VEHICLE INCLUDING THE SAME AND METHOD OF CONTROLLING UNMANNED AERIAL VEHICLE USING THE SAME}

본 발명은 무인 항공기용 뉴럴 네트워크 시스템, 이를 포함하는 무인 항공기 제어 시스템 및 이를 이용한 무인 항공기 제어 방법에 관한 것으로, 더욱 상세하게는 무인 항공기의 고장 검출, 분리, 수용 및 비상 상황 대응에 활용되는 무인 항공기용 뉴럴 네트워크 시스템, 이를 포함하는 무인 항공기 제어 시스템 및 이를 이용한 무인 항공기 제어 방법에 관한 것이다.

무인 항공기의 비행 중에 EMI(electromagnetic interference)와 관련된 신뢰성 문제가 발생하거나, 적의 공격이 발생하거나, 고장이 발생하는 등의 문제로 무인 항공기가 추락하거나 파손될 수 있다.

발명이 이루고자 하는 목적은 무인 항공기의 고장 검출, 분리, 수용 및 비상 상황 대응에 활용되는 무인 항공기용 뉴럴 네트워크 시스템을 제공하는 것이다.

본 발명이 이루고자 하는 다른 목적은 상기 뉴럴 네트워크 시스템을 포함하는 무인 항공기 제어 시스템을 제공하는 것이다.

본 발명이 이루고자 하는 다른 목적은 상기 무인 항공기 제어 시스템을 이용한 이용한 무인 항공기 제어 방법을 제공하는 것이다.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 무인 항공기용 뉴럴 네트워크 시스템은 제1 모델 및 제2 모델을 포함한다. 상기 제1 모델은 센서 유닛의 센싱 데이터 및 사용자 커맨드를 기초로 무인 항공기의 경로를 제어하기 위한 수학적 예측 신호를 생성한다. 상기 제2 모델은 상기 센서 유닛의 상기 센싱 데이터, 상기 사용자 커맨드, 상기 무인 항공기의 플랜트 출력 신호, 상기 무인 항공기의 상태 신호 및 상기 수학적 예측 신호를 기초로 상기 무인 항공기의 경로를 제어하기 위한 신경망 예측 신호를 생성한다. 상기 뉴럴 네트워크 시스템은 상기 수학적 예측 신호 및 상기 신경망 예측 신호 중 하나를 선택하여 동작 예측 출력 신호를 생성한다.

본 발명의 일 실시예에 있어서, 상기 무인 항공기용 뉴럴 네트워크 시스템은 복수의 상기 제2 모델들을 포함할 수 있다. 상기 제2 모델의 개수는 상기 무인 항공기의 모터의 개수에 대응할 수 있다.

본 발명의 일 실시예에 있어서, 상기 제1 모델은 비행 전에 오프라인 학습을 수행할 수 있다. 상기 제2 모델은 비행 중에 온라인 학습을 수행할 수 있다.

본 발명의 일 실시예에 있어서, 상기 수학적 예측 신호 및 상기 신경망 예측 신호의 차이가 임계값보다 작거나 같은 경우, 상기 신경망 예측 신호를 상기 동작 예측 출력 신호로 선택할 수 있다. 상기 수학적 예측 신호 및 상기 신경망 예측 신호의 차이가 상기 임계값보다 큰 경우, 상기 수학적 예측 신호를 상기 동작 예측 출력 신호로 선택할 수 있다.

본 발명의 일 실시예에 있어서, 상기 뉴럴 네트워크 시스템은 상기 수학적 예측 신호 및 상기 신경망 예측 신호 중 어느 하나를 선택하기 위한 선택 신호를 생성하는 레지듀얼 프로세싱 블록을 더 포함할 수 있다.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 무인 항공기 제어 시스템은 리던던시 아키텍처, 뉴럴 네트워크 아키텍처 및 출력 생성부를 포함한다. 상기 리던던시 아키텍처는 무인 항공기를 제어하기 위한 플랜트 출력 신호 및 상기 무인 항공기의 상태를 나타내는 상태 신호를 생성한다. 상기 뉴럴 네트워크 아키텍처는 뉴럴 네트워크를 이용하여, 상기 리던던시 아키텍처가 정상적으로 동작할 수 없는 경우에 상기 무인 항공기를 제어하기 위한 동작 예측 출력 신호를 생성한다. 상기 출력 생성부는 상기 플랜트 출력 신호, 상기 동작 예측 출력 신호 및 상기 상태 신호를 기초로 상기 무인 항공기를 제어하는 최종 출력 신호를 생성한다.

본 발명의 일 실시예에 있어서, 상기 리던던시 아키텍처는 동일한 기능을 수행할 수 있는 복수의 센서 유닛들을 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 센서 유닛들은 위성 항법 시스템 또는 관성 항법 장치를 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 리던던시 아키텍처는 상기 플랜트 출력 신호 및 상기 상태 신호를 상기 출력 생성부에 출력하는 제1 비행 제어부 및 상기 제1 비행 제어부에 오류가 발생하는 경우, 상기 제1 비행 제어부를 대체하여 상기 플랜트 출력 신호 및 상기 상태 신호를 상기 출력 생성부에 출력하는 제2 비행부를 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 리던던시 아키텍처는 지상에 있는 사용자와 신호를 주고 받는 제1 텔레메트리 텔레커맨드 모듈 및 상기 제1 텔레메트리 텔레커맨드 모듈에 오류가 발생하는 경우, 상기 제1 텔레메트리 텔레커맨드 모듈을 대체하여 상기 지상에 있는 상기 사용자와 상기 신호를 주고 받는 제2 텔레메트리 텔레커맨드 모듈을 더 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 제1 비행 제어부 및 상기 제2 비행 제어부는 핫 스탠바이 방식으로 동작할 수 있다. 상기 제1 텔레메트리 텔레커맨드 모듈 및 상기 제2 텔레메트리 텔레커맨드 모듈은 콜드 스탠바이 방식으로 동작할 수 있다.

본 발명의 일 실시예에 있어서, 상기 리던던시 아키텍처는, 동일한 기능을 수행할 수 있는 복수의 버스를 포함할 수 있다

본 발명의 일 실시예에 있어서, 상기 상태 신호는 상기 무인 항공기의 복수의 모터들이 각각 정상 상태인지 비정상 상태인지 나타낼 수 있다. 상기 상태 신호는 상기 무인 항공기 제어 시스템의 복수의 센서 유닛들이 각각 정상 상태인지 비정상 상태인지 나타낼 수 있다.

본 발명의 일 실시예에 있어서, 상기 제1 비행 제어부는 복수의 센서 유닛들로부터 센싱 데이터들을 수신하고, 상기 센싱 데이터들 중 하나를 선택하여 최종 센싱 데이터를 생성하는 보터 및 상기 최종 센싱 데이터 및 사용자 커맨드를 기초로 상기 플랜트 출력 신호를 생성하는 커맨드 생성부를 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 무인 항공기 제어 시스템은 복수의 뉴럴 네트워크 아키텍처들을 포함할 수 있다. 상기 뉴럴 네트워크 아키텍처들은 서로 다른 비정상 모드에 대응할 수 있다.

본 발명의 일 실시예에 있어서, 상기 뉴럴 네트워크 아키텍처는 상기 무인 항공기의 경로를 제어하기 위한 수학적 예측 신호를 생성하는 수학적 모델 및 상기 무인 항공기의 경로를 제어하기 위한 신경망 예측 신호를 생성하는 딥 뉴럴 네트워크 모델을 포함할 수 있다. 상기 뉴럴 네트워크 아키텍처는 상기 수학적 예측 신호 및 상기 신경망 예측 신호 중 하나를 선택하여 동작 예측 출력 신호를 생성할 수 있다.

본 발명의 일 실시예에 있어서, 상기 수학적 모델은 센서 유닛의 센싱 데이터 및 사용자 커맨드를 기초로 상기 수학적 예측 신호를 생성할 수 있다. 상기 딥 뉴럴 네트워크 모델은 상기 센서 유닛의 상기 센싱 데이터, 상기 사용자 커맨드, 상기 플랜트 출력 신호, 상기 상태 신호 및 상기 수학적 예측 신호를 기초로 상기 신경망 예측 신호를 생성할 수 있다.

본 발명의 일 실시예에 있어서, 상기 수학적 모델은 비행 전에 오프라인 학습을 수행할 수 있다. 상기 딥 뉴럴 네트워크 모델은 비행 중에 온라인 학습을 수행할 수 있다.

본 발명의 일 실시예에 있어서, 상기 뉴럴 네트워크 아키텍처는 상기 수학적 예측 신호 및 상기 신경망 예측 신호의 차이가 임계값보다 작거나 같은 경우, 상기 신경망 예측 신호를 상기 동작 예측 출력 신호로 선택할 수 있다. 상기 뉴럴 네트워크 아키텍처는 상기 수학적 예측 신호 및 상기 신경망 예측 신호의 차이가 상기 임계값보다 큰 경우, 상기 수학적 예측 신호를 상기 동작 예측 출력 신호로 선택할 수 있다.

본 발명의 일 실시예에 있어서, 상기 뉴럴 네트워크 아키텍처는 상기 수학적 예측 신호 및 상기 신경망 예측 신호 중 어느 하나를 선택하기 위한 선택 신호를 생성하는 레지듀얼 프로세싱 블록을 더 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 리던던시 아키텍처가 정상적으로 동작하는 경우, 상기 출력 생성부는 상기 리던던시 아키텍처로부터 수신한 상기 플랜트 출력 신호를 상기 최종 출력 신호로 출력할 수 있다. 상기 리던던시 아키텍처가 정상적으로 동작하지 않는 경우, 상기 출력 생성부는 상기 뉴럴 네트워크 아키텍처로부터 수신한 상기 동작 예측 출력 신호를 상기 최종 출력 신호로 출력할 수 있다.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 무인 항공기 제어 방법은 리던던시 아키텍처를 이용하여, 무인 항공기를 제어하기 위한 플랜트 출력 신호 및 상기 무인 항공기의 상태를 나타내는 상태 신호를 생성하는 단계, 뉴럴 네트워크 아키텍처를 이용하여, 상기 리던던시 아키텍처가 정상적으로 동작할 수 없는 경우에 상기 무인 항공기를 제어하기 위한 동작 예측 출력 신호를 생성하는 단계, 상기 리던던시 아키텍처가 정상적으로 동작하는 경우, 상기 플랜트 출력 신호를 최종 출력 신호로 출력하는 단계 및 상기 리던던시 아키텍처가 정상적으로 동작하지 않는 경우, 상기 뉴럴 네트워크 아키텍처로부터 수신한 상기 동작 예측 출력 신호를 상기 최종 출력 신호로 출력하는 단계를 포함한다.

본 발명에 따른 무인 항공기용 뉴럴 네트워크 시스템, 이를 포함하는 무인 항공기 제어 시스템 및 이를 이용한 무인 항공기 제어 방법에 따르면, 상기 무인 항공기 제어 시스템은 각 장치가 하드웨어 장애 또는 소프트웨어 오류의 대상이 될 수 있는 완전 리던던트 네트워크 토폴로지를 생성하여, 무인 항공기의 비행 중에 EMI(electromagnetic interference)와 관련된 신뢰성 문제가 발생하거나, 적의 공격이 발생하거나, 고장이 발생하는 등의 문제로 무인 항공기가 추락하거나 파손되는 문제를 해결할 수 있다.

상기 완전 리던던트 네트워크 토폴로지는 물리적으로 중복되는 내결함성 하드웨어, 소프트웨어 및 네트워크 버스를 활용할 수 있고, EMI(electromagnetic interference)와 관련된 신뢰성 문제, 적의 공격, 고장의 발생에도 불구하고, 무인 항공기가 정상적으로 컨트롤되게 할 수 있다.

또한, 상기 무인 항공기 제어 시스템은 무인 항공기의 비상 상황 대응 및 착륙을 위한 뉴럴 네트워크 시스템을 포함하므로, 리던던시 아키텍처의 정상 동작이 불가능한 경우에 상기 무인 항공기의 비상 상황 대응 및 착륙을 안전하게 수행할 수 있다.

도 1은 본 발명의 일 실시예에 따른 무인 항공기 제어 시스템을 나타내는 블록도이다.
도 2는 도 1의 리던던시 아키텍처를 나타내는 개념도이다.
도 3은 도 2의 제1 비행 제어부를 나타내는 블록도이다.
도 4는 도 1의 제1 뉴럴 네트워크 아키텍처를 나타내는 블록도이다.
도 5는 도 1의 제2 뉴럴 네트워크 아키텍처를 나타내는 블록도이다.
도 6은 도 1의 출력 생성부를 나타내는 블록도이다.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 무인 항공기 제어 시스템을 나타내는 블록도이다.

도 1을 참조하면, 무인 항공기 제어 시스템은 리던던시(redundancy) 아키텍처(100), 제1 뉴럴 네트워크(neural network) 아키텍처(200A), 제2 뉴럴 네트워크 아키텍처(200B) 및 출력 생성부(300)를 포함할 수 있다.

상기 무인 항공기 제어 시스템은 무인 항공기 내에 배치되어 상기 무인 항공기를 제어할 수 있다.

상기 리던던시 아키텍처(100)는 센서 유닛, 비행 제어부 및 텔레메트리 텔레커맨드(telemetry and telecommand) 모듈 등을 복수 개 포함하므로 EMI(electromagnetic interference)와 관련된 신뢰성 문제, 적의 공격, 고장의 발생에 대비할 수 있다.

상기 리던던시 아키텍처(100)는 상기 무인 항공기의 모터를 제어하기 위한 플랜트 출력 신호(Y1OP, Y2OP, ..., YMOP)를 생성하여 상기 출력 생성부(300)에 출력할 수 있다.

상기 무인 항공기의 모터가 M개인 경우, 상기 플랜트 출력 신호(Y1OP, Y2OP, ..., YMOP)는 M개일 수 있다. 예를 들어, 상기 무인 항공기의 모터가 4개인 경우, 상기 플랜트 출력 신호는 4개일 수 있다.

또한, 상기 리던던시 아키텍처(100)는 상기 무인 항공기의 상태를 나타내는 상태 신호(PS)를 상기 출력 생성부(300)에 출력할 수 있다.

예를 들어, 상기 상태 신호(PS)는 상기 무인 항공기의 모터들이 각각 정상 상태인지 비정상 상태인지를 나타낼 수 있다. 또한, 상기 상태 신호(PS)는 상기 무인 항공기 제어 시스템의 상기 센서 유닛들이 각각 정상 상태인지 비정상 상태인지를 나타낼 수 있다.

뉴럴 네트워크 아키텍처(200A, 200B)는 상기 리던던시 아키텍처(100)가 정상적으로 동작할 수 없는 경우에 동작할 수 있다. 상기 무인 항공기 제어 시스템은 복수 개의 뉴럴 네트워크 아키텍처를 포함할 수 있다. 예를 들어, 무인 항공기 제어 시스템은 제1 뉴럴 네트워크 아키텍처(200A) 및 제2 뉴럴 네트워크 아키텍처(200B)를 포함할 수 있다. 도 1에서는 2개의 뉴럴 네트워크 아키텍처를 도시하였으나, 본 발명은 뉴럴 네트워크 아키텍처의 개수에 한정되지는 않는다.

예를 들어, 각각의 뉴럴 네트워크 아키텍처(200A, 200B)는 각각의 비정상 모드에 대응할 수 있다. 예를 들어, 상기 제1 뉴럴 네트워크 아키텍처(200A)는 제1 비정상 모드에 대응할 수 있고, 상기 제2 뉴럴 네트워크 아키텍처(200B)는 제2 비정상 모드에 대응할 수 있다. 각각의 비정상 모드는 오류의 종류 및 해당 오류에 따른 무인 항공기의 동작을 정의할 수 있다. 예를 들어, 상기 비정상 모드의 종류에 따라 상기 무인 항공기는 정상 동작을 복구하도록 동작할 수도 있고, 긴급 착륙을 시도할 수도 있다.

이와 같이, 상기 뉴럴 네트워크 아키텍처의 개수는 상기 무인 항공기 제어 시스템 내에서 정의되는 비정상 모드의 개수에 대응할 수 있다.

상기 제1 뉴럴 네트워크 아키텍처(200A)는 상기 무인 항공기의 모터를 제어하기 위한 제1 그룹 동작 예측 출력 신호(Y1OEA, Y2OEA, ..., YMOEA)를 생성하여 상기 출력 생성부(300)에 출력할 수 있다. 제1 그룹 동작 예측 출력 신호(Y1OEA, Y2OEA, ..., YMOEA)는 상기 제1 뉴럴 네트워크 아키텍처(200A)에 의해 상기 무인 항공기의 움직임을 예측하여 생성된 신호일 수 있다.

상기 무인 항공기의 모터가 M개인 경우, 상기 제1 그룹 동작 예측 출력 신호(Y1OEA, Y2OEA, ..., YMOEA)는 M개일 수 있다.

상기 제2 뉴럴 네트워크 아키텍처(200B)는 상기 무인 항공기의 모터를 제어하기 위한 제2 그룹 동작 예측 출력 신호(Y1OEB, Y2OEB, ..., YMOEB)를 생성하여 상기 출력 생성부(300)에 출력할 수 있다. 제2 그룹 동작 예측 출력 신호(Y1OEB, Y2OEB, ..., YMOEB)는 상기 제2 뉴럴 네트워크 아키텍처(200B)에 의해 상기 무인 항공기의 움직임을 예측하여 생성된 신호일 수 있다.

상기 무인 항공기의 모터가 M개인 경우, 상기 제2 그룹 동작 예측 출력 신호(Y1OEB, Y2OEB, ..., YMOEB)는 M개일 수 있다.

상기 출력 생성부(300)는 상기 리던던시 아키텍처(100)로부터 상기 플랜트 출력 신호(Y1OP, Y2OP, ..., YMOP) 및 상기 상태 신호(PS)를 수신할 수 있다. 또한, 상기 출력 생성부(300)는 상기 뉴럴 네트워크 아키텍처(200A, 200B)로부터 상기 동작 예측 출력 신호(Y1OEA, Y2OEA, ..., YMOEA, Y1OEB, Y2OEB, ..., YMOEB)를 수신할 수 있다.

상기 출력 생성부(300)는 상기 플랜트 출력 신호(Y1OP, Y2OP, ..., YMOP), 상기 동작 예측 출력 신호(Y1OEA, Y2OEA, ..., YMOEA, Y1OEB, Y2OEB, ..., YMOEB) 및 상기 상태 신호(PS)를 기초로 상기 무인 항공기의 모터를 제어하는 최종 출력 신호(Y1O, Y2O, ..., YMO)를 생성할 수 있다.

상기 무인 항공기의 모터가 M개인 경우, 상기 최종 출력 신호(Y1O, Y2O, ..., YMO)는 M개일 수 있다. 상기 최종 출력 신호(Y1O, Y2O, ..., YMO)는 상기 무인 항공기에 출력되어, 상기 무인 항공기의 모터를 제어할 수 있다.

도 2는 도 1의 리던던시 아키텍처(100)를 나타내는 개념도이다. 도 3은 도 2의 제1 비행 제어부(140)를 나타내는 블록도이다.

도 1 내지 도 3을 참조하면, 상기 리던던시 아키텍처(100)는 복수의 센서 유닛(110, 120, 130), 복수의 비행 제어부(140, 150) 및 복수의 텔레메트리 텔레커맨드(telemetry and telecommand) 모듈(160, 170)을 포함할 수 있다.

예를 들어, 상기 리던던시 아키텍처(100)는 제1 센서 유닛(110), 제2 센서 유닛(120) 및 제3 센서 유닛(130)의 3개의 센서 유닛을 포함할 수 있다. 상기 센서 유닛들(110, 120, 130)은 동일한 기능을 수행할 수 있다. 여기서 상기 센서 유닛들(110, 120, 130)은 항법 센서 유닛일 수 있다. 예를 들어, 상기 센서 유닛들(110, 120, 130)은 위성 항법 시스템(global positioning system, GPS)을 포함할 수 있다. 예를 들어, 상기 센서 유닛들(110, 120, 130)은 관성 항법 장치(inertial navigation system, INS)을 포함할 수 있다. 예를 들어, 상기 센서 유닛들(110, 120, 130)은 상기 무인 항공기 내에 배치되며, 상기 무인 항공기의 가속도, 속도, 자세 및 각속도 등을 판단할 수 있다.

상기 제1 센서 유닛(110), 상기 제2 센서 유닛(120) 및 상기 제3 센서 유닛(130) 중 상기 제1 센서 유닛(110)에 이상이 생긴 경우, 상기 제2 센서 유닛(120) 및 상기 제3 센서 유닛(130)을 이용하여 상기 무인 항공기의 가속도, 속도, 자세 및 각속도 등을 판단할 수 있다.

상기 제1 센서 유닛(110), 상기 제2 센서 유닛(120) 및 상기 제3 센서 유닛(130) 중 상기 제2 센서 유닛(120)에 이상이 생긴 경우, 상기 제1 센서 유닛(110) 및 상기 제3 센서 유닛(130)을 이용하여 상기 무인 항공기의 가속도, 속도, 자세 및 각속도 등을 판단할 수 있다.

상기 제1 센서 유닛(110), 상기 제2 센서 유닛(120) 및 상기 제3 센서 유닛(130) 중 상기 제3 센서 유닛(130)에 이상이 생긴 경우, 상기 제1 센서 유닛(110) 및 상기 제2 센서 유닛(120)을 이용하여 상기 무인 항공기의 가속도, 속도, 자세 및 각속도 등을 판단할 수 있다.

상기 제1 센서 유닛(110), 상기 제2 센서 유닛(120) 및 상기 제3 센서 유닛(130) 중 2개의 센서 유닛에 이상이 생긴 경우, 나머지 하나의 센서 유닛을 이용하여 상기 무인 항공기의 가속도, 속도, 자세 및 각속도 등을 판단할 수 있다.

예를 들어, 상기 리던던시 아키텍처(100)는 제1 비행 제어부(140) 및 제2 비행 제어부(150)의 2개의 비행 제어부를 포함할 수 있다. 상기 제1 비행 제어부(140)는 마스터 비행 제어부일 수 있다. 상기 제2 비행 제어부(150)는 슬레이브 비행 제어부일 수 있다. 상기 제1 비행 제어부(140) 및 상기 제2 비행 제어부(150)는 핫 스탠바이(hot standby) 방식으로 동작할 수 있다. 상기 핫 스탠바이(hot standby) 방식에서는 상기 마스터 비행 제어부(140)와 상기 슬레이브 비행 제어부(150) 모두에 전원을 켜둔 상태에서 상기 마스터 비행 제어부(140)와 상기 슬레이브 비행 제어부(150) 모두를 동일한 상태로 운용할 수 있다. 상기 마스터 비행 제어부(140)에 문제가 발생하면, 상기 슬레이브 비행 제어부(150)가 즉시 상기 마스터 비행 제어부(140)를 대체할 수 있다.

상기 제1 비행 제어부(140) 및 상기 제2 비행 제어부(150)는 상기 플랜트 출력 신호(Y1OP, Y2OP, ..., YMOP) 및 상기 상태 신호(PS)를 상기 출력 생성부(300)에 출력할 수 있다.

예를 들어, 상기 리던던시 아키텍처(100)는 제1 텔레메트리 텔레커맨드 모듈(160) 및 제2 텔레메트리 텔레커맨드 모듈(170)의 2개의 텔레메트리 텔레커맨드 모듈을 포함할 수 있다. 상기 제1 텔레메트리 텔레커맨드 모듈(160)은 마스터 텔레메트리 텔레커맨드 모듈일 수 있다. 상기 제2 텔레메트리 텔레커맨드 모듈(170)은 슬레이브 텔레메트리 텔레커맨드 모듈일 수 있다. 상기 제1 텔레메트리 텔레커맨드 모듈(160) 및 상기 제2 텔레메트리 텔레커맨드 모듈(170)은 콜드 스탠바이(cold standby) 방식으로 동작할 수 있다. 상기 콜드 스탠바이(hot standby) 방식에서는 상기 마스터 텔레메트리 텔레커맨드 모듈(160)의 전원을 온하고, 상기 슬레이브 텔레메트리 텔레커맨드 모듈(170)의 전원을 오프할 수 있다. 상기 마스터 텔레메트리 텔레커맨드 모듈(160)에 문제가 발생하면, 상기 슬레이브 텔레메트리 텔레커맨드 모듈(170)의 전원을 온하고 연결을 활성화하여 상기 마스터 텔레메트리 텔레커맨드 모듈(160)을 대체할 수 있다.

상기 제1 텔레메트리 텔레커맨드 모듈(160) 및 상기 제2 텔레메트리 텔레커맨드 모듈(170)은 지상에 있는 사용자와 신호를 주고 받는 모듈일 수 있다.

상기 리던던시 아키텍처(100)는 중복적인 CAN (controller area network) 인터페이스를 포함할 수 있다. 상기 리던던시 아키텍처(100)는 버스를 포함할 수 있고, 상기 리던던시 아키텍처(100)의 상기 복수의 센서 유닛(110, 120, 130), 상기 복수의 비행 제어부(140, 150) 및 상기 복수의 텔레메트리 텔레커맨드(telemetry and telecommand) 모듈(160, 170)은 상기 버스를 통해 서로 연결될 수 있다. 상기 리던던시 아키텍처(100)는 동일한 기능을 수행할 수 있는 복수의 버스를 포함할 수 있다. 예를 들어, 상기 리던던시 아키텍처(100)는 2개의 버스를 포함할 수 있다.

상기 제1 비행 제어부(140)는 보터(voter, 142) 및 커맨드 생성부(144)를 포함할 수 있다.

상기 보터(142)는 상기 제1 센서 유닛(110)의 제1 센싱 데이터(S1), 상기 제2 센서 유닛(120)의 제2 센싱 데이터(S2) 및 상기 제3 센서 유닛(130)의 제3 센싱 데이터(S3)를 수신한다. 상기 보터(142)는 상기 제1 센싱 데이터(S1), 상기 제2 센싱 데이터(S2) 및 상기 제3 센싱 데이터(S3) 중 하나를 선택하여 최종 센싱 데이터(SD)를 생성할 수 있다. 상기 보터(142)는 상기 최종 센싱 데이터(SD)를 상기 커맨드 생성부(144)에 출력할 수 있다. 상기 보터(142)는 상기 제1 센서 유닛(110), 상기 제2 센서 유닛(120) 및 상기 제3 센서 유닛(130) 중 가장 상태가 좋은 센서의 센싱 데이터를 상기 최종 센싱 데이터(SD)로 생성할 수 있다.

상기 커맨드 생성부(144)는 상기 최종 센싱 데이터(SD) 및 사용자 커맨드(UC)를 수신할 수 있다. 상기 커맨드 생성부(144)는 상기 최종 센싱 데이터(SD) 및 상기 사용자 커맨드(UC)를 기초로 상기 무인 항공기의 모터를 제어하기 위한 상기 플랜트 출력 신호(Y1OP, Y2OP, ..., YMOP)를 생성할 수 있다.

도 3에서는 상기 제1 비행 제어부(140)의 구성만을 도시하였으며, 상기 제2 비행 제어부(150)는 상기 제1 비행 제어부(140)와 동일한 구성을 가질 수 있다.

도 4는 도 1의 제1 뉴럴 네트워크 아키텍처(200A)를 나타내는 블록도이다. 도 5는 도 1의 제2 뉴럴 네트워크 아키텍처(200B)를 나타내는 블록도이다.

도 1 내지 도 5를 참조하면, 상기 뉴럴 네트워크 아키텍처(200A, 200B)는 비상 상황에서 동작할 수 있다. 상기 리던던시 아키텍처(100)가 완전히 실패한 경우에 상기 뉴럴 네트워크 아키텍처(200A, 200B)가 동작할 수 있다. 상기 뉴럴 네트워크 아키텍처(200A, 200B)는 적절한 사양으로 상기 무인 항공기 제어 시스템이 동작할 수 있도록 센서의 상태를 기초로 모터 명령을 추정할 수 있다.

상기 뉴럴 네트워크 아키텍처(200A, 200B)의 목적은 재앙 상황으로부터 상기 무인 항공기 또는 상기 무인 항공기 제어 시스템을 안전하게 구하는 것이다.

상기 뉴럴 네트워크 아키텍처(200A, 200B)는 서로 다른 비정상 모드에 대응할 수 있다. 예를 들어, 상기 제1 뉴럴 네트워크 아키텍처(200A)는 상기 제1 비정상 모드에 대응할 수 있고, 상기 제2 뉴럴 네트워크 아키텍처(200B)는 상기 제2 비정상 모드에 대응할 수 있다.

상기 뉴럴 네트워크 아키텍처(200A, 200B)는 서로 다른 고유한 비정상 모드와 관련하여 온라인과 오프라인에서 스스로 학습하도록 구성될 수 있다.

상기 무인 항공기의 모터가 M개인 경우, 상기 무인 항공기 제어 시스템의 상기 최종 출력 신호(Y1O, Y2O, ..., YMO)는 M개일 수 있다.

상기 무인 항공기 제어 시스템의 상기 최종 출력 신호(Y1O, Y2O, ..., YMO)가 M개일 때, 각각의 상기 뉴럴 네트워크 아키텍처(200A, 200B)는 M개의 딥 뉴럴 네트워크 모델들(220A, 230A, ..., 240A, 220B, 230B, ..., 240B)을 포함할 수 있다.

비행 동작 전에, 상기 뉴럴 네트워크 아키텍처(200A, 200B)는 수학적 모델(210A, 210B)을 기초로 학습될 수 있다. 비행 중에 상기 뉴럴 네트워크 아키텍처(200A, 200B)는 상기 리던던시 아키텍처(100)로부터 출력되는 상기 플랜트 출력 신호(Y1OP, Y2OP, ..., YMOP)를 이용하여 온라인으로 학습할 수 있다.

도 4를 보면, 상기 제1 뉴럴 네트워크 아키텍처(200A)는 수학적 모델(UAV MODEL A, 210A), 제1 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL A1, 220A), 제2 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL A2, 230A) 및 제M 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL AM, 240A)을 포함할 수 있다.

상기 수학적 모델(UAV MODEL A, 210A)은 오프라인 학습을 수행할 수 있다. 상기 수학적 모델(UAV MODEL A, 210A)은 상기 최종 센싱 데이터(SD) 및 사용자 커맨드(UC)를 수신할 수 있다. 상기 수학적 모델(UAV MODEL A, 210A)은 상기 최종 센싱 데이터(SD) 및 사용자 커맨드(UC)를 기초로 수학적 예측 신호(Y1M, Y2M, ..., YMM)를 생성할 수 있다.

상기 제1 내지 제M 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL A1, DEEP NEURAL NETWORK MODEL A2, ..., DEEP NEURAL NETWORK MODEL AM, 220A, 230A, 240A)은 오프라인 학습 및 온라인 학습을 수행할 수 있다.

상기 제1 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL A1, 220A)은 상기 리던던시 아키텍처(100)로부터 제1 플랜트 출력 신호(Y1OP) 및 상기 상태 신호(PS)를 수신할 수 있다. 상기 제1 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL A1, 220A)은 상기 수학적 모델(UAV MODEL A, 210A)로부터 제1 수학적 예측 신호(Y1M)를 수신할 수 있다.

상기 제1 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL A1, 220A)은 상기 최종 센싱 데이터(SD) 및 사용자 커맨드(UC)를 수신할 수 있다. 상기 제1 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL A1, 220A)은 상기 수학적 모델(UAV MODEL A, 210A)로부터 상기 제1 수학적 예측 신호(Y1M) 외의 다른 수학적 예측 신호(Y2M, YMM)를 더 수신할 수도 있다.

상기 제1 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL A1, 220A)은 상기 제1 플랜트 출력 신호(Y1OP), 상기 상태 신호(PS), 상기 제1 수학적 예측 신호(Y1M), 상기 최종 센싱 데이터(SD) 및 사용자 커맨드(UC)를 기초로 제1 신경망 예측 신호(Y1E)를 생성할 수 있다.

제1 레지듀얼 프로세싱 블록(250A)은 상기 제1 수학적 예측 신호(Y1M) 및 상기 제1 신경망 예측 신호(Y1E) 중 어느 하나를 선택하기 위한 제1 선택 신호(SW1A)를 생성할 수 있다.

예를 들어, 상기 제1 수학적 예측 신호(Y1M) 및 상기 제1 신경망 예측 신호(Y1E)의 차이가 임계값보다 작거나 같은 경우, 상기 제1 선택 신호(SW1A)는 상기 제1 신경망 예측 신호(Y1E)를 제1 동작 예측 출력 신호(Y1OEA)로 선택할 수 있다.

반대로, 상기 제1 수학적 예측 신호(Y1M) 및 상기 제1 신경망 예측 신호(Y1E)의 차이가 상기 임계값보다 큰 경우, 상기 제1 선택 신호(SW1A)는 상기 제1 수학적 예측 신호(Y1M)를 상기 제1 동작 예측 출력 신호(Y1OEA)로 선택할 수 있다.

상기 제1 수학적 예측 신호(Y1M) 및 상기 제1 신경망 예측 신호(Y1E)의 차이가 작은 경우에는 상기 제1 신경망 예측 신호(Y1E)를 더욱 정확한 값으로 볼 수 있으므로, 상기 제1 신경망 예측 신호(Y1E)를 상기 제1 동작 예측 출력 신호(Y1OEA)로 사용할 수 있다. 그러나, 상기 제1 수학적 예측 신호(Y1M) 및 상기 제1 신경망 예측 신호(Y1E)의 차이가 큰 경우에는 상기 제1 신경망 예측 신호(Y1E)에 오류가 발생한 것일 가능성이 있으므로, 상기 무인 항공기 제어 시스템의 안정적인 동작을 위해 상기 제1 수학적 예측 신호(Y1M)를 상기 제1 동작 예측 출력 신호(Y1OEA)로 선택할 수 있다.

상기 제2 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL A2, 230A)은 상기 리던던시 아키텍처(100)로부터 제2 플랜트 출력 신호(Y2OP) 및 상기 상태 신호(PS)를 수신할 수 있다. 상기 제2 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL A2, 230A)은 상기 수학적 모델(UAV MODEL A, 210A)로부터 제2 수학적 예측 신호(Y2M)를 수신할 수 있다.

상기 제2 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL A2, 230A)은 상기 최종 센싱 데이터(SD) 및 사용자 커맨드(UC)를 수신할 수 있다. 상기 제2 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL A2, 230A)은 상기 수학적 모델(UAV MODEL A, 210A)로부터 상기 제2 수학적 예측 신호(Y2M) 외의 다른 수학적 예측 신호(Y1M, YMM)를 더 수신할 수도 있다.

상기 제2 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL A2, 230A)은 상기 제2 플랜트 출력 신호(Y2OP), 상기 상태 신호(PS), 상기 제2 수학적 예측 신호(Y2M), 상기 최종 센싱 데이터(SD) 및 사용자 커맨드(UC)를 기초로 제2 신경망 예측 신호(Y2E)를 생성할 수 있다.

제2 레지듀얼 프로세싱 블록(260A)은 상기 제2 수학적 예측 신호(Y2M) 및 상기 제2 신경망 예측 신호(Y2E) 중 어느 하나를 선택하기 위한 제2 선택 신호(SW2A)를 생성할 수 있다.

예를 들어, 상기 제2 수학적 예측 신호(Y2M) 및 상기 제2 신경망 예측 신호(Y2E)의 차이가 임계값보다 작거나 같은 경우, 제2 선택 신호(SW2A)는 상기 제2 신경망 예측 신호(Y2E)를 제2 동작 예측 출력 신호(Y2OEA)로 선택할 수 있다.

반대로, 상기 제2 수학적 예측 신호(Y2M) 및 상기 제2 신경망 예측 신호(Y2E)의 차이가 임계값보다 큰 경우, 상기 제2 선택 신호(SW2A)는 상기 제2 수학적 예측 신호(Y2M)를 상기 제2 동작 예측 출력 신호(Y2OEA)로 선택할 수 있다.

상기 제M 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL AM, 240A)은 상기 리던던시 아키텍처(100)로부터 제M 플랜트 출력 신호(YMOP) 및 상기 상태 신호(PS)를 수신할 수 있다. 상기 제M 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL AM, 240A)은 상기 수학적 모델(UAV MODEL A, 210A)로부터 제M 수학적 예측 신호(YMM)를 수신할 수 있다.

상기 제M 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL AM, 240A)은 상기 최종 센싱 데이터(SD) 및 사용자 커맨드(UC)를 수신할 수 있다. 상기 제M 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL AM, 240A)은 상기 수학적 모델(UAV MODEL A, 210A)로부터 상기 제M 수학적 예측 신호(YMM) 외의 다른 수학적 예측 신호(Y1M, Y2M)를 더 수신할 수도 있다.

상기 제M 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL AM, 240A)은 상기 제M 플랜트 출력 신호(YMOP), 상기 상태 신호(PS), 상기 제M 수학적 예측 신호(YMM), 상기 최종 센싱 데이터(SD) 및 사용자 커맨드(UC)를 기초로 제M 신경망 예측 신호(YME)를 생성할 수 있다.

제M 레지듀얼 프로세싱 블록(270A)은 상기 제M 수학적 예측 신호(YMM) 및 상기 제M 신경망 예측 신호(YME) 중 어느 하나를 선택하기 위한 제M 선택 신호(SWMA)를 생성할 수 있다.

예를 들어, 상기 제M 수학적 예측 신호(YMM) 및 상기 제M 신경망 예측 신호(YME)의 차이가 임계값보다 작거나 같은 경우, 제M 선택 신호(SWMA)는 상기 제M 신경망 예측 신호(YME)를 제M 동작 예측 출력 신호(YMOEA)로 선택할 수 있다.

반대로, 상기 제M 수학적 예측 신호(YMM) 및 상기 제M 신경망 예측 신호(YME)의 차이가 임계값보다 큰 경우, 상기 제M 선택 신호(SWMA)는 상기 제M 수학적 예측 신호(YMM)를 상기 제M 동작 예측 출력 신호(YMOEA)로 선택할 수 있다.

이와 같이, 상기 제1 뉴럴 네트워크 아키텍처(200A)는 수학적 예측 신호(Y1M, Y2M, ..., YMM)와 신경망 예측 신호(Y1E, Y2E, ..., YME)의 차이가 작은 경우, 상기 수학적 예측 신호(Y1M, Y2M, ..., YMM)를 상기 동작 예측 출력 신호(Y1OEA)로 출력하고, 수학적 예측 신호(Y1M, Y2M, ..., YMM)와 신경망 예측 신호(Y1E, Y2E, ..., YME)의 차이가 큰 경우, 상기 신경망 예측 신호(Y1E, Y2E, ..., YME)를 상기 동작 예측 출력 신호(Y1OEA)로 출력할 수 있다.

도 5를 보면, 상기 제2 뉴럴 네트워크 아키텍처(200B)는 수학적 모델(UAV MODEL B, 210B), 제1 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL B1, 220B), 제2 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL B2, 230B) 및 제M 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL BM, 240B)을 포함할 수 있다.

상기 수학적 모델(UAV MODEL B, 210B)은 오프라인 학습을 수행할 수 있다. 상기 수학적 모델(UAV MODEL B, 210B)은 상기 최종 센싱 데이터(SD) 및 사용자 커맨드(UC)를 수신할 수 있다. 상기 수학적 모델(UAV MODEL B, 210B)은 상기 최종 센싱 데이터(SD) 및 사용자 커맨드(UC)를 기초로 수학적 예측 신호(Y1M, Y2M, ..., YMM)를 생성할 수 있다.

상기 제1 내지 제M 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL B1, DEEP NEURAL NETWORK MODEL B2, ..., DEEP NEURAL NETWORK MODEL BM, 220B, 230B, 240B)은 오프라인 학습 및 온라인 학습을 수행할 수 있다.

상기 제1 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL B1, 220B)은 상기 리던던시 아키텍처(100)로부터 제1 플랜트 출력 신호(Y1OP) 및 상기 상태 신호(PS)를 수신할 수 있다. 상기 제1 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL B1, 220B)은 상기 수학적 모델(UAV MODEL B, 210B)로부터 제1 수학적 예측 신호(Y1M)를 수신할 수 있다.

상기 제1 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL B1, 220B)은 상기 최종 센싱 데이터(SD) 및 사용자 커맨드(UC)를 수신할 수 있다. 상기 제1 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL B1, 220B)은 상기 수학적 모델(UAV MODEL B, 210B)로부터 상기 제1 수학적 예측 신호(Y1M) 외의 다른 수학적 예측 신호(Y2M, YMM)를 더 수신할 수도 있다.

상기 제1 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL B1, 220B)은 상기 제1 플랜트 출력 신호(Y1OP), 상기 상태 신호(PS), 상기 제1 수학적 예측 신호(Y1M), 상기 최종 센싱 데이터(SD) 및 사용자 커맨드(UC)를 기초로 제1 신경망 예측 신호(Y1E)를 생성할 수 있다.

제1 레지듀얼 프로세싱 블록(250B)은 상기 제1 수학적 예측 신호(Y1M) 및 상기 제1 신경망 예측 신호(Y1E) 중 어느 하나를 선택하기 위한 제1 선택 신호(SW1B)를 생성할 수 있다.

예를 들어, 상기 제1 수학적 예측 신호(Y1M) 및 상기 제1 신경망 예측 신호(Y1E)의 차이가 임계값보다 작거나 같은 경우, 상기 제1 선택 신호(SW1B)는 상기 제1 신경망 예측 신호(Y1E)를 제1 동작 예측 출력 신호(Y1OEB)로 선택할 수 있다.

반대로, 상기 제1 수학적 예측 신호(Y1M) 및 상기 제1 신경망 예측 신호(Y1E)의 차이가 상기 임계값보다 큰 경우, 상기 제1 선택 신호(SW1B)는 상기 제1 수학적 예측 신호(Y1M)를 상기 제1 동작 예측 출력 신호(Y1OEB)로 선택할 수 있다.

상기 제1 수학적 예측 신호(Y1M) 및 상기 제1 신경망 예측 신호(Y1E)의 차이가 작은 경우에는 상기 제1 신경망 예측 신호(Y1E)를 더욱 정확한 값으로 볼 수 있으므로, 상기 제1 신경망 예측 신호(Y1E)를 상기 제1 동작 예측 출력 신호(Y1OEB)로 사용할 수 있다. 그러나, 상기 제1 수학적 예측 신호(Y1M) 및 상기 제1 신경망 예측 신호(Y1E)의 차이가 큰 경우에는 상기 제1 신경망 예측 신호(Y1E)에 오류가 발생한 것일 가능성이 있으므로, 상기 무인 항공기 제어 시스템의 안정적인 동작을 위해 상기 제1 수학적 예측 신호(Y1M)를 상기 제1 동작 예측 출력 신호(Y1OEB)로 선택할 수 있다.

상기 제2 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL B2, 230B)은 상기 리던던시 아키텍처(100)로부터 제2 플랜트 출력 신호(Y2OP) 및 상기 상태 신호(PS)를 수신할 수 있다. 상기 제2 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL B2, 230B)은 상기 수학적 모델(UAV MODEL B, 210B)로부터 제2 수학적 예측 신호(Y2M)를 수신할 수 있다.

상기 제2 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL B2, 230B)은 상기 최종 센싱 데이터(SD) 및 사용자 커맨드(UC)를 수신할 수 있다. 상기 제2 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL B2, 230B)은 상기 수학적 모델(UAV MODEL B, 210B)로부터 상기 제2 수학적 예측 신호(Y2M) 외의 다른 수학적 예측 신호(Y1M, YMM)를 더 수신할 수도 있다.

상기 제2 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL B2, 230B)은 상기 제2 플랜트 출력 신호(Y2OP), 상기 상태 신호(PS), 상기 제2 수학적 예측 신호(Y2M), 상기 최종 센싱 데이터(SD) 및 사용자 커맨드(UC)를 기초로 제2 신경망 예측 신호(Y2E)를 생성할 수 있다.

제2 레지듀얼 프로세싱 블록(260B)은 상기 제2 수학적 예측 신호(Y2M) 및 상기 제2 신경망 예측 신호(Y2E) 중 어느 하나를 선택하기 위한 제2 선택 신호(SW2B)를 생성할 수 있다.

예를 들어, 상기 제2 수학적 예측 신호(Y2M) 및 상기 제2 신경망 예측 신호(Y2E)의 차이가 임계값보다 작거나 같은 경우, 제2 선택 신호(SW2B)는 상기 제2 신경망 예측 신호(Y2E)를 제2 동작 예측 출력 신호(Y2OEB)로 선택할 수 있다.

반대로, 상기 제2 수학적 예측 신호(Y2M) 및 상기 제2 신경망 예측 신호(Y2E)의 차이가 임계값보다 큰 경우, 상기 제2 선택 신호(SW2B)는 상기 제2 수학적 예측 신호(Y2M)를 상기 제2 동작 예측 출력 신호(Y2OEB)로 선택할 수 있다.

상기 제M 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL BM, 240B)은 상기 리던던시 아키텍처(100)로부터 제M 플랜트 출력 신호(YMOP) 및 상기 상태 신호(PS)를 수신할 수 있다. 상기 제M 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL BM, 240B)은 상기 수학적 모델(UAV MODEL B, 210B)로부터 제M 수학적 예측 신호(YMM)를 수신할 수 있다.

상기 제M 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL BM, 240B)은 상기 최종 센싱 데이터(SD) 및 사용자 커맨드(UC)를 수신할 수 있다. 상기 제M 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL BM, 240B)은 상기 수학적 모델(UAV MODEL B, 210B)로부터 상기 제M 수학적 예측 신호(YMM) 외의 다른 수학적 예측 신호(Y1M, Y2M)를 더 수신할 수도 있다.

상기 제M 딥 뉴럴 네트워크 모델(DEEP NEURAL NETWORK MODEL BM, 240B)은 상기 제M 플랜트 출력 신호(YMOP), 상기 상태 신호(PS), 상기 제M 수학적 예측 신호(YMM), 상기 최종 센싱 데이터(SD) 및 사용자 커맨드(UC)를 기초로 제M 신경망 예측 신호(YME)를 생성할 수 있다.

제M 레지듀얼 프로세싱 블록(270B)은 상기 제M 수학적 예측 신호(YMM) 및 상기 제M 신경망 예측 신호(YME) 중 어느 하나를 선택하기 위한 제M 선택 신호(SWMB)를 생성할 수 있다.

예를 들어, 상기 제M 수학적 예측 신호(YMM) 및 상기 제M 신경망 예측 신호(YME)의 차이가 임계값보다 작거나 같은 경우, 제M 선택 신호(SWMB)는 상기 제M 신경망 예측 신호(YME)를 제M 동작 예측 출력 신호(YMOEB)로 선택할 수 있다.

반대로, 상기 제M 수학적 예측 신호(YMM) 및 상기 제M 신경망 예측 신호(YME)의 차이가 임계값보다 큰 경우, 상기 제M 선택 신호(SWMB)는 상기 제M 수학적 예측 신호(YMM)를 상기 제M 동작 예측 출력 신호(YMOEB)로 선택할 수 있다.

도 6은 도 1의 출력 생성부(300)를 나타내는 블록도이다.

도 1 내지 도 6을 참조하면, 상기 출력 생성부(300)는 상기 리던던시 아키텍처(100)로부터 상기 플랜트 출력 신호(Y1OP, Y2OP, ..., YMOP)를 수신하고, 상기 뉴럴 네트워크 아키텍처(200A 및/또는 200B)로부터 동작 예측 출력 신호(Y1OE, Y2OE, ..., YMOE)를 수신할 수 있다.

상기 리던던시 아키텍처(100)가 정상적으로 동작하는 경우, 상기 출력 생성부(300)는 상기 리던던시 아키텍처(100)로부터 수신한 상기 플랜트 출력 신호(Y1OP, Y2OP, ..., YMOP)를 상기 무인 항공기의 모터를 제어하는 상기 최종 출력 신호(Y1O, Y2O, ..., YMO)로 출력할 수 있다.

상기 리던던시 아키텍처(100)가 정상적으로 동작하지 않는 경우, 상기 출력 생성부(300)는 상기 뉴럴 네트워크 아키텍처(200A 및/또는 200B)로부터 수신한 상기 동작 예측 출력 신호(Y1OE, Y2OE, ..., YMOE)를 상기 최종 출력 신호(Y1O, Y2O, ..., YMO)로 출력할 수 있다.

상기 설명한 바와 같이, 상기 무인 항공기 제어 시스템은 다양한 오류를 허용할 수 있다. 예를 들어, 상기 리던던시 아키텍처(100)의 버스는 중복되므로, 상기 버스의 통신 관련 오류는 허용될 수 있다. 예를 들어, 상기 센서 유닛(110, 120, 130)은 3중 중복되므로, 상기 리던던시 아키텍처(100) 내에서 상기 센서 유닛(110, 120, 130)의 오류들은 허용될 수 있다. 예를 들어, 상기 텔레메트리 텔레커맨드(telemetry and telecommand) 모듈(160, 170)은 소프트웨어 통신 비트 중복을 포함할 수 있다. 상기 소프트웨어 통신 비트 중복으로 인해, 통신 관련 오류가 허용될 수 있다. 예를 들어, 상기 리던던시 아키텍처(100)는 상기 제2 텔레메트리 텔레커맨드(telemetry and telecommand) 모듈(170)을 포함하므로, 상기 제1 텔레메트리 텔레커맨드(telemetry and telecommand) 모듈(160)의 하드웨어 관련 오류가 허용될 수 있다. 또한, 예를 들어, 상기 리던던시 아키텍처(100)는 상시 대기 모드(hot standby)의 상기 제2 비행 제어부(150)를 포함하므로, 상기 제1 비행 제어부(140)의 하드웨어 관련 오류가 허용될 수 있다.

그럼에도 불구하고, 상기 리던던시 아키텍처(100)가 정상적으로 동작할 수 없는 경우에는 상기 뉴럴 네트워크 아키텍처(200A, 200B)를 이용하여 비상 상황 모드로 동작할 수 있다.

본 실시예에 따르면, 상기 무인 항공기 제어 시스템은 각 장치가 하드웨어 장애 또는 소프트웨어 오류의 대상이 될 수 있는 완전 리던던트 네트워크 토폴로지를 생성하여, 무인 항공기의 비행 중에 EMI(electromagnetic interference)와 관련된 신뢰성 문제가 발생하거나, 적의 공격이 발생하거나, 고장이 발생하는 등의 문제로 무인 항공기가 추락하거나 파손되는 문제를 해결할 수 있다.

또한, 상기 무인 항공기 제어 시스템은 무인 항공기의 비상 상황 대응 및 착륙을 위한 뉴럴 네트워크 시스템(200A, 200B)을 포함하므로, 리던던시 아키텍처(100)의 정상 동작이 불가능한 경우에 상기 무인 항공기의 비상 상황 대응 및 착륙을 안전하게 수행할 수 있다.

본 발명은 무인 항공기용 뉴럴 네트워크 시스템, 이를 포함하는 무인 항공기 제어 시스템 및 이를 이용한 무인 항공기 제어 방법에 관한 것으로, 신뢰성 문제, 적의 공격, 고장의 발생에도 불구하고, 무인 항공기가 정상적으로 컨트롤되게 할 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

100: 리던던시 아키텍처 110: 제1 센서 유닛
120: 제2 센서 유닛 130: 제3 센서 유닛
140: 제1 비행 제어부 150: 제2 비행 제어부
160: 제1 텔레메트리 텔레커맨드 모듈
170: 제2 텔레메트리 텔레커맨드 모듈
200A: 제1 뉴럴 네트워크 아키텍처
200B: 제2 뉴럴 네트워크 아키텍처
210A, 210B: 수학적 모델
220A, 220B: 제1 딥 뉴럴 네트워크 모델
230A, 230B: 제2 딥 뉴럴 네트워크 모델
240A, 240B: 제M 딥 뉴럴 네트워크 모델
250A, 250B: 제1 레지듀얼 프로세싱 블록
260A, 260B: 제2 레지듀얼 프로세싱 블록
270A, 270B: 제M 레지듀얼 프로세싱 블록
300: 출력 생성부

Claims

센서 유닛의 센싱 데이터 및 사용자 커맨드를 기초로 무인 항공기의 경로를 제어하기 위한 수학적 예측 신호를 생성하는 제1 모델; 및
상기 센서 유닛의 상기 센싱 데이터, 상기 사용자 커맨드, 상기 무인 항공기의 플랜트 출력 신호, 상기 무인 항공기의 상태 신호 및 상기 수학적 예측 신호를 기초로 상기 무인 항공기의 경로를 제어하기 위한 신경망 예측 신호를 생성하는 제2 모델을 포함하고,
상기 수학적 예측 신호 및 상기 신경망 예측 신호 중 하나를 선택하여 동작 예측 출력 신호를 생성하는 무인 항공기용 뉴럴 네트워크 시스템.
제1항에 있어서, 상기 무인 항공기용 뉴럴 네트워크 시스템은 복수의 상기 제2 모델들을 포함하고,
상기 제2 모델의 개수는 상기 무인 항공기의 모터의 개수에 대응하는 것을 특징으로 하는 무인 항공기용 뉴럴 네트워크 시스템.
제1항에 있어서, 상기 제1 모델은 비행 전에 오프라인 학습을 수행하고,
상기 제2 모델은 비행 중에 온라인 학습을 수행하는 것을 특징으로 하는 무인 항공기용 뉴럴 네트워크 시스템.
제1항에 있어서, 상기 수학적 예측 신호 및 상기 신경망 예측 신호의 차이가 임계값보다 작거나 같은 경우, 상기 신경망 예측 신호를 상기 동작 예측 출력 신호로 선택하고,
상기 수학적 예측 신호 및 상기 신경망 예측 신호의 차이가 상기 임계값보다 큰 경우, 상기 수학적 예측 신호를 상기 동작 예측 출력 신호로 선택하는 것을 특징으로 하는 무인 항공기용 뉴럴 네트워크 시스템.
제4항에 있어서, 상기 수학적 예측 신호 및 상기 신경망 예측 신호 중 어느 하나를 선택하기 위한 선택 신호를 생성하는 레지듀얼 프로세싱 블록을 더 포함하는 것을 특징으로 하는 무인 항공기용 뉴럴 네트워크 시스템.
무인 항공기를 제어하기 위한 플랜트 출력 신호 및 상기 무인 항공기의 상태를 나타내는 상태 신호를 생성하는 리던던시 아키텍처;
뉴럴 네트워크를 이용하여, 상기 리던던시 아키텍처가 정상적으로 동작할 수 없는 경우에 상기 무인 항공기를 제어하기 위한 동작 예측 출력 신호를 생성하는 뉴럴 네트워크 아키텍처; 및
상기 플랜트 출력 신호, 상기 동작 예측 출력 신호 및 상기 상태 신호를 기초로 상기 무인 항공기를 제어하는 최종 출력 신호를 생성하는 출력 생성부를 포함하는 무인 항공기 제어 시스템.
제6항에 있어서, 상기 리던던시 아키텍처는 동일한 기능을 수행할 수 있는 복수의 센서 유닛들을 포함하는 것을 특징으로 하는 무인 항공기 제어 시스템.
제7항에 있어서, 상기 센서 유닛들은 위성 항법 시스템 또는 관성 항법 장치를 포함하는 것을 특징으로 하는 무인 항공기 제어 시스템.
제6항에 있어서, 상기 리던던시 아키텍처는
상기 플랜트 출력 신호 및 상기 상태 신호를 상기 출력 생성부에 출력하는 제1 비행 제어부; 및
상기 제1 비행 제어부에 오류가 발생하는 경우, 상기 제1 비행 제어부를 대체하여 상기 플랜트 출력 신호 및 상기 상태 신호를 상기 출력 생성부에 출력하는 제2 비행부를 포함하는 것을 특징으로 하는 무인 항공기 제어 시스템.
제9항에 있어서, 상기 리던던시 아키텍처는
지상에 있는 사용자와 신호를 주고 받는 제1 텔레메트리 텔레커맨드 모듈; 및
상기 제1 텔레메트리 텔레커맨드 모듈에 오류가 발생하는 경우, 상기 제1 텔레메트리 텔레커맨드 모듈을 대체하여 상기 지상에 있는 상기 사용자와 상기 신호를 주고 받는 제2 텔레메트리 텔레커맨드 모듈을 더 포함하는 것을 특징으로 하는 무인 항공기 제어 시스템.
제10항에 있어서, 상기 제1 비행 제어부 및 상기 제2 비행 제어부는 핫 스탠바이 방식으로 동작하고,
상기 제1 텔레메트리 텔레커맨드 모듈 및 상기 제2 텔레메트리 텔레커맨드 모듈은 콜드 스탠바이 방식으로 동작하는 것을 특징으로 하는 무인 항공기 제어 시스템.
제10항에 있어서, 상기 리던던시 아키텍처는, 동일한 기능을 수행할 수 있는 복수의 버스를 포함하는 것을 특징으로 하는 무인 항공기 제어 시스템.
제9항에 있어서, 상기 상태 신호는 상기 무인 항공기의 복수의 모터들이 각각 정상 상태인지 비정상 상태인지 나타내고,
상기 상태 신호는 상기 무인 항공기 제어 시스템의 복수의 센서 유닛들이 각각 정상 상태인지 비정상 상태인지 나타내는 것을 특징으로 하는 무인 항공기 제어 시스템.
제9항에 있어서, 상기 제1 비행 제어부는,
복수의 센서 유닛들로부터 센싱 데이터들을 수신하고, 상기 센싱 데이터들 중 하나를 선택하여 최종 센싱 데이터를 생성하는 보터; 및
상기 최종 센싱 데이터 및 사용자 커맨드를 기초로 상기 플랜트 출력 신호를 생성하는 커맨드 생성부를 포함하는 것을 특징으로 하는 무인 항공기 제어 시스템.
제6항에 있어서, 상기 무인 항공기 제어 시스템은 복수의 뉴럴 네트워크 아키텍처들을 포함하고,
상기 뉴럴 네트워크 아키텍처들은 서로 다른 비정상 모드에 대응하는 것을 특징으로 하는 무인 항공기 제어 시스템.
제6항에 있어서, 상기 뉴럴 네트워크 아키텍처는
상기 무인 항공기의 경로를 제어하기 위한 수학적 예측 신호를 생성하는 수학적 모델; 및
상기 무인 항공기의 경로를 제어하기 위한 신경망 예측 신호를 생성하는 딥 뉴럴 네트워크 모델을 포함하며,
상기 뉴럴 네트워크 아키텍처는 상기 수학적 예측 신호 및 상기 신경망 예측 신호 중 하나를 선택하여 동작 예측 출력 신호를 생성하는 것을 특징으로 하는 무인 항공기 제어 시스템.
제16항에 있어서, 상기 수학적 모델은 센서 유닛의 센싱 데이터 및 사용자 커맨드를 기초로 상기 수학적 예측 신호를 생성하고,
상기 딥 뉴럴 네트워크 모델은 상기 센서 유닛의 상기 센싱 데이터, 상기 사용자 커맨드, 상기 플랜트 출력 신호, 상기 상태 신호 및 상기 수학적 예측 신호를 기초로 상기 신경망 예측 신호를 생성하는 것을 특징으로 하는 무인 항공기 제어 시스템.
제16항에 있어서, 상기 수학적 모델은 비행 전에 오프라인 학습을 수행하고,
상기 딥 뉴럴 네트워크 모델은 비행 중에 온라인 학습을 수행하는 것을 특징으로 하는 무인 항공기 제어 시스템.
제16항에 있어서, 상기 뉴럴 네트워크 아키텍처는 상기 수학적 예측 신호 및 상기 신경망 예측 신호의 차이가 임계값보다 작거나 같은 경우, 상기 신경망 예측 신호를 상기 동작 예측 출력 신호로 선택하고,
상기 뉴럴 네트워크 아키텍처는 상기 수학적 예측 신호 및 상기 신경망 예측 신호의 차이가 상기 임계값보다 큰 경우, 상기 수학적 예측 신호를 상기 동작 예측 출력 신호로 선택하는 것을 특징으로 하는 무인 항공기 제어 시스템.
제19항에 있어서, 상기 뉴럴 네트워크 아키텍처는 상기 수학적 예측 신호 및 상기 신경망 예측 신호 중 어느 하나를 선택하기 위한 선택 신호를 생성하는 레지듀얼 프로세싱 블록을 더 포함하는 것을 특징으로 하는 무인 항공기 제어 시스템.
제6항에 있어서,
상기 리던던시 아키텍처가 정상적으로 동작하는 경우, 상기 출력 생성부는 상기 리던던시 아키텍처로부터 수신한 상기 플랜트 출력 신호를 상기 최종 출력 신호로 출력하고,
상기 리던던시 아키텍처가 정상적으로 동작하지 않는 경우, 상기 출력 생성부는 상기 뉴럴 네트워크 아키텍처로부터 수신한 상기 동작 예측 출력 신호를 상기 최종 출력 신호로 출력하는 것을 특징으로 하는 무인 항공기 제어 시스템.
리던던시 아키텍처를 이용하여, 무인 항공기를 제어하기 위한 플랜트 출력 신호 및 상기 무인 항공기의 상태를 나타내는 상태 신호를 생성하는 단계;
뉴럴 네트워크 아키텍처를 이용하여, 상기 리던던시 아키텍처가 정상적으로 동작할 수 없는 경우에 상기 무인 항공기를 제어하기 위한 동작 예측 출력 신호를 생성하는 단계;
상기 리던던시 아키텍처가 정상적으로 동작하는 경우, 상기 플랜트 출력 신호를 최종 출력 신호로 출력하는 단계; 및
상기 리던던시 아키텍처가 정상적으로 동작하지 않는 경우, 상기 뉴럴 네트워크 아키텍처로부터 수신한 상기 동작 예측 출력 신호를 상기 최종 출력 신호로 출력하는 단계를 포함하는 무인 항공기 제어 방법.