KR102266184B1 - Control device for piloting aircraft and operation method thereof - Google Patents

Control device for piloting aircraft and operation method thereof Download PDF

Info

Publication number
KR102266184B1
KR102266184B1 KR1020210045910A KR20210045910A KR102266184B1 KR 102266184 B1 KR102266184 B1 KR 102266184B1 KR 1020210045910 A KR1020210045910 A KR 1020210045910A KR 20210045910 A KR20210045910 A KR 20210045910A KR 102266184 B1 KR102266184 B1 KR 102266184B1
Authority
KR
South Korea
Prior art keywords
aircraft
behavior
maneuvering
data
fuzzy
Prior art date
Application number
KR1020210045910A
Other languages
Korean (ko)
Inventor
배정호
김용덕
강윤성
김성호
김천영
오지현
이상민
이용원
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020210045910A priority Critical patent/KR102266184B1/en
Application granted granted Critical
Publication of KR102266184B1 publication Critical patent/KR102266184B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C13/00Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02Initiating means
    • B64C13/16Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/18Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00Aircraft indicators or protectors not otherwise provided for
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/12Computing arrangements based on biological models using genetic models
    • G06N3/126Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/048Fuzzy inferencing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Fuzzy Systems (AREA)
  • Physiology (AREA)
  • Genetics & Genomics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

The present disclosure relates to a control device for maneuvering an aircraft and a method of operating the same. According to the present disclosure, the operation method may comprise the steps of: obtaining at least one of data about the aircraft and data about the environment around the aircraft; extracting a state value for action determination from the obtained data; determining the maneuvering behavior of the aircraft from the state value based on a behavior model based on the fuzzy rule and the behavior tree structure; generating a tracking point corresponding to the maneuvering behavior; and controlling the maneuvering of the aircraft according to the tracking point.

Description

항공기의 조종을 위한 제어 장치 및 그의 동작 방법 {CONTROL DEVICE FOR PILOTING AIRCRAFT AND OPERATION METHOD THEREOF}CONTROL DEVICE FOR PILOTING AIRCRAFT AND OPERATION METHOD THEREOF

본 개시는 항공기의 조종을 위한 제어 장치 및 그의 동작 방법에 관한 것이다. The present disclosure relates to a control device for maneuvering an aircraft and an operating method thereof.

인공지능 조종 기술 개발의 필요성은 날이 갈수록 증가하고 있다. 기존의 유인 편대를 유무인 편대 형태로 개선한다면 각각의 훈련된 조종사들이 본인의 기체만을 조종하는 것이 아니라, 인공지능 조종사들이 혼합된 하나의 유무인 편대를 조종할 수 있으며, 이는 같은 수의 훈련된 조종사들이 훨씬 많은 수의 기체를 조종할 수 있게 되어 효율적인 편대 편성을 통한 공군력 상승을 기대할 수 있다. 이러한 개발 필요성에 부응하기 위해 미국방고등기술연구소(DARPA)의 경우 ACE(Air Combat Evolution) 프로그램을 통해 신뢰할 수 있고 확장 가능한 공중교전을 위한 인간 수준의 인공지능 개발을 추진하고 있으며, 2019년 7월부터는 기술교류 및 효율적인 개발을 위해 Alpha Dogfight Trials를 진행하고 있다.The need to develop artificial intelligence control technology is increasing day by day. If the existing manned squadron is improved into a manned and unmanned squadron form, each trained pilot can not only control their own aircraft, but can control a single manned and unmanned squadron mixed with AI pilots, which means that the same number of trained pilots can be operated. As pilots can control a much larger number of aircraft, air power can be expected to increase through efficient formation of squadrons. To meet this need for development, the US Defense Advanced Research Institute (DARPA) is promoting the development of human-level artificial intelligence for reliable and scalable air combat through the ACE (Air Combat Evolution) program. Alpha Dogfight Trials are being conducted for technology exchange and efficient development.

항공기의 인공지능 조종을 위한 제어는 크게 판단(Decision), 유도(Guidance), 제어(Control)의 세 부분으로 나눌 수 있는데, 판단은 현재 상태를 바탕으로 어떤 기동을 취해야 유리한지를 결정하여 추적점을 생성하고, 유도는 해당 추적점으로 기체를 움직이기 위한 조종 값을 생성하며, 제어는 조종 값을 이용하여 기체를 시뮬레이션하여 다음 상태를 도출한다. Control for artificial intelligence operation of aircraft can be divided into three parts: Decision, Guidance, and Control. Judgment determines which maneuver is advantageous based on the current state to determine the tracking point. Induction generates a steering value for moving the aircraft to the corresponding tracking point, and the control derives the next state by simulating the aircraft using the steering value.

관련 기술을 살펴보면, 우선 현 상태로부터 추적점과 조종 값 생성 등의 중간과정 없이 바로 기체의 움직임을 수행하는 기술들이 있으며, 그 방법으로는 Minmax 트리 서치, 강화 학습(Reinforcement Learning; RL), 유전적 퍼지 트리, 휴리스틱(heuristic)한 기법 등을 이용하였다. 또한 추적점 개념 없이 바로 상태로부터 전투기가 어떤 추진력을 가져야 할지를 바로 퍼지 규칙을 이용해 판단하는 기술도 있다. 다만 이 기술은 출력된 추진력을 얻기 위해 어떤 조종 입력값을 사용하여야 할지, 그리고 그를 입력하였을 때 실제 전투기 기동이 기동 역학이라든가 물리엔진에 따라 어떤 식으로 일어나게 될지에 대한 검증이 진행되지 않았다. 앞서 언급한 기술들은 공통적으로 시스템 전체의 복잡도 측면에서 보면 판단, 유도, 제어로 쪼개어진 구조들에 비해 간단하지만, 결국 최종 제어 단에서 조종사 입장에서 어떠한 입력을 취해야 선택된 경로대로 기체를 이동시킬 수 있는지가 주어지지 않았고, 역학이나 물리적 모델에 기반한 실제 기동에 대한 검증이 진행되지 않았기 때문에 당장 실 적용하는 데에는 다소 무리가 있다. 또한 Minmax 트리 서치의 경우 현 상황에서 주어진 각 선택권들을 선택했을 때의 최종 결과의 기대값을 수치화하여 모두 계산한 후, 적기의 승률을 최소화하고 아군기의 승률을 최대화 하는 방향으로 선택을 하는 알고리즘으로, 몇 수 앞까지의 수들을 일일이 계산하다 보니 계산량이 많아진다는 단점이 있어, 매 순간 빠르게 의사결정을 내려야만 하는 공중 교전 상황에 적용하기에는 한계가 있다.Looking at the related technologies, first, there are technologies that directly perform the movement of the aircraft from the current state without intermediate processes such as generation of tracking points and control values, and methods such as Minmax tree search, Reinforcement Learning (RL), and genetic Fuzzy trees and heuristic techniques were used. In addition, there is a technology that directly uses fuzzy rules to determine what kind of thrust a fighter should have from an immediate state without the concept of a tracking point. However, this technology has not been verified as to which control input value should be used to obtain the output thrust, and how the actual fighter maneuver will occur depending on the maneuvering dynamics or the physics engine when it is input. In terms of the complexity of the overall system in common, the aforementioned technologies are simple compared to the structures divided into judgment, guidance, and control, but in the end, what kind of input must be taken from the pilot's point of view at the final control stage to move the aircraft along the selected path? is not given, and verification of actual maneuvers based on dynamics or physical models has not been carried out, so it is somewhat difficult to apply them immediately. In addition, in the case of Minmax tree search, the expected value of the final result when each option given in the current situation is selected numerically is calculated, and then the selection is made in the direction of minimizing the win rate of the bandit and maximizing the win rate of the ally. There is a disadvantage that the amount of calculation increases as the numbers up to a few numbers are calculated one by one, so there is a limit to applying it to an air combat situation where a decision must be made quickly at every moment.

위와는 달리 제어 단을 구분하여 실제 상황/물리 모델에서의 동작까지 검증한 관련 기술들도 존재한다. 판단과 유도 부분을 하나로 묶어 주어진 상태로부터 바로 아군기가 어떠한 추력을 받아야 할지 출력하고, 이를 이용하여 실제 동작까지 검증한 기술도 있으며, 여기서 앞 부분에서는 Minmax 트리 검색을 사용하고, 뒤의 제어 부분에서는 MATLAB의 fmincon 함수 기반 최적화를 이용하였다. 제어 부분에서의 계산을 추가하였다는 점에서 앞서 언급한 기술들에 비해 발전되었지만, 여전히 앞부분에서 Minmax 트리 검색을 활용하기 때문에 높은 계산량으로 인한 문제는 여전히 남아있다.Contrary to the above, there are also related technologies that classify the control stage and verify the operation in the actual situation/physical model. There is also a technique that binds the judgment and guidance parts together and outputs what kind of thrust the ally should receive from a given state, and uses this to verify the actual operation. Here, Minmax tree search is used in the front part, and MATLAB in the control part in the back part fmincon function-based optimization of Although it has improved compared to the above-mentioned techniques in that it adds calculation in the control part, the problem due to the high amount of computation still remains because the Minmax tree search is used in the previous part.

개시된 실시예들은 항공기의 조종을 위한 제어 장치 및 그의 동작 방법을 개시하고자 한다. 구체적으로, 본 개시에 따른 실시예는 상술한 문제를 해결하기 위해 상태 값으로부터 전투기의 움직임을 제어하는 전체 구조를 크게 판단, 유도, 제어의 세 부분으로 나누고, 판단 부분을 교범을 기반으로 설계한 행위 트리 구조와 행위 트리의 판단 과정에 퍼지 규칙을 적용하고 세부 파라미터를 기계 학습을 통해 최적화하는 행위 모델로서 설계할 수 있다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.Disclosed embodiments are intended to disclose a control device for maneuvering an aircraft and an operating method thereof. Specifically, the embodiment according to the present disclosure divides the overall structure for controlling the movement of the fighter from the state value into three parts, largely judging, guiding, and controlling, and designing the judgment part based on the manual to solve the above problem It can be designed as a behavior model that applies fuzzy rules to the behavior tree structure and decision process of the behavior tree and optimizes detailed parameters through machine learning. The technical problem to be achieved by the present embodiment is not limited to the technical problems as described above, and other technical problems may be inferred from the following embodiments.

상술한 과제를 달성하기 위하여, 본 명세서의 일 실시 예에 따르는 항공기의 조종을 제어하는 방법은, 상기 항공기에 관한 데이터 및 상기 항공기 주변 환경에 관한 데이터 중 적어도 하나를 획득하는 단계; 상기 획득된 데이터로부터 행위 판단을 위한 상태 값을 추출하는 단계; 퍼지 규칙 및 행위 트리 구조에 기반한 행위 모델에 기초하여, 상기 상태 값으로부터 상기 항공기의 기동 행위를 결정하는 단계; 상기 기동 행위에 대응하는 추적점을 생성하는 단계; 및 상기 추적점에 따라 상기 항공기의 조종을 제어하는 단계를 포함할 수 있다.In order to achieve the above object, a method for controlling the operation of an aircraft according to an embodiment of the present specification includes: acquiring at least one of data about the aircraft and data about the environment around the aircraft; extracting a state value for action determination from the obtained data; determining the maneuvering behavior of the aircraft from the state value based on a behavior model based on a fuzzy rule and a behavior tree structure; generating a tracking point corresponding to the maneuvering action; and controlling the operation of the aircraft according to the tracking point.

실시예에 따르면, 상기 행위 모델은, 교범에 기초하여 모델링되는 행위 트리 구조에 기반하고, 상기 행위 모델 내에서 적어도 하나의 판단 과정이 상기 퍼지 규칙에 따라 구현될 수 있다.According to an embodiment, the behavior model may be based on a behavior tree structure modeled based on a manual, and at least one determination process may be implemented in the behavior model according to the fuzzy rule.

실시예에 따르면, 상기 퍼지 규칙에 관한 멤버 함수 및 퍼지 변수 중 적어도 하나는 기계 학습을 통해 최적화될 수 있다.According to an embodiment, at least one of a member function and a fuzzy variable related to the fuzzy rule may be optimized through machine learning.

실시예에 따르면, 상기 기계 학습은 유전 알고리즘을 포함할 수 있다.According to an embodiment, the machine learning may include a genetic algorithm.

실시예에 따르면, 상기 퍼지 변수가 최적화되는 것은 상기 기동 행위에 영향을 미치는 퍼지 변수가 달라지는 것을 포함할 수 있다.According to an embodiment, optimizing the fuzzy variable may include changing a fuzzy variable affecting the maneuvering behavior.

실시예에 따르면, 상기 항공기의 조종을 제어하는 단계는: 상기 추적점으로부터 상기 항공기의 조종 명령 값을 생성하는 단계; 및 상기 조종 명령 값을 기반으로 항공기의 조종 시뮬레이션을 수행하는 단계를 포함하는 것을 특징으로 할 수 있다.According to an embodiment, the controlling of the operation of the aircraft may include: generating a control command value of the aircraft from the tracking point; and performing a piloting simulation of the aircraft based on the steering command value.

실시예에 따르면, 상기 상태 값은 상기 조종 시뮬레이션의 결과에 기초하여 업데이트되는 것을 특징으로 할 수 있다.According to an embodiment, the state value may be updated based on a result of the steering simulation.

실시예에 따르면, 상기 상태 값은 복수의 항공기 간의 거리, 측면각, 기수교차각 및 안테나 조준각 중 적어도 하나를 포함할 수 있다.According to an embodiment, the state value may include at least one of a distance between a plurality of aircraft, a side angle, a nose crossing angle, and an antenna aiming angle.

실시예에 따르면, 상기 항공기의 기동 행위를 결정하는 단계는 기 설정된 주기마다 기동 행위를 결정하고, 상기 주기는 상기 획득된 데이터의 변화량에 따라 다르게 설정되는 것을 특징으로 할 수 있다.According to an embodiment, the determining of the maneuvering behavior of the aircraft may include determining the maneuvering behavior for each preset period, and the period may be set differently according to a change amount of the acquired data.

상술한 과제를 달성하기 위하여, 본 명세서의 일 실시 예에 따르는 비일시적 컴퓨터 판독 가능 저장 매체는 컴퓨터 판독 가능 명령어들을 저장하도록 구성되는 매체를 포함하고, 상기 컴퓨터 판독 가능 명령어들은 프로세서에 의해 실행되는 경우 상기 프로세서가: 항공기에 관한 데이터 및 상기 항공기 주변 환경에 관한 데이터 중 적어도 하나를 획득하는 단계; 상기 획득된 데이터로부터 행위 판단을 위한 상태 값을 추출하는 단계; 퍼지 규칙 및 행위 트리 구조에 기반한 행위 모델에 기초하여, 상기 상태 값으로부터 상기 항공기의 기동 행위를 결정하는 단계; 상기 기동 행위에 대응하는 추적점을 생성하는 단계; 및 상기 추적점에 따라 상기 항공기의 조종을 제어하는 단계를 포함하는 항공기의 조종을 제어하는 방법을 수행하도록 할 수 있다.In order to achieve the above object, a non-transitory computer-readable storage medium according to an embodiment of the present specification includes a medium configured to store computer-readable instructions, wherein the computer-readable instructions are executed by a processor. obtaining, by the processor, at least one of data about the aircraft and data about the environment around the aircraft; extracting a state value for action determination from the obtained data; determining the maneuvering behavior of the aircraft from the state value based on a behavior model based on a fuzzy rule and a behavior tree structure; generating a tracking point corresponding to the maneuvering action; and controlling the operation of the aircraft according to the tracking point.

상술한 과제를 달성하기 위하여, 본 명세서의 일 실시 예에 따르는 항공기의 조종 제어 장치는 적어도 하나의 명령어(instruction)를 저장하는 메모리; 및 상기 적어도 하나의 명령어를 실행함으로써, 항공기에 관한 데이터 및 상기 항공기 주변 환경에 관한 데이터 중 적어도 하나를 획득하고, 상기 획득된 데이터로부터 행위 판단을 위한 상태 값을 추출하고, 퍼지 규칙 및 행위 트리 구조에 기반한 행위 모델에 기초하여, 상기 상태 값으로부터 상기 항공기의 기동 행위를 결정하고, 상기 기동 행위에 대응하는 추적점을 생성하고, 상기 추적점에 따라 상기 항공기의 조종을 제어하는 프로세서(processor)를 포함할 수 있다.In order to achieve the above object, an apparatus for controlling a flight of an aircraft according to an embodiment of the present specification includes: a memory for storing at least one instruction; and by executing the at least one command, obtain at least one of data about the aircraft and data about the environment around the aircraft, extract a state value for action determination from the obtained data, and have a fuzzy rule and action tree structure A processor that determines the maneuvering behavior of the aircraft based on the behavior model based on the state value, generates a tracking point corresponding to the maneuvering behavior, and controls the operation of the aircraft according to the tracking point. may include

본 명세서의 실시예에 따라, 전투기의 기동을 결정하기 위한 판단 과정에서 행위 트리에 퍼지 규칙과 기계 학습을 적용한 구조를 채택함으로써, 교범 기반으로 규칙을 정의한 설명 가능한 인공지능으로 유무인 복합 운용시 조종사와 운용자가 신뢰감을 가질 수 있다. 또한, 기존의 교범에 모호한 부분과 최적화가 필요한 부분을 퍼지 규칙과 유전 알고리즘을 통한 최적화를 결합한 유전적 퍼지 규칙을 적용함으로써 인공지능 조종 장치의 성능이 향상될 수 있으며, 교범 기반 시스템의 특성에 따라 규칙 추가에 따른 임무 확장을 용이하게 할 수 있다. 또한, 판단과 제어 부분을 분리하여 유도 안정성과 조종 안정성을 확보할 수 있다.According to the embodiment of the present specification, by adopting a structure in which fuzzy rules and machine learning are applied to the action tree in the decision process for determining the maneuver of the fighter, the pilot at the time of complex operation with or without explainable artificial intelligence that defines the rules based on the manual and operators can be trusted. In addition, by applying the genetic fuzzy rule that combines the fuzzy rule and the optimization through genetic algorithm to the ambiguous part and the part that needs optimization in the existing manual, the performance of the AI control system can be improved, and depending on the characteristics of the manual-based system, the performance of the AI control system can be improved. It can facilitate the expansion of the mission according to the addition of rules. In addition, it is possible to secure guidance stability and steering stability by separating the judgment and control parts.

실시예의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당해 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the embodiment are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description of the claims.

도 1은 본 개시에 따른 제어 장치를 나타낸다.
도 2는 본 개시에 따른 제1 항공기와 제2 항공기 간의 위치 기하학 정보를 나타내는 도면이다.
도 3은 본 개시에 따른 행위 모델을 설계하는 개략적인 프로세스를 도시하는 도면이다.
도 4는 본 개시에 따른 교범을 분석하여 설계한 행위 트리 구조를 도시한다.
도 5는 본 개시에 따른 퍼지 규칙의 특성을 설명하는 예시적인 도면이다.
도 6a 내지 6c는 본 개시에 따른 퍼지 규칙에 관한 멤버 함수 또는 퍼지 변수 중 적어도 하나를 기계 학습을 통해 최적화하는 과정을 설명하는 예시적인 도면이다.
도 7은 본 개시에 따른 퍼지 규칙에 관한 멤버 함수를 유전 알고리즘을 사용하여 최적화하는 프로세스를 나타내는 예시적인 도면이다.
도 8은 본 개시에 따른 조종 제어 모델 및 비행 제어 모델이 동작하는 프로세스를 개략적으로 도시한 도면이다.
도 9는 본 개시에 따른 항공기의 추적점 유도 제어를 도시하는 예시적인 도면이다.
도 10은 본 개시에 따른 항공기의 조종을 제어하는 장치가 동작하는 프로세스를 나타내는 전반적인 아키텍처를 도시한다.
도 11은 본 개시에 따른 제어 장치의 동작 방법을 도시한다.
1 shows a control device according to the present disclosure.
2 is a diagram illustrating positional geometry information between a first aircraft and a second aircraft according to the present disclosure.
3 is a diagram illustrating a schematic process of designing a behavior model according to the present disclosure.
4 shows a structure of an action tree designed by analyzing the manual according to the present disclosure.
5 is an exemplary diagram for describing a characteristic of a fuzzy rule according to the present disclosure.
6A to 6C are exemplary diagrams for explaining a process of optimizing at least one of a member function and a fuzzy variable related to a fuzzy rule according to the present disclosure through machine learning.
7 is an exemplary diagram illustrating a process for optimizing a member function for a fuzzy rule using a genetic algorithm according to the present disclosure.
8 is a diagram schematically illustrating a process in which a steering control model and a flight control model according to the present disclosure operate.
9 is an exemplary diagram illustrating tracking point guidance control of an aircraft according to the present disclosure.
10 shows an overall architecture representing a process by which an apparatus for controlling the steering of an aircraft according to the present disclosure operates.
11 illustrates a method of operating a control device according to the present disclosure.

실시 예들에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.Terms used in the embodiments are selected as currently widely used general terms as possible while considering functions in the present disclosure, but may vary according to intentions or precedents of those of ordinary skill in the art, emergence of new technologies, and the like. In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the corresponding description. Therefore, the terms used in the present disclosure should be defined based on the meaning of the term and the contents of the present disclosure, rather than the simple name of the term.

명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 “~부”, “~모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.In the entire specification, when a part “includes” a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated. In addition, terms such as “~ unit” and “~ module” described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software, or a combination of hardware and software.

명세서 전체에서 기재된 “a, b, 및 c 중 적어도 하나”의 표현은, ‘a 단독’, ‘b 단독’, ‘c 단독’, ‘a 및 b’, ‘a 및 c’, ‘b 및 c’, 또는 ‘a,b,c 모두’를 포괄할 수 있다.The expression “at least one of a, b, and c” described throughout the specification is, 'a alone', 'b alone', 'c alone', 'a and b', 'a and c', 'b and c ', or 'all of a, b, and c'.

아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, with reference to the accompanying drawings, embodiments of the present disclosure will be described in detail so that those of ordinary skill in the art to which the present disclosure pertains can easily implement them. However, the present disclosure may be implemented in several different forms and is not limited to the embodiments described herein.

이하에서는 도면을 참조하여 본 개시의 실시예들을 상세히 설명한다.Hereinafter, embodiments of the present disclosure will be described in detail with reference to the drawings.

도 1은 본 개시에 따른 제어 장치를 나타낸다.1 shows a control device according to the present disclosure.

제어 장치(100)는 프로세서(110) 및 메모리(120)를 포함한다. 도 1에 도시된 제어 장치(100)에는 본 실시 예들과 관련된 구성요소들만이 도시되어 있다. 따라서, 제어 장치(100)에는 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다.The control device 100 includes a processor 110 and a memory 120 . In the control device 100 illustrated in FIG. 1 , only components related to the present exemplary embodiments are illustrated. Accordingly, it is apparent to those skilled in the art that the control device 100 may further include other general-purpose components in addition to the components illustrated in FIG. 1 .

제어 장치(100)는 항공기의 조종을 제어할 수 있다. 구체적으로, 제어 장치(100)는 주변 상황을 인식하여 적절한 기동 행위를 결정하고, 결정된 기동 행위를 수행하기 위한 추적점을 생성하고 추적점으로 이동하기 위한 조종 명령 값(스틱, 스로틀, 러더)을 결정할 수 있다. The control device 100 may control the operation of the aircraft. Specifically, the control device 100 determines an appropriate maneuvering action by recognizing the surrounding situation, generates a tracking point for performing the determined starting action, and receives a steering command value (stick, throttle, rudder) for moving to the tracking point. can decide

프로세서(110)는 제어 장치(100)에서 항공기의 조종을 위한 전반적인 기능들을 제어하는 역할을 한다. 예를 들어, 프로세서(110)는 제어 장치(100) 내의 메모리(120)에 저장된 프로그램들을 실행함으로써, 제어 장치(100)를 전반적으로 제어한다. 프로세서(110)는 제어 장치(100) 내에 구비된 CPU(central processing unit), GPU(graphics processing unit), AP(application processor) 등으로 구현될 수 있으나, 이에 제한되지 않는다.The processor 110 serves to control overall functions for the operation of the aircraft in the control device 100 . For example, the processor 110 generally controls the control device 100 by executing programs stored in the memory 120 in the control device 100 . The processor 110 may be implemented as a central processing unit (CPU), a graphics processing unit (GPU), an application processor (AP), etc. provided in the control device 100 , but is not limited thereto.

메모리(120)는 제어 장치(100) 내에서 처리되는 각종 데이터들을 저장하는 하드웨어로서, 메모리(120)는 제어 장치(100)에서 처리된 데이터들 및 처리될 데이터들을 저장할 수 있다. 또한, 메모리(120)는 제어 장치(100)에 의해 구동될 애플리케이션들, 드라이버들 등을 저장할 수 있다. 메모리(120)는 DRAM(dynamic random access memory), SRAM(static random access memory) 등과 같은 RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM, 블루레이 또는 다른 광학 디스크 스토리지, HDD(hard disk drive), SSD(solid state drive), 또는 플래시 메모리를 포함할 수 있다.The memory 120 is hardware for storing various types of data processed in the control device 100 , and the memory 120 may store data processed by the control device 100 and data to be processed. Also, the memory 120 may store applications, drivers, and the like to be driven by the control device 100 . The memory 120 includes random access memory (RAM), such as dynamic random access memory (DRAM), static random access memory (SRAM), read-only memory (ROM), electrically erasable programmable read-only memory (EEPROM), CD- It may include ROM, Blu-ray or other optical disk storage, a hard disk drive (HDD), a solid state drive (SSD), or flash memory.

프로세서(110)는 항공기에 관한 데이터 및 항공기 주변 환경에 관한 데이터 중 적어도 하나를 획득할 수 있다. 일 실시예에서, 프로세서(110)는 항공기에 관한 데이터(예를 들어, 항공기의 위치, 연료량) 및 주변 환경에 관한 데이터(예를 들어, 적기의 위치)를 센서를 통해 획득할 수 있다. 센서는 Vision 센서, RADAR 센서, GPS/INS 센서 등을 포함할 수 있으며, 센서의 종류에 따라 획득할 수 있는 데이터의 종류와 품질이 달라질 수 있다. 획득된 데이터는 메모리(120)에 저장될 수 있다.The processor 110 may acquire at least one of data about the aircraft and data about the environment around the aircraft. In an embodiment, the processor 110 may obtain data about the aircraft (eg, the position of the aircraft, the amount of fuel) and data about the surrounding environment (eg, the position of the bandit) through the sensor. The sensor may include a vision sensor, a RADAR sensor, a GPS/INS sensor, and the like, and the type and quality of data that can be acquired may vary depending on the type of sensor. The acquired data may be stored in the memory 120 .

프로세서(110)는 획득된 데이터로부터 행위 판단을 위한 상태 값을 추출할 수 있다. 일 실시예에서 행위 판단을 위한 상태 값은 획득한 센서 데이터로부터 추출한 피처 데이터일 수 있으며, 이러한 피처 데이터는 항공기와 다른 항공기 사이의 상대적인 위치를 나타내는 위치 기하학 정보, 남은 연료 에너지, 현재 속도 데이터 등을 포함할 수 있다. 일 실시 예에서, 프로세서(110)는 센서로부터 획득한 이미지 데이터로부터 영상 인식 기법을 통해 다른 항공기의 위치를 식별하고 위치 기하학 정보를 상태 값으로 추출할 수 있다. 행위 판단을 위한 상태 값은 메모리(120)에 저장될 수 있다.The processor 110 may extract a state value for action determination from the obtained data. In an embodiment, the state value for determining the behavior may be feature data extracted from acquired sensor data, and the feature data includes positional geometry information indicating the relative position between the aircraft and other aircraft, remaining fuel energy, current speed data, etc. may include In an embodiment, the processor 110 may identify the position of another aircraft from image data obtained from a sensor through an image recognition technique and extract position geometry information as a state value. A state value for determining an action may be stored in the memory 120 .

도 2는 본 개시에 따른 제1 항공기와 제2 항공기 간의 위치 기하학 정보를 나타내는 도면이다.2 is a diagram illustrating positional geometry information between a first aircraft and a second aircraft according to the present disclosure.

도 2를 참조하면, 제1 항공기는 아군기이고 제2 항공기는 적기일 수 있다. 제1 항공기 및 제2 항공기 간의 위치 기하학 정보는 거리(Range), 측면각(Aspect Angle; AA), 안테나 조준각(Antenna Train Angle; ATA), 기수교차각(Head Crossing Angle; HCA)을 포함할 수 있다. 거리(Range)는 제1 항공기와 제2 항공기 사이의 거리로서, 제1 항공기와 제2 항공기를 연결하는 가상 선의 길이에 대응할 수 있다. 측면각은 제1 항공기와 제2 항공기를 연결하는 가상 선과 제2 항공기의 진행 방향 사이의 각도에 대응할 수 있다. 안테나 조준각은 제1 항공기와 제2 항공기를 연결하는 가상 선과 제1 항공기의 진행 방향 사이의 각도에 대응할 수 있다. 기수교차각은 제1 항공기의 진행 방향과 제2 항공기의 진행 방향 사이의 각도에 대응할 수 있다. 이와 같은 위치 기하학 정보는 프로세서(110)가 획득한 센서 데이터로부터 추출되어 상황에 맞는 기동 행위를 결정하기 위해 후술할 행위 모델에 입력될 수 있다.Referring to FIG. 2 , the first aircraft may be a friendly aircraft and the second aircraft may be a bandit aircraft. The location geometry information between the first aircraft and the second aircraft may include a distance (Range), an aspect angle (AA), an antenna train angle (ATA), and a head crossing angle (HCA). can The distance (Range) is a distance between the first aircraft and the second aircraft, and may correspond to the length of a virtual line connecting the first aircraft and the second aircraft. The side angle may correspond to an angle between an imaginary line connecting the first aircraft and the second aircraft and a traveling direction of the second aircraft. The antenna aiming angle may correspond to an angle between an imaginary line connecting the first aircraft and the second aircraft and a traveling direction of the first aircraft. The nose crossing angle may correspond to an angle between the traveling direction of the first aircraft and the traveling direction of the second aircraft. Such location geometry information may be extracted from the sensor data obtained by the processor 110 and input to a behavior model to be described later in order to determine a maneuvering behavior suitable for a situation.

다시 도 1을 참조하면, 일 실시예에 따라, 프로세서(110)는 퍼지 규칙(Fuzzy Rule) 및 행위 트리(Behavior Tree) 구조에 기반한 행위 모델에 기초하여, 상태 값으로부터 항공기의 기동 행위를 결정할 수 있다.Referring back to FIG. 1 , according to an embodiment, the processor 110 may determine the maneuvering behavior of the aircraft from the state value based on a behavior model based on a fuzzy rule and a behavior tree structure. have.

도 3은 본 개시에 따른 행위 모델을 설계하는 개략적인 프로세스를 도시하는 도면이다.3 is a diagram illustrating a schematic process of designing a behavior model according to the present disclosure.

상태 값으로부터 전투기의 움직임을 제어하는 시스템의 전체 구조는 크게 판단, 유도 및 제어의 세 부분으로 나누어질 수 있다. 일 실시예에서, 판단 부분은 인공신경망(Artificial Neural Network; ANN)을 이용하여 구현될 수 있다. 일 실시예에서, 판단 부분은 Naive Bayesian 모델을 이용하여 구현될 수 있다. 일 실시예에서, 유도 부분은 추적점 유도(Pursuit Point Guidance) 알고리즘을 사용하여 구현될 수 있다. 일 실시예에서, 판단 부분은 후술하는 바와 같이 행위 트리 구조와 퍼지 규칙에 기반한 행위 모델에 기초하여 구현될 수 있다.The overall structure of the system for controlling the movement of the fighter from the state value can be divided into three parts: judgment, guidance, and control. In an embodiment, the determination part may be implemented using an artificial neural network (ANN). In one embodiment, the decision part may be implemented using a Naive Bayesian model. In one embodiment, the derivation portion may be implemented using a Pursuit Point Guidance algorithm. In an embodiment, the decision part may be implemented based on a behavior model based on a behavior tree structure and a fuzzy rule, as will be described later.

행위 모델은 앞에서 획득한 행위 판단을 위한 상태 값을 기반으로 전투를 유리하게 하기 위한 최적의 기동 행위를 출력하기 위해 사용될 수 있다. 행위 모델은 행위 트리 구조와 퍼지 규칙을 사용하여 설계될 수 있다. 행위 모델은 교범에 기초하여 모델링되는 행위 트리 구조에 기반하고, 행위 모델 내에서 적어도 하나의 판단 과정이 상기 퍼지 규칙에 따라 구현될 수 있다. 행위 트리는 교범 분석을 기반으로 행위 판단을 위해 설계한 트리 구조를 의미하고, 퍼지 규칙은 교범 상에 모호하게 설명되어 있는 부분들(예를 들어, 적기와의 상태에서 유리함(Superior) 판단)을 표현하는 논리 구조로서, 행위 트리 구조에서 교범 상에 모호하게 설명된 조건 하에서 의사 결정을 내리는 데 사용될 수 있다. 행위 트리 구조와 퍼지 규칙을 사용하여 설계된 초기 모델은 기계 학습을 통해 최적화될 수 있으며, 기계 학습은 생물의 진화를 모방한 진화 연산(Evolutional Computation)의 대표적인 기법으로서 유전 알고리즘(Genetic Algorithm)을 포함할 수 있다.The behavior model can be used to output the optimal maneuvering behavior to favor the battle based on the state value for the behavior judgment obtained earlier. Behavior models can be designed using behavior tree structures and fuzzy rules. The behavior model is based on a behavior tree structure that is modeled based on a manual, and at least one decision process in the behavior model may be implemented according to the fuzzy rule. The action tree means a tree structure designed for action judgment based on the analysis of the manual, and the fuzzy rule expresses the parts vaguely described in the manual (for example, judgment of superiority in the state of the bandit) It is a logical structure that can be used to make decisions under conditions vaguely described in the manual in an action tree structure. The initial model designed using the behavior tree structure and fuzzy rules can be optimized through machine learning, and machine learning is a representative technique of Evolutional Computation that mimics the evolution of living things. can

이하에서, 행위 모델을 설계하기 위한 행위 트리 및 퍼지 규칙에 대해 상세히 설명한다.Hereinafter, an action tree and a fuzzy rule for designing a behavior model will be described in detail.

도 4는 본 개시에 따른 교범을 분석하여 설계한 행위 트리 구조를 도시한다.4 shows a structure of an action tree designed by analyzing the manual according to the present disclosure.

도 4를 참조하면, 일 실시예에 따른 항공기 조종사 교육용 교범(410)과, 교범(410)을 분석하여 모델링한 행위 트리 구조(420)가 도시된다. Referring to FIG. 4 , an aircraft pilot training manual 410 and an action tree structure 420 modeled by analyzing the manual 410 according to an embodiment are shown.

교범(410)은 실제 항공기 조종사들이 조종 교육을 받을 때 사용되는 것일 수 있다. 일 실시예에서, 교범(410)은 공중 교전 중 전투기가 적기에 대해 유리한 위치를 선점하기 위해 수행하는 전술적 기동을 설명하는 기본 전투 기동(Basic Fighter Maneuvers; BFM)에 대한 내용을 포함할 수 있다. 일 실시예에서, 교범(410)은 아군기와 적기 사이의 위치 기하학 정보로부터 아군기의 우세, 열세 및 동등의 상황을 파악하여 기동을 결정하는 방법이 기술될 수 있다. 상황 파악을 위하여 사용하는 정보는 아군기 및 적기의 현재 위치와 도 2에서 도시된 아군기 및 적기 간의 상대적 거리, 측면각, 기수교차각, 안테나 조준각과 같은 위치 기하학 정보를 포함할 수 있다. 일 실시예에서, 교범(410)은 전투기의 일-대-일 교전에 대한 BFM의 내용뿐만 아니라 전투기의 다-대-일 또는 다-대-다 교전에 대한 공중 전투 기동(Air Combat Maneuvers; ACM)에 대한 내용을 포함할 수 있다.The manual 410 may be used when actual aircraft pilots receive flight training. In one embodiment, the manual 410 may include content for Basic Fighter Maneuvers (BFM) that describes the tactical maneuvers that a fighter performs to gain an advantage over the bandit during an aerial engagement. In one embodiment, the manual 410 may describe a method of determining a maneuver by recognizing the superiority, inferiority, and equivalence situation of the friendly plane from the positional geometry information between the friendly plane and the bandit. The information used to determine the situation may include position geometry information such as the current position of the friendly flag and the bandit and the relative distance between the friendly flag and the bandit shown in FIG. 2 , the side angle, the nose crossing angle, and the antenna aiming angle. In one embodiment, the manual 410 provides the content of the BFM for one-to-one engagements of fighters as well as Air Combat Maneuvers (ACM) for many-to-one or many-to-many engagements of fighters. ) may be included.

행위 트리 구조(420)는 교범(410)과 전문 조종사의 지식을 분석하고, 분석을 바탕으로 교전 상황에서 적기와의 각 상황 별로 조종사가 어떠한 기동을 결정해야 하는지를 행위 트리로 모델링한 구조일 수 있다. 행위 트리 구조(420)는 컴퓨터공학, 로봇공학, 제어 시스템, 게임 시스템 등에서 인공지능을 구현할 때 사용되는 구조이다. 행위 트리 구조(420)는 최상위 노드인 루트 노드(421), 조건을 판단하는 제어 흐름 노드(422) 및 행위를 실행하는 실행 노드(423)를 포함할 수 있다. 프로세서(110)는 루트 노드(421)에서 시작하여, 제어 흐름 노드(422)에서 위치 기하학 정보, 남은 연료 에너지, 선회 반경과 같은 상태 값이 특정 조건을 만족하는지 판단하고, 하위 실행 노드(423)를 실행할지 여부를 결정할 수 있으며, 실행 노드(423)는 리드 추적, 래그 추적, 퓨어 추적과 같은 항공기가 수행하는 기동을 포함할 수 있다. 예를 들어, 아군기는 상황인식을 통해 파악한 적기와의 위치 관계를 통해 현재 적기와의 관계에서 유리/대등/불리한지, 그리고 현재 공격/방어/중립 중 어떤 상태인지를 판단하고, 각각의 경우에 OBFM(공격 기본 전투 기동), DBFM(방어 기본 전투 기동), HABFM(정면 기본 전투 기동) 등을 선택하며, 상세 기동은 각 BFM에 해당하는 행위 트리의 하위 레벨에서 선택할 수 있다.The action tree structure 420 may be a structure modeled as an action tree by analyzing the manual 410 and the knowledge of the professional pilot, and based on the analysis, which maneuver the pilot should decide for each situation with the bandit in the engagement situation. . The behavior tree structure 420 is a structure used when implementing artificial intelligence in computer engineering, robotics, control systems, game systems, and the like. The action tree structure 420 may include a root node 421 that is a topmost node, a control flow node 422 that determines a condition, and an execution node 423 that executes the action. The processor 110 starts at the root node 421 , and determines whether state values such as position geometry information, remaining fuel energy, and turning radius satisfy specific conditions in the control flow node 422 , and a lower execution node 423 . may determine whether to execute, and the execution node 423 may include maneuvers performed by the aircraft, such as lead tracking, lag tracking, and pure tracking. For example, the friendly aircraft determines whether it is advantageous/equal/disadvantaged in the current relationship with the bandit through the positional relationship with the bandit identified through situational awareness, and whether it is currently attacking/defending/neutral, and in each case Select OBFM (Basic Offensive Combat Maneuver), DBFM (Defense Basic Combat Maneuver), and HABFM (Front Basic Combat Maneuver), and detailed maneuvers can be selected at the lower level of the action tree corresponding to each BFM.

예를 들어, 교범(410)이 "표적의 선회 반경 안쪽에서 표적보다 더 작은 반경으로 선회한다는 것은 표적보다 에너지 소모가 더 크다는 것을 뜻합니다."라고 기재하는 경우, 행위 트리 구조(420)는 제어 흐름 노드(422)에서 "선회 반경 작음 AND 에너지 낮음"의 조건을 만족하는지 판단하고, 이를 만족하는 경우 하위 레벨의 실행 노드(423)에서 "래그추적" 기동을 실행하도록 결정하여 방어기 후방에 추적점을 생성하도록 모델링될 수 있다. 다른 예에서, 교범(410)이 "공격기의 선회 반경 능력이 방어기보다 다소 떨어지는 경우에도 에너지를 이용한 선회율을 통해서 더 작은 반경으로 선회를 할 수 있는 방어기와 대등하게 선회전을 지속할 수 있습니다."라고 기재하는 경우, 행위 트리 구조(420)는 제어 흐름 노드(422)에서 "선회 반경 비슷 AND 에너지 높음"의 조건을 만족하는지 판단하고, 이를 만족하는 경우 하위 레벨의 실행 노드(423)에서 "리드추적" 기동을 실행하도록 결정하여 방어기 전방에 추적점을 생성하도록 모델링될 수 있다. For example, if the manual 410 states, "Inside the turning radius of the target, turning to a smaller radius than the target means more energy consumption than the target." It is determined whether the flow node 422 satisfies the condition of “small turning radius AND low energy”, and if it is satisfied, it is determined to execute a “lag-tracking” maneuver in the execution node 423 of the lower level, so that the tracking point behind the defender can be modeled to create In another example, the manual (410) states, "Even if the turning radius ability of the attacker is slightly lower than that of the defender, the turn rate using energy can continue to turn on a par with the defender who can turn with a smaller radius." , the action tree structure 420 determines whether the condition of “turn radius similar AND energy high” is satisfied in the control flow node 422, and if this is satisfied, the “lead” in the lower-level execution node 423 It can be modeled to create a tracking point in front of the defender by deciding to execute a “track” maneuver.

일 실시예에서, 프로세서(110)는 행위 모델을 통해 항공기의 기동 행위를 결정함에 있어서, 기 설정된 주기마다 기동 행위를 결정할 수 있고, 주기는 획득된 데이터의 변화량에 따라 다르게 설정될 수 있다. 프로세서(110)가 주변 상황을 인식하고 이에 따라 기동 행위를 결정하는 주기를 짧게 설정하면 신속한 결정이 요구되는 전투 상황에서 더욱 적합한 기동을 결정할 수 있고 발생할 수 있는 사고 위험을 감소시키지만 계산량이 많아 비효율적일 수 있다. 따라서, 획득된 데이터의 변화량이 적은 경우는 항공기가 천천히 움직이고 있거나, 주변 상황의 변화가 적은 상황일 것이므로, 이 경우에는 주변 상황에 대한 데이터를 획득하고 이에 따라 기동 행위를 결정하는 주기를 길게 설정하여 프로세서(110)의 과부하를 줄이고 효율성을 도모할 수 있다.In an embodiment, in determining the maneuvering behavior of the aircraft through the behavior model, the processor 110 may determine the maneuvering behavior for each preset period, and the period may be set differently according to the amount of change in the acquired data. If the processor 110 recognizes the surrounding situation and sets the cycle for determining the maneuvering action accordingly, a more suitable maneuver can be determined in a battle situation requiring a quick decision, and the risk of an accident that may occur is reduced, but it is inefficient due to the large amount of calculations. can Therefore, if the amount of change in the acquired data is small, it is likely that the aircraft is moving slowly or there is little change in the surrounding situation. It is possible to reduce the overload of the processor 110 and promote efficiency.

도 5는 본 개시에 따른 퍼지 규칙의 특성을 설명하는 예시적인 도면이다.5 is an exemplary diagram for describing a characteristic of a fuzzy rule according to the present disclosure.

도 5를 참조하면, 정보를 서술함에 있어서 일반적인 부울 규칙(Boolean Rule)와 퍼지 규칙의 특성이 대비된다. 퍼지 규칙 또는 퍼지 논리는 불분명한 상태, 모호한 상태를 참 또는 거짓의 이진 논리에서 벗어나 다치성으로 표현하는 논리 구조이다. 예를 들어, 항공기의 연료가 60% 정도 남아있는 경우, 부울 규칙은 남은 연료가 단순히 연료가 "보통이다" 또는 "충분하다"로 표현하지만, 퍼지 규칙은 예를 들어, "연료 적음도"는 0, "연료 보통도"는 0.6, "연료 충분도"는 0.4로 표현할 수 있다. 퍼지 규칙은 표현하고자 하는 정보를 나타내는 퍼지 변수(Fuzzy variable)와, 퍼지 변수 값을 정의하는 멤버 함수(membership function)로 구성될 수 있다.Referring to FIG. 5 , characteristics of a general Boolean rule and a fuzzy rule are contrasted in describing information. Fuzzy rule, or fuzzy logic, is a logical structure that expresses an ambiguous state or an ambiguous state as multivalued, away from the binary logic of true or false. For example, if the aircraft has about 60% of fuel remaining, the Boolean rule would simply state that the remaining fuel is "moderate" or "enough" fuel, whereas the fuzzy rule, for example, "fuel low" 0, "Fuel Moderate" can be expressed as 0.6, and "Fuel Sufficient" as 0.4. A fuzzy rule may be composed of a fuzzy variable representing information to be expressed and a membership function defining a value of the fuzzy variable.

도 5의 예시(510)에서, 선회 반경 R은 적기의 선회 반경에 대한 상대적인 비율로 계산될 수 있다. 부울 규칙에서는 선회 반경 R이 r1(예를 들어, 적기의 80%)보다 작은 경우 "선회 반경 R은 작다"로 표현되고, 선회 반경 R이 r1보다 크거나 같고 r2(예를 들어, 적기의 120%)보다 작은 경우 "선회 반경 R은 비슷하다"로 표현되고, 선회 반경 R이 r2보다 큰 경우 "선회 반경 R은 크다"로 표현될 수 있다. 퍼지 규칙에서는 선회 반경 R이 퍼지 변수로 설정되고, 동일한 퍼지 변수에 대해 선회 반경이 "작다", "비슷하다", "크다"와 같은 다양한 퍼지 집합(Fuzzy set)이 정의될 수 있으며, 각 퍼지 집합은 그래프(511)에 도시된 바와 같이 멤버 함수로 정의될 수 있다. 각 퍼지 집합을 정의하는 멤버 함수들은 그래프(511)에 도시된 바와 같이 겹치는 구간을 가질 수 있어, 예를 들어, 선회 반경이 적기에 비해 80% 정도인 경우, 선회 반경이 적기에 비해 작은 것으로 표현될 수도 있고, 선회 반경이 적기와 비슷한 것으로 표현될 수도 있으며, 선회 반경이 적기에 비해 작은 정도가 0.7, 적기와 비슷한 정도가 0.4로 표현될 수도 있다.In the example 510 of FIG. 5 , the turn radius R may be calculated as a ratio relative to the bandit's turn radius. In the Boolean rule, if the turn radius R is less than r 1 (e.g. 80% of the bandit), it is expressed as "the turn radius R is small", and the turn radius R is greater than or equal to r 1 and equal to r 2 (e.g., If it is less than 120% of the bandit), it can be expressed as "the turning radius R is similar", and when the turning radius R is larger than r 2 , it can be expressed as "the turning radius R is large". In the fuzzy rule, the turning radius R is set as a fuzzy variable, and various fuzzy sets such as "small", "similar", and "large" of the turning radius can be defined for the same fuzzy variable, and each fuzzy A set may be defined as a member function as shown in graph 511 . The member functions defining each fuzzy set may have overlapping sections as shown in the graph 511. For example, when the turning radius is about 80% compared to the bandit, the turning radius is expressed as small compared to the bandit. The turn radius may be expressed as similar to the bandit, and the degree of turning radius smaller than the bandit may be expressed as 0.7, and the degree similar to the bandit may be expressed as 0.4.

마찬가지로, 도 5의 다른 예시(520)에서, 항공기의 에너지 또한 부울 규칙으로 뿐만 아니라 퍼지 규칙으로도 표현될 수 있다. 퍼지 규칙에서 에너지 E가 퍼지 변수로 설정되고, 동일한 퍼지 변수에 대해 에너지가 "높다", "보통", "낮다"와 같은 다양한 퍼지 집합이 정의될 수 있으며, 각 퍼지 집합은 그래프(521)에 도시된 바와 같이 멤버 함수로 정의될 수 있다. Likewise, in another example 520 of FIG. 5 , the energy of an aircraft may also be expressed in terms of a Boolean rule as well as a fuzzy rule. In the fuzzy rule, energy E is set as a fuzzy variable, and various fuzzy sets such as energy “high”, “normal”, and “low” can be defined for the same fuzzy variable, and each fuzzy set is shown in the graph 521 . As shown, it can be defined as a member function.

이처럼 퍼지 규칙은 각 대상이 어떠한 집합에 속하거나 속하지 않는다는 이진법의 논리로부터 벗어나, 각 대상이 그 집합에 속하는 정도를 멤버 함수로서 표현할 수 있으므로, 교범(410)을 행위 트리 구조(420)로 모델링함에 있어서, 교범(410) 상에 모호하게 설명된 부분들(예를 들어, 유리함 판단, 적기(공격기)의 방어기 추적 상태(리드(Lead), 래그(Lag), 퓨어(Pure)) 판단, 방어기의 브레이크 턴(Break turn) 성공 여부 판단, 공격기의 가상 추적 경로 설정 판단 등)을 적응적으로 표현할 수 있다는 장점을 갖는다.In this way, the fuzzy rule breaks away from the binary logic that each object belongs to or does not belong to any set, and the degree to which each object belongs to the set can be expressed as a member function, so the manual 410 is modeled as an action tree structure 420. In this case, the parts vaguely described on the manual 410 (eg, advantageous judgment, the defender tracking status of the bandit (attacker) (Lead, Lag, Pure) judgment, the defender's It has the advantage of being able to adaptively express whether a break turn succeeds or not, and whether an attacker sets a virtual tracking path, etc.).

이하에서, 행위 트리 구조 및 퍼지 규칙을 사용하여 설계된 행위 모델을 기계 학습을 통해 최적화하는 방법을 상세히 설명한다.Hereinafter, a method for optimizing a behavior model designed using the behavior tree structure and fuzzy rules through machine learning will be described in detail.

일 실시예에서, 퍼지 규칙 및 행위 트리 구조에 기반한 행위 모델에서, 퍼지 규칙에 관한 멤버 함수 및 퍼지 변수 중 적어도 하나는 기계 학습을 통해 최적화될 수 있다. 행위 트리 내의 판단 과정이 퍼지 규칙에 따라 구현되는 행위 모델에서, 판단 요소로서 어떤 퍼지 변수를 사용할지, 그리고 각 변수들을 정의하는 멤버 함수를 어떻게 결정하는지는 퍼지 규칙 기반 시스템의 성능에 중요한 영향을 미칠 수 있다. 본 실시예에서, 프로세서(110)는 퍼지 규칙에 관한 멤버 함수 또는 퍼지 변수에 대한 기계 학습을 통해 행위 모델이 주어진 상황에서 적기와의 전투를 유리하게 할 수 있는 최적의 기동을 찾아낼 수 있도록 할 수 있다. 예를 들어, 기계 학습은 행위 모델에 입력되는 다수의 상태 값을 포함하는 트레이닝 데이터 세트로 행위 모델을 트레이닝하여 더 나은 결과를 도출할 수 있도록 행위 모델의 퍼지 규칙에 관한 퍼지 변수 및 멤버 함수를 튜닝할 수 있다.In an embodiment, in a behavior model based on a fuzzy rule and a behavior tree structure, at least one of a member function and a fuzzy variable related to a fuzzy rule may be optimized through machine learning. In a behavior model in which the judgment process in the behavior tree is implemented according to a fuzzy rule, which fuzzy variable to use as a judgment factor and how to determine the member function that defines each variable will have a significant impact on the performance of the fuzzy rule-based system. can In the present embodiment, the processor 110 is to be able to find the optimal maneuver that can advantageously fight the enemy in a given situation by the behavior model through machine learning for member functions or fuzzy variables related to fuzzy rules. can For example, machine learning tunes fuzzy variables and member functions on the fuzzy rules of a behavior model to obtain better results by training the behavior model with a training data set containing multiple state values input to the behavior model. can do.

도 6a 내지 6c는 본 개시에 따른 퍼지 규칙에 관한 멤버 함수 또는 퍼지 변수 중 적어도 하나를 기계 학습을 통해 최적화하는 과정을 설명하는 예시적인 도면이다.6A to 6C are exemplary diagrams for explaining a process of optimizing at least one of a member function and a fuzzy variable related to a fuzzy rule according to the present disclosure through machine learning.

도 6a는 항공기의 기동을 결정할 수 있는 변수로서 설정된 초기 퍼지 변수와, 각 퍼지 변수의 퍼지 집합에 대한 초기 멤버 함수를 도시하는 예시적인 도면이다. 도 6a에 도시된 예시에서 항공기의 선회 반경 및 에너지가 초기 퍼지 변수로 설정되었고, 선회 반경의 퍼지 집합인 "작다", "비슷하다", "크다", 및 에너지의 퍼지 집합인 "낮음", "보통", "높음"에 대한 초기 멤버 함수가 각각 도시된다. 6A is an exemplary diagram illustrating an initial fuzzy variable set as a variable capable of determining the maneuvering of an aircraft, and an initial member function for a fuzzy set of each fuzzy variable. In the example shown in Fig. 6a, the turn radius and energy of the aircraft were set as initial fuzzy variables, the fuzzy sets of turning radii "small", "similar", "larger", and the fuzzy sets of energy "low", The initial member functions for "Normal" and "High" are shown respectively.

도 6b는 퍼지 변수를 정의하는 멤버 함수가 기계 학습을 통해 최적화된 예시적인 결과를 도시한다. 도 6b에 도시된 예시에서 퍼지 변수인 선회 반경과 에너지에 대한 각각의 퍼지 집합을 정의하는 멤버 함수가 기계 학습을 통해 변경되었다. 퍼지 변수인 선회 반경과 에너지에 대한 각각의 퍼지 집합을 정의하는 퍼지 집합의 구간 값과 그래프의 모양이 변경되었다.6B shows an exemplary result in which a member function defining a fuzzy variable is optimized through machine learning. In the example shown in FIG. 6B , member functions defining each fuzzy set for fuzzy variables such as turning radius and energy were changed through machine learning. The section value of the fuzzy set defining each fuzzy set for the fuzzy variables, turning radius and energy, and the shape of the graph were changed.

도 6c는 퍼지 변수 및 퍼지 변수를 정의하는 멤버 함수가 기계 학습을 통해 최적화된 다른 예시적인 결과를 도시한다. 도 6c에 도시된 예시에서 퍼지 변수인 선회 반경과 에너지에 대한 각각의 퍼지 집합을 정의하는 멤버 함수가 기계 학습을 통해 변경되었다. 퍼지 변수인 선회 반경과 에너지에 대한 각각의 퍼지 집합을 정의하는 퍼지 집합의 구간 값과 그래프의 모양이 변경되었다. 또한, 일 실시예에서, 도 6c에 도시된 바와 같이, 퍼지 변수가 최적화되는 것은 기동 행위에 영향을 미치는 퍼지 변수가 달라지는 것을 포함할 수 있다. 본 예시에서 항공기의 기동을 결정할 수 있는 퍼지 변수로서 항공기 사이의 거리가 기계 학습을 통해 추가되었다. 이처럼 행위 트리의 특정 제어 흐름 노드에서 판단에 영향을 미치는 변수의 종류도 기계 학습을 통해 최적화됨으로써 추가되거나 제거될 수 있다. 6C shows another exemplary result in which a fuzzy variable and a member function defining a fuzzy variable are optimized through machine learning. In the example shown in FIG. 6C, member functions defining each fuzzy set for fuzzy variables such as turning radius and energy were changed through machine learning. The section value of the fuzzy set defining each fuzzy set for the fuzzy variables, turning radius and energy, and the shape of the graph were changed. Also, in one embodiment, as shown in FIG. 6C , optimizing the fuzzy variable may include changing the fuzzy variable affecting the maneuvering behavior. In this example, the distance between the aircraft is added through machine learning as a fuzzy variable that can determine the maneuvering of the aircraft. As such, the types of variables that affect judgment in a specific control flow node of the behavior tree can also be added or removed by optimizing them through machine learning.

도 6a 내지 6c를 통해 퍼지 규칙에 관한 멤버 함수 또는 퍼지 변수 중 적어도 하나를 기계 학습을 통해 최적화하는 과정이 설명되었지만, 통상의 기술자는 본 도면이 예시적인 것일 뿐 본 발명의 구성을 제한하려는 것이 아님을 이해할 것이다.Although the process of optimizing at least one of a member function or a fuzzy variable related to a fuzzy rule through machine learning has been described with reference to FIGS. 6A to 6C , it is not intended to limit the configuration of the present invention to those skilled in the art. will understand

일 실시예에서, 퍼지 규칙에 관한 멤버 함수 또는 퍼지 변수 중 적어도 하나를 최적화하는 기계 학습은 유전 알고리즘을 포함할 수 있다. 유전 알고리즘은 자연 세계의 진화 과정에 기초한 계산 모델로서, 생물의 진화를 모방한 진화 연산의 대표적인 기법으로, 선택, 교차, 변이, 대치와 같이 실제 자연 세계의 진화 과정에서 많은 부분을 채용한 전역 최적화 기법이다. 유전 알고리즘을 통해 문제를 풀 때, 해를 유전자 또는 염색체의 형식으로 표현할 수 있고, 이 해가 얼마나 적합한지를 적합도 함수(fitness function)을 통해 계산할 수 있다. In one embodiment, machine learning for optimizing at least one of a fuzzy variable or a member function for a fuzzy rule may include a genetic algorithm. A genetic algorithm is a computational model based on the evolutionary process of the natural world. It is a representative technique of evolutionary computation that mimics the evolution of living things. Global optimization employs many parts in the evolutionary process of the real natural world, such as selection, crossover, mutation, and substitution. is a technique When solving a problem through a genetic algorithm, the solution can be expressed in the form of a gene or chromosome, and how appropriate this solution is can be calculated through a fitness function.

도 7은 본 개시에 따른 퍼지 규칙에 관한 멤버 함수를 유전 알고리즘을 사용하여 최적화하는 프로세스를 나타내는 예시적인 도면이다.7 is an exemplary diagram illustrating a process for optimizing a member function for a fuzzy rule using a genetic algorithm according to the present disclosure.

도 7을 참조하면, 본 발명의 일 실시예에 따른 항공기의 상대 에너지와 상대 고도에 따라 아군기가 유리, 불리, 또는 대등한지 판단하여 최적의 기동을 결정함에 있어서 퍼지 규칙과 유전 알고리즘을 적용하는 프로세스가 도시된다. Referring to FIG. 7 , a process of applying a fuzzy rule and a genetic algorithm in determining an optimal maneuver by determining whether a friendly aircraft is advantageous, disadvantageous, or equal according to the relative energy and relative altitude of the aircraft according to an embodiment of the present invention is shown

본 실시예에서, "상대 에너지가 크고(L), 상대 고도가 크다면(L) 유리하다", "상대 에너지가 보통이고(M), 상대 고도가 크다면(L) 대등하다", "상대 에너지가 작고(S), 상대 고도가 크다면(L) 불리하다"와 같은 판단을 하기 위해서, 먼저 아군기의 유리, 대등, 불리를 판단하기 위한 퍼지 변수로서 상대 에너지 및 상대 고도가 설정되고, 퍼지 변수 상대 에너지 및 상대 고도에 대한 멤버 함수가 정의될 수 있다. 멤버 함수를 정의할 때, 퍼지 변수의 상대 에너지 및 상대 고도에 대한 각 퍼지 집합("크다(L)", "보통(M)", "작다(S)")을 정의하는 멤버 함수의 구간값(X1, X2, X3)의 초기 분포(initial population)을 설정하고, 상이한 구간값을 갖는 다수의 염색체(Chromosome 1, Chromosome 2, ... , Choromosome N)를 생성할 수 있다. 프로세서(110)는 초기 생성된 N개의 염색체에 적합도 함수를 적용하여 우수 염색체를 선택하고, 우수 염색체 간 교차 및 변이를 적용하여 세로운 세대를 구성할 수 있다. 프로세서(110)는 이와 같은 적합도 함수를 통한 평가를 세대에 걸쳐 반복함으로써 최적의 염색체를 선정할 수 있다. 최적의 염색체에 대응하는 상대 에너지 및 상대 고도의 멤버 함수의 구간값을 기초로 하여, 상대 에너지 및 상대 고도의 상태 값으로부터 아군기가 유리한지, 불리한지, 또는 대등한지 판단하고 이에 따른 기동 행위를 결정할 수 있다. 예를 들어, 아군기가 유리하거나 대등하다고 판단되면 Two Circle로 적의 3/9 후방에 위치하는 추적점을 생성할 수 있고, 아군기가 불리하다고 판단되면 One Circle로 적의 3/9 후방에 위치하는 추적점을 생성할 수 있다.In this embodiment, "It is advantageous if the relative energy is large (L) and the relative altitude is large (L)", "If the relative energy is moderate (M) and the relative altitude is large (L), it is equal", "Relative In order to make a judgment such as "It is disadvantageous if the energy is small (S) and the relative altitude is large (L)," the relative energy and the relative altitude are set as fuzzy variables for judging the advantage, equal, and disadvantage of the friendly plane first, and the fuzzy Member functions can be defined for the variables relative energy and relative altitude. When defining a member function, the interval value of the member function defining each fuzzy set ("large(L)", "medium(M)", "small(S)") for the relative energies and relative elevations of the fuzzy variables. An initial population of (X 1 , X 2 , X 3 ) can be established, and a plurality of chromosomes (Chromosome 1, Chromosome 2, ... , Choromosome N) with different interval values can be generated. The processor 110 may select an excellent chromosome by applying a fitness function to the initially generated N chromosomes, and may configure a new generation by applying crossover and mutation between excellent chromosomes. The processor 110 may select an optimal chromosome by repeating the evaluation through such a fitness function over generations. Based on the interval value of the member function of the relative energy and the relative altitude corresponding to the optimal chromosome, it is determined whether the ally is advantageous, unfavorable, or equal from the state value of the relative energy and the relative altitude, and the maneuvering behavior is determined accordingly can For example, if the friendly flag is judged to be advantageous or equal, a tracking point located 3/9 behind the enemy can be created with Two Circle, and a tracking point located 3/9 behind the enemy can be created with One Circle when it is judged that the friendly plane is unfavorable. can create

다시 도 1을 참조하면, 일 실시예에 따라, 프로세서(110)는 행위 모델에서 결정된 기동 행위에 대응하는 추적점을 생성하고, 생성된 추적점에 따라 항공기의 조종을 제어할 수 있다. 프로세서(110)는 조종 제어 모델을 통해 앞서 행위 모델에 기초하여 결정된 기동 행위를 수행하기 위한 추적점을 생성하고 이를 따라 항공기의 조종을 제어하기 위한 조종 명령 값을 도출할 수 있다.Referring back to FIG. 1 , according to an embodiment, the processor 110 may generate a tracking point corresponding to the maneuvering behavior determined in the behavior model, and control the operation of the aircraft according to the generated tracking point. The processor 110 may generate a tracking point for performing a maneuvering action previously determined based on the behavior model through the steering control model, and may derive a steering command value for controlling the operation of the aircraft according to this.

도 8은 본 개시에 따른 조종 제어 모델 및 비행 제어 모델이 동작하는 프로세스를 개략적으로 도시한 도면이다. 8 is a diagram schematically illustrating a process in which a steering control model and a flight control model according to the present disclosure operate.

도 8을 참조하면, 프로세서(110)는 조종 제어 모델(810)을 통해 행위 모델에서 선택한 기동을 수행하기 위해 목표 기동을 입력받아 추적점을 생성하여 최종적으로 조종 명령값을 생성할 수 있다. 전술한 바와 같이, 행위 모델에서 아군 전투기의 적기에 대한 상황 판단에 따라 유리한 전술/기동 행위를 결정하고, 조종 제어 모델에서는 입력받은 전술/기동 행위를 취하기 위해 실제로 전투기가 어느 위치로 이동해야 할지를 나타내는 추적점으로 설정할 수 있다. 추적점의 생성에는 행위 모델에서 결정된 기동 행위 뿐만 아니라 실제 비행 또는 시뮬레이터 구현을 통해 획득되는 복수의 전투기 간의 위치 기하학을 포함하는 행위 판단을 위한 상태 값도 입력으로 사용될 수 있다. 또한, 추적점의 생성에는 항공기의 에너지 관리, 선회 반경과 그 중심점, 무기 거동 특성 또한 고려될 수 있다. 조종 제어 모델(810)은 생성된 추적점을 따라 이동하기 위한 조종 명령 값으로 스틱(stick), 스로틀(throttle), 러더(rudder) 등의 값을 도출하여 비행 제어 모델(820)에 제공할 수 있다.Referring to FIG. 8 , the processor 110 may receive a target maneuver to perform a maneuver selected from the behavior model through the steering control model 810 , generate a tracking point, and finally generate a steering command value. As described above, in the behavior model, advantageous tactical/mobile actions are determined according to the situational judgment of the friendly fighter's bandit, and in the control control model, it indicates to which position the fighter should actually move to take the input tactical/maneuvering action. It can be set as a tracking point. In the generation of the tracking point, not only the maneuvering behavior determined from the behavior model, but also a state value for behavior determination including position geometry between a plurality of fighters obtained through actual flight or simulator implementation may be used as input. In addition, the energy management of the aircraft, the turning radius and its center point, and the weapon behavior characteristics may also be considered in the generation of the tracking point. The steering control model 810 derives values such as a stick, a throttle, and a rudder as a steering command value for moving along the generated tracking point, and provides it to the flight control model 820. have.

도 9는 본 개시에 따른 항공기의 추적점 유도 제어를 도시하는 예시적인 도면이다.9 is an exemplary diagram illustrating tracking point guidance control of an aircraft according to the present disclosure.

도 9와 이에 대한 확대도(900)를 참조하면, 항공기가 앞서 행위 모델에서 결정된 전술/기동을 취하기 위해 이동해야 하는 위치를 나타내는 추적점이 초록색 점으로 표시될 수 있다. 붉은 선은 추적점의 궤적을, 푸른 선은 실제 전투기의 궤적을 의미하며, 초록색 점들과 그에 연결된 점선들은 각 시점에서의 추적점과 전투기 사이의 관계를 나타낸다. 이와 같이 프로세서(110)는 조종 제어 모델(810)을 사용하여 추적점을 생성하고, 그 추적점을 따라 이동하기 위한 조종 명령 값을 생성할 수 있다.Referring to FIG. 9 and an enlarged view 900 thereof, a tracking point indicating a position where the aircraft needs to move in order to take the tactic/maneuver previously determined in the behavior model may be displayed as a green dot. The red line indicates the trajectory of the tracking point, the blue line indicates the trajectory of the actual fighter, and the green dots and the dotted lines connected thereto indicate the relationship between the tracking point and the fighter at each time point. In this way, the processor 110 may generate a tracking point using the steering control model 810 and generate a steering command value for moving along the tracking point.

다시 도 8을 참조하면, 비행 제어 모델(820)은 조종 명령 값을 기반으로 항공기의 움직임을 결정할 수 있다. 비행 제어 모델(820)은 추진 시스템, 동역학, 비행 안정/조종성 제어 등의 시뮬레이션을 수행하여 최종적인 기체의 움직임을 결정할 수 있다. 프로세서(110)는 비행 제어 모델(820)의 조종 시뮬레이션 결과를 반영하여 다음 상태를 결정하고, 행위 판단을 위한 상태 값은 조종 시뮬레이션의 결과에 기초하여 업데이트될 수 있다.Referring back to FIG. 8 , the flight control model 820 may determine the movement of the aircraft based on the steering command value. The flight control model 820 may determine the final aircraft movement by performing simulations of the propulsion system, dynamics, flight stability/maneuverability control, and the like. The processor 110 may determine a next state by reflecting the result of the piloting simulation of the flight control model 820 , and the state value for determining the behavior may be updated based on the result of the piloting simulation.

도 10은 본 개시에 따른 항공기의 조종을 제어하는 장치가 동작하는 프로세스를 나타내는 전반적인 아키텍처를 도시한다.10 shows an overall architecture representing a process by which an apparatus for controlling the steering of an aircraft according to the present disclosure operates.

항공기의 조종을 제어하는 장치는 다양한 센서로부터 행위 판단을 위한 입력 값을 획득하고 센서 데이터를 가공하여 행위 판단 상태 값인 피처 데이터를 추출할 수 있다. 행위 모델(1010)에서는 행위 트리, 퍼지 규칙, 기계 학습을 활용하여 항공기가 피처 데이터를 기반으로 어떤 기동을 하여야 적기보다 유리한 상황을 선점할 수 있을지를 반영한 교범에 기반한 동작 계획을 결정할 수 있다. 조종 제어 모델(1020)에서는 행위 모델(1010)에서 결정된 기동 행위를 수행하기 위해 항공기가 이동할 위치를 나타내는 추적점을 생성하고 그 추적점으로 이동하기 위한 조종 명령 값인 스틱, 스로틀, 러더 값을 도출할 수 있다. 비행 제어 모델(1030)에서는 조종 제어 모델(1020)에서 도출된 조종 명령 값을 기반으로 기체의 움직임을 결정할 수 있다.An apparatus for controlling the operation of an aircraft may obtain input values for action determination from various sensors and process the sensor data to extract feature data that is a action determination state value. In the behavior model 1010, an action tree, fuzzy rules, and machine learning are utilized to determine an action plan based on a manual that reflects what maneuver an aircraft must perform based on feature data to preempt a situation more advantageous than the bandit. In the steering control model 1020, a tracking point indicating the position to which the aircraft will move to perform the maneuvering action determined in the behavior model 1010 is generated, and the stick, throttle, and rudder values, which are steering command values for moving to the tracking point, are derived. can In the flight control model 1030 , the movement of the aircraft may be determined based on the steering command value derived from the steering control model 1020 .

도 11은 본 개시에 따른 제어 장치의 동작 방법을 도시한다.11 illustrates a method of operating a control device according to the present disclosure.

도 11의 동작 방법의 각 단계는 도 1의 제어 장치(100)에 의해 수행될 수 있으므로, 도 1과 중복되는 내용에 대해서는 설명을 생략한다.Since each step of the operation method of FIG. 11 may be performed by the control device 100 of FIG. 1 , a description of the content overlapping with that of FIG. 1 will be omitted.

단계 S1110에서, 제어 장치(100)는 항공기에 관한 데이터 및 항공기 주변 환경에 관한 데이터 중 적어도 하나를 획득할 수 있다. 일 실시예에서, 제어 장치(100)는 항공기에 관한 데이터(예를 들어, 항공기의 위치, 연료량) 및 주변 환경에 관한 데이터(예를 들어, 적기의 위치)를 센서를 통해 획득할 수 있다. 센서는 Vision 센서, RADAR 센서, GPS/INS 센서 등을 포함할 수 있으며, 센서의 종류에 따라 획득할 수 있는 데이터의 종류와 품질이 달라질 수 있다. In operation S1110, the control device 100 may acquire at least one of data about the aircraft and data about the environment around the aircraft. In an embodiment, the control device 100 may obtain data about the aircraft (eg, the position of the aircraft, the amount of fuel) and data about the surrounding environment (eg, the position of the bandit) through the sensor. The sensor may include a vision sensor, a RADAR sensor, a GPS/INS sensor, and the like, and the type and quality of data that can be acquired may vary depending on the type of sensor.

단계 S1120에서, 제어 장치(100)는 획득된 데이터로부터 행위 판단을 위한 상태 값을 추출할 수 있다. 일 실시예에서 행위 판단을 위한 상태 값은 획득한 센서 데이터로부터 추출한 피처 데이터일 수 있으며, 이러한 피처 데이터는 항공기와 다른 항공기 사이의 상대적인 위치를 나타내는 위치 기하학 정보, 남은 연료 에너지, 현재 속도 데이터 등을 포함할 수 있다. 일 실시예에서 행위 판단을 위한 상태 값은 복수의 항공기 간의 거리, 측면각, 기수교차각 및 안테나 조준각 중 적어도 하나를 포함할 수 있다.In operation S1120, the control device 100 may extract a state value for action determination from the obtained data. In an embodiment, the state value for determining the behavior may be feature data extracted from acquired sensor data, and the feature data includes positional geometry information indicating the relative position between the aircraft and other aircraft, remaining fuel energy, current speed data, etc. may include In an embodiment, the state value for determining the behavior may include at least one of a distance between a plurality of aircraft, a side angle, a nose crossing angle, and an antenna aiming angle.

단계 S1130에서, 제어 장치(100)는 퍼지 규칙 및 행위 트리 구조에 기반한 행위 모델에 기초하여, 상태 값으로부터 항공기의 기동 행위를 결정할 수 있다. 행위 모델은 앞에서 획득한 행위 판단을 위한 상태 값을 기반으로 전투를 유리하게 하기 위한 최적의 기동 행위를 출력하기 위해 사용될 수 있다. 행위 모델은 행위 트리 구조와 퍼지 규칙을 사용하여 설계될 수 있다. 행위 모델은 교범에 기초하여 모델링되는 행위 트리 구조에 기반하고, 행위 모델 내에서 적어도 하나의 판단 과정이 상기 퍼지 규칙에 따라 구현될 수 있다. 행위 트리는 교범 분석을 기반으로 행위 판단을 위해 설계한 트리 구조를 의미하고, 퍼지 규칙은 교범 상에 모호하게 설명되어 있는 부분들(예를 들어, 적기와의 상태에서 유리함(Superior) 판단)을 표현하는 논리 구조로서, 행위 트리 구조에서 교범 상에 모호하게 설명된 조건 하에서 의사 결정을 내리는 데 사용될 수 있다. 행위 트리 구조와 퍼지 규칙을 사용하여 설계된 초기 모델은 기계 학습을 통해 최적화될 수 있으며, 기계 학습은 생물의 진화를 모방한 진화 연산의 대표적인 기법으로서 유전 알고리즘을 포함할 수 있다.In operation S1130, the control device 100 may determine the maneuvering behavior of the aircraft from the state value based on the behavior model based on the fuzzy rule and the behavior tree structure. The behavior model can be used to output the optimal maneuvering behavior to favor the battle based on the state value for the behavior judgment obtained earlier. Behavior models can be designed using behavior tree structures and fuzzy rules. The behavior model is based on a behavior tree structure that is modeled based on a manual, and at least one decision process in the behavior model may be implemented according to the fuzzy rule. The action tree means a tree structure designed for action judgment based on the analysis of the manual, and the fuzzy rule expresses the parts vaguely described in the manual (for example, judgment of superiority in the state of the bandit) It is a logical structure that can be used to make decisions under conditions vaguely described in the manual in an action tree structure. An initial model designed using the behavior tree structure and fuzzy rules can be optimized through machine learning, and machine learning can include genetic algorithms as a representative technique of evolutionary computation that mimics the evolution of living things.

단계 S1140에서, 제어 장치(100)는 기동 행위에 대응하는 추적점을 생성할 수 있다. 제어 장치(100)는 앞서 행위 모델에 기초하여 결정된 기동 행위를 수행하기 위한 추적점을 생성하고, 이를 따라 항공기의 조종을 제어하기 위한 조종 명령 값을 도출할 수 있다.In step S1140 , the control device 100 may generate a tracking point corresponding to a maneuvering action. The control device 100 may generate a tracking point for performing the maneuvering behavior determined based on the behavior model above, and may derive a steering command value for controlling the operation of the aircraft according to this.

단계 S1150에서, 제어 장치(100)는 추적점에 따라 항공기의 조종을 제어할 수 있다. 제어 장치(100)는 조종 명령 값을 기반으로 항공기의 움직임을 결정할 수 있다.In operation S1150, the control device 100 may control the operation of the aircraft according to the tracking point. The control device 100 may determine the movement of the aircraft based on the steering command value.

전술한 실시 예들에 따른 전자 장치 또는 단말은, 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-Access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다. The electronic device or terminal according to the above-described embodiments includes a processor, a memory for storing and executing program data, a permanent storage such as a disk drive, a communication port for communicating with an external device, a touch panel, and a key (key) , a user interface device such as a button, and the like. Methods implemented as software modules or algorithms may be stored on a computer-readable recording medium as computer-readable codes or program instructions executable on the processor. Herein, the computer-readable recording medium includes a magnetic storage medium (eg, read-only memory (ROM), random-access memory (RAM), floppy disk, hard disk, etc.) and an optically readable medium (eg, CD-ROM). ), and DVD (Digital Versatile Disc)). The computer-readable recording medium is distributed among computer systems connected through a network, so that the computer-readable code can be stored and executed in a distributed manner. The medium may be readable by a computer, stored in a memory, and executed on a processor.

본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.This embodiment may be represented by functional block configurations and various processing steps. These functional blocks may be implemented in any number of hardware and/or software configurations that perform specific functions. For example, an embodiment may be an integrated circuit configuration, such as memory, processing, logic, look-up table, etc., capable of executing various functions by the control of one or more microprocessors or other control devices. can be hired Similar to how components may be implemented as software programming or software components, this embodiment includes various algorithms implemented in a combination of data structures, processes, routines or other programming constructs, including C, C++, Java ( Java), assembler, etc. may be implemented in a programming or scripting language. Functional aspects may be implemented in an algorithm running on one or more processors. In addition, the present embodiment may employ the prior art for electronic environment setting, signal processing, and/or data processing. Terms such as “mechanism”, “element”, “means” and “configuration” may be used broadly and are not limited to mechanical and physical configurations. The term may include the meaning of a series of routines of software in association with a processor or the like.

전술한 실시예들은 일 예시일 뿐 후술하는 청구항들의 범위 내에서 다른 실시예들이 구현될 수 있다.The above-described embodiments are merely examples, and other embodiments may be implemented within the scope of the claims to be described later.

Claims (11)

항공기의 조종을 제어하는 방법으로서,
상기 항공기에 관한 데이터 및 상기 항공기 주변 환경에 관한 데이터 중 적어도 하나를 획득하는 단계;
상기 획득된 데이터로부터 행위 판단을 위한 상태 값을 추출하는 단계;
퍼지 규칙 및 행위 트리 구조에 기반한 행위 모델에 기초하여, 상기 상태 값으로부터 상기 항공기의 기동 행위를 결정하는 단계;
상기 기동 행위에 대응하는 추적점을 생성하는 단계; 및
상기 추적점에 따라 상기 항공기의 조종을 제어하는 단계를 포함하는, 항공기의 조종을 제어하는 방법.
A method of controlling the operation of an aircraft, comprising:
acquiring at least one of data about the aircraft and data about an environment around the aircraft;
extracting a state value for action determination from the obtained data;
determining the maneuvering behavior of the aircraft from the state value based on a behavior model based on a fuzzy rule and a behavior tree structure;
generating a tracking point corresponding to the maneuvering action; and
and controlling the maneuvering of the aircraft according to the tracking point.
제1항에 있어서,
상기 행위 모델은, 교범에 기초하여 모델링되는 행위 트리 구조에 기반하고, 상기 행위 모델 내에서 적어도 하나의 판단 과정이 상기 퍼지 규칙에 따라 구현되는, 항공기의 조종을 제어하는 방법.
According to claim 1,
wherein the behavior model is based on a behavior tree structure modeled based on a manual, and at least one decision process is implemented according to the fuzzy rule in the behavior model.
제2항에 있어서,
상기 퍼지 규칙에 관한 멤버 함수 및 퍼지 변수 중 적어도 하나는 기계 학습을 통해 최적화되는, 항공기의 조종을 제어하는 방법.
3. The method of claim 2,
wherein at least one of a member function and a fuzzy variable for the fuzzy rule is optimized through machine learning.
제3항에 있어서,
상기 기계 학습은 유전 알고리즘을 포함하는, 항공기의 조종을 제어하는 방법.
4. The method of claim 3,
wherein the machine learning comprises a genetic algorithm.
제3항에 있어서,
상기 퍼지 변수가 최적화되는 것은 상기 기동 행위에 영향을 미치는 퍼지 변수가 달라지는 것을 포함하는, 항공기의 조종을 제어하는 방법.
4. The method of claim 3,
wherein optimizing the fuzzy variable comprises varying a fuzzy variable affecting the maneuvering behavior.
제1항에 있어서,
상기 항공기의 조종을 제어하는 단계는:
상기 추적점으로부터 상기 항공기의 조종 명령 값을 생성하는 단계; 및
상기 조종 명령 값을 기반으로 항공기의 조종 시뮬레이션을 수행하는 단계를 포함하는 것을 특징으로 하는, 항공기의 조종을 제어하는 방법.
According to claim 1,
Controlling the flight of the aircraft comprises:
generating a steering command value of the aircraft from the tracking point; and
The method of claim 1, comprising the step of performing a piloting simulation of the aircraft based on the steering command value.
제6항에 있어서,
상기 상태 값은 상기 조종 시뮬레이션의 결과에 기초하여 업데이트되는 것을 특징으로 하는, 항공기의 조종을 제어하는 방법.
7. The method of claim 6,
and the state value is updated based on a result of the piloting simulation.
제1항에 있어서,
상기 상태 값은 복수의 항공기 간의 거리, 측면각, 기수교차각 및 안테나 조준각 중 적어도 하나를 포함하는, 항공기의 조종을 제어하는 방법.
According to claim 1,
The state value includes at least one of a distance between a plurality of aircraft, a side angle, a nose cross angle, and an antenna aiming angle.
제1항에 있어서,
상기 항공기의 기동 행위를 결정하는 단계는 기 설정된 주기마다 기동 행위를 결정하고, 상기 주기는 상기 획득된 데이터의 변화량에 따라 다르게 설정되는 것을 특징으로 하는, 항공기의 조종을 제어하는 방법.
According to claim 1,
In the determining of the maneuvering behavior of the aircraft, the maneuvering behavior is determined at each preset period, and the period is set differently according to the amount of change in the acquired data.
비일시적 컴퓨터 판독 가능 저장 매체로서,
컴퓨터 판독 가능 명령어들을 저장하도록 구성되는 매체를 포함하고,
상기 컴퓨터 판독 가능 명령어들은 프로세서에 의해 실행되는 경우 상기 프로세서가:
항공기에 관한 데이터 및 상기 항공기 주변 환경에 관한 데이터 중 적어도 하나를 획득하는 단계;
상기 획득된 데이터로부터 행위 판단을 위한 상태 값을 추출하는 단계;
퍼지 규칙 및 행위 트리 구조에 기반한 행위 모델에 기초하여, 상기 상태 값으로부터 상기 항공기의 기동 행위를 결정하는 단계;
상기 기동 행위에 대응하는 추적점을 생성하는 단계; 및
상기 추적점에 따라 상기 항공기의 조종을 제어하는 단계를 포함하는,
항공기의 조종을 제어하는 방법을 수행하도록 하는, 비일시적 컴퓨터 판독 가능 저장 매체.
A non-transitory computer-readable storage medium comprising:
A medium configured to store computer readable instructions, comprising:
The computer readable instructions, when executed by a processor, cause the processor to:
acquiring at least one of data about the aircraft and data about the environment around the aircraft;
extracting a state value for action determination from the obtained data;
determining the maneuvering behavior of the aircraft from the state value based on a behavior model based on a fuzzy rule and a behavior tree structure;
generating a tracking point corresponding to the maneuvering action; and
controlling the maneuvering of the aircraft according to the tracking point;
A non-transitory computer-readable storage medium configured to perform a method of controlling the operation of an aircraft.
적어도 하나의 명령어(instruction)를 저장하는 메모리; 및
상기 적어도 하나의 명령어를 실행함으로써, 항공기에 관한 데이터 및 상기 항공기 주변 환경에 관한 데이터 중 적어도 하나를 획득하고, 상기 획득된 데이터로부터 행위 판단을 위한 상태 값을 추출하고, 퍼지 규칙 및 행위 트리 구조에 기반한 행위 모델에 기초하여, 상기 상태 값으로부터 상기 항공기의 기동 행위를 결정하고, 상기 기동 행위에 대응하는 추적점을 생성하고, 상기 추적점에 따라 상기 항공기의 조종을 제어하는 프로세서(processor)를 포함하는, 항공기의 조종 제어 장치.
a memory for storing at least one instruction; and
By executing the at least one command, at least one of data about the aircraft and data about the environment around the aircraft is obtained, a state value for action determination is extracted from the obtained data, and a fuzzy rule and an action tree structure are and a processor for determining the maneuvering behavior of the aircraft from the state value based on the behavior model based on the state value, generating a tracking point corresponding to the maneuvering behavior, and controlling the operation of the aircraft according to the tracking point. that is, the aircraft's steering control device.
KR1020210045910A 2021-04-08 2021-04-08 Control device for piloting aircraft and operation method thereof KR102266184B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210045910A KR102266184B1 (en) 2021-04-08 2021-04-08 Control device for piloting aircraft and operation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210045910A KR102266184B1 (en) 2021-04-08 2021-04-08 Control device for piloting aircraft and operation method thereof

Publications (1)

Publication Number Publication Date
KR102266184B1 true KR102266184B1 (en) 2021-06-18

Family

ID=76623722

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210045910A KR102266184B1 (en) 2021-04-08 2021-04-08 Control device for piloting aircraft and operation method thereof

Country Status (1)

Country Link
KR (1) KR102266184B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116339130A (en) * 2023-05-25 2023-06-27 中国人民解放军国防科技大学 Flight task data acquisition method, device and equipment based on fuzzy rule
KR102559608B1 (en) * 2022-12-09 2023-07-26 국방과학연구소 Learning method for controlling unmanned aerial vehicle and electronic device for performing the same
KR102617826B1 (en) * 2023-05-17 2023-12-27 국방과학연구소 Learning method for aircraft control and electronic apparatus thereof
KR102617822B1 (en) * 2023-05-31 2023-12-27 국방과학연구소 Learning method for aircraft control and electronic apparatus thereof
KR102617794B1 (en) * 2023-05-17 2023-12-27 국방과학연구소 Learning method for aircraft control and electronic apparatus therefor
KR102664600B1 (en) * 2023-10-11 2024-05-13 국방과학연구소 Method for determining behavior of aircraft and electronic apparatus therefor
KR102667099B1 (en) * 2023-03-10 2024-05-20 한화시스템 주식회사 Apparatus for controlling engagement using artificial intelligence, naval vessel having the same and method for controlling engagement

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170106191A (en) * 2016-03-10 2017-09-20 더 보잉 컴파니 Automated flight throttle control

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170106191A (en) * 2016-03-10 2017-09-20 더 보잉 컴파니 Automated flight throttle control

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102559608B1 (en) * 2022-12-09 2023-07-26 국방과학연구소 Learning method for controlling unmanned aerial vehicle and electronic device for performing the same
KR102667099B1 (en) * 2023-03-10 2024-05-20 한화시스템 주식회사 Apparatus for controlling engagement using artificial intelligence, naval vessel having the same and method for controlling engagement
KR102617826B1 (en) * 2023-05-17 2023-12-27 국방과학연구소 Learning method for aircraft control and electronic apparatus thereof
KR102617794B1 (en) * 2023-05-17 2023-12-27 국방과학연구소 Learning method for aircraft control and electronic apparatus therefor
CN116339130A (en) * 2023-05-25 2023-06-27 中国人民解放军国防科技大学 Flight task data acquisition method, device and equipment based on fuzzy rule
CN116339130B (en) * 2023-05-25 2023-09-15 中国人民解放军国防科技大学 Flight task data acquisition method, device and equipment based on fuzzy rule
KR102617822B1 (en) * 2023-05-31 2023-12-27 국방과학연구소 Learning method for aircraft control and electronic apparatus thereof
KR102664600B1 (en) * 2023-10-11 2024-05-13 국방과학연구소 Method for determining behavior of aircraft and electronic apparatus therefor

Similar Documents

Publication Publication Date Title
KR102266184B1 (en) Control device for piloting aircraft and operation method thereof
Ernest et al. Genetic fuzzy based artificial intelligence for unmanned combat aerial vehicle control in simulated air combat missions
Hu et al. Application of deep reinforcement learning in maneuver planning of beyond-visual-range air combat
Ngai et al. A multiple-goal reinforcement learning method for complex vehicle overtaking maneuvers
CN111240353B (en) Unmanned aerial vehicle collaborative air combat decision method based on genetic fuzzy tree
CN113705102B (en) Deduction simulation system, deduction simulation method, deduction simulation equipment and deduction simulation storage medium for sea-air cluster countermeasure
Vlahov et al. On developing a uav pursuit-evasion policy using reinforcement learning
Eklund et al. Implementing and testing a nonlinear model predictive tracking controller for aerial pursuit/evasion games on a fixed wing aircraft
CN105678030B (en) Divide the air-combat tactics team emulation mode of shape based on expert system and tactics tactics
CN110928329A (en) Multi-aircraft track planning method based on deep Q learning algorithm
Svec et al. Automated synthesis of action selection policies for unmanned vehicles operating in adverse environments
CN115291625A (en) Multi-unmanned aerial vehicle air combat decision method based on multi-agent layered reinforcement learning
CN113741500A (en) Unmanned aerial vehicle air combat maneuver decision method for imitating Harris eagle intelligent predation optimization
JP6207908B2 (en) Aircraft management apparatus, aircraft, and aircraft management method
CN111773722B (en) Method for generating maneuver strategy set for avoiding fighter plane in simulation environment
Wang et al. Deep reinforcement learning-based air combat maneuver decision-making: literature review, implementation tutorial and future direction
CN113625569A (en) Small unmanned aerial vehicle prevention and control hybrid decision method and system based on deep reinforcement learning and rule driving
CN113671825A (en) Maneuvering intelligent decision missile avoidance method based on reinforcement learning
Duan et al. Autonomous maneuver decision for unmanned aerial vehicle via improved pigeon-inspired optimization
Xianyong et al. Research on maneuvering decision algorithm based on improved deep deterministic policy gradient
Qian et al. H3E: Learning air combat with a three-level hierarchical framework embedding expert knowledge
CN117291254A (en) Agent task allocation training method based on imitation learning and safety reinforcement learning
Karneeb et al. Distributed discrepancy detection for a goal reasoning agent in beyond-visual-range air combat
Kong et al. Multi-ucav air combat in short-range maneuver strategy generation using reinforcement learning and curriculum learning
CN115730630A (en) Control method and device of intelligent agent, electronic equipment and storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant