KR20240048839A - 가상 타겟의 적응적 모의가 가능한 가상 훈련 장치 및 이를 이용하는 훈련 방법 - Google Patents
가상 타겟의 적응적 모의가 가능한 가상 훈련 장치 및 이를 이용하는 훈련 방법 Download PDFInfo
- Publication number
- KR20240048839A KR20240048839A KR1020220128638A KR20220128638A KR20240048839A KR 20240048839 A KR20240048839 A KR 20240048839A KR 1020220128638 A KR1020220128638 A KR 1020220128638A KR 20220128638 A KR20220128638 A KR 20220128638A KR 20240048839 A KR20240048839 A KR 20240048839A
- Authority
- KR
- South Korea
- Prior art keywords
- virtual
- training
- scenario
- target
- virtual target
- Prior art date
Links
- 238000012549 training Methods 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000004088 simulation Methods 0.000 title claims abstract description 26
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 9
- 238000010801 machine learning Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims description 65
- 230000002787 reinforcement Effects 0.000 claims description 29
- 230000009471 action Effects 0.000 claims description 26
- 230000004044 response Effects 0.000 claims description 25
- 238000013528 artificial neural network Methods 0.000 claims description 21
- 230000006378 damage Effects 0.000 claims description 14
- 230000003213 activating effect Effects 0.000 claims description 13
- 238000013459 approach Methods 0.000 claims description 8
- 230000006399 behavior Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
- G09B9/30—Simulation of view from aircraft
- G09B9/301—Simulation of view from aircraft by computer-processed or -generated image
- G09B9/302—Simulation of view from aircraft by computer-processed or -generated image the image being transformed by computer processing, e.g. updating the image to correspond to the changing point of view
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/16—Control of vehicles or other craft
- G09B19/165—Control of aircraft
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Aviation & Aerospace Engineering (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Entrepreneurship & Innovation (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명의 다양한 실시예에 따르면, 가상 타겟의 적응적 모의가 가능한 가상 훈련 장치 및 이를 이용하는 훈련 방법을 적용함으로써 가상 타겟의 생성과 행동 모의를 미리 입력된 시나리오를 기반으로 한정하지 않고, 트레이닝을 통한 기계학습 기법을 기반으로 가상 타겟의 행동을 모의함으로써 사용자에게 예측하기 어려운 방식으로 가상 타겟이 행동할 수 있고, 이에 따라 사용자에게 보다 수준 높은 임무 훈련 환경을 제공할 수 있다.
Description
본 발명은 가상 훈련 장치 및 훈련 방법에 관한 것이다. 보다 상세하게는, 본 발명은 가상 타겟의 적응적 모의가 가능한 가상 훈련 장치 및 이를 이용하는 훈련 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
운용체에 탑재되어 동작하는 탑재 훈련 장비는 가상의 CGF(Computer Generated Force)의 행동 및 이벤트를 미리 입력된 시나리오를 기반으로 모의한다.
예를 들어, 운용체 탑재 훈련 장비는 항공기에 탑재되어 적용되는 경우, 임무 훈련을 위한 가상 적군을 모의하기 위해 미리 작성되어 입력된 시나리오를 기반으로 가상 타겟을 생성하고, 생성된 CGF의 행동 및 이벤트 또한 미리 입력된 시나리오를 기반으로 수행한다.
가상 타겟의 행동이 미리 작성된 시나리오를 기반으로 하여 모의되기 때문에 가상 타겟의 행동이 사용자에 의하여 쉽게 예측 가능하므로 훈련 효과를 저하시킬 수 있는 요소로 작용한다는 문제점이 있다.
인공지능을 기반으로 가상 타겟의 행동을 발생할 수 있는 이벤트에 대응하여 모의함으로써 훈련 효과를 증대 시킬 수 있는 가상 훈련 장치 및 방법의 연구 개발이 필요한 실정이다.
본 발명이 이루고자 하는 목적은, 가상 타겟의 생성과 행동 모의를 미리 입력된 시나리오를 기반으로 한정하지 않고, 트레이닝을 통한 기계학습 기법을 기반으로 가상 타겟의 행동을 모의함으로써 사용자에게 예측하기 어려운 방식으로 가상 타겟이 행동할 수 있고, 이에 따라 사용자에게 보다 수준 높은 임무 훈련 환경을 제공할 수 있는 가상 타겟의 적응적 모의가 가능한 가상 훈련 장치 및 이를 이용하는 훈련 방법을 제공하는 데 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 운용체에 탑재되어 적용되는 가상 타겟의 적응적 모의가 가능한 가상 훈련 장치는, 초기 훈련 시나리오를 활성화하여 가상 훈련 운용 정보를 생성하는 가상훈련 처리부; 기계학습 모델을 이용하여 훈련 중에 발생하는 적어도 하나의 이벤트에 대응하여 시나리오 갱신 정보를 생성하고, 상기 가상훈련 처리부가 상기 시나리오 갱신 정보를 기반으로 동작하여 상기 가상 훈련 운용 정보를 갱신하도록 상기 시나리오 갱신 정보를 제공하는 시나리오 조정부; 및 상기 가상 훈련 운용 정보를 사용자에게 제공하는 가상 훈련 운용 정보 출력부;를 포함할 수 있다.
상기 가상훈련 처리부는, 외부장치로부터 상기 초기 훈련 시나리오를 획득하는 시나리오 획득부; 상기 획득한 초기 훈련 시나리오를 기반으로 적어도 하나의 가상 타겟을 생성하고, 상기 가상 타겟을 상기 초기 훈련 시나리오에 대응하여 운용하는 시나리오 처리부; 상기 가상 타겟의 데이터와 상기 운용체의 데이터를 기반으로 동작 데이터를 획득하여 상기 시나리오 조정부로 제공하는 동작 데이터 획득부; 및 상기 시나리오 조정부로부터 제공받은 시나리오 갱신 정보를 기반으로 상기 가상 타겟의 동작을 모의하는 가상 타겟 모의처리부;를 포함하는 것을 특징으로 한다.
상기 시나리오 조정부는, 상기 동작 데이터를 강화학습 모델의 입력으로 적용하고, 상기 강화학습 모델을 이용하여 상기 이벤트 발생에 대응하는 시나리오 갱신 정보를 결정하는 것을 특징으로 한다.
상기 강화학습은, PG(Policy Gradient) 알고리즘에 의한 학습이고, 훈련 환경에서 상기 PG 알고리즘의 행위(Action)는 상기 가상 타겟의 동작에 대응하는 것이고, 상기 시나리오 조정부는, 상기 운용체의 피해를 최대화하는 방향으로 보상(Reward)을 주어 강화학습하는 것을 특징으로 한다.
상기 강화학습 모델은, 적어도 하나의 신경망을 이용하여 상기 동작 데이터에 기반하여 상기 시나리오 갱신 정보를 결정하고, 상기 동작 데이터는, 상기 가상 타겟과 상기 운용체 간의 거리, 상기 운용체의 접근 속도, 상기 운용체의 헤딩(Heading) 방향 중 적어도 하나의 정보를 포함하는 것을 특징으로 한다.
상기 신경망은, 심층 신경망(Deep Neural Network, DNN)인 것을 특징으로 한다.
상기 시나리오 조정부는, 상기 가상 타겟이 상기 운용체를 탐지하는 경우, 상기 운용체가 상기 타겟을 향해 접근하는 경우, 상기 운용체가 발사한 공격 무기가 상기 가상 타겟으로 접근하는 경우 중 적어도 하나의 상황을 포함하는 상기 이벤트에 대응하여 상기 시나리오 갱신 정보를 생성하는 것을 특징으로 한다.
상기 기계학습 모델은, 상기 가상 타겟의 기동을 제어하는 것, 상기 가상 타겟에 탑재된 공격 무기를 제어하는 것, 상기 가상 타겟에 탑재된 장비를 운용하는 것 또는 이들의 조합을 상기 시나리오 갱신 정보로 결정하는 것을 특징으로 한다.
상기 가상훈련 처리부는, 사용자에 의하여 훈련이 종료되거나 상기 가상 타겟이 파괴되는 경우 훈련을 종료하고, 상기 시나리오 조정부는, 상기 운용체의 가상 파손 정도를 포함하는 훈련 결과에 적어도 부분적으로 기초하여 상기 기계학습 모델을 학습시키는 것을 특징으로 한다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 운용체에 탑재되어 적용되는 가상 타겟의 적응적 모의가 가능한 가상 훈련 장치에서 수행되는 가상 훈련 방법은, 가상훈련 처리부가, 초기 훈련 시나리오를 활성화하여 가상 훈련 운용 정보를 생성하는 단계; 시나리오 조정부가, 기계학습 모델을 이용하여 훈련 중에 발생하는 적어도 하나의 이벤트에 대응하여 시나리오 갱신 정보를 생성하고, 상기 가상훈련 처리부가 상기 시나리오 갱신 정보를 기반으로 동작하여 상기 가상 훈련 운용 정보를 갱신하도록 상기 시나리오 갱신 정보를 제공하는 단계; 및 가상 훈련 운용 정보 출력부가, 상기 가상 훈련 운용 정보를 사용자에게 제공하는 단계;를 포함할 수 있다.
상기 초기 훈련 시나리오를 활성화하여 가상 훈련 운용 정보를 생성하는 단계는, 시나리오 획득부가, 외부장치로부터 상기 초기 훈련 시나리오를 획득하는 단계; 시나리오 처리부가, 상기 획득한 초기 훈련 시나리오를 기반으로 적어도 하나의 가상 타겟을 생성하고, 상기 가상 타겟을 상기 초기 훈련 시나리오에 대응하여 운용하는 단계; 동작 데이터 획득부가, 상기 가상 타겟의 데이터와 상기 운용체의 데이터를 기반으로 동작 데이터를 획득하여 상기 시나리오 조정부로 제공하는 단계; 및 가상 타겟 모의처리부가, 상기 시나리오 조정부로부터 제공받은 시나리오 갱신 정보를 기반으로 상기 가상 타겟의 동작을 모의하는 단계;를 포함하는 것을 특징으로 한다.
상기 초기 훈련 시나리오를 활성화하여 가상 훈련 운용 정보를 생성하는 단계는, 사용자에 의하여 훈련이 종료되거나 상기 가상 타겟이 파괴되는 경우 훈련을 종료하고, 상기 시나리오 조정부는, 상기 운용체의 가상 파손 정도를 포함하는 훈련 결과에 적어도 부분적으로 기초하여 상기 기계학습 모델을 학습시키는 것을 특징으로 한다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 가상 타겟의 적응적 모의가 가능한 가상 훈련 시스템은, 사용자가 탑승하도록 마련되고, 사용자의 조작에 대응하여 이동하는 운용체; 및 초기 훈련 시나리오를 활성화하여 가상 훈련 운용 정보를 생성하는 가상훈련 처리부, 기계학습 모델을 이용하여 훈련 중에 발생하는 적어도 하나의 이벤트에 대응하여 시나리오 갱신 정보를 생성하고, 상기 가상훈련 처리부가 상기 시나리오 갱신 정보를 기반으로 동작하여 상기 가상 훈련 운용 정보를 갱신하도록 상기 시나리오 갱신 정보를 제공하는 시나리오 조정부 및 상기 가상 훈련 운용 정보를 사용자에게 제공하는 가상 훈련 운용 정보 출력부를 포함하고, 상기 운용체에 탑재되어 동작하는 가상 훈련 장치;를 포함할 수 있다.
이상에서 설명한 바와 같이 본 발명의 일 실시예에 따르면, 가상 타겟의 적응적 모의가 가능한 가상 훈련 장치 및 이를 이용하는 훈련 방법을 적용함으로써 가상 타겟의 생성과 행동 모의를 미리 입력된 시나리오를 기반으로 한정하지 않고, 트레이닝을 통한 기계학습 기법을 기반으로 가상 타겟의 행동을 모의함으로써 사용자에게 예측하기 어려운 방식으로 가상 타겟이 행동할 수 있고, 이에 따라 사용자에게 보다 수준 높은 임무 훈련 환경을 제공할 수 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1은 본 발명의 일 실시예에 따른 가상 타겟의 적응적 모의가 가능한 가상 훈련 장치의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 다른 실시예에 따른 가상 타겟의 적응적 모의가 가능한 가상 훈련 장치를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 인공지능 기반 항공기용 가상 훈련 장치 의 시나리오 조정부에서 이용하는 기계학습 모델에 대하여 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 가상 타겟의 적응적 모의가 가능한 가상 훈련 방법을 설명하기 위한 흐름도이다.
도 5는 도 4에 도시한 시나리오 갱신 정보 제공 단계의 세부 단계를 설명하기 위한 흐름도이다.
도 6은 본 발명의 또 다른 실시예에 따른 가상 타겟의 적응적 모의가 가능한 가상 훈련 장치를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 가상 타겟의 적응적 모의가 가능한 가상 훈련 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 다른 실시예에 따른 가상 타겟의 적응적 모의가 가능한 가상 훈련 장치를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 인공지능 기반 항공기용 가상 훈련 장치 의 시나리오 조정부에서 이용하는 기계학습 모델에 대하여 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 가상 타겟의 적응적 모의가 가능한 가상 훈련 방법을 설명하기 위한 흐름도이다.
도 5는 도 4에 도시한 시나리오 갱신 정보 제공 단계의 세부 단계를 설명하기 위한 흐름도이다.
도 6은 본 발명의 또 다른 실시예에 따른 가상 타겟의 적응적 모의가 가능한 가상 훈련 장치를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 가상 타겟의 적응적 모의가 가능한 가상 훈련 시스템을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “가진다”, “가질 수 있다”, “포함한다” 또는 “포함할 수 있다” 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소 들은 상기 용어들에 의해 한정되지는 않는다.
상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
또한, 본 명세서에 기재된 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있으며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터 구조들 및 변수들을 포함할 수 있다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다.
이하에서 첨부한 도면을 참조하여 본 발명에 따른 가상 타겟의 적응적 모의가 가능한 가상 훈련 장치 및 이를 이용하는 훈련 방법(이하에서 가상 훈련 장치 및 방법이라고 함)의 다양한 실시예에 대해 상세하게 설명한다.
본 명세서에 기재된 실시예들은 다양한 종류의 운용체(예를 들어, 전투기, 항공기, 전차, 함정 등)에 탑재되어 운용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상 타겟의 적응적 모의가 가능한 가상 훈련 장치의 구성을 설명하기 위한 도면이다.
도 1을 참조하면, 가상 훈련 장치(100)는 가상훈련 처리부(110), 시나리오 조정부(120) 및 가상 훈련 운용 정보 출력부(130)를 포함할 수 있다.
가상훈련 처리부(110)는 초기 훈련 시나리오를 활성화하여 가상 훈련 운용 정보를 생성할 수 있다. 가상훈련 처리부(110)는 SBC(Single Board Computer)를 기반으로 생성될 수 있다. 가상훈련 처리부(110)는 사용자의 운용체 조작에 대응하여 가상 훈련을 시작할 수 있다.
초기 훈련 시나리오에는 적어도 하나의 가상 타겟에 대한 정보(예를 들어, 제원, 움직임 정보, 위치 정보), 가상 훈련 환경 등을 포함할 수 있다.
가상 타겟은 가상 CGF(Computer Generated Force)일 수 있으나 반드시 이에 한정되는 것은 아니고 장애물일 수도 있다.
가상훈련 처리부(110)는 사용자에 의하여 훈련이 종료되거나 가상 타겟이 파괴되는 경우 훈련을 종료할 수 있다. 사용자에 의하여 훈련이 종료되는 경우는 운용체가 가상 타겟에 의하여 파괴되는 경우를 포함할 수 있다.
가상 훈련 운용 정보는 운용체에 탑승한 사용자에게 초기 훈련 시나리오를 기반으로 하는 가상 훈련을 제공하기 위한 정보일 수 있다.
시나리오 조정부(120)는 기계학습 모델을 이용하여 훈련 중에 발생하는 적어도 하나의 이벤트에 대응하여 시나리오 갱신 정보를 생성할 수 있다. 시나리오 조정부(120)는 가상훈련 처리부(110)가 시나리오 갱신 정보를 기반으로 동작하여 가상 훈련 운용 정보를 갱신하도록 시나리오 갱신 정보를 제공할 수 있다. 시나리오 조정부(120)는 훈련 결과에 적어도 부분적으로 기초하여 기계학습 모델을 학습시킬 수 있다.
시나리오 조정부(120)는 가상 타겟이 운용체를 탐지하는 경우, 운용체가 가상 타겟으로 접근하는 경우, 운용체가 발사한 공격 무기가 가상 타겟으로 접근하는 경우 중 적어도 하나의 상황을 포함하는 이벤트에 대응하여 시나리오 갱신 정보를 생성할 수 있다.
시나리오 갱신 정보는 초기 훈련 시나리오를 기반으로 하는 가상 훈련 운용 정보를 갱신하기 위해 필요한 정보를 포함할 수 있다. 시나리오 갱신 정보는 갱신된 가상 훈련 운용 정보를 갱신하기 위해 필요한 정보를 포함할 수 있다. 시나리오 갱신 정보는 초기 훈련 시나리오에는 포함되어 있지 않은 이벤트에 대응하는 정보일 수 있다. 시나리오 갱신 정보는 초기 훈련 시나리오에는 포함되어 있지 않은 이벤트에 대응하는 가상 타겟의 동작 정보일 수 있다.
훈련 결과는 운용체의 가상 파손 정도를 포함할 수 있다.
가상 파손 정도는 훈련 중에 운용체가 가상 타겟에 의하여 피해를 입은 정도를 수치화한 것일 수 있다.
가상훈련 처리부(110)와 시나리오 조정부(120)가 별도로 구성됨에 따라 가상 훈련 장치의 하드웨어 데이터 처리에 소요되는 리소스(Resource)가 분산될 수 있다.
가상 훈련 운용 정보 출력부(130)는 가상 훈련 운용 정보를 사용자에게 제공할 수 있다. 가상 훈련 운용 정보 출력부(130)는 훈련 과정 전반에 걸쳐서 가상 훈련 운용 정보를 영상 정보로서 사용자에게 전시할 수 있다.
가상 훈련 운용 정보 출력부(130)는 가상 훈련 장치(100)가 항공기에 탑재되어 적용되는 경우, 3차원 영상 IG(Image Generator, 영상 발생기) 소프트웨어를 통해서 가상의 센서장치(RADAR, EO/IR) 영상 화면을 MC(Mission Computer, 임무 컴퓨터)에 각각 제공할 수 있다. 가상 훈련 운용 정보 출력부(130)는 CGF(Computer Generated Force)가 포함된 센서장치(RADAR, EO/IR) 영상 화면을 제공할 수 있다.
도 1에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 가상 훈련 장치(100)와 연결된 일부 블록이 추가, 변경 또는 삭제될 수 있다.
도 2는 본 발명의 다른 실시예에 따른 가상 타겟의 적응적 모의가 가능한 가상 훈련 장치를 설명하기 위한 도면이다.
도 2를 참조하면, 가상훈련 처리부(110)는 시나리오 획득부(111), 시나리오 처리부(112), 동작 데이터 획득부(113) 및 가상 타겟 모의처리부(114)를 포함할 수 있다.
시나리오 획득부(111)는 외부장치로부터 초기 훈련 시나리오를 획득할 수 있다. 시나리오 획득부(111)는 사용자에 의하여 운용되는 단말, 서버 등을 통하여 초기 훈련 시나리오를 수신할 수 있다.
시나리오 처리부(112)는 획득한 초기 훈련 시나리오를 기반으로 적어도 하나의 가상 타겟을 생성하고, 가상 타겟을 초기 훈련 시나리오에 대응하여 운용할 수 있다.
시나리오 처리부(112)는 가상 타겟을 생성하는 것뿐만 아니라 가상 훈련에 필요한 여러 가지 사항들을 초기 훈련 시나리오를 기반으로 로딩하여 가상 훈련을 활성화할 수 있다.
시나리오 처리부(112)에 의하여 훈련 시나리오가 로딩된 후 사용자에 의해 가상 훈련이 시작되면 초기 훈련 시나리오를 기반으로 가상 타겟이 생성되고 가상 타겟의 모의가 시작될 수 있다. 이 때, 가상 타겟의 초기 위치, 제원 등의 파라미터는 초기 훈련 시나리오에 저장된 데이터를 사용할 수 있다. 가상 타겟의 동작 모의 항목은 기동, 무장 운용, 탑재 장비 운용 또는 이들의 조합을 포함할 수 있다. 이러한 가상 타겟의 행동 모의가 예측 가능할 경우 임무 훈련의 효과는 낮아질 수 있다.
동작 데이터 획득부(113)는 가상 타겟의 데이터와 운용체의 데이터를 기반으로 동작 데이터를 획득하여 시나리오 조정부(120)로 제공할 수 있다.
동작 데이터 획득부(113)에 의하여 생성되는 동작 데이터는 가상 타겟과 운용체 간의 거리, 운용체의 접근 속도 또는 운용체의 헤딩(Heading) 방향을 포함할 수 있다.
가상 타겟 모의처리부(114)는 시나리오 조정부(120)로부터 제공받은 시나리오 갱신 정보를 기반으로 가상 타겟의 동작을 모의할 수 있다. 가상 타겟 모의처리부(114)는 시나리오 조정부(120)에서 결정하여 제공한 최적의 가상 타겟 시나리오 갱신 정보를 기반으로 가상 타겟의 동작을 모의할 수 있다.
시나리오 조정부(120)는 이벤트 발생 시 가상 타겟의 최적의 행동을 결정하는 로직을 통하여 가상 타겟의 동작을 결정할 수 있다.
가상 타겟 모의처리부(114)는 생성된 가상 타겟의 기동을 제어하거나, 가상 타겟의 공격 무기를 제어하거나, 가상 타겟에 탑재된 장비를 운용하는 방식으로 가상 타겟의 동작을 모의할 수 있다.
가상훈련 처리부(110)는 제어명령 처리부(미도시)를 더 포함할 수 있다. 제어명령 처리부는 사용자가 탑승한 운용체를 조작하는 것에 대응하여 훈련을 제어할 수 있다. 제어명령 처리부는 사용자의 조작을 가상 훈련 운용 정보에 반영할 수 있다. 예를 들어, 제어명령 처리부는 사용자가 탑승한 운용체를 제어하여 이동한 경우, 운용체의 이동 정보를 가상 훈련 운용 정보에 반영할 수 있다. 제어명령 처리부는 사용자가 탑승한 운용체를 제어하여 가상 타겟에 공격을 수행하고, 해당 공격이 가상 타겟에 적중하는 것으로 판단되는 경우, 가상 타겟이 파손되도록 가상 훈련 운용 정보를 갱신할 수 있다.
시나리오 처리부(112)는 가상 타겟 모의처리부(114)에 의하여 동작이 모의된 타겟에 대한 정보를 기반으로 가상 훈련 운용 정보를 갱신하여 가상 훈련 운용 정보 출력부(130)로 제공할 수 있다.
도 2에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 가상훈련 처리부(110)와 연결된 일부 블록이 추가, 변경 또는 삭제될 수 있다.
도 3은 본 발명의 일 실시예에 따른 인공지능 기반 항공기용 가상 훈련 장치의 시나리오 조정부에서 이용하는 기계학습 모델에 대하여 설명하기 위한 도면이다.
시나리오 조정부(120)는 운용체의 동작 데이터를 강화학습 모델의 입력으로 적용할 수 있다. 시나리오 조정부(120)는 강화학습 모델을 이용하여 이벤트 발생에 대응하는 시나리오 갱신 정보를 결정할 수 있다. 시나리오 조정부(120)는 결정된 시나리오 갱신 정보를 가상훈련 처리부(110)로 제공할 수 있다.
기계학습 모델은 강화학습 기반 모델일 수 있다.
강화학습은 PG(Policy Gradient) 알고리즘에 의한 학습일 수 있다.
강화학습 모델의 환경(301)은 가상 훈련 장치(100)로부터 제공되는 가상 훈련 환경일 수 있다. 강화학습 모델의 환경(301)은 운용체의 운용 환경일 수 있다. 시나리오 조정부(120)는 시나리오 획득부(111), 시나리오 처리부(112), 동작 데이터 획득부(113) 및 가상 타겟 모의처리부(114)로부터 환경(State) 정보를 획득할 수 있다.
훈련 환경에서 PG 알고리즘의 행위(Action)는 가상 타겟의 동작에 대응하는 것일 수 있다.
가상 타겟의 동작은 가상 타겟의 동작의 이동 방향, 이동 속력, 탑재된 무기의 운용, 탑재된 장비의 운용 등을 포함할 수 있다.
시나리오 조정부(120)는 운용체의 피해를 최대화하는 방향으로 보상(Reward)을 주어 강화학습할 수 있다. 시나리오 조정부(120)는 훈련 시간이 길어지도록 하는 방향으로 보상을 주어 강화학습할 수도 있다.
강화학습 모델은 적어도 하나의 신경망(303)을 이용하여 운용체의 동작 데이터에 기반하여 가상 타겟의 시나리오 갱신 정보를 결정할 수 있다.
신경망(303)에 입력되는 데이터는 학습의 효율성을 증가 시키기 위해 가상 타겟 데이터 대비 운용체 데이터의 비율로 전처리(302)할 수 있다.
여기서, 가상 타겟 데이터 대비 운용체 데이터의 비율은 입력 파라미터가 예를 들어, 속도에 대한 데이터인 경우, 운용체의 속도 대비 가상 타겟 속도의 비율일 수 있다.
입력 파라미터가 예를 들어, 거리에 대한 데이터인 경우, 지구 중심 좌표계를 기준으로 지구 중심으로부터 운용체의 거리 대비 지구 중심으로부터 가상 타겟의 거리의 비율일 수 있다.
신경망(303)은 DNN(Deep Neural Network)일 수 있으나 반드시 이에 한정되는 것은 아니고, 강화학습 과정에서 신경망으로 동작하여 운용체의 동작 데이터에 기반하여 가상 타겟의 시나리오 갱신 정보를 결정하는데 이용될 수 있는 다양한 종류의 네트워크로 변경 실시될 수도 있다. 예를 들어, 신경망(303)은 ANN (Artificial Neural Network), CNN (Convolution Neural Network)일 수도 있다.
시나리오 조정부(120)는 가상 타겟이 파괴되거나 조종사에 의해 훈련이 종료된 경우 가상 타겟의 동작에 대한 결과를 판정하고, 판정된 결과에 대응하여 정책을 갱신할 수 있다. 가상 타겟의 동작에 대한 결과는 가상 타겟의 이동, 탑재된 무기 또는 장비의 운용에 대응하는 운용체의 피해 정도, 훈련 시간의 지속 정도에 대한 결과일 수 있다.
이러한 훈련 절차를 반복적으로 수행하여 학습을 통해 가상 타겟의 임의성을 증가시킬 수 있다.
시나리오 조정부(120)는 가상 타겟의 동작 임의성을 증가 시키기 위해 시나리오에 정의된 동작이 아니라, 특정 이벤트 발생 시 가상 타겟이 어떠한 동작을 모의할 것인 지를 행동 결정 로직에 따라 결정하고, 결정된 행동을 모의하도록 제공할 수 있다.
시나리오 조정부(120)는 각 이벤트 별로 가상 타겟의 동작을 다르게 결정할 수 있다. 예를 들어, 가상 타겟이 운용체를 탐지할 경우 가장 효과적인 무장을 발사할 수 있도록 무장 운용을 동작으로 결정할 수 있다.
훈련 중에 가상 타겟이 사용자가 운용중인 운용체의 레이더에 탐지되는 이벤트가 발생하는 경우, 시나리오 조정부(120)는 가상훈련 처리부(110)로부터 환경 데이터를 획득할 수 있다. 획득되는 환경 데이터에는 가상 타겟과 운용체 사이의 거리, 운용체의 접근 속도, 운용체의 헤딩 방향 등이 있을 수 있다. 시나리오 조정부(120)는 입력한 상태 데이터에 대하여 전처리를 수행할 수 있다. 이어서, 전처리된 상태 데이터를 신경망에 입력하고 PG 알고리즘 기반 강화학습을 통해 최적의 동작을 결정할 수 있다. 시나리오 조정부(120)는 결정된 시나리오 갱신 정보를 가상훈련 처리부(110)로 제공할 수 있다. 가상훈련 처리부(110)는 제공받은 시나리오 갱신 정보를 기반으로 가상 타겟의 동작을 모의할 수 있다. 가상훈련 처리부(110)는 훈련이 종료된 경우 동작 결과에 대응하여 보상을 주어 강화학습할 수 있다.
시나리오 조정부(120)는 가상 타겟이 운용체에게 탐지되었을 경우, 탐지를 회피하기 위해 회피 기동을 동작으로 결정할 수도 있다. 회피 기동을 수행하는 것으로는 이동 방향을 반대 방향으로 전환하고 이동 속력을 가속하는 것이 있을 수 있다.
시나리오 조정부(120)는 가상 타겟이 운용체가 발사하는 공격 무기를 탐지한 경우, 급격한 방향 전환 또는 감속 등을 통하여 공격 무기를 회피하도록 동작을 결정할 수 있다.
시나리오 조정부(120)는 가상 타겟이 파괴되었을 경우, 훈련 과정 중에 발생했던 이벤트와 동작을 판단하여 훈련 결과를 판정할 수 있다. 시나리오 조정부(120)는 훈련이 종료된 경우 운용체의 파괴 상태를 기반으로 가상 타겟의 동작에 대한 결과를 판정할 수 있다. 시나리오 조정부(120)는 운용체의 파괴 상태에 대응하여 보상(Reward)에 가중치를 주어 강화학습할 수 있다. 예를 들어, 운용체의 파괴 정도가 60%인 경우, 운용체의 파괴 정도가 30%인 경우보다 보상에 2배의 가중치를 주어 강화학습할 수 있다.
시나리오 조정부(120)는 마르코프 결정 프로세스(Markov Decision Process, MDP)와 같은 의사결정 프로세스를 이용하여 동작을 선택하기 위한 최적의 의사결정 정책을 찾고 의사 결정 정책에 따라 동작을 결정할 수 있다.
시나리오 조정부(120)는 하기 수학식 1로 표현된 손실 함수를 적용한 PG 알고리즘을 이용하여 강화학습할 수 있다.
L(θ)는 파라미터 θ에 대한 손실 함수를 나타내는 것이고, E는 기대값을 나타내는 것이고, πθ는 행동 정책에 대한 파라미터를 나타내는 것이고, a는 강화학습에서의 행위에 대한 파라미터를 나타내고, ∇θ 는 그래디언트(Gradient)를 나타내는 것이고, s는 강화학습에서의 상태에 대한 파라미터를 나타내는 것이고, Q(s,a)는 액션 밸류 함수(Action Value Function)으로서 상태 s와 행동 a 쌍에 대해 기대되는 보상을 계산하는 함수를 나타내는 것이다.
시나리오 조정부(120)는 입력 파라미터 θ에 대해 위 식의 결과가 최소가 되도록 행동 정책인 πθ를 결정하는 방식으로 가상 타겟의 행동 정책을 결정할 수 있다.
도 4는 본 발명의 일 실시예에 따른 가상 타겟의 적응적 모의가 가능한 가상 훈련 방법을 설명하기 위한 흐름도이다.
S100 단계에서, 가상훈련 처리부(110)가, 초기 훈련 시나리오를 활성화하여 가상 훈련 운용 정보를 생성할 수 있다.
S200 단계에서, 시나리오 조정부(120)가, 기계학습 모델을 이용하여 훈련 중에 발생하는 적어도 하나의 이벤트에 대응하여 시나리오 갱신 정보를 생성하고, 가상훈련 처리부가 시나리오 갱신 정보를 기반으로 동작하여 가상 훈련 운용 정보를 갱신하도록 시나리오 갱신 정보를 제공할 수 있다.
S300 단계에서, 가상 훈련 운용 정보 출력부(130)가, 상기 가상 훈련 운용 정보를 사용자에게 제공할 수 있다.
S100 단계는, 시나리오 획득부(111)가, 외부장치로부터 초기 훈련 시나리오를 획득하는 단계, 시나리오 처리부(112)가, 획득한 초기 훈련 시나리오를 기반으로 적어도 하나의 가상 타겟을 생성하고, 가상 타겟을 상기 초기 훈련 시나리오에 대응하여 운용하는 단계, 동작 데이터 획득부(113)가, 가상 타겟의 데이터와 운용체의 데이터를 기반으로 동작 데이터를 획득하여 시나리오 조정부로 제공하는 단계 및 가상 타겟 모의처리부(114)가, 시나리오 조정부로부터 제공받은 시나리오 갱신 정보를 기반으로 가상 타겟의 동작을 모의하는 단계를 포함할 수 있다.
도 5는 도 4에 도시한 시나리오 갱신 정보 제공 단계의 세부 단계를 설명하기 위한 흐름도이다.
S210 단계에서, 시나리오 조정부(120)는 훈련 과정에서 이벤트가 발생했는지 여부를 판단할 수 있다. 이벤트가 발생한 경우, S220 단계가 이어서 수행될 수 있다. 이벤트가 발생하지 않는 경우, 시나리오 조정부는 이벤트가 발생할 때까지 대기할 수 있다.
S220 단계에서, 시나리오 조정부(120)는 동작 데이터 획득부(113)로부터 가상 타겟의 데이터와 운용체의 데이터를 기반으로 하는 동작 데이터를 획득할 수 있다.
S230 단계에서, 시나리오 조정부(120)는 동작 데이터를 강화학습 모델의 입력으로 적용하여 이벤트 발생에 대응하는 시나리오 갱신 정보를 결정할 수 있다.
S240 단계에서, 시나리오 조정부(120)는 결정된 시나리오 갱신 정보를 가상 훈련 처리부(110)로 제공할 수 있다.
도 4 및 도 5에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 4 및 도 5에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.
도 6은 본 발명의 또 다른 실시예에 따른 가상 타겟의 적응적 모의가 가능한 가상 훈련 장치를 설명하기 위한 도면이다.
본 발명의 또 다른 일 실시예에 따른 가상 훈련 장치(500)는 입력부(510), 프로세서(520), 신경망 프로세서(530), 메모리(540), 출력부(550) 및 데이터 베이스(560)를 포함할 수 있다.
입력부(510)는 본 발명의 일 실시예에 따른 가상 훈련 장치(100)의 시나리오 획득부(111)가 수행하는 초기 훈련 시나리오를 외부장치로부터 획득하는 동작 및 동작 데이터 획득부(113)에서 수행하는 운용체의 데이터를 획득하는 동작을 수행할 수 있다.
프로세서(520)는 본 발명에 따른 가상 훈련 처리부(110)에서 수행하는 동작들을 수행할 수 있다. 프로세서(520)는 메모리(540)에 저장되는 하나 이상의 프로그램에 따라 가상 훈련 처리부(110)에서 수행하는 동작들을 수행할 수 있다.
신경망 프로세서(530)는 시나리오 조정부(120)에서 수행하는 동작들을 수행할 수 있다. 신경망 프로세서(530)는 메모리(540)에 저장되는 하나 이상의 프로그램에 따라 시나리오 조정부(120)에서 수행하는 동작들을 수행할 수 있다.
메모리(540)는 프로세서(520)와 신경망 프로세서(530)가 가상 훈련 방법을 제공하기 위한 하나 이상의 프로그램을 저장할 수 있다.
출력부(550)는 가상 훈련 운용 정보 출력부(130)에서 수행하는 동작들을 수행할 수 있다.
데이터 베이스(560)는 입력부(510)에 의하여 입력된 데이터를 포함할 수 있고, 프로세서(520) 및 신경망 프로세서(530)로부터 생성되는 데이터, 출력부(550)에 의하여 출력되는 데이터를 포함할 수 있다.
도 7은 본 발명의 일 실시예에 따른 가상 타겟의 적응적 모의가 가능한 가상 훈련 시스템을 설명하기 위한 도면이다.
도 7을 참조하면, 가상 훈련 시스템(10)은 가상 훈련 장치(100) 및 운용체(200)를 포함할 수 있다.
가상 훈련 장치(100)는 초기 훈련 시나리오를 활성화하여 가상 훈련 운용 정보를 생성하는 가상훈련 처리부, 기계학습 모델을 이용하여 훈련 중에 발생하는 적어도 하나의 이벤트에 대응하여 시나리오 갱신 정보를 생성하고, 가상훈련 처리부가 시나리오 갱신 정보를 기반으로 동작하여 가상 훈련 운용 정보를 갱신하도록 시나리오 갱신 정보를 제공하는 시나리오 조정부 및 가상 훈련 운용 정보를 사용자에게 제공하는 가상 훈련 운용 정보 출력부를 포함하고, 운용체(200)에 탑재되어 동작할 수 있다.
운용체(200)는 사용자가 탑승하도록 마련되고, 사용자의 조작에 대응하여 이동할 수 있다. 운용체(200)는 가상 훈련 장치(100)가 탑재될 수 있다. 운용체(200)는 공중이동체(예를 들어, 항공기, 전투기), 수중운동체, 수상운동체, 지상이동체(예를 들어, 전차)일 수 있다.
기존의 전투기 탑재훈련장비의 경우 전투기 임무 훈련을 위해 가상 타겟을 생성하고, 생성된 CGF의 행동을 시나리오 기반으로 수행한다. 가상 타겟의 행동 및 이벤트가 시나리오 기반으로 모의되기 때문에 CGF의 행동이 예측 가능하고, 이는 훈련 효과를 저하시킬 수 있는 요소로 작용한다. 이를 개선하기 위해 본 발명에 따른 본 발명에 따른 인공지능 기반 항공기용 가상 훈련 장치 및 이를 이용하는 훈련 방법을 적용함으로써 반복적인 강화학습을 통해 CGF의 임의성을 향상시킴으로써 훈련 효과를 증가시킬 수 있다.
본 발명에 따른 본 발명에 따른 인공지능 기반 항공기용 가상 훈련 장치 및 이를 이용하는 훈련 방법을 적용함으로써 전투기 훈련 시나리오 기반으로 생성된 가상의 CGF의 행동 및 이벤트를 정형화된 시나리오 기반으로 정의하지 않고, 훈련을 통한 기계학습 기법을 이용하여 모의 정책을 반복적으로 갱신하고, 예측 불가능한 CGF의 행동을 통해 효율적인 전투기 임무 훈련을 수행할 수 있다.
본 출원은 컴퓨터 저장 매체도 제공한다. 컴퓨터 저장 매체에는 프로그램 명령이 저장되어 있고, 프로세서에 의해 프로그램 명령이 실행되면, 상술한 공진 컨버터의 가변한계 주파수의 제어 방법이 실현된다.
본 발명의 일 실시예에 따른 컴퓨터 저장 매체는 U디스크, SD카드, PD광학 드라이브, 모바일 하드 디스크, 대용량 플로피 드라이브, 플래시 메모리, 멀티미디어 메모리 카드, 서버 등일 수 있지만 반드시 이에 한정되는 것은 아니다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록 매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록 매체로서는 자기기록매체, 광 기록매체 등이 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 가상 훈련 장치
110: 가상훈련 처리부
111: 시나리오 처리부
112: 시나리오 처리부
113: 동작 데이터 획득부
114: 가상 타겟 모의처리부
120: 시나리오 조정부
130: 가상 훈련 운용 정보 출력부
110: 가상훈련 처리부
111: 시나리오 처리부
112: 시나리오 처리부
113: 동작 데이터 획득부
114: 가상 타겟 모의처리부
120: 시나리오 조정부
130: 가상 훈련 운용 정보 출력부
Claims (13)
- 운용체에 탑재되어 적용되는 가상 타겟의 적응적 모의가 가능한 가상 훈련 장치에 있어서,
초기 훈련 시나리오를 활성화하여 가상 훈련 운용 정보를 생성하는 가상훈련 처리부;
기계학습 모델을 이용하여 훈련 중에 발생하는 적어도 하나의 이벤트에 대응하여 시나리오 갱신 정보를 생성하고, 상기 가상훈련 처리부가 상기 시나리오 갱신 정보를 기반으로 동작하여 상기 가상 훈련 운용 정보를 갱신하도록 상기 시나리오 갱신 정보를 제공하는 시나리오 조정부; 및
상기 가상 훈련 운용 정보를 사용자에게 제공하는 가상 훈련 운용 정보 출력부;를 포함하는 가상 훈련 장치. - 제1항에 있어서,
상기 가상훈련 처리부는,
외부장치로부터 상기 초기 훈련 시나리오를 획득하는 시나리오 획득부;
상기 획득한 초기 훈련 시나리오를 기반으로 적어도 하나의 가상 타겟을 생성하고, 상기 가상 타겟을 상기 초기 훈련 시나리오에 대응하여 운용하는 시나리오 처리부;
상기 가상 타겟의 데이터와 상기 운용체의 데이터를 기반으로 동작 데이터를 를 획득하여 상기 시나리오 조정부로 제공하는 동작 데이터 획득부; 및
상기 시나리오 조정부로부터 제공받은 시나리오 갱신 정보를 기반으로 상기 가상 타겟의 동작을 모의하는 가상 타겟 모의처리부;를 포함하는 것을 특징으로 하는 가상 훈련 장치. - 제2항에 있어서,
상기 시나리오 조정부는,
상기 동작 데이터를 강화학습 모델의 입력으로 적용하고, 상기 강화학습 모델을 이용하여 상기 이벤트 발생에 대응하는 시나리오 갱신 정보를 결정하는 것을 특징으로 하는 가상 훈련 장치. - 제3항에 있어서,
상기 강화학습은, PG(Policy Gradient) 알고리즘에 의한 학습이고,
훈련 환경에서 상기 PG 알고리즘의 행위(Action)는 상기 가상 타겟의 동작에 대응하는 것이고,
상기 시나리오 조정부는, 상기 운용체의 피해를 최대화하는 방향으로 보상(Reward)을 주어 강화학습하는 것을 특징으로 하는 가상 훈련 장치. - 제3항에 있어서,
상기 강화학습 모델은,
적어도 하나의 신경망을 이용하여 상기 동작 데이터에 기반하여 상기 시나리오 갱신 정보를 결정하고,
상기 동작 데이터는, 상기 가상 타겟과 상기 운용체 간의 거리, 상기 운용체의 접근 속도, 상기 운용체의 헤딩(Heading) 방향 중 적어도 하나의 정보를 포함하는 것을 특징으로 하는 가상 훈련 장치. - 제5항에 있어서,
상기 신경망은,
심층 신경망(Deep Neural Network, DNN)인 것을 특징으로 하는 가상 훈련 장치. - 제1항에 있어서,
상기 시나리오 조정부는,
상기 가상 타겟이 상기 운용체를 탐지하는 경우, 상기 운용체가 상기 타겟을 향해 접근하는 경우, 상기 운용체가 발사한 공격 무기가 상기 가상 타겟으로 접근하는 경우 중 적어도 하나의 상황을 포함하는 상기 이벤트에 대응하여 상기 시나리오 갱신 정보를 생성하는 것을 특징으로 하는 가상 훈련 장치. - 제7항에 있어서,
상기 기계학습 모델은,
상기 가상 타겟의 기동을 제어하는 것, 상기 가상 타겟에 탑재된 공격 무기를 제어하는 것, 상기 가상 타겟에 탑재된 장비를 운용하는 것 또는 이들의 조합을 상기 시나리오 갱신 정보로 결정하는 것을 특징으로 하는 가상 훈련 장치. - 제1항에 있어서,
상기 가상훈련 처리부는,
사용자에 의하여 훈련이 종료되거나 상기 가상 타겟이 파괴되는 경우 훈련을 종료하고,
상기 시나리오 조정부는, 상기 운용체의 가상 파손 정도를 포함하는 훈련 결과에 적어도 부분적으로 기초하여 상기 기계학습 모델을 학습시키는 것을 특징으로 하는 가상 훈련 장치. - 운용체에 탑재되어 적용되는 가상 타겟의 적응적 모의가 가능한 가상 훈련 장치에서 수행되는 가상 훈련 방법에 있어서,
가상훈련 처리부가, 초기 훈련 시나리오를 활성화하여 가상 훈련 운용 정보를 생성하는 단계;
시나리오 조정부가, 기계학습 모델을 이용하여 훈련 중에 발생하는 적어도 하나의 이벤트에 대응하여 시나리오 갱신 정보를 생성하고, 상기 가상훈련 처리부가 상기 시나리오 갱신 정보를 기반으로 동작하여 상기 가상 훈련 운용 정보를 갱신하도록 상기 시나리오 갱신 정보를 제공하는 단계; 및
가상 훈련 운용 정보 출력부가, 상기 가상 훈련 운용 정보를 사용자에게 제공하는 단계;를 포함하는 가상 훈련 방법. - 제10항에 있어서,
상기 초기 훈련 시나리오를 활성화하여 가상 훈련 운용 정보를 생성하는 단계 는,
시나리오 획득부가, 외부장치로부터 상기 초기 훈련 시나리오를 획득하는 단계;
시나리오 처리부가, 상기 획득한 초기 훈련 시나리오를 기반으로 적어도 하나의 가상 타겟을 생성하고, 상기 가상 타겟을 상기 초기 훈련 시나리오에 대응하여 운용하는 단계;
동작 데이터 획득부가, 상기 가상 타겟의 데이터와 상기 운용체의 데이터를 기반으로 동작 데이터를 획득하여 상기 시나리오 조정부로 제공하는 단계; 및
가상 타겟 모의처리부가, 상기 시나리오 조정부로부터 제공받은 시나리오 갱신 정보를 기반으로 상기 가상 타겟의 동작을 모의하는 단계;를 포함하는 것을 특징으로 하는 가상 훈련 장치. 방법. - 제11항에 있어서,
상기 초기 훈련 시나리오를 활성화하여 가상 훈련 운용 정보를 생성하는 단계 는,
사용자에 의하여 훈련이 종료되거나 상기 가상 타겟이 파괴되는 경우 훈련을 종료하고,
상기 시나리오 조정부는, 상기 운용체의 가상 파손 정도를 포함하는 훈련 결과에 적어도 부분적으로 기초하여 상기 기계학습 모델을 학습시키는 것을 특징으로 하는 가상 훈련 방법. - 가상 타겟의 적응적 모의가 가능한 가상 훈련 시스템에 있어서,
사용자가 탑승하도록 마련되고, 사용자의 조작에 대응하여 이동하는 운용체; 및
초기 훈련 시나리오를 활성화하여 가상 훈련 운용 정보를 생성하는 가상훈련 처리부, 기계학습 모델을 이용하여 훈련 중에 발생하는 적어도 하나의 이벤트에 대응하여 시나리오 갱신 정보를 생성하고, 상기 가상훈련 처리부가 상기 시나리오 갱신 정보를 기반으로 동작하여 상기 가상 훈련 운용 정보를 갱신하도록 상기 시나리오 갱신 정보를 제공하는 시나리오 조정부 및 상기 가상 훈련 운용 정보를 사용자에게 제공하는 가상 훈련 운용 정보 출력부를 포함하고, 상기 운용체에 탑재되어 동작하는 가상 훈련 장치;를 포함하는 가상 훈련 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220128638A KR102718368B1 (ko) | 2022-10-07 | 가상 타겟의 적응적 모의가 가능한 가상 훈련 장치 및 이를 이용하는 훈련 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220128638A KR102718368B1 (ko) | 2022-10-07 | 가상 타겟의 적응적 모의가 가능한 가상 훈련 장치 및 이를 이용하는 훈련 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20240048839A true KR20240048839A (ko) | 2024-04-16 |
| KR102718368B1 KR102718368B1 (ko) | 2024-10-16 |
Family
ID=
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101239882B1 (ko) | 2012-01-13 | 2013-03-06 | 삼성탈레스 주식회사 | Ｌｖｃ 기반의 항공기 시뮬레이션 연동 시스템 |
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101239882B1 (ko) | 2012-01-13 | 2013-03-06 | 삼성탈레스 주식회사 | Ｌｖｃ 기반의 항공기 시뮬레이션 연동 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Behzadan et al. | Vulnerability of deep reinforcement learning to policy induction attacks | |
| Santana et al. | Learning a driving simulator | |
| CN110383298B (zh) | 用于连续控制任务的数据高效强化学习 | |
| CN110770759B (zh) | 神经网络系统 | |
| JP2019530926A (ja) | イメージ深度予測ニューラルネットワーク | |
| CN110574046A (zh) | 各种行为的数据有效模仿 | |
| EP3485432A1 (en) | Training machine learning models on multiple machine learning tasks | |
| CN112433525A (zh) | 基于模仿学习及深度强化学习的移动机器人导航方法 | |
| US20210187733A1 (en) | Data-efficient hierarchical reinforcement learning | |
| CN111462131A (zh) | 一种注意力驱动图像分割的方法和设备 | |
| Lee et al. | Autonomous control of combat unmanned aerial vehicles to evade surface-to-air missiles using deep reinforcement learning | |
| KR102290251B1 (ko) | 항공기의 제어를 위한 학습 방법 및 학습 장치 | |
| CN111783944A (zh) | 基于组合训练的规则嵌入多智能体强化学习方法及装置 | |
| US20220410380A1 (en) | Learning robotic skills with imitation and reinforcement at scale | |
| Fawkes | Developments in Artificial Intelligence: Opportunities and Challenges for Military Modeling and Simulation | |
| Song et al. | Improving adversarial robustness in weight-quantized neural networks | |
| CN111476082A (zh) | 在线批次归一化、在线学习及持续学习的方法和装置 | |
| Wang et al. | Unmanned surface vessel obstacle avoidance with prior knowledge‐based reward shaping | |
| CN115097861B (zh) | 一种基于cel-maddpg的多无人机围捕策略方法 | |
| CN116661503A (zh) | 一种基于多智能体安全强化学习的集群航迹自动规划方法 | |
| Son et al. | Torpedo evasion simulation of underwater vehicle using fuzzy-logic-based tactical decision making in script tactics manager | |
| KR20240048839A (ko) | 가상 타겟의 적응적 모의가 가능한 가상 훈련 장치 및 이를 이용하는 훈련 방법 | |
| CN113485313A (zh) | 自动驾驶车辆的抗干扰方法和装置 | |
| KR102718368B1 (ko) | 가상 타겟의 적응적 모의가 가능한 가상 훈련 장치 및 이를 이용하는 훈련 방법 | |
| CN116301022A (zh) | 基于深度强化学习的无人机集群任务规划方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |