KR101797208B1 - L-v-c 운용 시스템, 이를 이용한 무인기 훈련/실험 방법 - Google Patents
L-v-c 운용 시스템, 이를 이용한 무인기 훈련/실험 방법 Download PDFInfo
- Publication number
- KR101797208B1 KR101797208B1 KR1020150126061A KR20150126061A KR101797208B1 KR 101797208 B1 KR101797208 B1 KR 101797208B1 KR 1020150126061 A KR1020150126061 A KR 1020150126061A KR 20150126061 A KR20150126061 A KR 20150126061A KR 101797208 B1 KR101797208 B1 KR 101797208B1
- Authority
- KR
- South Korea
- Prior art keywords
- environment
- training
- uav
- information
- lvc
- Prior art date
Links
- 238000012549 training Methods 0.000 title claims abstract description 171
- 238000000034 method Methods 0.000 title claims description 57
- 238000002474 experimental method Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 12
- 238000004088 simulation Methods 0.000 claims description 11
- 238000012800 visualization Methods 0.000 claims description 10
- 239000002131 composite material Substances 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000002347 injection Methods 0.000 claims description 4
- 239000007924 injection Substances 0.000 claims description 4
- 238000005094 computer simulation Methods 0.000 claims description 3
- 230000010399 physical interaction Effects 0.000 claims description 2
- 238000010998 test method Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000010485 coping Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000003213 activating effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
- G09B9/30—Simulation of view from aircraft
- G09B9/301—Simulation of view from aircraft by computer-processed or -generated image
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
- G09B9/30—Simulation of view from aircraft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
L-V-C 기반의 무인기 훈련/실험 환경 제공을 위한 L-V-C 운용 시스템이 개시되며, 본원의 L-V-C 운용 시스템은, Live 환경, Virtual 환경 및 Constructive 환경과 정보를 주고받아, 상기 Live 환경 또는 상기 Virtual 환경의 무인기를 상기 Live 환경, Virtual 환경 및 Constructive 환경에 대하여 연동시키는 합성환경 제어부를 포함할 수 있다.
Description
본원은 L-V-C 기반의 무인기 훈련/실험 환경 제공을 위한 L-V-C 운용 시스템 및 이를 이용한 무인기 훈련/실험 방법에 관한 것이다.
국방 M&S(Modeling & Simulation) 분야에서는 Live 환경, Virtual 환경 및 Constructive 환경에서의 시뮬레이션을 통한 실험 및 훈련을 방법을 적용하고 있다.
우선, Live 시뮬레이션은 실제 비행훈련 등과 같이 운용자가 실제 대상을 기동하는 개념이다. 다만, Live 시뮬레이션은 높은 현실감을 제공하지만 시간 및 비용적 한계가 있다. 다음으로, Virtual 시뮬레이션은 비행시뮬레이터 훈련 등과 같이 가상모델을 가시화된 환경에서 운용하는 개념이다. 이러한 Virtual 시뮬레이션은 적은 비용과 시간이 소요되지만 다양한 시나리오를 경험하기 어려운 한계가 있다. 마지막으로, Constructive 시뮬레이션은 비행 전투 시뮬레이션 게임 등과 같이 추상화한 모델과 환경을 모의하는 개념이다. 이 같은 Constructive 시뮬레이션은 저비용으로 고속의 다양한 시나리오를 실험할 수 있지만 현실감을 제공받지 못하는 한계가 있었다.
한편, 원격의 실외환경에서 운용되는 무인기는 통신 링크 결함, 시간 지연, 지상 구조물, 비행물체 및 시스템 고장, 인한 인명/재산적 피해, 인위적 환경적 요인으로 인한 도난 및 손망실, 개인 및 사회로부터의 법적 책임 등과 같은 위험이 따른다. 때문에 상기한 위험을 해결하기 위한 기술을 연구하고 검증을 시도하는 과정이 선행적으로 필요하였다. 이에 따라, 기존의 많은 연구가 초기 설계 및 검증 실험을 환경적 요인의 통제가 용이하고 위험요소가 적은 실내 환경을 통해 진행되었으나, 실내 환경이 갖는 공간적 제약을 극복하기 어려운 한계점이 있었다.
본원의 배경이 되는 기술은 한국특허출원번호 제2013-0058922호(발명의 명칭 "무인기의 지상통제 표준운용시스템")의 문헌 및 한국특허출원번호 제2013-0031887호(발명의 명칭 "무인기용 통합 비행제어 컴퓨터시스템 및 그 검증방법"의 문헌에 개시되어 있다.
본원은 상기의 문제점을 해결하기 위한 것으로, 무인기의 실외 훈련/실험 환경의 위험을 극복함과 동시에, 실내 환경의 공간적 제약까지 해결한 무인기 훈련/실험 환경을 구축할 수 있도록 L-V-C(Live-Virtual-Constructive)를 효율적으로 연동한 L-V-C 기반의 무인기 훈련/실험 환경 제공을 위한 L-V-C 운용 시스템 및 이를 이용한 무인기 훈련/실험 방법을 제공하고자 한다.
또한, 본원은 무인기의 실내 훈련/실험 환경에서 실내 환경의 공간적 제약을 해결하는 기술로 사용되는 L-V-C 연동을 위한 합성환경제어 시스템을 구축할 수 있는 L-V-C 기반의 무인기 훈련/실험 환경 제공을 위한 L-V-C 운용 시스템, 이를 이용한 무인기 훈련/실험 방법을 제공하고자 한다.
또한, 본원은 무인기의 훈련/실험 환경에서 훈련 및 실습을 지원하기 위한 훈련 지원 시스템을 구축할 수 있는 L-V-C 기반의 무인기 훈련/실험 환경 제공을 위한 L-V-C 운용 시스템, 이를 이용한 무인기 훈련/실험 방법을 제공하고자 한다.
그러나 본원의 목적은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 제1 측면에 따른 L-V-C 운용 시스템(장치)은 L-V-C 기반의 무인기 훈련/실험 환경 제공을 위한 L-V-C 운용 시스템으로서, Live 환경, Virtual 환경 및 Constructive 환경과 정보를 주고받아, 상기 Live 환경 또는 상기 Virtual 환경의 무인기를 상기 Live 환경, Virtual 환경 및 Constructive 환경에 대하여 연동시키는 합성환경 제어부를 포함하되, 상기 합성환경 제어부는, 상기 Live 환경의 무인기의 위치/자세 정보를 획득하여 상기 Virtual 환경의 가상공간에 대응하는 스케일로 조절하는 위치추종 모듈; 상기 Constructive 환경에서 이벤트가 발생한 경우, 상기 이벤트에 대한 정보를 전달받아, 상기 이벤트에 의해 변동되는 정보를 생성하는 이벤트전파 모듈; 상기 스케일 조절된 무인기의 위치/자세 정보 및 상기 이벤트에 의해 변동되는 정보를 함께 고려하여, 객체 및 공간/환경에 대한 갱신 정보를 생성하고 상기 Virtual 환경 및 상기 Constructive 환경에 반영하는 공간정보 모듈; 및 상기 갱신 정보를 토대로, 상기 Live 환경의 무인기를 제어하는 신호를 생성하는 모델제어 모듈을 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 모델제어 모듈은, 상기 Virtual 환경의 가상공간을 바탕으로 결정된 무인기의 제어 명령을 상기 Live 환경의 무인기를 제어하기 위한 신호로 변환하되, 상기 Live 환경의 공간 상의 제약을 반영하여 변환할 수 있다.
본원의 일 실시예에 따르면, 상기 공간정보 모듈은, 상기 Virtual 환경의 가상공간에 가시화될 수 있는 무인기 및 이동 장애물의 위치/자세 정보, 그리고 공간/환경 정보를 관리 및 제공할 수 있다.
본원의 일 실시예에 따르면, 상기 갱신 정보는, 상기 Virtual 환경으로 제공되는 무인기와 이동 장애물의 위치/자세 정보 및 공간/환경 정보, 그리고 상기 Constructive 환경으로 제공되는 무인기와 이동 장애물의 위치/자세 정보 및 공간/환경 정보를 포함할 수 있다.
본원의 일 실시예에 따르면, 본원의 제1 측면에 따른 L-V-C 운용 시스템은 훈련지원부를 포함하고, 상기 훈련지원부는, 무인기의 훈련생을 위한 시나리오를 제공하는 시나리오 저작부; 상기 시나리오 저작부로부터 제공받은 시나리오에 따라 이벤트를 생성하여 상기 Constructive 환경으로 제공하는 이벤트 상황 주입부; 상기 이벤트에 대응하는 훈련생의 조작 결과를 상기 Constructive 환경으로부터 수집하는 훈련 결과 수집부; 상기 수집된 훈련결과를 분석한 분석 정보를 제공하는 훈련 결과 분석부; 및 상기 시나리오 및 상기 분석 정보를 확인할 수 있도록 제공되는 사용자 인터페이스를 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 Live 환경은, 실제의 무인기를 기동할 수 있는 제한된 공간으로서, 무인기의 위치/자세에 대한 정보를 실시간으로 제공하는 3차원 위치추종 센서를 포함하고, 상기 Virtual 환경은, 3차원으로 가시화되는 가상공간을 화면 상에 제공하는 디스플레이부 및 무인기 가시화 기능, 이동 장애물 가시화 기능, 지형/지물 가시화 기능 및 기상 가시화 기능을 갖는 3차원 가시화 프로그램부를 포함하며, 상기 Constructive 환경은, 컴퓨터 시뮬레이션을 통해 객체와 공간/환경의 물리적 상호작용 결과를 도출하는 시뮬레이션 엔진을 포함할 수 있다..
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 제2 측면에 따른 L-V-C 기반의 무인기 훈련/실험 방법은, 본원의 제1 측면에 따른 L-V-C 운용 시스템을 이용한 무인기 훈련/실험 방법으로서, 상기 L-V-C 운용 시스템이 사용자 인터페이스를 통하여 훈련교관에 의해 입력된 시나리오를 제공받고, 상기 시나리오에 따라 훈련 목표를 할당하는 제 1 단계; 훈련생에 의하여 제어되는 상기 훈련생 인터페이스로부터 수신된 제어 입력에 따라 Live 환경에서 무인기가 기동되는 제 2 단계; Constructive 환경에서 무인기 모델에 대한 이벤트가 생성되는 경우, 상기 L-V-C 운용 시스템이 상기 Constructive 환경으로부터 상기 이벤트에 대한 정보를 전달받아 상기 훈련생 인터페이스로 제공하고, 상기 제공된 이벤트에 대응하여 상기 훈련생 인터페이스에서 이루어진 상기 Live 환경의 무인기에 대한 제어 입력을 수신하여, 상기 제어 입력과 상기 이벤트의 영향을 함께 고려한 직접 제어를 통해 상기 Live 환경에서의 무인기 기동을 수행하는 제 3 단계를 포함할 수 있다.
본원의 일 실시예에 따르면, 본원의 제2 측면에 따른 L-V-C 기반의 무인기 훈련/실험 방법은 상기 L-V-C 운용 시스템이 상기 Live 환경에서 기동하는 무인기의 위치 정보를 수집하고, 상기 수집된 위치 정보를 기반으로 할당된 훈련 목표가 달성되었는지 판단하는 제 4 단계; 및 판단 결과 할당된 훈련 목표가 달성되지 않은 경우 상기 L-V-C 운용 시스템이 상기 제 2 단계의 과정으로 회귀하도록 제어하여, 상기 제 2 단계 내지 상기 제 4 단계를 상기 훈련 목표가 달성될 때까지 반복하도록 하는 제 5 단계를 더 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 제 5 단계는, 판단 결과 할당된 훈련 목표가 달성된 경우, 상기 L-V-C 운용 시스템이 훈련 성과 분석 결과를 상기 훈련교관 인터페이스를 통해 훈련교관에게 보고한 뒤, Live-Constructive 기반 위기 대처 훈련 과정을 종료할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 제3 측면에 따른 L-V-C 기반의 무인기 훈련/실험 방법은, 본원의 제1 측면에 따른 L-V-C 운용 시스템을 이용한 무인기 훈련/실험 방법으로서, 상기 L-V-C 운용 시스템이 사용자 인터페이스를 통하여 훈련교관에 의해 입력된 시나리오를 제공받고, 상기 시나리오에 따라 훈련 목표를 할당하는 제 1 단계; 훈련생에 의하여 제어되는 상기 훈련생 인터페이스로부터 수신된 제어 입력에 따라, Live 환경에서 무인기가 기동되고, 상기 L-V-C 운용 시스템이 Virtual 환경에서 무인기를 기동시키는 제 2 단계; Constructive 환경에서 무인기 모델에 대한 이벤트가 생성되는 경우, 상기 L-V-C 운용 시스템이 상기 Constructive 환경으로부터 상기 이벤트에 대한 정보를 전달받아 Virtual 환경의 가상공간에 상기 이벤트를 표출하고, 상기 표출된 이벤트에 대응하여 상기 훈련생 인터페이스에서 이루어진 제어 입력을 수신하여, 상기 제어 입력과 상기 이벤트의 영향을 함께 고려한 직접 제어를 통해 상기 Live 환경 및 상기 Virtual 환경에서의 무인기 기동을 수행하는 제 3 단계를 포함할 수 있다.
본원의 일 실시예에 따르면, 본원의 제3 측면에 따른 L-V-C 기반의 무인기 훈련/실험 방법은, 상기 L-V-C 운용 시스템이 상기 Live 환경에서 기동하는 무인기의 위치 정보 및 상기 Virtual 환경에서 기동하는 무인기의 위치 정보 중 하나 이상을 수집하고, 상기 수집된 위치 정보를 기반으로 할당된 훈련 목표가 달성되었는지 판단하는 제 4 단계; 및 판단 결과 할당된 훈련 목표가 달성되지 않은 경우 상기 L-V-C 운용 시스템이 상기 제 2 단계의 과정으로 회귀하도록 제어하여, 상기 제 2 단계 내지 상기 제 4 단계를 상기 훈련 목표가 달성될 때까지 반복하도록 하는 제 5 단계를 더 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 제 5 단계는, 판단 결과 할당된 훈련 목표가 달성된 경우, 상기 L-V-C 운용 시스템이 훈련 성과 분석 결과를 상기 훈련교관 인터페이스를 통해 훈련교관에게 보고한 뒤, Live-Virtual-Constructive 기반 가상 임무 수행 훈련 과정을 종료할 수 있다.
또한, 상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 제2 측면에 따른 L-V-C 기반의 무인기 훈련/실험 방법 또는 본원의 제3 측면에 따른 L-V-C 기반의 무인기 훈련/실험 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원의 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
상술한 과제의 해결 수단 중 적어도 하나에 의하면, Live 환경의 실내 훈련/실험 환경의 공간적 제약이 Virtual 환경의 가상체험에 의해 효과적으로 보상될 수 있다.
또한, 상술한 과제의 해결 수단 중 적어도 하나에 의하면, Constructive 환경에서 제공하는 기상/장애물 이벤트로 훈련/실험의 다양성을 확보할 수 있다.
또한, 상술한 과제의 해결 수단 중 적어도 하나에 의하면, 훈련 시나리오를 계획하고, 결과를 수집/분석하는 것이 용이하여, 무인기에 대한 훈련생의 훈련 효과를 극대화할 수 있다.
도 1은 본원의 일 실시예에 따른 L-V-C 기반의 무인기 훈련/실험 환경 제공을 위한 L-V-C 운용 시스템에서 제공하는 L-V-C 환경의 구성도이다.
도 2는 도 1의 L-V-C 운용 시스템을 나타내는 구성도이다.
도 3은 도 2의 L-V-C 운용 시스템 중 합성환경 제어부를 나타내는 구성도이다.
도 4는 도 2의 L-V-C 운용 시스템 중 훈련지원부를 나타내는 구성도이다.
도 5는 본원의 일 실시예에 따른 L-V-C 기반의 무인기 훈련/실험 방법 중 Live 기반 기초 조종 훈련 과정을 나타내는 흐름도이다.
도 6은 본원의 일 실시예에 따른 L-V-C 기반의 무인기 훈련/실험 방법 중 Virtual-Constructive 기반 기초 조종 훈련 과정을 나타내는 흐름도이다.
도 7은 본원의 일 실시예에 따른 L-V-C 기반의 무인기 훈련/실험 방법 중 Live-Constructive 기반 위기 대처 훈련 과정을 나타내는 흐름도이다.
도 8은 본원의 일 실시예에 따른 L-V-C 기반의 무인기 훈련/실험 방법 중 Live-Virtual-Constuctive 기반 가상 임무 수행 훈련 과정을 나타내는 흐름도이다.
도 2는 도 1의 L-V-C 운용 시스템을 나타내는 구성도이다.
도 3은 도 2의 L-V-C 운용 시스템 중 합성환경 제어부를 나타내는 구성도이다.
도 4는 도 2의 L-V-C 운용 시스템 중 훈련지원부를 나타내는 구성도이다.
도 5는 본원의 일 실시예에 따른 L-V-C 기반의 무인기 훈련/실험 방법 중 Live 기반 기초 조종 훈련 과정을 나타내는 흐름도이다.
도 6은 본원의 일 실시예에 따른 L-V-C 기반의 무인기 훈련/실험 방법 중 Virtual-Constructive 기반 기초 조종 훈련 과정을 나타내는 흐름도이다.
도 7은 본원의 일 실시예에 따른 L-V-C 기반의 무인기 훈련/실험 방법 중 Live-Constructive 기반 위기 대처 훈련 과정을 나타내는 흐름도이다.
도 8은 본원의 일 실시예에 따른 L-V-C 기반의 무인기 훈련/실험 방법 중 Live-Virtual-Constuctive 기반 가상 임무 수행 훈련 과정을 나타내는 흐름도이다.
이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
본원은 드론(drone)과 같은 무인기(UAV)의 실험 및 훈련을 위한 실내공간을 활용한 L-V-C 기반의 무인기 훈련/실험 환경 제공을 위한 L-V-C 운용 시스템, 이를 이용한 무인기 훈련/실험 방법에 관한 것이다. 보다 구체적으로, 본원은 실제 무인기의 안전한 실내 실험을 위한 공간과 컴퓨터 소프트웨어를 이용한 가상현실 및 시뮬레이션 기술을 접목하여 안전하고 효과적인 실내 실험 및 훈련이 이루어질 수 있는 L-V-C 기반의 무인기 훈련/실험 환경 제공을 위한 L-V-C 운용 시스템, 이를 이용한 무인기 훈련/실험 방법에 관한 것이다.
도 1은 본원의 일 실시예에 따른 L-V-C 기반의 무인기 훈련/실험 환경 제공을 위한 L-V-C 운용 시스템(이하, L-V-C 운용 시스템)에서 제공하는 L-V-C 환경(이하, L-V-C 기반의 무인기 훈련/실험 환경)의 구성도이다. 도 2는 도 1의 L-V-C 운용 시스템(400)을 나타내는 구성도이다. 도 3은 도 2의 L-V-C 운용 시스템(400) 중 합성환경 제어부(410)를 나타내는 구성도이다. 도 4는 도 2의 L-V-C 운용 시스템(400) 중 훈련지원부(420)를 나타내는 구성도이다.
먼저, 도 1을 참조하면, L-V-C 기반의 무인기 훈련/실험 환경은 Live 환경(100), Virtual 환경(200), Constructive 환경(300) 및 L-V-C 운용 시스템(400)을 포함함으로써, L-V-C 운용 시스템(100)은 실내공간 및 소프트웨어를 활용하므로, 무인기 교육 훈련에 적합하며, 실험/검증 연구에도 활용 가능한 장점을 제공한다.
여기서 Live 환경(100)은 실제 무인기를 기동할 수 있는 공간으로 현재 무인기의 위치/자세를 실시간으로 제공할 수 있는 3차원 위치추종 센서를 포함할 수 있다. 또한, Live 환경(100)은 안전그물망을 포함할 수 있다. Live 환경(100)은 실내에 마련되는 공간일 수 있으며, 실내 공간이라는 제약을 고려하여 야외에 실제적으로 형성되어 있는 공간(환경)에 비해 그 스케일을 축소하는 방향으로 조정되어 마련될 수 있다. 예를 들어, Live 환경(100)은 10 m x 10 m 면적 상의 공간으로 마련될 수 있지만, Virtual 환경(200)은 야외에 실제적으로 형성되어 있는 공간에 대응하여 1 km x 1 km 면적 상의 공간으로 표현될 수 있다. 후술할 합성환경 제어부(410)의 위치추종 모듈(411)은 Live 환경(100)과 Virtual 환경(200) 사이의 공간적 차이를 보정하는 스케일(scale) 기능을 담당할 수 있다.
Virtual 환경(200)은 3차원 가시화 환경을 제공하는 역할을 하며, 대화면 또는 헤드마운트 디스플레이를 포함하는 디스플레이부(몰입형 디스플레이 장치)와 3차원 가시화 프로그램부(소프트웨어)를 포함할 수 있다.
Constructive 환경(300)은 고속의 컴퓨터 시뮬레이션을 통해 가상의 공간과 무인기, 장애물 등의 상호작용을 지속적으로 가시화할 수 있는 정보로 제공하는 역할을 하며, 무인기 모델, 장애물 모델, 기상 모델, 지형/지물(地物) 모델과 각 모델을 실행시켜 상호작용 결과를 구해내는 시뮬레이션엔진을 포함할 수 있다.
L-V-C 운용 시스템(400)은 Live-Virtual-Constructive 환경의 연동을 통해 무인기 훈련/실험을 위한 합성환경을 제공한다.
예시적으로, 각 환경(100, 200, 300) 요소와 L-V-C 운용시스템(400)은 일반적인 TCP-IP 네트워크로 연결될 수 있다. 이때, 높은 통신 대역이 확보될수록 원활한 훈련/실험 환경이 제공될 수 있다.
다음으로, 도 2를 참조하면, L-V-C 운용 시스템(400)은 각 환경(100, 200, 300) 간의 공간적, 시간적 차이를 극복하는 역할을 하는 합성환경 제어부(410)를 포함할 수 있다. 이러한 합성환경 제어부(410)는 Live 환경(100), Virtual 환경(200) 및 Constructive 환경(300)과 정보를 주고받아, Live 환경 또는 Virtual 환경의 무인기를 Live 환경, Virtual 환경 및 Constructive 환경에 대하여 연동시키는 구성이라 할 수 있다. 또한, L-V-C 운용 시스템(400)은 훈련생에게 원활한 훈련/실험을 위해 훈련 시나리오 저작과 훈련 결과 분석 기능을 제공하는 훈련지원부(420)를 포함할 수 있다.
도 3을 참조하면, 합성환경 제어부(410)는, Live 환경(100)의 무인기 위치/자세 정보를 Virtual 환경(200) 공간에 따라 스케일(비율) 조절하는 기능을 하는 위치추종 모듈(411)을 포함할 수 있다.
또한, 합성환경 제어부(410)는 시시각각 변화하는 Virtual 환경(200)에서 가시화되는 모든 요소(무인기 및 장애물 포함)의 위치/자세 정보, 공간 및 환경 정보(지형/환경 변화, 공간정보 포함)를 Virtual 환경(200)에 반영할 수 있도록 관리/제공하는 공간정보 모듈(412)을 포함할 수 있다. 이러한 공간정보 모듈(412)은 위치추종 모듈(411)을 통해 스케일 조절된 무인기의 위치/자세 정보 및 이벤트에 의해 변동되는 정보(이를테면 이벤트에 의한 무인기의 위치/자세의 변동 정보)를 함께 고려하여, 객체(무인기, 이동 장애물 등) 및 공간/환경(지형, 고정 장애물, 기상 상황 등)에 대한 갱신 정보를 생성하고 Virtual 환경(200) 및 Constructive 환경(300)에 반영할 수 있다. 공간정보 모듈(412)은 Virtual 환경(200) 및 Constructive 환경(300)에서 무인기의 운용환경인 가상의 공간에 관한 정보(예를 들면, 3차원 지형/지물 정보, 무인기의 위치/자세/부피 정보, 이동 장애물의 위치/자세/부피 정보, 기상[비/바람/조도] 정보)를 저장하고 관리(갱신)하며 제공하는 모듈이라 할 수 있다. Virtual 환경(200)은 이러한 공간정보 모듈(412)의 데이터를 이용하여 실시간 3차원 그래픽으로 구현될 수 있다.
또한, 합성환경 제어부(410)는 Constructive 환경(300)에서 발생한 기상, 장애물, 위험 등의 이벤트를 전달받아 Live 환경(100)의 무인기에게 영향을 미칠 수 있도록 조절하는 기능의 이벤트전파 모듈(413)을 포함할 수 있다. 이벤트전파 모듈(413)은 Constructive 환경(300)에서 이벤트가 발생한 경우, 이벤트에 대한 정보를 전달받아, 이벤트에 의해 변동되는 정보(이를테면 이벤트에 의해 변동된 무인기의 자세/위치 정보)를 생성할 수 있다. 예를 들면, 이벤트전파 모듈(413)은 이벤트에 의해 변동되는 정보를 공간정보 모듈(412)로 전달하고 Virtual 환경(200) 및/또는 Constructive 환경(300)에 대한 갱신 정보를 수신한 다음, 이벤트로 인해 공간의 제약에서 벗어나는 부피의 겹침 등이 Live 환경(100)에서 발생되는 것을 사전에 방지하도록 무인기의 기동을 수정하여 모델제어 모듈(414)에 전달할 수 있다. 여기서, 상기의 갱신 정보는 Virtual 환경으로 제공되는 무인기와 이동 장애물의 위치/자세 정보 및 공간/환경 정보, 그리고 Constructive 환경으로 제공되는 무인기와 이동 장애물의 위치/자세 정보 및 공간/환경 정보를 포함할 수 있다.
또한, 합성 환경 제어부(410)는 Virtual 환경(200)의 가시화면을 바탕으로 결정된 무인기 제어 명령을 실제 Live 환경(100)의 무인기를 제어하기 위한 신호로 변환하는 모델제어 모듈(414)를 포함할 수 있다. 모델제어 모듈(414)은 공간정보 모듈(412)에서 생성한 객체 및 공간/환경에 대한 갱신 정보를 토대로, Live 환경의 무인기를 제어하는 신호를 생성할 수 있다. 전술한 바와 같이, 모델제어 모듈(414)은 이벤트전파 모듈(413)로부터 이벤트로 인해 공간의 제약에서 벗어나는 부피의 겹침 등이 Live 환경(100)에서 발생되는 것을 사전에 방지하도록 무인기의 기동을 수정한 기동 명령을 전달받을 수 있으며, 이러한 기동 명령을 기초로 Live 환경(100)의 무인기를 제어하는 신호를 생성할 수 있다. 즉, 모델제어 모듈(412)은, Virtual 환경(200)의 가상공간을 바탕으로 결정된 무인기의 제어 명령을 Live 환경(100)의 무인기를 제어하기 위한 신호로 변환하되, Live 환경(100)의 공간 상의 제약을 반영하여 변환하는 기능을 수행한다고 할 수 있다. 또한, 모델제어 모듈(414)은 위치추종 모듈(411)과 유사하게, Live 환경(100)과 Virtual 환경(200) 사이의 공간적 차이를 고려한 스케일링(scaling)을 수행할 수 있다.
도 4를 참조하면, 훈련지원부(420)는 훈련생을 위한 훈련/실험의 시나리오를 저작하여 이벤트 상황 주입부(422)로 제공하는 시나리오 저작부(421), 시나리오 저작부(421)에 의해 저작된 시나리오에 따라 기상, 장애물, 기체이상 등의 가상 이벤트를 발생시켜서 Constructive 환경(300) 상으로 제공하는 이벤트 상황 주입부(422), 이벤트 상황 주입부(422)에서 주입한 이벤트에 대처하는 훈련생의 조작 결과를 Constructive 환경(300)으로부터 수집하는 훈련 결과 수집부(423), 수집된 훈련결과에 대하여 평가하고, 다양한 관점의 분석을 제공하는 훈련 결과 분석부(424), 저작된 훈련 시나리오 및 훈련 성과 분석 결과를 확인할 수 있도록 제공되는 사용자 인터페이스(425)를 포함할 수 있다.
한편, 이하에서는 본원의 일 실시예에 따른 L-V-C 기반의 무인기 훈련/실험 방법에 대해 설명한다. 다만, 이러한 방법은 앞서 설명한 L-V-C 운용 시스템(장치)을 이용한 것으로서, L-V-C 운용 시스템(장치)과 동일하거나 상응하는 기술적 특징을 포함하는 발명이라 할 것이므로, 앞서 설명한 구성과 동일 또는 유사한 구성에 대해서는 동일한 도면부호를 사용하고, 중복되는 설명은 간략히 하거나 생략하기로 한다.
도 5는 본원의 일 실시예에 따른 L-V-C 기반의 무인기 훈련/실험 방법 중 Live 기반 기초 조종 훈련 과정을 나타내는 흐름도이다. 도 5를 참조하면, L-V-C 운용 시스템(400)은 사용자 인터페이스(425) 중 훈련교관 인터페이스(425a)로부터 훈련교관에 의해 입력된 시나리오를 제공 받는다(S101).
단계 S101 이후, L-V-C 운용 시스템(400)은 단계 S101에서 제공받은 시나리오에 따른 훈련 목표를 할당한다(S102).
단계 S102 이후, 훈련생이 컨트롤러 등과 같은 훈련생 인터페이스(425b)을 이용하여 무인기(1)에 대한 제어 신호를 입력하면(S103), 이러한 제어 신호에 따라 Live 환경(100)에서의 무인기 기동이 이루어질 수 있다(S104). 예시적으로, 무인기(1)의 기동은 훈련생이 입력한 제어 신호를 무인기(1) 자체에서 직접 수신하는 방식으로 이루어질 수 있다. 또한, 이러한 무인기(1)의 기동과 관련한 제어 신호는 L-V-C 운용 시스템(400)에도 전달될 수 있다. 다만, 무인기(1)의 제어에 따른 기동 방식은 이에만 한정되는 것은 아니다. 다른 예로, 무인기(1)의 기동과 관련한 제어 신호는 L-V-C 운용 시스템(400)을 거쳐 무인기(1)에 전달될 수도 있을 것이다.
단계 S104 이후, L-V-C 운용 시스템(400)은 Live 환경(100)에서 기동하는 무인기(1)의 위치/자세 정보를 수집한다(S105). 예를 들면, L-V-C 운용 시스템(400)은 Live 환경(100)에 구비된 3차원 위치추종 센서를 통해 무인기(1)의 위치/자세 정보를 수집할 수 있다.
단계 S105 이후, L-V-C 운용 시스템(400)은 수집된 위치/자세 정보를 기반으로 단계 S102에서 할당된 훈련 목표가 달성되었는지 판단한다(S106).
단계 S106의 판단 결과 할당된 훈련 목표가 달성되지 않은 경우 L-V-C 운용 시스템(400)은 단계 S103으로 회귀하도록 제어함으로써, 단계 S103 내지 단계 S106의 과정을 훈련 목표가 달성될 때까지 반복하도록 한다.
한편, 단계 S106에서의 판단 결과 할당된 훈련 목표가 달성된 경우, L-V-C 운용 시스템(400)은 훈련 성과 분석 결과를 훈련교관 인터페이스(425a)를 통해 훈련교관에게 보고한 뒤(S107), Live 기반 기초 조종 훈련 과정을 종료할 수 있다.
도 6은 본원의 일 실시예에 따른 L-V-C 기반의 무인기 훈련/실험 방법 중 Virtual-Constructive 기반 기초 조종 훈련 과정을 나타내는 흐름도이다. 도 6을 참조하면, Virtual-Constructive 기반 기초 조종 훈련 과정의 단계 S201 내지 단계 S202는 도 5의 단계 S101 내지 단계 S102에 대응하는 단계라 할 수 있다.
단계 S202 이후, 훈련생이 컨트롤러 등과 같은 훈련생 인터페이스(425b)를 이용하여 무인기(1)에 대한 제어 신호를 입력하면(S203), 이러한 제어 신호에 따라 Constructive 환경(300)의 무인기 모델의 위치/자세 정보가 업데이트되고(S204), L-V-C 운용 시스템(400)은 Constructive 환경(300)에서의 무인기 모델의 위치/자세 정보를 수집한다(S205). 예시적으로, 무인기(1)에 대한 제어 신호는 훈련생 인터페이스(425b)로부터 Constructive 환경(300)으로 직접 전송될 수도 있고, L-V-C 운용 시스템(400)을 통하여 전송될 수도 있을 것이다.
단계 S205 이후, L-V-C 운용 시스템(400)은 단계 S202에서 할당된 훈련 목표가 달성되었는지 판단한다(S206).
단계 S206에서의 판단 결과 할당된 훈련 목표를 달성하지 못한 경우, L-V-C 운용 시스템(400)은 Constructive 환경(300)의 객체 정보(예를 들면, 무인기 및 이동 장애물의 위치/자세 정보) 및 공간/환경 모델들에 대응하여 Virtual 환경(200)의 가상화면을 업데이트 한 뒤(S207), Constructive 환경(300)의 무인기 모델에 대한 새로운 무인기 제어 신호를 수신하는 단계 S203으로 진행하도록 함으로써, 단계 S203 내지 단계 S207의 과정을 훈련 목표가 달성될 때까지 반복하도록 한다.
반면, 단계 S206의 판단 결과 할당된 훈련 목표가 달성된 경우, L-V-C 운용 시스템(400)은 훈련 성과 분석 결과를 훈련교관 인터페이스(425a)를 통해 훈련교관에게 보고한 뒤(S208), Virtual-Constructive 기반 기초 조종 훈련 과정을 종료한다.
도 7은 본원의 일 실시예에 따른 L-V-C 기반의 무인기 훈련/실험 방법 중 Live-Constructive 기반 위기 대처 훈련 과정을 나타내는 흐름도이다. 도 7을 참조하면, 먼저 도 5의 단계 S101 내지 단계 S103에 대응하는 단계 S301 내지 단계 S303의 초기 단계를 거쳐, 컨트롤러 등을 포함하는 훈련생 인터페이스(425b)로부터 수신된 제어 입력에 따라 Live 환경(100)의 실제 무인기(1)가 기동된다(S304).
단계 S304 수행 중에, 또는 단계 S304 이후에, Constructive 환경에서 무인기 모델에 대한 이벤트가 생성되는 경우, L-V-C 운용 시스템(400)은 Constructive 환경(300)으로부터 위기상황 등의 이벤트에 대한 정보를 전달받아 이벤트 정보를 생성한 뒤(S305), 훈련생 인터페이스(425b)를 통해 훈련생에게 이벤트에 대한 정보를 제공한다(S306). 예시적으로, 훈련생 인터페이스(425b)는 무인기(1)를 제어하는 신호를 생성하는 컨트롤러 및 상기와 같은 이벤트에 대한 정보를 제공받는 이벤트 정보 제공부를 포함할 수 있다. 예를 들어, 이벤트 정보 제공부는 시각적인 형태(영상, 이미지, 텍스트 등), 청각적인 형태(안내음성, 효과음 등) 등 다양한 형태로 이벤트에 관한 정보를 훈련생에게 제공할 수 있다.
단계 S306에 따라 제공된 위기상황과 같은 이벤트에 대응하여, 훈련생은 훈련생 인터페이스(425b)를 통해 Live 환경(100)에서 기동되는 무인기(1)에 대한 제어 입력을 수행할 수 있다(S307). L-V-C 운용 시스템(400)은 이러한 무인기(1)에 대한 제어 입력을 수신하여, 이러한 제어 입력과 생성된 이벤트의 영향을 함께 고려한 직접 제어를 통해 Live 환경(100)에서의 무인기 기동을 수행한다(S308). 구체적으로, 단계 S308은, L-V-C 운용 시스템(400)의 합성환경 제어부(410)에 의해 Live 환경(100)의 무인기(1)에 대한 위기상황 등의 이벤트와 매칭되는 직접 제어를 통한 무인기(1) 기동이 수행될 수 있다.
단계 S308 이후, L-V-C 운용 시스템(400)은 Live 환경(100)에서 기동하는 무인기(1)의 위치 정보를 수집할 수 있다(S309). 다만, 단계 S309는 반드시 단계 S308 이후에만 수행되는 것으로만 한정되는 것은 아니다. 예를 들면, Live 환경(100)의 무인기(1)에 대한 위치 정보 수집은 타 단계의 수행 중에도 주기적으로, 또는 필요에 따라 수시로 이루어질 수 있다. 또한, L-V-C 운용 시스템(400)은 수집된 위치 정보를 기반으로 단계 S302에서 할당된 훈련 목표가 달성되었는지 판단한다(S310).
단계 S310의 판단 결과 할당된 훈련 목표가 달성되지 않은 경우, L-V-C 운용 시스템(400)은 단계 S303으로 회귀하도록 제어함으로써, 단계 S303 내지 단계 S310의 과정을 훈련 목표가 달성될 때까지 반복하도록 한다.
한편, 단계 S310의 판단 결과 할당된 훈련 목표가 달성된 경우, L-V-C 운용 시스템(400)은 훈련 성과 분석 결과를 훈련교관 인터페이스(425a)를 통해 훈련교관에게 보고한 뒤(S311), Live-Constructive 기반 위기 대처 훈련 과정을 종료할 수 있다.
도 8은 본원의 일 실시예에 따른 L-V-C 기반의 무인기 훈련/실험 방법 중 Live-Virtual-Constuctive 기반 가상 임무 수행 훈련 과정을 나타내는 흐름도이다. 도 8을 참조하면, Live, Virtual, Constructive 모두를 연동하여 가상의 임무를 수행하는 훈련 방법으로, 먼저 도 7의 단계 S301 내지 단계 S303과 동일하게 단계 S401 내지 단계 S403의 시작 단계를 거쳐, 훈련생 인터페이스(425b)로부터 수신된 제어 입력에 따라 Live 환경(100)의 실제 무인기(1)와 Virtual 환경(200)의 가상의 무인기가 기동된다(S404).
이때, Live 환경(100)의 실제 무인기(1)는 제어 입력을 직접 수신하여 기동될 수 있지만, 이에만 한정되는 것은 아니며, L-V-C 운용 시스템(400)이 제어 입력을 수신하여 Live 환경(100)의 실제 무인기(1)를 기동시킬 수도 있을 것이다.
또한, Virtual 환경(200)의 가상의 무인기는 전술한 합성환경 제어부(410)의 기능 수행에 따라 기동될 수 있다. 예를 들어, 위치추종 모듈(411)이 Live 환경(100)의 무인기의 위치/자세에 대한 정보를 전달받아 Live 환경(100)의 공간 제약에 따른 스케일을 고려하여 무인기의 위치/자세 정보를 보정한 다음 공간정보 모듈(412)로 전달하면, 공간정보 모듈(412)은 이러한 보정된 정보를 고려하여 Virtual 환경(200)의 가상공간 상의 무인기 위치/자세, 이동 장애물 위치/자세, 지형/환경 변화 사항, 공간 정보 등을 갱신하여 가시화할 수 있다.
단계 S404 수행 중에, 또는 단계 S304 이후에, Constructive 환경에서 무인기 모델에 대한 이벤트가 생성되는 경우, L-V-C 운용 시스템(400)은 Constructive 환경(300)으로부터 위기상황 등의 이벤트에 대한 정보를 전달받아 이벤트 정보를 생성한 뒤(S405), Virtual 환경의 가상공간에 이벤트를 시각적으로 (또는 청각적으로) 표출할 수 있다(S406).
구체적인 예로, 합성환경 제어부(410)의 이벤트전파 모듈(413)이 Constructive 환경(300)로부터 이벤트 정보를 전달받아 공간정보 모듈(412)로 이벤트에 의해 변동되는 정보(예를 들면, 기상 정보, 지형/환경 정보, 이동 장애물 정보, 고정 장애물 정보, 무인기 정보 등)를 전달하면, 공간정보 모듈(412)은 이러한 변동 정보를 고려하여 Virtual 환경(200)의 가상공간 상의 무인기 위치/자세, 이동 장애물 위치/자세, 지형/환경 변화 사항, 공간 정보 등을 갱신하여 가시화함으로써, 이벤트가 표출되도록 할 수 있다. 이처럼 이벤트는 Virtual 환경(200)의 가상공간 상에 시각적으로 표현되는 방식으로 표출될 수 있지만, 다른 예로, 이벤트는 Virtual 환경(200)의 디스플레이 상에 이미지나 텍스트 형태의 단순 정보로 표출될 수도 있을 것이다.
단계 S406에 따라 제공된 위기상황과 같은 이벤트에 대응하여, 훈련생은 훈련생 인터페이스(425b)를 통해 Live 환경(100)에서 기동되는 무인기(1)에 대한 제어 입력을 수행할 수 있다(S407). L-V-C 운용 시스템(400)은 이러한 무인기(1)에 대한 제어 입력을 수신하여, 제어 입력과 생성된 이벤트의 영향을 함께 고려한 직접 제어를 통해 Live 환경(100)에서의 무인기 기동 및 Virtual 환경(200)에서의 무인기 기동을 수행한다(S408).
구체적으로, 단계 408은, L-V-C 운용 시스템(400)의 합성환경 제어부(410)에 의해 Live 환경(100)의 실제 무인기(1) 및 Virtual 환경(200)의 가상의 무인기에 대한 위기상황 등의 이벤트와 매칭되는 직접 제어를 통한 무인기(1) 기동이 수행될 수 있다. 예를 들면, 이벤트전파 모듈(413)로부터 이벤트의 영향을 반영한 변동된 정보 및 위치추종 모듈(411)로부터 Live 환경(100)의 무인기(10)의 실제적인 위치/자세 정보를 전달받은 공간정보 모듈(412)에 의해 Virtual 환경(200)의 가상의 무인기의 기동이 제어될 수 있다. 또한, 공간정보 모듈(412)로부터 이벤트에 따라 갱싱된 정보를 전달받은 모델제어 모듈(414)을 통해 Live 환경(100)에서의 실제 무인기(1)의 기동이 제어될 수 있다.
단계 S408 이후, L-V-C 운용 시스템(400)은 Live 환경(100)에서 기동하는 무인기(1)의 위치 정보 및 Virtual 환경(200)의 가상의 무인기의 위치 정보 중 적어도 하나 이상을 수집할 수 있다(S409). 예시적으로, 이러한 위치 정보는 Live 환경(100)에 구비되어 무인기(1)의 실제 위치/자세를 파악하는 3차원 위치추종 센서를 통해 생성되거나, Virtual 환경(200)의 3차원 가시화 프로그램부(소프트웨어)로부터 전달받을 수 있다. 다만, 단계 S409는 반드시 단계 S408 이후에만 수행되는 것으로만 한정되는 것은 아니다. 예를 들면, Live 환경(100)의 무인기(1)에 대한 위치 정보 수집 또는 Virtual 환경(200)의 가상의 무인기에 대한 위치 정보 수집은 타 단계의 수행 중에도 주기적으로, 또는 필요에 따라 수시로 이루어질 수 있다. 또한, L-V-C 운용 시스템(400)은 수집된 위치 정보를 기반으로 단계 S402에서 할당된 훈련 목표가 달성되었는지 판단한다(S410).
단계 S410의 판단 결과 할당된 훈련 목표가 달성되지 않은 경우, L-V-C 운용 시스템(400)은 단계 S403으로 회귀하도록 제어함으로써, 단계 S403 내지 단계 S410의 과정을 훈련 목표가 달성될 때까지 반복하도록 한다.
한편, 단계 S410의 판단 결과 할당된 훈련 목표가 달성된 경우, L-V-C 운용 시스템(400)은 훈련 성과 분석 결과를 훈련교관 인터페이스(425a)를 통해 훈련교관에게 보고한 뒤(S411), Live-Virtual-Constuctive 기반 가상 임무 수행 훈련 과정을 종료한다.
한편, 이와 같은 본원의 일 실시예에 따른 L-V-C 기반의 무인기 훈련/실험 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 살펴본 바와 같이, 전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : Live 환경 200 : Virtual 환경
300 : Constructive 환경 400 : L-V-C 운용 시스템
410 : 합성환경 제어부 411 : 위치추종 모듈
412 : 공간정보 모듈 413 : 이벤트전파 모듈
414 : 모델제어 모듈 420 : 훈련지원부
421 : 시나리오 저작부 422 : 이벤트 상황 주입부
423 : 훈련 결과 수집부 424 : 훈련 결과 분석부
425 : 사용자 인터페이스 425a : 훈련교관 인터페이스(IF)
425b : 훈련생 인터페이스(IF)
300 : Constructive 환경 400 : L-V-C 운용 시스템
410 : 합성환경 제어부 411 : 위치추종 모듈
412 : 공간정보 모듈 413 : 이벤트전파 모듈
414 : 모델제어 모듈 420 : 훈련지원부
421 : 시나리오 저작부 422 : 이벤트 상황 주입부
423 : 훈련 결과 수집부 424 : 훈련 결과 분석부
425 : 사용자 인터페이스 425a : 훈련교관 인터페이스(IF)
425b : 훈련생 인터페이스(IF)
Claims (13)
- L-V-C 기반의 무인기 훈련/실험 환경 제공을 위한 L-V-C 운용 시스템으로서,
Live 환경, Virtual 환경 및 Constructive 환경과 정보를 주고받아, 상기 Live 환경 또는 상기 Virtual 환경의 무인기를 상기 Live 환경, 상기 Virtual 환경 및 상기 Constructive 환경에 대하여 연동시키는 합성환경 제어부를 포함하되,
상기 Live 환경은, 실제의 무인기를 기동할 수 있는 제한된 공간으로서, 야외에 실제적으로 형성되어 있는 공간에 비해 스케일이 축소되어 마련되고 공간 상의 제약이 있는 실내 환경이고,
상기 합성환경 제어부는,
상기 Live 환경의 무인기의 위치/자세 정보를 획득하여 상기 Virtual 환경의 가상공간에 대응하는 스케일로 조절하는 위치추종 모듈;
상기 Constructive 환경에서 이벤트가 발생한 경우, 상기 이벤트에 대한 정보를 전달받아, 상기 이벤트에 의해 변동되는 정보를 생성하는 이벤트전파 모듈;
상기 스케일 조절된 무인기의 위치/자세 정보 및 상기 이벤트에 의해 변동되는 정보를 함께 고려하여, 객체 및 공간/환경에 대한 갱신 정보를 생성하고 상기 Virtual 환경 및 상기 Constructive 환경에 반영하는 공간정보 모듈; 및
상기 갱신 정보를 토대로, 상기 Live 환경의 무인기를 제어하는 신호를 생성하되, 상기 Live 환경과 상기 Virtual 환경 사이의 공간적 차이를 고려한 스케일링을 수행하는 모델제어 모듈을 포함하고,
상기 모델제어 모듈에서, 상기 Live 환경의 무인기를 제어하는 신호는 상기 Virtual 환경의 가상공간을 바탕으로 결정된 무인기의 제어 명령을 상기 Live 환경의 공간 상의 제약을 반영하여 변환함으로써 생성되며,
상기 이벤트전파 모듈은 상기 Constructive 환경에서 발생한 이벤트로 인해 상기 Live 환경에서 공간의 제약을 벗어나는 부피의 겹침이 발생되는 것을 사전에 방지하도록 무인기의 기동을 수정한 기동 명령을 상기 모델제어 모듈로 전달하는 것인, L-V-C 운용 시스템. - 삭제
- 제1항에 있어서,
상기 공간정보 모듈은, 상기 Virtual 환경의 가상공간에 가시화될 수 있는 무인기 및 이동 장애물의 위치/자세 정보, 그리고 공간/환경 정보를 관리 및 제공하는 것인, L-V-C 운용 시스템. - 제1항에 있어서,
상기 갱신 정보는, 상기 Virtual 환경으로 제공되는 무인기와 이동 장애물의 위치/자세 정보 및 공간/환경 정보, 그리고 상기 Constructive 환경으로 제공되는 무인기와 이동 장애물의 위치/자세 정보 및 공간/환경 정보를 포함하는 것인, L-V-C 운용 시스템. - 제1항에 있어서,
훈련지원부를 더 포함하고,
상기 훈련지원부는,
무인기의 훈련생을 위한 시나리오를 제공하는 시나리오 저작부;
상기 시나리오 저작부로부터 제공받은 시나리오에 따라 이벤트를 생성하여 상기 Constructive 환경으로 제공하는 이벤트 상황 주입부;
상기 이벤트에 대응하는 훈련생의 조작 결과를 상기 Constructive 환경으로부터 수집하는 훈련 결과 수집부;
상기 수집된 훈련결과를 분석한 분석 정보를 제공하는 훈련 결과 분석부; 및
상기 시나리오 및 상기 분석 정보를 확인할 수 있도록 제공되는 사용자 인터페이스를 포함하는 것인, L-V-C 운용 시스템. - 제1항에 있어서,
상기 Live 환경은, 무인기의 위치/자세에 대한 정보를 실시간으로 제공하는 3차원 위치추종 센서를 포함하고,
상기 Virtual 환경은, 3차원으로 가시화되는 가상공간을 화면 상에 제공하는 디스플레이부 및 무인기 가시화 기능, 이동 장애물 가시화 기능, 지형/지물 가시화 기능 및 기상 가시화 기능을 갖는 3차원 가시화 프로그램부를 포함하며,
상기 Constructive 환경은, 컴퓨터 시뮬레이션을 통해 객체와 공간/환경의 물리적 상호작용 결과를 도출하는 시뮬레이션 엔진을 포함하는 것인, L-V-C 운용 시스템. - 제1항에 따른 L-V-C 운용 시스템을 이용한 무인기 훈련 및 실험 방법으로서,
상기 L-V-C 운용 시스템이 사용자 인터페이스를 통하여 훈련교관에 의해 입력된 시나리오를 제공받고, 상기 시나리오에 따라 훈련 목표를 할당하는 제 1 단계;
훈련생에 의하여 제어되는 훈련생 인터페이스로부터 수신된 제어 입력에 따라 Live 환경에서 무인기가 기동되는 제 2 단계;
Constructive 환경에서 무인기 모델에 대한 이벤트가 생성되는 경우, 상기 L-V-C 운용 시스템이 상기 Constructive 환경으로부터 상기 이벤트에 대한 정보를 전달받아 상기 훈련생 인터페이스로 제공하고, 상기 제공된 이벤트에 대응하여 상기 훈련생 인터페이스에서 이루어진 상기 Live 환경의 무인기에 대한 제어 입력을 수신하여, 상기 제어 입력과 상기 이벤트의 영향을 함께 고려한 직접 제어를 통해 상기 Live 환경에서의 무인기 기동을 수행하는 제 3 단계를 포함하는, L-V-C 기반의 무인기 훈련 및 실험 방법. - 제7항에 있어서,
상기 L-V-C 운용 시스템이 상기 Live 환경에서 기동하는 무인기의 위치 정보를 수집하고, 상기 수집된 위치 정보를 기반으로 할당된 훈련 목표가 달성되었는지 판단하는 제 4 단계; 및
판단 결과 할당된 훈련 목표가 달성되지 않은 경우 상기 L-V-C 운용 시스템이 상기 제 2 단계의 과정으로 회귀하도록 제어하여, 상기 제 2 단계 내지 상기 제 4 단계를 상기 훈련 목표가 달성될 때까지 반복하도록 하는 제 5 단계를 더 포함하는, L-V-C 기반의 무인기 훈련 및 실험 방법. - 제8항에 있어서,
상기 제 5 단계는,
판단 결과 할당된 훈련 목표가 달성된 경우, 상기 L-V-C 운용 시스템이 훈련 성과 분석 결과를 상기 사용자 인터페이스를 통해 훈련교관에게 보고한 뒤, Live-Constructive 기반 위기 대처 훈련 과정을 종료하는 것인, L-V-C 기반의 무인기 훈련 및 실험 방법. - 제1항에 따른 L-V-C 운용 시스템을 이용한 무인기 훈련 및 실험 방법으로서,
상기 L-V-C 운용 시스템이 사용자 인터페이스를 통하여 훈련교관에 의해 입력된 시나리오를 제공받고, 상기 시나리오에 따라 훈련 목표를 할당하는 제 1 단계;
훈련생에 의하여 제어되는 훈련생 인터페이스로부터 수신된 제어 입력에 따라, Live 환경에서 무인기가 기동되고, 상기 L-V-C 운용 시스템이 Virtual 환경에서 무인기를 기동시키는 제 2 단계;
Constructive 환경에서 무인기 모델에 대한 이벤트가 생성되는 경우, 상기 L-V-C 운용 시스템이 상기 Constructive 환경으로부터 상기 이벤트에 대한 정보를 전달받아 Virtual 환경의 가상공간에 상기 이벤트를 표출하고, 상기 표출된 이벤트에 대응하여 상기 훈련생 인터페이스에서 이루어진 제어 입력을 수신하여, 상기 제어 입력과 상기 이벤트의 영향을 함께 고려한 직접 제어를 통해 상기 Live 환경 및 상기 Virtual 환경에서의 무인기 기동을 수행하는 제 3 단계를 포함하는, L-V-C 기반의 무인기 훈련 및 실험 방법. - 제10항에 있어서,
상기 L-V-C 운용 시스템이 상기 Live 환경에서 기동하는 무인기의 위치 정보 및 상기 Virtual 환경에서 기동하는 무인기의 위치 정보 중 하나 이상을 수집하고, 상기 수집된 위치 정보를 기반으로 할당된 훈련 목표가 달성되었는지 판단하는 제 4 단계; 및
판단 결과 할당된 훈련 목표가 달성되지 않은 경우 상기 L-V-C 운용 시스템이 상기 제 2 단계의 과정으로 회귀하도록 제어하여, 상기 제 2 단계 내지 상기 제 4 단계를 상기 훈련 목표가 달성될 때까지 반복하도록 하는 제 5 단계를 더 포함하는, L-V-C 기반의 무인기 훈련 및 실험 방법. - 제11항에 있어서,
상기 제 5 단계는,
판단 결과 할당된 훈련 목표가 달성된 경우, 상기 L-V-C 운용 시스템이 훈련 성과 분석 결과를 상기 사용자 인터페이스를 통해 훈련교관에게 보고한 뒤, Live-Virtual-Constructive 기반 가상 임무 수행 훈련 과정을 종료하는 것인, L-V-C 기반의 무인기 훈련 및 실험 방법. - 제7항 또는 제10항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150126061A KR101797208B1 (ko) | 2015-09-07 | 2015-09-07 | L-v-c 운용 시스템, 이를 이용한 무인기 훈련/실험 방법 |
PCT/KR2015/010675 WO2017043687A1 (ko) | 2015-09-07 | 2015-10-08 | L-v-c 운용 시스템, 이를 이용한 무인기 훈련/실험 방법 |
US15/357,235 US20170069218A1 (en) | 2015-09-07 | 2016-11-21 | L-v-c operating system and unmanned aerial vehicle training/testing method using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150126061A KR101797208B1 (ko) | 2015-09-07 | 2015-09-07 | L-v-c 운용 시스템, 이를 이용한 무인기 훈련/실험 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20170029128A KR20170029128A (ko) | 2017-03-15 |
KR101797208B1 true KR101797208B1 (ko) | 2017-11-13 |
Family
ID=58240891
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150126061A KR101797208B1 (ko) | 2015-09-07 | 2015-09-07 | L-v-c 운용 시스템, 이를 이용한 무인기 훈련/실험 방법 |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR101797208B1 (ko) |
WO (1) | WO2017043687A1 (ko) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200075052A (ko) * | 2018-12-07 | 2020-06-26 | 한국로봇융합연구원 | Lvc 환경의 재난 대응 능력 테스트가 가능한 재난 대응 로봇 및 테스트 서버와 그 테스트 방법 |
KR20210069554A (ko) | 2019-12-03 | 2021-06-11 | 한국로봇융합연구원 | Lvc 환경의 재난 대응 로봇에 대한 훈련생 테스트 및 평가 장치 |
KR20210069555A (ko) | 2019-12-03 | 2021-06-11 | 한국로봇융합연구원 | Lvc 환경의 재난 대응 로봇에 대한 훈련생 훈련 및 평가 시스템 |
KR20220028312A (ko) * | 2020-08-28 | 2022-03-08 | 한국로봇융합연구원 | Mr 환경과 로봇의 인터렉션 훈련 시스템 |
KR102655962B1 (ko) | 2023-07-11 | 2024-04-19 | 대한민국(방위사업청장) | 원격 드론 전술훈련 시스템 |
KR102655965B1 (ko) | 2023-07-11 | 2024-04-19 | 대한민국(방위사업청장) | 드론의 영상에 기반한 vr인터랙션 실시간 합성 시스템 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108475064B (zh) * | 2017-05-16 | 2021-11-05 | 深圳市大疆创新科技有限公司 | 用于设备控制的方法、设备和计算机可读存储介质 |
KR102083856B1 (ko) * | 2018-11-19 | 2020-03-03 | 배경환 | 무인비행체 운영시스템 |
CN111833686A (zh) * | 2019-04-22 | 2020-10-27 | 中国人民解放军陆军航空兵学院 | 一种可重定义的直升机战术模拟器视景显示系统 |
KR102583960B1 (ko) | 2020-01-06 | 2023-09-27 | 한국전자통신연구원 | 무인 비행체의 데이터 세트 생성 방법 및 장치 |
KR102370575B1 (ko) * | 2020-08-28 | 2022-03-03 | 한국로봇융합연구원 | Mr환경에서의 재난 로봇 훈련 시스템 |
KR102471842B1 (ko) * | 2022-03-30 | 2022-11-30 | (주)디투이노베이션 | Lvc 기반 드론 전술훈련을 위한 eo/ir 영상 시뮬레이션 방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101194053B1 (ko) * | 2011-11-11 | 2012-10-24 | 삼성탈레스 주식회사 | 데이터링크를 이용한 lvc 체계 연동 시스템 |
KR101239882B1 (ko) * | 2012-01-13 | 2013-03-06 | 삼성탈레스 주식회사 | Lvc 기반의 항공기 시뮬레이션 연동 시스템 |
KR101408077B1 (ko) * | 2014-01-29 | 2014-06-18 | 국방과학연구소 | 가상 영상을 이용한 무인기 조종 장치 및 방법 |
-
2015
- 2015-09-07 KR KR1020150126061A patent/KR101797208B1/ko active IP Right Grant
- 2015-10-08 WO PCT/KR2015/010675 patent/WO2017043687A1/ko active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101194053B1 (ko) * | 2011-11-11 | 2012-10-24 | 삼성탈레스 주식회사 | 데이터링크를 이용한 lvc 체계 연동 시스템 |
KR101239882B1 (ko) * | 2012-01-13 | 2013-03-06 | 삼성탈레스 주식회사 | Lvc 기반의 항공기 시뮬레이션 연동 시스템 |
KR101408077B1 (ko) * | 2014-01-29 | 2014-06-18 | 국방과학연구소 | 가상 영상을 이용한 무인기 조종 장치 및 방법 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200075052A (ko) * | 2018-12-07 | 2020-06-26 | 한국로봇융합연구원 | Lvc 환경의 재난 대응 능력 테스트가 가능한 재난 대응 로봇 및 테스트 서버와 그 테스트 방법 |
KR102164957B1 (ko) * | 2018-12-07 | 2020-10-13 | 한국로봇융합연구원 | Lvc 환경의 재난 대응 능력 테스트가 가능한 재난 대응 로봇 및 테스트 서버와 그 테스트 방법 |
KR20210069554A (ko) | 2019-12-03 | 2021-06-11 | 한국로봇융합연구원 | Lvc 환경의 재난 대응 로봇에 대한 훈련생 테스트 및 평가 장치 |
KR20210069555A (ko) | 2019-12-03 | 2021-06-11 | 한국로봇융합연구원 | Lvc 환경의 재난 대응 로봇에 대한 훈련생 훈련 및 평가 시스템 |
KR20220028312A (ko) * | 2020-08-28 | 2022-03-08 | 한국로봇융합연구원 | Mr 환경과 로봇의 인터렉션 훈련 시스템 |
KR102393627B1 (ko) | 2020-08-28 | 2022-05-02 | 한국로봇융합연구원 | Mr 환경과 로봇의 인터렉션 훈련 시스템 |
KR102655962B1 (ko) | 2023-07-11 | 2024-04-19 | 대한민국(방위사업청장) | 원격 드론 전술훈련 시스템 |
KR102655965B1 (ko) | 2023-07-11 | 2024-04-19 | 대한민국(방위사업청장) | 드론의 영상에 기반한 vr인터랙션 실시간 합성 시스템 |
Also Published As
Publication number | Publication date |
---|---|
KR20170029128A (ko) | 2017-03-15 |
WO2017043687A1 (ko) | 2017-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101797208B1 (ko) | L-v-c 운용 시스템, 이를 이용한 무인기 훈련/실험 방법 | |
US20170069218A1 (en) | L-v-c operating system and unmanned aerial vehicle training/testing method using the same | |
US11774978B2 (en) | Generative adversarial network enriched driving simulation | |
JP6837104B2 (ja) | 模擬点群データを生成する方法、装置、機器および記憶媒体 | |
CN109359405B (zh) | 空天地一体化的大数据战场环境半实物仿真系统 | |
US9022786B2 (en) | Flight crew training system | |
US20160314224A1 (en) | Autonomous vehicle simulation system | |
CN104133378B (zh) | 一种机场活动区监控引导系统的实时仿真平台 | |
US9224307B2 (en) | Methods and systems for managing a training arena for training an operator of a host vehicle | |
US9836991B2 (en) | Virtual flight deck | |
KR20180067506A (ko) | 무인 차량 시뮬레이터 | |
KR20190016841A (ko) | 10축 센서를 이용한 멀티콥터 무인비행장치 시뮬레이터 시스템 | |
EP2821930B1 (en) | Aids-to-navigation simulator system | |
KR101396292B1 (ko) | 전장 상황과 동일한 비행 환경을 구현하는 비행 시뮬레이터 장치 | |
KR102277393B1 (ko) | 훈련 장치 및 훈련 방법 | |
CN110021210B (zh) | 一种具有可扩展性虚拟空间的无人机vr训练方法 | |
KR101460213B1 (ko) | 비행체 관제 훈련시스템 및 방법 | |
Walter et al. | Virtual UAV ground control station | |
JP2001100628A (ja) | 飛行訓練装置 | |
EP3783587A2 (en) | Simulating aircraft data for tactics training | |
KR101440503B1 (ko) | 위성영상 기반의 교관석 화면을 제공하는 비행시뮬레이터 장치 | |
CN110321772B (zh) | 动态影响视觉元素的定制视觉渲染 | |
Heesbeen et al. | Traffic Manager-Traffic Simulation for Validation of Future ATM Concepts | |
CN111367194A (zh) | 一种视觉算法验证的方法及装置 | |
CN117852316B (zh) | 通讯约束下集群协同导航仿真测试系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |