KR102419667B1 - 가상현실(vr)/증강현실(ar) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련시스템 및 그 방법 - Google Patents

가상현실(vr)/증강현실(ar) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련시스템 및 그 방법 Download PDF

Info

Publication number
KR102419667B1
KR102419667B1 KR1020200112466A KR20200112466A KR102419667B1 KR 102419667 B1 KR102419667 B1 KR 102419667B1 KR 1020200112466 A KR1020200112466 A KR 1020200112466A KR 20200112466 A KR20200112466 A KR 20200112466A KR 102419667 B1 KR102419667 B1 KR 102419667B1
Authority
KR
South Korea
Prior art keywords
training
pilot
navigation
environment
deep learning
Prior art date
Application number
KR1020200112466A
Other languages
English (en)
Other versions
KR20220030760A (ko
Inventor
이재동
김희주
이원진
Original Assignee
단국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 단국대학교 산학협력단 filed Critical 단국대학교 산학협력단
Priority to KR1020200112466A priority Critical patent/KR102419667B1/ko
Publication of KR20220030760A publication Critical patent/KR20220030760A/ko
Application granted granted Critical
Publication of KR102419667B1 publication Critical patent/KR102419667B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30—Simulation of view from aircraft
    • G09B9/301—Simulation of view from aircraft by computer-processed or -generated image
    • G09B9/302—Simulation of view from aircraft by computer-processed or -generated image the image being transformed by computer processing, e.g. updating the image to correspond to the changing point of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 가상/증강현실 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 VR(Virtual Reality) and AR(Augmented Reality)를 활용한 조종사의 훈련 데이터를 프로파일 처리하여 최적의 훈련 코스를 추천함으로써, VR/AR현실을 기반하여 파일럿 훈련 시스템 환경에서 수행한 파일럿 비행 훈련 데이터를 수집하여 파일럿에게 효과적인 훈련코스를 추천할 수 있다. 또한, VR/AR 기술로 보다 높은 몰입도를 제공하여, 다양한 훈련 환경들에 대한 추가적인 정보를 제공해줄 수 있다. 마지막으로 사용자의 환경 및 성향에 따른 맞춤형 훈련 데이터를 제공함에 따라 기술적·경제적으로 효율적인 훈련을 진행 할 수 있다.

Description

가상현실(VR)/증강현실(AR) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련시스템 및 그 방법{Customized Pilot Training System and Method with Collaborative Deep Learning in Virtual Reality and Augmented Reality Environment}
본 발명은 가상현실(VR)/증강현실(AR) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 VR(Virtual Reality) and AR(Augmented Reality)를 활용한 조종사의 훈련 데이터를 프로파일 처리하여 최적의 훈련 코스를 추천하기 위한 가상/증강현실 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련 시스템 및 그 방법에 관한 것이다.
항공 ICT 기술은 항공과 전자의 융합 기술로 조종사 업무 수행, 항법, 교육 등 활용 분야가 매우 다양하다. 이 중 비행 조종 시뮬레이터는 전 세계 선진국의 방위산업체를 중심으로 VR(Virtual Reality), AR(Augmented Reality), HMD(Head Mounted Display)와 같은 항공전자 기술을 필두로 경쟁하고 있으며, 민간개발은 다소 미흡한 실정이다.
특히 VR/AR 기반 비행 조종 시뮬레이션의 경우, 공군 조종사 양성에 많이 활용되고 있으나, 현재 초기단계에 머물러 있어 아직 실질적인 효과를 나타내지 못하고 있다. 이러한 시뮬레이터를 이용한 항공 조종 훈련 시스템의 경우 돌발 상황이 발생하는 경우에 대비하여 이뤄지는 훈련인 비정상상황 회복훈련(Upset Prevention Recovery Training, UPRT)을 중점으로 개발이 되고 있으며, 안정적인 훈련 시스템 구축을 목표로 하고 있다.
그러나 항공 산업에서 사용되는 시뮬레이터의 경우 개개인의 조종 특성에 맞춰지지 않은 시뮬레이터 프로그램의 특성으로 인해 실제 경험할 수 없는 다양한 상황에 대한 대처하는 연습량의 부족으로 실제 훈련 및 비행 중, 사고 발생의 가능성이 높아지고 있기 때문에 맞춤형 훈련이 지원 가능한 조종사 훈련 시스템의 필요성이 대두되고 있다.
특히 종래의 항공 조종사 훈련 시스템은 군사 목적 및 대형 항공사에서 제공하거나, 혹은 게임의 형태로 나타나 있어 민간 항공 관련 사업에서는 고도의 기술을 적용시키기 어려웠으며, 고전적 훈련 분석 방식의 경우 기록된 영상을 토대로 직접 사람이 판독해야하고 피드백해야 하는 방식이라는 점에 있어서 조종사 개인에게 맞춤화 된 훈련 방법을 제시해야 할 필요성 또한 커지고 있다.
한국공개특허문헌 제10-2018-0048907호 등록
본 발명은 이와 같은 문제점을 감안한 것으로서, 본 발명은 개인의 특성에 맞춤화된 훈련 경험이 협업 딥러닝을 적용한 맞춤형 기술을 통해 훈련자의 상황 및 성향에 맞추어 알맞은 훈련 방법을 제시하도록 할 수 있는 기능으로 이루어지며,
VR 시뮬레이터 및 AR 디브리핑 디스플레이 기반의 항행 훈련 시스템에서 수집되는 조종사 훈련 데이터를 기반으로, 협업 딥러닝을 적용한 맞춤형 조종사 훈련 추천 알고리즘 제안할 수 있는 가상/증강현실 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련 시스템 및 그 방법을 제공하는 것이다.
본 발명의 실시예들에 따른 가상현실(VR)/증강현실(AR) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련시스템은 항행 훈련 기록 데이터를 수집하는 하는 항행정보수집부;와 상기 항행정보수집부로부터 전달받은 데이터를 분석하여 조종사 맞춤형 훈련 정보를 추천하는 협업딥러닝분석부;와 상기 협업딥러닝분석부로부터 추천받은 데이터를 기반으로 가상의(Virtual Reality) 항행 훈련 환경을 제공하고, 상기 조종사의 가상의 항행 훈련 영상을 저장하는 VR가시화부;와 상기 VR가시화부로부터 연동 받은 상기 가상의 항행 훈련 영상 데이터를 실시간으로 증강(Argumented Reality)시켜 디스플레이하며 상기 가상 항행 훈련을 평가하는 AR가시화부; 및 상기 AR가시화부로부터 평가 결과를 전달받아 딥러닝을 재학습 시키는 재학습도우미부;를 포함한다.
본 발명의 실시예들에 있어서, 상기 항행정보수집부는 상기 조종사의 훈련 기록데이터 및 훈련 패턴데이터, 일전에 저장된 상기 가상의 훈련 환경에서의 항행임무 영상데이터 및 항행 임무 평가 정보데이터를 수집하며, 상기 훈련 기록데이터 및 훈련 패턴데이터, 항행 임무 영상데이터 및 항행 임무 평가 정보데이터를 상기 협업딥러닝분석부로 전달한다.
본 발명의 실시예들에 있어서, 상기 협업딥러닝분석부는 상기 항행정보수집부로부터 상기 훈련 기록데이터 및 훈련 패턴데이터, 항행 임무 영상데이터 및 항행 임무 평가 정보데이터를 전달받아 빅데이터에 저장하며, 상기 빅데이터를 기반으로 하여 조종사 훈련기록 프로파일(profile)을 처리하는 프로파일부; 및 상기 프로파일부의 조종사 훈련기록 프로파일 정보를 기반으로 AI(Artificial Intelligence)를 학습시켜, 상기 AI(Artificial Intelligence)를 통해 개인 맞춤형 조종사 훈련 추천 정보를 제공하는 훈련추천부;를 포함한다.
본 발명의 실시예들에 있어서, 상기 프로파일부는 상기 빅데이터의 조종사 훈련의 내용, 시간, 난인도, 훈련 기체 등의 비정형 데이터(텍스트형 데이터)를 전처리처리 및 프로파일(Profile) 처리를 수행한다.
본 발명의 실시예들에 있어서, 상기 훈련추천부는 상기 프로파일부로부터 전달받은 빅데이터 및 상기 AI(Artificial Intelligence)를 통해 상기 조종자의 습관적인 훈련 패턴을 도출하고, 상기 조종사의 맞춤형 항행 훈련 환경 제공과, 항행 훈련 상황에서 상기 조종사에게 맞춤화된 훈련 추천 콘텐츠를 제공할 수 있도록 학습시킨다.
본 발명의 다른 실시예들에 있어서, 상기 훈련추천부는 VR(Virtual Reality) 혹은 AR(Argumented Reality) 기반의 개인 맞춤형 조종사 훈련 콘텐츠를 추천 알고리즘을 생성하기 위해, 콘텐츠 기반 필터링 혹은 협업 필터링 혹은 규칙 기반 필터링 중에 어느 하나 이상의 것을 조합하여, 상호 보완적인 필터 기능을 갖춘 하이브리드 필터링 알고리즘을 생성한다.
본 발명의 실시예들에 있어서, 상기 하이브리드 필터링은 상기 조종사에게 맞춤화된 훈련 추천 정보의 정확도를 향상시키기 위해 RNN(Recurrent Neural Network)와 상기 하이브리드 필터링을 혼합한 협업 딥 러닝(Collaborative Deep learning)을 생성한다.
본 발명의 실시예들에 있어서, 상기 VR가시화부는 상기 협업딥러닝분석부로부터 추천받은 상기 맞춤형 훈련 정보 데이터를 상기 VR(Virtual Reality)로 가시화시켜, 상기 가상의 비행착각(Spatial Disorientation) 야간 비행 훈련 환경과 비행착시(Visual Illusion) 환경을 제공하고, 상기 조종사는 상기 가상의 비행착각 및 비행착시 환경 내 맞춤형 항행 훈련을 받으며, 상기 조종사의 항행 훈련 전 과정 영상은 저장되어 상기 AR가시화부로 전달한다.
본 발명의 실시예들에 있어서,상기 AR가시화부는 상기 VR가시화부로부터 상기 조종사의 가상의 환경에서 맞춤형 항행 훈련 완료영상을 실시간 연동 받으며, 상기 연동 받은 항행 훈련 완료영상을 증강시켜 AR(Argumented Reality)환경에서 상기 항행 훈련 영상의 디브리핑(Debrifing)을 가시화시킨다.
본 발명의 실시예들에 있어서, 상기 AR가시화부는 상기 항행 훈련 영상의 디브리핑(Debrifing)의 시각화 정보를 동기화하여, 맞춤형 훈련 영상 추천에 관련한 결과 및 만족도를 조종 트레이너 및 평가자가 모니터링하고 평가한다.
본 발명의 실시예들에 있어서, 상기 재학습도우미부는 상기 AR가시화부로부터 평가 완료된 상기 조종사의 항행 훈련 결과물을 전달받아, 상기 빅데이터 및 AI(Artificial Intelligence)의 학습용 자료로 전달한다.
본 발명의 실시예들에 따른 가상현실(VR)/증강현실(AR) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련 프로그램을 추천하는 방법에 따르면, 조종사 항행 훈련 정보 텍스트 데이터를 수집하고, 상기 텍스트 데이터를 분석하기 위해 전처리하는 단계;와 상기 전처리된 데이터들을 6개의 분석표를 통해 분석하고, 모든 속성치들을 포함한 빅데이터 기반 상기 조종사의 항행 훈련 정보의 프로파일을 구축하는 단계;와 상기 구축된 프로파일로 상기 조종사에게 맞춤형 항행 훈련을 추천해줄 수 있는 AI(Artificial Intelligence)를 학습시키는 협업 딥 러닝(Collaborative Deep Learning) 알고리즘을 만드는 단계; 및 상기 구축된 프로파일이 없는 조종사의 경우, 상기 조종사에게 맞춤형 항행 훈련을 추천해주기 위한 규칙 기반 필터링 알고리즘을 활용하는 단계; 상기 협업 딥 러닝 알고리즘 혹은 규칙 기반 필터링 알고리즘을 통해서 상기 조종사가 운전하는 기체별, 노선별, 사례별 등을 분석하여, 상기 조종사에게 맞춤형 항행 훈련 프로그램을 추천하는 단계;를 포함하는 것을 특징으로 하는 가상현실(VR)/증강현실(AR) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련 방법.
이상에서 설명한 바와 같은 가상/증강현실 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련 시스템 및 그 방법에 따르면,
VR/AR현실을 기반한 파일럿 훈련 시스템 환경에서 수행한 파일럿 비행 훈련 데이터를 수집하여 파일럿에게 효과적인 훈련코스를 추천할 수 있다.
또한, VR/AR 기술로 보다 높은 몰입도를 제공하여, 다양한 훈련 환경들에 대한 추가적인 정보를 제공해줄 수 있다.
마지막으로 사용자의 환경 및 성향에 따른 맞춤형 훈련 데이터를 제공함에 따라 기술적·경제적으로 효율적인 훈련을 진행 할 수 있다.
도 1은 본 발명의 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 VR/AR 환경의 협업 딥러닝을 적용한 맞춤형 조종사 훈련 플랫폼 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 가상/증강현실 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련 시스템이다.
도 4는 본 발명의 일 실시예에 따른 본 발명에서 제안하는 추천 알고리즘의 순차적 수행 절차를 나타낸 것이다.
도 5는 본 발명의 협업 딥 러닝 알고리즘의 구현도이다.
도 6은 본 발명의 일 실시예에 따른 가상현실(VR)/증강현실(AR) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련 프로그램을 추천하는 방법의 흐름도이다.
첨부한 도면을 참조하여 본 발명의 실시예들에 따른 가상/증강현실 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련 시스템 및 그 방법에 대하여 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하거나, 개략적인 구성을 이해하기 위하여 실제보다 축소하여 도시한 것이다.
또한, 제1 및 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 한편, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 흐름도이며, 도 2는 본 발명의 일 실시예에 따른 VR/AR 환경의 협업 딥러닝을 적용한 맞춤형 조종사 훈련 플랫폼 흐름도이다.
도1을 참고하면, 가상현실(VR)/증강현실(AR) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련시스템은 항행 훈련 기록 데이터를 수집하는 하는 항행정보수집부(10);와 항행정보수집부(10)로부터 전달받은 데이터를 분석하여 조종사 맞춤형 훈련 정보를 추천하는 협업딥러닝분석부(20);와 협업딥러닝분석부(20)로부터 추천받은 데이터를 기반으로 가상의(Virtual Reality) 항행 훈련 환경을 제공하고, 상기 조종사의 가상의 항행 훈련 영상을 저장하는 VR가시화부(30);와 VR가시화부(30)로부터 연동 받은 상기 가상의 항행 훈련 영상 데이터를 실시간으로 증강(Argumented Reality)시켜 디스플레이하며 상기 가상 항행 훈련을 평가하는 AR가시화부(40); 및 AR가시화부(40)로부터 평가 결과를 전달받아 딥러닝을 재학습 시키는 재학습도우미부(50);를 포함한다.
도2를 참고하면, 가상/증강현실 기술 기반의 개인 맞춤형 항공 조종사 훈련 플랫폼은 도2와 같은 형태로 구성되어 있으며, VR 시뮬레이터와 및 AR 디브리핑 디스플레이 기반의 항행 훈련 환경에서 협업 딥러닝 기반의 맞춤형 조종사 훈련 추천 시스템이 작동하는 흐름을 도2에서 확인할 수 있다.
도2의 좌측면은 VR 시뮬레이터 및 디브리핑 디스플레이 기반의 항행 훈련을 나타낸 것으로, 본 발명이 적용될 환경을 나타낸다. VR 장비와 비행 시뮬레이션 프로그램을 연동하여 VR 모의비행을 수행하고 AR 디브리핑 디스플레이를 통해 훈련을 실시간으로 모니터링 할 수 있으며, 임무가 끝난 후에 리플레이를 통해 완료된 항행임무를 평가할 수 있다.
조종사는 VR 시뮬레이터를 통해 ①가상 항행 훈련을 수행하게 되며 실시간 훈련내용은 AR기반 항행 디브리핑 시스템에 반영되어 시각화되고 시각화된 훈련 내용은 트레이너 및 평가자가 실시간으로 ⑨모니터링 및 평가할 수 있다. 모니터링 및 평가를 위해 협업 딥러닝 기반의 맞춤형 조종사 훈련 추천 시스템의 분석을 통해 훈련 결과를 분석하여 해당 훈련 이후 수행하기에 적합한 훈련을 추천하고 해당 훈련 결과의 적합성을 다양한 각도에서 평가하기 위한 수치를 분석하게 된다. 우선 ②조종사의 프로파일 및 훈련 기록 프로파일을 빅데이터 기반 조종사 훈련기록 프로파일 처리 시스템으로 전송한다. 빅데이터 기반 조종사 훈련기록 프로파일 처리 시스템에서는 ③프로파일을 저장 및 관리하게 되는데, 이 때 수집되는 프로파일은 텍스트 형태의 비정형 데이터이므로 전처리 및 프로파일 처리를 수행하여 저장하게 되며, 협업 딥러닝 기반의 분석을 위해 ④협업 딥러닝 기반의 맞춤형 조종사 훈련 추천 시스템으로 프로파일을 전송한다.
도 2의 우측면은 본 발명에서 제안한 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련 시스템으로, 훈련 기록 데이터를 프로파일 처리하여 빅데이터 및 AI(Artificial Intelligence) 기반의 분석 알고리즘을 통해 훈련 패턴을 도출하고 최적의 훈련 코스를 추천할 수 있으며, 분석된 결과는 AR 디브리핑 디스플레이에서 평가할 수 있다. 협업 딥러닝 기반의 맞춤형 조종사 훈련 추천 시스템에서는 ⑤훈련 내용을 분석하여 ⑥분석된 결과를 저장하고 분석 결과를 조종사 훈련 추천 시스템 시각화 및 동기화 모듈로 전송하고, 전송된 분석 결과를 ⑦시각화 처리하여 AR기반 항행 디브리핑 시스템으로 ⑧시각화 정보를 동기화하여 추천 결과를 AR을 통해 트레이너 및 평가자가 ⑨모니터링 및 평가할 수 있다. 모니터링 및 평가 후에 ⑩트레이너 및 평가자의 피드백결과를 빅데이터 기반 조종사 훈련기록 프로파일 처리 시스템으로 전송되어 다음 훈련기록 분석을 위해 프로파일 처리되어 저장된다.
도 3은 본 발명의 일 실시예에 따른 가상/증강현실 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련 시스템이다.
도 3을 참고하면, 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련 시스템은 빅데이터 기반 조종사 훈련기록 프로파일 처리 시스템과 AI(Artificial Intelligence) 기반의 개인 맞춤형 조종사 훈련 추천 시스템으로 구성되어 있다.
상기 항행정보수집부(10)는 상기 조종사의 훈련 기록데이터 및 훈련 패턴데이터, 일전에 저장된 상기 가상의 훈련 환경에서의 항행임무 영상데이터 및 항행 임무 평가 정보데이터를 수집하며, 상기 훈련 기록데이터 및 훈련 패턴데이터, 항행 임무 영상데이터 및 항행 임무 평가 정보데이터를 상기 협업딥러닝분석부(20)로 전달한다.
협업딥러닝분석부(20)는 프로파일부(20a)와 훈련추천부(20b)를 포함하고 있으며, 프로파일부(20a)는 항행정보수집부로부터(10) 전달받은 상기 훈련 기록데이터 및 훈련 패턴데이터, 항행 임무 영상데이터 및 항행 임무 평가 정보데이터를 빅데이터에 저장하고, 상기 빅데이터 기반의 조종사 훈련기록 프로파일(profile)처리한다. 또한, 훈련추천부(20b)는 프로파일부(20a)의 조종사 훈련기록 프로파일 정보로 AI(Artificial Intelligence)를 학습시켜, 상기 AI(Artificial Intelligence) 기반 개인 맞춤형 조종사 훈련 추천 정보를 제공한다. 이 후, VR가시화부(30)는 협업딥러닝분석부(20)로부터 추천받은 상기 맞춤형 훈련 정보 데이터를 VR(Virtual Reality)로 가시화 시켜 가상의 비행착각(Spatial Disorientation) 야간 비행 훈련 환경 및 비행착시(Visual Illusion) 환경을 제공하고, 상기 조종사는 가상의 맞춤형 항행 훈련을 받으며, 상기 항행 훈련의 전 과정 영상은 저장되어 AR가시화부(40)로 전달한다.
AR가시화부(40)의 경우, VR가시화부(30)로부터 상기 조종사의 VR환경에서 맞춤형 항행 훈련 완료영상을 실시간 연동 받으며, 상기 연동 받은 가상의 항행 훈련 완료 영상을 증강시켜 AR(Argumented Reality) 환경에서 상기 항행 훈련 영상의 디브리핑(Debriefing)을 가시화시키고, 상기 항행 훈련 영상의 디브리핑(Debriefing)의 시각화 정보를 동기화하여 추천 결과를 조종 트레이너 및 평가자가 모니터링하고 평가한다. 재학습도우미부(50)는 AR가시화부(40)로부터 평가 완료된 상기 조종사의 항행 훈련 결과물을 전달받아 상기 빅데이터 및 AI(Artificial Intelligence)학습용 자료로 저장한다.
특별히, 프로파일부(20a)는 상기 조종사 훈련의 내용, 시간, 난인도, 훈련 기체 등의 비정형 데이터(텍스트형 데이터)를 전처리 및 프로파일(Profile) 처리를 수행하여 빅데이터에 저장한다. 이에 상기 빅데이터 기반의 조종사 훈련기록 프로파일 처리 시스템은 항행 훈련 기록 데이터를 프로파일로 저장하기 위해 정규화 및 전처리 과정을 거쳐 훈련 기록 데이터의 특성을 분류하고 DB에 저장 및 관리하는 시스템이다. 이를 위해 항행 훈련 기록 데이터를 수집하여 개인 맞춤형 추천을 위한 훈련기록 프로파일 생성을 위한 정규화 및 전처리 알고리즘 및 사용자의 훈련 기록과 패턴을 분석하고 개인 맞춤형 추천을 위해 프로파일을 처리 및 생성할 수 있는 알고리즘을 필요로 한다. 또한 조종사 훈련기록 프로파일을 기반으로 사용자의 훈련 패턴을 도출하여 훈련의 결과를 자동으로 평가하고 지도할 수 있는 빅데이터 기반의 훈련 패턴 분석 알고리즘을 포함한다. 개인 맞춤형 훈련 결과 분석 알고리즘은 사용자가 훈련에서 얻은 결과에서 올바르게 수행한 구간과 그렇지 않은 구간을 판단하여 평가하게 되며 이전 사용자들의 훈련 데이터를 기반으로 AI(Artificial Intelligence) 모델을 생성하여 이후 훈련에서 더욱 중요하게 필요한 훈련 내용을 예측하고 추천할 수 있다.
따라서 훈련추천부(20b)는, 상기 프로파일부로부터 전달받은 빅데이터 및 상기 AI(Artificial Intelligence)를 통해 상기 조종자의 습관적인 훈련 패턴을 도출하고, 상기 조종사의 맞춤형 항행 훈련 환경 제공과, 항행 훈련 상황에서 상기 조종사에게 맞춤화된 훈련 추천 콘텐츠를 제공할 수 있도록 학습시키며, VR(Virtual Reality) 혹은 AR(Argumented Reality) 기반의 개인 맞춤형 조조종사 훈련 콘텐츠를 추천할 수 있도록, 콘텐츠 기반 필터링 혹은 협업 필터링 혹은 규칙 기반 필터링 중에 어느 하나 이상의 것을 조합하여, 상호 보완적인 필터 기능을 갖춘 하이브리드 필터링 알고리즘을 생성한다. 또한, 상기 하이브리드 필터링은, 상기 조종사에게 맞춤화된 훈련 추천 정보의 정확도를 향상시키기 위해 RNN(Recurrent Neural Network)와 상기 하이브리드 필터링을 혼합한 협업 딥 러닝(Collaborative Deep learning)을 사용한다. 이에 따라, 도 4는 본 발명의 일 실시예에 따른 본 발명에서 제안하는 추천 알고리즘의 순차적 수행 절차를 나타낸 것이다.
도4를 참고하면, 빅데이터 기반의 조종사 훈련기록 프로파일 처리 시스템은 도4와 같이 도식화할 수 있다. 협업 딥 러닝을 적용한 VR/AR 기반의 개인 맞춤형 조종사 훈련 플랫폼의 추천 알고리즘은 고전적인 추천 필터링 방식인 협업 필터링과 규칙기반 필터링을 사용하며 추천의 정확도를 향상시키기 위해 RNN을 기반으로 한 Collaborative Deep Learning을 혼합한 기법을 사용한다. 또한 처음 훈련에 참가하는 초기 사용자로 인해 발생할 수 있는 Cold Start문제의 해결을 위해 초기 사용자는 이력 정보를 바탕으로 하는 Collaborative Deep Learning과정을 생략하고 필터링 과정을 통해 이력을 축적할 수 있다. 이후 추천 결과가 조종사 및 트레이너/평가자에게 제공된 후 피드백을 통해 프로파일을 학습시켜 이후 추천 결과에 반영할 수 있으며, 알고리즘은 총 6단계로 순차적 수행 절차를 기반으로 설계되었다.
도 5는 본 발명의 협업 딥 러닝 알고리즘의 구현도이다.??
도 5를 참고하면, KNN 알고리즘은 새로운 데이터가 들어왔을 때 기존 데이터의 그룹 중에 어떤 그룹에 속하는지 분류하는 문제를 해결하는데 사용되며 둘 사이의 거리를 계산하여 유사한 콘텐츠를 분석하는데 사용되는 알고리즘이다.
KNN 알고리즘은 수식 (1)과 같이 계산되며 k는 몇 번째로 가까운 데이터까지 살펴볼 것인가를 나타내고, x값과 y값은 각각 입력된 데이터를 수직선상에 나타내었을 때의 값을 나타낸다.
수식(1):
Figure 112020093452537-pat00001
, 수식(2):
Figure 112020093452537-pat00002
딥러닝과 KNN을 통해 유사한 콘텐츠 그룹 패턴을 찾아내면 유사도를 이용하여 그룹간의 상호 추천이 가능한 협업 필터링 기법으로 1차 추천리스트를 생성하도록 설계하였으며, KNN외에 대표 적인 유사도 분석 알고리즘으로는 거리 기반으로 유사도를 측정하는 유클리디언 알고리즘이 있으며 수식 (2)과 같이 계산된다. n은 데이터의 수를 나타내며, x와 y의 좌표 차를 구해 거리를 구하 고 음수 값과 양수 값이 비교되는 것을 막기 위해 제곱 연산을 수행한다. 모든 필터링을 마친 후 최종적으로 생성된 추천 리스트를 사용자에게 제공하게 되며, 기본적으로 추천 정확도의 판단은 모든 측정값의 오차의 평균을 구하는 MAE(Mean Absolute Error)를 사 용하며 MAE는 수식 (3)과 같이 계산된다. n은 오차의 개수를 나타내며,
Figure 112020093452537-pat00003
는 절대 오차를 나타낸다. 각 측정값과 실 제값 사이의 절대 오차를 구하여, 모두 더한 다음에 절대 오차의 개수로 나누어 계산한다.
수식(3):
Figure 112020093452537-pat00004
MAE는 실제 테스트 데이터에서 알고 있는 값과 예측치를 비교하여 추천의 정확도를 측정하는 방식으로, 모델을 만들 때 사용했던 실제 정답이 되는 값과 모델을 사용하여 정답이 되는 값을 추론한 값을 비교하여 추천의 정확도를 측정하도록 한다. 마지막으로 최종 추천 리스트를 조종사 및 트레이너/평가자에게 제공한 후 피드백을 통해 프로 파일을 갱신하게 되며, 피드백을 통해 갱신된 프로파일을 추천 알고리즘에 적용하여 실시간으로 맞춤형 조종 훈련 콘텐츠를 제공받을 수 있도록 설계하였다.
도 6은 본 발명의 일 실시예에 따른 가상현실(VR)/증강현실(AR) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련 프로그램을 추천하는 방법의 흐름도이다.
도6을 참고하면, 가상현실(VR)/증강현실(AR) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련 프로그램을 추천하는 방법은
조종사 항행 훈련 정보 텍스트 데이터를 수집하고, 상기 텍스트 데이터를 분석하기 위해 전처리하는 단계(S01);와 상기 전처리된 데이터들을 6개의 분석표를 통해 분석하고, 모든 속성치들을 포함한 빅데이터 기반 상기 조종사의 항행 훈련 정보의 프로파일을 구축하는 단계(S02);와 상기 구축된 프로파일로 상기 조종사에게 맞춤형 항행 훈련을 추천해줄 수 있는 AI(Artificial Intelligence)를 학습시키는 협업 딥 러닝(Collaborative Deep Learning) 알고리즘을 만드는 단계(S03); 및 상기 구축된 프로파일이 없는 조종사의 경우, 상기 조종사에게 맞춤형 항행 훈련을 추천해주기 위한 규칙 기반 필터링 알고리즘을 활용하는 단계(S04); 및 상기 협업 딥 러닝 알고리즘 혹은 규칙 기반 필터링 알고리즘을 통해서 상기 조종사가 운전하는 기체별, 노선별, 사례별 등을 분석하여, 상기 조종사에게 맞춤형 항행 훈련 프로그램을 추천하는 단계(S05);를 포함한다.
여기서, 상기 규칙기반 필터링은 모델을 학습시켜 추천 리스트를 생성하는 기존의 다른 모델들과는 다르게, 개발자가 일정한 규칙을 미리 정하여 사용자에게 콘텐츠를 추천해주는 필터링 방식이다. 상세한 규칙은 조종사 훈련에서 발생하는 데이터의 편차를 파악하고 이에 대한 명확한 규칙이나 패턴이 확인된 후에 지속적으로 업데이트 된다.
이상에서 설명한 바와 같은 가상/증강현실 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련 시스템 및 그 방법에 따르면, VR/AR현실을 기반을 둔 파일럿 훈련 시스템 환경에서 수행한 조종사 비행 훈련 데이터를 수집하여 조종사에게 효과적인 훈련코스를 추천할 수 있다. 또한, VR/AR 기술로 보다 높은 몰입도를 제공하여, 다양한 훈련 환경들에 대한 추가적인 정보를 제공해줄 수 있다. 마지막으로 사용자의 환경 및 성향에 따른 맞춤형 훈련 데이터를 제공함에 따라 기술적·경제적으로 효율적인 훈련을 진행 할 수 있다.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술 분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10 : 항행정보수집부 20: 협업딥러닝분석부
20a: 프로파일부 20b: 훈련추천부
30: VR가시화부 40: AR가시화부
50: 재학습도우미부

Claims (12)

  1. 항행 훈련 기록 데이터를 수집하는 하는 항행정보수집부;와
    상기 항행정보수집부로부터 전달받은 데이터를 분석하여 조종사 맞춤형 훈련 정보를 추천하는 협업딥러닝분석부;와
    상기 협업딥러닝분석부로부터 추천받은 데이터를 기반으로 가상의(Virtual Reality) 항행 훈련 환경을 제공하고, 상기 조종사의 가상의 항행 훈련 영상을 저장하는 VR가시화부;와
    상기 VR가시화부로부터 연동 받은 상기 가상의 항행 훈련 영상 데이터를 실시간으로 증강(Argumented Reality)시켜 디스플레이하며, 상기 가상의 항행 훈련을 평가하는 AR가시화부;및
    상기 AR가시화부로부터 평가 결과를 전달받아 딥러닝을 재학습 시키는 재학습도우미부;를 포함하며,
    상기 AR가시화부는, 상기 VR가시화부로부터 조종사의 가상의 환경에서 맞춤형 항행 훈련 완료영상을 실시간 연동 받으며, 연동 받은 항행 훈련 완료영상을 증강시켜 AR(Argumented Reality)환경에서 상기 연동 받은 항행 훈련 영상의 디브리핑(Debrifing)을 가시화시키는 것을 특징으로 하는 가상현실(VR)/증강현실(AR) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련시스템.
  2. 제1항에 있어서,
    상기 항행정보수집부는,
    상기 조종사의 훈련 기록데이터 및 훈련 패턴데이터, 일전에 저장된 상기 가상의 훈련 환경에서의 항행임무 영상데이터 및 항행 임무 평가 정보데이터를 수집하며,
    상기 훈련 기록데이터 및 훈련 패턴데이터, 항행 임무 영상데이터 및 항행 임무 평가 정보데이터를 상기 협업딥러닝분석부로 전달하는 것을 특징으로 하는 가상현실(VR)/증강현실(AR) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련시스템.
  3. 제2항에 있어서,
    상기 협업딥러닝분석부는,
    상기 항행정보수집부로부터 상기 훈련 기록데이터 및 훈련 패턴데이터, 항행 임무 영상데이터 및 항행 임무 평가 정보데이터를 전달받아 빅데이터에 저장하며, 상기 빅데이터를 기반으로 조종사 훈련기록 프로파일(profile)을 처리하는 프로파일부; 및
    상기 프로파일부의 조종사 훈련기록 프로파일 정보를 기반으로 AI(Artificial Intelligence)를 학습시켜,
    상기 AI(Artificial Intelligence)를 통해 개인 맞춤형 조종사 훈련 추천 정보를 제공하는 훈련추천부;를 포함하는 것을 특징으로 하는 가상현실(VR)/증강현실(AR) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련시스템.
  4. 제3항에 있어서,
    상기 프로파일부는,
    상기 빅데이터의 조종사 훈련의 내용, 시간, 난인도, 훈련 기체 등의 비정형 데이터(텍스트형 데이터)를 전처리처리 및 프로파일(Profile) 처리를 수행하는 것을 특징으로 하는 가상현실(VR)/증강현실(AR) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련시스템.
  5. 제3항에 있어서,
    상기 훈련추천부는,
    상기 프로파일부로부터 전달받은 빅데이터 및 상기 AI(Artificial Intelligence)를 통해 조종자의 습관적인 훈련 패턴을 도출하고,
    조종사의 맞춤형 항행 훈련 환경 제공과, 항행 훈련 상황에서 조종사에게 맞춤화된 훈련 추천 콘텐츠를 제공할 수 있도록 학습시키는 것을 특징으로 하는 가상현실(VR)/증강현실(AR) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련시스템.
  6. 제5항에 있어서,
    상기 훈련추천부는,
    빅데이터 정보와 VR(Virtual Reality) 혹은 AR(Argumented Reality)환경 기반의 개인 맞춤형 조종사 훈련 콘텐츠를 추천 알고리즘을 생성하기 위해,
    콘텐츠 기반 필터링 혹은 협업 필터링 혹은 규칙 기반 필터링 중에 어느 하나 이상의 것을 조합하여, 상호 보완적인 필터 기능을 갖춘 하이브리드 필터링 알고리즘을 생성하는 것을 특징으로 하는 가상현실(VR)/증강현실(AR) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련시스템.
  7. 제6항에 있어서,
    상기 하이브리드 필터링은,
    조종사에게 맞춤화된 훈련 추천 정보의 정확도를 향상시키기 위해 RNN(Recurrent Neural Network)와 상기 하이브리드 필터링을 혼합한 협업 딥 러닝(Collaborative Deep learning)을 생성하는 것을 특징으로 하는 가상현실(VR)/증강현실(AR) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련시스템.
  8. 제1항에 있어서,
    상기 VR가시화부는,
    상기 협업딥러닝분석부로부터 추천받은 상기 맞춤형 훈련 정보 데이터를 상기 VR(Virtual Reality)로 가시화시켜,
    상기 가상의 비행착각(Spatial Disorientation) 야간 비행 훈련 환경과 비행착시(Visual Illusion) 환경을 제공하고,
    상기 조종사는 상기 가상의 비행착각 및 비행착시 환경 내 맞춤형 항행 훈련을 받으며,
    상기 조종사의 항행 훈련 전 과정 영상은 저장되어 상기 AR가시화부로 전달되는 것을 특징으로 하는 가상현실(VR)/증강현실(AR) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련시스템.
  9. 삭제
  10. 제1항에 있어서,
    상기 AR가시화부는,
    상기 항행 훈련 영상의 디브리핑(Debrifing)의 시각화 정보를 동기화하여, 맞춤형 훈련 영상 추천에 관련한 결과 및 만족도를 조종 트레이너 및 평가자가 모니터링하고 평가하는 것을 특징으로 하는 가상현실(VR)/증강현실(AR) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련시스템.
  11. 제 1항에 있어서,
    상기 재학습도우미부는,
    상기 AR가시화부로부터 평가 완료된 상기 조종사의 항행 훈련 결과물을 전달받아,
    빅데이터 및 AI(Artificial Intelligence)의 학습용 자료로 전달하는 것을 특징으로 하는 가상현실(VR)/증강현실(AR) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련시스템.
  12. 삭제
KR1020200112466A 2020-09-03 2020-09-03 가상현실(vr)/증강현실(ar) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련시스템 및 그 방법 KR102419667B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200112466A KR102419667B1 (ko) 2020-09-03 2020-09-03 가상현실(vr)/증강현실(ar) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200112466A KR102419667B1 (ko) 2020-09-03 2020-09-03 가상현실(vr)/증강현실(ar) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20220030760A KR20220030760A (ko) 2022-03-11
KR102419667B1 true KR102419667B1 (ko) 2022-07-11

Family

ID=80815015

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200112466A KR102419667B1 (ko) 2020-09-03 2020-09-03 가상현실(vr)/증강현실(ar) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102419667B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102636868B1 (ko) * 2022-11-02 2024-02-15 (주)스크램블러 머신 러닝을 이용한 멘토-멘티의 그룹 매칭 시스템 및 멘토-멘티의 그룹 매칭 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201540661U (zh) * 2009-07-15 2010-08-04 北京欣远诚业科技有限公司 飞行错觉体验训练模拟器
CN109684548A (zh) * 2018-11-30 2019-04-26 内江亿橙网络科技有限公司 一种基于用户图谱的数据推荐方法
CN110110225A (zh) * 2019-04-17 2019-08-09 重庆第二师范学院 基于用户行为数据分析的在线教育推荐模型及构建方法
JP2020046893A (ja) * 2018-09-19 2020-03-26 尚紀 北村 手術支援システム及び仮想手術支援システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6655913B2 (ja) 2015-09-02 2020-03-04 キヤノン株式会社 通信装置、制御方法及びプログラム
KR20170079135A (ko) * 2015-12-30 2017-07-10 한국생산기술연구원 가상 현실 기반 사용자 맞춤형 훈련 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201540661U (zh) * 2009-07-15 2010-08-04 北京欣远诚业科技有限公司 飞行错觉体验训练模拟器
JP2020046893A (ja) * 2018-09-19 2020-03-26 尚紀 北村 手術支援システム及び仮想手術支援システム
CN109684548A (zh) * 2018-11-30 2019-04-26 内江亿橙网络科技有限公司 一种基于用户图谱的数据推荐方法
CN110110225A (zh) * 2019-04-17 2019-08-09 重庆第二师范学院 基于用户行为数据分析的在线教育推荐模型及构建方法

Also Published As

Publication number Publication date
KR20220030760A (ko) 2022-03-11

Similar Documents

Publication Publication Date Title
Roganov et al. Problem of virtual space modelling in aviation simulators
EP3392745B1 (en) Multi-device virtual reality, artifical reality and mixed reality analytics
CN111240350A (zh) 一种无人机飞行员动态行为评估系统
US20190304322A1 (en) Performance metrics in an interactive computer simulation
US20190259292A1 (en) System and method of modeling a real world environment and analyzing a user's actions within the modeled environment
CN110322099A (zh) 评估用户在交互式计算机模拟中进行的训练活动
CN116824954B (zh) 眼动+飞行数据的模拟机飞行训练讲评系统及方法
KR101503804B1 (ko) 동적시스템에 적용할 수 있는 휴먼요인의 트리비트리거 데이터를 이용한 빅데이터 구축 방법과 빅데이터의 활용방법
KR102419667B1 (ko) 가상현실(vr)/증강현실(ar) 환경에서 협업 딥러닝을 활용한 개인 맞춤형 항공 조종사 훈련시스템 및 그 방법
Wang et al. Multi-person collaborative augmented reality assembly process evaluation system based on hololens
Bass et al. Human-automated judge learning: A methodology for examining human interaction with information analysis automation
Martínez-Gutiérrez et al. Convergence of virtual reality and digital twin technologies to enhance digital operators’ training in industry 4.0
Gawron et al. Mock-Ups, Models, Simulations, and Embedded Testing
CN110322098A (zh) 交互式计算机模拟期间的标准操作程序反馈
Torres-Guerrero et al. An introductive training for welding workshop: a biometric evaluation using virtual reality scenes to improve practice
CA3235482A1 (en) System and method for predicting performance by clustering psychometric data using artificial intelligence
Mamessier et al. Calibration of online situation awareness assessment systems using virtual reality
Smirnova et al. Digital technologies in the industry: application of immersive training technologies in the oil and gas complex
CN114417618A (zh) 虚拟现实辅助的装配复杂度评价系统
Albeaino et al. Development of a VR-based drone-mediated building inspection training environment
Lo et al. Measuring group situation awareness in a multiactor gaming simulation: A pilot study of railway and passenger traffic operators
KR20200087369A (ko) Vr을 이용한 교육 실기검정 시스템 및 그 방법
Wang et al. A framework of safety training based on augmented reality and cloud computing platform in mines
Washburn et al. Using multimodal technologies to enhance aviation maintenance inspection training
Tayeh et al. Interactive holograms for better construction information communication

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant