KR102350576B1 - Method and device for simulating spatial disorientation of pilot during flight - Google Patents

Method and device for simulating spatial disorientation of pilot during flight Download PDF

Info

Publication number
KR102350576B1
KR102350576B1 KR1020210039495A KR20210039495A KR102350576B1 KR 102350576 B1 KR102350576 B1 KR 102350576B1 KR 1020210039495 A KR1020210039495 A KR 1020210039495A KR 20210039495 A KR20210039495 A KR 20210039495A KR 102350576 B1 KR102350576 B1 KR 102350576B1
Authority
KR
South Korea
Prior art keywords
pilot
scenario
virtual
action
action scenario
Prior art date
Application number
KR1020210039495A
Other languages
Korean (ko)
Inventor
강요한
김성호
최종철
Original Assignee
대한민국
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대한민국 filed Critical 대한민국
Priority to KR1020210039495A priority Critical patent/KR102350576B1/en
Application granted granted Critical
Publication of KR102350576B1 publication Critical patent/KR102350576B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/085—Special purpose teaching, e.g. alighting on water, aerial photography
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/12—Motion systems for aircraft simulators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/16—Ambient or aircraft conditions simulated or indicated by instrument or alarm
    • G09B9/20—Simulation or indication of aircraft attitude
    • G09B9/206—Simulation or indication of aircraft attitude for in-flight condition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30—Simulation of view from aircraft
    • G09B9/301—Simulation of view from aircraft by computer-processed or -generated image
    • G09B9/302—Simulation of view from aircraft by computer-processed or -generated image the image being transformed by computer processing, e.g. updating the image to correspond to the changing point of view

Abstract

An objective of the present invention is to provide a method for simulating spatial disorientation of a pilot during flight which allows a pilot to deal with spatial disorientation situation during flight by simulating spatial disorientation of a pilot during flight, and a method thereof. The method for simulating spatial disorientation of a pilot during flight comprises: (a) providing a general flight experience to a pilot by performing, (i) a process of providing at least one K1 (K1 is an integer from 1 to N1) visual feedback to the pilot through a head mount display (HMD) based on a K1_1 base scenario being at least a part of a K1 base scenario, and (ii) a process of providing a K1 vestibular sense feedback to the pilot through a motion platform based on a K1_2 base scenario being at least a part of the K1 base scenario, through a computing system operating in connection with the HMD and the motion platform, when the K1 base scenario being one of first to N1 base scenarios (N1 is an integer greater than 0) is selected; and (b) providing an SD flight experience to a pilot by performing at least a portion of (i) a process of providing at least one K2 (K2 is an integer from 1 to N2) visual feedback to the pilot through the HMD based on a K2_1 action scenario being at least a part of a K2 action scenario, and (ii) a process of providing a K2 vestibular sense feedback to the pilot through the motion platform based on a K2_2 action scenario being at least a part of the K2 action scenario, through the computing system, when the K2 action scenario being one of first to N2 (N2 is an integer than 0) action scenarios is selected.

Description

비행 중 조종사의 공간감각상실 시뮬레이션 방법 및 장치{METHOD AND DEVICE FOR SIMULATING SPATIAL DISORIENTATION OF PILOT DURING FLIGHT}Method and apparatus for simulating loss of spatial sensation of pilots during flight

본 발명은 비행 중 조종사의 공간감각상실(Spatial Disorientation, SD) 시뮬레이션 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for simulating spatial disorientation (SD) of a pilot during flight.

SD란 비행 중 조종사가 겪는 감각기관의 오류로 인한 착각 현상으로, 널리 알려진 예로 항공기가 실제로는 기울어져 있으나 몸은 인지하지 못하는 경우 또는 항공기가 실제로 기울어지지 않았으나 몸은 항공기가 기울어진 것으로 인지하는 경우 등이 있다.SD is an illusion caused by errors in sensory organs experienced by pilots during flight. A widely known example is when the aircraft is actually tilted but the body does not recognize it, or when the aircraft is not actually tilted but the body perceives the aircraft as tilted. etc.

이와 같은 SD는 조종사에게 매우 큰 위협을 끼치는 것으로, 공군항공사고 통계자료에 따르면, 2000년 이후 SD로 인한 항공사고가 13건에 달하고, 해당 사고의 조종사들은 모두 순직하였으며, 이에 따른 손실이 막대한 것으로 추정된다. SD로 인한 항공사고를 막기 위해, 공군은 종래 기술에 따른 SD 비행 훈련 시뮬레이터를 사용하여, 조종사가 SD를 경험하더라도 안전하게 비행할 수 있도록 조종사를 훈련하고 있다.Such SD poses a very great threat to pilots, and according to the Air Force Aviation Accident Statistical Data, there have been 13 aviation accidents due to SD since 2000, and all of the pilots in the accident were killed, resulting in huge losses. It is estimated. In order to prevent air accidents caused by SD, the Air Force uses a conventional SD flight training simulator to train pilots so that they can fly safely even if they experience SD.

하지만, 현재 사용 중인 SD 비행 훈련 시뮬레이터는, 지면 수직 방향 축으로부터 일정 거리의 반경을 가지는 암에 장착된 콕핏을 회전시킴으로써 조종사에게 SD의 느낌을 주는 일종의 Centrifuge의 형태로 제작된 것인데, 이는 여러 단점, 즉 (i) 시뮬레이터가 특정 시설 내에 설치되어야 한다는 점, (ii) 콕핏의 회전 반경만큼의 큰 공간이 필요하다는 점, (iii) 프로젝터나 시각 모니터를 활용하므로 조종사의 몰입감이 다소 떨어진다는 점 및 (iv) 조종사의 실제 조작을 반영한 시뮬레이션이 아니라, 단순히 조종사가 SD 현상을 체험할 수 있도록만 구현된 것이라는 점 등의 단점이 있다.However, the SD flight training simulator currently in use is produced in the form of a centrifuge that gives the pilot a feeling of SD by rotating the cockpit mounted on the arm having a radius of a certain distance from the vertical axis of the ground. That is, (i) the simulator must be installed in a specific facility, (ii) a space as large as the turning radius of the cockpit is required, (iii) the pilot's sense of immersion is somewhat reduced by using a projector or a visual monitor, and ( iv) There are disadvantages such as that it is not a simulation that reflects the actual operation of the pilot, but is implemented only so that the pilot can experience the SD phenomenon.

본 발명은 비행 중 조종사의 SD를 시뮬레이션함으로써 조종사가 비행 중 SD상황에 잘 대처할 수 있도록 하는 것을 목적으로 한다.An object of the present invention is to enable the pilot to cope well with the SD situation in flight by simulating the SD of the pilot during flight.

또한 본 발명은 종래 기술에 따른 SD 시뮬레이션 장치에 비해 접근성이 높고, 사용 비용이 저렴하며, 효율적인 공간 활용이 가능한 시뮬레이션 장치를 제공하는 것을 목적으로 한다.Another object of the present invention is to provide a simulation apparatus that is more accessible, has a lower cost of use, and can efficiently utilize space compared to the SD simulation apparatus according to the prior art.

또한 본 발명은 HMD에서 시현되는 비행 환경과 6축 모션플랫폼에서 구현될 수 있는 모션의 조합에 따라 다양한 SD유형을 시뮬레이션할 수 있고, 항공기 기종에 따른 콕핏 변경 및 비행훈련 프로필 수정이 용이하여 조종사별 개인화가 용이한 시뮬레이션 방법을 제공하는 것을 목적으로 한다.In addition, the present invention can simulate various SD types according to the combination of the flight environment displayed in the HMD and the motion that can be implemented in the 6-axis motion platform. An object of the present invention is to provide a simulation method that is easy to personalize.

또한 본 발명은 SD 이벤트 로그 관리, 조종사 개인별 평가 결과 시각화 등의 저장 및 평가 기능을 통해 조종사의 SD극복훈련 결과를 체계적으로 관리하고 이에 대한 피드백을 정량적 및 정성적으로 제공하는 것을 목적으로 한다.In addition, an object of the present invention is to systematically manage the results of the pilot's SD overcoming training through storage and evaluation functions such as SD event log management and visualization of individual pilot evaluation results, and to provide quantitative and qualitative feedback thereto.

상기와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.The characteristic configuration of the present invention for achieving the object of the present invention as described above and for realizing the characteristic effects of the present invention to be described later is as follows.

본 발명의 일 태양에 따르면, 비행 중 조종사의 SD를 시뮬레이션하는 방법에 있어서, (a) 헤드 마운트 디스플레이(HMD) 및 모션 플랫폼과 연동하여 동작하는 컴퓨팅 시스템이, 제1 내지 제N1베이스시나리오 - N1은 1 이상의 정수임 - 중 하나인 제K1베이스시나리오 - K1은 1 이상 N1 이하의 정수임 - 가 선택되면, (i) 상기 제K1베이스시나리오 중 적어도 일부인 제K1_1베이스시나리오를 참조하여 상기 HMD를 통해 상기 조종사에게 적어도 하나의 제K1시각피드백을 제공하는 프로세스 및 (ii) 상기 제K1베이스시나리오 중 적어도 일부인 제K1_2베이스시나리오를 참조하여 상기 모션플랫폼을 통해 상기 조종사에게 제K1전정감각피드백을 제공하는 프로세스를 수행함으로써 상기 조종사에게 일반비행경험을 제공하는 단계; 및 (b) 상기 컴퓨팅 시스템이, 제1 내지 제N2액션시나리오 - N2는 1 이상의 정수임 - 중 하나인 제K2액션시나리오 - K2는 1 이상 N2 이하의 정수임 - 가 선택되면, (i) 상기 제K2액션시나리오 중 적어도 일부인 제K2_1액션시나리오를 참조하여 상기 HMD를 통해 상기 조종사에게 적어도 하나의 제K2시각피드백을 제공하는 프로세스 및 (ii) 상기 제K2액션시나리오 중 적어도 일부인 제K2_2액션시나리오를 참조하여 상기 모션플랫폼을 통해 상기 조종사에게 제K2전정감각피드백을 제공하는 프로세스 중 적어도 일부를 수행함으로써 상기 조종사에게 SD비행경험을 제공하는 단계;를 포함하는 것을 특징으로 하는 방법이 개시된다.According to an aspect of the present invention, in the method of simulating the SD of a pilot during flight, (a) a computing system operating in conjunction with a head mounted display (HMD) and a motion platform includes, first to N1th base scenarios - N1 is an integer greater than or equal to 1 - When one of the K1th base scenarios - K1 is an integer greater than or equal to 1 N1 - is selected, (i) the pilot through the HMD with reference to the K1_1th base scenario that is at least a part of the K1th base scenario a process of providing at least one K1th visual feedback to the pilot; and (ii) performing a process of providing the K1st vestibular sensory feedback to the pilot through the motion platform with reference to the K1_2th base scenario that is at least a part of the K1th base scenario. providing the pilot with a general flight experience by doing so; and (b) in the computing system, the first to N2th action scenarios - N2 is an integer greater than or equal to 1 - which is one of the K2th action scenarios - K2 is an integer greater than or equal to 1 and less than or equal to N2 - is selected, (i) the K2th A process of providing at least one K2th visual feedback to the pilot through the HMD with reference to the K2_1th action scenario that is at least a part of the K2_1st action scenario, and (ii) the K2_2th action scenario that is at least a part of the K2th action scenario. Providing an SD flight experience to the pilot by performing at least a part of a process of providing the K2 th vestibular sensory feedback to the pilot via a motion platform.

일례로서, 상기 (a) 단계는, 상기 컴퓨팅 시스템이, (i) 상기 제K1_1베이스시나리오를 참조하여, 상기 조종사가 가상으로 탑승한 가상항공기를 중심으로 한 가상훈련공간 중 적어도 일부를 상기 조종사의 시선위치에 따라 상기 HMD에 디스플레이하되, 상기 조종사가 제어입력장치를 통해 입력한 제어신호에 따른 상기 가상항공기의 동작 및 상기 시선위치의 변경에 따라 상기 HMD에 디스플레이할 상기 가상훈련공간의 적어도 일부를 선택함으로써 상기 제K1시각피드백을 제공하는 프로세스 및 (ii) 상기 제K1_2베이스시나리오를 참조하여, 상기 가상항공기의 초기 자세에 대응하는 모션을 상기 모션플랫폼에 적용하되, 상기 조종사가 상기 제어입력장치를 통해 입력한 상기 제어신호에 따라 상기 가상항공기가 동작함에 따른 상기 자세의 변경에 따라 상기 모션플랫폼에 적용할 모션의 적어도 일부를 선택함으로써 상기 제K1전정기관피드백을 제공하는 프로세스를 수행하는 것을 특징으로 하는 방법이 개시된다.As an example, in step (a), the computing system, (i) with reference to the K1_1 base scenario, at least a part of the virtual training space centered on the virtual aircraft the pilot boarded virtually of the pilot At least a part of the virtual training space to be displayed on the HMD according to the change of the gaze position and the operation of the virtual aircraft according to the control signal input by the pilot through the control input device is displayed on the HMD according to the gaze position. A process of providing the K1th visual feedback by selecting and (ii) applying a motion corresponding to the initial posture of the virtual aircraft to the motion platform with reference to the K1_2th base scenario, wherein the pilot operates the control input device A process of providing the K1 vestibular organ feedback by selecting at least a part of a motion to be applied to the motion platform according to a change in the posture as the virtual aircraft operates according to the control signal input through A method is disclosed.

일례로서, 상기 (b) 단계는, 상기 컴퓨팅 시스템이, 상기 제K2액션시나리오가 시각SD 카테고리에 포함될 경우, 상기 제K2_1액션시나리오에 따라 설정된, 상기 조종사가 가상으로 탑승한 가상항공기를 중심으로 한 조정가상훈련공간 중 적어도 일부를 상기 HMD에 디스플레이하는 것을 특징으로 하는 방법이 개시된다.As an example, in step (b), in the computing system, when the K2th action scenario is included in the visual SD category, the virtual aircraft set by the K2_1th action scenario and the pilot virtually boarded centered on the Disclosed is a method comprising displaying at least a part of the coordinated virtual training space on the HMD.

일례로서, 상기 (b) 단계는, 상기 컴퓨팅 시스템이, 상기 제K2액션시나리오가 시각SD 카테고리에 포함된 False Horizon에 대응할 경우, 상기 제K2_1액션시나리오에 따라, 상기 조종사가 가상으로 탑승한 가상항공기의 Head-Up Display(HUD) 정보 중 적어도 일부를 시현하지 않은 상태에서 상기 가상항공기의 전방에 지면과의 각도가 제1임계치인 구름층을 시현한 상기 조정가상훈련공간 중 적어도 일부를 상기 HMD에 디스플레이함으로써 상기 제K2시각피드백을 상기 조종사에게 제공하는 것을 특징으로 하는 방법이 개시된다.As an example, in step (b), in the computing system, when the K2 action scenario corresponds to False Horizon included in the visual SD category, according to the K2_1 action scenario, the virtual aircraft in which the pilot is virtually boarded At least a part of the adjustment virtual training space in which the cloud layer with the angle with the ground in front of the virtual aircraft is the first threshold in the state that at least part of the Head-Up Display (HUD) information is not displayed is transferred to the HMD A method comprising providing the K2 th visual feedback to the pilot by displaying is disclosed.

일례로서, 상기 (b) 단계는, 상기 컴퓨팅 시스템이, 상기 제K2액션시나리오가 시각SD 카테고리에 포함된 Black Hole Illusion에 대응할 경우, 상기 제K2_1액션시나리오에 따라, (i) 상기 조종사가 가상으로 탑승한 가상항공기의 주변 환경을 야간 상태로 설정하고, 상기 가상항공기의 전방에 활주로를 시현하되, 상기 활주로의 폭을 제1_1임계치를 참조로 설정하고, 상기 활주로등의 밝기를 제1_2임계치를 참조로 설정한 상기 조정가상훈련공간 중 적어도 일부를 상기 HMD에 디스플레이함으로써 상기 제K2시각피드백을 상기 조종사에게 제공하는 것을 특징으로 하는 방법이 개시된다.As an example, in step (b), when the computing system corresponds to the Black Hole Illusion included in the visual SD category, the K2 action scenario, according to the K2_1 action scenario, (i) the pilot is virtually Set the surrounding environment of the boarded virtual aircraft to a night state, display the runway in front of the virtual aircraft, set the width of the runway as a reference to the first_1 threshold, and refer to the first_2 threshold for the brightness of the runway light Disclosed is a method characterized in that the K2 th visual feedback is provided to the pilot by displaying at least a portion of the virtual adjustment training space set to .

일례로서, 상기 컴퓨팅 시스템이, 상기 제K2액션시나리오가 전정감각SD 카테고리에 포함될 경우, 상기 제K2_2액션시나리오에 따라 설정된, 상기 조종사가 가상으로 탑승한 가상항공기의 조정모션을, 상기 조종사가 제어입력장치를 통해 입력한 제어신호에 따른 모션과 함께 상기 모션플랫폼에 적용하는 것을 특징으로 하는 방법이 개시된다.As an example, when the K2 action scenario is included in the vestibular sensory SD category, the computing system controls the control input of the virtual aircraft on which the pilot is virtually boarded, which is set according to the K2_2 action scenario. Disclosed is a method characterized in that it is applied to the motion platform together with the motion according to the control signal input through the device.

일례로서, 상기 컴퓨팅 시스템이, (i) 상기 제K2액션시나리오가 복합SD 카테고리에 포함될 경우, 상기 제K2_1액션시나리오에 따라 설정된, 상기 조종사가 가상으로 탑승한 가상항공기를 중심으로 한 조정가상훈련공간 중 적어도 일부를 상기 HMD에 디스플레이하는 프로세스 및 (ii) 상기 제K2_2액션시나리오에 따라 설정된, 상기 조종사가 가상으로 탑승한 가상항공기의 조정모션을 상기 조종사가 제어입력장치를 통해 입력한 제어신호에 따른 모션과 함께 상기 모션플랫폼에 적용하는 프로세스를 수행하는 것을 특징으로 하는 방법이 개시된다.As an example, the computing system, (i) when the K2 action scenario is included in the composite SD category, is set according to the K2_1 action scenario; a process of displaying at least a part of at least a portion on the HMD; and (ii) a control signal input by the pilot through the control input device for the control motion of the virtual aircraft on which the pilot is virtually boarded, which is set according to the K2_2 action scenario. Disclosed is a method characterized by performing a process of applying to the motion platform together with motion.

일례로서, 상기 (b) 단계는, 상기 컴퓨팅 시스템이, 상기 제K2액션시나리오가 복합SD 카테고리에 포함된 Pitch-Up Illusion에 대응할 경우, 상기 제K2_1액션시나리오에 따라 상기 조종사가 가상으로 탑승한 가상항공기의 주변에 가상구름층을 시현하여 HMD(200) 상에서 상기 조종사의 시야를 차폐하고, 상기 제K2_2액션시나리오에 따라 상기 모션플랫폼에 제2_1임계치의 피칭 모션 및 제2_2임계치의 서지 모션을 가하여 상기 SD비행경험을 상기 조종사에게 제공하는 것을 특징으로 하는 방법이 개시된다.As an example, in step (b), when the computing system corresponds to the Pitch-Up Illusion included in the composite SD category, the K2 action scenario is performed by the computing system. According to the K2_1 action scenario, the A virtual cloud layer is displayed around the aircraft to block the pilot's view on the HMD 200, and according to the K2_2 action scenario, a pitching motion of the 2_1 threshold and a surge motion of the 2_2 threshold are applied to the motion platform according to the K2_2 action scenario. A method comprising providing an SD flight experience to the pilot is disclosed.

일례로서, 상기 (b) 단계는, 상기 컴퓨팅 시스템이, 상기 제K2액션시나리오가 복합SD 카테고리에 포함된 Leans에 대응할 경우, 상기 제K2_1액션시나리오에 따라 상기 조종사가 가상으로 탑승한 가상항공기의 주변에 가상구름층을 시현하여 상기 조종사의 시야를 차폐하고, 상기 제K2_2액션시나리오에 따라 상기 모션플랫폼에 상기 조종사의 제어신호에 대응하는 제3임계치로 롤링 모션을 가하여 상기 SD비행경험을 상기 조종사에게 제공하는 것을 특징으로 하는 방법이 개시된다.As an example, in step (b), when the computing system corresponds to the Leans included in the composite SD category, the K2 action scenario is performed according to the K2_1 action scenario. By displaying a virtual cloud layer in the , the view of the pilot is blocked, and a rolling motion is applied to the motion platform with a third threshold corresponding to the pilot's control signal according to the K2_2 action scenario to provide the SD flight experience to the pilot. Disclosed is a method comprising providing.

일례로서, (c) 상기 컴퓨팅 시스템이, 상기 조종사가 상기 SD비행경험에 대한 대응조종을 수행한 결과의 적합도를 출력하는 단계를 더 포함하는 것을 특징으로 하는 방법이 개시된다.As an example, the method further comprising: (c) outputting, by the computing system, a degree of fitness of a result of the pilot performing a corresponding operation for the SD flight experience is disclosed.

일례로서, 상기 (c) 단계는, 상기 컴퓨팅 시스템이, 상기 조종사가 상기 대응조종을 수행하는 동안의 상기 가상항공기의 진행방향, 고도, 속도, 피치 및 뱅크 값 중 적어도 일부를 참조로 상기 적합도를 출력하는 것을 특징으로 하는 방법이 개시된다.As an example, in the step (c), the computing system determines the fitness with reference to at least some of the heading, altitude, speed, pitch, and bank values of the virtual aircraft while the pilot performs the corresponding control. A method comprising outputting is disclosed.

일례로서, 상기 컴퓨팅 시스템이, 적어도 여섯 개의 축을 가지며, 적어도 피칭, 롤링, 요잉, 스웨이, 서지 및 히브 동작을 수행할 수 있는 상기 모션플랫폼을 통해 상기 제K1 및 제K2전정감각피드백을 제공하는 것을 특징으로 하는 방법이 개시된다.As an example, the computing system provides the K1 th and K2 th vestibular sensory feedback through the motion platform having at least six axes and capable of performing at least pitching, rolling, yaw, sway, surge and heave motions. A method of characterization is disclosed.

일례로서, 상기 컴퓨팅 시스템이, 소정 편집부를 통해 상기 제K1베이스시나리오를 입력받고, 소정 제어부를 통해 상기 제K2액션시나리오를 입력받는 것을 특징으로 하는 방법이 개시된다.As an example, a method is disclosed, wherein the computing system receives the K1 th base scenario through a predetermined editing unit and receives the K2 th action scenario through a predetermined control unit.

본 발명의 다른 태양에 따르면, 비행 중 조종사의 SD를 시뮬레이션하는 방법을 수행하는 컴퓨팅 시스템에 있어서, 상기 컴퓨팅 시스템은 헤드 마운트 디스플레이(HMD) 및 모션 플랫폼과 연동하여 동작하고, 인스트럭션들을 저장하는 하나 이상의 메모리; 및 상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되, 상기 프로세서는, (I) 제1 내지 제N1베이스시나리오 - N1은 1 이상의 정수임 - 중 하나인 제K1베이스시나리오 - K1은 1 이상 N1 이하의 정수임 - 가 선택되면, (i) 상기 제K1베이스시나리오 중 적어도 일부인 제K1_1베이스시나리오를 참조하여 상기 HMD를 통해 상기 조종사에게 적어도 하나의 제K1시각피드백을 제공하는 프로세스 및 (ii) 상기 제K1베이스시나리오 중 적어도 일부인 제K1_2베이스시나리오를 참조하여 상기 모션플랫폼을 통해 상기 조종사에게 제K1전정감각피드백을 제공하는 프로세스를 수행함으로써 상기 조종사에게 일반비행경험을 제공하는 프로세스; 및 (II) 제1 내지 제N2액션시나리오 - N2는 1 이상의 정수임 - 중 하나인 제K2액션시나리오 - K2는 1 이상 N2 이하의 정수임 - 가 선택되면, (i) 상기 제K2액션시나리오 중 적어도 일부인 제K2_1액션시나리오를 참조하여 상기 HMD를 통해 상기 조종사에게 적어도 하나의 제K2시각피드백을 제공하는 프로세스 및 (ii) 상기 제K2액션시나리오 중 적어도 일부인 제K2_2액션시나리오를 참조하여 상기 모션플랫폼을 통해 상기 조종사에게 제K2전정감각피드백을 제공하는 프로세스 중 적어도 일부를 수행함으로써 상기 조종사에게 SD비행경험을 제공하는 프로세스를 수행하는 것을 특징으로 하는 시스템이 개시된다.According to another aspect of the present invention, there is provided a computing system for performing a method of simulating the SD of a pilot during flight, wherein the computing system operates in conjunction with a head mounted display (HMD) and a motion platform and stores one or more instructions. Memory; and one or more processors configured to execute the instructions, wherein the processor includes: (I) 1st to N1 th base scenarios - N1 is an integer greater than or equal to 1 - A K1 th base scenario that is one of - K1 is 1 or more and N1 or less is an integer - if is selected, (i) a process of providing at least one K1 th visual feedback to the pilot through the HMD with reference to the K1_1 th base scenario that is at least a part of the K1 th base scenario; and (ii) the K1 th base a process of providing a general flight experience to the pilot by performing a process of providing a K1 vestibular sensory feedback to the pilot through the motion platform with reference to the K1_2 base scenario that is at least a part of the scenario; and (II) 1st to N2th action scenarios - N2 is an integer of 1 or more A process of providing at least one K2 th visual feedback to the pilot through the HMD with reference to the K2_1 action scenario, and (ii) the K2_2 action scenario that is at least a part of the K2 action scenario through the motion platform with reference to the K2_2 action scenario Disclosed is a system comprising performing a process of providing an SD flight experience to a pilot by performing at least a portion of the process of providing a K2 vestibular sensory feedback to the pilot.

일례로서, 상기 (I) 프로세스는, 상기 프로세서가, (i) 상기 제K1_1베이스시나리오를 참조하여, 상기 조종사가 가상으로 탑승한 가상항공기를 중심으로 한 가상훈련공간 중 적어도 일부를 상기 조종사의 시선위치에 따라 상기 HMD에 디스플레이하되, 상기 조종사가 제어입력장치를 통해 입력한 제어신호에 따른 상기 가상항공기의 동작 및 상기 시선위치의 변경에 따라 상기 HMD에 디스플레이할 상기 가상훈련공간의 적어도 일부를 선택함으로써 상기 제K1시각피드백을 제공하는 프로세스 및 (ii) 상기 제K1_2베이스시나리오를 참조하여, 상기 가상항공기의 초기 자세에 대응하는 모션을 상기 모션플랫폼에 적용하되, 상기 조종사가 상기 제어입력장치를 통해 입력한 상기 제어신호에 따라 상기 가상항공기가 동작함에 따른 상기 자세의 변경에 따라 상기 모션플랫폼에 적용할 모션의 적어도 일부를 선택함으로써 상기 제K1전정기관피드백을 제공하는 프로세스를 수행하는 것을 특징으로 하는 시스템이 개시된다.As an example, in the (I) process, the processor (i) with reference to the K1_1 base scenario, at least a part of the virtual training space centered on the virtual aircraft in which the pilot is virtually boarded by the pilot's line of sight Display on the HMD according to a location, but select at least a part of the virtual training space to be displayed on the HMD according to the operation of the virtual aircraft according to the control signal input by the pilot through the control input device and the change of the gaze position and (ii) applying the motion corresponding to the initial posture of the virtual aircraft to the motion platform with reference to the process of providing the K1 th visual feedback and (ii) the K1_2 base scenario, wherein the pilot uses the control input device A process of providing the K1th vestibular organ feedback by selecting at least a part of a motion to be applied to the motion platform according to a change in the posture as the virtual aircraft operates according to the input control signal, characterized in that The system is disclosed.

일례로서, 상기 (II) 프로세스는, 상기 프로세서가, 상기 제K2액션시나리오가 시각SD 카테고리에 포함될 경우, 상기 제K2_1액션시나리오에 따라 설정된, 상기 조종사가 가상으로 탑승한 가상항공기를 중심으로 한 조정가상훈련공간 중 적어도 일부를 상기 HMD에 디스플레이하는 것을 특징으로 하는 시스템이 개시된다.As an example, in the process (II), when the K2 action scenario is included in the visual SD category, the process (II) may be performed based on the virtual aircraft in which the pilot is virtually boarded, which is set according to the K2_1 action scenario. Disclosed is a system characterized in that at least a part of the virtual training space is displayed on the HMD.

일례로서, 상기 (II) 프로세스는, 상기 프로세서가, 상기 제K2액션시나리오가 시각SD 카테고리에 포함된 False Horizon에 대응할 경우, 상기 제K2_1액션시나리오에 따라, 상기 조종사가 가상으로 탑승한 가상항공기의 Head-Up Display(HUD) 정보 중 적어도 일부를 시현하지 않은 상태에서 상기 가상항공기의 전방에 지면과의 각도가 제1임계치인 구름층을 시현한 상기 조정가상훈련공간 중 적어도 일부를 상기 HMD에 디스플레이함으로써 상기 제K2시각피드백을 상기 조종사에게 제공하는 것을 특징으로 하는 시스템이 개시된다.As an example, in the (II) process, the processor, when the K2 action scenario corresponds to False Horizon included in the visual SD category, according to the K2_1 action scenario, Display at least a part of the virtual training space for adjustment in which the cloud layer with the angle with the ground in front of the virtual aircraft is the first threshold in a state where at least part of the Head-Up Display (HUD) information is not displayed on the HMD Disclosed is a system for providing the K2 th visual feedback to the pilot by doing so.

일례로서, 상기 (II) 프로세스는, 상기 프로세서가, 상기 제K2액션시나리오가 시각SD 카테고리에 포함된 Black Hole Illusion에 대응할 경우, 상기 제K2_1액션시나리오에 따라, (i) 상기 조종사가 가상으로 탑승한 가상항공기의 주변 환경을 야간 상태로 설정하고, 상기 가상항공기의 전방에 활주로를 시현하되, 상기 활주로의 폭을 제1_1임계치를 참조로 설정하고, 상기 활주로등의 밝기를 제1_2임계치를 참조로 설정한 상기 조정가상훈련공간 중 적어도 일부를 상기 HMD에 디스플레이함으로써 상기 제K2시각피드백을 상기 조종사에게 제공하는 것을 특징으로 하는 시스템이 개시된다.As an example, in the (II) process, the processor, when the K2 action scenario corresponds to the Black Hole Illusion included in the visual SD category, according to the K2_1 action scenario, (i) the pilot boards virtually Set the surrounding environment of a virtual aircraft to a night state, display the runway in front of the virtual aircraft, set the width of the runway as a reference value 1_1, and set the brightness of the runway light as a reference value 1_2 threshold value A system is disclosed that provides the K2 th visual feedback to the pilot by displaying at least a part of the set virtual training space for adjustment on the HMD.

일례로서, 상기 프로세서가, 상기 제K2액션시나리오가 전정감각SD 카테고리에 포함될 경우, 상기 제K2_2액션시나리오에 따라 설정된, 상기 조종사가 가상으로 탑승한 가상항공기의 조정모션을, 상기 조종사가 제어입력장치를 통해 입력한 제어신호에 따른 모션과 함께 상기 모션플랫폼에 적용하는 것을 특징으로 하는 시스템이 개시된다.As an example, when the K2th action scenario is included in the vestibular sensory SD category, the processor sets the control motion of the virtual aircraft on which the pilot is virtually boarded, which is set according to the K2_2th action scenario, and the pilot controls the input device. Disclosed is a system characterized in that it is applied to the motion platform together with the motion according to the control signal input through the.

일례로서, 상기 프로세서가, (i) 상기 제K2액션시나리오가 복합SD 카테고리에 포함될 경우, 상기 제K2_1액션시나리오에 따라 설정된, 상기 조종사가 가상으로 탑승한 가상항공기를 중심으로 한 조정가상훈련공간 중 적어도 일부를 상기 HMD에 디스플레이하는 프로세스 및 (ii) 상기 제K2_2액션시나리오에 따라 설정된, 상기 조종사가 가상으로 탑승한 가상항공기의 조정모션을 상기 조종사가 제어입력장치를 통해 입력한 제어신호에 따른 모션과 함께 상기 모션플랫폼에 적용하는 프로세스를 수행하는 것을 특징으로 하는 시스템이 개시된다.As an example, the processor, (i) when the K2 action scenario is included in the composite SD category, is set according to the K2_1 action scenario, and among the virtual pilot training space centered on the virtual aircraft on which the pilot is virtually boarded. A process of displaying at least part of the display on the HMD and (ii) a motion according to a control signal input by the pilot through the control input device of the control motion of the virtual aircraft on which the pilot is virtually boarded, set according to the K2_2 action scenario A system characterized in that performing a process applied to the motion platform together with is disclosed.

일례로서, 상기 (II) 프로세스는, 상기 프로세서가, 상기 제K2액션시나리오가 복합SD 카테고리에 포함된 Pitch-Up Illusion에 대응할 경우, 상기 제K2_1액션시나리오에 따라 상기 조종사가 가상으로 탑승한 가상항공기의 주변에 가상구름층을 시현하여 HMD(200) 상에서 상기 조종사의 시야를 차폐하고, 상기 제K2_2액션시나리오에 따라 상기 모션플랫폼에 제2_1임계치의 피칭 모션 및 제2_2임계치의 서지 모션을 가하여 상기 SD비행경험을 상기 조종사에게 제공하는 것을 특징으로 하는 시스템이 개시된다.As an example, in the process (II), the processor, when the K2 action scenario corresponds to a Pitch-Up Illusion included in the composite SD category, the virtual aircraft in which the pilot is virtually boarded according to the K2_1 action scenario. A virtual cloud layer is displayed around the SD to block the pilot's view on the HMD 200, and according to the K2_2 action scenario, a pitching motion of a second_1 threshold and a surge motion of the second_2 threshold are applied to the motion platform according to the K2_2 action scenario. A system is disclosed for providing a flight experience to the pilot.

일례로서, 상기 (II) 프로세스는, 상기 프로세서가, 상기 제K2액션시나리오가 복합SD 카테고리에 포함된 Leans에 대응할 경우, 상기 제K2_1액션시나리오에 따라 상기 조종사가 가상으로 탑승한 가상항공기의 주변에 가상구름층을 시현하여 상기 조종사의 시야를 차폐하고, 상기 제K2_2액션시나리오에 따라 상기 모션플랫폼에 상기 조종사의 제어신호에 대응하는 제3임계치로 롤링 모션을 가하여 상기 SD비행경험을 상기 조종사에게 제공하는 것을 특징으로 하는 시스템이 개시된다.As an example, in the (II) process, the processor, when the K2 action scenario corresponds to Leans included in the composite SD category, according to the K2_1 action scenario, in the vicinity of the virtual aircraft on which the pilot is virtually boarded. The SD flight experience is provided to the pilot by applying a rolling motion to the motion platform with a third threshold corresponding to the pilot's control signal according to the K2_2 action scenario by displaying a virtual cloud layer to block the pilot's view Disclosed is a system characterized in that

일례로서, 상기 프로세서가, (III) 상기 조종사가 상기 SD비행경험에 대한 대응조종을 수행한 결과의 적합도를 출력하는 프로세스를 더 수행하는 것을 특징으로 하는 시스템이 개시된다.As an example, the system is characterized in that the processor further performs (III) a process of outputting a degree of fitness of a result of the pilot performing a corresponding operation for the SD flight experience.

일례로서, 상기 (III) 프로세스는, 상기 프로세서가, 상기 조종사가 상기 대응조종을 수행하는 동안의 상기 가상항공기의 진행방향, 고도, 속도, 피치 및 뱅크 값 중 적어도 일부를 참조로 상기 적합도를 출력하는 것을 특징으로 하는 시스템이 개시된다.As an example, in the process (III), the processor outputs the fitness with reference to at least some of the heading, altitude, speed, pitch, and bank values of the virtual aircraft while the pilot performs the corresponding control. Disclosed is a system characterized in that

일례로서, 상기 프로세서가, 적어도 여섯 개의 축을 가지며, 적어도 피칭, 롤링, 요잉, 스웨이, 서지 및 히브 동작을 수행할 수 있는 상기 모션플랫폼을 통해 상기 제K1 및 제K2전정감각피드백을 제공하는 것을 특징으로 하는 시스템이 개시된다.As an example, the processor provides the K1 th and K2 th vestibular sensory feedback through the motion platform having at least six axes and capable of performing at least pitching, rolling, yaw, sway, surge and heave motions. A system is disclosed.

일례로서, 상기 프로세서가, 소정 편집부를 통해 상기 제K1베이스시나리오를 입력받고, 소정 제어부를 통해 상기 제K2액션시나리오를 입력받는 것을 특징으로 하는 시스템이 개시된다.As an example, a system is disclosed, wherein the processor receives the K1 th base scenario through a predetermined editing unit and receives the K2 th action scenario through a predetermined control unit.

본 발명은 비행 중 조종사의 SD를 시뮬레이션함으로써 조종사가 SD에 잘 대처할 수 있도록 할 수 있는 효과가 있다.The present invention has the effect of enabling the pilot to cope well with SD by simulating the pilot's SD during flight.

또한 본 발명은 종래 기술에 따른 SD 시뮬레이션 장치에 비해 접근성이 높고, 사용 비용이 저렴하며, 효율적인 공간 활용이 가능한 시뮬레이션 장치를 제공할 수 있는 효과가 있다.In addition, the present invention has the effect of providing a simulation apparatus that is more accessible, has a lower cost of use, and can efficiently utilize space compared to the SD simulation apparatus according to the prior art.

또한 본 발명은 HMD에서 시현되는 비행 환경과 6축 모션플랫폼에서 구현될 수 있는 모션의 조합에 따라 다양한 SD유형을 시뮬레이션할 수 있고, 항공기 기종에 따른 콕핏 변경 및 비행훈련 프로필 수정이 용이하여 조종사별 개인화가 용이한 시뮬레이션 방법을 제공할 수 있는 효과가 있다.In addition, the present invention can simulate various SD types according to the combination of the flight environment displayed in the HMD and the motion that can be implemented in the 6-axis motion platform. There is an effect that can provide a simulation method that is easy to personalize.

또한 본 발명은 SD 이벤트 로그 관리, 조종사 개인별 평가 결과 시각화 등의 저장 및 평가 기능을 통해 조종사의 SD적응훈련 결과를 체계적으로 관리하고 이에 대한 피드백을 정량적 및 정성적으로 제공할 수 있는 효과가 있다.In addition, the present invention has the effect of being able to systematically manage the SD adaptation training results of the pilot and provide quantitative and qualitative feedback thereto through storage and evaluation functions such as SD event log management and visualization of individual pilot evaluation results.

도 1은 본 발명의 일 실시예에 따른 비행 중 조종사의 SD를 시뮬레이션하는 방법을 수행하는 컴퓨팅 시스템의 구성 및 이의 연동 관계를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 조종사의 SD를 시뮬레이션하는 방법을 수행하기 위해 사용되는 HMD에 시현되는 화면의 일 예시를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 조종사의 SD를 시뮬레이션하는 방법을 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 조종사의 SD를 시뮬레이션하는 방법을 수행하면서 도출되는 조종사에 대한 평가 자료를 나타낸 도면이다.1 is a diagram illustrating a configuration of a computing system for performing a method of simulating the SD of a pilot during flight according to an embodiment of the present invention and an interlocking relationship thereof.
2 is a diagram illustrating an example of a screen displayed on an HMD used to perform a method of simulating the SD of a pilot according to an embodiment of the present invention.
3 is a flowchart illustrating a method of simulating the SD of a pilot according to an embodiment of the present invention.
4 is a diagram illustrating evaluation data for a pilot derived while performing a method for simulating the SD of a pilot according to an embodiment of the present invention.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 토대로 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail based on exemplary drawings. In adding reference numerals to the components of each drawing, it should be noted that the same components are given the same reference numerals as much as possible even though they are indicated on different drawings. In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted.

도 1은 본 발명의 일 실시예에 따른 비행 중 조종사의 SD를 시뮬레이션하는 방법을 수행하는 컴퓨팅 시스템의 구성 및 이의 연동 관계를 나타낸 도면이다.1 is a diagram illustrating a configuration of a computing system for performing a method of simulating the SD of a pilot during flight according to an embodiment of the present invention and an interlocking relationship thereof.

도 1을 참조하면, 컴퓨팅 시스템(100)은, 편집부(130), 제어부(140) 및 저장평가부(150)를 포함할 수 있다. 이 때, 편집부(130), 제어부(140) 및 저장평가부(150)의 입출력 및 연산 과정은 각각 통신부(110) 및 프로세서(120)에 의해 이루어질 수 있다. 다만, 도 1에서는 통신부(110) 및 프로세서(120)의 구체적인 연결 관계를 생략하였다. 또한, 메모리(115)는 후술할 여러 가지 인스트럭션들을 저장한 상태일 수 있고, 프로세서(120)는 메모리(115)에 저장된 인스트럭션들을 수행하도록 됨으로써 추후 설명할 프로세스들을 수행하여 본 발명을 수행할 수 있다. 이와 같이 컴퓨팅 시스템(100)이 묘사되었다고 하여, 컴퓨팅 시스템(100)이 본 발명을 실시하기 위한 미디엄, 프로세서 및 메모리가 통합된 형태인 통합 프로세서를 포함하는 경우를 배제하는 것은 아니다. 여기서 편집부(130)는, 추후 설명하겠지만, 제1 내지 제N1베이스시나리오를 설정하는 데에 사용될 수 있다. 또한, 제어부(140)는, 추후 설명할 제1 내지 제N2액션시나리오를 설정하는 데에 사용될 수 있다. 그리고, 저장평가부(150)는, 역시 추후 설명할 조종사의 SD비행경험에 대한 대응조종의 적합도를 평가하는 데에 사용될 수 있다.Referring to FIG. 1 , the computing system 100 may include an editing unit 130 , a control unit 140 , and a storage evaluation unit 150 . In this case, the input/output and calculation processes of the editing unit 130 , the control unit 140 , and the storage evaluation unit 150 may be performed by the communication unit 110 and the processor 120 , respectively. However, in FIG. 1 , a detailed connection relationship between the communication unit 110 and the processor 120 is omitted. In addition, the memory 115 may be in a state in which various instructions to be described later are stored, and the processor 120 is configured to execute the instructions stored in the memory 115, thereby performing processes to be described later to carry out the present invention. . Even if the computing system 100 is depicted in this way, the case in which the computing system 100 includes an integrated processor in which a medium, a processor, and a memory are integrated for implementing the present invention is not excluded. Here, the editing unit 130 may be used to set first to N1 th base scenarios, as will be described later. Also, the controller 140 may be used to set first to N2th action scenarios to be described later. And, the storage evaluation unit 150 may be used to evaluate the suitability of the corresponding operation for the SD flight experience of the pilot, which will also be described later.

이와 같은 컴퓨팅 시스템(100)은, Head Mounted Display(HMD)(200) 및 모션플랫폼(300)과 연동하여 동작할 수 있다. 여기서 HMD(200)는, 컴퓨팅 시스템(100)으로부터 영상을 입력받아 시현할 수 있는 것이라면 어떤 것이라도 가능하며, 일례로 양안에 서로 연동된 영상을 시현하여 이를 착용한 조종사가 3D 영상을 시청할 수 있도록 하는 것일 수 있다. 이에 대해 설명하기 위해 잠시 도 2를 참조하도록 한다.Such a computing system 100 may operate in conjunction with the Head Mounted Display (HMD) 200 and the motion platform 300 . Here, the HMD 200 can receive an image from the computing system 100 and display it as long as it can be displayed. may be doing In order to describe this, reference will be made to FIG. 2 for a moment.

도 2는 본 발명의 일 실시예에 따른 조종사의 SD를 시뮬레이션하는 방법을 수행하기 위해 사용되는 HMD에 시현되는 화면의 일 예시를 나타낸 도면이다.2 is a diagram illustrating an example of a screen displayed on an HMD used to perform a method of simulating the SD of a pilot according to an embodiment of the present invention.

도 2를 참조하면, 조종사는 가상항공기에 탑승하고 있는 것과 같은 시각적 정보를 HMD(200)를 통해 얻을 수 있음을 확인할 수 있다. 즉, HMD(200)을 착용한 조종사가 고개를 왼쪽으로 돌리면 가상항공기의 좌측 풍경이 보일 수 있고, 오른쪽으로 돌리면 우측 풍경이 보일 수 있다. 또한, HMD(200) 상의 콕핏 및 HUD에 표시되는 정보 역시 실제 항공기와 같이 가상항공기의 상태 정보를 나타낼 수 있다. 이를 이용해, HMD(200)는 추후 설명할 제K1 및 제K2 시각피드백을 조종사에게 제공할 수 있다.Referring to FIG. 2 , it can be confirmed that the pilot can obtain visual information such as being on a virtual aircraft through the HMD 200 . That is, when the pilot wearing the HMD 200 turns his head to the left, the left landscape of the virtual aircraft can be seen, and when he turns to the right, the right landscape can be seen. In addition, information displayed on the cockpit and HUD on the HMD 200 may also indicate status information of a virtual aircraft like a real aircraft. Using this, the HMD 200 may provide the pilot with K1 th and K2 th visual feedback to be described later.

다시 이어 설명하면, 모션플랫폼(300)은, 컴퓨팅 시스템(100) 및 제어입력장치(미도시)로부터 제어신호를 입력받아 이에 탑승한 조종사가 여러 물리적 운동을 경험할 수 있도록 하는 장치일 수 있는데, 일 예로, 도면과 같은 의자의 형태로 구현되고, 적어도 여섯 개의 축을 가져, 적어도 피칭, 롤링, 요잉, 스웨이, 서지 및 히브 동작을 수행할 수 있는 장치일 수 있다. 또한, 제어입력장치(미도시)는, 일반적인 항공기의 조종장치와 유사하게 적어도 스틱, 스로틀, 러더를 포함할 수 있다. 이를 이용해, 모션플랫폼(300)은 추후 설명할 제K1 및 제K2전정감각피드백을 조종사에게 제공할 수 있다.In other words, the motion platform 300 may be a device that receives a control signal from the computing system 100 and a control input device (not shown) so that a pilot who rides it can experience various physical movements. For example, it may be a device that is implemented in the form of a chair as shown in the drawing, has at least six axes, and can perform at least pitching, rolling, yaw, sway, surge and heave operations. In addition, the control input device (not shown) may include at least a stick, a throttle, and a rudder similar to a general aircraft control device. Using this, the motion platform 300 may provide the pilot with K1 th and K2 th vestibular sensory feedback to be described later.

이상 본 발명의 일 실시예에 따른 컴퓨팅 시스템(100), HMD(200) 및 모션플랫폼(300)에 대해 설명한 바, 이하 이들을 사용한 본 발명의 일 실시예에 따른 조종사의 SD를 시뮬레이션하는 방법에 대해 도 3을 참조로 설명하도록 한다.Above, the computing system 100, HMD 200, and motion platform 300 according to an embodiment of the present invention have been described. Hereinafter, a method of simulating the SD of a pilot according to an embodiment of the present invention using these It will be described with reference to FIG. 3 .

도 3은 본 발명의 일 실시예에 따른 조종사의 SD를 시뮬레이션하는 방법을 나타낸 흐름도이다.3 is a flowchart illustrating a method of simulating the SD of a pilot according to an embodiment of the present invention.

도 3을 참조하면, 먼저, 컴퓨팅 시스템(100)은, 제1 내지 제N1베이스시나리오(N1은 1 이상의 정수임)중 하나인 제K1베이스시나리오(K1은 1 이상 N1 이하의 정수임)가 선택되면(S01), 제K1베이스시나리오 중 적어도 일부인 제K1_1베이스시나리오를 참조하여 HMD(200)를 통해 조종사에게 적어도 하나의 제K1시각피드백을 제공하는 프로세스(S02-1) 및 제K1베이스시나리오 중 적어도 일부인 제K1_2베이스시나리오를 참조하여 모션플랫폼(300)을 통해 조종사에게 제K1전정감각피드백을 제공하는 프로세스(S02-2)를 수행할 수 있다. 여기서 S02-1 및 S02-2 프로세스는 병렬적으로 수행될 수 있다. 이후, 제1 내지 제N2액션시나리오(N2는 1 이상의 정수임)중 하나인 제K2액션시나리오(K2는 1 이상 N2 이하의 정수임)가 선택되면(S03), 제K2액션시나리오 중 적어도 일부인 제K2_1액션시나리오를 참조하여 HMD(200)를 통해 조종사에게 적어도 하나의 제K2시각피드백을 제공하는 프로세스(S04-1) 및 (ii) 제K2액션시나리오 중 적어도 일부인 제K2_2액션시나리오를 참조하여 모션플랫폼(300)을 통해 조종사에게 제K2전정감각피드백을 제공하는 프로세스(S04-2)를 수행할 수 있다. 이후, 컴퓨팅 시스템(100)은, 조종사가 SD비행경험에 대한 대응조종을 수행한 결과의 적합도를 출력할 수 있다(S05). 이하 프로세스에 대해 더욱 구체적으로 설명하도록 한다.Referring to FIG. 3 , first, the computing system 100 selects the K1th base scenario (K1 is an integer greater than or equal to 1 and less than or equal to N1), which is one of the first to N1th base scenarios (N1 is an integer greater than or equal to 1) is selected ( S01), the process of providing at least one K1th visual feedback to the pilot through the HMD 200 with reference to the K1_1th base scenario that is at least a part of the K1th base scenario (S02-1) and the second which is at least a part of the K1th base scenario A process (S02-2) of providing the K1th vestibular sensory feedback to the pilot through the motion platform 300 may be performed with reference to the K1_2 base scenario. Here, processes S02-1 and S02-2 may be performed in parallel. Then, when the K2 action scenario (K2 is an integer greater than or equal to 1 and less than or equal to N2) that is one of the first to N2 action scenarios (N2 is an integer greater than or equal to 1) is selected (S03), the K2_1th action that is at least a part of the K2th action scenarios A process of providing at least one K2th visual feedback to the pilot through the HMD 200 with reference to the scenario (S04-1) and (ii) the motion platform 300 with reference to the K2_2th action scenario that is at least a part of the K2th action scenario ), the process (S04-2) of providing the K2th vestibular sensory feedback to the pilot can be performed. Thereafter, the computing system 100 may output the fitness of the result of the pilot performing the corresponding operation for the SD flight experience ( S05 ). Hereinafter, the process will be described in more detail.

먼저, 본 발명의 일 실시예에 따른 훈련 방법을 실시하기 위해, 제1 내지 제N1베이스시나리오 중 하나인 제K1베이스시나리오가 선택될 수 있는데, 여기서 베이스시나리오란 조종사에게 SD비행경험을 주기 위한 기본적인 환경설정 및 이에 따른 일반비행 시나리오에 대응할 수 있다. 예를 들어, 조종사가 탑승할 항공기의 기종 및 가상비행을 수행할 위치에 대한 정보를 포함하고, 이에 따라 조종사가 항공기의 운항을 수행하는 일련의 과정에 대한 정보를 포함할 수 있다. 간단한 예로, 베이스시나리오들 중 하나는 조종사가 대구비행장에서 F-15 전투기를 운항하는 것이고, 다른 하나는 조종사가 청주비행장에서 F-35 전투기를 운항하는 것일 수 있다.First, in order to implement the training method according to an embodiment of the present invention, the K1th base scenario, which is one of the 1st to N1th base scenarios, may be selected, where the base scenario is the basic for giving the SD flight experience to the pilot. It can respond to environment settings and general flight scenarios accordingly. For example, information on the type of aircraft to be boarded by the pilot and information on a location to perform virtual flight may be included, and accordingly, information on a series of processes in which the pilot performs operation of the aircraft may be included. As a simple example, one of the base scenarios may be that a pilot operates an F-15 fighter at Daegu Airfield, and the other one may have a pilot operate an F-35 fighter at Cheongju Airfield.

또한, 각 베이스시나리오들의 하위 시나리오, 즉 제K1베이스시나리오의 경우 제K1_1베이스시나리오 및 제K1_2베이스시나리오는, 각각 해당 비행 과정의 시각 환경설정 및 모션 환경설정에 대응할 수 있다. 예를 들어, 제K1베이스시나리오가 조종사가 대구비행장에서 F-15 전투기를 운항하는 경우에 대응하는 것이라면, 제K1_1베이스시나리오는 대구비행장 주변의 운항 경로에 대한 시각적 정보를 나타낼 수 있다. 이에 따라, 컴퓨팅 시스템(100)은, 제K1_1베이스시나리오를 참조하여 HMD(200)를 통해 조종사가 대구비행장 주변을 비행하고 있는 것과 같은 시각적 자극, 즉 제K1시각피드백을 제공할 수 있다. 또한, 제K1_2베이스시나리오는, 대구비행장 주변을 비행함에 따라 발생하는 전투기의 움직임에 따른 물리적 정보를 나타낼 수 있다. 이에 따라, 컴퓨팅 시스템(100)은, 제K1_2베이스시나리오는, 조종사가 대구비행장 주변을 비행하고 있는 것과 같은 물리적 자극, 즉 제K1전정감각피드백을 제공할 수 있다. 이외에도, 제K1베이스시나리오가 비가 오고 바람이 많이 부는 날씨를 상정한 것이라면, 제K1_1베이스시나리오에는 배경에 비가 오는 시각적 정보가 포함되어 있을 수 있고, 제K1_2베이스시나리오에는 항공기가 다소 많이 흔들리는 물리적 정보가 포함되어 있을 수 있다.In addition, the sub-scenarios of each base scenario, that is, in the case of the K1th base scenario, the K1_1th base scenario and the K1_2th base scenario may correspond to the visual environment setting and the motion environment setting of the corresponding flight process, respectively. For example, if the K1 base scenario corresponds to a case in which the pilot operates an F-15 fighter at the Daegu airfield, the K1_1 base scenario may represent visual information about the flight path around the Daegu airfield. Accordingly, the computing system 100 may provide a visual stimulus such as that the pilot is flying around Daegu Airfield through the HMD 200 with reference to the K1_1th base scenario, that is, the K1th visual feedback. In addition, the K1_2 base scenario may represent physical information according to the movement of the fighter that occurs while flying around the Daegu airfield. Accordingly, the computing system 100, the K1_2th base scenario, may provide a physical stimulus such as a pilot flying around Daegu airfield, that is, the K1th vestibular sensory feedback. In addition, if the K1 base scenario assumes rainy and windy weather, the K1_1 base scenario may include rain visual information in the background, and the K1_2 base scenario includes physical information in which the aircraft shakes somewhat. may be included.

더욱 구체적으로, 컴퓨팅 시스템(100)은, 제K1_1베이스시나리오를 참조하여, 조종사가 가상으로 탑승한 가상항공기를 중심으로 한 가상훈련공간 중 적어도 일부를 조종사의 시선위치에 따라 HMD(200)에 디스플레이하되, 조종사가 제어입력장치(310)를 통해 입력한 제어신호에 따른 가상항공기의 동작 및 시선위치의 변경에 따라 HMD(200)에 디스플레이하는 가상훈련공간의 적어도 일부를 선택함으로써 제K1시각피드백을 제공할 수 있다. 즉, 조종사가 가상항공기를 실제로 운항하고 있는 것과 같은 경험을 주기 위하여, 조종사가 가상항공기를 운항함에 따라 생기는 배경의 변화를 HMD(200)에 시현되는 화면에 반영하고, 조종사가 보는 시선 방향에 따른 위치의 배경을 HMD(200)에 시현할 수 있다는 것이다. 또한, 위 프로세스와 병렬적으로, 컴퓨팅 시스템(100)은, 제K1_2베이스시나리오를 참조하여, 가상항공기의 초기 자세에 대응하는 모션을 모션플랫폼에 적용하되, 조종사가 제어입력장치를 통해 입력한 제어신호에 따라 가상항공기가 동작함에 따른 자세의 변경에 따라 모션플랫폼에 적용하는 모션의 적어도 일부를 변경함으로써 제K1전정기관피드백을 제공할 수 있다. 즉, 조종사가 가상항공기를 운항함에 따라 생기는 물리적 변화, 즉 예를 들어 좌측으로 선회하면 우측으로 원심력을 받아 몸이 쏠리고, 기수를 올림에 따라 몸이 땅 방향으로 밀리는 현상 등을 모션플랫폼(300)을 통해 재현할 수 있다는 것이다.More specifically, the computing system 100, with reference to the K1_1 base scenario, displays at least a portion of the virtual training space centered on the virtual aircraft on which the pilot is virtually boarded on the HMD 200 according to the pilot's gaze position. However, the K1th visual feedback is obtained by selecting at least a part of the virtual training space displayed on the HMD 200 according to the change of the gaze position and the operation of the virtual aircraft according to the control signal input through the control input device 310 by the pilot. can provide That is, in order to give the pilot the same experience as when he is actually operating the virtual aircraft, the change in the background that occurs as the pilot operates the virtual aircraft is reflected on the screen displayed on the HMD 200, and The background of the location can be displayed on the HMD 200 . In addition, in parallel with the above process, the computing system 100 applies the motion corresponding to the initial posture of the virtual aircraft to the motion platform with reference to the K1_2 base scenario, but the control input by the pilot through the control input device The K1 vestibular organ feedback may be provided by changing at least a part of the motion applied to the motion platform according to the change of the posture according to the operation of the virtual aircraft according to the signal. That is, physical changes that occur as the pilot operates the virtual aircraft, that is, for example, when turning to the left, receive centrifugal force to the right, and the body is tilted to the right, and the body is pushed to the ground as the nose is raised. Motion platform 300 that it can be reproduced through

이상 설명한 과정에 따라, 컴퓨팅 시스템(100)은 제K1베이스시나리오를 통해 조종사에게 일반비행경험을 제공할 수 있다. 즉, 일반적인 비행 상황에 대한 경험을 제공할 수 있다는 것이다. 이 때, 조종사의 SD에 대한 대응 능력을 훈련할 수 있도록, 컴퓨팅 장치(100)는, 제1 내지 제N2액션시나리오 중 하나인 제K2액션시나리오를 통해 조종사에게 SD비행경험을 제공할 수 있다. 여기서 제1 내지 제N2액션시나리오는 제1 내지 제N1베이스시나리오와 유사하게, 조종사에게 SD비행경험을 제공하기 위한 시각적 및 물리적 환경 설정에 대응할 수 있는데, 구분을 위해 다르게 명명된 것일 수 있다.According to the process described above, the computing system 100 may provide a general flight experience to the pilot through the K1 th base scenario. In other words, it can provide an experience for common flight situations. At this time, in order to train the pilot's ability to respond to SD, the computing device 100 may provide an SD flight experience to the pilot through the K2 action scenario that is one of the first to N2 action scenarios. Here, the first to N2th action scenarios may correspond to visual and physical environment settings for providing the SD flight experience to the pilot, similar to the first to N1th base scenarios, and may be named differently for classification.

이상의 제1 내지 제N2액션시나리오는, 크게 시각SD, 전정감각SD 및 복합SD의 세 가지 카테고리로 구분될 수 있다. 이들 중 시각SD는 시각적 정보에 의해 조종사의 감각 왜곡이 일어나는 경우를 의미하는데, 예로 False Horizon 및 Black Hole Illusion을 들 수 있다. False Horizon이란, 시각의 범위를 넘어 광범위하게 이어진 경사진 구름층으로 인해 조종사가 항공기의 수평 여부를 실제와 다르게 판단하게 되는 현상이고, Black Hole Illusion이란 활주로 등화의 밝기 및 크기 등의 요인으로 인해 조종사가 항공기의 고도 및 위치를 실제와 다르게 판단하는 현상이다. 이와 갈은 시각SD 경험을 조종사에게 제공하기 위해, 컴퓨팅 시스템(100)은, 제K2액션시나리오가 시각SD 카테고리에 포함될 경우, 제K2_1액션시나리오에 따라 설정된, 조종사가 가상으로 탑승한 가상항공기를 중심으로 한 조정가상훈련공간 중 적어도 일부를 HMD(200)에 디스플레이할 수 있다.The above first to N2 action scenarios can be largely divided into three categories: visual SD, vestibular SD, and complex SD. Among them, visual SD means a case in which the pilot's sensory distortion occurs due to visual information, such as False Horizon and Black Hole Illusion. False Horizon is a phenomenon in which the pilot judges whether the aircraft is level differently from reality due to the sloping cloud layer that extends beyond the visual range, and Black Hole Illusion is a phenomenon in which pilot This is a phenomenon in which the altitude and position of an aircraft is judged differently from reality. In order to provide the pilot with a visual SD experience grounded therewith, the computing system 100, when the K2 action scenario is included in the visual SD category, centers on the virtual aircraft on which the pilot is virtually boarded, set according to the K2_1 action scenario. It is possible to display at least a portion of the adjusted virtual training space on the HMD (200).

더욱 구체적으로, 컴퓨팅 시스템(100)은, 제K2액션시나리오가 시각SD 카테고리에 포함된 False Horizon에 대응할 경우, 제K2_1액션시나리오에 따라, 조종사가 가상으로 탑승한 가상항공기의 Head-Up Display(HUD) 정보 중 적어도 일부를 시현하지 않은 상태에서 가상항공기의 전방에 지면과의 각도가 제1임계치인 구름층을 시현한 조정가상훈련공간 중 적어도 일부를 HMD(200)에 디스플레이함으로써 제K2시각피드백을 조종사에게 제공할 수 있다. 전술한 바와 같이, 이는 조종사가 가상항공기의 수평 여부를 정확히 판단할 수 없는 현상을 일으키기 위함이다.More specifically, the computing system 100, when the K2 action scenario corresponds to False Horizon included in the visual SD category, according to the K2_1 action scenario, the Head-Up Display (HUD) of the virtual aircraft on which the pilot is virtually boarded. ) In the state where at least some of the information is not displayed, the K2th visual feedback is obtained by displaying at least a part of the adjustment virtual training space in which the cloud layer with the first threshold angle with the ground in front of the virtual aircraft is displayed on the HMD 200. can be provided to the pilot. As described above, this is to cause a phenomenon in which the pilot cannot accurately determine whether the virtual aircraft is level.

또한, 컴퓨팅 시스템(100)이, 제K2액션시나리오가 시각SD 카테고리에 포함된 Black Hole Illusion에 대응할 경우, 제K2_1액션시나리오에 따라, (i) 조종사가 가상으로 탑승한 가상항공기의 주변 환경을 야간 상태로 설정하고, 가상항공기의 전방에 활주로를 시현하되, 활주로의 폭을 제1_1임계치를 참조로 설정하고, 활주로등의 밝기를 제1_2임계치를 참조로 설정한 조정가상훈련공간 중 적어도 일부를 HMD(200)에 디스플레이할 수 있다. 여기서, 조종사의 착각을 일으키기 위해, 활주로의 폭 및 활주로등의 밝기가 평소와는 다르게 설정될 수 있다. 즉, 제1_1임계치 및 제1_2임계치는 관리자에 의해 전술한 평소의 폭 및 평소의 밝기와 다른 값으로 입력될 수 있다. 또한, 같은 위치에서부터의 착륙 프로세스를 여러 번 반복하되, 제1_1임계치 및 제1_2임계치를 바꾸어 가면서 반복함으로써 조종사가 활주로의 폭 및 활주로등의 밝기의 변화에도 고도를 정확하게 판단할 수 있도록 훈련할 수 있다.In addition, when the computing system 100 corresponds to the Black Hole Illusion included in the visual SD category, the K2 action scenario, according to the K2_1 action scenario, (i) the surrounding environment of the virtual aircraft on which the pilot is virtually boarded at night At least a part of the adjusted virtual training space in which the runway is set to the state, and the runway is displayed in front of the virtual aircraft, the width of the runway is set as the reference value 1_1, and the brightness of the runway light is set as the reference value 1_2 threshold value (200) can be displayed. Here, in order to cause an illusion of the pilot, the width of the runway and the brightness of the runway light may be set differently from usual. That is, the first_1 threshold and the first_2 threshold may be input by the administrator as values different from the above-described normal width and normal brightness. In addition, by repeating the landing process from the same location several times, while changing the 1_1 threshold and 1_2 threshold, the pilot can be trained to accurately determine the altitude even with changes in the width of the runway and the brightness of the runway lights. .

이와 달리, 전정감각SD는 주로 전정감각 정보에 의해 조종사의 감각 왜곡이 일어나는 경우를 말하는데, 예로 Pitch-Up Illusion 및 Leans를 들 수 있다. Pitch-Up Illusion이란 항공기의 이륙 단계에서 속력을 증가시키기 위해 추력을 높일 때 조종사가 허위의 상승감을 느끼게 되는 착각을 말하고, Leans는 조종사가 반고리관의 자극 역치 이하의 선회를 계속하다가 자극 역치 이상으로 급격히 수평 자세로 조작하면 반대로 다시 선회하는 것처럼 느끼게 되는 착각을 말한다. 이와 같은 전정기관SD 경험을 조종사에게 제공하기 위해, 컴퓨팅 시스템(100)은, 제K2액션시나리오가 전정감각SD 카테고리에 포함될 경우, 제K2_2액션시나리오에 따라 설정된, 조종사가 가상으로 탑승한 가상항공기의 동작에 따른 모션을, 조종사가 제어입력장치(310)를 통해 입력한 제어신호에 따른 모션과 함께 모션플랫폼(300)에 적용함으로써 제K2전정기관피드백을 조종사에게 제공할 수 있다.On the other hand, vestibular SD refers to a case in which sensory distortion of the pilot occurs mainly due to vestibular sensory information, such as Pitch-Up Illusion and Leans. Pitch-Up Illusion refers to the illusion that the pilot feels a false sense of ascent when the thrust is increased to increase the speed during the take-off phase of the aircraft. It refers to the illusion that if you operate in a horizontal position, you feel as if you are turning again in the opposite direction. In order to provide the pilot with this vestibular organ SD experience, the computing system 100, when the K2 action scenario is included in the vestibular sensory SD category, is set according to the K2_2 action scenario of the virtual aircraft the pilot boards virtually. By applying the motion according to the operation to the motion platform 300 together with the motion according to the control signal input by the pilot through the control input device 310, the K2 th vestibular organ feedback can be provided to the pilot.

다만, 상기와 같은 Pitch-Up Illusion 및 Leans의 경우, 모션플랫폼(300)만으로도 조종사에게 충분히 유사한 경험을 제공할 수 있으나, HMD(200)를 함께 사용하여 시각피드백을 함께 주면 더욱 더 효과적이므로, 이와 함께 설명하도록 한다. 즉, 전술한 전정감각SD를 복합SD, 즉 전정감각과 시각적 정보 모두에 의한 감각 왜곡으로서 조종사에게 제공하기 위해, 컴퓨팅 시스템(100)이, (i) 제K2액션시나리오가 복합SD 카테고리에 포함될 경우, 제K2_1액션시나리오에 따라 설정된, 조종사가 가상으로 탑승한 가상항공기를 중심으로 한 조정가상훈련공간 중 적어도 일부를 HMD(200)에 디스플레이하는 프로세스 및 (ii) 제K2_2액션시나리오에 따라 설정된, 조종사가 가상으로 탑승한 가상항공기의 동작에 따른 조정모션을 조종사가 제어입력장치를 통해 입력한 제어신호에 따른 모션과 함께 모션플랫폼(300)에 적용할 수 있다.However, in the case of Pitch-Up Illusion and Leans as described above, although the motion platform 300 alone can provide a sufficiently similar experience to the pilot, it is even more effective if the HMD 200 is used together to provide visual feedback. Let us explain together. That is, in order to provide the pilot with the above-described vestibular sensory SD as a composite SD, that is, sensory distortion by both vestibular sensory and visual information, the computing system 100, (i) When the K2 action scenario is included in the composite SD category , a process of displaying on the HMD 200 at least a part of the virtual pilot training space centered on the virtual aircraft on which the pilot is virtually boarded, set according to the K2_1 action scenario, and (ii) the pilot, set according to the K2_2 action scenario The adjustment motion according to the operation of the virtual aircraft in which the is boarded can be applied to the motion platform 300 together with the motion according to the control signal input by the pilot through the control input device.

더욱 구체적으로, 제K2액션시나리오가 복합SD 카테고리에 포함된 Pitch-Up Illusion에 대응할 경우, 컴퓨팅 장치(100)는, 제K2_1액션시나리오에 따라 조종사가 가상으로 탑승한 가상항공기의 주변에 가상구름층을 시현하여 HMD(200) 상에서 조종사의 시야를 차폐하고, 제K2_2액션시나리오에 따라 모션플랫폼(300)에 제2_1임계치의 피칭 모션 및 제2_2임계치의 서지모션을 가하여 SD비행경험을 조종사에게 제공할 수 있다. 여기서, 제2_1임계치의 피칭 모션은, 조종사가 상승감을 느낄 수 있도록, 이륙 자세와 비교하였을 때 피치 축의 각도가 제2_1임계치만큼 증가하도록 하는 모션일 수 있다. 일 예로, 제2_1임계치는, 피칭 모션의 가능 각도가 -20도부터 20도일 때 15도 정도일 수 있으나, 이에 한정될 것은 아니며, 조종사가 상승감을 느낄 수 있도록 하는 각도라면 어떠한 각도라도 사용 가능할 것이다. 또한, 서지 모션은, 조종사가 가상항공기의 추력 상승을 느낄 수 있도록, 서지 축을 후방에서 전방으로 이동하는 모션일 수 있다. 일 예로, 제2_2임계치는, 서지 모션의 가능 범위가 -25mm부터 25mm라면, 서지 축을 최소치인 -25mm에서 최대치인 25mm로 이동하기 위해 50mm로 설정될 수 있다. 이 역시, 이에 한정될 것이 아니며, 조종사가 추력을 느낄 수 있도록 할 수 있는 수치라면 어떠한 수치라도 사용 가능할 것이다. More specifically, when the K2 action scenario corresponds to the Pitch-Up Illusion included in the composite SD category, the computing device 100 is a virtual cloud layer around the virtual aircraft in which the pilot is virtually boarded according to the K2_1 action scenario. to block the pilot's field of vision on the HMD 200 by demonstrating and apply the pitching motion of the 2nd_1 threshold and the surge motion of the 2nd_2 threshold to the motion platform 300 according to the K2_2 action scenario to provide the pilot with SD flight experience. can Here, the pitching motion of the second_1 threshold may be a motion such that the angle of the pitch axis increases by the second_1 threshold when compared to the take-off posture so that the pilot can feel a sense of rising. As an example, the second_1 threshold value may be about 15 degrees when the possible angle of the pitching motion is from -20 degrees to 20 degrees, but is not limited thereto, and any angle may be used as long as the angle allows the pilot to feel the rise. In addition, the surge motion may be a motion of moving the surge axis from the rear to the front so that the pilot can feel the increase in thrust of the virtual aircraft. As an example, the second_2 threshold may be set to 50mm to move the surge axis from the minimum value of -25mm to the maximum value of 25mm if the possible range of the surge motion is -25mm to 25mm. Again, this is not limited thereto, and any number may be used as long as it is a number that allows the pilot to feel the thrust.

이와 달리, 제K2액션시나리오가 복합SD 카테고리에 포함된 Leans에 대응할 경우, 컴퓨팅 시스템(100)은, 제K2_1액션시나리오에 따라 조종사가 가상으로 탑승한 가상항공기의 주변에 가상구름층을 시현하여 조종사의 시야를 차폐하고, 제K2_2액션시나리오에 따라 모션플랫폼에 조종사의 제어신호에 대응하는 제3임계치로 롤링 모션을 가하여 SD비행경험을 조종사에게 제공할 수 있다. 여기서, Leans는 전술한 바와 같이 조종사가 선회 조작을 할 때 발생할 수 있는 SD이므로, 가상항공기에 대한 선회 조작이 입력되면, 컴퓨팅 장치가, 해당 선회 방향의 반대방향으로, 즉 조종사의 제어신호에 대응하는 제3임계치로 롤링 모션을 가할 수 있다. 일 예로, 롤링 모션의 가능 범위가 -20도부터 20도일 때, 선회 방향의 반대방향으로 20도만큼, 초당 0.8도의 속도로 롤링 모션을 가할 수 있다. 이 경우에도, 롤링 모션의 크기 및 속도, 즉 제3임계치는 상술한 값과 다를 수 있고, 특히 롤링 모션의 속도가 충분히 느리다면 어떤 값이라도 가능하다.On the other hand, when the K2 action scenario corresponds to Leans included in the composite SD category, the computing system 100 displays a virtual cloud layer around the virtual aircraft on which the pilot is virtually boarded according to the K2_1 action scenario, and the pilot SD flight experience can be provided to the pilot by shielding the view of the plane and applying a rolling motion to the motion platform with the third threshold corresponding to the pilot's control signal according to the K2_2 action scenario. Here, since Leans is SD that may occur when the pilot performs a turning operation as described above, when a turning operation for the virtual aircraft is input, the computing device responds to the pilot's control signal in the opposite direction to the turning direction. A rolling motion may be applied as a third threshold value. For example, when the possible range of the rolling motion is from -20 degrees to 20 degrees, the rolling motion may be applied by 20 degrees in the opposite direction to the turning direction at a speed of 0.8 degrees per second. Even in this case, the magnitude and speed of the rolling motion, that is, the third threshold may be different from the above-described values, and in particular, any value may be used as long as the speed of the rolling motion is sufficiently slow.

이상의 과정을 통해, 조종사는 SD 현상을 경험할 수 있게 되고, 이에 대응하기 위한 연습을 할 수 있게 된다. 여기서, 조종사가 SD 현상에 얼마나 잘 대응하는지 평가할 수 있는 방법에 대해 설명하도록 한다. 즉, 평가자는 조종사를 시험할 환경, 즉 제K1베이스시나리오를 선택한 후 이를 이용해 HMD(200) 및 모션플랫폼(300)을 설정할 수 있다. 이후, 평가자는 조종사에게 제K1베이스시나리오에 따른 환경 상에서 정해진 비행 프로파일에 따라 비행을 실시하도록 지시할 수 있다. 그리고, 평가자는 제K2액션시나리오를 선택한 후, 이를 이용해 HMD(200) 및 모션플랫폼(300)을 설정함으로써 조종사가 SD 현상을 겪도록 할 수 있다. 위 설명에서는 제K2액션시나리오 하나만을 언급하였으나, 조종사가 비행 프로파일에 따라 비행을 실시하는 동안 순서대로 여러 개의 액션시나리오에 따른 SD 현상을 겪도록 할 수 있다. 조종사가 비행을 완료한 이후, 컴퓨팅 시스템(100)은, 조종사가 SD비행경험에 대해 대응조종을 수행한 결과의 적합도를 출력할 수 있다.Through the above process, the pilot can experience the SD phenomenon and practice to respond to it. Here, we will explain how to evaluate how well a pilot responds to SD phenomena. That is, the evaluator can set the HMD 200 and the motion platform 300 by using the environment to test the pilot, that is, after selecting the K1 base scenario. Thereafter, the evaluator may instruct the pilot to perform the flight according to the determined flight profile in the environment according to the K1 base scenario. And, after the evaluator selects the K2 action scenario, by using this to set the HMD 200 and the motion platform 300, the pilot may experience the SD phenomenon. In the above description, only one K2 action scenario has been mentioned, but it is possible for the pilot to experience the SD phenomenon according to several action scenarios in sequence while flying according to the flight profile. After the pilot completes the flight, the computing system 100 may output the fitness of the result of the pilot performing the corresponding operation with respect to the SD flight experience.

여기서 대응조종의 적합도는, 컴퓨팅 시스템(100)이, 조종사가 대응조종을 수행하는 동안의 진행방향, 고도, 속도, 피치 및 뱅크 값 중 적어도 일부를 참조로 적합도를 출력할 수 있다. 즉, 조종사는 정해진 비행 프로파일대로 비행을 수행하여야 하는데, SD 현상을 겪을 경우, 조종사는 정해진 비행 프로파일대로 비행을 하기가 어려울 것이다. 전술한 진행방향, 고도, 속도, 피치 및 뱅크 값은, 조종사가 비행 프로파일대로 비행을 하고 있는지 여부를 판단할 수 있는 표지 값들로서, 컴퓨팅 시스템(100)은 가상항공기의 진행방향, 고도, 속도, 피치 및 뱅크 값이 기준치로부터 얼마나 벗어나는지를 계산하여, 기준치로부터 덜 벗어날수록 더 높은 점수를 주는 방식으로 적합도를 계산할 수 있다. 이와 같은 프로세스는 저장평가부(150)에 의해 수행될 수 있다. 이에 대한 일 예시를 살피기 위해 도 4를 참조하도록 한다.Here, the fitness of the corresponding maneuver may be output by the computing system 100 with reference to at least some of the traveling direction, altitude, speed, pitch, and bank values while the pilot performs the corresponding control. That is, the pilot must perform the flight according to the predetermined flight profile. If the SD phenomenon is experienced, it will be difficult for the pilot to fly according to the predetermined flight profile. The aforementioned traveling direction, altitude, speed, pitch and bank values are indicator values that can determine whether the pilot is flying according to the flight profile, and the computing system 100 provides the virtual aircraft traveling direction, altitude, speed, By calculating how far the pitch and bank values deviate from the baseline, the fit can be calculated in such a way that the less deviations from the baseline, the higher the score. Such a process may be performed by the storage evaluation unit 150 . Referring to FIG. 4 to look at an example of this.

도 4는 본 발명의 일 실시예에 따른 조종사의 SD를 시뮬레이션하는 방법을 수행하면서 도출되는 조종사에 대한 평가 자료를 나타낸 도면이다.4 is a diagram illustrating evaluation data for a pilot derived while performing a method for simulating the SD of a pilot according to an embodiment of the present invention.

도 4를 참조하면, 컴퓨팅 시스템(100)과 연동하여 동작하는 소정 디스플레이의 좌측 상단에 조종사의 정보가 시현되고, 우측에 여러 부가 기능을 선택할 수 있는 탭이 시현됨을 알 수 있다. 또한, 중단 좌측의 비행 프로파일은 조종사가 어떤 비행 프로파일에 따라 비행했는지를 나타내는데, 붉은색이 정해진 경로를 나타내고, 파란색이 실제로 조종사가 비행한 경로를 나타낸다. 중단 우측은 전술한 적합도를 다섯 개의 카테고리로 보여 준 것이고, 좌측 하단은 비행 영상, 우측 하단은 조종사의 생체 신호를 보여 주는 탭일 수 있다.Referring to FIG. 4 , it can be seen that pilot information is displayed on the upper left side of a predetermined display operating in conjunction with the computing system 100 , and tabs for selecting various additional functions are displayed on the right side. In addition, the flight profile on the left side of the middle section indicates which flight profile the pilot flew according to. Red indicates a determined route, and blue indicates a route that the pilot actually flew. The right middle part shows the above-mentioned fitness in five categories, the lower left part is a flight image, and the lower right part may be a tab showing the pilot's bio-signals.

이와 같은 방식을 통해, 조종사가 SD 현상에 익숙해지고, 결과적으로 이에 더 잘 대응할 수 있게 된다. 위 설명에서는 예시적으로 False Horizon, Black Hole Illusion, Pitch-Up Illusion 및 Leans 등의 SD 유형에 대하여만 자세히 설명하였는데, 이외의 SD 유형, 즉 Coriolis, Graveyard Spin, Graveyard Spiral, Somatogravic, Oculogyral, Elevation, G-excess, Hovering Illusion, Blending of Earth and Sky, Confusing Lights, Vection, Autokinesis, Blown Out, Moth, Glare At High Altitudes, Flicker, NVG Illusion, Head-Down Display Illusion, HUD Illusion, HMD Illusion, FLIR & Targeting Pod Illusion, Malfunction, Giant-hand Illusion, Loss of Situation Awareness 및 Chocking Illusion에 대해서도 조종사에게 유사한 경험을 제공할 수 있을 것이다. In this way, the pilot becomes accustomed to SD phenomena and, consequently, is better able to respond to them. In the above description, only SD types such as False Horizon, Black Hole Illusion, Pitch-Up Illusion, and Leans have been described in detail by way of example. G-excess, Hovering Illusion, Blending of Earth and Sky, Confusing Lights, Vection, Autokinesis, Blown Out, Moth, Glare At High Altitudes, Flicker, NVG Illusion, Head-Down Display Illusion, HUD Illusion, HMD Illusion, FLIR & Targeting Similar experiences could be offered to pilots for Pod Illusion, Malfunction, Giant-hand Illusion, Loss of Situation Awareness and Chocking Illusion.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of this embodiment, and a person skilled in the art to which this embodiment belongs may make various modifications and variations without departing from the essential characteristics of the present embodiment. Accordingly, the present embodiments are intended to explain rather than limit the technical spirit of the present embodiment, and the scope of the technical spirit of the present embodiment is not limited by these embodiments. The protection scope of this embodiment should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present embodiment.

Claims (26)

비행 중 조종사가 경험할 수 있는 현상인 SD를 시뮬레이션하는 방법에 있어서,
(a) 헤드 마운트 디스플레이(HMD) 및 모션 플랫폼과 연동하여 동작하는 컴퓨팅 시스템이, 제1 내지 제N1베이스시나리오 - N1은 1 이상의 정수임 - 중 하나인 제K1베이스시나리오 - K1은 1 이상 N1 이하의 정수임 - 가 선택되면, (i) 상기 제K1베이스시나리오 중 적어도 일부인 제K1_1베이스시나리오를 참조하여 상기 HMD를 통해 상기 조종사에게 적어도 하나의 제K1시각피드백을 제공하는 프로세스 및 (ii) 상기 제K1베이스시나리오 중 적어도 일부인 제K1_2베이스시나리오를 참조하여 상기 모션플랫폼을 통해 상기 조종사에게 제K1전정감각피드백을 제공하는 프로세스를 수행함으로써 상기 조종사에게 일반비행경험을 제공하는 단계; 및
(b) 상기 컴퓨팅 시스템이, 제1 내지 제N2액션시나리오 - N2는 1 이상의 정수임 - 중 하나인 제K2액션시나리오 - K2는 1 이상 N2 이하의 정수임 - 가 선택되면, (i) 상기 제K2액션시나리오 중 적어도 일부인 제K2_1액션시나리오를 참조하여 상기 HMD를 통해 상기 조종사에게 적어도 하나의 제K2시각피드백을 제공하는 프로세스 및 (ii) 상기 제K2액션시나리오 중 적어도 일부인 제K2_2액션시나리오를 참조하여 상기 모션플랫폼을 통해 상기 조종사에게 제K2전정감각피드백을 제공하는 프로세스 중 적어도 일부를 수행함으로써 상기 조종사에게 SD비행경험을 제공하는 단계;
를 포함하는 것을 특징으로 하는 방법.In the method of simulating SD, which is a phenomenon that a pilot may experience during flight,
(a) A computing system operating in conjunction with a head mounted display (HMD) and a motion platform is one of the first to N1th base scenarios - N1 is an integer greater than or equal to 1 - K1th base scenario - K1 is 1 or more and N1 or less is an integer - if is selected, (i) a process of providing at least one K1 th visual feedback to the pilot through the HMD with reference to the K1_1 th base scenario that is at least a part of the K1 th base scenario; and (ii) the K1 th base providing a general flight experience to the pilot by performing a process of providing a K1 vestibular sensory feedback to the pilot through the motion platform with reference to the K1_2 base scenario that is at least a part of the scenario; and
(b) when the computing system selects one of the first to N2th action scenarios - N2 is an integer greater than or equal to 1 - K2 th action scenario - K2 is an integer greater than or equal to 1 N2 - is selected, (i) the K2 action A process of providing at least one K2 th visual feedback to the pilot through the HMD with reference to the K2_1 th action scenario that is at least a part of the scenario, and (ii) the motion with reference to the K2_2 th action scenario that is at least a part of the K2 th action scenario providing an SD flight experience to the pilot by performing at least a portion of a process of providing a K2 vestibular sensory feedback to the pilot via a platform;
A method comprising a. 제1항에 있어서,상기 (a) 단계는,상기 컴퓨팅 시스템이, (i) 상기 제K1_1베이스시나리오를 참조하여, 상기 조종사가 가상으로 탑승한 가상항공기를 중심으로 한 가상훈련공간 중 적어도 일부를 상기 조종사의 시선위치에 따라 상기 HMD에 디스플레이하되, 상기 조종사가 제어입력장치를 통해 입력한 제어신호에 따른 상기 가상항공기의 동작 및 상기 시선위치의 변경에 따라 상기 HMD에 디스플레이할 상기 가상훈련공간의 적어도 일부를 선택함으로써 상기 제K1시각피드백을 제공하는 프로세스 및 (ii) 상기 제K1_2베이스시나리오를 참조하여, 상기 가상항공기의 초기 자세에 대응하는 모션을 상기 모션플랫폼에 적용하되, 상기 조종사가 상기 제어입력장치를 통해 입력한 상기 제어신호에 따라 상기 가상항공기가 동작함에 따른 상기 자세의 변경에 따라 상기 모션플랫폼에 적용할 모션의 적어도 일부를 선택함으로써 상기 제K1전정감각피드백을 제공하는 프로세스를 수행하는 것을 특징으로 하는 방법.According to claim 1, In step (a), the computing system, (i) with reference to the K1_1th base scenario, at least a part of the virtual training space centered on the virtual aircraft the pilot is virtually boarded The virtual training space to be displayed on the HMD according to the gaze position of the pilot, and to be displayed on the HMD according to the change of the gaze position and the operation of the virtual aircraft according to the control signal input by the pilot through the control input device. A process of providing the K1th visual feedback by selecting at least a part and (ii) applying a motion corresponding to the initial posture of the virtual aircraft to the motion platform with reference to the K1_2th base scenario, wherein the pilot controls the control Performing a process of providing the K1th vestibular sensory feedback by selecting at least a part of a motion to be applied to the motion platform according to a change in the posture as the virtual aircraft operates according to the control signal input through an input device A method characterized in that. 제1항에 있어서,
상기 (b) 단계는,
상기 컴퓨팅 시스템이, 상기 제K2액션시나리오가 시각SD 카테고리에 포함될 경우, 상기 제K2_1액션시나리오에 따라 설정된, 상기 조종사가 가상으로 탑승한 가상항공기를 중심으로 한 조정가상훈련공간 중 적어도 일부를 상기 HMD에 디스플레이하는 것을 특징으로 하는 방법.The method of claim 1,
The step (b) is,
The computing system, when the K2th action scenario is included in the visual SD category, sets at least a part of the virtual aircraft for the pilot, which is set according to the K2_1st action scenario, to the virtual aircraft on which the pilot is virtually boarded by the HMD. A method characterized in that the display on. 제3항에 있어서,
상기 (b) 단계는,
상기 컴퓨팅 시스템이, 상기 제K2액션시나리오가 시각SD 카테고리에 포함된 False Horizon에 대응할 경우, 상기 제K2_1액션시나리오에 따라, 상기 조종사가 가상으로 탑승한 가상항공기의 Head-Up Display(HUD) 정보 중 적어도 일부를 시현하지 않은 상태에서 상기 가상항공기의 전방에 지면과의 각도가 제1임계치인 구름층을 시현한 상기 조정가상훈련공간 중 적어도 일부를 상기 HMD에 디스플레이함으로써 상기 제K2시각피드백을 상기 조종사에게 제공하는 것을 특징으로 하는 방법.4. The method of claim 3,
The step (b) is,
When the computing system corresponds to the False Horizon included in the visual SD category, the K2 action scenario, according to the K2_1 action scenario, the head-up display (HUD) information of the virtual aircraft on which the pilot is virtually boarded. By displaying on the HMD at least a part of the virtual training space for adjustment in which a cloud layer having an angle with the ground and a first threshold in front of the virtual aircraft is not displayed on the HMD, the K2th visual feedback is provided to the pilot A method characterized in that it is provided to 제3항에 있어서,상기 (b) 단계는,상기 컴퓨팅 시스템이, 상기 제K2액션시나리오가 시각SD 카테고리에 포함된 Black Hole Illusion에 대응할 경우, 상기 제K2_1액션시나리오에 따라, (i) 상기 조종사가 가상으로 탑승한 가상항공기의 주변 환경을 야간 상태로 설정하고, 상기 가상항공기의 전방에 활주로를 시현하되, 상기 활주로의 폭을 제1_1임계치를 참조로 설정하고, 활주로등의 밝기를 제1_2임계치를 참조로 설정한 상기 조정가상훈련공간 중 적어도 일부를 상기 HMD에 디스플레이함으로써 상기 제K2시각피드백을 상기 조종사에게 제공하는 것을 특징으로 하는 방법.According to claim 3, The step (b), When the computing system corresponds to the Black Hole Illusion included in the visual SD category, the K2 action scenario, according to the K2_1 action scenario, (i) the pilot Set the surrounding environment of the virtual aircraft on which he is virtually boarded as a night state, display the runway in front of the virtual aircraft, set the width of the runway as a reference to the first_1 threshold, and set the brightness of the runway light to the first_2 threshold A method, characterized in that for providing the K2 th visual feedback to the pilot by displaying at least a part of the virtual adjustment training space set as a reference on the HMD. 제1항에 있어서,
상기 컴퓨팅 시스템이, 상기 제K2액션시나리오가 전정감각SD 카테고리에 포함될 경우, 상기 제K2_2액션시나리오에 따라 설정된, 상기 조종사가 가상으로 탑승한 가상항공기의 조정모션을, 상기 조종사가 제어입력장치를 통해 입력한 제어신호에 따른 모션과 함께 상기 모션플랫폼에 적용하는 것을 특징으로 하는 방법.According to claim 1,
When the K2 action scenario is included in the vestibular sensory SD category, the computing system controls the virtual aircraft on which the pilot is virtually boarded, which is set according to the K2_2 action scenario, through the control input device. Method characterized in that it is applied to the motion platform together with the motion according to the input control signal. 제1항에 있어서,
상기 컴퓨팅 시스템이, (i) 상기 제K2액션시나리오가 복합SD 카테고리에 포함될 경우, 상기 제K2_1액션시나리오에 따라 설정된, 상기 조종사가 가상으로 탑승한 가상항공기를 중심으로 한 조정가상훈련공간 중 적어도 일부를 상기 HMD에 디스플레이하는 프로세스 및 (ii) 상기 제K2_2액션시나리오에 따라 설정된, 상기 조종사가 가상으로 탑승한 가상항공기의 조정모션을 상기 조종사가 제어입력장치를 통해 입력한 제어신호에 따른 모션과 함께 상기 모션플랫폼에 적용하는 프로세스를 수행하는 것을 특징으로 하는 방법.According to claim 1,
The computing system, (i) When the K2th action scenario is included in the composite SD category, at least a portion of the virtual pilot training space set based on the K2_1st action scenario and centered on the virtual aircraft on which the pilot is virtually boarded. and (ii) the control motion of the virtual aircraft on which the pilot boarded virtually, set according to the K2_2 action scenario, along with the motion according to the control signal input by the pilot through the control input device. Method characterized in that performing the process of applying to the motion platform. 제7항에 있어서,
상기 (b) 단계는,
상기 컴퓨팅 시스템이, 상기 제K2액션시나리오가 복합SD 카테고리에 포함된 Pitch-Up Illusion에 대응할 경우, 상기 제K2_1액션시나리오에 따라 상기 조종사가 가상으로 탑승한 가상항공기의 주변에 가상구름층을 시현하여 HMD(200) 상에서 상기 조종사의 시야를 차폐하고, 상기 제K2_2액션시나리오에 따라 상기 모션플랫폼에 제2_1임계치의 피칭 모션 및 제2_2임계치의 서지 모션을 가하여 상기 SD비행경험을 상기 조종사에게 제공하는 것을 특징으로 하는 방법.8. The method of claim 7,
The step (b) is,
When the computing system corresponds to the Pitch-Up Illusion included in the composite SD category in the K2 action scenario, the computing system displays a virtual cloud layer around the virtual aircraft on which the pilot is virtually boarded according to the K2_1 action scenario. To provide the SD flight experience to the pilot by blocking the pilot's view on the HMD 200, and applying a pitching motion of a second_1 threshold and a surge motion of a second_2 threshold to the motion platform according to the K2_2 action scenario How to characterize. 제7항에 있어서,
상기 (b) 단계는,
상기 컴퓨팅 시스템이, 상기 제K2액션시나리오가 복합SD 카테고리에 포함된 Leans에 대응할 경우, 상기 제K2_1액션시나리오에 따라 상기 조종사가 가상으로 탑승한 가상항공기의 주변에 가상구름층을 시현하여 상기 조종사의 시야를 차폐하고, 상기 제K2_2액션시나리오에 따라 상기 모션플랫폼에 상기 조종사의 제어신호에 대응하는 제3임계치로 롤링 모션을 가하여 상기 SD비행경험을 상기 조종사에게 제공하는 것을 특징으로 하는 방법.8. The method of claim 7,
The step (b) is,
When the computing system corresponds to the Leans included in the composite SD category in the K2 action scenario, the computing system displays a virtual cloud layer around the virtual aircraft on which the pilot is virtually boarded according to the K2_1 action scenario, so that the pilot's A method characterized in that the SD flight experience is provided to the pilot by blocking the view and applying a rolling motion to the motion platform with a third threshold corresponding to the pilot's control signal according to the K2_2 action scenario. 제1항에 있어서,
(c) 상기 컴퓨팅 시스템이, 상기 조종사가 상기 SD비행경험에 대한 대응조종을 수행한 결과의 적합도를 출력하는 단계
를 더 포함하는 것을 특징으로 하는 방법.According to claim 1,
(c) outputting, by the computing system, a degree of fitness of a result of the pilot performing a corresponding operation for the SD flight experience
Method, characterized in that it further comprises. 제10항에 있어서,
상기 (c) 단계는,
상기 컴퓨팅 시스템이, 상기 조종사가 상기 대응조종을 수행하는 동안의 상기 가상항공기의 진행방향, 고도, 속도, 피치 및 뱅크 값 중 적어도 일부를 참조로 상기 적합도를 출력하는 것을 특징으로 하는 방법.11. The method of claim 10,
Step (c) is,
The method of claim 1, wherein the computing system outputs the fitness with reference to at least a portion of the heading, altitude, speed, pitch, and bank values of the virtual aircraft while the pilot performs the corresponding operation. 제1항에 있어서,
상기 컴퓨팅 시스템이, 적어도 여섯 개의 축을 가지며, 적어도 피칭, 롤링, 요잉, 스웨이, 서지 및 히브 동작을 수행할 수 있는 상기 모션플랫폼을 통해 상기 제K1 및 제K2전정감각피드백을 제공하는 것을 특징으로 하는 방법.According to claim 1,
The computing system has at least six axes and provides the K1 th and K2 th vestibular sensory feedbacks through the motion platform capable of performing at least pitching, rolling, yaw, sway, surge and heave motions. Way. 제1항에 있어서,
상기 컴퓨팅 시스템이, 소정 편집부를 통해 상기 제K1베이스시나리오를 입력받고, 소정 제어부를 통해 상기 제K2액션시나리오를 입력받는 것을 특징으로 하는 방법.According to claim 1,
The method, characterized in that the computing system receives the K1 th base scenario input through a predetermined editing unit and receives the K2 th action scenario through a predetermined control unit. 비행 중 조종사가 경험할 수 있는 현상인 SD를 시뮬레이션하는 방법을 수행하는 컴퓨팅 시스템에 있어서,
상기 컴퓨팅 시스템은 헤드 마운트 디스플레이(HMD) 및 모션 플랫폼과 연동하여 동작하고,
인스트럭션들을 저장하는 하나 이상의 메모리; 및
상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되, 상기 프로세서는, (I) 제1 내지 제N1베이스시나리오 - N1은 1 이상의 정수임 - 중 하나인 제K1베이스시나리오 - K1은 1 이상 N1 이하의 정수임 - 가 선택되면, (i) 상기 제K1베이스시나리오 중 적어도 일부인 제K1_1베이스시나리오를 참조하여 상기 HMD를 통해 상기 조종사에게 적어도 하나의 제K1시각피드백을 제공하는 프로세스 및 (ii) 상기 제K1베이스시나리오 중 적어도 일부인 제K1_2베이스시나리오를 참조하여 상기 모션플랫폼을 통해 상기 조종사에게 제K1전정감각피드백을 제공하는 프로세스를 수행함으로써 상기 조종사에게 일반비행경험을 제공하는 프로세스; 및 (II) 제1 내지 제N2액션시나리오 - N2는 1 이상의 정수임 - 중 하나인 제K2액션시나리오 - K2는 1 이상 N2 이하의 정수임 - 가 선택되면, (i) 상기 제K2액션시나리오 중 적어도 일부인 제K2_1액션시나리오를 참조하여 상기 HMD를 통해 상기 조종사에게 적어도 하나의 제K2시각피드백을 제공하는 프로세스 및 (ii) 상기 제K2액션시나리오 중 적어도 일부인 제K2_2액션시나리오를 참조하여 상기 모션플랫폼을 통해 상기 조종사에게 제K2전정감각피드백을 제공하는 프로세스 중 적어도 일부를 수행함으로써 상기 조종사에게 SD비행경험을 제공하는 프로세스
를 수행하는 것을 특징으로 하는 시스템.A computing system for performing a method of simulating SD, which is a phenomenon that a pilot may experience during flight, comprising:
The computing system operates in conjunction with a head mounted display (HMD) and a motion platform,
one or more memories storing instructions; and
one or more processors configured to execute the instructions, wherein the processor includes: (I) a K1 th base scenario that is one of 1st to N1 th base scenarios - N1 is an integer greater than or equal to 1 - K1 is an integer greater than or equal to 1 and less than or equal to N1 - is selected, (i) a process of providing at least one K1 th visual feedback to the pilot through the HMD with reference to the K1_1 th base scenario that is at least a part of the K1 th base scenario, and (ii) the K1 th base scenario A process of providing a general flight experience to the pilot by performing a process of providing a K1 vestibular sensory feedback to the pilot through the motion platform with reference to at least a part of the K1_2 base scenario; and (II) 1st to N2th action scenarios - N2 is an integer of 1 or more A process of providing at least one K2 th visual feedback to the pilot through the HMD with reference to the K2_1 action scenario, and (ii) the K2_2 action scenario that is at least a part of the K2 action scenario through the motion platform with reference to the K2_2 action scenario The process of providing an SD flight experience to the pilot by performing at least a portion of the process of providing the K2 vestibular sensory feedback to the pilot.
A system characterized in that it performs. 제14항에 있어서,상기 (I) 프로세스는,상기 프로세서가, (i) 상기 제K1_1베이스시나리오를 참조하여, 상기 조종사가 가상으로 탑승한 가상항공기를 중심으로 한 가상훈련공간 중 적어도 일부를 상기 조종사의 시선위치에 따라 상기 HMD에 디스플레이하되, 상기 조종사가 제어입력장치를 통해 입력한 제어신호에 따른 상기 가상항공기의 동작 및 상기 시선위치의 변경에 따라 상기 HMD에 디스플레이할 상기 가상훈련공간의 적어도 일부를 선택함으로써 상기 제K1시각피드백을 제공하는 프로세스 및 (ii) 상기 제K1_2베이스시나리오를 참조하여, 상기 가상항공기의 초기 자세에 대응하는 모션을 상기 모션플랫폼에 적용하되, 상기 조종사가 상기 제어입력장치를 통해 입력한 상기 제어신호에 따라 상기 가상항공기가 동작함에 따른 상기 자세의 변경에 따라 상기 모션플랫폼에 적용할 모션의 적어도 일부를 선택함으로써 상기 제K1전정감각피드백을 제공하는 프로세스를 수행하는 것을 특징으로 하는 시스템.15 . The method of claim 14 , wherein the (I) process comprises: (i) at least a portion of a virtual training space centered on a virtual aircraft in which the pilot is virtually boarded with reference to the K1_1th base scenario. At least of the virtual training space to be displayed on the HMD according to the gaze position of the pilot, and to be displayed on the HMD according to the operation of the virtual aircraft according to the control signal input by the pilot through the control input device and the change of the gaze position A process of providing the K1th visual feedback by selecting a part and (ii) applying a motion corresponding to the initial posture of the virtual aircraft to the motion platform with reference to the K1_2th base scenario, wherein the pilot enters the control input Performing the process of providing the K1th vestibular sensory feedback by selecting at least a part of the motion to be applied to the motion platform according to the change of the posture as the virtual aircraft operates according to the control signal input through the device Characterized system. 제14항에 있어서,
상기 (II) 프로세스는,
상기 프로세서가, 상기 제K2액션시나리오가 시각SD 카테고리에 포함될 경우, 상기 제K2_1액션시나리오에 따라 설정된, 상기 조종사가 가상으로 탑승한 가상항공기를 중심으로 한 조정가상훈련공간 중 적어도 일부를 상기 HMD에 디스플레이하는 것을 특징으로 하는 시스템.15. The method of claim 14,
The (II) process is
When the K2 action scenario is included in the visual SD category, the processor transfers at least a portion of the virtual flight training space set based on the K2_1 action scenario, centered on the virtual aircraft on which the pilot virtually boarded, to the HMD. A system characterized in that the display. 제16항에 있어서,
상기 (II) 프로세스는,
상기 프로세서가, 상기 제K2액션시나리오가 시각SD 카테고리에 포함된 False Horizon에 대응할 경우, 상기 제K2_1액션시나리오에 따라, 상기 조종사가 가상으로 탑승한 가상항공기의 Head-Up Display(HUD) 정보 중 적어도 일부를 시현하지 않은 상태에서 상기 가상항공기의 전방에 지면과의 각도가 제1임계치인 구름층을 시현한 상기 조정가상훈련공간 중 적어도 일부를 상기 HMD에 디스플레이함으로써 상기 제K2시각피드백을 상기 조종사에게 제공하는 것을 특징으로 하는 시스템.17. The method of claim 16,
The (II) process is
When the processor corresponds to False Horizon included in the visual SD category, the K2th action scenario, according to the K2_1st action scenario, at least one of Head-Up Display (HUD) information of the virtual aircraft in which the pilot is virtually boarded The K2th visual feedback is provided to the pilot by displaying on the HMD at least a part of the adjustment virtual training space in which the cloud layer with the angle with the ground is the first threshold in front of the virtual aircraft in a state in which the part is not displayed is displayed on the HMD. A system characterized in that it provides. 제16항에 있어서,상기 (II) 프로세스는,상기 프로세서가, 상기 제K2액션시나리오가 시각SD 카테고리에 포함된 Black Hole Illusion에 대응할 경우, 상기 제K2_1액션시나리오에 따라, (i) 상기 조종사가 가상으로 탑승한 가상항공기의 주변 환경을 야간 상태로 설정하고, 상기 가상항공기의 전방에 활주로를 시현하되, 상기 활주로의 폭을 제1_1임계치를 참조로 설정하고, 활주로등의 밝기를 제1_2임계치를 참조로 설정한 상기 조정가상훈련공간 중 적어도 일부를 상기 HMD에 디스플레이함으로써 상기 제K2시각피드백을 상기 조종사에게 제공하는 것을 특징으로 하는 시스템.According to claim 16, The (II) process, When the processor corresponds to the Black Hole Illusion included in the visual SD category, the K2 action scenario, according to the K2_1 action scenario, (i) the pilot The surrounding environment of the virtual aircraft boarded virtually is set to a night state, the runway is displayed in front of the virtual aircraft, the width of the runway is set as a reference value 1_1, and the brightness of the runway light is set to the first_2 threshold value. System, characterized in that for providing the K2 th visual feedback to the pilot by displaying at least a part of the virtual coordination training space set as a reference on the HMD. 제14항에 있어서,
상기 프로세서가, 상기 제K2액션시나리오가 전정감각SD 카테고리에 포함될 경우, 상기 제K2_2액션시나리오에 따라 설정된, 상기 조종사가 가상으로 탑승한 가상항공기의 조정모션을, 상기 조종사가 제어입력장치를 통해 입력한 제어신호에 따른 모션과 함께 상기 모션플랫폼에 적용하는 것을 특징으로 하는 시스템.15. The method of claim 14,
When the K2 action scenario is included in the vestibular sensory SD category, the processor inputs the control motion of the virtual aircraft on which the pilot is virtually boarded, which is set according to the K2_2 action scenario, through the control input device. A system characterized in that it is applied to the motion platform together with the motion according to one control signal. 제14항에 있어서,
상기 프로세서가, (i) 상기 제K2액션시나리오가 복합SD 카테고리에 포함될 경우, 상기 제K2_1액션시나리오에 따라 설정된, 상기 조종사가 가상으로 탑승한 가상항공기를 중심으로 한 조정가상훈련공간 중 적어도 일부를 상기 HMD에 디스플레이하는 프로세스 및 (ii) 상기 제K2_2액션시나리오에 따라 설정된, 상기 조종사가 가상으로 탑승한 가상항공기의 조정모션을 상기 조종사가 제어입력장치를 통해 입력한 제어신호에 따른 모션과 함께 상기 모션플랫폼에 적용하는 프로세스를 수행하는 것을 특징으로 하는 시스템.15. The method of claim 14,
The processor, (i) when the K2 action scenario is included in the composite SD category, at least a part of the virtual flight training space set based on the K2_1 action scenario, centered on the virtual aircraft on which the pilot is virtually boarded The process of displaying on the HMD and (ii) the control motion of the virtual aircraft on which the pilot is virtually boarded, set according to the K2_2 action scenario, together with the motion according to the control signal input by the pilot through the control input device. A system characterized by performing a process applied to the motion platform. 제20항에 있어서,
상기 (II) 프로세스는,
상기 프로세서가, 상기 제K2액션시나리오가 복합SD 카테고리에 포함된 Pitch-Up Illusion에 대응할 경우, 상기 제K2_1액션시나리오에 따라 상기 조종사가 가상으로 탑승한 가상항공기의 주변에 가상구름층을 시현하여 HMD(200) 상에서 상기 조종사의 시야를 차폐하고, 상기 제K2_2액션시나리오에 따라 상기 모션플랫폼에 제2_1임계치의 피칭 모션 및 제2_2임계치의 서지 모션을 가하여 상기 SD비행경험을 상기 조종사에게 제공하는 것을 특징으로 하는 시스템.21. The method of claim 20,
The (II) process is
When the processor corresponds to the Pitch-Up Illusion included in the composite SD category in the K2 action scenario, the processor displays a virtual cloud layer around the virtual aircraft on which the pilot is virtually boarded according to the K2_1 action scenario, and the HMD Blocking the pilot's field of vision on (200), and applying a pitching motion of a second_1 threshold and a surge motion of the second_2 threshold to the motion platform according to the K2_2 action scenario to provide the SD flight experience to the pilot system to do. 제20항에 있어서,
상기 (II) 프로세스는,
상기 프로세서가, 상기 제K2액션시나리오가 복합SD 카테고리에 포함된 Leans에 대응할 경우, 상기 제K2_1액션시나리오에 따라 상기 조종사가 가상으로 탑승한 가상항공기의 주변에 가상구름층을 시현하여 상기 조종사의 시야를 차폐하고, 상기 제K2_2액션시나리오에 따라 상기 모션플랫폼에 상기 조종사의 제어신호에 대응하는 제3임계치로 롤링 모션을 가하여 상기 SD비행경험을 상기 조종사에게 제공하는 것을 특징으로 하는 시스템.21. The method of claim 20,
The (II) process is
When the processor corresponds to the Leans included in the composite SD category in the K2 action scenario, the processor displays a virtual cloud layer around the virtual aircraft on which the pilot is virtually boarded according to the K2_1 action scenario, and the pilot's view system, characterized in that the SD flight experience is provided to the pilot by applying a rolling motion to the motion platform with a third threshold corresponding to the pilot's control signal according to the K2_2 action scenario. 제14항에 있어서,
상기 프로세서가,
(III) 상기 조종사가 상기 SD비행경험에 대한 대응조종을 수행한 결과의 적합도를 출력하는 프로세스
를 더 수행하는 것을 특징으로 하는 시스템.15. The method of claim 14,
the processor,
(III) The process of outputting the fitness of the result of the pilot performing the corresponding operation for the SD flight experience
A system characterized in that it further performs. 제23항에 있어서,상기 (III) 프로세스는,상기 프로세서가, 상기 조종사가 상기 대응조종을 수행하는 동안의 가상항공기의 진행방향, 고도, 속도, 피치 및 뱅크 값 중 적어도 일부를 참조로 상기 적합도를 출력하는 것을 특징으로 하는 시스템.The degree of fitness according to claim 23, wherein the process (III) refers to at least some of the heading, altitude, speed, pitch, and bank values of the virtual aircraft while the pilot performs the corresponding control. A system characterized in that it outputs 제14항에 있어서,
상기 프로세서가, 적어도 여섯 개의 축을 가지며, 적어도 피칭, 롤링, 요잉, 스웨이, 서지 및 히브 동작을 수행할 수 있는 상기 모션플랫폼을 통해 상기 제K1 및 제K2전정감각피드백을 제공하는 것을 특징으로 하는 시스템.15. The method of claim 14,
The system according to claim 1, wherein the processor provides the K1 th and K2 th vestibular sensory feedback through the motion platform having at least six axes and capable of performing at least pitching, rolling, yaw, sway, surge and heave motions. . 제14항에 있어서,
상기 프로세서가, 소정 편집부를 통해 상기 제K1베이스시나리오를 입력받고, 소정 제어부를 통해 상기 제K2액션시나리오를 입력받는 것을 특징으로 하는 시스템.15. The method of claim 14,
The system, wherein the processor receives the K1 th base scenario through a predetermined editing unit and receives the K2 th action scenario through a predetermined control unit.
KR1020210039495A 2021-03-26 2021-03-26 Method and device for simulating spatial disorientation of pilot during flight KR102350576B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210039495A KR102350576B1 (en) 2021-03-26 2021-03-26 Method and device for simulating spatial disorientation of pilot during flight

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210039495A KR102350576B1 (en) 2021-03-26 2021-03-26 Method and device for simulating spatial disorientation of pilot during flight

Publications (1)

Publication Number Publication Date
KR102350576B1 true KR102350576B1 (en) 2022-01-17

Family

ID=80051454

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210039495A KR102350576B1 (en) 2021-03-26 2021-03-26 Method and device for simulating spatial disorientation of pilot during flight

Country Status (1)

Country Link
KR (1) KR102350576B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60165685A (en) * 1984-02-08 1985-08-28 科学技術庁航空宇宙技術研究所長 Aerial simulated landing equipment
JP2005338401A (en) * 2004-05-26 2005-12-08 Environmental Tectonics Corp Space disorientation training apparatus and flight simulator
KR20070011660A (en) * 2005-07-21 2007-01-25 경봉기술(주) A flight simulator and visual display system for blackbox and the method thereof
KR20200058050A (en) * 2018-11-19 2020-05-27 전자부품연구원 HMD-based Spatial Disorientation Experience Simulator using X-Plane
US20210074173A1 (en) * 2018-02-02 2021-03-11 Access Virtual, LLC Virtual reality based pilot training system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60165685A (en) * 1984-02-08 1985-08-28 科学技術庁航空宇宙技術研究所長 Aerial simulated landing equipment
JP2005338401A (en) * 2004-05-26 2005-12-08 Environmental Tectonics Corp Space disorientation training apparatus and flight simulator
KR20070011660A (en) * 2005-07-21 2007-01-25 경봉기술(주) A flight simulator and visual display system for blackbox and the method thereof
US20210074173A1 (en) * 2018-02-02 2021-03-11 Access Virtual, LLC Virtual reality based pilot training system
KR20200058050A (en) * 2018-11-19 2020-05-27 전자부품연구원 HMD-based Spatial Disorientation Experience Simulator using X-Plane

Similar Documents

Publication Publication Date Title
US11587456B2 (en) VR emulator
EP3830810B1 (en) In-flight training simulation displaying a virtual environment
Allerton The impact of flight simulation in aerospace
US8506300B2 (en) Flight simulator
Sinacori The determination of some requirements for a helicopter flight research simulation facility
Haber Flight simulation
US9581819B1 (en) See-through augmented reality system
US20200143699A1 (en) Universal Virtual Simulator
EP3543986A1 (en) Vr emulator
Viertler et al. Requirements and design challenges in rotorcraft flight simulations for research applications
US20230334788A1 (en) Mixed-Reality Visor For In-Situ Vehicular Operations Training
JP2016505904A (en) Minimizing tumbling strength by Coriolis force in a centrifugal force-based flight simulator
EP3547287A1 (en) Vr emulator using galvanic vestibular stimulation devices
KR102350576B1 (en) Method and device for simulating spatial disorientation of pilot during flight
JP7035222B2 (en) Flight simulation
Le Ngoc et al. Evaluating usability of amplified head rotations on base-to-final turn for flight simulation training devices
KR102370320B1 (en) A flight training system for providing spatial disorientation training
JP2001100628A (en) Flight training device
EP4099306A1 (en) Adjusted-projection panel for addressing vergence-conflict accommodation in a dome-type simulator
KR102425452B1 (en) A method for training coriolis illusion based on spatial disorientation training system
KR102370321B1 (en) A method for training visual lean illusion based on spatial disorientation training system
Gaublomme et al. Using Virtual Simulation to Enhance Rotorcraft Shipboard Flight Testing
EP3518215A1 (en) Flight simulation
KR102186862B1 (en) Flight simulation method
US20220319349A1 (en) Adjusted-projection panel for addressing vergence-accommodation conflict in a dome-type simulator

Legal Events

Date Code Title Description
GRNT Written decision to grant