WO2021261594A1 - 航空機のvr訓練システム、航空機のvr訓練方法および航空機のvr訓練プログラム - Google Patents
航空機のvr訓練システム、航空機のvr訓練方法および航空機のvr訓練プログラム Download PDFInfo
- Publication number
- WO2021261594A1 WO2021261594A1 PCT/JP2021/024238 JP2021024238W WO2021261594A1 WO 2021261594 A1 WO2021261594 A1 WO 2021261594A1 JP 2021024238 W JP2021024238 W JP 2021024238W WO 2021261594 A1 WO2021261594 A1 WO 2021261594A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- training
- avatar
- aircraft
- simulation
- terminal
- Prior art date
Links
- 238000012549 training Methods 0.000 title claims abstract description 333
- 238000000034 method Methods 0.000 title claims description 48
- 238000004088 simulation Methods 0.000 claims abstract description 256
- 230000033001 locomotion Effects 0.000 claims description 71
- 230000006870 function Effects 0.000 claims description 29
- 238000012545 processing Methods 0.000 description 43
- 238000004891 communication Methods 0.000 description 41
- 230000036544 posture Effects 0.000 description 32
- 238000004364 calculation method Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 10
- 239000013256 coordination polymer Substances 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 239000003550 marker Substances 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 238000004804 winding Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
- G09B9/085—Special purpose teaching, e.g. alighting on water, aerial photography
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
- G09B9/30—Simulation of view from aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
- G09B9/46—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer the aircraft being a helicopter
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
- G09B5/12—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
- G09B9/30—Simulation of view from aircraft
- G09B9/307—Simulation of view from aircraft by helmet-mounted projector or display
Definitions
- This application relates to an aircraft VR training system, an aircraft VR training method, and an aircraft VR training program.
- Patent Document 1 discloses a system for experiencing fire extinguishing using a VR space. In this system, a simulation image corresponding to a series of operations required for extinguishing a fire is generated.
- the technique disclosed in the present application was made in view of such circumstances, and the purpose is to perform highly efficient training in aircraft training using VR space.
- the aircraft VR training system disclosed here is equipped with a terminal and an operating device.
- the terminal includes the trainer's avatar, which is linked to the trainer's movement in the real space, and generates a simulation image for performing simulated training in the VR space.
- the operating device is for the trainee to perform an abbreviated operation. Then, when the operation for omitting the operation device is performed in the series of operations of the simulation training, the terminal omits the predetermined operation of the avatar and operates from the state before the operation of the predetermined operation.
- the simulation image is updated to a later state.
- the VR training method for an aircraft disclosed herein includes the trainer's avatar linked to the trainer's movement in real space, and performs simulated training using a simulation image in VR space generated by the terminal. Is. Then, in the VR training method of the aircraft, when the trainer performs the omission operation and the omission operation is performed in a series of operations of the simulation training, the terminal omits the predetermined operation of the avatar.
- the simulation image is updated from the state before the operation of the predetermined operation to the state after the operation.
- the VR training program of the aircraft disclosed here realizes the function of generating a simulation image for performing simulated training in VR space, including the trainer's avatar, which is linked to the movement of the trainer in real space. It is a program to make it. Then, the VR training program of the aircraft has a function of receiving the operation signal of the omitted operation by the trainee, and in a series of operations of the simulated training, when the operation signal of the omitted operation is received, the predetermined operation of the avatar is performed. By omitting it, the computer is provided with a function of updating the simulation image from the state before the operation of the predetermined operation to the state after the operation.
- FIG. 1 is a diagram showing a configuration of a VR training system.
- FIG. 2 is a schematic diagram showing a state of a real space where training is performed using a VR training system.
- FIG. 3 is a block diagram of training terminals for pilots and co-pilots and their peripheral devices.
- FIG. 4 is a block diagram of a training terminal for hoistmen and descendants and their peripheral devices.
- FIG. 5 is a block diagram of a setting terminal and its peripheral devices.
- FIG. 6 is a flowchart showing the flow of various trainings in the simulated training.
- FIG. 7 is an example of a schematic simulation image.
- FIG. 8 is a flowchart showing a descent training process in a descent training terminal.
- FIG. 9 is an example of a schematic simulation image.
- FIG. 1 is a diagram showing a configuration of a VR training system.
- FIG. 2 is a schematic diagram showing a state of a real space where training is performed using a VR training system.
- FIG. 3
- FIG. 10 is an example of a schematic simulation image.
- FIG. 11 is an example of a schematic simulation image.
- FIG. 12 is an example of a schematic simulation image.
- FIG. 13 is an example of a schematic simulation image.
- FIG. 14 is a flowchart showing a rescue training process in the training terminal of the descendant.
- FIG. 15 is an example of a schematic simulation image.
- FIG. 16 is an example of a schematic simulation image.
- FIG. 17 is a flowchart showing a pull-up training process in the training terminal for the descendant.
- FIG. 18 is an example of a schematic simulation image.
- FIG. 1 is a diagram showing a configuration of a VR training system 100.
- FIG. 2 is a schematic diagram showing a state of a real space where training is performed using the VR training system 100. Note that FIG. 2 omits the illustration of each terminal.
- the VR training system 100 is a system for performing simulated training (hereinafter referred to as "VR training") in a common VR space.
- This VR training system 100 is used for VR training in an aircraft (in this example, a helicopter).
- the VR training system 100 generates a simulation image for performing simulation training in a common VR space, provides a plurality of training terminals 1 to provide the simulation image to the corresponding trainer 9, and a setting necessary for generating the simulation image. It is equipped with a setting terminal 6 having information.
- the simulation image is an image that forms a VR space, and is a so-called VR image.
- the simulation image includes the avatar of the trainee 9, the rescuer 88, the surface of the earth and the aircraft body 80.
- the avatar of the trainer 9 is linked to the movement of the trainer 9 in the real space.
- Each of the plurality of training terminals 1 is connected so as to be able to communicate with each other. Further, the plurality of training terminals 1 are connected to the setting terminal 6 so as to be able to communicate with each other. Each of these terminals is connected by wire via a LAN or the like. In addition, each terminal may be a wireless connection.
- the simulated training is a collaborative training by a plurality of trainers 9 corresponding to each of the plurality of training terminals 1.
- the plurality of trainers 9 use the VR training system 100 to perform cooperative training in a rescue helicopter in a common VR space.
- the helicopter includes an airframe 80, a boom 81 that cantilevers from the upper part of the airframe 80 to the right or left side, a hoist cable 82 suspended from the boom 81, and a rescue band 83 connected to the hoist cable 82. It has a winding machine 84 for winding the hoist cable 82, and a pendant type operation unit for operating the winding machine 84.
- the trainee 9 includes, for example, a pilot 91, a co-pilot 92, a hoistman 93, and a descent member 94.
- trainer 9 Collaborative training is training conducted by a plurality of trainers 9 in collaboration with each other.
- the above-mentioned aircraft 80, rescue band 83, rescue-requiring person 88, etc. are objects in the simulation image, and the reference numerals attached to these objects are FIGS. 7 to 18 (excluding FIGS. 8, 14, and 17) described later. It is a code described in, and the same applies hereinafter.
- the training terminal 1 is a terminal for the trainee 9.
- One training terminal 1 is assigned to each trainer 9.
- Each training terminal 1 generates a simulation image for the corresponding trainer 9.
- This simulation image contains the trainer 9's avatar, which is linked to the trainer's movement in real space.
- each training terminal 1 generates a simulation image of the corresponding trainer 9 from the first-person viewpoint. That is, each training terminal 1 generates simulation images of different viewpoints in a common VR space.
- four training terminals 1 are provided for four trainers 9.
- a VR display device 2 is connected to each training terminal 1.
- the VR display device 2 displays a simulation image generated by the training terminal 1.
- the VR display device 2 is attached to the head of the trainee 9.
- the VR display device 2 is an HMD (Head Mounted Display).
- the HMD may be a goggle-shaped VR-dedicated device having a display, or may be configured by attaching a smartphone or a portable game device to a holder that can be worn on the head.
- the VR display device 2 displays a three-dimensional image including an image for the right eye and an image for the left eye.
- the VR display device 2 may have a headphone 28 and a microphone 29.
- the trainee 9 interacts with other trainees 9 via the headphones 28 and the microphone 29. Further, the trainee 9 can hear the voice required for the simulation through the headphones 28.
- the VR training system 100 further includes an operating device used by the trainee 9 in simulated training.
- the trainee 9 operates the operating device according to the training content.
- the operation device is appropriately changed according to the trainee 9 and the operation content.
- the operating device of the pilot 91 and the co-pilot 92 is the pilot device 3A.
- the operating device of the hoist man 93 and the descent member 94 is the controller 3B.
- the VR training system 100 includes a control device 3A for the pilot 91 and a control device 3A for the co-pilot 92.
- the VR training system 100 comprises two controllers 3B for the Hoistman 93 and two controllers 3B for the descent 94.
- the control device 3A is operated by the trainer 9 who operates the aircraft among the plurality of trainers 9, that is, the pilot 91 or the co-pilot 92.
- the control device 3A receives the operation input of the pilot 91 or the co-pilot 92.
- the control device 3A has a control stick 31, a pedal 32, and a collective pitch lever 33 (hereinafter, referred to as “CP lever 33”).
- CP lever 33 a collective pitch lever 33
- Each of the control stick 31, the pedal 32, and the CP lever 33 is provided with a sensor for detecting the amount of operation. Each sensor outputs an operation signal according to the operation amount.
- the control device 3A further has a seat 34.
- control device 3A By operating the control device 3A by the pilot 91 or the co-pilot 92, the position and attitude of the aircraft, specifically the helicopter, in the simulation image are changed.
- the control device 3A is connected to the airframe calculation terminal 5. That is, the operation signals from the control stick 31, the pedal 32, and the CP lever 33 are input to the machine calculation terminal 5.
- the aircraft calculation terminal 5 calculates the amount of movement and the amount of change in attitude of the aircraft 80 based on the operation input via the control device 3A.
- the machine calculation terminal 5 is a terminal provided in the VR training system 100 in order to reduce the calculation load of the training terminal 1.
- the machine calculation terminal 5 is communicably connected to each of the plurality of training terminals 1 and setting terminals 6.
- the machine calculation terminal 5, the plurality of training terminals 1, and the setting terminal 6 are connected by wire via a LAN or the like.
- the machine calculation terminal 5 and the plurality of training terminals 1 and setting terminals 6 may be wirelessly connected.
- the aircraft calculation terminal 5 transmits the movement amount information regarding the movement amount and the change amount of the attitude of the aircraft 80 to at least one of the training terminal 1 of the pilot 91 and the training terminal 1 of the co-pilot 92.
- the training terminal 1 that has received the movement amount information calculates the position and posture of the aircraft 80 in the VR space based on the movement amount information. That is, the aircraft calculation terminal 5 and the training terminal 1 that receives the movement amount information form the aircraft terminal 50 that calculates the position and attitude of the aircraft 80 in the VR space based on the operation input via the control device 3A. ..
- Controller 3B is a portable device.
- the trainee 9 ie, Hoistman 93 and descent 94
- the controller 3B has a motion tracker function. That is, the controller 3B is sensed by the tracking system 4 described later.
- the controller 3B has an operation switch 35 (see FIG. 4) that receives an input operation (including an omission operation) of the trainee 9.
- the operation switch 35 outputs an operation signal corresponding to the input operation from the trainee 9.
- the controller 3B is connected to the training terminal 1 of the hoist man 93 or the descent member 94. That is, the operation signal from the operation switch 35 is input to the training terminal 1 of the corresponding hoist man 93 or the descendant 94.
- the setting terminal 6 accepts input of setting information from an administrator (for example, an instructor) who has the authority to perform initial settings.
- the setting terminal 6 sets the input setting information as an initial setting.
- the setting terminal 6 transmits the setting information to the training terminal 1 and also transmits the notification of the start of the simulation training to the training terminal 1. Further, the setting terminal 6 displays a simulation image in the training. However, in the present embodiment, the setting terminal 6 does not generate a simulation image.
- the setting terminal 6 acquires and displays the simulation image generated by the training terminal 1. This allows a person other than the trainer 9 (eg, an instructor) to monitor the training simulation.
- the setting terminal 6 may acquire information from each training terminal 1 and generate a simulation image of each trainer 9.
- the VR training system 100 has a tracking system 4.
- the tracking system 4 detects the movements of a plurality of trainers 9 in the real space.
- the trunking system 4 senses the VR display device 2 and the controller 3B.
- the tracking system 4 is an outside-in type tracking system in this example.
- the tracking system 4 has a plurality of tracking sensors 41 and a communication device 42 (see FIGS. 3 and 4) that receives signals from the tracking sensors 41.
- the tracking sensor 41 is, for example, a camera.
- the tracking sensor 41 is arranged so that the real space in which the trainee 9 exists can be photographed in stereo.
- Each of the VR display device 2 and the controller 3B is provided with a light emitting type tracking marker.
- the plurality of tracking sensors 41 take stereo images of the tracking markers of the VR display device 2 and the controller 3B, respectively.
- the tracking system 4 is common to a plurality of trainees 9. That is, the VR display device 2 and the controller 3B of the plurality of trainees 9 are sensed, that is, tracked by the common tracking system 4.
- the image data captured by the tracking sensor 41 is transmitted to the communication device 42.
- the communication device 42 transmits the received image data to the training terminal 1.
- the communication device 42 is, for example, a cable modem, a soft modem, or a wireless modem.
- Each of the training terminals 1 obtains the position and posture of the corresponding trainer 9 in the VR space by image processing the image data from the tracking system 4.
- each of the training terminals 1 of the Hoistman 93 and the descendant 94 responds by image processing the image data from the tracking system 4 based on the tracking marker of the corresponding trainer 9 controller 3B. The position and posture of both hands in the VR space of the avatar of the trainee 9 are obtained.
- FIG. 3 is a block diagram of the training terminal 1 of the pilot 91 and the co-pilot 92 and their peripheral devices.
- the VR display device 2, the aircraft calculation terminal 5, and the tracking system 4 are connected to the training terminal 1 of the pilot 91 and the co-pilot 92.
- a control device 3A is connected to the machine calculation terminal 5.
- the training terminal 1 has an input unit 11, a communication unit 12, a storage unit 13, and a processing unit 14.
- the input unit 11 receives an input operation from the trainee 9.
- the input unit 11 outputs an input signal corresponding to the operation input to the processing unit 14.
- the input unit 11 is a touch panel operated by pressing a screen such as a keyboard, a mouse, or a liquid crystal display.
- the communication unit 12 is an interface for communicating with other terminals and the like.
- the communication unit 12 is formed of a cable modem, a soft modem, or a wireless modem.
- the communication unit 22, the communication unit 51, and the communication unit 63, which will be described later, are also configured in the same manner as the communication unit 12.
- the communication unit 12 realizes communication with other terminals such as another training terminal 1, an airframe calculation terminal 5, and a setting terminal 6.
- the storage unit 13 is a computer-readable storage medium that stores various programs and various data.
- the storage unit 13 is formed of a magnetic disk such as a hard disk, an optical disk such as a CD-ROM and a DVD, or a semiconductor memory.
- the storage unit 52 and the storage unit 64, which will be described later, are also configured in the same manner as the storage unit 13.
- the storage unit 13 stores the simulation program 131, the field definition data 132, the avatar definition data 133, the object definition data 134, the voice data 135, and the like.
- the simulation program 131 is a program for generating a simulation image for performing simulation training in a common VR space and realizing various functions of providing the simulation image to the corresponding trainee 9 in the computer, that is, the processing unit 14. Is.
- the simulation program 131 is read and executed by the processing unit 14.
- the field definition data 132 defines the field in which the training is performed.
- the field definition data 132 defines objects such as the size of the field, the terrain of the field, and obstacles in the field.
- the field definition data 132 is prepared for each type of field in which training is performed.
- the avatar definition data 133 defines one's own avatar (hereinafter referred to as "own avatar") and another trainer 9's avatar (hereinafter referred to as "other avatar”).
- the avatar definition data 133 is prepared for each type of avatar.
- the avatar definition data 133 of the own avatar includes not only the CG data of the own avatar (for example, polygon data) but also the initial position information (information regarding the initial position and the initial posture in the VR space).
- the position information (including the initial position information) of the avatar is the position coordinates (x, y, z) of the three orthogonal axes in the VR space as the information on the position, and the rotation angle ( ⁇ ) around each axis as the information on the posture. , ⁇ , ⁇ ) and.
- the position information of an object such as the helicopter body 80, which will be described later.
- the object definition data 134 defines various objects required for training.
- the object definition data 134 is prepared for each type of object.
- object definition data 134 such as a helicopter body 80, a rescue band 83, a hoist cable 82, a hoist 84, a boom 81, a pendant type operation unit, a rescuer 88, and the ground surface are prepared.
- the voice data 135 is data related to sound effects during simulation such as the flight sound of a helicopter.
- the processing unit 14 has various processors such as a CPU (Central Processing Unit), GPU (Graphics Processing Unit) and / or DSP (Digital Signal Processor), and various semiconductor memories such as VRAM, RAM and / or ROM. There is.
- the processing unit 25, the processing unit 53, and the processing unit 65, which will be described later, are also configured in the same manner as the processing unit 14.
- the processing unit 14 By reading and executing various programs stored in the storage unit 13, the processing unit 14 comprehensively controls each unit of the training terminal 1 and realizes various functions for providing simulation images. Specifically, the processing unit 14 has a communication control unit 141, a setting unit 142, a completion notification unit 143, a tracking control unit 144, a voice generation unit 145, and a simulation progress unit 146 as functional blocks.
- the communication control unit 141 executes communication processing with an external terminal or device via the communication unit 12.
- the communication control unit 141 executes data processing related to data communication.
- the setting unit 142 receives the setting information related to the generation of the simulation image from the setting terminal 6 and sets the setting information.
- the setting unit 142 sets various setting information as initial settings.
- the completion notification unit 143 sends a completion notification of the setting information setting to the setting terminal 6.
- the tracking control unit 144 calculates the position and posture of the corresponding avatar of the trainer 9 in the VR space based on the detection result of the tracking system 4.
- the tracking control unit 144 executes various arithmetic processes related to tracking based on the image data from the tracking sensor 41 input via the communication device 42. Specifically, the tracking control unit 144 tracks the tracking marker of the corresponding trainer 9's VR display device 2 by image processing the image data, and obtains the position and posture of the trainer 9 in the real space.
- the tracking control unit 144 obtains the position and posture of the self-avatar in the VR space based on a predetermined coordinate correspondence relationship with respect to the position and posture of the trainee 9 in the real space.
- position information Information regarding the position and posture of the own avatar in the VR space obtained by the tracking control unit 144 is referred to as position information.
- position and posture of avatar and “position of avatar” mean “position and posture in VR space” and “position in VR space”, respectively.
- the voice generation unit 145 reads the voice data 135 from the storage unit 13 and generates voice according to the progress of the simulation.
- the simulation progress unit 146 executes various arithmetic processes related to the progress of the simulation. For example, the simulation progress unit 146 generates a simulation image.
- the simulation progress unit 146 reads out the field definition data 132 and the object definition data 134 from the storage unit 13 based on the initial settings of the setting unit 142, and generates a simulation image in which the object image is combined with the field image.
- the simulation progress unit 146 reads the avatar definition data 133 corresponding to the avatar from the storage unit 13, synthesizes the avatar (for example, the limbs of the avatar) in the VR space based on the position information of the avatar, and simulates. Generate an image.
- the cockpit 91 and the co-pilot 92 may be maintained in a state of being seated in the cockpit and the co-pilot seat in the VR space. That is, in the simulation image, the positions of the own avatars of the pilot 91 and the co-pilot 92 in the aircraft 80 are fixed, and only the head of the own avatar may move (rotate and tilt). In that case, the simulation progress unit 146 of the training terminal 1 of the pilot 91 and the co-pilot 92 does not have to generate an image of the own avatar.
- the simulation progress unit 146 acquires and acquires the position information of the other avatar, which is the avatar of the trainer 9 corresponding to the other training terminal 1 among the plurality of training terminals 1, from the other training terminal 1. Another avatar is generated in the VR space based on the obtained position information. Specifically, the simulation progress unit 146 reads the avatar definition data 133 corresponding to the other avatar from the storage unit 13, and sets the other avatar in the VR space based on the position information of the other avatar acquired from the other training terminal 1. Generate a simulation image by synthesizing.
- the simulation progress unit 146 receives a notification of the start of the simulation training from the setting terminal 6 and starts the simulation training. That is, the simulation progress unit 146 starts training in the simulation image.
- the simulation progress unit 146 controls the progress of the simulation of the cooperative training during the simulation training.
- the simulation progress unit 146 is based on the movement amount information from the machine calculation terminal 5 described later (information on the movement amount of the machine and the change amount of the attitude according to the operation input of the control device 3A) of the machine 80. Calculate the position and posture in the VR space.
- the simulation progress unit 146 converts the amount of movement and the amount of change in the attitude of the aircraft from the aircraft calculation terminal 5 into the amount of movement and the amount of change in the attitude of the aircraft 80 in the coordinate system of the VR space, and the position of the aircraft 80 in the VR space. And calculate the posture.
- the helicopter moves, that is, flies in the VR space in response to the operation input of the control device 3A.
- the calculation of the position and attitude of the aircraft 80 in this VR space is executed by the training terminal 1 of the pilot 91 and the co-pilot 92, whichever has the aircraft control function enabled. It is possible to switch which of the training terminals 1 of the pilot 91 and the co-pilot 92 is enabled for the training terminal 1. Normally, the maneuvering function of the training terminal 1 of the pilot 91 is effectively set. Depending on the training situation, the control function of the training terminal 1 of the co-pilot 92 may be effectively set.
- the simulation progress unit 146 operates its own avatar in the VR space based on the position information from the tracking control unit 144, and in the VR space based on the position information of the other avatar received from the other training terminal 1. Operate other avatars.
- the cockpits of the pilot 91 and the co-pilot 92 are fixed to the cockpit and the co-pilot seat in the VR space, only the head of the cockpit operates (rotates and tilts).
- the own avatars of the pilot 91 and the co-pilot 92 may operate not only in the head but also in the VR space based on the position information from the tracking control unit 144 like the other avatars. ..
- the simulation progress unit 146 changes the position or angle of the frame of the simulation image to be displayed according to the change in the orientation of the head of the pilot 91 or the co-pilot 92 based on the position information from the tracking control unit 144. ..
- the simulation progress unit 146 outputs the generated simulation image to the VR display device 2 and the setting terminal 6. At this time, the simulation progress unit 146 outputs the voice generated by the voice generation unit 145 to the headphones 28 and the setting terminal 6 as needed.
- the VR display device 2 has an input unit 21, a communication unit 22, a storage unit 23, a display unit 24, and a processing unit 25.
- the input unit 21 receives the operation input from the trainee 9.
- the input unit 21 outputs an input signal corresponding to the operation input to the processing unit 25.
- the input unit 21 is an operation button, a slide switch, or the like.
- the communication unit 22 is an interface that realizes communication with the training terminal 1.
- the storage unit 23 is a computer-readable storage medium that stores various programs and various data.
- the storage unit 23 is formed of a semiconductor memory or the like.
- the storage unit 23 stores programs and various data for realizing various functions for displaying the simulation image on the display unit 24 on the computer, that is, the processing unit 25.
- the display unit 24 is, for example, a liquid crystal display or an organic EL display.
- the display unit 24 can display an image for the right eye and an image for the left eye.
- the processing unit 25 comprehensively controls each unit of the VR display device 2 by reading and executing various programs stored in the storage unit 23, and also provides various functions for displaying the simulation image on the display unit 24. Realize.
- the machine calculation terminal 5 has a communication unit 51, a storage unit 52, and a processing unit 53.
- An operation signal output from the control device 3A is input to the aircraft calculation terminal 5.
- operation signals corresponding to the pressing of the switch and the operation amount are input from each of the control stick 31, the pedal 32, and the CP lever 33.
- the aircraft calculation terminal 5 calculates the amount of movement of the aircraft and the amount of change in posture according to the operation amount of the control device 3A, and outputs the movement amount information.
- the communication unit 51 is an interface for communicating with the training terminal 1 and the like.
- the storage unit 52 stores the arithmetic program 521 and the like.
- the calculation program 521 is a program for realizing various functions for calculating the position and attitude of the aircraft body 80 in the VR space in the computer, that is, the processing unit 53.
- the arithmetic program 521 is read and executed by the processing unit 53.
- the processing unit 53 comprehensively controls each unit of the machine calculation terminal 5 by reading and executing various programs stored in the storage unit 52, and calculates the amount of movement and the amount of change in posture of the machine 80. Realize various functions of. Specifically, the processing unit 53 has a communication control unit 531 and an airframe calculation unit 532 as functional blocks.
- the communication control unit 531 executes communication processing with the training terminal 1 and the like via the communication unit 51.
- the communication control unit 531 executes data processing related to data communication.
- the aircraft calculation unit 532 calculates the amount of movement and the amount of change in attitude of the aircraft 80 based on the operation signal from the control device 3A. Specifically, the machine body calculation unit 532 uses the control stick 31, the pedal 32, and the CP lever 33 to press the switches of the control stick 31, the pedal 32, and the CP lever 33 based on the operation signals from the control stick 31, the pedal 32, and the CP lever 33. The amount of movement and the amount of change in posture are calculated. The machine calculation unit 532 transmits the calculated movement amount information regarding the movement amount and the change amount of the posture of the machine 80 to the training terminal 1.
- FIG. 4 is a block diagram of the training terminal 1 of the hoist man 93 and the descent member 94 and their peripheral devices.
- a VR display device 2 a controller 3B, and a tracking system 4 are connected to the training terminal 1 of the hoist man 93 and the descent member 94.
- the controller 3B has an operation switch 35.
- the operation signal of the operation switch 35 is input to the training terminal 1.
- the basic configuration of the training terminal 1 of the hoist man 93 and the descent member 94 is the same as that of the training terminal 1 of the pilot 91 and the co-pilot 92. However, due to the difference in training content between the hoist man 93 and the descendant 94 and the pilot 91 and the co-pilot 92, the processing content of the training terminal 1 of the hoist man 93 and the descendant 94 is the pilot 91 and the co-pilot 92. It is a little different from the training terminal 1 of the co-pilot 92.
- the tracking control unit 144 calculates the position and posture of the corresponding avatar of the trainer 9 in the VR space based on the detection result of the tracking system 4.
- the tracking control unit 144 executes various arithmetic processes related to tracking based on the image data from the tracking sensor 41 input via the communication device 42.
- the tracking control unit 144 tracks the tracking marker of the corresponding trainer 9's VR display device 2 by image processing the image data, and obtains the position and posture of the trainer 9 in the real space.
- the tracking control unit 144 obtains the position and posture of the self-avatar based on a predetermined coordinate correspondence relationship with respect to the position and posture of the trainee 9 in the real space.
- the tracking control unit 144 tracks the tracking marker of the controller 3B by image processing the image data, and obtains the positions and postures of both hands of the trainee 9 in the real space.
- the tracking control unit 144 obtains the positions and postures of both hands of the own avatar based on a predetermined coordinate correspondence relationship with respect to the positions and postures of both hands of the trainee 9 in the real space. That is, the tracking control unit 144 of the training terminal 1 of the hoist man 93 and the descent member 94 obtains the position and posture of the own avatar and the positions and postures of both hands of the own avatar as position information.
- the simulation progress unit 146 generates a simulation image and controls the progress of the simulation of the cooperative training.
- the hoist man 93 and the co-pilot 94 can move inside and outside the aircraft. Therefore, the simulation progress unit 146 freely moves its own avatar in the VR space. Further, the simulation progress unit 146 displays the position or angle of the frame of the simulation image to be displayed according to the change in the position or orientation of the head of the hoist man 93 or the descendant 94 based on the position information from the tracking control unit 144. To change.
- the simulation progress unit 146 causes the own avatar to execute the process according to the operation signal in the simulation image in response to the operation signal from the operation switch 35 of the controller 3B. For example, the simulation progress unit 146 causes the own avatar to open and close the door of the helicopter.
- the simulation progress unit 146 corresponding to the hoist man 93 causes the own avatar to operate the winding machine 84 with the pendant type operation unit. That is, the simulation progress unit 146 corresponding to the hoist man 93 raises and lowers the rescue binding band 83 in the simulation image. Further, the simulation progress unit 146 corresponding to the hoist man 93 is the position of the connection portion between the avatar and the hoist cable 82 when the rescue binding band 83 is raised and lowered, that is, when the avatar of the descendant 94 is connected to the hoist cable 82. The information is transmitted to the simulation progress unit 146 corresponding to at least the descent member 94.
- each of the simulation progress unit 146 corresponding to the hoist man 93 and the descent member 94 has a predetermined operation of its own avatar when the trainer 9 performs an abbreviated operation to the controller 3B in a series of operations of the simulated training. Is omitted, and the simulation image is updated from the pre-operation state to the post-operation state of the predetermined operation. That is, the simulation progress unit 146 updates the state of the own avatar and / or the state of the object from the state before the operation of the predetermined operation to the state after the operation.
- the input operation to the controller 3B by the trainee 9 includes an abbreviated operation.
- the omission operation is an input instruction for omitting a predetermined operation in a series of operations of the simulation training.
- the trainee 9 can perform an omission operation by operating the operation switch 35 of the controller 3B.
- the controller 3B transmits an operation signal corresponding to the omitted operation to the training terminal 1.
- the simulation progress unit 146 performs a process of omitting a predetermined operation of the avatar.
- the series of operations of the simulated training is divided into the first type of operation that cannot be omitted and the second type of operation that can be omitted.
- the predetermined operation of the avatar described above is a second type operation.
- the first type of motion is set as an motion (training) in which a high training effect can be obtained even in training using the VR space.
- the second type of motion is set as an motion (training) in which the training effect can hardly be obtained in the training using the VR space (particularly, the cooperative training).
- FIG. 5 is a block diagram of the setting terminal 6 and its peripheral devices.
- the setting terminal 6 has a display unit 61, an input unit 62, a communication unit 63, a storage unit 64, and a processing unit 65.
- the display unit 61 is, for example, a liquid crystal display, an organic EL display, or a projector and a screen.
- the input unit 62 accepts an input operation of an administrator (for example, an instructor) who has the authority to perform initial settings.
- the input unit 62 is, for example, a keyboard, a mouse, or a touch panel.
- the communication unit 63 is an interface that realizes communication with the training terminal 1 and the like.
- the storage unit 64 stores the start program 641 and the like.
- the start program 641 provides a computer, that is, a processing unit 65, with various functions for starting simulation training on a plurality of training terminals 1 that provide simulation images for performing simulation training in a common VR space to corresponding trainers. It is a program to realize it.
- the start program 641 is read and executed by the processing unit 65.
- the processing unit 65 By reading and executing various programs stored in the storage unit 64, the processing unit 65 comprehensively controls each unit of the setting terminal 6 and realizes various functions for performing initial settings related to simulation. Specifically, the processing unit 65 has a communication control unit 651, a setting unit 652, a start notification unit 653, and a monitoring unit 654 as functional blocks.
- the communication control unit 651 executes communication processing with an external terminal or device via the communication unit 63.
- the communication control unit 651 executes data processing related to data communication.
- the setting unit 652 accepts input from the user of various setting information related to the initial setting required for generating the simulation image, and sets the input setting information as the initial setting.
- the setting unit 652 causes the display unit 61 to display the setting input screen stored in the storage unit 64.
- the setting unit 652 stores the setting information input to the setting input screen via the input unit 62 in the storage unit 64 as an initial setting. Further, the setting unit 652 transmits the setting information to the plurality of training terminals 1.
- the start notification unit 653 When the start notification unit 653 receives the completion notification of the setting of the setting information from all of the plurality of training terminals 1, it sends a start notification to start the simulated training to the plurality of training terminals 1. By notifying all the training terminals 1 of the start from the start notification unit 653, the training is started in each training terminal 1.
- the monitoring unit 654 receives a simulation image from each training terminal 1. That is, the monitoring unit 654 receives the simulation image of the first-person viewpoint corresponding to each trainer 9.
- the monitoring unit 654 causes the display unit 61 to display a simulation image of the first-person viewpoint of any one trainer 9. Alternatively, the monitoring unit 654 causes the display unit 61 to display the simulation images of the first-person viewpoints of all the trainees 9 separately.
- the monitoring unit 654 may display the simulation image of any one of the first-person viewpoints on the display unit 61 according to the selection operation via the input unit 62. ..
- This simulated training is a collaborative training by four trainers 9 (pilot 91, co-pilot 92, hoistman 93 and descent 94), and it is necessary to fly the helicopter to the point where the rescuer 88 exists. It is a training to rescue the rescuer 88.
- FIG. 6 is a flowchart showing the flow of various trainings in the simulated training.
- the simulated training is started when each training terminal 1 receives a start notification from the setting terminal 6.
- flight training is first performed (step S1).
- This flight training is a training to fly a helicopter from the departure point to the point (arrival point) where the rescuer is present.
- the pilot 91 flies the helicopter in the simulation image by operating the control device 3A.
- the co-pilot 92 confirms safety during flight while observing the simulation image, and assists maneuvering by the maneuvering device 3A.
- Other Hoistman 93 and others also confirm safety during flight.
- the simulation progress unit 146 corresponding to the pilot 91 or the co-pilot 92 changes the movement amount and the posture of the aircraft 80 in the simulation image based on the calculation result of the aircraft calculation terminal 5. Further, the simulation progress unit 146 corresponding to each of the four trainees 9 makes the movements necessary for maneuvering and safety confirmation avatar in conjunction with each movement of the trainee 9 in the real space.
- the simulation progress unit 146 corresponding to the hoist man 93 or the descent member 94 generates a simulation image as shown in FIG. 7 as an example.
- This simulation image is an image showing a state in which the hoist man 93 or the descendant 94 is looking at the cockpit side in the aircraft 80, and is an image showing the avatar 91A of the cockpit 91 and the co-pilot 92 avatar sitting in the cockpit. 92A is displayed.
- the helicopter maneuvering operation and the safety confirmation operation are set as the first type operations that cannot be omitted.
- Hovering training is training that keeps the helicopter in place in the air.
- a maneuvering operation by the pilot 91 and a safety confirmation operation by the co-pilot 92 and the like are performed.
- the helicopter maneuvering motion and the safety confirmation motion in this hovering training are also set as the first class motion.
- the descent training is a training in which the hoist man 93 operates the hoist 84 to lower the descent member 94 from the airframe 80. That is, after the descent member 94 is connected to the hoist cable 82 suspended from the boom 81, the hoist man 93 operates the hoist 84 to lower the hoist cable 82, so that the descent member 94 descends.
- FIG. 8 is a flowchart showing a descent training process in a descent training terminal.
- the hoistman 93 or the descent member 94 operates the operation switch 35 of the controller 3B to cause the avatar to open and close the door of the helicopter in the simulation image. Further, the hoist man 93 operates the operation switch 35 of the controller 3B to hold the pendant type operation unit in the hand of the avatar in the simulation image.
- step Sa1 the rescue band 83, which is an object, is selected.
- the descendant 94 selects the rescue band 83 in the simulation image by operating the controller 3B.
- the pointer 70 is displayed in the simulation image by pressing the operation switch 35 halfway, and the pointer 70 is connected to the hoist cable 82 by moving the controller 3B. It is done by moving it to the position of the rescue band 83.
- the simulation progress unit 146 displays the pointer 70 in the simulation image by receiving the operation signal corresponding to the half-pressed state of the operation switch 35 from the controller 3B.
- the simulation image of FIG. 9 shows the rescue band 83 and the carabiner 86 connected to the hoist cable 82.
- the rescue band 83 binds the rescuer 88 to the rescuer 88 when the rescuer 88 is pulled up by the hoist cable 82.
- the carabiner 86 is connected to the binding band 87 (see FIG. 10) previously attached to the avatar 94A of the descent member 94. That is, the carabiner 86 is a connecting portion that connects the avatar 94A of the descent member 94 and the hoist cable 82. Further, since the rescue band 83 and the carabiner 86 are connected to each other at substantially the same position in the hoist cable 82, selecting the rescue band 83 in step Sa1 above is substantially the same as selecting the carabiner 86. Is the same.
- the simulation progress unit 146 determines whether or not the selected position is within the connectable range of the carabiner 86. Specifically, the simulation progress unit 146 determines whether or not the distance between the position selected by the controller 3B (the position of the pointer 70) and the position of the avatar 94A is within a predetermined value, so that the selected position is a carabiner. It is determined whether or not it is within the connectable range of 86.
- the simulation progress unit 146 determines, for example, that the selected position is within the connectable range, that is, when the avatar 94A moves to a position where the connectable range can be specified by the pointer 70 and the pointer 70 indicates the connectable range
- the simulation progress unit 146 determines. Change the color of the pointer 70.
- the descendant 94 can perform the operation of determining the selected position, which will be described later.
- the pointer 70 indicates the connectable range
- the color of the rescue band 83 and / or the carabiner 86 which are objects, may be changed instead of the pointer 70, and if the change in the simulation image can be visually recognized by selecting the color. good.
- step Sa1 If it is determined that the selected position is out of the connectable range, that is, if the distance between the selected position and the position of the avatar 94A exceeds a predetermined value, the process returns to step Sa1. That is, the descendant 94 keeps moving in the real space until the color of the pointer 70 in the simulation image changes, and keeps moving the avatar 94A. According to this, since the descendant 94 needs to move closer to the location of the rescue band 83 (carabiner 86) in the aircraft 80, the operation of selecting the rescue band 83 is the training operation in the aircraft 80. Useful as part.
- the descendant 94 determines the selected position (step Sa3). Specifically, the descendant 94 determines the position selected by the pointer 70 in the simulation image by operating the controller 3B.
- the determination operation by the controller 3B is performed by setting the operation switch 35 in the half-pressed state to the fully-pressed state.
- the series of operations in which the descent member 94 performs a selection operation of half-pressing the operation switch 35 to display the pointer 70 and a determination operation of fully pressing the operation switch 35 to determine the selection position are omitted as described above. Corresponds to the operation.
- the simulation progress unit 146 updates (switches) the simulation image from the state before the predetermined operation to the state after the operation.
- the predetermined operation referred to in step Sa4 is an operation in which the avatar 94A of the descending member 94 connects itself to the hoist cable 82. That is, in the simulation progress unit 146, from the simulation image (see FIG. 9) showing the state before the avatar 94A connects its own binding band 87 and the carabiner 86, the avatar 94A has its own binding band 87 and the carabiner 86. Is updated to a simulation image (see FIG. 10) showing the connected state.
- the simulation progress unit 146 updates the state of the avatar 94A from the state before being connected to the carabiner 86 to the state connected to the carabiner 86.
- FIG. 9 is a simulation image of the first-person viewpoint
- FIG. 10 is not the one of the first-person viewpoint, but shows the simulation image of the third-person viewpoint for convenience of explanation.
- the avatar 94A of the descent member 94 connected to the hoist cable 82 suspended from the boom 81 of the machine body 80, and the hoisting machine 84 for raising and lowering the rescue binding band 83 and the carabiner 86 are operated.
- the avatar 93A of the Hoistman 93 in the present state is displayed.
- the simulation progress unit 146 updates the state of the avatar 94A as described above when the selection position is determined, that is, when the operation signal corresponding to the operation of fully pressing the operation switch 35 is received from the controller 3B. do. Further, the simulation progress unit 146 replaces the position information of the rescue binding band 83 with the position information of the avatar 94A when the above-mentioned avatar 94A is updated. That is, the position information of the connecting portion (that is, the carabiner 86) between the avatar 94A and the hoist cable 82 is replaced with the position information of the avatar 94A. That is, the position of the rescue band 83 is recognized as the position of the avatar 94A.
- the position information of the rescue band 83 substantially corresponds to the position information of the carabiner 86. This also applies to the position information of the rescue band 83 referred to below.
- the hoist cable 82 connection operation of the avatar 94A which is a predetermined operation, is omitted, and the state of the avatar 94A is updated. That is, in the descent training, the operation of connecting the avatar 94A and the hoist cable 82 is set as the second type operation that can be omitted.
- the movement of the hoistman 93 and the avatars 93A and 94A of the descendants 94 in the aircraft 80 is set as the second category. That is, the hoist man 93 and the descendant 94 perform an abbreviated operation on the controller 3B, so that the movement operation of the own avatar such as the hoist man 93 in the aircraft 80 is omitted.
- the hoist man 93 or the like displays the pointer 70 in the simulation image by half-pressing the operation switch 35, and arranges the pointer 70 to move to any position (arbitrary position on the floor surface 85 in the machine body 80). ) To select (instruct) the moving position by moving the pointer 70.
- the hoist man 93 or the like When the color of the pointer 70 changes, the hoist man 93 or the like fully presses the operation switch 35 to determine the selected position (moving position). Then, the simulation progress unit 146 corresponding to the hoistman 93 or the like changes from the simulation image (see FIG. 11) showing the state before the avatar 93A or the like moves to the simulation image showing the state in which the avatar 93A or the like moves to the selected position. Update. That is, the state of the own avatar is updated from the state before moving to the state of moving. In the simulation image of FIG. 11, the avatar 91A of the pilot 91 and the co-pilot 92 avatar 92A sitting in the cockpit are displayed.
- the omission of the avatar movement operation in the aircraft 80 can also be carried out in step Sa2 described above. That is, the rescue binding band 83 may be selected by the pointer after moving the avatar 94A of the descent member 94 to, for example, the vicinity of the door in the aircraft 80 by the abbreviated operation by the controller 3B. In this way, in the aircraft 80, the trainer 9 can move the self-avatar by moving in the real space, and the trainee 9 can omit the movement operation of the self-avatar by performing an abbreviated operation with the controller 3B. You can also do it.
- step Sa5 the simulation progress unit 146 receives the position information (that is, movement information) of the rescue binding band 83 from the training terminal 1 of the hoist man 93. As a result, the simulation progress unit 146 moves (descends) the avatar 94A with the movement (descent) of the rescue binding band 83 in the simulation image. As a result, in the simulation image of the descendant 94, the avatar 94A descends together with the rescue band 83 (step Sa6).
- position information that is, movement information
- the avatar 94A (that is, another avatar) of the descent member 94 is connected to the hoist cable 82 with the update of the simulation image of the descent member 94 described above. It is updated with a simulation image showing the state of the hoist.
- the avatar 94A of the descent member 94 (that is, another avatar) is also updated with the update of the simulation image of the descent member 94 described above. ) Is updated to a simulation image showing the state of being connected to the hoist cable 82.
- the hoist man 93 By operating the controller 3B, the hoist man 93 operates the pendant type operation unit in the simulation image to lower the rescue binding band 83.
- the simulation progress unit 146 corresponding to the hoist man 93 generates a simulation image as shown in FIG. 12 as an example.
- This simulation image is an image showing a state in which the hoist man 93 is viewing the avatar 94A of the descendant 94 descending together with the rescue binding band 83 suspended by the hoist cable 82 from the inside of the aircraft 80.
- a simulation image as shown in FIG. 13 is generated as an example.
- the pilot 91 or the co-pilot 92 descends together with the avatar 93A of the hoist man 93 in which the rescue binding band 83 is lowered in the aircraft 80, and the rescue binding band 83 connected to the hoist cable 82. It is an image showing the state of looking at the avatar 94A of the descent member 94.
- the position of the avata 94A is fixed to the position of the rescue band 83, but the head and hands of the avata 94A can be moved. Therefore, by waving both hands in the real space, the descendant 94 can also make the avatar 94A waving both hands in the same manner, and can be trained to send a signal to the hoist man 93. That is, in the descent training, the operation of the descent member 94 descending by the hoist 84 and the operation of the hoist man 93 operating the hoist 84 to lower the descent member 94 are the first type of operations. It is set.
- step Sa7 the position of the ground surface is selected in the simulation image.
- the descendant 94 operates the controller 3B to select the position of the ground surface in the simulation image.
- the selection operation by the controller 3B is the same as the selection operation of the rescue binding band 83 described above. That is, by pressing the operation switch 35 halfway, the pointer 70 is displayed in the simulation image, and the controller 3B is moved to move the pointer 70 to the position on the ground surface.
- the simulation progress unit 146 determines whether or not the selected position is within the movable range of the avatar 94A. Specifically, the simulation progress unit 146 determines, for example, whether or not the position (position of the pointer 70) selected by the controller 3B is on the ground surface (first determination criterion), and if it is on the ground surface, the descendant 94. The selected position is within the movable range of the avatar 94A, assuming that can land.
- the first criterion may be whether or not it is a dangerous position such as a cliff, instead of whether or not it is on the surface of the earth.
- the simulation progress unit 146 determines whether or not the distance between the selected position (position of the pointer 70) and the position of the rescue binding band 83 is within a predetermined value (second determination criterion), and the distance is a predetermined value. If it is within the range, the selected position is within the movable range of the avatar 94A, assuming that the descendant 94 can land safely. In this example, when both of the above two determination criteria are satisfied, it is determined that the selected position is within the movable range of the avatar 94A. Depending on the training conditions, only one of the determination criteria may be used.
- step Sa8 If it is determined in step Sa8 that the selected position is out of the movable range, the process returns to step Sa7. That is, in order to satisfy the first determination criterion, the descendant 94 moves the pointer 70 by the controller 3B until the color of the pointer 70 in the simulation image changes. Further, in order to satisfy the second criterion, the descent member 94 sends a signal to the hoist man 93 by waving his hand to the avatar 94A, and the hoist man 93 rescues the descent member 94 according to the signal of the avatar 94A. The binding band 83 is lowered, and this operation is continued until the color of the pointer 70 in the simulation image changes.
- step Sa9 determines the selected position (step Sa9). Specifically, the descendant 94 determines the position selected by the pointer 70 in the simulation image by operating the controller 3B.
- the determination operation by the controller 3B is the same as the determination operation of the rescue binding band 83 position described above. That is, the determination operation is performed by fully pressing the operation switch 35 in the half-pressed state. Also in this case, the simulation progress unit 146 changes the color of the pointer 70 when it determines that the selected position is within the movable range.
- step Sa10 the simulation progress unit 146 updates (switches) the simulation image from the predetermined pre-operation state to the post-operation state, as in step Sa4.
- the predetermined operation referred to in step Sa10 is an operation in which the avatar 94A of the descendant 94 lands on the ground surface and detaches the carabiner 86 (hoist cable 82). That is, the simulation progress unit 146 updates the state of the avatar 94A from the state before landing on the ground surface to the state of landing on the ground surface and removing the carabiner 86.
- step S4 the rescue training
- the rescue training is a training in which the descendant 94 who has landed on the ground surface takes the rescuer 88 to the rescue band 83 and binds the rescuer 88 to the rescuer 88.
- FIG. 14 is a flowchart showing a rescue training process in the training terminal 1 of the descendant 94.
- This rescue training process is started from a state in which the avatar 94A of the descendant 94 lands on the ground surface and detaches the carabiner 86 (hoist cable 82) by the above-mentioned descent training process.
- step Sb1 the simulation progress unit 146 moves the avatar 94A toward the vicinity of the rescuer 88 in the VR space. That is, the descendant 94 operates in the real space so that the avatar approaches the person requiring rescue 88.
- the simulation progress unit 146 operates the avatar 94A in the VR space based on the tracking information of the descendant 94 in the tracking control unit 144.
- the rescuer 94 selects the rescue-requiring person 88 in the simulation image by operating the controller 3B (step Sb2).
- the selection operation by the controller 3B is performed, for example, by half-pressing the operation switch 35 and moving the controller 3B to move the "hand of the avatar 94A" to the position of the rescuer 88 as shown in FIG. Will be.
- the simulation progress unit 146 receives an operation signal corresponding to the half-pressed state of the operation switch 35 from the controller 3B, and requests that the descendant 94 determine whether or not the rescuer 84 is within the rescueable range of the rescuer 88. Judge that there is.
- the simulation progress unit 146 determines whether or not the selected position is within the rescueable range of the rescue-requiring person 88. Specifically, the simulation progress unit 146 determines whether or not the position selected by the controller 3B (the position of the hand of the avatar 94A) is within a predetermined range in the vicinity thereof including the position of the person requiring rescue 88. In the simulation progress unit 146, a predetermined range in the vicinity including the position of the rescue-requiring person 88 is set as a rescueable range of the rescue-requiring person 88.
- the simulation progress unit 146 activates the rescue-requiring person 88 (movable state) (step Sb4).
- the outline of the person requiring rescue 88 is colored and illuminated in the simulation image, for example, as shown in FIG.
- the descendant 94 determines the selected position (step Sb5). Specifically, the descendant 94 determines the position selected by the "hand of the avatar 94A" in the simulation image by operating the controller 3B. The determination operation by the controller 3B is performed, for example, by fully pressing the operation switch 35 in the half-pressed state. As described above, the series of operations in which the descendant 94 half-presses the operation switch 35 to display the hand of the avatar 94A and the operation switch 35 fully presses the operation switch 35 to determine the selection position are described above. Corresponds to the abbreviated operation.
- step Sb6 the simulation progress unit 146 updates (switches) the simulation image from the state before the predetermined operation to the state after the operation.
- the predetermined operation referred to in step Sb6 is an operation in which the avatar 94A of the descendant 94 moves the rescue-requiring person 88 to the place of the rescue-requiring band 83 and an operation of binding the rescue-requiring band 83 to the rescue-requiring person 88. .. That is, the simulation progress unit 146 updates the state of the rescue-requiring person 88 from the state before being moved by the avatar 94A of the descendant 94 to the state in which the rescue binding band 83 is bound. For example, the simulation progress unit 146 is updated with a simulation image as shown in FIG.
- This simulation image is an image showing a state in which the rescuer 94 is looking at the rescuer 88, who is bound by the rescue band 83 and suspended by the hoist cable 82, from the place before the rescuer 88 moves. be.
- the operation of the avatar 94A of the descendant 94 to move the rescuer 88 to the location of the rescue band 83 includes guidance, entrainment, and transportation.
- the simulation progress unit 146 receives an operation signal corresponding to the operation of fully pressing the operation switch 35 (omitted operation) from the controller 3B when the selection position is determined, rescue is required as described above. Update the status of person 88. Further, when the rescue-requiring person 88 is updated, the simulation progress unit 146 replaces the position information of the rescue binding band 83 with the position information of the rescue-requiring person 88. That is, the position of the rescue band 83 is recognized as the position of the person requiring rescue 88. In this way, in a series of motions of the simulated training, the predetermined motion of taking the rescuer 88 to the position of the rescue band 83 and binding the rescue band 83 to the rescuer 88 is omitted.
- the status of Rescuer 88 is updated. That is, in the rescue training, the operation of the avatar 94A to move the rescue-requiring person 88 to the place of the rescue-requiring band 83 and the operation of binding the rescue-requiring band 83 to the rescue-requiring person 88 are of the second type that can be omitted. It is set as an operation.
- step Sb7 the simulation progress unit 146 moves the avatar 94A toward the vicinity of the rescue binding band 83 in the simulation image. That is, the descendant 94 operates in the real space so that the avatar itself approaches the rescue band 83.
- the simulation progress unit 146 operates the avatar 94A in the VR space based on the tracking information of the descendant 94 in the tracking control unit 144.
- step Sb8 to Sb10 the rescue band 83 is selected and determined in the simulation image by operating the controller 3B.
- the respective processes of steps Sb8 to Sb10 in this rescue training process are the same as those of steps Sa1 to Sa3 in the above-mentioned descent training process.
- selecting the rescue band 83 is substantially the same as selecting the carabiner 86.
- step Sb11 the simulation progress unit 146 updates the state of the avatar 94A from the state before connecting the carabiner 86 to the state where the carabiner 86 is connected, as in step Sa4 in the descent training process. Then, the simulation progress unit 146 replaces the position information of the rescue binding band 83 with the position information of the avatar 94A when updating the simulation image. In this way, in the series of operations of the simulated training, the carabiner 86 connection operation of the avatar 94A, which is a predetermined operation, is omitted, and the state of the avatar 94A is updated.
- the operation of the avatar 94A connecting itself and the hoist cable 82 that is, the operation of the avatar 94A connecting its own binding band 87 and the carabiner 86 is set as a second type operation that can be omitted. Has been done.
- step S5 the rescue training process by the training terminal 1 of the descendant 94 is completed, and the process proceeds to the pull-up training (step S5).
- the pull-up training is a training in which the hoist man 93 pulls up the descendant 94 and the rescuer 88 into the aircraft 80 by the hoist 84.
- FIG. 17 is a flowchart showing a pull-up training process in the training terminal 1 of the descendant 94.
- This pull-up training process is started from a state in which the avatar 94A of the descendant 94 is connected to the carabiner 86 and the rescue-requiring person 88 is bound to the rescue band 83 by the rescue training process described above.
- step Sc1 the simulation progress unit 146 receives the position information of the rescue binding band 83 from the training terminal 1 of the hoist man 93. As a result, the simulation progress unit 146 moves (ascends) the avatar 94A and the rescue-requiring person 88 as the rescue binding band 83 moves (ascends). Therefore, in the simulation image of the descendant 94, the avatar 94A and the rescuer 88 rise together with the rescue band 83 (step Sc2).
- the descender 94 is also updated with the above-mentioned avatar 94A of the descendant 94 and the rescuer 88.
- the avatar 94A (that is, another avatar) is connected to the carabiner 86, and the rescuer 88 is updated with a simulation image showing the state in which the rescue band 83 is bound.
- the hoist man 93 operates the pendant type operation unit in the simulation image to raise the rescue binding band 83 (hoist cable 82).
- the position of the avata 94A is fixed to the position of the rescue band 83, but the head and hands of the avata 94A can be moved. ..
- the operation in which the descending member 94 is raised by the hoisting machine 84 and the operation in which the hoistman 93 operates the hoisting machine 84 to raise the lowering member 94 are set as the first type of operation. ing.
- step Sc3 the position in the machine body 80 is selected in the simulation image.
- the descendant 94 operates the controller 3B and uses the pointer 70 to position the position in the aircraft 80 in the simulation image, for example, as shown in FIG. select.
- the selection operation by the controller 3B is the same as the selection operation in step Sa1 of the descent training process.
- the simulation image of FIG. 18 shows the avatar 91A of the pilot 91 and the avatar 92A of the co-pilot 92 who are manipulating the aircraft 80, and the avatar 94A of the descendant 94 and the rescuer while operating the hoist 84.
- the avatar 93A of the Hoistman 93 which is trying to assist the 88 aircraft in the 80, is displayed.
- step Sc4 the simulation progress unit 146 determines whether or not the selected position is within the movable range of the avatar 94A. Specifically, the simulation progress unit 146 determines, for example, whether or not the distance between the position selected by the controller 3B (the position of the pointer 70) and the rescue binding band 83 is within a predetermined value. If the distance between the selected position (the position of the pointer 70) and the rescue band 83 is within a predetermined value, the descendant 94 can safely move into the aircraft 80, and the selected position is within the movable range. Is determined.
- step Sc5 When it is determined that the selected position is within the movable range, the descendant 94 determines the selected position (step Sc5).
- the descent member 94 determines the position selected by the pointer 70 in the simulation image by operating the controller 3B.
- the determination operation by the controller 3B is the same as the determination operation in step Sa3 of the descent training process.
- the simulation progress unit 146 changes the color of the pointer 70 when it determines that the selected position is within the movable range. If it is determined in step Sc4 that the selected position is out of the movable range, the process returns to step Sc3.
- the simulation progress unit 146 updates (switches) the simulation image from the state before the predetermined operation to the state after the operation.
- the predetermined operation referred to in step Sc6 is an operation in which the avatar 94A gets into the machine body 80. That is, the simulation progress unit 146 updates the state of the avatar 94A from the state before boarding the machine 80 (see FIG. 18) to the state of boarding the machine 80. For example, the state is updated so that the avatar 94A is displayed at a predetermined position in the machine body 80. In this way, in the series of operations of the simulated training, the operation of getting the avatar 94A into the machine body 80, which is a predetermined operation, is omitted, and the state of the avatar 94A is updated. That is, in the pulling training, the operation of getting the Avata 94A into the aircraft 80 is set as the second type operation that can be omitted.
- the training terminal 1 of the hoist man 93 may be used to get into the aircraft 80 of the rescue-requiring person 88.
- the simulation progress unit 146 referred to in this paragraph is that of the training terminal 1 of the Hoistman 93. Specifically, when the rescuer 88 rises to the vicinity of the aircraft 80 in the simulation image, the Hoistman 93 operates the controller 3B to point to, for example, the rescue binding band 83 of the rescuer 88 in the simulation image. Select with (step 1). The selection operation by the controller 3B is the same as the selection operation in step Sc3 described above. Then, the simulation progress unit 146 determines whether or not the selected position is within the movable range of the rescue-requiring person 88 (step 2).
- the hoist man 93 determines the selected position (step 3). That is, the hoist man 93 determines the position selected by the pointer 70 in the simulation image by operating the controller 3B.
- the determination operation by the controller 3B is the same as the determination operation in step Sc5 described above.
- the simulation progress unit 146 changes the color of the pointer 70 when it determines that the selected position is within the movable range. If it is determined in step 2 that the selected position is out of the movable range, the process returns to step 1. Subsequently, the simulation progress unit 146 updates the simulation image from the state before the predetermined operation to the state after the operation (step 4).
- the predetermined operation referred to in step 4 is an operation in which the rescue-requiring person 88 gets into the aircraft 80. That is, the simulation progress unit 146 updates the state of the rescuer 88 from the state before boarding the machine 80 to the state of boarding the machine 80. For example, the state is updated so that the rescuer 88 is displayed at a predetermined position in the aircraft 80. In this way, in a series of operations of the simulated training, the operation of getting into the aircraft 80 of the rescue-requiring person 88, which is a predetermined operation, is omitted, and the state of the rescue-requiring person 88 is updated. That is, in the pull-up training, the operation of the rescuer 88 getting into the aircraft 80 is set as the second type operation that can be omitted.
- step S6 the flight training
- This flight training is a training to fly a helicopter to the original starting point. Similar to the flight training in step S1, the pilot 91 flies the helicopter in the simulation image by operating the control device 3A.
- the co-pilot 92 confirms safety during flight and assists maneuvering with the maneuvering device 3A.
- the Hoistman 93 and the descendant 94 also confirm the safety during flight as appropriate.
- the flight training ends and a series of simulated training (cooperative training) ends.
- the VR training system 100 of the aircraft includes the avatar of the trainer 9 linked to the movement of the trainer 9 in the real space, and is a training terminal for generating a simulation image for performing simulated training in the VR space. 1 and a controller 3B in which the trainee 9 performs an abbreviated operation are provided.
- the training terminal 1 of the descent member 94 omits the predetermined operation of the avatar 94A of the descent member 94 and performs the predetermined operation.
- the simulation image is updated from the state before the operation to the state after the operation.
- the VR training method of the aircraft includes the avatar of the trainer 9 linked to the movement of the trainer 9 in the real space, and performs the simulated training using the simulation image in the VR space generated by the training terminal 1.
- the training terminal 1 omits a predetermined operation of the avatar.
- the simulation image is updated from the state before the operation of the predetermined operation to the state after the operation.
- the simulation program 131 includes the avatar of the trainer 9, which is linked to the movement of the trainer 9 in the real space, and has a function of generating a simulation image for performing the simulation training in the VR space by the simulation progress unit 146 (computer). It is a VR training program for aircraft to realize the above, and when the function to receive the operation signal of the omitted operation by the trainer 9 and the operation signal of the omitted operation are received in the series of operations of the simulation training, the predetermined operation of the avatar
- the simulation progress unit 146 (computer) is realized with a function of updating the simulation image from the state before the operation to the state after the operation by omitting the operation of.
- the simulation image can be updated by omitting the predetermined operation of the avatar of the trainer 9 in a series of operations of the simulation training. Therefore, by setting an operation that has almost no training effect in the training using the VR space as the predetermined operation, it is possible to perform the simulated training while omitting such an unnecessary operation. Therefore, highly efficient training can be performed.
- the series of motions of the simulated training are classified into the first class motion which cannot be omitted and the second class motion which can be omitted, and the predetermined motion is the second class motion. be.
- the objects in the VR space include a hoist cable 82 that is wound up from the aircraft body 80 by a hoist 84, a rescue binding band 83 connected to the hoist cable 82, a ground surface, and a rescuer 88 that exists on the ground surface.
- a predetermined operation that can be omitted (class 2 operation) is an operation in which the avatar connects itself and the hoist cable 82 when the avatar is moved up and down from the machine body 80 by the hoisting machine 84, and the avatar is wound up from the machine body 80.
- the training terminal 1 replaces the position information of the connection portion between the avatar and the hoist cable 82 as the position information of the avatar. According to this configuration, since it is not necessary to acquire the position information of the avatar itself, the amount of processing in the training terminal 1 can be reduced.
- the VR training to which the VR training system 100 is applied is not limited to the VR training in the helicopter.
- the VR training system 100 can also be applied to VR training of aircraft other than helicopters.
- each of the 92 training terminals 1 may calculate the amount of movement and the amount of change in posture of the aircraft 80 in the VR space.
- the control device 3A corresponding to each of the training terminal 1 of the pilot 91 and the training terminal 1 of the co-pilot 92 is connected.
- the training terminal 1 of one of the plurality of training terminals (specifically, the training terminal 1 of the pilot 91 and the co-pilot 92 for which the maneuvering function is enabled is used for training.
- the terminal 1) functions as an aircraft terminal that calculates the position and attitude of the aircraft 80 in the VR space based on the operation input via the control device 3A.
- the machine calculation terminal 5 not only calculates the movement amount and the change amount of the posture of the machine 80 based on the operation input via the control device 3A, but also calculates the position and position of the machine 80 in the VR space based on the movement amount information.
- the posture may be calculated.
- the aircraft calculation terminal 5 is a terminal different from the training terminal 1 that functions as an aircraft terminal that calculates the position and attitude of the aircraft 80 in the VR space based on the operation input via the control device 3A. Is.
- each of the training terminals 1 may acquire the movement amount information from the machine calculation terminal 5 and calculate the position and posture of the machine 80 in the VR space based on the movement amount information. It was
- the setting terminal 6 does not have to have a function of monitoring training.
- the trainee 9 is not limited to the pilot 91, the co-pilot 92, the hoistman 93, and the descent member 94.
- the trainee 9 may be three or two of these.
- the trainee 9 may be a person other than these four. That is, any person can be a trainer 9 as long as he / she can perform cooperative training using the VR training system 100.
- the trainee 9 may include a ground crew member (a person who guides a helicopter from the surface of the earth), a controller, or a person requiring rescue 88.
- FIGS. 6, 8, 14 and 17 omit steps, change the order of steps, process multiple steps in parallel, and add another step to the extent that they can be implemented. be able to.
- step Sb1 in FIG. 14, that is, the operation of the avatar 94A of the descendant 94 moving to the location of the rescuer 88 may be set as the second type of operation.
- the descendant 94 selects a position near the rescue-requiring person 88 by performing an abbreviated operation with the operation switch 35.
- the operation of the avatar 94A of the descendant 94 to move to the place of the rescuer 88 is omitted.
- step Sb7 in FIG. 14, that is, the operation of the avatar 94A of the descendant 94 moving to the location of the rescue binding band 83 may be set as the second type of operation. That is, in this case, the operation of the avatar 94A of the descendant 94 to move to the location of the rescue band 83 is omitted.
- step Sb5 of FIG. 14 when the selected position is determined, the rescuer 88 is updated to the state in which the rescue binding band 83 is bound, and at the same time, the avatar 94A of the descendant 94 is connected to the hoist cable 82. You may update to. That is, in this case, the operation of the avatar 94A of the descendant 94 to move to the place of the rescue binding band 83 and the operation of connecting itself to the hoist cable 82 (carabiner 86) are omitted at once. Therefore, in this case, steps Sb7 to Sb11 in FIG. 14 are unnecessary.
- the image displayed by the VR display device 2 is not limited to the simulation image of the first-person viewpoint.
- the VR display device 2 may display a simulation image of a third person viewpoint.
- the tracking system 4 can adopt any method as long as it can track the movement of the trainee 9.
- the tracking system 4 may be an inside-out system.
- the functions of the configuration disclosed in this embodiment may be executed by using an electric circuit or a processing circuit.
- the electrical circuit or processing circuit may be a main processor, a dedicated processor, integrated circuits, ASICs, conventional electrical circuits, controllers, or a combination thereof, configured or programmed to perform the disclosed functions. good.
- a processor or controller is a processing circuit or the like that includes transistors and other circuits.
- a circuit, unit, controller or means is hardware or programmed to perform the described function.
- the hardware is the hardware disclosed in the present embodiment or known hardware configured or programmed to perform the functions disclosed in the present embodiment.
- the circuit, means or unit is a combination of hardware and software, and the software is used to configure the hardware and / or the processor.
- VR training system 1 Training terminal (terminal) 131 Simulation program (VR training program) 3B controller (operation device) 91 Pilot (trainer) 92 First Officer (Trainer) 93 Hoistman (trainer) 94 Descent (trainer)
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
VR訓練システム100は、実空間における訓練者の動作に連動する、訓練者のアバタを含み、VR空間における模擬訓練を行うためのシミュレーション画像を生成する訓練用端末1と、訓練者が省略操作を行うコントローラ3Bとを備え、訓練用端末1は、模擬訓練の一連の動作において、コントローラ3Bへの省略操作が行われた際、アバタの所定の動作を省略して、前記所定の動作の動作前の状態から動作後の状態にシミュレーション画像を更新する。
Description
本願は、航空機のVR訓練システム、航空機のVR訓練方法および航空機のVR訓練プログラムに関する。
従来より、仮想現実空間(即ち、VR空間)において、VR体験を行うシステムが知られている。例えば、特許文献1には、VR空間を使って消火体験を行うシステムが開示されている。このシステムでは、消火に必要な一連の動作に応じたシミュレーション映像が生成される。
ところで、ヘリコプタ等の航空機の訓練に関しては、実機での訓練はコストがかかるだけでなく危険も伴うことから、VR空間を使った訓練を実施することが考えられる。しかしながら、訓練(特に、連携訓練)の一連の動作においては、VR空間を使って行っても効果がほとんど得られない動作が含まれる場合がある。そのため、単にVR空間を使って一連の訓練動作を行うようにすると、訓練の効率が低下してしまう場合がある。
本願に開示の技術は、かかる事情に鑑みてなされたものであり、その目的は、VR空間を使った航空機の訓練において、高効率な訓練を行うことにある。
ここに開示された航空機のVR訓練システムは、端末と、操作装置とを備えている。前記端末は、実空間における訓練者の動作に連動する、前記訓練者のアバタを含み、VR空間における模擬訓練を行うためのシミュレーション画像を生成する。前記操作装置は、前記訓練者が省略操作を行うものである。そして、前記端末は、前記模擬訓練の一連の動作において、前記操作装置への省略操作が行われた際、前記アバタの所定の動作を省略して、前記所定の動作の動作前の状態から動作後の状態に前記シミュレーション画像を更新する。
ここに開示された航空機のVR訓練方法は、実空間における訓練者の動作に連動する前記訓練者のアバタが含まれ、端末によって生成されるVR空間におけるシミュレーション画像を用いて模擬訓練を行う、方法である。そして、航空機のVR訓練方法は、前記訓練者が省略操作を行うことと、前記模擬訓練の一連の動作において、前記省略操作が行われると、前記端末が、前記アバタの所定の動作を省略して、前記所定の動作の動作前の状態から動作後の状態に前記シミュレーション画像を更新することとを備えている。
ここに開示された航空機のVR訓練プログラムは、実空間における訓練者の動作に連動する、前記訓練者のアバタを含み、VR空間における模擬訓練を行うためのシミュレーション画像を生成する機能をコンピュータに実現させるための、プログラムである。そして、航空機のVR訓練プログラムは、前記訓練者による省略操作の操作信号を受信する機能と、前記模擬訓練の一連の動作において、前記省略操作の操作信号を受信すると、前記アバタの所定の動作を省略して、前記所定の動作の動作前の状態から動作後の状態に前記シミュレーション画像を更新する機能とをコンピュータに実現させる。
前記航空機のVR訓練システムによれば、高効率な訓練を行うことができる。
前記航空機のVR訓練方法によれば、高効率な訓練を行うことができる。
前記航空機のVR訓練プログラムによれば、高効率な訓練を行うことができる。
以下、例示的な実施形態を図面に基づいて詳細に説明する。図1は、VR訓練システム100の構成を示す図である。図2は、VR訓練システム100を用いて訓練を行う実空間の様子を示す概略図である。なお、図2では各端末の図示を省略している。
VR訓練システム100は、共通のVR空間における模擬訓練(以下、「VR訓練」と称する)を行うためのシステムである。このVR訓練システム100は、航空機(この例では、ヘリコプタ)におけるVR訓練に用いられる。VR訓練システム100は、共通のVR空間における模擬訓練を行うためのシミュレーション画像を生成し、対応する訓練者9にシミュレーション画像を提供する複数の訓練用端末1と、シミュレーション画像の生成に必要な設定情報を有する設定用端末6とを備えている。シミュレーション画像は、VR空間を形成する画像であり、いわゆるVR画像である。シミュレーション画像は、訓練者9のアバタ、要救助者88、地表及び航空機の機体80を含む。訓練者9のアバタは、実空間における訓練者9の動作に連動する。
複数の訓練用端末1のそれぞれは、互いに通信可能に接続されている。また、複数の訓練用端末1は、設定用端末6と通信可能に接続されている。これらの各端末は、LAN等を介して有線接続されている。なお、各端末は、無線接続であってもよい。
模擬訓練は、複数の訓練用端末1にそれぞれ対応する複数の訓練者9による連携訓練である。この例では、複数の訓練者9は、VR訓練システム100を使って、共通のVR空間において救助用ヘリコプタにおける連携訓練を行う。例えば、ヘリコプタは、機体80と、機体80の上部から右側又は左側へ片持ち状に延びるブーム81と、ブーム81から吊り下げられたホイストケーブル82と、ホイストケーブル82に連結された救助縛帯83と、ホイストケーブル82を巻き上げる巻き上げ機84と、巻き上げ機84を操作するためのペンダント型操作部とを有している。訓練者9には、例えば、操縦士91、副操縦士92、ホイストマン93及び降下員94が含まれている。以下、各訓練者を区別しない場合には、単に「訓練者9」と称する。連携訓練とは、複数の訓練者9が連携して行う訓練である。なお、上述した機体80や救助縛帯83、要救助者88等はシミュレーション画像におけるオブジェクトであり、これらオブジェクトに付した符号は、後述する図7~図18(図8,14,17を除く)に記載されている符号であり、以降も同様である。
訓練用端末1は、訓練者9のための端末である。訓練者9ごとに1台の訓練用端末1が割り当てられている。各訓練用端末1は、対応する訓練者9のためのシミュレーション画像を生成する。このシミュレーション画像は、実空間における訓練者9の動作に連動する、訓練者9のアバタを含んでいる。例えば、各訓練用端末1は、対応する訓練者9の一人称視点でのシミュレーション画像を生成する。つまり、各訓練用端末1は、共通のVR空間において異なる視点のシミュレーション画像を生成する。この例では、4人の訓練者9のための4台の訓練用端末1が設けられている。
各訓練用端末1には、VR表示装置2が接続されている。VR表示装置2は、訓練用端末1によって生成されたシミュレーション画像を表示する。VR表示装置2は、訓練者9の頭部に装着される。例えば、VR表示装置2は、HMD(Head Mounted Display)である。HMDは、ディスプレイを有するゴーグル形状のVR専用の装置であってもよく、あるいは、頭部に装着可能なホルダにスマートフォン又は携帯ゲーム装置を取り付けることによって構成されるものであってもよい。VR表示装置2は、右目用画像及び左目用画像を含む3次元画像を表示する。VR表示装置2は、ヘッドホン28及びマイク29を有していてもよい。訓練者9は、ヘッドホン28及びマイク29を介して、他の訓練者9と対話を行う。また、訓練者9は、シミュレーションに必要な音声をヘッドホン28を介して聞くことができる。
VR訓練システム100は、模擬訓練において訓練者9によって使用される操作装置をさらに備えている。訓練者9は、操作装置を訓練内容に応じて操作する。操作装置は、訓練者9及び操作内容に応じて適宜変更される。例えば、操縦士91及び副操縦士92の操作装置は、操縦装置3Aである。ホイストマン93及び降下員94の操作装置は、コントローラ3Bである。VR訓練システム100は、操縦士91のための操縦装置3Aと副操縦士92のための操縦装置3Aとを備えている。VR訓練システム100は、ホイストマン93のための2つのコントローラ3Bと、降下員94のための2つのコントローラ3Bとを備えている。
操縦装置3Aは、複数の訓練者9のうち航空機を操縦する訓練者9、即ち、操縦士91又は副操縦士92が操縦する。操縦装置3Aは、操縦士91又は副操縦士92の操作入力を受け付ける。具体的には、操縦装置3Aは、操縦桿31、ペダル32及びコレクティブピッチレバー33(以下、「CPレバー33」と称する)を有している。操縦桿31、ペダル32及びCPレバー33のそれぞれには、操作量を検出するセンサが設けられている。各センサは、操作量に応じた操作信号を出力する。操縦装置3Aは、シート34をさらに有している。操縦士91又は副操縦士92が操縦装置3Aを操作することによって、シミュレーション画像中の航空機、具体的にはヘリコプタの位置及び姿勢が変更される。操縦装置3Aは、機体演算端末5に接続されている。つまり、操縦桿31、ペダル32及びCPレバー33からの操作信号は、機体演算端末5に入力される。
機体演算端末5は、操縦装置3Aを介した操作入力に基づいて航空機の機体80の移動量及び姿勢の変化量を演算する。機体演算端末5は、訓練用端末1の演算負荷軽減のためにVR訓練システム100に設けられた端末である。機体演算端末5は、複数の訓練用端末1及び設定用端末6のそれぞれと通信可能に接続されている。機体演算端末5と複数の訓練用端末1及び設定用端末6とは、LAN等を介して有線接続されている。なお、機体演算端末5と複数の訓練用端末1及び設定用端末6とは、無線接続されていてもよい。
機体演算端末5は、機体80の移動量及び姿勢の変化量に関する移動量情報を操縦士91の訓練用端末1及び副操縦士92の訓練用端末1の少なくとも一方へ送信する。移動量情報を受け取った訓練用端末1は、移動量情報に基づいて機体80のVR空間における位置及び姿勢を演算する。つまり、機体演算端末5と移動量情報を受け取る訓練用端末1とは、操縦装置3Aを介した操作入力に基づいて航空機の機体80のVR空間における位置及び姿勢を演算する機体端末50を形成する。
コントローラ3Bは、可搬型のデバイスである。訓練者9(即ち、ホイストマン93及び降下員94)は、右手と左手のそれぞれでコントローラ3Bを携帯する。コントローラ3Bは、モーショントラッカ機能を有する。すなわち、コントローラ3Bは、後述するトラッキングシステム4によってセンシングされる。コントローラ3Bは、訓練者9の入力操作(省略操作を含む)を受け付ける操作スイッチ35(図4参照)を有している。操作スイッチ35は、訓練者9からの入力操作に応じた操作信号を出力する。コントローラ3Bは、ホイストマン93又は降下員94の訓練用端末1に接続されている。つまり、操作スイッチ35からの操作信号は、対応するホイストマン93又は降下員94の訓練用端末1に入力される。
設定用端末6は、初期設定を行う権限を有する管理者(例えば、教官)からの設定情報の入力を受け付ける。設定用端末6は、入力された設定情報を初期設定として設定する。設定用端末6は、設定情報を訓練用端末1に送信すると共に、模擬訓練の開始通知を訓練用端末1に送信する。また、設定用端末6は、訓練におけるシミュレーション画像を表示する。ただし、本実施形態では設定用端末6は、シミュレーション画像を生成していない。設定用端末6は、訓練用端末1によって生成されたシミュレーション画像を取得して、表示する。これにより、訓練者9以外の者(例えば、教官)が訓練のシミュレーションを監視することができる。なお、設定用端末6は、各訓練用端末1から情報を取得して各訓練者9のシミュレーション画像を生成してもよい。
さらに、VR訓練システム100は、トラッキングシステム4を有している。トラッキングシステム4は、実空間における複数の訓練者9の動きを検出する。トランキングシステム4は、VR表示装置2及びコントローラ3Bをセンシングする。トラッキングシステム4は、この例では、アウトサイドイン方式のトラッキングシステムである。
具体的には、トラッキングシステム4は、複数のトラッキングセンサ41と、トラッキングセンサ41からの信号を受信する通信装置42(図3,4参照)とを有している。トラッキングセンサ41は、例えば、カメラである。トラッキングセンサ41は、訓練者9が存在する実空間をステレオ撮影できるように配置されている。VR表示装置2及びコントローラ3Bのそれぞれには、発光式のトラッキングマーカが設けられている。複数のトラッキングセンサ41は、VR表示装置2及びコントローラ3Bのそれぞれのトラッキングマーカをステレオ撮影する。
トラッキングシステム4は、複数の訓練者9に関して共通である。つまり、共通のトラッキングシステム4によって、複数の訓練者9のVR表示装置2及びコントローラ3Bがセンシング、即ち、トラッキングされる。
トラッキングセンサ41によって撮影された画像データは、通信装置42に送信される。通信装置42は、受信した画像データを、訓練用端末1へ送信する。通信装置42は、例えば、ケーブルモデム、ソフトモデム又は無線モデムである。
訓練用端末1のそれぞれは、トラッキングシステム4からの画像データを画像処理することによって、対応する訓練者9のアバタのVR空間における位置及び姿勢を求める。
それに加えて、ホイストマン93及び降下員94の訓練用端末1のそれぞれは、トラッキングシステム4からの画像データを画像処理することによって、対応する訓練者9のコントローラ3Bのトラッキングマーカに基づいて、対応する訓練者9のアバタのVR空間における両手の位置及び姿勢を求める。
図3は、操縦士91及び副操縦士92の訓練用端末1及びその周辺機器のブロック図である。
操縦士91及び副操縦士92の訓練用端末1には、VR表示装置2、機体演算端末5及びトラッキングシステム4が接続されている。機体演算端末5には、操縦装置3Aが接続されている。
訓練用端末1は、入力部11と、通信部12と、記憶部13と、処理部14とを有している。
入力部11は、訓練者9からの入力操作を受け付ける。入力部11は、操作入力に応じた入力信号を処理部14へ出力する。例えば、入力部11は、キーボード、マウス、又は液晶等の画面を押して操作するタッチパネルである。
通信部12は、他の端末等と通信を行うインターフェースである。例えば、通信部12は、ケーブルモデム、ソフトモデム又は無線モデムで形成されている。なお、後述する通信部22、通信部51及び通信部63も、通信部12と同様に構成されている。通信部12は、他の訓練用端末1、機体演算端末5及び設定用端末6等の他の端末との通信を実現する。
記憶部13は、各種プログラム及び各種データを記憶する、コンピュータに読み取り可能な記憶媒体である。記憶部13は、ハードディスク等の磁気ディスク、CD-ROM及びDVD等の光ディスク、又は半導体メモリによって形成されている。なお、後述する記憶部52及び記憶部64も、記憶部13と同様に構成されている。
記憶部13は、シミュレーションプログラム131、フィールド定義データ132、アバタ定義データ133、オブジェクト定義データ134及び音声データ135等を記憶している。
シミュレーションプログラム131は、共通のVR空間における模擬訓練を行うためのシミュレーション画像を生成して、対応する訓練者9にシミュレーション画像を提供する各種機能をコンピュータ、即ち、処理部14に実現させるためのプログラムである。シミュレーションプログラム131は、処理部14によって読み出され、実行される。
フィールド定義データ132は、訓練が行われるフィールドを定義する。例えば、フィールド定義データ132は、フィールドの広さ、フィールドの地形、及びフィールド内の障害物等のオブジェクトを定義する。フィールド定義データ132は、訓練が行われるフィールドの種類ごとに用意されている。
アバタ定義データ133は、自己のアバタ(以下、「自アバタ」と称する)及び他の訓練者9のアバタ(以下、「他アバタ」と称する)を定義する。アバタ定義データ133は、アバタの種類ごとに用意されている。自アバタのアバタ定義データ133は、自アバタのCGデータ(例えば、ポリゴンデータ)だけでなく、初期位置情報(VR空間における初期位置及び初期姿勢に関する情報)も含んでいる。
ここで、アバタの位置情報(初期位置情報も含む)は、位置に関する情報としてVR空間における直交三軸の位置座標(x,y,z)と、姿勢に関する情報として各軸回りの回転角(Φ,θ,ψ)とを含む。後述するヘリコプタの機体80等のオブジェクトの位置情報についても同様である。
オブジェクト定義データ134は、訓練に必要な各種オブジェクトを定義する。オブジェクト定義データ134は、オブジェクトの種類ごとに用意されている。例えば、ヘリコプタの機体80、救助縛帯83、ホイストケーブル82、巻き上げ機84、ブーム81、ペンダント型操作部、要救助者88及び地表等のオブジェクト定義データ134が用意されている。
音声データ135は、ヘリコプタの飛行音等のシミュレーション中の効果音に関するデータである。
処理部14は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)及び/又はDSP(Digital Signal Processor)等の各種プロセッサと、VRAM、RAM及び/又はROM等の各種半導体メモリとを有している。なお、後述する処理部25、処理部53及び処理部65も、処理部14と同様に構成されている。
処理部14は、記憶部13に記憶された各種プログラムを読み出して実行することによって、訓練用端末1の各部を統括的に制御すると共に、シミュレーション画像を提供するための各種機能を実現する。具体的には、処理部14は、通信制御部141と、設定部142と、完了通知部143と、トラッキング制御部144と、音声生成部145と、シミュレーション進行部146とを機能ブロックとして有する。
通信制御部141は、通信部12を介した外部の端末又は装置との通信処理を実行する。通信制御部141は、データ通信に関するデータ処理を実行する。
設定部142は、シミュレーション画像の生成に関する設定情報を設定用端末6から受信して、設定情報を設定する。設定部142は、各種設定情報を初期設定として設定する。
完了通知部143は、設定部142による設定情報の設定が完了すると、設定情報の設定の完了通知を設定用端末6に送信する。
トラッキング制御部144は、対応する訓練者9のアバタである自アバタのVR空間における位置及び姿勢をトラッキングシステム4の検出結果に基づいて演算する。トラッキング制御部144は、通信装置42を介して入力されるトラッキングセンサ41からの画像データに基づいて、トラッキングに関する各種演算処理を実行する。具体的には、トラッキング制御部144は、画像データを画像処理することによって、対応する訓練者9のVR表示装置2のトラッキングマーカを追跡し、実空間における訓練者9の位置及び姿勢を求める。トラッキング制御部144は、実空間における訓練者9の位置及び姿勢を所定の座標対応関係に基づいて、VR空間における自アバタの位置及び姿勢を求める。トラッキング制御部144によって求められたVR空間における自アバタの位置及び姿勢に関する情報を位置情報と称する。以下、「アバタの位置及び姿勢」並びに「アバタの位置」は、それぞれ「VR空間における位置及び姿勢」並びに「VR空間における位置」を意味する。
音声生成部145は、音声データ135を記憶部13から読み出し、シミュレーションの進行に応じた音声を生成する。
シミュレーション進行部146は、シミュレーションの進行に関する各種演算処理を実行する。例えば、シミュレーション進行部146は、シミュレーション画像を生成する。シミュレーション進行部146は、設定部142の初期設定に基づいてフィールド定義データ132及びオブジェクト定義データ134を記憶部13から読み出し、フィールド画像にオフジェクト画像が合成されたシミュレーション画像を生成する。
また、シミュレーション進行部146は、自アバタに対応するアバタ定義データ133を記憶部13から読み出し、自アバタの位置情報に基づいて自アバタ(例えば、自アバタの手足)をVR空間に合成してシミュレーション画像を生成する。ここで、操縦士91及び副操縦士92の自アバタは、VR空間内の操縦席及び副操縦席に着席した状態が維持されていてもよい。すなわち、シミュレーション画像において、操縦士91及び副操縦士92の自アバタの、機体80内の位置は固定であり、自アバタの頭部のみが動作(回転及び傾動)してもよい。その場合、操縦士91及び副操縦士92の訓練用端末1のシミュレーション進行部146は、自アバタの画像を生成しなくてもよい。
さらに、シミュレーション進行部146は、複数の訓練用端末1のうちの他の訓練用端末1に対応する訓練者9のアバタである他アバタの位置情報を他の訓練用端末1から取得し、取得された位置情報に基づいて他アバタをVR空間に生成する。具体的には、シミュレーション進行部146は、他アバタに対応するアバタ定義データ133を記憶部13から読み出し、他の訓練用端末1から取得した他アバタの位置情報に基づいて他アバタをVR空間に合成してシミュレーション画像を生成する。
シミュレーション進行部146は、設定用端末6から模擬訓練の開始通知を受信して模擬訓練を開始する。すなわち、シミュレーション進行部146は、シミュレーション画像における訓練を開始する。シミュレーション進行部146は、模擬訓練中は、連携訓練のシミュレーションの進行を制御する。
具体的には、シミュレーション進行部146は、後述する機体演算端末5からの移動量情報(操縦装置3Aの操作入力に応じた機体の移動量及び姿勢の変化量に関する情報)に基づいて機体80のVR空間における位置及び姿勢を演算する。シミュレーション進行部146は、機体演算端末5からの機体の移動量及び姿勢の変化量を、VR空間の座標系における機体80の移動量及び姿勢の変化量に変換し、機体80のVR空間における位置及び姿勢を演算する。これにより、操縦装置3Aの操作入力に応じて、VR空間においてヘリコプタが移動、即ち、飛行する。
このVR空間における機体80の位置及び姿勢の演算は、操縦士91及び副操縦士92の訓練用端末1のうち、機体の操縦機能が有効となっている方の訓練用端末1が実行する。操縦士91及び副操縦士92の訓練用端末1のうち何れの訓練用端末1の操縦機能を有効とするかは切り替え可能となっている。通常は、操縦士91の訓練用端末1の操縦機能が有効に設定されている。訓練の状況に応じて、副操縦士92の訓練用端末1の操縦機能が有効に設定される場合もある。
また、シミュレーション進行部146は、トラッキング制御部144からの位置情報に基づいてVR空間内で自アバタを動作させ、他の訓練用端末1から受信する他アバタの位置情報に基づいてVR空間内で他アバタを動作させる。なお、操縦士91及び副操縦士92の自アバタは、VR空間内の操縦席及び副操縦席に固定されている場合には、自アバタの頭部のみが動作(回転及び傾動)する。ただし、操縦士91及び副操縦士92の自アバタは、頭部のみが動作するだけでなく、他アバタと同様にトラッキング制御部144からの位置情報に基づいてVR空間内で動作してもよい。
さらに、シミュレーション進行部146は、トラッキング制御部144からの位置情報に基づく操縦士91又は副操縦士92の頭部の向きの変更に応じて、表示させるシミュレーション画像のフレームの位置又は角度を変更する。シミュレーション進行部146は、生成したシミュレーション画像をVR表示装置2及び設定用端末6へ出力する。このとき、シミュレーション進行部146は、必要に応じて、音声生成部145によって生成された音声をヘッドホン28及び設定用端末6へ出力する。
VR表示装置2は、入力部21と、通信部22と、記憶部23と、表示部24と、処理部25とを有している。
入力部21は、訓練者9からの操作入力を受け付ける。入力部21は、操作入力に応じた入力信号を処理部25へ出力する。例えば、入力部21は、操作ボタン又はスライドスイッチ等である。
通信部22は、訓練用端末1との通信を実現するインターフェースである。
記憶部23は、各種プログラム及び各種データを記憶する、コンピュータに読み取り可能な記憶媒体である。記憶部23は、半導体メモリ等によって形成されている。記憶部23は、シミュレーション画像を表示部24で表示するための各種機能をコンピュータ、即ち、処理部25に実現させるためのプログラム及び各種データが記憶されている。
表示部24は、例えば、液晶ディスプレイ又は有機ELディスプレイである。表示部24は、右目用画像と左目用画像とを表示することができる。
処理部25は、記憶部23に記憶された各種プログラムを読み出して実行することによって、VR表示装置2の各部を統括的に制御すると共に、シミュレーション画像を表示部24に表示させるための各種機能を実現する。
機体演算端末5は、通信部51と、記憶部52と、処理部53とを有している。機体演算端末5には、操縦装置3Aから出力される操作信号が入力される。具体的には、操縦桿31、ペダル32及びCPレバー33のそれぞれから、スイッチの押下及び操作量に応じた操作信号が入力される。機体演算端末5は、操縦装置3Aの操作量に応じた機体の移動量及び姿勢の変化量を演算し、移動量情報を出力する。
通信部51は、訓練用端末1等との通信を行うインターフェースである。
記憶部52は、演算プログラム521等を記憶している。演算プログラム521は、VR空間における航空機の機体80の位置及び姿勢を演算するための各種機能をコンピュータ、即ち、処理部53に実現させるためのプログラムである。演算プログラム521は、処理部53によって読み出され、実行される。
処理部53は、記憶部52に記憶された各種プログラムを読み出して実行することによって、機体演算端末5の各部を統括的に制御すると共に、機体80の移動量及び姿勢の変化量を演算するための各種機能を実現する。具体的には、処理部53は、通信制御部531と、機体演算部532とを機能ブロックとして有する。
通信制御部531は、通信部51を介した訓練用端末1等との通信処理を実行する。通信制御部531は、データ通信に関するデータ処理を実行する。
機体演算部532は、操縦装置3Aからの操作信号に基づいて機体80の移動量及び姿勢の変化量を演算する。詳しくは、機体演算部532は、操縦桿31、ペダル32及びCPレバー33からの各操作信号に基づいて、操縦桿31、ペダル32及びCPレバー33のスイッチの押下及び操作量に応じた機体80の移動量及び姿勢の変化量を演算する。機体演算部532は、演算した機体80の移動量及び姿勢の変化量に関する移動量情報を訓練用端末1へ送信する。
図4は、ホイストマン93及び降下員94の訓練用端末1及びその周辺機器のブロック図である。
ホイストマン93及び降下員94の訓練用端末1には、VR表示装置2、コントローラ3B及びトラッキングシステム4が接続されている。コントローラ3Bは、操作スイッチ35を有している。操作スイッチ35の操作信号は、訓練用端末1に入力される。
ホイストマン93及び降下員94の訓練用端末1の基本的な構成は、操縦士91及び副操縦士92の訓練用端末1と同様である。ただし、ホイストマン93及び降下員94と操縦士91及び副操縦士92との訓練内容の違いに起因して、ホイストマン93及び降下員94の訓練用端末1の処理内容は、操縦士91及び副操縦士92の訓練用端末1と少し異なる。
詳しくは、トラッキング制御部144は、対応する訓練者9のアバタである自アバタのVR空間における位置及び姿勢をトラッキングシステム4の検出結果に基づいて演算する。トラッキング制御部144は、通信装置42を介して入力されるトラッキングセンサ41からの画像データに基づいて、トラッキングに関する各種演算処理を実行する。具体的には、トラッキング制御部144は、画像データを画像処理することによって、対応する訓練者9のVR表示装置2のトラッキングマーカを追跡し、実空間における訓練者9の位置及び姿勢を求める。トラッキング制御部144は、実空間における訓練者9の位置及び姿勢を所定の座標対応関係に基づいて、自アバタの位置及び姿勢を求める。それに加えて、トラッキング制御部144は、画像データを画像処理することによって、コントローラ3Bのトラッキングマーカを追跡し、実空間における訓練者9の両手の位置及び姿勢を求める。トラッキング制御部144は、実空間における訓練者9の両手の位置及び姿勢を所定の座標対応関係に基づいて、自アバタの両手の位置及び姿勢を求める。つまり、ホイストマン93及び降下員94の訓練用端末1のトラッキング制御部144は、自アバタの位置及び姿勢、並びに、自アバタの両手の位置及び姿勢を位置情報として求める。
シミュレーション進行部146がシミュレーション画像を生成し、連携訓練のシミュレーションの進行を制御することは、操縦士91及び副操縦士92の訓練用端末1と同様である。ただし、操縦席及び副操縦席に着席したままの操縦士91及び副操縦士92と異なり、ホイストマン93及び降下員94は、機内及び機外で移動が可能である。そのため、シミュレーション進行部146は、VR空間内で自アバタを自由に移動させる。また、シミュレーション進行部146は、トラッキング制御部144からの位置情報に基づいて、ホイストマン93又は降下員94の頭部の位置又は向きの変更に応じて、表示させるシミュレーション画像のフレームの位置又は角度を変更する。
さらに、シミュレーション進行部146は、コントローラ3Bの操作スイッチ35からの操作信号に応じて、シミュレーション画像内で自アバタに操作信号に応じた処理を実行させる。例えば、シミュレーション進行部146は、自アバタにヘリコプタのドアを開閉させる。
また、ホイストマン93に対応するシミュレーション進行部146は、自アバタにペンダント型操作部で巻き上げ機84を操作させる。つまり、ホイストマン93に対応するシミュレーション進行部146は、シミュレーション画像内で救助縛帯83を昇降させる。さらに、ホイストマン93に対応するシミュレーション進行部146は、救助縛帯83の昇降時、即ち降下員94のアバタがホイストケーブル82と連結されている時、アバタとホイストケーブル82との連結部の位置情報を、少なくとも降下員94に対応するシミュレーション進行部146に送信する。
さらに、ホイストマン93及び降下員94に対応するシミュレーション進行部146のそれぞれは、模擬訓練の一連の動作において、訓練者9によるコントローラ3Bへの省略操作が行われた際、自アバタの所定の動作を省略して、その所定の動作の動作前の状態から動作後の状態にシミュレーション画像を更新する。つまり、シミュレーション進行部146は、所定の動作の動作前の状態から動作後の状態に自アバタの状態及び/又はオブジェクトの状態を更新する。
訓練者9によるコントローラ3Bへの入力操作は、省略操作を含む。省略操作は、模擬訓練の一連の動作のうち所定の動作を省略させるための入力指示である。訓練者9は、コントローラ3Bの操作スイッチ35を操作することにより、省略操作を行うことが可能である。コントローラ3Bは、省略操作に応じた操作信号を訓練用端末1に送信する。シミュレーション進行部146は、コントローラ3Bからの操作信号が入力部11に入力されると、アバタの所定の動作を省略する処理を行う。
模擬訓練の一連の動作は、省略が不可能な第1類の動作と、省略が可能な第2類の動作とに区分されている。上述したアバタの所定の動作は、第2類の動作である。第1類の動作は、VR空間を使った訓練においても高い訓練効果を得られる動作(訓練)として設定されている。第2類の動作は、VR空間を使った訓練(特に、連携訓練)では、ほとんど訓練効果を得られない動作(訓練)として設定されている。
図5は、設定用端末6及びその周辺機器のブロック図である。
設定用端末6は、表示部61と、入力部62と、通信部63と、記憶部64と、処理部65とを有している。
表示部61は、例えば、液晶ディスプレイ、有機ELディスプレイ、又は、プロジェクタ及びスクリーンである。
入力部62は、初期設定を行う権限を有する管理者(例えば、教官)の入力操作を受け付ける。入力部62は、例えば、キーボード、マウス、又はタッチパネルである。
通信部63は、訓練用端末1等との通信を実現するインターフェースである。
記憶部64は、開始プログラム641等を記憶している。開始プログラム641は、共通のVR空間における模擬訓練を行うためのシミュレーション画像を、対応する訓練者に提供する複数の訓練用端末1に模擬訓練を開始させる各種機能をコンピュータ、即ち、処理部65に実現させるためのプログラムである。開始プログラム641は、処理部65によって読み出され、実行される。
処理部65は、記憶部64に記憶された各種プログラムを読み出して実行することによって、設定用端末6の各部を統括的に制御すると共に、シミュレーションに関する初期設定を行うための各種機能を実現する。具体的には、処理部65は、通信制御部651と、設定部652と、開始通知部653と、監視部654とを機能ブロックとして有する。
通信制御部651は、通信部63を介した外部の端末又は装置との通信処理を実行する。通信制御部651は、データ通信に関するデータ処理を実行する。
設定部652は、シミュレーション画像の生成に必要な初期設定に関する各種設定情報のユーザからの入力を受け付けると共に、入力された設定情報を初期設定として設定する。設定部652は、記憶部64に記憶された設定入力画面を表示部61に表示させる。設定部652は、設定入力画面に対して入力部62を介して入力された設定情報を初期設定として記憶部64に記憶させる。また、設定部652は、設定情報を複数の訓練用端末1に送信する。
開始通知部653は、設定情報の設定の完了通知を複数の訓練用端末1の全てから受信すると、複数の訓練用端末1に模擬訓練を開始させる開始通知を送信する。開始通知部653から全ての訓練用端末1に開始通知がなされることによって、各訓練用端末1において訓練が開始される。
監視部654は、各訓練用端末1からシミュレーション画像を受け取る。つまり、監視部654は、それぞれの訓練者9に応じた一人称視点のシミュレーション画像を受け取る。監視部654は、何れか1人の訓練者9の一人称視点のシミュレーション画像を表示部61に表示させる。あるいは、監視部654は、全ての訓練者9の一人称視点のシミュレーション画像を表示部61に分割表示させる。全ての一人称視点のシミュレーション画像を分割表示させた場合、監視部654は、入力部62を介した選択操作に応じて、何れか1つの一人称視点のシミュレーション画像を表示部61に表示させてもよい。
〈模擬訓練の動作〉
上述したVR訓練システム100における模擬訓練の動作について一例を説明する。この模擬訓練は、4人の訓練者9(操縦士91、副操縦士92、ホイストマン93及び降下員94)による連携訓練であり、要救助者88が存在する地点までヘリコプタを飛行させ、要救助者88を救出する訓練である。
上述したVR訓練システム100における模擬訓練の動作について一例を説明する。この模擬訓練は、4人の訓練者9(操縦士91、副操縦士92、ホイストマン93及び降下員94)による連携訓練であり、要救助者88が存在する地点までヘリコプタを飛行させ、要救助者88を救出する訓練である。
模擬訓練(連携訓練)では、各種訓練が図6に示す順で行われる。図6は、模擬訓練における各種訓練の流れを示すフローチャートである。模擬訓練は、設定用端末6からの開始通知を各訓練用端末1が受信することで開始される。
模擬訓練では、まず、飛行訓練が行われる(ステップS1)。この飛行訓練は、ヘリコプタを出発地から要救助者が存在する地点(到着地)まで飛行させる訓練である。操縦士91は、操縦装置3Aを操作することによって、シミュレーション画像内でヘリコプタを飛行させる。副操縦士92は、シミュレーション画像を観ながら、飛行中の安全確認を行ったり、操縦装置3Aによって操縦補助を行ったりする。他のホイストマン93等も、飛行中の安全確認を行う。
この飛行訓練では、操縦士91又は副操縦士92に対応するシミュレーション進行部146は、機体演算端末5の演算結果に基づいて、シミュレーション画像内で機体80の移動量及び姿勢を変化させる。また、4人の訓練者9のそれぞれに対応するシミュレーション進行部146は、訓練者9の実空間におけるそれぞれの動作に連動して操縦や安全確認に必要な動作をアバタにさせる。この飛行訓練において、例えば、ホイストマン93又は降下員94に対応するシミュレーション進行部146では、一例として図7に示すようなシミュレーション画像が生成される。このシミュレーション画像は、機体80内においてホイストマン93又は降下員94が操縦席側を視ている状態を表す画像であり、操縦席に座っている操縦士91のアバタ91A及び副操縦士92のアバタ92Aが表示されている。このように、ステップS1の飛行訓練では、ヘリコプタの操縦動作や安全確認動作は省略が不可能な第1類の動作として設定されている。
ヘリコプタが要救助者88の地点に到着すると、飛行訓練からホバリング訓練(ステップS2)に移行する。ホバリング訓練は、ヘリコプタを空中における所定位置に停止させ続ける訓練である。このホバリング訓練では、ステップS1の飛行訓練と同様、操縦士91による操縦動作及び副操縦士92等による安全確認動作が行われる。このホバリング訓練におけるヘリコプタの操縦動作や安全確認動作も、第1類の動作として設定されている。
ホバリング飛行が安定して行われると、ホバリング訓練から降下訓練(ステップS3)に移行する。降下訓練は、ホイストマン93が巻き上げ機84を操作して降下員94を機体80から降下させる訓練である。つまり、降下員94がブーム81から吊られたホイストケーブル82と連結した後、ホイストマン93が巻き上げ機84を操作してホイストケーブル82を降下させることによって降下員94は降下する。
この降下訓練時の、降下員94の訓練用端末1による降下訓練処理について説明する。図8は、降下員の訓練用端末における降下訓練処理を示すフローチャートである。この降下訓練処理に先立って、ホイストマン93又は降下員94は、コントローラ3Bの操作スイッチ35を操作して、シミュレーション画像内で自アバタにヘリコプタのドアを開閉させる。また、ホイストマン93は、コントローラ3Bの操作スイッチ35を操作して、シミュレーション画像内で自アバタの手にペンダント型操作部を持たせる。
まず、ステップSa1において、オブジェクトである救助縛帯83が選択される。具体的に、降下員94は、コントローラ3Bを操作することによって、シミュレーション画像内の救助縛帯83を選択する。このコントローラ3Bによる選択動作は、図9に示すように、操作スイッチ35を半押し状態にすることでシミュレーション画像内にポインタ70を表示させ、コントローラ3Bを動かしてポインタ70を、ホイストケーブル82に連結されている救助縛帯83の位置に移動させることによって行われる。シミュレーション進行部146は、操作スイッチ35の半押し状態に応じた操作信号をコントローラ3Bから受信することで、シミュレーション画像内にポインタ70を表示する。図9のシミュレーション画像は、ホイストケーブル82に連結された救助縛帯83及びカラビナ86が表示されている。救助縛帯83は、要救助者88をホイストケーブル82で引き上げる際、要救助者88に縛着するものである。カラビナ86は、降下員94のアバタ94Aが予め装着している縛帯87(図10を参照)に連結するものである。つまり、カラビナ86は、降下員94のアバタ94Aとホイストケーブル82とを連結する連結部である。また、救助縛帯83とカラビナ86とはホイストケーブル82において略同じ位置に連結されているため、上記のステップSa1において救助縛帯83を選択することは、カラビナ86を選択することと実質的には同じである。
続く、ステップSa2において、シミュレーション進行部146は、選択位置がカラビナ86の連結可能範囲内か否かを判定する。具体的に、シミュレーション進行部146は、コントローラ3Bによって選択された位置(ポインタ70の位置)とアバタ94Aの位置との距離が所定値以内であるか否かを判定することによって、選択位置がカラビナ86の連結可能範囲内か否かを判定する。
シミュレーション進行部146は、例えば、選択位置が連結可能範囲内であると判定すると、即ちアバタ94Aがポインタ70で連結可能範囲を指定できる位置に移動し、ポインタ70が連結可能範囲内を指示すると、ポインタ70の色を変える。降下員94は、シミュレーション画像におけるポインタ70の色の変化を視認することで、後述する選択位置の決定動作を行うことができる。ここで、ポインタ70が連結可能範囲を指示した際、ポインタ70ではなく、オブジェクトである救助縛帯83及び/又はカラビナ86の色を変えてもよく、選択することでシミュレーション画像における変化を視認できればよい。
選択位置が連結可能範囲外であると判定されると、即ち選択位置とアバタ94Aの位置との距離が所定値を超えている場合、ステップSa1に戻る。つまり、降下員94は、シミュレーション画像におけるポインタ70の色が変化するまで、実空間において移動し続け、アバタ94Aを移動させ続ける。これによれば、降下員94は、機体80内において救助縛帯83(カラビナ86)の場所にある程度近づく動作が必要になるため、救助縛帯83を選択する動作は機体80内における訓練動作の一環として有用である。
選択位置が連結可能範囲内であると判定されると、即ち選択位置とアバタ94Aの位置との距離が所定値以内である場合、降下員94は選択位置を決定する(ステップSa3)。具体的に、降下員94は、コントローラ3Bを操作するとことによって、シミュレーション画像内のポインタ70で選択した位置の決定を行う。このコントローラ3Bによる決定動作は、半押し状態の操作スイッチ35を全押し状態にすることによって行われる。このように、降下員94が操作スイッチ35を半押ししてポインタ70を表示する選択動作と操作スイッチ35を全押しして選択位置を決定する決定動作とを行う一連の操作は、上述した省略操作に相当する。
続く、ステップSa4において、シミュレーション進行部146は、所定の動作前の状態から動作後の状態にシミュレーション画像を更新する(切り換える)。このステップSa4でいう所定の動作は、降下員94のアバタ94Aが自身とホイストケーブル82とを連結する動作である。つまり、シミュレーション進行部146は、アバタ94Aが自身の縛帯87とカラビナ86とを連結する前の状態を表すミュレーション画像(図9参照)から、アバタ94Aが自身の縛帯87とカラビナ86とを連結した状態を表すシミュレーション画像(図10参照)に更新する。さらに言い換えると、シミュレーション進行部146は、カラビナ86と連結する前の状態からカラビナ86と連結した状態にアバタ94Aの状態を更新する。なお、図9は、一人称視点のシミュレーション画像であり、図10は、一人称視点のものではなく、説明の便宜上、三人称視点のシミュレーション画像を表している。図10のシミュレーション画像では、機体80のブーム81から吊り下げられたホイストケーブル82と連結した状態の降下員94のアバタ94Aと、救助縛帯83及びカラビナ86を昇降させる巻き上げ機84を操作している状態のホイストマン93のアバタ93Aが表示されている。
より詳しくは、シミュレーション進行部146は、選択位置の決定が行われると、即ち操作スイッチ35を全押しする動作に応じた操作信号をコントローラ3Bから受信すると、上述したようにアバタ94Aの状態を更新する。また、シミュレーション進行部146は、上述したアバタ94Aの更新の際、救助縛帯83の位置情報をアバタ94Aの位置情報として置き換える。つまり、アバタ94Aとホイストケーブル82との連結部(即ち、カラビナ86)の位置情報が、アバタ94Aの位置情報として置き換えられる。つまり、救助縛帯83の位置がアバタ94Aの位置として認識される。ここで、救助縛帯83とカラビナ86とは略同じ位置に存在するため、実質的に救助縛帯83の位置情報はカラビナ86の位置情報に相当する。これは、以降に言及する救助縛帯83の位置情報についても同様である。こうして、模擬訓練の一連の動作において、所定の動作であるアバタ94Aのホイストケーブル82連結動作が省略されて、アバタ94Aの状態が更新される。つまり、降下訓練において、アバタ94Aとホイストケーブル82とを連結する動作は省略が可能な第2類の動作として設定されている。
また、本実施形態では、機体80内においてホイストマン93及び降下員94のアバタ93A,94Aが移動する動作は、第2類として設定されている。つまり、ホイストマン93及び降下員94がコントローラ3Bで省略操作することによって、機体80内におけるホイストマン93等の自アバタの移動動作が省略される。ホイストマン93等は、例えば図11に示すように、操作スイッチ35を半押しすることでシミュレーション画像内にポインタ70を表示させ、移動したい任意の位置(機体80内の床面85における任意の位置)にポインタ70を移動させることで移動位置を選択(指示)する。ポインタ70の色が変わると、ホイストマン93等は、操作スイッチ35を全押しして選択位置(移動位置)を決定する。そうすると、ホイストマン93等に対応するシミュレーション進行部146は、アバタ93A等が移動する前の状態を表すシミュレーション画像(図11参照)から、アバタ93A等が選択位置に移動した状態を表すシミュレーション画像に更新する。つまり、移動する前の状態から移動した状態に自アバタの状態が更新される。なお、図11のシミュレーション画像では、操縦席に座っている操縦士91のアバタ91A及び副操縦士92のアバタ92Aが表示されている。
こうした機体80内におけるアバタの移動動作の省略は、前述したステップSa2においても実施することができる。つまり、コントローラ3Bによる省略操作によって降下員94のアバタ94Aを機体80内における例えばドア付近に移動させた後に、ポインタで救助縛帯83を選択するようにしてもよい。このように、機体80内においては、実空間において訓練者9が移動することによって自アバタを移動させることもできるし、訓練者9がコントローラ3Bで省略操作することによって自アバタの移動動作を省略することもできる。
続いて、ステップSa5において、シミュレーション進行部146は、ホイストマン93の訓練用端末1から救助縛帯83の位置情報(即ち、移動情報)を受信する。これにより、シミュレーション進行部146は、シミュレーション画像内で救助縛帯83の移動(降下)に伴ってアバタ94Aを移動(降下)させる。これにより、降下員94のシミュレーション画像では、アバタ94Aが救助縛帯83と共に降下していく(ステップSa6)。
なお、ホイストマン93の訓練用端末1のシミュレーション進行部146においても、上述した降下員94のシミュレーション画像の更新に伴って、降下員94のアバタ94A(即ち、他アバタ)がホイストケーブル82と連結した状態を表すシミュレーション画像に更新される。同様にして、操縦士91及び副操縦士92の訓練用端末1のシミュレーション進行部146においても、上述した降下員94のシミュレーション画像の更新に伴って、降下員94のアバタ94A(即ち、他アバタ)がホイストケーブル82と連結した状態を表すシミュレーション画像に更新される。ホイストマン93は、コントローラ3Bを操作することによって、シミュレーション画像内でペンダント型操作部を操作し、救助縛帯83を降下させていく。このとき、ホイストマン93に対応するシミュレーション進行部146では、一例として図12に示すようなシミュレーション画像が生成される。このシミュレーション画像は、ホイストマン93が、ホイストケーブル82によって吊られた救助縛帯83と共に降下していく降下員94のアバタ94Aを機体80内から視ている状態を表す画像である。また、操縦士91または副操縦士92に対応するシミュレーション進行部146では、一例として図13に示すようなシミュレーション画像が生成される。このシミュレーション画像は、操縦士91または副操縦士92が、機体80内で救助縛帯83の降下操作を行うホイストマン93のアバタ93A、及び、ホイストケーブル82に連結された救助縛帯83と共に降下する降下員94のアバタ94Aを視ている状態を表す画像である。
アバタ94Aが救助縛帯83と共に降下しているときは、アバタ94Aの位置は救助縛帯83の位置に固定された状態であるが、アバタ94Aの頭部や手は動作させることができる。そのため、降下員94は実空間において両手を振ることによって、アバタ94Aにも同様に両手を振らせ、ホイストマン93に合図を送る訓練を行うことができる。つまり、降下訓練において、降下員94が巻き上げ機84によって降下していく動作、並びに、ホイストマン93が巻き上げ機84を操作して降下員94を降下させていく動作は、第1類の動作として設定されている。
続いて、ステップSa7において、シミュレーション画像内で地表の位置が選択される。具体的に、降下員94は、シミュレーション画像内でアバタ94Aが地表付近まで降下すると、コントローラ3Bを操作して、シミュレーション画像内の地表の位置を選択する。このコントローラ3Bによる選択動作は、上述した救助縛帯83の選択動作と同様である。つまり、操作スイッチ35を半押しすることでシミュレーション画像内にポインタ70が表示され、コントローラ3Bを動かしてポインタ70を地表の位置に移動させる。
続いて、ステップSa8において、シミュレーション進行部146は、選択位置がアバタ94Aの移動可能範囲内か否かを判定する。具体的に、シミュレーション進行部146は、例えば、コントローラ3Bによって選択された位置(ポインタ70の位置)が地表であるか否か(第1判定基準)を判定し、地表である場合、降下員94が着地することができるとして、選択位置はアバタ94Aの移動可能範囲内となる。なお、第1判定基準は、地表であるか否かということに代えて、崖等の危険な位置であるか否かということにしてもよい。その場合、危険な位置ではない場合は、降下員94が安全に着地することができるとして、選択位置はアバタ94Aの移動可能範囲内となる。また、シミュレーション進行部146は、選択位置(ポインタ70の位置)と救助縛帯83の位置との距離が所定値以内であるか否か(第2判定基準)を判定し、その距離が所定値以内である場合、降下員94が安全に着地することができるとして、選択位置はアバタ94Aの移動可能範囲内となる。この例では、上記2つの判定基準の両方を満たした場合に、選択位置はアバタ94Aの移動可能範囲内であると判定される。なお、訓練条件に応じて、いずれか一方の判定基準だけを用いるようにしてもよい。
ステップSa8において、選択位置が移動可能範囲外であると判定されると、ステップSa7に戻る。つまり、第1判定基準を満たすために、降下員94は、シミュレーション画像におけるポインタ70の色が変化するまで、コントローラ3Bによってポインタ70を移動させる。また、第2判定基準を満たすために、降下員94は、アバタ94Aに手を振らせる等をしてホイストマン93に合図を送り、ホイストマン93は、降下員94のアバタ94Aの合図に従って救助縛帯83を降下させ、こうした動作が、シミュレーション画像におけるポインタ70の色が変わるまで続けられる。
ステップSa8において、選択位置が移動可能範囲内であると判定されると、降下員94は選択位置を決定する(ステップSa9)。具体的に、降下員94は、コントローラ3Bを操作するとことによって、シミュレーション画像内のポインタ70で選択した位置の決定を行う。このコントローラ3Bによる決定動作は、上述した救助縛帯83位置の決定動作と同様である。つまり、半押し状態の操作スイッチ35を全押しすることによって決定動作が行われる。この場合も、シミュレーション進行部146は、選択位置が移動可能範囲内であると判定すると、ポインタ70の色を変える。
続く、ステップSa10において、シミュレーション進行部146は、ステップSa4と同様、所定の動作前の状態から動作後の状態にシミュレーション画像を更新する(切り換える)。このステップSa10でいう所定の動作は、降下員94のアバタ94Aが地表に着地してカラビナ86(ホイストケーブル82)を脱離する動作である。つまり、シミュレーション進行部146は、地表に着地する前の状態から地表に着地してカラビナ86を脱離した状態にアバタ94Aの状態を更新する。こうして、模擬訓練の一連の動作において、所定の動作である、アバタ94Aが地表に着地してカラビナ86(ホイストケーブル82)を脱離する動作(アバタ94Aの着地・脱離動作)が省略されて、アバタ94Aの状態が更新される。つまり、降下訓練において、アバタ94Aの着地・脱離動作は第2類の動作として設定されている。
以上より、降下員94の訓練用端末1による降下訓練処理が終了し、救助訓練(ステップS4)に移行する。
救助訓練は、地表に着地した降下員94が、要救助者88を救助縛帯83のところまで連れて行き、要救助者88に救助縛帯83を縛着する訓練である。
この救助訓練時の、降下員94の訓練用端末1による救助訓練処理について説明する。図14は、降下員94の訓練用端末1における救助訓練処理を示すフローチャートである。この救助訓練処理は、上述した降下訓練処理によって降下員94のアバタ94Aが地表に着地してカラビナ86(ホイストケーブル82)を脱離した状態から開始される。
まず、ステップSb1において、シミュレーション進行部146は、VR空間においてアバタ94Aを要救助者88の近傍に向かって移動させる。つまり、降下員94は、自アバタが要救助者88へ向かって近づくように、実空間において動作する。シミュレーション進行部146は、トラッキング制御部144における降下員94のトラッキング情報に基づいて、VR空間においてアバタ94Aを動作させる。
降下員94は、要救助者88の近傍に到達すると、コントローラ3Bを操作することによって、シミュレーション画像内で要救助者88を選択する(ステップSb2)。このコントローラ3Bによる選択動作は、例えば、操作スイッチ35を半押し状態にし、図15に示すように、コントローラ3Bを動かして「アバタ94Aの手」を要救助者88の位置に移動させることによって行われる。シミュレーション進行部146は、操作スイッチ35の半押し状態に応じた操作信号をコントローラ3Bから受信することで、降下員94が、要救助者88の救助可能範囲内か否かの判定を要求していると判断する。
続く、ステップSb3において、シミュレーション進行部146は、選択位置が要救助者88の救助可能範囲内か否かを判定する。具体的に、シミュレーション進行部146は、コントローラ3Bによって選択された位置(アバタ94Aの手の位置)が、要救助者88の位置を含むその近傍の所定範囲内にあるか否かを判定する。シミュレーション進行部146では、要救助者88の位置を含むその近傍の所定範囲が、要救助者88の救助可能な範囲として、設定されている。
選択位置が救助可能範囲内であると判定されると、シミュレーション進行部146は、要救助者88をアクティブ状態(移動可能状態)にする(ステップSb4)。シミュレーション進行部146は、選択位置が救助可能範囲内であると判定すると、例えば図15に示すように、シミュレーション画像内で要救助者88の輪郭を色付け光らせる。この要救助者88の表示を視認することで、降下員94は要救助者88がアクティブ状態になったことを認識することができる。
こうして要救助者88がアクティブ状態になると、降下員94は、選択位置を決定する(ステップSb5)。具体的に、降下員94は、コントローラ3Bを操作することによって、シミュレーション画像内の「アバタ94Aの手」で選択した位置の決定を行う。このコントローラ3Bによる決定動作は、例えば、半押し状態の操作スイッチ35を全押しすることによって行われる。このように、降下員94が操作スイッチ35を半押ししてアバタ94Aの手を表示する選択動作と操作スイッチ35を全押しして選択位置を決定する決定動作とを行う一連の操作は、上述した省略操作に相当する。
続く、ステップSb6において、シミュレーション進行部146は、所定の動作前の状態から動作後の状態にシミュレーション画像を更新する(切り換える)。このステップSb6でいう所定の動作は、降下員94のアバタ94Aが、要救助者88を救助縛帯83の場所まで移動させる動作及び要救助者88に救助縛帯83を縛着する動作である。つまり、シミュレーション進行部146は、降下員94のアバタ94Aによって移動させられる前の状態から救助縛帯83を縛着した状態に要救助者88の状態を更新する。例えば、シミュレーション進行部146では、図16に示すようなシミュレーション画像に更新される。このシミュレーション画像は、救助縛帯83を縛着しホイストケーブル82によって吊られている要救助者88を、要救助者88の移動する前の場所から降下員94が視ている状態を表す画像である。なお、降下員94のアバタ94Aが要救助者88を救助縛帯83の場所まで移動させる動作としては、誘導や連行、搬送等がある。
より詳しくは、シミュレーション進行部146は、選択位置の決定が行われると、即ち操作スイッチ35を全押しする動作(省略操作)に応じた操作信号をコントローラ3Bから受信すると、上述したように要救助者88の状態を更新する。また、シミュレーション進行部146は、上述した要救助者88の更新の際、救助縛帯83の位置情報を要救助者88の位置情報として置き換える。つまり、救助縛帯83の位置が要救助者88の位置として認識される。こうして、模擬訓練の一連の動作において、所定の動作である、要救助者88を救助縛帯83の位置まで連れて行き要救助者88に救助縛帯83を縛着する動作が省略されて、要救助者88の状態が更新される。つまり、救助訓練において、アバタ94Aが、要救助者88を救助縛帯83の場所まで移動させる動作及び要救助者88に救助縛帯83を縛着する動作は、省略が可能な第2類の動作として設定されている。
続く、ステップSb7において、シミュレーション進行部146は、シミュレーション画像内でアバタ94Aを救助縛帯83の近傍へ向かって移動させる。つまり、降下員94は、自アバタが救助縛帯83へ向かって近づくように、実空間において動作する。シミュレーション進行部146は、トラッキング制御部144における降下員94のトラッキング情報に基づいて、VR空間においてアバタ94Aを動作させる。
降下員94は、救助縛帯83の近傍に到達すると、コントローラ3Bを操作することによって、シミュレーション画像内で救助縛帯83を選択して決定する(ステップSb8~ステップSb10)。この救助訓練処理におけるステップSb8~ステップSb10のそれぞれの処理は、上述した降下訓練処理におけるステップSa1~ステップSa3と同様である。なお、ステップSb8においても、降下訓練処理におけるステップSa1と同様、救助縛帯83を選択することはカラビナ86を選択することと実質的には同じである。
続く、ステップSb11において、シミュレーション進行部146は、降下訓練処理におけるステップSa4と同様、カラビナ86を連結する前の状態からカラビナ86を連結した状態にアバタ94Aの状態を更新する。そして、シミュレーション進行部146は、シミュレーション画像の更新の際、救助縛帯83の位置情報をアバタ94Aの位置情報として置き換える。こうして、模擬訓練の一連の動作において、所定の動作であるアバタ94Aのカラビナ86連結動作が省略されて、アバタ94Aの状態が更新される。つまり、救助訓練において、アバタ94Aが自身とホイストケーブル82とを連結する動作、即ちアバタ94Aが自身の縛帯87とカラビナ86とを連結する動作は、省略が可能な第2類の動作として設定されている。
以上より、降下員94の訓練用端末1による救助訓練処理が終了し、引上げ訓練(ステップS5)に移行する。
引上げ訓練は、ホイストマン93が巻き上げ機84によって降下員94及び要救助者88を機体80内に引き上げる訓練である。
この引上げ訓練時の、降下員94の訓練用端末1による引上げ訓練処理について説明する。図17は、降下員94の訓練用端末1における引上げ訓練処理を示すフローチャートである。この引上げ訓練処理は、上述した救助訓練処理によって降下員94のアバタ94Aがカラビナ86と連結し要救助者88が救助縛帯83を縛着した状態から開始される。
まず、ステップSc1において、シミュレーション進行部146は、ホイストマン93の訓練用端末1から救助縛帯83の位置情報を受信する。これにより、シミュレーション進行部146は、救助縛帯83の移動(上昇)に伴ってアバタ94A及び要救助者88を移動(上昇)させる。そのため、降下員94のシミュレーション画像では、アバタ94A及び要救助者88が救助縛帯83と共に上昇していく(ステップSc2)。
なお、ホイストマン93、操縦士91及び副操縦士92の訓練用端末1のシミュレーション進行部146においても、上述した降下員94のアバタ94A及び要救助者88の更新に伴って、降下員94のアバタ94A(即ち、他アバタ)がカラビナ86と連結され要救助者88が救助縛帯83を縛着した状態を表すシミュレーション画像に更新される。ホイストマン93は、コントローラ3Bを操作することによって、シミュレーション画像内でペンダント型操作部を操作し、救助縛帯83(ホイストケーブル82)を上昇させていく。なお、アバタ94Aが救助縛帯83と共に上昇しているときは、アバタ94Aの位置は救助縛帯83の位置に固定された状態であるが、アバタ94Aの頭部や手は動作させることができる。引上げ訓練において、降下員94が巻き上げ機84によって上昇していく動作、並びに、ホイストマン93が巻き上げ機84を操作して降下員94を上昇させていく動作は、第1類の動作として設定されている。
続いて、ステップSc3において、シミュレーション画像内で機体80内の位置が選択される。具体的に、降下員94は、シミュレーション画像内でアバタ94Aが機体80付近まで上昇すると、コントローラ3Bを操作して、例えば図18に示すようにシミュレーション画像内の機体80内の位置をポインタ70で選択する。このコントローラ3Bによる選択動作は、降下訓練処理のステップSa1における選択動作と同様である。図18のシミュレーション画像は、機体80の操縦等を行っている操縦士91のアバタ91A及び副操縦士92のアバタ92Aと、巻き上げ機84を操作しながら、降下員94のアバタ94A及び要救助者88の機体80内への乗り込みを補助しようとしているホイストマン93のアバタ93Aが表示されている。
続いて、ステップSc4において、シミュレーション進行部146は、選択位置がアバタ94Aの移動可能範囲内か否かを判定する。具体的に、シミュレーション進行部146は、例えば、コントローラ3Bによって選択された位置(ポインタ70の位置)と救助縛帯83との距離が所定値以内か否かを判定する。選択位置(ポインタ70の位置)と救助縛帯83との距離が所定値以内であると、降下員94が安全に機体80内に移動することができるとして、選択位置が移動可能範囲内であると判定される。
選択位置が移動可能範囲内であると判定されると、降下員94は選択位置を決定する(ステップSc5)。降下員94は、コントローラ3Bを操作するとことによって、シミュレーション画像内のポインタ70で選択した位置の決定を行う。このコントローラ3Bによる決定動作は、降下訓練処理のステップSa3における決定動作と同様である。この場合も、シミュレーション進行部146は、選択位置が移動可能範囲内であると判定すると、ポインタ70の色を変える。ステップSc4において、選択位置が移動可能範囲外であると判定されると、ステップSc3に戻る。
続く、ステップSc6において、シミュレーション進行部146は、所定の動作前の状態から動作後の状態にシミュレーション画像を更新する(切り換える)。このステップSc6でいう所定の動作は、アバタ94Aが機体80内に乗り込む動作である。つまり、シミュレーション進行部146は、機体80内に乗り込む前の状態(図18参照)から機体80内に乗り込んだ状態にアバタ94Aの状態を更新する。例えば、機体80内の所定位置にアバタ94Aが表示されるように状態が更新される。こうして、模擬訓練の一連の動作において、所定の動作であるアバタ94Aの機体80内への乗り込み動作が省略されて、アバタ94Aの状態が更新される。つまり、引上げ訓練において、アバタ94Aの機体80内への乗り込み動作は省略が可能な第2類の動作として設定されている。
なお、図示しないが、この引上げ訓練では、ホイストマン93の訓練用端末1により、要救助者88の機体80内への乗り込み動作を行うようにしてもよい。この段落で言及するシミュレーション進行部146は、ホイストマン93の訓練用端末1のものである。具体的には、ホイストマン93は、シミュレーション画像内で要救助者88が機体80付近まで上昇すると、コントローラ3Bを操作して、例えばシミュレーション画像内において要救助者88の救助縛帯83をポインタ70で選択する(ステップ1)。このコントローラ3Bによる選択動作は、上述したステップSc3における選択動作と同様である。そして、シミュレーション進行部146は、選択位置が要救助者88の移動可能範囲内か否かを判定する(ステップ2)。選択位置が移動可能範囲内であると判定されると、ホイストマン93は選択位置を決定する(ステップ3)。つまり、ホイストマン93は、コントローラ3Bを操作することによって、シミュレーション画像内のポインタ70で選択した位置の決定を行う。このコントローラ3Bによる決定動作は、上述したステップSc5における決定動作と同様である。この場合も、シミュレーション進行部146は、選択位置が移動可能範囲内であると判定すると、ポインタ70の色を変える。ステップ2において、選択位置が移動可能範囲外であると判定されると、ステップ1に戻る。続いて、シミュレーション進行部146は、所定の動作前の状態から動作後の状態にシミュレーション画像を更新する(ステップ4)。このステップ4でいう所定の動作は、要救助者88が機体80内に乗り込む動作である。つまり、シミュレーション進行部146は、機体80内に乗り込む前の状態から機体80内に乗り込んだ状態に要救助者88の状態を更新する。例えば、機体80内の所定位置に要救助者88が表示されるように状態が更新される。こうして、模擬訓練の一連の動作において、所定の動作である要救助者88の機体80内への乗り込み動作が省略されて、要救助者88の状態が更新される。つまり、引上げ訓練において、要救助者88の機体80内への乗り込み動作は省略が可能な第2類の動作として設定されている。
以上より、降下員94の訓練用端末1による引上げ訓練処理が終了し、飛行訓練(ステップS6)に移行する。
この飛行訓練は、ヘリコプタを元の出発地まで飛行させる訓練である。ステップS1の飛行訓練と同様、操縦士91は、操縦装置3Aを操作することによって、シミュレーション画像内でヘリコプタを飛行させる。副操縦士92は、飛行中の安全確認を行ったり、操縦装置3Aによって操縦補助を行ったりする。ホイストマン93及び降下員94も、適宜、飛行中の安全確認を行う。ヘリコプタが元の出発地に到着すると、飛行訓練が終了すると共に、一連の模擬訓練(連携訓練)が終了する。
以上のように、航空機のVR訓練システム100は、実空間における訓練者9の動作に連動する、訓練者9のアバタを含み、VR空間における模擬訓練を行うためのシミュレーション画像を生成する訓練用端末1と、訓練者9が省略操作を行うコントローラ3Bとを備えている。降下員94の訓練用端末1は、模擬訓練の一連の動作において、コントローラ3Bへの省略操作が行われた際、降下員94のアバタ94Aの所定の動作を省略して、その所定の動作の動作前の状態から動作後の状態に前記シミュレーション画像を更新する。
また、航空機のVR訓練方法は、実空間における訓練者9の動作に連動する訓練者9のアバタが含まれ、訓練用端末1によって生成されるVR空間におけるシミュレーション画像を用いて模擬訓練を行う、航空機のVR訓練方法であって、訓練者9が省略操作を行うことと、模擬訓練の一連の動作において、前記省略操作が行われると、訓練用端末1が、アバタの所定の動作を省略して、前記所定の動作の動作前の状態から動作後の状態にシミュレーション画像を更新することとを備える。
また、シミュレーションプログラム131は、実空間における訓練者9の動作に連動する、訓練者9のアバタを含み、VR空間における模擬訓練を行うためのシミュレーション画像を生成する機能をシミュレーション進行部146(コンピュータ)に実現させるための、航空機のVR訓練プログラムであって、訓練者9による省略操作の操作信号を受信する機能と、模擬訓練の一連の動作において、省略操作の操作信号を受信すると、アバタの所定の動作を省略して、前記所定の動作の動作前の状態から動作後の状態に前記シミュレーション画像を更新する機能とをシミュレーション進行部146(コンピュータ)に実現させる。
これらの構成によれば、模擬訓練の一連の動作において、訓練者9のアバタの所定の動作を省略してシミュレーション画像を更新することができる。そのため、VR空間を用いての訓練ではほとんど訓練効果がない動作を上記所定の動作として設定することにより、そういった無用な動作を省略しながら模擬訓練を行うことができる。したがって、高効率の訓練を行うことができる。
特に、複数の訓練者9による連携訓練では、無用な動作が顕著となるため、より高効率な模擬訓練を実現することができる。
また、模擬訓練の一連の動作は、省略が不可能な第1類の動作と、省略が可能な第2類の動作とに区分されており、前記所定の動作は、第2類の動作である。
この構成によれば、訓練効果の高い重要な動作は第1類の動作として設定され、無用な動作は第2類の動作として設定される。そのため、模擬訓練の一連の動作において、重要な動作とそうでない動作とが明確に区別されるので、複数の訓練者9は共通の緊張感をもって連携訓練を行うことができる。
また、VR空間のオブジェクトは、航空機の機体80から巻き上げ機84によって巻き上げられるホイストケーブル82と、ホイストケーブル82に連結された救助縛帯83と、地表と、地表に存在する要救助者88とを含む。そして、省略可能な所定の動作(第2類の動作)は、機体80からアバタを巻き上げ機84によって昇降させる際、アバタが自身とホイストケーブル82とを連結する動作、機体80からアバタを巻き上げ機84によって降下させている際、アバタが、地表に着地し且つホイストケーブル82を脱離する動作、要救助者88を救助する際、地表に存在するアバタが、要救助者88を救助縛帯83の場所まで移動させる動作及び要救助者88に救助縛帯83を縛着する動作である。これらの動作は特に連携訓練では無用な動作となるため、これらの動作を省略することで高効率な訓練を実現することができる。
また、訓練用端末1は、アバタがホイストケーブル82と連結されている時は、アバタとホイストケーブル82との連結部の位置情報をアバタの位置情報として置き換える。この構成によれば、アバタ自身の位置情報を取得しなくてもよいため、訓練用端末1における処理量を軽減することができる。
(その他の実施形態)
以上のように、本出願において開示する技術の例示として、前記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、前記実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。また、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、前記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
以上のように、本出願において開示する技術の例示として、前記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、前記実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。また、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、前記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
例えば、VR訓練システム100が適用されるVR訓練は、ヘリコプタにおけるVR訓練に限定されない。VR訓練システム100は、ヘリコプタ以外の航空機のVR訓練にも適用できる。
操縦士91の訓練用端末1及び副操縦士92の訓練用端末1の演算能力に余裕がある場合などにおいては、機体演算端末5を省略し、操縦士91の訓練用端末1及び副操縦士92の訓練用端末1のそれぞれがVR空間における機体80の移動量及び姿勢の変化量を演算してもよい。その場合には、操縦士91の訓練用端末1及び副操縦士92の訓練用端末1のそれぞれに対応する操縦装置3Aが接続される。この場合、複数の訓練用端末のうちの一の訓練用端末1(具体的には、操縦士91及び副操縦士92の訓練用端末1のうち操縦機能が有効となっている方の訓練用端末1)が、操縦装置3Aを介した操作入力に基づいて、航空機の機体80のVR空間における位置及び姿勢を演算する機体端末として機能する。
あるいは、機体演算端末5は、操縦装置3Aを介した操作入力に基づいて機体80の移動量及び姿勢の変化量を演算するだけでなく、移動量情報に基づいて機体80のVR空間における位置及び姿勢を演算してもよい。この場合、機体演算端末5は、操縦装置3Aを介した操作入力に基づいて、航空機の機体80のVR空間における位置及び姿勢を演算する機体端末として機能する、訓練用端末1とは別の端末である。
あるいは、訓練用端末1のそれぞれが機体演算端末5から移動量情報を取得し、移動量情報に基づいて機体80のVR空間における位置及び姿勢を演算してもよい。
また、設定用端末6は、訓練を監視する機能を有していなくてもよい。
訓練者9は、操縦士91、副操縦士92、ホイストマン93及び降下員94に限定されない。訓練者9は、これらの中の3人又は2人であってもよい。あるいは、訓練者9は、これらの4人以外の者であってもよい。つまり、VR訓練システム100を使って連携訓練を行うことができる者であれば、任意の者が訓練者9となることができる。例えば、訓練者9に地上員(地表からヘリコプタを誘導する者)、管制官又は要救助者88が含まれていてもよい。
図6,8,14,17のフローチャートは、実施できる範囲で、ステップを省略したり、ステップの順番を変更したり、複数のステップを並行して処理したり、別のステップを追加したりすることができる。
図14のステップSb1の動作、即ち降下員94のアバタ94Aが要救助者88の場所まで移動する動作を、第2類の動作として設定してもよい。この場合、降下員94は、操作スイッチ35によって省略操作を行うことにより、要救助者88の近傍位置を選択する。これにより、降下員94のアバタ94Aが要救助者88の場所まで移動する動作が省略される。
図14のステップSb7の動作、即ち降下員94のアバタ94Aが救助縛帯83の場所まで移動する動作を、第2類の動作として設定してもよい。つまり、この場合、降下員94のアバタ94Aが救助縛帯83の場所まで移動する動作が省略される。
また、図14のステップSb5において、選択位置が決定されると、要救助者88を救助縛帯83を縛着した状態に更新すると同時に、降下員94のアバタ94Aをホイストケーブル82に連結した状態に更新するようにしてもよい。つまり、この場合、降下員94のアバタ94Aが、救助縛帯83の場所まで移動する動作及び自身とホイストケーブル82(カラビナ86)とを連結する動作が一気に省略される。そのため、この場合、図14のステップSb7~ステップSb11は不要となる。
上記実施形態では、操作スイッチ35を半押しする選択動作と操作スイッチ35を全押しする決定動作とを行う一連の操作を省略操作としたが、本願に開示の技術はこれに限らず、操作スイッチ35を全押しする決定動作のみを省略操作としてもよい。
VR表示装置2が表示する画像は、一人称視点のシミュレーション画像に限定されない。例えば、VR表示装置2は、三人称視点のシミュレーション画像を表示してもよい。
トラッキングシステム4は、訓練者9の動きを追跡できる限りは、任意の方式を採用することができる。例えば、トラッキングシステム4は、インサイドアウト方式であってもよい。
本実施の形態で開示された構成の機能は、電気回路又は処理回路を用いて実行されてもよい。電気回路又は処理回路は、開示された機能を実行するように構成若しくはプログラムされた、メインプロセッサ、専用プロセッサ、集積回路、ASICs、従来型の電気回路、コントローラ又はこれらを組み合わせたものであってもよい。プロセッサ又はコントローラは、トランジスタ及びその他の回路を含む処理回路等である。本開示において、回路、ユニット、コントローラ又は手段は、記載した機能を実行するためのハードウェア又はプログラムされたものである。ここで、ハードウェアは、本実施の形態で開示された機能を実行するように構成若しくはプログラムされた、本実施の形態で開示されたもの又は公知のハードウェアである。ハードウェアが、プロセッサ又はコントローラの場合、回路、手段又はユニットは、ハードウェアとソフトウェアの組み合わせであり、ソフトウェアは、ハードウェア及び/又はプロセッサを構成するために用いられる。
100 VR訓練システム
1 訓練用端末(端末)
131 シミュレーションプログラム(VR訓練プログラム)
3B コントローラ(操作装置)
91 操縦士(訓練者)
92 副操縦士(訓練者)
93 ホイストマン(訓練者)
94 降下員(訓練者)
1 訓練用端末(端末)
131 シミュレーションプログラム(VR訓練プログラム)
3B コントローラ(操作装置)
91 操縦士(訓練者)
92 副操縦士(訓練者)
93 ホイストマン(訓練者)
94 降下員(訓練者)
Claims (8)
- 実空間における訓練者の動作に連動する、前記訓練者のアバタを含み、VR空間における模擬訓練を行うためのシミュレーション画像を生成する端末と、
前記訓練者が省略操作を行う操作装置とを備え、
前記端末は、前記模擬訓練の一連の動作において、前記操作装置への省略操作が行われた際、前記アバタの所定の動作を省略して、前記所定の動作の動作前の状態から動作後の状態に前記シミュレーション画像を更新する、航空機のVR訓練システム。 - 請求項1に記載の航空機のVR訓練システムにおいて、
前記模擬訓練の一連の動作は、省略が不可能な第1類の動作と、省略が可能な第2類の動作とに区分されており、
前記所定の動作は、前記第2類の動作である、航空機のVR訓練システム。 - 請求項1又は2に記載の航空機のVR訓練システムにおいて、
前記VR空間のオブジェクトは、航空機の機体から巻き上げ機によって巻き上げられるホイストケーブルを含んでおり、
前記所定の動作は、前記機体から前記アバタを前記巻き上げ機によって昇降させる際、前記アバタが自身と前記ホイストケーブルとを連結する動作を含む、航空機のVR訓練システム。 - 請求項1又は2に記載の航空機のVR訓練システムにおいて、
前記VR空間のオブジェクトは、航空機の機体から巻き上げ機によって巻き上げられるホイストケーブルと、地表とを含んでおり、
前記所定の動作は、前記機体から前記アバタを前記巻き上げ機によって昇降させている際、前記アバタが、前記地表又は前記機体に着地し、且つ、前記ホイストケーブルを脱離する動作を含む、航空機のVR訓練システム。 - 請求項1又は2に記載の航空機のVR訓練システムにおいて、
前記VR空間のオブジェクトは、航空機の機体から巻き上げ機によって巻き上げられるホイストケーブルと、前記ホイストケーブルに連結された救助縛帯と、地表と、前記地表に存在する要救助者とを含んでおり、
前記所定の動作は、前記要救助者を救助する際、前記地表に存在する前記アバタが、前記要救助者の場所まで移動する動作、前記要救助者を前記救助縛帯の場所まで移動させる動作、前記要救助者に前記救助縛帯を縛着する動作、及び、前記救助縛帯の場所まで移動する動作の少なくとも1つを含む、航空機のVR訓練システム。 - 請求項3乃至5の何れか1項に記載の航空機のVR訓練システムにおいて、
前記端末は、前記アバタが前記ホイストケーブルと連結されている時は、前記アバタと前記ホイストケーブルとの連結部の位置情報を前記アバタの位置情報として置き換える、航空機のVR訓練システム。 - 実空間における訓練者の動作に連動する前記訓練者のアバタが含まれ、端末によって生成されるVR空間におけるシミュレーション画像を用いて模擬訓練を行う、航空機のVR訓練方法であって、
前記訓練者が省略操作を行うことと、
前記模擬訓練の一連の動作において、前記省略操作が行われると、前記端末が、前記アバタの所定の動作を省略して、前記所定の動作の動作前の状態から動作後の状態に前記シミュレーション画像を更新することとを備える、航空機のVR訓練方法。 - 実空間における訓練者の動作に連動する、前記訓練者のアバタを含み、VR空間における模擬訓練を行うためのシミュレーション画像を生成する機能をコンピュータに実現させるための、航空機のVR訓練プログラムであって、
前記訓練者による省略操作の操作信号を受信する機能と、
前記模擬訓練の一連の動作において、前記省略操作の操作信号を受信すると、前記アバタの所定の動作を省略して、前記所定の動作の動作前の状態から動作後の状態に前記シミュレーション画像を更新する機能とをコンピュータに実現させる、航空機のVR訓練プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21829427.0A EP4174826A4 (en) | 2020-06-26 | 2021-06-25 | VIRTUAL REALITY LEARNING SYSTEM FOR AIRCRAFT, VIRTUAL REALITY LEARNING METHOD FOR AIRCRAFT, AND VIRTUAL REALITY LEARNING PROGRAM FOR AIRCRAFT |
US18/086,669 US20230126752A1 (en) | 2020-06-26 | 2022-12-22 | Aircraft vr training system, aircraft vr training method, and aircraft vr training program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-110966 | 2020-06-26 | ||
JP2020110966A JP7502915B2 (ja) | 2020-06-26 | 2020-06-26 | 航空機のvr訓練システム、航空機のvr訓練方法および航空機のvr訓練プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US18/086,669 Continuation US20230126752A1 (en) | 2020-06-26 | 2022-12-22 | Aircraft vr training system, aircraft vr training method, and aircraft vr training program |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021261594A1 true WO2021261594A1 (ja) | 2021-12-30 |
Family
ID=79281452
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/024238 WO2021261594A1 (ja) | 2020-06-26 | 2021-06-25 | 航空機のvr訓練システム、航空機のvr訓練方法および航空機のvr訓練プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230126752A1 (ja) |
EP (1) | EP4174826A4 (ja) |
JP (1) | JP7502915B2 (ja) |
WO (1) | WO2021261594A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114898629A (zh) * | 2022-04-18 | 2022-08-12 | 中国南方航空股份有限公司 | 一种基于虚拟现实技术的b737飞机水上撤离实训方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8827709B1 (en) * | 2008-05-08 | 2014-09-09 | ACME Worldwide Enterprises, Inc. | Dynamic motion seat |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN206833745U (zh) * | 2017-03-29 | 2018-01-02 | 四川龙睿三航科技有限公司 | 一种vr直升机空中救援模拟训练系统 |
JP6410378B1 (ja) | 2017-06-30 | 2018-10-24 | Mxモバイリング株式会社 | Vrを用いた消火体験シミュレーションシステム、体験用消火器、及びプログラム |
CN110148330A (zh) * | 2019-05-09 | 2019-08-20 | 中国民航大学 | 一种基于虚拟现实的飞机航前绕机检查培训系统 |
US20200004325A1 (en) * | 2018-06-27 | 2020-01-02 | Gulfstream Aerospace Corporation | Trailer mounted aircraft fuselages with virtual environment systems |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016104186A1 (de) * | 2016-03-08 | 2017-09-14 | Rheinmetall Defence Electronics Gmbh | Simulator zum Training eines Teams einer Hubschrauberbesatzung |
-
2020
- 2020-06-26 JP JP2020110966A patent/JP7502915B2/ja active Active
-
2021
- 2021-06-25 WO PCT/JP2021/024238 patent/WO2021261594A1/ja unknown
- 2021-06-25 EP EP21829427.0A patent/EP4174826A4/en active Pending
-
2022
- 2022-12-22 US US18/086,669 patent/US20230126752A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN206833745U (zh) * | 2017-03-29 | 2018-01-02 | 四川龙睿三航科技有限公司 | 一种vr直升机空中救援模拟训练系统 |
JP6410378B1 (ja) | 2017-06-30 | 2018-10-24 | Mxモバイリング株式会社 | Vrを用いた消火体験シミュレーションシステム、体験用消火器、及びプログラム |
US20200004325A1 (en) * | 2018-06-27 | 2020-01-02 | Gulfstream Aerospace Corporation | Trailer mounted aircraft fuselages with virtual environment systems |
CN110148330A (zh) * | 2019-05-09 | 2019-08-20 | 中国民航大学 | 一种基于虚拟现实的飞机航前绕机检查培训系统 |
Non-Patent Citations (2)
Title |
---|
See also references of EP4174826A4 |
XPLANEOFFICIAL: "Getting Started with X-Plane VR", YOUTUBE, XP055893641, Retrieved from the Internet <URL:https://www.youtube.com/watch?v=EFQBnqrkeks> * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114898629A (zh) * | 2022-04-18 | 2022-08-12 | 中国南方航空股份有限公司 | 一种基于虚拟现实技术的b737飞机水上撤离实训方法 |
Also Published As
Publication number | Publication date |
---|---|
EP4174826A1 (en) | 2023-05-03 |
EP4174826A4 (en) | 2023-12-20 |
JP7502915B2 (ja) | 2024-06-19 |
JP2022007791A (ja) | 2022-01-13 |
US20230126752A1 (en) | 2023-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Tezza et al. | The state-of-the-art of human–drone interaction: A survey | |
WO2021261594A1 (ja) | 航空機のvr訓練システム、航空機のvr訓練方法および航空機のvr訓練プログラム | |
US20230135138A1 (en) | Vr training system for aircraft, vr training method for aircraft, and vr training program for aircraft | |
US20160275809A1 (en) | Motion platform system | |
CN109311639A (zh) | 用于起重机、施工机械和/或托盘搬运车的遥控装置 | |
JP2016507762A (ja) | ユーザーフレンドリーな投影システムを用いた、遠隔操作されたビークルの組み合わされたシミュレーション及び制御のための方法及び装置 | |
JP2016506528A (ja) | 遠隔操作されたビークルの組み合わされたシミュレーション及び制御のための方法及び装置 | |
KR101948660B1 (ko) | 가상현실 체험용 시뮬레이션 보드 장치 | |
JP6290467B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム | |
US6000942A (en) | Parachute flight training simulator | |
US11931664B2 (en) | User experiences in simulated environments | |
RU2653900C1 (ru) | Тренажер парашютиста-десантника и способ динамического сопровождения обучения на нем | |
KR102564810B1 (ko) | 실감형 소방훈련 시뮬레이터 | |
Kang et al. | Flotation Simulation in a Cable-driven Virtual Environment--A Study with Parasailing | |
US20230126008A1 (en) | Aircraft vr training system, aircraft vr training method, and aircraft vr training program | |
KR101686209B1 (ko) | 패러글라이딩용 시뮬레이션 시스템 | |
JP2018125003A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム | |
JPH08244691A (ja) | パラシュート操縦訓練用シミュレータ | |
JP6978240B2 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6839046B2 (ja) | 情報処理方法、装置、情報処理システム、および当該情報処理方法をコンピュータに実行させるプログラム | |
JPH08182787A (ja) | スカイダイビング及びパラシュート降下訓練シミュレータ | |
KR101418483B1 (ko) | 특수임무훈련을 위한 비행 시뮬레이터장치 및 그 제어방법 | |
JP6933850B1 (ja) | 仮想空間体感システム | |
JP2019213764A (ja) | シミュレーションシステム | |
KR20170079502A (ko) | 가상현실에서 압력비례형 컨트롤를 이용한 플레이어의 수직자세 제어가능한 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21829427 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021829427 Country of ref document: EP Effective date: 20230126 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |