JP7478041B2 - 航空機のvr訓練システム、航空機のvr訓練方法及び航空機のvr訓練プログラム - Google Patents

航空機のvr訓練システム、航空機のvr訓練方法及び航空機のvr訓練プログラム Download PDF

Info

Publication number
JP7478041B2
JP7478041B2 JP2020110965A JP2020110965A JP7478041B2 JP 7478041 B2 JP7478041 B2 JP 7478041B2 JP 2020110965 A JP2020110965 A JP 2020110965A JP 2020110965 A JP2020110965 A JP 2020110965A JP 7478041 B2 JP7478041 B2 JP 7478041B2
Authority
JP
Japan
Prior art keywords
training
setting
terminal
terminals
aircraft
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020110965A
Other languages
English (en)
Other versions
JP2022007790A (ja
Inventor
誠司 小松
良夫 村田
琢巳 小林
修 倉地
寛史 西村
裕一 志水
祐司 川部
宏紀 近藤
颯馬 新開
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Motors Ltd
Original Assignee
Kawasaki Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Jukogyo KK filed Critical Kawasaki Jukogyo KK
Priority to JP2020110965A priority Critical patent/JP7478041B2/ja
Priority to EP21828112.9A priority patent/EP4174824A4/en
Priority to PCT/JP2021/024237 priority patent/WO2021261593A1/ja
Publication of JP2022007790A publication Critical patent/JP2022007790A/ja
Priority to US18/086,705 priority patent/US20230126008A1/en
Application granted granted Critical
Publication of JP7478041B2 publication Critical patent/JP7478041B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30Simulation of view from aircraft
    • G09B9/301Simulation of view from aircraft by computer-processed or -generated image
    • G09B9/302Simulation of view from aircraft by computer-processed or -generated image the image being transformed by computer processing, e.g. updating the image to correspond to the changing point of view
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/08Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/10Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations all student stations being capable of presenting the same information simultaneously
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/08Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/12Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30Simulation of view from aircraft
    • G09B9/307Simulation of view from aircraft by helmet-mounted projector or display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/46Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer the aircraft being a helicopter
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Description

ここに開示された技術は、航空機のVR訓練システム、航空機のVR訓練方法及び航空機のVR訓練プログラムに関する。
従来より、共通の仮想現実空間、即ち、共通のVR(Virtual Reality)空間において、複数のユーザがVR体験を行うシステムが知られている。例えば、先行文献1には、共通のVR空間において複数のプレーヤがゲームを行うシステムが開示されている。このシステムでは、ゲームを開始する際に、プレーヤごとにセーブデータを読み込んだり、各プレーヤの操作キャラクタの初期配置を行うなどの初期設定が行われる。
特開2019-80743号公報
ところで、訓練にVR空間を活用することによって、安価なコストで且つ高いリアリティの訓練を実施することが考えられる。例えば、航空機における訓練の場合、実機での訓練は、コストがかかるだけでなく、現実の危険も伴う。また、操縦訓練だけであれば航空機の模擬装置等を使った訓練も考えられるが、操縦訓練等と連携した降下訓練等を模擬装置等を使って実現することは難しい。同様に、降下訓練だけであれば地上に設置された設備を使った訓練も考えられるが、降下訓練と操縦訓練等との連携を実現することは困難である。その一方で、VR空間を活用すれば、様々な連携訓練を柔軟に実現することが可能となる。
しかしながら、VR空間を使った訓練を行う場合、訓練内容に応じたVR空間を生成するための初期設定が必要となる。各訓練者が初期設定を行うと、各訓練者が訓練内容を予測できてしまうので、効果的な訓練とならない虞がある。
ここに開示された技術は、かかる点に鑑みてなされたものであり、その目的とするところは、VR空間を使った訓練において、訓練効果を高めつつ円滑に訓練を開始することにある。
ここに開示された航空機のVR訓練システムは、共通のVR空間における模擬訓練を行うためのシミュレーション画像を生成して、対応する訓練者に前記シミュレーション画像を提供する複数の訓練用端末と、前記シミュレーション画像の生成に必要な設定情報を有する設定用端末とを備え、前記設定用端末は、前記設定情報を前記複数の訓練用端末に送信し、前記複数の訓練用端末は、前記設定用端末から受信した前記設定情報を設定し、前記設定情報の設定の完了通知を前記設定用端末に送信し、前記設定用端末は、前記複数の訓練用端末の全てから前記完了通知を受信すると、前記複数の訓練用端末に前記模擬訓練を開始させる。
ここに開示された航空機のVR訓練方法は、複数の訓練用端末のそれぞれによって生成される共通のVR空間におけるシミュレーション画像を用いて、前記複数の訓練用端末に対応する複数の訓練者によって模擬訓練を行う、航空機のVR訓練方法であって、前記シミュレーション画像の生成に必要な設定情報を有する設定用端末から前記設定情報を前記複数の訓練用端末へ送信する工程と、前記複数の訓練用端末が前記設定用端末から前記設定情報を受信し、前記設定情報を設定する工程と、前記複数の訓練用端末が前記設定情報の設定の完了通知を前記設定用端末に送信する工程と、前記設定用端末が前記複数の訓練用端末の全てから前記完了通知を受信すると、前記複数の訓練用端末に前記模擬訓練を開始させる工程とを含む。
ここに開示された航空機のVR訓練プログラムは、共通のVR空間における模擬訓練を行うためのシミュレーション画像を生成して、対応する訓練者に前記シミュレーション画像を提供する機能を訓練用端末のコンピュータに実現させるための、航空機のVR訓練プログラムであって、前記シミュレーション画像の生成に必要な設定情報を有する設定用端末から前記設定情報を受信して、前記設定情報を設定する機能と、前記設定情報の設定の完了通知を前記設定用端末に送信する機能と、前記設定用端末から前記模擬訓練の開始通知を受信して前記模擬訓練を開始する機能とをコンピュータに実現させる。
ここに開示された航空機のVR訓練プログラムは、共通のVR空間における模擬訓練を行うためのシミュレーション画像を、対応する訓練者に提供する複数の訓練用端末に前記模擬訓練を開始させる機能を設定用端末のコンピュータに実現させるためのVR訓練プログラムであって、前記シミュレーション画像の生成に必要な設定情報を前記複数の訓練用端末に送信する機能と、前記設定情報の設定の完了通知を前記複数の訓練用端末の全てから受信すると、前記複数の訓練用端末に前記模擬訓練を開始させる開始通知を送信する機能とをコンピュータに実現させる。
前記航空機のVR訓練システムによれば、訓練効果を高めつつ円滑に訓練を開始することができる。
前記航空機のVR訓練方法によれば、訓練効果を高めつつ円滑に訓練を開始することができる。
前記航空機のVR訓練プログラムによれば、訓練効果を高めつつ円滑に訓練を開始することができる。
図1は、VR訓練システムの構成を示す図である。 図2は、VR訓練システムを用いて訓練を行う実空間の様子を示す概略図である。 図3は、VR空間に生成されるヘリコプタの一例を示す。 図4は、操縦士及び副操縦士の訓練用端末及びその周辺機器のブロック図である。 図5は、ホイストマン及び降下員の訓練用端末及びその周辺機器のブロック図である。 図6は、設定用端末及びその周辺機器のブロック図である。 図7は、設定用端末の訓練開始処理のフローチャートである。 図8は、訓練用端末の訓練開始処理のフローチャートである。 図9は、模擬訓練における各種訓練の流れを示すフローチャートである。 図10は、飛行訓練中のホイストマンのシミュレーション画像の一例である。 図11は、降下訓練中のホイストマン又は降下員のシミュレーション画像の一例である。 図12は、降下訓練中の降下員のシミュレーション画像の一例である。 図13は、降下訓練中のVR空間内の配置状況の一例を示す図である。 図14は、降下訓練中の副操縦士のシミュレーション画像の一例である。 図15は、降下訓練中のホイストマンのシミュレーション画像の一例である。 図16は、救助訓練における降下員のシミュレーション画像の一例である。 図17は、救助訓練における降下員のシミュレーション画像の一例である。 図18は、引上げ訓練における降下員のシミュレーション画像の一例である。
以下、例示的な実施形態を図面に基づいて詳細に説明する。図1は、VR訓練システム100の構成を示す図である。図2は、VR訓練システム100を用いて訓練を行う実空間の様子を示す概略図である。なお、図2では各端末の図示を省略している。
VR訓練システム100は、共通のVR空間における模擬訓練(以下、「VR訓練」と称する)を行うためのシステムである。このVR訓練システム100は、航空機(この例では、ヘリコプタ)におけるVR訓練に用いられる。VR訓練システム100は、共通のVR空間における模擬訓練を行うためのシミュレーション画像を生成し、対応する訓練者9にシミュレーション画像を提供する複数の訓練用端末1と、シミュレーション画像の生成に必要な設定情報を有する設定用端末6とを備えている。シミュレーション画像は、VR空間を形成する画像であり、いわゆるVR画像である。シミュレーション画像は、訓練者9のアバタ及び航空機の機体を含む。
複数の訓練用端末1のそれぞれは、互いに通信可能に接続されている。また、複数の訓練用端末1は、設定用端末6と通信可能に接続されている。これらの各端末は、LAN等を介して有線接続されている。なお、各端末は、無線接続であってもよい。
模擬訓練は、複数の訓練用端末1にそれぞれ対応する複数の訓練者9による連携訓練である。この例では、複数の訓練者9は、VR訓練システム100を使って、共通のVR空間において救助用ヘリコプタにおける連携訓練を行う。訓練者9には、例えば、操縦士91、副操縦士92、ホイストマン93及び降下員94が含まれている。以下、各訓練者を区別しない場合には、単に「訓練者9」と称する。連携訓練とは、複数の訓練者9が連携して行う訓練である。例えば、連携訓練は、複数の訓練者9によって、要救助者が存在する地点までヘリコプタを飛行させ、要救助者を救出する訓練である。連携訓練の内容には、操縦士9による出発地点から要救助者の場所までのヘリコプタの飛行、飛行中の副操縦士92等による操縦補助及び安全確認、ホイストマン93及び降下員94による降下及び引き上げ等が含まれる。
図3は、VR空間に生成されるヘリコプタの一例を示す。例えば、ヘリコプタ8は、機体80と、機体80の上部から右側又は左側へ片持ち状に延びるブーム81と、ブーム81から吊り下げられたホイストケーブル82と、ホイストケーブル82に連結された救助縛帯83と、ホイストケーブル82を巻き上げる巻き上げ機84と、巻き上げ機84を操作するためのペンダント型操作部(図示省略)とを有している。操縦士91のアバタである操縦士アバタ91A、副操縦士92のアバタである副操縦士アバタ92A及びホイストマン93のアバタであるホイストマンアバタ93Aは、機体80内に配置されている。図示は省略するが、降下員94のアバタである降下員アバタも、基本的には機体80内に配置されている。
訓練用端末1は、訓練者9のための端末である。訓練者9ごとに1台の訓練用端末1が割り当てられている。各訓練用端末1は、対応する訓練者9のためのシミュレーション画像を生成する。例えば、各訓練用端末1は、対応する訓練者9の一人称視点でのシミュレーション画像を生成する。つまり、各訓練用端末1は、共通のVR空間において異なる視点のシミュレーション画像を生成する。この例では、4人の訓練者9のための4台の訓練用端末1が設けられている。
各訓練用端末1には、VR表示装置2が接続されている。VR表示装置2は、訓練用端末1によって生成されたシミュレーション画像を表示する。VR表示装置2は、訓練者9の頭部に装着される。例えば、VR表示装置2は、HMD(Head Mounted Display)である。HMDは、ディスプレイを有するゴーグル形状のVR専用の装置であってもよく、あるいは、頭部に装着可能なホルダにスマートフォン又は携帯ゲーム装置を取り付けることによって構成されるものであってもよい。VR表示装置2は、右目用画像及び左目用画像を含む3次元画像を表示する。VR表示装置2は、ヘッドホン28及びマイク29を有していてもよい。訓練者9は、ヘッドホン28及びマイク29を介して、他の訓練者9と対話を行う。また、訓練者9は、シミュレーションに必要な音声をヘッドホン28を介して聞くことができる。
VR訓練システム100は、模擬訓練において訓練者9によって使用される操作装置をさらに備えている。訓練者9は、操作装置を訓練内容に応じて操作する。操作装置は、訓練者9及び操作内容に応じて適宜変更される。例えば、VR訓練システム100は、操縦士91のための操縦装置3Aと副操縦士92のための操縦装置3Aとを備えている。VR訓練システム100は、ホイストマン93のための2つのコントローラ3Bと、降下員94のための2つのコントローラ3Bとを備えている。
操縦装置3Aは、複数の訓練者9のうち航空機を操縦する訓練者9、即ち、操縦士91又は副操縦士92が操作する。操縦装置3Aは、操縦士91又は副操縦士92の操作入力を受け付ける。具体的には、操縦装置3Aは、操縦桿31、ペダル32及びCPレバー33を有している。操縦桿31、ペダル32及びCPレバー33のそれぞれには、操作量を検出するセンサ(図示省略)が設けられている。各センサは、操作量に応じた操作信号を出力する。操縦装置3Aは、シート34をさらに有している。操縦士91又は副操縦士92が操縦装置3Aを操作することによって、シミュレーション画像中の航空機、具体的にはヘリコプタの位置及び姿勢が変更される。操縦装置3Aは、機体演算端末5に接続されている。つまり、操縦桿31、ペダル32及びCPレバー33からの操作信号は、機体演算端末5に入力される。
機体演算端末5は、操縦装置3Aを介した操作入力に基づいて航空機の機体の移動量及び姿勢の変化量を演算する。機体演算端末5は、訓練用端末1の演算負荷軽減のためにVR訓練システム100に設けられた端末である。機体演算端末5は、複数の訓練用端末1及び設定用端末6のそれぞれと通信可能に接続されている。機体演算端末5と複数の訓練用端末1及び設定用端末6とは、LAN等を介して有線接続されている。なお、機体演算端末5と複数の訓練用端末1及び設定用端末6とは、無線接続されていてもよい。
機体演算端末5は、機体の移動量及び姿勢の変化量に関する移動量情報を操縦士91の訓練用端末1及び副操縦士92の訓練用端末1の少なくとも一方へ送信する。移動量情報を受け取った訓練用端末1は、移動量情報に基づいて機体80のVR空間における位置及び姿勢を演算する。つまり、機体演算端末5と移動量情報を受け取る訓練用端末1とは、操縦装置3Aを介した操作入力に基づいて航空機の機体80のVR空間における位置及び姿勢を演算する機体端末50を形成する。
コントローラ3Bは、可搬型のデバイスである。訓練者9(即ち、ホイストマン93及び降下員94)は、右手と左手のそれぞれでコントローラ3Bを携帯する。コントローラ3Bは、モーショントラッカ機能を有する。すなわち、コントローラ3Bは、後述するトラッキングシステム4によってセンシングされる。コントローラ3Bは、訓練者9の入力を受け付ける操作スイッチ35(図5参照)を有している。操作スイッチ35は、訓練者9からの入力に応じた操作信号を出力する。コントローラ3Bは、ホイストマン93又は降下員94の訓練用端末1に接続されている。つまり、操作スイッチ35からの操作信号は、対応するホイストマン93又は降下員94の訓練用端末1に入力される。
設定用端末6は、初期設定を行う権限を有する管理者(例えば、教官)からの設定情報の入力を受け付ける。設定用端末6は、入力された設定情報を初期設定として設定する。設定用端末6は、設定情報を訓練用端末1に送信すると共に、模擬訓練の開始通知を訓練用端末1に送信する。また、設定用端末6は、訓練におけるシミュレーション画像を表示する。ただし、本実施形態では、設定用端末6は、シミュレーション画像を生成していない。設定用端末6は、訓練用端末1によって生成されたシミュレーション画像を取得して表示する。これにより、訓練者9以外の者(例えば、教官)が訓練のシミュレーションを監視することができる。なお、設定用端末6は、各訓練用端末1から情報を取得して各訓練者9のシミュレーション画像を生成してもよい。
さらに、VR訓練システム100は、トラッキングシステム4をさらに有している。トラッキングシステム4は、実空間における複数の訓練者9の動きを検出する。トラッキングシステム4は、VR表示装置2及びコントローラ3Bをセンシングする。トラッキングシステム4は、この例では、アウトサイドイン方式のトラッキングシステムである。
具体的には、トラッキングシステム4は、複数のトラッキングセンサ41と、トラッキングセンサ41からの信号を受信する通信装置42(図4,5参照)とを有している。トラッキングセンサ41は、例えば、カメラである。トラッキングセンサ41は、訓練者9が存在する実空間をステレオ撮影できるように配置されている。VR表示装置2及びコントローラ3Bのそれぞれには、発光式のトラッキングマーカが設けられている。複数のトラッキングセンサ41は、VR表示装置2及びコントローラ3Bのそれぞれのトラッキングマーカをステレオ撮影する。
トラッキングシステム4は、複数の訓練者9に関して共通である。つまり、共通のトラッキングシステム4によって、複数の訓練者9のVR表示装置2及びコントローラ3Bがセンシング、即ち、トラッキングされる。
トラッキングセンサ41によって撮影された画像データは、通信装置42に送信される。通信装置42は、受信した画像データを、訓練用端末1へ送信する。
訓練用端末1のそれぞれは、トラッキングシステム4からの画像データを画像処理することによって、対応する訓練者9のアバタのVR空間における位置及び姿勢を求める。
それに加えて、ホイストマン93及び降下員94の訓練用端末1のそれぞれは、トラッキングシステム4からの画像データを画像処理することによって、対応する訓練者9のコントローラ3Bのトラッキングマーカに基づいて、対応する訓練者9のアバタのVR空間における両手の位置及び姿勢を求める。
図4は、操縦士91及び副操縦士92の訓練用端末1及びその周辺機器のブロック図である。
操縦士91及び副操縦士92の訓練用端末1には、VR表示装置2、機体演算端末5及びトラッキングシステム4が接続されている。機体演算端末5には、操縦装置3Aが接続されている。
訓練用端末1は、入力部11と、通信部12と、記憶部13と、処理部14とを有している。
入力部11は、訓練者9からの操作入力を受け付ける。入力部11は、操作入力に応じた入力信号を処理部14へ出力する。例えば、入力部11は、キーボード、又はマウスである。
通信部12は、他の端末等と通信を行うインターフェースである。例えば、通信部12は、ケーブルモデム、ソフトモデム又は無線モデムで形成されている。なお、後述する通信部22、通信部51及び通信部63も、通信部12と同様に構成されている。通信部12は、他の訓練用端末1、機体演算端末5及び設定用端末6等の他の端末との通信を実現する。
記憶部13は、各種プログラム及び各種データを記憶する、コンピュータに読み取り可能な記憶媒体である。記憶部13は、ハードディスク等の磁気ディスク、CD-ROM及びDVD等の光ディスク、又は半導体メモリによって形成されている。なお、後述する記憶部52及び記憶部64も、記憶部13と同様に構成されている。
記憶部13は、シミュレーションプログラム131、フィールド定義データ132、アバタ定義データ133、オブジェクト定義データ134及び音声データ135等を記憶している。
シミュレーションプログラム131は、共通のVR空間における模擬訓練を行うためのシミュレーション画像を生成して、対応する訓練者9にシミュレーション画像を提供する各種機能をコンピュータ、即ち、処理部14に実現させるためのプログラムである。シミュレーションプログラム131は、処理部14によって読み出され、実行される。
フィールド定義データ132は、訓練が行われるフィールドを定義する。例えば、フィールド定義データ132は、フィールドの広さ、フィールドの地形、及びフィールド内の障害物等のオブジェクトを定義する。フィールド定義データ132は、訓練が行われるフィールドの種類ごとに用意されている。
アバタ定義データ133は、自己のアバタ(以下、「自アバタ」と称する)及び他の訓練者9のアバタ(以下、「他アバタ」と称する)を定義する。アバタ定義データ133は、アバタの種類ごとに用意されている。自アバタのアバタ定義データ133は、自アバタのCGデータ(例えば、ポリゴンデータ)だけでなく、初期位置情報(VR空間における初期位置及び初期姿勢に関する情報)も含んでいる。
ここで、アバタの位置情報(初期位置情報も含む)は、位置に関する情報としてVR空間における直交三軸の位置座標(x,y,z)と、姿勢に関する情報として各軸回りの回転角(Φ,θ,ψ)とを含む。後述するヘリコプタの機体80等のオブジェクトの位置情報についても同様である。
オブジェクト定義データ134は、訓練に必要な各種オブジェクトを定義する。オブジェクト定義データ134は、オブジェクトの種類ごとに用意されている。例えば、ヘリコプタの機体80、ブーム81、ホイストケーブル82、救助縛帯83、巻き上げ機84、ペンダント型操作部、要救助者88(図16,17参照)及び地表等のオブジェクト定義データ134が用意されている。
音声データ135は、ヘリコプタの飛行音等のシミュレーション中の効果音に関するデータである。
処理部14は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)及び/又はDSP(Digital Signal Processor)等の各種プロセッサと、VRAM、RAM及び/又はROM等の各種半導体メモリとを有している。なお、後述する処理部25、処理部53及び処理部65も、処理部14と同様に構成されている。
処理部14は、記憶部13に記憶された各種プログラムを読み出して実行することによって、訓練用端末1の各部を統括的に制御すると共に、シミュレーション画像を提供するための各種機能を実現する。具体的には、処理部14は、通信制御部141と、設定部142と、完了通知部143と、トラッキング制御部144と、音声生成部145と、シミュレーション進行部146とを機能ブロックとして有する。
通信制御部141は、通信部12を介した外部の端末又は装置との通信処理を実行する。通信制御部141は、データ通信に関するデータ処理を実行する。
設定部142は、シミュレーション画像の生成に関する設定情報を設定用端末6から受信して、設定情報を設定する。設定部142は、各種設定情報を初期設定として設定する。
完了通知部143は、設定部142による設定情報の設定が完了すると、設定情報の設定の完了通知を設定用端末6に送信する。
トラッキング制御部144は、対応する訓練者9のアバタである自アバタのVR空間における位置及び姿勢をトラッキングシステム4の検出結果に基づいて演算する。トラッキング制御部144は、通信装置42を介して入力されるトラッキングセンサ41からの画像データに基づいて、トラッキングに関する各種演算処理を実行する。具体的には、トラッキング制御部144は、画像データを画像処理することによって、対応する訓練者9のVR表示装置2のトラッキングマーカを追跡し、実空間における訓練者9の位置及び姿勢を求める。トラッキング制御部144は、実空間における訓練者9の位置及び姿勢を所定の座標対応関係に基づいて、VR空間における自アバタの位置及び姿勢を求める。トラッキング制御部144によって求められたVR空間における自アバタの位置及び姿勢に関する情報を位置情報と称する。以下、「アバタの位置及び姿勢」並びに「アバタの位置」は、それぞれ「VR空間における位置及び姿勢」並びに「VR空間における位置」を意味する。
音声生成部145は、音声データ135を記憶部13から読み出し、シミュレーションの進行に応じた音声を生成する。
シミュレーション進行部146は、シミュレーションの進行に関する各種演算処理を実行する。例えば、シミュレーション進行部146は、シミュレーション画像を生成する。シミュレーション進行部146は、設定部142の初期設定に基づいてフィールド定義データ132及びオブジェクト定義データ134を記憶部13から読み出し、フィールド画像にオブジェクト画像が合成されたシミュレーション画像を生成する。
また、シミュレーション進行部146は、自アバタに対応するアバタ定義データ133を記憶部13から読み出し、自アバタの位置情報に基づいて自アバタ(例えば、自アバタの手足)をVR空間に合成してシミュレーション画像を生成する。ここで、操縦士91及び副操縦士92の自アバタは、VR空間内の操縦席及び副操縦席に着席した状態が維持されていてもよい。すなわち、シミュレーション画像において、操縦士91及び副操縦士92の自アバタの、機体80内の位置は固定であり、自アバタの頭部のみが動作(回転及び傾動)してもよい。その場合、操縦士91及び副操縦士92の訓練用端末1のシミュレーション進行部146は、自アバタの画像を生成しなくてもよい。
さらに、シミュレーション進行部146は、複数の訓練用端末1のうちの他の訓練用端末1に対応する訓練者9のアバタである他アバタの位置情報を他の訓練用端末1から取得し、取得された位置情報に基づいて他アバタをVR空間に生成する。具体的には、シミュレーション進行部146は、他アバタに対応するアバタ定義データ133を記憶部13から読み出し、他の訓練用端末1から取得した他アバタの位置情報に基づいて他アバタをVR空間に合成してシミュレーション画像を生成する。
シミュレーション進行部146は、設定用端末6から模擬訓練の開始通知を受信して模擬訓練を開始する。すなわち、シミュレーション進行部146は、シミュレーション画像における訓練を開始する。シミュレーション進行部146は、模擬訓練中は、連携訓練のシミュレーションの進行を制御する。
具体的には、シミュレーション進行部146は、後述する機体演算端末5からの移動量情報(操縦装置3Aの操作入力に応じた機体の移動量及び姿勢の変化量に関する情報)に基づいて機体80のVR空間における位置及び姿勢を演算する。シミュレーション進行部146は、機体演算端末5からの機体の移動量及び姿勢の変化量を、VR空間の座標系における機体80の移動量及び姿勢の変化量に変換し、機体80のVR空間における位置及び姿勢を演算する。これにより、操縦装置3Aの操作入力に応じて、VR空間においてヘリコプタが移動、即ち、飛行する。
このVR空間における機体80の位置及び姿勢の演算は、操縦士91及び副操縦士92の訓練用端末1のうち、機体の操縦機能が有効となっている方の訓練用端末1が実行する。操縦士91及び副操縦士92の訓練用端末1のうち何れの訓練用端末1の操縦機能を有効とするかは切り替え可能となっている。通常は、操縦士91の訓練用端末1の操縦機能が有効に設定されている。訓練の状況に応じて、副操縦士92の訓練用端末1の操縦機能が有効に設定される場合もある。
また、シミュレーション進行部146は、トラッキング制御部144からの位置情報に基づいてVR空間内で自アバタを動作させ、他の訓練端末1から受信する他アバタの位置情報に基づいてVR空間内で他アバタを動作させる。なお、操縦士91及び副操縦士92の自アバタは、VR空間内の操縦席及び副操縦席に固定されている場合には、自アバタの頭部のみが動作(回転及び傾動)する。ただし、操縦士91及び副操縦士92の自アバタは、頭部のみが動作するだけでなく、他アバタと同様にトラッキング制御部144からの位置情報に基づいてVR空間内で動作してもよい。
さらに、シミュレーション進行部146は、トラッキング制御部144からの位置情報に基づく操縦士91又は副操縦士92の頭部の向きの変更に応じて、表示させるシミュレーション画像のフレームの位置又は角度を変更する。シミュレーション進行部146は、生成したシミュレーション画像をVR表示装置2及び設定用端末6へ出力する。このとき、シミュレーション進行部146は、必要に応じて、音声生成部145によって生成された音声をヘッドホン28及び設定用端末6へ出力する。
VR表示装置2は、入力部21と、通信部22と、記憶部23と、表示部24と、処理部25とを有している。
入力部21は、訓練者9からの操作入力を受け付ける。入力部21は、操作入力に応じた入力信号を処理部25へ出力する。例えば、入力部21は、操作ボタン又はスライドスイッチ等である。
通信部22は、訓練用端末1との通信を実現するインターフェースである。
記憶部23は、各種プログラム及び各種データを記憶する、コンピュータに読み取り可能な記憶媒体である。記憶部23は、半導体メモリ等によって形成されている。記憶部23は、シミュレーション画像を表示部24で表示するための各種機能をコンピュータ、即ち、処理部25に実現させるためのプログラム及び各種データが記憶されている。
表示部24は、例えば、液晶ディスプレイ又は有機ELディスプレイである。表示部24は、右目用画像と左目用画像とを表示することができる。
処理部25は、記憶部23に記憶された各種プログラムを読み出して実行することによって、VR表示装置2の各部を統括的に制御すると共に、シミュレーション画像を表示部24に表示させるための各種機能を実現する。
機体演算端末5は、通信部51と、記憶部52と、処理部53とを有している。機体演算端末5には、操縦装置3Aから出力される操作信号が入力される。具体的には、操縦桿31、ペダル32及びCPレバー33のそれぞれから、スイッチの押下及び操作量に応じた操作信号が入力される。機体演算端末5は、操縦装置3Aの操作量に応じた機体の移動量及び姿勢の変化量を演算し、移動量情報を出力する。
通信部51は、訓練用端末1等との通信を実現するインターフェースである。
記憶部52は、演算プログラム521等を記憶している。演算プログラム521は、VR空間における航空機の機体80の位置及び姿勢を演算するための各種機能をコンピュータ、即ち、処理部53に実現させるためのプログラムである。演算プログラム521は、処理部53によって読み出され、実行される。
処理部53は、記憶部52に記憶された各種プログラムを読み出して実行することによって、機体演算端末5の各部を統括的に制御すると共に、機体の移動量及び姿勢の変化量を演算するための各種機能を実現する。具体的には、処理部53は、通信制御部531と、機体演算部532とを機能ブロックとして有する。
通信制御部531は、通信部51を介した訓練用端末1等との通信処理を実行する。通信制御部531は、データ通信に関するデータ処理を実行する。
機体演算部532は、操縦装置3Aからの操作信号に基づいて機体の移動量及び姿勢の変化量を演算する。詳しくは、機体演算部532は、操縦桿31、ペダル32及びCPレバー33からの各操作信号に基づいて、操縦桿31、ペダル32及びCPレバー33のスイッチの押下及び操作量に応じた機体の移動量及び姿勢の変化量を演算する。機体演算部532は、演算した機体の移動量及び姿勢の変化量に関する移動量情報を訓練用端末1へ送信する。
図5は、ホイストマン93及び降下員94の訓練用端末1及びその周辺機器のブロック図である。
ホイストマン93及び降下員94の訓練用端末1には、VR表示装置2、コントローラ3B及びトラッキングシステム4が接続されている。コントローラ3Bは、操作スイッチ35を有している。操作スイッチ35の操作信号は、訓練用端末1に入力される。
ホイストマン93及び降下員94の訓練用端末1の基本的な構成は、操縦士91及び副操縦士92の訓練用端末1と同様である。ただし、ホイストマン93及び降下員94と操縦士91及び副操縦士92との訓練内容の違いに起因して、ホイストマン93及び降下員94の訓練用端末1の処理内容は、操縦士91及び副操縦士92の訓練用端末1と少し異なる。
詳しくは、トラッキング制御部144は、対応する訓練者9のアバタである自アバタのVR空間における位置及び姿勢をトラッキングシステム4の検出結果に基づいて演算する。トラッキング制御部144は、通信装置42を介して入力されるトラッキングセンサ41からの画像データに基づいて、トラッキングに関する各種演算処理を実行する。具体的には、トラッキング制御部144は、画像データを画像処理することによって、対応する訓練者9のVR表示装置2のトラッキングマーカを追跡し、実空間における訓練者9の位置及び姿勢を求める。トラッキング制御部144は、実空間における訓練者9の位置及び姿勢を所定の座標対応関係に基づいて、自アバタの位置及び姿勢を求める。それに加えて、トラッキング制御部144は、画像データを画像処理することによって、コントローラ3Bのトラッキングマーカを追跡し、実空間における訓練者9の両手の位置及び姿勢を求める。トラッキング制御部144は、実空間における訓練者9の両手の位置及び姿勢を所定の座標対応関係に基づいて、自アバタの両手の位置及び姿勢を求める。つまり、ホイストマン93及び降下員94の訓練用端末1のトラッキング制御部144は、自アバタの位置及び姿勢、並びに、自アバタの両手の位置及び姿勢を位置情報として求める。
シミュレーション進行部146がシミュレーション画像を生成し、連携訓練のシミュレーションの進行を制御することは、操縦士91及び副操縦士92の訓練用端末1と同様である。ただし、操縦席及び副操縦席に着席したままの操縦士91及び副操縦士92と異なり、ホイストマン93及び降下員94は、機内及び機外で移動が可能である。そのため、シミュレーション進行部146は、VR空間内で自アバタを自由に移動させる。また、シミュレーション進行部146は、トラッキング制御部144からの位置情報に基づいて、ホイストマン93又は降下員94の頭部の位置又は向きの変更に応じて、表示させるシミュレーション画像のフレームの位置又は角度を変更する。それに加えて、シミュレーション進行部146は、コントローラ3Bの操作スイッチ35からの操作信号に応じて、VR空間内で自アバタに操作信号に応じた処理を実行させる。ここで、操作信号に応じた処理は、例えば、ヘリコプタのドアの開閉やペンダント型操作部の操作等である。
図6は、設定用端末6及びその周辺機器のブロック図である。
設定用端末6は、表示部61と、入力部62と、通信部63と、記憶部64と、処理部65とを有している。
表示部61は、例えば、液晶ディスプレイ、有機ELディスプレイ、又は、プロジェクタ及びスクリーンである。
入力部62は、初期設定を行う権限を有する管理者(例えば、教官)の入力操作を受け付ける。入力部62は、例えば、キーボード又はマウスである。
通信部63は、訓練用端末1等との通信を実現するインターフェースである。
記憶部64は、開始プログラム641等を記憶している。開始プログラム641は、共通のVR空間における模擬訓練を行うためのシミュレーション画像を、対応する訓練者に提供する複数の訓練用端末1に模擬訓練を開始させる各種機能をコンピュータ、即ち、処理部65に実現させるためのプログラムである。開始プログラム641は、処理部65によって読み出され、実行される。
処理部65は、記憶部64に記憶された各種プログラムを読み出して実行することによって、設定用端末6の各部を統括的に制御すると共に、シミュレーションに関する初期設定を行うための各種機能を実現する。具体的には、処理部65は、通信制御部651と、設定部652と、開始通知部653と、監視部654とを機能ブロックとして有する。
通信制御部651は、通信部63を介した外部の端末又は装置との通信処理を実行する。通信制御部651は、データ通信に関するデータ処理を実行する。
設定部652は、シミュレーション画像の生成に必要な初期設定に関する各種設定情報のユーザからの入力を受け付けると共に、入力された設定情報を初期設定として設定する。設定部652は、記憶部64に記憶された設定入力画面を表示部61に表示させる。設定部652は、設定入力画面に対して入力部62を介して入力された設定情報を初期設定として記憶部64に記憶させる。また、設定部652は、設定情報を複数の訓練用端末1に送信する。
開始通知部653は、設定情報の設定の完了通知を複数の訓練用端末1の全てから受信すると、複数の訓練用端末1に模擬訓練を開始させる開始通知を送信する。開始通知部653から全ての訓練用端末1に開始通知がなされることによって、各訓練用端末1において訓練が開始される。
監視部654は、各訓練用端末1からシミュレーション画像を受け取る。つまり、監視部654は、それぞれの訓練者9に応じた一人称視点のシミュレーション画像を受け取る。監視部654は、何れか1人の訓練者9の一人称視点のシミュレーション画像を表示部61に表示させる。あるいは、監視部654は、全ての訓練者9の一人称視点のシミュレーション画像を表示部61に分割表示させる。全ての一人称視点のシミュレーション画像を分割表示させた場合、監視部654は、入力部62を介した選択操作に応じて、何れか1つの一人称視点のシミュレーション画像を表示部61に表示させてもよい。
続いて、VR訓練システム100における訓練開始処理について説明する。図7は、設定用端末6の訓練開始処理のフローチャートである。
まず、ステップSa1において、処理部65は、初期設定の入力を受け付ける。具体的には、設定部652は、初期設定を行うための設定入力画面を表示部61に表示させると共に、入力部62を介して管理者から設定情報の入力を受け付ける。
例えば、設定部652は、接続される端末の個数を特定する情報(以下、「端末数情報」と称する)、接続される端末のIPアドレスを特定する情報(以下、「端末アドレス情報」と称する)、訓練のシミュレーションが実施される訓練フィールドを特定する情報(以下、「フィールド情報」と称する)、ヘリコプタのブームの向き(即ち、ブームがヘリコプタの左右のどちら側に延びているか)を特定する情報(以下、「ブーム情報」と称する)、及び、訓練フィールド内における要救助者の位置を特定する情報(以下、「要救助者情報」と称する)の入力を受け付ける。端末数情報及び端末アドレス情報によって、訓練に参加する訓練者が特定される。訓練フィールドとしては山間部等の各種フィールドが用意されている。なお、フィールド情報には、予め設定された、訓練フィールドにおけるヘリコプタの初期位置(即ち、ヘリコプタのローカル座標系の原点の初期位置)も含まれている。端末数情報、端末アドレス情報、フィールド情報、ブーム情報及び要救助者情報は、設定情報の一例である。設定部652は、これらの設定情報を初期設定として設定する。なお、ヘリコプタの初期位置は、フィールド情報に含まれるのではなく、設定情報の1つの項目として入力されてもよい。
処理部65は、ステップSa2において、初期設定が完了したか否かを判定する。具体的には、設定部652は、管理者が入力部62を介して入力完了の操作を行ったか否かによって、初期設定が完了したか否かを判定する。初期設定が完了していない場合には、設定部652は、ステップSa1,Sa2の処理を繰り返す。
初期設定が完了すると、処理部65は、ステップSa3において、初期設定に関する設定情報を訓練用端末1へ送信する。具体的には、設定部652は、訓練用端末1から接続要求を受信すると、通信の確立完了を示す接続完了応答と併せて設定情報を訓練用端末1に送信する。ステップSa3は、シミュレーション画像の生成に必要な設定情報を有する設定用端末から設定情報を複数の訓練用端末へ送信する工程に相当する。
その後、処理部65は、ステップSa4において、全ての訓練用端末1に設定情報を送信したか否かを判定する。全ての訓練用端末1への設定情報の送信が完了している場合には、処理部65はステップSa5へ進む一方、全ての訓練用端末1への設定情報の送信が完了していない場合には、処理部65は、ステップSa3,Sa4の処理を繰り返す。
ステップSa5において、処理部65は、訓練用端末1の準備完了を示す完了通知を訓練用端末1から受信する。
その後、処理部65、詳しくは、開始通知部653は、ステップSa6において、全ての訓練用端末1から完了通知を受信したか否かを判定する。いずれかの訓練用端末1から完了通知を受信していない場合には、開始通知部653は、ステップSa5,Sa6の処理を繰り返す。
全ての訓練用端末1から完了通知を受信した場合には、開始通知部653は、ステップSa7において、訓練の開始通知を全ての訓練用端末1へ送信する。この開始通知をトリガとして、全ての訓練用端末1において訓練が開始される。ステップSa5~Sa7は、設定用端末が複数の訓練用端末の全てから完了通知を受信すると、複数の訓練用端末に模擬訓練を開始させる工程に相当する。
その後、処理部65、詳しくは、監視部654は、表示部61にVR空間におけるシミュレーション画像を表示させる。これにより、教官等の管理者は、表示部61を観ながら、訓練者9による連携訓練を監視することができる。
図8は、訓練用端末1の訓練開始処理のフローチャートである。以下の訓練開始処理は、訓練用端末1のそれぞれにおいて独立して実施される。
まず、ステップSb1において、処理部14は、設定用端末6との通信を確立する。具体的には、訓練者9は、設定用端末6との接続を要求する入力を、訓練用端末1の入力部11又はVR表示装置2の入力部21を介して行う。なお、設定用端末6との接続を要求する入力は、操縦装置3の操縦桿31、ペダル32又はCPレバー33から出力される操作信号によるものであってもよい。シミュレーション進行部146は、設定用端末6との接続要求の入力を受けると、設定用端末6に接続要求を送信する。それに対して、シミュレーション進行部146は、設定用端末6から接続完了応答を受信することによって、設定用端末6との通信が確立される。
このとき、シミュレーション進行部146は、設定用端末6から初期設定の設定情報も受信する(ステップSb2)。ステップSb3において、設定部142は、受信された設定情報をシミュレーションの初期設定として設定する。ステップSb2,Sb3は、複数の訓練用端末が設定用端末から設定情報を受信し、設定情報を設定する工程に相当する。
初期設定が完了すると、シミュレーション進行部146は、ステップSb4において、初期設定に基づいてフィールド定義データ132、アバタ定義データ133及びオブジェクト定義データ134を記憶部13から読み出し、フィールド画像にオブジェクト画像及び自アバタ画像が合成されたVR空間を生成して、シミュレーション画像を生成する。このとき、自アバタが機体80内に存在する訓練者である場合には、自アバタのアバタ定義データ133に含まれる初期位置情報は、VR空間における絶対座標系ではなく、機体80に固定された原点を有する機体80におけるローカル座標系を基準とした位置情報である。つまり、自アバタは、VR空間において、機体80に対する相対位置に表示される。
シミュレーション進行部146は、生成したシミュレーション画像をVR表示装置2に出力、即ち、提供する。それに応じて、VR表示装置2は、シミュレーション画像を表示する。
続いて、シミュレーション進行部146は、ステップSb5において、他の全ての訓練用端末1との通信を確立する。具体的には、訓練者9は、他の訓練用端末1との接続を要求する入力を、訓練用端末1の入力部11又はVR表示装置2の入力部21を介して行う。それに対し、シミュレーション進行部146は、他の訓練用端末1に接続要求を送信する。それに対して、シミュレーション進行部146は、他の訓練用端末1から接続完了応答を受信することによって、他の訓練用端末1との通信が確立される。シミュレーション進行部146は、他の全ての訓練用端末1との通信を確立する。
なお、操縦士91及び副操縦士92の訓練用端末1のうち操縦機能が有効となっている訓練用端末1は、機体演算端末5との通信も確立する。
他の訓練用端末1との通信が確立されると、ステップSb6において、シミュレーション進行部146は、他の訓練用端末1へVR空間内における自アバタの初期位置情報(即ち、位置座標(x,y,z)及び回転角(Φ,θ,ψ))を送信する。
続いて、ステップSb7において、シミュレーション進行部146は、他の訓練用端末1から、VR空間内における他アバタの初期位置情報(即ち、位置座標(x,y,z)及び回転角(Φ,θ,ψ))を受信する。
他アバタの初期位置情報を受信すると、ステップSb8において、シミュレーション進行部146は、他アバタを表示させる。詳しくは、シミュレーション進行部146は、他アバタに対応するアバタ定義データ133を記憶部13から読み出し、ステップSb4で生成したVR空間における初期位置に他アバタを合成する。このとき、機体80内に存在する他アバタの初期位置情報は、VR空間における絶対座標系ではなく、機体80に固定された原点を有する機体80におけるローカル座標系を基準とした位置情報である。つまり、他アバタは、VR空間において、機体80に対する相対位置に表示される。
その後、ステップSb9において、シミュレーション進行部146は、訓練用端末1の準備が完了したか否かを判定する。例えば、訓練者9は、シミュレーションの準備が完了すると、VR表示装置2の入力部21を操作して、準備完了を入力する。シミュレーションの準備は、訓練者9に応じて異なる。操縦士91又は副操縦士92の準備は、操縦装置3Aのシート34への着席、及び、VR表示装置2の装着である。ホイストマン93及び降下員94の準備は、VR表示装置2及びコントローラ3Bの装着である。シミュレーション進行部146は、VR表示装置2から準備完了信号を受信することによって、訓練用端末1の準備完了を判定する。シミュレーション進行部146は、準備が完了するまで待機する。なお、訓練者9は、入力部11を操作して、準備完了を入力してもよい。その場合、シミュレーション進行部146は、入力部11からの準備完了信号を受信することによって、訓練用端末1の準備完了を判定する。
準備が完了すると、シミュレーション進行部146は、ステップSb10において、準備完了の旨を示す完了通知を設定用端末6に送信する。なお、準備には、訓練用端末1における初期設定に関する設定情報の設定も含まれる。そのため、完了通知には、設定情報の設定の完了通知でもある。ステップSb10は、複数の訓練用端末が設定情報の設定の完了通知を設定用端末に送信する工程に相当する。
その後、シミュレーション進行部146は、ステップSb11において、設定用端末6からの開始通知を待機する。
開始通知を受信すると、シミュレーション進行部146は、ステップSb12において、訓練のシミュレーションを開始する。
このような訓練開始処理によれば、共通のVR空間におけるシミュレーション画像の生成に必要な設定情報が設定用端末6から各訓練用端末1に送信される。各訓練用端末1は、設定用端末6から受信した設定情報を初期設定として設定し、共通のVR空間におけるシミュレーション画像を生成する。各訓練者9は、対応する訓練用端末1で初期設定を行う必要がない。そのため、各訓練者9による訓練内容の予測が回避され、訓練効果を高めることができる。
さらに、このような構成においては、全ての各訓練用端末1における設定情報の設定が完了するまで訓練の開始を待機する必要がある。VR訓練システム100では、設定用端末6が全ての訓練用端末1における設定情報の設定完了の確認と訓練開始のトリガを管理する。具体的には、各訓練用端末1は、設定情報の設定が完了すると、完了通知を他の全ての訓練用端末1ではなく、設定用端末6に送信する。設定用端末6は、全ての訓練用端末1において設定情報の設定が完了したか否かを確認する。全ての訓練用端末1において設定情報の設定が完了すると、設定用端末6は、全ての訓練用端末1に開始通知を送信し、訓練が開始される。仮に、全ての訓練用端末1における設定完了の確認と訓練開始のトリガとを、訓練用端末1のそれぞれで行うと、必要な信号の送受信が増加し、処理が煩雑になる。それに対し、全ての訓練用端末1における設定完了の確認と訓練開始のトリガを1つの端末、即ち、設定用端末6が管理することによって、訓練開始までの処理を円滑に行うことができる。
続いて、VR訓練システム100における模擬訓練の一例について説明する。この模擬訓練は、4人の訓練者9(操縦士91、副操縦士92、ホイストマン93及び降下員94)による連携訓練であり、要救助者が存在する地点までヘリコプタを飛行させ、要救助者を救出する訓練である。操縦士91の訓練用端末1の操縦機能が有効となっている。図9は、模擬訓練における各種訓練の流れを示すフローチャートである。この模擬訓練は、前述の訓練開始処理の完了後に開始される。操縦装置3A及びコントローラ3Bの各種操作には、訓練の状況に応じて、各種処理が割り当てられている。訓練用端末1は、シミュレーション画像中の状況に応じて、操縦装置3A及びコントローラ3Bの操作に対応する処理を実行する。
模擬訓練では、まず、ステップSc1において飛行訓練が行われる。この飛行訓練は、ヘリコプタを出発地から要救助者が存在する地点(即ち、救助地点)まで飛行させる訓練である。操縦士91は、操縦装置3Aを操作することによって、シミュレーション画像内でヘリコプタを飛行させる。操縦士91の訓練用端末1は、機体演算端末5の演算結果に基づいて、VR空間における機体80の位置及び姿勢を変化させる。
他の訓練用端末1は、操縦士91の訓練用端末1によって演算された機体80の位置及び姿勢を取得し、機体80の位置及び姿勢を更新したシミュレーション画像を生成する。副操縦士92等は、シミュレーション画像を観ながら、飛行中の安全確認を行う。例えば、図10は、飛行訓練中のホイストマン93のシミュレーション画像の一例である。このシミュレーション画像は、ホイストマン93が機体80内で操縦席側を向いている場合の画像である。このシミュレーション画像では、操縦席及び副操縦席に座っている操縦士91のアバタ91A及び副操縦士92のアバタ92Aが表示されている。
ヘリコプタが救助地点に到着すると、飛行訓練が完了する。
続いて、ステップSc2のホバリング訓練が行われる。ホバリング訓練は、ヘリコプタを空中における所定位置に停止させ続ける訓練である。このホバリング訓練では、操縦士91による操縦動作及び副操縦士92等による安全確認動作が行われる。
ホバリング飛行が安定して行われると、ホバリング訓練が完了する。
次に、ステップSc3の降下訓練が行われる。図11は、降下訓練中のホイストマン93又は降下員94のシミュレーション画像の一例である。図12は、降下訓練中の降下員94のシミュレーション画像の一例である。図13は、降下訓練中のVR空間内の配置状況の一例を示す図である。図14は、降下訓練中の副操縦士92のシミュレーション画像の一例である。図15は、降下訓練中のホイストマン93のシミュレーション画像の一例である。
降下訓練は、ホイストマン93が巻き上げ機84を操作して降下員94を機体80から降下させる訓練である。つまり、降下員94のアバタ94Aがホイストケーブル82に連結された後、ホイストマン93が巻き上げ機84を操作して降下員94のアバタ94Aを降下させる。
例えば、降下訓練においては、ホイストマン93及び降下員94は、自アバタを機体80のドアの近傍へ移動させる。この自アバタの移動は、ホイストマン93又は降下員94のコントローラ3Bの操作によって実現される。例えば、ホイストマン93又は降下員94は、操作スイッチ35を半押しすることによって、図11に示すように、機体80の床85にポインタ70が表示される。ホイストマン93又は降下員94は、操作スイッチ35を半押しした状態でコントローラ3Bの向きを調整することによってポインタ70の位置を調整する。ホイストマン93又は降下員94は、操作スイッチ35を全押しすることによって、ポインタ70の位置に自アバタを移動させることができる。こうすることで、ホイストマン93又は降下員94が実空間で実際に移動しなくても、VR空間において自アバタを移動させることができる。なお、自アバタの移動は、ホイストマン93又は降下員94の実空間における実際の移動によって実現してもよい。
ここで、床85へのポインタ70の表示は、実質的には、オブジェクトのうち自アバタの移動先となる部分を選択することを意味する。以下、オブジェクト又はその一部の選択は、ポインタ70をオブジェクト又はその一部に重ねて表示させることによって実行される。
続いて、ホイストマン93又は降下員94は、コントローラ3Bを操作して、ポインタ70によって機体80のドアを選択する。この状態で、ホイストマン93又は降下員94が操作スイッチ35を全押しすることによって、ドアが開く。
降下員94は、図12に示すように、ポインタ70によってホイストケーブル82の先端又はカラビナ86の近傍を選択する。この状態で、降下員94が操作スイッチ35を全押しすることによって、降下員94のアバタ94Aの縛帯87(図13参照)にカラビナ86が連結される。降下員94のアバタ94Aは、救助縛帯83とは別の縛帯87を予め装着している。これにより、図13に示すように、降下員94のアバタ94Aがホイストケーブル82に連結され、降下員94のアバタ94Aがホイストケーブル82に吊り下げられた状態となる。
このとき、副操縦士92は、図14に示すように、ホイストマン93のアバタ93A及び降下員94のアバタ94Aの状況を確認して、必要に応じて操縦士91にホバリング飛行の助言を行う。
一方、ホイストマン93は、ポインタ70によってペンダント型操作部を選択し、その状態で操作スイッチ35を全押しすることによってホイストマン93のアバタ93Aにペンダント型操作部を把持させる。ホイストマン93は、図15に示すように、ホイストマン93のアバタ93Aが機体80から身を乗り出すように実空間において移動する。これにより、ホイストマン93は、ホイストケーブル82に吊り下げられた、降下員94のアバタ94Aを視認することができる。ホイストマン93のアバタ93Aがペンダント型操作部を把持した状態で、ホイストマン93が操作スイッチ35を操作することによって、ホイストケーブル82が引き出され、降下員94のアバタ94Aが降下していく。
このとき、降下員94は、VR空間における地表までの距離に応じて、実空間において手信号を行う(即ち、コントローラ3Bを動かす)。これにより、降下員94のアバタ94Aも同様の手信号を行い、降下員94のアバタ94Aと地表との距離をホイストマン93に知らせる。ホイストマン93は、降下員94のアバタ94Aの手信号に応じて、ホイストケーブル82の引き出し量を調整する。
降下員94は、降下員94のアバタ94Aが地表に接近すると、目標着地点をポインタ70によって選択する。その状態で、降下員94が操作スイッチ35を全押しすることによって、降下員94のアバタ94Aは、目標着地点に着陸する。このとき、降下員94のアバタ94Aがホイストケーブル82との連結を解除する動作が省略され、降下員94のアバタ94Aは、ホイストケーブル82から離脱した状態となる。これにより、降下訓練が完了する。
続いて、ステップSc4の救助訓練が行われる。図16は、救助訓練における降下員94のシミュレーション画像の一例である。図17は、救助訓練における降下員94のシミュレーション画像の一例である。
降下員94は、降下員94のアバタ94Aを要救助者88の場所まで移動させる。この移動は、前述の機体80内での移動と同様に、ポインタ70による移動先の選択及び操作スイッチ35の全押しによって実現される。
降下員94のアバタ94Aが要救助者88のところまで移動した状態においては、降下員94が操作スイッチ35を半押しし、要救助者88が救助可能範囲内にあると、図16に示すように、要救助者88の輪郭が色付けて表示される。降下員94は、コントローラ3Bの向きを調整して、降下員94のアバタ94Aの手で要救助者88を触る。その状態で、降下員94が操作スイッチ35を全押しすると、図17に示すように、要救助者88が救助縛帯83に縛着された状態となる。つまり、降下員94のアバタ94Aが要救助者88を救助縛帯83の位置まで移動させる動作、及び、降下員94のアバタ94Aが救助縛帯83を要救助者88に縛着させる動作が省略される。
その後、降下員94は、降下員94のアバタ94Aをホイストケーブル82の場所まで移動させる。この移動は、前述の通りである。
降下員94のアバタ94Aがホイストケーブル82のところまで移動した状態で、降下員94は、ポインタ70によってホイストケーブル82を選択し、操作スイッチ35を全押しすることによって、降下員94のアバタ94Aがホイストケーブル82に連結される。これにより、救助訓練が完了する。
次に、ステップSc5の引上げ訓練が行われる。図18は、引上げ訓練における降下員94のシミュレーション画像の一例である。
降下員94は、手信号を行って、ホイストマン93に引上げ開始の合図を送る。
ホイストマン93は、降下員94のアバタ94Aの手信号を確認して、ペンダント型操作部を操作し、降下員94のアバタ94A及び要救助者88の引上げを開始する。ホイストマン93は、降下員94のアバタ94Aを視認しながら、ホイストケーブル82の引上げ量を調整する。
降下員94は、引上げ状況に応じて、ホイストマン93のアバタ93Aに手信号を送ってもよい。例えば、ホイストケーブル82の揺れが大きくなった場合には、降下員94は、引上げを一旦停止する合図をホイストマン93のアバタ93Aに送ってもよい。さらに、ホイストケーブル82の揺れが収まると、降下員94は、引上げを再開する合図をホイストマン93のアバタ93Aに送ってもよい。この場合、ホイストマン93は、降下員94のアバタ94Aの手信号に応じて、引上げの一旦停止及び引上げの再開等を実行する。
降下員94は、図18に示すように、降下員94のアバタ94Aが機体80の近傍まで引き上げられると、ポインタ70で機体80内の一部を選択し、操作スイッチ35を全押しする。これにより、降下員94のアバタ94Aが機体80に乗り込む。その後、ホイストマン93は、ポインタ70で救助縛帯83を選択し、操作スイッチ35を全押しする。これにより、要救助者88は、機体80内に引き上げられる。つまり、降下員94のアバタ94Aが機体80内に乗り込む動作、及び、ホイストマン93のアバタ93A等が要救助者88を機体80内に引き込む動作が省略される。これにより、引上げ訓練が完了する。
その後、ステップSc6の飛行訓練が行われる。ステップSc6の飛行訓練は、ステップSc1の飛行訓練と同様である。この飛行訓練は、ヘリコプタを元の出発地まで飛行させる訓練である。操縦士91は、操縦装置3Aを操作することによって、ヘリコプタを飛行させる。副操縦士92等は、飛行中の安全確認を行う。ヘリコプタが元の出発地に到着すると、飛行訓練が終了すると共に、一連の模擬訓練(連携訓練)が終了する。
なお、この模擬訓練は、一例に過ぎず、模擬訓練の内容はこれに限定されるものではない。
以上のように、航空機のVR訓練システム100は、共通のVR空間における模擬訓練を行うためのシミュレーション画像を生成して、対応する訓練者9にシミュレーション画像を提供するする複数の訓練用端末1と、シミュレーション画像の生成に必要な設定情報を有する設定用端末6とを備え、設定用端末6は、設定情報を複数の訓練用端末1に送信し、複数の訓練用端末1は、設定用端末6から受信した設定情報を設定し、設定情報の設定の完了通知を設定用端末6に送信し、設定用端末6は、複数の訓練用端末1の全てから完了通知を受信すると、複数の訓練用端末1に模擬訓練を開始させる。
また、航空機のVR訓練方法は、複数の訓練用端末1のそれぞれによって生成される共通のVR空間におけるシミュレーション画像を用いて、前記複数の訓練用端末1に対応する複数の訓練者によって模擬訓練を行う、航空機のVR訓練方法であって、シミュレーション画像の生成に必要な設定情報を有する設定用端末6から設定情報を複数の訓練用端末1へ送信する工程と、複数の訓練用端末1が設定用端末6から設定情報を受信し、設定情報を設定する工程と、複数の訓練用端末1が設定情報の設定の完了通知を設定用端末に送信する工程と、設定用端末6が複数の訓練用端末1の全てから完了通知を受信すると、複数の訓練用端末1に模擬訓練を開始させる工程とを含む。
さらに、シミュレーションプログラム131は、共通のVR空間における模擬訓練を行うためのシミュレーション画像を生成して、対応する訓練者9にシミュレーション画像を提供する機能を訓練用端末1の処理部14(コンピュータ)に実現させるための、航空機のVR訓練プログラムであって、シミュレーション画像の生成に必要な設定情報を有する設定用端末6から設定情報を受信して、設定情報を設定する機能と、設定情報の設定の完了通知を設定用端末6に送信する機能と、設定用端末6から模擬訓練の開始通知を受信して模擬訓練を開始する機能とを処理部14に実現させる。
さらにまた、開始プログラム641は、共通のVR空間における模擬訓練を行うためのシミュレーション画像を、対応する訓練者9に提供する複数の訓練用端末1に模擬訓練を開始させる機能を設定用端末6の処理部65(コンピュータ)に実現させるためのVR訓練プログラムであって、シミュレーション画像の生成に必要な設定情報を複数の訓練用端末1に送信する機能と、設定情報の設定の完了通知を複数の訓練用端末1の全てから受信すると、複数の訓練用端末1に模擬訓練を開始させる開始通知を送信する機能とを処理部65に実現させる。
これらの構成によれば、複数の訓練用端末1のそれぞれにおいて共通のVR空間における模擬訓練を行うためのシミュレーション画像が生成される。そのため、複数の訓練用端末1のそれぞれにおいて、シミュレーション画像の生成に必要な設定情報の設定が必要となる。そこで、設定用端末6が設定情報を各訓練用端末1に送信する。各訓練用端末1は、設定用端末6から受信した設定情報を初期設定として設定する。これにより、各訓練用端末1が、共通のVR空間におけるシミュレーション画像を生成することができる。各訓練者9は、対応する訓練用端末1で初期設定を行う必要がないので、各訓練者9による訓練内容の予測が回避され、訓練効果を高めることができる。
それに加えて、設定情報の設定が完了した訓練用端末1は、設定用端末6に完了通知を送信するので、訓練用端末1における設定情報の設定完了を訓練用端末1同士で確認し合う必要がなく、1つの設定用端末6で確認できる。また、全ての訓練用端末1からの完了通知が設定用端末6に集まるので、設定用端末6は、訓練開始の可否を容易に判断することができる。全ての訓練用端末1において設定情報の設定が完了すると、設定用端末6は、全ての訓練用端末1に開始通知を送信し、訓練が開始される。このように、全ての訓練用端末1における設定完了の確認と訓練開始のトリガを1つの設定用端末6が管理することによって、訓練開始までの処理を円滑に行うことができる。
また、シミュレーション画像は、訓練9者のアバタを含み、複数の訓練用端末1の各訓練用端末1は、複数の訓練用端末1のうちの他の訓練用端末1との通信を確立した後に他の訓練用端末1に対応する訓練者9のアバタである他アバタのVR空間における位置情報を他の訓練用端末1から取得し、他アバタをシミュレーション画像のVR空間内に位置情報に基づいて生成する。
この構成によれば、各訓練用端末1は、他アバタの位置情報を他の訓練用端末1から取得する。そのため、訓練用端末1は、他アバタの位置情報を演算する必要がないので、演算負荷が軽減される。
シミュレーション画像は、訓練者9のアバタ及び航空機の機体を含み、複数の訓練用端末1は、アバタのうちVR空間において機体内に存在するアバタを、機体に固定された原点を有するローカル座標系を基準とした位置情報に基づいて生成する。
この構成によれば、アバタと機体との相対的な位置関係が適切に維持される。つまり、シミュレーション画像では、機体は移動し得る。同様に、アバタも移動し得る。機体とアバタとのそれぞれをVR空間の絶対座標系を基準に生成すると、機体とアバタとの位置がずれる可能性がある。例えば、アバタが機体を貫通してしまったり、アバタが機体の床から浮いてしまったりする可能性がある。それに対し、アバタを機体のローカル座標系を基準に生成することによって、アバタと機体との相対的な位置関係が適切に維持され、前述のようなずれを低減できる。
さらに、複数の訓練用端末1は、模擬訓練において訓練者によって使用される操縦桿3又はコントローラ3B(操作装置)の準備が完了した後に、完了通知を送信する。
この構成によれば、完了通知は、設定情報の設定の完了に加えて、操作装置の準備完了も示す。これにより、設定用端末は、操作装置の準備が完了した適切なタイミングで模擬訓練を開始させることができる。
模擬訓練は、複数の訓練用端末1にそれぞれ対応する複数の訓練者9による連携訓練である。
また、設定用端末6は、シミュレーション画像を生成しない端末である。
この構成によれば、設定用端末6は、訓練用端末1とは別の端末である。つまり、設定用端末6は、訓練者のために設けられた端末ではない。
《その他の実施形態》
以上のように、本出願において開示する技術の例示として、前記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、前記実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。また、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、前記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
例えば、VR訓練システム100が適用されるVR訓練は、ヘリコプタにおけるVR訓練に限定されない。VR訓練システム100は、ヘリコプタ以外の航空機のVR訓練にも適用できる。
操縦士91の訓練用端末1及び副操縦士92の訓練用端末1の演算能力に余裕がある場合などにおいては、機体演算端末5を省略し、操縦士91の訓練用端末1及び副操縦士92の訓練用端末1のそれぞれがVR空間における機体80の移動量及び姿勢の変化量を演算してもよい。その場合には、操縦士91の訓練用端末1及び副操縦士92の訓練用端末1のそれぞれに対応する操縦装置3Aが接続される。この場合、複数の訓練用端末のうちの一の訓練用端末1(具体的には、操縦士91及び副操縦士92の訓練用端末1のうち操縦機能が有効となっている方の訓練用端末1)が、操縦装置3Aを介した操作入力に基づいて、航空機の機体80のVR空間における位置及び姿勢を演算する機体端末として機能する。
あるいは、機体演算端末5は、操縦装置3Aを介した操作入力に基づいて機体の移動量及び姿勢の変化量を演算するだけでなく、移動量情報に基づいて機体80のVR空間における位置及び姿勢を演算してもよい。この場合、機体演算端末5は、操縦装置3Aを介した操作入力に基づいて、航空機の機体80のVR空間における位置及び姿勢を演算する機体端末として機能する、訓練用端末1とは別の端末である。
あるいは、訓練用端末1のそれぞれが機体演算端末5から移動量情報を取得し、移動量情報に基づいて80のVR空間における位置及び姿勢を演算してもよい。
操縦士91及び副操縦士92の訓練用端末1は、演算負荷軽減のために、頭部のみが動作するようにアバタを生成するが、これに限定されるものではない。操縦士91及び副操縦士92の訓練用端末1は、ホイストマン93及び降下員94の訓練用端末1と同様に、訓練者9の全身の動作を反映するようにアバタを生成してもよい。
設定用端末6は、訓練用端末1と別の端末でなくてもよい。訓練用端末1が設定用端末6としても機能してもよい。つまり、複数の訓練用端末1の何れか1つの訓練用端末1を設定用端末6としても機能させることができる。この場合、航空機のVR訓練システム100は、共通のVR空間における模擬訓練を行うためのシミュレーション画像を生成して、対応する訓練者9にシミュレーション画像を提供するする複数の訓練用端末1と、シミュレーション画像の生成に必要な設定情報を有する設定用端末6としての機能を有すると共に、共通のVR空間における模擬訓練を行うためのシミュレーション画像を生成して、対応する訓練者9にシミュレーション画像を提供するする訓練用端末1とを備えている。例えば、教官が副操縦士92の役割をして訓練に参加してもよい。その場合には、副操縦士92の訓練用端末1が設定用端末6と同様の機能を実現する。教官は、副操縦士92の訓練用端末1に初期設定の設定情報を入力し、副操縦士92の訓練用端末1から他の訓練用端末1へ設定情報が送信される。他の訓練用端末1で設定情報の設定が完了すると、他の全ての訓練用端末1から副操縦士92の訓練用端末1へ完了通知が送信される。副操縦士92の訓練用端末1は、他の全ての訓練用端末1から完了通知を受信すると、他の全ての訓練用端末1へ訓練の開始通知を送信する。教官は、副操縦士92として訓練に参加しつつ、他の訓練者9の訓練の様子を監視する。
また、設定用端末6は、訓練を監視する機能を有していなくてもよい。
訓練者9は、操縦士91、副操縦士92、ホイストマン93及び降下員94に限定されない。訓練者9は、これらの中の3人又は2人であってもよい。あるいは、訓練者9は、これらの4人以外の者であってもよい。つまり、VR訓練システム100を使って連携訓練を行うことができる者であれば、任意の者が訓練者9となることができる。例えば、訓練者9に地上員(地表からヘリコプタを誘導する者)、管制官又は要救助者が含まれていてもよい。
初期設定の設定情報として、訓練者9のVR空間における初期位置が設定されてもよい。例えば、訓練者9が地上員である場合には、VR空間における訓練者9の地表の位置が設定され得る。
図7,8のフローチャートは、実施できる範囲で、ステップを省略したり、ステップの順番を変更したり、複数のステップを並行して処理したり、別のステップを追加したりすることができる。
図7のフローチャートでは、設定用端末6は、管理者からの初期設定の入力を受け付けているが、これに限定されない。設定用端末6において初期設定が既になされ、設定用端末6は初期設定に関する設定情報を既に有している状態であてもよい。その場合、図7のフローチャートは、ステップSa3から開始される。また、設定用端末6に初期設定を入力する構成であっても、初期設定に関する各項目を入力する構成でなくてもよい。設定用端末6は、各種の設定情報が予めプリセットされた複数の初期設定を有しており、管理者が複数の初期設定の中らから1つの初期設定を選択してもよい。
図8のフローチャートでは、ステップSb5において、訓練用端末1は他の訓練用端末1との通信を確立しているが、他の訓練用端末1と通信を確立するタイミングは、これに限定されない。例えば、ステップSb1において、訓練用端末1が設定用端末6と通信を確立する際に、他の訓練用端末1と通信を確立してもよい。また、訓練用端末1は、ステップSb4において、自アバタを表示させているが、自アバタを表示するタイミングはこれに限定されない。例えば、訓練用端末1は、他アバタを表示させるタイミングで自アバタも表示させてもよい。
VR表示装置2が表示する画像は、一人称視点のシミュレーション画像に限定されない。例えば、VR表示装置2は、三人称視点のシミュレーション画像を表示してもよい。
トラッキングシステム4は、訓練者9の動きを追跡できる限りは、任意の方式を採用することができる。例えば、トラッキングシステム4は、インサイドアウト方式であってもよい。
操作装置である操縦装置3A及びコントローラ3Bは、訓練者及び訓練内容に応じて適宜変更することができる。
また、操縦装置3A及びコントローラ3Bによって可能な操作の内容も訓練者及び訓練内容に応じて適宜変更することができる。例えば、VR表示装置2に表示されているアイコン等を操縦装置3A又はコントローラ3Bを介して操作することによって、操縦装置3A又はコントローラ3Bを入力部11と同様に機能させてもよい。
本実施の形態で開示された構成の機能は、電気回路又は処理回路を用いて実行されてもよい。電気回路又は処理回路は、開示された機能を実行するように構成若しくはプログラムされた、メインプロセッサ、専用プロセッサ、集積回路、ASICs、従来型の電気回路、コントローラ又はこれらを組み合わせたものであってもよい。プロセッサ又はコントローラは、トランジスタ及びその他の回路を含む処理回路等である。本開示において、回路、ユニット、コントローラ又は手段は、記載した機能を実行するためのハードウェア又はプログラムされたものである。ここで、ハードウェアは、本実施の形態で開示された機能を実行するように構成若しくはプログラムされた、本実施の形態で開示されたもの又は公知のハードウェアである。ハードウェアが、プロセッサ又はコントローラの場合、回路、手段又はユニットは、ハードウェアとソフトウェアの組み合わせであり、ソフトウェアは、ハードウェア及び/又はプロセッサを構成するために用いられる。
100 VR訓練システム
1 訓練用端末
131 シミュレーションプログラム(VR訓練プログラム)
6 設定用端末
641 開始プログラム
3 操縦装置(操作装置)
4 コントローラ(操作装置)
91 操縦士(訓練者)
92 副操縦士(訓練者)
93 ホイストマン(訓練者)
94 降下員(訓練者)

Claims (12)

  1. 共通のVR空間における模擬訓練を行うためのシミュレーション画像を生成して、対応する訓練者に前記シミュレーション画像を提供する複数の訓練用端末と、
    前記シミュレーション画像の生成に必要な設定情報を有する設定用端末とを備え、
    前記設定用端末は、前記設定情報を前記複数の訓練用端末に送信し、
    前記複数の訓練用端末は、前記設定用端末から受信した前記設定情報を設定し、模擬訓練において訓練者によって使用される操作装置の準備が完了した後に、前記設定情報の設定の完了通知を前記設定用端末に送信し、
    前記設定用端末は、前記複数の訓練用端末の全てから前記完了通知を受信すると、前記複数の訓練用端末に前記模擬訓練を開始させる、航空機のVR訓練システム。
  2. 請求項1に記載の航空機のVR訓練システムにおいて、
    前記シミュレーション画像は、訓練者のアバタを含み、
    前記複数の訓練用端末の各訓練用端末は、前記複数の訓練用端末のうちの他の訓練用端末との通信を確立した後に前記他の訓練用端末に対応する訓練者のアバタである他アバタのVR空間における位置情報を前記他の訓練用端末から取得し、前記他アバタを前記シミュレーション画像のVR空間内に前記位置情報に基づいて生成する、航空機のVR訓練システム。
  3. 請求項1又は2に記載の航空機のVR訓練システムにおいて、
    前記シミュレーション画像は、訓練者のアバタ及び航空機の機体を含み、
    前記複数の訓練用端末は、前記アバタのうちVR空間において前記機体内に存在するアバタを、前記機体に固定された原点を有するローカル座標系を基準とした位置情報に基づいて生成する、航空機のVR訓練システム。
  4. 請求項1乃至の何れか1つに記載の航空機のVR訓練システムにおいて、
    前記模擬訓練は、前記複数の訓練用端末にそれぞれ対応する複数の訓練者による連携訓練である、航空機のVR訓練システム。
  5. 請求項1乃至の何れか1つに記載の航空機のVR訓練システムにおいて、
    前記設定用端末は、前記シミュレーション画像を生成しない端末である、航空機のVR訓練システム。
  6. 複数の訓練用端末のそれぞれによって生成される共通のVR空間におけるシミュレーション画像を用いて、前記複数の訓練用端末に対応する複数の訓練者によって模擬訓練を行う、航空機のVR訓練方法であって、
    前記シミュレーション画像の生成に必要な設定情報を有する設定用端末から前記設定情報を前記複数の訓練用端末へ送信する工程と、
    前記複数の訓練用端末が前記設定用端末から前記設定情報を受信し、前記設定情報を設定する工程と、
    前記複数の訓練用端末が、模擬訓練において訓練者によって使用される操作装置の準備が完了した後に、前記設定情報の設定の完了通知を前記設定用端末に送信する工程と、
    前記設定用端末が前記複数の訓練用端末の全てから前記完了通知を受信すると、前記複数の訓練用端末に前記模擬訓練を開始させる工程とを含む、航空機のVR訓練方法。
  7. 共通のVR空間における模擬訓練を行うためのシミュレーション画像を生成して、対応する訓練者に前記シミュレーション画像を提供する機能を訓練用端末のコンピュータに実現させるための、航空機のVR訓練プログラムであって、
    前記シミュレーション画像の生成に必要な設定情報を有する設定用端末から前記設定情報を受信して、前記設定情報を設定する機能と、
    模擬訓練において訓練者によって使用される操作装置の準備が完了した後に、前記設定情報の設定の完了通知を前記設定用端末に送信する機能と、
    前記設定用端末から前記模擬訓練の開始通知を受信して前記模擬訓練を開始する機能とをコンピュータに実現させる、航空機のVR訓練プログラム。
  8. 共通のVR空間における模擬訓練を行うためのシミュレーション画像を、対応する訓練者に提供する複数の訓練用端末に前記模擬訓練を開始させる機能を設定用端末のコンピュータに実現させるための、航空機のVR訓練プログラムであって、
    前記シミュレーション画像の生成に必要な設定情報を前記複数の訓練用端末に送信する機能と、
    前記設定情報の設定の完了と、模擬訓練において訓練者によって使用される操作装置の準備の完了とを示す完了通知を前記複数の訓練用端末の全てから受信すると、前記複数の訓練用端末に前記模擬訓練を開始させる開始通知を送信する機能とをコンピュータに実現させる、航空機のVR訓練プログラム。
  9. 共通のVR空間における模擬訓練を行うためのシミュレーション画像であって、訓練者のアバタを含むシミュレーション画像を生成して、対応する訓練者に前記シミュレーション画像を提供する複数の訓練用端末と、
    前記シミュレーション画像の生成に必要な設定情報を有する設定用端末とを備え、
    前記設定用端末は、前記設定情報を前記複数の訓練用端末に送信し、
    前記複数の訓練用端末は、前記設定用端末から受信した前記設定情報を設定し、前記複数の訓練用端末のうちの他の訓練用端末との通信を確立した後に前記他の訓練用端末に対応する訓練者のアバタである他アバタのVR空間における位置情報を前記他の訓練用端末から取得し、前記他アバタを前記シミュレーション画像のVR空間内に前記位置情報に基づいて生成し、前記設定情報の設定の完了と、前記他アバタの生成の完了とを示す完了通知を前記設定用端末に送信し、
    前記設定用端末は、前記複数の訓練用端末の全てから前記完了通知を受信すると、前記複数の訓練用端末に前記模擬訓練を開始させる、航空機のVR訓練システム。
  10. 複数の訓練用端末のそれぞれによって生成される共通のVR空間におけるシミュレーション画像であって、訓練者のアバタを含むシミュレーション画像を用いて、前記複数の訓練用端末に対応する複数の訓練者によって模擬訓練を行う、航空機のVR訓練方法であって、
    前記シミュレーション画像の生成に必要な設定情報を有する設定用端末から前記設定情報を前記複数の訓練用端末へ送信する工程と、
    前記複数の訓練用端末が前記設定用端末から前記設定情報を受信し、前記設定情報を設定する工程と、
    前記複数の訓練用端末のうちの他の訓練用端末との通信を確立した後に前記他の訓練用端末に対応する訓練者のアバタである他アバタのVR空間における位置情報を前記他の訓練用端末から取得する工程と、
    前記複数の訓練用端末が前記他アバタを前記シミュレーション画像のVR空間内に前記位置情報に基づいて生成する工程と、
    前記複数の訓練用端末が前記設定情報の設定と、前記他アバタの生成の完了とを示す完了通知を前記設定用端末に送信する工程と、
    前記設定用端末が前記複数の訓練用端末の全てから前記完了通知を受信すると、前記複数の訓練用端末に前記模擬訓練を開始させる工程とを含む、航空機のVR訓練方法。
  11. 共通のVR空間における模擬訓練を行うためのシミュレーション画像であって、訓練者のアバタを含むシミュレーション画像を生成して、対応する訓練者に前記シミュレーション画像を提供する機能を訓練用端末のコンピュータに実現させるための、航空機のVR訓練プログラムであって、
    前記シミュレーション画像の生成に必要な設定情報を有する設定用端末から前記設定情報を受信して、前記設定情報を設定する機能と、
    他の訓練用端末との通信を確立した後に前記他の訓練用端末に対応する訓練者のアバタである他アバタのVR空間における位置情報を前記他の訓練用端末から取得する機能と、
    前記他アバタを前記シミュレーション画像のVR空間内に前記位置情報に基づいて生成する機能と、
    前記設定情報の設定と、前記他アバタの生成の完了とを示す完了通知を前記設定用端末に送信する機能と、
    前記設定用端末から前記模擬訓練の開始通知を受信して前記模擬訓練を開始する機能とをコンピュータに実現させる、航空機のVR訓練プログラム。
  12. 共通のVR空間における模擬訓練を行うためのシミュレーション画像であって、訓練者のアバタを含むシミュレーション画像を、対応する訓練者に提供する複数の訓練用端末に前記模擬訓練を開始させる機能を設定用端末のコンピュータに実現させるための、航空機のVR訓練プログラムであって、
    前記シミュレーション画像の生成に必要な設定情報を前記複数の訓練用端末に送信する機能と、
    前記設定情報の設定と、前記複数の訓練用端末が他の前記訓練用端末との通信を確立した後に他の前記訓練用端末に対応する訓練者のアバタである他アバタのVR空間における位置情報を他の前記訓練用端末から取得し、前記他アバタを前記シミュレーション画像のVR空間内に前記位置情報に基づいて生成したことの完了を示す完了通知を前記複数の訓練用端末の全てから受信すると、前記複数の訓練用端末に前記模擬訓練を開始させる開始通知を送信する機能とをコンピュータに実現させる、航空機のVR訓練プログラム。
JP2020110965A 2020-06-26 2020-06-26 航空機のvr訓練システム、航空機のvr訓練方法及び航空機のvr訓練プログラム Active JP7478041B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020110965A JP7478041B2 (ja) 2020-06-26 2020-06-26 航空機のvr訓練システム、航空機のvr訓練方法及び航空機のvr訓練プログラム
EP21828112.9A EP4174824A4 (en) 2020-06-26 2021-06-25 VIRTUAL REALITY LEARNING SYSTEM FOR AIRCRAFT, VIRTUAL REALITY LEARNING METHOD FOR AIRCRAFT, AND VIRTUAL REALITY LEARNING PROGRAM FOR AIRCRAFT
PCT/JP2021/024237 WO2021261593A1 (ja) 2020-06-26 2021-06-25 航空機のvr訓練システム、航空機のvr訓練方法及び航空機のvr訓練プログラム
US18/086,705 US20230126008A1 (en) 2020-06-26 2022-12-22 Aircraft vr training system, aircraft vr training method, and aircraft vr training program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020110965A JP7478041B2 (ja) 2020-06-26 2020-06-26 航空機のvr訓練システム、航空機のvr訓練方法及び航空機のvr訓練プログラム

Publications (2)

Publication Number Publication Date
JP2022007790A JP2022007790A (ja) 2022-01-13
JP7478041B2 true JP7478041B2 (ja) 2024-05-02

Family

ID=79281448

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020110965A Active JP7478041B2 (ja) 2020-06-26 2020-06-26 航空機のvr訓練システム、航空機のvr訓練方法及び航空機のvr訓練プログラム

Country Status (4)

Country Link
US (1) US20230126008A1 (ja)
EP (1) EP4174824A4 (ja)
JP (1) JP7478041B2 (ja)
WO (1) WO2021261593A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106781809A (zh) 2017-01-22 2017-05-31 北京航空航天大学 一种针对直升机应急救援任务的训练方法和系统
DE102016104186A1 (de) 2016-03-08 2017-09-14 Rheinmetall Defence Electronics Gmbh Simulator zum Training eines Teams einer Hubschrauberbesatzung
CN206833745U (zh) 2017-03-29 2018-01-02 四川龙睿三航科技有限公司 一种vr直升机空中救援模拟训练系统
CN109389879A (zh) 2018-12-14 2019-02-26 大连海事大学 一种直升机救助训练虚拟仿真教学系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10198652A (ja) * 1997-01-09 1998-07-31 Mitsubishi Electric Corp 分散シミュレーション装置
JP7213013B2 (ja) 2017-10-30 2023-01-26 株式会社バンダイナムコエンターテインメント プログラム、コンピュータシステム及びゲーム実行制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016104186A1 (de) 2016-03-08 2017-09-14 Rheinmetall Defence Electronics Gmbh Simulator zum Training eines Teams einer Hubschrauberbesatzung
CN106781809A (zh) 2017-01-22 2017-05-31 北京航空航天大学 一种针对直升机应急救援任务的训练方法和系统
CN206833745U (zh) 2017-03-29 2018-01-02 四川龙睿三航科技有限公司 一种vr直升机空中救援模拟训练系统
CN109389879A (zh) 2018-12-14 2019-02-26 大连海事大学 一种直升机救助训练虚拟仿真教学系统

Also Published As

Publication number Publication date
EP4174824A4 (en) 2023-12-20
EP4174824A1 (en) 2023-05-03
US20230126008A1 (en) 2023-04-27
JP2022007790A (ja) 2022-01-13
WO2021261593A1 (ja) 2021-12-30

Similar Documents

Publication Publication Date Title
US20210074173A1 (en) Virtual reality based pilot training system
CN109311639B (zh) 用于起重机、施工机械和/或托盘搬运车的遥控装置
US20230135138A1 (en) Vr training system for aircraft, vr training method for aircraft, and vr training program for aircraft
CN105791754B (zh) 航空器的远距离操纵系统
KR101827912B1 (ko) 보행 가능한 가상 현실 장치
US11931664B2 (en) User experiences in simulated environments
JP2016506528A (ja) 遠隔操作されたビークルの組み合わされたシミュレーション及び制御のための方法及び装置
KR102564810B1 (ko) 실감형 소방훈련 시뮬레이터
RU2653900C1 (ru) Тренажер парашютиста-десантника и способ динамического сопровождения обучения на нем
KR101948660B1 (ko) 가상현실 체험용 시뮬레이션 보드 장치
CN111354240A (zh) 一种基于vr的弹射和/或跳伞救生训练方法
GB2487369A (en) Simulator apparatus for parachute training
WO2021261594A1 (ja) 航空機のvr訓練システム、航空機のvr訓練方法および航空機のvr訓練プログラム
JP7478041B2 (ja) 航空機のvr訓練システム、航空機のvr訓練方法及び航空機のvr訓練プログラム
WO2016135472A1 (en) Immersive vehicle simulator apparatus and method
GB2535729A (en) Immersive vehicle simulator apparatus and method
KR102095841B1 (ko) 다관절 마스터 암이 구비된 장갑형 로봇 시뮬레이터
US20240216822A1 (en) User experiences in simulated environments
JP6933850B1 (ja) 仮想空間体感システム
JP2019213764A (ja) シミュレーションシステム
KR20230078843A (ko) 가상현실기반 몰입형 항공기 승무원 훈련시스템
KR20240082822A (ko) 고공 낙하 훈련 시뮬레이션 시스템
KR20170079502A (ko) 가상현실에서 압력비례형 컨트롤를 이용한 플레이어의 수직자세 제어가능한 시스템
JP2024024304A (ja) 操船訓練システムおよび操船訓練プログラム
KR20210079077A (ko) 탑승 체험이 가능한 로봇 운용 시스템

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20230331

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240419

R150 Certificate of patent or registration of utility model

Ref document number: 7478041

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150