JP6410378B1 - Ｖｒを用いた消火体験シミュレーションシステム、体験用消火器、及びプログラム - Google Patents

Abstract

【課題】 利用が容易で、実際の消火活動の手順を臨場感をもって体験できる、ＶＲを用いた消火体験シミュレーションシステムを実現する。
【解決手段】 ＶＲを用いた消火体験シミュレーションシステムは、制御部２００としてのコンピュータを備えるＨＭＤ１０と、仮想現実の消火剤を噴射するスイッチとして機能する操作レバー２４、仮想現実の消火剤５を先端２８から噴出させる噴出具として機能するホース２６、操作レバーの状態及びホースの先端の動きの各々を検出するセンサＳ１、Ｓ２、及び通信部３２を有する体験用消火器２０と、を有し、制御部２００は、実映像／仮想現実映像切換部２１２と、体験者Ｕの手に握られたホース２６の先端から仮想現実の消火剤５が噴射される映像、及び仮想現実の炎７が鎮静される映像を含むシミュレーション映像ＶＲ（Ｆ）を表示させる仮想現実映像生成部２１０と、を有する。
【選択図】 図１

Description

本発明は、ＶＲを用いた消火体験シミュレーションシステム、体験用消火器、及びプログラム等に関し、特に、実際の消火器を模した（特に形状を模した）訓練用消火器とヘッドアップディスプレイ（ＨＭＤ）とを使用して、例えば室内で、実際の消火活動と同じ手順での消火体験が可能な消火体験（消火器体験）シミュレータ等に関する。

消火訓練シミュレータとして、例えば、トラック等の荷台に室内のセットを用意し、実際に火災を発生させて、実際の火炎に消火剤を投入できるようにしたものがある（特許文献１）。

また、ヘッドマウントディスプレイ（ＨＭＤ）を用いた仮想現実体感シミュレータとして、ＨＭＤとグラフィックワークステーションをケーブルで接続してシミュレータを構築するものがある（特許文献２）。

また、スマートフォン等を用いてＨＭＤを構成し、ディスプレイ上に、体験者の広範囲の視野に対応した映像を表示することで、体験者に没入型の視聴体験をもたらすことが意図されているウエアラブル装置が、特許文献３に記載されている。

特開平１１−３０５６４７号公報 特開平９−５４５４０号公報 特開２０１７−５１５４３５号公報

特許文献１、２に開示される技術は、いずれも大がかりな仕組みを必要とし、例えば、シミュレータの可搬性、簡便性の点で改良の余地があり、又、いずれも専門家が使用することを主目的としており、体験者の年代を問わず誰もが手軽に利用できる、というものではない。

また、近年、ＶＲ（仮想現実）空間において、種々の没入型の視聴体験が可能なウエアラブルコンピューティング技術（上記の特許文献３等）が進展しているが、この技術は、仮想現実（ＶＲ）空間に没入することを前提としており、例えば、現実の活動に使用される道具を使用して、現実の感覚を共有しながら、実際に役に立つ体験を行うことは意図されていない。

本発明の１つの目的は、利用が容易であり、かつ実際の消火活動の手順を臨場感をもって体験できる、ＶＲを用いた消火体験シミュレーションシステムを実現することである。本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。

以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。

第１の態様において、ＶＲを用いた消火体験シミュレーションシステムは、
映像を表示するディスプレイと、コンピュータと、通信処理を行う第１の通信部と、実景を撮像する実景撮像用カメラと、を備え、体験者に装着されるヘッドマウントディスプレイ（ＨＭＤ）と、
前記ＨＭＤの前記第１の通信部との間で通信を行う第２の通信部と、消火器本体と、前記ＨＭＤが仮想現実（ＶＲ）表示モードである場合に、仮想現実の消火剤を噴射するスイッチとして機能する操作レバーと、前記仮想現実の消火剤を先端から噴出させる噴出具として機能するホースと、前記体験者による前記操作レバーの操作を検出する第１のセンサと、
前記ホースの先端の動きを検出する第２のセンサと、を備え、前記ＨＭＤのコントローラとしての機能を兼ねる体験用消火器と、
を有し、
前記ＨＭＤの前記コンピュータは、前記ＨＭＤの動作を制御する制御部として機能し、
前記制御部は、
実映像表示モード／仮想現実表示モードを切り換え、かつ前記実映像表示モードの場合には、前記実景撮像用カメラで撮像した実映像を前記ディスプレイに表示させる実映像／仮想現実映像切換部と、
前記ＨＭＤが、前記実映像表示モードから前記仮想現実映像表示モードに切り換わると、前記第２、第１の通信部を経由して入力される、前記体験用消火器の前記第１のセンサ及び前記第２のセンサの各検出情報に基づいて、前記体験者の手に保持された前記ホースの前記先端から前記仮想現実の消火剤が噴射される映像、及び仮想現実の炎が鎮静される映像を含むシミュレーション映像を表示させる仮想現実映像生成部と、
を有する。

第１の態様では、実際に使用される消火器を模した体験用消火器（ＨＭＤのコントローラを兼ねる）を用いて、実際の消火活動と同様の、レバー操作やホースの先端の向きを変える動作を、手を使って行うことができる。よって、体験者は、実際の消火器の操作に慣れることができる。また、すぐに仮想現実空間に入り込むのではなく、実映像（例えば、ＨＭＤを構成するスマートフォンのカメラで撮像した、訓練用消火器を含む実像）をディスプレイに表示し、体験者が、訓練用消火器と自己の手の位置等を確認した後、その確認された実像に重ねる形で、仮想現実（ＶＲ）空間での消火活動シミュレーションを開始することが可能である。よって、現実の感覚を共有しながら、実際の消火活動の手順と同じ手順で、炎の消火作業（消火器体験）を行うことができる。よって、体験者は、現実感を共有しつつ、実際の消火活動の手順を、臨場感をもって体験することが可能である。また、本態様の消火体験シミュレーションシステムの主な構成要素は、体験用消火器とＨＭＤであり、構成が簡素化されている。よって、可搬性（持ち運び性、設営性）に優れ、かつ簡便性（例えば、スタッフの個別サポートなしで、室内で手軽に実施できる点）も備えたシミュレータを、容易に実現することができる。なお、訓練用消火器は、例えば、実際の消火器と同じものに、例えば、センサ及び通信部を備えるユニットを装着して実現することができるが、これに限定されるものではなく、訓練用消火器の重さを軽くしたり、小児用に小ぶりの消火器としたり、消火器本体の形状や表面に付されるデザインを若干、変更する等の変形は、適宜、なし得る。

第１の態様に従属する第２の態様において、
前記ＨＭＤの前記第１の通信部との間で通信を行う第３の通信部を備え、かつ、前記第１、第３の通信部を経由して入力される、前記実映像表示モードにおける実映像の映像データ、及び前記仮想現実映像表示モードにおける仮想現実映像の映像データに基づいて、前記体験者が前記ＨＭＤの前記ディスプレイを介して見ているのと同じ映像をモニター映像として表示するモニターを、更に有するようにしてもよい。

第２の態様によれば、体験者がＨＭＤのディスプレイを介して視聴している映像が、そのままモニターに映し出されることから、体験者以外の一人又は複数人（観衆）が、体験者と同じ映像を通して、同じ経験を共有することができる。よって、例えば、消火活動の指導者が、体験者に、適宜、助言を与えることが可能となり、また、観衆が叫び声をあげるなどして、より現実感を増す演出をする、といったことも可能となる。なお、モニターは、例えば、複数人が共通に使用する一台の大型スクリーンを備える投射型表示装置であってよく、あるいは、観衆の各人のタブレット端末のディスプレイであってもよい。

第１、第２の態様に従う第３の態様において、
前記仮想現実映像生成部は、前記仮想現実空間に表示される、前記ホースの前記先端を握る前記体験者の前記手の手首の支点の位置を固定し、前記第２のセンサの検出信号に基づいて、前記手首の前記支点を中心として、前記仮想現実空間における前記ホースの前記先端の向きを変えるようにしてもよい。

第３の態様によれば、仮想現実空間に表示される、ホースの先端を握る体験者の手首の支点の位置を固定し、その支点を中心とする、例えば手首の回動による変移量等を測定することでホースの先端の方向を特定することができる。この場合、手の奥行き方向（前後方向）の動きや上下方向（鉛直方向）の動きを考慮する必要がないことからセンサの検出負担を減らすことができ、また、仮想現実映像生成部の、映像生成のための画像処理の負担も軽減される。また、消火器を使用する際の基本は、適切な距離から、炎の、例えば中心に向けて勢いよく消火剤を噴射しつつ、ホースの先端を持つ手首の動きによって噴出方向を微調整する（言い換えれば、腕や体を大きく動かすといった無駄な動きをせず、消火剤を炎に正確に当てる）ということであり、この基本動作を確実に体験することができる。よって、体験者は、実際に役に立つ、消火活動の基本を習得することができる。

第３の態様に従う第４の態様において、
前記仮想現実映像生成部は、前記実映像表示モードから前記仮想現実映像表示モードに切り換えられると、仮想現実空間に火災現状の消火活動前の映像を表示させ、その後、前記消火活動前の映像が前記体験者に近寄ってきて止まるように制御し、その後、前記シミュレーション映像を表示させ、前記炎が鎮静化されて所定の程度に小さくなると、前記鎮静化されて所定の程度に小さくなった炎を含む消火活動後の映像が前記体験者に、更に近寄ってきて止まるように制御するようにしてもよい。

上記の第３の態様では、ホースを持つ手の奥行き方向（前後方向）の動きが考慮されないことから、体験者にとって、消火対象である炎までの距離感をつかみにくい場合があることを考慮し、第４の態様では、仮想現実空間における映像（例えば、背景映像に炎の映像が重畳された映像）を、適切なタイミングで、体験者に近づけるようにし、これによって、体験者は、自分が炎に向かって歩を進めた（言い換えれば、適切な距離になるまで移動した）かのような感覚を得ることができる。例えば、実映像表示モードから仮想現実映像表示モードに切り換わったときに、すぐに消火活動を開始させるのではなく、映像を体験者に近づけることで、体験者は、まずは、消火対象である炎に対して、消火剤が到達する距離まで近づくことが重要である、という消火活動の基本事項を学ぶことができる。さらに、消火活動が進行して、ある程度のレベルまで炎が鎮静化されたタイミングで、映像を近づけることで、炎が小さくなったからといって油断せず、さらに近づいて、確実に炎を消すことが重要である、という基本事項を学ぶことができる。本態様では、奥行き方向（前後方向）についての手の動きは検出しない簡素化された構成が採用される一方で、体験者は、奥行き方向（前後方向）における消火動作の注意すべき事項についても確実に習得することが可能である。

第１乃至第４の何れか１つに従属する第５の態様において、
前記仮想現実映像生成部は、前記火災現状の消火活動前の映像に含まれる背景の映像、及び前記シミュレーション映像に含まれる背景の映像として、前記体験者が見渡すことができるパノラマ映像を表示させてもよい。

第５の態様では、仮想現実空間に表示される映像として、平面映像ではなく、体験者が見回すことのできる広視野なパノラマ映像（例えば、横にぐるりと見渡せるような３６０度のパノラマ映像）を採用することで、体験者に、臨場感あふれる消火活動を体験させることができる。なお、パノラマ映像は、全周（あるいは部分周）型だけではなく、プラネタリウムのようなドーム（半球）スクリーンで視野の上半分を覆うような全天周型、前後左右頭上から足元まで全視野を覆うような全天球型の映像を、適宜、採用することができる。また、体験者の左右の目に正しく視差の付いた別々の映像を与えることができれば、全天球立体型のパノラマ映像を実現することもできる。

また、第１乃至第５の何れか１つに従属する第６の態様において、
前記制御部は、前記仮想現実空間における消火活動が終了した後、前記体験者の消火活動を所定の基準に従って評価し、前記評価を示す情報を前記ＨＭＤの前記ディスプレイに表示させる評価部を、更に有してもよい。

第６の態様では、消火体験の終了後に、評価部による評価（例えば「採点結果」や、「優、良、可といった程度を示す評価」）を、ＨＭＤのディスプレイ上（あるいは、第２の態様のようにモニターを備える場合は、モニターの表示面上）に表示することができる。例えば、消火に要した時間、消火剤の噴射の向き等に応じて、評価が下されることによって、体験者（および観衆）は、ゲーム感覚で、深刻になることなく、実際に役立つ消火体験をすることができる。また、評価を与えることは、体験者に、ＶＲを用いた消火活動に積極的に参加してみようとする動機付けを与えることにもなる。

第７の態様において、体験用消火器は、第１乃至第６の何れか１つに従属するＶＲを用いた消火体験シミュレーションシステムを構成する（言い換えれば、システムの構成要素である）体験用消火器である。

体験用消火器は、実際の消火器を模した形状、構造等を有し、更に、体験者の手の動きを検出するセンサ及びセンサの検出情報をＨＭＤに送信する通信部等を備える構成であり、多くの一般の方々が、体験用消火器を用いて、室内で、手軽に、ＶＲを用いた消火活動を体験することが可能となる。

第８の態様において、プログラムは、第１乃至第６の何れか１つのＶＲを用いた消火体験シミュレーションシステムにおける前記ＨＭＤに備わる前記コンピュータを、前記制御部として動作させるプログラムである。

第８の態様では、例えば、プログラムをＨＭＤのコンピュータにロードすることで、ＨＭＤを、ＶＲを用いた消火体験シミュレーションシステムの構成要素とすることができ、専用のＨＭＤ（専用のウエアラブルコンピュータ）を用意する必要がない。よって、多くの一般者が、手軽に利用できるようなる。このことは、ＶＲを用いた消火体験シミュレーションシステムの普及に貢献する。

当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。

図１（Ａ）は、本発明に従う、ＶＲ（仮想現実）を用いた消火体験シミュレーションシステムの基本的な構成例を示す図、図１（Ｂ）は、ＶＲを用いた消火体験シミュレーションにおける消火活動例を示す図である。 図２（Ａ）乃至図２（Ｄ）は、それぞれ、体験者が、ホースの先端を握る手の手首の支点を固定し、支点を中心として手首を回動させることで、ホースの先端から噴射する消火剤の方向を変化させる例を示す図である。 図３（Ａ）乃至図３（Ｄ）は、それぞれ、ＶＲを用いた消火体験の手順例、ならびに仮想現実の炎の見える位置等について説明するための図である。 図４（Ａ）乃至図４（Ｅ）は、それぞれ、ＶＲを用いた消火体験中における、体験者及び観衆（指導者を含む)が視認する映像例を示す図である。 ＶＲ（仮想現実）を用いた消火体験シミュレーションシステムの、全体の構成例を示す図である。 図６（Ａ）及び図６（Ｂ）は、パノラマ映像の表示について説明するための図、図６（Ｃ）は、炎シミュレータの基本的な構成例を示す図である。 図７は、ＶＲ（仮想現実）を用いた消火体験シミュレーションシステムにおける、ＨＭＤの制御部（コンピュータ）の制御手順例を示すフローチャートである。

以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。

以下の説明では、仮想現実（ＶＲ）を体験するための装置として、ヘッドマウントディスプレイ（以下、ＨＭＤと称する）を使用した例について説明するが、ＨＭＤは、人の頭部に装着するものに限定されず、肩や首、あるいは胴部等に装着されるものであってもよく、広義には、身につけることができるコンピュータ（ウエアラブルコンピュータ）と同義に解釈することが可能である。

また、頭部に装着されるＨＭＤとしては、コンピュータの部分がディスプレイから離れて据え置かれる据え置き型、コンピュータが、ゴーグルあるいは眼鏡の本体部に一体的に設けられる一体型、スマートフォンやタブレット端末等の携帯可能なモバイル端末（モバイル携帯端末）を頭部装着用の帯状の支持部材に着脱自在に取り付けることでＨＭＤを構成するモバイル型に大別される。本発明においては、いずれを用いてもよいが、但し、本発明では、特に、年代を問わずに、誰もが手軽に、ローコストで消火活動体験を経験できるようにして、システムの普及をめざすことを重視しており、この観点から、以下の説明では、モバイル型のＨＭＤを用いる例について説明する。

図１（Ａ）は、本発明に従う、ＶＲ（仮想現実）を用いた消火体験シミュレーションシステムの基本的な構成例を示す図、図１（Ｂ）は、ＶＲを用いた消火体験シミュレーションにおける消火活動例を示す図である。図１（Ａ）の左上側に示されるように、実空間において、体験者Ｕの前方方向（奥行き方向）にＹ軸が設定され、Ｙ軸に直交する左右方向にＸ軸が設定され、Ｙ軸に直交する鉛直方向にＺ軸が設定され、各軸によって３次元の座標空間が定義される。この３次元の座標空間は、見かけ上、仮想現実（ＶＲ）空間においても同様に適用され得る。

図１（Ａ）の左上側に示されるように、体験者Ｕは、頭部にＨＭＤ１０を装着している。ＨＭＤ１０のゴーグルは、スマートフォンやタブレット端末等の携帯可能なモバイル端末（モバイル携帯端末）１６を、頭部装着用の帯状の支持部材１２に着脱自在に取り付けることで構成され、また、炎が燃える音等を聞くことができるようにヘッドホン１４も設けられている。

この構成の場合、スマートフォン等のモバイル端末１６に備わるディスプレイ（例えば液晶表示装置）の表示面が、ＨＭＤ１０が装着されている体験者Ｕの眼１（左眼１Ｌ、右眼１Ｒ）の眼前に位置し、そのディスプレイに仮想現実映像が映し出されることで、体験者Ｕは、ＶＲ（仮想現実）を用いた消火活動体験をすることができる。モバイル端末１６に備わるディスプレイには、左右の各眼毎に異なる映像（視差画像）を表示することもできるが、ここでは、モバイル端末１６に備わるコンピュータの負担を軽減するために、各眼用の画像は同じ画像としている。すなわち、図１（Ａ）の例では、ＨＭＤ１０は単眼ゴーグルを有する構成である。

また、モバイル端末１６に備わるコンピュータ（ＣＰＵ、ＭＰＵ等）は、例えば、予めローディングされるプログラム（アプリケーションプログラム）に従って動作することで、ＶＲ（仮想現実）を用いた消火体験シミュレーションシステムを構成するＨＭＤ１０の動作を制御する制御部として機能する。なお、図１（Ｂ）では、制御部は、「ＨＭＤ制御部２００」と表記されている。なお、以下の説明では、単に、「制御部２００」という場合がある。

また、ＨＭＤ１０は、通信処理（体験用消火器２０から送られてくるセンサの検出信号の受信処理、ＨＭＤ１０のディスプレイに表示している映像データの、モニター３０への送信処理等）を行う通信部（第１の通信部：図１（Ａ）では不図示、図１（Ｂ）では「ＨＭＤ通信部３００」と表記されている）と、ＨＭＤ１０を取り巻く実空間における実景を撮像することが可能な実景撮像用カメラ（後述）と、を備える。

また、図１（Ａ）の左下側に示されるように、ＨＭＤ１０用のコントローラを兼ねる体験用消火器２０が、予め用意されている。この体験用消火器２０は、ＨＭＤ１０の通信部（第１の通信部）との間で通信を行う通信部（第２の通信部：例えば第１、第２の各センサＳ１、Ｓ２が通信機能も有しているとき、その通信機能を有する部分が第２の通信部となる）と、消火器本体２２と、ＨＭＤ１０が仮想現実（ＶＲ）表示モードである場合に、仮想現実の消火剤を噴射するスイッチとして機能する操作レバー２４、及び仮想現実の消火剤５を先端から噴出させる噴出具として機能するホース２６と、体験者Ｕによる操作レバー２４の操作を検出する第１のセンサＳ１と、ホース２６の先端２８の動きを検出する第２のセンサＳ２と、を備えている。

なお、訓練用消火器２０は、例えば、実際の消火器と同じものに、例えば、センサ及び通信部を備えるユニットを装着して実現することができるが、これに限定されるものではなく、訓練用消火器２０の重さを軽くしたり、小児用に小ぶりの消火器としたり、消火器本体２２の形状や表面に付されるデザインを若干、変更する等の変形は、適宜、なし得るものである。

この訓練用消火器２０は、ＨＭＤ１０用のコントローラとしての機能をもつが、更に、実際の消火器の操作を実体験するための体験用具（体験道具）としても機能する。ここで、従来、没入型のＨＭＤを用いた対戦ゲーム等で、仮想現実空間における、例えば竹刀の動きを制御するために、使用者が、玩具の竹刀型のコントローラを手にして仮想現実空間内の竹刀を動かす、といったことが行われるが、その場合の玩具の竹刀は、単にコントローラとして機能しているにすぎず、実際の竹刀の使用に慣れる等を目的とする体験用具（体験道具）としては機能していない。従って、本発明の体験用消火器は、コントローラの機能と体験用具（体験道具）としての機能を併せ持つ、消火体験シミュレーション用の新規、かつ有用な構造物である。

言い換えれば、体験用消火器２０は、実際の消火器を模した形状、構造等を有し、更に、体験者の手の動きを検出するセンサＳ１、Ｓ２等、及びセンサの検出情報をＨＭＤに送信する通信部等を備える構成であり、多くの一般の方々が、体験用消火器２０を用いて、室内で、手軽に、ＶＲを用いた消火活動を体験することが可能となる。

また、図１（Ａ）の右側に示されるように、体験者Ｕの近くには、モニター３０が設置されている。モニター３０は、図１（Ｂ）に明記されるように、ＨＭＤ１０の通信部（第１の通信部）との間で通信を行う通信部（第３の通信部）３２を備える。また、モニター３０は、図示はしないが画像処理装置を搭載している。

モニターに備わる画像処理装置（不図示）は、ＨＭＤ１０の通信部（第１の通信部）及びモニター３０の通信部（第３の通信部）３２を経由して入力される（言い換えれば、無線通信を介して送受信されてモニター３０の内部に入力される）、ＨＭＤ１０が実映像表示モードであるときの実映像の映像データ、及び仮想現実映像表示モードであるときの仮想現実映像の映像データに基づいて、体験者Ｕが、ＨＭＤ１０のディスプレイを介して見ているのと同じ映像を、モニター映像として表示する。図１（Ａ）の例では、体験者Ｕが見ている体験用消火器２０、及び体験者Ｕの左手の手首付近の映像、言い換えれば、実景撮像用カメラ（具体的には、図５の外カメラ１０３）で撮像した実映像が映し出されている。なお、体験者Ｕが聴いている音は、モニター３０に備わるスピーカ（不図示）からも出力される。

また、図１（Ａ）の例では、消火活動の専門的な助言等を担当する指導者ＴＣと、体験の順番待ちをしている体験希望者ＡＤが、観衆としてモニター３０に映し出されるモニター画像を見ている。モニター３０が設置されることで、体験者以外の一人又は複数人（観衆）が、体験者Ｕと同じ映像を通して、同じ経験を共有することができる。よって、例えば、消火活動の指導者ＴＣが、体験者Ｕに、適宜、助言を与えることが可能となり、また、観衆ＡＤが、叫び声をあげるなどして、より現実感を増す演出をする、といったことも可能となる。

なお、モニター３０は、例えば、複数人が共通に使用する一台の大型スクリーンを備える投射型表示装置であってよく、あるいは、観衆の各人のタブレット端末のディスプレイであってもよい。

図１（Ａ）のように、消火器本体２２や自身の手（右手３Ｒ）の映像（実映像）を体験者が確認した後、図１（Ｂ）へと移行する。言い換えれば、ＨＭＤ１０のモードが、ＨＭＤ制御部２００（具体的には、図５の実映像／仮想現実映像切換部２１２：後述）によって、実映像表示モードから仮想現実表示モードへと切り換えられる。

図１（Ｂ）では、ＶＲを用いた消火体験シミュレーションが開始される。ＨＭＤ制御部２００（具体的には、図５の仮想現実映像生成部２１０）は、ＨＭＤ１０が、実映像表示モードから仮想現実映像表示モードに切り換えられると、画像合成（画像のレンダリング）によって、体験者Ｕの手に握られたホース２６の先端２８を含む映像ＶＲ（１）と、ホース２６の先端２８から仮想現実の消火剤５が噴射される映像ＶＲ（２）と、仮想現実の炎７が鎮静される映像ＶＲ（３）とを、背景対象物９（図１（Ｂ）に示されるように、ここでは、火元となるタコ足配線のタップとする）を含む背景映像ＶＲ（４）に重畳させて、仮想現実表示のためのフレーム映像ＶＲ（４）を生成し、生成したフレーム映像ＶＲ（４）を含む映像を、シミュレーション映像として、ＨＭＤ１０のディスプレイに表示させ、また、これと併行して、フレーム映像ＶＲ（４）のデータを、モニター３０へと送信させる。モニター３０には、体験者Ｕが見ている映像と同じ映像が、モニター画像として映し出される。

フレーム映像ＶＲ（４）の生成は、図５に示される仮想現実映像生成部２１０が担当する。なお、仮想現実映像生成部２１０は、体験用消火器２０から無線通信によって送られてくる（言い換えれば、体験用消火器２０の第２の通信部、及びＨＭＤ１０の第１の通信部を経由してＨＭＤ制御部２００に入力される）、体験用消火器２０の第１のセンサＳ１及び第２のセンサＳ２の各検出情報、ならびに経過時間の情報等に基づいて、ホース２６の先端２８から仮想現実の消火剤５が噴射される映像ＶＲ（２）、仮想現実の炎７が鎮静される映像ＶＲ（３）を生成する（後述）。

図１（Ａ）、（Ｂ）に示されるように、本実施形態のＶＲ（仮想現実）を用いた消火体験シミュレーションシステムでは、実際に使用される消火器を模した体験用消火器２０（ＨＭＤ１０のコントローラを兼ねる）を用いて、実際の消火活動と同様の、レバー２４の操作やホース２６の先端２８の向きを変える動作を、体験者Ｕ自身の手３（左手３Ｌ、右手３Ｒ）を使って行うことができる。よって、体験者Ｕは、実際の消火器の操作に慣れることができる。

また、すぐに仮想現実空間に入り込むのではなく、図１（Ａ）に示されるように、まず、実映像（例えば、ＨＭＤ１０を構成するスマートフォン等のモバイル端末１６のカメラで撮像した、訓練用消火器を含む実像）をディスプレイに表示し、体験者Ｕが、訓練用消火器２０と自己の手（右手３Ｒ）の位置等を確認した後、その確認された実像に重ねる形で、仮想現実（ＶＲ）空間での消火活動シミュレーションを開始することが可能である。

従って、現実の感覚を共有しながら、実際の消火活動の手順と同じ手順で、炎の消火作業を行うことができる。よって、体験者Ｕは、現実感を共有しつつ、実際の消火活動の手順を、臨場感をもって体験することが可能である。

また、図１（Ａ）、（Ｂ）に示される消火体験シミュレーションシステムの主な構成要素は、体験用消火器２０とＨＭＤ１０であり（更に、必要に応じて、モニター３０が設けられる）、構成が簡素化されている。よって、可搬性（持ち運び性、設営性）に優れ、かつ簡便性（例えば、スタッフの個別サポートなしで、室内で手軽に実施できる点）も備えたシミュレータを、容易に実現することができる。

本実施形態のＶＲ（仮想現実）を用いた消火体験シミュレーションシステムは、従来の没入型のゲーム装置等は異なり、体験用消火器２０という現実の道具を操作して、その触感や質感等を常に現実に感じ取りつつ、その現実の手の動きと連動して変化する、仮想現実空間でのＶＲ映像による視覚によって臨場感あふれる消火活動を経験できるものであり、リアルな現実感を伴う仮想の消火体験シミュレータということができる。

次に、図２を参照する。図２（Ａ）乃至図２（Ｄ）は、それぞれ、体験者が、ホースの先端を握る手の手首の支点を固定し、支点を中心として手首を回動させることで、ホースの先端から噴射する消火剤の方向を変化させる例を示す図である。

図１（Ｂ）で説明したように、ホース２６の先端２８から噴射される仮想現実の消火剤５の噴射の方向は、ホース２６の先端２８を握っている体験者Ｕの手の動きによって変化する。その手の動きを、体験用消火器２０のホース２６の先端２８に備わる第２のセンサＳ２によって検出する。例えば、第２のセンサＳ２として六軸センサ（複合型の慣性センサであり、Ｘ，Ｙ，Ｚの各軸方向の動きと、各軸周りの回転θＸ、θＹ、θＺを検出するもの）を用いれば、複雑な手の動きを詳細に検出することができる。もちろん、このような検出手法を本発明においても使用することもできるが、しかし、この場合は、検出情報が多いことから、シミュレーション用の画像を生成するための画像処理が複雑化し、ＨＭＤ１０を構成するモバイル端末１６の処理能力を超える場合も想定され、また、高機能なモバイル端末を用意する場合には、コスト高となるのは否めない。消火体験シミュレーションシステムの普及を促進するためには、できるだけローコストで、多くの一般の方々が手軽に利用できることが望ましい。

この観点から、図２の例では、画像処理の負担の軽減等を考慮し、ＨＭＤ制御部２００（具体的には、図５の仮想現実映像生成部２１０）は、仮想現実空間に表示される、ホース２６の先端２８を握る体験者Ｕの手（例えば右手３Ｒ）の手首の支点Ｋ１の位置を固定し、第２のセンサＳ２の検出信号に基づいて、手首の支点Ｋ１を中心として（具体的には、支点Ｋ１を中心とする手首の回動による変移を検出して）、仮想現実空間におけるホース２６の先端２８の向きを変えるようにする。

図２（Ａ）は、仮想現実空間における、右手３Ｒと、ホース２６の先端２８と、ホース２６の先端２８から噴出される仮想現実の消火剤５と、仮想現実の炎７を、上下方向（鉛直方向）に対応するＺ軸に沿って見た場合の画像（Ｚ軸方向から見た平面視のＶＲ画像）を示している。図３（Ｂ）は、そのＶＲ画像がモニター３０に映し出されている様子を示している。

図２（Ａ）、（Ｂ）から明らかなように、仮想現実空間における右手３Ｒの手首の支点Ｋ１の位置が固定されており、実空間において、仮に右手３Ｒが動いたとしても、仮想現実空間では、その動きは反映されず、常に、支点Ｋ１は同じ位置にある。図３（Ａ）の例では、Ｚ軸を中心とした回動（回転）、言い換えれば、体験者Ｕから見て左右方向における、時計回り／反時計回りの回動（回転）が、体験用消火器２０のセンサＳ２によって検出される。

図２（Ｃ）は、図２（Ａ）と同じ画像を、左右方向に対応するＸ軸方向から見た平面視のＶＲ画像であり、図２（Ｄ）は、そのＶＲ画像がモニター３０に映し出されている様子を示す図である。同様に、支点Ｋ１は固定であり、Ｘ軸を中心とした回動（回転）、言い換えれば、体験者Ｕから見て上下方向における、時計回り／反時計回りの回動（回転）が、体験用消火器２０のセンサＳ２によって検出される。

このように、検出する動きを、Ｚ軸、Ｘ軸の各軸回りの回動（回転）による変移とする（もちろん、他の軸についての動きを検出してもよいが、この場合は、上記の２軸回りの動き以外の検出情報は画像生成に使用しない）ことによって、ＨＭＤ制御部（制御部）２００の処理負担等を軽減することができる。

言い換えれば、仮想現実空間に表示される、ホース２６の先端２８を握る体験者Ｕの手右手３Ｒの手首の支点Ｋ１の位置を固定し、その支点Ｋ１を中心とする、例えば手首の回動による変移量を角速度センサ（ジャイロセンサ等）で測定することでホース２６の先端２８の方向を特定することができ、一方、手の奥行き方向（前後方向であるＹ軸方向）に沿う動き（並進）や上下方向（鉛直方向）に沿う動き（並進）を考慮する必要がないことから、第２のセンサＳ２の検出負担を減らすことができ、また、ＨＭＤ制御部（制御部）２００における仮想現実映像生成部２１０（図５参照）の、映像生成のための画像処理の負担も軽減される。

また、消火器を使用する際の基本は、適切な距離から、炎７の、例えば中心に向けて勢いよく消火剤５を噴射しつつ、ホース２６の先端２８を持つ手（右手３Ｒ）の手首の動きによって噴出方向を微調整する、言い換えれば、腕や体を大きく動かすといった無駄な動きをせず、消火剤を炎に正確に当てる、ということであり、この基本動作を確実に体験することができる。よって、体験者Ｕは、実際に役に立つ、消火活動の基本を習得することができる。

次に、図３を参照する。図３（Ａ）乃至図３（Ｄ）は、それぞれ、ＶＲを用いた消火体験の手順例、ならびに仮想現実の炎の見える位置等について説明するための図である。図３において、前掲の図と同じ対象には同じ符号を付している。なお、この点は、他の図においても同様である。

図３（Ａ）では、ＨＭＤ１０を装着した体験者Ｕが、まず、体験用消火器２０から安全ピン１３を引き抜く、次に、一方の手（ここでは右手３Ｒ）をレバー２４に掛け（握りしめていないので第１のセンサＳ１の検出信号はオフ状態）、他方の手（ここでは左手３Ｌ）でホース２６の先端２８を握る（保持する）。

先に説明したように、図３（Ａ）の状態では、ゴーグルとして機能するモバイル端末１６は、カメラで撮像した実映像を表示しており（例えば、図１（Ａ）のモニター画像参照）、体験者Ｕは、体験用消火器２０や自身の手の位置等を視認して、確認することができる。

次に、ＨＭＤ１０が、実映像表示モードから仮想現実映像表示モードへと切り換えられる。図３（Ｂ）では、仮想現実空間に、火災現状の消火活動前の映像（例えば、火元となっている、オフィス内のタコ足配線のタップ９周りの映像）が表示される。体験者Ｕから炎７までの距離はＬ０である。その後、その映像が体験者Ｕの側に近寄ってきて止まる。この場合、体験者Ｕから炎７までの距離はＬ１（Ｌ１＜Ｌ０）となる。

火元の映像を、体験者Ｕに近づけさせるのは、以下の理由による。すなわち、上述のように、ホース２６の先端２８を持つ手の奥行き方向（前後方向）の動きが考慮されない場合には、体験者Ｕにとって、消火対象である炎７までの距離感をつかみにくい場合があり得る。この点を考慮し、仮想現実空間における火元の映像（背景映像に炎の映像が重畳された映像）を、適切なタイミングで、体験者Ｕに近づけるようにし、これによって、体験者Ｕが、自分が炎７に向かって歩を進めた（言い換えれば、適切な距離になるまで移動した）かのような感覚を得ることができるようにしている。例えば、実映像表示モードから仮想現実映像表示モードに切り換わったときに、すぐに消火活動を開始させるのではなく、火元の映像を体験者Ｕに近づけることで、体験者Ｕは、まずは、消火対象である炎７に対して、消火剤５が到達する距離まで近づくことが重要である、という消火活動の基本事項を学ぶことができる。

次に、図３（Ｃ）のように、消火活動のシミュレーション映像が表示され、仮想現実空間内において、消火剤５の噴射（噴霧）によって、炎７が、時間の経過と共に鎮静化される様子を示す映像が表示される。

次に、図３（Ｄ）のように、炎７が鎮静化されて所定の程度に小さくなる（例えば、炎の大きさが初期状態の３０％程度となる）と、鎮静化されて所定の程度に小さくなった炎７を含む消火活動後の映像が、体験者Ｕに、更に近寄ってきて止まる。消火活動が進行して、ある程度のレベルまで炎７が鎮静化されたタイミングで、火元を含む映像を近づけることで、炎７が小さくなったからといって油断せず、さらに近づいて、確実に炎７を消すことが重要である、という基本事項を学ぶことができる。やがて、炎は完全に鎮火され、これによって体験シミュレーションが終了する。

このように、奥行き方向（前後方向）についての手の動きは検出しない簡素化された構成が採用される場合であっても、体験者Ｕは、奥行き方向（前後方向）における消火動作の注意すべき事項についても確実に習得することが可能である。

次に、図４を参照する。図４（Ａ）乃至図４（Ｅ）は、それぞれ、ＶＲを用いた消火体験中における、体験者及び観衆（指導者を含む)が視認する映像例を示す図である。図４では、左側にＨＭＤ１０（におけるディスプレイ）に表示される画像が示され、右側に、モニター３０に表示される画像が示されている。

図４（Ａ）では、シミュレーションを開始するにあたってのナビゲーション画像が表示される。図４（Ｂ）では、先に、図１（Ａ）に示した実映像（実像）が表示される。

図４（Ｃ）では、実映像（実像）からＶＲ映像（虚像）へと切り換わる。ＨＭＤ１０には、火元を示す画像（左眼用の炎７Ｌを示す画像ＶＲ（２Ｌ）、右眼用の炎７Ｒを示す画像ＶＲ（２Ｒ））が表示される。モニター３０には、炎７を示す画像ＶＲ（２）が示される。

図４（Ｄ）では、ＨＭＤ１０には、消火活動中におけるシミュレーション画像（言い換えれば、左眼用のフレーム画像ＶＲ（ＦＬ）、右眼用のフレーム画像ＶＲ（ＦＲ））が表示される。モニター３０には、フレーム画像ＶＲ（Ｆ）が表示される。

図４（Ｅ）では、ＨＭＤ１０には、炎７が鎮静化されて初期の３０％程度の大きさになった状態におけるシミュレーション画像（言い換えれば、左眼用のフレーム画像ＶＲ（ＦＬ）、右眼用のフレーム画像ＶＲ（ＦＲ））が表示される。モニター３０には、フレーム画像ＶＲ（Ｆ）が表示される。

次に、図５を参照する。図５は、ＶＲ（仮想現実）を用いた消火体験シミュレーションシステムの、全体の構成例を示す図である。図５の右上には、ＨＭＤ１０の本体（ＨＭＤ本体）１０１における構成が示され、図５の左側には、ＨＭＤ１０の制御部（ＨＭＤ制御部）２００の構成が示されている。

ＨＭＤ本体１０１は、画像処理部１０７と、外部を撮像する外カメラ（実景撮像用カメラ）１０３と、ディスプレイ駆動部１０９と、ディスプレイの左眼１Ｌ用の表示領域１６Ｌと、ディスプレイの右眼１Ｒ用の表示領域１６Ｒと、ヘッドホン１４（左耳用のスピーカ１１Ｌ及び右耳用のスピーカ１１Ｌを含む）と、体験者Ｕの視線（視点）の移動を検出する内カメラ（瞳検出用カメラ）１３と、センサ部１５と、を有する。センサ部１５は、視線検出部１７と、ジャイロセンサや加速度センサ等を含む慣性センサ１９と、センサ信号に基づいて手の動きを検出する動き検出部２１と、を含む。

なお、ヘッドホン１４があることによって、例えば、消火体験シミュレーション中に、炎が燃える音等が体験者Ｕの耳に出力され、これによって、体験者Ｕは、より臨場感にあふれる消火活動を体験することができる。

また、内カメラ１３によって撮影された瞳を、視線検出部１７で解析することによって、体験者Ｕの視線位置（視点位置）を検出することができる。例えば、ＨＭＤ１０のディスプレイに、「シミュレーションを止める」、「消火活動をせずに逃げる」といった選択肢を提示し、体験者Ｕが、視線を、希望する選択肢に合わせることで、所望の動作を実行させる、といったことが可能となる。

制御部（ＨＭＤ制御部）２００は、仮想現実映像生成部２１０と、実映像／仮想現実映像切換部２１２と、記憶部２２０と、評価部（採点部）２３０と、タイマー２４０と、画像信号生成部２５０と、音響処理部２６０と、音響信号生成部２７０と、を有する。

制御部（ＨＭＤ制御部）２００は、図４（Ａ）に示されるようなナビゲーション（案内）画像を生成する案内画像生成部２１１と、パノラマ画像生成部２１３と、ホース先端及び手首の画像生成部２１４と、消火剤の散布（噴出）画像生成部２１６と、火元の画像である燃焼画像を生成する燃焼画像生成部（言い換えれば、炎シミュレータ）２１６と、を有している。なお、パノラマ画像については後述する。

ここで、実映像／仮想現実映像切換部２１２は、ＨＭＤ１０における実映像表示モード／仮想現実表示モードを切り換え、かつ、実映像表示モードの場合には、実景撮像用カメラ（外カメラ）１０３で撮像した実映像を、ＨＭＤ１０のディスプレイに表示させる。

また、仮想現実映像生成部２１０は、ＨＭＤ１０が、実映像表示モードから仮想現実映像表示モードに切り換わると、体験用消火器２０の通信部（第２の通信部）、及びＨＭＤの通信部（第１の通信部）３００を経由して入力される、体験用消火器２０の第１のセンサＳ１及び第２のセンサＳ２の各検出情報（図５に示されるレバーのＯＮ／ＯＦＦ信号、Ｘ軸、Ｚ軸周りの回転（回動）による変移を示す情報θＸ、θＺ）に基づいて、体験者Ｕの手に握られたホース２６の先端２８から仮想現実の消火剤が噴射される映像（図１（Ｂ）の映像ＶＲ（２））、及び仮想現実の炎が鎮静される映像（図１（Ｂ）の映像ＶＲ（３））を含むシミュレーション映像（図１（Ｂ）のフレーム映像ＶＲ（Ｆ））を表示させるように動作する。

また、記憶部２２０は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ等からなり、画像生成用データ２２１と、システムプログラム２２２と、アプリケーションプログラム２２３と、を有する。

アプリケーションプログラム２２３は、ＶＲを用いた消火体験シミュレーションシステムにおけるＨＭＤ１０に備わるコンピュータ（ＣＰＵ、ＭＰＵ）を、制御部（ＨＭＤ制御部）２００として動作させるプログラムである。従って、アプリケーションプログラム２２３を、ＨＭＤ１０のコンピュータ（ＣＰＵ、ＭＰＵ）にロードすることで、ＨＭＤ１０を、ＶＲを用いた消火体験シミュレーションシステムの構成要素とすることができ、専用のＨＭＤ（専用のウエアラブルコンピュータ）を用意する必要がない。よって、多くの一般者が、手軽に利用できるようなる。このことは、ＶＲを用いた消火体験の普及に貢献する。

また、上述のとおり、制御部（ＨＭＤ制御部）２００は、評価部（採点部）２３０を有している。評価部（採点部）２３０は、仮想現実空間における消火活動が終了した後、体験者Ｕの消火活動を所定の基準に従って評価し、評価を示す情報をＨＭＤ１０のディスプレイに表示させる。

例えば、消火体験の終了後に、評価部（採点部）２３０による評価（例えば「採点結果」や、「優、良、可といった程度を示す評価」）が、ＨＭＤ１０のディスプレイ上、及びモニター３０の表示面上に表示される。

具体的には、例えば、消火に要した時間、消火剤の噴射の向き等に応じて、評価が下されることによって、体験者（および観衆）は、ゲーム感覚で、深刻になることなく、実際に役立つ消火体験をすることができる。また、評価を与えることは、体験者Ｕに、ＶＲを用いた消火活動に積極的に参加してみようとする動機付けを与えることにもなり、システムの普及に貢献する。

次に、図６を参照する。図６（Ａ）及び図６（Ｂ）は、パノラマ映像の表示について説明するための図、図６（Ｃ）は、炎シミュレータの基本的な構成例を示す図である。まず、パノラマ画像の生成について説明する。

図５で説明したように、仮想現実映像生成部２１０は、パノラマ画像生成部２１３を有している。パノラマ画像生成部２１３は、例えば、火災現状の消火活動前の映像に含まれる背景の映像、及びシミュレーション映像に含まれる背景の映像として、体験者Ｕが見渡すことができるパノラマ映像を生成して表示させる機能を有する。

ここで、仮想現実空間に表示される映像として、平面映像ではなく、体験者が見回すことのできる広視野なパノラマ映像（例えば、横にぐるりと見渡せるような３６０度のパノラマ映像）を採用することで、体験者Ｕに、臨場感あふれる消火活動を体験させることができる。なお、パノラマ映像は、全周（あるいは部分周）型だけではなく、プラネタリウムのようなドーム（半球）スクリーンで視野の上半分を覆うような全天周型、前後左右頭上から足元まで全視野を覆うような全天球型の映像を、適宜、採用することができる。また、体験者Ｕの左右の目に正しく視差の付いた別々の映像を与えることができれば、全天球立体型のパノラマ映像を実現することもできる。但し、例えば、視差画像を用いて、立体視を実現しようとすると、画像処理の負担が増えることから、制御部（ＨＭＤ制御部）２００の負担とならない範囲でのパノラマ画像の生成処理を行う必要がある。

図６（Ａ）では、半球状の座標空間ＭＰを設定し、体験者Ｕの眼１（右眼１Ｒ、左眼１Ｌ）から、基準距離Ｌだけ離れた位置に、広視野に対応した曲面状の仮想的なスクリーン（映像投影領域）ＳＥを設定する。このスクリーンＳＥを、体験者Ｕの頭部の動き（あるいは、図５で説明した眼の動き）に基づいて、例えば左右方向に回転（回動）させることで、体験者Ｕが横方向に見渡せるような広視野のパノラマ映像による表示を実現することができる。

なお、図６（Ｂ）に記載されるように、体験者Ｕの頭部ＨＡの動きは、例えば、図５で示した、ＨＭＤ１０の本体１０１に搭載される慣性センサによって、測定することができる。例えば、六軸センサ（複合型の慣性センサであり、Ｘ，Ｙ，Ｚの各軸方向の動きと、各軸周りの回転θＸ、θＹ、θＺを検出するもの）を用いれば、頭部ＨＡの動きを詳細に検出することが可能である。

また、図５で説明した燃焼画像生成部（炎シミュレータ）２１６は、例えば、図６（Ｃ）のような構成を有する。すなわち、燃焼モデルに基づいて作成された火炎片データベース５０１と、燃焼画像データ生成部５０３と、タイマー５０５と、を有しており、燃焼画像データ生成部５０３は、体験用消火器２０から送られてくるセンサ情報（センサＳ１、Ｓ２の検出信号）と、タイマー５０５が計測する経時情報と、を考慮して、火炎片データベース５０１にアクセスし、必要な大きさの火炎片を合成することで、刻一刻と変化する炎７の映像を生成する。

図２（Ａ）、（Ｂ）で説明したように、ホース２６の先端２８を保持する手（右手３Ｒ）の手首の回動（回転）に応じて、消火剤５の噴出方向が変更されるが、噴出の広がりは予めわかっていることから、噴出方向が定まれば、炎７のどの範囲に、単位時間当たり、どれだけの消火剤が当たるかを予測することができる。この予測結果に基づいて、上記のような構成を用いて、燃焼画像データを生成することができる。

次に、図７を参照する。図７は、ＶＲ（仮想現実）を用いた消火体験シミュレーションシステムにおける、ＨＭＤの制御部（コンピュータ）の制御手順例を示すフローチャートである。なお、図７に示される手順は、先に、図３、図４で示したシミュレーション手順に従うものとする。

ＨＭＤの制御部（プログラムに従って動作するコンピュータ）２００は、まず、操作説明等の案内（ガイダンス）映像を表示させ（ステップＳ１０）、次に、図５の外カメラ１０３で撮像した画像（例えば、図４（Ｂ）で示したような体験用消火器２０及び手首の付近の撮像画像）を表示させる（ステップＳ２０）。

次に、ＶＲを用いた消火体験が開始されると（ステップＳ３０）、ＶＲ動画の映像（例えば、消火活動前の図４（Ｃ）で示したような、消火活動前の火災現状を示す映像）を表示させる（ステップＳ４０）。次に、例えば、体験者Ｕが、消火活動の開始を選択するか否かを判定する（ステップＳ５０）。ここでは、例えば、ＨＭＤ１０のディスプレイに、例えば、「逃げる」、「開始する」という２つの選択肢を提示し、体験者Ｕが、アイコンタクトでいずれか一方を選択する、というような手順が実施される。

ステップＳ５０でＹの場合は、図４（Ｂ）で説明したように、奥行き感を体感できるように、火元の画像を体験者Ｕに近づける（接近させる）制御を実施し（ステップＳ６０）、体験者Ｕによるレバー操作の有無（レバー２４のオン／オフ）を検出する（ステップＳ７０）。

ステップＳ７０でＹの場合は、図４（Ｃ）で説明したように、ホース２６の先端２８から、消火剤５を放出するＶＲ映像の表示、及び、散布される消火剤５によって時間経過と共に鎮火されていく炎のＶＲ映像の表示を行う（ステップＳ８０）。これと併行して、同じＶＲ映像をモニター３０に送信して、モニター３０に表示させる（ステップＳ９０）。

次に、図４（Ｄ）で説明したように、炎７が、初期状態の約３０％以下の大きさにまで鎮火されると（ステップＳ１００）、体験者Ｕに奥行き感を感じさせるべく、火元の映像を、さらに体験者に接近させ（ステップＳ１１０）、炎が鎮火されると（ステップＳ１２０）、採点（評価結果の生成）を行い、その採点（評価結果）を、ＨＭＤ１０のディスプレイ上、及びモニター３０の表示面上に表示させる（ステップＳ１３０）。この場合、例えば、消火活動の制限時間を３０秒とし、消火完了までの時間で評価することができる。例えば、１５秒未満で消火できた場合は１００点、１５秒以上２０秒未満で７０点、というように評価する。

以上、説明したように、本発明のＶＲを用いた消火体験シミュレーションシステム、プログラム及び体験用消火器によれば、可搬性、簡便性に優れ、実際の消火活動と同じ手順で消火体験ができ、適宜、指導者による指導を受けることも可能な、新規な消火体験シミュレータを実現することができる。

また、消火までの時間、噴射の向きなどに応じて得点を付与するなどゲーム特生を持たせることで、消火体験への動機づけを与えることができる。また、消火剤の噴射可能時間を実際の消火器と同じにし、また、実際の消火器の使用感に近づけることで、実際に役立つ消火訓練を実現することができる。

また、単眼ゴーグルを使用するなどして、小学生以下でも使用可とし、これによって、年代を問わず使えるシミュレータとなる。また、モニターを利用することで、観衆（観客）と体験者とが、同じ体験を共有することができる。

また、例えば、火元に３〜５メートルの距離まで近づいて消火活動を始め、消火活動が進んで炎が小さくなったら、更に火元に近寄って、完全に消火するという、奥行き感のある消火行動を、仮想現実（ＶＲ）空間上で体感できる（図４（Ｂ）乃至図４（Ｄ））。

また、ＨＭＤ１０を構成するモバイル端末等をインターネットに接続しない構成とすることで、セキュリティの低下を防止することができる。

以上、本発明を実施形態に基づいて説明したが、本発明は、上記の実施形態に限定されるものではなく、種々、変形、応用が可能である。例えば、仮想現実空間で表示される背景の画像や炎の画像は、複数の画像の中から選択できるようにし、例えば、選択肢となる画像を定期的に更新することにより、より適切な状況を設定して、実践的な消火活動体験を手軽に実施できるようになる。

本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。

１（１Ｌ、１Ｒ）・・・体験者の眼（左眼、右眼）、３（３Ｌ、３Ｒ）・・・体験者の手（左手、右手）、５・・・仮想現実の消火剤（消火剤ＣＧ）、７・・・仮想現実の炎（炎ＣＧ）、９・・・火元となる対象物（例えばタップ）、１０・・・ＨＭＤ、１２・・・頭部装着用の支持部材、１４・・・ヘッドホン、１６・・・モバイル端末、２０・・・体験用消火器、２２・・・消火器本体、２４・・・レバー、２６・・・ホース、２８・・・ホースの先端（先端部）、３０・・・モニター、３２・・・モニター通信部（第３の通信部）、２００・・・制御部（ＨＭＤ制御部）、３００・・・ＨＭＤ通信部（第１の通信部）、ＴＣ・・・指導者、ＡＤ・・・観衆。

Claims (9)

1. 映像を表示するディスプレイと、コンピュータと、通信処理を行う第１の通信部と、実景を撮像する実景撮像用カメラと、を備え、体験者に装着されるヘッドマウントディスプレイ（ＨＭＤ）と、
   前記ＨＭＤの前記第１の通信部との間で通信を行う第２の通信部と、消火器本体と、前記ＨＭＤが仮想現実（ＶＲ）表示モードである場合に、仮想現実の消火剤を噴射するスイッチとして機能する操作レバーと、前記仮想現実の消火剤を先端から噴出させる噴出具として機能するホースと、前記体験者による前記操作レバーの操作を検出する第１のセンサと、前記ホースの先端の動きを検出する第２のセンサと、を備え、前記ＨＭＤのコントローラとしての機能を兼ねる体験用消火器と、
   を有し、
   前記ＨＭＤの前記コンピュータは、前記ＨＭＤの動作を制御する制御部として機能し、
   前記制御部は、
   実映像表示モード／仮想現実表示モードを切り換え、かつ前記実映像表示モードの場合には、前記実景撮像用カメラで撮像した実映像を前記ディスプレイに表示させる実映像／仮想現実映像切換部と、
   前記ＨＭＤが、前記実映像表示モードから前記仮想現実映像表示モードに切り換わると、前記第２、第１の通信部を経由して入力される、前記体験用消火器の前記第１のセンサ及び前記第２のセンサの各検出情報に基づいて、前記体験者の手に保持された前記ホースの前記先端から前記仮想現実の消火剤が噴射される映像、及び仮想現実の炎が鎮静される映像を含むシミュレーション映像を表示させる仮想現実映像生成部と、
   を有し、
   前記仮想現実映像生成部は、前記仮想現実空間に表示される、前記ホースの前記先端を握る前記体験者の前記手の手首の支点の位置を固定し、前記第２のセンサの検出信号に基づいて、前記手首の前記支点を中心として、前記仮想現実空間における前記ホースの前記先端の向きを変えることを特徴とする、ＶＲを用いた消火体験シミュレーションシステム。
2. 前記ＨＭＤの前記第１の通信部との間で通信を行う第３の通信部を備え、かつ、前記第１、第３の通信部を経由して入力される、前記実映像表示モードにおける実映像の映像データ、及び前記仮想現実映像表示モードにおける仮想現実映像の映像データに基づいて、前記体験者が前記ＨＭＤの前記ディスプレイを介して見ているのと同じ映像をモニター映像として表示するモニターを、更に有することを特徴とする、請求項１に記載のＶＲを用いた消火体験シミュレーションシステム。
3. 前記仮想現実映像生成部は、前記実映像表示モードから前記仮想現実映像表示モードに切り換えられると、仮想現実空間に火災現状の消火活動前の映像を表示させ、その後、前記消火活動前の映像が前記体験者に近寄ってきて止まるように制御し、その後、前記シミュレーション映像を表示させ、前記炎が鎮静化されて所定の程度に小さくなると、前記鎮静化されて所定の程度に小さくなった炎を含む消火活動後の映像が前記体験者に、更に近寄ってきて止まるように制御することを特徴とする、請求項１に記載のＶＲを用いた消火体験シミュレーションシステム。
4. 前記仮想現実映像生成部は、前記火災現状の消火活動前の映像に含まれる背景の映像、及び前記シミュレーション映像に含まれる背景の映像として、前記体験者が見渡すことができるパノラマ映像を表示させることを特徴とする請求項１乃至３の何れか１項に記載のＶＲを用いた消火体験シミュレーションシステム。
5. 前記制御部は、前記仮想現実空間における消火活動が終了した後、前記体験者の消火活動を所定の基準に従って評価し、前記評価を示す情報を前記ＨＭＤの前記ディスプレイに表示させる評価部を、更に有することを特徴とする、請求項１乃至４の何れか１項に記載のＶＲを用いた消火体験シミュレーションシステム。
6. 映像を表示するディスプレイと、コンピュータと、通信処理を行う第１の通信部と、実景を撮像する実景撮像用カメラと、を備え、体験者に装着されるヘッドマウントディスプレイ（ＨＭＤ）と、
   前記ＨＭＤの前記第１の通信部との間で通信を行う第２の通信部と、消火器本体と、前記ＨＭＤが仮想現実（ＶＲ）表示モードである場合に、仮想現実の消火剤を噴射するスイッチとして機能する操作レバーと、前記仮想現実の消火剤を先端から噴出させる噴出具として機能するホースと、前記体験者による前記操作レバーの操作を検出する第１のセンサと、前記ホースの先端の動きを検出する第２のセンサと、を備え、前記ＨＭＤのコントローラとしての機能を兼ねる体験用消火器と、
   を有し、
   前記ＨＭＤの前記コンピュータは、前記ＨＭＤの動作を制御する制御部として機能し、
   前記制御部は、
   実映像表示モード／仮想現実表示モードを切り換え、かつ前記実映像表示モードの場合には、前記実景撮像用カメラで撮像した実映像を前記ディスプレイに表示させる実映像／仮想現実映像切換部と、
   前記ＨＭＤが、前記実映像表示モードから前記仮想現実映像表示モードに切り換わると、前記第２、第１の通信部を経由して入力される、前記体験用消火器の前記第１のセンサ及び前記第２のセンサの各検出情報に基づいて、前記体験者の手に保持された前記ホースの前記先端から前記仮想現実の消火剤が噴射される映像、及び仮想現実の炎が鎮静される映像を含むシミュレーション映像を表示させる仮想現実映像生成部と、
   を有し、
   前記実映像／仮想現実映像切換部は、前記実映像表示モードでの前記体験者による前記操作レバーの操作を前記第１のセンサにおいて検出した後に、前記実映像表示モードの実行を終了することを特徴とする、ＶＲを用いた消火体験シミュレーションシステム。
7. 前記実映像／仮想現実映像切換部は、前記実映像表示モードの実行を終了させる時に、前記実景撮像用カメラの起動を終了させることを特徴とする、請求項６に記載のＶＲを用いた消火体験シミュレーションシステム。
8. 請求項１乃至７の何れか１項に記載のＶＲを用いた消火体験シミュレーションシステムを構成する体験用消火器。
9. 請求項１乃至７の何れか１項に記載のＶＲ消火体験シミュレーションシステムにおける前記ＨＭＤに備わる前記コンピュータを、前記制御部として動作させるプログラム。

Images