JP7530754B2 - 教育支援システム、方法およびプログラム - Google Patents

Description

本発明は、ＶＲ（Virtual Reality，仮想現実）、ＡＲ（Augmented Reality，拡張現実）、あるいはＭＲ（Mixed Reality, 複合現実）等（以下単に「ＶＲ」という。）の技術を用いて、教師（先生）が遠隔から受講者（生徒）に対して教育や訓練を行うことのできる教育支援システム、方法およびプログラムに関する。

従来、ＶＲ等の技術を用いて教育を行うシステムが提案されている。
例えば、特許文献１では、教師側の機器と生徒側の機器との間で、仮想空間を描画するための講義の信号を送受信するネットワーク手段を備え、講義資料のデータを仮想空間内の空間スクリーンに描画して、講義を行う学習システムが記載されている。

このシステムは、教師側のパーソナルコンピュータ（以下、「ＰＣ」又は「パソコン」ともいう。）で講義を開始する等の処理が行れたり、生徒側のＰＣで講義中に当てられてチャット形式で返答する等、各ＰＣで何らかのイベントが発生した際には、接続されたＰＣ間で仮想空間学習ソフトウェアのオブジェクトやデータについて同期をとり、他のＰＣでは受信したデータをもとに当該イベントを再現するというものである。

特開２００９－１４５８８３号公報

ところで、特許文献１に記載の技術は、イベント発生時に、イベントの発生したＰＣから他のＰＣにそのイベント情報を送信して、各ＰＣ間の同期をとるというものである。しかしながら、ネットワークを介して接続されるＰＣ数（受講者数）が少ない場合や、イベント情報が比較的小容量の場合は、イベント発生の都度イベント情報を送信して各ＰＣ間の同期をとることも可能であるが、ＰＣ数（受講者数）やイベント情報が大きくなると、ネットワーク負荷が大きくなり、各ＰＣ間の同期が取りづらくなる。

本発明は、上述のかかる事情に鑑みてなされたものであり、仮想現実技術を利用した教育支援システムにおいて、受講者数やイベント情報の大きさの影響を低減し、イベント発生時に効率よく同期をとることのできる教育支援システム、方法およびプログラムを提供することを目的とする。

上記目的を達成するため、本開示に係る教育支援システムは、受講者が装着し、仮想空間上に教育用モデルを表示するバーチャルコンテンツ表示装置と、教師側に設けられ、前記教育用モデルに対する動作指示を送信する教育指示装置とを有する教育支援システムであって、
前記バーチャルコンテンツ表示装置は、
前記教育用モデルを表示するためのデータを保存する教育用モデル記憶部と、
前記教育用モデルに変化を与えるイベント情報を予め保存するイベント情報記憶部と、
前記教育指示装置から送られてくる指示情報をトリガとして、前記イベント情報によって前記教育用モデルを変化させて仮想空間上に表示する教育用モデル表示部と、
を備えたことを特徴とする。

本開示では、教育用モデルに変化を与えるイベント情報を受講者側のバーチャルコンテンツ表示装置に予め保存しておき、教師側から送られてくる指示情報をトリガとして、このイベント情報に基づいて教育用モデルを変化させる。

好ましくは、前記教育用モデルは、一又は二以上の部品からなり、前記イベント情報は、前記部品に関連付けられた視聴覚的な変化を規定する変化定義情報を含み、前記教育用モデル表示部は、前記指示情報を受信すると、該指示情報に対応する前記変化定義情報に基づいて該当する部品を変化させることによって、前記教育用モデルを変化させるようにすると良い。

これにより、教育用モデルを、当該モデルを構成する部品単位で変化させることができる。ここで、部品に関連付けられた視聴覚的な変化とは、部品の縮小・拡大・回転・移動など（以下、総称して「アニメーション」という。）、部品自体のアニメーションのみならず、当該部品に限定されない例えば背景等を含めたアニメーションや音声など、ユーザ（教師や受講者）の五感を通して与える変化を含む趣旨である。また、部品は、ある装置を構成する部品に限らず、背景や気流など擬似的に部品として扱うものも含む。

また、本開示による教育支援システムでは、前記教育指示装置は、前記教育用モデルの部品ごとにイベント情報を変更、追加、削除するイベント情報更新部と、前記イベント情報を前記バーチャルコンテンツ表示装置へ送信するイベント情報送信部を備え、
前記バーチャルコンテンツ表示装置は、前記イベント情報送信部から送られてくるイベント情報を受信すると、前記イベント情報記憶部に保存されているイベント情報を部品単位で更新するイベント情報受信部を備えたことを特徴とする。

本開示によれば、必要により教師側で教育用モデルの変化を定義し、この定義データをイベント情報として受講者のバーチャルコンテンツ表示装置へ送信し、保存することができる。これにより、教育時にこのイベント情報を利用することにより、効率的に教育指示装置、バーチャルコンテンツ表示装置間の同期を取ることができる。

また、本開示に係る教育支援システムでは、さらに、前記教育用モデルに対する受講者の動きを検知する操作検知部と、
前記操作検知部で検知した受講者の動きを前記教育指示装置へ送信するイベント送信部と、を備え、
前記教育用モデル表示部は、前記操作検知部によって検知する受講者の動きを表す映像を仮想空間上に表示し、
前記教育指示装置は、
教育用モデルを仮想空間上に表示する教師側教育用モデル表示部と、
前記バーチャルコンテンツ表示装置の前記イベント送信部から送られてくる受講者の動きを表示するイベント表示部と、
を備えたことを特徴とする。

本開示によれば、教師側の教育指示装置において、受講者の反応を知ることができる。
なお、操作検知部はバーチャルコンテンツ表示装置とは別の装置で実現しても良いし、バーチャルコンテンツ表示装置が有する機能、例えば視線トラッキング機能により受講者の視線を追うことにより受講者の動きを検知するようにしても良い。

また、本開示に係る教育支援システムは、前記教育用モデルには、複数の受講者に対してそれぞれ異なる着席位置を示す座標情報が関連付けられ、
各受講者が装着するバーチャルコンテンツ表示装置の前記教育用モデル表示部は、各受講者にそれぞれ割付けられた着席位置から見た教育用モデルを表示することを特徴とする。

本開示によれば、各受講者は、それぞれ異なる位置から教育用モデルを見ることができ、実際の教室での講義に近い、より臨場感のある教育が可能となる。

また、本開示に係るプログラムは、受講者が装着し、仮想空間上に教育用モデルを表示するバーチャルコンテンツ表示装置上、又は、教師側に設けられ、前記教育用モデルに対する動作指示を送信する教育指示装置の少なくとも一方で動作するプログラムであって、
前記教育用モデルを表示するためのデータを保存するステップと、
前記教育用モデルに変化を与えるイベント情報を保存するステップと、
前記イベント情報を特定するコマンドを入力するステップと、
前記コマンドを入力したとき、前記イベント情報によって前記教育用モデルを変化させて表示装置に表示するステップと、
をコンピュータに実行させることを特徴とする。

本発明によれば、仮想現実技術を利用した教育支援システムにおいて、受講者数やイベント情報の大きさの影響を低減し、イベント発生時に効率よく同期をとることが可能となる。

本発明の実施の形態による教育支援システムの機能ブロック図である。 図１の教育支援システムの概要の説明図である。 図１の教育用モデル記憶部３１，６１のデータ構成図である。 図１のイベント情報記憶部３２，６２のデータ構成図である。 図１の教育シナリオ記憶部６３のデータ構成図である。 図１の教育指示装置（教師用パソコン）での概略の処理手順を示すフローチャートである。 図１のバーチャルコンテンツ表示装置（受講者用ＨＭＤ）の指示情報としてイベント番号受信時の処理手順を示すフローチャートである。 図１のバーチャルコンテンツ表示装置（受講者用ＨＭＤ）の操作用装置を用いた部品選択時の処理手順を示すフローチャートである。 本発明の実施の形態による３次元表示例の説明図である。 図９の教育用モデルに受講者のポインタ位置を示す説明図である。 図１の教育用モデル表示部１４，５４の３Ｄモデル表示処理手順を示すフローチャートである。 本発明の実施の形態による教育用モデルの配置と視線ベクトル（初期値）との関係を示す説明図である。 本発明の実施の形態による教師側と受講者側の教育用モデルの回転・移動時の連動のしかたの説明図である。 図１３の他の連動のしかたの説明図である。 本発明の実施の形態によるイベント発生時の教師側と受講者側の同期の取り方の説明図である。 本発明の実施の形態による教師側から受講者側へのポインタ情報の通知・表示方法の説明図である。 本発明の実施の形態による受講者側から教師側へのイベント情報の通知・表示方法の説明図である。

以下に本発明の実施の形態に係る教育支援システムについて図面を参照しながら説明する。図１において、教育支援システム１は、主に複数の受講者がそれぞれ装着するバーチャルコンテンツ表示装置１０と、教師が受講者のバーチャルコンテンツ表示装置１０に対して教育コンテンツの表示等に関して指示を行うための教育指示装置５０とで構成される。教育指示装置５０とバーチャルコンテンツ表示装置１０は有線又は無線の通信回線２を介して接続される。この教育支援システム１の受講者側にはバーチャルコンテンツ表示装置１０のほかバーチャル空間で操作するための操作用装置４０を備えることができる。

この教育支援システム１の概要を図２に基づいて説明すると、バーチャルコンテンツ表示装置１０と教育指示装置５０には、仮想空間上に表示するための３次元（３Ｄ）モデルである教育用モデル（ＣＧ）を予め記憶させておく。ここで、教育用モデルとは、教育用のコンテンツであり、コンピュータグラフィックス技術を用いた３Ｄモデルをいう。そして教師側の教育指示装置５０からの指示により、受講者側の各バーチャルコンテンツ表示装置１０の教育用モデルを同時に表示・動作させる。更に教育指示装置５０からの仮想空間上での教師の指示（教育用モデルの動作やポインタなど）をバーチャルコンテンツ表示装置１０へ送信して、同時に受講者が見ている教育用モデル上に表示等する。更に、各受講者が操作用装置４０を介してＶＲ空間内で操作した内容をイベント情報として教師指示装置５０へ送信する。教師はその内容を確認すると共に、受講者の各操作内容・イベントを教師指示装置５０に記憶保存する。

（構成）
図１において、教育指示装置５０は、教育用モデルのデータを格納する教育用モデル記憶部６１、教育用モデルの部品に関連付けられた視聴覚的に何らかの変化を発生させる情報（イベント情報）を格納するイベント情報記憶部６２、教育シナリオデータを格納する教育シナリオ記憶部６３、各受講者のバーチャルコンテンツ表示装置１０から送られてくる受講者の操作等に関する情報をイベント情報として保存する受講者イベント情報記憶部６４を備える。

教育指示装置５０は、また、教育用モデルをディスプレイ（図示せず）に表示出力する教育用モデル表示部５４、教師から各バーチャルコンテンツ表示装置１０へ向けての指示情報（コマンド）を送信する指示情報送信部５３、各バーチャルコンテンツ表示装置１０から送られてくる受講者の操作等に関するイベント情報を受信するイベント情報受信部５５、受信したイベント情報をディスプレイに表示出力するイベント表示部５６、受講者のイベント情報の統計データを演算する受講データ計算処理部５７、教師の音声を検知したり、受信した音声データを再生する音声再生・検知部５１、および、バーチャルコンテンツ表示装置１０との間で音声データを送受信する音声送受信部５２を備えている。なお上記の教育用モデル表示部５４は、教師からの指示情報をもとに、当該指示情報に対応するイベント処理を実行してディスプレイに表示している教育用モデルを変化させる機能も有する。

一方、バーチャルコンテンツ表示装置１０は、教育指示装置５０と同様に、教育用モデルを格納する教育用モデル記憶部３１、イベント情報を格納するイベント情報記憶部３２を備えている。なお、受講者側の教育用モデルおよびイベント情報は教育の開始迄に教育指示装置５０から送られ、バーチャルコンテンツ表示装置１０の夫々の記憶部３１，３２に保存される。

またバーチャルコンテンツ表示装置１０は、受講者の音声を検知したり、受信した音声データを再生する音声再生・検知部１１、教育指示装置５０との間で音声データを送受信する音声送受信部１２、教育指示装置５０から送られてくる指示情報を受信する指示情報受信部１３、教育用モデルをディスプレイに表示出力したり、受信した指示情報をもとに教育用モデルを変化させる教育用モデル表示部１４を備えている。

受講者側は、コントローラやハンドトラッキングなどの操作用装置４０を用いて、受講者の操作を受け付ける。この操作用装置４０は、受講者の操作内容を検知する操作検知部４１を備え、検知した操作内容をバーチャルコンテンツ表示装置１０へ送る。バーチャルコンテンツ表示装置１０では、操作受信部１５によって操作検知部４１から送られてきた操作内容を受信して、教育用モデル表示部１４を介してその操作内容をディスプレイ（図示せず）に表示出力する。また、操作受信部１５によって受信した受講者の操作内容は、イベント送信部１６によって教育指示装置５０へ送られる。この他、バーチャルコンテンツ表示装置１０は、視線判定部１７を備え、受講者の視線を検知して教育用モデル表示部１４を介してディスプレイに表示したり、イベント送信部１６によってこの視線情報を教育指示装置５０へ送信するようにしてもよい。

上記において、バーチャルコンテンツ表示装置１０における各部１１～１７、および教育指示装置５０の各部５１～５７は、コンピュータの機能としてプログラムによって実現することができる。

教育指示装置５０は、前述したように汎用のパーソナルコンピュータのほか、頭部装着型ヘッドマウントディスプレイ（以下、「ＨＭＤ」という。）で実現することができる。ＨＭＤを用いた場合は、受講生側と同様にコントローラやハンドトラッキングなどの操作用装置４０を用いて指示を行う。

バーチャルコンテンツ表示装置１０は、仮想空間上に３次元（３Ｄ）表示する機能を有するＨＭＤで実現することができる。本実施の形態では、受講者側は３次元で表示・指示されるのに対して、教師側は必ずしも３次元に限らず、パーソナルコンピュータを用いた場合は２次元表示によって教育コンテンツを確認し、バーチャルコンテンツ表示装置１０へ指示を送ることができる点や通信トラフィックを軽減して効率的な指示を可能にするためのデータベース（記憶部）の構成を特徴の一つとしている。

以下、教師指示装置５０としてパーソナルコンピュータ（パソコン）を用い、バーチャルコンテンツ表示装置１０としてＨＭＤ（ヘッドマウントディスプレイ）を用いた場合を例にして説明する。

＜教育用モデル記憶部６１，３１のデータ構造＞
本実施の形態による教育コンテンツの３Ｄモデル（教育用モデル）は、図３に示すように複数の部品の３Ｄモデルの集合で構成される。具体的には、図３に示すように、教育コンテンツ（例えば、ある装置）を構成する部品のアセット番号（ＩＤ）および当該部品の名称、および部品の形態を３Ｄ仮想空間上で定義するための座標データや色彩データなどの属性情報（以下、単に「座標データ」という。）が互いに関連付けられて保存される。

なお、各部品は、さらに詳細の部品に分けることができる。この場合、その部品の階層構造がわかるように保存される。下位の部品に対する上位の部品は、それ自体座標データを有していても良し、有していなくても良い。たとえば、階層的に下位の複数の部品の集合で上位の部品が形成されることを示すような場合は、上位の部品の外形を半透明で仮想空間上に表するように属性情報を規定することができる。この属性情報は、３Ｄモデルのプラットフォーム（例えば、Ｕｎｉｔｙ（登録商標））側でデータを保有することができる。教育用モデルを用いて３次元表示した例を図９に示す。

（３Ｄモデル構造の他の実施例）
なお、３Ｄモデルの部品の形状よりも更に細かい部分を受講者にチェックさせたいような場合は、実際には見えない（透明な）仮の部品を作って、３Ｄモデル上に配置するようにしてもよい。これであれば、更に細かい部分に範囲を絞って確認箇所を指定することができる。透明な部品もＵＮＩＴＹ上で管理し、ツリー構成（階層構造）上の確認対象部品の下位に配置される。

＜イベント情報記憶部６２，３２のデータ構造＞
図４に、イベント情報記憶部に保存されるイベント情報の構造を示す。
この図に示すように、イベント情報は、イベント番号ごとに、動作部位を示すアセット番号、動作（アニメーション）内容、解説テキスト、音響データなどが関連付けられて保存される。ここで、イベント情報のアセット番号は、教育用モデルデータのアセット番号に対応している。あるイベント番号が指定されると、受講者のＨＭＤ１０の仮想空間上に表示されている該当する部品（アセット）に対して、設定された動作（アニメーション）内容が実行され、また解説テキストが表示され、音響データが再生される。

＜教育シナリオ記憶部６３のデータの構造＞
図５に、教育シナリオ記憶部６３に保存されるシナリオデータの構造を示す。
この図に示すように、シナリオデータは、教育カリキュラムごとに、講義の順番にしたがって、シナリオ名、イベント番号、受講者チェック有無、正解データなどが保存される。イベント番号は、イベント情報記憶部のイベント番号に対応している。

なお、本実施の形態では、受講者チェックの方法は、ポインタで答えの部品を指示することとしているが、複数の方法によって回答するような場合は、回答の種別（方法）を保存するようにしても良い。そして、ＨＭＤ１０は、回答の種別に応じて、どのよう回答するかのメッセージをディスプレイ上に表示して、受講生はその表示にしたがって回答を行う。

＜機能概要＞
次に本実施の形態による教育支援システム１の機能概要を説明する。
（１）メニュー／ログイン機能
受講者は、ＨＭＤ１０を装着して起動すると、ＶＲ空間でシステムメニューが表示される。受講者はカリキュラム及び番号（受講者番号）を設定して、スタートボタンを選択する等のトリガによって教育カリキュラムが開始される。

（２）カリキュラム進行・イベント同期機能
受講者が装着するＨＭＤ１０には、上述したように予め各カリキュラムで使用する教育コンテンツ（教育用モデル）及びイベント情報（ＣＧ動作・解説説明再生など）を登録しておく。そして指示情報受信部１３が教師側のパソコン５０から送られてくるカリキュラムＩＤを含む開始指示を受信すると、教育用モデル表示部１４は該当するカリキュラムの教育用モデルをＨＭＤ１０のディスプレイに表示する。次にＨＭＤ１０は、教師指示装置５０から送られてくる指示情報に含まれているイベント番号を検出すると、イベント情報記憶部３２にアクセスして、該当するイベント番号の内容を実行する。これにより、教師指示装置５０は、ネットワークに負荷をかけずに複数台のＨＭＤ１０に同時に指示したり、教育コンテンツの再生等の制御をしたりすることができる。

（３）受講者イベント収集・収録機能
各受講者は、ＨＭＤ１０に表示されている３Ｄ教育用モデルに対して、操作用装置４０（例えば、コントローラ）を用いてアクションをすることができる。受講者は、教育用モデルのある部位に対してコントローラの向きによって移動するポインタをあてて、確認のアクション（例えば、コントローラボタンの押下）をする。これにより、ポインタのあてられた３Ｄ教育用モデル上の位置座標がイベント情報としてイベント送信部１６から教師側のパソコン５０へ送られる。パソコン５０のイベント受信部５５は、イベント情報を受け取ると、受講者イベント情報記憶部６４に保存する。またイベント表示部５６は、イベント情報に含まれている位置座標をもとに、パソコン５０のディスプレイ上に表示されている教育用モデルに対してポインタを表示する。これにより教師は、各受講者の確認状態を知ることができる。

（４）教師用パソコン５０からの詳細指示機能
教師が教育用モデル上で指示している位置を教師用ポインタで表示する。その位置情報は教師用パソコン５０から各受講者のＨＭＤ１０に送られる。ＨＭＤ１０の指示情報受信部１３はこのポインタ位置情報を受信すると、教育用モデル表示部１４を介して受講者のＨＭＤ１０のディスプレイに表示されている教育用モデルに重ねて教師用ポインタを表示する。なお、教師側において、３Ｄ座標での正確なポインタの位置を指示する必要がある場合は、教師側もゴーグル（ＨＭＤ）をつけて指示することができる。

（５）音声配信機能
教育カリキュラムの中で、教師が表示されている教育用モデルのＣＧ画像を説明する場合は、音声を受講者側のＨＭＤ１０に配信する。具体的には、音声再生・検知部５１によって教師の音声を検知すると、音声送受信部５２によって音声データをＨＭＤ１０に送信する。ＨＭＤ１０では、音声送受信部１２によって音声データを受け取ると音声再生・検知部１１によって音声データを再生する。これにより、受講者は、教師の音声を聞くことができる。一方、受講者から質問がある場合は、逆の流れで受講者の音声が教師用パソコン５０に送られ教師側で再生される。

（６）コンテンツ配信機能
教育カリキュラムの追加や変更などに対して、容易に変更反映ができるように、コンテンツ（教育用モデルやイベント情報を含む）の配信機能を設ける。教師用のパソコン５０から複数台のＨＭＤ１０に対してコンテンツを配信してインストール可能に構成する。

＜作用＞
次に上述した機能を実現するための教師用パソコン５０、ＨＭＤ１０の主な処理手順について説明する。
（１）教師用パソコン５０の処理手順
上記の動作を実行する教師用パソコン５０の処理手順を図６に示す。
教師用パソコン５０は起動されると、指示情報送信部５３は教育シナリオ記憶部６３にアクセスして、教育対象カリキュラムの全ての項目について以下の処理を実行する（Ｓ１０１ａ，１０１ｂ）。なお、教育シナリオのカリキュラムには、図５に示すようにシナリオ順に番号が付されており順に実行される。なお、あるシナリオの終了後自動的に次のシナリオが実行されるようにしてもよいし、教師の所定の確認アクションを検知して次のシナリオに進むようにしてもよい。図５に示すデータ例に、次のシナリオに進むための教師の確認アクションが必要かどうかを設定するフラグをシナリオごとに設けるようにしてもよい。教師用パソコン５０にはシナリオの進行状況が表示される。

指示情報送信部５３は教育シナリオ中にイベント番号が存在する場合は（Ｓ１０２で「ＹＥＳ」）、そのイベント番号を指示情報(コマンド)として受講者のＨＭＤ１０に送信する（Ｓ１０３）。このとき、教育用モデル表示部５４も、送信されたイベント番号をコマンドとして指示情報送信部５３から受け取り、イベント情報記憶部６２に格納されている当該イベント番号のイベントを実行する。これにより、パソコン５０側と受講者のＨＭＤ１０側で、略同時にイベントが実行される。なお、指示情報送信部５３によってイベント番号を送信後、教師用パソコン５０側で同じイベント番号のイベントを実行する際、遅延時間を設定可能にしておいてもよい。指示情報送信部５３がＨＭＤ１０にイベント番号送信してから遅延時間後に教育用モデル表示部５４によってイベントを実行する等である。この遅延時間を教師用パソコン５０側で調整可能にすることにより、より精度良く教師用パソコン５０とＨＭＤ１０の同期をとることができる。

次に、指示情報送信部５３は、受講者チェック欄にフラグ「１」がセットされているかどうかかを判定して（Ｓ１０４）、フラグがセットされている場合は、各受講者からのイベント受信を待つ（Ｓ１０５、Ｓ１０９、Ｓ１１０）。そして受講者からのイベント情報を受信すると（Ｓ１０５で「ＹＥＳ」）、その情報を受講者イベント情報記憶部６４へ保存する（Ｓ１０６）。次に受講者ごとの正解判定処理を行い（Ｓ１０７）、またイベント表示部５６を介して、受講者のイベント情報を教師用パソコン５０のディスプレイに表示する（Ｓ１０８）。

（２）ＨＭＤ１０の処理手順
次に、上記の動作を実行する各受講者用ＨＭＤ１０の処理手順を図７，図８を用いて説明する。
（２－１）表示処理
受講者用ＨＭＤ１０は起動されると、指示情報受信部１３は教師用パソコン５０から送られてくる指示情報に含まれているカリキュラムＩＤを抽出する。そして教育用モデル表示部１４は対象カリキュラムの３ＤモデルをＨＭＤ１０のディスプレイに表示する（Ｓ３０１）。なお、対象カリキュラムは予め自身で選択して事前に教育用モデルを表示させるようにしてもよい。
そして指示情報受信部１３は教師用パソコン５０から送られてくるイベント番号を受信すると（Ｓ３０２）、イベント情報記憶部３２にアクセスして該当するイベントを実行する（Ｓ３０３）。

なお、図４に例示するイベント情報は、部品ごとにその動作内容が規定されているが、この部品は、ある装置を構成する物理的な部品に限らず、たとえば背景などであってもよい。たとえば図４において、部品ｂ１がタービンの場合、イベント番号００１を実行することにより、部品ｂ１を回転させると共に、当該部品の回転に伴って予め定められた表示範囲（背景）で流体（気体や液体）が流れるアニメーション（流体フロー）を合成して表示するようにしてもよい。装置を構成する部品以外のアニメーションであっても、イベント番号を付して部品として扱うことにより統一的な処理が可能となり、処理手順が簡素化される。

（２－２）操作検知処理
操作用装置４０の操作検知部４１はユーザによる操作を検知するとその操作情報（例えばポインタの位置や方向、ボタン押下などのデータ）を送信する。
図８において、ＨＭＤ１０の操作受信部１５は、操作用装置４０から送られてきた操作情報をもとにポインタの位置、方向を検出すると（Ｓ２０１）、教育用モデル表示部１４を介してディスプレイに表示されている教育用モデルと交差したか否かを判定する（Ｓ２０２）。ポインタが教育用モデルと交差した場合は、その交差位置をディスプレイ上に表示する（Ｓ２０３）。その後操作受信部１５は操作用装置４０のボタン押下などによってトリガを検出すると、交差位置をワールド座標から相対座標に変換して、ポインタのあてられた部品のアセット番号を特定する（Ｓ２０６）。そしてイベント送信部１６を介して、特定したアセット番号および交差位置の座標をイベント情報として教師用パソコン５０へ送信する（Ｓ２０７）。
教師用パソコン５０は、イベント受信部５５によってこれを受信すると、教師用パソコン５０のディスプレイ上に表示されている教育用モデルに重ねてポインタ位置を表示する。この表示例を図１０に示す。

（３）教育用モデル表示部１４，５４の処理手順
次に、教師用パソコン５０の教育用モデル表示部５４、受講者用ＨＭＤ１０の教育用モデル表示部１４の３Ｄモデル表示処理について説明する。なお、両部５４，１４はこの他イベント情報をもとにアニメーション表示も行うがこの処理は３Ｄモデル表示後に独立して実行可能であるため説明を省略する。

図１１において、図１１（ａ）は教育用モデル表示部５４の処理手順、図１１（ｂ）は教育用モデル表示部１４の処理手順を示している。このフローチャートからわかるように、教育用モデル表示部５４，１４は同様の処理を実行し、教育用モデル表示部１４は最後にローカル座標をワールド座標に変換する点が異なっている。図１１（ｃ）は、教育用モデル表示部５４，１４の両方に共通のサブルーチンの処理手順を示している。

以下個々の処理手順について具体的に説明する。
教育用モデル表示部５４は起動されると、教育用モデル記憶部６１にアクセスして、教師によって指定された教育用モデルデータを順次抽出する。教育用モデルデータは、図３に示すように階層構造になっており、教育用モデル表示部５４は最上位階層の全ての部品ＩＤについて、ステップＳ４０２の座標データ抽出・表示ルーチンを呼び出して実行する（Ｓ４０１ａ，Ｓ４０１ｂ）。この座標データ抽出・表示ルーチンの処理は、図１１（ｃ）に示されているように、まず対象となっている部品ＩＤの一つしたの階層のデータフィールドにアクセスして（Ｓ５０１）、そのデータフィールドに座標データが有るか否かを判定する（Ｓ５０２）。その結果座標データが有る場合は、その座標データをもとに３Ｄモデルイメージを作成する（Ｓ５０３）。即ち対象部品の３ＤモデルデータをもとにレンダリングによりＣＧ化する。

一方、ステップＳ５０２の判定の結果、座標データが存在しない場合は、すなわちデータフィールドに座標データではなく下位の部品ＩＤが保存されている場合は、最終階層でない場合、対象部品ＩＤをその部品ＩＤに更新して（Ｓ５０７）、ステップＳ５０１に戻り以降の処理を繰り返す。なお最終階層（最も低い階層）に達しても座標データが存在していない場合はエラーメッセージを出力するなどのエラー処理を行う。

ステップＳ５０３の処理の後、同じ階層に他の部品ＩＤが存在するか否かを判定し、存在する場合は（Ｓ５０４で「ＮＯ」）、部品ＩＤを当該他の部品ＩＤに更新して（Ｓ５０８）、ステップＳ５０１に戻り以降の処理を実行する。ステップＳ５０４でＹＥＳ、即ち同じ階層に他の部品ＩＤが存在しない場合は主ルーチンにリターンする。

以上の処理により、教育対象の３Ｄモデルを部品ごとにレンダリングして、ディスプレイに表示する。なお、教育用モデルデータは、固定の視点位置を基準にしたローカル座標系、すなわち当該視点位置からの相対座標で表されている。したがって、講師がパソコン５０を移動させたり向きを変えたりしても、画面に表示されている３Ｄモデルは変化しない。

受講者ＨＭＤ１０の教育用モデル表示部１４の処理も、教育用モデル表示部５４の処理と同様に、まずローカル座標系で３Ｄモデルを作成し、その後ＨＭＤ１０の位置や向きを基準に３Ｄモデルの座標をワールド座標系に変換する（Ｓ４０３）。したがって、受講者が移動して視点を変えるとこれに伴い３Ｄモデルの見え方が変化する。

（４）教育用モデルの保存方法
教師用パソコン５０と受講者用ＨＭＤ１０に予め同じ教育用モデルとイベント情報が保存される。なお、教師用パソコン５０側で、教育用モデルやイベント情報が追加・更新された場合は、通信回線２を介して各受講者ＨＭＤ１０に送信される。

（５）教育用モデルの表示方法
教師用パソコン５０と受講者用ＨＭＤ１０のそれぞれで教育用モデルを表示する。図１２に示すように、教師用パソコン５０と受講者用ＨＭＤ１０共に３Ｄモデル（教育用モデル）の配置と最初の視点・向き（視線ベクトル）は固定である。受講者用ＨＭＤ１０側の教育用モデル表示部１４は、その後本システムを起動したときのヘッドマウントの位置（実空間）を基準位置として、それからの移動は基準位置からの移動量で計算する。

すなわち、ＨＭＤ１０では起動されたときの実空間上での座標（ワールド座標）を基準として、３ＤモデルをＨＭＤ１０の有するディスプレイ（表示装置）に投影する。その後、ＨＭＤ１０が向きを変えたり移動したりする場合は、その視点初期値からの移動量として視点の動きが反映されて３Ｄモデルの見え方が変わる。一方、教師用パソコン５０ではワールド座標系への変換は行われない。したがって、教師用パソコン５０の向きを変えても３Ｄモデルの見え方は変わらない。
このように、受講者側では３Ｄモデルの座標は、初期値の座標（予め定めた視点からの相対座標）がワールド座標系に変換されるのに対して、教師用パソコン５０ではワールド座標系への変換が行わないのが本実施の形態の特徴の一つである。

なお、受講者側での３Ｄモデルの相対座標系からワールド座標系（絶対座標系）への変換は、受講者のアクション、例えば、コントローラ４０のボタンを押下するとか、ＨＭＤ１０に視線トラッキング機能がある場合は、一定時間視線を固定するなど、を検知したときに行うようにしてもよい。これにより、受講者は所望の位置に３Ｄモデル（教育用モデル）を配置することができる。そして、所望の位置に配置後は、受講者が自ら移動して、視点位置を変えることにより、３Ｄモデルを任意の位置から見ることができる。
教師側では、専ら教師用パソコン５０での操作によって３Ｄモデルを回転・移動させるが、この教師側での操作に関して、受講者側では次の２通りの反映のしかたがある。

（ＶＲコンテンツ表示移動及び視点の移動パターン１）図１３
このパターンは、教師が各受講者側での３Ｄモデルの回転・移動を制御できるパターンであり、次のステップにより実現することができる。
（ステップａ１）教師用パソコン５０の操作（マウスなど）によりパソコンに表示されている３Ｄモデルを回転・移動させる。このとき視線位置・向きは固定である。即ち３Ｄモデルの座標は視点を基準とした相対座標（パソコン上のローカル座標）である。
（ステップａ２）３Ｄモデル表示位置情報を送信する。この表示位置情報は３Ｄモデルの新たな相対座標を送信するようにしてもよいが、初期値からの回転量・移動量で表すことにより通信時のデータ量を削減することができる。

（ステップａ３）教師用パソコン５０の操作により回転・移動した３Ｄモデルの表示位置情報をもとに受講者用ＶＲ空間内で回転・移動させる。
（ステップａ４）その後、受講者が移動や頭の向きを変えた場合は、ジャイロセンサで移動量を検知して、その差分をＶＲ空間内で移動させる。

これにより、教師用パソコン５０で、教師のマウス等の操作によって移動や回転をした３Ｄモデルは、各受講者用ＨＭＤ１０において、起動時のワールド座標を初期値として相対的に同じ量・方向へ移動する。
なお、受講者側のＶＲ空間内に教師の視点を表示するようにしてもよい。ちなみに、教師の視点位置は、ローカル座標系（講師側の座標系）での回転・移動量に基づいて変わる。これにより、受講者は常に教師がどの位置から３Ｄモデルを見ているかを把握することができる。

（ＶＲコンテンツ表示移動及び視点の移動パターン２）図１４
このパターンは、専ら受講者側が主体で３Ｄモデルを回転・移動させるものである。
（ステップｂ１）教師用パソコン５０の操作（マウスなど）によりパソコンに表示されている３Ｄモデルを回転・移動させる（視線位置・向きは固定）。
この移動操作はあくまでも教師がパソコンの画面で見て操作するための移動操作であって受講者が見るヘッドマウント側の見え方をコントロールするものではない。

（ステップｂ２）受講者側での視線位置・向きは、上述したように初期は固定であるが、受講者が移動や頭の向きを変えた場合は、ジャイロセンサで移動量を検知して、その差分をＶＲ空間内で移動させる。
受講者側ではＶＲ座標系は絶対座標で表されるため、３Ｄモデルの座標は固定であり、その固定された３Ｄモデルの周りを自分（視点）が移動するというものである。この移動パターン２では、教師側の３Ｄモデルの移動・回転操作は、受講者用ＨＭＤ１０には反映しない。

上述した移動パターン１と移動パターン２の動作モードは、システムにおいて予め決めておいてもよいが、教師用パソコン５０側において、３Ｄモデルを回転・移動させる前にこの動作モードを選択できるようにしても良い。このようにすれば、移動パターン１が選択されている場合は、教師用パソコン５０側での３Ｄモデルの移動・回転操作に伴って、教師用パソコン５０側からＨＭＤ１０に移動量（基準点からの変化量）・移動方向が送られ、その結果ＨＭＤ１０側でも３Ｄモデルが教師側と同じ移動量・移動方向へ変位する。 一方、移動パターン２が選択されている場合は、教師用パソコン５０側での移動操作に係わらず、教師用パソコン５０から受講者用ＨＭＤ１０に移動量・方向等の情報は送信されない。その結果、教師用パソコン上で３Ｄモデルが変位をしても、受講者用ＨＭＤ１０上では変位しない。

（６）教育用モデルの動作制御方法（図１５）
次に、教師用パソコン５０から指示したタイミングで、受講者用ＨＭＤ１０に表示している教育用モデルを動作させる方法について説明する。

教師用パソコン５０において、イベントが指定されると（ステップｃ１）、そのイベント番号が対象の受講者用ＨＭＤ１０へ送信される（ステップｃ２）。このイベント番号は、図６で示したように教育シナリオの実行に伴って自動的に送信されるが、教師がイベント番号を指定して送信するようにしてもよい。

受講者側のＨＭＤ１０においてイベント番号を受信すると、教育用モデル表示部１４はイベント情報記憶部３２を参照して、そのイベント番号に対応する動作を実行する（ステップｃ３）。
例えば、イベント番号００１を受信すると、３Ｄモデルにおいて、そのイベント番号に対応する部位（ブレード）が回転し、それに伴うフローの映像が表示される。

（７）教師用パソコン５０からＨＭＤ１０へのポインタ表示方法（図１６）
次の手順により、教師用パソコン５０からの指示（座標ポインタ）を受講者用ＨＭＤ１０へ送信して、受講者側の３Ｄモデル上の同じ位置にポインタを表示する。
（ステップｄ１）教師用パソコン画面（２Ｄ）に表示されている３Ｄモデル上に指示用ポインタを表示させる。
（ステップｄ２）パソコン画面は２Ｄのため、３Ｄモデルの裏側などを示したいときは、３Ｄモデル自体をマウスで回転させて、ポインタを投射する。そして、投射して３Ｄモデルにぶつかった位置をポインタの座標とし、その位置にポインタ表示をする。このとき、上述した移動パターン２を選択しておく。

（ステップｄ３）教師用パソコン５０の指示情報送信部５３は、受講者用ＨＭＤ１０へ指示情報としてポインタ位置情報（３Ｄモデル上の位置座標）を送信する。
（ステップｄ４）ＨＭＤ１０の支持情報受信部１３はポインタ位置情報を受信すると、教育用モデル表示部１４を介してそのポインタ位置情報に基づいてＶＲ空間上の３Ｄモデル上にポインタを表示させる（３Ｄ空間）。
これにより、教師は、２Ｄのパソコン画面上でポインタ位置を指定して、受講者用ＨＭＤ１０の仮想空間上に３Ｄ表示させることができる。

（８）受講者用ＨＭＤ１０から教師用パソコン５０へのイベント情報送信方法（図１７）
受講者の動作（操作）をトラッキングして、ＨＭＤ１０へ表示し、更にその操作情報を教師用パソコン５０へ送信して、受講者イベント情報として表示する。（Ｎ台分）
（ステップｅ１）まず、教師から設問（予め設定されている）を出題する。
（ステップｅ２）受講者はコントローラ４０を使用して、教師から指示された部位を指し示す。コントローラボタンを押下することにより部位が確定する。

（ステップｅ３）指し示した部位の座標をイベント情報として受講者用ＨＭＤ１０から教師用パソコン５０へ送信する。
（ステップｅ４）教師用パソコン５０の教育シナリオデータには、設問に対する正解の位置（部位・アセット）が設定されており、ポインタが正解部位にフォーカスされたかを判定する。各受講者から送られてきたイベント情報や判定結果は受講者イベント情報記憶部６４に保存される。また、各受講者の判定結果はイベント表示部５６によりチェックリストとしてディスプレイに表示される。

（９）教師用パソコン５０でのイベント情報の処理方法
受講者イベント情報記憶部６４に保存されているイベント情報や設問に対する解答結果は、受講データ計算処理部５７の演算処理（例えば統計処理）によって集計される。

（他の実施例）
上記の実施形態では、教育シナリオデータを教師用パソコン５０側にのみ持たせることとしたが、各受講者用ＨＭＤ１０にも同じ教育シナリオデータを持たせるようにしても良い。このようにすれば、教師側からの出題後、受講者の回答は、ＨＭＤ１０に保存されている教育シナリオデータによって判定し、その判定結果を教師用パソコン５０へ送信することができるので、教師用パソコン５０の負荷を軽減することができる。

以上、本実施の形態によれば、従来のＶＲ技術を使った教育支援システムでは実現できなかった、複数人が見ている教育用モデル（ＣＧ）を同期表示させて、教師からの指示を同時に全受講者へ配信・表示することができ、教育を同時進行、更には教師の説明とＣＧ映像を同期させて、受講者から見たら、教師の説明と自身が見ている教育用モデル（ＣＧ）映像が一致する。更に、受講者イベント（操作・視線など）を教師が確認しながら教育を進行することができ、受講者の理解を把握しながら、よりスムーズな教育をＶＲ空間で実現することができる。

次に本発明の第２の実施の形態を説明する。
本実施の形態は、教育用モデルの周りに複数の受講者の座席（すなわち異なる視点位置）を仮想的に設けるものである。各受講者は仮想空間内において、それぞれ異なる座席に座り、その席から３次元表示される教育用モデルを見る。
本実施の形態では、ＨＭＤ１０において、教育用モデルの座標の他、受講者の座席の座標を保存する。各受講者の座席の座標は次の方法で指定することができる。

教師用パソコン５０と複数の受講者のＨＭＤ１０には、教育用モデルの座標のほか、対象となる全受講者の座席座標が保存される。各座席座標には、座席番号が付されている。この座席座標は教育用モデルとの相対的な位置関係が分かればよい。
すなわち、第１の実施の形態で説明したように、教育用モデルはある基準位置（例えば図１２の視点位置）からの相対座標で表されている。本実施の形態では、受講者の座席座標についても、この教育用モデルの基準位置からの相対座標で表すことを特徴の一つとしている。同じ基準位置を用いることにより後述するように各ＨＭＤ１０での教育用モデル表示処理を効率的に行うことができる。

受講者がＨＭＤ１０を起動すると、受講者ＩＤが教師用パソコン５０に送られる。教師用パソコン５０では、受講者ＩＤを受信した順番に、座席番号に紐付けて保存し、その座席番号を対応する受講者のＨＭＤ１０に送信する。受講者のＨＭＤ１０は、教師用パソコン５０から送られてきた座席番号を受信すると、その座席番号に該当する座標を自装置の座標として記憶する。

そして、各ＨＭＤ１０の教育用モデル表示部１４は、該当する座席座標を基準位置（視点位置）として、その位置から見た３Ｄ教育用モデルをディスプレイに表示する。このときの処理を説明すると、教育用モデル表示部１４は、教育用モデル記憶部３１から教育用モデルデータを抽出する。そして、（教育用モデルデータの座標－自身の座席座標）を演算して、この演算結果を図１１（ｃ）のステップＳ５０３の座標データとして用いて３Ｄモデルイメージを作成する。この処理により各受講者のＨＭＤ１０には自身の座席位置から見た３Ｄモデルイメージが表示される。

なお、教師用パソコン５０で座席番号と参加する全ての受講者ＩＤとを関連付けた座席受講者対応テーブルを作成して保存することになるが、この座席受講者対応テーブルを全受講者のＨＭＤ１０に送信するようにしてもよい。他の受講者の座席も共通の基準位置からの相対座標で表されているので、（他の受講者の座席座標－自身の座席座標）を演算することにより、各受講者は自身の位置を基準にして他の受講者の位置を特定することができる。これにより、各受講者は、他の受講者がどの位置関係にいるかを知ることができる。そして、例えば、受講者ＩＤに対応するアバタをＨＭＤ１０のディスプレイに表示することにより、各受講者は、３Ｄ教育用モデル以外にアバタを通して他の受講者の受講状況を見ることができる。これによって、仮想空間を利用した教育により臨場感を与えることができる。

また、第１の実施の形態では、主に教師用パソコン５０側の教師と、夫々の受講者との質問応答について説明をしたが、その仕組みを利用して、他の受講者の情報を教師用パソコン（もしくは各ＨＭＤ１０から直接）を通して、他の受講者の回答情報および受講者ＩＤを各受講者のＨＭＤ１０に送信する。各受講者のＨＭＤ１０では、その情報を受信すると、受講者ＩＤの対応するアバタおよび回答情報（例えば回答したポインタ位置）を識別可能に表示することにより、他の受講者の回答状況を知ることができ、臨場感を更に増すことができる。

なお、第１の実施の形態の作用を利用すれば、受講者の移動に伴い、３Ｄモデルと受講者の相対位置が変わるが、相対位置の変化に伴い、他の受講者のＨＭＤ１０上で移動した（席を離れた）受講者のアバタを移動させるようにしてもよい。
このようにすれば、共同で作業するような教育に対して、例えば、ある受講者がある部位を抑えている状態で、他の受講者が当該部位にあるオペレーション（例えばネジを嵌める等）をするような作業を行うといったより複雑な教育訓練も可能となる。

１ 教育支援システム
２ 通信回線
１０ バーチャルコンテンツ表示装置（ヘッドマウントディスプレイ，ＨＭＤ）
１１，５１ 音声再生・検知部
１２，５２ 音声送受信部
１３ 指示情報受信部
１４，５４ 教育用モデル表示部
１５ 操作受信部
１６ イベント送信部
１７ 視線判定部
４０ 操作用装置
４１ 操作検知部
５０ 教育指示装置（教師用パソコン）
５３ 指示情報送信部
５５ イベント受信部
５６ イベント表示部
５７ 受講データ計算処理部
３１，６１ 教育用モデル記憶部
３２，６２ イベント情報記憶部
６３ 教育シナリオ記憶部
６４ 受講者イベント情報記憶部

Claims (8)

1. 受講者が装着し、仮想空間上に教育用モデルを表示するバーチャルコンテンツ表示装置と、教師側に設けられ、前記教育用モデルに対する動作指示を送信する教育指示装置と、を有する教育支援システムであって、
   前記バーチャルコンテンツ表示装置は、
   前記教育用モデルを表示するためのデータを保存する教育用モデル記憶部と、
   前記教育用モデルに変化を与えるイベント情報を予め保存するイベント情報記憶部と、
   前記教育指示装置から送られてくる指示情報をトリガとして、前記イベント情報によって前記教育用モデルを変化させて仮想空間上に表示する教育用モデル表示部と、
   を備えたことを特徴とする教育支援システム。
2. 前記教育用モデルは、一又は二以上の部品からなり、
   前記イベント情報は、前記部品に関連付けられた視聴覚的な変化を規定する変化定義情報を含み、
   前記教育用モデル表示部は、前記指示情報を受信すると、該指示情報に対応する前記変化定義情報に基づいて前記教育用モデルを変化させることを特徴とする請求項１に記載の教育支援システム。
3. 前記教育指示装置は、前記教育用モデルの部品ごとにイベント情報を変更、追加するイベント情報更新部と、前記イベント情報を前記バーチャルコンテンツ表示装置へ送信するイベント情報送信部を備え、
   前記バーチャルコンテンツ表示装置は、前記イベント情報送信部から送られてくるイベント情報を受信すると、前記イベント情報記憶部に保存されているイベント情報を部品単位で更新するイベント情報受信部を備えたことを特徴とする請求項２に記載の教育支援システム。
4. 前記教育用モデルに対する受講者の動きを検知する操作検知部と、
   前記操作検知部で検知した受講者の動きを前記教育指示装置へ送信するイベント送信部と、を備え、
   前記教育用モデル表示部は、前記操作検知部によって検知する受講者の動きを表す映像を仮想空間上に表示し、
   前記教育指示装置は、
   前記教育用モデルを仮想空間上に表示する教師側教育用モデル表示部と、
   前記バーチャルコンテンツ表示装置の前記イベント送信部から送られてくる受講者の動きを表示するイベント表示部と、
   を備えたことを特徴とする請求項１乃至３のいずれか一項に記載の教育支援システム。
5. 前記操作検知部は、受講者の視線によって受講者の動きを検知することを特徴とする請求項４に記載の教育支援システム。
6. 前記教育用モデルには、複数の受講者に対してそれぞれ異なる着席位置を示す座標情報が関連付けられ、
   各受講者が装着するバーチャルコンテンツ表示装置の前記教育用モデル表示部は、各受講者にそれぞれ割付けられた着席位置から見た教育用モデルを表示することを特徴とする請求項１乃至５のいずれか一項に記載の教育支援システム。
7. 前記教育指示装置は、教育用モデルと共に前記受講者の着席位置に該受講者の識別情報を表示することを特徴とする請求項６に記載の教育支援システム。
8. 受講者が装着し、仮想空間上に教育用モデルを表示するバーチャルコンテンツ表示装置と、教師側に設けられ、前記教育用モデルに対する動作指示を送信する教育指示装置と、を用いて行う教育支援方法であって、
   前記バーチャルコンテンツ表示装置に、前記教育用モデルと、前記教育用モデルに変化を与えるイベント情報とを予め保存しておき、前記教育指示装置から送られてくる指示情報をトリガとして、前記イベント情報によって前記教育用モデルの一部又は全部を変化させて仮想空間上に表示することを特徴とする教育支援方法。

Images