JP7465737B2 - 授業システム、視聴端末、情報処理方法及びプログラム - Google Patents

Description

本発明は、授業システム、視聴端末、情報処理方法及びプログラムに関する。

近年、情報通信技術（ＩＣＴ）を利用した教育システムが広まっている。

例えば、非特許文献１のｚＳｐａｃｅは、３次元立体視ディスプレイを備えたラップトップ型の学習環境である。生徒が３Ｄ偏向グラスを装着することで、ディスプレイに表示された映像やモデルを立体的に視認できる。表示されたモデルをスタイラスペンで直感的に操作することもできる。

また、非特許文献２のＧｏｏｇｌｅ Ｅｘｐｅｄｉｔｉｏｎｓは、ＶＲキットを用いて世界中をバーチャルに探索できる教材である。生徒たちは３６０度パノラマ動画を見て回ることができる。教師はガイドになり生徒たちに映像を説明する。

"AR/VR Learning Experiences | zSpace"、zSpace, Inc.、インターネット〈 URL：https://zspace.com/ 〉 "Expeditions で授業にリアルな体験を | Google for Education"、Google LLC、インターネット〈 URL：https://edu.google.com/products/vr-ar/expeditions/ 〉

非特許文献１は、対象を立体的に観察でき、さらに表示されたモデルを操作できるので、生徒の理解を促進できる。しかしながら、非特許文献１は、ラップトップ型のシステムであって、先生と生徒が同じ教室内にいる授業を前提としているため、没入感のある仮想現実（ＶＲ）空間内で行われる通信教育では利用することはできない。

非特許文献２は、没入感のある３６０度パノラマ動画を見るだけであり、仮想空間内で授業が進行するものではない。表示されたオブジェクトを自由に操作できるものでもない。

本発明は、上記に鑑みてなされたものであり、没入感のある仮想空間内で行われる授業において、生徒の理解の促進を図ることを目的とする。

本発明の一態様の授業システムは、通信授業用サーバと視聴端末とを接続して仮想空間内で行われる授業を受けるための授業システムであって、前記通信授業用サーバは、実空間で行われた授業を撮影した動画と教材オブジェクトに関する情報を前記視聴端末に配信し、前記視聴端末は、前記動画と教材オブジェクトに関する情報を受信する受信部と、前記動画を仮想空間内に投影して表示する表示部と、生徒の入力を受け付ける入力部と、授業の進行に応じて前記仮想空間内に教材オブジェクトが表示されているとき、前記生徒の入力に応じて前記教材オブジェクトを制御するオブジェクト制御部を有する。

本発明によれば、没入感のある仮想空間内で行われる授業において、生徒の理解の促進を図ることができる。

図１は、本実施形態の授業コンテンツの配信システムの全体的な構成例を示すブロック図である。 図２は、授業コンテンツの配信元の教室を概念的に示す図である。 図３は、通信授業用サーバの構成例を示す機能ブロック図である。 図４は、生徒用端末の構成例を示す機能ブロック図である。 図５は、教材オブジェクトを制御する処理の流れを示すシーケンス図である。 図６は、生徒が仮想空間内で授業を受ける様子を示す図である。 図７は、仮想空間内で行われる授業において教材オブジェクトを表示した様子を示す図である。 図８は、教材オブジェクトを操作した様子を示す図である。 図９は、教材オブジェクトの状態の変化を示す図である。

［システム構成］
以下、本発明の一実施形態の授業システムについて図面を用いて説明する。

本実施形態の授業システムは、没入感のある仮想空間内で行われる授業を受けるための授業システムである。図１に示す授業システムは、通信授業用サーバ１０および複数の生徒用端末３０を備える。通信授業用サーバ１０および複数の生徒用端末３０は、通信回線２０に接続されている。通信授業用サーバ１０と複数の生徒用端末３０とは離れた位置に配置される。複数の生徒用端末３０のそれぞれも離れた位置に配置されてもよい。通信回線２０は、インターネット等の任意の通信回線である。なお、図１では、６台の生徒用端末３０を図示しているが、生徒用端末３０の台数は任意である。

生徒用端末３０は、ＶＲ機能を有する任意のコンピュータ機器を用いることができる。生徒用端末３０は、生徒が装着して仮想空間内を見るためのヘッドマウントディスプレイ（ＨＭＤ）、生徒からの入力を受け付けて仮想空間内に配置される生徒アバターを操作するためのコントローラを接続する。

生徒用端末３０は、通信授業用サーバ１０から仮想空間内で授業を視聴するための情報を受信してＨＭＤに表示する。ＨＭＤは、生徒の頭の動きを検知し、頭の動きに応じて仮想空間を撮影する仮想カメラの撮影方向を変化させる。つまり、生徒は、頭を動かすことで、仮想空間内のあらゆる方向を見ることができる。生徒がコントローラを操作すると、仮想空間内の生徒アバターは、入力された操作に応じて動作する。例えば、生徒がコントローラを持つ手を上げると、生徒アバターも手を上げる。

生徒は、生徒アバターを操作するとともに、授業の進行に応じて生徒アバターの前に表示される３次元オブジェクト（以下、教材オブジェクトと称する）を操作することができる。例えば、生徒は、教材オブジェクトのサイズを変更したり、見る方向を変更したり、視点を教材オブジェクトの内部に入れて教材オブジェクトの内部構造を調べたりできる。

通信授業用サーバ１０には、教室ディスプレイ１１、中継カメラ１２、教師用端末１３、マイクロホン１４、およびスピーカ１５が接続される。スピーカ１５は、ヘッドホン（イヤホン）を含む。通信授業用サーバ１０は、接続された機器から受信した情報を元に、仮想空間内で行われる授業の授業コンテンツを作成し、生徒用端末３０に配信する。

図２に示すように、教師４０は、教室ディスプレイ１１の前に立ち、教室ディスプレイ１１と教師用端末１３を用いて授業を行う。教室ディスプレイ１１は、電子黒板と称される大画面ディスプレイである。教師４０は、通信授業用サーバ１０に記憶されている授業用データを教室ディスプレイ１１に表示させて授業を行う。教師４０の発話に合わせて授業用データが遷移して表示されて授業が進行する。なお、教室ディスプレイ１１の代わりに黒板またはホワイトボードを用いてもよい。

中継カメラ１２は、教師４０による授業を撮影する。中継カメラ１２としては、例えば、教室内の周方向全域を撮影する３６０度カメラ（全天球カメラともいう）を用いることができる。授業を撮影したパノラマ動画（３６０度動画または全天球動画ともいう）は、通信授業用サーバ１０に送信されて、授業コンテンツとして蓄積される。通信授業用サーバ１０は、パノラマ動画を生徒用端末３０に配信する。生徒用端末３０は、パノラマ動画を仮想空間内に投影する。中継カメラ１２で視差のあるパノラマ動画を撮影し、ＨＭＤで視差のある映像を表示することで、生徒は、ＨＭＤを装着して仮想空間内に入り込み、仮想空間内に投影された立体的なパノラマ動画を見渡すことができる。これにより、生徒は、没入感のあるリアルな教室で授業を受けているように感じることができる。

中継カメラ１２は、教室の前方の任意の角度（例えば１８０度）を撮影するカメラを用いてもよい。中継カメラ１２で撮影されていない教室の後方部分は、仮想空間内に床、壁、および天井のオブジェクトを配置してコンピュータグラフィックスで構築するとよい。生徒が仮想空間内で教室の後方を向いたとき、生徒は、何も映っていない空間ではなく、ＣＧの教室を見ることになり、没入感が損なわれない。

教師用端末１３は、教師４０が授業を進行する際に利用する端末である。教師４０は、教師用端末１３を操作し、教室ディスプレイ１１に表示する授業用データを選択してもよい。また、教師４０は、授業中に教師用端末１３を操作し、仮想空間内に教材オブジェクトを出現させたり、教材オブジェクトを消失させたりするタイミングを設定してもよい。例えば、教師４０は、授業内で地球の構造について説明した後、教師用端末１３を操作し、地球を模した教材オブジェクトを生徒アバターの前に表示させる指示を出す。教師用端末１３は、教材オブジェクトの表示指示を通信授業用サーバ１０へ送信する。通信授業用サーバ１０は、教材オブジェクトの表示指示にタイミング情報を付与して記録する。タイミング情報とは、授業の進行度合いを示す数値であり、授業が始まってからの経過時間や動画のタイムスタンプを用いることができる。

教師４０は、教師用端末１３を操作し、生徒用端末３０で表示される教材オブジェクトの向きを変えたり、サイズを変えたり、変形させたりしてもよい。教師用端末１３は、これらの指示を通信授業用サーバ１０へ送信する。通信授業用サーバ１０は、受信した指示にタイミング情報を付与して記録する。また、教師４０は、教師用端末１３を操作し、生徒に教材オブジェクトを操作する許可を与えたり、教材オブジェクトへの操作を禁止したりしてもよい。

なお、教材オブジェクトを操作する指示は、教師４０が授業を行いながら設定するだけでなく、授業を撮影後に、撮影した授業の動画を見ながら設定してもよい。なお、以上の各動作は、教師が用いる教師用端末１３を用いる態様以外にも種々の態様が可能である。例えば、遠隔授業放送のプロデューサやディレクター、あるいは番組の配信者が操作する端末その他を用いてももちろんよい。この点は以下に説明する教師用端末１３を用いる各動作において共通である。

マイクロホン１４は、教師４０の発した音声を収音する。収音された音声データは、通信授業用サーバ１０に送信される。通信授業用サーバ１０は、動画に合わせて音声データを生徒用端末３０へ配信する。

スピーカ１５は、例えば、撮影スタッフからの授業の進行に関する指示などを出力して教師４０に伝える。

［サーバの構成］
図３を参照し、通信授業用サーバ１０の構成例について説明する。図３に示す通信授業用サーバ１０は、入出力部１０１、記憶部１０２、配信部１０３、および送信部１０４を備える。

入出力部１０１は、教室ディスプレイ１１、中継カメラ１２、教師用端末１３、マイクロホン１４、およびスピーカ１５と接続し、授業用データを教室ディスプレイ１１や教師用端末１３に出力したり、動画データ、音声データ、および操作を入力したりする。入出力部１０１が入力した動画データや音声データは授業コンテンツとして記憶部１０２に記憶される。

記憶部１０２は、生徒用端末３０に配信するデータ、つまり、授業コンテンツおよび教材オブジェクトに関する情報を記憶する。教材オブジェクトに関する情報とは、教材オブジェクトを表示するために必要なモデルデータと、授業の進行に応じて設定された教材オブジェクトへの指示である。指示としては、例えば、表示オン、表示オフ、操作可、および操作禁止などの指示がある。指示には、タイミング情報が付与されている。

配信部１０３は、生徒用端末３０の求めに応じて、授業コンテンツを配信する。配信部１０３は、授業コンテンツを生徒用端末３０にストリーミング配信してもよいし、授業コンテンツを生徒用端末３０にダウンロードさせてもよい。

送信部１０４は、授業の進行と教材オブジェクトへの指示に応じて、教材オブジェクトを制御するためのオブジェクト制御信号を生徒用端末３０へ送信する。具体的には、授業開始からの経過時間または動画のタイムスタンプが指示に付与されたタイミングになると、送信部１０４は、その指示に対応するオブジェクト制御信号を生徒用端末３０へ送信する。

［生徒用端末の構成］
図４を参照し、生徒用端末３０の構成例について説明する。図４に示す生徒用端末３０は、ＶＲ機能部３０１、入力部３０２、およびオブジェクト制御部３０３を備える。生徒用端末３０には、ＨＭＤ３１とコントローラ３２が接続される。

ＶＲ機能部３０１は、通信授業用サーバ１０から授業コンテンツを受信し、ＨＭＤ３１で検出した生徒の頭の動きに基づいて仮想空間内の仮想カメラを制御し、生徒の頭の方向の映像をＨＭＤ３１に表示させる。また、ＶＲ機能部３０１は、ＨＭＤ３１やコントローラ３２から入力した情報に基づいて生徒アバターの姿勢や動きを制御し、生徒アバターを仮想空間内に配置してレンダリングする。

ＶＲ機能部３０１は、教材オブジェクトの表示がオンのとき、教材オブジェクトを仮想空間内に配置し、授業コンテンツに教材オブジェクトを合成して表示する。

なお、仮想空間内に配置するオブジェクトのレンダリングに必要なデータは、授業の前に取得したり、必要に応じて取得したりして、ＶＲ機能部３０１が保持しておく。

入力部３０２は、ＨＭＤ３１で検出した生徒の頭の動き、コントローラ３２での操作を入力する。入力部３０２にマイクロホンを接続して生徒の音声を入力してもよい。生徒の頭の動きや操作は、ＶＲ機能部３０１へ送信されて、生徒アバターの制御に用いられる。また、コントローラ３２での操作は、オブジェクト制御部３０３へ送信されて、教材オブジェクトの操作に用いられる。

オブジェクト制御部３０３は、授業の進行に応じて仮想空間内に教材オブジェクトを出現させたり、教材オブジェクトを消失させたりする。例えば、オブジェクト制御部３０３は、通信授業用サーバ１０から表示信号を受信すると教材オブジェクトの状態を表示オンにして、仮想空間内に教材オブジェクトを出現させる。オブジェクト制御部３０３は、非表示信号を受信すると教材オブジェクトの状態を表示オフにして、仮想空間から教材オブジェクトを消失させる。さらに、オブジェクト制御部３０３は、サイズを変更する信号、姿勢や向きを変更する信号、あるいは形状を変更する信号を受信すると、受信した信号に応じて教材オブジェクトのサイズ、姿勢や向き、あるいは形状を変更する。教材オブジェクトがアニメーションするときは、アニメーションの再生、一時停止、早送り、および巻き戻しなどの信号に応じて教材オブジェクトをアニメーションさせてもよい。

なお、仮想空間内に教材オブジェクトを出現させたり、あるいは消失させたり、あるいは教材オブジェクトの姿勢や向き、形状、大きさなどを変更したりする操作は、通信授業用サーバ１０または生徒用端末３０のいずれが行ってもよい。通信授業用サーバ１０は、あらかじめ決められた授業の進行シナリオに従って教材オブジェクトを操作する。生徒用端末３０は、生徒の入力した操作に従って教材オブジェクトを操作する。このように、本発明における仮想空間やその内部にあるオブジェクトに関わる全ての操作は、通信授業用サーバ１０、生徒用端末３０、あるいはその他の装置によって行われるよう構成することができる。これは、ＶＲ（バーチャルリアリティ）技術の特徴に基づく点であって、仮想オブジェクト等の外観データとそのモーションデータとから自端末内でレンダリングを行って仮想オブジェクトの表示用データを生成することもできるし、あるいは仮想オブジェクトの外観データとそのモーションデータとを他の端末等に送信し、受信した他の端末等の内部でレンダリングを行って仮想オブジェクトの表示用データを生成することもまた可能であるからである。このような仮想オブジェクトのデータの生成や変形を行う主体を任意に選択できる点、および生成された、あるいは変形された仮想オブジェクトのデータに基づいて仮想オブジェクトの表示用データを生成するレンダリングを行う主体を任意に選択できる点は、本開示の各動作について共通であり、今後いちいち断らないこととする。

教材オブジェクトが操作可能な状態のとき、オブジェクト制御部３０３は、生徒の動きに基づいて教材オブジェクトを操作してもよい。例えば、生徒が両手を広げたり狭めたりする動作をしたときは、教材オブジェクトのサイズを大きくしたり小さくしたりする。教材オブジェクトの位置、向きを変更して任意の視点から観察できるようにしてもよい。

生徒用端末３０は、生徒アバターの姿勢や動きを制御するためのモーションデータや生徒の音声データを通信授業用サーバ１０へ送信してもよい。

通信授業用サーバ１０および生徒用端末３０には、例えば、中央演算処理装置（ＣＰＵ）、メモリ、ストレージ、通信装置、および入出力装置を備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた所定のプログラムを実行することにより、通信授業用サーバ１０および生徒用端末３０が実現される。このプログラムは磁気ディスク、光ディスク、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記録することも、ネットワークを介して配信することもできる。

[教材オブジェクトを制御する処理]
図５のシーケンス図を参照し、教材オブジェクトを制御する処理について説明する。

ステップＳ１１にて、通信授業用サーバ１０は、生徒用端末３０への授業コンテンツの配信を開始する。授業コンテンツは、教師４０が授業を進める様子を撮影したパノラマ動画であるとする。生徒用端末３０は、パノラマ動画を仮想空間内に投影する。生徒の装着したＨＭＤ３１には、生徒の頭の向きに応じた映像が表示される。

図６は、生徒が仮想空間内で授業を受ける様子を示す図である。仮想空間内には、教師４０と教室ディスプレイ１１が撮影されたパノラマ動画が投影されている。図６では、パノラマ動画内の教室の壁、床、および天井を省略している。机オブジェクト５１０は、仮想空間内の生徒アバターの前に配置した３次元オブジェクトである。図６では、生徒アバターを省略しているが、生徒アバターは、仮想空間内の中継カメラ１２に相当する位置に配置される。生徒用端末３０は、生徒アバターの視点位置に基づき、パノラマ動画に生徒アバターや机オブジェクト５１０などの仮想空間内のオブジェクトを合成した画像をレンダリングして、ＨＭＤ３１に供給する。

授業の開始時点では、教材オブジェクトは表示されていない。必要になるまで、教材オブジェクトを表示しないことで、生徒は、教材オブジェクトに気を取られることなく、授業に集中できる。もちろん、授業開始と同時に教材オブジェクトを表示させてもよい。

授業が進行し、教師４０が教材オブジェクトを用いて説明するタイミングになると、ステップＳ１２にて、通信授業用サーバ１０は、表示信号を生徒用端末３０へ送信する。例えば、通信授業用サーバ１０は、オブジェクト制御信号（ここでは表示信号）にタイミング情報（例えば授業開始からの経過時間）を対応付けておき、授業開始からの経過時間がタイミング情報で指定された時間になると、該当するオブジェクト制御信号を生徒用端末３０へ送信する。

表示信号を受信した生徒用端末３０は、ステップＳ１３にて、教材オブジェクトを仮想空間内に配置して表示する。

図７は、教材オブジェクト５００を表示した様子を示す図である。ＨＭＤ３１は、パノラマ動画に教材オブジェクト５００が合成された画像を表示する。教材オブジェクト５００を表示後、通信授業用サーバ１０は、オブジェクト制御信号により、教材オブジェクト５００の表示態様を変更してもよい。例えば、教師４０は教材オブジェクト５００について説明しながら、オブジェクト制御信号により、教材オブジェクト５００のサイズを変更したり、教材オブジェクト５００の姿勢を変えて裏返したりする。オブジェクト制御信号により教材オブジェクト５００の表示態様を制御することで、生徒は、教材オブジェクト５００の注目すべき箇所を的確に把握できる。

授業において、教材オブジェクト５００を自由に観察させるタイミングになると、ステップＳ１４にて、通信授業用サーバ１０は、操作許可信号を生徒用端末３０へ送信する。操作許可信号を受信後、生徒は、教材オブジェクト５００を動かして、任意の視点から教材オブジェクト５００を観察できるようになる。

ステップＳ１５にて、生徒の操作するコントローラ３２から所定の操作を入力すると、ステップＳ１６にて、生徒用端末３０は、生徒の操作に従って、教材オブジェクト５００の表示を変更する。例えば、生徒がコントローラ３２を持って手を広げる動作をしたときは、生徒用端末３０は、教材オブジェクト５００のサイズを大きくする。生徒が手を広げる動作をすると、図８に示すように、生徒アバターの右手オブジェクト６００Ｒと左手オブジェクト６００Ｌも生徒の動きに合わせて広がり、教材オブジェクト５００のサイズが大きくなる。

教材オブジェクト５００は、視点の位置つまり生徒アバターが教材オブジェクト５００の内部に含まれるまでサイズを大きくできてもよい。視点が教材オブジェクト５００の内部に含まれたとき、生徒用端末３０は教材オブジェクト５００の内部を表示する。これにより、生徒は、授業で習う対象物の内部構造を観察できるようになる。例えば、教材オブジェクトとして建物を表示させたときに、教材オブジェクトのサイズを大きくすると建物の内部を観察できるようになる。

教材オブジェクト５００の内部に視点が入ったとき、生徒用端末３０は、教材オブジェクト５００以外の机オブジェクト５１０などのオブジェクトを非表示としてもよいし、パノラマ動画を非表示としてもよい。

生徒用端末３０は、教材オブジェクト５００のサイズだけでなく、生徒の操作に応じて、教材オブジェクト５００の位置、向き、姿勢などを操作できてもよい。例えば、生徒は、教材オブジェクト５００をひっくり返して教材オブジェクト５００の裏側を見たりできる。

授業において、自由に観察させる時間が終わると、ステップＳ１７にて、通信授業用サーバ１０は、操作禁止信号を生徒用端末３０へ送信する。操作禁止信号を受信後、生徒は、教材オブジェクト５００を操作できなくなる。

授業が進行し、教材オブジェクト５００が不要になると、ステップＳ１８にて、通信授業用サーバ１０は、非表示信号を生徒用端末３０へ送信する。

非表示信号を受信した生徒用端末３０は、ステップＳ１９にて、仮想空間から教材オブジェクトを消失させる。

なお、図５では、通信授業用サーバ１０が信号を送信して教材オブジェクト５００の状態を変更したが、通信授業用サーバ１０は、事前に、教材オブジェクト５００への指示とタイミング情報を生徒用端末３０へ送信しておき、生徒用端末３０が授業の経過時間や動画のタイムスタンプを見て、タイミング情報に基づき、教材オブジェクト５００を出現させたり、消失させたりしてもよい。

図９を参照し、図５の例における教材オブジェクト５００の状態の変化について説明する。図９では、授業の進行に応じた教材オブジェクト５００の状態について示している。

授業開始時、教材オブジェクト５００は表示オフの状態である。

生徒用端末３０が表示信号を受信すると、教材オブジェクト５００は表示オンとなる。このとき、教材オブジェクト５００は操作不可であり、生徒は教材オブジェクト５００を操作できない。なお、教材オブジェクト５００の表示と同時に操作可能としてもよい。

生徒用端末３０が操作許可信号を受信すると、教材オブジェクト５００は操作可能となる。生徒は教材オブジェクト５００を操作できるようになる。

生徒用端末３０が操作禁止信号を受信すると、教材オブジェクト５００は操作不可となり、生徒は教材オブジェクト５００を操作できなくなる。

生徒用端末３０が非表示信号を受信すると、教材オブジェクト５００は表示オフとなる。

なお、複数の生徒が同時に授業を視聴するとき、教材オブジェクトを生徒ごとに表示してもよいし、複数人で一つの教材オブジェクトを表示してもよい。

以上説明したように、本実施形態の授業システムは、通信授業用サーバ１０と生徒用端末３０とを接続して没入感のある仮想空間内で行われる授業を受けるための授業システムである。通信授業用サーバ１０は、仮想空間内で行われる授業を視聴するための授業コンテンツを生徒用端末３０に配信する配信部１０３と、授業の進行に応じて設定された表示信号と非表示信号を生徒用端末３０へ送信する送信部１０４を有する。生徒用端末３０は、当該生徒用端末３０を使用する生徒のアバターを仮想空間内に配置して制御するとともに、授業コンテンツを受信し、アバターの視点で授業コンテンツを表示するＶＲ機能部３０１と、表示信号を受信したタイミングで仮想空間内に教材オブジェクト５００を出現させ、非表示信号を受信したタイミングで教材オブジェクト５００を消失させるオブジェクト制御部３０３を有する。これにより、生徒は、授業に関連した対象物を仮想空間内で観察できるので、授業の理解の促進が期待できる。また、授業の進行に合わせて教材オブジェクト５００を表示したり、消失させたりするので、生徒は教材オブジェクト５００に気を取られることなく、授業に集中できる。

また、本実施形態の授業は、テレビ番組や放送大学のような正面だけの授業の画像を片方向だけに送信する構成とは異なり、３６０度全周を撮影した全周カメラの画像を用いて授業を行う仮想的な教室のデータが生成される。その結果、生徒は、あたかも自分が実際の教室にいるかのような没入感、リアル感が感じられるので授業への興味や満足度が増す。さらに、３６０度観察可能な教室の中に、３６０度任意の方向から観察したり、移動や変形をしたりできる教材オブジェクトを配置することで、あらゆる方向から教材オブジェクトを観察しても、背景として教室内の画像が描画されるので、表示に破綻がなく、生徒の興味がそがれることがない。同様に、教材オブジェクトの内部まで生徒アバターが入り込んで外部を視認する動作をした場合に、あらゆる方向に教室内の画像が存在するので表示に破綻がなく、生徒の興味がそがれることがない。

なお、授業コンテンツとして実写のパノラマ動画を用いる例で説明したが、コンピュータグラフィックスで構成した教室内に、教師アバターを配置して授業を進めてもよい。例えば、教師４０を撮影した動画から教師アバターのモーションデータを作成する。通信授業用サーバ１０は、仮想空間内の教室に配置されたオブジェクトおよび教師アバターのモデルとモーションデータを送信する。生徒用端末３０は、受信した情報に基づいて仮想空間内にオブジェクトを配置し、教師アバターにモーションデータを適用して教師アバターを制御し、仮想空間をレンダリングしてＨＭＤ３１に映像を供給する。生徒用端末３０は、通信授業用サーバ１０がレンダリングした画像を受信して表示してもよい。

過去に録画された教育番組の映像を利用し、映像から登場人物のボーンを検出し、検出したボーンに基づいて仮想空間内のアバターを動かしてもよい。

また、蓄積された授業コンテンツを配信する例で説明したが、授業コンテンツは、リアルタイムで行われる授業であってもよい。授業コンテンツの配信は、教師が行っている授業をリアルタイムに配信するリアルタイム遠隔授業モードと、事前に撮影または制作した授業を配信するタイムシフト遠隔授業モードのいずれで行ってもよい。

リアルタイム遠隔授業モードは、教師が現在リアルタイムに行っている授業が通信授業用サーバ１０を介して各生徒用端末３０へ配信されて視聴されるモードである。複数の生徒が同時に同じ授業コンテンツを視聴する。すなわち、複数の生徒アバターが同じ仮想空間内に存在する。生徒アバターのそれぞれに対して教材オブジェクトを配置してもよいし、教室内に一つの教材オブジェクトを配置してよい。教室内に一つの教材オブジェクトを配置する場合、教師が生徒を指名し、指名された生徒だけが教材オブジェクトを操作できるようにしてもよい。

タイムシフト遠隔授業モードは、リアルタイムではなく、あらかじめ撮影および制作された授業コンテンツが予めサーバに蓄積され、個々の生徒用端末３０からの送信要求に応じて任意の時間に要求のあった生徒用端末３０へ配信されて視聴されるモードである。この場合、授業コンテンツを視聴中の生徒アバターの動作等を通信授業用サーバ１０に蓄積しておく。別のタイミングで同じ授業コンテンツを視聴する生徒に蓄積した生徒アバターの動作等を配信し、授業コンテンツの仮想空間内の教室にクラスメイトの生徒アバターとして配置する。これにより、空間的にも時間的にも離間した別々な生徒があたかも一緒に同時に同じ授業を受けているかのような疑似的な効果が得られる。

リアルタイム遠隔授業モードおよびタイムシフト遠隔授業モードのいずれにおいても、生徒用端末３０は、生徒アバターの動作等を通信授業用サーバ１０へ送信しなくてもよい。生徒アバターや教材オブジェクトの操作情報などの生徒の動きに応じた処理を生徒用端末３０内で完結させることで、通信授業用サーバ１０の負荷を軽減でき、さらに生徒の動作などの情報が外部へ送信されないので、情報漏洩を防止できる。

１０…通信授業用サーバ １０１…入出力部 １０２…記憶部 １０３…配信部 １０４…送信部 １１…教室ディスプレイ １２…中継カメラ １３…教師用端末 １４…マイクロホン １５…スピーカ ２０…通信回線 ３０…生徒用端末 ３０１…ＶＲ機能部 ３０２…入力部 ３０３…オブジェクト制御部 ３１…ＨＭＤ ３２…コントローラ ４０…教師 ５００…教材オブジェクト ５１０…机オブジェクト ６００Ｌ…左手オブジェクト ６００Ｒ…右手オブジェクト

Claims (8)

1. 通信授業用サーバと視聴端末とを接続して仮想空間内で行われる授業を受けるための授業システムであって、
   前記通信授業用サーバは、実空間で行われた授業を撮影した動画と教材オブジェクトに関する情報を前記視聴端末に配信し、
   前記視聴端末は、
   前記動画と教材オブジェクトに関する情報を受信する受信部と、
   前記動画を仮想空間内に投影して表示する表示部と、
   生徒の入力を受け付ける入力部と、
   授業の進行に応じて前記仮想空間内に教材オブジェクトが表示されているとき、前記生徒の入力に応じて前記教材オブジェクトを制御するオブジェクト制御部を有する
   授業システム。
2. 請求項１に記載の授業システムであって、
   前記オブジェクト制御部は、授業の進行に応じて設定された第１のタイミングで前記仮想空間内に前記教材オブジェクトを出現させ、授業の進行に応じて設定された第２のタイミングで前記教材オブジェクトを消失させ、授業の進行に応じて設定された第３のタイミングで前記生徒による前記教材オブジェクトの操作を可能とし、授業の進行に応じて設定された第４のタイミングで前記生徒による前記教材オブジェクトの操作を禁止する
   授業システム。
3. 請求項１または２に記載の授業システムであって、
   前記教材オブジェクトは生徒ごとに配置される
   授業システム。
4. 請求項１ないし３のいずれかに記載の授業システムであって、
   前記表示部は、前記仮想空間内の前記動画が投影されていない空間に、床、壁、天井のオブジェクトの少なくともいずれかを配置する
   授業システム。
5. 仮想空間内で行われる授業を受けるための視聴端末であって、
   実空間で行われた授業を撮影した動画と教材オブジェクトに関する情報を受信する受信部と、
   前記動画を仮想空間内に投影して表示する表示部と、
   生徒の入力を受け付ける入力部と、
   授業の進行に応じて前記仮想空間内に教材オブジェクトが表示されているとき、前記生徒の入力に応じて前記教材オブジェクトを制御するオブジェクト制御部を有する
   視聴端末。
6. 請求項５に記載の視聴端末であって、
   前記オブジェクト制御部は、授業の進行に応じて設定された第１のタイミングで前記仮想空間内に前記教材オブジェクトを出現させ、授業の進行に応じて設定された第２のタイミングで前記教材オブジェクトを消失させ、授業の進行に応じて設定された第３のタイミングで前記生徒による前記教材オブジェクトの操作を可能とし、授業の進行に応じて設定された第４のタイミングで前記生徒による前記教材オブジェクトの操作を禁止する
   視聴端末。
7. 仮想空間内で行われる授業を受けるための視聴端末による情報処理方法であって、
   実空間で行われた授業を撮影した動画と教材オブジェクトに関する情報を受信するステップと、
   前記動画を仮想空間内に投影して表示するステップと、
   生徒の入力を受け付けるステップと、
   授業の進行に応じて前記仮想空間内に教材オブジェクトが表示されているとき、前記生徒の入力に応じて前記教材オブジェクトを制御するステップを有する
   情報処理方法。
8. 仮想空間内で行われる授業を受けるための視聴端末としてコンピュータを動作させるプログラムであって、
   実空間で行われた授業を撮影した動画と教材オブジェクトに関する情報を受信する処理と、
   前記動画を仮想空間内に投影して表示する処理と、
   生徒の入力を受け付けるステップと、
   授業の進行に応じて前記仮想空間内に教材オブジェクトが表示されているとき、前記生徒の入力に応じて前記教材オブジェクトを制御する処理をコンピュータに実行させる
   プログラム。

Images