JP6727388B1 - Class system, viewing terminal, information processing method and program - Google Patents

Class system, viewing terminal, information processing method and program Download PDF

Info

Publication number
JP6727388B1
JP6727388B1 JP2019215521A JP2019215521A JP6727388B1 JP 6727388 B1 JP6727388 B1 JP 6727388B1 JP 2019215521 A JP2019215521 A JP 2019215521A JP 2019215521 A JP2019215521 A JP 2019215521A JP 6727388 B1 JP6727388 B1 JP 6727388B1
Authority
JP
Japan
Prior art keywords
lesson
content
hands
virtual space
student
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019215521A
Other languages
Japanese (ja)
Other versions
JP2021087128A (en
Inventor
大樹 下村
大樹 下村
恵美子 吉原
恵美子 吉原
智志 井口
智志 井口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dwango Co Ltd
Original Assignee
Dwango Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dwango Co Ltd filed Critical Dwango Co Ltd
Priority to JP2019215521A priority Critical patent/JP6727388B1/en
Application granted granted Critical
Publication of JP6727388B1 publication Critical patent/JP6727388B1/en
Publication of JP2021087128A publication Critical patent/JP2021087128A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Electrically Operated Instructional Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】通信教育において、授業と実践をシームレスに実施することで、教育効果を高める。【解決手段】没入感のある仮想空間内で行われる授業を受けるための授業システムであり、通信授業用サーバ10と生徒用端末30とを接続する。通信授業用サーバ10は、仮想空間内で行われる授業を視聴するための授業コンテンツと授業に関連した所定の環境を仮想空間内に表示するための実地学習コンテンツを配信する配信部103を有する。生徒用端末30は、当該生徒用端末30を使用する生徒のアバターを仮想空間内に配置して制御するとともに、授業コンテンツと実地学習コンテンツを受信し、アバターの視点で授業コンテンツまたは実地学習コンテンツを表示するVR機能部301を有する。授業システムでは、所定のタイミングで、授業コンテンツと実地学習コンテンツとが切り替えられる。【選択図】図4PROBLEM TO BE SOLVED: To enhance the educational effect by seamlessly implementing lessons and practice in correspondence education. SOLUTION: This is a lesson system for taking a lesson held in an immersive virtual space, which connects a communication lesson server 10 and a student terminal 30. The communication lesson server 10 includes a delivery unit 103 that delivers lesson content for viewing a lesson in a virtual space and hands-on learning content for displaying a predetermined environment related to the lesson in the virtual space. The student terminal 30 arranges and controls the avatar of the student who uses the student terminal 30 in the virtual space, receives the lesson content and the hands-on learning content, and receives the lesson content or the hands-on learning content from the viewpoint of the avatar. It has a VR function unit 301 for displaying. In the lesson system, lesson contents and hands-on learning contents are switched at a predetermined timing. [Selection diagram] Fig. 4

Description

本発明は、授業システム、視聴端末、情報処理方法およびプログラムに関する。 The present invention relates to a lesson system, a viewing terminal, an information processing method and a program.

近年、情報通信技術(ICT)を利用した教育システムが広まっている。 In recent years, educational systems using information and communication technology (ICT) have become widespread.

例えば、特許文献1には、学習者が装着したヘッドマウントディスプレイ(HMD)に3次元映像を出力し、仮想現実の環境で語学教育を実施する教育装置が開示されている。 For example, Patent Document 1 discloses an educational device that outputs a three-dimensional image to a head mounted display (HMD) worn by a learner and performs language education in a virtual reality environment.

特開2004−61783号公報JP, 2004-61783, A

特許文献1の装置を用いると、HMDとヘッドホンにより実世界から隔離された状態で語学学習を行うことで、臨場感のある体験を可能とし、教育効果を高めることができる。 By using the device of Patent Document 1, the language learning is performed in a state of being separated from the real world by the HMD and the headphones, so that a realistic experience is possible and the educational effect can be enhanced.

教師と生徒が同じ空間にいる集合型授業では、授業中の教師の指示に基づいて特許文献1の装置を使うことで授業と演習とを密接にリンクさせて教育効果を高める効果が期待できる。しかしながら、通信教育では、生徒が自ら授業を選択して視聴するため、授業と演習とをリンクさせて視聴するか否かは生徒に任せられていた。 In a group-type lesson in which a teacher and a student are in the same space, the effect of enhancing the educational effect can be expected by closely linking the lesson and the exercise by using the device of Patent Document 1 based on the instruction of the teacher during the lesson. However, in distance learning, since the students select and watch the lessons themselves, it is left to the students to link the lessons with the exercises for viewing.

本発明は、上記に鑑みてなされたものであり、通信教育において、授業と実践をシームレスに実施することで、教育効果を高めることを目的とする。 The present invention has been made in view of the above, and it is an object of the present invention to enhance the educational effect by seamlessly performing a lesson and practice in correspondence education.

本発明の一態様の授業システムは、通信授業用サーバと視聴端末とを接続して没入感のある仮想空間内で授業を受けるための授業システムであって、前記通信授業用サーバは、前記仮想空間内の教室で行われる授業を視聴するための授業コンテンツと前記授業に関連した所定の環境を前記仮想空間内に表示するための実地学習コンテンツを配信する配信部を有し、前記視聴端末は、当該視聴端末を使用する生徒のアバターを前記仮想空間内に配置して制御するアバター制御部と、前記授業コンテンツと前記実地学習コンテンツを受信する受信部と、前記アバターの視点で前記授業コンテンツまたは前記実地学習コンテンツを表示する表示部を有し、所定のタイミングで、前記授業コンテンツと前記実地学習コンテンツとが切り替えられ、複数の生徒が同じ授業を受ける場合、前記授業コンテンツを視聴するときは、前記複数の生徒のアバターを同一の仮想空間内に配置し、前記実地学習コンテンツを視聴するときは前記複数の生徒のアバターを個別の仮想空間内に配置するA lesson system according to one aspect of the present invention is a lesson system for connecting a server for communication lessons and a viewing terminal to take a lesson in a virtual space with a feeling of immersion, wherein the server for communication lessons is the virtual The viewing terminal has a delivery unit for delivering lesson content for viewing a lesson conducted in a classroom in a space and hands-on learning content for displaying a predetermined environment related to the lesson in the virtual space, wherein the viewing terminal is An avatar control unit that arranges and controls an avatar of a student who uses the viewing terminal in the virtual space, a receiving unit that receives the lesson content and the hands-on learning content, and the lesson content from the viewpoint of the avatar. Having a display unit that displays the hands-on learning content, at a predetermined timing, the lesson content and the hands-on learning content are switched , when a plurality of students take the same lesson, when viewing the lesson content, The avatars of the plurality of students are arranged in the same virtual space, and when viewing the hands-on learning content, the avatars of the plurality of students are arranged in individual virtual spaces .

本発明によれば、通信教育において、授業と実践をシームレスに実施することで、教育効果を高めることができる。 According to the present invention, it is possible to enhance the educational effect by seamlessly carrying out a lesson and practice in distance learning.

図1は、本実施形態の授業コンテンツの配信システムの全体的な構成例を示すブロック図である。FIG. 1 is a block diagram showing an example of the overall configuration of a lesson content distribution system of this embodiment. 図2は、授業コンテンツの配信元の教室を概念的に示す図である。FIG. 2 is a diagram conceptually showing a classroom as a delivery source of lesson contents. 図3は、通信授業用サーバの構成例を示す機能ブロック図である。FIG. 3 is a functional block diagram showing a configuration example of the correspondence lesson server. 図4は、生徒用端末の構成例を示す機能ブロック図である。FIG. 4 is a functional block diagram showing a configuration example of the student terminal. 図5は、コンテンツを切り替える処理の流れを示すシーケンス図である。FIG. 5 is a sequence diagram showing a flow of processing for switching contents. 図6は、生徒が仮想空間内で授業を受ける様子を示す図である。FIG. 6 is a diagram showing how a student takes a lesson in a virtual space. 図7は、実地学習コンテンツの一例を示す図である。FIG. 7 is a diagram illustrating an example of the hands-on learning content. 図8は、実地学習コンテンツに授業コンテンツの一部をはめ込んだ一例を示す図である。FIG. 8 is a diagram showing an example in which part of the lesson content is embedded in the hands-on learning content.

[システム構成]
以下、本発明の一実施形態の授業システムについて図面を用いて説明する。
[System configuration]
Hereinafter, a lesson system according to an embodiment of the present invention will be described with reference to the drawings.

本実施形態の授業システムは、没入感のある仮想空間内で行われる授業を受けるための授業システムである。図1に示す授業システムは、通信授業用サーバ10および複数の生徒用端末30を備える。通信授業用サーバ10および複数の生徒用端末30は、通信回線20に接続されている。通信授業用サーバ10と複数の生徒用端末30とは離れた位置に配置される。複数の生徒用端末30のそれぞれも離れた位置に配置されてもよい。通信回線20は、インターネット等の任意の通信回線である。なお、図1では、6台の生徒用端末30を図示しているが、生徒用端末30の台数は任意である。 The lesson system of the present embodiment is a lesson system for taking a lesson conducted in a virtual space with a feeling of immersion. The lesson system shown in FIG. 1 includes a server 10 for communication lessons and a plurality of student terminals 30. The communication lesson server 10 and the plurality of student terminals 30 are connected to the communication line 20. The communication lesson server 10 and the plurality of student terminals 30 are arranged apart from each other. Each of the plurality of student terminals 30 may also be arranged at a distant position. The communication line 20 is an arbitrary communication line such as the Internet. Although FIG. 1 shows six student terminals 30, the number of student terminals 30 is arbitrary.

生徒用端末30は、VR機能を有する任意のコンピュータ機器を用いることができる。生徒用端末30は、生徒が装着して仮想空間内を見るためのヘッドマウントディスプレイ(HMD)と、生徒からの入力を受け付けて仮想空間内に配置される生徒アバターを操作するためのコントローラ、および生徒の解答を入力するマイクロホンを接続する。 As the student terminal 30, any computer device having a VR function can be used. The student terminal 30 includes a head-mounted display (HMD) that the student wears to view the virtual space, a controller that receives input from the student and operates a student avatar that is placed in the virtual space, and Connect a microphone to enter the student's answer.

生徒用端末30は、通信授業用サーバ10から仮想空間内で授業を視聴するための情報を受信してHMDに表示する。HMDは、生徒の頭の動きを検知し、頭の動きに応じて仮想空間を撮影する仮想カメラの撮影方向を変化させる。つまり、生徒は、頭を動かすことで、仮想空間内のあらゆる方向を見ることができる。生徒がコントローラを操作すると、仮想空間内の生徒アバターは、入力された操作に応じて動作する。例えば、生徒がコントローラを持つ手を上げると、生徒アバターも手を上げる。 The student terminal 30 receives information for viewing a lesson in the virtual space from the communication lesson server 10 and displays it on the HMD. The HMD detects the movement of the head of the student and changes the photographing direction of the virtual camera that photographs the virtual space according to the movement of the head. That is, the student can see all directions in the virtual space by moving the head. When the student operates the controller, the student avatar in the virtual space operates according to the input operation. For example, if a student raises his hand with the controller, the student avatar also raises his hand.

通信授業用サーバ10には、教室ディスプレイ11、中継カメラ12、教師用端末13、マイクロホン14、およびスピーカ15が接続される。スピーカ15は、ヘッドホン(イヤホン)を含む。通信授業用サーバ10は、接続された機器から受信した情報を元に、仮想空間内で行われる授業の授業コンテンツを作成し、生徒用端末30に配信する。 A classroom display 11, a relay camera 12, a teacher terminal 13, a microphone 14, and a speaker 15 are connected to the communication lesson server 10. The speaker 15 includes headphones (earphones). The communication lesson server 10 creates lesson content of a lesson conducted in the virtual space based on the information received from the connected device, and distributes it to the student terminal 30.

図2に示すように、教師40は、教室ディスプレイ11の前に立ち、教室ディスプレイ11と教師用端末13を用いて授業を行う。教室ディスプレイ11は、電子黒板と称される大画面ディスプレイである。教師40は、通信授業用サーバ10に記憶されている授業用データを教室ディスプレイ11に表示させて授業を行う。教師40の発話に合わせて授業用データが遷移して表示されて授業が進行する。なお、教室ディスプレイ11の代わりに黒板またはホワイトボードを用いてもよい。 As shown in FIG. 2, the teacher 40 stands in front of the classroom display 11 and gives a lesson using the classroom display 11 and the teacher terminal 13. The classroom display 11 is a large screen display called an electronic blackboard. The teacher 40 conducts a lesson by displaying the lesson data stored in the communication lesson server 10 on the classroom display 11. The lesson data changes and is displayed in accordance with the utterance of the teacher 40, and the lesson progresses. A blackboard or whiteboard may be used instead of the classroom display 11.

中継カメラ12は、教師40による授業を撮影する。中継カメラ12としては、例えば、教室内の周方向全域を撮影する360度カメラ(全天球カメラともいう)を用いることができる。授業を撮影したパノラマ動画(360度動画または全天球動画ともいう)は、通信授業用サーバ10に送信されて、授業コンテンツとして蓄積される。通信授業用サーバ10は、パノラマ動画を生徒用端末30に配信する。生徒用端末30は、パノラマ動画を仮想空間内に投影する。中継カメラ12で視差のあるパノラマ動画を撮影し、HMDで視差のある映像を表示することで、生徒は、HMDを装着して仮想空間内に入り込み、仮想空間内に投影された立体的なパノラマ動画を見渡すことができる。これにより、生徒は、没入感のあるリアルな教室で授業を受けているように感じることができる。 The relay camera 12 photographs the lesson by the teacher 40. As the relay camera 12, for example, a 360-degree camera (also referred to as a celestial sphere camera) that captures the entire circumferential direction in the classroom can be used. A panoramic video (also referred to as a 360-degree video or a spherical video) of a lesson is transmitted to the communication lesson server 10 and accumulated as lesson content. The communication lesson server 10 delivers the panoramic video to the student terminal 30. The student terminal 30 projects the panoramic video in the virtual space. By capturing a panoramic video with parallax with the relay camera 12 and displaying the video with parallax on the HMD, the student wears the HMD and enters the virtual space, and the stereoscopic panorama projected in the virtual space is displayed. You can see the video. This allows the students to feel as if they are taking lessons in a realistic and immersive classroom.

中継カメラ12は、教室の前方の任意の角度(例えば180度)を撮影するカメラを用いてもよい。中継カメラ12で撮影されていない教室の後方部分は、仮想空間内に床、壁、および天井のオブジェクトを配置してコンピュータグラフィックスで構築するとよい。生徒が仮想空間内で教室の後方を向いたとき、生徒は、何も映っていない空間ではなく、CGの教室を見ることになり、没入感が損なわれない。 The relay camera 12 may be a camera that captures an arbitrary angle (for example, 180 degrees) in front of the classroom. The rear part of the classroom, which is not photographed by the relay camera 12, may be constructed by computer graphics by arranging floor, wall, and ceiling objects in the virtual space. When the student faces the back of the classroom in the virtual space, the student sees the CG classroom instead of the empty space, and the sense of immersion is not impaired.

教師用端末13は、教師40が授業を進行する際に利用する端末である。教師40は、教師用端末13を操作し、教室ディスプレイ11に表示する授業用データを選択してもよい。また、教師40は、授業中に教師用端末13を操作し、実地学習コンテンツを生徒用端末30へ送信する切替タイミングを設定してもよい。実地学習コンテンツとは、授業に関連した所定の環境を生徒用端末30において表示するためのデータである。切替タイミングでは、配信するコンテンツが授業コンテンツから実地学習コンテンツに切り替えられる。生徒用端末30は、実地学習コンテンツを受信し、実地学習コンテンツを表示する生徒は、授業を受けていた教室から所定の環境に転移したように感じる。生徒は、実地学習コンテンツを表示した環境において、授業コンテンツで習ったことを実践する。 The teacher terminal 13 is a terminal used by the teacher 40 when proceeding with a lesson. The teacher 40 may operate the teacher terminal 13 to select the lesson data to be displayed on the classroom display 11. Further, the teacher 40 may operate the teacher terminal 13 during the lesson to set the switching timing for transmitting the hands-on learning content to the student terminal 30. The hands-on learning content is data for displaying a predetermined environment related to the lesson on the student terminal 30. At the switching timing, the content to be distributed is switched from the lesson content to the hands-on learning content. The student terminal 30 receives the on-site learning content, and the student who displays the on-site learning content feels that the classroom where the lesson was taking has been transferred to the predetermined environment. Students practice what they have learned with lesson content in an environment where hands-on learning content is displayed.

なお、実地学習コンテンツへの切替タイミングは、教師40が授業を行いながら設定するだけでなく、授業を撮影後に、撮影した授業の動画を見ながら設定してもよい。なお、以上の各動作は、教師が用いる教師用端末13を用いる態様以外にも種々の態様が可能である。例えば、遠隔授業放送のプロデューサやディレクター、あるいは番組の配信者が操作する端末その他を用いてももちろんよい。この点は以下に説明する教師用端末13を用いる各動作において共通である。 The timing for switching to the hands-on learning content may be set not only while the teacher 40 is conducting the lesson, but also after the lesson is taken and while watching the video of the lesson taken. It should be noted that each of the above-described operations can take various forms other than the form in which the teacher terminal 13 used by the teacher is used. For example, a remote lesson broadcast producer or director, a terminal operated by a program distributor, or the like may be used. This point is common to each operation using the teacher terminal 13 described below.

マイクロホン14は、教師40の発した音声を収音する。収音された音声データは、通信授業用サーバ10に送信される。通信授業用サーバ10は、動画に合わせて音声データを生徒用端末30へ配信する。 The microphone 14 picks up the voice uttered by the teacher 40. The collected voice data is transmitted to the communication lesson server 10. The communication lesson server 10 delivers audio data to the student terminal 30 in accordance with the moving image.

スピーカ15は、例えば、撮影スタッフからの授業の進行に関する指示などを出力して教師40に伝える。 The speaker 15 outputs, for example, an instruction regarding the progress of the lesson from the shooting staff to the teacher 40.

[サーバの構成]
図3を参照し、通信授業用サーバ10の構成例について説明する。図3に示す通信授業用サーバ10は、入出力部101、記憶部102、配信部103、および解答受信部104を備える。
[Server configuration]
A configuration example of the distance learning server 10 will be described with reference to FIG. The correspondence lesson server 10 shown in FIG. 3 includes an input/output unit 101, a storage unit 102, a distribution unit 103, and an answer receiving unit 104.

入出力部101は、教室ディスプレイ11、中継カメラ12、教師用端末13、マイクロホン14、およびスピーカ15と接続し、授業用データを教室ディスプレイ11や教師用端末13に出力したり、動画データ、音声データ、および操作を入力したりする。入出力部101が入力した動画データや音声データは授業コンテンツとして記憶部102に記憶される。 The input/output unit 101 is connected to the classroom display 11, the relay camera 12, the teacher terminal 13, the microphone 14, and the speaker 15, and outputs the lesson data to the classroom display 11 and the teacher terminal 13, and the moving image data and the voice. Enter data and operations. The moving image data and audio data input by the input/output unit 101 are stored in the storage unit 102 as lesson content.

記憶部102は、教室で行われる授業を撮影した授業コンテンツと授業で使用される実地学習コンテンツを記憶する。1つの授業コンテンツにつき、複数の実地学習コンテンツを用いてもよい。 The storage unit 102 stores the lesson content obtained by photographing the lesson conducted in the classroom and the hands-on learning content used in the lesson. A plurality of hands-on learning contents may be used for one lesson content.

記憶部102は、授業内において実地学習コンテンツデータを配信する切替タイミングを記憶する。切替タイミングは、授業が始まってからの経過時間である。授業コンテンツの動画データのタイムスタンプを用いてもよい。記憶部102は、実地学習コンテンツから授業コンテンツに切り替える切替タイミングも記憶する。実地学習コンテンツの再生が終了した時点を授業コンテンツへの切替タイミングとしてもよい。 The storage unit 102 stores the switching timing for delivering the hands-on learning content data in the lesson. The switching timing is the elapsed time since the class started. The time stamp of the video data of the lesson content may be used. The storage unit 102 also stores the switching timing for switching from the hands-on learning content to the lesson content. The point of time when the reproduction of the hands-on learning content is completed may be the timing of switching to the lesson content.

記憶部102は、実地学習コンテンツでの生徒の解答を記憶してもよい。例えば、生徒が実地学習コンテンツを見ながら発話した英会話を記憶する。後日、教師は、記憶部102に記憶された生徒の解答を評価し、その評価を生徒に通知してもよい。 The memory|storage part 102 may memorize|store the student's answer in hands-on learning content. For example, the English conversation that the student uttered while looking at the hands-on learning content is stored. At a later date, the teacher may evaluate the answer of the student stored in the storage unit 102 and notify the student of the evaluation.

配信部103は、生徒用端末30の求めに応じて、授業コンテンツデータを配信する。配信部103は、授業コンテンツデータを生徒用端末30にストリーミング配信してもよいし、授業コンテンツデータを生徒用端末30にダウンロードさせてもよい。 The distribution unit 103 distributes the lesson content data in response to the request from the student terminal 30. The distribution unit 103 may stream the lesson content data to the student terminal 30 or may download the lesson content data to the student terminal 30.

配信部103は、配信するコンテンツを切り替えるタイミングになると、配信するコンテンツを授業コンテンツから実地学習コンテンツに切り替えたり、実地学習コンテンツから授業コンテンツに切り替えたりする。 At the timing of switching the content to be distributed, the distribution unit 103 switches the content to be distributed from the lesson content to the hands-on learning content, or switches the hands-on learning content to the lesson content.

解答受信部104は、実地学習コンテンツを学習中の生徒の解答を受信して記憶部102に記憶させる。解答受信部104は、生徒の解答に応じて、次に配信する実地学習コンテンツを選択してもよい。 The answer receiving unit 104 receives the answers of the students who are learning the hands-on learning content and stores the answers in the storage unit 102. The answer receiving unit 104 may select the hands-on learning content to be distributed next, according to the answer of the student.

[生徒用端末の構成]
図4を参照し、生徒用端末30の構成例について説明する。図4に示す生徒用端末30は、VR機能部301、入力部302、および解答送信部303を備える。生徒用端末30には、HMD31、コントローラ32、およびマイクロホン33が接続される。
[Configuration of student terminal]
A configuration example of the student terminal 30 will be described with reference to FIG. 4. The student terminal 30 illustrated in FIG. 4 includes a VR function unit 301, an input unit 302, and an answer transmission unit 303. An HMD 31, a controller 32, and a microphone 33 are connected to the student terminal 30.

VR機能部301は、通信授業用サーバ10から授業コンテンツデータや実地学習コンテンツを受信し、HMD31で検出した生徒の頭の動きに基づいて仮想空間内の仮想カメラを制御し、生徒の頭の方向の映像をHMD31に表示させる。また、VR機能部301は、HMD31やコントローラ32から入力した情報に基づいて生徒アバターの姿勢や動きを制御し、生徒アバターを仮想空間内に配置してレンダリングする。 The VR function unit 301 receives the lesson content data and the hands-on learning content from the communication lesson server 10, controls the virtual camera in the virtual space based on the head movement of the student detected by the HMD 31, and determines the head direction of the student. Is displayed on the HMD 31. Further, the VR function unit 301 controls the posture and movement of the student avatar based on the information input from the HMD 31 and the controller 32, arranges the student avatar in the virtual space, and renders it.

入力部302は、HMD31で検出した生徒の頭の動き、コントローラ32での操作、およびマイクロホン33で集音した生徒の音声を入力する。生徒の動き情報や操作は、VR機能部301へ送信されて、生徒アバターの制御に用いられる。生徒の音声は、解答送信部303を介して通信授業用サーバ10へ送信される。 The input unit 302 inputs the movement of the head of the student detected by the HMD 31, the operation of the controller 32, and the voice of the student collected by the microphone 33. The student motion information and operation are transmitted to the VR function unit 301 and used for controlling the student avatar. The student's voice is transmitted to the correspondence lesson server 10 via the answer transmission unit 303.

解答送信部303は、実地学習コンテンツを学習中の生徒の解答を通信授業用サーバ10へ送信する。 The answer sending unit 303 sends the answer of the student who is learning the hands-on learning content to the server 10 for distance learning.

生徒用端末30は、生徒アバターの姿勢や動きを制御するためのモーションデータを通信授業用サーバ10へ送信してもよい。 The student terminal 30 may transmit motion data for controlling the posture and movement of the student avatar to the communication lesson server 10.

通信授業用サーバ10および生徒用端末30には、例えば、中央演算処理装置(CPU)、メモリ、ストレージ、通信装置、および入出力装置を備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、CPUがメモリ上にロードされた所定のプログラムを実行することにより、通信授業用サーバ10および生徒用端末30が実現される。このプログラムは磁気ディスク、光ディスク、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記録することも、ネットワークを介して配信することもできる。 As the communication lesson server 10 and the student terminal 30, for example, a general-purpose computer system including a central processing unit (CPU), a memory, a storage, a communication device, and an input/output device can be used. In this computer system, the CPU executes a predetermined program loaded on the memory to realize the communication lesson server 10 and the student terminal 30. This program can be recorded on a computer-readable recording medium such as a magnetic disk, an optical disk, or a semiconductor memory, or can be distributed via a network.

[コンテンツ切替処理]
図5のシーケンス図を参照し、授業コンテンツと実地学習コンテンツを切り替える処理について説明する。
[Content switching process]
The process of switching between lesson content and hands-on learning content will be described with reference to the sequence diagram of FIG.

ステップS11にて、通信授業用サーバ10は、生徒用端末30への授業コンテンツの配信を開始する。授業コンテンツは、教師40が空港での英会話の授業を進める様子を撮影したパノラマ動画であるとする。生徒用端末30は、パノラマ動画を仮想空間内に投影する。生徒の装着したHMD31には、生徒の頭の向きに応じた映像が表示される。 In step S11, the communication lesson server 10 starts distribution of the lesson content to the student terminal 30. It is assumed that the lesson content is a panoramic video of the teacher 40 taking an English conversation lesson at the airport. The student terminal 30 projects the panoramic video in the virtual space. An image corresponding to the orientation of the head of the student is displayed on the HMD 31 worn by the student.

図6は、生徒が仮想空間内で授業を受ける様子を示す図である。仮想空間内には、教師40と教室ディスプレイ11が撮影されたパノラマ動画が投影されている。図6では、パノラマ動画内の教室の壁、床、および天井を省略している。机オブジェクト510は、仮想空間内の生徒アバターの前に配置した3次元オブジェクトである。図6では、生徒アバターを省略しているが、生徒アバターは、仮想空間内の中継カメラ12に相当する位置に配置される。生徒用端末30は、生徒アバターの視点位置に基づき、パノラマ動画に生徒アバターや机オブジェクト510などの仮想空間内のオブジェクトを合成した画像をレンダリングして、HMD31に供給する。 FIG. 6 is a diagram showing how a student takes a lesson in a virtual space. A panoramic video of the teacher 40 and the classroom display 11 is projected in the virtual space. In FIG. 6, the classroom wall, floor, and ceiling in the panoramic video are omitted. The desk object 510 is a three-dimensional object arranged in front of the student avatar in the virtual space. Although the student avatar is omitted in FIG. 6, the student avatar is arranged at a position corresponding to the relay camera 12 in the virtual space. The student terminal 30 renders an image in which an object in the virtual space such as the student avatar and the desk object 510 is combined with the panoramic video based on the viewpoint position of the student avatar, and supplies the image to the HMD 31.

授業が進行して切替タイミングになると、例えば新たに習う会話文の説明が終わると、ステップS12にて、通信授業用サーバ10は、生徒用端末30に配信するコンテンツを授業コンテンツから実地学習コンテンツに切り替える。例えば、通信授業用サーバ10は、実地学習コンテンツに切替タイミング(例えば授業開始からの経過時間)を対応付けておき、授業開始からの経過時間が切替タイミングになるとコンテンツの切り替えを実行する。 When the lesson progresses and the switching timing comes, for example, when the explanation of the newly learned conversation sentence ends, in step S12, the communication lesson server 10 changes the content to be delivered to the student terminal 30 from the lesson content to the hands-on learning content. Switch. For example, the communication lesson server 10 associates the switching timing (for example, the elapsed time from the start of the lesson) with the hands-on learning content, and switches the content when the elapsed time from the start of the lesson reaches the switch timing.

ステップS13にて、通信授業用サーバ10は、授業コンテンツの配信を一時停止し、実地学習コンテンツの配信を開始する。 In step S13, the communication lesson server 10 temporarily stops the delivery of the lesson content and starts the delivery of the hands-on learning content.

例えば、授業が空港での英会話に関する内容の場合、実地学習コンテンツは、授業で習った英会話を使う空港内を表示するコンテンツである。実地学習コンテンツは、臨場感を出すために、実際の現場において360度カメラで撮影したパノラマ動画であるとよい。空港カウンターの前に360度カメラを設置し、空港カウンターの前にいる客の視点で空港内の周方向全域を撮影する。スタジオに空港カウンターのセットを組んで撮影してもよい。実地学習コンテンツは、パノラマ動画に限らずパノラマ静止画であってもよい。実地学習コンテンツに静止画を用いる場合は、より臨場感を出すために、空港の環境音を加えるとよい。 For example, if the lesson is about English conversation at the airport, the hands-on learning content is content that displays the inside of the airport where the English conversation learned in the lesson is used. The hands-on learning content may be a panoramic video taken by a 360-degree camera at an actual scene in order to give a realistic feeling. A 360-degree camera will be installed in front of the airport counter to take a picture of the entire circumference of the airport from the perspective of the customer in front of the airport counter. You may set up an airport counter in the studio and shoot. The hands-on learning content is not limited to the panoramic video and may be a panoramic still image. When using still images for hands-on learning contents, it is advisable to add environmental sounds at the airport in order to create a more realistic sensation.

あるいは、実地学習コンテンツは、実写に限らずコンピュータグラフィックスであってもよい。この場合、通信授業用サーバ10は、レンダリング後の画像を生徒用端末30へ配信してもよいし、生徒用端末30が仮想空間をレンダリングしてもよい。 Alternatively, the hands-on learning content is not limited to a live-action image and may be computer graphics. In this case, the communication lesson server 10 may deliver the rendered image to the student terminal 30, or the student terminal 30 may render the virtual space.

実地学習コンテンツが配信されると、生徒用端末30では、教室を撮影したパノラマ動画に代わって空港を撮影したパノラマ動画が表示される。仮想空間には空港内のパノラマ動画が投影されるので、生徒は周囲を見渡すと空港内にいるように感じられる。 When the hands-on learning content is distributed, the student terminal 30 displays the panoramic video of the airport instead of the panoramic video of the classroom. A panoramic video of the airport is projected in the virtual space, so students can look around and feel like they are inside the airport.

図7に実地学習コンテンツの一例を示す。図7の例は、空港カウンターのスタッフ41と会話の練習をするための実地学習コンテンツである。実地学習コンテンツでは、生徒はカウンター前の客を演じて、授業で習った会話文を用いて、仮想空間内に投影されたパノラマ動画内のスタッフ41と会話の練習を行う。例えば、実地学習コンテンツでは、スタッフ41が問いかけた後にしばらく無音区間を設けておき、生徒はスタッフ41の問いかけに対する返答を行う。実写のスタッフ41の代わりに、実写の空港内の映像にコンピュータグラフィックスで描画したスタッフアバターを合成してもよい。 FIG. 7 shows an example of the hands-on learning content. The example of FIG. 7 is a hands-on learning content for practicing conversation with the staff 41 at the airport counter. In the hands-on learning content, the student plays the customer in front of the counter and uses the conversation text learned in the class to practice conversation with the staff 41 in the panoramic video projected in the virtual space. For example, in the hands-on learning content, a silent section is provided for a while after the staff 41 makes an inquiry, and the student makes a reply to the inquiry made by the staff 41. Instead of the live-action staff 41, a staff avatar drawn by computer graphics may be combined with the live-action video inside the airport.

ステップS14にて、マイクロホン33で集音された生徒の音声は解答として生徒用端末30へ送信され、ステップS15にて、生徒用端末30から通信授業用サーバ10へ送信されて、ステップS16にて、通信授業用サーバ10に記録される。 In step S14, the voice of the student collected by the microphone 33 is transmitted to the student terminal 30 as an answer, in step S15, transmitted from the student terminal 30 to the communication lesson server 10, and in step S16. , Is recorded in the correspondence lesson server 10.

実地学習コンテンツの配信が終わると、ステップS17にて、通信授業用サーバ10は、生徒用端末30に配信するコンテンツを実地学習コンテンツのから授業コンテンツに切り替える。 After the delivery of the hands-on learning content, the communication lesson server 10 switches the content to be delivered to the student terminal 30 from the hands-on learning content to the lesson content in step S17.

ステップS18にて、通信授業用サーバ10は、実地学習コンテンツの配信を停止し、授業コンテンツの配信を再開する。 In step S18, the communication lesson server 10 stops the delivery of the hands-on learning content and restarts the delivery of the lesson content.

[変形例]
生徒用端末30が授業コンテンツと実地学習コンテンツを切り替えてもよい。例えば、生徒用端末30は、授業コンテンツ、実地学習コンテンツ、および切替タイミングを通信授業用サーバ10からダウンロードしておく。生徒用端末30は、授業コンテンツを再生し、切替タイミングになったら実地学習コンテンツに切り替える。あるいは、生徒用端末30は、切替タイミングを事前に受信しておく。生徒用端末30は、授業の開始時に授業コンテンツの配信を通信授業用サーバ10に要求し、切替タイミングになったら実地学習コンテンツの配信を通信授業用サーバ10に要求する。
[Modification]
The student terminal 30 may switch between lesson content and hands-on learning content. For example, the student terminal 30 downloads the lesson content, the hands-on learning content, and the switching timing from the communication lesson server 10. The student terminal 30 reproduces the lesson content and switches to the hands-on learning content at the switching timing. Alternatively, the student terminal 30 receives the switching timing in advance. The student terminal 30 requests the lesson content distribution to the communication lesson server 10 at the start of the lesson, and requests the on-site learning content distribution to the communication lesson server 10 at the switching timing.

通信授業用サーバ10は、生徒の解答を分析し、配信する実地学習コンテンツを切り替えてもよい。例えば、通信授業用サーバ10が解答を受信していない場合、同じ実地学習コンテンツを繰り返して配信し、解答を受信したときは次の実地学習コンテンツを配信する。また、解答内容に応じて、次に配信する実地学習コンテンツを分岐させてもよい。実地学習コンテンツに区切り(チャプター)を付与しておき、解答内容に応じてチャプターを飛ばしたり、チャプターを戻したりしてもよい。 The correspondence lesson server 10 may analyze the answers of the students and switch the hands-on learning contents to be distributed. For example, when the correspondence lesson server 10 has not received an answer, the same hands-on learning content is repeatedly delivered, and when the answer is received, the next hands-on learning content is delivered. Further, the hands-on learning content to be delivered next may be branched according to the answer content. It is also possible to add a section (chapter) to the hands-on learning content and skip the chapter or return the chapter according to the content of the answer.

生徒からの解答を受け付ける時間を示すタイムバーを仮想空間内に表示してもよい。例えば、時間の経過に伴ってタイムバーを短くし、タイムバーが無くなると時間切れとみなす。時間切れの場合、実地学習コンテンツの同じ箇所を繰り返して配信してもよいし、次に進めてもよい。 A time bar indicating the time when the answer from the student is accepted may be displayed in the virtual space. For example, the time bar is shortened as time passes, and when the time bar disappears, it is considered that the time has expired. In the case of time-out, the same location of the hands-on learning content may be repeatedly delivered, or the next step may proceed.

図8に示すように、実地学習コンテンツの中に授業コンテンツの一部をはめ込み合成してもよい。図8の例では、枠520内に、教室ディスプレイ11と教師40が写った授業コンテンツの一部が表示されている。例えば、枠520内の教室ディスプレイ11に授業で学習した会話の例文が表示されていると、生徒の会話の助けになる。教師40の音声が実地学習コンテンツで学習中の生徒に聞こえてもよい。例えば、教師40が次の会話文を発話し、生徒は教師40の発話に続けて会話文を復唱する。 As shown in FIG. 8, a part of the lesson content may be embedded and combined in the hands-on learning content. In the example of FIG. 8, a part of the lesson content including the classroom display 11 and the teacher 40 is displayed in the frame 520. For example, when the example sentences of the conversation learned in the lesson are displayed on the classroom display 11 in the frame 520, it helps the students in conversation. The voice of the teacher 40 may be heard by a student who is learning the hands-on learning content. For example, the teacher 40 speaks the next conversational sentence, and the student repeats the conversational sentence after the teacher 40 speaks.

複数の生徒が同時に同じ授業コンテンツを視聴できてもよい。この場合、授業コンテンツを視聴するときは、同一の仮想空間内に複数の生徒アバターを配置し、実地学習コンテンツを視聴するときは、生徒は個別の仮想空間内に生徒アバターを配置する。より具体的に説明すると、授業コンテンツを複数の生徒で視聴するときは、授業が行われる仮想空間内の同一の教室内に、複数の生徒アバターと机オブジェクト510を並べて表示する。生徒が教室を見渡すと他の生徒アバターを見ることができる。授業コンテンツから実地学習コンテンツに切り替わると、他の生徒アバターの表示をオフにして、生徒は個別の仮想空間内で実地学習コンテンツを用いて学習を進める。 Multiple students may be able to view the same lesson content at the same time. In this case, when viewing the lesson content, a plurality of student avatars are arranged in the same virtual space, and when viewing the hands-on learning content, the students arrange the student avatars in individual virtual spaces. More specifically, when the lesson content is viewed by a plurality of students, a plurality of student avatars and desk objects 510 are displayed side by side in the same classroom in the virtual space where the lesson is conducted. When a student looks out over the classroom, they can see other student avatars. When the lesson content is switched to the hands-on learning contents, the display of other student avatars is turned off, and the students proceed with the learning by using the hands-on learning contents in the individual virtual space.

なお、実地学習コンテンツにおいても、同一の仮想空間内に複数の生徒アバターを配置してもよい。例えば、ある生徒アバターが航空会社のスタッフの役割を演じ、別の生徒アバターが客の役割を演じる。通信授業用サーバ10は、各生徒の役割に応じた実地学習コンテンツを配信する。具体的には、スタッフの役割を演じる生徒には、空港カウンターの内側から撮影したパノラマ動画を実地学習コンテンツとして配信し、客の役割を演じる生徒には、空港カウンターの前から撮影したパノラマ動画を実地学習コンテンツとして配信する。実地学習コンテンツを投影した仮想空間内では、スタッフを演じる生徒アバターと客を演じる生徒アバターとが会話する。他の生徒は、2人の生徒アバターが会話する様子を教室ディスプレイ11で見ることができてもよい。 It should be noted that also in the hands-on learning content, a plurality of student avatars may be arranged in the same virtual space. For example, one student avatar plays the role of airline staff and another student avatar plays the role of a customer. The correspondence lesson server 10 delivers hands-on learning contents according to the role of each student. Specifically, students who play the role of staff will receive a panoramic video taken from the inside of the airport counter as hands-on learning content, and students who play the role of customers will receive a panoramic video taken from the front of the airport counter. Deliver as hands-on learning content. In the virtual space in which the hands-on learning content is projected, the student avatar acting as a staff member and the student avatar acting as a guest talk. Other students may be able to see the conversation of the two student avatars on the classroom display 11.

本実施形態の授業システムは、語学以外の授業に用いることもできる。例えば、社会で裁判の学習をするときに、通信授業用サーバ10は、裁判所内を撮影した実地学習コンテンツを用意しておき、切替タイミングで生徒を裁判所内の被告席や裁判官の席から撮影した実地学習コンテンツを配信する。図8のように、枠520内に授業コンテンツを表示し、教師40が生徒の視点から見える様子を説明してもよい。生徒アバターは、同一の仮想空間内において、裁判官、弁護士、あるいは被告人などの役割を演じて模擬裁判を行ってもよい。 The lesson system of this embodiment can also be used for lessons other than language study. For example, when studying a trial in society, the correspondence lesson server 10 prepares hands-on learning content that images the inside of the court, and captures the student from the defendant seat or the judge's seat in the court at the switching timing. Deliver hands-on learning content. As shown in FIG. 8, it may be explained that the lesson content is displayed in the frame 520 so that the teacher 40 can be seen from the student's viewpoint. The student avatar may perform a mock trial in the same virtual space by playing the role of a judge, a lawyer, a defendant, or the like.

授業コンテンツの配信は、教師が行っている授業をリアルタイムに配信するリアルタイム遠隔授業モードと、事前に撮影または制作した授業を配信するタイムシフト遠隔授業モードのいずれで行ってもよい。 The lesson content may be delivered in either a real-time remote lesson mode in which a lesson conducted by a teacher is delivered in real time or a time-shifted remote lesson mode in which a lesson taken or produced in advance is delivered.

リアルタイム遠隔授業モードは、教師が現在リアルタイムに行っている授業が通信授業用サーバ10を介して各生徒用端末30へ配信されて視聴されるモードである。複数の生徒が同時に同じ授業コンテンツを視聴する。すなわち、複数の生徒アバターが同じ仮想空間内に存在する。授業コンテンツを実地学習コンテンツに切り替えたときに、複数の生徒アバターが実地学習コンテンツを表示する同じ仮想空間内にいると、例えば、英会話の練習などを実地学習コンテンツの環境に没入して行えないことがある。そこで、授業コンテンツから実地学習コンテンツに切り替えた際には、生徒アバターを個別の仮想空間内に配置する。あるいは、教師が生徒を指名し、その生徒が実地学習コンテンツの環境で会話している様子を他の生徒が見ることができるようにしてもよい。指名された生徒に対してのみ実地学習コンテンツが配信される。他の生徒アバターは仮想空間の教室に存在する。実地学習コンテンツの環境で会話している生徒アバターの映像が教室ディスプレイ11に投影され、他の生徒アバターは、その映像を見ることができる。 The real-time remote lesson mode is a mode in which a lesson currently being conducted by a teacher in real time is distributed to each student terminal 30 via the communication lesson server 10 and viewed. Multiple students view the same lesson content at the same time. That is, a plurality of student avatars exist in the same virtual space. If multiple student avatars are in the same virtual space displaying the hands-on learning contents when the lessons contents are switched to hands-on learning contents, for example, practice of English conversation cannot be immersed in the environment of the hands-on learning contents. There is. Therefore, when the lesson content is switched to the hands-on learning content, the student avatar is placed in the individual virtual space. Alternatively, the teacher may nominate a student so that another student can see the student talking in the environment of the hands-on learning content. Hands-on learning content is delivered only to designated students. Other student avatars exist in the virtual space classroom. The image of the student avatar having a conversation in the environment of the hands-on learning content is projected on the classroom display 11, and the other student avatars can see the image.

タイムシフト遠隔授業モードは、リアルタイムではなく、あらかじめ撮影および制作された授業コンテンツが予めサーバに蓄積され、個々の生徒用端末30からの送信要求に応じて任意の時間に要求のあった生徒用端末30へ配信されて視聴されるモードである。この場合、授業コンテンツを視聴中の生徒アバターの動作等を通信授業用サーバ10に蓄積しておく。別のタイミングで同じ授業コンテンツを視聴する生徒に蓄積した生徒アバターの動作等を配信し、授業コンテンツの仮想空間内の教室にクラスメイトの生徒アバターとして配置する。これにより、空間的にも時間的にも離間した別々な生徒があたかも一緒に同時に同じ授業を受けているかのような疑似的な効果が得られる。 In the time shift remote lesson mode, lesson content is not real-time, lesson content that has been captured and produced in advance is accumulated in the server in advance, and the student terminal that has been requested at any time according to the transmission request from each student terminal 30 In this mode, the content is distributed to and viewed on 30. In this case, the action etc. of the student avatar who is viewing the lesson content is stored in the communication lesson server 10. The behaviors of the student avatars that have been accumulated are distributed to the students who view the same lesson content at different timings, and the students are placed as classmate student avatars in the classroom in the virtual space of the lesson content. As a result, a pseudo effect is obtained in which different students who are spatially and temporally separated are simultaneously taking the same class together.

以上説明したように、本実施形態の授業システムは、通信授業用サーバ10と生徒用端末30とを接続して没入感のある仮想空間内で行われる授業を受けるための授業システムである。通信授業用サーバ10は、仮想空間内で行われる授業を視聴するための授業コンテンツと授業に関連した所定の環境を仮想空間内に表示するための実地学習コンテンツを配信する配信部103を有する。生徒用端末30は、当該生徒用端末30を使用する生徒のアバターを仮想空間内に配置して制御するとともに、授業コンテンツと実地学習コンテンツを受信し、アバターの視点で授業コンテンツまたは実地学習コンテンツを表示するVR機能部301を有する。授業システムでは、所定のタイミングで、授業コンテンツと実地学習コンテンツとが切り替えられる。これにより、授業コンテンツと実地学習コンテンツとを連続してシームレスに学習でき、授業コンテンツで習ったことをすぐに実地学習コンテンツで実践できるので、2つの環境による相乗効果により教育効果の向上が期待できる。 As described above, the lesson system of the present embodiment is a lesson system for connecting the server 10 for communication lessons and the student terminal 30 to receive a lesson conducted in a virtual space with a feeling of immersion. The communication lesson server 10 includes a delivery unit 103 that delivers lesson content for viewing a lesson in a virtual space and hands-on learning content for displaying a predetermined environment related to the lesson in the virtual space. The student terminal 30 arranges and controls the avatar of the student who uses the student terminal 30 in the virtual space, receives the lesson content and the hands-on learning content, and receives the lesson content or the hands-on learning content from the viewpoint of the avatar. It has a VR function unit 301 for displaying. In the lesson system, lesson contents and hands-on learning contents are switched at a predetermined timing. As a result, lesson contents and hands-on learning contents can be continuously and seamlessly learned, and what you learned in the lessons contents can be immediately put into practice on the hands-on learning contents, so the synergistic effect of the two environments can be expected to improve the educational effect. ..

なお、本発明にかかる構成が特に英語など語学教育において大きな効果を有する理由を説明する。日本人は特に長い期間学校教育で英語の授業を受けているにもかかわらずなかなか英語での会話ができない理由として、個々の日本人は英語を話さなければならない環境、状況に置かれることが少ないからである。例えば学校の教室において、さあ英語で会話をしましょう、といわれてもそのような環境ではないので、頭の切り替え、いわば「英語脳」への切り替えが困難であり、学習の効果が上がらないと考えられる。これに対して、例えば英語を話す国々へ留学をしたり、ワーキングホリデーとして滞在したりすれば、周囲はすべて英語を話す人々ばかりである。そのため、日常のすべての生活は英語を話さなければ成立しないので、必要に迫られて英語を話し、「英語脳」への切り替えもスムーズに行われるものと考えられる。本発明の構成によれば、上に説明した「英語脳」へ切り替えができる環境へ、例えば日本の自宅に居ながらにして遷移することができるので、従来にない学習効果を得ることができる。上に挙げた裁判所の環境へ遷移する場合も同様であって、360度全周の画像で環境を視聴し、且つ、生徒がアバターとして任意の場所、例えば裁判長席に座ることができるので、非常にリアリティがあり、あたかも実際に裁判所を見学したかのような実感が得られる。また語学学習の例では、英語の文法など事前の学習を仮想的な教室の中で行い、その後、瞬間的に空港のような英語環境に切り替えて実地の訓練ができるので、学習効果がさらに高まる。この点は例えば実際に空港で実地訓練を行おうとすると、空港の中に教室を設けることは困難であるので、実際の場所での学習や訓練を上回る効果を、本発明の実施構成は上げることが可能となる。 The reason why the configuration according to the present invention has a great effect particularly in language education such as English will be described. Japanese people are often placed in an environment or situation where they have to speak English as a reason why they can not speak English easily even though they have been taking English lessons for school education for a long time. Because. For example, in a classroom at a school, it is not such an environment even if it is said that we should have a conversation in English, so it is difficult to switch the head, so to speak, to the "English brain", and the effect of learning will not improve. Conceivable. On the other hand, if you study abroad in an English-speaking country or stay as a working holiday, all the people around you will be English-speaking people. For this reason, all daily life cannot be achieved without speaking English, so it is thought that it will be necessary to speak English, and switching to the "English brain" will be performed smoothly. According to the configuration of the present invention, since it is possible to make a transition to the environment in which the above-mentioned "English brain" can be switched, for example, while staying at home in Japan, it is possible to obtain an unprecedented learning effect. The same applies to the case of transitioning to the environment of the courts listed above, since the environment can be viewed with images of 360 degrees all around, and the student can sit as an avatar at any place, for example, in the presiding judge's seat, It is so realistic that you can feel as if you were visiting the court. In addition, in the case of language learning, you can learn English grammar in advance in a virtual classroom, and then instantaneously switch to an English environment such as an airport for on-the-job training, further enhancing the learning effect. .. In this respect, for example, when actually conducting on-the-job training at the airport, it is difficult to provide a classroom inside the airport, so the implementation configuration of the present invention can increase the effect over learning and training at the actual place. Is possible.

10…通信授業用サーバ 101…入出力部 102…記憶部 103…配信部 104…解答受信部 11…教室ディスプレイ 12…中継カメラ 13…教師用端末 14…マイクロホン 15…スピーカ 20…通信回線 30…生徒用端末 301…VR機能部 302…入力部 303…解答送信部 31…HMD 32…コントローラ 33…マイクロホン 10... Server for communication lesson 101... Input/output unit 102... Storage unit 103... Delivery unit 104... Answer receiving unit 11... Classroom display 12... Relay camera 13... Teacher terminal 14... Microphone 15... Speaker 20... Communication line 30... Student Terminal 301... VR function unit 302... Input unit 303... Answer transmission unit 31... HMD 32... Controller 33... Microphone

Claims (8)

通信授業用サーバと視聴端末とを接続して没入感のある仮想空間内で授業を受けるための授業システムであって、
前記通信授業用サーバは、
前記仮想空間内の教室で行われる授業を視聴するための授業コンテンツと前記授業に関連した所定の環境を前記仮想空間内に表示するための実地学習コンテンツを配信する配信部を有し、
前記視聴端末は、
当該視聴端末を使用する生徒のアバターを前記仮想空間内に配置して制御するアバター制御部と、
前記授業コンテンツと前記実地学習コンテンツを受信する受信部と、
前記アバターの視点で前記授業コンテンツまたは前記実地学習コンテンツを表示する表示部を有し、
所定のタイミングで、前記授業コンテンツと前記実地学習コンテンツとが切り替えられ
複数の生徒が同じ授業を受ける場合、前記授業コンテンツを視聴するときは、前記複数の生徒のアバターを同一の仮想空間内に配置し、前記実地学習コンテンツを視聴するときは前記複数の生徒のアバターを個別の仮想空間内に配置する
授業システム。
A lesson system for connecting a communication lesson server and a viewing terminal to take a lesson in an immersive virtual space,
The correspondence lesson server is
A lesson content for viewing a lesson conducted in a classroom in the virtual space and a delivery unit for delivering a hands-on learning content for displaying a predetermined environment related to the lesson in the virtual space,
The viewing terminal is
An avatar control unit that arranges and controls an avatar of a student who uses the viewing terminal in the virtual space,
A receiver for receiving the lesson content and the hands-on learning content,
A display unit for displaying the lesson content or the hands-on learning content from the viewpoint of the avatar;
At a predetermined timing, the lesson content and the hands-on learning content are switched ,
When a plurality of students take the same lesson, when viewing the lesson content, avatars of the plurality of students are arranged in the same virtual space, and when viewing the hands-on learning content, avatars of the plurality of students. A lesson system that arranges each in a separate virtual space .
請求項1に記載の授業システムであって、
前記実地学習コンテンツは前記所定の環境において周方向全域を撮影したパノラマ動画またはパノラマ静止画である
授業システム。
The class system according to claim 1,
The hands-on learning content is a panoramic video or panoramic still image taken in the circumferential direction in the predetermined environment.
請求項1または2に記載の授業システムであって、
前記授業コンテンツは語学を学習するための授業であり、
前記実地学習コンテンツは前記授業コンテンツで学習した内容を実践して練習するための環境である
授業システム。
The lesson system according to claim 1 or 2, wherein
The lesson content is a lesson for learning a language,
The hands-on learning content is an environment for practicing and practicing the content learned in the lesson content.
請求項1ないし3のいずれかに記載の授業システムであって、
前記通信授業用サーバは、前記視聴端末から前記生徒の解答を受信し、当該解答に基づいて次に配信する前記実地学習コンテンツを選択する
授業システム。
The lesson system according to any one of claims 1 to 3,
The lesson system, wherein the communication lesson server receives the student's answer from the viewing terminal and selects the hands-on learning content to be delivered next based on the answer.
請求項1ないし4のいずれかに記載の授業システムであって、
前記表示部は、前記実地学習コンテンツを表示中に、前記仮想空間内に前記授業コンテンツの一部を表示する
授業システム。
The lesson system according to any one of claims 1 to 4,
A lesson system in which the display unit displays a part of the lesson content in the virtual space while displaying the hands-on learning content.
没入感のある仮想空間内で授業を受けるための視聴端末であって、
当該視聴端末を使用する生徒のアバターを前記仮想空間内に配置して制御するアバター制御部と、
前記仮想空間内で行われる授業を視聴するための授業コンテンツと前記授業に関連した所定の環境を前記仮想空間内に表示するための実地学習コンテンツを受信する受信部と、
前記アバターの視点で前記授業コンテンツまたは前実地学習コンテンツを表示する表示部を有し、
所定のタイミングで、前記授業コンテンツと前記実地学習コンテンツとが切り替えられ
複数の生徒が同じ授業を受ける場合、前記授業コンテンツを表示するときは、前記複数の生徒のアバターは同一の仮想空間内に配置され、前記実地学習コンテンツを表示するときは前記複数の生徒のアバターは個別の仮想空間内に配置される
視聴端末。
A viewing terminal for taking classes in a virtual space with a feeling of immersion,
An avatar control unit that arranges and controls an avatar of a student who uses the viewing terminal in the virtual space,
A receiving unit for receiving lesson content for viewing a lesson conducted in the virtual space and hands-on learning content for displaying a predetermined environment related to the lesson in the virtual space,
A display unit for displaying the lesson content or the previous hands-on learning content from the viewpoint of the avatar,
At a predetermined timing, the lesson content and the hands-on learning content are switched ,
When a plurality of students take the same lesson, the avatars of the plurality of students are arranged in the same virtual space when displaying the lesson content, and the avatars of the plurality of students when displaying the hands-on learning content. Is a viewing terminal placed in a separate virtual space .
没入感のある仮想空間内で授業を受けるための視聴端末による情報処理方法であって、
当該視聴端末を使用する生徒のアバターを前記仮想空間内に配置して制御するステップと、
前記仮想空間内で行われる授業を視聴するための授業コンテンツと前記授業に関連した所定の環境を前記仮想空間内に表示するための実地学習コンテンツを受信するステップと、
前記アバターの視点で前記授業コンテンツまたは前実地学習コンテンツを表示するステップを有し、
所定のタイミングで、前記授業コンテンツと前記実地学習コンテンツとが切り替えられ
複数の生徒が同じ授業を受ける場合、前記授業コンテンツを表示するときは、前記複数の生徒のアバターは同一の仮想空間内に配置され、前記実地学習コンテンツを表示するときは前記複数の生徒のアバターは個別の仮想空間内に配置される
情報処理方法。
An information processing method by a viewing terminal for taking a lesson in a virtual space with a feeling of immersion,
Placing and controlling an avatar of a student using the viewing terminal in the virtual space;
Receiving lesson content for viewing a lesson conducted in the virtual space and hands-on learning content for displaying a predetermined environment related to the lesson in the virtual space,
A step of displaying the lesson content or the front-end learning content from the viewpoint of the avatar,
At a predetermined timing, the lesson content and the hands-on learning content are switched ,
When a plurality of students take the same lesson, the avatars of the plurality of students are arranged in the same virtual space when displaying the lesson content, and the avatars of the plurality of students when displaying the hands-on learning content. Is an information processing method arranged in a separate virtual space .
没入感のある仮想空間内で授業を受けるための視聴端末としてコンピュータを動作させるプログラムであって、
当該視聴端末を使用する生徒のアバターを前記仮想空間内に配置して制御する処理と、
前記仮想空間内で行われる授業を視聴するための授業コンテンツと前記授業に関連した所定の環境を前記仮想空間内に表示するための実地学習コンテンツを受信する処理と、
前記アバターの視点で前記授業コンテンツまたは前実地学習コンテンツを表示する処理をコンピュータに実行させ、
所定のタイミングで、前記授業コンテンツと前記実地学習コンテンツとが切り替えられ
複数の生徒が同じ授業を受ける場合、前記授業コンテンツを表示するときは、前記複数の生徒のアバターは同一の仮想空間内に配置され、前記実地学習コンテンツを表示するときは前記複数の生徒のアバターは個別の仮想空間内に配置される
プログラム。
A program for operating a computer as a viewing terminal for taking classes in an immersive virtual space,
A process of arranging and controlling an avatar of a student who uses the viewing terminal in the virtual space;
A process of receiving a lesson content for viewing a lesson conducted in the virtual space and a hands-on learning content for displaying a predetermined environment related to the lesson in the virtual space;
Causing a computer to execute the processing of displaying the lesson content or the front-end learning content from the viewpoint of the avatar,
At a predetermined timing, the lesson content and the hands-on learning content are switched ,
When a plurality of students take the same lesson, the avatars of the plurality of students are arranged in the same virtual space when displaying the lesson content, and the avatars of the plurality of students when displaying the hands-on learning content. Is a program that is placed in a separate virtual space .
JP2019215521A 2019-11-28 2019-11-28 Class system, viewing terminal, information processing method and program Active JP6727388B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019215521A JP6727388B1 (en) 2019-11-28 2019-11-28 Class system, viewing terminal, information processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019215521A JP6727388B1 (en) 2019-11-28 2019-11-28 Class system, viewing terminal, information processing method and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020111602A Division JP2021086145A (en) 2020-06-29 2020-06-29 Class system, viewing terminal, information processing method, and program

Publications (2)

Publication Number Publication Date
JP6727388B1 true JP6727388B1 (en) 2020-07-22
JP2021087128A JP2021087128A (en) 2021-06-03

Family

ID=71664038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019215521A Active JP6727388B1 (en) 2019-11-28 2019-11-28 Class system, viewing terminal, information processing method and program

Country Status (1)

Country Link
JP (1) JP6727388B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022027250A (en) * 2020-07-31 2022-02-10 トヨタ自動車株式会社 Lesson system, lesson method, and program
WO2022220308A1 (en) * 2021-04-16 2022-10-20 パナソニックIpマネジメント株式会社 Video display system and video display method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09244522A (en) * 1996-03-05 1997-09-19 Canon Inc Method and device for undergoing virtual building
JP3840113B2 (en) * 2002-01-15 2006-11-01 キヤノン株式会社 Image reproduction apparatus and information processing method
JP2009145883A (en) * 2007-11-20 2009-07-02 Rissho Univ Learning system, storage medium, and learning method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022027250A (en) * 2020-07-31 2022-02-10 トヨタ自動車株式会社 Lesson system, lesson method, and program
JP7367632B2 (en) 2020-07-31 2023-10-24 トヨタ自動車株式会社 Lesson system, lesson method, and program
WO2022220308A1 (en) * 2021-04-16 2022-10-20 パナソニックIpマネジメント株式会社 Video display system and video display method
JP7486110B2 (en) 2021-04-16 2024-05-17 パナソニックIpマネジメント株式会社 Image display system and image display method
EP4325867A4 (en) * 2021-04-16 2024-09-25 Panasonic Ip Man Co Ltd Video display system and video display method

Also Published As

Publication number Publication date
JP2021087128A (en) 2021-06-03

Similar Documents

Publication Publication Date Title
CN106875764B (en) Virtual reality foreign language learning system based on network and control method
CN107103801B (en) Remote three-dimensional scene interactive teaching system and control method
Larsson et al. The actor-observer effect in virtual reality presentations
JP6739611B1 (en) Class system, viewing terminal, information processing method and program
CN110349456B (en) Intelligent control system, remote control terminal and classroom terminal of interactive classroom
CN210091423U (en) Remote teaching interactive system based on holographic projection
JP7368298B2 (en) Content distribution server, content creation device, educational terminal, content distribution program, and educational program
US20220360827A1 (en) Content distribution system, content distribution method, and content distribution program
JP6727388B1 (en) Class system, viewing terminal, information processing method and program
KR101757420B1 (en) The system for remote video communication and lecture based on interaction using transparent display
JP2021006977A (en) Content control system, content control method, and content control program
KR20220126660A (en) Method and System for Providing Low-latency Network for Metaverse Education Platform with AR Face-Tracking
JP2021086145A (en) Class system, viewing terminal, information processing method, and program
JP7465737B2 (en) Teaching system, viewing terminal, information processing method and program
KR20210097268A (en) Distance education system using virtual reality
US20240054736A1 (en) Adjustable Immersion Level for Content
JP6766228B1 (en) Distance education system
Torrejon et al. Panoramic audio and video: towards an immersive learning experience
JP6892478B2 (en) Content control systems, content control methods, and content control programs
JP2021009351A (en) Content control system, content control method, and content control program
JP2003219382A (en) Server for remote education system and the remote education system
JP6733027B1 (en) Content control system, content control method, and content control program
WO2023233849A1 (en) Information processing device, information processing method, and recording medium
US11979448B1 (en) Systems and methods for creating interactive shared playgrounds
AU2021103720A4 (en) Virtual reality learning and amusement system based on artificial intelligence (ai) and iot

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191128

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191128

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200630

R150 Certificate of patent or registration of utility model

Ref document number: 6727388

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250