JP2024057733A

JP2024057733A - Information processing device, information processing method, program, and terminal device

Info

Publication number: JP2024057733A
Application number: JP2022164588A
Authority: JP
Inventors: 伸寿高橋; 祐太入澤; 昂右吉田; 浩司福田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2022-10-13
Filing date: 2022-10-13
Publication date: 2024-04-25

Abstract

【課題】受講者の受講態度をチェックポイントで監視することにより、システムの負荷を小さくすることにある。【解決手段】情報処理装置は、端末装置で再生する講習動画に、あらかじめ設定されたチェックポイントにおいて、端末装置から送信された、端末装置により撮像された受講者の生体画像を用いて、受講者の受講態度を表す指標を算出する算出部と、算出した指標を用いて、指標の低下を表す指標低下範囲と、端末装置で再生している講習動画を操作するための操作情報と、が関連付けられた講習動画操作情報を参照し、算出した指標に対応する操作情報を選択する選択部と、を有する。【選択図】図１[Problem] To reduce the load on the system by monitoring the attitude of students at checkpoints. [Solution] An information processing device has a calculation unit that calculates an index representing the attitude of students at a training video played on a terminal device at a checkpoint set in advance, using a biometric image of the student captured by the terminal device and transmitted from the terminal device, and a selection unit that uses the calculated index to refer to training video operation information that associates an index decline range that represents a decline in the index and operation information for operating the training video being played on the terminal device, and selects operation information that corresponds to the calculated index. [Selected Figure] Figure 1

Description

本開示は、オンライン講習を監視する情報処理装置、情報処理方法、プログラム、及び端末装置に関する。 This disclosure relates to an information processing device, an information processing method, a program, and a terminal device for monitoring online courses.

オンライン講習では、受講者は、端末装置（例えば、スマホ、タブレット、パーソナルコンピュータなど）を使用して専用サイトにアクセスし、講習動画を視聴することで、講習を受講する。また、受講者が受講したことを確認するために、受講開始直前と受講直後に、端末装置に搭載されている撮像装置を用いて、受講者に、本人の顔画像を撮像させ、撮像された受講者の顔画像と、あらかじめ記憶されている受講者の顔画像とを用いて、本人認証処理を実施している。 In online courses, students access a dedicated website using a terminal device (e.g., a smartphone, tablet, personal computer, etc.) and take the course by watching the course video. In addition, to confirm that the student has taken the course, the student is asked to capture an image of his/her face using an imaging device installed in the terminal device immediately before the start of the course and immediately after the course begins, and identity authentication processing is performed using the captured facial image of the student and a pre-stored facial image of the student.

ところが、上述した受講確認処理では、受講者が講習動画を視聴していなくても、講習動画を全て再生したことが検知できれば、受講者が講習を受講したと判定してしまう。 However, in the above-mentioned attendance confirmation process, if it is detected that the entire training video has been played, it is determined that the student has attended the training even if he or she has not watched the training video.

関連する技術として特許文献１には、インターネット講義管理装置が開示されている。特許文献１のインターネット講義管理装置によれば、受講者の受講態度を、複数の測定機器を用いて測定し、測定結果に基づいて受講生の受講態度（集中度）を検出している。測定機器は、受講生の視線、脳波、血圧、音声、書き取り能力などを測定する。 As a related technique, Patent Document 1 discloses an internet lecture management device. According to the internet lecture management device in Patent Document 1, the lecture attitude of students is measured using multiple measuring devices, and the lecture attitude (degree of concentration) of students is detected based on the measurement results. The measuring devices measure the students' line of sight, brainwaves, blood pressure, voice, writing ability, etc.

特開２００４－３０１９５２号公報JP 2004-301952 A

しかしながら、特許文献１のインターネット講義管理装置では、インターネット講義（オンライン講習）を受講する受講者に対して、常時、複数の専用の測定機器を用いて受講態度（集中度）を検出している。 However, the Internet lecture management device in Patent Document 1 constantly detects the attendance behavior (degree of concentration) of students taking Internet lectures (online courses) using multiple dedicated measuring devices.

本開示の目的の一例は、受講者の受講態度をチェックポイントで監視することにより、システムの負荷を小さくすることにある。 One example of the objective of this disclosure is to reduce the load on the system by monitoring the student's behavior at checkpoints.

上記目的を達成するため、本開示の一側面における情報処理装置は、
端末装置で再生する講習動画に、あらかじめ設定されたチェックポイントにおいて、前記端末装置から送信された、前記端末装置により撮像された受講者の生体画像を用いて、前記受講者の受講態度を表す指標を算出する算出部と、
算出した前記指標を用いて、前記指標の低下を表す指標低下範囲と、前記端末装置で再生している前記講習動画を操作するための操作情報と、が関連付けられた講習動画操作情報を参照し、算出した前記指標に対応する操作情報を選択する選択部と、
を有することを特徴とする。 In order to achieve the above object, an information processing device according to one aspect of the present disclosure includes:
a calculation unit that calculates an index representing the attendance attitude of a student by using a biometric image of the student captured by the terminal device and transmitted from the terminal device at a checkpoint set in advance in a training video played on the terminal device;
A selection unit that uses the calculated index to refer to training video operation information in which an index drop range that indicates a drop in the index and operation information for operating the training video being played on the terminal device are associated, and selects operation information that corresponds to the calculated index;
The present invention is characterized by having the following.

また、上記目的を達成するため、本開示の一側面における情報処理方法は、
コンピュータが、
端末装置で再生する講習動画に、あらかじめ設定されたチェックポイントにおいて、前記端末装置から送信された、前記端末装置により撮像された受講者の生体画像を用いて、前記受講者の受講態度を表す指標を算出し、
算出した前記指標を用いて、前記指標の低下を表す指標低下範囲と、前記端末装置で再生している前記講習動画を操作するための操作情報と、が関連付けられた講習動画操作情報を参照し、算出した前記指標に対応する操作情報を選択する、
ことを特徴とする。 In order to achieve the above object, an information processing method according to one aspect of the present disclosure includes:
The computer
Calculating an index representing the attendance attitude of the student using a biometric image of the student captured by the terminal device and transmitted from the terminal device at a checkpoint set in advance in the training video being played on the terminal device;
Using the calculated index, refer to training video operation information in which an index drop range indicating the drop in the index and operation information for operating the training video being played on the terminal device are associated, and select operation information corresponding to the calculated index.
It is characterized by:

また、上記目的を達成するため、本開示の一側面におけるプログラムは、
コンピュータに、
端末装置で再生する講習動画に、あらかじめ設定されたチェックポイントにおいて、前記端末装置から送信された、前記端末装置により撮像された受講者の生体画像を用いて、前記受講者の受講態度を表す指標を算出させ、
算出した前記指標を用いて、前記指標の低下を表す指標低下範囲と、前記端末装置で再生している前記講習動画を操作するための操作情報と、が関連付けられた講習動画操作情報を参照し、算出した前記指標に対応する操作情報を選択させる、
ことを特徴とする。 In order to achieve the above object, a program according to one aspect of the present disclosure includes:
On the computer,
Calculating an index representing the attitude of the student at a training video played on a terminal device at a checkpoint set in advance, using a biometric image of the student captured by the terminal device and transmitted from the terminal device;
Using the calculated index, reference is made to training video operation information in which an index drop range indicating the drop in the index and operation information for operating the training video being played on the terminal device are associated, and operation information corresponding to the calculated index is selected.
It is characterized by:

さらに、上記目的を達成するため、本開示の一側面における端末装置は、
講習動画を再生する再生手段と、
前記講習動画の再生中に、あらかじめ設定されたチェックポイントを検出した場合、前記チェックポイントを検出した後、受講者の生体画像を、通信手段を介して情報処理装置へ送信する検出手段と、
前記受講者の受講態度を表す指標が低下した場合、前記情報処理装置から送信される操作情報に基づいて、前記受講態度を改めることを促す通知を出力手段に出力する操作手段と、
を有することを特徴とする。 Furthermore, in order to achieve the above object, a terminal device according to one aspect of the present disclosure includes:
A playback means for playing the training video;
a detection means for transmitting a biometric image of the student to an information processing device via a communication means after detecting a checkpoint set in advance during playback of the training video;
an operation means for outputting, to an output means, a notification prompting the student to improve his/her attitude toward the course, based on operation information transmitted from the information processing device, when an index representing the student's attitude toward the course has decreased;
The present invention is characterized by having the following.

以上のように本開示によれば、受講者の受講態度をチェックポイントで監視することにより、システムの負荷を小さくすることができる。 As described above, according to the present disclosure, the load on the system can be reduced by monitoring the student's behavior at checkpoints.

図１は、情報処理装置の一例を説明するための図である。FIG. 1 is a diagram illustrating an example of an information processing apparatus. 図２は、情報処理装置を有するシステムの一例を説明するための図である。FIG. 2 is a diagram illustrating an example of a system having an information processing device. 図３は、講習動画操作情報のデータ構造の一例を説明するための図である。FIG. 3 is a diagram for explaining an example of the data structure of the training video operation information. 図４は、情報処理装置の動作の一例を説明するための図である。FIG. 4 is a diagram illustrating an example of the operation of the information processing device. 図５は、端末装置の動作の一例を説明するための図である。FIG. 5 is a diagram for explaining an example of the operation of the terminal device. 図６は、実施形態における情報処理装置を実現するコンピュータの一例を説明するための図である。FIG. 6 is a diagram illustrating an example of a computer that realizes the information processing device in the embodiment.

以下、図面を参照して実施形態について説明する。なお、以下で説明する図面において、同一の機能又は対応する機能を有する要素には同一の符号を付し、その繰り返しの説明は省略することもある。 The following describes the embodiments with reference to the drawings. In the drawings described below, elements having the same or corresponding functions are given the same reference numerals, and repeated description of such elements may be omitted.

（実施形態）
図１を用いて、実施形態における情報処理装置１０の構成について説明する。図１は、情報処理装置の一例を説明するための図である。 (Embodiment)
The configuration of an information processing device 10 according to an embodiment will be described with reference to Fig. 1. Fig. 1 is a diagram for explaining an example of an information processing device.

［装置構成］
情報処理装置１０は、オンライン講習の受講者の受講態度を、あらかじめ設定されたチェックポイントにおいて監視することで、システムの負荷を小さくする。情報処理装置１０は、算出部１１と、選択部１２とを有する。情報処理装置１０は、端末装置２０と、ネットワーク３０を介して接続されている。 [Device configuration]
The information processing device 10 reduces the load on the system by monitoring the attendance attitude of a student of an online course at a preset checkpoint. The information processing device 10 has a calculation unit 11 and a selection unit 12. The information processing device 10 is connected to a terminal device 20 via a network 30.

算出部１１は、端末装置２０で再生される講習動画に、あらかじめ設定されたチェックポイントにおいて、端末装置２０から送信された、端末装置２０により撮像された受講者の生体画像を用いて、受講者の受講態度を表す指標を算出する。 The calculation unit 11 calculates an index representing the participant's attitude toward the training using biometric images of the participant captured by the terminal device 20 and transmitted from the terminal device 20 at a pre-set checkpoint in the training video being played on the terminal device 20.

講習動画は、オンライン講習で用いる動画である。講習動画は、オンライン講習を開催する開催者が有するサーバコンピュータ、データベースなどに記憶されている。講習動画は、受講者の端末装置２０を用いて、ネットワーク３０を介して、上述したサーバコンピュータ、データベースなどから取得する。なお、講習動画は、情報処理装置１０に記憶してもよい。 The training video is a video used in an online training course. The training video is stored in a server computer, database, etc. owned by the organizer of the online training course. The training video is obtained from the above-mentioned server computer, database, etc. via the network 30 using the participant's terminal device 20. The training video may also be stored in the information processing device 10.

オンライン講習とは、例えば、オンライン上で開催される講習、研修などである。なお、実施形態では、説明を分かり易くすらため、一例として優良運転者が運転免許の更新の際に利用するオンライン講習について説明する。 An online course is, for example, a course or training session held online. In the embodiment, in order to make the explanation easier to understand, an online course used by good drivers when renewing their driver's license will be explained as an example.

チェックポイントは、講習動画の再生時間内（講習動画の全部の再生期間）、又は、講習動画のうち受講者に見てほしい部分の動画の再生時間内（講習動画の一部の再生期間）に設定する。具体的には、講習動画の全部の再生期間、又は、講習動画の一部の再生期間に、チェックポイントを一つ以上設定する。 Checkpoints are set within the playback time of the training video (the entire playback period of the training video), or within the playback time of the portion of the training video that you want the students to watch (the playback period of a portion of the training video). Specifically, one or more checkpoints are set within the entire playback period of the training video, or within the playback period of a portion of the training video.

なお、チェックポイントは、例えば、講習動画の全部の再生期間、又は、講習動画の一部の再生期間に、一定間隔又はランダムに設定してもよい。 Checkpoints may be set, for example, at regular intervals or randomly during the entire playback period of the training video or during the playback period of only a portion of the training video.

さらに、チェックポイントが固定（一定間隔、あらかじめ決められた箇所）である場合、チェックポイントと別に、ランダムにダミーポイントを設定してもよい。ダミーポイントは、端末装置２０が情報処理装置１０にダミーデータを送信するポイントである。 Furthermore, if the checkpoints are fixed (at regular intervals, at predetermined locations), dummy points may be set randomly in addition to the checkpoints. Dummy points are points at which the terminal device 20 transmits dummy data to the information processing device 10.

ダミーデータを送信する理由は、チェックポイントが設定されていることが、受講前に受講者に知られてしまうと、チェックポイント以外の期間において、受講者が受講していない可能性、又は、受講者の受講態度が悪くなる可能性があるからである。受講態度が悪くなるとは、例えば、受講以外の作業をしている、居眠り、撮像装置の前に本人の写真などを置いて退席していることなどが考えられる。 The reason for sending dummy data is that if the student knows before taking the class that checkpoints have been set, there is a possibility that the student may not attend the class during periods other than the checkpoints, or that the student's attitude may deteriorate. Poor attitude could mean, for example, that the student is doing work other than attending the class, falling asleep, or leaving a photo of themselves in front of the imaging device before leaving the class.

そこで、端末装置２０に、チェックポイント以外にも、ランダムなタイミングで、ダミーデータを情報処理装置１０に送信させる。又は、常時、又は、ランダムなタイミングで、端末装置２０に、ダミーデータを情報処理装置１０に送信している振りをさせてもよい。 Therefore, the terminal device 20 may be made to transmit dummy data to the information processing device 10 at random times other than at checkpoints. Alternatively, the terminal device 20 may be made to pretend to transmit dummy data to the information processing device 10 all the time or at random times.

受講態度を表す指標とは、例えば、受講者の受講時の集中度、覚醒度、緊張度などを用いる。なお、受講態度を表す指標は、集中度、覚醒度、緊張度のいずれか一つ以上を用いる。なお、集中度、覚醒度、緊張度は、既存の方法を用いて算出する。受講態度を表す指標の詳細については後述する。 The indicators representing the attitude towards the class may be, for example, the level of concentration, alertness, or tension of the student while taking the class. The indicators representing the attitude towards the class may be one or more of the following: level of concentration, alertness, or tension. The levels of concentration, alertness, and tension are calculated using existing methods. Details of the indicators representing the attitude towards the class will be described later.

選択部１２は、算出した受講態度を表す指標を用いて、指標が低下を表す指標低下範囲と、端末装置２０で再生している講習動画を操作するための操作情報と、が関連付けられた講習動画操作情報を参照し、算出した受講態度を表す指標に対応する操作情報を選択する。 The selection unit 12 uses the calculated index representing the attitude toward the student to refer to the training video operation information that associates the index decline range that indicates a decline in the index and operation information for operating the training video being played on the terminal device 20, and selects operation information that corresponds to the calculated index representing the attitude toward the student.

操作情報は、受講態度を表す指標が低下した場合、端末装置２０の不図示の出力部に、受講者に受講態度を改めることを促す通知を出力（通知画像を表示、又は、通知音声を出力、又はそれら両方）させる情報である。また、操作情報は、受講態度を表す指標が低下した場合、端末装置２０に、再生中の講習動画を停止させる情報である。さらに、操作情報は、受講態度が低下した場合、端末装置２０に、受講態度が低下したチェックポイントより前の時点から再生させる情報である。 The operation information is information that, when an indicator representing the attendance attitude drops, causes an output unit (not shown) of the terminal device 20 to output a notification (display a notification image, or output a notification sound, or both) encouraging the student to improve their attendance attitude. In addition, the operation information is information that, when an indicator representing the attendance attitude drops, causes the terminal device 20 to stop the lecture video being played. In addition, the operation information is information that, when an indicator representing the attendance attitude drops, causes the terminal device 20 to play the lecture video from a point before the checkpoint at which the attendance attitude dropped.

上述したように実施形態においては、複数の専用の測定機器を用いず、生体画像だけを用いて受講態度を表す指標を算出することができる。 As described above, in the embodiment, an index representing class attitude can be calculated using only biometric images, without using multiple dedicated measuring devices.

また、端末装置２０は、講習動画の再生を開始した後、チェックポイントにおいてだけ生体画像を情報処理装置１０に送信するので、システムの負荷を小さくすることができる。ここで、システムの負荷は、例えば、端末装置２０と情報処理装置１０との間の通信トラフィックなどである。また、システムの負荷は、例えば、情報処理装置１０にて受講態度を算出する処理を行う際のＣＰＵ、メモリ、ディスクの使用率の上昇などである。 In addition, since the terminal device 20 transmits the biometric image to the information processing device 10 only at checkpoints after starting playback of the training video, the load on the system can be reduced. Here, the load on the system is, for example, the communication traffic between the terminal device 20 and the information processing device 10. In addition, the load on the system is, for example, an increase in the usage rate of the CPU, memory, and disk when the information processing device 10 performs a process to calculate the attendance attitude.

［システム構成］
図２を用いて、実施形態における情報処理装置１０について具体的に説明する。図２は、情報処理装置を有するシステムの一例を説明するための図である。図２の例では、システム１００は、情報処理装置１０と、端末装置２０と、ネットワーク３０とを有する。 [System configuration]
The information processing device 10 in the embodiment will be specifically described with reference to Fig. 2. Fig. 2 is a diagram for explaining an example of a system having the information processing device. In the example of Fig. 2, the system 100 has the information processing device 10, a terminal device 20, and a network 30.

情報処理装置１０は、例えば、ＣＰＵ（Central Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）などのプログラマブルなデバイス、又はＧＰＵ（Graphics Processing Unit）、又はそれらのうちのいずれか一つ以上を搭載した回路、サーバコンピュータなどの装置である。 The information processing device 10 is, for example, a CPU (Central Processing Unit), a programmable device such as an FPGA (Field-Programmable Gate Array), a GPU (Graphics Processing Unit), or a circuit equipped with one or more of these, a server computer, or other device.

端末装置２０は、例えば、ＣＰＵ、又はＦＰＧＡなどのプログラマブルなデバイス、又はＧＰＵ、又はそれらのうちのいずれか一つ以上を搭載した回路、パーソナルコンピュータ、タブレット、スマートフォンなどの装置である。 The terminal device 20 is, for example, a CPU, a programmable device such as an FPGA, a GPU, or a circuit equipped with one or more of these, a personal computer, a tablet, a smartphone, or other device.

端末装置２０は、端末装置２０が有する不図示の出力部（例えば、モニタ、スピーカなど）に画像及び音声などを出力する。モニタは、例えば、液晶、有機ＥＬ（Electro Luminescence）などの表示部である。 The terminal device 20 outputs images, sounds, etc. to an output unit (e.g., a monitor, a speaker, etc.) not shown in the figure that the terminal device 20 has. The monitor is, for example, a display unit such as a liquid crystal or an organic EL (Electro Luminescence).

ネットワーク３０は、例えば、インターネット、ＬＡＮ（Local Area Network）、専用回線、電話回線、企業内ネットワーク、移動体通信網、ブルートゥース（登録商標）、ＷｉＦｉ（Wireless Fidelity）などの通信回線を用いて構築された一般的な通信ネットワークである。 Network 30 is a general communication network constructed using communication lines such as the Internet, a LAN (Local Area Network), a dedicated line, a telephone line, an in-house network, a mobile communication network, Bluetooth (registered trademark), and Wi-Fi (Wireless Fidelity).

情報処理装置について詳細に説明する。
情報処理装置１０は、通信部１３と、算出部１１と、選択部１２とを有する。 The information processing device will now be described in detail.
The information processing device 10 includes a communication unit 13 , a calculation unit 11 , and a selection unit 12 .

通信部１３は、ネットワーク３０を介して、端末装置２０の通信部２６と通信をする。具体的には、通信部１３は、チェックポイントごとに、端末装置２０の通信部２６から送信される生体画像（受講者の顔を含む複数の画像又は動画）を受信する。 The communication unit 13 communicates with the communication unit 26 of the terminal device 20 via the network 30. Specifically, the communication unit 13 receives biometric images (multiple images or videos including the student's face) sent from the communication unit 26 of the terminal device 20 at each checkpoint.

なお、端末装置２０は、生体画像を送信する場合、圧縮処理、又は暗号化処理、又は両方をしてから、情報処理装置１０に送信してもよい。 When transmitting a biometric image, the terminal device 20 may compress or encrypt the image, or both, before transmitting the image to the information processing device 10.

算出部１１は、通信部１３が受信した生体画像を用いて、受講者の受講態度を表す指標を算出する。具体的には、算出部１１は、受講態度を表す指標として、（１）集中度、（２）覚醒度、（３）緊張度を全て算出する。又は、算出部１１は、（１）集中度、（２）覚醒度、（３）緊張度のいずれか一つ以上を算出する。 The calculation unit 11 calculates an index representing the student's attitude toward the class using the biometric image received by the communication unit 13. Specifically, the calculation unit 11 calculates all of (1) concentration level, (2) alertness level, and (3) tension level as indices representing the student's attitude toward the class. Alternatively, the calculation unit 11 calculates one or more of (1) concentration level, (2) alertness level, and (3) tension level.

（１）集中度の算出方法
受講態度を表す指標として集中度を用いる場合、算出部１１は、複数の生体画像を用いて、画像処理により、受講者の視線の向きを推定し、推定した視線に基づいて集中度を決定する。具体的には、推定した視線が、端末装置２０の不図示の表示部（モニタ）の方向を向いている場合、集中度を高くする。端末装置２０の表示部（モニタ）の方向を向いていない場合、集中度を低くする。 (1) Method of Calculating Concentration Degree When the concentration degree is used as an index representing the attendance attitude, the calculation unit 11 uses multiple biometric images to estimate the direction of the student's gaze by image processing, and determines the concentration degree based on the estimated gaze. Specifically, if the estimated gaze is directed toward the display unit (monitor) (not shown) of the terminal device 20, the concentration degree is increased. If the estimated gaze is not directed toward the display unit (monitor) of the terminal device 20, the concentration degree is decreased.

又は、算出部１１は、複数の生体画像を用いて、画像処理により、受講者の視線の向きを推定し、推定した視線のうち、端末装置２０の表示部（モニタ）の方向を向いている視線の数を算出し、算出した視線の数に応じて集中度を決定する。すなわち、端末装置２０の表示部（モニタ）の方向を向いている視線の数が多いほど集中度を高くする。 Alternatively, the calculation unit 11 uses multiple biometric images to estimate the direction of the gaze of the students through image processing, calculates the number of gazes that are directed toward the display unit (monitor) of the terminal device 20 among the estimated gazes, and determines the concentration level according to the calculated number of gazes. In other words, the more gazes that are directed toward the display unit (monitor) of the terminal device 20, the higher the concentration level is set.

なお、集中度の算出方法は、上述した方法に限定されるものでなく、生体画像から集中度を算出できる方法であればよい。 The method for calculating the concentration level is not limited to the above-mentioned method, and any method that can calculate the concentration level from a biometric image may be used.

（２）覚醒度の算出方法
受講態度を表す指標として覚醒度を用いる場合、算出部１１は、複数の生体画像を用いて、画像処理により、受講者の瞼の開閉を推定し、推定した瞼の開閉の程度に基づいて覚醒度を決定する。具体的には、瞼が閉じている又は閉じそうなほど（開眼度が低い場合）、覚醒度を低くする。瞼が開いているほど（開眼度が高い場合）、覚醒度を高くする。 (2) Calculation method of awakening level When the awakening level is used as an index representing the student's attitude toward the class, the calculation unit 11 uses multiple biometric images to estimate the opening and closing of the student's eyelids through image processing, and determines the awakening level based on the estimated degree of opening and closing of the eyelids. Specifically, the more the eyelids are closed or about to be closed (low degree of eye opening), the lower the awakening level is set. The more the eyelids are open (high degree of eye opening), the higher the awakening level is set.

又は、算出部１１は、複数の生体画像を用いて、画像処理により、受講者の瞼の開閉を推定し、推定した瞼の開閉に基づいて瞬きの数を算出する。次に、算出部１１は、算出した瞬きの数に応じて覚醒度を決定する。すなわち、具体的には、瞬きの数が少ない（眠気が弱い）ほど、覚醒度を高くし、瞬きの数が多い（眠気が強い）ほど、覚醒度を低くする。 Alternatively, the calculation unit 11 uses multiple biometric images to estimate the opening and closing of the eyelids of the participant through image processing, and calculates the number of blinks based on the estimated opening and closing of the eyelids. Next, the calculation unit 11 determines the level of alertness according to the calculated number of blinks. That is, specifically, the lower the number of blinks (weak drowsiness), the higher the level of alertness, and the higher the number of blinks (strong drowsiness), the lower the level of alertness.

なお、覚醒度の算出方法は、上述した方法に限定されるものでなく、生体画像から覚醒度を算出できる方法であればよい。 The method for calculating the level of alertness is not limited to the above-mentioned method, and any method that can calculate the level of alertness from a biometric image may be used.

（３）緊張度の算出方法
受講態度を表す指標として緊張度を用いる場合、算出部１１は、複数の生体画像を用いて、画像処理により、受講者の顔表面のＲＧＢ成分のうちのＧ成分（緑）を用いて脈拍数を推定し、推定した脈拍数に基づいて緊張度を決定する。具体的には、脈拍数が少ないほど、緊張度を低くする。脈拍数が高いほど、緊張度を高くする。 (3) Method of calculating tension When the tension is used as an index of the student's attitude, the calculation unit 11 uses a plurality of biometric images and performs image processing to estimate the pulse rate using the G component (green) of the RGB components of the student's face surface, and determines the tension level based on the estimated pulse rate. Specifically, the lower the pulse rate, the lower the tension level. The higher the pulse rate, the higher the tension level.

なお、緊張度の算出方法は、上述した方法に限定されるものでなく、生体画像から緊張度を算出できる方法であればよい。 The method for calculating the tension level is not limited to the above-mentioned method, and any method that can calculate the tension level from a biometric image may be used.

選択部１２は、受講者の受講態度を表す指標（集中度、覚醒度、緊張度のいずれか一つ以上）を用いて、講習動画操作情報を参照し、算出した指標に対応する操作情報を選択する。 The selection unit 12 refers to the training video operation information using an index that indicates the student's attitude toward the course (one or more of concentration level, alertness level, and tension level), and selects operation information that corresponds to the calculated index.

講習動画操作情報は、受講者の受講態度を表す指標の低下を表す指標低下範囲と、端末装置２０で再生している講習動画を操作するための操作情報と、が関連付けられた情報である。 The training video operation information is information that associates an index decline range that indicates a decline in an index that represents a student's attitude toward the course with operation information for operating the training video being played on the terminal device 20.

図３は、講習動画操作情報のデータ構造の一例を説明するための図である。図３の講習動画操作情報３１、３２、３３は、指標と、指標低下範囲と、操作情報とが関連付けられている。 Figure 3 is a diagram for explaining an example of the data structure of training video operation information. Training video operation information 31, 32, and 33 in Figure 3 associates an index, an index reduction range, and operation information.

講習動画操作情報３１では、指標「集中度」と、指標低下範囲「Ｃｏｎ＜ＣｏｎＴｈ１」と、操作情報「ｏｐ１」とが関連付けられている。算出した集中度Ｃｏｎが集中度閾値ＣｏｎＴｈ１より低下した場合（集中度が低下した場合）、情報処理装置１０は、受講態度を改めることを促す通知を出力させるための操作情報ｏｐ１を、通信部１３を介して端末装置２０に送信する。 In the training video operation information 31, the index "concentration level", the index decrease range "Con < ConTh1", and the operation information "op1" are associated. When the calculated concentration level Con falls below the concentration level threshold ConTh1 (when the concentration level decreases), the information processing device 10 transmits the operation information op1 for outputting a notification encouraging the student to improve their attitude toward the class to the terminal device 20 via the communication unit 13.

また、講習動画操作情報３１では、指標「覚醒度」と、指標低下範囲「Ａｌｅ＜ＡｌｅＴｈ１」と、操作情報「ｏｐ１」とが関連付けられている。算出した覚醒度Ａｌｅが覚醒度閾値ＡｌｅＴｈ１より低下した場合（覚醒度が低下した場合）、情報処理装置１０は、受講態度を改めることを促す通知を出力させるための操作情報ｏｐ１を、通信部１３を介して端末装置２０に送信する。 In addition, in the training video operation information 31, the index "alertness", the index decrease range "Ale<AleTh1", and the operation information "op1" are associated. When the calculated alertness Ale falls below the alertness threshold AleTh1 (when alertness falls), the information processing device 10 transmits operation information op1 for outputting a notification encouraging the student to improve their attitude toward the class to the terminal device 20 via the communication unit 13.

また、講習動画操作情報３１では、指標「緊張度」と、指標低下範囲「Ｔｅｎ＜ＴｅｎＴｈ１」と、操作情報「ｏｐ１」とが関連付けられている。算出した緊張度Ｔｅｎが緊張度閾値ＴｅｎＴｈ１より低下した場合（緊張度が低下した場合）、情報処理装置１０は、受講態度を改めることを促す通知を出力させるための操作情報ｏｐ１を、通信部１３を介して端末装置２０に送信する。 In addition, in the training video operation information 31, the index "tension level", the index decrease range "Ten < TenTh1", and the operation information "op1" are associated. When the calculated tension level Ten falls below the tension level threshold TenTh1 (when the tension level decreases), the information processing device 10 transmits the operation information op1 to the terminal device 20 via the communication unit 13 for outputting a notification encouraging the student to improve their attitude toward the class.

講習動画操作情報３２では、指標「集中度」と、指標低下範囲「Ｃｏｎ＜ＣｏｎＴｈ２」と、操作情報「ｏｐ２」とが関連付けられている。算出した集中度Ｃｏｎが集中度閾値ＣｏｎＴｈ２（＜ＣｏｎＴｈ１）より低下した場合（集中度が低下した場合）、情報処理装置１０は、再生中の講習動画を停止させるための操作情報ｏｐ２を、通信部１３を介して端末装置２０に送信する。 In the training video operation information 32, the index "concentration level", the index decrease range "Con<ConTh2", and the operation information "op2" are associated. When the calculated concentration level Con falls below the concentration level threshold ConTh2 (<ConTh1) (when the concentration level decreases), the information processing device 10 transmits operation information op2 for stopping the training video being played to the terminal device 20 via the communication unit 13.

また、講習動画操作情報３２では、指標「覚醒度」と、指標低下範囲「Ａｌｅ＜ＡｌｅＴｈ２」と、操作情報「ｏｐ２」とが関連付けられている。算出した覚醒度Ａｌｅが覚醒度閾値ＡｌｅＴｈ２（＜ＡｌｅＴｈ１）より低下した場合（覚醒度が低下した場合）、情報処理装置１０は、再生中の講習動画を停止させるための操作情報ｏｐ２を、通信部１３を介して端末装置２０に送信する。 In addition, in the training video operation information 32, the index "alertness", the index decrease range "Ale<AleTh2", and the operation information "op2" are associated. When the calculated alertness Ale falls below the alertness threshold AleTh2 (<AleTh1) (when the alertness decreases), the information processing device 10 transmits the operation information op2 for stopping the training video being played to the terminal device 20 via the communication unit 13.

また、講習動画操作情報３２では、指標「緊張度」と、指標低下範囲「Ｔｅｎ＜ＴｅｎＴｈ２」と、操作情報「ｏｐ２」とが関連付けられている。算出した緊張度Ｔｅｎが緊張度閾値ＴｅｎＴｈ２（＜ＴｅｎＴｈ１）より低下した場合（緊張度が低下した場合）、情報処理装置１０は、再生中の講習動画を停止させるための操作情報ｏｐ２を、通信部１３を介して端末装置２０に送信する。 In addition, in the training video operation information 32, the index "tension level", the index decrease range "Ten < TenTh2", and the operation information "op2" are associated. When the calculated tension level Ten falls below the tension level threshold TenTh2 (< TenTh1) (when the tension level decreases), the information processing device 10 transmits operation information op2 for stopping the training video being played to the terminal device 20 via the communication unit 13.

講習動画操作情報３３では、指標「集中度」と、指標低下範囲「Ｃｏｎ＜ＣｏｎＴｈ３」と、操作情報「ｏｐ３」とが関連付けられている。算出した集中度Ｃｏｎが集中度閾値ＣｏｎＴｈ３（＜ＣｏｎＴｈ２）より低下した場合（集中度が低下した場合）、情報処理装置１０は、指標が低下したチェックポイントより前の時点から講習動画を再生させるための操作情報ｏｐ３を、通信部１３を介して端末装置２０に送信する。 In the training video operation information 33, the index "concentration level", the index drop range "Con<ConTh3", and the operation information "op3" are associated. When the calculated concentration level Con drops below the concentration level threshold ConTh3 (<ConTh2) (when the concentration level drops), the information processing device 10 transmits operation information op3 for playing the training video from a point before the checkpoint where the index dropped to the terminal device 20 via the communication unit 13.

また、講習動画操作情報３３では、指標「覚醒度」と、指標低下範囲「Ａｌｅ＜ＡｌｅＴｈ３」と、操作情報「ｏｐ３」とが関連付けられている。算出した覚醒度Ａｌｅが覚醒度閾値ＡｌｅＴｈ３（＜ＡｌｅＴｈ２）より低下した場合（覚醒度が低下した場合）、情報処理装置１０は、指標が低下したチェックポイントより前の時点から講習動画を再生させるための操作情報ｏｐ３を、通信部１３を介して端末装置２０に送信する。 In addition, in the training video operation information 33, the index "alertness", the index drop range "Ale<AleTh3", and the operation information "op3" are associated. When the calculated alertness Ale drops below the alertness threshold AleTh3 (<AleTh2) (when alertness drops), the information processing device 10 transmits operation information op3 for playing the training video from a point before the checkpoint where the index dropped to the terminal device 20 via the communication unit 13.

また、講習動画操作情報３２では、指標「緊張度」と、指標低下範囲「Ｔｅｎ＜ＴｅｎＴｈ３」と、操作情報「ｏｐ３」とが関連付けられている。算出した緊張度Ｔｅｎが緊張度閾値ＴｅｎＴｈ３（＜ＴｅｎＴｈ２）より低下した場合（緊張度が低下した場合）、情報処理装置１０は、指標が低下したチェックポイントより前の時点から講習動画を再生させるための操作情報ｏｐ３を、通信部１３を介して端末装置２０に送信する。 In addition, in the training video operation information 32, the index "tension level", the index decrease range "Ten < TenTh3", and the operation information "op3" are associated. When the calculated tension level Ten falls below the tension level threshold TenTh3 (< TenTh2) (when the tension level has decreased), the information processing device 10 transmits the operation information op3 for playing the training video from a point before the checkpoint where the index decreased to the terminal device 20 via the communication unit 13.

端末装置について詳細に説明する。
端末装置２０は、撮像部２１と、設定部２２と、再生部２３と、検出部２４と、操作部２５と、通信部２６とを有する。撮像部２１は、例えば、端末装置２０に設けられているカメラなどである。 The terminal device will now be described in detail.
The terminal device 20 includes an imaging unit 21, a setting unit 22, a playback unit 23, a detection unit 24, an operation unit 25, and a communication unit 26. The imaging unit 21 is, for example, a camera provided in the terminal device 20.

設定部２２は、受講者の顔画像の位置を設定（キャリブレーション）する。具体的には、まず、端末装置２０は、キャリブレーションを受講者にさせるためのキャリブレーション指示情報を情報処理装置１０から受信する。 The setting unit 22 sets (calibrates) the position of the face image of the student. Specifically, first, the terminal device 20 receives calibration instruction information from the information processing device 10 to have the student perform calibration.

次に、設定部２２は、端末装置２０及びネットワーク３０のスペックが、オンライン講習を受講できるスペックであるか否かを判定する。 Next, the setting unit 22 determines whether the specifications of the terminal device 20 and the network 30 are sufficient to take the online course.

具体的には、設定部２２は、端末装置２０のスペック（処理性能、カメラ機能など）をチェックし、チェックした結果が、オンライン講習を受講可能なスペックに達していない場合、受講可能なスペックでないことを通知する画像を端末装置２０の表示部（モニタ）に表示する。上述した通知は、端末装置２０の不図示のスピーカから音声で通知してもよい。 Specifically, the setting unit 22 checks the specifications (processing performance, camera function, etc.) of the terminal device 20, and if the check result does not meet the specifications required to take the online course, an image is displayed on the display unit (monitor) of the terminal device 20 notifying that the specifications are not sufficient to take the course. The above-mentioned notification may be given by voice from a speaker (not shown) of the terminal device 20.

次に、設定部２２は、ネットワーク３０の通信速度をチェックし、チェックした結果が、通信速度が既定値以上である場合、受講可能なスペックでないことを通知する画像を端末装置２０の表示部（モニタ）に表示する。上述した通知は、端末装置２０のスピーカから音声で通知してもよい。 Next, the setting unit 22 checks the communication speed of the network 30, and if the communication speed is equal to or higher than a preset value, displays an image on the display unit (monitor) of the terminal device 20 notifying the user that the specifications are not sufficient for taking the course. The notification may be given by voice from the speaker of the terminal device 20.

次に、設定部２２は、上述したチェックした結果が、受講可能なスペックに達している場合、生体画像の顔画像の位置を決定する。具体的には、受講者ごとに受講環境が異なるので、受講者の受講態度を表す指標が精度よく算出できるように、生体画像の顔画像の位置が、あらかじめ設定されている適切な顔画像の位置にくるように、受講者に促す。 Next, if the result of the above check meets the specifications for taking the course, the setting unit 22 determines the position of the facial image of the biometric image. Specifically, since the attendance environment differs for each student, the student is prompted to position the facial image of the biometric image at a preset appropriate facial image position so that an index representing the student's attendance attitude can be calculated with high accuracy.

理由は、端末装置２０の種類により、カメラが設けられている位置、端末装置２０の設置の仕方が異なるので、受講者の顔が撮像できる位置、角度が、端末装置２０により異なるからである。また、照明条件により顔画像を上手く撮像できないことがあるからである。 The reason is that the position at which the camera is installed and the way in which the terminal device 20 is installed vary depending on the type of terminal device 20, so the position and angle at which the face of the participant can be captured differs depending on the terminal device 20. Also, depending on the lighting conditions, it may not be possible to capture a good facial image.

そこで、受講者に、受講者の受講態度を表す指標が精度よく算出できる位置に、受講者を誘導するための通知を、表示部（モニタ）に表示してもよい。端末装置２０は、例えば、「顔の位置を右に移動してください」などの表示、又は音声、又は両方を出力する。 Therefore, a notification may be displayed on the display unit (monitor) to guide the student to a position where an index representing the student's attitude toward the class can be calculated with high accuracy. The terminal device 20 outputs, for example, a display such as "Please move your face to the right," or a voice, or both.

再生部２３は、利用者が端末装置２０を用いて講習動画の再生を実行させると、ネットワーク３０を介して、上述した情報処理装置１０、又は情報処理装置１０以外のサーバコンピュータ、又はデータベースなどから講習動画を取得し再生する。なお、講習動画の再生は、ストリーミング再生でもよいし、講習動画を一括ダウンロードした後に再生してもよい。 When a user uses the terminal device 20 to execute playback of a training video, the playback unit 23 acquires the training video from the above-mentioned information processing device 10, or a server computer other than the information processing device 10, or a database, via the network 30, and plays the training video. Note that the training video may be played back by streaming playback, or the training videos may be downloaded in bulk and then played.

検出部２４は、講習動画の再生中に、チェックポイントを検出した場合、チェックポイントを検出した後、あらかじめ設定した期間（生体画像送信期間）に撮像した生体画像（受講者の顔を含む複数の画像又は動画）を、通信部２６を介して情報処理装置１０へ送信する。生体画像送信期間は、実験、シミュレーションなどにより決定する。 When the detection unit 24 detects a checkpoint during playback of the training video, it transmits biometric images (multiple images or videos including the participant's face) captured during a preset period (biometric image transmission period) after the checkpoint is detected to the information processing device 10 via the communication unit 26. The biometric image transmission period is determined by experiments, simulations, etc.

検出部２４は、講習動画の再生中に、ダミーポイントを検出した場合、ダミーポイントを検出した後、あらかじめ設定した期間（ダミーデータ送信期間）に、ダミーデータを、通信部２６を介して情報処理装置１０へ送信する。ダミーデータは、例えば、中身がない（データサイズが０バイトの）空ファイル、あるいは、端末装置２０から情報処理装置１０へ送信する生体画像データと概ね同じデータサイズのファイルである。 When the detection unit 24 detects a dummy point during playback of the training video, it transmits dummy data to the information processing device 10 via the communication unit 26 for a preset period (dummy data transmission period) after detecting the dummy point. The dummy data is, for example, an empty file with no content (data size of 0 bytes) or a file with approximately the same data size as the biometric image data transmitted from the terminal device 20 to the information processing device 10.

又は、検出部２４は、ダミーポイントを検出した場合、ダミーポイントを検出した後、ダミーデータ送信期間、通信部２６を介して情報処理装置１０へ送信する振りをする。データを送信する振りとは、例えば、データを添付せずに端末装置２０から情報処理装置１０へｐｉｎｇコマンドを発行するような処理である。 Alternatively, when the detection unit 24 detects a dummy point, it pretends to transmit data to the information processing device 10 via the communication unit 26 during the dummy data transmission period after detecting the dummy point. Pretending to transmit data is, for example, a process of issuing a ping command from the terminal device 20 to the information processing device 10 without attaching any data.

操作部２５は、情報処理装置１０から操作情報を取得すると、操作情報に基づいて操作を実行する。具体的には、操作部２５は、操作情報ｏｐ１を取得した場合、受講態度を改めることを促す通知画像を表示部（モニタ）に表示させる。また、操作部２５は、受講態度を改めることを促す音声をスピーカから出力する。さらに、操作部２５は、受講態度を改めることを促す通知画像と音声の両方を出力してもよい。 When the operation unit 25 acquires operation information from the information processing device 10, it executes an operation based on the operation information. Specifically, when the operation unit 25 acquires operation information op1, it causes the display unit (monitor) to display a notification image encouraging the student to improve their attitude toward the class. The operation unit 25 also outputs audio encouraging the student to improve their attitude toward the class from a speaker. Furthermore, the operation unit 25 may output both a notification image and audio encouraging the student to improve their attitude toward the class.

また、操作部２５は、操作情報ｏｐ２を取得した場合、再生中の講習動画を停止させる。さらに、操作部２５は、操作情報ｏｐ３を取得した場合、指標が低下したチェックポイントより前の時点から、再度、講習動画を再生させる。 When the operation unit 25 acquires operation information op2, it stops the training video being played. Furthermore, when the operation unit 25 acquires operation information op3, it plays the training video again from a point before the checkpoint where the index dropped.

通信部２６は、ネットワーク３０を介して、情報処理装置１０の通信部１３と通信をする。具体的には、通信部２６は、チェックポイントごとに、生体画像（受講者の顔を含む複数の画像又は動画）を情報処理装置１０の通信部１３に送信する。 The communication unit 26 communicates with the communication unit 13 of the information processing device 10 via the network 30. Specifically, the communication unit 26 transmits biometric images (multiple images or videos including the face of the participant) to the communication unit 13 of the information processing device 10 at each checkpoint.

通信部２６は、ダミーポイントごとに、ダミーデータを情報処理装置１０の通信部１３に送信してもよい。 The communication unit 26 may transmit dummy data to the communication unit 13 of the information processing device 10 for each dummy point.

なお、端末装置２０は、情報処理装置１０の処理負荷を軽減するため、生体画像（受講者の顔を含む複数の画像又は動画）の圧縮などの前処理を実行させることが望ましい。 In addition, in order to reduce the processing load on the information processing device 10, it is desirable for the terminal device 20 to perform preprocessing such as compression of biometric images (multiple images or videos including the participant's face).

また、端末装置２０は、漏洩を防止するため（プライバシー侵害を防ぐ）ため、生体画像の暗号化をしてから、情報処理装置１０に送信することが望ましい。 In addition, in order to prevent leakage (prevention of privacy), it is desirable for the terminal device 20 to encrypt the biometric image before transmitting it to the information processing device 10.

［装置動作］
実施形態における情報処理装置の動作について図４を用いて説明する。図４は、情報処理装置の動作の一例を説明するための図である。以下の説明においては、適宜図を参照する。また、実施形態では、情報処理装置を動作させることによって、情報処理方法が実施される。よって、実施形態における情報処理方法の説明は、以下の情報処理装置の動作説明に代える。 [Device Operation]
The operation of the information processing device in the embodiment will be described with reference to Fig. 4. Fig. 4 is a diagram for explaining an example of the operation of the information processing device. In the following description, the diagram will be referred to as appropriate. Also, in the embodiment, the information processing method is implemented by operating the information processing device. Therefore, the description of the information processing method in the embodiment will be replaced with the following description of the operation of the information processing device.

まず、端末装置２０が、キャリブレーションを完了した後、講習動画の再生を開始する。次に、端末装置２０がチェックポイントにおいて送信された生体画像（受講者の顔を含む複数の画像又は動画）を通信部１３が受信した場合（ステップＡ１：Ｙｅｓ）、ステップＡ１の処理を実行する。生体画像が受信できない場合（ステップＡ１：Ｎｏ）、生体画像の受信を待つ。生体画像が受信できない場合には、ダミーデータを受信した場合を含む。 First, the terminal device 20 starts playing the training video after completing calibration. Next, when the communication unit 13 receives a biometric image (multiple images or videos including the student's face) transmitted by the terminal device 20 at the checkpoint (step A1: Yes), the process of step A1 is executed. When the biometric image cannot be received (step A1: No), the terminal device 20 waits for the biometric image to be received. When the biometric image cannot be received, this includes the case where dummy data has been received.

次に、算出部１１は、受信した生体画像を用いて、受講者の受講態度を表す指標を算出する（ステップＡ２）。具体的には、ステップＡ２において、算出部１１は、受講態度を表す指標として、上述した（１）集中度、（２）覚醒度、（３）緊張度を全て算出する。又は、算出部１１は、（１）集中度、（２）覚醒度、（３）緊張度のいずれか一つ以上を算出する。 Next, the calculation unit 11 uses the received biometric image to calculate an index representing the student's attitude toward the class (step A2). Specifically, in step A2, the calculation unit 11 calculates all of the above-mentioned (1) concentration level, (2) alertness level, and (3) tension level as indexes representing the student's attitude toward the class. Alternatively, the calculation unit 11 calculates one or more of (1) concentration level, (2) alertness level, and (3) tension level.

次に、選択部１２は、受講者の受講態度を表す指標が低下していない場合（集中度、覚醒度、緊張度のすべてが低下していない場合）（ステップＡ３：Ｎｏ）、受講者は受講していると推定できるので、ステップＡ１に移行して、次の生体画像の受信を待つ。 Next, if the indicators representing the student's attitude toward the class have not decreased (if all of the concentration, alertness, and tension have not decreased) (Step A3: No), the selection unit 12 can assume that the student is attending the class, and so moves to Step A1 and waits for the next biometric image to be received.

また、選択部１２は、受講者の受講態度を表す指標が低下している場合（集中度、覚醒度、緊張度のいずれかが低下している場合）（ステップＡ３：Ｙｅｓ）、受講態度を表す指標（集中度、覚醒度、緊張度のいずれか一つ以上）を用いて、講習動画操作情報を参照し、算出した指標に対応する操作情報を選択する（ステップＡ４）。その後、選択部１２は、選択した操作情報を、通信部１３を介して端末装置２０に送信する（ステップＡ５）。 When an index representing the student's attitude toward the class has decreased (when any of the concentration level, alertness level, and tension level has decreased) (step A3: Yes), the selection unit 12 refers to the training video operation information using the index representing the student's attitude (one or more of the concentration level, alertness level, and tension level) and selects operation information corresponding to the calculated index (step A4). The selection unit 12 then transmits the selected operation information to the terminal device 20 via the communication unit 13 (step A5).

ステップ４において、算出した集中度Ｃｏｎが集中度閾値ＣｏｎＴｈ１より低下した場合（集中度が低下した場合）、選択部１２は、受講態度を改めることを促す通知を出力させるための操作情報ｏｐ１を、通信部１３を介して端末装置２０に送信する。 In step 4, if the calculated concentration level Con falls below the concentration level threshold ConTh1 (if the concentration level falls), the selection unit 12 transmits operation information op1 to the terminal device 20 via the communication unit 13 to output a notification encouraging the student to improve their attitude toward the class.

また、ステップ４において、算出した覚醒度Ａｌｅが覚醒度閾値ＡｌｅＴｈ１より低下した場合（覚醒度が低下した場合）、選択部１２は、受講態度を改めることを促す通知を出力させるための操作情報ｏｐ１を、通信部１３を介して端末装置２０に送信する。 In addition, in step 4, if the calculated level of alertness Ale falls below the alertness threshold AleTh1 (if the level of alertness falls), the selection unit 12 transmits operation information op1 to the terminal device 20 via the communication unit 13 to output a notification encouraging the student to change their attitude toward the class.

また、ステップ４において、算出した緊張度Ｔｅｎが緊張度閾値ＴｅｎＴｈ１より低下した場合（緊張度が低下した場合）、選択部１２は、受講態度を改めることを促す通知を出力させるための操作情報ｏｐ１を、通信部１３を介して端末装置２０に送信する。 In addition, in step 4, if the calculated tension level Ten falls below the tension level threshold TenTh1 (if the tension level falls), the selection unit 12 transmits operation information op1 to the terminal device 20 via the communication unit 13 to output a notification encouraging the student to change their attitude toward the class.

また、ステップ４において、算出した集中度Ｃｏｎが集中度閾値ＣｏｎＴｈ２（＜ＣｏｎＴｈ１）より低下した場合（集中度が低下した場合）、選択部１２は、再生中の講習動画を停止させるための操作情報ｏｐ２を、通信部１３を介して端末装置２０に送信する。 In addition, in step 4, if the calculated concentration level Con falls below the concentration level threshold ConTh2 (<ConTh1) (if the concentration level falls), the selection unit 12 transmits operation information op2 for stopping the training video being played to the terminal device 20 via the communication unit 13.

また、ステップ４において、算出した覚醒度Ａｌｅが覚醒度閾値ＡｌｅＴｈ２（＜ＡｌｅＴｈ１）より低下した場合（覚醒度が低下した場合）、選択部１２は、再生中の講習動画を停止させるための操作情報ｏｐ２を、通信部１３を介して端末装置２０に送信する。 In addition, in step 4, if the calculated level of alertness Ale falls below the alertness threshold AleTh2 (<AleTh1) (if the level of alertness falls), the selection unit 12 transmits operation information op2 for stopping the training video being played to the terminal device 20 via the communication unit 13.

また、ステップ４において、算出した緊張度Ｔｅｎが緊張度閾値ＴｅｎＴｈ２（＜ＴｅｎＴｈ１）より低下した場合（緊張度が低下した場合）、選択部１２は、再生中の講習動画を停止させるための操作情報ｏｐ２を、通信部１３を介して端末装置２０に送信する。 In addition, in step 4, if the calculated tension level Ten falls below the tension level threshold TenTh2 (<TenTh1) (if the tension level falls), the selection unit 12 transmits operation information op2 for stopping the training video being played to the terminal device 20 via the communication unit 13.

また、ステップ４において、算出した集中度Ｃｏｎが集中度閾値ＣｏｎＴｈ３（＜ＣｏｎＴｈ２）より低下した場合（集中度が低下した場合）、選択部１２は、指標が低下したチェックポイントより前の時点から講習動画を再生させるための操作情報ｏｐ３を、通信部１３を介して端末装置２０に送信する。 In addition, in step 4, if the calculated concentration level Con falls below the concentration level threshold ConTh3 (<ConTh2) (if the concentration level has decreased), the selection unit 12 transmits operation information op3 for playing the training video from a point before the checkpoint at which the index fell to the terminal device 20 via the communication unit 13.

また、ステップ４において、算出した覚醒度Ａｌｅが覚醒度閾値ＡｌｅＴｈ３（＜ＡｌｅＴｈ２）より低下した場合（覚醒度が低下した場合）、選択部１２は、指標が低下したチェックポイントより前の時点から講習動画を再生させるための操作情報ｏｐ３を、通信部１３を介して端末装置２０に送信する。 In addition, in step 4, if the calculated level of alertness Ale falls below the alertness threshold AleTh3 (<AleTh2) (if the level of alertness falls), the selection unit 12 transmits operation information op3 for playing the training video from a point before the checkpoint at which the index fell to the terminal device 20 via the communication unit 13.

また、ステップ４において、算出した緊張度Ｔｅｎが緊張度閾値ＴｅｎＴｈ３（＜ＴｅｎＴｈ２）より低下した場合（緊張度が低下した場合）、選択部１２は、指標が低下したチェックポイントより前の時点から講習動画を再生させるための操作情報ｏｐ３を、通信部１３を介して端末装置２０に送信する。 In addition, in step 4, if the calculated tension level Ten falls below the tension level threshold TenTh3 (<TenTh2) (if the tension level has decreased), the selection unit 12 transmits operation information op3 for playing the training video from a point before the checkpoint at which the index fell to the terminal device 20 via the communication unit 13.

情報処理装置１０は、上述したステップＡ１からＡ５の処理を、講習動画が再生されている期間実行する。 The information processing device 10 executes the above-mentioned steps A1 to A5 while the training video is being played.

次に、実施形態における端末装置の動作について図５を用いて説明する。図５は、端末装置の動作の一例を説明するための図である。以下の説明においては、適宜図を参照する。また、実施形態では、端末装置を動作させることによって、端末装置の処理が実施される。よって、実施形態における端末装置の処理方法の説明は、以下の端末装置の動作説明に代える。 Next, the operation of the terminal device in the embodiment will be described with reference to FIG. 5. FIG. 5 is a diagram for explaining an example of the operation of the terminal device. In the following description, the diagram will be referred to as appropriate. Also, in the embodiment, the processing of the terminal device is performed by operating the terminal device. Therefore, the description of the processing method of the terminal device in the embodiment will be replaced by the following description of the operation of the terminal device.

まず、キャリブレーションを完了した後、再生部２３は、講習動画の再生を開始する（ステップＢ１）。 First, after completing the calibration, the playback unit 23 starts playing the training video (step B1).

次に、検出部２４は、講習動画の再生中にチェックポイントを検出した場合（ステップＢ２：Ｙｅｓ）、生体画像送信期間（当該チェックポイントの時刻を含む、あらかじめ設定した期間）に撮像した生体画像（受講者の顔を含む複数の画像又は動画）を、通信部２６を介して情報処理装置１０へ送信する（ステップＢ３）。 Next, if the detection unit 24 detects a checkpoint during playback of the training video (step B2: Yes), it transmits biometric images (multiple images or videos including the participant's face) captured during the biometric image transmission period (a pre-set period including the time of the checkpoint) to the information processing device 10 via the communication unit 26 (step B3).

次は、検出部２４は、チェックポイントがない場合（ステップＢ２：Ｎｏ）、ダミーポイントを検出したか否かを判定する（ステップＢ４）。検出部２４は、ダミーポイントを検出した場合（ステップＢ４：Ｙｅｓ）、ダミーポイントを検出した後、ダミーデータ送信期間に、ダミーデータを、通信部２６を介して情報処理装置１０へ送信する（ステップＢ５）。検出部２４は、ダミーポイントを検出できない場合（ステップＢ４：Ｎｏ）、ステップＢ２に移行する。 Next, if there is no checkpoint (step B2: No), the detection unit 24 determines whether or not a dummy point has been detected (step B4). If the detection unit 24 detects a dummy point (step B4: Yes), after detecting the dummy point, the detection unit 24 transmits dummy data to the information processing device 10 via the communication unit 26 during the dummy data transmission period (step B5). If the detection unit 24 cannot detect a dummy point (step B4: No), it proceeds to step B2.

又は、ステップＢ４において、検出部２４は、ダミーポイントを検出した場合、ダミーポイントを検出した後、ステップＢ５において、ダミーデータ送信期間に、データを、通信部２６を介して情報処理装置１０へ送信する振りをしてもよい。 Alternatively, in step B4, if the detection unit 24 detects a dummy point, after detecting the dummy point, in step B5, during the dummy data transmission period, the detection unit 24 may pretend to transmit data to the information processing device 10 via the communication unit 26.

次に、操作部２５は、情報処理装置１０から操作情報を取得した場合（ステップＢ６：Ｙｅｓ）、操作情報に基づいて操作を実行する（ステップＢ７）。操作部２５は、操作情報を取得できない場合（ステップＢ６：Ｎｏ）、ステップＢ２に移行する。 Next, if the operation unit 25 acquires operation information from the information processing device 10 (step B6: Yes), the operation unit 25 executes an operation based on the operation information (step B7). If the operation unit 25 cannot acquire operation information (step B6: No), the operation unit 25 proceeds to step B2.

具体的には、ステップＢ７において、操作部２５は、操作情報ｏｐ１を取得した場合、受講態度を改めることを促す通知画像を表示部（モニタ）に表示させる。また、操作部２５は、受講態度を改めることを促す音声をスピーカから出力する。さらに、操作部２５は、受講態度を改めることを促す通知画像と音声の両方を出力してもよい。 Specifically, in step B7, when the operation unit 25 acquires the operation information op1, it causes the display unit (monitor) to display a notification image encouraging the student to improve their attitude toward the class. The operation unit 25 also outputs audio encouraging the student to improve their attitude toward the class from the speaker. Furthermore, the operation unit 25 may output both the notification image and audio encouraging the student to improve their attitude toward the class.

端末装置２０は、上述したステップＢ１からＢ７の処理を、講習動画が再生されている期間実行する。 The terminal device 20 executes the above-mentioned steps B1 to B7 while the training video is being played.

［実施形態の効果］
以上のように実施形態によれば、複数の専用の測定機器を用いず、生体画像だけを用いて受講態度を表す指標を算出することができる。 [Effects of the embodiment]
As described above, according to the embodiment, it is possible to calculate an index representing a class attitude using only a biological image, without using multiple dedicated measuring devices.

また、端末装置２０は、講習動画の再生を開始した後、チェックポイントにおいてだけ生体画像を情報処理装置１０に送信するので、システムの負荷を小さくすることができる。ここで、システムの負荷は、例えば、端末装置２０と情報処理装置１０との間の通信トラフィックなどである。また、システムの負荷は、例えば、情報処理装置１０にて受講態度を算出する処理を行う際のＣＰＵ、メモリ、ディスク使用率の上昇などである。 In addition, since the terminal device 20 transmits the biometric image to the information processing device 10 only at checkpoints after starting playback of the training video, the load on the system can be reduced. Here, the load on the system is, for example, the communication traffic between the terminal device 20 and the information processing device 10. In addition, the load on the system is, for example, an increase in the CPU, memory, and disk usage when the information processing device 10 performs a process to calculate the attendance attitude.

［プログラム］
実施形態における情報処理のプログラムは、コンピュータに、図４に示すステップＡ１からＡ５を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、実施形態における情報処理装置と情報処理方法とを実現することができる。この場合、コンピュータのプロセッサは、算出部１１、選択部１２として機能し、処理を行なう。 [program]
The information processing program in the embodiment may be a program that causes a computer to execute steps A1 to A5 shown in Fig. 4. By installing and executing this program in a computer, the information processing device and the information processing method in the embodiment can be realized. In this case, the processor of the computer functions as the calculation unit 11 and the selection unit 12 and performs the processing.

また、実施形態における情報処理のプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、算出部１１、選択部１２のいずれかとして機能してもよい。 The information processing program in the embodiment may be executed by a computer system constructed by multiple computers. In this case, for example, each computer may function as either the calculation unit 11 or the selection unit 12.

実施形態における端末装置のプログラムは、コンピュータに、図５に示すステップＢ１からＢ７を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、実施形態における端末装置の処理を実現することができる。この場合、コンピュータのプロセッサは、設定部２２、再生部２３、検出部２４、操作部２５として機能し、処理を行なう。 The program of the terminal device in the embodiment may be a program that causes a computer to execute steps B1 to B7 shown in FIG. 5. By installing this program in a computer and executing it, the processing of the terminal device in the embodiment can be realized. In this case, the processor of the computer functions as the setting unit 22, the playback unit 23, the detection unit 24, and the operation unit 25, and performs the processing.

また、実施形態における情報処理のプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、設定部２２、再生部２３、検出部２４、操作部２５のいずれかとして機能してもよい。 The information processing program in the embodiment may be executed by a computer system constructed by multiple computers. In this case, for example, each computer may function as one of the setting unit 22, the playback unit 23, the detection unit 24, and the operation unit 25.

（変形例）
受講者が端末装置２０を移動しながら視聴している場合、チェックポイントにおいて顔画像が生体画像から外れると、受講態度を表す指標が低下する。変形例では、そのような場合に、受講者が受講動画を見落とすことを防止する。 (Modification)
In the case where a student is watching a lecture while moving around the terminal device 20, if the face image deviates from the biometric image at a checkpoint, the indicator representing the lecture attitude will decrease. In the modified example, in such a case, the student is prevented from missing the lecture video.

まず、変形例の選択部１２は、チェックポイントにおいて、端末装置２０に設けられている加速度センサが計測した加速度を取得する。 First, the selection unit 12 of the modified example acquires the acceleration measured by the acceleration sensor provided in the terminal device 20 at the checkpoint.

次に、変形例の選択部１２は、計測した加速度が、あらかじめ設定した加速度閾値以上である場合、講習動画を停止させ、受講者にキャリブレーションを行うように促す通知を出力させるための操作情報ｏｐ４を、端末装置２０に送信する。 Next, in the modified example, the selection unit 12 transmits operation information op4 to the terminal device 20 to stop the training video and output a notification prompting the student to perform calibration if the measured acceleration is equal to or greater than a preset acceleration threshold.

加速度閾値は、受講者が端末装置２０を落とした場合に、加速度センサが計測した加速度を用いる。また、受講者が端末装置２０を手に持ちながら移動した場合に、加速度センサが計測した加速度を用いる。 The acceleration threshold value is the acceleration measured by the acceleration sensor when the student drops the terminal device 20. Also, the acceleration measured by the acceleration sensor when the student moves while holding the terminal device 20 in his/her hand is used.

次に、変形例の操作部２５は、操作情報ｏｐ４に基づいて、講習動画を停止させ、受講者にキャリブレーションを行うように促す通知を出力させる。 Next, the operation unit 25 of the modified example stops the training video based on the operation information op4 and outputs a notification prompting the participant to perform calibration.

次に、変形例の選択部１２は、端末装置２０から、キャリブレーションが終了したことを表す通知を受信した場合、加速度センサの計測した値が加速度閾値以上になった時点より前の時点から講習動画を再生させるための操作情報ｏｐ５を、端末装置２０に送信する。 Next, when the selection unit 12 of the modified example receives a notification from the terminal device 20 indicating that the calibration has been completed, it transmits operation information op5 to the terminal device 20 to play the training video from a point before the value measured by the acceleration sensor becomes equal to or greater than the acceleration threshold.

次に、変形例の操作部２５は、操作情報ｏｐ５に基づいて、加速度センサの計測した値が加速度閾値以上になった時点より前の時点から講習動画を再生させる。 Next, the operation unit 25 of the modified example plays the training video from a point before the value measured by the acceleration sensor becomes equal to or greater than the acceleration threshold, based on the operation information op5.

変形例によれば、受講者が受講動画を見落とすことを防止できる。また、動画を視聴しながら移動することで発生する事故を防止できる。 This modified example can prevent students from missing the video they are watching. It can also prevent accidents that occur when students move around while watching a video.

［物理構成］
ここで、実施形態におけるプログラムを実行することによって、情報処理装置を実現するコンピュータについて図６を用いて説明する。図６は、実施形態における情報処理装置を実現するコンピュータの一例を説明するための図である。 [Physical configuration]
A computer that realizes an information processing device by executing a program in the embodiment will now be described with reference to Fig. 6. Fig. 6 is a diagram for explaining an example of a computer that realizes an information processing device in the embodiment.

図６に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ、又はＦＰＧＡを備えていてもよい。 As shown in FIG. 6, the computer 110 includes a CPU (Central Processing Unit) 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader/writer 116, and a communication interface 117. These components are connected to each other via a bus 121 so as to be able to communicate data with each other. Note that the computer 110 may include a GPU or an FPGA in addition to or instead of the CPU 111.

ＣＰＵ１１１は、記憶装置１１３に格納された、実施形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置である。また、実施形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、実施形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであってもよい。なお、記録媒体１２０は、不揮発性記録媒体である。 The CPU 111 expands the programs (codes) in the embodiment stored in the storage device 113 into the main memory 112 and executes them in a predetermined order to perform various calculations. The main memory 112 is typically a volatile storage device such as a dynamic random access memory (DRAM). The programs in the embodiment are provided in a state stored in a computer-readable recording medium 120. The programs in the embodiment may be distributed over the Internet connected via the communication interface 117. The recording medium 120 is a non-volatile recording medium.

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリなどの半導体記憶装置があげられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。 Specific examples of the storage device 113 include a hard disk drive and a semiconductor storage device such as a flash memory. The input interface 114 mediates data transmission between the CPU 111 and input devices 118 such as a keyboard and a mouse. The display controller 115 is connected to the display device 119 and controls the display on the display device 119.

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。 The data reader/writer 116 mediates data transmission between the CPU 111 and the recording medium 120, reads programs from the recording medium 120, and writes the results of processing in the computer 110 to the recording medium 120. The communication interface 117 mediates data transmission between the CPU 111 and other computers.

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）などの汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）などの磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体があげられる。 Specific examples of the recording medium 120 include general-purpose semiconductor storage devices such as CF (Compact Flash (registered trademark)) and SD (Secure Digital), magnetic recording media such as flexible disks, and optical recording media such as CD-ROMs (Compact Disk Read Only Memory).

なお、実施形態における情報処理装置は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。さらに、情報処理装置は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。 The information processing device in the embodiment can be realized not by a computer on which a program is installed, but by using hardware corresponding to each part. Furthermore, the information processing device may be realized in part by a program and the remaining part by hardware.

以上、実施形態を参照して発明を説明したが、発明は上述した実施形態に限定されるものではない。発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 The invention has been described above with reference to the embodiments, but the invention is not limited to the above-mentioned embodiments. Various modifications that can be understood by a person skilled in the art can be made to the configuration and details of the invention within the scope of the invention.

上述した記載によれば、受講者の受講態度をチェックポイントで監視することにより、システムの負荷を小さくすることができる。また、オンライン講習における受講者の受講態度の監視が必要な分野において有用である。 According to the above description, by monitoring the student's learning behavior at checkpoints, the load on the system can be reduced. This is also useful in fields where it is necessary to monitor the student's learning behavior in online courses.

１０情報処理装置
１１算出部
１２選択部
１３通信部
２０端末装置
２１撮像部
２２設定部
２３再生部
２４検出部
２５操作部
２６通信部
３０ネットワーク
１００システム
１１０コンピュータ
１１１ＣＰＵ
１１２メインメモリ
１１３記憶装置
１１４入力インターフェイス
１１５表示コントローラ
１１６データリーダ／ライタ
１１７通信インターフェイス
１１８入力機器
１１９ディスプレイ装置
１２０記録媒体
１２１バス
REFERENCE SIGNS LIST 10 Information processing device 11 Calculation unit 12 Selection unit 13 Communication unit 20 Terminal device 21 Imaging unit 22 Setting unit 23 Playback unit 24 Detection unit 25 Operation unit 26 Communication unit 30 Network 100 System 110 Computer 111 CPU
112 Main memory 113 Storage device 114 Input interface 115 Display controller 116 Data reader/writer 117 Communication interface 118 Input device 119 Display device 120 Recording medium 121 Bus

Claims

A calculation means for calculating an index representing the attitude of a student at a lecture video played on a terminal device, using a biometric image of the student captured by the terminal device and transmitted from the terminal device at a checkpoint set in advance;
A selection means for selecting operation information corresponding to the calculated index by referring to training video operation information in which an index drop range indicating the drop in the index and operation information for operating the training video being played on the terminal device are associated with the calculated index;
An information processing device having the above configuration.

The operation information is information for causing the terminal device to output a notification encouraging the student to change their attitude toward the class when the indicator has decreased.
The information processing device according to claim 1 .

The operation information is information for causing the terminal device to stop the training video being played when the index decreases.
The information processing device according to claim 2 .

The operation information is information for causing the terminal device to play the training video from a point before a checkpoint at which the index has decreased, when the index has decreased.
The information processing device according to claim 3 .

The index is one or more of concentration level, alertness level, and tension level.
5. The information processing device according to claim 2.

The computer
Calculating an index representing the attendance attitude of the student using a biometric image of the student captured by the terminal device and transmitted from the terminal device at a checkpoint set in advance in the training video being played on the terminal device;
Using the calculated index, refer to training video operation information in which an index drop range indicating the drop in the index and operation information for operating the training video being played on the terminal device are associated, and select operation information corresponding to the calculated index.
Information processing methods.

On the computer,
Calculating an index representing the attitude of the student at a training video played on a terminal device at a checkpoint set in advance, using a biometric image of the student captured by the terminal device and transmitted from the terminal device;
Using the calculated index, reference is made to training video operation information in which an index drop range indicating the drop in the index and operation information for operating the training video being played on the terminal device are associated, and operation information corresponding to the calculated index is selected.
program.

A playback means for playing the training video;
a detection means for transmitting a biometric image of the student to an information processing device via a communication means after detecting a checkpoint set in advance during playback of the training video;
an operation means for outputting, to an output means, a notification prompting the student to improve his/her attitude toward the course, based on operation information transmitted from the information processing device, when an index representing the student's attitude toward the course has decreased;
A terminal device having the above configuration.

When the indicator decreases, the operation means stops the training video being played back based on the operation information.
The terminal device according to claim 8.

When the indicator is lowered, the operation means reproduces the training video from a point before the checkpoint at which the indicator is lowered based on the operation information.
The terminal device according to claim 9.

when the detection means detects a dummy point other than the checkpoint, the detection means transmits dummy data to the information processing device.
The terminal device according to claim 10.