JP6672592B2 - Presenter selection support program, presenter selection support method, and information processing device - Google Patents
Presenter selection support program, presenter selection support method, and information processing device Download PDFInfo
- Publication number
- JP6672592B2 JP6672592B2 JP2015030268A JP2015030268A JP6672592B2 JP 6672592 B2 JP6672592 B2 JP 6672592B2 JP 2015030268 A JP2015030268 A JP 2015030268A JP 2015030268 A JP2015030268 A JP 2015030268A JP 6672592 B2 JP6672592 B2 JP 6672592B2
- Authority
- JP
- Japan
- Prior art keywords
- student
- rate
- gaze
- presenter
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 92
- 230000010365 information processing Effects 0.000 title claims description 22
- 238000012545 processing Methods 0.000 claims description 87
- 230000008569 process Effects 0.000 claims description 38
- 238000001514 detection method Methods 0.000 claims description 14
- 238000012546 transfer Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 description 54
- 238000010586 diagram Methods 0.000 description 40
- 238000009825 accumulation Methods 0.000 description 30
- 241000791900 Selene vomer Species 0.000 description 29
- 230000004044 response Effects 0.000 description 21
- 238000004364 calculation method Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 8
- 210000001508 eye Anatomy 0.000 description 8
- 230000001186 cumulative effect Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000000994 depressogenic effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 235000002673 Dioscorea communis Nutrition 0.000 description 1
- 241000544230 Dioscorea communis Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241001469893 Oxyzygonectes dovii Species 0.000 description 1
- 208000035753 Periorbital contusion Diseases 0.000 description 1
- 206010000210 abortion Diseases 0.000 description 1
- 231100000176 abortion Toxicity 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
- Image Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Description
本発明は、発表者選択支援プログラム、発表者選択支援方法、および情報処理装置に関する。 The present invention relates to a presenter selection support program, a presenter selection support method, and an information processing device.
従来、教師端末から生徒端末に課題を送信し、生徒端末にて生徒が課題に対する意見を入力して教師端末に返信し、教師端末にて教師が意見をまとめてスクリーンなどに表示して、生徒に意見を発表させるような授業形態がある。 Conventionally, an assignment is transmitted from a teacher terminal to a student terminal, the student inputs an opinion on the assignment at the student terminal, and replies to the teacher terminal. There is a class form that makes the students announce their opinions.
先行技術としては、例えば、インターネット講義の受講生の受講態度を測定し、測定した受講態度と、講義終了時に実施した理解度テストの成績とに基づいて、コンピュータゲームで使用する電子キャラクタの特性を構成するデータベースを更新する技術がある。また、複数の受講者の受講風景を撮影して得た画像から抽出した複数の受講者の顔画像に基づいて複数の受講者の状態を判定し、複数の受講者の顔画像を、判定した受講者の状態を示す指標を付して一覧表示するための一覧画像を生成する技術がある。また、講義中における1以上の受講生の顔を撮影した動画像である受講生画像から受講生の顔を認識して、認識した顔に対する分析を行い、分析結果に関連する情報を出力する技術がある。 As prior art, for example, the attending attitude of a student of an Internet lecture is measured, and based on the measured attending attitude and the result of an understanding test conducted at the end of the lecture, the characteristics of electronic characters used in a computer game are determined. There is a technique for updating a constituent database. Further, the state of the plurality of students was determined based on the face images of the plurality of students extracted from images obtained by photographing the scenes of the plurality of students, and the face images of the plurality of students were determined. There is a technique for generating a list image for displaying a list with an index indicating the state of a student. Also, a technology for recognizing a student's face from a student image which is a moving image of one or more students' faces during a lecture, performing analysis on the recognized face, and outputting information related to the analysis result. There is.
しかしながら、従来技術によれば、課題に対する意見などの発表者を選択することが難しい場合がある。例えば、発表に失敗した生徒は、自信を失って、以降発表したがらなくなることがある。このため、教師は、生徒の顔色を見ながら、できるだけ自信のありそうな生徒を当てるという行為を行っているが、授業中の生徒の顔色を逐一確認して自信の有無を判断することは困難である。 However, according to the related art, it may be difficult to select a presenter such as an opinion on an issue. For example, a student who fails to make a presentation may lose confidence and reluctant to do so. For this reason, teachers try to hit students who are as confident as possible while observing the students' complexion, but it is difficult to check each student's complexion during class to determine whether they are confident. It is.
一つの側面では、本発明は、発表者の選択を支援する発表者選択支援プログラム、発表者選択支援方法、および情報処理装置を提供することを目的とする。 In one aspect, an object of the present invention is to provide a presenter selection support program, a presenter selection support method, and an information processing apparatus that support selection of a presenter.
本発明の一側面によれば、発表者を選択するモードへの移行指示を受け付け、前記移行指示の受付後に撮影された対象者の顔画像から所定の特徴を認識して得られる認識結果に基づいて、前記モード中に前記対象者が前記所定の特徴を有する割合を示す値を算出し、算出した前記値を前記対象者と対応付けて出力する発表者選択支援プログラム、発表者選択支援方法、および情報処理装置が提案される。 According to one aspect of the present invention, a shift instruction to a mode for selecting a presenter is received, and based on a recognition result obtained by recognizing a predetermined feature from a face image of the subject taken after receiving the shift instruction. A presenter selection support program, a presenter selection support method, which calculates a value indicating a ratio of the target person having the predetermined characteristic during the mode, and outputs the calculated value in association with the target person. And an information processing apparatus are proposed.
本発明の一態様によれば、発表者の選択を支援することができるという効果を奏する。 According to one embodiment of the present invention, there is an effect that selection of a presenter can be supported.
以下に図面を参照して、本発明にかかる発表者選択支援プログラム、発表者選択支援方法、および情報処理装置の実施の形態を詳細に説明する。 Hereinafter, embodiments of a presenter selection support program, a presenter selection support method, and an information processing apparatus according to the present invention will be described in detail with reference to the drawings.
(発表者選択支援方法の一実施例)
図1は、実施の形態にかかる発表者選択支援方法の一実施例を示す説明図である。図1において、情報処理装置101は、発表者の選択を支援するコンピュータである。例えば、情報処理装置101は、サーバであってもよく、PC(パーソナル・コンピュータ)、ノートPC、タブレット型PCなどであってもよい。
(One embodiment of support method for presenter selection)
FIG. 1 is an explanatory diagram of an example of a presenter selection support method according to an embodiment. In FIG. 1, an information processing apparatus 101 is a computer that supports selection of a presenter. For example, the information processing apparatus 101 may be a server, a PC (personal computer), a notebook PC, a tablet PC, or the like.
また、情報処理装置101は、対象者を撮影するカメラ110と接続されており、カメラ110によって撮影された画像を取得することができる。対象者は、発表者の候補となる者であり、例えば、学校における生徒や、何らかの講義や講習を受ける受講者である。ここでは、対象者として、学校における生徒を想定し、教師から生徒に課題を与えて、課題に対する意見を生徒に発表させる授業(いわゆる、協働学習)を行う場合を想定する。
Further, the information processing apparatus 101 is connected to a
ここで、教育的な観点からすると、いろいろな生徒に意見を発表させて経験を積ませることが望ましい。一方で、発表に失敗した生徒は、自信を失って、以降発表したがらなくなることがある。このため、教師は、できるだけ自信のありそうな生徒を当てて、生徒に成功体験を得る機会を与えたいという思いがある。 From an educational point of view, it is desirable to have various students present their opinions and gain experience. On the other hand, students who fail to make presentations may lose confidence and not want to make presentations in the future. For this reason, teachers want to give students the opportunity to gain a successful experience by focusing on the most confident students.
また、ときには失敗を経験させることも重要なため、教師は、敢えて自信のなさそうな生徒を当てたい場合もある。このため、教師は、例えば、授業中の生徒の顔色を見ながら、できるだけ自信のありそうな、あるいは、自信のなさそうな生徒を当てるという行為を行っている。ところが、教師が生徒の顔色を逐一確認して自信の有無を判断することは困難である。 Sometimes it is also important to make mistakes, so teachers may want to guess students who are less confident. For this reason, the teacher performs an action of hitting a student who seems to be as confident as possible or less confident while watching the complexion of the student in class. However, it is difficult for a teacher to check each student's complexion one by one to determine whether he / she is confident.
そこで、本実施の形態では、教師が発表者を選択中に撮影された生徒の画像を基に、生徒の自信の有無を判断するための指標値を求めて教師に提示することで、発表者の選択を支援する発表者選択支援方法について説明する。以下、情報処理装置101の処理例について説明する。 Therefore, in the present embodiment, based on the image of the student taken while the teacher is selecting the presenter, an index value for determining whether or not the student is confident is obtained and presented to the teacher. A method for supporting the selection of the presenter that supports the selection of the presenter will be described. Hereinafter, a processing example of the information processing apparatus 101 will be described.
(1)情報処理装置101は、発表者選択モードへの移行指示を受け付ける。ここで、発表者選択モードとは、発表者を選択するモードである。具体的には、例えば、情報処理装置101は、ユーザ(教師)の操作入力により、発表者選択モードへの移行指示を受け付ける。 (1) The information processing apparatus 101 receives an instruction to shift to the presenter selection mode. Here, the presenter selection mode is a mode for selecting a presenter. Specifically, for example, the information processing apparatus 101 receives an instruction to shift to the presenter selection mode by an operation input of a user (teacher).
また、教師は、例えば、発表者選択モードへの移行指示の入力操作に応じて、生徒に対して、これから発表者を当てることを口頭で伝える。これにより、生徒は、これから発表者が当てられることが分かる。なお、教室内の電子黒板などに生徒の意見をまとめて表示して、これから発表者が当てられることが分かるようにしてもよい。 In addition, the teacher verbally informs the student that the presenter will be hit in response to the input operation of the instruction to shift to the presenter selection mode, for example. This tells the student that the presenter will be assigned. In addition, the opinion of the student may be displayed collectively on an electronic blackboard or the like in the classroom so that it can be understood that the presenter will be assigned in the future.
(2)情報処理装置101は、発表者選択モードへの移行指示の受付後にカメラ110によって撮影された対象者の画像に対して顔認識処理を行う。ここで、対象者は、発表者の候補となる少なくともいずれかの生徒である。具体的には、例えば、情報処理装置101は、顔認識用の学習データを用いて、カメラ110によって撮影された画像から対象者の顔を認識する。
(2) The information processing apparatus 101 performs face recognition processing on the image of the target person captured by the
顔認識用の学習データは、例えば、対象者の顔を撮影した顔画像から生成される。例えば、対象者が前を向いた状態で撮影した画像から顔認識用の学習データを生成した場合、対象者が前を向いたときの顔を認識することができる。対象者が横(左あるいは右)を向いた状態で撮影した画像から顔認識用の学習データを生成した場合、対象者が横を向いたときの顔を認識することができる。 The learning data for face recognition is generated, for example, from a face image obtained by capturing the face of the target person. For example, when learning data for face recognition is generated from an image captured in a state where the target person is facing forward, the face when the target person is facing forward can be recognized. When the learning data for face recognition is generated from an image taken in a state where the target person faces sideways (left or right), the face when the target person turns sideways can be recognized.
図1の例では、対象者を「生徒A」とし、発表者選択モードへの移行指示の受付後にカメラ110によって所定の時間間隔(例えば、0.1秒間隔)で撮影された生徒Aの画像D1〜D5に対して顔認識処理が行われた場合を想定する。なお、図1中、t軸は時間の経過を示す時間軸である。
In the example of FIG. 1, the subject is “Student A”, and an image of Student A taken at a predetermined time interval (for example, 0.1 second interval) by the
(3)情報処理装置101は、対象者の顔画像から所定の特徴を認識した認識結果に基づいて、発表者選択モード中に対象者が所定の特徴を有する割合を示す値を算出する。ここで、所定の特徴とは、対象者が、例えば、うつむいている状態や、特定の方向を向いている状態などを検出するための特徴である。 (3) The information processing apparatus 101 calculates a value indicating a ratio of the target person having the predetermined characteristic during the presenter selection mode, based on the recognition result of the recognition of the predetermined characteristic from the face image of the target person. Here, the predetermined feature is a feature for detecting, for example, a state in which the target person is facing down, or a state in which the subject faces a specific direction.
例えば、教師が発表者を選択しようとしている間、うつむいている割合が高い生徒は、自分の意見に対して自信がない可能性が高い。一方で、教師が発表者を選択しようとしている間、教師に向かって、前を向いている割合が高い生徒は、うつむいている割合が高い場合に比べて、自分の意見に対して自信がある可能性が高い。 For example, students who are more likely to look down while the teacher is trying to select a presenter are likely to be less confident in their opinion. On the other hand, while the teacher is trying to select a presenter, students who are more likely to look forward to the teacher are more confident in their opinion than if they are more likely to look down Probability is high.
すなわち、発表者選択モード中に、生徒がうつむいている割合や、生徒が顔を上げて教師の方を向いている割合は、生徒の自信の有無を判断するための指標となる。ここでは、教師が対象者の正面に位置しており、所定の特徴を「前を向いている状態」とする。なお、教師が対象者の左側あるいは右側に位置している場合は、所定の特徴を「左あるいは右を向いている状態」としてもよい。 That is, during the presenter selection mode, the rate at which the student looks down or the rate at which the student looks up and faces the teacher is an index for determining whether the student is confident. Here, it is assumed that the teacher is located in front of the subject and the predetermined feature is “frontward state”. When the teacher is located on the left or right side of the subject, the predetermined feature may be “a state facing left or right”.
図1の例では、画像D1〜D5のうち、画像D1,D3〜D5で、生徒Aが前を向いたときの顔が認識されたとする。この場合、情報処理装置101は、例えば、画像D1〜D5のうち、生徒Aが前を向いたときの顔が認識された画像D1,D3〜D5の割合を求めることにより、発表者選択モード中に生徒Aが前を向いている割合を示す値を算出することができる。 In the example of FIG. 1, it is assumed that a face when the student A faces forward is recognized in the images D1 and D3 to D5 among the images D1 to D5. In this case, the information processing apparatus 101 obtains, for example, the ratio of the images D1 and D3 to D5 in which the face when the student A turns to the front is recognized, among the images D1 to D5, and thereby, during the presenter selection mode. The value indicating the ratio of the student A facing forward can be calculated.
(4)情報処理装置101は、算出した所定の特徴を有する割合を示す値を、対象者と対応付けて出力する。図1の例では、発表者選択モード中に生徒Aが前を向いている割合を示す値「80[%]」が、生徒Aの生徒名「A」と対応付けて出力される。 (4) The information processing apparatus 101 outputs a value indicating the calculated ratio having the predetermined feature in association with the subject. In the example of FIG. 1, a value “80 [%]” indicating the ratio of the student A facing forward during the presenter selection mode is output in association with the student name “A” of the student A.
このように、実施の形態にかかる情報処理装置101によれば、発表者選択モードへの移行指示の受付後に撮影された対象者の顔画像から所定の特徴を認識して得られる認識結果に基づいて、発表者選択モード中に対象者が所定の特徴を有する割合を示す値を算出することができる。そして、情報処理装置101によれば、算出した発表者選択モード中に対象者が所定の特徴を有する割合を示す値を、対象者と対応付けて出力することができる。 As described above, according to the information processing apparatus 101 according to the embodiment, based on the recognition result obtained by recognizing the predetermined feature from the face image of the target person captured after receiving the instruction to shift to the presenter selection mode, Thus, it is possible to calculate a value indicating the ratio of the subject having the predetermined feature during the presenter selection mode. Then, according to the information processing apparatus 101, the value indicating the ratio of the target person having the predetermined feature during the calculated presenter selection mode can be output in association with the target person.
これにより、例えば、教師から与えられた課題に対する意見について、生徒の自信の有無を判断するための指標値を教師に提示することができ、教師による発表者の選択を支援することができる。図1の例では、教師は、発表者選択モード中に生徒Aが前を向いている割合を示す値が「80[%]」と高い値のため、課題に対する意見について、生徒Aが自信を持っている可能性が高いと判断でき、発表者として生徒Aを当てるか否かを判断しやすくなる。 Thus, for example, an index value for determining whether or not a student has confidence in an opinion given to a task given by the teacher can be presented to the teacher, and it is possible to assist the teacher in selecting a presenter. In the example of FIG. 1, the teacher has a high value indicating the ratio of the student A facing forward during the presenter selection mode, “80 [%]”. It is possible to judge that it is highly likely to have, and it becomes easy to judge whether or not to hit the student A as the presenter.
(教育支援システム200のシステム構成例)
つぎに、図1に示した情報処理装置101を教育支援システム200の教師端末201に適用した場合について説明する。
(Example of system configuration of education support system 200)
Next, a case where the information processing apparatus 101 shown in FIG. 1 is applied to the
図2は、教育支援システム200のシステム構成例を示す説明図である。図2において、教育支援システム200は、教師端末201と、電子黒板202と、生徒端末T1〜Tnと、を含む構成である。教育支援システム200において、教師端末201、電子黒板202および生徒端末T1〜Tnは、有線または無線のネットワーク210を介して接続される。ネットワーク210は、例えば、LAN(Local Area Network)、WAN(Wide Area Network)、インターネットなどである。
FIG. 2 is an explanatory diagram illustrating a system configuration example of the
ここで、教師端末201は、教師が使用するコンピュータであり、生徒DB(データベース)220、課題DB230、回答DB240、注視・うつむきフラグテーブル250、第1の注視・うつむき時間記録DB260および第2の注視・うつむき時間記録DB270を有する。教師端末201は、例えば、PC、ノートPC、タブレット型PCなどである。なお、各種DB等220,230,240,250,260,270の記憶内容については、図5〜図10を用いて後述する。
Here, the
電子黒板202は、ディスプレイ(例えば、後述の図4に示すディスプレイ406)を有し、教師端末201の表示制御に従って、各種画面(例えば、後述の図14に示す生徒用マトリクス画面1400や図15に示す発表時画面1500)を表示可能なコンピュータである。電子黒板202は、例えば、教室内の各生徒から見える位置に設置される。
The
生徒端末T1〜Tnは、生徒S1〜Snがそれぞれ使用するコンピュータである。生徒端末T1〜Tnは、例えば、タブレット型PC、ノートPCなどである。以下の説明では、生徒端末T1〜Tnのうちの任意の生徒端末を「生徒端末Ti」と表記する場合がある(i=1,2,…,n)。また、生徒S1〜Snのうちの任意の生徒を「生徒Si」と表記する場合がある。 The student terminals T1 to Tn are computers used by the students S1 to Sn, respectively. The student terminals T1 to Tn are, for example, a tablet PC, a notebook PC, or the like. In the following description, an arbitrary student terminal among the student terminals T1 to Tn may be described as “student terminal Ti” (i = 1, 2,..., N). Further, an arbitrary student among the students S1 to Sn may be described as “student Si”.
(座席の配置例)
つぎに、教室内の座席の配置例について説明する。
(Example of seat arrangement)
Next, an example of arrangement of seats in a classroom will be described.
図3は、座席の配置例を示す説明図である。図3において、教室内の教壇に向かって座る生徒S1〜S8の座席の配置例が示されている。カメラ300は、席に座った生徒S1〜S8を撮影する撮影装置である。カメラ300は、例えば、所定の時間間隔(例えば、1[フレーム/0.1秒])で撮影した撮影画像を画像I/F(不図示)を介して、教師端末201に出力する。カメラ300は、例えば、図1に示したカメラ110に対応する。
FIG. 3 is an explanatory diagram showing an example of seat arrangement. FIG. 3 shows an example of the seat arrangement of the students S1 to S8 sitting on the platform in the classroom. The
カメラ300は、例えば、教師端末201に設けられていてもよく、また、教師端末201と別体に設けられていてもよい。具体的には、例えば、カメラ300は、教室内の教壇などに設置される定点カメラであってもよく、また、教師の頭部などに装着されるウェアラブルカメラであってもよい。また、カメラ300は、赤外線カメラであってもよい。
The
なお、ここでは、生徒S1〜S8の座席やカメラ300の配置位置は予め決められており、また、教師は予め決められた位置(例えば、カメラ300とほぼ同じ位置)で授業を行う場合を想定する。
Here, the positions of the seats of the students S1 to S8 and the positions of the
(教師端末201等のハードウェア構成例)
つぎに、図2に示した教師端末201、電子黒板202および生徒端末Ti(ここでは、単に「教師端末201等」と称する)のハードウェア構成例について説明する。
(Example of hardware configuration such as teacher terminal 201)
Next, an example of a hardware configuration of the
図4は、教師端末201等のハードウェア構成例を示すブロック図である。図4において、教師端末201等は、CPU(Central Processing Unit)401と、メモリ402と、ディスクドライブ403と、ディスク404と、I/F(Interface)405と、ディスプレイ406と、入力装置407と、を有する。また、各構成部はバス400によってそれぞれ接続される。
FIG. 4 is a block diagram illustrating a hardware configuration example of the
ここで、CPU401は、教師端末201等の全体の制御を司る。メモリ402は、例えば、ROM(Read−Only Memory)、RAM(Random Access Memory)およびフラッシュROMなどを有する。具体的には、例えば、フラッシュROMやROMが各種プログラムを記憶し、RAMがCPU401のワークエリアとして使用される。メモリ402に記憶されるプログラムは、CPU401にロードされることで、コーディングされている処理をCPU401に実行させる。
Here, the
ディスクドライブ403は、CPU401の制御に従ってディスク404に対するデータのリード/ライトを制御する。ディスク404は、ディスクドライブ403の制御で書き込まれたデータを記憶する。ディスク404としては、例えば、磁気ディスク、光ディスクなどが挙げられる。
The
I/F405は、通信回線を通じてネットワーク210に接続され、ネットワーク210を介して外部装置に接続される。そして、I/F405は、ネットワーク210と内部のインターフェースを司り、外部装置からのデータの入出力を制御する。ネットワーク210は、例えば、LAN、WAN、インターネットなどである。
The I /
ディスプレイ406は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。ディスプレイ406は、例えば、CRT(Cathode Ray Tube)、液晶ディスプレイ、有機EL(Electroluminescence)ディスプレイなどを採用することができる。
The
入力装置407は、文字、数字、各種指示などの入力のためのキーを有し、データの入力を行う。入力装置407は、キーボードやマウスなどであってもよく、また、タッチパネル式の入力パッドやテンキーなどであってもよい。
The
なお、教師端末201等は、上述した構成部のうち、例えば、ディスクドライブ403やディスク404を有さないことにしてもよい。また、教師端末201等は、上述した構成部のほか、例えば、カメラ300(図3参照)、SSD(Solid State Drive)、スキャナ、プリンタなどを有することにしてもよい。
Note that the
(各種DB等220,230,240,250,260,270の記憶内容)
つぎに、図5〜図10を用いて、各種DB等220,230,240,250,260,270の記憶内容について説明する。各種DB等220,230,240,250,260,270は、例えば、図4に示した教師端末201のメモリ402、ディスク404などの記憶装置により実現される。
(Storage contents of 220, 230, 240, 250, 260, 270, etc.)
Next, the storage contents of
図5は、生徒DB220の記憶内容の一例を示す説明図である。図5において、生徒DB220は、生徒ID、生徒名、端末アドレスおよびエリア座標のフィールドを有し、各フィールドに情報を設定することで、生徒情報500−1〜500−8をレコードとして記憶する。
FIG. 5 is an explanatory diagram showing an example of the stored contents of the
ここで、生徒ID(identification)は、生徒Siを識別する識別子である。生徒名は、生徒Siの名前である。端末アドレスは、生徒Siが使用する生徒端末Tiを識別する識別子であり、例えば、生徒端末TiのIP(Internet Protocol)アドレスである。 Here, the student ID (identification) is an identifier for identifying the student Si. The student name is the name of the student Si. The terminal address is an identifier for identifying the student terminal Ti used by the student Si, and is, for example, an IP (Internet Protocol) address of the student terminal Ti.
エリア座標は、カメラ300によって撮影される撮影画像における、生徒Siの顔領域の位置を示す。顔領域とは、撮影画像上の生徒Siの顔が位置する領域である。ここでは、エリア座標は、X軸とY軸とからなる画像座標系における、生徒Siの顔領域(矩形)の左上、右上、左下、右下の頂点の座標位置を示している。
The area coordinates indicate the position of the face area of the student Si in the image captured by the
例えば、生徒情報500−1は、生徒S1の生徒名「田中」、端末アドレス「XX.YY.ZZ.A1」およびエリア座標「(21,58)(30,58)(21,40)(30,40)」を示す。 For example, the student information 500-1 includes the student name “Tanaka” of the student S1, the terminal address “XX.YY.ZZ.A1”, and the area coordinates “(21,58) (30,58) (21,40) (30) , 40) ".
図6は、課題DB230の記憶内容の一例を示す説明図である。図6において、課題DB230は、課題ID、課題内容、回答制限時間(分)、教科および難度のフィールドを有し、各フィールドに情報を設定することで、課題情報600−1〜600−4をレコードとして記憶する。
FIG. 6 is an explanatory diagram illustrating an example of the storage content of the
ここで、課題IDは、教師から生徒に与えられる課題を識別する識別子である。課題内容は、課題の内容である。回答制限時間(分)は、生徒に課題を与えてから回答を受け付けるまでの制限時間である。教科は、課題に対応する分野を区別するものである。教科としては、例えば、国語、数学、社会、理科などがある。 Here, the assignment ID is an identifier for identifying an assignment given to a student by a teacher. The task content is the content of the task. The answer time limit (minutes) is the time limit from giving an assignment to a student to receiving an answer. The subjects distinguish the areas that correspond to the tasks. The subjects include, for example, Japanese language, mathematics, society, and science.
難度は、課題の難しさを示す度合いである。ここでは、難しい課題ほど難度を示す数字が大きく設定される。例えば、課題情報600−1は、課題K1の課題内容「未成年の中絶についてどう思うか?」と回答制限時間「20分」と教科「社会」と難度「4」とを示す。 The difficulty level is a degree indicating the difficulty level of the task. Here, the number indicating the degree of difficulty is set to be larger for a more difficult task. For example, the assignment information 600-1 indicates the assignment content of the assignment K1, "What do you think about abortion of a minor?", The answer time limit "20 minutes", the subject "Society", and the difficulty level "4".
図7は、回答DB240の記憶内容の一例を示す説明図である。図7において、回答DB240は、課題ID、生徒ID、賛否および意見内容のフィールドを有し、各フィールドに情報を設定することで、回答情報700−1〜700−8をレコードとして記憶する。
FIG. 7 is an explanatory diagram showing an example of the storage contents of the
ここで、課題IDは、課題を識別する識別子である。生徒IDは、生徒Siを識別する識別子である。賛否は、課題で問われたことについて、生徒Siが賛成であるか反対であるかを示す。意見内容は、課題に対する生徒の意見の内容である。例えば、回答情報700−1は、課題K2に対する生徒S1の賛否「賛成」と意見内容「困っているときには助けるべき。」とを示す。 Here, the assignment ID is an identifier for identifying the assignment. The student ID is an identifier for identifying the student Si. Pros and cons indicate whether student Si agrees or disagrees with what was asked in the assignment. The opinion content is the content of the student's opinion on the assignment. For example, the answer information 700-1 indicates that the student S1 agrees or disagrees with the assignment K2 and agrees with the content of the opinion "If you are in trouble, you should help."
図8は、注視・うつむきフラグテーブル250の記憶内容の一例を示す説明図である。図8において、注視・うつむきフラグテーブル250は、記録日時ごとの各生徒S1〜S8の注視フラグ、うつむきフラグおよび状態フラグをレコードとして記録する。 FIG. 8 is an explanatory diagram showing an example of the storage contents of the gaze / depression flag table 250. In FIG. 8, the gaze / depression flag table 250 records a gaze flag, a depression flag, and a state flag of each of the students S1 to S8 for each recording date and time as a record.
ここで、記録日時は、各フラグ(注視フラグ、うつむきフラグ、状態フラグ)が記録された日時である。注視フラグは、生徒Siが教師のほうを見ていたか否かを示すフラグである。注視フラグには、教師のほうを見ていた場合に「1」が設定され、教師のほうを見ていなかった場合に「0」が設定される。 Here, the recording date and time is the date and time when each flag (fixation flag, depression flag, status flag) is recorded. The gaze flag is a flag indicating whether or not the student Si was looking at the teacher. The gaze flag is set to “1” when watching the teacher, and is set to “0” when not watching the teacher.
うつむきフラグは、生徒Siがうつむいていたか否かを示すフラグである。うつむきフラグには、うつむいていた場合に「1」が設定され、うつむいていない場合に「0」が設定される。状態フラグは、授業の状態を示すフラグであり、例えば、講義中、発表者選択中、発表中のいずれかの状態を示す。状態フラグには、講義中の場合に「1」が設定され、発表者選択中の場合に「2」が設定され、発表中の場合に「3」が設定される。 The downward flag is a flag indicating whether or not the student Si is downward. The depression flag is set to “1” when the user is facing down, and is set to “0” when the user is not facing down. The status flag is a flag indicating the status of the lesson, and indicates, for example, any of a status during a lecture, a presenter being selected, and a presentation. In the status flag, “1” is set when a lecture is being given, “2” is set when a presenter is selected, and “3” is set when a presenter is giving a presentation.
図9は、第1の注視・うつむき時間記録DB260の記憶内容の一例を示す説明図である。図9において、第1の注視・うつむき時間記録DB260は、発表者選択モード中の各生徒S1〜S8の各種情報を記憶する。発表者選択モードとは、発表時間内において、教師が発表者となる生徒を選択可能なモードであり、状態フラグ(図8参照)が「2」のときの授業の状態に対応する。
FIG. 9 is an explanatory diagram showing an example of the storage contents of the first gaze / depression
具体的には、第1の注視・うつむき時間記録DB260の過去講義累積欄には、過去の講義における発表者選択モード中の各生徒S1〜S8の累積発表者選択時間(s)、注視時間(s)、うつむき時間(s)、注視率(%)およびうつむき率(%)が記録される。
Specifically, in the past lecture accumulation column of the first gaze / depression
ここで、過去講義累積欄の累積発表者選択時間(s)は、過去の講義における発表者選択モードの累積時間を示す。過去講義累積欄の注視時間(s)は、過去の講義における発表者選択モード中に生徒Siが教師の方向を見ていた累積時間を示す。過去講義累積欄のうつむき時間(s)は、過去の講義における発表者選択モード中に生徒Siがうつむいていた累積時間を示す。 Here, the cumulative presenter selection time (s) in the past lecture accumulation column indicates the cumulative time of the presenter selection mode in the past lecture. The gaze time (s) in the past lecture accumulation column indicates the accumulated time during which the student Si looked in the direction of the teacher during the presenter selection mode in the past lecture. The depression time (s) in the past lecture accumulation column indicates the accumulated time that the student Si has been depressed during the presenter selection mode in the past lecture.
過去講義累積欄の注視率(%)は、過去の講義における発表者選択モード中に生徒Siが教師の方向を見ていた割合を示す。過去講義累積欄のうつむき率(%)は、過去の講義における発表者選択モード中に生徒Siがうつむいていた割合を示す。 The gaze rate (%) in the past lecture accumulation column indicates a rate at which the student Si looked in the direction of the teacher during the presenter selection mode in the past lecture. The look-down ratio (%) in the past lecture accumulation column indicates the ratio of the student Si looking down during the presenter selection mode in the past lecture.
また、第1の注視・うつむき時間記録DB260の現在の講義欄には、更新日時、現在の講義における発表者選択モード中の各生徒S1〜S8の選択時間(s)、注視時間(s)、うつむき時間(s)、注視率(%)およびうつむき率(%)が記録される。
Further, the current lecture column of the first gaze / depression
ここで、更新日時は、現在の講義欄の情報が更新された日時である。現在の講義欄の選択時間(s)は、現在の講義における発表者選択モードの累積時間を示す。現在の講義欄の注視時間(s)は、現在の講義における発表者選択モード中に生徒Siが教師の方向を見ていた累積時間を示す。 Here, the update date and time is the date and time when the information in the current lecture section was updated. The selection time (s) in the current lecture column indicates the accumulated time of the presenter selection mode in the current lecture. The watching time (s) in the current lecture column indicates the accumulated time during which the student Si is looking in the direction of the teacher during the presenter selection mode in the current lecture.
現在の講義欄のうつむき時間(s)は、現在の講義における発表者選択モード中に生徒Siがうつむいていた累積時間を示す。現在の講義欄の注視率(%)は、現在の講義における発表者選択モード中に生徒Siが教師の方向を見ていた割合を示す。現在の講義欄のうつむき率(%)は、現在の講義における発表者選択モード中に生徒Siがうつむいていた割合を示す。 The look-down time (s) in the current lecture column indicates the accumulated time during which the student Si was looking down during the presenter selection mode in the current lecture. The gaze rate (%) in the current lecture column indicates the rate at which the student Si looked in the direction of the teacher during the presenter selection mode in the current lecture. The look-down rate (%) in the current lecture field indicates the rate at which the student Si is looking down during the presenter selection mode in the current lecture.
図10は、第2の注視・うつむき時間記録DB270の記憶内容の一例を示す説明図である。図10において、第2の注視・うつむき時間記録DB270は、講義中の各生徒S1〜S8の各種情報を記憶する。講義中とは、教師が生徒に対して講義を行っている状態であり、状態フラグ(図8参照)が「1」のときの授業の状態に対応する。
FIG. 10 is an explanatory diagram showing an example of the storage contents of the second gaze / depression
具体的には、第2の注視・うつむき時間記録DB270の過去講義累積欄には、過去の講義における講義中の各生徒S1〜S8の講義中時間(m)、注視時間(m)、うつむき時間(m)、注視率(%)およびうつむき率(%)が記録される。
Specifically, the past lecture accumulation column of the second gaze / depression
ここで、過去講義累積欄の講義中時間(m)は、過去の講義における講義中の累積時間を示す。過去講義累積欄の注視時間(m)は、過去の講義における講義中に生徒Siが教師の方向を見ていた累積時間を示す。過去講義累積欄のうつむき時間(m)は、過去の講義における講義中に生徒Siがうつむいていた累積時間を示す。 Here, the in-lecture time (m) in the past lecture accumulation column indicates the accumulated time during the lecture in the past lecture. The gaze time (m) in the past lecture accumulation column indicates the accumulated time during which the student Si looked in the direction of the teacher during the lecture in the past lecture. The depression time (m) in the past lecture accumulation column indicates the accumulated time that the student Si has been depressed during the lecture in the past lecture.
過去講義累積欄の注視率(%)は、過去の講義における講義中に生徒Siが教師の方向を見ていた割合を示す。過去講義累積欄のうつむき率(%)は、過去の講義における講義中に生徒Siがうつむいていた割合を示す。 The gaze rate (%) in the past lecture accumulation column indicates a rate at which the student Si looked in the direction of the teacher during the lecture in the past lecture. The look-down rate (%) in the past lecture accumulation column indicates the rate at which the student Si was looking down during the lecture in the past lecture.
また、第2の注視・うつむき時間記録DB270の現在の講義欄には、講義中時間(m)、注視時間(m)、うつむき時間(m)、注視率(%)およびうつむき率(%)が記録される。
Further, the current lecture field of the second gaze / down
ここで、現在の講義欄の講義中時間(m)は、現在の講義における講義中の累積時間を示す。現在の講義欄の注視時間(m)は、現在の講義における講義中に生徒Siが教師の方向を見ていた累積時間を示す。現在の講義欄のうつむき時間(m)は、現在の講義における講義中に生徒Siがうつむいていた累積時間を示す。 Here, the time during lecture (m) in the current lecture column indicates the accumulated time during the lecture in the current lecture. The gaze time (m) in the current lecture column indicates the accumulated time during which the student Si looked in the direction of the teacher during the lecture in the current lecture. The look-down time (m) in the current lecture column indicates the accumulated time during which the student Si was looking down during the lecture in the current lecture.
現在の講義欄の注視率(%)は、現在の講義における講義中に生徒Siが教師の方向を見ていた割合を示す。現在の講義欄のうつむき率(%)は、現在の講義における講義中に生徒Siがうつむいていた割合を示す。 The gaze rate (%) in the current lecture column indicates a rate at which the student Si looked in the direction of the teacher during the lecture in the current lecture. The look-down rate (%) in the current lecture column indicates the rate at which the student Si is looking down during the lecture in the current lecture.
(課題選択画面1100の画面例)
つぎに、教師端末201のディスプレイ406に表示される課題選択画面1100の画面例について説明する。以下の説明では、教師端末201の各種画面に表示される項目やボタンをユーザが選択する操作として、クリック操作を行う場合を例に挙げて説明する。
(Screen example of the task selection screen 1100)
Next, a screen example of the
図11は、課題選択画面1100の画面例を示す説明図である。図11において、課題選択画面1100は、生徒に検討させたい課題の選択を受け付ける画面である。
FIG. 11 is an explanatory diagram showing a screen example of the
課題選択画面1100において、教師端末201の入力装置407(図4参照)を用いたユーザの操作入力により、選択ボタン1101〜1103のいずれかをクリックすると、生徒に検討させたい課題を選択することができる。図11の例では、選択ボタン1102がクリックされて、課題K2が選択されている。
On the
また、課題選択画面1100において、課題送信ボタン1104をクリックすると、選択された課題の情報(例えば、課題K2の課題内容)を、教師端末201から生徒端末T1〜Tnに送信することができる。この結果、例えば、後述の図12に示すような回答画面1200が、生徒端末T1〜Tnのディスプレイ406に表示される。
When the user clicks an
なお、課題選択画面1100において、キャンセルボタン1105をクリックすると、課題選択画面1100の表示を終了させることができる。また、課題選択画面1100には、各課題の難度を合わせて表示することにしてもよい。
When the user clicks a cancel
(回答画面1200の画面例)
つぎに、生徒端末Tiのディスプレイ406に表示される回答画面1200の画面例について説明する。以下の説明では、生徒端末Tiの各種画面に表示される項目やボタンをユーザが選択する操作として、タップ操作を行う場合を例に挙げて説明する。
(Screen example of the answer screen 1200)
Next, a screen example of the
図12は、回答画面1200の画面例を示す説明図である。図12において、回答画面1200は、教師から与えられた課題に対する意見内容の入力を受け付ける画面である。図12の例では、回答画面1200には、課題K2の課題内容「被災地からの瓦礫受け入れについてどう思うか?」が表示されている。
FIG. 12 is an explanatory diagram showing a screen example of the
回答画面1200において、入力装置407(図4参照)を用いたユーザの操作入力により、チェックボックス1201,1202のいずれかをタップすると、課題で問われたことについて、賛成であるか反対であるかを選択することができる。図12の例では、チェックボックス1201がタップされた状態となっている。
On the
また、回答画面1200において、意見欄1203をタップすると、課題に対する意見内容を入力することができる。図12の例では、課題に対する意見内容が意見欄1203に入力されていない未入力の状態である。なお、回答画面1200において、意見クリアボタン1204をタップすると、意見欄1203に入力された内容をクリアすることができる。
Further, in the
また、回答画面1200において、送信ボタン1205をタップすると、生徒端末Tiから教師端末201に回答結果を送信することができる。回答結果には、例えば、課題で問われたことについての賛否の選択結果と、意見欄1203に入力された意見内容と、が含まれる。
Further, when the
この結果、例えば、後述の図13に示すような教師用マトリクス画面1300が、教師端末201のディスプレイ406に表示される。また、生徒端末Tiから教師端末201に回答結果が送信されると、生徒端末Tiのディスプレイ406には、例えば、課題で問われたことについての賛否の選択結果と、意見欄1203に入力された意見内容とが表示される。
As a result, for example, a
(教師用マトリクス画面1300の画面例)
つぎに、教師端末201のディスプレイ406に表示される教師用マトリクス画面1300の画面例について説明する。
(Screen example of the matrix screen for teacher 1300)
Next, a screen example of the
図13は、教師用マトリクス画面1300の画面例を示す説明図(その1)である。図13において、教師用マトリクス画面1300は、教師から与えられた課題に対する生徒の意見内容を表示する画面である。図13の例では、課題K2に対する生徒の意見内容1301〜1308が表示されている。
FIG. 13 is an explanatory diagram (part 1) of a screen example of the
例えば、意見内容1301は、課題K2に対する生徒S1の賛否「賛成」と意見内容「困っているときには助けるべき。」と生徒名「田中」とを示している。
For example, the
教師用マトリクス画面1300において、発表モード移行ボタン1310をクリックすると、教師端末201は発表者選択モードに移行する。また、教師用マトリクス画面1300において、授業終了ボタン1320をクリックすると、教師用マトリクス画面1300の表示を終了することができる。
When the presentation
なお、教師用マトリクス画面1300の表示内容は、例えば、教師端末201が生徒端末Tiから回答結果を受信すると、その都度更新される。また、教師用マトリクス画面1300において、各生徒の意見内容の表示位置は、例えば、各生徒の座席位置などに応じて予め設定されている。
The display contents of the
(生徒用マトリクス画面1400)
つぎに、電子黒板202のディスプレイ406に表示される生徒用マトリクス画面1400の画面例について説明する。
(Student matrix screen 1400)
Next, a screen example of the
図14は、生徒用マトリクス画面1400の画面例を示す説明図である。図14において、生徒用マトリクス画面1400は、教師から与えられた課題に対する生徒の意見内容を一覧表示する画面である。図14の例では、課題K2に対する生徒の意見内容1401〜1408が表示されている。
FIG. 14 is an explanatory diagram showing a screen example of the
意見内容1401〜1408は、図13に示した教師用マトリクス画面1300に表示された意見内容1301〜1308と同一内容である。生徒用マトリクス画面1400によれば、各生徒S1〜S8は、課題K2に対する他の生徒の意見内容を確認することができる。教師は、例えば、電子黒板202に生徒用マトリクス画面1400が表示されると、課題についての講義を開始し、その後、課題に対する意見の発表者の選択を行う。
The
(発表時画面1500)
つぎに、電子黒板202のディスプレイ406に表示される発表時画面1500の画面例について説明する。
(Screen at presentation 1500)
Next, a screen example of the
図15は、発表時画面1500の画面例を示す説明図である。図15において、発表時画面1500は、発表者として選択された生徒Siの意見を拡大表示する画面である。図15の例では、課題K2に対する意見の発表者として選択された生徒S5(黒田さん)の意見内容1510(賛否、意見内容)が拡大表示されている。
FIG. 15 is an explanatory diagram showing a screen example of the
発表時画面1500によれば、各生徒S1〜S8は、課題K2に対する発表者の意見内容を確認することができる。また、発表時画面1500において、発表終了ボタン1520をクリックすると、発表時画面1500の表示を終了することができる。なお、発表時画面1500上での入力操作は、例えば、教師端末201の入力装置407を用いて行うことができる。
According to the
(教師端末201の機能的構成例)
図16は、教師端末201の機能的構成例を示すブロック図である。図16において、教師端末201は、取得部1601と、受付部1602と、表示制御部1603と、送信部1604と、受信部1605と、認識部1606と、検出部1607と、設定部1608と、算出部1609と、更新部1610と、を含む構成である。取得部1601〜更新部1610は制御部となる機能であり、具体的には、例えば、図4に示したメモリ402、ディスク404などの記憶装置に記憶されたプログラムをCPU401に実行させることにより、その機能を実現する。各機能部の処理結果は、例えば、メモリ402、ディスク404などの記憶装置に記憶される。
(Functional configuration example of teacher terminal 201)
FIG. 16 is a block diagram illustrating a functional configuration example of the
取得部1601は、カメラ300によって撮影された撮影画像を取得する。ここで、撮影画像は、例えば、席に座った生徒S1〜S8を撮影した画像である。具体的には、例えば、取得部1601は、カメラ300によって[1フレーム/0.1秒]で撮影される撮影画像をカメラ300から取得する。撮影画像の具体例については、図17を用いて後述する。
The
受付部1602は、課題選択画面1100(図11参照)の表示要求を受け付ける。具体的には、例えば、受付部1602は、教師端末201の入力装置407を用いたユーザの操作入力により、課題選択画面1100の表示要求を受け付ける。
The receiving
表示制御部1603は、教師端末201のディスプレイ406に課題選択画面1100を表示する。具体的には、例えば、表示制御部1603は、課題選択画面1100の表示要求を受け付けたことに応じて、課題DB230(図6参照)を参照して、課題選択画面1100の画面情報を生成することにより、ディスプレイ406に課題選択画面1100を表示する。
The
これにより、教師端末201のディスプレイ406に、生徒に検討させたい課題を選択可能な課題選択画面1100を表示することができる。
As a result, an
受付部1602は、生徒に検討させたい課題の課題IDの選択を受け付ける。具体的には、例えば、受付部1602は、課題選択画面1100において、ユーザの操作入力により、課題IDの選択を受け付ける。以下の説明では、選択を受け付けた課題IDに対応する課題を「課題K」と表記する場合がある。
The receiving
表示制御部1603は、生徒端末T1〜Tnのディスプレイ406に回答画面1200(図12参照)を表示する制御を行う。具体的には、例えば、まず、表示制御部1603は、課題選択画面1100において課題送信ボタン1104がクリックされたことに応じて、課題DB230から課題Kの課題情報を抽出する。つぎに、表示制御部1603は、生徒DB220(図5参照)を参照して、生徒端末T1〜Tnの端末アドレスを特定する。そして、表示制御部1603は、送信部1604を制御して、抽出した課題Kの課題情報を生徒端末T1〜Tnの端末アドレス宛にそれぞれ送信する。
The
これにより、生徒端末T1〜Tnのディスプレイ406に、教師から与えられた課題Kに対する意見内容を入力可能な回答画面1200を表示することができる。
As a result, it is possible to display, on the
受信部1605は、課題Kに対する回答結果を生徒端末Tiから受信する。回答結果には、例えば、課題ID、生徒ID、課題Kで問われたことについての賛否の選択結果、課題Kに対する意見内容などが含まれる。受信された回答結果は、例えば、回答DB240(図7参照)に記憶される。
The receiving
表示制御部1603は、教師端末201のディスプレイ406に教師用マトリクス画面1300(図13参照)を表示する。具体的には、例えば、表示制御部1603は、回答DB240を参照して、教師用マトリクス画面1300の画面情報を生成することにより、ディスプレイ406に教師用マトリクス画面1300を表示する。
The
これにより、教師端末201のディスプレイ406に、生徒Siから提出された課題Kに対する意見内容を閲覧可能な教師用マトリクス画面1300を表示することができる。
Thereby, the
受付部1602は、発表者選択モードへの移行指示を受け付ける。具体的には、例えば、受付部1602は、教師用マトリクス画面1300(図13参照)において、発表モード移行ボタン1310がクリックされると、発表者選択モードへの移行指示を受け付ける。
Receiving
また、受付部1602は、教師端末201のマイクロフォン(不図示)に受音された音声、例えば、「これから発表者を指名します。」などの音声を音声認識することにより、発表者選択モードへの移行指示を受け付けることにしてもよい。さらに、受付部1602は、教師端末201に設けられる物理的なボタン(不図示)が押下されたことを検出することにより、発表者選択モードへの移行指示を受け付けることにしてもよい。
In addition, the
認識部1606は、生徒Siの画像に対する顔認識処理を行う。具体的には、例えば、まず、認識部1606は、カメラ300によって撮影された撮影画像から、生徒Siの顔領域の画像を抽出する。そして、認識部1606は、顔認識用の学習データを用いて、抽出した顔領域の画像から生徒Siの顔を認識する。
The
顔認識用の学習データは、例えば、生徒Siの顔を撮影した顔画像から生成される。例えば、顔認識用の学習データは、生徒Siの顔画像に基づいて、HOG(Histograms of Oriented Gradients)特徴量を求め、AdaBoostなどで学習することで生成することができる。 The learning data for face recognition is generated, for example, from a face image of the face of the student Si. For example, learning data for face recognition can be generated by obtaining a HOG (Histograms of Oriented Gradients) feature amount based on the face image of the student Si and learning by AdaBoost or the like.
なお、認識部1606による顔認識処理は、例えば、カメラ300によって所定の時間間隔(例えば、[1フレーム/0.1秒])で撮影される撮影画像に対して行われる。
The face recognition process performed by the
ここで、図17を用いて、認識部1606の具体的な処理内容について説明する。
Here, specific processing contents of the
図17は、撮影画像の具体例を示す説明図である。図17において、撮影画像1700は、カメラ300によって生徒S1〜S8を撮影した画像である。また、図17中の点線枠1701〜1708は、生徒S1〜S8の顔領域をそれぞれ示している。また、図17中のX軸とY軸は、画像座標系の座標軸である。
FIG. 17 is an explanatory diagram illustrating a specific example of a captured image. 17, a captured
ここで、生徒S1の顔を認識する場合について説明する。この場合、認識部1606は、生徒DB220(図5参照)から、生徒S1のエリア座標を取得する。つぎに、認識部1606は、撮影画像1700から、取得した生徒S1のエリア座標から特定される顔領域1701の画像を抽出する。そして、認識部1606は、生徒S1の顔認識用の学習データを用いて、抽出した顔領域1701の画像から生徒S1の顔を認識する。図17の例では、生徒S1はうつむいているため、顔領域1701の画像から生徒S1の顔は認識されない。
Here, a case where the face of the student S1 is recognized will be described. In this case, the recognizing
つぎに、生徒S3の顔を認識する場合について説明する。この場合、認識部1606は、生徒DB220(図5参照)から、生徒S3のエリア座標を取得する。つぎに、認識部1606は、撮影画像1700から、取得した生徒S3のエリア座標から特定される顔領域1703の画像を抽出する。そして、認識部1606は、生徒S3の顔認識用の学習データを用いて、抽出した顔領域1703の画像から生徒S3の顔を認識する。図17の例では、生徒S3は前を向いているため、顔領域1703の画像から生徒S3の顔が認識される。
Next, a case where the face of the student S3 is recognized will be described. In this case, the
図16の説明に戻り、検出部1607は、生徒Siの画像を顔認識して得られる生徒Siの眼の画像に基づいて、生徒Siの視線を検出する。ここで、生徒Siの眼とは、生徒Siの眼球の表面であり、例えば、まぶたの動きに連動して露出する黒眼と白眼を含む眼球の表面である。
Returning to the description of FIG. 16, the
具体的には、例えば、検出部1607は、生徒Siの眼の画像から特定される、基準点に対する動点の位置に基づいて、生徒Siの視線を検出する。より具体的には、例えば、検出部1607は、基準点を「目頭」とし、動点を「虹彩」として、生徒Siの視線(視線ベクトル)を検出することにしてもよい。
Specifically, for example, the detecting
また、検出部1607は、例えば、基準点を「角膜反射」とし、動点を「瞳孔」として、生徒Siの視線(視線ベクトル)を検出することにしてもよい。角膜反射は、例えば、不図示の赤外線LED(Light Emitting Diode)により生徒Siに赤外線を照射してできた反射光の角膜上の位置を示す。
Further, the
なお、視線検出技術については、例えば、以下のウェブページ<URL :http://jp.fujitsu.com/group/labs/techinfo/techguide/list/eye−movements.html>を参照することができる。 In addition, about a gaze detection technique, for example, the following web page <URL: http: // jp. Fujitsu. com / group / labs / techinfo / techguide / list / eye-movements. html>.
設定部1608は、状態フラグを設定する。ここで、状態フラグとは、授業の状態を示すフラグであり、例えば、講義中、発表者選択中、発表中のいずれかの状態を示す。講義中は、教師が生徒S1〜Snに対して講義を行っている状態である。発表者選択中は、課題Kに対する意見の発表者を選択可能な状態である。発表中は、課題Kに対する意見の発表者として選択された生徒Siが発表している状態である。状態フラグは、例えば、メモリ402、ディスク404などの記憶装置に記憶される。
The
具体的には、例えば、設定部1608は、課題Kに対する回答結果を生徒端末T1〜Tnから受信したことに応じて、状態フラグを「1」に設定する。状態フラグ「1」は、講義中であることを示す。また、設定部1608は、例えば、課題Kの回答制限時間が経過したことに応じて、状態フラグを「1」に設定することにしてもよい。
Specifically, for example, the
また、設定部1608は、例えば、発表者選択モードへの移行指示を受け付けたことに応じて、状態フラグを「2」に設定する。状態フラグ「2」は、発表者選択中であることを示す。また、設定部1608は、課題Kに対する意見の発表者が選択されたことに応じて、状態フラグを「3」に設定する。状態フラグ「3」は、発表中であることを示す。
The
また、設定部1608は、認識部1606によって認識された認識結果に基づいて、生徒Siのうつむきフラグを設定する。ここで、生徒Siの顔が認識されなかった場合は、生徒Siがうつむいていたと判断することができる。このため、設定部1608は、生徒Siの顔が認識されなかった場合に、生徒Siのうつむきフラグ「1」を設定する。
Further, the
より具体的には、例えば、設定部1608は、生徒Siの顔が認識されなかった場合に、記録日時および状態フラグと対応付けて、生徒Siの注視フラグ「0」、うつむきフラグ「1」を、注視・うつむきフラグテーブル250(図8参照)に記録する。
More specifically, for example, when the face of the student Si is not recognized, the
これにより、記録日時および状態フラグと対応付けて、生徒Siがうつむいていたことを示すうつむきフラグ「1」を記録することができる。なお、記録日時は、注視フラグ、うつむきフラグを記録した日時であってもよく、顔認識処理対象の撮影画像が撮影された日時であってもよい。 As a result, the downward flag “1” indicating that the student Si is downward can be recorded in association with the recording date and time and the status flag. Note that the recording date and time may be the date and time when the gaze flag and the depression flag are recorded, or may be the date and time when the captured image to be subjected to the face recognition processing is captured.
また、設定部1608は、検出部1607によって検出された検出結果に基づいて、生徒Siの注視フラグを設定する。ここで、生徒Siの視線が、教師が位置する特定の方向に向いている場合は、生徒Siが教師のほうを見ていると判断することができる。
Further, the
このため、設定部1608は、例えば、検出された生徒Siの視線が、予め設定された教師が位置する特定の方向に向いているか否かを判断する。そして、設定部1608は、生徒Siの視線が特定の方向に向いている場合に、生徒Siの注視フラグ「1」を設定する。
For this reason, the
より具体的には、例えば、設定部1608は、生徒Siの視線が特定の方向に向いている場合に、記録日時および状態フラグと対応付けて、生徒Siの注視フラグ「1」、うつむきフラグ「0」を、注視・うつむきフラグテーブル250に記録する。
More specifically, for example, when the gaze of the student Si is directed to a specific direction, the
これにより、記録日時および状態フラグと対応付けて、生徒Siが教師のほうを見ていたことを示す注視フラグ「1」を記録することができる。 Thereby, the gaze flag “1” indicating that the student Si was looking at the teacher can be recorded in association with the recording date and time and the status flag.
算出部1609は、認識部1606によって認識された認識結果に基づいて、現在の講義における発表者選択モード中の生徒Siのうつむき率を算出する。具体的には、例えば、算出部1609は、注視・うつむきフラグテーブル250を参照して、状態フラグ「2」のレコード数R1を計数する。つぎに、算出部1609は、注視・うつむきフラグテーブル250を参照して、状態フラグ「2」の生徒Siのうつむきフラグ「1」のうつむきフラグ数F1を計数する。そして、算出部1609は、計数したうつむきフラグ数F1をレコード数R1で除算することにより、現在の講義における発表者選択モード中の生徒Siのうつむき率を算出する。
The
これにより、現在の講義における発表者選択モード中に生徒Siがうつむいていた割合を示すうつむき率を算出することができる。 As a result, it is possible to calculate the downturn rate indicating the rate at which the student Si is down during the presenter selection mode in the current lecture.
算出された現在の講義における発表者選択モード中の生徒Siのうつむき率は、例えば、第1の注視・うつむき時間記録DB260(図9参照)内の現在の講義欄に設定される。また、計数されたレコード数R1は、選択時間に換算されて第1の注視・うつむき時間記録DB260内の現在の講義欄に設定される。また、計数されたうつむきフラグ数F1は、うつむき時間に換算されて第1の注視・うつむき時間記録DB260内の現在の講義欄に設定される。
The calculated depression rate of the student Si in the presenter selection mode in the current lecture is set, for example, in the current lecture column in the first gaze / depression time record DB 260 (see FIG. 9). Further, the counted number of records R1 is converted into the selected time and set in the current lecture field in the first gaze / down
なお、レコード数R1は、例えば、カメラ300の撮影間隔(例えば、0.1[s])を掛け合わせることにより、選択時間に換算することができる。また、フラグ数F1は、例えば、カメラ300の撮影間隔(例えば、0.1[s])を掛け合わせることにより、うつむき時間に換算することができる。 Note that the number of records R1 can be converted into a selection time by, for example, multiplying the shooting interval of the camera 300 (for example, 0.1 [s]). In addition, the flag number F1 can be converted into a downward looking time by, for example, multiplying the shooting interval of the camera 300 (for example, 0.1 [s]).
また、算出部1609は、検出部1607によって検出された検出結果に基づいて、現在の講義における発表者選択モード中の生徒Siの注視率を算出する。具体的には、例えば、算出部1609は、注視・うつむきフラグテーブル250を参照して、状態フラグ「2」のレコード数R1を計数する。つぎに、算出部1609は、注視・うつむきフラグテーブル250を参照して、状態フラグ「2」の生徒Siの注視フラグ「1」の注視フラグ数F2を計数する。そして、算出部1609は、計数した注視フラグ数F2をレコード数R1で除算することにより、現在の講義における発表者選択モード中の生徒Siの注視率を算出する。
Further, the
これにより、現在の講義における発表者選択モード中に生徒Siが教師のほうを見ていた割合を示す注視率を算出することができる。 Thereby, it is possible to calculate the gaze rate indicating the rate at which the student Si was looking at the teacher during the presenter selection mode in the current lecture.
算出された現在の講義における発表者選択モード中の生徒Siの注視率は、例えば、第1の注視・うつむき時間記録DB260内の現在の講義欄に設定される。また、計数された注視フラグ数F2は、注視時間に換算されて第1の注視・うつむき時間記録DB260内の現在の講義欄に設定される。なお、注視フラグ数F2は、例えば、カメラ300の撮影間隔(例えば、0.1[s])を掛け合わせることにより、注視時間に換算することができる。
The calculated gaze rate of the student Si during the presenter's selection mode in the current lecture is set, for example, in the current lecture column in the first gaze / depression
また、算出部1609は、認識部1606によって認識された認識結果に基づいて、現在の講義中の生徒Siのうつむき率を算出することにしてもよい。具体的には、例えば、算出部1609は、注視・うつむきフラグテーブル250を参照して、状態フラグ「1」のレコード数R2を計数する。つぎに、算出部1609は、注視・うつむきフラグテーブル250を参照して、状態フラグ「1」の生徒Siのうつむきフラグ「1」のうつむきフラグ数F3を計数する。そして、算出部1609は、計数したうつむきフラグ数F3をレコード数R2で除算することにより、現在の講義中の生徒Siのうつむき率を算出する。
Further, the calculating
これにより、現在の講義中に生徒Siがうつむいていた割合を示すうつむき率を算出することができる。 As a result, it is possible to calculate the downward gaze rate indicating the rate at which the student Si gazes down during the current lecture.
算出された現在の講義中の生徒Siのうつむき率は、例えば、第2の注視・うつむき時間記録DB270(図10参照)内の現在の講義欄に設定される。また、計数されたレコード数R2は、講義中時間に換算されて第2の注視・うつむき時間記録DB270内の現在の講義欄に設定される。また、計数されたうつむきフラグ数F3は、うつむき時間に換算されて第2の注視・うつむき時間記録DB270内の現在の講義欄に設定される。
The calculated downward rate of the student Si during the current lecture is set, for example, in the current lecture field in the second gaze / downtime record DB 270 (see FIG. 10). Further, the counted number of records R2 is converted into a lecture time, and is set in the current lecture column in the second gaze / depression
なお、レコード数R2は、例えば、カメラ300の撮影間隔(例えば、0.1[s])を掛け合わせることにより、講義中時間に換算することができる。また、フラグ数F3は、例えば、カメラ300の撮影間隔(例えば、0.1[s])を掛け合わせることにより、うつむき時間に換算することができる。 Note that the number of records R2 can be converted into a lecture time by, for example, multiplying the shooting interval of the camera 300 (for example, 0.1 [s]). In addition, the flag number F3 can be converted into a prolonged time by multiplying the shooting interval of the camera 300 (for example, 0.1 [s]), for example.
また、算出部1609は、検出部1607によって検出された検出結果に基づいて、現在の講義中の生徒Siの注視率を算出する。具体的には、例えば、算出部1609は、注視・うつむきフラグテーブル250を参照して、状態フラグ「1」のレコード数R2を計数する。つぎに、算出部1609は、注視・うつむきフラグテーブル250を参照して、状態フラグ「1」の生徒Siの注視フラグ「1」の注視フラグ数F4を計数する。そして、算出部1609は、計数した注視フラグ数F4をレコード数R2で除算することにより、現在の講義中の生徒Siの注視率を算出する。
Further, the calculating
これにより、現在の講義中に生徒Siが教師のほうを見ていた割合を示す注視率を算出することができる。 Thereby, it is possible to calculate the gaze rate indicating the rate at which the student Si was looking at the teacher during the current lecture.
算出された現在の講義中の生徒Siの注視率は、例えば、第2の注視・うつむき時間記録DB270内の現在の講義欄に設定される。また、計数された注視フラグ数F4は、注視時間に換算されて第2の注視・うつむき時間記録DB270内の現在の講義欄に設定される。なお、注視フラグ数F4は、例えば、カメラ300の撮影間隔(例えば、0.1[s])を掛け合わせることにより、注視時間に換算することができる。
The calculated gaze rate of the student Si during the current lecture is set, for example, in the current lecture column in the second gaze / depression
表示制御部1603は、算出された現在の講義における発表者選択モード中の生徒Siのうつむき率を、生徒Siと対応付けて出力する。具体的には、例えば、表示制御部1603は、教師用マトリクス画面1300において、現在の講義における発表者選択モード中の生徒S1〜S8のうつむき率を、意見内容1301〜1308とともに表示することにしてもよい。
The
また、例えば、表示制御部1603は、生徒S1〜S8の生徒名を、現在の講義における発表者選択モード中のうつむき率が高い順(あるいは、低い順)にソートしてディスプレイ406に表示することにしてもよい。この際、表示制御部1603は、現在の講義における発表者選択モード中のうつむき率が高い(あるいは、低い)上位N人(例えば、N=3)の生徒名をディスプレイ406に表示することにしてもよい。
In addition, for example, the
また、表示制御部1603は、算出された現在の講義における発表者選択モード中の生徒Siの注視率を、生徒Siと対応付けて出力する。具体的には、例えば、表示制御部1603は、教師用マトリクス画面1300において、現在の講義における発表者選択モード中の生徒S1〜S8の注視率を、意見内容1301〜1308とともに表示することにしてもよい。
In addition, the
また、例えば、表示制御部1603は、生徒S1〜S8の生徒名を、現在の講義における発表者選択モード中の注視率が高い順(あるいは、低い順)にソートしてディスプレイ406に表示することにしてもよい。この際、表示制御部1603は、現在の講義における発表者選択モード中の注視率が高い(あるいは、低い)上位N人(例えば、N=3)の生徒の生徒名をディスプレイ406に表示することにしてもよい。
Also, for example, the
また、表示制御部1603は、過去の講義における発表者選択モード中のうつむき率と、算出された現在の講義における発表者選択モード中の生徒Siのうつむき率とを比較することにしてもよい。過去の講義における発表者選択モード中のうつむき率は、例えば、第1の注視・うつむき時間記録DB260の過去講義累積欄のうつむき率に対応する。
Further, the
そして、表示制御部1603は、うつむき率の差分が閾値α以上となる生徒Siの識別情報を出力することにしてもよい。閾値αは、予め設定されてメモリ402、ディスク404などの記憶装置に記憶されている。閾値αは、例えば、30〜70[%]程度の値に設定される。
Then, the
なお、うつむき率の差分は、例えば、現在の講義における発表者選択モード中の生徒Siのうつむき率から、過去の講義における発表者選択モード中のうつむき率を減算した値である。この場合、過去の講義における発表者選択モード中よりも現在の講義における発表者選択モード中のほうが、うつむき率が閾値α以上増加した生徒Siを特定することができる。 Note that the difference in the depression rate is, for example, a value obtained by subtracting the depression rate in the presenter's selection mode in the past lecture from the depression rate of the student Si in the presenter selection mode in the current lecture. In this case, the student Si whose depression rate has increased by the threshold α or more can be specified during the presenter selection mode in the current lecture, rather than during the presenter selection mode in the past lecture.
また、うつむき率の差分は、例えば、過去の講義における発表者選択モード中のうつむき率から、現在の講義における発表者選択モード中の生徒Siのうつむき率を減算した値であってもよい。この場合、過去の講義における発表者選択モード中よりも現在の講義における発表者選択モード中のほうが、うつむき率が閾値α以上低下した生徒Siを特定することができる。 In addition, the difference in the depression rate may be, for example, a value obtained by subtracting the depression rate of the student Si in the presenter selection mode in the present lecture from the depression rate in the presenter selection mode in the past lecture. In this case, the student Si whose depression rate has decreased by the threshold α or more can be specified during the presenter selection mode in the current lecture, rather than during the presenter selection mode in the past lecture.
具体的には、例えば、表示制御部1603は、教師用マトリクス画面1300において、うつむき率の差分が閾値α以上となる生徒Siの画像を意見内容とともに表示することにしてもよい。この際、表示制御部1603は、生徒Siがうつむいているときの画像を意見内容とともに表示することにしてもよい。
Specifically, for example, the
なお、教師用マトリクス画面1300において、うつむき率の差分が閾値α以上となる生徒Siの画像を意見内容とともに表示する場合の画面例については、図18を用いて後述する。
It should be noted that an example of a screen in the case where the image of the student Si whose difference in the depression rate is equal to or larger than the threshold α is displayed together with the opinion content on the
また、表示制御部1603は、うつむき率の差分が最大の生徒Siを発表者候補として表示することにしてもよい。具体的には、例えば、表示制御部1603は、後述の図19に示すような発表者選択画面1900をディスプレイ406にポップアップ表示することにしてもよい。
In addition, the
また、表示制御部1603は、過去の講義における発表者選択モード中の注視率と、算出された現在の講義における発表者選択モード中の生徒Siの注視率とを比較することにしてもよい。過去の講義における発表者選択モード中の注視率は、例えば、第1の注視・うつむき時間記録DB260の過去講義累積欄の注視率に対応する。そして、表示制御部1603は、注視率の差分が閾値α以上となる生徒Siの識別情報を出力することにしてもよい。
Further, the
なお、注視率の差分は、例えば、現在の講義における発表者選択モード中の生徒Siの注視率から、過去の講義における発表者選択モード中の注視率を減算した値である。この場合、過去の講義における発表者選択モード中よりも現在の講義における発表者選択モード中のほうが、注視率が閾値α以上増加した生徒Siを特定することができる。 Note that the difference in the gaze rate is, for example, a value obtained by subtracting the gaze rate in the presenter selection mode in the past lecture from the gaze rate of the student Si in the presenter selection mode in the current lecture. In this case, the student Si whose gaze rate has increased by the threshold α or more can be specified during the presenter selection mode in the current lecture, rather than during the presenter selection mode in the past lecture.
また、注視率の差分は、例えば、過去の講義における発表者選択モード中の注視率から、現在の講義における発表者選択モード中の生徒Siの注視率を減算した値であってもよい。この場合、過去の講義における発表者選択モード中よりも現在の講義における発表者選択モード中のほうが、注視率が閾値α以上低下した生徒Siを特定することができる。 Further, the difference in gaze rate may be, for example, a value obtained by subtracting the gaze rate of the student Si in the presenter selection mode in the present lecture from the gaze rate in the presenter selection mode in the past lecture. In this case, the student Si whose gaze rate has decreased by the threshold α or more can be specified during the presenter selection mode in the current lecture, rather than during the presenter selection mode in the past lecture.
具体的には、例えば、表示制御部1603は、教師用マトリクス画面1300において、注視率の差分が閾値α以上となる生徒Siの画像を意見内容とともに表示することにしてもよい。この際、表示制御部1603は、生徒Siが教師のほうを見ているときの画像を意見内容とともに表示することにしてもよい。さらに、表示制御部1603は、注視率の差分が閾値α以上となる上位N人の生徒の画像を意見内容とともに表示することにしてもよい。
Specifically, for example, the
なお、教師用マトリクス画面1300において、注視率の差分が閾値α以上となる生徒Siの画像を意見内容とともに表示する場合の画面例については、図18を用いて後述する。
It should be noted that an example of a screen in the case where the image of the student Si whose difference in gaze rate is equal to or more than the threshold α is displayed together with the opinion content on the
また、表示制御部1603は、注視率の差分が最大の生徒Siを発表者候補として表示することにしてもよい。具体的には、例えば、表示制御部1603は、後述の図19に示すような発表者選択画面1900をディスプレイ406にポップアップ表示することにしてもよい。
The
また、表示制御部1603は、現在の講義中の生徒Siのうつむき率と、算出された現在の講義における発表者選択モード中の生徒Siのうつむき率とを比較することにしてもよい。現在の講義中のうつむき率は、例えば、第2の注視・うつむき時間記録DB270の現在の講義欄のうつむき率に対応する。そして、表示制御部1603は、うつむき率の差分が閾値α以上となる生徒Siの識別情報を出力することにしてもよい。
In addition, the
なお、うつむき率の差分は、例えば、現在の講義における発表者選択モード中の生徒Siのうつむき率から、現在の講義中のうつむき率を減算した値である。この場合、現在の講義中よりも現在の講義における発表者選択モード中のほうが、うつむき率が閾値α以上増加した生徒Siを特定することができる。 The difference in the depression rate is, for example, a value obtained by subtracting the depression rate in the current lecture from the depression rate of the student Si in the presenter selection mode in the current lecture. In this case, the student Si whose depression rate has increased by the threshold α or more can be specified in the presenter selection mode in the current lecture rather than in the current lecture.
また、うつむき率の差分は、例えば、現在の講義中のうつむき率から、現在の講義における発表者選択モード中の生徒Siのうつむき率を減算した値であってもよい。この場合、現在の講義中よりも現在の講義における発表者選択モード中のほうが、うつむき率が閾値α以上低下した生徒Siを特定することができる。 In addition, the difference in the depression rate may be, for example, a value obtained by subtracting the depression rate of the student Si in the presenter selection mode in the present lecture from the depression rate in the current lecture. In this case, the student Si whose depression rate has decreased by the threshold α or more can be specified in the presenter selection mode in the current lecture rather than in the current lecture.
具体的には、例えば、表示制御部1603は、教師用マトリクス画面1300において、うつむき率の差分が閾値α以上となる生徒Siの顔画像を意見内容とともに表示することにしてもよい。この際、表示制御部1603は、生徒Siがうつむいているときの画像を意見内容とともに表示することにしてもよい。さらに、表示制御部1603は、うつむき率の差分が閾値α以上となる上位N人の生徒の画像を意見内容とともに表示することにしてもよい。
Specifically, for example, the
また、表示制御部1603は、現在の講義中の生徒Siの注視率と、算出された現在の講義における発表者選択モード中の生徒Siの注視率とを比較することにしてもよい。現在の講義中の注視率は、例えば、第1の注視・うつむき時間記録DB260の現在の講義欄の注視率に対応する。そして、表示制御部1603は、注視率の差分が閾値α以上となる生徒Siの識別情報を出力することにしてもよい。
The
なお、注視率の差分は、例えば、現在の講義における発表者選択モード中の生徒Siの注視率から、現在の講義中の注視率を減算した値である。この場合、現在の講義中よりも現在の講義における発表者選択モード中のほうが、注視率が閾値α以上増加した生徒Siを特定することができる。 The difference in the gaze rate is, for example, a value obtained by subtracting the gaze rate in the current lecture from the gaze rate of the student Si in the presenter selection mode in the current lecture. In this case, the student Si whose gaze rate has increased by the threshold α or more can be specified in the presenter selection mode in the current lecture rather than in the current lecture.
また、注視率の差分は、例えば、現在の講義中の注視率から、現在の講義における発表者選択モード中の生徒Siの注視率を減算した値であってもよい。この場合、現在の講義中よりも現在の講義における発表者選択モード中のほうが、注視率が閾値α以上低下した生徒Siを特定することができる。 Further, the difference in the gaze rate may be, for example, a value obtained by subtracting the gaze rate of the student Si in the presenter selection mode in the current lecture from the gaze rate in the current lecture. In this case, the student Si whose gaze rate has decreased by the threshold α or more can be specified in the presenter selection mode in the current lecture rather than in the current lecture.
具体的には、例えば、表示制御部1603は、教師用マトリクス画面1300において、注視率の差分が閾値α以上となる生徒Siの画像を意見内容とともに表示することにしてもよい。この際、表示制御部1603は、生徒Siが教師のほうを見ているときの画像を意見内容とともに表示することにしてもよい。さらに、表示制御部1603は、注視率の差分が閾値α以上となる上位N人の生徒の画像を意見内容とともに表示することにしてもよい。
Specifically, for example, the
また、表示制御部1603は、過去の講義中のうつむき率と、算出された現在の講義における発表者選択モード中の生徒Siのうつむき率とを比較することにしてもよい。過去の講義中のうつむき率は、例えば、第2の注視・うつむき時間記録DB270の過去講義累積欄のうつむき率に対応する。そして、表示制御部1603は、うつむき率の差分が閾値α以上となる生徒Siの識別情報を出力することにしてもよい。
In addition, the
また、表示制御部1603は、過去の講義中の注視率と、算出された現在の講義における発表者選択モード中の生徒Siの注視率とを比較することにしてもよい。過去の講義中の注視率は、例えば、第1の注視・うつむき時間記録DB260の過去講義累積欄の注視率に対応する。そして、表示制御部1603は、注視率の差分が閾値α以上となる生徒Siの識別情報を出力することにしてもよい。
Further, the
また、表示制御部1603は、課題Kの難度に応じて、現在の講義における発表者選択モード中の注視率が閾値β以上の上位N人の生徒の生徒名をディスプレイ406に表示することにしてもよい。この際、表示制御部1603は、生徒Siが教師のほうを見ているときの画像を生徒名とともに表示することにしてもよい。
Further, the
具体的には、例えば、表示制御部1603は、課題Kの難度が低い場合(例えば、難度=1,2)に、後述の図20に示すような発表者選択画面2000をディスプレイ406に表示することにしてもよい。閾値βは、予め設定されてメモリ402、ディスク404などの記憶装置に記憶されている。閾値βは、例えば、80[%]程度の値に設定される。また、課題Kの難度は、例えば、課題DB230から特定することができる。
Specifically, for example, when the difficulty of the task K is low (for example, difficulty = 1 or 2), the
また、受付部1602は、課題Kに対する意見の発表者の選択を受け付ける。具体的には、例えば、受付部1602は、後述の図18に示す教師用マトリクス画面1300において、課題Kに対する意見の発表者の選択を受け付ける。
In addition, the receiving
また、表示制御部1603は、課題Kに対する意見の発表者の選択を受け付けたことに応じて、電子黒板202に発表時画面1500(図15参照)を表示する制御を行う。具体的には、例えば、表示制御部1603は、回答DB240を参照して、発表者として選択された生徒Siの意見内容を拡大表示する発表時画面1500の画面情報を生成する。そして、表示制御部1603は、生成した発表時画面1500の画面情報を電子黒板202に送信する。
The
これにより、電子黒板202に、課題Kに対する意見の発表者として選択された生徒Siの意見内容を拡大表示することができる。
As a result, the content of the opinion of the student Si selected as the presenter of the opinion on the assignment K can be enlarged and displayed on the
また、受付部1602は、授業終了要求を受け付ける。ここで、授業終了要求とは、授業の終了を通知するものである。具体的には、例えば、受付部1602は、教師用マトリクス画面1300において、授業終了ボタン1320がクリックされたことに応じて、授業終了要求を受け付ける。
The receiving
更新部1610は、授業終了要求を受け付けたことに応じて、第1の注視・うつむき時間記録DB260の記憶内容を更新する。具体的には、例えば、更新部1610は、第1の注視・うつむき時間記録DB260の現在の講義欄の各生徒Siの選択時間、注視時間およびうつむき時間を、過去講義累積欄の各生徒Siの累積発表者選択時間、注視時間およびうつむき時間にそれぞれ加算する。
The
そして、更新部1610は、過去講義累積欄の各生徒Siの注視時間を累積発表者選択時間で除算することにより、過去講義累積欄の各生徒Siの注視率を更新する。また、更新部1610は、過去講義累積欄の各生徒Siのうつむき時間を累積発表者選択時間で除算することにより、過去講義累積欄の各生徒Siのうつむき率を更新する。
Then, the
これにより、今回の授業(講義)の終了に応じて、過去の講義における発表者選択モード中の各生徒Siの注視率およびうつむき率を更新することができる。 Thus, the gaze rate and the look-down rate of each student Si in the presenter selection mode in the past lecture can be updated according to the end of the current class (lecture).
また、更新部1610は、授業終了要求を受け付けたことに応じて、第2の注視・うつむき時間記録DB270の記憶内容を更新する。具体的には、例えば、更新部1610は、第2の注視・うつむき時間記録DB270の現在の講義欄の各生徒Siの講義中時間、注視時間およびうつむき時間を、過去講義累積欄の各生徒Siの講義中時間、注視時間およびうつむき時間にそれぞれ加算する。
Further, the
そして、更新部1610は、過去講義累積欄の各生徒Siの注視時間を講義中時間で除算することにより、過去講義累積欄の各生徒Siの注視率を更新する。また、更新部1610は、過去講義累積欄の各生徒Siのうつむき時間を講義中時間で除算することにより、過去講義累積欄の各生徒Siのうつむき率を更新する。
Then, the
これにより、今回の授業(講義)の終了に応じて、過去の講義中の各生徒Siの注視率およびうつむき率を更新することができる。 Thereby, the gaze rate and the downward gaze rate of each student Si in the past lecture can be updated in accordance with the end of the current class (lecture).
なお、上述した説明では、教師端末201が各機能部1601〜1610の機能を実現することにしたが、これに限らない。具体的には、例えば、教師端末201および生徒端末T1〜Tnと通信可能なサーバが、各機能部1601〜1610の機能を実現する形態としてもよい。
In the above description, the
(教師用マトリクス画面1300の画面例)
つぎに、教師用マトリクス画面1300において、うつむき率、または、注視率の差分が閾値α以上となる生徒Siの画像を意見内容とともに表示する場合の画面例について説明する。
(Screen example of the matrix screen for teacher 1300)
Next, a description will be given of an example of a screen in the case where the image of the student Si whose difference in the look-down ratio or the gaze ratio is equal to or larger than the threshold α is displayed together with the opinion content on the
図18は、教師用マトリクス画面1300の画面例を示す説明図(その2)である。図18において、教師用マトリクス画面1300は、図13に示した教師用マトリクス画面1300において発表モード移行ボタン1310がクリックされた後に表示される画面例である。
FIG. 18 is an explanatory diagram (part 2) of a screen example of the
教師用マトリクス画面1300では、生徒S4(山本),S6(本田)の意見内容1304,1306に、生徒S4,S6のうつむき画像1801,1802が重畳表示されている。ここで、生徒S4,S6は、過去の講義における発表者選択モード中よりも現在の講義における発表者選択モード中のほうが、うつむき率が閾値α以上増加した上位2人の生徒である。
On the
うつむき画像1801,1802は、生徒S4,S6がうつむいているときの画像である。うつむき画像1801,1802は、顔認識に用いられた生徒S4,S6の顔領域の画像(うつむき画像)である。ただし、うつむき画像として、例えば、メモリ402、ディスク404などの記憶装置に予め記憶された画像を用いることにしてもよい。また、うつむき画像1801,1802の左側に表示された数字は、うつむき率の増加分の高さを示す順位(1位、2位)である。
The
また、教師用マトリクス画面1300では、生徒S5(黒田),S8(浅井)の意見内容1305,1308に、生徒S5,S8の注視画像1803,1804が重畳表示されている。ここで、生徒S5,S8は、過去の講義における発表者選択モード中よりも現在の講義における発表者選択モード中のほうが、注視率が閾値α以上増加した上位2人の生徒である。
In the
注視画像1803,1804は、生徒S5,S8が教師のほうを見ているときの画像である。注視画像1803,1804は、顔認識に用いられた生徒S5,S8の顔領域の画像(注視画像)である。ただし、注視画像として、例えば、メモリ402、ディスク404などの記憶装置に予め記憶された画像を用いることにしてもよい。また、注視画像1803,1804の左側に表示された数字は、注視率の増加分の高さを示す順位である。
The
教師用マトリクス画面1300によれば、教師は、うつむき画像1801,1802から、過去の講義のときに比べて、発表者選択モード中にうつむいている割合が高い生徒S4,S6を判別することができる。このため、教師は、生徒S4,S6がいつもよりも自信がない状態であると判断でき、発表者として生徒S4,S6を当てるか否かを判断しやすくなる。
According to the
また、教師用マトリクス画面1300によれば、教師は、注視画像1803,1804から、過去の講義のときに比べて、発表者選択モード中に自分のほうを向いている割合が高い生徒S5,S8を判別することができる。このため、教師は、生徒S5,S8がいつもよりも自信がある状態であると判断でき、発表者として生徒S5,S8を当てるか否かを判断しやすくなる。この際、教師は、例えば、注視画像1803,1804を見比べることで、生徒S5,S8の表情などから、より自信がある生徒を判断することができる。
In addition, according to the
また、教師用マトリクス画面1300において、意見内容1301〜1308のいずれかをクリックすると、課題K2に対する意見の発表者を選択することができる。例えば、意見内容1305がクリックされると、生徒S5が発表者として選択され、生徒S5の意見を拡大表示する発表時画面1500が電子黒板202に表示される。
Further, when any one of the
(発表者選択画面の画面例)
つぎに、図19および図20を用いて、ディスプレイ406にポップアップ表示される発表者選択画面の画面例について説明する。
(Screen example of presenter selection screen)
Next, a screen example of the presenter selection screen pop-up displayed on the
図19は、発表者選択画面の画面例を示す説明図(その1)である。図19において、発表者選択画面1900は、課題Kに対する意見の発表者を選択可能な画面である。発表者選択画面1900では、うつむき画像1901と注視画像1902が表示されている。
FIG. 19 is an explanatory diagram (part 1) of a screen example of a presenter selection screen. In FIG. 19, a
うつむき画像1901は、過去の講義における発表者選択モード中よりも現在の講義における発表者選択モード中のほうが、うつむき率が高い(うつむき率の差分が最大)生徒S4(山本)の画像である。また、注視画像1902は、過去の講義における発表者選択モード中よりも現在の講義における発表者選択モード中のほうが、注視率が高い(注視率の差分が最大)生徒S5(黒田)の画像である。
The look-down
また、発表者選択画面1900において、うつむき画像1901および注視画像1902のいずれかの画像をクリックすることで、課題K2に対する意見の発表者を選択することができる。
Further, on the
発表者選択画面1900によれば、教師は、うつむき画像1901から、過去の講義のときに比べて、発表者選択モード中にうつむいている割合が最も高い生徒S4を判別することができる。このため、教師は、生徒S4がいつもよりもかなり自信がない状態であり、今回に限っては当てて欲しくないと思っているような生徒であると判断でき、発表者として生徒S4を当てるか否かを判断しやすくなる。
According to the
また、発表者選択画面1900によれば、教師は、注視画像1902から、過去の講義のときに比べて、発表者選択モード中に自分のほうを向いている割合が最も高い生徒S5を判別することができる。このため、教師は、生徒S5がいつもよりもかなり自信がある状態であり、今回に限っては当てて欲しいと思っているような生徒であると判断でき、発表者として生徒S5を当てるか否かを判断しやすくなる。
Further, according to the
図20は、発表者選択画面の画面例を示す説明図(その2)である。図20において、発表者選択画面2000は、難度の低い課題Kに対する意見の発表者を選択可能な画面である。発表者選択画面2000では、注視画像2001,2002が表示されている。
FIG. 20 is an explanatory diagram (part 2) of a screen example of the presenter selection screen. In FIG. 20, a
注視画像2001は、現在の講義における発表者選択モード中の注視率が80[%]以上の生徒S2(山田)の画像である。また、注視画像2002は、現在の講義における発表者選択モード中の注視率が80[%]以上の生徒S8(浅井)の画像である。
The
また、発表者選択画面2000において、注視画像2001,2002のいずれかの画像をクリックすることで、課題Kに対する意見の発表者を選択することができる。
Further, on the
発表者選択画面2000によれば、教師は、注視画像2001,2002から、発表者選択モード中に自分のほうを向いている割合が高い生徒S2,S8を判別することができる。このため、教師は、生徒S2,S8がかなり自信のある生徒であると判断することができる。また、課題Kの難度が低いため、教師は、たとえ生徒S2,S8が課題Kに対応する教科が不得意な生徒であっても、発表者として生徒S2,S8を選択しやすくなる。これにより、課題Kに対応する教科が不得意な生徒であっても、難度の低い課題Kを答えることにより、自信をつけてもらうことができる。
According to the
(教師端末201の教育支援処理手順)
つぎに、教師端末201の教育支援処理手順について説明する。
(Education support processing procedure of teacher terminal 201)
Next, the educational support processing procedure of the
図21は、教師端末201の教育支援処理手順の一例を示すフローチャートである。図21のフローチャートにおいて、まず、教師端末201は、意見収集処理を実行する(ステップS2101)。意見収集処理の具体的な処理手順については、図22を用いて後述する。
FIG. 21 is a flowchart illustrating an example of the educational support processing procedure of the
つぎに、教師端末201は、講義中処理を実行する(ステップS2102)。講義中処理の具体的な処理手順については、図23を用いて後述する。そして、教師端末201は、発表中処理を実行して(ステップS2103)、本フローチャートによる一連の処理を終了する。発表中処理の具体的な処理手順については、図24〜図26を用いて後述する。
Next, the
<意見収集処理の具体的処理手順>
つぎに、図21に示したステップS2101の意見収集処理の具体的な処理手順について説明する。
<Specific processing procedure of opinion collection processing>
Next, a specific processing procedure of the opinion collection processing in step S2101 shown in FIG. 21 will be described.
図22は、意見収集処理の具体的処理手順の一例を示すフローチャートである。図22のフローチャートにおいて、まず、教師端末201は、ディスプレイ406に課題選択画面1100を表示する(ステップS2201)。
FIG. 22 is a flowchart illustrating an example of a specific processing procedure of the opinion collection processing. In the flowchart of FIG. 22, first, the
そして、教師端末201は、生徒に検討させたい課題Kの課題IDの選択を受け付けたか否かを判断する(ステップS2202)。ここで、教師端末201は、課題IDの選択を受け付けるのを待つ(ステップS2202:No)。
Then, the
そして、教師端末201は、課題IDの選択を受け付けた場合(ステップS2202:Yes)、課題DB230から、選択された課題IDに対応する課題情報を抽出する(ステップS2203)。つぎに、教師端末201は、課題選択画面1100の課題送信ボタン1104がクリックされたことに応じて、抽出した課題情報を生徒端末T1〜TnのIPアドレス宛にそれぞれ送信する(ステップS2204)。
Then, when the selection of the assignment ID is received (Step S2202: Yes), the
そして、教師端末201は、課題Kの回答制限時間の計時を開始する(ステップS2205)。つぎに、教師端末201は、課題Kに対する回答結果を生徒端末Tiから受信したか否かを判断する(ステップS2206)。
Then, the
ここで、回答結果を受信していない場合(ステップS2206:No)、教師端末201は、ステップS2210に移行する。一方、回答結果を受信した場合(ステップS2206:Yes)、教師端末201は、受信した回答結果を回答DB240に記録する(ステップS2207)。
Here, when the answer result is not received (step S2206: No), the
そして、教師端末201は、回答DB240を参照して、教師用マトリクス画面1300の画面情報を生成することにより、ディスプレイ406に教師用マトリクス画面1300を表示する(ステップS2208)。つぎに、教師端末201は、生徒全員の回答結果を受信したか否かを判断する(ステップS2209)。
Then, the
ここで、生徒全員の回答結果を受信した場合(ステップS2209:Yes)、教師端末201は、ステップS2211に移行する。一方、生徒全員の回答結果を受信していない場合(ステップS2209:No)、教師端末201は、課題Kの回答制限時間が経過したか否かを判断する(ステップS2210)。
Here, when the response results of all the students have been received (step S2209: Yes), the
ここで、課題Kの回答制限時間が経過していない場合(ステップS2210:No)、教師端末201は、ステップS2206に戻る。一方、課題Kの回答制限時間が経過した場合(ステップS2210:Yes)、教師端末201は、回答DB240を参照して、生徒用マトリクス画面1400の画面情報を生成することにより、電子黒板202に生徒用マトリクス画面1400を表示して(ステップS2211)、意見収集処理を呼び出したステップに戻る。これにより、課題Kに対する生徒Siの回答結果を収集することができる。
Here, when the answer time limit of the assignment K has not elapsed (step S2210: No), the
<講義中処理の具体的処理手順>
つぎに、図21に示したステップS2102の講義中処理の具体的な処理手順について説明する。
<Specific processing procedure of processing during lecture>
Next, a specific processing procedure of the in-lecture processing in step S2102 shown in FIG. 21 will be described.
図23は、講義中処理の具体的処理手順の一例を示すフローチャートである。図23のフローチャートにおいて、まず、教師端末201は、状態フラグを「1」に設定する(ステップS2301)。つぎに、教師端末201は、フラグ付け処理を実行する(ステップS2302)。フラグ付け処理の具体的な処理手順については、図27および図28を用いて後述する。
FIG. 23 is a flowchart illustrating an example of a specific processing procedure of the in-lecture processing. In the flowchart of FIG. 23, first, the
そして、教師端末201は、発表者選択モードへの移行指示を受け付けたか否かを判断する(ステップS2303)。ここで、発表者選択モードへの移行指示を受け付けていない場合(ステップS2303:No)、教師端末201は、ステップS2302に戻る。一方、発表者選択モードへの移行指示を受け付けた場合(ステップS2303:Yes)、教師端末201は、講義中処理を呼び出したステップに戻る。
Then, the
これにより、発表者選択モードへの移行指示を受け付けるまでの間は、フラグ付け処理を繰り返し実行することができる。 As a result, the flagging process can be repeatedly executed until an instruction to shift to the presenter selection mode is received.
<発表中処理の具体的処理手順>
つぎに、図21に示したステップS2103の発表中処理の具体的な処理手順について説明する。
<Specific processing procedure during presentation>
Next, a specific processing procedure of the during-presentation processing in step S2103 shown in FIG. 21 will be described.
図24〜図26は、発表中処理の具体的処理手順の一例を示すフローチャートである。図24のフローチャートにおいて、まず、教師端末201は、生徒Siの「i」を「i=1」として(ステップS2401)、生徒数をnとして設定し、生徒S1〜Snから生徒Siを選択する(ステップS2402)。
24 to 26 are flowcharts illustrating an example of a specific processing procedure of the during-presentation processing. In the flowchart of FIG. 24, first, the
つぎに、教師端末201は、注視・うつむきフラグテーブル250を参照して、状態フラグ「1」のレコード数R2と、状態フラグ「1」の生徒Siのうつむきフラグ「1」のうつむきフラグ数F3を計数する(ステップS2403)。そして、教師端末201は、計数したうつむきフラグ数F3をレコード数R2で除算することにより、現在の講義中の生徒Siのうつむき率を算出する(ステップS2404)。
Next, the
つぎに、教師端末201は、注視・うつむきフラグテーブル250を参照して、状態フラグ「1」のレコード数R2と、状態フラグ「1」の生徒Siの注視フラグ「1」の注視フラグ数F4を計数する(ステップS2405)。そして、教師端末201は、計数した注視フラグ数F4をレコード数R2で除算することにより、現在の講義中の生徒Siの注視率を算出する(ステップS2406)。
Next, the
そして、教師端末201は、第2の注視・うつむき時間記録DB270の現在の講義欄を更新する(ステップS2407)。つぎに、教師端末201は、生徒Siの「i」をインクリメントして(ステップS2408)、「i」が「n」より大きくなったか否かを判断する(ステップS2409)。
Then, the
ここで、「i」が「n」以下の場合(ステップS2409:No)、教師端末201は、ステップS2402に戻る。一方、「i」が「n」より大きい場合(ステップS2409:Yes)、教師端末201は、状態フラグを「2」に設定する(ステップS2410)。
Here, when “i” is equal to or less than “n” (step S2409: No), the
そして、教師端末201は、フラグ付け処理を実行して(ステップS2411)、図25に示すステップS2501に移行する。フラグ付け処理の具体的な処理手順については、図27および図28を用いて後述する。
Then, the
図25のフローチャートにおいて、まず、教師端末201は、生徒Siの「i」を「i=1」とし(ステップS2501)、生徒数をnに設定し、生徒S1〜Snから生徒Siを選択する(ステップS2502)。つぎに、教師端末201は、第1の注視・うつむき時間記録DB260を参照して、過去講義累積欄の生徒Siの注視率と、現在の講義欄の生徒Siの注視率とを取得する(ステップS2503)。
In the flowchart of FIG. 25, first, the
そして、教師端末201は、現在の講義欄の生徒Siの注視率から過去講義累積欄の生徒Siの注視率を減算した差分(注視率の増加分)が閾値α以上であるか否かを判断する(ステップS2504)。ここで、差分(注視率の増加分)が閾値α以上の場合(ステップS2504:Yes)、教師端末201は、教師用マトリクス画面1300の生徒Siに対応する領域に、生徒Siの注視画像を表示する(ステップS2505)。
Then, the
つぎに、教師端末201は、生徒Siの「i」をインクリメントして(ステップS2506)、「i」が「n」より大きくなったか否かを判断する(ステップS2507)。ここで、「i」が「n」以下の場合(ステップS2507:No)、教師端末201は、ステップS2502に戻る。一方、「i」が「n」より大きい場合(ステップS2507:Yes)、図26に示すステップS2601に移行する。
Next, the
また、ステップS2504において、差分(注視率の増加分)が閾値α未満の場合(ステップS2504:No)、教師端末201は、第1の注視・うつむき時間記録DB260を参照して、過去講義累積欄の生徒Siのうつむき率と、現在の講義欄の生徒Siのうつむき率とを取得する(ステップS2508)。
When the difference (increase in the gaze rate) is less than the threshold value α in step S2504 (step S2504: No), the
そして、教師端末201は、現在の講義欄の生徒Siのうつむき率から過去講義累積欄の生徒Siのうつむき率を減算した差分(うつむき率の増加分)が閾値α以上であるか否かを判断する(ステップS2509)。ここで、差分(うつむき率の増加分)が閾値α未満の場合(ステップS2509:No)、教師端末201は、ステップS2506に移行する。
Then, the
一方、差分(うつむき率の増加分)が閾値α以上の場合(ステップS2509:Yes)、教師端末201は、教師用マトリクス画面1300の生徒Siに対応する領域に、生徒Siのうつむき画像を表示して(ステップS2510)、ステップS2506に移行する。
On the other hand, when the difference (increase in the depression rate) is equal to or larger than the threshold α (step S2509: Yes), the
図26のフローチャートにおいて、まず、教師端末201は、課題Kに対する意見の発表者が選択されたか否かを判断する(ステップS2601)。ここで、発表者が選択されていない場合(ステップS2601:No)、教師端末201は、図24に示したステップS2411に移行する。
In the flowchart of FIG. 26, first, the
一方、発表者が選択された場合(ステップS2601:Yes)、教師端末201は、回答DB240を参照して、発表者として選択された生徒Siの意見を拡大表示する発表時画面1500の画面情報を生成することにより、電子黒板202に発表時画面1500を表示する(ステップS2602)。
On the other hand, if the presenter is selected (step S2601: Yes), the
つぎに、教師端末201は、状態フラグを「3」に設定する(ステップS2603)。そして、教師端末201は、フラグ付け処理を実行する(ステップS2604)。フラグ付け処理の具体的な処理手順については、図27および図28を用いて後述する。
Next, the
つぎに、教師端末201は、発表終了要求を受け付けたか否かを判断する(ステップS2605)。ここで、発表終了要求を受け付けていない場合(ステップS2605:No)、教師端末201は、ステップS2604に戻る。一方、発表終了要求を受け付けた場合(ステップS2605:Yes)、教師端末201は、電子黒板202に生徒用マトリクス画面1400を表示する(ステップS2606)。
Next, the
つぎに、教師端末201は、授業終了要求を受け付けたか否かを判断する(ステップS2607)。ここで、授業終了要求を受け付けていない場合(ステップS2607:No)、教師端末201は、図24に示したステップS2410に移行する。
Next, the
一方、授業終了要求を受け付けた場合(ステップS2607:Yes)、教師端末201は、第1の注視・うつむき時間記録DB260の現在の講義欄を更新して(ステップS2608)、発表中処理を呼び出したステップに戻る。これにより、教師用マトリクス画面1300に、注視率またはうつむき率の増加分が大きい生徒Siの注視画像またはうつむき画像を表示して、課題Kに対する意見の発表者の選択を支援することができる。
On the other hand, when the lesson end request is received (step S2607: Yes), the
<フラグ付け処理の具体的処理手順>
つぎに、図23に示したステップS2302、図24に示したステップS2411および図26に示したステップS2604のフラグ付け処理の具体的な処理手順について説明する。
<Specific processing procedure of flagging processing>
Next, a specific processing procedure of the flagging processing of step S2302 shown in FIG. 23, step S2411 shown in FIG. 24, and step S2604 shown in FIG. 26 will be described.
図27および図28は、フラグ付け処理の具体的処理手順の一例を示すフローチャートである。図27のフローチャートにおいて、まず、教師端末201は、注視・うつむきフラグテーブル250から、最新の記録日時を取得する(ステップS2701)。つぎに、教師端末201は、取得した最新の記録日時から所定時間T1が経過したか否かを判断する(ステップS2702)。所定時間T1は、例えば、0.1[s]である。
FIGS. 27 and 28 are flowcharts illustrating an example of a specific processing procedure of the flagging processing. In the flowchart of FIG. 27, first, the
ここで、最新の記録日時から所定時間T1が経過していない場合(ステップS2702:No)、教師端末201は、フラグ付け処理を呼び出したステップに戻る。一方、最新の記録日時から所定時間T1が経過した場合(ステップS2702:Yes)、教師端末201は、カメラ300によって撮影された最新の撮影画像を取得する(ステップS2703)。
Here, if the predetermined time T1 has not elapsed from the latest recording date and time (step S2702: No), the
つぎに、教師端末201は、生徒Siの「i」を「i=1」とし(ステップS2704)、生徒数をnと設定し、生徒S1〜Snから生徒Siを選択する(ステップS2705)。そして、教師端末201は、生徒Siの画像に対する顔認識処理を実行する(ステップS2706)。顔認識処理の具体的な処理手順については、図29を用いて後述する。
Next, the
つぎに、教師端末201は、生徒Siの「i」をインクリメントして(ステップS2707)、「i」が「n」より大きくなったか否かを判断する(ステップS2708)。ここで、「i」が「n」以下の場合(ステップS2708:No)、教師端末201は、ステップS2705に戻る。
Next, the
一方、「i」が「n」より大きい場合(ステップS2708:Yes)、教師端末201は、現在の状態フラグが「2」であるか否かを判断する(ステップS2709)。ここで、状態フラグが「2」ではない場合(ステップS2709:No)、教師端末201は、フラグ付け処理を呼び出したステップに戻る。
On the other hand, when “i” is larger than “n” (step S2708: Yes), the
一方、状態フラグが「2」の場合(ステップS2709:Yes)、教師端末201は、第1の注視・うつむき時間記録DB260から、現在の講義欄の更新日時を取得する(ステップS2710)。そして、教師端末201は、取得した更新日時から所定時間T2が経過したか否かを判断する(ステップS2711)。所定時間T2は、例えば、2[s]である。なお、所定時間T1とは画像を取得し、認識する間隔を表わす時間であり、所定時間T2とは、画像認識した結果を用いて、うつむき率、注視率を計算する間隔を表わす時間である。画像取得時に毎回、うつむき率、注視率を計算しても良いが効率が悪くなるために所定時間T2を設定している。
On the other hand, if the status flag is “2” (step S2709: Yes), the
ここで、更新日時から所定時間T2が経過していない場合(ステップS2711:No)、教師端末201は、フラグ付け処理を呼び出したステップに戻る。一方、更新日時から所定時間T2が経過した場合(ステップS2711:Yes)、教師端末201は、図28に示すステップS2801に移行する。
Here, when the predetermined time T2 has not elapsed from the update date and time (step S2711: No), the
図28のフローチャートにおいて、まず、教師端末201は、生徒Siの「i」を「i=1」とし(ステップS2801)、生徒数をnとして設定し、生徒S1〜Snから生徒Siを選択する(ステップS2802)。
In the flowchart of FIG. 28, first, the
つぎに、教師端末201は、注視・うつむきフラグテーブル250を参照して、状態フラグ「2」のレコード数R1と、状態フラグ「2」の生徒Siのうつむきフラグ「1」のうつむきフラグ数F1を計数する(ステップS2803)。そして、教師端末201は、計数したうつむきフラグ数F1をレコード数R1で除算することにより、現在の講義における発表者選択モード中の生徒Siのうつむき率を算出する(ステップS2804)。
Next, the
つぎに、教師端末201は、注視・うつむきフラグテーブル250を参照して、状態フラグ「2」のレコード数R1と、状態フラグ「2」の生徒Siの注視フラグ「1」の注視フラグ数F2を計数する(ステップS2805)。そして、教師端末201は、計数した注視フラグ数F2をレコード数R1で除算することにより、現在の講義における発表者選択モード中の生徒Siの注視率を算出する(ステップS2806)。
Next, the
そして、教師端末201は、第1の注視・うつむき時間記録DB260の現在の講義欄を更新する(ステップS2807)。つぎに、教師端末201は、生徒Siの「i」をインクリメントして(ステップS2808)、「i」が「n」より大きくなったか否かを判断する(ステップS2809)。
Then, the
ここで、「i」が「n」以下の場合(ステップS2809:No)、教師端末201は、ステップS2802に戻る。一方、「i」が「n」より大きい場合(ステップS2809:Yes)、教師端末201は、フラグ付け処理を呼び出したステップに戻る。
Here, when “i” is equal to or less than “n” (step S2809: No), the
これにより、定期的(所定時間T2ごと)に、第1の注視・うつむき時間記録DB260の現在の講義欄を更新することができる。
Thereby, the current lecture column of the first gaze / depression
<顔認識処理の具体的処理手順>
つぎに、図27に示したステップS2706の顔認識処理の具体的な処理手順について説明する。
<Specific processing procedure of face recognition processing>
Next, a specific processing procedure of the face recognition processing in step S2706 shown in FIG. 27 will be described.
図29は、顔認識処理の具体的処理手順の一例を示すフローチャートである。図29のフローチャートにおいて、まず、教師端末201は、生徒DB220から、生徒Siのエリア座標を取得する(ステップS2901)。つぎに、教師端末201は、図27に示したステップS2703において取得した撮影画像から、生徒Siのエリア座標から特定される顔領域の画像を抽出する(ステップS2902)。
FIG. 29 is a flowchart illustrating an example of a specific processing procedure of the face recognition processing. In the flowchart of FIG. 29, first, the
そして、教師端末201は、生徒Siの顔認識用の学習データを用いて、抽出した顔領域の画像に対する顔認識を行う(ステップS2903)。つぎに、教師端末201は、顔認識した結果に基づいて、生徒Siがうつむいているか否かを判断する(ステップS2904)。うつむいているという判断は、画像認識により、顔の特徴となるパーツ(目、鼻、口等)が認識できずに、頭部と思われる部分が多い等のパターン認識にて判断可能である。
Then, the
ここで、生徒Siがうつむいている場合(ステップS2904:Yes)、教師端末201は、記録日時および状態フラグと対応付けて、生徒Siの注視フラグ「0」、うつむきフラグ「1」を、注視・うつむきフラグテーブル250に記録して(ステップS2905)、顔認識処理を呼び出したステップに戻る。
Here, when the student Si is facing down (step S2904: Yes), the
一方、生徒Siがうつむいていない場合(ステップS2904:No)、教師端末201は、顔認識して得られた生徒Siの眼の画像に基づいて、生徒Siの視線を検出する(ステップS2906)。そして、教師端末201は、検出した生徒Siの視線が、教師の方向に向いているか否かを判断する(ステップS2907)。
On the other hand, when the student Si is not facing down (step S2904: No), the
ここで、生徒Siの視線が教師の方向に向いている場合(ステップS2907:Yes)、教師端末201は、記録日時および状態フラグと対応付けて、生徒Siの注視フラグ「1」、うつむきフラグ「0」を、注視・うつむきフラグテーブル250に記録して(ステップS2908)、顔認識処理を呼び出したステップに戻る。
Here, when the line of sight of the student Si is facing the direction of the teacher (step S2907: Yes), the
一方、生徒Siの視線が教師の方向に向いていない場合(ステップS2907:No)、教師端末201は、記録日時および状態フラグと対応付けて、生徒Siの注視フラグ「0」、うつむきフラグ「0」を、注視・うつむきフラグテーブル250に記録して(ステップS2909)、顔認識処理を呼び出したステップに戻る。
On the other hand, when the line of sight of the student Si is not facing the direction of the teacher (step S2907: No), the
これにより、生徒Siの注視フラグおよびうつむきフラグを記録することができる。 Thereby, it is possible to record the gaze flag and the depression flag of the student Si.
(生徒端末Tiの意見入力処理手順)
つぎに、生徒端末Tiの意見入力処理手順について説明する。
(Procedure input processing procedure of student terminal Ti)
Next, the opinion input processing procedure of the student terminal Ti will be described.
図30は、生徒端末Tiの意見入力処理手順の一例を示すフローチャートである。図30のフローチャートにおいて、まず、生徒端末Tiは、教師端末201から課題Kの課題情報を受信したか否かを判断する(ステップS3001)。ここで、生徒端末Tiは、課題Kの課題情報を受信するのを待つ(ステップS3001:No)。 FIG. 30 is a flowchart illustrating an example of an opinion input processing procedure of the student terminal Ti. In the flowchart of FIG. 30, first, the student terminal Ti determines whether or not the assignment information of the assignment K has been received from the teacher terminal 201 (step S3001). Here, the student terminal Ti waits to receive the assignment information on the assignment K (Step S3001: No).
そして、生徒端末Tiは、課題Kの課題情報を受信した場合(ステップS3001:Yes)、ディスプレイ406に回答画面1200を表示する(ステップS3002)。つぎに、生徒端末Tiは、回答画面1200において記載された課題Kに対する意見内容の送信要求を受け付けたか否かを判断する(ステップS3003)。
Then, when receiving the assignment information of the assignment K (Step S3001: Yes), the student terminal Ti displays the
ここで、生徒端末Tiは、課題Kに対する意見内容の送信要求を受け付けるのを待つ(ステップS3003:No)。そして、生徒端末Tiは、課題Kに対する意見内容の送信要求を受け付けた場合(ステップS3003:Yes)、入力された意見内容を含む回答結果を教師端末201に送信して(ステップS3004)、本フローチャートによる一連の処理を終了する。 Here, the student terminal Ti waits to receive a transmission request of the opinion contents for the assignment K (step S3003: No). When the student terminal Ti receives the request to transmit the opinion contents for the assignment K (step S3003: Yes), the student terminal Ti transmits an answer result including the input opinion contents to the teacher terminal 201 (step S3004), and the flowchart shown in FIG. Is completed.
これにより、教師から与えられた課題Kに対する生徒Siの意見内容を教師端末201に送信することができる。
Thereby, the content of the opinion of the student Si on the assignment K given by the teacher can be transmitted to the
以上説明したように、実施の形態にかかる教師端末201によれば、発表者選択モードへの移行指示の受付後に撮影された生徒Siの顔領域の画像を顔認識して得られる認識結果に基づいて、現在の講義における発表者選択モード中の生徒Siのうつむき率を算出することができる。そして、教師端末201によれば、算出した現在の講義における発表者選択モード中の生徒Siのうつむき率を、生徒Siと対応付けて出力することができる。
As described above, according to the
これにより、課題Kに対する意見について、生徒Siの自信の有無を判断する指標となるうつむき率を教師に提示することができ、教師による発表者の選択を支援することができる。例えば、教師は、うつむき率が高いほど、自分の意見に自信がない生徒であると判断することができる。 This makes it possible to present to the teacher the depression rate, which is an index for determining whether or not the student Si has confidence in the opinion on the assignment K, and can assist the teacher in selecting a presenter. For example, the teacher can judge that the higher the downward rate is, the less confident the student is.
また、教師端末201によれば、過去の講義における発表者選択モード中のうつむき率と、現在の講義における発表者選択モード中の生徒Siのうつむき率とを比較することができる。そして、教師端末201によれば、比較した結果、うつむき率の差分が閾値α以上となる生徒Siの識別情報(例えば、生徒名やうつむき画像)を出力することができる。
Further, according to the
これにより、課題Kに対する意見について、いつもよりも自信がある(あるいは、自信がない)生徒Siを判別可能に提示することができる。例えば、教師は、今回に限っては当てて欲しいと思っているような生徒Siを判別しやすくなり、生徒が当てて欲しいタイミングを逃しにくくなる。 Thereby, the student Si who is more confident (or less confident) than usual about the opinion on the assignment K can be presented in a distinguishable manner. For example, the teacher can easily determine the student Si who wants to apply only this time, and it is difficult for the teacher to miss the timing at which the student wants to apply.
また、教師端末201によれば、生徒Siの画像を顔認識して得られる生徒Siの眼の画像に基づいて、生徒Siの視線を検出し、検出した検出結果に基づいて、現在の講義における発表者選択モード中の生徒Siの注視率を算出することができる。そして、教師端末201によれば、算出した現在の講義における発表者選択モード中の生徒Siの注視率を、生徒Siと対応付けて出力することができる。
Further, according to the
これにより、課題Kに対する意見について、生徒Siの自信の有無を判断する指標となる注視率を教師に提示することができ、教師による発表者の選択を支援することができる。例えば、教師は、注視率が高いほど、自分の意見に自信がある生徒であると判断することができる。 Thus, the gaze rate, which is an index for determining whether or not the student Si is confident about the opinion on the assignment K, can be presented to the teacher, and it is possible to assist the teacher in selecting a presenter. For example, a teacher can determine that the higher the gaze rate is, the more confident the student is in his / her opinion.
また、教師端末201によれば、過去の講義における発表者選択モード中の注視率と、現在の講義における発表者選択モード中の生徒Siの注視率とを比較することができる。そして、教師端末201によれば、比較した結果、注視率の差分が閾値α以上となる生徒Siの識別情報(例えば、生徒名や注視画像)を出力することができる。
Further, according to the
これにより、課題Kに対する意見について、いつもよりも自信がある(あるいは、自信がない)生徒Siを判別可能に提示することができる。例えば、教師は、今回に限っては当てて欲しいと思っているような生徒Siを判別しやすくなり、生徒が当てて欲しいタイミングを逃しにくくなる。 Thereby, the student Si who is more confident (or less confident) than usual about the opinion on the assignment K can be presented in a distinguishable manner. For example, the teacher can easily determine the student Si who wants to apply only this time, and it is difficult for the teacher to miss the timing at which the student wants to apply.
また、教師端末201によれば、現在の講義中の生徒Siのうつむき率と、現在の講義における発表者選択モード中の生徒Siのうつむき率とを比較することができる。そして、教師端末201によれば、比較した結果、うつむき率の差分が閾値α以上となる生徒Siの識別情報(例えば、生徒名やうつむき画像)を出力することができる。
Further, according to the
これにより、現在の講義中に比べて、現在の講義における発表者選択モード中のうつむき率が極端に高くなっているような生徒Si、すなわち、発表者として当てられたくないために急に下を向いたような生徒Siを判別可能に提示することができる。 As a result, the student Si whose look-down ratio in the presenter selection mode in the current lecture is extremely high compared to during the current lecture, that is, suddenly falls down in order to not want to be regarded as a presenter. The student Si who is facing can be presented in a distinguishable manner.
また、教師端末201によれば、現在の講義中の生徒Siの注視率と、現在の講義における発表者選択モード中の生徒Siの注視率とを比較することができる。そして、教師端末201によれば、比較した結果、注視率の差分が閾値α以上となる生徒Siの識別情報(例えば、生徒名や注視画像)を出力することができる。
Further, according to the
これにより、現在の講義中に比べて、現在の講義における発表者選択モード中の注視率が極端に高くなっているような生徒Si、すなわち、発表者として当てられたいために急に教師のほうを見たような生徒Siを判別可能に提示することができる。 As a result, the student Si whose gaze rate in the presenter selection mode in the current lecture is extremely high compared to that in the current lecture, that is, the teacher suddenly needs to be assigned as the presenter. Can be presented in a distinguishable manner.
以上の実施例では具体的な認識処理を開示したが、このような実施例に限るものではなく、一般的な画像認識技術を適用しても良い。例えば、表情認識で用いられるような教師画像に基づく認識処理を行っても良い。教師画像としては、教師を注視している顔と、教師を注視していない顔とを教師データとして認識処理の学習を行わせても良い。または、自信のある表情と自信の無い表情とを教師データとして認識処理の学習を行わせても良い。そして、この認識処理結果から得られる自信のある率、または、自信の無い率を用いて、生徒の識別情報を出力してもよい。 Although specific recognition processing is disclosed in the above embodiments, the present invention is not limited to such embodiments, and general image recognition technology may be applied. For example, a recognition process based on a teacher image as used in facial expression recognition may be performed. As the teacher image, learning of the recognition process may be performed using the face gazing at the teacher and the face not gazing at the teacher as teacher data. Alternatively, learning of recognition processing may be performed using a confident expression and an unconfident expression as teacher data. Then, the identification information of the student may be output using a confident rate or a non-confident rate obtained from the recognition processing result.
なお、本実施の形態で説明した発表者選択支援方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本発表者選択支援プログラムは、ハードディスク、フレキシブルディスク、CD−ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、本発表者選択支援プログラムは、インターネット等のネットワークを介して配布してもよい。 The presenter selection support method described in the present embodiment can be realized by executing a prepared program on a computer such as a personal computer or a workstation. The presenter selection support program is recorded on a computer-readable recording medium such as a hard disk, a flexible disk, a CD-ROM, an MO, and a DVD, and is executed by being read from the recording medium by the computer. The presenter selection support program may be distributed via a network such as the Internet.
上述した実施の形態に関し、さらに以下の付記を開示する。 Regarding the above-described embodiment, the following supplementary notes are further disclosed.
(付記1)コンピュータに、
発表者を選択するモードへの移行指示を受け付け、
前記移行指示の受付後に撮影された対象者の顔画像から所定の特徴を認識して得られる認識結果に基づいて、前記モード中に前記対象者が前記所定の特徴を有する割合を示す値を算出し、
算出した前記値を前記対象者と対応付けて出力する、
処理を実行させることを特徴とする発表者選択支援プログラム。
(Appendix 1)
Accepts an instruction to shift to the mode to select a presenter,
Based on a recognition result obtained by recognizing a predetermined feature from a face image of the subject taken after receiving the transfer instruction, a value indicating a ratio of the subject having the predetermined feature during the mode is calculated. And
Outputting the calculated value in association with the target person,
A presenter selection support program characterized by executing processing.
(付記2)前記算出する処理は、前記認識結果に基づいて、前記モード中に前記対象者がうつむいている割合を示すうつむき率を算出し、
前記出力する処理は、算出した前記うつむき率を前記対象者と対応付けて出力する、
ことを特徴とする付記1に記載の発表者選択支援プログラム。
(Supplementary Note 2) The calculating process includes calculating a look-down rate indicating a rate at which the target person looks down during the mode based on the recognition result,
The output process outputs the calculated downward rate in association with the target person,
The presenter's selection support program according to
(付記3)前記コンピュータに、
前記モードよりも以前の、発表者を選択するモード中の前記対象者のうつむき率を記憶する記憶部を参照して、算出した前記うつむき率と、前記記憶部に記憶された前記対象者のうつむき率とを比較する、処理をさらに実行させ、
前記出力する処理は、
比較した結果、算出した前記うつむき率と前記記憶部に記憶された前記対象者のうつむき率との差分が閾値以上となる場合に、前記対象者を識別する識別情報を出力することを特徴とする付記2に記載の発表者選択支援プログラム。
(Supplementary Note 3) In the computer,
With reference to a storage unit that stores the depression rate of the subject in the mode for selecting a presenter before the mode, the calculated depression rate and the depression of the subject stored in the storage unit are referred to. To perform further processing to compare with the rate,
The output processing includes:
As a result of the comparison, when a difference between the calculated depression rate and the depression rate of the subject stored in the storage unit is equal to or greater than a threshold value, identification information for identifying the subject is output. The presenter selection support program described in
(付記4)前記コンピュータに、
前記対象者の画像を顔認識して得られる前記対象者の眼の画像に基づいて、前記対象者の視線を検出する、処理をさらに実行させ、
前記算出する処理は、検出した検出結果に基づいて、前記モード中に前記対象者が特定の方向を見ている割合を示す注視率を算出し、
前記出力する処理は、算出した前記注視率を前記対象者と対応付けて出力する、
ことを特徴とする付記1〜3のいずれか一つに記載の発表者選択支援プログラム。
(Supplementary Note 4) In the computer,
Based on the image of the eye of the target person obtained by face recognition of the image of the target person, detecting the line of sight of the target person, further executing a process,
The calculating process calculates a gaze rate indicating a rate at which the target person is looking in a specific direction during the mode, based on the detected detection result,
The output process outputs the calculated gaze rate in association with the target person,
The presenter selection support program according to any one of
(付記5)前記特定の方向は、前記発表者を選択する者が位置する方向であることを特徴とする付記4に記載の発表者選択支援プログラム。
(Supplementary note 5) The presenter selection support program according to
(付記6)前記コンピュータに、
前記モードよりも以前の、発表者を選択するモード中の前記対象者の注視率を記憶する記憶部を参照して、算出した前記注視率と、前記記憶部に記憶された前記対象者の注視率とを比較する、処理をさらに実行させ、
前記出力する処理は、
比較した結果、算出した前記注視率と前記記憶部に記憶された前記対象者の注視率との差分が閾値以上となる場合に、前記対象者を識別する識別情報を出力することを特徴とする付記4または5に記載の発表者選択支援プログラム。
(Supplementary Note 6) In the computer,
Prior to the mode, with reference to the storage unit storing the gaze rate of the subject in the mode for selecting a presenter, the calculated gaze rate and the gaze of the subject stored in the storage unit To perform further processing to compare with the rate,
The output processing includes:
As a result of the comparison, when the difference between the calculated gaze rate and the gaze rate of the subject stored in the storage unit is equal to or greater than a threshold, the identification information for identifying the subject is output.
(付記7)コンピュータが、
発表者を選択するモードへの移行指示を受け付け、
前記移行指示の受付後に撮影された対象者の顔画像から所定の特徴を認識して得られる認識結果に基づいて、前記モード中に前記対象者が前記所定の特徴を有する割合を示す値を算出し、
算出した前記値を前記対象者と対応付けて出力する、
処理を実行することを特徴とする発表者選択支援方法。
(Appendix 7)
Accepts an instruction to shift to the mode to select a presenter,
Based on a recognition result obtained by recognizing a predetermined feature from a face image of the subject taken after receiving the transfer instruction, a value indicating a ratio of the subject having the predetermined feature during the mode is calculated. And
Outputting the calculated value in association with the target person,
A presenter selection support method characterized by performing a process.
(付記8)発表者を選択するモードへの移行指示を受け付け、
前記移行指示の受付後に撮影された対象者の顔画像から所定の特徴を認識して得られる認識結果に基づいて、前記モード中に前記対象者が前記所定の特徴を有する割合を示す値を算出し、
算出した前記値を前記対象者と対応付けて出力する、
制御部を有することを特徴とする情報処理装置。
(Supplementary Note 8) An instruction to shift to a mode for selecting a presenter is received,
Based on a recognition result obtained by recognizing a predetermined feature from a face image of the subject taken after receiving the transfer instruction, a value indicating a ratio of the subject having the predetermined feature during the mode is calculated. And
Outputting the calculated value in association with the target person,
An information processing device comprising a control unit.
101 情報処理装置
110,300 カメラ
200 教育支援システム
201 教師端末
202 電子黒板
220 生徒DB
230 課題DB
240 回答DB
250 注視・うつむきフラグテーブル
260 第1の注視・うつむき時間記録DB
270 第2の注視・うつむき時間記録DB
1601 取得部
1602 受付部
1603 表示制御部
1604 送信部
1605 受信部
1606 認識部
1607 検出部
1608 設定部
1609 算出部
1610 更新部
T1〜Tn 生徒端末
Reference Signs List 101
230 Assignment DB
240 Answer DB
250 gaze / downturn flag table 260 first gaze / downtime record DB
270 Second Look and Look Time DB
1601
Claims (6)
発表者を選択するモードへの移行指示を受け付け、
前記移行指示の受付後に撮影された対象者の顔画像から所定の特徴を認識して得られる認識結果に基づいて、前記対象者ごとに、前記モード中に当該対象者がうつむいている状態である割合を示すうつむき率を算出し、
前記モードよりも以前の、発表者を選択するモード中の前記対象者のうつむき率を記憶する記憶部を参照して、算出した前記うつむき率と、前記記憶部に記憶された前記対象者のうつむき率とを比較し、
比較した結果、算出した前記うつむき率と前記記憶部に記憶された前記対象者のうつむき率との差分が閾値以上となる場合に、前記対象者を識別する識別情報を出力する、
処理を実行させることを特徴とする発表者選択支援プログラム。 On the computer,
Accepts an instruction to shift to the mode to select a presenter,
Based on a recognition result obtained by recognizing a predetermined feature from a face image of the subject taken after receiving the transfer instruction, the subject is in a state where the subject is facing down during the mode for each of the subjects. Calculate the depression rate indicating the percentage,
With reference to a storage unit that stores the depression rate of the subject in the mode for selecting a presenter before the mode, the calculated depression rate and the depression of the subject stored in the storage unit are referred to. Compare with the rate
As a result of the comparison, when the difference between the calculated depression rate and the depression rate of the subject stored in the storage unit is equal to or greater than a threshold, the identification information identifying the subject is output.
A presenter selection support program characterized by executing processing.
前記対象者の画像を顔認識して得られる前記対象者の眼の画像に基づいて、前記対象者の視線を検出する、処理をさらに実行させ、Based on the image of the eye of the target person obtained by face recognition of the image of the target person, detecting the line of sight of the target person, further executing a process,
前記算出する処理は、検出した検出結果に基づいて、前記対象者ごとに、前記モード中に当該対象者が特定の方向を見ている状態である割合を示す注視率を算出し、The calculating process, based on the detected detection result, for each of the subjects, calculating a gaze rate indicating a rate of the subject is in a state of looking in a specific direction during the mode,
前記出力する処理は、算出した前記注視率を前記対象者と対応付けて出力する、The output process outputs the calculated gaze rate in association with the target person,
ことを特徴とする請求項1に記載の発表者選択支援プログラム。The presenter's selection support program according to claim 1, wherein:
前記モードよりも以前の、発表者を選択するモード中の前記対象者の注視率を記憶する記憶部を参照して、算出した前記注視率と、前記記憶部に記憶された前記対象者の注視率とを比較する、処理をさらに実行させ、Prior to the mode, with reference to the storage unit storing the gaze rate of the subject in the mode for selecting a presenter, the calculated gaze rate and the gaze of the subject stored in the storage unit To perform further processing to compare with the rate,
前記出力する処理は、The output processing includes:
比較した結果、算出した前記注視率と前記記憶部に記憶された前記対象者の注視率との差分が閾値以上となる場合に、前記対象者を識別する識別情報を出力することを特徴とする請求項2に記載の発表者選択支援プログラム。As a result of the comparison, when the difference between the calculated gaze rate and the gaze rate of the subject stored in the storage unit is equal to or greater than a threshold, the identification information for identifying the subject is output. The presenter selection support program according to claim 2.
発表者を選択するモードへの移行指示を受け付け、Accepts an instruction to shift to the mode to select a presenter,
前記移行指示の受付後に撮影された対象者の顔画像から所定の特徴を認識して得られる認識結果に基づいて、前記対象者ごとに、前記モード中に当該対象者がうつむいている状態である割合を示すうつむき率を算出し、Based on a recognition result obtained by recognizing a predetermined feature from a face image of the subject taken after receiving the transfer instruction, the subject is in a state where the subject is facing down during the mode for each of the subjects. Calculate the depression rate indicating the percentage,
前記モードよりも以前の、発表者を選択するモード中の前記対象者のうつむき率を記憶する記憶部を参照して、算出した前記うつむき率と、前記記憶部に記憶された前記対象者のうつむき率とを比較し、With reference to a storage unit that stores the depression rate of the subject in the mode for selecting a presenter before the mode, the calculated depression rate and the depression of the subject stored in the storage unit are referred to. Compare with the rate
比較した結果、算出した前記うつむき率と前記記憶部に記憶された前記対象者のうつむき率との差分が閾値以上となる場合に、前記対象者を識別する識別情報を出力する、As a result of the comparison, when the difference between the calculated depression rate and the depression rate of the subject stored in the storage unit is equal to or greater than a threshold, the identification information identifying the subject is output.
処理を実行することを特徴とする発表者選択支援方法。A presenter selection support method characterized by performing a process.
前記移行指示の受付後に撮影された対象者の顔画像から所定の特徴を認識して得られる認識結果に基づいて、前記対象者ごとに、前記モード中に当該対象者がうつむいている状態である割合を示すうつむき率を算出し、Based on a recognition result obtained by recognizing a predetermined feature from a face image of the subject taken after receiving the transfer instruction, the subject is in a state where the subject is facing down during the mode for each of the subjects. Calculate the depression rate indicating the percentage,
前記モードよりも以前の、発表者を選択するモード中の前記対象者のうつむき率を記憶する記憶部を参照して、算出した前記うつむき率と、前記記憶部に記憶された前記対象者のうつむき率とを比較し、With reference to a storage unit that stores the depression rate of the subject in the mode for selecting a presenter before the mode, the calculated depression rate and the depression of the subject stored in the storage unit are referred to. Compare with the rate
比較した結果、算出した前記うつむき率と前記記憶部に記憶された前記対象者のうつむき率との差分が閾値以上となる場合に、前記対象者を識別する識別情報を出力する、As a result of the comparison, when the difference between the calculated depression rate and the depression rate of the subject stored in the storage unit is equal to or greater than a threshold, the identification information identifying the subject is output.
制御部を有することを特徴とする情報処理装置。An information processing device comprising a control unit.
発表者を選択するモードへの移行指示を受け付け、Accepts an instruction to shift to the mode to select a presenter,
前記移行指示の受付後に撮影された対象者の顔画像を顔認識して得られる前記対象者の眼の画像に基づいて、前記対象者の視線を検出し、Based on the image of the eye of the subject obtained by face recognition of the face image of the subject taken after receiving the transfer instruction, the gaze of the subject is detected,
検出した検出結果に基づいて、前記対象者ごとに、前記モード中に当該対象者が特定の方向を見ている状態である割合を示す注視率を算出し、Based on the detected detection result, for each of the subjects, calculate a gaze rate indicating a rate that the subject is in a state of looking in a specific direction during the mode,
前記モードよりも以前の、発表者を選択するモード中の前記対象者の注視率を記憶する記憶部を参照して、算出した前記注視率と、前記記憶部に記憶された前記対象者の注視率とを比較し、Prior to the mode, with reference to the storage unit storing the gaze rate of the subject in the mode for selecting a presenter, the calculated gaze rate and the gaze of the subject stored in the storage unit Compare with the rate
比較した結果、算出した前記注視率と前記記憶部に記憶された前記対象者の注視率との差分が閾値以上となる場合に、前記対象者を識別する識別情報を出力する、As a result of the comparison, when a difference between the calculated gaze rate and the gaze rate of the subject stored in the storage unit is equal to or greater than a threshold, the identification information for identifying the subject is output.
処理を実行させることを特徴とする発表者選択支援プログラム。A presenter selection support program characterized by executing processing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015030268A JP6672592B2 (en) | 2015-02-19 | 2015-02-19 | Presenter selection support program, presenter selection support method, and information processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015030268A JP6672592B2 (en) | 2015-02-19 | 2015-02-19 | Presenter selection support program, presenter selection support method, and information processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016151730A JP2016151730A (en) | 2016-08-22 |
JP6672592B2 true JP6672592B2 (en) | 2020-03-25 |
Family
ID=56696524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015030268A Active JP6672592B2 (en) | 2015-02-19 | 2015-02-19 | Presenter selection support program, presenter selection support method, and information processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6672592B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6897095B2 (en) * | 2016-12-27 | 2021-06-30 | 富士通株式会社 | Image processing program, image processing device and image processing method |
US11102425B2 (en) * | 2017-03-08 | 2021-08-24 | Sony Corporation | Image processing apparatus and image processing method |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005346016A (en) * | 2004-06-07 | 2005-12-15 | Willway:Kk | Show-of-hand detector and show-of-hand detection system using the same |
JP2006330464A (en) * | 2005-05-27 | 2006-12-07 | Fujifilm Holdings Corp | Attendance status discriminating device, method, and program |
JP2007102344A (en) * | 2005-09-30 | 2007-04-19 | Fujifilm Corp | Automatic evaluation device, program, and method |
JP4985370B2 (en) * | 2007-12-06 | 2012-07-25 | 日本電気株式会社 | Distance lecture system |
JP5441071B2 (en) * | 2011-09-15 | 2014-03-12 | 国立大学法人 大阪教育大学 | Face analysis device, face analysis method, and program |
US11043135B2 (en) * | 2013-01-22 | 2021-06-22 | D2L Corporation | Systems and methods for monitoring learner engagement during a learning event |
-
2015
- 2015-02-19 JP JP2015030268A patent/JP6672592B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016151730A (en) | 2016-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7152016B2 (en) | Usability evaluation support apparatus and method | |
CN109685007B (en) | Eye habit early warning method, user equipment, storage medium and device | |
US6581037B1 (en) | System and method for analyzing human behavior | |
US8655804B2 (en) | System and method for determining a characteristic of an individual | |
Campbell et al. | Varieties of projection in trait attribution. | |
Youngblut | Experience of presence in virtual environments | |
Tran et al. | Are you really looking at me? A feature-extraction framework for estimating interpersonal eye gaze from conventional video | |
CN116823028A (en) | Teaching quality evaluation system and method | |
WO2023041940A1 (en) | Gaze-based behavioural monitoring system | |
JP6672592B2 (en) | Presenter selection support program, presenter selection support method, and information processing device | |
US6829564B2 (en) | Usability evaluation support apparatus | |
CN112288287A (en) | Evaluation method and equipment of vehicle-mounted information system | |
US20210150926A1 (en) | Method, Apparatus, and Computer Device for Matching Teaching Test Item | |
US20230360548A1 (en) | Assist system, assist method, and assist program | |
Scherr et al. | On the road to enriching the app improvement process with emotions | |
CN114020863A (en) | Visual question-answer analysis method, device and system and readable storage medium | |
CN115690867A (en) | Classroom concentration detection method, device, equipment and storage medium | |
CN113506027A (en) | Course quality assessment and improvement method based on student visual attention and teacher behavior | |
Horvat et al. | Quantitative measures for classification of human upper body posture in video signal to improve online learning | |
US20230210364A1 (en) | Eye tracking system, eye tracking method, and eye tracking program | |
WO2024062935A1 (en) | Information processing device, system, information processing method, and program | |
KR102696442B1 (en) | Gaze Information Visualization Method for Online Learning and Online Learning Interaction System | |
Pinter et al. | Eye Movement Monitoring for Multimedia Content Ranking | |
WO2022064620A1 (en) | Video meeting evaluation system and video meeting evaluation server | |
WO2022113248A1 (en) | Video meeting evaluation terminal and video meeting evaluation method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190723 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190924 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200217 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6672592 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |