JP6339929B2

JP6339929B2 - 理解度推定装置、理解度推定方法及び理解度推定プログラム

Info

Publication number: JP6339929B2
Application number: JP2014251674A
Authority: JP
Inventors: 麻衣子井元; 山田　智広; 智広山田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2014-12-12
Filing date: 2014-12-12
Publication date: 2018-06-06
Anticipated expiration: 2034-12-12
Also published as: JP2016114684A

Description

本発明は、講義視聴中の受講者の理解度を推定する技術に関する。

従来、初等学校等では、教室内で教師と生徒が対面しながら授業を行っている。このとき、非特許文献１が示すように、教師は生徒の様子を観察したり生徒に質問を投げかけたりしながら、生徒らの授業への理解度や集中度を見極めつつ授業の進行を調整している。また、生徒は授業中に理解が不足している部分を教師に質問することで授業への理解を深めることができる。

しかし、近年インターネットを通して行われるｅ−ｌｅａｒｎｉｎｇのような講義では、受講者の様子を観察する教師がいないため、非特許文献２が示すように、受講者は講義についての質問ができず、講義への集中度が低下してしまうことによって、講義への理解が十分に深められないことが報告されている。

この問題を解決するために、講義中の受講者の理解度を推定する手法や、推定した受講者の理解度に応じて適切な復習教材を提供する手法が提案されている。これについて、非特許文献３では、計測した受講者の脳波を用いて受講者の集中度を推定し、集中度が低下している部分は理解が不足しているとして、その部分の復習を促す手法を提案している。

吉崎、"授業実施過程における教師の意思決定"、日本教育工学雑誌、Vol.8、1983年、p.61-p.70 繁田、外３名、"英語リスニング電子教材を対象とした眼球運度測定による学習者の主観難易度の推定"、電気学会論文誌Ｃ、131巻4号、2011年、p.800-807 D.Szafir、外１名、"ARTFul:Adaptive Review Technology for Flipped Learning"、CHI 2013: Changing Perspectives, Paris, France、p.1001-1010

しかしながら、非特許文献３でも述べられているように、受講者は講義内容の中で知識を既に持っている部分については、必ずしも集中して受講するとは限らない。反面、講義内容の中で理解しようとしている部分、つまり知識を十分に持っていない部分については、高い集中力で講義を受講する可能性がある。そのため、講義中の集中度からでは講義に対して復習すべき箇所の推定精度が低いことがある。

一方、非特許文献３が示唆しているように、受講者は自身が既に持っている知識の程度に応じて、講義中に表示されるデジタル教材を精読するか否かを判断していると考えられる。つまり、受講者が精読しているデジタル教材の部分は、受講者が十分に知識をもっていない部分であり、受講者が講義を理解するために必要な部分であると考えられる。このとき、講義の進行が受講者の講義を理解する速度よりも速いことがあり、受講者が講義中の部分を精読し終わる前に講義が次へ進行してしまうことがある。

本発明は、上記事情を鑑みてなされたものであり、講義の中で受講者が理解する必要があるにも関わらず十分に精読できなかったと考えられる部分を推定することを目的とする。

以上の課題を解決するため、請求項１に記載の理解度推定装置は、講義コンテンツを受講中の受講者の視線情報を取得して記憶手段に記憶させる取得手段と、前記視線情報に含まれる視線座標および当該視線座標の計測時刻と、前記講義コンテンツのスライドがスライドして切り替えられた切替時刻とを用いて、前記スライドの切替前後の視線移動方向をそれぞれ算出し、前記切替前後の視線移動方向と前記スライドのスライド方向とに基づき当該スライドに対する前記受講者の理解度を決定する決定手段と、を有することを要旨とする。

請求項２に記載の理解度推定装置は、請求項１に記載の理解度推定装置において、前記決定手段は、前記スライド方向に対する前記切替前後の視線移動方向のなす角に基づき前記受講者の理解度を決定することを要旨とする。

請求項３に記載の理解度推定装置は、請求項１又は２に記載の理解度推定装置において、前記決定手段は、前記スライド方向に対する前記切替前後の視線移動方向のなす角をそれぞれ算出し、一方のなす角の余弦値と他方のなす角の余弦値の正負符号が異なる場合に前記受講者の理解度は低いと決定することを要旨とする。

請求項４に記載の理解度推定装置は、請求項１乃至３のいずれかに記載の理解度推定装置において、前記講義コンテンツの各スライドが切替前の視線移動方向とは異なる方向でスライドしながら切り替わるように前記講義コンテンツを加工する加工手段を更に有することを要旨とする。

請求項５に記載の理解度推定装置は、請求項４に記載の理解度推定装置において、前記加工手段は、切替開始直後よりも切替終了直前のスライド速度が遅くなるように前記講義コンテンツを加工することを要旨とする。

請求項６に記載の理解度推定方法は、理解度推定装置で行う理解度推定方法において、前記理解度推定装置は、講義コンテンツを受講中の受講者の視線情報を取得して記憶手段に記憶させる取得ステップと、前記視線情報に含まれる視線座標および当該視線座標の計測時刻と、前記講義コンテンツのスライドがスライドして切り替えられた切替時刻とを用いて、前記スライドの切替前後の視線移動方向をそれぞれ算出し、前記切替前後の視線移動方向と前記スライドのスライド方向とに基づき当該スライドに対する前記受講者の理解度を決定する決定ステップと、を有することを要旨とする。

請求項７に記載の理解度推定プログラムは、請求項１乃至５のいずれかに記載の理解度推定装置としてコンピュータを機能させることを要旨とする。

本発明によれば、講義の中で受講者が理解する必要があるにも関わらず十分に精読できなかったと考えられる部分を推定できる。

理解度推定システムの構成を示す図である。理解度推定方法の処理シーケンスを示す図である。コンテンツＤＢのデータ例を示す図である。視線情報ＤＢのデータ例を示す図である。スライド情報ＤＢのデータ例を示す図である。

以下、本発明を実施する一実施の形態について図面を用いて説明する。

図１は、本実施の形態に係る理解度推定システムの構成を示す図である。理解度推定システム１は、講義に対する受講者の理解度を推定する理解度推定装置１０と、該受講者が受講時に使用するクライアント端末３０と、を備えて構成される。該理解度推定装置１０と該クライアント端末３０は、相互に通信可能に接続されている。

続いて、理解度推定装置１０の機能を説明する。理解度推定装置１０は、コンテンツ加工機能部１０１と、視線情報取得機能部１０２と、方向一致度推定機能部１０３と、コンテンツＤＢ１０４と、視線情報ＤＢ１０５と、スライド情報ＤＢ１０６と、を備えて構成される。

コンテンツ加工機能部１０１は、クライアント端末３０から要求された講義コンテンツをコンテンツＤＢ１０４から取得し、該講義コンテンツのスライド（スライド画面，スライド頁）を所定の方向にスライドさせながら切り替える機能を追加するように構成されている。

視線情報取得機能部１０２は、クライアント端末３０で所定のタイミング毎に計測される受講者の視線情報（視線座標，計測時刻）を取得し、視線情報ＤＢ１０５に格納するように構成されている。

方向一致度推定機能部１０３は、クライアント端末３０から送信されるスライドの切替時刻を取得し、該切替時刻と上記視線情報（視線座標，計測時刻）とを用いて切替前後の視線移動方向をそれぞれ算出し、該切替前後の視線移動方向とスライド方向（上記所定の方向）とに基づいてスライドに対する受講者の理解度を推定（決定）して、理解度の低いスライドに関する情報をスライド情報ＤＢ１０６に格納するように構成されている。

次に、クライアント端末３０の機能を説明する。クライアント端末３０は、コンテンツ要求機能部３０１と、コンテンツ受信機能部３０２と、視線情報送信機能部３０３と、切替タイミング通知機能部３０４と、を備えて構成される。

コンテンツ要求機能部３０１は、受講者が指定した講義コンテンツを理解度推定装置１０に要求するように構成されている。コンテンツ受信機能部３０２は、該要求に応じて理解度推定装置１０から送信された講義コンテンツを取得し、モニタやマイクで再生するように構成されている。

視線情報送信機能部３０３は、再生中の講義コンテンツのスライドに対する受講者の視線位置（水平−垂直位置）を視線座標として計測し、該視線座標と計測時刻とを理解度推定装置１０に送信するように構成されている。切替タイミング通知機能部３０４は、講義コンテンツのスライドが切り替えられた切替時刻を理解度推定装置１０に通知するように構成されている。

かかる理解度推定装置１０およびクライアント端末３０は、ＣＰＵ等の演算機能やメモリ等の記憶機能を備えたコンピュータ（例えば、サーバ、パソコン）で実現できる。また、理解度推定装置１０としてコンピュータを機能させるための理解度推定プログラムや該理解度推定プログラムの記憶媒体を作成することも可能である。

次に、理解度推定システム１で行う理解度推定方法を説明する。図２は、理解度推定方法の処理シーケンスを示す図である。

まず、ステップＳ１において、コンテンツ要求機能部３０１は、受講者の指定操作に基づき、講義Ａに関する講義コンテンツＣ_Ａの送信を理解度推定装置１０に要求する。

次に、ステップＳ２において、コンテンツ加工機能部１０１は、クライアント端末３０から講義コンテンツＣ_Ａの送信要求を受信した場合、コンテンツＤＢ１０４から該講義コンテンツＣ_Ａを取得する。図３は、コンテンツＤＢ１０４のデータ例を示す図である。コンテンツＤＢ１０４には、複数の講義コンテンツが格納されており、講義ＩＤカラムと講義コンテンツカラムとから構成される。講義ＩＤカラムには、講義コンテンツを一意に識別可能なＩＤが格納される。講義コンテンツカラムには、講義コンテンツが格納される。講義コンテンツとは、１枚以上のスライドからなるデジタル教材データと該スライドの内容を説明するための音声データである。

次に、ステップＳ３において、コンテンツ加工機能部１０１は、講義コンテンツＣ_Ａの各スライドｓを切り替える際にスライド表示を行うため、該スライドｓのスライド方向ν_ｓ（ν_ｓは単位ベクトル，ベクトル表示「→」は省略）を決定する。具体的には、受講者がスライド内で視線を移動させる１つ以上の視線移動方向ν_ｕ（ν_ｕは単位ベクトル，ベクトル表示「→」は省略）を推定し、該視線移動方向ν_ｕのいずれかと逆方向となる方向の１つをスライド方向ν_ｓとする。

例えば、「画像検索を用いたディジタルアーカイブのインデクシング」技術（川嶋，05-01045，p.486-p.491）を用いて、スライド中の文章や箇条書きが読み書きされる方向を視線移動方向ν_ｕとして推定する。例えば、スライド中の文章や箇条書きが左から右方向に、かつ、上から下方向に読み進めるように構成されている場合、受講者はスライドを読むために左から右方向、又は、上から下方向に視線を移動させると考えられる。この場合、視線移動方向ν_ｕを、左から右への水平方向と、上から下への垂直方向とする。したがい、このとき、スライド方向ν_ｓは、右から左への水平方向、又は、下から上への垂直方向とする。なお、一般的なスライドは、スライドの構成が一貫性を保っていると考えられるため、ある１枚のスライドに対して視線移動方向ν_ｕを推定すれば十分である。仮に、スライドの構成が一貫性を保っていない場合には、スライド毎にスライド方向ν_ｓを決定してもよいし、どれか１枚のスライドに対して決定したスライド方向ν_ｓに統一してもよい。

次に、ステップＳ４において、コンテンツ加工機能部１０１は、講義コンテンツＣ_Ａの各スライドに対して、スライドの切り替わり時に上記スライド方向ν_ｓにスライドしながら切り替わるようなエフェクトを付与する。このとき、例えば、文章の最後部分等、スライド中で最後に読まれると考えられる箇所がクライアント端末上にできるだけ長い時間表示されるようなエフェクトをスライドに付与する。例えば、一般的なスライドは左上から右下に向かって文章等が記述されることが多いため、スライドの右下ができるだけ長く表示されるようにする。

次に、ステップＳ５において、コンテンツ加工機能部１０１は、ステップＳ４で加工された講義コンテンツＣ_Ａ’をクライアント端末３０に送信する。

その後、ステップＳ６において、コンテンツ受信機能部３０２は、理解度推定装置１０から講義コンテンツＣ_Ａ’を受信後、クライアント端末上で再生を開始する。該講義コンテンツＣ_Ａ’は、ステップＳ４で行われた加工処理により、講義の進行に合せて所定のタイミングで各スライドがスライドしつつ、かつ、文章の最後が長く表示されながら切り替えられることになる。例えば、スライドの切替開始直後よりも切替終了直前のスライド速度が遅くなるように制御される。

続いて、ステップＳ７において、視線情報送信機能部３０３は、講義コンテンツＣ_Ａ’を受講中の受講者の視線座標（水平−垂直座標）を一定のタイミング毎に計測し、該視線座標と計測時刻とを理解度推定装置１０に送信する。例えば、既存の眼球運動測定器を用いて受講者の視線座標値をｍ秒間隔（ｍは正の実数）で計測し、計測する度に該視線座標値と計測時刻とを送信する。

その後、ステップＳ８において、視線情報取得機能部１０２は、クライアント端末３０から講義コンテンツＣ_Ａ’を受講中の受講者の視線座標と計測時刻とを受信し、視線情報ＤＢ１０５に格納する。図４は、視線情報ＤＢ１０５のデータ例を示す図である。視線情報ＤＢ１０５には、受講者の視線情報が格納されており、講義ＩＤカラムと計測時刻カラムと視線座標カラムとから構成される。図４の場合、講義コンテンツＣ_１の受講者は１：２５からｍ秒間で左から右方向に視線を移動させている。

また、ステップＳ９において、切替タイミング通知機能部３０４は、講義コンテンツＣ_Ａ’の再生中にスライドｓが切り替えられたときに、該スライドｓの切替時刻ｔを理解度推定装置１０に通知する。

その後、ステップＳ１０において、方向一致度推定機能部１０３は、スライドｓのスライド方向と、該スライドｓの切替前後の受講者の視線移動方向とを用いて、該スライドｓに対する受講者の理解度を推定する。ここでは、講義コンテンツを閲覧中にスライドが移動した場合、人間の目は自然と該スライドを追う（動くものを追い易い）という特性を利用している。ステップＳ３において、スライド閲覧時の受講者の視線方向と逆方向にスライドを移動させるようにすることで、スライドが移動するのにつられて視線方向が変わることを検知しやすくなり、十分に精読できなかったスライドを特定する。以下詳述する。

クライアント端末３０から該スライドｓの切替時刻ｔを受信すると、まず、該スライドｓの切替時刻ｔと、視線情報ＤＢ１０５の視線情報（視線座標，計測時刻）とを用いて、切替時刻ｔ直前の受講者の視線移動方向ν_ｂ（ベクトル表示「→」は省略）と切替時刻ｔ直後の受講者の視線移動方向ν_ａ（ベクトル表示「→」は省略）を推定する。例えば、「切替時刻ｔ−所定時刻Ｔ_１（Ｔ_１は正の実数）」に最も近い時刻の視線座標（ｘ_０，ｙ_０）と、切替時刻ｔに最も近い時刻の視線座標（ｘ_１，ｙ_１）と、「切替時刻ｔ＋所定時刻Ｔ_２（Ｔ_２は正の実数）」に最も近い時刻の視線座標（ｘ_２，ｙ_２）とを視線情報ＤＢ１０５から取得し、視線移動方向ν_ｂ＝（ｘ_１−ｘ_０，ｙ_１−ｙ_０），視線移動方向ν_ａ＝（ｘ_２−ｘ_１，ｙ_２−ｙ_１）を算出する。

続いて、該スライドｓにおいて、かかる２つの視線移動方向ν_ｂ，ν_ａと、ステップＳ３で決定したスライド方向ν_ｓとから、該スライド方向ν_ｓに対する２つのベクトル（ν_ｂ，ν_ａ）のなす角θ_１，θ_２をそれぞれ算出する。そして、なす角θ_１，θ_２が所定の閾値以下の場合、受講者はスライドｓを精読しきれなかったと判定し、該スライドｓの情報をスライド情報ＤＢ１０６に格納する。

例えば、スライド方向ν_ｓと視線移動方向ν_ｂとのなす角θ_１（０°≦θ_１≦１８０°）の余弦ｃｏｓθ_１を式（１）より算出する。同様に、スライド方向ν_ｓと視線移動方向ν_ａとのなす角θ_２（０°≦θ_２≦１８０°）の余弦ｃｏｓθ_２を式（２）より算出する。

そして、例えば、−１≦ｃｏｓθ_１≦Ｍ_１（Ｍ_１は−１≦Ｍ_１≦０を満たす実数）、かつ、０≦ｃｏｓθ_２≦Ｍ_２（Ｍ_２は０≦Ｍ_２≦１を満たす実数）の場合、スライドｓの切替前後における受講者の視線方向は一致していない（反対方向である）ため、該受講者は視線を左右又は上下に何度も動かして視線方向を変化させ、該スライドｓの最後部分を再読している可能性がある。そのため、かかる場合、該スライドｓに対する受講者の理解度は低い（受講者の理解が不十分）と推定し、該スライドｓのスライド番号をスライド情報ＤＢ１０６に格納する。図５は、スライド情報ＤＢ１０６のデータ例を示す図である。スライド情報ＤＢ１０６は、講義ＩＤカラムとスライドカラムとから構成される。スライドカラムには、スライドのスライド番号が格納される。

その他、単純になす角θ_１，θ_２に基づき受講者の理解度を推定してもよい。具体的には、「スライドの切替えが発生したことによって視線移動方向が変わった→十分に精読できずにスライドが切り替わってしまった→理解度が低い」と考えられるため、一方のなす角θ_１が９０°より大きく（スライド方向とベクトルの向きが反対）、かつ、他方のなす角θ_２が９０°より小さい（スライド方向とベクトルの向きが同じ）の場合に、受講者の理解度は低いと推定する。

なお、本実施の形態では、講義コンテンツの各スライドを切替前の視線移動方向の反対方向にスライドさせる場合を例に説明したが、スライドが移動するのにつられて視線方向が変わることを検知できればよいため、切替前の視線移動方向とは異なる方向、つまり切替前の視線移動方向と同一方向以外の任意の方向にスライドをスライドさせるようにしてもよい。

本実施の形態によれば、理解度推定装置１０において、講義コンテンツを受講中の受講者の視線情報を取得し、該視線情報に含まれる視線座標および該視線座標の計測時刻と、講義コンテンツのスライドｓがスライドして切り替えられた切替時刻ｔとを用いて、該スライドｓの切替前後の視線移動方向ν_ｂ，ν_ａをそれぞれ算出し、該切替前後の視線移動方向ν_ｂ，ν_ａと該スライドｓのスライド方向ν_ｓとに基づき該スライドｓに対する受講者の理解度を決定するので、講義の中で受講者が理解する必要があるにも関わらず十分に精読できなかったと考えられる部分を推定できる。これにより、結果として、講義に対する受講者の理解度の推定精度を向上できる。

１…理解度推定システム
１０…理解度推定装置
１０１…コンテンツ加工機能部
１０２…視線情報取得機能部
１０３…方向一致度推定機能部
１０４…コンテンツＤＢ
１０５…視線情報ＤＢ
１０６…スライド情報ＤＢ
３０…クライアント端末
３０１…コンテンツ要求機能部
３０２…コンテンツ受信機能部
３０３…視線情報送信機能部
３０４…切替タイミング通知機能部
Ｓ１〜Ｓ１０…ステップ

Claims

講義コンテンツを受講中の受講者の視線情報を取得して記憶手段に記憶させる取得手段と、
前記視線情報に含まれる視線座標および当該視線座標の計測時刻と、前記講義コンテンツのスライドがスライドして切り替えられた切替時刻とを用いて、前記スライドの切替前後の視線移動方向をそれぞれ算出し、前記スライドのスライド方向に対する前記切替前後の視線移動方向に基づき、当該スライドに対する前記受講者の理解度を決定する決定手段と、
を有することを特徴とする理解度推定装置。
前記決定手段は、
前記スライド方向に対する前記切替前後の視線移動方向のなす角に基づき前記受講者の理解度を決定することを特徴とする請求項１に記載の理解度推定装置。
前記決定手段は、
前記スライド方向に対する前記切替前後の視線移動方向のなす角をそれぞれ算出し、一方のなす角の余弦値と他方のなす角の余弦値の正負符号が異なる場合に前記受講者の理解度は低いと決定することを特徴とする請求項１又は２に記載の理解度推定装置。
前記講義コンテンツの各スライドが切替前の視線移動方向とは異なる方向でスライドしながら切り替わるように前記講義コンテンツを加工する加工手段を更に有することを特徴とする請求項１乃至３のいずれかに記載の理解度推定装置。
前記加工手段は、
切替開始直後よりも切替終了直前のスライド速度が遅くなるように前記講義コンテンツを加工することを特徴とする請求項４に記載の理解度推定装置。
理解度推定装置で行う理解度推定方法において、
前記理解度推定装置は、
講義コンテンツを受講中の受講者の視線情報を取得して記憶手段に記憶させる取得ステップと、
前記視線情報に含まれる視線座標および当該視線座標の計測時刻と、前記講義コンテンツのスライドがスライドして切り替えられた切替時刻とを用いて、前記スライドの切替前後の視線移動方向をそれぞれ算出し、前記スライドのスライド方向に対する前記切替前後の視線移動方向に基づき、当該スライドに対する前記受講者の理解度を決定する決定ステップと、
を有することを特徴とする理解度推定方法。
請求項１乃至５のいずれかに記載の理解度推定装置としてコンピュータを機能させることを特徴とする理解度推定プログラム。