JP7139704B2 - 集中度評価プログラム、装置、及び方法 - Google Patents

Description

開示の技術は、集中度評価プログラム、集中度評価装置、及び集中度評価方法に関する。

通信技術の発達によって、質の高い動画を配信する様々なサービスが増加している。例えば、学習コンテンツとして、学習塾などの講義を収録した動画を配信し、生徒はその動画を視聴することにより講義を受講することが行われている。このような受講形式では、講師が生徒個々人の受講状況を見守ることが難しく、生徒の講義に対する集中度を把握することが困難である。

そこで、例えば、講義動画を主張する生徒の表情によって集中度を把握することが考えられるが、表情は集中度によって大きく変化することがなく、集中度の指標として用いることは難しい。そのような状況で、動画視聴中のユーザの視線を用いて、動画視聴に対する集中度を推定する技術が提案されている。

例えば、表示オブジェクトに対するユーザの集中度をより正確に把握する評価方法が提案されている。この方法では、少なくとも第１オブジェクトを画面内に表示する第１期間におけるユーザの第１注視点を特定し、第１期間の後、少なくとも第２オブジェクトを上記画面内に表示する第２期間におけるユーザの第２注視点を特定する。そして、第１オブジェクト内の基準点から第２オブジェクト内の基準点までの第１ベクトルの向きと、第１注視点から第２注視点までの第２ベクトルの向きとの近似度を算出する。

特開２０１６－２２４１４２号公報

例えば、上述したような講義動画の視聴時には、生徒がノートをとったり、動画とは別に配布されている手元の資料を見たりする場合など、生徒の視線が画面から外れる機会が多く存在する。

従来技術では、視線が画面上に存在していることを前提として集中度を評価している。そのため、上記の講義動画の視聴などのように、視線が画面から外れる機会が多く存在する場合には、集中度の評価ができない、又は集中していないと評価してしまう時間が多く存在するおそれがある。

ノートをとったり、手元の資料を見たりしている間でも、生徒は講義に集中している可能性が高く、従来技術では、このような場合の集中度を適切に評価することができない。

一つの側面として、開示の技術は、ユーザの視線が画面から外れる場合でも、動画視聴に対する集中度を適切に評価することを目的とする。

一つの態様として、開示の技術は、動画視聴中のユーザの画面に対する視線位置を検出する。そして、第１視線位置と第２視線位置との距離が小さいほど、前記動画視聴に対する前記ユーザの集中度を高く評価する。第１視線位置は、前記画面に対する視線位置が検出されなくなった直前の視線位置である。第２視線位置は、前記画面に対する視線位置が検出されなくなり、再び前記画面に対する視線位置が検出された際の視線位置である。

一つの側面として、ユーザの視線が画面から外れる場合でも、動画視聴に対する集中度を適切に評価することができる、という効果を有する。

第１及び第２実施形態に係る集中度評価システムの概略構成を示すブロック図である。 第１及び第２実施形態に係る集中度評価装置の機能ブロック図である。 画面から外れ、再び画面に戻ってくる視線の特徴を説明するための図である。 動画視聴に集中していない場合の視線の特徴を説明するための図である。 画面から外れ、再び画面に戻ってくる視線の特徴を説明するための図である。 視線位置テーブルの一例を示す図である。 第１実施形態における注目領域データベースの一例を示す図である。 第１及び第２実施形態に係る集中度評価装置として機能するコンピュータの概略構成を示すブロック図である。 第１実施形態における集中度評価処理の一例を示すフローチャートである。 評価値ａ算出処理の一例を示すフローチャートである。 注目領域が図の場合の評価値ｂ１の算出を説明するための図である。 注目領域が文章の場合の評価値ｂ１の算出を説明するための図である。 第２実施形態における注目領域データベースの一例を示す図である。 第２実施形態における集中度評価処理の一例を示すフローチャートである。 評価値ｂ１算出処理の一例を示すフローチャートである。 設定部を含む場合の集中度評価装置の機能ブロック図である。

以下、図面を参照して、開示の技術に係る実施形態の一例を詳細に説明する。以下の各実施形態では、学習コンテンツとしての講義動画の視聴に対するユーザの集中度を評価する場合を例に説明する。

＜第１実施形態＞
図１に示すように、第１実施形態に係る集中度評価システム１００は、集中度評価装置１０と、視線計測装置３０とを含む。

視線計測装置３０は、可視光カメラと制御部とを含んで構成され、例えば、動画を表示する表示装置３６の上端又は下端等、表示装置３６の正面の領域を撮影可能な位置に設置される。視線計測装置３０は、可視光カメラにより撮影された画像に含まれる、画面に対峙したユーザの目領域の画像に基づいて、ユーザの視線方向を計測する。例えば、視線計測装置３０は、目領域における基準点（目頭、角膜反射点等）と動点（虹彩、瞳孔等）との位置関係に基づいて、視線方向を計測する。視線計測装置３０は、計測した視線方向を示す視線データを出力する。

図２に示すように、集中度評価装置１０には、視線計測装置３０から出力された視線データが入力される。集中度評価装置１０は、入力された視線データに基づいて、画面に対するユーザの視線位置を検出し、検出した視線位置に基づいて、動画視聴に対するユーザの集中度を評価した評価結果を出力する。

ここで、上述したように、学習コンテンツとしての講義動画の視聴の際には、ユーザがノートをとったり、手元の資料を見たりするなどして、ユーザの視線が画面から外れる場合がある。本実施形態では、このように、ユーザの視線が画面から外れる場合でも、集中度を適切に評価することができる。以下、その理由について説明する。

ユーザが講義に集中している状態で、ノートをとったり、手元の資料を見たりするなどして、ユーザの視線が画面から外れた場合、再び画面上に戻ってくる視線には、図３に示すような特徴があることが確認された。

具体的には、図３中のＡに示すように、表示装置３６に表示された画面３８上にユーザ４０の視線位置がある状態から、図３中のＢに示すように、ユーザ４０の視線が外れたとする。そして、その後、ユーザ４０の視線が再び画面３８上に戻る場合、図３中のＣに示すように、画面３８から視線を外す前に見ていた位置に視線が戻る。これは、ノートをとった場合などに、書いたことを確認するためなどである。

また、その後、図３中のＤに示すように、現在説明がなされている部分に視線が移動したり、図３中のＥに示すように、話者（講師）の顔に視線が移動したりする。なお、図３中のＣの状態を経ることなく、図３中のＢの状態から、図３中のＤ又はＥのように、視線が戻る場合もある。

また、集中度が低下している場合、図４中のＦに示すように、視線が画面３８から外れる前に、視線が話者の顔や現在説明がされている部分から外れた位置にあるという特徴がある。また、図４中のＧに示すように、画面３８から外れた視線が再び画面３８上に戻ってきた際に、視線が外れる前の視線位置、現在説明がなされている部分、又は話者の顔のいずれにも視線が戻らない場合も、集中度が低下している場合の視線の特徴である。

また、上記のような特徴は、図５に示すように、講義画面がスライドのみの場合、すなわち、画面３８上に話者が登場しない場合でも同様である。図５中のＨに示す位置に視線位置がある状態から、図５中のＩに示すよう、ユーザ４０の視線が画面３８から外れ、図５中のＪに示すように画面３８に視線が戻ってくるとする。この場合、ユーザ４０が動画視聴に集中している場合には、視線が外れる前の視線位置、又は、現在説明がなされている部分に視線が戻る。

第１実施形態では、上記のような視線の特徴を利用して、視線が画面から外れた場合の集中度を評価する。

図２に示すように、集中度評価装置１０は、機能的には、検出部１２と、評価部１４とを含む。また、集中度評価装置１０の所定の記憶領域には、注目領域データベース（ＤＢ）２０が記憶される。

検出部１２は、集中度評価装置１０に入力された視線データを取得し、視線データが示すユーザ４０の視線方向に基づいて、動画を構成するフレーム毎に、画面３８に対するユーザ４０の視線位置を、画面３８上の座標位置として検出する。検出部１２は、検出した視線位置を、その視線位置を検出したフレームの識別情報であるフレーム番号と対応付けて、例えば図６に示すような視線位置テーブル２２に逐次記録する。なお、図６において、「視線位置」がブランク（図６では「－」で表記）の場合は、そのフレームにおいて、画面３８に対する視線位置が検出されなかったこと、すなわち、ユーザ４０の視線が画面３８から外れていることを表している。なお、以下では、フレーム番号がｉのフレームを、「フレームｉ」と表記する。

評価部１４は、検出部１２によって、画面３８に対する視線位置が検出されなくなった直前の視線位置である第１視線位置と、画面３８に対する視線位置が検出されなくなり、再び画面３８に対する視線位置が検出された際の第２視線位置とを特定する。そして、評価部１４は、第１視線位置及び第２視線位置に基づいて、動画視聴に対するユーザ４０の集中度を評価する。具体的には、評価部１４は、第１視線位置と第２視線位置との距離、並びに第１視線位置及び第２視線位置と注目領域との関係に基づいて、集中度を評価する。

ここで、注目領域とは、動画中の黒板やスライドなどに含まれる文字や図などの情報、話者の動きの変化が起きた部分、動画中に表示されている人の顔、表示の変化が起きた部分、音声情報中の発話内容と関連性が高い部分等である。これらの注目領域は、動画の制作者によって手動で設定されたり、画像処理技術を用いて自動で設定されたりした上で、設定された注目領域の情報が、注目領域ＤＢ２０に記憶される。

図７に、注目領域ＤＢ２０の一例を示す。図７の例では、「フレーム番号」で特定されるフレーム毎に、注目領域を特定する情報（例えば、矩形の注目領域の対角線上の角の座標）が「注目領域」として記憶されている。

より具体的には、評価部１４は、視線位置テーブル２２において、「視線位置」がブランクになったフレームの直前のフレームにおける視線位置を、第１視線位置として特定する。また、評価部１４は、視線位置テーブル２２において、「視線位置」がブランクの状態から視線位置を示す座標が記録された状態になったフレームにおける視線位置を、第２視線位置として特定する。図６の例では、評価部１４は、フレーム２における視線位置「（ｘ２，ｙ２）」を第１視線位置、及びフレームｎにおける視線位置「（ｘｎ，ｙｎ）」を第２視線位置として特定する。

また、評価部１４は、集中度を評価するための評価値ａを算出する。この際、評価部１４は、第１視線位置と第２視線位置との距離が小さいほど高くなるように、評価値ａを算出する。また、評価部１４は、第１視線位置及び第２視線位置の各々が予め定めた注目領域に含まれる場合に、第１視線位置及び第２視線位置の各々が予め定めた注目領域に含まれない場合に比べて評価値ａが高くなるように算出する。

以下、評価値ａの算出の一例を示す。ここでは、０～ｓ（ｓは、ｓ＞０の任意の定数、例えば１００）の評価値ａを算出する場合について説明する。

評価部１４は、第１視線位置が注目領域に含まれない場合には、評価値ａ＝ｓと算出する。

また、評価部１４は、第２視線位置が、第１視線位置が含まれる注目領域と同じ注目領域内で検出されている場合には、第１視線位置と第２視線位置との距離ｄ１を、正規化前の評価値ａ’として算出する。

また、評価部１４は、第２視線位置が、第１視線位置が含まれる注目領域と異なる他の注目領域内で検出されている場合には、第２視線位置が含まれる注目領域の中心位置と第２視線位置との距離ｄ２を、正規化前の評価値ａ’として算出する。

また、評価部１４は、第１視線位置は注目領域に含まれているが、第２視線位置が注目領域に含まれていない場合には、正規化前の評価値ａ’を、ａ’＝ｄ１＋ｐ＊ｄ３と算出する。ここで、ｄ３は、第１視線位置を含む注目領域の外周部と第２視線位置との最短距離であり、ｐは、ｐ＞０の任意の定数（例えば、０．６）である。この評価値ａ’の意味は、第１視線位置と第２視線位置との距離ｄ１に、第２視線位置が注目領域を外れていることに対するペナルティを表す項「ｐ＊ｄ３」を加算したものである。

評価部１４は、正規化前の評価値ａ’を、０～ｓで正規化して評価値ａとする。例えば、正規化前の評価値ａ’として取り得る値の最大値をａ’ｍａｘとすると、評価部１４は、ａ＝ｓ×ａ’／ａ’ｍａｘで正規化する。

評価部１４は、評価値ａを、現在の集中度Ｖとする。この場合、集中度Ｖは、値が小さいほど集中度が高いことを示す。評価部１４は、集中度Ｖを、ユーザ４０が動画視聴に集中しているか否かを示す閾値Ｔ（例えば、Ｔ＝ｓ×０．８）と比較する。評価部１４は、Ｖ＞Ｔの場合には、集中していることを示す評価結果を出力し、Ｖ≦Ｔの場合には、集中していないことを示す評価結果を出力する。

集中度評価装置１０は、例えば図８に示すコンピュータ５０で実現することができる。コンピュータ５０は、ＣＰＵ（Central Processing Unit）５１と、一時記憶領域としてのメモリ５２と、不揮発性の記憶部５３とを備える。また、コンピュータ５０は、視線計測装置３０、入力装置、表示装置等が接続される入出力Ｉ／Ｆ（Interface）５４と、記憶媒体５９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）部５５とを備える。また、コンピュータ５０は、インターネット等のネットワークに接続される通信Ｉ／Ｆ５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力Ｉ／Ｆ５４、Ｒ／Ｗ部５５、及び通信Ｉ／Ｆ５６は、バス５７を介して互いに接続される。

記憶部５３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を、集中度評価装置１０として機能させるための集中度評価プログラム６０が記憶される。集中度評価プログラム６０は、検出プロセス６２と、評価プロセス６４とを有する。また、記憶部５３は、注目領域ＤＢ２０を構成する情報が記憶される情報記憶領域７０を有する。

ＣＰＵ５１は、集中度評価プログラム６０を記憶部５３から読み出してメモリ５２に展開し、集中度評価プログラム６０が有するプロセスを順次実行する。ＣＰＵ５１は、検出プロセス６２を実行することで、図２に示す検出部１２として動作する。また、ＣＰＵ５１は、評価プロセス６４を実行することで、図２に示す評価部１４として動作する。また、ＣＰＵ５１は、検出プロセス６２の実行時に、メモリ５２に視線位置テーブル２２を作成する。また、ＣＰＵ５１は、情報記憶領域７０から情報を読み出して、注目領域ＤＢ２０をメモリ５２に展開する。これにより、集中度評価プログラム６０を実行したコンピュータ５０が、集中度評価装置１０として機能することになる。なお、プログラムを実行するＣＰＵ５１はハードウェアである。

なお、集中度評価プログラム６０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

次に、第１実施形態に係る集中度評価システム１００の作用について説明する。

集中度評価システム１００が起動されると、視線計測装置３０により、ユーザ４０の視線方向の計測が開始され、計測された視線方向を示す視線データが、視線計測装置３０から集中度評価装置１０へ入力される。そして、集中度評価装置１０において、図９に示す集中度評価処理が実行される。なお、集中度評価処理は、開示の技術の集中度評価方法の一例である。

図９に示す集中度評価処理のステップＳ１２で、検出部１２が、集中度評価装置１０に入力された視線データを取得する。そして、検出部１２は、視線データが示すユーザ４０の視線方向に基づいて、現在表示されているフレームの画面３８に対するユーザ４０の視線位置を、画面３８上の座標位置として検出する。さらに、検出部１２は、検出した視線位置を、その視線位置を検出したフレームのフレーム番号と対応付けて、例えば図６に示すような視線位置テーブル２２に記録する。なお、検出部１２は、画面３８に対する視線位置が検出されなかった場合には、視線位置テーブル２２の「視線位置」をブランクとする。

次に、ステップＳ１４で、評価部１４が、ユーザ４０の視線が画面３８から外れたか否かを判定する。この判定は、視線位置テーブル２２において、１フレーム前の「視線位置」がブランクではなく、かつ、上記ステップＳ１２において、現フレームの「視線位置」がブランクとなったか否かにより行うことができる。ユーザ４０の視線が画面３８から外れていない場合には、処理はステップＳ１２に戻る。ユーザ４０の視線が画面３８から外れた場合には、評価部１４は、１フレーム前の「視線位置」を第１視線位置として特定し、処理はステップＳ１６へ移行する。

ステップＳ１６では、上記ステップＳ１２と同様に、検出部１２が、現在表示されているフレームの画面３８に対するユーザ４０の視線位置を検出し、視線位置テーブル２２に記録する。

次に、ステップＳ１８で、評価部１４が、ユーザ４０の視線が画面３８上に戻ったか否かを判定する。この判定は、視線位置テーブル２２において、１フレーム前の「視線位置」がブランクで、かつ、上記ステップＳ１６において、現フレームの「視線位置」に座標が記録されたか否かにより行うことができる。ユーザ４０の視線が画面３８上に戻っていない場合には、処理はステップＳ１６に戻る。ユーザ４０の視線が画面３８上に戻った場合には、評価部１４は、現フレームの「視線位置」を第２視線位置として特定し、処理はステップＳ２０へ移行する。

ステップＳ２０では、図１０に示す評価値ａ算出処理が実行される。

図１０に示す評価値ａ算出処理のステップＳ２２で、評価部１４が、上記ステップＳ１４で特定された第１視線位置が注目領域に含まれるか否かを、注目領域ＤＢ２０を参照して判定する。具体的には、フレーム２から検出された第１視線位置が（ｘ２，ｙ２）であり、また、図７に示す注目領域ＤＢ２０を用いるとする。この場合、評価部１４は、「（ｘ１１，ｙ１１），（ｘ１２，ｙ１２）」で特定されるフレーム２の注目領域に、第１視線位置（ｘ２，ｙ２）が含まれるか否かを判定する。第１視線位置が注目領域に含まれない場合には、処理はステップＳ２４へ移行し、含まれる場合には、処理はステップＳ２６へ移行する。

ステップＳ２４では、評価部１４が、評価値ａ＝ｓと算出し、処理は集中度評価処理（図９）へ戻る。

ステップＳ２６では、評価部１４が、上記ステップＳ１８で特定された第２視線位置が、上記ステップＳ２２で判定された第１視線位置が含まれる注目領域と同じ注目領域内で検出されているか否かを判定する。第２視線位置と注目領域との関係は、上記ステップＳ２２と同様に判定することができる。第２視線位置が第１視線位置と同じ注目領域内で検出されている場合には、処理はステップＳ２８へ移行し、第２視線位置が第１視線位置と同じ注目領域内で検出されていない場合には、処理はステップＳ３０へ移行する。

ステップＳ２８では、評価部１４が、第１視線位置と第２視線位置との距離ｄ１を、正規化前の評価値ａ’として算出し、処理はステップＳ３６へ移行する。

ステップＳ３０では、評価部１４が、第１視線位置が含まれる注目領域と異なる他の注目領域内で第２視線位置が検出されているか否かを判定する。第２視線位置が他の注目領域に含まれる場合には、処理はステップＳ３２へ移行し、他の注目領域にも含まれない場合には、処理はステップＳ３４へ移行する。

ステップＳ３２では、評価部１４が、第２視線位置が含まれる注目領域の中心位置と第２視線位置との距離ｄ２を、正規化前の評価値ａ’として算出し、処理はステップＳ３６へ移行する。

ステップＳ３４では、評価部１４が、第１視線位置と第２視線位置との距離ｄ１と、第１視線位置を含む注目領域の外周部と第２視線位置との最短距離ｄ３とを用いて、正規化前の評価値ａ’を、ａ’＝ｄ１＋ｐ＊ｄ３と算出し、処理はステップＳ３６へ移行する。

ステップＳ３６では、評価部１４が、上記ステップＳ２８、Ｓ３２、又はＳ３４で算出した正規化前の評価値ａ’を、０～ｓで正規化して、評価値ａとする。そして、処理は集中度評価処理（図９）へ戻る。

次に、図９に示す集中度評価処理のステップＳ４０で、評価部１４が、評価値ａを、現在の集中度Ｖとし、ユーザ４０が動画視聴に集中しているか否かを示す閾値Ｔと比較する。評価部１４は、Ｖ＞Ｔの場合には、集中していることを示す評価結果を出力し、Ｖ≦Ｔの場合には、集中していないことを示す評価結果を出力する。

次に、ステップＳ４２で、検出部１２が、動画が終了したか否かを判定する。例えば、動画の再生中に視線計測装置３０による視線方向の計測が行われるように連動させておき、視線計測装置３０から視線データが入力されなくなった場合に、動画が終了したと判定することができる。動画が終了していない場合には、処理はステップＳ１２に戻り、動画が終了した場合には、集中度評価処理は終了する。

以上説明したように、第１実施形態に係る集中度評価システムによれば、集中度評価装置が、画面から視線が外れる直前の第１視線位置と、視線が画面に戻ってきた際の第２視線位置との距離に基づいて、集中度を評価する。また、集中度評価装置は、第１視線位置及び第２視線位置の各々と注目領域との関係に基づいて、集中度を評価する。これにより、ユーザの視線が画面から外れる場合でも、動画視聴に対する集中度を適切に評価することができる。

＜第２実施形態＞
次に、第２実施形態について説明する。なお、第２実施形態に係る集中度評価システムにおいて、第１実施形態に係る集中度評価システム１００と同様の部分については、同一符号を付して、詳細な説明を省略する。

図１に示すように、第２実施形態に係る集中度評価システム２００は、集中度評価装置２１０と、視線計測装置３０とを含む。

集中度評価装置２１０は、機能的には、図２に示すように、検出部１２と、評価部２１４とを含む。また、集中度評価装置２１０の所定の記憶領域には、注目領域ＤＢ２２０が記憶される。

第２実施形態では、第１実施形態で説明した特徴に加え、視線が画面３８から外れる前、及び視線が画面３８に戻ってきた後の各々における視線の動きのパターンの特徴も利用して、視線が画面３８ら外れた場合の集中度の評価について説明する。視線が画面３８から外れる前、及び視線が画面３８に戻ってきた後の各々における視線の動きのパターンには、以下の特徴がある。

黒板やスライドに表示された図や文章をノートに取る場合などには、注目領域の確認をするため、視線を画面３８から外す前の視線の動きとして、図に視線が集中したり、文章を読む方向に対する視線の動きが一定の方向に安定したりするという特徴がある。また、視線を画面３８に戻した後の視線の動きとして、動画視聴に集中していない場合には、視線が注目領域から外れ、大きく動くという特徴がある。

そこで、評価部２１４は、集中度を評価するための評価値ｂ１であって、画面３８に対する視線位置が検出されなくなる前の所定時間における視線の動きと、注目領域を確認する動きを示す予め定めたパターンとの一致度が高いほど高くなる評価値ｂ１を算出する。

以下、評価値ｂ１の算出の一例を示す。ここでは、０～ｒ（ｒは、ｒ＞０の任意の定数、例えば１００）の評価値ｂ１を算出する場合について説明する。

注目領域が図の場合、評価部２１４は、画面３８に対する視線位置が検出されなくなる前の所定時間において視線が動いた範囲と注目領域との重複範囲が多いほど高くなるように、評価値ｂ１を算出する。これは、図の確認時には、図の全体に対して網羅的に視線を動かすという特徴を捉えたものである。

例えば、視線が画面３８から外れる前のＭ秒間での視線の動きの中心位置（ｘｍ，ｙｍ）が注目領域内の場合、評価部２１４は、注目領域の中心位置（ｘｍ，ｙｍ）と、Ｍ秒間での視線の動きの中心位置との距離ｄ４を、正規化前の評価値ｂ１’として算出する。

また、評価部２１４は、図１１に示すように、視線が画面３８から外れる前のＭ秒間での視線の動きの中心位置（ｘｍ，ｙｍ）と、Ｍ秒間での視線位置のｘ方向の分散σｘ及びｙ方向の分散σｙを算出する。そして、評価部２１４は、縦２σｙ、横２σｘ、中心（ｘｍ，ｙｍ）の矩形領域を、視線が動いた領域として特定し、注目領域と視線が動いた領域との共通領域が、注目領域中に占める割合の逆数を、正規化前の評価値ｂ１’として算出する。

また、注目領域が文章の場合、評価部２１４は、画面３８に対する視線位置が検出されなくなる前の所定時間における視線の動きの縦方向の分散と横方向の分散との差が大きいほど高くなるように、評価値ｂ１を算出する。これは、文章の確認時には、文章の方向に沿って視線を動かすという特徴を捉えたものである。

例えば、視線が画面３８から外れる前のＭ秒間での視線の動きの中心位置（ｘｍ，ｙｍ）が注目領域内の場合、評価部２１４は、Ｍ秒間における、所定単位時間毎の視線の動きを示すベクトルであるスキャンパスを特定する。図１２中のＫに示すように、文章を確認している場合には、文章の注目領域に沿って、近似したスキャンパスが表れる。すなわち、文章に沿った方向への視線の動きの分散は大きくなり、文章に沿った方向と直交する方向への視線の動きの分散は小さくなる。一方、図１２中のＬに示すように、文章を確認していない場合には、文章の注目領域とは関係なくスキャンパスが表れる。すなわち、視線の動きの縦方向の分散と横方向の分散との差が小さくなる。

そこで、評価部２１４は、視線が画面３８から外れる前のＭ秒間に含まれるスキャンパスの全ての組み合わせ、又は隣接するスキャンパス同士のコサイン類似度を算出し、算出したコサイン類似度の平均の逆数を、正規化前の評価値ｂ１’として算出する。

また、評価部２１４は、視線が画面３８から外れる前のＭ秒間での視線位置のｘ方向の分散σｘとｙ方向の分散σｙとの差の逆数を、正規化前の評価値ｂ１’として算出してもよい。なお、評価部２１４は、上記のスキャンパスのコサイン類似度の平均が０の場合、又は分散の差が０の場合、正規化前の評価値ｂ１’を、ｂ１’＝ｒとすればよい。

上記のように、第２実施形態では、注目領域の種類によって、評価値ｂ１の算出方法が異なる。そこで、例えば、図１３に示すように、注目領域ＤＢ２２０に、注目領域の種類の情報も付与しておき、評価部２１４は、この情報を参照して、注目領域が図か、文章か、その他かを判定するようにすればよい。

また、評価部２１４は、視線が画面３８から外れる前のＭ秒間での視線の動きの中心位置（ｘｍ，ｙｍ）が注目領域内ではない場合、評価値ｂ１を、ｂ１＝ｒとする。また、視線が画面３８から外れる前のＭ秒間での視線の動きの中心位置（ｘｍ，ｙｍ）を含む注目領域が図でも文章でもない場合には、評価部２１４は、評価値ｂ１を、ｂ１＝ｑ×ｒ（ｑは、０＜ｑ＜１の任意の定数、例えば０．５）と算出する。評価部２１４は、正規化前の評価値ｂ’を、０～ｒで正規化して評価値ｂ１とする。

また、評価部２１４は、集中度を評価するための評価値ｂ２であって、第２視線位置が検出されてからの所定時間において検出された視線位置の分散が小さいほど高くなる評価値ｂ２を算出する。

例えば、評価部２１４は、第２視線位置が検出されてからのＮ秒間での視線位置のｘ方向の分散σｘ、及びｙ方向の分散σｙを算出し、評価値ｂ２を、ｂ２＝σｘ＋σｙと算出する。

評価部２１４は、第１実施形態と同様に算出した評価値ａと、上記のように算出した評価値ｂ１と、評価値ｂ２とを用いて、例えば、下記（１）式に示すように集中度Ｖを算出する。

なお、φ及びωｉは重み定数であり、事前に定義される。例えば、φ＝０．５、ω１＝０．３、ω２＝０．００２のように定義することができる。

評価部２１４は、第１実施形態と同様に、算出した集中度Ｖと閾値Ｔとを比較した評価結果を出力する。

集中度評価装置２１０は、例えば図８に示すコンピュータ５０で実現することができる。コンピュータ５０の記憶部５３には、コンピュータ５０を、集中度評価装置２１０として機能させるための集中度評価プログラム２６０が記憶される。集中度評価プログラム２６０は、検出プロセス６２と、評価プロセス２６４とを有する。また、記憶部５３は、注目領域ＤＢ２２０を構成する情報が記憶される情報記憶領域７０を有する。

ＣＰＵ５１は、集中度評価プログラム２６０を記憶部５３から読み出してメモリ５２に展開し、集中度評価プログラム２６０が有するプロセスを順次実行する。ＣＰＵ５１は、検出プロセス６２を実行することで、図２に示す検出部１２として動作する。また、ＣＰＵ５１は、評価プロセス２６４を実行することで、図２に示す評価部２１４として動作する。また、ＣＰＵ５１は、検出プロセス６２の実行時に、メモリ５２に視線位置テーブル２２を作成する。また、ＣＰＵ５１は、情報記憶領域７０から情報を読み出して、注目領域ＤＢ２２０をメモリ５２に展開する。これにより、集中度評価プログラム２６０を実行したコンピュータ５０が、集中度評価装置２１０として機能することになる。

なお、集中度評価プログラム２６０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。

次に、第２実施形態に係る集中度評価システム２００の作用について説明する。

第２実施形態では、集中度評価装置２１０において、図１４に示す集中度評価処理が実行される。なお、集中度評価処理は、開示の技術の集中度評価方法の一例である。図１４に示す集中度評価処理において、第１実施形態における集中度評価処理（図９）と同様の処理については、同一符号を付して詳細な説明を省略する。

ステップＳ１４を経て、次のステップＳ５０で、図１５に示す評価値ｂ１算出処理が実行される。

図１５に示す評価値ｂ１算出処理のステップＳ５２で、評価部２１４が、画面３８から視線が外れる前に、ユーザ４０が注目領域を見ていたか否かを判定する。具体的には、評価部２１４は、視線が画面３８から外れる前のＭ秒間での視線の動きの中心位置（ｘｍ，ｙｍ）が、現在のフレームに含まれる注目領域として注目領域ＤＢ２２０に規定されている範囲に含まれるか否かを判定する。ユーザ４０が注目領域を見ていなかった場合には、処理はステップＳ５４へ移行し、ユーザ４０が注目領域を見ていた場合には、処理はステップＳ５６へ移行する。

ステップＳ５４では、評価部２１４が、評価値ｂ１を、ｂ１＝ｒと算出し、処理は集中度評価処理（図１４）へ戻る。

ステップＳ５６では、評価部２１４が、上記ステップＳ５２でユーザ４０が見ていたと判定した注目領域の種類を、注目領域ＤＢ２２０を参照して特定し、特定した注目領域の種類が図か否かを判定する。注目領域が図の場合には、処理はステップＳ５８へ移行し、注目領域が図ではない場合には、処理はステップＳ６０へ移行する。

ステップＳ５８では、評価部２１４が、注目領域の中心位置と、視線が画面３８から外れる前のＭ秒間での視線の動きの中心位置との距離ｄ４を、正規化前の評価値ｂ１’として算出する。又は、評価部２１４が、視線が画面３８から外れる前のＭ秒間で視線が動いた領域と注目領域との共通領域が、注目領域中に占める割合の逆数を、正規化前の評価値ｂ１’として算出してもよい。そして、処理はステップＳ６６へ移行する。

ステップＳ６０では、評価部２１４が、上記ステップＳ５２でユーザ４０が見ていたと判定した注目領域の種類が文章か否かを判定する。注目領域が文章の場合には、処理はステップＳ６２へ移行し、注目領域が文章ではない場合には、処理はステップＳ６４へ移行する。

ステップＳ６２では、評価部２１４が、視線が画面３８から外れる前のＭ秒間に含まれるスキャンパスの全ての組み合わせ、又は隣接するスキャンパス同士のコサイン類似度を算出する。そして、評価部２１４は、算出したコサイン類似度の平均の逆数を、正規化前の評価値ｂ１’として算出する。又は、評価部２１４は、視線が画面３８から外れる前のＭ秒間での視線位置のｘ方向の分散σｘとｙ方向の分散σｙとの差の逆数を、正規化前の評価値ｂ１’として算出してもよい。そして、処理はステップＳ６６へ移行する。

ステップＳ６４では、評価部２１４が、評価値ｂ１を、ｂ１＝ｑ×ｒと算出し、処理は集中度評価処理（図１４）へ戻る。

ステップＳ６６では、評価部２１４が、上記ステップＳ５８又はＳ６２で算出した正規化前の評価値ｂ１’を、０～ｒで正規化して、評価値ｂ１とする。そして、処理は集中度評価処理（図１４）へ戻る。

図１４に示す集中度評価処理に戻って、ステップＳ１６、Ｓ１８、及びＳ２０を経て、次のステップＳ７０へ移行する。ステップＳ７０では、評価部２１４が、第２視線位置が検出されてからのＮ秒間での視線位置のｘ方向の分散σｘ、及びｙ方向の分散σｙを算出し、評価値ｂ２を、ｂ２＝σｘ＋σｙと算出する。

次に、ステップＳ２４０で、評価部２１４が、上記ステップＳ２０で算出した評価値ａ、上記ステップＳ５０で算出した評価値ｂ１、及び上記ステップＳ７０で算出した評価値ｂ２を用いて、例えば（１）式に示す集中度Ｖを算出する。そして、評価部２１４が、集中度Ｖと閾値Ｔとを比較し、Ｖ＞Ｔの場合には、集中していることを示す評価結果を出力し、Ｖ≦Ｔの場合には、集中していないことを示す評価結果を出力する。

以上説明したように、第２実施形態に係る集中度評価システムによれば、集中度評価装置が、画面から視線が外れる直前の第１視線位置と、視線が画面に戻ってきた際の第２視線位置との距離に基づいて、集中度を評価する。また、集中度評価装置は、第１視線位置及び第２視線位置の各々と注目領域との関係に基づいて、集中度を評価する。さらに、視線が画面から外れる前、及び画面に戻ってきた後の視線の動きのパターンに基づいて、集中度を評価する。これにより、ユーザの視線が画面から外れる場合でも、動画視聴に対する集中度を適切に評価することができる。

なお、上記各実施形態において、ユーザの視線が画面上にある間は、画面に対する視線位置を用いた従来既知の手法により、集中度を評価するようにしてもよい。

また、上記各実施形態では、動画の制作者によって手動で設定されたり、画像処理技術を用いて自動で設定されたりした注目領域の情報を、注目領域ＤＢに記憶しておく場合について説明したが、これに限定されない。

例えば、動画中の重要な注目すべき領域には、集中して視聴している多くのユーザの視線が集まると考えられる。そこで、図１６に示すように、集中度評価装置３１０を、検出部１２と、評価部３１４と、設定部１６とを含む構成とする。そして、評価部３１４は、複数のユーザについてのフレーム毎の集中度の評価結果を、評価結果ＤＢ２４に記憶しておく。そして、設定部１６が、評価結果ＤＢ２４を参照して、集中度の高い所定数以上のユーザ４０を特定し、それらのユーザ４０の視線位置が集まっている領域を、視線位置テーブル２２から特定する。そして、設定部１６は、特定した領域を注目領域として設定し、注目領域ＤＢ２０（又は２２０）に記憶するようにしてもよい。

また、上記各実施形態では、説明を簡単にするために、１フレームに１つの注目領域が存在する場合を例に説明したが、１フレーム中に複数の注目領域が含まれていてもよい。

また、上記各実施形態では、算出した集中度と閾値とを比較して、集中しているか否かを評価結果として出力する場合について説明したが、これに限定されない。例えば、算出した集中度をそのまま出力してもよいし、算出した集中度を複数段階の評価（例えば、高、中、低の３段階の評価）に換算した評価結果を出力してもよい。

また、上記実施形態では、集中度評価プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。

以上の各実施形態に関し、更に以下の付記を開示する。

（付記１）
動画視聴中のユーザの画面に対する視線位置を検出し、
前記画面に対する視線位置が検出されなくなった直前の視線位置である第１視線位置と、前記画面に対する視線位置が検出されなくなり、再び前記画面に対する視線位置が検出された際の第２視線位置とに基づいて、前記動画視聴に対する前記ユーザの集中度を評価する
ことを含む処理をコンピュータに実行させるための集中度評価プログラム。

（付記２）
前記第１視線位置と前記第２視線位置との距離が小さいほど、前記集中度を高く評価する付記１に記載の集中度評価プログラム。

（付記３）
前記第１視線位置及び前記第２視線位置の各々が予め定めた注目領域に含まれる場合に、前記第１視線位置及び前記第２視線位置の各々が前記注目領域に含まれない場合に比べ、前記集中度を高く評価する付記１又は付記２に記載の集中度評価プログラム。

（付記４）
前記画面に対する視線位置が検出されなくなる前の所定時間における視線の動きと、注目領域を確認する動きを示す予め定めたパターンとの一致度が高いほど、前記集中度を高く評価する付記１～付記３のいずれか１項に記載の集中度評価プログラム。

（付記５）
前記注目領域が図の場合、前記所定時間において視線が動いた範囲と前記注目領域との重複範囲が多いほど、前記集中度を高く評価する付記４に記載の集中度評価プログラム。

（付記６）
前記注目領域が文章の場合、前記所定時間における視線の動きの縦方向の分散と横方向の分散との差が大きいほど、前記集中度を高く評価する付記４に記載の集中度評価プログラム。

（付記７）
前記第２視線位置が検出されてからの所定時間において検出された視線位置の分散が小さいほど、前記集中度を高く評価する付記１～付記６のいずれか１項に記載の集中度評価プログラム。

（付記８）
集中度が高いと評価された際の視線位置に基づいて注目領域を設定する付記１～付記７のいずれか１項に記載の集中度評価プログラム。

（付記９）
前記画面が表示される表示装置、又は前記ユーザに取り付けられた、視線方向を計測する視線計測装置により計測された視線方向に基づいて、前記画面に対する視線位置を検出する付記１～付記８のいずれか１項に記載の集中度評価プログラム。

（付記１０）
前記画面上の座標値として前記視線位置を検出する付記１～付記９のいずれか１項に記載の集中度評価プログラム。

（付記１１）
動画視聴中のユーザの画面に対する視線位置を検出する検出部と、
前記画面に対する視線位置が検出されなくなった直前の視線位置である第１視線位置と、前記画面に対する視線位置が検出されなくなり、再び前記画面に対する視線位置が検出された際の第２視線位置とに基づいて、前記動画視聴に対する前記ユーザの集中度を評価する評価部と、
を含む集中度評価装置。

（付記１２）
前記評価部は、前記第１視線位置と前記第２視線位置との距離が小さいほど、前記集中度を高く評価する付記１１に記載の集中度評価装置。

（付記１３）
前記評価部は、前記第１視線位置及び前記第２視線位置の各々が予め定めた注目領域に含まれる場合に、前記第１視線位置及び前記第２視線位置の各々が前記注目領域に含まれない場合に比べ、前記集中度を高く評価する付記１１又は付記１２に記載の集中度評価装置。

（付記１４）
前記評価部は、前記画面に対する視線位置が検出されなくなる前の所定時間における視線の動きと、注目領域を確認する動きを示す予め定めたパターンとの一致度が高いほど、前記集中度を高く評価する付記１１～付記１３のいずれか１項に記載の集中度評価装置。

（付記１５）
前記評価部は、前記注目領域が図の場合、前記所定時間において視線が動いた範囲と前記注目領域との重複範囲が多いほど、前記集中度を高く評価する付記１４に記載の集中度評価装置。

（付記１６）
前記評価部は、前記注目領域が文章の場合、前記所定時間における視線の動きの縦方向の分散と横方向の分散との差が大きいほど、前記集中度を高く評価する付記１４に記載の集中度評価装置。

（付記１７）
前記評価部は、前記第２視線位置が検出されてからの所定時間において検出された視線位置の分散が小さいほど、前記集中度を高く評価する付記１１～付記１６のいずれか１項に記載の集中度評価装置。

（付記１８）
集中度が高いと評価された際の視線位置に基づいて注目領域を設定する設定部を含む付記１１～付記１７のいずれか１項に記載の集中度評価装置。

（付記１９）
動画視聴中のユーザの画面に対する視線位置を検出し、
前記画面に対する視線位置が検出されなくなった直前の視線位置である第１視線位置と、前記画面に対する視線位置が検出されなくなり、再び前記画面に対する視線位置が検出された際の第２視線位置とに基づいて、前記動画視聴に対する前記ユーザの集中度を評価する
ことを含む処理をコンピュータが実行する集中度評価方法。

（付記２０）
動画視聴中のユーザの画面に対する視線位置を検出し、
前記画面に対する視線位置が検出されなくなった直前の視線位置である第１視線位置と、前記画面に対する視線位置が検出されなくなり、再び前記画面に対する視線位置が検出された際の第２視線位置とに基づいて、前記動画視聴に対する前記ユーザの集中度を評価する
ことを含む処理をコンピュータに実行させるための集中度評価プログラムを記憶した記憶媒体。

１０、２１０、３１０ 集中度評価装置
１２ 検出部
１４、２１４、３１４ 評価部
１６ 設定部
２０、２２０ 注目領域ＤＢ
２２ 視線位置テーブル
３０ 視線計測装置
３６ 表示装置
３８ 画面
４０ ユーザ
５０ コンピュータ
５１ ＣＰＵ
５２ メモリ
５３ 記憶部
５９ 記憶媒体
６０、２６０ 集中度評価プログラム
１００、２００ 集中度評価システム

Claims (9)

1. 動画視聴中のユーザの画面に対する視線位置を検出し、
   前記画面に対する視線位置が検出されなくなった直前の視線位置である第１視線位置と、前記画面に対する視線位置が検出されなくなり、再び前記画面に対する視線位置が検出された際の第２視線位置との距離が小さいほど、前記動画視聴に対する前記ユーザの集中度を高く評価する
   ことを含む処理をコンピュータに実行させるための集中度評価プログラム。
2. 前記第１視線位置及び前記第２視線位置の各々が予め定めた注目領域に含まれる場合に、前記第１視線位置及び前記第２視線位置の各々が前記注目領域に含まれない場合に比べ、前記集中度を高く評価する請求項１に記載の集中度評価プログラム。
3. 前記画面に対する視線位置が検出されなくなる前の所定時間における視線の動きと、注目領域を確認する動きを示す予め定めたパターンとの一致度が高いほど、前記集中度を高く評価する請求項１又は請求項２に記載の集中度評価プログラム。
4. 前記注目領域が図の場合、前記所定時間において視線が動いた範囲と前記注目領域との重複範囲が多いほど、前記集中度を高く評価する請求項３に記載の集中度評価プログラム。
5. 前記注目領域が文章の場合、前記所定時間における視線の動きの縦方向の分散と横方向の分散との差が大きいほど、前記集中度を高く評価する請求項３に記載の集中度評価プログラム。
6. 前記第２視線位置が検出されてからの所定時間において検出された視線位置の分散が小さいほど、前記集中度を高く評価する請求項１～請求項５のいずれか１項に記載の集中度評価プログラム。
7. 集中度が高いと評価された際の視線位置に基づいて注目領域を設定する請求項１～請求項６のいずれか１項に記載の集中度評価プログラム。
8. 動画視聴中のユーザの画面に対する視線位置を検出する検出部と、
   前記画面に対する視線位置が検出されなくなった直前の視線位置である第１視線位置と、前記画面に対する視線位置が検出されなくなり、再び前記画面に対する視線位置が検出された際の第２視線位置との距離が小さいほど、前記動画視聴に対する前記ユーザの集中度を高く評価する評価部と、
   を含む集中度評価装置。
9. 動画視聴中のユーザの画面に対する視線位置を検出し、
   前記画面に対する視線位置が検出されなくなった直前の視線位置である第１視線位置と、前記画面に対する視線位置が検出されなくなり、再び前記画面に対する視線位置が検出された際の第２視線位置との距離が小さいほど、前記動画視聴に対する前記ユーザの集中度を高く評価する
   ことを含む処理をコンピュータが実行する集中度評価方法。

Images