JP5733658B2 - 注目度検出システム、注目度判定装置、注目度判定装置用のプログラム、及び画像配信システム - Google Patents

Description

本発明は、注目度検出システム、注目度判定装置、注目度判定装置用のプログラム、及び画像配信システムに係り、更に詳しくは、画像を見ている対象者が当該画像の所定部分を意識的に見ていたか否かについて、自動判定することのできる注目度検出システム、注目度判定装置、注目度判定装置用のプログラム、及び画像配信システムに関する。

視聴者が表示画像のどの部分に注目しているかを特定するシステムとして、特許文献１のシステムが提案されている。このシステムは、所定の画像を表示する表示手段と、表示手段を見ている視聴者の自画像を撮影するインカメラと、インカメラで撮影された画像から、視聴者の視線の抽出を行って視聴者が表示画像のどこを見ているか検出する画像処理部とを備えている。

特開２００９−５０９４号公報

現在、テレビやインターネット等によって様々な動画が配信されているが、当該動画内で視聴者の視線が注がれる部位である注視点の位置を特定する他に、当該注視点を視聴者が意識的に見ているか否かを特定することは、動画におけるコンテンツ作成効果の検証、或いは、視聴者への情報提供等に有用となる。しかしながら、前記特許文献１のシステムにあっては、表示手段で表示された画像を視聴者が見たときに、当該画像内の注視点の位置を把握できるものの、当該注視点を視聴者が意識的に見ていたのか、或いは、無意識的に漠然と見ていたのかを区別することができない。

本発明は、このような課題に基づいて案出されたものであり、その目的は、対象者が画像を見ているときに、当該対象者が画像のどの部分を意識的に見ているかを自動的に特定することができる注目度検出システム、注目度判定装置、注目度判定装置用のプログラム、及び画像配信システムを提供することにある。

前記目的を達成するため、本発明は、予め記憶された数式を用い、眼球運動データとして、対象者が見ている画像内の注視点の位置と、そのときの瞳孔径とを取得し、当該眼球運動データを取得した時刻から過去の時間における対象者の注視点及び瞳孔径に関する経時的変化に基づき、対象者が見ている画像内の注視点における注目度を特定させることが主たる特徴である。

本発明によれば、眼球運動データを取得した時刻から過去の時間における対象者の注視点及び瞳孔径に関する経時的変化に基づいて注目度が判定されるため、画像内の注視点の位置を特定できることはもとより、当該注視点について、対象者が凝視している状態か漠然と見ている状態かを眼球運動データを取得する度に正確に特定することができる。

第１実施形態に係る注目度検出システムの概略構成図。 第２実施形態に係る画像配信システムの概略構成図。

以下、本発明の実施形態について図面を参照しながら説明する。
（第１実施形態）

図１には、第１実施形態に係る注目度検出システムの概略構成図が示されている。この図において、前記注目度検出システム１０は、画像を表示可能な表示装置１２と、表示装置１２に表示された画像を見ている対象者の眼球運動データを取得する眼球運動計測装置１３と、眼球運動計測装置１３で取得した眼球運動データから、対象者が画像のどの部分を注目して見ているか否かについて判定する注目度判定装置１４とを備えている。

前記表示装置１２は、テレビ電波やインターネット等によって配信された動画を表示可能な画面を備えたテレビ受信装置や端末装置、或いは、所定の記憶媒体に記録された動画を再生可能な画面を備えた再生装置等の公知の装置からなる。この表示装置１２の構成は、本発明の本質部分でないため、詳細な説明を省略する。

前記眼球運動計測装置１３は、眼球運動データとして、表示装置１２に表示される画像の中で対象者の視線が注がれている部位となる注視点の位置と、画像を見ている対象者の瞳孔径とを少なくとも計測可能な公知の装置からなる。この眼球運動計測装置１３では、表示装置１２で表示された動画における所定時間毎の各フレームについて、当該フレーム内の注視点の位置を表す注視点座標と瞳孔径とがそれぞれ眼球運動データとして計測される。この眼球運動データは、当該データを得たときのフレームの画像データに対応させて注目度判定装置１４に送信される。本実施形態の眼球運動計測装置１３は、対象者の左右両眼の注視点座標及び瞳孔径を取得可能となる両眼タイプのものが適用されているが、本発明はこれに限らず、左右何れか一方の眼の注視点座標及び瞳孔径を取得可能な単眼タイプのものを適用することもできる。なお、眼球運動計測装置１３の構成も、本発明の本質部分でないため、詳細な説明を省略する。

前記注目度判定装置１４は、ＣＰＵ等の演算処理装置、メモリ、ハードディスク等の記憶装置等からなるコンピュータを含んで構成され、当該コンピュータに以下の処理を実行させるためのプログラムがインストールされている。

すなわち、この注目度判定装置１４は、眼球運動計測装置１３で計測された眼球運動データ及び当該眼球運動データに対応する画像データを逐次受信して記憶するデータ記憶部１６と、予め記憶された数式を用いた演算により、データ記憶部１６からの眼球運動データに基づいて、対象者が各フレームの注視点を意識的に見ているか否かを判定する演算判定部１７とを備えている。

前記演算判定部１７では、次のようにして、所定時間毎の各フレームについて、そのときの眼球運動データから、対象者の注視点について、意識的に見ているか否か、すなわち、注目度が高いか否かを自動的に判定するようになっている。

先ず、注視点の経時的変化に着目した指標値を求める注視点演算処理が以下の手順で行われる。

すなわち、先ず、時刻ｔ＝ｉのフレームにおける対象者の左眼の注視点座標（ｘ_ｉ ^Ｌ，ｙ_ｉ ^Ｌ）と同右眼の注視点座標（ｘ_ｉ ^Ｒ，ｙ_ｉ ^Ｒ）とから、時刻ｔ＝ｉにおける左右両眼の注視点間距離δ_ｉが、次式によって求められる。

ここで、得られた注視点間距離δ_ｉに対し、ノイズを除去する平滑化フィルタ処理が行われる。具体的には、サンプル数が予め設定されたＮ個となるように、現時刻ｔ＝ｉから順に過去に遡った各時刻、すなわち、時刻ｔ＝ｉ−１、時刻ｔ＝ｉ−２、時刻ｔ＝ｉ−３、・・・、時刻ｔ＝ｉ−（Ｎ−２）、時刻ｔ＝ｉ−（Ｎ−１）の各時刻における左右両眼の注視点間距離δ_ｉの時間移動平均δ_ｉ ^Ｎが、次式で求められる。

この時間移動平均δ_ｉ ^Ｎは、注視点座標の測定開始からＮ個のサンプルが得られた後、注視点座標が測定された時刻毎に求められ、データ記憶部１６に記憶される。

なお、本実施形態では、各時刻の注視点間距離δ_ｉに対し、ローパスフィルタリングを行っていることになるが、注視点間距離δ_ｉのノイズを除去可能な他のフィルタを代わりに採用することもできる。

次に、以上で求めた時間移動平均δ_ｉ ^Ｎについて、サンプル点が予め設定されたＭ個となるように、現時刻ｔ＝ｉから過去に順に遡った各時刻、すなわち、時刻ｔ＝ｉ−１から時刻ｔ＝ｉ−（Ｍ−１）までの各時刻における両眼の時間移動平均δ_ｉ ^Ｍ及びその標準偏差σ_ｉ ^δが、注視点座標が測定された時刻毎に次式によって求められ、データ記憶部１６に記憶される。

また、以上の注視点演算処理に対して前後或いは同時に、瞳孔径の経時的変化に着目した指標値を求める瞳孔径演算処理が、以下の手順によって行われる。

時刻ｔ＝ｉのときのフレームを見ている対象者の左眼の瞳孔径ｄ_ｉ ^Ｌと同右眼の瞳孔径ｄ_ｉ ^Ｒとから、左右両眼の平均瞳孔径について、ノイズを除去する平滑化フィルタ処理が行われる。具体的には、注視点間距離δ_ｉの時間移動平均δ_ｉ ^Ｎを求めた前述の演算と同様、サンプル数が予め設定されたＮ個となるように、現時刻ｔ＝ｉから過去の時刻ｔ＝ｉ−（Ｎ−１）までの各時刻における左右両眼の平均瞳孔径についての時間移動平均ｄ_ｉ ^Ｎが、次式で求められる。

ここでの時間移動平均ｄ_ｉ ^Ｎについても、前述の注視点座標に関する演算のときと同様に、瞳孔径の測定開始からＮ個のサンプルが得られた後、瞳孔径の測定時刻毎に求められ、データ記憶部１６に記憶される。なお、前述と同様に、左右両眼の平均瞳孔径のノイズを除去可能であれば、他のフィルタを代わりに採用することもできる。

次に、以上で求めた時間移動平均ｄ_ｉ ^Ｎについて、サンプル点が予め設定されたＭ個となるように、現時刻ｔ＝ｉから過去の時刻ｔ＝ｉ−（Ｍ−１）までの各時刻における平均瞳孔径についての時間移動平均ｄ_ｉ ^Ｍ及びその標準偏差σ_ｉ ^ｄが、瞳孔径の測定時刻毎に次式によって求められ、データ記憶部１６に記憶される。

その後、前記注視点演算処理及び瞳孔径演算処理で求めた各指標値に基づき、眼球運動データが取得されたフレーム毎に、以下の注目度判定処理が行われる。

すなわち、先ず、現時刻ｔ＝ｉの平均瞳孔径ｄ_ｉと、当該現時刻ｔ＝ｉを含めて過去に遡ったＭ個サンプルの中で最も過去の時刻ｔ＝ｉ−（Ｍ−１）の平均瞳孔径ｄ_{ｉ−Ｍ＋１}との経時的変化に基づく以下の各場合分けにより、数値λ_ｉが測定時刻毎に決定される。
先ず、現時刻において、過去に比べて対象者の瞳孔が収縮していると判断される第１の場合、つまり、ｄ_{ｉ−Ｍ＋１}−ｄ_ｉ ^Ｍ＞０で、且つ、ｄ_ｉ−ｄ_ｉ ^Ｍ＜０で、且つ、σ_ｉ ^ｄ＞Ｔ_ｄの場合には、λ_ｉ＝１とされる。
ここで、Ｔ_ｄは、実験等によって予め定められた一定の閾値であり、この閾値による判別処理（σ_ｉ ^ｄ＞Ｔ_ｄ）は、細かな瞳孔径の変化を除外するためのフィルタの役割を果たしている。

一方、現時刻において、過去に比べて対象者の瞳孔が拡大していると判断される第２の場合、つまり、ｄ_{ｉ−Ｍ＋１}−ｄ_ｉ ^Ｍ＜０で、且つ、ｄ_ｉ−ｄ_ｉ ^Ｍ＞０で、且つ、σ_ｉ ^ｄ＞Ｔ_ｄの場合には、λ_ｉ＝−１とされる。

更に、第１及び第２の場合の何れにも該当しない場合、すなわち、前時刻より状況が変わっていないような場合、λ_ｉの値は、前回の時刻ｔ＝ｉ−１のときの数値λ_ｉ−１と同一とされる。

以上の場合分けによって、前記第１の場合が各時刻で連続すると、その時間帯は、対象者が注視点を意識的に見ていると思われる注目時間となり、第１の場合の開始時刻及び終了時刻が、前記注目時間の開始及び終了となる。

次いで、数値λ_ｉ＝１となる注目時間内の時刻ｔ＝ｉのときに、先に求めた注視点間距離の時間移動平均δ_ｉ ^Ｍ及びその標準偏差σ_ｉ ^δが以下の条件を満たしたときに、時刻ｔ＝ｉで対象者が注視点を意識的に見ていたと判定される。
すなわち、λ_ｉ＝１で、且つ、δ_ｉ ^Ｍ＜Ｔ_δで、且つ、σ_ｉ ^Ｍ＜Ｔ_σのときは、時刻ｔ＝ｉのときのフレーム内の注視点において、対象者の注目度が高いと判定される。ここで、Ｔ_δ、Ｔ_σは、実験等によって予め定められた一定の閾値である。すなわち、ここでは、経時的な注視点間距離とそのばらつきとが、前記閾値よりも小さいときは、注視点を凝視していると判定される。

眼球運動計測装置１３として単眼タイプのものが適用されたときには、前記演算判定部１７では、以下の手順により、眼球運動データが得られたフレーム毎に注視点での対象者の注目度が判定される。

このときの前記注視点演算処理は、以下の手順で行われる。先ず、各時刻で得られた眼の注視点座標について、ノイズを除去する平滑化フィルタ処理が行われる。具体的には、時刻ｔ＝ｉのフレームにおける対象者の眼の注視点座標を（ｘ_ｉ，ｙ_ｉ）としたときに、サンプル数が予め設定されたＮ個となるように、現時刻ｔ＝ｉから過去の時刻ｔ＝ｉ−（Ｎ−１）までの各時刻における注視点座標の時間移動平均座標値ｘ_ｉ ^Ｎ、ｙ_ｉ ^Ｎが、次式で求められる。

この時間移動平均座標値ｘ_ｉ ^Ｎ、ｙ_ｉ ^Ｎは、注視点座標の測定開始からＮ個のサンプルが得られた後、注視点座標が測定された時刻毎に求められ、データ記憶部１６に記憶される。なお、ここでは、各時刻の注視点座標（ｘ_ｉ，ｙ_ｉ）に対し、ローパスフィルタリングを行っていることになるが、注視点座標（ｘ_ｉ，ｙ_ｉ）のノイズを除去可能となる限りにおいて、他のフィルタを代わりに採用することもできる。

次に、以上で求めた時間移動平均座標値ｘ_ｉ ^Ｎ、ｙ_ｉ ^Ｎについて、サンプル点が予め設定されたＭ個となるように、現時刻ｔ＝ｉから過去の時刻ｔ＝ｉ−（Ｍ−１）までの各時刻における注視点座標の時間移動平均座標値ｘ_ｉ ^Ｍ、ｙ_ｉ ^Ｍと、それらの標準偏差σ_ｉ ^ｘ、σ_ｉ ^ｙとが、注視点座標の測定時刻毎に次式によって求められ、データ記憶部１６に記憶される。

また、眼球運動計測装置１３が単眼タイプのときの前記瞳孔径演算処理は、以下の手順で行われる。

時刻ｔ＝ｉのときに、フレームを見ている対象者の眼の瞳孔径をｄ_ｉとしたときに、当該瞳孔径ｄ_ｉについて、ノイズを除去する平滑化フィルタ処理が行われる。具体的には、前述と同様、サンプル数が予め設定されたＮ個となるように、現時刻ｔ＝ｉから過去の時刻ｔ＝ｉ−（Ｎ−１）までの各時刻における瞳孔径ｄ_ｉについての時間移動平均ｄ_ｉ ^Ｎが、次式で求められる。

この時間移動平均ｄ_ｉ ^Ｎについても、前述と同様に、瞳孔径の座標の測定開始からＮ個のサンプルが得られた後、測定時刻毎に求められ、データ記憶部１６に記憶される。なお、ここでも、瞳孔径をｄ_ｉのノイズを除去可能であれば、前述と同様、他のフィルタを代わりに採用することもできる。

次に、以上で求めた時間移動平均ｄ_ｉ ^Ｎについて、サンプル点が予め決定されたＭ個となるように、現時刻ｔ＝ｉから過去の時刻ｔ＝ｉ−（Ｍ−１）までの各時刻における瞳孔径についての時間移動平均ｄ_ｉ ^Ｍ及びその標準偏差σ_ｉ ^ｄが、瞳孔径の測定時刻毎に、次式によって求められ、データ記憶部１６に記憶される。

次に、眼球運動計測装置１３が単眼タイプのときの前記注目度判定処理は、以上の注視点演算処理及び瞳孔径演算処理の後で、眼球運動データが取得されたフレーム毎に次のように行われる。

すなわち、先ず、現時刻ｔ＝ｉの瞳孔径ｄ_ｉと、当該現時刻ｔ＝ｉを含めて過去遡ったＭ個サンプルの中で最も過去になる時刻ｔ＝ｉ−（Ｍ−１）の瞳孔径ｄ_{ｉ−Ｍ＋１}との経時的変化に基づき、前述の両眼タイプの場合と同様に、数値λ_ｉが測定時刻毎に決定される。
すなわち、前述の両眼タイプで説明した第１の場合の条件式に該当するときには、λ_ｉ＝１とされ、同第２の場合の条件式に該当するときには、λ_ｉ＝−１とされる。また、これら何れの場合にも該当しないときには、λ_ｉの値が、前回の時刻ｔ＝ｉ−１のときの数値λ_ｉ−１と同一とされる。

次いで、数値λ_ｉ＝１となる注目時間内の時刻ｔ＝ｉのときに、先に求めた注視点座標の標準偏差σ_ｉ ^ｘ、σ_ｉ ^ｙが以下の条件を満たしたときに、対象者が、時刻ｔ＝ｉのときに注視点を意識的に見ていたと判定される。

すなわち、λ_ｉ＝１で、且つ、σ_ｉ ^ｘ＜Ｔ_ｘで、且つ、σ_ｉ ^ｙ＜Ｔ_ｙのときは、時刻ｔ＝ｉのときのフレーム内の注視点において、対象者の注目度が高いと判定される。なお、Ｔ_ｘ、Ｔ_ｙは、実験等によって予め定められた一定の閾値である。

なお、前記実施形態では、各フレームの注視点において対象者の注目度が高いか否かを判定しているが、前述した各閾値を段階的に設定することで、各フレームの注視点における注目度を数値化して特定することも可能である。

次に、本発明の他の実施形態について説明する。なお、以下の説明において、前記第１実施形態と同一若しくは同等の構成部分については同一符号を用いるものとし、説明を省略若しくは簡略にする。
（第２実施形態）

本実施形態は、第１実施形態の注目度検出システム１０を含んで構成した画像配信システム５０に関する。

前記画像配信システム５０は、前記表示装置１２及び前記眼球運動計測装置１３を含む複数のクライアント側装置５１と、インターネット等のネットワークを介してクライアント側装置５１に接続され、クライアント側装置５１に対して各種情報の送受信を行うとともに、各種のデータ処理を行うサーバ５２とを備えている。

前記サーバ５２は、各クライアント側装置５１に、動画を含む各種画像及び当該画像の付随情報を配信する画像配信装置５４と、各対象者が画像を見たときに、各クライアント側装置５１の眼球運動計測装置１３から得られた各対象者の眼球運動データから、所定時間毎のフレームにおける各対象者の注視点の注目度判定を行う前記注目度判定装置１４と、各対象者の注目度の判定結果をフレーム毎に集計し、当該集計結果を動画の付随情報の一つとして画像配信装置５４に送信するデータ集計処理装置５６とを備えて構成されている。

前記データ集計処理装置５６では、画像配信装置５４で各クライアント側装置５１に配信された動画を見た各対象者それぞれから得られた眼球運動データに基づき、注目度判定装置１４で、前記第１実施形態で説明した手順により注目度が高いと判定された注視点につき、フレーム毎に投票され、当該フレーム毎に注目度の確率分布となる時系列の尤度分布データが作成されるようになっている。当該尤度分布データの作成に際しては、公知の統計学的手法が用いられる。また、データ集計処理装置５６では、前記尤度分布データが作成されると、当該尤度分布データの値に応じて、対応するフレームの各ピクセルに対し、色分けし、或いは、解像度を変化させること等により、前記動画を構成する原画像データに対して各ユーザの注目度に関する情報が重畳された二次画像データが作成される。当該二次画像データは、動画に付随する情報として、画像配信装置５４から各クライアント側装置５１に配信される。

なお、時系列で形成された前記尤度分布データを各クライアント側装置５１に配信する際に、各時刻における尤度分布データにつき、各種の近似的要素分解手法を用いてデータ圧縮処理を行い、各クライアント側装置５１への通信量の削減を行うことが好ましい。ここでの近似的要素分解手法としては、例えば、ＧＭＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）を用いて所定個の正規分布に分解する手法の他、フーリエ変換等の直交変換後のフィルタリング、又は、ウエーブレット変換を用いた手法等の公知の手法が挙げられる。

その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。

１０ 注目度検出システム
１２ 表示装置
１３ 眼球運動計測装置
１４ 注目度判定装置
１６ データ記憶部
１７ 演算判定部
５０ 画像配信システム
５１ クライアント側装置
５２ サーバ
５４ 画像配信装置
５６ データ集計処理装置

Claims (7)

1. 画像を表示する表示装置と、当該表示装置に表示された画像を見ている対象者の眼球運動データを所定時間毎に取得する眼球運動計測装置と、当該眼球運動計測装置で取得した眼球運動データから、前記画像における対象者の注目度を判定する注目度判定装置とを備えた注目度検出システムであって、
   前記眼球運動計測装置は、前記眼球運動データとして、前記画像内の注視点の位置と瞳孔径とを少なくとも取得可能に設けられ、
   前記注目度判定装置は、予め記憶された数式を用い、前記眼球運動データを取得した時刻単位で、当該時刻から過去の時間における前記注視点及び前記瞳孔径に関する経時的変化に基づいて前記注目度を特定する演算判定部を備え、
   前記演算判定部では、前記瞳孔径に関する経時的変化から、過去に比べて前記瞳孔が収縮しているか否かが判定されるとともに、前記注視点に関する経時的変化から、前記注視点を凝視しているか否かが判定され、過去に比べて前記瞳孔が収縮し、且つ、前記注視点を凝視していると判定されたときに、前記対象者が前記注視点を意識的に見ていたと判定されることを特徴とする注目度検出システム。
2. 前記演算判定部では、前記瞳孔が収縮していると判定された時間帯を、前記対象者が前記注視点を意識的に見ていると思われる注目時間と特定するとともに、予め設定された閾値に基づき、前記注視点に関して経時的変化が少ないか否かが判定され、前記注目時間の中で、前記注視点に関して経時的変化が少ないと判定されたときに、前記対象者が前記注視点を意識的に見ていたと判定されることを特徴とする請求項１記載の注目度検出システム。
3. 画像を表示する表示装置と、当該表示装置に表示された画像を見ている対象者の両眼の眼球運動データを所定時間毎に取得する眼球運動計測装置と、当該眼球運動計測装置で取得した眼球運動データから、前記画像における対象者の注目度を判定する注目度判定装置とを備えた注目度検出システムであって、
   前記眼球運動計測装置は、前記眼球運動データとして、前記画像内の注視点の位置と瞳孔径とを少なくとも取得可能に設けられ、
   前記注目度判定装置は、予め記憶された数式を用い、前記眼球運動データを取得した時刻単位で、当該時刻から過去の時間における前記注視点及び前記瞳孔径に関する経時的変化に基づいて前記注目度を特定する演算判定部を備え、
   前記演算判定部では、前記両眼の注視点間距離と前記両眼の平均瞳孔径との経時的変化に基づいて、前記対象者が前記注視点を意識的に見ていたか否かが判定されることを特徴とする注目度検出システム。
4. 前記眼球運動計測装置は、前記対象者の左右何れか一方の眼の眼球運動データを取得可能に設けられ、
   前記演算判定部では、前記眼の注視点座標と前記眼の瞳孔径との経時的変化に基づいて、前記対象者が前記注視点を意識的に見ていたか否かが判定されることを特徴とする請求項１又は２記載の注目度検出システム。
5. 画像を見ている対象者の眼球運動データに基づき、前記画像における対象者の注目度を判定する注目度判定装置であって、
   前記眼球運動データとして、前記画像内の注視点の位置と瞳孔径とを記憶するデータ記憶部と、
   予め記憶された数式を用い、前記眼球運動データを取得した時刻単位で、当該時刻から過去の時間における前記注視点及び前記瞳孔径に関する経時的変化に基づき、前記注目度を特定する演算判定部とを備え、
   前記演算判定部では、前記瞳孔径に関する経時的変化から、過去に比べて前記瞳孔が収縮しているか否かが判定されるとともに、前記注視点に関する経時的変化から、前記注視点を凝視しているか否かが判定され、過去に比べて前記瞳孔が収縮し、且つ、前記注視点を凝視していると判定されたときに、前記対象者が前記注視点を意識的に見ていたと判定されることを特徴とする注目度判定装置。
6. 画像を見ている対象者の所定時間毎の眼球運動データに基づき、前記画像における対象者の注目度を判定するコンピュータを含む注目度判定装置用のプログラムであって、
   前記眼球運動データとして、前記画像内の注視点の位置と瞳孔径とを記憶するデータ記憶部と、
   予め記憶された数式を用い、前記眼球運動データを取得した時刻単位で、当該時刻から過去の時間における前記注視点及び前記瞳孔径に関する経時的変化に基づき、前記注目度を特定する演算判定部として前記コンピュータを機能させ、
   前記演算判定部では、前記瞳孔径に関する経時的変化から、過去に比べて前記瞳孔が収縮しているか否かを判定するとともに、前記注視点に関する経時的変化から、前記注視点を凝視しているか否かを判定し、過去に比べて前記瞳孔が収縮し、且つ、前記注視点を凝視していると判定されたときに、前記対象者が前記注視点を意識的に見ていたと判定することを特徴とする注目度判定装置用のプログラム。
7. 画像を表示可能な複数のクライアント側装置と、当該クライアント側装置に接続されて前記画像を含む各種情報の送受信を行うとともに、各種のデータ処理を行うサーバとを備えた画像配信システムにおいて、
   前記クライアント側装置は、画像を表示する表示装置と、当該表示装置に表示された画像を見ている対象者の眼球運動データを所定時間毎に取得する眼球運動計測装置とを備え、
   前記眼球運動計測装置は、前記眼球運動データとして、前記画像内の注視点と瞳孔径とを少なくとも取得可能に設けられ、
   前記サーバは、前記各クライアント側装置に、前記画像及び当該画像の付随情報を配信する画像配信装置と、各対象者が前記画像を見たときに前記眼球運動計測装置から得られた前記各対象者の眼球運動データから、前記各対象者それぞれについて、前記画像における注目度を判定する注目度判定装置と、当該注目度判定装置での前記各対象者の判定結果を集計し、当該集計結果を前記付随情報の一つとして前記画像配信装置に送信するデータ集計処理装置とを備え、
   前記注目度判定装置は、予め記憶された数式を用い、前記眼球運動データを取得した時刻単位で、当該時刻から過去の時間における前記注視点及び前記瞳孔径に関する経時的変化に基づいて前記注目度を特定する演算判定部を備え、
   前記演算判定部では、前記瞳孔径に関する経時的変化から、過去に比べて前記瞳孔が収縮しているか否かが判定されるとともに、前記注視点に関する経時的変化から、前記注視点を凝視しているか否かが判定され、過去に比べて前記瞳孔が収縮し、且つ、前記注視点を凝視していると判定されたときに、前記対象者が前記注視点を意識的に見ていたと判定されることを特徴とする画像配信システム。

Images