JP7185892B2 - データ処理装置、データ処理システム、データ処理方法、及びプログラム - Google Patents

Description

本発明は、ユーザの瞬きに応じた指標を算出する技術に関する。

人が無意識に行う動作に基づいて、その人が観察する視覚情報への関心の度合いを推定する技術が、従来から提案されている。特許文献１は、人の視線変化及び瞬きの間隔に基づいて、映像への注目度を推定することを開示している。特許文献２は、コンテンツのジャンルに対応した満足度算出手法を選択して、ユーザの当該コンテンツに対する満足度を算出することを開示している。特許文献３は、端末操作データ、及び瞬きを含む身体データに基づいて、視聴質データを生成することを開示している。特許文献４は、視聴者の眼球運動に基づいて、コンテンツに対する興味・関心度を算出することを開示している。なお、同じ映像を見る複数の被験者の瞬きに関して、本件の発明者らによって、非特許文献１及び非特許文献２に以下の事項が開示されている。非特許文献１は、ビデオを観察しているときに複数の被験者の瞬きが同期し、環境ビデオや音声では複数の被験者の瞬きが同期しないことを開示している。非特許文献２は、手品の映像を見ているときの複数の被験者の瞬きが同期することを開示している。

特許第５７７１１２７号 特開２００９－２６７４４５号公報 特開２００５－１４２９７５号公報 再表２００８－７２７３９号公報

Tamami Nakano, Yoshiharu Yamamoto, Keiichi Kitajo, Toshimitsu Takahashi and Shigeru Kitazawa、"Synchronization of spontaneous eyeblinks while viewing video stories"、Proceedings of the Royal Society B: Biological Sciences、276(1673)、 p 3635 － 3644、［online］、［平成３０年３月１２日検索］、インターネット＜ＵＲＬ：http://rspb.royalsocietypublishing.org/content/royprsb/early/2009/07/24/rspb.2009.0828.full.pdf＞、（２００９年） Richard J. Wiseman and Tamami Nakano、" Blink and you'll miss it: the role of blinking in the perception of magic tricks" 、PeerJ、e1873、［online］、［平成３０年３月１２日検索］、インターネット＜ＵＲＬ：https://peerj.com/articles/1873/?utm#source=TrendMD&utm#campaign=PeerJ#TrendMD#1&utm#medium=TrendMD＞、（２０１６年）

人間の瞬きの回数や頻度は個人差が大きい。このため、人の瞬きの回数や頻度をそのまま、関心度合い等の客観的な指標として用いることは、困難である。

そこで、本発明は、人の瞬きを客観的な指標として用いるための技術を提供することを目的とする。

本発明の一実施形態は、ユーザの瞬きのタイミングを示すデータを取得する取得部と、複数のユーザの前記瞬きのタイミングの差異に基づいて、前記複数のユーザの瞬きのタイミングの一致度合いに応じた指標を算出する算出部と、前記指標に応じたデータを出力する出力部と、を備えるデータ処理装置を提供する。

本発明の一実施形態は、ユーザの瞬きを検出する瞬き検出部と、上記データ処理装置とを有し、前記取得部は、前記瞬き検出部の検出結果に応じて前記瞬きのタイミングを示すデータを取得するデータ処理システムを提供する。

本発明の一実施形態は、ユーザの瞬きのタイミングを示すデータを取得し、複数のユーザの前記瞬きのタイミングの差異に基づいて、前記複数のユーザの瞬きのタイミングの一致度合いに応じた指標を算出するデータ処理方法を提供する。

本発明の一実施形態は、コンピュータに、ユーザの瞬きのタイミングを示すデータを取得し、複数のユーザの前記瞬きのタイミングの差異に基づいて、前記複数のユーザの瞬きのタイミングの一致度合いに応じた指標を算出する処理を実行させるためのプログラムを提供する。

本発明によれば、人の瞬きを客観的な指標として用いるための技術を提供することができる。

本発明の第１実施形態であるデータ処理システムの全体構成を示すブロック図である。 本発明の第１実施形態のサーバ装置のハードウェア構成を示すブロック図である。 本発明の第１実施形態の端末装置のハードウェア構成を示すブロック図である。 本発明の第１実施形態のデータ処理システムの機能構成を示すブロック図である。 本発明の第１実施形態のデータ処理システムが実行する処理を示すフローチャートである。 本発明の第１実施形態の指標算出処理を示すフローチャートである。 本発明の第１実施形態の瞬きのタイミングの差異の算出方法を説明する図である。 本発明の第１実施形態のタイミング差の出現頻度の分布を示すグラフを示す。 本発明の第１実施形態のランダムデータの一例を示す図である。 本発明の第１実施形態の評価値の一例を示す図である。 本発明の第１実施形態のステップＳ１７で出力されるデータの一例を示す図である。 本発明の第１実施形態の検証に係る被験者の瞬きの頻度の分布を示すグラフである。 本発明の第１実施形態の検証に係る被験者の１分ごとの瞬きの回数の時間的変化を示すグラフである。 本発明の第１実施形態の検証に係る動画を見た後のアンケ―トの結果と瞬きの回数との関係を示すグラフである。 本発明の第１実施形態の検証に係る評価値の算出結果を示すグラフである。 本発明の第１実施形態の検証に係る関心のある対象が異なる被験者毎に、各動画を見たときの評価値を算出した結果を示すグラフである。 本発明の第１実施形態の検証に係るすべての被験者について、各動画を見た後のアンケート結果と、評価値との関係を示したグラフである。 本発明の第１実施形態の検証に係る動画を見た後の感想と評価値との関係を示すグラフである。 本発明の第１実施形態の変形例のステップＳ１７で出力されるデータの一例を示す図である。 本発明の第２実施形態であるデータ処理システムの全体構成を示すブロック図である。 本発明の第２実施形態のデータ処理システムの機能構成を示すブロック図である。 本発明の第２実施形態のデータ処理システムで実行される処理を示すフローチャートである。 本発明の第２実施形態の検証に係る映像講義における評価値を算出したグラフである。 本発明の第２実施形態の検証に係る出題される問題と瞬きのタイミングとの関係を示すグラフである。 本発明の第２実施形態の問題の正答率や理解度と評価値との関係を示すグラフである。 本発明の第２実施形態の問題の正答率と評価値との関係を示すグラフである。 本発明の第３実施形態のデータ処理システムの機能構成を示すブロック図である。 本発明の第３実施形態のデータ処理システムが実行する処理を示すフローチャートである。 本発明の第４実施形態であるデータ処理システムの全体構成を示すブロック図である。 本発明の第４実施形態の端末装置のハードウェア構成を示すブロック図である。 本発明の第４実施形態のデータ処理システムの機能構成を示すブロック図である。 本発明の第４実施形態のデータ処理システムで実行される処理を示すフローチャートである。 本発明の第４実施形態のデータ処理システムで実行される処理を説明する図である。 本発明の第４実施形態の変形例のステップＳ４８で出力されるデータの一例を示す図である。 本発明の第４実施形態のデータ処理システムで実行される処理を説明する図である。 本発明の一変形例に係る撮像部を正面から見た模式図である。 本発明の一変形例に係る端末装置のハードウェア構成を示すブロック図である。 本発明の一変形例に係るデータ処理システムの機能構成を示すブロック図である。 本発明の一変形例に係るデータ処理システムで実行される処理を示すフローチャートである。 本開示に係るデータ処理装置の機能構成を示すブロック図である。

以下、本発明の一実施形態について、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。なお、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号（数字の後にＡ、Ｂなどを付しただけの符号）を付し、その繰り返しの説明は省略する場合がある。

本件発明者は、複数のユーザの瞬きのタイミングの差異を、当該複数のユーザが観察する視覚情報に対する関心の度合いの指標として用いることができる、という知見を得た。例えば、複数のユーザの瞬きのタイミングの一致度合いが高い期間は、その期間に観察された視覚情報に対して、当該複数のユーザが強い関心を示している、と推測することができる。一方、その一致度合いが低い期間は、その期間に観察された視覚情報に対して当該複数のユーザが強い関心を示していない、と推測することができる。このような知見を得るに至った検証については、後述する。以下で説明する本発明の一実施形態では、このような知見に基づき、複数のユーザの瞬きのタイミング一致度合いに応じた処理を行うデータ処理システムを説明する。

［第１実施形態］
図１は、本発明の第１実施形態であるデータ処理システム１の全体構成を示すブロック図である。データ処理システム１は、所定の視覚情報を観察する複数のユーザの瞬きに基づいて、当該視覚情報を評価する。視覚情報は、人が視覚を通じて得られる情報を総称する。視覚情報は、本実施形態では動画である。動画は、人が視覚を通じて認識できる情報が時間的に変化する。動画は、さらに、人が聴覚を通じて認識できる情報（つまり、音）を含んでもよい。本実施形態の動画は、例えば、テレビジョン放送に係る動画（例えば、テレビ番組又はコマーシャルメッセージ）である。

データ処理システム１は、サーバ装置１０と、複数の端末装置２０（２０－１，２０－２，・・・，２０－Ｎ）とを有する。サーバ装置１０は、複数の端末装置２０の各々から、ユーザの瞬きのタイミングを示すデータを取得し、取得した当該データに基づいて、動画の評価を行う。サーバ装置１０は、例えば、ユーザによる動画の視聴傾向の集計、分析を行う事業者によって管理、運用される。サーバ装置１０は、複数の端末装置２０の各々と通信回線ＮＷを介して通信する。通信回線ＮＷは、例えばインターネットで例示される公衆通信回線、又は専用回線である。サーバ装置１０は、本開示に係るデータ処理装置を有する装置の一例である。

複数の端末装置２０は、動画を観察するユーザによって使用される。図１には、複数の端末装置２０として、端末装置２０－１，２０－２，・・・，２０－Ｎ（ただし、Ｎは２以上の自然数）が示されている。端末装置２０－ｉ（ただし、１≦ｉ≦Ｎ）のユーザを、以下では、「ユーザＵｉ」と称する。ユーザＵｉは、動画再生装置３０－ｉを用いて、動画を観察する。動画再生装置３０－１～３０－Ｎは、例えばテレビジョンである。

端末装置２０は、例えば、スマートフォン、タブレット端末、及びウェアラブル型コンピュータで例示される携帯型の端末装置である。又は、端末装置２０は、動画の視聴空間（例えば、動画再生装置３０－１～３０－Ｎが設置された部屋）に設置される固定型の端末装置であってもよい。端末装置２０は、動画を観察するユーザの瞬きを検出可能な位置に設けられる。例えば、端末装置２０は、動画再生装置３０－１～３０－Ｎの近傍に設けられる。

図２は、サーバ装置１０のハードウェア構成を示すブロック図である。サーバ装置１０は、制御部１１と、通信部１２と、記憶部１３とを有する。制御部１１は、サーバ装置１０の各部を制御する。制御部１１は、例えば、ＣＰＵで例示される演算処理装置、及びメモリを含む。メモリは、例えば、演算処理装置がワークエリアとして使用するＲＡＭ、及び制御プログラムを記憶するＲＯＭを含む。

通信部１２は、通信回線ＮＷを介して、複数の端末装置２０の各々と有線又は無線により通信する。通信部１２は、例えば、通信回路及びアンテナを含む。

記憶部１３は、データを記憶する。記憶部１３は、例えば、プログラム１３１を記憶する。プログラム１３１は、制御部１１に所定の機能を実現させるためのプログラムである。記憶部１３は、例えば、光学式記録媒体、磁気記録媒体、及び半導体記録媒体で例示される任意の形式の記録媒体を含みうる。

図３は、端末装置２０のハードウェア構成を示すブロック図である。端末装置２０は、制御部２１と、ユーザインタフェース２２と、通信部２３と、記憶部２４と、撮像部２５とを有する。制御部２１は、端末装置２０の各部を制御する。制御部２１は、例えば、ＣＰＵで例示される演算処理装置、及びメモリを含む。メモリは、例えば、ＣＰＵがワークエリアとして使用するＲＡＭ、及び制御プログラムを記憶するＲＯＭを含む。制御部２１は、さらに、所定の時間軸上で規定される時刻を計る計時部を有する。時間軸は、例えば、絶対時刻又は動画の再生位置（例えば、動画の再生開始時刻を基準とした相対時刻）を規定する。

ユーザインタフェース２２は、ユーザと対話を行うためのインタフェースである。ユーザインタフェース２２は、例えば、操作を受け付ける操作部（例えば、物理キー又はタッチセンサ）、及び情報を表示する表示部（例えば、液晶ディスプレイ）を含む。通信部２３は、通信回線ＮＷを介して、サーバ装置１０と通信する。通信部２３は、例えば、通信回路及びアンテナを含む。記憶部２４は、データを記憶する。記憶部２４は、例えば、プログラム２４１を記憶する。プログラム２４１は、制御部２１に所定の機能を実現させるためのプログラムである。記憶部２４は、例えば、光学式記録媒体、磁気記録媒体、及び半導体記録媒体で例示される任意の形式の記録媒体を含みうる。

撮像部２５は、被写体を撮像し、当該撮像した画像を示す撮像データを生成する。被写体は、少なくとも、ユーザの顔、より詳細にはユーザの目を含む。撮像部２５は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサで例示される撮像素子、及びレンズを含む。

図４は、データ処理システム１の機能構成を示すブロック図である。サーバ装置１０の制御部１１は、プログラム１３１を実行することにより、取得部１１１と、算出部１１２と、出力部１１３とに相当する機能を実現する。複数の端末装置２０の各々の制御部２１は、プログラム２４１を実行することにより、瞬き検出部２１１と、送信部２１２とに相当する機能を実現する。

端末装置２０において瞬き検出部２１１は、ユーザの瞬きを検出する。具体的には、瞬き検出部２１１は、撮像部２５により生成された撮像データに基づいて、ユーザの瞬きを検出する。送信部２１２は、ユーザの瞬きのタイミングを示すデータ（以下「瞬きデータ」という。）を、通信部２３を用いて、サーバ装置１０へ送信する。本実施形態の瞬きデータは、瞬きが検出された時刻を、その時刻順に並べたデータ（第１データ）である。

サーバ装置１０において取得部１１１は、通信部１２を用いて、複数の端末装置２０の各々から瞬きデータを取得する。

算出部１１２は、複数のユーザの瞬きのタイミングの差異に基づいて、当該複数のユーザの瞬きのタイミングの一致度合いに応じた指標を算出する。算出部１１２は、取得部１１１が取得した瞬きデータに基づいて、当該指標を算出する。当該指標は、本実施形態では、複数のユーザの動画に対する関心度合いの評価値である。

出力部１１３は、算出部１１２が算出した指標に応じたデータを出力する。本実施形態では、出力部１１３は、当該指標自体を出力してもよいし、当該指標から直接的又は間接的に特定されるデータ（例えば、コンテンツ）を出力してもよい。

次に、データ処理システム１の動作を説明する。図５は、データ処理システム１で実行される処理を示すフローチャートである。

端末装置２０において瞬き検出部２１１は、撮像部２５にユーザの目を撮像させる（ステップＳ１１）。瞬き検出部２１１は、撮像部２５により生成された撮像データに基づいて、ユーザの瞬きを検出する（ステップＳ１２）。瞬きの検出のアルゴリズムは、種々の公知技術が適用されてよい。瞬き検出部２１１は、例えば、撮像データが示す画像から、ユーザの目の周縁に沿って複数の特徴点を抽出する。瞬き検出部２１１は、例えば、Ｈａａｒ－ｌｉｋｅに基づいて該特徴点を抽出する。瞬き検出部２１１は、複数のフレームの撮像データに基づいて、抽出した特徴点の移動の方向、及びその速度の時間的な変化を特定することにより、ユーザの瞬きの有無を検出する。例えば人の瞬きに起因して、およそ０～３００ミリ秒の間に、特徴点の急激な速度の変化が生じる。そこで、瞬き検出部２１１は、所定期間内の速度変化が閾値以上となった場合、ユーザの瞬きがあったことを検出する。

瞬き検出部２１１は、例えば、撮像部２５から供給された撮像データに基づいて、リアルタイムで瞬きを検出する。又は、瞬き検出部２１１は、撮像データを記憶部２４に記憶させておき、所定のタイミングに当該撮像データを読み出して、瞬きを検出してもよい。

送信部２１２は、ユーザの瞬きのタイミングを示す瞬きデータを、通信部２３を用いて、サーバ装置１０へ送信する（ステップＳ１３）。送信部２１２は、さらに、瞬きデータと対応付けて動画特定情報を、サーバ装置１０へ送信してもよい。動画特定情報は、ユーザが観察した動画を特定する情報である。動画特定情報は、例えば、動画を識別する識別情報、当該動画の放送日時を示す放送日時情報、および当該動画の放送チャネルを示すチャネル情報を含む。なお、瞬きデータの送信タイミングは、問わない。送信タイミングは、例えば、あらかじめ決められたタイミング（例えば、１日１回の所定の時刻）、又はサーバ装置１０から要求があったタイミングである。

サーバ装置１０において取得部１１１は、通信部１２を用いて、複数の端末装置２０の各々から、瞬きデータを取得する（ステップＳ１４）。取得部１１１は、端末装置２０が動画特定情報を送信した場合は、さらに、当該動画特定情報を取得する。

算出部１１２は、取得部１１１が取得した瞬きデータに基づいて、指標算出処理を行う（ステップＳ１５）。

図６は、指標算出処理を示すフローチャートである。以下、指標算出処理を、具体例を挙げて説明する。

算出部１１２は、Ｎ人のユーザＵ１～ＵＮの中から２人のユーザを選択する（ステップＳ１５１）。選択した２人のユーザを、以下、それぞれ「第１ユーザ」、「第２ユーザ」と称する。算出部１１２は、ここでは、ユーザＵ１とユーザＵ２とを選択したものとする。

次に、算出部１１２は、第１ユーザの瞬きのタイミングと、第２ユーザの瞬きのタイミングとの差異を算出する（ステップＳ１５２）。算出部１１２は、第１ユーザの瞬きのタイミングと、第２ユーザの瞬きのタイミングとのすべての組み合わせについて、タイミングの差異（以下「タイミング差」という。）を算出する。

図７は、瞬きのタイミングの差異の算出方法を説明する図である。図７は、瞬きが検出されたタイミングを示すタイミングチャートが示されている。図７に示すように、ユーザＵ１の瞬きのタイミングを、その時刻順に、ｔ１１，ｔ１２，・・・ｔ１Ｂと表す。ユーザＵ２の瞬きのタイミングを、その時刻順に、ｔ２１，ｔ２２，・・・ｔ２７と表す。この場合、算出部１１２は、ｔ１１，ｔ１２，・・・ｔ１Ｂの各々について、ｔ２１，ｔ２２，・・・ｔ２７の各々との差異を算出する。瞬きタイミングｔ１ｉ（ただし、１≦ｉ≦ｍ）と瞬きタイミングｔ２ｊ（ただし、１≦ｊ≦ｎ）との差異であるタイミング差を、以下「Δｔｉｊ」と表す。この場合、算出部１１２は、タイミング差ＴＤ｛Δｔ１１、Δｔ１２、・・・、Δｔ１７、Δｔ２１、Δｔ２２、・・・、Δｔ２７、・・・ΔｔＢ１、ΔｔＢ２、・・・、ΔｔＢｎ｝を算出する。

図８は、タイミング差の出現頻度の分布を示すグラフＤＧを示す。図８のグラフＤＧにおいて、横軸がタイミング差に対応し、縦軸が各タイミング差の出現の度合い（つまり、出現頻度）に対応する。図８に示す例では、タイミング差が比較的小さい時間範囲Ｔ内で、出現頻度が高くなっている。

ところで、グラフＤＧで示される出現頻度の分布は、第１ユーザ及び第２ユ－ザによる動画の観察、及び第１ユーザ及び第２ユ－ザの瞬きの特性（例えば、回数や頻度）に起因して生じた、と考えられる。そこで、タイミング差ＴＤで示される第１ユーザ及び第２ユ－ザの瞬きが、どの程度動画を観察したことに起因することを明らかにするため、算出部１１２は、サロゲートデータ法を用いて出現頻度の分布を解析する。

すなわち、算出部１１２は、ステップＳ１３で取得した瞬きデータに基づいて、ランダムデータを生成する（ステップＳ１５３）。ランダムデータは、ここでは、ステップＳ１５１で選択した２人のユーザの一方又は両方について、時間軸上で瞬きの間隔の順番をランダムに変更したＫ通り（例えば、１０００通り）のランダムデータＲ１～ＲＫ（第２データ）を含む。

図９は、ランダムデータＲ１～ＲＫの一例を示す図である。図９に示すランダムデータＲ１～ＲＫには、ユーザＵ１について瞬きの間隔の順番が変更されておらず、ユーザＵ２について瞬きの間隔の順番が変更されているランダムデータである。ランダムデータＲ１～ＲＫにおいて、ユーザＵ２の瞬きのタイミングは、その時刻順に、ｔ２１ａ，ｔ２５ａ，・・・ｔ２３ａと表される。なお、図７に示すタイミング「ｔ２ｊ」と、図９に示すタイミング「ｔ２ｊａ」とが対応する。

次に、算出部１１２は、Ｋ通りのランダムデータＲ１～ＲＫの各々について、第１ユーザの瞬きのタイミングと、第２ユーザの瞬きのタイミングとの差異であるタイミング差を算出する（ステップＳ１５４）。タイミング差の算出方法は、ステップＳ１５２と同じでよい。すなわち、算出部１１２は、ランダムデータＲ１～ＲＫの各々について、第１ユーザの瞬きのタイミングと、第２ユーザの瞬きのタイミングとのすべての組み合わせについて、タイミング差を算出する。瞬きタイミングｔ１ｉａ（ただし、１≦ｉ≦ｍ）と瞬きタイミングｔ２ｊａ（ただし、１≦ｊ≦ｎ）との差異であるタイミング差を、以下「Δｔｉｊａ」と表す。この場合、算出部１１２は、タイミング差ＴＲ｛Δｔ１１ａ、Δｔ１５ａ、・・・、Δｔ１３ａ、Δｔ２１ａ、Δｔ２５ａ、・・・、Δｔ２３ａ、・・・ΔｔＢ１ａ、ΔｔＢ５ａ、・・・、ΔｔＢ３ａ｝を算出する。ランダムデータＲ１～ＲＫにおけるタイミング差の出現頻度は、例えば、図８のグラフＲＧで示される。なお、グラフＲＧは、ランダムデータＲ１～ＲＫのタイミング差の出現頻度の平均を示す。

次に、算出部１１２は、瞬きデータに基づくタイミング差と、ランダムデータに基づくタイミング差とに基づいて、評価値を算出する（ステップＳ１５５）。ランダムデータは、ユーザＵ２の瞬きの間隔をランダムに変更したデータであり、ユーザＵ２の瞬きの回数及び間隔を維持したまま、時系列の情報が崩されたデータといえる。よって、瞬きデータとランダムデータとを比較することによって、当該瞬きデータが示すタイミング差の出現分布が、動画の観察に起因して現れた度合いを把握することができる。

具体的には、算出部１１２は、評価値をＺ値によって算出する。すなわち、算出部１１２は、瞬きデータが示すタイミング差ＴＤ｛Δｔ１１、Δｔ１２、・・・、Δｔ１７、Δｔ２１、Δｔ２２、・・・、Δｔ２７、・・・ΔｔＢ１、ΔｔＢ２、・・・、ΔｔＢｎ｝の各々から、ランダムデータＲ１～ＲＫにおけるタイミング差の平均値を減じ、さらに、得られた値をランダムデータＲ１～ＲＫにおけるタイミング差の標準偏差で除することによって、評価値Ｚを算出する。例えば、瞬きデータがランダムデータと同じである場合、評価値Ｚは０である。この場合、瞬きデータが示す出現頻度の分布が、動画の観察に起因して現れていないと推測することができる。一方、評価値Ｚが大きく、瞬きデータがランダムデータに対して差異が大きい場合、瞬きデータが示す出現頻度の分布が、動画の観察に起因して現れたと推測することができる。図８を用いて説明すると、出現頻度の差異Δが大きい場合ほど、評価値Ｚは大きくなる。

図１０は、評価値Ｚの一例を示すグラフである。図１０に示すグラフにおいて、横軸はタイミング差に対応し、縦軸は評価値に対応する。タイミング差は、ここでは、ビンの値によって表す。ビン番号「７」は、タイミング差が「０」と扱われることを示す。ビン間の時間幅は３００ミリ秒で、ビン番号の値が大きくなる方向に、正の方向にタイミング差が大きいことを意味する。例えば、ビン番号「８」は＋３００ミリ秒の差異があり、ビン番号「９」は＋６００ミリ秒の差異があることを意味する。反対に、ビン番号の値が小さくなる方向に、負の方向にタイミング差が大きいことを意味する。例えば、ビン番号「６」は－３００ミリ秒の差異があり、ビン番号「５」は－６００ミリ秒の差異があることを意味する。なお、タイミング差が正の値である場合、第２ユーザの瞬きのタイミングが第１ユーザの瞬きのタイミングよりも早いことを意味する。タイミング差が負の値である場合、第１ユーザの瞬きのタイミングが第２ユーザの瞬きのタイミングよりも早いことを意味する。本実施形態では、タイミング差が３００ミリ秒以下である瞬きの出現頻度が、ビン番号「７」の評価値Ｚを示す。言い換えれば、ビン番号「７」以外の番号に対応する出現頻度は、評価値Ｚの算出には使用されない。図１０に示す例では、評価値Ｚは「０．４」である。算出部１１２は、動画の再生期間の全体に対して一つの評価値を算出してもよいし、当該再生期間を複数の単位期間（例えば、３０秒の期間）に区分して、当該単位期間ごとに評価値を算出してもよい。

算出部１１２は、瞬きデータに加えて、動画特定情報に基づいて、指標算出処理を行ってもよい。この場合、算出部１１２は、動画特定情報に基づいて、Ｎ人のユーザの各ユーザが見ている動画を特定し、また、共通の時間軸上でのＮ人のユーザの瞬きタイミングに基づいて指標を算出する。

次に、算出部１１２は、すべてのユーザの組み合わせについて、評価値を算出したかどうかを判断する（ステップＳ１５６）。ステップＳ１５６で「ＮＯ」と判断した場合、算出部１１２はステップＳ１５１の処理に戻す。そして、算出部１１２は、選択する２人のユーザの組み合わせを変更して、評価値を算出する（ステップＳ１５１～Ｓ１５４）。そして、ステップＳ１５６で「ＹＥＳ」と判断した場合、算出部１１２は指標算出処理を終了する。

なお、ランダムデータは、ユーザＵ２について瞬きの間隔の順番が変更されておらず、ユーザＵ１について瞬きの間隔の順番が変更されたデータであってもよい。また、ランダムデータは、ステップＳ１５１で選択した２人のユーザ（例えば、ユーザＵ１及びユーザＵ２）の瞬きの間隔の順番が変更されたデータであってもよい。

指標算出処理が終了すると、出力部１１３は、算出された評価値に応じたデータを生成して出力する（図５のステップＳ１６，Ｓ１７）。

図１１は、ステップＳ１７で出力されるデータの一例を示す図である。この例では、出力部１１３は、時刻と関連付けた評価値を出力する。具体的には、出力部１１３は、横軸を時刻に対応させ、縦軸を評価値に対応させて、評価値の時間的な変化を示したグラフＺＧを生成する。縦軸の評価値は、例えば、単位期間ごとの_NＣ₂通りで算出した評価値の平均値を示している。グラフＺＧは、Ｎ人のユーザの動画に対する評価値の時間的な変化を定量的に表したグラフである。なお、出力部１１３は、例えば、動画の再生期間（例えば、番組の放送期間）全体について評価値を算出するが、一部の期間について評価値を算出してもよい。

なお、出力部１１３は、Ｎ人のユーザの評価値の移動平均を出力してもよい。また、ステップＳ１７のデータの出力の方法は、問わない。例えば、データの出力の方法は、例えば、通信、印刷又は表示により行われる。

通常、テレビジョン放送の視聴率は、各時刻に選局されているチャンネルに基づいて計測されている。よって、選局中の番組に、視聴者が関心かあるかどうかや、その関心の度合いを定量的に把握することはできなかった。これに対し、データ処理システム１によれば、複数のユーザの瞬きのタイミング差に応じて、動画に対する関心の度合いを定量的に評価することができる。この評価結果は、視聴傾向の分析やマーケティング等に利用することが可能である。

ここで、複数のユーザの瞬きのタイミングの差異を視覚情報の客観的な評価に用いることができる根拠を説明する。本件発明者らは、以下で説明する検証を行った。

発明者らは、５９人の大学生を被験者とし、以下の（動画１）、（動画２）、（動画３）を主題とする動画を、それぞれ３種類ずつ作成し、（動画１）→（動画２）→（動画３）→（動画１）→（動画２）→（動画３）→（動画１）→（動画２）→（動画３）という順で、再生した。各動画の再生時間は３分間であり、動画の合計の再生時間は２７分間である。本件発明者らは、これらの動画を観察する被験者の瞬きの検出を行った。
（動画１）将棋の対局解説
（動画２）サッカーの試合
（動画３）アイドル歌手Ａのテレビインタビュー

図１２は、動画を見ている５９人の被験者の瞬きの頻度の分布を示すグラフである。図１２に示すように、被験者の瞬きの頻度は５～５０回／秒の範囲に分布し、個人差が大きいことが分かった。すなわち、或る瞬きの回数や頻度の瞬きが、動画を観察したことに起因して生じたか、又はその人の瞬きの特性によるかを推測することは困難である。

図１３は、被験者の１分ごとの瞬きの回数の時間的変化を示すグラフである。図１３には、将棋ファンである８人の被験者の瞬きの平均回数と、サッカーファンである１９人の被験者の瞬きの平均回数と、アイドル歌手Ａファン（図１３、図１６及び図１７において、「Ａファン」と示す。）である１８人の被験者の瞬きの平均回数とがそれぞれ示されている。なお、５９人の被験者のうち、事前アンケートで、将棋とサッカー又はサッカーとアイドル歌手Ａ（図１３、図１６及び図１８において「Ａ」と表す。）という具合に、２つ以上の対象のファンであると回答した被験者が１２人いた。このため、この１２人の被験者については、特定の対象にファンである被験者からは除外した。図１３に示すように、瞬きの回数は、動画に応じて変化する傾向が現れた。しかし、個々の被験者の関心のある対象と瞬きの回数との間に、相関は確認できなかった。また、図１４は、動画を見た後のアンケ―トの結果と瞬きの回数との関係を示すグラフである。図１４に示すように、動画への関心の度合いと瞬きの回数との間に、相関は確認できなかった。

次に、上述した指標算出処理を用いて、被験者の相互間の瞬きのタイミング差に基づいて評価値を算出した。すなわち、５９人の被験者の中から２人のユーザを選択し、選択した２人のユーザの瞬きのタイミング差を算出して評価値を算出する処理を、すべてのユーザの組み合わせ（つまり₅₉Ｃ₂通り）について行い、さらにその平均値を算出した。なお、ランダムデータは１０００通りとした。

図１５は、本検証に係る評価値の算出結果を示すグラフである。図１５に示すグラフにおいて、横軸はタイミング差に対応し、縦軸は評価値に対応する。タイミング差は、ここでは、ビンの値によって表す。図１５には、ビン番号の時間幅を、１５０ｍｓ、２００ｍｓ、２５０ｍｓ、３００ｍｓ、５００ｍｓとしたグラフがそれぞれ示されている。図１５に示すように、ビン番号の時間幅を、１５０ｍｓ、２００ｍｓ、２５０ｍｓ、３００ｍｓ、５００ｍｓのいずれとした場合も、瞬きのタイミング差が０と扱われるビン番号「７」において、出現頻度が局所的に高くなっていることを確認できた。

図１６は、関心のある対象が異なる被験者毎に、各動画を見たときの評価値を算出した結果を示すグラフである。図１６に示すグラフにおいて、横軸は動画に対応し、縦軸は評価値に対応する。図１６に示すように、将棋、サッカー、アイドル歌手Ａのそれぞれについて、自身が関心のある対象についての動画を観察しているときに、評価値が高くなっていることが分かる。

図１７は、すべての被験者について、各動画を見た後のアンケート結果と、評価値との関係を示したグラフである。図１７に示すグラフにおいて、横軸はタイミング差（ビンの値）に対応し、縦軸は評価値に対応する。図１７に示すように、動画を面白いと感じた被験者の方が、退屈と感じた被験者よりも、評価値の上昇の度合いが大きいことが分かった。

図１８は、動画を見た後の感想と評価値との関係を示すグラフである。図１８に示すグラフにおいて、横軸は関心度合いに対応し、縦軸は評価値に対応する。関心度合いは、数値が大きいほど、動画を面白いと感じたことを意味する、図１８に示す「ｒ」は相関係数、「ｐ」は確率である。ここでは、各被験者について、当該被験者と他のすべての被験者との２人を選択して評価値をそれぞれ算出し、算出した評価値の平均値を、当該被験者の評価値としている。この評価値においても、動画に関心がある被験者が多いほど高い値を示すこととなる。図１８に示すグラフからも、動画を面白いという印象を持った被験者ほど、評価値が高い傾向を示していることが分かった。

以上の検証により、本件発明者らは、複数のユーザの瞬きのタイミング差に応じた評価値が、動画に対する関心の度合いの指標になるという知見を得られた。

＜第１実施形態の変形例＞
（１）算出部１１２は、複数のユーザを所定の規則に従い分類したグループごとに、評価値を算出してもよい。当該規則は、評価値を算出するユーザの組み合わせを規定する規則であるが、例えばユーザ属性である。ユーザ属性は、例えば、ユーザの性別、年齢、趣味、好みの動画のジャンル、又はこれらの組み合わせである。ユーザ属性は、これら以外のユーザの属性であってもよい。ユーザ属性は、あらかじめサーバ装置１０に登録されて記憶部１３に記憶されていてもよい。また、端末装置２０のユーザが、ユーザインタフェース２２を操作してユーザ属性を入力して、記憶部２４に記憶させておく。そして、送信部２１２は、瞬きデータと対応付けてユーザ属性を、サーバ装置１０へ送信してもよい。

出力部１１３は、さらに、グループごとに評価値に応じたデータを出力してもよい。出力部１１３は、例えば、ユーザ属性ごとに、評価値に応じたデータを出力してもよい。図１９は、この変形例のステップＳ１７で出力されるデータの一例を示す図である。ここでは、出力部１１３は、ユーザ属性ごとに、時刻と関連付けた評価値を出力する。この例では、出力部１１３は、横軸を時刻に対応させ、縦軸を評価値に対応させて、評価値の時間的な変化を示したグラフＧ１～Ｇ３を生成する。グラフＧ１は、例えば「属性１」に属するユーザの評価値、グラフＧ２は、例えば「属性２」に属するユーザの評価値、グラフＧ３は、例えば「属性３」に属するユーザの評価値を示している。これにより、ユーザ属性ごとに、動画の観察中における評価値の時間的な変化を把握できる。

（２）出力部１１３は、評価値が所定の条件を満たす動画を特定するデータを出力してもよい。出力部１１３は、例えば、多くのユーザの関心の度合いが高い動画を特定するデータを出力してもよい。この場合の所定の条件は、例えば、評価値が閾値を超えたこと、又は複数の動画の中で評価値が最大であることである。出力部１１３は、動画のうち、評価値が所定の条件を満たす期間を特定するデータを出力してもよい。この場合の所定の条件は、例えば、評価値が閾値を超えたこと、又は複数の動画の中で評価値が最大であることである。

［第２実施形態］
第２実施形態は、本開示に係るデータ処理システムを、映像講義を行うデータ処理システムに適用した場合を説明する。

図２０は、データ処理システム１Ａの全体構成を示す図である。データ処理システム１Ａは、サーバ装置１０Ａと、複数の端末装置２０Ａとを有する。サーバ装置１０Ａは、学校の授業などの講義に関する動画を配信するとともに、複数の端末装置２０Ａの各々からユーザ（すなわち、受講生）の瞬きのタイミングを示すデータを取得し、取得した当該データに基づいて動画の評価を行う。サーバ装置１０Ａは、例えば、講義を実施する事業者によって管理、運用される。サーバ装置１０Ａは、複数の端末装置２０Ａの各々と通信回線ＮＷを介して通信する。

複数の端末装置２０Ａは、映像講義に係る動画を見るユーザによって使用される。複数の端末装置２０Ａの各々は、ユーザの座席４０にあらかじめ設置されている。端末装置２０Ａは、動画を見ているユーザの瞬きを検出可能な位置に設けられる。図１には、複数の端末装置２０Ａは、端末装置２０Ａ－１，２０Ａ－２，・・・，２０Ａ－Ｎ（ただし、Ｎは２以上の自然数）が示されている。説明の便宜のため、端末装置２０Ａ－ｉ（ただし、１≦ｉ≦Ｎ）のユーザを、以下では「ユーザＵｉ」と称する。

サーバ装置１０Ａ及び端末装置２０Ａのハードウェア構成は、それぞれ上述した第１実施形態のサーバ装置１０及び端末装置２０と同じでよい。ただし、サーバ装置１０Ａの記憶部１３は、講義が予め録画しておいた動画を再生して行われる場合に、当該動画を示す動画データを記憶してもよい。

図２１は、データ処理システム１Ａの機能構成を示すブロック図である。サーバ装置１０Ａの制御部１１は、プログラム１３１を実行することにより、取得部１１１と、算出部１１２と、出力部１１３と、配信部１１４とに相当する機能を実現する。配信部１１４は、通信部１２を介して、複数の端末装置２０Ａの各々に動画を配信する。

複数の端末装置２０Ａの各々の制御部２１は、プログラム２４１を実行することにより、瞬き検出部２１１と、送信部２１２と、再生部２１３とに相当する機能を実現する。再生部２１３は、通信部２３を用いてサーバ装置１０Ａから動画を受信し、受信した当該動画を再生する。再生された動画は、ユーザインタフェース２２を介してユーザに表示される。

次に、データ処理システム１Ａの動作を説明する。図２２は、データ処理システム１Ａで実行される処理を示すフローチャートである。

サーバ装置１０Ａにおいて配信部１１４は、映像講義に係る動画の配信を開始する（ステップＳ２１）。端末装置２０Ａにおいて再生部２１３は、通信部２３を用いて動画を受信し、受信した当該動画の再生を開始する（ステップＳ２２）。瞬き検出部２１１は、撮像部２５に撮像を開始させる（ステップＳ２３）。瞬き検出部２１１は、撮像データに基づいて、ユーザの瞬きの検出を開始する（ステップＳ２４）。ここでは、動画の再生開始と同時に瞬きの検出が開始されているが、動画の再生前に開始されてもよい。瞬きの検出のアルゴリズムは上述した第１実施形態と同じでよい。

送信部２１２は、瞬きの検出結果に基づいて、瞬きデータを、通信部２３を用いてサーバ装置１０Ａへ送信する（ステップＳ２５）。瞬きデータの送信タイミングは、問わない。送信タイミングは、例えば、あらかじめ決められたタイミング（例えば、映像講義の終了後）であってもよいし、サーバ装置１０Ａから要求があったタイミングであってもよい。

サーバ装置１０において取得部１１１は、複数の端末装置２０Ａの各々から、瞬きデータを取得する（ステップＳ２６）。算出部１１２は、取得部１１１が取得した瞬きデータに基づいて、指標算出処理を行う（ステップＳ２７）。指標算出処理は、上述した第１実施形態と同じでよい。

出力部１１３は、評価値に応じたデータを生成し、出力する（ステップＳ２８，Ｓ２９）。出力部１１３は、時刻と関連付けた評価値を出力する。この場合、映像講義の中で特に関心を集めた場面を特定することができる。また、出力部１１３は、映像講義の全体の期間における評価値の平均値を出力してもよい。出力部１１３は、評価値が所定の条件を満たす場面（例えば、評価値が閾値以上の場面）を抽出した動画データを生成し、出力してもよい。これにより、講義の内容の分析や教材の作製、選定などの学校運営に役立てることができる。また、出力部１１３は、評価値に基づいて、その映像講義を担当した講師の評価値を出力してもよい。この場合、出力部１１３は、講師と評価値とを関連付けて出力してもよいし、評価値に従って講師の順位付けをして出力してもよい。

なお、本実施形態において、講師とユーザＵ１～ＵＮとが同じ空間に居て講義が行われる場合、制御部１１は配信部１１４に相当する機能を有していなくてよい。また、制御部２１は再生部２１３に相当する機能を有していなくてよい。

評価値が関心度合いの指標となる理由は、上述の第１実施形態でも説明した。さらに、本件発明者らは、視覚情報を予備校の映像講義に係る動画として検証を行った。この検証では、８６人の高校生を被験者とし、映像講義で扱われる問題８問を解く事前テスト、映像講義に係る動画の視聴、及び事後テストを、順次実施した。事後テストは、事前テストから数字などの条件が異なる問題８問を解くテストである。

図２３は、映像講義における評価値を示すグラフである。図２３に示すグラフにおいて、横軸はタイミング差に対応し、縦軸は評価値に対応する。図２３に示すように、およそ０．２５秒の時間範囲内のタイミング差の出現頻度が局所的に高くなることを確認した。

図２４は、問題ごとの評価値を示すグラフである。本件発明者らは、出題される問題によって、瞬きのタイミングの同期する若干異なることを確認できた。

図２５は、問題の正誤答の変化と評価値との関係を示すグラフである。図２５に示すように、本件発明者らは、問題の正答率及び理解度と評価値との間に相関は、確認できなかった。

図２６は、問題の正誤答と評価値との関係を示すグラフである。図２６に示すように、事前テストの前後で正解の被験者（〇→〇）、事後テストのみ正解の被験者（×→〇）、事前テスト及び事後テストいずれも不正解の被験者（×→×）の順で、評価値が高い。事後テストで正答した被験者は、誤答した被験者よりも関心をもって映像講義を受けたと考えられる。よって、動画への関心度合いが高いほど評価値が高い傾向を示すと推測できる。

［第３実施形態］
第３実施形態は、本開示に係るデータ処理システムの端末装置が、テレビジョン放送に係る動画を再生する場合を説明する。

データ処理システム１Ｂの全体構成は、上述した第１実施形態のデータ処理システム１と同じである。ただし、データ処理システム１Ｂは、サーバ装置１０Ｂと、複数の端末装置２０Ｂとを備える。サーバ装置１０Ｂ及び端末装置２０Ｂのハードウェア構成は、それぞれ上述した第１実施形態のサーバ装置１０及び端末装置２０と同じでよい。

図２７は、データ処理システム１Ｂの機能構成を示すブロック図である。サーバ装置１０Ｂの制御部１１は、プログラム１３１を実行することにより、取得部１１１と、算出部１１２と、出力部１１３とに相当する機能を実現する。

複数の端末装置２０Ｂの各々の制御部２１は、プログラム２４１を実行することにより、瞬き検出部２１１と、送信部２１２と、再生部２１４とに相当する機能を実現する。再生部２１４は、通信部２３を介して受信された放送信号に基づいて、テレビジョン放送に係る動画を再生する。再生された動画は、ユーザインタフェース２２を介してユーザに表示される。

次に、データ処理システム１の動作を説明する。図２８は、データ処理システム１Ｂで実行される処理を示すフローチャートである。

端末装置２０Ｂにおいて再生部２１４は、通信部２３を用いて放送信号を受信し、受信した当該放送信号に基づいて。動画の再生を開始する（ステップＳ３１）。瞬き検出部２１１は、撮像部２５にユーザの目を撮像させ、撮像データに基づいてユーザの瞬きを検出する（ステップＳ１１，Ｓ１２）。ここでは動画の再生開始と同時に瞬きの検出が開始されているが、動画の再生前に開始されてもよい。瞬きの検出のアルゴリズムは上述した第１実施形態と同じでよい。

送信部２１２は、ユーザの瞬きのタイミングを示す瞬きデータを、通信部２３を用いて、サーバ装置１０Ｂへ送信する（ステップＳ３２）。送信部２１２は、さらに、瞬きデータと対応付けて動画特定情報を、サーバ装置１０Ｂへ送信してもよい。瞬きデータの送信タイミングは、問わない。送信タイミングは、例えば、あらかじめ決められたタイミング（例えば、テレビ番組の終了後）であってもよいし、サーバ装置１０Ｂから要求があったタイミングであってもよい。

サーバ装置１０Ｂにおいて取得部１１１は、複数の端末装置２０Ｂの各々から、瞬きデータを取得する（ステップＳ１４）。算出部１１２は、取得部１１１が取得した瞬きデータに基づいて、指標算出処理を行う（ステップＳ１５）。指標算出処理は、上述した第１実施形態と同じでよい。取得部１１１は、端末装置２０が動画特定情報を送信した場合は、さらに、当該動画特定情報を取得する。また。算出部１１２は、瞬きデータに加えて、動画特定情報に基づいて、指標算出処理を行ってもよい。出力部１１３は、評価値に応じたデータを生成し、出力する（ステップＳ１６，Ｓ１７）。

［第４実施形態］
上述した第１～３実施形態では、視覚情報は、動画であった。これに対し本実施形態の視覚情報は、外界の視覚情報である。視覚情報は、例えば、広告や交通標識などの設置物である。このような外界の視覚情報への関心の度合いを推定することにも、本開示のデータ処理システムを適用できる。

図２９は、データ処理システム１Ｃの全体構成を示す図である。データ処理システム１Ｃは、サーバ装置１０Ｃと、複数の端末装置２０Ｃとを有する。端末装置２０Ｃは、例えば車載機器で、本実施形態では車両５０に設置されている。端末装置２０Ｃは、カーナビゲーションシステムなどの車載機器と一体となっていてもよい。車両５０は、ここでは四輪車（例えば自動車）であるが、二輪車（例えばオートバイ）又はその他の車両であってもよい。端末装置２０Ｃは、ユーザ（例えば、ドライバー）の瞬きを検出可能な位置に設けられる。図２９には、複数の端末装置２０Ｃとして、端末装置２０Ｃ－１，２０Ｃ－２，・・・，２０Ｃ－Ｎ（ただし、Ｎは２以上の自然数）が示されている。説明の便宜のため、端末装置２０Ｃ－ｉ（ただし、１≦ｉ≦Ｎ）のユーザを、以下では「ユーザＵｉ」と称する。

サーバ装置１０Ｃのハードウェア構成は、上述した第１実施形態のサーバ装置１０と同じでよい。

図３０は、端末装置２０Ｃのハードウェア構成を示すブロック図である。端末装置２０Ｃは、測位部２６を有する点で、上述した第１実施形態の端末装置２０と相違する。測位部２６は、端末装置２０Ｃの位置を測定して、位置情報を生成する。測位部２６は、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）方式で測位するための受信回路及びアンテナを備える。この場合、測位部２６は、緯度情報及び経度情報を含む位置情報を生成する。ただし、測位部２６は、基地局測位などのＧＰＳ以外の方法で測位してもよい。

図３１は、データ処理システム１Ｃの機能構成を示すブロック図である。サーバ装置１０Ｃの制御部１１は、プログラム１３１を実行することにより、取得部１１１と、算出部１１２と、出力部１１３とに相当する機能を実現する。複数の端末装置２０Ｃの各々の制御部２１は、プログラム２４１を実行することにより、瞬き検出部２１１と、送信部２１２とに相当する機能を実現する。送信部２１２は、瞬きのタイミングを示す瞬きデータと、その瞬きが検出されたときの端末装置２０Ｃの位置を示す位置情報とを、サーバ装置１０Ｃへ送信する。算出部１１２は、複数のユーザが瞬きをした位置ごとに評価値を算出する。出力部１１３は、位置と対応付けて評価値に応じたデータを出力する。

次に、データ処理システム１Ｃの動作を説明する。図３２は、データ処理システム１Ｃで実行される処理を示すフローチャートである。

測位部２６は、測位を開始する（ステップＳ４１）。瞬き検出部２１１は、撮像部２５に撮像させて、ユーザの瞬きの検出を行う（ステップＳ４２，Ｓ４３）。瞬き検出部２１１は、例えば、車両５０の走行中又はカーナビゲーション装置の利用中において、ユーザの瞬きの検出を行う。

送信部２１２は、測位部２６により生成された位置情報と、ユーザの瞬きのタイミングを示す瞬きデータとを対応付けて、通信部２３を用いて、サーバ装置１０Ｃへ送信する（ステップＳ４４）。この瞬きデータは、例えば、或る領域に端末装置２０Ｃ（つまり、車両５０）が進入した時刻を開始時点とした時間軸上における瞬きのタイミングを示す。位置情報、及び瞬きデータの送信タイミングは、問わない。送信タイミングは、例えば、あらかじめ決められたタイミング（例えば、所定期間ごと）であってもよいし、サーバ装置１０Ｃから要求があったタイミングであってもよい。

サーバ装置１０Ｃにおいて取得部１１１は、複数の端末装置２０Ｃの各々から、位置情報と瞬きデータとを取得する（ステップＳ４５）。算出部１１２は、取得部１１１が取得した瞬きデータに基づいて、指標算出処理を行う（ステップＳ４６）。本実施形態では、算出部１１２は、位置に応じた複数のユーザの瞬きのタイミングの差異に基づいて、評価値を算出する。

図３３は、データ処理システム１Ｃで実行される処理を説明する図である。図３３に示すように、算出部１１２は、例えば、所定の領域Ｙ内にいる複数のユーザの瞬きの検出結果に基づいて、評価値を算出する。これにより、領域Ｙから観察できる領域Ｙ１内に、ユーザの関心の度合いが高い視覚情報が存在するかどうか、また、その関心の度合いを評価することができる。領域Ｙ、Ｙ１の位置及び範囲は、あらかじめ決められてもよい。領域Ｙは、或るユーザの位置を基準として決められてもよい。

出力部１１３は、評価値に応じたデータを生成し、出力する（ステップＳ４７，Ｓ４８）。図３４に示すように、出力部１１３は、例えば、位置情報と評価値とを関連付けたデータＤＯを出力する。この結果により、車両５０の乗車中にユーザの関心を引く視覚情報が存在する位置を把握することができる。例えば、看板Ｂへの関心度の合いが高い場合、その領域Ｙ内の位置を示す位置情報に対応付けられる評価値が高くなる。よって、看板Ｂによる広告効果を定量的に把握することができる。また、評価値が高い位置には、通行の支障となる原因がある可能性があるので、該評価値をその原因の把握にも利用することができる。広告や交通標識を観察できる領域で評価値が低い場合、設置場所の再検討にも利用することもできる。また、出力部１１３は、位置情報と評価値とに応じた情報を、車両５０の乗員（ここでは、ドライバー）であるユーザに提供してもよい。例えば、出力部１１３は、車両５０の位置を示す位置情報と評価値とを付けて、記憶部１３に記憶させる。そして、出力部１１３は、記憶部１３に蓄積された評価値と位置情報との対応関係に基づいて、複数のユーザの関心を引く対象を特定し、その対象に応じた情報を端末装置２０Ｃへ送信する。この場合において、出力部１１３は、その対象に応じた位置に存在する車両５０の端末装置２０Ｃを送信先として特定してもよい。例えば、複数のユーザが同じ店舗（例えば、コンビニエンスストア）に注目していることが判明した場合、出力部１１３は、その店舗に関する情報（例えば、店舗情報及びクーポンで例示されるコンテンツ）を、その店舗の付近に存在する車両５０の端末装置２０Ｃへ送信する。これにより、複数のユーザの関心を引いた対象に関する情報を、他のユーザも共有することができる。

算出部１１２は、複数のユーザの瞬きデータと、当該複数のユーザの視線の方向とに基づいて、評価値の計算に用いるユーザのグループを生成してもよい。制御部１１は、例えば、撮像部２５の撮像データに基づいて、ユーザの視線方向を検出する。位置及び視線の方向が一致又は類似している複数のユーザは、同じ視覚情報を観察している可能性がある。よって、瞬きデータ及び視線方向を併用することで、同じ視覚情報を観察する複数のユーザが同じグループに分類されやすくなる。これにより、図３５に示すように、領域Ｙ１よりも狭い領域Ｙ２内にユーザの関心を引く視覚情報が存在すると推測することもできる。

［変形例］
本発明は上記の実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。以下の変形例は、特に断りのない限り、第２～第４実施形態の構成にも適用することができる。

（１）視覚情報は動画でなくてもよい。視覚情報は、例えば、ニュースの記事などの文字、図形、写真などの，視覚を通じて認識できる情報を含むコンテンツであってもよい。この場合の視覚情報は、例えば、ユーザの操作に応じて視覚を通じて認識できる情報が変化する。この変形例において、算出部１１２は、端末装置２０に表示されている視覚情報と、その視覚情報の表示中に検出された瞬きとに基づいて、算出部１１２は視覚情報に対する評価値を算出する。これにより、コンテンツプロバイダが、評価値に基づいてコンテンツへの関心度合いを把握することができる。

（２）ユーザが、撮像部２５により撮像されていることに抵抗を感じる場合がある。そこで、ユーザにより撮像部２５が視認されるのを妨げる部材が設けられてもよい。図３６は、この変形例に係る撮像部２５を正面から見た模式図である。この例では、撮像部２５に設けられた撮像レンズ２５１を覆うように、マジックミラー６０が設けられている。マジックミラー６０は、ユーザの側から撮像レンズ２５１に透過させるが、撮像レンズ２５１の側からユーザ側には光を透過させない部材である。これにより、ユーザの抵抗感が軽減される。

（３）上述した実施形態では、撮像部２５の撮像データに基づいて瞬きを検出していたが、これ以外の方法が用いられてもよい。図３７に示すように、例えば、端末装置２０は、撮像部２５に代えて、電波センサ（例えば、４ＧＨｚ電波センサーモジュール）、赤外線センサ、ドップラセンサなどの非接触のセンサ２７を用いて、瞬きを検出してもよい。なお、端末装置２０が眼鏡型のウェアラブルコンピュータなどのユーザの顔又は頭部に設置される端末装置の場合、センサ２７は、筋力の動きなどに基づいて瞬きを検出するセンサであってもよい。

（４）上述した実施形態では、端末装置２０が瞬きを検出していたが、サーバ装置１０で実行されてもよい。図３８は、この変形例に係るデータ処理システムの機能構成を示すブロック図である。端末装置２０において送信部２１２は、撮像部２５の撮像データを、通信部２３を用いてサーバ装置１０へ送信する。サーバ装置１０において制御部１１は、取得部１１１と、瞬き検出部１１５と、算出部１１２と、出力部１１３とに相当する機能を実現する。取得部１１１は、端末装置２０から撮像データを取得する。この撮像データは、ユーザの瞬きのタイミングを示すデータである。瞬き検出部１１５は、取得部１１１が取得した撮像データに基づいて、ユーザの瞬きを検出する。

図３９は、データ処理システム１で実行される処理を示すフローチャートである。端末装置２０において送信部２１２は、撮像により得られた撮像データを、通信部２３を用いて、サーバ装置１０へ送信する（ステップＳ１１，Ｓ５１）。サーバ装置１０において取得部１１１は、ユーザの瞬きのタイミングを示すデータとして撮像データを取得する（ステップＳ５２）。瞬き検出部１１５は、取得した撮像データに基づいて、ユーザの瞬きを検出する（ステップＳ５３）。算出部１１２は、瞬き検出部１１５の検出結果に応じた瞬きデータに基づいて、指標算出処理を行う（ステップＳ１５）。出力部１１３は算出された評価値に応じたデータを生成し、出力する（ステップＳ１６，Ｓ１７）。

以上説明したように、取得部１１１が取得するユーザの瞬きのタイミングを示すデータは、上述した瞬きデータであってもよいし、撮像データで例示される瞬きデータを特定するためのデータであってもよい。

（５）上述した実施形態の算出部１１２の評価値の算出方法は、一例に過ぎない。算出部１１２は、例えば、時系列で瞬きの回数を計数し、特定の期間（場面）における瞬きの回数に基づいて、評価値を算出してもよい。この場合、算出部１１２は、複数のユーザの瞬きの回数が多い期間ほど、視覚情報に対する関心の度合いが高いことを示す評価値を算出する。複数のユーザの瞬きの回数が多い期間は、それ以外の期間よりも、瞬きのタイミング差が小さいと考えられるからである。

要するに、本開示に係るデータ処理装置は、図４０に示すように、ユーザの瞬きのタイミングを示すデータを取得する取得部１０１と、複数のユーザの前記瞬きのタイミングの差異に基づいて、前記複数のユーザの瞬きのタイミングの一致度合いに応じた指標を算出する算出部１０２と、前記指標に応じたデータを出力する出力部１０３と、を備えていればよい。

（６）サーバ装置１０，１０Ａ，１０Ｂ，１０Ｃの制御部１１、及び端末装置２０，２０Ａ，２０Ｂ，２０Ｃが実現する機能は、複数のプログラムの組み合わせによって実現され、又は複数のハードウェア資源の連係によって実現され得る。制御部１１又は２１の機能がプログラムを用いて実現される場合、この機能を実現するためのプログラム１３１又は２４１が、各種の磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよい。また、このプログラムは、ネットワークを介して配信されてもよい。また、本発明は、データ処理方法としても把握することができる。

１，１Ａ，１Ｂ，１Ｃ：データ処理システム、１０，１０Ａ，１０Ｂ，１０Ｃ：サーバ装置、１１：制御部、１２：通信部、１３：記憶部、２０，２０Ａ，２０Ｂ，２０Ｃ：端末装置、２１：制御部、２２：ユーザインタフェース、２３：通信部、２４：記憶部、２５：撮像部、２６：測位部、３０：動画再生装置、４０：座席、５０：車両、６０：マジックミラー、１０１：取得部、１０２：算出部、１０３：出力部、１１１：取得部、１１２：算出部、１１３：出力部、１１４：配信部、１１５：瞬き検出部、１３１：プログラム、２１１：瞬き検出部、２１２：送信部、２１３：再生部、２１４：再生部、２４１：プログラム、２５１：撮像レンズ

Claims (25)

1. ユーザの瞬きのタイミングを示すデータを取得する取得部と、
   複数のユーザが所定の視覚情報を観察している期間を特定し、特定した当該期間における前記複数のユーザの前記瞬きのタイミングの差異に基づいて、前記複数のユーザの中から所定の規則に従って分類された一部のユーザを含む複数のグループのユーザの前記所定の視覚情報に対する瞬きのタイミングの同期度合いに応じ、前記グループ毎の前記所定の視覚情報に対する関心の度合いを示す指標を算出する算出部と、
   前記指標に応じたデータを出力する出力部と、
   を備える
   データ処理装置。
2. 前記算出部は、前記差異が所定の時間範囲内に含まれる度合いに応じた前記指標を算出する請求項１に記載のデータ処理装置。
3. 前記時間範囲は３００ミリ秒以下である請求項２に記載のデータ処理装置。
4. 前記複数のユーザは、第１ユーザと第２ユーザとを含み、
   前記算出部は、所定の時間軸上に時刻順に並べた前記第１ユーザ及び前記第２ユーザの瞬きのタイミングの差異と、前記時間軸上で前記第１ユーザ及び前記第２ユーザの少なくとも一方のユーザの瞬きの間隔の順番を変更した場合の前記第１ユーザ及び前記第２ユーザの瞬きのタイミングの差異とに基づいて、前記指標を算出する
   請求項２に記載のデータ処理装置。
5. 前記指標はＺ値である請求項２に記載のデータ処理装置。
6. 前記指標に応じたデータは、関心の度合いを示すデータである、請求項１に記載のデータ処理装置。
7. 前記算出部は、所定の期間を複数の単位期間に区分し、当該単位期間ごとに前記指標を算出する請求項１に記載のデータ処理装置。
8. 前記出力部は、前記複数の単位期間の各々に前記指標を対応付けて出力する請求項７に
   記載のデータ処理装置。
9. 前記視覚情報は動画である請求項１に記載のデータ処理装置。
10. 前記算出部は、前記複数のユーザが瞬きをした位置ごとに、前記差異に基づいて前記指標を算出し、
    前記出力部は、前記位置と対応付けて前記指標に応じたデータを出力する請求項９に記載のデータ処理装置。
11. ユーザの瞬きを検出する瞬き検出部と、
    請求項１に記載のデータ処理装置と
    を有する
    データ処理システム。
12. 複数の端末装置と、
    サーバ装置と
    を備え、
    前記複数の端末装置の各々は、
    前記瞬き検出部と、
    自端末装置のユーザの瞬きのタイミングを示すデータを、前記サーバ装置へ送信する送信部と、
    を有し、
    前記サーバ装置は、
    前記データ処理装置を有する
    請求項１１に記載のデータ処理システム。
13. 前記複数の端末装置の各々は、
    自端末装置のユーザの目を撮像して、撮像データを生成する撮像部を有し、
    前記送信部は、前記撮像データを前記サーバ装置へ送信する
    請求項１２に記載のデータ処理システム。
14. ユーザの瞬きのタイミングを示すデータを取得し、
    複数のユーザが所定の視覚情報を観察している期間を特定し、特定した当該期間における前記複数のユーザの前記瞬きのタイミングの差異に基づいて、前記複数のユーザの中から所定の規則に従って分類された一部のユーザを含む複数のグループのユーザの前記所定の視覚情報に対する瞬きのタイミングの同期度合いに応じ、前記グループ毎の前記所定の視覚情報に対する関心の度合いを示す指標を算出するデータ処理方法。
15. コンピュータに、
    ユーザの瞬きのタイミングを示すデータを取得し、
    複数のユーザが所定の視覚情報を観察している期間を特定し、特定した当該期間における前記複数のユーザの前記瞬きのタイミングの差異に基づいて、前記複数のユーザの中から所定の規則に従って分類された一部のユーザを含む複数のグループのユーザの前記所定の視覚情報に対する瞬きのタイミングの同期度合いに応じ、前記グループ毎の前記所定の視覚情報に対する関心の度合いを示す指標を算出する処理を実行させるためのプログラム。
16. ユーザの瞬きのタイミングを示すデータを取得する取得部と、
    複数のユーザが所定の視覚情報を観察している期間を特定し、特定した当該期間における前記複数のユーザの前記瞬きのタイミングの差異に基づいて、前記複数のユーザの前記所定の視覚情報に対する瞬きのタイミングの同期度合いに応じ、前記複数のユーザからなるグループとしての前記所定の視覚情報に対する関心の度合いを示す指標を算出する算出部と、
    前記指標に応じたデータを出力する出力部と、
    を備える
    データ処理装置。
17. 前記算出部は、前記差異が所定の時間範囲内に含まれる度合いに応じた前記指標を算出する請求項１６に記載のデータ処理装置。
18. 前記時間範囲は３００ミリ秒以下である請求項１７に記載のデータ処理装置。
19. 前記複数のユーザは、第１ユーザと第２ユーザとを含み、
    前記算出部は、所定の時間軸上に時刻順に並べた前記第１ユーザ及び前記第２ユーザの瞬きのタイミングの差異と、前記時間軸上で前記第１ユーザ及び前記第２ユーザの少なくとも一方のユーザの瞬きの間隔の順番を変更した場合の前記第１ユーザ及び前記第２ユーザの瞬きのタイミングの差異とに基づいて、前記指標を算出する
    請求項１７に記載のデータ処理装置。
20. 前記視覚情報は動画である請求項１６に記載のデータ処理装置。
21. 前記算出部は、前記複数のユーザが瞬きをした位置ごとに、前記差異に基づいて前記指標を算出し、
    前記出力部は、前記位置と対応付けて前記指標に応じたデータを出力する請求項２０に記載のデータ処理装置。
22. ユーザの瞬きを検出する瞬き検出部と、
    請求項１６に記載のデータ処理装置と
    を有する
    データ処理システム。
23. 複数の端末装置と、
    サーバ装置と
    を備え、
    前記複数の端末装置の各々は、
    前記瞬き検出部と、
    自端末装置のユーザの瞬きのタイミングを示すデータを、前記サーバ装置へ送信する送信部と、
    を有し、
    前記サーバ装置は、
    前記データ処理装置を有する
    請求項２２に記載のデータ処理システム。
24. ユーザの瞬きのタイミングを示すデータを取得し、
    複数のユーザが所定の視覚情報を観察している期間を特定し、特定した当該期間における前記複数のユーザの前記瞬きのタイミングの差異に基づいて、前記複数のユーザの前記所定の視覚情報に対する瞬きのタイミングの同期度合いに応じ、前記複数のユーザからなるグループとしての前記所定の視覚情報に対する関心の度合いを示す指標を算出するデータ処理方法。
25. コンピュータに、
    ユーザの瞬きのタイミングを示すデータを取得し、
    複数のユーザが所定の視覚情報を観察している期間を特定し、特定した当該期間における前記複数のユーザの前記瞬きのタイミングの差異に基づいて、前記複数のユーザの前記所定の視覚情報に対する瞬きのタイミングの同期度合いに応じ、前記複数のユーザからなるグループとしての前記所定の視覚情報に対する関心の度合いを示す指標を算出する処理を実行させるためのプログラム。

Images