JP4874332B2 - コンテンツに対する利用者応答を評価する制御装置 - Google Patents

Description

本発明は、コンテンツに対する被験者応答の評価システムに関し、さらに詳しく言えば、コンテンツを観察して被験者が応答する状況を、被験者の生理反応と関連づけて測定し、その測定結果に基づいて評価する技術に関するものである。

〔関連出願のクロスリファレンス〕
本出願は、日本国特許出願２００６−１６４０１９号（２００６年５月１８日出願）および日本国特許出願２００６−２５４８８９号（２００６年９月２０日出願）の優先権を要求し、これらを参照することにより当該出願を本明細書に合体させるものである。

眼球運動に関する情報を取得し提示コンテンツの評価を行うシステムは、特許文献１などに見られるように、一方的に提示された映像コンテンツによる被験者の受動的な反応を測定し映像コンテンツを評価するものであり、被験者の応答を評価するものではなかった。

また、アンケート調査やテスト問題、ゲームなどの対話型システムでは、マウスなどのポインティングデバイスやキーボードなどを用いた被験者の応答を入力デバイスへのデータ入力として取得するだけであった。

被験者が、提示されるコンテンツの内容に関心を持たずに質問に安易に回答した場合、そのような回答を選別する手段がなく、全体の結果の信頼性を下げてしまう。

従来、これらの安易な回答と信用できる回答とを選別すること、即ち有効な回答を抽出することは非常に困難であり、たとえ可能であっても心理学などの専門家による精細な評価が必要であった。

また、生理反応を測定することで有効な回答を抽出する場合であっても、被験者にセンサやマーカなどを装着するようにしているため、その場の雰囲気により被験者に緊張感などの特定の意識を抱かせることがあり、評価の信頼性が損われたり回答を拒否されたりするおそれがある。

つまり、コンテンツを提示し被験者の応答の有効性を評価するシステムに適応することは出来なかった。

特開２００４−２８２４７１号公報

したがって、本発明の課題は、コンテンツに対する被験者の応答の結果を評価する際に、結果の有効性と操作性を向上させることにある。

本発明は、コンテンツに対して被験者の応答を測定する際に、応答データと連動して被験者の生理反応（例えば眼球運動）を測定、解析するものである。これにより、被験者の応答結果の有効性を判定することができる。特に、アンケート収集の評価に好適である。

例えば、被験者に自然な姿勢でのコンテンツの視聴を求め、被験者の応答を測定するのと同時に、集中の度合いを瞬目発生頻度の変化から、情動の変化を自律神経系反応である瞳孔の変化から、それぞれ判定する。

その根拠として、まず、人間の興味を反映する指標では、生理心理学の分野において、瞬目の変化が知られている。すなわち、興味ある対象を視聴している際には瞬目回数は減少し、その前後に増加する。

次に、情動の変化は、自律神経系との深い関わりがあり、簡易に測定できる指標としては、瞳孔反応が知られている。さらに、ユーザーインタフェースの操作性の客観評価では、人間工学の分野において、視線運動に基づく視点の軌跡および視点の滞留時間を手がかりに分析される場合が多い。

本発明による制御装置は、上記の知見に基づくもので、コンテンツを観察している生理反応を測定して、そのデータに基づいてコンテンツに対する被験者の応答を評価するにあたって、すなわち、コンテンツを観察している被験者の応答を評価するにあたって、前記被験者が前記コンテンツを見ているときに撮影された前記被験者の眼球画像、および、前記被験者が所定の操作手段を用いて操作しているときのカーソル位置を取り込む情報取込部と、前記眼球画像に基づいて、前記被験者の視点位置を算出すると共に、前記眼球画像に基づいて、瞳孔径を求め、前記瞳孔径に基づいて、前記被験者による前記コンテンツに対する第１の興味関心度を算出し、前記カーソル位置と前記視点位置との間の距離を算出し、前記距離が所定の閾値よりも短く、かつ前記距離が時間変化と共に短くなっている場合に、前記第１の興味関心度を第２の興味関心度とする処理部と、前記コンテンツと共に、前記視点位置、第１の興味関心度および第２の興味関心度を画面表示する表示処理部とを備えたことを特徴とする。

本発明によれば、まず、被験者に測定用センサやマーカを装着する必要がなく、測定に伴う被験者の負担が軽減された状態の下で、自然な視聴での応答データを取得できることが期待される。次に、測定、解析および表示までの各機能が１台の制御装置に集約されているため、特に高度な専門知識を必要とすることなく、コンテンツに対する被験者の応答を評価することができる。

また、被験者の瞬目の発生頻度を測定、解析した場合には、コンテンツに対して興味を持たれたか、あまり興味をもたれなかったかなどを判断し、被験者の応答が正当なものかどうかを評価することができる。

本発明において、コンテンツは、映像データ、音響データ、ウェブページデータ、コンピュータゲームデータまたはコンピュータプログラムの出力するデータから成り、かつ、文字列、図、記号、絵、写真、動画および音のうちの少なくとも一つの、被験者に応答させるための喚起情報を含むことを特徴とする。これにより、被験者は、容易に応答することができる。

また、本発明において、前記処理部は、眼球画像に基づいて、前記瞳孔径の代わりに瞬目発生頻度を求め、前記瞬目発生頻度に基づいて、前記第１の興味関心度を算出することを特徴とする。また、本発明による制御装置は、コンテンツを観察している被験者の応答を評価するために用いる制御装置であって、前記コンテンツには、前記被験者により選択操作が行われる選択肢が含まれ、前記被験者が前記コンテンツを見ているときに撮影された前記被験者の眼球画像、および前記選択肢を選択するための確定操作を取り込む情報取込部と、前記眼球画像に基づいて、前記被験者の視点位置を算出すると共に、前記眼球画像に基づいて、瞳孔径を求め、前記瞳孔径に基づいて、前記被験者による前記コンテンツに対する第１の興味関心度を算出する処理部と、前記コンテンツと共に、前記視点位置および第１の興味関心度を画面表示し、さらに、前記視点位置に基づいて、前記選択肢を示す領域内に前記被験者の視点があったときの前記第１の興味関心度を積算し、前記積算値を注目滞留度として前記選択肢毎に求め、前記確定操作によって選択肢が選択されたときの前記選択肢の確信度を、前記選択肢についての前記注目滞留度が高いときは高くなり、前記注目滞留度が低いときは低くなるように、前記選択肢毎に算出し、前記選択肢毎の確信度を複数の被験者のそれぞれに対して算出し、前記選択肢毎の確信度と前記確信度が算出された被験者の数との関係を画面表示する表示処理部とを備えたことを特徴とする。

本発明によれば、コンテンツに対する被験者の応答の結果を評価する際に、結果の有効性および操作性を向上させることができる。

次に、図面を参照しながら、本発明を実施するための最良の形態について説明するが、本発明はこれに限定されるものではない。

図１に示すように、このコンテンツに対する利用者応答を評価するシステムは、その基本的な構成要素として、コンテンツ提示用のディスプレイ１００と、被験者６００の眼球を撮像するためのカメラ２００と、制御手段３００と、提示コンテンツ用データベース３１０と、取得データ用データベース３２０と、表示手段としてのモニタ画面４００と、被験者６００が提示コンテンツに対して応答するための入力手段５００とを備えている。

コンテンツ提示用のディスプレイ１００は、通常のブラウン管受像器のほかにプロジェクタのスクリーン画面それに液晶表示パネルなどを使用できる。カメラ２００は、赤外線ランプ２１０を備えた赤外線カメラであることが好ましく、この例では、赤外線カメラとして説明する。

一例として、赤外線カメラ２００は、被験者６００から５０〜１００ｃｍほど離れた位置に、被験者６００の眼球を撮像するようにスタンドなどを用いてセットされる。なお、被験者６００の頭部の位置を固定するために、顎台２２０を用意することもできる。また、顔と眼球の位置を自動追尾し眼球運動を計測することも可能である。

これとは別に、ヘッドマウント型装置を用いて赤外線カメラ２００を被験者６００の頭部に装着させることも可能である。この場合、視聴する対象を、予め撮影した映像とするのではなく、被験者６００が視認可能な一般の情景とすることも可能である。その際には、赤外線カメラ２００と逆向きに装着させるカメラにより被験者６００の視野角内にある情景が同時に撮影され、その撮影された映像が、提示コンテンツと同等のものとして後述する処理に用いられる。

制御手段３００は、提示コンテンツ用データベース３１０からコンテンツを読み出して、ディスプレイ１００に対して提示コンテンツを出力し，同時に、被験者応答入力手段５００からの被験者応答情報と、赤外線カメラ２００からの眼球画像である眼球運動情報の取り込みとを同期して行うと共に、これら取得したデータを取得データ用データベース３２０に同期情報と共に蓄積する。そして、取得したデータに基づいてデータ解析およびモニタ表示などを行う。この制御手段３００は、パーソナルコンピュータ（パソコン）クラスのものであってよい。入力手段５００は、ボタン、キーボード、マウス、タッチパネル、リモコン、ゲーム機器に付属のコントローラなどのどれかであってよい。しかし、これらのうちのいずれかに限定されるものではない。

なお、提示コンテンツ用データベース３１０と取得データ用データベース３２０は、インターネットやＬＡＮなどのネットワークで接続された、制御手段３００とは異なる場所に設置される装置であってよい。

すなわち、例えば異なる場所にホストコンピュータを設置して、そこに上記各フェーズで使用するファイルを持たせ、測定する際に、制御手段３００を通信回線を介してホストコンピュータにつなげて必要なファイルなどをダウンロードするようにしてもよく、このような態様も本発明に含まれる。

また、本発明は、大型のディスプレイを備えた例えばデスクトップ型のコンピュータばかりでなく、カメラを備えた携帯電話機をはじめとする携帯情報端末にも適用可能である。一例として、上記の各フェーズ機能を備えた制御手段としてのパソコンとカメラ付き携帯情報端末とをインターネット回線を介して接続し、パソコン側から提示コンテンツを送信して、携帯情報端末側からそれに反応する眼球画像を受信するようにしてもよい。

次に、被験者の回答データの有効性を確認する手法について説明する。一例として、説明文である質問とそれに対する回答の選択肢とを画面に表示したアンケートにより、被験者からマウス応答を得るための提示コンテンツを用いる。

図２および図３が、図１に示した利用者応答評価システムにより生成された画面例である。生理反応としての眼球運動の解析結果から得る視点の軌跡を折れ線１０１０、１１１０に、選択結果をマウスクリックした箇所１０２０，１１２０に示している。この結果からわかるとおり、図２においては問題文を読みかつ二つの選択肢を確認したうえで選択している。一方で図３は問題文も読まず、単にひとつの選択肢だけを見ただけで選択している。この場合、図３の示す例では提示コンテンツに注目せずに反応していることが明確であるため、有効なデータでないとしてアンケート調査のサンプルから排除することが可能である。

このときの有効であるかどうかの判定としては、問題文の上を視線が忠実に移動したかどうかを、視線運動による視点の軌跡と提示コンテンツの文字列との一致度を測定することで判定する。

また、同時に瞳孔径の大小変動は、提示コンテンツに対して興味をもっている（または注目している）かどうかを示す指標として利用可能であることが知られており、この指標を用いてアンケートに対しての注目度を判断する。

眼球運動に基づいて得られる、瞬目発生頻度データ、瞳孔径データ、視線運動データに基づく視点の移動速度、および視線運動データから得られる視点の軌跡と予め設定された見るべき視点の軌跡との距離をそれぞれ時間変動値とし、それぞれ、ａ(ｔ)，ｂ（ｔ），ｃ（ｔ），ｄ（ｔ）とする（ｄ（ｔ）は軌道からの外れた距離の逆数を示す）。なお、瞳孔径データの代わりに瞳孔面積データを用いるようにしてもよい。そうすると、提示コンテンツに対する注目度および集中度などを示す興味・関心度の時間変動ｆ（ｔ）は、
ｆ（ｔ）＝ｇ（ａ(ｔ)、ｂ（ｔ），ｃ（ｔ），ｄ（ｔ））
として定義し、この数値の大小により、ある時刻ｔでの被験者の提示コンテンツに対する興味・関心度を測定できる。

ここで、ｐ，ｑ，ｒ，ｓを定数として、ｗ，ｘ，ｙ，ｚを変数とする関数ｇ(ｗ，ｘ，ｙ，ｚ)を線形結合により、
ｇ(ｗ，ｘ，ｙ，ｚ)＝ｐ・ｗ＋ｑ・ｘ＋ｒ・ｙ＋ｓ・ｚ
と定義して単純化することもできるし、ｗ，ｘ，ｙ，ｚの任意の関数とすることもできる（条件判定つき多項式などの非線形関数でもよい）。

また、ｆ（ｔ）をある特定時間の間で積分し、その積分値を単位時間当たりに正規化した数値として用いることで、その時間の区間での集中度とすることも可能である。例えば、アンケートの設問毎に応答時の集中度を算出し、あらかじめ設定した閾値以上であるかどうかを比較して被験者の応答が有効であるかどうかを判定できる。

また、設問に対する集中度が低いと判定した場合には、興味・関心度を高めるようにあらかじめプログラムで組み込んでおき、制御手段３００が提示コンテンツを変化させるよう制御することも可能である。

なお、被験者６００の眼球を撮像するための撮像手段は、例えば瞬目発生頻度のみを測定するのであれば、通常のカメラを使用してもよいが、瞳孔径や視線運動を測定するには、赤外線カメラが好ましく採用される。赤外線カメラによれば、虹彩に写り込んだ外部映像を排除した高コントラスト画像が得られるため、画像処理およびデータ解析を安定かつ高速に実行することができる。

また、制御手段３００は、上記生理反応データをパラメータとする多項式または判定式を用いて測定時の被験者の興味・関心度を算出し、被験者が提示コンテンツに対して継続して集中しているかどうかを判定して、被験者応答データの有効性を確認する機能を有している。そして、その有効性に基づいて提示コンテンツのシナリオを変更させることが可能である。

また、制御手段３００は、提示コンテンツと、それに対応する被験者応答データおよび生理反応データとを関連付けて取得するが、眼球運動の前後関係を知るうえで、提示コンテンツないし眼球運動データを時系列的に表示するようにし、しかも所定のコンテンツの長さにわたってスクロール可能であることが好ましい。

また、データの解析により回答結果に高い信頼性を持たせるため、制御手段３００は、眼球運動データから被験者の注視点位置を算出し、その注視点を提示コンテンツにスーパーインポーズして表示させることもできる。

〔制御手段〕
次に、図１に示した制御手段３００の詳細について、より具体的に説明する。図４は、制御手段３００の構成を示す図である。この制御手段３００は、コンテンツ読出表示手段３３０、情報取込手段３４０、データ処理手段３５０、および表示処理手段３６０を備えている。コンテンツ読出表示手段３３０は、提示コンテンツ用データベース３１０からコンテンツを読み出し、被験者６００にコンテンツを提示するための提示用ディスプレイ１００に出力して表示する。また、コンテンツ読出表示手段３３０は、読み出したコンテンツを表示処理手段３６０に出力すると共に、コンテンツにおけるフレームの番号などの時間情報を情報取込手段３４０に出力する。この時間情報は、情報取込手段３４０において、被験者応答情報ａおよび眼球運動情報ｂとの間の同期情報を生成するために用いられ
る。

情報取込手段３４０は、マウスカーソル位置（座標）およびマウスクリック位置（座標）を含む被験者応答情報ａを、被験者６００のマウス操作およびクリック操作に応じてそれぞれ入力すると共に、カメラ２００により撮影された眼球画像である眼球運動情報ｂを入力する。また、情報取込手段３４０は、コンテンツの時間情報をコンテンツ読出表示手段３３０から入力し、被験者応答情報および眼球運動情報とコンテンツとの間の対応付けができるように、入力したコンテンツの時間情報に基づいて同期情報を生成する。そして、情報取込手段３４０は、被験者応答情報ａ（マウスカーソル位置およびマウスクリック位置）、眼球運動情報ｂおよび同期情報を取得データ用データベース３２０に蓄積すると共に、データ処理手段３５０に出力する。なお、ここでは、被験者応答情報ａを、マウスカーソル位置およびマウスクリック位置としているが、これに限定されるものではない。例えば、図１に示した入力手段５００がマウスではなく、ボタン、キーボード、タッチパネル、リモコン、ゲーム機器付属コントローラなどの場合には、被験者６００の操作によりこれらの機器から取り込むことが可能な位置情報（マウスカーソル位置に相当する情報およびマウスクリック位置に相当する情報）であってもよい。

データ処理手段３５０は、被験者応答情報ａ（マウスカーソル位置およびマウスクリック位置）、眼球運動情報ｂおよび同期情報を情報取込手段３４０から入力し、または、取得データ用データベース３２０から読み出し、コンテンツと共にモニタ画面４００に表示するためのデータを生成し、生成したデータを表示処理手段３６０に出力する。データ処理手段３５０は、視点・瞳孔・瞬目処理段３５１、興味・関心度算出段３５２およびＩＤＡＳポイント算出段３５３を備えている。

視点・瞳孔・瞬目処理段３５１は、情報取込手段３４０または取得データ用データベース３２０からの眼球運動情報ｂおよび同期情報に基づいて、コンテンツに対応したその時間における視線運動データ、瞳孔径データおよび瞬目発生頻度データを算出する。具体的には、視点・瞳孔・瞬目処理段３５１は、眼球運動情報ｂである眼球画像から瞳孔画像を抽出し、瞳孔の中心位置および予め設定された画面上の位置情報などに基づいて視点位置を算出する。なお、視点位置の算出手法は公知技術であるので、ここでは詳細な説明を省略する。詳細については、本出願時以前に公開された特開２００４−２８２４７１号公報を参照されたい。この場合、時間変化における視点位置を算出することにより、視点の移動速度や視点の軌跡などの視線運動データを求めることもできる。また、抽出した瞳孔画像に基づいて、瞳孔径を算出する。さらに、抽出した瞳孔画像の時間的変化に基づいて、瞬目発生頻度を算出する。この場合、瞬目回数を求めることもできる。

興味・関心度算出段３５２は、視点・瞳孔・瞬目処理段３５１により算出された瞳孔径を用いて、興味・関心度を算出する。具体的には、Ｐ（ｔ）を時刻ｔにおける瞳孔径、Ｉ（ｔ）を時刻ｔにおける興味・関心度とすると、興味・関心度算出段３５２は、まず、瞳孔径Ｐ（ｔ）に対して、高周波成分および測定ノイズを除去するために、移動平均などの演算を施すことにより、低域フィルタ処理を行う。

そして、興味・関心度算出段３５２は、以下の式により、興味・関心度Ｉ（ｔ）を算出する。
Ｐ（ｔ）＞ｔｈのとき、

それ以外のとき、

ここで、所定時間内における測定データ系列中の瞳孔径Ｐ（ｔ）の最大値をＰｍａｘ、最小値をＰｍｉｎ、閾値をｔｈとする。

閾値ｔｈは、例えば以下の式のように、最大値Ｐｍａｘと最小値Ｐｍｉｎとの間の中間値が用いられる。

なお、興味・関心度算出段３５２は、視点・瞳孔・瞬目処理段３５１により算出された瞬目発生頻度が、予め設定された閾値よりも大きいか否かを判断し、連続的に閾値よりも大きくなっている連続的瞬目発生区間については興味・関心度Ｉ（ｔ）を強制的に０にするようにしてもよい。

ＩＤＡＳポイント算出段３５３は、Ｉ（Ｉｎｔｅｒｅｓｔ：興味関心）ポイント、Ｄ（Ｄｅｓｉｒｅ：願望要求）ポイント、Ａ（Ａｃｔｉｏｎ：行動結果）ポイントおよびＳ（Ｓｔａｙ：「滞留時間」）を算出する。

具体的には、ＩＤＡＳポイント算出段３５３は、Ｉポイントの算出に際し、興味・関心度算出段３５２により算出された興味・関心度Ｉ（ｔ）の視点を中心とした領域において、以下の条件を満足する場合の視点位置および興味・関心度Ｉ（ｔ）をＩポイントとして生成する。

すなわち、視点・瞳孔・瞬目処理段３５１により算出された視点位置に対し、所定の時間Δｔにおける視点位置の移動量Δｄ（視点位置の移動速度）が、以下の式のように、予め設定された閾値ｔｈｖよりも小さいか否かを判断する。

また、興味・関心度Ｉ（ｔ）が、以下の式のように、予め設定された閾値ｔｈｉ以上であるか否かを判断する。

つまり、ＩＤＡＳポイント算出段３５３は、Ｉポイントの算出に際し、視点位置の移動速度が、予め設定された閾値ｔｈｖよりも小さく、かつ、興味・関心度Ｉ（ｔ）が、予め設定された閾値ｔｈｉ以上である場合に、Ｉポイントとして視点位置およびそのときの興味・関心度Ｉ（ｔ）を生成する。

ここで、Ｉポイントは、興味・関心があったときに瞳孔が散大する原理を活用して抽出される、被計測物であるコンテンツに対する瞳孔の散大ポイントであり、視覚的効果に対する反応を分析するために用いられる。

また、ＩＤＡＳポイント算出段３５３は、Ｄポイントの算出に際し、前述のように生成したＩポイントに対して、以下の条件を満足する場合の視点位置および興味・関心度Ｉ（ｔ）をＤポイントとして生成する。

すなわち、第１の条件は、Ｉポイントであることである。そして、第２の条件は、Ｉポイントにおける視点位置

と、マウスカーソル位置

との間の距離が、以下の式のように、予め設定された閾値ｔｈＣＩよりも短いこと、

および、その距離が、以下の式のように、時間変化と共に短くなっていることである。

すなわち、ＩＤＡＳポイント算出段３５３は、Ｄポイントの算出に際し、Ｉポイントにおいて、その視点位置とマウスカーソル位置との間の距離が閾値ｔｈＣＩよりも短く、かつ、その距離が時間的に短くなっている場合に、Ｄポイントとして視点位置およびそのときの興味・関心度Ｉ（ｔ）を生成する。

ここで、Ｄポイントは、Ｉポイントを追いかけるようにマウスカーソル位置が一致したポイントであり、マウスクリックアクションの前段階として捉えて抽出され、被験者６００がマウスをクリックするかしないかの「迷い」やＩポイントから一段階進んだ「行動誘導」のポイントを分析するために用いられる。

また、ＩＤＡＳポイント算出段３５３は、入力したマウスカーソル位置である、Ｉポイントを含むリンクボタンなどの操作対象に対して、Ａポイントとして被験者６００が発火した位置およびそのときの興味・関心度Ｉ（ｔ）を生成する。

ここで、Ａポイントは、被験者６００の行動結果である「クリック」したポイントが抽出され、コンテンツ制作・運営の目的どおりに被験者を誘導できているか否かを分析するために用いる。

また、ＩＤＡＳポイント算出段３５３は、前述のように生成したＩポイント、Ｄポイントについて、視点位置が滞留した時間Ｓを算出する。また、前述のように生成したＡポイントについて、マウスクリックされたマウスカーソル位置（マウスクリック位置）が滞留した時間Ｓを算出する。具体的には、視点位置およびマウスカーソル位置が、予め設定された位置範囲内にあるか否かを判断し、その位置範囲内にある場合の滞留時間Ｓを算出する。

ここで、滞留時間Ｓは、Ｉポイント、ＤポイントおよびＡポイントに付加されるデータであり、例えば、テキストを読むという「行動」や「迷い」など、時間軸における分析のために用いられる。

このように、データ処理手段３５０は、視点・瞳孔・瞬目処理段３５１により算出された視点位置、瞳孔径および瞬目発生頻度、興味・関心度算出段３５２により算出された興味・関心度、並びに、ＩＤＡＳポイント算出段３５３により算出されたＩポイント（視点位置，興味・関心度）、Ｄポイント（視点位置，興味・関心度）、Ａポイント（マウスクリック位置，興味・関心度）およびＳ（視点位置，マウスクリック位置，滞留時間）を表示処理手段３６０に出力すると共に、入力した被験者応答情報ａ（マウスカーソル位置およびマウスクリック位置）および同期情報を表示処理手段３６０に出力する。

表示処理手段３６０は、コンテンツをコンテンツ読出表示手段３３０から入力し、マウスカーソル位置、マウスクリック位置、同期情報、視点位置、瞳孔径、瞬目発生頻度、興味・関心度、Ｉポイント（視点位置，興味・関心度）、Ｄポイント（視点位置，興味・関心度）、Ａポイント（マウスクリック位置，興味・関心度）およびＳ（視点位置，マウスクリック位置，滞留時間）をデータ処理手段３５０から入力する。そして、同期情報に基づいてコンテンツとマウスカーソル位置などとを対応付け、画面に表示するための情報を生成し、画面情報としてモニタ画面４００に出力して表示する。表示処理手段３６０は、コンテンツ評価段３６１、ＷＥＢ評価段３６２、アンケート評価段３６３、教育・研修用処理段３６４、および投稿コンテンツ評価段３６５を備えている。

図５および図６は、コンテンツ評価段３６１により生成された画面例を示す図である。これらの画面は、コンテンツに対する感性を計測するためのものであり、これらの画面により、コンテンツ提供者の意図と受験者６００である視聴者の興味や関心とが狙いどおりの効果を発揮しているか否か、また、注目点がターゲットを適確に捉えているか否かと解析・分析することができる。

図５において、コンテンツ評価段３６１は、コンテンツ画像を領域５００１に表示し、そのときのＩポイントを円の形態にて表示する。また、Ｉポイントの興味・関心度をパワーゲージ５００３−１，２に表示し、興味・関心度の時間的変化をグラフ５００４−１，２およびグラフ５００５−１，２に表示する。領域５００１において、視点位置に、興味・関心度の大きさに比例した径（直径または半径）の円が表示される。円５００２−１は第１の被験者の興味・関心度を示し、円５００２−２は第２の被験者の興味・関心度を示す。これらの円は、コンテンツ画像の時間的変化（動画像として領域５００１に表示される画像が変わること）に伴う視点の軌跡どおりに、そのときの興味・関心度の値が径に反映されながら移動する。パワーゲージ５００３−１は第１の被験者の興味・関心度、パワーゲージ５００３−２は第２の被験者の興味・関心度を示す。グラフ５００４−１，２は、それぞれ第１，２の被験者の興味・関心度の推移が時系列の折線として表示される。グラフが表示されている領域内のタイムバーは、領域５００１に表示されているコンテンツ画像に連動しており、そのときの時間位置および興味・関心度を示している。グラフ５００５−１，２は、それぞれグラフ５００４−１，２内のカーソル付近（現在点付近）の興味・関心度について横軸の時間を拡大したものである。また、グラフ５００４−１，２およびグラフ５００５−１，２が表示されている領域内のタイムバーを移動させることにより、その時間位置におけるコンテンツ画像およびＩポイントが領域５００１に表示される。

図６において、コンテンツ評価段３６１は、コンテンツのサムネイルを時系列に領域６００１に表示し、コンテンツに付加された音声周波数のデータを、右（Ｒ）の音声周波数の波形グラフ６００２−１および左（Ｌ）の音声周波数の波形グラフ６００２−２として表示する。また、コンテンツ評価段３６１は、それぞれの被験者の興味・関心度の時間的変化をグラフ６００３〜６００６として表示する。この場合、横軸は時間を示し、コンテンツのサムネイル、音声周波数の波形グラフ６００２−１，２、およびグラフ６００３〜６００６は同じ時間軸上に対応して表示される。

図７〜図１０は、ＷＥＢ評価段３６２により生成された画面例を示す図である。これらの画面は、ＷＥＢ（ウェブページ）画面に対する感性を計測するためのものであり、これらの画面により、被験者６００であるユーザがＷＥＢ画面内で多く見ていた場所、注目していた場所、マウスカーソルの動きなどを明らかにすることができる。

図７において、ＷＥＢ評価段３６２は、コンテンツであるＷＥＢ画面を表示し、その画面における視点の軌跡７００１を表示すると共に、Ｉポイントを円の形態にて表示する。Ｉポイントは、その視点位置に、興味・関心度の大きさに比例した径の円として表示される。図７から、ＷＥＢサイトのページ毎の視点の軌跡やＩポイントの推移および興味・関心度を把握することができ、ユーザの興味関心の推移を分析することができる。

なお、ＷＥＢ評価段３６２は、視点の軌跡７００１を表示するに際し、その視点移動の速度に応じた形態で表示するようにしてもよい。一般に、人が画面上の対象物を認識する際に、視点の軌跡は、滞留→速い移動→滞留を繰り返すこととなる。この視点の軌跡から以下の傾向を導き出すことができる。
（１）興味ある箇所では視点の滞留時間が長くなる。
（２）全体的に認識しようとする場合、速い視点移動となる。視点の軌跡は直線になる。
（３）じっくりと見ようとする場合や読もうとする場合、視点移動は遅くなる、または滞留する。視点の軌跡は曲線になる。

ＷＥＢ評価段３６２は、前述の（１）〜（３）を区別するための処理を行い画面に表示する。具体的には、視点の軌跡７００１から一定のサンプリングにおける標本を選定し、隣り合う標本点間の距離を算出し、その距離が予め設定された閾値よりも大きい場合の標本間を点線で表示し、その距離が予め設定された閾値以下の場合の標本間を実線で表示する。これにより、（２）および（３）を区別することができる。この場合、点線および実線の代わりに線の太さで区別するようにしてもよい。また、（１）についてはＩポイントを表示する。なお、このような（１）〜（３）を区別するための表示処理については、ＷＥＢ評価段３６２による処理だけでなく、視点の軌跡を表示する処理（図１１、図１２など）についても適用がある。また、後述する、マウスカーソル位置の軌跡を視点の軌跡とみなして表示する処理（図１９など）についても適用がある。

図８において、ＷＥＢ評価段３６２は、コンテンツであるＷＥＢ画面を表示し、その画面における視点の軌跡８００１を表示すると共に、Ｉポイント、ＤポイントおよびＡポイントを円の形態にて表示する。Ｉポイント、ＤポイントおよびＡポイントは、その視点位置に、興味・関心度の大きさに比例した径の円として表示される。図８から、ＷＥＢサイトのページ毎に、Ｉ（興味関心）→Ｄ（願望欲求）→Ａ（行動結果）というユーザの感情の推移を分析することができる。

図９において、ＷＥＢ評価段３６２は、コンテンツであるＷＥＢ画面を表示し、その画面の領域ａ〜ｈにおける滞留時間を表示する。この場合、ＷＥＢ評価段３６２は、領域ａ〜ｈ毎に、入力した時系列の視点位置に基づいて、その視点位置の滞留時間を算出する。領域ａ〜ｈは、予め設定されており、滞留時間は、視点位置がそれぞれの領域ａ〜ｈに滞留した積算時間を示す。

図１０において、ＷＥＢ評価段３６２は、アンケート質問および回答形式のＷＥＢ画面に対する被験者６００であるユーザの応答から、データを集計して表示する。具体的には、回答をマウスクリックで選択する場合に、視点位置がどちらの回答の側に滞留していたかを示す回答度合いを滞留時間として積算し、予め設定された重み係数を用いて補正して表示する。図１０の左側には、複数の被験者６００の回答に対する度合いの集計結果が表示されている。また、図１０の右側には、複数の被験者６００の回答に対する度合いの頻度がグラフとして表示されている。図１０から、アンケート質問に対するアクションである回答の有効性を、ユーザが選択する際の感性を含めて、一層正確に分析することができる。

図１１、図１２、図２３ないし図２７は、アンケート評価段３６３により生成された画面例を示す図である。これらの画面は、アンケート質問および回答形式の画面に対する感性を計測するためのものである。

図１１において、アンケート評価段３６３は、コンテンツの画面を表示し、その画面における視点の軌跡１１００１を表示する。図１１に示した画面は、質問に関する商品が表示され、アンケート質問および回答形式で構成されている。図１１から、商品を見ながら回答しているか否か、視点の軌跡から有効な回答か否かを判断することができ、商品を見ない回答および有効でない回答を抽出して回答集計から除外することにより、回答集計結果の有効性を向上させることができる。

図１２において、アンケート評価段３６３は、コンテンツの画面を表示し、その画面における視点の軌跡を表示すると共に、Ｉポイントを円の形態にて表示する。図１２に示した画面は、図１１と同様に、商品が表示され、アンケート質問および回答形式で構成されている。図１２から、例えば、回答が「はい」「いいえ」「どちらでもない」の３択である場合に、視点の軌跡およびＩポイントの円の大きさにより、その回答が「自信をもった回答」であるか「迷い回答」であるかを判断することができる。図１２の実線で示す視点の軌跡の回答の場合は、視点の軌跡が複数の回答の間で行き来していないから、「自信をもった回答」であると判断できる。一方、点線で示す視点の軌跡の回答の場合は、視点の軌跡が複数の回答の間で行き来しているから、「迷い回答」であると判断できる。

図２３および図２４において、コンテンツ読出表示手段３３０が図２３に示すコンテンツを提示用ディスプレイ１００に出力して表示し、被験者６００によりＡまたはＢの仮選択操作（関心の高い方の枠内にマウスのカーソルを置いてクリック操作（選択操作した後にキャンセルして再選択する操作を含む））が行われ、選択されたことを示す表示（枠に色を付ける、枠を太くする表示など）がなされ、そして選択の確定操作が行われると、情報取込手段３４０およびデータ処理手段３５０が前述した各種処理を行う。このような処理を複数の被験者６００を対象にして行い、複数の被験者６００による被験者応答情報ａおよび眼球運動情報ｂが取得され格納される。この場合、情報取込手段３４０は、被験者応答情報ａとして、最終的に被験者６００が選択した確定操作（ＡまたはＢ）の情報だけでなく、確定操作の前の仮選択操作の情報およびその回数（Ａを選択した回数およびＢを選択した回数）の情報も取り込む。

図２４は、アンケート評価段３６３により生成された画面例（選択肢が２つの場合）を示す図である。アンケート評価段３６３は、コンテンツの画面、その画面における視点の軌跡、並びに、興味・関心度の度合いに応じて円の形態に表したＩポイントおよびＡポイントを合成した画面情報を生成して表示する。図２４において、中抜きの円が仮選択操作時の注目点を示すＩポイントであり、斜線の円が確定操作時の注目点を示すＡポイントである。図２４によれば、被験者６００が確定操作までの間に、どの箇所に注目していたかが明確になる。

また、アンケート評価段３６３は、被験者６００毎に、被験者応答情報ａに基づいてＡ，Ｂの選択を区別して確信度を算出し、Ａ，Ｂを選択した被験者６００をそれぞれ集計して確信度の頻度分布および平均値などを算出する。確信度の算出手法については後述する。そして、これらの算出データを用いて確信度の頻度分布グラフを生成し、図２５に示す画面を表示する。

図２５において、横軸は確信度を示しており、縦軸は選択した人数の割合を示している。つまり、この折線グラフは、左半分にＡの確信度頻度分布（中心部分から左に向かって確信度は高くなる。）を、右半分にＢの確信度頻度分布（中心部分から右に向かって確信度は高くなる。）をそれぞれ示している。また、点線は、それぞれの確信度頻度分布における確信度の平均値を示している。確信度の頻度分布グラフの下に表示されたバーグラフは選択率を示している。

図２５によれば、選択肢Ａの確信度の平均値が７７、選択肢Ｂの確信度の平均値が４９であり、Ａを選択した被験者６００は全体の７０％であり、確信度が比較的高いことがわかる。このように、Ａ，Ｂをそれぞれ選択した被験者６００における確信度の平均値および頻度分布がわかり、被験者６００の選択の傾向を分析することができ、コンテンツのデザイン評価などに新たな指標を追加することができる。

次に、選択肢が２つ（Ａ，Ｂ）の場合における確信度の算出手法について説明する。ある被験者６００において、領域Ａ，Ｂに対する計測中のサンプル時刻ｉにおける興味・関心度をＩＡ（ｉ），ＩＢ（ｉ）とすると、注目滞留度ＧＡ，ＧＢを以下の式により算出する。

ここで、滞留点判定値δＡ（ｉ），δＢ（ｉ）、すなわちδｐは以下のように定義される。

滞留点判定値δｐは、視点が領域内に存在する場合に１、領域外に存在する場合に０であることを示している。

そして、選択肢Ａへの（選択肢Ｂに対する）注目偏度ＤＡ、および、選択肢Ｂへの（選択肢Ａに対する）注目偏度ＤＢを以下の式により算出する。

ここで、注目偏度ＤＡ，ＤＢの値域は［０，１］である。

そして、選択肢Ａ，Ｂを仮選択した回数をそれぞれＣＡ，ＣＢとすると、Ａを選択した場合の選択偏度ｋＡ、および、Ｂを選択した場合の選択偏度ｋＢを以下の式により算出する。

ここで、選択偏度ｋＡ，ｋＢは、確定操作による最終選択までの仮選択操作の回数を評価し、確信度を重み付けするための係数であり、その値域は（０，１）である。この選択偏度ｋＡ，ｋＢは、確定操作による最終選択と異なる選択肢を選択すればするほど、その値が小さくなる。

そして、確定操作による最終選択肢がＡである場合の確信度ｗａＡ、および、確定操作による最終選択肢がＢである場合の確信度ｗａＢを、注目偏度ＤＡ，ＤＢおよび選択偏度ｋＡ，ｋＢから以下の式により算出する。

ここで、確信度ｗａＡ，ｗａＢの値域は［０，１００］であり、その値が大きいほど確信度が高い。

次に、選択肢が３以上の場合における確信度の算出手法について説明する。この説明は、前述した選択肢が２の場合にも適用がある。以下、領域ｊ（０≦ｊ≦ｎ）は、選択肢ｊを囲む四角形で囲まれた部分とする。ある被験者６００において、領域Ｐに対する計測中のサンプル時刻ｉにおける興味・関心度をＩｐ（ｉ）とすると、注目滞留度ＧＰを以下の式により算出する。

ここで、滞留点判定値δＰ（ｉ）、すなわちδｐは以下のように定義される。

滞留点判定値δｐは、視点が領域内に存在する場合に１、領域外に存在する場合に０であることを示している。

画面中の領域ｊに対する注目滞留度Ｇｊは以下のとおりである。

そして、選択肢ｊへの（全選択肢に対する）注目偏度Ｄｊを以下の式により算出する。

ここで、注目偏度Ｄｊの値域は［０，１］である。

そして、選択肢ｊを仮選択した回数をそれぞれＣｊとすると、ｊを選択した場合の選択偏度ｋｊを以下の式により算出する。

ここで、選択偏度ｋｊは、確定操作による最終選択までの仮選択操作の回数を評価し、確信度を重み付けするための係数であり、その値域は（０，１）である。この選択偏度ｋｊは、確定操作による最終選択と異なる選択肢を選択すればするほど、その値が小さくなる。

そして、確定操作による最終選択肢がｊである場合の確信度ｗａｊを、注目偏度Ｄｊおよび選択偏度ｋｊから以下の式により算出する。

ここで、確信度ｗａｊの値域は［０，１００］であり、その値が大きいほど確信度が高い。

このように、アンケート評価段３６３は、被験者６００毎に、被験者応答情報ａに基づいてｊ（２以上の選択肢）の選択を区別して確信度を算出し、ｊを選択した被験者６００をそれぞれ集計して確信度の頻度分布および平均値などを算出する。そして、これらの算出データを用いて確信度の頻度分布グラフを生成し、表示する。

図２６および図２７は、アンケート評価段３６３により生成された画面例（選択肢が４つの場合）を示す図である。アンケート評価段３６３は、コンテンツの画面、その画面における視点の軌跡、並びに、興味・関心度の大きさに応じて円の形態に表したＩポイントおよびＡポイントを合成した画面情報を生成して表示する。図において、中抜きの円が仮選択操作時の注目点を示すＩポイントであり、斜線の円が確定操作時の注目点を示すＡポイントである。本図によれば、被験者６００が確定操作までの間に、どの箇所に注目していたかが明確になる。また、視点の軌跡およびＩポイントの表示から、図２６では、視点の動きが多く仮選択の数も多いことから、「迷い回答」（迷いの多い回答）であることがわかる。また、図２７では、視点の動きが少なく仮選択の数も少ないことから「自信をもった回答」（迷いの少ない回答）であることがわかる。

図１３および図２８は、教育・研修用処理段３６４により生成された画面例を示す図である。この画面は、安全教育などの様々な教育および研修に対し、感性計測という指標を加えたものである。

図１３において、教育・研修用処理段３６４は、コンテンツを領域１３０１に表示し、そのときのＩポイントを円の形態にて表示する。また、興味・関心度（注目度）をパワーゲージ１３０３−１，２に表示し、興味・関心度（注目度）の時間的変化をグラフ１３０４−１，２およびグラフ５００５−１，２に表示する。図１３に示す領域１３０１、パワーゲージ１３０３−１，２、グラフ１３０４−１，２、グラフ１３０５−１，２は、図５に示した領域５００１、パワーゲージ５００３−１，２、グラフ５００４−１，２、グラフ５００５−１，２にそれぞれ相当する。図１３に示す画面は、図５に示した画面と同じ構成および内容であるので、ここでは説明を省略する。図１３では、熟練運転者を第１の被験者とし、無免許運転者を第２の被験者とした場合の興味・関心度（注目度）の時間変化がグラフ５００４−１，２にそれぞれ示されている。このグラフから、熟練運転者の興味・関心度（注目度）は比較的平均しているのに対し、無免許運転者の興味・関心度（注目度）は平均しておらず変動が激しいことがわかる。

図２８において、教育・研修用処理段３６４は、図１３に示した画面情報を生成して表示する際に、さらに、コンテンツに付随した危険指示情報を危険指示表示１３０６として表示する。この場合、教育・研修用処理段３６４が入力するコンテンツには危険指示情報が含まれており、この危険指示情報は、危険であることを判断すべきタイミングで表示されるようになっている。また、被験者６００が、コンテンツを見て危険であると判断したときにマウス操作などによりボタンを押下すると、教育・研修用処理段３６４は、危険であると判断したことを示す被験者応答情報ａを入力し、そのボタン押下したタイミングでボタン押下表示１３０７を表示する。このように、車の運転教育を受ける被験者６００は、コンテンツを見ながら危険を判断した場合に、マウス操作などによりボタンを押下する。このとき、教育・研修用処理段３６４は、車の運転教育を受ける被験者６００の感性を、危険指示表示１３０６の表示タイミングと、被験者６００のボタン操作などによるボタン押下タイミングとにより計測することができる。また、被験者６００は、これらの表示タイミングを確認することにより、自らによる車の運転が安全であるか否かを判断することができる。

図１４は、投稿コンテンツ評価段３６５を用いる場合のネットワークシステムの構成例を示す図である。このネットワークシステムは、図１に示したコンテンツの利用者応答評価システムが設置された感性計測設備と、投稿コンテンツ評価サービスを受ける利用者（投稿者）が操作するＰＣ（パーソナルコンピュータ）またはモバイル端末とから構成され、感性計測設備内の利用者応答評価システムとＰＣまたはモバイル端末とがインターネットにより接続される。

ＰＣなどは、投稿コンテンツ評価サービスを受ける利用者の操作により、指定された被験者６００の年代情報、評価される画像などをインターネットを介して利用者応答評価システムへ送信する。この場合、利用者は本サービスの会員になってＩＤおよびパスワードを感性計測設備の制御手段３００に予め登録しておき、利用者のメールアドレスと関連付けておくようにしてもよい。利用者応答評価システムは、これらの情報を受信し、指定された年代の複数の被験者６００、または評価される画像コンテンツの分野における指導者などの当業者から情報を収集して診断結果を生成し、その診断結果（評価した画像、視点の軌跡、興味・関心度など）を、インターネットを介してＰＣなどへ返信する。この場合、診断結果をメールに添付し、利用者のメールアドレス宛に返信するようにしてもよい。

図１５は、図１４に示した感性計測設備内の利用者応答評価システムにおける投稿コンテンツ評価段３６５により生成された画面例を示す図である。投稿者により送信された自らの写真の画像に基づいて評価した結果が、顔の視点位置に円の形態で表示されているＩポイント、および画面右側に表示されている複数の被験者６００によって集計された情報である。利用者応答評価システムは、投稿者により送信された画像を提示コンテンツ用データベース３１０に蓄積すると、コンテンツ読出表示手段３３０、情報取込手段３４０およびデータ処理手段３５０により、被験者応答情報ａおよび眼球運動情報ｂを、対象となった複数の被験者６００から取り込み、被験者６００毎に視点位置、瞳孔径、興味・関心度、Ｉポイントなどの各種データを生成する。そして、表示処理手段３６０の投稿コンテンツ評価段３６５は、複数の被験者６００の視点位置、瞳孔径などの各種データに基づいて、画面に表示するためのＩポイントを集計し、顔の部位（右目、左目など）毎に興味・関心度を集計する。なお、投稿コンテンツ評価段３６５は、図２４ないし図２７に示した画面情報を生成し、これらの情報を診断結果としてＰＣなどへ返信し、診断結果を利用者へ提示するようにしてもよい。

〔変形例〕
次に、利用者応答評価システムの変形例について説明する。図１６は、本発明の実施の形態によるコンテンツの利用者応答評価システムの基本的な構成（他の構成）を示す模式図である。図１６に示すように、この利用者応答評価システムは、その基本的な構成要素として、コンテンツ提示用のディスプレイ１００と、制御手段３０１と、提示コンテンツ用データベース３１０と、取得データ用データベース３２０と、表示手段としてのモニタ画面４００と、被験者６００が提示コンテンツに対して応答するための入力手段５００とを備えている。図１に示した利用者応答評価システムと図１６に示す利用者応答評価システムとを比較すると、図１６では被験者６００の眼球を撮像するためのカメラ２００、それに伴う赤外線ランプ２１０および顎台２２０を備えていない点で相違する。ディスプレイ１００、提示コンテンツ用データベース３１０、取得データ用データベース３２０、モニタ画面４００および入力手段５００は、図１に示したそれらと同等であるから、ここでは説明を省略する。

図１６に示す利用者応答評価システムは、マウスカーソル位置の軌跡と視点の軌跡とが同等であるとみなして、眼球運動情報ｂを用いることなく被験者応答情報ａのみから利用者応答を評価するものである。

〔変形例／制御手段〕
次に、図１６に示した制御手段３０１の詳細について説明する。図１７は、制御手段３０１の構成を示す図である。この制御手段３０１は、コンテンツ読出表示手段３３５、情報取込手段３７０、データ処理手段３８０、および表示処理手段３９０を備えている。

コンテンツ読出表示手段３３５は、提示コンテンツ用データベース３１０からコンテンツを読み出し、情報取込手段３７０からマウスカーソル位置を入力し、コンテンツにおける所定のテキストデータに対し、マウスカーソル位置に基づいて、被験者６００が認識し難いようにぼかし加工を施し、被験者６００にコンテンツを提示するための提示用ディスプレイ１００に出力して表示する。また、コンテンツ読出表示手段３３５は、読み出したコンテンツを表示処理手段３９０に出力すると共に、コンテンツにおけるフレームの番号などの時間情報を情報取込手段３７０に出力する。

図１８は、コンテンツ読出表示手段３３５が提示用ディスプレイ１００に表示する画面例を示す図である。図１８において、テキストデータ「あなたは」「朝食を食べる」「朝食を食べない」は、マウスカーソル位置に応じて、ぼかした形態またはくっきりした形態で表示される。コンテンツ読出表示手段３３５は、マウスカーソル位置を入力し、マウスカーソル位置とテキストデータの表示位置とを比較し、その間の距離が予め設定された閾値よりも短くなった場合に、そのテキストデータに対して、コンテンツの本来の表示形態になるように、くっきりした形態で表示する。また、その間の距離が閾値以上の場合に、そのテキストデータに対して、ぼかした形態で表示する。例えば、そのテキストデータと白色画像とを画素毎に重ね合わせて（加重平均して）、ぼかした形態で表示する。この場合、一層ぼかした形態で表示するには、白色画像の重みを大きくすればよい。

情報取込手段３７０は、マウスカーソル位置（座標）およびマウスクリック位置（座標）を含む被験者応答情報ａを、被験者６００のマウス操作およびクリック操作に応じてそれぞれ入力する。また、情報取込手段３７０は、コンテンツの時間情報をコンテンツ読出表示手段３３５から入力し、被験者応答情報ａとコンテンツとの間の対応付けができるように、入力したコンテンツの時間情報に基づいて同期情報を生成する。そして、情報取込手段３７０は、被験者応答情報ａ（マウスカーソル位置およびマウスクリック位置）および同期情報を取得データ用データベース３２０に蓄積し、データ処理手段３８０に出力する。また、情報取込手段３７０は、被験者応答情報ａのうちのマウスカーソル位置をコンテンツ読出表示手段３３５に出力する。

データ処理手段３８０は、被験者応答情報ａ（マウスカーソル位置およびマウスクリック位置）および同期情報を情報取込手段３７０から入力し、または、取得データ用データベース３２０から読み出し、コンテンツと共にモニタ画面４００に表示するためのデータを生成し、生成したデータを表示処理手段３９０に出力する。

具体的には、データ処理手段３８０は、情報取込手段３７０または取得データ用データベース３２０からの被験者応答情報ａにおけるマウスカーソル位置について、予め設定された移動範囲内において予め設定された時間以上滞留した場合に、その位置を視点滞留点に設定し、その積算した滞留時間を視点滞留時間に設定する。そして、データ処理手段３８０は、マウスカーソル位置、マウスクリック位置、視点滞留点、視点滞留時間および同期情報を表示処理手段３９０に出力する。

表示処理手段３９０は、コンテンツをコンテンツ読出表示手段３３５から入力し、マウスカーソル位置、マウスクリック位置、視点滞留点、視点滞留時間および同期情報をデータ処理手段３８０から入力する。そして、同期情報に基づいてコンテンツとマウスカーソル位置などとを対応付け、画面に表示するための情報を生成し、画面情報としてモニタ画面４００に出力して表示する。

図１９〜図２２は、表示処理手段３９０により生成された画面例を示す図である。これらの画面は、マウスカーソル位置を視点位置とみなし、その位置データに基づいてコンテンツに対する感性を計測するためのものである。これらの画面により、眼球運動情報ｂを用いることなく、マウスである被験者応答入力手段５００からの被験者応答情報ａのみにより、簡易な手法で感性計測を実現することができる。

図１９において、表示処理手段３９０は、コンテンツの画面上に、視点位置とみなしたマウスカーソル位置の軌跡を表示する。また、図２０において、表示処理手段３９０は、コンテンツの画面上に、視点滞留点に、その視点滞留時間に比例した面積を有する円を表示する。また、図２１において、表示処理手段３９０は、アンケート質問および回答形式のコンテンツ画面に対する被験者６００であるユーザの応答から、データを集計して表示する。具体的には、回答をマウスクリックで選択する場合に、視点位置（とみなしたマウスカーソル位置）がどちらの回答の側に滞留していたかを示す回答度合いを滞留時間として積算し、予め設定された重み係数を用いて補正して表示する。図２１の上側には、複数の被験者６００の回答に対する度合いの集計結果が表示されている。また、図２１の下側には、複数の被験者６００の回答に対する度合いの頻度がグラフとして表示されている。図２１から、アンケート質問に対するアクションである回答を、ユーザが選択する際の感性を含めて、一層正確に分析することができる。

また、図２２において、表示処理手段３９０は、コンテンツの画面を表示し、視点位置とみなしたマウスカーソル位置の軌跡を表示すると共に、視点滞留点に、その視点滞留時間に比例した面積を有する円を表示する。図２２から、例えば、回答が「朝食を食べる」「朝食を食べない」の２択である場合に、視点の軌跡および視点滞留時間を示す円の大きさにより、その回答が「自信をもった回答」であるか「迷い回答」であるかを判断することができる。これは、図１２に示したように、視点の軌跡およびＩポイントから判断する場合と同様である。

〔他の変形例〕
次に、利用者応答評価システムの他の変形例について説明する。この利用者応答評価システムの他の変形例は、図１６に示した構成と同等の構成の下で、被験者６００によるマウスなどの画面スクロール操作によって、画面スクロールが停止して表示された部分画面、その部分画面が表示されている滞留時間、および表示された部分画面の順番を画面情報として生成し、利用者応答を評価するものである。

〔他の変形例／制御手段〕
次に、制御手段３０１について説明する。図１７を参照して、この制御手段３０１は、コンテンツ読出表示手段３３５、情報取込手段３７０、データ処理手段３８０、および表示処理手段３９０を備えている。

コンテンツ読出表示手段３３５は、提示コンテンツ用データベース３１０からコンテンツを読み出し、情報取込手段３７０から画面スクロール情報を入力し、コンテンツの全体画面のうち画面スクロール情報の示す部分画面を表示するように、提示用ディスプレイ１００に出力する。図１７において、コンテンツ読出表示手段３３５は、マウスカーソル位置の代わりに画面スクロール情報を入力する。また、コンテンツ読出表示手段３３５は、読み出したコンテンツを表示処理手段３９０に出力すると共に、コンテンツにおけるフレームの番号などの時間情報を情報取込手段３７０に出力する。

情報取込手段３７０は、被験者６００の操作によるマウスカーソル位置（座標）、マウスクリック位置（座標）および画面スクロール情報を含む被験者応答情報ａを、被験者６００のマウス操作およびクリック操作などに応じてそれぞれ入力する。以下、被験者応答情報ａを画面スクロール情報として説明する。情報取込手段３７０は、コンテンツの時間情報をコンテンツ読出表示手段３３５から入力し、被験者応答情報ａとコンテンツとの間の対応付けができるように、入力したコンテンツの時間情報に基づいて同期情報を生成する。そして、情報取込手段３７０は、被験者応答情報ａ（画面スクロール情報）および同期情報を取得データ用データベース３２０に蓄積し、データ処理手段３８０に出力する。また、情報取込手段３７０は、画面スクロール情報をコンテンツ読出表示手段３３５に出力する。

データ処理手段３８０は、被験者応答情報ａ（画面スクロール情報）および同期情報を情報取込手段３７０から入力し、または、取得データ用データベース３２０から読み出し、コンテンツと共にモニタ画面４００に表示するためのデータを生成し、生成したデータを表示処理手段３９０に出力する。

具体的には、データ処理手段３８０は、情報取込手段３７０または取得データ用データベース３２０からの画面スクロール情報に基づいて、画面がスクロールしないで停止して表示されている時間を計測する。そして、画面がスクロールしないで停止している位置、その場合の滞留時間（停止時間）および停止位置の順番を算出し、被験者応答情報ａ、同期情報、停止位置、停留時間および停止位置の順番を表示処理手段３９０に出力する。

表示処理手段３９０は、コンテンツをコンテンツ読出表示手段３３５から入力し、被験者応答情報ａ、同期情報、停止位置、停留時間および停止位置の順番をデータ処理手段３８０から入力する。そして、同期情報に基づいてコンテンツと停止位置などとを対応付け、コンテンツの全体画面のうち停止位置の示す部分画面を特定すると共に、その滞留時間および順番を含む情報を生成し、画面情報としてモニタ画面４００に出力して表示する。

図２９は、表示処理手段３９０により生成された画面例を示す図であり、スクロール停止位置の推移とその滞留時間を表示する画面例であることを示している。図２９によれば、コンテンツの全体画面のうちの画面スクロール停止位置２９００１〜２９００３により表される部分画面が、この順番で表示されたことがわかる。また、それぞれの滞留時間が１０秒、３０秒、２０秒であることがわかる。これにより、視点の軌跡や興味・関心度が表示されなくても、被験者６００がその領域をどの程度注目していたかについて分析することができる。

以上説明したように、本発明の実施の形態によれば、被験者６００に評価すべきコンテンツを提示し、それを視聴した被験者６００の被験者応答情報ａを取得するのと同期して、生理反応の一つである眼球運動を撮像して眼球運動情報ｂを取得し、得られたデータ（視点位置、瞳孔径および瞬目発生頻度）から被験者６００の興味・関心度を判定し、ＩＤＡポイントなどを算出し、提示コンテンツに対する被験者６００の応答の有効性を評価するようにした。これにより、少ない被験者数で、従来行われていた紙面やウェブによるアンケート手法よりも、はるかに信頼性のある有効な調査を行うことができ、特にＷＥＢコンテンツに対する利用者の応答を評価するのに好適である。

また、評価対象であるコンテンツが提示されてから、それに対する被験者６００の応答および生理反応の測定、解析、評価指標の可視化に至るまでの一連の処理を１台の装置で実施することができる。このため、特別高度な専門知識を備えていない一般人でも、アンケートによる調査を短時間かつ低コストにて行うことができる。

なお、制御手段３００，３０１は、ＣＰＵ、ＲＡＭなどの揮発性の記憶媒体、ＲＯＭなどの不揮発性の記憶媒体、マウス５００やキーボード、ポインティングデバイスなどの入力装置、画像やデータを表示する提示用ディスプレイ１００およびモニタ画面４００、並びに眼球撮像用カメラ２００と通信するためのインタフェースを備えたコンピュータによって構成される。制御手段３００に備えたコンテンツ読出表示手段３３０、情報取込手段３４０、データ処理手段３５０および表示処理手段３６０の各機能、並びに、制御手段３０１に備えたコンテンツ読出表示手段３３５、情報取込手段３７０、データ処理手段３８０および表示処理手段３９０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピィーディスク（登録商標）、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記憶媒体に格納して頒布することもできる。

本発明の実施の形態によるコンテンツの利用者応答評価システムの基本的な構成を示す模式図である。 視点の軌跡および選択結果の画面例を示す図である。 問題文を読んでいない場合の画面例を示す図である。 図１に示した制御手段３００の構成を示す図である。 コンテンツ評価段３６１により生成された画面例を示す図である。 コンテンツ評価段３６１により生成された画面例を示す図である。 ＷＥＢ評価段３６２により生成された画面例を示す図である。 ＷＥＢ評価段３６２により生成された画面例を示す図である。 ＷＥＢ評価段３６２により生成された画面例を示す図である。 ＷＥＢ評価段３６２により生成された画面例を示す図である。 アンケート評価段３６３により生成された画面例を示す図である。 アンケート評価段３６３により生成された画面例を示す図である。 教育・研修用処理段３６４により生成された画面例を示す図である。 投稿コンテンツ評価段３６５を用いる場合のネットワークシステムの構成例を示す図である。 投稿コンテンツ評価段３６５により生成された画面例を示す図である。 本発明の実施の形態によるコンテンツの利用者応答評価システムの基本的な構成（他の構成）を示す模式図である。 図１６に示した制御手段３０１の構成を示す図である。 カーソル計測の場合の画面例を示す図である。 カーソル計測の場合の画面例を示す図である。 カーソル計測の場合の画面例を示す図である。 カーソル計測の場合の画面例を示す図である。 カーソル計測の場合の画面例を示す図である。 アンケート評価段３６３に用いるコンテンツの画面例（選択肢が２つの場合）を示す図である。 アンケート評価段３６３により生成された画面例（選択肢が２つの場合）を示す図である。 アンケート評価段３６３により生成された画面例（選択肢が２つの場合）を示す図である。 アンケート評価段３６３により生成された画面例（選択肢が４つの場合）を示す図である。 アンケート評価段３６３により生成された画面例（選択肢が４つの場合）を示す図である。 教育・研修用処理段３６４により生成された画面例を示す図である。 スクロール停止位置の推移とその滞留時間を表示する画面例を示す図である。

符号の説明

１００ コンテンツ提示用ディスプレイ
２００ 眼球撮像用カメラ
２１０ 赤外線ランプ
２２０ 顎台
３００，３０１ 制御手段
３１０ 提示コンテンツ用データベース
３２０ 取得データ用データベース
３３０，３３５ コンテンツ読出表示手段
３４０，３７０ 情報取込手段
３５０，３８０ データ処理手段
３５１ 視点・瞳孔・瞬目処理段
３５２ 興味・関心度算出段
３５３ ＩＤＡＳポイント算出段
３６０，３９０ 表示処理手段
３６１ コンテンツ評価段
３６２ ＷＥＢ評価段
３６３ アンケート評価段
３６４ 教育・研修用処理段
３６５ 投稿コンテンツ評価段
４００ モニタ画面
５００ 被験者応答入力手段
６００ 被験者
１０１０，１１１０，７００１，８００１，１１００１ 視点の軌跡
１０２０，１１２０ マウスクリックした位置
１３０１，５００１，６００１ 領域
１３０２，５００２ 円
１３０３，５００３ パワーゲージ
１３０４，１３０５，５００４，５００５，６００３〜６００６ グラフ
１３０６ 危険指示表示
１３０７ ボタン押下表示
２９００１〜２９００３ 画面スクロール停止位置
６００２ 波形グラフ

Claims (13)

1. コンテンツを観察している被験者の応答を評価するために用いる制御装置であって、
   前記被験者が前記コンテンツを見ているときに撮影された前記被験者の眼球画像、および、前記被験者が所定の操作手段を用いて操作しているときのカーソル位置を取り込む情報取込部と、
   前記眼球画像に基づいて、前記被験者の視点位置を算出すると共に、前記眼球画像に基づいて、瞳孔径を求め、前記瞳孔径に基づいて、前記被験者による前記コンテンツに対する第１の興味関心度を算出し、前記カーソル位置と前記視点位置との間の距離を算出し、前記距離が所定の閾値よりも短く、かつ前記距離が時間変化と共に短くなっている場合に、前記第１の興味関心度を第２の興味関心度とする処理部と、
   前記コンテンツと共に、前記視点位置、第１の興味関心度および第２の興味関心度を画面表示する表示処理部とを備えたことを特徴とする制御装置。
2. 請求項１に記載の制御装置において、
   前記表示処理部は、さらに、第１の興味関心度と第２の興味関心度とを区別可能な表示形態にて画面表示することを特徴とする制御装置。
3. 請求項１または２に記載の制御装置において、
   前記処理部は、さらに、前記視点位置について視点の滞留時間を算出し、
   前記表示処理部は、前記コンテンツと共に、前記視点位置、第１の興味関心度および第２の興味関心度、並びに視点の滞留時間を画面表示することを特徴とする制御装置。
4. 請求項１または２に記載の制御装置において、
   前記表示処理部は、前記コンテンツが表示された画面内における所定の領域毎に、前記視点位置が滞留している時間を、前記被験者の視点の滞留時間として算出し、前記コンテンツと共に、前記視点位置、第１の興味関心度および第２の興味関心度を画面表示し、前記領域毎の視点の滞留時間を画面表示することを特徴とする制御装置。
5. 請求項１から４までのいずれか一項に記載の制御装置において、
   前記表示処理部は、さらに、前記第１の興味関心度および第２の興味関心度の大きさに応じた形態を、前記視点位置にそれぞれ画面表示することを特徴とする制御装置。
6. 請求項５に記載の制御装置において、
   前記表示処理部は、さらに、前記視点位置に基づいて視点の軌跡を画面表示することを特徴とする制御装置。
7. 請求項６に記載の制御装置において、
   前記表示処理部は、さらに、前記視点の速度に応じた形態で前記視点の軌跡を画面表示することを特徴とする制御装置。
8. 請求項１から７までのいずれか一項に記載の制御装置において、
   前記コンテンツには、前記被験者により選択操作が行われる選択肢が含まれ、
   前記表示処理部は、前記選択肢が含まれるコンテンツ、前記視点位置に表示される第１の興味関心度および第２の興味関心度の大きさに応じたそれぞれの形態、および前記視点位置から得られる視点の軌跡を画面表示することを特徴とする制御装置。
9. コンテンツを観察している被験者の応答を評価するために用いる制御装置であって、
   前記コンテンツには、前記被験者により選択操作が行われる選択肢が含まれ、
   前記被験者が前記コンテンツを見ているときに撮影された前記被験者の眼球画像、および前記選択肢を選択するための確定操作を取り込む情報取込部と、
   前記眼球画像に基づいて、前記被験者の視点位置を算出すると共に、前記眼球画像に基づいて、瞳孔径を求め、前記瞳孔径に基づいて、前記被験者による前記コンテンツに対する第１の興味関心度を算出する処理部と、
   前記コンテンツと共に、前記視点位置および第１の興味関心度を画面表示し、さらに、前記視点位置に基づいて、前記選択肢を示す領域内に前記被験者の視点があったときの前記第１の興味関心度を積算し、前記積算値を注目滞留度として前記選択肢毎に求め、前記確定操作によって選択肢が選択されたときの前記選択肢の確信度を、前記選択肢についての前記注目滞留度が高いときは高くなり、前記注目滞留度が低いときは低くなるように、前記選択肢毎に算出し、前記選択肢毎の確信度を複数の被験者のそれぞれに対して算出し、前記選択肢毎の確信度と前記確信度が算出された被験者の数との関係を画面表示する表示処理部とを備えたことを特徴とする制御装置。
10. 請求項１から９までのいずれか一項に記載の制御装置において、
    前記コンテンツを、該制御装置とネットワークを介して接続される端末装置から受信し、
    前記表示処理部により画面表示されるコンテンツと共に、前記画面表示される各種情報を、前記端末装置へ送信することを特徴とする制御装置。
11. 請求項１から１０までのいずれか一項に記載の制御装置において、
    前記コンテンツは、映像データ、音響データ、ウェブページデータ、コンピュータゲームデータまたはコンピュータプログラムが出力するデータから成り、かつ、文字列、図、記号、絵、写真、動画および音のうちの少なくとも一つの、被験者に応答させるための喚起情報を含むことを特徴とする制御装置。
12. 請求項１から１１までのいずれか一項に記載の制御装置において、
    前記処理部は、眼球画像に基づいて、前記瞳孔径の代わりに瞬目発生頻度を求め、前記瞬目発生頻度に基づいて、前記第１の興味関心度を算出することを特徴とする制御装置。
13. コンピュータを、請求項１から１２までのいずれか一項に記載の制御装置として機能させるためのプログラム。

Images