JP4865811B2 - 視聴傾向管理装置、システム及びプログラム - Google Patents

Description

本発明は、視聴者の生理反応に基づいてコンテンツに対する視聴者応答を評価し、その評価結果から視聴傾向を分析する技術に関するものである。

従来、視聴者の生理反応の一つである眼球運動に基づいて映像コンテンツを評価する装置が知られている（特許文献１を参照）。この映像コンテンツ評価装置は、映像コンテンツを視聴する視聴者の眼球を赤外線カメラで撮影し、その眼球画像信号を二値化処理して眼球運動データを得て、時間軸における眼球運動データのグラフをディスプレイに表示することにより、映像コンテンツを評価するものである。

特開２００４−２８２４７１号公報

ところで、映像コンテンツ評価装置が映像コンテンツを評価した情報を蓄積し、例えば、その蓄積情報に基づいて視聴者が嗜好する情報を生成した場合には、この嗜好情報は、視聴者にとっても映像コンテンツを提供する業者にとっても利用価値の高い有用な情報と成り得る。

前述した映像コンテンツ評価装置は、一方的に提示された映像コンテンツに対して視聴者の受動的な反応を測定することにより、映像コンテンツを評価するものに過ぎない。したがって、評価情報に基づいて、視聴者やコンテンツ提供事業者にとって利用価値の高い有用な情報を生成し提示するものではない。

また、視聴者へ嗜好情報を提示する場合、視聴している映像コンテンツに対する視聴者の応答を評価し、その映像コンテンツに対する視聴者の興味や関心に応じた情報を、視聴者により複雑な操作がなされることなく提示できることが望ましい。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、コンテンツに対する視聴傾向を求めることにより、データ入力やキー操作等の複雑な操作を行うことなく、視聴者またはコンテンツ提供者等にとって利用価値の高い有用な情報を提示可能な視聴傾向管理装置、システム及びプログラムを提供することにある。

本発明は、視聴者がコンテンツを視聴しているときに、視聴者の生理反応情報（例えば眼球運動）を測定及び解析し、コンテンツに対する興味・関心度を算出して視聴傾向を分析し、そして、その分析結果から視聴者やコンテンツ提供事業者等に提示するための情報を生成することを特徴とする。尚、提示するための情報を生成することには、複数のコンテンツや情報の中から必要なコンテンツ等を選択することも含むものとする。

すなわち、本発明による視聴傾向管理装置は、コンテンツを視聴する視聴者の生理反応情報に基づいて、前記コンテンツに対する視聴傾向を分析し、前記分析した情報から提示情報を生成して出力する視聴傾向管理装置において、前記コンテンツを視聴する視聴者の眼球画像を含む生理反応情報を取得し、前記生理反応情報に基づいて、前記コンテンツに対する興味・関心度を算出する興味・関心度算出部と、前記コンテンツに対し予め設定された複数の画面領域について、前記興味・関心度算出部により算出された興味・関心度を用いて、前記眼球画像から得られた視点が前記画面領域内に存在するときの興味・関心度をそれぞれ求め、前記興味・関心度が予め設定された閾値に到達した時点から、前記視点が前記画面領域から外れる時点までの間の時間を、興味・関心継続時間として前記画面領域毎に算出する視聴傾向分析部と、前記視聴傾向分析部により算出された画面領域毎の興味・関心継続時間と予め設定された時間とを比較し、前記画面領域毎の好感及び嫌悪感の判定を行い、前記予め設定された複数の画面領域の数及び前記好感と判定した画面領域の数に基づいて好感度を算出し、前記予め設定された複数の画面領域の数及び前記嫌悪感と判定した画面領域の数に基づいて嫌悪感度を算出し、提示情報として出力する情報処理部とを備えたことを特徴とする。また、本発明による視聴傾向管理装置は、コンテンツを視聴する視聴者の生理反応情報に基づいて、前記コンテンツに対する視聴傾向を分析し、前記分析した情報から提示情報を生成して出力する視聴傾向管理装置において、前記コンテンツを視聴する複数の視聴者の眼球画像を含む生理反応情報をそれぞれ取得し、前記生理反応情報に基づいて、前記コンテンツに対する興味・関心度を前記視聴者毎に算出する興味・関心度算出部と、前記興味・関心度算出部により算出された興味・関心度を用いて、前記コンテンツに対して予め設定された画面領域及び時間区間についての興味・関心度を、前記視聴者毎にそれぞれ算出する視聴傾向分析部と、前記視聴傾向分析部により算出された興味・関心度と予め設定された閾値とを比較して、前記画面領域に注目していたか否かを判定し、前記複数の視聴者の中で、前記画面領域に注目していたと判定した視聴者の数の割合、前記画面領域に注目していたと判定した視聴者の眼球画像により得られた視点が前記画面領域内に滞留していた時間長、前記画面領域に注目していたと判定した全ての視聴者における興味・関心度の平均、分散、標準偏差、最大値及び最小値のうちの少なくとも一つを算出し、提示情報として出力する情報処理部とを備えたことを特徴とする。

また、本発明による視聴傾向管理システムは、視聴者により要求されたコンテンツを配信するコンテンツ配信装置と、前記配信されたコンテンツを受信して表示器に表示する端末装置と、前記表示器に表示されたコンテンツを視聴する視聴者に対し、生理反応を計測する生理反応計測装置と、前記視聴者の生理反応情報を前記生理反応計測装置から入力する前記視聴傾向管理装置とを備えたことを特徴とする。

また、本発明による視聴傾向管理プログラムは、コンピュータを、前記視聴傾向管理装置として機能させることを特徴とする。

本発明によれば、コンテンツに対する視聴傾向を求めることにより、データ入力やキー操作等の複雑な操作を行うことなく、視聴者またはコンテンツ提供者等にとって利用価値の高い有用な情報を提示可能な視聴傾向管理装置、システム及びプログラムを実現することができる。

本発明の実施の形態による視聴傾向管理システムの全体構成を示すブロック図である。 図１の視聴傾向管理サーバの構成を示すブロック図である。 初期処理を示すフローチャート図である。 図３の処理における情報の流れを示す図である。 視聴傾向分析処理を示すフローチャート図である。 興味・関心度の推移を示す図である。 ウェブページの領域分割を示す図である。 領域毎に区分される興味・関心度の推移を示す図である。 推薦コンテンツ提示処理を示すフローチャート図である。 図９の処理における情報の流れを示す図である。 推薦コンテンツ提示処理における画面推移を示す図である。 注目オブジェクト情報提示処理を示すフローチャート図である。 注目オブジェクト情報提示処理における画面推移を示す図である。 視聴傾向影響度情報提示処理を示すフローチャート図である。 視聴傾向影響度情報提示処理を説明する図である。 提示コンテンツ切替処理を説明するための視聴傾向管理システムの全体構成を示すブロック図である。 提示コンテンツ切替処理を説明するための興味・関心度の推移を示す図である。 提示コンテンツ切替処理を示すフローチャート図である。 図１８のフローチャートにおける提示コンテンツ決定処理を説明する図である。 注目度判定処理を示すフローチャート図である。 注目度判定処理を説明するための興味・関心度の推移を示す図である。 注目度判定処理を説明するためのオブジェクトを示す図である。 好感・嫌悪感判定処理を示すフローチャート図である。 インプレッション評価処理を示すフローチャート図である。 指定領域エモーショナル効果処理を示すフローチャート図である。 興味・関心継続時間を説明するための図である。 嫌悪感が生じるオブジェクト及び好感が生じるオブジェクトに対する興味・関心度の例を示す図である。

符号の説明

１ 視聴者
２，２００ 視聴傾向管理システム
１０ コンテンツ提示・生理反応・視聴者応答計測装置
１１ ディスプレイ
１２ 入力デバイス
１３ 生理反応計測装置
１４ ＩＲライト
１００ 視聴傾向管理サーバ
１０１ 生理反応・視聴者応答データベース
１０２ 基準コンテンツ用データベース
１０３ 個人属性・視聴傾向等データベース
１０４ ネットワーク
１０５ コンテンツ配信サーバ
１０６ 提示コンテンツ用データベース
１１０ コンテンツ読出提示部
１２０ 情報取込部
１３０ 興味・関心度算出部
１４０ 視聴傾向分析部
１５０ 情報処理部
１５１ 推薦コンテンツ処理手段
１５２ 注目オブジェクト情報処理手段
１５３ 視聴傾向影響度処理手段
１５４ 提示コンテンツ切替処理手段
１５５ 注目度判定処理手段
１５６ 好感・嫌悪感判定処理手段
１５７ インプレッション評価処理手段
１５８ 指定領域エモーショナル効果処理手段

以下、本発明を実施するための最良の形態について図面を参照して説明する。
図１は、本発明の実施の形態による視聴傾向管理システムの全体構成を示すブロック図である。この視聴傾向管理システム２は、視聴者である視聴者１によるコンテンツに対する生理反応（眼球運動）情報及び視聴者応答を入力し、コンテンツに対する視聴者１の興味・関心度を算出し、この興味・関心度に基づいて視聴傾向を分析し、視聴傾向から視聴者１またはコンテンツ提供事業者等に対して有用な情報を生成し提示するものである。

視聴傾向管理システム２は、視聴者１に対するコンテンツ提示用及び嗜好情報提示用のディスプレイ１１、視聴者１により視聴者応答の入力操作がされるマウス等の入力デバイス１２、赤外線ランプであるＩＲライト１４により視聴者１の眼球運動を撮影するカメラを含む生理反応計測装置１３、コンテンツをディスプレイ１１に表示して生理反応情報及び視聴者応答を入力デバイス１２から入力する入力部、及び視聴傾向管理サーバ１００へ生理反応情報等を送信する送信部等を備えたコンテンツ提示・生理反応・視聴者応答計測装置（端末装置）１０、このコンテンツ提示・生理反応・視聴者応答計測装置１０から生理反応情報等を受信して視聴者１の視聴傾向を管理する視聴傾向管理サーバ１００、生理反応・視聴者応答データベース１０１、基準コンテンツ用データベース１０２、個人属性・視聴傾向等データベース１０３、提示用の動画像コンテンツが蓄積された提示コンテンツ用データベース１０６、視聴者１からの要求に従い提示コンテンツ用データベース１０６からコンテンツを読み出してコンテンツ提示・生理反応・視聴者応答計測装置１０へ配信する配信部を備えたコンテンツ配信サーバ１０５、及び、コンテンツ提示・生理反応・視聴者応答計測装置１０と視聴傾向管理サーバ１００とコンテンツ配信サーバ１０５との間をインターネットやＬＡＮ等のネットワーク通信により接続するネットワーク１０４を備えて構成される。

コンテンツ提示・生理反応・視聴者応答計測装置１０は、提示コンテンツ用データベース１０６からコンテンツ配信サーバ１０５及びネットワーク１０４を介してコンテンツを読み出し、ディスプレイ１１に表示する。また、視聴者１による入力デバイス１２の操作に従った視聴者応答を入力すると共に、これに同期して、視聴者１の眼球画像である生理反応情報を生理反応計測装置１３から入力する。これらの視聴者応答及び生理反応情報は、ネットワーク１０４及び視聴傾向管理サーバ１００を介して生理反応・視聴者応答データベース１０１に蓄積される。また、コンテンツ提示・生理反応・視聴者応答計測装置１０は、視聴傾向管理サーバ１００により生成された視聴者１の嗜好情報を受信し、ディスプレイ１１に表示する。

次に、視聴傾向管理サーバ１００について説明する。図２は、図１に示した視聴傾向管理サーバ１００の構成を示すブロック図である。この視聴傾向管理サーバ１００は、コンテンツ読出提示部１１０、情報取込部１２０、興味・関心度算出部１３０、視聴傾向分析部１４０及び情報処理部１５０を備えている。また、視聴傾向管理サーバ１００には、生理反応・視聴者応答データベース１０１、基準コンテンツ用データベース１０２及び個人属性・視聴傾向等データベース１０３が接続され、各種情報の書き込み及び読み出しが行われる。視聴者１がコンテンツを視聴しているときに、生理反応・視聴者応答データベース１０１には、その視聴者のコンテンツに対する生理反応情報及び視聴者応答が順次蓄積され、個人属性・視聴傾向等データベース１０３には、その視聴者のコンテンツに対する興味・関心度が順次蓄積され、また視聴傾向ベクトル等の視聴傾向情報も順次蓄積される。

視聴傾向管理サーバ１００は、以下の（１）〜（４）までの一連の処理を行う。
（１）初期処理
視聴者１である視聴者毎に、基準コンテンツに対する興味・関心度及び視聴者傾向ベクトルを算出して個人属性・視聴傾向等データベース１０３に蓄積すると共に、視聴者の個人属性情報ｃを収集して個人属性・視聴傾向等データベース１０３に蓄積する。ここで、基準コンテンツとは、視聴者個人の視聴傾向や視聴嗜好の判断材料となる補助データを収集するためのコンテンツをいう。例えば、模様無し画像、記号が移動するだけの画像または風景の画像、または、これらの用に供するネットワーク上に存在する任意のコンテンツも利用可能である。外部コンテンツを利用する場合、基準コンテンツ用データベース１０２にはそのコンテンツのロケーション情報が記録される。また、個人属性情報ｃとは、視聴者個人の職業、職種、性別、年齢、既婚／未婚、過去の住所、現在の住所、年収、世帯構成等の情報をいう。
（２）生理反応情報・視聴者応答蓄積処理
視聴者が視聴しているコンテンツに対する生理反応情報ａ及び視聴者応答ｂを生理反応・視聴者応答データベース１０１に蓄積する。ここで、生理反応情報ａとは、コンテンツを視聴している視聴者の眼球運動に関する情報等をいう。また、視聴者応答ｂとは、視聴者が視聴しているコンテンツに同期して、入力デバイス１２の操作により指示されるマウスカーソル位置（座標）及びマウスクリック位置（座標）等の情報をいう。
（３）視聴傾向分析処理
視聴者が視聴しているコンテンツに対する興味・関心度を算出して個人属性・視聴傾向等データベース１０３に蓄積する。また、興味・関心度の単位時間あたりの平均値を算出して視聴傾向ベクトルを求め、興味関心度の平均値及び視聴傾向ベクトル等を視聴傾向情報として個人属性・視聴傾向等データベース１０３に蓄積する。この処理により、視聴者及びコンテンツの組み合わせ毎に視聴傾向情報が順次蓄積される。このように蓄積された視聴傾向情報は、視聴者の嗜好に合わせた情報等の生成のために用いられる。
（４）提示情報生成処理
視聴傾向処理により生成された視聴傾向ベクトル等の視聴傾向情報に基づいて、視聴者やコンテンツ提供事業者等へ提示するための情報を生成する。
以下、（１）〜（４）の各処理について詳細に説明する。

〔初期処理〕
まず、（１）初期処理について説明する。この初期処理により、基準コンテンツに対する興味・関心度及び視聴者傾向ベクトル、さらに個人属性情報ｃが個人属性・視聴傾向等データベース１０３に蓄積される。図３は初期処理を示すフローチャート図、図４は初期処理における情報の流れを示す図である。図２を参照して、基準コンテンツ用データベース１０２には、基準コンテンツが予め蓄積されているものとする。コンテンツ読出提示部１１０は、基準コンテンツ用データベース１０２から基準コンテンツを読み出し、ネットワーク１０４を介してコンテンツ提示・生理反応・視聴者応答計測装置１０へ送信すると共に、基準コンテンツのフレーム番号等の時間情報を情報取込部１２０に出力する。この送信された基準コンテンツは、コンテンツ提示・生理反応・視聴者応答計測装置１０によりディスプレイ１１に表示される（ステップＳ３０１）。

情報取込部１２０は、コンテンツ読出提示部１１０から基準コンテンツの時間情報を入力する。また、視聴者１がディスプレイ１１に表示された基準コンテンツを視聴し、入力デバイス１２を操作すると、情報取込部１２０は、コンテンツ提示・生理反応・視聴者応答計測装置１０及びネットワーク１０４を介して生理反応情報ａ及び視聴者応答ｂを入力する。そして、情報取込部１２０は、生理反応情報ａ及び視聴者応答ｂと基準コンテンツとの間の対応付けができるように、入力したコンテンツの時間情報に基づいて同期情報を生成して、生理反応情報ａ、視聴者応答ｂ及び同期情報を生理反応・視聴者応答データベース１０１に蓄積すると共に、興味・関心度算出部１３０に出力する。

興味・関心度算出部１３０は、情報取込部１２０から生理反応情報ａ、視聴者応答ｂ及び同期情報を入力し（ステップＳ３０２）、視聴者１の瞳孔径を算出して興味・関心度及び視点位置を算出し、興味・関心度、視点位置及び同期情報を個人属性・視聴傾向等データベース１０３に蓄積すると共に、視聴傾向分析部１４０に出力する（ステップＳ３０３）。具体的には、興味・関心度算出部１３０は、生理反応情報ａから瞳孔画像を抽出し、瞳孔の中心位置及び予め設定された画面上の位置情報等に基づいて視点位置を算出する。この場合、時間変化における視点位置を算出することにより、視点の移動速度や視点の軌跡等の視線運動データを求めることもできる。また、抽出した瞳孔画像に基づいて、瞳孔径を算出する。さらに、抽出した瞳孔画像の時間的変化に基づいて、瞬目発生頻度を算出し、瞬目回数を求めることもできる。また、同時に瞳孔径の変化速度及び加速度等を求めることもできる。

そして、興味・関心度算出部１３０は、算出した瞳孔径を用いて、興味・関心度を以下のように算出する。尚、興味・関心度算出部１３０は、視線運動データ、瞬目発生頻度または瞳孔の大きさ等の瞳孔画像から得られる情報に基づいて、興味・関心度を算出するようにしてもよい。Ｐ（ｔ）を時刻ｔにおける瞳孔径、Ｉ（ｔ）を時刻ｔにおける興味・関心度とすると、興味・関心度算出部１３０は、まず、瞳孔径Ｐ（ｔ）に対して、高周波成分及び測定ノイズを除去するために、移動平均等の演算を施すことにより、低域フィルタ処理を行う。

そして、以下の式により、値域を［０，１００］とした時系列の興味・関心度Ｉ（ｔ）を算出する。

ここで、所定時間内における測定データ系列中の瞳孔径Ｐ（ｔ）の最大値をＰｍａｘ、最小値をＰｍｉｎ、閾値をｔｈとする。

閾値ｔｈは、例えば以下の式のように、最大値Ｐｍａｘと最小値Ｐｍｉｎとの間の中間値が用いられる。

尚、興味・関心度算出部１３０は、算出した瞬目発生頻度が、予め設定された閾値よりも大きいか否かを判断し、連続的に閾値よりも大きくなっている連続的瞬目発生区間については興味・関心度Ｉ（ｔ）を強制的に０にするようにしてもよい。

視聴傾向分析部１４０は、興味・関心度算出部１３０または個人属性・視聴傾向等データベース１０３から興味・関心度、視点位置及び同期情報を入力し、視聴傾向ベクトル等を算出し、基準コンテンツの同期情報及び視聴傾向ベクトル等を個人属性・視聴傾向等データベース１０３に蓄積する（ステップＳ３０４）。視聴傾向ベクトルの算出手法の詳細については後述する。

また、情報取込部１２０は、視聴者１による入力デバイス１２の操作により、ネットワーク１０４を介して個人属性情報ｃを入力し、個人属性・視聴傾向等データベース１０３に蓄積する（ステップＳ３０５）。

〔生理反応情報・視聴者応答蓄積処理〕
次に、（２）生理反応情報・視聴者応答蓄積処理について説明する。この処理により、視聴者１に提示されたコンテンツに対する生理反応情報及び視聴者応答が生理反応・視聴者応答データベース１０１に蓄積される。

視聴者１の要求に従って、コンテンツ配信サーバ１０５は、提示コンテンツ用データベース１０６からコンテンツを読み出し、ネットワーク１０４を介してコンテンツ提示・生理反応・視聴者応答計測装置１０へ配信する。この配信されたコンテンツは、コンテンツ提示・生理反応・視聴者応答計測装置１０によりディスプレイ１１に表示される。また、コンテンツ配信サーバ１０５によるコンテンツの配信に伴い、視聴傾向管理サーバ１００のコンテンツ読出提示部１１０は、そのコンテンツのフレーム番号等の時間情報をネットワーク１０４を介して入力し、情報取込部１２０に出力する。

情報取込部１２０は、コンテンツ読出提示部１１０からコンテンツの時間情報を入力する。また、視聴者１がディスプレイ１１に表示された基準コンテンツを視聴し、入力デバイス１２を操作すると、ネットワーク１０４を介して生理反応情報ａ及び視聴者応答ｂを入力する。そして、情報取込部１２０は、生理反応情報ａ及び視聴者応答ｂとコンテンツとの間の対応付けができるように、入力したコンテンツの時間情報に基づいて同期情報を生成する。そして、情報取込部１２０は、生理反応情報ａ、視聴者応答ｂ及び同期情報を生理反応・視聴者応答データベース１０１に蓄積する。

〔視聴傾向分析処理〕
次に、（３）視聴傾向分析処理について説明する。この処理により、視聴者のコンテンツに対する興味・関心度及び視聴傾向ベクトル等の視聴傾向情報が個人属性・視聴傾向等データベース１０３に蓄積される。図５は、視聴傾向分析処理を示すフローチャート図である。図２を参照して、前述の（２）生理反応情報・視聴者応答蓄積処理により、情報取込部１２０が、生理反応情報ａ、視聴者応答ｂ及び同期情報を生理反応・視聴者応答データベース１０１に蓄積すると共に、これらの情報を興味・関心度算出部１３０に出力する。

興味・関心度算出部１３０は、情報取込部１２０または生理反応・視聴者応答データベース１０１から生理反応情報ａ、視聴者応答ｂ及び同期情報を入力し、瞳孔径を算出し（ステップＳ５０１）、瞳孔径から興味・関心度を算出し、興味・関心度、視点位置及び同期情報を視聴傾向分析部１４０に出力すると共に、個人属性・視聴傾向等データベース１０３に蓄積する（ステップＳ５０２）。具体的には、興味・関心度算出部１３０は、前述したように、生理反応情報ａから瞳孔画像を抽出して視点位置を算出する。また、視点の移動速度や視点の軌跡等の視線運動データを求め、瞳孔画像に基づいて瞳孔径を算出する。さらに、抽出した瞳孔画像の時間的変化に基づいて、瞬目発生頻度を算出し、瞬目回数を求める。そして、興味・関心度算出部１３０は、算出した瞳孔径を用いて、前述の（１）式に示したように、興味・関心度を算出する。

視聴傾向分析部１４０は、興味・関心度算出部１３０または個人属性・視聴傾向等データベース１０３から興味・関心度及び同期情報を入力し、視聴傾向ベクトル等を算出し、コンテンツの同期情報及び視聴傾向ベクトル等を個人属性・視聴傾向等データベース１０３に蓄積する（ステップＳ５０３）。これにより、個人属性・視聴傾向等データベース１０３には、視聴傾向ベクトル等が視聴者毎及び視聴者が視聴したコンテンツ毎（視聴者及びコンテンツの組み合わせ毎）に独立して蓄積される。

以下、視聴傾向ベクトルの算出手法について、コンテンツが動画の場合と、ウェブページ等の場合に分けて説明する。まず、コンテンツが動画の場合について説明する。図６に示すように、視聴傾向分析部１４０は、動画メディアの連続する複数フレーム（シーケンス、シーン、カット等）に対応する時間区間ｊにおいて、興味・関心度の時間変動Ｉ（ｔ）の単位時間あたりの平均値（興味・関心度の平均値ｑｊ）を以下のように算出する。シーケンス、シーン、カット等に対応する時間区間ｊは、予め手入力等により設定される。

これを、サンプリング周波数Ｓでサンプリングされた離散値Ｉ（ｉ）により表現すると、以下のようになる。

ここで、ｔ１，ｔ２に対応するサンプル点をそれぞれｉ＝ｕ，ｖとする。

そして、視聴傾向分析部１４０は、視聴者Ｘの視聴傾向ベクトルを、連続する時間区間［０，ｎ］毎の興味・関心度においてその興味・関心度の単位時間あたりの平均値ｑｊの数列により設定する。

ここで、ｘは視聴者を特定する番号である。

次に、コンテンツがウェブページの場合について説明する。この場合の視聴傾向ベクトルは、ウェブページの各領域において、興味・関心度の単位時間あたりの平均値である。図７に示すように、ウェブページがＡ〜Ｇの各領域に予め分割されているものとする。視聴傾向分析部１４０は、まず、図８に示す興味・関心度Ｉ（ｔ）において、視点位置の情報に基づいて、視点の滞留領域を特定しラベル付けする。図８において、時間区間ｊ−４の視点滞留領域はＡ（Ａ０）、区間ｊ−３の視点滞留領域はＢ（Ｂ０）等のようにラベル付けする。このラベル付けは、各領域を規定する矩形の４つの頂点の座標値と当該時間での視点の座標値との間の大小関係により行われる。

例えば、Ｂ領域に着目して、時間区間ｊ−３，ｊ，ｊ＋２，ｊ＋４，・・・，ｊ＋（ｎ−１）のラベルＢ０，Ｂ１，Ｂ２，Ｂ３，・・・Ｂｎ−１について、それぞれの時間帯ｄＢ０，ｄＢ１，ｄＢ２，・・・，ｄＢｎ−１における滞留時間をＴＢ０，ＴＢ１，ＴＢ２，ＴＢ３，・・・，ＴＢｎ−１とすると、領域Ｂに対する興味・関心度の単位時間あたりの平均値ｑＢは、以下のようになる。

ここで、ＴＢは、領域Ｂに視点が滞留している総時間で以下によって算出する。

これを、サンプリング周波数をＳとして各時間区間におけるサンプル点数をＳＢ０，ＳＢ１，ＳＢ２，ＳＢ３，・・・，ＳＢｎ−１により表現すると、以下のようになる。

ここで、ＳＢは、領域Ｂに視点が滞留している時間の総サンプル点数であり、以下によって算出する。

そして、視聴傾向分析部１４０は、視聴者Ｘの視聴傾向ベクトルを、分割されたウェブページの領域毎の興味・関心度においてその興味・関心度の単位時間あたりの平均値ｑｒの数列により設定する。ここで、ｒは領域番号（ラベル）を示し、図７及び図８ではｒ＝Ａ，Ｂ，Ｃ・・・，Ｇである。

ここで、ｘは視聴者を特定する番号である。以上、コンテンツがウェブページの場合について説明したが、コンテンツが静止画像の場合も、同様にして視聴傾向ベクトルを算出することができる。

また、視聴傾向分析部１４０は、後述する情報処理部１５０における視聴傾向影響度処理手段１５３の処理のために、コンテンツのシーンに対する興味・関心度の単位時間あたりの平均値を、前述の（３）式及び（４）式のように算出し、この平均値を視聴傾向情報として個人属性・視聴傾向等データベース１０３に蓄積すると共に、情報処理部１５０に出力する。また、視聴傾向分析部１４０は、後述する情報処理部１５０における好感・嫌悪感判定処理手段１５６、インプレッション（印象）評価処理手段１５７及び指定領域エモーショナル（情動）効果処理手段１５８の処理のために、所定領域における興味・関心度等を視聴傾向情報として個人属性・視聴傾向等データベース１０３に蓄積すると共に、情報処理部１５０に出力する。

〔提示情報生成処理〕
次に、（４）提示情報生成処理について説明する。この処理により、提示情報が生成され、視聴者等へ提示される。図２を参照して、情報処理部１５０は、視聴傾向ベクトル等の視聴傾向情報に基づいて提示情報を生成する機能を有し、推薦コンテンツ処理手段１５１、注目オブジェクト情報処理手段１５２、視聴傾向影響度処理手段１５３、提示コンテンツ切替処理手段１５４、注目度判定処理手段１５５、好感・嫌悪感判定処理手段１５６、インプレッション評価処理手段１５７及び指定領域エモーショナル効果処理手段１５８を備えている。

推薦コンテンツ処理手段１５１により生成される提示情報は推薦コンテンツであり、推薦コンテンツ処理手段１５１は、視聴傾向ベクトルに基づいて視聴中のコンテンツに対する視聴傾向が類似する視聴者を特定し、視聴中のコンテンツに関連付けられたコンテンツを特定し、関連コンテンツの中から類似視聴者の興味・関心度の高いコンテンツを特定し、そのコンテンツを視聴中の視聴者１へ提示する。また、注目オブジェクト情報処理手段１５２により生成される提示情報は注目オブジェクト情報であり、注目オブジェクト情報処理手段１５２は、視聴傾向ベクトルに基づいて興味・関心度の高い領域を特定し、その領域に含まれるオブジェクトを特定し、そのオブジェクトに関する情報を視聴中の視聴者１へ提示する。また、視聴傾向影響度処理手段１５３により生成される提示情報は視聴傾向影響度情報であり、視聴傾向影響度処理手段１５３は、連続した２つのシーンにおいて、直前のシーンが後のシーンの視聴傾向に与える影響度を算出し、その影響度を視聴傾向影響度情報としてコンテンツの提供事業者等へ提示する。また、提示コンテンツ切替処理手段１５４により生成（変更）される提示情報は提示コンテンツであり、提示コンテンツ切替処理手段１５４は、複数の視聴者１による視聴傾向に基づいて提示コンテンツを決定し、この決定した提示コンテンツを提示情報として複数の視聴者１へ提示する。また、注目度判定処理手段１５５により生成される提示情報は、画面内の分析対象への注目度情報であり、注目度判定処理手段１５５は、分析対象に対する興味・関心度及び視聴者１の応答（例えば、視聴者１によるボタン押下）に基づいて、その分析対象への注目度を判定し、この注目度情報を提示情報としてコンテンツの提供事業者等へ提示する。また、好感・嫌悪感判定処理手段１５６により生成される提示情報は、画面内のオブジェクトに対する好感度及び嫌悪感度であり、好感・嫌悪感判定処理手段１５６は、分析対象のオブジェクトに対する、所定条件を満たす興味・関心度の継続時間に基づいて、オブジェクトに対する好感及び嫌悪感を判定し、さらに好感度及び嫌悪感度を算出し、この好感度及び嫌悪感度の情報を提示情報としてコンテンツの提供事業者等へ提示する。また、インプレッション評価処理手段１５７により生成される提示情報は、画面内のオブジェクトが視聴者１に与える印象度合いを示すインプレッション度であり、インプレッション評価処理手段１５７は、分析対象のオブジェクトに対する前記好感度及び嫌悪感度を総合することにより、インプレッション度を算出し、このインプレッション度の情報を提示情報としてコンテンツの提供事業者等へ提示する。また、指定領域エモーショナル効果処理手段１５８により生成される提示情報は、視聴者１が画面内のオブジェクトを見て急速に引き起こされる一時的な感情度合いを示すエモーショナル度であり、指定領域エモーショナル効果処理手段１５８は、分析対象のオブジェクトに対する前記好感度及び嫌悪感度、並びに視聴者１の最終操作（例えば、視聴者１によるマウス操作）に基づいて、指定領域エモーショナル度を算出し、この指定領域エモーショナル度を提示情報として、コンテンツの提供事業者等へ提示する。以下、推薦コンテンツ処理手段１５１、注目オブジェクト情報処理手段１５２、視聴傾向影響度処理手段１５３、提示コンテンツ切替処理手段１５４、注目度判定処理手段１５５、好感・嫌悪感判定処理手段１５６、インプレッション評価処理手段１５７及び指定領域エモーショナル効果処理手段１５８の各処理について詳細に説明する。

〔推薦コンテンツ提示処理〕
まず、推薦コンテンツ提示処理について説明する。図９は、推薦コンテンツ提示処理を示すフローチャート図である。図１０は、図９の処理における情報の流れを示す図である。いま、視聴者１（Ｘ）が、提示コンテンツ用データベース１０６から提示されたコンテンツαを視聴しているものとする。この場合、コンテンツαを視聴している視聴者１（Ｘ）に対し、前述の（２）生理反応情報・視聴者応答蓄積処理及び（３）視聴傾向分析処理が行われている（ステップＳ９０１，Ｓ９０２）。すなわち、視聴傾向分析部１４０は、視聴者１（Ｘ）が視聴しているコンテンツαに対する視聴傾向ベクトル（以下、ベクトルＱｘ（α）という）

を算出する。

そして、視聴中の視聴者１（Ｘ）が入力デバイス１２により検索開始の操作を行うと、情報処理部１５０の推薦コンテンツ処理手段１５１は、視聴者１（Ｘ）に類似する嗜好傾向をもつ視聴者を特定する。具体的には、推薦コンテンツ処理手段１５１は、個人属性・視聴傾向等データベース１０３から視聴者１（Ｘ）を含む各視聴者の個人属性情報ｃを読み出し、視聴者１（Ｘ）の個人属性と他の視聴者の個人属性との間のマッチングを判定する（ステップＳ９０３）。例えば、個人属性情報ｃのうちの年齢について、視聴者１（Ｘ）の年齢を基準にして予め設定された範囲内の年齢の視聴者を、マッチングした視聴者として判定する。マッチングした視聴者をＹ，Ｚ，Ｕ，Ｖ，Ｗ・・・とする。

また、推薦コンテンツ処理手段１５１は、視聴傾向分析部１４０から視聴者１（Ｘ）の視聴傾向ベクトルＱｘ（α）を入力し、個人属性・視聴傾向等データベース１０３から、マッチングした視聴者Ｙ，Ｚ等のコンテンツαに対する視聴傾向ベクトルＱｙ（α），Ｑｚ（α）・・・、すなわち

を読み出し、コンテンツαに対する視聴者１（Ｘ）とマッチングした視聴者Ｙ，Ｚ等との間の視聴傾向相関度を算出し（ステップＳ９０４）、類似する視聴者を特定する（ステップＳ９０５）。尚、個人属性・視聴傾向等データベース１０３には、前記（３）視聴傾向ベクトル算出及び蓄積処理により、各視聴者のコンテンツαに対する視聴傾向ベクトルが格納されているものとする。

視聴傾向相関度の算出手法について説明する。以下は、視聴者Ｘと視聴者Ｙとの間の同一コンテンツに対する視聴傾向相関度Ｒｖを算出する手法について説明する。推薦コンテンツ処理手段１５１は、視聴者Ｘの視聴傾向ベクトルＱｘと視聴者Ｙの視聴傾向ベクトルＱｙとの間の内積を算出し、これをベクトルの次元数で正規化して視聴傾向相関度Ｒｖとする。

この場合、Ｒｖが大きいほど相関が高くなる。

また、推薦コンテンツ処理手段１５１は、以下の数式により視聴傾向相関度Ｒｖを算出するようにしてもよい。

この場合、Ｒｖが小さいほど相関が高くなる。尚、コンテンツが動画の場合だけでなくウェブページの場合にも同様の手法により、視聴傾向相関度が算出される。

この場合、視聴傾向相関度Ｒｖは、シーケンス、シーン等の各時間区間について算出されるが、予め設定された時間区間について算出されるようにしてもよい。

推薦コンテンツ処理手段１５１は、（１１）式により視聴傾向相関度を算出した場合には、この相関度が予め設定された閾値以上のときに、類似する視聴者であると判定する。また、（１２）式により視聴傾向相関度を算出した場合には、この相関度が予め設定された閾値以下のときに、類似する視聴者であると判定する。このようにして、推薦コンテンツ処理手段１５１は、マッチングした視聴者Ｙ，Ｚ等の中から、類似する視聴者を特定する。

そして、推薦コンテンツ処理手段１５１は、図示しない関連コンテンツテーブルからコンテンツαに関連するコンテンツａ，ｂ，ｃ・・・のリストを読み出し（ステップＳ９０６）、関連コンテンツａ，ｂ，ｃ等に対し、ステップＳ９０５により特定した類似視聴者が高い興味・関心度を示したシーン等を含むコンテンツを、推奨コンテンツとして特定し、視聴者１へ提示する（ステップＳ９０７）。また、提示されたコンテンツの中から、視聴者１が注目したコンテンツが選択され、ディスプレイ１１の表示画面が注目コンテンツに切り替わる。ここで、関連コンテンツテーブルには、コンテンツのジャンルや映像内の情景等に応じて、コンテンツ毎に、関連するコンテンツが予め設定されている。前述の例では、コンテンツαに関連するコンテンツとして、コンテンツａ，ｂ，ｃ・・・が設定されている。この際、図示しない方法により記述されるコンテンツのメタデータ内のキーワードの類似性や映像内の色調の類似性等を判定方法として使用することができる。ただし、類似性の判定はこれらの方法に限定されるものではない。また、関連コンテンツテーブルの中身は予め設定しておくようにしてもよいし、推薦コンテンツ提示処理（ステップＳ９０１〜Ｓ９０７）の任意のステップの前後で更新するようにしてもよい。この関連コンテンツテーブルの設定または更新は、図示しないシステム操作者による手入力やシステムの状態に基づく自動生成により行うことができる。例えば、ステップＳ９０５により特定した類似視聴者が過去に視聴したことのある任意のコンテンツを、ネットワークに接続されたサーバや操作端末に接続された蓄積装置等に蓄えられているコンテンツの中から抽出することにより、関連コンテンツテーブルを作成することが可能である。

例えば、推薦コンテンツ処理手段１５１は、コンテンツａに対して、類似視聴者の最も高い興味・関心度、または視聴傾向ベクトルの要素（時間区間における興味関心度の単位時間あたりの平均値）のうちの最も大きな要素を求め、同様に、コンテンツｂ，ｃ等についても求め、そのうちの最も高い興味・関心度または視聴傾向ベクトルの要素の値を有するコンテンツを推奨コンテンツとして特定する。また、例えば、興味・関心度の高い順、または視聴傾向ベクトルの要素の値が大きい順にコンテンツリストを生成し、これを推奨コンテンツとして特定する。

このような視聴傾向相関度の算出手法は、コンテンツが動画の場合だけでなくウェブページや静止画像等の場合も同様に適用される。

図１１は、推薦コンテンツ提示処理における画面推移を示す図である。視聴者１がディスプレイ１１のコンテンツを視聴しているときに（Ａ）、入力デバイス１２により検索開始の操作を行うと、視聴者１の視聴傾向に合った推薦コンテンツが提示される（Ｂ）。視聴者１は、見たいコンテンツに注目すると、そのコンテンツの画面に切り替わる（Ｃ）。このような一連の処理が視聴傾向管理サーバ１００により実現される。

以上のように、本発明の実施の形態によれば、推薦コンテンツ提示処理により、興味・関心度算出部１３０が、コンテンツを視聴している視聴者の生理反応情報等から興味・関心度の時間変動を算出し、視聴傾向分析部１４０が視聴傾向ベクトルを算出し、推薦コンテンツ処理手段１５１が、視聴傾向ベクトルから類似視聴者を特定し、関連コンテンツの中から推奨コンテンツを特定し、これを有用な嗜好情報として視聴中の視聴者へ提示するようにした。これにより、視聴者は、視聴したことのない自己の嗜好に合ったコンテンツを得ることができる。つまり、データ入力やキー操作等の複雑な操作を行うことなく、自己の嗜好に合った有用な情報を得ることができる。

〔注目オブジェクト情報提示処理〕
次に、注目オブジェクト情報提示処理について説明する。図１２は、注目オブジェクト情報提示処理を示すフローチャート図である。この処理は、例えば、番組中に表示されたオブジェクトに対する視聴者の興味・関心度を算出し、そのオブジェクトに関する情報（販売サイトやサービス等の情報）を提示するものである。いま、視聴者１が、提示コンテンツ用データベース１０６から提示されたコンテンツαを視聴しているものとする。この場合、コンテンツαを視聴している視聴者１に対し、前述の（２）生理反応情報・視聴者応答蓄積処理及び（３）視聴傾向分析処理が行われている（ステップＳ１２０１）。すなわち、視聴傾向分析部１４０は、視聴者１が視聴しているコンテンツαに対する視聴傾向ベクトルを算出する。

そして、視聴中の視聴者１が入力デバイス１２により検索モードへの移行指示の操作を行うと、情報処理部１５０の注目オブジェクト情報処理手段１５２は、視聴傾向ベクトルから興味・関心度の高い領域を特定する（ステップＳ１２０２）。例えば、（１０）式に示した領域毎の興味・関心度の要素から成る視聴傾向ベクトルについて、興味・関心度の最も高い領域を特定する。そして、その領域に表示されているオブジェクトを、予め設定されたテーブル（コンテンツにおける領域とオブジェクトとが対応付けられたテーブル）により特定し（ステップＳ１２０３）、特定したオブジェクトに関連する情報のロケーションを、図示しないオブジェクト情報データテーブルから抽出し、そのロケーション（ＵＲＬやＵＲＩ等で指定）からオブジェクトに関連付けられた商品、サービスの情報や販売サイト等の情報を視聴者１へ提示する（ステップＳ１２０４）。この場合、視聴者１によるコンテンツαの視聴が終わったときに、注目オブジェクト情報処理手段１５２は、視聴者１による入力デバイス１２の操作に従って検索モード終了を判定し、オブジェクトに関する情報や販売サイト等の情報をディスプレイ１１に表示したり、電子メールにて送信するようにしてもよい。

図１３は、注目オブジェクト情報提示処理における画面推移を示す図である。視聴者１がディスプレイ１１のコンテンツを視聴しているときに（Ａ）、入力デバイス１２により検索開始の操作を行うと、視聴者１の視聴傾向に合った注目オブジェクト情報が提示される（Ｂ）。視聴者１は、さらに知りたい項目に注目すると、そのオブジェクト項目に関する詳細情報の画面に切り替わる（Ｃ）。このような一連の処理が視聴傾向管理サーバ１００により実現される。なお、注目オブジェクト情報提示処理において、注目オブジェクト情報処理手段１５２は、図１３の視聴対象コンテンツの同一画面上に、視聴者１が注目したオブジェクトに関する情報を、ポップアップする小画面や吹き出し等により提示するようにしてもよい。この場合、さらに、ポップアップした小画面や吹き出し等が表示されている情報提示領域を視聴者１が注目したか否かを興味・関心度に基づいて判定し、オンライン購入サイトでの仮想ショッピングカートへ商品を入れる等の商品購入に必要な処理指示の制御情報を、外部のシステムに送信する。

以上のように、本発明の実施の形態によれば、注目オブジェクト提示処理により、興味・関心度算出部１３０が生理反応情報等から興味・関心度を画面上の領域毎に算出し、視聴傾向分析部１４０が視聴傾向ベクトルを算出し、注目オブジェクト情報処理手段１５２が興味・関心度の高い領域内のオブジェクトを特定し、そのオブジェクトに関する情報を提示するようにした。これにより、視聴者は、コンテンツとして表示されたオブジェクトに関する情報を得る場合に、データ入力やキー操作等の複雑な操作を行うことなく、有用な情報を得ることが可能となる。さらに、注目オブジェクト情報の提示部分を視聴者が注目したことを判定し、その結果に基づいて処理指示の制御情報を外部のシステムへ送信することも可能となる。

〔視聴傾向影響度情報提示処理〕
次に、視聴傾向影響度情報提示処理について説明する。図１４は、視聴傾向影響度情報提示処理を示すフローチャート図である。図１５はこの処理を説明するための図である。一般に、連続した２つのシーンにおいて、後のシーンの興味・関心度は直前のシーンの興味・関心度の影響を受けることが知られている。この処理は、連続した２つのシーンにおいて、直前のシーンが後のシーンに与える視聴傾向の影響度を算出し、これを視聴傾向影響度情報として提示するものである。

図１５において、映像のシーケンスＡをシーンＡ→シーン１の順番とし、シーケンスＢをシーンＢ→シーン１の順番としてそれぞれ提示された場合の視聴傾向影響度を算出するものとする。シーケンスＡにおけるシーンＡ，シーン１の単位時間あたりの興味・関心度をｑＡ，０，ｑＡ，１とし、シーケンスＢにおけるシーンＢ，シーン１の単位時間あたりの興味・関心度をｑＢ，０，ｑＢ，１とし、シーン１単体における興味・関心度をｑ０，１とする。

視聴傾向分析部１４０は、興味・関心度算出部１３０または個人属性・視聴傾向等データベース１０３から、シーケンスＡにおけるシーンＡの興味・関心度及びシーン１の興味・関心度を、シーケンスＢにおけるシーンＢの興味・関心度及びシーン１の興味・関心度を、シーン１単体の興味・関心度を入力する。尚、個人属性・視聴傾向等データベース１０３には、これらの情報が予め蓄積されているものとする。そして、視聴傾向分析部１４０は、単位時間あたりの興味・関心度ｑＡ，０，ｑＡ，１，ｑＢ，０，ｑＢ，１，ｑ０，１を、前述の（３）式及び（４）式によりそれぞれ算出する（ステップＳ１４０１）。

ここで、シーケンスＡにおけるシーン１の部分の興味・関心度ｑＡ，１、及びシーケンスＢにおけるシーン１の部分の興味・関心度ｑＢ，１は以下のように表すことができる。

この（１３）式を１次近似すると、シーンＡがシーン１に与える視聴傾向影響度ｋ（ｑＡ，０）、及びシーンＢがシーン１に与える視聴傾向影響度ｋ（ｑＢ，０）を用いて、以下のように表すことができる。

情報処理部１５０の視聴傾向影響度処理手段１５３は、視聴傾向分析部１４０により算出された各興味・関心度を入力し、前述の（１３）式及び（１４）式を用いて、シーンＡがシーン１に与える視聴傾向影響度ｋ（ｑＡ，０）、及びシーンＢがシーン１に与える視聴傾向影響度ｋ（ｑＢ，０）をそれぞれ算出する（ステップＳ１４０２）。このように算出された視聴傾向影響度は、例えばコンテンツ提供事業者へ提供される。

以上のように、本発明の実施の形態によれば、視聴傾向影響度情報提示処理により、図１５に示した３つのシーケンスにて十分な時間間隔をもって視聴させ、興味・関心度算出部１３０が興味・関心度の時間変動を算出し、視聴傾向分析部１４０が各シーンにおける単位時間あたりの興味・関心度を算出し、視聴傾向影響度処理手段１５３が、シーンＡがシーン１に与える視聴傾向影響度及びシーンＢがシーン１に与える視聴傾向影響度を算出するようにした。この場合、例えば、複数の視聴者等により視聴傾向影響度を多数算出し、これらを統計解析により近似曲線を求めることにより、信頼性の一層高い視聴傾向影響度を提示することができる。また、シーンＡがシーン１に与える視聴傾向影響度と、シーンＢがシーン１に与える視聴傾向影響度とを比較することにより、シーン１の興味・関心度を引き上げる効果を有するシーンを選定することができる。例えば、シーンＡがシーン１に与える視聴傾向影響度の方が、シーンＢがシーン１に与える視聴傾向影響度よりも高い場合、シーンＡの方がシーンＢよりも、シーン１の興味・関心度引き上げ効果が大きいことがわかる。これにより、コンテンツ提供事業者は、コンテンツを評価する場合に、有用な情報を得ることが可能となる。

〔提示コンテンツ切替処理〕
次に、提示コンテンツ切替処理について説明する。図１６は、提示コンテンツ切替処理を説明するための視聴傾向管理システムの全体構成を示すブロック図である。図１７は、提示コンテンツ切替処理を説明するための興味・関心度の推移を示す図である。図１８は、提示コンテンツ切替処理を示すフローチャート図である。図１９は、図１８に示すフローチャートにおける提示コンテンツ決定処理を説明する図である。図１６において、この提示コンテンツ切替処理を説明するための視聴傾向管理システム２００は、図１に示した視聴傾向管理システム２において、複数のコンテンツ提示・生理反応・視聴者応答計測装置１０−１〜１０−ｎ、ディスプレイ１１−１〜１１−ｎ、入力デバイス１２−１〜１２−ｎ、生理反応計測装置１３−１〜１３−ｎ及びＩＲライト１４−１〜１４−ｎを備えて構成される。この処理は、図１６の視聴傾向管理システム２００において、複数の視聴者１−１〜１−ｎが同じコンテンツを視聴している場合に、複数の視聴者１−１〜１−ｎの視聴傾向に基づいて、これから提示するコンテンツを決定し提示するものである。いま、視聴者１−１〜１−ｎが、提示コンテンツ用データベース１０６から提示されたコンテンツを視聴しているものとする。

提示コンテンツ切替処理を行うにあたって、図２において図示しない設定部は、予め対象視聴者を設定する（ステップＳ１８０１）。ここでは、複数の視聴者のうちのｎ人（視聴者１−１〜１−ｎ）が設定されたものとする。また、設定部は、視聴傾向を分析する対象となる時間区間を過去の時間区間（０〜ｊ）の中から設定し（ステップＳ１８０２）、分析する対象として「画面全体」「エリア」「オブジェクト」を設定する（ステップＳ１８０３）。例えば、動画またはウェブページのコンテンツにおいて、分析対象が「画面全体」の場合は、スポーツ番組、ドラマ、ニュース、ＣＭ（コマーシャル）等であり、「エリア」の場合は、前記画面中の人物、用品、商品、ニュース対象、ＣＭ対象等を含む領域であり、「オブジェクト」の場合は、前記画面中の人物、用品、商品、ニュース対象、ＣＭ対象等のオブジェクトを含む領域である。「エリア」を設定する場合は、画面全体の中から任意の領域を座標等により指定して設定する。また、「オブジェクト」を設定する場合、分析対象とするオブジェクトの領域を座標等により指定して設定する。

ステップＳ１８０１〜Ｓ１８０３により、視聴者、時間区間及び分析対象が予め設定されると、視聴傾向分析部１４０は、個人属性・視聴傾向データベース１０３から興味・関心度及び視点位置を読み出し、または、興味・関心度算出部１３０から興味・関心度及び視点位置を入力し（ステップＳ１８０４）、予め設定された視聴者１−１〜１−ｎの分析対象である「画面全体」「エリア」「オブジェクト」毎に、視点がその分析対象に滞留していた時間について興味・関心度Ｉ_１（ｔ），Ｉ_２（ｔ），・・・，Ｉ_ｎ（ｔ）を設定する。視点がその分析対象に滞留していない時間の興味・関心度は０とする。そして、視聴傾向分析部１４０は、視聴者１−１〜１−ｎの分析対象毎に、予め設定された時間区間における視聴傾向ベクトル、すなわちその時間区間における興味・関心度の単位時間あたりの平均値を算出する（ステップＳ１８０５）。視聴傾向ベクトルの算出手法については前述したので、ここでは説明を省略する。視聴傾向分析部１４０は、視聴者１−１〜１−ｎの分析対象毎の興味・関心度Ｉ_１（ｔ），Ｉ_２（ｔ），・・・，Ｉ_ｎ（ｔ）、及び視聴傾向ベクトルを個人属性・視聴傾向データベース１０３に格納する。

つまり、図１７に示すように、時間区間ｊ−３〜ｊまでは既にコンテンツが提示され視聴済みである場合、コンテンツを視聴している視聴者１−１〜１−ｎについて、前述の（２）生理反応情報・視聴者応答蓄積処理及び（３）視聴傾向分析処理が既に完了しており、視聴傾向分析部１４０は、予め設定された視聴者１−１〜１−ｎの時間区間毎に、視聴傾向ベクトル（興味・関心度の単位時間あたりの平均値を時間区間毎に要素としたもの）を算出する。

情報処理部１５０の提示コンテンツ切替処理手段１５４は、設定部により予め設定された閾値と、視聴傾向分析部１４０により算出された視聴傾向ベクトルの要素である興味・関心度の平均値とを比較し、閾値を超える興味・関心度の平均値を有する視聴者の数をカウントする（ステップＳ１８０６）。例えば、予め設定された時間区間のうちの一つの時間区間の興味・関心度が閾値を超える場合も、視聴者の数をカウントする。

そして、提示コンテンツ切替処理手段１５４は、この視聴者カウント数と、図２において図示しない設定部により予め設定された閾値とから割合を算出し、その割合値が設定部により予め設定された閾値を超える場合に、視聴者がその分析対象に興味があるものと判定し、設定部により予め分析対象に対応して設定されたコンテンツを、これから提示する時間区間ｊ＋１の示コンテンツに決定する（ステップＳ１８０７）。

いま、図１９に示すように、設定部により、分析対象「オブジェクト」とコンテンツＡ、分析対象「エリア」とコンテンツＢ、分析対象「画面全体」とコンテンツＣ、及びその他の場合にコンテンツＤがそれぞれ対応付いて設定されているものとする。提示コンテンツ切替処理手段１５４は、それぞれの分析対象について、視聴者カウント数が閾値を超える場合に、それぞれコンテンツＡ〜Ｄのうちのいずれかのコンテンツを提示コンテンツとして決定する。複数のコンテンツのうちのいずれかのコンテンツを決定するには、予め設定された優先順位に従う。例えば、「オブジェクト」の視聴者カウント数のみが閾値を超えている場合、コンテンツＡを提示コンテンツに決定する。また、「オブジェクト」に加えて「エリア」の視聴者カウント数が閾値を超えている場合、優先順位は「オブジェクト」の方が高いとしてコンテンツＡを提示コンテンツに決定する。また、いずれの分析対象の視聴者カウント数も閾値を超えていない場合、コンテンツＤを提示コンテンツに決定する。この場合、時間区間ｊに提示していたコンテンツと同じコンテンツを提示コンテンツに決定する（コンテンツを変更しないようにする）ようにしてもよい。

尚、複数の視聴者１−１〜１−ｎのうち何人かを同一会場に集め、視聴傾向を分析するようにしてもよい。この場合、コンテンツ提示・生理反応・視聴者応答計測装置１０−１〜１０−ｎ、ディスプレイ１１−１〜１１−ｎ、入力デバイス１２−１〜１２−ｎ、生理反応計測装置１３−１〜１３−ｎ及びＩＲライト１４−１〜１４−ｎのうちの全てまたは一部を共有するような構成にしてもよい。

以上のように、本発明の実施の形態によれば、提示コンテンツ切替処理により、視聴傾向分析部１４０が、予め設定された視聴者の分析対象（「画面全体」「エリア」「オブジェクト」）毎に興味・関心度を設定し、時間区間毎に視聴傾向ベクトルを算出し、提示コンテンツ切替処理手段１５４が、分析対象毎に興味・関心度の高い視聴者数をカウントし、視聴者カウント数に基づいて提示コンテンツを決定するようにした。これにより、視聴者は、予め設定された複数の視聴者において、データ入力やキー操作等の複雑な操作を行うことなく、興味の高いコンテンツに切り替えて視聴することができる。

〔注目度判定処理〕
次に、注目度判定処理について説明する。図２０は、注目度判定処理を示すフローチャート図である。この処理は、例えば、番組中に表示されたオブジェクトに対する視聴者の興味・関心度及び視聴傾向ベクトルを算出し、そのオブジェクトへの注目度情報を提示するものである。

注目度判定処理を行うにあたって、図２において図示しない設定部は、分析対象として「画面全体」「エリア」「オブジェクト」及びその時間帯（時間区間）を予め設定する（ステップＳ２００１）。分析対象については前記のとおりである。

視聴傾向分析部１４０は、個人属性・視聴傾向データベース１０３から興味・関心度及び視点位置を読み出し、または、興味・関心度算出部１３０から興味・関心度及び視点位置を入力し、予め設定された分析対象である「画面全体」「エリア」「オブジェクト」毎に、視点がその分析対象に滞留していた分析時間帯について興味・関心度を設定する。視点がその分析対象に滞留していない時間の興味・関心度は０とする。そして、視聴傾向分析部１４０は、分析対象毎に、予め設定された分析時間帯における視聴傾向ベクトル、すなわちその時間帯における興味・関心度の単位時間あたりの平均値を算出する（ステップＳ２００２）。視聴傾向ベクトルの算出手法については前述したので、ここでは説明を省略する。

また、情報処理部１５０の注目度判定処理手段１５５は、予め設定された分析時間帯におけるマウスクリックやボタン押下の視聴者応答の有無を、生理反応・視聴者応答データベース１０１から視聴者応答を読み出して判定する（ステップＳ２００３）。

そして、注目度判定処理手段１５５は、それぞれの分析対象について、以下の３つの条件、または少なくとも一つの条件を満たす場合に、その分析対象に対する分析時間帯については注目度大であると判定し、いずれの条件を満たさない場合に、注目度小であると判定し、提示情報として提示する（ステップＳ２００４）。
（１）視点が分析対象の領域内に存在すること。分析時間帯の興味・関心度が０の場合はその分析対象の領域内に視点が存在しないことになる。
（２）興味・関心度の単位時間あたりの平均値が予め設定された閾値を超えること。この閾値は、図２において図示しない設定部により設定される。
（３）予め設定された分析時間帯において視聴者応答があること。

以下、注目度判定処理について具体例を挙げて説明する。この注目度判定処理の例は、動画シーケンスを有するコンテンツに対して、複数のオブジェクト（オブジェクトを含む領域）及び時間帯を予め設定し、そのオブジェクト毎に視聴者が注目していたか否かを判定し、設定した複数のオブジェクトのうち注目していたオブジェクトの割合（注目率）を算出し、さらに、注目していたと判定したオブジェクトについて応答時間（反応時間）を算出し、これらの情報を提示情報として出力するものである。尚、この例では、オブジェクトを分析対象とし、複数のオブジェクトを予め設定し、オブジェクト毎に処理するようにしたが、画面全体を分析対象として処理するようにしてもよい。また、任意の形状の領域を分析対象として、複数の領域を予め設定し、その領域毎に処理するようにしてもよい。この場合、設定した領域の形状はビットマップ情報で保存され（分析対象部分を１、それ以外を０として保存され）、視点位置のビットマップ情報が１の場合はその領域内にあると判定され、０の場合はその領域内にないと判定される。

図２において図示しない設定部が、分析対象としての「オブジェクト」及びその時間帯を予め設定する。この場合、分析対象は、同じ「オブジェクト」が別時間に提示されるとき、同一「オブジェクト」として設定してもよいし、異なる「オブジェクト」として設定してもよい。また、時間帯は、異なる「オブジェクト」について重複していてもよい。図２１は、注目度判定処理を説明するための興味・関心度の推移を示す図である。また、図２２は、注目度判定処理を説明するためのオブジェクトを示す図である。設定部は、図２１に示す興味・関心度の推移を示す時間軸において、オブジェクトＡが提示されている時間区間ｊ−１［Ｔ_ＡＳ，Ｔ_ＡＥ］を注目度判定区間の時間帯として設定する。ここで、Ｔ_ＡＳは時間区間ｊ−１の開始時刻を示し、Ｔ_ＡＥは終了時刻を示す。また、設定部は、図２２に示すオブジェクトＡを含む領域を設定する。ここで、オブジェクトＡを含む領域は、
左上座標

右下座標

により指定される矩形領域である。

つまり、注目度判定処理手段１５５は、コンテンツの時間区間ｊ−１（時区間［Ｔ_ＡＳ，Ｔ_ＡＥ］）におけるオブジェクトＡの注目度を判定する。同様に、複数のオブジェクトの注目度を判定し、コンテンツにおけるオブジェクトＡ等に対する注目度情報として、オブジェクトＡ等に注目していたか否かを判定すると共に、オブジェクトＡ等への注目率、及び注目していた場合の応答時間（反応時間）を算出し、これらを提示情報として出力する。

個人属性・視聴傾向データベース１０３には、あるコンテンツに対する興味・関心度（図２１を参照）、視点位置及び同期情報が格納され、生理反応・視聴者応答データベース１０１には、そのコンテンツに対するマウスクリックやボタン押下等の視聴者応答及び同期情報が格納されているものとする。

視聴傾向分析部１４０は、個人属性・視聴傾向データベース１０３から興味・関心度、視点位置及び同期情報を読み出し、同期情報により時刻ｔ（Ｔ_ＡＳ＜ｔ＜Ｔ_ＡＥ）における視点（視点位置）

がオブジェクトＡを含む領域内にあるか否かを、以下の式により判定する。
ｘ_ＡＬ（ｔ）≦Ｅ_ｘ（ｔ）≦ｘ_ＡＲ（ｔ），ｙ_ＡＬ（ｔ）≦Ｅ_ｙ（ｔ）≦ｙ_ＡＲ（ｔ）
ここで、視点がオブジェクトＡを含む領域にあるものと判定した時区間を、Ｔ_ＡＳ，１＜ｔ＜Ｔ_ＡＥ，１，Ｔ_ＡＳ，２＜ｔ＜Ｔ_ＡＥ，２，・・・，Ｔ_ＡＳ，ｎ＜ｔ＜Ｔ_ＡＥ，ｎとする（以下、この時区間を視点一致時区間という。）。

そして、視聴傾向分析部１４０は、視点一致時区間における興味・関心度について、単位時間あたりの平均値を算出する。また、視聴傾向分析部１４０は、この視点一致時区間における興味・関心度の単位時間あたりの平均値を、同期情報及び視点一致時区間の情報と共に個人属性・視聴傾向データベース１０３に格納する。

情報処理部１５０の注目度判定処理手段１５５は、視聴傾向分析部１４０または個人属性・視聴傾向データベース１０３から視点一致時区間における興味・関心度の単位時間あたりの平均値等を入力し、生理反応・視聴者応答データベース１０１から視聴者応答及び同期情報を入力する。そして、注目度判定処理手段１５５は、同期情報により、視点一致時区間内に視聴者応答があったか否かを判定する。視点一致時区間内に視聴者応答があったと判定した場合には、視点一致時区間における興味・関心度の単位時間あたりの平均値ｑ_Ａが予め設定された閾値ｔｈ_Ａを超えているか否かを判定し、超えているときは（ｑ_Ａ＞ｔｈ_Ａ）、オブジェクトＡに注目していたものと判定する。
ここで、ｑ_Ａを以下に示す。

尚、視聴傾向分析部１４０は、視点一致時区間における興味・関心度について、その積分値Ｑ_Ａを算出し、注目度判定処理手段１５５は、視聴傾向分析部１４０により算出された興味・関心度の積分値Ｑ_Ａが予め設定された閾値ＴＨ_Ａを超えているか否かを判定し、超えているときは（Ｑ_Ａ＞ＴＨ_Ａ）、オブジェクトＡに注目していたものと判定するようにしてもよい。

このようにして、注目度判定処理手段１５５は、予め設定された複数のオブジェクトに対し、予め設定された時間帯において注目していたか否かを判定する。例えば、図２１において、オブジェクトＢについて時間帯が時間区間ｊ、オブジェクトＣについて時間帯が時間区間ｊ＋２、オブジェクトＤについて時間帯が時間区間ｊ＋４であると設定された場合、注目度判定処理手段１５５は、それぞれのオブジェクトに対し、注目していたか否かを判定する。

そして、注目度判定処理手段１５５は、注目率Ｒを以下の式により算出する。

ここで、Ｎは予め設定されたオブジェクトの数を示し、ｎは注目していたものと判定されたオブジェクトの数を示す。

また、注目度判定処理手段１５５は、注目していたものと判定した場合の応答時間（反応時間）を算出する。例えば、オブジェクトＡに対する応答時間Ｓ_Ａ,resを、以下の式により算出する。
Ｓ_Ａ,res＝Ｔ_Ａ,push−Ｔ_ＡＳ
ここで、Ｔ_Ａ,pushは視聴者応答の時刻（例えばボタン押下時刻）を示し、Ｔ_ＡＳは時間区間ｊ−１の開始時刻を示す。つまり、応答時間は、オブジェクトＡに対する注目度判定処理を行う開始時刻から（図２２に示したオブジェクトＡが提示（画面に表示）されてから）、視聴者によるボタン押下時刻までの時間をいう。

注目度判定処理手段１５５は、全てのオブジェクトに対する応答時間を算出した後に、その応答時間の平均値や分散等を算出し、これらの情報を、視聴者の応答反応の傾向を判断するための情報としてコンテンツの提供事業者等へ提示する。

また、図１６に示した視聴傾向管理システム２００のように、予め設定された複数の視聴者毎に、興味・関心度算出部１３０が興味・関心度を算出し、視聴傾向分析部１４０が予め設定された分析時間帯の視点一致時区間における興味・関心度について、積分値または単位時間あたりの平均値を算出する。そして、注目度判定処理手段１５５は、複数の視聴者毎に、オブジェクトＡに注目していたか否かを判定する。また、注目度判定処理手段１５５は、オブジェクトＡに注目していたと判定した視聴者の数を、予め設定された複数の視聴者の数で除算することにより、オブジェクトＡに注目していた視聴者の割合を算出する。さらに、オブジェクトＡに注目していた視聴者の視点がオブジェクトＡを含む領域（分析対象の領域）に視点が存在していた時間長を算出し、オブジェクトＡに注目していた視聴者の視点一致時区間における興味・関心度の積分値または単位時間あたりの平均値から、オブジェクトＡに注目していた全ての視聴者に対するその平均値、分散値、標準偏差値、最大値及び最小値を算出する。

以上のように、本発明の実施の形態によれば、注目度判定処理により、注目度判定処理手段１５５が、予め設定された分析対象（複数のオブジェクト）及び時間帯につき、興味・関心度の積分値または単位時間あたりの平均値に基づいて、オブジェクト毎に視聴者が注目していたか否かを判定し、その注目率を算出し、さらに、注目していたと判定したオブジェクトについて応答時間（反応時間）を算出し、これらの情報を注目度情報として提示するようにした。これにより、コンテンツ提供事業者等は、予め設定された分析対象及び時間帯において、データ入力やキー操作等の複雑な操作を行うことなく、コンテンツ評価のための有用な情報として注目度情報を得ることが可能となる。また、注目度判定処理手段１５５が、予め設定された複数の視聴者のうち、分析対象のオブジェクトに注目していた視聴者を判定し、その割合、分析対象を見ていた時間長等の統計情報を算出するようにした。これらの統計情報は、コンテンツの指定領域効果度を判断するために利用することができる。これにより、コンテンツ提供事業者等は、コンテンツ評価のための有用な情報を得ることが可能となる。

また、本発明の実施の形態によれば、注目度判定処理により、例えば、人間が機械を操作している場面を撮影したコンテンツ、またはその操作を模した場面を撮影したコンテンツを用いる場合には、視聴者に対して、機械の操作方法や安全性を教育することができる。例えば、ある設備を制御及び管理する制御パネルの操作方法や安全性の教育を行う場合、教育を受ける視聴者が、設備の運転状態を表示したモニタや運転状態ランプや警報ランプ等が配置された制御パネルの状況を撮影したコンテンツを見る。そうすると、注目度判定処理手段１５５は、予め設定された複数の分析対象（例えば警報ランプを含む領域）及び時間帯につき、それぞれ注目していたか否かを判定し、その注目率及び応答時間を算出する。例えば、分析対象を、警報ランプを含む領域とした場合、注目度判定処理手段１５５は、視聴者がその警報ランプの点灯に注目したか否か、注目してから所定の操作（視聴者応答）が行われるまでの応答時間等を算出する。すなわち、注目度判定処理手段１５５は、分析対象に対する必要な操作に関する情報（操作情報）、及び分析対象の応答時間に対する閾値を予め設定しておき、視聴者応答及び前述した操作情報に基づいて、視聴者応答が操作情報に合致した場合、正しい操作を行ったと判定し、合致しない場合、正しい操作を行わなかったと判定する。また、注目度判定処理手段１５５は、応答時間及び前述した閾値に基づいて、応答時間が閾値以内である場合、操作のタイミングが適切であったと判定し、応答時間が閾値以内でない場合、操作のタイミングが適切でなかったと判定する。また、注目度判定処理手段１５５は、これらの判定により、警報ランプが点灯したときに、有効な操作が適切な時間内に行われたか否かを判定し、これらの判定結果も含めて注目度情報として提示する。さらに、注目度判定処理手段１５５は、複数の分析対象に対して前述した処理を行い、有効な操作が適切な時間内に行われた分析対象の数を分析対象の総数で除算して比率を算出し、その比率から視聴者の習熟度を算出し（例えば、算出した比率を習熟度とみなして）、それを注目度情報として提示する。これにより、視聴者は、提示された注目度情報に基づいて、本来注目すべきであるにもかかわらず注目していなかった分析対象や、自らの習熟度を判断することができる。このように、機械操作を撮影したコンテンツ等を用いることにより、視聴者が機械操作に習熟しているか否か、どの分析対象に注目すべきであったか、安全な操作を行ったか否か、危険を適切に認識したか否か等を判断することができるから、このような注目度判定処理を行う視聴傾向管理サーバ１００を、機械操作教育のためのツールとして活用することができる。

〔好感・嫌悪感判定処理〕
次に、好感・嫌悪感判定処理について説明する。図２３は、好感・嫌悪感判定処理を示すフローチャート図である。この処理は、例えば、番組中に表示されたオブジェクトに対する視聴者の好感度または嫌悪感度を算出し、これらの情報を提示するものである。

好感・嫌悪感判定処理を行うにあたって、図２において図示しない設定部は、分析対象の「オブジェクト」を含む領域及びその時間帯を予め設定する（ステップＳ２３０１）。

視聴傾向分析部１４０は、個人属性・視聴傾向データベース１０３から興味・関心度及び視点位置を読み出し、または、興味・関心度算出部１３０から興味・関心度及び視点位置を入力し、分析時間帯において、予め設定された分析対象の「オブジェクト」を含む領域に視点が滞留していた時間を示す視点一致時区間の興味・関心度を設定する。視点がその領域に滞留していない時間の興味・関心度は０とする。そして、視聴傾向分析部１４０は、視点一致時区間の興味・関心度から、所定条件を満たす時間（興味・関心継続時間）を算出し（ステップＳ２３０２）、興味・関心継続時間を視聴傾向情報として情報処理部１５０に出力する。ここで、所定条件を満たす時間とは、興味・関心度が予め設定された閾値以上になった時点から、視点がその領域から外れた時点までの間の時間をいう。尚、所定の条件を満たす時間は、興味・関心度が予め設定された閾値以上になった時点から、興味・関心度が予め設定された閾値以下になった時点までの間の時間とすることもできる。

また、情報処理部１５０の好感・嫌悪感判定処理手段１５６は、視聴傾向分析部１４０から分析対象の「オブジェクト」を含む領域における興味・関心継続時間の視聴傾向情報を入力し、予め設定された閾値と比較し、好感及び嫌悪感を判定する（ステップＳ２３０３）。同様にして、同一の「オブジェクト」を分析対象とした複数の領域について好感及び嫌悪感を判定する。そして、分析対象の総数及び好感であると判定した分析対象の領域の数に基づいて好感度を算出し、また、分析対象の領域の総数及び嫌悪感であると判定した分析対象の領域の数に基づいて嫌悪感度を算出し、これらの情報を提示情報として出力する（ステップＳ２３０４）。

以下、好感・嫌悪感判定処理について具体例を挙げて説明する。この好感・嫌悪感判定処理の例は、動画シーケンスを有するコンテンツに対して、分析対象となるオブジェクト（オブジェクトを含む領域）及び時間帯を予め設定し、その設定したオブジェクトに対して視聴者が好感をもっていたか、または嫌悪感をもっていたかを判定し、好感をもっていたことを判定したオブジェクトの数（領域の数）から好感度を算出し、また、嫌悪感をもっていたと判定したオブジェクトの数（領域の数）から嫌悪感を算出し、これらの情報を提示情報として出力するものである。

図２において図示しない設定部は、分析対象の「オブジェクト」を含む領域及びその時間帯を予め設定する。例えば、図２１に示した興味・関心度の推移を示す時間軸において、オブジェクトＡが提示されている時間区間ｊ−１［Ｔ_ＡＳ，Ｔ_ＡＥ］を分析対象の時間帯として設定する。ここで、Ｔ_ＡＳは時間区間ｊ−１の開始時刻を示し、Ｔ_ＡＥは終了時刻を示す。時間区間ｊ−１では、オブジェクトＡが全時間に渡って提示されているが、必ずしも全時間に渡って提示されている必要はなく、提示されていない時間があってもよく、複数回提示されていてもよい。また、設定部は、図２２に示したオブジェクトＡを含む領域を設定する。ここで、オブジェクトＡを含む領域は、
左上座標

右下座標

により指定される矩形領域である。

つまり、好感・嫌悪感判定処理手段１５６は、コンテンツの時間区間ｊ−１［Ｔ_ＡＳ，Ｔ_ＡＥ］におけるオブジェクトＡの好感及び嫌悪感を判定し、好感であると判定したオブジェクトＡの数（領域の数）に基づいて好感度を算出し、嫌悪感であると判定したオブジェクトＡの数（領域の数）に基づいて嫌悪感度を提示情報として出力する。

個人属性・視聴傾向データベース１０３には、あるコンテンツに対する興味・関心度（例えば、図２１を参照）、視点位置及び同期情報が格納されているものとする。

視聴傾向分析部１４０は、個人属性・視聴傾向データベース１０３から興味・関心度、視点位置及び同期情報を読み出し、同期情報により時刻ｔ（Ｔ_ＡＳ＜ｔ＜Ｔ_ＡＥ）における視点（視点位置）

がオブジェクトＡを含む領域内にあるか否かを、以下の式により判定する。
ｘ_ＡＬ（ｔ）≦Ｅ_ｘ（ｔ）≦ｘ_ＡＲ（ｔ），ｙ_ＡＬ（ｔ）≦Ｅ_ｙ（ｔ）≦ｙ_ＡＲ（ｔ）
ここで、視点がオブジェクトＡを含む領域にあると判定した視点一致時区間を、Ｔ_ＡＳ，１＜ｔ＜Ｔ_ＡＥ，１，Ｔ_ＡＳ，２＜ｔ＜Ｔ_ＡＥ，２，・・・，Ｔ_ＡＳ，ｎ＜ｔ＜Ｔ_ＡＥ，ｎとする。

図２６を参照して、視聴傾向分析部１４０は、視点一致時区間における興味・関心度Ｉ（ｔ）が閾値ｔｈ_Ａ以上であるか否かを、Ｉ（ｔ）≧ｔｈ_Ａの式により判定し、Ｔ_ＡＳ，１を基準にして最初に興味・関心度Ｉ（ｔ）が閾値ｔｈ_Ａ以上であると判定した時刻ｔ_Ａ，Ｉｓを特定する。そして、その視点一致時区間の終了時刻Ｔ_ＡＥ，１をｔ_Ａ，Ｉｅとして、オブジェクトＡを含む領域における興味・関心継続時間Ｔ_Ａ，Ｉｃを、以下の式により算出する。
Ｔ_Ａ，Ｉｃ＝ｔ_Ａ，Ｉｅ−ｔ_Ａ，Ｉｓ
そして、オブジェクトＡを含む領域における興味・関心継続時間Ｔ_Ａ，Ｉｃを視聴傾向情報として、同期情報と共に個人属性・視聴傾向等データベース１０３に格納する。また、オブジェクトＡを含む領域における興味・関心継続時間Ｔ_Ａ，Ｉｃを情報処理部１５０の好感・嫌悪感判定処理手段１５６に出力する。

尚、前述の例では、図２において図示しない設定部は、分析対象の「オブジェクト」として画面内の矩形領域の１箇所を設定するようにしたが、画面全体を設定してもよいし、任意の形状の領域を設定してもよい。また、１つのオブジェクトでなく複数のオブジェクトを含む領域を設定してもよい。この場合、設定部は、設定した領域の形状をビットマップ情報で保存し（対象領域部分を１、それ以外を０として保存し）、視聴傾向分析部１４０は、視点位置のビットマップ情報が１の場合はその領域内にあると判定し、０の場合はその領域内にないと判定する。

情報処理部１５０の好感・嫌悪感判定処理手段１５６は、視聴傾向分析部１４０または個人属性・視聴傾向データベース１０３からオブジェクトＡを含む領域における興味・関心継続時間Ｔ_Ａ，Ｉｃを入力し、興味・関心継続時間Ｔ_Ａ，Ｉｃと、予め設定されたオブジェクトＡの好感閾値ｔｈ_{Ａ，ｇｏｏｄ}及び嫌悪感閾値ｔｈ_{Ａ，ｂａｄ}とを比較する。ここで、
ｔｈ_{Ａ，ｇｏｏｄ}≧ｔｈ_{Ａ，ｂａｄ}
である。そして、
Ｔ_Ａ，Ｉｃ≧ｔｈ_{Ａ，ｇｏｏｄ}
の場合、オブジェクトＡに対して好感を有していると判定し、
Ｔ_Ａ，Ｉｃ≦ｔｈ_{Ａ，ｂａｄ}
の場合、オブジェクトＡに対して嫌悪感を有していると判定し、前記２つの比較式を満足しない場合、好感及び嫌悪感のどちらも有していないと判定する。

つまり、興味・関心継続時間が好感閾値（例えば１秒）以上である場合、すなわち、視聴者１がオブジェクトＡに興味を示していて視線をそらさない場合に、オブジェクトＡに対して好感を有していると判定する。一方、興味・関心継続時間が嫌悪感閾値（例えば０．３秒）以下である場合、すなわち、オブジェクトＡに対する視聴者１の情動はあるが、短時間で視線をそらした場合に、オブジェクトＡに対して嫌悪感を有していると判定する。

このようにして、設定部が画面内で同一のオブジェクトＡについて複数の領域を設定し、好感・嫌悪感判定処理手段１５６が、その領域毎にオブジェクトＡの好感及び嫌悪感を判定する。そして、好感・嫌悪感判定処理手段１５６は、分析対象に設定された全領域の数をＮ、好感であると判定した領域の数をｎ_ｇ、嫌悪感であると判定した領域の数をｎ_ｂとすると、好感度Ｐｇ及び嫌悪感度Ｐｂを以下の式により算出し、これらの情報を、オブジェクトＡに対する好感及び嫌悪感の度合いを判断するための情報として、コンテンツの提供事業者等へ提示する。尚、以下の式では、百分率表示するために１００を乗じている。

尚、本発明者らは、嫌悪感が生じるオブジェクトを対象とした興味・関心度のデータ、及び好感が生じるオブジェクトを対象とした興味・関心度のデータを実験により収集した。図２７は、実験により収集した興味・関心度のデータを示す図である。図２７（１）（２）において、縦軸は、視聴者１が注目する（視点位置が存在する）領域及び興味・関心度を示し、横軸は経過時間を示している。また、図中、実線は視聴者１が注目する領域、点線は興味・関心度をそれぞれ示している。（１）において、領域Ａ〜Ｄには嫌悪感が生じる異なるオブジェクトが提示されており、（２）において、領域Ａ’〜Ｄ’には好感が生じる異なるオブジェクトが提示されている。

図２７（１）によれば、視聴者１は、嫌悪感が生じる４つのオブジェクトに対し、領域Ｂ→領域外→領域Ａ→領域外→領域Ａ→領域外→領域Ｂ→・・・の順番に視点が移動していることがわかる。また、そのときの興味・関心度は徐々に高まるが、注目領域に長時間留まることなく低下する、または注目領域から視点をそらすという傾向があることがわかる。つまり、興味・関心継続時間が嫌悪感閾値以下である場合、すなわち、オブジェクトに対する視聴者１の情動はあるが、短時間で視線をそらした場合に、そのオブジェクトに対して嫌悪感を有していると判定することができる。

また、図２７（２）によれば、視聴者１は、好感が生じる４つのオブジェクトに対し、領域Ａ’→領域外→領域Ｂ’→領域外→領域Ｂ’→領域外→領域Ｂ’→・・・の順番に視点が移動していることがわかる。また、そのときの興味・関心度は徐々に高まり、長時間維持するという傾向があることがわかる。つまり、興味・関心継続時間が好感閾値以上である場合、すなわち、視聴者１がオブジェクトに興味を示していて視線をそらさない場合に、オブジェクトに対して好感を有していると判定できる。

以上のように、本発明の実施の形態によれば、好感・嫌悪感判定処理により、好感・嫌悪感判定処理手段１５６が、予め設定された分析対象のオブジェクト及び時間帯につき、好感及び嫌悪感を判定し、好感と判定したオブジェクトを含む領域の数に基づいて好感度を算出し、また、嫌悪感と判定したオブジェクトを含む領域の数に基づいて嫌悪感度を算出し、これらの情報を提示するようにした。これにより、コンテンツ提供事業者等は、データ入力やキー操作等の複雑な操作を行うことなく、分析対象のオブジェクトを評価するための有用な情報として、好感及び嫌悪感情報を得ることが可能となる。

〔インプレッション評価処理〕
次に、インプレッション評価処理について説明する。図２４は、インプレッション評価処理を示すフローチャート図である。この処理は、例えば、番組中に表示されたオブジェクトに対する視聴者の好感度または嫌悪感度を総合することにより、インプレッション度を算出し、この情報を提示するものである。

図２４において、インプレッション評価処理のステップＳ２４０１からステップＳ２４０４までの処理は、図２３に示した好感・嫌悪感判定処理のステップＳ２３０１からステップＳ２３０４までの処理と同じであるので、ここでは説明を省略する。

情報処理部１５０のインプレッション評価処理手段１５７は、好感度及び嫌悪感度に基づいてインプレッション度を算出し、この情報を提示情報として出力する（ステップＳ２４０５）。具体的には、分析対象として設定された全領域の数をＮ、好感であると判定した領域の数をｎ_ｇ、嫌悪感であると判定した領域の数をｎ_ｂとすると、インプレッション度を以下の式により算出し、この情報を、オブジェクトに対する印象度合いを判断するための情報として、コンテンツの提供事業者等へ提示する。尚、以下の式では、百分率表示するために１００を乗じている。

尚、インプレッション評価処理手段１５７は、好感であると判定した領域の数ｎ_ｇ及び嫌悪感であると判定した領域の数ｎ_ｂをそれぞれ重み付けしてから、インプレッション度を算出するようにしてもよい。また、設定部により設定される分析対象を画面全体とし、分析時間帯を、その画面が閲覧された時点から数秒（例えば５〜６秒）までの間として、インプレッション評価処理手段１５７が、その分析対象及び分析時間帯についてインプレッション度を算出するようにしてもよい。これにより、情動反応に対応したインプレッションを評価することができ、画面全体が短時間に視聴者１に与える印象を数値化することができる。

以上のように、本発明の実施の形態によれば、インプレッション評価処理により、インプレッション評価処理手段１５７が、予め設定された分析対象のオブジェクト及び時間帯につき、好感及び嫌悪感を判定し、好感と判定したオブジェクトを含む領域の数及び嫌悪感と判定したオブジェクトを含む領域の数に基づいてインプレッション度を算出し、この情報を提示するようにした。これにより、コンテンツ提供事業者等は、データ入力やキー操作等の複雑な操作を行うことなく、分析対象のオブジェクトを評価のための有用な情報として、インプレッション情報を得ることが可能となる。

〔指定領域エモーショナル効果処理〕
次に、指定領域エモーショナル効果処理について説明する。図２５は、指定領域エモーショナル効果処理を示すフローチャート図である。この処理は、例えば、番組中に表示されたオブジェクトに対して急速に引き起こされる一時的な感情度合いを示すエモーショナル度を、そのオブジェクトに対する好感度及び嫌悪感度並びに視聴者１の最終操作に基づいて算出し、この情報を提示するものである。

指定領域エモーショナル効果処理を行うにあたって、図２において図示しない設定部は、分析対象の「オブジェクト」を含む領域、その時間帯及び最終操作対象領域を予め設定する（ステップＳ２５０１）。ここで、最終操作対象領域は、視聴者１がオブジェクトに対する応答反応として最終操作（例えば、ボタン押下、マウス操作、瞬きによる指示操作等）の入力を行う領域である。

視聴傾向分析部１４０は、図２３に示した好感・嫌悪感判定処理のステップＳ２３０２と同様に、分析対象の「オブジェクト」を含む領域について、視点一致時区間の興味・関心度から、興味・関心継続時間を算出する（ステップＳ２５０２）。

また、情報処理部１５０の指定領域エモーショナル効果処理手段１５８は、視聴者応答情報ｂである最終操作対象領域における最終操作情報を生理反応・視聴者応答データベースから読み出し、最終操作の有無を判定する（ステップＳ２５０３）。そして、指定領域エモーショナル効果処理手段１５８は、図２３のステップＳ２３０３及びステップＳ２３０４と同様に、興味・関心継続時間と予め設定された閾値とを比較して好感を判定し、好感度を算出する（ステップＳ２５０４，ステップＳ２５０５）。

また、指定領域エモーショナル効果処理手段１５８は、分析対象として設定された全領域の数をＮ、好感であると判定した領域の数をｎ_ｇ、最終操作の有無をＧ（最終操作があった場合１、無かった場合０）、重み付け係数をｑ（０≦ｑ≦１）とすると、指定領域エモーショナル効果度Ｍを以下の式により算出し、この情報を、オブジェクトに対して急速に引き起こされる一時的な感情度合いを判断するための情報として、コンテンツの提供事業者等へ提示する（ステップＳ２５０６）。尚、以下の式では、百分率表示するために１００を乗じている。

前述の式において、例えばｑ＝０．５、最終操作の有無Ｇ＝０（無し）のとき、指定領域エモーショナル効果度Ｍは０≦Ｍ≦５０となり、最終操作の有無Ｇ＝１（有り）のとき、指定領域エモーショナル効果度Ｍは５０≦Ｍ≦１００となる。指定領域エモーショナル効果度Ｍの情報の提示を受けたコンテンツ提供事業者等は、このＭの値によって、以下の状況を認識することができる。
（１）Ｍが１００に近いときは、視点が期待した経路を通り、最終操作対象領域にて最終操作が行われ、応答があった。
（２）Ｍが５０〜７０程度のときは、最終操作対象領域にて最終操作が行われ応答があったが、視点が期待した経路を通っていない。
（３）Ｍが４０〜５０程度のときは、視点が期待した経路を通ったが、最終操作が行われていないため、応答がない（最終操作に問題がある）。
（４）Ｍが０に近いときは、視点が期待した経路を通っておらず、最終操作も行われていないため、応答がない。

以上のように、本発明の実施の形態によれば、指定領域エモーショナル効果処理により、指定領域エモーショナル効果処理手段１５８が、予め設定された分析対象のオブジェクト及び時間帯につき好感を判定し、好感と判定したオブジェクトを含む領域の数及び視聴者１の最終操作の有無に基づいて指定領域エモーショナル度を算出し、この情報を提示するようにした。これにより、コンテンツ提供事業者等は、例えば、ウェブページにおいて視聴者１が期待する商品を閲覧し、興味・関心を示した結果その商品を購入する等の最終操作を行ったか否かを判定することができる。また、データ入力やキー操作等の複雑な操作を行うことなく、オブジェクトを評価するための有用な情報として、オブジェクトに対して急速に引き起こされる一時的な感情度合いの情報を得ることが可能となる。

以上、実施の形態を挙げて本発明を説明したが、本発明は上記実施の形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、図１において、ディスプレイ１１は、通常のブラウン管受像器の他に、プロジェクタのスクリーン画面パネルや液晶表示パネルであってもよい。また、生理反応計測装置１３に備えたカメラは、ＩＲライト１４による赤外線カメラであることが好ましいが、これに限定されるものではない。尚、赤外線カメラの場合は、虹彩に写り込んだ外部映像を排除した高コントラスト画像を得ることができ、画像処理及びデータ解析を安定かつ高速に実行することができる点で有効である。

また、図１において、視聴者１から生理反応情報を入力する場合に、例えば、視聴者１から５０〜１００ｃｍ離れた位置に視聴者１の眼球を撮像するためのスタンド等を用いて生理反応計測装置１３がセットされる。この場合、視聴者１の頭部の位置を固定するために、顎台を用いることもあり得る。また、生理反応計測装置１３は、視聴者１の顔の位置と眼球の位置とを自動追尾させて、精度高く眼球運動の生理反応情報を得ることも可能である。

また、図１に示した生理反応計測装置１３について、ヘッドマウント型装置を用いてカメラを視聴者１の頭部に装着させるようにしてもよい。この場合、視聴する対象を予め撮影した映像コンテンツとするのではなく、視聴者１が視認可能な一般の情景とするようにしてもよい。その際には、生理反応計測装置１３のカメラとは逆向きに装着させる別途のカメラにより視聴者１の視野角内にある情景を同時に撮影し、その撮影した映像を、提示した映像コンテンツと同等のものとして処理するようにしてもよい。

また、図１において、コンテンツ提示・生理反応・視聴者応答計測装置１０、視聴傾向管理サーバ１００及びコンテンツ配信サーバ１０５のハードウェアは、パーソナルコンピュータ（パソコン）クラスのものであってもよい。また、コンテンツ提示・生理反応・視聴者応答計測装置１０は、大型のディスプレイ１１を備えたデスクトップ型のコンピュータであってもよいし、カメラを備えた携帯電話機等の携帯情報端末であってもよい。また、入力デバイス１２は、マウスだけでなく、ボタン、キーボード、タッチパネル、リモコン、ゲーム機器に付属するコントローラであってもよく、視聴者１の操作により視聴者応答が時系列データとして生成されるものであればよい。

また、図１において、生理反応・視聴者応答データベース１０１、基準コンテンツ用データベース１０２及び個人属性・視聴傾向等データベース１０３は、ネットワーク１０４を介して視聴傾向管理サーバ１００に接続されるようにしてもよい。

また、図１及び図２において、コンテンツ配信サーバ１０５が配信するコンテンツは、映像データ、ウェブページデータ、コンピュータゲームデータ、コンピュータプログラムの出力データのうちの少なくとも一つのデータを含む形式のコンテンツであり、ディスプレイ１１には、文字列、図、記号、絵、写真、動画のうちの少なくとも一つが表示され、視聴者１に応答させるための情報が表示される。

また、視聴者１がコンテンツを視聴している任意の時間において、コンテンツ読出提示部１１０が基準コンテンツ（例えば、全画面黒色及び白色の画面が数秒程度静止画像になるようなコンテンツ）を視聴者１へ適宜提示することにより、その生理反応情報及び視聴者応答に基づいて興味・関心度及び視聴傾向ベクトルを補正するようにしてもよい。この場合、視聴者１の瞳孔は、黒画面及び白画面に対しそれぞれ暗順応及び明順応して、散大及び縮動する。興味・関心度算出部１３０は、黒画面シーン及び白画面シーン内で、それぞれ瞳孔径の最大値Ｐｍａｘ及び最小値Ｐｍｉｎを算出し、これらの値を興味・関心度の算出のために使用する（（１）式及び（２）式を参照）。これにより、瞳孔の縮動及び散大の個人差を吸収した興味・関心度を算出することができる。したがって、視聴傾向ベクトルを正規化することができ、視聴傾向情報の処理の精度を向上させることができる。

尚、視聴傾向管理サーバ１００は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。視聴傾向管理サーバ１００に備えたコンテンツ読出提示部１１０、情報取込部１２０、興味・関心度算出部１３０、視聴傾向分析部１４０及び情報処理部１５０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。

Claims (10)

1. コンテンツを視聴する視聴者の生理反応情報に基づいて、前記コンテンツに対する視聴傾向を分析し、前記分析した情報から提示情報を生成して出力する視聴傾向管理装置において、
   前記コンテンツを視聴する視聴者の眼球画像を含む生理反応情報を取得し、前記生理反応情報に基づいて、前記コンテンツに対する興味・関心度を算出する興味・関心度算出部と、
   前記コンテンツに対し予め設定された複数の画面領域について、前記興味・関心度算出部により算出された興味・関心度を用いて、前記眼球画像から得られた視点が前記画面領域内に存在するときの興味・関心度をそれぞれ求め、前記興味・関心度が予め設定された閾値に到達した時点から、前記視点が前記画面領域から外れる時点までの間の時間を、興味・関心継続時間として前記画面領域毎に算出する視聴傾向分析部と、
   前記視聴傾向分析部により算出された画面領域毎の興味・関心継続時間と予め設定された時間とを比較し、前記画面領域毎の好感及び嫌悪感の判定を行い、前記予め設定された複数の画面領域の数及び前記好感と判定した画面領域の数に基づいて好感度を算出し、前記予め設定された複数の画面領域の数及び前記嫌悪感と判定した画面領域の数に基づいて嫌悪感度を算出し、提示情報として出力する情報処理部とを備えたことを特徴とする視聴傾向管理装置。
2. 請求項１に記載の視聴傾向管理装置において、
   前記情報処理部は、前記好感の判定をした画面領域の数と前記嫌悪感の判定をした画面領域の数との差を算出し、前記予め設定された複数の画面領域の数と前記算出した差とに基づいて、前記コンテンツに対する視聴者の印象度合いを示すインプレッション度を算出し、提示情報として出力することを特徴とする視聴傾向管理装置。
3. 請求項１に記載の視聴傾向管理装置において、
   前記情報処理部は、前記予め設定された画面領域内の表示に対する前記視聴者による操作の有無、及び前記算出した好感度に基づいて、前記表示に対して引き起こされる前記視聴者の感情度合いを示すエモーショナル度を算出し、提示情報として出力することを特徴とする視聴者傾向管理装置。
4. 請求項１から３までのいずれか一項に記載の視聴傾向管理装置において、
   前記興味・関心継続時間を、前記視点が画面領域内に存在するときの興味・関心度が予め設定された第１の閾値に到達した時点から、前記興味・関心度が前記第１の閾値よりも小さい値であって予め設定された第２の閾値に到達した時点までの間の時間とすることを特徴とする視聴傾向管理装置。
5. コンテンツを視聴する視聴者の生理反応情報に基づいて、前記コンテンツに対する視聴傾向を分析し、前記分析した情報から提示情報を生成して出力する視聴傾向管理装置において、
   前記コンテンツを視聴する複数の視聴者の眼球画像を含む生理反応情報をそれぞれ取得し、前記生理反応情報に基づいて、前記コンテンツに対する興味・関心度を前記視聴者毎に算出する興味・関心度算出部と、
   前記興味・関心度算出部により算出された興味・関心度を用いて、前記コンテンツに対して予め設定された画面領域及び時間区間についての興味・関心度を、前記視聴者毎にそれぞれ算出する視聴傾向分析部と、
   前記視聴傾向分析部により算出された興味・関心度と予め設定された閾値とを比較して、前記画面領域に注目していたか否かを判定し、前記複数の視聴者の中で、前記画面領域に注目していたと判定した視聴者の数の割合、前記画面領域に注目していたと判定した視聴者の眼球画像により得られた視点が前記画面領域内に滞留していた時間長、前記画面領域に注目していたと判定した全ての視聴者における興味・関心度の平均、分散、標準偏差、最大値及び最小値のうちの少なくとも一つを算出し、提示情報として出力する情報処理部とを備えたことを特徴とする視聴傾向管理装置。
6. 請求項５に記載の視聴傾向管理装置において、
   前記情報処理部は、さらに、前記予め設定された画面領域の数に対する、前記注目していたと判定した画面領域の数の割合を注目率として算出し、提示情報として出力することを特徴とする視聴傾向管理装置。
7. 請求項５に記載の視聴傾向管理装置において、
   前記情報処理部は、さらに、前記コンテンツに対する応答として視聴者による入力操作があったときの時刻、及び前記予め設定された時間区間における開始時刻に基づいて応答時間を算出し、提示情報として出力することを特徴とする視聴傾向管理装置。
8. 請求項７に記載の視聴傾向管理装置において、
   前記視聴者が視聴するコンテンツは、所定の機械操作を伴う運転状態を撮影したコンテンツとし、
   前記情報処理部は、さらに、前記コンテンツに対する応答として視聴者による入力操作及び前記入力操作があったときの時刻に基づいて、前記運転状態に対する視聴者の入力操作が妥当であったか否かを判定し、前記視聴者の習熟度を算出することを特徴とする視聴傾向管理装置。
9. 視聴者により要求されたコンテンツを配信するコンテンツ配信装置と、
   前記配信されたコンテンツを受信して表示器に表示する端末装置と、
   前記表示器に表示されたコンテンツを視聴する視聴者に対し、生理反応を計測する生理反応計測装置と、
   前記視聴者の生理反応情報を前記生理反応計測装置から入力する請求項１から８までのいずれか一項に記載の視聴傾向管理装置とを備えたことを特徴とする視聴傾向管理システム。
10. コンピュータを、請求項１から８までのいずれか一項に記載の視聴傾向管理装置として機能させるための視聴傾向管理プログラム。

Images