JP5789735B2 - コンテンツ評価装置、方法、及びそのプログラム - Google Patents

Description

本発明は、コンテンツ評価装置に関し、特に、画像コンテンツを視聴するユーザの生体信号を分析することでユーザの画像コンテンツに対する反応を特定するコンテンツ評価装置等に関する。

従来技術として、コンテンツを視聴するユーザの脳波等の生体信号をもとに、コンテンツの評価を行う手法がある（例えば、特許文献１参照）。

特表２０１０−５２０５５４号公報 特開２００４−２１８７０号公報

しかしながら、従来技術の構成では、ユーザの想起状態については全く考慮されていないため、コンテンツ評価を精度よく行うことが困難である（特許文献１）。

一般に、前頭葉の脳血流は、頭の中で計算をしたり、記憶したりする場合に変化することが知られている。また、何かを思い出したり（すなわち、想起したり）、頭の中でなんらかの処理を行う場合にも変化する。従って、例えば、コンテンツを視聴する際、実際には現在のコンテンツに対する感情ではなく、過去のコンテンツを思い出している場合であっても脳血流が変化してしまうことがある。

よって、従来技術のように、ユーザの想起状態を考慮していないシステムにおいては、脳血流に変化が生じた場合、その原因が、変化が生じた時刻にユーザが視聴したコンテンツにあるのか、又は、想起状態にあるユーザが過去に視聴したコンテンツにあるのかを評価できない。その結果、従来技術に係るシステムでは、精度よくコンテンツ評価を行うことが困難である。

本発明は、従来の課題を解決するもので、ユーザによる想起行動の有無を判断することで、精度よくコンテンツの評価を行うことが可能なコンテンツ評価装置を提供することを目的とする。

本発明のある局面に係るコンテンツ評価装置は、画像コンテンツを視聴するユーザの生体信号を分析することで当該ユーザの当該画像コンテンツに対する反応を特定するコンテンツ評価装置であって、前記ユーザの脳血流と視線位置とを取得する取得部と、前記画像コンテンツの視聴時に前記ユーザが心理的な反応を示したか否かを前記脳血流に基づいて識別する反応識別部と、前記画像コンテンツを視聴するユーザが、表示されている当該画像コンテンツより前に表示された他の画像コンテンツを想起していたか否かを、前記ユーザの視線位置に基づいて判定する想起判定部と、前記画像コンテンツの視聴時に前記ユーザが心理的な反応を示した場合であって、当該ユーザが前記他の画像コンテンツを想起していたと前記想起判定部が判定した場合には、当該他の画像コンテンツを当該ユーザが心理的な反応を示した対象として特定する反応対象特定部とを備える。

この構成によると、コンテンツ評価装置は、表示されたコンテンツを視聴するユーザの心理的な反応をユーザの脳血流から識別するとともに、ユーザが現に表示されているコンテンツ以外のコンテンツを想起していたか否かを視線位置から判定することができる。その結果、ユーザの示した心理的反応が、現に表示されているコンテンツに対するものか否かを評価することができる。その結果、精度よくコンテンツの評価を行うことが可能となる。

なお、本発明は、このような特徴的な処理部を備えるコンテンツ評価装置として実現することができるだけでなく、コンテンツ評価装置に含まれる特徴的な処理部をステップとするコンテンツ評価方法として実現したり、コンテンツ評価方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのはいうまでもない。

さらに、本発明は、このようなコンテンツ評価装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このようなコンテンツ評価装置を含むコンテンツ評価システムとして実現したりできる。

本発明によると、ユーザによる想起行動の有無を判断することで、精度よくコンテンツの評価を行うことが可能なコンテンツ評価装置を提供できる。

本発明の実施の形態におけるコンテンツ評価装置の構成を示すブロック図である。 実施の形態及びその変形例における脳血流検知方法を示す図である。 実験によって示された、視聴コンテンツと脳血流の変化量との対応関係の一例を示す図である。 実験によって示された前頭葉の血流量の変化の一例を示す図である。 実験によって示された、視聴コンテンツと脳血流の変化量との対応関係の他の例を示す図である。 実施の形態及びその変形例においてユーザがコンテンツを視聴する画面の座標系を示す図である。 実施の形態及びその変形例における評価情報蓄積部が蓄積している想起情報を説明する図である。 実験において示された、想起行動時のユーザの視線位置の例を示す図である。 実験によって示された視聴コンテンツと脳血流と想起度との対応関係の一例を示す図である。 実験によって示された視聴コンテンツと脳血流と想起度との対応関係の他の例を示す図である。 実施の形態及びその変形例における評価表示部に表示されるコンテンツ評価の一例を示す図である。 本発明の実施の形態におけるコンテンツ評価装置の処理の流れを示すフローチャートである。 本発明の実施の形態における反応の識別処理の詳細なフローチャートである。 本発明の実施の形態における滞留時間の算出処理の詳細なフローチャートである。 本発明の実施の形態における想起判定処理の詳細なフローチャートである。 本発明の実施の形態における反応対象の特定処理の詳細なフローチャートである。 本発明の実施の形態における想起判定部による想起度判定処理を説明する第１の図である。 本発明の実施の形態における想起判定部による想起度判定処理を説明する第２の図である。 本発明の実施の形態における想起判定部による想起度判定処理を説明する第３の図である。 実験において映画の宣伝用コンテンツを視聴しているユーザの脳血流の変化等を説明する図である。 本発明の実施の形態の変形例１に係るコンテンツ評価装置の構成を示すブロック図である。 本発明の実施の形態の変形例１に係るコンテンツ評価装置によって示された、視聴コンテンツと脳血流の変化量との対応関係の一例を示す図である。 本発明の実施の形態の変形例２に係るコンテンツ評価装置の構成を示すブロック図である。 本発明の実施の形態並びにその変形例１及び２に係るコンテンツ評価装置を実現するコンピュータシステムのハードウェア構成を示すブロック図である。

本発明のある局面に係るコンテンツ評価装置は、画像コンテンツを視聴するユーザの生体信号を分析することで当該ユーザの当該画像コンテンツに対する反応を特定するコンテンツ評価装置であって、前記ユーザの脳血流と視線位置とを取得する取得部と、前記画像コンテンツの視聴時に前記ユーザが心理的な反応を示したか否かを前記脳血流に基づいて識別する反応識別部と、前記画像コンテンツを視聴するユーザが、表示されている当該画像コンテンツより前に表示された他の画像コンテンツを想起していたか否かを、前記ユーザの視線位置に基づいて判定する想起判定部と、前記画像コンテンツの視聴時に前記ユーザが心理的な反応を示した場合であって、当該ユーザが前記他の画像コンテンツを想起していたと前記想起判定部が判定した場合には、当該他の画像コンテンツを当該ユーザが心理的な反応を示した対象として特定する反応対象特定部とを備える。

この構成によると、コンテンツ評価装置は、表示されたコンテンツを視聴するユーザの心理的な反応をユーザの脳血流から識別するとともに、ユーザが現に表示されているコンテンツ以外のコンテンツを想起していたか否かを視線位置から判定することができる。その結果、ユーザの示した心理的反応が、現に表示されているコンテンツに対するものか否かを評価し、ユーザが心理的な反応を示した対象を特定することができる。その結果、精度よくコンテンツの評価を行うことが可能となる。

また、前記反応識別部は、取得した前記脳血流の絶対値が事前に定められた閾値を上まわる場合、又は、所定の時間区間における前記脳血流の積分値の絶対値が事前に定められた値を上まわる場合には、前記ユーザが心理的な反応を示したと識別するとしてもよい。

この構成によると、反応識別部は、ユーザの脳血流の値と閾値とを比較することにより、コンテンツに対してユーザが心理的な反応を示したか否かを判定することができる。

また、前記想起判定部は、前記画像コンテンツを視聴する時の一般的な視線位置として事前に定式化されたモデルと、前記ユーザの視線位置との乖離度合いが事前に定められた値より大きければ、当該ユーザは想起状態であったと判定するとしてもよい。

この構成によると、想起判定部は、コンテンツ視聴時のユーザの典型的な視線位置として事前に定められたモデルと現に取得したユーザの視線位置とを比較し、その乖離度合いと閾値とを比較することにより、ユーザが想起しているか否かを判定することができる。

なお具体的には、前記視線位置の移動距離が事前に定められた閾値以内であった時間である滞留時間を算出する滞留時間算出部と、前記画像コンテンツを時分割した各々であるシーンの表示時間と、前記表示時間に前記画像コンテンツの一部として表示される画像である提供画像の表示領域とを対応付ける情報である想起情報を蓄積している想起情報蓄積部とをさらに備え、前記想起判定部は、前記シーンごとに、当該シーンの前記表示時間における前記視線位置と当該表示時間に対応付けられた前記表示領域との距離、及び前記表示時間における前記滞留時間が、それぞれ事前に定められた閾値以上であるか否かを判定し、前記閾値以上である場合には、前記ユーザが想起状態であると判定するとしてもよい。

また、前記想起判定部は、前記想起情報に含まれるシーンの総数に対する、前記ユーザが前記想起状態であると判定されたシーンの総数の割合として想起度を算出するとしてもよい。

これによると、想起度判定部は複数のシーンを含むコンテンツ全体に対するユーザの想起度合いを、数値として算出することができる。

また、前記反応識別部は、取得した前記脳血流が第１の閾値を上まわる場合には、前記ユーザの心理的な反応の種別を興奮状態であると識別し、当該脳血流が第２の閾値を下まわる場合には、当該ユーザの心理的な反応の種別を集中状態であると識別し、前記第１の閾値は、基準時における前記ユーザの脳血流よりも大きな値であり、前記第２の閾値は、前記基準時における前記ユーザの脳血流よりも小さな値であるとしてもよい。

これによると、反応識別部は、ユーザがコンテンツに対して示した反応の種別を、興奮系と集中系のいずれであるかを識別することができる。その結果、コンテンツ評価装置はより詳細にコンテンツを評価することができる。

また、前記反応識別部は、取得した前記脳血流の絶対値が前記事前に定められた閾値を上まわった時刻、及び、前記所定の時間区間における当該脳血流の積分値の絶対値が前記事前に定められた値を上まわった時刻のいずれかの時刻から、事前に定められた時間だけ遡った時刻までの時間区間に含まれる時刻を、前記ユーザが前記心理的な反応を示した時刻の候補である反応時刻候補と特定し、前記反応対象特定部は、前記反応時刻候補と前記想起度とに基づいて、前記ユーザが前記心理的な反応を示した対象を特定するとしてもよい。

これによると、コンテンツ評価装置が備える反応対象特定部は、ユーザが想起状態にあった際に心理的な反応を示した場合においても、そのユーザはどのコンテンツに対して心理的な反応を示したのかを、より詳細に特定することができる。

具体的には、前記反応対象特定部は、前記想起度が事前に定められた値よりも小さい場合には、前記反応時刻候補に視聴した画像コンテンツを前記ユーザが前記心理的な反応を示した対象として特定し、前記想起度が事前に定められた値以上の場合には、前記反応時刻候補よりも前に視聴した画像コンテンツを、当該ユーザが当該心理的な反応を示した対象として特定するとしてもよい。

また、前記想起判定部は、前記提供画像が文字情報を表す場合には、当該提供画像の表示時間内の前記視線位置の移動量が事前に定められた閾値未満の場合には、前記ユーザが前記想起状態であると判定するとしてもよい。

これによると、コンテンツ評価装置は、コンテンツに含まれる文字情報に対する想起状態の判断を、より正確に行うことができる。

また、前記想起判定部は、前記視線位置が前記提供画像の前記表示領域内に位置する場合において、当該視線位置が当該提供画像の前記表示時間より前から当該表示領域内に位置する場合は、前記ユーザが前記想起状態であるとは判定しないとしてもよい。

これによると、想起判定部は、ユーザの視線位置と提供画像の表示領域とが偶然一致した場合に、本来は想起状態であるにも関わらず、想起状態ではないと判断されることを防ぐことができる。

また、前記想起判定部は、前記シーンが複数の表示領域を含む場合には、前記視線位置に対し最も近い前記表示領域との離れ度合いを用いて前記距離を算出するとしてもよい。

これによると、複数の提供画像が同時に表示される場合においても、想起判定部は適切に想起状態の判断を行うことができる。

また、前記想起判定部は、前記シーンごとに、前記表示時間における前記視線位置と当該表示時間に対応付けられた前記表示領域との距離、及び前記表示時間における前記滞留時間が、それぞれ事前に定められた閾値以上であるかを判定し、それぞれが閾値以上である場合には、当該シーンより前に表示された他のシーンを当該ユーザが想起していたと判定するとしてもよい。

これによると、想起判定部１０６はより細かい時間間隔でユーザが想起状態にあるか否かを判定することができる。

また、前記想起情報は、前記シーンごとに重みを有し、前記想起判定部は、前記想起状態と判定されたシーンの総数を、当該シーンに対応する前記重みを乗じて集計するとしてもよい。

一般に、シーンに応じてユーザのコンテンツに対する興味の程度は変化する。したがって、事前に想定されるユーザの興味の程度に応じてシーンごとに重みを付与しておき、重み付きのシーン数を集計することで、より適切な想起度を算出することができる。

また、前記コンテンツ評価装置は、複数の画像コンテンツを表示し、前記複数の画像コンテンツの表示順序を記憶している刺激提示順序記憶部と、前記刺激提示順序記憶部に記憶されている前記複数の画像コンテンツの表示順序を変更する刺激提示順序変更部と、前記刺激提示順序記憶部に記憶されている順序、又は前記刺激提示順序変更部によって変更された表示順序に基づき前記複数のコンテンツを表示する刺激提示部とをさらに備えるとしてもよい。

具体的には、前記刺激提示順序変更部は、前記反応対象特定部で特定された前記他の画像コンテンツを再度表示するように前記表示順序を変更するとしてもよい。

より具体的には、前記反応対象特定部は、前記他の画像コンテンツが１回目に表示されたときの脳血流の増減量と、当該他の画像コンテンツが２回目以降に表示されたときの脳血流の増減量との差分に基づいて、前記ユーザが当該他の画像コンテンツを想起していたか否かを判定するとしてもよい。

これによると、ユーザに対して同じコンテンツを複数回視聴させた場合の、視聴回数ごとの脳血流の変化から、そのコンテンツに対するユーザの関心の強さを計測することができる。ここで、ユーザは、想起するコンテンツに対しては強い関心をもっていると考えられる。したがって、反応対象特定部は、複数回の視聴にも関わらず脳血流の増減量が大きいコンテンツを、ユーザが心理的な反応を示した対象であると具体的に特定することができる。

また、前記コンテンツ評価装置は、複数の画像コンテンツを表示し、前記複数のコンテンツの表示順序を記憶している刺激提示順序記憶部と、前記刺激提示順序記憶部に記憶されている順序に基づき前記複数のコンテンツを表示する刺激提示部と、前記ユーザの視線位置を履歴として蓄積する視線履歴蓄積部と、前記視線履歴蓄積部に蓄積された前記視線位置を用いて、前記複数の画像コンテンツの各々が表示されたときの視線位置を特定し、特定された前記視線位置を前記表示領域として含む前記想起情報を生成する典型想起情報生成部とをさらに備えるとしてもよい。

これによると、コンテンツ評価装置を使用するコンテンツ制作者は、事前に想起情報を準備するために必要な工数を削減することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態）
実施の形態に係るコンテンツ評価装置について説明する。

図１は、本発明の実施の形態におけるコンテンツ評価装置の構成を示すブロック図である。

図１において、コンテンツ評価装置１１０は、画像コンテンツを視聴するユーザの生体信号を分析することでユーザの画像コンテンツに対する反応を特定するコンテンツ評価装置であって、取得部１２０と、反応識別部１０２と、滞留時間算出部１０４と、想起情報蓄積部１０５と、想起判定部１０６と、反応対象特定部１０７とを備える。

取得部１２０は、ユーザの脳血流と視線位置とを含む生体信号を取得する。具体的には、取得部１２０は、脳血流検知部３２０と視線検知部１０３とを有する。後述するように、脳血流検知部３２０は、例えば近赤外分光法等により脳血流を検出するセンサである。また、視線検知部１０３は、例えばカメラで取得した瞳孔位置からユーザが注視する位置である視線位置を計測するセンサである。

脳血流検知部３２０は、脳血流の変化を検知する手段である。図２（ａ）は、本実施の形態における脳血流検知部３２０の一例を示す図である。脳血流検知部３２０は、例えば近赤外線センサ（ＮＩＲＳ；Ｎｅａｒ−Ｉｎｆｒａｒｅｄ Ｓｐｅｃｔｒｏｓｃｏｐｙセンサ）で構成されている。近年、このＮＩＲＳセンサを用いることで脳の血流量の変化を検知できることが知られている。以下、概要を説明する。

血液の中のヘモグロビンは、酸素と結合することで体内に酸素を送っている。ＮＩＲＳセンサは、近赤外線(波長７００ｎｍ〜１０００ｎｍ)を発光する発光素子を備える発光部３２２と、発光された近赤外線を受光する受光素子を備える受光部３２１とから構成されている。ＮＩＲＳセンサは、近赤外線を発光部３２２から体内へ向けて照射し、体内組織を透過してきた光を受光部３２１で受光する。受光した光の成分を調べることにより、ＮＩＲＳセンサは、脳の血液中のヘモグロビン酸素化状態を検知することができる。例えば、額などに装着することで、前頭葉の酸素血流量を検知することができる。

反応識別部１０２は、画像コンテンツの視聴時にユーザが心理的な反応を示したか否かを脳血流に基づいて識別する。すなわち、取得部１２０で検知された脳の血流量の変化から、ユーザの反応を検知する手段である。本実施の形態では、ユーザが商品説明映像、又はＣＭ（Ｃｏｍｍｅｒｃｉａｌ Ｍｅｓｓａｇｅ）などのコンテンツを視聴した際の、脳血流の変化から、ユーザの商品及びＣＭに対する所定の感情等の反応の種別である反応種別を特定する。

図２（ｂ）はコンテンツ視聴時の一例である。被験者２５０であるユーザは、カメラＢのＣＭを含むコンテンツ２２０を視聴している。

想起判定部１０６は、画像コンテンツを視聴するユーザが、表示されている画像コンテンツより前に表示された他の画像コンテンツを想起していたか否かを、ユーザの視線に基づいて判定する。想起判定部１０６の詳細は後述する。

反応対象特定部１０７は、画像コンテンツの視聴時にユーザが心理的な反応を示した場合であって、ユーザが他の画像コンテンツを想起していたと想起判定部１０６が判定した場合には、他の画像コンテンツをユーザが心理的な反応を示した対象として特定する。反応対象特定部１０７の詳細は後述する。

図３は、実験によって示された、視聴コンテンツと脳血流の変化量との対応関係の一例を示す図である。図３（ｂ）は、視聴するコンテンツの模式図である。視聴するコンテンツは商品説明に関する動画である。例えば測定開始後、０秒から３０秒までＡ社の一眼カメラの商品説明のコンテンツ２２２が表示されている。次に３０秒から６０秒までＢ社のデジタルカメラの商品説明のコンテンツ２２３が表示されている。次に６０秒から９０秒までＣ社のデジタルカメラの商品説明のコンテンツ２２４が表示されている。次に９０秒から１２０秒までＤ社のデジタルカメラの商品説明のコンテンツ２２５が表示されている。

一方、図３（ａ）は、図３（ｂ）に示すコンテンツを視聴している際の、ユーザの脳血流を示す図である。具体的には、実際にＮＩＲＳセンサを用いて実験を行い、コンテンツ視聴時のユーザの前頭葉の血流量の変化を検知し、グラフで示した図である。

脳血流の検知のサンプリング間隔は０．６秒であり、横軸を時間（秒）、縦軸を基準時である測定開始時からのヘモグロビンの変化量（ｍＭｏｌ・ｍｍ（ミリモル・ミリメートル））としている。図３（ａ）に重ねて示される３本のグラフは、酸素と結合したヘモグロビンである酸化ヘモグロビン（ｏｘｙ−Ｈｂ）濃度の変化量を示すグラフ４０２、酸素と結合していないヘモグロビンである脱酸化ヘモグロビン（ｄｅｏｘｙ−Ｈｂ）濃度の変化量を示すグラフ４０４、及びトータルのヘモグロビン（ｔｏｔａｌ−Ｈｂ）濃度の変化量を示すグラフ４０３の３種類の増減量を線で示している。

一般に、脳血流が増加すると、数秒程度遅延して、酸化ヘモグロビンが増加する。よって、酸化ヘモグロビン濃度の変化量を計測することにより、脳血流の変化量を取得することができる。以後、説明を簡単にするため、基準時（例えば、脳血流の測定開始時）における酸化ヘモグロビン濃度の値を０とし、基準時からの変化量を脳血流と呼ぶ。すなわち、脳血流が正である場合は、基準時よりも酸化ヘモグロビンが増加したことに対応し、脳血流が負である場合は、基準時よりも酸化ヘモグロビンが減少したことに対応する。また、酸化ヘモグロビン濃度が閾値を上まわったことを、脳血流が閾値を上まわったと表現し、酸化ヘモグロビン濃度が閾値を下まわったことを、脳血流が閾値を下まわったと表現する。

図３（ａ）に示されるように、ヘモグロビン濃度の各グラフは、０秒から３０秒、及び３０秒から６０秒までは多少増減はするが、ほぼ一定の値を保持しているのが分かる。一方、６５秒近辺から酸化ヘモグロビン及びトータルヘモグロビンの濃度が徐々に増加し、その後また減少していることが分かる。

ここで脳血流の変化と、コンテンツに対するユーザの心理変化との関連性について、図４を用いて説明する。

脳は、一般的に、記憶を行うなどのタスク（ワーキングメモリ）を課すと酸素を消費して活動し、それを補うために、それ以上の酸素が血液から補給されるようになるため、酸化ヘモグロビンやトータルヘモグロビンが増加することが知られている（ボールド反応）。また、興奮や焦りなどによって脳血流が増加することも知られている。例えば、嘘をつくと焦りにより脳血流が増加するという特性を利用し、嘘発見機などへの応用も知られている（非特許文献１）。

一方、ゲームなど、集中してタスクをこなす場合、前頭葉の酸化ヘモグロビンが減少することも知られている。したがって、ＮＩＲＳセンサでは、酸化ヘモグロビン又はトータルヘモグロビンの増減量、あるいはこれらの組み合わせに着目することが一般的である。しかしながら、脳血流とコンテンツを視聴した際のユーザの心理変化との関連性について開示された技術は従来ない。そこで、発明者らは以下の実験を行った。

まず、被験者であるユーザ十数名に複数のコンテンツ（商品説明の動画、又はコマーシャル等が連続して再生されるもの）を視聴してもらい、視聴している間の脳血流の変化を計測した。また、視聴したコンテンツに対する心理状態及び感想等を口頭で回答してもらった。図４を参照して、実験結果より得られた脳血流の変化と、心理状態との関連性について報告する。

図４は、実際にＮＩＲＳセンサを用い、コンテンツ視聴時のユーザの前頭葉の血流量の変化を検知し、グラフで示した図である。検知のサンプリング間隔は０．６秒であり、横軸を時間（秒）、縦軸を計測開始時点からのヘモグロビン濃度の変化量（ｍＭｏｌ・ｍｍ（ミリモル・ミリメートル））とした。各グラフについて、酸素と結合したヘモグロビンである酸化ヘモグロビン（ｏｘｙ−Ｈｂ）、結合していないヘモグロビンである脱酸化ヘモグロビン（ｄｅｏｘｙ−Ｈｂ）、及びトータルのヘモグロビン（ｔｏｔａｌ−Ｈｂ）の３種類の増減量を異なる線種で示している。

実験結果において、特に印象を持たなかったコンテンツ又はシーン、及び興味の低いコンテンツ又はシーンに対しては、脳血流の変化が見られないユーザが多かった。ここで、シーンとは、コンテンツを時分割した一部である。

例えば、図４（ａ）は、あるユーザのあるコンテンツを視聴している際の脳血流の変化であって、印象を持たなかった場合の典型的なデータ推移を示したものである。脱酸化ヘモグロビン、酸化ヘモグロビン、及びトータルヘモグロビンのそれぞれの濃度の増減量はいずれも小さく、ともにほぼ一定の量を保持していることが分かる。また、ユーザによる口頭での回答では、ユーザはこのコンテンツに対しては特に印象を持たず、興味の低いものであることが語られた。ユーザは、コンテンツを淡々と視聴している状態と考えられる。また、コンテンツ内で訴える機能及び商品などに対しても淡々と視聴している状況であった。

一方、実験結果において、興味があったり、興奮したり、驚いたり、緊張したりしてしまうコンテンツ又はシーンに対しては、脳血流の変化が見られるユーザが多かった。特に、酸化ヘモグロビン濃度とトータルヘモグロビン濃度とが増加するユーザが多かった。図４（ｂ）は、あるユーザのあるコンテンツを視聴している際の脳血流の変化であって、ユーザが視聴コンテンツに興味を示した場合の脳血流変化の一例を示したものである。脱酸化ヘモグロビン濃度はほぼ一定であるが、酸化ヘモグロビン濃度と、トータルヘモグロビン濃度とが時間の経過とともに増加し、その後、酸化ヘモグロビン濃度が減少していることが分かる。また、ユーザによる口頭での回答では、このコンテンツに対しては非常に印象に残っており、ドキっとしたとの回答が得られた。特に、コンテンツに出る俳優や女優など人物やシーンになんらかの感情を有する場合が多かった。一方で、人物又はシーンに対してなんらかの感情変化を生じてしまったため、コンテンツ内で訴える機能及び商品などに対しては、意識が行き届かず、印象に残っていなかったり、全く見ていなかったり、覚えていない場合もあった。

また、実験結果において、興味があるコンテンツ、及び集中して見入ってしまったコンテンツに対しては、脳血流の変化が見られるユーザが多かった。特には、酸化ヘモグロビン濃度とトータルヘモグロビン濃度とが減少するユーザが多かった。図４（ｃ）は、あるユーザのあるコンテンツを視聴している際の脳血流の変化であって、ユーザがコンテンツの視聴に集中した場合の一例を示したものである。脱酸化ヘモグロビン濃度はほぼ一定であるが、酸化ヘモグロビン濃度と、トータルヘモグロビン濃度とが時間の経過とともに減少し、その後増加して回復していることが分かる。ユーザによる口頭での回答では、このコンテンツに対しては非常に印象に残っており、集中して見たとの回答を得ている。ユーザが冷静に集中してコンテンツを視聴しているような状況である。また、コンテンツ内で訴える機能及び商品にも目を配り、印象に残っているという回答が得られた。

得られた上記知見をもとに、本実施の形態に係るコンテンツ評価装置１１０が備える反応識別部１０２は、以下の処理によりユーザの心理状態の種別を判定する判定手法を用いる。

まず、所定の閾値を設け、基準時からの脳血流の変化量の絶対値が閾値未満の場合は、ユーザのコンテンツに対する心理状態は、興味又は印象が低い状態であるとする。

また、脳血流の変化量の絶対値が閾値以上の場合は、ユーザのコンテンツに対する心理状態は、興味又は印象が高い状態であるとする。

以上の判定手法を被験者実験で得られたデータにより検証したところ、実際にユーザから口頭で得られた正解に対し、脳血流をもとに判定した心理状態の正解率は７０％以上であった。

また、視聴コンテンツに対して興奮したり、驚いたり、緊張するという心理状態と、酸化ヘモグロビン濃度が増加する脳血流変化との相関も非常に高かった。また、視聴コンテンツに対して見入ってしまい、又は、集中してみるという心理状態と、酸化ヘモグロビン濃度が減少する脳血流変化との相関も非常に高かった。

実際、人の心理状態と脳の血流量の変化については未解明な部分が多く、商品の好き嫌い、コンテンツの好き嫌い、及び嗜好など、高次の心理状態まで特定することは、現在の実験結果からは困難である。しかしながら、上記実験結果より、少なくとも印象が残るほど興奮して視聴し、見入ってしまうコンテンツであったか（「有反応系」と定義する）、そうでないか（「無反応系」と定義する）は、脳血流の増減量をもとに特定が可能であると考えられる。

また、反応があったコンテンツであって、その興味の持ち方が興奮したり、驚いたり、緊張するという心理状態（「興奮系」と定義する）か、見入ってしまったり、集中してみるという心理状態（「集中系」と定義する）かという、コンテンツに対する反応の種別の識別も、脳血流が増加したか、又は減少したかを区別することによって大別することが可能と考えられる。

そこで本発明では、コンテンツに対するユーザの反応を上記３つの種別（無反応系、興奮系、集中系）のいずれかとし、反応識別部１０２において、脳血流の変化をもとに反応のいずれかの反応の種別かを識別し、また、有反応系の反応を示した時刻（以後、反応時刻候補という）を特定することとする。

なお、本発明においては、脳血流のうち、酸化ヘモグロビン濃度に着目し、以下では説明のため酸化ヘモグロビン濃度の増減量を用いて反応種別を認識することとする。ただし、必ずしも酸化ヘモグロビン濃度の増減量のみに限ったものではなく、トータルヘモグロビン濃度の増減量、又はこれらの組み合わせてもよい。例えば酸化ヘモグロビン濃度とトータルヘモグロビン濃度がともに同じ方向へ増減した場合を有反応系と特定し、又はトータルヘモグロビン濃度の増加量に対し酸化ヘモグロビン濃度が事前に定められた割合以上増加した場合を有反応系と特定してもよい。

また、反応識別部１０２は、反応種別の識別に使用する脳血流として、脳血流検知部３２０から取得した脳血流の測定結果に対して、平滑化処理、又は脱酸化ヘモグロビンを用いたベースライン補正を施してもよい。脳血流は生理現象に起因するノイズを含むため、平滑化処理を行うことでノイズを除去することが可能となる。また、脱酸化ヘモグロビンを基準にベースライン補正を行うことで、ノイズ及び生理現象による増加量を除去し、脳血流の増減を詳細に把握することが可能となる。

再び、図３を用いて説明する。反応識別部１０２は、所定の閾値として、第１の閾値４１２と第２の閾値４１３とを設けている。例えば、第１の閾値４１２を０．０５とし、第２の閾値４１３を−０．０５とする。このとき、反応識別部１０２は、脳血流の増減量の絶対値が所定の閾値を上まわる場合を「有反応系」と認識する。すなわち、脳血流が０．０５を上まわり、又は−０．０５を下まわる場合には、反応識別部１０２は、反応種別を有反応系と認識する。

より詳細には、反応識別部１０２は、脳血流が正の閾値である第１の閾値４１２を増加方向に超えた場合は「興奮系」の反応種別であると特定し、負の閾値である第２の閾値４１３を減少方向に超えた場合は「集中系」の反応種別であると特定する。

一方、脳血流が閾値以内（例えば、±０．０５以内）の場合、反応識別部１０２は反応種別を「無反応系」と特定する。また、反応種別が「有反応系」（すなわち、「興奮系」又は「集中系」）であると特定された時刻を反応時刻候補として特定する。

すなわち、反応識別部１０２は、取得した脳血流の絶対値が事前に定められた閾値を上まわる場合、又は、所定の時間区間における脳血流の積分値の絶対値が事前に定められた値を上まわる場合には、ユーザが心理的な反応を示したと識別する。

より詳細には、反応識別部１０２は、取得した脳血流が第１の閾値を上まわる場合には、ユーザの心理的な反応の種別を興奮状態であると識別し、脳血流が第２の閾値を下まわる場合には、ユーザの心理的な反応の種別を集中状態であると識別する。ここで、第１の閾値は基準時におけるユーザの脳血流よりも大きな値であり、第２の閾値は基準時におけるユーザの脳血流よりも小さな値である。

図３において、０秒から３０秒までのＡ社の一眼カメラの商品説明の動画が表示されている間と、３０秒から６０秒までＢ社のデジタルカメラの商品説明の動画が表示されている間とは、酸化ヘモグロビン濃度として測定される脳血流が閾値以内であるため、反応識別部１０２は、反応種別を「無反応系」と特定する。一方、６０秒からＣ社のデジタルカメラの商品説明の動画が表示され、６５秒に閾値以上に酸化ヘモグロビンの量が増加している。よって、反応識別部１０２は、測定開始後６５秒経過時である反応時刻候補４２０における反応種別を「興奮系」と特定する。

なお、脳血流の増減は、個人差や検知する脳の部位にも依存するのが一般的である。そこで例えば、あらかじめブランクなどの動画を視聴し、その間の脳血流の増減量の平均値を「無反応系」と認識する閾値として算出する等、測定開始前に個人ごとにキャリブレーションを行ってもよい。

図５は、実験によって示された、視聴するコンテンツと脳血流の変化量との対応関係の他の例を示す図である。具体的には、図３の場合と同じコンテンツを視聴した別のユーザの脳血流を示す図である。図５（ｂ）は、視聴するコンテンツの模式図である。

図５（ａ）は、コンテンツを視聴している際の、ユーザの脳血流を示す図である。すなわち、実際にＮＩＲＳセンサを用い、コンテンツ視聴時のユーザの前頭葉の血流量の変化を検知し、グラフで示した図である。グラフの横軸は時間を、縦軸は脳の血流量で表している。ここで、閾値４１２は０．０５とし、閾値４１３は−０．０５する。

図５（ａ）では、０秒から３０秒の間に表示されるＡ社の商品説明のコンテンツ２２２、３０秒から６０秒の間に表示されるＢ社の商品説明のコンテンツ２２３、そして６０秒から９０秒の間に表示されるＣ社の商品説明のコンテンツ２２４の間、血流量は閾値以内に収まっていることが分かる。一方、計測開始後９０秒の時点で、酸化ヘモグロビン濃度を示すグラフ４０２は閾値４１２を超え、脳の血流量が増加していることが分かる。このように、脳血流はユーザの心理状態を反映しており、コンテンツへの集中、興味の高まり、及び興奮などの心理状態によって増減することが分かる。

次に、得られた反応が、いずれのコンテンツ及びシーン対しての反応であるかを特定する処理について、順を追って説明する。

図１を参照して、視線検知部１０３は、コンテンツを視聴しているユーザの視線を検知する。視線検知部１０３は、例えば、テレビ画面、ＰＣ画面、又は携帯画面など、コンテンツが表示される画面上の座標を所定時間ごとに検知する。

図６を参照して、視線検知部１０３による視線検知を説明する。図６は、本実施の形態においてユーザがコンテンツを視聴する画面の座標系を示す図である。画面の横軸をＸ座標、縦軸をＹ座標とし、左上を原点（０、０）とする。１ピクセルを１単位として表し、Ｘ軸は右を正、Ｙ軸は下を正として表す。図６（ａ）は画面に対する位置や領域を説明する図である。図６（ａ）において、例えばユーザが点Ａを注視している場合の視線位置は（２００、３００）となる。また、ユーザが点Ａから右に６００ピクセル、下に１００ピクセル移動した点Ａ’を注視している場合の視線位置は（８００、４００）となる。また、点Ａと点Ａ’で囲まれる長方形の領域Ｂのように所定の長方形の領域を（左上の点のＸ座標、左上の点のＹ座標、右下の点のＸ座標、右下の点のＹ座標）と表す。例えば領域Ｂは（２００、３００、８００、４００）となる。また、視線検知部１０３は、１０ｍｓ（ミリセック）ごと等、所定の時間ごとに視線位置を検知する。これにより、コンテンツ評価装置１１０は、ユーザの視線の移動や、所定の領域への視線の滞留時間等を計測することができる。なお、視線位置の検知手法については、従来から、被験者の眼球画像を撮影し、眼球における瞳孔の位置を用いて被験者の視線を検知するなど、様々な手法が知られており（例えば、特許文献２等）、本発明における視線検知部１０３も同様の手法で検知することとする。

滞留時間算出部１０４は、視線位置の移動距離が事前に定められた閾値以内であった時間である滞留時間を算出する。具体的には、視線検知部１０３で検知された所定時間ごとの視線位置の推移から、視線が滞留している位置である滞留位置と、その滞留位置への滞留時間を算出する。例えば図６（ｂ）において、生体信号の計測開始後３．５秒後から５．５秒後までの間、視線がＣ（４００、３８０）に位置したとする。この場合、滞留時間算出部１０４は、滞留位置が座標Ｃ（４００、３８０）であり、対応する滞留時間が２秒間（＝５．５−３．５）であると算出する。このように、滞留時間算出部１０４は、時間差分を算出することで滞留時間を算出できる。

再度図１を参照して、想起判定部１０６は、ユーザが思い出しなどの想起行動を生じているか否かの判定を行う。

本実施の形態に係るコンテンツ評価システムは、ユーザにコンテンツを視聴してもらい、視聴している間の脳血流等をもとにユーザの心理状態を推定することによってコンテンツを評価する。したがって、ユーザから得られた反応が、ユーザが視聴した複数のコンテンツのうち、いずれのコンテンツに対するものであるかを特定することが非常に重要となる。

例えば脳血流が増加した場合など、興奮又は興味などの心理的な反応を示す結果が得られた場合であっても、ユーザは、実際にはちょうど見終えたコンテンツに対して考え事を行ったり、又は何かに気づいて思い出したりする場合も非常によくある。例えば、ユーザに連続してコンテンツを視聴させ、取得した生体信号をもとにコンテンツに対する評価をコンテンツごとに比較するようなシステムでは、得られた生体信号に示される心理的な反応が、いずれのコンテンツに対応するものであるかの特定が困難である。また、複数の異なるシーンが連続するようなドラマや映画などをユーザに視聴させ、取得した生体信号をもとにシーンに対する評価や感情を推定するシステムでは、得られた心理的な反応が、いずれのシーンに対応するものであるかの特定が困難である。

実際、前述した図５に示される脳血流の変化を示したユーザは、実験後の口頭質問において、Ｃ社の動画を視聴直後に「Ｃ社の商品とは意外だったので、その後も感情を引きずってその後視聴していた」との回答が得られている。また、一方でＤ社の動画にはまったく印象に残っていないとの回答も得られている。このように、思い出したり、考え事をする場合も脳血流が増減する結果は、他の実験からも得られている。これは、ユーザによる思い出し行動も、短時間の記憶などのワーキングメモリ行動と考えられ、脳の血流に変化が生じるためと考えられる。

本実施の形態では、このように思い出し等を行う行動を「想起」と定義し、以下、ユーザによる想起状態の判定について説明する。

再度図１を参照して、想起情報蓄積部１０５は、画像コンテンツを時分割した各々であるシーンの表示時間と、表示時間に画像コンテンツの一部として表示される画像である提供画像の表示領域とを対応付ける情報である想起情報を蓄積している。具体的には、画面上に表示されるコンテンツの内容とその時間に関する情報である「想起情報」を蓄積する。

本来コンテンツには、時間ごとに着目して欲しいシーン又は領域を有するのが一般的である。そしてコンテンツは、ユーザがこれらの領域を視線で追うことで、ユーザがコンテンツに対する理解を得られるよう作成されている。図７は、想起情報を説明する図である。

図７に示されるように、想起情報蓄積部１０５には、想起情報として、コンテンツの「名称」や、時間ごとの着目すべき内容（属性とする）と、その内容が表示される領域が「シーンタグ」として蓄積されている。

具体的には、想起情報蓄積部１０５は、少なくとも１つ以上の想起情報１１０５を含む。各想起情報１１０５は、例えばコンテンツの名称１１０８と、１つ以上のシーンタグ１１１０とを含む。また、１つのシーンタグ１１１０は、１つのシーンに対応する。

シーンタグ１１１０は、識別子と、コンテンツに提供画像が表示される表示時間と、その提供画像の表示領域と、その提供画像の属性とを対応付けている。なお、１つのシーンタグは、複数の提供画像を含んでもよい。

ここで提供画像とは、コンテンツ制作者がユーザに注目してもらいたいと考えて、コンテンツに含まれる画像の中から選択した画像である。また、提供画像の属性とは、例えば、提供画像が有するコンテンツ内での役割（商品説明、機能説明）等であってもよく、提供画像が示す情報の種別（文字情報を伝えるロゴ、映像情報を伝える外観写真）等であってもよい。

より具体的には、ユーザに、Ａ社ＣＭ、Ｂ社ＣＭ、Ｃ社ＣＭ、Ｄ社ＣＭという４社のＣＭを見せ、各ＣＭに対する評価を取得する場合、各社のＣＭがコンテンツであり、各コンテンツに１つの想起情報が対応付けて定義されている。各コンテンツは、例えばカメラの外観写真、商品名のロゴ、及び使用場面等の提供画像を含んでおり、シーンタグにより提供画像が特定される。

例えば、コンテンツ３に対応する想起情報１１０５を参照すると、コンテンツの名称は「Ｃ社デジタルカメラＣＭ」である。識別子が１のシーンタグには、対応する提供画像の表示時間が１秒から２秒であり、表示領域が（２００、３００、７００、４００）であり、属性が女優であることが示されている。

これは、１秒から２秒の間、表示領域（２００、３００、７００、４００）にＣＭのタレント女優が表示されることを意味している。

また、識別子が２のシーンタグには、対応する提供画像の表示時間が３秒から４秒であり、表示領域が（２００、３００、７００、６００）であり、属性がカメラであることが示されている。

これは、３秒から４秒の間、表示領域（２００、３００、７００、６００）にＣ社のカメラを表す提供画像が表示されることを意味している。

このように想起情報蓄積部１０５には、想起情報として、コンテンツ制作側が着目して欲しいと考えている提供画像の表示領域、あるいは一般的にユーザが着目すると考えられる提供画像の表示領域が蓄積されている。また、ユーザ側も、一般的にはこの領域に着目し、これら領域の視聴を時間ごとに経ることで、コンテンツを理解していくこととなる。そして、その表示領域に着目し、コンテンツを理解することで、興味の有無などの、ユーザごとの心理的は反応が形成される。

しかしながら、ユーザがコンテンツの視聴中に想起状態にある場合には、現在表示されているコンテンツにおいて、本来ならユーザが着目しやすい領域とは異なる領域に視線が位置することが発明者らの実験より明らかになった。また、この場合には、視線の位置がしばらく滞留する傾向があることも明らかになった。これらの理由は以下のように考えられる。

ユーザが着目しやすい領域とは、具体的には、女優、俳優、製品の外観図などを表す提供画像の表示領域のように、ユーザの関心を引きやすい画像が表示される領域である。しかし、ユーザが想起状態にある場合は、これら着目しやすい領域に視線が行ってしまうと、そちらに集中してしまい、想起行動の継続が困難となる。したがって、ユーザは無意識のうちに、視線を着目しやすい領域から外すと考えられる。また、前述のように、想起状態にある場合は、視線の移動量は減少し、着目しやすい領域以外の位置にしばらく視線が滞留する場合も多い。この理由は、上記同様、ユーザが視線を動かした結果、現在のコンテンツに表示されている注目しやすい領域に着目してしまうと、想起行動の継続が困難になるためと考えられる。

そこで、想起判定部１０６は、想起情報をもとに、ユーザが着目しやすい領域である表示領域に対する視線の位置と、視線位置の滞留時間とをもとに想起状態の判定を行う。すなわち、想起判定部１０６は、画像コンテンツを視聴する時の一般的な視線位置として事前に定式化されたモデルと、ユーザの視線位置との乖離度合いが事前に定められた値より大きければ、ユーザは想起していた（すなわち、想起状態であった）と判定する。

より具体的には、想起判定部１０６は、シーンごとに、シーンの表示時間における視線位置と表示時間に対応付けられた表示領域との距離、及び表示時間における滞留時間が、それぞれ事前に定められた閾値以上であるか否かを判定し、閾値以上である場合には、ユーザが想起状態であると判定する。

例えば、想起判定部１０６は、視線位置から表示領域までの鉛直距離を算出し、この距離が所定の閾値以上であり、かつ、視線位置の滞留時間が所定の閾値以上の場合、ユーザは想起状態であると判定する。さらに、想起判定部１０６は、１つのコンテンツに含まれる全シーンのうち想起状態であると判定されたシーンの割合で想起度を算出してもよい。以下、具体例を用いて説明する。

図６（ｂ）は、実験において示された、想起行動時のユーザの視線位置の一例を示す図である。具体的には、画面上に、Ｃ社の商品を紹介する動画コンテンツの一部のシーンが表示されている。画面上には商品の説明として、「手振れ補正機能付き」との文字を表す提供画像が表示領域（２００、３００、８００、４００）に表示されている。一方、ユーザの視線はこの間、視線Ｃ（４００、３８０）に位置している。表示領域内に視線が位置しているため、ユーザは商品説明に着目していると考えることができる。

一方、ユーザが想起を行っている場合、表示領域から外れた位置にユーザの視線が滞留することが多い。図８は、実験において示された、想起行動時のユーザの視線位置の例を示す図である。具体的には、図８（ａ）は、図６（ｂ）と同様に、Ｃ社の商品を紹介する動画コンテンツの一部のシーンを示す。図６（ｂ）に示される視線の計測対象であるユーザとは異なり、図８（ａ）に示される視線の計測対象であるユーザの視線は、視線Ｄ（２００、１００）に位置していることが分かる。また、このシーンは３秒間あり、ユーザの視線位置は、３秒間、座標（２００、１００）に滞留した。

本来なら、ユーザは、商品の説明に関する文字「手振れ補正機能付き」を表す提供画像に着目すると考えられるところ、想起を行っているため、提供画像の表示領域から視線が大きく外れ、かつ、同じ位置に滞留していることが分かる。視線の座標（２００、１００）に対し領域までの鉛直距離は、座標（２００、１００）から座標（２００、３００）までの距離となり、２００（＝（０、２００））となる。例えば距離の閾値を１００とし、滞留時間の閾値を２秒とすると、距離及び滞留時間のいずれも閾値以上のため、想起判定部１０６は、ユーザが想起行動をとっている（すなわち、想起状態である）と判定する。

また、コンテンツが動画等の場合、各コンテンツは複数の提供画像を含みうる。この場合、想起判定部１０６が一部の提供画像に対するユーザの想起状態のみを判定しても、コンテンツ全体に対する想起状態を正確に判定することはできない。

そこで想起判定部１０６は、例えば各コンテンツの視聴中における、ユーザによる想起行動の回数を集計し、その割合でコンテンツに対するユーザの想起度を算出する。

例えば、再び図７（ａ）を参照して、コンテンツ３の「Ｃ社デジタルカメラＣＭ」には、合計１０個のシーンタグが含まれている。ここで、例えば１０個中、識別子が１のシーンタグ（シーンタグ１）に対応する提供画像に対してのみユーザは想起行動をとり、それ以外の９個のシーンタグに対応する提供画像に対しては、所定の表示領域内にユーザの視線が位置していたとする。この場合、想起判定部１０６は、ユーザのコンテンツ３に対する想起度を、１／１０＝１０％と算出する。すなわち、想起判定部１０６は、想起情報に含まれるシーンの総数に対する、ユーザが想起状態であると判定されたシーンの総数の割合として想起度を算出する。

なお、想起判定部１０６は、想起状態と判定した時間の合計時間をもとに想起度を算出することとしてもよい。視線が領域を外れる時間が長いほど、想起している可能性が高いと考えられるからである。この場合、想起判定部１０６は、例えば、想起情報に含まれる全てのシーンタグに対応する表示時間の合計値に対する、ユーザが想起状態にあると判定されたシーンタグに対応する表示時間の合計値の割合として、想起度を算出してもよい。

図９、図１０は、想起度について説明する図である。図９（ａ）は、図３（ａ）と同じユーザの脳血流の測定結果を示す図である。図９（ｂ）は、ユーザが視聴した４つのコンテンツの概要を示す。図９（ｃ）は、各コンテンツに対して想起判定部１０６によって算出された想起度を示す。

例えば０秒から３０秒までのＡ社の商品説明用の動画コンテンツの視聴時は、全部で１０個のシーンのうち、２個のシーンで、ユーザの視線位置が表示領域から閾値以上離れていたため、想起判定部１０６は、想起度を２０％と算出する。一方、Ｂ社、Ｃ社、Ｄ社の商品説明用の動画コンテンツの視聴時には、表示領域にユーザの視線が位置しており、いずれも想起度は０％と算出されている。

図１０（ａ）は、図５（ａ）と同じユーザの脳血流を示す図である。図１０（ｂ）は、ユーザが視聴した４つのコンテンツの概要を示す。図１０（ｃ）は、各コンテンツに対して想起判定部１０６によって算出された想起度を示す。例えば０秒から３０秒までのＡ社の商品説明用の動画コンテンツの視聴時は想起度が０％と算出され、Ｂ社の商品説明用の動画コンテンツの視聴時は想起度が２０％と算出され、Ｃ社の商品説明用の動画コンテンツの視聴時は想起度が０％と算出され、Ｄ社の商品説明用の動画コンテンツの視聴時は想起度が８０％と算出されている。

反応対象特定部１０７は、反応識別部１０２で特定された反応時刻の候補と、想起判定部１０６において特定された想起度をもとに、ユーザが心理的な反応を示したコンテンツ、又はシーン等の対象である反応対象を特定する。なお、反応対象特定部１０７は、反応対象が表示された時刻を特定してもよい。

本実施の形態では、Ａ社、Ｂ社、Ｃ社、及びＤ社の各社の商品説明用の動画コンテンツを、それぞれ１つのコンテンツとし、ユーザが示した心理的な反応がいずれのコンテンツによるものかを特定する例をもとに説明する。

まず、前述のように、反応識別部１０２は、取得した脳血流の絶対値が事前に定められた閾値を上まわった場合、及び、所定の時間区間における脳血流の積分値の絶対値が事前に定められた値を上まわった場合のいずれかの場合には、ユーザが心理的な反応を示した（すなわち、反応種別が「有反応系」である）と識別する。このとき、反応識別部１０２は、取得した脳血流の絶対値が事前に定められた閾値を上まわった時刻、及び、所定の時間区間における脳血流の積分値の絶対値が事前に定められた値を上まわった時刻のいずれかの時刻から、事前に定められた時間だけ遡った時刻までの時間区間に含まれる時刻を、ユーザが心理的な反応を示した時刻の候補である反応時刻候補と特定する。

次に、反応対象特定部１０７は、ユーザが示した心理的な反応が反応時刻候補として特定された時刻にユーザが視聴しているコンテンツ又はシーンに対する反応であるか、それとも、過去のシーン又はコンテンツをユーザが想起していたために生じた反応であるかを特定する。

例えば、想起判定部１０６によって算出された想起度が所定の閾値（例えば６０％）未満の場合、反応対象特定部１０７は、ユーザがコンテンツ視聴時に心理的な反応を示した対象はユーザが現に視聴しているコンテンツであると特定する。その結果、反応対象特定部１０７は、反応時刻候補を含むコンテンツをユーザが心理的な反応を示した対象のコンテンツとして特定する。一方、想起度が閾値である６０％以上の場合、反応対象特定部１０７は、反応時刻候補よりも前の時刻にユーザが視聴したコンテンツを、ユーザが心理的な反応を示した対象として特定する。

すなわち、反応対象特定部１０７は、想起度が事前に定められた値よりも小さい場合には、反応時刻候補に視聴した画像コンテンツをユーザが心理的な反応を示した対象として特定し、想起度が事前に定められた値以上の場合には、反応時刻候補よりも前に視聴した画像コンテンツを、ユーザが心理的な反応を示した対象として特定する。

具体的には、反応識別部１０２が識別した心理的な反応は、ユーザが過去に視聴したコンテンツ、又はシーンを対象とする反応であると特定する。

より具体的には、図９（ａ）に示す脳血流の計測対象であるユーザは、６５秒を起点に脳血流が閾値である０．０５を上まわるように増加しており、心理的な反応を生じている。したがって、反応識別部１０２は、６５秒を反応時刻候補４２０として特定する。次に、反応時刻候補４２０を含むシーン、すなわち、Ｃ社の商品説明用の動画コンテンツに対する想起度を参照すると、想起度は０％である。すなわち、想起度は、閾値である６０％未満である。したがって、反応対象特定部１０７は、反応時刻候補４２０に示された心理的な反応は、反応時刻候補４２０を含むシーンに対する反応、すなわちＣ社の商品説明用の動画コンテンツに対する反応であると特定する。

一方、図１０（ｂ）に示す脳血流の計測対象であるユーザは、９０秒を起点に脳血流が閾値である０．０５を上まわるように増加している。したがって、反応識別部１０２は、９０秒を反応時刻候補４２１として特定する。次に、反応時刻候補４２１を含むシーン、すなわち、Ｄ社の商品説明用の動画コンテンツに対する想起度を参照すると、想起度は８０％である。すなわち、想起度が閾値以上となっている。したがって、反応対象特定部１０７は、１つ前のシーンであるＣ社の商品説明用の動画コンテンツをユーザが想起している対象として特定する。これにより、反応対象特定部１０７は、反応時刻候補４２１に示されたユーザの心理的な反応は、Ｃ社の商品説明用の動画コンテンツに対する反応であると特定する。

なお、コンテンツ評価装置１１０は、コンテンツに対するユーザの評価を外部の表示装置である評価表示部１０８に表示してもよい。評価表示部１０８は、コンテンツに対する評価、例えば反応の有無などの結果を表示するための表示装置である。評価表示部１０８は、例えば液晶ディスプレイ、又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等である。なお、コンテンツ評価装置１１０が評価表示部１０８を備えてもよい。

図１１は、評価表示部１０８に表示されるコンテンツの評価結果の一例である。評価した各コンテンツと、各コンテンツに対するユーザの反応とが、評価の結果として表示されている。また、参考情報として、ここでは脳血流の実測値も表示されている。例えば０秒から３０秒までの間に表示されたＡ社の商品説明用の動画コンテンツと、３０秒から６０秒までの間に表示されたＢ社の商品説明用の動画コンテンツとについては、脳血流が変化しておらず、ユーザの心理的な反応はなしとの評価がなされている。

一方、９０秒から１２０秒までの間に表示されたＤ社の商品説明用の動画コンテンツについては、脳血流に閾値以上の反応がある。しかしながら、ユーザは想起状態にあるため、この反応はＤ社のコンテンツに対してではなく、その前のＣ社のコンテンツに対する反応として特定されている。すなわち、Ｃ社の商品説明用の動画コンテンツに対し、反応あり（増加しているため、興奮系）と特定されている。

一方、９０秒から１２０秒については、ユーザが想起状態にあるため、反応なし（想起）と評価されている。なお、図１１では想起度を考慮しての評価を示しているため、図１０に示すような想起度の表示は行っていないが、評価の１つとして想起度を合わせて表示することとしてもよい。

次に、本発明の動作フローを図１２、図１３、図１４、図１５、図１６、及び図１７を用いて説明する。

まず、図１２を参照して、脳血流検知部３２０は、コンテンツを視聴しているユーザの脳血流を検知する（ステップＳ１０１）。

次に、検知された脳血流の増減量をもとに、反応識別部１０２は、ユーザの心理的な反応種別を識別する（ステップＳ１０２）。なお、脳血流の検知（ステップＳ１０１）と、視線検知（ステップＳ１０２）は並行処理であってもよい。

図１３は、反応の識別処理（図１２のステップＳ１０２）の詳細なフローチャートである。反応識別部１０２は、所定の閾値（例えば±０．０５など）を設けて、脳血流（すなわち、酸化ヘモグロビン濃度又はトータルヘモグロビン濃度）が閾値以上に増加又は減少したか否かを判定し、増減量が閾値以上である場合（ステップＳ２０１でＹｅｓ）に、ユーザに心理的な反応があった（すなわち、「有反応系」）と識別する（ステップＳ２０２）。一方、脳血流の増減量が閾値未満の場合（ステップＳ２０１でＮｏ）は、反応なし（すなわち、「無反応系」）と識別する（ステップＳ２０３）。

なお、脳血流の増減量が閾値以上である場合には、反応識別部１０２は、脳血流の変化が増加か減少かによって反応種別をさらに詳細に識別してもよい。例えば本実施の形態に係る反応識別部１０２は、脳血流の変化が増加か減少かを判断し（ステップＳ２０４）、増加の場合（ステップＳ２０４でＹｅｓ）には、反応種別を「興奮系」の反応と識別し（ステップＳ２０５）、減少の場合（ステップＳ２０４でＮｏ）には、反応種別を「集中系」の反応と識別する（ステップＳ２０６）。さらにまた、反応識別部１０２は、脳血流の変化量が閾値以上となった時刻を反応時刻の候補（反応時刻候補）として特定する（ステップＳ２０７）。

再度図１２を参照して、視線検知部１０３は、コンテンツを視聴するユーザの視線の位置を所定時間ごとに検知する（ステップＳ１０３）。得られた視線の位置の時系列データを元に、滞留時間算出部１０４は、視線位置の滞留時間を算出する（ステップＳ１０４）。

図１４は、滞留時間の算出処理（図１２のステップＳ１０４）の詳細なフローチャートである。

滞留時間算出部１０４は、視線検知の間（すなわち、コンテンツ評価装置１１０がコンテンツの評価に必要な全ての視線位置を取得するまで）、以下に述べるステップＳ３０１から３０６までの処理を繰り返し行うことで、視線位置の滞留時間を算出する。

まず、滞留時間算出部１０４は、現在の視線位置を示す座標をバッファに蓄積する（ステップＳ３０２）。その後、次のサンプリングのタイミングで現在の視線位置を示す座標を参照し（ステップＳ３０３）、バッファに蓄積されている座標と、現在の座標との差分を算出する（ステップＳ３０４）。例えば、Ｘ座標、Ｙ座標ともに±１０などの所定の閾値を設けておき、差分が閾値以内であるか否かを判断する（ステップＳ３０５）。差分が閾値以上の場合（ステップＳ３０５でＹｅｓ）、視線が移動していると判断できるため、滞留時間算出部１０４は、再びループ処理を行う（ステップＳ３０６）。

一方、視線位置の差分が閾値未満の場合（ステップＳ３０５でＮｏ）、滞留時間算出部１０４は、滞留時間を算出するために、まず現在の時刻をバッファに蓄積する（ステップＳ３０７）。そして、視線位置の差分が閾値未満の間、サンプリングのタイミングごとに現在時刻を参照しつつ（ステップＳ３０９）、ループ処理を行う（ステップＳ３０８からＳ３１０）。視線位置の差分が閾値を超えるとループを抜けるので（ステップＳ３１０）、抜けた時刻とバッファに蓄積されている時刻との差分を算出する（ステップＳ３１１）。その後、滞留時間算出部１０４は、得られた時刻の差分を滞留時間とする（ステップＳ３１２）。これにより、視線位置と当該視線位置への滞留時間とが、逐次得られることとなる。

再度図１２を参照して、次に、想起判定部１０６は、想起情報蓄積部１０５に蓄積された想起情報を参照する（ステップＳ１０５）。そして想起判定部１０６は、コンテンツ視聴時のユーザの視線位置と視線の滞留時間とをもとに、ユーザが想起状態にあるか否かを判定する（ステップＳ１０６）。

図１５は、想起判定処理（図１２のステップＳ１０６）の詳細なフローチャートである。

なお、本実施の形態に係る想起判定部１０６は、複数のシーンが集まった１つのコンテンツに対して、コンテンツごとに想起度を算出する。そのため、想起情報に含まれるシーンタグの数分だけ、ステップＳ４０３〜ステップＳ４１２の処理を繰り返し行う（ステップＳ４０３からＳ４１２まで）。

各繰り返し処理においては、まず、想起判定部１０６はシーンタグに含まれるシーンの時間（表示時間）を参照する（ステップＳ４０４）。また、想起判定部１０６は、シーンの表示領域を参照する（ステップＳ４０５）。図７に示す想起情報のシーンタグ１でいえば、表示時間は１秒から２秒であり、表示領域は（２００、３００、７００、４００）である。

次に想起判定部１０６は、表示時間内におけるユーザの視線位置が、表示領域内に位置するか否かを判断する（ステップＳ４０６）。ここで、視線位置が表示領域内に位置する場合には（ステップＳ４０６でＹｅｓ）、ユーザが提供画像を見ているために、想起状態ではないと判定する（ステップＳ４０７）。

一方、表示領域内に位置しない場合（ステップＳ４０６でＮｏ）、想起判定部１０６は、表示領域と視線位置の距離を算出する（ステップＳ４０８）。次に、想起判定部１０６は、算出された距離が閾値以上か否かを判断する（ステップＳ４０９）。距離が閾値未満の場合（ステップＳ４０９でＮｏ）、想起判定部１０６は、対応する表示時間においてユーザが想起状態ではないと判定する（ステップＳ４０７）。表示領域内と視線位置との距離が短いため、表示領域内に視線位置が位置しないのは視線検出時の誤差と考えられるためである。

一方、距離が閾値以上の場合（ステップＳ４０９でＹｅｓ）、想起判定部１０６は、さらに滞留時間が閾値以上か否かを判断する（ステップＳ４１０）。滞留時間が閾値未満の場合（ステップＳ４１０でＮｏ）、想起判定部１０６は、ユーザが想起状態ではないと判定する（ステップＳ４０７）。

一方、滞留時間が閾値以上の場合（ステップＳ４１０でＹｅｓ）、想起判定部１０６は、対応する表示時間においてユーザが想起状態であると特定する（ステップＳ４１１）。

想起判定部１０６は、１つのコンテンツについての想起情報に含まれるシーンタグの数だけ、ステップＳ４０３〜ステップＳ４１２のループ処理を繰り返した後に、ループ処理を抜ける（ステップＳ４１２）。

以上の処理により、シーンタグごとにユーザが想起状態であるか否かが判定される。その後、想起判定部１０６は、１つのコンテンツについての想起情報に含まれる全シーンタグの個数に対する、ユーザが想起状態であると判定されたシーンタグの個数の割合として想起度を算出する（ステップＳ４１３）。

再度図１２を参照して、次に反応対象特定部１０７は、反応識別部１０２によって識別されたユーザの心理的な反応の有無及び反応時刻候補と、想起判定部１０６によって算出された想起度とをもとに、ユーザが実際に反応を示した対象を特定する。本実施の形態に係る反応対象特定部１０７は、ユーザが示した心理的な反応が、ユーザが視聴したいずれかのコンテンツに対する反応であることを前提に、その中のいずれのコンテンツに対しての反応であるかを特定する（ステップＳ１０７）。

図１６は、反応対象を特定する処理（図１２のステップＳ１０７）の詳細なフローチャートである。まず、反応対象特定部１０７は、反応識別部１０２によって特定された反応時刻候補を参照する（ステップＳ５０１）。そして反応時刻候補とされた時刻を含むシーン又はコンテンツの想起度を参照する（ステップＳ５０２）。

本実施の形態では、反応時刻候補が含まれるコンテンツは１つということとなる。例えば、図９の場合、反応時刻候補４２０は６５秒である。これに対応する想起度は、６５秒を含むコンテンツ、すなわちＣ社の商品説明用の動画コンテンツの想起度である０％となる。また、図１０の場合、反応時刻候補４２１は９０秒である。これに対応する想起度は、９０秒を含むコンテンツ、すなわちＤ社の商品説明用の動画コンテンツの想起度である８０％となる。

次に、反応対象特定部１０７は、想起度が閾値未満（閾値は例えば６０％とする）であるか否かを判断する（ステップＳ５０３）。想起度が閾値未満の場合（ステップＳ５０３でＹｅｓ）、反応対象特定部１０７は、反応時刻候補に示されたユーザの心理的な反応の対象が、現在（すなわち、反応時刻候補の時点）においてユーザが視聴したコンテンツであると特定する（ステップＳ５０４）。一方、想起度が閾値以上の場合（ステップＳ５０３でＮｏ）、反応対象特定部１０７は、反応時刻候補の時点においてユーザの想起行動が生じていると判断する。この場合、反応対象特定部１０７は、反応時刻候補に示されたユーザの心理的な反応は、反応時刻候補を含むシーン又はコンテンツの１つ前にユーザが視聴したシーン又はコンテンツを対象とする反応であると特定する（ステップＳ５０５）。

例えば、図９の場合、Ｃ社の商品説明用の動画コンテンツを視聴するユーザの想起度は０％であり、想起度は閾値未満である。したがって、反応対象特定部１０７は、反応時刻候補４２０においてユーザが示した心理的な反応は、現在（反応時刻候補４２０時点において）ユーザが視聴しているコンテンツであるＣ社の商品説明用の動画コンテンツに対する反応であると特定する。また、図１０の場合、Ｄ社の商品説明用の動画コンテンツを視聴するユーザの想起度は８０％であり、想起度は閾値以上である。したがって、反応対象特定部１０７は、反応時刻候補４２１においてユーザが示した心理的な反応は、現在（反応時刻候補４２１）ユーザが視聴しているコンテンツの１つ前のコンテンツであるＣ社の商品説明用の動画コンテンツに対する反応であると特定する。

なお、再度図１２を参照して、コンテンツ評価装置１１０は、反応識別部１０２によって識別された反応の有無及びその種別と、反応対象特定部１０７によって特定された反応対象又は反応対象の表示時刻とを、コンテンツに対するユーザの評価として評価表示部１０８へ表示してもよい（ステップＳ１０８）。

なお、本実施の形態に係る想起判定部１０６は、複数の着目すべきシーンが集まった（すなわち、複数のシーンタグによって特定される）１つのコンテンツに対し、ユーザが想起状態であったシーンの割合を想起度として算出しているが、シーンごとに想起の有無を判定し、あるいは想起の度合いとして算出してもよい。例えば、想起判定部１０６は、シーンごとに、表示時間における視線位置と、当該表示時間に対応付けられた表示領域との距離、及び表示時間における滞留時間が、それぞれ事前に定められた閾値以上であるかを判定し、それぞれが閾値以上である場合には、当該シーンより前に表示された他のシーンをユーザが想起していたと判定してもよい。

また、本実施の形態に係る想起判定部１０６は、表示領域と視線位置との距離、及び視線の滞留時間を閾値と比較することで、想起状態の判定処理を行う例を説明したが、想起状態の判定はこれに限ったものではなく、様々なバリエーションが考えられる。以下、一例を説明する。

本実施の形態に係る想起判定部１０６は、想起度の判定において、着目すべき領域（すなわち、シーンタグの中に定義されている表示領域）に対する視線の離れ度合いを用いていた。例えば図８において、想起判定部１０６は、視線Ｄ（２００、１００）と、着目すべき領域である領域Ｂ（２００、３００、８００、４００）との鉛直距離を２００と算出していた。しかし、シーンによっては着目すべき領域が複数存在する場合もある。より詳細には、図１７を用いて説明する。

図１７では、着目すべき領域として領域Ｂ（２００、３００、８００、４００）と、領域Ｃ（３００、５０、６０、１５０）とが定義されているとする。対して視線位置は視線Ｄ（２００、１００）である。この場合、想起判定部１０６は、例えば、領域Ｂ及び領域Ｃのそれぞれと、視線Ｄまでの鉛直距離を算出し、最も近い距離が閾値以上か否かで想起状態を判定してもよい。すなわち、想起判定部１０６は、シーンが複数の表示領域を含む場合には、視線位置に対し最も近い表示領域との離れ度合いを用いて距離を算出してもよい。複数ある表示領域のうち、視線位置に最も近い表示領域に対しても、視線位置が閾値以上離れているということは、ユーザは現在視聴しているコンテンツには着目しておらず、想起状態である可能性が高いと考えられるためである。

あるいは、領域Ｂ及び領域Ｃのそれぞれから、視線Ｄまでの距離に重みを付与し、重み付きの距離の総和を用いて想起状態を判定してもよい。すなわち、想起情報は、シーンごとに重みを有し、想起判定部１０６は、想起状態と判定されたシーンの総数を、シーンに対応する重みを乗じて集計してもよい。

例えば（式１）に示すように、想起判定部１０６は、シーンに含まれる各表示領域と視線位置との距離ｌ（例えば鉛直距離とする）に、重みｗを乗算してもよい。これにより、重み付きの距離の総和として、着目すべき領域（表示領域）に対する視線位置の乖離度合いを計算し、当該乖離度合いが閾値以上の場合は、ユーザが想起状態にあると判定することもできる。なお、重みの値は任意に定めることができるが、例えば、後述するように表示領域ごとにシーンタグ内で定義しておいてもよく、距離ｌの大きさによって所定の関数により定まる値ｆ（ｌ）を用いてもよい。

なぜなら、１つのシーンに複数の着目すべき領域が存在する場合、そのシーンに着目しているユーザであれば、これら領域の全て、あるいはいくつかに視線が移動する。しかし、ユーザが想起を行っている場合、想起を邪魔されないため、無意識のうちに提供画像が表示されている全ての領域を避けようと、いずれの表示領域からも遠い位置に視線が行き、そこで視線が滞留する傾向があるからである。このように各領域を考慮することで、想起判定部１０６は、より精度よく想起度を判定することが可能となる。

また、本実施の形態に係る想起判定部１０６は、滞留時間が閾値以上（例えば１秒以上など）の場合、ユーザは想起状態にあると判定していたが、これに限ったものではない。

例えば滞留時間が長いほど、想起状態により大きな重みを付与してもよい。すなわち、ユーザは、思い出しなど、想起行動をとっている場合、視線はあまり移動せず、一定範囲内に滞留することが多い。したがって、想起判定部１０６は、視線の滞留時間が長ければ長いほど想起の度合いが高くなるよう、例えば滞留時間ｔを重みとして視線位置と表示領域との距離等に乗算することで想起度を算出してもよい。より具体的には、上記（式１）にさらに時間の概念を加えた、下記（式２）などが考えられる。（式２）では、重み付けされた距離ごとに対応する滞留時間を乗じ、全表示領域についての総和Ｌを算出している。

さらにまた、ユーザが想起行動をとる場合、ユーザの視線は、単に着目すべき領域に対して離れた位置に滞留するだけではなく、コンテンツが表示されている表示画面の４隅のいずれかに近い位置に滞留する場合もある。一般的にコンテンツは、ユーザがより着目しやすいよう作成されているものである。したがって、タレント、商品、機能説明、及び文字等、ユーザに見て欲しい対象を表す提供画像は画面の中央に配置される。その一方、ユーザは、これらの提供画像が目に入ると、想起の妨げになるため、無意識のうちに画面の４隅のいずれかに視線を移動させ、そこで滞留する傾向にある。そこで、想起判定部１０６は、着目すべき領域の位置にかかわらず、ユーザの視線位置が、表示画面の４隅のいずれかに所定の時間以上滞留している場合は、ユーザは想起状態であると判定してもよい。

なお、発明者らの実験において、ユーザの視線が表示画面上のいずれの位置に滞留するかについては、位置による有意な差は得られていない。例えば、『あるユーザの視線位置は、表示画面の左上に常に位置するが、別のユーザの視線位置は画面の右側に常に位置する』等、ユーザごとに視線位置の滞留位置が有意に異なるという実験結果は、現在のところ得られていない。しかしながら、個人ごとに癖がある。そこで、想起判定部１０６は、例えば個人ごとに視線の履歴を蓄積し、想起時の位置や時間を算出しておき、それをモデル化したものを想起情報として用いることとしてもよい。

なお、発明者らが行った実験の結果より、商品説明用の動画、及び商品のコマーシャルでは、タレント、説明者等の人に最も視線が位置しやすく、次いで商品の外観、商品の機能を表した文字、及び社名ロゴに視線が位置するという傾向が得られている。

そこで、着目すべき領域である表示領域ごとに、事前に対応する提供画像の内容に応じて重みを付与しておき、想起判定部１０６は、重み付けされた想起状態を集計することで想起度を算出してもよい。

すなわち、本実施の形態に係る想起判定部１０６は、説明のため、表示領域に対して閾値以上離れて視線が滞留した場合は想起状態であると特定していた。しかし、表示領域に表示される提供画像の内容によって、シーンタグ内で表示領域ごとに重み定義しておき、想起判定部１０６は、重みつきの距離の総和等で想起度を算出してもよい。例えば上記（式１）や（式２）において、着目すべき領域である表示領域に表示される提供画像の内容がタレントの場合は、この表示領域に対応する重みｗとして１．０を指定し、文字又はロゴの場合は、この表示領域に対応する重みｗとして０．５を指定することで、視線位置と表示領域との距離が同じであっても想起度が変わってくる。

すなわち、想起判定部１０６は、本来ならば、文字情報等よりも着目されやすい女優や俳優を表す提供画像が表示されているにもかかわらず、ユーザの視線がこの提供画像から離れた位置に滞留している場合は、文字等を表す提供画像が表示されている場合よりも高く想起度を算出してもよい。

さらにまた、想起判定部１０６は、表示される提供画像が文字の場合、視線がその文字を追っているか否かを想起の判定時に考慮してもよい。例えば、文字の領域の場合は、単に位置するだけではなく、当該領域を追っているか、あるいは領域内を移動しているか等を考慮することとしてもよい。すなわち、想起判定部１０６は、提供画像が文字情報を表す場合には、提供画像の表示時間内の視線位置の移動量が事前に定められた閾値未満の場合には、ユーザが想起状態であると判定してもよい。さらに、想起判定部１０６は、視線位置の移動方向が提供画像が表す文字の書字方向に一致している場合には、ユーザが想起状態にないと判定してもよい。図１８を用いて具体的に説明する。

図１８は、文字情報に対するユーザの注視度の算出方法を説明する図である。図１８（ａ）及び（ｂ）において、視線は視線Ｄ（１５０、８６０）で示される位置に滞留しているとする。一方、着目すべき領域である表示領域は、領域Ｂ（２００、３００、８００、４００）である。したがって、視線位置と表示領域との座標の差は（５０、４０）であり、その距離は閾値（例えば、１００とする）未満である。従って、例えば図１８（ｂ）に示されるように、単に表示領域と視線位置との距離のみで判定する場合、想起判定部１０６は、ユーザは想起状態ではないと判定する。

しかしながら、図１８（ａ）においては、領域Ｂには「手振れ補正機能付き」という文字を表す提供画像が表示されている。したがって、コンテンツに本来着目しているユーザであれば、その視線は書字方向（この例では、左から右）に文字を追うのが一般的である。したがって、提供画像が文字を表す場合、想起判定部１０６は、ユーザの視線が文字を追うか否かの判断を加えることで、より精度よく想起判定が可能となる。図１８（ａ）に示される場合、文字が表示されている領域Ｂに対し、ユーザの視線は視線Ｄに滞留しているため、たとえ領域Ｂと視線Ｄとの距離が閾値以内であろうと、想起判定部１０６はユーザが想起状態であると判定することとなる。なお、提供画像が文字情報を表す場合には、対応するシーンタグにおける属性欄に当該提供画像が文字情報を表すことを示す情報を含めることで、想起判定部１０６は、提供画像が文字情報を表すか否かを知ることができる。

なお、想起判定部１０６は、視線が滞留を開始した時刻を考慮して想起の判定を行うこととしてもよい。以下、図１９の具体例を用いて説明する。図１９は、視線の滞留が開始した時刻を考慮した想起判定処理を説明する図である。まず、図１９（ａ）に示される画面において、視線は視線Ｄ（２００、１００）に位置している。また、着目すべき表示領域は、領域Ｂ（２００、３００、６００、４００）である。したがって、視線位置と表示領域とは、閾値以上離れており、ユーザの視線は滞留を開始している。すなわち、ユーザは想起を行って想起状態にあるため、着目すべき領域から視線を外し、かつ、視線が滞留している。ここで、画面が切り替わり、図１９（ｂ）に示される画面が表示されたとする。この場合、ユーザの視線が滞留していた位置に「夜でも綺麗」という文字を表す提供画像が現れている。しかしユーザはすでに想起を開始しているので、画面の切り替わりに関係なく、視線は同じ位置に滞留し続けている。

図１９（ｂ）に示される画面の場合、着目すべき領域は領域Ｃ（５０、５０、６００、２００）であるため、視線の位置である視線Ｄ（２００、１００）は、領域Ｃ内に入っている。したがって、想起判定部１０６は、実際はユーザが想起しているにもかかわらず、想起状態ではないと誤って判定してしまう恐れがある。そこで、想起判定部１０６は、滞留が開始した時刻において、ユーザの視線位置が表示領域に入っていたか否かを用いて想起状態の有無を判定し、その後は視線位置が滞留しているか否かのみによって想起状態の有無を判定してもよい。より具体的には、想起判定部１０６は想起情報を参照し、視線位置が提供画像の表示領域内に位置する場合において、視線位置が当該提供画像の表示時間より前から当該表示領域内に位置する場合は、ユーザが想起状態であるとは判定しないとしてもよい。このように場面の切り替わりで偶然視線の位置に領域が入ってしまった場合における誤判定を避けることが可能となる。

なお、本実施の形態に係るコンテンツ評価装置１１０は、複数の注目すべきシーンが集まった商品説明用の動画コンテンツを１つのコンテンツとする場合において、複数のコンテンツを視聴したユーザの、コンテンツごとの脳血流の変化を計測した。また、計測結果からユーザの心理的な反応が生じたと判定された場合には、コンテンツ評価装置１１０は、いずれの商品説明用の動画コンテンツに対する反応であるかの特定を行った。しかし、コンテンツ評価装置１１０が評価を行うコンテンツは、これに限ったものではない。例えば、複数の異なるシーンが連続するようなドラマ、又は映画などに対して、生体信号をもとにシーンに対するユーザの評価や感情を推定するシステムなどへの応用も可能である。

発明者らは、商品説明用の動画コンテンツを視聴する際のユーザの視線及び脳血流の変化だけではなく、映画の説明、ＣＭ、及び３Ｄ映像などのコンテンツに対しても同様の評価実験を行っている。その結果、これらコンテンツに対しても、ユーザは、上記に説明する興奮系の反応及び集中系の反応と同様の反応を示すことを、実験より確認している。

従って本発明を用いて、例えば、集中したり、興奮したり、感情が高ぶったシーン等、脳血流に反応が生じ、ユーザの心理になんらかの変化があったシーンを抽出するシステムなどにも応用が可能である。

図２０は、実験において映画の宣伝用コンテンツを視聴しているユーザの脳血流の変化等を説明する図である。図２０（ａ）は映画の宣伝を視聴している際のユーザの脳血流の変化を示した図である。横軸を時間、縦軸を脳血流としている。

図２０（ｂ）は、映画の宣伝用コンテンツに対応する、タグ形式で表現された想起情報の一例である。映画の宣伝等を１つのコンテンツとみなした場合、このコンテンツの中には複数のシーンが存在するのが一般的である。ここでは複数のシーンを「シーン群」として示している。例えばシーン群１は「映画説明」に関するシーンであり、シーンタグ１、シーンタグ２の２つの着目すべき領域と対応する表示時間とを含むことを示している。あるいはシーン群８は「魔法を憶えるシーン」としてシーンタグ８６、シーンタグ８７等、複数の着目すべき領域とその時間の組みで構成される。シーン群９は「逃走シーン」としてシーンタグ９０、シーンタグ９１等、複数の着目すべき領域とその時間の組みで構成される。

脳血流はしばらく一定の値を保持しつつ、１００秒の時点で脳血流が閾値０．０５を上まわるように増加していることが分かる。反応識別部１０２は閾値処理等を用いて、１００秒をユーザが心理的な反応（興奮系）を示した時刻の候補として特定する。そして、想起判定部１０６は、反応時刻の候補である１００秒以降の各シーンにおいて想起度を算出し、反応対象特定部１０７は、想起度が閾値未満の場合は当該時刻に視聴したコンテンツに対する反応であると特定する。

例えばこの場合、想起度が閾値未満であれば、反応識別部１０２は、シーン群９の「逃走シーン」にユーザが興奮していると識別する。

一方、想起度が閾値以上の場合、想起判定部１０６は、ユーザが想起状態にあると識別する。その場合、反応対象特定部１０７は、１つ前のシーンである「魔法を憶えるシーン」を対象として、ユーザはなんらかの考え事や思い出しなどの想起行動をとっていたと判断する。このように、コンテンツ評価装置１１０は、複数のコンテンツの中から、ユーザが心理的な反応を示したコンテンツを選ぶだけではなく、一連の動画などからユーザが心理的な反応を示した特定の時間やシーンを特定することも可能である。

なお、本実施の形態に係る反応対象特定部１０７は、ユーザが想起状態である場合、当該時刻に示される心理的な反応の対象は、１つ前のシーンやコンテンツであると特定している。これは、本実施の形態で説明するように、コンテンツが連続して表示され、ユーザにそのコンテンツを評価してもらう場合に、想起行動は１つ前のコンテンツに対してのものであることが多いという実験結果によるものである。しかし、ユーザに映画やテレビ番組を自由に視聴してもらい、必ずしも評価を強いるようなものではない状況の場合、想起の対象は必ずしも１つ前のシーン又はコンテンツに対するものとは限らない。そこで、コンテンツ評価装置１１０は、例えば当該反応を示す前にユーザが視聴した複数のシーン又はコンテンツうちのいずれかをユーザが想起している旨を表示してもよい。あるいは、コンテンツ評価装置１１０は、想起の対象であるシーンを特定せず、単に想起行動があった旨を表示するにとどめることとしてもよい。これにより、利用状況に応じたコンテンツ評価を行うことが可能となる。

（変形例１）
実施の形態に係るコンテンツ評価装置１１０は、所定順に表示されるコンテンツに対する脳内血流の変化に基づいて、被験者であるユーザの興味等、心理的な反応を認識していた。さらに、視線情報の画面上での滞留時間等の情報を利用して被験者が想起状態であるか否かを推定することによって、被験者の興味等が以前に提示されたコンテンツに対するものであるか否かも判断している。

さらに、本変形例に係るコンテンツ評価装置１１０ａは、被験者が想起状態であると判定したときには、被験者であるユーザが興味をもったと推定されるコンテンツを再びユーザに提示することで、ユーザがどのコンテンツに対して興味をもっていたかをより正確に特定するする。本変形例に係るコンテンツ評価装置１１０ａのシステム構成を図２１に示す。

図２１に示されるように、本変形例に係るコンテンツ評価装置１１０ａは、図１に示されるコンテンツ評価装置１１０のシステム構成に、さらに、刺激提示順序記憶部２１０１、刺激提示部２１０２、刺激提示順序変更部２１０３が追加されている。また、反応対象特定部１０７に代わり、反応対象特定部１０７ａを備える。

刺激提示順序記憶部２１０１は、複数の画像コンテンツの表示順序を記憶している。すなわち、刺激提示順序記憶部２１０１は、被験者であるユーザに提示する刺激の提示順序を記憶している。例えば、本実施の形態に係る刺激提示順序記憶部２１０１には、ＣＭ映像を被験者に提示する順序、及び、そのＣＭ映像間の時間が記憶されている。

刺激提示部２１０２は、刺激提示順序記憶部２１０１に記憶されている順序、又は刺激提示順序変更部２１０３によって変更された表示順序に基づき複数のコンテンツを表示する。すなわち、刺激提示部２１０２は、刺激提示順序記憶部２１０１に記憶されている刺激の順序に従って、コンテンツを順に表示することにより、被験者に刺激を提示する。刺激提示部２１０２は、例えば、ＣＭ映像の場合には、液晶ディスプレイ等の表示装置として構成され、被験者に対してＣＭ映像及び音声を提示する。

刺激提示順序変更部２１０３は、刺激提示順序記憶部２１０１に記憶されている複数の画像コンテンツの表示順序を変更する。例えば、刺激提示順序変更部２１０３は、反応対象特定部１０７で特定された時刻に刺激提示部２１０１が表示していたコンテンツが再度表示されるように、刺激提示順序記憶部２１０１に記憶されている提示順序を変更する。なお、刺激提示順序変更部２１０３は、ランダムに提示順序を変更してもよい。

刺激提示順序変更部２１０３は、反応対象特定部１０７によってユーザが心理的な反応を示したコンテンツであると特定された他の画像コンテンツを再度表示するように表示順序を変更する。

ここで、反応対象特定部１０７ａによって、ユーザが心理的な反応を示した対象である可能性があると特定したコンテンツを第１の画像コンテンツとすると、反応対象特定部１０７ａは、複数の画像コンテンツのうち第１の画像コンテンツが１回目に表示されたときの脳血流の増減量と、第１の画像コンテンツが２回目以降に表示されたときの脳血流の増減量との差分に基づいて、ユーザが第１の画像コンテンツを想起していたか否かを判定する。

例えば、反応対象特定部１０７ａは、第１の画像コンテンツがＮ回目（ただし、Ｎ≧２）に表示されたときの脳血流の増加量から１回目に表示されたときの脳血流の増加量を引いた差が所定の閾値以上である場合に限り、ユーザは第１の画像コンテンツを想起していたと特定してもよい。以下、図２２を参照してより具体的に説明する。

図２２は、図５と同じユーザについて、視聴するコンテンツと脳血流の変化量との対応関係の続きを示す図である。図２２に示されるように、被験者へＤ社のＣＭを刺激として提示したときには、被験者は興奮系の反応を示している。このとき、想起判定部１０６が、被験者が想起状態であると判定したとする。また、反応対象特定部１０７ａは、Ｄ社のＣＭを提示したときに示された興奮系の反応は、Ｄ社のＣＭを提示したときにユーザが想起していたＣ社のカメラＣＭを対象としたものであると特定したとする。ただし、この時点における特定は確定的なものではないとする。次に刺激提示順序変更部２１０３は、Ｄ社のＣＭを提示した後に、再度、Ｃ社のＣＭが提示されるように、刺激提示順序記憶部２１０１に記憶されているコンテンツの提示順序を変更する。

一般に、提示されたコンテンツが、ユーザが始めて視聴するコンテンツである場合と、２回以上の視聴したことがあるコンテンツである場合とでは、１回目に提示されたコンテンツに対して、ユーザはより大きな心理的な反応を示すことが多い。その結果、脳の血流量も１回目に提示されたコンテンツを視聴した時の方が多くなる可能性が高い。しかしながら、Ｄ社のＣＭを提示したときにユーザがＣ社のＣＭの想起状態にあった場合には、Ｄ社のＣＭを提示後に、再度、Ｃ社のＣＭを提示すると、被験者の反応が有意に高くなる可能性が高い。具体的には、図２２に示すようにＤ社のＣＭ提示後に再度Ｃ社のＣＭを提示すると、被験者の脳内血流量が所定の閾値よりも増加すると考えられる。

そこで、反応対象特定部１０７ａは、Ｃ社の１回目のＣＭ提示中の脳内血流量と、２回目のＣＭ提示中の脳内血流量とを比較し、２回目の方がより大きな値となる場合には、９０秒から１２０秒における脳内血流の反応は、ユーザがＣ社のＣＭを想起したことによるものと判断する。

以上述べたように、本変形例に係るコンテンツ評価装置１１０ａは、視線情報を用いて以前に提示したコンテンツに対する想起反応であると判断したときには、再度、以前に提示したコンテンツが提示されるように、被験者に提示するコンテンツの順序を変更する。さらに、再度提示したコンテンツに対する被験者の脳内血流の変化を測定することで、想起反応によるものか否かを精度よく判断することが可能になる。

（変形例２）
実施の形態に係るコンテンツ評価装置１１０が備える想起情報蓄積部１０５は、図７に示されるように、コンテンツに含まれる各シーンに対応付けて、対象画像の表示領域、表示時間、及び属性等に関する情報を含む想起情報を蓄積している。ここで、表示領域等、想起情報に含まれる情報は、コンテンツの設計者（すなわち、コンテンツ制作者）が事前に設定しておく必要があり、その領域を設定するのには工数がかかる。また、一般のユーザが、そのコンテンツを視聴したときに、その領域内に視線が必ず滞留するとは限らない。

そこで、本変形例に係るコンテンツ評価装置１１０ｂは、ユーザが視聴した視線の履歴を用いて想起情報蓄積部１０５に蓄積される想起情報を生成する。

コンテンツ評価装置１１０ｂは、被験者の拘束時間を少なくするために、映像刺激（すなわち、画像コンテンツ）を連続的にユーザへ提示し、その反応を測定する。そのために、以前に提示した刺激に対する反応であるか否かを、視線情報を用いて判断している。そこで、事前に、１つの映像を提示したときに、一般的なユーザは、どういう視線の動きをするかを表すモデル（例えば、表示領域と、これに対応する表示時間である滞留時間とを示す情報）を想起情報として蓄積しておき、取得したユーザの視線位置が想起情報であるモデルから大きくはずれたときには、想起判定部１０６は、ユーザが想起状態であると判断する。システムの構成を図２３に示す。

図２３に示されるように、本変形例に係るコンテンツ評価装置１１０ｂは、コンテンツ評価装置１１０と比較し、複数の画像コンテンツを表示し、複数のコンテンツの表示順序を記憶している刺激提示順序記憶部２１０１と、刺激提示順序記憶部に記憶されている順序に基づき複数のコンテンツを表示する刺激提示部２１０２と、ユーザの視線位置を履歴として蓄積する視線履歴蓄積部２３０１と、視線履歴蓄積部２３０１に蓄積された視線位置を用いて、複数の画像コンテンツの各々が表示されたときの視線位置を特定し、特定された視線位置を表示領域として含む想起情報を生成する典型想起情報生成部２３０２とをさらに備える。なお、変形例１に係るコンテンツ評価装置１１０ａが備える構成要素と同一の構成要素については同一の符号を付し、詳細な説明は省略する。

視線履歴蓄積部２３０１は、視線検知部１０３で検出された視線情報を蓄積する。

典型想起情報生成部２３０２は、視線履歴蓄積部２３０１に蓄積された視線の履歴から、一般ユーザがそのコンテンツだけを提示されたときに、どこに視線が滞留するかを特定するための情報を抽出する。典型想起情報生成部２３０２で生成された典型的な視線情報は、想起情報として想起情報蓄積部１０５に蓄積される。

なお、本変形例に係る刺激提示順序記憶部２１０１に記憶されている刺激提示順序（すなわち、画像コンテンツの表示順序）は、変形例１とは異なり、１つのコンテンツを提示した後に、十分な時間をとった後に次のコンテンツが提示されるよう順序づけられている。これは、コンテンツを視聴中のユーザが、前のコンテンツを想起しないようにするためである。なぜなら、本変形例においては、想起状態が発生しない一般的な視線の履歴情報を事前に抽出し、想起情報として想起情報蓄積部１０５に蓄積させることが好ましいためである。

典型想起情報生成部２３０２により生成された想起情報を参照し、想起判定部１０６は、一般的な視線の履歴とは異なる領域で視線が滞留した場合には、想起状態と判断し、そのときの脳内血流の変化は、それ以前にユーザが視聴したコンテンツに起因するものと判断する。

以上、本発明の実施の形態に係るコンテンツ評価装置について説明したが、本発明はこれらの実施の形態に限定されるものではない。

例えば、想起判定部１０６は、ユーザが想起状態にあると判定したシーンの数ではなく、想起状態にあると判定したシーンに対応する表示時間に基づいて、想起度を算出してもよい。具体的には、想起判定部１０６は、想起情報に含まれる全ての表示時間の合計に対する、想起状態であると判定したシーンの表示時間の合計の割合として想起度を算出してもよい。

また、実施の形態及びその変形例に係る取得部１２０は、脳血流検知部３２０と視線検知部１０３とを有することとしたが、取得部１２０が脳血流検知部３２０と視線検知部１０３とを有さない場合にも、同様の発明の効果を奏する。例えば、取得部１２０は、コンテンツ評価装置の外部装置によって取得された脳血流と視線位置とを記録媒体等から読み出すことで脳血流と視線位置とを取得してもよい。また、取得部１２０は、コンテンツ評価装置の外部装置が取得した脳血流と視線位置とを有線又は無線の通信インタフェースを介して取得してもよい。

また、実施の形態及びその変形例に係るコンテンツ評価装置は、滞留時間算出部１０４を備えることとしたが、滞留時間算出部１０４を備えなくても同様の発明の効果を奏する。例えば、想起判定部１０６が、表示領域と視線位置との距離のみを使用して、ユーザが想起状態にあるか否かを判定してもよく、この場合には、コンテンツ評価装置は滞留時間算出部１０４を備えなくてもよい。

また、実施の形態及びその変形例に係るコンテンツ評価装置は、想起情報蓄積部１０５を備えることとしたが、想起情報蓄積部１０５を備えなくても同様の発明の効果を奏する。例えば、外部記憶媒体（図示なし）に想起情報を蓄積しておき、想起判定部１０６が外部記憶媒体から想起情報を読み込んでもよい。この場合には、コンテンツ評価装置は想起情報蓄積部１０５を備えなくてもよい。

また、実施の形態及びその変形例に係るコンテンツ評価装置は、反応対象特定部１０７を備えることとしたが、反応対象特定部１０７を備えなくても同様の発明の効果を奏する。例えば、ユーザに２つのコンテンツを比較させることによりコンテンツを評価する場合には、想起状態の有無を想起判定部１０６により判定できれば、反応対象特定部１０７を備えなくてもユーザが心理的な反応を示したコンテンツを特定することができる。

また、実施の形態の変形例に係るコンテンツ評価装置１１０ａは、ユーザが心理的な反応を示したであろうと推定されるコンテンツ（例えば、直近に表示したコンテンツ）を再度ユーザに提示することで、ユーザが反応したコンテンツを正確に特定することとしたが、これとは逆に、ユーザが心理的な反応を示していないであろうと推定されるコンテンツを再度ユーザに提示してもよい。具体的には、刺激提示順序変更部２１０３はユーザが想起していないであろうと推定されるコンテンツが次の刺激として刺激提示部２１０２へ提示されるよう刺激提示順序記憶部２１０１に記憶されているコンテンツの表示順序を変更してもよい。ユーザが想起していないであろうと推定されるコンテンツとは、例えば、ユーザが最初に視聴したコンテンツ（視聴履歴が古いコンテンツ）、又は、他のユーザによって想起された割合が最も小さいコンテンツなどである。

なお、実施の形態並びにその変形例１及び２で説明したコンテンツ評価装置は、コンピュータにより実現することも可能である。図２４は、コンテンツ評価装置１１０、１１０ａ及び１１０ｂを実現するコンピュータシステムのハードウェア構成を示すブロック図である。

コンテンツ評価装置は、コンピュータ３４と、コンピュータ３４に指示を与えるためのキーボード３６及びマウス３８と、コンピュータ３４の演算結果等の情報を提示するためのディスプレイ３２と、コンピュータ３４で実行されるプログラムを読み取るためのＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）装置４０及び通信モデム（図示せず）とを含む。

コンテンツ評価装置が行う処理であるプログラムは、コンピュータで読取可能な媒体であるＣＤ−ＲＯＭ４２に記憶され、ＣＤ−ＲＯＭ装置４０で読み取られる。又は、コンピュータネットワークを通じて通信モデム５２で読み取られる。

コンピュータ３４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４４と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４６と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４８と、ハードディスク５０と、通信モデム５２と、バス５４とを含む。

ＣＰＵ４４は、ＣＤ−ＲＯＭ装置４０又は通信モデム５２を介して読み取られたプログラムを実行する。ＲＯＭ４６は、コンピュータ３４の動作に必要なプログラムやデータを記憶する。ＲＡＭ４８は、プログラム実行時のパラメタなどのデータを記憶する。ハードディスク５０は、プログラムやデータなどを記憶する。通信モデム５２は、コンピュータネットワークを介して他のコンピュータとの通信を行う。バス５４は、ＣＰＵ４４、ＲＯＭ４６、ＲＡＭ４８、ハードディスク５０、通信モデム５２、ディスプレイ３２、キーボード３６、マウス３８及びＣＤ−ＲＯＭ装置４０を相互に接続する。

さらに、上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

さらにまた、上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカード又はモジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。

また、本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

さらに、本発明は、上記コンピュータプログラム又は上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、ＵＳＢメモリ、ＳＤカードなどのメモリカード、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている上記デジタル信号であるとしてもよい。

また、本発明は、上記コンピュータプログラム又は上記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしてもよい。

また、上記プログラム又は上記デジタル信号を上記記録媒体に記録して移送することにより、又は上記プログラム又は上記デジタル信号を、上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

本発明は、コンテンツ評価装置等に適用でき、特に、画像コンテンツを視聴するユーザの生体信号を分析することで当該ユーザの当該画像コンテンツに対する反応を特定するコンテンツ評価装置等に適用できる。

３２ ディスプレイ
３４ コンピュータ
３６ キーボード
３８ マウス
４０ ＣＤ−ＲＯＭ装置
４２ ＣＤ−ＲＯＭ
４４ ＣＰＵ
４６ ＲＯＭ
４８ ＲＡＭ
５０ ハードディスク
５２ 通信モデム
５４ バス
１０２ 反応識別部
１０３ 視線検知部
１０４ 滞留時間算出部
１０５ 想起情報蓄積部
１０６、１０６ａ 想起判定部
１０７ 反応対象特定部
１０８ 評価表示部
１１０、１１０ａ、１１０ｂ コンテンツ評価装置
１２０ 取得部
２２０ コンテンツ
２２２、２２３、２２４、２２５ コンテンツ
２５０ 被験者
３２０ 脳血流検知部
３２１ 受光部
３２２ 発光部
４０２、４０３、４０４ グラフ
４１２、４１３ 閾値
４２０、４２１ 反応時刻候補
１１０５、１１０５ａ 想起情報
１１０８ コンテンツの名称
１１１０ シーンタグ
２１０１ 刺激提示順序記憶部
２１０２ 刺激提示部
２１０３ 刺激提示順序変更部
２３０１ 視線履歴蓄積部
２３０２ 典型想起情報生成部

Claims (19)

1. 画像コンテンツを視聴するユーザの生体信号を分析することで当該ユーザの当該画像コンテンツに対する反応を特定するコンテンツ評価装置であって、
   前記ユーザの脳血流と視線位置とを取得する取得部と、
   前記画像コンテンツの視聴時に前記ユーザが心理的な反応を示したか否かを前記脳血流に基づいて識別する反応識別部と、
   前記画像コンテンツを視聴するユーザが、表示されている当該画像コンテンツより前に表示された他の画像コンテンツを想起していたか否かを、前記ユーザの視線位置に基づいて判定する想起判定部と、
   前記画像コンテンツの視聴時に前記ユーザが心理的な反応を示した場合であって、当該ユーザが前記他の画像コンテンツを想起していたと前記想起判定部が判定した場合には、当該他の画像コンテンツを当該ユーザが心理的な反応を示した対象として特定する反応対象特定部とを備える
   コンテンツ評価装置。
2. 前記反応識別部は、取得した前記脳血流の絶対値が事前に定められた閾値を上まわる場合、又は、所定の時間区間における前記脳血流の積分値の絶対値が事前に定められた値を上まわる場合には、前記ユーザが心理的な反応を示したと識別する
   請求項１に記載のコンテンツ評価装置。
3. 前記想起判定部は、前記画像コンテンツを視聴する時の一般的な視線位置として事前に定式化されたモデルと、前記ユーザの視線位置との乖離度合いが事前に定められた値より大きければ、当該ユーザは想起状態であったと判定する
   請求項２に記載のコンテンツ評価装置。
4. 前記視線位置の移動距離が事前に定められた閾値以内であった時間である滞留時間を算出する滞留時間算出部と、
   前記画像コンテンツを時分割した各々であるシーンの表示時間と、前記表示時間に前記画像コンテンツの一部として表示される画像である提供画像の表示領域とを対応付ける情報である想起情報を蓄積している想起情報蓄積部とをさらに備え、
   前記想起判定部は、前記シーンごとに、当該シーンの前記表示時間における前記視線位置と当該表示時間に対応付けられた前記表示領域との距離、及び前記表示時間における前記滞留時間が、それぞれ事前に定められた閾値以上であるか否かを判定し、前記閾値以上である場合には、前記ユーザが想起状態であると判定する
   請求項３に記載のコンテンツ評価装置。
5. 前記想起判定部は、前記想起情報に含まれるシーンの総数に対する、前記ユーザが前記想起状態であると判定されたシーンの総数の割合として想起度を算出する
   請求項４に記載のコンテンツ評価装置。
6. 前記反応識別部は、取得した前記脳血流が第１の閾値を上まわる場合には、前記ユーザの心理的な反応の種別を興奮状態であると識別し、当該脳血流が第２の閾値を下まわる場合には、当該ユーザの心理的な反応の種別を集中状態であると識別し、
   前記第１の閾値は、基準時における前記ユーザの脳血流よりも大きな値であり、
   前記第２の閾値は、前記基準時における前記ユーザの脳血流よりも小さな値である
   請求項１に記載のコンテンツ評価装置。
7. 前記反応識別部は、取得した前記脳血流の絶対値が前記事前に定められた閾値を上まわった時刻、及び、前記所定の時間区間における当該脳血流の積分値の絶対値が前記事前に定められた値を上まわった時刻のいずれかの時刻から、事前に定められた時間だけ遡った時刻までの時間区間に含まれる時刻を、前記ユーザが前記心理的な反応を示した時刻の候補である反応時刻候補と特定し、
   前記反応対象特定部は、前記反応時刻候補と前記想起度とに基づいて、前記ユーザが前記心理的な反応を示した対象を特定する
   請求項５に記載のコンテンツ評価装置。
8. 前記反応対象特定部は、前記想起度が事前に定められた値よりも小さい場合には、前記反応時刻候補に視聴した画像コンテンツを前記ユーザが前記心理的な反応を示した対象として特定し、前記想起度が事前に定められた値以上の場合には、前記反応時刻候補よりも前に視聴した画像コンテンツを、当該ユーザが当該心理的な反応を示した対象として特定する
   請求項７に記載のコンテンツ評価装置。
9. 前記想起判定部は、前記提供画像が文字情報を表す場合には、当該提供画像の表示時間内の前記視線位置の移動量が事前に定められた閾値未満の場合には、前記ユーザが前記想起状態であると判定する
   請求項４に記載のコンテンツ評価装置。
10. 前記想起判定部は、前記視線位置が前記提供画像の前記表示領域内に位置する場合において、当該視線位置が当該提供画像の前記表示時間より前から当該表示領域内に位置する場合は、前記ユーザが前記想起状態であるとは判定しない
    請求項４に記載のコンテンツ評価装置。
11. 前記想起判定部は、前記シーンが複数の表示領域を含む場合には、前記視線位置に対し最も近い前記表示領域との離れ度合いを用いて前記距離を算出する
    請求項４に記載のコンテンツ評価装置。
12. 前記想起判定部は、前記シーンごとに、前記表示時間における前記視線位置と当該表示時間に対応付けられた前記表示領域との距離、及び前記表示時間における前記滞留時間が、それぞれ事前に定められた閾値以上であるかを判定し、それぞれが閾値以上である場合には、当該シーンより前に表示された他のシーンを当該ユーザが想起していたと判定する
    請求項４に記載のコンテンツ評価装置。
13. 前記想起情報は、前記シーンごとに重みを有し、
    前記想起判定部は、前記想起状態と判定されたシーンの総数を、当該シーンに対応する前記重みを乗じて集計する
    請求項５に記載のコンテンツ評価装置。
14. 前記コンテンツ評価装置は、複数の画像コンテンツを表示し、
    前記複数の画像コンテンツの表示順序を記憶している刺激提示順序記憶部と、
    前記刺激提示順序記憶部に記憶されている前記複数の画像コンテンツの表示順序を変更する刺激提示順序変更部と、
    前記刺激提示順序記憶部に記憶されている順序、又は前記刺激提示順序変更部によって変更された表示順序に基づき前記複数のコンテンツを表示する刺激提示部とをさらに備える
    請求項１に記載のコンテンツ評価装置。
15. 前記刺激提示順序変更部は、
    前記反応対象特定部で特定された前記他の画像コンテンツを再度表示するように前記表示順序を変更する
    請求項１４に記載のコンテンツ評価装置。
16. 前記反応対象特定部は、前記他の画像コンテンツが１回目に表示されたときの脳血流の増減量と、当該他の画像コンテンツが２回目以降に表示されたときの脳血流の増減量との差分に基づいて、前記ユーザが当該他の画像コンテンツを想起していたか否かを判定する
    請求項１５に記載のコンテンツ評価装置。
17. 前記コンテンツ評価装置は、複数の画像コンテンツを表示し、
    前記複数のコンテンツの表示順序を記憶している刺激提示順序記憶部と、
    前記刺激提示順序記憶部に記憶されている順序に基づき前記複数のコンテンツを表示する刺激提示部と、
    前記ユーザの視線位置を履歴として蓄積する視線履歴蓄積部と、
    前記視線履歴蓄積部に蓄積された前記視線位置を用いて、前記複数の画像コンテンツの各々が表示されたときの視線位置を特定し、特定された前記視線位置を前記表示領域として含む前記想起情報を生成する典型想起情報生成部とをさらに備える
    請求項４に記載のコンテンツ評価装置。
18. 画像コンテンツを視聴するユーザの生体信号を分析することで当該ユーザの当該画像コンテンツに対する反応を特定するコンテンツ評価方法であって、
    前記ユーザの脳血流と視線位置とを取得する取得ステップと、
    前記画像コンテンツの視聴時に前記ユーザが心理的な反応を示したか否かを前記脳血流に基づいて識別する反応識別ステップと、
    前記画像コンテンツを視聴するユーザが、表示されている当該画像コンテンツより前に表示された他の画像コンテンツを想起していたか否かを、前記ユーザの視線位置に基づいて判定する想起判定ステップと、
    前記画像コンテンツの視聴時に前記ユーザが心理的な反応を示した場合であって、当該ユーザが前記他の画像コンテンツを想起していたと前記想起判定ステップで判定された場合には、当該他の画像コンテンツを当該ユーザが心理的な反応を示した対象として特定する反応対象特定ステップとを含む
    コンテンツ評価方法。
19. 請求項１８に記載のコンテンツ評価方法をコンピュータに実行させる
    プログラム。

Images