JP6583996B2 - 映像評価装置、及びプログラム - Google Patents

Description

本発明は、映像評価装置、及びプログラムに関する。

映像の評価は、主に視聴率などの間接的なデータを利用するか、アンケートなどの事後調査を利用しており、時間的に変動する映像コンテンツの評価を表す直接的な指標にはなっていない。

時間的な変動を考慮した映像評価の指標として、映像視聴時の視線を測定・分析して利用する例がある。視線の動きは映像が持つ情報の伝達量や視聴後の映像への印象などと関連が深く、映像制作時の演出効果を評価する指標として有効であると考えられる。視線の動きを利用した映像の評価としては、多人数の視聴者の注視点の動きや注視点分布などから演出や表現の効果を評価する方法がある（例えば、特許文献１参照）。

また、人の視覚情報処理モデルに基づいて画像の特徴量を分析し、注目されすい領域（顕著性マップ）を推定するモデルが提案されている（例えば、非特許文献１〜３参照）。さらには、映像の顕著性マップと視線分布とを比較して映像を評価する方法も提案されている（例えば、特許文献２参照）。

特開２００７−３１０４５４号公報 特許第５３０６９４０号公報

L. Itti，外２名，"A Model of Saliency-Based Visual Attention for Rapid Scene Analysis"，IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE，1998年，VOL. 20，NO.11，p.1254-1259 O. Le Meur，外２名，"Predicting visual fixations on video based on low-level visual features"，Vision Research 47，2007年，p.2483-2498 Neil D. B. Bruce，外１名，"Saliency, attention, and visual search: An information theoretic approach"，Journal of Vision，2009年，9(3) ，p.1-24

上述した従来技術では、視聴者が映像の特徴によって誘目されている程度を定量的に評価することはできない。
例えば、特許文献１の技術では、映像コンテンツ自体が有する誘目性の影響が考慮されていない。そのため、映像の文脈によるものか、あるいは顕著性の高い部分に誘導されたものかなどの要因が特定できず、演出で用いた映像表現の効果を評価する際に課題がある。また、非特許文献１〜３の技術で得られるモデルは、実際に映像を視聴している際の視線を測定して注視点の分布や停留時間などとの相関からモデルの妥当性を評価しているが、映像自体の評価には至っていない。そして、特許文献２の技術では、視線分布と顕著性マップとを比較する際に眼球運動の時間的な特性（眼球運動の遅れ時間）が考慮されていないため、精度的な課題がある。

本発明は、このような事情を考慮してなされたもので、視聴者が映像の特徴によって誘目されている程度を精度よく評価することができる映像評価装置、及びプログラムを提供する。

本発明の一態様は、映像視聴中の視点をフレームごとに示す視線データから得られた視点の移動速度に基づいてサッカードの開始から終了までの前記フレームを特定するサッカード抽出部と、前記移動速度に基づいて、サッカードの終了から次のサッカードが開始するまでの前記フレームから注視された前記フレームを特定し、特定した前記フレームにおける前記視点に基づいて注視領域を抽出する注視領域抽出部と、前記注視領域が得られた前記フレームにおける前記視点の分布に基づいて前記注視領域における重み係数を表す領域窓関数を算出する窓関数算出部と、サッカードが終了したときの前記フレームから、内的に注視の対象が決定された状態から視線の移動が開始するまでの遅れ時間である潜時とサッカードに要する時間とを合計した時間分のフレーム数だけ遡った前記フレームを、ターゲットフレームとして抽出するターゲットフレーム抽出部と、前記ターゲットフレームの画素ごとの特徴量の値を算出したマップに基づいて画素ごと又は画像のブロックごとに顕著性の程度を数値化した顕著性マップを算出する顕著性マップ算出部と、前記注視領域に該当する前記顕著性マップの部分に前記領域窓関数を適用した値を用いて、誘目性を定量的に表す値である誘目度を算出する誘目度算出部と、を備えることを特徴とする映像評価装置である。
この発明によれば、映像評価装置は、視聴者が映像を視聴したときのフレームごとの視点を示す視線データから視線の移動速度を求め、求めた移動速度に基づいてサッカードの開始から終了までのフレームを特定する。さらに、映像評価装置は、視点の移動速度に基づいて、サッカードの終了から次のサッカードの開始までに視聴者が注視したフレームを特定し、そのフレームにおける視点の位置に基づいて注視領域を抽出すると、注視領域における視点の分布に基づいて領域窓関数を算出する。映像評価装置は、サッカードが終了したフレームから、潜時分とサッカードに要した時間分のフレーム数だけ遡ったターゲットフレームの顕著性マップを算出し、ターゲットフレームにおける注視領域の部分に領域窓関数を適用した値を用いて誘目度を算出する。
これにより、映像評価装置は、眼球運動の時間的な特性を考慮して、視聴者が映像の特徴によって誘目されている程度を精度よく、定量的な値により評価することができる。

本発明の一態様は、上述する映像評価装置であって、前記窓関数算出部は、前記注視領域に含まれる前記視点に二次元混合正規分布を当てはめた分布、前記視点から一定の距離内にある領域を、前記注視領域に含まれる全ての前記視点について足し合わせた後に正規化した分布、又は、前記注視領域に含まれる前記視点の重心から一定の距離内を一様の値とする分布により前記領域窓関数を算出する、ことを特徴とする。
この発明によれば、映像評価装置は、注視領域の中でも、視聴者が特に注視している箇所に近いほど、ターゲットフレームの顕著性マップに適用する係数値が高くなるような領域窓関数を算出することができる。
これにより、映像評価装置は、視聴者の目を惹いたフレーム画像の部分については、顕著性マップの値の重みを高くし、高い誘目度が得られるようにするため、視聴者が映像の特徴によって誘目されている程度を精度よく評価することができる。

本発明の一態様は、上述する映像評価装置であって、視標の位置を時間的に切り替えて提示したときに測定された視点のデータに基づいて、前記視標ごとに、前記視標の提示が開始された時刻から前記視標へのサッカードが開始された時刻までの差分である遅れ時間を算出し、複数の前記視標について算出した前記遅れ時間を平均して前記潜時を算出する潜時抽出部をさらに備える、ことを特徴とする。
この発明によれば、映像評価装置は、個人キャリブレーションを行ったときの視点のデータに基づいて、指標の提示からサッカードが開始される時刻までの差分である遅れ時間を複数の指標について算出し、算出したそれらの遅れ時間を平均して潜時を算出する。
これにより、映像評価装置は、視聴者ごとに特有の潜時を用いて、内的に注視の対象が決定されたときのフレームを特定し、誘目度の算出に用いることができる。よって、映像評価装置は、視聴者が映像の特徴によって誘目されている程度を精度よく評価することができる。

本発明の一態様は、上述する映像評価装置であって、注視領域抽出部は、注視された前記フレームにおける前記視点に基づいて二次元座標における分布を算出し、算出した分布の値が閾値以上の領域を注視領域として抽出する、ことを特徴とする。
この発明によれば、映像評価装置は、サッカード終了後に注視されたフレームにおける視点の位置に基づいて注視領域を抽出する。
これにより、映像評価装置は、フレーム画像においてサッカードを誘発した部分を注視領域として得ることができる。

本発明の一態様は、コンピュータを、映像視聴中の視点をフレームごとに示す視線データから得られた視点の移動速度に基づいてサッカードの開始から終了までの前記フレームを特定するサッカード抽出手段と、前記移動速度に基づいて、サッカードの終了から次のサッカードが開始するまでの前記フレームから注視された前記フレームを特定し、特定した前記フレームにおける前記視点に基づいて注視領域を抽出する注視領域抽出手段と、前記注視領域が得られた前記フレームにおける前記視点の分布に基づいて前記注視領域における重み係数を表す領域窓関数を算出する窓関数算出手段と、サッカードが終了したときの前記フレームから、内的に注視の対象が決定された状態から視線の移動が開始するまでの遅れ時間である潜時とサッカードに要する時間とを合計した時間分のフレーム数だけ遡った前記フレームを、ターゲットフレームとして抽出するターゲットフレーム抽出手段と、前記ターゲットフレームの画素ごとの特徴量の値を算出したマップに基づいて画素ごと又は画像のブロックごとに顕著性の程度を数値化した顕著性マップを算出する顕著性マップ算出手段と、前記注視領域に該当する前記顕著性マップの部分に前記領域窓関数を適用した値を用いて、誘目性を定量的に表す値である誘目度を算出する誘目度算出手段と、を具備する映像評価装置として機能させるためのプログラムである。

本発明によれば、視聴者が映像の特徴によって誘目されている程度を精度よく評価することができる。

本発明の実施形態による映像評価システムの構成を示す機能ブロック図である。 同実施形態による視線データのデータ構成を示す図である。 同実施形態による個人キャリブレーション時に画面に提示される視標の位置を示す図である。 同実施形態による個人キャリブレーション時に画面に提示される視標の時間的変化の例を示す図である。 同実施形態による個人キャリブレーション時において視標が変化した際の視点の変化のタイミングを模式的に示した図である。 同実施形態による映像評価装置の誘目度算出処理を示す処理フローである。 同実施形態によるサッカード及び注視の抽出例を示す図である。 同実施形態によるターゲットフレームの決定方法を示す図である。 同実施形態によるシーン毎のサッカードと領域窓関数の例を示す図である。 同実施形態による評価結果データの例を示す図である。

以下、図面を参照しながら本発明の実施形態を詳細に説明する。
本発明の実施形態では、映像視聴時の視聴者の眼球運動を測定し、測定したなかで注視点の位置が大きく変化するサッカード（跳躍眼球運動）成分に注目する。映像評価装置は、内的（心的）な注視対象の決定時点における当該サッカード終了地点周辺の顕著性の高さを算出し、当該サッカードを生じさせた誘目性の指標（以下、「誘目度」と記載する）とする。誘目度は、誘目性を定量的に表す値である。映像評価装置は、映像視聴中に得られた全てのサッカードについて算出される誘目度から、映像の各シーンや映像全体の誘目度を算出し、映像の誘目性に関する評価値とする。なお、シーンとは、カットからカットまでの間である。

図１は、本発明の実施形態による映像評価システム１０の構成を示す機能ブロック図であり、本実施形態と関係する機能ブロックのみを抽出して示してある。映像評価システム１０は、映像蓄積部１、映像再生部２、視線測定部３、視線データ蓄積部４、及び、映像評価装置５を備えて構成される。

映像蓄積部１は、映像データを蓄積する。映像蓄積部１に蓄積される映像データには、潜時の抽出に用いる映像データと、評価対象の映像データとが含まれる。サッカードとは、眼球を素早く動かして視点を移動することであり、潜時とは、視聴者が内的に注視対象を決定してからその視標へのサッカードが開始されるまでの遅れ時間である。
映像再生部２は、映像蓄積部１に蓄積されている映像データを視聴者に提示する。つまり、映像再生部２は、映像データを再生し、映像データの各フレームの画像をディスプレイまたはスクリーン（以下、「画面」と記載する。）に表示する。
視線測定部３は、視聴者が映像データを視聴している際の眼球運動を測定し、映像再生部２が画面にフレーム画像を表示しているときに、ユーザが視線を向けていた画面上の位置である視点を得る。視点は、例えば、画面の縦と横をそれぞれ、Ｘ軸、Ｙ軸としたときの座標により表される。
視線データ蓄積部４は、映像視聴中に視線測定部３が得た画面上の視点をフレームごとに示す視線データを蓄積する。

映像評価装置５は、コンピュータ装置により実現することができる。映像評価装置５は、潜時抽出部５１、サッカード抽出部５２、注視領域抽出部５３、窓関数算出部５４、ターゲット領域抽出部５５、ターゲットフレーム抽出部５６、顕著性マップ算出部５７、誘目度算出部５８、及び記憶部５９を備えて構成される。
潜時抽出部５１は、映像評価処理に先立って実施される個人キャリブレーション時に得られた視線データを用いて、視聴者の眼球運動の遅れ時間である潜時を抽出する。サッカード抽出部５２は、視聴者が評価対象の映像データを視聴したときの視線データを用いて、サッカード成分を抽出する。注視領域抽出部５３は、サッカード終了点を含むフレームから次のサッカードが開始されるフレームまでの視点に基づいて注視領域を抽出する。窓関数算出部５４は、注視領域における視点の分布に基づいて、注視領域における重み係数を表す領域窓関数を算出する。ターゲット領域抽出部５５は、各サッカードについて、サッカード終了点を含む注視領域をターゲット領域として抽出する。ターゲットフレーム抽出部５６は、サッカードの開始フレームから、潜時抽出部５１が抽出したサッカード潜時分のフレームを時間的に遡ったフレームを、ターゲットフレームとして抽出する。サッカードの開始フレームは、サッカードの終了フレームからサッカードに要する時間分のフレームを遡ったフレームである。つまり、ターゲットフレームは、サッカード終了点を含むフレームから、潜時とサッカードに要する時間とを合計した時間分のフレーム数だけ遡ったフレームに相当する。顕著性マップ算出部５７は、ターゲットフレームの顕著性マップを算出する。誘目度算出部５８は、顕著性マップのターゲット領域に該当する部分に領域窓関数を適用して誘目性を表す値を算出する。誘目度算出部５８は、誘目性を表す値を領域窓関数によって正規化し、誘目度を算出する。記憶部５９は、各サッカードについて得られた誘目度など、各種データを記憶する。また、記憶部５９は、各部が処理に用いるデータを一時的に記憶する。

図２は、視線データの例を示す図である。同図に示すように、視線データは、フレームＩＤ（以下、「ＦＩＤ」と記載する。）と、タイムコードと、視点位置情報とを対応付けたデータである。ＦＩＤは、映像データのフレームを特定する識別情報である。タイムコードは、ＦＩＤにより特定されるフレームの再生時間を示す。視点位置情報は、ＦＩＤにより特定されるフレームの画像が提示されていたときにユーザの視線が向いていた画面上の位置である視点を表す座標である。

続いて、映像評価システム１０の動作を説明する。
まず、映像評価システム１０は、映像評価に先立って、潜時を抽出するための個人キャリブレーションを行う。

図３は、個人キャリブレーション時に画面に提示される視標の位置を示す図である。同図では、縦の位置を右、中央、左の３種類、横の位置を上、中央、下の３種類としており、９つの視標Ｄ１〜Ｄ９はそれぞれ、縦の位置と横の位置の組み合わせが異なる。

図４は、個人キャリブレーション時に画面に提示される視標の時間的変化の例を示す図である。同図に示す画面は、映像再生部２が潜時抽出用の映像データを再生することにより表示される。同図では、視標Ｄ５、視標Ｄ１、視標Ｄ２、視標Ｄ３、視標Ｄ６、視標Ｄ９、視標Ｄ８、視標Ｄ７、視標Ｄ４、視標Ｄ５の順に提示を行う。各視標はそれぞれ２秒程度提示され、次の視標に切り替わる。視聴者はこれらの視標を注視することを求められ、視標の切り替えとともに視点の移動が生じる。

図５は、個人キャリブレーション時に視標が変化した際の視点の変化のタイミングを模式的に示した図である。同図では、視線の上下方向の変化に注目するために、視標Ｄ１、視標Ｄ２、視標Ｄ３、視標Ｄ１、視標Ｄ３の順に表示した場合を示している。表示された時系列の各フレームの画像の下には、視点の上下方向の座標変化を示している。一般的に、視点は内的に注視対象を決定した時からほぼ一定の遅れ（潜時）を伴って移動する。内的に注視対象の決定した時とは、視標が提示された後に視聴者が心的にその視標に注意を向けようとした瞬間である。例えば、時刻ｔ１に視標が表示されると、視聴者は時刻ｔ２に内的にその視標を注視対象として決定する。視聴者は、潜時の後、時刻ｔ３に注視対象（視標）への視線の移動を開始する。これにより、サッカードが開始される。そして、注視対象（視標）への視線の移動が終了した時刻ｔ４に、サッカードが終了する。

個人キャリブレーションにおいては、映像中に視標が１点のみ表示されるために顕著性が非常に高い。そのため、視標の表示時刻（ｔ１）≒内的に注視の対象を決定した時刻（ｔ２）とみなすことができる。従って、潜時は、視標の表示からサッカードの開始時刻までの時間（例えば、時刻ｔ３−時刻ｔ１）として算出される。そこで、個人キャリブレーションにより各視標を切り替えて提示した際に得られたこの遅れ時間（潜時１、潜時２、潜時３、潜時４、…）から平均的な潜時と、その平均的な潜時に相当するフレーム数（以下、「潜時相当フレーム数」と記載する。）を算出し、後述するターゲットフレーム抽出処理において利用する。
なお、実際の映像では映像中に様々な注視対象が同時に表示される。従って、ある被写体が映像中に表示された瞬間は必ずしも注視対象として内的に決定される時刻とは一致しない。

映像評価システム１０における個人キャリブレーション時の動作を説明する。
映像再生部２は、映像蓄積部１に記憶されている潜時抽出用の映像データを読み出して再生し、表示される視標が２秒程度で切り変わっていく画面を提示する。視線測定部３は、視聴者が視標を注視しているときの眼球運動を測定し、測定した時点のフレーム画像のＦＩＤ及びタイムコードと、測定により得られた視点の視点位置情報とを設定した視線データを視線データ蓄積部４に記録する。映像評価装置５の潜時抽出部５１は、視線データ蓄積部４からこの記録された視線データを読み出す。潜時抽出部５１は、視線データが示す各タイムコードにおける視点位置情報に基づいて、視点の移動速度（例えば、角速度）を算出する。潜時抽出部５１は、視点の移動速度が所定の速度以上である場合、サッカードであると判断する。潜時抽出部５１は、視標の提示が開始された時刻から、その視標へのサッカードが開始される時刻までの差分である遅れ時間を視標ごとに算出する。潜時抽出部５１は、全ての視標それぞれの遅れ時間の平均を算出し、潜時とする。潜時抽出部５１は、さらに、潜時に相当するフレーム数である潜時相当フレーム数を算出する。

続いて、映像評価システム１０における映像評価時の動作を説明する。
映像再生部２は、映像蓄積部１に記憶されている評価対象の映像データである映像コンテンツを読み出して再生する。視線測定部３は、視聴者が映像コンテンツを視聴しているときの眼球運動を測定し、測定した時点のフレーム画像のＦＩＤ及びタイムコードと、測定により得られた視点の視点位置情報とを設定した視線データを視線データ蓄積部４に記録する。

図６は、映像評価装置５による誘目度算出処理を示す処理フローである。
映像蓄積部１には映像コンテンツのシーンと、そのシーンのＦＩＤまたは再生時間との対応付けを示す情報を予め登録しておく。

映像評価装置５のサッカード抽出部５２は、映像コンテンツについて生成された視線データを視線データ蓄積部４から読み出す。サッカード抽出部５２は、視線データが示す各タイムコードにおける視点位置情報に基づいて、視点の移動速度（例えば、角速度）を算出する。サッカード抽出部５２は、算出した移動速度が、所定の速度（例えば５ｄｅｇ／ｓ）以上である時間帯をそれぞれ、サッカードが発生した時間帯として抽出する（ステップＳ１０５）。サッカードが発生した時間帯の開始時刻、終了時刻のフレームがそれぞれ、サッカード開始時点、サッカード終了時点のフレームである。ここでは、ｉ番目（ｉは１以上の整数）に出現したサッカードをサッカード＃ｉと記載する。サッカード抽出部５２は、各サッカードに、サッカードを識別するためのサッカードＩＤを付与する。
なお、個人キャリブレーション時、及び、ステップＳ１０５において使用される所定の速度は同じであり、経験値に基づいて事前に設定される。

注視領域抽出部５３は、サッカードとして抽出されなかった時間帯のフレームから、所定の速度以下で視点移動が生じたフレームを特定する。注視領域抽出部５３は、特定したフレームにおける視点に基づき注視領域を抽出する（ステップＳ１１０）。
具体的には、注視領域抽出部５３は、サッカードの終了時のフレームと次のサッカードの開始時のフレームとの間で、所定の速度以下で視点移動が生じたフレームを特定し、そのフレームの視点位置情報を視線データから読み出す。注視領域抽出部５３は、読み出した視点位置情報が示す座標からＸ軸−Ｙ軸の二次元座標における正規分布を求め、その正規分布における値が閾値以上の領域を注視領域とする。以下では、サッカード＃ｉの終了時のフレームとサッカード＃（ｉ＋１）の開始時のフレームとの間のフレームから抽出された注視領域を注視領域＃ｉと記載する。
なお、ステップＳ１１０において使用される所定の速度及び閾値は、経験値に基づいて事前に設定される。

窓関数算出部５４は、各注視領域について、その注視領域が得られたフレームにおける視点の分布から、その注視領域に対する重みの分布を算出し、領域窓関数を得る（ステップＳ１１５）。以下では、注視領域＃ｉから得られた領域窓関数を領域窓関数＃ｉと記載する。

図７は、サッカード及び注視の抽出例を示す図である。
例えば、ＦＩＤ「３」〜ＦＩＤ「５」のフレームにおいてサッカード＃１が抽出され、ＦＩＤ「１２」〜ＦＩＤ「１５」のフレームにおいてサッカード＃２が抽出されたとする。そして、サッカード＃１とサッカード＃２の間で、ＦＩＤ「６」〜ＦＩＤ「１１」のフレームが注視され、これらのフレームの視点から注視領域＃１が得られたとする。この場合、領域窓関数＃１は、注視領域＃１におけるＦＩＤ「６」〜ＦＩＤ「１１」のフレームの視点の分布から算出される。

窓関数算出部５４は、例えば、以下の（１）〜（３）のように、視点の分布から注視領域に対する重みの分布を算出し、領域窓関数とする。

（１）注視領域に含まれる視点に二次元混合正規分布を当てはめた分布。
（２）各視点から一定の距離内にある領域を、注視領域に含まれる全ての視点について足し合わせた後、正規化した分布。距離の例として、観測される測定誤差などがある。
（３）注視領域に含まれる各視点の重心から一定の距離内を一様の値とする分布。

窓関数算出部５４は、上記の（１）〜（３）のいずれかにより算出した分布を、重みの総和が１となるように正規化して領域窓関数とする。

ターゲット領域抽出部５５は、ステップＳ１０５においてサッカード抽出部５２が抽出したサッカードのうち未選択のサッカード＃ｉを１つ選択する（ステップＳ１２０）。例えば、ターゲット領域抽出部５５は、ｉが小さい順に未選択のサッカードを選択する。ターゲット領域抽出部５５は、注視領域抽出部５３が算出した注視領域＃ｉをターゲット領域として抽出する（ステップＳ１２５）。

ターゲットフレーム抽出部５６は、サッカード＃ｉの終了時点のフレームから、サッカードに要する時間分のフレーム数と、潜時抽出部５１が得た潜時相当フレーム数とを遡ったフレームを、顕著性マップを算出するターゲットフレームに決定する（ステップＳ１３０）。ターゲットフレームは、内的に注視の対象を決定したときのフレームである。サッカード＃ｉの終了時点のフレームから、サッカードに要した時間分のフレーム数を遡ったフレームは、サッカード＃ｉの開始時点のフレームに相当する。従って、ターゲットフレームは、サッカード＃ｉの開始時点のフレームから潜時相当フレーム数だけ遡ったフレームとなる。

図８は、ターゲットフレームの決定方法を示す図である。同図は、図７に示すサッカード＃１のターゲットフレームを決定する場合を例に示している。ターゲットフレーム抽出部５６は、サッカード開始時点のＦＩＤ「０３」のフレームを、サッカード終了時点のＦＩＤ「０５」のフレームからサッカードに要した時間分のフレーム数を遡ったフレームとして特定する。さらに、ターゲットフレーム抽出部５６は、サッカード開始時点のＦＩＤ「０３」のフレームから、潜時相当フレーム数「２」だけ時間的に遡ったＦＩＤ「０１」フレームを、ターゲットフレームとして決定する。ターゲットフレーム抽出部５６は、ターゲットフレームのＦＩＤを顕著性マップ算出部５７に出力する。これは、サッカードが終了したときの視点を含む領域に、視聴者の目を惹いた画像があると考えられるためである。

図６において、顕著性マップ算出部５７は、ステップＳ１３０においてターゲットフレーム抽出部５６から出力されたＦＩＤにより特定されるフレーム画像であるターゲットフレームを、映像蓄積部１が蓄積している映像コンテンツから読み出す。顕著性マップ算出部５７は、読み出したターゲットフレームの顕著性マップを算出する（ステップＳ１３５）。顕著性マップの算出には、例えば、非特許文献１〜３を利用することができるが、他の任意の顕著性マップの算出方法を用いてもよい。

例えば、顕著性マップは、以下のように算出される。まず、特徴量の種類（色、輝度値、動きベクトルなど）別に、入力画像の画素ごとの特徴量の値を算出したマップを生成し、さらに、入力画像のスケールを１／２、１／４、１／８、…のように小さくしたときの特徴量の値のマップを生成する。そして、特徴量の種類別に、スケール間のマップの差を求めることによって特徴量の値の差分を強調した特徴マップを作成した後、各種類の特徴量について作成した特徴マップを線形結合し、画素ごと又は画像のブロックごとに顕著性の程度を数値化した顕著性マップを算出する。

誘目度算出部５８は、顕著性マップ算出部５７が算出した顕著性マップから、ターゲット領域（注視領域＃ｉ）に相当する部分の顕著性マップを抽出する。誘目度算出部５８は、ターゲット領域の顕著性マップに領域窓関数＃ｉが示す重み付け係数を乗算して得られた各画素の値を加算することにより顕著性マップの重み付け和を算出し、誘目性を表す値とする（ステップＳ１４０）。誘目度算出部５８は、ステップＳ１４０において算出した値を領域窓関数の総和によって正規化し、誘目度とする（ステップＳ１４５）。誘目度算出部５８は、サッカード＃ｉが含まれるシーンのシーンＩＤと、サッカード＃ｉのサッカードＩＤと、サッカード＃ｉの開始フレームのＦＩＤ及び終了フレームのＦＩＤとを対応付けて記憶部５９に書き込む。サッカード＃ｉが含まれるシーンのシーンＩＤは、映像蓄積部１から読み出される。

ターゲット領域抽出部５５は、ステップＳ１０５においてサッカード抽出部５２が抽出した全てのサッカードについて処理を終了したか否かを判断する（ステップＳ１５０）。ターゲット領域抽出部５５は、処理をしていないサッカードがあると判断した場合（ステップＳ１５０：ＮＯ）、現在のｉの値に１を加算してステップＳ１２０からの処理を繰り返す。
そして、ターゲット領域抽出部５５は、全てのサッカードについて処理を終了したと判断した場合（ステップＳ１５０：ＹＥＳ）、処理を終了する。

上記の誘目度処理を行うことにより、誘目度に関する時系列のベクトルが得られる。誘目度算出部５８は、シーンごとあるいは映像コンテンツ全体について、誘目度の平均値を算出し、シーンごとあるいは映像コンテンツ全体の評価値とする。誘目度算出部５８は、算出したシーンごとあるいは映像全体の評価値を示す評価結果データを生成し、記憶部５９に書き込むなどして出力する。

図９は、シーン毎のサッカードと領域窓関数の例を示す図である。同図は、シーン１におけるサッカードＩＤ「０１」〜「０４」の４つのサッカードと、それらサッカードが選択されたときに誘目度の算出に使用した領域窓関数を示している。同様にシーン２、シーン３、…についてもサッカードが得られ、それらの誘目度が算出される。

図１０は、評価結果データの例を示す図である。同図に示す評価結果は、各サッカードのシーンＩＤ、サッカードＩＤ、開始フレームのＦＩＤ、終了フレームのＦＩＤ、及び、誘目度と、シーン別の誘目度と、映像コンテンツ全体の誘目度とを示す。

上記した実施形態は、例えば、視線測定部３が、２４０ｆｐｓ（フレーム毎秒）や５００ｆｂｓ等の高速カメラを利用した眼球運動測定装置であり、映像再生部２が、６０ｆｐｓや１２０ｆｂｓなどの高フレームレートの映像表示装置である場合に好適である。高速カメラを利用した眼球運動測定装置の場合、図５に示すように、サッカードの開始の時刻ｔ３と、サッカード終了の時刻ｔ４とを別々に観測することが可能である。
しかし、一般的にサッカードの速度は非常に早く、その所要時間は、３０ｆｂｓフレームレートの通常のビデオカメラによる１フレーム分（３３ミリ秒）以下になる可能性もある。さらに、キャリブレーションの場合は、視標を比較的近い場所に移動して眼球運動を促すためにサッカードの距離は短くなる。そのため、通常のビデオカメラで測定する眼球運動測定装置では、サッカードの開始の時刻ｔ３と、サッカード終了の時刻ｔ４とを別々に捉えにくいと考えられる。つまり、時刻ｔ３≒時刻ｔ４となる。そこで、潜時抽出部５１は、視標の提示が開始された時刻から、その視標へのサッカードが終了した時刻（又は開始した時刻）までの差分である遅れ時間を視標ごとに算出する。この遅れ時間は、潜時とサッカードに要する時間とを含んだ時間である。潜時抽出部５１は、全ての視標それぞれの遅れ時間の平均を算出し、算出した遅れ時間の平均に相当するフレーム数を算出する。そして、ステップＳ１３０において、ターゲットフレーム抽出部５６は、サッカード＃ｉの終了時点のフレームから、遅れ時間の平均に相当するフレーム数だけ遡ったフレームを、内的に注視の対象を決定したときのフレームであるターゲットフレームに決定する。

以上説明した実施形態によれば、映像コンテンツ視聴時の視線の特徴量（注視点分布、移動速度など）と、画像中の誘目性の高い領域を推定する顕著性マップとから、視聴者が映像表現の顕著性に誘目されている程度を数値化し、映像の質を評価することができる。これにより、映像制作時に試みられる様々な演出に対しての客観的な評価値として利用することが可能である。

なお、上述の映像評価装置５は、内部にコンピュータシステムを有している。そして、映像評価装置５の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

１ 映像蓄積部
２ 映像再生部
３ 視線測定部
４ 視線データ蓄積部
５ 映像評価装置
１０ 映像評価システム
５１ 潜時抽出部
５２ サッカード抽出部
５３ 注視領域抽出部
５４ 窓関数算出部
５５ ターゲット領域抽出部
５６ ターゲットフレーム抽出部
５７ 顕著性マップ算出部
５８ 誘目度算出部
５９ 記憶部

Claims (5)

1. 映像視聴中の視点をフレームごとに示す視線データから得られた視点の移動速度に基づいてサッカードの開始から終了までの前記フレームを特定するサッカード抽出部と、
   前記移動速度に基づいて、サッカードの終了から次のサッカードが開始するまでの前記フレームから注視された前記フレームを特定し、特定した前記フレームにおける前記視点に基づいて注視領域を抽出する注視領域抽出部と、
   前記注視領域が得られた前記フレームにおける前記視点の分布に基づいて前記注視領域における重み係数を表す領域窓関数を算出する窓関数算出部と、
   サッカードが終了したときの前記フレームから、内的に注視の対象が決定された状態から視線の移動が開始するまでの遅れ時間である潜時とサッカードに要する時間とを合計した時間分のフレーム数だけ遡った前記フレームを、ターゲットフレームとして抽出するターゲットフレーム抽出部と、
   前記ターゲットフレームの画素ごとの特徴量の値を算出したマップに基づいて画素ごと又は画像のブロックごとに顕著性の程度を数値化した顕著性マップを算出する顕著性マップ算出部と、
   前記注視領域に該当する前記顕著性マップの部分に前記領域窓関数を適用した値を用いて、誘目性を定量的に表す値である誘目度を算出する誘目度算出部と、
   を備えることを特徴とする映像評価装置。
2. 前記窓関数算出部は、前記注視領域に含まれる前記視点に二次元混合正規分布を当てはめた分布、前記視点から一定の距離内にある領域を、前記注視領域に含まれる全ての前記視点について足し合わせた後に正規化した分布、又は、前記注視領域に含まれる前記視点の重心から一定の距離内を一様の値とする分布により前記領域窓関数を算出する、
   ことを特徴とする請求項１に記載の映像評価装置。
3. 視標の位置を時間的に切り替えて提示したときに測定された視点のデータに基づいて、前記視標ごとに、前記視標の提示が開始された時刻から前記視標へのサッカードが開始された時刻までの差分である遅れ時間を算出し、複数の前記視標について算出した前記遅れ時間を平均して前記潜時を算出する潜時抽出部をさらに備える、
   ことを特徴とする請求項１又は請求項２に記載の映像評価装置。
4. 注視領域抽出部は、注視された前記フレームにおける前記視点に基づいて二次元座標における分布を算出し、算出した分布の値が閾値以上の領域を注視領域として抽出する、
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の映像評価装置。
5. コンピュータを、
   映像視聴中の視点をフレームごとに示す視線データから得られた視点の移動速度に基づいてサッカードの開始から終了までの前記フレームを特定するサッカード抽出手段と、
   前記移動速度に基づいて、サッカードの終了から次のサッカードが開始するまでの前記フレームから注視された前記フレームを特定し、特定した前記フレームにおける前記視点に基づいて注視領域を抽出する注視領域抽出手段と、
   前記注視領域が得られた前記フレームにおける前記視点の分布に基づいて前記注視領域における重み係数を表す領域窓関数を算出する窓関数算出手段と、
   サッカードが終了したときの前記フレームから、内的に注視の対象が決定された状態から視線の移動が開始するまでの遅れ時間である潜時とサッカードに要する時間とを合計した時間分のフレーム数だけ遡った前記フレームを、ターゲットフレームとして抽出するターゲットフレーム抽出手段と、
   前記ターゲットフレームの画素ごとの特徴量の値を算出したマップに基づいて画素ごと又は画像のブロックごとに顕著性の程度を数値化した顕著性マップを算出する顕著性マップ算出手段と、
   前記注視領域に該当する前記顕著性マップの部分に前記領域窓関数を適用した値を用いて、誘目性を定量的に表す値である誘目度を算出する誘目度算出手段と、
   を具備する映像評価装置として機能させるためのプログラム。