JP5654962B2 - 視線位置推定装置及び視線位置推定プログラム - Google Patents

Description

本発明は、画像における視線位置を推定する視線位置推定装置及び視線位置推定プログラムに関する。

テレビ番組、Ｗｅｂページ、印刷物等をデザインする場合、制作者の意図する通りに情報の受け手（視聴者、読者等。以下、観察者という）の視線を誘導したい場合がある。
例えばテレビ番組において、起→承→転→結のストーリーがある画像を一画面に表示する場合に、前記した起承転結に相当する部分に順序通りに観察者の視線を誘導することができなければ、本来伝えたい情報をうまく伝えられないおそれがある。
また、商業広告が並ぶＷｅｂページにおいては、観察者の視線が向かう順序は、広告料金を左右する重要な要素であると考えられる。

観察者が画像のどこをどんな順序で見るかということを制作者が知りたい場合に、複数の被験者（観察者）の視線データを視線計測によって予め収集することによって事前に視線位置を予測することが行われている。
しかし、観察者の興味や意図は観察者ごとに異なるため、視線がどこに向かうかは個人差が大きい。
したがって、実際にテレビ番組、Ｗｅｂページ等を見る観察者の視線が被験者の視線データによって予測された視線位置に向かうとは限らない。
かかる個人差を取り除くためには、相当数の被験者の視線データを収集することが必要となり、画像のデザインに要する作業を圧迫するおそれがある。

一方、観察者の視線が画像のどこに向かうかを心理学及び神経科学の面から説明したモデルとして、顕著性マップモデルが挙げられる（非特許文献１参照）。
顕著性マップモデルでは、まず、画像における初期視覚特徴の特徴量（輝度、色等）を画素値としたグレースケール画像である複数の特徴量マップを生成し、続いて、複数の特徴量マップの線形和である顕著性マップを生成する。
顕著性マップから視線位置を推定する際には、一度見た方向には続けて視線が向かいにくいという復帰抑制の影響を受けながらも、顕著性マップにおける最も画素値が高い場所に視線が向かうという仮定（ＷＴＡ：Winner-Take-All）が用いられる。
かかる顕著性マップモデルによって画像のみから視線位置を推定することができれば、（１）相当数の被験者による視線計測の手間を省き、視線位置の推定とデザインの手直しを何度も繰り返し、よりよいデザインの画像を生成することができる、（２）顕著性マップという客観的・定量的な判断に基づいて画像の特徴が視線に与える影響を調整することができる、といったメリットを享受することが可能となる。

L. Itti, C. Koch, "Computational modeling of visual attention", Nature Reviews Neuroscience, 2(3). pp.194-203, Mar. 2001

しかし、顕著性マップと、相当数の被験者から収集された視線データとを比較した研究によると、画像の初期視覚特徴（輝度、色等）以外の要素が視線位置に大きく影響を与えており、推定された視線位置と実際に計測された視線位置とに大きなズレがあることがわかってきた。

本発明は、前記した事情に鑑みて創案されたものであり、画像における視線位置を好適に推定することが可能な視線位置推定装置及び視線位置推定プログラムを提供することを課題とする。

前記課題を解決するため、本発明の視線位置推定装置は、特徴量マップ生成部と、顕著性マップ生成部と、注意予測決定部と、視線位置推定部と、を備えることを特徴とする。

かかる構成によると、特徴量マップ生成部によって、画像データから、当該画像データの複数の特徴量のそれぞれを画素値とするグレースケール画像である複数の特徴量マップを生成し、顕著性マップ生成部によって、前記複数の特徴量マップに基づいて、顕著性マップを生成し、注意予測決定部によって、前記顕著性マップにおいて、視線位置に影響を及ぼす所定個数の注意予測を決定し、視線位置推定部によって、乱数を用いて、前記注意予測に対する重み付けを行うとともに、重み付けされた前記注意予測に基づいて、視線位置を推定する。
そして、注意予測決定部は、前記顕著性マップの画素値の大きさに基づいて前記注意予測を決定するとともに、前記顕著性マップの所定範囲内に存在する前記注意予測を１つのみとして前記注意予測を決定し、視線位置推定部は、ｉ番目の前記注意予測の位置をｒ_ｉ、ｉ番目の前記注意予測の重みをＭ_ｉ、前記視線位置をｒ_ｃとしたとき、
によって前記視線位置ｒ_ｃを推定する。

前記視線位置推定部は、重み付けを繰り返し行い、繰り返し重み付けられた前記注意予測に基づいて、前記視線位置を繰り返し推定することによって前記視線位置の分布を得る構成であってもよい。

前記注意予測決定部は、前記所定個数を変更し、異なる個数の前記注意予測を決定し、前記視線位置推定部は、異なる個数の前記注意予測に基づいて前記視線位置を推定する構成であってもよい。

前記顕著性マップ生成部は、前記複数の特徴量マップの線形和を算出することによって、前記顕著性マップを生成する構成であってもよい。

また、前記視線位置推定装置は、前記画像データにおける視線の分布傾向を表す視線ベースの特徴量マップが記憶された記憶部を備え、前記顕著性マップ生成部は、前記複数の特徴量マップの線形和と前記視線ベースの特徴量マップとの線形和を算出することによって、前記顕著性マップを生成する構成であってもよい。

また、本発明は、コンピュータを前記した視線位置推定装置として機能させる視線位置推定プログラムとしても具現化可能である。

本発明によれば、視線位置を好適に推定することができる。
また、本発明によれば、顕著性マップの全体から好適に注意予測を決定することができる。
また、本発明によれば、視線位置の分布を好適に推定することができる。
また、本発明によれば、注意予測の数に応じて視線位置を好適に推定することができる。
さらに、本発明によれば、複数の特徴量マップから顕著性マップを好適に生成することができ、また、視線ベースの特徴量マップを用いてヒトの視線の分布傾向（バイアス）を考慮した顕著性マップを好適に生成することができる。

本発明の実施形態に係る視線位置推定装置を示すブロック図である。 視線位置推定装置の動作例を説明するためのフローチャートである。 視線位置推定装置による処理を説明するための模式図であり、注意予測数「２」の場合を示す図である。 （ａ）は注意予測数「１」における視線位置分布、（ｂ）は注意予測数「２」における視線位置分布、（ｃ）は注意予測数「３」における視線位置分布、（ｄ）は注意予測数「４」における視線位置分布を示す図である。

以下、本発明の実施形態について、適宜図面を参照しながら説明する。図１に示すように、本発明の実施形態に係る視線位置推定装置１は、観察者の視線データを実際に収集することなく、モンテカルロシミュレーション法を用いて観察者の視線位置を推定（予測）するものであり、機能部として、記憶部１１と、特徴量マップ生成部１２と、顕著性マップ生成部１３と、注意予測決定部１４と、視線位置推定部１５と、を備える。

＜記憶部＞
記憶部１１には、顕著性マップ生成部１３で用いられる視線ベースの特徴量マップと、視線位置推定部１５で用いられる一様乱数と、が予め記憶されている。

＜特徴量マップ生成部＞
特徴量マップ生成部１２は、外部装置（カメラ、記録媒体等）から画像データを取得し、取得された画像データから、複数の特徴量マップを生成し、顕著性マップ生成部１３へ出力する。
ここで、特徴量マップは、画像データから抽出した特徴量をグレースケール画像の画素値として表すマップである。
本実施形態では、特徴量マップ生成部１２は、複数の特徴量マップとして、少なくとも輝度に関する特徴量マップ及び色に関する特徴量マップを生成し、さらに、点滅に関する特徴量マップ、運動に関する特徴量マップ、及び、方位に関する特徴量マップを生成する。

＜顕著性マップ生成部＞
顕著性マップ生成部１３は、特徴量マップ生成部１２から出力された複数の特徴量マップを取得し、取得された特徴量マップに基づいて顕著性マップを生成し、注意予測決定部１４へ出力する。
本実施形態において、顕著性マップ生成部１３は、複数の特徴量マップの線形和を算出することよって、顕著性マップを生成する。すなわち、顕著性マップは、画素ごとに、各特徴量マップの画素値の線形和を当該顕著性マップの画素値として有するグレースケール画像である。

なお、顕著性マップ生成部１３は、記憶部１１に記憶された各特徴量マップに対応した重み値を読み出して複数の特徴量マップに重み付けを行い、重み付けされた複数の特徴量マップの画素ごとの線形和を算出することによって、顕著性マップを生成する構成であってもよい。かかる重み付けに用いられる重み値は、実験によって予め設定されている。

＜注意予測決定部＞
注意予測決定部１４は、顕著性マップ生成部１３から出力された顕著性マップを取得し、顕著性マップにおける所定個数（１以上の自然数）の注意予測の位置（座標）を決定し、決定された注意予測の位置を視線位置推定部１５へ出力する。
ここで、注意予測は、画像において視線位置に影響を及ぼす箇所を予測したものであり、注意予測決定部１４は、顕著性マップにおいて画素値が大きい位置を注意予測の位置として決定する。

また、注意予測決定部１４は、顕著性マップの所定範囲内に存在する注意予測を１個のみとして注意予測を決定する。例えば、注意予測決定部１４は、顕著性マップにおける最大画素値の画素を１番目の注意予測として決定し、続いて、１番目の注意予測を中心とする視野角５度以内の領域内を除いた領域における最大画素値の画素を２番目の注意予測として決定し、というように、所定範囲内に２個以上の注意予測を存在させないように注意予測を決定することによって、画像全体に分散配置されている画素値が大きい箇所から好適に注意予測を決定することができる。

＜視線位置推定部＞
視線位置推定部１５は、注意予測決定部１４から出力された所定個数の注意予測の位置を取得し、取得された注意予測に重み付けを行い、重み付けされた注意予測に基づいて視線位置を推定し、推定された視線位置を外部装置（表示装置等）へ出力する。かかる視線位置推定部１５は、ｉ番目の注意予測の位置をｒ_ｉ、ｉ番目の注意予測の重みをＭ_ｉ、視線位置をｒ_ｃとしたとき、
によって視線位置ｒ_ｃを推定する。

一枚の画像中に複数の目立つ箇所が存在する場合、観察者の視線位置は、目立つ箇所の中間位置に向かい、これを「グローバル効果」と呼ぶ。本願発明の視線位置推定部１５は、かかるグローバル効果を参考に、重み付けされた注意予測の重心位置が視線位置であると推定する。

また、視線位置推定部１５は、記憶部１１に記憶された一様乱数から注意予測の個数だけ乱数を読み出し、読み出された乱数を重み値Ｍ_ｉとして各注意予測の重み付けを行う。
これは、観察者の視線位置が目立つ箇所に向かうとは必ずしも限らないことを、画像処理として具現化するための措置である。

本実施形態において、視線位置推定部１５は、記憶部１１に記憶された一様乱数から異なる乱数を読み出して重み付けを行い、視線位置を所定回数だけ推定する動作を繰り返し（毎回異なる乱数値によって重み付けを行うこととなる）、複数の視線位置を推定し、視線位置の分布を得る。

また、本実施形態において、注意予測決定部１４は、所定個数の注意予測に基づく視線位置を推定した後、注意予測の個数を変更し、異なる個数の注意予測を決定して視線位置推定部１５へ出力し、視線位置推定部１５は、異なる個数の注意予測に基づく視線位置及び視線位置の分布を推定する。

＜動作例＞
続いて、本発明の実施形態に係る視線位置推定装置１の動作例について、図１〜４を参照し、主に注意予測の個数を「２」とした場合を例にとって説明する。

まず、視線位置推定装置１の特徴量マップ生成部１２が、画像２１に関する画像データを取得する。画像２１は、中心及び同心円状で等間隔の８箇所に明るい部分を有するテレビ画像である。続いて、特徴量マップ生成部１２が、画像２１から複数の特徴量マップ（図示せず）を生成し（ステップＳ１）、顕著性マップ生成部１３へ出力する。

続いて、顕著性マップ生成部１３が、複数の特徴量マップから顕著性マップ２２を生成するとともに、顕著性マップ２２と視線ベースの特徴量マップ２３Ａとの線形和を算出することによって、顕著性マップ２４を生成し（ステップＳ２）、注意予測決定部１４へ出力する。ここで、視線ベースの特徴量マップ２３Ａは、画像データにおける視線の分布傾向を表すもの、本実施形態では、テレビ画像における視線分布傾向である後記するセンターバイアスを再現するためのものであり、当該特徴量マップの全ての画素が一定値を有する一様分布のグレースケール画像である。

続いて、注意予測決定部１４が、注意予測決定画像２５に示すように、顕著性マップ２４から画素値が大きな２個の注意予測２５ａ，２５ｂを決定し（ステップＳ３）、視線位置推定部１５へ出力する。

続いて、視線位置推定部１５が、重み付け画像２６に示すように、注意予測２５ａ，２５ｂに重み付けを行うことによって重み付けされた注意予測２６ａ，２６ｂを算出し（ステップＳ４）、視線位置画像２７に示すように、重み付けされた注意予測２６ａ，２６ｂに基づいて視線位置２７ａを推定する（ステップＳ５）。ここで、重み付け画像２６の円（注意予測２６ａ，２６ｂ）の半径が、注意予測２５ａ，２５ｂに付与された重み値を表している。

視線位置推定部１５は、重み付け及び視線位置の推定（ステップＳ４，Ｓ５）を所定回数だけ繰り返し行うことによって、複数の視線位置を推定し、複数の視線位置の分布の総和を正規化することによって、複数の視線位置からなる視線位置分布２８Ｂを得る（ステップＳ６）。詳細には、視線位置推定部１５は、初期化された視線位置分布マップに対して、推定された複数の視線位置のそれぞれに該当する座標に１を加算した後、加算された総和が一定値となるように正規化することによって視線位置分布を得る。ここで、視線位置分布２８Ａは、１個の視線位置からなる分布であり、視線位置分布２８Ｂは、３００，０００個の視線位置からなる分布である。

テレビ番組の画像において、しばしば観察者は、まず画像中央に視線を向けてから、徐々に周辺の細かい部分にも視線を向ける。かかる傾向は、特に時々刻々と画像情報が変動するテレビのような映像コンテンツで顕著であり、センターバイアスと呼ばれている。

これに対して、視線位置推定部１５は、視線位置分布２８Ａ，２８Ｂから判るように、より多くの視線位置から視線位置の分布を得ることによって、かかるセンターバイアスを自然に再現することができるので、顕著性マップ生成部１３は、前記した視線ベースの特徴量マップ２３Ａの使用を省略することができる。

なお、画像２１が横書きＷｅｂページである場合には、観察者の視線が当該ページの先頭にあたる左上に偏る視線分布傾向があるため、顕著性マップ生成部１３は、前記した特徴量マップ２３Ａに代えて、左上に高画素値の分布が偏った視線ベースの特徴量マップ２３Ｂを使用することができる。この場合は、使用する特徴量マップが変わるだけで、動作例は同様である。

また、注意予測決定部１４及び視線位置推定部１５は、異なる注意予測数に対しても同様の処理を行い、異なる注意予測数に対する視線位置分布を得る。すなわち、本フローは、注意予測数が１に設定されてステップＳ１〜Ｓ６が実行され、注意予測数が上限値でない場合には（ステップＳ７でＮｏ）、注意予測決定部１４が注意予測数を１だけ増加し（ステップＳ８）、ステップＳ３〜Ｓ６が繰り返し実行される。そして、注意予測数が上限値（例えば、９）となった場合に（ステップＳ７でＹｅｓ）、本フローは終了する。

視線位置推定部１５は、ユーザによる入力装置（図示せず）の操作によって指定された注意予測数に応じた視線位置分布を表示装置（図示せず）へ出力することができる。視線位置分布は、図４に示すように、画像と同じ二次元平面を呈する視線位置分布マップ上で所定回数推定された視線位置がどこに分布するのかを示すものでり、視線位置がより多く推定された場所ほど高くなる曲面として示される。注意予測数が１の場合には、視線位置分布は図４（ａ）のようになり、注意予測数が２の場合には、視線位置分布は図４（ｂ）のようになり、注意予測数が３の場合には、視線位置分布は図４（ｃ）のようになり、注意予測数が４の場合には、視線位置分布は図４（ｄ）のようになる。このように、注意予測数が増えるほど、推定される視線位置分布が画面中央に寄っていくこととなり、視線ベースの特徴量マップ２３Ａを用いなくても前記したセンターバイアスが再現されることがわかる。

また、視線位置推定部１５は、１以上の自然数である注意予測数に対応する視線位置分布を補間することによって、注意予測数を自然数から実数へと拡張して注意予測数が小数部分を有する場合（例えば、２．５）の視線位置分布を得ることもでき、注意予測数が連続的に変化した場合の視線位置分布の変化を利用者に提示することが可能となる。なお、注意予測数が自然数である場合には、「注意予測」を「注意要素」と称することもできる。

なお、視線位置推定部１５は、利用者による図示しない入力装置の操作に応じて入力された注意予測数を取得し、取得された注意予測数に応じた視線位置分布を図示しない表示装置へ出力する構成であってもよい。

本発明の実施形態に係る視線位置推定装置１は、乱数を用いて重み付けされた注意予測の重心位置を視線位置として推定するので、実際の視線位置により近い場所を視線位置として推定することができる。
また、本発明の実施形態に係る視線位置推定装置１は、重み付けされた特徴量マップの線形和を算出することによって顕著性マップを生成することも可能であり、この場合には、特徴量ごとの視線位置への影響を考慮し、より好適に視線位置を推定することができる。
また、本発明の実施形態に係る視線位置推定装置１は、得られた視線位置分布を、ＷＴＡ等のアルゴリズムによる視線移動のシミュレーションに適用することも可能である。利用者（例えば、映像デザイナ）は、シミュレーション結果を見ながら、意図した順序で視線が移動するように画像をデザインすることができているかを確認しながら画像制作を進行することができる。

以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜変更可能である。例えば、特徴量マップ生成部１２において生成される特徴量マップの種類及び数は、適宜変更可能である。また、本発明は、コンピュータを視線位置推定装置１として機能させる視線位置推定プログラムとしても具現化可能である。また、視線ベースの特徴量マップとして、画像の種類等に応じた視線計測に基づいて、例えば画像がＴＶ番組である場合には特徴量マップ２３Ａを用い、画像が横書きのＷｅｂページである場合には特徴量マップ２３Ｂを用いる等、異なる視線分布傾向を表す複数の特徴量マップを使い分けることが可能である。

１ 視線位置推定装置
１１ 記憶部
１２ 特徴量マップ生成部
１３ 顕著性マップ生成部
１４ 注意予測決定部
１５ 視線位置推定部

Claims (6)

1. 画像データから、当該画像データの複数の特徴量のそれぞれを画素値とするグレースケール画像である複数の特徴量マップを生成する特徴量マップ生成部と、
   前記複数の特徴量マップに基づいて、顕著性マップを生成する顕著性マップ生成部と、
   前記顕著性マップにおいて、視線位置に影響を及ぼす所定個数の注意予測を決定する注意予測決定部と、
   乱数を用いて、前記注意予測に対する重み付けを行うとともに、重み付けされた前記注意予測に基づいて、視線位置を推定する視線位置推定部と、
   を備え、
   前記注意予測決定部は、前記顕著性マップの画素値の大きさに基づいて前記注意予測を決定するとともに、前記顕著性マップの所定範囲内に存在する前記注意予測を１つのみとして前記注意予測を決定し、
   前記視線位置推定部は、ｉ番目の前記注意予測の位置をｒ_ｉ、ｉ番目の前記注意予測の重みをＭ_ｉ、前記視線位置をｒ_ｃとしたとき、
   によって前記視線位置ｒ_ｃを推定する
   ことを特徴とする視線位置推定装置。
2. 前記視線位置推定部は、重み付けを繰り返し行い、繰り返し重み付けられた前記注意予測に基づいて、前記視線位置を繰り返し推定することによって前記視線位置の分布を得る
   ことを特徴とする請求項１に記載の視線位置推定装置。
3. 前記注意予測決定部は、前記所定個数を変更し、異なる個数の前記注意予測を決定し、
   前記視線位置推定部は、異なる個数の前記注意予測に基づいて前記視線位置を推定する
   ことを特徴とする請求項１又は請求項２に記載の視線位置推定装置。
4. 前記顕著性マップ生成部は、前記複数の特徴量マップの線形和を算出することによって、前記顕著性マップを生成する
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の視線位置推定装置。
5. 前記画像データにおける視線の分布傾向を表す視線ベースの特徴量マップが記憶された記憶部を備え、
   前記顕著性マップ生成部は、前記複数の特徴量マップの線形和と前記視線ベースの特徴量マップとの線形和を算出することによって、前記顕著性マップを生成する
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の視線位置推定装置。
6. コンピュータを、
   画像データから、当該画像データの複数の特徴量のそれぞれを画素値とするグレースケール画像である複数の特徴量マップを生成する特徴量マップ生成部、
   前記複数の特徴量マップに基づいて、顕著性マップを生成する顕著性マップ生成部、
   前記顕著性マップにおいて、視線位置に影響を及ぼす所定個数の注意予測を決定する注意予測決定部、及び、
   乱数を用いて、前記注意予測に対する重み付けを行うとともに、重み付けされた前記注意予測に基づいて、視線位置を推定する視線位置推定部として機能させ、
   前記注意予測決定部に、前記顕著性マップの画素値の大きさに基づいて前記注意予測を決定させるとともに、前記顕著性マップの所定範囲内に存在する前記注意予測を１つのみとして前記注意予測を決定させ、
   前記視線位置推定部に、ｉ番目の前記注意予測の位置をｒ_ｉ、ｉ番目の前記注意予測の重みをＭ_ｉ、前記視線位置をｒ_ｃとしたとき、
   によって前記視線位置ｒ_ｃを推定させる
   ことを特徴とする視線位置推定プログラム。