JPH06162A

JPH06162A - 視線情報解析装置

Info

Publication number: JPH06162A
Application number: JP4162806A
Authority: JP
Inventors: Hidetomo Sakaino; 英朋境野
Original assignee: A T R TSUSHIN SYST KENKYUSHO KK; ATR TSUSHIN SYST KENKYUSHO
Current assignee: A T R TSUSHIN SYST KENKYUSHO KK; ATR TSUSHIN SYST KENKYUSHO
Priority date: 1992-06-22
Filing date: 1992-06-22
Publication date: 1994-01-11
Anticipated expiration: 2009-07-20
Also published as: JPH0653106B2

Abstract

(57)【要約】【目的】この発明は人の画像に対する客観的な評価方
法がより広範囲に柔軟に適用できるように、画像内容と
眼球運動の相関を見出すアルゴリズムと、眼球運動を時
系列的に解析し、その特徴量を見出すアルゴリズムとを
備えた視線情報解析装置を提供することを主要な特徴と
する。【構成】眼球運動検出装置３によって眼球１の運動を
検出し、解析装置５によって検出された眼球の時系列変
化を周波数領域で解析し、画像入力部７から入力された
表示される画像の内容を表示内容解析装置８で解析し、
両者を統合解析部６で統合処理することにより、被験者
の心理的な観察状態，画像に対する客観的な評価につい
て信頼性の高いデータを得る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は視線情報解析装置に関
し、特に、観察者に提示される画像内容と、観察者の眼
球運動の不随意的な挙動とがお互いに強い相関があるこ
とを利用し、眼球運動の時系列的な変化を解析すること
により、実像と画像を観察した場合の観察者の心理的な
状態を予測あるいは客観的評価をするような視線情報解
析装置に関する。

【０００２】

【従来の技術】視線の動きには、随意的な成分と不随意
的な成分が含まれていることが知られている。特に、眼
球運動の不随意的な挙動を指標とした画像評価が近年盛
んになってきている。その多くは、検出された眼球の速
度，注視時間を主な評価尺度として解析が行なわれてい
る。また、解析の方法は、特定時間、継続的に検出され
た挙動成分を積分した形で捉えていた。この時間につい
ても、定性的な根拠もなかったため、解析する時間領域
の長さに依存して、解析結果に違いが生じる場合がある
という問題点があった。さらに、提示した画像内容を解
析し、眼球運動との定量的な相関を求めたものもなかっ
たため、検出された眼球の挙動を解析する際、かなりお
おまかな傾向を記述するにとどまっていた。

【０００３】図９は従来の視線情報解析装置の概要を示
す図である。図９を参照して、特定の間、被験者は提示
された画像２を自然な状態で観察している。このとき、
眼球運動検出装置３によって被験者の眼球１の変位が検
出され、メモリ４に蓄えられるか、あるいは解析装置５
によって実時間で眼球１の移動速度，注視時間がモニタ
リングされる。あるいは、特定の時間分のデータを一括
して、周波数領域に移して解析することが中心的に行な
われている。

【０００４】

【発明が解決しようとする課題】従来より、視覚実験で
は眼球運動を眼球運動検出装置３で検出し、その挙動を
何らかの尺度により解析が行なわれている。しかしなが
ら、被験者に提示した画像内容との相関付けを厳密に行
なった例はなく、その解析の方法に関しても、特定の時
間測定された結果についてのものはあるが、刻々と変化
する眼球運動の挙動を解析したものはなかった。眼球運
動と表示内容を相関付ける意義については、１つには動
画像表示を行なったような場合、シーンが変化したとき
の眼球運動との対応付けを説明するのに必要である。表
示される画像が静止画像であっても、特定の観察時間に
おいては、刻々と被験者の興味の対象が変わっていく、
画像内容の精細さに応じた眼球運動の挙動に変化が生じ
たりする点、など動画像の場合と同様にして、静止画像
の場合についても、上述に述べたような対応付けは必要
である。よって、視線の情報を解析するために、統合解
析部を備えることが必要である。

【０００５】しかしながら、上述のごとく、従来の眼球
を指標とした画像評価の方法は、画像内容を解析し、眼
球運動とを定量的に相関付けたものではなく、また、眼
球運動の挙動を時系列的に解析したものではなかった。

【０００６】それゆえに、この発明の主たる目的は、人
の画像に対する客観的な評価方法がより広範囲に、柔軟
に適用できるように、画像内容と眼球運動の相関を見出
すアルゴリズムと、眼球運動を時系列的に解析し、その
特徴量を見出すアルゴリズムとを備えた視線情報解析装
置を提供することである。

【０００７】

【課題を解決するための手段】この発明は視線情報解析
装置であって、眼球の任意の移動量を検出する眼球運動
検出手段と、検出された時間空間上の眼球の挙動データ
を適当な長さのセグメントに分割し、分割された区間毎
に周波数空間に変換し、時系列的な解析をするための解
析手段と、入力された画像を解析し、その解析結果に応
じて画像の持つ異なる複数の特徴量に対して、それぞれ
に重み付けを行ない、その画像の特徴を表現する関数を
記述する関数記述手段と、解析手段による解析結果と関
数記述手段によって記述された結果とを、それぞれの項
目についての関数で一意に結びつけて予測関数を記述し
て統合する統合手段と、統合手段によって記述された画
像内容と眼球の挙動についての予測関数に基づき、画像
内容が既知で眼球の挙動が未知の場合、または眼球の挙
動が既知で画像の内容が未知の場合、それぞれの未知量
を予め記述された予測関数で推定する推定手段を備えて
構成される。

【０００８】

【作用】この発明にかかる視線情報解析装置は、画像を
評価しようとする被験者の意思決定過程を、眼球運動の
時間軸上で見たその挙動の変化と、提示される画像内容
と眼球運動との相関付けから推定し、人の画像に対する
客観的な評価結果を得る。

【０００９】

【実施例】図１はこの発明の一実施例の概略ブロック図
である。図１を参照して、眼球運動検出装置３は眼球１
の任意の移動量を検出するものであり、その検出出力は
解析装置５に与えられる。解析装置５は眼球運動検出装
置３で検出された眼球運動の変位情報を適当なセグメン
ト長に分割し、分割された時間領域の各セグメントを周
波数領域へ変換する。解析装置５による解析結果は統合
解析部６に与えられる。

【００１０】一方、画像入力部７は、表示すべき画像を
入力するものであり、入力された画像は表示内容解析装
置８に与えられ、画像の特徴量が解析される。その解析
結果は統合解析部６に与えられる。また、表示内容解析
装置８から画像情報が表示装置９に与えられ、画像２が
提示される。

【００１１】統合解析部６は解析装置５から与えられた
眼球運動の解析結果と、表示内容解析装置８から与えら
れた表示内容の解析結果とに基づいて、それぞれの項目
についての関数で一意に結びつけて予測関数を記述して
統合する。さらに、統合解析部６は、予測関数に基づ
き、画像内容が既知で、眼球の挙動が未知の場合、また
は眼球の挙動が既知で、画像の内容が未知の場合、それ
ぞれの未知量を予め記述された予測関数で推定する。

【００１２】図２は図１に示した解析装置５による眼球
運動の時系列データのセグメント化とその解析方法につ
いて説明するための図である。図２（ａ）に示すよう
に、有限長の眼球の変位データ１１は、特定の長さのセ
グメントｄ_k （ｋ＝１，２…ｎ）で切取られる。ただ
し、各セグメントの長さは一定である。各セグメントの
データは、図２（ｂ）に示すように、分解能の良好な最
大エントロピー法により、周波数領域のデータ１２に変
換される。変換された各セグメントのデータＤ_k（ｋ＝
１，２…ｎ）は、図２（ｃ）に示すように、周波数軸，
パワースペクトル軸，時間軸の３軸の三次元表示データ
１３として表現される。

【００１３】このグラフから、画像を観察している場
合、観察者の意思決定過程を初めとして、逆にどのよう
なテクスチャー画像を観察しているかを推定することが
可能となる。すなわち、どのくらいの時間に、どれだけ
の周波数帯域が得られるか、または特定の周波数がどの
時間で生じるのか、パワースペクトルのピークはどのよ
うなものかなど、従来になく、解析に必要な評価尺度が
増える点において、有効である。

【００１４】図３は図１に示した統合解析部における眼
球運動と画像内容の関数を決定する方法を説明するため
の図である。図３を参照して、統合解析部６は眼球運動
時系列変化検出系と画像特徴量時系列変化検出系とを含
む。このために、統合解析部６は眼球運動時系列変化検
出部６１と画像特徴量時系列変化検出部６２とを含む。
これらの特徴量を定量的に結びつけるため、予め定める
規則にしたがって変数が割当てられる。眼球運動時系列
変化検出部６１で検出された眼球運動時系列変化に対し
て割当部６３によって変数Ａが割当てられ、画像特徴量
時系列変化検出部６２で検出された画像特徴量時系列変
化に対して変数割当部６４によって変数Ｂが割当てられ
る。眼球運動に関しての変数の割当ては、３（ｘ，ｙ，
ｚ）軸上に展開された眼球の時系列的な挙動６５に関し
て、その関数をＧ１（ｘ，ｙ，ｚ）とし、この関数を別
な関数Ｇ２で近似する場合（６６）に得られる係数列ｂ
１，ｂ２，ｂ３，…ｂｎを示す。２つの関数の近似の方
法は、２つの関数の差の二乗（｜Ｇ₁−Ｇ₂｜²）が最
小６７になる問題を解くことによる。ニュートンラプラ
ス法などにより、近似解として、ｂ１，ｂ２，ｂ３，…
ｂｎ６８が得られ、関数Ｇ２の係数ａ１，ａ２，…ａｎ
が決定される。

【００１５】このようにして、特定の画像に対する眼球
運動の時空間関数が決定される。次に、画像内容につい
ては、画像のｆ１：粗さ，ｆ２：コントラスト，ｆ３：
色合い，ｆ４：テクスチャーというような項目６９につ
いて評価式がたてられる。そして、線形の自己回帰モデ
ル式７０によって重み付けパラメータｃ１，ｃ２，…ｃ
ｍで１つの関数Ｇ３で画像の特徴量が表現される。ただ
し、動画像の場合は、各項目に関する方程式ｆ１，ｆ
２，…ｆｎは、時間の関数として表現できる。

【００１６】図４は単純なパターンにおける眼球運動と
画像内容との相関の例を説明するための図である。この
図４に示した例は、図４（ｃ）に示す斜め状のテクスチ
ャー画像４１を被験者に観察させた場合に、図４
（ａ），（ｂ）に示すように眼球運動のスペクトル解析
結果４０が得られる。眼球の成分間には、図４（ａ）に
示すｘ成分の方が、図４（ｂ）に示すｙ成分よりも周波
数帯域が広いという偏りが生じている。画像内容をその
分散で比較すると、眼球運動の偏りに応じてｘ成分の方
が大きいものであった。この結果から、たとえば眼球の
各成分の最大周波数成分ｆｘ，ｆｙの比と画像の分散値
の比を取ると、図４（ｄ）に示すように、一定の関係が
算出される。

【００１７】図５は車のようなパターンを提示したとき
の眼球運動と画像内容との相関の例を説明するための図
である。図５（ｃ）に示すように、複数の車のエッジ画
像５１を被験者に観察させた場合の眼球運動のスペクト
ル解析結果は図５（ａ），（ｂ）に示すようになった。
この実験の場合、図５（ａ）に示すように眼球のｘ成分
および図５（ｂ）に示すｙ成分は、図５（ｄ）に示すよ
うに、その周波数帯域を時間方向で見ると、繰返し広く
なったり、狭くなったりしているのがわかる。仮に、時
間軸方向で解析を行ない終わらない場合は、このような
眼球運動の独特の振る舞いについては、決して見出すこ
とができないと言える。これは、ちょうど各成分につい
て、平均をとった操作結果に等しい。このようにして処
理した結果について、両者を比較すると、画像と眼球運
動の間には一定の関係があることがわかる。

【００１８】なお、眼球の各時間区間での周波数の最大
値と、時間軸とでグラフを記述した後、前述のごとく特
定の１つの関数でｆｘ，ｆｙを近似表現できる。同様
に、パワースペクトルの最大値と時間軸とのグラフも１
つの表現として表現でき、解析結果を扱いやすくするこ
とができる。

【００１９】図６は眼球運動の時系列データのセグメン
ト化とその解析方法を説明するための図である。図６
（ａ）に示すある風景の原画像７０と、図６（ｂ）に示
すそのエッジ画像７１について、画像の特徴量ｇ_i（ｉ
＝１，５）が算出される（ｂ_i（ｉ＝１，１０））。次
に、眼球運動を解析した結果について、図６（ｃ），
（ｄ）に示す。それぞれの画像の場合について、周波数
帯域，パワースペクトラムと時間軸についてグラフに表
現すると、図６（ｅ），（ｆ）に示すようになる。図６
（ｅ）と（ｆ）とを対比すると明らかなように、周波
数，パワースペクトルの時間変位には明らかな違いがあ
る。原画像の場合は、単峰性のピークがあるのに対し
て、エッジ画像の場合には振動的な結果となっているの
がわかる。画像内容と眼球の相関については、特に、エ
ッジ画像のような場合には、定量的にいって画像の特徴
量ｇ２，ｇ３が他の特徴量に比べてかなり大きく、その
ときの眼球運動は周波数，パワースペクトルを尺度とし
た場合、振動的な関係となることがわかる。

【００２０】図７は画像内容と眼球の挙動に関しての予
想関数を作成する例を説明するための図である。この図
７においては、画像内容と眼球の挙動の関係について、
２つの例を示している。関数ｆ１，ｆ２は、それぞれｗ
１，ｗ２のベクトルで表わされているような予め視覚実
験で確められている相互関係に基づいて、算術的に決定
されたものである。この△印および●印は、それぞれ予
測関数により推定された値である。すなわち、関数ｖ＝
ｆ（ｕ）において、集合ｗ１に決定された関数ｆ１が記
述できた場合、ｕ３の場合についてｖが推定され、ｖ３
が既知の場合はｕが推定される。関数ｆ２の場合につい
ても同様にして求められる。

【００２１】図８は画像内容または眼球の挙動が未知の
場合の予測関数を用いた推定とその応用例を示す図であ
る。眼球の挙動に応じた画像を提示しようとするような
視線制御系を有する装置において、画像内容が既知の場
合、視線により制御を行なおうとする観察者に画像を提
示する直前に、関数に基づいて眼球の挙動を推定したと
する。このような制御系では、制御の時間遅れが問題と
なっているため、このような方式で画像内容と眼球運動
との相関が予めわかっていると、ある程度、生理的な根
拠に基づいた新しい方式で、眼球の規則を予測できて時
間遅れ問題を回避できる。

【００２２】次の例として、画像が何らかの目的で評価
を行なう場合がある。この場合は、前述の説明とは逆
に、眼球の挙動が既知で、画像内容が未知の場合であ
る。同様にして、予測関数が定まっているとして観察者
が評価を行なおうとしている画像内容を推定するとす
る。従来より、一般に観察者の主観的な画像に対する評
価結果はばらついており、何らかの手法により信頼性を
高める必要があった。あらかじめ求められている客観的
な画像内容と眼球の挙動との相関を指標にすれば、評価
された結果に対する信頼性自体に対して評価ができる。

【００２３】

【発明の効果】以上のように、この発明によれば、眼球
運動を検出し、検出された眼球の時系列変化を周波数領
域で表示し、また表示される画像の内容を解析し、両者
を統合処理することにより、被験者の心理的な観察状
態，画像に対する客観的な評価について、従来になく容
易に信頼性の高いデータを得ることができる。

【図面の簡単な説明】

【図１】この発明の一実施例の概略ブロック図である。

【図２】この発明の一実施例における眼球運動の時系列
データのセグメント化とその解析方法を説明するための
図である。

【図３】図１に示した統合解析部における眼球運動と画
像内容の関数決定方法を説明するための図である。

【図４】単純なパターンでの眼球運動と画像内容との相
関の例を示す図である。

【図５】車のようなパターンを提示したときの眼球運動
と画像内容との相関の例を示す図である。

【図６】同一内容でテクスチャーの異なる画像を提示し
たときの眼球運動と画像内容との相関の例を示す図であ
る。

【図７】画像内容と眼球の挙動に関しての予測関数の作
成例を示す図である。

【図８】画像内容または眼球の挙動が未知の場合の予測
関数を用いた推定とその応用例を示す図である。

【図９】従来の視線情報解析装置の概略ブロック図であ
る。

【符号の説明】

１眼球２画像３眼球運動検出装置５解析装置６統合解析部７画像入力部８表示内容解析装置９表示装置

Claims

【特許請求の範囲】

【請求項１】眼球の任意の移動量を検出する眼球運動
検出手段、前記眼球運動検出手段によって検出された時間空間上の
眼球の挙動データを適当な長さのセグメントに分割し、
分割された区間毎に周波数空間に変換し、時系列的な解
析をするための解析手段、入力された画像を解析し、その解析結果に応じて、画像
の持つ異なる複数の特徴量に対して、それぞれに重み付
けを行ない、該画像の特徴を表現する関数を記述する関
数記述手段、前記解析手段による解析結果と、前記関数記述手段によ
って記述された結果とを、それぞれの項目についての関
数で一意に結びつけて予測関数を記述し、統合する統合
手段、および前記統合手段によって記述された前記画像
内容と眼球の挙動についての予測関数に基づき、前記画
像内容が既知で前記眼球の挙動が未知の場合、または前
記眼球の挙動が既知で前記画像の内容が未知の場合、そ
れぞれの未知量を予め記述された予測関数で推定する推
定手段を備えた、視線情報解析装置。