JPH0749035B2 - 眼球の注視領域表示装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、眼球の注視領域表示
装置に関し、特に、眼球の注視領域を安定して表示でき
る眼球の注視領域表示装置に関する。

【０００２】

【背景の技術】眼球運動を分析することにより、心理学
や医学などの分野において様々なデータが得られる。す
なわち、心理学の分野ではたとえば画像工学を利用して
視覚心理実験が行なわれ、医学および精神医学の分野で
は脳機能の分析，診療および治療に必要なデータが得ら
れる。

【０００３】被験者の眼球運動を表示するため、画面上
に表示された画像中で、被験者が注視している画像領域
をマスキングしたり、注視していない領域をマスキング
（視野制限）したりする。この発明の背景となる眼球の
注視領域表示装置の例として、本願出願人によって先に
出願された装置を図７に示す。

【０００４】図７を参照して、提示画像の光がハーフミ
ラー２１およびレンズ系２５を介して被験者の眼球３に
与えられる。一方、赤外ＬＥＤ１２から眼球運動検出用
赤外光が発せられ、この赤外光はレンズ系２７を介して
眼球３に与えられる。したがって、赤外ＬＥＤ１２のス
ポットの虚像が被験者の角膜面に結合される。結合され
た像は、ミラー８１およびレンズ系８２を介してビデオ
カメラなどのエリアセンサ８３にフォーカスされる。眼
球運動検出部９では、エリアセンサ８３から出力された
画像から水平および垂直の二次元の眼球運動を検出し、
サーボ制御部１０を制御するための制御信号を発生す
る。

【０００５】他方、注視領域を示すためのマスキング画
像の光がプリズム２３および２４を介して与えられる。
各プリズム２３および２４は、サーボ制御部１０から出
力された制御信号に応答して、マスキング画像が被験者
の注視領域上になるよう、駆動部１１１および１１２に
よりそれぞれ制御される。その結果、ハーフミラー２１
上で、提示画像上に被験者の注視領域を示すマスキング
画像が重畳され、眼球運動を示す画像が得られる。

【０００６】

【発明が解決しようとする課題】図７に示した装置で
は、サーボ制御部１０から発生された制御信号により駆
動部１１１および１１２が駆動されるのであるが、これ
らを駆動するためガルバノメータ１１３および１１４が
使用されている。眼球運動検出部９によって検出された
運動をマスキング画像を移動させることにより表示する
ためには、応答速度の速いガルバノメータ１１３および
１１４を使用する必要があるからである。したがって、
この装置のようにガルバノメータを利用した装置では、
被験者が瞬きを行なったときや、注視点を移動させたと
きなどのように、本来被験者が注視状態にないときにお
いてもマスキング処理がなされてしまう。言い換える
と、被験者が注視していないにも係わらず、マスキング
処理された画像が頻繁に画面上に表示されるので、眼球
運動の分析を行なうのに支障を来していた。

【０００７】この発明は、上記のような課題を解決する
ために出されたもので、眼球の注視領域表示装置におい
て、注視領域を安定して表示することを目的とする。

【０００８】

【課題を解決するための手段】この発明に係る眼球の注
視領域表示装置は、画像を表示する画像表示手段と、表
示された画像において眼球による注視状態が発生してい
ることを検出する注視状態検出手段と、注視状態検出手
段の出力に応答して、検出された注視状態の時間長さを
検出する時間長さ検出手段と、予め定められた時間長さ
と時間長さ検出手段によって検出された時間長さとを比
較する比較手段と、マスキング画像または視野制限画像
を生成するための画像生成手段と、比較手段の出力に応
じて、画像表示手段に表示された画像上で、画像生成手
段によって生成されたマスキング画像または視野制限画
像を表示する表示制御手段とを備えて構成される。

【０００９】

【作用】この発明における眼球の注視領域表示装置は、
画像表示手段に画像を表示したとき、眼球による注視状
態が発生していることを検出し、その検出出力に応じ
て、注視状態の時間長さを検出し、予め定められた時間
長さと検出された時間長さとを比較し、その比較出力に
応じて、表示手段に表示されている画像上で、生成され
たマスキング画像または視野制限画像を表示し、画像表
示手段に表示された画像上で眼球の注視領域と非注視領
域とを識別表示することにより、たとえば瞬きや注視点
の移動時など眼球の不安定な運動によって、表示された
画像上で注視領域と非注視領域とが識別表示されること
を防止できる。

【００１０】

【実施例】図１は、この発明の一実施例を示す眼球の注
視領域表示装置のブロック図である。図１を参照して、
この注視領域表示装置は、被験者の眼球運動を検出する
眼球運動検出装置１と、検出された眼球運動に基づいて
演算処理を行なう演算処理装置２と、被験者に提示する
提示用画像生成装置３と、被験者の注視領域を表示する
ためのマスキング（または視野制限）画像を生成するマ
スキング画像生成装置４と、演算処理装置２から出力さ
れる制御信号に応答して、提示画像用上でマスキング画
像を挿入する画像切替装置５と、画像切替装置５から出
力される画像を表示する表示装置６とを含む。

【００１１】まず、眼球運動検出装置における処理につ
いて説明する。眼球運動検出装置では、被験者が画像を
観察しているときの眼球運動を後に述べる方法により検
出する。一般に、眼球は被験者が一点を注視していると
きでも固視微動という激しく小さな動きを行なってい
る。したがって、眼球運動検出装置によって得られた眼
球運動データには、その固視微動成分と、注視点間を移
動するときに生じる跳躍運動や、随従運動と呼ばれる眼
球運動や、瞬きなどによって生じるノイズ成分とが含ま
れている。このような信号から、被験者が画像内の見た
点に視線を止めたときに生じる注視点を正確に検出する
ためには、注視点を定義する必要がある。この注視点の
定義の方法の一例として、眼球運動速度を基準とする方
法が特開昭６０−１２６１４０号公報に開示されてい
る。図１に示した眼球運動検出装置１では、その手法を
使用して、眼球運動の検出を以下のように行なう。

【００１２】図３および図４は、眼球運動の検出原理を
説明するための図である。図３および図４を参照して、
赤外ＬＥＤ１２の虚像３３が水晶体３１に結像される。
眼球の回転中心Ｏと水晶体３１の回転中心Ｏ’とが異な
るため、眼球の回転に伴いこの虚像３３が平行移動す
る。この平行移動量３４は、眼球の回転角に相当し、図
１に示したビデオカメラ画像のエリアセンサを用いて、
図４に示すように虚像３３の平行移動した像３３’を撮
像することにより検出される。

【００１３】このようにして、図１に示した眼球運動検
出装置１において、眼球の左右および上下の眼球回転角
に代表されるその注視点の位置と、眼球の状態、すなわ
ち注視点の発生，注視点の移動および瞬きなどを示す状
態信号とが検出される。

【００１４】図２は、図１に示した注視領域表示装置の
動作を説明するためのタイミング図である。図２に示す
ように、眼球運動検出装置１から３つの値「０」，
「１」および「２」を有する状態信号Ｓｔが発生され
る。値「０」は瞬きを示し、値「１」が注視点の移動を
示し、値「２」は注視点の発生状態を示している。時間
長さｔｖは注視点の発生状態の持続時間長さを示す。

【００１５】図５は、図１に示した演算処理装置２にお
ける処理を説明するためのフロー図である。まず、ステ
ップ４１において、図示されないキーボードなどにより
ｔｓ，ｔｄおよびθが入力される。ｔｓは、その時間長
さを越えて注視点の発生が持続したときにマスキング処
理を行なうための閾値となる時間長さに相当する。ｔｄ
は、マスキング画像を挿入すべき時間長さを示し、θは
マスキング角を示す。

【００１６】ステップ４２において、注視点の発生状態
における時間長さｔｖを検出する。すなわち、図２に示
すように状態Ｓｔが値「２」を有するときの時間長さｔ
ｖが検出される。

【００１７】ステップ４３において、ｔｖ＞ｔｓである
かどうかが判定される。すなわち、この条件を満たすと
き次のステップ４４の処理が行なわれ、満たさないとき
にはステップ４２の処理に戻る。すなわち、注視点発生
状態が予め定められた時間長さｔｓを越えて持続される
とき、以下に述べるマスキングのための処理が行なわれ
ることになる。

【００１８】ステップ４４において、ｔｓおよびｔｄの
タイミングでマスキング角θのマスキング画像を挿入す
るためのスイッチング信号Ｓｗが発生される。スイッチ
ングＳｗは図１に示した画像切替装置５に与えられる。

【００１９】ステップ４５において、画像切替装置５が
提示用画像生成装置３から生成された画像上にマスキン
グ画像生成装置４から生成されたマスキング画像を挿入
するための切替動作を行なう。すなわち、演算処理装置
２から発生されるスイッチング信号Ｓｗは、図２に示し
たように２つのレベルＭＳＫおよびＯＲＧを有する。画
像切替装置５は、信号ＳｗがレベルＯＲＧを示すとき、
提示用画像の画像信号のみを表示装置６に与える。スイ
ッチングＳｗがレベルＭＳＫを示すとき、提示用画像上
の注視領域にマスキング画像を重畳させた画像の画像信
号が表示装置６に与えられる。なお、図２に示した時間
長さｔｅは、注視状態の時間長さｔｖとｔｓおよびｔｄ
とによって一意に決定される。

【００２０】図１に示した表示装置６上に表示される画
像の例が図６に示される。図６を参照して、被験者が円
５１内の領域を注視したとき、この図に示すようにその
領域かマスキングされている。また、被験者が円５２の
領域を注視したときも同様にマスキングされている。他
方、マスキングの時間長さｔｄが経過した後は、点線で
示された円５３に示すように、マスキングされていた領
域のマスキングが解除され、提示用画像、すなわち被験
者が注視していた領域が表示される。

【００２１】図６に示した例では、注視領域がマスキン
グ画像によってマスキングされていたが、これとは逆
に、注視領域のみを表示する、すなわち注視領域を除く
領域をマスキングすることにより視野制限を行なうこと
も、前述の場合と同様に行なうことができる。いずれの
場合においても、眼球の注視領域と非注視領域とを識別
表示するという点において共通している。

【００２２】このように、図１に示した注視領域表示装
置では、演算処理装置２において、図５に示すステップ
４３で注視状態の時間長さｔｖが予め定められた時間長
さｔｓよりも長いことが検出され、ステップ４４および
４５において注視領域のマスキングが行なわれる。した
がって、被験者の瞬きや注視点の移動などのような本来
的に注視状態でないときにマスキング処理が行なわれる
のが防がれる。したがって、表示装置６上に被験者の注
視領域を安定して表示することができる。

【００２３】図１に示した眼球の注視領域表示装置は、
たとえば人間の初期視覚を解明するための視覚心理実験
装置に適用することができる。また、精神医学分野にお
ける特に痴呆の進行度の診断装置などにも適用でき、被
験者の注視領域の移動に基づいて検査を行なう機器に広
く利用できることが指摘される。

【００２４】

【発明の効果】以上のように、この発明によれば、注視
状態の時間長さが予め定められた時間長さよりも長いこ
とを検出したことに応じて、画像表示手段に表示された
画像上で、生成されたマスキング画像または視野制限画
像を識別することにより安定して注視領域を表示できる
眼球の注視領域表示装置を得ることができる。

【図面の簡単な説明】

【図１】この発明の一実施例を示す眼球の注視領域表示
装置のブロック図である。

【図２】図１に示した注視領域表示装置の動作を説明す
るためのタイミング図である。

【図３】眼球運動の検出原理を説明するための光学系図
である。

【図４】眼球運動の検出原理を説明するための眼球図で
ある。

【図５】図１に示した演算処理装置における処理を説明
するためのフロー図である。

【図６】図１に示した表示装置上に表示される画像の例
を示す画面図である。

【図７】この発明の背景となる注視領域表示装置のブロ
ック図である。

【符号の説明】

１ 眼球運動検出装置 ２ 演算処理装置 ３ 提示用画像生成装置 ４ マスキング画像生成装置 ５ 画像切替装置 ６ 表示装置

Claims (1)

【特許請求の範囲】
1. 【請求項１】 眼球の注視領域表示装置であって、画像を表示する 画像表示手段と、 前記画像表示手段に表示された画像において、眼球によ
   る注視状態が発生していることを検出する注視状態検出
   手段と、 前記注視状態検出手段の出力に応答して、検出された注
   視状態の時間長さを検出する時間長さ検出手段と、 予め定められた時間長さと前記時間長さ検出手段によっ
   て検出された時間長さとを比較する比較手段と、マスキング画像または視野制限画像を生成するための画
   像生成手段と、 前記比較手段の出力に応じて、前記画像表示手段に表示
   された画像上で、前記画像生成手段によって生成された
   マスキング画像または視野制限画像を表示する表示制御
   手段とを備えた、眼球の注視領域表示装置。