JP2964132B2 - 眼球運動解析装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、眼球運動解析装置
に関し、より詳細には、眼振を含む眼球の運動を正確に
定量的に測定する眼球運動解析装置に関するものであ
る。

【０００２】

【従来の技術】眼振など眼球の運動を検査するために、
たとえば、Frezel眼鏡を用いて外部から眼球の運動を観
察する手法、或いは、電気眼振検査（ＥＮＧ）が広く用
いられている。前者は、簡便で手軽に行うことができる
一方、固視の影響を除去することが困難であり、また、
眼振の有無やその性状の判定が、検者の主観的な判断に
依存すしているという問題点がある。後者は、固視の影
響をほぼ完全に除去でき、眼振の定量的測定が可能であ
るが、その原理上、上下方向、左右方向の眼球運動の解
析に限られるという問題点がある。

【０００３】これに対して、赤外線ＣＣＤカメラを用い
て眼球を撮影して、これをビデオなどに記録し、記録さ
れたビデオ画像に基づき、眼球運動を解析する装置が提
案されている。

【０００４】たとえば、特開平４−１５０３２号公報に
は、眼球の撮影画像を記録し、記録された画像データか
ら、追跡対象となる眼球中心位置と眼球中心外位置とを
特定し、これら位置の座標を求め、前述した座標の時間
変化から回旋成分を含む眼球運動を算出するように構成
された眼球運動測定装置が開示されている。このよう
に、所定の時間ごとの、眼球の画像に基づき、画像中の
所定の位置の時間変化を測定して、眼球の移動を決定す
ることにより、比較的短い測定時間にて眼球の移動を測
定することが可能となる。

【０００５】

【発明が解決しようとする課題】しかしながら、上述し
た眼球運動測定装置においては、追跡対象として、虹彩
紋理のような特定の場所を眼球中心外位置に対応させて
いる、画像中の虹彩紋理の位置に突発的なノイズが生じ
ていた場合などに、眼球の移動を適切に測定することが
できないという問題点があった。また、光の反射により
虹彩紋理の撮影が妨害されることを防止するため、カメ
ラに偏光フィルタを設けるなど、複雑な光学系を要する
という問題点があった。

【０００６】本発明の目的は、画像に突発的なノイズが
生じていた場合であっても、正確に、眼球運動を測定可
能であり、かつ、その構成も比較的単純な眼球運動解析
装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】本発明の目的は、カメラ
にて眼球を撮影したフレーム画像に基づき、眼球の運動
を測定する眼球運動解析装置であって、前記フレーム画
像から複数の部分領域を得て、各部分領域中の比較対象
とすべき比較領域を決定する比較領域決定手段と、前記
フレーム画像の比較領域と、時間的に隣接する隣接フレ
ーム画像の対応する部分領域中の、前記比較領域と同じ
大きさの領域との間でパターンマッチングを実行して、
前記比較領域の、隣接フレーム画像中の位置を決定する
マッチング実行手段と、マッチング実行手段により得ら
れた、前記比較領域の、隣接フレーム画像中の位置に基
づき、前記比較領域の移動方向および移動距離からなる
ベクトルを生成するベクトル生成手段と、ベクトル生成
手段により得られた、比較領域の各々に関するベクトル
を統計的に処理して、隣接するフレーム画像の間の眼球
の移動を示す眼球移動ベクトルを生成する統計処理手段
と、統計処理手段により得られた眼球移動ベクトルに基
づき、眼球の移動を示すグラフを示すグラフ生成手段と
を備え、当該グラフが出力されるように構成され、か
つ、前記統計処理手段が、前記複数のベクトルの移動方
向および／または移動距離に関する分布を生成し、前記
分布が所定の分布にしたがっているか否かを判断し、分
布にしたがっていないベクトルがある場合には、当該ベ
クトルに関連する部分領域について、前記比較領域決定
手段が、再度比較領域を決定し、当該比較領域に関する
パターンマッチングおよびベクトルの生成が実行される
ように構成されたことを特徴とする眼球運動解析装置に
より達成される。

【０００８】本発明によれば、フレーム画像中の部分領
域中の比較領域の各々が、隣接するフレーム画像間で、
どれだけ移動しているかを示すベクトルを得て、比較領
域に関して得られたベクトルを統計的に処理して、眼球
の移動を示す眼球移動ベクトルを生成している。このた
め、画像中に突発的なノイズが生じている場合であって
も、そのようなノイズが生じた領域に関するベクトルが
フィルタリングにより排除され、適切に眼球の移動を測
定することが可能となる。また、眼球の画像中の特徴点
を切り出すなどの操作或いは処理を必要とすることな
く、眼球の移動を測定することが可能となる。

【０００９】また、本発明によれば、ノイズなどが生じ
ており、所定の分布に従わないベクトルに関する部分領
域にて、再度比較領域を決定して、パターンマッチング
によりベクトルを生成するため、得られる眼球移動ベク
トルをより適切化することができる。本発明のさらに好
ましい実施態様においては、前記分布にしたがっていな
いベクトルがある場合に、前記比較領域決定手段が、関
連する部分領域をさらに小領域に分割して、各小領域に
含まれる第２の比較領域を生成するように構成されてい
る。

【００１０】本発明のさらに好ましい実施態様において
は、さらに、前記部分領域を分割することにより得られ
た第２の比較領域のそれぞれの移動を示すベクトルを統
計的に処理し、前記部分領域に関連するもとの比較領域
の移動を示すベクトルを得る小領域ベクトル統計処理手
段を備えている。

【００１１】或いは、前記分布にしたがっていないベク
トルがある場合に、前記比較領域決定手段が、前記部分
領域において、少なくとも相互に一画素以上離間して位
置する画素をサンプリングすることにより、比較領域を
得るように構成されていても良い。

【００１２】本発明の好ましい実施態様においては、さ
らに、フレーム画像中の瞳孔の位置を決定する瞳孔位置
決定手段と、隣接するフレーム間の瞳孔の移動を決定
し、瞳孔の移動を示す瞳孔移動ベクトルを生成する瞳孔
移動測定手段と、前記ベクトル生成手段により生成され
た、各比較領域に関するベクトルから、瞳孔移動ベクト
ルを減算し、眼球の回旋を示す比較領域回旋ベクトルを
生成する回旋ベクトル生成手段とを備え、前記統計処理
手段が、回旋ベクトル生成手段により得られた、比較領
域の各々の回旋に関するベクトルを統計的に処理して、
隣接するフレーム画像間の眼球の回旋を示す眼球回旋ベ
クトルを生成するように構成されている。

【００１３】この実施態様においては、各比較領域の、
平行移動の成分を取り除き回旋のみを示すベクトルを生
成して、これに基づき眼球の回旋を示す眼球回旋ベクト
ルを得るため、比較的簡単な処理により、適切に眼球の
回旋を測定することが可能となる。

【００１４】或いは、画像解析装置は、上述した眼球の
回旋のみを測定するように構成されていても良い。

【００１５】また、本発明の目的は、上記画像解析装置
を作動させるためのプログラムが記憶された記憶媒体に
よっても実現される。

【００１６】

【発明の実施の形態】以下、添付図面を参照して、本発
明の実施の形態につき詳細に説明を加える。図１は、本
発明の実施の形態にかかる眼球運動解析装置の構成を示
すブロックダイヤグラムである。図１に示すように、眼
球運動解析装置１０は、赤外線ＣＣＤ(Charge Coupled
Device)カメラ１２と、赤外線ＣＣＤカメラ１２からの
画像を記録するビデオテープレコーダ（ＶＴＲ）１４
と、ＶＴＲ１４から出力された画像信号をディジタル信
号に変換するアナログ／ディジタル（Ａ／Ｄ）変換器１
６と、Ａ／Ｄ変換器１６から出力されたディジタルデー
タからフレームごとの画像データを一時的に記憶するフ
レームバッファ１８と、画像データをフレームごとに記
憶する画像メモリ２０と、フレームバッファ１８に記憶
された所定のフレームの画像データを解析するフレーム
画像解析部２２と、フレーム画像解析部２２により得ら
れた解析結果に基づくグラフなどを作成する解析結果作
成部２４と、プロッタ、プリンタなどの出力装置２６
と、ＣＲＴなどの表示装置２８と、これら構成部分を制
御する制御部３０とを備えている。制御部３０は、後述
するフレームバッファ１８、フレーム画像解析部２２、
解析結果作成部２４などを制御して、これらに所定の動
作をさせるためのプログラムを記憶した記憶媒体（図示
せず）が設けられている。この記憶媒体は、ハードディ
スクであってもよいし、ＣＤ−ＲＯＭ、フロッピーディ
スク、読み書き可能な光ディスクなどであっても良い。

【００１７】ＣＣＤカメラ１２は、被験者の眼球周辺を
覆い、外部からの光が遮断されるようなゴーグル３２に
取り付けられている。このゴーグルは、たとえば、「医
用電子と生体光学」第29巻特別号(1991)に開示されてい
るようなもので良い。このゴーグル内の所定の位置に
は、赤外線光源（図示せず）が設けられ、眼球に向けて
赤外光を照射するようになっている。

【００１８】画像メモリ２０は、たとえば、ハードディ
スクから構成され、解析に必要な複数のフレーム分の画
像データを記憶することができる。

【００１９】また、フレーム画像解析部２２は、後述す
るアルゴリズムにしたがって、比較すべき二つのフレー
ムの画像データに基づき、画像データ中の所定の画素か
らなる領域が、どのくらい移動しているかを判断する。

【００２０】このように構成された眼球運動解析装置の
作動につき、以下に説明する。まず、操作者は、被験者
の眼球が覆われるようにゴーグルを装着し、次いで、赤
外線光源（図示せず）を被験者の眼球に照射する。赤外
線ＣＣＤカメラ１２は、眼球の表面の反射像を撮像する
ため、操作者は、ＶＴＲ１４を作動させて、赤外線ＣＣ
Ｄカメラ１２による眼球の画像を記録する。このように
して、所定の時間の撮影が終了すると、ＶＴＲ１４を再
生して、画像信号をＡ／Ｄコンバータ１６に与える。

【００２１】Ａ／Ｄコンバータ１６は、与えられた画像
信号をディジタル信号に変換し、これをフレームバッフ
ァ１８に出力し、フレームバッファ１８は、１フレーム
当たりのディジタル画像データが、その内部に形成され
ると、これを画像メモリ２０に記憶する。このフレーム
ごとの画像の記憶に関する処理は、制御部３０により制
御される。この処理を繰り返すことにより、画像メモリ
２０に、解析に必要な、所定のフレーム数の画像データ
が記憶される。この実施の形態においては、１フレーム
あたり２５６×２５６ドット分の画素データからなるデ
ィジタルデータが得られる。また、毎秒３０のフレーム
が形成される。また、上記２５６×２５６ドットのデー
タからなる画像には、まぶたなど、眼球運動を解析する
ために不要な部分が含まれるため、Ａ／Ｄコンバータ１
６から出力されたデータに、マスキング処理を施し、所
定の１２０×１２０ドットの画素データからなる画像デ
ータが、画像メモリ２０に記憶される。

【００２２】画像メモリに必要な画像データが記憶され
ると、制御部３０により、フレームバッファに、所定の
フレームの画像データが読み出され、この画像データに
基づき、フレーム画像解析部２２による処理が実行され
る。

【００２３】ここに、フレーム画像解析部２２は、以下
の仮定条件に基づき、処理を実行している。すなわち、
(１)時間の変化にかかわらず、眼球中の同じ場所に対応
する画素の画素値（濃淡値）は保存される。(２)眼球運
動は剛体運動とみなすことができる。(３)非直線運動
は、微小な直線運動の集合に近似される。

【００２４】上述した仮定の下で、この実施の形態にか
かるフレーム画像解析部２２は、以下の原理により、フ
レームごとの領域の移動を特定している。画像メモリ２
０に記憶されたフレームごとの画像データ（フレーム画
像）は、ある時間ｔにおける静止画であり、先に述べた
仮定にしたがえば、静止画を平行移動することにより、
隣接するフレームのフレーム画像を略一致させることが
可能となる。たとえば、図２に示すように、時間的に隣
接する第１のフレームのフレーム画像ＦＲ１と第２のフ
レームのフレーム画像ＦＲ２との間では、上述した仮定
を満たすならば、一方を平行移動することにより、他方
の画像と一致させることが可能となる。この図２におい
て、右斜め下の方向に、２画素だけ、フレーム画像ＦＲ
１を移動させることにより、フレーム画像ＦＲ２と一致
させることができる。

【００２５】次に、図３に示すように、時間的に隣接す
る二つのフレーム画像ＦＲ３、ＦＲ４を考える。これら
フレーム画像のうち、時間的に先行するフレーム画像Ｆ
Ｒ３のある特定の部分領域３０１（図３において、灰色
にて示した部分）をサンプリングして、この領域と、時
間的に後続するフレーム画像ＦＲ４との間で、パターン
マッチングを実行する。すなわち、フレーム画像ＦＲ４
において、部分領域３０１と等しいサイズの領域（たと
えば、３１１、３１２）を取り出し、領域を構成する画
素の画素値ごとの差の二乗和を得て、最も二乗和の小さ
い部分が、フレーム画像ＦＲ４において部分領域３０１
と対応する領域であると決定する。すなわち、最も二乗
和が小さくなるような位置に、部分領域３０１が移動し
ていると決定する。このようにして、時間的に隣接する
フレーム画像の移動を測定することができる。

【００２６】次に、より詳細に、フレーム画像解析部２
２の処理につき説明を加える。以下の処理を、場合によ
っては、ブロックマッチング法と称する。図４は、本実
施の形態にかかるフレーム画像解析部２２の処理を示す
フローチャートである。図４に示すように、フレーム画
像解析部２２においては、まず、フレーム画像の番号を
示すｎを初期化する（ステップ４０１）。次いで、制御
部３０に、時間的に隣接するｎ番目のフレーム画像ＦＲ
ｎと、(ｎ＋１)番目のフレーム画像ＦＲn+1を、フレー
ムバッファ１８に読み出すことを依頼する。制御部３０
は、これに応答して、所定の、時間的に隣接するフレー
ム画像を画像メモリ２０から読み出して、フレームバッ
ファ１８上に展開する（ステップ４０２）。

【００２７】次いで、フレーム画像解析部２２は、フレ
ーム画像ＦＲｎ中の所定の部分領域を決定する（ステッ
プ４０３）。より詳細には、１２０×１２０ドットの画
素を、５×５＝２５分割し、２４×２４ドットの画素か
らなる領域を生成する。本発明において、解析すべき対
象は、眼球の緩徐相（ゆっくりとした解析運動）であ
り、フレーム速度を３０フレーム／秒としたときには、
時間的に隣接するフレーム間の眼球の移動は、１ないし
２ドットとなる。このため、本実施の形態においては、
２４×２４ドットの画素の領域うち、上下左右に５ドッ
トずつ小さいサイズの１４×１４ドットの画素からなる
領域を、パターンマッチングをすべき比較領域とする
（図５（ａ）参照）。次いで、フレームＦＲn+1も同様
の手法で、２４×２４ドットの画素からなる複数の部分
領域を生成する（ステップ４０４）。

【００２８】この後に、フレームＦＲｎの比較領域と、
フレームＦＲn+1の部分領域中の同じサイズの領域とを
比較する（ステップ４０５）。より詳細には、フレーム
画像解析部２２は、フレーム画像ＦＲｎの部分領域（図
５（ａ）の領域５００）中の１４×１４ドットの比較領
域（図５（ａ）の領域５０１）と、フレーム画像ＦＲn+
1の２４×２４ドットの対応する部分領域中の、比較領
域と同じサイズを有する１４×１４ドットの領域とのパ
ターンマッチングを、順次実行する。すなわち、図５
（ｂ）に示すように、ＦＲｎの比較領域に含まれる画素
値の各々と、ＦＲn+1（領域５０２）の対応する領域
（ＣＲ１、ＣＲ２、・・・、ＣＲｊ、ＣＲj+1、・・
・）に含まれる画素値の各々との差の二乗和を得て、最
も二乗和の小さい比較領域ＣＲｋの位置に、フレーム画
像ＦＲn+1の比較領域が移動したと決定する。フレーム
画像解析部２２は、上述したような比較領域の移動を、
２５分割されたフレーム画像ＦＲｎの部分領域の全てに
関して実行する。

【００２９】このようにして、分割されたフレーム画像
ＦＲｎの全てに関して、比較領域が時間的に隣接するフ
レームＦＲn+1の何れの位置に移動したかを決定する
と、得られた結果、すなわち比較領域の移動を示すベク
トル（移動方向および移動距離）が、前述した仮定条件
を満足しているか否かを判定する（ステップ４０６）。
これは、時間的に隣接するフレーム画像の間の、ある比
較領域の移動方向および移動距離を示すベクトルが、他
の比較領域を示すベクトルと逆方向を向いている場合
や、このベクトルの大きさが、他のベクトルの大きさと
著しく異なる場合に、当該ベクトルを不適切として排除
するためのフィルタリング処理に対応する。

【００３０】より具体的には、横軸にベクトルの方向或
いは大きさ、縦軸にその頻度を設定して、得られたベク
トルの値をプロットすると、ベクトルの個数が十分に大
きければガウス分布を得ることができることを利用して
いる。したがって、横軸上に二つの閾値を設定し、その
第１の閾値よりも小さい位置に表れたベクトル、或い
は、第２の閾値よりも大きい位置に表れたベクトルを見
つけ出す。すなわち、分布にしたがって起こり得ないで
あろう方向或いは大きさのベクトルを見つけ出す。

【００３１】このようなベクトルを得た部分領域が、仮
定条件を満足していない領域となる。

【００３２】ステップ４０６において、ノー(Ｎｏ)と判
断された場合、すなわち、仮定条件を満足していないと
判断された場合には、ステップ４０３に戻り、フレーム
画像ＦＲｎに基づき、比較領域を決定する。この場合に
は、フレーム画像ＦＲｎの部分領域中、比較領域の移動
を示すベクトルが仮定条件を満たしていない部分領域の
みに関して、さらに、比較領域を決定する。より詳細に
は、図６に示すように、比較領域の移動を示す結果が仮
定条件を満たしていないような部分領域を、さらに分割
して、分割された小領域６０１ないし６０４を生成す
る。図６において、中央の破線で示す領域６１０が、前
回の処理にて得られた比較領域である。さらに、小領域
６０１のうち、上下左右に所定のドットずつ小さいサイ
ズの領域を比較領域６１１ないし６１４と決定する。こ
の実施の形態においては、２４×２４ドットのもとの部
分領域を２×２＝４分割して、１２×１２ドットの画素
からなる部分領域を作成し、各部分領域中の、上下左右
に３ドットずつ小さいサイズの６×６ドットの画素から
なる領域を比較領域としている。

【００３３】その後、分割された小領域ごとに、フレー
ムＦＲｎの比較領域と、フレームＦＲn+1の対応するサ
イズの領域との間で、パターンマッチングを実行する。
この処理は、先に述べたステップ４０４およびステップ
４０５の処理と同様である。

【００３４】このようにして、分割された小領域のすべ
てに関して、比較領域が、時間的に隣接するフレーム中
の何れの位置に移動したかが決定されると、分割された
小領域のベクトルを統計的に処理して、さきの処理に用
いた、より大きな比較領域に関するベクトルを得る。こ
れは、上述したガウス分布を用いて、最も頻度の高い位
置での値を用いれば良い。

【００３５】その後に、新たに得られたベクトルを含
む、全ての比較領域に関するベクトルが、先の仮定条件
を満足しているか否かを判定する（ステップ４０６）。

【００３６】上述したように、二度のパターンマッチン
グによっても、先の仮定条件を満足していないと判断さ
れた場合には、その領域に関する結果（移動方向および
移動距離）は、「空」となる。

【００３７】前述したガウス分布中の最も頻度の高い位
置での、ベクトルの方向および大きさが、眼球移動ベク
トルと決定され、これにより、フレーム画像ＦＲｎとフ
レーム画像ＦＲn+1との間の移動方向および移動距離が
決定される。このようにして得られた眼球移動ベクトル
（移動方向および移動距離）は、メモリ（図示せず）に
記憶される（ステップ４０７）。

【００３８】画像メモリ１２０に記憶されたフレーム画
像の全てについて、ステップ４０２ないし４０７の処理
が終了すること（ステップ４０８でイエス(Yes)）によ
り、フレーム画像解析部２２による処理が終了する。

【００３９】解析結果作成部２４は、メモリに記憶され
た、時間的に隣接する各フレーム間に関する眼球移動ベ
クトル（移動方向および移動距離）のデータに基づき、
眼球の運動を示すグラフを作成する。移動距離および移
動方向に基づき、時間軸を横軸にとり、水平方向の移
動、垂直方向の移動、或いは、角度を縦軸にとることが
できる（図７参照）。たとえば、時間軸を横軸にとり、
かつ、水平方向の移動（右方向の移動を＋(プラス)にす
る）を縦軸にとると、図８（ａ）に示すグラフを得るこ
とができ、その一方、時間軸を横軸にとり、かつ、垂直
方向の移動（上方向の移動を＋(プラス)にする）を縦軸
にとると、図８（ｂ）に示すグラフを得ることができ
る。このようにして解析結果作成部２４により得られた
グラフは、表示装置２８の画面上に表示され、或いは、
出力装置２６から印刷物として出力される。

【００４０】また、時間的に隣接するフレーム間に関す
るベクトル表示（図９（ａ）参照）により、眼球の運動
の大きさ（速さ）およびその方向を表わすことが可能で
ある。これをグラフ化した場合に、時間と略等価である
フレーム番号を横軸にとり、かつ、ベクトルの方向を縦
軸にとると、図９(ｂ)に示すグラフが得られ、その一
方、フレーム番号を横軸にとり、ベクトルの大きさ（移
動距離）を横軸にとると、図９（ｃ）に示すグラフが得
られる。図９（ｂ）においては、右回り方向をプラスに
するように角度が示されている。

【００４１】本実施の形態によれば、眼球のフレーム画
像を所定の領域に分割し、分割された部分領域の各々に
おいて、一方のフレームの比較領域と、他方のフレーム
の対応する大きさのフレームとのパターンマッチングを
実行し、得られた全ての比較領域の移動方向および移動
距離を統計的処理を施すことにより、時間的に隣接する
フレーム間での眼球の移動（移動方向および移動距離）
を決定している。すなわち、ブロックごとのマッチング
（ブロックマッチング法）を実行し、各ブロックに関す
る移動に基づき、眼球自体の移動を決定している。した
がって、眼球中の特徴点などを抽出する処理や操作など
を経ることなしに、眼球の移動を測定することができ
る。また、全ての比較領域の移動方向および移動距離に
統計的処理を施すため、ノイズや光の反射などが生じた
場合でも、適切に眼球の移動を測定することが可能とな
る。

【００４２】次に、本発明の第２の実施の形態にかかる
眼球運動解析装置につき説明を加える。この実施の形態
においては、回旋運動を含む画像の移動を確実に測定す
るようになっている。また、この実施の形態において、
画像運動解析装置は、フレーム画像解析部２２での処理
の一部が相違することを除き、図１に示す第１の実施の
形態と同様である。このようの画像運動解析装置１０の
作動を、より詳細に説明する。第１の実施の形態と同様
に、この実施の形態においても、ＶＴＲ１４に記録され
た眼球の画像信号が、Ａ／Ｄ変換器１６を介して、フレ
ームバッファ１８に与えられ、さらに、フレームごとの
画像データが、画像メモリ２０に記憶される。

【００４３】画像メモリに必要な画像データが記憶され
ると、制御部３０により、フレームバッファに、所定の
フレームの画像データが読み出され、この画像データに
基づき、フレーム画像解析部２２による処理が実行され
る。図１０は、第２の実施の形態にかかるフレーム画像
解析部２２による処理を示すフローチャートである。図
１０において、この処理は、ステップ１００６が付加さ
れたことを除き、図４に示すものと同様である。すなわ
ち、ステップ１００１ないし１００５は、図４のステッ
プ４０１ないし４０５に対応し、ステップ１００７ない
しステップ１０１０は、図４のステップ４０６ないし４
０９に対応する。

【００４４】ステップ１００１ないし１００５の処理に
より、フレーム画像ＦＲｎを分割した部分領域および比
較領域が得られ、かつ、時間的に隣接するフレーム画像
ＦＲn+1を分割した部分領域が得られた後に、フレーム
画像解析部２２は、フレーム画像ＦＲｎの部分領域（図
５（ａ）の領域５００）中の１４×１４ドットの比較領
域（図５（ａ）の領域５０１）と、フレーム画像ＦＲn+
1の２４×２４ドットの対応する部分領域中の、比較領
域と同じサイズを有する１４×１４ドットの領域とのパ
ターンマッチングを、順次実行する。これにより、本実
施の形態においてはフレーム画像を２５分割することに
より得られた２５の部分領域中の、比較領域の各々の、
時間的に連続するフレーム画像間の移動方向および移動
距離を示すベクトルが得られる。 次いで、画像中の瞳
孔の位置を判定し、その移動を測定する。より詳細に
は、まず、フレーム画像ＦＲｎを構成する画素の画素値
（濃淡値）のヒストグラムを作成する。瞳孔は、眼球の
表面において最も黒色の強い部分であるため、黒色の近
傍のを示す画素値（濃淡値）、すなわち、ほぼ最大値と
等しい画素値（濃淡値）を閾値として、それより大きな
値を有する領域を、フレーム画像ＦＲｎから取り出すこ
とにより、瞳孔に略対応する領域を特定することが可能
となる。

【００４５】その後に、得られた瞳孔に略対応する領域
を含むような瞳孔測定用比較領域を決定する。この実施
の形態においては、瞳孔に略対応する領域を取り囲む、
これより僅かに大きな矩形が瞳孔測定用比較領域として
決定される。

【００４６】次いで、フレーム画像ＦＲn+1において、
フレーム画像ＦＲn+1中の瞳孔測定用比較領域に対応す
る領域、すなわち、等しい位置の領域を特定し、この領
域から上下左右に１０ドットづつ大きいサイズの部分領
域を決定する。

【００４７】その後に、フレーム画像ＦＲｎの瞳孔測定
用比較領域と、フレーム画像ＦＲn+1の部分領域中の、
瞳孔測定用比較領域と等しいサイズの領域とのパターン
マッチングが実行され、画素間の差の二乗和が最も小さ
いような位置に、瞳孔測定用比較領域が移動したと決定
される。

【００４８】このようにして、瞳孔の移動距離および移
動方向、すなわち、瞳孔の移動を示す瞳孔移動ベクトル
が決定されると、ステップ１００５にて得られた、各比
較領域の移動に関するベクトルの各々から、瞳孔移動ベ
クトルが減算され、得られたベクトルの各々が、略純粋
な回旋を示すベクトルとなる。これは、眼球の回旋運動
は、瞳孔を中心になされることに基づいている。このよ
うにして得られたベクトルは、図１１に示すように、瞳
孔の位置Ｐを中心として、ほぼ円周方向の向きとなる。

【００４９】次いで、横軸にベクトルの方向、縦軸にそ
の頻度を設定して、得られた回旋を示すベクトル（移動
方向）の値をプロットする。この分布は、ガウス分布に
ほぼ従う。このため、横軸上に二つの閾値を設定し、第
１の閾値よりも小さい位置に表れたベクトル、或いは、
第２の閾値よりも大きい位置に表れたベクトル、すなわ
ち、分布にしたがって起こり得ないであろう方向のベク
トルを見つけ出す。このようなベクトルを得た部分領域
が仮定条件を満足していない領域となる。ステップ１０
０７においては、仮定条件を満足していないベクトルが
存在する場合には、ステップ１００３に戻る。

【００５０】二度めに実行されるステップ１００３にお
いては、図４のステップ４０３と同様に、比較領域の移
動を示す結果が、仮定条件を満たしいない部分領域をさ
らに分割して小領域を生成し、続くステップ１００４お
よび１００５において、小領域中に新たに決定された比
較領域の移動距離および移動方向を決定する。先程の処
理にて瞳孔の移動は測定されているため、これに基づ
き、新たな比較領域の回旋成分のみを抽出し（ステップ
１００６）、新たに得られたベクトルを含む、すべての
比較領域に関するベクトルが、先の仮定条件を満たして
いるか否かを判定する（ステップ１００７）。

【００５１】前述したガウス分布中の最も頻度の高い位
置でのベクトルが、眼球の回旋を示す眼球回旋ベクトル
と決定され、この眼球回旋ベクトルの方向（角度）によ
り、フレーム画像ＦＲｎとフレーム画像ＦＲn+1との間
の移動方向（回旋角度）が決まる。このようにして得ら
れた移動方向（回旋角度）は、メモリ（図示せず）に記
憶される（ステップ１００８）。

【００５２】第１の実施の形態と同様に、画像メモリ１
２０に記憶されたフレーム画像の全てについて、この処
理が実行される。

【００５３】また、解析結果作成部２４は、メモリに記
憶された時間的に隣接する各フレーム間に関する眼球移
動ベクトルに対応する移動方向（回旋角度）のデータに
基づき、眼球の回旋を示すグラフを作成する。これは、
たとえば、時間軸を横軸にとり、回旋角度を縦軸にとれ
ば良い。

【００５４】この実施形態によれば、眼球の回旋の中心
をなす瞳孔の移動を示すベクトルを算出し、各比較領域
の移動を示すベクトルから、上記ベクトルを引くことに
より、略純粋な眼球の回旋運動を算出することが可能と
なる。さらに、移動方向（回旋角度）を、統計的処理に
より得るため、ノイズや光の反射などが生じた場合であ
っても、適切に眼球の回旋を測定することが可能とな
る。

【００５５】本発明は、以上の実施の形態に限定される
ことなく、特許請求の範囲に記載された発明の範囲内
で、種々の変更が可能であり、それらも本発明の範囲内
に包含されるものであることは言うまでもない。

【００５６】たとえば、前記実施の形態においては、１
フレームあたり２５６×２５６ドットの画素データから
なる画像データを得て、これに基づき、１２０×１２０
ドットのフレーム画像を得ているが、これに限定される
ものではなく、５１２×５１２ドットの画像データか
ら、２４０×２４０ドットのフレーム画像を得るなど、
異なる解像度の画像データを用いて、異なる解像度のフ
レーム画像を得てもよいことは明らかである。

【００５７】また、前記実施の形態においては、フレー
ム画像を２５分割して、部分領域を得ているが、これに
限定するものではなく、分割数は、適宜決定すれば良
い。さらに、必ずしも、フレーム画像を分割して部分領
域を得ることはない。たとえば、その上下左右の端部が
互いにオーバーラップするような部分領域を得て、この
部分領域から比較領域を決定してもよい。

【００５８】また、前記実施の形態においては、仮定条
件を満たしていないような部分領域において、当該部分
領域を４分割した小領域を生成し、この小領域内に得た
比較領域を用いてパターンマッチングを実行している
が、分割数および比較領域の大きさは、これに限定され
るものではない。

【００５９】さらに、仮定条件を満たしていない部分領
域がある場合に、当該部分領域において、相互に少なく
とも一画素以上離間している位置の画素をサンプリング
することにより比較領域を生成しても良い。たとえば、
一つおきに画素をサンプリングすれば、部分領域を小領
域に分割することなく、画素数の略半分の比較領域を得
ることになる。このように構成することにより、処理時
間を増大させることなく、画像中のノイズを除去して、
適切なベクトルを得ることが可能となる。

【００６０】また、前記第１の実施の形態および第２の
実施の形態を組合わせて画像解析装置を構成しても良い
ことは明らかである。

【００６１】さらに、前記第２の実施の形態において
は、比較領域ごとの回旋を示すベクトルの方向の分布の
みを考慮して、ガウス分布に従わないようなベクトルを
決定しているが、これに限定されるものではない。たと
えば、各比較領域のベクトルの長さ（移動距離）は、瞳
孔からベクトルまでの距離に比例しているため、この距
離を加味して、ベクトルの長さ（移動距離）の分布を考
え、ガウス分布に従わないベクトルを見つけ出すように
しても良い。

【００６２】また、前記実施の形態においては、赤外線
ＣＣＤカメラからの画像をアナログＶＴＲに記録し、記
録された画像信号を、Ａ／Ｄ変換器によりディジタル化
して、ディジタル画像データを得ているがこれに限定さ
れるものではない。たとえば、ディジタルスチルカメラ
を用いて、所定の時間ごとにシャッタを作動させること
により、ディジタル画像データを得てもよいし、ディジ
タルビデオカメラを用いても良い。

【００６３】また、本明細書において、本明細書におい
て、手段とは必ずしも物理的手段を意味するものではな
く、各手段の機能が、ソフトウェアによって実現される
場合も包含する。また、一つの手段或いは部材の機能
が、二つ以上の物理的手段或いは部材により実現されて
も、若しくは、二つ以上の手段或いは部材の機能が、一
つの物理的手段或いは部材により実現されてもよい。

【００６４】

【発明の効果】本発明によれば、画像に突発的なノイズ
が生じていた場合であっても、正確に、眼球運動を測定
可能であり、かつ、その構成も比較的単純な眼球運動解
析装置を提供することが可能となる。

【図面の簡単な説明】

【図１】 図１は、本発明の実施の形態にかかる眼球運
動解析装置の構成を示すブロックダイヤグラムである。

【図２】 図２は、本発明にかかる眼球運動の測定の原
理を説明するための図である。

【図３】 図３は、本発明にかかる眼球運動の測定の原
理を説明するための図である。

【図４】 図４は、第１の実施の形態にかかるフレーム
画像解析部の処理を示すフローチャートである。

【図５】 図５は、第１の実施の形態にかかる、部分領
域中の比較領域の決定およびパターンマッチングを説明
するための図である。

【図６】 図６は、本実施の形態にかかる部分領域中の
小領域の決定を説明するための図である。

【図７】 図７は、本実施の形態にかかる処理により得
られた結果を表示するためのグラフを説明するための図
である。

【図８】 図８は、本実施の形態にかかる表示装置の画
面上にＣＲＴに表示され、或いは、出力装置に印刷物と
して出力されたグラフの一例を示す図である。

【図９】 図９は、本実施の形態にかかる処理に得られ
た結果を表示するグラフの一例を示す図である。

【図１０】 図１０は、第２の実施の形態にかかるフレ
ーム画像解析部の処理を示すフローチャートである。

【図１１】 図１１は、第２の実施の形態にかかる処理
により得られた眼球の回旋運動を説明するための図であ
る。

【符号の説明】

１０ 眼球運動解析装置 １２ 赤外線ＣＣＤカメラ １４ ＶＴＲ １６ Ａ／Ｄ変換器 １８ フレームバッファ ２０ 画像メモリ ２２ フレーム画像解析部 ２４ 解析結果表示部 ２６ 出力装置 ２８ 表示装置 ３０ 制御部

フロントページの続き (56)参考文献 特開 平４−101126（ＪＰ，Ａ) 特開 平７−275206（ＪＰ，Ａ) 特開 平５−314262（ＪＰ，Ａ) 特開 平５−312819（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) A61B 3/113

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】 カメラにて眼球を撮影したフレーム画像
   に基づき、眼球の運動を測定する眼球運動解析装置であ
   って、 前記フレーム画像から複数の部分領域を得て、各部分領
   域中の比較対象とすべき比較領域を決定する比較領域決
   定手段と、 前記フレーム画像の比較領域と、時間的に隣接する隣接
   フレーム画像の対応する部分領域中の、前記比較領域と
   同じ大きさの領域との間でパターンマッチングを実行し
   て、前記比較領域の、隣接フレーム画像中の位置を決定
   するマッチング実行手段と、 マッチング実行手段により得られた、前記比較領域の、
   隣接フレーム画像中の位置に基づき、前記比較領域の移
   動方向および移動距離からなるベクトルを生成するベク
   トル生成手段と、 ベクトル生成手段により得られた、比較領域の各々に関
   するベクトルを統計的に処理して、隣接するフレーム画
   像の間の眼球の移動を示す眼球移動ベクトルを生成する
   統計処理手段と、 統計処理手段により得られた眼球移動ベクトルに基づ
   き、眼球の移動を示すグラフを示すグラフ生成手段とを
   備え、当該グラフが出力されるように構成され、かつ、 前記統計処理手段が、前記複数のベクトルの移動方向お
   よび／または移動距離に関する分布を生成し、前記分布
   が所定の分布にしたがっているか否かを判断し、分布に
   したがっていないベクトルがある場合には、当該ベクト
   ルに関連する部分領域について、前記比較領域決定手段
   が、再度比較領域を決定し、当該比較領域に関するパタ
   ーンマッチングおよびベクトルの生成が実行されるよう
   に構成されたことを特徴とする眼球運動解析装置。
2. 【請求項２】 前記分布にしたがっていないベクトルが
   ある場合に、前記比較領域決定手段が、関連する部分領
   域をさらに小領域に分割して、各小領域に含まれる第２
   の比較領域を生成するように構成されたことを特徴とす
   る請求項１に記載の眼球運動解析装置。
3. 【請求項３】 さらに、前記部分領域を分割することに
   より得られた第２の比較領域のそれぞれの移動を示すベ
   クトルを統計的に処理し、前記部分領域に関連するもの
   との比較領域を示すベクトルを得る小領域ベクトル統制
   処理手段を有することを特徴とする請求項２に記載の画
   像運動解析装置。
4. 【請求項４】 前記分布にしたがっていないベクトルが
   ある場合に、前記比較領域決定手段が、前記部分領域に
   おいて、少なくとも相互に一画素以上離間して位置する
   画素をサンプリングすることにより、比較領域を得るよ
   うに構成されたことを特徴とする請求項１に記載の画像
   運動解析装置。
5. 【請求項５】 さらに、フレーム画像中の瞳孔の位置を
   決定する瞳孔位置決定手段と、隣接するフレーム間の瞳
   孔の移動を決定し、瞳孔の移動を示す瞳孔移動ベクトル
   を生成する瞳孔移動測定手段と、 前記ベクトル生成手段により生成された、各比較領域に
   関するベクトルから、瞳孔移動ベクトルを減算し、眼球
   の回旋を示す比較領域回旋ベクトルを生成する回旋ベク
   トル生成手段とを備え、 前記統計処理手段が、回旋ベクトル生成手段により得ら
   れた、比較領域の各々の回旋に関するベクトルを統計的
   に処理して、隣接するフレーム画像間の眼球の回旋を示
   す眼球回旋ベクトルを生成するように構成されたことを
   特徴とする請求項１ないし４の何れか一項に記載の眼球
   運動解析装置。
6. 【請求項６】 カメラにて眼球を撮影したフレーム画像
   に基づき、眼球の運動を測定する眼球運動解析装置であ
   って、 前記フレーム画像から複数の部分領域を得て、各部分領
   域中の比較対象とすべき比較領域を決定する比較領域決
   定手段と、 前記フレーム画像の比較領域と、時間的に隣接する隣接
   フレーム画像の対応する部分領域中の、前記比較領域と
   同じ大きさの領域との間でパターンマッチングを実行し
   て、前記比較領域の、隣接フレーム画像中の位置を決定
   するマッチング実行手段と、 マッチング実行手段により得られた、前記比較領域の、
   隣接フレーム画像中の位置に基づき、前記比較領域の移
   動方向および移動距離からなるベクトルを生成するベク
   トル生成手段と、 フレーム画像中の瞳孔の位置を決定する瞳孔位置決定手
   段と、 隣接するフレーム間の瞳孔の移動を決定し、瞳孔の移動
   を示す瞳孔移動ベクトルを生成する瞳孔移動測定手段
   と、 前記ベクトル生成手段により生成された、各比較領域に
   関するベクトルから、瞳孔移動ベクトルを減算し、眼球
   の回旋を示す比較領域回旋ベクトルを生成する回旋ベク
   トル生成手段と、 回旋ベクトル生成手段により得られた、比較領域の各々
   の回旋に関するベクトルを統計的に処理して、隣接する
   フレーム画像間の眼球の回旋を示す眼球回旋ベクトルを
   生成する統計処理手段と、 統計処理手段により得られた眼球回旋ベクトルに基づ
   き、眼球の回旋を示すグラフを示すグラフ生成手段とを
   備え、当該グラフが出力されるように構成されたことを
   特徴とする画像運動解析装置。
7. 【請求項７】 カメラにて眼球を撮影したフレーム画像
   に基づき、眼球の運動を測定する眼球運動解析方法であ
   って、 前記フレーム画像から複数の部分領域を得て、各部分領
   域中の比較対象とすべき比較領域を決定するステップ
   と、 前記フレーム画像の比較領域と、時間的に隣接する隣接
   フレーム画像の対応する部分領域中の、前記比較領域と
   同じ大きさの領域との間でパターンマッチングを実行し
   て、前記比較領域の、隣接フレーム画像中の位置を決定
   するステップと、 パターンマッチングにより得られた、前記比較領域の、
   隣接フレーム画像中の位置に基づき、前記比較領域の移
   動方向および移動距離からなるベクトルを生成するステ
   ップと、 前記ベクトル生成ステップにより得られた、比較領域の
   各々に関するベクトルを統計的に処理して、隣接するフ
   レーム画像の間の眼球の移動を示す眼球移動ベクトルを
   生成するステップと、 前記眼球移動ベクトルに基づき、眼球の移動を示すグラ
   フを示すステップとを備え、 前記統計的な処理処理が、前記複数のベクトルの移動方
   向および／または移動距離に関する分布を生成し、前記
   分布が所定の分布にしたがっているか否かを判断し、 分布にしたがっていないベクトルがある場合には、当該
   ベクトルに関連する部分領域について、再度比較領域を
   決定し、当該比較領域に関するパターンマッチングおよ
   びベクトルの生成が実行されるように構成されたことを
   特徴とする眼球運動解析方法。
8. 【請求項８】 カメラにて眼球を撮影したフレーム画像
   に基づき、眼球の運動を測定するためのプログラムを格
   納した、コンピュータにより読み出し可能な記憶媒体で
   あって、 前記フレーム画像から複数の部分領域を得て、各部分領
   域中の比較対象とすべき比較領域を決定するステップ
   と、 前記フレーム画像の比較領域と、時間的に隣接する隣接
   フレーム画像の対応する部分領域中の、前記比較領域と
   同じ大きさの領域との間でパターンマッチングを実行し
   て、前記比較領域の、隣接フレーム画像中の位置を決定
   するステップと、 パターンマッチングにより得られた、前記比較領域の、
   隣接フレーム画像中の位置に基づき、前記比較領域の移
   動方向および移動距離からなるベクトルを生成するステ
   ップと、 前記ベクトル生成ステップにより得られた、比較領域の
   各々に関するベクトルを統計的に処理して、隣接するフ
   レーム画像の間の眼球の移動を示す眼球移動ベクトルを
   生成するステップと、 前記眼球移動ベクトルに基づき、眼球の移動を示すグラ
   フを示すステップとを備え、 前記統計的な処理処理が、前記複数のベクトルの移動方
   向および／または移動距離に関する分布を生成し、前記
   分布が所定の分布にしたがっているか否かを判断し、 分布にしたがっていないベクトルがある場合には、当該
   ベクトルに関連する部分領域について、再度比較領域を
   決定し、当該比較領域に関するパターンマッチングおよ
   びベクトルの生成が実行されるように構成されたプログ
   ラムを格納した、コンピュータにより読み出し可能な記
   憶媒体。