JPH11137524A - 計測システムおよびその方法 - Google Patents
計測システムおよびその方法Info
- Publication number
- JPH11137524A JPH11137524A JP9311958A JP31195897A JPH11137524A JP H11137524 A JPH11137524 A JP H11137524A JP 9311958 A JP9311958 A JP 9311958A JP 31195897 A JP31195897 A JP 31195897A JP H11137524 A JPH11137524 A JP H11137524A
- Authority
- JP
- Japan
- Prior art keywords
- eyeball
- movement
- image
- center
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
(57)【要約】
【課題】 瞳孔画像は円であるという仮定の下に眼球の
運動を解析すると、瞳孔が眼の中心から大きく移動した
場合や、瞳孔に瞼がかかった状態など、瞳孔画像が円で
はない状態では眼球運動を正確に解析することができな
い。 【解決手段】 眼球の運動が記録された動画像の各フレ
ーム画像を取得し(S21)、所定の視線方向を示すフレー
ム画像に基づき眼球の中心および半径を演算し(S26,S2
7)、取得されたフレーム画像の一つを基準画像にして(S
28)、その基準画像から眼球の動きを追跡するための複
数の特徴領域を抽出し(S29)、眼球の中心および半径、
並びに、複数の特徴領域に基づき、各フレーム画像にお
ける眼球の動きを検出する。
運動を解析すると、瞳孔が眼の中心から大きく移動した
場合や、瞳孔に瞼がかかった状態など、瞳孔画像が円で
はない状態では眼球運動を正確に解析することができな
い。 【解決手段】 眼球の運動が記録された動画像の各フレ
ーム画像を取得し(S21)、所定の視線方向を示すフレー
ム画像に基づき眼球の中心および半径を演算し(S26,S2
7)、取得されたフレーム画像の一つを基準画像にして(S
28)、その基準画像から眼球の動きを追跡するための複
数の特徴領域を抽出し(S29)、眼球の中心および半径、
並びに、複数の特徴領域に基づき、各フレーム画像にお
ける眼球の動きを検出する。
Description
【０００１】
【発明の属する技術分野】本発明は計測システムおよび
その方法に関し、とくに、眼球の運動を計測する計測シ
ステムおよびその方法に関するものである。
その方法に関し、とくに、眼球の運動を計測する計測シ
ステムおよびその方法に関するものである。
【０００２】
【従来の技術】身体の平衡は、三つの感覚装置（前庭
覚、視覚、深部知覚）からの入力と、それらを統合する
脳幹や小脳、あるいは大脳の働きによって保たれてい
る。これらの末消感覚装置からの入力は、脳幹や小脳な
どの中枢神経系を経て最終的に身体と眼球の筋肉に出力
され、頭部運動中の視線の保持や静的あるいは動的な身
体平衡を維持している。従って、末梢感覚装置からの入
力の乱れや、それらを統合する中枢神経系の障害は、眼
球運動異常や身体の平衡失調として出力される。そこ
で、この出力を正確に分析すれば、入力の乱れ、あるい
は統合の異常が正しく診断できる。そのためには、眼球
の運動を記録し、それを正確に、定量的に解析する必要
がある。
覚、視覚、深部知覚）からの入力と、それらを統合する
脳幹や小脳、あるいは大脳の働きによって保たれてい
る。これらの末消感覚装置からの入力は、脳幹や小脳な
どの中枢神経系を経て最終的に身体と眼球の筋肉に出力
され、頭部運動中の視線の保持や静的あるいは動的な身
体平衡を維持している。従って、末梢感覚装置からの入
力の乱れや、それらを統合する中枢神経系の障害は、眼
球運動異常や身体の平衡失調として出力される。そこ
で、この出力を正確に分析すれば、入力の乱れ、あるい
は統合の異常が正しく診断できる。そのためには、眼球
の運動を記録し、それを正確に、定量的に解析する必要
がある。
【０００３】眼球の運動は、本来、眼球内の一点、すな
わち回旋点を中心として行われる回旋運動として捉える
ことができる。図1に示すように、眼球が前方を注視し
ている位置で、眼球内の回旋点を含む前額面を考える
と、この面は大体眼球の赤道面に一致していて、リステ
ィング面と呼ばれる。眼球には、このリスティング面上
で回旋点を通って、水平および垂直に直交する二軸（X
軸、Z軸）と、同回旋点を通りこの面に垂直な軸（前後
軸、Y軸）の三軸が想定される。Y軸は、眼球の固視線に
相当する。
わち回旋点を中心として行われる回旋運動として捉える
ことができる。図1に示すように、眼球が前方を注視し
ている位置で、眼球内の回旋点を含む前額面を考える
と、この面は大体眼球の赤道面に一致していて、リステ
ィング面と呼ばれる。眼球には、このリスティング面上
で回旋点を通って、水平および垂直に直交する二軸（X
軸、Z軸）と、同回旋点を通りこの面に垂直な軸（前後
軸、Y軸）の三軸が想定される。Y軸は、眼球の固視線に
相当する。
【０００４】リスティング面内における垂直軸（Z軸）
および水平軸（X軸）を中心とした運動、すなわち水平
および垂直の運動を眼球の主要運動といっているが、実
際の眼球運動には、多くの場合、前後軸（Y軸）を回る
運動（回旋運動）が加わる。従って、眼球運動を的確に
捉え、定量分析するためには、三次元的な解析が必須に
なる。
および水平軸（X軸）を中心とした運動、すなわち水平
および垂直の運動を眼球の主要運動といっているが、実
際の眼球運動には、多くの場合、前後軸（Y軸）を回る
運動（回旋運動）が加わる。従って、眼球運動を的確に
捉え、定量分析するためには、三次元的な解析が必須に
なる。
【０００５】一方、眼球運動は生理学的に独立した二つ
の神経機構によって制御された運動から成り立ってい
る。第一の運動は急速眼球運動と呼ばれ、ある固視点か
ら他の固視点に眼球が不随意に変化するときに生じる眼
球の急速な共同運動である。急速眼球運動の始まりと終
わりの加速度は40,000度/秒にもなり、運動中の最高速
度は400から600度/秒である。また、視標が提示されて
から急速眼球運動が生じるまでの潜時は、一般に100か
ら300ミリ秒である。第二の運動は指標追跡運動と呼ば
れ、指標を追跡する共同運動である。その運動速度は1
から30度/秒であり、ゆっくりと動く視標を網膜上の一
点に捉えるための運動である。
の神経機構によって制御された運動から成り立ってい
る。第一の運動は急速眼球運動と呼ばれ、ある固視点か
ら他の固視点に眼球が不随意に変化するときに生じる眼
球の急速な共同運動である。急速眼球運動の始まりと終
わりの加速度は40,000度/秒にもなり、運動中の最高速
度は400から600度/秒である。また、視標が提示されて
から急速眼球運動が生じるまでの潜時は、一般に100か
ら300ミリ秒である。第二の運動は指標追跡運動と呼ば
れ、指標を追跡する共同運動である。その運動速度は1
から30度/秒であり、ゆっくりと動く視標を網膜上の一
点に捉えるための運動である。
【０００６】このような眼球運動を記録し解析するため
に、照明用の赤外線LEDおよび小型赤外線CCDカメラを備
えたゴーグルを被検者に装着し、被検者の眼球運動をビ
デオ録画した後、コンピュータによる画像処理によって
眼球運動を解析する技術が、石川等「新しいめまい検査
システムの開発」（医用電子と生体工学 Vol.33 No.3 1
995）や、八木「眼球運動の3次元解析からみた平衡機能
とその異常」（医学書院 1997年発行）で提案されてい
る。
に、照明用の赤外線LEDおよび小型赤外線CCDカメラを備
えたゴーグルを被検者に装着し、被検者の眼球運動をビ
デオ録画した後、コンピュータによる画像処理によって
眼球運動を解析する技術が、石川等「新しいめまい検査
システムの開発」（医用電子と生体工学 Vol.33 No.3 1
995）や、八木「眼球運動の3次元解析からみた平衡機能
とその異常」（医学書院 1997年発行）で提案されてい
る。
【０００７】
【発明が解決しようとする課題】図2は上記の文献によ
り提案されている技術における眼球運動の解析処理を説
明するフローチャートである。まず、眼球の画像がビデ
オ録画されディジタル化される（ステップS1からS4）。
次に、眼球のフレーム画像に基づき、コンピュータが自
動追跡し易いと思われる虹彩紋理画像が、オペレータに
より指定される（ステップS5）。次に、フレーム画像を
二値化して（ステップS6）、瞳孔画像を認識するととも
に、瞳孔画像の重心を演算して得られた重心座標を瞳孔
画像の中心点とする（ステップS7）。そして、連続する
フレーム画像において、瞳孔画像の中心点の移動を追跡
することにより眼球運動の水平および垂直成分（以下
「水平・垂直運動」という）を解析するとともに、指定
された虹彩紋理画像の輝度および面積情報などに基づき
虹彩紋理画像の移動を追跡して、瞳孔画像の重心に対す
る虹彩紋理画像の回旋、つまり眼球運動の回旋成分（以
下「回旋運動」という）を解析する（ステップS8)。上
記のステップS5からS8までの処理を任意フレーム分繰返
すことにより三次元の眼球運動を解析することができ
る。
り提案されている技術における眼球運動の解析処理を説
明するフローチャートである。まず、眼球の画像がビデ
オ録画されディジタル化される（ステップS1からS4）。
次に、眼球のフレーム画像に基づき、コンピュータが自
動追跡し易いと思われる虹彩紋理画像が、オペレータに
より指定される（ステップS5）。次に、フレーム画像を
二値化して（ステップS6）、瞳孔画像を認識するととも
に、瞳孔画像の重心を演算して得られた重心座標を瞳孔
画像の中心点とする（ステップS7）。そして、連続する
フレーム画像において、瞳孔画像の中心点の移動を追跡
することにより眼球運動の水平および垂直成分（以下
「水平・垂直運動」という）を解析するとともに、指定
された虹彩紋理画像の輝度および面積情報などに基づき
虹彩紋理画像の移動を追跡して、瞳孔画像の重心に対す
る虹彩紋理画像の回旋、つまり眼球運動の回旋成分（以
下「回旋運動」という）を解析する（ステップS8)。上
記のステップS5からS8までの処理を任意フレーム分繰返
すことにより三次元の眼球運動を解析することができ
る。
【０００８】上記の解析処理によれば、高い精度で垂直
・水平運動を解析することができる。しかし、上記の解
析処理は、瞳孔の形状は円で近似でき、瞳孔の中心は円
の中心と一致するという仮定の下に眼球運動を解析する
ものである。このため、瞳孔が眼の中心から大きく移動
した場合や、瞳孔に瞼がかかった状態など、瞳孔画像が
円ではない状態があると重心と中心とが一致しないの
で、眼球運動を正確に解析することができないという問
題がある。
・水平運動を解析することができる。しかし、上記の解
析処理は、瞳孔の形状は円で近似でき、瞳孔の中心は円
の中心と一致するという仮定の下に眼球運動を解析する
ものである。このため、瞳孔が眼の中心から大きく移動
した場合や、瞳孔に瞼がかかった状態など、瞳孔画像が
円ではない状態があると重心と中心とが一致しないの
で、眼球運動を正確に解析することができないという問
題がある。
【０００９】さらに、上記の解析処理においては、回旋
運動を解析するための虹彩紋理画像がオペレータによっ
て指定されるが、どの虹彩紋理画像が自動追跡し易いか
を判断するには熟練が必要である。もし、眼球運動の解
析中に、指定された虹彩紋理画像の自動追跡が困難にな
った場合は、虹彩紋理画像の指定（ステップS5）からや
り直さなければならないという欠点がある。
運動を解析するための虹彩紋理画像がオペレータによっ
て指定されるが、どの虹彩紋理画像が自動追跡し易いか
を判断するには熟練が必要である。もし、眼球運動の解
析中に、指定された虹彩紋理画像の自動追跡が困難にな
った場合は、虹彩紋理画像の指定（ステップS5）からや
り直さなければならないという欠点がある。
【００１０】本発明は、上述の問題を解決するためのも
のであり、眼球運動を正確に解析することができる計測
システムおよびその方法を提供することを目的とする。
のであり、眼球運動を正確に解析することができる計測
システムおよびその方法を提供することを目的とする。
【００１１】また、眼球運動を解析するための指標の設
定が容易な計測システムおよびその方法を提供すること
を他の目的とする。
定が容易な計測システムおよびその方法を提供すること
を他の目的とする。
【００１２】
【課題を解決するための手段】本発明は、前記の目的を
達成する一手段として、以下の構成を備える。
達成する一手段として、以下の構成を備える。
【００１３】本発明にかかる計測システムは、眼球の運
動を計測する計測システムであって、前記眼球の運動が
記録された動画像の各フレーム画像を取得する取得手段
と、前記取得手段により取得されたフレーム画像の一つ
を基準画像にして、その基準画像から前記眼球の動きを
追跡するための複数の特徴領域を抽出する抽出手段と、
前記抽出手段により抽出された複数の特徴領域に基づ
き、前記各フレーム画像における眼球の動きを検出する
検出手段とを有することを特徴とする。
動を計測する計測システムであって、前記眼球の運動が
記録された動画像の各フレーム画像を取得する取得手段
と、前記取得手段により取得されたフレーム画像の一つ
を基準画像にして、その基準画像から前記眼球の動きを
追跡するための複数の特徴領域を抽出する抽出手段と、
前記抽出手段により抽出された複数の特徴領域に基づ
き、前記各フレーム画像における眼球の動きを検出する
検出手段とを有することを特徴とする。
【００１４】本発明にかかる計測方法は、眼球の運動を
計測する計測方法であって、前記眼球の運動が記録され
た動画像の各フレーム画像を取得し、所定の視線方向を
示すフレーム画像に基づき眼球の中心および半径を演算
し、取得されたフレーム画像の一つを基準画像にして、
その基準画像から前記眼球の動きを追跡するための複数
の特徴領域を抽出し、前記眼球の中心および半径、並び
に、前記複数の特徴領域に基づき、前記各フレーム画像
における眼球の動きを検出することを特徴とする。
計測する計測方法であって、前記眼球の運動が記録され
た動画像の各フレーム画像を取得し、所定の視線方向を
示すフレーム画像に基づき眼球の中心および半径を演算
し、取得されたフレーム画像の一つを基準画像にして、
その基準画像から前記眼球の動きを追跡するための複数
の特徴領域を抽出し、前記眼球の中心および半径、並び
に、前記複数の特徴領域に基づき、前記各フレーム画像
における眼球の動きを検出することを特徴とする。
【００１５】
【発明の実施の形態】以下、本発明にかかる一実施形態
の計測装置およびその方法を図面を参照して詳細に説明
する。
の計測装置およびその方法を図面を参照して詳細に説明
する。
【００１６】［計測システムの構成］図3は眼球運動を
計測するシステムの基本的な構成を示すブロック図であ
る。
計測するシステムの基本的な構成を示すブロック図であ
る。
【００１７】図3において、1は赤外線LEDおよび赤外線C
CDカメラを備えるゴーグルで、被検者の頭部に装着され
る。赤外線CCDカメラから出力されるビデオ信号はビデ
オカセットレコーダ(VCR)2によって録画される。3は眼
球運動を解析する画像処理装置である。画像処理装置3
のCPU14は、ROM13に格納された制御プログラムに基づ
き、バス17を介して画像処理装置3の各構成を制御する
とともに、必要であればVCR2の動作およびゴーグル1の
照明やCCDカメラを制御する。また、CPU14は、ROM13に
格納された画像処理プログラムや解析プログラムに従
い、後述する眼球運動の解析を実行する。これらの画像
処理や解析はRAM15をワークメモリとして実行される。
CDカメラを備えるゴーグルで、被検者の頭部に装着され
る。赤外線CCDカメラから出力されるビデオ信号はビデ
オカセットレコーダ(VCR)2によって録画される。3は眼
球運動を解析する画像処理装置である。画像処理装置3
のCPU14は、ROM13に格納された制御プログラムに基づ
き、バス17を介して画像処理装置3の各構成を制御する
とともに、必要であればVCR2の動作およびゴーグル1の
照明やCCDカメラを制御する。また、CPU14は、ROM13に
格納された画像処理プログラムや解析プログラムに従
い、後述する眼球運動の解析を実行する。これらの画像
処理や解析はRAM15をワークメモリとして実行される。
【００１８】また、画像処理や解析の状況・結果、フレ
ーム画像または映像、および、処理メニューなどは、CP
U14によってビデオインタフェイス18に接続されたモニ
タ4に表示される。オペレータは、モニタ4に表示される
画像に基づき、入力デバイスインタフェイス16に接続さ
れたマウスなどのポインティングデバイス5を使用してC
PU14に各種の指示を発行する。勿論、入力デバイスイン
タフェイス16には、マウスとともにキーボードなどの入
力デバイスを接続することもできる。
ーム画像または映像、および、処理メニューなどは、CP
U14によってビデオインタフェイス18に接続されたモニ
タ4に表示される。オペレータは、モニタ4に表示される
画像に基づき、入力デバイスインタフェイス16に接続さ
れたマウスなどのポインティングデバイス5を使用してC
PU14に各種の指示を発行する。勿論、入力デバイスイン
タフェイス16には、マウスとともにキーボードなどの入
力デバイスを接続することもできる。
【００１９】VCR2から出力されるビデオ信号は、ビデオ
キャプチャカード11に入力され、1フレームごとに例え
ば8ビットのグレースケール画像データにディジタル化
され、JPEG圧縮されて、RAMまたは高速ハードディスク
からなる画像メモリ12に、Windows標準の動画像ファイ
ルであるavi形式で格納される。VCR2によって録画され
た眼球運動の映像のすべて、または、必要な部分の動画
像ファイル化が終了すると、CPU14は、最初のフレーム
画像またはオペレータにより指示されたフレーム画像を
モニタ4に表示する。その後、CPU14は、オペレータから
必要な情報および解析開始の指示が入力されると、画像
メモリ12からフレーム画像を順次読出して眼球運動の解
析処理を実行する。
キャプチャカード11に入力され、1フレームごとに例え
ば8ビットのグレースケール画像データにディジタル化
され、JPEG圧縮されて、RAMまたは高速ハードディスク
からなる画像メモリ12に、Windows標準の動画像ファイ
ルであるavi形式で格納される。VCR2によって録画され
た眼球運動の映像のすべて、または、必要な部分の動画
像ファイル化が終了すると、CPU14は、最初のフレーム
画像またはオペレータにより指示されたフレーム画像を
モニタ4に表示する。その後、CPU14は、オペレータから
必要な情報および解析開始の指示が入力されると、画像
メモリ12からフレーム画像を順次読出して眼球運動の解
析処理を実行する。
【００２０】なお、30フレーム/秒以上の処理速度をも
つビデオキャプチャカード11を用いれば、CCDカメラ1か
ら出力されるビデオ信号をリアルタイムにディジタル化
して画像メモリ12に格納することもでき、その場合、VC
R2は不要である。また、ビデオキャプチャカード11およ
び画像メモリ12を追加すればパーソナルコンピュータを
画像処理装置3として利用することができる。その場
合、眼球運動の計測に必要なプログラムはフロッピディ
スクなどの記憶媒体を介して供給すればよい。また、ビ
デオ信号の圧縮方式や動画像ファイルの形式などは上記
に限定されるものではなく、使用する装置や環境に応じ
て適切なものを選べばよい。
つビデオキャプチャカード11を用いれば、CCDカメラ1か
ら出力されるビデオ信号をリアルタイムにディジタル化
して画像メモリ12に格納することもでき、その場合、VC
R2は不要である。また、ビデオキャプチャカード11およ
び画像メモリ12を追加すればパーソナルコンピュータを
画像処理装置3として利用することができる。その場
合、眼球運動の計測に必要なプログラムはフロッピディ
スクなどの記憶媒体を介して供給すればよい。また、ビ
デオ信号の圧縮方式や動画像ファイルの形式などは上記
に限定されるものではなく、使用する装置や環境に応じ
て適切なものを選べばよい。
【００２１】［処理手順］以下では、本発明にかかる眼
球運動の解析処理について詳細に説明するが、同処理は
キャリブレーションと角度解析とからなるので、それら
を順に説明する。
球運動の解析処理について詳細に説明するが、同処理は
キャリブレーションと角度解析とからなるので、それら
を順に説明する。
【００２２】●キャリブレーション キャリブレーションとは、眼の中心および半径を推定
し、回旋角を求める際に利用する眼球画像の特徴領域を
設定するものである。なお、眼の中心には、ほぼ真球で
ある眼球の三次元的な中心である上述した回旋点と、正
面から眼球を観たときの二次元的な中心とがある。以下
では、三次元的な中心を「眼球の中心」、二次元的な中
心を「眼の中心」と呼ぶことにする。
し、回旋角を求める際に利用する眼球画像の特徴領域を
設定するものである。なお、眼の中心には、ほぼ真球で
ある眼球の三次元的な中心である上述した回旋点と、正
面から眼球を観たときの二次元的な中心とがある。以下
では、三次元的な中心を「眼球の中心」、二次元的な中
心を「眼の中心」と呼ぶことにする。
【００２３】キャリブレーションに先立って、キャリブ
レーション用に被検者の眼球の動きを撮影する。つま
り、被検者に、正面を向いたまま、正面（零度方向）お
よび左右上下の所定角度方向（例えば各五度方向）の目
標を視認させ、それぞれの眼球の動きをCCDカメラ1によ
って撮影し、VCR2により記録する。このようにして得ら
れたキャリブレーション用の映像から、眼球の中心およ
び半径を推定し、回旋角を求める際に利用する眼球画像
の特徴領域を設定する。
レーション用に被検者の眼球の動きを撮影する。つま
り、被検者に、正面を向いたまま、正面（零度方向）お
よび左右上下の所定角度方向（例えば各五度方向）の目
標を視認させ、それぞれの眼球の動きをCCDカメラ1によ
って撮影し、VCR2により記録する。このようにして得ら
れたキャリブレーション用の映像から、眼球の中心およ
び半径を推定し、回旋角を求める際に利用する眼球画像
の特徴領域を設定する。
【００２４】図4はキャリブレーション手順の一例を示
すフローチャートで、CPU14によって実行されるもので
ある。
すフローチャートで、CPU14によって実行されるもので
ある。
【００２５】ステップS21で動画像をキャプチャし、ス
テップS22で各フレームの瞳孔画像の中心（以下「瞳孔
中心」と省略する）を推定する。なお、瞳孔中心の推定
方法の詳細は後述する。次に、ステップS23で瞳孔中心
の動きを示すグラフを作成し、モニタ4に表示する。表
示されたグラフに基づき、ステップS24で、眼球が左右
に動いたときにフレーム範囲、および、眼球が上下に動
いたときのフレーム範囲が、ユーザによって指定され
る。さらに、ステップS25で、眼球が正面を向いたとき
のフレーム範囲が、ユーザによって指定される。なお、
眼球の左右、上下動を示すフレーム範囲、および、眼球
が正面を向いたときのフレーム範囲が指定されるのが好
ましいが、少なくとも、眼球の左右動または上下動を示
すフレーム範囲が指定されれば後の解析は実行できる。
テップS22で各フレームの瞳孔画像の中心（以下「瞳孔
中心」と省略する）を推定する。なお、瞳孔中心の推定
方法の詳細は後述する。次に、ステップS23で瞳孔中心
の動きを示すグラフを作成し、モニタ4に表示する。表
示されたグラフに基づき、ステップS24で、眼球が左右
に動いたときにフレーム範囲、および、眼球が上下に動
いたときのフレーム範囲が、ユーザによって指定され
る。さらに、ステップS25で、眼球が正面を向いたとき
のフレーム範囲が、ユーザによって指定される。なお、
眼球の左右、上下動を示すフレーム範囲、および、眼球
が正面を向いたときのフレーム範囲が指定されるのが好
ましいが、少なくとも、眼球の左右動または上下動を示
すフレーム範囲が指定されれば後の解析は実行できる。
【００２６】続いて、ステップS26で、ユーザの指定に
基づき、瞳孔が左右上下の所定角度を向いたときのフレ
ームを推定する。通常は、瞳孔が左右上下各五度の方向
を向いたときの四つのフレームを推定する。また、瞳孔
が左右上下各五度の方向を向いたときの眼球画像に対す
る瞳孔の位置を「瞳孔左右五度位置」および「瞳孔上下
五度位置」と呼ぶ場合がある。
基づき、瞳孔が左右上下の所定角度を向いたときのフレ
ームを推定する。通常は、瞳孔が左右上下各五度の方向
を向いたときの四つのフレームを推定する。また、瞳孔
が左右上下各五度の方向を向いたときの眼球画像に対す
る瞳孔の位置を「瞳孔左右五度位置」および「瞳孔上下
五度位置」と呼ぶ場合がある。
【００２７】続いて、ステップS26で推定されたフレー
ムの瞳孔中心に基づき、ステップS27で眼の中心および
半径を計算する。なお、眼の中心および半径の計算方法
の詳細は後述する。
ムの瞳孔中心に基づき、ステップS27で眼の中心および
半径を計算する。なお、眼の中心および半径の計算方法
の詳細は後述する。
【００２８】続いて、ステップS28で眼球が正面を向い
たときのフレームを一枚選択し、その画像を基準画像に
する。なお、ステップS25で眼球が正面を向いたときの
フレームが指定されていないときは、すべてのフレーム
から基準画像にするフレームを一枚選択する。
たときのフレームを一枚選択し、その画像を基準画像に
する。なお、ステップS25で眼球が正面を向いたときの
フレームが指定されていないときは、すべてのフレーム
から基準画像にするフレームを一枚選択する。
【００２９】そして、ステップS29で基準画像から複数
（x個）の特徴的なパターンを抽出する。これらの特徴
的なパターンは、眼球の回転運動、とくに回旋運動を追
跡するためのもの（言い換えれば、基準画像とは回旋角
が零度の状態の眼球を表す画像である）で、基準画像に
含まれる虹彩紋理パターンからパターンマッチングに適
したものを、自動的に複数抽出する。ただし、オペレー
タは、抽出された特徴的なパターンの中からさらに適切
だと考えるものを取捨選択することができる。なお、以
下の説明においては、抽出された特徴的なパターンを
「特徴領域」と呼ぶ。また、特徴領域の抽出方法は、各
画像からエッジを検出し、所定値以上の立上りまたは立
下りを示すエッジ、つまりエッジ強度の強いエッジを特
徴領域にする。
（x個）の特徴的なパターンを抽出する。これらの特徴
的なパターンは、眼球の回転運動、とくに回旋運動を追
跡するためのもの（言い換えれば、基準画像とは回旋角
が零度の状態の眼球を表す画像である）で、基準画像に
含まれる虹彩紋理パターンからパターンマッチングに適
したものを、自動的に複数抽出する。ただし、オペレー
タは、抽出された特徴的なパターンの中からさらに適切
だと考えるものを取捨選択することができる。なお、以
下の説明においては、抽出された特徴的なパターンを
「特徴領域」と呼ぶ。また、特徴領域の抽出方法は、各
画像からエッジを検出し、所定値以上の立上りまたは立
下りを示すエッジ、つまりエッジ強度の強いエッジを特
徴領域にする。
【００３０】図5は瞳孔五度位置を示すフレームの推定
方法の一例を示すフローチャートである。
方法の一例を示すフローチャートである。
【００３１】ステップS31で、ユーザに指定されたフレ
ーム範囲において瞳孔中心の軌跡を直線近似し、ステッ
プS32で各フレームの瞳孔中心を近似直線上に写像す
る。次に、ステップS33で、近似直線上に並んだ写像さ
れた瞳孔中心のうち、その両端部近傍にある瞳孔中心を
除外する。具体的には、写像された瞳孔中心がn個だと
すると、各端部近傍の5%(0.05n)に相当する瞳孔中心を
除外し、残る90%(0.9n)の瞳孔中心により以降の処理を
行う。
ーム範囲において瞳孔中心の軌跡を直線近似し、ステッ
プS32で各フレームの瞳孔中心を近似直線上に写像す
る。次に、ステップS33で、近似直線上に並んだ写像さ
れた瞳孔中心のうち、その両端部近傍にある瞳孔中心を
除外する。具体的には、写像された瞳孔中心がn個だと
すると、各端部近傍の5%(0.05n)に相当する瞳孔中心を
除外し、残る90%(0.9n)の瞳孔中心により以降の処理を
行う。
【００３２】続いて、ステップS34で、近似直線上に並
んだ瞳孔中心のうち、その両端にある瞳孔中心間の距離
をLとし、一端から距離0.1Lの位置までにある瞳孔中心
の中央値Mを求め、それを両端について実行する。次
に、ステップS35で、得られた中央値Mに基づき瞳孔五度
位置を求める。
んだ瞳孔中心のうち、その両端にある瞳孔中心間の距離
をLとし、一端から距離0.1Lの位置までにある瞳孔中心
の中央値Mを求め、それを両端について実行する。次
に、ステップS35で、得られた中央値Mに基づき瞳孔五度
位置を求める。
【００３３】●角度解析 次に、角度解析、つまり眼球の回旋運動の解析を説明す
る。図8は角度解析手順の一例を示すフローチャート
で、CPU14によって実行されるものである。
る。図8は角度解析手順の一例を示すフローチャート
で、CPU14によって実行されるものである。
【００３４】ステップS41で動画像をキャプチャし、一
枚目のフレームについて、ステップS42で瞳孔中心の検
出を行う。ただし、瞳孔中心を検出する際に、瞳孔が瞼
に隠されたり、瞳孔画像の近傍にCCDカメラ1の照明の反
射光が写っていたりすると、瞳孔画像が円や楕円になら
ないので、瞳孔中心が正確に得られないという問題があ
る。そこで、詳細は後述するが、パターンマッチングに
より瞳孔画像の円弧を検出し、検出された円弧に基づき
瞳孔中心を正確に検出するようにしている。
枚目のフレームについて、ステップS42で瞳孔中心の検
出を行う。ただし、瞳孔中心を検出する際に、瞳孔が瞼
に隠されたり、瞳孔画像の近傍にCCDカメラ1の照明の反
射光が写っていたりすると、瞳孔画像が円や楕円になら
ないので、瞳孔中心が正確に得られないという問題があ
る。そこで、詳細は後述するが、パターンマッチングに
より瞳孔画像の円弧を検出し、検出された円弧に基づき
瞳孔中心を正確に検出するようにしている。
【００３５】ステップS43で瞳孔中心が検出されたか否
かを判定する。瞳孔中心が検出された場合は、キャリブ
レーションにより眼の中心および眼球半径が得られてい
るので、ステップS44で検出された瞳孔中心の水平角θ
および垂直角ψを計算する。なお、水平角θおよび垂直
角ψの計算方法は後述する。また、瞳孔中心が検出され
なかった場合は処理を終了する。
かを判定する。瞳孔中心が検出された場合は、キャリブ
レーションにより眼の中心および眼球半径が得られてい
るので、ステップS44で検出された瞳孔中心の水平角θ
および垂直角ψを計算する。なお、水平角θおよび垂直
角ψの計算方法は後述する。また、瞳孔中心が検出され
なかった場合は処理を終了する。
【００３６】次に、ステップS45で、キャリブレーショ
ン時に抽出したx個の特徴領域に対応するパターンをパ
ターンマッチングにより瞳孔周辺において検出する。そ
して、マッチングの程度を表すマッチング率が上位n(≦
x)個の検出されたパターンを集合Aとする。なお、ステ
ップS45におけるパターンマッチングの詳細は後述す
る。また、特徴領域が検出されたなかった場合はステッ
プS46の判定により処理を終了する。
ン時に抽出したx個の特徴領域に対応するパターンをパ
ターンマッチングにより瞳孔周辺において検出する。そ
して、マッチングの程度を表すマッチング率が上位n(≦
x)個の検出されたパターンを集合Aとする。なお、ステ
ップS45におけるパターンマッチングの詳細は後述す
る。また、特徴領域が検出されたなかった場合はステッ
プS46の判定により処理を終了する。
【００３７】ステップS44において水平角θおよび垂直
角ψが得られ、ステップS45で検出された特徴領域から
おおよその回旋角Tを得ることができる。従って、これ
ら三つの角度に基づき回転させた基準画像に基づきパタ
ーンマッチングを行えば、特徴領域に対応するパターン
をより高精度に検出することが可能になる。また、ステ
ップS45における特徴領域に対応するパターンの検出
は、個々の特徴領域と瞳孔周辺という比較的広い領域の
パターンマッチングによるものである。言い換えれば、
ステップS45においては、特徴領域相互の位置関係は無
視されている。このような点を考慮したものが続くステ
ップS47からS51の処理である。
角ψが得られ、ステップS45で検出された特徴領域から
おおよその回旋角Tを得ることができる。従って、これ
ら三つの角度に基づき回転させた基準画像に基づきパタ
ーンマッチングを行えば、特徴領域に対応するパターン
をより高精度に検出することが可能になる。また、ステ
ップS45における特徴領域に対応するパターンの検出
は、個々の特徴領域と瞳孔周辺という比較的広い領域の
パターンマッチングによるものである。言い換えれば、
ステップS45においては、特徴領域相互の位置関係は無
視されている。このような点を考慮したものが続くステ
ップS47からS51の処理である。
【００３８】まず、ステップS47でカウンタiを零に初期
化し、ステップS48で集合Aから一つのパターンAiを取出
し、回旋角Tを計算する。続いて、ステップS49で、得ら
れた水平角、垂直角および回旋角により基準画像を回転
し、ステップS50でパターンAiと回転された基準画像と
でパターンマッチングを行い、所定値以上のマッチング
率（例えば85%以上）が得られた場合、パターンAiを集
合Bに含める。そして、ステップS51の判定により、集合
Aに含まれるすべてのパターンに実行する。
化し、ステップS48で集合Aから一つのパターンAiを取出
し、回旋角Tを計算する。続いて、ステップS49で、得ら
れた水平角、垂直角および回旋角により基準画像を回転
し、ステップS50でパターンAiと回転された基準画像と
でパターンマッチングを行い、所定値以上のマッチング
率（例えば85%以上）が得られた場合、パターンAiを集
合Bに含める。そして、ステップS51の判定により、集合
Aに含まれるすべてのパターンに実行する。
【００３９】続いて、ステップS52で、集合Bに含まれる
パターンそれぞれを用いて回旋角を計算し、得られた回
旋角の中央値を求め、その中央値±三度以内にあるパタ
ーンPjにより、次式を用いて注目フレームの回旋角Tお
よび集合Bのマッチング率Mを計算する。 T = Σ{T(Pj)×M(Pj)}/ ΣM(Pj) …(1) M = ΣM(Pj) / k …(2) ただし、Σ演算はj=1からkまで T(Pj): パターンPjから得られる回旋角 M(Pj): パターンPjのマッチング率 k: パターンPjの数
パターンそれぞれを用いて回旋角を計算し、得られた回
旋角の中央値を求め、その中央値±三度以内にあるパタ
ーンPjにより、次式を用いて注目フレームの回旋角Tお
よび集合Bのマッチング率Mを計算する。 T = Σ{T(Pj)×M(Pj)}/ ΣM(Pj) …(1) M = ΣM(Pj) / k …(2) ただし、Σ演算はj=1からkまで T(Pj): パターンPjから得られる回旋角 M(Pj): パターンPjのマッチング率 k: パターンPjの数
【００４０】そして、ステップS53の判定により、ステ
ップS42からS52の処理を繰返して、すべてのフレームの
角度解析を行う。
ップS42からS52の処理を繰返して、すべてのフレームの
角度解析を行う。
【００４１】［眼の中心および半径の計算方法］前述し
たように、キャリブレーション用に正面（零度方向）お
よび左右上下の所定角度方向（例えば各五度方向）の目
標を視認させた場合の眼球の動きを撮影するが、その
際、眼球が向いている実際の角度は不明である。そこ
で、眼の中心を求める場合、図6に示すように、瞳孔五
度位置に基づいて眼の中心を演算により決定する。つま
り、瞳孔左右五度位置61aおよび61bを結ぶ線分62を二等
分する直線63と、瞳孔上下五度位置64aおよび64bを結ぶ
線分65を二等分する直線66との交点を眼の中心67にす
る。勿論、瞳孔上下五度位置64aおよび64bが得られなか
った場合は、線分62の二等分点を眼の中心67にする。
たように、キャリブレーション用に正面（零度方向）お
よび左右上下の所定角度方向（例えば各五度方向）の目
標を視認させた場合の眼球の動きを撮影するが、その
際、眼球が向いている実際の角度は不明である。そこ
で、眼の中心を求める場合、図6に示すように、瞳孔五
度位置に基づいて眼の中心を演算により決定する。つま
り、瞳孔左右五度位置61aおよび61bを結ぶ線分62を二等
分する直線63と、瞳孔上下五度位置64aおよび64bを結ぶ
線分65を二等分する直線66との交点を眼の中心67にす
る。勿論、瞳孔上下五度位置64aおよび64bが得られなか
った場合は、線分62の二等分点を眼の中心67にする。
【００４２】図7に示すように、眼球を真球と仮定すれ
ば、眼の中心67および瞳孔五度位置（例えば61b）から
眼球の半径を計算することができる。つまり、眼球が角
度θ回転したときの瞳孔中心の変位Xは、眼球の半径をr
とすれば次式で表される。 X = r・sinθ …(3)
ば、眼の中心67および瞳孔五度位置（例えば61b）から
眼球の半径を計算することができる。つまり、眼球が角
度θ回転したときの瞳孔中心の変位Xは、眼球の半径をr
とすれば次式で表される。 X = r・sinθ …(3)
【００４３】従って、眼球の半径rは次式で示される。 r = X/sinθ …(4)
【００４４】また、図9に示す瞳孔の重心69の画像上で
の座標を(x,z)とすると、瞳孔の重心69の三次元座標(x
a,ya,za)は次式で表される。 xa = x, ya = √(r^2 - x^2 - y^2), za = z ただし、a^2はaの二乗を表す
の座標を(x,z)とすると、瞳孔の重心69の三次元座標(x
a,ya,za)は次式で表される。 xa = x, ya = √(r^2 - x^2 - y^2), za = z ただし、a^2はaの二乗を表す
【００４５】従って、水平角θおよび垂直角ψは次式で
表される。 θ= arctan(x / ya) …(5) ψ= arcsin(za^2 / r^2) …(6)
表される。 θ= arctan(x / ya) …(5) ψ= arcsin(za^2 / r^2) …(6)
【００４６】［瞳孔中心の推定方法］CCDカメラ1によっ
て撮影される瞳孔画像の形状は、眼の中心67の近傍にあ
る場合、つまり、ほぼ正面を向いている場合はほぼ円で
ある。同様に、キャリブレーションに使用する瞳孔五度
位置の瞳孔画像の形状も、ほぼ円であるといえる。この
ような場合、瞳孔画像の重心を求めることにより瞳孔中
心を推定することができる。しかし、瞳孔が、五度を超
え、さらに大きな角度の方向を向いた場合、瞳孔画像の
形状は円とはいえず楕円になる。
て撮影される瞳孔画像の形状は、眼の中心67の近傍にあ
る場合、つまり、ほぼ正面を向いている場合はほぼ円で
ある。同様に、キャリブレーションに使用する瞳孔五度
位置の瞳孔画像の形状も、ほぼ円であるといえる。この
ような場合、瞳孔画像の重心を求めることにより瞳孔中
心を推定することができる。しかし、瞳孔が、五度を超
え、さらに大きな角度の方向を向いた場合、瞳孔画像の
形状は円とはいえず楕円になる。
【００４７】その後、任意の方向を向いている瞳孔画像
の重心を仮の瞳孔中心として、仮の瞳孔中心が正面にく
るように画像処理を行い、その結果から任意の方向を向
いている瞳孔画像の瞳孔中心を得る。つまり、仮の瞳孔
中心である瞳孔画像の重心は、真の瞳孔中心の近傍にあ
るはずであるから、仮の瞳孔中心と眼の中心67とが一致
するように、眼球の中心（球体としての中心）68に対し
て眼球画像を回転させることにより、正面を向いた形状
がほぼ円である瞳孔画像を得ることができる。そして、
この状態で瞳孔中心を求めた後、眼球画像を逆回転させ
れば、任意の方向を向いた瞳孔画像の瞳孔中心を正確に
得ることができる。
の重心を仮の瞳孔中心として、仮の瞳孔中心が正面にく
るように画像処理を行い、その結果から任意の方向を向
いている瞳孔画像の瞳孔中心を得る。つまり、仮の瞳孔
中心である瞳孔画像の重心は、真の瞳孔中心の近傍にあ
るはずであるから、仮の瞳孔中心と眼の中心67とが一致
するように、眼球の中心（球体としての中心）68に対し
て眼球画像を回転させることにより、正面を向いた形状
がほぼ円である瞳孔画像を得ることができる。そして、
この状態で瞳孔中心を求めた後、眼球画像を逆回転させ
れば、任意の方向を向いた瞳孔画像の瞳孔中心を正確に
得ることができる。
【００４８】具体的には、眼の中心67および眼球半径r
が得られているので、仮の瞳孔中心の水平角θおよび垂
直角ψを求め、眼球の中心68に対して眼球画像を-θお
よび-ψ回転する（プログラムとしては、θおよびψの
回転行列の逆行列を用いる）。そして、回転された眼球
画像の瞳孔画像である円の中心座標を求めた後、眼球の
中心68に対して眼球画像をθおよびψ回転する（プログ
ラムとしては、θおよびψの回転行列を用いる）。これ
により、回転前の位置に戻された瞳孔画像の先に求めた
中心に対応する座標が、任意方向を向いた瞳孔画像の瞳
孔中心に対応することになる。
が得られているので、仮の瞳孔中心の水平角θおよび垂
直角ψを求め、眼球の中心68に対して眼球画像を-θお
よび-ψ回転する（プログラムとしては、θおよびψの
回転行列の逆行列を用いる）。そして、回転された眼球
画像の瞳孔画像である円の中心座標を求めた後、眼球の
中心68に対して眼球画像をθおよびψ回転する（プログ
ラムとしては、θおよびψの回転行列を用いる）。これ
により、回転前の位置に戻された瞳孔画像の先に求めた
中心に対応する座標が、任意方向を向いた瞳孔画像の瞳
孔中心に対応することになる。
【００４９】［瞳孔円の検出］前述したように、瞳孔が
瞼に隠されたり、CCDカメラ1の照明の反射光が写ったり
するので、瞳孔画像は必ずしも円または楕円にならな
い。そこで、本発明においては、パターンマッチングに
より瞳孔画像の円弧を検出し、検出された円弧に基づき
瞳孔中心を得る。
瞼に隠されたり、CCDカメラ1の照明の反射光が写ったり
するので、瞳孔画像は必ずしも円または楕円にならな
い。そこで、本発明においては、パターンマッチングに
より瞳孔画像の円弧を検出し、検出された円弧に基づき
瞳孔中心を得る。
【００５０】図11は瞳孔中心の検出手順の一例を示すフ
ローチャートである。
ローチャートである。
【００５１】ステップS61で瞳孔中心を検出しようとす
るフレームの画像を二値化し、ステップS62で二値画像
に瞳孔画像が含まれるか否かを判定し、瞳孔画像が含ま
れないと判定した場合は処理を終了する。
るフレームの画像を二値化し、ステップS62で二値画像
に瞳孔画像が含まれるか否かを判定し、瞳孔画像が含ま
れないと判定した場合は処理を終了する。
【００５２】二値画像に瞳孔画像が含まれると判定した
場合は、ステップS63で瞳孔画像の重心を求め、ステッ
プS64で、得られた重心から瞳孔中心の仮の水平角およ
び垂直角を求め、ステップS65で瞳孔画像の輪郭を抽出
する。そして、既に眼球の中心および半径がわかってい
るので眼球の三次元モデルを構築することができ、この
三次元モデルにステップS66で瞳孔画像の輪郭を射影
し、ステップS67で仮の水平角および垂直角分、三次元
モデルを回転し、瞳孔が正面を向いた状態にする。
場合は、ステップS63で瞳孔画像の重心を求め、ステッ
プS64で、得られた重心から瞳孔中心の仮の水平角およ
び垂直角を求め、ステップS65で瞳孔画像の輪郭を抽出
する。そして、既に眼球の中心および半径がわかってい
るので眼球の三次元モデルを構築することができ、この
三次元モデルにステップS66で瞳孔画像の輪郭を射影
し、ステップS67で仮の水平角および垂直角分、三次元
モデルを回転し、瞳孔が正面を向いた状態にする。
【００５３】続いて、ステップS68で瞳孔画像の輪郭か
ら瞳孔画像の仮の直径を求め、ステップS69で、得られ
た仮の直径に基づき、円を例えば八分割した円弧のテン
プレートを作成する。なお、円を何分割するかは、検出
精度と処理時間の関係から決定する。そして、ステップ
S70で円弧のテンプレートと瞳孔画像の輪郭とのパター
ンマッチングを行い、ステップS71でマッチング率の高
かった円弧のテンプレートにより瞳孔円の中心座標を決
定する。
ら瞳孔画像の仮の直径を求め、ステップS69で、得られ
た仮の直径に基づき、円を例えば八分割した円弧のテン
プレートを作成する。なお、円を何分割するかは、検出
精度と処理時間の関係から決定する。そして、ステップ
S70で円弧のテンプレートと瞳孔画像の輪郭とのパター
ンマッチングを行い、ステップS71でマッチング率の高
かった円弧のテンプレートにより瞳孔円の中心座標を決
定する。
【００５４】次に、ステップS72で、得られた瞳孔円の
中心座標を眼球の三次元モデルに射影し、ステップS73
で三次元モデルを逆回転、つまり、仮の水平角および垂
直角分、三次元モデルを逆回転することにより、瞳孔を
元の位置に戻し、ステップS73で、三次元モデルに射影
された中心座標により瞳孔中心を求める。
中心座標を眼球の三次元モデルに射影し、ステップS73
で三次元モデルを逆回転、つまり、仮の水平角および垂
直角分、三次元モデルを逆回転することにより、瞳孔を
元の位置に戻し、ステップS73で、三次元モデルに射影
された中心座標により瞳孔中心を求める。
【００５５】［特徴領域の検出］まず、ステップS45に
おけるパターンマッチングによる特徴領域の検出につい
て説明する。同ステップにおける特徴領域の検出は大ま
かな回旋角Tを求めるためのものであるが、基準画像と
注目フレームの画像との水平角および垂直角が大きく異
なると充分なマッチング率が得られない。そこで、水平
角および垂直角に基づき特徴領域を回転させた後、パタ
ーンマッチングを行う。
おけるパターンマッチングによる特徴領域の検出につい
て説明する。同ステップにおける特徴領域の検出は大ま
かな回旋角Tを求めるためのものであるが、基準画像と
注目フレームの画像との水平角および垂直角が大きく異
なると充分なマッチング率が得られない。そこで、水平
角および垂直角に基づき特徴領域を回転させた後、パタ
ーンマッチングを行う。
【００５６】しかし、例えば±30度の回旋角Tの検出が
要求されるような場合、回旋角Tが大きいと水平角およ
び垂直角成分の補正を特徴領域に施しただけでは、まだ
充分なマッチング率を得ることができない。これに対応
するためには回旋角成分の補正を特徴領域に施さなくて
はならないが、この時点で回旋角Tは得られていないと
いう問題が残る。そこで、本発明においては、図10に示
すように、特徴領域71を回旋角Tの検出範囲に応じて回
転させた複数のテンプレート72を作成し、これらのテン
プレート72を用いてパターンマッチングを行うことにす
る。
要求されるような場合、回旋角Tが大きいと水平角およ
び垂直角成分の補正を特徴領域に施しただけでは、まだ
充分なマッチング率を得ることができない。これに対応
するためには回旋角成分の補正を特徴領域に施さなくて
はならないが、この時点で回旋角Tは得られていないと
いう問題が残る。そこで、本発明においては、図10に示
すように、特徴領域71を回旋角Tの検出範囲に応じて回
転させた複数のテンプレート72を作成し、これらのテン
プレート72を用いてパターンマッチングを行うことにす
る。
【００５７】具体的には、回旋角Tの検出範囲が±30度
だとすると、例えば-26、-17、-9、+9、+17および+26度
のテンプレートを作成し、回旋角零度の特徴領域と合わ
せた七組のパターンと注目フレームとのパターンマッチ
ングを行う。なお、さらに細かな角度でテンプレートを
作成すればより高いマッチング精度を得ることができる
が、当然、パターンマッチングの回数が増加する分、処
理に要する時間も長くなる。
だとすると、例えば-26、-17、-9、+9、+17および+26度
のテンプレートを作成し、回旋角零度の特徴領域と合わ
せた七組のパターンと注目フレームとのパターンマッチ
ングを行う。なお、さらに細かな角度でテンプレートを
作成すればより高いマッチング精度を得ることができる
が、当然、パターンマッチングの回数が増加する分、処
理に要する時間も長くなる。
【００５８】また、ステップS50におけるパターンマッ
チングにおいては、パターンマッチングを行う必要のあ
る領域がステップS45に比べて少なくなる。つまり、ス
テップS45では回旋角Tの検出範囲に対応する扇形の領域
においてパターンマッチングする必要があるが、ステッ
プS50ではおおよその回旋角Tがわかっているので、回旋
角Tの検出範囲の1/10程度に対応する扇形の領域におい
てパターンマッチングを行えばよい。そのため、ステッ
プS50では前述したテンプレートを用意する必要はな
い。
チングにおいては、パターンマッチングを行う必要のあ
る領域がステップS45に比べて少なくなる。つまり、ス
テップS45では回旋角Tの検出範囲に対応する扇形の領域
においてパターンマッチングする必要があるが、ステッ
プS50ではおおよその回旋角Tがわかっているので、回旋
角Tの検出範囲の1/10程度に対応する扇形の領域におい
てパターンマッチングを行えばよい。そのため、ステッ
プS50では前述したテンプレートを用意する必要はな
い。
【００５９】
【発明の効果】以上説明したように、本発明によれば、
眼球運動を正確に解析する計測システムおよびその方法
を提供することができる。
眼球運動を正確に解析する計測システムおよびその方法
を提供することができる。
【００６０】また、眼球運動を解析するための指標の設
定が容易な計測システムおよびその方法を提供すること
ができる。
定が容易な計測システムおよびその方法を提供すること
ができる。
【図１】眼球の運動を説明するための図、
【図２】眼球運動の解析処理を説明するためのフローチ
ャート、
ャート、
【図３】本発明にかかる眼球運動を計測するシステムの
基本的な構成を示すブロック図、
基本的な構成を示すブロック図、
【図４】本発明にかかる解析処理におけるキャリブレー
ション手順の一例を示すフローチャート、
ション手順の一例を示すフローチャート、
【図５】キャリブレーションにおける瞳孔五度位置を示
すフレームの推定方法の一例を示すフローチャート、
すフレームの推定方法の一例を示すフローチャート、
【図６】眼の中心を求める方法を説明する図、
【図７】眼球の半径を求める方法を説明する図、
【図８】本発明にかかる解析処理における角度解析手順
の一例を示すフローチャート、
の一例を示すフローチャート、
【図９】瞳孔の向きを表す水平角および垂直角を求める
方法を説明する図、
方法を説明する図、
【図１０】テンプレートを用いたパターンマッチングを
説明する図、
説明する図、
【図１１】瞳孔中心の検出手順の一例を示すフローチャ
ートである。
ートである。
Claims (12)
- 【請求項１】 眼球の運動を計測する計測システムであ
って、 前記眼球の運動が記録された動画像の各フレーム画像を
取得する取得手段と、 前記取得手段により取得されたフレーム画像の一つを基
準画像にして、その基準画像から前記眼球の動きを追跡
するための複数の特徴領域を抽出する抽出手段と、 前記抽出手段により抽出された複数の特徴領域に基づ
き、前記各フレーム画像における眼球の動きを検出する
検出手段とを有することを特徴とする計測システム。 - 【請求項２】 前記眼球の動きは眼球の回旋角として検
出されることを特徴とする請求項1に記載された計測シ
ステム。 - 【請求項３】 前記特徴領域は前記基準画像に含まれる
瞳孔画像の周辺部から抽出され、前記眼球の動きの検出
は、前記特徴領域に対応する領域を各フレーム画像から
検出することにより行われることを特徴とする請求項1
に記載された計測システム。 - 【請求項４】 眼球の運動を計測する計測システムであ
って、 前記眼球の運動が記録された動画像の各フレーム画像を
取得する取得手段と、 所定の視線方向を示すフレーム画像に基づき眼球の中心
および半径を演算する演算手段と、 前記取得手段により取得されたフレーム画像の一つを基
準画像にして、その基準画像から前記眼球の動きを追跡
するための複数の特徴領域を抽出する抽出手段と、 前記眼球の中心および半径、並びに、前記複数の特徴領
域に基づき、前記各フレーム画像における眼球の動きを
検出する検出手段とを有することを特徴とする計測シス
テム。 - 【請求項５】 前記眼球の動きは眼球の回旋角および視
線方向を示す角度として検出されることを特徴とする請
求項4に記載された計測システム。 - 【請求項６】 前記特徴領域は前記基準画像に含まれる
瞳孔画像の周辺部から抽出され、前記眼球の動きの検出
は、瞳孔画像の中心および前記特徴領域に対応する領域
を各フレーム画像から検出することにより行われること
を特徴とする請求項1に記載された計測システム。 - 【請求項７】 前記特徴領域に対応する領域は、前記各
フレーム画像からパターンマッチングにより検出される
ことを特徴とする請求項3または請求項6に記載された計
測システム。 - 【請求項８】 前記パターンマッチングは、前記特徴領
域のパターンを前記眼球の中心に対して所定角度ピッチ
で回転させた複数のパターンに基づき前記対応領域を検
出した後、検出された複数の対応領域のそれぞれについ
て眼球の回旋角を計算し、その回旋角に基づき回転させ
た前記特徴領域の複数のパターンに基づき再び前記対応
領域を検出することを特徴とする請求項7に記載された
計測システム。 - 【請求項９】 眼球の運動を計測する計測方法であっ
て、 前記眼球の運動が記録された動画像の各フレーム画像を
取得し、 取得されたフレーム画像の一つを基準画像にして、その
基準画像から前記眼球の動きを追跡するための複数の特
徴領域を抽出し、 抽出された複数の特徴領域に基づき、前記各フレーム画
像における眼球の動きを検出することを特徴とする計測
方法。 - 【請求項１０】 眼球の運動を計測する計測方法であっ
て、 前記眼球の運動が記録された動画像の各フレーム画像を
取得し、 所定の視線方向を示すフレーム画像に基づき眼球の中心
および半径を演算し、 取得されたフレーム画像の一つを基準画像にして、その
基準画像から前記眼球の動きを追跡するための複数の特
徴領域を抽出し、 前記眼球の中心および半径、並びに、前記複数の特徴領
域に基づき、前記各フレーム画像における眼球の動きを
検出することを特徴とする計測方法。 - 【請求項１１】 眼球の運動を計測する計測方法のプロ
グラムコードが記録された記録媒体であって、 前記眼球の運動が記録された動画像の各フレーム画像を
取得するためのコードと、 取得されたフレーム画像の一つを基準画像にして、その
基準画像から前記眼球の動きを追跡するための複数の特
徴領域を抽出するためのコードと、 抽出された複数の特徴領域に基づき、前記各フレーム画
像における眼球の動きを検出するためのコードとを有す
ることを特徴とする記録媒体。 - 【請求項１２】 眼球の運動を計測する計測方法のプロ
グラムコードが記録された記録媒体であって、 前記眼球の運動が記録された動画像の各フレーム画像を
取得するためのコードと、 所定の視線方向を示すフレーム画像に基づき眼球の中心
および半径を演算するためのコードと、 取得されたフレーム画像の一つを基準画像にして、その
基準画像から前記眼球の動きを追跡するための複数の特
徴領域を抽出するためのコードと、 前記眼球の中心および半径、並びに、前記複数の特徴領
域に基づき、前記各フレーム画像における眼球の動きを
検出するためのコードとを有することを特徴とする記録
媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31195897A JP3634598B2 (ja) | 1997-11-13 | 1997-11-13 | 計測装置およびその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31195897A JP3634598B2 (ja) | 1997-11-13 | 1997-11-13 | 計測装置およびその方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004316219A Division JP3686418B2 (ja) | 2004-10-29 | 2004-10-29 | 計測装置およびその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11137524A true JPH11137524A (ja) | 1999-05-25 |
| JP3634598B2 JP3634598B2 (ja) | 2005-03-30 |
Family
ID=18023489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31195897A Expired - Lifetime JP3634598B2 (ja) | 1997-11-13 | 1997-11-13 | 計測装置およびその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3634598B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001340300A (ja) * | 2000-05-31 | 2001-12-11 | Mixed Reality Systems Laboratory Inc | 瞳孔位置検出装置及び方法、視点位置検出装置及び方法、並びに立体画像表示システム |
| JP2006511305A (ja) * | 2002-12-19 | 2006-04-06 | ボシュ・アンド・ロム・インコーポレイテッド | 球形対象の運動の追跡のためのシステム |
| JP2010102504A (ja) * | 2008-10-23 | 2010-05-06 | Toyota Central R&D Labs Inc | 眼領域検出装置、及びプログラム |
| JP2012518501A (ja) * | 2009-02-26 | 2012-08-16 | カール・ツアイス・ビジョン・ゲーエムベーハー | 眼球支点位置を決定する方法及び装置 |
-
1997
- 1997-11-13 JP JP31195897A patent/JP3634598B2/ja not_active Expired - Lifetime
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001340300A (ja) * | 2000-05-31 | 2001-12-11 | Mixed Reality Systems Laboratory Inc | 瞳孔位置検出装置及び方法、視点位置検出装置及び方法、並びに立体画像表示システム |
| JP2006511305A (ja) * | 2002-12-19 | 2006-04-06 | ボシュ・アンド・ロム・インコーポレイテッド | 球形対象の運動の追跡のためのシステム |
| JP2010102504A (ja) * | 2008-10-23 | 2010-05-06 | Toyota Central R&D Labs Inc | 眼領域検出装置、及びプログラム |
| JP2012518501A (ja) * | 2009-02-26 | 2012-08-16 | カール・ツアイス・ビジョン・ゲーエムベーハー | 眼球支点位置を決定する方法及び装置 |
| US8840247B2 (en) | 2009-02-26 | 2014-09-23 | Carl Zeiss Vision Gmbh | Method and apparatus for determining the location of the ocular pivot point |
| CN104095611A (zh) * | 2009-02-26 | 2014-10-15 | 卡尔蔡斯视觉股份有限公司 | 用于确定眼睛支点位置的方法和设备 |
| US10433724B2 (en) | 2009-02-26 | 2019-10-08 | Carl Zeiss Vision Gmbh | Method and apparatus for determining the location of the ocular pivot point |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3634598B2 (ja) | 2005-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Venkateswarlu | Eye gaze estimation from a single image of one eye | |
| CN102670168B (zh) | 眼科设备及其控制方法 | |
| CN110913751B (zh) | 具有滑动检测和校正功能的可穿戴眼睛跟踪系统 | |
| US5454043A (en) | Dynamic and static hand gesture recognition through low-level image analysis | |
| EP3608755B1 (en) | Electronic apparatus operated by head movement and operation method thereof | |
| Li et al. | Gaze estimation from color image based on the eye model with known head pose | |
| CN105832343B (zh) | 多维视觉手功能康复定量评估系统和评估方法 | |
| US20090022398A1 (en) | Head detecting apparatus, head detecting method, and head detecting program | |
| JP2012518236A (ja) | ジェスチャー認識のための方法及びシステム | |
| US20090042661A1 (en) | Rule based body mechanics calculation | |
| JP2004504684A (ja) | 顔画像処理システム | |
| JP2001101429A (ja) | 顔面の観測方法および顔観測装置ならびに顔観測処理用の記録媒体 | |
| JP7030317B2 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
| CN109634431B (zh) | 无介质浮空投影视觉追踪互动系统 | |
| CN111933275A (zh) | 一种基于眼动与面部表情的抑郁评估系统 | |
| Leelasawassuk et al. | Estimating visual attention from a head mounted IMU | |
| Tharatipyakul et al. | Pose estimation for facilitating movement learning from online videos | |
| JP3686418B2 (ja) | 計測装置およびその方法 | |
| CN114022514A (zh) | 一种融合头部姿态和眼球跟踪的实时视线推断方法 | |
| JPH0326281A (ja) | 動作診断装置 | |
| US11931636B2 (en) | Evaluation method, evaluation system and non-transitory computer-readable medium storing evaluation program | |
| JP3634598B2 (ja) | 計測装置およびその方法 | |
| Weidenbacher et al. | Detection of head pose and gaze direction for human-computer interaction | |
| CN115105062B (zh) | 髋膝关节协调性评估方法、装置、系统和存储介质 | |
| CN110858095A (zh) | 可由头部操控的电子装置与其操作方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040816 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040830 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041029 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041126 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041224 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110107 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110107 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |