JP7444358B2 - 眼球運動測定装置、キャリブレーションシステム、眼球運動測定方法及び眼球運動測定プログラム - Google Patents

Description

本発明は、眼球運動測定装置、キャリブレーションシステム、眼球運動測定方法及び眼球運動測定プログラムに関する。

従来、眼球を撮像することによって眼球運動を計測することにより、被験者の視線方向を算出する技術が開示されている（例えば、特許文献１を参照）。

再公表ＷＯ２０１８／０３０５１５号公報

しかしながら、特許文献１に示すような技術によると、眼球を撮像するカメラと被験者との相対位置関係が変化した場合、撮像された眼球の画像の状況によっては、眼球運動（特に、眼球回旋運動）の計測精度が低下してしまうことがあった。このため、従来では、カメラを眼鏡フレームに搭載して、眼球とカメラとの相対位置関係が変化しにくいようにすることもあった。このように構成した従来技術によると、カメラを眼鏡フレームに搭載した場合、眼球とカメラとの相対位置関係の個人差が比較的大きく、被験者ごとにキャリブレーションする必要があった。しかしながら、被験者ごとにキャリブレーションする場合、比較的多くの方向（例えば、９方向）に視線を変化させて測定する必要があるなど、キャリブレーションに手間がかかるという課題があった。

本発明の一実施形態は、注視点表示装置に表示される注視点を注視する被験者の眼球が撮像された眼球画像を取得する取得部と、前記取得部が取得する前記眼球画像に含まれる瞳孔画像を抽出する瞳孔抽出部と、前記瞳孔抽出部によって前記眼球画像から前記瞳孔画像を抽出できたか否かを判定する判定部と、前記判定部の判定結果に基づいて、前記注視点表示装置に表示される注視点の座標位置を制御する注視点表示制御部と、前記判定部が前記瞳孔画像を抽出できたと判定した場合に、キャリブレーション後の注視点座標位置として記憶部に記憶させ、前記判定部が前記瞳孔画像を抽出できたと判定しなかった場合に、前記注視点表示装置に表示される注視点の座標位置の変化の上限に達した場合には、所定の座標位置を、キャリブレーション後の注視点座標位置として記憶部に記憶させる記憶制御部と、を備える眼球運動測定装置である。

本発明の一実施形態の眼球運動測定装置は、前記瞳孔抽出部が抽出する前記瞳孔画像の前記眼球画像内における座標位置と、前記記憶部に記憶されている前記注視点座標位置と、所定の変換式とに基づいて、前記眼球の回転角度を算出する回転角度算出部を備える。

本発明の一実施形態の眼球運動測定装置において、前記注視点表示制御部は、前記眼球画像から前記瞳孔画像を抽出できなかった場合に、前記注視点表示装置に表示される注視点の座標位置を、複数の座標軸のうちの少なくとも一つの座標軸の方向に、段階的に変化させる。

本発明の一実施形態は、上述の眼球運動測定装置と、上述の注視点表示装置とを備えるキャリブレーションシステムである。

本発明の一実施形態は、注視点表示装置に表示される注視点を注視する被験者の眼球が撮像された眼球画像を取得し、取得された前記眼球画像に含まれる瞳孔画像を抽出し、前記眼球画像から前記瞳孔画像を抽出できたか否かを判定し、前記瞳孔画像を抽出できたか否かの判定結果に基づいて、前記注視点表示装置に表示される注視点の座標位置を制御し、前記瞳孔画像を抽出できたと判定された場合に、キャリブレーション後の注視点座標位置として記憶部に記憶させ、前記瞳孔画像を抽出できたと判定されなかった場合に、前記注視点表示装置に表示される注視点の座標位置の変化の上限に達した場合には、所定の座標位置を、キャリブレーション後の注視点座標位置として記憶部に記憶させる眼球運動測定方法である。

本発明の一実施形態は、コンピュータに、注視点表示装置に表示される注視点を注視する被験者の眼球が撮像された眼球画像を取得し、取得された前記眼球画像に含まれる瞳孔画像を抽出し、前記眼球画像から前記瞳孔画像を抽出できたか否かを判定し、前記瞳孔画像を抽出できたか否かの判定結果に基づいて、前記注視点表示装置に表示される注視点の座標位置を制御し、前記瞳孔画像を抽出できたと判定された場合に、キャリブレーション後の注視点座標位置として記憶部に記憶させ、前記瞳孔画像を抽出できたと判定されなかった場合に、前記注視点表示装置に表示される注視点の座標位置の変化の上限に達した場合には、所定の座標位置を、キャリブレーション後の注視点座標位置として記憶部に記憶させるための眼球運動測定プログラムである。

本発明によれば、キャリブレーションにかかる手間を低減できる眼球運動測定装置、キャリブレーションシステム、眼球運動測定方法及び眼球運動測定プログラムを提供することができる。

本実施形態の眼球運動測定システムの機能構成の一例を示す図である。 本実施形態の眼球運動測定装置の外観構成の一例を示す図である。 本実施形態の被験者と注視点表示装置との相対位置関係の一例を示す図である。 本実施形態の撮像部の画角の一例を示す図である。 本実施形態の注視点座標系と画像座標系との対応関係の一例を示す図である。 本実施形態のキャリブレーション装置の動作の流れの一例を示す図である。 本実施形態の第１位置のキャリブレーション手順の一例を示す図である。 本実施形態の第２位置のキャリブレーション手順の一例を示す図である。 本実施形態の第３位置のキャリブレーション手順の一例を示す図である。 本実施形態の第４位置のキャリブレーション手順の一例を示す図である。 本実施形態の第５位置のキャリブレーション手順の一例を示す図である。 本実施形態の第６位置のキャリブレーション手順の一例を示す図である。 本実施形態のキャリブレーション結果の一例を示す図である。 本実施形態の記憶部に記憶される座標情報の一例を示す図である。 本実施形態のキャリブレーション結果の他の一例を示す図である。 本実施形態の記憶部に記憶される座標情報の他の一例を示す図である。 本実施形態の眼球運動測定装置のテンプレート領域を決定する動作の一例を示す図である。 本実施形態の眼球画像の一例を示す図である。 本実施形態のヒストグラム平坦化処理後の白目領域の画像の一例を示す図である。 本実施形態の特徴点の抽出結果の一例を示す図である。 本実施形態の血管二値化細線化画像の一例を示す図である。 本実施形態の血管対応特徴点の一例を示す図である。

［実施形態］
以下、図面を参照して本実施形態の眼球運動測定システム１について説明する。
図１は、本実施形態の眼球運動測定システム１の機能構成の一例を示す図である。眼球運動測定システム１は、眼球運動測定装置２と、注視点表示装置３０とを備える。なお、眼球運動測定システム１のことを、（すなわち、眼球運動測定装置２と、注視点表示装置３０とを合わせて）キャリブレーションシステムともいう。

［眼球運動測定装置２の構成］
眼球運動測定装置２は、キャリブレーション装置１０と、撮像部２０と、眼球回転角度算出部４０とを備える。
なお、この一例においては、眼球運動測定装置２と撮像部２０とが一体型の装置として構成される場合について説明するが、これに限られない。眼球運動測定装置２と撮像部２０とは個別の装置として構成されてもよい。
まず、撮像部２０の構成について説明する。

［撮像部２０の構成］
図２は、本実施形態の眼球運動測定装置２の外観構成の一例を示す図である。この一例では、眼球運動測定装置２、被験者の頭部に装着されるメガネ型のゴーグルとして構成される。撮像部２０には、右眼撮像部２０Ｒ及び左眼撮像部２０Ｌがある。右眼撮像部２０Ｒは、被験者の右眼を撮像する。左眼撮像部２０Ｌは、被験者の左眼を撮像する。本実施形態においては、右眼撮像部２０Ｒと、左眼撮像部２０Ｌとは、撮像対象の眼が左右異なるだけであり機能的には同一である。本実施形態では右眼撮像部２０Ｒについて説明し、左眼撮像部２０Ｌについての説明を省略する。以下の説明において、右眼撮像部２０Ｒのことを、単に撮像部２０とも記載する。

撮像部２０は、例えば動画像を撮像可能なカメラを備えている。撮像部２０は、被験者の眼球ＥＹを撮像することにより眼球画像ＩＭＧを生成する。

［注視点表示装置３０の構成］
図１に戻り、注視点表示装置３０の構成について説明する。注視点表示装置３０は、表示部３１０を備える。表示部３１０は、例えば、発光体が格子状に配列されたパネルや、液晶ディスプレイなどである。本実施形態の表示部３１０は、水平方向に９列、鉛直方向に７行、合計６３点の各格子点に発光体を備えたパネルとして構成されている。

図３は、本実施形態の被験者と注視点表示装置３０との相対位置関係の一例を示す図である。本実施形態の注視点表示装置３０は、被験者から１～２メートル程度離され、被験者の前方に設置される。被験者の頭部の方向と、注視点表示装置３０の位置との相対関係が固定された状態で、被験者は表示部３１０を注視する。注視点表示装置３０は、上述の６３点の各格子点に配置された各発光体のうち、いずれかの発光体を発光させ、他の発光体を消灯させる。被験者は、表示部３１０が備える複数の発光体のうち、発光している発光体を注視する。以下の説明において、発光している発光体の表示部３１０上の位置を「注視点」ともいう。表示部３１０において発光体が発光している位置（すなわち、注視点）が変化すると、被験者の視線ＧＺの方向が変化する。表示部３１０に対する被験者の頭部の方向が固定されているため、被験者は、頭部の方向を動かさずに、眼球ＥＹを動かすことによって視線ＧＺの方向を変化させる。つまり、被験者の視線ＧＺの方向の変化は、眼球ＥＹの瞳孔の位置の動きとして現れる。
注視点の位置が変化して、被験者の視線ＧＺの方向が変化することにより、撮像部２０の撮像方向から見た被験者の瞳孔の位置が変化する。

図４は、本実施形態の撮像部２０の画角の一例を示す図である。本実施形態の撮像部２０（右眼撮像部２０Ｒ）は、被験者の右眼を仰視する（つまり、見上げる）位置から、被験者の右眼を撮像する。
上述したように、撮像部２０は、眼球ＥＹを撮像することにより眼球画像ＩＭＧを生成する。注視点表示装置３０の注視点の位置が変化すると、被験者の視線ＧＺの方向が変化する。したがって、注視点表示装置３０の注視点の位置が変化すると、撮像部２０が撮像する眼球画像ＩＭＧ内の瞳孔の位置が変化する。
なお、以下の説明において、眼球画像ＩＭＧのうち、瞳孔を示す領域画像のことを瞳孔画像ＰＬともいう。また、眼球画像ＩＭＧ内の瞳孔の位置とは、眼球画像ＩＭＧ内の瞳孔画像ＰＬの位置のことである。

ここで、撮像部２０が撮像する眼球画像ＩＭＧ内の瞳孔の位置を示す座標系と、注視点表示装置３０の注視点の位置を示す座標系との対応関係が既知であれば、眼球画像ＩＭＧ内の瞳孔の位置に対して所定の座標変換を施すことにより、注視点表示装置３０の注視点の位置（つまり、被験者の視線ＧＺの方向）を算出することができる。

なお、撮像部２０が眼球ＥＹを撮像する撮像方向と、被験者の視線ＧＺの方向との幾何学的な位置関係によっては、眼球ＥＹの瞳孔を撮像部２０が撮像できる位置関係の場合と、できない位置関係の場合と（すなわち、眼球画像ＩＭＧに瞳孔画像ＰＬが含まれる場合と、含まれない場合と）がある。もし、眼球画像ＩＭＧに瞳孔画像ＰＬが含まれている場合には、被験者の視線ＧＺの方向を算出することができる。一方、眼球画像ＩＭＧに瞳孔画像ＰＬが含まれていない場合には、被験者の視線ＧＺの方向を算出することができない。

図５は、本実施形態の注視点座標系と画像座標系との対応関係の一例を示す図である。以下の説明において、注視点表示装置３０の注視点の位置を示す座標系を「注視点座標系」ともいう。注視点座標系は、互いに直交するｘ軸及びｙ軸の２軸によって位置を示す。ｘ軸は、注視点表示装置３０の水平方向を示す。ｙ軸は、注視点表示装置３０の垂直方向（鉛直方向）を示す。
また、眼球画像ＩＭＧ内の瞳孔の位置を示す座標系を「画像座標系」ともいう。画像座標系は、互いに直交するＩｘ軸及びＩｙ軸の２軸によって位置を示す。Ｉｘ軸は、眼球画像ＩＭＧの水平方向を示す。Ｉｙ軸は、眼球画像ＩＭＧの垂直方向を示す。
なお、被験者の視線ＧＺの方向と、撮像部２０の撮像軸の方向とが互いに対向している。図４に示す眼球画像ＩＭＧ（すなわち、撮像部２０が撮像した状態をそのまま示した眼球画像ＩＭＧ）と、図５（Ｂ）に示す眼球画像ＩＭＧ（すなわち、注視点座標系に対応付けた眼球画像ＩＭＧ）とは、互いにＩｘ軸方向に反転している。したがって、図５に示すように注視点座標系と画像座標系とを対応付けて表現する場合には、注視点座標系のｘ軸の正方向と、画像座標系のＩｘ軸の正方向とは、互いに対向している。

上述したように、本実施形態の注視点表示装置３０は、水平方向（ｘ軸方向）に９列、鉛直方向（ｙ軸方向）に７行、合計６３点の格子点を備えている。
注視点座標系における注視点の位置を「注視点位置Ｐ」ともいう。被験者が注視点位置Ｐを注視している場合の、画像座標系における瞳孔の位置を「瞳孔位置ＩＰ」ともいう。
ある被験者での一例として、注視点座標系の原点位置（注視点原点位置Ｐｏ）を注視している場合の、画像座標系における瞳孔位置ＩＰを「瞳孔原点位置ＩＰｏ」ともいう。すなわち、この一例では、注視点原点位置Ｐｏと、瞳孔原点位置ＩＰｏとが対応する。
同様に、第１表示位置Ｐａと第１瞳孔位置ＩＰａとが対応し、第２表示位置Ｐｂと第２瞳孔位置ＩＰｂとが対応し、第３表示位置Ｐｃと第３瞳孔位置ＩＰｃとが対応し、第４表示位置Ｐｄと第４瞳孔位置ＩＰｄとが対応し、第５表示位置Ｐｅと第５瞳孔位置ＩＰｅとが対応する。

図１に戻り、眼球回転角度算出部４０は、上述した画像座標系と注視点座標系との対応関係に基づいて、眼球画像ＩＭＧ内の瞳孔の位置から、被験者の眼球ＥＹの回転角度（つまり、視線ＧＺの方向）を算出する。すなわち、眼球回転角度算出部４０は、瞳孔抽出部１２０が抽出する瞳孔画像の眼球画像ＩＭＧ内における座標位置と、記憶部１６０に記憶されている注視点座標位置と、所定の変換式とに基づいて、眼球ＥＹの回転角度を算出する。

ここで、注視点座標系と画像座標系との対応関係は、被験者ごとに異なる、すなわち個人差がある場合がある。したがって、被験者ごとに注視点座標系と画像座標系との対応関係を予め求めておくことにより、それぞれの被験者について、画像座標系から注視点座標系への座標変換を行うことが可能となる。
注視点座標系と画像座標系との対応関係を予め求めておくことを、キャリブレーションともいう。このキャリブレーションを行うキャリブレーション装置１０の機能構成について説明する。

［キャリブレーション装置１０の機能構成］
キャリブレーション装置１０は、画像取得部１１０と、瞳孔抽出部１２０と、判定部１３０と、注視点表示制御部１４０と、記憶制御部１５０と、記憶部１６０とを備える。

画像取得部１１０は、眼球画像ＩＭＧを取得する。ここで、眼球画像ＩＭＧとは、注視点表示装置３０に表示される注視点を注視する被験者の眼球ＥＹが撮像された画像である。すなわち、画像取得部１１０は、注視点表示装置３０に表示される注視点を注視する被験者の眼球ＥＹが撮像された眼球画像ＩＭＧを取得する。画像取得部１１０は、取得した眼球画像ＩＭＧを瞳孔抽出部１２０に出力する。

瞳孔抽出部１２０は、画像取得部１１０が出力する眼球画像ＩＭＧを取得する。この眼球画像ＩＭＧには、被験者の瞳孔の画像（瞳孔画像）が含まれている可能性がある。瞳孔抽出部１２０は、既知の画像処理手法に基づいて、眼球画像ＩＭＧの中から被験者の瞳孔画像の抽出を試みる。すなわち、瞳孔抽出部１２０は、画像取得部１１０が取得する眼球画像ＩＭＧに含まれる瞳孔画像を抽出する。

判定部１３０は、瞳孔抽出部１２０によって眼球画像ＩＭＧから瞳孔画像を抽出できたか否かを判定する。
注視点表示制御部１４０は、判定部１３０の判定結果に基づいて、注視点表示装置３０に表示される注視点の座標位置を制御する。

記憶制御部１５０は、判定部１３０が瞳孔画像を抽出できたと判定した場合に、注視点表示制御部１４０が制御する注視点の座標位置を、キャリブレーション後の注視点座標位置として記憶部１６０に記憶させる。

［キャリブレーション装置１０の動作］
図６は、キャリブレーション装置１０の動作の流れの一例を示す図である。キャリブレーション装置１０は、上述した注視点原点位置Ｐｏ及び第１表示位置Ｐａ～第５表示位置Ｐｅの６点と、瞳孔原点位置ＩＰｏ及び第１瞳孔位置ＩＰａ～第５瞳孔位置ＩＰｅの６点との、それぞれの対応関係についてキャリブレーションを行う。
この一例では、キャリブレーション装置１０は、第１表示位置Ｐａと第１瞳孔位置ＩＰａ、第２表示位置Ｐｂと第２瞳孔位置ＩＰｂ、第３表示位置Ｐｃと第３瞳孔位置ＩＰｃ、第４表示位置Ｐｄと第４瞳孔位置ＩＰｄ、第５表示位置Ｐｅと第５瞳孔位置ＩＰｅ及び注視点原点位置Ｐｏと瞳孔原点位置ＩＰｏ、のそれぞれの対応関係について記載順にキャリブレーションを行う。
キャリブレーション装置１０は、まず、第１表示位置Ｐａと第１瞳孔位置ＩＰａとの対応関係についてキャリブレーションする。

［第１位置のキャリブレーション］
（ステップＳ１０）キャリブレーション装置１０の注視点表示制御部１４０は、初期座標に注視点を表示させる。

図７は、本実施形態の第１位置のキャリブレーション手順の一例を示す図である。ここで、第１位置とは、表示座標系における第１表示位置Ｐａ及び画像座標系における第１瞳孔位置ＩＰａの総称である。
注視点表示制御部１４０は、第１位置の初期座標である第１１頂点座標Ｐ１１に注視点を表示させる。この結果、被験者は、第１１頂点座標Ｐ１１を注視する。

（ステップＳ２０）図６に戻り、撮像部２０は、眼球ＥＹを撮像し眼球画像ＩＭＧを生成する。撮像部２０は生成した眼球画像ＩＭＧを画像取得部１１０に出力する。画像取得部１１０は、眼球画像ＩＭＧを取得する。
（ステップＳ３０）瞳孔抽出部１２０は、ステップＳ２０において画像取得部１１０が取得した眼球画像ＩＭＧから瞳孔画像ＰＬを抽出する。

（ステップＳ４０）判定部１３０は、ステップＳ３０において、瞳孔画像ＰＬが抽出されたか否か（すなわち、撮像部２０によって被験者の瞳孔が撮像されたか否か）を判定する。
ここで、被験者が第１位置を注視した場合、視線ＧＺの右下方向への変化による眼球ＥＹの回転に伴って、被験者の上瞼及び上瞼の睫毛が、被験者の顔の下方向に下がる傾向がある。この場合、上瞼や睫毛が撮像部２０の視界を遮り、瞳孔が撮像されにくい状態になる。撮像部２０が瞳孔を撮像できた場合（つまり、眼球画像ＩＭＧに瞳孔画像ＰＬが含まれている場合）には、眼球運動測定システム１は、被験者の視線ＧＺの方向を算出することができる。一方、撮像部２０が瞳孔を撮像できない場合（つまり、眼球画像ＩＭＧに瞳孔画像ＰＬが含まれない場合）には、眼球運動測定システム１は、被験者の視線ＧＺの方向を算出することができない。
判定部１３０は、ステップＳ３０において、瞳孔画像ＰＬが抽出されたと判定した場合（ステップＳ４０；ＹＥＳ）には、処理をステップＳ６０に進める。
また、判定部１３０は、ステップＳ３０において、瞳孔画像ＰＬが抽出されていないと判定した場合（ステップＳ４０；ＮＯ）には、処理をステップＳ５０に進める。

（ステップＳ５０）注視点表示制御部１４０は、第１位置の注視点の表示位置をｙ軸の正方向（＋ｙ方向）に１段階ぶん変更する。本実施形態の一例の場合、１段階ぶんとは、ｘ軸ｙ軸ともに１０度である。すなわち、注視点表示制御部１４０は、ｘ軸ｙ軸ともに１０度刻みで位置を段階的に変化させる。
より具体的には、図７に示すように、注視点表示制御部１４０は、第１位置の注視点の表示位置を第１１頂点座標Ｐ１１から第１２頂点座標Ｐ１２に変更する。

キャリブレーション装置１０は、ステップＳ４０において瞳孔画像ＰＬが抽出されたと判定されるまで、上述のステップＳ２０～ステップＳ５０を繰り返し実行する。つまり、キャリブレーション装置１０は、瞳孔画像ＰＬが抽出されたと判定されるまで、第１位置の注視点の表示位置を段階的に変更する。

換言すれば、注視点表示制御部１４０は、眼球画像ＩＭＧから瞳孔画像を抽出できなかった場合に、注視点表示装置３０に表示される注視点の座標位置を、複数の座標軸のうちの少なくとも一つの座標軸の方向に、段階的に変化させる。

（ステップＳ６０）図６に戻り、ステップＳ４０において瞳孔画像ＰＬが抽出されたと判定された場合には、記憶制御部１５０は、表示されている注視点の座標を記憶部１６０に記憶させる。
一例として、第１位置の注視点が第１１頂点座標Ｐ１１である場合には、瞳孔画像ＰＬが抽出されず、注視点が第１２頂点座標Ｐ１２である場合には、瞳孔画像ＰＬが抽出されたとする。この場合には、記憶制御部１５０は、第１２頂点座標Ｐ１２の座標（ｘ＝＋４０度、ｙ＝－２０度）を、第１位置の座標として記憶部１６０に記憶させる。

図１４は、本実施形態の記憶部１６０に記憶される座標情報の一例を示す図である。記憶部１６０には、第１位置の座標（注視点番号Ｐ１）について、第１２頂点座標Ｐ１２の座標（ｘ＝＋４０度、ｙ＝－２０度）が記憶されている。

（ステップＳ７０）キャリブレーション装置１０は、６点すべてのキャリブレーションが終了したか否かを判定する。キャリブレーション装置１０は、６点のキャリブレーションが終了していないと判定した場合（ステップＳ７０；ＮＯ）には、処理をステップＳ１０に戻す。キャリブレーション装置１０は、６点のキャリブレーションが終了したと判定した場合（ステップＳ７０；ＹＥＳ）には、一連のキャリブレーション動作を終了する。
この一例では、キャリブレーション装置１０は、第１位置のキャリブレーションを終え、第２位置のキャリブレーションを開始する。

［第２位置のキャリブレーション］
図８は、本実施形態の第２位置のキャリブレーション手順の一例を示す図である。ここで、第２位置とは、表示座標系における第２表示位置Ｐｂ及び画像座標系における第２瞳孔位置ＩＰｂの総称である。

（ステップＳ１０）キャリブレーション装置１０の注視点表示制御部１４０は、第２位置の初期座標である第２１頂点座標Ｐ２１に注視点を表示させる。この結果、被験者は、第２１頂点座標Ｐ２１を注視する。

キャリブレーション装置１０は、第１位置の場合と同様にして、上述したステップＳ２０～ステップＳ７０を実行する。以下、第１位置の場合と同様の動作については記載を省略し、第１位置の場合と異なる動作について説明する。

被験者が第２位置を注視した場合、視線ＧＺの右上方向への変化による眼球ＥＹの回転に伴って、被験者の右眼が大きく見開かれた状態となる。ここで、撮像部２０による撮像のために、例えば近赤外線などの撮像補助光が投光されている場合がある。この場合、被験者の右眼が大きく見開かれた状態であると、投光角度によっては撮像補助光の影の影響によって瞳孔中心が正しく撮像されない場合がある。
判定部１３０は、ステップＳ３０において、瞳孔画像ＰＬが抽出されたと判定した場合（ステップＳ４０；ＹＥＳ）には、処理をステップＳ６０に進める。
また、判定部１３０は、ステップＳ３０において、瞳孔画像ＰＬが抽出されていないと判定した場合（ステップＳ４０；ＮＯ）には、処理をステップＳ５０に進める。

（ステップＳ５０）注視点表示制御部１４０は、第２位置の注視点の表示位置をｙ軸の負方向（－ｙ方向）に１段階ぶん変更する。本実施形態の一例の場合、図８に示すように、注視点表示制御部１４０は、第２位置の注視点の表示位置を第２１頂点座標Ｐ２１から第２２頂点座標Ｐ２２に変更する。

キャリブレーション装置１０は、ステップＳ４０において瞳孔画像ＰＬが抽出されたと判定されるまで、上述のステップＳ２０～ステップＳ５０を繰り返し実行する。つまり、キャリブレーション装置１０は、瞳孔画像ＰＬが抽出されたと判定されるまで、第２位置の注視点の表示位置を段階的に変更する。

すなわち、キャリブレーション装置１０は、第２２頂点座標Ｐ２２においても瞳孔画像ＰＬが抽出されていないと判定した場合には、第２位置の注視点の表示位置をｘ軸の負方向（－ｘ方向）に１段階ぶん変更する。本実施形態の一例の場合、図８に示すように、注視点表示制御部１４０は、第２位置の注視点の表示位置を第２２頂点座標Ｐ２２から第２３頂点座標Ｐ２３に変更する。

換言すれば、注視点表示制御部１４０は、眼球画像ＩＭＧから瞳孔画像を抽出できなかった場合に、注視点表示装置３０に表示される注視点の座標位置を、複数の座標軸のうちの少なくとも一つの座標軸の方向に、段階的に変化させる。

（ステップＳ６０）図６に戻り、ステップＳ４０において瞳孔画像ＰＬが抽出されたと判定された場合には、記憶制御部１５０は、表示されている注視点の座標を記憶部１６０に記憶させる。
一例として、第２位置の注視点が第２１頂点座標Ｐ２１である場合に、瞳孔画像ＰＬが抽出されたとする。この場合には、記憶制御部１５０は、第２１頂点座標Ｐ２１の座標（ｘ＝４０度、ｙ＝３０度）を、第２位置の座標として記憶部１６０に記憶させる。

図１４に示すように、記憶部１６０には、第２位置の座標（注視点番号Ｐ２）について、第２２頂点座標Ｐ２２の座標（ｘ＝＋４０度、ｙ＝＋３０度）が記憶されている。

［第３位置のキャリブレーション］
図９は、本実施形態の第３位置のキャリブレーション手順の一例を示す図である。ここで、第３位置とは、表示座標系における第３表示位置Ｐｃ及び画像座標系における第３瞳孔位置ＩＰｃの総称である。

（ステップＳ１０）キャリブレーション装置１０の注視点表示制御部１４０は、第３位置の初期座標である第３１頂点座標Ｐ３１に注視点を表示させる。この結果、被験者は、第３１頂点座標Ｐ３１を注視する。
ここで、第３位置の初期座標のｙ座標は、上述した第１位置（例えば、第１２頂点座標Ｐ１２）と、第２位置（例えば、第２１頂点座標Ｐ２１）との間の、ｙ軸方向の中点に定められる。具体的には、第１位置（例えば、第１２頂点座標Ｐ１２）のｙ座標が－２０度であり、第２位置（例えば、第２１頂点座標Ｐ２１）のｙ座標が＋３０度である。この場合、第３位置のｙ座標は、－２０度と＋３０度とのｙ軸方向の中点である＋５として算出される。

なお、本実施形態において、第３位置の座標はｘ軸ｙ軸ともに１０度刻みで変化する。この場合、第３位置のｙ座標として算出された＋５度を１０度刻みに切り上げて＋１０度とする。すなわち、第３位置の初期座標（つまり、第３１頂点座標Ｐ３１の座標）は、ｘ＝－４０度、ｙ＝＋１０度と算出される。
なお、注視点表示制御部１４０は、中点を算出する際に、１段階（例えば、１０度）未満の端数を切り上げるものとして説明したが、１段階（例えば、１０度）未満の端数を切り捨ててもよい。

キャリブレーション装置１０は、第１位置の場合と同様にして、上述したステップＳ２０～ステップＳ７０を実行する。以下、第１位置の場合と同様の動作については記載を省略し、第１位置の場合と異なる動作について説明する。

（ステップＳ５０）ステップＳ３０において瞳孔画像ＰＬが抽出されていないと判定された場合、注視点表示制御部１４０は、第３位置の注視点の表示位置をｘ軸の正方向（＋ｘ方向）に１段階ぶん変更する。本実施形態の一例の場合、図９に示すように、注視点表示制御部１４０は、第３位置の注視点の表示位置を第３１頂点座標Ｐ３１から第３２頂点座標Ｐ３２に変更する。

キャリブレーション装置１０は、ステップＳ４０において瞳孔画像ＰＬが抽出されたと判定されるまで、上述のステップＳ２０～ステップＳ５０を繰り返し実行する。つまり、キャリブレーション装置１０は、瞳孔画像ＰＬが抽出されたと判定されるまで、第３位置の注視点の表示位置を段階的に変更する。

すなわち、キャリブレーション装置１０は、第３２頂点座標Ｐ３２においても瞳孔画像ＰＬが抽出されていないと判定した場合には、第３位置の注視点の表示位置をｘ軸の正方向（＋ｘ方向）にさらに１段階ぶん変更する。本実施形態の一例の場合、図９に示すように、注視点表示制御部１４０は、第３位置の注視点の表示位置を第３２頂点座標Ｐ３２から第３３頂点座標Ｐ３３に変更する。

換言すれば、注視点表示制御部１４０は、眼球画像ＩＭＧから瞳孔画像を抽出できなかった場合に、注視点表示装置３０に表示される注視点の座標位置を、複数の座標軸のうちの少なくとも一つの座標軸の方向に、段階的に変化させる。

（ステップＳ６０）図６に戻り、ステップＳ４０において瞳孔画像ＰＬが抽出されたと判定された場合には、記憶制御部１５０は、表示されている注視点の座標を記憶部１６０に記憶させる。
一例として、第３位置の注視点が第３１頂点座標Ｐ３１である場合に、瞳孔画像ＰＬが抽出されず、第３２頂点座標Ｐ３２である場合に瞳孔画像ＰＬが抽出されたとする。この場合には、記憶制御部１５０は、第３２頂点座標Ｐ３２の座標（ｘ＝－１０度、ｙ＝＋１０度）を、第３位置の座標として記憶部１６０に記憶させる。

図１４に示すように、記憶部１６０には、第３位置の座標（注視点番号Ｐ３）について、第３２頂点座標Ｐ３２の座標（ｘ＝－１０度、ｙ＝＋１０度）が記憶されている。

［第４位置のキャリブレーション］
図１０は、本実施形態の第４位置のキャリブレーション手順の一例を示す図である。ここで、第４位置とは、表示座標系における第４表示位置Ｐｄ及び画像座標系における第４瞳孔位置ＩＰｄの総称である。

（ステップＳ１０）キャリブレーション装置１０の注視点表示制御部１４０は、第４位置の初期座標である第４１頂点座標Ｐ４１に注視点を表示させる。この結果、被験者は、第４１頂点座標Ｐ４１を注視する。
ここで、第４位置の初期座標のｘ座標は、上述した第１位置（例えば、第１２頂点座標Ｐ１２）と、第３位置（例えば、第３２頂点座標Ｐ３２）との間の、ｘ軸方向の中点に定められる。具体的には、第１位置（例えば、第１２頂点座標Ｐ１２）のｘ座標が＋４０度であり、第３位置（例えば、第３２頂点座標Ｐ３２）のｘ座標が－１０度である。この場合、第４位置のｘ座標は、＋４０度と－１０度とのｘ軸方向の中点である＋１０度として算出される。
また、第４位置の初期座標のｙ座標は、上述した第１位置（例えば、第１２頂点座標Ｐ１２）のｙ座標よりも１段階低い（つまり、ｙ軸の負方向に１０度ずれた）位置に定められる。具体的には、第１位置（例えば、第１２頂点座標Ｐ１２）のｙ座標が－２０度である。この場合、第４位置のｙ座標は、－２０度からｙ軸の負方向に１０度ずれた－３０度として算出される。

なお、注視点表示制御部１４０は、中点を算出する際に、１段階（例えば、１０度）未満の端数を切り上げ、または切り捨ててもよい。

キャリブレーション装置１０は、第１位置の場合と同様にして、上述したステップＳ２０～ステップＳ７０を実行する。以下、第１位置の場合と同様の動作については記載を省略し、第１位置の場合と異なる動作について説明する。

（ステップＳ５０）ステップＳ３０において瞳孔画像ＰＬが抽出されていないと判定された場合、注視点表示制御部１４０は、第４位置の注視点の表示位置をｙ軸の正方向（＋ｙ方向）に１段階ぶん変更する。

ここで、被験者が第４位置を注視した場合、視線ＧＺの左下方向への変化による眼球ＥＹの回転に伴って、被験者の上瞼及び上瞼の睫毛が、被験者の顔の下方向に下がる傾向がある。この場合、上瞼や睫毛が撮像部２０の視界を遮り、瞳孔が撮像されにくい状態になる。撮像部２０が瞳孔を撮像できた場合（つまり、眼球画像ＩＭＧに瞳孔画像ＰＬが含まれている場合）には、眼球運動測定システム１は、被験者の視線ＧＺの方向を算出することができる。一方、撮像部２０が瞳孔を撮像できない場合（つまり、眼球画像ＩＭＧに瞳孔画像ＰＬが含まれない場合）には、眼球運動測定システム１は、被験者の視線ＧＺの方向を算出することができない。
上瞼や睫毛が撮像部２０の視界を遮り、瞳孔が撮像されない場合には、視線ＧＺをやや上げることにより被験者の上瞼及び上瞼の睫毛の下がりを低減することで、瞳孔が撮像されやすくなる。
本実施形態の一例の場合、図１０に示すように、注視点表示制御部１４０は、第４位置の注視点の表示位置を第４１頂点座標Ｐ４１から第４２頂点座標Ｐ４２に変更する。

キャリブレーション装置１０は、ステップＳ４０において瞳孔画像ＰＬが抽出されたと判定されるまで、上述のステップＳ２０～ステップＳ５０を繰り返し実行する。つまり、キャリブレーション装置１０は、瞳孔画像ＰＬが抽出されたと判定されるまで、第４位置の注視点の表示位置を段階的に変更する。

換言すれば、注視点表示制御部１４０は、眼球画像ＩＭＧから瞳孔画像を抽出できなかった場合に、注視点表示装置３０に表示される注視点の座標位置を、複数の座標軸のうちの少なくとも一つの座標軸の方向に、段階的に変化させる。

（ステップＳ６０）図６に戻り、ステップＳ４０において瞳孔画像ＰＬが抽出されたと判定された場合には、記憶制御部１５０は、表示されている注視点の座標を記憶部１６０に記憶させる。
一例として、第４位置の注視点が第４１頂点座標Ｐ４１である場合に瞳孔画像ＰＬが抽出されたとする。この場合には、記憶制御部１５０は、第４１頂点座標Ｐ４１の座標（ｘ＝＋１０度、ｙ＝－３０度）を、第４位置の座標として記憶部１６０に記憶させる。

図１４に示すように、記憶部１６０には、第４位置の座標（注視点番号Ｐ４）について、第４１頂点座標Ｐ４１の座標（ｘ＝＋１０度、ｙ＝－３０度）が記憶されている。

［第５位置のキャリブレーション］
図１１は、本実施形態の第５位置のキャリブレーション手順の一例を示す図である。ここで、第５位置とは、第５表示位置Ｐｅ及び第５瞳孔位置ＩＰｅの総称である。

（ステップＳ１０）キャリブレーション装置１０の注視点表示制御部１４０は、第５位置の初期座標である第５１頂点座標Ｐ５１に注視点を表示させる。この結果、被験者は、第５１頂点座標Ｐ５１を注視する。
ここで、第５位置の初期座標のｙ座標は、３０に定められる。
また、第５位置の初期座標のｘ座標は、上述した第２位置（例えば、第２１頂点座標Ｐ２１）と、第３位置（例えば、第３２頂点座標Ｐ３２）との間の、ｘ軸方向の中点に定められる。具体的には、第２位置（例えば、第２１頂点座標Ｐ２１）のｘ座標が＋４０度であり、第３位置（例えば、第３２頂点座標Ｐ３２）のｘ座標が－１０度である。この場合、第５位置のｘ座標は、＋４０度と－１０度とのｘ軸方向の中点である＋１０度として算出される。

なお、注視点表示制御部１４０は、中点を算出する際に、１段階（例えば、１０度）未満の端数を切り上げ、または切り捨ててもよい。

キャリブレーション装置１０は、第１位置の場合と同様にして、上述したステップＳ２０～ステップＳ７０を実行する。以下、第１位置の場合と同様の動作については記載を省略し、第１位置の場合と異なる動作について説明する。

（ステップＳ５０）ステップＳ３０において瞳孔画像ＰＬが抽出されていないと判定された場合、注視点表示制御部１４０は、第５位置の注視点の表示位置をｙ軸の負方向（－ｙ方向）に１段階ぶん変更する。

被験者が第５位置を注視した場合、視線ＧＺが左上方向になるため、瞳孔の位置が、右眼を撮像する撮像部２０から、より離れた位置になる。この場合、撮像部２０が、瞳孔中心を正しく撮像することができない場合がある。被験者が第５位置を注視した場合に、瞳孔中心を正しく撮像することができない場合には、注視点をより下側に移動させることにより、瞳孔中心を正しく撮像することができるようになる。
本実施形態の一例の場合、図１１に示すように、注視点表示制御部１４０は、第５位置の注視点の表示位置を第５１頂点座標Ｐ５１から第５２頂点座標Ｐ５２に変更する。

換言すれば、注視点表示制御部１４０は、眼球画像ＩＭＧから瞳孔画像を抽出できなかった場合に、注視点表示装置３０に表示される注視点の座標位置を、複数の座標軸のうちの少なくとも一つの座標軸の方向に、段階的に変化させる。

（ステップＳ６０）図６に戻り、ステップＳ４０において瞳孔画像ＰＬが抽出されたと判定された場合には、記憶制御部１５０は、表示されている注視点の座標を記憶部１６０に記憶させる。
一例として、第５位置の注視点が第５２頂点座標Ｐ５２である場合に瞳孔画像ＰＬが抽出されたとする。この場合には、記憶制御部１５０は、第５２頂点座標Ｐ５２の座標（ｘ＝＋１０度、ｙ＝＋２０度）を、第５位置の座標として記憶部１６０に記憶させる。

図１４に示すように、記憶部１６０には、第５位置の座標（注視点番号Ｐ５）について、第５２頂点座標Ｐ５２の座標（ｘ＝＋１０度、ｙ＝＋２０度）が記憶されている。

［第６位置（原点位置）のキャリブレーション］
図１２は、本実施形態の第６位置のキャリブレーション手順の一例を示す図である。ここで、第６位置とは、原点位置ともいい、中心座標Ｐ６１及び瞳孔原点位置ＩＰｏの総称である。

（ステップＳ１０）キャリブレーション装置１０の注視点表示制御部１４０は、第６位置の座標である中心座標Ｐ６１に注視点を表示させる。この結果、被験者は、中心座標Ｐ６１を注視する。
中心座標Ｐ６１のｘ座標及びｙ座標は、上述した第１位置～第５位置を頂点とする５角形の重心の位置として算出される。この一例の場合、中心座標Ｐ６１のｘ座標は＋２０度、ｙ座標は０度と算出される。

なお、注視点表示制御部１４０は、重心の位置を算出する際に、１段階（例えば、１０度）未満の端数を切り上げ、または切り捨ててもよい。

（ステップＳ６０）図６に戻り、記憶制御部１５０は、表示されている注視点の座標、すなわち中心座標Ｐ６１のｘ座標＋２０度、ｙ座標０度を、記憶部１６０に記憶させる。
図１４に示すように、記憶部１６０には、第６位置の座標（注視点番号Ｐ６）について、中心座標Ｐ６１の座標（ｘ＝＋２０度、ｙ＝０度）が記憶されている。

［表示座標系と画像座標系との対応付け］
図１３は、本実施形態のキャリブレーション結果の一例を示す図である。キャリブレーション装置１０は、表示座標系と画像座標系とを対応付ける。この一例では、キャリブレーション装置１０は、第１２頂点座標Ｐ１２と第１瞳孔位置ＩＰａ、第２１頂点座標Ｐ２１と第２瞳孔位置ＩＰｂ、第３２頂点座標Ｐ３２と第３瞳孔位置ＩＰｃ、第４１頂点座標Ｐ４１と第４瞳孔位置ＩＰｄ、第５２頂点座標Ｐ５２と第５瞳孔位置ＩＰｅ、及び、中心座標Ｐ６１と瞳孔原点位置ＩＰｏをそれぞれ対応付ける。
キャリブレーション装置１０の記憶制御部１５０は、表示座標系と画像座標系との対応付け結果を記憶部１６０に記憶させる。

図１に戻り、眼球回転角度算出部４０は、眼球画像ＩＭＧに含まれる瞳孔画像ＰＬの位置（つまり、画像座標系における瞳孔の位置）と、表示座標系と画像座標系との対応付けの結果（つまり、記憶部１６０に記憶されているキャリブレーション結果）とに基づき、被験者の眼球回転角度（つまり、視線ＧＺの方向）を算出する。
例えば、式（１）及び式（２）に示す算出すべき６種類のパラメータは、記憶部１６０に記憶されているキャリブレーション結果によって求められる。

ここで、式（１）及び式（２）は、６種類の未知数（パラメータ）、すなわち、ａ０～ａ５及びｂ０～ｂ５を有する共二次式である。これら６種類の未知数を決定するためには、表示座標系と画像座標系との対応関係を最低６組与える必要がある。眼球運動測定システム１は、上述した第１位置～第６位置の測定結果から、表示座標系と画像座標系との対応関係を６組与えることにより、上述の６種類の未知数を決定する。眼球回転角度算出部４０は、式（１）及び式（２）に対して、瞳孔抽出部１２０が抽出する瞳孔画像ＰＬが示す瞳孔中心座標を代入することにより、眼球の回転角度を算出する。

なお、記憶制御部１５０は、注視点表示装置３０に表示される注視点の座標位置の変化の上限に達した場合には、所定の座標位置を、キャリブレーション後の注視点座標位置として記憶部１６０に記憶させてもよい。

上述した一例においては、第１位置について、第１１頂点座標Ｐ１１、第１２頂点座標Ｐ１２及び第１３頂点座標Ｐ１３の３段階に座標位置が変化する。この場合、注視点の座標位置の変化の上限とは、第１３頂点座標Ｐ１３である。すなわち、記憶制御部１５０は、第１３頂点座標Ｐ１３に注視点が表示されている場合に、瞳孔画像ＰＬが取得できない場合であっても、上限である第１３頂点座標Ｐ１３を第１位置として記憶させる。

同様に、第２位置について、第２１頂点座標Ｐ２１、第２２頂点座標Ｐ２２及び第２３頂点座標Ｐ２３の３段階に座標位置が変化する。この場合、注視点の座標位置の変化の上限とは、第２３頂点座標Ｐ２３である。すなわち、記憶制御部１５０は、第２３頂点座標Ｐ２３に注視点が表示されている場合に、瞳孔画像ＰＬが取得できない場合であっても、上限である第２３頂点座標Ｐ２３を第２位置として記憶させる。

同様に、第３位置について、第３１頂点座標Ｐ３１、第３２頂点座標Ｐ３２及び第３３頂点座標Ｐ３３の３段階に座標位置が変化する。この場合、注視点の座標位置の変化の上限とは、第３３頂点座標Ｐ３３である。すなわち、記憶制御部１５０は、第３３頂点座標Ｐ３３に注視点が表示されている場合に、瞳孔画像ＰＬが取得できない場合であっても、上限である第３３頂点座標Ｐ３３を第３位置として記憶させる。

同様に、第４位置について、第４１頂点座標Ｐ４１及び第４２頂点座標Ｐ４２の２段階に座標位置が変化する。この場合、注視点の座標位置の変化の上限とは、第４２頂点座標Ｐ４２である。すなわち、記憶制御部１５０は、第４２頂点座標Ｐ４２に注視点が表示されている場合に、瞳孔画像ＰＬが取得できない場合であっても、上限である第４２頂点座標Ｐ４２を第４位置として記憶させる。

同様に、第５位置について、第５１頂点座標Ｐ５１及び第５２頂点座標Ｐ５２の２段階に座標位置が変化する。この場合、注視点の座標位置の変化の上限とは、第５２頂点座標Ｐ５２である。すなわち、記憶制御部１５０は、第５２頂点座標Ｐ５２に注視点が表示されている場合に、瞳孔画像ＰＬが取得できない場合であっても、上限である第５２頂点座標Ｐ５２を第５位置として記憶させる。

［実施形態のまとめ］
以上説明したように、本実施形態の眼球運動測定システム１は、上述した第１位置～第６位置の測定結果から、表示座標系と画像座標系との対応関係を６組与えることにより、上述の６種類の未知数を決定する。このように構成された、眼球運動測定システム１によれば、比較的少ない測定点によって比較的高精度なキャリブレーションを行うことができる。

［表示座標系と画像座標系との対応付け（変形例）］
なお、本実施形態の眼球運動測定システム１によってキャリブレーションを行う場合、各注視点の初期座標において瞳孔画像ＰＬが取得される場合がある。この変形例では、第１位置～第５位置について、いずれも初期座標において瞳孔画像ＰＬが取得される場合について説明する。

図１５は、本実施形態のキャリブレーション結果の他の一例を示す図である。キャリブレーション装置１０は、表示座標系と画像座標系とを対応付ける。この一例では、キャリブレーション装置１０は、第１１頂点座標Ｐ１１と第１瞳孔位置ＩＰａ、第２１頂点座標Ｐ２１と第２瞳孔位置ＩＰｂ、第３１頂点座標Ｐ３１と第３瞳孔位置ＩＰｃ、第４１頂点座標Ｐ４１と第４瞳孔位置ＩＰｄ、第５１頂点座標Ｐ５１と第５瞳孔位置ＩＰｅ、及び、中心座標Ｐ６１と瞳孔原点位置ＩＰｏをそれぞれ対応付ける。
キャリブレーション装置１０の記憶制御部１５０は、表示座標系と画像座標系との対応付け結果を記憶部１６０に記憶させる。

図１６は、本実施形態の記憶部１６０に記憶される座標情報の他の一例を示す図である。記憶部１６０には、第１位置の座標（注視点番号Ｐ１）について、第１１頂点座標Ｐ１１（ｘ＝＋４０度、ｙ＝－３０度）が記憶されている。同様に、記憶部１６０には、第２位置の座標（注視点番号Ｐ２）について第２１頂点座標Ｐ２１（ｘ＝＋４０度、ｙ＝＋３０度）が、第３位置の座標（注視点番号Ｐ３）について第３１頂点座標Ｐ３１（ｘ＝－２０度、ｙ＝０度）が、第４位置の座標（注視点番号Ｐ４）について第４１頂点座標Ｐ４１（ｘ＝＋１０度、ｙ＝－３０度）が、第５位置の座標（注視点番号Ｐ５）について第５１頂点座標Ｐ５１（ｘ＝＋１０度、ｙ＝＋３０度）が、第６位置の座標（注視点番号Ｐ６）について中心座標Ｐ６１（ｘ＝＋２０度、ｙ＝０度）が、それぞれ記憶されている。

すなわち、本実施形態の眼球運動測定システム１は、各注視点の初期座標において瞳孔画像ＰＬが取得されるようにして、初期座標が定められている。このように構成された眼球運動測定システム１によれば、各注視点の表示位置を初期座標から変更をしない（又は
変更を比較的少なくする）ため、キャリブレーションの所要時間を比較的短くすることができる。すなわち、眼球運動測定システム１によれば、キャリブレーションにかかる手間を低減できる。

［眼球運動測定装置２の変形例］
瞳孔抽出部１２０は、画像取得部１１０が取得する眼球画像ＩＭＧに含まれる白目領域ＥＷ内の特徴点ＦＰを抽出することにより、瞳孔画像ＰＬを抽出してもよい。この場合において、瞳孔抽出部１２０は、テンプレート候補領域ＴＣに基づいて、眼球画像ＩＭＧから特徴点ＦＰを抽出することにより、瞳孔画像ＰＬを抽出してもよい。
瞳孔抽出部１２０は、複数のテンプレート候補領域ＴＣのうち、特徴点ＦＰがより多く含まれているテンプレート候補領域ＴＣを、テンプレート領域ＴＰとして選択する。
眼球回転角度算出部４０は、瞳孔抽出部１２０が選択するテンプレート領域ＴＰを用いて、画像取得部１１０が取得する眼球画像ＩＭＧの動きを追跡することにより、被験者の眼球ＥＹの三次元運動を測定する。
これら各部の動作の具体例について、図１７を参照して説明する。

［テンプレート画像の決定］
図１７は、本実施形態の眼球運動測定装置２のテンプレート領域ＴＰを決定する動作の一例を示す図である。
（ステップＳ１１０）画像取得部１１０は、撮像部２０が撮像した眼球画像ＩＭＧを取得する。この眼球画像ＩＭＧの一例について、図１８に示す。

図１８は、本実施形態の眼球画像ＩＭＧの一例を示す図である。この一例においては、撮像部２０は、被験者の左目の眼球ＥＹを撮像して眼球画像ＩＭＧを生成する。この眼球画像ＩＭＧには、白目領域ＥＷが含まれている。

（ステップＳ１２０）瞳孔抽出部１２０は、画像取得部１１０が取得した眼球画像ＩＭＧから白目領域ＥＷの画像（白目画像ともいう。）を抽出する。

（ステップＳ１３０）瞳孔抽出部１２０は、ステップＳ１２０において抽出した白目画像に対して、ヒストグラム平坦化を行う。このヒストグラム平均化によって、瞳孔抽出部１２０は、白目領域ＥＷと血管像との濃淡コントラストを大きくすることにより、白目領域ＥＷに含まれる血管の画像を強調する。
すなわち、瞳孔抽出部１２０は、白目領域ＥＷ内の各画素の画素値について少なくともヒストグラム平坦化を含む統計処理を行う。瞳孔抽出部１２０がヒストグラム平坦化を行った後の白目領域ＥＷの画像の一例を図１９に示す。
図１９は、本実施形態のヒストグラム平坦化処理後の白目領域ＥＷの画像の一例を示す図である。

（ステップＳ１４０）図１７に戻り、瞳孔抽出部１２０は、ヒストグラム平坦化を行った白目画像に対して、従来手法（例えば、ＯＲＢ；Oriented FAST and Rotated BRIEF）によって特徴点ＦＰの抽出を行う。瞳孔抽出部１２０が特徴点ＦＰの抽出を行った結果の一例を図２０に示す。

図２０は、本実施形態の特徴点ＦＰの抽出結果の一例を示す図である。瞳孔抽出部１２０は、白目領域ＥＷ内の各画素の画素値について統計処理を行うことにより、白目領域ＥＷ内の特徴点ＦＰを抽出する。この一例では、瞳孔抽出部１２０は、各画素に対する統計処理として、ヒストグラム平坦化を行う。

（ステップＳ１５０）図１７に戻り、瞳孔抽出部１２０は、ステップＳ１２０において抽出した白目画像を二値化し、さらに、二値化した画像を細線化した画像（血管二値化細線化画像ＢＴＮ）を生成する。具体的には、瞳孔抽出部１２０は、近傍領域のサイズ１７×１７［ｐｉｘｅｌ］の輝度値においてガウシアンによる重み付けの総和からオフセット値（例えば、４）を差し引いた数値を閾値とする適応的二値化処理を行った後、細線化処理を行う。この結果、白目領域ＥＷの画像に含まれる血管の位置ＰＶが抽出される。瞳孔抽出部１２０が生成する血管二値化細線化画像ＢＴＮの一例を図２１に示す。
図２１は、本実施形態の血管二値化細線化画像ＢＴＮの一例を示す図である。

（ステップＳ１６０）図１７に戻り、瞳孔抽出部１２０は、ステップＳ１４０において抽出した特徴点ＦＰと、ステップＳ１５０において抽出した血管の位置ＰＶとを重ね合わせることにより、ステップＳ１４０において抽出された特徴点ＦＰのうち血管の周囲の特徴点（血管対応特徴点ＶＦＰ）を抽出する。この瞳孔抽出部１２０が抽出した血管対応特徴点ＶＦＰの一例を図２２に示す。

図２２は、本実施形態の血管対応特徴点ＶＦＰの一例を示す図である。すなわち、瞳孔抽出部１２０は、特徴点ＦＰのうち、白目領域ＥＷ内の血管の位置ＰＶに対応する特徴点ＦＰとしての血管対応特徴点ＶＦＰを選択する。

（ステップＳ１７０）図１７に戻り、瞳孔抽出部１２０は、ステップＳ１４０において抽出された特徴点ＦＰのうちの、ある特徴点ＦＰを中心とする領域（例えば、５０［ｐｉｘｅｌ］×５０［ｐｉｘｅｌ］の領域）内に、特徴点がいくつ含まれるかを、ステップＳ１４０において抽出された特徴点毎に計数する。以下の説明において、この特徴点ＦＰを中心とする領域のことを、テンプレート候補領域ＴＣともいう。

すなわち、瞳孔抽出部１２０は、抽出する特徴点ＦＰのうち、白目領域ＥＷ内の血管の位置ＰＶに対応する特徴点ＦＰとして選択された特徴点（血管対応特徴点ＶＦＰ）毎に、テンプレート候補領域ＴＣを生成する。図２０を参照して、より具体的に説明する。

図２０は、本実施形態のテンプレート候補領域ＴＣの一例を示す図である。同図（ａ）に示す白目領域ＥＷには、複数の特徴点ＦＰが抽出されている。ステップＳ１７０において、瞳孔抽出部１２０は、テンプレート候補領域ＴＣを、特徴点ＦＰ毎に生成する。同図（ａ）においては、瞳孔抽出部１２０が、複数の特徴点ＦＰのうち、特徴点ＦＰ１についてテンプレート候補領域ＴＣ１を、特徴点ＦＰ２についてテンプレート候補領域ＴＣ２を、それぞれ生成した場合を示している。なお、同図（ａ）においては、他の特徴点ＦＰについてのテンプレート候補領域ＴＣの図示を省略している。
なお、この一例では、上述した瞳孔抽出部１２０がテンプレート候補領域ＴＣの生成のために参照する特徴点ＦＰとは、すべての特徴点ＦＰのうち血管の位置ＰＶの位置に対応する特徴点ＦＰ（すなわち、血管対応特徴点ＶＦＰ）のことである。

次に瞳孔抽出部１２０は、生成したテンプレート候補領域ＴＣに含まれる血管対応特徴点ＶＦＰの数ＣＮＴを計数する。同図（ｂ）に示す一例では、瞳孔抽出部１２０は、テンプレート候補領域ＴＣ１に含まれる血管対応特徴点ＶＦＰの数ＣＮＴを「７」と計数する。同様に、瞳孔抽出部１２０は、テンプレート候補領域ＴＣ２について血管対応特徴点ＶＦＰの数ＣＮＴ「１１」、テンプレート候補領域ＴＣ３について血管対応特徴点ＶＦＰの数ＣＮＴ「２３」、テンプレート候補領域ＴＣ４について血管対応特徴点ＶＦＰの数ＣＮＴ「１７」、テンプレート候補領域ＴＣ５について血管対応特徴点ＶＦＰの数ＣＮＴ「１９」…と、テンプレート候補領域ＴＣごとに計数する。

より具体的には、瞳孔抽出部１２０は、図１９に示した白目領域ＥＷの画像のうち、図２２に示した血管対応特徴点ＶＦＰの画素の周囲５０×５０［ｐｉｘｅｌ］の領域に対応する位置の領域を切り取り、切り取った領域の画像をテンプレート候補領域ＴＣとして生成する。瞳孔抽出部１２０は、このテンプレート候補領域ＴＣの生成を、血管対応特徴点ＶＦＰ毎に繰り返す。

（ステップＳ１８０）図１７に戻り、瞳孔抽出部１２０は、ステップＳ１７０において計数した特徴点ＦＰの数に基づいて、テンプレート候補領域ＴＣの順位付けを行う。

（ステップＳ１９０）瞳孔抽出部１２０は、瞳孔抽出部１２０が生成する複数のテンプレート候補領域ＴＣのうち、特徴点ＦＰ（または、血管対応特徴点ＶＦＰ）がより多く含まれているテンプレート候補領域ＴＣを、テンプレート領域ＴＰとして選択する。つまり、瞳孔抽出部１２０は、瞳孔抽出部１２０が順位付けしたテンプレート候補領域ＴＣのうち、上位のテンプレート候補領域ＴＣをテンプレート領域ＴＰとして選択する。

ここで、白目領域ＥＷに環境光が反射している（照り返しがある）場合、反射光によって生じた輝度勾配によっても特徴点ＦＰとして抽出されることがある。つまり、白目領域ＥＷに環境光が反射している場合には、白目領域ＥＷの形態に由来する特徴ではなく、外乱に由来する特徴によって特徴点ＦＰが抽出されてしまうことがある。瞳孔抽出部１２０は、テンプレート候補領域ＴＣに反射光の画像が含まれている場合には、この反射光の画像が含まれているテンプレート候補領域ＴＣをテンプレート領域ＴＰとして選択しないように除去する。

より具体的には、瞳孔抽出部１２０は、白目領域ＥＷの輝度値ヒストグラムを作成し、作成したヒストグラムの累積度数について、上位から所定範囲（例えば、１０％まで）の輝度値を調べる。瞳孔抽出部１２０は、テンプレート候補領域ＴＣ内に、上述した所定範囲内の輝度値の領域が２５［ｐｉｘｅｌ］以上含まれている場合には、テンプレート候補領域ＴＣに環境光による照り返しが存在していると判定する。

（ステップＳ２００）瞳孔抽出部１２０は、誤マッチングを起こしやすいテンプレート候補領域ＴＣを除去する。具体的には、瞳孔抽出部１２０は、複数のテンプレート候補領域ＴＣのうち、眼球画像ＩＭＧ内の互いに異なる複数の領域に対してマッチングする頻度がより少ないテンプレート候補領域ＴＣを、テンプレート領域ＴＰとして選択する。

例えば、白目領域ＥＷ内において、直線に近い形状の血管の画像が存在する場合には、その血管の画像を含み、かつその血管の端点の画像を含まない領域が、テンプレート候補領域ＴＣとして生成される場合がある。このようなテンプレート候補領域ＴＣの場合、白目領域ＥＷ内の他の領域においても画像の類似度が大きくなることがある。この場合、テンプレート候補領域ＴＣが、本来マッチングする領域以外の領域においてもマッチングしてしまう、すなわち誤マッチングしてしまうことがある。
そこで、瞳孔抽出部１２０は、白目領域ＥＷにおいてテンプレート候補領域ＴＣによるテンプレートマッチングを行なった結果、類似度が７０％を超えた回数を算出する。なお、この類似度の計算には後述する正規化相互相関係数を用いてもよい。

瞳孔抽出部１２０による探索領域内（例えば、白目領域ＥＷ内）には、テンプレート候補領域ＴＣである領域も存在する。このため、瞳孔抽出部１２０による類似度が７０％を超えた回数の算出において、少なくとも１回は類似度が７０％を超え、また上下左右に１［ｐｉｘｅｌ］ずらした場合においても、多くの場合には類似度が７０％を超える。すなわち、瞳孔抽出部１２０による回数の算出において、類似度が７０％を超える回数が５回までは通常発生しうる。しかし、それ以上の回数で類似度が７０％を超える場合は、誤マッチングを引き起こしているものと推定される。このため、瞳孔抽出部１２０は、類似度が７０％を超える回数が所定回数（例えば、５回）を超える場合には、当該テンプレート候補領域ＴＣを、誤マッチングを起こしやすいテンプレート候補領域ＴＣであると判定して、テンプレート領域ＴＰの選択から除外する。

（ステップＳ２１０）瞳孔抽出部１２０は、ステップＳ１９０及びステップＳ２００において除外されたテンプレート候補領域ＴＣを除いたテンプレート候補領域ＴＣから、テンプレート領域ＴＰを選択する。すなわち、瞳孔抽出部１２０は、テンプレート領域ＴＰを決定する。

［変形例のまとめ］
以上説明したように、本実施形態の眼球運動測定システム１は、テンプレート領域ＴＰを用いて、眼球画像ＩＭＧの動きを追跡することにより眼球三次元運動を測定する。この眼球運動測定システム１は、複数のテンプレート候補領域ＴＣのうち、特徴点ＦＰがより多く含まれているテンプレート候補領域ＴＣを、テンプレート領域ＴＰとして選択する。ここで、特徴点ＦＰがより多く含まれているテンプレート候補領域ＴＣは、特徴点ＦＰがより少ないテンプレート候補領域ＴＣに比べてテンプレートマッチング性能が高い。
このように構成することにより、眼球運動測定システム１は、眼球画像ＩＭＧの動きの追跡性能を向上させることができる。すなわち、本実施形態の眼球運動測定システム１によれば、眼球運動の計測精度を向上させることができる。

また、本実施形態の眼球運動測定システム１は、抽出される特徴点ＦＰのうち、白目領域ＥＷ内の血管の位置ＰＶに対応する特徴点ＦＰとして選択された特徴点（すなわち、血管対応特徴点ＶＦＰ）毎に、テンプレート候補領域ＴＣを生成する。ここで、白目領域ＥＷから抽出される特徴点ＦＰには、眼球ＥＹの血管の画像に由来するものと、血管以外の要素（例えば、瞼、まつ毛、埃など）の画像に由来しているものとがある。眼球ＥＹの血管は、眼球ＥＹに対してその位置が変化しないため、眼球ＥＹの動きをよく表す。一方、血管以外の要素は、眼球ＥＹに対してその位置が変動することがあるため、眼球ＥＹの動きを必ずしも表さない。したがって、眼球ＥＹの動きの追跡性能を向上させるためには、血管以外の要素の画像を含む領域をテンプレート領域ＴＰとすることよりも、血管の画像を含む領域をテンプレート領域ＴＰとするほうが好ましい。つまり、血管以外の要素の画像を含む領域は、テンプレート領域ＴＰとして用いた場合、眼球ＥＹの動きの追跡性能が相対的に低い。
眼球運動測定システム１は、血管の位置ＰＶに対応する領域をテンプレート候補領域ＴＣの生成対象とすることにより、眼球ＥＹの動きの追跡性能を向上させることができる。また、眼球運動測定システム１は、血管の位置ＰＶに対応しない領域（すなわち眼球ＥＹの動きの追跡性能が相対的に低い領域）をテンプレート候補領域ＴＣの生成対象から除外することにより、テンプレート候補領域ＴＣの候補数を低減することができる。つまり、眼球運動測定システム１によれば、テンプレート領域ＴＰの選択のための演算量を低減することができる。
すなわち、上述のように構成された眼球運動測定システム１によれば、眼球ＥＹの動きの追跡性能の向上と、演算量の低減とを両立させることができる。

また、本実施形態の眼球運動測定システム１は、白目領域ＥＷ内の各画素の画素値について少なくともヒストグラム平坦化を含む統計処理を行うことにより、白目領域ＥＷ内の特徴点ＦＰを抽出する。ここで、眼球ＥＹの白目の画像において、地色（白色）の面積が相対的に大きく、特徴点ＦＰの抽出対象である血管の色（赤色～暗赤色～黒色）の面積が相対的に小さい。また、眼球ＥＹの白目の画像において、血管の色は彩度が低く画像全体としてのコントラストが低い（弱い）場合がある。
したがって、仮に白目領域ＥＷの画像を単純に二値化した場合には、血管の画像が抽出されにくい場合がある。このため、従来は、眼球ＥＹに青色光などを照射することによって画像のコントラストを高める手法が用いられる場合があった。
一方、本実施形態の眼球運動測定システム１によれば、白目領域ＥＷ内の各画素の画素値についてヒストグラム平坦化を行うため、白目領域ＥＷについて、地色と血管の色とを峻別しやすくすることができる。つまり、眼球運動測定システム１によれば、血管の位置ＰＶの抽出性能を向上させることができるため、眼球ＥＹの動きの追跡性能を向上させることができる。

また、本実施形態の眼球運動測定システム１は、複数のテンプレート候補領域ＴＣのうち、眼球画像ＩＭＧ内の互いに異なる複数の領域に対してマッチングする頻度がより少ないテンプレート候補領域ＴＣを、テンプレート領域ＴＰとして選択する。
ここで、テンプレート候補領域ＴＣには、眼球ＥＹの動きの追跡性能が相対的に高いものと低いものとがある。例えば、あるテンプレート候補領域ＴＣについて、テンプレート候補領域ＴＣが白目領域ＥＷ内の複数の領域に対してマッチングする場合がある。このようなテンプレート候補領域ＴＣの場合、眼球ＥＹの動きを追従する際に複数の領域のうちいずれの領域にマッチングするのかが確定しないため、眼球ＥＹの動きの追従性能が低い。また、テンプレート候補領域ＴＣが、白目領域ＥＷ内の単一の領域に対してマッチングし、白目領域ＥＷ内の他の領域に対してマッチングしない場合には、眼球ＥＹの動きの追従性能が高い。つまり、テンプレート候補領域ＴＣがマッチングする領域の数が少ないほうが、眼球ＥＹの動きの追従性能が高い。
一方で、テンプレート候補領域ＴＣが、白目領域ＥＷ内のある領域に対してマッチングする場合には、当該領域の周囲の領域にもマッチングする場合がある。したがって、仮にテンプレート領域ＴＰの選択条件を、単一の領域のみに対してマッチングするテンプレート候補領域ＴＣに限ってしまうと、テンプレート候補領域ＴＣの選択肢が少なくなり追跡性能が低下するおそれがある。
本実施形態の眼球運動測定システム１は、複数の領域に対してマッチングする頻度に基づいてテンプレート領域ＴＰを選択する。例えば、眼球運動測定システム１は、マッチングする頻度が２以上であり所定値以下（例えば、５以下）であるテンプレート候補領域ＴＣを、テンプレート領域ＴＰとして選択する。このように構成することにより、眼球運動測定システム１は、テンプレート候補領域ＴＣの選択肢の数が少なくなることを抑止して、眼球ＥＹの動きの追従性能を向上させることができる。

また、本実施形態の眼球運動測定システム１は、撮像部２０を備える。眼球運動測定システム１は、撮像部２０を備える撮像部２０と眼球運動測定装置２とを一体化することにより、撮像部２０と眼球運動測定装置２とを接続するための有線又は無線による通信機能を簡素化することができる。

以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。

なお、上述の各装置は内部にコンピュータを有している。そして、上述した各装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１…眼球運動測定システム、２…眼球運動測定装置、１０…キャリブレーション装置、１１０…画像取得部、１２０…瞳孔抽出部、１３０…判定部、１４０…注視点表示制御部、１５０…記憶制御部、１６０…記憶部、２０…撮像部、３０…注視点表示装置、３１０…表示部、４０…眼球回転角度算出部

Claims (6)

1. 注視点表示装置に表示される注視点を注視する被験者の眼球が撮像された眼球画像を取得する取得部と、
   前記取得部が取得する前記眼球画像に含まれる瞳孔画像を抽出する瞳孔抽出部と、
   前記瞳孔抽出部によって前記眼球画像から前記瞳孔画像を抽出できたか否かを判定する判定部と、
   前記判定部の判定結果に基づいて、前記注視点表示装置に表示される注視点の座標位置を制御する注視点表示制御部と、
   前記判定部が前記瞳孔画像を抽出できたと判定した場合に、キャリブレーション後の注視点座標位置として記憶部に記憶させ、前記判定部が前記瞳孔画像を抽出できたと判定しなかった場合に、前記注視点表示装置に表示される注視点の座標位置の変化の上限に達した場合には、所定の座標位置を、キャリブレーション後の注視点座標位置として記憶部に記憶させる記憶制御部と、
   を備える眼球運動測定装置。
2. 前記瞳孔抽出部が抽出する前記瞳孔画像の前記眼球画像内における座標位置と、前記記憶部に記憶されている前記注視点座標位置と、所定の変換式とに基づいて、前記眼球の回転角度を算出する回転角度算出部
   を備える請求項１に記載の眼球運動測定装置。
3. 前記注視点表示制御部は、前記眼球画像から前記瞳孔画像を抽出できなかった場合に、
   前記注視点表示装置に表示される注視点の座標位置を、複数の座標軸のうちの少なくとも一つの座標軸の方向に、段階的に変化させる
   請求項１または請求項２に記載の眼球運動測定装置。
4. 請求項１から請求項３のいずれか一項に記載の眼球運動測定装置と、
   前記注視点表示装置と、
   を備えるキャリブレーションシステム。
5. 注視点表示装置に表示される注視点を注視する被験者の眼球が撮像された眼球画像を取得し、
   取得された前記眼球画像に含まれる瞳孔画像を抽出し、
   前記眼球画像から前記瞳孔画像を抽出できたか否かを判定し、
   前記瞳孔画像を抽出できたか否かの判定結果に基づいて、前記注視点表示装置に表示される注視点の座標位置を制御し、
   前記瞳孔画像を抽出できたと判定された場合に、キャリブレーション後の注視点座標位置として記憶部に記憶させ、前記瞳孔画像を抽出できたと判定されなかった場合に、前記注視点表示装置に表示される注視点の座標位置の変化の上限に達した場合には、所定の座標位置を、キャリブレーション後の注視点座標位置として記憶部に記憶させる
   眼球運動測定方法。
6. コンピュータに、
   注視点表示装置に表示される注視点を注視する被験者の眼球が撮像された眼球画像を取得し、
   取得された前記眼球画像に含まれる瞳孔画像を抽出し、
   前記眼球画像から前記瞳孔画像を抽出できたか否かを判定し、
   前記瞳孔画像を抽出できたか否かの判定結果に基づいて、前記注視点表示装置に表示される注視点の座標位置を制御し、
   前記瞳孔画像を抽出できたと判定された場合に、キャリブレーション後の注視点座標位置として記憶部に記憶させ、前記瞳孔画像を抽出できたと判定されなかった場合に、前記注視点表示装置に表示される注視点の座標位置の変化の上限に達した場合には、所定の座標位置を、キャリブレーション後の注視点座標位置として記憶部に記憶させる
   ための眼球運動測定プログラム。

Images