JP7109034B2

JP7109034B2 - 眼球トラッキング方法、眼球トラッキング装置、及びプログラム

Info

Publication number: JP7109034B2
Application number: JP2020510224A
Authority: JP
Inventors: 和雄船曳; 一郎中原
Original assignee: NEURO PROGRAMMING RESEARCH CO., LTD.
Current assignee: NEURO PROGRAMMING RESEARCH CO., LTD.
Priority date: 2018-03-27
Filing date: 2018-03-27
Publication date: 2022-07-29
Anticipated expiration: 2038-03-27
Also published as: JPWO2019186680A1; WO2019186680A1

Description

本発明は、眼球の運動を追跡する眼球トラッキング方法、眼球トラッキング装置、及びそのプログラムに関する。

従来、画像から、その画像に含まれる瞳孔の位置を特定し、特定した瞳孔の位置に基づいて、眼球の運動を追跡する技術が知られている。

例えば、特許文献１には、画像に含まれる瞳孔に対して、楕円によるフィッティングを行い、そのフィッティングによって得られる楕円の中心位置を、その瞳孔の位置として特定する技術が記載されている。

特開２０１６－２４６１６号公報

瞳孔は、その一部が、しばしば瞼によって覆い隠されてしまう。

一般に、瞳孔は、その形状が楕円である。このため、瞼によって一部が欠けた瞳孔は、その形状が、楕円の一部が欠けた形状となる。

上述したように、従来の眼球トランキング技術では、画像に含まれる瞳孔に対して、楕円によるフィッティングを行うことで、その位置を特定する。このため、従来のトランキング技術では、瞼によって一部が欠けた瞳孔に対しては、その位置を正しく特定することができないことがある。

このように、従来の眼球トラッキング方法では、瞳孔の一部が瞼によって欠けていることに起因して、眼球の運動を追跡することが、しばしば困難になることがある。

本発明は、このような状況に鑑みてなされたものであり、従来と比べて、より安定して眼球の運動を追跡し得る眼球トラッキング方法、眼球トランキング装置、及びそのプログラムを提供することを目的とする。

本発明の一態様に係る眼球トラッキング方法は、画像に含まれる瞳孔又は虹彩に対して、楕円によるフィッティングを試みる第１ステップと、前記楕円によるフィッティングの試みの結果が所定の第１条件を満たす場合に、当該結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第２ステップと、前記楕円によるフィッティングの試みの結果が前記第１条件を満たさない場合に、前記瞳孔又は前記虹彩に対して、前記楕円の一部が欠けた第１図形によるフィッティングを試みる第３ステップと、前記第１図形によるフィッティングの試みの結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第４ステップと、を含む。

本発明の一態様に係る眼球トラッキング装置は、画像に含まれる瞳孔又は虹彩に対して、楕円によるフィッティングを試みる第１フィッティング部と、前記楕円によるフィッティングの試みの結果が所定の第１条件を満たす場合に、当該結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第１位置特定部と、前記楕円によるフィッティングの試みの結果が前記第１条件を満たさない場合に、前記瞳孔又は前記虹彩に対して、前記楕円の一部が欠けた第１図形によるフィッティングを試みる第２フィッティング部と、前記第１図形によるフィッティングの試みの結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第２位置特定部と、を備える。

本発明の一態様に係るプログラムは、眼球の動きをトラッキングするための眼球トラッキング処理をコンピュータに実行させるためのプログラムであって、前記眼球トラッキング処理は、画像に含まれる瞳孔又は虹彩に対して、楕円によるフィッティングを試みる第１ステップと、前記楕円によるフィッティングの試みの結果が所定の第１条件を満たす場合に、当該結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第２ステップと、前記楕円によるフィッティングの試みの結果が前記第１条件を満たさない場合に、前記瞳孔又は前記虹彩に対して、前記楕円の一部が欠けた第１図形によるフィッティングを試みる第３ステップと、前記第１図形によるフィッティングの試みの結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第４ステップと、を含む。

上記本発明に係る眼球トラッキング方法、眼球トラッキング装置、及びプログラムによると、従来の比べて、より安定して眼球の運動を追跡し得る。

図１は、実施の形態に係る眼球トラッキング装置が使用される様子の一例を示す模式図である。図２は、実施の形態に係る撮像装置の内側の構造を示す模式図である。図３は、実施の形態に係る眼球トラッキング装置の機能構成を示すブロック図である。図４Ａは、実施の形態に係る画像取得部によって取得される画像の一例である。図４Ｂは、実施の形態に係る画像取得部によって取得される画像の一例である。図４Ｃは、実施の形態に係る画像取得部によって取得される画像の一例である。図４Ｄは、実施の形態に係る画像取得部によって取得される画像の一例である。図５Ａは、楕円の一部が欠けた第１図形である。図５Ｂは、楕円の一部が欠けた第２図形である。図５Ｃは、楕円の一部が欠けた第３図形である。図６は、関連付け情報のデータ構成図である。図７は、眼球トラッキング処理のフローチャートである。図８は、画像解析処理のフローチャートである。図９は、位置特定処理のフローチャートである。図１０は、補間処理のフローチャートである。図１１Ａは、加工前の左目画像の一例である。図１１Ｂは、加工後の加工画像の一例である。図１２は、瞳孔の中心位置の推移を示す図である。図１３は、瞳孔の中心位置の推移を示す図である。図１４は、関連付け情報のデータ構成図である。

上述したように、瞳孔に対して楕円によるフィッティングを行う従来の眼球トラッキング方法では、瞳孔の一部が瞼によって欠けていることに起因して、眼球の運動を追跡することが、しばしば困難になることがある。

これに対して、上記本発明の一態様に係る眼球トラッキング方法、眼球トラッキング装置、及びプログラムでは、瞳孔又は虹彩の一部が瞼によって欠けていることに起因して、その瞳孔又は虹彩に対する楕円によるフィッティングの試みの結果が所定の条件を満たさない結果となる場合であっても、その瞳孔又は虹彩に対して、楕円の一部が欠けた第１図形によるフィッティングを行う。

このため、上記本発明の一態様に係る眼球トラッキング方法、眼球トラッキング装置、及びプログラムは、従来の眼球トラッキング方法よりも、瞳孔又は虹彩の位置を正しく特定する可能性を高めることができる。

従って、上記本発明の一態様に係る眼球トラッキング方法、眼球トラッキング装置、及びプログラムによると、従来に比べて、より安定して眼球の運動を追跡し得る。

上記眼球トラッキング方法において、前記第４ステップは、前記第１図形によるフィッティングの試みの結果が所定の第２条件を満たす場合に、当該結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第５ステップと、前記第１図形によるフィッティングの試みの結果が前記第２条件を満たさない場合に、前記瞳孔又は前記虹彩に対して、前記楕円の一部が欠けた図形であって、前記第１図形よりも欠けた領域の割合が大きい第２図形によるフィッティングを試みる第６ステップと、前記第２図形によるフィッティングの試みの結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第７ステップと、を含むとしてもよい。

上記眼球トラッキング方法において、前記第７ステップは、前記第２図形によるフィッティングの試みの結果が所定の第３条件を満たす場合に、当該結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第８ステップと、前記第２図形によるフィッティングの試みの結果が前記第３条件を満たさない場合に、前記瞳孔又は前記虹彩に対して、前記楕円の一部が欠けた図形であって、前記第２図形よりも欠けた領域の割合が大きい第３図形によるフィッティングを試みる第９ステップと、前記第３図形によるフィッティングの試みの結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第１０ステップと、を含み、前記第１図形は、前記楕円から、前記楕円の１／４領域が欠けた図形であり、前記第２図形は、前記楕円から、前記楕円の１／２領域が欠けた図形であり、前記第３図形は、前記楕円から、前記楕円の３／４領域が欠けた図形であるとしてもよい。

上記眼球トラッキング方法において、前記第１図形は、前記楕円から、左右の目が並ぶ方向を水平方向とする場合における垂直方向において、前記楕円の上側の前記１／４領域が欠けた図形であり、前記第２図形は、前記楕円から、前記垂直方向において、前記楕円の上側の前記１／２領域が欠けた図形であり、前記第３図形は、前記楕円から、前記垂直方向において、前記楕円の上側の前記３／４領域が欠けた図形であるとしてもよい。

上記眼球トラッキング方法において、前記所定の第１条件を満たすとは、前記楕円のフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す所定値であることをいうとしてもよい。

上記眼球トラッキング方法において、更に、前記瞳孔又は前記虹彩の位置が、前記第２ステップ又は前記第４ステップのいずれで特定されたかを示す信頼性情報を生成し、前記第２ステップ又は前記第４ステップのいずれかで特定された前記瞳孔又は前記虹彩の位置を示す位置情報と、前記信頼性情報とを関連付けて記憶する第１１ステップを含むとしてもよい。

上記眼球トラッキング方法において、前記第１ステップでは、右目の瞳孔又は右目の虹彩を含む右目画像と、当該右目画像と同じタイミングで撮像された、左目の瞳孔又は左目の虹彩を含む左目画像とに対して、前記楕円によるフィッティングの試みを行い、前記第２ステップでは、前記右目画像に対する前記楕円によるフィッティングの試みの結果が前記第１条件を満たす場合に、当該結果に基づいて、前記右目の瞳孔又は前記右目の虹彩の位置を特定し、前記左目画像に対する前記楕円によるフィッティングの試みの結果が前記第１条件を満たす場合に、当該結果に基づいて、前記左目の瞳孔又は前記左目の虹彩の位置を特定し、前記第３ステップでは、前記右目画像に対する前記楕円によるフィッティングの試みの結果が前記第１条件を満たさない場合に、前記右目の瞳孔又は前記右目の虹彩に対して、前記第１図形によるフィッティングを試み、前記左目画像に対する前記楕円によるフィッティングの試みの結果が前記第１条件を満たさない場合に、前記左目の瞳孔又は前記左目の虹彩に対して、前記第１図形によるフィッティングを試み、前記第４ステップでは、前記右目画像に対する前記第１図形によるフィッティングの試みの結果に基づいて、前記右目の瞳孔又は前記右目の虹彩の位置を特定し、前記左目画像に対する前記第１図形によるフィッティングの試みの結果に基づいて、前記左目の瞳孔又は前記左目の虹彩の位置を特定し、前記第１１ステップでは、前記右目の瞳孔又は前記右目の虹彩の位置が、前記第２ステップ又は前記第４ステップのいずれで特定されたかを示す右目信頼性情報と、前記左目の瞳孔又は左目の虹彩の位置が、前記第２ステップ又は前記第４ステップのいずれで特定されたかを示す左目信頼性情報とを生成し、前記第２ステップ又は前記第４ステップのいずれかで特定された前記右目の瞳孔又は前記右目の虹彩の位置を示す右目位置情報と、前記第２ステップ又は前記第４ステップのいずれかで特定された前記左目の瞳孔又は前記左目の虹彩の位置を示す左目位置情報と、前記右目信頼性情報と、前記左目信頼性情報とを関連付けて記憶するとしてもよい。

上記眼球トラッキング方法において、更に、前記右目信頼性情報と、前記左目信頼性情報とが、所定の第４条件を満たす場合に、前記左目位置情報を、前記右目位置情報に基づいて更新し、前記右目信頼性情報と、前記左目信頼性情報とが、所定の第５条件を満たす場合に、前記右目位置情報を、前記左目位置情報とに基づいて更新する第１２ステップを含むとしてもよい。

上記眼球トラッキング方法において、前記第１ステップ、前記第２ステップ、前記第３ステップ、及び前記第４ステップは、連続撮像された複数の画像のそれぞれに対して実行されるとしてもよい。

上記眼球トラッキング方法において、前記画像は、前記瞳孔又は前記虹彩に対して、赤外光照射装置から発せられた赤外光が照射された状態で撮像された画像であるとしてもよい。

上記眼球トラッキング方法において、前記画像は、遮光体により、前記瞳孔又は前記虹彩に対する可視光の照射が抑制された状態で撮像された画像であるとしてもよい。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されても良く、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されても良い。

以下、本発明の一態様に係る眼球トラッキング装置の具体例について説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

（実施の形態）
ここでは、本発明の一態様として、画像から、その画像に含まれる瞳孔の位置を特定する眼球トラッキング装置について説明する。

［１．構成］
図１は、本実施の形態に係る眼球トラッキング装置１０が、瞳孔を含む画像を撮像する撮像装置２０に接続されて使用される様子の一例を示す模式図である。

図１に示されるように、撮像装置２０は、ゴーグル型水中眼鏡のように、被験者の両目を覆う状態で、頭部に固定されて装着される。そして、撮像装置２０は、被験者の右目画像と左目画像とを、同じタイミングで複数枚、所定のフレームレート（例えば６０ｆｐｓ）で連続撮像する。

図２は、撮像装置２０の内側の構造を示す模式図である。

図２に示されるように、撮像装置２０は、その内側全体が、遮光体２１で覆われている。そして、撮像装置２０の内側には、右目撮像カメラ２２と、左目撮像カメラ２３と、右目赤外光照射装置２４と、左目赤外光照射装置２５と、制御部２６とが配置されている。

遮光体２１は、撮像装置２０が被験者の頭部に装着された状態において、外界からの可視光による、撮像装置２０の内側への進入を抑止する。このため、撮像装置２０を装着する被験者は、外界の様子を視認することができない。

右目赤外光照射装置２４は、撮像装置２０が被験者の頭部に装着された状態において、被験者の右目の近傍となる位置に配置され、右目に赤外光を照射する。

右目撮像カメラ２２は、撮像装置２０が被験者の頭部に装着された状態において、被験者の右目に略正対する位置に配置され、右目赤外光照射装置２４から照射される赤外光による右目画像の撮像を行う。

左目赤外光照射装置２５は、撮像装置２０が被験者の頭部に装着された状態において、被験者の左目の近傍となる位置に配置され、左目に赤外光を照射する。

左目撮像カメラ２３は、撮像装置２０が被験者の頭部に装着された状態において、被験者の左目に略正対する位置に配置され、左目赤外光照射装置２５から照射される赤外光による左目画像の撮像を行う。

制御部２６は、右目撮像カメラ２２と、左目撮像カメラ２３と、右目赤外光照射装置２４と、左目赤外光照射装置２５との動作を制御する。そして、右目撮像カメラ２２と左目撮像カメラ２３とに、被験者の右目画像と左目画像とを、同じタイミングで複数枚、所定のフレームレート（例えば６０ｆｐｓ）で連続撮像させる。そして、撮像させた右目画像と左目画像とを、眼球トラッキング装置１０に送信する。

上記構成の撮像装置２０によって撮像される画像は、右目赤外光照射装置２４又は左目赤外光照射装置２５から発せられた赤外光が照射された状態で撮像された画像であって、遮光体２１によって、可視光の照射が抑制された状態で撮像された画像となる。

眼球トラッキング装置１０は、例えば、メモリ（図示せず）と、メモリに記憶されたプログラムを実行するプロセッサ（図示せず）とを含むコンピュータによって実現される。

本実施の形態では、撮像装置２０として、被験者に装着されることで、被験者が外部の様子を視認することができない状態で、右目画像と左目画像とを撮像する構成を例示して説明するが、撮像装置２０は、右目画像と左目画像とを撮像することができれば、必ずしも、上記例示の構成に限定される必要はない。一例として、撮像装置２０は、遮光体２１の一部又は全部が着脱可能であり、被験者が前方を視認可能な状態で右目画像と左目画像とを撮像することができる構成であっても構わない。このような構成の場合には、被験者に対して、何かの視標（静止している視標であってもよいし、動いている視標であってもよい。）を提示して、被験者にその視標を視認してもらっている状態で、右目画像と左目画像との撮像が可能となる。

また、右目撮像カメラ２２と、左目撮像カメラ２３との配置位置についても、必ずしも、図２に例示される通りの位置に限定される必要はない。一例として、右目撮像カメラ２２は、右目の前方の視線を遮らないように、右目の前方方向正面からずれた位置に配置され、左目撮像カメラ２３は、左目の前方の視線を遮らないように、左目の前方方向正面からずれた位置に配置されていても構わない。

また、右目赤外光照射装置２４と、左目赤外光照射装置２５との配置位置についても、必ずしも、図２に例示される通りの位置に限定される必要はない。一例として、右目の前方に、赤外線のみを反射するミラー（ホットミラー）を配置し、右目側方又は後方に配置された右目赤外光照射装置２４からの赤外光を、そのミラーに反射させることで、その赤外光を右目に照射し、左目の前方に、赤外線のみを反射するミラー（ホットミラー）を配置し、左目側方又は後方に配置された左目赤外光照射装置２５からの赤外光を、そのミラーに反射させることで、その赤外光を左目に照射する構成であっても構わない。

さらには、撮像装置２０は、右目画像と左目画像とのうちの一方の画像のみを撮像する構成例もあり得る。この場合には、撮像装置２０は、撮像する側の目の画像のみを眼球トラッキング装置１０に送信し、眼球トラッキング装置１０は、撮像装置２０によって撮像される側の目の画像のみを取得することとなる。

図３は、眼球トラッキング装置１０の機能構成を示すブロック図である。

図３に示されるように、眼球トラッキング装置１０は、画像取得部３０と、第１フィッティング部３１と、第２フィッティング部３２と、第１位置特定部３３と、第２位置特定部３４と、関連付け部３５と、補間部３６とを含んで構成される。

画像取得部３０は、撮像装置２０から送信される画像（右目画像及び左目画像）を取得して記憶する。

図４Ａ、４Ｂ、４Ｃ、４Ｄは、画像取得部３０によって取得される画像の一例である。

画像取得部３０によって取得される画像には、例えば、図４Ａに示されるような瞳孔の全体が含まれる画像、例えば、図４Ｂに示されるような瞳孔の上方１／４程度が瞼によって覆われている画像、例えば、図４Ｃに示されるような瞳孔の上方１／２程度が瞼によって覆われている画像、例えば、図４Ｄに示されるような瞳孔の上方３／４程度が瞼によって覆われている画像等が含まれる。

再び図３に戻って、眼球トラッキング装置１０の機能構成の説明を続ける。

第１フィッティング部３１は、画像に含まれる瞳孔に対して、楕円によるフィッティングを試みる。

第１フィッティング部３１は、更に、楕円輪郭フィッティング部４１と、楕円形状フィッティング部４２とを含む。

楕円輪郭フィッティング部４１は、画像に含まれる瞳孔に対して、楕円の輪郭（円周）によるフィッティングを試みる。

楕円形状フィッティング部４２は、画像に含まれる瞳孔に対して、楕円の形状によるフィッティングを試みる。より具体的には、楕円輪郭フィッティング部４１によってなされた、楕円の輪郭によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第１所定値（例えば９０％以上）でない場合に、上記楕円の形状によるフィッティングの試みを行う。

一般に、楕円の輪郭によるフィッティングの方が、楕円の形状によるフィッティングよりも、より高い信頼度でフィッティング結果を得ることができる。その反面、楕円の輪郭によるフィッティングの方が、楕円の形状によるフィッティングよりも、そのフィッティング成功率（例えば、フィッティング率が所定値（例えば、９０％以上）となる確率）が低下する。

第２フィッティング部３２は、画像に含まれる瞳孔に対して、楕円の一部が欠けた図形によるフィッティングを試みる。

図５Ａ、図５Ｂ、図５Ｃは、楕円の一部が欠けた図形の一例である。

図５Ａに示される図形は、楕円２００から、左右の目が並ぶ方向を水平方向とする場合における垂直方向において、楕円２００の上側の１／４領域２０１が欠けた図形であって、ここでは第１図形と呼ぶ。

ここで、楕円の上側の１／４領域とは、楕円の垂直方向の軸の上側１／４の地点においてその軸に直交する直線によって、その楕円が２分割されることで得られる図形のうち、上側の図形のことを言う。

図５Ｂに示される図形は、楕円２００から、左右の目が並ぶ方向を水平方向とする場合における垂直方向において、楕円２００の上側の１／２領域２０２が欠けた図形であって、ここでは第２図形と呼ぶ。

ここで、楕円の上側の１／２領域とは、楕円の垂直方向の軸の上側１／２の地点においてその軸に直交する直線によって、その楕円が２分割されることで得られる図形のうち、上側の図形のことを言う。

図５Ｃに示される図形は、楕円２００から、左右の目が並ぶ方向を水平方向とする場合における垂直方向において、楕円２００の上側の３／４領域２０３が欠けた図形であって、ここでは第３図形と呼ぶ。

ここで、楕円の上側の３／４領域とは、楕円の垂直方向の軸の上側３／４の地点においてその軸に直交する直線によって、その楕円が２分割されることで得られる図形のうち、上側の図形のことを言う。

第２フィッティング部３２は、更に、第１図形形状フィッティング部４３と、第２図形形状フィッティング部４４と、第３図形形状フィッティング部４５とを含む。

第１図形形状フィッティング部４３は、画像に含まれる瞳孔に対して、第１図形の形状によるフィッティングを試みる。より具体的には、楕円形状フィッティング部４２によってなされた楕円の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第２所定値（例えば９０％以上）でない場合に、上記第１図形の形状によるフィッティングの試みを行う。

第２図形形状フィッティング部４４は、画像に含まれる瞳孔に対して、第２図形の形状によるフィッティングを試みる。より具体的には、第１図形形状フィッティング部４３によってなされた第１図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第３所定値（例えば９０％以上）でない場合に、上記第２図形の形状によるフィッティングの試みを行う。

第３図形形状フィッティング部４５は、画像に含まれる瞳孔に対して、第３図形の形状によるフィッティングを試みる。より具体的には、第２図形形状フィッティング部４４によってなされた第２図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第４所定値（例えば９０％以上）でない場合に、上記第３図形の形状によるフィッティングの試みを行う。

第１位置特定部３３は、第１フィッティング部３１によってなされた、楕円によるフィッティングの試みの結果が所定の条件を満たす場合に、その結果に基づいて、瞳孔の位置を特定する。

より具体的には、第１位置特定部３３は、（１）楕円輪郭フィッティング部４１によってなされた、楕円の輪郭によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第１所定値である場合は、楕円輪郭フィッティング部４１によってフィッティングされた楕円の中心位置を、瞳孔の位置として特定する。そして、（２）楕円輪郭フィッティング部４１によってなされた、楕円の輪郭によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第１所定値でない場合において、楕円形状フィッティング部４２によってなされた、楕円の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングが成功したことを示す第２所定値であるときに、楕円形状フィッティング部４２によってフィッティングされた楕円の中心位置を、瞳孔の位置として特定する。

すなわち、ここで言う所定の条件とは、楕円輪郭フィッティング部４１によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第１所定値である、又は、楕円形状フィッティング部４２によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第２所定値であるという条件である。

第２位置特定部３４は、第２フィッティング部３２によってなされた、楕円の一部が欠けた図形によるフィッティングの試みの結果が所定の条件を満たす場合に、その結果に基づいて、瞳孔の位置を特定する。

より具体的には、第２位置特定部３４は、（１）第１図形形状フィッティング部４３によってなされた、第１図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第３所定値である場合に、第１図形形状フィッティング部４３によってフィッティングされた第１図形における楕円の中心位置を、瞳孔の位置として特定する。そして、（２）第１図形形状フィッティング部４３によってなされた、第１図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第３所定値でない場合において、第２図形形状フィッティング部４４によってなされた、第２図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第４所定値であるときは、第２図形形状フィッティング部４４によってフィッティングされた第２図形における楕円の中心位置を、瞳孔の位置として特定する。また、（３）第２図形形状フィッティング部４４によってなされた、第２図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第４所定値でない場合において、第３図形形状フィッティング部４５によってなされた、第３図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第５所定値（例えば９０％以上）であるときは、第３図形形状フィッティング部４５によってフィッティングされた第３図形における楕円の中心位置を、瞳孔の位置として特定する。

すなわち、ここで言う所定の条件とは、第１図形形状フィッティング部４３によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第３所定値である、第２図形形状フィッティング部４４によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第４所定値である、又は、第３図形形状フィッティング部４５によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第５所定値であるという条件である。

また、第２位置特定部３４は、第３図形形状フィッティング部４５によってなされた、第３図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第５所定値でない場合には、例えば、予め定められた、フィッティングに成功しなかった旨を示す位置を瞳孔の位置として特定してもよいし、例えば、ヌル値を返すとしてもよい。

関連付け部３５は、第１位置特定部３３又は第２位置特定部３４によって瞳孔の位置が特定された場合に、その瞳孔の位置の特定が、楕円輪郭フィッティング部４１と、楕円形状フィッティング部４２と、第１図形形状フィッティング部４３と、第２図形形状フィッティング部４４と、第３図形形状フィッティング部４５とのうち、いずれのフィッティング部によるフィッティングに基づいて特定されたかを示す信頼性情報を生成する。

より具体的には、関連付け部３５は、瞳孔の位置の特定が、楕円輪郭フィッティング部４１によるフィッティングに基づいて特定された場合には、数値「５」を示す信頼性情報を生成し、瞳孔の位置の特定が、楕円形状フィッティング部４２によるフィッティングに基づいて特定された場合には、数値「４」を示す信頼性情報を生成し、瞳孔の位置の特定が、第１図形形状フィッティング部４３によるフィッティングに基づいて特定された場合には、数値「３」を示す信頼性情報を生成し、瞳孔の位置の特定が、第２図形形状フィッティング部４４によるフィッティングに基づいて特定された場合には、数値「２」を示す信頼性情報を生成し、瞳孔の位置の特定が、第３図形形状フィッティング部４５によるフィッティングに基づいて特定された場合には、数値「１」を示す信頼性情報を生成する。さらに、関連付け部３５は、瞳孔の位置が特定されなかった場合には、数値「０」を示す信頼性情報を生成する。

また、関連付け部３５は、楕円輪郭フィッティング部４１と、楕円形状フィッティング部４２と、第１図形形状フィッティング部４３と、第２図形形状フィッティング部４４と、第３図形形状フィッティング部４５とのうち、いずれかのフィッティング部によるフィッティングに基づいて特定された瞳孔の位置を示す位置情報と、生成した信頼性情報とを関連付けて記憶する。

さらに、関連付け部３５は、右目画像に対して右目信頼性情報を生成し、その右目画像と同じタイミングで撮像された左目画像に対して左目信頼性情報を生成した場合に、その右目画像における右目の瞳孔の位置を示す右目位置情報と、その右目画像における右目信頼性情報と、その左目画像における左目の瞳孔の位置を示す左目位置情報と、その左目画像における左目信頼性情報とを互いに関連付けて関連付け情報を生成し、生成した関連付け情報を記憶する。

図６は、関連付け部３５が記憶する関連付け情報のデータ構成図である。

図６において、フレーム番号は、撮像装置２０によって、所定のフレームレート（例えば６０ｆｐｓ）で連続撮像された複数の右目画像及び左目画像のフレーム順（撮像順）を示す数値である。例えば、フレーム番号１は、対象となる画像（右目画像及び左目画像）が、連続撮影における最初の撮像タイミングで撮像された画像であることを示す数値であり、フレーム番号２は、対象となる画像（右目画像及び左目画像）が、連続撮影における２回目の撮像タイミングで撮像された画像であることを示す数値である。

図６に示されるように、関連付け部３５が記憶する関連付け情報は、連続撮像された複数の右目画像及び左目画像において、互いに同じタイミングで撮像された右目画像と左目画像とのそれぞれについて、右目位置情報と、右目信頼性情報と、左目位置情報と、左目信頼性情報とが互いに対応付けられた情報となっている。

補間部３６は、右目信頼性情報と、左目信頼性情報とが、所定の条件を満たす場合に、左目位置情報を、右目位置情報に基づいて更新する。

より具体的には、補間部３６は、関連付け部３５によって記憶される関連付け情報に対して、同じフレーム番号に対応する右目信頼性情報と左目信頼性情報とを比較して、その左目信頼性情報の値の方が、その右目信頼性情報の値よりも小さい場合に、そのフレームの右目位置情報によって示される右目の瞳孔の位置に基づいて、左目の瞳孔の位置を推定する。そして、推定した瞳孔の位置を示す新たな左目位置情報で、関連付け部３５によって記憶される関連付け情報における、そのフレームの左目位置情報を更新する。

すなわち、ここで言う所定の条件とは、同じフレーム番号に対応する右目信頼性情報と左目信頼性情報とにおいて、左目信頼性情報の値の方が、右目信頼性情報の値よりも小さいという条件である。

また、補間部３６は、右目信頼性情報と、左目信頼性情報とが、所定の条件を満たす場合に、右目位置情報を、左目位置情報に基づいて更新する。

より具体的には、補間部３６は、関連付け部３５によって記憶される関連付け情報に対して、同じフレーム番号に対応する右目信頼性情報と左目信頼性情報とを比較して、その右目信頼性情報の値の方が、その左目信頼性情報の値よりも小さい場合に、そのフレームの左目位置情報によって示される左目の瞳孔の位置に基づいて、右目の瞳孔の位置を推定する。そして、推定した瞳孔の位置を示す新たな右目位置情報で、関連付け部３５によって記憶される関連付け情報における、そのフレームの右目位置情報を更新する。

すなわち、ここで言う所定の条件とは、同じフレーム番号に対応する右目信頼性情報と左目信頼性情報とにおいて、右目信頼性情報の値の方が、左目信頼性情報の値よりも小さいという条件である。

一般に、右目の眼球運動と左目の眼球運動とが連動して動く現象が知られている。補間部３６は、この現象を利用して、一方の目の瞳孔の位置に基づいて、他方の目の瞳孔の位置を推定する。推定方法の一例としては、例えば、一方の目が右目で、他方の目が左目であるときに、対象となるフレームの前後の数フレームの右目位置情報から、右目の瞳孔の動きを特定し、特定した右目の瞳孔の動きと同様の動きを左目の瞳孔がしたと仮定して、その対象となるフレームにおける左目の瞳孔の位置を推定する方法であってよい。そして、補間部３６は、右目と左目とでその信頼性情報の値が異なる場合に、より信頼性情報の値が大きい方の目の瞳孔の位置に基づいて推定される他方の目の瞳孔の位置で、より信頼性情報の値が小さい方の目（すなわち、他方の目）の瞳孔の位置を更新する。

このように、補間部３６は、一方の目の画像しか存在しない場合（すなわち、一方の目の信頼性情報の値が「０」である場合に対応。）であっても、その一方の目の位置情報から、他方の目の瞳孔の位置を推定して、他方の目の位置情報を更新、すなわち補間することができる。

上記構成の眼球トラッキング装置１０が行う動作について、以下、図面を参照しながら説明する。

［２．動作］
眼球トラッキング装置１０は、その特徴的な動作として、画像から、その画像に含まれる瞳孔の位置を特定する眼球トランキング処理と、一方の目の瞳孔の位置に基づいて、他方の目の瞳孔の位置を補間する補間処理とを行う。

以下、この眼球トラッキング処理と補間処理とについて、図面を参照しながら順に説明する。

［２－１．眼球トラッキング処理］
図７は、眼球トラッキング装置１０が行う眼球トラッキング処理のフローチャートである。

眼球トラッキング処理は、眼球トラッキング装置１０に撮像装置２０が接続されることで開始される。

眼球トラッキング処理が開始されると、画像取得部３０は、撮像装置２０によって所定のフレームレート（例えば６０ｆｐｓ）でＮ（Ｎは２以上の整数）回連続撮像された、Ｎ枚の右目画像とＮ枚の左目画像とを取得する（ステップＳ１０）。

画像を取得すると、眼球トラッキング装置１０は、画像取得部３０によって取得された、Ｎ枚の右目画像と、Ｎ枚の左目画像とに対して、画像解析処理を行う（ステップＳ２０）。

図８は、眼球トラッキング装置１０が行う画像解析処理の詳細な処理内容を示すフローチャートである。

画像解析処理が開始されると、眼球トラッキング装置１０は、変数ｋに１を代入する（ステップＳ１００）。そして、眼球トラッキング装置１０は、画像取得部３０によって取得された画像の中から、第ｋフレームの右目画像を選択し（ステップＳ１１０）、選択した右目画像に対して、その画像に含まれる瞳孔の位置を特定する位置特定処理を行う（ステップＳ１２０）。

図９は、眼球トラッキング装置１０が行う位置特定処理の詳細な処理内容を示すフローチャートである。

位置特定処理が開始されると、楕円輪郭フィッティング部４１は、選択された画像に含まれる瞳孔に対して、楕円の輪郭（円周）によるフィッティングを試みる（ステップＳ２００）。

楕円輪郭フィッティング部４１によるフィッティングの試みが行われると、第１位置特定部３３は、そのフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第１所定値（例えば９０％以上）であるか否かを調べる（ステップＳ２０５）。

ステップＳ２０５の処理において、フィッティング率が、フィッティングに成功したことを示す第１所定値である場合に（ステップＳ２０５：Ｙｅｓ）、第１位置特定部３３は、楕円輪郭フィッティング部４１によってフィッティングされた楕円の中心位置を、瞳孔の位置として特定する（ステップＳ２５０）。

ステップＳ２０５の処理において、フィッティング率が、フィッティングに成功したことを示す第１所定値でない場合に（ステップＳ２０５：Ｎｏ）、楕円形状フィッティング部４２は、選択された画像に含まれる瞳孔に対して、楕円の形状によるフィッティングを試みる（ステップＳ２１０）。

楕円形状フィッティング部４２によるフィッティングの試みが行われると、第１位置特定部３３は、そのフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第２所定値（例えば９０％以上）であるか否かを調べる（ステップＳ２１５）。

ステップＳ２１５の処理において、フィッティング率が、フィッティングに成功したことを示す第２所定値である場合に（ステップＳ２１５：Ｙｅｓ）、第１位置特定部３３は、楕円形状フィッティング部４２によってフィッティングされた楕円の中心位置を、瞳孔の位置として特定する（ステップＳ２５５）。

ステップＳ２１５の処理において、フィッティング率が、フィッティングに成功したことを示す第２所定値でない場合に（ステップＳ２１５：Ｎｏ）、第１図形形状フィッティング部４３は、選択された画像に含まれる瞳孔に対して、第１図形の形状によるフィッティングを試みる（ステップＳ２２０）。

第１図形形状フィッティング部４３によるフィッティングの試みが行われると、第２位置特定部３４は、そのフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第３所定値（例えば９０％以上）であるか否かを調べる（ステップＳ２２５）。

ステップＳ２２５の処理において、フィッティング率が、フィッティングに成功したことを示す第３所定値である場合に（ステップＳ２２５：Ｙｅｓ）、第２位置特定部３４は、第１図形形状フィッティング部４３によってフィッティングされた第１図形における楕円の中心位置を、瞳孔の位置として特定する（ステップＳ２６０）。

ステップＳ２２５の処理において、フィッティング率が、フィッティングに成功したことを示す第３所定値でない場合に（ステップＳ２２５：Ｎｏ）、第２図形形状フィッティング部４４は、選択された画像に含まれる瞳孔に対して、第２図形の形状によるフィッティングを試みる（ステップＳ２３０）。

第２図形形状フィッティング部４４によるフィッティングの試みが行われると、第２位置特定部３４は、そのフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第４所定値（例えば９０％以上）であるか否かを調べる（ステップＳ２３５）。

ステップＳ２３５の処理において、フィッティング率が、フィッティングに成功したことを示す第４所定値である場合に（ステップＳ２３５：Ｙｅｓ）、第２位置特定部３４は、第２図形形状フィッティング部４４によってフィッティングされた第２図形における楕円の中心位置を、瞳孔の位置として特定する（ステップＳ２６５）。

ステップＳ２３５の処理において、フィッティング率が、フィッティングに成功したことを示す第４所定値でない場合に（ステップＳ２３５：Ｎｏ）、第３図形形状フィッティング部４５は、選択された画像に含まれる瞳孔に対して、第３図形の形状によるフィッティングを試みる（ステップＳ２４０）。

第３図形形状フィッティング部４５によるフィッティングの試みが行われると、第２位置特定部３４は、そのフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第５所定値（例えば９０％以上）であるか否かを調べる（ステップＳ２４５）。

ステップＳ２４５の処理において、フィッティング率が、フィッティングに成功したことを示す第５所定値である場合に（ステップＳ２４５：Ｙｅｓ）、第２位置特定部３４は、第３図形形状フィッティング部４５によってフィッティングされた第３図形における楕円の中心位置を、瞳孔の位置として特定する（ステップＳ２７０）。

ステップＳ２４５の処理において、フィッティング率が、フィッティングに成功したことを示す第５所定値でない場合（ステップＳ２４５：Ｎｏ）、ステップＳ２５０の処理が終了した場合、ステップＳ２５５の処理が終了した場合、ステップＳ２６０の処理が終了した場合、ステップＳ２６５の処理が終了した場合、及び、ステップＳ２７０の処理が終了した場合に、位置特定処理は終了する。

再び図８に戻って、画像解析処理（ステップＳ２０）の説明を続ける。

ステップＳ１２０の画像解析処理が終了すると、眼球トラッキング装置１０は、画像取得部３０によって取得された画像の中から、第ｋフレームの左目画像を選択し（ステップＳ１３０）、選択した左目画像に対して、その画像に含まれる瞳孔の位置を特定する位置特定処理を行う（ステップＳ１４０）。

ステップＳ１４０の画像解析処理は、ステップＳ１２０の画像解析処理と同様の処理であり、既に説明済みであるため、ここではその説明を省略する。

ステップＳ１４０の画像解析処理が終了すると、眼球トラッキング装置１０は、変数ｋにｋ＋１を代入する（ステップＳ１５０）。そして、眼球トラッキング装置１０は、ｋがＮ以下であるか否かを調べる（ステップＳ１６０）。

ステップＳ１６０の処理において、ｋがＮ以下である場合に（ステップＳ１６０：Ｙｅｓ）、眼球トラッキング装置１０は、再びステップＳ１２０の処理に進み、ステップＳ１２０以降の処理を繰り返す。

ステップＳ１６０の処理において、ｋがＮ以下でない場合に（ステップＳ１６０：Ｎｏ）、眼球トラッキング装置１０は、その画像解析処理を終了する。

再び図７に戻って、眼球トラッキング処理の説明を続ける。

ステップＳ２０の画像解析処理が終了すると、関連付け部３５は、画像取得部３０によって取得された、Ｎ枚の右目画像それぞれに対して右目信頼性情報を生成し、Ｎ枚の左目画像それぞれに対して左目信頼性情報を生成する。

そして、関連付け部３５は、同じフレーム番号からなるＮ組の右目画像と左目画像との組それぞれについて、右目位置情報と、右目信頼性情報と、左目位置情報と、左目信頼性情報とを互いに関連付けて、関連付け情報（図６参照）を生成し（ステップＳ３０）、生成した関連付け情報を記憶する。

ステップＳ３０の処理が終了すると、眼球トラッキング装置１０は、その眼球トラッキング処理を終了する。

［２－２．補間処理］
図１０は、眼球トラッキング装置１０が行う補間処理のフローチャートである。

補間処理は、眼球トラッキング処理が終了することで開始される。

補間処理が開始されると、補間部３６は、関連付け部３５に記憶される関連付け情報を取得し（ステップＳ３００）、変数ｋに１を代入する（ステップＳ３０５）。

そして、補間部３６は、取得した関連付け情報から、第ｋフレームの右目信頼性情報と左目信頼性情報とを選択し（ステップＳ３１０）、選択した左目信頼性情報の値の方が、選択した右目信頼性情報の値よりも小さいか否かを調べる（ステップＳ３１５）。

ステップＳ３１５の処理において、左目信頼性情報の値の方が、右目信頼性情報の値よりも小さい場合に（ステップＳ３１５：Ｙｅｓ）、補間部３６は、取得した関連付け情報から、第ｋフレームの右目位置情報を選択し、左目の瞳孔の位置を、選択した右目位置情報によって示される右目の瞳孔の位置に基づいて推定する（ステップＳ３２０）。そして、補間部３６は、推定した右目の瞳孔の位置を示す新たな左目位置情報で、関連付け部３５によって記憶される関連付け情報における、第ｋフレームの左目位置情報を更新する（ステップＳ３２５）。

ステップＳ３１５の処理において、左目信頼性情報の値の方が、右目信頼性情報の値よりも小さくない場合に（ステップＳ３１５：Ｎｏ）、補間部３６は、選択した右目信頼性情報の値の方が、選択した左目信頼性情報の値よりも小さいか否かを調べる（ステップＳ３３０）。

ステップＳ３３０の処理において、右目信頼性情報の値の方が、左目信頼性情報の値よりも小さい場合に（ステップＳ３３０：Ｙｅｓ）、補間部３６は、取得した関連付け情報から、第ｋフレームの左目位置情報を選択し、右目の瞳孔の位置を、選択した左目位置情報によって示される左目の瞳孔の位置に基づいて推定する（ステップＳ３３５）。そして、補間部３６は、推定した右目の瞳孔の位置を示す新たな右目位置情報で、関連付け部３５によって記憶される関連付け情報における、第ｋフレームの右目位置情報を更新する（ステップＳ３４０）。

ステップＳ３２５の処理が終了した場合、ステップＳ３４０の処理が終了した場合、及び、ステップＳ３３０の処理において、右目信頼性情報の値の方が、左目信頼性情報の値よりも小さくない場合に（ステップＳ３３０：Ｎｏ）、補間部３６は、変数ｋにｋ＋１を代入する（ステップＳ３４５）。そして、補間部３６は、ｋがＮ以下であるか否かを調べる（ステップＳ３５０）。

ステップＳ３５０の処理において、ｋがＮ以下である場合に（ステップＳ３５０：Ｙｅｓ）、眼球トラッキング装置１０は、再びステップＳ３１０の処理に進み、ステップＳ３１０以降の処理を繰り返す。

ステップＳ３５０の処理において、ｋがＮ以下でない場合に（ステップＳ３５０：Ｎｏ）、眼球トラッキング装置１０は、その補間処理を終了する。

［３．効果等］
瞳孔に対して楕円によるフィッティングを行う従来の眼球トラッキング方法では、瞳孔の一部が瞼によって欠けていることに起因して、眼球の運動を追跡することが、しばしば困難になることがある。

一方、眼球トラッキング装置１０は、上述した通り、まず、画像に含まれる瞳孔に対して、楕円によるフィッティングを試みる。そして、楕円によるフィッティングに成功しなかった場合には、楕円の一部が欠けた図形によるフィッティングを試みる。

このため、眼球トラッキング装置１０は、瞳孔に対して楕円によるフィッティングを行う従来の眼球トラッキング方法よりも、瞳孔の位置を正しく特定する可能性を高めることができる。

従って、上記眼球トラッキング装置１０によると、従来に比べて、より安定して眼球の運動を追跡し得る。

発明者は、上記眼球トラッキング装置１０の行う眼球トラッキング処理による、瞳孔に対して楕円によるフィッティングのみを行う従来の眼球トランキング方法に対する優位性を実証するために、以下に示す実験を行った。

まず、被験者に対して、水平方向前方方向から、仰角方向＋１５度方向へと繰り返し動く視標を提示し、それを見るように指示した上で、瞳孔全体が画像に含まれる状態で左目画像を連続撮像する。そして、各左目画像に含まれる瞳孔に対して、楕円によるフィッティングを行い、瞳孔の中心位置をトレースする。

次に、各左目画像に対して、瞳孔の上半分が欠如するように加工した加工画像を生成する。

図１１Ａは、加工前の左目画像の一例であり、図１１Ｂは、加工後の加工画像の一例である。

そして、各加工画像に含まれる上半分が欠如した瞳孔に対して、楕円によるフィッティングを行い、瞳孔の中心位置をトレースする。

その後、各加工画像を眼球トラッキング装置１０に取得させて、関連付け情報を生成させ、その関連付け情報に記録された左目位置情報によって示される左目の瞳孔の中心位置をトレースする。

図１２は、上記実験においてトレースされた瞳孔の中心位置の推移を示す図である。

図１２において、横軸は、左目画像の連続撮像を開始してからの経過時間であり、縦軸は、垂直方向における、瞳孔の中心位置の正規化された位置である。

また、図１２において、実線は、加工前の左目画像に含まれる瞳孔に対して楕円によるフィッティングを行った場合における瞳孔の中心位置の推移を示し、破線は、加工画像に含まれる上半分が欠如した瞳孔に対して楕円によるフィッティングを行った場合における瞳孔の中心位置の推移を示し、一点鎖線は、加工画像を眼球トラッキング装置１０に取得させた場合における、関連付け情報に記録された左目位置情報によって示される左目の瞳孔の中心位置の推移を示す。

上記実験により、図１２に示されるように、眼球トラッキング装置１０の行う眼球トラッキング処理（一点鎖線の対応）の方が、瞳孔に対して楕円によるフィッティングのみを行う従来の眼球トランキング方法（破線に対応）よりも、より忠実に、実際の瞳孔の動き（実線に対応）を再現し得ることがわかる。

また、眼球トラッキング装置１０は、上述した通り、同じタイミングで撮像された右目画像と左目画像とについて、右目位置情報と、右目信頼性情報と、左目位置情報と、左目信頼性情報とを互いに関連付けて記憶する。

従って、上記眼球トラッキング装置１０によると、従来の眼球トラッキング方法では実現することが困難である、右目信頼性情報に基づいて行う右目位置情報に対する演算処理、左目信頼性情報に基づいて行う左目位置情報に対する演算処理、左目信頼性情報に基づいて行う右目位置情報に対する演算処理、及び、右目信頼性情報に基づいて行う左目位置情報に対する演算処理等を実現することができるようになる。

また、従来の眼球トラッキング方法では、特定された各右目の瞳孔の位置及び各左目の瞳孔の位置が、それぞれどの程度の信頼性を有しているのかがわからなかった。

これに対して、眼球トラッキング装置１０では、上述した通り、図６に示されるように、各右目位置情報には、それぞれ右目信頼性情報が対応付けられ、各左目位置情報には、それぞれ左目位置情報が対応付けられる。

従って、上記眼球トラッキング装置１０によると、従来の眼球トラッキング方法では知りえなかった、各右目の瞳孔の位置及び各左目の瞳孔の位置が、それぞれどの程度の信頼性を有しているのかを知ることができるようになる。

発明者は、上記眼球トラッキング装置１０の行う補間処理の有効性を実証するために、さらに、以下に示す実験を行った。

まず、被験者に対して、水平方向前方方向から、仰角方向＋１５度方向へと繰り返し動く視標を提示し、それを見るように指示した上で、瞳孔全体が画像に含まれる状態で右目画像と左目画像とを連続撮像する。そして、各左目画像に含まれる瞳孔に対して、楕円によるフィッティングを行い、瞳孔の中心位置をトレースする。

その後、各右目画像及び各加工画像を眼球トラッキング装置１０に取得させて、（１）補間処理を行わせることなく、眼球トラッキング処理のみを行わせた状態で、関連付け情報に記録された左目位置情報によって示される左目の瞳孔の中心位置をトレースする。以下このトレースされた左目の瞳孔の中心位置のことを「補間処理前の瞳孔の中心位置」とも呼ぶ。

そして、（２）各右目画像及び各加工画像を眼球トラッキング装置１０に取得させて、眼球トラッキング処理と補間処理とを行わせた状態で、補間部３６により更新された関連付け情報に記録された左目情報によって示される左目の瞳孔の中心位置をトレースする。以下、この左目の瞳孔の中心位置のことを「補間処理後の瞳孔の中心位置」とも呼ぶ。

図１３は、上記実験においてトレースされた左目の瞳孔の中心位置の推移を示す図である。

図１３において、横軸は、右目画像及び左目画像の連続撮像を開始してからの経過時間であり、縦軸は、垂直方向における、瞳孔の中心位置の正規化された位置である。

また、図１３において、実線は、加工前の左目画像に含まれる瞳孔に対して楕円によるフィッティングを行った場合における瞳孔の中心位置の推移を示し、破線は、補間処処理を行わなかった場合における関連付け情報によって示される瞳孔の中心位置の推移を示し、一点鎖線は、補間処理を行った場合における更新された関連付け情報によって示される瞳孔の中心位置の推移を示す。

上記実験により、図１３に示されるように、補間処理を行う場合（一点鎖線に対応）の方が、補間処理を行わない場合（破線に対応）よりも、より忠実に、実際の瞳孔の動き（実線に対応）を再現し得ることがわかる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態について説明した。しかしながら、本開示による技術は、これに限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。

（１）実施の形態において、眼球トラッキング装置１０は、位置を特定する対象が瞳孔であるとして説明した。しかしながら、本発明の一態様に係る眼球トラッキング装置は、位置を特定する対象が瞳孔である構成に限定される必要はない。

本発明の一態様に係る眼球トラッキング装置の他の一例として、例えば、位置を特定する対象が虹彩である構成の例も考えられる。この構成の例は、例えば、実施の形態において、「瞳孔」を「虹彩」と読み替えることで理解される。

（２）実施の形態において、眼球トラッキング装置１０は、楕円の一部が欠けた図形によるフィッティングの試みとして、順番に、楕円の上側の１／４領域が欠けた第１図形と、楕円の上側の１／２領域が欠けた第２図形と、楕円の上側の３／４領域が欠けた第３図形との３段階からなるフィッティングの試みを行うとして説明した。しかしながら、本発明の一態様に係る眼球トラッキング装置は、楕円の一部が欠けた図形によるフィッティングの試みを行うことができれば、必ずしも上記３つの図形による３段階からなるフィッティングの試みを行う構成の例に限定される必要はない。

本発明の一態様に係る眼球トラッキング装置の他の一例として、例えば、楕円の一部が欠けた図形によるフィッティングの試みとして、順番に、楕円の上側の１／３領域が欠けた第１図形と、楕円の上側の２／３領域が欠けた第２図形との２段階からなるフィッティングの試みを行う構成の例も考えられる。

さらには、逆に、フィッティングの対象となる楕円の一部が欠けた図形をさらに細かく分類することで、より多数の段階（例えば、５段階や１０段階）による階層的なフィッティングの試みを行う構成の例も考えられる。

（３）また、被験者が下方を見た場合等には、瞳孔の下方が涙袋に覆われている画像が撮像されることもあり得る。これに対応するため、本発明の一態様に係る眼球トラッキング装置の他の一例として、例えば、楕円の一部が欠けた図形によるフィッティングの試みとして、順番に、楕円の下側の１／４領域が欠けた第１図形と、楕円の下側の１／２領域が欠けた第２図形と、楕円の下側の３／４領域が欠けた第３図形との３段階からなるフィッティングの試みを行う構成の例も考えられる。

（４）実施の形態において、眼球トラッキング装置１０は、補間処理を、眼球トラッキング処理が終了することで開始するとして説明した。しかしながら、本発明の一態様に係る眼球トラッキング装置は、必ずしも、上記構成に限定される必要はない。

実施の形態において、一般に、右目の眼球運動と左目の眼球運動とが連動して動くとして説明した。しかしながら、例外的に、例えば、被験者の脳幹部に障害がある場合には、両眼の共同運動不全が起こる可能性がある。このような被験者に対しては、一方の目の瞳孔の位置に基づいて、他方の目の瞳孔の位置を推定することが困難になることがある。

このため、本発明の一態様に係る眼球トラッキング装置の他の一例として、例えば、眼球トランキング処理が終了した後に、右目の眼球運動と左目の眼球運動とが連動して動いているか否か（高い相関関係があるか否か）を判定し、その判定が肯定的である場合に限って、補間処理を行う構成例であっても構わない。より具体的には、本発明の一態様に係る眼球トラッキング装置は、（Ａ）眼球トラッキング処理が完了した後に、関連付け部３５が生成した関連付け情報から、右目信頼性情報の値と左目信頼性情報の値とが、共に「４」又は「５」となる（すなわち、右目の瞳孔の位置と左目の瞳孔の位置との双方が、楕円によるフィッティングに基づいて特定されている）フレーム番号を特定する。そして、（Ｂ）特定したフレーム番号に対応する右目の瞳孔の位置と左目の瞳孔の位置とから、右目の眼球運動と左目の眼球運動とが連動して動いているか否か（高い相関関係があるか否か）を判定する。そして、（Ｃ）その判定が肯定的であった場合に限って、補間処理を開始する構成であっても構わない。

（５）また、一般に、右目の眼球運動と左目の眼球運動との連動動作において、連動動作の水平方向成分に対する信頼度と、連動動作の垂直方向成分に対する信頼度と、連動動作の廻旋方向成分に対する信頼度とが、互いに異なることもあり得る。このため、これに対応して、補間部３６は、一方の目の瞳孔の位置に基づいて他方の目の瞳孔の位置を推定する際に、例えば、眼球運動の水平方向成分と、眼球運動の垂直方向成分と、眼球運動の回旋方向成分とを区別して演算するとしても構わない。

（６）実施の形態において、眼球トラッキング装置１０は、図６に示される関連付け情報を生成して記憶するとして説明した。しかしながら、本発明の一態様に係る眼球トラッキング装置は、必ずしも、図６に示される通りの関連付け情報を生成して記憶する構成に限定される必要はない。

本発明の一態様に係る眼球トラッキング装置の他の一例として、例えば、図１４に示される関連付け情報を生成して記憶する構成の例も考えられる。

図１４において、フレーム番号と、右目位置情報と、右目信頼性情報と、左目位置情報と、左目信頼性情報とは、図６に示される関連付け情報の場合と同様である。このため、ここでの説明は省略する。そして、右目補間情報は、対応する右目位置情報が、補間部３６によって、対応する左目位置情報に基づいて更新されたか否か（すなわち、補完されたか否か）を示す情報であり、左目補間情報は、対応する左目位置情報が、補間部３６によって、対応する右目位置情報に基づいて更新されたか否か（すなわち、補完されたか否か）を示す情報である。ここでは、右目補間情報は、その値が「１」の場合に、対応する右目位置情報が、補間部３６によって、対応する左目位置情報に基づいて更新されている旨を示し、その値が「０」の場合に、対応する左目位置情報が、補間部３６によって、対応する右目位置情報に基づいて更新されていない旨を示す。そして、同様に、左目補間情報は、その値が「１」の場合に、対応する左目位置情報が、補間部３６によって、対応する右目位置情報に基づいて更新されている旨を示し、その値が「０」の場合に、対応する右目位置情報が、補間部３６によって、対応する左目位置情報に基づいて更新されていない旨を示す。

このような構成例の眼球トラッキング装置を利用するユーザは、その関連付け情報から、特定された各右目の瞳孔の位置及び各左目の瞳孔の位置が、楕円によるフィッティングに基づいて特定されたものなのか、不安定な状態（例えば、瞼が下がってきてフィッティングの階層が小刻みに変化する状況等）で特定されたものなのか、他方の目の瞳孔の位置から推定された位置により特定されたものなのか等を知ることができる。

また、本発明の一態様に係る眼球トラッキング装置の他の一例として、例えば、生成して記憶する関連付け情報を表示する表示部を備える構成例であっても構わない。

（７）本発明の一態様に係る眼球トラッキング装置の他の一例として、例えば、第１位置特定部３３の替わりに、その機能の一部が変形された変形第１位置特定部（後述）を備え、第２位置特定部３４の替わりに、その機能の一部が変形された変形第２位置特定部（後述）を備える構成の例も考えられる。

ここで、変形第１位置特定部は、（１）楕円輪郭フィッティング部４１によってなされた、楕円の輪郭によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第１所定値である場合は、楕円輪郭フィッティング部４１によってフィッティングされた楕円の中心位置を、瞳孔の位置として特定する。そして、（２）楕円輪郭フィッティング部４１によってなされた、楕円の輪郭によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第１所定値でない場合において、楕円形状フィッティング部４２によってなされた、楕円の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングが成功したことを示す第２所定値であるときに、楕円輪郭フィッティング部４１によってフィッティングされた楕円の中心位置と、楕円形状フィッティング部４２によってフィッティングされた楕円の中心位置とを所定の比率で按分することで瞳孔の位置として特定する。

また、変形第２位置特定部は、（１）第１図形形状フィッティング部４３によってなされた、第１図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第３所定値である場合に、楕円形状フィッティング部４２によってフィッティングされた楕円の中心位置と、第１図形形状フィッティング部４３によってフィッティングされた第１図形における楕円の中心位置とを所定の比率で按分することで瞳孔の位置として特定する。そして、（２）第１図形形状フィッティング部４３によってなされた、第１図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第３所定値でない場合において、第２図形形状フィッティング部４４によってなされた、第２図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第４所定値であるときは、第１図形形状フィッティング部４３によってフィッティングされた第１図形における楕円の中心位置と、第２図形形状フィッティング部４４によってフィッティングされた第２図形における楕円の中心位置とを、所定の比率で按分することで瞳孔の位置として特定する。また、（３）第２図形形状フィッティング部４４によってなされた、第２図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第４所定値でない場合において、第３図形形状フィッティング部４５によってなされた、第３図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第５所定値であるときは、第２図形形状フィッティング部４４によってフィッティングされた第２図形における楕円の中心位置と第３図形形状フィッティング部４５によってフィッティングされた第３図形における楕円の中心位置とを、所定の比率で按分することで瞳孔の位置として特定する。

（８）眼球トラッキング装置１０における各構成要素（機能ブロック）は、ＩＣ（Integrated Circuit）、ＬＳＩ（Large Scale Integration）等の半導体装置により個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。

また、上記各種処理の全部又は一部は、電子回路等のハードウェアにより実現されても、ソフトウェアを用いて実現されてもよい。なお、ソフトウェアによる処理は、眼球トラッキング装置１０に含まれるプロセッサがメモリに記憶されたプログラムを実行することにより実現されるものである。また、そのプログラムを記録媒体に記録して頒布や流通させてもよい。例えば、頒布されたプログラムを、他のプロセッサを有する装置にインストールして、そのプログラムをそのプロセッサに実行させることで、その装置に、上記各処理を行わせることが可能となる。

また、上述した実施の形態で示した構成要素及び機能を任意に組み合わせることで実現される形態も本開示の範囲に含まれる。

本発明は、眼球の運動を追跡する眼球トラッキング装置に広く利用可能である。

１０眼球トラッキング装置
３０画像取得部
３１第１フィッティング部
３２第２フィッティング部
３３第１位置特定部
３４第２位置特定部
３５関連付け部
３６補間部
４１楕円輪郭フィッティング部
４２楕円形状フィッティング部
４３第１図形形状フィッティング部
４４第２図形形状フィッティング部
４５第３図形形状フィッティング部

Claims

メモリと、前記メモリに記憶されたプログラムを実行するプロセッサとを含むコンピュータによって実現される眼球トラッキング装置が実行する眼球トラッキング方法であって、
画像に含まれる瞳孔又は虹彩に対して、楕円によるフィッティングを試みる第１ステップと、
前記楕円によるフィッティングの試みの結果が所定の第１条件を満たす場合に、当該結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第２ステップと、
前記楕円によるフィッティングの試みの結果が前記第１条件を満たさない場合に、前記瞳孔又は前記虹彩に対して、前記楕円の一部が欠けた第１図形によるフィッティングを試みる第３ステップと、
前記第１図形によるフィッティングの試みの結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第４ステップと、を含み、
前記第４ステップは、
前記第１図形によるフィッティングの試みの結果が所定の第２条件を満たす場合に、当該結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第５ステップと、
前記第１図形によるフィッティングの試みの結果が前記第２条件を満たさない場合に、前記瞳孔又は前記虹彩に対して、前記楕円の一部が欠けた図形であって、前記第１図形よりも欠けた領域の割合が大きい第２図形によるフィッティングを試みる第６ステップと、
前記第２図形によるフィッティングの試みの結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第７ステップと、を含む
眼球トラッキング方法。
前記第７ステップは、
前記第２図形によるフィッティングの試みの結果が所定の第３条件を満たす場合に、当該結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第８ステップと、
前記第２図形によるフィッティングの試みの結果が前記第３条件を満たさない場合に、前記瞳孔又は前記虹彩に対して、前記楕円の一部が欠けた図形であって、前記第２図形よりも欠けた領域の割合が大きい第３図形によるフィッティングを試みる第９ステップと、
前記第３図形によるフィッティングの試みの結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第１０ステップと、を含み、
前記第１図形は、前記楕円から、前記楕円の１／４領域が欠けた図形であり、
前記第２図形は、前記楕円から、前記楕円の１／２領域が欠けた図形であり、
前記第３図形は、前記楕円から、前記楕円の３／４領域が欠けた図形である
請求項１に記載の眼球トラッキング方法。
前記第１図形は、前記楕円から、左右の目が並ぶ方向を水平方向とする場合における垂直方向において、前記楕円の上側の前記１／４領域が欠けた図形であり、
前記第２図形は、前記楕円から、前記垂直方向において、前記楕円の上側の前記１／２領域が欠けた図形であり、
前記第３図形は、前記楕円から、前記垂直方向において、前記楕円の上側の前記３／４領域が欠けた図形である
請求項２に記載の眼球トラッキング方法。
前記所定の第１条件を満たすとは、前記楕円のフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す所定値であることをいう
請求項１～３のいずれか１項に記載の眼球トラッキング方法。
更に、前記瞳孔又は前記虹彩の位置が、前記第２ステップ又は前記第４ステップのいずれで特定されたかを示す信頼性情報を生成し、前記第２ステップ又は前記第４ステップのいずれかで特定された前記瞳孔又は前記虹彩の位置を示す位置情報と、前記信頼性情報とを関連付けて記憶する第１１ステップを含む
請求項１～４のいずれか１項に記載の眼球トラッキング方法。
前記第１ステップでは、右目の瞳孔又は右目の虹彩を含む右目画像と、当該右目画像と同じタイミングで撮像された、左目の瞳孔又は左目の虹彩を含む左目画像とに対して、前記楕円によるフィッティングの試みを行い、
前記第２ステップでは、前記右目画像に対する前記楕円によるフィッティングの試みの結果が前記第１条件を満たす場合に、当該結果に基づいて、前記右目の瞳孔又は前記右目の虹彩の位置を特定し、前記左目画像に対する前記楕円によるフィッティングの試みの結果が前記第１条件を満たす場合に、当該結果に基づいて、前記左目の瞳孔又は前記左目の虹彩の位置を特定し、
前記第３ステップでは、前記右目画像に対する前記楕円によるフィッティングの試みの結果が前記第１条件を満たさない場合に、前記右目の瞳孔又は前記右目の虹彩に対して、前記第１図形によるフィッティングを試み、前記左目画像に対する前記楕円によるフィッティングの試みの結果が前記第１条件を満たさない場合に、前記左目の瞳孔又は前記左目の虹彩に対して、前記第１図形によるフィッティングを試み、
前記第４ステップでは、前記右目画像に対する前記第１図形によるフィッティングの試みの結果に基づいて、前記右目の瞳孔又は前記右目の虹彩の位置を特定し、前記左目画像に対する前記第１図形によるフィッティングの試みの結果に基づいて、前記左目の瞳孔又は前記左目の虹彩の位置を特定し、
前記第１１ステップでは、
前記右目の瞳孔又は前記右目の虹彩の位置が、前記第２ステップ又は前記第４ステップのいずれで特定されたかを示す右目信頼性情報と、前記左目の瞳孔又は左目の虹彩の位置が、前記第２ステップ又は前記第４ステップのいずれで特定されたかを示す左目信頼性情報とを生成し、
前記第２ステップ又は前記第４ステップのいずれかで特定された前記右目の瞳孔又は前記右目の虹彩の位置を示す右目位置情報と、前記第２ステップ又は前記第４ステップのいずれかで特定された前記左目の瞳孔又は前記左目の虹彩の位置を示す左目位置情報と、前記右目信頼性情報と、前記左目信頼性情報とを関連付けて記憶する
請求項５に記載の眼球トラッキング方法。
更に、前記右目信頼性情報と、前記左目信頼性情報とが、所定の第４条件を満たす場合に、前記左目位置情報を、前記右目位置情報に基づいて更新し、前記右目信頼性情報と、前記左目信頼性情報とが、所定の第５条件を満たす場合に、前記右目位置情報を、前記左目位置情報とに基づいて更新する第１２ステップを含む
請求項６に記載の眼球トラッキング方法。
前記第１ステップ、前記第２ステップ、前記第３ステップ、及び前記第４ステップは、連続撮像された複数の画像のそれぞれに対して実行される
請求項１～７のいずれか１項に記載の眼球トラッキング方法。
前記画像は、前記瞳孔又は前記虹彩に対して、赤外光照射装置から発せられた赤外光が照射された状態で撮像された画像である
請求項１～８のいずれか１項に記載の眼球トラッキング方法。
前記画像は、遮光体により、前記瞳孔又は前記虹彩に対する可視光の照射が抑制された状態で撮像された画像である
請求項１～９のいずれか１項に記載の眼球トラッキング方法。
画像に含まれる瞳孔又は虹彩に対して、楕円によるフィッティングを試みる第１フィッティング部と、
前記楕円によるフィッティングの試みの結果が所定の第１条件を満たす場合に、当該結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第１位置特定部と、
前記楕円によるフィッティングの試みの結果が前記第１条件を満たさない場合に、前記瞳孔又は前記虹彩に対して、前記楕円の一部が欠けた第１図形によるフィッティングを試みる第２フィッティング部と、
前記第１図形によるフィッティングの試みの結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第２位置特定部と、を備え、
前記第２位置特定部は、
前記第１図形によるフィッティングの試みの結果が所定の第２条件を満たす場合に、当該結果に基づいて、前記瞳孔又は前記虹彩の位置を特定し、
前記第１図形によるフィッティングの試みの結果が前記第２条件を満たさない場合に、前記瞳孔又は前記虹彩に対して、前記楕円の一部が欠けた図形であって、前記第１図形よりも欠けた領域の割合が大きい第２図形によるフィッティングを試み、
前記第２図形によるフィッティングの試みの結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する
眼球トラッキング装置。
眼球の動きをトラッキングするための眼球トラッキング処理をコンピュータに実行させるためのプログラムであって、
前記眼球トラッキング処理は、
画像に含まれる瞳孔又は虹彩に対して、楕円によるフィッティングを試みる第１ステップと、
前記楕円によるフィッティングの試みの結果が所定の第１条件を満たす場合に、当該結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第２ステップと、
前記楕円によるフィッティングの試みの結果が前記第１条件を満たさない場合に、前記瞳孔又は前記虹彩に対して、前記楕円の一部が欠けた第１図形によるフィッティングを試みる第３ステップと、
前記第１図形によるフィッティングの試みの結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第４ステップと、を含み、
前記第４ステップは、
前記第１図形によるフィッティングの試みの結果が所定の第２条件を満たす場合に、当該結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第５ステップと、
前記第１図形によるフィッティングの試みの結果が前記第２条件を満たさない場合に、前記瞳孔又は前記虹彩に対して、前記楕円の一部が欠けた図形であって、前記第１図形よりも欠けた領域の割合が大きい第２図形によるフィッティングを試みる第６ステップと、
前記第２図形によるフィッティングの試みの結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第７ステップと、を含む
プログラム。