JP6856017B2 - 角膜反射位置検出装置、視線検出装置及び角膜反射位置検出方法 - Google Patents

Description

本発明は、角膜反射位置検出装置、視線検出装置及び角膜反射位置検出方法に関する。

視線検出技術の一つとして角膜反射法が知られている。角膜反射法は、光源から射出された赤外光を被験者に照射し、赤外光が照射された被験者の眼をカメラで撮影し、角膜表面における光源の反射像である角膜反射に対する瞳孔の位置を検出して、被験者の視線を検出する。このような検出法により視線の検出を行う場合、角膜反射の位置を精度よく検出することが求められる。

一方、被験者が眼鏡をかけている場合等には、角膜反射の像と眼鏡による反射像との区別が難しいという課題があった。これに対して、例えば特許文献１に記載の方法では、光源の照射面積を変化させることにより、角膜反射と眼鏡による反射像との区別を行うようにしている。

特開２０１７−７９８８３号公報

特許文献１に記載の方法では、照射面積を変化させない光源を用いる環境においては実現が困難である。

本発明は、上記に鑑みてなされたものであり、効率的かつ高精度に角膜反射領域を検出することが可能な角膜反射位置検出装置、視線検出装置及び角膜反射位置検出方法を提供することを目的とする。

本発明に係る角膜反射位置検出装置は、被験者の眼球の画像から瞳孔の中心位置を検出する瞳孔検出部と、前記画像から角膜反射領域を検出する角膜反射検出部と、を備え、前記角膜反射検出部は、前記画像において輝度閾値以上の輝度を有する高輝度領域が存在するか否かを、前記瞳孔の中心位置を基準とした検出対象領域を段階的に拡大することで検出し、前記高輝度領域が検出された場合に前記高輝度領域が前記角膜反射領域であると判定する。

本発明に係る視線検出装置は、上記の角膜反射位置検出装置を備える。

本発明に係る角膜反射位置検出方法は、被験者の眼球の画像から瞳孔の中心位置を検出することと、前記画像から角膜反射領域を検出することと、を含み、前記角膜反射領域を検出することは、前記画像において輝度閾値以上の輝度を有する高輝度領域が存在するか否かを、前記瞳孔の中心位置を基準とした検出対象領域を段階的に拡大することで検出することと、前記高輝度領域が検出された場合に前記高輝度領域が前記角膜反射領域であると判定することと、を含む。

本発明によれば、効率的かつ高精度に角膜反射領域を検出することができる。

図１は、１つの光源を使用した場合の被験者の目の様子を示す図である。 図２は、２つの光源を使用した場合の被験者の目の様子を示す図である。 図３は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。 図４は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。 図５は、評価装置の機能の概要を示す図である。 図６は、図５に示す各部の詳細な機能の一例を示すブロック図である。 図７は、１つの光源を用いると仮定した場合の処理の概要を説明する図である。 図８は、本実施形態の評価装置により実行される処理の概要を説明する図である。 図９は、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。 図１０は、本実施形態の算出処理の一例を示すフローチャートである。 図１１は、事前に求めた距離を使用して角膜曲率中心の位置を算出する方法を示した図である。 図１２は、本実施形態の視線検出処理の一例を示すフローチャートである。 図１３は、眼鏡を着用した被験者の角膜反射点を検出する場合の一例を示す図である。 図１４は、眼鏡を着用した被験者の角膜反射点を検出する場合の一例を示す図である。 図１５は、本実施形態に係る角膜反射位置検出方法の一例を示すフローチャートである。 図１６は、角膜反射位置検出方法の一ステップを説明するための図である。 図１７は、角膜反射位置検出方法の一ステップを説明するための図である。 図１８は、角膜反射位置検出方法の一ステップを説明するための図である。 図１９は、図１５のステップＳ６０４における判定処理の一例を示すフローチャートである。

以下に、本発明にかかる角膜反射位置検出装置、視線検出装置及び角膜反射位置検出方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下では、視線検出結果を用いて発達障がいなどの評価を行う評価装置に視線検出装置を用いた例を説明する。適用可能な装置は評価装置に限られるものではない。

上記のように、一般的に行われている注視点検出では、個人差および環境等の影響により、常に注視点が取得可能な状態であるとは限らない。本実施形態の評価装置は、モニタ画面に対する被験者の注視点を検出する装置であって、被験者に見せるモニタの画面の一部に、注視点の検出状況を示す情報（状況情報）を被験者に気付かれにくい形状で表示する。これにより、第三者がリアルタイムに被験者の注視点の検出状況を把握することが可能になり、注視点測定全体の効率を向上させることができる。

また、本実施形態の視線検出装置（評価装置）は、２ヵ所に設置された照明部を用いて視線を検出する。また、本実施形態の視線検出装置（評価装置）は、視線検出前に被験者に１点を注視させて測定した結果を用いて、角膜曲率中心位置を高精度に算出する。

なお、照明部とは、光源を含み、被験者の眼球に光を照射可能な要素である。光源とは、例えばＬＥＤ（Light Emitting Diode）などの光を発生する素子である。光源は、１個のＬＥＤから構成されてもよいし、複数のＬＥＤを組み合わせて１ヵ所に配置することにより構成されてもよい。以下では、このように照明部を表す用語として「光源」を用いる場合がある。

視点検出を精度よく行うためには、瞳孔位置を正しく検出できることが重要となっている。近赤外の光源を点灯させカメラで撮影した場合、カメラと光源の距離が一定以上離れていると、瞳孔は他の部分より暗くなることがわかっている。この特徴を用いて瞳孔位置が検出される。

本実施形態では、２台のカメラに対して、光源をそれぞれのカメラの外側に２ヶ所配置する。そして、これらの２つの光源を相互に異なるタイミングで点灯させ、点灯している光源からの距離が長い方（遠い方）のカメラで撮影する。これにより、瞳孔をより暗く撮影し、瞳孔と他の部分とを、より高精度に区別することが可能となる。

この場合、点灯させる光源が異なるため、通常のステレオ方式による三次元計測を単純に適用することができない。すなわち、視点を求める際の光源と角膜反射を結ぶ直線を世界座標で算出することができない。そこで本実施形態では、２つのタイミングでの、撮像に用いるカメラ相互の位置関係、および、点灯させる光源相互の位置関係を、仮想的な光源の位置（仮想光源位置）に対してそれぞれ対称とする。そして、２つの光源それぞれの点灯時に得られる２つの座標値を、左カメラによる座標値および右カメラによる座標値として世界座標に変換する。これにより、２つの光源それぞれの点灯時に得られる角膜反射位置を用いて、仮想光源と角膜反射を結ぶ直線を世界座標で算出すること、および、この直線に基づき視点を算出することが可能となる。

図１は、１つの光源を使用した場合の被験者の目１１の様子を示す図である。図１に示すように、虹彩１２と瞳孔１３との暗さの差が十分ではなく、区別が困難となる。図２は、２つの光源を使用した場合の被験者の目２１の様子を示す図である。図２に示すように、虹彩２２と瞳孔２３との暗さの差は、図１と比較して大きくなっている。

図３および４は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。

図３に示すように、本実施形態の評価装置は、表示部１０１と、ステレオカメラを構成する右カメラ１０２ａ、左カメラ１０２ｂと、ＬＥＤ光源１０３ａ、１０３ｂと、を含む。右カメラ１０２ａ、左カメラ１０２ｂは、表示部１０１の下に配置される。ＬＥＤ光源１０３ａ、１０３ｂは、右カメラ１０２ａ、左カメラ１０２ｂそれぞれの外側の位置に配置される。ＬＥＤ光源１０３ａ、１０３ｂは、例えば波長８５０ｎｍの近赤外線を照射する光源である。図３では、９個のＬＥＤによりＬＥＤ光源１０３ａ、１０３ｂ（照明部）を構成する例が示されている。なお、右カメラ１０２ａ、左カメラ１０２ｂは、波長８５０ｎｍの近赤外光を透過できるレンズを使用する。なお、ＬＥＤ光源１０３ａ、１０３ｂと、右カメラ１０２ａ、左カメラ１０２ｂとの位置を逆にして、ＬＥＤ光源１０３ａ、１０３ｂを、右カメラ１０２ａ、左カメラ１０２ｂそれぞれの内側の位置に配置されていてもよい。

図４に示すように、ＬＥＤ光源１０３ａ、１０３ｂは、被験者の眼球１１１に向かって近赤外光を照射する。ＬＥＤ光源１０３ａを照射したときに左カメラ１０２ｂで撮影を行い、ＬＥＤ光源１０３ｂを照射したときに右カメラ１０２ａで撮影を行う。右カメラ１０２ａおよび左カメラ１０２ｂと、ＬＥＤ光源１０３ａ、１０３ｂとの位置関係を適切に設定することにより、撮影される画像では、瞳孔１１２が低輝度で反射して暗くなり、眼球１１１内に虚像として生じる角膜反射１１３が高輝度で反射して明るくなる。従って、瞳孔１１２および角膜反射１１３の画像上の位置を２台のカメラ（右カメラ１０２ａ、左カメラ１０２ｂ）それぞれで取得することができる。

さらに２台のカメラにより得られる瞳孔１１２および角膜反射１１３の位置から、瞳孔１１２および角膜反射１１３の位置の三次元世界座標値を算出する。本実施形態では、三次元世界座標として、表示部１０１の画面の中央位置を原点として、上下をＹ座標（上が＋）、横をＸ座標（向かって右が＋）、奥行きをＺ座標（手前が＋）としている。

図５は、評価装置１００の機能の概要を示す図である。本実施形態において、評価装置１００は、例えば被験者の眼球の角膜反射点の位置を検出する角膜反射位置検出装置、又は被験者の視線を検出する視線検出装置として用いられる。以下の説明においては、評価装置１００を適宜、角膜反射位置検出装置１００、又は視線検出装置１００と称する場合がある。図５では、図３および４に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図５に示すように、評価装置１００は、右カメラ１０２ａと、左カメラ１０２ｂと、左カメラ１０２ｂ用のＬＥＤ光源１０３ａと、右カメラ１０２ａ用のＬＥＤ光源１０３ｂと、スピーカ２０５と、駆動・ＩＦ（interface）部３１３と、制御部３００と、記憶部１５０と、表示部１０１と、を含む。図５において、表示画面２０１は、右カメラ１０２ａおよび左カメラ１０２ｂとの位置関係を分かりやすく示しているが、表示画面２０１は表示部１０１において表示される画面である。なお、駆動部とＩＦ部は一体でもよいし、別体でもよい。

スピーカ２０５は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。

駆動・ＩＦ部３１３は、ステレオカメラに含まれる各部を駆動する。また、駆動・ＩＦ部３１３は、ステレオカメラに含まれる各部と、制御部３００とのインタフェースとなる。

制御部３００は、例えば、ＣＰＵ（Central Processing Unit）などの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆと、各部を接続するバスを備えているコンピュータなどにより実現できる。

記憶部１５０は、制御プログラム、測定結果、評価結果など各種情報を記憶する。記憶部１５０は、例えば、表示部１０１に表示する画像等を記憶する。表示部１０１は、評価のための対象画像等、各種情報を表示する。

図６は、図５に示す各部の詳細な機能の一例を示すブロック図である。図６に示すように、制御部３００には、表示部１０１と、駆動・ＩＦ部３１３が接続される。駆動・ＩＦ部３１３は、カメラＩＦ３１４、３１５と、ＬＥＤ駆動制御部３１６と、スピーカ駆動部３２２と、を備える。

駆動・ＩＦ部３１３には、カメラＩＦ３１４、３１５を介して、それぞれ、右カメラ１０２ａ、左カメラ１０２ｂが接続される。駆動・ＩＦ部３１３がこれらのカメラを駆動することにより、被験者を撮像する。右カメラ１０２ａからはフレーム同期信号が出力される。フレーム同期信号は、左カメラ１０２ｂとＬＥＤ駆動制御部３１６とに入力される。これにより、ＬＥＤ光源１０３ａ、１０３ｂを発光させ、それに対応して左右カメラによる画像を取り込んでいる。

スピーカ駆動部３２２は、スピーカ２０５を駆動する。なお、評価装置１００が、印刷部としてのプリンタと接続するためのインタフェース（プリンタＩＦ）を備えてもよい。また、プリンタを評価装置１００の内部に備えるように構成してもよい。

制御部３００は、評価装置１００全体を制御する。制御部３００は、点灯制御部３５１と、位置検出部３５２と、曲率中心算出部３５３と、視線検出部３５４と、視点検出部３５５と、出力制御部３５６と、評価部３５７と、判定部３５８と、を備えている。なお、視線検出装置としては、少なくとも点灯制御部３５１、位置検出部３５２、曲率中心算出部３５３、視線検出部３５４、および、判定部３５８が備えられていればよい。また、角膜反射位置検出装置としては、少なくとも点灯制御部３５１と、位置検出部３５２が備えられていればよい。

制御部３００に含まれる各要素（点灯制御部３５１、位置検出部３５２、曲率中心算出部３５３、視線検出部３５４、視点検出部３５５、出力制御部３５６、評価部３５７、および、判定部３５８）は、ソフトウェア（プログラム）で実現してもよいし、ハードウェア回路で実現してもよいし、ソフトウェアとハードウェア回路とを併用して実現してもよい。

プログラムで実現する場合、当該プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

点灯制御部３５１は、ＬＥＤ駆動制御部３１６を用いて、ＬＥＤ光源１０３ａ、１０３ｂの点灯を制御する。例えば点灯制御部３５１は、ＬＥＤ光源１０３ａ、１０３ｂを、相互に異なるタイミングで点灯するように制御する。タイミングの差（時間）は、例えば、被験者の視線の移動等による視線検出結果への影響が生じない時間として予め定められた時間とすればよい。

位置検出部（瞳孔検出部、角膜反射検出部）３５２は、ステレオカメラにより撮像された眼球の画像から、瞳孔を示す瞳孔領域、および、角膜反射を示す角膜反射領域を検出する。また位置検出部３５２は、瞳孔領域に基づき、瞳孔の中心を示す瞳孔中心の位置を算出する。例えば位置検出部３５２は、瞳孔領域の輪郭上の複数の点を選択し、選択した複数の点を通る円の中心を、瞳孔中心の位置として算出する。同様にして位置検出部３５２は、角膜反射領域に基づき、角膜反射の中心を示す角膜反射中心の位置を算出する。位置検出部３５２は、瞳孔に関する検出を行う部分と、角膜反射に関する検出を行う部分とが別個に設けられてもよい。

位置検出部３５２は、眼球の画像において、所定の輝度閾値以上の輝度を有する高輝度領域が存在するか否かを、瞳孔の中心位置を基準とした検出対象領域を段階的に拡大することで検出する。眼球の画像は、例えばマトリクス状に配置された複数の画素によって構成される。位置検出部３５２は、高輝度領域が検出された場合、高輝度領域の面積を算出する。位置検出部３５２は、算出した高輝度領域の面積が所定の面積閾値以下の場合に、高輝度領域が角膜反射領域であると判定する。

位置検出部３５２は、高輝度領域が検出対象領域の外側に連続して存在する場合、検出対象領域の外側に存在する部分を含めた高輝度領域の面積を算出する。位置検出部３５２は、検出対象領域の外側に連続して存在する高輝度領域の面積を算出した後、検出対象領域を拡大した場合、拡大前の検出対象領域の検出時に輝度閾値以上の輝度を有するか否かを判定した領域については、当該判定を行わない。

位置検出部３５２は、画素ごとに輝度閾値以上の輝度を有するか否かを判定し、閾値以上の輝度を有すると判定した画素に対して隣り合う画素について連鎖的に輝度閾値以上の輝度を有するか否かの判定を行うことで、高輝度領域の範囲を検出する。位置検出部３５２は、瞳孔の中心位置を基準として一方向に検出対象領域を拡大する。この場合、一方向は、画像の撮像時において被験者の視点から光源位置に向けた方向に対応する方向である。

判定部３５８は、瞳孔領域の検出状況を判定する。例えば判定部３５８は、瞳孔領域の輝度および面積などに基づいて、瞳孔領域が正常に検出できているかを判定する。判定部３５８が、瞳孔領域の真円度に基づいて、瞳孔領域が正常に検出できているかを判定してもよい。

なお、判定部３５８は、瞳孔領域の検出の精度が高く瞳孔領域の検出状況を考慮する必要がないような場合であれば、当該判定を行わなくてもよい。

曲率中心算出部３５３は、仮想光源位置と角膜反射中心とを結ぶ直線から、角膜曲率中心を算出する。例えば、曲率中心算出部３５３は、この直線上で、角膜反射中心からの距離が所定値となる位置を、角膜曲率中心として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値を用いることができる。

角膜の曲率半径値には個人差が生じうるため、事前に定められた値を用いて角膜曲率中心を算出すると誤差が大きくなる可能性がある。従って、曲率中心算出部３５３が、個人差を考慮して角膜曲率中心を算出してもよい。この場合、曲率中心算出部３５３は、まず目標位置を被験者に注視させたときに算出された瞳孔中心および角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ直線と、角膜反射中心と仮想光源位置とを結ぶ直線と、の交点を算出する。そして曲率中心算出部３５３は、瞳孔中心と算出した交点との距離を算出し、例えば記憶部１５０に記憶する。

目標位置は、予め定められ、三次元世界座標値が算出できる位置であればよい。例えば、表示画面２０１の中央位置（三次元世界座標の原点）を目標位置とすることができる。この場合、例えば出力制御部３５６が、表示画面２０１上の目標位置（中央）に、被験者に注視させる画像（目標画像）等を表示する。これにより、被験者に目標位置を注視させることができる。

目標画像は、被験者を注目させることができる画像であればどのような画像であってもよい。例えば、輝度や色などの表示態様が変化する画像、および、表示態様が他の領域と異なる画像などを目標画像として用いることができる。

なお、目標位置は表示画面２０１の中央に限られるものではなく、任意の位置でよい。表示画面２０１の中央を目標位置とすれば、表示画面２０１の任意の端部との距離が最小になる。このため、例えば視線検出時の測定誤差をより小さくすることが可能となる。

距離の算出までの処理は、例えば実際の視線検出を開始するまでに事前に実行しておく。実際の視線検出時には、曲率中心算出部３５３は、仮想光源位置と角膜反射中心とを結ぶ直線上で、瞳孔中心からの距離が、事前に算出した距離となる位置を、角膜曲率中心として算出する。曲率中心算出部３５３が、仮想光源位置と、表示部上の目標画像を示す所定の位置と、瞳孔中心の位置と、角膜反射中心の位置と、から角膜曲率中心を算出する算出部に相当する。

視線検出部３５４は、瞳孔中心と角膜曲率中心とから被験者の視線を検出する。例えば視線検出部３５４は、角膜曲率中心から瞳孔中心へ向かう方向を被験者の視線方向として検出する。

視点検出部３５５は、検出された視線方向を用いて被験者の視点を検出する。視点検出部３５５は、例えば、表示画面２０１で被験者が注視する点である視点（注視点）を検出する。視点検出部３５５は、例えば図４のような三次元世界座標系で表される視線ベクトルとＸＹ平面との交点を、被験者の注視点として検出する。

出力制御部３５６は、表示部１０１およびスピーカ２０５などに対する各種情報の出力を制御する。例えば、出力制御部３５６は、表示部１０１上の目標位置に目標画像を出力させる。また、出力制御部３５６は、評価画像、および、評価部３５７による評価結果などの表示部１０１に対する出力を制御する。

評価画像は、視線（視点）検出結果に基づく評価処理に応じた画像であればよい。例えば発達障がいを評価する場合であれば、発達障がいの被験者が好む画像（幾何学模様映像など）と、それ以外の画像（人物映像など）と、を含む評価画像を用いてもよい。

また出力制御部３５６は、瞳孔領域および角膜反射領域のうち少なくとも一方の検出状況を示す状況情報（インジケータ）を表示部１０１に表示させる。状況情報の表示方法の詳細は後述する。

評価部３５７は、評価画像と、視点検出部３５５により検出された注視点とに基づく評価処理を行う。例えば発達障がいを評価する場合であれば、評価部３５７は、評価画像と注視点とを解析し、発達障がいの被験者が好む画像を注視したか否かを評価する。

図７は、１つの光源を用いると仮定した場合の処理の概要を説明する図である。図３〜図６で説明した要素については同一の符号を付し説明を省略する。図７の例では、２つのＬＥＤ光源１０３ａ、１０３ｂの代わりに、１つのＬＥＤ光源２０３が用いられる。

瞳孔中心４０７および角膜反射中心４０８は、それぞれ、１つのＬＥＤ光源２０３を点灯させた際に検出される瞳孔の中心、および、角膜反射点の中心を表している。角膜曲率半径４０９は、角膜表面から角膜曲率中心４１０までの距離を表す。ＬＥＤ光源２０３は、ここでは１個のＬＥＤとしているが、数個の小さいＬＥＤを組み合わせて１ヵ所に配置されたものであっても構わない。

図８は、本実施形態の評価装置１００により実行される処理の概要を説明する図である。図３〜図６で説明した要素については同一の符号を付し説明を省略する。

角膜反射点６２１は左カメラ１０２ｂで撮影したときの画像上の角膜反射点を表す。角膜反射点６２２は右カメラ１０２ａで撮影したときの画像上の角膜反射点を表す。本実施形態では、右カメラ１０２ａと右カメラ用のＬＥＤ光源１０３ｂ、および、左カメラ１０２ｂと左カメラ用のＬＥＤ光源１０３ａは、例えば右カメラ１０２ａと左カメラ１０２ｂの中間位置を通る直線に対して左右対称の位置関係にある。このため、右カメラ１０２ａと左カメラ１０２ｂの中間位置（仮想光源位置）に仮想光源３０３があるとみなすことができる。角膜反射点６２４は、仮想光源３０３に対応する角膜反射点を表す。角膜反射点６２１の座標値と角膜反射点６２２の座標値を、左右カメラの座標値を三次元世界座標に変換する変換パラメータを用いて変換することにより、角膜反射点６２４の世界座標値が算出できる。仮想光源３０３と角膜反射点６２４を結ぶ直線５２３上に角膜の曲率中心５０５が存在する。従って、図７で表した光源が１ヵ所の視線検出方法と同等の方法で視点検出が可能である。

なお右カメラ１０２ａと左カメラ１０２ｂとの位置関係、および、ＬＥＤ光源１０３ａとＬＥＤ光源１０３ｂとの位置関係は、上述の位置関係に限られるものではない。例えば同一の直線に対して、それぞれの位置関係が左右対称となる関係であってもよいし、右カメラ１０２ａと左カメラ１０２ｂと、ＬＥＤ光源１０３ａとＬＥＤ光源１０３ｂとは同一直線上になくてもよい。

図９は、視点検出（視線検出）を行う前に、角膜曲率中心位置と、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。図３〜図６で説明した要素については同一の符号を付し説明を省略する。

目標位置６０５は、表示部１０１上の一点に目標画像等を出して、被験者に見つめさせるための位置である。本実施形態では表示部１０１の画面の中央位置としている。直線６１３は、仮想光源３０３と角膜反射中心６１２とを結ぶ直線である。直線６１４は、被験者が見つめる目標位置６０５（注視点）と瞳孔中心６１１とを結ぶ直線である。角膜曲率中心６１５は、直線６１３と直線６１４との交点である。曲率中心算出部３５３は、瞳孔中心６１１と角膜曲率中心６１５との距離６１６を算出して記憶しておく。

図１０は、本実施形態の算出処理の一例を示すフローチャートである。

まず出力制御部３５６は、表示部１０１の画面上の１点に目標画像を再生し（ステップＳ１０１）、被験者にその１点を注視させる。次に、点灯制御部３５１は、ＬＥＤ駆動制御部３１６を用いてＬＥＤ光源１０３ａ、１０３ｂのうち一方を被験者の目に向けて点灯させる（ステップＳ１０２）。制御部３００は、左右カメラ（右カメラ１０２ａ、左カメラ１０２ｂ）のうち点灯したＬＥＤ光源からの距離が長い方のカメラで被験者の目を撮像する（ステップＳ１０３）。次に、点灯制御部３５１は、ＬＥＤ光源１０３ａ、１０３ｂのうち他方を被験者の目に向けて点灯させる（ステップＳ１０４）。制御部３００は、左右カメラのうち点灯したＬＥＤ光源からの距離が長い方のカメラで被験者の目を撮像する（ステップＳ１０５）。

なお、点灯したＬＥＤ光源からの距離が長いカメラ以外のカメラによる撮像を停止しなくてもよい。すなわち、少なくとも点灯したＬＥＤ光源からの距離が長い方のカメラで被験者の目を撮像し、撮像した画像が座標算出等に利用可能となっていればよい。

ＬＥＤ光源１０３ａまたはＬＥＤ光源１０３ｂの照射により、瞳孔部分（瞳孔領域）は暗い部分（暗瞳孔）として検出される。またＬＥＤ照射の反射として、角膜反射の虚像が発生し、明るい部分として角膜反射点（角膜反射中心）が検出される。すなわち、位置検出部３５２は、撮像された画像から瞳孔部分を検出し、瞳孔中心の位置を示す座標を算出する。位置検出部３５２は、例えば目を含む一定領域の中で最も暗い部分を含む所定の明るさ以下の領域を瞳孔部分として検出し、最も明るい部分を含む所定の明るさ以上の領域を角膜反射として検出する。また、位置検出部３５２は、撮像された画像から角膜反射部分（角膜反射領域）を検出し、角膜反射中心の位置を示す座標を算出する。なお、位置検出部３５２は、左右カメラで取得した２つの画像それぞれに対して、各座標値を算出する（ステップＳ１０６）。

なお、左右カメラは、三次元世界座標を取得するために、事前にステレオ較正法によるカメラ較正が行われており、変換パラメータが算出されている。ステレオ較正法は、例えば、「R. Y. Tsai, "A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses, " IEEE Journal of Robotics and Automation,vol.RA-3,no.4,1987.」において開示される方法等、従来から用いられているあらゆる方法を適用できる。

位置検出部３５２は、この変換パラメータを使用して、左右カメラの座標から、瞳孔中心と角膜反射中心の三次元世界座標に変換を行う（ステップＳ１０７）。例えば位置検出部３５２は、ＬＥＤ光源１０３ａが点灯されたときに左カメラ１０２ｂにより撮像された画像から得られた座標を左カメラの座標とし、ＬＥＤ光源１０３ｂが点灯されたときに右カメラ１０２ａにより撮像された画像から得られた座標を右カメラの座標として、変換パラメータを用いて三次元世界座標への変換を行う。この結果得られる世界座標値は、仮想光源３０３から光が照射されたと仮定したときに左右カメラで撮像された画像から得られる世界座標値に対応する。曲率中心算出部３５３は、求めた角膜反射中心の世界座標と、仮想光源３０３の中心位置の世界座標とを結ぶ直線を求める（ステップＳ１０８）。次に、曲率中心算出部３５３は、表示部１０１の画面上の１点に表示される目標画像の中心の世界座標と、瞳孔中心の世界座標とを結ぶ直線を算出する（ステップＳ１０９）。曲率中心算出部３５３は、ステップＳ１０８で算出した直線とステップＳ１０９で算出した直線との交点を求め、この交点を角膜曲率中心とする（ステップＳ１１０）。曲率中心算出部３５３は、このときの瞳孔中心と角膜曲率中心との間の距離を算出して記憶部１５０などに記憶する（ステップＳ１１１）。記憶された距離は、その後の視点（視線）検出時に、角膜曲率中心を算出するために使用される。

算出処理で表示部１０１上の１点を見つめる際の瞳孔中心と角膜曲率中心との間の距離は、表示部１０１内の視点を検出する範囲で一定に保たれている。瞳孔中心と角膜曲率中心との間の距離は、目標画像を再生中に算出された値全体の平均から求めてもよいし、再生中に算出された値のうち何回かの値の平均から求めてもよい。

図１１は、視点検出を行う際に、事前に求めた瞳孔中心と角膜曲率中心との距離を使用して、補正された角膜曲率中心の位置を算出する方法を示した図である。注視点８０５は、一般的な曲率半径値を用いて算出した角膜曲率中心から求めた注視点を表す。注視点８０６は、事前に求めた距離を用いて算出した角膜曲率中心から求めた注視点を表す。

瞳孔中心８１１および角膜反射中心８１２は、それぞれ、視点検出時に算出された瞳孔中心の位置、および、角膜反射中心の位置を示す。直線８１３は、仮想光源３０３と角膜反射中心８１２とを結ぶ直線である。角膜曲率中心８１４は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離８１５は、事前の算出処理により算出した瞳孔中心と角膜曲率中心との距離である。角膜曲率中心８１６は、事前に求めた距離を用いて算出した角膜曲率中心の位置である。角膜曲率中心８１６は、角膜曲率中心が直線８１３上に存在すること、および、瞳孔中心と角膜曲率中心との距離が距離８１５であることから求められる。これにより一般的な曲率半径値を用いる場合に算出される視線８１７は、視線８１８に補正される。また、表示部１０１の画面上の注視点は、注視点８０５から注視点８０６に補正される。

図１２は、本実施形態の視線検出処理の一例を示すフローチャートである。例えば、評価画像を用いた評価処理の中で視線を検出する処理として、図１２の視線検出処理を実行することができる。評価処理では、図１２の各ステップ以外に、評価画像を表示する処理、および、注視点の検出結果を用いた評価部３５７による評価処理などが実行される。

ステップＳ２０１〜ステップＳ２０７は、図１０のステップＳ１０２〜ステップＳ１０８と同様であるため説明を省略する。

曲率中心算出部３５３は、ステップＳ２０７で算出した直線上であって、瞳孔中心からの距離が、事前の算出処理によって求めた距離と等しい位置を角膜曲率中心として算出する（ステップＳ２０８）。

視線検出部３５４は、瞳孔中心と角膜曲率中心とを結ぶベクトル（視線ベクトル）を求める（ステップＳ２０９）。このベクトルが、被験者が見ている視線方向を示している。視点検出部３５５は、この視線方向と表示部１０１の画面との交点の三次元世界座標値を算出する（ステップＳ２１０）。この値が、被験者が注視する表示部１０１上の１点を世界座標で表した座標値である。視点検出部３５５は、求めた三次元世界座標値を、表示部１０１の二次元座標系で表される座標値（ｘ，ｙ）に変換する（ステップＳ２１１）。これにより、被験者が見つめる表示部１０１上の視点（注視点）を算出することができる。

［角膜反射位置検出方法］
次に、本実施形態に係る角膜反射位置検出方法について説明する。本実施形態において、評価装置１００は、例えば被験者の眼球の角膜反射点の位置を検出する角膜反射位置検出装置、又は被験者の視線を検出する視線検出装置として用いられる。以下の説明においては、評価装置１００を適宜、角膜反射位置検出装置１００、又は視線検出装置１００と称する場合がある。

本実施形態に係る角膜反射位置検出方法では、眼鏡を着用した被験者の角膜反射点を検出する。図１３及び図１４は、眼鏡を着用した被験者の角膜反射点を検出する場合の一例を示す図である。図１３及び図１４並びに以降の説明では、被験者の右目を例に挙げて示しているが、左目を検出する場合についても同様の説明が可能である。

図１３に示すように、眼鏡レンズ７０１Ａを有する眼鏡を着用した被験者の眼球１１１に向けてＬＥＤ光源１０３ｂから赤外光を照射した場合、角膜反射点９２１及び眼鏡レンズ７０１Ａ（７０１）における眼鏡反射点７２１が左カメラ１０２ｂによって撮像される。同様に、図１４に示すように、眼鏡レンズ７０１Ｂを有する眼鏡を着用した被験者の眼球１１１に向けてＬＥＤ光源１０３ｂから赤外光を照射した場合、角膜反射点（角膜反射領域）９２１及び眼鏡レンズ７０１Ｂ（７０１）における眼鏡反射点７２１が左カメラ１０２ｂによって撮像される。

図１３と図１４とでは、眼鏡レンズ７０１（７０１Ａ、７０１Ｂ）の曲率が異なっている場合を示している。被験者が眼鏡をかけている場合、眼鏡レンズ７０１の曲率や傾き、寸法等により眼鏡反射点７２１がランダムな位置に形成される。これに対して、角膜反射点９２１は、瞳孔中心に近接した位置に存在する。また、図１３及び図１４に示すように、眼鏡レンズ７０１は、眼球よりも曲率が大きくなっている。このため、眼鏡反射点７２１は、角膜反射点９２１よりも面積が大きくなる。なお、眼球１１１には、図１３及び図１４に示すように、角膜の曲率が変化する部位である曲率変化部１１５が存在する。曲率変化部１１５よりも外側に角膜反射点９２１が存在する場合には、視点が正確に算出できないことになる。

図１５は、本実施形態に係る角膜反射位置検出方法の一例を示すフローチャートである。図１６から図１８は、角膜反射位置検出方法の一ステップを説明するための図である。以下の例では、２つのＬＥＤ光源１０３ａ、１０３ｂを用いる場合を例に挙げて説明するが、１つのＬＥＤ光源２０３を用いる場合も同様の説明が可能である。また、以下の角膜反射位置検出方法は、両目に対して行うことができる。以下の説明では、右目に対して行う場合を例に挙げているが、左目に対して行う場合についても同様の説明が可能である。なお、左右の一方の目のみに対して行ってもよい。

まず、ＬＥＤ光源１０３ａ又は１０３ｂから被験者の眼球１１１に向けて赤外光を照射し、右カメラ１０２ａ又は左カメラ１０２ｂによって被験者の眼球１１１を撮像する（ステップＳ６０１）。図１６は、ステップＳ６０１において撮像される画像Ｉｍの一例を示す図である。図１６に示す画像Ｉｍは、例えばマトリクス状に配置された複数の画素によって構成される。画像Ｉｍには、眼鏡を着用した被験者の左右の眼球１１１、瞳孔９０１及び眼鏡レンズ７０１（７０１Ｌ、７０１Ｒ）が含まれている。また、画像Ｉｍには、複数の輝点５０が含まれている。複数の輝点５０は、画像Ｉｍにおける眼球１１１の範囲内に配置されている。この状態では、当該輝点５０が角膜反射点９２１であるか、眼鏡反射点７２１であるかを判別することが困難である。そこで、本実施形態では、以下の工程を行うことにより、角膜反射点９２１と眼鏡反射点７２１とを判別し、角膜反射点９２１を検出する。

被験者の眼球１１１を撮像した後、位置検出部３５２は、瞳孔中心位置を算出する（ステップＳ６０２）。図１７は、画像Ｉｍのうち右目の眼鏡レンズ７０１Ｒの範囲を拡大して示す図である。ステップＳ６０２において、位置検出部３５２は、図１７に示すように、例えば瞳孔９０１の輪郭９０１ａ上の複数の点９０１ｂを選択し、選択した複数の点９０１ｂを通る円の中心を、瞳孔中心位置９１１として算出する。瞳孔９０１は、光を殆ど反射しないため、周囲の環境によらず、虹彩又は瞼などに比較して輝度が低くなる傾向がある。したがって、位置検出部３５２は、例えば輝度が低い画素を検出することで瞳孔９０１を検出可能である。なお、画像Ｉｍの拡大図には、複数の輝点５０（５１、５２、５３）が含まれている。

瞳孔中心位置９１１が算出された後、位置検出部３５２は、角膜反射点９２１を検出するための検出対象領域を設定する（ステップＳ６０３）。図１８は、画像Ｉｍのうち右目の瞳孔９０１の範囲を拡大して示す図である。ステップＳ６０３において、位置検出部３５２は、図１８に示すように、瞳孔中心位置９１１を基準として検出対象領域Ｒを設定する。位置検出部３５２は、まず、画像Ｉｍのうち、瞳孔中心位置９１１を中心とし、所定の径を有する円の内側の領域を第１検出対象領域Ｒ１として設定する。位置検出部３５２は、第１検出対象領域Ｒ１の径（面積）を設定する場合、例えば予め設定された基準値を用いて行う。また、位置検出部３５２は、面積閾値に相当する面積を有する円の直径を第１検出対象領域Ｒ１の径と設定してもよい。第１検出対象領域Ｒ１には、当該円の内側にマトリクス状に配列される複数の画素が含まれる。

検出対象領域Ｒ（第１検出対象領域Ｒ１）を設定した後、位置検出部３５２は、検出対象領域Ｒ内に角膜反射点９２１が存在するか否かを判定する（ステップＳ６０４）。図１９は、図１５のステップＳ６０４における判定処理の一例を示すフローチャートである。図１９に示すように、位置検出部３５２は、検出対象領域Ｒ内の画素（以下、「検索対象画素」と表記する）の輝度が所定の輝度閾値以上か否かを判定する。輝度閾値については、過去の検出結果、実験値、シミュレーション値等を用いて、予め設定しておくことができる。例えば、画像Ｉｍにおいて輝点５０となる領域の輝度を予め測定しておき、当該測定値を基準として輝度閾値を設定することができる。位置検出部３５２は、個々の検索対象画素に対して上記判定を行う。

位置検出部３５２は、検索対象画素の輝度が輝度閾値以上であると判定した場合（ステップＳ９０１のＹｅｓ）、当該検索対象画素と繋がっている画素であって輝度閾値以上の輝度を有する画素が存在するか否かを検出する（ステップＳ９０２）。以下、輝度閾値以上の輝度を有する画素を「高輝度画素」と表記する。ステップＳ９０２において、位置検出部３５２は、当該検索対象画素に対して上下方向及び左右方向に隣り合う画素並びに斜め方向に隣り合う画素について、ステップＳ９０１と同様の判定を行い、高輝度画素が存在するか否かを検出する。また、位置検出部３５２は、高輝度画素と判定した画素に対して、上下方向及び左右方向に隣り合う画素並びに斜め方向に隣り合う画素についても、ステップＳ９０１と同様の判定処理を行う。この場合、位置検出部３５２は、既に判定を行った画素については、判定処理を省略する。したがって、ステップＳ９０２において、位置検出部３５２は、高輝度画素に対して上下方向及び左右方向に隣り合う画素並びに斜め方向に隣り合う画素について連鎖的に判定を行うことで、高輝度画素が存在する範囲を検出する。ステップＳ９０２において、位置検出部３５２は、高輝度画素に対して隣り合う画素が検出対象領域Ｒの外側に配置される場合、当該検出対象領域Ｒの外側の画素についても高輝度画素か否かの判定を行う。このように高輝度画素の集合として検出される領域（高輝度領域）は、例えば画像Ｉｍにおいて輝点５０となっている領域である。以下、高輝度画素の集合領域である高輝度領域が輝点５０であるとして説明する。

高輝度領域の範囲が検出された後、位置検出部３５２は、検出した高輝度画素の数をカウントすることで、輝点５０の面積を算出する（ステップＳ９０３）。輝点５０の面積を算出した後、位置検出部３５２は、算出した面積が所定の面積閾値以下であるか否かを判定する（ステップＳ９０４）。面積閾値については、過去の検出結果、実験値、シミュレーション値等を用いて、予め設定しておくことができる。例えば、画像Ｉｍにおいて角膜反射点９２１となる領域の面積を求めておき、当該求めた面積を基準として面積閾値を設定することができる。位置検出部３５２は、算出した面積が面積閾値以下であると判定した場合（ステップＳ９０４のＹｅｓ）、図１５に示すステップＳ６０５の処理に進む。

一方、位置検出部３５２は、算出した面積が面積閾値を超えると判定した場合（ステップＳ９０４のＮｏ）、また、上記ステップＳ９０１において検索対象画素の輝度が輝度閾値以下であると判定した場合（ステップＳ９０１のＮｏ）、位置検出部３５２は、検出対象領域Ｒのすべての画素について検出を行ったか否かを判定する（ステップＳ９０５）。位置検出部３５２は、検出対象領域Ｒのすべての画素について検出を行ったと判定した場合（ステップＳ９０５のＹｅｓ）、当該検出対象領域Ｒ内には角膜反射点９２１が存在しないと判定し、図１５に示すステップＳ６０６の処理に進む。また、位置検出部３５２は、検出対象領域Ｒのすべての画素について検出を行っていないと判定した場合（ステップＳ９０５のＮｏ）、検出を行っていない画素を次の検索対象として（ステップＳ９０６）、ステップＳ９０１以降の処理を繰り返し行う。

位置検出部３５２は、ステップＳ６０４の上記処理において、算出した輝点５０の面積が面積閾値以下であると判定した場合（ステップＳ６０４のＹｅｓ）、輝点５０が角膜反射点９２１であると判断する（ステップＳ６０５）。ステップＳ６０５の判断によって角膜反射点９２１が検出される。したがって、位置検出部３５２は、角膜反射点９２１を検出するための処理を終了する。

一方、位置検出部３５２は、ステップＳ６０４の上記処理において、検出対象領域Ｒのすべての画素について検出を行ったと判定し、当該検出対象領域Ｒ内には角膜反射点９２１が存在しないと判定した場合（ステップＳ６０４のＮｏ）、検出対象領域Ｒを拡大する処理を行う（ステップＳ６０６）。

ステップＳ６０６において、位置検出部３５２は、例えば面積閾値に相当する面積を有する円の直径に対応する寸法ずつ、検出対象領域Ｒを拡大する。なお、位置検出部３５２は、上記寸法ずつ検出対象領域Ｒを拡大する処理には限定されず、上記寸法とは異なる拡大幅で検出対象領域Ｒを拡大してもよい。図１８に示す例において、位置検出部３５２は、検出対象領域Ｒを第１検出対象領域Ｒ１から第２検出対象領域Ｒ２に拡大する。位置検出部３５２は、検出対象領域Ｒを拡大した後、ステップＳ６０４の処理を繰り返し行う。したがって、位置検出部３５２は、検出対象領域Ｒを段階的に拡大しつつ、ステップＳ６０４の処理を行うことになる。

図１８を参照して、検出対象領域Ｒを段階的に拡大しつつ判定を行う態様を、上記のフローチャートに対応させて具体例に説明する。図１８に示すように、位置検出部３５２は、第１検出対象領域Ｒ１について高輝度画素を検出することなく、検出対象領域Ｒを第２検出対象領域Ｒ２に拡大して、ステップＳ６０４の処理を再度行う。

位置検出部３５２は、第２検出対象領域Ｒ２に存在する画素に対して輝度閾値以上の輝度を有するか否かの判定を行う（ステップＳ９０１）。位置検出部３５２は、例えば輝点５１の第１領域５１ａを構成する画素について、高輝度画素であると判定する（ステップＳ９０１のＹｅｓ）。この輝点５１は、第２検出対象領域Ｒ２と、当該第２検出対象領域Ｒ２の外側の第３検出対象領域Ｒ３との間に跨って配置される。位置検出部３５２は、第１領域５１ａを構成する１つの画素を高輝度画素として検出した場合、高輝度画素に隣り合う画素について連鎖的に輝度閾値以上の輝度を有するか否かの判定を行う（ステップＳ９０２）。この結果、輝点５１の第１領域５１ａの画素のみならず、当該輝点５１のうち第３検出対象領域Ｒ３に突出した第２領域５１ｂを構成する画素についても高輝度画素か否かの判定が行われる。したがって、輝点５１は、第２領域５１ｂが第３検出対象領域Ｒ３に配置されているが、第２検出対象領域Ｒ２の検出時において高輝度画素が配置される領域が検出されることになる。

次に、位置検出部３５２は、高輝度画素の数をカウントすることで輝点５１の面積を求め（ステップＳ９０３）、求めた輝点５１の面積について、所定の面積閾値以下であるか否かを判定する（ステップＳ９０４）。図１８には、面積閾値に対応する面積を有する円状の閾値領域６０が破線で図示されている。なお、この閾値領域６０は、実際の画像Ｉｍには表示されない。図１８に示すように、輝点５１の面積は閾値領域６０の面積よりも大きい。したがって、位置検出部３５２は、輝点５１の面積が面積閾値よりも大きいと判定する（ステップＳ９０４のＮｏ）。その後、位置検出部３５２は、第２検出対象領域Ｒ２のすべての画素について判定を行うが（ステップＳ９０５のＮｏ、Ｓ９０６、Ｓ９０５のＹｅｓ）、高輝度画素を検出することなく、検出対象領域Ｒを第３検出対象領域Ｒ３に拡大して、ステップＳ６０４の処理を再度行う。

位置検出部３５２は、第３検出対象領域Ｒ３に存在する画素に対して輝度閾値以上の輝度を有するか否かの判定を行う（ステップＳ９０１）。位置検出部３５２は、例えば輝点５２を構成する画素について、高輝度画素であると判定する（ステップＳ９０１のＹｅｓ）。位置検出部３５２は、輝点５２を構成する１つの画素を高輝度画素として検出した場合、高輝度画素に隣り合う画素について連鎖的に輝度閾値以上の輝度を有するか否かの判定を行う（ステップＳ９０２）。なお、第３検出対象領域Ｒ３には、上記した輝点５１の第２領域５１ｂが配置される。この第２領域５１ｂについては、第２検出対象領域Ｒ２の検出時に既に判定が行われている。したがって、位置検出部３５２は、第２領域５１ｂを構成する画素については、輝度閾値以上の輝度を有するか否かの判定を行わない。このように、位置検出部３５２は、検出対象領域Ｒを拡大した場合、拡大前の検出対象領域Ｒの検出時に輝度閾値以上の輝度を有するか否かの判定を既に行った画素については、当該判定を行わないようにすることで、処理時間の短縮化を図っている。

次に、位置検出部３５２は、高輝度画素の数をカウントすることで輝点５２の面積を求め（ステップＳ９０３）、求めた輝点５２の面積について、所定の面積閾値以下であるか否かを判定する（ステップＳ９０４）。図１８に示すように、輝点５２の面積は閾値領域６０の面積よりも小さい。したがって、位置検出部３５２は、輝点５２の面積が面積閾値以内であると判定する（ステップＳ９０４のＹｅｓ）。この場合、位置検出部３５２は、輝点５２が角膜反射点９２１であると判定し（ステップＳ６０５）、処理を終了する。

図１８に示すように、第３検出対象領域Ｒ３の外側には輝点５３が配置されている。一方、第３検出対象領域Ｒ３における検出により、角膜反射点９２１が検出されている。この場合、位置検出部３５２は、輝点５３については判定を行うことなく処理を終了する。このように、角膜反射点９２１が検出された時点で処理が終了するため、画像Ｉｍにおける全ての画素に対して検出を行う必要が無い。なお、輝点５３は、瞳孔９０１の内側に配置される領域５３ａと、瞳孔９０１の外側にはみ出した領域５３ｂとを有する。角膜反射点９２１を構成する輝点（例えば、輝点５２）は、瞳孔９０１の外側にはみ出したり、瞳孔９０１の外側に存在したりする場合もあり得る。一方、眼球１１１において曲率変化部１１５（図１３、図１４参照）よりも外側に角膜反射点９２１が存在する場合には、視点が正確に算出できない。したがって、位置検出部３５２は、例えば画像Ｉｍに曲率変化部１１５が含まれる場合において、曲率変化部１１５の外側にはみ出した輝点５０や、曲率変化部１１５の外側に存在する輝点５０については、検出対象から除外するようにしてもよい。

また、本実施形態では、図３等に示すように、被験者の視点は表示部１０１に位置する。また、眼球１１１の画像Ｉｍの撮像位置である右カメラ１０２ａ、左カメラ１０２ｂと、光源位置であるＬＥＤ光源１０３ａ、１０３ｂは、表示部１０１の下方に位置する。したがって、本実施形態において、画像Ｉｍの撮像時において被験者の視点から光源位置に向けた方向は、下方向である。被験者の視点と光源位置（ＬＥＤ光源１０３ａ、１０３ｂ）とがこのような位置関係にある場合、角膜反射点９２１は、瞳孔中心位置９１１の下方に形成される。つまり、瞳孔中心位置９１１の上方には角膜反射点９２１が形成されない。そのため、このような場合、位置検出部３５２は、瞳孔中心位置９１１の上方に形成される輝点５０については、角膜反射点９２１ではないと判定することができる。したがって、位置検出部３５２は、検出対象領域Ｒを設定する場合、又は検出対象領域Ｒを拡大する場合、瞳孔中心位置９１１を基準とした下方向のみに設定又は拡大するようにしてもよい。つまり、図１８において瞳孔中心位置９１１を通過する左右方向の直線Ｈよりも下方側のみを検出対象領域Ｒとしてもよい。このように角膜反射点９２１が検出されないことが明らかな領域を検出対象領域Ｒから除外することにより、処理時間の短縮化を図ることができる。

以上のように、本実施形態に係る角膜反射位置検出装置１００は、被験者の眼球の画像Ｉｍから瞳孔中心位置９１１を検出し、当該画像Ｉｍから角膜反射点９２１を検出する位置検出部３５２を備え、位置検出部３５２は、画像Ｉｍにおいて輝度閾値以上の輝度を有する高輝度領域（輝点５０等）が存在するか否かを、瞳孔中心位置９１１を基準とした検出対象領域Ｒを段階的に拡大することで検出し、高輝度領域が検出された場合に高輝度領域が角膜反射点９２１であると判定する。

また、本実施形態に係る角膜反射位置検出方法は、被験者の眼球の画像Ｉｍから瞳孔中心位置９１１を検出することと、当該画像Ｉｍから角膜反射点９２１を検出することと、を含み、角膜反射点９２１を検出することは、画像Ｉｍにおいて輝度閾値以上の輝度を有する高輝度領域（輝点５０等）が存在するか否かを、瞳孔中心位置９１１を基準とした検出対象領域Ｒを段階的に拡大することで検出することと、高輝度領域が検出された場合に高輝度領域が角膜反射点９２１であると判定することと、を含む。

このような角膜反射位置検出装置１００及び角膜反射位置検出方法によれば、瞳孔中心位置９１１を基準とした検出対象領域Ｒを段階的に拡大しながら輝点５０を検出し、当該輝点５０が角膜反射点９２１となる輝点５０か否かを判定することができる。これにより、瞳孔中心位置９１１に近い領域から検出対象領域Ｒを広げていくため、角膜反射点９２１となる輝点５０を効率的に検出することができる。また、角膜反射点９２１を検出した場合、他の領域について検出処理を行う必要が無いため、効率的かつ高精度に角膜反射点９２１を検出することができる。

本実施形態に係る角膜反射位置検出装置１００において、位置検出部３５２は、高輝度領域が検出された場合にさらに高輝度領域の面積を算出し、算出した高輝度領域の面積が面積閾値以下の場合に高輝度領域が角膜反射点９２１であると判定する。例えば、眼鏡をかけた被験者における眼鏡反射点７２１は、角膜反射点９２１よりも面積が大きくなる。したがって、検出された高輝度領域の面積を算出し、算出した高輝度領域の面積が面積閾値以下の場合に当該高輝度領域が角膜反射点９２１であると判定することにより、角膜反射点９２１を効率的に検出することができる。

本実施形態に係る角膜反射位置検出装置１００において、位置検出部３５２は、高輝度領域が検出対象領域Ｒの外側に連続して存在する場合、検出対象領域Ｒの外側に存在する部分を含めた高輝度領域の面積を算出する。この構成により、高輝度領域の面積を効率的に算出することができる。

本実施形態に係る角膜反射位置検出装置１００において、位置検出部３５２は、検出対象領域Ｒの外側に連続して存在する高輝度領域の面積を算出した後、検出対象領域Ｒを拡大した場合、拡大前の検出対象領域Ｒの検出時に輝度閾値以上の輝度を有するか否かを判定した領域については、当該判定を行わない。この構成により、拡大前の検出対象領域Ｒの検出時に判定を行った画素について、重ねて判定を行わないようにすることで、処理時間の短縮化を図ることができる。

本実施形態に係る角膜反射位置検出装置１００において、画像Ｉｍは、マトリクス状に配置された複数の画素を有し、位置検出部３５２は、画素ごとに輝度閾値以上の輝度を有するか否かを判定し、閾値以上の輝度を有すると判定した画素に対して隣り合う画素について連鎖的に輝度閾値以上の輝度を有するか否かの判定を行うことで、高輝度領域の範囲を検出する。この構成により、効率的に高輝度領域の範囲を検出することができる。

本実施形態に係る角膜反射位置検出装置１００において、被験者に向けて赤外光を照射するＬＥＤ光源１０３ａ、１０３ｂを備え、位置検出部３５２は、瞳孔中心位置９１１を基準として一方向に検出対象領域Ｒを拡大し、一方向は、画像Ｉｍの撮像時において被験者の視点から光源位置に向けた方向に対応する方向である。この構成により、角膜反射点９２１が検出されないことが明らかな領域を検出対象領域Ｒから除外することができるため、処理時間の短縮化を図ることができる。

本実施形態に係る視線検出装置は、上記の角膜反射位置検出装置１００を備える。これにより、効率的かつ高精度に角膜反射点９２１を検出することができるため、被験者の視線を効率的かつ高精度に検出することができる。

本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記実施形態において、被験者の眼球を撮像する右カメラ１０２ａ及び左カメラ１０２ｂが表示部１０１の下方に配置された構成を例に挙げて説明したが、これに限定されず、右カメラ１０２ａ及び左カメラ１０２ｂが表示部１０１の上方に配置されてもよい。この場合、角膜反射点９２１は、瞳孔中心位置９１１の上方に検出されることになる。このため、位置検出部３５２は、検出対象領域Ｒを瞳孔中心位置９１１の上方に設定又は拡大させることができる。

また、上記実施形態では、検出対象領域Ｒを円状の領域の内部として設定する場合を例に挙げて説明したが、これに限定されず、矩形、三角形等の多角形の内部に設定してもよいし、楕円形、長円形等の他の形状の内部に設定してもよい。また、設定した検出対象領域Ｒを相似形状で拡大させる構成に限定されず、非相似形状又は他の形状となるように拡大させてもよい。

Ｒ…検出対象領域、Ｒ１…第１検出対象領域、Ｒ２…第２検出対象領域、Ｒ３…第３検出対象領域、Ｉｍ…画像、５０，５１，５２，５３…輝点、５１ａ…第１領域、５１ｂ…第２領域、５３ａ，５３ｂ…領域、６０…閾値領域、１００…評価装置（角膜反射位置検出装置，視線検出装置）、１０１…表示部、１０２ａ…右カメラ、１０２ｂ…左カメラ、１０３ａ，１０３ｂ，２０３…ＬＥＤ光源、１１１…眼球、３００…制御部、３５２…位置検出部、７０１，７０１Ａ，７０１Ｂ，７０１Ｒ…眼鏡レンズ、７２１…眼鏡反射点、９０１…瞳孔、９０１ａ…輪郭、９１１…瞳孔中心位置、９２１…角膜反射点

Claims (6)

1. 被験者の眼球の画像から瞳孔の中心位置を検出する瞳孔検出部と、
   前記画像から角膜反射領域を検出する角膜反射検出部と、
   を備え、
   前記角膜反射検出部は、
   前記画像において輝度閾値以上の輝度を有する高輝度領域が存在するか否かを、前記瞳孔の中心位置を基準とした検出対象領域を段階的に拡大することで検出し、前記高輝度領域が検出された場合に前記高輝度領域が前記角膜反射領域であると判定する
   角膜反射位置検出装置。
2. 前記角膜反射検出部は、
   前記高輝度領域が検出された場合にさらに前記高輝度領域の面積を算出し、算出した前記高輝度領域の面積が面積閾値以下の場合に前記高輝度領域が前記角膜反射領域であると判定する
   請求項１に記載の角膜反射位置検出装置。
3. 前記角膜反射検出部は、前記高輝度領域が前記検出対象領域の外側に連続して存在する場合、前記検出対象領域の外側に存在する部分を含めた前記高輝度領域の面積を算出する
   請求項１又は請求項２に記載の角膜反射位置検出装置。
4. 前記被験者に向けて赤外光を照射する光源を備え、
   前記角膜反射検出部は、前記瞳孔の中心位置を基準として一方向に前記検出対象領域を拡大し、
   前記一方向は、前記画像の撮像時において前記被験者の視点から前記光源の位置に向けた方向に対応する方向である
   請求項１から請求項３のいずれか一項に記載の角膜反射位置検出装置。
5. 請求項１から請求項４のいずれか一項に記載の角膜反射位置検出装置を備える視線検出装置。
6. 被験者の眼球の画像から瞳孔の中心位置を検出することと、
   前記画像から角膜反射領域を検出することと、
   を含み、
   前記角膜反射領域を検出することは、
   前記画像において輝度閾値以上の輝度を有する高輝度領域が存在するか否かを、前記瞳孔の中心位置を基準とした検出対象領域を段階的に拡大することで検出することと、
   前記高輝度領域が検出された場合に前記高輝度領域が前記角膜反射領域であると判定することと、を含む
   角膜反射位置検出方法。

Images