JP6971686B2 - 視線検出装置及び視線検出方法 - Google Patents

Description

本発明は、視線検出装置及び視線検出方法に関する。

操作者又は被験者がモニター画面などの観察面上で注視している位置を検出する、視線検出装置が提案されている。視線検出を行う際には、操作者又は被験者の顔に何らかの装置を取り付けない非接触視線検出が適用される場合がある。この場合、視線検出装置は、操作者又は被験者の眼球に検出光を照射し、検出光が照射された眼球の画像から瞳孔中心と角膜反射位置とを算出し、操作者又は被験者がモニター画面などの観察面上で注視している位置を検出する。そして、視線検出装置においては、被験者又は操作者の視線をより正確に検出するために、モニター画面上のある目標位置を操作者又は被験者に注視させ、操作者又は被験者ごとにキャリブレーションを行う方法が提案されている。

特開２０１６−８５５８８号公報

しかし、キャリブレーションは、モニター画面のある目標位置を見ていることを前提に実行されるため、被験者が目標位置を見ていない場合は、キャリブレーションの精度が低下するおそれがある。

本発明は、上記課題を鑑み、キャリブレーションの精度低下を抑制する視線検出装置及び視線検出方法を提供することを目的とする。

本発明の一態様にかかる視線検出装置は、被験者の眼球に、視線検出用の検出光を照射する光源と、前記検出光が照射された眼球を撮像する撮像部と、前記撮像部が撮像した画像から、前記眼球の瞳孔中心位置と、前記眼球の角膜反射中心位置とを検出する位置検出部と、前記位置検出部が検出した前記瞳孔中心位置と前記角膜反射中心位置とに基づき、前記被験者が目標位置を注視しているかを判定する注視判定部と、前記注視判定部が目標位置を注視していると判定した場合に、前記撮像部が撮像した画像に基づき視線検出のためのキャリブレーションを実行するキャリブレーション部と、を有する。

本発明の一態様にかかる視線検出方法は、被験者の眼球に、視線検出用の検出光を照射する検出光照射ステップと、前記眼球を撮像する撮像ステップと、前記撮像ステップで撮像した画像から、前記眼球の瞳孔中心位置と、前記眼球の角膜反射中心位置とを検出する位置検出ステップと、前記位置検出ステップで検出した前記瞳孔中心位置と前記角膜反射中心位置とに基づき、前記被験者が目標位置を注視しているかを判定する注視判定ステップと、前記注視判定ステップにおいて目標位置を注視していると判定した場合に、前記撮像ステップで撮像した画像に基づき視線検出のためのキャリブレーションを実行するキャリブレーションステップと、を有する。

本発明によれば、キャリブレーションの精度低下を抑制することができる。

図１は、第１実施形態に係る視線検出装置の一例を模式的に示す斜視図である。 図２は、本実施形態に係る表示装置とステレオカメラ装置と照明装置と被験者の眼球との位置関係を模式的に示す図である。 図３は、本実施形態に係る視線検出装置のハードウェア構成の一例を示す図である。 図４は、本実施形態に係る視線検出装置の一例を示す機能ブロック図である。 図５は、本実施形態に係る角膜曲率中心の位置の算出方法を説明するための模式図である。 図６は、本実施形態に係る角膜曲率中心の位置の算出方法を説明するための模式図である。 図７は、本実施形態に係る視線検出方法の一例を示すフローチャートである。 図８Ａは、注視判定処理を説明するための説明図である。 図８Ｂは、注視判定処理を説明するための説明図である。 図９は、本実施形態に係る第１キャリブレーション部によるキャリブレーション処理の一例を説明するための模式図である。 図１０は、本実施形態に係る第１キャリブレーション処理の一例を示すフローチャートである。 図１１は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。 図１２は、本実施形態に係る注視点検出処理の一例を示すフローチャートである。 図１３は、本実施形態に係る第２キャリブレーション部によるキャリブレーション処理の一例を説明するための模式図である。 図１４は、本実施形態に係る第２キャリブレーション処理の一例を示すフローチャートである。 図１５は、第２実施形態に係る第１キャリブレーション処理の一例を説明するためのフローチャートである。 図１６は、第２実施形態に係る第２キャリブレーション処理の一例を説明するためのフローチャートである。

以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。

以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第１軸と平行な方向をＸ軸方向とし、第１軸と直交する所定面の第２軸と平行な方向をＹ軸方向とし、第１軸及び第２軸のそれぞれと直交する第３軸と平行な方向をＺ軸方向とする。所定面はＸＹ平面を含む。

（第１実施形態）
第１実施形態について説明する。図１は、第１実施形態に係る視線検出装置の一例を模式的に示す斜視図である。本実施形態において、視線検出装置１００は、被験者の視線を検出する装置であり、被験者の関心対象を評価する評価装置としても用いられる。

（視線検出装置の全体構成）
図１に示すように、視線検出装置１００は、表示装置１０１と、ステレオカメラ装置１０２と、照明装置１０３とを備える。

表示装置１０１は、液晶ディスプレイ（liquid crystal display：ＬＣＤ）又は有機ＥＬディスプレイ（organic electroluminescence display：ＯＬＥＤ）のようなフラットパネルディスプレイを含む。表示装置１０１は、表示部として機能する。

本実施形態において、表示装置１０１の表示画面１０１Ｓは、ＸＹ平面と実質的に平行である。Ｘ軸方向は表示画面１０１Ｓの左右方向であり、Ｙ軸方向は表示画面１０１Ｓの上下方向であり、Ｚ軸方向は表示画面１０１Ｓと直交する奥行方向である。また、表示画面１０１Ｓに向かって右方向が＋Ｘ方向、左方向が−Ｘ方向であり、上方向が＋Ｙ方向、下方向が−Ｙ方向であり、手前方向が＋Ｚ方向、奥方向が−Ｚ方向である。

ステレオカメラ装置１０２は、撮像部としての第１カメラ１０２Ａ及び第２カメラ１０２Ｂを有する。ステレオカメラ装置１０２は、表示装置１０１の表示画面１０１Ｓよりも下方に配置される。第１カメラ１０２Ａと第２カメラ１０２ＢとはＸ軸方向に配置される。第１カメラ１０２Ａは、第２カメラ１０２Ｂよりも−Ｘ方向に配置される。第１カメラ１０２Ａ及び第２カメラ１０２Ｂはそれぞれ、赤外線カメラを含み、例えば波長８５０［ｎｍ］の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。

照明装置１０３は、光源としての第１光源１０３Ａ及び第２光源１０３Ｂを有する。照明装置１０３は、表示装置１０１の表示画面１０１Ｓよりも下方に配置される。第１光源１０３Ａと第２光源１０３ＢとはＸ軸方向に配置される。第１光源１０３Ａは、第１カメラ１０２Ａよりも−Ｘ方向に配置される。第２光源１０３Ｂは、第２カメラ１０２Ｂよりも＋Ｘ方向に配置される。第１光源１０３Ａ及び第２光源１０３Ｂはそれぞれ、ＬＥＤ（light emitting diode）光源を含み、例えば波長８５０［ｎｍ］の近赤外光を射出可能である。なお、第１光源１０３Ａ及び第２光源１０３Ｂは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの間に配置されてもよい。

図２は、本実施形態に係る表示装置とステレオカメラ装置と照明装置と被験者の眼球との位置関係を模式的に示す図である。

照明装置１０３は、検出光である近赤外光を射出して、被験者の眼球１１１を照明する。ステレオカメラ装置１０２は、第１光源１０３Ａから射出された検出光が眼球１１１に照射されたときに第２カメラ１０２Ｂで眼球１１１を撮影し、第２光源１０３Ｂから射出された検出光が眼球１１１に照射されたときに第１カメラ１０２Ａで眼球１１１を撮影する。

第１カメラ１０２Ａ及び第２カメラ１０２Ｂの少なくとも一方からフレーム同期信号が出力される。第１光源１０３Ａ及び第２光源１０３Ｂは、フレーム同期信号に基づいて検出光を射出する。第１カメラ１０２Ａは、第２光源１０３Ｂから射出された検出光が眼球１１１に照射されたときに、眼球１１１の画像データを取得する。第２カメラ１０２Ｂは、第１光源１０３Ａから射出された検出光が眼球１１１に照射されたときに、眼球１１１の画像データを取得する。

眼球１１１に検出光が照射されると、その検出光の一部は瞳孔１１２で反射し、その瞳孔１１２からの光がステレオカメラ装置１０２に入射する。また、眼球１１１に検出光が照射されると、角膜の虚像である角膜反射像１１３が眼球１１１に形成され、その角膜反射像１１３からの光がステレオカメラ装置１０２に入射する。

第１カメラ１０２Ａ及び第２カメラ１０２Ｂと第１光源１０３Ａ及び第２光源１０３Ｂとの相対位置が適切に設定されることにより、瞳孔１１２からステレオカメラ装置１０２に入射する光の強度は低くなり、角膜反射像１１３からステレオカメラ装置１０２に入射する光の強度は高くなる。すなわち、ステレオカメラ装置１０２で取得される瞳孔１１２の画像は低輝度となり、角膜反射像１１３の画像は高輝度となる。ステレオカメラ装置１０２は、取得される画像の輝度に基づいて、瞳孔１１２の位置及び角膜反射像１１３の位置を検出することができる。

図３は、本実施形態に係る視線検出装置のハードウェア構成の一例を示す図である。図３に示すように、視線検出装置１００は、表示装置１０１と、ステレオカメラ装置１０２と、照明装置１０３と、コンピュータシステム２０と、入出力インターフェース装置３０と、駆動回路４０と、出力装置５０と、入力装置６０と、音声出力装置７０とを備える。制御部としてのコンピュータシステム２０は、演算処理装置２０Ａ及び記憶装置２０Ｂを含む。

コンピュータシステム２０と、駆動回路４０と、出力装置５０と、入力装置６０と、音声出力装置７０とは、入出力インターフェース装置３０を介してデータ通信する。

演算処理装置２０Ａは、ＣＰＵ（central processing unit）のようなマイクロプロセッサを含む。記憶装置２０Ｂは、ＲＯＭ（read only memory）及びＲＡＭ（random access memory）のようなメモリ又はストレージを含む。演算処理装置２０Ａは、記憶装置２０Ｂに記憶されているコンピュータプログラム２０Ｃに従って演算処理を実施する。

駆動回路４０は、駆動信号を生成して、表示装置１０１、ステレオカメラ装置１０２、及び照明装置１０３に出力する。また、駆動回路４０は、ステレオカメラ装置１０２で取得された眼球１１１の画像データを、入出力インターフェース装置３０を介してコンピュータシステム２０に供給する。

出力装置５０は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置５０は、印刷装置を含んでもよい。入力装置６０は、操作されることにより入力データを生成する。入力装置６０は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置６０が表示装置である出力装置５０の表示画面に設けられたタッチセンサを含んでもよい。音声出力装置７０は、スピーカを含み、例えば被験者に注意を促すための音声を出力する。

本実施形態においては、表示装置１０１とコンピュータシステム２０とは別々の装置である。なお、表示装置１０１とコンピュータシステム２０とが一体でもよい。例えば視線検出装置１００がタブレット型パーソナルコンピュータを含む場合、そのタブレット型コンピュータに、コンピュータシステム２０、入出力インターフェース装置３０、駆動回路４０、及び表示装置１０１が搭載されてもよい。

図４は、本実施形態に係る視線検出装置の一例を示す機能ブロック図である。図４に示すように、入出力インターフェース装置３０は、入出力部３０２を有する。駆動回路４０は、表示装置駆動部４０２と、第１カメラ入出力部４０４Ａと、第２カメラ入出力部４０４Ｂと、光源駆動部４０６とを有する。表示装置駆動部４０２は、表示装置１０１を駆動するための駆動信号を生成して表示装置１０１に出力する。第１カメラ入出力部４０４Ａは、第１カメラ１０２Ａを駆動するための駆動信号を生成して第１カメラ１０２Ａに出力する。第２カメラ入出力部４０４Ｂは、第２カメラ１０２Ｂを駆動するための駆動信号を生成して第２カメラ１０２Ｂに出力する。光源駆動部４０６は、第１光源１０３Ａ及び第２光源１０３Ｂを駆動するための駆動信号を生成して第１光源１０３Ａ及び第２光源１０３Ｂに出力する。また、第１カメラ入出力部４０４Ａは、第１カメラ１０２Ａで取得された眼球１１１の画像データを、入出力部３０２を介してコンピュータシステム２０に供給する。第２カメラ入出力部４０４Ｂは、第２カメラ１０２Ｂで取得された眼球１１１の画像データを、入出力部３０２を介してコンピュータシステム２０に供給する。

コンピュータシステム２０は、視線検出装置１００を制御する。コンピュータシステム２０は、処理部２００と、注視判定部２２０と、キャリブレーション部２２２と、注視点検出処理部２４０と、有効判定処理部２６０とを有する。コンピュータシステム２０の機能は、演算処理装置２０Ａ及び記憶装置２０Ｂによって発揮される。

処理部２００は、視線検出のための各種処理を実行する。処理部２００は、表示制御部２０２と、光源制御部２０４と、画像データ取得部２０６と、入力データ取得部２０８と、位置検出部２１０と、記憶部２１２と、出力制御部２１４とを有する。

表示制御部２０２は、被験者に見せるための画像を表示装置１０１の表示画面１０１Ｓに表示させる。表示制御部２０２は、例えば表示画面１０１Ｓの１点に画像を表示可能である。

光源制御部２０４は、光源駆動部４０６を制御して、第１光源１０３Ａ及び第２光源１０３Ｂの作動状態を制御する。光源制御部２０４は、第１光源１０３Ａと第２光源１０３Ｂとが異なるタイミングで検出光を射出するように第１光源１０３Ａ及び第２光源１０３Ｂを制御する。

画像データ取得部２０６は、第１カメラ１０２Ａ及び第２カメラ１０２Ｂを含むステレオカメラ装置１０２によって取得された被験者の眼球１１１の画像データを、入出力部３０２を介してステレオカメラ装置１０２から取得する。

入力データ取得部２０８は、入力装置６０が操作されることにより生成された入力データを、入出力部３０２を介して入力装置６０から取得する。

位置検出部２１０は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、瞳孔中心の位置データを検出する。また、位置検出部２１０は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、角膜反射中心の位置データを検出する。瞳孔中心は、瞳孔１１２の中心である。角膜反射中心は、角膜反射像１１３の中心である。位置検出部２１０は、被験者の左右それぞれの眼球１１１について、瞳孔中心の位置データ及び角膜反射中心の位置データを検出する。

記憶部２１２と、出力制御部２１４とについては、後述する。

注視判定部２２０は、処理部２００の処理結果を用いて、さらに言えば、位置検出部２１０が検出した瞳孔中心の位置データと角膜反射中心の位置データとを用いて、注視判定処理を実行する。注視判定処理は、後述するキャリブレーション処理において被験者が目標位置を注視しているかを判定する処理である。

キャリブレーション部２２２は、第１キャリブレーション部２３０と第２キャリブレーション部２５０とを有する。キャリブレーション部２２２は、視線検出のためのキャリブレーション処理として、第１キャリブレーション部２３０で第１キャリブレーション処理を実行し、第１キャリブレーション部２５０で第２キャリブレーション処理を実行する。

第１キャリブレーション部２３０は、処理部２００の処理結果を用いて、第１キャリブレーション処理を実行する。第１キャリブレーション処理は、キャリブレーション処理の１つであり、後述する注視点検出処理のためのキャリブレーション処理であるが、その処理内容は後述する。また、第１キャリブレーション部２３０は、注視判定部２２０において被験者が目標位置を注視していると判定した場合に、注視点検出のための第１キャリブレーション処理を実行する。

第１キャリブレーション部２３０は、曲率中心算出部２３２を有する。曲率中心算出部２３２は、処理部２００の画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、眼球１１１の角膜曲率中心の位置を算出する。

注視点検出処理部２４０は、処理部２００の処理結果及び第１キャリブレーション部２３０の処理結果（キャリブレーションのデータ）を用いて、注視点検出処理を実行する。注視点検出処理は、被験者の注視点を検出する処理であるが、その処理内容は後述する。注視点検出処理部２４０は、補正位置算出部２４２と、注視点検出部２４４とを有する。

補正位置算出部２４２は、処理部２００の位置検出部２１０で検出された瞳孔１１２の中心と、第１キャリブレーション部２３０の曲率中心算出部２３２で算出された角膜曲率中心との距離に基づいて、角膜曲率中心の位置を補正し、左右それぞれの眼球の補正後の角膜曲率中心の位置を算出する。

注視点検出部２４４は、処理部２００の画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、被験者の注視点の位置を検出する。本実施形態において、注視点の位置とは、三次元グローバル座標系で規定される被験者の視線ベクトルと表示装置１０１の表示画面１０１Ｓとの交点の位置をいう。注視点検出部２４４は、眼球１１１の画像データから取得された瞳孔中心の位置及び角膜曲率中心の位置に基づいて、被験者の左右それぞれの眼球１１１の視線方向である視線ベクトルを検出する。つまり、注視点検出部２４４は、被験者の左右それぞれの眼球１１１の視線方向を検出する視線検出部でもある。被験者の左右それぞれの眼球１１１の視線ベクトルが検出された後、注視点検出部２４４は、視線ベクトルと表示画面１０１Ｓとの交点を示す注視点の位置を検出する。

第２キャリブレーション部２５０は、処理部２００の処理結果及び注視点検出処理部２４０の処理結果を用いて、第２キャリブレーション処理を実行する。第２キャリブレーション処理は、キャリブレーション処理の１つであり、次回以降の注視点検出処理のためのキャリブレーション処理であるが、その処理内容は後述する。また、第２キャリブレーション部２５０は、注視判定部２２０において被験者が目標位置を注視していると判定した場合に、次回以降の注視点検出処理のための第２キャリブレーション処理を実行する。

第２キャリブレーション部２５０は、理想位置算出部２５２と、演算部２５４とを有する。理想位置算出部２５２は、表示画面１０１Ｓの１点に表示される画像の位置と、瞳孔１１２の中心の位置とから、左右それぞれの眼球の理想的な角膜曲率中心の位置を算出する。

演算部２５４は、左右それぞれの眼球について、注視点検出処理部２４０の補正位置算出部２４２で算出される補正後の角膜曲率中心の位置と、理想位置算出部２５２で算出される理想的な角膜曲率中心の位置との差分である位置差分を算出する。

また、処理部２００の記憶部２１２は、表示装置１０１の表示画面１０１Ｓの１点に画像を表示する処理と、被験者の左右の眼球に光源から近赤外光を照射する処理と、近赤外光が照射される被験者の左右の眼球の画像データを取得する処理と、取得された画像データから、左右それぞれの眼球の瞳孔１１２の中心を示す瞳孔中心の位置と角膜反射像１１３の中心を示す角膜反射中心の位置とを検出する処理と、瞳孔中心の位置データと角膜反射中心の位置データとを用いて、キャリブレーション処理において被験者が目標位置を注視しているかを判定する処理と、光源と角膜反射中心とを結ぶ仮想直線と、画像と瞳孔中心と結ぶ仮想直線とに基づいて、左右それぞれの眼球の角膜曲率中心の位置を算出する処理と、瞳孔中心と角膜曲率中心との距離に基づいて角膜曲率中心の位置を補正し、左右それぞれの眼球の補正後の角膜曲率中心の位置を算出する処理と、瞳孔中心の位置と補正後の角膜曲率中心の位置とから、左右それぞれの眼球の注視点を検出する処理と、表示画面１０１Ｓの１点に表示される画像の位置と瞳孔中心の位置とから、左右それぞれの眼球の理想的な角膜曲率中心の位置を算出する処理と、左右それぞれの眼球について、補正後の角膜曲率中心の位置と理想的な角膜曲率中心の位置との差分である位置差分を算出する処理と、をコンピュータに実行させる視線検出プログラムを記憶する。

出力制御部２１４は、表示装置１０１、出力装置５０、及び音声出力装置７０の少なくとも一つにデータを出力する。本実施形態において、出力制御部２１４は、表示画面１０１Ｓの１点に画像を表示させる。また、出力制御部２１４は、被験者の左右それぞれの眼球１１１の注視点の位置を表示画面１０１Ｓ又は出力装置５０に表示させる。

コンピュータシステム２０は、以上のような構成となっている。

（角膜曲率中心の算出方法の概要）
次に、本実施形態に係る第１キャリブレーション部２３０が有する曲率中心算出部２３２の処理の概要について説明する。曲率中心算出部２３２は、眼球１１１の画像データに基づいて、眼球１１１の角膜曲率中心の位置を算出する。

図５及び図６は、本実施形態に係る角膜曲率中心の位置の算出方法を説明するための模式図である。図５は、１つの光源１０３Ｃで眼球１１１が照明される例を示す。図６は、第１光源１０３Ａ及び第２光源１０３Ｂで眼球１１１が照明される例を示す。

まず、図５に示す例について説明する。光源１０３Ｃは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの間に配置される。瞳孔中心１１２Ｃは、瞳孔１１２の中心である。角膜反射中心１１３Ｃは、角膜反射像１１３の中心である。図５において、瞳孔中心１１２Ｃは、眼球１１１が１つの光源１０３Ｃで照明されたときの瞳孔中心を示す。角膜反射中心１１３Ｃは、眼球１１１が１つの光源１０３Ｃで照明されたときの角膜反射中心を示す。

角膜反射中心１１３Ｃは、光源１０３Ｃと角膜曲率中心１１０とを結ぶ直線上に存在する。角膜曲率半径１０９は、角膜表面と角膜曲率中心１１０との距離である。

角膜反射中心１１３Ｃの位置は、ステレオカメラ装置１０２によって検出される。角膜曲率中心１１０は、光源１０３Ｃと角膜反射中心１１３Ｃとを結ぶ直線上に存在する。曲率中心算出部２３２は、その直線上において角膜反射中心１１３Ｃからの距離が所定値となる位置を、角膜曲率中心１１０の位置として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部２１２に記憶されている。

次に、図６に示す例について説明する。本実施形態においては、第１カメラ１０２Ａ及び第２光源１０３Ｂと、第２カメラ１０２Ｂ及び第１光源１０３Ａとは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの中間位置を通る直線に対して左右対称の位置に配置される。第１カメラ１０２Ａと第２カメラ１０２Ｂとの中間位置に仮想光源１０３Ｖが存在するとみなすことができる。

角膜反射中心１２１は、第２カメラ１０２Ｂで眼球１１１を撮影した画像における角膜反射中心を示す。角膜反射中心１２２は、第１カメラ１０２Ａで眼球１１１を撮影した画像における角膜反射中心を示す。角膜反射中心１２４は、仮想光源１０３Ｖに対応する角膜反射中心を示す。

角膜反射中心１２４の位置は、ステレオカメラ装置１０２で取得された角膜反射中心１２１の位置及び角膜反射中心１２２の位置に基づいて算出される。ステレオカメラ装置１０２は、ステレオカメラ装置１０２に規定される三次元ローカル座標系において角膜反射中心１２１の位置及び角膜反射中心１２２の位置を検出する。ステレオカメラ装置１０２について、事前にステレオ較正法によるカメラ較正が実施され、ステレオカメラ装置１０２の三次元ローカル座標系を三次元グローバル座標系に変換する変換パラメータが算出される。その変換パラメータは、記憶部２１２に記憶されている。

曲率中心算出部２３２は、ステレオカメラ装置１０２で取得された角膜反射中心１２１の位置及び角膜反射中心１２２の位置を、変換パラメータを使って、三次元グローバル座標系における位置に変換する。曲率中心算出部２３２は、三次元グローバル座標系で規定される角膜反射中心１２１の位置及び角膜反射中心１２２の位置に基づいて、三次元グローバル座標系における角膜反射中心１２４の位置を算出する。

角膜曲率中心１１０は、仮想光源１０３Ｖと角膜反射中心１２４とを結ぶ直線１２３上に存在する。曲率中心算出部２３２は、直線１２３上において角膜反射中心１２４からの距離が所定値となる位置を、角膜曲率中心１１０の位置として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部２１２に記憶されている。

このように、光源が２つある場合でも、光源が１つである場合の方法と同様の方法で、角膜曲率中心１１０が算出される。

角膜曲率半径１０９は、角膜表面と角膜曲率中心１１０との距離である。したがって、角膜表面の位置及び角膜曲率中心１１０の位置が算出されることにより、角膜曲率半径１０９が算出される。

（視線検出方法）
次に、本実施形態に係る視線検出方法の一例について説明する。図７は、本実施形態に係る視線検出方法の一例を示すフローチャートである。本実施形態においては、第１キャリブレーション処理（ステップＳ１００）と、注視点検出処理（ステップＳ２００）と、第２キャリブレーション処理（ステップＳ３００）と、が実施される。第１キャリブレーション処理は、被験者が目標位置を注視しているかを判定する注視判定処理と、角膜曲率中心１１０の位置の算出処理と、瞳孔中心１１２Ｃと角膜曲率中心１１０との距離データの算出処理とを含む。第２キャリブレーション処理は、被験者が目標位置を注視しているかを判定する注視判定処理と、理想的な角膜曲率中心１１０の位置の算出処理とを含む。なお、注視判定処理は、第１キャリブレーション処理及び第２キャリブレーション処理の両方に含まれている処理であるが、第１キャリブレーション処理及び第２キャリブレーション処理とは別に独立して実行されてもよい。また、注視判定処理は、第１キャリブレーション処理及び第２キャリブレーション処理の少なくてもいずれかで実行されてもよい。

（第１キャリブレーション処理）
第１キャリブレーション処理（ステップＳ１００）について説明する。第１キャリブレーション処理において、表示制御部２０２は、被験者に注視させるための目標位置を設定する。目標位置は、三次元グローバル座標系において規定される。本実施形態において、表示制御部２０２は、目標位置を、例えば表示装置１０１の表示画面１０１Ｓの中央位置に設定する。なお、目標位置は、表示画面１０１Ｓの端部位置に設定されてもよい。表示制御部２０２は、設定した目標位置に目標画像を表示させる。これにより、被験者は、目標位置を注視し易くなる。

第１キャリブレーション処理では、目標位置に目標画像を表示させた後に、ステレオカメラ装置１０２により、被験者の眼球１１１の画像を撮像し、画像データ取得部２０６が、その撮像した画像データを取得する。位置検出部２１０は、その画像データに基づき、瞳孔中心１１２Ｃの位置と角膜反射中心１２４の位置とを検出する。

第１キャリブレーション処理では、注視判定部２２０が、注視判定処理を実行して、位置検出部２１０が検出した瞳孔中心１１２Ｃの位置と角膜反射中心１２４の位置とに基づき、被験者が目標位置を注視しているかを判定する。以下、注視判定部２２０の処理内容について説明する。

図８Ａ及び図８Ｂは、注視判定処理を説明するための説明図である。図８Ａ及び図８Ｂは、被験者の眼球１１１の画像の模式図である。図８Ａ及び図８Ｂの線分ＸＡは、瞳孔中心１１２Ｃを通る水平方向（鉛直方向）に沿った仮想の直線である。線分ＹＡは、瞳孔中心１１２Ｃを通るであって線分ＸＡに直交する仮想の直線であり、垂直方向（鉛直）に沿った直線である。

図８Ａは、被験者が表示装置１０１に対する標準位置に位置しており、かつ、被験者が表示画面１０１Ｓの中央位置の目標位置を注視した場合の、眼球１１１の画像の例である。標準位置とは、表示装置１０１の前方（＋Ｚ方向）側の位置であり、視線検出を行う際に被験者が位置するように、予め定められた位置である。

図８Ａに示すように、被験者が中央位置の目標位置を注視した場合、理想的には、角膜反射像１１３は、線分ＹＡ上付近に位置する。また、本実施形態では、ステレオカメラ装置１０２は表示画面１０１Ｓより下方側（−Ｙ方向側）に位置しているため、角膜反射像１１３及び角膜反射中心１１３Ｃは、瞳孔中心１１２Ｃの下方側（−Ｙ方向側）に位置している。ここで、瞳孔中心１１２Ｃと角膜反射中心１１３Ｃとの間の距離を、距離ｒとする。距離ｒは、被験者が表示画面１０１Ｓの下方側（−Ｙ方向側）を見ると、短くなり、被験者が表示画面１０１Ｓの上方側（＋Ｙ方向側）を見ると、長くなる。また、被験者が中心位置にある目標位置よりも上方側（＋Ｙ方向側）を注視している場合の距離ｒは、被験者が中心位置にある目標位置を注視している場合の距離ｒよりも、長くなる。

また、図８Ｂは、被験者が表示画面１０１Ｓの中央位置よりも右上を見た場合の画像の例である。ここで、線分ＹＡ上の仮想的な任意の点を、基準点Ｐとする。そして、瞳孔中心１１２Ｃと基準点Ｐとを結ぶ直線（ここでは線分ＹＡ）と、瞳孔中心１１２Ｃと角膜反射中心１１３Ｃとを結ぶ直線とがなす角度を、角度θとする。図８Ａでは、角膜反射中心１１３Ｃが線分ＹＡ上に位置しているため、角度θは０度である。図８Ｂでは、被験者が目標位置より右上を見ているため、角膜反射中心１１３Ｃの位置が線分ＹＡから左側にずれ、角度θは、０度より大きくなっている。

以上の観点から、注視判定部２２０は、瞳孔中心１１２Ｃの位置と角膜反射中心１２４の位置とから、距離ｒと角度θとを算出する。注視判定部２２０は、算出した距離ｒと角度θとに基づき、被験者が目標位置を注視しているかを判定する。

具体的には、注視判定部２２０は、記憶部２１２から、予め設定された距離閾値ｒ０を読み出す。距離閾値ｒ０は、下限値と上限値とを有する数値範囲（距離範囲）である。注視判定部２２０は、算出した距離ｒが距離閾値ｒ０の範囲内であるかを確認することで、被験者が目標位置を注視しているかを判定する。注視判定部２２０は、算出した距離ｒが距離閾値ｒ０の範囲内である場合に、被験者が目標位置を注視していると判定し、算出した距離ｒが距離閾値ｒ０の範囲外である場合に、被験者が目標位置を注視していないと判定する。距離閾値ｒ０は、予め定められた数値範囲であるが、例えば、人の角膜曲率半径はほぼ同じであることから一定値として設定することが可能であり、３ｍｍ以上５ｍｍ以下の範囲にあることが好ましいと考えられる。

また、注視判定部２２０は、記憶部２１２から、予め設定された角度閾値θ０を読み出す。角度閾値θ０は、予め定められた１つの値である。注視判定部２２０は、算出した角度θが角度閾値θ０以下であるかを確認することで、被験者が目標位置を注視しているかを判定する。注視判定部２２０は、算出した角度θが角度閾値θ０以下である場合に、被験者が目標位置を注視していると判定し、算出した角度θが角度閾値θ０より大きい場合に、被験者が目標位置を注視していないと判定する。角度閾値θ０は、予め定められた値であるが、例えば、２０°以上３０°以下の値であることが好ましい。なお、本実施形態では、基準点Ｐは、線分ＹＡ上に位置していると設定した点であるが、基準点Ｐの設定位置は、任意である。また、注視判定部２２０は、角度閾値θ０を、下限値と上限値とを有する数値範囲（角度範囲）としてもよい。この場合、注視判定部２２０は、角度θが角度閾値θ０以下である（又は、角度閾値θ０の範囲内である）場合に、被験者が目標位置を注視していると判定し、角度θが角度閾値θ０より大きい（又は、角度閾値θ０の範囲外である）場合に、被験者が目標位置を注視していないと判定する。

更に具体的には、注視判定部２２０は、算出した距離ｒが距離閾値ｒ０の範囲内であって、かつ、算出した角度θが角度閾値θ０以下である場合に、被験者が目標位置を注視していると判定する。そして、注視判定部２２０は、算出した距離ｒが距離閾値ｒ０の範囲外である場合と、算出した角度θが角度閾値θ０より大きい場合との少なくともいずれかを満たした場合に、被験者が目標位置を注視していないと判定する。このように、注視判定部２２０は、距離ｒと角度θとの両方に基づき、被験者が目標位置を注視しているかを判定している。ただし、注視判定部２２０は、距離ｒと角度θとのいずれかのみに基づき、被験者が目標位置を注視しているかを判定してもよい。すなわち、注視判定部２２０は、瞳孔中心１１２Ｃの位置と角膜反射中心１１３Ｃの位置との関係性を示す指標値を、少なくとも１つ設定すればよい。そして、注視判定部２２０は、この指標値が所定の閾値の範囲内にある場合に、被験者が目標位置を注視していると判定し、この指標値がその閾値の範囲外にある場合に、被験者が目標位置を注視していないと判定すればよい。ここでの指標値は、本実施形態の例では、距離ｒ及び角度θの少なくともいずれかであるが、瞳孔中心１１２Ｃの位置と角膜反射中心１１３Ｃの位置との関係を示す値であれば、距離ｒ及び角度θに限られない。

注視判定部２２０は、以上のようにして注視判定処理を実行して、被験者が目標位置を注視しているかを判定する。第１キャリブレーション部２３０（曲率中心算出部２３２）は、この注視判定部２２０が目標位置を注視していると判定した場合に、ステレオカメラ装置１０２が撮像した画像に基づき、キャリブレーション処理を実行する。第１キャリブレーション部２３０（曲率中心算出部２３２）は、キャリブレーション処理として、角膜曲率中心１１０の位置の算出処理と、瞳孔中心１１２Ｃと角膜曲率中心１１０との距離データの算出処理とを行う。

図９は、本実施形態に係る第１キャリブレーション部によるキャリブレーション処理の一例を説明するための模式図である。図９に示すように、表示制御部２０２は、被験者に注視させるための目標位置１３０を設定する。目標位置１３０は、三次元グローバル座標系において規定される。本実施形態において、目標位置１３０は、例えば表示装置１０１の表示画面１０１Ｓの中央位置に設定される。なお、目標位置１３０は、表示画面１０１Ｓの端部位置に設定されてもよい。

表示制御部２０２は、設定された目標位置１３０に目標画像を表示させる。これにより、被験者は、目標位置１３０を注視し易くなる。

直線１３１は、仮想光源１０３Ｖと角膜反射中心１１３Ｃとを結ぶ直線である。直線１３２は、目標位置１３０と瞳孔中心１１２Ｃとを結ぶ直線である。角膜曲率中心１１０は、直線１３１と直線１３２との交点である。曲率中心算出部２３２は、仮想光源１０３Ｖの位置と、目標位置１３０の位置と、瞳孔中心１１２Ｃの位置と、角膜反射中心１１３Ｃの位置とに基づいて、角膜曲率中心１１０の位置を算出することができる。

以下に、第１キャリブレーション処理の処理フローを基に、第１キャリブレーション処理の流れについて説明する。図１０は、本実施形態に係る第１キャリブレーション処理の一例を示すフローチャートである。表示制御部２０２は、表示装置１０１の表示画面１０１Ｓに目標画像を表示させる（ステップＳ１０１）。被験者は、目標画像を注視することにより、目標位置１３０を注視することができる。

次に、光源制御部２０４は、光源駆動部４０６を制御して、第１光源１０３Ａ及び第２光源１０３Ｂのうち一方の光源から検出光を射出させる（ステップＳ１０２）。ステレオカメラ装置１０２は、第１カメラ１０２Ａ及び第２カメラ１０２Ｂのうち検出光を射出した光源からの距離が長い方のカメラで被験者の眼を撮影する（ステップＳ１０３）。

次に、光源制御部２０４は、光源駆動部４０６を制御して、第１光源１０３Ａ及び第２光源１０３Ｂのうち他方の光源から検出光を射出させる（ステップＳ１０４）。ステレオカメラ装置１０２は、第１カメラ１０２Ａ及び第２カメラ１０２Ｂのうち検出光を射出した光源からの距離が長い方のカメラで被験者の眼を撮影する（ステップＳ１０５）。

瞳孔１１２は、暗い部分としてステレオカメラ装置１０２に検出され、角膜反射像１１３は、明るい部分としてステレオカメラ装置１０２に検出される。すなわち、ステレオカメラ装置１０２で取得される瞳孔１１２の画像は低輝度となり、角膜反射像１１３の画像は高輝度となる。位置検出部２１０は、取得される画像の輝度に基づいて、瞳孔１１２の位置及び角膜反射像１１３の位置を検出することができる。また、位置検出部２１０は、瞳孔１１２の画像データに基づいて、瞳孔中心１１２Ｃの位置を算出する。また、位置検出部２１０は、角膜反射像１１３の画像データに基づいて、角膜反射中心１１３Ｃの位置を算出する（ステップＳ１０６）。

ステレオカメラ装置１０２によって検出された位置は、３次元のローカル座標系で規定される位置である。位置検出部２１０は、記憶部２１２に記憶されている変換パラメータを使用して、ステレオカメラ装置１０２で検出された瞳孔中心１１２Ｃの位置及び角膜反射中心１１３Ｃの位置を座標変換して、三次元グローバル座標系で規定される瞳孔中心１１２Ｃの位置及び角膜反射中心１１３Ｃの位置を算出する（ステップＳ１０７）。

瞳孔中心１１２Ｃの位置及び角膜反射中心１１３Ｃの位置が算出された後に、注視判定部２２０が、ステップＳ１０８からステップＳ１１２の注視判定処理を実行する。注視判定部２２０は、瞳孔中心１１２Ｃの位置データ及び角膜反射中心１１３Ｃの位置データに基づき、瞳孔中心１１２Ｃと角膜反射中心１１３Ｃとの間の距離ｒを算出する（ステップＳ１０８）。注視判定部２２０は、算出した距離ｒが、距離閾値ｒ０の範囲内であるかを確認し（ステップＳ１０９）、距離ｒが距離閾値ｒ０の範囲内である場合（ステップＳ１０９；Ｙｅｓ）、瞳孔中心１１２Ｃと角膜反射中心１１３Ｃとの間の角度θを算出する（ステップＳ１１０）。次に、注視判定部２２０は、算出した角度θが角度閾値θ０以下であるかを確認し（ステップＳ１１１）、角度θが角度閾値θ０以下である場合（ステップＳ１１１；Ｙｅｓ）、被験者が目標位置を注視していると判定する（ステップＳ１１２）。

距離ｒが距離閾値ｒ０の範囲内でない場合（ステップＳ１０９；Ｎｏ）、すなわち距離ｒが距離閾値ｒ０の範囲外である場合、注視判定部２２０は、被験者が目標位置を注視していないと判定し、それまでのデータ（瞳孔中心１１２Ｃの位置データ及び角膜反射中心１１３Ｃの位置データ）を無効として、次の画像撮影を行うためステップＳ１０１に戻る。この場合、注視判定部２２０は、例えば目標位置を注視していない旨を操作者や被験者に通知させてから、ステップＳ１０１に戻ってもよい。ステップＳ１０１に戻った後は、目標位置１３０に目標画像を表示させて、新たに眼球１１１の画像を撮像して瞳孔中心１１２Ｃの位置及び角膜反射中心１１３Ｃの位置を算出し、再度、注視判定処理を実行する。角度θが角度閾値θ０以下でない場合（ステップＳ１１０；Ｎｏ）、すなわち角度θが角度閾値θ０以上である場合も、注視判定部２２０は、被験者が目標位置を注視していないと判定し、それまでのキャリブレーションデータを無効として、次の画像撮影を行うためステップＳ１０１に戻り、次の画像から注視判定処理を実行する。

注視判定部２２０によって被験者が目標位置を注視していると判定すると、第１キャリブレーション部２３０の曲率中心算出部２３２は、グローバル座標系で規定される角膜反射中心１１３Ｃと仮想光源１０３Ｖとを結ぶ直線１３１を算出する（ステップＳ１１３）。

次に、曲率中心算出部２３２は、表示装置１０１の表示画面１０１Ｓに規定される目標位置１３０と瞳孔中心１１２Ｃとを結ぶ直線１３２を算出する（ステップＳ１１４）。曲率中心算出部２３２は、ステップＳ１１３で算出した直線１３１とステップＳ１１４で算出した直線１３２との交点を求め、この交点を角膜曲率中心１１０とする（ステップＳ１１５）。

その後、曲率中心算出部２３２は、瞳孔中心１１２Ｃと角膜曲率中心１１０との距離１２６を算出して、記憶部２１２に記憶する（ステップＳ１１６）。記憶された距離は、ステップＳ２００の注視点検出において、角膜曲率中心１１０を算出するために使用される。ステップＳ１１６により、第１キャリブレーション処理は終了する。

（注視点検出処理）
次に、注視点検出処理（ステップＳ２００）について説明する。注視点検出処理は、第１キャリブレーション処理の後に、注視点検出処理部２４０によって実施される。注視点検出処理部２４０の注視点検出部２４４は、眼球１１１の画像データに基づいて、被験者の視線ベクトル及び注視点の位置を算出する。

図１１は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。注視点検出処理は、第１キャリブレーション処理（ステップＳ１００）で求めた瞳孔中心１１２Ｃと角膜曲率中心１１０との距離１２６を用いて、角膜曲率中心１１０の位置を補正すること、及び補正された角膜曲率中心１１０の位置を使って注視点を算出することを含む。

図１１において、注視点１６５は、一般的な曲率半径値を用いて算出された角膜曲率中心１１０から求めた注視点を示す。注視点１６６は、第１キャリブレーション処理で求められた距離１２６を用いて算出された角膜曲率中心１１０Ｈから求めた注視点を示す。

瞳孔中心１１２Ｃは、第１キャリブレーション処理において算出された瞳孔中心を示し、角膜反射中心１１３Ｃは、第１キャリブレーション処理において算出された角膜反射中心を示す。

直線１７３は、仮想光源１０３Ｖと角膜反射中心１１３Ｃとを結ぶ直線である。角膜曲率中心１１０は、一般的な曲率半径値から算出した角膜曲率中心の位置である。

距離１２６は、第１キャリブレーション処理により算出した瞳孔中心１１２Ｃと角膜曲率中心１１０との距離である。

角膜曲率中心１１０Ｈは、距離１２６を用いて角膜曲率中心１１０を補正した補正後の角膜曲率中心の位置を示す。

角膜曲率中心１１０Ｈは、角膜曲率中心１１０が直線１７３上に存在すること、及び瞳孔中心１１２Ｃと角膜曲率中心１１０との距離が距離１２６であることから求められる。これにより、一般的な曲率半径値を用いる場合に算出される視線１７７は、視線１７８に補正される。また、表示装置１０１の表示画面１０１Ｓ上の注視点は、注視点１６５から注視点１６６に補正される。

図１２は、本実施形態に係る注視点検出処理の一例を示すフローチャートである。なお、図１２に示すステップＳ２０１からステップＳ２０６までの処理は、図１０に示したステップＳ１０２からステップＳ１０７までの処理と同様であるため説明を省略する。すなわち、ステップＳ２０１からステップＳ２０６までの注視点検出処理においては、第１キャリブレーション処理とは異なる注視点検出用に撮像した眼球１１１の画像を用いて、瞳孔中心１１２Ｃ及び角膜反射中心１１３Ｃの位置データを算出する。

ステップＳ２０６で瞳孔中心１１２Ｃ及び角膜反射中心１１３Ｃの位置データをグローバル座標系に変換した後、注視点検出部２４４は、瞳孔中心１１２Ｃと角膜曲率中心１１０Ｈとを結ぶ視線ベクトルを算出する（ステップＳ２０７）。このステップＳ２０７は、図１０に示したステップＳ１１３と同内容の処理である。

その後、補正位置算出部２４２は、ステップＳ２０７で算出した直線１７３上であって、瞳孔中心１１２Ｃからの距離がキャリブレーション処理によって求めた距離１２６と等しい位置を、補正後の角膜曲率中心である角膜曲率中心１１０Ｈとして算出する（ステップＳ２０８）。

注視点検出部２４４は、瞳孔中心１１２Ｃと角膜曲率中心１１０Ｈとを結ぶ視線ベクトルを算出する（ステップＳ２０９）。視線ベクトルは、被験者が見ている視線方向を示す。注視点検出部２４４は、視線ベクトルと表示装置１０１の表示画面１０１Ｓとの交点の位置を算出する（ステップＳ２１０）。視線ベクトルと表示装置１０１の表示画面１０１Ｓとの交点の位置が、三次元グローバル座標系で規定される表示画面１０１Ｓにおける被験者の注視点の位置である。

注視点検出部２４４は、三次元グローバル座標系で規定される注視点の位置を、２次元座標系で規定される表示装置１０１の表示画面１０１Ｓにおける位置に変換する（ステップＳ２１１）。これにより、被験者が見つめる表示装置１０１の表示画面１０１Ｓ上の注視点の位置が算出される。このステップＳ２１１で注視点の位置を変換することにより、注視点検出処理は終了する。

（第２キャリブレーション処理）
次に、第２キャリブレーション処理（ステップＳ３００）について説明する。第２キャリブレーション処理は、注視判定処理と、左右それぞれの眼球の理想的な角膜曲率中心１１０Ｆの位置を算出する処理とを含む。第２キャリブレーション処理における注視判定処理は、第２キャリブレーション処理用の眼球１１１の画像データを用いる点以外は、第１キャリブレーション処理における注視判定処理と同じである。

図１３は、本実施形態に係る第２キャリブレーション部によるキャリブレーション処理の一例を説明するための模式図である。図１３に示すように、第２キャリブレーション処理では、被験者に注視させるための目標位置１８０が設定される。目標位置１８０は、三次元グローバル座標系において規定される。本実施形態において、目標位置１８０は、例えば表示装置１０１の表示画面１０１Ｓの中央位置に設定される。なお、目標位置１８０は、表示画面１０１Ｓの端部位置に設定されてもよい。表示制御部２０２は、設定された目標位置１８０に目標画像を表示させる。これにより、被験者は、目標位置１８０を注視し易くなる。

瞳孔中心１１２Ｃは、第１キャリブレーション処理において算出された瞳孔中心を示す。直線１８１は、仮想光源１０３Ｖと瞳孔中心１１２Ｃとを結ぶ直線である。距離１２６は、第１キャリブレーション処理により算出した瞳孔中心１１２Ｃと角膜曲率中心１１０Ｆとの距離である。

直線１８１上であって、瞳孔中心１１２Ｃとの間に距離１２６を有する位置には、理想的な角膜曲率中心１１０Ｆが設定される。理想位置算出部２５２は、目標位置１８０の位置と、瞳孔中心１１２Ｃの位置と、瞳孔中心１１２Ｃと角膜曲率中心１１０との距離１２６のデータとに基づいて、理想的な角膜曲率中心１１０Ｆの位置を算出することができる。位置差分１２７は、理想的な角膜曲率中心１１０Ｆと、上記した補正後の角膜曲率中心１１０Ｈとの距離である。

以下に、第２キャリブレーション処理の処理フローを基に、第２キャリブレーション処理の流れについて説明する。図１４は、本実施形態に係る第２キャリブレーション処理の一例を示すフローチャートである。図１４に示すステップＳ３０１からステップＳ３１２までの注視判定処理は、図１０に示したステップＳ１０１からステップＳ１１２までの注視判定処理と同様であるため、説明を省略する。すなわち、ステップＳ３０１からステップＳ３１２までの注視判定処理においては、第１キャリブレーション処理における注視判定処理と同様に、瞳孔中心１１２Ｃ及び角膜反射中心１１３Ｃの位置データを算出し、注視判定部２２０により、それらの位置データに基づき、被験者が目標点１８０を注視しているかを判定する。

ステップＳ３１２において目標位置を注視していると判定されると、第２キャリブレーション部２５０の理想位置算出部２５２は、表示画面１０１Ｓの目標位置１８０と、グローバル座標系で規定される瞳孔中心１１２Ｃとを結ぶ直線１８１を算出する（ステップＳ３１３）。

次に、理想位置算出部２５２は、ステップＳ３１３で算出した直線１８１上の点であって、瞳孔中心１１２Ｃからの距離が第１キャリブレーション処理によって求めた距離１２６と等しい点を理想的な角膜曲率中心１１０Ｆとして求め、当該理想的な角膜曲率中心１１０Ｆの位置を算出する（ステップＳ３１４）。

次に、演算部２５４は、左右それぞれの眼球について、理想的な角膜曲率中心１１０Ｆと補正後の角膜曲率中心１１０Ｈとの距離である位置差分１２７を算出する（ステップＳ３１５）。演算部２５４は、算出した位置差分１２７を記憶部２１２に記憶させる。この位置差分１２７は、注視点検出処理で得られる補正後の角膜曲率中心１１０Ｈに対する較正値として用いられる。例えば、以降に注視点検出処理を行う際、注視点検出処理部２４０は、瞳孔中心１１２Ｃの位置と補正後の角膜曲率中心１１０Ｈの位置に位置差分１２７を加算した位置とから左右それぞれの眼球の視線方向を検出する。具体的には、注視点検出処理部２４０は、補正後の角膜曲率中心１１０Ｈに位置差分１２７を較正値として加算した角膜曲率中心から瞳孔中心１１２Ｃへ向かう視線ベクトルを、被験者の較正後の視線方向として検出する。このステップＳ３１５により、第２キャリブレーション処理は終了する。

以上説明したように、本実施形態に係る視線検出装置１００は、光源（本実施形態では第１光源１０３Ａ及び第２光源１０３Ｂ）と、撮像部（本実施形態では第１カメラ１０２Ａ及び第２カメラ１０２Ｂ）と、位置検出部２１０と、注視判定部２２０と、キャリブレーション部（本実施形態では第１キャリブレーション部２３０及び第２キャリブレーション部２５０）と、を有する。光源は、被験者の眼球１１１に、視線検出用の検出光を照射する。撮像部は、検出光が照射された被験者の眼球１１１を撮像する。位置検出部２１０は、撮像部が撮像した画像から、眼球１１１の瞳孔中心１１２Ｃの位置と、眼球１１１の角膜反射中心１１３Ｃの位置とを検出する。注視判定部２２０は、位置検出部２１０が検出した瞳孔中心１１２Ｃの位置と角膜反射中心１１３Ｃの位置とに基づき、被験者が目標位置を注視しているかを判定する。キャリブレーション部は、注視判定部２２０が目標位置を注視していると判定した場合に、撮像部が撮像した画像に基づき視線検出のためのキャリブレーション（本実施形態では第１キャリブレーション及び第２キャリブレーション）を実行する。

視線検出の際のキャリブレーションは、被験者が表示画面１０１Ｓ上の目標位置を注視していることを前提に行われる。従って、被験者が目標位置を注視していない状態でキャリブレーションを実行すると、キャリブレーションの精度が低下するおそれがある。それに対し、本実施形態に係る視線検出装置１００は、被験者が目標位置を注視しているかを判定し、目標位置を注視していると判定した場合に、キャリブレーション処理を実行する。従って、本実施形態に係る視線検出装置１００は、被験者が目標位置を注視していない状態でキャリブレーションが実行されることを抑制し、キャリブレーションの精度低下を適切に抑制することができる。また、本実施形態に係る視線検出装置１００は、瞳孔中心１１２Ｃの位置と角膜反射中心１１３Ｃの位置とに基づき、被験者が目標位置を注視しているかを判定するため、被験者が目標位置を注視しているかを高精度に判定することができ、キャリブレーションの精度低下を適切に抑制することができる。

また、注視判定部２２０は、瞳孔中心１１２Ｃの位置と角膜反射中心１１３Ｃの位置との関係性を示す指標値が、所定の閾値の範囲内にある場合に、被験者が目標位置を注視していると判定する。そして、注視判定部２２０は、その指標値が閾値の範囲外にある場合に、被験者が目標位置を注視していないと判定する。この視線検出装置１００は、瞳孔中心１１２Ｃの位置と角膜反射中心１１３Ｃの位置との関係性を示す指標値が閾値の範囲内に入っているかに基づき、被験者が目標位置を注視しているかを判定している。従って、この視線検出装置１００は、被験者が目標位置を注視しているかを高精度に判定することができ、キャリブレーションの精度低下を適切に抑制することができる。

また、注視判定部２２０は、瞳孔中心１１２Ｃの位置と角膜反射中心１１３Ｃの位置との間の距離ｒが、所定の距離閾値ｒ０の範囲内である場合に、被験者が目標位置を注視していると判定する。この視線検出装置１００は、距離ｒが距離閾値ｒ０の範囲内であるかに基づき判定しているため、被験者が目標位置を注視しているかを高精度に判定することができ、キャリブレーションの精度低下を適切に抑制することができる。

また、注視判定部２２０は、瞳孔中心１１２Ｃの位置と所定の基準点Ｐとを結ぶ直線と、瞳孔中心１１２Ｃの位置と角膜反射中心１１３Ｃの位置とを結ぶ直線との間の角度θが、所定の角度閾値θ０以下である場合に、被験者が目標位置を注視していると判定する。この視線検出装置１００は、角度θが角度閾値θ０以下であるかに基づき判定しているため、被験者が目標位置を注視しているかを高精度に判定することができ、キャリブレーションの精度低下を適切に抑制することができる。

（第２実施形態）
次に、第２実施形態について説明する。第２実施形態に係る視線検出装置１００は、注視判定処理において、判定のための閾値を段階的に更新する点で、第１実施形態とは異なる。第２実施形態において、第１実施形態と構成が共通する箇所は、説明を省略する。

第２実施形態に係る注視判定部２２０は、第１実施形態と同様に、瞳孔中心１１２Ｃの位置と角膜反射中心１１３Ｃの位置との関係性を示す指標値が、所定の閾値の範囲内にある場合に、被験者が目標位置を注視していると判定する。そして、第２実施形態に係る注視判定部２２０は、その指標値が閾値の範囲外にある場合に、被験者が目標位置を注視していないと判定する。第２実施形態に係る注視判定部２２０は、第１実施形態とは異なり、被験者が目標位置を注視しているかを判定した後に、閾値の値を切り替えて、指標値が、切り替えた閾値の範囲内にあるかを判断する。第２実施形態に係る注視判定部２２０は、指標値が、切り替えた閾値の範囲内にあるかを判断して、被験者が目標位置を注視しているかを、再度判定する。

さらに詳しくは、注視判定部２２０は、指標値が閾値の範囲外にあって被験者が目標位置を注視していないと判定した場合に、閾値を、数値範囲が大きくなるように更新し、判定基準を緩和する。そして、第２実施形態に係る視線検出装置１００は、眼球１１１の画像を再度撮像して、その画像に基づき、瞳孔中心１１２Ｃの位置と角膜反射中心１１３Ｃの位置とを、再度検出する。そして、視線検出装置１００は、その瞳孔中心１１２Ｃの位置と角膜反射中心１１３Ｃの位置との関係性を示す指標値を再度算出して、その指標値が、更新した閾値（数値範囲が大きくなった閾値）の範囲内にあるかを、再度判定する。注視判定部２２０は、指標値が更新した閾値の範囲内にある場合、被験者が目標位置を注視していると判定する。

例えば第１実施形態のように閾値を一定のまま保っている場合、画像を撮像しなおして再判定を行っても、指標値が閾値の範囲外となることが続き、キャリブレーションの終了に時間を要するおそれが生じる。しかし、第２実施形態においては、一度閾値の範囲内に入らなかった場合に、閾値を更新して判定基準を緩和した状態で、再度判定を行う。従って、第２実施形態においては、キャリブレーションの成功率が低くなることを抑制して、キャリブレーションの終了までの時間が長くなることを抑制することができる。

なお、注視判定部２２０は、算出しなおした指標値が、更新した閾値の範囲外となった場合、数値範囲がさらに大きくなるように閾値を更に更新して、判定基準をさらに緩和してもよい。この注視判定部２２０は、判定基準をさらに緩和した状態で、被験者が目標位置を注視しているかを、再判定してもよい。ただし、閾値の更新は、上限を設けることが好ましい。例えば、注視判定部２２０は、閾値を更新する回数の上限を２回とし、閾値を合計３段階持たせてもよい。また、注視判定部２２０は、閾値を設定してからの経過時間の上限を定め、経過時間が上限に達した場合に、それ以上閾値を更新させないようにしてもよい。これにより、判定基準が緩和され過ぎて、キャリブレーションの精度が低下してしまうことを抑制することができる。

なお、本実施形態では、指標値とは、距離ｒ及び角度θである。注視判定部２２０は、距離ｒが距離閾値ｒ０の範囲外であると判定した場合は、距離閾値ｒ０を、更新距離閾値ｒ１に更新する。更新距離閾値ｒ１は、距離閾値ｒ０よりも数値範囲が広く設定された数値範囲である。更新距離閾値ｒ１は、距離閾値ｒ０に対し、数値範囲が、２０％以上３０％以下、拡張されたものであることが好ましい。また、注視判定部２２０は、距離ｒが更新距離閾値ｒ１の範囲外であると判定した場合は、更新距離閾値ｒ１を、更新距離閾値ｒ２にさらに更新し、次に算出した距離ｒが、更新距離閾値ｒ２の範囲内であるかを判定してもよい。更新距離閾値ｒ２の更新距離閾値ｒ１に対する数値範囲の拡張割合は、例えば、更新距離閾値ｒ１の距離閾値ｒ０に対する数値範囲の拡張割合と同じである。

また、注視判定部２２０は、角度θが角度閾値θ０より大きい（又は、角度閾値θ０の範囲外である）と判定した場合は、角度閾値θ０を、更新角度閾値θ１に更新する。更新角度閾値θ１は、角度閾値θ０よりも値が大きい数値（又は数値範囲が広く設定された数値範囲）である。更新角度閾値θ１は、角度閾値θ０に対し、１０％以上２０％以下、大きい値（数値範囲が拡張されたもの）であることが好ましい。また、注視判定部２２０は、再度算出した角度θが、更新角度閾値θ１より大きい（又は、更新角度閾値θ１の範囲外である）と判定した場合は、更新角度閾値θ１を、更新角度閾値θ２にさらに更新し、次に算出した角度θが、更新角度閾値θ２以下であるか（更新角度閾値θ２の範囲内であるか）を判定してもよい。更新角度閾値θ２の更新角度閾値θ１に対する拡張割合は、例えば、更新角度閾値θ１の角度閾値θ０に対する拡張割合と同じである。また、更新角度閾値θ１の角度閾値θ０に対する拡張割合は、更新距離閾値ｒ１の距離閾値ｒ０に対する数値範囲の拡張割合よりも、小さいことが好ましい。角度θは、距離ｒよりも、目標位置を注視しているかの判断に、重要となる場合がある。従って、角度閾値θ０の拡張割合を距離閾値ｒ０の拡張割合より小さくすることで、判定基準が緩和され過ぎることを抑制して、キャリブレーションの精度が低下してしまうことを抑制することができる。

このように、本実施形態では、指標値が閾値の範囲外にあって被験者が目標位置を注視していないと判定した場合に、数値範囲が大きくなるように閾値を更新し、判定基準を緩和している。ただし、注視判定部２２０は、指標値が更新した閾値の範囲内にあるかを判断することで、目標位置を注視しているかを再度判定するものであれば、判定基準を緩和することに限られない。例えば、注視判定部２２０は、指標値が閾値の範囲内にあって被験者が目標位置を注視していると判定した場合に、数値範囲が小さくなるように閾値を更新し、判定基準を厳しくしてもよい。そして、注視判定部２２０は、指標値が更新した閾値（数値範囲が狭くなった閾値）の範囲内であるかを再度判定してもよい。注視判定部２２０は、指標値が更新した閾値（数値範囲が狭くなった閾値）の範囲内である場合、更に数値範囲が狭くなるように閾値を更新し、判定を続ける。注視判定部２２０は、指標値が更新した閾値（数値範囲が狭くなった閾値）の範囲外であると判定した時点で、その判定の直前の判定に使用されたデータを、キャリブレーション用のデータとする。これにより、注視判定部２２０は、キャリブレーションの精度をさらに向上させることができる。

以上説明した第２実施形態における処理を、フローチャートで説明する。最初に、第２実施形態に係る第１キャリブレーション処理を説明する。図１５は、第２実施形態に係る第１キャリブレーション処理の一例を説明するためのフローチャートである。図１５に示すように、第２実施形態に係る視線検出装置１００は、第１実施形態と同様に（図１０参照）、ステップＳ１０１からステップＳ１０７を実行して、瞳孔中心１１２Ｃと角膜反射中心１１３Ｃとの位置を算出する。

次に、注視判定部２２０は、距離閾値ｒ０及び角度閾値θ０を設定した後、注視判定処理を所定回数実施しているか、又は、距離閾値ｒ０及び角度閾値θ０を設定した後、所定時間が経過しているかを判断する（ステップＳ１２０Ａ）。所定回数は、例えば１回であり、所定時間は、注視判定処理を１回実行する程度の時間である。すなわち、注視判定部２２０は、これまでに注視判定処理を行っているかを判断する。

注視判定処理を所定回数実施していない、又は、所定時間が経過していないと判断した場合（ステップＳ１２０Ａ；Ｎｏ）、ステップＳ１０８に進み、更新前の距離閾値ｒ０及び角度閾値θ０を用いて、注視判定処理を実行する。すなわち、この場合、注視判定部２２０は、注視判定処理をまだ行っていないと判断して、最初の注視判定処理を実行する。ステップＳ１０８以降の処理は、第１実施形態と同様である。ただし、第２実施形態においては、ステップＳ１０９で距離ｒが距離閾値ｒ０（又は更新した距離閾値）の範囲内に無いと判断された場合（ステップＳ１０９；Ｎｏ）、及び、ステップＳ１１１で角度θが角度閾値θ０（又は更新した角度閾値）以下でないと判断された場合（ステップＳ１１１；Ｎｏ）においては、ステップＳ１０１に戻る代わりに、ステップＳ１２０Ａに戻ってもよい。この場合、同じデータに対し、更新した閾値で再判定を行うことができ、キャリブレーションに要する時間を更に削減することができる。

一方、注視判定処理を所定回数実施している、又は、所定時間が経過していると判断した場合（ステップＳ１２０Ａ；Ｙｅｓ）、注視判定部２２０は、距離閾値ｒ０及び角度閾値θ０を更新可能であるかを判断する（ステップＳ１２２Ａ）。上述のように、距離閾値ｒ０及び角度閾値θ０の更新の上限数は、定められている。注視判定部２２０は、距離閾値ｒ０及び角度閾値θ０を上限まで更新していない場合は、距離閾値ｒ０及び角度閾値θ０を更新可能であると判断し、上限まで更新している場合は、更新可能でないと判断する。

距離閾値ｒ０及び角度閾値θ０を更新可能でないと判断した場合（ステップＳ１２２Ａ；Ｎｏ）、注視判定部２２０は、エラーであるとして、本処理を終了する。この場合、例えば、操作者や被験者に、キャリブレーションが適切に出来ない旨の、エラーメッセージなどを通知してもよい。

一方、距離閾値ｒ０及び角度閾値θ０を更新可能であると判断した場合（ステップＳ１２２Ａ；Ｙｅｓ）、注視判定部２２０は、距離閾値ｒ０及び角度閾値θ０を更新して（ステップＳ１２４Ａ）、ステップＳ１０８に進み、更新した距離閾値ｒ０及び角度閾値θ０で、注視判定処理を再度実行する。ステップＳ１１６の終了により、本処理は終了する。

次に、第２実施形態に係る第２キャリブレーション処理を説明する。図１６は、第２実施形態に係る第２キャリブレーション処理の一例を説明するためのフローチャートである。図１６に示すように、第２実施形態に係る視線検出装置１００は、第１実施形態と同様に（図１４参照）、ステップＳ３０１からステップＳ３０７を実行して、瞳孔中心１１２Ｃと角膜反射中心１１３Ｃとの位置を算出する。

次に、注視判定部２２０は、距離閾値ｒ０及び角度閾値θ０を設定した後、注視判定処理を所定回数実施しているか、又は、距離閾値ｒ０及び角度閾値θ０を設定した後、所定時間が経過しているかを判断する（ステップＳ３２０Ａ）。注視判定部２２０は、これまでに注視判定処理を行っているかを判断する。

注視判定処理を所定回数実施していない、又は、所定時間が経過していないと判断した場合（ステップＳ３２０Ａ；Ｎｏ）、ステップＳ３０８に進み、更新前の距離閾値ｒ０及び角度閾値θ０を用いて、注視判定処理を実行する。すなわち、この場合、注視判定部２２０は、注視判定処理をまだ行っていないと判断して、最初の注視判定処理を実行する。ステップＳ３０８以降の処理は、第１実施形態と同様である。ただし、第２実施形態においては、ステップＳ３０９で距離ｒが距離閾値ｒ０（又は更新した距離閾値）の範囲内に無いと判断された場合（ステップＳ３０９；Ｎｏ）、及び、ステップＳ３１１で角度θが角度閾値θ０（又は更新した角度閾値）以下でないと判断された場合（ステップＳ３１１；Ｎｏ）においては、ステップＳ３０１に戻る代わりに、ステップＳ３２０Ａに戻ってもよい。この場合、同じデータに対し、更新した閾値で再判定を行うことができ、キャリブレーションに要する時間を更に削減することができる。

一方、注視判定処理を所定回数実施している、又は、所定時間が経過していると判断した場合（ステップＳ３２０Ａ；Ｙｅｓ）、注視判定部２２０は、距離閾値ｒ０及び角度閾値θ０を更新可能であるかを判断する（ステップＳ３２２Ａ）。注視判定部２２０は、距離閾値ｒ０及び角度閾値θ０を上限まで更新していない場合は、距離閾値ｒ０及び角度閾値θ０を更新可能であると判断し、上限まで更新している場合は、更新可能でないと判断する。

距離閾値ｒ０及び角度閾値θ０を更新可能でないと判断した場合（ステップＳ３２２Ａ；Ｎｏ）、注視判定部２２０は、エラーであるとして、本処理を終了する。

一方、距離閾値ｒ０及び角度閾値θ０を更新可能であると判断した場合（ステップＳ３２２Ａ；Ｙｅｓ）、注視判定部２２０は、距離閾値ｒ０及び角度閾値θ０を更新して（ステップＳ３２４Ａ）、ステップＳ３０８に進み、更新した距離閾値ｒ０及び角度閾値θ０で、注視判定処理を再度実行する。ステップＳ３１５の終了により、本処理は終了する。このように、ステップＳ３２０ＡからステップＳ３２４Ａの処理は、図１５に示すステップＳ１２０ＡからステップＳ１２４Ａと同様である。

以上説明したように、第２実施形態に係る注視判定部２２０は、被験者が目標位置を注視しているかを判定した後に閾値を切り替えて、指標値が、切り替えた閾値の範囲内にあるかを判断することで、被験者が目標位置を注視しているかを再度判定する。第２実施形態に係る視線検出装置１００は、これにより、キャリブレーションの成功率が低くなりすぎることを抑制したり、キャリブレーションの精度低下をより好適に抑制したりすることができる。

以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

１００ 視線検出装置
１０１ 表示装置
１０２ ステレオカメラ装置
１０２Ａ 第１カメラ（撮像部）
１０２Ｂ 第２カメラ（撮像部）
１０３ 照明装置
１０３Ａ 第１光源（光源）
１０３Ｂ 第２光源（光源）
２００ 処理部
２１０ 位置検出部
２２０ 注視判定部
２２２ キャリブレーション部
２４０ 注視点検出処理部
ｒ 距離
ｒ０ 距離閾値
θ 角度
θ０ 角度閾値

Claims (3)

1. 被験者に注視させるための目標位置を設定し、前記目標位置に目標画像を表示する表示制御部と、
   前記被験者の眼球に、視線検出用の検出光を照射する光源と、
   前記眼球を撮像する撮像部と、
   前記撮像部が撮像した画像から、前記眼球の瞳孔中心位置と、前記眼球の角膜反射中心位置とを検出する位置検出部と、
   前記位置検出部が検出した前記瞳孔中心位置と前記角膜反射中心位置との間の距離が、所定の距離閾値の範囲内にある場合に、前記被験者が前記目標位置を注視していると判定する注視判定部と、
   前記注視判定部が前記目標位置を注視していると判定した場合に、前記撮像部が撮像した画像に基づき前記被験者の瞳孔中心と角膜曲率中心との距離を算出するキャリブレーションを実行するキャリブレーション部とを有する視線検出装置。
2. 前記注視判定部は、前記位置検出部が検出した前記瞳孔中心位置と前記角膜反射中心位置との間の距離が、所定の距離閾値の範囲内であり、前記瞳孔中心位置と所定の基準点とを結ぶ直線と、前記瞳孔中心位置と前記角膜反射中心位置とを結ぶ直線との間の角度が、所定の角度閾値以下である場合に、前記被験者が前記目標位置を注視していると判定する
   請求項１に記載の視線検出装置。
3. 被験者に注視させるための目標位置を設定し、前記目標位置に目標画像を表示する表示制御ステップと、
   前記被験者の眼球に、視線検出用の検出光を照射する検出光照射ステップと、
   前記眼球を撮像する撮像ステップと、
   前記撮像ステップで撮像した画像から、前記眼球の瞳孔中心位置と、前記眼球の角膜反射中心位置とを検出する位置検出ステップと、
   前記位置検出ステップで検出した前記瞳孔中心位置と前記角膜反射中心位置との間の距離が、所定の距離閾値の範囲内にある場合に、前記被験者が前記目標位置を注視していると判定する注視判定ステップと、
   前記注視判定ステップにおいて前記目標位置を注視していると判定した場合に、前記撮像ステップで撮像した画像に基づき前記被験者の瞳孔中心と角膜曲率中心との距離を算出するキャリブレーションを実行するキャリブレーションステップと、を有する、視線検出方法。

Images