JP6776970B2 - 視線検出装置、視線検出方法及び視線検出プログラム - Google Patents

Description

本発明は、視線検出装置、視線検出方法及び視線検出プログラムに関する。

操作者又は被験者がモニタ画面などの観察面上で注視している位置を検出する、視線検出装置が提案されている。顔に装置を取り付けることなく被験者の視線方向を非接触で検出する方法として、被験者の眼球に検出光を照射し、検出光が照射された眼球の画像から瞳孔中心と角膜曲率中心とを算出し、角膜曲率中心から瞳孔中心へ向かうベクトルを被験者の視線方向として検出する方法がある。従来においては、角膜曲率半径が左右の眼球で同じ値であり、左右の眼球の視線方向は同じであるとの仮定のもと、視線方向が検出されていた。

特許第２７３９３３１号公報

しかし、従来技術では、角膜曲率半径が左右の眼球で大きく異なる被験者、又は斜視などの影響により左右の眼球の視線方向が大きく異なる被験者について、視線方向を正確に検出することが困難であるという問題があった。

本発明は、様々な被験者について視線方向を正確に検出できる視線検出装置、視線検出方法及び視線検出プログラムを提供することを目的とする。

本発明に係る視線検出装置は、表示装置の表示画面の１点に画像を表示する表示制御部と、被験者の左右の眼球に検出光を照射する光源と、前記検出光が照射される被験者の左右の眼球の画像データを取得する画像データ取得部と、取得された前記画像データから、左右それぞれの眼球の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する位置検出部と、前記光源と前記角膜反射中心とを結ぶ仮想直線と、前記画像と前記瞳孔中心と結ぶ仮想直線とに基づいて、左右それぞれの眼球の角膜曲率中心の位置を算出する曲率中心算出部と、前記瞳孔中心と前記角膜曲率中心との距離に基づいて前記角膜曲率中心の位置を補正し、左右それぞれの眼球の補正後の角膜曲率中心の位置を算出する補正位置算出部と、前記表示画面の１点に表示される前記画像の位置と前記瞳孔中心の位置とから、左右それぞれの眼球の理想的な角膜曲率中心の位置を算出する理想位置算出部と、左右それぞれの眼球について前記補正後の角膜曲率中心の位置と前記理想的な角膜曲率中心の位置との差分である位置差分を算出する演算部と、前記瞳孔中心の位置と前記補正後の角膜曲率中心の位置に前記位置差分を加算した位置とから左右それぞれの眼球の視線方向を検出する注視点検出部と、左右の眼球の前記位置差分同士の差である左右差分の大きさに基づいて、前記注視点検出部で検出された左右それぞれの眼球の前記視線方向が有効か否かを判定する判定部と、を備える。

本発明に係る視線検出装置は、表示装置の表示画面の１点に画像を表示する表示制御部と、被験者の左右の眼球に検出光を照射する光源と、前記検出光が照射される被験者の左右の眼球の画像データを取得する画像データ取得部と、取得された前記画像データから、左右それぞれの眼球の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する位置検出部と、前記光源と前記角膜反射中心とを結ぶ仮想直線と、前記画像と前記瞳孔中心と結ぶ仮想直線とに基づいて、左右それぞれの眼球の角膜曲率中心の位置を算出する曲率中心算出部と、前記瞳孔中心と前記角膜曲率中心との距離に基づいて前記角膜曲率中心の位置を補正し、左右それぞれの眼球の補正後の角膜曲率中心の位置を算出する補正位置算出部と、前記表示画面の１点に表示される前記画像の位置と前記瞳孔中心の位置とから、左右それぞれの眼球の理想的な角膜曲率中心の位置を算出する理想位置算出部と、左右それぞれの眼球について前記補正後の角膜曲率中心の位置と前記理想的な角膜曲率中心の位置との差分である位置差分を算出する演算部と、左右の眼球の前記位置差分同士の差である左右差分が所定の閾値以下であるか否かを判定する判定部と、を備える。

本発明に係る視線検出方法は、表示装置の表示画面の１点に画像を表示する表示制御ステップと、被験者の左右の眼球に光源から検出光を照射する照射ステップと、前記検出光が照射される被験者の左右の眼球の画像データを取得する画像データ取得ステップと、取得された前記画像データから、左右それぞれの眼球の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する位置検出ステップと、前記光源と前記角膜反射中心とを結ぶ仮想直線と、前記画像と前記瞳孔中心と結ぶ仮想直線とに基づいて、左右それぞれの眼球の角膜曲率中心の位置を算出する曲率中心算出ステップと、前記瞳孔中心と前記角膜曲率中心との距離に基づいて前記角膜曲率中心の位置を補正し、左右それぞれの眼球の補正後の角膜曲率中心の位置を算出する補正位置算出ステップと、前記表示画面の１点に表示される前記画像の位置と前記瞳孔中心の位置とから、左右それぞれの眼球の理想的な角膜曲率中心の位置を算出する理想位置算出ステップと、左右それぞれの眼球について前記補正後の角膜曲率中心の位置と前記理想的な角膜曲率中心の位置との差分である位置差分を算出する演算ステップと、前記瞳孔中心の位置と前記補正後の角膜曲率中心の位置に前記位置差分を加算した位置とから左右それぞれの眼球の視線方向を検出する注視点検出ステップと、左右の眼球の前記位置差分同士の差である左右差分の大きさに基づいて、左右それぞれの眼球の前記視線方向が有効か否かを判定する判定ステップと、を含む。

本発明に係る視線検出プログラムは、表示装置の表示画面の１点に画像を表示する表示制御ステップと、被験者の左右の眼球に光源から検出光を照射する照射ステップと、前記検出光が照射される被験者の左右の眼球の画像データを取得する画像データ取得ステップと、取得された前記画像データから、左右それぞれの眼球の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する位置検出ステップと、前記光源と前記角膜反射中心とを結ぶ仮想直線と、前記画像と前記瞳孔中心と結ぶ仮想直線とに基づいて、左右それぞれの眼球の角膜曲率中心の位置を算出する曲率中心算出ステップと、前記瞳孔中心と前記角膜曲率中心との距離に基づいて前記角膜曲率中心の位置を補正し、左右それぞれの眼球の補正後の角膜曲率中心の位置を算出する補正位置算出ステップと、前記表示画面の１点に表示される前記画像の位置と前記瞳孔中心の位置とから、左右それぞれの眼球の理想的な角膜曲率中心の位置を算出する理想位置算出ステップと、左右それぞれの眼球について前記補正後の角膜曲率中心の位置と前記理想的な角膜曲率中心の位置との差分である位置差分を算出する演算ステップと、前記瞳孔中心の位置と前記補正後の角膜曲率中心の位置に前記位置差分を加算した位置とから左右それぞれの眼球の視線方向を検出する注視点検出ステップと、左右の眼球の前記位置差分同士の差である左右差分の大きさに基づいて、左右それぞれの眼球の前記視線方向が有効か否かを判定する判定ステップと、をコンピュータに実行させる。

本発明によれば、様々な被験者について視線方向を正確に検出できる。

図１は、本実施形態に係る視線検出装置の一例を模式的に示す斜視図である。 図２は、本実施形態に係る表示装置とステレオカメラ装置と照明装置と被験者の眼球との位置関係を模式的に示す図である。 図３は、本実施形態に係る視線検出装置のハードウェア構成の一例を示す図である。 図４は、本実施形態に係る視線検出装置の一例を示す機能ブロック図である。 図５は、本実施形態に係る角膜曲率中心の位置の算出方法を説明するための模式図である。 図６は、本実施形態に係る角膜曲率中心の位置の算出方法を説明するための模式図である。 図７は、本実施形態に係る視線検出方法の一例を示すフローチャートである。 図８は、本実施形態に係る第１キャリブレーション処理の一例を説明するための模式図である。 図９は、本実施形態に係る第１キャリブレーション処理の一例を示すフローチャートである。 図１０は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。 図１１は、本実施形態に係る注視点検出処理の一例を示すフローチャートである。 図１２は、本実施形態に係る第２キャリブレーション処理の一例を説明するための模式図である。 図１３は、本実施形態に係る第２キャリブレーション処理の一例を示すフローチャートである。 図１４は、本実施形態に係る有効判定処理の一例を示すフローチャートである。

以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第１軸と平行な方向をＸ軸方向とし、第１軸と直交する所定面の第２軸と平行な方向をＹ軸方向とし、第１軸及び第２軸のそれぞれと直交する第３軸と平行な方向をＺ軸方向とする。所定面はＸＹ平面を含む。

図１は、本実施形態に係る視線検出装置１００の一例を模式的に示す斜視図である。図１に示すように、視線検出装置１００は、表示装置１０１と、ステレオカメラ装置１０２と、照明装置１０３とを備える。

表示装置１０１は、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）又は有機ＥＬディスプレイ（organic electroluminescence display：ＯＬＥＤ）のようなフラットパネルディスプレイを含む。

本実施形態において、表示装置１０１の表示画面１０１Ｓは、ＸＹ平面と実質的に平行である。Ｘ軸方向は表示画面１０１Ｓの左右方向であり、Ｙ軸方向は表示画面１０１Ｓの上下方向であり、Ｚ軸方向は表示画面１０１Ｓと直交する奥行方向である。また、表示画面１０１Ｓに向かって右方向が＋Ｘ方向、左方向が−Ｘ方向であり、上方向が＋Ｙ方向、下方向が−Ｙ方向であり、手前方向が＋Ｚ方向、奥方向が−Ｚ方向である。

ステレオカメラ装置１０２は、第１カメラ１０２Ａ及び第２カメラ１０２Ｂを有する。ステレオカメラ装置１０２は、表示装置１０１の表示画面１０１Ｓよりも下方に配置される。第１カメラ１０２Ａと第２カメラ１０２ＢとはＸ軸方向に配置される。第１カメラ１０２Ａは、第２カメラ１０２Ｂよりも−Ｘ方向に配置される。第１カメラ１０２Ａ及び第２カメラ１０２Ｂはそれぞれ、赤外線カメラを含み、例えば波長８５０［ｎｍ］の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。

照明装置１０３は、第１光源１０３Ａ及び第２光源１０３Ｂを有する。照明装置１０３は、表示装置１０１の表示画面１０１Ｓよりも下方に配置される。第１光源１０３Ａと第２光源１０３ＢとはＸ軸方向に配置される。第１光源１０３Ａは、第１カメラ１０２Ａよりも−Ｘ方向に配置される。第２光源１０３Ｂは、第２カメラ１０２Ｂよりも＋Ｘ方向に配置される。第１光源１０３Ａ及び第２光源１０３Ｂはそれぞれ、ＬＥＤ（light emitting diode）光源を含み、例えば波長８５０［ｎｍ］の近赤外光を射出可能である。なお、第１光源１０３Ａ及び第２光源１０３Ｂは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの間に配置されてもよい。

図２は、本実施形態に係る表示装置１０１とステレオカメラ装置１０２と照明装置１０３と被験者の眼球１１１との位置関係を模式的に示す図である。

照明装置１０３は、検出光である近赤外光を射出して、被験者の眼球１１１を照明する。ステレオカメラ装置１０２は、第１光源１０３Ａから射出された検出光が眼球１１１に照射されたときに第２カメラ１０２Ｂで眼球１１１を撮影し、第２光源１０３Ｂから射出された検出光が眼球１１１に照射されたときに第１カメラ１０２Ａで眼球１１１を撮影する。

第１カメラ１０２Ａ及び第２カメラ１０２Ｂの少なくとも一方からフレーム同期信号が出力される。第１光源１０３Ａ及び第２光源１０３Ｂは、フレーム同期信号に基づいて検出光を射出する。第１カメラ１０２Ａは、第２光源１０３Ｂから射出された検出光が眼球１１１に照射されたときに、眼球１１１の画像データを取得する。第２カメラ１０２Ｂは、第１光源１０３Ａから射出された検出光が眼球１１１に照射されたときに、眼球１１１の画像データを取得する。

眼球１１１に検出光が照射されると、その検出光の一部は瞳孔１１２で反射し、その瞳孔１１２からの光がステレオカメラ装置１０２に入射する。また、眼球１１１に検出光が照射されると、角膜の虚像である角膜反射像１１３が眼球１１１に形成され、その角膜反射像１１３からの光がステレオカメラ装置１０２に入射する。

第１カメラ１０２Ａ及び第２カメラ１０２Ｂと第１光源１０３Ａ及び第２光源１０３Ｂとの相対位置が適切に設定されることにより、瞳孔１１２からステレオカメラ装置１０２に入射する光の強度は低くなり、角膜反射像１１３からステレオカメラ装置１０２に入射する光の強度は高くなる。すなわち、ステレオカメラ装置１０２で取得される瞳孔１１２の画像は低輝度となり、角膜反射像１１３の画像は高輝度となる。ステレオカメラ装置１０２は、取得される画像の輝度に基づいて、瞳孔１１２の位置及び角膜反射像１１３の位置を検出することができる。

図３は、本実施形態に係る視線検出装置１００のハードウェア構成の一例を示す図である。図３に示すように、視線検出装置１００は、表示装置１０１と、ステレオカメラ装置１０２と、照明装置１０３と、コンピュータシステム２０と、入出力インターフェース装置３０と、駆動回路４０と、出力装置５０と、入力装置６０と、音声出力装置７０とを備える。コンピュータシステム２０は、演算処理装置２０Ａ及び記憶装置２０Ｂを含む。

コンピュータシステム２０と、駆動回路４０と、出力装置５０と、入力装置６０と、音声出力装置７０とは、入出力インターフェース装置３０を介してデータ通信する。

演算処理装置２０Ａは、ＣＰＵ（central processing unit）のようなマイクロプロセッサを含む。記憶装置２０Ｂは、ＲＯＭ（read only memory）及びＲＡＭ（random access memory）のようなメモリ又はストレージを含む。演算処理装置２０Ａは、記憶装置２０Ｂに記憶されているコンピュータプログラム２０Ｃに従って演算処理を実施する。

駆動回路４０は、駆動信号を生成して、表示装置１０１、ステレオカメラ装置１０２、及び照明装置１０３に出力する。また、駆動回路４０は、ステレオカメラ装置１０２で取得された眼球１１１の画像データを、入出力インターフェース装置３０を介してコンピュータシステム２０に供給する。

出力装置５０は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置５０は、印刷装置を含んでもよい。入力装置６０は、操作されることにより入力データを生成する。入力装置６０は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置６０が表示装置である出力装置５０の表示画面に設けられたタッチセンサを含んでもよい。音声出力装置７０は、スピーカを含み、例えば被験者に注意を促すための音声を出力する。

本実施形態においては、表示装置１０１とコンピュータシステム２０とは別々の装置である。なお、表示装置１０１とコンピュータシステム２０とが一体でもよい。例えば視線検出装置１００がタブレット型パーソナルコンピュータを含む場合、そのタブレット型コンピュータに、コンピュータシステム２０、入出力インターフェース装置３０、駆動回路４０、及び表示装置１０１が搭載されてもよい。

図４は、本実施形態に係る視線検出装置１００の一例を示す機能ブロック図である。図４に示すように、入出力インターフェース装置３０は、入出力部３０２を有する。駆動回路４０は、表示装置１０１を駆動するための駆動信号を生成して表示装置１０１に出力する表示装置駆動部４０２と、第１カメラ１０２Ａを駆動するための駆動信号を生成して第１カメラ１０２Ａに出力する第１カメラ入出力部４０４Ａと、第２カメラ１０２Ｂを駆動するための駆動信号を生成して第２カメラ１０２Ｂに出力する第２カメラ入出力部４０４Ｂと、第１光源１０３Ａ及び第２光源１０３Ｂを駆動するための駆動信号を生成して第１光源１０３Ａ及び第２光源１０３Ｂに出力する光源駆動部４０６とを有する。また、第１カメラ入出力部４０４Ａは、第１カメラ１０２Ａで取得された眼球１１１の画像データを、入出力部３０２を介してコンピュータシステム２０に供給する。第２カメラ入出力部４０４Ｂは、第２カメラ１０２Ｂで取得された眼球１１１の画像データを、入出力部３０２を介してコンピュータシステム２０に供給する。

コンピュータシステム２０は、視線検出装置１００を制御する。コンピュータシステム２０は、表示制御部２０２と、光源制御部２０４と、画像データ取得部２０６と、入力データ取得部２０８と、位置検出部２１０と、曲率中心算出部２１２と、補正位置算出部２１４と、注視点検出部２１６と、理想位置算出部２１８と、演算部２２０と、判定部２２２と、記憶部２２４と、出力制御部２２６とを有する。コンピュータシステム２０の機能は、演算処理装置２０Ａ及び記憶装置２０Ｂによって発揮される。

表示制御部２０２は、被験者に見せるための画像を表示装置１０１の表示画面１０１Ｓに表示させる。表示制御部２０２は、例えば表示画面１０１Ｓの１点に画像を表示可能である。

光源制御部２０４は、光源駆動部４０６を制御して、第１光源１０３Ａ及び第２光源１０３Ｂの作動状態を制御する。光源制御部２０４は、第１光源１０３Ａと第２光源１０３Ｂとが異なるタイミングで検出光を射出するように第１光源１０３Ａ及び第２光源１０３Ｂを制御する。

画像データ取得部２０６は、第１カメラ１０２Ａ及び第２カメラ１０２Ｂを含むステレオカメラ装置１０２によって取得された被験者の眼球１１１の画像データを、入出力部３０２を介してステレオカメラ装置１０２から取得する。

入力データ取得部２０８は、入力装置６０が操作されることにより生成された入力データを、入出力部３０２を介して入力装置６０から取得する。

位置検出部２１０は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、瞳孔中心の位置を検出する。また、位置検出部２１０は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、角膜反射中心の位置を検出する。瞳孔中心は、瞳孔１１２の中心である。角膜反射中心は、角膜反射像１１３の中心である。位置検出部２１０は、被験者の左右それぞれの眼球１１１について、瞳孔中心の位置及び角膜反射中心の位置を検出する。

曲率中心算出部２１２は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、眼球１１１の角膜曲率中心の位置を算出する。

補正位置算出部２１４は、位置検出部２１０で検出された瞳孔１１２の中心と、曲率中心算出部２１２で算出された角膜曲率中心との距離に基づいて、角膜曲率中心の位置を補正し、左右それぞれの眼球の補正後の角膜曲率中心の位置を算出する。

注視点検出部２１６は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、被験者の注視点の位置を検出する。本実施形態において、注視点の位置とは、三次元グローバル座標系で規定される被験者の視線ベクトルと表示装置１０１の表示画面１０１Ｓとの交点の位置をいう。注視点検出部２１６は、眼球１１１の画像データから取得された瞳孔中心の位置及び角膜曲率中心の位置に基づいて、被験者の左右それぞれの眼球１１１の視線方向である視線ベクトルを検出する。つまり、注視点検出部２１６は、被験者の左右それぞれの眼球１１１の視線方向を検出する視線検出部でもある。被験者の左右それぞれの眼球１１１の視線ベクトルが検出された後、注視点検出部２１６は、視線ベクトルと表示画面１０１Ｓとの交点を示す注視点の位置を検出する。

理想位置算出部２１８は、表示画面１０１Ｓの１点に表示される画像の位置と、瞳孔１１２の中心の位置とから、左右それぞれの眼球の理想的な角膜曲率中心の位置を算出する。

演算部２２０は、左右それぞれの眼球について、補正位置算出部２１４で算出される補正後の角膜曲率中心の位置と、理想位置算出部２１８で算出される理想的な角膜曲率中心の位置との差分である位置差分を算出する。また、演算部２２０は、左右の眼球の位置差分同士の差分である左右差分を算出する。

判定部２２２は、左右差分の大きさに基づいて、注視点検出部２１６で検出された左右それぞれの眼球の注視点が有効か否かを判定する。

記憶部２２４は、表示装置１０１の表示画面１０１Ｓの１点に画像を表示する処理と、被験者の左右の眼球に光源から近赤外光を照射する処理と、近赤外光が照射される被験者の左右の眼球の画像データを取得する処理と、取得された画像データから、左右それぞれの眼球の瞳孔１１２の中心を示す瞳孔中心の位置と角膜反射像１１３の中心を示す角膜反射中心の位置とを検出する処理と、光源と角膜反射中心とを結ぶ仮想直線と、画像と瞳孔中心と結ぶ仮想直線とに基づいて、左右それぞれの眼球の角膜曲率中心の位置を算出する処理と、瞳孔中心と角膜曲率中心との距離に基づいて角膜曲率中心の位置を補正し、左右それぞれの眼球の補正後の角膜曲率中心の位置を算出する処理と、瞳孔中心の位置と補正後の角膜曲率中心の位置とから、左右それぞれの眼球の注視点を検出する処理と、表示画面１０１Ｓの１点に表示される画像の位置と瞳孔中心の位置とから、左右それぞれの眼球の理想的な角膜曲率中心の位置を算出する処理と、左右それぞれの眼球について、補正後の角膜曲率中心の位置と理想的な角膜曲率中心の位置との差分である位置差分を算出する処理と、左右の眼球の位置差分同士の差である左右差分の大きさに基づいて、注視点検出部２１６で検出された左右それぞれの眼球の注視点が有効か否かを判定する処理と、をコンピュータに実行させる視線検出プログラムを記憶する。

出力制御部２２６は、表示装置１０１、出力装置５０、及び音声出力装置７０の少なくとも一つにデータを出力する。本実施形態において、出力制御部２２６は、表示画面１０１Ｓの１点に画像を表示させる。また、出力制御部２２６は、被験者の左右それぞれの眼球１１１の注視点の位置を表示画面１０１Ｓ又は出力装置５０に表示させる。

次に、本実施形態に係る曲率中心算出部２１２の処理の概要について説明する。曲率中心算出部２１２は、眼球１１１の画像データに基づいて、眼球１１１の角膜曲率中心の位置を算出する。

図５及び図６は、本実施形態に係る角膜曲率中心１１０の位置の算出方法を説明するための模式図である。図５は、１つの光源１０３Ｃで眼球１１１が照明される例を示す。図６は、第１光源１０３Ａ及び第２光源１０３Ｂで眼球１１１が照明される例を示す。

まず、図５に示す例について説明する。光源１０３Ｃは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの間に配置される。瞳孔中心１１２Ｃは、瞳孔１１２の中心である。角膜反射中心１１３Ｃは、角膜反射像１１３の中心である。図５において、瞳孔中心１１２Ｃは、眼球１１１が１つの光源１０３Ｃで照明されたときの瞳孔中心を示す。角膜反射中心１１３Ｃは、眼球１１１が１つの光源１０３Ｃで照明されたときの角膜反射中心を示す。

角膜反射中心１１３Ｃは、光源１０３Ｃと角膜曲率中心１１０とを結ぶ直線上に存在する。角膜反射中心１１３Ｃは、角膜表面と角膜曲率中心１１０との中間点に位置付けられる。角膜曲率半径１０９は、角膜表面と角膜曲率中心１１０との距離である。

角膜反射中心１１３Ｃの位置は、ステレオカメラ装置１０２によって検出される。角膜曲率中心１１０は、光源１０３Ｃと角膜反射中心１１３Ｃとを結ぶ直線上に存在する。曲率中心算出部２１２は、その直線上において角膜反射中心１１３Ｃからの距離が所定値となる位置を、角膜曲率中心１１０の位置として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部２２４に記憶されている。

次に、図６に示す例について説明する。本実施形態においては、第１カメラ１０２Ａ及び第２光源１０３Ｂと、第２カメラ１０２Ｂ及び第１光源１０３Ａとは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの中間位置を通る直線に対して左右対称の位置に配置される。第１カメラ１０２Ａと第２カメラ１０２Ｂとの中間位置に仮想光源１０３Ｖが存在するとみなすことができる。

角膜反射中心１２１は、第２カメラ１０２Ｂで眼球１１１を撮影した画像における角膜反射中心を示す。角膜反射中心１２２は、第１カメラ１０２Ａで眼球１１１を撮影した画像における角膜反射中心を示す。角膜反射中心１２４は、仮想光源１０３Ｖに対応する角膜反射中心を示す。

角膜反射中心１２４の位置は、ステレオカメラ装置１０２で取得された角膜反射中心１２１の位置及び角膜反射中心１２２の位置に基づいて算出される。ステレオカメラ装置１０２は、ステレオカメラ装置１０２に規定される三次元ローカル座標系において角膜反射中心１２１の位置及び角膜反射中心１２２の位置を検出する。ステレオカメラ装置１０２について、事前にステレオ較正法によるカメラ較正が実施され、ステレオカメラ装置１０２の三次元ローカル座標系を三次元グローバル座標系に変換する変換パラメータが算出される。その変換パラメータは、記憶部２２４に記憶されている。

曲率中心算出部２１２は、ステレオカメラ装置１０２で取得された角膜反射中心１２１の位置及び角膜反射中心１２２の位置を、変換パラメータを使って、三次元グローバル座標系における位置に変換する。曲率中心算出部２１２は、三次元グローバル座標系で規定される角膜反射中心１２１の位置及び角膜反射中心１２２の位置に基づいて、三次元グローバル座標系における角膜反射中心１２４の位置を算出する。

角膜曲率中心１１０は、仮想光源１０３Ｖと角膜反射中心１２４とを結ぶ直線１２３上に存在する。曲率中心算出部２１２は、直線１２３上において角膜反射中心１２４からの距離が所定値となる位置を、角膜曲率中心１１０の位置として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部２２４に記憶されている。

このように、光源が２つある場合でも、光源が１つである場合の方法と同様の方法で、角膜曲率中心１１０が算出される。

角膜曲率半径１０９は、角膜表面と角膜曲率中心１１０との距離である。したがって、角膜表面の位置及び角膜曲率中心１１０の位置が算出されることにより、角膜曲率半径１０９が算出される。

［視線検出方法］
次に、本実施形態に係る視線検出方法の一例について説明する。図７は、本実施形態に係る視線検出方法の一例を示すフローチャートである。本実施形態においては、角膜曲率中心１１０の位置の算出処理及び瞳孔中心１１２Ｃと角膜曲率中心１１０との距離データの算出処理を含む第１キャリブレーション処理（ステップＳ１００）と、注視点検出処理（ステップＳ２００）と、理想的な角膜曲率中心１１０の位置の算出処理を含む第２キャリブレーション処理（ステップＳ３００）と、左右の眼球の位置差分同士の差である左右差分の大きさに基づいて、ステップＳ２００で検出された左右それぞれの眼球の注視点が有効か否かを判定する有効判定処理（ステップＳ４００）と、が実施される。

（第１キャリブレーション処理）
第１キャリブレーション処理（ステップＳ１００）について説明する。図８は、本実施形態に係る第１キャリブレーション処理の一例を説明するための模式図である。第１キャリブレーション処理は、角膜曲率中心１１０の位置を算出すること、及び瞳孔中心１１２Ｃと角膜曲率中心１１０との距離１２６を算出することを含む。

被験者に注視させるための目標位置１３０が設定される。目標位置１３０は、三次元グローバル座標系において規定される。本実施形態において、目標位置１３０は、例えば表示装置１０１の表示画面１０１Ｓの中央位置に設定される。なお、目標位置１３０は、表示画面１０１Ｓの端部位置に設定されてもよい。

表示制御部２０２は、設定された目標位置１３０に目標画像を表示させる。これにより、被験者は、目標位置１３０を注視し易くなる。

直線１３１は、仮想光源１０３Ｖと角膜反射中心１１３Ｃとを結ぶ直線である。直線１３２は、目標位置１３０と瞳孔中心１１２Ｃとを結ぶ直線である。角膜曲率中心１１０は、直線１３１と直線１３２との交点である。曲率中心算出部２１２は、仮想光源１０３Ｖの位置と、目標位置１３０の位置と、瞳孔中心１１２Ｃの位置と、角膜反射中心１１３Ｃの位置とに基づいて、角膜曲率中心１１０の位置を算出することができる。

図９は、本実施形態に係る第１キャリブレーション処理（ステップＳ１００）の一例を示すフローチャートである。表示制御部２０２は、表示装置１０１の表示画面１０１Ｓに目標画像を表示させる（ステップＳ１０１）。被験者は、目標画像を注視することにより、目標位置１３０を注視することができる。

次に、光源制御部２０４は、光源駆動部４０６を制御して、第１光源１０３Ａ及び第２光源１０３Ｂのうち一方の光源から検出光を射出させる（ステップＳ１０２）。ステレオカメラ装置１０２は、第１カメラ１０２Ａ及び第２カメラ１０２Ｂのうち検出光を射出した光源からの距離が長い方のカメラで被験者の眼を撮影する（ステップＳ１０３）。

次に、光源制御部２０４は、光源駆動部４０６を制御して、第１光源１０３Ａ及び第２光源１０３Ｂのうち他方の光源から検出光を射出させる（ステップＳ１０４）。ステレオカメラ装置１０２は、第１カメラ１０２Ａ及び第２カメラ１０２Ｂのうち検出光を射出した光源からの距離が長い方のカメラで被験者の眼を撮影する（ステップＳ１０５）。

瞳孔１１２は、暗い部分としてステレオカメラ装置１０２に検出され、角膜反射像１１３は、明るい部分としてステレオカメラ装置１０２に検出される。すなわち、ステレオカメラ装置１０２で取得される瞳孔１１２の画像は低輝度となり、角膜反射像１１３の画像は高輝度となる。位置検出部２１０は、取得される画像の輝度に基づいて、瞳孔１１２の位置及び角膜反射像１１３の位置を検出することができる。また、位置検出部２１０は、瞳孔１１２の画像データに基づいて、瞳孔中心１１２Ｃの位置を算出する。また、位置検出部２１０は、角膜反射像１１３の画像データに基づいて、角膜反射中心１１３Ｃの位置を算出する（ステップＳ１０６）。

ステレオカメラ装置１０２によって検出された位置は、３次元のローカル座標系で規定される位置である。位置検出部２１０は、記憶部２２４に記憶されている変換パラメータを使用して、ステレオカメラ装置１０２で検出された瞳孔中心１１２Ｃの位置及び角膜反射中心１１３Ｃの位置を座標変換して、三次元グローバル座標系で規定される瞳孔中心１１２Ｃの位置及び角膜反射中心１１３Ｃの位置を算出する（ステップＳ１０７）。

曲率中心算出部２１２は、グローバル座標系で規定される角膜反射中心１１３Ｃと仮想光源１０３Ｖとを結ぶ直線１３１を算出する（ステップＳ１０８）。

次に、曲率中心算出部２１２は、表示装置１０１の表示画面１０１Ｓに規定される目標位置１３０と瞳孔中心１１２Ｃとを結ぶ直線１３２を算出する（ステップＳ１０９）。曲率中心算出部２１２は、ステップＳ１０８で算出した直線１３１とステップＳ１０９で算出した直線１３２との交点を求め、この交点を角膜曲率中心１１０とする（ステップＳ１１０）。

曲率中心算出部２１２は、瞳孔中心１１２Ｃと角膜曲率中心１１０との距離１２６を算出して、記憶部２２４に記憶する（ステップＳ１１１）。記憶された距離は、ステップＳ２００の注視点検出において、角膜曲率中心１１０を算出するために使用される。

（注視点検出処理）
次に、注視点検出処理（ステップＳ２００）について説明する。注視点検出処理は、第１キャリブレーション処理の後に実施される。注視点検出部２１６は、眼球１１１の画像データに基づいて、被験者の視線ベクトル及び注視点の位置を算出する。

図１０は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。注視点検出処理は、第１キャリブレーション処理（ステップＳ１００）で求めた瞳孔中心１１２Ｃと角膜曲率中心１１０との距離１２６を用いて、角膜曲率中心１１０の位置を補正すること、及び補正された角膜曲率中心１１０の位置を使って注視点を算出することを含む。

図１０において、注視点１６５は、一般的な曲率半径値を用いて算出された角膜曲率中心１１０から求めた注視点を示す。注視点１６６は、第１キャリブレーション処理で求められた距離１２６を用いて算出された角膜曲率中心１１０Ｈから求めた注視点を示す。

瞳孔中心１１２Ｃは、第１キャリブレーション処理において算出された瞳孔中心を示し、角膜反射中心１１３Ｃは、第１キャリブレーション処理において算出された角膜反射中心を示す。

直線１７３は、仮想光源１０３Ｖと角膜反射中心１１３Ｃとを結ぶ直線である。角膜曲率中心１１０は、一般的な曲率半径値から算出した角膜曲率中心の位置である。

距離１２６は、第１キャリブレーション処理により算出した瞳孔中心１１２Ｃと角膜曲率中心１１０との距離である。

角膜曲率中心１１０Ｈは、距離１２６を用いて角膜曲率中心１１０を補正した補正後の角膜曲率中心の位置を示す。

角膜曲率中心１１０Ｈは、角膜曲率中心１１０が直線１７３上に存在すること、及び瞳孔中心１１２Ｃと角膜曲率中心１１０との距離が距離１２６であることから求められる。これにより、一般的な曲率半径値を用いる場合に算出される視線１７７は、視線１７８に補正される。また、表示装置１０１の表示画面１０１Ｓ上の注視点は、注視点１６５から注視点１６６に補正される。

図１１は、本実施形態に係る注視点検出処理（ステップＳ２００）の一例を示すフローチャートである。なお、図１１に示すステップＳ２０１からステップＳ２０７までの処理は、図９に示したステップＳ１０２からステップＳ１０８までの処理と同様であるため説明を省略する。

補正位置算出部２１４は、ステップＳ２０７で算出した直線１７３上であって、瞳孔中心１１２Ｃからの距離がキャリブレーション処理によって求めた距離１２６と等しい位置を、補正後の角膜曲率中心である角膜曲率中心１１０Ｈとして算出する（ステップＳ２０８）。

注視点検出部２１６は、瞳孔中心１１２Ｃと角膜曲率中心１１０Ｈとを結ぶ視線ベクトルを算出する（ステップＳ２０９）。視線ベクトルは、被験者が見ている視線方向を示す。注視点検出部２１６は、視線ベクトルと表示装置１０１の表示画面１０１Ｓとの交点の位置を算出する（ステップＳ２１０）。視線ベクトルと表示装置１０１の表示画面１０１Ｓとの交点の位置が、三次元グローバル座標系で規定される表示画面１０１Ｓにおける被験者の注視点の位置である。

注視点検出部２１６は、三次元グローバル座標系で規定される注視点の位置を、２次元座標系で規定される表示装置１０１の表示画面１０１Ｓにおける位置に変換する（ステップＳ２１１）。これにより、被験者が見つめる表示装置１０１の表示画面１０１Ｓ上の注視点の位置が算出される。

（第２キャリブレーション処理）
次に、第２キャリブレーション処理（ステップＳ３００）について説明する。図１２は、本実施形態に係る第２キャリブレーション処理の一例を説明するための模式図である。第２キャリブレーション処理は、左右それぞれの眼球の理想的な角膜曲率中心１１０Ｆの位置を算出することを含む。

図１２に示すように、第２キャリブレーション処理では、被験者に注視させるための目標位置１８０が設定される。目標位置１８０は、三次元グローバル座標系において規定される。本実施形態において、目標位置１８０は、例えば表示装置１０１の表示画面１０１Ｓの中央位置に設定される。なお、目標位置１８０は、表示画面１０１Ｓの端部位置に設定されてもよい。表示制御部２０２は、設定された目標位置１８０に目標画像を表示させる。これにより、被験者は、目標位置１８０を注視し易くなる。

瞳孔中心１１２Ｃは、第１キャリブレーション処理において算出された瞳孔中心を示す。直線１８１は、仮想光源１０３Ｖと瞳孔中心１１２Ｃとを結ぶ直線である。距離１２６は、第１キャリブレーション処理により算出した瞳孔中心１１２Ｃと角膜曲率中心１１０Ｆとの距離である。

直線１８１上であって、瞳孔中心１１２Ｃとの間に距離１２６を有する位置には、理想的な角膜曲率中心１１０Ｆが設定される。理想位置算出部２１８は、目標位置１８０の位置と、瞳孔中心１１２Ｃの位置と、瞳孔中心１１２Ｃと角膜曲率中心１１０との距離１２６のデータとに基づいて、理想的な角膜曲率中心１１０Ｆの位置を算出することができる。位置差分１２７は、理想的な角膜曲率中心１１０Ｆと、上記した補正後の角膜曲率中心１１０Ｈとの距離である。

図１３は、本実施形態に係る第２キャリブレーション処理（Ｓ３００）の一例を示すフローチャートである。なお、図１３に示すステップＳ３０１からステップＳ３０７までの処理は、図９に示したステップＳ１０１からステップＳ１０７までの処理と同様であるため説明を省略する。

理想位置算出部２１８は、表示画面１０１Ｓの目標位置１８０と、グローバル座標系で規定される瞳孔中心１１２Ｃとを結ぶ直線１８１を算出する（ステップＳ３０８）。

次に、理想位置算出部２１８は、ステップＳ３０８で算出した直線１８１上の点であって、瞳孔中心１１２Ｃからの距離が第１キャリブレーション処理によって求めた距離１２６と等しい点を理想的な角膜曲率中心１１０Ｆとして求め、当該理想的な角膜曲率中心１１０Ｆの位置を算出する（ステップＳ３０９）。

次に、演算部２２０は、左右それぞれの眼球について、理想的な角膜曲率中心１１０Ｆと補正後の角膜曲率中心１１０Ｈとの距離である位置差分１２７を算出する（ステップＳ３１０）。演算部２２０は、算出した位置差分１２７を記憶部２２４に記憶させる。この位置差分１２７は、注視点検出処理で得られる補正後の角膜曲率中心１１０Ｈに対する較正値として用いられる。例えば、以降に注視点検出処理を行う際、注視点検出部２１６は、瞳孔中心１１２Ｃの位置と補正後の角膜曲率中心１１０Ｈの位置に位置差分１２７を加算した位置とから左右それぞれの眼球の視線方向を検出する。具体的には、注視点検出部２１６は、補正後の角膜曲率中心１１０Ｈに位置差分１２７を較正値として加算した角膜曲率中心から瞳孔中心１１２Ｃへ向かう視線ベクトルを、被験者の較正後の視線方向として検出する。

（有効判定処理）
次に、有効判定処理（Ｓ４００）について説明する。有効判定処理（Ｓ４００）では、左右それぞれの眼球について、左右の眼球の位置差分１２７同士の差分である左右差分を算出すること、左右差分の大きさに基づいて左右それぞれの眼球の視線方向が有効か否かを判定することを含む。

図１４は、本実施形態に係る有効判定処理（Ｓ４００）の一例を示すフローチャートである。図１４に示すように、有効判定処理Ｓ４００において、演算部２２０は、左右の眼球の位置差分１２７同士の差分である左右差分を算出する（ステップＳ４０１）。

左右差分が算出された後、判定部２２２は、左右差分の絶対値が一定値ｍ（第１閾値、所定の閾値）以下であるか否かを判定する（ステップＳ４０２）。一定値ｍは、予め設定して記憶部２２４に記憶させておく。判定部２２２により左右差分の絶対値が一定値ｍ以下であると判定された場合（ステップＳ４０２のＹｅｓ）、注視点検出部２１６は、左右両方の眼球の視線方向が有効であると判断し、左右の視線方向の平均値を検出結果として抽出する（ステップＳ４０３）。

一方、判定部２２２は、ステップＳ４０２において、左右差分の絶対値が一定値ｍより大きいと判定した場合（ステップＳ４０２のＮｏ）、左右で位置差分１２７が小さい方がどちらかを判定する（ステップＳ４０４）。ステップＳ４０４において、演算部２２０は、例えば左の眼球についての位置差分１２７から右の眼球についての位置差分１２７を減算した減算値が正の値であれば右の眼球についての位置差分１２７が小さいと判定し負の値であれば左の眼球についての位置差分１２７が小さいと判定することにより、左右で位置差分が小さい方を容易に判定できる。なお、演算部２２０は、右の眼球についての位置差分１２７から左の眼球についての位置差分１２７を減算した減算値について同様の判定を行ってもよい。

次に、演算部２２０は、左右のうち小さい方の位置差分１２７が一定値ｎ（第２閾値）以下であるか否かを判定する（ステップＳ４０５）。一定値ｎは、予め設定して記憶部２２４に記憶させておく。ステップＳ４０５において、判定部２２２により小さい方の位置差分１２７が一定値ｎ以下であると判定された場合（ステップＳ４０５のＹｅｓ）、注視点検出部２１６は、左右のうち位置差分１２７が小さい方の眼球の視線方向が有効であると判断し、当該視線方向を検出結果として抽出する（ステップＳ４０６）。

一方、判定部２２２は、ステップＳ４０５において、小さい方の位置差分１２７が一定値ｎよりも大きいと判定した場合（ステップＳ４０５のＮｏ）、左右のどちらの眼球の視線方向についても有効ではないものとして、エラー判定を行う（ステップＳ４０７）。有効判定処理は、ステップＳ４０３、ステップＳ４０６、ステップＳ４０７のいずれかが行われた場合、処理を終了する。

以上のように、本実施形態に係る視線検出装置１００は、表示装置１０１の表示画面１０１Ｓの１点に画像を表示する表示制御部２０２と、被験者の左右の眼球に検出光を照射する照明装置１０３と、検出光が照射される被験者の左右の眼球の画像データを取得する画像データ取得部２０６と、取得された画像データから、左右それぞれの眼球の瞳孔中心１１２Ｃの位置と角膜反射中心１１３Ｃの位置とを検出する位置検出部２１０と、光源１０３と角膜反射中心１１３Ｃとを結ぶ直線１３１と、画像と瞳孔中心１１２Ｃと結ぶ直線１３２とに基づいて、左右それぞれの眼球の角膜曲率中心１１０の位置を算出する曲率中心算出部２１２と、瞳孔中心１１２Ｃと角膜曲率中心１１０との距離に基づいて角膜曲率中心１１０の位置を補正し、左右それぞれの眼球の補正後の角膜曲率中心１１０Ｈの位置を算出する補正位置算出部２１４と、表示画面１０１Ｓの１点に表示される画像の位置と瞳孔中心１１２Ｃの位置とから、左右それぞれの眼球の理想的な角膜曲率中心１１０Ｆの位置を算出する理想位置算出部２１８と、左右それぞれの眼球について補正後の角膜曲率中心１１０Ｈの位置と理想的な角膜曲率中心１１０Ｆの位置との差分である位置差分１２７を算出する演算部２２０と、瞳孔中心１１２Ｃの位置と補正後の角膜曲率中心１１０Ｈの位置に位置差分１２７を加算した位置とから左右それぞれの眼球の視線方向を検出する注視点検出部２１６と、左右の眼球の位置差分１２７同士の差である左右差分の大きさに基づいて、注視点検出部２１６で検出された左右それぞれの眼球の視線方向が有効か否かを判定する判定部２２２と、を備える。

この構成によれば、注視点検出部２１６で検出される視線方向の有効性について、角膜曲率中心の位置を検出する際の較正値である位置差分１２７を用いて判定するため、別途視線方向の有効性を検出するための設備等を用いることなく、容易かつ効果的に視線方向の有効性を判定することができる。これにより、例えば角膜曲率半径が左右の眼球で大きく異なる被験者、又は斜視などの影響により左右の眼球の視線方向が大きく異なる被験者等、様々な被験者について視線方向を正確に検出できる。

また、本実施形態において、演算部２２２は、算出した左右の眼球の位置差分１２７に基づいて左右差分を算出するため、演算部２２２において位置差分１２７及び左右差分を効率的に算出することができる。

また、本実施形態において、注視点検出部２１６は、左右の眼球の視線方向のうち判定部２２２で有効であると判定された視線方向を検出結果として抽出するため、より確実に視線方向の有効性を判定できる。

また、本実施形態において、判定部２２２は、左右差分の絶対値が第１閾値以下である場合、左右両方の眼球の視線方向が有効であると判定するため、視線方向の有効性を判定する判定精度を高めることができる。

また、本実施形態において、判定部２２２は、左右差分の絶対値が第１閾値よりも大きい場合であって、左右の眼球の位置差分１２７のうち小さい方の位置差分１２７が第２閾値以下である場合、左右のうち位置差分１２７が小さい方の眼球の視線方向が有効であると判定するため、左右のうち有効な視線方向のみを採用することができる。これにより、視線方向の有効性を判定する精度を高めることができる。

また、本実施形態において、判定部２２２は、左右差分が第１閾値よりも大きい場合であって、左右の眼球の位置差分１２７のうち小さい方の位置差分１２７が第２閾値よりも大きい場合、左右両方の眼球の視線方向が有効でないと判定するため、有効でない視線方向を採用しないことができる。これにより、視線方向の有効性を判定する精度を高めることができる。

本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。

例えば、上記実施形態の有効判定処理（Ｓ４００）において、ステップＳ４０１の後、判定部２２２が、左右の眼球の位置差分１２７同士の差である左右差分が一定値ｍ（所定の閾値）以下であるか否かを判定し、判定結果を出力する処理を行ってもよい。なお、当該処理は、上記した有効判定処理と並列に行ってもよいし、当該処理を単独の有効判定処理として行ってもよい。これにより、出力結果に基づいて、被験者の左右の眼球の視線方向が大きく異なるか否かを検出することができる。この検出結果を用いることにより、視線方向の検出精度の向上を図ることができる。

２０…コンピュータシステム、２０Ａ…演算処理装置、２０Ｂ…記憶装置、２０Ｃ…コンピュータプログラム、３０…入出力インターフェース装置、４０…駆動回路、５０…出力装置、６０…入力装置、７０…音声出力装置、１００…視線検出装置、１０１…表示装置、１０１Ｓ…表示画面、１０２…ステレオカメラ装置、１０２Ａ…第１カメラ、１０２Ｂ…第２カメラ、１０３…照明装置、１０３Ｃ…光源、１０３Ａ…第１光源、１０３Ｂ…第２光源、１０３Ｖ…仮想光源、１０９…角膜曲率半径、１１０，１１０Ｆ，１１０Ｈ…角膜曲率中心、１１１…眼球、１１２…瞳孔、１１２Ｃ…瞳孔中心、１１３…角膜反射像、１１３Ｃ，１２１，１２２，１２４…角膜反射中心、１２３，１３１，１３２，１７３，１８１…直線、１２６…距離、１２７…位置差分、１３０，１８０…目標位置、１６５，１６６…注視点、１７７，１７８…視線、２０２…表示制御部、２０４…光源制御部、２０６…画像データ取得部、２０８…入力データ取得部、２１０…位置検出部、２１２…曲率中心算出部、２１４…補正位置算出部、２１６…注視点検出部、２１８…理想位置算出部、２２０…演算部、２２２…判定部、２２４…記憶部、２２６…出力制御部、３０２…入出力部、４０２…表示装置駆動部、４０４Ａ…第１カメラ入出力部、４０４Ｂ…第２カメラ入出力部、４０６…光源駆動部。

Claims (6)

1. 表示装置の表示画面の１点に画像を表示する表示制御部と、
   被験者の左右の眼球に検出光を照射する光源と、
   前記検出光が照射される被験者の左右の眼球の画像データを取得する画像データ取得部と、
   取得された前記画像データから、左右それぞれの眼球の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する位置検出部と、
   前記光源と前記角膜反射中心とを結ぶ仮想直線と、前記画像と前記瞳孔中心と結ぶ仮想直線とに基づいて、左右それぞれの眼球の角膜曲率中心の位置を算出する曲率中心算出部と、
   前記瞳孔中心と前記角膜曲率中心との距離に基づいて前記角膜曲率中心の位置を補正し、左右それぞれの眼球の補正後の角膜曲率中心の位置を算出する補正位置算出部と、
   前記表示画面の１点に表示される前記画像の位置と前記瞳孔中心の位置とから、左右それぞれの眼球の理想的な角膜曲率中心の位置を算出する理想位置算出部と、
   左右それぞれの眼球について前記補正後の角膜曲率中心の位置と前記理想的な角膜曲率中心の位置との差分である位置差分を算出する演算部と、
   前記瞳孔中心の位置と前記補正後の角膜曲率中心の位置に前記位置差分を加算した位置とから左右それぞれの眼球の視線方向を検出する注視点検出部と、
   左右の眼球の前記位置差分同士の差である左右差分の大きさに基づいて、前記注視点検出部で検出された左右それぞれの眼球の前記視線方向が有効か否かを判定する判定部と、
   を備える視線検出装置。
2. 前記判定部は、前記左右差分の絶対値が第１閾値以下である場合、左右両方の眼球の前記視線方向が有効であると判定する
   請求項１に記載の視線検出装置。
3. 前記判定部は、前記左右差分が第１閾値よりも大きい場合であって、左右の眼球の前記位置差分のうち小さい方の前記位置差分が第２閾値以下である場合、左右のうち前記位置差分が小さい方の眼球の前記視線方向が有効であると判定する
   請求項１又は請求項２に記載の視線検出装置。
4. 表示装置の表示画面の１点に画像を表示する表示制御部と、
   被験者の左右の眼球に検出光を照射する光源と、
   前記検出光が照射される被験者の左右の眼球の画像データを取得する画像データ取得部と、
   取得された前記画像データから、左右それぞれの眼球の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する位置検出部と、
   前記光源と前記角膜反射中心とを結ぶ仮想直線と、前記画像と前記瞳孔中心と結ぶ仮想直線とに基づいて、左右それぞれの眼球の角膜曲率中心の位置を算出する曲率中心算出部と、
   前記瞳孔中心と前記角膜曲率中心との距離に基づいて前記角膜曲率中心の位置を補正し、左右それぞれの眼球の補正後の角膜曲率中心の位置を算出する補正位置算出部と、
   前記表示画面の１点に表示される前記画像の位置と前記瞳孔中心の位置とから、左右それぞれの眼球の理想的な角膜曲率中心の位置を算出する理想位置算出部と、
   左右それぞれの眼球について前記補正後の角膜曲率中心の位置と前記理想的な角膜曲率中心の位置との差分である位置差分を算出する演算部と、
   左右の眼球の前記位置差分同士の差である左右差分が所定の閾値以下であるか否かを判定する判定部と、
   を備える視線検出装置。
5. 表示装置の表示画面の１点に画像を表示する表示制御ステップと、
   被験者の左右の眼球に光源から検出光を照射する照射ステップと、
   前記検出光が照射される被験者の左右の眼球の画像データを取得する画像データ取得ステップと、
   取得された前記画像データから、左右それぞれの眼球の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する位置検出ステップと、
   前記光源と前記角膜反射中心とを結ぶ仮想直線と、前記画像と前記瞳孔中心と結ぶ仮想直線とに基づいて、左右それぞれの眼球の角膜曲率中心の位置を算出する曲率中心算出ステップと、
   前記瞳孔中心と前記角膜曲率中心との距離に基づいて前記角膜曲率中心の位置を補正し、左右それぞれの眼球の補正後の角膜曲率中心の位置を算出する補正位置算出ステップと、
   前記表示画面の１点に表示される前記画像の位置と前記瞳孔中心の位置とから、左右それぞれの眼球の理想的な角膜曲率中心の位置を算出する理想位置算出ステップと、
   左右それぞれの眼球について前記補正後の角膜曲率中心の位置と前記理想的な角膜曲率中心の位置との差分である位置差分を算出する演算ステップと、
   前記瞳孔中心の位置と前記補正後の角膜曲率中心の位置に前記位置差分を加算した位置とから左右それぞれの眼球の視線方向を検出する注視点検出ステップと、
   左右の眼球の前記位置差分同士の差である左右差分の大きさに基づいて、左右それぞれの眼球の前記視線方向が有効か否かを判定する判定ステップと、
   を含むことを特徴とする視線検出方法。
6. 表示装置の表示画面の１点に画像を表示する表示制御ステップと、
   被験者の左右の眼球に光源から検出光を照射する照射ステップと、
   前記検出光が照射される被験者の左右の眼球の画像データを取得する画像データ取得ステップと、
   取得された前記画像データから、左右それぞれの眼球の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する位置検出ステップと、
   前記光源と前記角膜反射中心とを結ぶ仮想直線と、前記画像と前記瞳孔中心と結ぶ仮想直線とに基づいて、左右それぞれの眼球の角膜曲率中心の位置を算出する曲率中心算出ステップと、
   前記瞳孔中心と前記角膜曲率中心との距離に基づいて前記角膜曲率中心の位置を補正し、左右それぞれの眼球の補正後の角膜曲率中心の位置を算出する補正位置算出ステップと、
   前記表示画面の１点に表示される前記画像の位置と前記瞳孔中心の位置とから、左右それぞれの眼球の理想的な角膜曲率中心の位置を算出する理想位置算出ステップと、
   左右それぞれの眼球について前記補正後の角膜曲率中心の位置と前記理想的な角膜曲率中心の位置との差分である位置差分を算出する演算ステップと、
   前記瞳孔中心の位置と前記補正後の角膜曲率中心の位置に前記位置差分を加算した位置とから左右それぞれの眼球の視線方向を検出する注視点検出ステップと、
   左右の眼球の前記位置差分同士の差である左右差分の大きさに基づいて、左右それぞれの眼球の前記視線方向が有効か否かを判定する判定ステップと、
   をコンピュータに実行させることを特徴とする視線検出プログラム。

Images