JP6885444B2 - 視線検出装置、視線検出方法、及びコンピュータプログラム - Google Patents

Description

本発明は、視線検出装置、視線検出方法、及びコンピュータプログラムに関する。

視線検出技術の一つとして角膜反射法が知られている。角膜反射法は、光源から射出された赤外光を被験者に照射し、赤外光が照射された被験者の眼をカメラで撮影し、角膜表面における光源の反射像である角膜反射像に対する瞳孔の位置を検出して、被験者の視線を検出する方法である。

特開２０１０−２４４１５６号公報

被験者がメガネを装着している場合、被験者に照射された赤外光がメガネで反射する可能性がある。赤外光がメガネで反射すると、視線の検出精度が低下する可能性がある。例えば、カメラの視野領域においてメガネにおける光源の反射像と被験者の眼とが重なった場合、角膜反射像及び瞳孔を検出することが困難となる。角膜反射像及び瞳孔が良好に検出されない場合、被験者の視線の検出精度が低下する。

本発明は、被験者の目と検出部との間に配置された光透過機能を有する光学部材による被験者の視線の検出精度の低下を抑制できる視線検出装置、視線検出方法、及びコンピュータプログラムを提供することを目的とする。

本発明は、光源から射出された検出光が照射される被験者の顔の画像データを取得する
画像データ取得部と、前記画像データに基づいて前記被験者の視線を検出する視線検出部
と、前記画像データを画像処理して前記顔の特徴部画像、及び前記被験者の目と前記光源との間に配置された光透過機能を有する光学部材における前記光源の反射像を示す反射
画像を生成する画像処理部と、前記特徴部画像と前記反射画像とが合成された合成画像を
表示装置に表示させる表示制御部と、を備える視線検出装置を提供する。

また本発明は、光源から射出された検出光が照射される被験者の顔の画像データを取得
することと、前記画像データを画像処理して前記顔の特徴部画像、及び前記被験者の目と
前記光源との間に配置された光透過機能を有する光学部材における前記光源の反射像を
示す反射画像を生成することと、前記特徴部画像と前記反射画像とが合成された合成画像
を表示装置に表示させることと、前記画像データに基づいて前記被験者の視線を検出する
ことと、を含む視線検出方法を提供する。

また本発明は、コンピュータに、光源から射出された検出光が照射される被験者の顔の
画像データを取得することと、前記画像データを画像処理して前記顔の特徴部画像、及び
前記被験者の目と前記光源との間に配置された光透過機能を有する光学部材における前
記光源の反射像を示す反射画像を生成することと、前記特徴部画像と前記反射画像とが合
成された合成画像を表示装置に表示させることと、前記画像データに基づいて前記被験者
の視線を検出することと、実行させるコンピュータプログラムを提供する。

本発明によれば、被験者の目と検出部との間に配置された光透過機能を有する光学部材による被験者の視線の検出精度の低下を抑制できる視線検出装置、視線検出方法、及びコンピュータプログラムが提供される。

図１は、第１実施形態に係る視線検出装置の一例を模式的に示す斜視図である。 図２は、第１実施形態に係る表示装置とステレオカメラ装置と光源と被験者の眼球との位置関係を模式的に示す図である。 図３は、第１実施形態に係る視線検出装置のハードウェア構成の一例を示す図である。 図４は、第１実施形態に係る視線検出装置の一例を示す機能ブロック図である。 図５は、第１実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。 図６は、第１実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。 図７は、第１実施形態に係る視線検出方法の一例を示すフローチャートである。 図８は、メガネを装着した被験者の瞳孔とステレオカメラ装置と光源との関係を模式的に示す図である。 図９は、ステレオカメラ装置の視野領域においてメガネにおける光源の反射像の少なくとも一部が被験者の瞳孔と重なっている状態を示す模式図である。 図１０は、メガネを装着した被験者の瞳孔とステレオカメラ装置と光源との関係を模式的に示す図である。 図１１は、第１実施形態に係る位置合わせ支援処理の一例を示すフローチャートである。 図１２は、第１実施形態に係る画像データ取得部に取得された画像データの一例を模式的に示す図である。 図１３は、第１実施形態に係る２値化された画像データの一例を模式的に示す図である。 図１４は、第１実施形態に係る被験者の顔の特徴部画像の一例を模式的に示す図である。 図１５は、第１実施形態に係る輝度が低下された特徴部画像の一例を模式的に示す図である。 図１６は、第１実施形態に係るメガネ反射画像の一例を模式的に示す図である。 図１７は、第１実施形態に係る特徴部画像とメガネ反射画像とが合成された合成画像の一例を模式的に示す図である。 図１８は、第１実施形態に係る表示装置の一例を示す図である。 図１９は、第１実施形態に係るキャリブレーション処理の一例を説明するための模式図である。 図２０は、第１実施形態に係るキャリブレーション処理の一例を示すフローチャートである。 図２１は、第１実施形態に係る視線検出処理の一例を説明するための模式図である。 図２２は、第１実施形態に係る視線検出処理の一例を示すフローチャートである。 図２３は、第２実施形態に係る位置合わせ支援処理における第１カメラ、第２カメラ、第１光源、及び第２光源の作動のタイミングを示すタイミングチャートである。 図２４は、第２実施形態に係る位置合わせ支援処理の一例を示すフローチャートである。

以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

以下の説明においては、３次元のグローバル座標系を設定して各部の位置関係について説明する。所定面のＸ軸と平行な方向をＸ軸方向とし、Ｘ軸と直交する所定面のＹ軸と平行な方向をＹ軸方向とし、Ｘ軸及びＹ軸のそれぞれと直交するＺ軸と平行な方向をＺ軸方向とする。所定面はＸＹ平面を含む。
＜第１実施形態＞
第１実施形態について説明する。図１は、本実施形態に係る視線検出装置１００の一例を模式的に示す斜視図である。視線検出装置１００は、例えば発達障がいの診断を支援する診断支援装置に使用される。
［視線検出装置の概要］
図１に示すように、視線検出装置１００は、表示装置１０１と、ステレオカメラ装置１０２と、光源１０３とを備える。

表示装置１０１は、液晶ディスプレイ（ＬＣＤ：liquid crystal display）又は有機ＥＬディスプレイ（ＯＥＬＤ：organic electroluminescence display）のようなフラットパネルディスプレイを含む。

本実施形態において、表示装置１０１の表示画面１０１Ｓは、ＸＹ平面と実質的に平行である。Ｘ軸方向は表示画面１０１Ｓの左右方向であり、Ｙ軸方向は表示画面１０１Ｓの上下方向であり、Ｚ軸方向は表示画面１０１Ｓと直交する奥行方向である。

ステレオカメラ装置１０２は、被験者を撮影して被験者の画像データを取得する。ステレオカメラ装置１０２は、異なる位置に配置された第１カメラ１０２Ａ及び第２カメラ１０２Ｂを有する。ステレオカメラ装置１０２は、表示装置１０１の表示画面１０１Ｓよりも下方に配置される。第１カメラ１０２Ａと第２カメラ１０２ＢとはＸ軸方向に配置される。第１カメラ１０２Ａは、第２カメラ１０２Ｂよりも−Ｘ方向に配置される。第１カメラ１０２Ａ及び第２カメラ１０２Ｂはそれぞれ、赤外線カメラを含み、例えば波長８５０［ｎｍ］の近赤外光を透過可能な光学系と、近赤外光を受光可能な撮像素子とを有する。

光源１０３は、検出光を射出する。光源１０３は、異なる位置に配置された第１光源１０３Ａ及び第２光源１０３Ｂを含む。光源１０３は、表示装置１０１の表示画面１０１Ｓよりも下方に配置される。第１光源１０３Ａと第２光源１０３ＢとはＸ軸方向に配置される。第１光源１０３Ａは、第１カメラ１０２Ａよりも−Ｘ方向に配置される。第２光源１０３Ｂは、第２カメラ１０２Ｂよりも＋Ｘ方向に配置される。第１光源１０３Ａ及び第２光源１０３Ｂはそれぞれ、ＬＥＤ（light emitting diode）光源を含み、例えば波長８０３Ｂは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの間に配置されてもよい。

図２は、本実施形態に係る表示装置１０１とステレオカメラ装置１０２と光源１０３と被験者の眼球１１１との位置関係を模式的に示す図である。

光源１０３は、検出光である赤外光を射出して、被験者の眼球１１１を照明する。ステレオカメラ装置１０２は、第１光源１０３Ａから射出された検出光が眼球１１１に照射されたときに第２カメラ１０２Ｂで眼球１１１を撮影し、第２光源１０３Ｂから射出された検出光が眼球１１１に照射されたときに第１カメラ１０２Ａで眼球１１１を撮影する。

第１カメラ１０２Ａ及び第２カメラ１０２Ｂの少なくとも一方からフレーム同期信号が出力される。第１光源１０３Ａ及び第２光源１０３Ｂは、フレーム同期信号に基づいて検出光を射出する。第１カメラ１０２Ａは、第２光源１０３Ｂから射出された検出光が眼球１１１に照射されたときに、眼球１１１の画像データを取得する。第２カメラ１０２Ｂは、第１光源１０３Ａから射出された検出光が眼球１１１に照射されたときに、眼球１１１の画像データを取得する。

眼球１１１に検出光が照射されると、検出光の一部は瞳孔１１２で反射する。瞳孔１１２で反射した光は、ステレオカメラ装置１０２に入射する。また、眼球１１１に検出光が照射されると、角膜反射像１１３が眼球１１１に形成される。角膜反射像１１３は、角膜表面における光源１０３の反射像である。角膜反射像１１３からの光は、ステレオカメラ装置１０２に入射する。

第１カメラ１０２Ａ及び第２カメラ１０２Ｂと第１光源１０３Ａ及び第２光源１０３Ｂとの相対位置が適切に設定されることにより、瞳孔１１２からステレオカメラ装置１０２に入射する光の強度は低くなり、角膜反射像１１３からステレオカメラ装置１０２に入射する光の強度は高くなる。すなわち、ステレオカメラ装置１０２で取得される瞳孔１１２の画像は低輝度となり、角膜反射像１１３の画像は高輝度となる。ステレオカメラ装置１０２は、取得される画像の輝度に基づいて、瞳孔１１２の位置及び角膜反射像１１３の位置を検出することができる。
［ハードウェア構成］
図３は、本実施形態に係る視線検出装置１００のハードウェア構成の一例を示す図である。図３に示すように、視線検出装置１００は、表示装置１０１と、ステレオカメラ装置１０２と、光源１０３と、コンピュータシステム２０と、入出力インターフェース装置３０と、駆動回路４０と、出力装置５０と、入力装置６０と、音声出力装置７０とを備える。コンピュータシステム２０は、演算処理装置２０Ａ及び記憶装置２０Ｂを含む。コンピュータプログラム２０Ｃが記憶装置２０Ｂに記憶されている。

コンピュータシステム２０と、駆動回路４０と、出力装置５０と、入力装置６０と、音声出力装置７０とは、入出力インターフェース装置３０を介してデータ通信する。

演算処理装置２０Ａは、ＣＰＵ（central processing unit）のようなマイクロプロセッサを含む。記憶装置２０Ｂは、ＲＯＭ（read only memory）のような不揮発性メモリ又はＲＡＭ（random access memory）のような揮発性メモリを含む。演算処理装置２０Ａは、記憶装置２０Ｂに記憶されているコンピュータプログラム２０Ｃに従って演算処理を実施する。

駆動回路４０は、駆動信号を生成して、表示装置１０１、ステレオカメラ装置１０２、及び光源１０３に出力する。また、駆動回路４０は、ステレオカメラ装置１０２で取得された眼球１１１の画像データを、入出力インターフェース装置３０を介してコンピュータシステム２０に供給する。

出力装置５０は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置５０は、印刷装置を含んでもよい。入力装置６０は、操作されることにより入力データを生成する。入力装置６０は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置６０が表示装置である出力装置５０の表示画面に設けられたタッチセンサを含んでもよい。音声出力装置７０は、スピーカを含み、例えば被験者に注意を促すための音声を出力する。

本実施形態においては、表示装置１０１とコンピュータシステム２０とは別々の装置である。なお、表示装置１０１とコンピュータシステム２０とが一体でもよい。例えば視線検出装置１００がタブレット型パーソナルコンピュータを含む場合、タブレット型パーソナルコンピュータに、コンピュータシステム２０、入出力インターフェース装置３０、駆動回路４０、及び表示装置１０１が搭載されてもよい。

図４は、本実施形態に係る視線検出装置１００の一例を示す機能ブロック図である。図４に示すように、入出力インターフェース装置３０は、入出力部３０２を有する。駆動回路４０は、表示装置１０１を駆動するための駆動信号を生成して表示装置１０１に出力する表示装置駆動部４０２と、第１カメラ１０２Ａを駆動するための駆動信号を生成して第１カメラ１０２Ａに出力する第１カメラ入出力部４０４Ａと、第２カメラ１０２Ｂを駆動するための駆動信号を生成して第２カメラ１０２Ｂに出力する第２カメラ入出力部４０４Ｂと、第１光源１０３Ａ及び第２光源１０３Ｂを駆動するための駆動信号を生成して第１光源１０３Ａ及び第２光源１０３Ｂに出力する光源駆動部４０６とを有する。また、第１カメラ入出力部４０４Ａは、第１カメラ１０２Ａで取得された眼球１１１の画像データを、入出力部３０２を介してコンピュータシステム２０に供給する。第２カメラ入出力部４０４Ｂは、第２カメラ１０２Ｂで取得された眼球１１１の画像データを、入出力部３０２を介してコンピュータシステム２０に供給する。

コンピュータシステム２０は、視線検出装置１００を制御する。コンピュータシステム２０は、画像データ取得部２０２と、入力データ取得部２０４と、画像処理部２０６と、表示制御部２０８と、光源制御部２１０と、カメラ制御部２１１と、位置検出部２１２と、曲率中心算出部２１４と、視線検出部２１６と、距離データ取得部２１８と、記憶部２２０と、出力制御部２２２とを有する。コンピュータシステム２０の機能は、演算処理装置２０Ａ、記憶装置２０Ｂ、及び記憶装置２０Ｂに記憶されているコンピュータプログラム２０Ｃによって発揮される。

画像データ取得部２０２は、第１カメラ１０２Ａ及び第２カメラ１０２Ｂを含むステレオカメラ装置１０２によって取得された被験者の顔の画像データを、入出力部３０２を介してステレオカメラ装置１０２から取得する。画像データは、ディジタルデータである。被験者の顔の画像データは、眼球１１１の画像データを含む。ステレオカメラ装置１０２は、光源１０３から射出された検出光が照射される被験者の顔を撮影する。画像データ取得部２０２は、光源１０３から射出された検出光が照射される被験者の顔の画像データを、入出力部３０２を介してステレオカメラ装置１０２から取得する。

入力データ取得部２０４は、入力装置６０が操作されることにより生成された入力データを、入出力部３０２を介して入力装置６０から取得する。

画像処理部２０６は、画像データ取得部２０２で取得された画像データを画像処理する。画像処理部２０６は、画像データを画像処理して、被験者の顔の特徴部分の画像を示す特徴部画像、及び被験者の顔に装着されたメガネにおける光源１０３の反射像を示すメガネ反射画像を生成する。

表示制御部２０８は、特定の画像を表示装置１０１に表示させる。本実施形態において、表示制御部２０８は、画像処理部２０６で生成された特徴部画像とメガネ反射画像とが合成された合成画像を表示装置１０１に表示させる。表示制御部２０８は、特徴部画像とメガネ反射画像とが合成された合成画像において、特徴部画像とメガネ反射画像とを異なる表示形態で表示装置１０１にさせる。表示装置１０１における表示形態は、画像の輝度、色、明度、及び彩度の少なくとも一つを含む。本実施形態において、表示制御部２０８は、メガネ反射画像を特徴部画像よりも強調して表示装置１０１に表示させる。例えば、表示制御部２０８は、合成画像において、メガネ反射画像を特徴部画像よりも高輝度で表示装置１０１に表示させる。なお、表示制御部２０８は、合成画像において、メガネ反射画像を特徴部画像よりも高明度で表示装置１０１に表示させてもよいし、高彩度で表示装置１０１に表示させてもよい。

光源制御部２１０は、光源駆動部４０６を制御して、第１光源１０３Ａ及び第２光源１０３Ｂの作動状態を制御する。光源制御部２１０は、第１光源１０３Ａと第２光源１０３Ｂとが異なるタイミングで検出光を射出するように第１光源１０３Ａ及び第２光源１０３Ｂを制御する。また、光源制御部２１０は、第１光源１０３Ａから射出される検出光の光量、及び第２光源１０３Ｂから射出される検出光の光量を制御する。第１光源１０３Ａから射出される検出光の光量の制御は、第１光源１０３Ａの発光強度の制御及び第１光源１０３Ａの発光時間の制御の少なくとも一方を含む。同様に、第２光源１０３Ｂから射出される検出光の光量の制御は、第２光源１０３Ｂの発光強度の制御及び第２光源１０３Ｂの発光時間の制御の少なくとも一方を含む。本実施形態において、光源制御部２１０は、第１光源１０３Ａから射出される検出光の光量と、第２光源１０３Ｂから射出される検出光の光量とが同一になるように、第１光源１０３Ａ及び第２光源１０３Ｂを制御する。

カメラ制御部２１１は、第１カメラ入出力部４０４Ａ及び第２カメラ入出力部４０４Ｂを制御して、第１カメラ１０２Ａ及び第２カメラ１０２Ｂを含むステレオカメラ装置１０２の作動状態を制御する。カメラ制御部２１１は、第１カメラ１０２Ａにおける検出光の露出値、及び第２カメラ１０２Ｂにおける検出光の露出値を制御する。第１，第２カメラ１０２Ａ，１０２Ｂにおける検出光の露出値（exposure value）とは、検出光で照明された被験者の顔から第１，第２カメラ１０２Ａ、１０２Ｂの光学系を介して撮像素子に入射する検出光の露出量をいう。第１，第２カメラ１０２Ａ，１０２Ｂにおける検出光の露出値の制御は、第１，第２カメラ１０２Ａ，１０２Ｂのシャッター速度の制御、及び第１，第２カメラ１０２Ａ，１０２Ｂの光学系の絞り値の制御の少なくとも一方を含む。

位置検出部２１２は、画像データ取得部２０２で取得された眼球１１１の画像データに基づいて、瞳孔中心の位置データを検出する。また、位置検出部２１２は、画像データ取得部２０２で取得された眼球１１１の画像データに基づいて、角膜反射中心の位置データを検出する。瞳孔中心は、瞳孔１１２の中心である。角膜反射中心は、角膜反射像１１３の中心である。位置検出部２１２は、被験者の左右それぞれの眼球１１１について、瞳孔中心の位置データ及び角膜反射中心の位置データを検出する。

曲率中心算出部２１４は、画像データ取得部２０２で取得された眼球１１１の画像データに基づいて、眼球１１１の角膜曲率中心の位置データを算出する。

視線検出部２１６は、画像データ取得部２０２で取得された眼球１１１の画像データに基づいて、被験者の視線を検出する。被験者の視線は、被験者が見ている視線方向を示す視線ベクトルを含む。視線検出部２１６は、眼球１１１の画像データから取得された瞳孔中心の位置データ及び角膜曲率中心の位置データに基づいて、被験者の左右それぞれの眼球１１１の視線ベクトルを検出する。

また、視線検出部２１６は、検出した視線ベクトルに基づいて、被験者の注視点の位置データを検出する。本実施形態において、被験者の注視点は、被験者の視線ベクトルと表示装置１０１の表示画面１０１Ｓとの交点を含む。本実施形態において、注視点の位置データとは、グローバル座標系で規定される被験者の視線ベクトルと表示装置１０１の表示画面１０１Ｓとの交点の位置データをいう。

距離データ取得部２１８は、表示装置１０１の表示画面１０１Ｓと被験者の顔との距離データを取得する。距離データ取得部２１８は、位置検出部２１２で検出された瞳孔中心の位置データに基づいて、距離データを検出する。グローバル座標系における瞳孔中心の位置データが検出されることにより、表示装置１０１の表示画面１０１Ｓの中心と被験者の眼球１１１との距離が算出される。距離データ取得部２１８は、表示装置１０１の表示画面１０１Ｓの中心と被験者の眼球１１１との距離を、表示装置１０１の表示画面１０１Ｓと被験者の顔との距離データとして取得する。

記憶部２２０は、コンピュータプログラム２０Ｃ及び各種のデータを記憶する。

出力制御部２２２は、表示装置１０１、出力装置５０、及び音声出力装置７０の少なくとも一つにデータを出力する。出力制御部２２２は、例えば被験者の左右それぞれの眼球１１１の注視点の位置データを表示装置１０１又は出力装置５０に表示させる。
［視線検出の原理］
次に、本実施形態に係る視線検出の原理について説明する。以下の説明では、主に曲率中心算出部２１４の処理の概要について説明する。曲率中心算出部２１４は、眼球１１１の画像データに基づいて、眼球１１１の角膜曲率中心の位置データを算出する。

図５及び図６は、本実施形態に係る角膜曲率中心１１０の位置データの算出方法を説明するための模式図である。図５は、１つの光源１０３Ｃで眼球１１１が照明される例を示す。図６は、第１光源１０３Ａ及び第２光源１０３Ｂで眼球１１１が照明される例を示す。

まず、図５に示す例について説明する。光源１０３Ｃは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの間に配置される。瞳孔中心１１２Ｃは、瞳孔１１２の中心である。角膜反射中心１１３Ｃは、角膜反射像１１３の中心である。図５において、瞳孔中心１１２Ｃは、眼球１１１が１つの光源１０３Ｃで照明されたときの瞳孔中心を示す。角膜反射中心１１３Ｃは、眼球１１１が１つの光源１０３Ｃで照明されたときの角膜反射中心を示す。

角膜反射中心１１３Ｃは、光源１０３Ｃと角膜曲率中心１１０とを結ぶ直線上に存在する。角膜反射中心１１３Ｃは、角膜表面と角膜曲率中心１１０との中間点に位置付けられる。角膜曲率半径１０９は、角膜表面と角膜曲率中心１１０との距離である。

角膜反射中心１１３Ｃの位置データは、ステレオカメラ装置１０２によって検出される。角膜曲率中心１１０は、光源１０３Ｃと角膜反射中心１１３Ｃとを結ぶ直線上に存在する。曲率中心算出部２１４は、その直線上において角膜反射中心１１３Ｃからの距離が所定値となる位置データを、角膜曲率中心１１０の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部２２０に記憶されている。

次に、図６に示す例について説明する。本実施形態においては、第１カメラ１０２Ａ及び第２光源１０３Ｂと、第２カメラ１０２Ｂ及び第１光源１０３Ａとは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの中間位置を通る直線に対して左右対称の位置に配置される。第１カメラ１０２Ａと第２カメラ１０２Ｂとの中間位置に仮想光源１０３Ｖが存在するとみなすことができる。

角膜反射中心１２１は、第２カメラ１０２Ｂで眼球１１１を撮影した画像における角膜反射中心を示す。角膜反射中心１２２は、第１カメラ１０２Ａで眼球１１１を撮影した画像における角膜反射中心を示す。角膜反射中心１２４は、仮想光源１０３Ｖに対応する角膜反射中心を示す。

角膜反射中心１２４の位置データは、ステレオカメラ装置１０２で取得された角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データに基づいて算出される。ステレオカメラ装置１０２は、ステレオカメラ装置１０２に規定されるローカル座標系において角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データを検出する。ステレオカメラ装置１０２について、事前にステレオ較正法によるカメラ較正が実施され、ステレオカメラ装置１０２の３次元のローカル座標系を３次元のグローバル座標系に変換する変換パラメータが算出される。その変換パラメータは、記憶部２２０に記憶されている。

曲率中心算出部２１４は、ステレオカメラ装置１０２で取得された角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データを、変換パラメータを使って、グローバル座標系における位置データに変換する。曲率中心算出部２１４は、グローバル座標系で規定される角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データに基づいて、グローバル座標系における角膜反射中心１２４の位置データを算出する。

角膜曲率中心１１０は、仮想光源１０３Ｖと角膜反射中心１２４とを結ぶ直線１２３上に存在する。曲率中心算出部２１４は、直線１２３上において角膜反射中心１２４からの距離が所定値となる位置データを、角膜曲率中心１１０の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部２２０に記憶されている。

図６を参照して説明したように、光源が２つある場合でも、光源が１つである場合の方法と同様の方法で、角膜曲率中心１１０が算出される。

角膜曲率半径１０９は、角膜表面と角膜曲率中心１１０との距離である。したがって、角膜表面の位置データ及び角膜曲率中心１１０の位置データが算出されることにより、角膜曲率半径１０９が算出される。

このように、本実施形態においては、グローバル座標系における角膜曲率中心１１０の位置データ、角膜反射中心１２４の位置データ、及び瞳孔中心１１２Ｃの位置データが算出される。

視線検出部２１６は、瞳孔中心１１２Ｃの位置データ及び角膜曲率中心１１０の位置データに基づいて、被験者の視線ベクトルを検出することができる。また、距離データ取得部２１８は、瞳孔中心１１２Ｃの位置データに基づいて、表示装置１０１の表示画面と眼球１１１を含む被験者の顔との距離データを取得することができる。
［視線検出方法］
次に、本実施形態に係る視線検出方法の一例について説明する。図７は、本実施形態に係る視線検出方法の一例を示すフローチャートである。本実施形態においては、視線検出装置１００と被験者とを適正な相対位置に調整する位置合わせ支援処理（ステップＳ１００）と、角膜曲率中心１１０の位置データの算出処理及び瞳孔中心１１２Ｃと角膜曲率中心１１０との距離データの算出処理を含むキャリブレーション処理（ステップＳ２００）と、視線検出処理（ステップＳ３００）が実施される。
（位置合わせ支援処理）
位置合わせ支援処理について説明する。被験者の顔にメガネが装着されている場合、光源１０３から射出され被験者の顔に照射された検出光の少なくとも一部が、メガネのレンズで反射する可能性がある。

図８は、メガネ１７０を装着した被験者の瞳孔１１２とステレオカメラ装置１０２と光源１０３との関係を模式的に示す図である。図８は、メガネ１７０における光源１０３の反射像１７２の位置と被験者の瞳孔１１２の位置とがステレオカメラ装置１０２の視野領域において合致している状態を示す。図９は、ステレオカメラ装置１０２の視野領域においてメガネ１７０における光源１０３の反射像１７２の少なくとも一部が被験者の瞳孔１１２と重なっている状態を示す模式図である。

図８及び図９に示すように、メガネ１７０のレンズにおいて光源１０３の反射像１７２が形成され、ステレオカメラ装置１０２の視野領域において反射像１７２と被験者の瞳孔１１２とが重なる場合、ステレオカメラ装置１０２は、被験者の瞳孔１１２及び角膜反射像１１３の画像データを良好に取得することが困難となる。瞳孔１１２及び角膜反射像１１３が良好に検出されない場合、被験者の視線の検出精度が低下する。

図１０は、メガネ１７０における光源１０３の反射像１７２の位置と被験者の瞳孔１１２の位置とがステレオカメラ装置１０２の視野領域において合致していない状態を示す模式図である。図１０に示すように、メガネ１７０のレンズにおいて光源１０３の反射像１７２が形成されても、ステレオカメラ装置１０２の視野領域において反射像１７２と被験者の瞳孔１１２とが重ならない場合、ステレオカメラ装置１０２は、被験者の瞳孔１１２及び角膜反射像１１３の画像データを良好に取得することができる。瞳孔１１２及び角膜反射像１１３が良好に検出される場合、被験者の視線の検出精度の低下が抑制される。

本実施形態において、視線検出装置１００は、キャリブレーション処理（ステップＳ２００）及び視線検出処理（ステップＳ３００）が開始される前に、メガネ１７０を装着した被験者とステレオカメラ装置１０２及び光源１０３との相対位置が図１０に示す状態になるように、被験者又は測定者を支援する。すなわち、視線検出装置１００は、キャリブレーション処理（ステップＳ２００）及び視線検出処理（ステップＳ３００）が開始される前に、ステレオカメラ装置１０２の視野領域において反射像１７２と被験者の眼とが重ならないように、被験者の顔の位置、顔の向き、メガネ１７０の位置、及びメガネ１７０の向きの少なくとも一つの調整を被験者又は測定者に促すための処理を実施する。

図１１は、本実施形態に係る位置合わせ支援処理の一例を示すフローチャートである。図１１に示すように、位置合わせ支援処理（ステップＳ１００）は、光源１０３から検出光を射出して被験者の顔に照射する工程（ステップＳ１０１）と、光源１０３から射出された検出光が照射された被験者の顔の画像データを取得する工程（ステップＳ１０２）と、取得した画像データを２値化する工程（ステップＳ１０３）と、２値化された画像データから顔の特徴部分の画像を示す特徴部画像を生成する工程（ステップＳ１０４）と、生成された特徴部画像の輝度を調整する工程（ステップＳ１０５）と、被験者の顔に装着されたメガネ１７０における光源１０３の反射像１７２を示すメガネ反射画像を生成する工程（ステップＳ１０６）と、特徴部画像とメガネ反射画像とを合成する工程（ステップＳ１０７）と、特徴部画像とメガネ反射画像とが合成された合成画像を表示装置１０１に表示させる工程（ステップＳ１０８）とを含む。

光源１０３から検出光が射出される（ステップＳ１０１）。検出光が照射された被験者の顔の画像データがステレオカメラ装置１０２によって取得される。被験者の顔の画像データは、第１カメラ１０２Ａ及び第２カメラ１０２Ｂの少なくとも一方によって取得される。本実施形態においては、被験者の顔の画像データが第１カメラ１０２Ａによって取得される。なお、被験者の顔の画像データが第２カメラ１０２Ｂによって取得されてもよい。なお、第１カメラ１０２Ａで取得された画像データ及び第２カメラ１０２Ｂで取得された画像データの両方が使用されてもよい。

画像データ取得部２０２は、検出光が照射された被験者の顔の画像データをステレオカメラ装置１０２から取得する（ステップＳ１０２）。図１２は、本実施形態に係る画像データ取得部２０２に取得された画像データの一例を模式的に示す図である。図１２は、検出光である赤外光が被験者の顔に照射されたときにステレオカメラ装置１０２で撮影された、画像処理が実施される前の画像データである生データ（raw data）を示す。

画像処理部２０６は、画像データ取得部２０２で取得された画像データを画像処理する。本実施形態において、画像処理部２０６は、画像データ取得部２０２で取得された画像データを２値化する（ステップＳ１０３）。図１３は、本実施形態に係る２値化された画像データの一例を模式的に示す図である。

画像データの２値化とは、規定された閾値に基づいて、複数の画素からなる画像データを白と黒の２階調に変換する処理をいう。ステップＳ１０３においては、規定された第１閾値に基づいて２値化が実施される。画像処理部２０６は、画素の輝度が第１閾値以上である場合にはその画素を白色に置換し、画素の輝度が第１閾値未満である場合にはその画素を黒色に置換する処理を実施する。なお、２値化における第１閾値は、予め定められた固定値でもよいし、取得された画像データの複数の画素の輝度のうち最高値と最低値との中間値でもよいし、輝度分布における中間値でもよい。２値化は、２値化した結果画像の白の画素の割合に応じて第１閾値を決定するｐ−タイル法、輝度ヒストグラムが２つの極大値を有するときにヒストグラムの谷の底値を第１閾値とするモード法、画像の輝度ヒストグラムがある閾値で２つのクラスに分割されるときにクラス間分散が最も大きくなるように第１閾値を決定する判別分析法の少なくとも一つに基づいて実施されてもよい。

次に、画像処理部２０６は、２値化された画像データから顔の特徴部分の画像を示す特徴部画像を生成する（ステップＳ１０４）。本実施形態において、特徴部画像は、被験者の顔における輪郭画像を含む。図１４は、本実施形態に係る被験者の顔の輪郭画像１７４Ｍの一例を模式的に示す図である。図１４に示すように、本実施形態において、輪郭画像１７４Ｍは、２値化された画像データの白部分と黒部分との境界を示すエッジ画像を含む。ステップＳ１０４において生成された輪郭画像１７４Ｍの輝度は、第１閾値以上である。

特徴部画像の生成において、画像処理部２０６は、２値化された画像データのエッジ検出を実施する。画像データのエッジ検出とは、複数の画素からなる画像データにおいて、画素の輝度が急激に変化している境界を検出する処理をいう。画像処理部２０６は、例えば隣り合う画素の輝度について微分処理を実施してエッジ検出してもよいし、テンプレートマッチングによりエッジ検出してもよい。画像データのエッジ検出が実施されることにより、図１４に示すような被験者の顔における輪郭画像１７４Ｍが生成される。

顔における輪郭画像１７４Ｍは、被験者の顔の輪郭画像、被験者の瞼の輪郭画像、被験者の瞳孔の輪郭画像、被験者の鼻の孔の輪郭画像、被験者の口の輪郭画像、及び被験者の顔に装着されたメガネ１７０の輪郭画像の少なくとも一つを含む。本実施形態において、輪郭画像１７４Ｍは、被験者又は測定者が輪郭画像１７４Ｍを見たとき、輪郭画像１７４Ｍから瞳孔の位置を認識又は推測できる画像であればよい。

次に、画像処理部２０６は、生成された輪郭画像１７４Ｍの輝度を調整する（ステップＳ１０５）。本実施形態において、画像処理部２０６は、ステップＳ１０４で生成した輪郭画像１７４Ｍの輝度を低下させる。ステップＳ１０５において生成された輪郭画像１７４Ｍの輝度は、第１閾値よりも低い。図１５は、本実施形態に係る輝度が低下された輪郭画像１７４Ｍの一例を模式的に示す図である。図１５は、輪郭画像１７４Ｍの輝度が５０［％］に低下された例を示す。

また、画像処理部２０６は、被験者の顔に装着されたメガネ１７０における光源１０３の反射像１７２を示すメガネ反射画像を生成する（ステップＳ１０６）。図１６は、本実施形態に係るメガネ反射画像１７２Ｍの一例を模式的に示す図である。本実施形態において、画像処理部２０６は、ステップＳ１０２で取得された画像データ（図１２参照）を２値化して、メガネ反射画像１７２Ｍを生成する。

ステップＳ１０６においては、ステップＳ１０３において規定された第１閾値よりも高い第２閾値が規定される。画像処理部２０６は、第１閾値よりも高い第２閾値に基づいて、画像データ取得部２０２で取得された画像データを２値化する。画像処理部２０６は、画素の輝度が第２閾値以上である場合にはその画素を白色に置換し、画素の輝度が第２閾値未満である場合にはその画素を黒色に置換する処理を実施する。これにより、輝度が高い反射像１７２のみが抽出され、図１６に示すようなメガネ反射画像１７２Ｍが生成される。

次に、画像処理部２０６は、ステップＳ１０４で生成されステップＳ１０５で輝度調整された輪郭画像１７４Ｍ（図１５参照）と、ステップＳ１０６で生成されたメガネ反射画像１７２Ｍ（図１６参照）とを合成して合成画像１７６Ｍを生成する（ステップＳ１０７）。図１７は、本実施形態に係る輪郭画像１７４Ｍとメガネ反射画像１７２Ｍとが合成された合成画像１７６Ｍの一例を模式的に示す図である。図１７に示すように、合成画像１７６Ｍにおいて、メガネ反射画像１７２Ｍの輝度は、輪郭画像１７４Ｍの輝度よりも高い。

輪郭画像１７４Ｍは、輪郭を示す画素と、輪郭以外の背景を示す画素とを含む。メガネ反射画像１７２Ｍは、反射像１７２を示す画素と、反射像１７２以外の背景を示す画素とを含む。輪郭画像１７４Ｍとメガネ反射画像１７２Ｍとの合成においては、輪郭画像１７４Ｍの画素と、その輪郭画像１７４Ｍの画素に対応するメガネ反射画像１７２Ｍの画素とが合成される。輪郭画像１７４Ｍの画素の輝度は多値であり、輪郭画像１７４Ｍのうち輪郭を示す画素は、灰色とみなすことができる。メガネ反射画像１７２Ｍのうち反射像１７２を示す画素は、白色とみなすことができる。輪郭画像１７４Ｍのうち輪郭以外の背景を示す画素、及びメガネ反射画像１７２Ｍのうち反射像１７２以外の背景を示す画素は、黒色とみなすことができる。輪郭画像１７４Ｍの画素と、その輪郭画像１７４Ｍの画素に対応するメガネ反射画像１７２Ｍの画素との合成において、白色の画素、灰色の画素、及び黒色の画素のいずれか２つの画素が合成されるとき、輝度が高い画素が合成画像１７６Ｍの画素として選択される。すなわち、輪郭画像１７４Ｍのうち輪郭を示す灰色の画素と、メガネ反射画像１７２Ｍのうち背景を示す黒色の画素とが合成される場合、輪郭画像１７４Ｍとメガネ反射画像１７２Ｍとの合成画像１７６Ｍの画素は灰色である。輪郭画像１７４Ｍのうち背景を示す黒色の画素と、メガネ反射画像１７２Ｍの画素のうち反射像１７２を示す白色の画素とが合成される場合、輪郭画像１７４Ｍとメガネ反射画像１７２Ｍとの合成画像１７６Ｍの画素は白色である。

表示制御部２０８は、輪郭画像１７４Ｍとメガネ反射画像１７２Ｍとが合成された合成画像１７６Ｍを表示装置１０１に表示させる（ステップＳ１０８）。メガネ反射画像１７２Ｍは、輪郭画像１７４Ｍよりも高輝度である。メガネ反射画像１７２Ｍは、第２閾値以上の高輝度であり、輪郭画像１７４Ｍは、第１閾値よりも低輝度である。本実施形態において、メガネ反射画像１７２Ｍの輝度は１００［％］であり、輪郭画像１７４Ｍの輝度は５０［％］である。そのため、メガネ反射画像１７２Ｍは、輪郭画像１７４Ｍよりも強調して表示装置１０１に表示される。

図１８は、本実施形態に係る表示装置１０１の一例を示す図である。図１８に示すように、表示制御部２０８は、表示装置１０１の表示画面１０１Ｓにおいて、メガネ反射画像１７２Ｍと輪郭画像１７４Ｍとの合成画像１７６Ｍを表示させる第１表示領域１０１Ａと、アニメーションを表示させる第２表示領域１０１Ｂとを形成する。図１８に示すように、表示制御部２０８は、メガネ反射画像１７２Ｍを輪郭画像１７４Ｍよりも高輝度で表示装置１０１に表示させる。

本実施形態において、表示制御部２０８は、メガネ反射画像１７２Ｍを第２閾値以上の高輝度で表示装置１０１に表示させ、輪郭画像１７４Ｍを第１閾値よりも低輝度で表示装置１０１に表示させる。

また、本実施形態において、表示制御部２０８は、輪郭画像１７４Ｍとメガネ反射画像１７２Ｍとを異なる色で表示装置１０１に表示させる。本実施形態において、表示制御部２０８は、輪郭画像１７４Ｍをオレンジ色で表示し、メガネ反射画像１７２Ｍを黄色で表示する。なお、表示制御部２０８は、輪郭画像１７４Ｍとメガネ反射画像１７２Ｍとを異なる明度又は彩度で表示装置１０１に表示させてもよい。例えば、メガネ反射画像１７２Ｍが輪郭画像１７４Ｍよりも高明度又は高彩度で表示装置１０１に表示されてもよい。

コンピュータシステム２０は、ステレオカメラ装置１０２で取得された被験者の顔の画像データをリアルタイムで画像処理し、表示装置１０１の第１表示領域１０１Ａに表示させる。すなわち、表示装置１０１には、合成画像１７６Ｍの動画が表示される。

合成画像１７６Ｍが表示装置１０１に表示されることにより、被験者又は測定者は、表示装置１０１に表示された合成画像１７６Ｍを見ながら、ステレオカメラ装置１０２の視野領域において光源１０３の反射像１７２と被験者の眼とが重ならないように、被験者の顔の位置又は向きを調整したり、メガネ１７０の位置又は向きを調整したりすることができる。このように、画像処理された被験者の姿が表示装置１０１に表示されるため、被験者又は測定者は、違和感又は嫌悪感を抱くことなく、被験者の顔の位置又は向きを調整したり、メガネ１７０の位置又は向きを調整したりすることができる。

また、本実施形態においては、表示制御部２０８は、表示装置１０１の表示画面１０１Ｓにおいて寸法及び位置が固定されたガイド線１８０を表示画面１０１Ｓに表示させる。本実施形態において、ガイド線１８０は、四角形を形成する。ガイド線１８０は、第１表示領域１０１Ａにおいて、合成画像１７６Ｍと重なるように表示される。被験者又は測定者は、合成画像１７６Ｍを見ながら、被験者の眼が四角形のガイド線１８０の内側に配置されるように、被験者の顔の位置を調整することができる。

第２表示領域１０１Ｂには、例えば幼児健診においてアニメーションが表示される。幼児健診においては、椅子に腰掛けた保護者の膝の上に幼児が座った状態で、幼児の視線検出が実施される。視線検出装置１００と幼児の顔との相対位置は、保護者が幼児の顔の位置又は向きを調整したり、測定者が視線検出装置１００の位置又は向きを調整したりすることによって調整される。視線検出装置１００と幼児の顔との相対位置を調整する期間において、幼児を表示装置１０１に注視させるために、第２表示領域１０１Ｂには、幼児の注意を引き付けるアニメーションが表示される。なお、第２表示領域１０２Ｂに表示される表示データは、動画でもよいし静止画でもよい。幼児の注意を引き付けることができる表示データであればよい。

また、本実施形態においては、表示装置１０１の表示画面１０１Ｓと被験者の眼又は顔との距離データが距離データ取得部２１８に取得される。距離データ取得部２１８は、ステレオカメラ装置１０２で取得した被験者の眼球１１１の画像データに基づいて、瞳孔１１２を検出し、グローバル座標系における瞳孔中心１１２Ｃの位置を算出する。距離データ取得部２１８は、グローバル座標系における瞳孔中心１１２Ｃの位置を算出することにより、表示装置１０１の表示画面１０１Ｓの中心と被験者の眼との距離を算出することができる。

表示制御部２０８は、距離データ取得部２１８で取得された距離データを表示装置１０１に表示させる。

本実施形態においては、表示装置１０１の表示画面１０１Ｓと被験者の眼との距離を示すスケール１９０の画像データが表示装置１０１に表示される。また、表示装置１０１の表示画面１０１Ｓと被験者の眼との距離の目安として、「ちかい」、「よい」、「とおい」の文字データが表示装置１０１に表示される。表示制御部２０８は、距離データ取得部２１８で取得された距離データに基づいて、スケール１９０に沿ってインジケータ１９２を移動させる。表示装置１０１の表示画面１０１Ｓと被験者の眼との距離が適正値である場合、表示制御部２０８は、インジケータ１９２を「よい」に移動させる。表示装置１０１の表示画面１０１Ｓと被験者の眼との距離が適正値よりも短い場合、表示制御部２０８は、インジケータ１９２を「ちかい」に移動させる。表示装置１０１の表示画面１０１Ｓと被験者の眼との距離が適正値よりも長い場合、表示制御部２０８は、インジケータ１９２を「とおい」に移動させる。

被験者の顔は、ステレオカメラ装置１０２の光学系の焦点位置に配置されることが好ましい。表示装置１０１の表示画面１０１Ｓと被験者の眼との距離についての適正値は、ステレオカメラ装置１０２の光学系の焦点位置に被験者の眼又は顔が配置される距離である。被験者又は測定者は、インジケータ１９２を見ながら、インジケータ１９２が「よい」に配置されるように、被験者の顔の位置を調整することができる。

以上により、位置合わせ支援処理が実施される。
（キャリブレーション処理）
次に、キャリブレーション処理について説明する。本実施形態においては、位置合わせ支援処理（ステップＳ１００）が実施された後、角膜曲率中心１１０の位置データの算出処理、及び瞳孔中心１１２Ｃと角膜曲率中心１１０との距離データの算出処理を含むキャリブレーション処理（ステップＳ２００）が実施される。

図１９は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。キャリブレーション処理は、角膜曲率中心１１０の位置データを算出すること、及び瞳孔中心１１２Ｃと角膜曲率中心１１０との距離１２６を算出することを含む。

被験者に注視させるための目標位置１３０が設定される。目標位置１３０は、グローバル座標系において規定される。本実施形態において、目標位置１３０は、例えば表示装置１０１の表示画面１０１Ｓの中央位置に設定される。なお、目標位置１３０は、表示画面１０１Ｓの端部位置に設定されてもよい。

表示制御部２０８は、設定された目標位置１３０に目標画像を表示させる。これにより、被験者は、目標位置１３０を注視し易くなる。

直線１３１は、仮想光源１０３Ｖと角膜反射中心１１３Ｃとを結ぶ直線である。直線１３２は、目標位置１３０と瞳孔中心１１２Ｃとを結ぶ直線である。角膜曲率中心１１０は、直線１３１と直線１３２との交点である。曲率中心算出部２１４は、仮想光源１０３Ｖの位置データと、目標位置１３０の位置データと、瞳孔中心１１２Ｃの位置データと、角膜反射中心１１３Ｃの位置データとに基づいて、角膜曲率中心１１０の位置データを算出することができる。

図２０は、本実施形態に係るキャリブレーション処理（ステップＳ２００）の一例を示すフローチャートである。出力制御部２２２は、表示装置１０１の表示画面１０１Ｓに目標画像を表示させる（ステップＳ２０１）。被験者は、目標画像を注視することにより、目標位置１３０を注視することができる。

次に、光源制御部２１０は、光源駆動部４０６を制御して、第１光源１０３Ａ及び第２光源１０３Ｂのうち一方の光源から検出光を射出させる（ステップＳ２０２）。ステレオカメラ装置１０２は、第１カメラ１０２Ａ及び第２カメラ１０２Ｂのうち検出光を射出した光源からの距離が長い方のカメラで被験者の眼を撮影する（ステップＳ２０３）。

次に、光源制御部２１０は、光源駆動部４０６を制御して、第１光源１０３Ａ及び第２光源１０３Ｂのうち他方の光源から検出光を射出させる（ステップＳ２０４）。ステレオカメラ装置１０２は、第１カメラ１０２Ａ及び第２カメラ１０２Ｂのうち検出光を射出した光源からの距離が長い方のカメラで被験者の眼を撮影する（ステップＳ２０５）。

瞳孔１１２は、暗い部分としてステレオカメラ装置１０２に検出され、角膜反射像１１３は、明るい部分としてステレオカメラ装置１０２に検出される。すなわち、ステレオカメラ装置１０２で取得される瞳孔１１２の画像は低輝度となり、角膜反射像１１３の画像は高輝度となる。位置検出部２１２は、取得される画像の輝度に基づいて、瞳孔１１２の位置データ及び角膜反射像１１３の位置データを検出することができる。また、位置検出部２１２は、瞳孔１１２の画像データに基づいて、瞳孔中心１１２Ｃの位置データを算出する。また、位置検出部２１２は、角膜反射像１１３の画像データに基づいて、角膜反射中心１１３Ｃの位置データを算出する（ステップＳ２０６）。

ステレオカメラ装置１０２によって検出された位置データは、ローカル座標系で規定される位置データである。位置検出部２１２は、記憶部２２０に記憶されている変換パラメータを使用して、ステレオカメラ装置１０２で検出された瞳孔中心１１２Ｃの位置データ及び角膜反射中心１１３Ｃの位置データを座標変換して、グローバル座標系で規定される瞳孔中心１１２Ｃの位置データ及び角膜反射中心１１３Ｃの位置データを算出する（ステップＳ２０７）。

曲率中心算出部２１４は、グローバル座標系で規定される角膜反射中心１１３Ｃと仮想光源１０３Ｖとを結ぶ直線１３１を求める（ステップＳ２０８）。

次に、曲率中心算出部２１４は、表示装置１０１の表示画面１０１Ｓに規定される目標位置１３０と瞳孔中心１１２Ｃとを結ぶ直線１３２を算出する（ステップＳ２０９）。曲率中心算出部２１４は、ステップＳ１０８で算出した直線１３１とステップＳ２０９で算出した直線１３２との交点を求め、この交点を角膜曲率中心１１０とする（ステップＳ２１０）。

曲率中心算出部２１４は、瞳孔中心１１２Ｃと角膜曲率中心１１０との距離１２６を算出して、記憶部２２０に記憶する（ステップＳ２１１）。記憶された距離は、ステップＳ３００の視線検出において、角膜曲率中心１１０を算出するために使用される。
（視線検出処理）
次に、視線検出処理について説明する。視線検出処理は、キャリブレーション処理の後に実施される。視線検出部２１６は、眼球１１１の画像データに基づいて、被験者の視線ベクトル及び注視点の位置データを算出する。

図２１は、本実施形態に係る視線検出処理の一例を説明するための模式図である。視線検出処理は、キャリブレーション処理（ステップＳ２００）で求めた瞳孔中心１１２Ｃと角膜曲率中心１１０との距離１２６を用いて、角膜曲率中心１１０の位置を補正すること、及び補正された角膜曲率中心１１０の位置データを使って注視点を算出することを含む。

図２１において、注視点１６５は、一般的な曲率半径値を用いて算出された角膜曲率中心から求めた注視点を示す。注視点１６６は、キャリブレーション処理で求められた距離１２６を用いて算出された角膜曲率中心から求めた注視点を示す。

瞳孔中心１１２Ｃは、キャリブレーション処理において算出された瞳孔中心を示し、角膜反射中心１１３Ｃは、キャリブレーション処理において算出された角膜反射中心を示す。

直線１７３は、仮想光源１０３Ｖと角膜反射中心１１３Ｃとを結ぶ直線である。角膜曲率中心１１０は、一般的な曲率半径値から算出した角膜曲率中心の位置である。

距離１２６は、キャリブレーション処理により算出した瞳孔中心１１２Ｃと角膜曲率中心１１０との距離である。

角膜曲率中心１１０Ｈは、距離１２６を用いて角膜曲率中心１１０を補正した補正後の角膜曲率中心の位置を示す。

角膜曲率中心１１０Ｈは、角膜曲率中心１１０が直線１７３上に存在すること、及び瞳孔中心１１２Ｃと角膜曲率中心１１０との距離が距離１２６であることから求められる。これにより、一般的な曲率半径値を用いる場合に算出される視線１７７は、視線１７８に補正される。また、表示装置１０１の表示画面１０１Ｓ上の注視点は、注視点１６５から注視点１６６に補正される。

図２２は、本実施形態に係る視線検出処理（ステップＳ３００）の一例を示すフローチャートである。なお、図２２に示すステップＳ３０１からステップＳ３０７までの処理は、図２０に示したステップＳ２０２からステップＳ２０８までの処理と同様であるため説明を省略する。

曲率中心算出部２１４は、ステップＳ３０７で算出した直線１７３上であって、瞳孔中心１１２Ｃからの距離がキャリブレーション処理によって求めた距離１２６と等しい位置を角膜曲率中心１１０Ｈとして算出する（ステップＳ３０８）。

視線検出部２１６は、瞳孔中心１１２Ｃと角膜曲率中心１１０Ｈとを結ぶ視線ベクトルを求める（ステップＳ３０９）。視線ベクトルは、被験者が見ている視線方向を示す。視線検出部２１６は、視線ベクトルと表示装置１０１の表示画面１０１Ｓとの交点の位置データを算出する（ステップＳ３１０）。視線ベクトルと表示装置１０１の表示画面１０１Ｓとの交点の位置データが、グローバル座標系で規定される表示画面１０１Ｓにおける被験者の注視点の位置データである。

視線検出部２１６は、グローバル座標系で規定される注視点の位置データを、二次元座標系で規定される表示装置１０１の表示画面１０１Ｓにおける位置データに変換する（ステップＳ３１１）。これにより、被験者が見つめる表示装置１０１の表示画面１０１Ｓ上の注視点の位置データが算出される。
［作用及び効果］
以上説明したように、本実施形態によれば、位置合わせ支援処理（ステップＳ１００）において、画像データ取得部２０２に取得された被験者の顔の画像データが画像処理部２０６において画像処理される。画像処理部２０６は、取得された画像データから、顔の特徴部画像１７４Ｍとメガネ反射画像１７２Ｍとを抽出して、合成画像１７６Ｍを生成する。画像処理部２０６において生成された合成画像１７６Ｍは、表示装置１０１に表示される。そのため、被験者又は測定者は、表示装置１０１に表示された合成画像１７６Ｍを見ながら、ステレオカメラ装置１０２の視野領域において光源１０３の反射像１７２と被験者の眼とが重ならないように、被験者の顔の位置又は向きを調整したり、被験者の顔に装着されているメガネ１７０の位置又は向きを調整したりすることができる。したがって、位置合わせ支援処理（ステップＳ１００）の後に実施される視線検出処理（ステップＳ３００）においては、ステレオカメラ装置１０２の視野領域において光源１０３の反射像１７２と被験者の眼とが重ならない状態で、視線検出が実施される。これにより、反射像１７２の影響が十分に抑制された状態で、瞳孔１１２及び角膜反射像１１３が良好に検出される。そのため、メガネ１７０を装着した被験者の視線の検出精度の低下が抑制される。

本実施形態においては、図１２に示したような生データが表示装置１０１に表示されるのではなく、図１７及び図１８に示したような合成画像１７６Ｍが表示装置１０１に表示される。本実施形態において、被験者に照射される検出光は赤外光である。赤外光が照射されたときの被験者の顔の生データは、可視光が照射されたときの被験者の顔の生データに比べて、被験者又は測定者に違和感又は嫌悪感を与える可能性が高い。例えば、赤外光が照射されたときの被験者の顔の生データにおいては、瞳孔が白く表示されたり、血管が浮き出るように表示されたり、髭が過度に黒く表示されたりして、被験者に違和感又は嫌悪感を与える可能性が高い。

本実施形態においては、被験者の顔の生データが画像処理されて合成画像１７６Ｍが生成され、生成された合成画像１７６Ｍが表示装置１０１に表示される。そのため、被験者又は測定者は、違和感又は嫌悪感を抱くことなく、表示装置１０１に表示された合成画像１７６Ｍを見ながら、被験者の顔の位置又は向きを調整したり、メガネ１７０の位置又は向きを調整したりすることができる。

また、幼児健診において視線検出装置１００が使用される場合、被験者及び測定者のみならず、保護者に違和感又は嫌悪感を与えることが抑制される。

また、本実施形態においては、２値化を含む画像処理により、生データからメガネ反射画像１７２Ｍが生成される。メガネ反射画像１７２Ｍが生成されることにより、メガネ１７０における赤外光の反射状態が明確に把握される。そのため、被験者又は測定者は、ステレオカメラ装置１０２の視野領域において光源１０３の反射像１７２と被験者の眼とが重ならないように、被験者の顔の位置又は向きを調整したり、被験者が装着しているメガネ１７０の位置又は向きを調整したりすることができる。

また、本実施形態においては、２値化及びエッジ検出を含む画像処理により、生データから輪郭画像１７４Ｍが生成される。上述のように、輪郭画像１７４Ｍは、被験者の顔の輪郭画像、被験者の瞼の輪郭画像、被験者の瞳孔の輪郭画像、被験者の鼻の孔の輪郭画像、被験者の口の輪郭画像、及び被験者の顔に装着されたメガネ１７０の輪郭画像の少なくとも一つを含む。これらの輪郭画像１７４Ｍは、被験者又は測定者がその輪郭画像１７４Ｍを見たとき、被験者の眼の位置を認識又は推測できる画像である。例えば、顔の輪郭画像が表示装置１０１に表示されれば、被験者又は測定者は、顔の輪郭画像に基づいて、被験者の眼のおおよその位置を認識又は推測することができる。同様に、例えば、鼻の孔の輪郭画像又はメガネ１７０の輪郭画像が表示装置１０１に表示されれば、被験者又は測定者は、鼻の孔の輪郭画像又はメガネ１７０の輪郭画像に基づいて、被験者の眼のおおよその位置を認識又は推測することができる。また、被験者の瞳孔の輪郭画像が表示装置１０１に表示されれば、被験者又は測定者は、被験者の眼の位置を認識することができる。被験者の眼の位置を認識又は推測できる輪郭画像１７４Ｍが表示装置１０１に表示されることにより、被験者又は測定者は、表示装置１０１に表示された輪郭画像１７４Ｍ及びメガネ反射画像１７２Ｍに基づいて、眼と反射像１７２との相対位置を認識することができ、ステレオカメラ装置１０２の視野領域において光源１０３の反射像１７２と被験者の眼とが重ならないように、被験者の顔の位置又は向きを調整したり、被験者が装着しているメガネ１７０の位置又は向きを調整したりすることができる。

また、本実施形態において、表示制御部２０８は、合成画像１７６Ｍにおいて、輪郭画像１７４Ｍとメガネ反射画像１７２Ｍとを異なる表示形態で表示装置１０１にさせる。上述のように、表示形態は、輝度、色、明度、及び彩度の少なくとも一つを含む。これにより、被験者又は測定者は、輪郭画像１７４Ｍとメガネ反射画像１７２Ｍとを十分に区別することができる。

また、本実施形態においては、表示制御部２０８は、メガネ反射画像１７２Ｍを輪郭画像１７４Ｍよりも高輝度で表示装置１０１に表示させる。これにより、被験者又は測定者は、メガネ反射画像１７２Ｍを迅速に認識することができる。

また、本実施形態においては、輝度についての第１閾値及び第１閾値よりも高い第２閾値が規定され、画像処理部２０６は、第２閾値以上の輝度のメガネ反射画像１７２Ｍを生成し、第１閾値よりも低い輝度の輪郭画像１７４Ｍを生成する。表示制御部２０８は、メガネ反射画像１７２Ｍを第２閾値以上の高輝度で表示装置１０１に表示させ、輪郭画像１７４Ｍを第１閾値よりも低輝度で表示装置１０１に表示させる。本実施形態においては、一例として、メガネ反射画像１７２Ｍの輝度を１００［％］とした場合、輪郭画像１７４Ｍの輝度が５０［％］に調整される。これにより、メガネ反射画像１７２Ｍの輝度と輪郭画像１７４Ｍの輝度との差が十分に設けられる。そのため、被験者又は測定者は、輪郭画像１７４Ｍとメガネ反射画像１７２Ｍとを十分に区別することができる。したがって、被験者又は測定者は、表示装置１０１に表示された合成画像１７６Ｍを見ながら、ステレオカメラ装置１０２の視野領域において光源１０３の反射像１７２と被験者の眼とを合致させないための調整を円滑に実施することができる。

また、本実施形態においては、表示装置１０１の表示画面１０１Ｓと被験者の顔との距離データが表示装置１０１に表示される。本実施形態においては、距離データとして、スケール１９０及びインジケータ１９２が表示装置１０１に表示される。表示装置１０１に表示される距離データは、視線検出処理において、被験者の顔がＺ軸方向の最適な位置に配置されるように、被験者又は測定者を支援する。したがって、被験者又は測定者は、表示装置１０１のインジケータ１９２を見ながら、表示装置１０１及びステレオカメラ装置１０２に対して最適な距離に被験者の顔を配置することができる。例えば、ステレオカメラ装置１０２の光学系の焦点位置が固定されている場合、被験者と表示装置１０１及びステレオカメラ装置１０２との距離が短過ぎると、視線検出処理において瞳孔１１２及び角膜反射像１１３を精度良く検出することが困難となる。また、被験者と表示装置１０１及びステレオカメラ装置１０２との距離が長過ぎると、ステレオカメラ装置１０２によって取得される被験者の眼の画像が小さくなってしまい、視線検出処理において瞳孔１１２及び角膜反射像１１３を精度良く検出することが困難となる。距離データが表示装置１０１に表示されることにより、被験者又は測定者は、表示装置１０１に表示された距離データを見ながら、Ｚ軸方向において最適な位置に被験者の顔を配置することができる。

また、本実施形態においては、表示制御部２０８は、表示装置１０１の表示画面１０１Ｓにおいて寸法及び位置が固定されたガイド線１８０を表示画面１０１Ｓに表示させる。表示装置１０１に表示されるガイド線１８０は、視線検出処理において、被験者の顔がＸ軸方向及びＹ軸方向の最適な位置に配置されるように、被験者を支援する。これにより、被験者又は測定者は、ガイド線１８０に基づいて、視線検出処理において被験者の顔を最適な位置に配置することができる。

なお、本実施形態においては、第１閾値及び第１閾値よりも高い第２閾値が規定され、メガネ反射画像１７２Ｍの輝度は第２閾値以上であり、輪郭画像１７４Ｍの輝度は第１閾値よりも低いこととした。輝度について１つの閾値が規定され、メガネ反射画像１７２Ｍの輝度が閾値以上であり、輪郭画像１７４Ｍの輝度が閾値未満でもよい。
＜第２実施形態＞
第２実施形態について説明する。以下の説明において、上述の実施形態と同一又は同等の構成要素については同一の符号を付し、その説明を簡略又は省略する。

上述の実施形態においては、位置合わせ支援処理において、光源１０３から一定の光量で検出光が射出され、輝度についての第１閾値及び第１閾値よりも高い第２閾値が規定され、第１閾値よりも低輝度の輪郭画像１７４Ｍと第２閾値よりも高輝度のメガネ反射画像１７２Ｍとを画像処理によって生成する例について説明した。

本実施形態においては、光源１０３から射出される検出光の光量が調整され、光量が調整された検出光が被験者の顔に照射されたときにステレオカメラ装置１０２で取得された画像データに基づいて、輪郭画像１７４Ｍ及びメガネ反射画像１７２Ｍが生成される例について説明する。

本実施形態において、画像処理部２０６は、光源１０３から第１光量の検出光が射出されたときにステレオカメラ装置１０２で取得された被験者の顔の画像データと、光源１０３から第１光量よりも大きい第２光量の検出光が射出されたときにステレオカメラ装置１０２で取得された被験者の顔の画像データとに基づいて、輪郭画像１７４Ｍ及びメガネ反射画像１７２Ｍを生成する。

本実施形態においては、位置合わせ支援処理において、第１光源１０３Ａから第１光量の検出光が射出され、第２光源１０３Ｂから第１光量よりも大きい第２光量の検出光が射出される。第１光源１０３Ａと第２光源１０３Ｂとは検出光を交互に射出する。ステレオカメラ装置１０２の第２カメラ１０２Ｂは、第１光源１０３Ａから検出光が射出されたときの被験者の顔の画像データを取得し、第１カメラ１０２Ａは、第２光源１０３Ｂから検出光が射出されたときの被験者の顔の画像データを取得する。

光源１０３から射出される検出光の光量は、光源１０３から射出される光の総量を示す全光束［ｌｍ］又は光度［ｃｄ］を含む。光量が大きい場合、被験者の顔に照射される検出光の照度は高くなる。光量が小さい場合、被験者の顔に照射される検出光の照度は低くなる。

図２３は、本実施形態に係る位置合わせ支援処理における第１カメラ１０２Ａ、第２カメラ１０２Ｂ、第１光源１０３Ａ、及び第２光源１０３Ｂの作動のタイミングを示すタイミングチャートである。図２３に示すように、第１光源１０３Ａと第２光源１０３Ｂとは検出光を交互に射出する。第１カメラ１０２Ａは、第２光源１０３Ｂからの検出光の射出と同期して、被験者の顔の画像データを取得する。第２カメラ１０２Ｂは、第１光源１０３Ａからの検出光の射出と同期して、被験者の顔の画像データを取得する。第１カメラ１０２Ａが画像データを取得するときに第２光源１０３Ｂから射出される検出光の光量は、第２カメラ１０２Ｂが画像データを取得するときに第１光源１０３Ａから射出される検出光の光量よりも大きい。

本実施形態においては、第１カメラ１０２Ａが作動したとき、すなわち第１カメラ１０２Ａのシャッターが開いたとき、第１カメラ１０２Ａの撮像素子に光が入射する。撮像素子に入射した光は電気信号に変換される。電気信号はＵＳＢ（universal serial bus）信号に変換された後、第２光源１０３Ｂを作動させるためにコンピュータシステム２０に転送される。すなわち、第１カメラ１０２Ａのシャッターが開くタイミングで、第１カメラ１０２Ａに対応した第２光源１０３Ｂから検出光が射出される。第２カメラ１０２Ｂ及び第１光源１０３Ａについても同様である。

なお、本実施形態においては、暗瞳孔を検出するため、第１カメラ１０２Ａが作動するとき、第１光源１０３Ａ及び第２光源１０３Ｂのうち第１カメラ１０２Ａから離れた位置に配置されている第２光源１０３Ｂから検出光が射出され、第２カメラ１０２Ｂが作動するとき、第１光源１０３Ａ及び第２光源１０３Ｂのうち第２カメラ１０２Ｂから離れた位置に配置されている第１光源１０３Ａから検出光が射出される。なお、明瞳孔を検出する場合、第１カメラ１０２Ａが作動するとき、第１光源１０３Ａ及び第２光源１０３Ｂのうち第１カメラ１０２Ａに近い位置に配置されている第１光源１０３Ａから検出光が射出され、第２カメラ１０２Ｂが作動するとき、第１光源１０３Ａ及び第２光源１０３Ｂのうち第２カメラ１０２Ｂに近い位置に配置されている第２光源１０３Ｂから検出光が射出される。

なお、第１カメラ１０２Ａ及び第２光源１０３Ｂが作動した後、第２カメラ１０２Ｂ及び第１光源１０３Ａが作動するまでの時間は短く、第２カメラ１０２Ｂ及び第１光源１０３Ａが作動した後、第１カメラ１０２Ａ及び第２光源１０３Ｂが作動するまでの時間は長い。第１カメラ１０２Ａ及び第２光源１０３Ｂが作動した後、第２カメラ１０２Ｂ及び第１光源１０３Ａが作動するまでの時間が短いので、ほぼ同じタイミングで左右のステレオ画像を取得することができる。

本実施形態においては、位置合わせ支援処理において、第１カメラ１０２Ａで取得された画像データに基づいて輪郭画像１７４Ｍが生成され、第２カメラ１０２Ｂで取得された画像データに基づいてメガネ反射画像１７２Ｍが生成される。換言すれば、第２光源１０３Ｂから射出された大光量の検出光が照射された被験者の顔の画像データに基づいて輪郭画像１７４Ｍが生成され、第１光源１０３Ａから射出された小光量の検出光が照射された被験者の顔の画像データに基づいてメガネ反射画像１７２Ｍが生成される。

第１カメラ１０２Ａで被験者の顔の画像データを取得するとき、被験者の顔は大光量の検出光で照明されている。そのため、第１カメラ１０２Ａで取得された画像データを規定の閾値に基づいて２値化した場合、例えば図１３に示したように、２値化された画像データの複数の画素の大部分が白色に変換される。すなわち、メガネ１７０のみならず被験者の顔全体が白色に変換される。２値化された画像データについてエッジ検出が実施されることにより、輪郭画像１７４Ｍが生成される。

一方、第２カメラ１０２Ｂで被験者の顔の画像データを取得するとき、被験者の顔は小光量の検出光で照明されている。そのため、第２カメラ１０２Ｂで取得された画像データを規定の閾値に基づいて２値化した場合、例えば図１６に示したように、２値化された画像データの複数の画素のうち反射像１７２に相当する画素のみが白色に変換され、被験者の顔に相当する画素は黒色に変換される。すなわち、小光量の検出光で照明された被験者の顔の画像データが２値化されることにより、メガネ反射画像１７２Ｍが生成される。

図２４は、本実施形態に係る位置合わせ支援処理の一例を示すフローチャートである。

光源制御部２１０は、第２光源１０３Ｂから大光量の検出光を射出させる。大光量の検出光で照明された被験者の顔の画像データは、第１カメラ１０２Ａによって取得される（ステップＳ１１１）。

画像データ取得部２０２は、第１カメラ１０２Ａから画像データを取得する。画像処理部２０６は、第１カメラ１０２Ａで取得された画像データである第１画像データを規定の閾値に基づいて２値化する（ステップＳ１１２）。これにより、図１３に示したような画像データが生成される。

画像処理部２０６は、２値化された第１画像データについてエッジ検出する。これにより、図１４に示したような輪郭画像１７４Ｍが生成される（ステップＳ１１３）。

次に、画像処理部２０６は、輪郭画像１７４Ｍの輝度調整を実施する（ステップＳ１１４）。画像処理部２０６は、輪郭画像１７４Ｍの輝度を低下させる。これにより、図１５に示したような輪郭画像１７４Ｍが生成される。

輝度調整された輪郭画像１７４Ｍは、記憶部２２０に記憶される（ステップＳ１１５）。

次に、位置検出部２１２は、第１画像データにおける左右の眼の瞳孔中心１１２Ｃの位置を算出する（ステップＳ１１６）。

次に、光源制御部２１０は、第１光源１０３Ａから小光量の検出光を射出させる。小光量の検出光で照明された被験者の顔の画像データは、第２カメラ１０２Ｂによって取得される（ステップＳ１１７）。

画像データ取得部２０２は、第２カメラ１０２Ｂから画像データを取得する。画像処理部２０６は、第２カメラ１０２Ｂで取得された画像データである第２画像データを規定の閾値に基づいて２値化する（ステップＳ１１８）。これにより、図１６に示したような画像データが生成される。すなわち、第２画像データが２値化されることにより、メガネ反射画像１７２Ｍが生成される。

本実施形態において、ステップＳ１１８で使用される第２画像データを２値化するための閾値と、ステップＳ１１２で使用される第１画像データを２値化するための閾値とは、同一の値である。

生成されたメガネ反射画像１７２Ｍは、記憶部２２０に記憶される（ステップＳ１１９）。

次に、画像処理部２０６は、記憶部２２０に記憶されている輪郭画像１７４Ｍとメガネ反射画像１７２Ｍとを合成する（ステップＳ１２０）。これにより、図１７に示したような合成画像１７６Ｍが生成される。

次に、位置検出部２１２は、第２画像データにおける左右の眼の瞳孔中心１１２Ｃの位置を算出する（ステップＳ１２１）。

次に、曲率中心算出部２１４は、ステップＳ１１６において第１画像データに基づいて算出した瞳孔中心１１２Ｃの位置データ及びステップＳ１２１において第２画像データに基づいて算出した瞳孔中心１１２Ｃの位置データの少なくとも一方に基づいて、グローバル座標系における瞳孔中心１１２Ｃの位置を算出する（ステップＳ１２２）。

次に、距離データ取得部２１８は、ステップＳ１２２で算出した瞳孔中心１１２Ｃの位置データに基づいて、表示装置１０１の表示画面１０１Ｓと被験者の顔との距離データを算出する（ステップＳ１２３）。

表示制御部２０８は、ステップＳ１２０において生成された合成画像１７６Ｍを表示装置１０１に表示させる（ステップＳ１２４）。また、表示制御部２０８は、ステップＳ１２３で算出された距離データを表示装置１０１に表示させる。上述の実施形態と同様、表示制御部２０８は、距離データとして、スケール１９０及びインジケータ１９２を表示装置１０１に表示させる。

なお、位置合わせ支援処理においては、表示装置１０１の表示画面１０１Ｓと被験者の顔とのおおよその距離データが分かればよい。したがって、ステップＳ１２２においては、左右の眼の瞳孔中心１１２Ｃの位置データのうち、いずれか一方の眼の瞳孔中心１１２Ｃの位置データに基づいて、表示装置１０１の表示画面１０１Ｓと被験者の顔との距離データが算出されてもよい。あるいは、左右の眼の瞳孔中心１１２Ｃの位置データの平均値に基づいて、表示装置１０１の表示画面１０１Ｓと被験者の顔との距離データが算出されてもよい。

以上説明したように、本実施形態によれば、位置合わせ支援処理において、光源１０３から射出される検出光の光量が変更される。これにより、画像処理において使用される輝度についての閾値は１つで済む。そのため、視線検出装置１００を制御するためのコンピュータプログラム２０Ｃの簡素化が図られる。例えば、位置合わせ処理において光源１０３の光量を変更するだけで、位置合わせ支援処理において使用されるコンピュータプログラム２０Ｃの内容と、視線検出処理において使用されるコンピュータプログラム２０Ｃの内容とに大きな差異を設けなくて済む。

なお、本実施形態においては、光源１０３から射出される検出光の光量を制御して、輪郭画像１７４Ｍ及びメガネ反射画像１７２Ｍを取得することとした。すなわち、第１カメラ１０２Ａで被験者の顔の画像データを取得するとき、被験者の顔を大光量の検出光で照明し、大光量の検出光で照明された被験者の顔の画像データに基づいて、輪郭画像１７４Ｍを生成し、第２カメラ１０２Ｂで被験者の顔の画像データを取得するとき、被験者の顔を小光量の検出光で照明し、小光量の検出光で照明された被験者の顔の画像データに基づいて、メガネ反射画像１７２Ｍを生成することとした。画像データ取得部２０２が検出光で照明された被験者の顔を撮影する第１，第２カメラ１０２Ａ、１０２Ｂから被験者の顔の画像データを取得するとき、画像処理部２０６は、第１，第２カメラ１０２Ａ，１０２Ｂで撮影され画像データ取得部２０２に取得された第１の露光量の被験者の顔の画像データと、第１の露光量よりも小さい第２の露光量の被験者の顔の画像データとに基づいて、特徴部画像１７４Ｍ及びメガネ反射画像１７２Ｍを生成してもよい。

第１，第２カメラ１０２Ａ，１０２Ｂによって取得される被験者の顔の画像データの露光量は、光源１０３の発光強度、光源１０３の発光時間、及び第１，第２カメラ１０２Ａ，１０２Ｂの露出値の少なくとも一つに基づいて調整可能である。上述のように、光源制御部２１０は、第１，第２光源１０３Ａ、１０３Ｂの発光強度及び第１，第２光源１０３Ａ，１０３Ｂの発光時間を制御することができる。カメラ制御部２１１は、第１，第２カメラ１０２Ａ、１０２Ｂのシャッター速度及び光学系の絞り値の少なくとも一方を制御して撮像素子における露出値を制御することができる。

第１カメラ１０２Ａで被験者の顔の画像データを取得するとき、光源制御部２１０が第２光源１０３Ｂの発光強度を強くしたり、光源制御部２１０が第２光源１０３Ｂの発光時間を長くしたり、カメラ制御部２１１が第１カメラ１０２Ａのシャッター速度を遅くしたり、カメラ制御部２１１が第１カメラ１０２Ａの光学系の絞り値を小さくしたりすることによって、第１カメラ１０２Ａに取得される被験者の顔の画像データの露光量を大きくし、画像処理部２０６が、大きい露光量の被験者の顔の画像データに基づいて、輪郭画像１７４Ｍを生成してもよい。また、第２カメラ１０２Ｂで被験者の顔の画像データを取得するとき、光源制御部２１０が第１光源１０３Ａの発光強度を弱くしたり、光源制御部２１０が第１光源１０３Ａの発光時間を短くしたり、カメラ制御部２１１が第２カメラ１０２Ｂのシャッター速度を速くしたり、カメラ制御部２１１が第２カメラ１０２Ｂの光学系の絞り値を大きくしたりすることによって、第２カメラ１０２Ｂに取得される被験者の顔の画像データの露光量を小さくし、画像処理部２０６が、小さい露光量の被験者の画像データに基づいて、メガネ反射画像１７２Ｍを生成してもよい。

なお、本実施形態においては、輪郭画像１７４Ｍは、第１カメラ１０２Ａによって取得される第１画像データから生成され、メガネ反射画像１７２Ｍは、第２カメラ１０２Ｂによって取得される第２画像データから生成される。輪郭画像１７４Ｍとメガネ反射画像１７２Ｍとが別々の画像データから生成されるものの、位置合わせを支援する観点から、十分な精度を有する合成画像１７６Ｍが生成される。

なお、上述の実施形態において、メガネ１７０のレンズは、視力調整機能を有する度付きレンズでもよいし、視力調整機能を有しない度無しレンズでもよい。また、メガネ１７０は、遮光機能を有してもよいし有しなくてもよい。本実施形態において、メガネ１７０はサングラスを含む。

また、メガネ１７０は被験者の顔に装着されていなくてもよい。本実施形態において、メガネ１７０とは、視線検出装置１００と被験者の眼との間に配置された、光透過機能を有する光学部材を含む概念である。

なお、上述の実施形態において、メガネ反射画像１７２Ｍは輪郭画像１７４Ｍよりも高輝度であることとした。メガネ反射画像１７２Ｍの輝度が、輪郭画像１７４Ｍの輝度と同一でもよいし、輪郭画像１７４Ｍの輝度よりも低くてもよい。メガネ反射画像１７２Ｍの輝度と輪郭画像１７４Ｍの輝度とが近似する場合、メガネ反射画像１７２Ｍと輪郭画像１７４Ｍとは異なる色で表示されることが好ましい。

なお、上述の実施形態においては、被験者の顔の特徴部画像が、エッジ検出によって生成される輪郭画像であることとした。特徴部画像は、被験者又は測定者がその特徴部画像を見たとき、被験者の眼の位置を認識又は推測できる画像であればよく、エッジ検出によって取得される輪郭画像でなくてもよい。

２０ コンピュータシステム、２０Ａ 演算処理装置、２０Ｂ 記憶装置、２０Ｃ コンピュータプログラム、３０ 入出力インターフェース装置、４０ 駆動回路、５０ 出力装置、６０ 入力装置、７０ 音声出力装置、１００ 視線検出装置、１０１ 表示装置、１０１Ｓ 表示画面、１０２ ステレオカメラ装置、１０２Ａ 第１カメラ、１０２Ａ 第２カメラ、１０３ 光源、１０３Ａ 第１光源、１０３Ｂ 第２光源、１０３Ｃ 光源、１０３Ｖ 仮想光源、１０９ 角膜曲率半径、１１０ 角膜曲率中心、１１１ 眼球、１１２ 瞳孔、１１２Ｃ 瞳孔中心、１１３ 角膜反射像、１１３Ｃ 角膜反射中心、１２１ 角膜反射中心、１２２ 角膜反射中心、１２３ 直線、１２４ 角膜反射中心、１２６ 距離、１３０ 目標位置、１６５ 注視点、１６６ 注視点、１７０ メガネ、１７２ 反射像、１７２Ｍ メガネ反射画像、１７４Ｍ 輪郭画像（特徴部画像）、１７６Ｍ 合成画像、１８０ ガイド線、１９０ スケール、１９２ インジケータ、２０２ 画像データ取得部、２０４ 入力データ取得部、２０６ 画像処理部、２０８ 表示制御部、２１０ 光源制御部、２１１ カメラ制御部、２１２ 位置検出部、２１４ 曲率中心算出部、２１６ 視線検出部、２１８ 距離データ取得部、２２０ 記憶部、２２２ 出力制御部、３０２ 入出力部、４０２ 表示装置駆動部、４０４Ａ 第１カメラ入出力部、４０４Ｂ 第２カメラ入出力部、４０６ 光源駆動部。

Claims (12)

1. 光源から射出された検出光が照射される被験者の顔の画像データを取得する画像データ取得部と、
   前記画像データに基づいて前記被験者の視線を検出する視線検出部と、
   前記画像データを画像処理して前記顔の特徴部画像、及び前記被験者の目と前記光源との間に配置された光透過機能を有する光学部材における前記光源の反射像を示す反射画像を生成する画像処理部と、
   前記特徴部画像と前記反射画像とが合成された合成画像を表示装置に表示させる表示制御部と、
   を備える視線検出装置。
2. 前記表示制御部は、前記特徴部画像と前記反射画像とを、輝度、色、明度、及び彩度の少なくとも一つが異なる表示形態で前記表示装置に表示させる
   請求項１に記載の視線検出装置。
3. 前記特徴部画像は、前記顔における輪郭画像を含む、
   請求項１又は請求項２に記載の視線検出装置。
4. 前記表示制御部は、前記反射画像を前記特徴部画像よりも高輝度で前記表示装置に表示させる、
   請求項１又は請求項３に記載の視線検出装置。
5. 第１閾値及び前記第１閾値よりも高い第２閾値が規定され、
   前記画像処理部は、前記第２閾値以上の高輝度の前記反射画像を生成し、前記第１閾値以下の低輝度の前記特徴部画像を生成する、
   請求項１、請求項３又は請求項４に記載の視線検出装置。
6. 前記画像データ取得部は、前記検出光で照明された前記顔を撮影するカメラから前記画像データを取得し、
   前記画像処理部は、前記カメラで取得された第１の露光量の前記画像データと、前記第１の露光量よりも小さい第２の露光量の画像データとに基づいて、前記特徴部画像及び前記反射画像を生成する、
   請求項１から請求項５のいずれか一項に記載の視線検出装置。
7. 前記光源の発光強度及び前記光源の発光時間を制御する光源制御部と、
   前記カメラにおける前記検出光の露出値を制御するカメラ制御部と、を備え、
   前記画像データの露光量は、前記光源の発光強度、前記光源の発光時間、及び前記カメラの露出値の少なくとも一つに基づいて調整される、
   請求項６に記載の視線検出装置。
8. 前記画像処理部は、前記光源から第１光量の前記検出光が射出されたときに取得された前記画像データと、前記光源から前記第１光量よりも大きい第２光量の前記検出光が射出されたときに取得された前記画像データとに基づいて、前記特徴部画像及び前記反射画像を生成し、
   前記光源は、異なる位置に配置された第１光源及び第２光源を含み、
   前記第１光源から第１光量の前記検出光が射出され、前記第２光源から前記第２光量の前記検出光が射出され、
   前記第１光源と前記第２光源とは前記検出光を交互に射出する、
   請求項１から請求項５のいずれか一項に記載の視線検出装置。
9. 前記表示装置の表示画面と前記顔との距離データを取得する距離データ取得部を備え、
   前記表示制御部は、前記距離データを前記表示装置に表示させる、
   請求項１から請求項８のいずれか一項に記載の視線検出装置。
10. 前記表示制御部は、前記表示装置の表示画面において寸法及び位置が固定されたガイド線を前記表示装置に表示させる、
    請求項１から請求項９のいずれか一項に記載の視線検出装置。
11. 光源から射出された検出光が照射される被験者の顔の画像データを取得することと、
    前記画像データを画像処理して前記顔の特徴部画像、及び前記被験者の目と前記光源との間に配置された光透過機能を有する光学部材における前記光源の反射像を示す反射画像を生成することと、
    前記特徴部画像と前記反射画像とが合成された合成画像を表示装置に表示させることと、
    前記画像データに基づいて前記被験者の視線を検出することと、
    を含む視線検出方法。
12. コンピュータに、
    光源から射出された検出光が照射される被験者の顔の画像データを取得することと、
    前記画像データを画像処理して前記顔の特徴部画像、及び前記被験者の目と前記光源との間に配置された光透過機能を有する光学部材における前記光源の反射像を示す反射画像を生成することと、
    前記特徴部画像と前記反射画像とが合成された合成画像を表示装置に表示させることと、
    前記画像データに基づいて前記被験者の視線を検出することと、
    を実行させるコンピュータプログラム。

Images