JP2024120464A - 瞳孔検出装置及び瞳孔検出方法 - Google Patents

Abstract

【課題】装置の小型化を容易に実現すること。
【解決手段】瞳孔検出装置１は、カメラ１０_Ｌと、カメラ１０_Ｌに並んで配置されたカメラ１０_Ｒと、カメラ１０_Ｌに設けられた光源１３_Ｌと、カメラ１０_Ｒに設けられた光源１３_Ｒと、光源の点灯のタイミングを制御し、画像データを処理する本体部２０と、を備え、本体部２０は、光源１３_Ｌ及び光源１３_Ｒのそれぞれを点灯させた連続したタイミングで、カメラ１０_Ｌから第１の明瞳孔画像を、カメラ１０_Ｒから第２の明瞳孔画像を取得し、光源１３_Ｒ及び光源１３_Ｌのそれぞれを点灯させた連続したタイミングで、カメラ１０_Ｌから第１の暗瞳孔画像を、カメラ１０_Ｒから第２の暗瞳孔画像を取得し、第１の明瞳孔画像と第１の暗瞳孔画像との演算画像を基にカメラ１０_Ｌの画像上の対象者の瞳孔位置を検出し、第２の明瞳孔画像と第２の暗瞳孔画像との演算画像を基にカメラ１０_Ｒの眼画像上の対象者の瞳孔位置を検出する。
【選択図】図１

Description

本発明は、人の画像から瞳孔を検出する瞳孔検出装置及び瞳孔検出方法に関する。

近年、視線検出等を目的として、近赤外光源等の光源とビデオカメラを使用して得られた画像から人の瞳孔の位置を検出する装置が普及しつつある（下記特許文献１）。この装置は、２台の光学系を有し、それぞれの光学系に、近赤外に感度を有するカメラと、カメラの開口部周りに配置された比較的短波長の近赤外波長の光源と、カメラの開口部から離れた位置に配置された比較的長波長の近赤外波長の光源とを備えている。そして、短波長の光源から光を対象者の顔に照射して画像（明瞳孔画像）を取得し、長波長の光源から光を対象者の顔に照射して画像（暗瞳孔画像）を取得する。その後、それらの画像を利用して差分画像を算出することにより、対象者の瞳孔の位置を検出する。

特開２０２２－１３１３４５号公報

上述したような従来の装置では、光学系が大掛かりな構成を有するため、装置の小型化が難しい場合があった。特に、瞳孔位置の検出機能をスマートフォン、タブレット端末等の小型端末に具備させることには限界がある。

本発明は、上記課題に鑑みて為されたものであり、装置の小型化を容易に実現することが可能な瞳孔検出装置及び瞳孔検出方法を提供することを目的とする。

上記課題を解決するため、本発明の一形態にかかる瞳孔検出装置は、対象者の眼を撮像することにより眼画像を取得する第１のカメラと、第１のカメラに並んで配置され、眼画像を取得する第２のカメラと、第１のカメラの開口部の外側周辺に設けられた第１の光源と、第２のカメラの開口部の外側周辺に設けられた第２の光源と、第１の光源及び第２の光源の点灯のタイミングを制御する制御部、及び、第１のカメラによって取得された眼画像及び第２のカメラによって取得された眼画像を処理して、眼画像上の対象者の瞳孔位置を検出する算出部を含む制御装置と、を備え、算出部は、制御部により第１の光源を点灯させた第１の明瞳孔取得タイミングで、第１のカメラによって取得された眼画像である第１の明瞳孔画像を取得し、制御部により第２の光源を点灯させた、第１の明瞳孔取得タイミングに対して連続したタイミングである第２の明瞳孔取得タイミングで、第２のカメラによって取得された眼画像である第２の明瞳孔画像を取得し、制御部により第２の光源を点灯させた第１の暗瞳孔取得タイミングで、第１のカメラによって取得された眼画像である第１の暗瞳孔画像を取得し、制御部により第１の光源を点灯させた、第１の暗瞳孔取得タイミングに対して連続した第２の暗瞳孔取得タイミングで、第２のカメラによって取得された眼画像である第２の暗瞳孔画像を取得し、第１の明瞳孔画像と第１の暗瞳孔画像とを演算した演算画像を基に第１のカメラの眼画像上の対象者の瞳孔位置を検出し、第２の明瞳孔画像と第２の暗瞳孔画像とを演算した演算画像を基に第２のカメラの眼画像上の対象者の瞳孔位置を検出する。

あるいは、本発明の他の形態にかかる瞳孔検出方法は、対象者の眼を撮像することにより眼画像を取得する第１のカメラと、第１のカメラに並んで配置され、眼画像を取得する第２のカメラと、第１のカメラの開口部の外側周辺に設けられた第１の光源と、第２のカメラの開口部の外側周辺に設けられた第２の光源と、第１の光源及び第２の光源の点灯のタイミングの制御、及び、第１のカメラによって取得された眼画像及び第２のカメラによって取得された眼画像を基にした眼画像上の対象者の瞳孔位置の検出処理を実行する制御装置と、を用いた瞳孔検出方法であって、第１の光源を点灯させた第１の明瞳孔取得タイミングで、第１のカメラによって取得された眼画像である第１の明瞳孔画像を取得し、第２の光源を点灯させた、第１の明瞳孔取得タイミングに対して連続したタイミングである第２の明瞳孔取得タイミングで、第２のカメラによって取得された眼画像である第２の明瞳孔画像を取得し、第２の光源を点灯させた第１の暗瞳孔取得タイミングで、第１のカメラによって取得された眼画像である第１の暗瞳孔画像を取得し、第１の光源を点灯させた、第１の暗瞳孔取得タイミングに対して連続した第２の暗瞳孔取得タイミングで、第２のカメラによって取得された眼画像である第２の暗瞳孔画像を取得し、第１の明瞳孔画像と第１の暗瞳孔画像とを演算した演算画像を基に第１のカメラの眼画像上の対象者の瞳孔位置を検出し、第２の明瞳孔画像と第２の暗瞳孔画像とを演算した演算画像を基に第２のカメラの眼画像上の対象者の瞳孔位置を検出する。

上記形態の瞳孔検出装置あるいは瞳孔検出方法によれば、第１のカメラの開口部及び第２のカメラの開口部の外側周辺にそれぞれ配置された第１の光源及び第２の光源が互いに連続して点灯され、これらの点灯タイミングに合わせて第１のカメラ及び第２のカメラで眼画像が取得されることにより、瞳孔が相対的に明るく写った第１の明瞳孔画像及び第２の明瞳孔画像が連続して得られる。加えて、第２の光源及び第１の光源が互いに連続して点灯され、これらの点灯タイミングに合わせて第１のカメラ及び第２のカメラで眼画像が取得されることにより、瞳孔が相対的に暗く写った第１の暗瞳孔画像及び第２の暗瞳孔画像が連続して得られる。このようにして取得された第１の明瞳孔画像と第１の暗瞳孔画像とを基に演算画像が演算されることによって第１のカメラの眼画像上の対象者の瞳孔位置が検出され、取得された第２の明瞳孔画像と第２の暗瞳孔画像とを基に演算画像が演算されることによって第２のカメラの眼画像上の対象者の瞳孔位置が検出される。このような構成により、カメラの周辺に配置される光源の構成を単純化することができ、装置全体の小型化を容易に実現することができる。また、２つのカメラ間で連続して取得された画像を基にした演算画像を演算することによって、２つの眼画像上で検出される瞳孔位置の検出タイミングを揃えることができ、対象者の瞳孔の三次元位置を安定して検出することができる。

ここで、制御部は、第１の明瞳孔取得タイミングで第２の光源を点灯させ、第２の明瞳孔取得タイミングで第１の光源を点灯させ、算出部は、第１の明瞳孔取得タイミングで得られた第１の明瞳孔画像、及び第２の明瞳孔取得タイミングで得られた第２の明瞳孔画像を基に、対象者の角膜反射像の位置を検出する、こととしてもよい。例えば、周辺環境が暗く、対象者の瞳孔面積が大きくなった場合等において、瞳孔輝度を調整するために第１のカメラで明瞳孔画像を得る際に第１の光源の光量を下げるように調整される場合がある。このような場合であっても、第１の光源に加えて第２の光源を点灯させることにより、対象者の顔全体の輝度を保つことができる。その結果、演算画像を基にして、瞳孔の位置の変化を安定して検出することができるとともに、明瞳孔画像を基にした角膜反射像の位置も安定して検出することができる。

また、算出部は、第１の明瞳孔画像上における角膜反射像の推定位置を計算し、推定位置を、第１の明瞳孔取得タイミングにおける第１の光源の光量及び第２の光源の光量を基に補正することによって、第１の明瞳孔画像上の角膜反射像の位置を検出し、第２の明瞳孔画像上における角膜反射像の推定位置を計算し、推定位置を、第２の明瞳孔取得タイミングにおける第２の光源の光量及び第１の光源の光量を基に補正することによって、第２の明瞳孔画像上の角膜反射像の位置を検出する、こととしてもよい。明瞳孔取得時に２つの光源を点灯させた場合には、眼画像上で現れる角膜反射像が広がってしまい、２つの光源の光量の関係によっては角膜反射像の推定位置も変動する。この場合に、角膜反射像の推定位置を２つの光源の光量を基に補正することによって、明瞳孔画像上の角膜反射像の位置を、光源の光量によってぶれることなしに安定して検出することができる。

また、算出部は、第１のカメラの眼画像上で検出した瞳孔位置及び角膜反射像の位置を基に対象者の第１の視線を検出し、第２のカメラの眼画像上で検出した瞳孔位置及び角膜反射像の位置を基に対象者の第２の視線を検出する、こととしてもよい。この場合、２つのカメラで取得されたそれぞれの眼画像を基に、対象者の視線を安定して検出することができる。

また、算出部は、第１の視線に基づいた注視点と第２の視線に基づいた注視点の平均を計算することにより対象者の注視点を取得する、こととしてもよい。こうすれば、２つの光源の光量の関係によって検出される角膜反射像の位置にぶれが生じた場合であって、それを基に取得された注視点にぶれが生じた場合であっても、２つのカメラで取得された眼画像を基にした注視点の平均を計算することによって、そのぶれを打ち消すことができる。その結果、精度の高い注視点を取得することができる。

また、第１の光源と第２の光源は、中心波長が同一の光源である、こととしてもよい。この場合には、２つのカメラで明瞳孔画像及び暗瞳孔画像を取得する際の観察条件を揃えることができる。そのため、例えば、太陽光等の外乱光をフィルタによって遮断する等の構成を採用することができ、瞳孔検出の精度を高めるための構成の自由度が向上する。

また第１のカメラと第２のカメラとの中間位置に設けられた第３の光源をさらに備え、制御部は、第１の明瞳孔取得タイミング及び第２の明瞳孔取得タイミングにおいて第３の光源を点灯させる、こととしてもよい。かかる構成を採れば、明瞳孔画像を取得する際に２つの光源のみでは角膜反射像の輝度が不足する場合であってもその輝度を向上させることができる。その結果、演算画像を基にした瞳孔位置の検出精度を維持しながら、角膜反射像の位置の精度も向上させることができる。

実施形態の瞳孔検出装置は、［１］「対象者の眼を撮像することにより眼画像を取得する第１のカメラと、前記第１のカメラに並んで配置され、前記眼画像を取得する第２のカメラと、前記第１のカメラの開口部の外側周辺に設けられた第１の光源と、前記第２のカメラの開口部の外側周辺に設けられた第２の光源と、前記第１の光源及び前記第２の光源の点灯のタイミングを制御する制御部、及び、前記第１のカメラによって取得された前記眼画像及び前記第２のカメラによって取得された眼画像を処理して、前記眼画像上の前記対象者の瞳孔位置を検出する算出部を含む制御装置と、を備え、前記算出部は、前記制御部により前記第１の光源を点灯させた第１の明瞳孔取得タイミングで、前記第１のカメラによって取得された前記眼画像である第１の明瞳孔画像を取得し、前記制御部により前記第２の光源を点灯させた、前記第１の明瞳孔取得タイミングに対して連続したタイミングである第２の明瞳孔取得タイミングで、前記第２のカメラによって取得された前記眼画像である第２の明瞳孔画像を取得し、前記制御部により前記第２の光源を点灯させた第１の暗瞳孔取得タイミングで、前記第１のカメラによって取得された前記眼画像である第１の暗瞳孔画像を取得し、前記制御部により前記第１の光源を点灯させた、前記第１の暗瞳孔取得タイミングに対して連続した第２の暗瞳孔取得タイミングで、前記第２のカメラによって取得された前記眼画像である第２の暗瞳孔画像を取得し、前記第１の明瞳孔画像と第１の暗瞳孔画像とを演算した演算画像を基に前記第１のカメラの前記眼画像上の前記対象者の瞳孔位置を検出し、前記第２の明瞳孔画像と第２の暗瞳孔画像とを演算した演算画像を基に前記第２のカメラの前記眼画像上の前記対象者の瞳孔位置を検出する、瞳孔検出装置」である。

実施形態の瞳孔検出装置は、［２］「前記制御部は、第１の明瞳孔取得タイミングで前記第２の光源を点灯させ、第２の明瞳孔取得タイミングで前記第１の光源を点灯させ、前記算出部は、前記第１の明瞳孔取得タイミングで得られた第１の明瞳孔画像、及び前記第２の明瞳孔取得タイミングで得られた第２の明瞳孔画像を基に、前記対象者の角膜反射像の位置を検出する、上記［１］記載の瞳孔検出装置」であってもよい。

実施形態の瞳孔検出装置は、［３］「算出部は、第１の明瞳孔画像上における角膜反射像の推定位置を計算し、前記推定位置を、前記第１の明瞳孔取得タイミングにおける第１の光源の光量及び第２の光源の光量を基に補正することによって、前記第１の明瞳孔画像上の前記角膜反射像の位置を検出し、第２の明瞳孔画像上における角膜反射像の推定位置を計算し、前記推定位置を、前記第２の明瞳孔取得タイミングにおける第２の光源の光量及び第１の光源の光量を基に補正することによって、前記第２の明瞳孔画像上の前記角膜反射像の位置を検出する、上記［２］記載の瞳孔検出装置」であってもよい。

実施形態の瞳孔検出装置は、［４］「前記算出部は、前記第１のカメラの前記眼画像上で検出した前記瞳孔位置及び前記角膜反射像の位置を基に前記対象者の第１の視線を検出し、前記第１のカメラの前記眼画像上で検出した前記瞳孔位置及び前記角膜反射像の位置を基に前記対象者の第２の視線を検出する、上記［２］又は［３］に記載の瞳孔検出装置」であってもよい。

実施形態の瞳孔検出装置は、［５］「前記算出部は、前記第１の視線に基づいた注視点と前記第２の視線に基づいた注視点の平均を計算することにより前記対象者の注視点を取得する、上記［４］に記載の瞳孔検出装置」であってもよい。

実施形態の瞳孔検出装置は、［６］「前記第１の光源と前記第２の光源は、中心波長が同一の光源である、上記［１］～［５］のいずれかに記載の瞳孔検出装置」であってもよい。

実施形態の瞳孔検出装置は、［７］「前記第１のカメラと前記第２のカメラとの中間位置に設けられた第３の光源をさらに備え、前記制御部は、前記第１の明瞳孔取得タイミング及び前記第２の明瞳孔取得タイミングにおいて前記第３の光源を点灯させる、上記［１］～［６］のいずれかに記載の瞳孔検出装置」であってもよい。

本開示によれば、装置の小型化を容易に実現することができる。

実施形態にかかる瞳孔検出装置を示す平面図である。 実施形態に係る画像処理装置のハードウェア構成を示す図である。 実施形態に係る瞳孔検出装置の機能構成を示すブロック図である。 図３の点灯制御部２１及び画像取得部２２による、光源の点灯制御及び画像データの取得制御のタイミングを示すタイミングチャートである。 画像取得部２２によって取得された明瞳孔画像上の角膜反射像の横方向の一次元輝度分布を示す図である。 算出部２３による角膜反射像の位置補正のメカニズムを説明するための概念図である。 算出部２３による角膜反射像の位置補正のメカニズムを説明するための概念図である。 算出部２３による注視点平均化処理のイメージを示す図である。 瞳孔検出装置１による瞳孔検出処理の動作手順を示すフローチャートである。 変形例における光源の点灯制御及び画像データの取得制御のタイミングを示すタイミングチャートである。 変形例における光源の点灯制御及び画像データの取得制御のタイミングを示すタイミングチャートである。 変形例に係る瞳孔検出装置１Ａの平面図である。 瞳孔検出装置１における検出結果の出力例を示す図である。

以下、図面を参照しつつ本発明に係る瞳孔検出装置及び瞳孔検出方法の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。

まず、図１～３を用いて、本開示の実施形態に係る瞳孔検出装置１の構成を説明する。瞳孔検出装置１は、対象者の眼を撮像することで対象者の瞳孔の位置を検出するコンピュータシステムである。対象者とは、瞳孔の位置を検出する対象となる人であり、被験者ともいうことができる。瞳孔検出装置１の利用目的は何ら限定されず、例えば、よそ見運転の検出、運転者のサイドミラーやルームミラーの安全確認動作の確認、運転者の眠気の検出、商品の興味の度合いの調査、アミューズメント装置等に利用されるコンピュータへのデータ入力、乳幼児の自閉症診断等の診断用装置などに瞳孔検出装置１を利用することができる。

図１に模式的に示すように、瞳孔検出装置１は、例えば、スマートフォン、タブレット端末等の情報表示用のディスプレイを備えた小型の情報処理端末上に実現することができる。瞳孔検出装置１は、表面にディスプレイ３が取り付けられた本体部（制御装置）２０と、本体部２０の表面上のディスプレイ３の近傍に並んで埋め込まれたステレオカメラとして機能する一対のカメラ（第１のカメラおよび第２のカメラ）１０とを備える。以下では、必要に応じて、一対のカメラ１０を、瞳孔検出装置１を操作する対象者から見て左側にあるカメラ（第１のカメラ）１０_Ｌと、対象者から見て右側にあるカメラ（第２のカメラ）１０_Ｒとに区別する。本実施形態では、瞳孔検出装置１は、対象者が見る対象であるディスプレイ３を備えるが、瞳孔検出装置１の利用目的は上記のように限定されないので、ディスプレイ３は瞳孔検出装置１における必須の要素ではない。それぞれのカメラ１０は本体部２０とデータ通信可能に接続され、カメラ１０と本体部２０との間で各種のデータまたは命令が送受信される。

カメラ１０は対象者の瞳孔およびその周辺を含む眼を撮影するために用いられる。一対のカメラ１０は、瞳孔検出装置１を操作する際の対象者から見て水平方向に沿って所定の間隔をおいて並ぶように、かつ、対象者が眼鏡をかけているときの顔画像における反射光の写り込みを防止する目的で対象者の顔より低い位置になるように配置される。

本実施形態では、カメラ１０は、それぞれ、所定の解像度（例えば、６４０ピクセル×４８０ピクセル）の画像を所定の時間間隔（例えば、４０ｆｐｓの時間間隔）で撮像可能な撮像装置である。カメラ１０は、本体部２０からの命令に応じて対象者を撮像し、画像データを本体部２０に出力する。

また、カメラ１０_Ｌにおいては、対物レンズが矩形状の開口部１２に収容され、開口部１２の外側周辺に４つの光源（第１の光源）１３_Ｌが等間隔で取り付けられている。同様に、カメラ１０_Ｒにおいては、対物レンズが矩形状の開口部１２に収容され、開口部１２の外側周辺に４つの光源（第２の光源）１３_Ｒが等間隔で取り付けられている。光源１３_Ｌ，１３_Ｒは、対象者の眼に向けて照明光を照射するための機器であり、出力光の中心波長が８５０ｎｍで同一の半導体発光素子（ＬＥＤ）である。カメラ１０_Ｌの光軸から光源１３_Ｌまでの距離は、カメラ１０_Ｒの光軸から光源１３_Ｒまでの距離と等しい。それぞれの光源１３_Ｌ，１３_Ｒは、カメラ１０_Ｌ，１０_Ｒの光軸に沿って照明光を出射するように設けられる。光源１３_Ｌ，１３_Ｒは、それぞれ、本体部２０からの命令に応じたタイミング及び期間で照明光を出射する。なお、光源１３_Ｌ，１３_Ｒは、対象者に照射された際に瞳孔以外の背景が同じ明るさとなるように予めそれぞれの出射する照明光の輝度が設定される。

光源１３_Ｌは、カメラ１０_Ｌにおいて明瞳孔画像を得るため、及びカメラ１０_Ｒにおいて暗瞳孔画像を得るための照明光を、対象者の顔に向けて照射するための光源である。明瞳孔画像とは、後述の暗瞳孔画像と比較して対象者の瞳孔が相対的に明るく写った画像をいう。暗瞳孔画像とは、明瞳孔画像と比較して対象者の瞳孔が相対的に暗く写った画像をいう。また、光源１３_Ｌは、カメラ１０_Ｌにおいて暗瞳孔画像の取得時に、眼鏡反射を生じさせて差分画像において眼鏡反射を相殺させるための光源としても共用される。また、光源１３_Ｌは、カメラ１０_Ｒにおいて明瞳孔画像の取得時に、角膜反射像を生じさせるための光源としても共用される。

光源１３_Ｒは、カメラ１０_Ｒにおいて明瞳孔画像を得るため、及びカメラ１０_Ｌにおいて暗瞳孔画像を得るための照明光を、対象者の顔に向けて照射するための光源である。また、光源１３_Ｒは、カメラ１０_Ｒにおいて暗瞳孔画像の取得時に、眼鏡反射を生じさせて差分画像において眼鏡反射を相殺させるための光源としても共用される。また、光源１３_Ｒは、カメラ１０_Ｌにおいて明瞳孔画像の取得時に、角膜反射像を生じさせるための光源としても共用される。

本体部２０は、カメラ１０及び光源１３_Ｌ，１３_Ｒの制御と、対象者の瞳孔位置および視線方向の検出とを実行する情報処理装置（コンピュータ）である。本体部２０の一般的なハードウェア構成を図２に示す。本体部２０は、オペレーティングシステムやアプリケーション・プログラムなどを実行するＣＰＵ（プロセッサ）１０１と、ＲＯＭおよびＲＡＭで構成される主記憶部１０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部１０３と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部１０４と、マイク、ＩＣカードなどの入力装置１０５と、タッチパネルディスプレイなどの出力装置１０６とを備える。この出力装置１０６の表示部分がディスプレイ３（図１）を構成する。

後述する本体部２０の各機能要素は、ＣＰＵ１０１または主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出しおよび書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２または補助記憶部１０３内に格納される。

図３に示すように、本体部２０は機能的構成要素として点灯制御部２１、画像取得部２２、及び算出部２３を備える。点灯制御部２１は、光源１３_Ｌ，１３_Ｒの点灯タイミング及びカメラ１０_Ｌ，１０_Ｒの露光期間内の光源１３_Ｌ，１３_Ｒの発光量を制御する機能要素である。本実施形態では、点灯制御部２１は、光源１３_Ｌ，１３_Ｒの発光量をそれぞれの点灯期間を設定することによって制御している。画像取得部２２は、カメラ１０の撮影タイミングを光源１３_Ｌ，１３_Ｒの点灯タイミングに同期して制御することで、カメラ１０から画像データ（眼画像のデータ）を取得する機能要素である。算出部２３は、画像データを基に、対象者の瞳孔の三次元位置および対象者の視線方向として視線ベクトルを検出する機能要素である。算出部２３は、同等な処理を画像データ上の対象者の左右の眼部について繰り返すことにより、対象者の左右の瞳孔の三次元位置、および対象者の左右の眼の視線方向を検出する機能を有する。対象者の視線とは、対象者の瞳孔中心と該対象者の注視点（対象者が見ている点）とを結ぶ線である。なお、「視線」という用語は、起点、終点、および方向の意味（概念）を含む。また、「視線ベクトル」とは、対象者の視線の方向をベクトルで表したもので、「視線方向」を表す一形態である。本体部２０の検出結果の瞳孔位置及び視線方向の出力先は何ら限定されない。例えば、本体部２０は検出結果を画像、図形、またはテキストでディスプレイ３上に表示してもよいし、メモリやデータベースなどの記憶装置に格納してもよいし、通信ネットワーク経由で他のコンピュータシステムに送信してもよい。

以下、図４を参照して、点灯制御部２１及び画像取得部２２による、光源１３_Ｌ，１３_Ｒの点灯制御、及び画像データの取得制御の詳細について説明する。図４において、（ａ）部にはカメラ１０_Ｌの撮影タイミング、（ｂ）部にはカメラ１０_Ｒの撮影タイミング、（ｃ）部には光源１３_Ｌの点灯タイミング、（ｄ）部には光源１３_Ｒの点灯タイミングをそれぞれ示している。ここでは、撮影タイミングの期間及び点灯タイミングの期間がパルス波形で示され、点灯タイミング時の光源の１０_Ｌ，１０_Ｒの輝度がパルス波形で示されている。つまり、（ｃ）部及び（ｂ）部に示すパルス波形の幅が、画像に反映される対象者の顔上の輝度を表している。

なお、本実施形態では、上述したように、点灯制御部２１は、光源１３_Ｌ及び光源１３_Ｒのそれぞれの光量を、それぞれに供給する電流値は一定に維持しておいて、点灯期間を変化させることによって調整している。光源１３_Ｌ及び光源１３_Ｒのそれぞれに供給する電流値は、次のようにして予め設定されている。すなわち、カメラ１０_Ｌによって顔画像を取得させながら、光源１３_Ｌを所定の点灯期間で点灯させ、別のタイミングでカメラ１０_Ｒによって顔画像を取得させながら、光源１３_Ｒを同じ所定の点灯期間で点灯させる。そして、両カメラ１０_Ｌ，１０_Ｒのそれぞれで取得される顔画像上のある程度の広さの同じ領域の輝度平均値が同一になるように、２つの光源１３_Ｌ，１３_Ｒの電流値が設定される。このようにすれば、カメラ１０_Ｌで取得される顔画像とカメラ１０_Ｒで取得される顔画像との間の輝度バランスを容易に取ることができる。

対象者の瞳孔検出処理が開始されると、画像取得部２２は、所定の露光期間の撮影タイミング（第１の明瞳孔取得タイミング）Ｐ_Ｂ１で、カメラ１０_Ｌが画像データを取得するように制御する。それとともに、点灯制御部２１は、第１の明瞳孔取得タイミングＰ_Ｂ１内の点灯期間Ｔ_Ｂで光源１３_Ｌを点灯させるように制御するとともに、第１の明瞳孔取得タイミングＰ_Ｂ１内の点灯期間Ｔ_Ｃで光源１３_Ｒを点灯させるように制御する。

これにより、カメラ１０_Ｌによって第１の明瞳孔画像が取得される。これは、次のような性質によるものである。つまり、対象者の眼球への照明光がカメラ１０_Ｌの光軸に相対的に近い光源１３_Ｌの位置から入射した場合には、眼球の瞳孔から入射し、眼球内部で反射されて再び瞳孔を通過した照明光がカメラ１０_Ｌに届きやすいため、瞳孔が相対的に明るく映るという性質である。また、第１の明瞳孔取得タイミングＰ_Ｂ１内で光源１３_Ｒを点灯させることにより、第１の明瞳孔画像における角膜反射像の輝度を高くすることができる。つまり、第１の明瞳孔画像における瞳孔の輝度が高すぎる際に点灯期間Ｔ_Ｂが短く設定される場合があるが、その場合であっても、光源１３_Ｒの点灯によって角膜反射像の輝度を保つことができる。

また、画像取得部２２は、第１の明瞳孔取得タイミングＰ_Ｂ１の直後の連続した所定の露光期間の撮影タイミング（第２の明瞳孔取得タイミング）Ｐ_Ｂ２で、カメラ１０_Ｒが画像データを取得するように制御する。それとともに、点灯制御部２１は、第２の明瞳孔取得タイミングＰ_Ｂ２内の点灯期間Ｔ_Ｂで光源１３_Ｒを点灯させるように制御するとともに、第２の明瞳孔取得タイミングＰ_Ｂ２内の点灯期間Ｔ_Ｃで光源１３_Ｌを点灯させるように制御する。これにより、上記と同様のメカニズムによって、カメラ１０_Ｒによって第２の明瞳孔画像が取得される。

さらに、画像取得部２２は、第１の明瞳孔取得タイミングＰ_Ｂ１の直後のカメラ１０_Ｌの次の画像フレームの所定の露光期間の撮影タイミング（第１の暗瞳孔取得タイミング）Ｐ_Ｄ１で、カメラ１０_Ｌが画像データを取得するように制御する。それとともに、点灯制御部２１は、第１の暗瞳孔取得タイミングＰ_Ｄ１内の点灯期間Ｔ_Ｄで光源１３_Ｒを点灯させるように制御するとともに、第１の暗瞳孔取得タイミングＰ_Ｄ１内の点灯期間Ｔ_Ｇで光源１３_Ｌを点灯させるように制御する。この点灯期間Ｔ_ＤはＴ_Ｄ＝Ｔ_Ｂ＋Ｔ_Ｃとなり、点灯期間Ｔ_Ｇは十分に短く、Ｔ_Ｇ≪Ｔ_Ｂ（Ｔ_Ｃ）となるように設定される。

これにより、カメラ１０_Ｌによって第１の暗瞳孔画像が取得される。これは、次のような性質によるものである。つまり、対象者の眼球への照明光がカメラ１０_Ｌの光軸から相対的に離れた光源１３_Ｒの位置から入射した場合には、眼球の瞳孔から入射し、眼球内部で反射されて再び瞳孔を通過した照明光がカメラ１０_Ｌに届きにくいため、瞳孔が相対的に暗く映るという性質である。また、点灯期間Ｔ_Ｄ＝Ｔ_Ｂ＋Ｔ_Ｃと設定されることにより、第１の暗瞳孔画像における対象者の顔の輝度を第１の明瞳孔画像と同等の輝度に設定することができ、両画像における角膜反射像の輝度も同等に設定することができる。また、第１の暗瞳孔取得タイミングＰ_Ｄ１内の一瞬の光源１３_Ｒの点灯により、第１の暗瞳孔画像において、対象者が眼鏡をかけていた場合に、眼鏡反射像を生じさせることができる。

また、画像取得部２２は、第１の暗瞳孔取得タイミングＰ_Ｄ１の直後の連続した所定の露光期間の撮影タイミング（第２の暗瞳孔取得タイミング）Ｐ_Ｄ２で、カメラ１０_Ｒが画像データを取得するように制御する。この第２の暗瞳孔取得タイミングＰ_Ｄ２は、カメラ１０_Ｒの第２の明瞳孔取得タイミングＰ_Ｂ２の次の画像フレームのタイミングである。それとともに、点灯制御部２１は、第２の暗瞳孔取得タイミングＰ_Ｄ２内の点灯期間Ｔ_Ｄで光源１３_Ｌを点灯させるように制御するとともに、第２の暗瞳孔取得タイミングＰ_Ｄ２内の点灯期間Ｔ_Ｇで光源１３_Ｒを点灯させるように制御する。これにより、上記と同様のメカニズムによって、カメラ１０_Ｒによって第２の暗瞳孔画像が取得される。

画像取得部２２及び点灯制御部２１は、上述した画像データの取得制御及び光源点灯制御を、カメラ１０_Ｌ、１０_Ｒの画像フレームのタイミングに同期して繰り返すように機能する。つまり、画像取得部２２及び点灯制御部２１は、第１の明瞳孔取得、第２の明瞳孔取得、第１の暗瞳孔取得、及び第２の暗瞳孔取得をこの順で繰り返すように制御する。

次に、算出部２３による、対象者の瞳孔の三次元位置および対象者の視線方向の検出機能の詳細について説明する。

算出部２３は、所定のフレームレートで決まる時間間隔で交互に取得された明瞳孔画像と暗瞳孔画像との２つの画像（第１の明瞳孔画像と第１の暗瞳孔画像、あるいは、第２の明瞳孔画像と第２の暗瞳孔画像）を用いて、明瞳孔画像のウィンドウ内の各画素の輝度から暗瞳孔画像のウィンドウ内の各画素の輝度を差し引いて差分を求めることにより差分画像（演算画像）を連続して取得する。このとき、明瞳孔画像と暗瞳孔画像を取得するタイミングには時間差があること、及び対象者がカメラ１０に対して移動することを考慮して、算出部２３は、特許第４４５２８３６号に記載の手法と同様の手法を用いて、明瞳孔画像及び暗瞳孔画像上において角膜反射像の位置を検出し、角膜反射像の位置が一致するように暗瞳孔画像の画像上のウィンドウの位置を明瞳孔画像に対して補正する。ただし、この補正処理は、対象者の顔の動きが小さいと想定される場合には省略されてもよい。画像上の角膜反射像の位置は、前の画像フレームから得られた瞳孔輝度よりも高い角膜反射用閾値で２値化し、ラベリング処理を行い、最も角膜反射として大きさと形状を有する画素群を選択し、その画素群から、角膜反射像の中心を輝度も考慮した重心として求めることにより、検出される。一方で、算出部２３は、明瞳孔画像及び暗瞳孔画像上において角膜反射像の位置を検出し、角膜反射像の位置が一致するように明瞳孔画像の画像上のウィンドウの位置を暗瞳孔画像に対して補正してもよい。このような機能により、算出部２３は、上記の所定の時間間隔で、差分画像を連続して取得することができる。

ここで、算出部２３は、差分画像の代わりに用いる演算画像として、各画素の輝度の除算値を計算した除算画像、あるいは、各画素の輝度の乗算値を計算した乗算画像を計算してもよい。乗算画像を取得する際には、画像フレーム毎に次のようにして乗算画像を計算する。すなわち、算出部２３は、連続した３つの画像フレームで、第１の画像フレームの明瞳孔画像、第２の画像フレームの暗瞳孔画像、第３の画像フレームの明瞳孔画像を取得する。そして、算出部２３は、第１の画像フレームの明瞳孔画像と第２の画像フレームの暗瞳孔画像との間の差分画像、及び、第３の画像フレームの明瞳孔画像と第２の画像フレームの暗瞳孔画像との間の差分画像を取得し、両者の差分画像の各画素の輝度を乗算することにより、乗算画像を計算する。同様にして、算出部２３は、連続した３つの画像フレームで、第１の画像フレームの暗瞳孔画像、第２の画像フレームの明瞳孔画像、第３の画像フレームの暗瞳孔画像を取得し、第２画像フレームの明瞳孔画像と第１の画像フレームの暗瞳孔画像との間の差分画像、及び、第２の画像フレームの明瞳孔画像と第３の画像フレームの暗瞳孔画像との間の差分画像を取得し、両者の差分画像を用いて乗算画像を計算する。このようにして、算出部２３が、画像フレームのタイミング毎に乗算画像を取得する。

なお、カメラ１０_Ｌによって取得された暗瞳孔画像においては、対象者が眼鏡をかけていた場合、第１の暗瞳孔取得タイミングＰ_Ｄ１で光源１３_Ｌが点灯されているため、眼鏡反射像が生じている。一般に、眼鏡反射は輝度が高いために眼鏡反射像の輝度値は飽和している。同様に、カメラ１０_Ｌによって取得された明瞳孔画像においても、対象者が眼鏡をかけていた場合、眼鏡反射像が生じている。その結果、差分画像においては、明瞳孔画像の眼鏡反射像と暗瞳孔画像の眼鏡反射像とがほぼ相殺されて、眼鏡反射像に起因する下記の瞳孔像位置の検出処理の精度に対する影響を防止することができる。

そして、算出部２３は、連続して取得した差分画像を対象にして、対象者の瞳孔像の画像上の位置（以下、二次元位置ともいう。）を検出する。すなわち、算出部２３は、差分画像を瞳孔用閾値を基準に２値化し、孤立点除去、モルフォロジー処理によるノイズ除去、ラベリングを行う。そして、算出部２３は、最も瞳孔らしい形状を有する画素群を、瞳孔として検出する。このとき、瞳孔がまぶたやまつ毛で隠れた場合にも、まぶたやまつ毛と瞳孔との境界を偽の瞳孔輪郭として排除し、真の瞳孔輪郭のみを楕円フィッティングして、真の瞳孔輪郭の差分画像上の位置を検出し、楕円フィッティングで求まる楕円の式から瞳孔像の中心位置を算出する。このとき、算出部２３は、演算対象の差分画像の画素値のビット数を削減するために、差分画像の画素値を所定値（例えば、画素値が８ビットで表現されている場合は２の８乗の値）で割ってから瞳孔像の二次元位置を検出してもよい。

さらに、算出部２３は、それぞれカメラ１０_Ｌ，１０_Ｒごとに、互いに連続した画像フレームの２つの画像を対象に取得された差分画像を基に検出された瞳孔像の二次元位置と、その差分画像の元となった暗瞳孔画像あるいは明瞳孔画像を対象に検出された角膜反射像の位置とを、連続して取得する。そして、算出部２３は、一対のカメラ１０_Ｌ，１０_Ｒに対応して得られた瞳孔像の二次元位置を用いて、対象者の瞳孔の三次元位置を算出する。さらに、算出部２３は、算出した瞳孔の三次元位置と、一対のカメラ１０_Ｌ，１０_Ｒごとに得られた瞳孔像の二次元位置及び角膜反射像の位置とを用いて対象者の視線ベクトルおよび注視点を、所定の時間間隔で連続して検出する。上記の瞳孔の三次元位置の算出手法、視線ベクトルおよび注視点の算出手法は、本発明者らによって開発された手法（国際公開ＷＯ２０１２／０２０７６０号公報参照）を採用することができる。ここで、算出部２３は、視線ベクトルおよび注視点の算出時には、特開２０１５－１６９９５９号公報に記載のように、予め対象者に１点を注視させなから視線較正を行う手法、および、視線と光軸とのずれ角度を求めその角度を基に視線ベクトルを補正する手法を実行してもよい。

また、算出部２３は、暗瞳孔画像及び明瞳孔画像上で角膜反射像を検出する際に、以下のような角膜反射像の位置補正の機能を有する。特に、カメラ１０_Ｌ，１０_Ｒによって明瞳孔画像が取得される際には、２つの光源１３_Ｌ，１３_Ｒが点灯されているため、明瞳孔画像において生じる角膜反射像が２つの像として生成されてしまうか、光源１３_Ｌと光源１３_Ｒとの距離が近い場合には像が横に広がって生成されてしまう。この状態で角膜反射像の中心位置を用いて瞳孔の二次元位置、三次元位置、視線ベクトル等を計算してしまうと、誤差の原因になりうる。

図５には、カメラ１０_Ｒの明瞳孔画像上の角膜反射像の光源１３_Ｌ，１３_Ｒの配列方向に沿った横方向の一次元輝度分布の例を示す。

カメラ１０_Ｒの分解能が十分であって２つの光源１３_Ｌ，１３_Ｒによる角膜反射像が分離して生成されている場合は、一次元輝度分布がグラフＤＲ_１に示すような値となり、光源１３_Ｌからの照射光の光量と、光源１３_Ｒからの照射光の光量とによって決まる２つのピークを有する。本実施形態では、カメラ１０_Ｒの明瞳孔画像取得時において、光源１３_Ｌからの照射光の光量は点灯期間Ｔ_Ｃで見積もられ、光源１３_Ｒからの照射光の光量は点灯期間Ｔ_Ｂで見積もられる（図４）。この場合、算出部２３は、明瞳孔画像上の画素の輝度を予め設定された閾値ＴＨ_１と比較することにより、２つの角膜反射像の範囲を特定でき、２つの範囲から自カメラの光源１３_Ｒによって生じた角膜反射像の範囲を判別し、判別した範囲における輝度の重心位置（中心位置）を角膜反射像の推定位置として算出する。一方で、閾値ＴＨ_１が輝度ピークに比較して大きい場合に１つの角膜反射像の範囲しか特定できない場合がある。この場合、算出部２３は、光源１３_Ｌからの照射光の光量と光源１３_Ｒからの照射光の光量との関係からどちらの光源による角膜反射像の範囲かを判定し、判定結果に応じて後述する角膜反射像の位置補正を行なって、自カメラの光源１３_Ｒによって生じた角膜反射像の位置を算出する。

カメラ１０_Ｒの分解能が不十分であったり２つの光源１３_Ｌ，１３_Ｒの位置が近かったりして２つの光源１３_Ｌ，１３_Ｒによる角膜反射像が重なって生成されている場合は、一次元輝度分布がグラフＤＲ_２～ＤＲ_４示すような値となり、横に広がった輝度分布になる。この場合、算出部２３は、明瞳孔画像上の画素の輝度を予め設定された閾値ＴＨ_１と比較することにより、１つの角膜反射像の範囲を特定し、その範囲から輝度の重心位置（推定位置）を計算する。算出部２３は、輝度の重心位置の代わりに範囲の中心位置を推定位置として計算してもよい。その後、算出部２３は、光源１３_Ｌからの照射光の光量と光源１３_Ｒからの照射光の光量とを基に、輝度の重心位置に対して後述する角膜反射像の位置補正を行なって、自カメラの光源１３_Ｒによって生じた角膜反射像の位置を算出する。

図６は、算出部２３による角膜反射像の位置補正のメカニズムを説明するための概念図であり、図７は、図６の角膜球部分を拡大して示す図である。以下では、光源１３_Ｌ，１３_Ｒのそれぞれがカメラ１０_Ｌ，１０_Ｒの開口中心から照明光を照射すると見做してメカニズムを説明する。

図６及び図７には、２つの光源１３_Ｌ，１３_Ｒが同時に点灯した際に、算出部２３によってカメラ１０_Ｌの明瞳孔画像上に検出される角膜反射像の範囲の重心位置がＳ_Ｌで示され、算出部２３によってカメラ１０_Ｒの明瞳孔画像上に検出される角膜反射像の範囲の重心位置がＳ_Ｒで示されている。また、カメラ１０_Ｌ，１０_Ｒの開口中心をＯ_Ｌ，Ｏ_Ｒとし、直線Ｏ_ＬＳ_Ｌと直線Ｏ_ＲＳ_Ｒとの交点がＳで示されている。また、カメラ１０_Ｌの画像上で他カメラの光源１３_Ｒで生じる角膜反射像の位置、及びカメラ１０_Ｒの画像上で他カメラの光源１３_Ｌで生じる角膜反射像の位置がＳ_Ｃで示され、カメラ１０_Ｌの画像上で自カメラの光源１３_Ｌで生じる角膜反射像の位置がＳ_ＢＬで示され、カメラ１０_Ｒの画像上で自カメラの光源１３_Ｒで生じる角膜反射像の位置がＳ_ＢＲで示されている。角膜反射像の範囲の重心位置は、理想的には、点灯期間Ｔ_Ｄ＝Ｔ_Ｂ＋Ｔ_Ｃを一定とした場合に、点灯期間Ｔ_Ｂの長さと点灯期間Ｔ_Ｃ＝Ｔ_Ｄ－Ｔ_Ｂの長さとの比、すなわち、光源１３_Ｌからの照射光の光量と、光源１３_Ｒからの照射光の光量との比に応じて変化すると考えられる。

このような性質を利用して、算出部２３は、２つのカメラ１０_Ｌ，１０_Ｒの明瞳孔画像上に検出される角膜反射像の重心位置Ｓ_Ｌ，Ｓ_Ｒを基にステレオマッチング処理によって点Ｓの三次元座標を計算する。次に、角膜球の半径を７．７ｍｍと仮定することにより、算出部２３は、点Ｓから角膜球ＥＢの中心Ｃまでの距離ｌを下記式；
ｌ［ｍｍ］＝７．７×（Ｔ_Ｄ－Ｔ_Ｂ）／Ｔ_Ｄ
により計算し、点Ｓの三次元座標と距離ｌに基づいて角膜球ＥＢの中心Ｃの三次元座標を計算する。そして、算出部２３は、角膜球ＥＢの中心Ｃと各カメラ１０_Ｌ，１０_Ｒの開口中心Ｏ_Ｌ，Ｏ_Ｒを結ぶ直線と各カメラ１０_Ｌ，１０_Ｒの画像平面上の交点を求めることにより、明瞳孔画像上の自カメラの光源１３_Ｌ，１３_Ｒによって生じる角膜反射像の位置Ｓ_ＢＬ，Ｓ_ＢＲを計算することができる。これによって、算出部２３は、明瞳孔画像上で計算した角膜反射像の重心位置を補正することができる。同様に、算出部２３は、暗瞳孔画像上で計算した角膜反射像の重心位置を、点灯期間Ｔ_Ｂ＝０と設定することによって、自カメラの光源１３_Ｌ，１３_Ｒによって生じる角膜反射像の位置Ｓ_ＢＬ，Ｓ_ＢＲに補正することができる。

加えて、算出部２３は、２つのカメラ１０_Ｌ，１０_Ｒのそれぞれで同時に取得された画像データを基にした第１の視線ベクトル及び第２の視線ベクトルから算出した注視点を平均化して、平均化された注視点を対象者の最終的な注視点として検出することもできる。図８は、この平均化処理のイメージを示す図である。上述したように、２つのカメラ１０_Ｌ，１０_Ｒにおいて明瞳孔画像及び暗瞳孔画像を取得する際には、光源１３_Ｌ，１３_Ｒから照射される照明光の光量の関係が反対となっている。そのため、２つのカメラ１０_Ｌ，１０_Ｒのそれぞれで連続して取得された画像データを基に検出された注視点ＶＰ_Ｌ，ＶＰ_Ｒは、視対象ＴＡに対して互いに反対方向にずれる傾向がある。そのため、注視点ＶＰ_Ｌ，ＶＰ_Ｒの位置を平均化して得られた注視点ＶＰ_Ｃは、対象者の真の注視点をより正確に表したものとなる。

次に、図９を参照して瞳孔検出装置１による瞳孔検出処理の動作手順を説明するとともに、本実施形態に係る瞳孔検出方法について詳述する。図９は、瞳孔検出装置１による瞳孔検出処理の動作手順を示すフローチャートである。

まず、瞳孔検出処理が開始されると、本体部２０の点灯制御部２１及び画像取得部２２によって、光源１３_Ｌ，１３_Ｒの点灯が制御されると共に、カメラ１０_Ｌ，１０_Ｒによる画像取得が制御され、画像取得部２２によって、第１の明瞳孔画像、第２の明瞳孔画像、第１の暗瞳孔画像、及び第２の暗瞳孔画像が、この順で繰り返し取得される（ステップＳ１）。次に、本体部２０の算出部２３によって、明瞳孔画像及び暗瞳孔画像上のそれぞれにおいて、角膜反射像の重心位置が算出された後、角膜反射像の位置補正によってその重心位置が補正される（ステップＳ２）。

その後、本体部２０の算出部２３によって、第１の明瞳孔画像と第１の暗瞳孔画像、あるいは、第２の明瞳孔画像と第２の暗瞳孔画像を基に、差分画像が生成される（ステップＳ３）。さらに、算出部２３により、カメラ１０_Ｌ，１０_Ｒの画像データから得られた２つの差分画像を基に瞳孔の中心位置が算出され、それらの中心位置から瞳孔の三次元位置が検出される。さらに、算出部２３により、カメラ１０_Ｌ，１０_Ｒ毎に、瞳孔の三次元位置、瞳孔の中心位置、及び角膜反射像の位置を基に、視線ベクトルが検出され、それらの視線ベクトルから所定の平面上の注視点が検出される（ステップＳ４）。そして、算出部２３により、カメラ１０_Ｌ，１０_Ｒ毎に検出された注視点が平均化される（ステップＳ５）。最後に、算出部２３によって、検出された注視点等の検出結果がディスプレイ３等に出力される（ステップＳ６）。

以上説明した瞳孔検出装置１の作用効果について説明する。

瞳孔検出装置１によれば、カメラ１０_Ｌの開口部１２及びカメラ１０_Ｒの開口部１２の外側周辺にそれぞれ配置された光源１３_Ｌ及び光源１３_Ｒが連続して点灯され、これらの点灯タイミングに合わせてカメラ１０_Ｌ及びカメラ１０_Ｒで画像データが取得されることにより、第１の明瞳孔画像及び第２の明瞳孔画像が連続して得られる。加えて、光源１３_Ｒ及び光源１３_Ｌが連続して点灯され、これらの点灯タイミングに合わせてカメラ１０_Ｌ及びカメラ１０_Ｒで画像データが取得されることにより、第１の暗瞳孔画像及び第２の暗瞳孔画像が連続して得られる。このようにして取得された第１の明瞳孔画像と第１の暗瞳孔画像の差分画像を演算することによってカメラ１０_Ｌの画像上の対象者の瞳孔位置が検出され、取得された第２の明瞳孔画像と第２の暗瞳孔画像の差分画像を演算することによってカメラ１０_Ｒの画像上の対象者の瞳孔位置が検出される。このような構成により、カメラ１０の周辺に配置される光源の構成を単純化することができ、装置全体の小型化を容易に実現することができる。また、２つのカメラ１０_Ｌ，１０_Ｒ間で連続して取得された画像データを基にした差分画像を演算することによって、２つのカメラ１０_Ｌ，１０_Ｒの画像上で検出される瞳孔位置の検出タイミングを揃えることができ、対象者の瞳孔の三次元位置を安定して検出することができる。

例えば、２つのカメラ１０_Ｌ，１０_Ｒの撮影タイミングを完全に同期させて、その撮影タイミングに合わせて光源１３_Ｌ，１３_Ｒを交互に点灯させることによって、それぞれのカメラ１０_Ｌ，１０_Ｒにおいて明瞳孔画像と暗瞳孔画像を取得することも想定される。しかしながら、このような制御の場合、２つのカメラ１０_Ｌ，１０_Ｒ間で明瞳孔画像あるいは暗瞳孔画像を取得するタイミングにずれが生じる。そのため、少しでも対象者の瞳孔が動くと検出される瞳孔の三次元位置、及びそれを基にした視線ベクトルに誤差が生じてしまう。これに対して、本実施形態においては、２つのカメラ１０_Ｌ，１０_Ｒ間での明瞳孔画像あるいは暗瞳孔画像を取得するタイミングのずれを少なくすることができるため、瞳孔位置及びそれを基にした視線ベクトルを精度よく検出できる。一方で、２つのカメラ１０_Ｌ，１０_Ｒの撮影タイミングを完全に同期させて、その撮影タイミングに合わせて光源１３_Ｌ，１３_Ｒの両方を点灯させる制御も考えられるが、この場合は暗瞳孔画像を生成することが困難となり、差分画像を用いた瞳孔位置の検出自体が困難となる。

また、本実施形態では、第１の明瞳孔取得タイミングＰ_Ｂ１で光源１３_Ｒを点灯させ、第２の明瞳孔取得タイミングＰ_Ｂ２で光源１３_Ｌを点灯させ、第１の明瞳孔画像及び第２の明瞳孔画像を基に、対象者の角膜反射像の位置が検出されている。例えば、周辺環境が暗く、対象者の瞳孔面積が大きくなった場合等において、瞳孔輝度を調整するためにカメラ１０_Ｌで明瞳孔画像を得る際に光源１３_Ｌの光量を下げるように調整される場合がある。このような場合であっても、光源１３_Ｌに加えて光源１３_Ｒを点灯させることにより、対象者の顔全体の輝度を保つことができる。その結果、差分画像を基にして、瞳孔の位置の変化を安定して検出することができるとともに、明瞳孔画像を基にした角膜反射像の位置も安定して検出することができる。

また、本実施形態では、明瞳孔画像上で検出された角膜反射像の重心位置が光源１３_Ｌの光量及び光源１３_Ｒの光量を基に補正されている。明瞳孔取得時に２つの光源１３_Ｌ，１３_Ｒを点灯させた場合には、画像上で現れる角膜反射像が広がってしまい、２つの光源１３_Ｌ，１３_Ｒの光量の関係によっては角膜反射像の中心位置も変動する。この場合に、角膜反射像の中心位置を２つの光源１３_Ｌ，１３_Ｒの光量を基に補正することによって、明瞳孔画像上の角膜反射像の位置を、光源の光量によってぶれることなしに安定して検出することができる。

また、本実施形態では、カメラ１０_Ｌの画像上で検出した瞳孔像の位置及び角膜反射像の位置を基に対象者の第１の視線が検出され、カメラ１０_Ｒの画像上で検出した瞳孔像の位置及び角膜反射像の位置を基に対象者の第２の視線が検出される。この場合、２つのカメラ１０_Ｌ，１０_Ｒで取得されたそれぞれの画像データを基に、対象者の視線を安定して検出することができる。

また、本実施形態では、第１の視線に基づいた注視点と第２の視線に基づいた注視点の平均を計算することにより最終的な対象者の注視点が取得されている。こうすれば、２つの光源１３_Ｌ，１３_Ｒの光量の関係によって検出される角膜反射像の位置にぶれが生じた場合であって、それを基に取得された注視点にぶれが生じた場合であっても、２つのカメラ１０_Ｌ，１０_Ｒで取得された画像データを基にした注視点の平均を計算することによって、そのぶれを打ち消すことができる。その結果、精度の高い注視点を取得することができる。

また、２つの光源１３_Ｌ，１３_Ｒは、中心波長が同一の光源装置とされている。この場合には、２つのカメラ１０_Ｌ，１０_Ｒで明瞳孔画像及び暗瞳孔画像を取得する際の観察条件を揃えることができる。そのため、例えば、太陽光等の外乱光をフィルタによって遮断する等の構成を採用することができ、瞳孔検出の精度を高めるための構成の自由度が向上する。

本発明は、上述した実施形態に限定されるものではない。上記実施形態の構成は様々変更されうる。

変形例として、本体部２０の点灯制御部２１は、図１０及び図１１に示すような点灯タイミングで光源１３_Ｌ，１３_Ｒの点灯を制御してもよい。図１０及び図１１において、（ａ）部にはカメラ１０_Ｌの撮影タイミング、（ｂ）部にはカメラ１０_Ｒの撮影タイミング、（ｃ）部には光源１３_Ｌの点灯タイミング、（ｄ）部には光源１３_Ｒの点灯タイミングをそれぞれ示している。

図１０に示す変形例の制御では、点灯制御部２１は、第１の明瞳孔取得タイミングＰ_Ｂ１では光源１３_Ｌのみを点灯期間Ｔ_Ｄで点灯させ、第２の明瞳孔取得タイミングＰ_Ｂ２では光源１３_Ｒのみを点灯期間Ｔ_Ｄで点灯させるように制御する。また、点灯制御部２１は、第１の暗瞳孔取得タイミングＰ_Ｄ１では光源１３_Ｒのみを点灯期間Ｔ_Ｄで点灯させ、第２の暗瞳孔取得タイミングＰ_Ｄ２では光源１３_Ｌのみを点灯期間Ｔ_Ｄで点灯させるように制御する。このような制御によっても、明瞳孔画像において角膜反射像の輝度が確保できる場合には、精度の高い瞳孔位置の検出が可能となる。

図１１に示す変形例の制御では、上述した実施形態と異なり、点灯制御部２１は、第１の明瞳孔取得タイミングＰ_Ｂ１、第２の明瞳孔取得タイミングＰ_Ｂ２、第１の暗瞳孔取得タイミングＰ_Ｄ１、第２の暗瞳孔取得タイミングＰ_Ｄ２のそれぞれにおいて、光源１３_Ｌ，１３_Ｒの点灯期間が重ならないように互いにずらすように制御する。このような制御によれば、光源の制御回路を単純化でき、光源の制御自体も単純化して制御動作を安定化させることができる。

また、図１２は、変形例に係る瞳孔検出装置１Ａの平面図である。瞳孔検出装置１Ａの構成は、本体部２０の表面上の２つのカメラ１０_Ｌ，１０_Ｒの中間の位置に光源（第３の光源）１３_Ｍが設けられる点が異なっている。このような光源１３_Ｍが追加された瞳孔検出装置１Ａにおいては、点灯制御部２１が、カメラ１０_Ｌ，１０_Ｒで第１の明瞳孔画像あるいは第２の明瞳孔画像を取得する際に、角膜反射像の輝度を高めるための補助的な光源として点灯させるように制御することができる。

ここで、上述した実施形態に係る瞳孔検出装置１における検出結果の出力例を例示する。図１３において、（ａ）部には、瞳孔検出装置１において角膜反射像の位置補正を実行しなかった場合の注視点の検出結果の出力例を示し、（ｂ）部には瞳孔検出装置１において角膜反射像の位置補正を実行した場合の注視点の検出結果の出力例を示している。この出力例では、対象者にディスプレイ３上の視標を注視するように指示された際にディスプレイ３上で検出された、左右の眼の注視点、及びそれらを平均化した両眼の注視点が示されている。

いずれの出力例においても、視標に対して誤差が少ない注視点が検出されていることが分かった。角膜反射像の位置補正を実行しなかった例では、注視点の検出誤差は、ある対象者において1.36±0.60degであり、角膜反射像の位置補正を実行した例では、注視点の検出誤差は、同一の対象者において1.25±0.59degであり、両方の例で高い精度での注視点検出結果が得られた。

１，１Ａ…瞳孔検出装置、１０…カメラ、１０_Ｌ…カメラ（第１のカメラ）、１０_Ｒ…カメラ（第２のカメラ）、１２…開口部、１３_Ｌ…光源（第１の光源）、１３_Ｒ…光源（第２の光源）、１３_Ｍ…光源（第３の光源）、１２…開口部、２０…本体部、２１…点灯制御部、２３…算出部、Ｐ_Ｂ１…撮影タイミング（第１の明瞳孔取得タイミング）、Ｐ_Ｂ２…撮影タイミング（第２の明瞳孔取得タイミング）、Ｐ_Ｄ１…撮影タイミング（第１の暗瞳孔取得タイミング）、Ｐ_Ｄ２…撮影タイミング（第２の暗瞳孔取得タイミング）。
。

Claims (8)

1. 対象者の眼を撮像することにより眼画像を取得する第１のカメラと、
   前記第１のカメラに並んで配置され、前記眼画像を取得する第２のカメラと、
   前記第１のカメラの開口部の外側周辺に設けられた第１の光源と、
   前記第２のカメラの開口部の外側周辺に設けられた第２の光源と、
   前記第１の光源及び前記第２の光源の点灯のタイミングを制御する制御部、及び、前記第１のカメラによって取得された前記眼画像及び前記第２のカメラによって取得された眼画像を処理して、前記眼画像上の前記対象者の瞳孔位置を検出する算出部を含む制御装置と、を備え、
   前記算出部は、
   前記制御部により前記第１の光源を点灯させた第１の明瞳孔取得タイミングで、前記第１のカメラによって取得された前記眼画像である第１の明瞳孔画像を取得し、
   前記制御部により前記第２の光源を点灯させた、前記第１の明瞳孔取得タイミングに対して連続したタイミングである第２の明瞳孔取得タイミングで、前記第２のカメラによって取得された前記眼画像である第２の明瞳孔画像を取得し、
   前記制御部により前記第２の光源を点灯させた第１の暗瞳孔取得タイミングで、前記第１のカメラによって取得された前記眼画像である第１の暗瞳孔画像を取得し、
   前記制御部により前記第１の光源を点灯させた、前記第１の暗瞳孔取得タイミングに対して連続した第２の暗瞳孔取得タイミングで、前記第２のカメラによって取得された前記眼画像である第２の暗瞳孔画像を取得し、
   前記第１の明瞳孔画像と第１の暗瞳孔画像とを演算した演算画像を基に前記第１のカメラの前記眼画像上の前記対象者の瞳孔位置を検出し、前記第２の明瞳孔画像と第２の暗瞳孔画像とを演算した演算画像を基に前記第２のカメラの前記眼画像上の前記対象者の瞳孔位置を検出する、
   瞳孔検出装置。
2. 前記制御部は、第１の明瞳孔取得タイミングで前記第２の光源を点灯させ、第２の明瞳孔取得タイミングで前記第１の光源を点灯させ、
   前記算出部は、前記第１の明瞳孔取得タイミングで得られた第１の明瞳孔画像、及び前記第２の明瞳孔取得タイミングで得られた第２の明瞳孔画像を基に、前記対象者の角膜反射像の位置を検出する、
   請求項１記載の瞳孔検出装置。
3. 算出部は、第１の明瞳孔画像上における角膜反射像の推定位置を計算し、前記推定位置を、前記第１の明瞳孔取得タイミングにおける第１の光源の光量及び第２の光源の光量を基に補正することによって、前記第１の明瞳孔画像上の前記角膜反射像の位置を検出し、第２の明瞳孔画像上における角膜反射像の推定位置を計算し、前記推定位置を、前記第２の明瞳孔取得タイミングにおける第２の光源の光量及び第１の光源の光量を基に補正することによって、前記第２の明瞳孔画像上の前記角膜反射像の位置を検出する、
   請求項２記載の瞳孔検出装置。
4. 前記算出部は、前記第１のカメラの前記眼画像上で検出した前記瞳孔位置及び前記角膜反射像の位置を基に前記対象者の第１の視線を検出し、前記第２のカメラの前記眼画像上で検出した前記瞳孔位置及び前記角膜反射像の位置を基に前記対象者の第２の視線を検出する、請求項２又は３に記載の瞳孔検出装置。
5. 前記算出部は、前記第１の視線に基づいた注視点と前記第２の視線に基づいた注視点の平均を計算することにより前記対象者の注視点を取得する、
   請求項４に記載の瞳孔検出装置。
6. 前記第１の光源と前記第２の光源は、中心波長が同一の光源である、
   請求項１～３のいずれか１項に記載の瞳孔検出装置。
7. 前記第１のカメラと前記第２のカメラとの中間位置に設けられた第３の光源をさらに備え、
   前記制御部は、前記第１の明瞳孔取得タイミング及び前記第２の明瞳孔取得タイミングにおいて前記第３の光源を点灯させる、
   請求項１～３のいずれか１項に記載の瞳孔検出装置。
8. 対象者の眼を撮像することにより眼画像を取得する第１のカメラと、前記第１のカメラに並んで配置され、前記眼画像を取得する第２のカメラと、前記第１のカメラの開口部の外側周辺に設けられた第１の光源と、前記第２のカメラの開口部の外側周辺に設けられた第２の光源と、前記第１の光源及び前記第２の光源の点灯のタイミングの制御、及び、前記第１のカメラによって取得された前記眼画像及び前記第２のカメラによって取得された眼画像を基にした前記眼画像上の前記対象者の瞳孔位置の検出処理を実行する制御装置と、を用いた瞳孔検出方法であって、
   前記第１の光源を点灯させた第１の明瞳孔取得タイミングで、前記第１のカメラによって取得された前記眼画像である第１の明瞳孔画像を取得し、
   前記第２の光源を点灯させた、前記第１の明瞳孔取得タイミングに対して連続したタイミングである第２の明瞳孔取得タイミングで、前記第２のカメラによって取得された前記眼画像である第２の明瞳孔画像を取得し、
   前記第２の光源を点灯させた第１の暗瞳孔取得タイミングで、前記第１のカメラによって取得された前記眼画像である第１の暗瞳孔画像を取得し、
   前記第１の光源を点灯させた、前記第１の暗瞳孔取得タイミングに対して連続した第２の暗瞳孔取得タイミングで、前記第２のカメラによって取得された前記眼画像である第２の暗瞳孔画像を取得し、
   前記第１の明瞳孔画像と第１の暗瞳孔画像とを演算した演算画像を基に前記第１のカメラの前記眼画像上の前記対象者の瞳孔位置を検出し、前記第２の明瞳孔画像と第２の暗瞳孔画像とを演算した演算画像を基に前記第２のカメラの前記眼画像上の前記対象者の瞳孔位置を検出する、
   瞳孔検出方法。
   

Images