JP6011173B2 - 瞳孔検出装置および瞳孔検出方法 - Google Patents

Description

本発明は、瞳孔検出装置および瞳孔検出方法に関する。

従来、検査対象者等にモニタ画面などの観察面を注視させ、このときの検査対象者の顔画像を解析することにより、検査対象者の注視点を検出する装置が知られている。このような装置においては、瞳孔による光の反射に基づいて瞳孔位置を特定するが、検査対象者が眼鏡を掛けているような場合には、眼鏡のレンズやフレームにおいても光が反射してしまい、瞳孔と誤って検出してしまう場合がある。

このような誤検出を防ぐ技術として、例えば特許文献１には、検査対象者の赤外画像と可視画像とを取得し、赤外画像において所定値以上の明るさを示す高輝度領域のうち、可視画像において対応する領域の輝度が所定値未満である領域に基づいて、瞳孔位置を算出する技術が開示されている。また、特許文献２には、異なる方向から２つの光源を点灯させ、各光源を点灯させた際に撮影された２つの画像に基づいて角膜反射像を検出する技術が開示されている。

特許第３４５０８０１号公報 特開２０１０−２４４１５６号公報

しかしながら、特許文献１の技術においては赤外画像において所定値以上の明るさを示す領域が、瞳孔以外にも多く検出されてしまい、瞳孔の誤検出の可能性が高いという問題があった。また、特許文献２の技術においては、検出対象となる角膜反射が小さく、検出のための演算負荷が大きくなってしまうという問題があった。

本発明は、上記に鑑みてなされたものであって、少ない演算量で精度よく瞳孔を検出することのできる瞳孔検出装置および瞳孔検出方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、瞳孔検出装置であって撮像部により撮像された第１画像であって、第１の位置に配置された光源から赤外光が照射された状態の人物の瞳孔を含む前記第１画像と、前記撮像部により撮像された第２画像であって、前記第１の位置に比べて前記撮像部との間の距離が長い位置である第２の位置に配置された光源から赤外光が照射された状態の前記人物の瞳孔を含む第２画像とを取得する画像取得部と、前記第１画像に含まれる複数の画像領域それぞれの輝度と、前記第１画像の複数の画像領域それぞれに対応する、前記第２画像の複数の画像領域それぞれの輝度の差分値を算出する差分値算出部と、前記差分値を第１閾値と比較し、前記第１閾値以上の差分値が算出された連続する複数の前記画像領域を前記瞳孔の候補領域として特定する候補領域特定部と、前記候補領域特定部によって特定された前記候補領域の面積を算出する面積算出部と、前記面積算出部によって算出された前記候補領域の面積の横方向における最も右側の画素位置と、最も左側の画素位置との間の距離を横の長さとして、前記候補領域の縦方向における最も上側の画素位置と、最も下側の画素位置との間の距離を縦の長さとし、前記候補領域の縦横比と第２閾値とを比較し、前記縦横比が前記第２閾値以下である前記候補領域を算出する縦横比算出部と、前記縦横比算出部によって算出された前記候補領域内の各画像領域の輝度のばらつきの程度を示すばらつき値を算出するばらつき値算出部と、前記ばらつき値と第３閾値とを比較し、前記ばらつき値が前記第３閾値以下である場合に、前記候補領域を前記人物の瞳孔の位置として検出する瞳孔検出部とを備えることを特徴とする。

また、本発明は、瞳孔検出方法であって、撮像部により撮像された第１画像であって、第１の位置に配置された光源から赤外光が照射された状態の人物の瞳孔を含む前記第１画像と、前記撮像部により撮像された第２画像であって、前記第１の位置に比べて前記撮像部との間の距離が長い位置である第２の位置に配置された光源から赤外光が照射された状態の前記人物の瞳孔を含む第２画像とを取得する画像取得工程と、前記第１画像に含まれる複数の画像領域それぞれの輝度と、前記第１画像の複数の画像領域それぞれに対応する、前記第２画像の複数の画像領域それぞれの輝度の差分値を算出する差分値算出工程と、前記差分値を第１閾値と比較し、前記第１閾値以上の差分値が算出された連続する複数の前記画像領域を前記瞳孔の候補領域として特定する候補領域特定工程と、前記候補領域特定工程によって特定された前記候補領域の面積を算出する面積算出工程と、前記面積算出工程によって算出された前記候補領域の面積の横方向における最も右側の画素位置と、最も左側の画素位置との間の距離を横の長さとして、前記候補領域の縦方向における最も上側の画素位置と、最も下側の画素位置との間の距離を縦の長さとし、前記候補領域の縦横比と第２閾値とを比較し、前記縦横比が前記第２閾値以下である前記候補領域を算出する縦横比算出工程と、前記縦横比算出工程によって算出された前記候補領域内の各画像領域の輝度のばらつきの程度を示すばらつき値を算出するばらつき値算出工程と、前記ばらつき値と第３閾値とを比較し、前記ばらつき値が前記第３閾値以下である場合に、前記候補領域を前記人物の瞳孔の位置として検出する瞳孔検出工程とを含むことを特徴とする。

本発明によれば、少ない演算量で精度よく瞳孔を検出することができるという効果を奏する。

図１は、視線方向検出装置の概略構成を示す図である。 図２は、視線方向装置の処理に利用される座標系を説明するための図である。 図３は、図１に示す各部の詳細な機能の一例を示すブロック図である。 図４は、視線検出処理を示すフローチャートである。 図５は、瞳孔検出処理における詳細な処理を示すフローチャートである。 図６−１は、カメラ明画像を示す図である。 図６−２は、カメラ暗画像を示す図である。 図６−３は、差分画像を示す図である。 図７−１は、瞳孔による反射光に対する輝度と、差分値とを示す図である。 図７−２は、眼鏡による反射光に対する輝度と、差分値とを示す図である。 図８は、第２の実施の形態にかかる視線方向検出装置の処理示すフローチャートである。

以下に添付図面を参照して、瞳孔検出装置および瞳孔検出方法の実施の形態を詳細に説明する。

（第１の実施の形態）
図１は、第１の実施の形態にかかる視線方向検出装置１００の構成を示すブロック図である。視線方向検出装置１００は、視線方向の検出対象となる被検出者の瞳孔を検出し、瞳孔の位置に基づいて、視線方向を検出する装置であり、瞳孔検出装置を含んでいる。

視線方向検出装置１００は、第１表示部１０１と、第２表示部１０２と、スピーカ１０３と、ステレオカメラとして機能する２つのカメラ１１０Ｒ，１１０Ｌと、明光源１１２Ｒ，１１２Ｌと、暗光源１１４Ｒ，１１４Ｌと、駆動・ＩＦ部１３０と、制御部１４０と、記憶部１６０とを備えている。

第１表示部１０１は、被検出者に注視させる画像等を表示する。第２表示部１０２は、当該視線方向検出装置１００の操作内容などを表示する。第１表示部１０１および第２表示部１０２は、例えばモニタ画面である。スピーカ１０３は、視線方向検出時に被検出者に注意を促すための音声などを出力する。なお、第２表示部１０２は備えなくともよく、この場合には、操作内容などは、第１表示部１０１が表示してもよい。

右カメラ１１０Ｒおよび左カメラ１１０Ｌは、それぞれ第１表示部１０１の下側において第１表示部１０１に向かって右側および左側に設置されている。右カメラ１１０Ｒおよび左カメラ１１０Ｌは、ステレオ撮影が可能な撮像部である。以下、右カメラ１１０Ｒと左カメラ１１０Ｌとを、適宜ステレオカメラ１１０と称する。

ステレオカメラ１１０は、被検出者の顔を撮像する。ステレオカメラ１１０は、明光源１１２Ｒ，１１２Ｌ、暗光源１１４Ｒ，１１４Ｌから赤外線が照射されているタイミングにおいて、画像を撮像する。すなわち、ステレオカメラ１１０は、赤外線の反射光の画像を撮像する。

なお、ステレオカメラ１１０は、被検出者の瞳孔を撮像可能な位置に設置されていればよく、その設置位置は実施の形態に限定されるものではない。また、撮像される画像（以下、撮像画像と称する）は、被検出者の瞳孔を含む画像であればよく、瞳孔を含む顔の一部のみを含む画像であってもよく、また顔に加えて、顔以外を含む画像であってもよい。

明光源１１２Ｒ，１１２Ｌおよび暗光源１１４Ｒ，１１４Ｌは、いずれもＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）光源である。明光源１１２Ｒ，１１２Ｌは、ステレオカメラ１１０の周囲に配置されている。暗光源１１４Ｒ，１１４Ｌは、ステレオカメラ１１０の間の位置に配置されている。すなわち、暗光源１１４Ｒ，１１４Ｌとステレオカメラ１１０の間の距離は、明光源１１２Ｒ，１１２Ｌとステレオカメラ１１０の距離に比べて長くなっている。より具体的には、右明光源１１２Ｒおよび左明光源１１２Ｌは、それぞれ、右カメラ１１０Ｒおよび左カメラ１１０Ｌのレンズの周囲に円周方向に沿って配置されている。これにより、各カメラ１１０Ｒ，１１０Ｌには、瞳孔による反射光が均一に入射する。一方、右暗光源１１４Ｒおよび左暗光源１１４Ｌは、それぞれ右カメラ１１０Ｒと左カメラ１１０Ｌの間において、第１表示部１０１に向かって右側及び左側に配置されている。

このように、明光源１１２Ｒ，１１２Ｌは、暗光源１１４Ｒ，１１４Ｌに比べて、ステレオカメラ１１０により近い位置に配置されているので、明光源１１２Ｒ，１１２Ｌから光が照射された状態においてステレオカメラ１１０により被検出者の瞳孔画像が撮像された場合には、暗光源１１４Ｒ，１１４Ｌから光が照射された状態において撮像された場合に比べて、輝度の高い（明るい）瞳孔画像が得られる。

なお、他の例としては、明光源１１２Ｒ，１１２Ｌと暗光源１１４Ｒ，１１４Ｌの配置は逆であってもよい。すなわち、右暗光源１１４Ｒおよび左暗光源１１４Ｌがそれぞれ右カメラ１１０Ｒおよび左カメラ１１０Ｌの周囲に配置され、右明光源１１２Ｒおよび左明光源１１２Ｌがそれぞれ右カメラ１１０Ｒと左カメラ１１０Ｌの間において、第１表示部１０１に向かって右側及び左側に配置されていてもよい。

駆動・ＩＦ部１３０は、ステレオカメラ１１０に含まれる各部を駆動する。また、駆動・ＩＦ部１３０は、ステレオカメラ１１０に含まれる各部と、制御部１４０とのインタフェースとして機能する。

制御部１４０は、第１表示部１０１、第２表示部１０２および駆動・ＩＦ部１３０と接続している。制御部１４０は、第１表示部１０１および第２表示部１０２に表示すべき画像等を制御する。

制御部１４０はまた、ステレオカメラ１１０により得られた撮像画像に基づいて、被検出者の瞳孔を検出し、瞳孔位置に基づいて、視線方向を検出する。

記憶部１６０は、各種情報を記憶する。記憶部１６０は例えば、第１表示部１０１に表示する画像等を記憶する。記憶部１６０はまた、後述する閾値などを記憶する。

図２は、視線方向検出装置１００の処理に利用される座標系を説明するための図である。本実施の形態にかかる第１表示部１０１は、横方向を長辺とする長方形の画面である。視線方向検出装置１００は、図２に示すような、第１表示部１０１の画面の中央位置を原点として、上下をＹ座標（上を＋方向とする）、横をＸ座標（第１表示部１０１に向かって右を＋方向とする）、奥行きをＺ座標（第１表示部１０１の手前を＋方向とする）とするＸＹＺ座標系において処理を行う。

図３は、図１に示す各部の詳細な機能の一例を示すブロック図である。駆動・ＩＦ部１３０は、カメラＩＦ１３１Ｒ，１３１Ｌと、ＬＥＤ駆動制御部１３３と、スピーカ駆動部１３４とを備えている。右カメラＩＦ１３１Ｒおよび左カメラＩＦ１３１Ｌは、それぞれ右カメラ１１０Ｒおよび左カメラ１１０Ｌと接続し、右カメラ１１０Ｒおよび左カメラ１１０Ｌを駆動する。右カメラ１１０Ｒは、左カメラ１１０ＬおよびＬＥＤ駆動制御部１３３にフレーム同期信号を送信する。

ＬＥＤ駆動制御部１３３は、明光源１１２Ｒ，１１２Ｌおよび暗光源１１４Ｒ，１１４Ｌの発光を制御する。具体的には、ＬＥＤ駆動制御部１３３は、フレーム同期信号に基づいて、第１フレームで、タイミングをずらして右明光源１１２Ｒと左明光源１１２Ｌを発光させる。これに対応して、右カメラ１１０Ｒは、右明光源１１２Ｒの照射中に顔画像を撮像し、左カメラ１１０Ｌは、左明光源１１２Ｌの照射中に顔画像を撮像する。

さらに、ＬＥＤ駆動制御部１３３は、第２フレームで、同様にタイミングをずらして右暗光源１１４Ｒと左暗光源１１４Ｌを発光させる。これに対応して、右カメラ１１０Ｒは、右暗光源１１４Ｒの照射中に顔画像を撮像し、左カメラ１１０Ｌは、左暗光源１１４Ｌの照射中に顔画像を撮像する。なお、左右カメラ１１０Ｒ，１１０Ｌにより撮像された画像は、カメラＩＦ１３１Ｒ，１３１Ｌを介して制御部１４０に入力される。

なお、以下、右明光源１１２Ｒ照射中に右カメラ１１０Ｒにより撮像された画像を右カメラ明画像、左明光源１１２Ｌ照射中に左カメラ１１０Ｌにより撮像された画像を左カメラ明画像、右暗光源１１４Ｒ照射中に右カメラ１１０Ｒにより撮像された画像を右カメラ暗画像、左暗光源１１４Ｌ照射中に左カメラ１１０Ｌにより撮像された画像を左カメラ暗画像と称する。

スピーカ駆動部１３４は、スピーカ１０３を駆動する。制御部１４０は、視線方向検出装置１００全体を制御する。制御部１４０は、具体的には、表示制御部１４１と、画像取得部１４２と、差分画像生成部１４３と、候補領域特定部１４４と、面積算出部１４５と、縦横比算出部１４６と、平均輝度算出部１４７と、瞳孔検出部１４８と、視線方向検出部１４９とを備えている。表示制御部１４１は、第１表示部１０１および第２表示部１０２への各種情報の表示を制御する。

画像取得部１４２は、カメラＩＦ１３１Ｒ，１３１Ｌから撮像画像を取得する。差分画像生成部１４３は、右カメラ明画像と右カメラ暗画像の対応する各画素の輝度の差分値を算出し、差分値を各画素の値とする右差分画像を生成する。同様に、差分画像生成部１４３は、左カメラ明画像と左カメラ暗画像に基づいて、左差分画像を生成する。すなわち、差分画像生成部１４３は、差分算出部として機能する。なお、本実施の形態にかかる視線方向検出装置１００においては、画像に含まれる領域の処理に際し、画素単位で処理を行うこととするが、処理単位は実施の形態に限定されるものではなく、画像を任意のサイズの画像領域に分割し、画像領域単位で輝度等の値を処理すればよい。

候補領域特定部１４４は、右差分画像および左差分画像の各画素の値を予め設定された二値化閾値を用いて二値化処理する。候補領域特定部１４４は、二値化閾値以上となる画素が連続する領域を、候補領域として特定する。候補領域特定部１４４は、さらに特定した候補領域に連続する番号を付与する、すなわちラベル化処理を行う。なお、候補領域とは、瞳孔の候補となる領域である。

面積算出部１４５は、候補領域の面積を算出する。縦横比算出部１４６は、候補領域の縦横比を算出する。縦横比算出部１４６は具体的には、候補領域の横方向（Ｘ軸方向）における最も右側の画素位置と、最も左側の画素位置とを特定し、両画素位置間のＸ軸方向における距離を横の長さとして特定する。縦横比算出部１４６はさらに、候補領域の縦方向（Ｙ軸方向）における最も上側の画素位置と、最も下側の画素位置とを特定し、両画素位置間のＹ軸方向における距離を縦の長さとして特定する。縦横比算出部１４６は、特定した縦の長さと横の長さの比を縦横比として算出する。

平均輝度算出部１４７は、候補領域に含まれる各画素の輝度値の平均、すなわち平均輝度を算出する。瞳孔検出部１４８は、各候補領域の面積、縦横比および平均輝度に基づいて、被検出者の瞳孔を検出する。

視線方向検出部１４９は、瞳孔検出部１４８の検出結果に基づいて、被検出者の視線方向を検出する。視線方向検出部１４９は、具体的には、まずステレオ視の手法により、右カメラ明画像および左カメラ明画像を用いて、右差分画像および左差分画像それぞれから検出された瞳孔の、図２に示す三次元座標系における位置、すなわち瞳孔位置を算出する。視線方向検出部１４９はさらに、右カメラ明画像および左カメラ明画像に基づいて、被検出者の角膜反射の位置を算出する。視線方向検出部１４９は、さらに瞳孔と左右カメラ１１０Ｒ，１１０Ｌの間の距離である瞳孔カメラ間距離を算出する。そして、視線方向検出部１４９は、瞳孔位置と、角膜反射位置と、瞳孔カメラ間距離とに基づいて、被検出者の視線方向を検出し、さらに、第１表示部１０１の表示面と視線方向との交点を注視点として検出する。なお、視線方向検出処理の詳細については、例えば特許第４５１７０４９号を参照することができる。

なお、明画像を用いることにより、暗画像に比べて瞳孔を明確に判別することができる。そのため、本実施の形態においては、視線方向検出部１４９は、左右カメラ明画像を用いて、視線方向を検出することとしたが、他の例としては、視線方向検出部１４９は、左右カメラ暗画像を用いて、視線方向を検出することとしてもよい。

図４は、視線検出装置１００の処理を示すフローチャートである。図４に示すように、視線検出処理において、まずＬＥＤ駆動制御部１３３は、左明光源１１２Ｌを点灯させる（ステップＳ１０１）。次に、左カメラ１１０Ｌは、左明光源１１２Ｌが照射された状態での被検出者の顔画像を撮像し、画像取得部１４２は、左カメラ１１０Ｌにより得られた左カメラ明画像を取得する（ステップＳ１０２）。

次に、ＬＥＤ駆動制御部１３３は、右明光源１１２Ｒを点灯させる（ステップＳ１０３）。次に、右カメラ１１０Ｒは、右明光源１１２Ｒが照射された状態での被検出者の顔画像を撮像し、画像取得部１４２は、右カメラ１１０Ｒにより得られた右カメラ明画像を取得する（ステップＳ１０４）。

次に、ＬＥＤ駆動制御部１３３は、左暗光源１１４Ｌを点灯させる（ステップＳ１０５）。次に、左カメラ１１０Ｌは、左暗光源１１４Ｌが照射された状態での被検出者の顔画像を撮像し、画像取得部１４２は、左カメラ１１０Ｌにより得られた左カメラ暗画像を取得する（ステップＳ１０６）。

次に、ＬＥＤ駆動制御部１３３は、右暗光源１１４Ｒを点灯させる（ステップＳ１０７）。次に、右カメラ１１０Ｒは、右暗光源１１４Ｒが照射された状態での被検出者の顔画像を撮像し、画像取得部１４２は、右カメラ１１０Ｒにより得られた右カメラ暗画像を取得する（ステップＳ１０８）。

次に、差分画像生成部１４３は、左カメラ１１０Ｌにより得られた左カメラ明画像と左カメラ暗画像の対応する各画素の輝度の差分を算出し、算出した差分値を各画素の値とする左差分画像を生成する。さらに、差分画像生成部１４３は、右カメラ１１０Ｒにより得られた右カメラ明画像と右カメラ暗画像の対応する各画素の輝度の差分を算出し、算出した差分値を各画素の値とする右差分画像を生成する（ステップＳ１０９）。次に、瞳孔検出部１４８等により、左差分画像および右差分画像を用いた瞳孔検出処理が行われる（ステップＳ１１０）。瞳孔検出処理については後述する。

瞳孔が検出されると、視線方向検出部１４９は、さらに左カメラ明画像および右カメラ明画像を利用し、瞳孔近辺の画像から角膜反射の位置を算出する（ステップＳ１１１）。次に、視線方向検出部１４９は、瞳孔カメラ間距離を算出する（ステップＳ１１２）。視線方向検出部１４９は、さらに瞳孔位置を算出し、瞳孔位置と、角膜反射位置と、瞳孔カメラ間距離とに基づいて、視線方向を検出する（ステップＳ１１３）。そして、処理の終了指示がない場合には（ステップＳ１１４，Ｎｏ）、ステップＳ１０１に戻り、処理を繰り返す。処理の終了指示があると（ステップＳ１１４，Ｙｅｓ）、処理が完了する。

図５は、瞳孔検出処理（ステップＳ１１０）における詳細な処理を示すフローチャートである。瞳孔検出処理（ステップＳ１１０）においては、左差分画像および右差分画像それぞれを用いて、それぞれ瞳孔検出のための処理が行われる。なお、左差分画像および右差分画像いずれを用いる場合であっても、処理は同様であり、以下、図５の説明においては、左差分画像および右差分画像を単に差分画像と称する。

まず候補領域特定部１４４は、二値化閾値を用いて、差分画像の各画素の値を二値化する（ステップＳ２０１）。次に、候補領域特定部１４４は、二値化処理により二値化閾値以上と判定された画素のうち、連続する画素の領域を候補領域として特定する。さらに、候補領域特定部１４４は、特定した候補領域に対し順次番号（ラベル）を付与する。すなわち、候補領域特定部１４４は、候補領域のラベル化を行う（ステップＳ２０２）。

次に、候補領域特定部１４４は、ラベル化された候補領域を選択する（ステップＳ２０３）。ステップＳ２０３においては、未処理の複数の候補領域のうち番号の小さい候補領域を選択する。次に、瞳孔検出部１４８は、ラベル化された候補領域に対し、順次以下の処理を実行する。すなわち、瞳孔検出部１４８はまず、面積算出部１４５に対し、選択された候補領域の面積算出を指示する。面積算出部１４５は、この指示にしたがい、選択された候補領域の面積を算出する（ステップＳ２０４）。

次に、瞳孔検出部１４８は、算出された面積の値と、予め設定されている面積の値の範囲である面積範囲とを比較する。瞳孔検出部１４８は、算出された面積の値が面積範囲内の値である場合に（ステップＳ２０５，Ｙｅｓ）、縦横比算出部１４６に対し、選択された候補領域の縦横比の算出を指示する。縦横比算出部１４６は、この指示にしたがい、選択された候補領域の縦横比を算出する（ステップＳ２０６）。

次に、瞳孔検出部１４８は、算出された縦横比の値と、予め設定されている縦横比の値の範囲である縦横比範囲とを比較する。瞳孔検出部１４８は、算出された縦横比の値が縦横比範囲内の値である場合に（ステップＳ２０７，Ｙｅｓ）、平均輝度算出部１４７に対し、選択された候補領域の平均輝度の算出を指示する。平均輝度算出部１４７は、この指示にしたがい、選択された候補領域の平均輝度を算出する（ステップＳ２０８）。

次に、瞳孔検出部１４８は、候補領域のばらつき値を算出する（ステップＳ２０９）。具体的には、瞳孔検出部１４８は、候補領域内の各画素の値の標準偏差をばらつき値として算出する。なお、本実施の形態においては、瞳孔検出部１４８は、ばらつき値として標準偏差を算出することとしたが、ばらつき値は、候補領域内の画素の値のばらつきの程度を示す値であればよく、標準偏差に限定されるものではない。

次に、瞳孔検出部１４８は、算出したばらつき値と、予め設定されているばらつき値に対する閾値であるばらつき閾値とを比較する。そして、瞳孔検出部１４８は、ばらつき値がばらつき閾値以下である場合に（ステップＳ２１０，Ｙｅｓ）、選択された候補領域は瞳孔であると判断する（ステップＳ２１１）。

一方、ステップＳ２０５において、面積が面積範囲内の値でない場合（ステップＳ２０５，Ｎｏ）、ステップＳ２０７において、縦横比が縦横比範囲内の値でない場合（ステップＳ２０７，Ｎｏ）、ステップＳ２１０において、ばらつき値がばらつき閾値よりも大きい場合には（ステップＳ２１０，Ｎｏ）、瞳孔検出部１４８は、選択された候補領域は瞳孔ではないと判断する（ステップＳ２１２）。

次に、未処理のラベルの候補領域がある場合には（ステップＳ２１３，Ｙｅｓ）、ステップＳ２０３に戻り、未処理の選択候補を選択する（ステップＳ２０３）。未処理の候補領域がない場合には（ステップＳ２１３，Ｎｏ）、瞳孔検出処理（ステップＳ１１０）は完了する。

ここで、図６−１〜図６−３を参照しつつ、差分画像におけるばらつき値と瞳孔との関係について説明する。図６−１は、左右カメラ１１０Ｒ，１１０Ｌいずれかにより撮影されたカメラ明画像を示す図である。図６−２は、左右カメラ１１０Ｒ，１１０Ｌいずれかにより撮影されたカメラ暗画像を示す図である。図６−３は、図６−１に示すカメラ明画像と図６−２に示すカメラ暗画像から生成される差分画像を示す図である。

明光源１１２Ｒ，１１２Ｌや、暗光源１１４Ｒ，１１４Ｌが照射された場合には、瞳孔だけでなく眼鏡のレンズやフレームにおいても光が反射される。このため、図６−１および図６−２に示すように、瞳孔の領域５０１，５０３だけでなく、眼鏡のレンズやフレームの領域５０２，５０４において、他の領域に比べて輝度の高い画像が得られる。

明光源１１２Ｒ，１１２Ｌに対する瞳孔による反射は比較的大きく、図６−１に示すように、瞳孔の領域５０１は、他の領域に比べて輝度の高い領域となる。また、瞳孔の領域５０１の輝度はほぼ一定の値となる。暗光源１１４Ｒ，１１４Ｌに対する瞳孔による反射は、明光源１１２Ｒ，１１２Ｌに対する瞳孔による反射に比べて非常に小さい。このため、図６−２に示すカメラ暗画像においては、瞳孔の領域５０３の輝度は、領域５０１の輝度に比べて非常に小さい値となる。なお、領域５０３においても輝度はほぼ一定の値となる。このため、図６−３に示すように差分画像においては、瞳孔の領域５０５は、ほぼ一定の輝度の画像となる。

一方、明光源１１２Ｒ，１１２Ｌと、暗光源１１４Ｒ，１１４Ｌの位置が異なることなどに起因し、カメラ明画像とカメラ暗画像において眼鏡による反射として得られる輝度の高い領域５０２，５０４は、その位置が一致しない。また、眼鏡による反射に対応して得られる輝度の値も一定の値とならない。このため、図６−３に示すように差分画像においては、領域５０６のように、領域５０２と領域５０４が一致しないことに起因し、領域５０２および領域５０４に比べて面積が小さく、かつ高輝度を示す領域や、領域５０７のように、１つの連続領域として得られた領域の一部の輝度の差分が０となる領域などが生じる場合がある。

図７−１および図７−２は、それぞれ瞳孔と眼鏡による反射光に対応する輝度と、輝度の差分値とを示している。図７−１に示すように、瞳孔においては、明光源からの光に対応して得られた輝度は一様に高い値を示す。暗光源からの光に対して得られた輝度は、明光源からの輝度に対応して得られた輝度に比べて非常に低い輝度となるものの一様の値となる。このため、差分画像は一様の値を示す。

これに対し、図７−２に示すように、眼鏡による反射は一様にならず、このため、差分もばらついた値を示す。図７−２に示すように、眼鏡による反射では、中央部分が相殺し合い、差分画像が２つの領域に分かれる場合がある。また、眼鏡による反射では、反射エッジの部分で均一性がなくなり、輝度平均に対する変化が部分的に大きくなる場合がある。

このように、瞳孔による反射と、眼鏡による反射においては、それぞれにより得られた輝度の差分のばらつきの程度が異なる。すなわち、瞳孔に対応する領域においては、眼鏡に対応する領域に比べて、差分のばらつきの程度が小さい。そこで、本実施の形態の視線方向検出装置１００においては、上述のように、候補領域のばらつきの程度がばらつき閾値以下となる場合に、この候補領域を瞳孔と判断することとした。

このように、本実施の形態にかかる視線方向検出装置１００は、明瞳孔を含むカメラ明画像と暗瞳孔を含むカメラ暗画像との差分を示す差分画像を生成し、差分画像における高輝度領域における輝度のばらつき値がばらつき閾値以下か否かにより、瞳孔か否かを判断することができる。すなわち、視線方向検出装置１００は、少ない演算量で精度よく瞳孔を検出し、これに基づいて視線方向を検出することができる。

（第２の実施の形態）
第２の実施の形態にかかる視線方向検出装置１００は、より精度よく瞳孔を検出すべく、図５に示す瞳孔検出処理（ステップＳ１１０）において、瞳孔と判断された複数の候補領域から２つの候補領域を抽出し、この２つの候補領域の組み合わせが被検出者の左右の瞳孔であるか否かを判断する。

図８は、第２の実施の形態にかかる視線方向検出装置１００の具体的な処理示すフローチャートである。図５に示すステップＳ２１３において、すべてのラベルについて処理が完了すると、図８に示すステップＳ２３１に進み、瞳孔検出部１４８は、ステップＳ２１１において瞳孔と判断した候補領域から２つの候補領域の組み合わせを抽出する（ステップＳ２３１）。

なお、ステップＳ２１１において、２つの候補領域のみが瞳孔と判断された場合には、図８に示すステップＳ２３１以降の処理は、この２つの候補領域についてのみ行えばよい。一方、ステップＳ２１１において、３つ以上の候補領域が瞳孔と判断された場合には、３つの候補領域から取り得るすべての２つの候補領域の組み合わせを抽出し、各組み合わせに対し、ステップＳ２３１以降の処理を行う。

次に、瞳孔検出部１４８は、２つの候補領域の面積の比（面積比）を算出する（ステップＳ２３２）。瞳孔検出部１４８は、具体的には、大きい方の面積を基準とした、小さい方の面積の割合を面積比として算出する。

次に、瞳孔検出部１４８は、算出した面積比と、予め設定された面積比閾値とを比較する。面積比が面積比閾値以下である場合には（ステップＳ２３３，Ｙｅｓ）、瞳孔検出部１４８は、さらに２つの候補領域の平均輝度の比（平均輝度比）を算出する（ステップＳ２３４）。瞳孔検出部１４８は、具体的には、大きい方の平均輝度を基準とした、小さい方の平均輝度の割合を平均輝度比として算出する。

次に、瞳孔検出部１４８は、算出した平均輝度比と、予め設定された平均輝度比閾値とを比較する。平均輝度比が平均輝度比閾値以下である場合には（ステップＳ２３５，Ｙｅｓ）、瞳孔検出部１４８は、２つの候補領域を瞳孔であると判断する（ステップＳ２３６）。また、ステップＳ２３３において、面積比が面積比閾値よりも大きい場合（ステップＳ２３３，Ｎｏ）、ステップＳ２３５において、平均輝度比が平均輝度比閾値よりも大きい場合（ステップＳ２３５，Ｎｏ）には、瞳孔検出部１４８は、２つの候補領域を瞳孔ではないと判断する（ステップＳ２３７）。

そして、未処理の２つの候補領域の組み合わせが存在する場合には（ステップＳ２３８，Ｙｅｓ）、ステップＳ２３１に進む。未処理の２つの候補領域の組み合わせが存在しない場合には（ステップＳ２３８，Ｎｏ）、処理は完了する。

本実施の形態においては、瞳孔検出部１４８は、面積比と面積比閾値とを比較することにより、２つの候補領域の面積を評価したが、２つの候補領域の面積の差が所定の範囲内であるか否かを判断できればよく、そのための具体的な処理は実施の形態に限定されるものではない。例えば、２つの面積のうち一方を基準として許容範囲を定め、他方の面積がこの許容範囲内の値である場合に、瞳孔と判断するための面積の条件を満たしていると判断してもよい。また、他の例としては、２つの面積の差分値が所定の閾値以下か否かを判断してもよい。また、平均輝度比についても同様である。すなわち、２つの平均輝度のうち一方を基準として許容範囲を定め、他方の平均輝度がこの許容範囲内の値である場合に、瞳孔と判断するための平均輝度の条件を満たしていると判断してもよい。

なお、第２の実施の形態にかかる視線検出装置１００のこれ以外の構成および処理は、第１の実施の形態にかかる視線検出装置１００の構成および処理と同様である。

以上、本発明を実施の形態を用いて説明したが、上記実施の形態に多様な変更または改良を加えることができる。例えば、車載装置などにおける運転者の視線検出、視線により操作を行う装置における視線検出等に用いてもよい。

１００ 視線方向検出装置
１１０Ｒ，１１０Ｌ カメラ
１１２Ｒ，１１２Ｌ 明光源
１１４Ｒ，１１４Ｌ 暗光源
１３０ 駆動・ＩＦ部
１３３ ＬＥＤ駆動制御部
１４０ 制御部
１４１ 表示制御部
１４２ 画像取得部
１４３ 差分画像生成部
１４４ 候補領域特定部
１４５ 画像算出部
１４６ 縦横比算出部
１４７ 平均輝度算出部
１４８ 瞳孔検出部
１４９ 視線方向検出部
１６０ 記憶部

Claims (5)

1. 撮像部により撮像された第１画像であって、第１の位置に配置された光源から赤外光が照射された状態の人物の瞳孔を含む前記第１画像と、前記撮像部により撮像された第２画像であって、前記第１の位置に比べて前記撮像部との間の距離が長い位置である第２の位置に配置された光源から赤外光が照射された状態の前記人物の瞳孔を含む第２画像とを取得する画像取得部と、
   前記第１画像に含まれる複数の画像領域それぞれの輝度と、前記第１画像の複数の画像領域それぞれに対応する、前記第２画像の複数の画像領域それぞれの輝度の差分値を算出する差分値算出部と、
   前記差分値を第１閾値と比較し、前記第１閾値以上の差分値が算出された連続する複数の前記画像領域を前記瞳孔の候補領域として特定する候補領域特定部と、
   前記候補領域特定部によって特定された前記候補領域の面積を算出する面積算出部と、
   前記面積算出部によって算出された前記候補領域の面積の横方向における最も右側の画素位置と、最も左側の画素位置との間の距離を横の長さとして、前記候補領域の縦方向における最も上側の画素位置と、最も下側の画素位置との間の距離を縦の長さとし、前記候補領域の縦横比と第２閾値とを比較し、前記縦横比が前記第２閾値以下である前記候補領域を算出する縦横比算出部と、
   前記縦横比算出部によって算出された前記候補領域内の各画像領域の輝度のばらつきの程度を示すばらつき値を算出するばらつき値算出部と、
   前記ばらつき値と第３閾値とを比較し、前記ばらつき値が前記第３閾値以下である場合に、前記候補領域を前記人物の瞳孔の位置として検出する瞳孔検出部と
   を備えることを特徴とする瞳孔検出装置。
2. 前記算出部は、前記ばらつき値として、前記候補領域内の各画像領域の輝度の標準偏差を算出することを特徴とする請求項１に記載の瞳孔検出装置。
3. 前記候補領域内の各画像領域の輝度の平均値を算出する平均輝度算出部をさらに備え、
   前記瞳孔検出部は、前記ばらつき値が前記第３閾値以下となる、異なる２つの前記候補領域を抽出し、抽出した２つの前記候補領域の一方の前記平均値が他方の前記平均値を基準とする第１範囲内の値である場合に、前記２つの前記候補領域を前記人物の２つの瞳孔の位置として検出することを特徴とする請求項１または２に記載の瞳孔検出装置。
4. 前記瞳孔検出部は、抽出した２つの前記候補領域の一方の前記面積が他方の前記面積を基準とする第２範囲内の値である場合であって、抽出した２つの前記候補領域の一方の前記平均値が他方の前記平均値を基準とする前記第１範囲内の値である場合に、前記２つの前記候補領域を前記人物の２つの瞳孔の位置として検出することを特徴とする請求項３に記載の瞳孔検出装置。
5. 撮像部により撮像された第１画像であって、第１の位置に配置された光源から赤外光が照射された状態の人物の瞳孔を含む前記第１画像と、前記撮像部により撮像された第２画像であって、前記第１の位置に比べて前記撮像部との間の距離が長い位置である第２の位置に配置された光源から赤外光が照射された状態の前記人物の瞳孔を含む第２画像とを取得する画像取得工程と、
   前記第１画像に含まれる複数の画像領域それぞれの輝度と、前記第１画像の複数の画像領域それぞれに対応する、前記第２画像の複数の画像領域それぞれの輝度の差分値を算出する差分値算出工程と、
   前記差分値を第１閾値と比較し、前記第１閾値以上の差分値が算出された連続する複数の前記画像領域を前記瞳孔の候補領域として特定する候補領域特定工程と、
   前記候補領域特定工程によって特定された前記候補領域の面積を算出する面積算出工程と、
   前記面積算出工程によって算出された前記候補領域の面積の横方向における最も右側の画素位置と、最も左側の画素位置との間の距離を横の長さとして、前記候補領域の縦方向における最も上側の画素位置と、最も下側の画素位置との間の距離を縦の長さとし、前記候補領域の縦横比と第２閾値とを比較し、前記縦横比が前記第２閾値以下である前記候補領域を算出する縦横比算出工程と、
   前記縦横比算出工程によって算出された前記候補領域内の各画像領域の輝度のばらつきの程度を示すばらつき値を算出するばらつき値算出工程と、
   前記ばらつき値と第３閾値とを比較し、前記ばらつき値が前記第３閾値以下である場合に、前記候補領域を前記人物の瞳孔の位置として検出する瞳孔検出工程と
   を含むことを特徴とする瞳孔検出方法。