JP6669173B2 - 眼球観察装置、アイウェア端末、視線検出方法及びプログラム - Google Patents

Description

本開示は、眼球観察装置、アイウェア端末、視線検出方法及びプログラムに関する。

視線方向を推定する技術として、角膜反射法が広く利用されている。角膜反射法では、眼球に対して赤外光を照射し、その角膜表面における反射像（以下、「角膜反射像」ともいう。）や瞳孔を赤外撮像した画像を用いて視線方向を推定する。しかし、眼鏡ユーザの視線方向の推定においては、眼球に対して照射した赤外光が眼鏡表面で反射し、その反射像がアウトライア（擬似輝点）となって、角膜反射像や瞳孔が観察できなくなる。

そこで、例えば、特許文献１には、撮像装置前面の液晶パネルに対する電圧のオンオフ制御を行うことで、所定の偏光方向の光のみを透過させたり、全方向の光を透過させたりして、角膜反射像以外のアウトライアを除去することが開示されている。

また、眼球を撮像し画像処理を行うことで、虹彩認証などの個人識別を行うことや、個人の覚醒状態や健康状態を知ることができる。しかし、視線方向を推定する場合と同様、眼鏡をかけたユーザに対して赤外光を照射する場合、眼鏡表面での反射光がアウトライアとなり、瞳孔や虹彩などの観察を困難になる場合がある。

特許第３２９７５０４号公報

しかし、上記特許文献１では、光源からの光の入射角をブリュースター角に近づけ、角膜反射の偏光度を大きくするように光源を設置する必要がある。眼球と光源との位置関係や視線方向によって入射角は変わるため、アウトライアを除去できるのは特定の条件を満たす場合に限定されると考えられる。また、視線方向を推定するためには、ある瞬間の角膜反射像と瞳孔との位置が必要である。高速な眼球の動きに追従するためには、液晶パネルの加圧状態のスイッチングと撮像とを十分に高い周波数で行い、同期をとる必要がある。しかし、撮像装置ではシャッタースピードを上げると光量低下により瞳孔検出が困難になる。また、光源と撮像装置との偏光方向を完全に一致させる必要があるため、偏光子、撮像装置、光源の設置誤差を極めて小さくする必要がある。さらに、液晶パネルを光源と撮像装置の前面に配置すると、眼球観察装置のサイズが大きくなってしまう。

そこで、本開示では、安定して眼球画像の取得を行うことが可能な、新規かつ改良された眼球観察装置、アイウェア端末、視線検出方法及びプログラムを提案する。

本開示によれば、ユーザの眼球に対して偏光された赤外光を照射する少なくとも１つの赤外光源と、偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に撮像可能な少なくとも１つの撮像装置と、を備える、眼球観察装置が提供される。

また、本開示によれば、ユーザの眼前に設けられるレンズと、ユーザの眼球に対して偏光された赤外光を照射する少なくとも１つの赤外光源と、偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に撮像可能な少なくとも１つの撮像装置と、を含む眼球観察装置と、を備える、アイウェア端末が提供される。

さらに、本開示によれば、少なくとも１つの赤外光源によりユーザの眼球に対して偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に取得すること、偏光画像の各画素につき、偏光方向と輝度との関係を表す偏光モデルを生成すること、偏光モデルを用いて、任意の偏光方向を有する任意位相偏光画像を生成すること、任意位相偏光画像に基づいて、視線方向を推定すること、を含む、視線検出方法が提供される。

また、本開示によれば、コンピュータに、少なくとも１つの赤外光源によりユーザの眼球に対して偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に取得すること、偏光画像の各画素につき、偏光方向と輝度との関係を表す偏光モデルを生成すること、偏光モデルを用いて、任意の偏光方向を有する任意位相偏光画像を生成すること、任意位相偏光画像に基づいて、視線方向を推定すること、を実行させるためのプログラムが提供される。

以上説明したように本開示によれば、安定して視線検出を行うことが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る眼球観察装置において視線方向を推定するために検出される瞳孔及び輝点の検出を説明する説明図である。 同実施形態に係る眼球観察装置の一構成例を示す概略説明図である。 同実施形態に係る眼球観察装置の他の構成例を示す概略説明図である。 同実施形態に係る眼球観察装置の他の構成例を示す概略説明図である。 同実施形態に係る眼球観察装置で用いる撮像装置の一例を示す説明図である。 同実施形態に係る視線推定演算装置の機能構成を示す機能ブロック図である。 同実施形態に係る眼球観察装置による視線検出方法を示すフローチャートである。 式（１）の偏光モデルをグラフ化した図である。 偏光光の眼鏡レンズによる鏡面反射と拡散反射のふるまいを示す説明図である。 角膜反射像とアウトライアとの偏光モデルを示すグラフである。 角膜反射像の観察点の相違を示す説明図である。 偏光方向が異なる赤外光源の反射（角膜反射像）の偏光モデルを表すグラフである。 同実施形態に係る視線推定演算装置のハードウェア構成を示すハードウェア構成図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．概要
１．１．眼球観察装置の概略構成
１．２．検討事項
２．装置構成
２．１．眼球観察装置の構成
２．２．視線推定演算装置
３．視線検出方法
４．ハードウェア構成

＜１．概要＞
［１．１．眼球観察装置の概略構成］
まず、図１を参照して、本開示の一実施形態に係る眼球観察装置の概略構成について説明する。なお、図１は、本実施形態に係る眼球観察装置において視線方向を推定するために検出される瞳孔及び輝点の検出を説明する説明図である。なお、本実施形態において、眼球観察装置は、視線検出装置として見做されても良い。

本実施形態に係る眼球観察装置では、眼球に偏光した赤外光を照射して、その赤外光の角膜反射像を撮影し、撮影画像から視線方向の推定に必要な瞳孔及び輝点を検出する。図１に示すように、撮像装置により撮影された眼球Ｅの画像から、瞳孔Ｐと赤外光の角膜反射像Ｂとを検出する。瞳孔Ｐ及び角膜反射像Ｂは、一般に、機械学習等の統計手法的を用いて検出される。そして、眼球観察装置は、検出された瞳孔Ｐと角膜反射像Ｂとに基づき、３次元眼球モデルを用いて、幾何学的手法により光軸を推定し、視軸（視線方向）を推定する。

［１．２．検討事項］
ここで、従来、眼鏡ユーザの視線方向の検出においては、眼球に対して照射した赤外光が眼鏡表面で反射してアウトライアとなり、瞳孔や角膜反射像が検出できず、その結果、視線方向を安定して検出することができなかった。

また、眼鏡の装着の有無に関わらず、角膜反射像のアウトライア（太陽光や物体の映りこみ、赤外光源による強膜反射、睫毛や涙等の擬似反射等）と、真の角膜反射像とを区別することは困難であり、アウトライアが存在する場合の視線推定精度は著しく低下する。

一方、角膜反射法を用いた視線推定では、複数の光源を用いることで視線推定精度を向上させることができる。角膜反射像は、光源、撮像装置及び眼球の位置関係や、瞼や眼球の形状、視線方向等により観察できない場合もあるが、複数光源を用いることで視線推定に必要な最低個数の角膜反射像を観察できる可能性が増え、安定した視線推定が可能となる。ただし、複数光源を用いて視線を推定するためには、上述のアウトライアを除去し、観察された角膜反射像がどの光源の反射像であるかを確実に識別する必要がある。しかし、複数の角膜反射像の一部だけが観察された場合、それがどの光源に対応する反射像であるかを正確に識別することが困難な場合もある。

眼鏡反射に対しては、例えば、光源を偏光させて、その角度に直交する角度の偏光素子を通して画像を撮像することで、眼鏡反射だけを除去した瞳孔及び角膜反射像を含む眼球画像を取得することが可能となる（例えば、特開平７−２８９５１８号公報）。ここで、眼鏡を透過した光は反射を繰り返し無偏光となるため、眼鏡ユーザについては眼鏡反射による輝点と角膜反射像とを区別することができる。しかし、本来、角膜反射像は角膜の鏡面反射によるものであり、鏡面反射においては偏光した光の反射では偏光は不変である。つまり、眼鏡表面での鏡面反射が抑制されるのと同様に、裸眼ユーザにおいては光源の偏光方向を除去する偏光子を通してしまうと角膜反射像自体が抑制されてしまう。また、光源と撮像装置との偏光方向を直交に設置しなくてはならないため、偏光子、撮像装置及び光源の設置誤差を極めて小さくする必要がある。

角膜反射像のアウトライア除去に関しては、例えば、複数光源を利用し、光源配置に応じた適切な位置関係にあり、かつ画像上の輝点サイズが妥当である輝点を真の角膜反射像として検出する方法が提案されている（例えば、特許４２６０７１５号明細書）。しかし、位置関係や輝点サイズだけではアウトライアを多少減らすことはできても、完全に除去することはできない。

また、上記特許文献１のように、撮像装置前面の液晶パネルに対する電圧のオンオフ制御を行うことで、所定の偏光方向の光のみを透過させたり、全方向の光を透過させたりして、角膜反射像以外のアウトライアを除去することも提案されている。しかし、上述したように、かかる方法では、眼球と光源との位置関係や視線方向によって入射角は変わるため、アウトライアを除去できるのは特定の条件を満たす場合に限定されると考えられる。また、高速な眼球の動きに追従するために撮像装置のシャッタースピードを上げると、光量低下により瞳孔検出が困難になる。さらに、光源と撮像装置との偏光方向を完全に一致させる必要があったり、液晶パネルを光源と撮像装置の前面に配置すると、眼球観察装置のサイズが大きくなったりする。

そこで、本実施形態に係る眼球観察装置では、偏光子を利用して眼球に偏光した赤外光を照射するための少なくとも１つの赤外偏光光源と、３方向以上の偏光を同時に撮像可能な、少なくとも１つの赤外透過撮像装置とを用いる。これにより、眼鏡反射抑制、角膜反射像のアウトライア除去、及び角膜反射像の識別を行い、視線方向検出のために用いる瞳孔及び輝点を高精度に検出する。以下、本実施形態に係る眼球観察装置の構成とその機能について詳細に説明する。

＜２．装置構成＞
まず、図２〜図５に基づいて、本実施形態に係る眼球観察装置１のハードウェア構成例を説明する。なお、図２〜図４は、本実施形態に係る眼球観察装置１（１Ａ〜１Ｃ）の一構成例を示す概略説明図である。図５は、本実施形態に係る眼球観察装置１で用いる撮像装置１３の一例を示す説明図である。

［２．１．眼球観察装置の構成］
本実施形態に係る眼球観察装置１（１Ａ〜１Ｃ）は、図２〜図４に示すように、赤外光源１１と、偏光子１２と、撮像装置１３とからなる。赤外光源１１、偏光子１２、及び撮像装置１３は、少なくとも１つ設けられていればよく、原理的には複数使用することで視線推定精度を向上させることができる。また、視線検出に際し、複数の偏光方向を用いる場合は、各赤外光源１１に対応して設ける偏光子１２の偏光方向を相違させればよい。

赤外光源１１は、角膜反射を得るために眼球Ｅに対して赤外光を照射する光源であり、例えば、赤外ＬＥＤ等であってもよい。偏光子１２は、赤外光源１１から出射された赤外光を偏光させるための光学素子であり、赤外光源１１と眼球Ｅとの間の光路上に配置される。

撮像装置１３は、赤外光が照射されている眼球Ｅを撮影するための装置である。本実施形態に係る撮像装置１３は、例えば、図５に示すように、３方向以上の偏光方向を同時に撮像できる装置である（例えば、特許第４４８６７０３号明細書、特許第４９７４５４３号明細書等）。偏光とは、電場及び磁場が特定の方向にのみ振動する光のことである。撮像装置１３による測定では、偏光子１２を用いて特定の方向の偏光を透過／吸収させ、これを撮像する。また、視線推定においては赤外領域の画像を用いるため、撮像装置１３には赤外領域を撮像可能な装置が用いられる。撮像装置１３により取得された撮像画像は、視線方向を推定する視線推定演算装置１００に出力される。

本実施形態に係る眼球観察装置１は、眼球Ｅとの位置関係については、赤外光源１１から出射された赤外光の角膜反射が撮像装置１３に入射する配置であれば、いかなる配置であってもよい。例えば、図２に示す眼球観察装置１Ａのように、赤外光源１１、偏光子１２、及び撮像装置１３が、眼球Ｅと近接して配置される構成であってもよい。かかる構成は、例えば装着時にユーザの眼前にレンズが設けられるアイウェア端末やヘッドマウント型デバイス、スカウター等に適用することができる。

また、例えば図３に示す眼球観察装置１Ｂのように、赤外光源１１、偏光子１２、及び撮像装置１３が、眼球Ｅから離れた位置に配置される構成であってもよい。かかる構成は、例えば、テレビやパソコン等のディスプレイのように、眼球から離れた据え置き型端末に適用することができる。

さらに、例えば図４に示す眼球観察装置１Ｃのように、眼球Ｅと撮像装置１３との間にハーフミラー等の光路分離装置１５を設けた構成としてもよい。かかる構成は、例えば、カメラの電子ビューファインダー等に適用することができる。

なお、本実施形態に係る眼球観察装置１の構成は、図２〜図４に示した構成に限定されるものではなく、偏光光を眼球に照射し、３方向の偏光画像を同時に撮像可能な構成であればよい。また、眼球観察装置１が適用されるデバイスも、上述の例に限定されず、例えばコンタクトレンズ型デバイス等であってもよく、アイウェア端末等に着脱可能なデバイスとして構成することもできる。

［２．２．視線推定演算装置］
次に、図６に基づいて、本実施形態に係る眼球観察装置１の視線推定演算装置１００の機能構成について説明する。なお、図６は、本実施形態に係る視線推定演算装置１００の機能構成を示す機能ブロック図である。

本実施形態に係る視線推定演算装置１００は、図６に示すように、画像生成部１１０と、画像処理部１２０と、視線推定部１３０とからなる。

（画像生成部）
画像生成部１１０は、撮像装置１３により撮影された撮像画像から、所定の偏光方向の偏光画像を生成する。画像生成部１１０は、例えば図６に示すように、偏光モデル生成部１１１と、偏光モデル記憶部１１３と、任意位相偏光画像生成部１１５と、任意位相偏光画像記憶部１１７とからなる。

偏光モデル生成部１１１は、撮像装置１３により撮影された撮像画像に基づいて、各画素の偏光モデルを生成する。本実施形態に係る撮像画像は、３方向以上の偏光が含まれている。偏光子１２を介して出射された赤外光の角膜反射を撮像すると、取得される輝度値と偏光方向とは、後述する式（１）に示すようなｃｏｓ関数でモデル化されることが知られている。偏光モデルの詳細な説明については後述する。偏光モデル生成部１１１は、生成した各画素の偏光モデルを、偏光モデル記憶部１１３に記録するとともに、任意位相偏光画像生成部１１５へ出力する。

偏光モデル記憶部１１３は、偏光モデル生成部１１１により生成された各画素の偏光モデルを記憶する記憶部である。偏光モデル記憶部１１３に記憶された各画素の偏光モデルは、例えば後述の角膜反射像の検出処理において利用される。

任意位相偏光画像生成部１１５は、各画素の偏光モデルに基づいて、任意の位相の偏光画像（以下、「任意位相偏光画像」ともいう。）を生成する。任意位相偏光画像生成部１１５は、後述する画像処理において、各処理を行うに当たって最適な画像を生成する処理を行う。例えば、眼鏡ユーザの視線方向を検出する場合、赤外光が眼鏡表面で反射してアウトライアとなり、瞳孔検出や輝点検出を正常に行うことができなくなる。任意位相偏光画像生成部１１５は、瞳孔検出や輝点検出を正常に行うことができるように、これらの検出を行うに当たって最適な位相の偏光画像を生成する。なお、任意位相偏光画像の生成処理の詳細については後述する。任意位相偏光画像生成部１１５は、生成した任意位相偏光画像を、任意位相偏光画像記憶部１１７に記録する。

任意位相偏光画像記憶部１１７は、任意位相偏光画像生成部１１５により生成された任意位相偏光画像を記憶する記憶部である。任意位相偏光画像記憶部１１７に記憶された任意位相偏光画像は、例えば後述の瞳孔あるいは輝点の検出処理において利用される。

（画像処理部）
画像処理部１２０は、画像生成部１１０にて生成された任意位相偏光画像に対して画像処理を行い、視線方向を推定するために必要な情報を取得する。画像処理部１２０は、例えば図６に示すように、瞳孔検出部１２１と、輝点検出部１２３と、アウトライア除去部１２５と、角膜反射像識別部１２７とからなる。

瞳孔検出部１２１は、瞳孔検出に適した位相の偏光画像から瞳孔を検出する。瞳孔検出部１２１は、任意位相偏光画像記憶部１１７より、瞳孔検出に適した位相の偏光画像（以下、「瞳孔検出用偏光画像」ともいう。）を取得し、瞳孔検出用偏光画像上の瞳孔を検出する。例えば、赤外光源１１を撮像装置１３の光軸から離して配置した場合、取得される撮像画像の瞳孔は黒っぽく観察される（暗瞳孔）。あるいは、赤外光源１１を撮像装置１３の光軸上に極めて近い場所に設置した場合、網膜の再帰反射により瞳孔は白っぽく観察される（明瞳孔）。これらを利用して、瞳孔検出部１２１は、例えば瞳孔検出用偏光画像上から楕円状の黒っぽい領域（あるいは白っぽい領域）を瞳孔として検出する。あるいは、瞳孔検出部１２１は、明瞳孔と暗瞳孔との差分画像から瞳孔部分を抽出してもよい。

輝点検出部１２３は、撮像画像から輝点を検出する。輝点検出部１２３では、例えば、画像中において、周囲よりも輝度値が高くサイズが所定以下であり、検出位置が赤外光源１１の設置位置と所定以上の整合性がある領域を、輝点として検出する。輝点検出部１２３において検出される輝点には、角膜反射像以外の疑似輝点等のアウトライアも含まれる。

アウトライア除去部１２５は、輝点検出部１２３にて検出された各輝点から、疑似輝点等のアウトライアを除去し、真の角膜反射像のみを検出する。アウトライア除去部１２５は、輝点検出部１２３にて検出された各輝点領域の画素に対し、偏光モデル記憶部１１３に記憶された偏光モデルを用いて偏光度を求める。そして、偏光度に基づき、各輝点を真の角膜反射像とアウトライアとに分類する。なお、アウトライア除去処理の詳細については後述する。

角膜反射像識別部１２７は、アウトライア除去部１２５により特定された真の角膜反射像について、どの光源からの反射像であるか、対応する赤外光源１１を識別する。角膜反射を利用した視線推定では、複数の赤外光源１１を用いることで、視線推定精度を向上させたり、視点位置によって角膜反射像が観察されなくなるのを防いだりすることができる。しかし、複数の角膜反射像の一部だけが観察された場合、それがどの光源の反射像であるかを正確に識別できない場合もある。そこで、本実施形態では、偏光方向の違いが偏光モデルの位相差となって表れる原理を応用し、角膜反射像に対応する各赤外光源１１を識別する。なお、角膜反射像の識別処理の詳細については後述する。

（視線推定部）
視線推定部１３０は、画像処理部１２０により検出された画像上の角膜反射像と瞳孔位置とに基づいて、視線方向を推定する。視線方向の推定処理は、角膜反射像と瞳孔位置とを用いる既存の推定手法を用いて行ってもよい。例えば、ユーザの眼球に対して光源から光を照射し、その光の角膜表面での反射光と瞳孔の位置とを検出して視線方向を推定する角膜反射法を用いてもよい。

＜３．視線検出方法＞
以下、図７に基づいて、本実施形態に係る眼球観察装置１による視線検出方法について説明する。なお、図７は、本実施形態に係る眼球観察装置１による視線検出方法を示すフローチャートである。

（Ｓ１００：画像取得）
本実施形態に係る視線検出方法では、まず、ユーザの眼球に対して赤外光源１１から赤外光を照射した状態において、撮像装置１３により眼球を撮影する（Ｓ１００）。本実施形態に係る撮像装置１３は、３方向以上の赤外偏光を同時に取得する。例えば、図５に示す撮像装置では、４方向の偏光画像を同時に取得できる。

（Ｓ１１０：偏光モデル生成）
次いで、偏光モデル生成部１１１により、撮像装置１３により撮影された撮像画像に基づいて、各画素の偏光モデルが生成される（Ｓ１１０）。本実施形態に係る撮像装置１３により取得された３方向以上の偏光画像を用いると、各偏光画像の輝度値と偏光方向とから、各画素を下記式（１）に示すようなｃｏｓ関数でモデル化できることが知られている。原理的には、３方向以上の偏光画像があれば、ｃｏｓ関数により表現することができる（例えば、特許第４９７４５４３号明細書参照）。なお、式（１）において、Ｉは輝度値、Ｉｍａｘは最大輝度値、Ｉ_ｍｉｎは最小輝度値である。また、θ_ｐｏｌは撮像装置１３の偏光板の偏光角度、φは赤外光の偏光角度である。

偏光方向と取得輝度値の関係を表した式（１）の偏光モデルをグラフ化したものを図８に示す。図８に示すように、赤外光の偏光角度φ（＋１８０°）において画素の輝度値は最大となり、偏光角度φから±９０°ずれた角度において画素の輝度値は最小となる。ここで、最大輝度値での偏光板の偏光方向は、眼球へ照射される赤外光の偏光方向と平行である。また、最小輝度値での偏光板の偏光方向は、眼球へ照射される赤外光の偏光方向と垂直である。

偏光モデル生成部１１１は、各画素について偏光モデルを生成すると、偏光モデル記憶部１１３に記録するとともに、任意位相偏光画像生成部１１５へ出力する。なお、図４に示した、光路分離装置１５を備える構成の眼球観察装置１Ｃを用いる場合には、光路分離装置１５による偏光状態を想定した所定の処理を行い、偏光モデルが生成される。また、偏光モデルは、上記式（１）に基づき設定する他、例えば機械学習により生成してもよい。

（Ｓ１２０：任意位相偏光画像生成）
次いで、任意位相偏光画像生成部１１５は、各画素の偏光モデルに基づいて、任意位相偏光画像を生成する（Ｓ１２０）。任意位相偏光画像生成部１１５は、後述する画像処理において、各処理を行うに当たって最適な画像を生成する処理を行う。例えば、眼鏡ユーザの視線方向を検出する場合、赤外光が眼鏡表面で反射してアウトライアとなり、瞳孔検出や輝点検出を正常に行うことができなくなる。この場合、任意位相偏光画像生成部１１５により、ノイズとなる眼鏡反射を抑制した画像を生成し、当該画像に基づいて各検出処理を行うことで、眼鏡ユーザの視線方向を安定して検出することが可能となる。

より詳細に説明すると、図９に示すように、赤外光源１１から出射した赤外光が、偏光子１２を通過して偏光光となった後、眼鏡レンズの表面にて表面反射されると、その反射光も眼鏡レンズに入射したときの偏光光と同じ偏光方向の偏光光となる。一方、眼鏡レンズを透過した光は、レンズ内で拡散反射を繰り返して無偏光となる。眼球観察装置１により眼鏡ユーザの眼球に赤外光を照射した場合、眼鏡レンズの表面での反射は鏡面反射成分が多く、偏光光は偏光光のまま反射する。そこで、本実施形態では、偏光子１２により赤外光源１１に偏光をかけ、その偏光光を抑制する方向の偏光板を通して撮像装置１３により眼球を撮影した偏光画像を取得する。これにより、眼鏡レンズの表面での偏光光の鏡面反射成分を抑制して、内部反射成分（すなわち、眼球での反射成分）だけを取り出すことができる。

かかる原理を利用し、任意位相偏光画像生成部１１５は、瞳孔検出や輝点検出を正常に行うことができるように、これらの検出を行うに当たって最適な位相の偏光画像を生成する。

例えば、眼鏡ユーザに対しては、ステップＳ１１０にて生成された各画素の偏光モデルにおいて輝度値が最小となる画素を生成することで、赤外光源１１の偏光方向を最も抑制した画像、すなわち、眼鏡反射を抑制した画像を生成することができる。なお、任意位相偏光画像を生成するために偏光モデルを用いるために、赤外光源１１の偏光子の偏光方向と撮像装置１３の偏光板の偏光方向を厳密に合わせる必要はない。

通常の撮影では、眼鏡反射が起こった状態では瞳孔エッジが眼鏡反射により隠れてしまい、画像処理による瞳孔検出が困難となる。しかし、本実施形態によれば、任意位相偏光画像生成部１１５により眼鏡反射を取り除いた画像を生成し、瞳孔検出を行うことが可能なため、眼鏡ユーザに対しても安定した瞳孔検出を行うことができる。

視線推定において利用する角膜反射像も角膜表面での鏡面反射である。したがって、角膜反射像を高精度に観測するためには、赤外光源１１の偏光方向を完全には抑制しない位相の画像を生成すればよい。なお、角膜反射像と眼鏡反射の輝度値及びサイズとは赤外光源１１の光量に依存する。したがって、任意位相偏光画像生成部１１５は、これらに最適な位相で画像を生成すればよい。

また、眼鏡ユーザについて輝点検出を行う場合には、眼鏡反射と角膜反射とが共存するため、瞳孔検出用に生成した各画素が最低輝度値となる画像を利用してもよい。これらの画像において、眼鏡レンズを通る際の屈折、及び、眼鏡と眼球との間の拡散反射により、眼鏡反射と角膜反射との偏光モデルは異なって観察される。このため、各画素で最低画素の輝度モデルを作った場合でも、眼鏡反射よりも角膜反射の方が高輝度で観察される。したがって、瞳孔検出用に生成した画像から、周囲よりも輝度値が高く、サイズや位置が所定の条件を満たす輝点を角膜反射像として検出すればよい。この検出には、機械学習を用いてもよい。

なお、任意位相偏光画像生成部１１５により眼鏡反射を除去する処理を行う前に、例えば、輝点のサイズや輝度値、位置、エッジ、円形度等の特徴を用いて荒い輝点検出を行った後、処理領域を輝点の候補画素に限定して偏光画像生成を行ってもよい。これにより、任意位相偏光画像生成部１１５の処理量を削減することが可能となる。また、荒い輝点検出には、例えば全ての偏光方向の平均画像を用いればよく、この処理に、例えば機械学習を用いてもよい。

一方、裸眼ユーザに対しても、眼鏡ユーザに対する上記処理と同様、任意位相偏光画像生成部１１５により瞳孔検出用偏光画像と輝点検出用偏光画像とを生成し、検出のための処理画像としても用いてもよい。すなわち、瞳孔検出用偏光画像は、例えば、上述の眼鏡ユーザの場合と同様、偏光画像の各画素につき、偏光モデルを用いて偏光方向を変化させて最小輝度値を抽出し、最小輝度値からなる画像としてもよい。

ただし、眼鏡反射を抑制した画像は光量が半減してしまう。そこで、例えば、眼鏡ユーザと裸眼ユーザとの判別を行い、眼鏡ユーザに対しては眼鏡反射を抑制した画像を用いて、裸眼ユーザに対しては撮像した３方向以上の偏光画像を用いて瞳孔検出用偏光画像を生成してもよい。

ユーザの眼鏡装着の有無の判別は、例えば、眼鏡反射が起きると通常眼があるべき領域に大きな高輝度の領域が観察されることから、入力画像の眼領域部分の輝度値を特徴として判別してもよい。あるいは、偏光子１２により偏光された赤外光に対する眼鏡表面での鏡面反射は偏光光となることから、後述の式（２）で表される偏光度に基づいて、偏光モデルにおいて偏光度の大きくなる領域のサイズを特徴として判別してもよい。これらの特徴を入力として、閾値処理、あるいは機械学習等でユーザの眼鏡装着の有無を判別できる。

また、輝点検出用偏光画像は、光源の偏光方向が既知として、以下のように取得してもよい。まず、光源が複数ある場合には、全ての光源に対してそれぞれ異なる方向の偏光をかける。そして、画素毎に観察したい光源の偏光方向の画素を生成することで、アウトライア、及び、他の光源からの反射を抑制し、観察された光源からの角膜反射が高い輝度値を持つ偏光画像が生成される。その後、画像処理部１２０の輝点検出部１２３では、この生成された偏光画像に基づき輝点検出処理が行われ、検出された輝度値が所定の閾値以上の輝点を、対応する光源の真の角膜反射像とする。このとき、所定の閾値以上の輝度値を有する輝点が複数の検出された場合は、輝度値が最大の輝点が真の角膜反射像として選択される。輝点検出部１２３での輝点検出は、機械学習を用いて行ってもよい。

光源が複数ある場合には、輝点検出用偏光画像は任意位相偏光画像生成部１１５により光源の数だけ生成され、当該偏光画像に基づき輝点検出部１２３により輝点検出が行われる。なお、輝点検出用偏光画像の作成においては、上述の眼鏡ユーザの場合と同様、任意位相偏光画像生成部１１５により眼鏡反射を除去する処理を行う前に、例えば、輝点のサイズや輝度値、位置、エッジ、円形度等の特徴を用いて荒い輝点検出を行った後、処理領域を輝点の候補画素に限定して偏光画像生成を行ってもよい。これにより、任意位相偏光画像生成部１１５の処理量を削減することが可能となる。また、荒い輝点検出には、例えば全ての偏光方向の平均画像を用いればよく、この処理に、例えば機械学習を用いてもよい。

任意位相偏光画像生成部１１５は、予め設定された条件に基づき、偏光モデルを用いて瞳孔検出用偏光画像や輝点検出用偏光画像を生成すると、これらの偏光画像を任意位相偏光画像記憶部１１７に記録する。

（Ｓ１３０：瞳孔検出）
ステップＳ１２０にて各種の任意位相偏光画像が生成されると、画像処理部１２０により生成された偏光画像に対する画像処理が行われ、瞳孔及び角膜反射像が取得される。まず、瞳孔検出部１２１により、瞳孔検出に適した位相の瞳孔検出用偏光画像から瞳孔が検出される（Ｓ１３０）。例えば、赤外光源１１を撮像装置１３の光軸から離して配置した場合、取得される撮像画像の瞳孔は黒っぽく観察される（暗瞳孔）。あるいは、赤外光源１１を撮像装置１３の光軸上に極めて近い場所に設置した場合、網膜の再帰反射により瞳孔は白っぽく観察される（明瞳孔）。これらを利用して、瞳孔検出部１２１は、例えば瞳孔検出用偏光画像上から楕円状の黒っぽい領域（あるいは白っぽい領域）を瞳孔として検出する。あるいは、瞳孔検出部１２１は、明瞳孔と暗瞳孔との差分画像から瞳孔部分を抽出してもよい。

（Ｓ１４０：輝点検出）
次いで、輝点検出部１２３により、輝点検出用偏光画像に基づいて輝点が検出される（Ｓ１４０）。輝点検出部１２３では、例えば、画像中において、周囲よりも輝度値が高くサイズが所定以下であり、検出位置が赤外光源１１の設置位置と所定以上の整合性がある領域を、輝点として検出する。輝点検出部１２３において検出される輝点には、角膜反射像以外の疑似輝点等のアウトライアも含まれる。

（Ｓ１５０：アウトライア除去）
そして、アウトライア除去部１２５により、輝点検出部１２３にて検出された各輝点から、疑似輝点等のアウトライアを除去し、真の角膜反射像が検出される（Ｓ１５０）。アウトライアには、例えば、眼球の角膜ではなく強膜で反射することで現れる輝点や、ユーザの下睫毛での反射で現れる輝点等がある。その他、アウトライアとして、環境からの反射光の眼球への映り込みや、太陽光の映り込み等がある。これらの要素は、真の角膜反射像の検出を妨げる要素であるため、アウトライア除去部１２５により除去される。

アウトライア除去部１２５は、輝点検出部１２３にて検出された各輝点領域の画素に対し、偏光モデル記憶部１１３に記憶された偏光モデルを用いて偏光度ρを求め、偏光度ρの大きさに基づき、アウトライアを除去する。偏光度ρは、観測光の直線偏光の度合いを表し、下記式（２）にて表される。

本実施形態では、角膜反射像は偏光子１２を通した偏光光の角膜表面での反射像であり、偏光度ρは大きくなる。一方で、無偏光である太陽光の反射、あるいは強膜等での反射は、偏光度ρは小さくなる。ここで、図１０に、角膜反射像で観察される偏光度ρの大きい偏光モデルと、アウトライアで観察される偏光度ρの小さい偏光モデルとの例を示す。図１０に示すように、偏光度ρが大きい角膜反射像の偏光モデルの振幅と比較して、偏光度ρの小さいアウトライアの偏光モデルの振幅は小さくなっている。

この特性を利用して、アウトライア除去部１２５は、上記式（２）に基づき偏光度ρを求め、閾値処理あるいは機械学習を用いて、ステップＳ１４０にて検出された輝点を、真の角膜反射像とアウトライアとに分類する。例えば、閾値処理では、偏光度ρの値が所定値未満であれば当該輝点はアウトライアとして分類され、偏光度ρの値が所定値以上であれば当該輝点は真の角膜反射像として分類される。

（Ｓ１６０：角膜反射像識別）
その後、角膜反射像識別部１２７により、アウトライア除去部１２５により特定された真の角膜反射像について、どの光源からの反射像であるか、対応する赤外光源１１が識別される（Ｓ１６０）。ステップＳ１６０の処理は、複数の赤外光源１１から眼球Ｅへ赤外光が照射されている場合にのみ実行してもよい。

角膜反射を利用した視線推定では、複数の赤外光源１１を用いることで、視線推定精度を向上させたり、視点位置によって角膜反射像が観察されなくなるのを防いだりすることができる。しかし、例えば４つの赤外光源１１から眼球Ｅに赤外光が照射されたとき、図１１左側のように４つの角膜反射像ｐ１〜ｐ４が検出されるところ、図１１右側のように２つの角膜反射像ｐ１、ｐ４のみが検出されることもある。このように、複数の角膜反射像の一部だけが観察された場合、それがどの光源の反射像であるかを正確に識別できない場合もある。そこで、本実施形態では、偏光方向の違いが偏光モデルの位相差となって表れる原理を応用し、角膜反射像に対応する各赤外光源１１を識別する。

より詳細に説明すると、まず、赤外光源１１の特定を可能にするため、本実施形態に係る眼球観察装置１は、各赤外光源１１に対応して設置する偏光子１２の偏光方向が相違するように構成される。そして、画像生成部１１０の偏光モデル生成部１１１にて、各赤外光源１１の偏光モデルを生成し、偏光モデル記憶部１１３に記録しておく。ここで、撮像装置１３の偏光板の偏光角度θ_ｐｏｌは、原理的に０°≦θ_ｐｏｌ＜１８０°の範囲でのみ意味を持つため、この範囲内で排他的に赤外光源１１の偏光方向を決定する。例えば、２つの赤外光源１１の偏光方向を相違させたとき、例えば図１２に示すように、第１の赤外光源の偏光モデル（Purkinje-1）と第２の赤外光源の偏光モデル（Purkinje-2）とでは、振幅及び周期は同じであるが位相の異なるものとなる。

そして、角膜反射像識別部１２７は、赤外光源１１の偏光モデルと、観察された各角膜反射像の偏光モデルとの位相類似度を用いて、角膜反射像の識別を行う。すなわち、位相が類似し、位相類似度が高い赤外光源１１と角膜反射像とが対応するものとして識別される。位相類似度は、閾値処理により識別してもよく、機械学習を用いて識別してもよい。なお、赤外光源１１の偏光方向は、予めキャリブレーションにより求めてもよく、視線推定時に全ての輝点が観察され識別が容易かつ正確に行われたときに設定してもよい。キャリブレーションでは、観察された角膜反射像の偏光モデルを求め、この偏光モデルの位相が、各赤外光源１１と関連付けて光源偏光方向記憶部２０に記録される。なお、偏光子１２の配置は、眼球観察装置１の組立時に決定されるため、基本的にキャリブレーションは１度行えばよい。

（Ｓ１７０：視線推定）
そして、視線推定部１３０は、画像処理部１２０により検出された画像上の角膜反射像と瞳孔位置とに基づいて、視線方向を推定する（Ｓ１７０）。例えば、視線推定部１３０は、赤外光源１１と撮像装置１３との設置位置を既知として観察された画像上の角膜反射像から３次元上の角膜曲率半径中心座標を推定する。また、視線推定部１３０は、画像上の瞳孔位置から３次元上の瞳孔中心座標を推定し、これらを結ぶ軸として眼球の光軸を求める。そして、視線推定部１３０は、観察された情報から求めた光軸を人の視線方向に相当する視軸に変換する処理を行い、３次元視線ベクトルを求める。あるいは、視線推定部１３０は、画像上の角膜反射像と瞳孔とを結ぶ２次元ベクトルとディスプレイ上の視線位置とのマッピングを行うことにより視線ベクトルを求めてもよい。本実施形態に係る視線検出方法における視線推定手法は、特に限定されるものではなく、既存の各種視線推定手法を用いることができる。

以上、本実施形態に係る視線検出方法について説明した。本実施形態によれば、視線推定を行うにあたり瞳孔や角膜反射像を検出する際に、各検出に適した偏光画像を使用するため、より精度よく瞳孔や角膜反射像を検出することが可能となる。また、本実施形態に係る眼球観察装置１の撮像装置１３は、３方向以上の偏光画像を同時に取得することができるので、これに基づき生成された各画素の偏光モデルにより、瞳孔検出用偏光画像や輝点検出用偏光画像を、同時にそれぞれ生成することができる。また、眼鏡ユーザの視線を検出する場合にも、眼鏡レンズでの鏡面反射を除去することもできる。

さらに、偏光モデルを用いて、角膜反射像以外のアウトライアを除去することもでき、複数の赤外光源１１を利用した場合の角膜反射像との対応付けも正確に行うことができる。このように、本実施形態に係る視線検出方法により、安定して精度よく視線推定を行うことができる。また、赤外光源１１の偏光方向と撮像装置１３の偏光板の偏光方向との厳密な位置合わせも不要であり、様々な機器や状況への適用が容易である。なお、撮像装置１３以外の撮像装置を用いて注視対象を特定したり、あるいは注視すべきであるのに視線方向から外れている場合にアラートを出したりしてもよい。

＜変形例＞
本実施形態の眼球観察装置は、視線推定のための使用に限られず、眼球状態を撮像するアプリケーションに使用されてもよい。本実施形態の眼球観察装置によれば、例えば、撮像した眼球状態に基づいて後述の指標や兆候を判定することで、ユーザの健康状態あるいは覚醒状態を判定あるいは推定することができる。変形例としての本実施形態の眼球観察装置は、視線推定演算装置に代えて、あるいは追加で、眼球状態推定演算装置を備えていればよい。なお、眼球状態推定演算装置は、撮像した眼球の画像から眼球状態情報を取得し、後述の指標あるいは兆候を判定するように構成された装置として見做されてよい。

本実施形態の眼球観察装置によれば、眼鏡反射を抑制し、瞳孔や虹彩を検出しやすい画像を生成することができる。なお、虹彩認証は虹彩のパターンによって個人を識別する技術である。虹彩認証においても、瞳孔や虹彩など眼球情報を取得する必要がある。

また、本実施形態の眼球観察装置によれば、瞳孔径や虹彩の応対を観察することで個人の健康状態や覚醒状態を推定することができる。視線を検出する場合と同様、本実施形態の眼球観察装置によれば、眼鏡レンズでの鏡面反射を除去することもできる。したがって、ユーザの瞳孔や虹彩の検出の精度を向上させることができる。

本実施形態の眼球観察装置により取得された眼球画像から取得されるパラメータは、健康状態に関連する種々の指標と比較され、これにより、健康状態の判定や推定が行われてよい。例えば、瞳孔の散瞳・縮瞳は、交感神経と副交感神経系との相互作用により起こる。したがって、瞳孔の散瞳・縮瞳の変化が自律神経系の状態を示す指標として用いられてよい。例えば、５ｍｍ以上の散瞳は低血糖・低酸素症・薬物中毒・中脳生涯・脳ヘルニア・心停止などの指標として用いられてよい。２ｍｍ以下の縮瞳は脳ヘルニアの初期・有機リン中毒などの指標として用いられてよい。１ｍｍ以下のピンホールは橋出血・麻薬中毒などの指標として用いられてよい。左右瞳孔径に０．５ｍｍ以上の差がある場合は脳ヘルニアの兆候があると見做されてよい。なお、散瞳・縮瞳は、眼球観察画像から正確に瞳孔の輪郭を抽出し、瞳孔径を測定することで可能となる。

また、虹彩の状態を観察することでも健康状態を知ることができるとされる（虹彩学）。例えば、虹彩の回りの濁り（コレステロールリング）を観察することで血中コレステロールが高いことや脂質代謝が困難であることを判定あるいは推定することができる。したがって、虹彩の周りの濁り度合に基づいて、ユーザの健康状態が判定あるいは推定されてもよい。また、瞳孔の周りに一つまたはそれ以上の数の和が見える状態はストレスが高いことを表す。したがって、一つまたはそれ以上の数の和が見える場合に、ユーザが高ストレス状態にあると判定あるいは推定されてもよい。

また、本実施形態の眼球観察装置によれば、眼球観察により人の覚醒状態を推定することも可能である。覚醒状態の変化に基づいて、疲労度や作業効率などが把握され得る。特に、自動車や電車などの運転手の覚醒度を把握することは安全性の確保にとって非常に有用である。例えば、覚醒度が下がり副交感神経系活動が交換神経系に対して優位になると瞳孔が収縮するが、一方で縮瞳に対抗する散瞳が繰り返される。このため、覚醒度が下がっている場合、瞳孔径に低周波の大きなゆらぎ（Ｌａｒｇｅ Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｆｌｕｃｔｕａｔｉｏｎ）が生じる。
したがって、瞳孔径の変化に基づいて健康状態や覚醒状態が判定あるいは推定されてもよい。

なお、２つの偏光撮像装置を用いれば、三角測量により眼球までの距離を測定し、正確に瞳孔径を測定することができる。また、日常的な個人の瞳孔径の変化を見る場合は、撮像装置は１台でも画像処理により目尻や目頭など顔パーツをマークとして正規化することで、瞳孔径の相対変化を観察し健康状態や覚醒状態の管理を行うことができる。

このように、眼球観察によりユーザのさまざまな状態を知ることができる。本実施形態によれば、眼鏡を使用したユーザに対しても眼鏡表面の反射を除去した眼球画像を生成することができる。例えばスマートフォンに撮像装置と偏光赤外光源を組み込み、虹彩認証による個人識別、日常的な健康管理が行われてもよい。この装置構成において、健康状態あるいは覚醒状態の判定あるいは推定に加えて、ユーザの視線検出が行われてもよい。また、車や電車・飛行機など操縦者が必要な乗り物では眼球を観察できる場所に偏光赤外光源と赤外カメラを設置して覚醒度をモニタリングしてもよい。

本実施形態の眼球観察装置によれば、裸眼ユーザに対しても同じ構成で眼球画像を取得することができる。一般的に偏光板を使って撮像センサに入射する光を制限することで照度が不足する場合がある。３方向以上の偏光方向を同時に取得するセンサを使用する場合、すべての偏光方向の平均画像を用いることで照度不足にも対応できる。

＜４．ハードウェア構成＞
最後に、本実施形態に係る視線推定演算装置１００のハードウェア構成例について説明する。図１３は、本実施形態に係る視線推定演算装置１００のハードウェア構成を示すハードウェア構成図である。

本実施形態に係る視線推定演算装置１００は、上述したように、コンピュータ等の処理装置により実現することができる。視線推定演算装置１００は、図１３に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４ａとを備える。また、視線推定演算装置１００は、ブリッジ９０４と、外部バス９０４ｂと、インタフェース９０５と、入力装置９０６と、出力装置９０７と、ストレージ装置９０８と、ドライブ９０９と、接続ポート９１１と、通信装置９１３とを備える。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って視線推定演算装置１００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４ａにより相互に接続されている。

ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。出力装置９０７は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置や、スピーカなどの音声出力装置を含む。

ストレージ装置９０８は、視線推定演算装置１００の記憶部の一例であり、データ格納用の装置である。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

ドライブ９０９は、記憶媒体用リーダライタであり、視線推定演算装置１００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。

接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。また、通信装置９１３は、例えば、通信網５に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１３は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、複数の赤外光源を使用したときの角膜反射像と赤外光源との対応付けは、キャリブレーションを実行することにより行ったが、本技術はかかる例に限定されない。例えば、各赤外光源に対応する偏光子の角度のずれが既知である場合には、偏光子による偏光方向の角度に基づいて、角膜反射像との対応付けを行ってもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザの眼球に対して偏光された赤外光を照射する少なくとも１つの赤外光源と、
偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に撮像可能な少なくとも１つの撮像装置と、
を備える、眼球観察装置。
（２）
前記撮像装置により取得された偏光画像の各画素につき、偏光方向と輝度との関係を表す偏光モデルを生成する偏光モデル生成部を備える、前記（１）に記載の眼球観察装置。
（３）
前記偏光モデルを用いて、前記撮像装置により取得された偏光画像から、任意の偏光方向を有する任意位相偏光画像を生成する任意位相偏光画像生成部を備える、前記（２）に記載の眼球観察装置。
（４）
前記任意位相偏光画像生成部は、前記偏光画像の各画素について、偏光方向を変化させて最小輝度値を抽出し、前記最小輝度値からなる瞳孔検出用偏光画像を生成する、前記（３）に記載の眼球観察装置。
（５）
前記任意位相偏光画像生成部は、前記偏光画像の各画素について、偏光方向を変化させて最大輝度値を抽出し、前記最大輝度値からなる輝点検出用偏光画像を生成する、前記（３）または（４）に記載の眼球観察装置。
（６）
前記輝点検出用偏光画像から輝点を検出する輝点検出部と、
検出された輝点の偏光度に基づいて、当該輝点が角膜反射像のアウトライアを除去するアウトライア除去部と、
を備える、前記（５）に記載の眼球観察装置。
（７）
前記アウトライア除去部は、検出された前記輝点のうち、前記偏光度が所定値未満の輝点を、アウトライアとして除去する、前記（６）に記載の眼球観察装置。
（８）
前記アウトライア除去部によりアウトライアが除去されることで取得された角膜反射像の対応する前記赤外光源を、前記偏光モデルの位相の相違に基づき識別する、角膜反射像識別部を備える、前記（６）または（７）に記載の眼球観察装置。
（９）
前記赤外光源を複数備える場合、前記各赤外光源に対応する偏光子のうち少なくとも１つは、他の偏光子と異なる偏光方向を有する、前記（１）〜（８）のいずれか１項に記載の眼球観察装置。
（１０）
撮像された前記眼球の画像に基づいてユーザの視線を検出あるいは推定する第１の演算装置をさらに備える、前記（１）〜（９）のいずれか１項に記載の眼球観察装置。
（１１）
撮像された前記眼球の画像に基づいて眼球状態情報を取得し、取得された前記眼球状態情報に基づいてユーザの健康状態および覚醒状態のうち少なくとも一方を検出あるいは推定する第２の演算装置をさらに備える、前記（１）〜（１０）のいずれか１項に記載の眼球観察装置。
（１２）
ユーザの眼前に設けられるレンズと、
ユーザの眼球に対して偏光された赤外光を照射する少なくとも１つの赤外光源と、偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に撮像可能な少なくとも１つの撮像装置と、を含む眼球観察装置と、
を備える、アイウェア端末。
（１３）
撮像された前記眼球の画像に基づいてユーザの視線を検出あるいは推定する第１の演算装置をさらに備える、前記（１２）に記載のアイウェア端末。
（１４）
撮像された前記眼球の画像に基づいて眼球状態情報を取得し、取得された前記眼球状態情報に基づいてユーザの健康状態および覚醒状態のうち少なくとも一方を検出あるいは推定する第２の演算装置をさらに備える、前記（１２）または（１３）に記載のアイウェア端末。
（１５）
少なくとも１つの赤外光源によりユーザの眼球に対して偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に取得すること、
前記偏光画像の各画素につき、偏光方向と輝度との関係を表す偏光モデルを生成すること、
前記偏光モデルを用いて、任意の偏光方向を有する任意位相偏光画像を生成すること、
前記任意位相偏光画像に基づいて、視線方向を推定すること、
を含む、視線検出方法。
（１６）
コンピュータに、
少なくとも１つの赤外光源によりユーザの眼球に対して偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に取得すること、
前記偏光画像の各画素につき、偏光方向と輝度との関係を表す偏光モデルを生成すること、
前記偏光モデルを用いて、任意の偏光方向を有する任意位相偏光画像を生成すること、
前記任意位相偏光画像に基づいて、視線方向を推定すること、
を実行させるためのプログラム。

１ 眼球観察装置
１１ 赤外光源
１２ 偏光子
１３ 撮像装置
１５ 光路分離装置
２０ 光源偏光方向記憶部
１００ 視線推定演算装置
１１０ 画像生成部
１１１ 偏光モデル生成部
１１３ 偏光モデル記憶部
１１５ 任意位相偏光画像生成部
１１７ 任意位相偏光画像記憶部
１２０ 画像処理部
１２１ 瞳孔検出部
１２３ 輝点検出部
１２５ アウトライア除去部
１２７ 角膜反射像識別部
１３０ 視線推定部

Claims (15)

1. ユーザの眼球に対して偏光された赤外光を照射する少なくとも１つの赤外光源と、
   偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に撮像可能な少なくとも１つの撮像装置と、
   前記撮像装置により取得された偏光画像の各画素につき、偏光方向と輝度との関係を表す偏光モデルを生成する偏光モデル生成部と、
   を備える、眼球観察装置。
2. 前記偏光モデルを用いて、前記撮像装置により取得された偏光画像から、任意の偏光方向を有する任意位相偏光画像を生成する任意位相偏光画像生成部を備える、請求項１に記載の眼球観察装置。
3. 前記任意位相偏光画像生成部は、前記偏光画像の各画素について、偏光方向を変化させて最小輝度値を抽出し、前記最小輝度値からなる瞳孔検出用偏光画像を生成する、請求項２に記載の眼球観察装置。
4. 前記任意位相偏光画像生成部は、前記偏光画像の各画素について、偏光方向を変化させて最大輝度値を抽出し、前記最大輝度値からなる輝点検出用偏光画像を生成する、請求項２に記載の眼球観察装置。
5. 前記輝点検出用偏光画像から輝点を検出する輝点検出部と、
   検出された輝点の偏光度に基づいて、当該輝点が角膜反射像のアウトライアを除去するアウトライア除去部と、
   を備える、請求項４に記載の眼球観察装置。
6. 前記アウトライア除去部は、検出された前記輝点のうち、前記偏光度が所定値未満の輝点を、アウトライアとして除去する、請求項５に記載の眼球観察装置。
7. 前記アウトライア除去部によりアウトライアが除去されることで取得された角膜反射像の対応する前記赤外光源を、前記偏光モデルの位相の相違に基づき識別する、角膜反射像識別部を備える、請求項５に記載の眼球観察装置。
8. ユーザの眼球に対して偏光された赤外光を照射する少なくとも１つの赤外光源と、
   偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に撮像可能な少なくとも１つの撮像装置と、
   を備え、
   前記赤外光源を複数備える場合、前記各赤外光源に対応する偏光子のうち少なくとも１つは、他の偏光子と異なる偏光方向を有する、眼球観察装置。
9. ユーザの眼球に対して偏光された赤外光を照射する少なくとも１つの赤外光源と、
   偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に撮像可能な少なくとも１つの撮像装置と、
   撮像された前記眼球の画像に基づいてユーザの視線を検出あるいは推定する第１の演算装置と、
   を備える、眼球観察装置。
10. ユーザの眼球に対して偏光された赤外光を照射する少なくとも１つの赤外光源と、
    偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に撮像可能な少なくとも１つの撮像装置と、
    撮像された前記眼球の画像に基づいて眼球状態情報を取得し、取得された前記眼球状態情報に基づいてユーザの健康状態および覚醒状態のうち少なくとも一方を検出あるいは推定する第２の演算装置と、
    を備える、眼球観察装置。
11. ユーザの眼前に設けられるレンズと、
    ユーザの眼球に対して偏光された赤外光を照射する少なくとも１つの赤外光源と、偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に撮像可能な少なくとも１つの撮像装置と、を含む眼球観察装置と、
    を備える、アイウェア端末。
12. 撮像された前記眼球の画像に基づいてユーザの視線を検出あるいは推定する第１の演算装置をさらに備える、請求項１１に記載のアイウェア端末。
13. 撮像された前記眼球の画像に基づいて眼球状態情報を取得し、取得された前記眼球状態情報に基づいてユーザの健康状態および覚醒状態のうち少なくとも一方を検出あるいは推定する第２の演算装置をさらに備える、請求項１１に記載のアイウェア端末。
14. 少なくとも１つの赤外光源によりユーザの眼球に対して偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に取得すること、
    前記偏光画像の各画素につき、偏光方向と輝度との関係を表す偏光モデルを生成すること、
    前記偏光モデルを用いて、任意の偏光方向を有する任意位相偏光画像を生成すること、
    前記任意位相偏光画像に基づいて、視線方向を推定すること、
    を含む、視線検出方法。
15. コンピュータに、
    少なくとも１つの赤外光源によりユーザの眼球に対して偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に取得すること、
    前記偏光画像の各画素につき、偏光方向と輝度との関係を表す偏光モデルを生成すること、
    前記偏光モデルを用いて、任意の偏光方向を有する任意位相偏光画像を生成すること、
    前記任意位相偏光画像に基づいて、視線方向を推定すること、
    を実行させるためのプログラム。

Images