JP6592000B2 - 目追跡でのグレアに対処すること - Google Patents

Description

[0001] ユーザは、コンピューティングシステムと、種々の入力機構を使用してインターフェイス接続することが可能である。例えば目の視線追跡が、グラフィカルユーザインターフェイスとインタラクトするために利用される場合があり、ユーザの視線がグラフィカルユーザインターフェイスと交差する、決定される場所が、ユーザインターフェイスとのインタラクションに対する位置的な信号として使用され得る。視線追跡技法は、光を目の上に投射するための１つまたは複数の光源、および、目から反射されるような、投射される光のグリントの画像を捕捉するための１つまたは複数のカメラを用いる場合がある。画像内のグリントおよび／または瞳孔の場所が、視線方向を指示する瞳孔位置を決定するために利用され得る。
米国特許第６７１４６６５号は、シーン内の少なくとも１つの物体の画像を獲得および分析する認識システムを説明しており、その認識システムは、シーンの画像を捕捉するために、および、物体を場所特定するために使用される広視野（WFOV:wide field of view）イメージャと、ＷＦＯＶイメージャにより提供される場所情報に応答的であり、物体の画像を捕捉するために使用される狭視野（NFOV:narrow field of view）イメージャとを備える。
米国特許出願公開第２００７１８９６０６号は、画像内の大きな、および小さな非赤目フラッシュ欠陥を検出するための技法が開示されているということを説明している。方法は、しきい値の値より上の輝度を有する画像の画素を選択し、近隣の選択された画素を輝度の高い領域とラベリングするステップを含む。
米国特許第６１５２５６３号は、コンピュータオペレータの目の画像をリモートで記録するために、赤外線の感度の高いビデオカメラのイメージングレンズの光学軸と共軸に、およびそのレンズの前部に装着される赤外線発光ダイオードを使用する、目の視線方向検出のためのシステムを開示している。
米国特許出願公開第２０１２２２９６８１号は、自動的な画像グレア除去のためのシステムおよび方法を開示している。画像は、少なくとも２つの異なる場所から、おそらくは同時に、および、１つまたは複数のカメラから取得され、必要であればデジタル化される。グレアパターンは典型的には、完全に露光したエリア、または知られた試験グレアパターンの認識により識別される。画像は、グレアパターンを少なくとも１つの画像から減じ、同じように影響を受けていない関係する画像からの対応するデータを代用することにより、グレアパターンを除去するように処理される。
米国特許出願公開第２０１２１０５４８６号は、表示デバイス、少なくとも１つの画像捕捉デバイス、および処理デバイスのような例示的な特徴を含む、目追跡システムおよび方法を開示している。表示デバイスは、１つまたは複数のインターフェイス要素を含むユーザインターフェイスをユーザに表示する。少なくとも１つの画像捕捉デバイスは、表示デバイスに対するユーザの視線場所を検出する。処理デバイスは、ユーザの視線場所に対するユーザインターフェイスの内部のユーザ要素の場所を電子的に分析し、ズームウィンドウの表示を起動すべきかどうかを動的に決定する。
米国特許出願公開第２０１３２８５９０１号は、距離をおいて視線を追跡するためのシステムおよび方法を開示している。リモートの視線追跡システムは、赤外光をユーザに向けて放射するための複数の赤外線照明を含む赤外線照明ユニットと、ユーザの顔の位置を追跡し、顔の追跡される位置から、複数の角膜で反射される光、および、レンズで反射される光の中の少なくとも１つの反射される光を含む目画像を収集することであって、角膜で反射される光は、放射される赤外光により角膜から反射され、レンズで反射される光は、グラスのレンズから反射される、収集することを行うための視線追跡モジュールと、収集された目画像で、レンズで反射される光の大きさをしきい値と比較し、レンズで反射される光の大きさがしきい値以下であるときに、複数の角膜で反射される光の各々の中心の座標を検出し、視線位置を算出するためのプロセッサとを含み得る。
欧州特許第１６５５６８７号は、乗物のドライバなどの対象者を能動的に照射および監視するためのシステムおよび方法を開示している。システムは、対象者の目の画像を生成するように方位を定められるビデオイメージングカメラを含む。システムはさらには、第１および第２の光源、ならびに、互いからのずれを含み、対象者を照射するように動作可能である。システムは、第１および第２の光源の照射を制御するためのコントローラをさらに含み、そのことによって、イメージングカメラが充分なグレアを検出するときに、コントローラは、第１および第２の光源を制御して、グレアを最小化する。このことは、グレアを引き起こす照射源をターンオフすることにより達成される。

[0002] 目追跡カメラと、追跡されている目との間に配置される眼鏡などの、グレア（glare）の源の存在下で、目の視線追跡を遂行することに関係する実施形態が開示される。例えば１つの実施形態では、例示の目追跡システムは、複数の光源と、目から反射されるような光源からの光の画像を捕捉するように構成されるカメラとを備える。目追跡システムは、論理デバイスと、記憶デバイスであって、複数の光源の、光源の異なる組み合わせからの光を反復して投射し、目の画像を、各々の組み合わせの投射の間に捕捉することにより、目追跡データのフレームを取得するために、論理デバイスにより実行可能な命令を記憶する、記憶デバイスとをさらに備える。命令は、目追跡に対する光源の選択された組み合わせを、目とカメラとの間に定置される透明または半透明の光学構造から生起する、画像内で検出される遮蔽の決定に基づいて選択することと、目追跡に対する光源の選択された組み合わせによって光を投射することとを行うために、さらに実行可能であり得る。

[0003] 本概要は、下記の詳細な説明でさらに説明する、単純化した形式での概念の選択物を紹介するために提供されるものである。本概要は、請求する主題の主要な特徴または本質的な特徴を識別することは意図されず、本概要は、請求する主題の範囲を限定するために使用されることもまた意図されない。さらに、請求する主題は、本開示の任意の部分に記す、いずれかまたはすべての欠点を解決する実装形態に限定されない。

[0004]例示の目追跡環境の実施形態を示す図である。 [0005]目追跡システム内の光源をシーケンス処理する方法の実施形態を図示するフロー図である。 [0006]目追跡システムからの画像内の反射を分類する方法の実施形態を図示するフロー図である。 [0007]本開示の実施形態による、目追跡システムにより捕捉される例示の画像を示す図である。 [0008]本開示の実施形態による、画像の飽和領域を識別するために処理される、目追跡システムにより捕捉される画像の例を示す図である。 [0009]本開示の実施形態による、目追跡システムに対する例示の光源配置構成の視図を示す図である。 本開示の実施形態による、目追跡システムに対する例示の光源配置構成の視図を示す図である。 [0010]コンピューティングシステムの実施形態のブロック図である。 [0011]本開示の実施形態による、光源の例示のシーケンスを示す図である。

[0012] 目追跡システムでは、カメラおよび／または光源は、ユーザの目および／または頭部から離隔している場所に定置され得る。したがって、光源により投射される光の追加的な反射を生み出し得る、グラスなどの物体が、カメラ／光源と目との間に存在する場合がある。これらの反射は、グレアとして画像内に出現する場合があり、グリントおよび／または瞳孔の１つまたは複数を遮蔽する場合がある。したがってそのようなグレアは、目追跡を妨害する場合がある。

[0013] そのようなグレアおよび他のスプリアス反射による目追跡グリントの遮蔽は、グリント光源およびカメラに対するユーザの位置および／または方位によって変動し得るので、異なる光源構成、ならびに、グラスの異なるタイプおよび／または厚さが、異なるグレア場所を生み出す場合がある。したがって、グラスおよび類するものにより引き起こされるグレアからの目グリントの容認不可能な遮蔽なしに、目追跡が遂行されることを可能とする、光源構成を識別する一助となるための、光源の異なる構成を投射することに関係する実施形態が開示される。

[0014] 図１は、ユーザ１０２が、コンピューティングデバイス１０４を観視し、一方でグラス１０６を着用している、例示の目追跡環境１００を示す。コンピューティングデバイス１０４はタブレットとして図示されるが、任意の他の適したコンピューティングデバイスが目追跡を利用し得るということが理解されよう。例は、スマートフォン、ラップトップ、パーソナルコンピュータ、テレビジョン、および、ヘッドマウント型表示デバイスなどのウェアラブルコンピューティングデバイスを含むが、それらに限定されない。

[0015] コンピューティングデバイス１０４は、複数の光源１０８とカメラ１１０とを備える目追跡システムを含む。光源１０８は例えば、複数の発光ダイオード（LED）、および／または、他の適した発光デバイスを備え得る。一部の実施形態では光源１０８は、赤外光、可視光、または、可視光および赤外光の組み合わせを放射し得る（例えば、光源１０８のサブセットが赤外光を投射する場合があり、光源１０８の別のサブセットが可視光を投射する場合がある）。カメラ１１０は、深度カメラ、ＲＧＢ（カラーイメージング）カメラ、グレースケールカメラ、ステレオカメラ対、および／または、任意の他の適したカメラ、もしくはカメラの組み合わせを含む、ただしそれらに限定されない、任意の適したイメージングデバイスを備え得る。目追跡システムの光源、カメラ、および／または、任意の他の要素の、１つまたは複数は、単一のコンピューティングデバイスの内部に集積される、コンピューティングデバイスとは別々にハウジングされる、または、それらの任意の組み合わせで配置構成される場合があるということが理解されよう。

[0016] 図１での破線により例解されるように、各々の光源１０８は、光をユーザ１０２の目に向けて放射し得る。カメラ１１０は、光源１０８から投射される光の目からの反射を含む、ユーザ１０２の目の画像を捕捉し得る。ユーザの目の瞳孔（または虹彩、または、他の適した目の構造）と比較される、カメラ１１０からの画像内の投射された光の反射の場所に基づいて、視線の方向が決定され得る。このことは、視線が目から投射されることが、投射される視線がユーザインターフェイスまたは現実世界物体と交差する場所が決定され得るように行われることを可能とし得る。このことは、ユーザがコンピューティングデバイスと、視線によってインタラクトすることを可能とし得る。さらに、経時的な視線場所の変化が、コンピューティングデバイスに対するジェスチャ入力として使用され得る。

[0017] 図２は、光源／カメラと、ユーザの目との間の、グラスまたは他のそのような構造の存在下での健全な目追跡性能を達成する一助となり得る、目の運動を追跡するための方法２００の実施形態を図示するフロー図を示す。方法２００は、図１のコンピューティングデバイス１０４などのコンピューティングデバイス内の目追跡システムにより遂行され得る。

[0018] ２０２で方法２００は、目追跡データを取得するステップを含む。上記で説明したように目追跡は、光（例えば、赤外光）をユーザの目に向けて放射し、ユーザの目から反射されるような光の画像を捕捉することにより遂行され得る。しかしながら光はさらには、光源とユーザの目との間の、眼鏡、または、他の透明もしくは半透明の光学構造から反射される場合があるので、ユーザの目からの光の反射を遮蔽するグレアが生起する場合がある。

[0019] したがって２０４で指示するように、方法２００は、光源の異なる組み合わせからの光を反復して投射するステップを含み、２０６では、２０６で指示するように、目の画像を、光源の各々の異なる組み合わせの投射の間に捕捉するステップを含み得る。これらのプロセスは例えば、異なる組み合わせでの異なる数の光源からの光を投射すること、および／または、異なる位置／方位を有する光源からの光を投射することを必然的に含み得る。より具体的な例として図８は、４つの光源８０２ａ〜８０２ｄを含む目追跡システムを概略的に例解するものであり、照射を起こされる光源が、光源を表すボックスの内部の斜線により示される。光源の異なる組み合わせからの光を反復して投射するステップは、（時間Ｔ１で示されるような）すべての光源からの、次いで、（時間Ｔ２、Ｔ３、Ｔ４、およびＴ５で示されるような）３つの光源の異なる組み合わせからの、および次いで、（時間Ｔ６およびＴ７で示されるような）２つの光源の異なる組み合わせ、または、（図で示されない）１つの光源だけからの光を投射するステップを含み得る。光源投射のそのような循環は、任意の適した順序で遂行され得るということを理解すべきである。例えば、最も正確な視線決定が所望される場合は、より大きな数の、照射を起こされる光源を伴う組み合わせが、より少ない数の光源を伴うものの前に試行され得るものであり、一方で、電力節約が所望される場合は、または、グラス表面がより多くのグレアを生み出す傾向にある場合は、より少ない数を伴うものが、より大きな数を伴うものの前に試行され得る。

[0020] さらに一部の実施形態では、投射する光源の組み合わせの順序は、任意選択により、２０８で指示するように、頭部／ＨＭＤ位置、および／または、光源の方位／位置に基づいて選択され得る。例えば、光源の個別の数および／またはパターンが、頭部が所与の角度で定置されるときに、より少ない遮蔽を生み出し得るということが知られている場合がある。次の組み合わせを、上記で説明した情報に基づいて選択することにより、光源の異なる組み合わせは、光源の適した組み合わせが早期の反復で利用され得るという公算を増大する知的な様式で反復して循環させられ得るものであり、そのことにより、異なる光源組み合わせを通して循環して費やされる時間の量を低減する。このようにして目追跡システムは、光源のどの組み合わせが、遮蔽の最も低い量を生み出すことになるかを推定し、光源の異なる組み合わせからの光を、推定に基づく順序で反復して投射することが可能である。他の実施形態では、光源の組み合わせは、下記で説明するように、画像内の遮蔽の量に基づいて選択され得るということを理解すべきである。

[0021] ２１０で方法２００は、容認不可能な遮蔽が、各々の試験される光源組み合わせに対する画像内に存するかどうかを決定するステップを含み、２１２で、目追跡を遂行するための光源の組み合わせを選択するステップを含む。２１４で指示するように、光源組み合わせは、画像内で検出される遮蔽の量に基づいて選択され得る。一部の実施形態では、各々の組み合わせの反復の試験は、適した組み合わせの識別および選択を基に中止する場合があり、一方で他の実施形態では、組み合わせのフルセットが、１つを選択する前に試験され得る。各々の組み合わせの試験の部分として、所与の光源構成に対して、グレアが、それらの対応するグリントとマッチングされ得るものであり、さもなければ、遮蔽計量が、グレアと瞳孔またはグリントとの間で獲得され得る。高い遮蔽（例えば、しきい値より上の遮蔽）の事例では、次の光源構成はシーケンスから選定され得る。プロセスは次いで、遮蔽されない、または部分的に遮蔽される瞳孔−グリントが、高い確信度評点を伴って獲得されるまで繰り返し得る。この構成は次いで、適した光源構成が再び決定されるまで、構成が再び通して循環させられるときに、次の遮蔽が検出されるまで将来のフレームにわたって利用され得る。

[0022] 方法２００はさらに、２１６で、光源の選択された組み合わせによって光を投射するステップを含み、２１８で、１つまたは複数の目の視線場所を、目から反射されるような光源からの光を検出することにより追跡するステップを含む。さらに２２０で方法２００は、目追跡に応答的なアクションを遂行するステップを含む。目追跡は、任意の適したアクションを遂行するために使用され得る。例えば目追跡は、目ジェスチャを検出するために、グラフィカルユーザインターフェイスに対する位置信号を検出するために、その他で利用され得る。

[0023] グレアによる目グリント反射の遮蔽の容認不可能な量の決定は、任意の適した様式で決定される。図３は、目追跡システムのカメラにより捕捉される画像内の、反射、および／または、グレアもしくは他の妨害を分類するための方法３００の例示の実施形態を図示するフロー図を示す。方法３００は、目追跡システムで画像を処理するように構成される、図１のコンピューティングデバイス１０４などのコンピューティングデバイスにより遂行され得るということが理解されよう。

[0024] ３０２で方法３００は、画像データをカメラから受信するステップを含む。カメラは、コンピューティングデバイス内に集積される、または、コンピューティングデバイスに対して外部に／リモートで定置される場合がある。方法３００は、３０４で、受信された画像内の飽和領域を検出するステップをさらに含む。例えば画像は、しきい値より高い飽和値を伴う画像内の画素を決定するために分析され得る。

[0025] グレアは、グラスまたは他の平滑な構造からの鏡面反射から結果として生じ得るので、グレアは、光源自体の強度分布と類似的に、高度に飽和したコアを有し得る。したがって、目追跡システムで使用される光源から投射される光から形成されるグレアは、中心に、中心から離れると急激に消失する、高い強度のパターンを有し、時には、フレアの出現を結果として生じさせ得る。そのような特質から、光源からの投射の反射から形成されるグレアは、ユーザの目からの光の反射から、および、周りの他のＩＲ源の存在に起因して引き起こされる他の拡散反射から区別され得る。

[0026] 図４は、目追跡システムのカメラにより捕捉される画像４００の例示の図示を示し、グラス４０４を着用するユーザ４０２の視図を示す。目追跡システム光源（および、周囲光源）の光が、グラス４０４により、および、ユーザ４０２の目４０６の瞳孔により反射され得る。グラス４０４からのそのような反射によって、グレア４０８が結果として生じ得るものであり、一方で目からの反射によって、グリント４１０が結果として生じ得るものであり、それらのグリントは、目４０６の瞳孔の領域内の４つの均一に離隔した小点として例解される。グリント４１０が、小さな、実質的に円形の小点として出現する一方で、グレア４０８は、フレア状の、星に似た形状を有し得る。

[0027] 図３に戻ると、方法３００は、画像の飽和画素を識別および選択し、３０６で指示するように、画像の飽和画素の前景距離変換（foreground distance transform）を遂行するステップを含み得るものであり、そのことは、前景距離変換の後の画素の強度が、反射の境界からの距離の関数であるようなものである。このことは、飽和領域のサイズ、および／または、飽和領域の輪郭に基づく、グレア候補の輪郭の指示を提供する一助となり得る。例えば、しきい値サイズより大きい飽和領域は、グレア候補であると考えられる場合があり、一方で、しきい値サイズより小さい飽和領域は、グレア候補であると考えられない場合がある。

[0028] ３０８で方法３００は、例えば、距離しきい値より低い距離値を伴う輪郭を除去することにより、画像内のノイズを除去するステップを含む。このようにして、グレア／グレア候補のフレア状の輪郭が平滑化され得る。さらに３１０で方法３００は、各々の残っている飽和領域（例えば、３０８で決定されたグレア／グレア候補のコア）に対する境界ボックスを決定するステップを含む。境界ボックスのサイズは、３１２で指示するように、ボックスが、しきい値処理される飽和画素のあるパーセンテージを含むことを可能にする値を有するように選択され得る。例えば境界ボックスは、グレア／グレア候補のコアの付近で形成され得るものであり、境界ボックスのサイズは、境界ボックス内の飽和画素のパーセンテージが、何らかのしきい値を上回るまで増大され得る。このリサイズすることは、ボックスが各々の飽和領域の付近に置かれるということを確実にする一助となり得る。グレアの事例では、ボックスは飽和中心を含み、一方で偽陽性（例えば、非グレア）の事例では、飽和画素は、ボックスの全体にわたってランダムに散らばる。手短に図５に移ると、図４の画像４００の処理されたバージョンが示されており、飽和領域５０２（例えば、グレア候補）は境界ボックス５０４により包囲される。

[0029] 図３に戻ると、方法３００は、３１４で、統計分布を第１の飽和領域に適合させるステップを含む。例えばガウシアンモデルまたは他の統計分布モデルが、グレア候補の領域内の飽和画素の正規化分布を形成するために、検出されたグレア中心に適合させられ得る。各々の飽和領域／グレア候補に対する統計分布の適合のパラメータが、次いで、しきい値条件と比較され得る。例えばガウシアンモデリング誤差が、その飽和領域へのガウシアンモデル適合に対して決定され得るものであり、その誤差の、しきい値誤差との比較が、３１６で決定され得る。パラメータがしきい値を満たすならば（例えば、モデリング誤差がしきい値より下であるならば）、３１８で、領域がグレアであると決定され得るものであり、方法は３２０に進み得るものであり、その３２０で、すべての飽和領域が分析され終えたかどうかが決定される。例えば、図５でのグレア候補５０６ａ、５０６ｂ、５０６ｃ、５０６ｄ、および５０６ｅは、中心領域での飽和画素の集中、および、規則的に離隔した周辺領域で突出するフレアなど、グレアに似た特徴を呈する、関連するボックスの内部の飽和画素の分布に起因して、グレアと分類され得る。３１６で、パラメータがしきい値を満たさないと決定される場合、方法は、飽和領域をグレアと分類することなく３２０に進み得る（例えば、グレア候補５０６ｆ、５０６ｇ、５０６ｈ、５０６ｉ、５０６ｊ、および５０６ｋは、飽和コアの欠如、および/または、他のグレア特徴が存在しないことに起因して、グレアと分類されない場合がある）。

[0030] ３２０で、すべての飽和領域が分析され終えていないと決定されるならば（例えば、３２０での「いいえ」）、方法３００は、３１６、３１８、および３２０のプロセスを、すべての飽和領域が分析され終えるまで、反復して遂行するステップを含む。すべての飽和領域が分析され終えたならば（例えば、３２０での「はい」）、方法３００は、３２４で、遮蔽のレベルを、グレアと分類された飽和領域の数および／または場所に基づいて決定するステップを含む。例えば遮蔽のレベルは、グレアのサイズ、グレアの数、および／または、どれだけグレアが、目の瞳孔／目の瞳孔から反射されるグリントに近いかに基づく場合がある。

[0031] 方法３００に関して上記で説明した様々なしきい値（例えば、３０８での距離しきい値、３１２でのしきい値パーセンテージ、および、３１６でのしきい値条件）は、統計データに基づいて、あらかじめ決定される、および／または選択される場合がある。追加的または代替的な実施形態では、しきい値の１つまたは複数は、学習アルゴリズムによって（例えば、分類器を利用して）決定され得る。例えば、しきい値を学習アルゴリズムによって決定することは、しきい値を経時的に、個別のユーザ、環境、照明配置構成、および／または、他の適した条件に対する、測定／記録されるデータに基づいて、動的に改変することを含み得る。分類器を使用してしきい値を決定する際に、いくつかの他の特徴（例えば、２次適合誤差（quadratic fit error）、目の隅に対する位置、消失勾配（dissipation gradient）、その他）が、分析される画像内のグレアと非グレアとの間の分離を最適化するために追加され得る。

[0032] 図６Ａおよび６Ｂは、目追跡システムの例示の光源配置構成６００の異なる視図を示す。６Ａの正面視図では、個々の光源６０２が、ハウジング構造６０４の付近に配置構成されているように例解されている。一部の実施形態ではハウジング構造６０４は、目追跡システムのカメラを含む、そのカメラの内部に集積される、および／または、そのカメラに装着される場合がある。他の実施形態ではハウジング構造６０４は、他の要素上に装着されるように構成され得る。例解されるように、各々の光源６０２は、他の光源に対して異なる場所に定置され得る。このようにして、各々の光源６０２から投射される光は、異なる場所に方向設定され得るものであり、および／または、光源配置構成６００内の他の光源から投射される光とは異なる角度で、個別の場所に到着し得る。このことは、光源の異なる組み合わせが、上記で説明したようなグレアからの遮蔽を回避するように目からの反射を形成するために使用されることを可能とし得る。

[0033] さらに、図６Ｂで例解される光源配置構成６００の斜め視図で示されるように、光源６０２の１つまたは複数は、配置構成内の他の光源とは異なって方位設定され得る。破線矢印は、光源６０２の各々から放射される光の方向を指示する。このようにして、各々の光源６０２から投射される光は、異なる場所に方向設定され得るものであり、および／または、光源配置構成６００内の他の光源から投射される光とは異なる角度から、個別の場所に到着し得る。

[0034] 目追跡画像内の瞳孔グリントの遮蔽は、光学構造上の反射を、場所、サイズ、強度分布のような、それらの反射の特徴に基づいて分類すること、および、光源への対応付けに基づくものであり得る。異なる場所／角度からの光を方向設定する光源を含む光源配置構成を設けることにより、光源は、目追跡システムでの光源投射の異なる組み合わせを生成するために、反復してターンオン／オフされ得る。光源の各々の組み合わせからの光の投射の間に捕捉される画像を分析することは、グレアを識別し（例えば、目に対するグレアの場所を決定し）、および／または、グレアを個別の光源／光源組み合わせとマッチングし得るものである。したがって、高い確信度評点を伴って獲得される遮蔽されない瞳孔グリント、目／目から反射されるグリントの最も少ない数の遮蔽を生み出す、および／または、他の形で、適した目追跡画像を生み出す、光源組み合わせが、目追跡を遂行するために選択され得る。所与のユーザ／環境に対する個別の光源組み合わせを選択することは、グラスなどの光学構造が、目追跡カメラ／光源と、追跡されている目との間に存在する条件を含む、より広範なレンジの条件で、システムが動作することを可能にし得る。

[0035] 一部の実施形態では、本明細書で説明する方法およびプロセスは、１つまたは複数のコンピューティングデバイスのコンピューティングシステムに結び付けられ得る。特にそのような方法およびプロセスは、コンピュータアプリケーションプログラムもしくはサービス、アプリケーションプログラミングインターフェイス（API）、ライブラリ、および／または、他のコンピュータプログラム製品として実装され得る。

[0036] 図７は、上記で説明した方法およびプロセスの１つまたは複数を再現し得る、コンピューティングシステム７００の非限定的な実施形態を概略的に示す。コンピューティングシステム７００は、単純化した形式で示される。コンピューティングシステム７００は、１つまたは複数の、パーソナルコンピュータ、サーバコンピュータ、タブレットコンピュータ、ホームエンターテイメントコンピュータ、ネットワークコンピューティングデバイス、ゲーミングデバイス、モバイルコンピューティングデバイス、モバイル通信デバイス（例えば、スマートフォン）、ウェアラブルコンピューティングデバイス、および／または、他のコンピューティングデバイスの形式をとり得る。例えばコンピューティングシステム７００は、図１のコンピューティングデバイス１０４の例であり得るものであり、ならびに／または、図２および３で説明した方法を遂行することが可能である。

[0037] コンピューティングシステム７００は、論理デバイス７０２および記憶デバイス７０４を含む。コンピューティングシステム７００は、任意選択により、表示サブシステム７０６、入力サブシステム７０８、通信サブシステム７１０、および／または、図７で示されない他の構成要素を含み得る。

[0038] 論理デバイス７０２は、命令を実行するように構成される１つまたは複数の物理デバイスを含む。例えば論理デバイスは、１つまたは複数の、アプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造、または、他の論理構築物の部分である命令を実行するように構成され得る。そのような命令は、タスクを遂行する、データタイプを実装する、１つもしくは複数のコンポーネントの状態を変換する、技術的効果を達成する、または他の形で、所望の結果に行き着くように実装され得る。

[0039] 論理デバイス７０２は、ソフトウェア命令を実行するように構成される１つまたは複数のプロセッサを含み得る。追加的または代替的に論理デバイスは、ハードウェアまたはファームウェアの命令を実行するように構成される、１つまたは複数のハードウェアまたはファームウェアの論理デバイスを含み得る。論理デバイスのプロセッサは、シングルコアまたはマルチコアであり得るものであり、それらのプロセッサ上で実行される命令は、シーケンシャル、並列、および／または分散の処理に対して構成され得る。論理デバイスの個々の構成要素は、任意選択により、２つ以上の別々のデバイスの間で分散され得るものであり、それらの別々のデバイスは、リモートに配置され、および／または、協調処理に対して構成され得る。論理デバイスの態様は、クラウドコンピューティング構成で構成される、リモートアクセス可能な、ネットワーク化されたコンピューティングデバイスにより仮想化および実行され得る。

[0040] 記憶デバイス７０４は、本明細書で説明する方法およびプロセスを実装するために、論理デバイスにより実行可能な命令を保持するように構成される、１つまたは複数の物理デバイスを含む。そのような方法およびプロセスが実装されるとき、記憶デバイス７０４の状態は、例えば、異なるデータを保持するように変換され得る。

[0041] 記憶デバイス７０４は、リムーバブルおよび／または組み込みデバイスを含み得る。記憶デバイス７０４は、中でも、光学メモリ（例えば、CD、DVD、HD-DVD、Blu-Ray Disc、その他）、半導体メモリ（例えば、RAM、EPROM、EEPROM、その他）、および／または、磁気メモリ（例えば、ハードディスクドライブ、フロッピーディスクドライブ、テープドライブ、MRAM、その他）を含み得る。記憶デバイス７０４は、揮発性、不揮発性、ダイナミック、スタティック、読み出し／書き込み、読み出し専用、ランダムアクセス、シーケンシャルアクセス、ロケーションアドレス可能、ファイルアドレス可能、および／または、コンテンツアドレス可能のデバイスを含み得る。

[0042] 記憶デバイス７０４は、１つまたは複数の物理デバイスを含むということが察知されよう。しかしながら、本明細書で説明する命令の態様は、代替的に、有限の継続期間の間物理デバイスにより保持されない、通信媒体（例えば、電磁信号、光学信号、その他）により伝搬される場合がある。

[0043] 論理デバイス７０２および記憶デバイス７０４の態様は、１つまたは複数のハードウェア論理構成要素内に一体に集積され得る。そのようなハードウェア論理構成要素は、例えば、フィールドプログラマブルゲートアレイ（FPGA）、特定プログラムおよび用途向け集積回路（program- and application-specific integrated circuit）（PASIC/ASIC）、特定プログラムおよび用途向け標準製品（program- and application-specific standard product）（PSSP/ASSP）、システムオンチップ（SOC）、ならびに複合プログラマブル論理デバイス（CPLD）を含み得る。

[0044] 用語「モジュール」、「プログラム」、および「エンジン」は、個別の機能を遂行するために実装されるコンピューティングシステム７００の態様を説明するために使用され得る。一部の事例では、モジュール、プログラム、またはエンジンは、記憶デバイス７０４により保持される命令を実行する論理デバイス７０２によってインスタンス化され得る。異なるモジュール、プログラム、および／またはエンジンが、同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、ＡＰＩ、関数、その他からインスタンス化され得るということが理解されよう。同様に、同じモジュール、プログラム、および／またはエンジンは、異なるアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、ＡＰＩ、関数、その他によりインスタンス化され得る。用語「モジュール」、「プログラム」、および「エンジン」は、実行可能ファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコード、その他の、個体または群を包含し得る。

[0045] 「サービス」は、本明細書では、多重のユーザセッションにわたって実行可能なアプリケーションプログラムであるということが察知されよう。サービスは、１つまたは複数の、システム構成要素、プログラム、および／または、他のサービスに対して利用可能であり得る。一部の実装形態ではサービスは、１つまたは複数のサーバコンピューティングデバイス上で走る場合がある。

[0046] 含まれるとき、表示サブシステム７０６は、記憶デバイス７０４により保持されるデータの視覚表現を提示するために使用され得る。この視覚表現は、グラフィカルユーザインターフェイス（GUI）の形式をとり得る。本明細書で説明する方法およびプロセスが、記憶デバイスにより保持されるデータを変化させ、したがって、記憶デバイスの状態を変換する際に、表示サブシステム７０６の状態は同様に、基礎をなすデータの変化を視覚的に表すように変換され得る。表示サブシステム７０６は、事実上任意のタイプの技術を利用する１つまたは複数の表示デバイスを含み得る。そのような表示デバイスは、共同の筐体内で論理デバイス７０２および／もしくは記憶デバイス７０４と組み合わされる場合があり、または、そのような表示デバイスは、周辺表示デバイスであり得る。

[0047] 入力サブシステム７０８は、目追跡システム（例えば、図１でのコンピューティングデバイス１０４の目追跡システム）、キーボード、マウス、タッチスクリーン、手書きポインタデバイス（handwriting pointer device）、もしくはゲームコントローラなどの、１つもしくは複数のユーザ入力デバイスを備え、または、それらのユーザ入力デバイスとインターフェイス接続し得る。一部の実施形態では入力サブシステムは、選択されたナチュラルユーザ入力（NUI:natural user input）構成部分を備え、または、その構成部分とインターフェイス接続し得る。そのような構成部分は、集積され得る、または、周辺機器であり得るものであり、入力アクションの転換および／または処理は、オンボードまたはオフボードで対処され得る。例示のＮＵＩ構成部分は、発話および／または音声認識用のマイクロホン；マシンビジョンおよび／またはジェスチャ認識用の、赤外線、カラー、ステレオスコピック、および／または深度のカメラ；動き検出および／または意図認識用の、ヘッドトラッカ、アイトラッカ、加速度計、および／またはジャイロスコープ；ならびに、脳活動を評価するための電場感知構成部分を含み得る。例えば入力サブシステムは、図２および３の方法２００および／または３００を遂行するために利用される、目追跡システム、および／または、目追跡システムの小部分を備え得る。

[0048] 含まれるとき、通信サブシステム７１０は、コンピューティングシステム７００を、１つまたは複数の他のコンピューティングデバイスと通信可能に結合するように構成され得る。通信サブシステム７１０は、１つまたは複数の異なる通信プロトコルとの互換性がある、ワイヤードおよび／またはワイヤレスの通信デバイスを含み得る。非限定的な例として通信サブシステムは、ワイヤレス電話ネットワーク、または、ワイヤードもしくはワイヤレスのローカルエリアネットワークもしくはワイドエリアネットワークを介した通信に対して構成され得る。一部の実施形態では通信サブシステムは、コンピューティングシステム７００が、インターネットなどのネットワークを介して、他のデバイスに、および／または、他のデバイスから、メッセージを送信および／または受信することを可能とし得る。

[0049] 本明細書で説明した構成および／または手法は、例示的な性質のものであるということ、ならびに、これらの特定の実施形態または例は、数多くの変形形態が可能であるので、限定的な意味で考慮すべきではないということが理解されよう。本明細書で説明した特定のルーチンまたは方法は、任意の数の処理戦略の１つまたは複数を表し得る。したがって、例解および／または説明した様々な行為は、例解および／もしくは説明したシーケンスで、他のシーケンスで、並列で遂行され、または、省略される場合がある。同様に、上記で説明したプロセスの順序は変化させられる場合がある。

[0050] 本開示の主題は、本明細書で開示した、様々なプロセス、システム、および構成、ならびに、他の特徴、機能、行為、および／または特質の、すべての新規の、および自明でない、組み合わせおよび副組み合わせを、それらのいずれかおよびすべての等価物と同様に含む。

Claims (10)

1. 複数の光源と、
   目から反射されるような前記光源からの光の画像を捕捉するように構成されるカメラと、
   論理デバイスと、
   記憶デバイスであって、
   光源の異なる組み合わせからの光を反復して投射し、前記目の画像を、各々の組み合わせの投射の間に捕捉することにより、目追跡データのフレームを取得することと、
   前記画像内の一つ又は複数の飽和領域を検出することにより前記画像内の遮蔽を決定することと、各々の飽和領域ごとに境界ボックスを決定することと、前記飽和領域のパラメータが条件を満たす場合に、境界ボックス内の飽和領域をグレアとして分類することと、
   目追跡に対する光源の選択された組み合わせを、前記目と前記カメラとの間に定置される透明または半透明の光学構造から生起する、前記画像内で検出される遮蔽の前記決定に基づいて選択することと、
   目追跡に対する光源の前記選択された組み合わせによって光を投射することと
   を行うために、前記論理デバイスにより実行可能な命令を記憶する、記憶デバイスと
   を備える、目追跡システム。
2. 光源の異なる組み合わせからの光を反復して投射することが、光源の前記異なる組み合わせからの光を、１つまたは複数の組み合わせの各々に対する予測される遮蔽に基づく順序で、反復して投射することを含む、請求項１に記載の目追跡システム。
3. 頭部姿勢を検出し、光源のどの組み合わせが、遮蔽の最も低い量を生み出すことになるかの推定を前記頭部姿勢に基づいて決定することをさらに含む、請求項２に記載の目追跡システム。
4. 画像内の飽和点をグレアとして指定し、前記グレアに対応する、光源の第１の組み合わせにおける光源を選択することを、前記選択された光源を含まない光源の第２の異なる組み合わせの投射の間に捕捉される次の画像内に、前記グレアが存在するかどうかの決定に基づいて行うことをさらに含む、請求項１に記載の目追跡システム。
5. 光源の異なる組み合わせからの光を反復して投射することが、前記複数の光源のすべてからの光を第１の反復の間に投射し、前記複数の光源の１つまたは複数のサブセットからの光を、１つまたは複数の他の反復の間に投射することを含む、請求項１に記載の目追跡システム。
6. 前記複数の光源の１つまたは複数が、互いとは異なって方位設定され、光源の異なる組み合わせからの光を反復して投射することが、方位の異なる組み合わせを有する、光源の異なる組み合わせからの光を反復して投射することを含む、請求項１に記載の目追跡システム。
7. 目の動き追跡方法であって、
   光源の異なる組み合わせからの光を反復して投射し、前記目の画像を、各々の組み合わせの投射の間に捕捉することにより、目追跡データのフレームを取得することと、
   前記画像内の一つ又は複数の飽和領域を検出することにより前記画像内の遮蔽の量を決定することと、各々の飽和領域ごとに境界ボックスを決定することと、前記飽和領域のパラメータがしきい値条件を満たす場合に、境界ボックス内の飽和領域をグレアとして分類することと、
   目追跡に対する光源の選択された組み合わせを、前記目とカメラとの間に定置される透明または半透明の光学構造から生起する、前記画像内で検出される遮蔽の前記量に基づいて選択することと、
   目追跡に対する光源の前記選択された組み合わせによって光を投射することと
   を含む、目追跡方法。
8. 各々の飽和領域に対する境界ボックスを決定することが、前記境界ボックスのサイズを、前記境界ボックス内の飽和画素のパーセンテージがしきい値境界ボックス条件を満たすまで増大することを含む、請求項７に記載の方法。
9. 前記画像に対する前景距離変換を遂行し、距離しきい値未満である距離値を有する前記画像内の輪郭を除去して、前記飽和領域のコアを検出することをさらに含む、請求項８に記載の方法。
10. 前記距離しきい値、前記しきい値境界ボックス条件、およびしきい値統計分布適合条件の１つまたは複数が、学習アルゴリズムによって決定される、請求項９に記載の方法。

Images