JP6592000B2 - 目追跡でのグレアに対処すること - Google Patents

目追跡でのグレアに対処すること Download PDF

Info

Publication number
JP6592000B2
JP6592000B2 JP2016559253A JP2016559253A JP6592000B2 JP 6592000 B2 JP6592000 B2 JP 6592000B2 JP 2016559253 A JP2016559253 A JP 2016559253A JP 2016559253 A JP2016559253 A JP 2016559253A JP 6592000 B2 JP6592000 B2 JP 6592000B2
Authority
JP
Japan
Prior art keywords
light
light sources
image
eye
eye tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016559253A
Other languages
English (en)
Other versions
JP2017521738A5 (ja
JP2017521738A (ja
Inventor
アグラワル,ムディト
トゥクラール,バイブハブ
エデン,イブラヒム
ニスター,デイビッド
スワミナタン,シブクマール
Original Assignee
マイクロソフト テクノロジー ライセンシング,エルエルシー
マイクロソフト テクノロジー ライセンシング,エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US14/264,952 priority Critical
Priority to US14/264,952 priority patent/US9454699B2/en
Application filed by マイクロソフト テクノロジー ライセンシング,エルエルシー, マイクロソフト テクノロジー ライセンシング,エルエルシー filed Critical マイクロソフト テクノロジー ライセンシング,エルエルシー
Priority to PCT/US2015/027185 priority patent/WO2015167906A1/en
Publication of JP2017521738A publication Critical patent/JP2017521738A/ja
Publication of JP2017521738A5 publication Critical patent/JP2017521738A5/ja
Application granted granted Critical
Publication of JP6592000B2 publication Critical patent/JP6592000B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00597Acquiring or recognising eyes, e.g. iris verification
    • G06K9/0061Preprocessing; Feature extraction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00597Acquiring or recognising eyes, e.g. iris verification
    • G06K9/00604Acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image
    • G06K9/4661Extraction of features or characteristics of the image related to illumination properties, e.g. according to a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image
    • G06K9/52Extraction of features or characteristics of the image by deriving mathematical or geometrical properties from the whole image
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6201Matching; Proximity measures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/2256Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infra-red radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infra-red radiation
    • H04N5/332Multispectral imaging comprising at least a part of the infrared region

Description

[0001] ユーザは、コンピューティングシステムと、種々の入力機構を使用してインターフェイス接続することが可能である。例えば目の視線追跡が、グラフィカルユーザインターフェイスとインタラクトするために利用される場合があり、ユーザの視線がグラフィカルユーザインターフェイスと交差する、決定される場所が、ユーザインターフェイスとのインタラクションに対する位置的な信号として使用され得る。視線追跡技法は、光を目の上に投射するための1つまたは複数の光源、および、目から反射されるような、投射される光のグリントの画像を捕捉するための1つまたは複数のカメラを用いる場合がある。画像内のグリントおよび/または瞳孔の場所が、視線方向を指示する瞳孔位置を決定するために利用され得る。
米国特許第6714665号は、シーン内の少なくとも1つの物体の画像を獲得および分析する認識システムを説明しており、その認識システムは、シーンの画像を捕捉するために、および、物体を場所特定するために使用される広視野(WFOV:wide field of view)イメージャと、WFOVイメージャにより提供される場所情報に応答的であり、物体の画像を捕捉するために使用される狭視野(NFOV:narrow field of view)イメージャとを備える。
米国特許出願公開第2007189606号は、画像内の大きな、および小さな非赤目フラッシュ欠陥を検出するための技法が開示されているということを説明している。方法は、しきい値の値より上の輝度を有する画像の画素を選択し、近隣の選択された画素を輝度の高い領域とラベリングするステップを含む。
米国特許第6152563号は、コンピュータオペレータの目の画像をリモートで記録するために、赤外線の感度の高いビデオカメラのイメージングレンズの光学軸と共軸に、およびそのレンズの前部に装着される赤外線発光ダイオードを使用する、目の視線方向検出のためのシステムを開示している。
米国特許出願公開第2012229681号は、自動的な画像グレア除去のためのシステムおよび方法を開示している。画像は、少なくとも2つの異なる場所から、おそらくは同時に、および、1つまたは複数のカメラから取得され、必要であればデジタル化される。グレアパターンは典型的には、完全に露光したエリア、または知られた試験グレアパターンの認識により識別される。画像は、グレアパターンを少なくとも1つの画像から減じ、同じように影響を受けていない関係する画像からの対応するデータを代用することにより、グレアパターンを除去するように処理される。
米国特許出願公開第2012105486号は、表示デバイス、少なくとも1つの画像捕捉デバイス、および処理デバイスのような例示的な特徴を含む、目追跡システムおよび方法を開示している。表示デバイスは、1つまたは複数のインターフェイス要素を含むユーザインターフェイスをユーザに表示する。少なくとも1つの画像捕捉デバイスは、表示デバイスに対するユーザの視線場所を検出する。処理デバイスは、ユーザの視線場所に対するユーザインターフェイスの内部のユーザ要素の場所を電子的に分析し、ズームウィンドウの表示を起動すべきかどうかを動的に決定する。
米国特許出願公開第2013285901号は、距離をおいて視線を追跡するためのシステムおよび方法を開示している。リモートの視線追跡システムは、赤外光をユーザに向けて放射するための複数の赤外線照明を含む赤外線照明ユニットと、ユーザの顔の位置を追跡し、顔の追跡される位置から、複数の角膜で反射される光、および、レンズで反射される光の中の少なくとも1つの反射される光を含む目画像を収集することであって、角膜で反射される光は、放射される赤外光により角膜から反射され、レンズで反射される光は、グラスのレンズから反射される、収集することを行うための視線追跡モジュールと、収集された目画像で、レンズで反射される光の大きさをしきい値と比較し、レンズで反射される光の大きさがしきい値以下であるときに、複数の角膜で反射される光の各々の中心の座標を検出し、視線位置を算出するためのプロセッサとを含み得る。
欧州特許第1655687号は、乗物のドライバなどの対象者を能動的に照射および監視するためのシステムおよび方法を開示している。システムは、対象者の目の画像を生成するように方位を定められるビデオイメージングカメラを含む。システムはさらには、第1および第2の光源、ならびに、互いからのずれを含み、対象者を照射するように動作可能である。システムは、第1および第2の光源の照射を制御するためのコントローラをさらに含み、そのことによって、イメージングカメラが充分なグレアを検出するときに、コントローラは、第1および第2の光源を制御して、グレアを最小化する。このことは、グレアを引き起こす照射源をターンオフすることにより達成される。

[0002] 目追跡カメラと、追跡されている目との間に配置される眼鏡などの、グレア(glare)の源の存在下で、目の視線追跡を遂行することに関係する実施形態が開示される。例えば1つの実施形態では、例示の目追跡システムは、複数の光源と、目から反射されるような光源からの光の画像を捕捉するように構成されるカメラとを備える。目追跡システムは、論理デバイスと、記憶デバイスであって、複数の光源の、光源の異なる組み合わせからの光を反復して投射し、目の画像を、各々の組み合わせの投射の間に捕捉することにより、目追跡データのフレームを取得するために、論理デバイスにより実行可能な命令を記憶する、記憶デバイスとをさらに備える。命令は、目追跡に対する光源の選択された組み合わせを、目とカメラとの間に定置される透明または半透明の光学構造から生起する、画像内で検出される遮蔽の決定に基づいて選択することと、目追跡に対する光源の選択された組み合わせによって光を投射することとを行うために、さらに実行可能であり得る。

[0003] 本概要は、下記の詳細な説明でさらに説明する、単純化した形式での概念の選択物を紹介するために提供されるものである。本概要は、請求する主題の主要な特徴または本質的な特徴を識別することは意図されず、本概要は、請求する主題の範囲を限定するために使用されることもまた意図されない。さらに、請求する主題は、本開示の任意の部分に記す、いずれかまたはすべての欠点を解決する実装形態に限定されない。

[0004]例示の目追跡環境の実施形態を示す図である。 [0005]目追跡システム内の光源をシーケンス処理する方法の実施形態を図示するフロー図である。 [0006]目追跡システムからの画像内の反射を分類する方法の実施形態を図示するフロー図である。 [0007]本開示の実施形態による、目追跡システムにより捕捉される例示の画像を示す図である。 [0008]本開示の実施形態による、画像の飽和領域を識別するために処理される、目追跡システムにより捕捉される画像の例を示す図である。 [0009]本開示の実施形態による、目追跡システムに対する例示の光源配置構成の視図を示す図である。 本開示の実施形態による、目追跡システムに対する例示の光源配置構成の視図を示す図である。 [0010]コンピューティングシステムの実施形態のブロック図である。 [0011]本開示の実施形態による、光源の例示のシーケンスを示す図である。

[0012] 目追跡システムでは、カメラおよび/または光源は、ユーザの目および/または頭部から離隔している場所に定置され得る。したがって、光源により投射される光の追加的な反射を生み出し得る、グラスなどの物体が、カメラ/光源と目との間に存在する場合がある。これらの反射は、グレアとして画像内に出現する場合があり、グリントおよび/または瞳孔の1つまたは複数を遮蔽する場合がある。したがってそのようなグレアは、目追跡を妨害する場合がある。

[0013] そのようなグレアおよび他のスプリアス反射による目追跡グリントの遮蔽は、グリント光源およびカメラに対するユーザの位置および/または方位によって変動し得るので、異なる光源構成、ならびに、グラスの異なるタイプおよび/または厚さが、異なるグレア場所を生み出す場合がある。したがって、グラスおよび類するものにより引き起こされるグレアからの目グリントの容認不可能な遮蔽なしに、目追跡が遂行されることを可能とする、光源構成を識別する一助となるための、光源の異なる構成を投射することに関係する実施形態が開示される。

[0014] 図1は、ユーザ102が、コンピューティングデバイス104を観視し、一方でグラス106を着用している、例示の目追跡環境100を示す。コンピューティングデバイス104はタブレットとして図示されるが、任意の他の適したコンピューティングデバイスが目追跡を利用し得るということが理解されよう。例は、スマートフォン、ラップトップ、パーソナルコンピュータ、テレビジョン、および、ヘッドマウント型表示デバイスなどのウェアラブルコンピューティングデバイスを含むが、それらに限定されない。

[0015] コンピューティングデバイス104は、複数の光源108とカメラ110とを備える目追跡システムを含む。光源108は例えば、複数の発光ダイオード(LED)、および/または、他の適した発光デバイスを備え得る。一部の実施形態では光源108は、赤外光、可視光、または、可視光および赤外光の組み合わせを放射し得る(例えば、光源108のサブセットが赤外光を投射する場合があり、光源108の別のサブセットが可視光を投射する場合がある)。カメラ110は、深度カメラ、RGB(カラーイメージング)カメラ、グレースケールカメラ、ステレオカメラ対、および/または、任意の他の適したカメラ、もしくはカメラの組み合わせを含む、ただしそれらに限定されない、任意の適したイメージングデバイスを備え得る。目追跡システムの光源、カメラ、および/または、任意の他の要素の、1つまたは複数は、単一のコンピューティングデバイスの内部に集積される、コンピューティングデバイスとは別々にハウジングされる、または、それらの任意の組み合わせで配置構成される場合があるということが理解されよう。

[0016] 図1での破線により例解されるように、各々の光源108は、光をユーザ102の目に向けて放射し得る。カメラ110は、光源108から投射される光の目からの反射を含む、ユーザ102の目の画像を捕捉し得る。ユーザの目の瞳孔(または虹彩、または、他の適した目の構造)と比較される、カメラ110からの画像内の投射された光の反射の場所に基づいて、視線の方向が決定され得る。このことは、視線が目から投射されることが、投射される視線がユーザインターフェイスまたは現実世界物体と交差する場所が決定され得るように行われることを可能とし得る。このことは、ユーザがコンピューティングデバイスと、視線によってインタラクトすることを可能とし得る。さらに、経時的な視線場所の変化が、コンピューティングデバイスに対するジェスチャ入力として使用され得る。

[0017] 図2は、光源/カメラと、ユーザの目との間の、グラスまたは他のそのような構造の存在下での健全な目追跡性能を達成する一助となり得る、目の運動を追跡するための方法200の実施形態を図示するフロー図を示す。方法200は、図1のコンピューティングデバイス104などのコンピューティングデバイス内の目追跡システムにより遂行され得る。

[0018] 202で方法200は、目追跡データを取得するステップを含む。上記で説明したように目追跡は、光(例えば、赤外光)をユーザの目に向けて放射し、ユーザの目から反射されるような光の画像を捕捉することにより遂行され得る。しかしながら光はさらには、光源とユーザの目との間の、眼鏡、または、他の透明もしくは半透明の光学構造から反射される場合があるので、ユーザの目からの光の反射を遮蔽するグレアが生起する場合がある。

[0019] したがって204で指示するように、方法200は、光源の異なる組み合わせからの光を反復して投射するステップを含み、206では、206で指示するように、目の画像を、光源の各々の異なる組み合わせの投射の間に捕捉するステップを含み得る。これらのプロセスは例えば、異なる組み合わせでの異なる数の光源からの光を投射すること、および/または、異なる位置/方位を有する光源からの光を投射することを必然的に含み得る。より具体的な例として図8は、4つの光源802a〜802dを含む目追跡システムを概略的に例解するものであり、照射を起こされる光源が、光源を表すボックスの内部の斜線により示される。光源の異なる組み合わせからの光を反復して投射するステップは、(時間T1で示されるような)すべての光源からの、次いで、(時間T2、T3、T4、およびT5で示されるような)3つの光源の異なる組み合わせからの、および次いで、(時間T6およびT7で示されるような)2つの光源の異なる組み合わせ、または、(図で示されない)1つの光源だけからの光を投射するステップを含み得る。光源投射のそのような循環は、任意の適した順序で遂行され得るということを理解すべきである。例えば、最も正確な視線決定が所望される場合は、より大きな数の、照射を起こされる光源を伴う組み合わせが、より少ない数の光源を伴うものの前に試行され得るものであり、一方で、電力節約が所望される場合は、または、グラス表面がより多くのグレアを生み出す傾向にある場合は、より少ない数を伴うものが、より大きな数を伴うものの前に試行され得る。

[0020] さらに一部の実施形態では、投射する光源の組み合わせの順序は、任意選択により、208で指示するように、頭部/HMD位置、および/または、光源の方位/位置に基づいて選択され得る。例えば、光源の個別の数および/またはパターンが、頭部が所与の角度で定置されるときに、より少ない遮蔽を生み出し得るということが知られている場合がある。次の組み合わせを、上記で説明した情報に基づいて選択することにより、光源の異なる組み合わせは、光源の適した組み合わせが早期の反復で利用され得るという公算を増大する知的な様式で反復して循環させられ得るものであり、そのことにより、異なる光源組み合わせを通して循環して費やされる時間の量を低減する。このようにして目追跡システムは、光源のどの組み合わせが、遮蔽の最も低い量を生み出すことになるかを推定し、光源の異なる組み合わせからの光を、推定に基づく順序で反復して投射することが可能である。他の実施形態では、光源の組み合わせは、下記で説明するように、画像内の遮蔽の量に基づいて選択され得るということを理解すべきである。

[0021] 210で方法200は、容認不可能な遮蔽が、各々の試験される光源組み合わせに対する画像内に存するかどうかを決定するステップを含み、212で、目追跡を遂行するための光源の組み合わせを選択するステップを含む。214で指示するように、光源組み合わせは、画像内で検出される遮蔽の量に基づいて選択され得る。一部の実施形態では、各々の組み合わせの反復の試験は、適した組み合わせの識別および選択を基に中止する場合があり、一方で他の実施形態では、組み合わせのフルセットが、1つを選択する前に試験され得る。各々の組み合わせの試験の部分として、所与の光源構成に対して、グレアが、それらの対応するグリントとマッチングされ得るものであり、さもなければ、遮蔽計量が、グレアと瞳孔またはグリントとの間で獲得され得る。高い遮蔽(例えば、しきい値より上の遮蔽)の事例では、次の光源構成はシーケンスから選定され得る。プロセスは次いで、遮蔽されない、または部分的に遮蔽される瞳孔−グリントが、高い確信度評点を伴って獲得されるまで繰り返し得る。この構成は次いで、適した光源構成が再び決定されるまで、構成が再び通して循環させられるときに、次の遮蔽が検出されるまで将来のフレームにわたって利用され得る。

[0022] 方法200はさらに、216で、光源の選択された組み合わせによって光を投射するステップを含み、218で、1つまたは複数の目の視線場所を、目から反射されるような光源からの光を検出することにより追跡するステップを含む。さらに220で方法200は、目追跡に応答的なアクションを遂行するステップを含む。目追跡は、任意の適したアクションを遂行するために使用され得る。例えば目追跡は、目ジェスチャを検出するために、グラフィカルユーザインターフェイスに対する位置信号を検出するために、その他で利用され得る。

[0023] グレアによる目グリント反射の遮蔽の容認不可能な量の決定は、任意の適した様式で決定される。図3は、目追跡システムのカメラにより捕捉される画像内の、反射、および/または、グレアもしくは他の妨害を分類するための方法300の例示の実施形態を図示するフロー図を示す。方法300は、目追跡システムで画像を処理するように構成される、図1のコンピューティングデバイス104などのコンピューティングデバイスにより遂行され得るということが理解されよう。

[0024] 302で方法300は、画像データをカメラから受信するステップを含む。カメラは、コンピューティングデバイス内に集積される、または、コンピューティングデバイスに対して外部に/リモートで定置される場合がある。方法300は、304で、受信された画像内の飽和領域を検出するステップをさらに含む。例えば画像は、しきい値より高い飽和値を伴う画像内の画素を決定するために分析され得る。

[0025] グレアは、グラスまたは他の平滑な構造からの鏡面反射から結果として生じ得るので、グレアは、光源自体の強度分布と類似的に、高度に飽和したコアを有し得る。したがって、目追跡システムで使用される光源から投射される光から形成されるグレアは、中心に、中心から離れると急激に消失する、高い強度のパターンを有し、時には、フレアの出現を結果として生じさせ得る。そのような特質から、光源からの投射の反射から形成されるグレアは、ユーザの目からの光の反射から、および、周りの他のIR源の存在に起因して引き起こされる他の拡散反射から区別され得る。

[0026] 図4は、目追跡システムのカメラにより捕捉される画像400の例示の図示を示し、グラス404を着用するユーザ402の視図を示す。目追跡システム光源(および、周囲光源)の光が、グラス404により、および、ユーザ402の目406の瞳孔により反射され得る。グラス404からのそのような反射によって、グレア408が結果として生じ得るものであり、一方で目からの反射によって、グリント410が結果として生じ得るものであり、それらのグリントは、目406の瞳孔の領域内の4つの均一に離隔した小点として例解される。グリント410が、小さな、実質的に円形の小点として出現する一方で、グレア408は、フレア状の、星に似た形状を有し得る。

[0027] 図3に戻ると、方法300は、画像の飽和画素を識別および選択し、306で指示するように、画像の飽和画素の前景距離変換(foreground distance transform)を遂行するステップを含み得るものであり、そのことは、前景距離変換の後の画素の強度が、反射の境界からの距離の関数であるようなものである。このことは、飽和領域のサイズ、および/または、飽和領域の輪郭に基づく、グレア候補の輪郭の指示を提供する一助となり得る。例えば、しきい値サイズより大きい飽和領域は、グレア候補であると考えられる場合があり、一方で、しきい値サイズより小さい飽和領域は、グレア候補であると考えられない場合がある。

[0028] 308で方法300は、例えば、距離しきい値より低い距離値を伴う輪郭を除去することにより、画像内のノイズを除去するステップを含む。このようにして、グレア/グレア候補のフレア状の輪郭が平滑化され得る。さらに310で方法300は、各々の残っている飽和領域(例えば、308で決定されたグレア/グレア候補のコア)に対する境界ボックスを決定するステップを含む。境界ボックスのサイズは、312で指示するように、ボックスが、しきい値処理される飽和画素のあるパーセンテージを含むことを可能にする値を有するように選択され得る。例えば境界ボックスは、グレア/グレア候補のコアの付近で形成され得るものであり、境界ボックスのサイズは、境界ボックス内の飽和画素のパーセンテージが、何らかのしきい値を上回るまで増大され得る。このリサイズすることは、ボックスが各々の飽和領域の付近に置かれるということを確実にする一助となり得る。グレアの事例では、ボックスは飽和中心を含み、一方で偽陽性(例えば、非グレア)の事例では、飽和画素は、ボックスの全体にわたってランダムに散らばる。手短に図5に移ると、図4の画像400の処理されたバージョンが示されており、飽和領域502(例えば、グレア候補)は境界ボックス504により包囲される。

[0029] 図3に戻ると、方法300は、314で、統計分布を第1の飽和領域に適合させるステップを含む。例えばガウシアンモデルまたは他の統計分布モデルが、グレア候補の領域内の飽和画素の正規化分布を形成するために、検出されたグレア中心に適合させられ得る。各々の飽和領域/グレア候補に対する統計分布の適合のパラメータが、次いで、しきい値条件と比較され得る。例えばガウシアンモデリング誤差が、その飽和領域へのガウシアンモデル適合に対して決定され得るものであり、その誤差の、しきい値誤差との比較が、316で決定され得る。パラメータがしきい値を満たすならば(例えば、モデリング誤差がしきい値より下であるならば)、318で、領域がグレアであると決定され得るものであり、方法は320に進み得るものであり、その320で、すべての飽和領域が分析され終えたかどうかが決定される。例えば、図5でのグレア候補506a、506b、506c、506d、および506eは、中心領域での飽和画素の集中、および、規則的に離隔した周辺領域で突出するフレアなど、グレアに似た特徴を呈する、関連するボックスの内部の飽和画素の分布に起因して、グレアと分類され得る。316で、パラメータがしきい値を満たさないと決定される場合、方法は、飽和領域をグレアと分類することなく320に進み得る(例えば、グレア候補506f、506g、506h、506i、506j、および506kは、飽和コアの欠如、および/または、他のグレア特徴が存在しないことに起因して、グレアと分類されない場合がある)。

[0030] 320で、すべての飽和領域が分析され終えていないと決定されるならば(例えば、320での「いいえ」)、方法300は、316、318、および320のプロセスを、すべての飽和領域が分析され終えるまで、反復して遂行するステップを含む。すべての飽和領域が分析され終えたならば(例えば、320での「はい」)、方法300は、324で、遮蔽のレベルを、グレアと分類された飽和領域の数および/または場所に基づいて決定するステップを含む。例えば遮蔽のレベルは、グレアのサイズ、グレアの数、および/または、どれだけグレアが、目の瞳孔/目の瞳孔から反射されるグリントに近いかに基づく場合がある。

[0031] 方法300に関して上記で説明した様々なしきい値(例えば、308での距離しきい値、312でのしきい値パーセンテージ、および、316でのしきい値条件)は、統計データに基づいて、あらかじめ決定される、および/または選択される場合がある。追加的または代替的な実施形態では、しきい値の1つまたは複数は、学習アルゴリズムによって(例えば、分類器を利用して)決定され得る。例えば、しきい値を学習アルゴリズムによって決定することは、しきい値を経時的に、個別のユーザ、環境、照明配置構成、および/または、他の適した条件に対する、測定/記録されるデータに基づいて、動的に改変することを含み得る。分類器を使用してしきい値を決定する際に、いくつかの他の特徴(例えば、2次適合誤差(quadratic fit error)、目の隅に対する位置、消失勾配(dissipation gradient)、その他)が、分析される画像内のグレアと非グレアとの間の分離を最適化するために追加され得る。

[0032] 図6Aおよび6Bは、目追跡システムの例示の光源配置構成600の異なる視図を示す。6Aの正面視図では、個々の光源602が、ハウジング構造604の付近に配置構成されているように例解されている。一部の実施形態ではハウジング構造604は、目追跡システムのカメラを含む、そのカメラの内部に集積される、および/または、そのカメラに装着される場合がある。他の実施形態ではハウジング構造604は、他の要素上に装着されるように構成され得る。例解されるように、各々の光源602は、他の光源に対して異なる場所に定置され得る。このようにして、各々の光源602から投射される光は、異なる場所に方向設定され得るものであり、および/または、光源配置構成600内の他の光源から投射される光とは異なる角度で、個別の場所に到着し得る。このことは、光源の異なる組み合わせが、上記で説明したようなグレアからの遮蔽を回避するように目からの反射を形成するために使用されることを可能とし得る。

[0033] さらに、図6Bで例解される光源配置構成600の斜め視図で示されるように、光源602の1つまたは複数は、配置構成内の他の光源とは異なって方位設定され得る。破線矢印は、光源602の各々から放射される光の方向を指示する。このようにして、各々の光源602から投射される光は、異なる場所に方向設定され得るものであり、および/または、光源配置構成600内の他の光源から投射される光とは異なる角度から、個別の場所に到着し得る。

[0034] 目追跡画像内の瞳孔グリントの遮蔽は、光学構造上の反射を、場所、サイズ、強度分布のような、それらの反射の特徴に基づいて分類すること、および、光源への対応付けに基づくものであり得る。異なる場所/角度からの光を方向設定する光源を含む光源配置構成を設けることにより、光源は、目追跡システムでの光源投射の異なる組み合わせを生成するために、反復してターンオン/オフされ得る。光源の各々の組み合わせからの光の投射の間に捕捉される画像を分析することは、グレアを識別し(例えば、目に対するグレアの場所を決定し)、および/または、グレアを個別の光源/光源組み合わせとマッチングし得るものである。したがって、高い確信度評点を伴って獲得される遮蔽されない瞳孔グリント、目/目から反射されるグリントの最も少ない数の遮蔽を生み出す、および/または、他の形で、適した目追跡画像を生み出す、光源組み合わせが、目追跡を遂行するために選択され得る。所与のユーザ/環境に対する個別の光源組み合わせを選択することは、グラスなどの光学構造が、目追跡カメラ/光源と、追跡されている目との間に存在する条件を含む、より広範なレンジの条件で、システムが動作することを可能にし得る。

[0035] 一部の実施形態では、本明細書で説明する方法およびプロセスは、1つまたは複数のコンピューティングデバイスのコンピューティングシステムに結び付けられ得る。特にそのような方法およびプロセスは、コンピュータアプリケーションプログラムもしくはサービス、アプリケーションプログラミングインターフェイス(API)、ライブラリ、および/または、他のコンピュータプログラム製品として実装され得る。

[0036] 図7は、上記で説明した方法およびプロセスの1つまたは複数を再現し得る、コンピューティングシステム700の非限定的な実施形態を概略的に示す。コンピューティングシステム700は、単純化した形式で示される。コンピューティングシステム700は、1つまたは複数の、パーソナルコンピュータ、サーバコンピュータ、タブレットコンピュータ、ホームエンターテイメントコンピュータ、ネットワークコンピューティングデバイス、ゲーミングデバイス、モバイルコンピューティングデバイス、モバイル通信デバイス(例えば、スマートフォン)、ウェアラブルコンピューティングデバイス、および/または、他のコンピューティングデバイスの形式をとり得る。例えばコンピューティングシステム700は、図1のコンピューティングデバイス104の例であり得るものであり、ならびに/または、図2および3で説明した方法を遂行することが可能である。

[0037] コンピューティングシステム700は、論理デバイス702および記憶デバイス704を含む。コンピューティングシステム700は、任意選択により、表示サブシステム706、入力サブシステム708、通信サブシステム710、および/または、図7で示されない他の構成要素を含み得る。

[0038] 論理デバイス702は、命令を実行するように構成される1つまたは複数の物理デバイスを含む。例えば論理デバイスは、1つまたは複数の、アプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造、または、他の論理構築物の部分である命令を実行するように構成され得る。そのような命令は、タスクを遂行する、データタイプを実装する、1つもしくは複数のコンポーネントの状態を変換する、技術的効果を達成する、または他の形で、所望の結果に行き着くように実装され得る。

[0039] 論理デバイス702は、ソフトウェア命令を実行するように構成される1つまたは複数のプロセッサを含み得る。追加的または代替的に論理デバイスは、ハードウェアまたはファームウェアの命令を実行するように構成される、1つまたは複数のハードウェアまたはファームウェアの論理デバイスを含み得る。論理デバイスのプロセッサは、シングルコアまたはマルチコアであり得るものであり、それらのプロセッサ上で実行される命令は、シーケンシャル、並列、および/または分散の処理に対して構成され得る。論理デバイスの個々の構成要素は、任意選択により、2つ以上の別々のデバイスの間で分散され得るものであり、それらの別々のデバイスは、リモートに配置され、および/または、協調処理に対して構成され得る。論理デバイスの態様は、クラウドコンピューティング構成で構成される、リモートアクセス可能な、ネットワーク化されたコンピューティングデバイスにより仮想化および実行され得る。

[0040] 記憶デバイス704は、本明細書で説明する方法およびプロセスを実装するために、論理デバイスにより実行可能な命令を保持するように構成される、1つまたは複数の物理デバイスを含む。そのような方法およびプロセスが実装されるとき、記憶デバイス704の状態は、例えば、異なるデータを保持するように変換され得る。

[0041] 記憶デバイス704は、リムーバブルおよび/または組み込みデバイスを含み得る。記憶デバイス704は、中でも、光学メモリ(例えば、CD、DVD、HD-DVD、Blu-Ray Disc、その他)、半導体メモリ(例えば、RAM、EPROM、EEPROM、その他)、および/または、磁気メモリ(例えば、ハードディスクドライブ、フロッピーディスクドライブ、テープドライブ、MRAM、その他)を含み得る。記憶デバイス704は、揮発性、不揮発性、ダイナミック、スタティック、読み出し/書き込み、読み出し専用、ランダムアクセス、シーケンシャルアクセス、ロケーションアドレス可能、ファイルアドレス可能、および/または、コンテンツアドレス可能のデバイスを含み得る。

[0042] 記憶デバイス704は、1つまたは複数の物理デバイスを含むということが察知されよう。しかしながら、本明細書で説明する命令の態様は、代替的に、有限の継続期間の間物理デバイスにより保持されない、通信媒体(例えば、電磁信号、光学信号、その他)により伝搬される場合がある。

[0043] 論理デバイス702および記憶デバイス704の態様は、1つまたは複数のハードウェア論理構成要素内に一体に集積され得る。そのようなハードウェア論理構成要素は、例えば、フィールドプログラマブルゲートアレイ(FPGA)、特定プログラムおよび用途向け集積回路(program- and application-specific integrated circuit)(PASIC/ASIC)、特定プログラムおよび用途向け標準製品(program- and application-specific standard product)(PSSP/ASSP)、システムオンチップ(SOC)、ならびに複合プログラマブル論理デバイス(CPLD)を含み得る。

[0044] 用語「モジュール」、「プログラム」、および「エンジン」は、個別の機能を遂行するために実装されるコンピューティングシステム700の態様を説明するために使用され得る。一部の事例では、モジュール、プログラム、またはエンジンは、記憶デバイス704により保持される命令を実行する論理デバイス702によってインスタンス化され得る。異なるモジュール、プログラム、および/またはエンジンが、同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、API、関数、その他からインスタンス化され得るということが理解されよう。同様に、同じモジュール、プログラム、および/またはエンジンは、異なるアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、API、関数、その他によりインスタンス化され得る。用語「モジュール」、「プログラム」、および「エンジン」は、実行可能ファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコード、その他の、個体または群を包含し得る。

[0045] 「サービス」は、本明細書では、多重のユーザセッションにわたって実行可能なアプリケーションプログラムであるということが察知されよう。サービスは、1つまたは複数の、システム構成要素、プログラム、および/または、他のサービスに対して利用可能であり得る。一部の実装形態ではサービスは、1つまたは複数のサーバコンピューティングデバイス上で走る場合がある。

[0046] 含まれるとき、表示サブシステム706は、記憶デバイス704により保持されるデータの視覚表現を提示するために使用され得る。この視覚表現は、グラフィカルユーザインターフェイス(GUI)の形式をとり得る。本明細書で説明する方法およびプロセスが、記憶デバイスにより保持されるデータを変化させ、したがって、記憶デバイスの状態を変換する際に、表示サブシステム706の状態は同様に、基礎をなすデータの変化を視覚的に表すように変換され得る。表示サブシステム706は、事実上任意のタイプの技術を利用する1つまたは複数の表示デバイスを含み得る。そのような表示デバイスは、共同の筐体内で論理デバイス702および/もしくは記憶デバイス704と組み合わされる場合があり、または、そのような表示デバイスは、周辺表示デバイスであり得る。

[0047] 入力サブシステム708は、目追跡システム(例えば、図1でのコンピューティングデバイス104の目追跡システム)、キーボード、マウス、タッチスクリーン、手書きポインタデバイス(handwriting pointer device)、もしくはゲームコントローラなどの、1つもしくは複数のユーザ入力デバイスを備え、または、それらのユーザ入力デバイスとインターフェイス接続し得る。一部の実施形態では入力サブシステムは、選択されたナチュラルユーザ入力(NUI:natural user input)構成部分を備え、または、その構成部分とインターフェイス接続し得る。そのような構成部分は、集積され得る、または、周辺機器であり得るものであり、入力アクションの転換および/または処理は、オンボードまたはオフボードで対処され得る。例示のNUI構成部分は、発話および/または音声認識用のマイクロホン;マシンビジョンおよび/またはジェスチャ認識用の、赤外線、カラー、ステレオスコピック、および/または深度のカメラ;動き検出および/または意図認識用の、ヘッドトラッカ、アイトラッカ、加速度計、および/またはジャイロスコープ;ならびに、脳活動を評価するための電場感知構成部分を含み得る。例えば入力サブシステムは、図2および3の方法200および/または300を遂行するために利用される、目追跡システム、および/または、目追跡システムの小部分を備え得る。

[0048] 含まれるとき、通信サブシステム710は、コンピューティングシステム700を、1つまたは複数の他のコンピューティングデバイスと通信可能に結合するように構成され得る。通信サブシステム710は、1つまたは複数の異なる通信プロトコルとの互換性がある、ワイヤードおよび/またはワイヤレスの通信デバイスを含み得る。非限定的な例として通信サブシステムは、ワイヤレス電話ネットワーク、または、ワイヤードもしくはワイヤレスのローカルエリアネットワークもしくはワイドエリアネットワークを介した通信に対して構成され得る。一部の実施形態では通信サブシステムは、コンピューティングシステム700が、インターネットなどのネットワークを介して、他のデバイスに、および/または、他のデバイスから、メッセージを送信および/または受信することを可能とし得る。

[0049] 本明細書で説明した構成および/または手法は、例示的な性質のものであるということ、ならびに、これらの特定の実施形態または例は、数多くの変形形態が可能であるので、限定的な意味で考慮すべきではないということが理解されよう。本明細書で説明した特定のルーチンまたは方法は、任意の数の処理戦略の1つまたは複数を表し得る。したがって、例解および/または説明した様々な行為は、例解および/もしくは説明したシーケンスで、他のシーケンスで、並列で遂行され、または、省略される場合がある。同様に、上記で説明したプロセスの順序は変化させられる場合がある。

[0050] 本開示の主題は、本明細書で開示した、様々なプロセス、システム、および構成、ならびに、他の特徴、機能、行為、および/または特質の、すべての新規の、および自明でない、組み合わせおよび副組み合わせを、それらのいずれかおよびすべての等価物と同様に含む。

Claims (10)

  1. 複数の光源と、
    目から反射されるような前記光源からの光の画像を捕捉するように構成されるカメラと、
    論理デバイスと、
    記憶デバイスであって、
    光源の異なる組み合わせからの光を反復して投射し、前記目の画像を、各々の組み合わせの投射の間に捕捉することにより、目追跡データのフレームを取得することと、
    前記画像内の一つ又は複数の飽和領域を検出することにより前記画像内の遮蔽を決定することと、各々の飽和領域ごとに境界ボックスを決定することと、前記飽和領域のパラメータが条件を満たす場合に、境界ボックス内の飽和領域をグレアとして分類することと、
    目追跡に対する光源の選択された組み合わせを、前記目と前記カメラとの間に定置される透明または半透明の光学構造から生起する、前記画像内で検出される遮蔽の前記決定に基づいて選択することと、
    目追跡に対する光源の前記選択された組み合わせによって光を投射することと
    を行うために、前記論理デバイスにより実行可能な命令を記憶する、記憶デバイスと
    を備える、目追跡システム。
  2. 光源の異なる組み合わせからの光を反復して投射することが、光源の前記異なる組み合わせからの光を、1つまたは複数の組み合わせの各々に対する予測される遮蔽に基づく順序で、反復して投射することを含む、請求項1に記載の目追跡システム。
  3. 頭部姿勢を検出し、光源のどの組み合わせが、遮蔽の最も低い量を生み出すことになるかの推定を前記頭部姿勢に基づいて決定することをさらに含む、請求項2に記載の目追跡システム。
  4. 画像内の飽和点をグレアとして指定し、前記グレアに対応する、光源の第1の組み合わせにおける光源を選択することを、前記選択された光源を含まない光源の第2の異なる組み合わせの投射の間に捕捉される次の画像内に、前記グレアが存在するかどうかの決定に基づいて行うことをさらに含む、請求項1に記載の目追跡システム。
  5. 光源の異なる組み合わせからの光を反復して投射することが、前記複数の光源のすべてからの光を第1の反復の間に投射し、前記複数の光源の1つまたは複数のサブセットからの光を、1つまたは複数の他の反復の間に投射することを含む、請求項1に記載の目追跡システム。
  6. 前記複数の光源の1つまたは複数が、互いとは異なって方位設定され、光源の異なる組み合わせからの光を反復して投射することが、方位の異なる組み合わせを有する、光源の異なる組み合わせからの光を反復して投射することを含む、請求項1に記載の目追跡システム。
  7. 目の動き追跡方法であって、
    光源の異なる組み合わせからの光を反復して投射し、前記目の画像を、各々の組み合わせの投射の間に捕捉することにより、目追跡データのフレームを取得することと、
    前記画像内の一つ又は複数の飽和領域を検出することにより前記画像内の遮蔽の量を決定することと、各々の飽和領域ごとに境界ボックスを決定することと、前記飽和領域のパラメータがしきい値条件を満たす場合に、境界ボックス内の飽和領域をグレアとして分類することと、
    目追跡に対する光源の選択された組み合わせを、前記目とカメラとの間に定置される透明または半透明の光学構造から生起する、前記画像内で検出される遮蔽の前記量に基づいて選択することと、
    目追跡に対する光源の前記選択された組み合わせによって光を投射することと
    を含む、目追跡方法。
  8. 各々の飽和領域に対する境界ボックスを決定することが、前記境界ボックスのサイズを、前記境界ボックス内の飽和画素のパーセンテージがしきい値境界ボックス条件を満たすまで増大することを含む、請求項7に記載の方法。
  9. 前記画像に対する前景距離変換を遂行し、距離しきい値未満である距離値を有する前記画像内の輪郭を除去して、前記飽和領域のコアを検出することをさらに含む、請求項8に記載の方法。
  10. 前記距離しきい値、前記しきい値境界ボックス条件、およびしきい値統計分布適合条件の1つまたは複数が、学習アルゴリズムによって決定される、請求項9に記載の方法。
JP2016559253A 2014-04-29 2015-04-23 目追跡でのグレアに対処すること Active JP6592000B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/264,952 2014-04-29
US14/264,952 US9454699B2 (en) 2014-04-29 2014-04-29 Handling glare in eye tracking
PCT/US2015/027185 WO2015167906A1 (en) 2014-04-29 2015-04-23 Handling glare in eye tracking

Publications (3)

Publication Number Publication Date
JP2017521738A JP2017521738A (ja) 2017-08-03
JP2017521738A5 JP2017521738A5 (ja) 2018-04-26
JP6592000B2 true JP6592000B2 (ja) 2019-10-16

Family

ID=53059471

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016559253A Active JP6592000B2 (ja) 2014-04-29 2015-04-23 目追跡でのグレアに対処すること
JP2019170087A Pending JP2020013601A (ja) 2014-04-29 2019-09-19 目追跡でのグレアに対処すること

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019170087A Pending JP2020013601A (ja) 2014-04-29 2019-09-19 目追跡でのグレアに対処すること

Country Status (17)

Country Link
US (2) US9454699B2 (ja)
EP (1) EP3137973B1 (ja)
JP (2) JP6592000B2 (ja)
KR (1) KR20160146858A (ja)
CN (2) CN106462236B (ja)
AU (1) AU2015253554B2 (ja)
BR (1) BR112016024889A2 (ja)
CA (1) CA2943426A1 (ja)
CL (1) CL2016002668A1 (ja)
IL (1) IL247738A (ja)
MX (1) MX366780B (ja)
NZ (1) NZ724321A (ja)
PH (1) PH12016501886B1 (ja)
RU (1) RU2678478C2 (ja)
SG (1) SG11201608289YA (ja)
TW (1) TW201541284A (ja)
WO (1) WO2015167906A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9454699B2 (en) * 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking
US9946339B2 (en) * 2014-10-08 2018-04-17 Microsoft Technology Licensing, Llc Gaze tracking through eyewear
US10444972B2 (en) 2015-11-28 2019-10-15 International Business Machines Corporation Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries
CN110023946A (zh) * 2016-07-05 2019-07-16 吴业成 在现场图像捕捉期间的欺骗攻击检测
US20180081434A1 (en) 2016-09-22 2018-03-22 Apple Inc. Eye and Head Tracking
US10120442B2 (en) * 2016-12-21 2018-11-06 Oculus Vr, Llc Eye tracking using a light field camera on a head-mounted display
US10657401B2 (en) * 2017-06-06 2020-05-19 Microsoft Technology Licensing, Llc Biometric object spoof detection based on image intensity variations
US10474231B2 (en) 2017-08-16 2019-11-12 Industrial Technology Research Institute Eye tracking apparatus and method thereof
KR20190047442A (ko) * 2017-10-27 2019-05-08 삼성전자주식회사 반사 영역을 제거하는 방법, 사용자의 눈을 추적하는 방법 및 그 장치
WO2019084595A1 (en) * 2017-10-31 2019-05-09 Seeing Machines Limited System and method for improving signal to noise ratio in object tracking under poor light conditions
CN108510542A (zh) * 2018-02-12 2018-09-07 北京七鑫易维信息技术有限公司 匹配光源与光斑的方法和装置
WO2020047140A1 (en) * 2018-08-29 2020-03-05 Intuitive Surgical Operations, Inc. Dynamic illumination for eye-tracking

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US6152563A (en) 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US7777778B2 (en) 2004-10-27 2010-08-17 Delphi Technologies, Inc. Illumination and imaging system and method
ES2605367T3 (es) * 2006-01-26 2017-03-14 Nokia Technologies Oy Dispositivo de seguimiento ocular
JP4643715B2 (ja) 2006-02-14 2011-03-02 テセラ テクノロジーズ アイルランド リミテッド 赤目ではない目の閃光による不良の自動的な検知および補正
US7630002B2 (en) 2007-01-05 2009-12-08 Microsoft Corporation Specular reflection reduction using multiple cameras
US20100079508A1 (en) 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
WO2010118292A1 (en) 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
US8324602B2 (en) 2009-04-14 2012-12-04 Intersil Americas Inc. Optical sensors that reduce specular reflections
EP2339534A1 (en) 2009-11-18 2011-06-29 Panasonic Corporation Specular reflection compensation
RU93553U1 (ru) * 2009-11-19 2010-04-27 Общество с ограниченной ответственностью "Системы позиционирования - оптические технологии" Компьютерный манипулятор, использующий углы поворота глаз и направление взгляда человека для позиционирования курсора на экране компьютера
US20110170060A1 (en) 2010-01-08 2011-07-14 Gordon Gary B Gaze Tracking Using Polarized Light
RU2576344C2 (ru) 2010-05-29 2016-02-27 Вэньюй ЦЗЯН Системы, способы и аппараты для создания и использования очков с адаптивной линзой на основе определения расстояния наблюдения и отслеживания взгляда в условиях низкого энергопотребления
EP2486441B1 (en) 2010-10-07 2018-02-21 Sony Interactive Entertainment Inc. 3-d glasses with camera based head tracking
US8730356B2 (en) 2011-03-07 2014-05-20 Sony Corporation System and method for automatic flash removal from images
WO2012177542A1 (en) 2011-06-18 2012-12-27 Identix Incorporated Systems and methods for detecting a specular reflection pattern for biometric analysis
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8942419B1 (en) * 2012-01-06 2015-01-27 Google Inc. Position estimation using predetermined patterns of light sources
KR20130121303A (ko) 2012-04-27 2013-11-06 한국전자통신연구원 원거리 시선 추적 시스템 및 방법
US9192305B2 (en) * 2012-09-28 2015-11-24 Align Technology, Inc. Estimating a surface texture of a tooth
US9829971B2 (en) * 2013-01-21 2017-11-28 Facebook, Inc. Systems and methods of eye tracking control
US20140375541A1 (en) * 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
CN106132284B (zh) * 2013-11-09 2019-03-22 深圳市汇顶科技股份有限公司 光学眼动追踪
US9454699B2 (en) * 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking

Also Published As

Publication number Publication date
IL247738D0 (en) 2016-11-30
RU2016142286A (ru) 2018-04-27
EP3137973A1 (en) 2017-03-08
CN106462236B (zh) 2019-06-04
JP2020013601A (ja) 2020-01-23
US20160358009A1 (en) 2016-12-08
US9916502B2 (en) 2018-03-13
AU2015253554A1 (en) 2016-10-20
KR20160146858A (ko) 2016-12-21
RU2678478C2 (ru) 2019-01-29
US20150310253A1 (en) 2015-10-29
SG11201608289YA (en) 2016-11-29
JP2017521738A (ja) 2017-08-03
EP3137973B1 (en) 2020-03-25
PH12016501886B1 (en) 2016-12-19
RU2016142286A3 (ja) 2018-11-19
MX366780B (es) 2019-07-24
US9454699B2 (en) 2016-09-27
MX2016014094A (es) 2017-02-09
CL2016002668A1 (es) 2017-04-21
CN110266916A (zh) 2019-09-20
NZ724321A (en) 2020-03-27
IL247738A (en) 2019-06-30
AU2015253554B2 (en) 2019-12-19
BR112016024889A2 (pt) 2017-08-15
CN106462236A (zh) 2017-02-22
WO2015167906A1 (en) 2015-11-05
TW201541284A (zh) 2015-11-01
CA2943426A1 (en) 2015-11-05
PH12016501886A1 (en) 2016-12-19

Similar Documents

Publication Publication Date Title
JP6079832B2 (ja) ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法
CN204537054U (zh) 可嵌入运动感测控制设备
US10671172B2 (en) Dynamic user interactions for display control
US9958952B2 (en) Recognition system for sharing information
JP6273334B2 (ja) 情報をその上に投影するための実世界内の表面の動的な選択
JP6342458B2 (ja) ビデオにおける改良型の顔面認識
US10349036B2 (en) Augmented reality with motion sensing
US10650040B2 (en) Object recognition of feature-sparse or texture-limited subject matter
CN104769644B (zh) 利用可变场照明设备的对象检测和跟踪
US10452151B2 (en) Non-tactile interface systems and methods
US10210382B2 (en) Human body pose estimation
US10409443B2 (en) Contextual cursor display based on hand tracking
US20170345218A1 (en) Systems and method of interacting with a virtual object
US9857876B2 (en) Non-linear motion capture using Frenet-Serret frames
US9224060B1 (en) Object tracking using depth information
US8818040B2 (en) Enhanced input using flashing electromagnetic radiation
US8913789B1 (en) Input methods and systems for eye positioning using plural glints
US9542045B2 (en) Detecting and tracking touch on an illuminated surface using a mean-subtracted image
US10635185B2 (en) Velocity field interaction for free space gesture interface and control
CA2837470C (en) System for finger recognition and tracking
US8929612B2 (en) System for recognizing an open or closed hand
US10638036B2 (en) Adjusting motion capture based on the distance between tracked objects
US9965062B2 (en) Visual enhancements based on eye tracking
US10007336B2 (en) Apparatus, system, and method for mobile, low-cost headset for 3D point of gaze estimation
US9934580B2 (en) Enhanced contrast for object detection and characterization by optical imaging based on differences between images

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under section 34 (pct)

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20161115

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180313

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180313

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190411

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190919

R150 Certificate of patent or registration of utility model

Ref document number: 6592000

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150