JP6498606B2 - ウエアラブル視線計測デバイス及び使用方法 - Google Patents
ウエアラブル視線計測デバイス及び使用方法 Download PDFInfo
- Publication number
- JP6498606B2 JP6498606B2 JP2015545901A JP2015545901A JP6498606B2 JP 6498606 B2 JP6498606 B2 JP 6498606B2 JP 2015545901 A JP2015545901 A JP 2015545901A JP 2015545901 A JP2015545901 A JP 2015545901A JP 6498606 B2 JP6498606 B2 JP 6498606B2
- Authority
- JP
- Japan
- Prior art keywords
- wearable device
- user
- camera
- eye
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title claims description 47
- 238000000034 method Methods 0.000 title claims description 28
- 238000003384 imaging method Methods 0.000 claims description 25
- 230000003213 activating effect Effects 0.000 claims description 5
- 241000287181 Sturnus vulgaris Species 0.000 claims 1
- 238000012937 correction Methods 0.000 description 29
- 230000003287 optical effect Effects 0.000 description 26
- 210000001747 pupil Anatomy 0.000 description 21
- 238000005286 illumination Methods 0.000 description 19
- 238000013461 design Methods 0.000 description 11
- 210000003128 head Anatomy 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 238000000576 coating method Methods 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 6
- 239000011521 glass Substances 0.000 description 6
- 230000004424 eye movement Effects 0.000 description 5
- 239000002245 particle Substances 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 239000011248 coating agent Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007493 shaping process Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000003945 visual behavior Effects 0.000 description 2
- 241000284156 Clerodendrum quadriloculare Species 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003667 anti-reflective effect Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003989 dielectric material Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000000608 laser ablation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/38—Releasing-devices separate from shutter
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B2213/02—Viewfinders
- G03B2213/025—Sightline detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Eye Examination Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Studio Devices (AREA)
Description
[関連出願]
本出願は、２０１２年１２月６日に出願された、継続中の暫定特許出願第６１／７３４，３５４号、６１／７３４，２９４号、及び６１／７３４，３４２号の利益を主張する。これらの出願の全開示は、引用によりここに組み込まれている。
本出願は、２０１２年１２月６日に出願された、継続中の暫定特許出願第６１／７３４，３５４号、６１／７３４，２９４号、及び６１／７３４，３４２号の利益を主張する。これらの出願の全開示は、引用によりここに組み込まれている。
本発明は、一般的に、例えば、片目又は両目で見ている空間又は対象物の位置を決定する、注視点マッピング作成用の視線計測方法に関する。
ウエアラブルデバイス及びシステムは、片目又は両目に近いプラットフォームを用いた目測により頭が動く、あるいはその他の原因によって生じるエラーが減るため、有利である。歴史的には、ウエアラブル視線計測デバイスに制限があるため、ウエアラブルアプリケーションは研究、眼科手術、及び軍事の領域に限定されていた。ウエアラブルシステムは、必要とされるカメラ位置の不都合により、嵩ばり高価なものになる傾向がある。目立たない形状要因を達成するには、撮像及び照明システムの製造が困難な特別注文が必要である。注視点マッピング及び／又は注視点測定は、システムがコンピュータに接続されていなければ、リアルタイムでの機能性が制限されることになるデータであり、コンピュータ的には集約される。最終的に、より精度を上げる一つの方法は、眼の画像中の位置及び強度に関して閃光の存在を制御することである。この結果、アウトドアでの機能性は、外部からの閃光の形をとるノイズによって大きく制限される。外部からの閃光は、通常、システム外の光源（直接又は間接）によって生じる。
一例は、眼の画像内に捕捉されたユーザの眼にあるシーンの反射である。同様の理由で、注視点測定用プルキニエの像を用いている視線計測システムは、しばしば、メガネやコンタクトレンズを装着している者と適合しないことがある。
本発明は、例えば、片目又は両目で見ている空間又は対象物の位置を決定するといった、注視点マッピングを作成するための、視線計測装置、システム、及び方法に関する。特に、ここに述べたソリューションは、タブレット、モジュラといったモバイルデバイス、及び／又は、輝いている太陽などの環境照明条件に対するロバストに適合する。
ここに記載した装置、システム及び方法は、ユーザの視覚フィードバックにモバイルやウエアラブルデバイスを使用するアプリケーション、及び／又は、安定した性能を得るために環境ロバストを必要とするアプリケーションにおける、視線計測に関する。他の視線計測システムと異なり、本システムはコストが安く、及び／又は、フレームワークに装着した構成要素を用いて、例えば、通常のメガネやその他のヘッドギアと同様に、目立つことがない。眼の動きは、人が決定を行うプロセス及びスキルに有用な洞察力を提供するため、注視点位置を決定し、及び／又は、目の動きを使って広いデバイスアレイを制御及び／又はこれと相互作用する能力は有用である。
ウエアラブル視線計測デバイスのハードルの一つは、目立たないカメラ位置である。眼を撮影する理想的な位置は、眼のすぐ前である。歴史的にみた選択肢は、カメラと光学素子を頭の横に移動させ、ホットミラーやその他の反射器を組み込むか、カメラを眼の下の軸外に移動させることである。後者の方法では、ユーザに邪魔にならないようにして機械的設計をしっかり封じ込めることになる。更に、大きな視野角が、眼と瞳の検出を複雑なものにする。軽量でコンパクトな形状要素が可能であり、かつ目を直視できるソリューションが求められている。Ｇａｏ ｅｔ ａｌ．の米国特許公開２０１２／０１６２５４９号、及びＣｈｅｎｇ ｅｔ ａｌ．，の２０１２／００８１８００号に開示されているような、自由造形の光学面が潜在的なソリューションである。これらの公報は、本明細書に引用により全体が組み込まれている。センサは、テンプル近くに、カップリングレンズアッセンブリ、プリズムや導波路などの自由造形光学素子と共に配置されており、眼の正面像が軽量で目立たないヘッドセットの拘束内で得られるように設計されている。入射瞳と自由造形モジュールの厚さが、眼の撮影に最適化されており、補正レンズを自由造形光学素子の外側表面に取り付けて、ユーザが歪のないシーンが見られるようにする。補正レンズは、ユーザの処方訂正を組み込んでいてもよく、いなくてもよい。
通常、ウエアラブルデバイスは、メガネとの整合性がないか、あるいはメガネの上に装着する。代替的に、ユーザの処方が光学システムの設計に組み込まれていたら、そのシステムは嵩が小さくなり、及び／又は、ユーザの見地からは柔軟性がなくなる。
結合／反射光学素子のいくつかの性能制約を緩和するには、ゴールが画像データの生成ではなく、視線計測データの生成であるため、光学空間転送機能が光学精密度にとって代わる。実際問題として、これは、波面符号化技術、及び／又は、各ピクセルの実際の位置（に対して、アレイ内のピクセルインデックスを使用して空間距離を表す）を示す二次元（２Ｄ）ルックアップテーブルの開発を含む。費用対効果を上げるためには、機械的及び光学的設計へのモジュール構成のアプローチが有効である。
例えば、コンパクトな自由造形導波路を一連の視線計測プロダクトに組み込むことができる。このシステムでは、センサ、光源、結合レンズアッセンブリ、自由造形光学素子、及び補正レンズはそれぞれがモジュールであってもよく、除去したり、及び／又は、別のアプリケーション特定の、及び／又は、ユーザ特定の構成要素と交換したりすることができる。例えば、例示的実施例では、例えば、６つの設計といった複数の異なる設計又は構成の構成要素キットを、より通常の視力矯正処方用に提供することができる。
モジュール化のアプローチは、米国特許公開公報第２０１２／０１６２５４９号に開示されているもののように、動いているディスプレイをニアアイディスプレイ（ＮＥＤ）から取り外して視線計測のみのソリューションとすることで、設計の制約が少なくなるので、実現可能である。測定に使用する眼の照明と目の撮像の両方とも、狭域帯波長（通常、赤外線近傍）を用いて行うことができる。このことは、システムが視線計測に使用する画像内における空間収差を許容するだけでなく（上述の通り）、投影するディスプレイ（可視波長）がないため、色収差に関する問題も照明ビームにおいて緩和することができ、従って自由造形光学設計における表面の設計の制約を緩和することになる。更に、全内部反射及び／又は自由造形光学素子内の反射コーティングについての条件は、視線計測システムのみで維持することが容易である。同様に、米国特許公開公報第２０１２／０１６２５４９号公報に開示されているものなどのように、画像をカメラに送信するように使用した結合光学素子は、空間及び／又は色収差に耐えることができる視線計測システムにおいて単純化、及び／又は、除外することができる。
設計モジュール性も、照明構成と視線計測に対するアルゴリズムアプローチのフレキシビリティを高める。軸上モードで眼を見る能力が、明るい瞳測定を可能にする。デザインにおける同軸対軸外の閃光源構造を組み合わせることによって、カメラの光軸と同軸にある、照明付（「明るい瞳」又はプルキニエ画像）と、照明無（暗い瞳画像）の連続画像が、差し引かれて、瞳を離隔する（ＦＰＧＡ又はＡＳＩＣ内でも）。明るい瞳における放射照度分布によって、軸上で投影照明及び画像収集に眼がどのように関係しているのかを表示することになる。代替的に、暗い瞳における眼の輝きを用いて、角膜中心の計算を行うことができる。
モジュラーソリューションに移ることによって、形式ファクタを柔軟にして、視線計測装置を、サングラス、ゴーグル、マスク、ヘルメット、ヘッドセット、などのウエアラブルデバイスに組み込むことができる。この設計上の柔軟性が、ウエアラブル視線計測システムを実装できる使用事例数を増やしている。従って、ビデオ圧縮、転送、及び処理の条件には制限がある。モバイルデバイスと適合性があるワイヤレス又はテザー式ポータブルシステムへの移行を容易にするためには、ウエアラブルデバイスのテンプルアーム（あるいはその他の位置）に一体化された埋め込み型処理ユニットにＣＰＵからシフトできるモジュールにアルゴリズムを注意深く分解する必要があり、データ転送のために必要な周波数帯域量が少なくなる。
注視点マッピングシステムが実際にモバイル型であり、環境的にロバストであれば、可能な使用事例の範囲は有意に増える。例えば、建設調査を行う間の設計図を意味する、倉庫の在庫品や、エキスパート−ノービス運動トレーニグなどは、フレームの動き、アイコントロール、及び／又はアウトドアの機能性に対してロバスト性があるモバイルシステムを用いることで容易になる。
追加であるいは代替的に、ここに述べたデバイスのいずれも、入手できる環境輝度の利点をとりつつ視線計測を狭い波長レンジ又はレンジセットに制限する一又はそれ以上の方法を有することができることは自明であろう。視線計測については、近赤外線（ＩＲ）の狭帯域のみを眼撮像に使用することができるが、適切な設計を行なえば、可視光線のほぼ１００％（材質インターフェースにおけるロスを引く）を伝送して、着用者がその場面を見ることができる。コーティング、グレーティング、フィルタ、及び／又は複数光源などの技術も使用できる。コーティングは、金属及び誘電体材料を含むものでよく、及び／又は、２色性ソリューションを含む、反射機能のあるもの、あるいは抗反射機能のあるものでもよい。
視線計測システムにおいては、通常、所定のユーザについては顔に対するフレーム位置のわずかなシフトに対してロバストであり、頭の動きを制限しないことが有用である。しかしながら、移動型シナリオでは、これらの二つの条件が合致することが重要である。両条件は、視野面に対する内部スペース（一方あるいは両方の眼の撮像及び／又は測定）と外部スペース（ユーザ周囲又は「そのシーン」の撮像）の正しい正規化を介して完成することができる。注視点は、左右の眼の注視ベクトルの集中によって決まる。次いで、そのシーンのカメラビデオ上のオーバーレイとして、モバイル装置を介してユーザに情報を伝達することができる。
例えば、三次元（３Ｄ）注視点（Ｐｏｉｎｔ ｏｆ Ｒｅｇａｒｄ：ＰＯＲ）アウトドア用に最適化した、頭に装着した視線計測メガネを用いて、ノービストレーニングの目的で、特別なスキル（例えば、サッカーのゴールキック）を行っているプロフェッショナルアスリート（エキスパート）の視覚挙動を記録することができる。この場合、３Ｄ注視点を、そのシーンの画像の上に重ねることができる。ＰＯＲのビデオデータ及び眼計測（ｏｃｕｌｏｍｅｔｒｉｃ）データをテザー記録デバイスに記録する、及び／又は、タブレット又はその他のコンピュータデバイスにワイヤレスでストリームすることができる。次いで、トレーナは、エキスパートの視覚的挙動を用いたノービストレーニングプログラムを作成して、熟練した改善用の最適視覚パターンを示すことができる。
眼の計測は、まばたき挙動と瞳のサイズをモニタすることで、眠気と疲労を検出する。これらの計測は、対象認識を用いるためユーザインターフェース（ＵＩ）に一体化して、安全でない状態にある被雇用者（例えば、ハザード、濡れた床、近傍にいる被雇用者）に警告をするか、あるいは、非雇用者の仕事の挙動を記録して、パフォーマンスが所望の標準に確実に達する、及び／又は、品質が損なわれないようにする。
注視点データをカーソル制御によってより複雑なユーザインターフェースに組み込むと、眼の動きを、コンピュータ及びその他の制御アプリケーションを方向付ける、手、足、及び／又は、その他の身体の動きを使用するその他の入力デバイスと交換可能に使用することができる。眼の制御をモバイルデバイスと対にすることで、眼の動きをあらかじめ配置したタグと共に使用して、例えば、倉庫の在庫品の場合のように、ユーザがより自然な経験をできるようなアプリケーションを開始する。更に、様々なアプリケーションについて、初歩的な、視覚上のユーザフィードバックの利点を提供する。
例えば、写真を撮ったことを確認する動作を考える。戦略的に配置した表示器（ＬＥＤあるいはその他の光源）をメニュー／コントロールとして見つめる能力が、単純なユーザインターフェースを作り、ユーザは例えば、その中止がＬＥＤ表示器の画像上にＵＩコントロールとして残り、システムに写真を取る準備をするように言わせる。一の例示的方法は：
○ 「Ｔａｋｅ Ｐｈｏｔｏ」ＬＥＤを、赤から緑に変わるまで見つめるステップ。
○ 例えば、ユーザが写真を好む画像の中心点を見つめて焦点を見つけるステップ。
○ 焦点付近を中心とする制限付き視野写真を撮るステップ。
○ ＬＥＤｓからの周辺ビューにおける適切なフィードバックを用いて、仮想フレームの左上側、ついで右下側を見つめるステップ。
を具える。
○ 「Ｔａｋｅ Ｐｈｏｔｏ」ＬＥＤを、赤から緑に変わるまで見つめるステップ。
○ 例えば、ユーザが写真を好む画像の中心点を見つめて焦点を見つけるステップ。
○ 焦点付近を中心とする制限付き視野写真を撮るステップ。
○ ＬＥＤｓからの周辺ビューにおける適切なフィードバックを用いて、仮想フレームの左上側、ついで右下側を見つめるステップ。
を具える。
例示的実施例によれば、デジタル写真を撮る方法が提供されており、この方法は、ユーザの頭にウエアラブルデバイスを装着するステップであって、このデバイスがユーザの周囲の画像を捕捉するようにした風景画像を具えるステップと；ユーザの目で所定の動作を実行して、ウエアラブルデバイスの写真を特徴づけるステップと；ユーザの周辺内のある領域の中心点を見つめるステップであって、ウエアラブルデバイスがこの中心点に基づいてカメラの撮像視野についての焦点と制限付き視野を決定するステップと；カメラに焦点付近の中心にある制限付き視野の画像を捕捉させるステップと；を具える。
別の実施例によれば、デジタル写真を撮る方法が提供されており、この方法は、ユーザの頭の上にウエアラブルデバイスを装着するステップであって、このウエアラブルデバイスがユーザの周囲の画像を捕捉するようにした風景画像を具えるステップと；ウエアラブルデバイスの所定の位置を見つめてウエアラブルデバイスの写真を特徴づけるステップと；ユーザの周辺内のある領域の中心点を見つめるステップであって、ウエアラブルデバイスがこの中心点に基づいてカメラの撮像視野についての焦点と制限付き視野を決定するステップと；カメラに焦点付近の中心にある制限付き視野の画像を捕捉させるステップと；を具える。
例示的実施例では、ウエアラブルデバイスの所定の位置を見つめて写真特性を始動させるステップが、ウエアラブルデバイスが、例えば、ＬＥＤの色を変えるなど、ＬＥＤを変化させて写真特性が始動したことを表示するまで、ウエアラブルデバイス上のＴａｋｅ Ｐｈｏｔｏ ＬＥＤを見つめるステップを具える。
さらに別の実施例によれば、ユーザの頭の上にウエアラブルデバイスを装着するステップを具えるデジタル写真を撮る方法が提供されており、このウエアラブルデバイスが、ユーザの周囲の画像を捕捉するようにした風景画像を具えるステップと；ウエアラブルデバイスの所定の位置を見つめてウエアラブルデバイスの写真を特徴づけるステップと；ユーザの周辺内のある領域のバーチャルフレームの対向するコーナーを見つめるステップであって、ウエアラブルデバイスがこの認識したコーナーに基づいてカメラの撮像視野についての焦点と制限付き視野を決定するステップと；カメラに焦点付近の中心にある制限付き視野の画像を捕捉させるステップと；を具える。
さらに別の実施例によれば、ユーザの頭に装着するように構成したウエアラブルデバイスを具えるデジタル写真を撮る装置が提供されており、この装置が、ウエアラブルデバイスをユーザが装着した時に、眼の視線計測画像を取得するように構成されたウエアラブルデバイス上の内部カメラと；ウエアラブルデバイスをユーザが装着した時に、ユーザの周囲の画像を取得するように構成したウエアラブルデバイスウエアの外部カメラと；内部カメラに接続されており、ユーザがユーザの目を使って所定の行動を取ってウエアラブルデバイスの写真特性を始動させる時を決定する一又はそれ以上のプロセッサであって、所定の方法でユーザの周囲のある領域をユーザが見つめる時を決定する外部カメラに接続されており、この所定の方法に基づいて外部カメラの撮像視野についての焦点と制限付き視野を決定し、外部カメラに焦点付近を中心に制限付き視野の画像を捕捉させるステップと；を具える。
別の実施例によれば、視線計測用の装置が提供されており、この装置は、ユーザの頭に装着するように構成したウエアラブルデバイスと；ウエアラブルデバイスに装着した自由造形導波器であり、ウエアラブルデバイスをユーザが装着した時にユーザの目の前に位置するような自由造形導波器であって、内部に一またはそれ以上の目盛を付けた自由造形導波器と；この導波器に接続され、ユーザがウエアラブルデバイスを装着した時に目の視線計測画像を取得するウエアラブルデバイス上の内部カメラと；この導波器内に光を誘導して光が一またはそれ以上の目盛から目に向かって反射するようにしたウエアラブルデバイス上の一またはそれ以上の光源とを具え、一またはそれ以上の目盛がさらに、導波器を通って目に向けて導波器の外側表面内へ通過する光を集束するように構成されている。
選択的に、このデバイスは、ウエアラブルデバイス上に周辺光センサと；この周辺光センサに接続されて、ウエアラブルデバイスを装着したユーザの周囲の周辺光レベルを検出する一またはそれ以上のプロセッサを具え、この一またはそれ以上のプロセッサが、一またはそれ以上の光源に接続されて、周辺光のレベルが所定のスレッシュホールドを下回る視線計測シーケンスの間、光源を始動させる。
追加であるいは代替的に、このデバイスは導波器の前にウエアラブルデバイスに装着した舗装レンズを具え、導波器を補正レンズとウエアラブルデバイスを装着しているユーザの目の間に配置するようにしてもよい。選択的に、補正レンズはサングラスのレンズであり、及び／又は、永久的に色が付いている。別の選択例では、補正レンズと導波器の少なくとも一方が、それを通過する光に可変不透明性又は透明性を提供するように構成した粒子を含んでおり、装置が更に、選択的に始動でき、粒子にこの不透明性又は透明性を制御させる電圧源を具えている。
さらに別の実施例によれば、ウエアラブルデバイスをユーザのヘッドに装着するステップであって、このウエアラブルデバイスが装着された自由造形導波器を具え、導波器をユーザの目の前に配置して、導波器がその中に形成した一またはそれ以上の目盛を具えるステップと；ユーザの周囲の周辺光状態が所定のスレッシュホールドを下回るときを検出するステップと；所定のスレッシュホールドを下回る周辺光の条件で、眼の画像をウエアラブルデバイスの内部カメラを用いて取得する視線計測シーケンスの間にウエアラブルデバイス上の一またはそれ以上の光源を活性化するステップであって、導波器を通過する一またはそれ以上の光源からの光が一またはそれ以上の目盛から目に向かって反射するステップと；所定のスレッシュホールドを上回る周変更の状態を用いて、一またはそれ以上の光源を伴う内部カメラを用いて眼の画像を取得して周辺光が一またはそれ以上の目盛を目に向けて通過するようにするステップと；を具える視線計測方法が提供されている。
例示的実施例では、一またはそれ以上の目盛が、眼の画像内に取得された一またはそれ以上の目盛を通過する周辺光から目の上に所定の閃光パターンを作成する。追加であるいは代替的に、一またはそれ以上の目盛が、一またはそれ以上の目盛で反射する一またはそれ以上の光源からの光から、眼の上に所定の閃光パターンを作成するようにしてもよい。
さらに別の実施例では、特別注文の視線計測デバイスを作成するキットが提供されており、このキットは、ユーザの頭に装着するように構成したウエアラブルデバイスと；異なる選択的特性を有する複数の自由造形導波器であって、各導波器がウエアラブルデバイスに別々に装着可能で、ユーザがウエアラブルデバイスを装着した時にユーザの目の前に導波を配置するようにした自由造形導波器と；一またはそれ以上の補正レンズであって、各レンズがウエアラブルデバイスに装着されて装着した導波器が補正レンズウエアラブルデバイスを装着しているユーザの目の間に配置するようにした補正レンズと；異なる特性を有する複数の内部カメラモジュールであって、各内部カメラモジュールが、ウエアラブルデバイスに別々に装着可能であり、装着した導波器に接続されて、ユーザがウエアラブルデバイスを装着した時に目の画像の視線計測を取得する内部カメラモジュールと；を具える。
選択的に、このキットは、ウエアラブルデバイス上に一またはそれ以上の光源を具えており、導波器に光を導入して、その光がウエアラブルデバイスを装着しているユーザの目に向けられるようにしてもよく、及び／又は、ユーザがウエアラブルデバイスを装着した時にユーザ周囲の画像を提供するように構成したウエアラブルデバイス上の外部カメラを具えていてもよい。
本発明のその他の態様及び特徴は、図面を参照して以下の記載を考慮することで明らかになる。
本発明は、添付の図面を参照して以下の詳細な説明により良く理解できる。図面に示した例示的な装置は、寸法通り記載する必要はなく、図に示した実施例の様々な態様及び特徴を強調したものであることは明らかである。
図１Ａ及び１Ｂは、それぞれ、ウエアラブル注視点測定デバイスの例示的実施例の斜視図及び正面図である。
図２は、図１Ａ及び１Ｂに示すウエアラブルデバイスに含めることができる導波器とカメラモジュールを具える眼撮像モジュールの例示的実施例の斜視図である。
図３は、モジュールのカメラを示す図２の眼撮像モジュールの詳細を示す図である。
図４は、図１Ａ及び１Ｂのウエアラブルデバイスに組み込んだ、図２に示す眼撮像モジュールの詳細を示す図である。
図５は、図１Ａ及び１Ｂのウエアラブルデバイスの構成要素を示す線図である。
図６は、照明モード、撮像モード、及び視野モードの、異なるモードで動作するように構成した図５に示すウエアラブルデバイスを示す線図である。
図７は、照明モード、撮像モード、及び視野モードの、異なるモードで動作するように構成した図５に示すウエアラブルデバイスを示す線図である。
図８は、照明モード、撮像モード、及び視野モードの、異なるモードで動作するように構成した図５に示すウエアラブルデバイスを示す線図である。
図９は、アウトドアでの視線計測用に構成した異なるモードで動作するウエアラブルデバイスの代替の実施例を示す線図である。
図１０は、周辺照明モードとエッジ照明モードを含む異なるモードで動作するように構成した、図９に示すウエアラブルデバイスを示す線図である。
図１１は、周辺照明モードとエッジ照明モードを含む異なるモードで動作するように構成した、図９に示すウエアラブルデバイスを示す線図である。
図面を参照すると、図１−５は、ウエアラブル視線及び／又は注視点測定デバイスの例示的実施例、すなわち、システム１０を示す。例示的実施例において、デバイス、システム、及び方法は、モジュラー型ウエアラブル注視点測定デバイスを提供しており、これは、視線計測マッピングの利点が現在展開されているその他のモバイルデバイスを増やすアプリケーションを含めて、様々なアプリケーションで使用するモバイルに最適化されている。別の例示的実施例では、デバイス、システム、及び方法は、アウトドア又はその他の環境照明条件に最適化することができ、及び／又は、十分にロバストされており、これによって、視線及び／又は注視点測定の利点を利用できるアプリケーションの数を増やしている。
一般的に、図１に示すように、デバイス１０は、例えば、メガネのフレーム（図に示す）、あるいは、マスク、ヘッドセット、ヘルメットなど、ユーザの頭（図示せず）に装着するように構成したウエアラブルデバイス１２と、ユーザの周辺を撮像するためのデバイスに装着した外部カメラ２０と、ユーザの両目（一方の眼９０を図５に示す）の一またはそれ以上を撮像するデバイスに装着した内部カメラ３０と、自由造形光学アッセンブリ４０と、自由造形補正レンズ５０とを具える。更に、図５に示すように、デバイス１０は、例えば、光学アッセンブリ４０に含まれる、及び／又は、ウエアラブルデバイス１２のどこかに装着された、一またはそれ以上の光源４４を具えている。デバイス１０は、また、デバイス１０を動作させ及び／又はここに述べた様々な機能を実行するための、その他の構成要素に接続された一またはそれ以上のプロセッサ、目盛、その他（図示せず）を具える。デバイス１０に含めることができる、例えば、ウエアラブルデバイス、カメラ、光源、プロセッサ、通信インターフェース、その他といった例示的な構成要素は、米国特許第６，５４１，０８１号、第７，４８８，２９４号、及び米国公開公報第２０１１／０２１１０５６号、及び第２０１３／０１１４８５０号に開示されている。これらの全開示はここに引用により全体が組み込まれている。
図２乃至５を参照すると、デバイス１０の光学アッセンブリ４０は、例えば、通過する光の合焦及び／又はフィルタリングなどのための、導波路又は内部自由携帯光学素子４２、一またはそれ以上の光源４４、あるいは波長選択アッセンブリ４６など、の複数の構成要素を具えている。導波路４２は、内部カメラ３０及び／又は光源４４に、例えば、波長選択アッセンブリ４６を介して光学的に接続されている。このアッセンブリは、図２及び３に示すように、カメラモジュールハウジング４８内に含まれており、例えば、導波路４２は、ハウジング４８に取り外し可能にあるいは永久的に取り付けられている。
導波路４２は、本明細書に記載したように、例えば、光源４４からの照明をユーザの目９０に導く、及び／又は、ユーザの目９０から光を回収して内部カメラ３０を用いて画像を取得するために、光学アッセンブリ４０の光学路をフォールドするような形状及び／又はそのように構成された一体化した光学デバイスであってもよい。例えば、導波路４２は、一またはそれ以上のプリズム及び／又はその中に一体的に形成されたその他の光学特性を具えており、例えば、内部カメラ３０に接続した端部４３など、導波路４２の端部又はエッジに導入した光が、中の一またはそれ以上の面で反射する導波路４２内に、導波路の反対側端部に向けて伝送され、例えば、ユーザの目９０に向けた内側面４２ｂなど、所定の面の外で反射して、例えば、眼９０を照明する。逆に、例えば眼９０から内側面４２ｂなどの、所定の面に入射する光は、内部カメラ３０に接続された端部４３に戻って導波路４２内に伝送され、例えば、眼９０の画像を捕捉する。
更に、導波路４２は、図５に線図で示すように、例えば、補正レンズ５０の内向面５０ｂに対応する、アイフレームのベースカーブに合致する外向面４２ａを具えていてもよい。このように、導波路４２と補正レンズ５０によって、例えば、正常なビジョン又は所定の補正処方に基づいて、ユーザの目９０は、眼からユーザの周囲内へほぼ歪がない視覚ができる。導波路４２は例えば中に補正レンズ５０を装着したフレーム１２内で開いている目を、少なくとも部分的に及び／又は全体的に、カバーするサイズにしてもよい。選択的に、導波路４２は、例えば、外向面４２ａ上、内向面４２ｂ上、及び／又は導波路の材料内に含まれる、光学性能を向上させる一またはそれ以上のアプリケーションに特定のコーティングを具えていてもよい。
選択的に、デバイス１０の一またはそれ以上の構成要素は、例えば、構成要素の異なるサイズ、形状、及び／又はその他の構造を交換するために、特定の個人ユーザに所望される場合に、例えば、モジュラーキットから交換可能であってもよい。例えば、第１の導波路４２（カメラ４４に接続されている）は、別の導波路（図示せず）と交換して、例えば、別のユーザの処方に合わせるようにしてもよい。代替的に、第１の導波路４２をメガネフレーム１２から取り外して、ヘルメット、ゴーグル、又はその他のウエアラブルデバイス（図示せず）内に配置し、例えば、同じユーザが異なるウエアラブルデバイスを使用して、視線及び／又は注視点計測に適応するようにしてもよい。
例示的実施例では、図５に示すデバイス１０の光学構成要素のいずれも、モジュラーである。例えば、導波路４２は、導波路４２及び／又はハウジング４８の連結端部にある一またはそれ以上のコネクタ（図示せず）を用いて、ハウジング４８に取り外し可能に連結されている。図４に示すように、ハウジング４８は、例えば、フレーム１２のつるピース又は耳サポート１４上で、フレーム１２に永久的にあるいは取り外し可能に取り付けられている。ハウジング４８は、十分に固定されており、導波路４２は、ハウジング４８がフレーム１２に固定されているときに導波路４２を補正レンズ５０に対してあるいはその近傍に固定するのに十分に硬い。代替的に、導波路４２及びフレーム１２及び／又は補正レンズ５０は、導波路４２を補正レンズ５０に固定するための一またはそれ以上のコネクタ（図示せず）を具えていてもよい。
追加であるいは代替的に、内部カメラ３０及び／又は波長選択アッセンブリ４６は、所望であれば、ハウジング４８内に取り外し可能に装着するようにしてもよい。図に示すように、一またはそれ以上の光源４４を、内部カメラ３０とほぼ共平面に配置する及び／又は例えばハウジング４８内に装着された内部カメラ近傍に位置させる、及び／又は、一またはそれ以上の光源４４を、例えば、光源が導波路４２に光を生成する一方の端部上に位置させるようにしてもよい。これによって、光をユーザの眼９０に向けることができる。選択的に、ハウジング４８は、例えば、ＦＰＧＡｓ、ＡＳＩＣｓ、その他のような、一又はそれ以上のプロセッサ、及び／又は、その中の目盛部品を具えていてもよく、このような部品は、フレーム１２の別のところに装着してもよいし、ハウジング４８とそのハウジング内の構成要素に電気的に接続するようにしてもよい。
デバイス１０は、所望であれば一またはそれ以上のモードで作動することができ、例えば、眼９０の照明及び／又は撮像ができる。例えば、図６には、一対の光源４４が、例えば、ＣＭＯＳ、ＣＣＤ又はその他の撮像チップといった、内部カメラ３０のセンサとほぼ共平面に装着されている、照明モードが示されている。従って、光線４５ａで示す出射光が、光源４４から、光線４５ｂで示すような眼９０に光を向ける、波長選択アッセンブリ４６を介して導波路４２に出射される。このように、光源４４は、所望の方法で眼９０を照明して、例えば、一またはそれ以上の閃光、その他を生成する。
更に、図７を参照すると、眼撮像モードが示されており、ここでは、光線４７ａで示すような、例えば、鏡面的に及び／又は拡散的に眼９０から反射された光が、自由携帯導波路４２で回収され、連結光学素子４６に戻され、光線４７ｂで示すようにこの光を内部カメラ３０上に合焦させる。
図８を参照すると、導波路４２と補正レンズ５０のペアリングによって、光線４９で示すようなシーンすなわちユーザ周囲からの光が、ユーザの眼９０へ、例えば、眼９０の入射瞳で最小の歪をもって、伝達される。
例えば、図１に示すデバイス１０は、これらのモードのいずれか一つで選択的に作動するように構成することができる。アプリケーション特定のハードウエア、ソフトウエアモジュール、及び／又はその他の処理機能、及び接続性をデバイス１０に提供することができ、例えば、各々が所望のこれらのモードの何れかで動作できる、視線計測デバイスファミリィを作ることができる。このアプリケーション特有のハードウエア及び接続は、例えば、外部カメラ２０及び／又は内部カメラ３０からのデータストリームをシリアル化する基本レベルで機能して、例えばデバイス１０のプロセッサ及び／又は遠隔の電子デバイス（図示せず）などの処理ユニットに、例えばワイヤレスであるいはワイヤ接続（図示せず）を介して送ることができる。その他の選択的特徴には、ＤＳＰ（例えば、歪のない）、初回工程（ｆｉｒｓｔ−ｉｎ−ｐｒｏｃｅｓｓ）アルゴリズムモジュール、及び／又は注視点ベクトルの全計算を含む。これらの組み合わせは、例えば、入手可能な電源及び／又は帯域条件に基づいて、デバイスで実装してもよい。
例示的実施例では、デバイス１０は、三次元の注視点（ＰＯＲ）決定が可能であり、以下の特徴の一またはそれ以上を具える。
ａ）ユーザのキャリブレーションデータの保存
ｂ）ＰＯＲモデリング用バーチャル平面注視点マッピング
ｃ）内部カメラ３０から外部カメラ２０への回転及び／又は移転用アルゴリズム；及び／又は
ｄ）注視点マッピングデータをワイヤレスでモバイルデバイス（例えば、ＷｉｎｄｏｗｓベースのＯＳ、Ｌｉｎｕｘベース、その他）へストリーム化
ａ）ユーザのキャリブレーションデータの保存
ｂ）ＰＯＲモデリング用バーチャル平面注視点マッピング
ｃ）内部カメラ３０から外部カメラ２０への回転及び／又は移転用アルゴリズム；及び／又は
ｄ）注視点マッピングデータをワイヤレスでモバイルデバイス（例えば、ＷｉｎｄｏｗｓベースのＯＳ、Ｌｉｎｕｘベース、その他）へストリーム化
図９乃至１１を参照すると、視線及び／又は注視点測定デバイス１１０の別の例示的実施例が示されており、これは、例えば、内部カメラ１３０（対応する眼９０の撮像用のものを図１０及び１１に示す）、外部カメラ（図示せず）、及び、例えば、本明細書に記載のその他の実施例と同様に、導波路又は内部自由造形光学素子１４２、及び一またはそれ以上の光源１４４を具える自由造形光学アッセンブリ１４０といった、一またはそれ以上の構成要素を担持するフレームまたはその他のウエアラブルデバイス（図示せず）など本明細書に記載したその他の実施例とほぼ同じ構成要素を具える。上述の実施例とは異なり、導波路１４２は、例えば、導波路に形成された複数の目盛用ノッチ又はウエッジ１４３など、一またはそれ以上の特徴を具えており、例えば、以下に述べるように閃光を発生して、アウトドア又はその他の明るく照明した環境での視線及び／又は注視点測定のためのデバイス１１０の使用を強化することができる。特に、「目盛」１４３は、以下に述べるように、代替的に、光が当たる角度に基づいて透明又は反射するように動作する。目盛１４３は、レーザアブレーションを含む様々な方法を用いて、導波路１４２内に形成できる。
デバイス１１０は、例えば、バイモーダル照明スキームを用いて、一以上のモードで動作して、高輝度周辺光条件の利点を得ることができる。例えば、明るい周辺光条件の下では、導波路１４２と補正レンズ１５０を対にすることによって、図１０に光線１４９ａで示すように、シーンからの光を導波路１４２と補正レンズ１５０を通って、眼９０の入射瞳において最小の歪でユーザの眼９０に伝送することができる。
より詳しくは、図１０に示すように、目盛１４３によって、周辺光が目盛と導波路１４２を通過して、所望のパターン又は構成で眼９０に入り、所定のパターンの閃光を生成し、図１４９ｂ、１４９ｃに示すように、これが反射して導波路１４２に戻り、内部カメラ１３０に向けられる。このように、太陽などの周辺又は「シーン」照明源にとって、目盛はトランスミッションとして作用する。
逆に、図１１に示すように、周辺照明が不十分な場合は、一またはそれ以上のエッジ照明源１４４を使って、光線１４５ａに示すように導波路１４２へ光を向けて、光線１４５ｂで示すように、光を眼９０に向けるように反射させる。反射光は、反射して導波路１４２に戻り、光線１４５ｃに示すように内部カメラ１３０に入る。デバイス１１０は、周辺光センサ（図示せず）を具えており、例えばデバイス１０の一またはそれ以上のプロセッサによって、このセンサを用いて、光源１４４への光源流を調整して、インドアとアウトドアのアプリケーション間でデバイスをリアルタイムで切り替える。このようにして、プロセッサが周辺光センサに基づいて周辺光が十分であると決定すると、光源１４４がオフになる又は不活性状態を維持し、一方、周辺光が不十分な場合は、光源１４４が所望の視線計測方法に必要な時に活性になる。
正しい波長コントロールは、デバイス１１０のような多重モーダルシステムに重要である。これを容易にするために、ショートパス誘電体コーティング（図示せず）が導波路１４２及び／又は補正レンズ１５０に、例えば、外向面１４２ａ、１５０ａ上に設けられている。このようなコーティングは、シーンからの可視光を通過させて、昼間（明るい）も夜間（暗い）もユーザが適切にそのシーンを見られるようにする。目盛１４３は、光源１４４の中心波長が、優先的に、ユーザの眼９０の方向に屈折され、反射され、及び／又は、回折されるように構成されている。
図７に示すデバイス１０と同様に、デバイス１１０も眼撮像モードで作用する。図７の光線４７ａで示す眼９０から反射された光（鏡面的及び拡散して）は、導波路１４２で回収されて、波長選択アッセンブリ１４６に戻り、ここで、内部カメラ１３０上に光を合焦させる（図１０及び１１に示す）。波長選択アッセンブリ１４６のロングパス又はノッチフィルタを用いて、可視波長中の異質な角強膜反射によるノイズを低減できる。更に、偏光源及び／又は偏向−感知部材を組み込むことでも、環境ノイズを低減できる。
選択的に、補正レンズ１５０（又は、ここに記載したその他の実施例の補正レンズ）を、例えば、着色レンズ、フィルタ付レンズ、及び／又は偏光レンズなどのサングラスのレンズにして、ユーザの眼に届く光量を小さくするようにしてもよい。このことによって、ユーザが瞼や瞳をリラックスし、及び／又は、視線及び／又は注視点測定を容易にすることができる。補正レンズ１５０の着色は、永久的なものであってもよく、遷移コーティングされていてもよい。追加であるいは代替的に、補正レンズ１５０は、フレームにほぼ永久的に装着されていてもよく、あるいは取り外し可能として、別の補正レンズをデバイス１１０中で交換可能としてもよい。
ユーザの眼９０を測定するのに使用した内部カメラ１３０から回収した画像内の光レベルに基づいて、導波路１４２及び／又は補正レンズ１５０の不透明性をダイナミックに制御する別のアプローチをすることができる。例えば、ユーザの眼９０に届く環境からの光路内にレンズ１４２又は１５０及び／又はその他の光学素子の不透明性（あるいは、逆に、透明性）を電気的に制御するシステムを提供してもよい。例示的な実施例では、細長い浮遊粒子を導波路１４２及び／又は補正レンズ１５０に配置して、浮遊粒子デバイス（ＳＰＤ）を提供し、このデバイスに回路を設けて、細長い粒子を光の伝送をブロックするあるいは伝送する方向に整列させる所定の電圧を印加する。例えば、ポリマ分散液晶及び／又はエレクトロウエッティング表面を用いるなどした、その他のエレクトロクロミック素子及び／又は方法を提供してもよい。このようなエレクトロクロミック法は、独立して、ありはホトクロミズム法と組み合わせて不透明性を制御することができる。このような特徴は、本明細書に記載したいずれの実施例にも取り入れることができる。
アウトドア及び／又は厳しい照明環境における重要な課題は、環境源からの全体の照明が連続的に変化する間に、眼の位置をほぼ連続的に測定する能力である。本明細書に記載したように、このことは、ユーザの眼を照明し及び／又は測定するのに使用する波長範囲にわたって光の環境源を選択的にブロックすることによって、部分的に軽減される。追加であるいは代替的に、非常に動的なレンジセンサを内部カメラに含めるようにしてもよい。
更なるアプローチは、例えば、光源１４４によって、デバイス１１０内で生じた照明を動的に調製して、環境照明の増加あるいは低下を保証することである。眼９０の測定に使用する内部カメラ１３０の画像内に記録した光レベルを用いて、眼９０の照明をモニタし、連続的に制御することができる。このことは、左目又は右目を選択的に照明することを含む。また、好ましくは、例えば、本明細書に引用により組み込んだ引用例に開示されているシステム及び方法と同様に、カメラ画像の様々な領域に記録した光強度に基づいて眼９０のある領域またはサブセットの照明を補強することを含む。
更に、十分に瞳が露出されていて、エッジ及び／又はゼロ点検出法を実装して瞳の輪郭を配置している場合、瞳検出の複数のアプローチを考慮することが有益である。瞳が不十分に露出されている場合は、瞳の輪郭に変えて瞼の輪郭及び／又は瞳エッジを認識することで、瞳の中心を含む小さな領域を認識することができる。その後、Ｓｔａｒｂｕｒｓｔ ａｎｄ Ｒａｎｓａｃ法などのアルゴリズムを実装して、瞳を楕円に合致させて、瞳の中心を決定する。更に、複数のカメラの使用により、特性捕捉および処理手順の低減を改善する可能性もある。
注視点マッピングシステムが本当にモバイルでありかつ環境的にロバストであれば、使用できるケースの範囲は非常に増える。例えば、倉庫の在庫、建設審査におけるブループリントの引用、モバイル視線計測システムを用いたエキスパート−ノービス運動トレーニングは、本明細書に述べたようにフレーム移動に対するロバストネス、アイコントロール、及び／又はアウトドア機能性によって強化できる。
実施例に示す素子あるいは構成要素は、特定の実施例についての例示であり、ここに開示したその他の実施例に、あるいはその他の実施例と組み合わせて使用することができる。
本発明は、様々な変形例、代替例を受け入れる余地があるが、特定の例を図面に示し説明している。しかしながら、本発明は、ここに開示した特定の形式あるいは方法に限定されるものではなく、特許請求の範囲内の全ての変形、均等物及び代替例をカバーするものである。
Claims (6)
- デジタル写真を撮る方法において：
ユーザの頭部にウエアラブルデバイスを装着するステップであって、当該ウエアラブルデバイスが前記ユーザの周囲の画像を捕捉する方向にシーンカメラを具える、ステップと；
前記ウエアラブルデバイスの所定の位置を注視して前記ウエアラブルデバイスの写真特性を起動するステップと；
前記ユーザの周囲内のある領域の中心点を凝視するステップであって、前記ウエアラブルデバイスが前記中心点に基づくフィールドを撮像しているカメラの焦点を決定するステップと；
前記カメラを起動して前記焦点の中心にある制限付き視野の画像を捕捉するステップと；
仮想フレームの対向するコーナを注視して、前記制限付き視野を決定するステップと；を具えることを特徴とする方法。 - 請求項１に記載の方法において、前記ウエアラブルデバイスの所定の位置を注視して写真特性を起動するステップが、前記ウエアラブルデバイスがＴａｋｅ Ｐｈｏｔｏ ＬＥＤを変化させて前記写真特性が起動するまで、前記ウエアラブルデバイスの前記Ｔａｋｅ Ｐｈｏｔｏ ＬＥＤを注視するステップを具えることを特徴とする方法。
- 請求項２に記載の方法において、前記Ｔａｋｅ Ｐｈｏｔｏ ＬＥＤの色が変化して、前記写真特性が起動することを表示することを特徴とする方法。
- デジタル写真を撮るデバイスにおいて：
ユーザの頭に装着するように構成したウエアラブルデバイスと；
当該ウエアラブルデバイス上の視線計測カメラであって、前記ユーザが前記ウエアラブルデバイスを装着した時に、眼の視線計測画像を取得するように構成した視線計測カメラと；
前記ウエアラブルデバイス上のシーンカメラであって、前記ユーザが前記ウエアラブルデバイスを装着した時に、前記ユーザの周囲の画像を取得するように構成したシーンカメラと；
前記視線計測カメラと前記シーンカメラに接続して、前記ユーザが前記ウエアラブルデバイスの所定の位置を凝視して前記ウエアラブルデバイスの写真特性を起動する時と、前記ユーザの周囲内のある領域の仮想フレームの対向するコーナーを凝視する時を決定する一またはそれ以上のプロセッサであって、前記認識したコーナーに基づいて前記カメラの焦点と撮像フィールドの制限付き視野を決定し、前記シーンカメラを起動して、前記焦点の中心にある前記制限付き視野の画像を捕捉する、一またはそれ以上のプロセッサと；
を具えることを特徴とするデバイス。 - 請求項４に記載のデバイスがさらに、前記ウエアラブルデバイス上にＴａｋｅ Ｐｈｏｔｏ ＬＥＤを具え、前記所定の位置を凝視することは前記Ｔａｋｅ Ｐｈｏｔｏ ＬＥＤを凝視することを含むことを特徴とするデバイス。
- 請求項５に記載のデバイスにおいて、前記一またはそれ以上のプロセッサが前記Ｔａｋｅ Ｐｈｏｔｏ ＬＥＤに接続されており、ユーザが当該Ｔａｋｅ Ｐｈｏｔｏ ＬＥＤを凝視した時に、前記一またはそれ以上のプロセッサが前記Ｔａｋｅ Ｐｈｏｔｏ ＬＥＤの色を変化させて前記写真特性が起動することを表示することを特徴とするデバイス。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261734342P | 2012-12-06 | 2012-12-06 | |
| US201261734294P | 2012-12-06 | 2012-12-06 | |
| US201261734354P | 2012-12-06 | 2012-12-06 | |
| US61/734,354 | 2012-12-06 | ||
| US61/734,294 | 2012-12-06 | ||
| US61/734,342 | 2012-12-06 | ||
| PCT/US2013/073753 WO2014089542A1 (en) | 2012-12-06 | 2013-12-06 | Eye tracking wearable devices and methods for use |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2016510517A JP2016510517A (ja) | 2016-04-07 |
| JP2016510517A5 JP2016510517A5 (ja) | 2017-01-26 |
| JP6498606B2 true JP6498606B2 (ja) | 2019-04-10 |
Family
ID=50884065
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015545901A Active JP6498606B2 (ja) | 2012-12-06 | 2013-12-06 | ウエアラブル視線計測デバイス及び使用方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US20140218281A1 (ja) |
| EP (1) | EP2929413B1 (ja) |
| JP (1) | JP6498606B2 (ja) |
| KR (1) | KR102205374B1 (ja) |
| CN (1) | CN104903818B (ja) |
| WO (1) | WO2014089542A1 (ja) |
Families Citing this family (187)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9158116B1 (en) | 2014-04-25 | 2015-10-13 | Osterhout Group, Inc. | Temple and ear horn assembly for headworn computer |
| US9715112B2 (en) | 2014-01-21 | 2017-07-25 | Osterhout Group, Inc. | Suppression of stray light in head worn computing |
| US9400390B2 (en) | 2014-01-24 | 2016-07-26 | Osterhout Group, Inc. | Peripheral lighting for head worn computing |
| US9366867B2 (en) | 2014-07-08 | 2016-06-14 | Osterhout Group, Inc. | Optical systems for see-through displays |
| CN104011788B (zh) | 2011-10-28 | 2016-11-16 | 奇跃公司 | 用于增强和虚拟现实的系统和方法 |
| US20140218281A1 (en) | 2012-12-06 | 2014-08-07 | Eyefluence, Inc. | Systems and methods for eye gaze determination |
| KR102093198B1 (ko) * | 2013-02-21 | 2020-03-25 | 삼성전자주식회사 | 시선 인식을 이용한 사용자 인터페이스 방법 및 장치 |
| US10416451B2 (en) * | 2013-04-25 | 2019-09-17 | Essilor International | Method of controlling a head mounted electro-optical device adapted to a wearer |
| US9041787B2 (en) * | 2013-09-03 | 2015-05-26 | Tobii Ab | Portable eye tracking device |
| KR102094965B1 (ko) * | 2013-12-30 | 2020-03-31 | 삼성디스플레이 주식회사 | 각성 안경, 차량용 미러 유닛 및 표시장치 |
| US10024679B2 (en) | 2014-01-14 | 2018-07-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
| US9578307B2 (en) * | 2014-01-14 | 2017-02-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
| US9915545B2 (en) * | 2014-01-14 | 2018-03-13 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
| US10248856B2 (en) | 2014-01-14 | 2019-04-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
| US10360907B2 (en) | 2014-01-14 | 2019-07-23 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
| US10649220B2 (en) | 2014-06-09 | 2020-05-12 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
| US9829707B2 (en) | 2014-08-12 | 2017-11-28 | Osterhout Group, Inc. | Measuring content brightness in head worn computing |
| US9594246B2 (en) | 2014-01-21 | 2017-03-14 | Osterhout Group, Inc. | See-through computer display systems |
| US9841599B2 (en) | 2014-06-05 | 2017-12-12 | Osterhout Group, Inc. | Optical configurations for head-worn see-through displays |
| US20150228119A1 (en) | 2014-02-11 | 2015-08-13 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
| US10684687B2 (en) | 2014-12-03 | 2020-06-16 | Mentor Acquisition One, Llc | See-through computer display systems |
| US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
| US12093453B2 (en) | 2014-01-21 | 2024-09-17 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
| US11487110B2 (en) | 2014-01-21 | 2022-11-01 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
| US11669163B2 (en) | 2014-01-21 | 2023-06-06 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
| US11892644B2 (en) | 2014-01-21 | 2024-02-06 | Mentor Acquisition One, Llc | See-through computer display systems |
| US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
| US11737666B2 (en) | 2014-01-21 | 2023-08-29 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
| US20160171769A1 (en) | 2014-01-24 | 2016-06-16 | Osterhout Group, Inc. | See-through computer display systems |
| US9846308B2 (en) | 2014-01-24 | 2017-12-19 | Osterhout Group, Inc. | Haptic systems for head-worn computers |
| GB2526515A (en) * | 2014-03-25 | 2015-12-02 | Jaguar Land Rover Ltd | Image capture system |
| US9651787B2 (en) | 2014-04-25 | 2017-05-16 | Osterhout Group, Inc. | Speaker assembly for headworn computer |
| US10853589B2 (en) | 2014-04-25 | 2020-12-01 | Mentor Acquisition One, Llc | Language translation with head-worn computing |
| US20160137312A1 (en) | 2014-05-06 | 2016-05-19 | Osterhout Group, Inc. | Unmanned aerial vehicle launch system |
| AU2015297036B2 (en) | 2014-05-09 | 2017-09-28 | Google Llc | Systems and methods for discerning eye signals and continuous biometric identification |
| US10564714B2 (en) | 2014-05-09 | 2020-02-18 | Google Llc | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
| US10663740B2 (en) | 2014-06-09 | 2020-05-26 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
| US9818114B2 (en) | 2014-08-11 | 2017-11-14 | Mastercard International Incorporated | Systems and methods for performing payment card transactions using a wearable computing device |
| US10448867B2 (en) | 2014-09-05 | 2019-10-22 | Vision Service Plan | Wearable gait monitoring apparatus, systems, and related methods |
| US11918375B2 (en) | 2014-09-05 | 2024-03-05 | Beijing Zitiao Network Technology Co., Ltd. | Wearable environmental pollution monitor computer apparatus, systems, and related methods |
| US10617342B2 (en) | 2014-09-05 | 2020-04-14 | Vision Service Plan | Systems, apparatus, and methods for using a wearable device to monitor operator alertness |
| US9922236B2 (en) | 2014-09-17 | 2018-03-20 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable eyeglasses for providing social and environmental awareness |
| US10024678B2 (en) | 2014-09-17 | 2018-07-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable clip for providing social and environmental awareness |
| US9568603B2 (en) * | 2014-11-14 | 2017-02-14 | Microsoft Technology Licensing, Llc | Eyewear-mountable eye tracking device |
| US9704038B2 (en) | 2015-01-07 | 2017-07-11 | Microsoft Technology Licensing, Llc | Eye tracking |
| US10215568B2 (en) | 2015-01-30 | 2019-02-26 | Vision Service Plan | Systems and methods for tracking motion, performance, and other data for an individual such as a winter sports athlete |
| US10490102B2 (en) | 2015-02-10 | 2019-11-26 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for braille assistance |
| US10878775B2 (en) | 2015-02-17 | 2020-12-29 | Mentor Acquisition One, Llc | See-through computer display systems |
| US9972216B2 (en) | 2015-03-20 | 2018-05-15 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for storing and playback of information for blind users |
| EP3955095B1 (en) | 2015-05-19 | 2023-11-29 | Magic Leap, Inc. | Dual composite light field device |
| EP3298452B1 (en) * | 2015-05-20 | 2022-11-02 | Magic Leap, Inc. | Tilt shift iris imaging |
| US9898865B2 (en) | 2015-06-22 | 2018-02-20 | Microsoft Technology Licensing, Llc | System and method for spawning drawing surfaces |
| US9939644B2 (en) * | 2015-06-25 | 2018-04-10 | Intel Corporation | Technologies for controlling vision correction of a wearable computing device |
| US11003246B2 (en) | 2015-07-22 | 2021-05-11 | Mentor Acquisition One, Llc | External user interface for head worn computing |
| US10139966B2 (en) | 2015-07-22 | 2018-11-27 | Osterhout Group, Inc. | External user interface for head worn computing |
| JP2017060078A (ja) * | 2015-09-18 | 2017-03-23 | カシオ計算機株式会社 | 画像録画システム、ユーザ装着装置、撮像装置、画像処理装置、画像録画方法、及びプログラム |
| US10618521B2 (en) * | 2015-09-21 | 2020-04-14 | Ford Global Technologies, Llc | Wearable in-vehicle eye gaze detection |
| US11064881B2 (en) * | 2015-11-13 | 2021-07-20 | Hennepin Healthcare System, Inc | Method for predicting convergence disorders caused by concussion or other neuropathology |
| US11215457B2 (en) | 2015-12-01 | 2022-01-04 | Amer Sports Digital Services Oy | Thematic map based route optimization |
| US11137820B2 (en) | 2015-12-01 | 2021-10-05 | Amer Sports Digital Services Oy | Apparatus and method for presenting thematic maps |
| US11144107B2 (en) | 2015-12-01 | 2021-10-12 | Amer Sports Digital Services Oy | Apparatus and method for presenting thematic maps |
| US11210299B2 (en) | 2015-12-01 | 2021-12-28 | Amer Sports Digital Services Oy | Apparatus and method for presenting thematic maps |
| US10433768B2 (en) | 2015-12-21 | 2019-10-08 | Amer Sports Digital Services Oy | Activity intensity level determination |
| FI127926B (en) | 2015-12-21 | 2019-05-31 | Suunto Oy | Sensor-based context management |
| US11541280B2 (en) | 2015-12-21 | 2023-01-03 | Suunto Oy | Apparatus and exercising device |
| DE102016015066A1 (de) * | 2015-12-21 | 2017-06-22 | Suunto Oy | Aktivitätsintensitätspegel-Bestimmung |
| US11284807B2 (en) | 2015-12-21 | 2022-03-29 | Amer Sports Digital Services Oy | Engaging exercising devices with a mobile device |
| US11838990B2 (en) | 2015-12-21 | 2023-12-05 | Suunto Oy | Communicating sensor data in wireless communication systems |
| US11587484B2 (en) | 2015-12-21 | 2023-02-21 | Suunto Oy | Method for controlling a display |
| DE102016015695A1 (de) | 2015-12-21 | 2017-06-22 | Suunto Oy | Aktivitätsintensitätspegel-Bestimmung |
| EP3398165B1 (en) * | 2015-12-28 | 2023-02-01 | Artilux Inc. | Eye gesture tracking |
| EP3405830A4 (en) * | 2016-01-19 | 2020-01-22 | Magic Leap, Inc. | SYSTEMS AND METHODS WITH EXTENDED REALITY USING REFLECTIONS |
| US10591728B2 (en) | 2016-03-02 | 2020-03-17 | Mentor Acquisition One, Llc | Optical systems for head-worn computers |
| US10850116B2 (en) | 2016-12-30 | 2020-12-01 | Mentor Acquisition One, Llc | Head-worn therapy device |
| US10667981B2 (en) | 2016-02-29 | 2020-06-02 | Mentor Acquisition One, Llc | Reading assistance system for visually impaired |
| US9826299B1 (en) | 2016-08-22 | 2017-11-21 | Osterhout Group, Inc. | Speaker systems for head-worn computer systems |
| US9880441B1 (en) | 2016-09-08 | 2018-01-30 | Osterhout Group, Inc. | Electrochromic systems for head-worn computer systems |
| KR102358677B1 (ko) * | 2016-03-07 | 2022-02-03 | 매직 립, 인코포레이티드 | 생체 인증 보안을 위한 청색 광 조정 |
| US10024680B2 (en) | 2016-03-11 | 2018-07-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Step based guidance system |
| US10684478B2 (en) | 2016-05-09 | 2020-06-16 | Mentor Acquisition One, Llc | User interface systems for head-worn computers |
| US10466491B2 (en) | 2016-06-01 | 2019-11-05 | Mentor Acquisition One, Llc | Modular systems for head-worn computers |
| US10082866B2 (en) | 2016-04-12 | 2018-09-25 | International Business Machines Corporation | Gaze point detection using dynamic facial reference points under varying lighting conditions |
| US9958275B2 (en) | 2016-05-31 | 2018-05-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for wearable smart device communications |
| US10561519B2 (en) | 2016-07-20 | 2020-02-18 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable computing device having a curved back to reduce pressure on vertebrae |
| KR20240093840A (ko) * | 2016-07-25 | 2024-06-24 | 매직 립, 인코포레이티드 | 광 필드 프로세서 시스템 |
| EP3276327B1 (en) * | 2016-07-29 | 2019-10-02 | Essilor International | Method for virtual testing of at least one lens having a predetermined optical feature and associated device |
| WO2018023245A1 (zh) * | 2016-07-31 | 2018-02-08 | 杨洁 | 一种自动拍照并传输的方法以及眼镜 |
| WO2018023242A1 (zh) * | 2016-07-31 | 2018-02-08 | 杨洁 | 一种自动拍照的方法以及眼镜 |
| WO2018023246A1 (zh) * | 2016-07-31 | 2018-02-08 | 杨洁 | 一种拍照时的信息推送方法以及眼镜 |
| WO2018023247A1 (zh) * | 2016-07-31 | 2018-02-08 | 杨洁 | 一种自动拍照并传输技术的数据采集方法以及眼镜 |
| WO2018023243A1 (zh) * | 2016-07-31 | 2018-02-08 | 杨洁 | 一种自动拍照的专利信息推送方法以及眼镜 |
| KR102548199B1 (ko) * | 2016-08-03 | 2023-06-28 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 시선 추적 방법 |
| US10268268B1 (en) * | 2016-09-02 | 2019-04-23 | Facebook Technologies, Llc | Waveguide integrated eye tracking |
| JP2018061622A (ja) * | 2016-10-11 | 2018-04-19 | オプトス ピーエルシー | 眼底観察装置 |
| DE102017009171A1 (de) | 2016-10-17 | 2018-04-19 | Amer Sports Digital Services Oy | Eingebettete rechenvorrichtung |
| US11703938B2 (en) | 2016-10-17 | 2023-07-18 | Suunto Oy | Embedded computing device |
| US10432851B2 (en) | 2016-10-28 | 2019-10-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable computing device for detecting photography |
| US10032053B2 (en) | 2016-11-07 | 2018-07-24 | Rockwell Automation Technologies, Inc. | Tag based location |
| USD827143S1 (en) | 2016-11-07 | 2018-08-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | Blind aid device |
| US10012505B2 (en) | 2016-11-11 | 2018-07-03 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable system for providing walking directions |
| US10521669B2 (en) | 2016-11-14 | 2019-12-31 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for providing guidance or feedback to a user |
| US10168531B1 (en) | 2017-01-04 | 2019-01-01 | Facebook Technologies, Llc | Lightfield waveguide integrated eye tracking |
| US10485420B2 (en) * | 2017-02-17 | 2019-11-26 | Analog Devices Global Unlimited Company | Eye gaze tracking |
| US20180255250A1 (en) * | 2017-03-03 | 2018-09-06 | Microsoft Technology Licensing, Llc | Pulsed, gated infrared illuminated camera systems and processes for eye tracking in high ambient light environments |
| CN106842625B (zh) * | 2017-03-03 | 2020-03-17 | 西南交通大学 | 一种基于特征共识性的目标追踪方法 |
| US10977858B2 (en) | 2017-03-30 | 2021-04-13 | Magic Leap, Inc. | Centralized rendering |
| AU2018243565B2 (en) | 2017-03-30 | 2023-03-16 | Magic Leap, Inc. | Non-blocking dual driver earphones |
| IL269861B2 (en) | 2017-04-14 | 2023-11-01 | Magic Leap Inc | Multimodal eye tracking |
| US9910298B1 (en) | 2017-04-17 | 2018-03-06 | Vision Service Plan | Systems and methods for a computerized temple for use with eyewear |
| US20180336772A1 (en) * | 2017-05-19 | 2018-11-22 | Hcl Technologies Limited | System and method for alerting a user within a warehouse |
| CN117762256A (zh) * | 2017-05-31 | 2024-03-26 | 奇跃公司 | 眼睛跟踪校准技术 |
| US11079522B1 (en) | 2017-05-31 | 2021-08-03 | Magic Leap, Inc. | Fiducial design |
| US10810773B2 (en) * | 2017-06-14 | 2020-10-20 | Dell Products, L.P. | Headset display control based upon a user's pupil state |
| WO2019011436A1 (en) | 2017-07-13 | 2019-01-17 | Huawei Technologies Co., Ltd. | BIMODAL HEADSET |
| US10422995B2 (en) | 2017-07-24 | 2019-09-24 | Mentor Acquisition One, Llc | See-through computer display systems with stray light management |
| US10578869B2 (en) | 2017-07-24 | 2020-03-03 | Mentor Acquisition One, Llc | See-through computer display systems with adjustable zoom cameras |
| US11409105B2 (en) | 2017-07-24 | 2022-08-09 | Mentor Acquisition One, Llc | See-through computer display systems |
| US10969584B2 (en) | 2017-08-04 | 2021-04-06 | Mentor Acquisition One, Llc | Image expansion optic for head-worn computer |
| AU2018353008B2 (en) | 2017-10-17 | 2023-04-20 | Magic Leap, Inc. | Mixed reality spatial audio |
| FI20175960A1 (en) * | 2017-10-30 | 2019-05-01 | Univ Of Eastern Finland | Procedure and apparatus for gaze detection |
| US11181977B2 (en) * | 2017-11-17 | 2021-11-23 | Dolby Laboratories Licensing Corporation | Slippage compensation in eye tracking |
| USD849822S1 (en) * | 2017-12-29 | 2019-05-28 | Aira Tech Corp. | Smart glasses for interactive use cases |
| US11194161B2 (en) | 2018-02-09 | 2021-12-07 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
| US11393251B2 (en) | 2018-02-09 | 2022-07-19 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
| US11556741B2 (en) | 2018-02-09 | 2023-01-17 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters using a neural network |
| IL305799B1 (en) | 2018-02-15 | 2024-06-01 | Magic Leap Inc | Virtual reverberation in mixed reality |
| IL307545A (en) | 2018-02-15 | 2023-12-01 | Magic Leap Inc | Dual listening positions for mixed reality |
| WO2019161312A1 (en) | 2018-02-15 | 2019-08-22 | Magic Leap, Inc. | Mixed reality musical instrument |
| US11675428B2 (en) * | 2018-03-29 | 2023-06-13 | Tobii Ab | Determining a gaze direction using depth information |
| US10558895B2 (en) * | 2018-03-30 | 2020-02-11 | Tobii Ab | Deep learning for three dimensional (3D) gaze prediction |
| WO2019190561A1 (en) * | 2018-03-30 | 2019-10-03 | Tobii Ab | Deep learning for three dimensional (3d) gaze prediction |
| US10281085B1 (en) * | 2018-03-30 | 2019-05-07 | Faspro Systems Co., Ltd. | Head-mounted wireless photographic apparatus |
| WO2019226269A2 (en) | 2018-04-24 | 2019-11-28 | Mentor Acquisition One, Llc | See-through computer display systems with vision correction and increased content density |
| CN110557552A (zh) * | 2018-05-31 | 2019-12-10 | 联想企业解决方案(新加坡)有限公司 | 便携式图像采集设备 |
| US10667072B2 (en) | 2018-06-12 | 2020-05-26 | Magic Leap, Inc. | Efficient rendering of virtual soundfields |
| CN110596889A (zh) * | 2018-06-13 | 2019-12-20 | 托比股份公司 | 眼睛跟踪装置和制造眼睛跟踪装置的方法 |
| EP4390918A3 (en) | 2018-06-14 | 2024-08-14 | Magic Leap, Inc. | Reverberation gain normalization |
| WO2019241760A1 (en) | 2018-06-14 | 2019-12-19 | Magic Leap, Inc. | Methods and systems for audio signal filtering |
| US10863300B2 (en) | 2018-06-18 | 2020-12-08 | Magic Leap, Inc. | Spatial audio for interactive audio environments |
| US11854566B2 (en) | 2018-06-21 | 2023-12-26 | Magic Leap, Inc. | Wearable system speech processing |
| WO2020023419A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Application sharing |
| US11179035B2 (en) * | 2018-07-25 | 2021-11-23 | Natus Medical Incorporated | Real-time removal of IR LED reflections from an image |
| US10722128B2 (en) | 2018-08-01 | 2020-07-28 | Vision Service Plan | Heart rate detection system and method |
| CN112740093B (zh) * | 2018-09-21 | 2024-03-08 | 杜比实验室特许公司 | 头戴式设备的光学堆叠内的结合部件 |
| WO2020069006A1 (en) | 2018-09-25 | 2020-04-02 | Magic Leap, Inc. | Systems and methods for augmented reality |
| EP3861767A4 (en) | 2018-10-05 | 2021-12-15 | Magic Leap, Inc. | CLOSE-FIELD AUDIO RENDERING |
| CN113170253B (zh) | 2018-10-05 | 2024-03-19 | 奇跃公司 | 用于音频空间化的加重 |
| US11315325B2 (en) | 2018-10-09 | 2022-04-26 | Magic Leap, Inc. | Systems and methods for artificial intelligence-based virtual and augmented reality |
| US11487316B2 (en) | 2018-10-24 | 2022-11-01 | Magic Leap, Inc. | Asynchronous ASIC |
| WO2020092271A1 (en) * | 2018-10-29 | 2020-05-07 | Holosports Corporation | Racing helmet with visual and audible information exchange |
| TWI699671B (zh) * | 2018-12-12 | 2020-07-21 | 國立臺灣大學 | 減低眼球追蹤運算的方法和其眼動追蹤裝置 |
| JP2022516074A (ja) | 2018-12-27 | 2022-02-24 | マジック リープ， インコーポレイテッド | 仮想および拡張現実のためのシステムおよび方法 |
| US11537202B2 (en) | 2019-01-16 | 2022-12-27 | Pupil Labs Gmbh | Methods for generating calibration data for head-wearable devices and eye tracking system |
| CN113748462A (zh) | 2019-03-01 | 2021-12-03 | 奇跃公司 | 确定用于语音处理引擎的输入 |
| US10877268B2 (en) * | 2019-04-16 | 2020-12-29 | Facebook Technologies, Llc | Active control of in-field light sources of a head mounted display |
| EP3966624A4 (en) | 2019-05-10 | 2023-01-11 | Twenty Twenty Therapeutics LLC | NATURAL PHYSIO-OPTICAL USER INTERFACE FOR AN INTRAOCULAR MICRODISPLAY |
| EP3979896A1 (en) | 2019-06-05 | 2022-04-13 | Pupil Labs GmbH | Devices, systems and methods for predicting gaze-related parameters |
| JP7369212B2 (ja) | 2019-06-06 | 2023-10-25 | マジック リープ， インコーポレイテッド | 空間コンピューティングのための写実的キャラクタ構成 |
| US11301677B2 (en) * | 2019-06-14 | 2022-04-12 | Tobil AB | Deep learning for three dimensional (3D) gaze prediction |
| EP3999940A4 (en) * | 2019-07-16 | 2023-07-26 | Magic Leap, Inc. | EYE CENTER OF ROTATION DETERMINATION WITH ONE OR MORE EYE TRACKING CAMERAS |
| US11704874B2 (en) | 2019-08-07 | 2023-07-18 | Magic Leap, Inc. | Spatial instructions and guides in mixed reality |
| US11328740B2 (en) | 2019-08-07 | 2022-05-10 | Magic Leap, Inc. | Voice onset detection |
| US11328475B2 (en) | 2019-10-18 | 2022-05-10 | Magic Leap, Inc. | Gravity estimation and bundle adjustment for visual-inertial odometry |
| EP4049117A4 (en) | 2019-10-25 | 2022-12-14 | Magic Leap, Inc. | NON-UNIFORM STEREOSCOPIC RENDERING |
| US11304017B2 (en) | 2019-10-25 | 2022-04-12 | Magic Leap, Inc. | Reverberation fingerprint estimation |
| US11959997B2 (en) | 2019-11-22 | 2024-04-16 | Magic Leap, Inc. | System and method for tracking a wearable device |
| CN115698847A (zh) | 2019-12-04 | 2023-02-03 | 奇跃公司 | 可变间距彩色发射显示器 |
| WO2021113781A1 (en) | 2019-12-06 | 2021-06-10 | Magic Leap, Inc. | Environment acoustics persistence |
| WO2021119212A1 (en) | 2019-12-09 | 2021-06-17 | Magic Leap, Inc. | Systems and methods for operating a head-mounted display system based on user identity |
| US11337023B2 (en) | 2019-12-20 | 2022-05-17 | Magic Leap, Inc. | Physics-based audio and haptic synthesis |
| EP4104165A4 (en) | 2020-02-10 | 2023-07-12 | Magic Leap, Inc. | DYNAMIC COLOCATION OF VIRTUAL CONTENT |
| US11778410B2 (en) | 2020-02-14 | 2023-10-03 | Magic Leap, Inc. | Delayed audio following |
| US11763559B2 (en) | 2020-02-14 | 2023-09-19 | Magic Leap, Inc. | 3D object annotation |
| CN115698818B (zh) | 2020-02-14 | 2024-01-23 | 奇跃公司 | 会话管理器 |
| US11494528B2 (en) | 2020-02-14 | 2022-11-08 | Magic Leap, Inc. | Tool bridge |
| EP4104456A4 (en) | 2020-02-14 | 2023-07-19 | Magic Leap, Inc. | AUDIO PLAYBACK WITH MULTIPLE APPLICATIONS |
| US20220342224A1 (en) * | 2020-02-19 | 2022-10-27 | Pupil Labs Gmbh | Eye tracking module and head-wearable device |
| WO2021178454A1 (en) | 2020-03-02 | 2021-09-10 | Magic Leap, Inc. | Immersive audio platform |
| US11917384B2 (en) | 2020-03-27 | 2024-02-27 | Magic Leap, Inc. | Method of waking a device using spoken voice commands |
| US11561613B2 (en) | 2020-05-29 | 2023-01-24 | Magic Leap, Inc. | Determining angular acceleration |
| US11636843B2 (en) | 2020-05-29 | 2023-04-25 | Magic Leap, Inc. | Surface appropriate collisions |
| CN114967904A (zh) * | 2021-02-19 | 2022-08-30 | 北京京东方光电科技有限公司 | 视线定位方法、头戴显示设备、计算机设备及存储介质 |
| US20230122300A1 (en) * | 2021-10-14 | 2023-04-20 | Microsoft Technology Licensing, Llc | Eye-tracking waveguides |
| US11592899B1 (en) | 2021-10-28 | 2023-02-28 | Tectus Corporation | Button activation within an eye-controlled user interface |
| US11619994B1 (en) | 2022-01-14 | 2023-04-04 | Tectus Corporation | Control of an electronic contact lens using pitch-based eye gestures |
| US11874961B2 (en) | 2022-05-09 | 2024-01-16 | Tectus Corporation | Managing display of an icon in an eye tracking augmented reality device |
| EP4361704A1 (en) * | 2022-10-27 | 2024-05-01 | Pupil Labs GmbH | Eye tracking module and head-wearable device |
Family Cites Families (115)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3863243A (en) | 1972-01-19 | 1975-01-28 | Max Skolnick | Sleep inhibiting alarm |
| US3798599A (en) | 1972-02-24 | 1974-03-19 | H Kafafian | Single input controller for a communication system |
| US4359724A (en) | 1980-04-28 | 1982-11-16 | Ronald R. Zimmerman | Eyelid movement detector |
| DE3777461D1 (de) | 1986-06-20 | 1992-04-23 | Matsushita Electric Ind Co Ltd | Optisches aufzeichnungs-und wiedergabegeraet. |
| EP0280124A1 (en) | 1987-02-12 | 1988-08-31 | Omron Tateisi Electronics Co. | Doze detector |
| US4850691A (en) | 1987-03-18 | 1989-07-25 | University Of Illinois | Method and apparatus for determining pupillary response parameters |
| US4815839A (en) | 1987-08-03 | 1989-03-28 | Waldorf Ronald A | Infrared/video electronystagmographic apparatus |
| US5214456A (en) | 1991-10-09 | 1993-05-25 | Computed Anatomy Incorporated | Mapping of corneal topography with display of pupil perimeter |
| JPH05191683A (ja) | 1992-01-14 | 1993-07-30 | Canon Inc | 撮影記録装置 |
| US5345281A (en) | 1992-12-17 | 1994-09-06 | John Taboada | Eye tracking system and method |
| US5517021A (en) | 1993-01-19 | 1996-05-14 | The Research Foundation State University Of New York | Apparatus and method for eye tracking interface |
| JPH07146431A (ja) | 1993-11-25 | 1995-06-06 | Canon Inc | カメラ |
| TW247985B (en) | 1993-04-22 | 1995-05-21 | Canon Kk | Image-taking apparatus |
| US5402109A (en) | 1993-04-29 | 1995-03-28 | Mannik; Kallis H. | Sleep prevention device for automobile drivers |
| US5481622A (en) | 1994-03-01 | 1996-01-02 | Rensselaer Polytechnic Institute | Eye tracking apparatus and method employing grayscale threshold values |
| JPH07283974A (ja) * | 1994-04-12 | 1995-10-27 | Canon Inc | 視線検出装置を備えたビデオカメラ |
| JPH086708A (ja) | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
| CA2126142A1 (en) | 1994-06-17 | 1995-12-18 | David Alexander Kahn | Visual communications apparatus |
| US5469143A (en) | 1995-01-10 | 1995-11-21 | Cooper; David E. | Sleep awakening device for drivers of motor vehicles |
| US5566067A (en) | 1995-03-23 | 1996-10-15 | The President And Fellows Of Harvard College | Eyelid vigilance detector system |
| US5689241A (en) | 1995-04-24 | 1997-11-18 | Clarke, Sr.; James Russell | Sleep detection and driver alert apparatus |
| US5570698A (en) | 1995-06-02 | 1996-11-05 | Siemens Corporate Research, Inc. | System for monitoring eyes for detecting sleep behavior |
| US5682144A (en) | 1995-11-20 | 1997-10-28 | Mannik; Kallis Hans | Eye actuated sleep prevention devices and other eye controlled devices |
| US6003991A (en) | 1996-02-17 | 1999-12-21 | Erik Scott Viirre | Eye examination apparatus and method for remote examination of a patient by a health professional |
| US5912721A (en) | 1996-03-13 | 1999-06-15 | Kabushiki Kaisha Toshiba | Gaze detection apparatus and its method as well as information display apparatus |
| US5886683A (en) | 1996-06-25 | 1999-03-23 | Sun Microsystems, Inc. | Method and apparatus for eyetrack-driven information retrieval |
| US6163281A (en) | 1996-08-19 | 2000-12-19 | Torch; William C. | System and method for communication using eye movement |
| US6246344B1 (en) | 1996-08-19 | 2001-06-12 | William C. Torch | Method and apparatus for voluntary communication |
| US6542081B2 (en) | 1996-08-19 | 2003-04-01 | William C. Torch | System and method for monitoring eye movement |
| US5748113A (en) | 1996-08-19 | 1998-05-05 | Torch; William C. | Method and apparatus for communication |
| US5867587A (en) | 1997-05-19 | 1999-02-02 | Northrop Grumman Corporation | Impaired operator detection and warning system employing eyeblink analysis |
| AU1091099A (en) | 1997-10-16 | 1999-05-03 | Board Of Trustees Of The Leland Stanford Junior University | Method for inferring mental states from eye movements |
| US6007202A (en) | 1997-10-23 | 1999-12-28 | Lasersight Technologies, Inc. | Eye illumination system and method |
| DE19803158C1 (de) | 1998-01-28 | 1999-05-06 | Daimler Chrysler Ag | Vorrichtung zur Vigilanzzustandsbestimmung |
| US6204828B1 (en) | 1998-03-31 | 2001-03-20 | International Business Machines Corporation | Integrated gaze/manual cursor positioning system |
| US6867752B1 (en) | 1998-08-31 | 2005-03-15 | Semiconductor Energy Laboratory Co., Ltd. | Portable information processing system |
| US6087941A (en) | 1998-09-01 | 2000-07-11 | Ferraz; Mark | Warning device for alerting a person falling asleep |
| US6243076B1 (en) | 1998-09-01 | 2001-06-05 | Synthetic Environments, Inc. | System and method for controlling host system interface with point-of-interest data |
| AUPP612998A0 (en) | 1998-09-23 | 1998-10-15 | Canon Kabushiki Kaisha | Multiview multimedia generation system |
| US6526159B1 (en) | 1998-12-31 | 2003-02-25 | Intel Corporation | Eye tracking for resource and power management |
| US6577329B1 (en) | 1999-02-25 | 2003-06-10 | International Business Machines Corporation | Method and system for relevance feedback through gaze tracking and ticker interfaces |
| GB2348520B (en) | 1999-03-31 | 2003-11-12 | Ibm | Assisting user selection of graphical user interface elements |
| US6116736A (en) | 1999-04-23 | 2000-09-12 | Neuroptics, Inc. | Pupilometer with pupil irregularity detection capability |
| JP2001183735A (ja) * | 1999-12-27 | 2001-07-06 | Fuji Photo Film Co Ltd | 撮像装置および方法 |
| JP2001281520A (ja) | 2000-03-30 | 2001-10-10 | Minolta Co Ltd | 光学装置 |
| US6456262B1 (en) | 2000-05-09 | 2002-09-24 | Intel Corporation | Microdisplay with eye gaze detection |
| US6608615B1 (en) | 2000-09-19 | 2003-08-19 | Intel Corporation | Passive gaze-driven browsing |
| ATE367596T1 (de) | 2000-10-07 | 2007-08-15 | David Dickerson | Vorrichtung zur bestimmung der orientierung eines auges |
| DE10103922A1 (de) | 2001-01-30 | 2002-08-01 | Physoptics Opto Electronic Gmb | Interaktives Datensicht- und Bediensystem |
| US20030038754A1 (en) | 2001-08-22 | 2003-02-27 | Mikael Goldstein | Method and apparatus for gaze responsive text presentation in RSVP display |
| AUPR872301A0 (en) | 2001-11-08 | 2001-11-29 | Sleep Diagnostics Pty Ltd | Alertness monitor |
| US6712468B1 (en) | 2001-12-12 | 2004-03-30 | Gregory T. Edwards | Techniques for facilitating use of eye tracking data |
| US6919907B2 (en) * | 2002-06-20 | 2005-07-19 | International Business Machines Corporation | Anticipatory image capture for stereoscopic remote viewing with foveal priority |
| US20040061680A1 (en) | 2002-07-10 | 2004-04-01 | John Taboada | Method and apparatus for computer control |
| ATE454849T1 (de) * | 2002-10-15 | 2010-01-15 | Volvo Technology Corp | Verfahren für die auswertung der kopf- und augenaktivität einer person |
| US7347551B2 (en) | 2003-02-13 | 2008-03-25 | Fergason Patent Properties, Llc | Optical system for monitoring eye movement |
| US7881493B1 (en) | 2003-04-11 | 2011-02-01 | Eyetools, Inc. | Methods and apparatuses for use of eye interpretation information |
| US9274598B2 (en) | 2003-08-25 | 2016-03-01 | International Business Machines Corporation | System and method for selecting and activating a target object using a combination of eye gaze and key presses |
| US20050047629A1 (en) | 2003-08-25 | 2005-03-03 | International Business Machines Corporation | System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking |
| US7365738B2 (en) | 2003-12-02 | 2008-04-29 | International Business Machines Corporation | Guides and indicators for eye movement monitoring systems |
| JP2005252732A (ja) | 2004-03-04 | 2005-09-15 | Olympus Corp | 撮像装置 |
| US7561143B1 (en) | 2004-03-19 | 2009-07-14 | The University of the Arts | Using gaze actions to interact with a display |
| GB2412431B (en) * | 2004-03-25 | 2007-11-07 | Hewlett Packard Development Co | Self-calibration for an eye tracker |
| EP1755441B1 (en) | 2004-04-01 | 2015-11-04 | Eyefluence, Inc. | Biosensors, communicators, and controllers monitoring eye movement and methods for using them |
| DK1607840T3 (da) | 2004-06-18 | 2015-02-16 | Tobii Technology Ab | Øjenstyring af et computerapparat |
| WO2006092022A1 (en) | 2005-03-04 | 2006-09-08 | Sleep Diagnostics Pty. Ltd | Measuring alertness |
| JP2006345276A (ja) | 2005-06-09 | 2006-12-21 | Fujifilm Holdings Corp | 撮像装置 |
| EP1943583B1 (en) | 2005-10-28 | 2019-04-10 | Tobii AB | Eye tracker with visual feedback |
| US7429108B2 (en) | 2005-11-05 | 2008-09-30 | Outland Research, Llc | Gaze-responsive interface to enhance on-screen user reading tasks |
| US7760910B2 (en) | 2005-12-12 | 2010-07-20 | Eyetools, Inc. | Evaluation of visual stimuli using existing viewing data |
| US8793620B2 (en) | 2011-04-21 | 2014-07-29 | Sony Computer Entertainment Inc. | Gaze-assisted computer interface |
| JP2008288767A (ja) | 2007-05-16 | 2008-11-27 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| US8462949B2 (en) | 2007-11-29 | 2013-06-11 | Oculis Labs, Inc. | Method and apparatus for secure display of visual content |
| US20100045596A1 (en) | 2008-08-21 | 2010-02-25 | Sony Ericsson Mobile Communications Ab | Discreet feature highlighting |
| US7850306B2 (en) | 2008-08-28 | 2010-12-14 | Nokia Corporation | Visual cognition aware display and visual data transmission architecture |
| US20100245765A1 (en) * | 2008-10-28 | 2010-09-30 | Dyer Holdings, Llc | Video infrared ophthalmoscope |
| US8398239B2 (en) | 2009-03-02 | 2013-03-19 | Honeywell International Inc. | Wearable eye tracking system |
| JP2010213214A (ja) * | 2009-03-12 | 2010-09-24 | Brother Ind Ltd | ヘッドマウントディスプレイ |
| ATE527934T1 (de) | 2009-04-01 | 2011-10-15 | Tobii Technology Ab | Adaptive kamera und illuminator-eyetracker |
| US20120105486A1 (en) | 2009-04-09 | 2012-05-03 | Dynavox Systems Llc | Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods |
| CN101943982B (zh) | 2009-07-10 | 2012-12-12 | 北京大学 | 基于被跟踪的眼睛运动的图像操作 |
| ES2669058T3 (es) | 2009-07-16 | 2018-05-23 | Tobii Ab | Sistema y método de detección ocular que usa flujo de datos secuencial |
| JP5613025B2 (ja) * | 2009-11-18 | 2014-10-22 | パナソニック株式会社 | 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置 |
| JP5679655B2 (ja) | 2009-12-24 | 2015-03-04 | レノボ・イノベーションズ・リミテッド（香港） | 携帯端末装置及びその表示制御方法 |
| US9507418B2 (en) | 2010-01-21 | 2016-11-29 | Tobii Ab | Eye tracker based contextual action |
| US9182596B2 (en) | 2010-02-28 | 2015-11-10 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light |
| US20130314303A1 (en) * | 2010-02-28 | 2013-11-28 | Osterhout Group, Inc. | Ar glasses with user action control of and between internal and external applications with feedback |
| US8890946B2 (en) | 2010-03-01 | 2014-11-18 | Eyefluence, Inc. | Systems and methods for spatially controlled scene illumination |
| US8593375B2 (en) | 2010-07-23 | 2013-11-26 | Gregory A Maltz | Eye gaze user interface and method |
| US8531394B2 (en) | 2010-07-23 | 2013-09-10 | Gregory A. Maltz | Unitized, vision-controlled, wireless eyeglasses transceiver |
| US9213405B2 (en) | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
| EP2499960B1 (en) | 2011-03-18 | 2015-04-22 | SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH | Method for determining at least one parameter of two eyes by setting data rates and optical measuring device |
| US8643680B2 (en) | 2011-04-08 | 2014-02-04 | Amazon Technologies, Inc. | Gaze-based content display |
| US8911087B2 (en) | 2011-05-20 | 2014-12-16 | Eyefluence, Inc. | Systems and methods for measuring reactions of head, eyes, eyelids and pupils |
| US8885877B2 (en) | 2011-05-20 | 2014-11-11 | Eyefluence, Inc. | Systems and methods for identifying gaze tracking scene reference locations |
| EP2587341B1 (en) | 2011-10-27 | 2017-01-04 | Tobii AB | Power management in an eye-tracking system |
| US8929589B2 (en) | 2011-11-07 | 2015-01-06 | Eyefluence, Inc. | Systems and methods for high-resolution gaze tracking |
| KR101891786B1 (ko) | 2011-11-29 | 2018-08-27 | 삼성전자주식회사 | 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기 |
| US8942419B1 (en) * | 2012-01-06 | 2015-01-27 | Google Inc. | Position estimation using predetermined patterns of light sources |
| US8955973B2 (en) | 2012-01-06 | 2015-02-17 | Google Inc. | Method and system for input detection using structured light projection |
| US9529426B2 (en) * | 2012-02-08 | 2016-12-27 | Microsoft Technology Licensing, Llc | Head pose tracking using a depth camera |
| US9578318B2 (en) * | 2012-03-14 | 2017-02-21 | Microsoft Technology Licensing, Llc | Imaging structure emitter calibration |
| US9171198B1 (en) * | 2012-04-02 | 2015-10-27 | Google Inc. | Image capture technique |
| US9423870B2 (en) * | 2012-05-08 | 2016-08-23 | Google Inc. | Input determination method |
| EP2847648A4 (en) | 2012-05-09 | 2016-03-02 | Intel Corp | EYE PERSONALIZED SELECTIVE STRESSING OF PARTS OF AN INDICATION |
| DE102012105664A1 (de) | 2012-06-28 | 2014-04-10 | Oliver Hein | Verfahren und Vorrichtung zur Kodierung von Augen- und Blickverlaufsdaten |
| US9189064B2 (en) | 2012-09-05 | 2015-11-17 | Apple Inc. | Delay of display event based on user gaze |
| US20140092006A1 (en) | 2012-09-28 | 2014-04-03 | Joshua Boelter | Device and method for modifying rendering based on viewer focus area from eye tracking |
| US20140218281A1 (en) | 2012-12-06 | 2014-08-07 | Eyefluence, Inc. | Systems and methods for eye gaze determination |
| WO2014111924A1 (en) | 2013-01-15 | 2014-07-24 | Poow Innovation Ltd. | Dynamic icons |
| US9829971B2 (en) | 2013-01-21 | 2017-11-28 | Facebook, Inc. | Systems and methods of eye tracking control |
| KR102093198B1 (ko) | 2013-02-21 | 2020-03-25 | 삼성전자주식회사 | 시선 인식을 이용한 사용자 인터페이스 방법 및 장치 |
| KR102175853B1 (ko) | 2013-02-22 | 2020-11-06 | 삼성전자주식회사 | 동작 제어 방법 및 그 전자 장치 |
| WO2014134623A1 (en) | 2013-03-01 | 2014-09-04 | Tobii Technology Ab | Delay warp gaze interaction |
| KR102246310B1 (ko) | 2013-12-31 | 2021-04-29 | 아이플루언스, 인크. | 시선-기반 미디어 선택 및 편집을 위한 시스템들 및 방법들 |
-
2013
- 2013-12-06 US US14/099,900 patent/US20140218281A1/en not_active Abandoned
- 2013-12-06 WO PCT/US2013/073753 patent/WO2014089542A1/en active Application Filing
- 2013-12-06 KR KR1020157017231A patent/KR102205374B1/ko active IP Right Grant
- 2013-12-06 US US14/099,908 patent/US10025379B2/en active Active
- 2013-12-06 JP JP2015545901A patent/JP6498606B2/ja active Active
- 2013-12-06 EP EP13860881.5A patent/EP2929413B1/en active Active
- 2013-12-06 CN CN201380068249.XA patent/CN104903818B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20140184775A1 (en) | 2014-07-03 |
| EP2929413A4 (en) | 2016-07-13 |
| JP2016510517A (ja) | 2016-04-07 |
| EP2929413A1 (en) | 2015-10-14 |
| CN104903818B (zh) | 2018-12-14 |
| US20140218281A1 (en) | 2014-08-07 |
| KR102205374B1 (ko) | 2021-01-21 |
| US10025379B2 (en) | 2018-07-17 |
| KR20150116814A (ko) | 2015-10-16 |
| WO2014089542A1 (en) | 2014-06-12 |
| EP2929413B1 (en) | 2020-06-03 |
| CN104903818A (zh) | 2015-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6498606B2 (ja) | ウエアラブル視線計測デバイス及び使用方法 | |
| JP6159263B2 (ja) | 照射特性を調整可能にして少なくとも１つの眼における少なくとも１つのパラメータを捕捉する光学的測定装置及び方法 | |
| EP3228072B1 (en) | Virtual focus feedback | |
| JP6732128B2 (ja) | ビデオグラスの眼球追跡モジュール | |
| CN103501406B (zh) | 图像采集系统及图像采集方法 | |
| KR100949743B1 (ko) | 고글 형태를 갖는 착용형 시선 추적 장치 및 방법 | |
| US10775647B2 (en) | Systems and methods for obtaining eyewear information | |
| CN111543935B (zh) | 用于确定矫正镜片的组件、计算机程序、系统、以及套件 | |
| US20180336720A1 (en) | Systems and Methods For Generating and Using Three-Dimensional Images | |
| KR101300671B1 (ko) | 안경 렌즈 제작을 위해 필요한 파라미터 측정 방법 및 이를 구현하기 위한 측정 장치 | |
| US11221492B2 (en) | Eye tracking apparatus and eye tracking device for the estimation of line-of-sight and/or gaze point of eyes | |
| JP6481084B2 (ja) | 映像表示機能付き眼鏡 | |
| JPH0782539B2 (ja) | 瞳孔画像撮影装置 | |
| WO2018154272A1 (en) | Systems and methods for obtaining information about the face and eyes of a subject | |
| WO2019149995A1 (en) | Gaze-tracking system using curved photo-sensitive chip | |
| JPH02224637A (ja) | 視線検出方法 | |
| KR101780669B1 (ko) | 단일 카메라를 이용한 양안 촬영 장치 | |
| KR20110111830A (ko) | 안경형 마우스 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161205 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161205 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20171010 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180511 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181030 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190313 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6498606 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |