JP7399210B2 - ヘッドマウントディスプレイシステムの装着者の眼の眼画像を処理するための方法 - Google Patents
ヘッドマウントディスプレイシステムの装着者の眼の眼画像を処理するための方法 Download PDFInfo
- Publication number
- JP7399210B2 JP7399210B2 JP2022066237A JP2022066237A JP7399210B2 JP 7399210 B2 JP7399210 B2 JP 7399210B2 JP 2022066237 A JP2022066237 A JP 2022066237A JP 2022066237 A JP2022066237 A JP 2022066237A JP 7399210 B2 JP7399210 B2 JP 7399210B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- iris
- image
- pose
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 131
- 238000012545 processing Methods 0.000 title claims description 54
- 210000001508 eye Anatomy 0.000 title description 373
- 238000005259 measurement Methods 0.000 claims description 30
- 210000001747 pupil Anatomy 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 9
- 210000000554 iris Anatomy 0.000 description 195
- 230000011218 segmentation Effects 0.000 description 24
- 230000008569 process Effects 0.000 description 16
- 210000003786 sclera Anatomy 0.000 description 12
- 210000000744 eyelid Anatomy 0.000 description 11
- 230000000284 resting effect Effects 0.000 description 8
- 210000004204 blood vessel Anatomy 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 210000003128 head Anatomy 0.000 description 7
- 230000004424 eye movement Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000001179 pupillary effect Effects 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
- Medical Preparation Storing Or Oral Administration Devices (AREA)
- Pharmaceuticals Containing Other Organic And Inorganic Compounds (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Collating Specific Patterns (AREA)
Description
本願は、2015年10月16日に出願され、“EYE POSE IDENTIFICATION USING EYE FEATURES”と題された米国仮出願第62/242,838号に対する35 U.S.C. § 119(e)のもとでの優先権の利益を主張するものである。
(分野)
本開示は、概して、眼画像を処理するためのシステムおよび方法に関する。
人間の虹彩は、バイオメトリック情報の源として使用されることができる。バイオメトリック情報は、個人の認証または識別を提供することができる。広くバイオメトリックテンプレートと呼ばれる、バイオメトリック情報を抽出するプロセスは、典型的には、多くの課題を有する。
(項目1)
眼画像を処理するための方法であって、前記方法は、
ハードウェアコンピュータプロセッサの制御下で、
前記眼の瞳孔および縁郭境界を取得するために、眼画像内の眼の虹彩をセグメント化するステップと、
前記眼の瞳孔および縁郭境界を使用して、第1の眼ポーズ測定値の2つの角座標を判定するステップと
前記眼の虹彩特徴を識別するステップと、
前記識別された虹彩特徴を使用して、前記第1の眼ポーズ測定値の第3の角座標を判定するステップと、
画像の表示またはバイオメトリック用途のために、前記第1の眼ポーズ測定値を利用するステップと、
を含む、方法。
(項目2)
前記眼の虹彩特徴を識別するステップは、前記虹彩特徴に関する記述子を判定するステップを含み、前記記述子は、前記虹彩特徴の数値表現を含む、項目1に記載の方法。
(項目3)
前記第3の角座標を判定するステップは、特徴ベースの追跡技法、コードベースの追跡技法、またはそれらの組み合わせを使用して、前記第3の角座標を判定するステップを含む、項目1に記載の方法。
(項目4)
前記第3の角座標を判定するステップは、少なくとも部分的に、前記虹彩特徴に基づいて、前記眼画像と基準眼画像との間のホモグラフィを判定するステップを含む、項目1に記載の方法。
(項目5)
前記第3の角座標を判定するステップは、少なくとも部分的に、前記虹彩特徴に基づいて、前記眼画像から生成される虹彩コードと基準眼画像から生成される虹彩コードとの間の偏移を判定するステップを含む、項目1-4のうちのいずれか1項に記載の方法。
(項目6)
前記虹彩特徴は、異なるテクスチャ、前記虹彩内のパターン、または前記虹彩のキーポイントを伴う虹彩の面積を含む、項目1に記載の方法。
(項目7)
前記第1の眼ポーズ測定値は、ユーザの第1の眼に関して判定され、第2の眼ポーズ測定値は、前記ユーザの第2の眼に関して判定され、前記第1の眼ポーズ測定値および前記第2の眼ポーズ測定値の平均が、前記ユーザの眼ポーズの単一の推定値として使用される、項目1に記載の方法。
(項目8)
ヘッドマウントディスプレイシステムであって、
眼画像を捕捉するように構成される、画像捕捉デバイスと、
ハードウェアプロセッサであって、
前記画像捕捉デバイスから前記眼画像を受信することと、
少なくとも部分的に、前記眼画像に基づいて、前記眼のピッチおよびヨーを判定することと、
少なくとも部分的に、前記眼画像内の眼特徴に基づいて、前記眼のロールを判定することと、
少なくとも部分的に、前記ピッチ、前記ヨー、および前記ロールに基づいて、前記眼画像の眼ポーズを判定することと
を行うようにプログラムされる、ハードウェアプロセッサと、
を備える、ヘッドマウントディスプレイシステム。
(項目9)
前記眼のロールを判定するために、前記ハードウェアプロセッサは、前記眼画像と基準眼画像との間のホモグラフィを判定するようにプログラムされる、項目8に記載のヘッドマウントディスプレイシステム。
(項目10)
前記眼のロールを判定するために、前記ハードウェアプロセッサは、前記眼画像の極座標表現を利用するようにプログラムされる、項目8に記載のヘッドマウントディスプレイシステム。
(項目11)
前記眼のロールを判定するために、前記ハードウェアプロセッサは、前記眼画像の虹彩コードを基準眼画像からの虹彩コードと比較するようにプログラムされる、項目8に記載のヘッドマウントディスプレイシステム。
(項目12)
前記ハードウェアプロセッサはさらに、前記眼画像の眼ポーズを使用して、前記眼のバイオメトリックデータを判定するようにプログラムされる、項目8に記載のヘッドマウントディスプレイシステム。
(項目13)
前記眼特徴は、虹彩特徴を含み、前記虹彩特徴は、前記虹彩内のテクスチャ、パターン、またはキーポイントを含む、項目8に記載のヘッドマウントディスプレイシステム。
(項目14)
前記眼特徴は、強膜特徴を含み、前記強膜特徴は、血管を含む、項目8-13のうちのいずれか1項に記載のヘッドマウントディスプレイシステム。
(項目15)
前記プロセッサはさらに、前記眼画像内の前記眼の虹彩をセグメント化するようにプログラムされる、項目8に記載のヘッドマウントディスプレイシステム。
(項目16)
ヘッドマウントディスプレイ(HMD)の動作におけるエラーを検出するための方法であって、前記方法は、
ハードウェアコンピュータプロセッサの制御下で、
前記HMDの装着者の第1の眼の第1のロール角を判定するステップと、
前記HMDの装着者の第2の眼の第2のロール角を判定するステップと、
少なくとも部分的に、前記第1のロール角および前記第2のロール角の比較に基づいて、前記ヘッドマウントディスプレイ動作の動作におけるエラーを検出するステップと、
を含む、方法。
(項目17)
前記ヘッドマウントディスプレイの動作におけるエラーを検出するステップは、前記第1のロール角と前記第2のロール角との間の差異が、あるエラー閾値を超えることを判定するステップを含む、項目16に記載の方法。
(項目18)
前記検出されたエラーに基づいて、エラー信号を生成するステップをさらに含む、項目16に記載の方法。
(項目19)
前記ヘッドマウントディスプレイ動作の動作におけるエラーを検出するステップは、前記複数の眼画像内のロール角に関する平均値を追跡するステップを含む、項目16に記載の方法。
(項目20)
前記第1のロール角を判定するステップまたは前記第2のロール角を判定するステップは、特徴ベースの追跡技法、コードベースの追跡技法、またはそれらの組み合わせを使用して、前記第1のロール角を判定するステップまたは前記第2のロール角を判定するステップを含む、項目16-19のうちのいずれか1項に記載の方法。
眼からバイオメトリック情報を抽出するステップは、概して、眼画像内の虹彩のセグメント化に関するプロシージャを含む。虹彩セグメント化は、虹彩の瞳孔および縁郭境界を見出すステップ、上眼瞼または下眼瞼が虹彩を閉塞する場合、それらを位置特定するステップ、睫毛、陰影、または反射の閉塞を検出および除外するステップ等を含む、虹彩境界を位置特定するステップを含む動作を伴うことができる。例えば、眼画像は、顔の画像内に含まれることができる、または眼周囲領域の画像であり得る。虹彩セグメント化を実施するために、瞳孔(虹彩の内部境界)および縁郭(虹彩の外部境界)の両方の境界が、画像データの別個のセグメントとして識別されることができる。
(眼の実施例)
図1は、眼瞼104、強膜108、虹彩112、および瞳孔116を伴う、眼100の画像を図示する。曲線116aは、瞳孔116と虹彩112との間の瞳孔境界を示し、曲線112aは、虹彩112と強膜108(眼の「白眼」)との間の縁郭境界を示す。眼瞼104は、上眼瞼104aと、下眼瞼104bとを含む。眼100は、自然静止ポーズ(例えば、ユーザの顔および注視の両方が、それらがユーザの直前の遠隔の物体に向かうであろうように配向される)において図示される。眼100の自然静止ポーズは、自然静止方向120によって示されることができ、これは、自然静止ポーズにあるとき、眼100の表面に直交する(例えば、図1に示される眼100に対する平面から真っ直ぐな)方向であり、本実施例では、瞳孔116内の中心に置かれる。
(特徴ベースの追跡を用いた眼ポーズ識別の実施例)
図2A-2Bは、虹彩特徴を使用する例示的眼ポーズ識別システムを図式的に図示する。より具体的には、図2A-2Bは、眼ポーズ識別に関する特徴ベースの追跡技法を図示する。描写される実施例は、セグメント化された虹彩を示す。図2Aに描写されるように、虹彩特徴124aが、虹彩112および瞳孔116を伴う眼内に識別される。曲線116aは、瞳孔116と虹彩112との間の瞳孔境界を示し、曲線112aは、虹彩112と強膜との間の縁郭境界を示す。上記に説明されるように、虹彩特徴124aは、例えば、セグメント化された虹彩の面積から算出されるような数値表現と関連付けられることができる。
(コードベースの追跡を用いた眼ポーズ識別の実施例)
図3A-3Bは、眼の眼ポーズを識別するための虹彩コード識別技法の実施例を図式的に図示する。本実施例は、図1の虹彩特徴124a等の虹彩特徴を使用するコードベースの追跡技法を図示する。図3Aに描写されるように、静止ポーズにおける(例えば、真っ直ぐ正面を見る)眼の画像304aが、虹彩特徴124a1を含むことができる。図3Bに描写されるように、画像304bは、量308aだけの眼のロール角の変化を示し、これは、画像304b内の虹彩特徴124a1を、静止ポーズ画像304a1のその角度位置に対して角度偏移させる。例えば、画像304a内の虹彩特徴124a1は、角度308aだけ角度位置において偏移され、画像304b内で偏移された虹彩特徴124a2として出現する。画像304bは、静止視点から(例えば、眼が真っ直ぐ正面を見ているように)示され、これは、上記に説明されるヨーおよびピッチ角を使用して達成されることができる。
(例示的眼ポーズ推定ルーチン)
図4は、上記に説明されるFBTおよびCBT技法の実施形態を使用して眼ポーズを測定するための例証的ルーチン400のフロー図400である。ルーチン400は、ブロック404において開始される。ブロック408において、眼画像が、受信される。眼画像は、限定ではないが、画像捕捉デバイス、ヘッドマウントディスプレイシステム、サーバ、非一過性コンピュータ可読媒体、またはクライアントコンピューティングデバイス(例えば、スマートフォン)を含む、種々の源から受信されることができる。
(ヘッドマウントディスプレイエラー回転ルーチンの実施例)
種々の実施形態では、装着者の頭部に対するヘッドマウントディスプレイの回転を判定するためのルーチンが、(眼ポーズが虹彩特徴から識別される)ルーチン400と同様に実施されることができる。典型的には、装着者の各眼の角度ロールは、実質的に同一である。ウェアラブルヘッドマウントディスプレイの場合では、装着者の頭部に対するHMDの回転は、装着者の眼毎に多少異なる眼ロールをもたらし得る。故に、眼毎の角度ロール測定値がある閾値を上回って異なる場合、エラー信号が、エラーがウェアラブルヘッドマウントディスプレイに起きたことを示すために生成されることができる。例えば、種々の実施形態では、閾値は、1~5度、5~10度、またはある他の回転量であり得る。
(眼ポーズ識別の例示的用途)
眼ポーズ識別を使用するシステムおよび方法は、ビデオ画像の文脈内で対処されると、画像処理における古典的問題の多くが改善されることを可能にする。加えて、新しい問題が、対処されることができる。例えば、眼ポーズ識別は、ビデオからの画像分類(例えば、眼の虹彩を識別すること)のために、およびビデオの1つまたはそれを上回るフレーム内の具体的物体タイプ(例えば、上眼瞼の場所)の位置特定のために使用されることができる。別の実施例として、眼ポーズ識別は、眼追跡の用途(例えば、眼の配向または方向を判定すること)のためにビデオに適用されることができる。
(眼ポーズ識別を使用する例示的ウェアラブルディスプレイシステム)
いくつかの実施形態では、ディスプレイシステムは、ウェアラブルであり得、これは、有利なこととして、より没入型の仮想現実(VR)、拡張現実(AR)、または複合現実(MR)体験を提供し得、デジタル的に再現された画像またはその一部が、それらが現実のように見える、または現実として知覚され得る様式で装着者に提示される。
(付加的側面)
本明細書に説明される眼ポーズ識別技法は、(例えば、ビデオフレームからの)画像に適用されることができる。眼ポーズ識別は、眼の画像を処理するための単一のプロセスおよび/または方法論としてともに見なされることができる。
(結論)
本明細書に説明される、および/または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
Claims (12)
- ヘッドマウントディスプレイシステムの装着者の眼の眼画像を処理するための方法であって、前記方法は、
ハードウェアコンピュータプロセッサの制御下で、
前記眼の前記眼画像にアクセスすることであって、前記眼画像は、前記ヘッドマウントディスプレイシステムのカメラを使用して捕捉される、ことと、
前記眼画像内の前記眼の瞳孔境界および縁郭境界を取得するために、前記眼の虹彩をセグメント化することと、
前記眼の前記瞳孔境界および縁郭境界を使用して、前記眼画像の透視変換に基づいて、第1の眼ポーズ測定値の前記眼のヨー軸の周りのヨーおよび前記眼のピッチ軸の周りのピッチを判定することと、
前記眼の虹彩特徴を識別することと、
前記眼画像と基準眼画像との間の前記虹彩特徴の角度位置の変化に基づいて、前記第1の眼ポーズ測定値の前記眼のロール軸の周りのロールを判定することと
を行うことを含み、
前記ロール軸は、前記眼の瞳孔内の中心に位置し、自然静止ポーズにあるときに前記眼の表面に直交する方向にあり、
前記基準眼画像において、前記眼は前記自然静止ポーズにある、方法。 - 前記眼の前記虹彩特徴を識別することは、前記虹彩特徴に関する記述子を判定することを含み、前記記述子は、前記虹彩特徴の数値表現を含む、請求項1に記載の方法。
- 前記眼の前記ロールを判定することは、前記眼画像および前記基準眼画像内の前記虹彩特徴の位置を追跡する特徴ベースの追跡技法、前記眼画像から生成される虹彩コードと前記基準眼画像から生成される虹彩コードとの間の偏移量を追跡するコードベースの追跡技法、またはそれらの組み合わせを使用して、前記眼の前記ロールを判定することを含む、請求項1に記載の方法。
- 前記眼の前記ロールは、少なくとも前記虹彩特徴に基づいて、前記眼画像内の前記虹彩特徴の位置を前記基準眼画像内の前記虹彩特徴の位置に関連付けるホモグラフィを判定することによって判定される、請求項1に記載の方法。
- 前記眼の前記ロールは、少なくとも前記虹彩特徴に基づいて、前記眼画像から生成される虹彩コードと前記基準眼画像から生成される虹彩コードとの間の偏移量を判定することによって判定される、請求項1に記載の方法。
- 前記虹彩特徴は、異なるテクスチャ、前記虹彩内のパターン、または前記虹彩のキーポイントを伴う虹彩の面積を含む、請求項1に記載の方法。
- 前記第1の眼ポーズ測定値は、ユーザの第1の眼に関して判定され、第2の眼ポーズ測定値は、前記ユーザの第2の眼に関して判定され、前記第1の眼ポーズ測定値および前記第2の眼ポーズ測定値の平均が、前記ユーザの眼ポーズの単一の推定値として使用される、請求項1に記載の方法。
- 前記眼画像から、前記眼の前記虹彩にわたる前記眼の眼瞼による閉塞の1つまたは複数の予測された面積を識別することをさらに含む、請求項1に記載の方法。
- 前記ヘッドマウントディスプレイシステムの前記装着者に関するバイオメトリック識別情報を判定するために前記第1の眼ポーズ測定値を利用することをさらに含む、請求項1に記載の方法。
- 前記ヘッドマウントディスプレイシステムは、前記ヘッドマウントディスプレイシステムの前記装着者に仮想画像情報を提供するためのディスプレイを含む、請求項1に記載の方法。
- 前記第1の眼ポーズ測定値は、前記眼が前記ディスプレイを通して見ている方向を含む、請求項10に記載の方法。
- 少なくとも前記眼の前記ロールに基づいて前記眼に対する前記カメラの場所を判定することをさらに含み、前記眼の前記ロールは、前記カメラのポーズの変化に対応する、請求項1に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562242838P | 2015-10-16 | 2015-10-16 | |
US62/242,838 | 2015-10-16 | ||
JP2020196686A JP7136875B2 (ja) | 2015-10-16 | 2020-11-27 | 眼の特徴を用いる眼ポーズ識別 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020196686A Division JP7136875B2 (ja) | 2015-10-16 | 2020-11-27 | 眼の特徴を用いる眼ポーズ識別 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022095879A JP2022095879A (ja) | 2022-06-28 |
JP2022095879A5 JP2022095879A5 (ja) | 2022-09-14 |
JP7399210B2 true JP7399210B2 (ja) | 2023-12-15 |
Family
ID=58517818
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018519055A Active JP6885935B2 (ja) | 2015-10-16 | 2016-10-12 | 眼の特徴を用いる眼ポーズ識別 |
JP2020196686A Active JP7136875B2 (ja) | 2015-10-16 | 2020-11-27 | 眼の特徴を用いる眼ポーズ識別 |
JP2022066237A Active JP7399210B2 (ja) | 2015-10-16 | 2022-04-13 | ヘッドマウントディスプレイシステムの装着者の眼の眼画像を処理するための方法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018519055A Active JP6885935B2 (ja) | 2015-10-16 | 2016-10-12 | 眼の特徴を用いる眼ポーズ識別 |
JP2020196686A Active JP7136875B2 (ja) | 2015-10-16 | 2020-11-27 | 眼の特徴を用いる眼ポーズ識別 |
Country Status (10)
Country | Link |
---|---|
US (3) | US10163010B2 (ja) |
EP (2) | EP3362946B1 (ja) |
JP (3) | JP6885935B2 (ja) |
KR (1) | KR20180072734A (ja) |
CN (2) | CN114140867A (ja) |
AU (2) | AU2016340222B2 (ja) |
CA (2) | CA3170014A1 (ja) |
IL (3) | IL297610B2 (ja) |
NZ (1) | NZ741863A (ja) |
WO (1) | WO2017066296A1 (ja) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2016310452B2 (en) | 2015-08-21 | 2021-04-22 | Magic Leap, Inc. | Eyelid shape estimation |
US10146997B2 (en) | 2015-08-21 | 2018-12-04 | Magic Leap, Inc. | Eyelid shape estimation using eye pose measurement |
AU2016340222B2 (en) | 2015-10-16 | 2021-07-01 | Magic Leap, Inc. | Eye pose identification using eye features |
CN105954992B (zh) * | 2016-07-22 | 2018-10-30 | 京东方科技集团股份有限公司 | 显示系统和显示方法 |
WO2018089691A1 (en) | 2016-11-11 | 2018-05-17 | Magic Leap, Inc. | Periocular and audio synthesis of a full face image |
AU2017430168A1 (en) * | 2017-09-01 | 2020-02-20 | Magic Leap, Inc. | Detailed eye shape model for robust biometric applications |
US10521661B2 (en) | 2017-09-01 | 2019-12-31 | Magic Leap, Inc. | Detailed eye shape model for robust biometric applications |
JP7344894B2 (ja) * | 2018-03-16 | 2023-09-14 | マジック リープ, インコーポレイテッド | 眼追跡カメラからの顔の表情 |
US11067805B2 (en) * | 2018-04-19 | 2021-07-20 | Magic Leap, Inc. | Systems and methods for operating a display system based on user perceptibility |
FR3081072B1 (fr) * | 2018-05-09 | 2020-04-17 | Idemia Identity & Security France | Procede de reconnaissance biometrique a partir des iris |
CN108732764B (zh) * | 2018-06-06 | 2024-05-31 | 北京七鑫易维信息技术有限公司 | 一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质 |
WO2019234575A1 (en) * | 2018-06-08 | 2019-12-12 | Alcon Inc. | System and method for automatic torsion correction in diagnostic ophthalmic measurements |
US11074675B2 (en) * | 2018-07-31 | 2021-07-27 | Snap Inc. | Eye texture inpainting |
CN110603513B (zh) * | 2018-08-27 | 2023-08-29 | 深圳市汇顶科技股份有限公司 | 一种眼睛跟踪设备及利用光学成像跟踪眼睛的方法 |
WO2020042843A1 (en) * | 2018-08-27 | 2020-03-05 | Shenzhen GOODIX Technology Co., Ltd. | Eye tracking based on imaging eye features and assistance of structured illumination probe light |
US11103763B2 (en) | 2018-09-11 | 2021-08-31 | Real Shot Inc. | Basketball shooting game using smart glasses |
US11141645B2 (en) | 2018-09-11 | 2021-10-12 | Real Shot Inc. | Athletic ball game using smart glasses |
JP7093418B2 (ja) * | 2018-09-20 | 2022-06-29 | 富士フイルム株式会社 | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
WO2020137162A1 (ja) * | 2018-12-28 | 2020-07-02 | 富士フイルム株式会社 | 超音波診断装置および超音波診断装置の制御方法 |
IL264530B1 (en) * | 2019-01-29 | 2024-03-01 | Eyeway Vision Ltd | Device for tracking eye movement and method therefor |
EP3931666A4 (en) | 2019-03-22 | 2022-10-12 | Hewlett-Packard Development Company, L.P. | COLLECTION OF EYE MEASUREMENTS |
US11686941B2 (en) * | 2019-05-17 | 2023-06-27 | Magic Leap, Inc. | Methods and apparatuses for corner detection using neural network and corner detector |
CN111986097B (zh) * | 2019-05-24 | 2024-02-09 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
WO2021050329A1 (en) * | 2019-09-09 | 2021-03-18 | Apple Inc. | Glint-based gaze tracking using directional light sources |
CN115053270A (zh) | 2019-12-09 | 2022-09-13 | 奇跃公司 | 用于基于用户身份来操作头戴式显示系统的系统和方法 |
US10860098B1 (en) | 2019-12-30 | 2020-12-08 | Hulu, LLC | Gesture-based eye tracking |
CN111158492B (zh) * | 2019-12-31 | 2021-08-06 | 维沃移动通信有限公司 | 视频剪辑方法及头戴式设备 |
CN111507208B (zh) * | 2020-03-30 | 2021-06-25 | 中国科学院上海微系统与信息技术研究所 | 一种基于巩膜识别的身份验证方法、装置、设备和介质 |
US11012677B1 (en) * | 2020-06-15 | 2021-05-18 | Microsoft Technology Licensing, Llc | Systems and methods for correcting rolling shutter artifacts |
CN112446302B (zh) * | 2020-11-05 | 2023-09-19 | 杭州易现先进科技有限公司 | 一种人体姿态检测方法、系统、电子设备和存储介质 |
CN116052261A (zh) * | 2022-05-31 | 2023-05-02 | 荣耀终端有限公司 | 视线估计方法及电子设备 |
CN117809357A (zh) * | 2023-12-26 | 2024-04-02 | 北京极溯光学科技有限公司 | 一种眼球模型的确定方法、装置及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002064031A2 (en) | 2001-02-09 | 2002-08-22 | Sensomotoric Instruments Gmbh | Multidimensional eye tracking and position measurement system |
US20080002262A1 (en) | 2006-06-29 | 2008-01-03 | Anthony Chirieleison | Eye tracking head mounted display |
US20080253622A1 (en) | 2006-09-15 | 2008-10-16 | Retica Systems, Inc. | Multimodal ocular biometric system and methods |
Family Cites Families (189)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1992002000A1 (en) | 1990-07-17 | 1992-02-06 | British Telecommunications Public Limited Company | A method of processing an image |
US5291560A (en) | 1991-07-15 | 1994-03-01 | Iri Scan Incorporated | Biometric personal identification system based on iris analysis |
US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
US5481479A (en) | 1992-12-10 | 1996-01-02 | Loral Fairchild Corp. | Nonlinear scanning to optimize sector scan electro-optic reconnaissance system performance |
US6095989A (en) | 1993-07-20 | 2000-08-01 | Hay; Sam H. | Optical recognition methods for locating eyes |
US6463176B1 (en) | 1994-02-02 | 2002-10-08 | Canon Kabushiki Kaisha | Image recognition/reproduction method and apparatus |
US6128398A (en) * | 1995-01-31 | 2000-10-03 | Miros Inc. | System, method and application for the recognition, verification and similarity ranking of facial or other object patterns |
US5583795A (en) | 1995-03-17 | 1996-12-10 | The United States Of America As Represented By The Secretary Of The Army | Apparatus for measuring eye gaze and fixation duration, and method therefor |
US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
US5774591A (en) | 1995-12-15 | 1998-06-30 | Xerox Corporation | Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images |
US5689619A (en) * | 1996-08-09 | 1997-11-18 | The United States Of America As Represented By The Secretary Of The Army | Eyetracker control of heads-up displays |
US6154559A (en) | 1998-10-01 | 2000-11-28 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | System for classifying an individual's gaze direction |
ATE259571T1 (de) | 1999-07-13 | 2004-02-15 | Surgivision Ltd | Stereoskopische videobetrachtung und bildvergrösserungssystem |
AUPQ896000A0 (en) | 2000-07-24 | 2000-08-17 | Seeing Machines Pty Ltd | Facial image processing system |
US6999612B1 (en) * | 2000-08-31 | 2006-02-14 | Nec Laboratories America, Inc. | Method for recovering 3D scene structure and camera motion directly from image intensities |
KR100374707B1 (ko) * | 2001-03-06 | 2003-03-04 | 에버미디어 주식회사 | 도비치스 웨이블렛 변환을 이용한 홍채인식방법 |
FR2831302A1 (fr) * | 2001-10-19 | 2003-04-25 | St Microelectronics Sa | Codage d'informations concentriques |
US7505604B2 (en) | 2002-05-20 | 2009-03-17 | Simmonds Precision Prodcuts, Inc. | Method for detection and recognition of fog presence within an aircraft compartment using video images |
JP3984191B2 (ja) | 2002-07-08 | 2007-10-03 | 株式会社東芝 | 仮想化粧装置及びその方法 |
JP4128837B2 (ja) | 2002-09-30 | 2008-07-30 | 佐藤 淳 | 路面走行レーン検出装置 |
EP1613215B8 (en) * | 2003-04-11 | 2011-09-14 | Bausch & Lomb Incorporated | System and method for acquiring data of an eye |
EP1647936B1 (en) * | 2003-07-17 | 2012-05-30 | Panasonic Corporation | Iris code generation method, individual authentication method, iris code entry device, individual authentication device, and individual certification program |
US20050027386A1 (en) | 2003-07-30 | 2005-02-03 | Michele Weigand | Decentralized project management system |
US7664322B1 (en) | 2003-08-11 | 2010-02-16 | Adobe Systems Incorporated | Feature-based color adjustment |
US8098901B2 (en) * | 2005-01-26 | 2012-01-17 | Honeywell International Inc. | Standoff iris recognition system |
US7756301B2 (en) | 2005-01-26 | 2010-07-13 | Honeywell International Inc. | Iris recognition system and method |
US7593550B2 (en) | 2005-01-26 | 2009-09-22 | Honeywell International Inc. | Distance iris recognition |
US8090157B2 (en) | 2005-01-26 | 2012-01-03 | Honeywell International Inc. | Approaches and apparatus for eye detection in a digital image |
KR20050025927A (ko) * | 2003-09-08 | 2005-03-14 | 유웅덕 | 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법 |
US7524064B2 (en) | 2004-03-09 | 2009-04-28 | Research Foundation Of The State University Of New York | Apparatus and method for assessing retinal damage |
JP4506250B2 (ja) | 2004-04-12 | 2010-07-21 | 日産自動車株式会社 | 上瞼検出装置 |
JP2005334402A (ja) * | 2004-05-28 | 2005-12-08 | Sanyo Electric Co Ltd | 認証方法および認証装置 |
USD514570S1 (en) | 2004-06-24 | 2006-02-07 | Microsoft Corporation | Region of a fingerprint scanning device with an illuminated ring |
US8248458B2 (en) | 2004-08-06 | 2012-08-21 | University Of Washington Through Its Center For Commercialization | Variable fixation viewing distance scanned light displays |
JP4529635B2 (ja) | 2004-10-22 | 2010-08-25 | 日産自動車株式会社 | 開閉眼判定装置 |
JP3686418B2 (ja) | 2004-10-29 | 2005-08-24 | アレイ株式会社 | 計測装置およびその方法 |
JP4449723B2 (ja) | 2004-12-08 | 2010-04-14 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US7746235B2 (en) | 2005-03-10 | 2010-06-29 | Delphi Technologies, Inc. | System and method of detecting eye closure based on line angles |
WO2006108017A2 (en) * | 2005-04-04 | 2006-10-12 | Lc Technologies, Inc. | Explicit raytracing for gimbal-based gazepoint trackers |
JP5008269B2 (ja) * | 2005-04-08 | 2012-08-22 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
US7327860B2 (en) | 2005-05-04 | 2008-02-05 | West Virginia University | Conjunctival scans for personal identification |
JP2007011667A (ja) * | 2005-06-30 | 2007-01-18 | Matsushita Electric Ind Co Ltd | 虹彩認証装置および虹彩認証方法 |
JP4664147B2 (ja) * | 2005-07-29 | 2011-04-06 | 株式会社山武 | 虹彩認証装置 |
WO2007025258A2 (en) * | 2005-08-25 | 2007-03-01 | Sarnoff Corporation | Methods and systems for biometric identification |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
KR100651753B1 (ko) | 2005-11-19 | 2006-12-01 | 한국전자통신연구원 | 객체의 대칭 특성과 모멘트 특성을 이용한 눈 검출 방법 및그 장치 |
US11090190B2 (en) | 2013-10-15 | 2021-08-17 | Lensar, Inc. | Iris registration method and system |
US10709610B2 (en) | 2006-01-20 | 2020-07-14 | Lensar, Inc. | Laser methods and systems for addressing conditions of the lens |
KR101299074B1 (ko) | 2006-03-03 | 2013-08-30 | 허니웰 인터내셔널 인코포레이티드 | 홍채 인코딩 시스템 |
WO2008016724A2 (en) | 2006-03-03 | 2008-02-07 | Honeywell International, Inc. | An iris recognition system having image quality metrics |
US8077914B1 (en) * | 2006-08-07 | 2011-12-13 | Arkady Kaplan | Optical tracking apparatus using six degrees of freedom |
US7682026B2 (en) | 2006-08-22 | 2010-03-23 | Southwest Research Institute | Eye location and gaze detection system and method |
US8433103B2 (en) * | 2006-09-15 | 2013-04-30 | Identix Incorporated | Long distance multimodal biometric system and method |
US7970179B2 (en) * | 2006-09-25 | 2011-06-28 | Identix Incorporated | Iris data extraction |
JP4650386B2 (ja) * | 2006-09-29 | 2011-03-16 | 沖電気工業株式会社 | 個人認証システム及び個人認証方法 |
US8233672B2 (en) * | 2007-06-11 | 2012-07-31 | Matos Jeffrey A | Apparatus and method for verifying the identity of an author |
JP4895797B2 (ja) | 2006-12-26 | 2012-03-14 | アイシン精機株式会社 | 瞼検出装置、瞼検出方法及びプログラム |
JP4309927B2 (ja) | 2007-03-14 | 2009-08-05 | 株式会社豊田中央研究所 | まぶた検出装置及びプログラム |
JP4309928B2 (ja) | 2007-03-15 | 2009-08-05 | アイシン精機株式会社 | 瞼検出装置、瞼検出方法、及び、プログラム |
JP4307496B2 (ja) | 2007-03-19 | 2009-08-05 | 株式会社豊田中央研究所 | 顔部位検出装置及びプログラム |
WO2008142740A1 (ja) | 2007-04-16 | 2008-11-27 | Fujitsu Limited | 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム |
FR2915301A1 (fr) | 2007-04-20 | 2008-10-24 | Groupe Ecoles Telecomm | Procede de comparaison d'images d'une biometrie entre au moi ns une image de reference et au moins une image de test dont on cherche a evaluer un degre de correlation avec l'image d e reference |
CN101681432B (zh) | 2007-05-01 | 2013-11-06 | 计算机连接管理中心公司 | 图片文档分割方法和系统 |
WO2009041963A1 (en) | 2007-09-24 | 2009-04-02 | University Of Notre Dame Du Lac | Iris recognition using consistency information |
JP5097514B2 (ja) | 2007-11-22 | 2012-12-12 | 国立大学法人東京工業大学 | ワイヤ電極式イオナイザ |
US20090252382A1 (en) | 2007-12-06 | 2009-10-08 | University Of Notre Dame Du Lac | Segmentation of iris images using active contour processing |
DE102008003906B4 (de) * | 2008-01-10 | 2009-11-26 | Rodenstock Gmbh | Verwendung eines Fixationstargets und Vorrichtung |
JP2009169745A (ja) | 2008-01-17 | 2009-07-30 | Toyota Motor Corp | 閉眼検出装置 |
JP5262243B2 (ja) | 2008-03-31 | 2013-08-14 | アイシン精機株式会社 | 眼開閉判別装置、及びプログラム |
US7883071B2 (en) | 2008-05-21 | 2011-02-08 | Raytheon Company | Methods and apparatus for isolation system |
ATE484804T1 (de) * | 2008-06-25 | 2010-10-15 | Deutsche Telekom Ag | System zur extraktion, identifizierung und überprüfung von irismerkmalen auf der basis von directionlets |
WO2010011785A1 (en) | 2008-07-23 | 2010-01-28 | Indiana University Research & Technology Corporation | System and method for a non-cooperative iris image acquisition system |
JP2010033305A (ja) | 2008-07-29 | 2010-02-12 | Hitachi Ltd | 画像情報処理方法、及び装置 |
US8345922B2 (en) | 2008-09-03 | 2013-01-01 | Denso Corporation | Apparatus for detecting a pupil, program for the same, and method for detecting a pupil |
WO2010129074A1 (en) * | 2009-01-14 | 2010-11-11 | Indiana University Research & Technology Corporation | System and method for identifying a person with reference to a sclera image |
JP5387007B2 (ja) | 2009-01-22 | 2014-01-15 | 日本電気株式会社 | 画像処理装置、生体認証装置、画像処理方法及びプログラム |
JP5221436B2 (ja) | 2009-04-02 | 2013-06-26 | トヨタ自動車株式会社 | 顔特徴点検出装置及びプログラム |
US8693745B2 (en) | 2009-05-04 | 2014-04-08 | Duke University | Methods and computer program products for quantitative three-dimensional image correction and clinical parameter computation in optical coherence tomography |
US8472681B2 (en) | 2009-06-15 | 2013-06-25 | Honeywell International Inc. | Iris and ocular recognition system using trace transforms |
BRPI0924541A2 (pt) | 2009-06-16 | 2014-02-04 | Intel Corp | Aplicações de câmera em um dispositivo portátil |
CN101692980B (zh) | 2009-10-30 | 2011-06-08 | 深圳市汉华安道科技有限责任公司 | 疲劳驾驶检测方法及装置 |
US8403479B2 (en) | 2009-12-17 | 2013-03-26 | Johnson & Johnson Vision Care, Inc. | Contact lens eye model |
US8948467B2 (en) * | 2010-08-06 | 2015-02-03 | Honeywell International Inc. | Ocular and iris processing system and method |
US9092371B2 (en) | 2010-09-02 | 2015-07-28 | The Aerospace Corporation | Signal parameter estimator |
KR101697181B1 (ko) * | 2010-09-07 | 2017-01-17 | 삼성전자주식회사 | 사용자의 시선 추적을 이용한 영상 처리 장치 및 방법 |
DE102011054833A1 (de) * | 2010-10-29 | 2012-05-03 | Hoya Corp. | Verfahren zum Messen der binokularen Sehleistung, Programm zum Messen der binokularen Sehleistung, Verfahren zum Entwerfen von Brillengläsern und Verfahren zur Herstellung von Brillengläsern |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
US8408706B2 (en) * | 2010-12-13 | 2013-04-02 | Microsoft Corporation | 3D gaze tracker |
AU2011348122A1 (en) | 2010-12-24 | 2013-07-11 | Magic Leap Inc. | An ergonomic head mounted display device and optical system |
US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
JP4893863B1 (ja) | 2011-03-11 | 2012-03-07 | オムロン株式会社 | 画像処理装置、および画像処理方法 |
JP4893862B1 (ja) | 2011-03-11 | 2012-03-07 | オムロン株式会社 | 画像処理装置、および画像処理方法 |
US20140043229A1 (en) * | 2011-04-07 | 2014-02-13 | Nec Casio Mobile Communications, Ltd. | Input device, input method, and computer program |
WO2012144020A1 (ja) | 2011-04-19 | 2012-10-26 | アイシン精機株式会社 | 瞼検出装置、瞼検出方法及びプログラム |
JP5755012B2 (ja) | 2011-04-21 | 2015-07-29 | キヤノン株式会社 | 情報処理装置、その処理方法、プログラム及び撮像装置 |
US8755607B2 (en) * | 2011-04-28 | 2014-06-17 | Sri International | Method of normalizing a digital image of an iris of an eye |
CA2835120C (en) | 2011-05-06 | 2019-05-28 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
US8854491B2 (en) * | 2011-06-05 | 2014-10-07 | Apple Inc. | Metadata-assisted image filters |
WO2012172719A1 (ja) | 2011-06-16 | 2012-12-20 | パナソニック株式会社 | ヘッドマウントディスプレイおよびその位置ずれ調整方法 |
DE112011105441B4 (de) | 2011-07-11 | 2019-11-14 | Toyota Jidosha Kabushiki Kaisha | Augenliderfassungsvorrichtung |
JP5737399B2 (ja) * | 2011-07-11 | 2015-06-17 | トヨタ自動車株式会社 | 赤目判定装置 |
US9213163B2 (en) * | 2011-08-30 | 2015-12-15 | Microsoft Technology Licensing, Llc | Aligning inter-pupillary distance in a near-eye display system |
JP6144681B2 (ja) * | 2011-08-30 | 2017-06-07 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 虹彩スキャン・プロファイリング機能を有する頭部装着ディスプレイ |
KR101962989B1 (ko) * | 2011-09-07 | 2019-03-27 | 노바사이트 리미티드 | 시각 장애를 치료하기 위한 방법 및 시스템 |
US10795448B2 (en) | 2011-09-29 | 2020-10-06 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
IL215883A0 (en) * | 2011-10-24 | 2012-03-01 | Iriss Medical Technologies Ltd | System and method for indentifying eye conditions |
CA3207408A1 (en) | 2011-10-28 | 2013-06-13 | Magic Leap, Inc. | System and method for augmented and virtual reality |
ITVR20110201A1 (it) | 2011-11-02 | 2013-05-03 | Milano Politecnico | Dispositivo per il monitoraggio della posizione e deimovimenti dell'occhio, particolarmente adatto per la radioterapia oculare |
KR102376368B1 (ko) | 2011-11-23 | 2022-03-17 | 매직 립, 인코포레이티드 | 3차원 가상 및 증강 현실 디스플레이 시스템 |
US9135508B2 (en) * | 2011-12-20 | 2015-09-15 | Microsoft Technology Licensing, Llc. | Enhanced user eye gaze estimation |
CN102592260B (zh) | 2011-12-26 | 2013-09-25 | 广州商景网络科技有限公司 | 证照图像裁剪方法及系统 |
US9075453B2 (en) | 2011-12-29 | 2015-07-07 | Khalifa University of Science, Technology & Research (KUSTAR) | Human eye controlled computer mouse interface |
US8913789B1 (en) | 2012-01-06 | 2014-12-16 | Google Inc. | Input methods and systems for eye positioning using plural glints |
US8958599B1 (en) * | 2012-01-06 | 2015-02-17 | Google Inc. | Input method and system based on ambient glints |
JP2013192196A (ja) * | 2012-02-16 | 2013-09-26 | Panasonic Corp | カーソル合成装置およびカーソル合成方法 |
CN102629319B (zh) | 2012-03-27 | 2014-02-19 | 中国科学院自动化研究所 | 基于特定边界检测子的鲁棒虹膜区域分割方法 |
KR102306729B1 (ko) | 2012-04-05 | 2021-09-28 | 매직 립, 인코포레이티드 | 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들 |
US20130321389A1 (en) * | 2012-05-29 | 2013-12-05 | General Electric Company | System and method for 3d imaging |
US10629003B2 (en) | 2013-03-11 | 2020-04-21 | Magic Leap, Inc. | System and method for augmented and virtual reality |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
CN115494654A (zh) | 2012-06-11 | 2022-12-20 | 奇跃公司 | 使用波导反射器阵列投射器的多深度平面三维显示器 |
JP6131540B2 (ja) * | 2012-07-13 | 2017-05-24 | 富士通株式会社 | タブレット端末、操作受付方法および操作受付プログラム |
US9122926B2 (en) | 2012-07-19 | 2015-09-01 | Honeywell International Inc. | Iris recognition using localized Zernike moments |
US9740006B2 (en) | 2012-09-11 | 2017-08-22 | Magic Leap, Inc. | Ergonomic head mounted display device and optical system |
JP6020576B2 (ja) * | 2012-09-19 | 2016-11-02 | 株式会社ニコン | 視線検出装置較正方法、視線情報検出方法、眼鏡レンズ設計方法、眼鏡レンズ選択方法、および、眼鏡レンズ製造方法 |
CN105303772A (zh) | 2012-09-24 | 2016-02-03 | 由田新技股份有限公司 | 瞌睡提醒装置 |
JP5873982B2 (ja) * | 2012-10-09 | 2016-03-01 | パナソニックIpマネジメント株式会社 | 3次元表示装置、3次元画像処理装置および3次元表示方法 |
CN102901970A (zh) | 2012-11-08 | 2013-01-30 | 天津理工大学 | 一种单调制连续波激光测距装置与测距方法 |
US9152847B2 (en) | 2012-11-27 | 2015-10-06 | Adobe Systems Incorporated | Facial landmark localization by exemplar-based graph matching |
US9224036B2 (en) * | 2012-12-20 | 2015-12-29 | Google Inc. | Generating static scenes |
JP6434918B2 (ja) | 2013-01-15 | 2018-12-05 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 超高分解能の走査ファイバディスプレイ |
JP6318462B2 (ja) | 2013-01-30 | 2018-05-09 | 株式会社ニコン | 表示装置 |
CN105027144A (zh) | 2013-02-27 | 2015-11-04 | 汤姆逊许可公司 | 用于无校准注视估计的方法和设备 |
US9179833B2 (en) * | 2013-02-28 | 2015-11-10 | Carl Zeiss Meditec, Inc. | Systems and methods for improved ease and accuracy of gaze tracking |
US9424467B2 (en) * | 2013-03-14 | 2016-08-23 | Disney Enterprises, Inc. | Gaze tracking and recognition with image location |
KR102458124B1 (ko) | 2013-03-15 | 2022-10-21 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
US9335547B2 (en) * | 2013-03-25 | 2016-05-10 | Seiko Epson Corporation | Head-mounted display device and method of controlling head-mounted display device |
CN103164704B (zh) | 2013-04-12 | 2016-05-11 | 山东师范大学 | 一种基于混合高斯模型的虹膜图像分割算法 |
CN103258343B (zh) | 2013-05-07 | 2015-09-16 | 中南大学 | 一种基于图像编辑的眼部图像处理方法 |
US9801539B2 (en) * | 2013-05-23 | 2017-10-31 | Stiftung Caesar—Center Of Advanced European Studies And Research | Ocular Videography System |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
GB201310368D0 (en) * | 2013-06-11 | 2013-07-24 | Sony Comp Entertainment Europe | Head-mountable apparatus and systems |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
JP2015015563A (ja) * | 2013-07-04 | 2015-01-22 | セイコーエプソン株式会社 | 画像表示装置 |
US20150029322A1 (en) * | 2013-07-23 | 2015-01-29 | Qualcomm Incorporated | Method and computations for calculating an optical axis vector of an imaged eye |
US10042994B2 (en) * | 2013-10-08 | 2018-08-07 | Princeton Identity, Inc. | Validation of the right to access an object |
KR102341870B1 (ko) | 2013-10-16 | 2021-12-20 | 매직 립, 인코포레이티드 | 조절가능한 동공간 거리를 가지는 가상 또는 증강 현실 헤드셋들 |
JP2015090569A (ja) | 2013-11-06 | 2015-05-11 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
KR101470243B1 (ko) * | 2013-11-15 | 2014-12-05 | 현대자동차주식회사 | 시선 검출 장치 및 그 시선 검출 방법 |
TWI498769B (zh) * | 2013-11-18 | 2015-09-01 | Quanta Comp Inc | 頭戴式顯示裝置及其登入方法 |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
EP4220999A3 (en) | 2013-11-27 | 2023-08-09 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
EP2886041A1 (en) * | 2013-12-17 | 2015-06-24 | ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) | Method for calibrating a head-mounted eye tracking device |
US20170046813A1 (en) | 2014-01-08 | 2017-02-16 | Nokia Technologies Oy | An apparatus and associated methods for image capture |
US9405122B2 (en) * | 2014-01-29 | 2016-08-02 | Ricoh Co., Ltd | Depth-disparity calibration of a binocular optical augmented reality system |
JP5956479B2 (ja) | 2014-01-29 | 2016-07-27 | 株式会社東芝 | 表示装置及び視線推定装置 |
CA3089749A1 (en) | 2014-01-31 | 2015-08-06 | Magic Leap, Inc. | Multi-focal display system and method |
KR102177133B1 (ko) | 2014-01-31 | 2020-11-10 | 매직 립, 인코포레이티드 | 멀티-포컬 디스플레이 시스템 및 방법 |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
JP2017526078A (ja) | 2014-05-09 | 2017-09-07 | グーグル インコーポレイテッド | 実在および仮想のオブジェクトと対話するための生体力学ベースの眼球信号のためのシステムおよび方法 |
USD759657S1 (en) | 2014-05-19 | 2016-06-21 | Microsoft Corporation | Connector with illumination region |
CA3124368C (en) | 2014-05-30 | 2023-04-25 | Magic Leap, Inc. | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
JP6550642B2 (ja) | 2014-06-09 | 2019-07-31 | パナソニックIpマネジメント株式会社 | 皺検出装置および皺検出方法 |
USD752529S1 (en) | 2014-06-09 | 2016-03-29 | Comcast Cable Communications, Llc | Electronic housing with illuminated region |
EP3154407B1 (en) | 2014-06-16 | 2021-06-02 | Fondation de L'institut de Recherche Idiap | A gaze estimation method and apparatus |
CN104537334B (zh) | 2014-07-08 | 2019-09-10 | 珠海易胜电子技术有限公司 | 一种改善在非理想环境下虹膜识别性能的方法 |
US9563805B2 (en) * | 2014-09-02 | 2017-02-07 | Hong Kong Baptist University | Method and apparatus for eye gaze tracking |
US9798383B2 (en) * | 2014-09-19 | 2017-10-24 | Intel Corporation | Facilitating dynamic eye torsion-based eye tracking on computing devices |
MX2017003776A (es) * | 2014-09-24 | 2018-03-23 | Princeton Identity Inc | Control de la capacidad de un dispositivo de comunicacion inalambrica en un dispositivo movil con una llave biometrica. |
CN104680016A (zh) | 2014-11-05 | 2015-06-03 | 河南科技大学 | 基于几何优化逼近的抛物线轮廓最小区域拟合方法 |
CN104484649B (zh) * | 2014-11-27 | 2018-09-11 | 北京天诚盛业科技有限公司 | 虹膜识别的方法和装置 |
CN104502329B (zh) | 2014-12-28 | 2017-02-22 | 冶金自动化研究设计院 | 一种libs成分分析中元素最优工作曲线的建立方法 |
US9710707B1 (en) * | 2014-12-31 | 2017-07-18 | Morphotrust Usa, Llc | Detecting iris orientation |
US11263794B2 (en) * | 2015-01-21 | 2022-03-01 | Chengdu Idealsee Technology Co., Ltd. | Binocular see-through AR head-mounted display device and information displaying method thereof |
CN104793741A (zh) | 2015-04-03 | 2015-07-22 | 深圳市虚拟现实科技有限公司 | 带眼球跟踪虚拟现实成像系统和方法 |
CN105157563B (zh) | 2015-04-28 | 2016-08-03 | 湖南大学 | 一种基于机器视觉的啤酒瓶口定位方法 |
USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
AU2016310452B2 (en) | 2015-08-21 | 2021-04-22 | Magic Leap, Inc. | Eyelid shape estimation |
US10146997B2 (en) | 2015-08-21 | 2018-12-04 | Magic Leap, Inc. | Eyelid shape estimation using eye pose measurement |
US10082865B1 (en) * | 2015-09-29 | 2018-09-25 | Rockwell Collins, Inc. | Dynamic distortion mapping in a worn display |
AU2016340222B2 (en) * | 2015-10-16 | 2021-07-01 | Magic Leap, Inc. | Eye pose identification using eye features |
US9983709B2 (en) | 2015-11-02 | 2018-05-29 | Oculus Vr, Llc | Eye tracking using structured light |
USD805734S1 (en) | 2016-03-04 | 2017-12-26 | Nike, Inc. | Shirt |
USD794288S1 (en) | 2016-03-11 | 2017-08-15 | Nike, Inc. | Shoe with illuminable sole light sequence |
JP2017182739A (ja) * | 2016-03-31 | 2017-10-05 | 富士通株式会社 | 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム |
US10565433B2 (en) * | 2017-03-30 | 2020-02-18 | George Mason University | Age invariant face recognition using convolutional neural networks and set distances |
US10521661B2 (en) | 2017-09-01 | 2019-12-31 | Magic Leap, Inc. | Detailed eye shape model for robust biometric applications |
-
2016
- 2016-10-12 AU AU2016340222A patent/AU2016340222B2/en active Active
- 2016-10-12 CN CN202111499004.5A patent/CN114140867A/zh active Pending
- 2016-10-12 WO PCT/US2016/056602 patent/WO2017066296A1/en active Application Filing
- 2016-10-12 EP EP16856097.7A patent/EP3362946B1/en active Active
- 2016-10-12 IL IL297610A patent/IL297610B2/en unknown
- 2016-10-12 KR KR1020187013960A patent/KR20180072734A/ko not_active Application Discontinuation
- 2016-10-12 EP EP20186239.8A patent/EP3761232A1/en active Pending
- 2016-10-12 CN CN201680072403.4A patent/CN108369653B/zh active Active
- 2016-10-12 JP JP2018519055A patent/JP6885935B2/ja active Active
- 2016-10-12 CA CA3170014A patent/CA3170014A1/en active Pending
- 2016-10-12 NZ NZ741863A patent/NZ741863A/en unknown
- 2016-10-12 US US15/291,929 patent/US10163010B2/en active Active
- 2016-10-12 CA CA3001682A patent/CA3001682C/en active Active
-
2018
- 2018-04-10 IL IL258620A patent/IL258620B/en unknown
- 2018-12-18 US US16/223,611 patent/US11126842B2/en active Active
-
2020
- 2020-11-27 JP JP2020196686A patent/JP7136875B2/ja active Active
-
2021
- 2021-09-17 US US17/478,743 patent/US11749025B2/en active Active
- 2021-09-29 AU AU2021240222A patent/AU2021240222B2/en not_active Expired - Fee Related
-
2022
- 2022-03-24 IL IL291684A patent/IL291684B2/en unknown
- 2022-04-13 JP JP2022066237A patent/JP7399210B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002064031A2 (en) | 2001-02-09 | 2002-08-22 | Sensomotoric Instruments Gmbh | Multidimensional eye tracking and position measurement system |
US20080002262A1 (en) | 2006-06-29 | 2008-01-03 | Anthony Chirieleison | Eye tracking head mounted display |
US20080253622A1 (en) | 2006-09-15 | 2008-10-16 | Retica Systems, Inc. | Multimodal ocular biometric system and methods |
Non-Patent Citations (1)
Title |
---|
橋本 勉 Tsutomu HASHIMOTO,虹彩パターンの伸縮を考慮した高精度眼球回旋運動計測法 High precision measurement of rotational eye movements implementing the compensation for iris pattern stretches,電子情報通信学会技術研究報告 Vol.107 No.541 IEICE Technical Report,日本,社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers,2008年03月06日,第107巻,p.61-64 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7399210B2 (ja) | ヘッドマウントディスプレイシステムの装着者の眼の眼画像を処理するための方法 | |
US11227158B2 (en) | Detailed eye shape model for robust biometric applications | |
JP6917444B2 (ja) | 角膜曲率を用いた虹彩境界推定 | |
JP7178403B2 (ja) | ロバストなバイオメトリックアプリケーションのための詳細な眼形状モデル | |
US20220301217A1 (en) | Eye tracking latency enhancements |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220413 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220906 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230502 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230802 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7399210 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |