JP7165994B2 - 眼の計測を収集するための方法及びデバイス - Google Patents

眼の計測を収集するための方法及びデバイス Download PDF

Info

Publication number
JP7165994B2
JP7165994B2 JP2019524069A JP2019524069A JP7165994B2 JP 7165994 B2 JP7165994 B2 JP 7165994B2 JP 2019524069 A JP2019524069 A JP 2019524069A JP 2019524069 A JP2019524069 A JP 2019524069A JP 7165994 B2 JP7165994 B2 JP 7165994B2
Authority
JP
Japan
Prior art keywords
eye
camera
optical path
mirror
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019524069A
Other languages
English (en)
Other versions
JP2020513609A5 (ja
JP2020513609A (ja
Inventor
クルツ,ハンス-ペータル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heads Stockholm AB
Original Assignee
Heads Stockholm AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heads Stockholm AB filed Critical Heads Stockholm AB
Publication of JP2020513609A publication Critical patent/JP2020513609A/ja
Publication of JP2020513609A5 publication Critical patent/JP2020513609A5/ja
Application granted granted Critical
Publication of JP7165994B2 publication Critical patent/JP7165994B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00216Electrical control of surgical instruments with eye tracking or head position tracking control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/35Nc in input of data, input till input file format
    • G05B2219/35503Eye tracking associated with head mounted display to detect eye position

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Vascular Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Input (AREA)
  • Position Input By Displaying (AREA)

Description

本開示は、収集空間に位置する眼において眼の計測を収集するデバイスに関する。デバイスは、収集空間の方に光を放出するように構成された少なくとも1つの光源と、収集空間から光を受信して像データを生成するように構成されたカメラと、像データから少なくとも1つの計測を抽出するように構成された解析ユニットとを含む。
本開示は、対応する方法にも関する。
このようなデバイスは、例えば、欧州特許出願公開第2696259A1号明細書に開示されており、入力デバイスとして使用され得、ユーザは、例えば、ユーザの眼を用いてコンピュータを制御するか、又は人が異なる刺激に反応する方法を試験する行動学的研究などを実行することができる。
このようなシステムに関する一般的な問題は、システムをより効率的且つ頑強にする方法、例えば様々な種類の光学的障害に対処する方法である。
従って、本開示の1つの目的は、頑強な計測収集可能な眼計測収集デバイスを提供することである。
この目的は、請求項1に記載のデバイスによって達成される。より詳細には、最初に記載の種類のデバイスにおいて、カメラは、カメラの光軸に対して異なる角度で少なくとも第1及び第2の光路を介して収集空間から光を受信するように構成される。少なくとも第1の光路の光は、カメラが第1及び第2の光路を介して収集空間の重複部分から光を受信するように第1のミラーを介して受信される。従って、カメラは、単一の眼の少なくとも2つの表現を受信する。
これは、1つの単一の像において且つわずかに異なる方向から見られるように、眼の2つの表現を生成できることを意味する。第1の部分像の形態における一方の表現が例えば大きい注視角又はユーザの眼鏡のために歪んでいる場合でも、第2の部分像の形態における他方の表現は、眼計測収集に有用な情報を提供することができる。これにより、より頑強な計測収集が得られる。
典型的に、第2の光路の光は、第2のミラーを介して受信され得る。
更に、第1及び第2の光路は、最短長の1%を超える長さ差を有し得る。これは、確率がより大きくなり、生成された像の1つがカメラの焦点深度内にあることを意味する。従って、例えば、より大きいカメラ絞りを用いて、より小さい焦点深度が可能になり、より高速の像取り込みが可能になる。
カメラは、複数のミラーであって、収集空間と、別のミラーの領域と重複する収集空間の領域を描写するカメラとの間の個別光路をそれぞれ提供する複数のミラーから光を受信するように構成され得る。これにより、非常に頑強な取り込みが得られる。複数のミラーは、収集空間に面する凹面に配設され得る。ミラーの法線ベクトルとカメラの光軸との間の角度は、15°未満であり得、ミラーは、比較的平坦な像をカメラに与えることができる。
解析ユニットは、瞳孔距離に対する輝きを判定して、ユーザの眼の光軸、即ち注視角を判定するように構成され得る。これにより、生成データを視線追跡のために使用することができる。
解析ユニットは、単一の眼の少なくとも2つの表現に基づいて解析を実行することにより、ユーザの眼の注視角を判定するようにも構成され得る。これにより、眼の角膜に輝きを生成しなくても注視角を判定することができる。
代わりに又はそれと組み合わせて、解析ユニットは、ユーザの網膜の像を記録して、眼の屈折誤差(refractive error)を判定するように構成され得るか、又は虹彩の角度特徴(iris angular feature)を判定して、ユーザの眼の光学ねじれ(eye optical torsion)を判定するように構成され得る。
二色性フィルターミラーは、収集空間と第1のミラーとの間に位置し得る。これにより、システムは、例えば、赤外スペクトルで視線追跡を実行しながら、可視スペクトルで眼に対して刺激を表示することができる。複数のこのような二色性ミラーを使用し得、その結果、異なる内容を例えば左右の眼に表示することができ、例えば三次元効果を可能にする。
典型的に、光源は、赤外スペクトルにおける光を生成し得る。
対応する方法も考慮される。
図1は、側面から照らされた眼の取り込み像を例示する。 図2は、眼の光軸に近い位置から照らされた眼の取り込み像を例示する。 図3は、眼計測を収集する構成を概略的に例示する。 図4は、視線追跡に適した構成を概略的に例示する。 図5は、自動屈折用途に適した構成を概略的に例示する。 図6は、像収集構成の斜視図を示す。 図7は、図6の設定で生成された像の例を例示する。 図8は、より浅いカメラ焦点深度を可能にするミラーのずれを例示する。 図9は、図7の像の後処理を例示する。 図10は、自動屈折測定のためのミラー及び光源設定の正面図を例示する。 図11は、ウェアラブル眼計測収集構成の第1の例を例示する。 図12は、ウェアラブル眼計測収集構成の第2の例を例示する。
本開示は、一般的に、眼計測を収集するデバイス及び方法に関する。光源によって眼の方に光を放出し、眼の像を取り込んで像データを提供し、データを解析して像データから少なくとも1つの計測を抽出することにより、このような収集を達成し得る。このような眼計測収集が行われる例示的な用途は、視線追跡及び自動屈折である。
視線追跡により、注視ベクトル、即ち眼が見ている方向又は頭部に対する眼の運動の測定が意味される。視線追跡装置は、例えば、人が特定の刺激に反応する方法を判定する行動学的研究に使用され得るか又は入力デバイスとして使用され得、ユーザは、眼球運動を用いてコンピュータを制御することができる。眼球運動は、一連のサッカードとして行われる。サッカードにより、眼の2つの連続固視間の高速眼球運動が意味される。人間のサッカードは、20ms~100msで続くことが多く、最高で毎秒800°の速度に達することができる。多くの後続検出注視ベクトルは、眼球が運動する方法を記述する。
典型的に、光源は、眼の側面に配置され得る。図1に例示するように、眼1の得られる像では、角膜上に見える輝き3が生成される。眼の瞳孔5の輝き3及び中心の相対位置を測定することにより、眼の注視ベクトルの測度を得ることができる。
現在の眼計測収集デバイスを用いて、後述するように輝きを使用することなく注視角を検出することもできる。
下記では、ホットミラー及びコールドミラーという用語を使用する。コールドミラーにより、ミラーがより長い赤外波長(典型的に700nmよりも長い)を効率的に透過させる一方、可視光スペクトルを反射するような、二色性フィルターを含むミラーが意味される。ホットミラーは、逆に機能し、赤外光を反射する一方、可視スペクトルを透過させる。ホットミラー及びコールドミラーは、それ自体周知である。
既知の視線追跡構成は、例えば、遠隔又は移動視線追跡装置として考案され得る。遠隔追跡装置は、眼が存在する収集空間からある距離を置いて固定位置から眼の像を取り込む。一方、移動追跡装置をユーザの頭部に装着して、任意の頭部の動きを補償することができ、又は移動追跡装置を配置して、他の方法で動的にユーザの眼に追従することができる。ここで、ユーザにより、眼計測を収集する人が意味される。
視線追跡装置に顎当てを設けて、ユーザの頭部がごくわずかにのみ動くこと、従って眼を非常に小さい収集空間に制限することを保証し得る。これにより、固定化されているユーザを犠牲にして、500Hzを超えるより高速のカメラフレームレートを使用することができる。代わりに、カメラは、より大きい収集空間、例えば40×30×25cmのサイズの仮想ボックスを可能にし、ユーザがユーザの頭部を動かすことを可能にするように考案され得る。しかし、これは、高速で高解像度の像を読み出すことが難しいため、フレームレートを制限する。
眼鏡を付けたユーザは、1つ又は幾つかの追加の輝き又は反射、側面における眼鏡による角膜の輝き及び不要な反射を読み出すことがあるため、問題を生じることがある。解析ユニットは、何れの輝きが注視ベクトル検出のために使用されるべきかを判定することが難しいことがある。眼鏡が大きい注視角で強い(例えば、-6ジオプター)場合、この問題は、特に顕著であり得る。追加の瞳孔を各々の眼に対して検出することが更に可能であり、瞳孔は、眼鏡を介して見られ、同じ瞳孔は、眼鏡の次に直接再度見られ、従って解析が更に複雑になる。本開示は、上述の課題の1つ又は複数の課題を少なくとも部分的に低減しようとするものである。
典型的に、視線追跡は、電磁スペクトルの赤外線部分の範囲内で実行され得る。これにより、像処理要件が減少し、限定されたスペクトルを処理しさえすればよく、スペクトルの可視部分を使用して例えばユーザに刺激を提供することができる。例えば、コールドミラーを用いて、赤外波長を使用してコールドミラーの後方で光軸の延長で眼球運動を検出しながら、ユーザの眼の光軸から垂直に像を反射することにより、可視像をユーザに示すことができる。このような場合、ユーザは、追跡構成を認識しない。
自動屈折により、ユーザの眼の屈折誤差を評価する構成が意味される。典型的に、ユーザの光軸の近くから見られるようにユーザの眼の像を取り込む。光源は、異なる角度で光軸からわずかに変位された位置から連続的に照らされる。これは、図2に示すように、眼の網膜の像のセット、いわゆる輝く瞳孔7の像をカメラが取り込み得ることを意味する。多くのこれらの像を比較することにより、球状及び/又は円柱状の屈折誤差の測度を得ることができる。それ自体既知の例において、カメラは、中心にカメラの光軸を有する円の周りに均等な間隔で配置された6個の光源がカメラの周りに位置している状態で、眼から約1メートル離れて位置し得る。他の実施形態において、カメラは、眼の一層近くに位置し得る。多くの反復自動屈折測定値は、調節(accomodation)の計測を提供することができる。
図3は、本開示による眼計測を収集する構成を単純な形態で概略的に例示する。ビーム9において光を光源11から眼1の方に放出する。この光源11が眼1の光軸13から離れて位置する場合、輝き3は、図1に前述したように見える。カメラ15は、眼1の像を取り込む。カメラ15は、第1の光路17及び第2の光路19を介して、眼が位置する収集空間29から光を受信する。第1及び第2の光路17、19は、カメラの光軸及び眼の光軸13に対して異なる角度が付けられている。これは、第1の光路を得るのに配置されたミラー21によって達成される。従って、カメラ15は、眼の少なくとも2つの表現を提供する眼の重複部分から光を受信する。
図3の角度設定は、当然のことながら、ミラーを介して相対的に歪んだ像を受信する一方、この角度設定は、完全に有用であり、歪みを像解析ソフトウェアによって補償し得、他の設定は、場合により一層有用であり得る。
図4は、視線追跡用途に有用な設定を概略的に例示する。この設定では、第2の光路19の光は、第2のミラー23を介して受信される。2つの光路17、19の同様の特性のため、得られる2つの表現は、比較的同様の特性を有する。この設定は、カメラ15と眼1との間の直接の視線を必要としないため、カメラ及び眼の光軸は、同様の方向を有することができる。更に、平面鏡21、23の表面は、眼1に面することができ、即ち、ミラーの法線ベクトルは、眼1の光軸及び/又はカメラ15の光軸に対して15°未満の角度φを有することができる。図4において、これは、ミラー23に対して示され、眼の光軸13に対する角度である。これは、図3のミラー21を介して得られる投影と比べて、眼の比較的平坦な投影が得られることを意味する。ミラー21、23は、ユーザがミラーの後方で商品を見ることができることを意味するホットミラーであり得る。従って、ミラーをユーザにごくわずか見えるようにすることができる。図3~図5の図面は、配置が必ずしも正確でないような例示を目的とした概略図であることに留意すべきである。
図5は、光源11がミラー21、23に近接して又はカメラ15の近くに配置される代替形態を例示する。ミラーを介して又は直接、眼から見られるようなカメラと光源との間の角度が6°未満である場合、瞳孔は、網膜上の反射光のために輝く瞳孔になることがある(図2を参照されたい)。眼を既知の形状で既知の角度から取り込むため、眼の正確な位置及び瞳孔サイズが既知であり得る。網膜像間の差を使用して、眼1の屈折誤差、即ち自動屈折を判定することができる。代わりに、図5に示すように、カメラ15と一緒に光源11’を配置することが好ましいことがあり得る。
輝く瞳孔の像は、視線追跡の目的で使用され得る。
図5において、コールドミラー25は、一方での眼1と、他方でのミラー21、23及び光源11との間に位置する。このコールドミラーは、可視光を像取り込み構成の側から眼の視野に導入することができるように眼の光軸13に対して約45°の角度が付けられ得る。このコールドミラーは、機能のために赤外光を使用する限り、光源11又はカメラ15及びミラー21、23を用いた像の取り込みに影響を及ぼさない。同時に、コールドミラー25を介して表示像、閃光などの可視スペクトル刺激27を眼1に提供することができる。このようなコールドミラーは、図4の設定のためにも使用され得る。ユーザの両眼の方に可視光を投影する1つの単一のコールドミラーを使用することができる。代わりに、三次元内容をユーザに描写することができる、各眼のための個別のコールドミラーを使用することができる。
図6は、例えば、視線追跡のために使用可能な設定を斜視図で例示する。この場合、カメラ15は、ユーザの眼1が位置する収集空間29の上に位置し、カメラは、ユーザが面するのと同じ方向に面する。複数のミラー21、23(例示の場合、18個のミラー)がミラー支持体31の上に配置される。収集空間29の重複部分を描写するようにミラーの面が向けられる。即ち、平面鏡の表面は、異なって向けられた法線ベクトルを有する。典型的に、ミラー21、23がカメラ15及び収集空間29間で同様の長さを有する光路を提供するように、ミラー21、23が球面の上に配置される。しかし、それらの長さは、図示するように変更され得る。異なる重複方式が可能である。例えば、第1及び第2のミラーを有するミラーの対は、第2及び第3のミラーを有するミラーの対と同様に収集空間の重複部分を描写し得る。同時に、第1及び第3のミラーは、重複部分を描写する必要がない。2つのミラーは、殆ど完全な重複描写を行うことができる。異なって向けられたミラー法線ベクトルのために、重複量は、ユーザの顔がどの程度ミラーから離れて収集空間に位置するかにも依存する。
図7は、図6に示すような設定で取り込まれた像33を例示する。複数のミラーのために、収集空間の一部を表す多くの部分像35、37が像33にある。上述のように大きい注視角、眼鏡などのために一部の部分像を使用することができない場合でも、他の部分像は、必要な情報を提供することができる。即ち、ユーザがユーザの頭部をわずかに移動若しくは回転させるか、横に若しくは上下に注視するか、又は例えば高いジオプター眼鏡を有する場合でも、例えば、図6に示すような形状設定は、殆どの場合に有用な内容を提供する。
追加的に、一部のミラーは、瞳孔に略一直線の眼を示す部分像を提供する可能性が最も高く、任意選択的な瞳孔サイズ検出を一層簡単に行う。虹彩角度特徴を検出することもできる。虹彩は、一意の検出可能なパターンを有し、これらのパターンを使用してユーザの眼の光学ねじれを判定することができる。即ち、眼が眼の光軸を中心に若干回転することを検出し得る。
更に、図7に示すような像データを用いて、図1のような角膜の輝きを使用しなくても注視角を判定することができる。図7に対応する像データを用いて、解析ユニットは、単一の眼の2つ以上の表現に基づいて解析を実行することができる。解析ユニットは、像データの一部を特定のミラーに関連付けることができる知識を有し得、そのミラー位置及びカメラ15に対する傾きに関する知識を更に有し得る。例えば、瞼などの眼の残りに対する瞳孔又は虹彩の位置に基づく像解析アルゴリズムを使用して眼の注視角を判定することができる。例えば、自己学習ニューラルネットワークを用いてこの注視角を判定し得る。
図8は、ミラー支持体の例による断面図を概略的に例示する。例示のように、一般的に、ミラーは、球面湾曲部39の上に設定され得る。しかし、ミラーは、ミラーの法線ベクトル41の方向に特定の長さloffだけ収集空間の方に又は収集空間から離れてこの湾曲部から任意選択的にずらされ得る。ミラーを異なってずらすことにより、異なる光路がわずかに異なる長さを有するため、カメラの焦点深度が小さい場合でも、一部のミラーは、カメラの焦点深度内にある可能性がより高くなる。これにより、より高速の像描写を提供するより広いカメラ絞りを使用することができる。典型的に、光路差は、カメラの焦点深度の約10%又はカメラと眼との間の最短光路長の約2%であるが、1%を超える差は、多くの場合にかなりの効果を提供する。
図9は、例えば、あまりに大きい注視角を有するか、ぼやけた重要な特徴を有するか、又は偽情報(例えば、かなりの角度で厚い眼鏡によって提供されるような二重瞳孔)を提供する多くの部分像が焦点ずれのために無視される場合の図7の像を示す。従って、眼計測を提供する像の後処理は、少ない部分像のみで実行可能であり、改良された処理速度も提供する。例示の場合、4つのミラーに対応する4つの部分像、右眼の2つ及び左眼の2つの部分像は、この目的のために保持される(図9で他の部分像をバツ印で消す)。これは、時間と共に、例えば直後に変化し得、例えば、ユーザがユーザの頭部を動かしているか又はユーザの注視角を変更する場合、2つの他のミラーに対応する2つの部分像を使用し得る。
図10は、自動屈折測定のためのミラー及び光源設定の正面図を例示する。図10において、3つのミラー21、23、41は、カメラから見られるように観察される。光源11は、眼から見られるような光源とカメラとの間の角度を最小化する(例えば、6°未満)ように位置する。その結果、カメラが取り込むような輝く瞳孔の像(図2を参照されたい)が各ミラー21、23、41で生成される。この構成により、3つの輝く描写瞳孔、即ち網膜の特徴の差を使用して、眼の屈折誤差、球状誤差及び円柱状誤差の両方を判定することができる。これは、カメラによって取り込まれ、ミラーによって提供される部分像を含む1つの単一の像で達成可能である。例示のように、ミラーは、120°の角距離で光源11から瞳孔軸に半径方向にずらされて眼から略同じ距離に位置し得る。より多くのミラー、例えば光軸の周りに60°の角距離を有する6つのミラーを使用することもできる。
図5に例示のように、光源11’は、カメラレンズの近くに又はカメラレンズの前に位置することもできる。図10に戻ると、このような光源は、1つ又は複数のミラーの方に光の流れを提供し得る。複数の光源が設けられ得る。光源をカメラレンズの前に配置する場合、光源がミラーをふさぐか又はカメラに直接光を提供することを回避すべきである。
本開示の一般概念は、ウェアラブル構成に関することもできる。例えば、いわゆる仮想現実(VR)眼鏡に視線追跡機能を提供することができる。
単純な形態において、このようなVR眼鏡は、各眼に対する幾つかの光学部品を有する頭部装着型画面によって達成可能である。例えば、大画面のスマートフォンをユーザの眼の前に位置決めすることができ、各眼に対する凸レンズを使用して、ユーザは、近い距離から画面を見ることができる。スマートフォンにおける位置センサーを使用して、ユーザの頭部の動きを検出することができ、例えば仮想現実効果を提供するために結果的な表示内容を変更することができる。本開示において、視線追跡は、例えば、このような効果を高めることができる。
図11は、ウェアラブル眼計測収集構成の第1の例を概略的に例示する。この例は、図3のような同様の設定を各眼に提供する。各眼に対する1つのカメラ15は、眼の1つの直接像及び別の方向から眼を見たミラー21を介した眼の1つの像を取り込む。これを使用して、上述のように視線追跡情報を提供することができる。
図12は、ウェアラブル眼計測収集構成の第2の例を例示する。この例において、単一のカメラ15は、ユーザの両眼の各々に2つの像を提供する。分割ミラー41は、カメラの視野を2つの半分に分割し、半分の各々は、第1のミラー21及び第2のミラー23を介して眼の異なる像を生成する。
図11及び図12で使用されるミラー21、23は、ホットミラーであり得、その結果、ホットミラーは、少ない程度にのみユーザの視力を妨げる。
本発明は、少数の実施形態を参照して主に説明されている。しかし、当業者が容易に分かるように、上記で開示された実施形態と異なる他の実施形態も、添付の特許請求の範囲によって規定されるような本発明の範囲内で同様に可能である。

Claims (15)

  1. 眼の画像を取得することができる収集空間(29)に位置する眼(1)から、視線角度、屈折誤差(refractive error)、眼の光学ねじれ(eye optical torsion)、眼の調節(accomodation)を含む計測を収集するデバイスにおいて、前記収集空間(29)の方に光を放出するように構成された少なくとも1つの光源(11)と、前記収集空間(29)から光を受信して像データを生成するように構成されたカメラ(15)と、前記像データから少なくとも1つの計測を抽出するように構成された解析ユニット(14)とを含むデバイスにおいて、前記カメラ(15)は、前記カメラの光軸に対して異なる角度が付けられている少なくとも第1の光路(17)及び第2の光路(19)を介して前記収集空間から光を受信するように構成され、前記第1の光路(17)の前記光は、第1のミラー(21)を介して受信され、前記第1の光路(17)および前記第2の光路(19)が前記カメラに前記眼の画像の重複部分を提供することにより、前記カメラが単一の眼の少なくとも2つの表現を受信でき、前記第1の光路(17)の長さと前記第2の光路(19)の長さとが異なることを特徴とするデバイス。
  2. 請求項1に記載のデバイスにおいて、前記第2の光路(19)の前記光は、第2のミラー(23)を介して受信されることを特徴とするデバイス。
  3. 請求項2に記載のデバイスにおいて、前記第1の光路(17)の長さは、前記第2の光路(19)の長さに比べて、前記眼と前記カメラとの間の最短距離の1%を超える長さの差を有することを特徴とするデバイス。
  4. 請求項2または3に記載のデバイスにおいて、前記カメラは、前記第1および第2のミラーを含む複数のミラーであって、別のミラーの領域と重複する前記収集空間の領域を描写する、前記収集空間と前記カメラとの間の個別の光路をそれぞれ提供する複数のミラーから光を受信するように構成されることを特徴とするデバイス。
  5. 請求項4に記載のデバイスにおいて、前記複数のミラーは、前記収集空間に面する凹面(39)に配設されることを特徴とするデバイス。
  6. 請求項2乃至5の何れか1項に記載のデバイスにおいて、各ミラーの法線とカメラの光軸との間の角度は、15°未満であることを特徴とするデバイス。
  7. 請求項1乃至6の何れか1項に記載のデバイスにおいて、前記解析ユニット(11)は、眼の角膜上に生成された可視の輝きとその眼の瞳孔との間の距離を測定して、ユーザの眼の視線角度を判定するように構成されることを特徴とするデバイス。
  8. 請求項1乃至7の何れか1項に記載のデバイスにおいて、前記解析ユニット(11)は、単一の眼の少なくとも2つの表現に基づいて解析を実行することにより、ユーザの眼の視線角度を判定するように構成されることを特徴とするデバイス。
  9. 請求項1乃至8の何れか1項に記載のデバイスにおいて、前記解析ユニット(11)は、ユーザの網膜の像を記録して、眼の屈折誤差を判定するように構成されることを特徴とするデバイス。
  10. 請求項1乃至9の何れか1項に記載のデバイスにおいて、前記解析ユニット(11)は、虹彩の角度特徴(iris angular feature)を判定して、ユーザの眼の光学ねじれを判定するように構成されることを特徴とするデバイス。
  11. 請求項1乃至10の何れか1項に記載のデバイスにおいて、さらに前記収集空間と前記第1のミラーとの間に位置する少なくとも1つの二色性フィルターミラー(25)を含み、当該二色性フィルターミラー(25)が、前記収集空間と前記第1のミラーとの間に位置することを特徴とするデバイス。
  12. 請求項11に記載のデバイスにおいて、第1及び第2の二色性フィルターミラーは、前記カメラと、それぞれ第1及び第2のユーザの眼のために構成された前記収集空間の第1及び第2の部分との間の光路に位置することを特徴とするデバイス。
  13. 請求項1乃至12の何れか1項に記載のデバイスにおいて、前記少なくとも1つの光源(11)は、赤外光を生成することを特徴とするデバイス。
  14. 眼の画像を取得することができる収集空間(29)に位置する眼(1)から、視線角度、屈折誤差(refractive error)、眼の光学ねじれ(eye optical torsion)、眼の調整(accomodation)を含む計測を収集する方法であって、少なくとも1つの光源は、前記収集空間の方に光を放出し、カメラは、前記収集空間から光を受信して像データを生成し、及び前記像データは、前記像データから少なくとも1つの計測を抽出するために解析される、方法において、前記カメラは、前記カメラの光軸に対して異なる角度が付けられている少なくとも第1及び第2の光路を介して前記収集空間から光を受信し、前記第1の光路の前記光は第1のミラーを介して受信され、前記第1の光路(17)および前記第2の光路(19)が前記カメラに前記眼の画像の重複部分を提供することにより、前記カメラが単一の眼の少なくとも2つの表現を受信でき、前記第1の光路(17)の長さと前記第2の光路(19)の長さとが異なることを特徴とする方法。
  15. 請求項14に記載の方法において、ユーザの眼の視線角度は、単一の眼の少なくとも2つの表現に基づいて解析を実行することによって判定されることを特徴とする方法。
JP2019524069A 2016-11-15 2017-11-03 眼の計測を収集するための方法及びデバイス Active JP7165994B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE1651488A SE541262C2 (en) 2016-11-15 2016-11-15 Method and device for eye metric acquisition
SE1651488-7 2016-11-15
PCT/SE2017/051098 WO2018093313A1 (en) 2016-11-15 2017-11-03 Method and device for eye metric acquisition

Publications (3)

Publication Number Publication Date
JP2020513609A JP2020513609A (ja) 2020-05-14
JP2020513609A5 JP2020513609A5 (ja) 2021-11-04
JP7165994B2 true JP7165994B2 (ja) 2022-11-07

Family

ID=62146643

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019524069A Active JP7165994B2 (ja) 2016-11-15 2017-11-03 眼の計測を収集するための方法及びデバイス

Country Status (6)

Country Link
US (1) US11624907B2 (ja)
EP (1) EP3542308B1 (ja)
JP (1) JP7165994B2 (ja)
CN (1) CN109964230B (ja)
SE (1) SE541262C2 (ja)
WO (1) WO2018093313A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020357870A1 (en) 2019-10-04 2022-04-28 Alcon Inc. Adjustable intraocular lenses and methods of post-operatively adjusting intraocular lenses
GB2596300A (en) * 2020-06-23 2021-12-29 Sony Interactive Entertainment Inc Gaze tracking apparatus and systems
JP2022039127A (ja) * 2020-08-28 2022-03-10 株式会社日立エルジーデータストレージ ヘッドマウントディスプレイ
WO2022074973A1 (ja) * 2020-10-05 2022-04-14 ソニーグループ株式会社 視線検出装置及び表示装置
BR112023018612A2 (pt) * 2021-04-06 2023-10-24 Alcon Inc Aparelho, sistemas e métodos para avaliar objetivamente a acomodação em um olho

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000232960A (ja) 1999-01-21 2000-08-29 Leica Microsystems Inc 広いレンジの焦点位置に亘るデータを用いた自動オプトメータ評価方法
JP2005528600A (ja) 2002-05-30 2005-09-22 ヴィズイクス・インコーポレーテッド 眼の回し運動の向きと位置の追跡
JP2009131381A (ja) 2007-11-29 2009-06-18 Hamamatsu Photonics Kk 眼球運動計測装置
US20150185503A1 (en) 2013-12-27 2015-07-02 Larry R. Tate Automatic focus prescription lens eyeglasses
JP2016093249A5 (ja) 2014-11-12 2017-12-21

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11235316A (ja) * 1998-02-20 1999-08-31 Canon Inc 検眼装置
US7280678B2 (en) * 2003-02-28 2007-10-09 Avago Technologies General Ip Pte Ltd Apparatus and method for detecting pupils
US7508965B2 (en) * 2004-06-01 2009-03-24 Lumidigm, Inc. System and method for robust fingerprint acquisition
JPWO2006088042A1 (ja) * 2005-02-16 2008-07-03 松下電器産業株式会社 生体判別装置および認証装置ならびに生体判別方法
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
GB2495323B (en) * 2011-10-07 2018-05-30 Irisguard Inc Improvements for iris recognition systems
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
EP2696259B1 (en) 2012-08-09 2021-10-13 Tobii AB Fast wake-up in a gaze tracking system
KR101769177B1 (ko) * 2012-10-09 2017-08-18 한국전자통신연구원 시선 추적 장치 및 방법
US9426447B2 (en) 2012-10-09 2016-08-23 Electronics And Telecommunications Research Institute Apparatus and method for eye tracking
CN105828700B (zh) * 2013-12-09 2018-07-06 Smi创新传感技术有限公司 操作眼睛跟踪装置的方法和提供主动照明控制用于改进的眼睛跟踪稳定性的眼睛跟踪装置
US9699436B2 (en) * 2014-09-16 2017-07-04 Microsoft Technology Licensing, Llc Display with eye-discomfort reduction
JP6471466B2 (ja) * 2014-11-12 2019-02-20 株式会社ニデック 眼科装置、及びそれに用いる処理プログラム
US9791924B2 (en) * 2014-12-23 2017-10-17 Mediatek Inc. Eye tracking with mobile device in a head-mounted display
WO2017134412A1 (en) * 2016-02-04 2017-08-10 Milan Momcilo Popovich Holographic waveguide optical tracker

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000232960A (ja) 1999-01-21 2000-08-29 Leica Microsystems Inc 広いレンジの焦点位置に亘るデータを用いた自動オプトメータ評価方法
JP2005528600A (ja) 2002-05-30 2005-09-22 ヴィズイクス・インコーポレーテッド 眼の回し運動の向きと位置の追跡
JP2009131381A (ja) 2007-11-29 2009-06-18 Hamamatsu Photonics Kk 眼球運動計測装置
US20150185503A1 (en) 2013-12-27 2015-07-02 Larry R. Tate Automatic focus prescription lens eyeglasses
JP2016093249A5 (ja) 2014-11-12 2017-12-21

Also Published As

Publication number Publication date
EP3542308A4 (en) 2020-06-03
EP3542308A1 (en) 2019-09-25
EP3542308B1 (en) 2021-12-22
SE1651488A1 (sv) 2018-05-16
WO2018093313A1 (en) 2018-05-24
CN109964230A (zh) 2019-07-02
JP2020513609A (ja) 2020-05-14
CN109964230B (zh) 2023-08-15
US11624907B2 (en) 2023-04-11
US20190361231A1 (en) 2019-11-28
SE541262C2 (en) 2019-05-21

Similar Documents

Publication Publication Date Title
JP7165994B2 (ja) 眼の計測を収集するための方法及びデバイス
EP3371781B1 (en) Systems and methods for generating and using three-dimensional images
US11675432B2 (en) Systems and techniques for estimating eye pose
US6659611B2 (en) System and method for eye gaze tracking using corneal image mapping
US9070017B2 (en) Methods and apparatus for estimating point-of-gaze in three dimensions
US20170092007A1 (en) Methods and Devices for Providing Enhanced Visual Acuity
CN112805659A (zh) 通过用户分类为多深度平面显示系统选择深度平面
US10775647B2 (en) Systems and methods for obtaining eyewear information
CN115053270A (zh) 用于基于用户身份来操作头戴式显示系统的系统和方法
CN115040069A (zh) 一种订购眼镜的系统
KR20170136582A (ko) 눈 추적 디바이스 및 눈 추적 디바이스를 동작시키기 위한 방법
JP6631951B2 (ja) 視線検出装置及び視線検出方法
JP2020513609A5 (ja) 眼の計測を収集するための方法及びデバイス
US10188291B2 (en) Device for screening convergence insufficiency and related methods
JP7293726B2 (ja) 自覚式検眼装置及び自覚式検眼プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210616

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20210915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221018

R150 Certificate of patent or registration of utility model

Ref document number: 7165994

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150