JP2023547310A - 低コヒーレンス干渉法を用いたヘッドマウントデバイスにおけるアイトラッキング用のシステム及び方法 - Google Patents
低コヒーレンス干渉法を用いたヘッドマウントデバイスにおけるアイトラッキング用のシステム及び方法 Download PDFInfo
- Publication number
- JP2023547310A JP2023547310A JP2023516119A JP2023516119A JP2023547310A JP 2023547310 A JP2023547310 A JP 2023547310A JP 2023516119 A JP2023516119 A JP 2023516119A JP 2023516119 A JP2023516119 A JP 2023516119A JP 2023547310 A JP2023547310 A JP 2023547310A
- Authority
- JP
- Japan
- Prior art keywords
- tracking system
- eye
- eye tracking
- interferometer
- measurements
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 34
- 238000005305 interferometry Methods 0.000 title claims description 9
- 238000005259 measurement Methods 0.000 claims description 30
- 230000003287 optical effect Effects 0.000 claims description 13
- 238000007493 shaping process Methods 0.000 claims description 6
- 230000001427 coherent effect Effects 0.000 claims description 5
- 210000001525 retina Anatomy 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000000153 supplemental effect Effects 0.000 claims description 2
- 238000012014 optical coherence tomography Methods 0.000 description 10
- 230000010287 polarization Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 210000000695 crystalline len Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004459 microsaccades Effects 0.000 description 1
- 230000000414 obstructive effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 210000000216 zygoma Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Instruments For Measurement Of Length By Optical Means (AREA)
- Eye Examination Apparatus (AREA)
Abstract
干渉計を備えるアイトラッキングシステムが提供される。該システムは、さらに、光ビームを前記干渉計からユーザの眼に向けるように構成されている放出部とレンズとを備える。ベゼル領域が、前記レンズに隣接する。そして、前記放出部は、前記レンズに隣接して配置されているか、又は前記レンズ上に配置されている。
Description
本開示は、フォトニック集積回路を用いたアイトラッキングに関する。より詳細には、本開示は、低コヒーレンス干渉法を用いたヘッドマウントデバイスにおけるアイトラッキング用のシステム及び方法に関する。そうしたシステム及び方法の用途は、限定でなく例として、意図推定と、認知負荷の推定と、ヘルスモニタリング(健康管理)と、を含む。
現行のヘッドマウントアイトラッキングセンサは、二次元の複数のランドマーク点の反射(グリントと呼ばれる)に、主として依存する。これらのグリントの形状及び分布は、照明構成と対象の眼の幾何学形状とに依存する。係るアプローチは、一般的に、照明及び検出のための様々な電子部品を必要とし、また、眼及びグリントを撮像するために二次元センサを利用する。係るアプローチは、眼に対する各グリントの座標を見出すために、さらに、画像処理に依存する。
典型的なグリントベースのトラッキング方法及びシステムは、不正確なアイトラッキング結果を提供し得る。係る欠点は、典型的なグリント推定において用いられる過度に簡略化された眼球モデルと、重複しているグリントを測定する場合に遭遇されることになる曖昧さと、測定結果の周囲光に対する影響の受けやすさと、から生じる。そのように、様々な環境条件において、そして人口の大多数について、高い精度で動作するグリントベースのトラッカーを設計するという課題が存在する。
本発明によれば、アイトラッキングシステムであって、干渉計と、光ビームを前記干渉計からユーザの眼に向けるように構成されている放出部と、レンズと、前記レンズに隣接したベゼル領域と、を備え、
前記放出部は、前記レンズに隣接して配置されているか、又は前記レンズ上に配置されている、アイトラッキングシステムが提供される。
前記放出部は、前記レンズに隣接して配置されているか、又は前記レンズ上に配置されている、アイトラッキングシステムが提供される。
好ましくは、前記干渉計は、検出器と、参照経路と、ビームスプリッタと、ビーム整形素子と、を備える。
好ましくは、前記参照経路は、約100mm未満と、約80mm未満と、約50mm未満と、約25mm未満と、約10mm未満と、の長さから成る群から選択された長さを有する。
好ましくは、前記参照経路は、約100mm未満と、約80mm未満と、約50mm未満と、約25mm未満と、約10mm未満と、の長さから成る群から選択された長さを有する。
好ましくは、前記干渉計は、前記ビームスプリッタからの前記光ビームを出力するように構成されている。
好ましくは、前記アイトラッキングシステムは、ヘッドセットをさらに備え、前記ヘッドセットは、前記レンズと、前記ベゼル領域と、を備える。
好ましくは、前記アイトラッキングシステムは、ヘッドセットをさらに備え、前記ヘッドセットは、前記レンズと、前記ベゼル領域と、を備える。
好ましくは、前記干渉計は、空間的にコヒーレントな光源を備える。
好ましくは、前記干渉計は、ビームステアリングのために構成されている走査機構を備える。
好ましくは、前記干渉計は、ビームステアリングのために構成されている走査機構を備える。
好ましくは、前記アイトラッキングシステムは、別の光ビームを放出するように構成されている別の干渉計をさらに備える。
好ましくは、前記光ビーム及び前記別の光ビームのそれぞれの光軸は、ほぼ平行である。
好ましくは、前記光ビーム及び前記別の光ビームのそれぞれの光軸は、ほぼ平行である。
好ましくは、前記光ビーム及び前記別の光ビームのそれぞれの光軸は、互いに対して傾けられている。
好ましくは、請求項1に記載のアイトラッキングシステムは、補足情報を提供するように構成されているセンサとカメラとのうちの一方をさらに備える。
好ましくは、請求項1に記載のアイトラッキングシステムは、補足情報を提供するように構成されているセンサとカメラとのうちの一方をさらに備える。
好ましくは、前記センサを備える場合、前記センサは、自己混合干渉法に基づいて軸方向の測距を実施するように構成されている。
好ましくは、前記センサを備える場合、前記センサはハイブリッドなアイトラッキングシステムとして動作するように構成されている。
好ましくは、前記センサを備える場合、前記センサはハイブリッドなアイトラッキングシステムとして動作するように構成されている。
本発明のさらなる態様において、アイトラッキングシステムを用いてユーザの眼をトラッキングする方法であって、前記眼上の所定のエリアに対して1回以上の干渉測定を行う工程と、前記眼の前眼部、網膜、又はそれらの組み合わせについて1回以上の深さプロファイル測定を行う工程と、前記1回以上の干渉測定の結果と前記1回以上の深さプロファイル測定の結果との組み合わせに基づいて、観測された深さと、眼球モデルの1つから又は機械学習アルゴリズムによって算出された深さとの間の差を最小化することによって、前記眼の位置及び方向の推定結果を決定する工程と、複数の前記測定の結果を時間空間的にフィルタリングして、異なる時間及び前記眼の異なるダイナミクスを組み込む工程と、を備える、方法が提供される。
好ましくは、該方法は、複数の前記測定の結果から位相情報を取得する工程をさらに備える。
好ましくは、該方法は、前記位相情報に基づいて高分解能の変位及び軸方向速度を算出する工程をさらに備える。
好ましくは、該方法は、前記位相情報に基づいて高分解能の変位及び軸方向速度を算出する工程をさらに備える。
好ましくは、該方法は、前記アイトラッキングシステムの性能を向上させるように、1つ以上の計算フィルタを動作する工程をさらに備える。
好ましくは、該方法は、較正プロトコルにおいて複数の前記測定の結果を結合して、グランドトゥルースな眼球モデルを生成する工程をさらに備える。
好ましくは、該方法は、較正プロトコルにおいて複数の前記測定の結果を結合して、グランドトゥルースな眼球モデルを生成する工程をさらに備える。
好ましくは、前記アイトラッキングシステムは、光源をさらに備え、前記光源は、垂直共振器型面発光レーザー(VCSEL)と、スーパールミネッセンスLED(SLED)と、複数のSLEDからなるアレイと、波長可変レーザと、複数の波長可変レーザからなるアレイと、から成る群から選択され、この場合随意で、前記光源と、検出器と、干渉計と、光入出力カプラが、フォトニック集積回路に集積されている。
本明細書に取り上げられる実施形態は、上記の問題及び当技術分野で知られる他の問題を解決するか、又は軽減するのに役立つ。例えば、本明細書に取り上げられる実施形態のうちの1つ以上は、3次元センシングを可能にする低コヒーレンス干渉法を提供して、高い干渉ゲインにより、より高いSN比(signal-to-noise ratios)をもたらす。さらに、いくつかの実施形態では、低コヒーレンス干渉法によって、約10μm未満の軸方向の分解能の眼表面の分析が可能になる。
実施形態は、さらに、周囲光の影響が小さい測定結果を提供する。その上、3次元情報が較正プロトコルに影響力を及ぼして、システムの総合的な精度を非常に向上させることが可能な眼球モデルを生成してよい。実施形態は、さらに、用途(意図推定、認知負荷の推定、及びヘルスモニタリング等)のために貴重な信号と測定結果とを提供することが可能なサッカード及びマイクロサッカードの高速トラッキングを可能にするように構成されている。
特定の状況下では、一実施形態は、干渉計を備えるアイトラッキングシステムを提供する。該システムは、さらに、光ビームを前記干渉計からユーザの眼に向けるように構成されている放出部とレンズとを備える。ベゼル領域が、前記レンズに隣接して、前記放出部は、前記レンズに隣接して配置されているか、又は前記レンズ上に配置されている。
本開示のさらなる特徴及び利点と、様々な実施形態の構造及び動作とは、添付の図面に関して下記に詳細に説明される。なお、本開示は、本明細書に説明される特定の実施形態に限定されない。そうした実施形態は、例示目的のみのために本明細書に示される。追加の実施形態は、本明細書に含有する教示に基づいて(複数の)関連技術の当業者らにとって明白であり得る。
下記の詳細な説明と共に、添付の図面は、本開示に示される様々な態様及び/又は原理を説明するとともに実証することに加えて、いくらかの実施形態を示す。添付の図面及び簡単な説明は、当業者が本開示に示される様々な態様及び/又は原理を実行することを可能にするように提供される。
実施形態は、添付の図面に関してより詳細に下記に説明され得る。下記の詳細な説明は、本明細書に説明される方法、装置、及び/又はシステムとそれらの改変形態とを読者が包括的に理解することを援助するように設けられている。従って、様々な改変形態と、本明細書に説明された方法、装置、及び/又はシステムの均等物とは、当業者らにとって明白であり得る。周知の機能及び製造の説明は、明快さ及び簡潔さを増加させるために省略されてよい。
本明細書に取り上げられる実施形態は、干渉法とイメージセンシング等の他のセンシングモダリティとに依存する干渉計ベースのシステムか、又はハイブリッドシステムを含んでよい。実施形態は、一般的に、集積光源を備え得るフォトニック集積回路を備える。非限定的な一実装形態では、掃引型光源ベースのシステムであってよい。
具体的には、例示的なシステムは、掃引型光源であって、ある速度において(例えば、約100kHzにおいて)特定の波長範囲を通じ、その出力波長の帯域幅を調整可能な掃引型光源を備える。限定によってではなく例として、波長範囲は、約5nm~約100nmであってよい。該システムは、1つ以上の光検出器を備えることが可能である。
光源及び1つ以上の光検出器は、単一のチップ上に集積されることが可能である。光源からの光は、出力光をシステムに存在するビームスプリッタと参照経路(arm)及びサンプル経路と様々な光検出器とに導くフォトニック回路の要素に結合されてよく、したがって、低コヒーレンス干渉計が形成されてよい。
代替的な実装例では、上記に説明したもの等の複数の干渉計は、ガラス基板上に分配されて、空間検出システムを形成してよい。レーザーダイオード(LD)チップ及びフォトダイオード(PD)チップが、ベゼル領域に配置される(基盤周囲のフレームに埋め込まれる)か、透かして見る(see-through)のに最も妨げとならない縁の近くに配置される。さらに別の代替的な実装例では、フォトニック導波路スプリッタ又は光スイッチを用いることによって、単一の光源が複数の干渉計によって共有されることが可能である。
図1は、一実施形態における、チップ105上の干渉計100の実装例を示す。ビーム101は、光源103からの向きである。ビーム102は、サンプル108、あるいはこの場合においては、ユーザの眼からの反射である。光源からの光は、コリメートされてから、ビームスプリッタ106によって参照経路とサンプル経路とに分割される。参照経路は、ミラー110まで上方に向かい、反射してビームスプリッタまで戻る。サンプル108及び参照からの反射光はスプリッタで再結合され、干渉パターンが検出器107によって検出される。
図2は、図1に示された干渉計100のようなチップがヘッドセット201の視認光学系に埋め込まれている軸方向測定(Aスキャン)スキーム200の例を示す。この代表的なAスキャンは、眼の主要な関心面に対応する特徴的なピークを示し、それによって、各ピークが眼の特定の深さに対応する眼の深さプロファイルを提供する。
図3は、ヘッドセットのレンズ上、レンズベゼル上、又はそれらの組み合わせ上の干渉計チップ100の可能な配置の様々な例のパネル300を示す。放出されたビームは、平行であってもよく、収束してもよい(上段)。集積回路は、下段に示されているように、レンズに完全に埋め込まれているか、ベゼル/フレームに完全に配置されているか、両方の領域に分割されて導波路を介して結合されていてよい。
図4は、図1に示されているような干渉計100に基づいた掃引型光源ベースのシステム400を示す。システム400は、ヘッドセット201に集積されて、単一のチップ内にモノリシックに集積されることが可能なレーザーダイオードとフォトダイオードとを備えてよい。干渉計ベースのアイトラッキングシステム400は、方向性カプラを使用する導波路ビームスプリッタを使用して実現することが可能である。入力/出力(光I/O)は、単一のチャンネルであってよい。そして、システム400は、高い空間分解能を提供するように、ビームステアリング装置を備えてよい。
図5は、一実施形態における方法500を示す。方法500は、システム400を有するものなど、システムが仮想又は拡張現実ヘッドセットにおいて注視ベースの対話を行うために使用される例示的なプロセスである。方法500は、ステップ502で始まる。ステップ504では、ユーザが仮想又は拡張現実ヘッドセットを装着する。そしてそのヘッドセットは、以前に説明した例示的なシステム等のアイトラッキングシステムを備えるフレームを備える。ステップ506では、方法500は、システムによって、複数の測定点からの反射率の軸方向プロファイルを反映する信号を提供する工程を備えることが可能である。
ステップ508では、方法500は、後処理アルゴリズムを介して提供された信号を分析する工程を備える。そうした処理は、複数の信号のうちの1つ以上を、角膜、強膜、虹彩、水晶体、又は網膜のような眼の構造に関連付けて分類する工程を備えてよい。そうした処理は、さらに、複数の信号のうちの1つ以上を、肌又はまつ毛に関連付けて分類する工程を備えてよい。
ステップ510では、方法500は、分類された信号を所定の参照フレーム又は眼球モデルに適合させる(フィッティング)工程を備えることが可能である。ステップ512では、方法500は、適合された信号と所定の参照フレーム又は眼球モデルとから、注視角及び/又は瞳孔中心を算出する工程を備えることが可能である。ステップ514では、方法500は、さらに、注視角及び/又は瞳孔中心等の算出されたパラメータに基づいてヘッドセットのディスプレイ上の関心点を推測する工程を備えてよい。方法500は、さらに、停留時間又は瞬目の数に基づいて決定する工程を備えてよい。方法は、ステップ516で終わる。
本明細書に説明する複数の実施形態のうちの1つ以上は、低分解能/高分解能又は長い/短い測距用途のための動的帯域幅光干渉断層撮影(OCT)を行うように構成されてよい。そうした構成例では、波長掃引型光源が、光源の掃引される帯域幅を動的に制御するように用いられてよい。短い帯域幅にわたって掃引することによって、軸方向の分解能が低くなる一方で、長い帯域幅にわたって掃引することによって、軸方向の分解能が高くなる。
さらにまた、本開示の実施形態は、ハイブリッドシステムとして構成されてよい。該ハイブリッドシステムは、SMI又は光又は音響飛行時間(acoustic time-of-flight)を用いた長距離かつより低分解能の路程センサと、高分解能のための低コヒーレンス干渉法とを結合したハイブリッドシステムを含んでよい。一般的に、そうしたハイブリッドシステムは、任意の路程測定センサとして機能するように構成されていてよい。
そうした実施形態では、該ハイブリッドシステムは、参照経路の位置を動的に最適に制御することが可能なように構成されていてよい。限定によってではなく例として、一実施形態におけるOCTセンサは、レンズから12mm離れた10mm範囲を撮像してよい。フレームが滑ったか、又はユーザが異常なアイレリーフを有する場合、係る距離は不適当であり得る。センサの低分解能かつ長距離オプションを用いて、例示的なシステムは、参照経路の長さを調節することによって、OCTセンサの10mm範囲の出発点に対して構成されてよい。
さらに別の実施形態では、該ハイブリッドシステムは、別々のコヒーレンス光源に基づいた運動推定及び速度推定のためのスペックルトラッキングのために構成されていてよい。これは、高コヒーレンス光源(空間的及び時間的な)を用いることにより、スペクトルから狭帯域を選択して、OCTセンサから路程測定と併せて運動を追跡(track)することによって達成されることが可能である。そのコヒーレント光源は、さらに、OCT光源から非常に狭い帯域を抜き取ることによって、「合成され(synthesized)」てよい。さらにまた、該システムは、路程のためのOCTとの組み合わせにおける面法線のための角度感知検出器として構成されていてよい。角度感知検出器及びOCTが同じ点から検出される場合、例示的なシステムは、軸方向の情報に加えて面法線についての情報をもたらすことが可能である。そしてそれによって、トラッキング精度/モデリング精度が向上し得る。
さらに別の実施形態では、例示的なシステムは、偏光ベースのセンシングのために構成されていてよい。例えば、該システムは、別々のチャンネルにおいて直交偏光を検出するように構成されていてよい。係る構成では、該システムは、信号におけるコントラストを高めることが可能な複屈折についての情報をもたらすことが可能である。ゆえに、セグメント化及び/又は算出がより容易になる。係る構成では、該システムは、各偏光からの結合した力の比を測定することによって、局所曲率のセンシングを可能にするように構成されていてよい。例えば、ブルースター角では、ただ1つの偏光が反射して、もう1つは透過する。
さらにまた、例示的なシステムは、OCTと併せてSMIを走査するためか、又は微小電気機械システム(MEMS)スキャナを利用してOCTを走査するために構成されていてよい。係る構成では、例示的なシステムは、3D画像の形成を可能にするように構成されている。係る構成では、該システムは、フィールド内である必要がないか、又は眼に向けることさえ必要ない追加のセンサを備えてよい。係る追加のセンサは、眼鏡のアームに存在し頬骨のテンプルに向けられていて相対距離における検知が可能であり、滑り又は振動を検知するための代替物として機能することが可能である。
一般的に、本明細書に提供される実施形態は、アイトラッキングシステムを備えてよい。該システムは、干渉計、光ビームを干渉計からユーザの眼に向けるように構成されている放出部を備えてよい。該システムは、さらに、レンズと、該レンズに隣接したベゼル領域とを備える。該放出部は、該レンズに隣接して配置されているか、又は該レンズ上に配置されている。一実装例では、該干渉計は、さらに、検出器と、参照経路と、ビームスプリッタと、ビーム整形素子と、を備える。さらにまた、一実装例では、該参照経路は約100mm未満の長さ、約80mm未満の長さ、約50mm未満の長さ、約25mm未満の長さ、又は約10mm未満の長さであることが可能である。
該干渉計は、ビームスプリッタから光ビームを出力するように構成されることが可能である。一実装形態では、該アイトラッキングシステムは、レンズとベゼル領域とを備えるヘッドセットを備えることが可能である。該アイトラッキングシステムは、さらに、空間的にコヒーレントな光源を備えることが可能である。該アイトラッキングシステムは、ビームステアリングのために構成されている走査機構と、上記に説明された第1の干渉計の光ビームにほぼ平行な別の光ビームを放出するように構成されている別の干渉計と、を備えることが可能である。そして、その各光ビームのそれぞれの光軸は、ほぼ平行であることが可能である。代替的な実装形態では、それらの光ビームのそれぞれの光軸は、傾けられていることが可能である。該アイトラッキングシステムは、さらに、補足情報を提供するように構成されているセンサ及びカメラを備えることが可能である。該センサは、自己混合干渉法に基づいて軸方向の測距を実施するように構成されることが可能である。
本明細書に提供される教示に基づいたさらに別の実装形態では、該光源は、フォトニック集積回路に集積されることが可能である。該フォトニック集積回路は、フォトニック集積回路を光源と結合するように構成されている導波路及びカプラを備えることが可能である。該カプラは、グレーティングカプラ又はマイクロ光学素子であることが可能である。該干渉計は、平面のフォトニック回路とフォトニックビームスプリッタとを備えることが可能である。該フォトニックビームスプリッタは、方向性カプラであることが可能である。
上記に説明した例示的なシステムでは、該放出部は、光ビームをユーザの眼に向けるために出力カプラを備えることが可能である。該出力カプラは、ビーム整形素子を備えることが可能である。該ビーム整形素子は、メタレンズ又は回折光学素子であることが可能である。そして、該ビーム整形素子は、メタレンズと回折光学素子とを備える。
該参照経路は、導波路と、検出ポートを備える方向性カプラと、を備えることが可能である。該方向性カプラは、2×2、50:50の端部を備えることが可能である。そして、該検出器は、該方向性カプラに結合した複数の光検出器を含むことが可能である。該光検出器は、シリコンアバランシェ光検出器を含むことが可能である。そして、該光検出器は、同じチップ上に光源と集積されてよい。該システムがフォトニック集積回路を備える実装形態では、該回路は、透明基板を備えることが可能である。例えば、該基板は、さらに、ガラスであってよい。さらにまた、該システムは、該光源及び該光検出器を駆動するように構成されている電気コントローラ回路及び算出ユニットを備えることが可能である。
さらに別の実施形態では、上記に説明したアイトラッキングシステムを用いてユーザの眼をトラッキングするための方法が提供される。該方法は、該眼上の所定のエリアに対して1回以上の干渉測定を行う工程と、該眼の前眼部、網膜、又はそれらの組み合わせについて1回以上の深さプロファイル測定を行う工程と、を備えることが可能である。該方法は、さらに、1回以上の干渉測定の結果と1回以上の深さプロファイル測定の結果との組み合わせに基づいて、観測された深さと、眼球モデル及び機械学習アルゴリズムのうちの1つから算出された深さとの間の差を最小化することによって、眼の位置及び方向の推定結果を決定する工程を備えることが可能である。
さらにまた、該方法は、さらに、複数の測定結果を時間空間的にフィルタリングして、異なる時間及び眼の異なるダイナミクスを組み込む工程を備えることが可能である。該方法は、さらに、複数の測定結果から位相情報を取得する工程と、該位相情報に基づいて高分解能の変位及び軸方向速度を算出する工程と、を備えることが可能である。該方法は、さらに、アイトラッキングシステムの性能を向上させるように、1つ以上の計算フィルタを動作する工程を備えることが可能である。該方法は、さらに、較正プロトコルにおいて複数の測定結果を結合して、グランドトゥルースな眼球モデルを生成する工程を備えることが可能である。
関連技術の当業者(ら)は、上記に説明した例示的な実施形態の様々な適用及び改変形態が本開示の範囲及び範囲から逸脱することなく達成されることが可能なことを容易に理解し得る。それゆえに、添付の特許請求の範囲の範囲内において、本開示の教示が本明細書に具体的に説明されるやり方以外で実施されてよいことが理解されることが可能である。
Claims (15)
- アイトラッキングシステムであって、
干渉計と、
光ビームを前記干渉計からユーザの眼に向けるように構成されている放出部と、
レンズと、
前記レンズに隣接したベゼル領域と、を備え、
前記放出部は、前記レンズに隣接して配置されているか、又は前記レンズ上に配置されている、アイトラッキングシステム。 - 前記干渉計は、検出器と、参照経路と、ビームスプリッタと、ビーム整形素子と、を備える、請求項1に記載のアイトラッキングシステム。
- 前記参照経路は、約100mm未満と、約80mm未満と、約50mm未満と、約25mm未満と、約10mm未満と、の長さから成る群から選択された長さを有する、請求項2に記載のアイトラッキングシステム。
- 前記干渉計は、前記ビームスプリッタからの前記光ビームを出力するように構成されている、請求項2に記載のアイトラッキングシステム。
- ヘッドセットをさらに備え、前記ヘッドセットは、前記レンズと、前記ベゼル領域と、を備える、請求項1に記載のアイトラッキングシステム。
- 前記干渉計は、空間的にコヒーレントな光源を備える、請求項1に記載のアイトラッキングシステム。
- 前記干渉計は、ビームステアリングのために構成されている走査機構を備える、請求項1に記載のアイトラッキングシステム。
- 別の光ビームを放出するように構成されている別の干渉計をさらに備える、請求項1に記載のアイトラッキングシステム。
- 前記光ビーム及び前記別の光ビームのそれぞれの光軸が、ほぼ平行である、請求項8に記載のアイトラッキングシステム。
- 前記光ビーム及び前記別の光ビームのそれぞれの光軸が、互いに対して傾けられている、請求項8に記載のアイトラッキングシステム。
- 補足情報を提供するように構成されているセンサとカメラとのうちの一方をさらに備える、請求項1に記載のアイトラッキングシステム。
- a)前記センサを備える場合、前記センサは、自己混合干渉法に基づいて軸方向の測距を実施するように構成されているか、
b)前記センサを備える場合、前記センサはハイブリッドなアイトラッキングシステムとして動作するように構成されている、
請求項11に記載のアイトラッキングシステム。 - アイトラッキングシステムを用いてユーザの眼をトラッキングする方法であって、
前記眼上の所定のエリアに対して1回以上の干渉測定を行う工程と、
前記眼の前眼部、網膜、又はそれらの組み合わせについて1回以上の深さプロファイル測定を行う工程と、
前記1回以上の干渉測定の結果と前記1回以上の深さプロファイル測定の結果との組み合わせに基づいて、観測された深さと、眼球モデルの1つから又は機械学習アルゴリズムによって算出された深さとの間の差を最小化することによって、前記眼の位置及び方向の推定結果を決定する工程と、
複数の前記測定の結果を時間空間的にフィルタリングして、異なる時間及び前記眼の異なるダイナミクスを組み込む工程と、を備える、方法。 - a)複数の前記測定の結果から位相情報を取得する工程をさらに備えるか、又は、
b)較正プロトコルにおいて複数の前記測定の結果を結合して、グランドトゥルースな眼球モデルを生成する工程をさらに備え、
a)の場合、
i)前記位相情報に基づいて高分解能の変位及び軸方向速度を算出する工程をさらに備えるか、又は、
ii)前記アイトラッキングシステムの性能を向上させるように、1つ以上の計算フィルタを動作させる工程をさらに備える、請求項13に記載の方法。 - 光源をさらに備え、前記光源は、垂直共振器型面発光レーザー(VCSEL)と、スーパールミネッセンスLED(SLED)と、複数のSLEDからなるアレイと、波長可変レーザと、複数の波長可変レーザからなるアレイと、から成る群から選択され、この場合随意で、前記光源と、検出器と、干渉計と、光入出力カプラとが、フォトニック集積回路に集積されている、請求項1に記載のアイトラッキングシステム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063105867P | 2020-10-26 | 2020-10-26 | |
US63/105,867 | 2020-10-26 | ||
US202117228634A | 2021-04-12 | 2021-04-12 | |
US17/228,634 | 2021-04-12 | ||
PCT/US2021/056374 WO2022093656A1 (en) | 2020-10-26 | 2021-10-23 | Systems and methods for eye tracking in a head-mounted device using low-coherence interferometry |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023547310A true JP2023547310A (ja) | 2023-11-10 |
Family
ID=78676664
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023516119A Pending JP2023547310A (ja) | 2020-10-26 | 2021-10-23 | 低コヒーレンス干渉法を用いたヘッドマウントデバイスにおけるアイトラッキング用のシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP4232865A1 (ja) |
JP (1) | JP2023547310A (ja) |
KR (1) | KR20230088909A (ja) |
CN (1) | CN116406449A (ja) |
WO (1) | WO2022093656A1 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019025871A1 (en) * | 2017-08-01 | 2019-02-07 | Opher Kinrot | OPTICAL SYSTEMS AND METHODS FOR ROTATION MOTION MEASUREMENT |
US11112613B2 (en) * | 2017-12-18 | 2021-09-07 | Facebook Technologies, Llc | Integrated augmented reality head-mounted display for pupil steering |
-
2021
- 2021-10-23 WO PCT/US2021/056374 patent/WO2022093656A1/en active Application Filing
- 2021-10-23 CN CN202180073090.5A patent/CN116406449A/zh active Pending
- 2021-10-23 KR KR1020237016946A patent/KR20230088909A/ko active Search and Examination
- 2021-10-23 JP JP2023516119A patent/JP2023547310A/ja active Pending
- 2021-10-23 EP EP21810491.7A patent/EP4232865A1/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
KR20230088909A (ko) | 2023-06-20 |
EP4232865A1 (en) | 2023-08-30 |
CN116406449A (zh) | 2023-07-07 |
WO2022093656A1 (en) | 2022-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11868522B2 (en) | Method for ascertaining a viewing direction of an eye | |
KR101953704B1 (ko) | 광학 흐름을 사용한 안구 추적 | |
JP2023026500A (ja) | 眼球の傾き位置検知装置、表示装置、及び検眼装置 | |
EP4235258A2 (en) | Method and system for tracking eye movement in conjunction with a light scanning projector | |
US9217707B2 (en) | Method and apparatus for eye movement tracking in spectral optical coherence tomography (SD-OCT) | |
CN112485904B (zh) | 眼睛调节距离测量设备和方法及头戴式显示器 | |
CN114384695B (zh) | 眼动追踪装置 | |
US11435578B2 (en) | Method for detecting a gaze direction of an eye | |
US11280603B2 (en) | Optical systems and methods for measuring rotational movement | |
US11430262B1 (en) | Eye tracking using optical coherence methods | |
JP7388507B2 (ja) | 瞳孔又は角膜の位置検知装置用面発光レーザ、光源装置及び眼球の傾き位置検出装置 | |
CN116457717A (zh) | 用于智能眼镜的光学装置 | |
US11334153B2 (en) | Optical device, retinal projection display, head-mounted display, and input device | |
JP6012252B2 (ja) | 光断層画像撮像装置 | |
JP2023547310A (ja) | 低コヒーレンス干渉法を用いたヘッドマウントデバイスにおけるアイトラッキング用のシステム及び方法 | |
RU2724442C1 (ru) | Устройство и способ определения расстояния фокусировки глаза для наголовного устройства отображения, наголовное устройство отображения | |
US11714282B2 (en) | Compact array light source for scanning display | |
US20240310906A1 (en) | Eye movement determination | |
CN117813540A (zh) | 眼动追踪 | |
CN111770719B (zh) | 通过迈克尔逊型自由光束干涉仪产生二维干涉图的方法 | |
US20230288986A1 (en) | Method for a pupil detection and/or pupil tracking, optical system and smart glasses | |
US10963046B1 (en) | Drift corrected eye tracking | |
CN117617891A (zh) | 一种扫描激光眼屈光间质地形图测量装置 | |
WO2023078689A1 (en) | Retinal imaging | |
CN111770719A (zh) | 通过迈克尔逊型自由光束干涉仪产生二维干涉图的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240805 |