TW202315398A - 用於預測凝視距離的光學系統和方法 - Google Patents
用於預測凝視距離的光學系統和方法 Download PDFInfo
- Publication number
- TW202315398A TW202315398A TW111129025A TW111129025A TW202315398A TW 202315398 A TW202315398 A TW 202315398A TW 111129025 A TW111129025 A TW 111129025A TW 111129025 A TW111129025 A TW 111129025A TW 202315398 A TW202315398 A TW 202315398A
- Authority
- TW
- Taiwan
- Prior art keywords
- user
- gaze
- eyes
- eye
- distance
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000003287 optical effect Effects 0.000 title claims description 112
- 210000001508 eye Anatomy 0.000 claims abstract description 282
- 230000004424 eye movement Effects 0.000 claims abstract description 19
- 230000000007 visual effect Effects 0.000 claims description 40
- 230000033001 locomotion Effects 0.000 claims description 30
- 230000008859 change Effects 0.000 claims description 25
- 238000012800 visualization Methods 0.000 claims description 7
- 239000004973 liquid crystal related substance Substances 0.000 claims description 5
- 230000004044 response Effects 0.000 description 41
- 210000001747 pupil Anatomy 0.000 description 37
- 230000003190 augmentative effect Effects 0.000 description 33
- 238000010801 machine learning Methods 0.000 description 16
- 230000001133 acceleration Effects 0.000 description 14
- 239000011521 glass Substances 0.000 description 13
- 230000005855 radiation Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000015654 memory Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 230000004308 accommodation Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000004438 eyesight Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 210000000554 iris Anatomy 0.000 description 5
- 239000007788 liquid Substances 0.000 description 5
- 230000004075 alteration Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 4
- 210000004087 cornea Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 239000004020 conductor Substances 0.000 description 3
- 210000000613 ear canal Anatomy 0.000 description 3
- 239000011263 electroactive material Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 2
- 241000746998 Tragus Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000004418 eye rotation Effects 0.000 description 2
- 230000008713 feedback mechanism Effects 0.000 description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 229910052744 lithium Inorganic materials 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000003786 sclera Anatomy 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 241000692783 Chylismia claviformis Species 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 241000320126 Pseudomugilidae Species 0.000 description 1
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 238000002570 electrooculography Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 230000019612 pigmentation Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000004478 pupil constriction Effects 0.000 description 1
- 230000010344 pupil dilation Effects 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 208000014733 refractive error Diseases 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 210000001210 retinal vessel Anatomy 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000021317 sensory perception Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0185—Displaying image at variable distance
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Eye Examination Apparatus (AREA)
Abstract
頭戴式顯示器系統可包括一眼睛追蹤子系統及一凝視距離預測子系統。該眼睛追蹤子系統可經配置以至少判定一使用者之眼睛的一凝視方向及該使用者之眼睛的一眼睛移動速度。該凝視距離預測子系統可經配置以基於該使用者之眼睛的該眼睛移動速度及該凝視方向而在該使用者之眼睛達到與經預測凝視距離相關聯的一凝視狀態之前預測該使用者之眼睛將變為凝視的一凝視距離。本文亦揭示額外方法、系統及裝置。
Description
本發明關於一種用於預測凝視距離的光學系統和方法。
相關申請案之交互參考
本申請案主張於2021年8月5日申請之題為「OPTICAL SYSTEMS AND METHODS FOR PREDICTING FIXATION DISTANCE」的美國臨時專利申請案第63/229,539號之權益,該申請案之全部揭示內容以引用的方式併入本文中。
頭戴式顯示器(HMD)係頭戴式裝置,其可包括近眼顯示器(NED)以向使用者呈現視覺內容。視覺內容可包括使得使用者將內容視為三維(3D)之立體影像。HMD可用於教育、遊戲、健康照護、社會互動及各種其他應用。
本發明之一態樣為一種頭戴式光學系統,其包含:一眼睛追蹤子系統,其經組態配置以至少判定一使用者之眼睛的一凝視方向及該使用者之眼睛的一眼睛移動速度;以及一凝視距離預測子系統,其經組態配置以基於該使用者之眼睛的該眼睛移動速度及凝視方向而在該使用者之眼睛達到與經預測凝視距離相關聯的一凝視狀態之前預測該使用者之眼睛將變為凝視的一凝視距離。
本發明之另一態樣為一種操作一頭戴式光學裝置之電腦實施方法,該方法包含:藉由一眼睛追蹤元件來量測一使用者之眼睛的一凝視方向及移動速度;以及藉由至少一個處理器且基於該使用者之眼睛的經量測凝視方向及移動速度而在該使用者之眼睛達到與經預測凝視距離相關聯的一凝視狀態之前預測該使用者之眼睛的一凝視距離。
本發明之另一態樣為一種非暫時性電腦可讀電腦可讀取媒體,其包含一或多個電腦可執行指令,該等電腦可執行指令在當由一計算裝置之至少一個處理器執行時,所述電腦可執行指令使得該計算裝置:藉由一眼睛追蹤元件來量測一使用者之眼睛的一凝視方向及移動速度;並且基於該使用者之眼睛的經量測凝視方向及移動速度而在該使用者之眼睛達到與經預測凝視距離相關聯的一凝視狀態之前預測該使用者之眼睛的一凝視距離。
一些HMD可經配置以取決於使用者凝視之處而改變視覺內容。舉例而言,變焦系統可用於基於使用者凝視方向及/或凝視深度而調整光學元件之焦距。藉助於另一實例,凝視驅動之顯像(gaze-driven rendering)(例如,注視點顯像、顯像景深等)係以下概念:使用者凝視的視覺內容之部分保持焦點對準,而遠離使用者之凝視的視覺內容之一部分(例如,視覺周邊中或不同感知深度下之內容)係模糊的。此技術模擬個人之真實世界體驗,此係由於眼睛自然地聚焦在個人視圖之中心中的及凝視距離處的物件上,且個人視覺之其他部分(例如,周邊視覺、不同深度下之物件)可在實體上被感知為離焦。因此,凝視驅動之顯像可為使用者產生更沉浸式且逼真之體驗。另外,凝視驅動之顯像可產生減小之計算要求,此係由於遠離使用者焦點之視覺內容的部分並未以高清晰度充分顯像。此可減小HMD之大小及/或重量。然而,基於凝視之顯像系統可在追蹤使用者眼睛凝視之處之後在調整焦點及模糊時經歷系統延遲。隨著延遲增加,使用者體驗可能在影像品質及/或舒適度方面降低。
在另一實例中,藉由僅在視覺上停留在所顯示物件、場景、詞、圖標或其類似者上,追蹤可使得使用者能夠與視覺內容互動。此視覺互動可用於取代或輔助傳統手持式控制器。
在又一實例中,擴增實境眼鏡係在透視顯示器中向使用者顯示內容之一種類型的HMD。判定使用者在使用者前方之真實世界環境中凝視或不久將凝視之處可使得擴增實境系統能夠獲得關於使用者查看及正關注的內容之資訊。判定使用者之眼睛的焦距對於為了舒適或情境而調整所顯示內容而言可為重要的。
判定使用者凝視之處可藉由眼睛追蹤系統實現。如下文進一步解釋,眼睛追蹤系統可採用光學追蹤、超音波追蹤或其他類型之追蹤(例如,眼電描記術(EOG)、搜尋線圈等)以判定使用者之眼睛的凝視方向。舉例而言,攝影機(例如,可見光攝影機及/或紅外線攝影機)或超音波收發器可在使用者之眼睛處經引導且可感測反射光或聲音以產生指示使用者之瞳孔、虹膜、鞏膜及/或角膜位於何處的資料。處理器可使用此感測器資料來計算凝視方向。
當個人凝視不同距離處之物件時,眼睛在相反方向上(例如,朝內或朝外)移動以使物件聚焦且重疊來自各眼睛之影像以用於立體視覺。舉例而言,眼睛將以較寬凝視角定向以查看在遠處之物件且以較窄凝視角定向以查看在近處之物件。眼睛在相反方向上移動之此程序被稱為「聚散度(vergence)」。
圖1A係繪示聚散度之概念的圖式。個人可凝視與個人之眼睛100相距第一凝視距離D1的第一相對靠近物件以及相距第二凝視距離D2之第二相對遙遠物件。聚散角度可經定義為個人之眼睛100的各別凝視方向之間的角度。如圖1A中所繪示,當個人凝視第一物件時,眼睛100可具有第一聚散角度α
1。當個人凝視第二物件時,眼睛100可具有第二聚散角度α
2。個人之眼睛100的瞳孔可由瞳孔間距離(IPD)分隔開。
給定凝視方向及IPD(例如,經眼睛追蹤系統判定),可計算或估計聚散角度。在已知聚散角度後,凝視距離D1、D2可使用以下方程式計算:
凝視距離 = (IPD/2)/tan( 聚散角度 /2)。
調節係各眼睛之光焦度改變的程序,例如經由更改眼睛之晶狀體形狀,以維持清晰影像或隨著凝視距離變化而聚焦於物件上。為了最清晰地查看物件或場景,調節度及聚散度兩者應係完整的。
圖1B繪示個人之眼睛轉動(verge)及調節(accommodate)以聚焦在新距離處之物件的範例性回應時間之曲線圖102。實線繪示聚散度(vergence)之回應時間,且虛線繪示調節度(accommodation)之回應時間。如曲線圖102中所展示,當人凝視新距離處之物件時,通常眼睛在約一秒(1000 ms)內調整為實質上恰當的聚散及調節狀態。眼睛在約二至三秒(2000至3000 ms)之後實質上維持聚散及調節狀態,同時在物件靜止的情況下繼續凝視物件。
本揭示內容大體上係關於用於預測使用者之眼睛將凝視之焦距(例如,凝視距離)的系統、裝置及方法。所述系統可包括:一眼睛追蹤子系統,其經配置以至少追蹤使用者之眼睛的凝視方向及移動速度;以及一凝視距離預測子系統,其經配置以基於來自該眼睛追蹤子系統之資訊而預測使用者之眼睛將停留在的凝視距離。本揭示內容之系統及方法可諸如藉由提供早期資訊以操作變焦光學元件及/或近眼顯示器而減少光學系統(例如,頭戴式光學系統)之整個系統延遲。減少延遲可諸如在舒適性及影像品質方面改良使用者之體驗。
圖2繪示根據本揭示內容之至少一個具體實例的頭戴式光學系統200之方塊圖。頭戴式光學系統200可包括眼睛追蹤子系統202及凝視距離預測子系統204。在一些具體實例中,頭戴式光學系統200可包括近眼顯示器206,諸如在頭戴式光學系統200係或包括頭戴式顯示器之情況下。在額外具體實例中,頭戴式光學系統200可包括變焦光學元件208。變焦光學元件208可包括於頭戴式顯示器中及/或包括於不帶有近眼顯示器206之系統中。舉例而言,變焦光學元件208可包括於經配置以校正及/或補充使用者之視覺的眼鏡裝置中。
眼睛追蹤子系統202可經配置以追蹤使用者之眼睛的凝視方向及/或移動速度。眼睛追蹤子系統202可包括用於追蹤使用者之各眼睛的一組元件。兩組眼睛追蹤元件之組合可用以感測使用者之眼睛的聚散角度以判定(例如,估計)使用者正凝視之距離(亦被稱為凝視深度(gaze depth或fixation depth))。在一些實例中,眼睛追蹤子系統202可包括經配置以用於感測瞳孔、角膜、視網膜、鞏膜、角膜緣或指示凝視方向之其他眼睛特徵之位置的實質上透明之透鏡元件(例如,波導)。在一些具體實例中,眼睛追蹤元件可包括安裝至頭戴式光學系統200之框架且導向使用者之眼睛的攝影機(例如,可見光攝影機及/或紅外光攝影機)。下文參考圖10及圖11呈現實例眼睛追蹤元件及其特徵之其他描述。
凝視距離預測子系統204可經配置以在使用者之眼睛達到與經預測凝視距離相關聯的最終凝視狀態之前預測使用者之眼睛將變為凝視的凝視距離。舉例而言,凝視距離預測子系統204可在使用者之眼睛達到最終凝視狀態之前在約600 ms內預測凝視距離。在額外實例中,諸如在較短眼睛移動(例如,凝視與眼睛之當前凝視的視角相對靠近之新物件)的情況下,凝視距離預測子系統204可在使用者之眼睛達到最終凝視狀態之前在約400 ms內、約200 ms內、約150 ms內、約100 ms內、約50 ms內或約20 ms內預測凝視距離。凝視距離預測子系統204可包括至少一個處理器,該至少一個處理器自眼睛追蹤子系統202接收指示使用者之眼睛移動速度及凝視方向的凝視資訊210。凝視距離預測子系統204可使用凝視資訊210以作出對凝視距離之預測212。
在一些具體實例中,凝視距離預測子系統204可採用機器學習模型來作出凝視距離預測212。舉例而言,機器學習模組可經配置以訓練機器學習模型以促進並改良作出預測212。機器學習模型可使用任何合適之系統、演算法及/或模型,其可基於被稱為訓練資料之樣本資料而建構及/或實施數學模型,以便作出預測或決策而無需為此而經明確程式化。機器學習模型之實例可包括但不限於人造神經網路、決策樹、支援向量機、回歸分析、貝氏網路、基因演算法等等。可用於建構、實施及/或開發機器學習模型之機器學習演算法可包括但不限於受監督學習演算法、無監督學習演算法、自主學習演算法、特徵學習演算法、稀疏詞典學習演算法、異常偵測演算法、機器人學習演算法、關聯性規則學習方法及其類似者。
在一些實例中,機器學習模組可訓練機器學習模型(例如,回歸模型)以藉由分析來自眼睛追蹤子系統202之資料而判定凝視距離預測212。供應至機器學習模型之初始訓練資料集可包括表示眼睛位置、眼睛速度及/或眼睛加速度之資料。機器學習模型可包括基於新資訊而更新模型之演算法,新資訊諸如為由用於特定使用者之眼睛追蹤子系統202產生的資料、來自使用者或技術人員之回饋及/或來自另一感測器(例如,光學感測器、超音波感測器等)的資料。可訓練機器學習模型以忽略或酌減雜訊資料。
由凝視距離預測子系統204產生之凝視距離預測212可以多種方式使用。舉例而言,在包括變焦光學元件208之頭戴式光學系統200中,凝視距離預測212可用於對變焦光學元件208作出適當光焦度改變。此可使得一對變焦眼鏡及/或頭戴式顯示器能夠在使用者之自然地聚散及/或調節以達到與凝視距離預測212相關聯的穩定凝視狀態之前、同時或僅稍微之後作出光焦度改變。由於預測212可在使用者之眼睛達到最終凝視狀態之前經判定,因此在基於量測實際凝視距離而作出光焦度改變的情況下,可比原本可能之情況更早地作出光焦度改變。
若頭戴式光學系統200包括近眼顯示器206,則凝視距離預測212可用以更改所顯示之視覺內容,以便向使用者提供焦點提示(例如,在與凝視距離預測212不同之感知深度下及/或在遠離凝視方向的所顯示之視覺內容之周邊處的模糊視覺內容)。此等焦點提示可在使用者之自然地聚散及/或調節以達到穩定凝視狀態之前、同時或僅稍微之後而產生。由於可以在使用者之眼睛達到最終凝視狀態之前判定預測212,因此如果在基於量測實際凝視距離而呈現焦點提示,則可比原本可能之情況而更早地產生焦點提示。
變焦光學元件208(若存在)可為可改變諸如焦距/光焦度等至少一個光學性質之任何光學元件。在一些實例中,變焦光學元件208可為實質上透明之元件,使用者可經由該元件凝視且該元件具有可按需求更改之至少一個光學性質(例如,光焦度、焦距、像散校正等)。舉例而言,變焦光學元件208可包括所謂的「液體透鏡」、可變形鏡面、電驅動變焦透鏡、機械可調式透鏡等等。在液體透鏡的情況下,該液體透鏡可包括實質上透明之支撐元件、至少沿著可變形元件之周邊耦接至支撐元件的實質上透明之可變形元件,以及安置於支撐元件與可變形元件之間的實質上透明之可變形介質。(例如,電性地及/或機械地)改變可變形元件及可變形介質之形狀可改變變焦光學元件208之至少一個光學性質(例如,焦距)。
液體透鏡亦可包括變焦致動器,該變焦致動器經配置以在致動時改變形狀且因此改變變焦光學元件208之至少一個光學性質。舉例而言,變焦致動器可包括機械致動器、機電致動器、壓電致動器、靜電致動器或可經配置及定位以將致動力施加至可變形元件之周邊區的其他致動器。致動力可使可變形介質流動且使可變形元件更改其形狀(例如,變得更凹入及/或更凸起、橫向地移位光軸等等),由此使焦距或其他光學性質改變。
在額外具體實例中,可變形元件可包括一或多種電活性材料(例如,實質上透明之電活性聚合物),所述材料可在向其施加電壓後形狀改變。在一些實例中,電活性材料可由耦接至可變形元件之至少一個實質上透明之電極致動。所述電極可包括實質上透明之導電材料及/或不透光導電材料,該不透光導電材料係以對使用者實質上透明之方式施加的。在此後一情況下,舉例而言,所述電極可包括足夠薄之導電材料排,其可為筆直及/或彎曲的(例如,波浪形)以使得自使用者視角來看,變焦光學元件208展現實質透明度。
在一些實例中,參考給定參數、性質或條件之術語「實質上」及「實質」可指代所屬技術領域中具有通常知識者將理解在小程度差異的情況下,諸如在可接受製造公差內符合給定參數、性質或條件的程度。舉例而言,實質上符合之參數可為至少約90%符合、至少約95%符合、至少約99%符合或完全符合。
在額外實例中,變焦光學元件208可包括液晶電活性材料,該液晶電活性材料可用以在向其施加電壓之後改變焦距。
根據本揭示內容之頭戴式光學系統200可減少或消除習知光學系統中的延遲,此可在舒適性、沉浸式及影像品質方面改良使用者之體驗。
圖3係根據本揭示內容之至少一個具體實例的展示用於眼睛之完全會聚之峰值速度與回應幅度之間的關係之曲線圖300。聚散度眼睛移動遵循可預測圖案;其峰值速度及最終回應幅度係直接相關的。此關係被稱為「主序」。
曲線圖300繪示用於眼睛會聚移動之聚散度主要排序曲線圖。會聚係指眼睛朝內移動,以便凝視在更近距離處之物件。對於會聚,峰值速度(以度/秒為單位)與最終回應幅度(以度為單位)之間的關係通常係線性的,其中信賴界限(confidence bounds)之分散隨著回應幅度及峰值速度增大而增大。發散是指眼睛朝外移動,以便凝視在更遠距離處之物件。聚散度主要排序關係(vergence main sequence relationship)在方向上是唯一的,意謂眼睛會聚可遵循與發散移動不同之主要排序斜率及截距。本揭示內容之系統及裝置可經配置以諸如藉由建立用於會聚及用於發散之不同演算法來考慮此等差異,以改良預測模型的準確度。
各個別使用者之聚散度主要排序關係對於會聚及發散回應兩者亦係唯一的。如上文所提及,本揭示內容之系統可採用並更新機器學習模型以準確地預測特定使用者之最終凝視距離。舉例而言,校準程序可設定及/或改良初始效能,且接著系統可在使用期間連續地或週期性地更新經模型化主序關係。在一些具體實例中,最初可基於諸如來自人群規範之訓練資料集而使用用於會聚及發散之基線預測模型。此基線預測模型可在使用者利用系統時得以更新及個性化。在此情況下,預測可在使用者利用系統時隨時間推移而變得更準確。
使用峰值速度與回應幅度之間的關係,本揭示內容之系統及裝置可預測在眼睛達到其最終靜止位置之前正在進行的眼睛聚散移動幅度將有多大。可在聚散度回應完成之前在約100 ms與約600 ms之間出現聚散度回應峰值速度。此時間取決於聚散度變化之最終幅度。舉例而言,較大回應幅度相比於較小回應幅度而往往經歷峰值速度與回應結束之間的較大時間差。藉由使用峰值眼睛移動速度來估計最終凝視深度位置(例如,聚散角度),系統可在眼睛到達之前將近眼顯示器及/或變焦光學元件導向適當焦距,由此減小總體端對端延遲。
圖4A、圖4B及圖4C包括根據本揭示內容之至少一個具體實例的三個各別曲線圖400A、400B及400C,其分別展示在會聚動作期間之眼睛移動的位置、速度及加速度。為了識別何時達到峰值速度,系統可使用聚散加速度資料,其可根據眼睛追蹤元件而計算為位置之第二導數。當加速度超過0°/s
2時,達到速度峰值。系統接著可使用定製或預負載主序關係來預測最終聚散角度之位置及因此凝視距離之位置。圖4A至圖4C繪示聚散位置、聚散速度及聚散加速度如何相關。
在圖4A之位置曲線圖400A中,在一時段內展示眼睛之實例聚散位置。位置係依據屈光度表示之角位置,該角位置可與聚散角度相關。聚散位置自0屈光度轉變至約2.5屈光度且在約1250 ms內(約1.25秒)達到實質上穩定狀態。
圖4B之速度曲線圖400B展示與位置曲線圖400A之聚散位置對準的眼睛之實例聚度速度。聚散速度係以屈光度/秒表示之角速度。速度快速增加且在約400 ms(約0.4秒)內在約5屈光度/秒達到峰值,其後速度減緩直至在約1250 ms內在穩定狀態下達到實質上零。
圖4C之加速度曲線圖400C展示與位置曲線圖400A的聚散位置及速度曲線圖400B之聚散速度對準的眼睛之實例聚散加速度。聚散加速度係以屈光度/秒表示之角加速度。加速度在約250 ms(約0.25秒)內達到峰值且在速度達到峰值的同時下降至低於零,此發生在約400 ms內。當速度減緩時,加速度為負。
圖5係根據本揭示內容之至少一個具體實例的繪示用於眼睛之粗略對準回應的實際眼睛移動資料(實線)及疊對模型(虛線)之曲線圖500。如圖3中可見,主序對於低於約4°之回應幅度通常為線性的。隨著回應幅度增加超過約4°,描述主序之回歸的邊界(例如,信賴界)增加。此意謂若使用用於較小回應之相同演算法,則用於較大回應之最終回應幅度可為不太可預測的。對於凝視距離之較大變化,此可影響所提出之方法的效能。
根據本揭示內容之系統可藉由利用大腦如何控制聚散度回應來改良此方法之效能。起初,眼睛聚散移動係由一陣神經放電起始。即使不存在視覺輸入(例如,光斷開),但此初始回應將繼續完成。當凝視角接近其最終目的地時,大腦中之視覺系統切換至使用視覺資訊(例如,模糊及/或聚散回饋)以精細地調整聚散位置以匹配所要受關注物件之凝視距離。因此,當眼睛在新凝視距離處轉動時,大腦中存在粗略聚散度調整(例如,初始回應)及精細聚散度調整(例如,回應之後部分)。隨著幅度增大,精細調整變成總回應之更重大部分。當使用主序預測性方法時,精細調整比粗略調整更為可變,且因此更不可預測。
粗略調整展示於圖5中,其中實際眼睛速度資料通常遵循對資料之二次擬合。精細調整展示於圖5中在曲線圖500之右側,其中眼睛速度資料移動遠離對資料之二次擬合。此圖中的對資料之二次擬合(虛線)展示出:在不存在視覺回饋且回應僅由粗略對準回應驅動的情況下,聚散度回應幅度將大致如何。
圖6係根據本揭示內容之至少一個具體實例的展示用於眼睛之粗略會聚之峰值速度與回應幅度之間的關係之曲線圖600。與繪示完全回應幅度之圖3之曲線圖300相比,曲線圖600僅繪示經預測粗略回應幅度,包括粗略調整及精細調整兩者。在將圖6與圖3進行比較時,當僅使用更可預測之粗略回應估計時,主序回歸之方差顯著減小且更加線性。此技術可進一步磨練前述預測性演算法及/或機器學習模型。由於經由使用而搜集更多凝視資料及其動態性質,因此本揭示內容之系統可將粗略回應幅度估計與實際回應幅度進行比較以便進一步校準並增加預測模型的準確度。
當在眼睛達到穩定狀態位置之前依次產生多個聚散度回應時,將遇到此方法之另一挑戰。在此類情況下,僅獲取速度信號中之第一峰值可使經預測最終回應幅度不準確。為了抵消此影響,系統可識別速度信號中之所有峰值(例如,當加速度值超過零時)且可對預期幅度連續求和以改良最終凝視距離之預測。
圖7係根據本揭示內容之至少一個具體實例的繪示操作頭戴式光學裝置之方法700的流程圖。在操作710處,可諸如藉由眼睛追蹤元件來量測使用者之眼睛的凝視方向及移動速度。操作710可以多種方式執行。舉例而言,眼睛追蹤元件可如參考圖2、圖10及/或圖11所描述而起作用。
在操作720處,可在使用者之眼睛達到與經預測凝視距離相關聯的最終凝視狀態之前預測使用者之眼睛的凝視距離。可在最終凝視狀態之前在約600 ms內執行此預測。操作710可以多種方式執行。舉例而言,可藉由至少一個處理器基於使用者之眼睛的經量測凝視方向及移動速度而作出預測。可判定眼睛之峰值速度,其可用於預測眼睛何時將達到穩定狀態。在一些具體實例中,機器學習模型可用於作出預測。
方法700亦可包括額外操作。舉例而言,可基於使用者之眼睛的經預測凝視距離而更改變焦光學元件之至少焦距(例如,該焦距更改以實質上匹配該經預測凝視距離)。可藉由(例如,頭戴式顯示器之)近眼顯示器向使用者之眼睛呈現視覺內容,且該視覺內容之部分在與經預測凝視距離不同的感知深度下可為模糊的。在一些實例中,可藉由僅完全顯像使用者之視野內的視覺內容來實現該模糊,此可轉而減少整個系統之計算要求(且因此減小大小及重量)。此模糊可在使用者之眼睛轉動以達到凝視距離之前完成。
因此,本揭示內容包括可用於在眼睛達到凝視中之穩定狀態之前預測使用者之眼睛凝視距離的系統、裝置以及方法。所揭示概念可減少頭戴式光學系統之系統延遲,該頭戴式光學系統可例如是顯像呈現給使用者之視覺內容的焦點/模糊提示之頭戴式顯示器及/或可改變焦距(例如,光焦度)的變焦光學元件。
本揭示內容之具體實例可包括各種類型之人工實境系統或結合各種類型之人工實境系統加以實施。人工實境係在呈現給使用者之前已以某一方式調整之實境形式,其可包括例如虛擬實境、擴增實境、混合實境、混雜實境或其某一組合及/或衍生物。人工實境內容可包括完全電腦產生之內容或與所俘獲之(例如,真實世界)內容組合的電腦產生之內容。人工實境內容可包括視訊、音訊、觸覺回饋或其某一組合,其中之任一者可在單一通道中或在多個通道中呈現(諸如,對觀看者產生三維(3D)效應之立體視訊)。另外,在一些具體實例中,人工實境亦可與用以例如在人工實境中產生內容及/或以其他方式用於人工實境中(例如,在人工實境中執行活動)之應用程式、產品、配件、服務或其某一組合相關聯。
人工實境系統可以各種不同外觀尺寸及配置來實施。一些人工實境系統可設計為在無近眼顯示器(NED)之情況下工作。其他人工實境系統可包括NED,該NED亦提供對真實世界(諸如,圖8中之擴增實境系統800)之可見性或在視覺上使得使用者沉浸在人工實境(諸如,圖9中之虛擬實境系統900)中。雖然一些人工實境裝置可為自含式系統,但其他人工實境裝置可與外部裝置通信及/或協調以向使用者提供人工實境體驗。此類外部裝置之實例包括手持式控制器、行動裝置、桌上型電腦、由使用者穿戴之裝置、由一或多個其他使用者穿戴的裝置,及/或任何其他合適之外部系統。
轉向圖8,擴增實境系統800可包括具有框架810之眼鏡裝置802,該框架經配置以將左側顯示裝置815(A)及右側顯示裝置815(B)固持在使用者眼睛前方。顯示裝置815(A)及815(B)可共同地或獨立地起作用以向使用者呈現一影像或一系列影像。雖然擴增實境系統800包括兩個顯示器,但本揭示內容之具體實例可實施於具有單個NED或多於兩個NED之擴增實境系統中。
在一些具體實例中,擴增實境系統800可包括一或多個感測器,諸如感測器840。感測器840可回應於擴增實境系統800之運動而產生量測信號,且可位於框架810之實質上任何部分上。感測器840可表示多種不同感測機構中之一或多者,所述感測機構諸如為位置感測器、慣性量測單元(IMU)、深度攝影機構件、結構化光發射器及/或偵測器,或其任何組合。在一些具體實例中,擴增實境系統800可包括或可不包括感測器840或可包括多於一個感測器。在感測器840包括IMU之具體實例中,IMU可基於來自感測器840之量測信號而產生校準資料。感測器840之實例可包括但不限於加速計、陀螺儀、磁力計、偵測運動之其他合適類型的感測器、用於IMU之誤差校正的感測器,或其某一組合。
在一些實例中,擴增實境系統800亦可包括具有統稱為聲能轉換器820之複數個聲能轉換器820(A)至820(J)的麥克風陣列。聲能轉換器820可表示偵測由聲波誘發之氣壓變化的轉換器。各聲能轉換器820可經配置以偵測聲音且將經偵測聲音轉換為電子格式(例如,類比或數位格式)。圖8中之麥克風陣列可包括例如十個聲能轉換器:820(A)及820(B),其可經設計以置放在使用者之對應耳朵內部;聲能轉換器820(C)、820(D)、820(E)、820(F)、820(G)及820(H),其可定位在框架810上之各個部位處;及/或聲能轉換器820(I)及820(J),其可定位在對應頸帶805上。
在一些具體實例中,聲能轉換器820(A)至820(J)中之一或多者可用作輸出轉換器(例如,揚聲器)。舉例而言,聲能轉換器820(A)及/或820(B)可為耳塞式耳機或任何其他合適類型之頭戴式耳機或揚聲器。
麥克風陣列之聲能轉換器820的配置可不同。雖然擴增實境系統800在圖8中展示為具有十個聲能轉換器820,但聲能轉換器820之數目可大於或小於十。在一些具體實例中,使用較高數目之聲能轉換器820可增加所收集的音訊資訊之量及/或音訊資訊之敏感度及準確度。相比之下,使用較低數目之聲能轉換器820可降低相關聯控制器850處理所收集的音訊資訊所需之計算能力。另外,麥克風陣列之各聲能轉換器820的位置可不同。舉例而言,聲能轉換器820之位置可包括使用者上的經界定位置、框架810上之經界定座標、與各聲能轉換器820相關聯之位向,或其某一組合。
聲能轉換器820(A)及820(B)可定位在使用者耳朵之不同部分上,諸如耳廓後方、耳屏後方及/或在耳廓或耳窩內。或者,除耳道內部之聲能轉換器820之外,耳朵上或周圍亦可存在額外聲能轉換器820。使聲能轉換器820緊鄰使用者之耳道而定位可使得麥克風陣列能夠收集關於聲音如何到達耳道之資訊。藉由將聲能轉換器820中之至少兩者定位在使用者頭部之任一側上(例如,作為雙耳麥克風),擴增實境裝置800可模擬雙耳聽覺且俘獲使用者頭部周圍的3D立體聲聲場。在一些具體實例中,聲能轉換器820(A)及820(B)可經由有線連接830連接至擴增實境系統800,且在其他具體實例中,聲能轉換器820(A)及820(B)可經由無線連接(例如,藍芽連接)連接至擴增實境系統800。在另外其他具體實例中,聲能轉換器820(A)及820(B)可根本不結合擴增實境系統800而使用。
框架810上之聲能轉換器820可以多種不同方式定位,包括沿著鏡腿之長度、跨越橋接件、在顯示裝置815(A)及815(B)上方或下方,或其某一組合。聲能轉換器820可定向成使得麥克風陣列能夠在環繞穿戴擴增實境系統800之使用者的廣泛範圍的方向上偵測聲音。在一些具體實例中,可在擴增實境系統800之製造期間執行最佳化程序以判定麥克風陣列中之各聲能轉換器820的相對定位。
在一些實例中,擴增實境系統800可包括或連接至外部裝置(例如,配對裝置),諸如頸帶805。頸帶805通常表示任何類型或形式之配對裝置。因此,頸帶805之以下論述亦可適用於各種其他配對裝置,諸如充電箱、智慧型手錶、智慧型手機、腕帶、其他穿戴式裝置、手持式控制器、平板電腦、膝上型電腦、其他外部計算裝置等。
如所展示,頸帶805可經由一或多個連接器耦接至眼鏡裝置802。連接器可為有線或無線的,且可包括電及/或非電(例如,結構化)組件。在一些情況下,眼鏡裝置802及頸帶805可在其間無任何有線或無線連接之情況下獨立地操作。雖然圖8繪示處於眼鏡裝置802及頸帶805上之實例部位中之眼鏡裝置802及頸帶805的組件,但所述組件可位於其他地方及/或以不同方式分佈在眼鏡裝置802及/或頸帶805上。在一些具體實例中,眼鏡裝置802及頸帶805之組件可位於與眼鏡裝置802、頸帶805或其某一組合配對的一或多個額外周邊裝置上。
使諸如頸帶805等外部裝置與擴增實境眼鏡裝置配對可使得眼鏡裝置能夠達成一副眼鏡之外觀尺寸,同時仍為擴展能力提供充足電池及計算能力。擴增實境系統800之電池電力、計算資源及/或額外特徵中的一些或全部可由配對裝置提供或在配對裝置與眼鏡裝置之間共用,因此總體上減小眼鏡裝置之重量、熱分佈及外觀尺寸,同時仍保留所要功能性。舉例而言,頸帶805可允許將原本包括在眼鏡裝置上之組件包括於頸帶805中,此係因為使用者可在其肩部上承受比其將在其頭部上承受的更重之重量負載。頸帶805亦可具有較大表面積,在其上將熱量擴散及分散至周圍環境。因此,頸帶805可允許比獨立眼鏡裝置上可能另外存在之電池及計算容量大的電池及計算容量。由於頸帶805中所承載之重量相比於眼鏡裝置802中所承載之重量而言對於使用者的侵害性可較小,因此使用者可承受穿戴較輕眼鏡裝置且承受承載或穿戴配對裝置之時間長度大於使用者將承受穿戴較重之獨立式眼鏡裝置的時間長度,由此使得使用者能夠將人工實境環境更充分地併入至其日常活動中。
頸帶805可與眼鏡裝置802及/或其他裝置以通信方式耦接。此等其他裝置可向擴增實境系統800提供某些功能(例如,追蹤、定位、深度映射、處理、儲存等)。在圖8之具體實例中,頸帶805可包括兩個聲能轉換器(例如,820(I)及820(J)),其為麥克風陣列之部分(或可能形成其自身的麥克風子陣列)。頸帶805亦可包括控制器825及電源835。
頸帶805之聲能轉換器820(I)及820(J)可經配置以偵測聲音且將經偵測聲音轉換為電子格式(類比或數位)。在圖8之具體實例中,聲能轉換器820(I)及820(J)可定位於頸帶805上,由此增加頸帶聲能轉換器820(I)及820(J)與定位在眼鏡裝置802上之其他聲能轉換器820之間的距離。在一些情況下,增加麥克風陣列之聲能轉換器820之間的距離可提高經由麥克風陣列執行之波束成形的準確度。舉例而言,若聲音係由聲能轉換器820(C)及820(D)偵測到且聲能轉換器820(C)與820(D)之間的距離大於例如聲能轉換器820(D)與820(E)之間的距離,則經偵測聲音之經判定源位置可比在聲音係由聲能轉換器820(D)及820(E)偵測到的情況下更準確。
頸帶805之控制器825可處理由頸帶805及/或擴增實境系統800上之感測器產生的資訊。舉例而言,控制器825可處理來自麥克風陣列的描述由麥克風陣列偵測到之聲音的資訊。對於各經偵測聲音,控制器825可執行到達方向(DOA)估計以估計一方向,經偵測聲音自該方向到達麥克風陣列。當麥克風陣列偵測到聲音時,控制器825可用資訊填充音訊資料集。在擴增實境系統800包括慣性量測單元之具體實例中,控制器825可根據位於眼鏡裝置802上之IMU來計算所有慣性及空間計算。連接器可在擴增實境系統800與頸帶805之間且在擴增實境系統800與控制器825之間傳送資訊。該資訊可呈光學資料、電資料、無線資料或任何其他可傳輸資料形式之形式。將對藉由擴增實境系統800產生的資訊進行之處理移動至頸帶805可減小眼鏡裝置802中之重量及熱,由此使該眼鏡裝置對於使用者而言更舒適。
頸帶805中之電源835可向眼鏡裝置802及/或頸帶805供電。電源835可包括但不限於鋰離子電池、鋰聚合物電池、鋰原電池、鹼性電池或任何其他形式之電力儲存器。在一些情況下,電源835可為有線電源。將電源835包括在頸帶805上而非眼鏡裝置802上可有助於較佳地分佈由電源835產生之重量及熱。
如所提及,代替將人工實境與實際實境摻合,一些人工實境系統可實質上用虛擬體驗來替換使用者對真實世界之感測感知中之一或多者。此類型之系統的一個實例係頭戴式顯示系統,諸如圖9中之虛擬實境系統900,其主要或完全地覆蓋使用者之視野。虛擬實境系統900可包括前部剛體902及經塑形成圍繞使用者頭部適配之帶904。虛擬實境系統900亦可包括輸出音訊轉換器906(A)及906(B)。此外,雖然圖9中未展示,但前部剛體902可包括一或多個電子元件,其包括一或多個電子顯示器、一或多個慣性量測單元(IMU)、一或多個追蹤發射器或偵測器及/或用於產生人工實境體驗之任何其他合適的裝置或系統。
人工實境系統可包括多種類型之視覺回饋機構。舉例而言,擴增實境系統800及/或虛擬實境系統900中之顯示裝置可包括一或多個液晶顯示器(LCD)、發光二極體(LED)顯示器、微型LED顯示器、有機LED(OLED)顯示器、數位光投影(DLP)微型顯示器、矽上液晶(LCoS)微型顯示器,及/或任何其他合適類型之顯示螢幕。此等人工實境系統可包括用於兩隻眼睛之單個顯示螢幕或可向各眼睛提供顯示螢幕,此可允許用於變焦調整或用於校正使用者之屈光不正的額外靈活性。此等人工實境系統中之一些亦可包括具有一或多個透鏡(例如,習知的凹透鏡或凸透鏡、菲涅爾透鏡、可調式液體透鏡等)之光學子系統,使用者可藉由所述透鏡查看顯示螢幕。此等光學子系統可用於多種目的,包括使光準直(例如,使物件出現在比其實體距離更大的距離處)、放大光(例如,使物件看起來比其實際大小更大)及/或中繼光(將光中繼至例如觀看者之眼睛)。此等光學子系統可用於非瞳孔形成架構(諸如,直接使光準直但產生所謂的枕形畸變之單透鏡配置)及/或瞳孔形成架構(諸如,產生所謂的桶形畸變以消除枕形畸變之多透鏡配置)中。
除了使用顯示螢幕以外或代替使用顯示螢幕,本文中所描述之一些人工實境系統亦可包括一或多個投影系統。舉例而言,擴增實境系統800及/或虛擬實境系統900中之顯示裝置可包括微型LED投影儀,其(使用例如波導)將光投影至顯示裝置中,所述顯示裝置諸如為允許環境光穿過之清晰組合器透鏡。顯示裝置可將經投影光朝向使用者瞳孔折射且可使得使用者能夠同時觀看人工實境內容及真實世界兩者。顯示裝置可使用多種不同光學組件中之任一者來實現此目的,所述光學組件包括波導組件(例如,全像、平面、繞射、偏振及/或反射波導元件)、光操控表面及元件(諸如繞射、反射及折射元件以及光柵)、耦接元件等。人工實境系統亦可經配置成具有任何其他合適類型或形式之影像投影系統,諸如用於虛擬視網膜顯示器中之視網膜投影儀。
本文中所描述之人工實境系統亦可包括各種類型之電腦視覺組件及子系統。舉例而言,擴增實境系統800及/或虛擬實境系統900可包括一或多個光學感測器,諸如二維(2D)或3D攝影機、結構化光傳輸器及偵測器、飛行時間深度感測器、單光束或掃掠雷射測距儀、3D光達感測器及/或任何其他合適類型或形式之光學感測器。人工實境系統可處理來自此等感測器中之一或多者的資料以識別使用者之位置、繪製真實世界、向使用者提供關於真實世界環境之情境及/或執行多種其他功能。
本文中所描述之人工實境系統亦可包括一或多個輸入及/或輸出音訊轉換器。輸出音訊轉換器可包括音圈揚聲器、帶式揚聲器、靜電揚聲器、壓電揚聲器、骨傳導轉換器、軟骨傳導轉換器、耳屏振動轉換器及/或任何其他合適類型或形式之音訊轉換器。類似地,輸入音訊轉換器可包括電容式麥克風、動態麥克風、帶式麥克風及/或任何其他類型或形式之輸入轉換器。在一些具體實例中,單一轉換器可用於音訊輸入及音訊輸出兩者。
在一些具體實例中,本文中所描述之人工實境系統亦可包括觸感(亦即,觸覺)回饋系統,該觸感回饋系統可併入至頭飾、手套、連體套裝、手持式控制器、環境裝置(例如,椅子、地墊等)及/或任何其他類型之裝置或系統中。觸覺回饋系統可提供各種類型之皮膚回饋,包括振動、力、牽引力、紋理及/或溫度。觸覺回饋系統亦可提供各種類型之動覺回饋,諸如運動及順應性。觸覺回饋可使用馬達、壓電致動器、流體系統及/或各種其他類型之回饋機構來實施。觸覺回饋系統可獨立於其他人工實境裝置、在其他人工實境裝置內及/或結合其他人工實境裝置來實施。
藉由提供觸覺感覺、聽覺內容及/或視覺內容,人工實境系統可在多種情境及環境中產生整個虛擬體驗或增強使用者之真實世界體驗。舉例而言,人工實境系統可在特定環境內輔助或延伸使用者之感知、記憶或認知。一些系統可增強使用者與真實世界中之其他人的互動或可實現與虛擬世界中之其他人的更具沉浸式之互動。人工實境系統亦可用於教學目的(例如,用於在學校、醫院、政府組織、軍事組織、商業企業等中進行教學或訓練)、娛樂目的(例如,用於播放視訊遊戲、聽音樂、觀看視訊內容等)及/或用於無障礙性目的(例如,作為助聽器、視覺輔助物等)。本文中所揭示之具體實例可在此等情境及環境中之一或多者中及/或在其他情境及環境中實現或增強使用者的人工實境體驗。
在一些具體實例中,本文中所描述之系統亦可包括眼睛追蹤子系統,該眼睛追蹤子系統經設計以識別並追蹤使用者眼睛的各種特性,諸如使用者之凝視方向。片語「眼睛追蹤」在一些實例中可指量測、偵測、感測、判定及/或監視眼睛之位置、位向及/或運動所藉以的程序。所揭示系統可以多種不同方式量測眼睛之位置、位向及/或運動,所述方式包括經由使用各種基於光學的眼睛追蹤技術、基於超音波之眼睛追蹤技術等。眼睛追蹤子系統可以多種不同方式配置且可包括多種不同眼睛追蹤硬體組件或其他電腦視覺組件。舉例而言,眼睛追蹤子系統可包括多種不同之光學感測器,諸如二維(2D)或3D攝影機、飛行時間深度感測器、單光束或掃掠雷射測距儀、3D光達感測器及/或任何其他合適類型或形式之光學感測器。在此實例中,處理子系統可處理來自此等感測器中之一或多者的資料以量測、偵測、判定及/或以其他方式監視使用者眼睛之位置、位向及/或運動。
圖10係併入能夠追蹤使用者眼睛之眼睛追蹤子系統的例示性系統1000之圖示。如圖10中所描繪,系統1000可包括光源1002、光學子系統1004、眼睛追蹤子系統1006及/或控制子系統1008。在一些實例中,光源1002可產生用於影像之光(例如,待呈現給觀看者之眼睛1001)。光源1002可表示多種合適裝置中之任一者。舉例而言,光源1002可包括二維投影儀(例如,LCoS顯示器)、掃描源(例如,掃描雷射)或其他裝置(例如,LCD、LED顯示器、OLED顯示器、主動矩陣OLED顯示器(AMOLED)、透明OLED顯示器(TOLED)、波導或能夠產生光以用於將影像呈現給觀看者的某一其他顯示器)。在一些實例中,影像可表示虛擬影像,相較於由光線之實際發散形成的影像,該虛擬影像可指由來自空間中之點的光線之明顯發散形成的光學影像。
在一些具體實例中,光學子系統1004可接收藉由光源1002產生之光並基於所接收之光而產生包括影像的會聚光1020。在一些實例中,光學子系統1004可包括任何數目個透鏡(例如,菲涅爾透鏡、凸透鏡、凹透鏡)、孔徑、濾光器、鏡面、稜鏡及/或其他光學組件,其可能與致動器及/或其他裝置組合。詳言之,致動器及/或其他裝置可平移及/或旋轉光學組件中之一或多者以更改會聚光1020之一或多個態樣。另外,各種機械耦接可用以維持任何合適組合中之光學組件之相對間距及/或位向。
在一個具體實例中,眼睛追蹤子系統1006可產生指示觀看者之眼睛1001之凝視角的追蹤資訊。在此具體實例中,控制子系統1008可至少部分地基於此追蹤資訊而控制光學子系統1004之態樣(例如,會聚光1020之入射角)。另外,在一些實例中,控制子系統1008可儲存並利用歷史追蹤資訊(例如,在諸如前一秒或其小部分等給定持續時間內的追蹤資訊之歷史)以預期眼睛1001的凝視角(例如,眼睛1001之視軸與解剖軸之間的角)。在一些具體實例中,眼睛追蹤子系統1006可偵測源自眼睛1001之某一部分(例如,角膜、虹膜、瞳孔或其類似者)的輻射以判定眼睛1001之當前凝視角。在其他實例中,眼睛追蹤子系統1006可採用波前感測器以追蹤瞳孔之當前部位。
任何數目個技術可用以追蹤眼睛1001。一些技術可涉及藉由紅外光照明眼睛1001以及藉由經調節以對紅外光敏感之至少一個光學感測器量測反射。關於紅外光如何自眼睛1001反射之資訊可經分析以判定諸如角膜、瞳孔、虹膜及/或視網膜血管等一或多個眼睛特徵之位置、位向及/或運動。
在一些實例中,由眼睛追蹤子系統1006之感測器俘獲的輻射可經數位化(亦即,轉換成電子信號)。此外,感測器可將此電子信號之數位表示傳輸至一或多個處理器(例如,與包括眼睛追蹤子系統1006之裝置相關聯的處理器)。眼睛追蹤子系統1006可包括呈多種不同配置之多種感測器中之任一者。舉例而言,眼睛追蹤子系統1006可包括對紅外線輻射作出反應之紅外線偵測器。紅外線偵測器可為熱偵測器、光子偵測器及/或任何其他合適類型之偵測器。熱偵測器可包括對入射紅外線輻射之熱效應作出反應的偵測器。
在一些實例中,一或多個處理器可處理藉由用以追蹤眼睛1001之移動的眼睛追蹤子系統1006之感測器所產生的數位表示。在另一實例中,此等處理器可藉由實行由儲存於非暫時性記憶體上之電腦可執行指令表示的演算法來追蹤眼睛1001之移動。在一些實例中,晶片上邏輯(例如,特殊應用積體電路或ASIC)可用以執行此類演算法之至少部分。如所提及,眼睛追蹤子系統1006可經程式化以使用感測器之輸出來追蹤眼睛1001之移動。在一些具體實例中,眼睛追蹤子系統1006可分析藉由感測器產生之數位表示以自反射之變化萃取眼睛旋轉資訊。在一個具體實例中,眼睛追蹤子系統1006可使用角膜反射或閃光(亦稱為浦金埃氏(浦金埃氏)影像)及/或眼睛之瞳孔1022的中心作為特徵以隨時間追蹤。
在一些具體實例中,眼睛追蹤子系統1006可使用眼睛之瞳孔1022的中心以及紅外或近紅外非準直光來產生角膜反射。在此等具體實例中,眼睛追蹤子系統1006可使用眼睛之瞳孔1022之中心與角膜反射之間的向量來計算眼睛1001之凝視方向。在一些具體實例中,所揭示系統可在追蹤使用者眼睛之前執行用於個人之校準程序(使用例如受監督或無監督技術)。舉例而言,校準程序可包括引導使用者查看顯示在顯示器上之一或多個點,同時眼睛追蹤系統記錄對應於與各點相關聯之各凝視位置的值。
在一些具體實例中,眼睛追蹤子系統1006可使用兩種類型之紅外及/或近紅外(亦稱為主動光)眼睛追蹤技術:亮瞳孔及暗瞳孔眼睛追蹤,其可基於照明源相對於所使用之光學元件的部位而經區分。若照明與光學路徑同軸,則眼睛1001可在光反射出視網膜時充當回反射器,藉此建立類似於攝影中之紅眼效應的亮瞳孔效應。若照明源自光學路徑偏移,則眼睛之瞳孔1022可顯現為暗,此係因為來自視網膜之回反射經引導遠離感測器。在一些具體實例中,亮瞳孔追蹤可產生較大虹膜/瞳孔對比度,由此允許藉由虹膜色素沈著更穩固眼睛追蹤,且可提供減小之干擾(例如,由睫毛及其他遮擋特徵所引起的干擾)。亮瞳孔追蹤亦可允許在介於全暗至極亮環境範圍內之照明條件下追蹤。
在一些具體實例中,控制子系統1008可控制光源1002及/或光學子系統1004以減小可由眼睛1001引起或影響之影像的光學像差(例如,色像差及/或單色像差)。在一些實例中,如上文所提及,控制子系統1008可使用來自眼睛追蹤子系統1006之追蹤資訊來執行此類控制。舉例而言,在控制光源1002中,控制子系統1008可更改藉由光源1002(例如,藉助於影像顯像)產生之光以修改(例如,預扭曲)影像以使得由眼睛1001所引起的影像之像差得以減小。
所揭示系統可追蹤瞳孔之位置及相對大小兩者(此係由於例如瞳孔擴大及/或收縮)。在一些實例中,用於偵測及/或追蹤瞳孔之眼睛追蹤裝置及組件(例如,感測器及/或源)可對於不同類型的眼睛而為不同的(或以不同方式校準)。舉例而言,感測器之頻率範圍可對於不同顏色及/或不同瞳孔類型、大小及/或其類似者的眼睛而為不同的(或經單獨校準)。因而,本文中所描述之各種眼睛追蹤組件(例如,紅外源及/或感測器)可需要針對各個別使用者及/或眼睛而校準。
所揭示系統可運用或不運用諸如藉由使用者所穿戴之隱形眼鏡提供的眼科校正來追蹤兩隻眼睛。在一些具體實例中,眼科校正元件(例如,可調式透鏡)可直接併入至本文中所描述之人工實境系統中。在一些實例中,使用者眼睛之顏色可需要修改對應眼睛追蹤演算法。舉例而言,可需要至少部分地基於棕色眼睛與例如藍色眼睛之間的不同顏色對比度而修改眼睛追蹤演算法。
圖11係圖10中所繪示之眼睛追蹤子系統的各種態樣之更詳細圖示。如此圖中所展示,眼睛追蹤子系統1100可包括至少一個源1104及至少一個感測器1106。源1104大體上表示能夠發射輻射之任何類型或形式的元件。在一個實例中,源1104可產生可見光、紅外光及/或近紅外光輻射。在一些實例中,源1104可朝向使用者之眼睛1102輻射電磁波譜之非準直紅外光及/或近紅外光部分。源1104可利用多種取樣速率及速度。舉例而言,所揭示系統可使用具有較高取樣速率之源以便俘獲使用者之眼睛1102的注視眼睛移動及/或正確地量測使用者之眼睛1102的眼跳動力學。如上文所提及,任何類型或形式之眼睛追蹤技術可用以追蹤使用者的眼睛1102,包括基於光學之眼睛追蹤技術、基於超音波之眼睛追蹤技術等。
感測器1106大體上表示能夠偵測諸如自使用者之眼睛1102反射的輻射等輻射之任何類型或形式的元件。感測器1106之實例包括但不限於電荷耦接裝置(CCD)、光電二極體陣列、基於互補金屬氧化物半導體(CMOS)之感測器裝置,及/或其類似者。在一個實例中,感測器1106可表示具有預定參數之感測器,所述預定參數包括但不限於動態解析度範圍、線性及/或經選擇及/或特定設計以用於眼睛追蹤的其他特性。
如上文所詳述,眼睛追蹤子系統1100可產生一或多個閃光。如上文所詳述,閃光1103可表示輻射(例如,來自諸如源1104等紅外光源之紅外光輻射)自使用者眼睛之結構的反射。在各種具體實例中,可使用藉由處理器(在人工實境裝置內或外部)執行之眼睛追蹤演算法來追蹤閃光1103及/或使用者之瞳孔。舉例而言,人工實境裝置可包括為了在本端執行眼睛追蹤之處理器及/或記憶體裝置,及/或用以發送及接收在外部裝置(例如,行動電話、雲端伺服器或其他計算裝置)上執行眼睛追蹤所必需之資料的收發器。
圖11展示由諸如眼睛追蹤子系統1100等眼睛追蹤子系統俘獲之實例影像1105。在此實例中,影像1105可包括使用者之瞳孔1108及在該瞳孔附近之閃光1110兩者。在一些實例中,可使用諸如基於電腦視覺之演算法等基於人工智慧之演算法來識別瞳孔1108及/或閃光1110。在一個具體實例中,影像1105可表示可經不斷地分析以便追蹤使用者之眼睛1102的一系列訊框中之單一訊框。另外,瞳孔1108及/或閃光1110可在一時段內被追蹤以判定使用者之凝視。
在一個實例中,眼睛追蹤子系統1100可經配置以識別並量測使用者之瞳孔間距離(IPD)。在一些具體實例中,在使用者正穿戴人工實境系統的同時,眼睛追蹤子系統1100可量測及/或計算使用者之IPD。在此等具體實例中,眼睛追蹤子系統1100可偵測使用者眼睛之位置且可使用此資訊以計算使用者之IPD。
如所提及,本文中所揭示之眼睛追蹤系統或子系統可以多種方式追蹤使用者之眼睛位置及/或眼睛移動。在一個實例中,一或多個光源及/或光學感測器可俘獲使用者眼睛之影像。眼睛追蹤子系統接著可使用所俘獲資訊以判定使用者之瞳孔間距離、眼間距離及/或各眼睛之3D位置(例如,出於畸變調整目的),包括扭轉及旋轉(亦即,橫搖、縱搖及偏航)的量值及/或用於各眼睛之凝視方向。在一個實例中,紅外光可藉由眼睛追蹤子系統發射並自各眼睛反射。反射光可藉由光學感測器接收或偵測並經分析以自由各眼睛反射的紅外光之變化萃取眼睛旋轉資料。
眼睛追蹤子系統可使用多種不同方法中之任一者以追蹤使用者之眼睛。舉例而言,光源(例如,紅外發光二極體)可發射點圖案至使用者之各眼睛上。眼睛追蹤子系統接著可偵測(例如,經由耦接至人工實境系統之光學感測器)並分析點圖案自使用者之各眼睛的反射以識別使用者之各瞳孔的部位。因此,眼睛追蹤子系統可追蹤各眼睛之至多六個自由度(亦即,3D位置、橫搖、縱搖及偏航)且追蹤量的至少一子集可自使用者之兩隻眼睛組合以估計凝視點(亦即,使用者正觀看只虛擬場景中的3D部位或位置)及/或IPD。
在一些情況下,使用者瞳孔與顯示器之間的距離可隨著使用者之眼睛移動以在不同方向上觀看而改變。當觀看方向改變時瞳孔與顯示器之間的變化距離可被稱為「瞳孔遊動」且可促成使用者所感知之畸變,此係由於當瞳孔與顯示器之間的距離改變時光聚焦在不同部位中而引起。因此,量測在相對於顯示器之不同眼睛位置及瞳孔距離處的畸變以及產生用於不同位置及距離之畸變校正可允許藉由追蹤使用者眼睛的3D位置以及在給定時間點施加對應於使用者眼睛中之各者之3D位置的畸變校正而減輕由瞳孔遊動所引起之畸變。因此,知曉使用者眼睛中之各者的3D位置可允許藉由施加用於各3D眼睛位置之畸變校正而減輕由眼睛瞳孔與顯示器之間的距離之變化所引起之畸變。此外,如上文所提及,知曉使用者眼睛中之各者的位置亦可使得眼睛追蹤子系統能夠對於使用者之IPD作出自動調整。
在一些具體實例中,顯示子系統可包括可結合本文中所描述之眼睛追蹤子系統而工作的多種額外子系統。舉例而言,顯示子系統可包括變焦子系統、場景顯像模組及/或聚散度處理模組。變焦子系統可使左右顯示元件改變顯示裝置之焦距。在一個具體實例中,變焦子系統可藉由移動顯示器、光學件或兩者而實體地改變顯示器與查看該變焦子系統所經由之光學件之間的距離。另外,相對於彼此移動或平移兩個透鏡亦可用以改變顯示器之焦距。因此,變焦子系統可包括移動顯示器及/或光學件以改變其之間的距離之致動器或馬達。此變焦子系統可與顯示子系統分開或整合至顯示子系統中。變焦子系統亦可整合至其致動子系統及/或本文中所描述之眼睛追蹤子系統中或與其分開。
在一個實例中,顯示子系統可包括經配置以基於凝視點及/或藉由眼睛追蹤子系統判定之凝視線的估計相交點而判定使用者凝視之聚散度深度的聚散度處理模組。聚散度可指兩隻眼睛在相反方向上同時移動或旋轉以維持單雙目視覺,此可由人眼自然地且自動地執行。因此,使用者眼睛轉動之部位係使用者正在觀看之部位,且典型地亦為使用者眼睛聚焦的部位。舉例而言,聚散度處理模組可對凝視線進行三角量測以估計與凝視線之相交點相關聯之距使用者的距離或深度。與凝視線之相交點相關聯之深度可接著用作調節距離的近似值,其可識別使用者眼睛所指向之距使用者的距離。因此,聚散度距離可允許對使用者之眼睛應聚焦的部位及眼睛聚焦所在之距離使用者眼睛的深度進行判定,藉此提供資訊(諸如物件或焦點之平面)以用於顯像虛擬場景之調整。
聚散度處理模組可與本文中所描述之眼睛追蹤子系統協調以對顯示子系統作出調整以考慮使用者之聚散度深度。當使用者聚焦於在一距離處之某物時,使用者之瞳孔可比當使用者聚焦於附近某物時稍微間隔更遠。眼睛追蹤子系統可獲得關於使用者之聚散度或聚焦深度的資訊且可調整顯示子系統以當使用者之眼睛聚焦或接近於附近某物時更靠近在一起並當使用者之眼睛聚焦或接近於在一距離處的某物時間隔更遠。
藉由上文所描述之眼睛追蹤子系統產生的眼睛追蹤資訊亦可例如用以修改不同的電腦產生之影像如何呈現的各種態樣。舉例而言,顯示子系統可經配置以基於藉由眼睛追蹤子系統產生之資訊而修改電腦產生之影像如何呈現的至少一個態樣。舉例而言,電腦產生之影像可基於使用者之眼睛移動而得以修改,以使得若使用者正查找,則電腦產生之影像可在螢幕上朝上移動。類似地,若使用者正向側面看或向下看,則電腦產生之影像可在螢幕上移動到側面或向下移動。若使用者之眼睛閉合,則電腦產生之影像可暫停或自顯示器移除並在使用者之眼睛再張開後恢復。
上文所描述之眼睛追蹤子系統可以多種方式併入至本文中所描述的各種人工實境系統中之一或多者中。舉例而言,系統1000及/或眼睛追蹤子系統1100之各種組件中的一或多者可併入至圖8中之擴增實境系統800及/或圖9中之虛擬實境系統900中以使得此等系統能夠執行各種眼睛追蹤任務(包括本文中所描述的眼睛追蹤操作中之一或多者)。
以下實例具體實例亦包括於本揭示內容中:
實施例1:一種頭戴式光學系統,其可包括:一眼睛追蹤子系統,其經配置以至少判定一使用者之眼睛的一凝視方向及該使用者之眼睛的一眼睛移動速度;以及一凝視距離預測子系統,其經配置以基於該使用者之眼睛的該眼睛移動速度及凝視方向而在該使用者之眼睛達到與經預測凝視距離相關聯的一凝視狀態之前預測該使用者之眼睛將變為凝視的一凝視距離。
實施例2:如實施例1之頭戴式光學系統,其進一步包括一變焦光學元件,該變焦光學元件經安裝以在該頭戴式光學系統由該使用者穿戴時處於該使用者之眼睛前方的一位置中,該變焦光學元件經配置以基於來自該眼睛追蹤子系統及凝視距離預測子系統的資訊而在包括一焦距之至少一個光學性質中改變。
實施例3:如實施例2之頭戴式光學系統,其中該變焦光學元件包括:一實質上透明之支撐元件;一實質上透明之可變形元件,其至少沿著該可變形元件之一周邊耦接至該支撐元件;以及一實質上透明之可變形介質,其安置於該支撐元件與該可變形元件之間。
實施例4:如實施例3之頭戴式光學系統,其中該變焦光學元件進一步包括一變焦致動器,該變焦致動器經配置以在致動時改變該變焦光學元件之該至少一個光學性質。
實施例5:如實施例4之頭戴式光學系統,其中該變焦致動器包括耦接至該可變形元件的至少一個實質上透明之電極。
實施例6:如實施例2至5中任一項之頭戴式光學系統,其中該變焦光學元件包括一液晶元件,該液晶元件經配置以在啟動時改變該變焦光學元件之該至少一個光學性質。
實施例7:如實施例1至6中任一項之頭戴式光學系統,其進一步包括經配置以向該使用者顯示視覺內容之一近眼顯示器。
實施例8:如實施例7之頭戴式光學系統,其中該近眼顯示器用以完全顯像該視覺內容的僅處於該使用者之眼睛凝視的一感知深度下之部分。
實施例9:如實施例1至8中任一項之頭戴式光學系統,其中該凝視距離預測子系統經配置以在該使用者之眼睛達到與該經預測凝視距離相關聯的該凝視狀態之前在600 ms內預測該使用者之眼睛將變為凝視的該凝視距離。
實施例10:一種操作一頭戴式光學裝置之方法,該方法可包括:藉由一眼睛追蹤元件來量測一使用者之眼睛的一凝視方向及移動速度;以及藉由至少一個處理器且基於該使用者之眼睛的經量測凝視方向及移動速度而在該使用者之眼睛達到與經預測凝視距離相關聯的一凝視狀態之前預測該使用者之眼睛的一凝視距離。
實施例11:如實施例10之方法,其進一步包括:藉由一變焦光學元件基於該使用者之眼睛的該經預測凝視距離而更改該變焦光學元件之至少一焦距。
實施例12:如實施例10或實施例11之方法,其進一步包括:藉由一近眼顯示器向該使用者之眼睛呈現視覺內容;以及完全顯像該視覺內容之僅處於該使用者之眼睛的該經預測凝視距離處之部分。
實施例13:如實施例12之方法,其中在該使用者之眼睛聚散度以達到該凝視距離之前完成對該視覺內容的僅部分之該完全顯像。
實施例14:如實施例10至13中任一項之方法,其中:量測該使用者之眼睛的該移動速度包括量測該使用者之眼睛的一最大速度;並且預測該凝視距離係至少部分地基於該使用者之眼睛的該最大速度。
實施例15:如實施例10至14中任一項之方法,其中在該使用者之眼睛達到與該經預測凝視距離相關聯的該凝視狀態之前,在600 ms內完成對該使用者之眼睛將變為凝視的該凝視距離之該預測。
實施例16:一種非暫時性電腦可讀取媒體,其包括一或多個電腦可執行指令,所述電腦可執行指令在由一計算裝置之至少一個處理器執行時使該計算裝置:藉由一眼睛追蹤元件來量測一使用者之眼睛的一凝視方向及移動速度;並且基於該使用者之眼睛的經量測凝視方向及移動速度而在該使用者之眼睛達到與經預測凝視距離相關聯的一凝視狀態之前預測該使用者之眼睛的一凝視距離。
實施例17:如實施例16之非暫時性電腦可讀取媒體,其中該一或多個電腦可執行指令進一步使該計算裝置藉由一變焦光學元件基於該使用者之眼睛的該經預測凝視距離而更改該變焦光學元件之至少一焦距。
實施例18:如實施例16或實施例17之非暫時性電腦可讀取媒體,其中該一或多個電腦可執行指令進一步使該計算裝置:藉由一近眼顯示器向該使用者之眼睛呈現視覺內容;並且完全顯像該視覺內容之僅處於該使用者之眼睛的該經預測凝視距離處之部分。
實施例19:如實施例18之非暫時性電腦可讀取媒體,其中該一或多個電腦可執行指令進一步使該計算裝置在該使用者之眼睛聚散度以達到該凝視距離之前完成對該內容的僅所述部分之完全顯像。
實施例20:如實施例16至19中任一項之非暫時性電腦可讀取媒體,其中該一或多個電腦可執行指令進一步使該計算裝置在該使用者之眼睛達到與該經預測凝視距離相關聯的該凝視狀態之前在600 ms內完成對該使用者之眼睛將變為凝視的該凝視距離之該預測。
如上文所詳述,本文中所描述及/或說明之計算裝置及系統廣泛地表示能夠執行諸如本文中所描述之模組內所含的彼等指令等電腦可讀取指令之任何類型或形式的計算裝置或系統。在其最基本配置中,此等計算裝置可各自包括至少一個記憶體裝置及至少一個實體處理器。
在一些實例中,術語「記憶體裝置」通常係指能夠儲存資料及/或電腦可讀取指令之任何類型或形式的揮發性或非揮發性儲存裝置或媒體。在一個實例中,記憶體裝置可儲存、載入及/或維持本文中所描述之模組中之一或多者。記憶體裝置之實例包括但不限於隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體、硬碟機(HDD)、固態磁碟機(SSD)、光碟機、快取記憶體、前述記憶體裝置中之一或多者的變化或組合,或任何其他合適之儲存記憶體。
在一些實例中,術語「實體處理器」通常係指能夠解譯及/或執行電腦可讀取指令之任何類型或形式的硬體實施處理單元。在一個實例中,實體處理器可存取及/或修改儲存於上述記憶體裝置中之一或多個模組。實體處理器之實例包括但不限於微處理器、微控制器、中央處理單元(CPU)、實施軟核處理器之場可程式化閘陣列(FPGA)、特殊應用積體電路(ASIC)、上述實體處理器中的一或多者之部分、上述實體處理器中之一或多者的變化或組合,或任何其他合適之實體處理器。
儘管說明為單獨元件,但本文中所描述及/或說明之模組可表示單一模組或應用程式之部分。另外,在某些具體實例中,此等模組中之一或多者可表示在由計算裝置執行時可使該計算裝置執行一或多個任務的一或多個軟體應用程式或程式。舉例而言,本文中所描述及/或說明之模組中之一或多者可表示儲存在本文中所描述及/或說明的計算裝置或系統中之一或多者上且經配置以在其上執行的模組。此等模組中之一或多者亦可表示經配置以執行一或多個任務的一或多個專用電腦之全部或部分。
另外,本文中所描述之模組中之一或多者可將資料、實體裝置及/或實體裝置的表示自一種形式轉換成另一形式。舉例而言,本文中所列舉之模組中之一或多者可接收待轉換的量測資料、轉換該量測資料、輸出轉換之結果以預測使用者眼睛的凝視距離、使用轉換之結果來更改顯示給使用者的視覺內容中之焦點提示,並且儲存轉換之結果以更新機器學習模型。另外或替代地,本文中所列舉之模組中之一或多者可藉由在計算裝置上執行、將資料儲存在計算裝置上及/或以其他方式與計算裝置互動而將處理器、揮發性記憶體、非揮發性記憶體及/或實體計算裝置的任何其他部分自一種形式轉換成另一形式。
在一些具體實例中,術語「電腦可讀取媒體」通常係指能夠儲存或承載電腦可讀取指令之任何形式的裝置、載體或媒體。電腦可讀取媒體之實例包括但不限於傳輸型媒體,諸如載波;以及非暫時性型媒體,諸如磁性儲存媒體(例如,硬碟機、磁帶機及軟碟)、光學儲存媒體(例如,緊密光碟(CD)、數位視訊光碟(DVD)及藍光(BLU-RAY)光碟)、電子儲存媒體(例如,固態磁碟機及快閃媒體)及其他分配系統。
本文中所描述及/或說明之程序參數及步驟序列僅作為實例提供且可按需要變化。舉例而言,雖然本文中所說明及/或描述之步驟可以特定次序展示或論述,但此等步驟未必需要以所說明或論述之次序執行。本文中所描述及/或說明之各種實例方法亦可省略本文中所描述或說明的步驟中之一或多者或包括除了所揭示彼等步驟之外的額外步驟。
先前描述已經提供以使得所屬技術領域中具有通常知識者能夠最佳利用本文中所揭示之實例具體實例的各種態樣。此實例描述並不意欲為詳盡的或限制於所揭示之任何精確形式。在不脫離本揭示內容之精神及範圍之情況下,許多修改及變化係可能的。本文中所揭示之具體實例在全部態樣中應被視為例示性而非限制性的。在判定本揭示內容之範圍時應參考所附任何申請專利範圍及其等效物。
除非另外指出,否則如本說明書及/或申請專利範圍中所使用,術語「連接至」及「耦接至」(及其衍生詞)被解釋為准許直接及間接(亦即,經由其他元件或組件)連接兩者。另外,如本說明書及/或申請專利範圍中所使用之術語「一(a或an)」應被視為意謂「中之至少一者」。最後,為易於使用,如本說明書及/或申請專利範圍中所使用之術語「包括」及「具有」(及其衍生詞)可與詞「包含」互換且具有與其相同之含義。
100:眼睛
102:曲線圖
200:頭戴式光學系統
202:眼睛追蹤子系統
204:凝視距離預測子系統
206:近眼顯示器
208:變焦光學元件
210:凝視資訊
212:預測/凝視距離預測
300:曲線圖
400A:曲線圖/位置曲線圖
400B:曲線圖/速度曲線圖
400C:曲線圖/加速度曲線圖
500:曲線圖
600:曲線圖
700:方法
710:操作
720:操作
800:擴增實境系統
802:眼鏡裝置
805:頸帶
810:框架
815(A):左側顯示裝置/顯示裝置
815(B):右側顯示裝置/顯示裝置
820(A):聲能轉換器
820(B):聲能轉換器
820(C):聲能轉換器
820(D):聲能轉換器
820(E):聲能轉換器
820(F):聲能轉換器
820(G):聲能轉換器
820(H):聲能轉換器
820(I):聲能轉換器
820(J):聲能轉換器
825:控制器
830:有線連接
835:電源
840:感測器
850:控制器
900:虛擬實境系統
902:前部剛體
904:帶
906(A):輸出音訊轉換器
906(B):輸出音訊轉換器
1000:系統
1001:眼睛
1002:光源
1004:光學子系統
1006:眼睛追蹤子系統
1008:控制子系統
1020:會聚光
1022:瞳孔
1100:眼睛追蹤子系統
1102:眼睛
1103:閃光
1104:源
1105:影像
1106:感測器
1108:瞳孔
1110:閃光
D1:第一凝視距離/凝視距離
D2:第二凝視距離/凝視距離
α
1:第一聚散角度
α
2:第二聚散角度
隨附圖式繪示數個實例具體實例且為本說明書之一部分。連同以下描述,此等圖式展現並解釋本揭示內容之各種原理。
[圖1A]係根據本揭示內容之至少一個具體實例的繪示眼睛聚散度(eye vergence)之圖式。
[圖1B]係根據本揭示內容之至少一個具體實例的繪示個人之眼睛聚散度且調節度以聚焦在新距離處之物件的實例回應時間之曲線圖。
[圖2]係根據本揭示內容之至少一個具體實例的繪示頭戴式光學系統之方塊圖。
[圖3]係根據本揭示內容之至少一個具體實例的展示用於眼睛之完全會聚之峰值速度與回應幅度之間的關係之曲線圖。
[圖4A]至[圖4C]包括根據本揭示內容之至少一個具體實例的展示在會聚動作期間眼睛移動之位置、速度及加速度的三個曲線圖。
[圖5]係根據本揭示內容之至少一個具體實例的繪示用於眼睛之粗略對準回應的實際眼睛移動資料及疊對模型之曲線圖。
[圖6]係根據本揭示內容之至少一個具體實例的展示用於眼睛之粗略會聚之峰值速度與回應幅度之間的關係之曲線圖。
[圖7]係根據本揭示內容之至少一個具體實例的繪示操作頭戴式光學裝置之方法的流程圖。
[圖8]係可結合本揭示內容之具體實例使用的實例擴增實境眼鏡之圖示。
[圖9]係可結合本揭示內容之具體實例使用的實例虛擬實境頭戴式耳機之圖示。
[圖10]係併入能夠追蹤使用者眼睛之眼睛追蹤子系統的實例系統之圖示。
[圖11]係圖10中所繪示之眼睛追蹤子系統的各種態樣之更詳細圖示。
貫穿圖式,相同參考標號及描述指示類似但未必相同之元件。雖然本文中所描述之實例具體實例易受各種修改及替代性形式之影響,但在圖式中已藉助於實例展示特定具體實例且將在本文中詳細描述。然而,本文中所描述之實例具體實例並不意欲限於所揭示之特定形式。實情為,本揭示內容涵蓋落入本揭示內容內之所有修改、等效物及替代例。
200:頭戴式光學系統
202:眼睛追蹤子系統
204:凝視距離預測子系統
206:近眼顯示器
208:變焦光學元件
210:凝視資訊
212:預測/凝視距離預測
Claims (20)
- 一種頭戴式光學系統,其包含: 眼睛追蹤子系統,其經配置以至少判定使用者之眼睛的凝視方向及該使用者之眼睛的眼睛移動速度;以及 凝視距離預測子系統,其經配置以基於該使用者之眼睛的該眼睛移動速度及凝視方向而在該使用者之眼睛達到與經預測凝視距離相關聯的凝視狀態之前預測該使用者之眼睛將變為凝視的凝視距離。
- 如請求項1之頭戴式光學系統,其進一步包含變焦光學元件,該變焦光學元件經安裝以在該頭戴式光學系統由該使用者穿戴時處於該使用者之眼睛前方的一位置中,該變焦光學元件經配置以基於來自該眼睛追蹤子系統及凝視距離預測子系統的資訊而改變包括焦距之至少一個光學性質。
- 如請求項2之頭戴式光學系統,其中該變焦光學元件包含: 實質上透明之支撐元件; 實質上透明之可變形元件,其至少沿著該可變形元件之周邊耦接至該支撐元件;以及 實質上透明之可變形介質,其安置於該支撐元件與該可變形元件之間。
- 如請求項3之頭戴式光學系統,其中該變焦光學元件進一步包含變焦致動器,該變焦致動器經配置以在致動時改變該變焦光學元件之該至少一個光學性質。
- 如請求項4之頭戴式光學系統,其中該變焦致動器包含耦接至該可變形元件的至少一個實質上透明之電極。
- 如請求項2之頭戴式光學系統,其中該變焦光學元件包含液晶元件,該液晶元件經配置以在啟動時改變該變焦光學元件之該至少一個光學性質。
- 如請求項1之頭戴式光學系統,其進一步包含經配置以向該使用者顯示視覺內容之近眼顯示器。
- 如請求項7之頭戴式光學系統,其中該近眼顯示器用以完全顯像僅在該使用者之眼睛凝視的感知深度處的該視覺內容的部分。
- 如請求項1之頭戴式光學系統,其中該凝視距離預測子系統經配置以在該使用者之眼睛達到與該經預測凝視距離相關聯的該凝視狀態之前在600 ms內預測該使用者之眼睛將變為凝視的該凝視距離。
- 一種操作頭戴式光學裝置之電腦實施方法,該方法包含: 藉由眼睛追蹤元件來量測使用者之眼睛的凝視方向及移動速度;以及 藉由至少一個處理器且基於該使用者之眼睛的經量測凝視方向及移動速度而在該使用者之眼睛達到與經預測凝視距離相關聯的凝視狀態之前預測該使用者之眼睛的凝視距離。
- 如請求項10之方法,其進一步包含: 藉由變焦光學元件基於該使用者之眼睛的該經預測凝視距離而至少更改該變焦光學元件之焦距。
- 如請求項10之方法,其進一步包含: 藉由近眼顯示器向該使用者之眼睛呈現視覺內容;以及 完全顯像僅在該使用者之眼睛的該經預測凝視距離處之該視覺內容的部分。
- 如請求項12之方法,其中在該使用者之眼睛即將達到該凝視距離之前完成對該視覺內容的僅所述部分之該完全顯像。
- 如請求項10之方法,其中: 量測該使用者之眼睛的該移動速度包含量測該使用者之眼睛的最大速度;並且 預測該凝視距離是至少部分地基於該使用者之眼睛的該最大速度。
- 如請求項10之方法,其中在該使用者之眼睛達到與該經預測凝視距離相關聯的該凝視狀態之前,在600 ms內完成對該使用者之眼睛將變為凝視的該凝視距離之該預測。
- 一種非暫時性電腦可讀取媒體,其包含一或多個電腦可執行指令,當由計算裝置之至少一個處理器執行時,所述電腦可執行指令使得該計算裝置: 藉由眼睛追蹤元件來量測使用者之眼睛的凝視方向及移動速度;並且 基於該使用者之眼睛的經量測凝視方向及移動速度而在該使用者之眼睛達到與經預測凝視距離相關聯的凝視狀態之前預測該使用者之眼睛的凝視距離。
- 如請求項16之非暫時性電腦可讀取媒體,其中該一或多個電腦可執行指令進一步使該計算裝置藉由變焦光學元件基於該使用者之眼睛的該經預測凝視距離而至少更改該變焦光學元件之焦距。
- 如請求項16之非暫時性電腦可讀取媒體,其中該一或多個電腦可執行指令進一步使該計算裝置: 藉由一近眼顯示器向該使用者之眼睛呈現視覺內容;並且 完全顯像該視覺內容之僅處於該使用者之眼睛的該經預測凝視距離處之部分。
- 如請求項18之非暫時性電腦可讀取媒體,其中該一或多個電腦可執行指令進一步使該計算裝置在該使用者之眼睛即將達到該凝視距離之前完成對該視覺內容的僅所述部分之完全顯像。
- 如請求項16之非暫時性電腦可讀取媒體,其中該一或多個電腦可執行指令進一步使該計算裝置在該使用者之眼睛達到與該經預測凝視距離相關聯的該凝視狀態之前,在600 ms內完成對該使用者之眼睛將變為凝視的該凝視距離之該預測。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163229539P | 2021-08-05 | 2021-08-05 | |
US63/229,539 | 2021-08-05 | ||
US17/859,176 | 2022-07-07 | ||
US17/859,176 US20230037329A1 (en) | 2021-08-05 | 2022-07-07 | Optical systems and methods for predicting fixation distance |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202315398A true TW202315398A (zh) | 2023-04-01 |
Family
ID=83148999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111129025A TW202315398A (zh) | 2021-08-05 | 2022-08-02 | 用於預測凝視距離的光學系統和方法 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4381337A1 (zh) |
TW (1) | TW202315398A (zh) |
WO (1) | WO2023014918A1 (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10942564B2 (en) * | 2018-05-17 | 2021-03-09 | Sony Interactive Entertainment Inc. | Dynamic graphics rendering based on predicted saccade landing point |
US11353723B2 (en) * | 2019-10-31 | 2022-06-07 | Tectus Corporation | Saccade detection and endpoint prediction for electronic contact lenses |
US11132056B2 (en) * | 2019-12-04 | 2021-09-28 | Facebook Technologies, Llc | Predictive eye tracking systems and methods for foveated rendering for electronic displays |
-
2022
- 2022-08-02 TW TW111129025A patent/TW202315398A/zh unknown
- 2022-08-04 EP EP22761778.4A patent/EP4381337A1/en not_active Withdrawn
- 2022-08-04 WO PCT/US2022/039482 patent/WO2023014918A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP4381337A1 (en) | 2024-06-12 |
WO2023014918A1 (en) | 2023-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10698483B1 (en) | Eye-tracking systems, head-mounted displays including the same, and related methods | |
US11039651B1 (en) | Artificial reality hat | |
US11176367B1 (en) | Apparatuses, systems, and methods for mapping a surface of an eye via an event camera | |
US20230037329A1 (en) | Optical systems and methods for predicting fixation distance | |
US11715331B1 (en) | Apparatuses, systems, and methods for mapping corneal curvature | |
US11559201B1 (en) | Systems and methods for eye tracking using modulated radiation | |
US20240094594A1 (en) | Gradient-index liquid crystal lens having a plurality of independently-operable driving zones | |
TW202344958A (zh) | 用於預測性下載體積資料的系統和方法 | |
US20230053497A1 (en) | Systems and methods for performing eye-tracking | |
US11782279B2 (en) | High efficiency pancake lens | |
US20230043585A1 (en) | Ultrasound devices for making eye measurements | |
TW202315398A (zh) | 用於預測凝視距離的光學系統和方法 | |
US20230411932A1 (en) | Tunable laser array | |
CN117795395A (zh) | 用于预测注视距离的光学系统和方法 | |
US11262487B1 (en) | Display device including lens array with independently operable array sections | |
CN117882032A (zh) | 用于执行眼动追踪的系统和方法 | |
US20230341812A1 (en) | Multi-layered polarization volume hologram | |
US20230067343A1 (en) | Tunable transparent antennas implemented on lenses of augmented-reality devices | |
EP4388396A1 (en) | Systems and methods for performing eye-tracking | |
US11906747B1 (en) | Head-mounted device having hinge assembly with wiring passage | |
US11415808B1 (en) | Illumination device with encapsulated lens | |
WO2023031633A1 (en) | Online calibration based on deformable body mechanics | |
US11789544B2 (en) | Systems and methods for communicating recognition-model uncertainty to users | |
TW202244566A (zh) | 高效率的餅乾透鏡 | |
US20220350147A1 (en) | Conformable electrodes with low conspicuity |