TW202317771A - 使用空間定位、自由形式的光學元件以用於失真補償及影像清晰度增強的緊湊型成像光學元件 - Google Patents
使用空間定位、自由形式的光學元件以用於失真補償及影像清晰度增強的緊湊型成像光學元件 Download PDFInfo
- Publication number
- TW202317771A TW202317771A TW111132511A TW111132511A TW202317771A TW 202317771 A TW202317771 A TW 202317771A TW 111132511 A TW111132511 A TW 111132511A TW 111132511 A TW111132511 A TW 111132511A TW 202317771 A TW202317771 A TW 202317771A
- Authority
- TW
- Taiwan
- Prior art keywords
- optical
- free
- hmd
- spatially positioned
- head
- Prior art date
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 298
- 238000003384 imaging method Methods 0.000 title description 29
- 238000013461 design Methods 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims description 36
- 230000003190 augmentative effect Effects 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 11
- 235000012771 pancakes Nutrition 0.000 abstract 1
- 238000005259 measurement Methods 0.000 description 48
- 210000001508 eye Anatomy 0.000 description 32
- 230000033001 locomotion Effects 0.000 description 21
- 210000003128 head Anatomy 0.000 description 19
- 230000009471 action Effects 0.000 description 13
- 210000005252 bulbus oculi Anatomy 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 230000004044 response Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000004075 alteration Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010010071 Coma Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 210000004279 orbit Anatomy 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 230000004412 visual outcomes Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
- G02B27/283—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/02—Simple or compound lenses with non-spherical faces
- G02B3/04—Simple or compound lenses with non-spherical faces with continuous faces that are rotationally symmetrical but deviate from a true sphere, e.g. so called "aspheric" lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
- G02B2027/0174—Head mounted characterised by optical features holographic
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Abstract
提供一種用以實現失真補償及經增強影像清晰度之光學組件。該光學組件可包括一光學堆疊,諸如餅狀光學元件。該光學組件亦可包括至少兩個光學部件。該光學組件可進一步包括在該至少兩個光學部件之間的至少一個空間定位、自由形式的光學元件,其中該空間定位、自由形式的光學元件提供失真補償及經增強影像清晰度。在一些實例中,該空間定位、自由形式的光學元件可具有複數個區,該複數個區具有不同繞射設計。在一些實例中,該空間定位、自由形式的光學元件亦可利用一曲率(亦即,可具有一彎曲表面)來實施可提供失真補償之一相位改變輪廓。
Description
本專利申請案大體上係關於諸如頭戴式顯示器(HMD)等光學系統中之光學透鏡設計及組態,且更具體言之,係關於用於使用緊湊型成像光學元件之失真補償及影像清晰度增強的系統及方法,其中空間定位、自由形式的光學元件位於頭戴式顯示器(HMD)或其他光學裝置中。
光學透鏡設計及組態係許多現代裝置之部分,諸如用於行動電話及各種光學裝置中之攝影機。依賴於光學透鏡設計之一個此類光學裝置係頭戴式顯示器(HMD)。在一些實例中,頭戴式顯示器(HMD)可為用於視訊播放、遊戲或運動及用於諸如虛擬實境(VR)、擴增實境(AR)或混合實境(MR)之多種情境及應用中之頭戴裝置或眼鏡。
理想地,頭戴式顯示器(HMD)利用較輕且體積較小之透鏡設計或組態。舉例而言,餅狀光學元件通常用於在某些頭戴式顯示器(HMD)中提供較薄輪廓。然而,在不需要通常可能增加重量、大小、成本及低效之額外專用光學元件的情況下,習知餅狀光學元件可能無法提供有效失真補償及影像清晰度增強特徵。
本發明之一態樣為一種光學組件,其包含:光學堆疊,其包含至少兩個光學部件;以及至少一個空間定位、自由形式的光學元件,其在該至少兩個光學部件之間,其中該空間定位、自由形式的光學元件提供失真補償及增強的影像清晰度。
本發明之另一態樣為一種頭戴式顯示器(HMD),其包含:顯示部件,其用以提供顯示光;及光學組件,其用以將顯示光提供至該頭戴式顯示器(HMD)之使用者,該光學組件包含:光學堆疊,其包含至少兩個光學部件;以及至少一個空間定位、自由形式的光學元件,其在該至少兩個光學部件之間,其中該空間定位、自由形式的光學元件提供失真補償及增強的影像清晰度。
本發明之另一態樣為一種用於在一光學組件中提供失真補償及增強的影像清晰度之方法,其包含:將至少一個空間定位、自由形式的光學元件之表面劃分成各自具有唯一繞射設計之複數個區;提供關於該至少空間定位、自由形式的光學元件之曲率,其中該曲率與一特定相位輪廓相關聯;以及將該至少空間定位、自由形式的光學元件空間定位在光學組件之兩個光學元件之間且在用以進行光射線之透射及反射中之一者的位置中。
出於簡單及說明性目的,藉由主要參考本申請案之實例來描述本申請案。在以下描述中,闡述眾多具體細節以便提供對本申請案之透徹理解。然而,將顯而易見,可在不限於此等具體細節之情況下實踐本申請案。在其他情況下,未詳細描述所屬技術領域中具有通常知識者易於理解之一些方法及結構,以免不必要地混淆本申請案。如本文中所使用,術語「一(a及an)」意欲表示特定部件中之至少一者,術語「包括(includes)」意謂包括但不限於,術語「包括(including)」意謂包括但不限於,並且術語「基於」意謂至少部分地基於。
存在利用光學設計組態的多種類型之光學裝置。頭戴式顯示器(HMD)係可將資訊傳達至正穿戴頭戴裝置之使用者或自正穿戴頭戴裝置之使用者傳達資訊的光學裝置。舉例而言,虛擬實境(VR)頭戴裝置可用於呈現視覺資訊以在使用者穿戴時模擬任何數目個虛擬環境。虛擬實境(VR)頭戴裝置亦可自使用者之眼睛移動、頭部/身體移位、語音或其他使用者提供之信號接收資訊。
在許多情況下,光學透鏡設計組態試圖減小頭戴裝置大小、重量、成本及總體體積。然而,提供具有小外觀尺寸的有成本效益之裝置的此等嘗試通常限制頭戴式顯示器(HMD)之功能。舉例而言,雖然可達成嘗試減少習知頭戴裝置中之各種光學組態的大小及體積,但此通常減少頭戴裝置之其他內建式特徵所需的空間量,由此限定或限制頭戴裝置以全容量運作之能力。
在一些態樣中,餅狀光學元件可典型地用於為頭戴式顯示器(HMD)及其他光學系統提供薄輪廓或輕量設計。然而,在嘗試提供較小外觀尺寸及較薄輪廓時,習知餅狀光學元件可能通常無法提供其他重要特徵。舉例而言,習知餅狀光學元件設計可典型地僅藉由使用額外光學元件、較高功率消耗及/或增加之機械移動來提供失真補償及影像清晰度增強,此可不利地影響成本、大小、溫度及/或其他效能問題。
在一些實例中,頭戴式顯示器(HMD)或其他光學系統可包括眼睛追蹤單元以追蹤使用者之眼球。在一些實例中,眼睛追蹤光學部件可包括可用於「檢視」使用者之眼球的全像光學部件(HOE)。
在一些情況下,在使用期間,眼睛追蹤單元可能偏離且變得顯現為「離軸」。在此等情況下,由離軸眼睛追蹤光學部件產生之影像可變得失真。
由離軸眼睛追蹤光學部件產生之影像可能展現的第一此類失真可為「楔形失真」。因此,在一些實例中,在影像可投影至使用者之眼球前方之二維方形(或矩形)「框」上的情況下,離軸眼睛追蹤光學部件可產生可能無法呈現為方形之影像。實情為,方形(或矩形)框之水平及垂直縱橫比可能變得未對準(亦即,不平衡),並且水平面上之影像顯現可變得(相對)較小,而垂直平面上之影像顯現可保持相同。因此,投影至方形(或矩形)框上之影像可呈現梯形。
由離軸眼睛追蹤光學部件產生之影像可能展現的另一此類失真可為「波前誤差」。波前誤差可指示與在光射線可經由光學元件透射或反射時所見之清楚成像的「理想」波前之偏離程度。在一些實例中,平面波前誤差可計算為在光束可自完全平坦平面表面反射時在理想準直波前中所見之偏離程度。
本文中所描述之系統及方法可提供可使用緊湊型成像光學元件來提供失真補償及影像清晰度增強之空間定位、自由形式的光學元件。在一些實例中,空間定位、自由形式的光學元件可包括自由形式相位板、繞射部件及/或全像光學部件(HOE)中之一或多者。
在一些實例中,如所描述之空間定位、自由形式的光學元件可提供在頭戴式顯示器(HMD)或其他光學系統之光學組件中。此外,如本文中所描述,空間定位、自由形式的光學元件例如可相對於餅狀光學元件之光學元件提供,使得可能不需要空間之顯著或實質性增加。
在一些實例中,如所描述之空間定位、自由形式的光學元件可為「自由形式」,此係因為其可採用多種實體形狀及/或形式。因此,在一些實例中且如下文進一步論述,空間定位、自由形式的光學元件在形狀上可為彎曲的,而在其他實例中,空間定位、自由形式的光學元件之元件中之一或多者在形狀上可為線性的。
因此,如所描述之空間定位、自由形式的光學元件可用於調整不平衡的垂直及水平縱橫比(例如,由離軸眼睛追蹤單元引起),並且可能夠抵消失真(例如,楔形失真)。在一些實例中,空間定位、自由形式的光學元件可利用曲率來實施相位輪廓中之相位改變。因此,如所描述之空間定位、自由形式的光學元件之部件(例如,全像光學部件(HOE))可使得能夠產生更清晰、更清楚影像,在一些情況下,該等更清晰、更清楚影像可使得光學攝影機能夠更有效地追蹤眼球。
在一些實例中,空間定位、自由形式的光學元件可為「空間定位」,此係因為其可特別地位於光學系統(例如,頭戴式顯示器)內。如下文進一步論述,空間定位、自由形式的光學元件可位於光學系統內之多個位置中之一或多者中,以便達成特定成像特性或滿足特定成像需求。在一些實例中,空間定位、自由形式的光學元件可實現反射及透射性質兩者。亦即,在一些實例中,空間定位、自由形式的光學元件(例如,全像光學部件(HOE))可設置在第一位置處,該第一位置可使得空間定位、自由形式的光學元件能夠反射光射線(例如,朝向眼框)。在其他實例中,空間定位、自由形式的光學元件可實施在第二位置處,該第二位置可使得空間定位、自由形式的光學元件能夠透射光射線。
在一些實例中,如所描述之空間定位、自由形式的光學元件可實現多個視圖(亦即,「多視圖」),該等視圖可使得攝影機能夠自多個及不同方向追蹤物件(例如,觀看使用者之眼球)。更特定言之,在一些實例中,空間定位、自由形式的光學元件可劃分成具有具體及特定繞射設計之多個區段(亦即,區)。在一些實例中,具有具體及特定繞射設計之此等複數個區中之各者可朝向光學攝影機之特定區域繞射入射光射線,此可使得光學攝影機能夠藉由自多個不同方向追蹤觀看使用者之眼球來達到多個攝影機的效果。
與如所描述之空間定位、自由形式的光學元件相關聯之又一優點可為像差補償。特定言之,所描述之空間定位、自由形式的光學元件可抵消光學系統中固有之各種像差,該等像差可減少由光學系統產生的影像之品質。此類像差之一個實例可為球形像差,其中可離心照射在球形表面上之光線可比接近中心照射之光線折射或反射更多或更少。
如下文更詳細地論述,在一些實例中,空間定位、自由形式的光學元件之最佳效能可藉由最佳化如所描述之空間定位、自由形式的光學元件之實體態樣(例如,曲率)及相位輪廓來達成。實際上,在一些實例中,相較於典型光學系統(例如,<4.5-5.0 µm像素大小),空間定位、自由形式的光學元件可用於使得相關聯光學系統能夠達成更高解析度(例如,<2.0 µm像素大小)。
因此,藉由提供大小、厚度等可定製之空間定位、自由形式的光學元件,本文中所描述之系統及方法可提供靈活且低成本的方式以改良視覺靈敏度而不增加光學組件之大小、厚度、成本或總體體積。此等及其他實例將在本文中更詳細地描述。
應瞭解,在一些實例中,空間定位、自由形式的光學元件亦可充當或用作光學堆疊內之任何數目個光學元件。舉例而言,對於餅狀光學元件中之彎曲光學元件或窗口,如所描述之空間定位、自由形式的光學元件可採用「彎曲」形狀且亦可置放在此等非平坦元件內及/或當中。以此方式,使用一或多個空間定位、自由形式的光學元件可最小化對額外光學元件或餅狀光學元件中之當前現有光學元件之需要。
亦應瞭解,本文中所描述之系統及方法可特別適合於虛擬實境(VR)、擴增實境(AR)及/或混合實境(MR)環境,但亦可適用於包括光學透鏡組件之大量其他系統或環境,例如,使用餅狀光學元件或其他類似光學組態之系統或環境。此等系統或環境可包括例如攝影機或感測器、網路連接、電信、全像或其他光學系統。因此,本文中所描述之光學組態可用於此等或其他實例中之任一者中。此等及其他益處將在本文中所提供之描述中顯而易見。
系統概述
參考圖1及圖2A至圖2B。圖1說明根據一實例的與頭戴式顯示器(HMD)相關聯之系統100的方塊圖。系統100可用作虛擬實境(VR)系統、擴增實境(AR)系統、混合實境(MR)系統或其某一組合,或某一其他相關系統。應瞭解,系統100及頭戴式顯示器(HMD)105可為例示性說明。因此,系統100及/或頭戴式顯示器(HMD)105可包括或不包括額外特徵,並且可在不脫離本文中所概述之系統100及/或頭戴式顯示器(HMD)105之範圍的情況下移除及/或修改本文中所描述之一些特徵。
在一些實例中,系統100可包括頭戴式顯示器(HMD)105、成像裝置110及輸入/輸出(I/O)介面115,其中之各者可通信耦接至控制台120或其他類似裝置。
雖然圖1展示單個頭戴式顯示器(HMD)105、單個成像裝置110及I/O介面115,但應瞭解,任何數目個此等元件可包括在系統100中。舉例而言,可存在多個頭戴式顯示器(HMD)105,其各自具有相關聯輸入介面115且由一或多個成像裝置110監視,其中各頭戴式顯示器(HMD)105、I/O介面115及成像裝置110與控制台120通信。在替代組態中,不同及/或額外元件亦可包括在系統100中。如本文中所描述,頭戴式顯示器(HMD)105可用作虛擬實境(VR)、擴增實境(AR)及/或混合實境(MR)頭戴式顯示器(HMD)。舉例而言,混合實境(MR)及/或擴增實境(AR)頭戴式顯示器(HMD)可藉由電腦產生之元素(例如,影像、視訊、聲音等)擴增實體、真實世界環境之視圖。
頭戴式顯示器(HMD)105可將資訊傳達至正穿戴頭戴裝置之使用者或自正穿戴頭戴裝置之使用者傳達資訊。在一些實例中,頭戴式顯示器(HMD)105可將內容提供至使用者,該內容可包括但不限於影像、視訊、音訊或其某一組合。在一些實例中,音訊內容可經由頭戴式顯示器(HMD)105外部之個別裝置(例如,揚聲器及/或頭戴式耳機)來呈現,該個別裝置自頭戴式顯示器(HMD)105、控制台120或兩者接收音訊資訊。在一些實例中,頭戴式顯示器(HMD)105亦可自使用者接收資訊。此資訊可包括眼睛移動、頭部/身體移動、語音(例如,使用整合式或個別麥克風裝置)或其他使用者提供之內容。
頭戴式顯示器(HMD)105可包括任何數目個元件,諸如電子顯示器155、眼睛追蹤單元160、光學元件區塊165、一或多個定位器170、慣性量測單元(IMU)175、一或多個頭部/身體追蹤感測器180及場景顯現單元185及聚散度處理單元(vergence processing unit)190。
雖然圖1中所描述之頭戴式顯示器(HMD)105大體上在VR情境內作為VR系統環境之部分,但頭戴式顯示器(HMD)105亦可為諸如AR系統環境等其他HMD系統之部分。在描述AR系統或MR系統環境之實例中,頭戴式顯示器(HMD)105可藉由電腦產生之元素(例如,影像、視訊、聲音等)擴增實體、真實世界環境之視圖。
下文結合圖2進一步描述頭戴式顯示器(HMD)105之實例。頭戴式顯示器(HMD)105可包括一或多個剛體(rigid body),其可剛性地或非剛性地彼此耦接在一起。剛體之間的剛性耦接致使經耦接剛體用作單個剛性實體。相比之下,剛體之間的非剛性耦接允許該等剛體相對於彼此移動。
電子顯示器155可包括將視覺資料呈現至使用者之顯示裝置。可例如自控制台120傳輸此視覺資料。在一些實例中,電子顯示器155亦可呈現用於追蹤使用者之眼睛移動的追蹤光。應瞭解,電子顯示器155可包括任何數目個電子顯示部件(例如,用於使用者中之各者之顯示器)。可用於電子顯示器155中之顯示裝置之實例可包括但不限於液晶顯示器(LCD)、發光二極體(LED)、有機發光二極體(OLED)顯示器、主動矩陣有機發光二極體(AMOLED)顯示器、微發光二極體(微LED)顯示器、某一其他顯示器或其某一組合。
光學元件區塊165可基於或回應於自控制台120或其他元件接收到之指令而調整其焦距。在一些實例中,光學元件區塊165可包括多焦點區塊以調整光學元件區塊165之焦距(調整光功率)。
眼睛追蹤單元160可追蹤頭戴式顯示器(HMD)105之使用者的眼睛位置及眼睛移動。頭戴式顯示器(HMD)105內部之攝影機或其他光學感測器可捕捉使用者之眼睛的影像資訊,並且眼睛追蹤單元160可使用所捕捉資訊來判定瞳孔間距離、眼間距離、各眼睛相對於頭戴式顯示器(HMD)105之三維(3D)位置(例如,出於失真調整之目的),包括各眼睛的扭轉及旋轉(亦即,橫搖(roll)、縱搖(pitch)、平擺(yaw))量值以及凝視方向。用於使用者之眼睛的位置及位向之資訊可用於判定由頭戴式顯示器(HMD)105呈現的使用者正觀看之虛擬場景中的凝視點。
聚散度處理單元190可判定使用者之凝視的聚散度深度。在一些實例中,此可基於由眼睛追蹤單元160判定之凝視點或凝視線之所估計交叉點。聚散度係兩隻眼睛在相反方向上同時移動或旋轉以維持單雙目視覺,此由人眼自然地及/或自動地執行。因此,使用者之眼睛聚散度之位置可指使用者正觀看之位置,並且亦可典型地為使用者之眼睛聚焦的位置。舉例而言,聚散度處理單元190可對凝視線進行三角量測以估計與凝視線之交叉點相關聯的距使用者之距離或深度。與凝視線之交叉點相關聯的深度可接著用作調節距離之近似值,其識別使用者之眼睛所指向的距使用者之距離。因此,聚散度距離允許判定使用者之眼睛應聚焦的位置。
一或多個定位器170可為相對於彼此且相對於頭戴式顯示器(HMD)105上之具體參考點位於頭戴式顯示器(HMD)105上之具體位置中的一或多個物件。在一些實例中,定位器170可為發光二極體(LED)、隅角立方反射器、反射標記及/或與頭戴式顯示器(HMD)105操作所在之環境形成對比的一種類型之光源,或其某一組合。主動定位器170(例如,LED或其他類型之發光裝置)可發射可見光帶(約380 nm至850 nm)、紅外光(IR)帶(約850 nm至1 mm)、紫外光帶(10 nm至380 nm)、電磁光譜之某一其他部分或其某一組合中的光。
一或多個定位器170可位於頭戴式顯示器(HMD)105之外部表面下方,該外部表面對於藉由定位器170發射或反射之光的波長可為透明的,或可足夠薄以不實質上減弱藉由定位器170發射或反射之光的波長。此外,頭戴式顯示器(HMD)105之外部表面或其他部分在光之可見波長帶中可為不透明的。因此,一或多個定位器170可在處於頭戴式顯示器(HMD)105之外部表面下時發射IR帶中的光,該外部表面在IR帶中可為透明的但在可見光帶中為不透明的。
慣性量測單元(IMU)175可為電子裝置,其尤其基於或回應於自頭部/身體追蹤感測器180中之一或多者接收到之量測信號而產生快速校準資料,該等頭部/身體追蹤感測器可回應於頭戴式顯示器(HMD)105之運動而產生一或多個量測信號。頭部/身體追蹤感測器180之實例可包括但不限於加速度計、陀螺儀、磁力計、攝影機、適合於偵測運動、校正與慣性量測單元(IMU)175相關聯之誤差的其他感測器,或其某一組合。頭部/身體追蹤感測器180可位於慣性量測單元(IMU)175外部、慣性量測單元(IMU)175內部,或其某一組合。
基於或回應於來自頭部/身體追蹤感測器180之量測信號,慣性量測單元(IMU)175可產生指示頭戴式顯示器(HMD)105相對於頭戴式顯示器(HMD)105之初始位置之所估計位置的快速校準資料。舉例而言,頭部/身體追蹤感測器180可包括用以量測平移運動(前/後、上/下、左/右)之多個加速度計及用以量測旋轉運動(例如,橫搖、縱搖、平擺)之多個陀螺儀。慣性量測單元(IMU)175可接著例如快速地對量測信號進行取樣及/或根據經取樣資料計算頭戴式顯示器(HMD)105之所估計位置。舉例而言,慣性量測單元(IMU)175可隨時間推移而整合自加速度計接收到之量測信號以估計速度向量,並且隨時間推移而整合速度向量以判定頭戴式顯示器(HMD)105上之參考點之所估計位置。應瞭解,參考點可為可用於描述頭戴式顯示器(HMD)105之位置的點。雖然參考點通常可被界定為空間中之點,但在各種實例或情境中,如本文中所使用之參考點可被界定為頭戴式顯示器(HMD)105內之點(例如,慣性量測單元(IMU)175之中心)。替代地或另外,慣性量測單元(IMU)175可將經取樣量測信號提供至控制台120,該控制台可判定快速校準資料或其他類似或相關資料。
慣性量測單元(IMU)175可另外自控制台120接收一或多個校準參數。如本文中所描述,一或多個校準參數可用於維持頭戴式顯示器(HMD)105之追蹤。基於所接收校準參數,慣性量測單元(IMU)175可調整IMU參數中之一或多者(例如,取樣率)。在一些實例中,某些校準參數可致使慣性量測單元(IMU)175更新參考點之初始位置以對應於參考點之下一校準位置。將參考點之初始位置更新為參考點之下一經校準位置可有助於減少與判定所估計位置相關聯之累積誤差。累積誤差,亦被稱作漂移誤差,可致使參考點之所估計位置隨時間推移而遠離參考點之實際位置「漂移」。
場景顯現單元185可自VR引擎145接收用於虛擬場景之內容且可提供該內容以供顯示在電子顯示器155上。另外或替代地,場景顯現單元185可基於來自慣性量測單元(IMU)175、聚散度處理單元830及/或頭部/身體追蹤感測器180之資訊而調整內容。場景顯現單元185可至少部分地基於追蹤單元140、頭部/身體追蹤感測器180及/或慣性量測單元(IMU)175中之一或多者而判定待顯示在電子顯示器155上的內容之部分。
成像裝置110可根據自控制台120接收到之校準參數產生慢速校準資料。慢速校準資料可包括展示可由成像裝置110偵測到之定位器125之所觀測位置的一或多個影像。成像裝置110可包括一或多個攝影機、一或多個視訊攝影機、能夠捕捉包括一或多個定位器170之影像的其他裝置,或其某一組合。另外,成像裝置110可包括一或多個濾光器(例如,用於增加信雜比)。成像裝置110可經組態以在成像裝置110之視野中偵測自一或多個定位器170發射或反射之光。在定位器170包括一或多個被動部件(例如,複歸反射器)之實例中,成像裝置110可包括照明定位器170中之一些或全部的光源,該等定位器可朝向成像裝置110中之光源複歸反射光。慢速校準資料可自成像裝置110傳達至控制台120,並且成像裝置110可自控制台120接收一或多個校準參數以調整一或多個成像參數(例如,焦距、焦點、圖框速率、ISO、感測器溫度、快門速度、孔徑等)。
I/O介面115可為允許使用者將動作請求發送至控制台120之裝置。動作請求可為執行特定動作之請求。舉例而言,動作請求可為開始或結束應用程式或執行該應用程式內之特定動作。I/O介面115可包括一或多個輸入裝置。實例輸入裝置可包括鍵盤、滑鼠、手持式控制器、手套控制器及/或用於接收動作請求且將所接收動作請求傳達至控制台120之任何其他適合裝置。由I/O介面115接收到之動作請求可傳達至控制台120,該控制台可執行對應於動作請求之動作。在一些實例中,I/O介面115可根據自控制台120接收到之指令將觸覺回饋提供至使用者。舉例而言,觸覺回饋可在接收到動作請求時由I/O介面115提供,或控制台120可將指令傳達至I/O介面115,從而致使I/O介面115在控制台120執行動作時產生觸覺回饋。
控制台120可根據自成像裝置110、頭戴式顯示器(HMD)105或I/O介面115接收到之資訊將內容提供至頭戴式顯示器(HMD)105以供呈現至使用者。控制台120包括應用程式商店150、追蹤單元140及VR引擎145。控制台120之一些實例具有與結合圖1所描述之單元不同或額外的單元。類似地,下文進一步描述之功能可以與此處所描述之方式不同的方式分佈在控制台120之元件當中。
應用程式商店150可儲存一或多個應用程式以供控制台120執行,以及其他各種與應用程式相關之資料。如本文中所使用,應用程式可指在由處理器執行時產生供呈現至使用者之內容的指令群組。由應用程式產生之內容可回應於經由頭戴式顯示器(HMD)105或I/O介面115之移動自使用者接收到的輸入。應用程式之實例可包括遊戲應用程式、會議應用程式、視訊播放應用程式或其他應用程式。
追蹤單元140可校準系統100。此校準可藉由使用一或多個校準參數來達成,並且可調整一或多個校準參數以減少在判定頭戴式顯示器(HMD)105之位置時的誤差。舉例而言,追蹤單元140可調整成像裝置110之焦點,以獲得在頭戴式顯示器(HMD)105上觀測到之定位器170的更準確位置。此外,藉由追蹤單元140執行之校準亦可考量自慣性量測單元(IMU)175接收到之資訊。另外,若頭戴式顯示器(HMD)105之追蹤丟失(例如,成像裝置110失去至少臨限數目個定位器170之視線),則追蹤單元140可重新校準系統100元件中之一些或全部。
另外,追蹤單元140可使用來自成像裝置110之慢速校準資訊來追蹤頭戴式顯示器(HMD)105之移動,並且可使用來自慢速校準資訊之所觀測定位器以及頭戴式顯示器(HMD)105之模型來判定頭戴式顯示器(HMD)105上的參考點之位置。追蹤單元140亦可使用來自頭戴式顯示器(HMD)105上之慣性量測單元(IMU)175之快速校準資訊的位置資訊來判定頭戴式顯示器(HMD)105上的參考點之位置。另外,眼睛追蹤單元160可使用快速校準資訊、慢速校準資訊或其某一組合之部分來預測頭戴式顯示器(HMD)105之未來位置,該未來位置可提供至VR引擎145。
VR引擎145可執行系統100內之應用程式,並且可自追蹤單元140或其他元件接收用於頭戴式顯示器(HMD)105之位置資訊、加速度資訊、速度資訊、經預測未來位置、其他資訊或其某一組合。基於或回應於所接收資訊,VR引擎145可判定提供至頭戴式顯示器(HMD)105以供呈現至使用者之內容。此內容可包括但不限於虛擬場景、覆迭至真實世界場景上之一或多個虛擬物件等。
在一些實例中,VR引擎145可維持光學元件區塊165之聚焦能力資訊。如本文中所使用,聚焦能力資訊可指描述哪些焦距可用於光學元件區塊165之資訊。聚焦能力資訊可包括例如光學元件區塊165能夠調節之焦點範圍(例如,0屈光度至4屈光度)、焦點解析度(例如,0.25屈光度)、焦平面之數目、用於映射至特定焦平面之可切換半波片(SHWP)(例如,主動或非主動)之設定的組合、用於映射至特定焦平面之SHWP及主動液晶透鏡之設定的組合,或其某一組合。
VR引擎145可產生用於光學元件區塊165之指令。此等指令可致使光學元件區塊165將其焦距調整至特定位置。VR引擎145可基於聚焦能力資訊及例如來自聚散度處理單元190、慣性量測單元(IMU)175及/或頭部/身體追蹤感測器180之資訊而產生指令。VR引擎145可使用來自聚散度處理單元190、慣性量測單元(IMU)175及頭部/身體追蹤感測器180、其他來源或其某一組合之資訊來選擇理想焦平面以將內容呈現至使用者。VR引擎145可接著使用聚焦能力資訊來選擇最接近理想焦平面之焦平面。VR引擎145可使用聚焦資訊來判定用於光學元件區塊165內之與選定焦平面相關聯的一或多個SHWP、一或多個主動液晶透鏡或其某一組合之設定。VR引擎145可基於經判定設定而產生指令,並且可將該等指令提供至光學元件區塊165。
VR引擎145可回應於自I/O介面115接收到之動作請求而在控制台120上執行之應用程式內執行任何數目個動作,並且可將執行該動作之回饋提供至使用者。所提供回饋可為經由頭戴式顯示器(HMD)105之視覺或聽覺回饋或經由I/O介面115之觸覺回饋。
圖2A至圖2B說明根據一實例的各種頭戴式顯示器(HMD)。圖2A展示根據一實例的頭戴式顯示器(HMD)105。頭戴式顯示器(HMD)105可包括前剛體205及帶210。如本文中所描述,前剛體205可包括電子顯示器(圖中未示)、慣性量測單元(IMU)175、一或多個位置感測器(例如,頭部/身體追蹤感測器180)及一或多個定位器170。在一些實例中,使用者移動可藉由使用慣性量測單元(IMU)175、位置感測器(例如,頭部/身體追蹤感測器180)及/或一或多個定位器170來偵測,並且影像可基於或回應於所偵測使用者移動而經由電子顯示器呈現至使用者。在一些實例中,頭戴式顯示器(HMD)105可用於呈現虛擬實境、擴增實境或混合實境環境。
諸如關於圖1所描述之頭部/身體追蹤感測器180等至少一個位置感測器可回應於頭戴式顯示器(HMD)105之運動而產生一或多個量測信號。位置感測器之實例可包括:一或多個加速度計、一或多個陀螺儀、一或多個磁力計、偵測運動之另一適合類型之感測器、用於慣性量測單元(IMU)175之誤差校正的一種類型之感測器,或其某一組合。位置感測器可位於慣性量測單元(IMU)175外部、慣性量測單元(IMU)175內部,或其某一組合。在圖2A中,位置感測器可位於慣性量測單元(IMU)175內,並且慣性量測單元(IMU)175及位置感測器(例如,頭部/身體追蹤感測器180)皆不可或可不必對使用者可見。
基於來自一或多個位置感測器之一或多個量測信號,慣性量測單元(IMU)175可產生指示頭戴式顯示器(HMD)105相對於頭戴式顯示器(HMD)105之初始位置之所估計位置的校準資料。在一些實例中,慣性量測單元(IMU)175可快速地對量測信號進行取樣且根據經取樣資料計算HMD 105之所估計位置。舉例而言,慣性量測單元(IMU)175可隨時間推移而整合自一或多個加速度計(或其他位置感測器)接收到之量測信號以估計速度向量,並且隨時間推移而整合速度向量以判定頭戴式顯示器(HMD)105上之參考點之所估計位置。替代地或另外,慣性量測單元(IMU)175可將經取樣量測信號提供至控制台(例如,電腦),該控制台可判定校準資料。參考點可為可用於描述頭戴式顯示器(HMD)105之位置的點。雖然參考點通常可被界定為空間中之點;然而,實務上,參考點可被界定為頭戴式顯示器(HMD)105內之點(例如,慣性量測單元(IMU)175之中心)。
在圖2之實例中,一或多個定位器170或定位器170之部分可位於前剛體205之前側220A、頂側220B、底側220C、右側220D及左側220E上。一或多個定位器170可相對於彼此且相對於參考點215位於固定位置中。在圖2中,參考點215例如可位於慣性量測單元(IMU)175之中心處。一或多個定位器170中之各者可發射可由成像裝置(例如,攝影機或影像感測器)偵測之光。
圖2B說明根據另一實例的頭戴式顯示器(HMD)。如圖2B中所展示,頭戴式顯示器(HMD)105可採用諸如眼鏡之可穿戴件之形式。圖2B之頭戴式顯示器(HMD)105可為圖1之頭戴式顯示器(HMD)105之另一實例。頭戴式顯示器(HMD)105可為人工實境(AR)系統之部分,或可作為經組態以實施本文中所描述之技術的獨立行動人工實境系統操作。
在一些實例中,頭戴式顯示器(HMD)105可為眼鏡,其包含前框架,該前框架包括用以允許頭戴式顯示器(HMD)105擱置在使用者之鼻子上的橋,以及在使用者之耳朵之上延伸以將頭戴式顯示器(HMD)105緊固至使用者的鏡腿(或「臂」)。另外,圖2B之頭戴式顯示器(HMD)105可包括經組態以將人工實境內容呈現至使用者之一或多個面向內部的電子顯示器203A及203B(統稱為「電子顯示器203」)以及經組態以管理由面向內部的電子顯示器203輸出之光的一或多個變焦光學系統205A及205B(統稱為「變焦光學系統205」)。在一些實例中,在例如根據頭戴式顯示器(HMD)105及使用者之當前觀看視角追蹤頭戴式顯示器(HMD)105之位置及位向以用於顯現人工實境(AR)內容時,顯示器203相對於頭戴式顯示器(HMD)105之前框架的已知位向及位置可用作參考框架,其亦被稱作局部原點。
如圖2B中進一步展示,頭戴式顯示器(HMD)105可進一步包括一或多個運動感測器206、一或多個整合式影像捕捉裝置138A及138B(統稱為「影像捕捉裝置138」)、可包括內部電源之內部控制單元210以及具有一或多個處理器、記憶體及硬體之一或多個印刷電路板,以提供用於執行可程式化操作以處理所感測資料且在顯示器203上呈現人工實境內容之操作環境。此等元件可為本端或遠端的,或其組合。
雖然在圖1中描繪為個別元件,但應瞭解,頭戴式顯示器(HMD)105、成像裝置110、I/O介面115及控制台120可整合至單個裝置或可穿戴頭戴裝置中。舉例而言,此單個裝置或可穿戴頭戴裝置(例如,圖2A至圖2B之頭戴式顯示器(HMD)105)可將圖1之系統100的全部效能能力包括在單個自含式頭戴裝置內。而且,在一些實例中,追蹤可使用「由內而外」方法而非「由外而內」方法來達成。在「由內而外」方法中,外部成像裝置110或定位器170可能不被需要或被提供至系統100。此外,雖然頭戴式顯示器(HMD)105經描繪並描述為「頭戴裝置」,但應瞭解,頭戴式顯示器(HMD)105亦可經提供為眼鏡或其他可穿戴裝置(在頭部或其他身體部位上),如圖2A中所展示。亦可取決於用途或應用而提供其他各種實例。
圖3說明包括空間定位、自由形式的光學元件之光學系統之部件的圖式。在一些實例中,光學系統300可為頭戴式顯示器(HMD)。而且,在一些實例中,光學系統300可包括光學攝影機301及空間定位、自由形式的光學元件302。在一些實例中,空間定位、自由形式的光學元件302可為全像光學部件(HOE)。在一些實例中,空間定位、自由形式的光學元件302可包括任何數目個自由形式的光學元件。在一些實例中,自由形式的光學元件302可包括在光學攝影機301中。
在一些實例中,光學攝影機301可投影光線(如所展示)以自空間定位、自由形式的光學元件302反射。此外,在一些實例中,光學攝影機301可利用經反射光線來追蹤(亦即,「檢視」)移動,包括觀看使用者之眼球(圖中未示)及眉毛305的移動。如所指示,在一些實例中,光學攝影機301可追蹤特定長度303(例如,29.4毫米(mm))之上及特定寬度304(例如,41.5毫米(mm))之上的移動。
圖4說明包括空間定位、自由形式的光學元件之光學系統之部件的圖式。類似於圖3中所說明之實例,光學系統400可包括光學攝影機401及空間定位、自由形式的光學元件402。在一些實例中,空間定位、自由形式的光學元件402可為全像光學部件(HOE)。因此,在一些實例中,光學攝影機401可朝向空間定位、自由形式的光學元件402透射光射線,以朝向觀看眼球平面(或「眼框」)403反射,以便產生經反射影像404。在一些實例中,經反射影像404可用於尤其追蹤觀看使用者之眼球403。而且,在一些實例中,空間定位、自由形式的光學元件402可獨立於光學攝影機401,而在其他實例中,空間定位、自由形式的光學元件402可包括為光學攝影機401之部分。在一些實例中,除特定寬度及高度之外,空間定位、自由形式的光學元件402亦可具有最小厚度,該最小厚度可使得空間定位、自由形式的光學元件402能夠位於光學組件中。
空間定位、自由形式的光學元件之多個視圖(「多視圖」)組態
典型地,光學攝影機可將光射線透射至光學部件(例如,全像光學部件(HOE))上,其中與經透射光射線相關聯之各種顏色(例如,紅色、綠色、黃色及藍色)可一起透射(亦即,合併)。因此,在此等情況下,利用合併光射線之光學攝影機可僅自一個(合併)方向追蹤觀看使用者之眼球,並且可僅能夠提供在觀看使用者之眼球之一個「視圖」上。
然而,在一些實例中,如所描述之空間定位、自由形式的光學元件可提供多個視圖(亦即,「多視圖」),該等視圖可使得攝影機能夠自多個及不同方向追蹤人類使用者之眼球。圖5A至圖5C說明包括空間定位、自由形式的光學元件之光學裝置(例如,頭戴式顯示器)的各種配置及態樣。
在一些實例中且如圖5A中所說明,光學系統500可包括光學攝影機502。在一些情況下,光學攝影機502可朝向空間定位、自由形式的光學元件501透射光射線。在此等情況下,光射線可自空間定位、自由形式的光學元件501朝向如光瞳平面503等觀看平面反射,其中經反射射線可經分析(例如,藉由電腦軟體)以追蹤使用者之眼球。在一些實例中,空間定位、自由形式的光學元件501可為全像光學部件(HOE)。
在一些實例中,為了提供可使得攝影機能夠自多個及不同方向追蹤物件(例如,觀看使用者之眼球)的多個視圖(亦即,「多視圖」),空間定位、自由形式的光學元件501可劃分成多個區段(亦即,區)。特定言之,空間定位、自由形式的光學元件501之表面可劃分成具有具體及特定繞射設計之複數個區。在一個實例中,複數個區之具體及特定繞射設計中之各者可為唯一的。
在一些實例中,與具體及特定繞射設計相關聯之此等複數個區中之各者可以特定「觀看」角度繞射入射光射線。如本文中所使用,「觀看角度」或「反射角度」可包括入射光射線可自空間定位、自由形式的光學元件之表面反射的任何角度,如所描述。因此,在一些實例中,具有具體及/或唯一繞射設計之複數個區中之各者可使得複數個「簇狀」光射線中之一者能夠以特定觀看角度自眼球平面反射(回)且朝向光學攝影機502反射以供例如在相關聯感測器之具體片段處捕捉。而且,在一些實例中,多個光射線簇中之各者可藉由光學攝影機502使用相關聯感測器之對應片段捕捉,並且可經分析(例如,經由電腦軟體)。以此方式,光學攝影機502能夠藉由自多個不同方向追蹤觀看使用者之眼球來達到多個攝影機的效果。此外,在一些情況下,此亦可使得能夠更準確地判定(例如,經由電腦軟體)觀看使用者之眼球的凝視角度。
在圖5B中說明包括具有特定及/或唯一繞射設計之複數個區的空間定位、自由形式的光學元件504之表面之一實例。在一些實例中,空間定位、自由形式的光學元件504可為全像光學部件(HOE)。因此,在一些實例中,空間定位、自由形式的光學元件504可包括具有具體及特定繞射設計之複數個區504a-d。在一些實例中,第一區504a可經設計以繞射紅色光射線(亦即,紅色簇),第二區504b可經設計以繞射黃色光射線(亦即,黃色簇),第三區504c可經設計以繞射綠色光射線(亦即,綠色簇),並且第四區504d可經設計以繞射藍色光射線(亦即,藍色簇)。
在一些實例中,並且如圖5C中所說明之實例中所展示,光學系統510可包括光學攝影機511及空間定位、自由形式的光學元件512,其中空間定位、自由形式的光學元件512可包括具有具體及特定繞射設計之複數個區(例如,類似於複數個區504a-d),該複數個區可以不同(亦即,唯一)、特定的觀看角度繞射光射線之紅色簇、黃色簇、綠色簇及藍色簇。在一些實例中,光學攝影機511可自空間定位、自由形式的光學元件512上之複數個區中之各者接收光射線之紅色簇、黃色簇、綠色簇及藍色簇中之各者。在此等實例中,所接收光射線可經分析(例如,經由電腦軟體)以自複數個方向(亦即,「多視圖」)追蹤物件(例如,眼球)。在一些實例中,如所描述之空間定位、自由形式的光學元件之此等多視圖特徵亦可用於緩解睫毛遮擋。
用於空間定位、自由形式的光學元件之透過透鏡(TTL)組態
在一些實例中且如上文所描述,空間定位、自由形式的光學元件可實施為反射部件。舉例而言且如上文所論述,在圖4及圖5A至圖5C中所說明之實例中,空間定位、自由形式的光學元件(例如,全像光學部件(HOE))可自光學攝影機反射光射線以追蹤觀看使用者之眼球。然而,如下文進一步描述,在各種實例中,「空間定位」、自由形式的光學元件可位於相對於光學裝置中之其他元件的多個及/或各種位置中之任一者中以達成特定光學特性。
圖6說明包括空間定位、自由形式的光學元件之光學裝置的圖式。在一些實例中,光學系統600可包括光學攝影機601、空間定位、自由形式的光學元件602、第一觀看光學元件部件604及第二觀看光學元件部件605。在一些實例中,光學攝影機601可朝向空間定位、自由形式的光學元件602透射光射線。此外,在一些實例中,空間定位、自由形式的光學元件602可為全像光學部件(HOE)。
因此,在一些實例中,空間定位、自由形式的光學元件602可位於第一位置602a(亦即,透射位置)處,其中空間定位、自由形式的光學元件602可用作透射部件。特定言之,在位於第一位置602a處時,空間定位、自由形式的光學元件602能夠使經透射光射線通過,且朝向觀看平面603行進。因此,在一些實例中,空間定位、自由形式的光學元件602可用於例如擴增實境(AR)情境中,以修改或增強所觀看影像。
另外,在一些實例中,空間定位、自由形式的光學元件602可位於第二位置602b(亦即,反射位置)中,其中空間定位、自由形式的光學元件602可用作反射器部件。在一些實例中,在位於第二位置602b處時,空間定位、自由形式的光學元件602可使得經透射光射線能夠經由觀看平面603追蹤眼球。因此,在一些實例中,空間定位、自由形式的光學元件602可用於例如虛擬實境(VR)情境中,以追蹤觀看使用者之眼球。在實施多視圖組態之實例中,在位於第一位置602a及第二位置602b處時,光學元件602可劃分成多個片段,該等片段可以多個觀看角度收集光射線簇,使得觀看角度下之各光射線簇可到達光學攝影機601之感測器上的對應區段。此外,在一些實例中,電腦程式可用於分別處理與多個觀看角度下之各光射線簇相關聯的資料。
應瞭解,雖然本文中所描述之實例將第一位置602a及第二位置602b用於自由形式的光學元件602,但亦可利用用於自由形式的光學元件之其他位置。此外,應瞭解,此等位置亦可自第一位置(例如,第一位置602a)調整至可能判定(例如,經由電腦軟體)之第二位置(例如,第二位置602b)。
應瞭解,空間定位、自由形式的光學元件602可在關於光學裝置中之其他元件的各種位置中之任一者中實現上文所論述之多視圖能力,該等位置包括第一位置602a及第二位置602b。亦即,在一些實例中,空間定位、自由形式的光學元件602可劃分成具有具體及特定繞射設計之多個區,並且可使得能夠自多個方向追蹤物件(例如,眼球)。
空間定位、自由形式的光學元件之自由形式態樣
在一些實例中且如上文所描述,空間定位、自由形式的光學元件可為「自由形式」,此係因為可採用各種實體形式(亦即,形狀)。舉例而言,如上文所論述,在一些實例中,空間定位、自由形式的光學元件可為可具有線性(亦即,筆直)表面之全像光學部件(HOE)。在其他實例中,空間定位、自由形式的光學元件可為可具有彎曲表面之全像光學部件(HOE)。
在一些實例中,空間定位、自由形式的光學元件之形式(例如,曲率)與特定相位輪廓相關聯。亦即,在一些實例中,空間定位、自由形式的光學元件(例如,全像光學部件(HOE))可根據特定相位輪廓反射光射線。
在一些實例中,空間定位、自由形式的光學元件(例如,全像光學部件(HOE))可實施可提供漸進相位改變之相位輪廓。在一些情況下,漸進相位改變可為線性相位改變。圖7A至圖7C說明簡單全像光學部件(HOE)之相位改變輪廓的態樣。如圖7A及圖7B中所說明,線性相位改變可藉由相位改變輪廓上之線性梯度來證明。
然而,應瞭解,在一些實例中,線性相位改變輪廓可導致光學部件(例如,全像光學部件(HOE))遞送失真影像。具體言之,如圖7C中所展示,在具有矩形形狀之影像701可經投影時,影像702之失真版本可看起來具有梯形形狀。因而,漸進或線性相位改變之實施可導致楔形失真(如上文所論述)。
另一方面,在一些實例中,如本文中所描述之空間定位、自由形式的光學元件可實施球形、圓柱形、非球形或無曲率。亦即,空間定位、自由形式的光學元件可實施為具有非線性(亦即,彎曲)表面。圖8A至圖8C說明彎曲全像光學部件(HOE)之相位改變輪廓的態樣。在一些情況下,並且如圖8A及圖8B中所說明,空間定位、自由形式的光學元件可實施非線性相位改變,並且可藉由相位改變輪廓上之非線性梯度來證明。
在一些實例中,具有彎曲相位輪廓之空間定位、自由形式的光學元件可藉由使投影影像與實際影像更一致來克服上文所論述之問題。具體言之,在一些實例中且如圖8C中所展示,在空間定位、自由形式的光學元件可具有及/或實施曲率之情況下,具有矩形形狀之影像801亦可投影至可具有(類似)矩形形狀之投影影像802。
應瞭解,與如所描述之空間定位、自由形式的光學元件相關聯之曲率可經選擇及/或實施以藉由光學裝置最佳化影像產生。因此,在一些實例中,實施在光學裝置中之空間定位、自由形式的光學元件可提供增加之影像解析度,並且可藉由平衡所產生影像之垂直及水平面上的縱橫比來校正失真。實際上,在一些實例中,經由利用具有曲率之空間定位、自由形式的光學元件實施最佳化相位輪廓可展示為顯著改良總體失真效能(例如,影像失真可自~16.7%減少至~4.4%)。此外,在一些實例中,如本文中所描述之自由形式的光學元件(例如,彎曲相位板)可用於校正像差,諸如球形像差、彗形像差、散光及像場彎曲。
圖9說明用於在光學裝置中實施空間定位、自由形式的光學元件以用於光學裝置中之失真補償及清晰度增強的方法之流程圖。方法900藉助於實例提供,此係因為可存在進行本文中所描述之方法的多種方式。雖然方法900主要描述為藉由圖1之系統100及/或圖4、圖5A至圖5C及圖6之光學裝置400、500及600執行,但方法900可藉由另一系統之一或多個處理元件或系統之組合執行或以其他方式執行。圖9中所展示之各方塊可進一步表示一或多個程序、方法或次常式,並且方塊中之一或多者可包括儲存在非暫時性電腦可讀取媒體上且由處理器或其他類型之處理電路執行以執行本文中所描述之一或多個操作的機器可讀取指令。
在方塊910處,可提供空間定位、自由形式的光學元件,其中該提供可包括將空間定位、自由形式的光學元件之表面劃分成具有具體及特定繞射設計之複數個區。在一些實例中,具有具體及特定繞射設計之此等複數個區中之各者可以多個反射(或透射)角度反射(或透射)複數個「簇狀」光射線。在一些實例中,複數個區可包括四個區,其中第一區可以第一反射角度繞射紅色光射線(亦即,紅色簇),第二區可以第二反射角度繞射黃色光射線(亦即,黃色簇),第三區504c可以第三反射角度繞射綠色光射線(亦即,綠色簇),並且第四區504d可以第四反射角度繞射藍色光射線(亦即,藍色簇)。如上文所論述,在特定(亦即,唯一)角度處發射之射線簇中之各者可使得光學攝影機能夠用作複數個光學攝影機,並且可實現(例如,使用者之眼球之)增強追蹤。
在方塊920處,可提供空間定位、自由形式的光學元件,其中該提供可包括空間定位、自由形式的光學元件之表面實施(表面)曲率。特定言之,在一些實例中,空間定位、自由形式的光學元件可實施為具有非線性(亦即,彎曲)表面。在此等情況下,空間定位、自由形式的光學元件可實施非線性相位改變。如上文所論述,在一些實例中,可實施可使得能夠補償失真(例如,楔形失真)之曲率。在其他實例中,空間定位、自由形式的光學元件亦可實施線性(亦即,筆直)表面。
在方塊930處,空間定位、自由形式的光學元件可空間定位在光學裝置內之一位置處。在一些實例中,空間定位、自由形式的光學元件可位於第一位置處,其中空間定位、自由形式的光學元件可用作透射部件。而且,在一些實例中,空間定位、自由形式的光學元件可位於第二位置中,其中空間定位、自由形式的光學元件可用作反射器部件。
應瞭解,該類型之空間定位、自由形式的光學元件可如上文所論述至少部分地基於使用者偏好、環境條件或其他參數而組態。在一些實例中,此可藉由頭戴式顯示器(HMD)手動地或自動地達成。舉例而言,頭戴式顯示器(HMD)可包括能夠自動地偵測使用者之偏好、偵測環境條件(例如,使用一或多個感測器)及自動地調整空間定位、自由形式的光學元件之光電元件,如完全或部分(例如,分區)地描述。以此方式,頭戴式顯示器(HMD)可自動地提供凝視準確度、失真減少及/或影像清楚度增強,而無需實質上增加總體光學組件之厚度、添加額外光學元件或其他。
額外資訊
本文中所描述之系統及方法可提供用於使用緊湊型成像光學元件之失真補償及影像清晰度增強的技術,該技術例如可用於頭戴式顯示器(HMD)或其他光學應用中。
本文中所描述之光學透鏡組態之益處及優點可尤其包括最小化總體透鏡組件厚度、減少功率消耗、增加產品靈活性及效率以及改良解析度。此可在任何數目個環境中,諸如在虛擬實境(VR)、擴增實境(AR)及/或混合實境(MR)環境或其他光學情境中,達成。
如上文所提及,可存在用以組態、提供、製造或定位上文所描述之實例之各種光學、電及/或機械元件或部件的眾多方式。雖然本文中所描述之實例係針對如所展示之某些組態,但應瞭解,取決於應用或使用情況,本文中所描述或提及之元件中之任一者的大小、形狀及數目或材料可更改、改變、替換或修改,並且針對所要解析度或最佳結果進行調整。以此方式,亦可獲得其他電、熱、機械及/或設計優點。
應瞭解,本文中所描述之設備、系統及方法可促進更合乎需要的頭戴裝置或視覺結果。亦應瞭解,如本文中所描述之設備、系統及方法亦可包括圖中未示之其他元件或與該等其他元件通信。舉例而言,此等元件可包括外部處理器、計數器、分析器、計算裝置及其他量測裝置或系統。在一些實例中,此亦可包括中間軟體(圖中未示)。中間軟體可包括由一或多個伺服器或裝置代管之軟體。此外,應瞭解,中間軟體或伺服器中之一些可能或可能不需要達成功能性。圖中未示之其他類型之伺服器、中間軟體、系統、平台及應用程式亦可設置在後端處以促進頭戴裝置之特徵及功能性。
此外,本文中所描述之單個元件可提供為多個元件,且反之亦然,以執行上文所描述之功能及特徵。應瞭解,本文中所描述之設備或系統之元件可以部分或全容量操作,或可完全移除。亦應瞭解,本文中關於例如液晶(LC)或光學組態所描述之分析及處理技術亦可藉由總體系統或設備之此等或其他各種元件部分或完全地執行。
應瞭解,資料儲存區亦可提供至本文中所描述之設備、系統及方法,並且可包括可儲存資料及包括機器可讀取指令之軟體或韌體的揮發性及/或非揮發性資料儲存裝置。軟體或韌體可包括執行量測系統之功能及/或運行利用來自量測或其他通信耦接之系統的資料之一或多個應用程式的次常式或應用程式。
各種構件、電路、部件、元件及/或介面可為任何數目個光學、機械、電、硬體、網路或軟體元件、電路、部件及介面,其用以促進任何數目個設備、協定層或應用程式或其組合之間的通信、交換及分析資料。舉例而言,本文中所描述之元件中之一些可各自包括網路或通信介面以經由網路或其他通信協定與其他伺服器、裝置、元件或網路部件通信。
雖然實例大體上係針對頭戴式顯示器(HMD),但應瞭解,本文中所描述之設備、系統及方法亦可用於其他各種系統及其他實施方式中。舉例而言,此等其他各種系統及其他實施方式可包括任何數目個虛擬實境(VR)、擴增實境(AR)及/或混合實境(MR)環境中或之外的其他各種頭戴式系統、眼鏡、可穿戴裝置、光學系統等。實際上,在各種光學或資料通信情境中可存在眾多應用,諸如光學網路連接、影像處理等。
應瞭解,本文中所描述之設備、系統及方法亦可用於幫助直接或間接地提供對距離、角度、旋轉、速度、位置、波長、透射率及/或其他相關光學量測的量測。舉例而言,本文中所描述之系統及方法可允許使用高效且有成本效益之設計概念的更高光學解析度及增加之系統功能性。在包括更高解析度、更低數目個光學部件、更高效處理技術、有成本效益之組態及更小或更緊湊外觀尺寸之額外優點的情況下,本文中所描述之設備、系統及方法在許多原始裝備製造商(OEM)應用中可為有益的,其中該等設備、系統及方法可容易地整合至各種及現有裝備、系統、儀器或其他系統及方法中。本文中所描述之設備、系統及方法可提供機械簡單性及對小型或大型頭戴裝置之可調適性。最終,本文中所描述之設備、系統及方法可增加解析度,最小化傳統系統之不利效應,並且改良視覺效率。
本文中已描述及說明之內容係本揭示內容之實例連同一些變化。本文中所使用之術語、描述及圖僅藉助於說明闡述且並不意謂作為限制。在本揭示內容之範圍內,許多變化係可能的,其意欲由以下申請專利範圍及其等效物界定,其中除非另外指示,否則全部術語均以其最廣泛合理意義來表示。
100:系統
105:頭戴式顯示器
110:成像裝置
115:輸入/輸出介面
120:控制台
125:定位器
138A:整合式影像捕捉裝置
138B:整合式影像捕捉裝置
140:追蹤單元
145:虛擬實境引擎
150:應用程式商店
155:電子顯示器
160:眼睛追蹤單元
165:光學元件區塊
170:定位器
175:慣性量測單元
180:頭部/身體追蹤感測器
185:場景顯現單元
190:聚散度處理單元
203A:電子顯示器
203B:電子顯示器
205:前剛體/變焦光學系統
205A:變焦光學系統
205B:變焦光學系統
206:運動感測器
210:帶/內部控制單元
215:參考點
220A:前側
220B:頂側
220C:底側
220E:左側
300:光學系統
301:光學攝影機
302:空間定位、自由形式的光學元件
303:特定長度
304:特定寬度
305:眉毛
400:光學系統/光學裝置
401:光學攝影機
402:空間定位、自由形式的光學元件
403:觀看眼球平面/觀看使用者之眼球
404:經反射影像
500:光學系統/光學裝置
501:空間定位、自由形式的光學元件
502:光學攝影機
503:光瞳平面
504:空間定位、自由形式的光學元件
504a:區/第一區
504b:區/第二區
504c:區/第三區
504d:區/第四區
510:光學系統
511:光學攝影機
512:空間定位、自由形式的光學元件
600:光學系統/光學裝置
601:光學攝影機
602a:第一位置
602b:第二位置
603:觀看平面
604:第一觀看光學元件部件
605:第二觀看光學元件部件
701:影像
702:影像
801:影像
802:投影影像
900:方法
910:方塊
920:方塊
930:方塊
本揭示內容之特徵係藉助於實例說明且不限於下圖,在下圖中,相同數字指示相同部件。所屬技術領域中具有通常知識者將自以下容易地認識到,可在不脫離本文中所描述之原理的情況下採用圖中所說明之結構及方法的替代實例。
[圖1]說明根據一實例的與頭戴式顯示器(HMD)相關聯之系統的方塊圖。
[圖2A]至[圖2B]說明根據一實例的各種頭戴式顯示器(HMD)。
[圖3]說明根據一實例的包括空間定位、自由形式的光學元件之光學系統之部件的圖式。
[圖4]說明根據一實例的包括空間定位、自由形式的光學元件之光學系統之部件的圖式。
[圖5A]至[圖5C]說明根據一實例的包括空間定位、自由形式的光學元件之光學裝置的各種配置及態樣。
[圖6]說明根據一實例的包括空間定位、自由形式的光學元件之光學裝置的圖式。
[圖7A]至[圖7C]說明根據實例的簡單全像光學部件(HOE)之相位改變輪廓的態樣。
[圖8A]至[圖8C]說明根據實例的彎曲全像光學部件(HOE)之相位改變輪廓的態樣。
[圖9]說明根據一實例的用於在光學裝置中實施空間定位、自由形式的光學元件以用於光學裝置中之失真補償及清晰度增強的方法之流程圖。
300:光學系統
301:光學攝影機
302:空間定位、自由形式的光學元件
303:特定長度
304:特定寬度
305:眉毛
Claims (20)
- 一種光學組件,其包含: 光學堆疊,其包含至少兩個光學部件;以及 至少一個空間定位、自由形式的光學元件,其在該至少兩個光學部件之間,其中該空間定位、自由形式的光學元件提供失真補償及增強的影像清晰度。
- 如請求項1之光學組件,其中該光學堆疊進一步包含餅狀光學元件。
- 如請求項1之光學組件,其中該空間定位、自由形式的光學元件之表面被劃分成複數個區。
- 如請求項3之光學組件,其中該複數個區中之各者實施唯一繞射設計。
- 如請求項3之光學組件,其中該複數個區中之各者反射一相關聯光射線簇。
- 如請求項5之光學組件,其中該複數個區中之各者以唯一反射角度反射該相關聯光射線簇。
- 如請求項3之光學組件,其中該複數個區中之第一區反射紅色光射線簇,該複數個區中之第二區反射黃色光射線簇,該複數個區中之第三區反射綠色光射線簇,並且該複數個區中之第四區反射藍色光射線簇。
- 如請求項1之光學組件,其中該空間定位、自由形式的光學元件位於透射位置處以用作透射部件。
- 如請求項1之光學組件,其中該空間定位、自由形式的光學元件位於反射位置處以用作反射部件。
- 如請求項1之光學組件,其中該光學組件是用於虛擬實境(VR)、擴增實境(AR)或混合實境(MR)環境中之至少一者中的頭戴式顯示器(HMD)之部分。
- 一種頭戴式顯示器(HMD),其包含: 顯示部件,其用以提供顯示光;及 光學組件,其用以將顯示光提供至該頭戴式顯示器(HMD)之使用者,該光學組件包含: 光學堆疊,其包含至少兩個光學部件;以及 至少一個空間定位、自由形式的光學元件,其在該至少兩個光學部件之間,其中該空間定位、自由形式的光學元件提供失真補償及增強的影像清晰度。
- 如請求項11之頭戴式顯示器(HMD),其中該空間定位、自由形式的光學元件之表面被劃分成複數個區,並且其中該複數個區中之各者實施唯一繞射設計。
- 如請求項12之頭戴式顯示器(HMD),其中該複數個區中之各者以唯一反射角度反射一相關聯光射線簇。
- 如請求項11之頭戴式顯示器(HMD),其中該光學組件是用於虛擬實境(VR)、擴增實境(AR)或混合實境(MR)環境中之至少一者中的頭戴式顯示器(HMD)之部分。
- 如請求項11之頭戴式顯示器(HMD),其中該空間定位、自由形式的光學元件包括具有曲率之至少一個彎曲表面。
- 如請求項15之頭戴式顯示器(HMD),其中該至少一個彎曲表面之該曲率與一特定相位輪廓相關聯。
- 如請求項11之頭戴式顯示器(HMD),其中該空間定位、自由形式的光學元件位於透射位置處以用作透射部件。
- 如請求項11之頭戴式顯示器(HMD),其中該空間定位、自由形式的光學元件位於反射位置處以用作反射部件。
- 一種用於在一光學組件中提供失真補償及增強的影像清晰度之方法,其包含: 將至少一個空間定位、自由形式的光學元件之表面劃分成各自具有唯一繞射設計之複數個區; 提供關於該至少空間定位、自由形式的光學元件之曲率,其中該曲率與一特定相位輪廓相關聯;以及 將該至少空間定位、自由形式的光學元件空間定位在光學組件之兩個光學元件之間且在用以進行光射線之透射及反射中之一者的位置中。
- 如請求項19之方法,其中該光學組件是用於虛擬實境(VR)、擴增實境(AR)或混合實境(MR)環境中之至少一者中的頭戴式顯示器(HMD)之部分。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/477,363 US20230084541A1 (en) | 2021-09-16 | 2021-09-16 | Compact imaging optics using spatially located, free form optical components for distortion compensation and image clarity enhancement |
US17/477,363 | 2021-09-16 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202317771A true TW202317771A (zh) | 2023-05-01 |
Family
ID=83598485
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111132511A TW202317771A (zh) | 2021-09-16 | 2022-08-29 | 使用空間定位、自由形式的光學元件以用於失真補償及影像清晰度增強的緊湊型成像光學元件 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230084541A1 (zh) |
CN (1) | CN117957479A (zh) |
TW (1) | TW202317771A (zh) |
WO (1) | WO2023043805A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109167904B (zh) * | 2018-10-31 | 2020-04-28 | Oppo广东移动通信有限公司 | 图像获取方法、图像获取装置、结构光组件及电子装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040108971A1 (en) * | 1998-04-09 | 2004-06-10 | Digilens, Inc. | Method of and apparatus for viewing an image |
US11360308B2 (en) * | 2020-01-22 | 2022-06-14 | Facebook Technologies, Llc | Optical assembly with holographic optics for folded optical path |
-
2021
- 2021-09-16 US US17/477,363 patent/US20230084541A1/en active Pending
-
2022
- 2022-08-29 TW TW111132511A patent/TW202317771A/zh unknown
- 2022-09-14 WO PCT/US2022/043478 patent/WO2023043805A1/en active Application Filing
- 2022-09-14 CN CN202280063103.5A patent/CN117957479A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2023043805A1 (en) | 2023-03-23 |
CN117957479A (zh) | 2024-04-30 |
US20230084541A1 (en) | 2023-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017071458A1 (zh) | 一种屈光度自适应头戴式显示装置 | |
JP2019091051A (ja) | 表示装置、およびフォーカスディスプレイとコンテキストディスプレイを用いた表示方法 | |
US10382699B2 (en) | Imaging system and method of producing images for display apparatus | |
US20200333596A1 (en) | Reflective polarizer for augmented reality and virtual reality display | |
JP2021535588A (ja) | ウエハーツーウエハーボンディングのためのメサ形成 | |
JP2023512879A (ja) | スキャンビームシステム用の空間・時間変動偏光補正光学系 | |
TW202317771A (zh) | 使用空間定位、自由形式的光學元件以用於失真補償及影像清晰度增強的緊湊型成像光學元件 | |
JP2023512868A (ja) | ディスプレイシステム用の補正偏光補償光学系 | |
KR20220128478A (ko) | 머리-착용 디스플레이 시스템에 대한 와이어 그리드 편광기에 대한 편광 보상 | |
US20220350149A1 (en) | Waveguide configurations in a head-mounted display (hmd) for improved field of view (fov) | |
TW202334702A (zh) | 具有用於像差感測偵測器的收集光學件的顯示系統 | |
US11782279B2 (en) | High efficiency pancake lens | |
US20220342219A1 (en) | Apparatus, system, and method for disposing photonic integrated circuits on surfaces | |
US20230209032A1 (en) | Detection, analysis and correction of disparities in a display system utilizing disparity sensing port | |
US11733446B2 (en) | Polarization-based multiplexing of diffractive elements for illumination optics | |
US20230064097A1 (en) | Diffractive optical element (doe) on an imaging sensor to reduce and minimize flare | |
JP2016116066A (ja) | 表示装置、及び、表示装置の制御方法 | |
US20230341812A1 (en) | Multi-layered polarization volume hologram | |
WO2022232236A1 (en) | Waveguide configurations in a head-mounted display (hmd) for improved field of view (fov) | |
US20230017964A1 (en) | Balanced switchable configuration for a pancharatnam-berry phase (pbp) lens | |
US20240094594A1 (en) | Gradient-index liquid crystal lens having a plurality of independently-operable driving zones | |
TW202338312A (zh) | 旋轉可變光學透鏡系統的高通量測試及模組整合 | |
TW202323927A (zh) | 用於減少動態眩光和增強清晰度之使用液晶的緊湊型成像光學元件 | |
TW202338443A (zh) | 最大化視野範圍的混合波導 | |
CN117242390A (zh) | 头戴式显示器(hmd)中用于改善视场(fov)的波导构造 |