TW202405515A - 光傳輸之自適應控制 - Google Patents
光傳輸之自適應控制 Download PDFInfo
- Publication number
- TW202405515A TW202405515A TW112110495A TW112110495A TW202405515A TW 202405515 A TW202405515 A TW 202405515A TW 112110495 A TW112110495 A TW 112110495A TW 112110495 A TW112110495 A TW 112110495A TW 202405515 A TW202405515 A TW 202405515A
- Authority
- TW
- Taiwan
- Prior art keywords
- light
- scene
- display
- brightness
- mounted device
- Prior art date
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 76
- 230000003287 optical effect Effects 0.000 title claims description 61
- 230000003044 adaptive effect Effects 0.000 title description 16
- 238000012545 processing Methods 0.000 claims abstract description 92
- 230000004044 response Effects 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims description 40
- 238000005259 measurement Methods 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 14
- 210000001747 pupil Anatomy 0.000 claims description 14
- 206010034960 Photophobia Diseases 0.000 claims description 7
- 208000013469 light sensitivity Diseases 0.000 claims description 7
- 230000035945 sensitivity Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 210000001508 eye Anatomy 0.000 description 42
- 238000005286 illumination Methods 0.000 description 20
- 230000015654 memory Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 7
- 238000002834 transmittance Methods 0.000 description 7
- 230000001902 propagating effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 238000009529 body temperature measurement Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000004279 orbit Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000282376 Panthera tigris Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009429 electrical wiring Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 238000004383 yellowing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/02—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the intensity of light
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
Abstract
一種頭戴式裝置包括:一光感測器,其經組態以回應於量測該頭戴式裝置之一外部環境中的場景光而產生光資料;一顯示器,其經組態以將一虛擬影像呈現至該頭戴式裝置之一眼眶區域;一近眼調光元件,其經組態以回應於一透射命令而調變該場景光至該眼眶區域之一透射;及處理邏輯,其經組態以回應於該虛擬影像之一亮度位準及由該光感測器產生之該光資料而調整該近眼調光元件之該透射命令。
Description
本發明大體上係關於光學件,且特定言之,係關於頭戴式裝置。
頭戴式裝置為典型地佩戴於使用者之頭部上的可佩戴電子裝置。頭戴式裝置可包括用於多種應用中之一或多個電子組件,諸如遊戲、航空、工程化、醫療、娛樂、活動追蹤等。頭戴式裝置可包括向頭戴式裝置之佩戴者呈現虛擬影像的顯示器。當頭戴式裝置包括顯示器時,其可稱為頭戴式顯示器。頭戴式裝置可具有使用者輸入,使得使用者可控制頭戴式裝置之一或多個操作。
本發明提供一種頭戴式裝置,其包含:一光感測器,其經組態以回應於量測在該頭戴式裝置之一外部環境中的場景光而產生光資料;一顯示器,其經組態以將一虛擬影像呈現至該頭戴式裝置之一眼眶區域,其中該顯示器經組態以調整該虛擬影像之一亮度位準;一近眼調光元件,其經組態以回應於一透射命令而調變該場景光至該眼眶區域之一透射;及處理邏輯,其經組態以回應於該虛擬影像之該亮度位準及由該光感測器產生之該光資料而調整該近眼調光元件之該透射命令。
本發明提供一種用以改良由一頭戴式裝置提供的一虛擬影像的對比度之方法,該方法包含:接收由對應的複數個感測器提供之複數個輸入,其中該複數個輸入與該頭戴式裝置之一外部環境中的場景光之一亮度及該頭戴式裝置之一顯示器的一亮度位準相關聯;基於該複數個輸入判定一對比度值,其中該對比度值對應於覆疊在與該外部環境相關聯的一場景上的該虛擬影像之一對比度;判定該對比度值低於一臨限值;及回應於判定該對比度值低於該臨限值,藉由改變該場景光穿過的該頭戴式裝置之一近眼調光元件之一光學透射或該顯示器之該亮度位準中的至少一者來增大該對比度。
本發明提供一種頭戴式裝置,其包含:一光感測器,其經組態以回應於量測在該頭戴式裝置之一外部環境中的場景光而產生光資料;一顯示器,其經組態以將一虛擬影像呈現至該頭戴式裝置之一眼眶區域;一近眼調光元件,其經組態以調變該場景光至該眼眶區域之一透射;一顯示器亮度感測器,其經組態以產生該顯示器之一所量測顯示器亮度值;及處理邏輯,其經組態以回應於該所量測顯示器亮度值及由該光感測器產生的該光資料而改變該虛擬影像之一對比度。
本文中描述擴增實境(augmented reality;AR)裝置中之光學透射之自適應控制的具體實例。在以下描述中,闡述了許多特定細節,以提供對具體實例之透徹理解。然而,所屬技術中具有通常知識者將認識到,可在無特定細節中之一或多者的情況下或藉由其他方法、組件、材料等實踐本文中所描述之技術。在其他情況下,未展示或詳細描述熟知結構、材料或操作以避免混淆某些態樣。
貫穿於本說明書中的對「一個具體實例」或「具體實例」的參考意謂結合具體實例所描述的特定特徵、結構或特性包括於本發明的至少一個具體實例中。因此,片語「在一個具體實例中」或「在一具體實例中」貫穿本說明書在各處之出現未必皆參考同一具體實例。另外,可在一或多個具體實例中以任何適合的方式組合特定特徵、結構或特性。
如本發明中所提供之用於光學透射之自適應控制的頭戴式裝置(及相關方法)處理諸如在擴增實境(AR)實施中,虛擬影像覆疊/疊加在頭戴式裝置外部的環境之場景上的情形。歸因於場景中場景光(例如環境光)之亮度位準,頭戴式裝置之使用者可能難以看到頭戴式裝置之視場(field of view;FOV)中的虛擬影像之細節,例如,在場景光之高亮度位準相對於場景降低虛擬影像之對比度的情況下。因此,頭戴式裝置具備提供對傳播穿過頭戴式裝置的場景光之調光的能力及特徵,以使得傳播穿過頭戴式裝置的場景光可在需要時以自適應且動態之方式調光,藉此改良虛擬影像之對比度及其他可見度。
判定調光是否適當可基於由對應的複數個感測器提供至處理邏輯的多個輸入。此等感測器可包括環境光感測器、顯示器亮度感測器、堆疊透射感測器、溫度感測器、眼動追蹤攝影機,等等。舉例而言,一種頭戴式裝置可包括:一光感測器,其經組態以回應於量測該頭戴式裝置之一外部環境中的場景光而產生光資料;一顯示器,其經組態以將一虛擬影像呈現至該頭戴式裝置之一眼眶區域;一近眼調光元件,其經組態以回應於一透射命令而調變該場景光至該眼眶區域之一透射;及處理邏輯,其經組態以回應於該虛擬影像之一亮度位準及由該光感測器產生之該光資料而調整該調光元件之該透射命令。
藉由組合地使用來自此等感測器之資訊/資料,用於頭戴式裝置的處理邏輯能夠在使用者在場景內或場景之間移動、檢視不同/多個虛擬影像、體驗場景改變等時更準確地監測場景及顯示器中之亮度、判定是否需要對調光元件及/或顯示器進行某一調整以便達成適當對比結果、執行調整等,其中監測、判定及調整係以自動且更高效方式執行。結合圖1至圖11更詳細地描述此等及其他具體實例。
圖1繪示根據本發明之態樣之實例頭戴式裝置100。頭戴式裝置100之所繪示實例展示為包括框架102、邊撐臂104A及104B,及近眼光學元件110A及110B。攝影機108A及108B分別展示為耦接至邊撐臂104A及104B。攝影機108A及108B可經組態以對眼眶區進行成像以對使用者之眼睛進行成像,從而擷取使用者之眼睛資料。舉例而言且如稍後將在下文描述,攝影機108A及108B可用於眼動追蹤及相關處理以判定使用者眼睛之各種特徵的大小及/或位置,諸如瞳孔大小。
攝影機108A及108B可直接地或間接地對眼眶區進行成像。舉例而言,光學元件110A及/或110B可具有經組態以將來自眼眶之光重新引導至攝影機108A及/或108B的光學組合器。在一些實施中,近紅外光源(例如,LED或垂直腔側發射雷射)用近紅外照明光照射眼眶區,且攝影機108A及/或108B經組態以擷取紅外影像。攝影機108A及/或108B可包括互補金屬氧化物半導體(complementary metal-oxide semiconductor;CMOS)影像感測器。接收窄頻帶近紅外波長之近紅外濾光器可置放於影像感測器之上,以使得該影像感測器對窄頻帶近紅外波長敏感,同時拒絕可見光及窄頻帶外部之波長。近紅外光源可發射通過近紅外濾光器之窄頻帶波長。
感測器160定位於框架102上,及/或定位於光學元件110A及110B中之任一者或兩者上或以其他方式接近於該等光學元件中之任一者或兩者或定位於頭戴式裝置100中其他處。感測器160可包括環境光感測器(包括RGB攝影機、單色攝影機、光電二極體等)或溫度感測器中之一或多者。如稍後將在下文描述,由感測器160提供之資料可由處理邏輯使用以控制調光或另外控制頭戴式裝置100相對於場景及在頭戴式裝置100之視場中呈現的虛擬影像的特性(諸如,亮度、對比度等)。
儘管圖1僅展示在邊撐臂104A附近定位於框架102之正面上的單一感測器160,但應理解,圖1中之描繪僅為實例。單一或多個感測器160可位於框架102處接近另一邊撐臂104B、位於框架102上之其他位置處、位於邊撐臂104A及104B中之任一者或兩者處、在光學元件110A及110B中之任一者或兩者附近或內,或在其他處(包括在可耦接至頭戴式裝置100之單獨附接或其他結構/總成上)。
圖1亦繪示近眼光學元件110A之實例的分解圖。近眼光學元件110A展示為包括光學透明層120A、照明層130A、顯示層140A及透明度調變器層150A。顯示層140A可包括波導158A,其經組態以將可見影像光141中包括的虛擬影像引導至頭戴式裝置100之使用者的在頭戴式裝置100之眼眶區中的眼睛。在一些實施中,顯示層140A之電子顯示器之至少一部分包括於頭戴式裝置100之框架102中。電子顯示器可包括LCD、有機發光二極體(OLED)顯示器、微型LED顯示器、微微投影儀或矽上液晶(LCOS)顯示器以用於產生影像光141。
當頭戴式裝置100包括顯示器時,其可被視為頭戴式顯示器。頭戴式裝置100可被視為擴增實境(AR)頭戴式顯示器。雖然圖1繪示經組態用於擴增實境(AR)或混合實境(mixed reality;MR)情境之頭戴式裝置100,但所揭示之具體實例亦可用於頭戴式顯示器之其他實施中,諸如虛擬實境頭戴式顯示器。
照明層130A展示為包括複數個場內照明器126。場內照明器126被描述為「場內」,因為其處於頭戴式裝置100之使用者的視場(FOV)中。在一具體實例中,場內照明器126可處於與使用者檢視頭戴式裝置100之顯示器相同的FOV中。場內照明器126可處於與使用者經由傳播通過近眼光學元件110之場景光191檢視頭戴式裝置100之外部環境相同的FOV中。場景光191係來自頭戴式裝置100之外部環境。雖然場內照明器126可將較小遮擋引入至近眼光學元件110A中,但場內照明器126以及其對應的電佈線可如此小以致於對於頭戴式裝置100之佩戴者而言不可察覺或不顯著。在一些實施中,照明器126不係場內的。相反地,在一些實施中,照明器126可為場外的。
如圖1中所展示,框架102耦接至邊撐臂104A及104B以用於將頭戴式裝置100緊固至使用者之頭部。實例頭戴式裝置100亦可包括併入至框架102及/或邊撐臂104A及104B中之支撐硬體。頭戴式裝置100之硬體可包括以下中之任一者:處理邏輯、用於發送及接收資料的有線及/或無線資料介面、圖形處理器,及用於儲存資料及電腦可執行指令之一或多個記憶體。在一個實例中,頭戴式裝置100可經組態以接收有線電力及/或可經組態以由一或多個電池供電。此外,頭戴式裝置100可經組態以接收有線及/或無線資料,包括視訊資料。
圖1繪示經組態以安裝至框架102之近眼光學元件110A及110B。在一些實例中,近眼光學元件110A及110B對於使用者而言可為透明或半透明的以促進擴增實境或混合實境,使得使用者可檢視來自環境之可見場景光,同時亦接收藉助於顯示層140A引導至其眼睛之影像光141。
如圖1中所示,照明層130A包括複數個場內照明器126。各場內照明器126可安置於透明基板上,且可經組態以向近眼光學元件110A之眼側109上的眼眶區發射光。在本發明之一些態樣中,場內照明器126經組態以發射近紅外光(例如,750 nm至1.6 µm)。各場內照明器126可為微發光二極體(微LED)、邊緣發射LED、垂直空腔表面發射雷射(vertical cavity surface emitting laser;VCSEL)二極體或超輻射發光二極體(Superluminescent diode;SLED)。
光學透明層120A展示為安置於照明層130A與近眼光學元件110A之眼側109之間。光學透明層120A可接收由照明層130A發射之紅外照明光且使紅外照明光通過以照射使用者之眼睛。如上文所提及,光學透明層120A亦可對可見光透明,諸如自環境接收到之場景光191及/或自顯示層140A接收到之影像光141。在一些實例中,光學透明層120A具有用於將光(例如,顯示光及/或場景光)聚焦至使用者之眼睛的曲率。因此,在一些實例中,光學透明層120A可稱為透鏡。在一些態樣中,光學透明層120A具有對應於使用者之規格的厚度及/或曲率。換言之,光學透明層120A可為處方透鏡。然而,在其他實例中,光學透明層120A可為非處方透鏡。
透明度調變器層150A可在背側111處疊加於顯示層140A上,使得透明度調變器層150A面向在頭戴式裝置100之FOV中由使用者檢視的場景。根據各種具體實例,透明度調變器層150A可包括經組態以控制透射穿過光學元件110A的場景光191之量(例如,強度)的調光元件。調光元件可經控制以減小或增大場景光191之強度,以便提供場景與在頭戴式裝置100之FOV中呈現的虛擬影像之間的適當對比度。
舉例而言,圖2A展示頭戴式裝置100之實例FOV 200。頭戴式裝置100之使用者檢視FOV 200中之場景202,其在此實例中為具有區域204(例如,具有窗)、區域206(例如,具有牆壁)、區域208(例如,具有傢俱)及區域210(例如,具有地板)之客廳。客廳中之環境光照明場景202,且作為場景光191透射穿過透明度調變器層150A。亦應注意,歸因於日光通過窗,區域204可比區域206至210更亮。可相對於場景202中之其他區域更亮的其他實例區域可具有燈、電腦螢幕或其他作用中顯示螢幕、頂置式照明、上面入射有光之表面等。
圖2A亦展示虛擬影像212(例如,虎)呈現於FOV 200中。在圖2A之實例中,虛擬影像212定位於場景202中,使得虛擬影像212之至少某一部分疊加(例如,覆疊)在區域206中之牆壁、區域208中之傢俱及區域210中之地板上。歸因於場景202中之環境光的量,虛擬影像212可能難以看到或呈現之細節對於使用者可能不清楚。舉例而言,若頭戴式裝置100的透明度調變器層150A中的調光元件提供場景光191的相對最小調光或無調光,則使用者可能難以檢視虛擬影像212與場景202之間的對比度。
因此,圖2B展示一實例,其中調光元件提供場景光191之調光,其中此調光由場景202中之灰色陰影象徵性地表示於圖2B(以及圖3B)中。特定言之,調光元件可減小場景光191之強度,該場景光經由透明度調變器層150A透射至顯示層140A及光學元件110A中之後續層。舉例而言,在圖2B中,由調光元件准許傳播至顯示層140A及其他層的場景光191之強度可為場景光191之(未經調光)強度的20% (例如,環境光之80%減小,或20%透明度或透射率)。在所透射場景光191之強度的此減小之情況下,圖2B中之虛擬影像212在FOV 200中相對於場景202中的經調光之照明變得更可見。在一些具體實例中,圖2B中提供之調光可為整個FOV 200中之全域調光,使得場景202在其所有區域中被調光達相同量。
圖3A及圖3B描繪虛擬影像212疊加於具有窗之相對較亮區域204上的實例。在圖3A中,其中場景光191存在相對最小調光或無調光,區域204中之大亮度使得相較於場景202之其他區域206至210較難看到區域204中之虛擬影像212(以具有灰色線條之淡化方式象徵性地描繪),例如此係由於虛擬影像212與區域204之內容之間存在不足的對比度。
圖3B展示場景202之全域調光的實例,其中相較於圖2B,存在較大量之調光。相比於圖2B中之場景光191的20%透明度,圖3B中之調光可涉及場景光191之10%透明度。圖3B中之此較大量之調光使得定位在區域204上方之虛擬影像212能夠具有更大對比度,且因此對使用者更容易地可見。
根據稍後將在下文描述之各種具體實例,所關注區(region of interest;ROI)可經界定用於虛擬影像212,使得可取決於ROI是否定位於場景202之相對更亮區域上方而執行調光量。舉例而言,ROI可具有大體上對應於虛擬影像212之外部輪廓的大小及形狀(例如,呈虎形狀之ROI)。作為另一實例,ROI可具有更一般形狀,諸如涵蓋虛擬影像212之外部輪廓的矩形、方框、橢圓形、多邊形等。
圖4繪示根據本發明之實施的實例頭戴式裝置400之一部分的俯視圖。頭戴式裝置400可提供上文關於圖2A及圖2B以及圖3A及圖3B描述的調光能力。頭戴式裝置400可具有一些類似於圖1之頭戴式裝置100的特徵,現在提供與頭戴式裝置100相同或類似之元件中的至少一些的其他細節。
頭戴式裝置400可包括光學元件410,該光學元件包括透明度調變器層450、顯示層440及照明層430。額外光學層(未具體繪示)亦可包括於實例光學元件410中。舉例而言,聚焦透鏡層可視情況包括於光學元件410中以聚焦包括於由顯示層440產生之影像光441中的場景光456及/或虛擬影像。透明度調變器層450(其包括調光元件)調變傳入場景光456之強度,使得與傳入場景光456之強度相比,傳播至眼眶區201之場景光459可具有減小之強度。
顯示層440將影像光441中之虛擬影像呈現給眼眶區201以供眼睛203檢視。處理邏輯470經組態以將虛擬影像驅動至顯示層440上,以將影像光441呈現至眼眶區201。處理邏輯470亦經組態以調整顯示層440之亮度。在一些實施中,調整顯示層440之顯示器亮度包括調整顯示層440之一或多個光源之強度。顯示層440之全部或一部分可係透明或半透明的,以允許來自外部環境之場景光456入射於眼睛203上,使得除了檢視在影像光441中呈現之虛擬影像以外,使用者亦可檢視其外部環境,諸如上文關於圖2A及圖2B以及圖3A及圖3B所描述。
透明度調變器層450可經組態以改變其透明度以調變傳播至使用者之眼睛203的場景光456之強度。處理邏輯470可經組態以將類比或數位信號驅動至透明度調變器層450上,以便調變透明度調變器層450之透明度。在一實例實施中,透明度調變器層450包括包含液晶之調光元件,其中回應於來自處理邏輯470之驅動信號而調整液晶之配向,從而調變透明度調變器層450之透明度。允許以電子方式及/或以光學方式控制調光元件之調光的其他合適技術可包括於透明度調變器層450中。實例技術可包括但不限於:電活化主客型液晶技術,其中主客型液晶塗層存在於透鏡表面上;光致變色染料技術,其中嵌入透鏡內的光致變色染料藉由紫外線(ultraviolet;UV)或藍光活化;或其他調光技術,其經由電、光學、機械及/或其他活化技術致能受控調光。
照明層430包括經組態以用紅外照明光427照射眼眶區201之光源426。照明層430可包括充當用於光源426之基板的透明折射材料。紅外照明光427可為近紅外照明光。在圖4之所繪示實例中,攝影機477經組態以(直接地)對眼睛203進行成像。在其他實施中,攝影機447可藉由自包括於光學元件410中之光學組合器層(未繪示)接收經反射紅外照明光而(間接地)對眼睛203進行成像。光學組合器層可經組態以接收經反射紅外照明光(自眼眶區201反射之紅外照明光427)並將經反射紅外照明光重新引導至攝影機447。在此實施中,攝影機447將經定向以自光學元件410之光學組合器層接收經反射紅外照明光。
在一些實施中,攝影機447可包括互補金屬氧化物半導體(complementary metal-oxide semiconductor;CMOS)影像感測器。接收窄頻帶紅外波長之紅外濾光器可置放於影像感測器之上,使得其對窄頻帶紅外波長敏感,同時拒收可見光及窄頻帶外部之波長。發射窄頻波長之諸如紅外LED或紅外VCSEL之類的紅外光源(例如,光源426)可經定向以用窄頻帶紅外波長照射眼睛203。攝影機447可擷取眼眶區201之眼動追蹤影像。眼眶區201可包括眼睛203以及眼部區域中的周圍特徵,諸如眉毛、眼瞼、眼線等。處理邏輯470可使用攝影機477起始一或多個影像擷取,且攝影機477可將眼動追蹤影像479提供至處理邏輯470。處理邏輯470可執行影像處理以判定眼眶區201之各種特徵的大小及/或位置。舉例而言,處理邏輯470可執行影像處理以判定瞳孔266之瞳孔位置或瞳孔大小。在本發明之實施中,光源426及攝影機477僅為實例眼動追蹤組態,且其他合適之眼動追蹤系統及技術亦可用於擷取眼睛資料。
在圖4之所繪示實施中,記憶體475包括於處理邏輯470中。在其他實施中,記憶體475可在處理邏輯470外部。在一些實施中,記憶體475遠離處理邏輯470而定位。在實施中,虛擬影像被提供至處理邏輯470以供呈現於影像光441中。在一些實施中,虛擬影像儲存於記憶體475中。處理邏輯470可經組態以接收來自本端記憶體之虛擬影像,或虛擬影像可以無線方式傳輸至頭戴式裝置400並由頭戴式裝置之無線介面(未繪示)接收。
圖4繪示處理邏輯470以通信方式耦接至環境光感測器423。在一些實施中,處理邏輯470可以通信方式耦接至複數個環境光感測器。環境光感測器423可包括一或多個光偵測器(例如,光電二極體)。環境光感測器423可包括具有對應濾光器之多於一個光偵測器,使得環境光感測器423可量測場景光456之色彩以及強度。環境光感測器423可包括紅-綠-藍(red-green-blue;RGB)/紅外/單色攝影機感測器,以產生關於環境光環境之狀態的高確定性量測。在一些實施中,頭戴式裝置400之經定向以接收場景光456的面向世界之影像感測器可充當環境光感測器。環境光感測器423可經組態以產生環境光量測429,包括使用具有透鏡或擋板元件以限制在有限FOV內捕捉光之光電二極體。
環境光感測器423可包含能夠將立體角FOV映射至2D像素陣列上的2D感測器(例如,攝影機)。可存在許多此類2D感測器(攝影機),且此等攝影機可具有光學元件、模組、資料讀出、類比至數位轉換器等。環境光感測器423亦可對場景之色彩及亮度敏感,藉此準確地跨越光譜範圍映射場景。環境光感測器423亦可為偏光敏感的,且藉此能夠偵測S對P偏光之光,且可經組態以在圖框速率下以與顯示圖框速率相同的數量級捕捉及傳輸資料。
在所繪示之實施中,處理邏輯470經組態以自環境光感測器423接收環境光量測429。處理邏輯470亦可以通信方式耦接至環境光感測器423以起始環境光量測。
在一些具體實例中,透明度調變層450由對溫度敏感之一或多種材料組成,使得溫度改變(例如,歸因於環境溫度、諸如日光之入射能量、在操作期間產生之熱等之溫度增大或減小)可能影響調光元件之透明度效能(例如,光透射能力)。因此,溫度感測器431可設置於透明度調變層450中/上或附近以便偵測透明度調變層450之溫度,且將對應溫度量測432提供至處理邏輯470。
此外,在一些具體實例中,顯示器亮度感測器433可設置於顯示層440內、後或前方以便感測/量測顯示層440之亮度,且接著將對應顯示器亮度量測434提供至處理邏輯470。舉例而言,典型地可藉由知曉提供至顯示層440之輸入電力且接著比較此輸入電力與已知亮度值(諸如經由查找表)來由處理邏輯470判定顯示層440之亮度。查找表之內容及其他已知值可自顯示層440在製造時之工廠設定或其他已知特性導出。
然而,顯示層440之亮度特性/效能可能隨時間推移及隨老化/使用而改變。因此,顯示器亮度感測器433為顯示層440提供更準確/真實且即時的亮度值。
顯示器亮度感測器433可定位於適合於判定顯示層440之亮度的任何一或多個位置處。舉例而言,顯示器亮度感測器433可位於顯示層440之波導(例如,圖1中之波導158A)之輸入及/或輸出處。
在操作中,透明度調變器層450可回應於眼睛資料、環境光量測429、溫度量測432、顯示器亮度量測434及/或其他顯示器亮度資料或其他輸入或其組合中之一或多者而由處理邏輯470驅動至各種透明度值。作為實例,眼睛之瞳孔直徑可指示場景光456比使用者偏好更亮或環境光感測器423可指示場景光456過高,使得使用者可能難以檢視場景中之虛擬影像。使用者之眼部區域之其他量測(例如,眼瞼、鞏膜之尺寸、拐角區263中之線之數目等)可指示使用者正在斜視且場景光456可能比使用者偏好更亮。亦可在處理邏輯470處接收來自溫度感測器431及顯示層440之輸入。因此,透明度調變器層450之透明度可藉由處理邏輯470驅動至使得傳播穿過透明度調變器層450之場景光459的強度對於使用者更舒適的透明度,及/或驅動至改變場景光456之強度以便改良疊加於場景上之虛擬影像的可見度的透明度。舉例而言,回應於眼睛資料、環境光量測、顯示器亮度等,透明度調變器層450之透明度可經調變至10%透明與90%透明之間或其他範圍的各種位準。
圖5為繪示根據本發明之態樣的光學透射之自適應控制的流程圖。更具體言之,圖5為展示根據一具體實例之實例程序500的流程圖,該實例程序具有協作以控制調光之操作及組件,諸如在使用上文先前所描述之頭戴式裝置的AR實施中。
程序區塊及相關組件中之一些或全部出現在程序500中(及本文中所揭示之任何其他程序/方法)的次序不應被視為限制性的。實際上,受益於本發明之所屬技術領域中具有通常知識者將理解,程序區塊中之一些可以未說明之多種次序執行,或甚至並行地執行。此外,一些程序區塊可經修改、組合、消除或補充有額外程序區塊。
對於圖5之程序500,場景502正由使用者之眼睛504使用諸如上文先前所描述之頭戴式裝置檢視。如同先前在上文所解釋的頭戴式裝置,圖5之頭戴式裝置可包括具有調光元件506(其藉由調光控制器514操作/控制)之透明調變器,及呈具有波導及其他顯示總成組件510之顯示層形式的顯示器508。調光元件506經組態以回應於來自調光控制器514之透射命令而調變場景光至眼眶區(例如,眼睛504之區域)的透射。
顯示器508可由顯示控制器512操作/控制。顯示器508經組態以將虛擬影像(單眼或雙眼)呈現至頭戴式裝置之眼眶區域(例如,眼睛504之區域),且經組態以回應於來自顯示控制器512之命令而調整虛擬影像之亮度位準。
環境光感測器516經組態以回應於量測在頭戴式裝置之外部環境中的場景502處之光而產生光資料。在操作中,環境光感測器516將光資料或其他信號提供至處理內核518。處理內核518可為例如信號處理內核,其為處理邏輯(例如,圖4中之處理邏輯470)之部分。在程序區塊520中,處理邏輯計算場景亮度。舉例而言,處理邏輯可自藉由處理由環境光感測器516提供之信號獲得的光資料判定場景亮度。此場景亮度成為至程序區塊522中之第一輸入。
關於調光元件506,調光控制器514控制(例如,以電方式、以光學方式等)調光元件506之透射特性(例如,調光量)。基於由調光控制器514提供至調光元件506之控制信號,處理邏輯能夠按原樣經由含有工廠校準資訊之查找表來在程序區塊524處估計堆疊透射。堆疊透射之此估計作為第二輸入提供至程序區塊522。相比於使用工廠校準資訊,堆疊透射可使用下文將在圖9中進一步描述之堆疊透射感測器以更準確方式估計/量測。
類似於調光控制器514,顯示控制器512提供控制信號及/或其他信號至顯示器508。基於由顯示控制器512提供至顯示器508之信號,處理邏輯能夠按原樣經由含有工廠校準資訊之查找表在程序區塊526處估計顯示器亮度。將顯示器亮度之此估計作為第三輸入提供至程序區塊522。相比於使用工廠校準資訊,顯示器亮度可使用下文將在圖8中進一步描述之顯示器亮度感測器以更準確方式估計/量測。
在亦可形成處理邏輯之部分的程序區塊522中,基於上述第一輸入、第二輸入及第三輸入中之至少一些計算虛擬內容(例如,一或多個虛擬影像)之對比度或對比度值。對比度值可表示虛擬內容相對於場景502之可見度或清晰度之量。用於計算對比度值之實例算式可如下:
對比度= 1 +
display/scene,其中
display及
scene為以尼特(nit)或勒克司(lux)計之顯示器508及場景502的各別亮度值,或
對比度= 1 +
display/(
transmittance*
scene*
reflectance),其中
transmittance為在程序區塊524處計算之堆疊透射,且
reflectance表示透明調變器層之反射率。
對比度值可與臨限值相比較,其中低於臨限值之對比度值將需要調整(例如,調光)調光元件506之光學透射,且高於臨限值(及高達某一最大值)之對比度值將需要極少或不需要調整調光元件506之光學透射。
對比度值可基於各種使用情況而不同。舉例而言,對比度值對於以下使用情況而可能不同:場景在室內與室外之使用情況;虛擬實境(VR)與擴增實境(AR)之使用情況;場景在明亮房間內部與場景在相對較暗房間中之使用情況;等。對比度值之各種臨限值可儲存於查找表中,且在程序區塊528處使用。
在程序區塊528中,處理邏輯判定所計算之對比度值是否大於臨限值。若所計算之對比度值大於臨限值(程序區塊528處之「是」),則在程序區塊530處不進行任何操作(例如,對調光元件506之光學透射不進行改變)。處理邏輯可接著針對另一組第一輸入、第二輸入、第三輸入重複上文所描述之程序500。
然而,若所計算之對比度判定為小於臨限值(程序區塊528處之「否」),則處理邏輯在區塊532處檢查是否可增大顯示器508之亮度以便增大對比度。舉例而言,處理邏輯檢查顯示器508之對比度是否低於最大值,且若低於(程序區塊532處之「是」),則處理邏輯發送指令給顯示控制器512以藉由改變電致動之量或其他值(例如,振幅及/或方向)或藉由對顯示器508之電輸入進行其他改變而增大對比度。
然而,若顯示器508之亮度不能更進一步增大(程序區塊532處之「否」),則處理邏輯程序區塊534處改變調光元件506的光學透射。舉例而言,處理邏輯藉由改變電/光學致動的量或藉由對至調光元件506之電/光學輸入進行其他改變(例如,改變致動信號的值,諸如振幅及/或方向值)來發送指令給調光控制器514以增大調光元件506之調光。透射改變可在0%至100%之間變化,且可應用於整個可見光譜。此外,透射之改變可發生在不同轉變時間處,且在各種具體實例中可按需要操縱轉變之速率。
程序500接著如上文所描述針對另一組第一輸入、第二輸入及第三輸入重複。
如先前在上文關於圖3A及圖3B所解釋,可能存在場景502中比場景502中之其他區域更亮的區域。虛擬影像可接著疊加於此等區域上,由此使得更難以檢視虛擬影像及其細節。上文所描述的程序500之具體實例可使用單色攝影機作為環境光感測器516。然而,單色攝影機可指示某些區域為明亮的,此係歸因於較高紅外(IR)照明存在於此等區域處,即使此IR對於使用者之眼睛504實際上並不可見。
因此,為改良對使用者實際上可見之明亮區域的偵測,另一具體實例使用RGB攝影機作為環境光感測器516,且使用影像處理內核作為處理內核518。因而,IR照明之效應自場景502更有效地濾除,且可見明亮區域(虛擬影像疊加於其上)之偵測可藉由將虛擬影像之輪廓處理為場景502之明亮區域處的所關注區(ROI)而得以改良。
在此具體實例中,程序區塊520處的亮度之計算可涉及考慮場景502之平均亮度、場景502之峰值亮度、ROI內之平均亮度、ROI內之峰值亮度、ROI內之亮度之變異及/或其他因素。
圖6為繪示根據另一具體實例的光學透射之自適應控制的流程圖。更具體言之,圖6展示具有另一程序區塊602之實例程序600,其中圖6中之其他程序區塊及組件與先前在上文關於圖5之程序500所描述的相同或類似(且因此出於簡潔起見,在本文中不重複此等相同/類似程序區塊及組件之描述)。
在程序區塊602中,對在程序區塊520處計算的場景502之亮度執行使用者之亮光敏感度的補償,且將結果作為第一輸入提供至程序區塊522以用於對比度計算。舉例而言,一些使用者(例如,隨著其衰老)可能在不同光照條件下對某些色彩具有視覺敏感性。
因此,在程序區塊602處,可藉由將所計算的亮度乘以亮光敏感度曲線/藉由亮光敏感度曲線按比例調整所計算的亮度來執行補償。舉例而言,亮度可至少基於場景502之平均亮度、場景502之峰值亮度、ROI內之峰值亮度及ROI內之亮度的變異在程序區塊520處計算,且接著在程序區塊602處乘以亮光敏感度曲線中對應於使用者之一或多個值。
圖7為繪示根據又一具體實例的光學透射之自適應控制的流程圖。更具體言之,圖7展示具有另一程序區塊702之實例程序700,其中圖7中之其他程序區塊及組件與先前在上文關於圖6之程序600所描述的相同或類似(且因此出於簡潔起見,在本文中不重複此等相同/類似程序區塊及組件之描述)。
在程序區塊702中,處理邏輯獲得/計算場景502在藉由RGB攝影機獲取的影像之最後若干N個圖框上的運行平均值,其中N可為大於1之整數。獲取運行平均值的一個目的為提供針對場景502中之閃爍光的增大之穩健性。
舉例而言,在計算場景亮度時(對於單一圖框)與基於彼所計算亮度調整調光元件506之透射率時之間可能存在潛時。歸因於潛時,且若閃爍光存在,則對調光元件506的調整可能最終在原始亮度(基於此計算透射率)不再存在或已改變時執行。因此,透射率調整可能係無效的,此係因為調整並不與快速/閃爍亮度變化同步,藉此並不達成虛擬影像的所要視覺增強且可能對使用者造成煩擾。
藉由在程序區塊702處使用場景502之N個圖框的運行平均值,可在程序區塊534處執行透射率之調整,其對使用者而言更穩定且較不惱人。
圖8為繪示根據又一具體實例的光學透射之自適應控制的流程圖。更具體言之,圖8展示具有另一組件802及替代程序區塊526之程序區塊804之實例程序800,其中圖8中之其他程序區塊及組件與先前在上文關於圖7之程序700所描述的相同或類似(且因此出於簡潔起見,在本文中不重複此等相同/類似程序區塊及組件之描述)。
組件802可為顯示器亮度感測器(例如,圖4中所示之顯示器亮度感測器433),其包括某一類型之視差感測器。如上文先前所提及,可在製造階段之校準期間估計顯示器508之亮度。在眼眶處感知之淨亮度可取決於顯示器之塗層、超LED(ultra LED;ULED)、波導、全像光學元件等,其具有可歸因於老化、黃化、不穩定性或其他原因而改變之特性。因而,工廠校準期間之淨亮度可能並不準確地提供顯示器508之真實亮度。工廠校準中之漂移可因此導致先前程序區塊526處之顯示器亮度之估計的不準確性。
因此,組件802(顯示器亮度感測器)之使用用以減小顯示器508之亮度之判定中的不確定性,而不管不確定性之來源。在操作中,組件802量測顯示器508之實際亮度,且以類比或數位格式提供此資訊作為輸出,且處理邏輯又將所量測亮度作為第三輸入提供(在程序區塊804處)至程序區塊522以用於計算對比度。
顯示器亮度感測器可接近輸入耦合光柵定位以便捕捉並不耦合至光柵中、接近波導之邊緣處的邊界或在其他位置處的光。視差感測器亦可用作顯示器亮度感測器,此係由於視差感測器可捕捉來自顯示器508的一些光。
顯示器亮度感測器亦可添加至頭戴式裝置之總成,諸如支架、透鏡等,作為面向顯示器508而非場景502(例如,類似於VCSEL,但不面向眼睛)之微小光電二極體感測器。可使用一或多個光電二極體。
顯示器亮度感測器可經由先前校準追蹤顯示器508之絕對亮度,或即時追蹤顯示器508之亮度的相對變化。又,顯示器亮度感測器可以圖框速率產生亮度量測資料,且可量測平均顯示器亮度或峰值亮度或兩者,且可跨越所有波長及視場進行量測。
圖9為繪示根據又一具體實例的光學透射之自適應控制的流程圖。更具體言之,圖9展示具有眼動追蹤攝影機902(例如,圖4中之攝影機477)、另一程序區塊904及現在以虛線描繪的可替代或補充程序區塊524之程序區塊906(用於量測堆疊透射)之實例程序900,其中圖9中之其他程序區塊及組件與先前在上文關於圖8之程序800所描述的相同或類似(且因此出於簡潔起見,在本文中不重複此等相同/類似程序區塊及組件之描述)。
如先前在上文所解釋,眼睛504的瞳孔大小可能自一個使用者至另一使用者改變,且亦可能根據不同光照或其他不同條件而改變。舉例而言,瞳孔大小可歸因於使用者之年齡及/或歸因於亮度而改變。
然而,由環境光感測器516量測之亮度可能不與由眼睛504經由光學堆疊所感知的亮度相同。光學堆疊之透射在任何給定時間(在程序區塊524處)之估計可基於光學元件(包括調光元件506)之工廠校準。可藉由在程序區塊904處使用攝影機902來量測瞳孔大小來提供更準確估計。
經量測瞳孔大小可接著由處理邏輯在程序區塊906處使用以提供堆疊透射之更準確估計。因而,攝影機902可作為堆疊透射感測器908操作或結合該堆疊透射感測器操作以用於產生透射光量測/估計(以及執行其他操作,諸如追蹤使用者對場景502之凝視)。接著將堆疊透射之此估計作為輸入提供至程序區塊522以用於計算對比度。
攝影機902亦可提供其他類型之眼動追蹤資料至處理邏輯以使得處理邏輯能夠判定使用者之頭部姿態及眼睛姿態,藉此使得能夠進行關於虛擬影像將在接下來若干圖框或週期中覆疊在場景502之頂部上何處的預測。處理邏輯具有正被遞送之虛擬內容的情境感知,且可判定此虛擬內容相對於場景502中之區域的關係,且可因此基於虛擬內容位於或將位於何處進行對比度調整。
關於產生透射光量測之堆疊透射感測器908,可在程序區塊524處(經由調光控制器514)及/或在程序區塊906處提供透射光量測。因而,此透射光量測可表示比在工廠校準期間獲得的透射光量測更準確的即時量測。堆疊透射感測器908可位於調光元件506之表面處或附近,且多個堆疊透射感測器可位於調光元件506之兩個表面上(例如,內部及外部)。
圖10為繪示根據又一具體實例的光學透射之自適應控制的流程圖。更具體言之,圖10展示具有溫度感測器1002(例如,圖4中之溫度感測器431)之實例程序1000,其中圖10中之其他程序區塊及組件與先前在上文關於圖9之程序900所描述的相同或類似(且因此出於簡潔起見,在本文中不重複此等相同/類似程序區塊及組件之描述)。
溫度感測器1002可耦接至調光元件506,以便量測調光元件506之溫度,此係因為調光元件506之透射特性可回應於溫度改變而改變。所量測溫度可提供至調光控制器514,且由處理邏輯使用以在程序區塊524(現在圖10中以實線展示)處估計堆疊透射。
圖11繪示根據本發明之態樣的用以改良由頭戴式裝置提供之虛擬影像之對比度的實例方法1100之流程圖。方法1100中之操作可藉由處理邏輯執行,且可基於如上文所描述之技術、裝置、組件等,其中虛擬影像覆疊在頭戴式裝置之FOV中的場景上。
在程序區塊1102中,處理邏輯接收由對應複數個感測器提供之複數個輸入。該複數個感測器可包括環境光感測器516、溫度感測器1002、顯示器亮度感測器802、堆疊透射感測器908、攝影機902等,以使得複數個輸入與場景光之亮度及顯示器508之亮度位準相關聯。
在程序區塊1104中,處理邏輯基於該複數個輸入判定對比度值。對比度值對應於覆疊在場景502上之虛擬影像的對比度。對比度值可指示虛擬影像是否對頭戴式裝置的使用者令人滿意地可見。舉例而言,若場景過亮或虛擬影像疊加在場景之明亮區域上,則虛擬影像之細節對於使用者而言可能難以看到。
在程序區塊1106中,處理邏輯判定對比度值低於臨限值,藉此指示使用者可能歸因於場景502中之過高亮度而難以檢視虛擬影像之細節。如先前在上文所解釋,對比度之臨限值可自一種使用情況至另一使用情況改變。
在程序區塊1108中,回應於判定對比度值低於臨限值,藉由改變場景光穿過之調光元件506的光學透射或顯示器508之亮度位準中之至少一者,處理邏輯增大對比度。諸如場景502上的虛擬影像之ROI、調光元件506之透射特性(例如,性質)、顯示器608之不斷改變的亮度特性、調光元件506之溫度、眼睛504之瞳孔大小之因素及/或其他因素可影響是否改變對比度之判定,且若如此,則影響可改變對比度之技術。
本發明之具體實例可包括人工實境系統或可結合人工實境系統實施。人工實境係在呈現給使用者之前已以某一方式調整之實境形式,其可包括例如虛擬實境(VR)、擴增實境(AR)、混合實境(MR)、混雜實境或其某一組合及/或衍生物。人工實境內容可包括完全產生之內容或與所擷取之(例如,真實世界)內容組合之所產生內容。人工實境內容可包括視訊、音訊、觸覺回饋或其某一組合,且其中之任一者可在單一通道中或在多個通道中呈現(諸如,對檢視者產生三維效應之立體聲視訊)。另外,在一些具體實例中,人工實境亦可與用以例如在人工實境中產生內容及/或以其他方式用於人工實境中(例如,在人工實境中執行活動)之應用、產品、配件、服務或其某一組合相關聯。提供人工實境內容之人工實境系統可實施於各種平台上,包括連接至主機電腦系統之頭戴式顯示器(head-mounted display;HMD)、獨立式HMD、行動裝置或計算系統,或能夠向一或多個檢視者提供人工實境內容之任何其他硬體平台。
本發明中之術語「處理邏輯」(例如,處理邏輯470)可包括一或多個處理器、微處理器、多核心處理器、特殊應用積體電路(application-specific integrated circuit;ASIC)及/或場可程式化閘陣列(Field Programmable Gate Array;FPGA)以執行本文所揭示之操作。在一些具體實例中,記憶體(未繪示)經整合至處理邏輯中以儲存用以執行操作之指令及/或儲存資料。處理邏輯亦可包括類比或數位電路系統以進行根據本揭示之具體實例的操作。
本發明中所描述之「記憶體(memory或memories)」(例如,記憶體475)可包括一或多個揮發性或非揮發性記憶體架構。「記憶體(memory或memories)」可為以任何方法或技術實施以用於儲存資訊(諸如,電腦可讀指令、資料結構、程式模組或其他資料)的抽取式及非抽取式媒體。實例記憶體技術可包括RAM、ROM、EEPROM、快閃記憶體、CDROM、數位多功能光碟(DVD)、高清晰度多媒體/資料儲存碟或其他光學儲存器、磁碟、磁帶、磁碟儲存器或其他磁性儲存裝置,或可用於儲存資訊以供計算裝置存取之任何其他非傳輸媒體。
網路可包括任何網路或網路系統,諸如但不限於以下:對等式網路;區域網路(Local Area Network;LAN);廣域網路(Wide Area Network;WAN);公用網路,諸如網際網路;專用網路;蜂巢式網路;無線網路;有線網路;無線及有線組合網路;及衛星網路。
通信頻道或任何通信連結/連接可包括利用IEEE 802.11協定、藍牙、串列周邊介面(Serial Peripheral Interface;SPI)、積體電路間(Inter-Integrated Circuit;I
2C)、通用串列埠(Universal Serial Port;USB)、控制器區域網路(Controller Area Network;CAN)、蜂巢式資料協定(例如,3G、4G、LTE、5G)、光學通信網路、網際網路服務提供者(Internet Service Provider;ISP)、同級間網路、區域網路(LAN)、廣域網路(WAN)、公用網絡(例如,「網際網路」)、專用網路、衛星網路或其他之一或多個有線或無線通信,或穿過該一或多個有線或無線通信路由。
計算裝置可包括桌上型電腦、膝上型電腦、平板電腦、平板手機、智慧型手機、功能型手機、伺服器電腦或其他。伺服器電腦可遠端地位於資料中心或在本端儲存。
關於電腦軟體及硬體描述上文所解釋之程序。所描述之技術可構成體現於有形或非暫時性機器(例如,電腦)可讀儲存媒體內之機器可執行指令,該等機器可執行指令在由機器執行時將使得機器進行所描述之操作。另外,程序可體現於硬體內,諸如特殊應用積體電路(「ASIC」)或其他。
有形非暫時性機器可讀儲存媒體包括提供(即,儲存)資訊之任何機構,該資訊呈可由機器(例如,電腦、網路裝置、個人數位助理、製造工具、具有一或多個處理器集合之任何裝置等)存取之形式。舉例而言,機器可讀儲存媒體包括可記錄/非可記錄媒體(例如,唯讀記憶體(read only memory;ROM)、隨機存取記憶體(random access memory;RAM)、磁碟儲存媒體、光學儲存媒體、快閃記憶體裝置等)。
本發明之所說明具體實例的以上描述(包括發明摘要中所描述之內容)並不意欲為詳盡的或將本發明限於所揭示之精確形式。儘管本文中出於說明性目的描述本發明之特定具體實例及實例,但如所屬技術領域中具有通常知識者將認識到,在本發明之範圍內,各種修改係可能的。
鑒於以上詳細描述,可對本發明作出此等修改。在以下申請專利範圍中所使用之術語不應被視為將本發明限於本說明書中所揭示之特定具體實例。實情為,本發明之範疇應完全由以下申請專利範圍來判定,申請專利範圍將根據技術方案解釋之已確立原則來解釋。
100:頭戴式裝置
102:框架
104A:邊撐臂
104B:邊撐臂
108A:攝影機
108B:攝影機
109:眼側
110A:近眼光學元件
110B:近眼光學元件
111:背側
120A:光學透明層
126:場內照明器
130A:照明層
140A:顯示層
141:影像光
150A:透明度調變器層
158A:波導
160:感測器
191:場景光
200:FOV
201:眼眶區
202:場景
203:眼睛
204:區域
206:區域
208:區域
210:區域
212:虛擬影像
266:瞳孔
400:頭戴式裝置
410:光學元件
423:環境光感測器
426:光源
427:紅外照明光
429:環境光量測
430:照明層
431:溫度感測器
432:溫度量測
433:顯示器亮度感測器
434:顯示器亮度量測
440:顯示層
441:影像光
450:透明度調變器層
456:場景光
459:場景光
470:處理邏輯
475:記憶體
477:攝影機
479:眼動追蹤影像
500:程序
502:場景
504:眼睛
506:調光元件
508:顯示器
510:顯示總成組件
512:顯示控制器
514:調光控制器
516:環境光感測器
518:處理內核
520:程序區塊
522:程序區塊
524:程序區塊
526:程序區塊
528:程序區塊
530:程序區塊
532:區塊
534:程序區塊
600:程序
602:程序區塊
700:程序
702:程序區塊
800:程序
802:組件
804:程序區塊
900:程序
902:眼動追蹤攝影機
904:程序區塊
906:程序區塊
908:堆疊透射感測器
1000:程序
1002:溫度感測器
1100:方法
1102:程序區塊
1104:程序區塊
1106:程序區塊
1108:程序區塊
參考以下圖描述本發明之非限制性及非詳盡性的具體實例,其中除非另外指定,否則貫穿各種視圖,相同參考編號指相同部分。
[圖1]繪示根據本發明之態樣之實例頭戴式裝置。
[圖2A]及[圖2B]展示根據本發明之態樣的用於圖1之頭戴式裝置的視場之實例。
[圖3A]及[圖3B]展示根據本發明之態樣的用於圖1之頭戴式裝置的視場之另外實例。
[圖4]繪示根據本發明之態樣的實例頭戴式裝置之一部分的俯視圖。
[圖5]為繪示根據本發明之態樣的光學透射之自適應控制的流程圖。
[圖6]為繪示根據本發明之態樣的光學透射之自適應控制的流程圖。
[圖7]為繪示根據本發明之態樣的光學透射之自適應控制的流程圖。
[圖8]為繪示根據本發明之態樣的光學透射之自適應控制的流程圖。
[圖9]為繪示根據本發明之態樣的光學透射之自適應控制的流程圖。
[圖10]為繪示根據本發明之態樣的光學透射之自適應控制的流程圖。
[圖11]繪示根據本發明之態樣的用以改良由頭戴式裝置提供之虛擬影像之對比度的實例方法之流程圖。
201:眼眶區
203:眼睛
266:瞳孔
400:頭戴式裝置
410:光學元件
423:環境光感測器
426:光源
427:紅外照明光
429:環境光量測
430:照明層
431:溫度感測器
432:溫度量測
433:顯示器亮度感測器
434:顯示器亮度量測
440:顯示層
441:影像光
450:透明度調變器層
456:場景光
459:場景光
470:處理邏輯
475:記憶體
477:攝影機
479:眼動追蹤影像
Claims (20)
- 一種頭戴式裝置,其包含: 一光感測器,其經組態以回應於量測在該頭戴式裝置之一外部環境中的場景光而產生光資料; 一顯示器,其經組態以將一虛擬影像呈現至該頭戴式裝置之一眼眶區域,其中該顯示器經組態以調整該虛擬影像之一亮度位準; 一近眼調光元件,其經組態以回應於一透射命令而調變該場景光至該眼眶區域之一透射;及 處理邏輯,其經組態以回應於該虛擬影像之該亮度位準及由該光感測器產生之該光資料而調整該近眼調光元件之該透射命令。
- 如請求項1之頭戴式裝置,其中該處理邏輯進一步經組態以: 回應於該近眼調光元件之該透射命令、該虛擬影像之該亮度位準及由該光感測器產生之該光資料而產生一影像對比度值;及 回應於該影像對比度值下降至低於一對比度臨限值而增大該顯示器之該亮度位準。
- 如請求項1之頭戴式裝置,其中該處理邏輯進一步經組態以: 回應於該近眼調光元件之該透射命令、該虛擬影像之該亮度位準及由該光感測器產生之該光資料而產生一影像對比度值,且其中該處理邏輯亦經組態以回應於該影像對比度值下降至低於一對比度臨限值而調整該透射命令,其中由該處理邏輯調整該透射命令包括經由該近眼調光元件調整該透射命令以減小該場景光之該透射。
- 如請求項1之頭戴式裝置,其中該光感測器包括一影像感測器,且該光資料包括該外部環境之一場景影像,且其中該處理邏輯進一步經組態以: 識別該場景影像中之一關注區(ROI),其中該場景影像中之該關注區為該虛擬影像覆疊於該場景影像中之該外部環境之處; 判定該場景影像之該關注區內的一關注區亮度值;及 回應於該關注區亮度值而調整該虛擬影像之該亮度位準,或回應於該關注區亮度值而調整該近眼調光元件之該透射命令。
- 如請求項1之頭戴式裝置,其中該光感測器包括一影像感測器,且該光資料包括該外部環境之一場景影像,且其中該處理邏輯進一步經組態以: 識別該場景影像中之一關注區(ROI),其中該場景影像中之該關注區為該虛擬影像覆疊於該場景影像中之該外部環境之處;及 判定該場景影像之該關注區內的一關注區亮度值,其中該處理邏輯亦經組態以回應於該關注區亮度值而調整該近眼調光元件之該透射命令,其中由該處理邏輯調整該透射命令包括發送指令給耦接至該近眼調光元件之一調光控制器以改變用以控制該近眼調光元件之一致動信號的一值。
- 如請求項1之頭戴式裝置,其進一步包含: 一顯示器亮度感測器,其經組態以量測該顯示器之一顯示器亮度值,其中該處理邏輯亦經組態以回應於所量測的該顯示器亮度值而調整該近眼調光元件之該透射命令。
- 如請求項1之頭戴式裝置,其進一步包含: 一堆疊透射感測器,其經組態以產生該場景光之一透射光量測,該透射光量測係量測透射穿過包括該近眼調光元件之一近眼元件的該場景光,其中該處理邏輯亦經組態以回應於該透射光量測而調整該近眼調光元件之該透射命令。
- 如請求項1之頭戴式裝置,其進一步包含: 一溫度感測器,其經組態以量測該近眼調光元件之一調光元件溫度,其中該處理邏輯亦經組態以回應於該調光元件溫度而調整該近眼調光元件之該透射命令。
- 如請求項1之頭戴式裝置,其中該處理邏輯經組態以: 計算藉由該光感測器產生之該光資料的一移動平均值,其中該移動平均值對應於該外部環境中之該場景光的閃爍;及 藉由將一亮光敏感度曲線應用於該光資料之該移動平均值來補償亮光敏感度。
- 一種用以改良由一頭戴式裝置提供的一虛擬影像的對比度之方法,該方法包含: 接收由對應的複數個感測器提供之複數個輸入,其中該複數個輸入與該頭戴式裝置之一外部環境中的場景光之一亮度及該頭戴式裝置之一顯示器的一亮度位準相關聯; 基於該複數個輸入判定一對比度值,其中該對比度值對應於覆疊在與該外部環境相關聯的一場景上的該虛擬影像之一對比度; 判定該對比度值低於一臨限值;及 回應於判定該對比度值低於該臨限值,藉由改變該場景光穿過的該頭戴式裝置之一近眼調光元件之一光學透射或該顯示器之該亮度位準中的至少一者來增大該對比度。
- 如請求項10之方法,其中該複數個輸入包括: 一第一輸入,其表示該外部環境中之該場景光的該亮度; 一第二輸入,其表示該近眼調光元件之一透射特性; 一第三輸入,其表示該顯示器之該亮度位準;及 一第四輸入,其與該頭戴式裝置之一使用者的一瞳孔大小相關聯,其中該瞳孔大小亦表示該近眼調光元件之該透射特性。
- 如請求項10之方法,其進一步包含: 判定該虛擬影像之一關注區(ROI),其中該關注區覆疊於該場景之一第一區域上,該第一區域相對於該場景之其他區域具有該場景光之一較高強度, 其中該複數個輸入中之一第一輸入表示該第一區域處的該場景光之該較高強度,且 其中增大該對比度包括基於該第一區域處之該場景光之該較高強度而增大該對比度。
- 如請求項12之方法,其中判定該對比度值包括至少基於該場景上的該場景光之一平均值、該場景上的該場景光之一峰值、該關注區上的該場景光之一平均值、該關注區上的該場景光之一峰值及該關注區上的該場景光之一變異來計算該對比度值。
- 如請求項10之方法,其進一步包含: 計算該場景之圖框之一移動平均值,其中該移動平均值對應於該外部環境中之該場景光之閃爍;及 藉由將一亮光敏感度曲線應用於該移動平均值來補償亮光敏感度, 其中該複數個輸入中之一第一輸入表示該場景之一亮度值,且對應於已應用有該亮光敏感度曲線的該移動平均值。
- 如請求項10之方法,其進一步包含: 判定與該近眼調光元件相關聯之一溫度;及 使用所判定的該溫度來判定該近眼調光元件之光學透射特性,其中該複數個輸入中之至少一者與使用該溫度所判定之該光學透射特性相關聯。
- 如請求項10之方法,其中該複數個輸入中之至少一者與該顯示器之該亮度位準相關聯,且其中該顯示器之該亮度位準係自工廠校準資料及提供該顯示器之該亮度位準之一即時值的一顯示器亮度感測器判定。
- 如請求項10之方法,其中該複數個輸入中之一輸入與由一RGB攝影機擷取之該場景的影像相關聯,且其中該RGB攝影機自該等影像濾除不可見光。
- 一種頭戴式裝置,其包含: 一光感測器,其經組態以回應於量測在該頭戴式裝置之一外部環境中的場景光而產生光資料; 一顯示器,其經組態以將一虛擬影像呈現至該頭戴式裝置之一眼眶區域; 一近眼調光元件,其經組態以調變該場景光至該眼眶區域之一透射; 一顯示器亮度感測器,其經組態以產生該顯示器之一所量測顯示器亮度值;及 處理邏輯,其經組態以回應於該所量測顯示器亮度值及由該光感測器產生的該光資料而改變該虛擬影像之一對比度。
- 如請求項18之頭戴式裝置,其進一步包含: 一眼動追蹤攝影機,其經組態以產生該眼眶區域之一眼動追蹤影像,其中該處理邏輯經組態以藉由回應於該所量測顯示器亮度值、由該光感測器產生的該光資料及該眼動追蹤影像而調整至該近眼調光元件之一透射命令來改變該對比度。
- 如請求項18之頭戴式裝置,其中該處理邏輯經組態以回應於基於該光資料計算之一亮度值而改變該虛擬影像之該對比度,其中該亮度值係藉由該處理邏輯自該場景光之一移動平均值計算,其中該移動平均值對應於該外部環境中之該場景光的閃爍,且其中該處理邏輯藉由將一亮光敏感度曲線應用於該移動平均值來補償亮光敏感度以獲得該亮度值。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/717,706 US20230324686A1 (en) | 2022-04-11 | 2022-04-11 | Adaptive control of optical transmission |
US17/717,706 | 2022-04-11 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202405515A true TW202405515A (zh) | 2024-02-01 |
Family
ID=86328643
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW112110495A TW202405515A (zh) | 2022-04-11 | 2023-03-21 | 光傳輸之自適應控制 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230324686A1 (zh) |
TW (1) | TW202405515A (zh) |
WO (1) | WO2023200708A1 (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7717601B2 (en) * | 2007-09-28 | 2010-05-18 | Dell Products Lp | Systems and methods for compensating brightness uniformity of backlit image displays |
JP6145966B2 (ja) * | 2012-05-09 | 2017-06-14 | ソニー株式会社 | 表示装置 |
US9430055B2 (en) * | 2012-06-15 | 2016-08-30 | Microsoft Technology Licensing, Llc | Depth of field control for see-thru display |
US10891919B2 (en) * | 2017-06-26 | 2021-01-12 | Boe Technology Group Co., Ltd. | Display system and image display method |
US10853649B2 (en) * | 2018-08-27 | 2020-12-01 | Dell Products, L.P. | Context-aware hazard detection using world-facing cameras in virtual, augmented, and mixed reality (xR) applications |
CN112639579B (zh) * | 2018-08-31 | 2023-09-15 | 奇跃公司 | 用于增强现实装置的空间分辨的动态调暗 |
CN114467049A (zh) * | 2019-08-15 | 2022-05-10 | 奇跃公司 | 具有像素阵列的透视显示器中的重影图像减轻 |
-
2022
- 2022-04-11 US US17/717,706 patent/US20230324686A1/en not_active Abandoned
-
2023
- 2023-03-21 TW TW112110495A patent/TW202405515A/zh unknown
- 2023-04-10 WO PCT/US2023/018024 patent/WO2023200708A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023200708A1 (en) | 2023-10-19 |
US20230324686A1 (en) | 2023-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108369339B (zh) | 双模式增强/虚拟现实(ar/vr)近眼可佩戴显示器 | |
KR20230076815A (ko) | 근안 디스플레이에서 광원을 구동하는 방법 | |
US9064445B2 (en) | Transmission type display device, display method and display program | |
TWI516804B (zh) | 頭戴式顯示裝置及其背光調整方法 | |
US9087471B2 (en) | Adaptive brightness control of head mounted display | |
US8159417B2 (en) | Image display device | |
US10498976B2 (en) | Virtual focus feedback | |
CN107111145B (zh) | 头戴式显示装置和显示方法 | |
US20140253605A1 (en) | Controlling brightness of a displayed image | |
US11209676B2 (en) | Local dimming in a device | |
US11675206B1 (en) | Display with a resolution enhanced region | |
TW201725422A (zh) | 具有可變驅動電壓之液晶顯示器 | |
US20210325696A1 (en) | Digital projector for local dimming in a device | |
US20230333388A1 (en) | Operation of head mounted device from eye data | |
TW202405515A (zh) | 光傳輸之自適應控制 | |
JPWO2019146367A1 (ja) | 映像投影装置、映像投影方法、映像表示光出力制御方法 | |
JP5370174B2 (ja) | 映像信号処理装置、映像信号処理方法および映像表示装置 | |
US11996023B2 (en) | Viewer synchronized illumination sensing | |
US10416445B1 (en) | Lenses with consistent distortion profile | |
TWI683135B (zh) | 頭戴型顯示裝置及用於其之調整方法 | |
US11874469B2 (en) | Holographic imaging system | |
US20240105410A1 (en) | Hybrid electrically and thermally switchable system using heat source | |
TW201932919A (zh) | 顯示裝置 | |
TW202315250A (zh) | 用於產生線性結構光圖案及泛光照明的垂直腔面射型雷射晶片 |