TW202343089A - 顯示非均勻性的校正 - Google Patents

顯示非均勻性的校正 Download PDF

Info

Publication number
TW202343089A
TW202343089A TW111149252A TW111149252A TW202343089A TW 202343089 A TW202343089 A TW 202343089A TW 111149252 A TW111149252 A TW 111149252A TW 111149252 A TW111149252 A TW 111149252A TW 202343089 A TW202343089 A TW 202343089A
Authority
TW
Taiwan
Prior art keywords
display
user
eye
transmission
map
Prior art date
Application number
TW111149252A
Other languages
English (en)
Inventor
貝內特 桑普森 威爾伯恩
愛德華 巴克利
Original Assignee
美商元平台技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商元平台技術有限公司 filed Critical 美商元平台技術有限公司
Publication of TW202343089A publication Critical patent/TW202343089A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G06T3/10
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0233Improving the luminance or brightness uniformity across the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0242Compensation of deficiencies in the appearance of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0285Improving the quality of display appearance using tables for spatial correction of display data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0606Manual adjustment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0693Calibration of display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Abstract

在一個具體實例中,系統可判定一使用者之一眼睛至一顯示器之一顯示平面的一估計距離。該系統可自一記憶體儲存器存取多個傳輸圖,該等傳輸圖表徵如自一量測平面內之多個預定觀看位置所量測的該顯示器之非均勻傳輸字元。該量測平面可與該顯示平面分開一已知距離。該系統可基於使用該光場渲染的該等傳輸圖而為該眼睛之該估計距離產生一定製傳輸圖。該系統可基於該定製傳輸圖而判定一定製校正圖。該系統可使用該定製校正圖來調整欲在該顯示器上顯示之一影像。該系統可在該顯示器上顯示使用該定製校正圖調整之該影像。

Description

顯示非均勻性的校正
本揭示內容大體上係關於人工實境,諸如虛擬實境及擴增實境。
人工實境係在向使用者呈現之前已以某一方式調整的實境形式,其可包括例如虛擬實境(VR)、擴增實境(AR)、混合實境(MR)、複合實境,或其某一組合及/或衍生物。人工實境內容可包括完全產生的內容或與所捕獲內容(例如,真實世界照片)組合之產生的內容。人工實境內容可包括視訊、音訊、觸覺回饋或其某一組合,且其中任何一者可在單一頻道或多個頻道中呈現(諸如向觀眾產生三維效果的立體視訊)。人工實境可與用於例如在人工實境中創建內容及/或用於人工實境中(例如,在其中執行活動)的應用程式、產品、附件、服務或其某一組合相關聯。提供人工實境內容之人工實境系統可在各種平台上實施,包括連接至主機電腦系統之頭戴式顯示器(HMD)、獨立HMD、行動裝置或計算系統,或能夠向一個或多個觀眾提供人工實境內容之任何其他硬體平台。
本文中所描述之特定具體實例係關於用於根據使用者之當前眼睛位置產生用於校正顯示非均勻性之定製校正圖的系統及方法。在特定具體實例中,系統可使用工廠內或商店內校準程序來產生多個預產生校正圖,預產生校正圖位於使用者之適眼距處並經參數化為彼適眼距處之使用者之眼睛瞳孔位置(X, Y)。舉例而言,系統可使用高解析度眼睛追蹤或量測系統(例如,在頭戴式耳機工廠或商店校準程序處)以判定使用者之瞳孔與波導之間的準確適眼距(例如,Z距離)。然後,系統可藉由量測使用者之適眼距平面上之此等位置處之波導傳輸圖來在多個預定義(X, Y)位置處的使用者之適眼距處產生多個預產生校正圖。系統可將此等預產生之校正圖儲存在記憶體儲存器中供稍後使用在運行時間產生對應定製校正圖。在運行時間,系統可使用眼睛追蹤系統來判定使用者之眼睛瞳孔位置(X, Y, Z)。系統可丟棄Z距離並使用(X, Y)位置以藉由基於使用者之眼睛的(X, Y)位置而內插預產生校正圖來產生使用者之定製校正圖。此具體實例可產生準確校正圖,但可能相對昂貴,此係因為各使用者之適眼距需要在工廠或商店校準程序中進行量測。此具體實例可假設使用者之適眼距在使用者戴上頭戴式耳機之後將不會改變。
在特定具體實例中,AR/VR裝置可使用裝置上校準程序來產生針對使用者之適眼距之定製校正圖。裝置上校準程序可為兩步程序或一步程序。對於兩步程序,在高層級,系統可預產生多個預產生校正圖並將其儲存在記憶體儲存器中。此等預產生校正圖可經參數化為使用者之適眼距處之使用者之眼睛位置(X, Y)。此等預產生校正圖可藉由實際上量測多個適眼距處(例如,各適眼距之多個預定位置處)的對應波導傳輸圖來產生。替代地,此等預產生校正圖可藉由實際上量測一個適眼距處之波導傳輸圖並使用射線光學器件來產生此等預產生校正圖來產生,該等預產生校正圖針對使用者之適眼距處之瞳孔(X, Y)位置參數化。應注意,使用射線光學器件基於初始預產生校正圖產生的校正圖可被稱為「中間校正圖」。在運行時間,系統可使用眼睛追蹤系統來判定使用者之眼睛瞳孔位置(X, Y, Z)並使用(X, Y)位置(丟棄z資訊)來產生定製校正圖。定製校正圖可藉由內插對應中間校正圖(例如,對應於含有(X, Y)位置之四個預定位置的四個校正圖)來產生。在特定具體實例中,系統可使用一步程序來基於使用者之(X, Y, Z)瞳孔位置而判定定製校正圖。系統可使用射線光學器件來基於初始預產生校正圖或/及對應於一個適眼距之傳輸圖而直接地判定使用者之定製校正圖。
在特定具體實例中,對於使用兩步程序之裝置上校準程序,系統可量測多個適眼距處(各適眼距之多個預定位置處)之波導傳輸圖並基於此等量測值而產生對應預產生校正圖。因此,系統可產生預產生校正圖矩陣,該預產生校正圖矩陣包括針對各適眼距之預產生校正圖陣列。系統可將此等預產生校正圖儲存在記憶體儲存器中供運行時間使用。在運行時間,系統可首先使用AR/VR裝置之眼睛追蹤系統來判定粗略適眼距Z並判定對應於粗略適眼距Z之定製校正圖。然後,系統可允許使用者提供回饋資訊(例如,使用使用者介面上之滑桿、使用控制器、使用語音輸入,等)來導引系統產生最佳定製校正圖,該最佳定製校正圖將產生可更佳地校正顯示器之非均勻性之最佳非均勻性校正圖。舉例而言,系統可在預定積分適眼距Z 1、Z 2、Z 3等處存取預產生校正圖。然後,在裝置上之校準程序期間,系統可使用眼睛追蹤器提供對使用者之適眼距之Z i距離的粗略估計。系統可基於回應於Z i介於對應於Z n及Z n+1的位置之間的判定由眼動追蹤器所判定之Z i距離而自預定地圖選擇Z n及Z n+1處的預產生校正圖。系統可內插對應於Z n及Z n+1之此兩組預產生校正圖以判定針對Z i之該組中間校正圖(該等中間校正圖針對瞳孔(X, Y)進行參數化)。Z i處之該組中間校正圖可用於基於(X, Y)瞳孔位置而產生定製校正圖(例如,藉由內插對應於含有(X, Y)位置之四個位置的四個中間校正圖)。定製校正圖可用於在使用者之眼睛位於具有任何(X, Y)位置(例如,具有眼動範圍)之距離Z i處時校正顯示非均勻性。針對距離Zi之此等定製校正圖可用於校正影像,當使用者之眼睛瞳孔處於距離Z i處之對應(X, Y)位置處時經由顯示器(例如,藉由波導)向使用者顯示該影像。使用者可觀察定製校正圖是否針對顯示非均勻性進行充分校正。然後,系統可向使用者提供虛擬滑塊以允許使用者提供關於顯示品質之即時回饋,並規定使用者想要嘗試之模擬Z j距離(例如,具有介於Z n與Z n+1之間的範圍,如由滑桿所控制)。在使用者正在調整虛擬滑塊時,系統可不斷地為使用者即時重新產生Z i處之參數化中間校正圖及定製校正圖,直至使用者看到最佳化顯示效果。在特定具體實例中,可對9×7個眼動範圍位置中之各者重複此程序。在特定具體實例中,系統可僅對9×7個眼動範圍位置之一子組位置重複此程序。在特定具體實例中,系統可僅校準中心位置及眼動範圍之拐角位置,且可使用最佳Z值來判定定製校正圖之3D曲面擬合。在特定具體實例中,此裝置上校準程序可基於直接內插預產生校正圖。在特定具體實例中,此線上校準程序可基於在預定距離處內插預定傳輸圖而非校正圖。
在特定具體實例中,系統可使用一步程序來直接產生定製校正圖,以基於光場渲染原理使用射線光學器件來校正顯示器之非均勻性。舉例而言,系統可使用傳播方法來判定定製校正圖,用於基於一個適眼距(例如,標稱距離)處之預定校準資料(例如,傳輸圖)根據使用者之眼睛位置來校正顯示器之非均勻性。系統可預先量測對應於標稱適眼距之平面上之多個預定眼睛位置處之波導傳輸圖。此預先量測可在製造校準程序期間在運送產品之前進行(因為其確實需要使用者之實際適眼距資訊)。系統可將此等預先量測傳輸圖儲存在記憶體儲存器中以供稍後使用。
作為一實例且非藉由限制方式,在運行時間,系統可首先判定使用者在3D空間(包括適眼距)中之眼睛位置(X, Y, Z)(例如,使用眼睛追蹤系統)。然後,系統可使用傳播方法(例如,射線追蹤方法)來判定使用者之當前眼睛位置之波導傳輸圖。傳播方法可包括將多個射線自使用者之眼睛位置投射至波導之顯示平面。一些射線可穿過用於捕獲預捕獲傳輸圖之觀看位置。一些射線可落在用於捕獲預先量測傳輸圖之一組觀看位置(例如,四個觀看位置)之間。系統可藉由對如由預先量測傳輸圖表示之光場進行採樣來判定使用者之當前眼睛位置的傳輸圖。舉例而言,對於通過預定觀看位置之射線,沿著彼方向之對應光強度(且因此顯示非均勻性字元)應在當前傳輸圖及對應於彼觀看位置之預先量測傳輸地圖中相同。換言之,系統可基於預先捕獲傳輸圖中之資訊(相同方向之光強度及顯示非均勻性字元)而判定沿著此方向之光強度(且因此,顯示非均勻性字元)。作為另一實例,對於落在四個預定觀看位置之間射線,系統可使用雙線性內插程序來基於第一預定觀看位置處相同方向的四個光強度(及傳輸字元)而判定沿著彼射線方向之光強度(及顯示傳輸字元,顯示非均勻字元)。因此,系統可基於四個預先量測傳輸圖而判定當前眼睛位置之當前傳輸圖。當前傳輸圖可準確地描述當前眼睛位置之波導之非均勻性特性。然後,系統可基於當前傳輸圖而產生定製校正圖並使用定製校正圖來補償欲在將此等像素值輸出至顯示器之前顯示的影像之像素值。
作為另一實例且非藉由限制方式,系統可使用標稱距離Z處之一組預先量測傳輸圖來判定針對候選Z j距離(例如,如由使用者之滑桿規定)之當前傳輸圖(例如,使用基於光場渲染原理之射線光學器件方法)而無需使用眼睛追蹤系統。Z之該組預先量測傳輸圖可與若干(X, Y)位置相關聯,類似於光場(例如,可存在對應於10×10個(X, Y)位置陣列的10×10個預先量測傳輸圖陣列)。系統可向使用者顯示虛擬滑塊(是否使用眼睛追蹤資料來判定眼睛位置)來規定候選Z j距離。基於假定使用者之(X, Y)觀看位置,系統可使用標稱距離Z處之預先捕獲傳輸圖,以基於光場渲染原理使用射線光學器件來產生(X, Y, Z j)之合成傳輸圖。(X, Y, Z j)之合成傳輸圖可用於產生(X, Y, Z j)之定製校正圖,而該定製校正圖又用於校正測試影像。系統可首先推斷使用者之眼睛位置以提供起點。然後,系統可基於使用者之回饋而調整所推斷眼睛位置,且不斷即時更新傳輸圖及定製校正圖(針對不同Z距離及不同(X, Y)觀看位置),直至使用者看到最佳顯示內容。因此,顯示非均勻性可得到有效校正,且系統可僅需要儲存對應於單個適眼距之預先量測資料。在特定具體實例中,系統可假設使用者之適眼距將回應於使用者之眼睛位置在2D平面中之改變而不改變且可僅重新產生定製校正圖。在特定具體實例中,系統可假設使用者之眼睛位置可在3D空間(包括適眼距)中改變並可重新產生對使用者之眼睛位置在3D空間中之改變的定製校正圖回應。
在特定具體實例中,系統可向使用者顯示虛擬滑塊,虛擬滑塊影響一組壓縮基底向量的前向或向後傳播(對應於來自標稱位置之波導校正圖)來判定使用者之當前眼睛位置之定製校正圖。系統可判定原理因素及係數(例如,基底向量中),該等原理因素及係數可表示特定適眼距處之預產生校正圖,並在Z方向上對此等因素及係數執行內插以判定中間校正圖,該中間校正圖針對目標適眼距處之(X, Y)瞳孔位置參數化。系統可對9×7眼動範圍位置中之各者或一子組彼等眼動範圍位置重複此程序。針對(X, Y)瞳孔位置參數化之中間校正圖可用於基於如由眼睛追蹤系統使用內插所追蹤之實際(X, Y)瞳孔位置而產生定製校正圖。替代地,系統可對此等因素及係數執行內插,以基於使用者之(X, Y, Z)瞳孔位置而直接產生定製校正圖。系統可首先將RGB空間中之波導圖(例如,傳輸圖或校正圖)轉換為RCbCr空間並使用包括此等因素及係數之基底向量來表示YCbCr空間中呈壓縮形式之校正圖。然後,系統可對基底向量執行內插,以判定最終校正圖並將其轉換回為RGB空間。系統可不斷即時更新定製校正圖,而使用者正在調整虛擬滑塊,直至使用者看到最佳顯示結果。
在特定具體實例中,系統可產生各使用者之固定Z距離之一組預產生校正圖,此在量測Z中存在顯著不確定性時有用。系統可假設一旦使用者戴上頭戴式耳機,使用者之適眼距將不會改變。在一些其他具體實例中,系統可假設使用者之眼睛位置可在3D空間(包括適眼距)中改變。系統可使用即時眼睛追蹤來判定3D空間中之使用者之眼睛位置(在此類具體實例中,眼睛追蹤系統可能夠足夠準確地量測使用者之Z距離)並使用基於光場渲染原理之內插方法或射線光學器件來基於使用者之3D眼睛位置而判定各圖框之單獨定製校正圖。換言之,系統可不具有明確的校準階段,且可不需要產生特定於特定眼睛位置之校準圖。相反,系統可根據原始資料且針對各圖框工作,以基於使用者之當前3D眼睛位置而計算各圖框之單獨定製校正圖。此具體實例可產生最準確的定製校正圖,但可在計算及記憶體使用方面相對昂貴。
本文中所揭示之具體實例僅為實例,且本揭示內容之範圍並不限於該等具體實例。特定具體實例可包括上文所揭示的具體實例的組件、元件、特徵、功能、操作或步驟的全部、一些或不包括任何。在所附申請專利範圍中特定揭示之根據本發明的具體實例係針對方法、儲存媒體、系統及電腦程式產品,其中在一個申請專利範圍類別中提及的任何特徵(例如,方法)亦可在另一申請專利範圍類別(例如,系統)中主張。所附申請專利範圍中之從屬或引用僅出於形式原因而選擇。然而,亦可主張由於故意引用任何先前申請專利範圍(特定而言多個從屬關係)而產生的任何標的物,以使得揭示且可主張申請專利範圍及其特徵的任一組合而不管所附申請專利範圍中所選擇從屬關係。可主張的標的物不僅包含所附申請專利範圍中提出的特徵的組合,而且亦包含申請專利範圍中之特徵的任何其他組合,其中申請專利範圍中所提及之每一特徵可與申請專利範圍中之任何其他特徵或其他特徵的組合結合。此外,本文中所描述或描繪的任何具體實例及特徵可在單獨的技術方案中及/或與本文中所描述或描繪的任何具體實例或特徵或所附申請專利範圍的任何特徵以任何組合主張。
1A說明實例人工實境系統100A。在特定具體實例中,人工實境系統100可包含頭戴式耳機104、控制器106及計算系統108。使用者102可佩戴頭戴式耳機104,頭戴式耳機可向使用者102顯示視覺人工實境內容。頭戴式耳機104可包括音訊裝置,該音訊裝置可向使用者102提供音訊人工實境內容。頭戴式耳機104可包括一個或多個攝影機,其可捕獲環境之影像及視訊。頭戴式耳機104可包括眼睛追蹤系統,以判定使用者102之輻輳距離。頭戴式耳機104可被稱為頭戴式顯示器(HDM)。控制器106可包含觸控板及一個或多個按鈕。控制器106可接收來自使用者102之輸入並將輸入中繼至計算系統108。控制器206亦可向使用者102提供觸覺回饋。計算系統108可藉由纜線或無線連接來連接至頭戴式耳機104及控制器106。計算系統108可控制頭戴式耳機104及控制器106以向使用者102提供人工實境內容並接收來自該使用者之輸入。計算系統108可為獨立主機電腦系統、與頭戴式耳機104整合之機載電腦系統、行動裝置或能夠向使用者102提供人工實境內容並自該使用者接收輸入之任何其他硬體平台。
1B說明實例擴增實境系統100B。擴增實境系統100B可包括頭戴式顯示器(HMD)110(例如,眼鏡),其包含框架112、一個或多個顯示器114及計算系統120。顯示器114可為透明的或半透明的,允許佩戴HMD 110之使用者瀏覽顯示器114以查看真實世界並同時向使用者顯示視覺人工實境內容。HMD 110可包括可向使用者提供音訊人工實境內容的音訊裝置。HMD 110可包括一個或多個攝影機,該一個或多個攝影機可捕獲環境之影像及視訊。HMD 110可包括用以追蹤佩戴HMD 110之使用者之輻輳運動之眼睛追蹤系統。擴增實境系統100B可進一步包括控制器,該控制器包含觸控板及一個或多個按鈕。控制器可接收來自使用者之輸入並將輸入中繼至計算系統120。控制器亦可向使用者提供觸覺回饋。計算系統120可藉由纜線或無線連接來連接至HMD 110及控制器。計算系統120可控制HMD 110及控制器以向使用者提供擴增實境內容並接收來自使用者之輸入。計算系統120可為獨立主機電腦系統、與HMD 110整合之機載電腦系統、行動裝置或能夠向使用者提供人工實境內容並自使用者接收輸入之任何其他硬體平台。
1C說明顯示引擎130之實例架構100C。在特定具體實例中,如在本揭示內容中所描述之程序及方法可體現或實施在顯示引擎130內(例如,在顯示區塊135中)。顯示引擎130可包括,例如,但不限於,紋理記憶體132、變換區塊133、像素區塊134、顯示區塊135、輸入資料匯流排131、輸出資料匯流排142等。在特定具體實例中,顯示引擎130可包括一個或多個圖形管線,用於產生欲在顯示器上渲染之影像。舉例而言,顯示引擎可使用圖形管線來基於主圖框影像及如由一個或多個眼睛追蹤感測器量測之使用者之觀看位置或視角而產生一系列子圖框影像。主圖框影像可經產生及/或以30至90 Hz之主圖框速率載入至系統中,且子圖框速率可以1至2 kHz之子圖框速率產生。在特定具體實例中,顯示引擎130可包括用於使用者之左眼及右眼之兩個圖形管線。圖形管線中之一者可包括或可實施在紋理記憶體132、變換區塊133、像素區塊134、顯示區塊135等上。顯示引擎130可包括用於其他圖形管線之另一組變換區塊、像素區塊及顯示區塊。圖形管線可由顯示引擎130之控制器或控制區塊(未示出)控制。在特定具體實例中,紋理記憶體132可包括在控制區塊或可為在控制區塊外部但在顯示引擎130本地的記憶體單元。顯示引擎130之組件中之一者或多者可經組態以經由高速匯流排、共用記憶體或任何其他合適方法進行通信。此通信可包括傳輸資料以及控制信號、中斷或/及其他指令。舉例而言,紋理記憶體132可經組態以藉由輸入資料匯流排211接收影像資料。作為另一實例,顯示區塊135可藉由輸出資料匯流排142將像素值發送至顯示系統140。在特定具體實例中,顯示系統140可包括三個色彩通道(例如,114A、114B、114C)以及各別顯示驅動器IC(DDI)142A、142B及143B。在特定具體實例中,顯示系統140可包括,例如,但不限於,發光二極體(LED)顯示器、有機發光二極體(OLED)顯示器、主動矩陣有機發光二極體(AMLED)顯示器、液晶顯示器(LCD)、微發光二極體(μLED)顯示器,電致發光顯示器(ELD),或任何合適顯示器。
在特定具體實例中,顯示引擎130可包括控制器區塊(未示出)。控制區塊可藉由一個或多個資料匯流排自顯示引擎130外部之控制器接收資料及控制封裝,諸如位置資料及表面資訊。舉例而言,控制區塊可自身體可穿戴計算系統接收輸入串流資料。輸入資料串流可包括以30至90 Hz之主圖框速率產生之一系列主圖框影像。包括主圖框影像之輸入串流資料可轉換為所需格式並儲存至紋理記憶體132中。在特定具體實例中,控制區塊可接收來自身體可穿戴計算系統之輸入並初始化顯示引擎中之圖形管線,以準備並最終化影像資料以在顯示器上渲染。資料及控制封包可包括與例如一個或多個表面有關的資訊,一個或多個表面包括紋理資料、位置資料及額外渲染指令。控制區塊可根據需要將資料分佈至顯示引擎130之一個或多個其他區塊。控制區塊可啟動圖形管線以處理欲顯示之一個或多個圖框。在特定具體實例中,雙眼顯示系統之圖形管線可各自包括控制區塊或共用相同控制區塊。
在特定具體實例中,變換區塊133可判定欲在人工實境場景中顯示之關於表面之初始可見性資訊。一般而言,變換區塊133可將來自像素位置之射線投射於螢幕上並產生濾波器命令(例如,基於雙線性或其他類型的內插技術濾波)以發送至像素區塊134。變換區塊133可執行自使用者之當前觀看位置(例如,使用頭戴式耳機之慣性量測單元、眼睛追蹤感測器及/或任何合適追蹤/定位演算法(諸如同時定位及映射(SLAM))來判定)至人工場景中之射線投射,其中表面經定位且可產生影像塊/表面對144以發送至像素區塊134。在特定具體實例中,變換區塊133可包括如下四級管線。射線投射器可發出對應於一個或多個對準像素陣列的射線束,稱為影像塊(例如,各影像塊可包括16×16個對準像素)。根據一個或多個失真網格,射線束可在進入人工實境場景之前彎曲。失真網格可經組態以校正至少源於眼睛顯示系統及頭戴式耳機系統的幾何失真效應。變換區塊133可藉由將各影像塊之邊界框與表面之邊界框進行比較來判定各射線束是否與場景中之表面相交。若射線束不與物件相交,則可將其丟棄。在偵測影像塊-表面相交之後,對應影像塊/表面對可傳遞至像素區塊134。
在特定具體實例中,像素區塊134可基於影像塊-表面對而判定像素之色彩值或灰度值。各像素之色彩值可自接收且儲存在紋理記憶體132中之表面之紋理資料進行採樣。像素區塊134可自變換區塊133接收影像塊-表面對,且可使用一個或多個濾波器區塊來排程雙線性濾波。對於各影像塊-表面對,像素區塊134可使用對應於投影影像塊與表面相交的位置之色彩值對影像塊內之像素之色彩資訊進行採樣。像素區塊134可基於所擷取紋理(例如,使用雙線性內插)而判定像素值。在特定具體實例中,像素區塊134可針對各像素單獨地處理紅色、綠色及藍色分量。在特定具體實例中,顯示器可包括用於雙眼顯示系統之兩個像素區塊。雙眼顯示系統之兩個像素區塊可獨立工作,且可彼此平行。像素區塊134隨後可將其色彩判定結果(例如,像素138)輸出至顯示區塊135。在特定具體實例中,像素區塊134可當兩個或多於兩個表面具有重疊區時將兩個或多於兩個表面複合為一個表面。複合表面可需要較少計算資源(例如,計算單位、記憶體、電源等)進行重採樣程序。
在特定具體實例中,顯示區塊135可自像素區塊134接收像素色彩值,將資料之格式轉換為更適合於顯示器之掃描線輸出,將一個或多個亮度校正應用於像素色彩值,及準備像素色彩值以輸出至顯示器。在特定具體實例中,顯示區塊135可各自包括列緩衝器且可處理並儲存自像素區塊134接收之像素資料。像素資料可組織成四邊形(例如,每四邊形2×2個像素)及影像塊(例如,每影像塊16×16個像素)。顯示區塊135可將由像素區塊134產生之影像塊級像素色彩值轉換為掃描線或列級資料,此可為實體顯示器所需要。亮度校正可包括任何所需亮度校正、伽瑪映射及遞色。顯示區塊135可將經校正像素色彩值直接輸出至實體顯示器(例如,瞳孔顯示器)之驅動器或可以各種格式將像素值輸出至在顯示引擎130外部之區塊。舉例而言,頭戴式耳機系統之眼睛顯示系統可包括額外硬體或軟體以進一步定製後端色彩處理,以支援顯示器之較寬介面,或最佳化顯示速度或保真度。
在特定具體實例中,如本揭示內容中所描述之遞色方法及程序(例如,空間遞色方法、時間遞色方法及時空方法)可體現或實施在顯示引擎130之顯示區塊135中。在特定具體實例中,顯示區塊135可包括各色彩通道之基於模型遞色演算法或遞色模型並將各別色彩通道之遞色結果發送至顯示系統140之各別顯示驅動器IC(DDI)(例如,142A、142B、142C)。在特定具體實例中,在將像素值發送到各別顯示驅動器IC(例如,142A、142B、142C)之前,顯示區塊135可進一步包括一個或多個用於校正的演算法,例如像素非均勻性、LED非理想性、波導非均勻性、顯示缺陷(例如,死像素)等。
在特定具體實例中,圖形應用程式(例如,遊戲、地圖、內容提供應用程式等)可構建場景圖,場景圖與給定觀看位置及點一起即時用於產生欲在GPU或顯示引擎上渲染的基元。場景圖可定義場景中之物件之間的邏輯及/或空間關係。在特定具體實例中,顯示引擎130亦可產生及儲存呈完整應用場景圖之簡化形式的場景圖。簡化場景圖可用於規定表面之間邏輯及/或空間關係(例如,由顯示引擎130渲染之基元,諸如在3D空間中定義的四邊形或輪廓,其具有基於由應用程式渲染之主圖框而產生之對應紋理)。儲存場景圖允許顯示引擎130將場景渲染為多個顯示圖框並調整當前觀看位置(例如,頭部位置)之場景圖中之各元素,當前物件位置(例如,其可相對彼此移動)及每顯示圖框改變的其他因素。另外,基於場景圖,顯示引擎130亦可調整由顯示子系統引入之幾何及色彩失真且然後將物件複合在一起以產生圖框。儲存場景圖允許顯示引擎130以近似以所要高圖框速率進行完整渲染的結果,同時以明顯較低速率實際運行GPU或顯示引擎130。
1D說明用於產生顯示影像資料之顯示引擎130之實例圖形管線100D。在特定具體實例中,圖形管線100D可包括可視性步驟152,其中顯示引擎130可判定自身體可穿戴計算系統接收之一個或多個表面之可視性。可見性步驟152可由顯示引擎130之變換區塊(例如,圖1C中之2133)執行。顯示引擎130可接收(例如,藉由控制區塊或控制器)來自身體可穿戴計算系統之輸入資料151。輸入資料151可包括一個或多個表面、紋理資料、位置資料、RGB資料,及來自身體可穿戴計算系統之渲染指令。輸入資料151可包括具有30至90圖框/秒(FPS)的主圖框影像。主圖框影像可具有例如24個位元/像素之色彩深度。顯示引擎130可處理所接收輸入資料151並將其保存在紋理記憶體132中。所接收資料可傳遞至變換區塊133,該變換區塊可判定欲顯示之表面之可見性資訊。變換區塊133可將像素位置之射線投射於螢幕上並產生濾波器命令(例如,基於雙線性或其他類型的內插技術濾波)以發送至像素區塊134。變換區塊133可執行自使用者之當前觀看位置(例如,使用頭戴式耳機之慣性量測單元、眼睛追蹤器及/或任何合適追蹤/定位演算法(諸如同時定位及映射(SLAM))來判定)至人工場景中之射線投射,其中表面經定位且產生表面-影像塊對以發送至像素區塊134。
在特定具體實例中,圖形管線100D可包括重採樣步驟153,其中顯示引擎130可根據影像塊-表面對判定色彩值以產生像素色彩值。重採樣步驟153可藉由顯示引擎130之像素區塊134(圖1C中)執行。像素區塊134可自變換區塊133接收影像塊-表面對,且可排程雙線性濾波。對於各影像塊-表面對,像素區塊134可使用對應於投影影像塊與表面相交的位置之色彩值對影像塊內之像素之色彩資訊進行採樣。像素區塊134可基於所擷取紋理(例如,使用雙線性內插)而判定像素值並將所判定像素值輸出至各別顯示區塊135。
在特定具體實例中,圖形管線100D可包括彎曲步驟154、校正及遞色步驟155(例如,基於非均勻性資料157及錯誤傳播資料158)、串列化步驟156等。在特定具體實例中,彎曲步驟154、校正及遞色步驟155,及串列化步驟156可由顯示引擎130之顯示區塊(例如,圖1C中之135)執行。顯示引擎130可混合顯示內容以顯示內容渲染,對像素色彩值應用一個或多個亮度校正,執行一個或多個遞色演算法以在空間及時間上對量化誤差進行遞色,串列化用於實體顯示器之掃描線輸出之像素值,並產生適用於顯示系統140之顯示資料159。顯示引擎130可向顯示系統140發送顯示資料159。在特定具體實例中,顯示系統140可包括用於三個RGB色彩通道(例如,144A、144B、144C)之像素的三個顯示驅動器IC(例如,142A、142B、142C)。
2A說明實例掃描波導顯示器200A。在特定具體實例中,AR/VR系統之頭戴式顯示器(HMD)可包括近眼顯示器(NED),其可為掃描波導顯示器200A。掃描波導顯示器200A可包括光源總成210、輸出波導204、控制器216等。掃描波導顯示器200A可為雙眼或單眼提供影像。出於說明目的,圖3A示出與單眼202相關聯之掃描波導顯示器200A。另一掃描波導顯示器(未示出)可向使用者之另一眼睛提供影像光且兩個掃描波導顯示器可共用一個或多個組件或可分開。光源總成210可包括光源212及光學器件系統214。光源212可包括可使用光發射器陣列產生影像光之光學組件。光源212可產生影像光,包括例如但不限於紅色影像燈、藍色影像燈、綠色影像燈、紅外線影像光等。光學器件系統214可對由光源212產生之影像光執行多個光學處理或操作。由光學器件系統214執行之光學程序或操作可包括例如但不限於光聚焦、光組合、光調節、掃描等。
在特定具體實例中,光學器件系統214可包括光組合總成、光調節總成、掃描鏡面總成等。光源總成210可產生影像光219並將其輸出至輸出波導204之耦合元件218。輸出波導204可為可將影像光輸出至使用者眼202之光學波導。輸出波導204可在一個或多個耦合元件218處接收影像光219,並將所接收影像光引導至一個或多個解耦元件206。耦合元件218可例如但不限於繞射光柵、全像光柵、可將影像光219耦合至輸出波導204中之任何其他合適元件,或其組合。作為一實例且非藉由限制方式,若耦合元件218為繞射光柵,繞射光柵之間距可經選擇以允許發生全內反射且影像光219內部向解耦元件206傳播。繞射光柵之間距可在300 nm至600 nm之範圍內。解耦元件206可將總內部反射影像光自輸出波導204解耦。耦合元件206可例如但不限於繞射光柵、全像光柵、可將影像光自輸出波導204解耦之任何其他合適元件,或其組合。作為一實例且非藉由限制方式,若解耦元件206為繞射光柵,則繞射光柵之間距可經選擇為致使入射影像光出射輸出波導204。可藉由改變進入耦合元件218之影像光219的定向及位置來控制自輸出波導204出射之影像光之定向及位置。繞射光柵之間距可在300 nm至600 nm之範圍內。
在特定具體實例中,輸出波導204可由一個或多個可有助於影像光219之全內反射的材料構成。輸出波導204可由一個或多個材料構成,該一個或多個材料包括例如但不限於矽、塑膠、玻璃或聚合物高或其某一組合。輸出波導204可具有相對較小形式因子。作為一實例且非藉由限制方式,輸出波導204可沿著X維度為50 mm寬,沿著Y維度為30 mm長,及沿著Z維度0.5-1 mm厚。控制器216可控制光源總成210之掃描操作。控制器216可至少基於用於渲染一個或多個影像之一個或多個顯示指令而判定用於光源總成210之掃描指令。顯示指令可包括影像檔案(例如,點陣圖)且例如自AR/VR系統之控制台或電腦接收。掃描指令可由光源總成210用於產生影像光219。掃描指令可包括例如但不限於影像光源類型(例如,單色光源、多色光源)、掃描速率、掃描設備定向、一個或多個照明參數,或其某一組合。控制器216可包括硬體、軟體、韌體或支援控制器216之功能性的任何合適組件。
2B說明掃描波導顯示器200B之實例掃描操作。光源220可包括具有多列及多行光發射器陣列222(如由插圖中之點表示)。由光源220發射之光源223可包括由各行光發射器222發射之一組經準直光束。在到達鏡面224之前,可藉由諸如調節總成(未示出)之不同光學裝置來調節光223。鏡面224可藉由在掃描操作期間繞軸線225旋轉將光223自光源220反射並投影至影像場227。鏡面224可為微機電系統(MEMS)鏡面或任何其他合適鏡面。隨著鏡面224繞軸線225旋轉,光223可投影至影像場227之不同部分,如由呈實線形式之光226A之反射部分及呈虛線形式之光226B之反射部分說明。
在特定具體實例中,影像場227可在鏡面224繞軸線225旋轉以沿不同方向投影光226A-B時接收光226A-B。舉例而言,影像場227可對應於圖2A中之耦合元件218之一部分或解耦元件206之一部分。在特定具體實例中,影像場227可包括耦合元件206之表面。形成在影像場227上之影像可隨著光行進穿過輸出波導220時被放大。在特定具體實例中,影像場227可不包括實際實體結構,但包括影像光投影以形成影像之區。影像場227亦可被稱為掃描場。當光223被投影至影像場227之區時,影像場227之區可被光223照明。影像場227可包括具有多列及多行之像素位置229(由插圖228中之區塊表示)矩陣。像素位置229可在空間上界定在具有對應於單個像素之像素位置之影像場227之區中。在特定具體實例中,影像場227中之像素位置229(或像素)可不包括個別實體像素元素。相反,像素位置229可為空間區,該等空間區界定在影像場227內並將影像場227劃分為像素。像素位置229之大小及位置可取決於來自光源220之光223的投影。舉例而言,在鏡面224之給定旋轉角度下,自光源220發射之光束可落在影像場227之區上。如此,可基於各投影光束之位置界定影像場227之像素位置229之大小及位置。在特定具體實例中,像素位置229可在空間上細分為子像素(未示出)。舉例而言,像素位置229可包括紅色子像素、綠色子像素,及藍色子像素。紅色、綠色及藍色子像素可對應於各別位置,在該等位置處投影一個或多個紅色、綠色及藍色光束。在此狀況下,像素之色彩可基於像素之子像素的時間及/或空間平均值。
在特定具體實例中,光發射器222可以鏡面224之特定旋轉角度照明影像場227之一部分(例如,影像場227上之一子組特定多個像素位置229)。在特定具體實例中,光發射器222可經配置及間隔使得來自光發射器222中之各者之光束經投影於對應像素位置229上。在特定具體實例中,光發射器222可包括用以允許將來自一子組光發射器222之光束投影至相同像素位置229的多個發光元件(例如,微型LED)。換言之,一子組多個光發射器222可一次共同照明單像素位置229。作為一實例且非藉由限制方式,包括八個發光元件之一組光發射器可經配置成一行以用鏡面224以給定定向角度照明單一像素位置229。
在特定具體實例中,光源220之光發射器222之列及行數目可與影像場227中之像素位置229之列及行的數目相同或不相同。在特定具體實例中,一列中之光發射器222之數目可等於影像場227列中之像素位置229之數目,而光發射器222可具有少於影像場227之像素位置229之數目。在特定具體實例中,光源220可具有與影像場227中之像素位置229之行的數目相同數目個光發射器222行,但具有較少列。作為一實例且非藉由限制方式,光源220可具有約1280行光發射器222,其可與影像場227之像素位置229行的數目相同,但僅少數光發射器222列。光源220可具有自第一列至最後光發射器222列量測之第一長度 L1。影像場530可具有自影像場227之第一列(例如,列1)至最後列(例如,列P)量測之第二長度 L2L2可大於 L1(例如, L2比L1大50至10,000倍)。
在特定具體實例中,像素位置229之列的數目可大於光發射器222之列的數目。顯示裝置200B可在不同時間使用鏡面224將光223投影至不同像素列。隨著鏡面520旋轉,且光223掃描遍及影像場227,影像可形成在影像場227上。在一些具體實例中,光源220亦可具有比影像場227較少數目個行。鏡面224可在二維空間中旋轉以用光填充影像場227,例如,使用光柵類型掃描程序向下掃描列然後移動至影像場227中之新行。鏡面224之完整旋轉週期可被稱為掃描週期,該掃描週期可為在此期間完全掃描整個影像場227之預定循環時間。影像場227之掃描可藉由鏡面224判定及控制,其中顯示裝置200B之光產生與鏡面224的旋轉同步。作為一實例且非藉由限制方式,鏡面224可在初始位置處開始將光投影至影像場227之列1,並旋轉至最後位置,該最後位置將光投影至影像場227之列 P,且然後在一個掃描週期期間旋轉回至初始位置。每掃描週期可在影像場227上形成影像(例如,圖框)。顯示裝置200B之圖框速率可對應於一秒內掃描週期的數目。隨著鏡面224旋轉,光可掃描遍及影像場以形成影像。給定像素位置229之實際色彩值及光強度或亮度可為在掃描週期期間照明像素位置之色彩各種光束之時間總和。在完成掃描週期之後,鏡面224可恢復至初始位置以用饋送至光發射器222之一組新的驅動信號將光投射至前幾列影像場227。當鏡面224循環旋轉時,可重複相同程序,以允許在掃描場227中形成不同影像圖框。
3A說明實例2D微型LED波導顯示器300A。在特定具體實例中,顯示器300A可包括細長波導組態302,細長波導組態可足夠寬或長以將影像投影至使用者之雙眼。波導組態302可包括覆蓋使用者之雙眼的解耦區304。為了藉由波導組態302向使用者之雙眼提供影像,多個耦合區306A-B可設置在波導組態302之頂部表面中。耦合區306A及306B可包括多個耦合元件以分別自光發射器陣列組308A及308B接收影像光。發射器陣列組308A-B中之各者可包括多個單色發射器陣列,包括例如但不限於紅色發射器陣列、綠色發射器陣列及藍色發射器陣列。在特定具體實例中,發射器陣列組308A-B可進一步包括白色發射器陣列或發射其他色彩或任何多個色彩之任何組合之發射器陣列。在特定具體實例中,波導組態302可具有發射器陣列組308A及308B,該等發射器陣列組覆蓋如由分隔線309A劃分之解耦區域304之大約相同部分。在特定具體實例中,發射器陣列組308A及308B可不對稱地向波導組態302之波導提供影像,如由分隔線309B劃分。舉例而言,發射器陣列組308A可為超過一半之解耦區304提供影像。在特定具體實例中,發射器陣列組308A及308B可經配置在波導組態302之相對側處(例如,相距180º),如在圖3B中所示。在其他具體實例中,發射器陣列組308A及308B可以任何合適角度配置。波導結構302可為平面的或可具有彎曲剖面形狀,以更好地擬合使用者之面部/頭部。
3B說明2D微型LED波導顯示器的實例波導組態300B。在特定具體實例中,波導結構300B可包括耦合至波導342之投影器裝置350。投影器裝置320可包括固定至支撐結構354(例如,印刷電路板或其他合適支撐結構)之多個光發射器352(例如,單色發射器)。波導342可與投影器裝置350分開距離為 D1(例如,大約50 μm至大約500 μm)的氣隙。由投影器裝置350投射之單色影像可朝向波導342通過氣隙。波導342可由玻璃或塑膠材料形成。波導342可包括耦合區330,包括用於接收來自投影器裝置350之發射光的多個耦合元件334A-C。波導342可包括解耦區,該解耦區具有位於頂部表面318A上之多個解耦元件336A及位於底部表面318B上之多個解耦元件336B。解耦元件336A與336B之間的波導342內之區可被稱為傳播區310,其中自投影器裝置350接收且藉由耦合元件334耦合至波導342中之影像光可在波導342內側向傳播。
耦合區330可包括耦合元件(例如,334A、334B、334C),耦合元件經組態且經定尺寸以耦合預定波長(例如,紅色、綠色、藍色)之光。當白色光發射器陣列包括在投影器裝置350中時,落在預定波長中之白光部分可由耦合元件334A-C中之各者耦合。在特定具體實例中,耦合元件334A-B可為經定尺寸以耦合預定波長之光的光柵(例如,布拉格光柵)。在特定具體實例中,各耦合元件之光柵可在與預定光波長相關聯之光柵之間展現分開距離且各耦合元件可具有不同光柵分開距離。因此,各耦合元件(例如,334A-C)可在白色光發射器陣列包括在投影器裝置350中的條件下耦合自投影器裝置350之白色光發射器陣列之白色光之有限部分。在特定具體實例中,各耦合元件(例如,334A-C)可具有相同光柵分開距離。在特定具體實例中,耦合元件334A-C可為或包括多工耦合器。
如在圖3B中所說明,紅色影像320A、藍色影像320B及綠色影像320C可分別由耦合元件334A、334B、334C耦合至傳播區310並可開始在波導342內側向行進。光之一部分可在光接觸解耦元件336A以用於一維瞳孔複製之後且在光接觸解耦元件336A及336B兩者以用於二維瞳孔複製之後自波導342投影。在二維瞳孔複製中,光可在位置處自波導342投影出,在該等位置處,解耦元件336A之圖案與解耦元件336B之圖案相交。未藉由解耦元件336A自波導342投影出之光之部分可自解耦元件336B反射。解耦元件336B可將所有入射光反射回朝向解耦元件336A。因此,波導342可將紅色影像320A、藍色影像320B及綠色影像320C組合為多色影像實例,該多色影像實例可被稱為瞳孔複製322。多色瞳孔複製322可投影至使用者之眼睛,該等使用者之眼睛可將瞳孔複製322解釋為全彩色影像(例如,影像包括除紅色、綠色及藍色以外的色彩)。波導342可產生數十或數百個瞳孔複製322或可產生單個複製322。
使用波導進行瞳孔複製之AR/VR系統可面臨波導非均勻性問題。理想地,沿著同一方向出射波導之光應具有相同光強度,而無論光出射波導之位置如何。然而,由於波導非均勻性,在不同位置處出射波導之光實際上可具有不同光強度。此外,顯示器可具有三個RGB色彩通道,且各色彩通道可受到非均勻性的不同影響。當色彩之相對強度改變時,顯示器除了亮度移位以外亦可具有色彩移位。因此,當使用者之眼睛移動時,顯示影像可根據3D空間中之使用者之眼睛位置(Z, Y, Z)改變其亮度及其色彩。因此,系統需要根據使用者之實際眼睛位置來校準波導非均勻性。先前現有技術可假設眼睛距離Z不會改變,且僅眼睛之(X, Y)位置改變。此將導致非最佳顯示結果,因為使用者之眼睛之適眼距可實際上取決於使用者佩戴頭戴式耳機的方式且取決於誰佩戴頭戴式耳機而改變(例如,不同使用者可具有不同的頭部形狀,且因此具有欲顯示之不同眼睛距離)。然而,用於判定使用者之眼睛位置之眼睛追蹤系統可並非足夠準確,此可導致非最佳校準結果。此外,儘管可能校準2D平面上之使用者之眼睛位置,使用先前現有技術校準3D空間中使用者之眼睛位置可過高昂貴(例如,資料量過大而無法儲存)。
為了解決此等問題,在特定具體實例中,系統可產生用於根據使用者之當前眼睛位置校正顯示非均勻性的校正圖。在高層級,系統可使用裝置上校準程序來產生針對使用者之適眼距之校正圖。裝置上校準程序可為兩步程序或一步程序。對於兩步程序,系統可預產生多個預產生校正圖並將其儲存在記憶體儲存器中。此等預產生校正圖可經參數化為使用者之適眼距處之使用者之眼睛位置(X, Y)。在特定具體實例中,此等預產生校正圖可藉由實際上量測多個適眼距處(例如,各適眼距之多個預定位置處)的對應波導傳輸圖來產生。替代地,此等預產生校正圖可藉由實際上量測一個適眼距處之波導傳輸圖並使用射線光學器件來產生此等預產生校正圖來產生,該等預產生校正圖針對使用者之適眼距處之瞳孔(X, Y)位置參數化。在運行時間,系統可使用眼睛追蹤系統來判定使用者之眼睛瞳孔位置(X, Y, Z)並使用(X, Y)位置(丟棄z資訊)來產生最終校正圖。最終校正圖可藉由內插對應預產生校正圖(例如,對應於含有(X, Y)位置之四個預定位置的四個校正圖)來產生。在特定具體實例中,系統可使用一步程序來基於使用者之(X, Y, Z)瞳孔位置而判定最終校正圖。系統可使用射線光學器件來基於校正圖或/及在一個適眼距處量測之傳輸圖而直接地判定使用者之最終校正圖。
作為一實例,系統可首先使用AR/VR裝置之眼睛追蹤系統來判定粗略適眼距Z並判定對應於粗略適眼距Z的校正圖。然後,系統可允許使用者提供回饋資訊(例如,使用使用者介面上之滑桿、使用控制器、使用語音輸入,等)來導引系統產生最佳校正圖,最佳校正圖將產生更準確地校正顯示器之非均勻性之最佳非均勻性校正圖。在此之後,系統可儲存校正圖並使用校正圖來在運行時間校正波導非均勻性。舉例而言,系統可在預定積分適眼距Z 1、Z 2、Z 3等處預定一組顯示校正圖。然後,在校準程序期間,系統可藉由內插對應於囊括估計距離Z i的Z n及Z n+1距離的預定校正圖來判定使用者之適眼距之Z i距離的粗略估計並判定Z i距離的一組校正圖。然後,系統可使用Z i距離處之該組校正圖來產生最終校正圖,該最終校正圖用於校正正顯示之影像。同時,系統可向使用者提供虛擬滑塊以允許使用者提供關於顯示品質之即時回饋。系統可基於使用者回饋為使用者不斷即時產生校正圖直至使用者看到最佳顯示結果。
在特定具體實例中,系統可產生校正圖,以基於光場渲染原理使用射線光學器件來校正顯示器之非均勻性。舉例而言,系統可使用傳播方法來判定校正圖,該校正圖用於基於特定適眼距(例如,標稱距離)處之預定校準資料(例如,傳輸圖)根據使用者之眼睛位置來校正顯示器之非均勻性。系統可預先量測多個預定眼睛位置處之波導傳輸圖,該多個預定眼睛位置可位於對應於標稱適眼距之平面上。此預先量測可在運送產品之前在製造廠校準程序期間進行。系統可將此等預先量測之傳輸圖儲存在記憶體儲存器中。在運行時間,系統可首先判定使用者在包括適眼距之3D空間中之眼睛位置。然後,系統可使用傳播方法(例如,基於光場渲染原理之射線追蹤方法或射線光學器件方法)來判定使用者之當前眼睛位置(X, Y, Z)的波導傳輸圖。傳播方法可包括將多個射線自使用者之眼睛位置投射至波導之顯示平面。系統可藉由對如由預先量測傳輸圖表示之光場進行採樣來判定使用者之當前眼睛位置(X, Y, Z)的傳輸圖。然後,系統可基於使用者之當前眼睛位置(X, Y, Z)之傳輸圖而產生最終校正圖。
藉由使用校正圖來校正顯示非均勻性,系統之特定具體實例可為使用者提供較佳顯示品質及最佳使用者體驗。藉由基於一系列距離處之預定校正圖及使用者之即時回饋而產生校正圖,系統之特定具體實例可基於如由眼睛追蹤系統所判定之大約眼睛距離而產生針對不同適眼距之有效校正圖。系統可提供最佳顯示品質,而不會增加對眼睛追蹤系統的要求。藉由使用光場渲染來產生校正圖,系統可藉由減少用於由預先儲存校正圖或傳輸圖產生校正圖的計算資源及記憶體資源的使用來提供更高效效能。在特定具體實例中,系統可藉由使用光場方法來提供另一優勢:其可減少需要在工廠或商店校準程序中進行量測的位置之數目。此可加快校準時間並減少所需記憶體等。系統可使用較小的資料集來產生中間校正圖,或在即時系統中,直接計算對給定瞳孔(X, Y, Z)位置的補償。
在特定具體實例中,使用者之瞳孔至波導距離Z可在裝配程序期間(例如,在工廠或商店處)進行準確量測。然後,波導傳輸功能可在此距離Z針對所有(X, Y)位置進行量測,確保給定使用者的匹配。舉例而言,系統可使用工廠內或商店內校準程序以產生多個校正圖,該等校正圖位於使用者之適眼距處並經參數化為彼適眼距處之使用者之眼睛瞳孔位置(x, y)。系統可使用高解析度眼睛追蹤或量測系統(例如,在頭戴式耳機工廠或商店處)以判定使用者之瞳孔與波導之間的準確適眼距(例如,Z距離)。然後,系統可在適眼距處在多個預定義(x, y)位置處產生多個校正圖。然後,系統可將此等校正圖儲存在記憶體儲存器中以供稍後運行時間使用基於如由眼睛追蹤系統在運行時間所量測之使用者之眼睛瞳孔位置(x, y)而產生校正圖。如較早論述,此等預產生校正圖可針對彼適眼距處之眼睛瞳孔位置(x, y)參數化。在運行時間,系統可判定使用者之眼睛位置(x, y, z)並使用(x, y)位置來計算最終校正圖(Z距離值將被丟棄,此係因為此具體實例假設使用者之適眼距在裝置使用期間不會改變)。系統可藉由基於使用者之瞳孔之(x, y)位置而內插多個預產生校正圖來產生最終校正圖。此具體實例可產生準確校正圖,但可為相對昂貴的,此係因為各使用者之適眼距需要藉由在工廠或商店中進行量測。此具體實例可假設在使用AR/VR頭戴式耳機時使用者之適眼距將不會改變過多(例如,具有臨限範圍)。此方法可提供高品質顯示結果,但其可能為昂貴且漫長的程序,且可不能夠擴展至數百萬個單元。此外,針對特定使用者校準的頭戴式耳機可不適合於另一使用者,因為不同使用者可具有不同頭部形狀,且因此相對於頭戴式顯示器具有不同眼睛距離/位置。在特定具體實例中,系統可使用線上校準程序來校準使用者之眼睛距離並產生彼使用者之定製校正圖。系統可基於(1)眼睛追蹤系統之眼睛追蹤資料或/及(2)使用者之即時回饋(例如,使用虛擬滑塊來選擇最佳感知匹配之Z距離)而判定使用者之眼睛距離。
作為裝配程序之實例且非藉由限制方式,系統可使用高解析度眼睛追蹤或量測系統(例如,在頭戴式耳機工廠或商店處)以判定使用者之瞳孔與波導之間的準確適眼距(例如,Z距離)。然後,系統可量測如自量測Z距離所觀看的適眼距上之多個預定義(X, Y)位置之波導傳輸圖。波導傳輸圖可表徵如自對應觀看位置所觀看的波導之傳輸功能或/及傳輸非均勻性。然後,系統可基於傳輸圖而產生預產生校正圖。系統可將此等校正圖儲存在記憶體儲存器中以供稍後使用。在運行時間,系統可使用機載眼睛追蹤系統來追蹤使用者之眼睛之(X, Y)位置並基於使用者之當前眼睛位置而判定對應定製校正圖。舉例而言,系統可藉由內插對應於含有使用者之眼睛瞳孔之(X, Y)位置的四個位置之四個預產生校正圖來產生定製校正圖。因為準確預先量測使用者之眼睛之Z距離,此具體實例可產生準確校正圖並提供最佳顯示品質。然而,其可為相對昂貴的,此係因為各使用者之適眼距需要藉由在工廠或商店中之裝配程序中進行量測。此具體實例可假設使用者之適眼距在使用者戴上頭戴式耳機之後將不會改變。然而,在一些情況下,使用者至顯示器之適眼距可取決於使用者佩戴頭戴式耳機之方式而改變。此外,校準結果可特定於特定使用者,此每當新使用者佩戴頭戴式耳機時需要新校準程序。
在特定具體實例中,系統可允許使用者執行線上校準程序,以在運行時間判定使用者眼睛相對於顯示器之Z距離,以導出最佳顯示品質並產生校正圖以相應地校正顯示非均勻性。系統可根據Z距離而產生預產生校正圖。舉例而言,系統可針對一系列Z距離中之各Z距離產生一組預產生校正圖(例如,9×7個位置)及將此等預產生校正圖儲存在記憶體儲存器中以供以後使用。在特定具體實例中,系統可在兩個Z距離(Z 1, Z 2)處的兩組預產生校正圖之間執行內插以判定目標適眼距Z i處之一組中間校正圖。目標適眼距Z i可落在兩個Z距離(Z 1, Z 2)之範圍內。然後,系統可藉由基於使用者之眼睛瞳孔之(X, Y)位置而內插中間校正圖來產生定製校正圖。舉例而言,系統可藉由內插對應於含有目標適眼距處之(X, Y)位置之四個位置之中間校正圖來產生(X, Y)瞳孔位置之定製校正圖。「定製校正圖」亦可被稱為「最終校正圖」,此係因為其為最終用於校正顯示影像之校正圖。
在特定具體實例中,系統可使用射線傳播方法,該射線傳播方法可自標稱Z平面向前及向後傳播射線群組,以基於使用者之眼睛位置而判定定製校正圖。射線傳播方法亦可被稱為「射線光學方法」,且可基於光場渲染原理。舉例而言,系統可量測標稱適眼距亦被稱為距顯示器之標稱眼睛距離或標稱適眼距距離)處之顯示器之傳輸圖(。顯示器之傳輸圖可基於波導之傳輸功能而表徵顯示器之傳輸非均勻性。然後,系統可使用(1)積分Z距離處之不同組預產生校正圖之間的直接內插,或(2)向後移動並強制至不同觀看位置之射線傳播原理來判定在當前適眼距處之使用者之眼睛位置之定製校正圖。定製校正圖可依特定使用者(例如,使用者可或可不佩戴眼鏡,使用者可具有不同頭部大小及形狀,等)及特定類型的頭戴式耳機而定製。然後,系統可為頭戴式耳機載入標稱適眼距處之校正圖組以校正欲向使用者顯示之影像。在特定具體實例中,預產生校正圖(在一次或多個適眼距)可為使用者判定一次,或每工作階段,或可以預定時間間隔或在使用者之請求時重新產生及更新。
在特定具體實例中,如由裝置上眼睛追蹤系統所量測之適眼距可足夠準確,且對應定製校正圖係基於如由裝置上眼睛追蹤系統所量測之所估計適眼距而產生。在一些情況中,適眼距之初始估計可並非準確,此可導致定製校正圖中之較不最佳結果及較不最佳顯示品質。在特定具體實例中,系統可允許使用者提供即時回饋(例如,藉由虛擬滑塊、控制器或語音輸入,等)以進一步調整所估計適眼距值。系統可基於使用者之回饋而不斷重新產生定製校正圖,並更新如由新產生定製校正圖校正之顯示影像,直至使用者看到最佳顯示結果為止。在特定具體實例中,系統可不需要使用裝置上之眼睛追蹤系統進行量測適眼距。相反,系統可基於初始適眼距估計(例如,基於預設初始值,平均適眼距、所推斷適眼距等)而產生初始校正圖。系統可基於初始適眼距而產生初始校正圖並使用初始校正圖來調整正向使用者顯示之影像。然後,系統可直接允許使用者提供關於顯示品質之回饋(例如,藉由虛擬滑塊、控制器或語音輸入)。使用者輸入可包括所估計適眼距之調整量及調整方向。系統可不斷重新產生定製校正圖並使用新產生之校正圖來更新顯示影像,直至使用者看到最佳顯示品質。
在特定具體實例中,AR/VR裝置可使用裝置上校準程序來使用兩步內插方法來基於當前適眼距處之使用者當前眼睛位置而產生當前校正圖。在高層級,系統可首先產生在製造廠校準程序期間對應於一系列預定Z距離之預產生校正圖矩陣並將其儲存在記憶體儲存器中。系列Z距離中之各預定Z距離可對應於陣列預產生校正圖,該陣列預產生校正圖對應於彼距離上之多個預定位置。在運行時間,系統可首先使用AR/VR裝置之眼睛追蹤系統來判定粗略適眼距Z。然後,系統可選擇對應於含有目標Z距離之兩個距離(Z 1, Z 2)的兩組預產生校正圖並藉由內插選定的兩組預產生校正圖來產生一組中間校正圖。在此之後,系統可使用眼睛追蹤系統來判定使用者眼睛瞳孔之(X, Y, Z)位置並使用(X, Y)位置資訊(丟棄Z位置資訊)以藉由基於使用者之眼睛瞳孔位置(X, Y)而內插對應中間校正圖來產生定製校正圖。舉例而言,系統可藉由內插對應於含有(X, Y)位置之四個預定位置之四個中間校正圖來產生眼睛位置(X, Y)之定製校正圖。在此之後,系統可使用定製校正圖來校正顯示影像並允許使用者提供回饋資訊(例如,使用使用者介面上之滑桿,使用控制器,使用語音輸入,等)以導引系統來產生最佳校正圖,該最佳校正圖可產生更準確地校正顯示器之非均勻性之最佳非均勻性校正圖。在使用者回饋程序期間,系統可重複上述流程以即時重新產生並重新應用定製校正圖,直至使用者看到最佳顯示結果。因此,可基於實際使用者之眼睛位置而不斷重新產生並更新定製校正圖。
4A說明用於基於初始估計適眼距401而產生定製校正圖的實例程序400A。作為一實例且非藉由限制方式,系統可在預定積分適眼距420(例如,Z 1、Z 2、…Z n、Z n+1等)處預定預產生校正圖之矩陣。預產生校正圖矩陣可包括一組預產生各適眼距之多個預定位置處之一組預產生校正圖。各預產生校正圖可基於如自對應適眼距及對應眼睛位置所觀看的顯示波導之傳輸非均勻性而產生。系統可首先量測如自此等預定位置所觀看的顯示波導之傳輸字元(例如,傳輸功能)並因此產生對應校正圖。各預產生校正圖可一旦應用於顯示影像(例如,使用校正圖值調整影像像素)則校正如自對應觀看位置所觀看的波導之非均勻性。系統可將此等預產生校正圖儲存在記憶體儲存器中,且稍後使用。
在運行時間且在校準程序期間,系統可使用頭戴式耳機之眼睛追蹤系統來判定對應於使用者之適眼距之Z i距離的粗略估計。舉例而言,系統可使用眼睛追蹤系統來判定具有Z i距離之初始估計適眼距401。然後,系統可比較初始估計適眼距401與對應於該組預定距離420之位置。系統可基於Z i屬於如由Z n及Z n+1所判定之範圍內的判定而選擇Z n及Z n+1並選擇對應校正圖。換言之,回應於Z i屬於Z n及Z n+1的距離範圍內的判定,系統可基於如由眼睛追蹤器所量測之Z i距離而自記憶體儲存器選擇在Z n及Z n+1處之兩組預產生校正圖。然後,系統可內插對應於Z n及Z n+1的此選定兩組校正圖以判定一組中間校正圖,該等中間校正圖針對Z i距離處之(X, Y)瞳孔位置參數化。然後,系統可將此組中間校正圖儲存在記憶體儲存器中並使用其來基於如由眼睛追蹤系統在運行時間所量測之使用者之眼睛瞳孔之實際(X, Y)位置而產生定製校正圖。舉例而言,基於對應於含有目標(X, Y)位置之位置(在Z i距離平面上)之四個中間校正圖而判定(X, Y)位置的定製校正圖。系統可使用定製校正圖來調整欲顯示用於校正顯示非均勻性之影像之像素值並向使用者顯示經校正影像。使用者可觀察校正圖是否充分校正顯示非均勻性之顯示影像,並即時提供回饋以進行進一步調整。
4B說明用於基於使用者之即時回饋而判定定製校正圖的實例程序400B。在系統顯示基於如根據先前步驟所判定之初始定製校正圖而調整的影像之後,系統可在顯示器上向使用者顯示互動式元素或/且藉由其他構件與使用者通信以要求使用者提供關於顯示影像之回饋。舉例而言,系統可向使用者顯示虛擬滑塊430以允許使用者提供關於顯示品質的即時回饋。虛擬滑塊430的兩端可對應於兩個距離Z n及Z n+1,且使用者可控制滑塊430之虛擬滑桿431以致使系統嘗試Z n與Z n+1之間的任何位置。系統可規定使用者想要嘗試之模擬Z j距離(例如,具有在Z n與Z n+1之間的範圍,如由滑桿控制)。雖然使用者正在調整虛擬滑塊,但系統可使用如上文所描述之程序不斷重新產生在規定Z j距離處使用者之眼睛位置(X, Y)的即時定製校正圖。系統可基於使用者所規定Z j距離及使用者之眼睛瞳孔之當前所量測(X, Y)位置而使用新產生定製校正圖來不斷調整欲顯示之影像,且不斷更新顯示器,直至使用者看到最佳顯示結果。各迭代中之使用者輸入(例如,402)可包括估計適眼距401之調整量及調整方向。系統可基於如由使用者所規定之調整量及調整方向而判定適眼距之新估計。使用者可基於顯示影像之即時顯示品質而使滑動桿431沿任何方向移動任何量。因為初始所估計適眼距401(例如,如由裝置上眼睛追蹤系統所判定)可在一些情況下不準確,所以基於初始所估計適眼距而產生之初始定製校正圖可不提供最佳顯示品質。系統可使用各迭代中之使用者回饋來判定更準確的適眼距估計,且可在一個或多個迭代之後達到實際適眼距403。實際適眼距403係基於使用者之即時回饋而判定。系統可基於實際適眼距403而產生最佳定製校正圖並將最佳定製校正圖載入至頭戴式耳機以校正顯示非均勻性。最佳校正圖一旦應用於正在顯示之影像,可為使用者提供最佳顯示品質。
4C說明用於判定眼動範圍內的位置陣列的一組校正圖的實例程序400C。在特定具體實例中,產生定製校正圖的程序可針對9×7個眼動範圍位置中之各者重複。在特定具體實例中,系統可僅對9×7個眼動範圍位置之一子組位置重複此程序。作為一實例且非藉由限制方式,系統可預定各預定距離處之各平面(例如,預定距離445處之平面)的一組校正圖(例如,9×7校正圖陣列)。舉例而言,系統可判定眼動範圍440A之一組9×7校正圖及眼動範圍440C之一組9×7校正圖。類似地,系統可判定距顯示平面410之預定距離445處之其他平面上之觀看位置陣列的該組校正圖。系統可將此校正圖矩陣(例如,N×9×7,其中N為距離數)儲存在記憶體儲存器中。在運行時間,系統可首先判定初始所估計適眼距(例如,使用眼睛追蹤系統、平均眼距、初始設置值、隨機值)。然後,系統可基於初始所估計適眼距而產生初始校正圖並使用初始校正圖來校正顯示影像之顯示非均勻性。然後,系統可使用如本揭示內容之較早部分中所描述之程序、方法及原理以藉由與虛擬滑塊互動基於使用者之即時回饋而判定使用者之眼睛之準確適眼距444。在此程序期間,系統可指示使用者將凝視點聚焦在參考點處(例如,與顯示器中心的垂直線)以將使用者之眼睛與參考線對準或位於參考位置處。系統可基於對應於參考線441上之觀看位置之準確適眼距444而產生定製校正圖。
基於準確適眼距444產生之定製校正圖可在所有可能距離內(沿著參考線441)提供最佳顯示品質。然而,使用者之眼睛位置可並非總是位於參考線上441或處於參考位置處,此係因為使用者之眼睛可在觀看顯示內容時自然繞眼動範圍移動。當使用者之眼睛不在參考線上441時,針對參考線上之觀看位置產生之定製校正圖可並非最佳校正圖。定製校正圖可進一步改良以藉由考慮精確準確適眼距處之平面內之眼睛位置而提供較佳顯示品質。系統可重複上文所描述程序來判定預定位置陣列之校正圖陣列(例如,準確適眼距444處之平面內之9×7個位置)。為產生9×7校正圖陣列之各校正圖,系統可在Z n及Z n+1距離處之各別平面上之相同2D位置處選擇兩個預定校正圖。舉例而言,為了在眼動範圍平面445B內產生眼睛位置(例如,2D位置)的校正圖,系統可內插對應於眼動範圍平面445A中之相同2D位置之第一校正及對應於眼動範圍平面445C中之相同2D位置之第二校正圖。藉由內插對應於眼動範圍平面445A(其位於Z n+1距離處)及眼動範圍平面445C(其位於Z n距離處)之校正圖,系統可產生準確適眼距444處之眼動範圍平面445B內之9×7個眼睛位置之9×7個校正圖陣列。系統可將9×7校正圖陣列載入至頭戴式耳機中並將此等校正圖儲存在記憶體儲存器中供以後使用。
在特定具體實例中,裝置上之眼睛追蹤系統可在判定眼睛在所判定適眼距處之平面內之(X, Y)位置(例如,使用如上文所描述之方法及程序)中比在自身判定適眼距中更準確。因此,系統可使用如上文所描述方法及程序來判定準確適眼距444(例如,基於初始眼睛追蹤資料以及使用者對顯示品質的即時回饋)並產生校正圖陣列(例如,眼動範圍平面445B內之9×7個位置)。然後,系統可在運行時間使用眼動範圍平面445B內之眼睛追蹤系統來判定使用者眼睛之(X, Y)位置。舉例而言,系統可判定所量測眼睛位置446B屬於如由四個觀看位置(例如,圖4C中之447)封圍之區內。系統可選擇對應於四個眼睛位置447之四個校正圖並藉由內插四個校正圖來判定最佳定製校正圖(例如,使用雙線性內插)。因此,系統可在考慮距顯示器之Z距離(亦即,適眼距)及眼動範圍平面445B內之(X, Y)位置的情況下而產生實際眼睛位置446之最佳定製校正圖。最佳定製校正可向使用者提供最佳顯示品質及使用者體驗。當使用者之眼睛在眼動範圍平面445B內移動,系統可不斷量測使用者之眼睛在平面內之(X, Y)位置,為使用者之實際眼睛位置重新產生最佳定製校正圖,並更新如使用新產生最佳定製校正圖校正之顯示影像。
在特定具體實例中,當使用者之眼睛在眼動範圍平面445B內移動時,使用者之眼睛位置可落於眼動範圍平面445B之兩個預定觀看位置之間。舉例而言,使用者之眼睛位置可介於兩個預定觀看位置之間且落於在連接兩個鄰近預定觀看位置之線上(例如,垂直地或水平地)。作為另一實例,使用者之眼睛可落在眼動範圍之邊緣線上(與落在由四個預定觀看位置封圍之區中相比)。在此類情景中,替代選擇對應於四個預定觀看位置之四個校正圖,系統可僅選擇對應於眼睛位置落在其之間的兩個預定位置之兩個校正圖。系統可藉由內插選定兩個校正圖來產生定製校準圖。藉由基於兩個預定校正圖而非四個而產生定製校正圖,系統可減少渲染程序所需的計算量,同時為使用者提供最佳顯示品質。
在特定具體實例中,當使用者之眼睛在眼動範圍平面445B內移動時,使用者之眼睛可落在靠近於眼動範圍平面445B上(例如,在臨限距離內)之預定觀看位置之位置上。舉例而言,使用者之眼睛在眼動範圍平面445B上之位置可在距眼動範圍之拐角中之一者的臨限距離。作為另一實例,使用者之眼睛在眼動範圍平面445B上之位置可在距眼動範圍445B上之預定觀看位置中之一者的臨限距離內。在此類情景中,基於選定校正圖對應於眼動範圍平面445B內9×7個觀看位置陣列當中之最近觀看位置的判定,系統可量測使用者之眼睛在平面內之(X, Y)位置,並自校正圖陣列選擇校正圖以校正欲顯示之影像。換言之,最近觀看位置可為眼動範圍平面445B上之預定觀看位置,預定觀看位置在使用者之眼睛在眼動範圍平面445B內之所量測(X, Y)位置的臨限距離內。藉由選擇對應於最近觀看位置之校正圖,系統可節省產生最佳校正圖的計算能力同時仍提供最佳顯示品質,此係因為當使用者之眼睛位置足夠接近(例如,在臨限距離內)於單個預定觀看位置,對應於彼位置之校正圖可足夠準確,以提供最佳顯示經驗。
在特定具體實例中,系統可僅校準使用者之眼動範圍平面內之有限數目個觀看位置。換言之,系統可僅產生眼動範圍平面內之有限數目個觀看位置之校正圖。舉例而言,系統可僅校準眼動範圍之中心位置及四個拐角位置。系統可內插自眼動範圍平面445A及445C選擇之對應校正圖以(基於準確適眼距444)為眼動範圍平面445B之中心觀看位置及眼動範圍平面445B之四個拐角產生校正圖。系統可將此等產生校正圖載入至頭戴式耳機中並此等所產生校正圖儲存至記憶體儲存器中。在運行時間,系統可使用眼睛追蹤系統來量測使用者眼睛在眼動範圍平面445B內之(X, Y)位置。然後,系統可基於使用者眼睛在眼動範圍平面445B內之所量測(X, Y)位置及對應於眼動範圍平面445B之中心點及四個拐角的校正圖而產生定製校正圖。舉例而言,系統可基於使用者眼睛在眼動範圍平面445B內之所量測(X, Y)位置藉由內插對應於眼動範圍平面445B之中心點及四個拐角之校正圖來產生使用者之眼睛之定製校正圖。在特定具體實例中,系統可使用準確適眼距值來判定校正圖之3D曲面擬合。在特定具體實例中,眼動範圍平面445B內經校準之觀看位置子組可基於使用者之眼距(IPD,亦即,使用者之眼睛之瞳孔之間的距離)、最大眼睛旋轉,及由於滑動所致之垂直偏置而進行選擇。在特定具體實例中,此運行時間校準程序可基於直接內插校正圖。在特定具體實例中,此運行時間校準程序可基於在預定距離處內插預定傳輸圖而非校正圖。
在特定具體實例中,系統可藉由基於使用者之回饋而無需使用裝置上眼睛追蹤系統而內插預定校正圖來產生最佳定製校正圖。舉例而言,系統可使用兩步手動校準程序來藉由向使用者顯示之一個或多個虛擬滑塊基於使用者之即時回饋而產生使用者之定製校正圖。頭戴式耳機可載入有記憶體中之相同預定校正圖矩陣(例如,N×9×7預定校正圖)。在運行時間,對於第一步驟手動校準程序,系統可向使用者顯示第一虛擬滑塊以允許使用者設置並試用初始適眼距距離值。第一虛擬滑塊可具有對應於如由最小適眼距值及預定校正圖之最大適眼距值所判定之範圍的適眼距值的控制範圍。使用者可控制第一虛擬滑動件之滑桿來選擇由頭戴式耳機支援之任何適眼距值及預產生校準資料。基於藉由第一虛擬滑塊之使用者之輸入,系統可選擇兩個預定觀看位置,使用者之選定觀看位置落於該兩個預定觀看位置之間。然後,系統可自記憶體儲存器擷取與此等兩個預定觀看位置相關聯之對應兩個校正圖,並藉由內插兩個選定校正圖來產生定製校正圖。在此程序期間,系統可嘗試對應於不同預定視圖距離的不同校正圖來判定使用者之所估計適眼距。在使用者之藉由第一虛擬滑塊之即時回饋的情況下,系統可不斷重新產生定製校正圖以校正顯示影像並不斷更新如由新產生校正圖所校正之顯示影像,直至使用者看到最佳顯示品質。
在特定具體實例中,在系統判定兩個預定校正圖之內插在對應於鄰近觀看位置之所有校正圖組合當中向使用者提供最佳顯示品質之後,系統可進一步顯示第二虛擬滑塊以允許使用者基於在第一步程序期間選定的兩個鄰近觀看位置而進一步微調所估計適眼距值。第二虛擬滑塊可具有對應於兩個鄰近觀看位置之適眼距值之控制範圍。換言之,第二虛擬滑塊可僅允許使用者調整在在第一步驟期間已判定之適眼距範圍內之所估計適眼距。基於使用者之即時輸入,系統可不斷重新產生定製校正圖並使用新產生的校正圖來校正正在顯示之影像。系統可重複此程序,直至使用者看到關於顯示影像之最佳顯示品質。藉由使用兩步手動校準程序,系統可產生針對使用者之適眼距的定製校正圖並向使用者提供最佳顯示品質。在特定具體實例中,系統可使用單個虛擬滑塊來藉由迭代程序基於使用者之即時輸入而判定定製校正圖。
在特定具體實例中,系統可向使用者顯示虛擬滑塊,虛擬滑塊影響一組壓縮基底向量的前向或向後傳播(對應於來自標稱位置之波導圖)來判定使用者之當前眼睛位置之校正圖。傳播可藉由在Z方向上跨基底向量之內插來實現。系統可判定原理因素及係數(例如,基底向量中),該等原理因素及係數可表示預產生校正圖,並在Z方向上對此等因素及係數執行內插以判定使用者之定製校正圖。減壓可藉由計算線性重建基底向量來執行。系統可首先將RGB色彩空間中之波導圖(例如,傳輸圖或校正圖)轉換為RCbCr色彩空間並使用包括此等因素及係數之基底向量來表示YCbCr色彩空間中呈壓縮形式之校正圖。然後,系統可對基底向量執行內插,以判定定製校正圖並將其轉換為RGB色彩空間。系統可即時重新產生定製校正圖,並使用新重新產生的定製校正圖來當使用者正調整虛擬滑塊時調整正顯示之影像,直至使用者看到最佳顯示效果。在特定具體實例中,可針對9×7眼動範圍位置中之各者重複程序或替代地子組位置可經選擇以匹配於使用者之IPD、最大眼睛旋轉或/及由於滑動所致之垂直偏置。
作為一實例且非藉由限制方式,替代內插傳輸圖或校正圖,系統可使用基本函數(例如,主分量、壓縮時間更新、設定基本因素及係數)來表示傳輸圖或校正圖,及內插基本函數,此為用以表示圖並執行內插操的更高效方式。系統可使用基本因素來表示波導圖(例如,傳輸圖或校正圖)。基底向量可為線性,且可用於重建波導圖。可由於其線性內插基底向量之因素及係數。對於各Z位置,系統可設置基本函數及係數以表示該組對應波導圖。術語「波導圖」可係指「波導傳輸圖」或「波導校正圖」。然後,系統可使用基本因素及係數進行內插而非直接對波導圖進行操作。在特定具體實例中,波導圖可處於低空間頻率。且,由於低頻空間,系統可高效地執行YCbCr轉換並表示YCbCr色彩空間中之圖。在內插完成之後,系統可將內插結果轉換回至RGB色彩空間。藉由將RGB波導圖轉換為YCbCr圖,系統可執行內插並將資料更高效地儲存在YCbCr色彩空間中。因此,替代使用RBG版本波導圖,系統可將YCbCr版本波導圖用於效率目的。系統可使用基本因素來實現第一壓縮比並實現除了由於YCbCr表示所致之第一壓縮比之外的第二壓縮比。替代對正常校正/傳輸圖進行操作,系統可使用壓縮技術以使程序更高效。在特定具體實例中,系統可使用用於產生基底向量之任何可詢問壓縮程序。
作為波導校正圖壓縮的另一實例,用於以壓縮產生校正圖的系統、程序、方法及原理的細節在於2021年3月29日提出申請之標題為「Waveguide Correction Map Compression」的美國專利申請案第17,216,495號中進行描述,該美國專利申請案以引用的方式併入本文中。在特定具體實例中,系統可校正欲使用基於以下各項產生之校正圖來顯示之影像:(1)如使用眼睛追蹤系統所判定之當前眼球位置;及(2)時間濾波器及用於校正先前圖框之先前校正圖。作為一實例且非藉由限制方式,用於基於如使用眼睛追蹤系統及濾波先前校正圖的時間濾波器所判定之當前眼睛位置而產生校正圖之系統、程序、方法及原理的細節在於2020年7月1日提出申請之標題為「Dynamic Uniformity Correction」之美國專利申請案第16,917,025號中進行描述,該美國專利申請案以引用方式併入本文中。
在特定具體實例中,系統可產生用於使用光場渲染來校正顯示器之非均勻性的定製校正圖。舉例而言,系統可使用傳播方法來判定校正圖,該校正圖用於基於特定適眼距(例如,標稱距離)處之預定校準資料(例如,傳輸圖)根據使用者之眼睛位置(X, Y, Z)來校正顯示器之非均勻性。系統可預先量測多個預定眼睛位置處之波導傳輸圖,該多個預定眼睛位置可位於對應於標稱適眼距之平面上。此預先量測可在運送產品之前在製造廠校準程序期間進行。系統可將此等預先量測之傳輸圖儲存在記憶體儲存器中。在運行時間,系統可首先判定使用者在包括適眼距之3D空間中之眼睛位置。然後,系統可使用傳播方法(例如,亦參考基於光場渲染之射線追蹤方法或射線光學器件方法)來判定使用者之當前眼睛位置的波導傳輸圖。
在特定具體實例中,系統可在距顯示波導之標稱距離處在觀看位置陣列處量測顯示波導之傳輸圖並將預先量測傳輸圖儲存在記憶體儲存器中。各傳輸可表徵如自對應觀看位置所觀看的顯示波導之傳輸字元。傳輸字元可與顯示波導之非均勻性傳輸字元相關聯。舉例而言,傳輸圖可表徵如自相關聯觀看位置所觀看的各特定角度處之光強度下降。稍後在運行時間,系統可基於在標稱距離處量測之所儲存傳輸圖而產生定製校正圖(而無需量測及儲存多個距離上之3D量測資料)。對顯示影像之校正或調整可係按像素,且校正可包括欲顯示之影像之各像素的縮放因數。因為顯示波導可在不同色彩通道中具有不同傳輸字元,系統可產生欲顯示之影像之各色彩通道的校正圖,並使用各別校正圖來單獨調整影像之不同色彩通道之像素值。
5A說明基於光場渲染原理使用射線光學器件來產生校正圖的實例程序500A。在特定具體實例中,系統可使用傳播方法來基於在位於距顯示器標稱適眼距處之觀看位置陣列處所量測之多個預定傳輸圖而判定定製校正圖。作為一實例且非藉由限制方式,如在圖5A中所示,系統可使用一組預先量測傳輸圖來判定使用者之當前眼睛位置521的當前傳輸圖(例如,使用射線追蹤方法)。該組預先量測傳輸圖可對應於位於至顯示波導510標稱距離511處之參考平面507上之陣列觀看位置(例如,501、502、503、504、505等)。各傳輸圖可將波導傳輸字元表徵為如自對應觀看位置所觀看的波導傳輸字元。在製造校準程序期間,系統可預先量測標稱適眼距511處之多個預定位置處之波導之傳輸圖。為判定預定觀看位置(例如,501、502、503、504、505)之傳輸圖,系統可致使波導發射具有均勻亮度之已知光譜範圍之光並量測在彼特定視點處接收之光亮度以判定波導之傳輸映射。因此,基於此類量測而判定之傳輸圖可表徵如自各別觀看位置所觀看的(不同波導位置之)波導之傳輸非均勻性。系統可將傳輸圖陣列載入至頭戴式耳機中並將此等傳輸圖儲存在記憶體儲存器中供稍後使用。
在運行時間,系統可使用傳播方法來基於所儲存傳輸圖而判定使用者之當前眼睛位置521之傳輸圖及校正圖。在特定具體實例中,傳播方法可包括將多個射線(例如,512、513、514、515、516,等)自使用者之眼睛位置521投射至波導510之顯示平面。一些射線可通過用於捕獲預先捕獲之傳輸映射的觀看位置(例如,512、513、514、515、516)。一些射線(例如,517)可落在用於捕獲預先捕獲之傳輸映射的一組觀看位置(例如,兩個、三個或四個觀看位置)之間。系統可藉由對如由預先量測傳輸圖表示之光場進行採樣來判定使用者之當前眼睛位置的傳輸圖。作為實例且非藉由限制方式,對於通過預定觀看位置之射線(例如,通過觀看位置501之射線512),沿著彼方向之對應光強度(具有傳輸字元且因此顯示傳輸非均勻性字元)應在(眼睛位置521之)當前傳輸圖及對應於彼觀看位置(例如,501)之預先量測傳輸地圖中相同。換言之,系統可基於對應於射線(例如,512)通過之觀看位置(例如,501)之預先捕獲傳輸圖中之相同方向之資訊(例如,光強度、顯示傳輸字元、顯示傳輸非均勻性字元)而判定沿著射線512之此射線方向之光強度(顯示傳輸字元及因此顯示非均勻性字元)。
5B說明用於使用雙線性內插來判定沿著落於四個預定觀看位置之間的投射射線的顯示傳輸字元的實例程序500B。在特定具體實例中,對於落在用於量測預定傳輸圖之四個預定觀看位置之間的射線,系統可使用雙線性內插程序來基於如自四個預定觀看位置處相同方向之四個光強度(包括顯示傳輸字元、顯示傳輸非均勻性字元)而判定沿著彼射線方向之光強度(包括顯示傳輸字元,顯示傳輸非均勻字元)。作為一實例且非藉由限制方式,如在圖5B中所示,系統可需要判定使用者之眼睛位置531之校正圖。系統可自儲存器存取量測平面530上之觀看位置陣列(例如,533、534、535、536等)量測之傳輸圖陣列,量測平面可位於距波導539之顯示平面標稱距離處。系統可將多個射線自使用者之眼睛位置531投射或投影至波導539。一些投射射線可通過預定觀看位置(例如,射線512及513分別穿過圖5A中之觀看位置501及502)。一些投射射線可落在由四個預定觀看位置封圍之區中。舉例而言,射線532與量測平面的交點547可落在由四個預定觀看位置533、534、535及536封圍之區中。
在特定具體實例中,系統可自沿著平行於射線532之方向的方向的各別預定觀看位置533、534、535及536判定四個光強度向量543、544、545及546。換言之,光強度向量543、544、545及546可平行於射線532之方向。假設已知光源(例如,特定光譜之均勻光源)或已知影像用於量測,光強度資訊可包括(例如,來自波導539之)顯示器之顯示傳輸字元及顯示傳輸非均勻性字元。系統可使用雙線性內插程序來基於對應於四個預定觀看位置533、534、535及536的四個光強度向量543、544、545及546而判定光強度(及顯示傳輸字元、顯示傳輸非均勻性字元)。換言之,對於各所投射射線,系統可基於沿著封圍所投射射線與量測平面的交點的各別四個觀看位置量測之四個預定傳輸圖的彼射線方向之對應傳輸字元及傳輸非均勻性字元而判定沿著相同方向之傳輸字元及傳輸非均勻性字元。因此,系統可基於四個預先量測之傳輸圖而判定當前眼睛位置531之當前傳輸圖。當前傳輸圖可準確描述如自使用者之眼睛位置531所觀看的波導之顯示傳輸非均勻性字元。然後,系統可基於當前傳輸圖產生校正圖並使用校正圖來補償欲在將此等像素值輸出至顯示器之前顯示之影像之像素值。因此,顯示傳輸非均勻性可得以有效校正,且系統可為使用者提供最佳顯示品質。
5C說明用於使三個座標X、Y及Z相關的實例程序500C。作為一實例且非藉由限制方式,系統可具有對應於θ角度551的兩倍的視野。假設系統具有標稱適眼距處之校正所需要之瞳孔位置的(X, Y)精度規範(例如,給定(X, Y)精度規範,以mm為單位),系統可使用以下方程式計算在波導處導致相同偏移K的適眼距的改變: (1) 為重建Z偏離量測平面的影像(例如,傳輸圖),系統可使用來自許多影像之資料(例如,傳輸圖)。為渲染新適眼距,系統可自新適眼距處之眼睛位置將射線傳播至量測平面。如由(U, V)座標表示之射線角度可不改變,且投射射線之交點之(X, Y)位置可使用方程式(1)與Z距離相關。由於(U, V)座標不改變,系統可始終具有具有完全相同角度之射線(例如,影像中之相同位置處之像素)。量測平面處之(X, Y)交點可位於量測平面上之量測位置之間,且可用於雙線性內插以判定沿著彼等射線方向之傳輸字元及傳輸非均勻性字元。
因此,系統可藉由僅量測並儲存一個適眼距處之資料的同時表示瞳孔眼動範圍體積上之顯示傳輸非均勻性來減少量測時間及資料儲存利用率。主要運行時間成本可基於所追蹤射線的數目。系統可使用光場渲染方法,且可捕獲、儲存及傳輸更少資料來在大量瞳孔位置上進行模擬。舉例而言,單個平面處之(X, Y)掃描可為約400 MB。在更高適眼距處,像素可對向波導上之較大區域且系統可在較高適眼距處重採樣之前捕獲更靠近於波導及低通濾波。對於量測程序,系統可對位測試器(U, V)及(X, Y, Z)軸線,並可增加掃描範圍以捕獲所有需要的射線。系統可在更接近於波導之距離處進行量測,以實現較高空間解析度。
在特定具體實例中,系統可首先使用眼睛追蹤系統來判定對使用者當前適眼距的粗略估計。眼睛追蹤系統在判定使用者之適眼距方面可能並非極其準確。系統可基於眼睛追蹤系統之精度及精密度位準而判定使用者之當前適眼距的估計範圍。系統可成初始定製校正圖以用於調整顯示影像,以校正顯示非均勻性並向使用者顯示如藉由初始校正圖調整之影像。然後,系統可向使用者顯示虛擬滑塊或其他互動式元素,以允許使用者提供有關如藉由校正圖校正之顯示影像之品質的即時回饋。虛擬滑塊可對應於使用者之適眼距的調整範圍,該調整範圍對應於如基於眼睛追蹤資料而判定之使用者之當前適眼距之估計範圍。使用者可與虛擬滑塊互動以指示使用者之當前適眼距的調整量及調整方向。系統可藉由虛擬滑塊基於即時使用者輸入而調整使用者之估計適眼距。基於假定使用者之(X, Y)眼睛位置或基於由眼睛追蹤系統所量測之使用者之(X, Y)眼睛位置,系統可使用標稱距離Z處之預先量測傳輸圖,以使用光場渲染來產生使用者之當前適眼距之(X, Y, Z j)之合成傳輸圖。眼睛位置(X, Y, Z j)之合成傳輸圖可用於產生眼睛位置(X, Y, Z j)之校正圖,該校正圖又用於校正顯示影像。系統可基於經調整估計適眼距而不斷產生新校正圖並使用新產生校正圖以即時調整顯示影像,直至使用者看到最佳顯示結果。因此,顯示非均勻性可得到有效校正,且系統可僅需要儲存對應於單個適眼距之預先量測資料。在特定具體實例中,系統可假設使用者之適眼距將回應於使用者之在2D平面中之眼睛位置改變而不改變且可僅重新產生校正圖。在特定具體實例中,系統可假設使用者之眼睛位置可在3D空間(包括適眼距)中改變並可重新產生對使用者在3D空間中之眼睛位置改變的校正圖回應。
在特定具體實例中,系統可首先判定對使用者之適眼距距離進行初始估計,以提供起始點。使用者之適眼距之起點可為預設距離值、平均距離值、經驗值等。系統可使用如上文所描述之傳播方法基於初始適眼距而產生初始傳輸圖。然後,系統可基於初始傳輸圖而產生初始校正圖並使用初始校正圖來調整顯示影像。因為對使用者之適眼距的初步估計可並非極其準確,所以使用初始校正圖的系統之顯示品質可並非最佳的。在特定具體實例中,系統可向使用者顯示虛擬滑塊,以允許使用者為使用者之眼睛規定候選Z j距離(而無需使用眼睛追蹤系統)。基於使用者之眼睛的假定(X, Y)位置或基於使用眼睛追蹤系統所量測之使用者眼睛之(X, Y)位置,系統可使用標稱距離Z處之預捕獲傳輸圖,以使用光場渲染來產生眼圖位置(X, Y, Z j)之當前傳輸圖。眼睛位置(X, Y, Z j)之合成傳輸圖可用於產生眼睛位置(X, Y, Z j)之校正圖,該校正圖又用於校正顯示影像。然後,系統可基於使用者之即時回饋而調整使用者之所估計適眼距並可即時不斷更新傳輸圖及校正圖(例如,對於不同Z距離及不同(X, Y)眼睛位置,對於具有相同(X, Y)眼睛位置之不同Z距離),直至使用者看到最佳顯示結果。系統可對9×7個眼動範圍位置中之各者重複此程序或可僅對一子組眼動範圍位置重複此程序。因此,顯示非均勻性可得到有效校正,且系統可僅需要儲存對應於單個適眼距之預先量測資料。在特定具體實例中,系統可假設使用者之適眼距將回應於使用者之在2D平面中之眼睛位置改變而不改變且可僅重新產生校正圖。在特定具體實例中,系統可假設使用者之眼睛位置可在3D空間(包括適眼距)中改變並可重新產生對使用者在3D空間中之眼睛位置改變的校正圖回應。
在特定具體實例中,使用者可具有不同的適眼距及不同表面,在該等表面上其瞳孔在凝視顯示器時移動。系統可產生特定於使用者之眼球位置及形狀的非均勻性校正圖。因為使用者之瞳孔在表面上行進,所以參數化可為2D且系統可判定凝視角度或瞳孔(X, Y)座標的函數以進行即時校正。在特定具體實例中,系統可僅需要來自一個適眼距之資料。系統可具有關於更新用於校正顯示影像的傳輸圖及校正圖的時間的不同選項(例如,在頭戴式耳機購買時,在裝配程序期間,在眼睛追蹤較准程序,在發生上述情況的條件下裝置滑動時間,等)。在特定具體實例中,針對Z距離的該組預先量測傳輸圖可與多個(X, Y)位置相關聯,類似於光場。舉例而言,可存在對應於10×10或9×7(X, Y)位置陣列的10×10或9×7預先量測傳輸圖陣列。
在特定具體實例中,系統可產生各使用者的固定Z距離的一組校正圖,此在量測Z中存在顯著不確定性時有用。系統可假設一旦使用者戴上頭戴式耳機,使用者之適眼距將不會改變。在一些其他具體實例中,系統可假設使用者之眼睛位置可在3D空間(包括適眼距)中改變。系統可使用即時眼睛追蹤來判定3D空間中之使用者之眼睛位置(假設眼睛追蹤系統能夠足夠準確地量測使用者之Z距離)並使用內插方法或光場渲染來基於使用者之3D眼睛位置而判定各圖框之當前定製校正圖。換言之,系統可不具有明確的校準階段,且可不需要產生特定於特定適眼距的校準。相反,系統可根據原始資料且針對各圖框工作,以針對使用者之當前3D眼睛位置而計算校正圖。此具體實例可產生最準確校正圖,但可在計算及記憶體使用方面相對昂貴。
6說明用於使用預定校正圖來產生定製校正圖以校正顯示非均勻性的實例方法600。方法可在步驟610開始,其中計算系統可基於眼睛追蹤系統而判定使用者之眼睛至顯示器之顯示平面的估計距離。在步驟620,系統可存取對應於至顯示器之顯示平面的多個參考距離的多個校正圖。在步驟630,系統可基於估計距離而自參考距離選擇第一參考距離及第二參考距離。在步驟640,系統可基於內插對應於第一參考距離之第一校正圖及對應於第二參考距離之第二校正圖而產生使用者之定製校正圖。在步驟650,系統可使用定製校正圖來調整欲在顯示器上顯示之影像。定製校正圖可校正如自使用者之眼睛所觀看的顯示器之非均勻性。在步驟660,系統可在顯示器上顯示使用定製校正圖調整之影像。
在特定具體實例中,可基於使用者之眼睛至顯示平面的估計距離落在如由第一參考距離及第二參考距離所判定之距離範圍內的判定而選擇第一參考距離及第二參考距離。在特定具體實例中,可基於如自參考距離所觀看的顯示器之非均勻性字元而判定校正圖。在特定具體實例中,系統向使用者顯示顯示器上之互動式元素。系統可藉由使用者與互動式元素的互動而接收使用者輸入。系統可基於第一校正圖、第二校正圖及使用者輸入而產生後續定製校正圖。系統可使用後續定製校正圖來調整欲在顯示器上顯示之影像。系統可在顯示器上顯示使用後續定製校正圖調整之影像。
在特定具體實例中,使用者輸入可包括使用者之眼睛至顯示器之顯示平面的估計距離的調整量及調整方向。在特定具體實例中,系統可藉由使用調整量及調整方向來調整估計距離而判定使用者之眼睛之後續估計距離。基於後續估計距離、第一參考距離及第二參考距離而藉由內插第一校正圖及第二校正圖來判定後續定製校正圖。在特定具體實例中,系統可判定至顯示器之顯示平面之後續估計距離處之平面上之多個觀看位置。系統可產生針對觀看位置中之各觀看位置的校正圖。與該等觀看位置中之觀看位置相關聯的校正圖可校正如自彼觀看位置所觀看的顯示器的非均勻性。
在特定具體實例中,系統可判定後續估計距離處之平面上使用者之眼睛的2D位置。系統可基於眼睛之2D位置落在由四個觀看位置封圍之區內的判定而選擇對應於四個觀看位置之四個校正圖。系統可基於選定四個校正圖而判定用於校正顯示器之非均勻性的經改良定製校正圖。在特定具體實例中,顯示器可包括用於將光耦合至使用者之眼睛中以進行光場渲染的一個或多個波導。在特定具體實例中,校正圖可基於用於將光耦合至參考距離處的使用者之眼睛的一個或多個波導之非均勻性字元。
特定具體實例可在適當的情況下重複圖6之方法之一個或多個步驟。儘管本揭示內容將圖6之方法之特定步驟闡述及圖解說明為以一特定次序發生,但本發明預期圖6之方法之任何適合步驟以任何適合次序發生。此外,儘管本揭示內容描述並說明包括圖6之方法的特定步驟的用於使用預定校正圖來產生定製校正圖來校正顯示非均勻性的實例方法,但本揭示內容預期包括任何合適的步驟的用於使用預定校正圖來產生定製校正圖以校正顯示非均勻性的任何合適方法,該方法在適當的情況下可包括圖6之方法的全部、一些步驟或不包括任何步驟。此外,雖然本發明闡述及圖解說明實施圖6之方法之特定步驟之特定組件、裝置或系統,但本發明預期實施圖6之方法之任何適合步驟之任何適合組件、裝置或系統之任何適合組合。
7說明用於使用光場渲染來產生定製校正圖以校正顯示非均勻性的實例方法700。方法可在步驟710開始,其中計算系統可判定使用者之眼睛至顯示器之顯示平面的估計距離。在步驟720,系統可自記憶體儲存器存取多個傳輸圖,該等傳輸圖表徵如自量測平面內之多個預定觀看位置所量測的顯示器之非均勻傳輸字元。該量測平面可與該顯示平面分開一已知距離。在步驟730,系統可基於使用光場渲染的傳輸圖而為眼睛之估計距離產生定製傳輸圖。在步驟740,系統可基於定製傳輸圖而判定定製校正圖。在步驟750,系統可使用定製校正圖來調整欲在顯示器上顯示之影像。在760,系統可在顯示器上顯示使用定製校正圖調整之影像。
在特定具體實例中,使用者之眼睛之估計距離可對應於使用者之眼睛之估計觀看位置。在特定具體實例中,可基於如自如傳輸圖中之對應傳輸圖中所表徵的預定觀看位置中之預定觀看位置所觀看沿著一方向的對應非均勻傳輸字元而判定如自估計觀看位置所觀看且在定製傳輸圖中表徵的沿著彼方向之顯示器之非均勻傳輸字元。在特定具體實例中,可基於如自預定觀看位置中之四個預定觀看位置所觀看的四個非均勻傳輸字元而判定如自估計觀看位置所觀看且在定製傳輸圖中表徵的沿著方向之顯示器之非均勻傳輸字元。可在傳輸圖中之四個傳輸圖中捕獲四個非均勻傳輸字元。在特定具體實例中,可基於如自四個預定觀看位置所量測的四個傳輸圖之雙線性內插而判定如自估計觀看位置所觀看的顯示器之定製傳輸圖。
在特定具體實例中,可基於眼睛追蹤系統而判定使用者之眼睛之估計距離。在特定具體實例中,可基於使用者輸入而判定使用者之眼睛之估計距離。在特定具體實例中,系統可接收關於顯示影像的使用者輸入。系統可基於使用者輸入及傳輸圖而產生後續定製校正圖。系統可使用後續定製校正圖調整影像。系統可在顯示器上向使用者顯示使用後續校正圖調整之影像。在特定具體實例中,可藉由使用者與在顯示器上向使用者顯示之互動式元素的互動來接收使用者輸入。在特定具體實例中,在顯示器上向使用者顯示之互動式元素可為虛擬滑塊。在特定具體實例中,使用者輸入可包括使用者之眼睛至顯示平面的估計距離的調整距離及調整方向。
在特定具體實例中,後續定製校正圖可對應於使用者之眼睛至顯示平面的後續估計距離。可基於調整距離、調整方向,及使用者之眼睛至顯示平面的估計距離而判定使用者之眼睛之顯示平面的後續估計距離。在特定具體實例中,可藉由使用者藉由控制器或音訊輸入與計算系統的互動來接收使用者輸入。在特定具體實例中,顯示器可包括用於將光耦合至使用者之眼睛中以進行光場渲染的一個或多個波導。在特定具體實例中,傳輸圖可表徵用於將光耦合至不同波導位置處之使用者之眼睛的一個或多個波導之非均勻傳輸字元。在特定具體實例中,系統可基於傳輸圖而判定多個校正圖。系統可將此等校正圖自RGB色彩空間轉換為RCbCr空間。系統可判定表示校正圖之基底向量之數目。各基底向量可包括一個或多個係數。
在特定具體實例中,系統可基於使用者之眼睛與顯示平面之後續眼睛距離藉由內插基底向量來判定後續定製校正圖。系統可將後續定製校正圖自RCbCr空間轉換至RGB空間。系統可使用轉換為RGB空間之後續定製校正圖來調整欲在顯示器上向使用者顯示之後續影像。在特定具體實例中,系統可判定至顯示器平面之估計距離處之平面上之多個觀看位置之多個定製校正圖。系統可基於估計眼睛位置、眼睛位置及校正圖而判定經改良定製校正圖。系統可使用經改良定製校正圖來調整影像。
特定具體實例可在適當的情況下重複圖7之方法之一個或多個步驟。儘管本揭示內容將圖7之方法之特定步驟闡述及說明為以特定次序發生,但本揭示內容預期以任何合適次序發生之圖7之方法之任何合適步驟。此外,儘管本揭示內容描述並說明包括圖7之方法的特定步驟的用於產生定製校正圖來校正顯示非均勻性的實例方法,但本揭示內容預期包括任何合適的步驟的用於使用光場渲染來產生定製校正圖以校正顯示非均勻性的任何合適方法,該方法在適當的情況下可包括圖7之方法的全部、一些步驟或不包括任何步驟。此外,雖然本發明闡述及圖解說明實施圖7之方法之特定步驟之特定組件、裝置或系統,但本發明預期實施圖7之方法之任何適合步驟之任何適合組件、裝置或系統之任何適合組合。
8說明實例性電腦系統800。在特定具體實例中,一個或多個電腦系統800執行本文中所闡述或所說明之一個或多種方法之一個或多個步驟。在特定具體實例中,一個或多個電腦系統800提供本文中所闡述或所說明之功能性。在特定具體實例中,在一個或多個電腦系統800上運行之軟體執行本文中所描述或所說明之一種或多種方法之一個或多個步驟或提供本文中所描述或所說明之功能性。特定具體實例包括一個或多個電腦系統800之一個或多個部分。本文中,在適當的情況下,對電腦系統的引用可囊括計算裝置,且反之亦然。此外,在適當的情況下,對電腦系統的引用可囊括一個或多個電腦系統。
本揭示內容預期任何合適數目的電腦系統800。本揭示內容預期採用任何合適的實體形式的電腦系統800。作為實例且非藉由限制方式,電腦系統800可為嵌入式電腦系統、片上系統(SOC)、單板電腦系統(SBC)(諸如例如,模組上電腦(COM)或模組上系統(SOM))、桌上型電腦系統、膝上型或筆記型電腦系統、互動式資訊亭、主機、電腦系統網格、行動電話、個人數位助理(PDA)、伺服器,平板電腦系統、增強/虛擬實境裝置或其中兩者或多於兩者的組合。在適當的情況下,電腦系統800可包括一個或多個電腦系統800;係單一式或分佈式;跨越多個位置;跨越多個機器;跨越多個資料中心;或駐留在雲端中,其可包括一個或多個網路中之一個或多個雲端組件。在適當的情況下,一個或多個電腦系統800可在無實質空間或時間限制之情況下執行本文中所描述或所說明之一種或多種方法之一個或多個步驟。作為一實例且並非以限制方式,一個或多個電腦系統800可即時地或以批次模式執行本文中所描述或所說明之一種或多種方法之一個或多個步驟。在適當的情況下,一個或多個電腦系統800可在不同時間或在不同位置處執行本文中所描述或所說明之一種或多種方法之一個或多個步驟。
在特定具體實例中,電腦系統800包括處理器802、記憶體804、儲存器806、輸入/輸出(I/O)介面808、通信介面810及匯流排812。儘管本揭示內容描述並說明呈特定配置之具有特定數目個特定組件之特定電腦系統,本揭示內容預期呈任何合適配置之具有任何合適數目個任何合適組件之任何合適電腦系統。
在特定具體實例中,處理器802包括用於執行指令(諸如構成電腦程式的彼等指令)的硬體。作為一實例且非藉由限制方式,為執行指令,處理器802可自內部暫存器擷取(或提取)指令,內部快取記憶體、記憶體804或儲存器806;解碼並執行該等指令;且然後將一個或多個結果寫入至內部暫存器、內部快取記憶體、記憶體804,或儲存器806。在特定具體實例中,處理器802可包括用於資料、指令或位址之一個或多個內部快取記憶體。在適當的情況下,本揭示內容預期包括任何適合數目個任何適合內部快取記憶體之處理器802。作為實例且不藉由限制性,處理器802可包括一個或多個指令快取記憶體、一個或多個資料快取記憶體以及一個或多個轉換旁看緩衝器(TLB)。指令快取記憶體中之指令可為記憶體804或儲存器806中之指令之複本,且指令快取記憶體可加速由處理器802進行之此等指令的擷取。資料快取記憶體中之資料可為記憶體804或儲存器806中之資料的複本,以供在處理器802處執行進行操作的指令;在處理器802處執行以供在處理器802處執行的後續指令進行存取或寫入至記憶體804或儲存器806的先前指令的結果;或其他合適的資料。資料快取記憶體可加速由處理器802進行之讀取或寫入操作。TLB可加速用於處理器802之虛擬-位址轉譯。在特定具體實例中,處理器802可包括用於資料、指令或位址之一個或多個內部暫存器。在適當的情況下,本揭示內容預期包括任何合適數目個任何合適的內部暫存器的處理器802。在適當的情況下,處理器802可包括一個或多個算術邏輯單元(ALU);為多核心處理器;或包括一個或多個處理器802。儘管本揭示內容描述並說明特定處理器,但本揭示內容預期任何合適處理器。
在特定具體實例中,記憶體804包括主記憶體,其用於儲存處理器802執行的指令或處理器802進行操作的資料。作為實例而非藉由限制方式,電腦系統800可將指令自儲存器806或另一源(諸如例如,另一電腦系統800)載入至記憶體804。處理器802然後可將指令自記憶體804載入至內部暫存器或內部快取記憶體。為了執行指令,處理器802可自內部暫存器或內部快取記憶體擷取指令並對其進行解碼。在執行指令期間或之後,處理器802可將一個或多個結果(其可為中間或最終結果)寫入至內部暫存器或內部快取記憶體。處理器802然後可將彼等結果中之一者或多者寫入至記憶體804。在特定具體實例中,處理器802僅執行一個或多個內部暫存器或內部快取記憶體中或記憶體804中之指令(如與儲存器806或別處相反),且僅對一個或多個內部暫存器或內部快取記憶體中或記憶體804中之資料進行操作(如與儲存器806或別處相反)。一個或多個記憶體匯流排(其可各自包括位址匯流排及資料匯流排)可將處理器802耦合至記憶體804。匯流排812可包括一個或多個記憶體匯流排,如下文所闡述。在特定具體實例中,一個或多個記憶體管理單元(MMU)駐留在處理器802與記憶體804之間,且有助於存取由處理器802所請求之記憶體804。在特定具體實例中,記憶體804包括隨機存取記憶體(RAM)。在適當的情況下,此RAM可為揮發性記憶體。在適當的情況下,此RAM可為動態RAM(DRAM)或靜態RAM(SRAM)。此外,在適當的情況下,此RAM可為單埠或多埠RAM。本揭示內容預期任何合適RAM。在適當的情況下,記憶體804可包括一個或多個記憶體804。儘管本揭示內容描述並說明特定記憶體,但本揭示內容預期任何合適記憶體。
在特定具體實例中,儲存器806包含用於資料或指令的大容量儲存器。作為實例且不作為限制,儲存器806可包括硬碟機(HDD)、軟碟機,快閃記憶體、光碟、磁光碟、磁帶或通用串列匯流排(USB)硬碟機或此等中之兩者或多於兩者的組合。在適當的情況下,儲存器806可包括可抽換或不可抽換(或固定)媒體。在適當的情況下,儲存器806可在電腦系統800之內部或外部。在特定具體實例中,儲存器806為非揮發性、固態記憶體。在特定具體實例中,儲存器806包括唯讀記憶體(ROM)。在適當的情況下,此ROM可為遮罩程式化ROM、可程式化ROM(PROM)、可抹除PROM(EPROM)、電可抹除PROM(EEPROM)、電可替換ROM(EAROM)或快閃記憶體,或此等中之兩者或多於兩者的組合。本揭示內容預期採取任何適當實體形式的大容量儲存器806。在適當的情況下,儲存器806可包括一個或多個有助於處理器802與儲存器806之間通信的儲存控制單元。在適當的情況下,儲存器806可包括一個或多個儲存器806。儘管本揭示內容描述並說明特定儲存器,但本揭示內容預期任何合適儲存器。
在特定具體實例中,I/O介面808包括硬體、軟體或兩者,為電腦系統800與一個或多個I/O裝置之間的通信提供一個或多個介面。在適當的情況下,電腦系統800可包括此等I/O裝置中之一者或多者。此等I/O裝置中之一者或多者可實現人與電腦系統800之間的通信。作為一實例且非藉由限制方式,I/O裝置可包括鍵盤、小鍵盤、麥克風、監視器、滑鼠、列印機、掃描器、揚聲器、靜態相機、手寫筆、平板電腦、觸控螢幕、軌跡球、視訊攝影機、另一合適I/O裝置或其中兩者或多於兩者的組合。I/O裝置可包括一個或多個感測器。本揭示內容預期任何適合I/O裝置及用於其的任何適合I/O介面808。在適當的情況下,I/O介面808可包括一個或多個裝置或軟體驅動器賦能處理器802以驅動此等I/O裝置中之一者或多者。在適當的情況下,I/O介面808可包括一個或多個I/O介面808。儘管本揭示內容描述並說明特定I/O介面,但本揭示內容預期任何合適I/O介面。
在特定具體實例中,通信介面810包括硬體、軟體或兩者,其提供一個或多個介面以用於電腦系統800與一個或多個其他電腦系統800或一個或多個網路之間的通信(諸如例如,基於封包的通信)。作為實例且非藉由限制性,通信介面810可包括用於與乙太網路或其他基於有線的網路進行通信的網路介面控制器(NIC)或網路適配器,或用於與無線網路(諸如WI-FI網路)進行通信的無線NIC(WNIC)或無線適配器。本揭示內容預期用於其的任何合適的網路及任何合適的通信介面810。作為一實例且並非以限制方式,電腦系統800可與以下各項通信:臨時網路、個人區域網路(PAN)、區域網路(LAN)、廣域網路(WAN)、都會區域網路(MAN)或網際網路之一個或多個部分或此等各項中之兩者或多個兩者之一組合。此等網路中之一者或多者之一個或多個部分可為有線的或無線的。作為實例,電腦系統800可與無線PAN(WPAN)(諸如例如,藍芽WPAN)、WI-FI網路、WI-MAX網路、蜂巢式電話網路(諸如例如,用於全球移動通信系統(GSM)網路),或其他合適的無線網路,或此等中之兩者或多於兩者的組合通信。在適當的情況下,電腦系統800可包括用於此等網路中之任一者的任何適合通信介面810。在適當的情況下,通信介面810可包括一個或多個通信介面810。儘管本揭示內容描述並說明特定通信介面,但本揭示內容預期任何合適通信介面。
在特定具體實例中,匯流排812包括將電腦系統800之組件彼此耦合之硬體、軟體或兩者。作為一實例且非藉由限制方式,匯流排812可包括加速圖形埠(AGP)或其他圖形匯流排、增強型產業標準架構(EISA)匯流排、前端匯流排(FSB)、HYPERTRANSPORT(HT)互連線、產業標準架構(ISA)匯流排、INFINIBAND互連線、低引腳數(LPC)匯流排、記憶體匯流排、微通道架構(MCA)匯流排、周邊組件互連(PCI)匯流排、PCI-Express(PCIe)匯流排,串列進階技術附接(SATA)匯流排、視訊電子標準協會區域(VLB)匯流排,或另一合適匯流排或此等中之兩或多者的組合。在適當的情況下,匯流排812可包括一個或多個匯流排812。儘管本揭示內容描述並說明特定匯流排,但本揭示內容預期任何合適匯流排或互連線。
本文中,在適當的情況下,電腦可讀取非暫時性儲存媒體可包括一個或多個基於半導體或其他積體電路(IC)(諸如例如,場可程式化閘陣列(FPGA)或特殊應用IC(ASIC))、硬碟機(HDD)、混合硬碟機(HHD)、光學光碟、光碟機(ODD)、磁光碟、磁光碟機、軟式磁片、軟磁碟機(FDD)、磁帶、固態磁碟機(SSD)、RAM磁碟機、安全數位卡或磁碟機、任何其他適合電腦可讀取非暫時性儲存媒體,或此等中之兩者或多於兩者之任何適合組合。在適當的情況下,電腦可讀取非暫時性儲存媒體可為揮發性、非揮發性,或揮發性與非揮發性的組合。
本文中,「或」係包含性而非互斥性,除非上下文另有明確指示或另有指示。因此,本文中,「A或B」意指「A、B或兩者」,除非上下文另有明確指示或另有指示。此外,「及」既為聯合的又為各自,除非上下文另有明確指示或另有指示。因此,本文中,「A及B」意指「A及B,聯合地或各自地」,除非上下文另有明確指示或另有指示。
本發明之範圍囊括所屬技術領域中具有通常知識者將理解之對本文中所描述或所說明之實例具體實例之所有改變、替代、變化、更改及修改。本揭示內容之範圍不限於本文中所描述或所說明的實例具體實例。此外,雖然本揭示內容將本文中之各別具體實例闡述及說明為包括特定組件、元件、特徵、功能、操作或步驟,但此等具體實例中之任一者可包括所屬技術領域中具有通常知識者將理解之本文中之任何地方所闡述或所說明之組件、元件、特徵、功能、操作或步驟中之任一者之任何組合或排列。此外,在隨附申請專利範圍中對經調適以、經配置以、能夠、經組態以、經啟用以、可操作以或操作以執行特定功能之設備或系統或設備或系統之組件之提及囊括彼設備、系統、組件,不論其或彼特定功能是否經啟動、接通或解除鎖定,只要彼設備、系統或組件經如此調適、經如此配置、能夠如此、經如此組態、經如此啟用、可如此操作或如此操作即可。另外,儘管本揭示內容描述或說明特定具體實例為提供特定優點,特定具體實例可提供這些優點中之無一者、一些或全部。
100A:人工實境系統 100B:擴增實境系統 100C:架構 100D:圖形管線 102:使用者 104:頭戴式耳機 106:控制器 108:計算系統 110:頭戴式顯示器(HMD) 112:框架 114:顯示器 120:計算系統 130:顯示引擎 131:輸入資料匯流排 132:紋理記憶體 133:變換區塊 134:像素區塊 135:顯示區塊 138:像素 140:顯示系統 142:輸出資料匯流排 142A:顯示驅動器IC(DDI) 142B:顯示驅動器IC(DDI) 142C:顯示驅動器IC(DDI) 144:影像塊/表面對 144A:RGB色彩通道 144B:RGB色彩通道 144C:RGB色彩通道 151:輸入資料 152:可視性步驟 153:重採樣步驟 154:彎曲步驟 155:遞色步驟 156:串列化步驟 157:非均勻性資料 158:錯誤傳播資料 159:顯示資料 200A:掃描波導顯示器 200B:掃描波導顯示器 202:單眼 204:輸出波導 206:解耦元件 210:光源總成 212:光源 214:光學器件系統 216:控制器 218:耦合元件 219:影像光 220:光源 222:光發射器 223:光 224:鏡面 225:軸線 226A:光 226B:光 227:影像場 228:插圖 229:像素位置 300A:2D微型LED波導顯示器 300B:波導結構 302:波導組態 304:解耦區域 306A:耦合區 306B:耦合區 308A:光發射器陣列組 308B:光發射器陣列組 309A:分隔線 309B:分隔線 310:傳播區 318A:頂部表面 318B:底部表面 320A:紅色影像 320B:藍色影像 320C:綠色影像 322:瞳孔複製 330:耦合區 334A:耦合元件 334B:耦合元件 334C:耦合元件 336A:解耦元件 336B:解耦元件 342:波導 350:投影器裝置 352:光發射器 354:支撐結構 400A:程序 400B:程序 400C:程序 401:初始估計適眼距 402:使用者輸入 403:實際適眼距 410:顯示平面 420:預定積分適眼距/預定距離 430:虛擬滑塊 431:滑動桿 440:眼動範圍 441:參考線 444:準確適眼距 445A:眼動範圍平面 445B:眼動範圍平面 445C:眼動範圍平面 446:實際眼睛位置 446B:所量測眼睛位置 447:眼睛位置 500A:程序 500B:程序 500C:程序 501:觀看位置 502:觀看位置 503:觀看位置 504:觀看位置 505:觀看位置 507:參考平面 510:顯示波導 511:標稱距離 512:射線 513:射線 514:射線 515:射線 516:射線 517:射線 520:鏡面 521:當前眼睛位置 530:量測平面 531:眼睛位置 532:射線 533:預定觀看位置 534:預定觀看位置 535:預定觀看位置 536:預定觀看位置 539:波導 543:光強度向量 544:光強度向量 545:光強度向量 546:光強度向量 547:交點 551:θ角度 600:方法 610:步驟 620:步驟 630:步驟 640:步驟 650:步驟 660:步驟 700:方法 710:步驟 720:步驟 730:步驟 740:步驟 750:步驟 760:步驟 800:電腦系統 802:處理器 804:記憶體 806:儲存器 808:輸入/輸出(I/O)介面 810:通信介面 812:匯流排 D1:距離 Z1:預定積分適眼距 Z2:預定積分適眼距 Zn:距離 Zn+1:距離 Zi:距離
[圖1A]說明實境人工實境系統。
[圖1B]說明實例擴增實境系統。
[圖1C]說明顯示引擎之實例架構。
[圖1D]說明用於產生顯示影像資料之顯示引擎之實例圖形管線。
[圖2A]說明實例掃描波導顯示器。
[圖2B]說明掃描波導顯示器之實例掃描操作。
[圖3A]說明實例2D微型LED波導顯示器。
[圖3B]說明2D微型LED波導顯示器的實例波導組態。
[圖4A]說明用於基於初始估計適眼距而產生定製校正圖的實例程序。
[圖4B]說明用於基於使用者之即時回饋而判定定製校正圖的實例程序。
[圖4C]說明用於判定眼動範圍內之位置陣列的一組校正圖的實例程序。
[圖5A]說明基於光場渲染原理使用射線光學器件來產生校正圖的實例程序。
[圖5B]說明使用雙線性內插來判定沿著落於四個預定觀看位置之間的投射射線的顯示傳輸字元的實例程序。
[圖5C]說明用於使三個座標X、Y及Z相關的實例程序。
[圖6]說明用於使用預定校正圖來產生定製校正圖以校正顯示非均勻性的實例方法。
[圖7]說明用於使用光場渲染來產生定製校正圖以校正顯示非均勻性的實例方法。
[圖8]說明實例電腦系統。
700:方法
710:步驟
720:步驟
730:步驟
740:步驟
750:步驟
760:步驟

Claims (20)

  1. 一種方法,其包含藉由一計算系統進行以下操作: 判定一使用者之一眼睛至一顯示器之一顯示平面的一估計距離; 自一記憶體儲存器存取複數個傳輸圖,該複數個傳輸圖表徵如自一量測平面內之複數個預定觀看位置所量測的該顯示器之非均勻傳輸字元,該量測平面與該顯示平面分開一已知距離; 基於使用光場渲染的該複數個傳輸圖而為該眼睛之該估計距離產生一定製傳輸圖; 基於該定製傳輸圖而判定一定製校正圖; 使用該定製校正圖來調整欲在該顯示器上顯示之一影像;及 在該顯示器上顯示使用該定製校正圖調整之該影像。
  2. 如請求項1之方法,其中該使用者之該眼睛之該估計距離對應於該使用者之該眼睛之一估計觀看位置。
  3. 如請求項2之方法,其中基於如自如該複數個傳輸圖中之一對應傳輸圖中所表徵的該複數個預定觀看位置中之一預定觀看位置所觀看沿著一方向的一對應非均勻傳輸字元而判定如自該估計觀看位置所觀看且在該定製傳輸圖中表徵的沿著彼方向之該顯示器之一非均勻傳輸字元。
  4. 如請求項2之方法,其中基於如自如該複數個預定觀看位置中之四個預定觀看位置所觀看的四個非均勻傳輸字元而判定如自該估計觀看位置所觀看且在該定製傳輸圖中表徵的沿著一方向之該顯示器之一非均勻傳輸字元,且其中在該複數個傳輸圖中之四個傳輸圖中捕獲該四個非均勻傳輸字元。
  5. 如請求項4之方法,其中基於如自四個預定觀看位置所量測的該四個傳輸圖之一雙線性內插而判定如自該估計觀看位置所觀看的該顯示器之該定製傳輸圖。
  6. 如請求項1之方法,其中基於一眼睛追蹤系統而判定該使用者之該眼睛之該估計距離。
  7. 如請求項1之方法,其中基於一使用者輸入而判定該使用者之該眼睛之該估計距離。
  8. 如請求項1之方法,其進一步包含: 接收關於該顯示影像之一使用者輸入; 基於該使用者輸入及該複數個傳輸圖而產生一後續定製校正圖; 使用該後續定製校正圖而調整該影像;及 在該顯示器上向該使用者顯示使用該後續校正圖調整之該影像。
  9. 如請求項8之方法,其中藉由該使用者與在該顯示器上向該使用者顯示之一互動式元素的一互動來接收該使用者輸入。
  10. 如請求項9之方法,其中在該顯示器上向該使用者顯示之該互動式元素為一虛擬滑塊。
  11. 如請求項8之方法,其中該使用者輸入包含該使用者之該眼睛至該顯示平面的該估計距離的一調整距離及一調整方向。
  12. 如請求項11之方法,其中該後續定製校正圖對應於該使用者之該眼睛至該顯示器平面之一後續估計距離,且其中基於該調整距離、該調整方向,及該使用者之該眼睛至該顯示平面之該估計距離而判定該使用者之該眼睛至該顯示平面之該後續估計距離。
  13. 如請求項8之方法,其中藉由該使用者藉由一控制器或一音訊輸入與該計算系統的一互動來接收該使用者輸入。
  14. 如請求項1之方法,其中該顯示器包含用於將光耦合至該使用者之該眼睛中以進行光場渲染的一個或多個波導。
  15. 如請求項14之方法,其中該複數個傳輸圖表徵用於將光耦合至不同波導位置處之該使用者之該眼睛的該一個或多個波導之非均勻傳輸字元。
  16. 如請求項1之方法,其進一步包含: 基於該複數個傳輸圖而判定複數個校正圖; 將該複數個校正圖自一RGB色彩空間轉換為一RCbCr空間;及 判定表示該複數個校正圖之複數個基底向量,其中各基底向量包含一個或多個係數。
  17. 如請求項16之方法,其進一步包含: 基於該使用者之該眼睛與該顯示平面之一後續眼睛距離藉由內插該複數個基底向量來判定一後續定製校正圖; 將該後續定製校正圖自該RCbCr空間轉換為該RGB空間;及 使用轉換為該RGB空間之該後續定製校正圖來調整欲在該顯示器上向該使用者顯示之一後續影像。
  18. 如請求項1之方法,其進一步包含: 判定至該顯示器平面之該估計距離處之一平面上之複數個觀看位置之複數個定製校正圖; 基於一估計眼睛位置、該複數個眼睛位置及該複數個校正圖而判定一經改良定製校正圖;及 使用該經改良定製校正圖調整該影像。
  19. 一種或多種電腦可讀取非暫時性儲存媒體,其體現可操作以在執行時進行以下操作之軟體: 判定一使用者之一眼睛至一顯示器之一顯示平面的一估計距離; 自一記憶體儲存器存取複數個傳輸圖,該複數個傳輸圖表徵如自一量測平面內之複數個預定觀看位置所量測的該顯示器之非均勻傳輸字元,該量測平面與該顯示平面分開一已知距離; 基於使用光場渲染的該複數個傳輸圖而為該眼睛之該估計距離產生一定製傳輸圖; 基於該定製傳輸圖而判定一定製校正圖; 使用該定製校正圖來調整欲在該顯示器上顯示之一影像;及 在該顯示器上顯示使用該定製校正圖調整之該影像。
  20. 一種系統,其包含: 一個或多個非暫時性電腦可讀取儲存媒體,其體現指令;及 一個或多個處理器,其耦合至該儲存媒體且可操作以執行該等指令以: 判定一使用者之一眼睛至一顯示器之一顯示平面的一估計距離; 自一記憶體儲存器存取複數個傳輸圖,該複數個傳輸圖表徵如自一量測平面內之複數個預定觀看位置所量測的該顯示器之非均勻傳輸字元,該量測平面與該顯示平面分開一已知距離; 基於使用光場渲染的該複數個傳輸圖而為該眼睛之該估計距離產生一定製傳輸圖; 基於該定製傳輸圖而判定一定製校正圖; 使用該定製校正圖來調整欲在該顯示器上顯示之一影像;及 在該顯示器上顯示使用該定製校正圖調整之該影像。
TW111149252A 2022-01-21 2022-12-21 顯示非均勻性的校正 TW202343089A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/581,816 2022-01-21
US17/581,816 US11710212B1 (en) 2022-01-21 2022-01-21 Display non-uniformity correction

Publications (1)

Publication Number Publication Date
TW202343089A true TW202343089A (zh) 2023-11-01

Family

ID=85199457

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111149252A TW202343089A (zh) 2022-01-21 2022-12-21 顯示非均勻性的校正

Country Status (3)

Country Link
US (1) US11710212B1 (zh)
TW (1) TW202343089A (zh)
WO (1) WO2023140962A1 (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2553473A1 (en) * 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
US9214013B2 (en) * 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
CN104469343B (zh) * 2014-11-26 2017-02-01 北京智谷技术服务有限公司 光场显示控制方法和装置、光场显示设备
WO2016105521A1 (en) * 2014-12-23 2016-06-30 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
CN113358045A (zh) * 2015-11-04 2021-09-07 奇跃公司 光场显示度量
KR20180075293A (ko) * 2016-12-26 2018-07-04 엘지디스플레이 주식회사 무안경 입체 영상 표시장치
WO2019143864A1 (en) * 2018-01-17 2019-07-25 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
US20210302756A1 (en) * 2018-08-29 2021-09-30 Pcms Holdings, Inc. Optical method and system for light field displays based on mosaic periodic layer
US10636116B1 (en) * 2018-10-22 2020-04-28 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US11288503B2 (en) 2019-11-04 2022-03-29 Facebook Technologies, Llc Systems and methods for image adjustment based on pupil size
US11410272B2 (en) 2020-07-01 2022-08-09 Facebook Technologies, Llc. Dynamic uniformity correction

Also Published As

Publication number Publication date
US20230237610A1 (en) 2023-07-27
US11710212B1 (en) 2023-07-25
WO2023140962A1 (en) 2023-07-27

Similar Documents

Publication Publication Date Title
EP3500977B1 (en) Virtual, augmented, and mixed reality systems and methods
US11176901B1 (en) Pan-warping and modifying sub-frames with an up-sampled frame rate
US11410272B2 (en) Dynamic uniformity correction
US11942009B2 (en) Display non-uniformity correction
US11120770B2 (en) Systems and methods for hiding dead pixels
US11070778B2 (en) Multi-projector display architecture
CN114127834A (zh) 用于时空抖动的系统和方法
US11011123B1 (en) Pan-warping and modifying sub-frames with an up-sampled frame rate
CN117178251A (zh) 波导校正图压缩
US11710467B2 (en) Display artifact reduction
TW202343089A (zh) 顯示非均勻性的校正
US11551636B1 (en) Constrained rendering
US11754846B2 (en) Display non-uniformity correction
US10950199B1 (en) Systems and methods for hiding dead pixels
KR20230070220A (ko) 전역 조명에 대한 스위치 누설 보상
CN114174979B (zh) 用于隐藏死像素的系统和方法
US11733773B1 (en) Dynamic uniformity correction for boundary regions
CN114127835A (zh) 用于基于掩模的时空抖动的系统和方法