TW202338431A - 顯示器非均勻性校正 - Google Patents

顯示器非均勻性校正 Download PDF

Info

Publication number
TW202338431A
TW202338431A TW112102396A TW112102396A TW202338431A TW 202338431 A TW202338431 A TW 202338431A TW 112102396 A TW112102396 A TW 112102396A TW 112102396 A TW112102396 A TW 112102396A TW 202338431 A TW202338431 A TW 202338431A
Authority
TW
Taiwan
Prior art keywords
display
user
distance
eye
correction map
Prior art date
Application number
TW112102396A
Other languages
English (en)
Inventor
貝內特 桑普森 威爾伯恩
卡維沙 拉特納姆
愛德華 巴克利
王霜
普拉文 拉奧
Original Assignee
美商元平台技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商元平台技術有限公司 filed Critical 美商元平台技術有限公司
Publication of TW202338431A publication Critical patent/TW202338431A/zh

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/536Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0233Improving the luminance or brightness uniformity across the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0242Compensation of deficiencies in the appearance of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0285Improving the quality of display appearance using tables for spatial correction of display data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0606Manual adjustment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0693Calibration of display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Abstract

在一個具體實例中,一種計算系統可判定一使用者之一眼睛至一顯示器之一顯示平面的一估計距離。該系統可存取對應於至該顯示器之該顯示平面之數個參考距離的校正圖。該系統可基於該估計距離選擇一第一參考距離及一第二參考距離。該系統可基於對應於該第一參考距離之一第一校正圖與對應於該第二參考距離之一第二校正圖的一內插來產生用於該使用者之一定製校正圖。該系統可使用該定製校正圖來調整待顯示於該顯示器上之一影像。該定製校正圖可校正如自該使用者之該眼睛檢視之該顯示器的非均勻性。該系統可在該顯示器上顯示使用該定製校正圖調整之該影像。

Description

顯示器非均勻性校正
本發明大體上係關於人工實境,諸如虛擬實境及擴增實境。
相關申請案之交互參考
本發明主張2022年1月21日申請之美國非臨時專利申請案17/581,805的權益,該專利申請案之揭示內容以全文引用的方式併入本文中。
人工實境係在顯現至使用者之前已以某一方式調整之實境形式,其可包括例如虛擬實境(virtual reality;VR)、擴增實境(augmented reality;AR)、混合實境(mixed reality;MR)、混雜實境或其某一組合及/或衍生物。人工實境內容可包括完全產生之內容,或與所擷取內容(例如,真實世界相片)組合的所產生內容。人工實境內容可包括視訊、音訊、觸覺回饋或其某一組合,且其中之任一者可在單一通道中或在多個通道(諸如,對檢視者產生三維效應之立體視訊)中顯現。人工實境可與例如用於在人工實境中建立內容及/或用於人工實境中(例如,在人工實境中執行活動)之應用程式、產品、配件、服務或其某一組合相關聯。提供人工實境內容之人工實境系統可實施於各種平台上,包括連接至主機電腦系統之頭戴式顯示器(head-mounted display;HMD)、獨立式HMD、行動裝置或計算系統,或能夠向一或多個檢視者提供人工實境內容之任何其他硬體平台。
本文所描述之特定具體實例係關於用於產生定製校正圖之系統及方法,該定製校正圖用於根據使用者之當前眼睛位置校正顯示器非均勻性。在特定具體實例中,系統可為工廠中或商店中校準程序,以產生數個預先產生之校正圖,該些預先產生之校正圖在使用者之適眼距距離處,且依據該適眼距距離處的使用者之眼瞳位置(X,Y)而參數化。舉例而言,系統可使用高解析度眼動追蹤或量測系統(例如,在頭戴式套件工廠或商店校準程序下),來判定使用者之瞳孔與波導之間的準確適眼距距離(例如,Z距離)。接著,系統可藉由量測使用者之適眼距平面上的此等位置處的波導傳輸圖,來在數個預定(X,Y)位置處之使用者的適眼距距離處產生數個預先產生之校正圖。系統可將此等預先產生之校正圖儲存在記憶體儲存器中,以稍後用於在運行時間產生對應定製校正圖。在運行時間,系統可使用眼動追蹤系統來判定使用者之眼瞳位置(X,Y,Z)。系統可捨棄z距離且使用(X,Y)位置,以藉由基於使用者之眼睛的(X,Y)位置對預先產生之校正圖進行內插,來產生用於使用者之定製校正圖。此具體實例可產生準確校正圖,但可能相對昂貴,因為各使用者之適眼距距離需要藉由在工廠或商店校準程序中量測。此具體實例可假設在使用者戴上頭戴式套件之後,使用者之適眼距不會改變。
在特定具體實例中,AR/VR裝置可使用裝置上校準程序,以產生用於使用者之適眼距距離的定製校正圖。裝置上校準程序可為兩步程序或一步程序。對於高階下的兩步程序,系統可預先產生校正圖,且將數個預先產生之校正圖儲存在記憶體儲存器中。此等預先產生之校正圖可依據使用者之適眼距距離處的使用者之眼睛位置(X,Y)而參數化。此等預先產生之校正圖可藉由在多個適眼距距離處(例如,在各適眼距距離之數個預定位置處)實際量測對應波導傳輸圖來產生。替代地,此等預先產生之校正圖可藉由在一個適眼距距離處實際量測波導傳輸圖且使用射線光學來產生,以產生針對使用者之適眼距距離處之瞳孔(X,Y)位置參數化之此等預先產生之校正圖。應注意,使用基於初始預先產生之校正圖之射線光學產生的校正圖可稱為「中間校正圖」。在運行時間,系統可使用眼動追蹤系統來判定使用者之眼瞳位置(X,Y,Z),且使用(X,Y)位置(捨棄z資訊)來產生定製校正圖。定製校正圖可藉由對對應中間校正圖(例如,對應於含有(X,Y)位置之四個預定位置的四個校正圖)進行內插來產生。在特定具體實例中,系統可使用一步程序來基於使用者之(X,Y,Z)瞳孔位置判定定製校正圖。系統可使用射線光學以基於對應於一個適眼距距離之初始預先產生之校正圖或/及傳輸圖來直接判定用於使用者的定製校正圖。
在特定具體實例中,對於使用兩步程序之裝置上校準程序,系統可在多個適眼距距離處(在各適眼距距離之數個預定位置處)量測波導傳輸圖,且基於此等量測產生對應的預先產生之校正圖。因此,系統可產生預先產生之校正圖的矩陣,該矩陣包括用於各適眼距距離之預先產生之校正圖的陣列。系統可將此等預先產生之校正圖儲存於記憶體儲存器中以用於運行時間使用。在運行時間,系統可首先使用AR/VR裝置之眼動追蹤系統來判定粗略適眼距距離Z,且判定對應於粗略適眼距距離Z的定製校正圖。接著,系統可允許使用者提供回饋資訊(例如,使用使用者介面上之滑動條、使用控制器、使用語音輸入等)以導引系統產生最佳定製校正圖,該最佳定製校正圖將產生可較佳地校正顯示器之非均勻性的最佳非均勻性校正圖。舉例而言,系統可在預定整體適眼距距離Z 1、Z 2、Z 3等處存取預先產生之校正圖。接著,在裝置上校準程序期間,系統可使用眼動追蹤器來提供使用者之適眼距距離的Z i距離之粗略估計。回應於Z i在對應於Z n與Z n+1之位置之間的判定,系統可基於由眼動追蹤器判定之Z i距離,自預定圖選擇Z n與Z n+1處的預先產生之校正圖。系統可對對應於Z n及Z n+1之預先產生之校正圖的此等兩個集合進行內插,以判定用於Z i(針對瞳孔(X,Y)參數化)之中間校正圖的集合。Z i處之中間校正圖之集合可用於基於(X,Y)瞳孔位置來產生定製校正圖(例如,藉由對對應於含有(X,Y)位置的四個位置之四個中間校正圖進行內插)。定製校正圖可用於當使用者之眼睛與任何(X,Y)位置處(例如,與眼框)相距距離Z i時,校正顯示器非均勻性。用於距離Z i之此等定製校正圖可用於校正當使用者之眼瞳在距離Z i處之對應(X,Y)位置處時經由顯示器(例如,經由波導)向使用者顯示的影像。使用者可針對顯示器非均勻性觀察是否充分校正定製校正圖。接著,系統可向使用者提供虛擬滑件,以允許使用者提供關於顯示品質之即時回饋,且指定使用者想要嘗試之模擬Z j距離(例如,在如受滑動條控制的Z n與Z n+1之間的範圍內)。當使用者調整虛擬滑件時,系統可針對使用者在Z i處不斷地重新產生參數化中間校正圖及即時定製校正圖,直至使用者看到最佳顯示結果為止。在特定具體實例中,可針對9×7個眼框位置中之各者重複此程序。在特定具體實例中,系統可僅針對9×7個眼框位置之位置的集合重複此程序。在特定具體實例中,系統可僅校準眼框之中心位置及拐角位置,且可使用最佳Z值來判定適於定製校正圖的3D表面。在特定具體實例中,此裝置上校準程序可基於直接對預先產生之校正圖進行內插。在特定具體實例中,此線上校準程序可基於在預定距離處對預定傳輸圖而非校正圖進行內插。
在特定具體實例中,系統可使用一步程序,以基於光場顯現(light field render)原理使用射線光學來直接產生用於校正顯示器之非均勻性的定製校正圖。舉例而言,系統可在一個適眼距距離(例如,標稱距離)處,基於預定校準資料(例如,傳輸圖)根據使用者之眼睛位置來使用傳播方法判定用於校正顯示器之非均勻性的定製校正圖。系統可預先量測對應於標稱適眼距的平面上之數個預定眼睛位置處的波導傳輸圖。可在運送產品之前在製造廠校準程序期間進行此預先量測(因為該量測需要使用者之實際適眼距資訊)。系統可將此等預先量測之傳輸圖儲存於記憶體儲存器中以供稍後使用。
作為實例而非作為限制,在運行時間,系統可首先判定包括適眼距距離之3D空間中之使用者的眼睛位置(X,Y,Z)(例如,使用眼動追蹤系統)。接著,系統可使用傳播方法(例如,射線追蹤方法)來判定用於使用者之當前眼睛位置的波導傳輸圖。傳播方法可包括自使用者之眼睛位置將數個射線投射至波導之顯示平面。一些射線可穿過用於擷取預先擷取之傳輸圖的檢視位置。一些射線可落在用於擷取預先量測之傳輸圖的檢視位置之群組(例如,四個檢視位置)之間。系統可藉由取樣如預先量測之傳輸圖表示的光場來判定用於使用者之當前眼睛位置的傳輸圖。舉例而言,對於穿過預定檢視位置之射線而言,沿著該方向之對應光強度(及因此,顯示器非均勻性特徵)在對應於該檢視位置之當前傳輸圖與預先量測的傳輸圖中應相同。換言之,系統可基於預先擷取之傳輸圖中的資訊(相同方向之光強度及顯示器非均勻性特徵)來沿著此方向判定光強度(及因此,顯示器非均勻性特徵)。作為另一實例,對於落在四個預定檢視位置之射線,系統可使用雙線性內插程序,以沿著基於第一預定檢視位置處之相同方向的四個光強度(及傳輸特徵)的該射線方向來判定光強度(及顯示器傳輸特徵、顯示器非均勻性特徵)。由此,系統可基於四個預先量測之傳輸圖來判定用於當前眼睛位置之當前傳輸圖。當前傳輸圖可準確描述波導對於當前眼睛位置的非均勻性特性。接著,系統可基於當前傳輸圖產生定製校正圖,且使用該定製校正圖來在將像素值輸出至顯示器之前補償待顯示之影像的此等像素值。
作為另一實例而非作為限制,系統可在不使用眼動追蹤系統之情況下,針對候選Z j距離(例如,如由使用者之滑動條指定),使用標稱距離Z處的預先量測之傳輸圖的集合來判定當前傳輸圖(例如,基於光場顯現原理使用射線光學方法)。用於Z之預先量測之傳輸圖的集合可與若干(X,Y)位置相關聯,類似於光場(例如,可能存在對應於10×10(X,Y)位置的陣列的10×10預先量測之傳輸圖的陣列)。系統可向使用者顯示虛擬滑件(在使用或不使用眼動追蹤資料來判定眼睛位置的情況下)來指定候選Z j距離。基於假設之使用者之(X,Y)檢視位置,系統可使用在標稱距離Z處預先擷取之傳輸圖,以基於光場顯現原理的射線光學來產生用於(X,Y,Z j)的合成傳輸圖。用於(X,Y,Z j)之合成傳輸圖可用於產生用於(X,Y,Z j)的定製校正圖,該定製校正圖又用以校正測試影像。系統可首先推斷使用者之眼睛位置以提供起始點。接著,系統可基於使用者之回饋調整所推斷眼睛位置,且即時地不斷更新傳輸圖及定製校正圖(針對不同Z距離及不同(X,Y)檢視位置),直至使用者看到最佳顯示內容為止。因此,可有效地校正顯示器非均勻性,且系統可僅需要儲存對應於單個適眼距距離的預先量測之資料。在特定具體實例中,系統可假設使用者之適眼距將不會改變,且可僅回應於2D平面中使用者的眼睛位置改變來重新產生定製校正圖。在特定具體實例中,系統可假設使用者之眼睛位置可在3D空間(包括適眼距)中改變,且可回應於3D空間中使用者之眼睛位置改變來重新產生定製校正圖。
在特定具體實例中,系統可向使用者顯示虛擬滑件,其影響向前或向後傳播壓縮基底向量之集合(對應於來自標稱位置的波導校正圖),以判定用於使用者之當前眼睛位置的定製校正圖。系統可判定可表示特定適眼距距離處之預先產生之校正圖的主要因子及係數(例如,以基底向量表示),且在Z方向上對此等因子及係數執行內插,以判定針對目標適眼距距離處之(X,Y)瞳孔位置參數化之中間校正圖。系統可針對9×7個眼框位置或針對彼等眼框位置之子集重複此程序。針對(X,Y)瞳孔位置參數化之中間校正圖可用於使用內插,基於如藉由眼動追蹤系統追蹤之實際(X,Y)瞳孔位置來產生定製校正圖。替代地,系統可對此等因子及係數執行內插,以基於使用者之(X,Y,Z)瞳孔位置直接產生定製校正圖。系統可首先將RGB空間中之波導圖(例如,傳輸圖或校正圖)轉換至RCbCr空間,且使用包括此等因子及係數之基底向量來在YCbCr空間中以壓縮形式表示校正圖。接著,系統可對基底向量執行內插以判定最終校正圖,且將其轉換回至RGB空間。當使用者調整虛擬滑件直至使用者看到最佳顯示結果為止時,系統可即時地不斷更新定製校正圖。
在特定具體實例中,系統可針對各使用者之固定Z距離產生預先產生之校正圖的集合,此舉在對於量測Z存在顯著不確定性時係有用的。一旦使用者戴上頭戴式套件,系統就可假設使用者之適眼距不會改變。在一些其他具體實例中,該系統可假設使用者之眼睛位置可在3D空間中(包括適眼距距離)改變。系統可使用即時眼動追蹤來判定3D空間中使用者之眼睛位置(在此等具體實例中,眼動追蹤系統可能夠充分準確地量測使用者的Z距離),且基於光場顯現原理使用內插法或射線光學來針對各圖框,基於使用者之3D眼睛位置來判定分離定製校正圖。換言之,系統可能不具有顯式校準階段,且可能不需要產生特定針對某一眼睛位置的校準圖。替代地,系統可自原始資料且針對各圖框起作用,以基於使用者之當前3D眼睛位置來針對各圖框計算分離定製校正圖。此具體實例可產生最準確之定製校正圖,但就計算及記憶體使用而言可能相對昂貴。
本文中所揭示之具體實例僅為實例,且本發明之範圍不限於該些實例。特定具體實例可包括上文所揭示之具體實例的構件、元件、特徵、功能、操作或步驟中之全部、一些或無一者。根據本發明之具體實例尤其在針對一種方法、儲存媒體、系統及電腦程式產品之所附申請專利範圍中揭示,其中在一個請求項類別中提及之任何特徵(例如方法)亦可在另一請求項類別(例如系統)中主張。僅出於形式原因而選擇所附申請專利範圍中之依賴性或反向參考。然而,亦可主張由對任何前述請求項之反向故意參考(在特定多個依賴性方面)產生的任何主題,使得請求項及其特徵之任何組合被揭示,且可無關於在所附申請專利範圍中選擇的依賴性而主張。可主張之主題不僅包含如所附申請專利範圍中闡述之特徵的組合,且包含申請專利範圍中特徵之任何其他組合,其中申請專利範圍中所提及之各特徵可與任何其他特徵或申請專利範圍中之其他特徵之組合組合。此外,本文中描述或描繪之具體實例及特徵中之任一者可在獨立請求項中及/或在與本文中描述或描繪之任何具體實例或特徵或與所附申請專利範圍之特徵中之任一者的任何組合中主張。
1A繪示實例人工實境系統100A。在特定具體實例中,人工實境系統100可包含頭戴式套件104、控制器106及計算系統108。使用者102可佩戴頭戴式套件104,其可將視覺人工實境內容顯示給使用者102。頭戴式套件104可包括音訊裝置,其可將音訊人工實境內容提供至使用者102。頭戴式套件104可包括可擷取環境之影像及視訊之一或多個攝影機。頭戴式套件104可包括眼動追蹤系統以判定使用者102之輻輳距離。頭戴式套件104可稱為頭戴式顯示器(head-mounted display;HDM)。控制器106可包含觸控板及一或多個按鈕。控制器106可自使用者102接收輸入,且將輸入中繼至計算系統108。控制器206亦可將觸覺回饋提供至使用者102。計算系統108可經由纜線或無線連接而連接至頭戴式套件104及控制器106。計算系統108可控制頭戴式套件104及控制器106,以將人工實境內容提供至使用者102且自使用者接收輸入。計算系統108可為獨立式主機電腦系統、與頭戴式套件104整合之機載電腦系統、行動裝置,或能夠將人工實境內容提供至使用者102且自使用者接收輸入之任何其他硬體平台。
1B繪示實例擴增實境系統100B。擴增實境系統100B可包括頭戴式顯示器(HMD)110(例如眼鏡),其包含框架112、一或多個顯示器114及計算系統120。顯示器114可為透明或半透明的,從而允許佩戴HMD 110之使用者透過顯示器114看到真實世界,且同時將視覺人工實境內容顯示給使用者。HMD 110可包括音訊裝置,其可將音訊人工實境內容提供至使用者。HMD 110可包括可擷取環境之影像及視訊之一或多個攝影機。HMD 110可包括眼動追蹤系統以追蹤佩戴HMD 110之使用者的輻輳移動。擴增實境系統100B可進一步包括包含觸控板及一或多個按鈕之控制器。控制器可自使用者接收輸入,且將輸入中繼至計算系統120。控制器亦可將觸覺回饋提供至使用者。計算系統120可經由纜線或無線連接而連接至HMD 110及控制器。計算系統120可控制HMD 110及控制器,以將擴增實境內容提供至使用者且自使用者接收輸入。計算系統120可為獨立式主機電腦系統、與HMD 110整合之機載電腦系統、行動裝置,或能夠將人工實境內容提供至使用者且自使用者接收輸入之任何其他硬體平台。
1C繪示顯示引擎130之實例架構100C。在特定具體實例中,在本發明中所描述之程序及方法可體現或實施於顯示引擎130內(例如,在顯示區塊135中)。顯示引擎130可包括例如但不限於紋理記憶體132、變換區塊133、像素區塊134、顯示區塊135、輸入資料匯流排131、輸出資料匯流排142等。在特定具體實例中,顯示引擎130可包括一或多個圖形管線,其用於產生待顯現於顯示器上之影像。舉例而言,顯示引擎可使用圖形管線以基於主圖框影像及如一或多個眼動追蹤感應器量測之使用者之檢視位置或視角來產生一系列子圖框影像。主圖框影像可以30至90 Hz之主圖框速率而產生或/及加載至系統中,且子圖框速率可以1至2 kHz之子圖框速率產生。在特定具體實例中,顯示引擎130可包括用於使用者左眼及右眼之兩個圖形管線。圖形管線中之一者可包括紋理記憶體132、變換區塊133、像素區塊134、顯示區塊135等或可實施於以上各者上。顯示引擎130可包括用於其他圖形管線之變換區塊、像素區塊及顯示區塊的另一集合。圖形管線可由顯示引擎130之控制器或控制區塊(圖中未示)控制。在特定具體實例中,紋理記憶體132可包括在控制區塊內,或可為在控制區塊外部但在顯示引擎130本端之記憶體單元。顯示引擎130之構件中之一或多者可經組態以經由高速匯流排、共用記憶體或任何其他合適方法來通信。此通信可包括資料以及控制信號、中斷或/及其他指令之傳輸。舉例而言,紋理記憶體132可經組態以經由輸入資料匯流排211接收影像資料。作為另一實例,顯示區塊135可藉由輸出資料匯流排142將像素值發送至顯示系統140。在特定具體實例中,顯示系統140可包括具有各別顯示驅動器IC(display driver IC;DDI)142A、142B及143B之三個色彩通道(例如,114A,114B,114C)。在特定具體實例中,顯示系統140可包括例如但不限於:發光二極體(light-emitting diode;LED)顯示器、有機發光二極體(organic light-emitting diode;OLED)顯示器、主動矩陣有機發光二極體(active matrix organic light-emitting diode;AMLED)顯示器、液晶顯示器(liquid crystal display;LCD)、微型發光二極體(micro light-emitting diode;μLED)顯示器、電致發光顯示器(electroluminescent display;ELD),或任何合適的顯示器。
在特定具體實例中,顯示引擎130可包括控制器區塊(圖中未示)。控制區塊可經由一或多個資料匯流排自顯示引擎130外部之控制器接收資料且控制封裝,諸如位置資料及表面資訊。舉例而言,控制區塊可自身體佩戴計算系統接收輸入串流資料。輸入資料串流可包括以30至90 Hz之主圖框速率產生之一系列主圖框影像。包括主圖框影像之輸入串流資料可轉換為所需格式,且儲存至紋理記憶體132中。在特定具體實例中,控制區塊可自身體佩戴計算系統接收輸入,且初始化顯示引擎中之圖形管線,以準備且完成影像資料以用於顯現於顯示器上。資料及控制封包可包括與例如一或多個表面相關之資訊,該資訊包括紋素資料、位置資料及額外顯現指令。控制區塊可視需要將資料分配至顯示引擎130之一或多個其他區塊。控制區塊可起始圖形管線以用於處理待顯示之一或多個圖框。在特定具體實例中,用於雙眼顯示系統之圖形管線可各自包括控制區塊或共用同一控制區塊。
在特定具體實例中,變換區塊133可針對待顯示在人工實境場景中之表面判定初始可見性資訊。一般而言,變換區塊133可自螢幕上之像素位置投射射線,且產生濾波命令(例如,基於雙線性或其他類型之內插技術濾波)以發送至像素區塊134。變換區塊133可執行自使用者之當前檢視位置至表面所位於的人工場景中之射線投射(例如,使用頭戴式套件之慣性量測單元、眼動追蹤感應器及/或任何合適的追蹤/定位演算法(諸如同時定位與地圖建構(simultaneous localization and mapping;SLAM))來判定),且可產生圖塊/表面對144以發送至像素區塊134。在特定具體實例中,變換區塊133可包括如下的四級管線。射線投射器可發出對應於一或多個對準像素之陣列的射線束,該些對準像素稱為圖塊(例如,各圖塊可包括16×16對準像素)。根據一或多個失真網格,射線束可在進入人工實境場景之前經翹曲。失真網格可經組態以校正源自至少眼睛顯示系統、頭戴式套件系統之幾何失真效應。變換區塊133可藉由比較各圖塊之定界框與表面之定界框來判定各射線束是否與場景中之表面相交。若射線束不與物件相交,則其可捨棄。在偵測到圖塊-表面相交之後,對應圖塊/表面對可傳遞至像素區塊134。
在特定具體實例中,像素區塊134可基於圖塊-表面對針對像素判定色彩值或灰度值。各像素之色彩值可自在紋理記憶體132中接收且儲存之表面的紋素資料來取樣。像素區塊134可自變換區塊133接收圖塊-表面對,且可使用一或多個濾波區塊來排程雙線性濾波。對於各圖塊-表面對,像素區塊134可使用對應於經投影圖塊與表面相交之處的色彩值來取樣圖塊內的像素之色彩資訊。像素區塊134可基於經擷取紋素(例如,使用雙線性內插)判定像素值。在特定具體實例中,像素區塊134可單獨地處理各像素之紅色、綠色及藍色色彩分量。在特定具體實例中,顯示器可包括用於雙眼顯示系統之兩個像素區塊。雙眼顯示系統之兩個像素區塊可獨立且彼此並行地起作用。像素區塊134接著可將其色彩判定(例如,像素138)輸出至顯示區塊135。在特定具體實例中,當兩個或更多個表面具有重疊區域時,像素區塊134可將兩個或更多個表面合成一個表面。合成表面可能需要較少計算資源(例如,計算單元、記憶體、功率等)以用於重新取樣程序。
在特定具體實例中,顯示區塊135可自像素區塊134接收像素色彩值,將資料之格式轉換為更適合於顯示器之掃描線輸出,將一或多個亮度校正應用於像素色彩值,且準備像素色彩值以供輸出至顯示器。在特定具體實例中,顯示區塊135可各自包括列緩衝器,且可處理且儲存自像素區塊134接收之像素資料。像素資料可組織成四邊形(例如,每一四邊形2×2個像素)及圖塊(例如,每一圖塊16×16個像素)。顯示區塊135可將由像素區塊134產生之圖塊級像素色彩值轉換成可為實體顯示器所需之掃描線或列級資料。亮度校正可包括任何所需的亮度校正、γ映射及抖動。顯示區塊135可將經校正像素色彩值直接輸出至實體顯示器(例如,光瞳顯示器)之驅動器,或可以多種格式將像素值輸出至顯示引擎130外部之區塊。舉例而言,頭戴式套件系統之眼睛顯示系統可包括額外硬體或軟體,以進一步定製後端色彩處理、支援至顯示器之較寬介面,或最佳化顯示器速度或保真度。
在特定具體實例中,如本發明中所描述之抖動方法及程序(例如,空間抖動方法、時間抖動方法,及空間-時間方法)可體現或實施於顯示引擎130之顯示區塊135中。在特定具體實例中,顯示區塊135可包括用於各色彩通道的基於模型之抖動演算法或抖動模型,且將各別色彩通道之抖動結果發送至顯示系統140之各別顯示驅動器IC(DDI)(例如,142A、142B、142C)。在特定具體實例中,在將像素值發送至各別顯示驅動器IC(例如,142A、142B、142C)之前,顯示區塊135可進一步包括用於校正例如像素非均勻性、LED非理想性、波導非均勻性、顯示缺陷(例如,死像素)等的一或多個演算法。
在特定具體實例中,圖形應用(例如,遊戲、地圖、提供內容之應用程式等)可構建場景圖,其連同給定檢視位置及時間點一起使用以產生基元以顯現在GPU或顯示引擎上。場景圖可界定場景中之物件之間的邏輯及/或空間關係。在特定具體實例中,顯示引擎130亦可產生且儲存場景圖,其為完整應用場景圖之簡化形式。簡化場景圖可用於指定表面(例如,3D空間中界定之由顯示引擎130顯現之基元,諸如四邊形或輪廓,其具有基於藉由應用程式顯現之主圖框產生的對應紋理)之間的邏輯及/或空間關係。儲存場景圖允許顯示引擎130將場景顯現成多個顯示圖框,且針對當前檢視位置(例如,頭部位置)、當前物件位置(例如,其可相對於彼此移動)及依據顯示圖框改變之其他因子來調整場景圖中的各元素。另外,基於場景圖,顯示引擎130亦可針對由顯示子系統引入之幾何及色彩失真進行調整,且接著將物件合成在一起以產生圖框。儲存場景圖允許顯示引擎130估算以所需高圖框速率進行完整顯現之結果,同時實際上以顯著低的速率運行GPU或顯示引擎130。
1D繪示用於產生顯示影像資料之顯示引擎130之實例圖形管線100D。在特定具體實例中,圖形管線100D可包括可見性步驟152,其中顯示引擎130可判定自身體佩戴式計算系統接收之一或多個表面的可見性。可見性步驟152可藉由顯示引擎130之變換區塊(例如,圖1C中之2133)執行。顯示引擎130可自身體佩戴式計算系統接收(例如,由控制區塊或控制器)輸入資料151。輸入資料151可包括來自身體佩戴式計算系統之一或多個表面、紋素資料、位置資料、RGB資料,及顯現指令。輸入資料151可包括具有30至90個圖框每秒(frame per second;FPS)之主圖框影像。主圖框影像可具有例如每像素24個位元之色深。顯示引擎130可處理所接收之輸入資料151,且將其儲存在紋素記憶體132中。所接收之資料可傳遞至變換區塊133,該變換區塊133可判定用於待顯示之表面之可見性資訊。變換區塊133可針對螢幕上之像素位置投射射線,且產生濾波命令(例如,基於雙線性或其他類型之內插技術濾波)以發送至像素區塊134。變換區塊133可執行自使用者之當前檢視位置至表面所位於的人工場景中的射線投射(例如,使用頭戴式套件之慣性量測單元、眼動追蹤器及/或任何合適的追蹤/定位演算法(諸如,同時定位與地圖建構(SLAM))來判定),且產生表面-圖塊對以發送至像素區塊134。
在特定具體實例中,圖形管線100D可包括重新取樣步驟153,其中顯示引擎130可自圖塊-表面對判定色彩值以產生像素色彩值。重新取樣步驟153可藉由顯示引擎130之像素區塊(圖1C中之134)執行。像素區塊134可自變換區塊133接收圖塊-表面對,且可排程雙線性濾波。對於各圖塊-表面對,像素區塊134可使用對應於經投影圖塊與表面相交之處的色彩值,來取樣圖塊內的像素之色彩資訊。像素區塊134可基於經擷取紋素(例如,使用雙線性內插)判定像素值,且將經判定像素值輸出至各別顯示區塊135。
在特定具體實例中,圖形管線100D可包括彎曲步驟154、校正及抖動步驟155(例如,基於非均勻性資料157及錯誤傳播資料158)、串行化步驟156等。在特定具體實例中,彎曲步驟154、校正及抖動步驟155以及串行化步驟156可藉由顯示引擎130之顯示區塊(例如,圖1C中之135)執行。顯示引擎130可摻合顯示內容以用於顯示內容顯現,將一或多個亮度校正應用於像素色彩值,執行一或多個抖動演算法以用於在空間上及在時間上抖動量化錯誤,串行化實體顯示器之掃描線輸出之像素值,且產生適合於顯示系統140之顯示資料159。顯示引擎130可將顯示資料159發送至顯示系統140。在特定具體實例中,顯示系統140可包括用於RGB之三個色彩通道(例如,144A、144B、144C)之像素的三個顯示驅動器IC(例如,142A、142B、142C)。
2A繪示實例掃描波導顯示器200A。在特定具體實例中,AR/VR系統之頭戴式顯示器(HMD)可包括近眼顯示器(near eye display;NED),其可為掃描波導顯示器200A。掃描波導顯示器200A可包括光源組件210、輸出波導204、控制器216等。掃描波導顯示器200A可為兩個眼睛或為單個眼睛提供影像。出於說明之目的,圖3A展示與單個眼睛202相關聯之掃描波導顯示器200A。另一掃描波導顯示器(圖中未示)可將影像光提供至使用者之另一個眼睛,且兩個掃描波導顯示器可共用一或多個構件或可分離。光源組件210可包括光源212及光學系統214。光源212可包括可使用光發射器之陣列產生影像光之光學構件。光源212可產生影像光,包括例如但不限於紅色影像光、藍色影像光、綠色影像光、紅外線影像光等。光學系統214可對由光源212產生之影像光執行數個光學處理或操作。由光學系統214執行之光學處理或操作可包括例如但不限於光聚焦、光組合、光調節、掃描等。
在特定具體實例中,光學系統214可包括光組合組件、光調節組件、掃描鏡面組件等。光源組件210可產生影像光219且將其輸出至輸出波導204之耦合元件218。輸出波導204可為可將影像光輸出至使用者眼睛202之光波導。輸出波導204可在一或多個耦合元件218處接收影像光219,且將接收之影像光導引至一或多個解耦元件206。舉例而言,耦合元件218可為但不限於繞射光柵、全訊光柵、可將影像光219耦合至輸出波導204中之任何其他合適元件,或其組合。作為實例而非作為限制,若耦合元件218為繞射光柵,則繞射光柵之間距可經選擇以允許發生全內反射,且允許影像光219在內部朝向解耦元件206傳播。繞射光柵之間距可在300 nm至600 nm之範圍內。解耦元件206可將全內反射影像光自輸出波導204解耦。解耦元件206可為例如但不限於繞射光柵、全訊光柵、可將影像光自輸出波導204解耦之任何其他合適元件,或其組合。作為實例而非作為限制,若解耦元件206為繞射光柵,則繞射光柵之間距可經選擇以使入射影像光離開輸出波導204。可藉由改變進入耦合元件218之影像光219的位向及位置,來控制自輸出波導204離開之影像光的位向及位置。繞射光柵之間距可在300 nm至600 nm之範圍內。
在特定具體實例中,輸出波導204可由一或多種材料構成,該一或多種材料可促進影像光219之全內反射。輸出波導204可由一或多種材料構成,該一或多種材料包括例如但不限於矽、塑膠、玻璃、聚合物或其某一組合。輸出波導204可具有相對小的外形規格。作為實例而非作為限制,輸出波導204沿著X維度可為約50 mm寬,沿著Y維度可為30 mm長,且沿著Z維度可為0.5至1 mm厚。控制器216可控制光源組件210之掃描操作。控制器216可至少基於用於顯現一或多個影像之一或多個顯示指令來判定用於光源組件210之掃描指令。顯示指令可包括影像檔案(例如,位元映像),且可自例如AR/VR系統之控制台或電腦接收。掃描指令可由光源組件210使用以產生影像光219。掃描指令可包括例如但不限於影像光源類型(例如,單色源、多色源)、掃描速率、掃描設備位向、一或多個照明參數或其某一組合。控制器216可包括支援控制器216之功能性的硬體、軟體、韌體或任何合適構件之組合。
2B繪示掃描波導顯示器200B之實例掃描操作。光源220可包括具有多個列及行之光發射器222(如由插圖中之點表示)之陣列。由光源220發射之光223可包括由光發射器222中之各行發射之準直光束的集合。在到達鏡面224之前,光223可由諸如調節組件(圖中未示)之不同光學裝置來調節。可藉由在掃描操作期間圍繞軸線225旋轉鏡面224,而將光223自光源220反射且投影至影像場227。鏡面224可為微機電系統(microelectromechanical system;MEMS)鏡面或任何其他合適鏡面。當鏡面224圍繞軸線225旋轉時,光223可投影至影像場227之不同部分,如呈實線之光226A之反射部分及呈虛線之光226B之反射部分所說明。
在特定具體實例中,當鏡面224圍繞軸線225旋轉以在不同方向上投影光226A至226B時,影像場227可接收光226A至226B。舉例而言,影像場227可對應於圖2A中之耦合元件218之一部分或解耦元件206之一部分。在特定具體實例中,影像場227可包括耦合元件206之表面。當光行進透過輸出波導220時,形成於影像場227上之影像可放大。在特定具體實例中,影像場227可不包括實際實體結構,但包括影像光投影至其中以形成影像之區域。影像場227亦可稱為掃描場。當光223投影至影像場227之區域時,影像場227之區域可由光223照明。影像場227可包括具有多個列及行之像素位置229(由插圖228中之區塊表示)之矩陣。像素位置229可在空間上界定在影像場227之區域中,其中像素位置對應於單個像素。在特定具體實例中,影像場227中之像素位置229(或像素)可不包括個別實體像素元件。替代地,像素位置229可為空間區域,其界定在影像場227內,且將影像場227劃分成像素。像素位置229之大小及位置可取決於來自光源220之光223的投影。舉例而言,在鏡面224之給定旋轉角度下,自光源220發射之光束可落在影像場227之區域上。因而,可基於各經投影光束之位置來界定影像場227之像素位置229之大小及位置。在特定具體實例中,像素位置229可在空間上細分成子像素(圖中未示)。舉例而言,像素位置229可包括紅色子像素、綠色子像素及藍色子像素。紅色、綠色及藍色子像素可對應於投影一或多個紅色、綠色及藍色光束所在之各別位置。在此情況下,像素之色彩可基於像素之子像素之時間及/或空間平均值。
在特定具體實例中,光發射器222可以鏡面224之特定旋轉角度來照明影像場227之一部分(例如,影像場227上之多個像素位置229之特定子集)。在特定具體實例中,光發射器222可經配置且間隔開,使得來自光發射器222中之各者的光束投影於對應像素位置229上。在特定具體實例中,光發射器222可包括多個發光元件(例如,微型LED),以允許來自光發射器222之子集的光束投影至同一像素位置229。換言之,多個光發射器222之子集可每次共同地照明單個像素位置229。作為實例而非作為限制,包括八個發光元件之光發射器之群組可配置成排,以在鏡面224成給定位向角之情況下照明單個像素位置229。
在特定具體實例中,光源220之光發射器222之列及行的數目可與影像場227中之像素位置229之列及行的數目相同,或可與其不同。在特定具體實例中,影像場227之一列中之光發射器222之數目可等於一列中之像素位置229的數目,而光發射器222可具有比影像場227之像素位置229之數目少的行。在特定具體實例中,光源220可具有與影像場227中之像素位置229之行的數目相同的數目之光發射器222之行,但該光源具有較少列。作為實例而非作為限制,光源220可具有約1280行之光發射器222,其可與影像場227之像素位置229的行之數目相同,但該光源僅具有少數列之光發射器222。光源220可具有自光發射器222之第一列至最後一列量測之第一長度 L1。影像場530可具有影像場227之第一列(例如,列1)至最後一列(例如,列P)量測之第二長度 L2L2可大於 L1(例如, L2L1大50至10,000倍)。
在特定具體實例中,像素位置229之列的數目可大於光發射器222之列的數目。顯示裝置200B可使用鏡面224,以在不同時間將光223投影至像素之不同列。當鏡面520旋轉且光223掃描透過影像場227時,影像可形成於影像場227上。在一些具體實例中,光源220亦可具有比影像場227更少數目之行。鏡面224可在兩個維度中旋轉以用光填充影像場227,例如,使用光柵型掃描程序以向下掃描列,接著移動至影像場227中之新行。鏡面224之完整的旋轉循環可稱為掃描週期,其可為期間完整地掃描整個影像場227之預定循環時間。影像場227之掃描可由鏡面224判定且控制,其中顯示裝置200B之光產生與鏡面224之旋轉同步。作為實例而非作為限制,鏡面224可在將光投影至影像場227之列1的初始位置處開始,且旋轉至將光投影至影像場227之列P的最後一個位置,且接著在一個掃描週期期間旋轉回至初始位置。每一掃描週期,影像(例如,圖框)可形成於影像場227上。顯示裝置200B之圖框速率可對應於每秒內的掃描週期之數目。當鏡面224旋轉時,光可掃描透過影像場以形成影像。給定像素位置229之實際色彩值及光強度或亮度可為在掃描週期期間照明像素位置之色彩各種光束的時間總和。在完成掃描週期之後,鏡面224可恢復回至初始位置,以將光投影至影像場227之前幾個列,其中新驅動信號集合饋送至光發射器222。當鏡面224循環地旋轉以允許不同的影像圖框形成於掃描場227中時,可重複相同程序。
3A繪示實例2D微型LED波導顯示器300A。在特定具體實例中,顯示器300A可包括伸長的波導組態302,其可足夠寬或長以將影像投影至使用者之兩個眼睛。波導組態302可包括覆蓋使用者之兩個眼睛的解耦區域304。為了經由波導組態302將影像提供至使用者之兩個眼睛,多個耦合區域306A至306B可設置於波導組態302之頂部表面中。耦合區域306A及306B可包括多個耦合元件,以分別自光發射器陣列集合308A及308B接收影像光。發射器陣列集合308A至308B中之各者可包括數個單色發射器陣列,包括例如但不限於紅色發射器陣列、綠色發射器陣列及藍色發射器陣列。在特定具體實例中,發射器陣列集合308A至308B可進一步包括白色發射器陣列或發射其他色彩或任何多個色彩之任何組合的發射器陣列。在特定具體實例中,波導組態302可具有發射器陣列集合308A及308B,其覆蓋由分隔線309A劃分之解耦區域304的大致相同部分。在特定具體實例中,發射器陣列集合308A及308B可不對稱地將影像提供至波導組態302之波導,如由分隔線309B劃分。舉例而言,發射器陣列集合308A可將影像提供至超過解耦區域304的一半。在特定具體實例中,發射器陣列集合308A及308B可配置在如圖3B中所展示之波導組態302之相對側處(例如,相隔180º)。在其他具體實例中,可以任何合適角度來配置發射器陣列集合308A及308B。波導組態302可為平面的或可具有彎曲的橫截面形狀以較佳地適配使用者之面部/頭部。
3B繪示用於2D微型LED波導顯示器之實例波導組態300B。在特定具體實例中,波導組態300B可包括耦合至波導342之投影器裝置350。投影器裝置320可包括緊固至支撐結構354(例如,印刷電路板或其他合適支撐結構)之多個光發射器352(例如,單色發射器)。波導342可藉由具有距離 D1(例如,大致50 µm至大致500 µm)之氣隙而與投影器裝置350分離。由投影器裝置350投影之單色影像可朝向波導342穿過氣隙。波導342可由玻璃或塑膠材料形成。波導342可包括耦合區域330,其包括用於自投影器裝置350接收發射光之數個耦合元件334A至334C。波導342可包括解耦區域,其具有在頂部表面318A上之多個解耦元件336A及在底部表面318B上之多個解耦元件336B。解耦元件336A與336B之間的波導342內之區域可稱為傳播區域310,其中自投影器裝置350接收且藉由耦合元件334耦合至波導342中之影像光可在波導342內橫向地傳播。
耦合區域330可包括耦合元件(例如,334A,334B,334C),其經組態且設定尺寸以耦合預定波長之光(例如,紅色、綠色、藍色)。當白光發射器陣列包括於投影器裝置350中時,白光之落入預定波長中的部分可藉由耦合元件334A至334C中之各者耦合。在特定具體實例中,耦合元件334A至334B可為經設定尺寸以耦合預定光波長之光柵(例如,布拉格光柵)。在特定具體實例中,各耦合元件中之光柵可展現光柵之間的與預定光波長相關聯之分離距離,且各耦合元件可具有不同光柵分離距離。因此,若白光發射器陣列包括於投影器裝置350中,則各耦合元件(例如,334A至334C)可耦合來自投影器裝置350之白光發射器陣列的白光之有限部分。在特定具體實例中,各耦合元件(例如,334A至334C)可具有相同的光柵分離距離。在特定具體實例中,耦合元件334A至334C可為或包括多工耦合器。
如圖3B中所說明,紅色影像320A、藍色影像320B及綠色影像320C可分別藉由耦合元件334A、334B、334C耦合至傳播區域310中,且可開始在波導342內橫向地穿越。在光接觸解耦元件336A以用於一維光瞳複製之後、且在光接觸解耦元件336A及336B兩者以用於二維光瞳複製之後,光之一部分可自波導342投影出來。在二維光瞳複製中,光可在解耦元件336A之圖案與解耦元件336B之圖案相交的位置處自波導342投影出來。未藉由解耦元件336A自波導342投影出來之光之部分可自解耦元件336B反射。解耦元件336B可朝向解耦元件336A反射回所有入射光。因此,波導342可將紅色影像320A、藍色影像320B及綠色影像320C組合成多色影像例項,其可稱為光瞳複製322。多色光瞳複製322可投影至使用者之眼睛,其可將光瞳複製322解釋為全色影像(例如,包括除紅色、綠色及藍色之外的色彩之影像)。波導342可產生數十或數百個光瞳複製322或可產生單個複製322。
將波導用於光瞳複製之AR/VR系統可能面臨波導非均勻性問題。理想地,沿著相同方向離開波導之光應具有相同光強度,而無關於光離開波導之位置。然而,由於波導非均勻性,在不同位置處離開波導之光可能實際上具有不同光強度。此外,顯示器可能具有三個RGB色彩通道,且各色彩通道可能受到非均勻性之不同影響。當色彩之相對強度改變時,顯示器可能除亮度偏移之外亦具有色彩偏移。因此,當使用者之眼睛移動時,所顯示影像可根據3D空間中之使用者的眼睛位置(Z,Y,Z)改變其亮度及其色彩。因此,系統需要根據使用者之實際眼睛位置來校準波導非均勻性。先前現有技術可假設眼睛距離Z不改變,且僅眼睛之(X,Y)位置改變。此將產生非最佳顯示結果,因為使用者之眼睛的適眼距距離可能實際上取決於使用者如何佩戴頭戴式套件,且取決於誰佩戴頭戴式套件(例如,不同使用者可能具有不同頭部形狀且因此具有至顯示器的不同距離)而改變。然而,用以判定使用者之眼睛位置的眼動追蹤系統可能不足夠準確,此可能會產生非最佳校準結果。此外,儘管有可能校準2D平面上之使用者的眼睛位置,但用先前現有技術校準3D空間中使用者之眼睛位置可能過分昂貴(例如,待儲存之資料的量過大)。
為解決此等問題,在特定具體實例中,系統可產生用於根據使用者之當前眼睛位置校正顯示器非均勻性的校正圖。在高階下,系統可使用裝置上校準程序以產生用於使用者之適眼距距離的校正圖。裝置上校準程序可為兩步程序或一步程序。對於兩步程序,系統可預先產生校正圖,且將數個預先產生之校正圖儲存在記憶體儲存器中。此等預先產生之校正圖可依據使用者之適眼距距離處的使用者之眼睛位置(X,Y)而參數化。在特定具體實例中,此等預先產生之校正圖可藉由在多個適眼距距離處(例如,在各適眼距距離之數個預定位置處)實際量測對應波導傳輸圖來產生。替代地,此等預先產生之校正圖可藉由在一個適眼距距離處實際量測波導傳輸圖且使用射線光學來產生,以產生針對使用者之適眼距距離處之瞳孔(X,Y)位置參數化之此等預先產生之校正圖。在運行時間,系統可使用眼動追蹤系統來判定使用者之眼瞳位置(X,Y,Z),且使用(X,Y)位置(捨棄z資訊)來產生最終校正圖。最終校正圖可藉由對對應預先產生之校正圖(例如,對應於含有(X,Y)位置之四個預定位置的四個校正圖)進行內插來產生。在特定具體實例中,系統可使用一步程序來基於使用者之(X,Y,Z)瞳孔位置來判定最終校正圖。系統可使用射線光學以基於在一個適眼距距離處量測之校正圖或/及傳輸圖來直接判定用於使用者的最終校正圖。
作為一實例,系統可首先使用AR/VR裝置之眼動追蹤系統來判定粗略適眼距距離Z,且判定對應於粗略適眼距距離Z之校正圖。接著,系統可允許使用者提供回饋資訊(例如,使用使用者介面上之滑動條、使用控制器、使用語音輸入等)以導引系統產生最佳校正圖,該最佳校正圖將產生更準確地校正顯示器之非均勻性的最佳非均勻性校正圖。此後,系統可儲存校正圖,且在運行時間使用校正圖來校正波導非均勻性。舉例而言,系統可在預定整體適眼距距離Z 1、Z 2、Z 3等處預先判定顯示校正圖之集合。接著,在校準程序期間,系統可判定使用者之適眼距距離之Z i距離的粗略估計,且藉由對對應於包含估計距離Z i之Z n與Z n+1的距離之預定校正圖進行內插來判定Z i距離之校正圖的集合。接著,系統可在Z i距離處使用校正圖之集合來產生最終校正圖,該最終校正圖用以校正所顯示之影像。同時,系統可向使用者提供虛擬滑件,以允許使用者提供關於顯示品質之即時回饋。系統可基於使用者回饋不斷地即時重新產生用於使用者之校正圖,直至使用者看到最佳顯示結果為止。
在特定具體實例中,系統可基於光場顯現原理使用射線光學來產生用於校正顯示器的非均勻性之校正圖。舉例而言,系統可在特定適眼距距離(例如,標稱距離)處,基於預定校準資料(例如,傳輸圖)根據使用者之眼睛位置來使用傳播方法以判定用於校正顯示器之非均勻性的校正圖。系統可預先量測數個預定眼睛位置處的波導傳輸圖,該些預定眼睛位置可在對應於標稱適眼距的平面上。可在運送產品之前在製造廠校準程序期間進行此預先量測。系統可將此等預先量測之傳輸圖儲存於記憶體儲存器中。在運行時間,系統可首先判定包括適眼距距離之3D空間中的使用者之眼睛位置。接著,系統可使用傳播方法(例如,基於光場顯現原理之射線追蹤方法或射線光學方法)來判定用於使用者之當前眼睛位置(X,Y,Z)的波導傳輸圖。傳播方法可包括自使用者之眼睛位置將數個射線投射至波導之顯示平面。系統可藉由取樣如預先量測之傳輸圖表示的光場來判定用於使用者之當前眼睛位置(X,Y,Z)的傳輸圖。接著,系統可基於用於使用者之當前眼睛位置(X,Y,Z)之傳輸圖來產生最終校正圖。
藉由使用校正圖來校正顯示器非均勻性,系統之特定具體實例可向使用者提供較佳顯示品質及最佳使用者體驗。藉由基於一系列距離處之預定校正圖及使用者的即時回饋來產生校正圖,系統之特定具體實例可基於如眼動追蹤系統所判定之粗略眼睛距離來針對不同適眼距距離產生有效校正圖。系統可提供最佳顯示品質而不增加對眼動追蹤系統之需求。藉由使用光場顯現以產生校正圖,系統可藉由減少使用用以自預先儲存之校正圖或傳輸圖產生校正圖的計算資源及記憶體資源來進一步提供更高效效能。在特定具體實例中,系統可藉由使用光場法來提供另一優勢:其可減少需要在工廠或商店校準程序中量測之位置的數目。此可加速校準時間,且減少所需記憶體等。系統可使用較小資料集來產生中間校正圖,或在即時系統中,直接計算對給定瞳孔(X,Y,Z)位置之補償。
在特定具體實例中,使用者之瞳孔至波導之距離Z可在適配程序期間(例如,在工廠或商店處)準確地量測。接著,可在此距離Z處針對所有(X,Y)位置量測波導傳輸函數,從而確保匹配給定使用者。舉例而言,系統可為工廠中或商店中校準程序,以產生數個校正圖,該些校正圖在使用者之適眼距距離處,且依據適眼距距離處的使用者之眼瞳位置(x,y)而參數化。系統可使用高解析度眼動追蹤或量測系統(例如,在頭戴式套件工廠或商店處)來判定使用者之瞳孔與波導之間的準確適眼距距離(例如,Z距離)。接著,系統可在適眼距距離處之數個預定義(X,Y)位置處產生數個校正圖。接著,系統可將此等校正圖儲存於記憶體儲存器中,以用於稍後在運行時間基於如在運行時間藉由眼動追蹤系統所量測之使用者的眼瞳位置(x,y)來產生校正圖。如先前所論述,此等預先產生之校正圖可針對適眼距距離處的眼瞳位置(x,y)而參數化。在運行時間,系統可判定使用者之眼睛位置(x,y,z),且使用(x,y)位置來計算最終校正圖(將忽略z距離值,因為此具體實例假設使用者之適眼距距離在使用裝置期間不會改變)。系統可藉由基於使用者之瞳孔的(x,y)位置來對多個預先產生之校正圖進行內插以產生最終校正圖。此具體實例可產生準確校正圖,但可能相對昂貴,因為各使用者之適眼距距離需要藉由在工廠或商店中量測。此具體實例可假設當使用AR/VR頭戴式套件時,使用者之適眼距不會改變過多(例如,在臨限範圍內)。此方法可提供高品質顯示結果,但其可能係成本高且冗長的程序,且可能不能夠縮減至數百萬單元。此外,校準至特定使用者之頭戴式套件對於另一使用者來說可能不會良好地適配,因為不同使用者可能具有不同頭部形狀,且因此相對於頭戴式顯示器具有不同眼睛距離/位置。在特定具體實例中,系統可使用線上校準程序來校準使用者之眼睛距離,且產生用於使用者之定製校正圖。系統可基於(1)眼動追蹤系統之眼動追蹤資料或/及(2)使用者的即時回饋(例如,使用虛擬滑件來挑選最佳感知匹配的Z距離)來判定使用者之眼睛距離。
作為適配程序之實例而非作為限制,系統可使用高解析度眼動追蹤或量測系統(例如,在頭戴式套件工廠或商店處)來判定使用者之瞳孔與波導之間的準確適眼距距離(例如,Z距離)。接著,系統可針對如自量測之Z距離檢視之適眼距平面上的數個預定義(X,Y)位置量測波導傳輸圖。波導傳輸圖可特徵化如自對應檢視位置檢視之波導之傳輸函數或/及傳輸非均勻性。接著,系統可基於傳輸圖來產生預先產生之校正圖。系統可將此等校正圖儲存於記憶體儲存器中以供稍後使用。在運行時間,系統可使用機載眼動追蹤系統來追蹤使用者之眼睛的(X,Y)位置,且基於使用者之當前眼睛位置來判定對應定製校正圖。舉例而言,系統可藉由對對應於含有使用者之眼瞳之(X,Y)位置的四個位置的四個預先產生之校正圖進行內插來產生定製校正圖。因為準確地預先量測使用者之眼睛的Z距離,所以此具體實例可產生準確校正圖且提供最佳顯示品質。然而,其可能相對昂貴,因為各使用者之適眼距距離需要藉由在工廠或商店中之適配程序中量測。此具體實例可假設在使用者戴上頭戴式套件之後,使用者之適眼距不會改變。然而,在一些情況下,使用者至顯示器之適眼距距離可能取決於使用者如何佩戴頭戴式套件而改變。此外,校準結果可能特定針對特定使用者,每當新使用者佩戴頭戴式套件時,就需要新校準程序。
在特定具體實例中,系統可允許使用者執行線上校準程序,以在運行時間判定使用者之眼睛相對於顯示器的Z距離,以因此導出最佳顯示品質且產生校正圖來校正顯示器非均勻性。系統可隨Z距離而變化來產生預先產生之校正圖。舉例而言,系統可針對一系列Z距離中之各Z距離產生預先產生之校正圖(例如,9×7個位置)的集合,且將此等預先產生之校正圖儲存於記憶體儲存器中以供稍後使用。在特定具體實例中,系統可在兩個Z距離(Z 1、Z 2)處之兩個預先產生之校正圖的集合之間執行內插,以判定目標適眼距距離Z i處的中間校正圖之集合。目標適眼距距離Z i可落在兩個Z距離(Z 1、Z 2)之範圍內。系統可藉由基於使用者之眼瞳之(X,Y)位置而對中間校正圖進行內插來產生定製校正圖。舉例而言,系統可藉由在目標適眼距距離處對對應於含有(X,Y)位置的四個位置之四個中間校正圖進行內插,來產生用於(X,Y)瞳孔位置的定製校正圖。「定製校正圖」亦可稱為「最終校正圖」,因為其為最終用於校正所顯示影像的校正圖。
在特定具體實例中,系統可基於使用者之眼睛位置,使用可將射線之群組自標稱Z平面向前或向後傳播的射線傳播方法來判定定製校正圖。射線傳播方法亦可稱為「射線光學方法」,且可基於光場顯現原理。舉例而言,系統可在標稱適眼距(亦稱為至顯示器之標稱眼睛距離或標稱適眼距距離)處量測顯示器的傳輸圖。顯示器之傳輸圖可基於波導之傳輸函數特徵化顯示器的傳輸非均勻性。接著,系統可使用(1)在整體Z距離處之不同預先產生之校正圖的集合之間的直接內插或(2)射線傳播原理而來回移動至不同檢視位置,以針對當前適眼距距離處之使用者之眼睛位置來判定定製校正圖。定製校正圖可針對特定使用者(例如,使用者可能佩戴或可能不佩戴眼鏡、使用者可能具有不同頭部大小及形狀等)及特定類型之頭戴式套件而定製。接著,系統可向頭戴式套件加載標稱適眼距距離處之校正圖的集合,以校正待向使用者顯示之影像。在特定具體實例中,預先產生之校正圖(或在一或多個適眼距距離處)可針對使用者或在每工作階段判定一次,或可以預定時間間隔或在使用者之請求之後即刻重新產生或更新。
在特定具體實例中,如藉由裝置上眼動追蹤系統量測之適眼距距離可足夠準確,且對應定製校正圖係基於如藉由裝置上眼動追蹤系統量測之估計適眼距距離而產生。在一些情況下,對適眼距距離之初始估計可能不準確,此可能引起定製校正圖中之較不佳結果及較不佳顯示品質。在特定具體實例中,系統可允許使用者提供即時回饋(例如,經由虛擬滑件、控制器或語音輸入等)以進一步調整估計適眼距距離值。系統可基於使用者之回饋不斷地重新產生定製校正圖,且更新如藉由新產生之定製校正圖校正的所顯示影像,直至使用者看到最佳顯示結果為止。在特定具體實例中,系統可能不需要使用裝置上眼動追蹤系統來量測適眼距距離。替代地,系統可基於初始適眼距估計(例如,基於預設初始值、平均適眼距距離、推斷之適眼距距離等)來產生初始校正圖。系統可基於初始適眼距估計來產生初始校正圖,且使用初始校正圖調整向使用者顯示之影像。接著,系統可直接允許使用者提供關於顯示品質之回饋(例如,經由虛擬滑件、控制器或語音輸入)。使用者輸入可包括估計適眼距距離之調整量及調整方向。系統可不斷地重新產生定製校正圖,且使用新產生之校正圖更新所顯示影像,直至使用者看到最佳顯示品質為止。
在特定具體實例中,AR/VR裝置可使用裝置上校準程序,以使用二步內插方法,基於當前適眼距距離處之使用者的當前眼睛位置來產生定製校正圖。在高階下,系統可在製造廠校準程序期間首先產生對應於一系列預定Z距離之預先產生之校正圖的矩陣,且將其儲存於記憶體儲存器中。該系列Z距離中之各預定Z距離可對應於預先產生之校正圖陣列,該些預先產生之校正圖對應於該距離上的數個預定位置。在運行時間,系統可首先使用AR/VR裝置之眼動追蹤系統來首先判定粗略適眼距距離Z。接著,系統可選擇對應於含有目標Z距離之兩個距離(Z 1、Z 2)的兩個預先產生之校正圖的集合,且藉由對所選兩個預先產生之校正圖的集合進行內插來產生中間校正圖之集合。此後,系統可使用眼動追蹤系統判定使用者之眼瞳之(X,Y,Z)位置,且使用(X,Y)位置資訊(捨棄Z位置資訊)以藉由基於使用者之眼瞳位置(X,Y)而對對應中間校正圖進行內插來產生定製校正圖。舉例而言,系統可藉由對對應於含有(X,Y)位置之四個預定位置的四個中間校正圖進行內插來產生用於眼睛位置(X,Y)的定製校正圖。此後,系統可使用定製校正圖來校正所顯示影像,且允許使用者提供回饋資訊(例如,使用使用者介面上之滑動條、使用控制器、使用語音輸入等)以導引系統產生最佳校正圖,該最佳校正圖將產生更準確地校正顯示器的非均勻性之最佳非均勻性校正圖。在使用者回饋程序期間,系統可重複以上程序,以即時重新產生且重新應用定製校正圖,直至使用者看到最佳顯示結果為止。因此,定製校正圖可基於實際使用者之眼睛位置不斷地重新產生及更新。
4A繪示用於基於初始估計適眼距401產生定製校正圖的實例程序400A。作為實例而非作為限制,系統可在預定完整適眼距距離420(例如,Z 1、Z 2…Z n、Z n+1等)下預先判定預先產生之校正圖的矩陣。預先產生之校正圖的矩陣可包括在各適眼距距離之數個預定位置處的預先產生之校正圖之集合。各預先產生之校正圖可基於如自對應適眼距距離及對應眼睛位置檢視之顯示器波導的傳輸非均勻性來產生。系統可首先量測自此等預定位置檢視之顯示器波導的傳輸特徵(例如,傳輸函數),且相應地產生對應校正圖。各預先產生之校正圖一經應用至所顯示影像(例如,使用校正圖值調整影像像素),即可校正如自對應檢視位置檢視之波導的非均勻性。系統可將此等預先產生之校正圖儲存於記憶體儲存器中且稍後使用。
在運行時間且在校準程序期間,系統可使用頭戴式套件之眼動追蹤系統來判定對應於使用者之適眼距距離之Z i距離的粗略估計。舉例而言,系統可使用眼動追蹤系統判定具有距離Z i的初始估計適眼距401。接著,系統可將初始估計適眼距401與對應於預定距離420之集合的位置進行比較。系統可基於Z i落在如由Z n與Z n+1判定之範圍內的判定來選擇Z n與Z n+1,且選擇對應校正圖。換言之,回應於Z i落在Z n與Z n+1之距離範圍內的判定,系統可基於如藉由眼動追蹤器所量測之Z i距離,自記憶體儲存器選擇Z n與Z n+1處的預先產生之校正圖的兩個集合。接著,系統可對對應於Z n及Z n+1之此等所選校正圖的兩個集合進行內插,以判定中間校正圖之集合,該中間校正圖之集合針對Z i距離處之(X,Y)瞳孔位置而參數化。接著,系統可將此中間校正圖之集合儲存於記憶體儲存器中,且在運行時間使用其以基於如由眼動追蹤系統量測之使用者眼瞳的實際(X,Y)位置來產生定製校正圖。舉例而言,(X,Y)位置之定製校正圖可基於對應於含有目標(X,Y)位置之位置(在Z i距離平面)的四個中間校正圖之內插來判定。系統可使用用於校正顯示器非均勻性之定製校正圖來調整待顯示之影像的像素值,且將經校正影像顯示給使用者。使用者可觀察校正圖是否針對顯示器非均勻性充分校正所顯示影像,且即時提供回饋以用於進一步調整。
4B繪示用於基於使用者之即時回饋判定定製校正圖之實例程序400B。在系統顯示如自前一步驟所判定之基於初始定製校正圖調整的影像之後,系統可在顯示器上將互動元素顯示給使用者或/及經由其他方式與使用者通信,以請求使用者提供關於所顯示影像之回饋。舉例而言,系統可向使用者顯示虛擬滑件430,以允許使用者提供關於顯示品質之即時回饋。虛擬滑件430之兩個末端可對應於兩個距離Z n及Z n+1,且使用者可控制虛擬滑件430之滑動條431以使得系統嘗試Z n與Z n+1之間的任何位置。系統可指定使用者想要嘗試之模擬Z j距離(例如,在如由滑動條控制之Z n與Z n+1之間的範圍內)。當使用者調整虛擬滑件時,系統可使用如上文所描述之程序在指定Z j距離處,針對使用者之眼睛位置(X,Y)即時地不斷重新產生定製校正圖。系統可基於使用者指定之Z j距離及當前量測之使用者的眼瞳之(X,Y)位置,使用新產生之定製校正圖不斷地調整待顯示影像,且不斷地更新顯示器,直至使用者看到最佳顯示結果為止。各反覆中之使用者輸入(例如,402)可包括用於估計適眼距401的調整量及調整方向。系統可基於如由使用者指定之調整量及調整方向來判定適眼距的新估計。使用者可基於所顯示影像之即時顯示品質,在任何方向上移動滑動條431任何量。因為初始估計適眼距401(例如,如藉由裝置上眼動追蹤系統所判定)在一些情況下可能不準確,所以基於初始估計適眼距產生之初始定製校正圖可能不能提供最佳顯示品質。系統可在各反覆中使用使用者回饋來判定更準確之適眼距估計,且可在一或多個反覆之後達成實際適眼距403。實際適眼距403係基於使用者之即時回饋來判定。系統可基於實際適眼距403產生最佳定製校正圖,且將最佳定製校正圖加載至頭戴式套件以校正顯示器非均勻性。一旦最佳校正圖應用至所顯示影像,其即可為使用者提供最佳顯示品質。
4C繪示用於判定針對眼框內之位置之陣列的校正圖之集合的實例程序400C。在特定具體實例中,可針對9×7個眼框位置中之各者重複用於產生定製校正圖之程序。在特定具體實例中,系統可僅針對9×7個眼框位置之位置的集合重複此程序。作為實例而非作為限制,系統可在各預定距離(例如,預定距離處之平面445)處,針對各平面預先判定校正圖之集合(例如,校正圖的9×7陣列)。舉例而言,系統可判定眼框440A之9×7個校正圖的集合及眼框440C之9×7個校正圖的集合。類似地,系統可在至顯示平面410之預定距離處之其他平面445上判定用於檢視位置的陣列的校正圖之集合。系統可將校正圖之此矩陣(例如,N×9×7,其中N為距離之數目)儲存於記憶體儲存器中。在運行時間,系統可首先判定初始估計適眼距距離(例如,使用眼動追蹤系統、平均眼睛距離、初始設定值、隨機值)。接著,系統可基於初始估計適眼距距離產生初始校正圖,且使用初始校正圖校正所顯示影像之顯示非均勻性。接著,系統可使用如在本發明之先前部分描述之程序、方法及原理,基於經由與虛擬滑件互動之使用者的即時回饋來判定使用者之眼睛的準確適眼距距離444。在此程序期間,系統可向使用者發指令以將凝視點聚焦在參考點(例如,顯示器之中心的垂直線)處,以使使用者之眼睛與參考線對準或在參考位置處。系統可基於對應於參考線441上之檢視位置的準確適眼距距離444來產生定製校正圖。
基於準確適眼距距離444產生之定製校正圖可在所有可能距離(沿著參考線441)當中提供最佳顯示品質。然而,使用者之眼睛位置可能不會始終處於參考線441上或處於參考位置處,因為使用者之眼睛在觀看所顯示內容時可能會自然地隨眼眶四處移動。當使用者之眼睛不在參考線441上時,針對參考線上之檢視位置產生的定製校正圖可能並非最佳校正圖。可進一步改良定製校正圖,以藉由考慮在準確適眼距距離處之平面內的眼睛位置來提供較佳顯示品質。系統可重複上述程序以判定預定位置之陣列的校正圖之陣列(例如,在準確適眼距距離444處之平面內的9×7個位置)。為產生9×7個校正圖之陣列中之各校正圖,系統可在距離Z n及Z n+1處之各別平面上之相同2D位置處選擇兩個預定校正圖。舉例而言,為產生用於眼框平面445B內之眼睛位置(例如,2D位置)的校正圖,系統可對對應於眼框平面445A中之相同2D位置的第一校正圖及對應於眼框平面445C中之相同2D位置的第二校正圖進行內插。藉由對對應於眼框平面445A(其在距離Z n+1處)及眼框平面445C(其在距離Z n處)的校正圖進行內插,系統可在準確適眼距距離444處之眼框平面445B中產生9×7個眼睛位置的9×7個校正圖的陣列。系統可將9×7個校正圖之陣列加載至頭戴式套件,且將此等校正圖儲存於記憶體儲存器以供稍後使用。
在特定具體實例中,相比於判定適眼距距離本身,裝置上眼動追蹤系統在判定所判定適眼距距離處之平面內的眼睛位置(X,Y)(例如,使用如上文所描述之方法及程序)上可能更準確。因此,系統可使用如上文所描述之方法及程序來判定準確適眼距距離444(例如,基於初始眼動追蹤資料及使用者對於所顯示品質之即時回饋),且產生校正圖之陣列(例如,眼框平面445B內的9×7個位置)。接著,系統可在運行時間使用眼動追蹤系統來判定使用者眼睛在眼框平面445B內之(X,Y)位置。舉例而言,系統可判定所量測眼睛位置446B落在由四個檢視位置(例如,圖4C中之447)包圍的區域內。系統可選擇對應於四個眼睛位置447之四個校正圖,且藉由對四個校正圖進行內插(例如,使用雙線性內插)來判定最佳定製校正圖。因此,系統可考慮顯示器之Z距離(亦即,適眼距距離)及眼框平面445B內之(X,Y)位置兩者來產生實際眼睛位置446的最佳定製校正圖。最佳定製校正可向使用者提供最佳顯示品質及使用者體驗。當使用者之眼睛在眼框平面445B內四處移動時,系統可不斷地量測平面內之使用者的眼睛位置(X,Y),針對使用者之實際眼睛位置重新產生最佳定製校正圖,且更新所顯示影像,如使用新產生之最佳定製校正圖校正。
在特定具體實例中,當使用者之眼睛在眼框平面445B內四處移動時,使用者之眼睛位置可落在眼框平面445B的兩個預定檢視位置之間。舉例而言,使用者之眼睛位置可在兩個預定檢視位置之間,且落在連接兩個鄰近之所判定檢視位置(例如,豎直地或水平地)的線上。作為另一實例,使用者之眼睛可落在眼框之邊緣線上(與落在由四個預定檢視位置包圍之區域中相反)。在此情境中,並非選擇對應於四個預定檢視位置之四個校正圖,系統可僅選擇對應於兩個預定位置的兩個校正圖,而眼睛位置落在該兩個預定位置之間。系統可藉由對所選兩個校正圖進行內插來產生定製校正圖。藉由基於兩個預定校正圖而非四個產生定製校正圖,系統可減少顯現程序所需之計算量,同時向使用者提供最佳顯示品質。
在特定具體實例中,當時使用者之眼睛在眼框平面445B內四處移動時,使用者之眼睛可落在接近(例如,在臨限距離內)眼框平面445B上之一預定檢視位置的位置上。舉例而言,眼框平面445B上之使用者之眼睛位置可在眼框拐角中的一者的臨限距離內。作為另一實例,眼框平面445B上之使用者之眼睛位置可在眼框平面445B上之預定檢視位置中的一者的臨限距離內。在此情境下,系統可量測使用者之眼睛在平面內之(X,Y)位置,且基於所選校正圖對應於眼框平面445B內之9×7個檢視位置之陣列當中的最近檢視位置的判定,自校正圖之陣列選擇一校正圖以校正待顯示之影像。換言之,最近檢視位置可為眼框平面445B上之一預定檢視位置,其在使用者的眼睛在眼框平面445B內之所量測(X,Y)位置的臨限距離內。藉由選擇對應於最近檢視位置之校正圖,系統可在產生最佳校正圖時節省計算功率,同時仍提供最佳顯示品質,因為當使用者之眼睛位置足夠接近(例如,在臨限距離內)單個預定檢視位置時,對應於該位置的校正圖可足夠準確,以提供最佳顯示體驗。
在特定具體實例中,系統可僅校準使用者之眼框平面內之有限數目個檢視位置。換言之,系統可僅產生用於眼框平面內之有限數目個檢視位置的校正圖。舉例而言,系統可僅校準眼框之中心位置及四個拐角位置。系統可對選自眼框平面445A及445C之對應校正圖進行內插,以產生用於眼框平面445B之中心檢視位置及眼框平面445B的四個拐角之校正圖(基於準確適眼距距離444)。系統可將此等產生之校正圖加載至頭戴式套件中,且將此等產生之校正圖儲存至記憶體儲存器中。在運行時間,系統可使用眼動追蹤系統來量測使用者之眼睛在眼框平面445B內之(X,Y)位置。接著,系統可基於使用者眼睛在眼框平面445B內之所量測(X,Y)位置、及對應於眼框平面445B之中心點及四個拐角的校正圖來產生定製校正圖。舉例而言,系統可藉由基於使用者眼睛在眼框平面445B內之所量測(X,Y)位置,對對應於眼框平面445B之中心點及四個拐角的校正圖進行內插,來產生用於使用者之眼睛的定製校正圖。在特定具體實例中,系統可使用準確適眼距距離值判定適於校正圖的3D表面。在特定具體實例中,經校準之眼框平面445B內之檢視位置的子集可基於使用者之瞳距(interpupillary distance;IPD,亦即使用者之眼睛的瞳孔之間的距離)、最大眼睛旋轉及由於滑動之豎直偏差來選擇。在特定具體實例中,此運行時間校準程序可基於直接對校正圖進行內插。在特定具體實例中,此運行時間校準程序可基於在預定距離處對預定傳輸圖而非校正圖進行內插。
在特定具體實例中,系統可藉由基於使用者之回饋而不使用裝置上眼動追蹤系統對預定校正圖進行內插來產生最佳定製校正圖。舉例而言,系統可使用兩步人工校準程序,以基於經由向使用者顯示之一或多個虛擬滑件之使用者的即時回饋來產生用於使用者之定製校正圖。頭戴式套件可加載有記憶體中之預定校正圖的相同矩陣(例如,N×9×7個預定校正圖)。在運行時間,對於第一步人工校準程序,系統可向使用者顯示第一虛擬滑件,以允許使用者設定及嘗試初始適眼距距離值。第一虛擬滑件可具有對應於如由預定校正圖之最小適眼距距離值及最大適眼距距離值判定之範圍的用於適眼距距離值之控制範圍。使用者可控制第一虛擬滑件之滑動條,以選擇由頭戴式套件及預先產生之校準資料支援之任何適眼距距離值。基於經由第一虛擬滑件之使用者輸入,系統可選擇兩個預定檢視位置,使用者之所選檢視位置落在該兩個預定檢視位置之間。接著,系統可自記憶體儲存器擷取與此等兩個預定檢視位置相關聯的兩個對應校正圖,且藉由對兩個所選校正圖進行內插來產生定製校正圖。在此程序期間,系統可嘗試對應於不同預定視圖距離之不同校正圖,以判定使用者之估計適眼距距離。在具有使用者經由第一虛擬滑件之即時回饋的情況下,系統可不斷地重新產生定製校正圖以校正所顯示影像,且不斷地更新如由新產生之校正圖校正的所顯示影像,直至使用者看到最佳顯示品質為止。
在特定具體實例中,在系統於所有對應於鄰近檢視位置之校正圖的組合當中判定兩個預定校正圖之內插向使用者提供最佳顯示品質之後,系統可進一步顯示第二虛擬滑件,以允許使用者基於在第一步程序期間所選之兩個鄰近檢視位置來進一步微調估計適眼距距離。第二虛擬滑件可具有對應於兩個鄰近檢視位置之適眼距距離值的控制範圍。換言之,第二虛擬滑件可僅允許使用者在第一步期間已判定之適眼距距離範圍內調整估計適眼距距離。基於使用者之即時輸入,系統可不斷地重新產生定製校正圖,且使用新產生之校正圖來校正所顯示影像。系統可重複此程序,直至使用者看到關於所顯示影像之最佳顯示品質為止。藉由使用兩步人工校準程序,系統可產生用於使用者之適眼距距離的定製校正圖,且向使用者提供最佳顯示品質。在特定具體實例中,系統可使用單個虛擬滑件經由反覆程序基於使用者的即時輸入來判定定製校正圖。
在特定具體實例中,系統可向使用者顯示虛擬滑件,其影響基底向量之一壓縮集合的向前或向後傳播(對應於來自標稱位置的波導圖),以判定用於使用者之當前眼睛位置的定製校正圖。傳播可藉由在Z方向上跨越基底向量的內插來達成。系統可判定可表示預先產生之校正圖的主要因子及係數(例如,在基底向量中),且在Z方向上對此等因子及係數執行內插來判定用於使用者之定製校正圖。可藉由計算基底向量之線性重建來執行解壓。系統可首先將RGB色彩空間中之波導圖(例如,傳輸圖或校正圖)轉換至RCbCr色彩空間,且使用包括此等因子及係數之基底向量來在YcbCr色彩空間中以壓縮形式表示校正圖。接著,系統可對基底向量執行內插以判定定製校正圖,且將其轉換回至RGB色彩空間。系統可即時重新產生定製校正圖,且使用新的重新產生之定製校正圖來調整使用者調整虛擬滑件時顯示的影像,直至使用者看到最佳顯示結果為止。在特定具體實例中,可針對9×7個眼框位置重複該程序,或替代地,可選擇子集位置以匹配使用者之IPD、最大眼睛旋轉或/及由滑動造成之豎直偏置。
作為實例而非作為限制,並非對傳輸圖或校正圖進行內插,系統可使用基底函數(例如,主分量、壓縮時間更新、設定基底因子及係數)來表示傳輸圖或校正圖,且對基底函數進行內插(此為表示圖且執行內插操作之更高效方式)。系統可使用基底因子來表示波導圖(例如,傳輸圖或校正圖)。基底向量可為線性的,且可用以重建波導圖。基底向量之因子及係數可由於其線性而進行內插。對於各Z位置,系統可設定基底函數及係數以表示對應波導圖之集合。術語「波導圖」可指代「波導傳輸圖」或「波導校正圖」。接著,系統可使用基底因子及係數以用於內插,而非直接在波導圖上操作。在特定具體實例中,波導圖可在低空間頻率中。並且,由於低頻率空間,系統可有效地執行YCbCr轉換且表示YCbCr色彩空間中之圖。在完成內插之後,系統可將內插結果轉換回至RGB色彩空間。藉由將RGB波導圖轉換成YCbCr圖,系統可更有效地執行內插,且將資料儲存於YCbCr色彩空間中。因此,出於效率目的,並非使用RBG版波導圖,系統可使用YCbCr版波導圖。系統可使用基底因子來達成第一壓縮比,且由於YCbCr表示而達成高於第一壓縮比之第二壓縮比。並非在通常校正/傳輸圖上操作,系統可使用壓縮技術來使程序更高效。在特定具體實例中,系統可使用任何可輪詢壓縮程序以用於產生基底向量。
作為波導校正圖壓縮之另一實例,用於產生藉由壓縮之校正圖的系統、程序、方法及原理的細節描述於2021年3月29日申請之題為「Waveguide Correction Map Compression」之美國專利申請案第17,216,495號中,該申請案以引用的方式併入本文中。在特定具體實例中,系統可使用校正圖校正待顯示之影像,該校正圖基於以下產生:(1)如使用眼動追蹤系統所判定之當前眼睛位置;及(2)時間濾波器及用於校正先前圖框的先前校正圖。作為實例而非作為限制,用於基於如使用眼動追蹤系統判定之當前眼睛位置及過濾先前校正圖之時間性濾波器來產生校正圖的系統、程序、方法及原理描述於2020年7月1日申請之題為「Dynamic Uniformity Correction」的美國專利申請案第16,917,025號中,該申請案以引用之方式併入本文中。
在特定具體實例中,系統可使用光場顯現產生用於校正顯示器之非均勻性的定製校正圖。舉例而言,系統可使用傳播方法以在特定適眼距距離(例如,標稱距離)處,基於預定校準資料(例如,傳輸圖),根據使用者之眼睛位置(X,Y,Z)來判定用於校正顯示器之非均勻性的校正圖。系統可預先量測數個預定眼睛位置處的波導傳輸圖,該些預定眼睛位置可在對應於標稱適眼距的平面上。可在運送產品之前在製造廠校準程序期間進行此預先量測。系統可將此等預先量測之傳輸圖儲存於記憶體儲存器中。在運行時間,系統可首先判定在包括適眼距距離之3D空間中的使用者之眼睛位置。接著,系統可使用傳播方法(例如,亦稱為基於光場顯現之射線追蹤方法或射線光學方法)來判定用於使用者的當前眼睛位置之波導傳輸圖。
在特定具體實例中,系統可在顯示波導之標稱距離之檢視位置的陣列處量測顯示波導之傳輸圖,且將預先量測之傳輸圖儲存在記憶體儲存器中。各傳輸可界定如自對應檢視位置檢視之顯示波導的傳輸特徵之特徵。傳輸特徵可與顯示波導之非均勻性傳輸特徵相關聯。舉例而言,傳輸圖可特徵化如自相關聯檢視位置檢視之各特定角度處的光強度下降。稍後在運行時間,系統可基於在標稱距離處量測的所儲存傳輸圖而產生定製校正圖(其中不需要遍及數個距離量測且儲存3D量測資料)。對所顯示影像之校正及調整可按像素進行,且校正可包括用於待顯示之影像中之各像素的縮放因子。因為顯示波導在不同色彩通道可具有不同傳輸特徵,所以系統可針對待顯示之影像的各色彩通道而產生校正圖,且使用各別校正圖來單獨地調整影像之不同色彩通道的像素值。
5A繪示用於基於光場顯現原理使用射線光學來產生校正圖之實例程序500A。在特定具體實例中,系統可使用傳播方法,以基於在與顯示器相隔標稱適眼距距離處之檢視位置的陣列處量測之數個預定傳輸圖來判定定製校正圖。作為實例而非作為限制,如在圖5A中所展示,系統可使用預先量測之傳輸圖的集合,來判定使用者之當前眼睛位置521的當前傳輸圖(例如,使用射線追蹤方法)。預先量測之傳輸圖之集合可對應於在至顯示波導510之標稱距離511處的參考平面507上的陣列檢視位置(例如,501、502、503、504、505等)。各傳輸圖可特徵化如自對應檢視位置檢視之波導傳輸特徵。在製造校準程序期間,系統可在標稱適眼距距離511處之數個預定位置處預先量測波導的傳輸圖。為判定預定檢視位置(例如,501、502、503、504、505)之傳輸圖,系統可使波導發射具有均勻亮度之已知頻譜的光,且量測在該特定視點處接收之光亮度以判定波導之傳輸圖。因此,基於此量測值判定之傳輸圖可界定如自各別檢視位置檢視之波導的(不同波導位置的)傳輸非均勻性的特徵。系統可將傳輸圖之陣列加載至頭戴式套件中,且將此等傳輸圖儲存於記憶體儲存器中以供稍後使用。
在運行時間,系統可使用傳播方法以基於所儲存傳輸圖來判定使用者之當前眼睛位置521的傳輸圖及校正圖。在特定具體實例中,傳播方法可包括將數個射線(例如,512、513、514、515、516等)自使用者之眼睛位置521投射至波導510的顯示平面。一些射線可穿過用於擷取預先擷取之傳輸圖的檢視位置(例如,512、513、514、515、516)。一些射線(例如,517)可落在用於擷取預先量測之傳輸圖的檢視位置之群組(例如,兩個、三個或四個檢視位置)之間。系統可藉由取樣如預先量測之傳輸圖表示的光場,來判定用於使用者之當前眼睛位置的傳輸圖。作為實例而非作為限制,對於穿過預定檢視位置之射線(例如,穿過檢視位置501之射線512),沿著該方向之對應光強度(具有傳輸特徵及因此顯示器傳輸非均勻性特徵),在當前傳輸圖(針對眼睛位置521)中及在對應於檢視位置(例如,501)之預先量測傳輸圖中應相同。換言之,系統可基於對應於射線(例如,512)穿過之檢視位置(例如,501)之預先擷取之傳輸圖中的相同方向之資訊(例如,光強度、顯示器傳輸特徵、顯示器傳輸非均勻性特徵),來判定沿著射線512之該射線方向的光強度(顯示器傳輸特徵及因此顯示器傳輸非均勻性特徵)。
5B繪示用於使用雙線性內插判定落在四個預定檢視位置之間的顯示器傳輸特徵(長投射射線)的實例程序500B。在特定具體實例中,對於落在用於量測預定傳輸圖之四個預定檢視位置之間的射線,系統可使用雙線性內插程序,以沿著基於如自四個預定檢視位置檢視之相同方向之四個光強度(包括顯示器傳輸特徵、顯示器傳輸非均勻性特徵)的該射線方向來判定光強度(包括顯示器傳輸特徵、顯示器傳輸非均勻性特徵)。作為實例而非作為限制,如圖5B中所展示,系統可能需要判定用於使用者之眼睛位置531的校正圖。系統可自儲存器存取自量測平面530上之檢視位置(例如,533、534、535、536等)之陣列量測的傳輸圖之陣列,該量測平面可位於距波導539之顯示平面標稱距離處。系統可將一射線(數個射線)自使用者之眼睛位置531投射或投影至波導539。所投射射線中之一些可穿過預定檢視位置(例如,圖5A中穿過檢視位置501及502之射線512及513)。所投射射線中之一些可落入由四個預定檢視位置包圍之區域中。舉例而言,射線532與量測平面之相交點547可落入由四個預定檢視位置533、534、535及536包圍的區域中。
在特定具體實例中,系統可自各別預定檢視位置533、534、535及536沿著平行於射線532之方向的方向判定四個光強度向量543、544、545及546。換言之,光強度向量543、544、545及546可平行於射線532之方向。假設已知光源(例如,特定頻譜之均勻光源)或已知影像用於量測,光強度資訊可包括顯示器之(例如,來自波導539)顯示器傳輸特徵及顯示器傳輸非均勻性特徵。系統可使用雙線性內插程序,以基於對應於四個預定檢視位置533、534、535及536的四個光強度向量543、544、545及546來判定光強度(及顯示器傳輸特徵、顯示器傳輸非均勻性特徵)。換言之,對於各所投射射線,系統可自四個預定傳輸圖(其自包圍所投射射線與量測平面之相交點的各別四個檢視位置而量測),基於沿著相同方向之對應傳輸特徵及傳輸非均勻性特徵,判定沿著該射線方向之傳輸特徵及傳輸非均勻性特徵。由此,系統可基於四個預先量測之傳輸圖來判定用於當前眼睛位置531之當前傳輸圖。當前傳輸圖可準確地描述如自使用者之眼睛位置531檢視之波導的顯示器傳輸非均勻性特徵。接著,系統可基於當前傳輸圖產生校正圖,且使用該校正圖來在將像素值輸出至顯示器之前補償待顯示之影像的此等像素值。因此,可有效地校正顯示器傳輸非均勻性,且系統可向使用者提供最佳顯示品質。
5C繪示用於使三個座標X、Y及Z相關之實例程序500C。作為實例而非作為限制,系統可具有對應於 θ角度551之兩倍的視野。假設系統具有用於在標稱適眼距處校正所需之瞳孔位置的(X,Y)準確性的規格(例如,以mm為單位之給定(X,Y)準確性規格),系統可使用以下等式計算在波導處引起相同偏差K的適眼距中之改變: (1) 為了重建用於離開量測平面之Z的影像(例如,傳輸圖),系統可使用來自許多影像之資料(例如,傳輸圖)。為了自新適眼距距離顯現,系統可在新適眼距距離處將射線自眼睛位置傳播至量測平面。如由(U,V)座標表示之射線角度可能不改變,且所投射射線之相交點的(X,Y)位置可使用等式(1)來與Z距離相關。由於(U,V)座標不改變,因此系統可始終具有帶有精確相同角度之射線(例如,影像中之相同位置處的像素)。量測平面處之(X,Y)相交點可處於量測平面上之量測位置之間,且可用於雙線性內插,以判定沿著彼等射線方向之傳輸特徵及傳輸非均勻性特徵。
因此,系統可藉由在僅在一個適眼距處量測且儲存資料時表示瞳孔眼框體積上之顯示器傳輸非均勻性來減少量測時間及資料儲存使用。主要運行時間成本可基於所追蹤之射線的數目。系統可使用光場顯現方法,且可擷取、儲存及傳輸較少資料以在瞳孔位置之體積上進行模擬。舉例而言,單個平面處之(X,Y)掃描可能為約400 MB。在較高適眼距處,像素可將較大區域對向波導上,且系統可在較高適眼距處重新取樣之前更接近地擷取波導及低通濾波。對於量測程序,系統可登記測試器(U,X)及(X,Y,Z)軸線,且可增大掃描範圍以擷取所有所需射線。系統可在更接近波導之距離處量測,以達成較高空間解析度。
在特定具體實例中,系統可首先使用眼動追蹤系統以判定對使用者之當前適眼距距離的粗略估計。眼動追蹤系統在判定使用者之適眼距距離方面可能並不非常準確。系統可基於眼動追蹤系統之準確性及精確度等級來判定針對使用者之當前適眼距距離的估計範圍。系統可產生用於調整所顯示影像之初始定製校正圖,以校正顯示器非均勻性且將影像(如由初始校正圖所調整)顯示給使用者。接著,系統可將虛擬滑件或其他互動元素顯示給使用者,以允許使用者提供關於如由校正圖所校正之所顯示影像的品質之即時回饋。虛擬滑件可對應於使用者之適眼距距離之調整範圍,該適眼距距離對應於如基於眼動追蹤資料所判定的使用者之當前適眼距距離的估計範圍。使用者可與虛擬滑件互動以指示用於使用者之當前適眼距距離的調整量及調整方向。系統可基於經由虛擬滑件之即時使用者輸入來調整使用者之估計適眼距距離。基於所假設使用者之(X,Y)眼睛位置、或基於由眼動追蹤系統量測之使用者的(X,Y)眼睛位置,系統可在標稱距離Z處預先量測傳輸圖,以使用光場顯現來產生用於使用者之當前適眼距距離(X,Y,Z j)的合成傳輸圖。眼睛位置(X,Y,Z j)之合成傳輸圖可用於產生用於眼睛位置(X,Y,Z j)的校正圖,其又用以校正所顯示影像。系統可基於經調整之估計適眼距距離來不斷地產生新校正圖,且使用新產生之校正圖來即時地調整所顯示影像,直至使用者看到最佳顯示結果為止。因此,可有效地校正顯示器非均勻性,且系統可僅需要儲存對應於單個適眼距距離的預先量測之資料。在特定具體實例中,系統可假設使用者之適眼距將不會改變,且可僅回應於2D平面中使用者的眼睛位置改變來重新產生校正圖。在特定具體實例中,系統可假設使用者之眼睛位置(包括適眼距)可在3D空間中改變,且可回應於3D空間中使用者之眼睛位置改變來重新產生校正圖。
在特定具體實例中,系統可首先判定用於使用者之適眼距距離的初始估計以提供起始點。使用者之適眼距距離之起始點可為預設距離值、平均距離值、經驗數值等。系統可使用如上文所描述之傳播方法來基於初始適眼距距離產生初始傳輸圖。接著,系統可基於初始傳輸圖來產生初始校正圖,且使用初始校正圖來調整所顯示影像。因為使用者之適眼距之初始估計可能並不非常準確,所以使用初始校正圖的系統的顯示品質可能並非為最佳。在特定具體實例中,系統可向使用者顯示虛擬滑件,以允許使用者指定用於使用者之眼睛的候選Z j距離(在不使用眼動追蹤系統的情況下)。基於使用者之眼睛的假設(X,Y)位置、或基於使用眼動追蹤系統量測之使用者眼睛的(X,Y)位置,系統可在標稱距離Z處使用預先擷取之傳輸圖,以使用光場顯現產生用於眼睛位置(X,Y,Z j)的當前傳輸圖。眼睛位置(X,Y,Z j)之合成傳輸圖可用於產生用於眼睛位置(X,Y,Z j)的校正圖,其又用以校正所顯示影像。接著,系統可基於使用者之即時回饋來調整使用者之估計適眼距距離,且可即時地不斷更新傳輸圖及校正圖(例如,針對不同Z距離及不同(X,Y)眼睛位置,針對具有相同(X,Y)眼睛位置的不同Z距離),直至使用者看到最佳顯示結果為止。系統可針對9×7個眼框位置中之各者重複此程序,或可僅針對眼眶位置之子集重複此程序。因此,可有效地校正顯示器非均勻性,且系統可僅需要儲存對應於單個適眼距距離的預先量測之資料。在特定具體實例中,系統可假設使用者之適眼距不會改變,且可僅回應於2D平面中使用者的眼睛位置改變來重新產生校正圖。在特定具體實例中,系統可假設使用者之眼睛位置(包括適眼距)可在3D空間中改變,且可回應於3D空間中使用者之眼睛位置改變來重新產生校正圖。
在特定具體實例中,使用者可具有變化之適眼距及變化之表面,其上之其瞳孔在凝視顯示器時移動。系統可產生特定針對使用者之眼球位置及形狀的非均勻性校正圖。因為使用者之瞳孔在表面上移動,所以參數化可為2D,且系統可判定凝視角度或瞳孔(X,Y)座標的函數以用於即時校正。在特定具體實例中,系統可僅需要來自一個適眼距之資料。系統可具有用於何時更新用於校正所顯示影像之傳輸圖及校正圖的不同選項(例如,在適配程序期間之頭戴式套件的購買時間內,在眼動追蹤校準程序期間,在裝置滑動時(若發生)等)。在特定具體實例中,用於Z距離之預先量測之傳輸圖的集合可與數個(X,Y)位置相關聯,類似於光場。舉例而言,可能存在對應於10×10或9×7個(X,Y)位置之陣列的10×10或9×7個預先量測之傳輸圖的陣列。
在特定具體實例中,系統可針對各使用者之固定Z距離產生校正圖的集合,此舉在對於量測Z存在顯著不確定性時係有用的。一旦使用者戴上頭戴式套件,系統就可假設使用者之適眼距不會改變。在一些其他具體實例中,該系統可假設使用者之眼睛位置可在3D空間中(包括適眼距距離)改變。系統可使用即時眼動追蹤來判定3D空間中之使用者的眼睛位置(假設眼動追蹤系統能夠足夠準確地量測使用者之Z距離),且使用內插法或光場顯現來針對各圖框,基於使用者的3D眼睛位置判定當前校正圖。換言之,系統可能不具有顯式校準階段,且可能不需要產生特定針對某一適眼距距離的校準。替代地,系統可自原始資料起作用,且針對各圖框計算用於使用者之當前3D眼睛位置的校正圖。此具體實例可產生最準確之校正圖,但就計算及記憶體使用而言可能相對昂貴。
6繪示用於使用預定校正圖來產生定製校正圖以校正顯示器非均勻性之實例方法600。方法可在步驟610處開始,在步驟610處,計算系統可基於眼動追蹤系統來判定使用者之眼睛至顯示器的顯示平面的估計距離。在步驟620處,系統可存取對應於至顯示器之顯示平面之數個參考距離的數個校正圖。在步驟630處,系統可基於估計距離自參考距離選擇第一參考距離及第二參考距離。在步驟640處,系統可基於對應於第一參考距離之第一校正圖與對應於第二參考距離之第二校正圖的內插,來產生用於使用者的定製校正圖。在步驟650處,該統可使用定製校正圖來調整待顯示於顯示器上之影像。該定製校正圖可校正如自該使用者之該眼睛檢視之該顯示器的非均勻性。在步驟660處,系統可在顯示器上顯示使用定製校正圖調整之影像。
在特定具體實例中,第一參考距離及第二參考距離可基於以下判定來選擇:使用者之眼睛至顯示平面的估計距離落入如藉由第一參考距離及第二參考距離判定之距離範圍內。在特定具體實例中,校正圖可基於如自參考距離檢視之顯示器的非均勻性特徵來判定。在特定具體實例中,系統可在顯示器上將互動元素顯示給使用者。系統可經由使用者與互動元素之互動來接收使用者輸入。系統可基於第一校正圖、第二校正圖及使用者輸入來產生後續定製校正圖。系統可使用後續定製校正圖來調整待顯示於顯示器上之影像。系統可在顯示器上顯示使用後續定製校正圖調整之影像。
在特定具體實例中,使用者輸入可包括用於使用者之眼睛至顯示器之顯示平面的估計距離的調整量及調整方向。在特定具體實例中,系統可使用調整量及調整方向,藉由調整估計距離來判定使用者之眼睛的後續估計距離。後續定製校正圖可藉由基於後續估計距離、第一參考距離及第二參考距離而對第一校正圖及第二校正圖進行內插來判定。在特定具體實例中,系統可在至顯示器之顯示平面的後續估計距離處之平面上判定數個檢視位置。系統可針對檢視位置中之各檢視位置產生校正圖。與檢視位置中之一檢視位置相關聯之校正圖可校正如自檢視位置檢視的顯示器的非均勻性。
在特定具體實例中,系統可在後續估計距離處之平面上判定使用者之眼睛的2D位置。系統可基於眼睛之2D位置落入由四個檢視位置包圍之區域內的判定來選擇對應於四個檢視位置的四個校正圖。系統可基於所選四個校正圖來判定用於校正顯示器之非均勻性的改良定製校正圖。在特定具體實例中,顯示器可包括用於將光耦合至使用者之眼睛以用於光場顯現的一或多個波導。在特定具體實例中,校正圖可基於用於在參考距離處將光耦合至使用者之眼睛的一或多個波導之非均勻性特徵。
在適當時,特定具體實例可重複圖6之方法之一或多個步驟。儘管本發明將圖6之方法的特定步驟描述且繪示為按特定次序發生,但本發明涵蓋圖6之方法的任何合適步驟按任何合適的次序發生。此外,儘管本發明描述且說明了包括圖6之方法的特定步驟之用於使用預定校正圖來產生定製校正圖以校正顯示器非均勻性的實例方法,但在適當時,本發明涵蓋包括可包括圖6之方法的步驟中之所有、一些或無一者的任何合適步驟的用於使用預定校正圖來產生定製校正圖以校正顯示器非均勻性的任何合適方法。此外,儘管本發明描述且說明執行圖6之方法之特定步驟的特定構件、裝置或系統,但本發明涵蓋實行圖6之方法之任何合適步驟的任何合適構件、裝置或系統之任何合適組合。
7繪示用於使用光場顯現來產生定製校正圖以校正顯示器非均勻性之實例方法700。方法可在步驟710處開始,在步驟710處,計算系統可判定使用者之眼睛至顯示器之顯示平面的估計距離。在步驟720處,系統可自記憶體儲存器存取數個傳輸圖,其特徵化如自量測平面內之數個預定檢視位置量測的顯示器之非均勻傳輸特徵。量測平面可與顯示平面分隔開已知距離。在步驟730處,系統可使用光場顯現基於傳輸圖來產生用於眼睛之估計距離的定製傳輸圖。在步驟740處,系統可基於定製傳輸圖來判定定製校正圖。在步驟750處,系統可使用定製校正圖來調整待顯示於顯示器上的影像。在760處,系統可在顯示器上顯示使用定製校正圖調整之影像。
在特定具體實例中,使用者之眼睛的估計距離可對應於使用者之眼睛的估計檢視位置。在特定具體實例中,沿著如自所估計檢視位置被檢視之一方向且在定製傳輸圖被特徵化的顯示器之非均勻傳輸特徵,可基於沿著自預定檢視位置中之一預定檢視位置檢視的方向之對應非均勻傳輸特徵來判定,如同在傳輸圖之對應傳輸圖被特徵化。在特定具體實例中,沿著自所估計檢視位置被檢視之一方向且在定製傳輸圖被特徵化的顯示器之非均勻傳輸特徵,可基於如自預定檢視位置中之四個預定檢視位置被檢視的四個非均勻傳輸特徵來判定。四個非均勻傳輸特徵可在傳輸圖中之四個傳輸圖中擷取。在特定具體實例中,如自所估計檢視位置被檢視之顯示器之定製傳輸圖,可基於如自四個預定檢視位置量測的四個傳輸圖的雙線性內插來判定。
在特定具體實例中,使用者之眼睛的估計距離可基於眼動追蹤系統來判定。在特定具體實例中,使用者之眼睛的估計距離可基於使用者輸入來判定。在特定具體實例中,系統可接收關於所顯示影像之使用者輸入。系統可基於使用者輸入及傳輸圖來產生後續定製校正圖。系統可使用後續定製校正圖來調整影像。系統可在顯示器上向使用者顯示使用後續校正圖調整之影像。在特定具體實例中,使用者輸入可經由使用者在顯示器上與向使用者顯示之互動元素互動來接收。在特定具體實例中,至使用者之顯示於顯示器上的互動元素可為虛擬滑件。在特定具體實例中,使用者輸入可包括用於使用者之眼睛至顯示平面的估計距離之調整距離及調整方向。
在特定具體實例中,後續定製校正圖可對應於使用者之眼睛該顯示平面的後續估計距離。使用者之眼睛至顯示平面之後續估計距離可基於調整距離、調整方向及使用者之眼睛至顯示平面的估計距離來判定。在特定具體實例中,使用者輸入可經由使用者與計算系統互動(經由控制器或音訊輸入)來接收。在特定具體實例中,顯示器可包括用於將光耦合至使用者之眼睛以用於光場顯現的一或多個波導。在特定具體實例中,傳輸圖可特徵化用於在不同波導位置處將光耦合至使用者之眼睛的一或多個波導的非均勻傳輸特徵。在特定具體實例中,系統可基於傳輸圖判定數個校正圖。系統可將此等校正圖自RGB色彩空間轉換至RCbCr空間。系統可判定表示校正圖之數個基底向量。各基底向量可包括一或多個係數。
在特定具體實例中,系統可基於使用者之眼睛至顯示平面之後續眼睛距離,藉由對基底向量進行內插來判定後續定製校正圖。系統可將後續定製校正圖自RCbCr空間轉換至RGB空間。系統可使用轉換至RGB空間中之後續定製校正圖來調整至使用者的待顯示於顯示器上之後續影像。在特定具體實例中,系統可判定用於在至顯示平面之所估計距離處的平面上之數個檢視位置的數個定製校正圖。系統可基於估計眼睛位置、眼睛位置及校正圖來判定改良定製校正圖。系統可使用改良定製校正圖來調整影像。
在適當時,特定具體實例可重複圖7之方法的一或多個步驟。儘管本發明將圖7之特定方法步驟描述及說明為按特定次序發生,但本發明涵蓋圖7之任何合適的方法步驟按任何合適之次序發生。此外,儘管本發明描述且說明了包括圖7之方法的特定步驟之用於使用光場顯現來產生定製校正圖以校正顯示器非均勻性的實例方法,但在適當時,本發明涵蓋包括可包括圖7之方法的步驟中之所有、一些或無一者的任何合適步驟的用於使用光場顯現來產生定製校正圖以校正顯示器非均勻性的任何合適方法。此外,儘管本發明描述及說明實施圖7之特定方法步驟的特定構件、裝置或系統,但本發明涵蓋實施圖7之任何合適方法步驟的任何合適構件、裝置或系統的任何合適組合。
8繪示實例電腦系統800。在特定具體實例中,一或多個電腦系統800執行本文所描述或說明的一或多個方法之一或多個步驟。在特定具體實例中,一或多個電腦系統800提供本文中描述或說明之功能性。在特定具體實例中,在一或多個電腦系統800上執行的軟體執行本文所描述或說明的一或多個方法之一或多個步驟,或提供本文所描述或說明的功能性。特定具體實例包括一或多個電腦系統800之一或多個部分。本文中,在適當時,對電腦系統之參考可涵蓋計算裝置,且反之亦然。此外,在適當時,對電腦系統之參考可涵蓋一或多個電腦系統。
本發明涵蓋任何合適數目個電腦系統800。本發明涵蓋採取任何合適實體形式之電腦系統800。作為實例而非作為限制,電腦系統800可為嵌入式電腦系統、系統晶片(system-on-chip;SOC)、單板電腦系統(single-board computer system;SBC)(諸如模組電腦(computer-on-module;COM)或模組系統(system-on-module;SOM))、桌上型電腦系統、膝上型電腦或筆記本電腦系統、互動式查詢一體機、大型電腦、電腦系統之網格、行動電話、個人數位助理(personal digital assistant;PDA)、伺服器、平板電腦系統、擴增/虛擬實境裝置,或此等中之兩者或更多者的組合。在適當時,電腦系統800可包括一或多個電腦系統800;為單式或分佈式;橫跨多個位置;橫跨多個機器;橫跨多個資料中心;或駐存於雲端中,該雲端可包括一或多個網路中之一或多個雲端構件。在適當時,一或多個電腦系統800可在無實質空間或時間限制情況下執行本文所描述或說明之一或多個方法之一或多個步驟。作為實例而非作為限制,一或多個電腦系統800可即時或以批量模式執行本文所描述或說明之一或多個方法之一或多個步驟。適當時,一或多個電腦系統800可在不同時間或在不同位置執行本文所描述或說明之一或多個方法之一或多個步驟。
在特定具體實例中,電腦系統800包括處理器802、記憶體804、儲存器806、輸入/輸出(input/output;I/O)介面808、通信介面810及匯流排812。儘管本發明描述及說明具有在特定配置中之特定數目個特定構件的特定電腦系統,但本發明涵蓋在任何合適配置中之任何合適數目個任何合適構件之任何合適的電腦系統。
在特定具體實例中,處理器802包括用於執行指令(諸如組成電腦程式之指令)之硬體。作為實例而非作為限制,為執行指令,處理器802可自內部暫存器、內部快取記憶體、記憶體804或儲存器806擷取(或提取)指令;對其進行解碼且執行;且接著將一或多個結果寫入至內部暫存器、內部快取記憶體、記憶體804或儲存器806。在特定具體實例中,處理器802可包括用於資料、指令或位址之一或多個內部快取記憶體。在適當時,本發明涵蓋包括任何合適數目個任何合適的內部快取記憶體之處理器802。作為實例而非作為限制,處理器802可包括一或多個指令快取記憶體、一或多個資料快取記憶體及一或多個轉譯後備緩衝器(translation lookaside buffer;TLB)。指令快取記憶體中之指令可為記憶體804或儲存器806中之指令的複本,且指令快取記憶體可加速藉由處理器802進行的對於彼等指令的擷取。資料快取記憶體中之資料可為記憶體804或儲存器806中供在處理器802處執行的指令操作之資料的複本;供在處理器802處執行之後續指令存取或供寫入至記憶體804或儲存器806的在處理器802處執行的先前指令之結果;或其他合適資料。資料快取記憶體可加速藉由處理器802進行的讀取或寫入操作。TLB可加速用於處理器802之虛擬位址轉譯。在特定具體實例中,處理器802可包括用於資料、指令或位址之一或多個內部暫存器。在適當時,本發明涵蓋包括任何合適數目個任何合適內部暫存器之處理器802。在適當時,處理器802可包括一或多個算術邏輯單元(arithmetic logic unit;ALU);為多核處理器;或包括一或多個處理器802。儘管本發明描述及說明特定處理器,但本發明涵蓋任何合適的處理器。
在特定具體實例中,記憶體804包括用於儲存供處理器802執行之指令或供處理器802操作所針對之資料的主記憶體。作為實例而非作為限制,電腦系統800可自儲存器806或另一源(諸如另一電腦系統800)將指令加載至記憶體804。處理器802接著可將指令自記憶體804加載至內部暫存器或內部快取記憶體。為執行指令,處理器802可自內部暫存器或內部快取記憶體擷取指令且對其進行解碼。在指令執行期間或之後,處理器802可將一或多個結果(其可為中間或最終結果)寫入至內部暫存器或內部快取記憶體。處理器802接著可將彼等結果中之一或多者寫入至記憶體804。在特定具體實例中,處理器802僅執行一或多個內部暫存器或內部快取記憶體中或記憶體804(與儲存器806相對或在別處)中的指令,且僅對一或多個內部暫存器或內部快取記憶體中或記憶體804(與儲存器806相對或在別處)中之資料進行操作。一或多個記憶體匯流排(其可各自包括位址匯流排及資料匯流排)可將處理器802耦接至記憶體804。如下文所描述,匯流排812可包括一或多個記憶體匯流排。在特定具體實例中,一或多個記憶體管理單元(memory management unit;MMU)駐存在處理器802與記憶體804之間,且促進對由處理器802請求之對記憶體804的存取。在特定具體實例中,記憶體804包括隨機存取記憶體(random access memory;RAM)。在適當時,此RAM可為揮發性記憶體。在適當時,此RAM可為動態RAM(dynamic RAM;DRAM)或靜態RAM(static RAM;SRAM)。此外,在適當時,此RAM可為單埠或多埠RAM。本發明涵蓋任何合適之RAM。在適當時,記憶體804可包括一或多個記憶體804。儘管本發明描述及說明特定記憶體,但本發明涵蓋任何合適的記憶體。
在特定具體實例中,儲存器806包括用於資料或指令之大容量儲存器。作為實例而非作為限制,儲存器806可包括硬式磁碟機(hard disk drive;HDD)、軟式磁碟機、快閃記憶體、光學光碟、磁性光學光碟、磁帶或通用串列匯流排(Universal Serial Bus;USB)磁碟機或以上各者中之兩者或更多者的組合。在適當時,儲存器806可包括可抽換式或非可抽換式(或固定)媒體。適當時,儲存器806可在電腦系統800內部或外部。在特定具體實例中,儲存器806為非揮發性固態記憶體。在特定具體實例中,儲存器806包括唯讀記憶體(read-only memory;ROM)。在適當時,此ROM可為光罩經程式化ROM、可程式化ROM(programmable ROM;PROM)、可抹除PROM(erasable PROM;EPROM)、電可抹除PROM(electrically erasable PROM;EEPROM)、電可改ROM(electrically alterable ROM;EAROM),或快閃記憶體或此等中之兩者或更多者的組合。本發明涵蓋採取任何合適實體形式之大容量儲存器806。適當時,儲存器806可包括一或多個儲存器控制單元,其促進處理器802與儲存器806之間的通信。適當時,儲存器806可包括一或多個儲存器806。儘管本發明描述及說明特定儲存器,但本發明涵蓋任何合適儲存器。
在特定具體實例中,I/O介面808包括硬體、軟體或兩者,提供一或多個介面用於電腦系統800與一或多個I/O裝置之間的通信。在適當時,電腦系統800可包括此等I/O裝置中之一或多者。此等I/O裝置中之一或多者可致能個人與電腦系統800之間的通信。作為實例而非作為限制,I/O裝置可包括鍵盤、小鍵盤、麥克風、監視器、滑鼠、列印機、掃描器、揚聲器、靜態攝影機、手寫筆、平板電腦、觸控螢幕、軌跡球、視訊攝影機、另一適合之I/O裝置或此等中之兩者或更多者之組合。I/O裝置可包括一或多個感測器。本發明涵蓋任何合適之I/O裝置及用於其之任何合適之I/O介面808。在適當時,I/O介面808可包括一或多個裝置或軟體驅動器,使得處理器802能夠驅動此等I/O裝置中之一或多者。適當時,I/O介面808可包括一或多個I/O介面808。儘管本發明描述及說明特定I/O介面,但本發明涵蓋任何合適之I/O介面。
在特定具體實例中,通信介面810包括硬體、軟體或兩者,提供一或多個介面用於電腦系統800與一或多個其他電腦系統800或一或多個網路之間的通信(諸如基於封包之通信)。作為實例而非作為限制,通信介面810可包括用於與乙太網路或其他基於有線之網路通信的網路介面控制器(network interface controller;NIC)或網路配接器,或用於與無線網路(諸如WI-FI網路)通信之無線NIC(wireless NIC;WNIC)或無線配接器。本發明涵蓋任何合適的網路及用於其之任何合適的通信介面810。作為實例而非作為限制,電腦系統800可與特用網路、個人區域網路(personal area network;PAN)、區域網路(local area network;LAN)、廣域網路(wide area network;WAN)、都會區域網路(metropolitan area network;MAN)或網際網路之一或多個部分或此等中之兩者或更多者的組合通信。此等網路中之一或多者的一或多個部分可為有線或無線的。作為實例,電腦系統800可與無線PAN(wireless PAN;WPAN)(諸如藍牙WPAN)、WI-FI網路、WI-MAX網路、蜂巢式電話網路(諸如全球行動通信系統(Global System for Mobile Communication;GSM)網路)、或其他合適的無線網路或此等網路中之兩者或更多者之組合通信。在適當時,電腦系統800可包括用於此等網路中之任一者的任何合適之通信介面810。在適當時,通信介面810可包括一或多個通信介面810。儘管本發明描述及說明特定通信介面,但本發明涵蓋任何適合的通信介面。
在特定具體實例中,匯流排812包括將電腦系統800之構件彼此耦接的硬體、軟體,或兩者。作為實例而非作為限制,匯流排812可包括加速圖形埠(Accelerated Graphics Port;AGP)或另一圖形匯流排、增強工業標準架構(Enhanced Industry Standard Architecture;EISA)匯流排、前側匯流排(front-side bus;FSB)、超傳輸(HYPERTRANSPORT;HT)互連、工業標準架構(Industry Standard Architecture;ISA)匯流排、INFINIBAND互連、低針腳數(low-pin-count;LPC)匯流排、記憶體匯流排、微型通道架構(Micro Channel Architecture;MCA)匯流排、周邊構件互連(Peripheral Component Interconnect;PCI)匯流排、PCI高速(PCI-Express;PCIe)匯流排、串列進階附接技術(serial advanced technology attachment;SATA)匯流排、視訊電子標準協會局部(Video Electronics Standards Association local;VLB)匯流排,或另一合適之匯流排或此等匯流排中之兩者或更多者的組合。在適當時,匯流排812可包括一或多個匯流排812。儘管本發明描述且說明特定匯流排,但本發明涵蓋任何合適的匯流排或互連。
本文中,電腦可讀取非暫時性儲存媒體或媒體在適當時可包括一或多個基於半導體或其他積體電路(integrated circuit;IC)(諸如場可程式化閘極陣列(FPGA)或特殊應用IC(ASIC))、硬碟機(HDD)、混合式硬碟機(hybrid hard drive;HHD)、光學光碟、光學光碟機(optical disc drives;ODD)、磁性光學光碟、磁性光學磁碟機、軟碟、軟碟機(floppy disk drive;FDD)、磁帶、固態硬碟(solid-state drive;SSD)、RAM磁碟機、安全數位卡或磁碟機、任何其他合適之電腦可讀取非暫時性儲存媒體,或此等中之兩者或大於兩者的任何合適組合。在適當時,電腦可讀取非暫時性儲存媒體可為揮發性、非揮發性或揮發性與非揮發性之組合。
在本文中,除非另外明確指示或上下文另外指示,否則「或」為包括性且並非排他性的。因此,在本文中,除非另外明確指示或上下文另外指示,否則「A或B」意謂「A、B或兩者」。此外,除非另外明確指示或上下文另外指示,否則「及」係聯合及各自兩者。因此,在本文中,除非另外明確指示或上下文另外指示,否則「A及B」意謂「A及B,聯合地或各自地」。
本發明之範圍涵蓋所屬技術領域中具有通常知識者將瞭解的本文所描述或說明之範例性具體實例的全部改變、取代、變化、更改及修改。本發明之範圍不限於本文所描述或說明的範例性具體實例。此外,儘管本發明將本文各別具體實例描述且說明為包括特定構件、元件、特徵、功能、操作或步驟,但此等具體實例中之任一者可包括所屬技術領域中具有通常知識者將瞭解的本文中任何位置描述或說明的構件、元件、特徵、功能、操作或步驟中之任一者的任何組合或排列。此外,所附申請專利範圍中對經調適以、經配置以、能夠、經組態以、經啟用以、經操作以或可操作以執行特定功能的設備或系統或設備或系統之構件的參考涵蓋只要彼設備、系統或構件因此經調適、經配置、能夠、經組態、經啟用、經操作或可操作,彼設備、系統、構件(不管其或彼特定功能)便經激活、接通或解鎖。另外,儘管本發明將特定具體實例描述或說明為提供特定優勢,但特定具體實例可提供此等優勢中之無一者、一些或全部。
100A:人工實境系統 100B:擴增實境系統 100C:架構 100D:圖形管線 102:使用者 104:頭戴式套件 106:控制器 108:計算系統 110:頭戴式顯示器 112:框架 114:顯示器 120:計算系統 130:顯示引擎 131:輸入資料匯流排 132:紋理記憶體/紋素記憶體 133:變換區塊 134:像素區塊 135:顯示區塊 138:像素 140:顯示系統 142:輸出資料匯流排 142A:顯示驅動器IC 142B:顯示驅動器IC 142C:顯示驅動器IC 144:圖塊/表面對 144A:色彩通道 144B:色彩通道 144C:色彩通道 151:輸入資料 152:可見性步驟 153:重新取樣步驟 154:摻合步驟 155:校正及抖動步驟 156:串行化步驟 157:非均勻性資料 158:錯誤傳播資料 159:顯示資料 200A:波導顯示器 200B:波導顯示器 202:眼睛 204:輸出波導 206:解耦元件 210:光源組件 212:光源 214:光學系統 216:控制器 218:耦合元件 219:影像光 220:光源 222:光發射器 223:光 224:鏡面 225:軸線 226A:光 226B:光 227:影像場/掃描場 228:插圖 229:像素位置 300A:波導顯示器 300B:波導組態 302:波導組態 304:解耦區域 306A:耦合區域 306B:耦合區域 308A:發射器陣列集合 308B:發射器陣列集合 309A:分隔線 309B:分隔線 310:傳播區域 318A:頂部表面 318B:底部表面 320A:紅色影像 320B:藍色影像 320C:綠色影像 322:光瞳複製 330:耦合區域 334A:耦合元件 334B:耦合元件 334C:耦合元件 336A:解耦元件 336B:解耦元件 342:波導 350:投影器裝置 352:光發射器 354:支撐結構 400A:程序 400B:程序 400C:程序 401:初始估計適眼距 402:使用者輸入 403:實際適眼距 410:顯示平面 420:完整適眼距距離/預定距離 430:虛擬滑件 431:滑動條 441:參考線 444:準確適眼距距離 445A:眼框平面 445B:眼框平面 445C:眼框平面 446:實際眼睛位置 446B:所量測眼睛位置 447:四個眼睛位置 500A:程序 500B:程序 500C:程序 501:檢視位置 502:檢視位置 503:檢視位置 504:檢視位置 505:檢視位置 507:參考平面 510:波導 511:標稱距離 512:射線 513:射線 514:射線 515:射線 516:射線 517:射線 521:眼睛位置 530:量測平面 531:眼睛位置 532:射線 533:檢視位置 534:檢視位置 535:檢視位置 536:檢視位置 539:波導 543:光強度向量 544:光強度向量 545:光強度向量 546:光強度向量 547:相交點 551:角度 600:方法 610:步驟 620:步驟 630:步驟 640:步驟 650:步驟 660:步驟 700:方法 710:步驟 720:步驟 730:步驟 740:步驟 750:步驟 760:步驟 800:電腦系統 802:處理器 804:記憶體 806:儲存器 808:輸入/輸出介面 810:通信介面 812:匯流排 D1:距離 K:偏差 L1:第一長度 L2:第二長度
[圖1A]繪示實例人工實境系統。
[圖1B]繪示實例擴增實境系統。
[圖1C]繪示顯示引擎之實例架構。
[圖1D]繪示用於產生顯示影像資料之顯示引擎之實例圖形管線。
[圖2A]繪示實例掃描波導顯示器。
[圖2B]繪示掃描波導顯示器之實例掃描操作。
[圖3A]繪示實例2D微型LED波導顯示器。
[圖3B]繪示用於2D微型LED波導顯示器之實例波導組態。
[圖4A]繪示用於基於初始估計適眼距產生定製校正圖的實例程序。
[圖4B]繪示用於基於使用者之即時回饋判定定製校正圖之實例程序。
[圖4C]繪示用於判定針對眼框內之位置之陣列的校正圖之集合的實例程序。
[圖5A]繪示用於基於光場顯現原理使用射線光學來產生校正圖之實例程序。
[圖5B]繪示用於使用雙線性內插判定落在四個預定檢視位置之間的顯示器傳輸特徵(長投射射線)的實例程序。
[圖5C]繪示用於使三個座標X、Y及Z相關之實例程序。
[圖6]繪示用於使用預定校正圖來產生定製校正圖以校正顯示器非均勻性之實例方法。
[圖7]繪示用於使用光場顯現來產生定製校正圖以校正顯示器非均勻性之實例方法。
[圖8]繪示實例電腦系統。
400A:程序
401:初始估計適眼距
410:顯示平面
420:完整適眼距距離/預定距離

Claims (20)

  1. 一種方法,其包含藉由一計算系統: 基於一眼動追蹤系統判定一使用者之一眼睛至一顯示器之一顯示平面的一估計距離; 存取對應於至該顯示器之該顯示平面之複數個參考距離的複數個校正圖; 基於該估計距離自該複數個參考距離選擇一第一參考距離及一第二參考距離; 至少基於對應於該第一參考距離之一第一校正圖與對應於該第二參考距離之一第二校正圖的一內插,來產生用於該使用者之一定製校正圖; 使用該定製校正圖來調整待顯示於該顯示器上之一影像,其中該定製校正圖校正如自該使用者之該眼睛檢視的該顯示器的非均勻性;及 在該顯示器上顯示使用該定製校正圖調整之該影像。
  2. 如請求項1之方法,其中該第一參考距離及該第二參考距離係基於以下判定來選擇:該使用者之該眼睛至該顯示平面的該估計距離落在如藉由該第一參考距離及該第二參考距離判定之一距離範圍內。
  3. 如請求項1之方法,其中該複數個校正圖係基於如自該複數個參考距離檢視之該顯示器的非均勻性特徵來判定。
  4. 如請求項1之方法,其進一步包含: 在該顯示器上將一互動元素顯示給該使用者; 經由該使用者與該互動元素之一互動來接收一使用者輸入; 基於該第一校正圖、該第二校正圖及該使用者輸入,來產生一後續定製校正圖; 使用該後續定製校正圖調整待顯示於該顯示器上之該影像;及 在該顯示器上顯示使用該後續定製校正圖調整之該影像。
  5. 如請求項4之方法,其中該使用者輸入包含用於該使用者之該眼睛至該顯示器之該顯示平面的該估計距離的一調整量及一調整方向。
  6. 如請求項5之方法,其進一步包含: 藉由使用該調整量及該調整方向調整該估計距離來判定該使用者之該眼睛之一後續估計距離,其中藉由基於該後續估計距離、該第一參考距離及該第二參考距離內插該第一校正圖及該第二校正圖,來判定該後續定製校正圖。
  7. 如請求項6之方法,其進一步包含: 在至該顯示器之該顯示平面之該後續估計距離處的一平面上,判定複數個檢視位置;及 針對該複數個檢視位置中之各檢視位置產生一校正圖,其中與該複數個檢視位置中之一檢視位置相關聯的該校正圖校正如自該檢視位置檢視之該顯示器的非均勻性。
  8. 如請求項7之方法,其進一步包含: 在該後續估計距離處之該平面上判定該使用者之該眼睛的一2D位置; 基於以下一判定選擇對應於四個檢視位置之四個校正圖:該眼睛之該2D位置落在藉由該些四個檢視位置包圍的一區域內;及 基於該些所選四個校正圖來判定用於校正該顯示器之非均勻性的一改良定製校正圖。
  9. 如請求項1之方法,其中該顯示器包含一或多個波導,其用於將光耦合至該使用者之該眼睛以用於光場顯現。
  10. 如請求項9之方法,其中該複數個校正圖係基於用於在該複數個參考距離處將光耦合至該使用者之該眼睛的該一或多個波導的非均勻性特徵。
  11. 一或多種電腦可讀取非暫時性儲存媒體,其體現軟體,該軟體在執行時可操作以: 基於一眼動追蹤系統判定一使用者之一眼睛至一顯示器之一顯示平面的一估計距離; 存取對應於至該顯示器之該顯示平面之複數個參考距離的複數個校正圖; 基於該估計距離自該複數個參考距離選擇一第一參考距離及一第二參考距離; 至少基於對應於該第一參考距離之一第一校正圖與對應於該第二參考距離之一第二校正圖的一內插,來產生用於該使用者之一定製校正圖; 使用該定製校正圖來調整待顯示於該顯示器上之一影像,其中該定製校正圖校正如自該使用者之該眼睛檢視的該顯示器的非均勻性;及 在該顯示器上顯示使用該定製校正圖調整之該影像。
  12. 如請求項11之媒體,其中該第一參考距離及該第二參考距離係基於以下判定來選擇:該使用者之該眼睛至該顯示平面的該估計距離落在如藉由該第一參考距離及該第二參考距離判定之一距離範圍內。
  13. 如請求項11之媒體,其中該複數個校正圖係基於如自該複數個參考距離檢視之該顯示器的非均勻性特徵來判定。
  14. 如請求項1之媒體,其進一步體現軟體,該軟體可操作以: 在該顯示器上將一互動元素顯示給該使用者; 經由該使用者與該互動元素之一互動來接收一使用者輸入; 基於該第一校正圖、該第二校正圖及該使用者輸入,來產生一後續定製校正圖; 使用該後續定製校正圖調整待顯示於該顯示器上之該影像;及 在該顯示器上顯示使用該後續定製校正圖調整之該影像。
  15. 如請求項14之媒體,其中該使用者輸入包含用於該使用者之該眼睛至該顯示器之該顯示平面的該估計距離的一調整量及一調整方向。
  16. 一種系統,其包含: 一或多個非暫時性電腦可讀取儲存媒體,其體現指令;及 一或多個處理器,其耦接至該些儲存媒體,且可操作以執行該些指令以: 基於一眼動追蹤系統判定一使用者之一眼睛至一顯示器之一顯示平面的一估計距離; 存取對應於至該顯示器之該顯示平面之複數個參考距離的複數個校正圖; 基於該估計距離自該複數個參考距離選擇一第一參考距離及一第二參考距離; 至少基於對應於該第一參考距離之一第一校正圖與對應於該第二參考距離之一第二校正圖的一內插,來產生用於該使用者之一定製校正圖; 使用該定製校正圖來調整待顯示於該顯示器上之一影像,其中該定製校正圖校正如自該使用者之該眼睛檢視的該顯示器的非均勻性;及 在該顯示器上顯示使用該定製校正圖調整之該影像。
  17. 如請求項16之系統,其中該第一參考距離及該第二參考距離係基於以下判定來選擇:該使用者之該眼睛至該顯示平面的該估計距離落在如藉由該第一參考距離及該第二參考距離判定之一距離範圍內。
  18. 如請求項16之系統,其中該複數個校正圖係基於如自該複數個參考距離檢視之該顯示器的非均勻性特徵來判定。
  19. 如請求項16之系統,其中該系統進一步經組態以: 在該顯示器上將一互動元素顯示給該使用者; 經由該使用者與該互動元素之一互動來接收一使用者輸入; 基於該第一校正圖、該第二校正圖及該使用者輸入,來產生一後續定製校正圖; 使用該後續定製校正圖調整待顯示於該顯示器上之該影像;及 在該顯示器上顯示使用該後續定製校正圖調整之該影像。
  20. 如請求項19之系統,其中該使用者輸入包含用於該使用者之該眼睛至該顯示器之該顯示平面的該估計距離的一調整量及一調整方向。
TW112102396A 2022-01-21 2023-01-18 顯示器非均勻性校正 TW202338431A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/581,805 US11754846B2 (en) 2022-01-21 2022-01-21 Display non-uniformity correction
US17/581,805 2022-01-21

Publications (1)

Publication Number Publication Date
TW202338431A true TW202338431A (zh) 2023-10-01

Family

ID=85227028

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112102396A TW202338431A (zh) 2022-01-21 2023-01-18 顯示器非均勻性校正

Country Status (3)

Country Link
US (1) US11754846B2 (zh)
TW (1) TW202338431A (zh)
WO (1) WO2023141101A1 (zh)

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004234379A (ja) 2003-01-30 2004-08-19 Sony Corp 画像処理方法、画像処理装置及び画像処理方法を適用した撮像装置、表示装置
EP1536399A1 (en) 2003-11-26 2005-06-01 Barco N.V. Method and device for visual masking of defects in matrix displays by using characteristics of the human vision system
CA2553473A1 (en) 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
US20080117231A1 (en) 2006-11-19 2008-05-22 Tom Kimpe Display assemblies and computer programs and methods for defect compensation
JP5094430B2 (ja) 2008-01-10 2012-12-12 キヤノン株式会社 画像処理方法、画像処理装置、システム
US7551341B1 (en) 2008-01-28 2009-06-23 Dolby Laboratories Licensing Corporation Serial modulation display having binary light modulation stage
US9117384B2 (en) * 2011-03-18 2015-08-25 Blackberry Limited System and method for bendable display
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
JP2015075516A (ja) * 2013-10-07 2015-04-20 ソニー株式会社 画像処理装置、画像処理方法、および表示装置
US10228562B2 (en) 2014-02-21 2019-03-12 Sony Interactive Entertainment Inc. Realtime lens aberration correction from eye tracking
CN104469343B (zh) 2014-11-26 2017-02-01 北京智谷技术服务有限公司 光场显示控制方法和装置、光场显示设备
WO2016105521A1 (en) 2014-12-23 2016-06-30 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
KR102254540B1 (ko) * 2015-01-06 2021-05-21 삼성디스플레이 주식회사 곡면형 표시 장치 및 이의 구동방법
CN113358045A (zh) 2015-11-04 2021-09-07 奇跃公司 光场显示度量
US10445860B2 (en) 2015-12-08 2019-10-15 Facebook Technologies, Llc Autofocus virtual reality headset
KR20180075293A (ko) 2016-12-26 2018-07-04 엘지디스플레이 주식회사 무안경 입체 영상 표시장치
US10248197B2 (en) 2017-04-27 2019-04-02 Imam Abdulrahman Bin Faisal University Systems and methodologies for real time eye tracking for electronic device interaction
AU2018373495B2 (en) 2017-11-21 2023-01-05 Immersive Robotics Pty Ltd Frequency component selection for image compression
WO2019143864A1 (en) 2018-01-17 2019-07-25 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
US10942355B2 (en) 2018-01-22 2021-03-09 Facebook Technologies, Llc Systems, devices, and methods for tiled multi-monochromatic displays
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
GB2575658B (en) 2018-07-18 2020-12-23 Envisics Ltd Head-up display
US11302234B2 (en) 2018-08-07 2022-04-12 Facebook Technologies, Llc Error correction for display device
US10861415B2 (en) 2018-08-14 2020-12-08 Facebook Technologies, Llc Display device with throughput calibration
US20210302756A1 (en) 2018-08-29 2021-09-30 Pcms Holdings, Inc. Optical method and system for light field displays based on mosaic periodic layer
US10958702B1 (en) 2018-09-11 2021-03-23 Amazon Technologies, Inc. Timeout optimization for streaming video
US11170521B1 (en) 2018-09-27 2021-11-09 Apple Inc. Position estimation based on eye gaze
US10636116B1 (en) 2018-10-22 2020-04-28 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US10871627B1 (en) * 2018-12-12 2020-12-22 Facebook Technologies, Llc Head-mounted display device with direct-current (DC) motors for moving displays
US11454779B1 (en) * 2018-12-12 2022-09-27 Meta Platforms Technologies, Llc Head-mounted display device with stepper motors for moving displays
US11042187B1 (en) * 2018-12-12 2021-06-22 Facebook Technologies, Llc Head-mounted display device with voice coil motors for moving displays
CN109658876B (zh) 2019-02-28 2023-04-11 京东方科技集团股份有限公司 图像显示处理方法及装置、显示装置及存储介质
WO2020187828A1 (en) 2019-03-15 2020-09-24 Realfiction Aps Directional oled display
US11754500B2 (en) 2019-06-20 2023-09-12 Cilag Gmbh International Minimizing image sensor input/output in a pulsed fluorescence imaging system
US11508285B2 (en) 2019-07-23 2022-11-22 Meta Platforms Technologies, Llc Systems and methods for spatio-temporal dithering
US11156829B2 (en) 2019-07-29 2021-10-26 Facebook Technologies, Llc Pupil expander cailibration
JP2021056369A (ja) * 2019-09-30 2021-04-08 セイコーエプソン株式会社 ヘッドマウントディスプレイ
US11288503B2 (en) 2019-11-04 2022-03-29 Facebook Technologies, Llc Systems and methods for image adjustment based on pupil size
US11410272B2 (en) 2020-07-01 2022-08-09 Facebook Technologies, Llc. Dynamic uniformity correction
US11265577B1 (en) 2020-12-10 2022-03-01 Amazon Technologies, Inc. High precision frequency quantization for image and video encoding

Also Published As

Publication number Publication date
US20230236429A1 (en) 2023-07-27
US11754846B2 (en) 2023-09-12
WO2023141101A1 (en) 2023-07-27

Similar Documents

Publication Publication Date Title
US11176901B1 (en) Pan-warping and modifying sub-frames with an up-sampled frame rate
US11410272B2 (en) Dynamic uniformity correction
US11942009B2 (en) Display non-uniformity correction
US11743435B2 (en) Multi-projector display architecture
US11120770B2 (en) Systems and methods for hiding dead pixels
CN114127834A (zh) 用于时空抖动的系统和方法
US11011123B1 (en) Pan-warping and modifying sub-frames with an up-sampled frame rate
US11551636B1 (en) Constrained rendering
CN117178251A (zh) 波导校正图压缩
TW202338431A (zh) 顯示器非均勻性校正
TW202247646A (zh) 顯示偽影減少
US11710212B1 (en) Display non-uniformity correction
US10950199B1 (en) Systems and methods for hiding dead pixels
US11733773B1 (en) Dynamic uniformity correction for boundary regions
CN114127835A (zh) 用于基于掩模的时空抖动的系统和方法