TW202238222A - 用於擴增實境及虛擬實境裝置的反向穿透式眼鏡 - Google Patents

Abstract

一種用於提供頭戴式裝置顯示器的使用者的反向穿透式視圖給旁觀者之裝置包含目鏡，其包括光學表面，所述光學表面是被配置以提供影像給在所述光學表面的的第一側的使用者。所述裝置亦包含第一相機，其被配置以收集在第一視野中從所述光學表面反射的所述使用者的臉的一部分的影像、顯示器，其相鄰所述光學表面並且被配置以向前投影所述使用者的臉的影像、以及螢幕，其被配置以從所述顯示器接收光並且提供所述使用者的臉的影像給旁觀者。

Description

用於擴增實境及虛擬實境裝置的反向穿透式眼鏡

本揭露內容是有關於包含反向穿透式特點的擴增實境(AR)及虛擬實境(VR)裝置，其提供使用者的臉部特徵的逼真的視圖給前方旁觀者。更明確地說，本揭露內容提供自動立體的外部顯示器給AR/VR頭戴式裝置使用者的旁觀者。 相關申請案之交互參照

本揭露內容是相關並且根據第35號美國法典第119條(e)項來主張2021年1月27日申請的Nathan Matsuda等人的名稱為"用於擴增實境及虛擬實境裝置的反向穿透式眼鏡"的美國臨時申請案號63/142,458、以及2020年12月23日申請的Lombardi等人的名稱為"學習以預測隱含的體積的化身"的美國臨時申請案號63/129,989、以及2021年12月17日申請的美國非臨時專利申請案號17/555,037的優先權，所述美國專利申請案的內容藉此為了所有的目的而以其整體被納入作為參考。

在AR及VR裝置的領域中，某些裝置包含面向外的顯示器，其提供針對於正顯示給所述裝置的使用者的影像的視圖給旁觀者。儘管這些配置促進旁觀者更佳理解AR或VR裝置的使用者正在體驗的內容，但是其讓旁觀者對於所述使用者的心態或是所述使用者的注意焦點為何毫無頭緒，例如所述使用者是否正嘗試利用穿透模式來對所述旁觀者說話，而不是從事於虛擬實境的環境中。再者，對於此種具有面向外的顯示器的裝置而言，它們通常是傳統二維的顯示器，其缺少所述使用者的臉或頭的至少一部分的整體的影像的逼真的視圖，例如是在所述裝置之內描繪所述使用者的臉或頭的正確的深度及距離。

在一第一實施例中，一種裝置包含一近眼顯示器，其被配置以提供一影像給一使用者、以及一眼睛成像系統，其被配置以收集所述使用者的臉的一影像。所述裝置亦包含一光場顯示器，其被配置以提供所述使用者的臉的三維的重建的一自動立體的影像給一旁觀者。所述自動立體的影像從所述光場顯示器的一視野之內的多個視點(viewpoint)描繪所述使用者的臉的一透視校正的視圖。

在一第二實施例中，一種電腦實施的方法包含接收具有一對象的至少兩個或多個視野的多個二維的影像、利用一組可學習的權重以從所述二維的影像抽取多個影像特徵、沿著在所述對象的一個三維模型以及針對於一旁觀者的一所選的觀察點之間的一方向投影所述影像特徵、以及提供所述對象的所述三維模型的一自動立體的影像給所述旁觀者。

在一第三實施例中，一種電腦實施的方法是被使用於訓練一模型，以提供一使用者的臉的一部分的一視圖至一虛擬實境頭戴式裝置中的一自動立體的顯示器。所述電腦實施的方法是從多個使用者的臉收集多個真實的影像、利用儲存的校準的立體的影像對來矯正所述真實的影像、利用一個三維的臉模型來產生對象的多個合成的視圖，其中對象的所述合成的視圖包含對應於所述對象的多個視圖的沿著不同的方向被投影的多個特徵映射的內插(interpolation)、以及根據在所述真實的影像以及對象的所述合成的視圖之間的差異來訓練所述三維的臉模型。

在又一實施例中，一種系統包含一用於儲存指令的第一裝置以及一用於執行所述指令以執行一種方法的第二裝置，所述方法包含接收具有一對象的至少兩個或多個視野的多個二維的影像、利用一組可學習的權重以從所述二維的影像抽取多個影像特徵，沿著在所述對象的一個三維模型以及針對於一旁觀者的一所選的觀察點之間的一方向投影所述影像特徵、並且提供所述對象的所述三維模型的一自動立體的影像給所述旁觀者。

在以下的詳細說明中，許多特定的細節被闡述以提供本揭露內容的完整的理解。然而，對於此項技術中通常技能者而言將會明顯的是，本揭露內容的實施例可以在無這些特定細節中的某些細節下實施。在其它實例中，眾所周知的結構及技術未被詳細展示，以免模糊本揭露內容。

在AR及VR裝置的領域以及其之用途中，在使用者以及環境之間存在有脫節，即使其對於所述使用者以及其他附近的人而言不是危險的，但是對於所述使用者周圍的人也可能是惱人的。在某些情節中，讓所述使用者從事與一或多個旁觀者談話或引起注意可能是所期望的。目前的AR及VR裝置缺少能力讓旁觀者從事及驗證所述使用者的注意焦點。

通常，嘗試匹配一廣角的視野或三維的顯示器與一深的焦距的顯示應用是需要犧牲顯示器的空間解析度。一種縮減在所述顯示器中的像素尺寸之方法是增加所述解析度；然而，在目前最佳技術中的像素尺寸正到達可見光及近紅外光的繞射極限，此對於可被達成的最終解析度施加限制。在AR及VR裝置的情形中，給定和這些裝置中牽涉到的形狀因數及角度的尺寸相關的有限的範圍，此在空間解析度以及角度解析度之間的折中是較小收斂性的。

AR/VR裝置的一所期望的特點是具有小的形狀因數。於是，更薄的裝置是所期望的。為了達成此，具有較短的工作距離的多微透鏡陣列(MLA)光場顯示器是藉由利用全息短焦透鏡(pancake lense)的便利的設計來提供具有有限的解析度損失的VR頭戴式裝置的薄的橫截面。

AR/VR裝置的另一所期望的特點是提供高解析度。儘管此在焦點深度上施加限制，但是此在被用來捕捉複雜景色的光學系統中常見的限制對於在此揭露的外部顯示器而言是較不嚴格的，因為所述景深是被限制在所述外部顯示器以及使用者的臉之間的變化很小的相對位置。

如同在此所揭露的實施例是改善利用VR頭戴式裝置於廣泛多樣的應用的親身互動的品質，其中一或多個穿戴VR頭戴式裝置的人和一或多個未穿戴VR頭戴式裝置的人互動。如同在此論述的實施例移除在VR使用者以及旁觀者或其它VR使用者之間的摩擦，並且橋接VR及AR之間的間隙：透視的AR與VR系統的更多技巧以及更高的沉浸能力的共存的益處。於是，如同在此所揭露的實施例提供更令人注目且更自然的VR體驗。

更一般而言，如同在此所揭露的實施例是提供AR/VR頭戴式裝置，其對於旁觀者而言看起來像是一副標準的透視的眼鏡，致能AR/VR使用者更佳的參與周圍的環境。此在其中AR/VR使用者和其他人或旁觀者互動的情節中是非常有幫助的。

圖1A是描繪根據某些實施例的一頭戴式裝置10A，其包含自動立體的外部顯示器110A。頭戴式裝置10A可以是一AR或VR裝置，其被配置以安裝在一使用者的頭部上。頭戴式裝置10A包含藉由一帶15機械式耦接的兩個目鏡100A，並且具有一撓性的架座以將電子構件20保持在所述使用者的頭部的後方。一撓曲連接器5可以電子式耦接目鏡100A與電子構件20。目鏡100A的每一個包含眼睛成像系統115-1及115-2(在以下整體被稱為“眼睛成像系統115”)，其被配置以在一所選的視野(FOV)內收集所述使用者的臉的一部分從一光學表面反射的影像。眼睛成像系統115可包含雙眼相機，其在不同的FOV收集所述使用者的眼睛的兩個影像，以便於產生所述使用者的臉的至少一部分的一個三維立體的視圖。眼睛成像系統115可以提供有關瞳孔位置及移動的資訊至所述電子構件。目鏡100A亦可包含外部顯示器110A(例如，一光場顯示器)，其相鄰所述光學表面並且被配置以從所述使用者向前投影所述使用者的臉的一自動立體的影像。

在某些實施例中，電子構件20可包含一儲存指令的記憶體電路112以及一處理器電路122，其執行所述指令以從眼睛成像系統115接收所述使用者的臉的部分的影像，並且提供所述使用者的臉的自動立體的影像至外部顯示器110A。再者，電子構件20亦可從所述一或多個眼睛相機接收來自所述使用者的臉的部分的影像，並且施加影像分析以評估所述使用者在外部視野的一特點或是一虛擬實境顯示器上的注視、輻輳(vergence)及聚焦。在某些實施例中，電子構件20包含一通訊模組118，其被配置以和網路通訊。通訊模組118可包含射頻軟體及硬體，以無線地通訊記憶體112及處理器122與一外部的網路或是某種其它裝置。於是，通訊模組118可包含無線電天線、收發器及感測器，並且亦包含用於根據多個無線協定的任一個，例如Wi-Fi、藍芽、近場通訊(NFC)、與類似者來信號處理的數位處理電路。此外，通訊模組118亦可以與頭戴式裝置10A合作的其它輸入工具及配件(例如，握把搖桿、搖桿、滑鼠、無線簡報器、與類似者)通訊。

在某些實施例中、目鏡100A可包含一或多個外部相機125-1及125-2(在以下整體被稱為“外部相機125”)以為了所述使用者捕捉一場景的前視圖。在某些實施例中，外部相機125可以根據可從所述雙眼相機所提供的所述使用者的臉的部分的影像導出的所述使用者的視圖的注視、輻輳及其它特點，來聚焦或針對於(例如，藉由處理器122)所述使用者可能特別關注的所述前視圖的特點。

圖1B是描繪根據某些實施例的如同由一前方旁觀者所觀看的一頭戴式裝置10B。在某些實施例中，頭戴式裝置10B可以是具有“浮潛”配置的一AR或VR裝置。在以下，頭戴式裝置10A及10B將會整體被稱為“頭戴式裝置10”。在某些實施例中，一面罩100B可包含單一前向顯示器110B，其提供使用者101的一視圖給一旁觀者102。顯示器110B包含臉的一部分，其具有使用者101的兩個眼睛、鼻子的一部分、眉毛、以及其它臉部特點。再者，所述使用者的臉的一自動立體的影像111可包含例如是所述使用者的眼睛的一正確且即時的位置的細節，其指出使用者101的一注視方向以及注意的一輻輳或焦點。此可以向旁觀者102指出所述使用者是否正注意已經說過的某物、或是可能吸引所述使用者注意的某個其它環境的干擾或感官的輸入。

在某些實施例中，自動立體的影像111是提供所述使用者的臉的一3D成像。於是，旁觀者102具有所述使用者的臉以及甚至所述使用者的頭部的一整體視圖，其在旁觀者102改變一視角時改變透視。在某些實施例中，所述向外投影的顯示器110B可包含所述使用者的臉的一部分的影像以外的影像特徵。例如，在某些實施例中，所述向外投影的顯示器可以在所述影像中包含虛擬的元素，其被重疊至所述使用者的臉的影像(例如，所述使用者實際正在觀看的虛擬影像的一反射或眩光、或是在環境中的一真實光源)。

圖2是描繪根據某些實施例的用於一AR或VR裝置的一目鏡200的詳細視圖，其被配置以提供所述使用者的臉的一反向穿透式視圖給一前方旁觀者(參見目鏡100A以及浮潛面罩100B)。目鏡200包含一光學表面220，其被配置以提供一影像給在光學表面220的第一側(左邊)的一使用者。在某些實施例中，至所述使用者的所述影像可以是由一前向相機225所提供，並且光學表面220可包含一耦接至前向相機225的顯示器。在某些實施例中，在光學表面220中的影像可以是由一處理器所提供的一虛擬影像，所述處理器是執行被儲存在一記憶體中的指令(例如，對於VR裝置而言是記憶體112以及處理器122)。在某些實施例中(例如，對於AR裝置而言)，至所述使用者的所述影像至少部分可包含從目鏡200的前側經由透明的光學構件(例如，透鏡、波導、稜鏡、與類似者)透射的影像。

在某些實施例中，目鏡200亦包含一第一眼相機215A以及一第二眼相機215B(在以下整體被稱為“眼相機215”)，其被配置以在兩個不同的FOV收集所述使用者的臉的第一及第二影像(例如，所述使用者的眼睛)。在某些實施例中，眼相機215可以是紅外線相機，其是在反射模式中從一熱鏡組件205收集所述使用者的臉的影像。一照明環211可以提供照明至所述使用者的臉的將藉由眼相機215成像的部分。於是，光學表面220可被配置成在藉由眼相機215所操作的光波長(例如，紅外線領域)是反射的，並且是透射提供包含紅色(R)、藍色(B)及綠色(G)像素的影像給所述使用者的光(例如，可見光領域)。一前向顯示器210B投影所述使用者的臉的一自動立體的影像給一旁觀者(在所述圖的右邊)。

圖3A-3D是描繪根據某些實施例的一微透鏡陣列300的不同特點及構件，其在一AR或VR裝置中被使用作為一螢幕以提供一使用者的一反向穿透式視圖給一前方旁觀者。在某些實施例中，微透鏡陣列300從一像素陣列320接收光，並且提供所述使用者的臉的影像給所述旁觀者。在某些實施例中，所述使用者的臉的影像是所述使用者的臉根據所述旁觀者視角的一3D再現的立體圖。

圖3A是微透鏡陣列300的詳細的視圖，並且包含多個微透鏡301-1、301-2及301-3(在以下全體被稱為“微透鏡301”)，其是以具有一間距305的一個二維的圖案302來配置的。在某些實施例中，一孔徑遮罩315可以相鄰所述微透鏡陣列而被設置，使得一孔徑是與每一個微透鏡301對準，以避免從所述旁觀者的視點來看的不同視角的串音。

僅為了舉例說明的目的，圖案302是六角形晶格的微透鏡301，其具有小於1毫米(例如，500µm)的間距305。微透鏡陣列300可包含一第一表面以及一第二表面310，其包含形成微透鏡301的凹面，所述第一及第二表面310是藉由一透射基板307(例如，N-BK7玻璃、塑膠、與類似者)分開的。在某些實施例中，透射基板307可以具有約200µm的厚度。

圖3B是根據某些實施例的用於一反向穿透式頭戴式裝置的一光場顯示器350的詳細的視圖。光場顯示器350包含相鄰一微透鏡陣列(例如，微透鏡陣列300)的一像素陣列320，其中只有一微透鏡301為了舉例說明的目的而被展示。像素陣列320包含多個像素321，其產生被導引至微透鏡301的光束323。在某些實施例中，在像素陣列320以及微透鏡301之間的距離303可以是約等於微透鏡301的焦距，並且因此向外的光束325可以根據起源的像素321的特定位置而被準直在不同的方向上。於是，在像素陣列320中的不同的像素321可以根據所述旁觀者的位置來提供所述使用者的臉的一不同視角的3D表徵。

圖3C是微透鏡陣列300的平面圖，其展示一蜂巢狀圖案。

圖3D是描繪微透鏡陣列300，其中孔徑遮罩315相鄰其而被設置，使得在孔徑遮罩315上的開口是以微透鏡陣列300為中心。在某些實施例中，孔徑遮罩315可包含鉻，其具有在500µm六組裝的間距上的約400µm的孔徑(如同所繪的)。孔徑遮罩315可以在微透鏡陣列300的任一側上、或是在兩側上與所述第一表面或是所述第二表面310對齊。

圖4是描繪根據某些實施例的一光場顯示器450的一光線追蹤的視圖，以提供一AR/VR裝置的一使用者的臉的一反向穿透式影像給一旁觀者。根據某些實施例，光場顯示器450包含一微透鏡陣列400，其被用來提供一AR或VR裝置的一使用者的臉的一廣角高解析度的視圖給一前方旁觀者。如同在此所揭露的，微透鏡陣列400包含多個微透鏡401，其是以一個二維的圖案配置的。一像素陣列420可包含多個像素421，其提供被透射穿過微透鏡陣列400的光線423以產生所述AR或VR裝置的使用者的臉的至少一部分的一3D再現。微透鏡陣列400可包含孔徑遮罩415。孔徑遮罩415是在接近微透鏡陣列400中的微透鏡的每一個的邊緣提供阻擋元件。所述阻擋元件相對於形成所述使用者的臉的前視圖給所述旁觀者的光線425A，來降低光線425B及425C的量。此降低針對於位在所述螢幕的前面並且注視所述使用者的臉的3D再現(根據圖4是在下方)的旁觀者的串音及鬼影效應。

圖5A-5C是描繪根據某些實施例的一微透鏡陣列中的一解析能力特徵500A、500B及500C(在以下整體被稱為“解析能力特徵500”)的不同特點，以提供一AR或VR裝置的一使用者的臉的一廣角高解析度的視圖。在解析能力特徵500中的橫座標521(X軸)是指出在所述使用者的臉(例如，所述使用者的眼睛)以及所述微透鏡陣列之間的一影像距離(以mm計)。在解析能力特徵500中的縱座標522(Y軸)是所述光學系統的解析度，其包含如同由位在離穿戴所述AR或VR裝置的使用者約一公尺的一旁觀者所觀看的光顯示器及螢幕，其是以每毫米的一頻率值，例如在所述顯示器上的特點週期(週期/mm)給出的。

圖5A是描繪包含一截止頻率值的解析能力特徵500A，所述截止頻率值是所述旁觀者可以從所述顯示器區別的最高頻率。曲線501-1A及501-2A(在以下整體被稱為“曲線501A”)是和兩個不同的頭戴式裝置模型(分別被稱為模型1以及模型2)相關的。所述特定的解析度是依據所述影像距離以及所述螢幕的其它參數，例如所述微透鏡陣列的間距(例如，間距305)而定的。一般而言，對於在所述使用者的眼睛以及所述螢幕之間的較大的距離而言，所述解析度截止頻率將會單調地減少(沿著橫座標521向右)。此是藉由在針對於曲線501-2A的截止頻率值510-2A(約0.1週期/mm)以及針對於曲線501-1A的510-1A(約0.25週期/mm)的差值來描繪的。確實，相較針對於曲線501-1A的頭戴式裝置模型(在使用者的眼睛以及顯示器之間約5cm)，針對於曲線501-2A的頭戴式裝置模型具有一較大的影像距離(在使用者的臉以及顯示器之間接近10cm)。再者，對於具有一較寬的間距(模型2，500µm間距)的微透鏡陣列而言，所述解析度截止頻率相對於一較小的間距(模型1，200µm間距)將會被降低。

圖5B是描繪解析能力特徵500B，其包含針對於一光場顯示器模型(模型3)的一曲線501B，其在點510B的約5cm的影像距離下提供約0.3週期/mm的空間的頻率。

圖5C是描繪解析能力特徵500C，其包含曲線501-1C、501-2C、501-3C及501-4C(在以下整體被稱為“曲線501C”)。針對於解析能力特徵500C的橫座標521C(X軸)是指出一頭戴式裝置深度(例如，類似於在所述使用者的眼睛/臉以及所述光場顯示器之間的距離)，並且所述縱座標522C(Y軸)是指出用於所述光場顯示器中的像素陣列的一像素間距(以微米µm計)。曲線501C的每一個是指出用於每一個光場顯示器模型的一些週期/mm截止頻率解析度。點510B是被描繪來相較於針對一光場顯示器模型(模型4)在點510C獲得的一更佳的解析度，點510C具有高密度的像素封裝(小於10µm的間距)、以及約25mm(例如，約1吋或更小)的靠近的頭戴式裝置深度。

圖5D是根據一旁觀者針對於所述光場顯示器模型的每一個來描繪穿戴所述頭戴式裝置的使用者的影像510-1D及510-2D。影像510-1D是利用所述光場顯示器的模型3獲得的，而影像510-2D是利用模型4獲得的(分別參見點510B及510C)。模型4的解析度效能當然是比模型3的解析度效能更佳的，其指出考慮到其它就模型設計而論的取捨下，仍有廣大範圍的可能性來提供和本揭露內容一致的所要的解析度。

圖6是描繪根據某些實施例的一AR或VR裝置的一使用者的臉的一部分的3D再現621A及621B(在以下整體被稱為“3D再現621”)。在某些實施例中，3D再現621是由在所述使用者的臉的至少一部分(例如，眼睛)的多個2D影像611上運算的一模型650提供的，並且由所述AR或VR裝置中的一眼睛成像系統(參見眼睛成像系統115及眼相機215)提供的。模型650可包含線性及/或非線性演算法，例如是神經網路(NN)、卷積神經網路(CNN)、機器學習(ML)模型、以及人工智慧(AI)模型。模型650是包含指令，其被儲存在記憶體電路中並且藉由處理器電路來執行。所述記憶體電路以及所述處理器電路可被儲存在所述AR或VR裝置的後面(例如，在電子構件20中的記憶體112及處理器122)。於是，多個2D影像611是從所述眼睛成像系統接收到，以產生、更新及改善模型650。所述多個2D影像包含至少兩個不同的FOV，例如是來自所述眼睛成像系統中的兩個不同的立體眼相機的每一個，並且模型650可以判斷哪一個影像是來自哪一個相機，以形成3D再現621。模型650接著利用所述2D影像輸入以及在所述兩個眼相機的FOV之間的差異的詳細知識(例如，一相機方向向量)，以提供所述AR或VR裝置的使用者的臉的至少一部分的3D再現621。

圖7是描繪根據某些實施例的用於一VR/AR頭戴式裝置使用者的臉部分的3D再現的一模型架構700的方塊圖。模型架構700是一像素對準的體積的化身(PVA)模型。PVA模型700是從產生多個2D輸入影像701-1、701-2及701-n(在以下整體被稱為“輸入影像701”)的一多視點的影像集學習的。輸入影像701的每一個是和一相機視點向量v _i(例如，v ₁、v ₂及v _n)相關的，其針對於該特定的影像指出所述使用者的臉的觀看方向。向量v _i的每一個是一已知的視點711，其是和相機固有參數K _i及旋轉R _i(例如，{K _i, [R|t] _i})相關的。相機固有參數K _i可包含亮度、色彩映射、感測器效率、以及其它相機相依的參數。旋轉R _i是指出對象的頭部相對於所述相機的方位(及距離)。不同的相機感測器對於相同的入射的輻射具有稍微不同的響應，儘管實際狀況是它們為相同的相機模型。若未採取任何事來解決此，則所述強度差異最終併入場景表徵N，其將會使得所述影像從某些視點來看變成不自然的亮或暗。為了解決此，吾人得知每一相機的偏差以及增益值。此容許所述系統能夠有一‘較容易的’方式來在所述資料中解釋此變化。

‘n’的值純粹是範例的，因為任一個具有普通技能者都會瞭解到任意數量n的輸入影像701都可被利用。PVA模型700產生所述頭戴式裝置使用者的體積的再現721。體積的再現721是一3D模型(例如，“化身”)，其可被利用以產生所述對象從目標視點來看的2D影像。此2D影像是隨著目標視點改變(例如，隨著所述旁觀者在所述頭戴式裝置使用者周圍移動)而改變。

PVA模型700包含一卷積編碼器-解碼器710A、一光線步進(ray marching)級710B、以及一輻射場級710C(在以下整體被稱為“PVA級710”)。PVA模型700是利用從一多身分的訓練語料庫所選的輸入影像701，利用梯度下降法來訓練的。於是，PVA模型700包含在來自多個對象的預測的影像以及對應的真實之間定義的一損失函數。此使得PVA模型700能夠與所述對象無關地成像正確的體積的再現721。

卷積編碼器-解碼器網路710A取得輸入影像701，並且產生像素對準的特徵映射703-1、703-2及703-n(在以下整體被稱為“特徵映射703”)。光線步進級710B沿著一光線跟隨在目標視圖j中藉由{Kj, [R|t]j}所界定的像素的每一個，其在每一點累積藉由輻射場級710C產生的色彩c及光學密度(“不透明度”)。輻射場級710C(N)轉換3D位置以及像素對準的特徵成為色彩及不透明性，以表示一輻射場715(c, σ)。

輸入影像701是3D物件，其具有對應於藉由一相機沿著方向v _i收集的2D影像的一高度(h)以及一寬度(w)、以及針對於每一個色彩像素R、G、B的3層的深度。特徵映射703是3D物件，其具有尺寸h×w×d。編碼器-解碼器網路710A利用可學習的權重721-1、721-2…721-n(在以下整體被稱為“可學習的權重721”)來編碼輸入影像701。光線步進級710B執行世界轉相機投影723、雙線性內插725、位置編碼727、以及特徵匯總729。

在某些實施例中，對於一調節視圖v _i∈R ^h×w×3，特徵映射703可被定義為函數

(1)

其中ϕ (X)：R ³→R ^6×l是一點730(X∈R ³)利用2× l個不同的基函數的位置編碼。點730(X)是沿著從對象的一2D影像被導引至一特定的視點731的一光線r ₀的一點。特徵映射703(f(i)∈R ^h×w×d)是和一相機位置向量v _i相關的，其中d是特徵通道的數目，h及w是影像高度及寬度，並且f _X∈Rd’是和點X相關的一匯總的影像特徵。對於每一個特徵映射f ⁽ⁱ⁾，光線步進級710B是藉由沿著所述光線，利用該特定視點的相機本質(K)及外來(R,t)參數以投影3D點X來獲得f _X∈R ^d，

其中Π是一轉成相機像素座標的透視投影函數，並且F(f,X)是f在像素位置x的雙線性內插725。光線步進級710B結合來自多個影像的像素對準的特徵f ⁽ⁱ⁾X以用於輻射場級710C。

對於每一個給定的訓練影像v _j以及相機本質K _j與旋轉及平移R _j、t _j，一像素p∈R ²針對於在所述相機的聚焦平面中的一給定的視點以及中心731(r ₀)∈R ³的預測的色彩是藉由利用相機轉世界投影矩陣P ⁻¹=[R _i|t _i] ⁻¹K ⁻¹ _i以步進光線到所述場景中來獲得的，其中所述光線的方向是藉由以下給出的，

(5)

光線步進級710B是如下沿著藉由r(t)=r ₀+td所界定的一光線735累積輻射及不透明性值，其中t∈[t _near, t _far]：

(6)

其中，

(7)

在某些實施例中，光線步進級710B均勻地取樣一組n _s個點，t~ [t _near, t _far]。設定X=r(t)，所述正交規則可被用來近似積分6及7。一函數I _α(p)可被定義為

(8)

其中α _i=1−exp(−δ _i·σ _i)，其中δ _i是在第i+1以及第i樣本點之間沿著光線735的距離。

在具有已知的相機視點v _i以及一固定數目的調節視圖的一多視圖的設定中，光線步進級710B藉由簡單的串連來匯總所述特徵。具體而言，對於n個調節影像{v _i} ⁿ _i=1而言，其具有藉由{R _i} ⁿ _i=1及{ti} ⁿ _i=1給出的對應的旋轉及平移矩陣，利用針對於每一點X的如同在方程式(3)中的特徵{f ⁽ⁱ⁾ _X} ⁿ _i=1，光線步進級710B是如下產生最終的特徵，

其中

代表沿著所述深度尺寸的串連。此保留從視點{v _i} ⁿ _i=1的特徵資訊，其有助於PVA模型700決定最佳的組合並且利用所述調節資訊。

在某些實施例中，PVA模型700對於視點以及調節視圖的數目而言是不可知論的(agnostic)。如上的簡單的串連在此例中是不足的，因為調節視圖的數目先驗可能不是已知的，此在推論時間期間導致不同的特徵尺寸(d)。為了總結針對於一多視圖設定的特徵，某些實施例包含一排列不變性的函數G：R ^{n ×d}→R ^d，使得對於任何排列ψ，

一用於特徵匯總的簡單的排列不變性的函數是所述取樣的特徵映射703的平均。當深度資訊在訓練期間是可得知的，此匯總程序可能是所期望的。然而，在深度不明確性存在時(例如，對於在取樣之前被投射到特徵映射703上的點)，以上的匯總可能會導致假影。為了避免此，某些實施例考量相機資訊以在輻射場級710C中包含有效的調節。於是，某些實施例包含一調節函數網路N _cf：R ^d+7→R ^d’，其採取所述特徵向量F ⁽ⁱ⁾ _X以及所述相機資訊(ci)，並且產生一相機總結的特徵向量f’ ⁽ⁱ⁾ _X。這些經修改的向量接著如下在多個或是所有的調節視圖上被平均，

此方法的優點是所述相機總結的特點可以在所述特點平均被執行之前考量到可能的遮擋。所述相機資訊是被編碼為一4D旋轉四元數以及一3D相機位置。

某些實施例亦可包含一背景估計網路N _bg，以避免在所述場景表徵中學習所述背景的部分。背景估計網路N _bg可被定義為：N _bg：R ^nc：→R ^{h ×w×3}，以學習每一相機固定的背景。在某些實施例中，輻射場級710C可以利用N _bg以預測最終的影像像素為：

(11)

其中針對於相機c _i，I _bg=

+N _bg(c _i)，其中

是所述背景利用修補(inpainting)抽取的一最初的估計，並且I _α是如同由方程式(8)所定義的。這些修補的背景經常是有雜訊的，導致在人的頭部周圍有‘光暈’效應。為了避免此，N _bg模型學習對於所述修補的背景的殘差。此具有不需要高容量網路來考量所述背景的優點。

對於真實目標影像v _j，PVA模型700利用一簡單的光度計的重建損失來訓練輻射場級710C以及特徵抽取網路：

圖8A-8D是描繪根據某些實施例的在一種用於訓練一模型以提供一使用者的臉的一部分的一視圖至一虛擬實境頭戴式裝置中的一自動立體的顯示器之方法中的元件及步驟。一目鏡800是利用來自多個使用者的多個訓練影像811來訓練的。針對於所述使用者的每一個的一3D模型821被產生，其包含一紋理映射以及一深度映射以回復影像特徵833-1B、833-2B及833C的細微的細節(在以下整體被稱為“紋理及深度映射833”)。當3D模型821被產生時，所述使用者的臉的三維的重建的一自動立體的影像被提供至一光場顯示器中的一像素陣列。所述光場顯示器被分開成為多個區段的主動像素，每一個區段提供3D模型821在針對於所述旁觀者的一所選的視角上的一視野的一部分。

圖8A是描繪根據某些實施例的一用於收集多個訓練影像811到目鏡800上的設置850。訓練影像811可以是由一顯示器提供的，並且被投影到一螢幕812上，所述螢幕812是被設置在和當所述目鏡被組裝在所述頭戴式裝置中時，所述熱鏡將會在的相同的位置處。一或多個紅外線相機815是在反射模式中收集訓練影像811，並且一或多個RGB相機825是在透射模式中收集訓練影像。設置850具有一影像向量801-1、一IR相機向量801-2、以及一RGB相機向量801-3(在以下整體被稱為“定位向量801”)，其對於所有的訓練影像811是固定的。定位向量801是被所述演算法模型利用以正確地評估和3D模型821相關的尺寸、距離、以及視角。

圖8B是描繪根據某些實施例的紋理及深度影像833-1B及833-2B。紋理影像833-1B可以是從一訓練影像利用RGB相機825的捕捉獲得的，並且深度影像833-2B可以是從一訓練影像利用IR相機815的捕捉獲得的。

圖8C是描繪根據某些實施例的利用IR相機815收集的一深度影像833C。

圖8D是描繪根據某些實施例的相關於目鏡800所形成的3D模型821。

圖9是描繪在根據某些實施例的一種用於提供一VR/AR頭戴式裝置使用者的臉的一自動立體的視圖之方法900中的流程圖。在方法900中的步驟可以至少部分藉由一執行被儲存在一記憶體中的指令的處理器來加以執行，其中所述處理器以及所述記憶體是如同在此所揭露的在一頭戴式裝置中的電子構件的部分(例如，記憶體112、處理器122、電子構件20、以及頭戴式裝置10)。在另外其它實施例中，在一種和方法900一致的方法中的步驟的至少一或多個可以藉由一執行被儲存在一記憶體中的指令的處理器來加以執行，其中所述處理器以及所述記憶體中的至少一個是遠端地位在一雲端伺服器中，並且所述頭戴式裝置是經由耦接至一網路的一通訊模組(參見通訊模組118)來通訊地耦接至所述雲端伺服器。在某些實施例中，方法900可以利用如同在此所揭露的包含在一機器學習或是人工智慧演算法中的一神經網路架構的一模型(例如，模型650、模型架構700)來加以執行。在某些實施例中，和本揭露內容一致的方法可包含來自方法900的至少一或多個步驟是以一不同的順序、同時、準同時、或是在時間上重疊地執行的。

步驟902包含從一或多個頭戴式裝置相機接收具有一對象的至少兩個或多個視野的多個影像，其中所述對象是一頭戴式裝置使用者。

步驟904包含利用一組可學習的權重以從影像抽取多個影像特徵。在某些實施例中，步驟904包含沿著一掃描線來匹配所述影像特徵，以在一第一解析度設定建構一成本量，並且提供一粗略的差異估計。在某些實施例中，步驟904是包含在一高於所述第一解析度設定的第二解析度設定下回復包含小細節以及薄的結構的一或多個影像特徵。在某些實施例中，步驟904包含根據所述影像特徵來產生所述使用者的臉的部分的紋理映射以及所述使用者的臉的部分的深度映射，其中所述紋理映射包含所述影像特徵的色彩細節，並且所述深度映射包含所述影像特徵的深度位置。在某些實施例中，步驟904包含抽取被用來收集每個所述影像的頭戴式裝置相機的本質性質(intrinsic properties)。

步驟906包含利用所述可學習的權重來形成所述對象的一個三維模型。

步驟908包含對映所述對象的所述三維模型到一自動立體顯示器格式上，其是將所述對象的一影像投影關連到針對於一旁觀者的一所選的觀察點。在某些實施例中，步驟908包含提供所述使用者的臉的一視野在針對於所述旁觀者的一所選的視點的一部分至一光場顯示器的一區段。在某些實施例中，步驟908進一步包含追蹤一或多個旁觀者以識別一視角，並且修改一光場顯示器以最佳化用於所述一或多個旁觀者的每一個的視野。在某些實施例中，步驟908包含利用和一第二觀察點相關的一特徵映射來內插(interpolating)和一第一觀察點相關的一特徵映射。在某些實施例中，步驟908包含匯總沿著所選的觀察點的一方向的多個像素的影像特徵。在某些實施例中，步驟908包含以一排列不變性的組合(permutation invariant combination)來串連藉由所述頭戴式裝置相機的每一個產生的多個特徵映射，所述頭戴式裝置相機的每一個具有一本質特徵。

步驟910包含當所述旁觀者位在所選的觀察點時，在所述顯示器上提供所述對象的影像投影。在某些實施例中，步驟910包含當所述旁觀者從一第一觀察點移動到一第二觀察點時，在所述裝置顯示器上提供一第二影像投影。

圖10是描繪在一種用於從一使用者的臉的一部分的多個二維的(2D)影像成像所述使用者的臉的一部分的一個三維的(3D)視圖之方法1000中的流程圖。在方法1000中的步驟可以至少部分藉由一執行被儲存在一記憶體中的指令的處理器來加以執行，其中所述處理器以及所述記憶體是如同在此所揭露的在一頭戴式裝置中的電子構件的部分(例如，記憶體112、處理器122、電子構件20、以及頭戴式裝置10)。在另外其它實施例中，在一種和方法1000一致的方法中的步驟的至少一或多個可以藉由一執行被儲存在一記憶體中的指令的處理器來加以執行，其中所述處理器以及所述記憶體中的至少一個是遠端地位在一雲端伺服器中，並且所述頭戴式裝置是經由耦接至一網路的一通訊模組(參見通訊模組118)來通訊地耦接至所述雲端伺服器。在某些實施例中，方法1000可以利用如同在此所揭露的包含在一機器學習或是人工智慧演算法中的一神經網路架構的一模型(例如，模型650、模型架構700)來加以執行。在某些實施例中，和本揭露內容一致的方法可包含來自方法1000的至少一或多個步驟是以一不同的順序、同時、準同時、或是在時間上重疊地執行的。

步驟1002包含從多個使用者的臉收集多個真實的影像。

步驟1004包含利用儲存的校準的立體的影像對來矯正所述真實的影像。在某些實施例中，步驟1004包含利用一組可學習的權重以從所述二維的影像抽取多個影像特徵。在某些實施例中，步驟1004包含抽取被用來收集所述二維的影像的一相機的本質性質。

步驟1006包含對映所述對象的所述三維模型到一自動立體顯示器格式上，其將所述對象的一影像投影關聯到針對於一旁觀者的一所選的觀察點。在某些實施例中，步驟1006包含沿著在所述對象的一個三維模型以及針對於一旁觀者的一所選的觀察點之間的一方向投影所述影像特徵。在某些實施例中，步驟1006包含利用和一第二方向相關的一特徵映射來內插和一第一方向相關的一特徵映射。在某些實施例中，步驟1006包含匯總沿著在所述對象的所述三維模型以及所選的觀察點之間的方向的多個像素的影像特徵。在某些實施例中，步驟1006包含以一排列不變性的組合來串連藉由多個相機的每一個產生的多個特徵映射，所述多個相機的每一個具有一本質特徵。

步驟1008包含根據在所述真實的影像以及所述對象的所述影像投影之間的差異來判斷一損失值。在某些實施例中，步驟1008包含提供所述對象的所述三維模型的一自動立體的影像給所述旁觀者。在某些實施例中，步驟1008包含根據在所述對象的所述三維模型的所述自動立體的影像以及所述對象的一真實影像之間的差異來評估一損失函數、以及根據所述損失函數來更新所述組的可學習的權重中的至少一個。

步驟1010包含根據所述損失值來更新所述對象的所述三維模型。

圖11是描繪根據某些實施例的在一種用於訓練一模型以從一使用者的臉的一部分的多個二維的(2D)影像成像所述使用者的臉的一部分的一個三維的(3D)視圖之方法1100中的流程圖。在方法1100中的步驟可以至少部分藉由一執行被儲存在一記憶體中的指令的處理器來加以執行，其中所述處理器以及所述記憶體是如同在此所揭露的在一頭戴式裝置中的電子構件的部分(例如，記憶體112、處理器122、電子構件20、以及頭戴式裝置10)。在另外其它實施例中，在一種和方法1100一致的方法中的步驟的至少一或多個可以藉由一執行被儲存在一記憶體中的指令的處理器來加以執行，其中所述處理器以及所述記憶體中的至少一個是遠端地位在一雲端伺服器中，並且所述頭戴式裝置是經由耦接至一網路的一通訊模組(參見通訊模組118)來通訊地耦接至所述雲端伺服器。在某些實施例中，方法1100可以利用如同在此所揭露的包含在一機器學習或是人工智慧演算法中的一神經網路架構的一模型(例如，模型650、模型架構700)來加以執行。在某些實施例中，和本揭露內容一致的方法可包含來自方法1100的至少一或多個步驟是以一不同的順序、同時、準同時、或是在時間上重疊地執行的。

步驟1102包含從多個使用者的臉收集多個真實的影像。

步驟1104包含利用儲存的校準的立體的影像對來矯正所述真實的影像。

步驟1106包含利用一個三維的臉模型來產生對象的多個合成的視圖，其中對象的所述合成的視圖包含對應於所述對象的多個視圖的沿著不同的方向被投影的多個特徵映射的內插。在某些實施例中，步驟1106包含從所述真實的影像的每一個沿著一所選的觀察方向投影影像特徵、以及以一排列不變性的組合來串連藉由所述真實的影像的每一個產生的多個特徵映射，所述真實的影像的每一個具有一本質特徵。

步驟1108包含根據在所述真實的影像以及對象的所述合成的視圖之間的差異來訓練所述三維的臉模型。在某些實施例中，步驟1108包含根據指出在所述真實的影像以及對象的所述合成的視圖之間的所述差異的一損失函數的值，來針對於在所述特徵映射中的多個特點的每一個更新在一組可學習的權重中的至少一個。在某些實施例中，步驟1108包含根據從所述多個真實的影像投影的一像素背景值，以對於在所述真實的影像中的多個像素的每一個訓練一背景值。 硬體概觀

圖12是描繪一範例的電腦系統1200的方塊圖，頭戴式裝置10以及方法900、1000及1100可以利用其來實施。在某些特點中，電腦系統1200可以利用硬體或是軟體及硬體的組合，而被實施在一專用的伺服器中、或是整合到另一實體中、或是被分散橫跨多個實體。電腦系統1200可包含一桌上型電腦、一膝上型電腦、一平板電腦、一平板手機、一智慧型手機、一功能型手機、一伺服器電腦、或者是其它。一伺服器電腦可以是遠端地位在一資料中心中、或是本地儲存的。

電腦系統1200包含一匯流排1208或是其它用於通訊資訊的通訊機構、以及和匯流排1208耦接以用於處理資訊的一處理器1202(例如，處理器122)。例如，所述電腦系統1200可以利用一或多個處理器1202來實施。處理器1202可以是一般用途的微處理器、一微控制器、一數位信號處理器(DSP)、一特殊應用積體電路(ASIC)、一現場可程式化的閘陣列(FPGA)、一可程式化的邏輯裝置(PLD)、一控制器、一狀態機、閘控邏輯、離散的硬體構件、或是任何其它可以執行資訊的計算或其它處理的適當的實體。

除了硬體以外，電腦系統1200可包含產生用於所論述的電腦程式的一執行環境的碼，例如是構成處理器韌體、一協定堆疊、一資料庫管理系統、一作業系統、或是它們的一或多個的組合的碼，其被儲存在一內含的記憶體1204(例如，記憶體112)中，例如是一隨機存取記憶體(RAM)、一快閃記憶體、一唯讀記憶體(ROM)、一可程式化的唯讀記憶體(PROM)、一可抹除的PROM(EPROM)、暫存器、一硬碟、一可移碟片、一CD-ROM、一DVD、或是任何其它適當的儲存裝置，其是和匯流排1208耦接以用於儲存資訊及指令以藉由處理器1202來執行。所述處理器1202以及所述記憶體1204可以輔以特殊用途的邏輯電路、或是被納入在特殊用途的邏輯電路中。

所述指令可被儲存在所述記憶體1204中，並且被實施在一或多個電腦程式產品中，例如是被編碼在一電腦可讀取的媒體上的一或多個模組的電腦程式指令，以用於藉由所述電腦系統1200執行、或是控制所述電腦系統1200的操作，並且根據任何具有此項技術中的技能者眾所週知的方法，其包含但不限於電腦語言，例如是資料導向的語言(例如，SQL、dBase)、系統語言(例如，C、Objective-C、C++、組合語言)、建築語言(例如，Java、.NET)、以及應用程式語言(例如，PHP、Ruby、Perl、Python)。指令亦可以用例如是陣列語言、切面導向的語言、組合語言、編輯語言、命令行介面語言、編譯的語言、並行語言、波形括號語言、資料流程語言、資料結構的語言、宣告式語言、深奧的語言、擴展語言、第四代語言、函數式語言、互動模式語言、解譯語言、迭代的語言、基於列表的語言、小語言、基於邏輯的語言、機器語言、巨集語言、元程式設計語言、多範式語言、數值分析、非基於英語的語言、物件導向的基於類別的語言、物件導向的基於原型的語言、越位規則的語言、程序式語言、反射式語言、基於規則的語言、腳本語言、基於堆疊的語言、同步語言、語法處理語言、視覺化語言、wirth語言、以及基於xml的語言的電腦語言來實施。記憶體1204亦可以在將藉由處理器1202執行的指令的執行期間，被使用於儲存臨時的變數或是其它中間的資訊。

如同在此論述的電腦程式並不一定對應於一檔案系統中的一檔案。一程式可被儲存在一檔案的一部分中，所述檔案保有其它程式或資料(例如，一或多個腳本被儲存在一標記式語言文件中)、在專用於所論述的程式的單一檔案中、或是在多個協調的檔案中(例如，儲存一或多個模組、子程式或是碼部分的檔案)。一電腦程式可被配置以在一電腦上或是在多個電腦上執行，所述多個電腦是位在一位置、或是被分散在橫跨多個位置並且藉由一通訊網路互連的。在此說明書中所述的程序及邏輯流程可以藉由一或多個可程式化的處理器來執行，其執行一或多個電腦程式以藉由在輸入資料上運算並且產生輸出來執行功能。

電腦系統1200進一步包含一例如是磁碟片或光碟的資料儲存裝置1206，其和匯流排1208耦接以用於儲存資訊及指令。電腦系統1200可以經由輸入/輸出模組1210來耦接至各種的裝置。輸入/輸出模組1210可以是任意的輸入/輸出模組。範例的輸入/輸出模組1210包含例如是USB埠的資料埠。所述輸入/輸出模組1210是被配置以連接至一通訊模組1212。範例的通訊模組1212包含連網的介面卡，例如是乙太網路卡及數據機。在某些特點中，輸入/輸出模組1210是被配置以連接至複數個裝置，例如一輸入裝置1214及/或一輸出裝置1216。範例的輸入裝置1214包含一鍵盤以及一指向裝置(例如，一滑鼠或是一軌跡球)，一消費者可以藉由其來提供輸入至所述電腦系統1200。其它種類的輸入裝置1214也可被利用以提供和一消費者的互動，例如一觸覺的輸入裝置、視覺的輸入裝置、音訊輸入裝置、或是人機介面裝置。例如，被提供給所述消費者的回授可以是任意形式的感覺的回授，例如是視覺的回授、聽覺的回授、或是觸覺的回授；並且來自所述消費者的輸入可以用任意形式來接收，其包含聲波、語音、觸覺、或是腦波輸入。範例的輸出裝置1216包含顯示裝置，例如是LCD(液晶顯示器)螢幕，以用於顯示資訊給所述消費者。

根據本揭露內容之一特點，頭戴式裝置10可以至少部分利用一電腦系統1200，響應於處理器1202執行內含在記憶體1204中的一或多個序列的一或多個指令來實施。此種指令可以從例如是資料儲存裝置1206的另一機器可讀取的媒體被讀入記憶體1204。內含在主要記憶體1204中的序列的指令的執行是使得處理器1202執行在此所述的程序步驟。在一多重處理配置中的一或多個處理器亦可被採用以執行內含在主要記憶體1204中的序列的指令。在替代的特點中，硬佈線的電路可被用來取代或是結合軟體指令，以實施本揭露內容的各種特點。因此，本揭露內容的特點並不限於硬體電路及軟體的任何特定的組合。

在此說明書中所述的標的之各種特點可被實施在一計算系統中，其包含一例如是資料伺服器的後端構件、或是包含一例如是應用程式伺服器的中介軟體構件、或是包含一前端構件，例如是具有一圖形消費者介面或一網路瀏覽器的一客戶電腦，消費者可以透過其來和在此說明書中所述標的之實施方式互動、或是一或多個此種後端、中介軟體、或是前端構件的任意組合。所述系統的構件可以藉由任意形式或媒體的數位資料通訊(例如是通訊網路)來互連。所述通訊網路例如可包含LAN、WAN、網際網路、與類似者中的任一或多個。再者，所述通訊網路可包含但不限於例如以下的網路拓樸中的任一或多個，包含匯流排網路、星狀網路、環狀網路、網狀網路、星狀匯流排網路、樹狀或階層式網路、或類似者。所述通訊模組例如可以是數據機或乙太網路卡。

電腦系統1200可包含客戶及伺服器。客戶及伺服器大致是在彼此的遠端，並且通常透過一通訊網路來互動。客戶及伺服器的關係是藉由電腦程式在所述個別的電腦上執行，因而彼此具有一客戶-伺服器的關係而發生的。電腦系統1200例如且非限制地可以是桌上型電腦、膝上型電腦、或是平板電腦。電腦系統1200亦可以內嵌在另一裝置中，例如且非限制的是行動電話、PDA、行動音訊播放器、全球定位系統(GPS)接收器、電玩遊戲主機、及/或電視機上盒。

如同在此所用的術語“機器可讀取的儲存媒體”或是“電腦可讀取的媒體”是指參與提供指令至處理器1202以用於執行的任一或多個媒體。此種媒體可以具有許多形式，其包含但不限於非揮發性媒體、揮發性媒體、以及傳送媒體。非揮發性媒體例如包含光碟或是磁碟片，例如是資料儲存裝置1206。揮發性媒體包含動態記憶體，例如是記憶體1204。傳送媒體包含同軸電纜、銅導線、以及光纖，包含形成匯流排1208的導線。常見的機器可讀取的媒體的形式例如是包含軟碟片、軟性磁碟片、硬碟、磁帶、任何其它磁性的媒體、CD-ROM、DVD、任何其它光學媒體、打孔卡、紙帶、任何其它具有孔洞圖案的實體媒體、RAM、PROM、EPROM、快閃EPROM、任何其它記憶體晶片或卡匣、或是任何其它電腦可以讀取的媒體。所述機器可讀取的儲存媒體可以是機器可讀取的儲存裝置、機器可讀取的儲存基板、記憶體裝置、影響機器可讀取的傳播的信號的物質組成物、或是其中的一或多種的組合。

為了描繪硬體及軟體的可交換性，例如是各種舉例說明的區塊、模組、構件、方法、操作、指令、以及演算法的項目已經大致就其功能方面來敘述。此種功能是否被實施為硬體、軟體、或是硬體及軟體的組合是依據在整體系統上所施加的特定應用及設計限制而定。本領域技術人員可以對於每一個特定的應用，用不同的方式來實施所述功能。

如同在此所用的，在一系列的項目後的措辭“中的至少一個”(其具有所述術語“及”或是“或”來分開所述項目的任一個)是整體修飾所述表列，而不是所述表列的每一個構件(例如，每一個項目)。所述措辭“中的至少一個”並不需要至少一項目的選擇；而是，所述措辭容許表示包含所述項目的任一個的至少一個、及/或所述項目的任意組合的至少一個、及/或所述項目的每一個的至少一個。例如，所述措辭“A、B及C中的至少一個”或是“A、B或C中的至少一個”分別是指只有A、只有B、或是只有C；A、B及C的任意組合；及/或A、B及C的每一個中的至少一個。

所述字詞“範例的”在此是被使用來表示“作為例子、實例、或是例證”。任何在此被敘述為“範例的”實施例並不一定被解釋為相對其它實施例較佳或有利的。例如一特點、所述特點、另一特點、某些特點、一或多個特點、一實施方式、所述實施方式、另一實施方式、某些實施方式、一或多個實施方式、一實施例、所述實施例、另一實施例、某些實施例、一或多個實施例、一配置、所述配置、另一配置、某些配置、一或多個配置、標的技術、所述揭露內容、本揭露內容、以及其之其它變化與類似者的措辭是為了便利性，因而並不意指有關此種措辭的揭露內容對於所述標的技術而言是重要的、或是此種揭露內容適用所述標的技術的所有配置。有關此種措辭的揭露內容可以適用所有的配置、或是一或多個配置。有關此種措辭的揭露內容可以適用一或多個例子。例如是一特點或某些特點的措辭可以是指一或多個特點並且反之亦然，而且此類似地適用於其它先前的措辭。

除非有明確地陳述，否則以單數對於一元件的參照並不欲表示“一個而且只有一個”，而是表示“一或多個”。所述術語“某些”是指一或多個。加底線及/或斜體的標題及子標題只是為了便利而被使用，並非限制所述標的技術，並且不是指與所述標的技術的說明的解釋有關的。例如是第一及第二與類似者的關係術語可被用來區別一實體或動作與另一實體或動作，而無一定需要或暗指在此種實體或動作之間的任何實際的此種關係或順序。在此整個揭露內容所述的各種配置的元件的所有已知或是之後為所述技術中具有通常技能者已知的結構及功能的等同物都是明確地被納入在此作為參考，並且打算由所述標的技術所涵蓋。再者，在此揭露的都並不打算是貢獻給社會大眾的，不論此種揭露內容是否明確地在以上的說明中闡述。請求項元件都不欲根據第35號美國法典第112條第六段的規定來解釋，除非所述元件是明確利用所述措辭“用於…的手段”來闡述、或是在一方法請求項的情形中，所述元件是利用所述措辭“用於…的步驟”來闡述。

儘管此說明書包含許多細節，但是這些不應該被解釋為在可能被描述的範疇上的限制，但是作為所述標的之特定實施方式的說明。在此說明書中，在個別的實施例的上下文中描述的某些特點亦可以組合地被實施在單一實施例中。相反地，在單一實施例的上下文中描述的各種特點亦可以在多個實施例中個別地或是用任何適當的次組合來實施。再者，儘管特點可能在以上被描述為以某種組合來作動，並且甚至最初被敘述為此，但是來自一所述組合的一或多個特點在某些情形中可以從所述組合刪除，因而所述組合可以是針對於一次組合、或是一次組合的變化。

此說明書之標的已經就特定的特點來敘述，但是其它特點可被實施並且是在以下的請求項的範疇之內。例如，儘管在圖式中的操作是以一特定的順序來描繪，但此不應該被理解為需要此種操作以所示的特定順序或是按照順序來執行、或是所有描繪的操作都被執行，以達成所期望的結果。在所述請求項中闡述的動作可以用一不同的順序來執行，並且仍然達成所期望的結果。舉例而言，在所附的圖式中描繪的方法並不一定需要所示的特定的順序或是依序的順序，以達成所期望的結果。在某些情況中，多工作業以及平行處理可能是有利的。再者，在上述的特點中的各種系統構件的分開不應該被理解為在所有的特點中都需要此種分開，因而應瞭解的是所述程式構件及系統一般可以一起被整合在單一軟體產品中、或是被封裝成多個軟體產品。

所述名稱、背景、圖式簡單說明、摘要以及圖式是藉此被納入本揭露內容，並且是被提供作為本揭露內容的舉例說明的例子，而非限制性的說明。所主張的是理解到它們將不會被用來限制所述請求項的範疇或意義。此外，在所述詳細說明中，可看出的是所述說明提供舉例說明的例子，並且所述各種特點在各種的實施方式中為了使本揭露內容流暢之目的而被分組在一起。揭露內容的方法並不欲被解釋為反映所述標的需要比明確在每一個請求項中所闡述的更多特點的意圖。而是，如同所述請求項反映的，發明的標的是在於少於單一所揭露的配置或操作的所有特點。所述請求項是藉此納入所述詳細說明中，其中每一個請求項是獨立為一個別敘述的標的。

所述請求項並不欲受限於在此所述的特點，而是欲被授予和所述語言的請求項一致的完整範疇，並且欲涵蓋所有合法的等同物。然而，並無請求項是欲包含無法滿足可適用的專利法規的要求的標的，它們也不應該以此種方式被解釋。

5:撓曲連接器 10、10A、10B:頭戴式裝置 15:帶 20:電子構件 100A:目鏡 100B:面罩 101:使用者 102:旁觀者 110A:自動立體的外部顯示器 110B:向外投影的顯示器 111:自動立體的影像 112:記憶體電路 115、115-1、115-2:眼睛成像系統 118:通訊模組 122:處理器電路 125、125-1、125-2:外部相機 200:目鏡 205:熱鏡組件 210B:前向顯示器 211:照明環 215:眼相機 215A:第一眼相機 215B:第二眼相機 220:光學表面 225:前向相機 300:微透鏡陣列 301、301-1、301-2、301-3:微透鏡 302:二維的圖案 303:距離 305:間距 307:透射基板 310:第二表面 315:孔徑遮罩 320:像素陣列 321:像素 323:光束 325:光束 350:光場顯示器 400:微透鏡陣列 401:微透鏡 415:孔徑遮罩 420:像素陣列 421:像素 423:光線 425A、425B、425C:光線 450:光場顯示器 500、500A、500B、500C:解析能力特徵 501A、501-1A、501-2A:曲線 501B:曲線 501C、501-1C、501-2C、501-3C、501-4C:曲線 510-1A、510-2A:截止頻率值 510B:點 510C:點 510-1D、510-2D:影像 521:橫座標 521C:橫座標 522:縱座標 522C:縱座標 611:2D影像 621、621A、621B:3D再現 650:模型 700:模型架構 701、701-1、701-2、701-n:輸入影像 703、703-1、703-2、703-n:特徵映射 710:PVA級 710A:卷積編碼器-解碼器 710B:光線步進級 710C:輻射場級 711:視點 721:體積的再現 721、721-1、721-2…721-n:可學習的權重 723:世界轉相機投影 725:雙線性內插 727:位置編碼 729:特徵匯總 730:點 731:視點 735:光線 800:目鏡 801:定位向量 801-1:影像向量 801-2:IR相機向量 801-3:RGB相機向量 811:訓練影像 812:螢幕 815:紅外線相機 821:3D模型 825:RGB相機 833:紋理及深度映射 833-1B:紋理影像 833-2B:深度影像 833C:深度影像 850:設置 900:方法 902:步驟 904:步驟 906:步驟 908:步驟 910:步驟 1000:方法 1002:步驟 1004:步驟 1006:步驟 1008:步驟 1010:步驟 1100:方法 1102:步驟 1104:步驟 1106:步驟 1108:步驟 1200:電腦系統 1202:處理器 1204:記憶體 1206:資料儲存裝置 1208:匯流排 1210:輸入/輸出模組 1212:通訊模組 1214:輸入裝置 1216:輸出裝置

[圖1A]是描繪根據某些實施例的一AR或VR裝置，其包含一自動立體的外部顯示器。

[圖1B]是描繪如同由一前方旁觀者所觀看的根據某些實施例的一AR或VR裝置的一使用者。

[圖2]是描繪根據某些實施例的用於一AR或VR裝置的一目鏡的詳細視圖，其被配置以提供所述使用者的臉的反向穿透式視圖給一前方旁觀者。

[圖3A]-[圖3D]是描繪根據某些實施例的一微透鏡陣列的不同的特點及構件，其被用來提供一AR或一VR裝置使用者的一反向穿透式視圖給一前方旁觀者。

[圖4]是描繪根據某些實施例的通過一光場顯示器的光線追蹤的視圖，以提供一AR或一VR裝置使用者的廣角的高解析度的視圖給一前方旁觀者。

[圖5A]-[圖5D]是描繪根據某些實施例的一微透鏡陣列中的一解析能力特徵的不同的特點，其被用來提供一AR或一VR裝置使用者的廣角的高解析度的視圖。

[圖6]是描繪根據某些實施例的一AR或VR裝置使用者的臉的一部分的3D再現。

[圖7]是描繪根據某些實施例的用於一VR/AR頭戴式裝置使用者的臉的一部分的3D再現的模型架構的方塊圖。

[圖8A]-[圖8D]是描繪根據某些實施例的一種用於訓練一模型以提供一使用者的臉的一部分的視圖至一虛擬實境頭戴式裝置中的一自動立體的顯示器之方法中的元件及步驟。

[圖9]是描繪根據某些實施例的一種用於提供一VR/AR頭戴式裝置使用者的臉的自動立體的視圖之方法中的流程圖。

[圖10]是描繪一種用於從一使用者的臉的一部分的多個二維的(2D)影像成像所述使用者的臉的一部分的一個三維的(3D)視圖之方法中的流程圖。

[圖11]是描繪根據某些實施例的一種用於訓練一模型以從一使用者的臉的一部分的多個二維的(2D)影像成像所述使用者的臉的一部分的一個三維的(3D)視圖之方法中的流程圖。

[圖12]是描繪根據某些實施例的一種電腦系統，其被配置以執行至少某些所述利用一AR或VR裝置的方法。

在圖式中，除非有明確地陳述，否則相似的元件是根據其說明而被同樣地標示。

200:目鏡

205:熱鏡組件

210B:前向顯示器

211:照明環

215A:第一眼相機

215B:第二眼相機

220:光學表面

225:前向相機

Claims (20)

1. 一種裝置，其包括： 近眼顯示器，其被配置以提供影像給一對象； 眼睛成像系統，其被配置以收集所述對象的影像；以及 光場顯示器，其被配置以提供所述對象的三維模型的自動立體的影像給旁觀者，其中所述自動立體的影像包含來自所述光場顯示器的視野之內的多個視點的所述對象的透視校正的視圖。
2. 如請求項1之裝置，其中所述光場顯示器包括像素陣列以及多微透鏡的陣列，其中所述像素陣列是被配置以提供所述對象的分段的視圖至所述多微透鏡的陣列，所述分段的視圖包含所述光場顯示器的所述視野在一所選的視點的多個部分。
3. 如請求項1之裝置，其中所述眼睛成像系統包括兩個相機以收集所述對象的雙眼視圖。
4. 如請求項1之裝置，其進一步包括一或多個處理器以及儲存指令的記憶體，當所述指令藉由所述一或多個處理器執行時，從所述對象的影像產生所述對象的三維表徵。
5. 如請求項1之裝置，其中所述近眼顯示器提供所述對象包含所述旁觀者的環境的三維表徵。
6. 如請求項1之裝置，其中所述眼睛成像系統包含紅外線相機，其在反射模式中從相鄰所述光場顯示器的分色鏡接收來自所述對象的所述影像。
7. 如請求項1之裝置，其中光場顯示器包括微透鏡陣列，其具有以二維的圖案配置的多個微透鏡，所述微透鏡具有預選的間距以避免在針對於所述旁觀者的兩個視點的所述透視校正的視圖之間的串音。
8. 如請求項1之裝置，其中所述光場顯示器進一步包括相鄰於微透鏡陣列的浸入式止擋，所述浸入式止擋包含多個孔徑，使得每一個孔徑與所述微透鏡陣列中的每一個微透鏡的中心對準。
9. 如請求項1之裝置，其中所述光場顯示器包含分開成多個主動區段的像素陣列，其中在所述像素陣列中的每一個主動區段具有對應於多微透鏡的陣列中的折射元件的直徑的尺寸。
10. 如請求項1之裝置，其進一步包括一或多個處理器以及儲存指令的記憶體，當所述指令藉由所述一或多個處理器執行時，使得所述光場顯示器將像素陣列分開成為多個主動區段，每一個主動區段是被配置以在針對於所述旁觀者的所選的視點提供所述光場顯示器的所述視野的一部分。
11. 一種電腦實施的方法，其包括： 從一或多個頭戴式裝置相機接收具有一對象的至少兩個或多個視野的多個影像，其中所述對象是頭戴式裝置使用者； 利用一組可學習的權重來從所述影像抽取多個影像特徵； 利用所述組可學習的權重來形成所述對象的三維模型； 將所述對象的所述三維模型對映到自動立體顯示器格式上，所述自動立體顯示器格式將所述對象的影像投影關聯到針對於旁觀者的所選的觀察點；以及 當所述旁觀者位在所選的觀察點時，在裝置顯示器上提供所述對象的所述影像投影。
12. 如請求項11之電腦實施的方法，其中抽取影像特徵包括抽取被用來收集所述影像的每一個的頭戴式裝置相機的本質性質。
13. 如請求項11之電腦實施的方法，其中將所述對象的所述三維模型對映到自動立體顯示器格式上包括利用和第二觀察點相關的特徵映射來內插和第一觀察點相關的特徵映射。
14. 如請求項11之電腦實施的方法，其中將所述對象的所述三維模型對映到自動立體顯示器格式上包括沿著所選的觀察點的方向來匯總針對於多個像素的所述影像特徵。
15. 如請求項11之電腦實施的方法，將所述對象的所述三維模型對映到自動立體顯示器格式上包括以排列不變性的組合來串連藉由所述頭戴式裝置相機的每一個所產生的多個特徵映射，所述頭戴式裝置相機的每一個具有本質特徵。
16. 如請求項11之電腦實施的方法，其中提供所述對象的所述影像投影包括在所述旁觀者從第一觀察點移動至第二觀察點時，在所述裝置顯示器上提供第二影像投影。
17. 一種用於訓練模型以提供對象的視圖至虛擬實境頭戴式裝置中的自動立體的顯示器之電腦實施的方法，其包括： 從多個使用者的臉收集多個真實的影像； 利用儲存的校準的立體影像對來矯正所述真實的影像； 將所述對象的三維模型對映到自動立體顯示器格式上，所述自動立體顯示器格式將所述對象的影像投影關聯到針對於旁觀者的所選的觀察點； 根據在所述真實的影像以及所述對象的所述影像投影之間的差異來判斷損失值；以及 根據所述損失值來更新所述對象的所述三維模型。
18. 如請求項17之電腦實施的方法，其中產生多個合成的視圖包括沿著所選的觀察方向以投影來自所述真實的影像的每一個的影像特徵、以及以排列不變性的組合來串連藉由所述真實的影像的每一個所產生的多個特徵映射，所述真實的影像的每一個具有本質特徵。
19. 如請求項17之電腦實施的方法，其中訓練所述對象的所述三維模型包括根據指出在所述真實的影像以及所述對象的所述影像投影之間的所述差異的損失函數的值來更新在針對於多個特徵的每一個特徵的一組可學習權重中的至少一個。
20. 如請求項17之電腦實施的方法，其中訓練所述對象的所述三維模型包括根據從所述多個真實的影像投影的像素背景值來訓練針對於所述真實的影像中的多個像素的每一個的背景值。

Images