TWI539185B - 用於提供可變虛擬焦點的擴展實境顯示的系統及其方法，以及具有編碼相關指令的電腦可讀取儲存媒體 - Google Patents

Description

用於提供可變虛擬焦點的擴展實境顯示的系統及其方法，以及具有編碼相關指 令的電腦可讀取儲存媒體

本發明係關於用於擴展實境顯示的自動可變虛擬焦點。

擴展實境是一種允許將虛擬影像與實境世界實體環境相混合的技術。通常，使用者佩戴透視近眼顯示器以查看虛擬物體和實境物體的混合影像。該等近眼顯示器通常使用光學裝置與立體視覺的組合來將虛擬影像聚焦到固定距離處。然而，在虛擬物體處於固定距離處並且使用者的位置改變的情況下，虛擬物體不會像在使用者用自然視力查看虛擬物體的情況下一般移進和移出使用者的焦點。

本技術提供了用於實現用於混合實境或擴展實境顯示的可變焦點的實施例。使用者經由透視顯示裝置查看場景。該場景包括使用者經由顯示裝置的透明或透視透鏡用他或她的眼睛直接查看的實體環境中的一或多個實境物體。一或多個虛擬物體由顯示裝置投影到使用者眼睛位置的至少一者。因此，用虛擬物體來擴展實境場景的顯示。

在一個實施例中，該技術提供：改變由顯示裝置所投影的虛擬物體的焦距。為使用者決定三維視野，並且亦決定一或多個虛擬物體在該使用者的視野內的三維位置。在視野內決定使用者的當前三維聚焦區。使用者的當前聚焦區中的一或多個虛擬物體基於其位置被識別出。

為了在顯示器中使用者的當前聚焦區中顯示虛擬物體，該虛擬物體被移動到該影像的處於當前聚焦區中的區域。在一個實施例中，此是藉由改變透視顯示裝置的微顯示器部件的聚焦區而實現的。微顯示器部件可以包括諸如反射元件之類的元件、沿著光路徑對準的至少一個光學元件和微顯示器單元，以及可變虛擬焦點調整器。微顯示器單元產生影像以供顯示，並且影像的光沿著光路徑經過至少一個光學元件(例如準直透鏡)傳播到反射元件。

在一個實施例中，調整器改變微顯示器部件的至少兩個元件之間沿著光路徑的位移，以改變影像中的虛擬物體的聚焦區。在另一實施例中，可以調整光學元件的焦距以獲得所期望的聚焦區。例如，可以改變至少一個雙折射透鏡的偏振性，或者可以調整流體或液體透鏡的曲率半徑。

在一個實施例中，可以根據與使用者聚焦區相距的距離來將人工深度場技術應用到處於使用者聚焦區之外、但位於使用者視野之內的虛擬物體。

該技術亦提供用於提供虛擬物體的可變焦點的擴展實境系統，該系統包括透視顯示器單元，該透視顯示器單元包括包含可變虛擬焦點調整器的微顯示器部件。控制電路系統包括驅動器以控制可變虛擬焦點調整器。在一個實施例中，該系統進一步在控制電路系統中包括時序產生器以控制可變虛擬焦點調整器掃過微顯示器部件的不同聚焦區的時序。在大多數實施例中，掃瞄速率被設置為足夠快，使得人類暫態影像融合將使在不同聚焦區中產生的影像看上去同時存在。查看不同聚焦區中產生的影像顯示的使用者將看到虛擬物體自然地進入和離開焦點，就好像該虛擬物體是實體環境中的實境物體。

該技術亦提供一種用於在擴展實境顯示中產生不同聚焦區中的虛擬物體的方法。為使用透視顯示裝置查看包括實境和虛擬物體的場景的使用者產生三維視野。為該使用者的視野內的一或多個虛擬物體識別出三維聚焦區。調整微顯示器部件以掃過數個聚焦區。可以選擇聚焦區以包括使用者當前查看的聚焦區以及包括虛擬物體的彼等區域。為每個聚焦區產生影像。

在一個實例中，該等影像中每個皆可以足夠快的速率顯示給使用者，使得人類暫態影像融合使該等影像在人眼看來為同時存在。在另一實例中，顯示在不同聚焦區處產生的虛擬影像的聚焦部分的複合影像。

提供本發明內容以便以簡化形式介紹在以下實施方式中進一步描述的一些概念選擇。本發明內容並非意欲識別所主張的標的的關鍵特徵或必要特徵，亦不意欲用於幫助決定所主張的標的的範疇。

本技術提供了用於實現用於混合實境或擴展實境顯示的可變焦點的實施例。在一個實施例中，系統包括作為用於擴展實境的近眼顯示器的透視顯示裝置，以及與該透視顯示裝置通訊的處理單元。在以下論述的各實施例中，透視顯示器處於一副眼鏡中，但是亦可以使用其他HMD格式和近眼顯示器固定器。

使用使用者的自然視力來實際和直接地查看用透視顯示器所查看的場景中的實境物體。基於執行軟體(例如遊戲應用)的上下文，該系統可以將虛擬影像投影在可由佩戴該透視顯示裝置的人查看的顯示器上，同時該人亦經由該顯示器查看實境世界物體。

使用一或多個感測器來掃瞄使用者所查看的實體環境，由此提供可用來構建所掃瞄環境的三維模型的資料。該模型被分割成實境物體，並且如下文所解釋被用虛擬物體影像的位置進行擴展。

另外，使用各種感測器來偵測使用者頭的位置和取向以及眼睛位置以便決定將虛擬影像投影到何處。該系統自動地追蹤使用者正注視何處，使得該系統可以弄清使用者經由透視顯示裝置的顯示器的視野。可以使用深度相機和包括深度感測器、影像感測器、慣性感測器、眼睛位置感測器等在內的各種感測器中的任何感測器來追蹤使用者。除了使用者的視野以外，該系統亦決定：使用者聚焦在或注視視野中的哪個位置，該位置常常稱為使用者聚焦區。

在一些實施例中，使用者聚焦區是稱為Panum融合區域的體積，其中人類眼睛用單視覺來查看物體。人類具有雙眼視覺或立體視覺。每個眼睛皆產生不同視角的影像。僅僅在Panum融合區域的該小體積中，人類用單視覺查看物體。此通常是指物體據稱處於焦點處時的情況。在該區域之外，物體可能看上去是模糊的，或者甚至看上去為雙重影像。處於Panum融合區域的中心內的有包括使用者眼睛的焦點在內的雙眼單視界(Horopter)。當使用者聚焦在空間中的某點(之後稱為焦點)上時，該焦點位於曲線上。空間中的處於該曲線上的物體落到眼睛視網膜上的小凹中。該曲線有時稱為水平雙眼單視界。亦存在垂直雙眼單視界，其是經過該曲線的一條線，該線從眼睛的焦點之上向眼睛在該曲線上的焦點之下傾斜。下文所使用的術語「雙眼單視界」代表其垂直和水平分量兩者。

一旦該系統知道了使用者的視野和使用者聚焦區，則系統就可以弄清：一或多個虛擬物體影像將由透視顯示裝置的顯示器投影到何處。在所投影的顯示中產生虛擬物體在所選聚焦區位置處的顯示可以藉由調整透視顯示裝置的微顯示器部件中的光路徑長度來執行。

藉由偏移放置在左側和右側微顯示器上的影像來產生視差。藉由為虛擬物體設置一定量的視差，左眼顯示器所產生的到虛擬物體的視線與右眼顯示器的相應視線相交處的距離隱含了該虛擬物體的虛擬距離。一般的顯示器可以設置該視差隱含的距離。與視差無關，存在由離開顯示器的波前的曲率所隱含的距離。曲率半徑就是到該物體上某點的距離，附近物體具有強烈彎曲的波前，因為曲率半徑藉此是小的。遠處物體具有平坦得多的波前，因為曲率半徑相應地為大的。在非常遠的物體的極限情況下，波前變為平坦的。一般的頭戴式顯示器具有固定的波前曲率，因為其不具有可基於場景內容變化的光學元件。

當使用者的位置變為與虛擬物體的當前位置相距更遠的位置時，可以藉由將合適的影像放置在左側和右側微顯示器上來改變虛擬物體的視差和比例。可以為使用者的新位置定義雙眼單視界和Panum融合區域。一般顯示器不能將波前曲率半徑調整為將虛擬物體引入到Panum融合區域中。下文所述的技術可以將波前曲率設置成如下的距離：該距離亦與由比例和視差所設置的其他線索一致並且將虛擬物體引入到Panum融合區域中。以此種方式，該等影像看上去是自然和逼真的。若使用者保持位置固定，並且虛擬物體將相對於場景中的自然物體移動得更近或更遠，則有相同的論點成立。

微顯示器部件包括光處理元件和可變焦距調整器。光處理元件的一些實例是微顯示器單元、例如透鏡系統的透鏡之類的一或多個光學元件，以及例如反射面或部分反射面之類的反射元件。微顯示器單元包括光源，並且產生虛擬物體的影像。微顯示器單元在光學上與該一或多個光學元件和反射元件對準。該光學對準可以沿著光軸，或者包括一或多個光軸的光路徑。影像光可以被準直化，並且由該一或多個光學元件引導到反射元件。在一個實施例中，來自部分反射元件的反射光可以被引導到使用者的眼睛位置。由於該表面是部分反射性的，因此該表面亦可以允許來自自然場景的光穿過該表面並被看見。在其他實施例中，來自微顯示器單元的被反射元件反射的光傳播到另一光學元件中，該另一光學元件投影影像以供使用者查看，並且亦允許自然光被看見。可變焦距調整器改變微顯示器部件的光路徑中的一或多個光處理元件之間的位移或微顯示器部件中的元件的光學能力(optical power)。透鏡的光學能力被定義成其焦距的倒數，例如1/焦距，使得一個改變影響另一個。該改變導致由處於微顯示器部件所產生的影像的焦點處的視野區域隨著位移或光學能力的改變而改變。如下文將針對實施例所論述，為每個眼睛皆可以存在微顯示器部件。每個微顯示器部件皆針對其各別眼睛的視角執行處理。

在一個實例中，將諸如人工模糊之類的人工深度場技術應用於處於視野中的任何虛擬物體並且將該技術以處於聚焦區之外的任何虛擬物體與聚焦區相距的距離成比例地應用於該虛擬物體。在另一實施例中，調整器在顯示各別聚焦區內的虛擬物體的同時以某速率或頻率掃過與一定範圍的聚焦區相對應的一定範圍的焦距。該速率或頻率可以等於或快於顯示裝置的訊框速率。在一個實施例中，在不同聚焦區處產生的虛擬物體影像被作為分層影像來顯示，並且顯示速率快或迅速得足以使得該等影像看上去同時出現。在另一實施例中，顯示了在不同聚焦區處產生的影像的聚焦部分的複合影像。當使用者將他或她的當前焦點改變到另一聚焦區時，處於不同聚焦區中的虛擬物體就像以自然視力被查看一般進入和離開焦點。

隨後，該等影像藉由如下方式被渲染：對該虛擬影像進行定大小和定向；及將經定大小/定向的影像渲染在透視顯示器上。

圖1是圖示了用於提供虛擬物體的可變焦點的系統10的一個實施例的示例性組件的方塊圖。系統10包括作為經由線6與處理單元4進行通訊的頭戴式顯示裝置2的透視顯示裝置。在其他實施例中，頭戴式顯示裝置2經由無線通訊來與處理單元4進行通訊。在一個實施例中為眼鏡形狀的頭戴式顯示裝置2被佩戴在使用者的頭上，使得使用者可以經由顯示器進行查看，並且藉此具有該使用者前方的空間的實際直接視圖，其中鏡架115提供用於固定該系統的元件於適當位置的支撐體，以及用於電氣連接的管道。使用術語「實際和直接視圖」代表直接用人眼查看實境世界物體的能力，而不是查看對物體的所建立的影像表示。例如，在房間中經由眼鏡進行查看將允許使用者具有房間的實際直接視圖，而在電視上查看房間的視訊不是房間的實際直接視圖。下文提供頭戴式顯示裝置2的更多細節。

在一個實施例中，處理單元4被佩戴在使用者的手腕上，並且包括許多用於操作頭戴式顯示裝置2的計算能力。處理單元4可以與一或多個中樞計算系統12無線地(例如WiFi、藍芽、紅外或其他無線通訊手段)通訊。

中樞計算系統12可以是電腦、遊戲系統或控制台等等。根據一示例性實施例，中樞計算系統12可以包括硬體組件及/或軟體組件，使得中樞計算系統12可以用於執行諸如遊戲應用、非遊戲應用等等之類的應用。在一個實施例中，中樞計算系統12可以包括諸如標準化處理器、專用處理器、微處理器等等之類的處理器，該等處理器可以執行儲存在處理器可讀取儲存裝置上的指令以用於執行本文所述的程序。

中樞計算系統12進一步包括一或多個擷取裝置，諸如擷取裝置20A和20B。在其他實施例中，可以使用多於或少於兩個的擷取裝置。在一個示例性實施中，擷取裝置20A和20B指向不同方向，使得其可以擷取房間的不同部分。可能有利的是，兩個擷取裝置的視野稍微地重疊，使得中樞計算系統12可以理解擷取裝置的視野如何彼此相關。以此種方式，可以使用多個擷取裝置來查看整個房間(或其他空間)。或者，若擷取裝置可以在操作期間平移，使得整個相關空間隨時間被擷取裝置查看，則可以使用一個擷取裝置。

擷取裝置20A和20B例如可以是相機，該等相機在視覺上監視一或多個使用者和周圍空間，使得可以擷取、分析並追蹤該一或多個使用者所執行的姿勢及/或運動以及周圍空間的結構，以在應用中執行一或多個控制或動作及/或使化身或屏上人物動畫化。

中樞計算環境12可以連接到諸如電視機、監視器、高畫質電視(HDTV)等可提供遊戲或應用程式視覺的視聽裝置16。例如，中樞計算系統12可包括諸如圖形卡等視訊配接器及/或諸如音效卡等音訊配接器，該等配接器可提供與遊戲應用、非遊戲應用等相關聯的視聽信號。視聽裝置16可從中樞計算系統12接收視聽信號，並且隨後可以輸出與視聽信號相關聯的遊戲或應用視覺及/或音訊。根據一個實施例，視聽裝置16可經由例如，S-視訊電纜、同軸電纜、HDMI電纜、DVI電纜、VGA電纜、分量視訊電纜、RCA電纜等連接至中樞計算系統12。在一個實例中，視聽裝置16包括內置揚聲器。在其他實施例中，視聽裝置16、單獨的立體系統或中樞計算系統12連接到外部揚聲器22。

中樞計算裝置10可以與擷取裝置20A和20B一起用於辨識、分析及/或追蹤人類(以及其他類型的)目標。例如，可使用擷取裝置20A和20B來追蹤佩戴頭戴式顯示裝置2的使用者，使得可以擷取使用者的姿勢及/或運動來使化身或螢幕上人物動畫化，及/或可將使用者的姿勢及/或運動解釋為可用於影響中樞計算系統12所執行的應用的控制。

圖2A圖示了頭戴式顯示裝置2的一部分的俯視圖，其包括鏡架的包括鏡腿102和鼻樑104的一部分。僅僅圖示了頭戴式顯示裝置2的右側。在鼻樑104中置入了話筒110以用於記錄聲音以及將音訊資料傳送給處理單元4，此將在下文予以描述。在頭戴式顯示裝置2的前方是朝向實體環境的視訊相機113，該視訊相機113可以擷取視訊和靜止影像。彼等影像被傳送給處理單元4，此將在下文予以描述。

頭戴式顯示裝置2的鏡架115的一部分將圍繞顯示器(其包括一或多個光學元件)。為了圖示頭戴式顯示裝置2的組件，未圖示鏡架115的圍繞顯示器的部分。該顯示器包括光導光學元件112、不透明度濾光器114、透視透鏡116和透視透鏡118。在一個實施例中，不透明度濾光器114處於透視透鏡116之後並與其對準，光導光學元件112處於不透明度濾光器114之後並與其對準，並且透視透鏡118處於光導光學元件112之後並與其對準。在該實例中，透視透鏡116和118是眼鏡中使用的標準透鏡，並且可根據任何處方(包括不根據處方)來製作。在一個實施例中，透視透鏡116和118可以被可變處方透鏡替換。在一些實施例中，頭戴式顯示裝置2將僅僅包括一個透視透鏡或者不包括透視透鏡。在另一替代方案中，處方透鏡可以進入光導光學元件112內。不透明度濾光器114濾除自然光(以每像素為基礎或均勻地)以增強虛擬影像的對比度。光導光學元件112將人造光引導至眼睛。下文提供不透明度濾光器114和光導光學元件112的更多細節。

安裝在鏡腿102處或之內的是影像源，該影像源在一或多個實施例中包括微顯示器120，該微顯示器120經由例如透鏡系統122之類的一或多個光學元件將影像投影到反射元件上，該反射元件在該實施例中是反射面124，該反射面124將影像引導到光導光學元件112中。存在著可用於實施微顯示器120的不同的影像產生技術。例如，微顯示器120可以使用透射投影技術來實施，其中光源由光學活性材料來調制，用白光從背後照亮。該等技術通常是使用具有強大背光和高光能量密度的LCD類型的顯示器來實施的。微顯示器120亦可使用反射技術來實施，其中外部光被光學活性材料反射並調制。根據該技術，由白光源或RGB源點亮的照明是向前的。數位光處理(DLP)、矽上液晶(LCOS)、以及來自Qualcomm有限公司的Mirasol顯示技術皆是高效的反射技術的實例，因為大多數能量從已調制結構反射並且可用於本文描述的系統中。另外，微顯示器120可以使用發射技術來實施，其中光由該顯示器產生。例如，來自Microvision有限公司的PicoP^TM引擎使用微型鏡面舵來將鐳射信號發射到充當透射元件的小型螢幕上或直接按束發射到眼睛(例如，鐳射)。

在所示的實施例中，微顯示器120是微顯示器部件173一部分，該微顯示器部件173包括用於將影像傳輸給透視顯示器的光處理元件。該實例中的微顯示器部件包括微顯示器120、實施為透鏡系統122的一或多個光學元件以及反射面124。透鏡系統122可包括單個透鏡或複數個透鏡。透鏡系統122、微顯示器單元120和反射面124(例如，鏡或其他表面)在光路徑上對準，在該實例中沿著光軸133對準。影像光可以被準直化，並且由透鏡系統122引導到反射面124。

微顯示器部件173進一步包括可變虛擬焦點調整器135，該可變虛擬焦點調整器135控制透鏡系統122與微顯示器單元120之間沿著光路徑133的位移，或者透鏡系統122與反射面124之間沿著光路徑133的位移，或者該兩者。微顯示器部件的光處理元件之間的不同位移對應於使用者的三維視野中的可將虛擬物體投影到其中的不同聚焦區。在該實例中，該位移改變在電樞137內引導，該電樞137支撐諸如該實例中的透鏡系統122和微顯示器120之類的至少一個光處理元件。電樞137有助於使沿光路徑133的對準在各元件的實體移動期間穩定化，以達到所選的位移或所選的光學能力。位移範圍通常是幾毫米(mm)的量級。在一個實例中，該範圍是1-2 mm。

在一個實例中，調整器135可以是諸如壓電馬達之類的致動器。亦可使用用於致動器的其他技術，並且此類技術的一些實例是由線圈和永久磁鐵、磁致伸縮元件以及電致伸縮元件形成的音圈。

光導光學元件112將來自微顯示器120的光傳送到佩戴頭戴式顯示裝置2的使用者的眼睛140。光導光學元件112亦允許如箭頭142所示將光從頭戴式顯示裝置2的前方經由光導光學元件112透射到使用者的眼睛140，藉此除接收來自微顯示器120的虛擬影像之外亦允許使用者具有頭戴式顯示裝置2的前方的空間的實際直接視圖。因此，光導光學元件112的壁是透視的。光導光學元件112包括第一反射面124。來自微顯示器120的光穿過透鏡系統122並入射在反射面124上。反射面124反射來自微顯示器120的入射光，使得光藉由內反射而被截留在包括光導光學元件112的平面基板內。在離開基板的表面的若干反射之後，所截留的光波到達選擇性反射面126的陣列。注意，五個表面中只有一個表面被標示為126以防止附圖太過擁擠。反射面126將從基板出射並入射在彼等反射面上的光波耦合到使用者的眼睛140。由於不同光線將以不同角度傳播並彈離基板的內部，因此該等不同的光線將以不同角度擊中各個反射面126。因此，不同光線將被該等反射面中的不同反射面從基板中反射出。關於哪些光線將被哪個表面126從基板反射出的選擇是藉由選擇表面126的合適角度來設計的。光導光學元件的更多細節可以在於2008年11月20日公開的美國專利申請公開案第2008/0285140號、第12/214,366號的「Substrate-Guided Optical Devices(基板導向的光學裝置)」中找到，該申請案的全部內容以引用方式併入本文。在一個實施例中，每隻眼睛將具有其自己的光導光學元件112。當頭戴式顯示裝置具有兩個光導光學元件時，每隻眼睛皆可以具有其自己的微顯示器120，該微顯示器120可以在兩隻眼睛中顯示相同影像或者在兩隻眼睛中顯示不同影像。在另一實施例中，可以存在將光反射到兩隻眼睛中的一個光導光學元件。

與光導光學元件112對準的不透明度濾光器114均勻地或以每像素為基礎來選擇性地阻擋自然光，以免其穿過光導光學元件112。在一實施例中，不透明度濾光器可以是透視LCD面板、電致變色膜(electrochromic film)或能夠充當不透明度濾光器的類似裝置。藉由從一般LCD中移除基板、背光和漫射器的各層，可以獲得此種透視LCD面板。LCD面板可包括一或多個透光LCD晶片，該透光LCD晶片允許光穿過液晶。例如，在LCD投影儀中使用了此類晶片。

不透明度濾光器114可以包括緻密的像素網格，其中每個像素的透光率能夠在最小和最大透光率之間被個別化地控制。儘管0-100%的透光率範圍是理想的，然而更有限的範圍亦是可以接受的。作為實例，具有不超過兩個偏振濾光器的單色LCD面板足以提供每像素約50%到90%的不透明度範圍，最高為該LCD的解析度。在50%的最小值處，透鏡將具有稍微帶色彩的外觀，此是可以容忍的。100%的透光率表示完美地無色透鏡。可以從0-100%定義「阿爾法(alpha)」尺度，其中0%不允許光穿過，並且100%允許所有光穿過。可以由下文描述的不透明度濾光器控制電路224為每個像素設置阿爾法的值。

在下列文件中提供了不透明度濾光器的更多細節：於2010年9月21日提出申請的美國專利申請案第12/887,426號的「Opacity Filter For See-Through Mounted Display(用於透視安裝的顯示器的不透明度濾光器)」；及於2010年10月15日提出申請的美國專利申請案第12/905,952號的標題名稱為「Fusing Virtual Content Into Real Content(虛擬內容到實境內容中的融合)」，其發明人為Jason Flaks、Avi Bar-Zev、Jeffrey Margolis、Chris Miles、Alex Kipman、Andrew Fuller以及Bob Crocco，該兩個專利申請案的全部內容皆以引用方式併入本文。

頭戴式顯示裝置2亦包括用於追蹤使用者的眼睛位置的系統。如下文將會解釋的，該系統將追蹤使用者的位置和取向，使得該系統可以決定使用者的視野。然而，人類將不會察覺處於其之前的所有事物。相反，使用者的眼睛將對準環境的子集。因此，在一個實施例中，該系統將包括用於追蹤使用者的眼睛位置的技術以便細化對使用者視野的量測。例如，頭戴式顯示裝置2包括眼睛追蹤部件134(參見圖2A)，該眼睛追蹤部件134將包括眼睛追蹤照明裝置134A和眼睛追蹤相機134B(參見圖4)。在一個實施例中，眼睛追蹤照明源134A包括一或多個紅外(IR)發射器，該等紅外發射器向眼睛發射IR光。眼睛追蹤相機134B包括一或多個感測所反射的IR光的相機。

藉由偵測角膜的反射的已知成像技術，可以識別出瞳孔的位置。例如，參見2008年7月22日頒發給Ophir等人的、標題名稱為「Head Mounted Eye Tracking and Display System(頭戴式眼睛追蹤和顯示系統)」的美國專利第7,401,920號，該專利以引用方式併入本文。此種技術可以定位眼睛的中心相對於追蹤相機的位置。一般而言，眼睛追蹤涉及獲得眼睛的影像以及使用電腦視覺技術來決定瞳孔在眼眶內的位置。在一個實施例中，追蹤一隻眼睛的位置就足夠了，因為眼睛通常一致地移動。然而，單獨地追蹤每隻眼睛是可能的。

在一個實施例中，該系統將使用以矩形佈置的4個紅外(IR) LED和4個IR光電偵測器，使得在頭戴式顯示裝置2的透鏡的每個角處存在一個IR LED和IR光電偵測器。來自LED的光從眼睛反射離開。由在4個IR光電偵測器中的每個處所偵測到的紅外光的量來決定瞳孔方向。亦即，眼睛中眼白相對於眼黑的量將決定對於該特定光電偵測器而言從眼睛反射離開的光量。因此，光電偵測器將具有對眼睛中的眼白或眼黑的量的度量。從4個取樣中，該系統可以決定眼睛的方向。

另一替代方案是如上文所論述的使用4個紅外LED，但是在頭戴式顯示裝置2的透鏡的側邊處僅僅使用一個紅外成像裝置。該成像裝置將使用小鏡及/或透鏡(魚眼)，使得該成像裝置可以從鏡框對高達75%的可見眼睛進行成像。隨後，該成像裝置將感測影像並且使用電腦視覺來找出該影像，就像上文所論述的。因此，儘管圖2A圖示具有一個IR發射器的一個部件，但是圖2A的結構可以被調整為具有4個IR發射機及/或4個IR感測器。亦可以使用多於或少於4個的IR發射機及/或多於或少於4個的IR感測器。

用於追蹤眼睛方向的另一實施例基於電荷追蹤。該概念基於如下觀察：視網膜攜帶可量測的正電荷並且角膜具有負電荷。感測器藉由使用者的耳朵來安裝(靠近耳機130)以偵測眼睛在移動時的電位並且有效地即時讀出眼睛正在進行的動作。亦可以使用其他用於追蹤眼睛的實施例。

控制電路136提供支撐頭戴式顯示裝置2的其他組件的各種電子裝置。控制電路136的更多細節在下文參照圖4提供。處於鏡腿102內部或安裝在鏡腿102處的有耳機130、慣性感測器132以及溫度感測器138。在一個實施例中，慣性感測器132包括三軸磁力計132A、三軸陀螺儀132B以及三軸加速計132C(參見圖4)。慣性感測器用於感測頭戴式顯示裝置2的位置、取向、突然加速。

圖2A僅僅圖示頭戴式顯示裝置2的一半。完整的頭戴式顯示裝置將包括另一組透視透鏡、另一不透明度濾光器、另一光導光學元件、另一微顯示器120、另一透鏡系統122、朝向房間的相機113、眼睛追蹤部件134、耳機130以及溫度感測器138。

圖2B是頭戴式顯示單元的另一實施例的一部分的俯視圖。以虛線圖示鏡框115以展示裡面所支撐的光學元件的佈置。在該實施例中，來自反射元件124a的光被引導到部分反射元件124b，該部分反射元件124b將沿著光路徑133傳播的虛擬影像與自然或實際和直接視圖142相組合。自然視圖142可以受不透明度濾光器114的影響。視圖的組合被引導到使用者的眼睛140中而不是諸如光導光學元件112之類的另一光學元件中。在該實施例中，鏡框115提供便利的眼鏡鏡框以作為該系統的諸如下列元件的支撐體：微顯示器部件173，其包括其光處理元件122和120；可變焦點調整器135；及電樞137。在該實例中，每隻眼睛的眼睛追蹤相機134r、1341皆定位在鼻樑104上。在其他實施例中，除了鏡框以外亦可以使用其他支撐結構。此種結構的實例是護目鏡(visor)。

如上所述，微顯示器部件173的光處理元件的配置建立焦距或虛擬物體出現在影像中的聚焦區。改變該配置會改變虛擬物體影像的聚焦區。由光處理元件決定的聚焦區可以基於等式1/S₁+1/S₂=1/f來決定和改變。符號f表示透鏡的焦距，諸如微顯示器部件173中的透鏡系統122。透鏡系統122具有前面節點和背面節點。若光線以相對於光軸的給定角度被引導到兩個節點中任一節點，則該等光線將以相對於光軸的相當角度從另一節點出射。在一個實例中，透鏡系統122的背面節點將處於其自身與圖2A中的反射元件124或圖2B中的反射元件124a之間。從背面節點到反射元件124、124a的距離可以表示成S₂。前面節點將處於透鏡系統122與微顯示器120所產生的虛擬影像在使用者實體空間的三維模型中的目標位置之間。(關於建立模型的更多細節，參見下文對圖10-圖12的論述)。從前面節點到虛擬影像的目標位置的距離可被表示成S₁。

若透鏡的焦距是固定的，則變化S₁和S₂來將虛擬物體聚焦在不同的深度處。例如，初始位置可使S₁設置成無窮遠處，並且使S₂等於透鏡系統122的焦距。假定透鏡系統122具有10 mm的焦距，考慮虛擬物體要被置於使用者視野中大約1英尺或30 cm處的實例。S₁現在大約是30 cm或300 mm，f是10 mm並且S₂當前被設置在焦距的初始位置10 mm處，從而意味著透鏡系統122的背面節點與反射元件124、124a相距10 mm。基於1/300+1/S₂=1/10(所有項的單位均為毫米)來決定透鏡122與反射元件124、124a之間的新距離或新位移。其結果是S₂大約為10.3 mm。

在一個實例中，處理單元4可以在讓焦距f固定的情況下計算S₁和S₂的位移值，並且致使控制電路系統136使可變調整器驅動器237發送驅動信號以讓可變虛擬焦點調整器135例如沿著光路徑133移動透鏡系統122。在一些實例中，調整器135可以在電樞137內移動一或多個光學元件122。在其他實例中，電樞可在光處理元件周圍的區域中具有槽或空間，使得其在不移動光處理元件的情況下在該元件(例如微顯示器120)上滑動。電樞中的諸如一或多個光學元件122之類的另外的元件被附連，使得其與移動的電樞237一起滑動或移動。在其他實施例中，替代於或附加於移動透鏡系統122，可以移動微顯示器單元120或反射元件124、124a或兩者。

在其他實施例中，替代於或附加於沿光路徑133的位移改變，亦可以改變透鏡系統122中的至少一個透鏡的焦距。圖3A至圖3D中圖示微顯示器部件的一些實施例。所示透鏡的特定數目僅僅是實例。可以使用其他數目和配置的根據相同原理操作的透鏡。

圖3A是供用作近眼顯示器的微顯示器部件的一部分的可旋轉透鏡系統的實例。透鏡122a至122d中的每個皆具有不同的焦距，並且被支撐在可由可變虛擬焦點調整器135來旋轉的盤支撐體160內。處理單元4決定聚焦區並且選擇焦距透鏡之一者以獲得該聚焦區。如參照圖3所示，控制電路系統136的可變調整器驅動器237向可變虛擬焦點調整器135發送至少一個控制信號以旋轉該盤，使得所選透鏡與該部件的光路徑133對準。

圖3B1和圖3B2是Hongwen等人在「Tunable-focus liquid lens controlled using a servo motor(使用伺服馬達控制的可調諧焦距流體透鏡)」(OPTICS EXPRESS，2006年9月4日，第18號，第14卷，第8031-8036頁)中所示的展現出不同曲率半徑的流體透鏡的實例。該等流體透鏡可以用作微顯示器部件的一部分。透鏡的焦距可以藉由改變曲率半徑來改變。曲率半徑R與焦距f之間的關係由f=R/nliquid-1來給定。透鏡的液體或流體的折射率是nliquid。

該實施例包括諸如環形密封環之類的支撐體137，其具有作為一部分或連接到其的撓性外部膜152，在一個實例中為橡膠膜。外部膜153與流體156的儲存器接觸。透鏡膜150位於液體透鏡單元158的撓性側的頂部或形成該撓性側，該液體透鏡單元158可以從儲存器156接收或向儲存器156釋放液體。在所引用的實例中，撓性透鏡膜是諸如聚二甲基矽氧烷(PDMS)彈性膜之類的彈性膜。處於液體單元之後的玻璃板154提供支撐。可變虛擬焦點調整器135被控制為如圖3B2中所示擠壓撓性外部膜152並如圖3B1中所示釋放膜152以致使儲存器156中的水量進入和離開液體透鏡158，從而由於液體量改變而使彈性膜150外凸以及釋放彈性膜150。液體量的改變致使透鏡膜150的曲率半徑改變並由此致使液體透鏡158的焦距改變。曲率半徑與容量改變ΔV之間的關係可以表達如下：

ΔV=(1/3)π(2R²-r₀ ²-2RR²-r₀ ²)(2R+R²-r₀ ²)

其中r₀是透鏡孔徑的半徑。

圖3C是供用作近眼顯示器的微顯示器部件的一部分的雙折射透鏡系統的實例。雙折射材料是各向異性的或者依賴於方向的。作為說明性的構造，在將光描述為光線的情況下，雙折射透鏡將光分解成尋常光線和異常光線。對於各向異性的單個軸或者光軸而言，可以因一個與該軸平行、一個與該軸垂直的不同偏振性而存在不同的折射率以及因此不同的焦距。在圖3C的實例中，透鏡122a和122b是由具有箭頭所指示的不同偏振性的雙折射材料製成的透鏡。在兩個透鏡的該實例中，可以預定4個不同的折射率或焦距以供選擇。每個不同的焦距皆可以與不同的聚焦區相關聯以供處理單元4選擇。偏振性組合可以是：圖3C中所示的透鏡122a和122b的垂直偏振性；與圖3C中所示的偏振性相反的垂直偏振性；兩個透鏡在一個方向上具有相同的偏振性；及兩個透鏡在另一偏振性方向上具有相同的偏振性。在一個實施例中，可變虛擬焦點調整器可以向每個透鏡施加電壓以影響所選的偏振性。在另一實施例中，可以施加實體應力以改變透鏡的偏振性。

圖3D是供用作微顯示器部件的一部分的可插入透鏡系統的實例。在該實施例中，數個透鏡122中的每個皆附連到附連至電樞137的各別臂123。每個臂123皆在可變虛擬焦點調整器135的控制下將其例如透鏡或透鏡系統122之類的一或多個光學元件122移動到微顯示器部件的光路徑133中的某個位移處的位置。例如，若使用針對預置的聚焦區的預定位移，則每個透鏡122皆可以被設置為與其鄰點分開某個距離，例如分開0.1毫米(mm)。亦可以使用不均勻的間隔和可調整的位移。

在上文調整透鏡的焦距的每個實例中，亦可以執行沿著光路徑133的位移。

又如上所述，每個微顯示器部件皆針對其各別眼睛的視角執行處理，使得虛擬影像出現在使用者聚焦區中，例如Panum融合區域、人類的單視覺區域中。

圖4是圖示了頭戴式顯示裝置2的各個組件的方塊圖。圖5是描述處理單元4的各個組件的方塊圖。圖4中圖示了頭戴式顯示裝置12的組件，該頭戴式顯示裝置2用於提供對於使用者對實境世界的視圖而言為聚焦的虛擬影像。另外，圖4的頭戴式顯示裝置組件包括追蹤各種狀況的多個感測器。頭戴式顯示裝置將從處理單元4接收關於虛擬影像的指令，並且將感測器資訊提供回給處理單元4。圖5中圖示了處理單元4的組件，該處理單元4將從頭戴式顯示裝置3，並且亦從中樞計算裝置12(參見圖1)接收感測資訊。基於該資訊，處理單元4將決定在何處以及在何時向使用者提供聚焦的虛擬影像並相應地將指令發送給圖4的頭戴式顯示裝置。

注意，圖4的組件中的一些(例如朝向實體環境的相機113、眼睛追蹤相機134B、可變虛擬焦點調整器135、微顯示器120、不透明度濾光器114、眼睛追蹤照明134A、耳機130和溫度感測器138)是以陰影圖示的，以指示彼等裝置中的每個皆存在兩個，其中一個用於頭戴式顯示裝置2的左側，一個用於頭戴式顯示裝置2的右側。圖4圖示與電源管理電路202通訊的控制電路200。控制電路200包括處理器210、與記憶體214(例如D-RAM)進行通訊的記憶體控制器212、相機介面216、相機緩衝區218、顯示驅動器220、顯示格式化器222、時序產生器226、顯示輸出介面228以及顯示輸入介面230。在一個實施例中，控制電路220的所有組件皆經由專用線路或一或多個匯流排彼此進行通訊。在另一實施例中，控制電路200的每個組件皆與處理器210通訊。相機介面216提供到兩個朝向實體環境的相機113的介面，並且將從朝向實體環境的相機所接收到的影像儲存在相機緩衝區218中。顯示驅動器220將驅動微顯示器120。顯式格式化器222向控制不透明度濾光器114的不透明度控制電路224提供關於微顯示器120上所顯示的虛擬影像的資訊。時序產生器226被用於向該系統提供時序資料。顯示輸出228是用於將影像從朝向實體環境的相機113提供給處理單元4的緩衝區。顯示輸入230是用於接收諸如要在微顯示器120上顯示的虛擬影像之類的影像的緩衝區。顯示輸出228和顯示輸入230與作為到處理單元4的介面的頻帶介面232進行通訊。

電源管理電路202包括電壓調節器234、眼睛追蹤照明驅動器236、可變調整器驅動器237、音訊DAC和放大器238、話筒前置放大器和音訊ADC 240、溫度感測器介面242以及時鐘產生器244。電壓調節器234經由頻帶介面232從處理單元4接收電源，並將該電源提供給頭戴式顯示裝置2的其他組件。眼睛追蹤照明驅動器236如上文所述為眼睛追蹤照明134A提供IR光源。可變調整器驅動器237向調整器135提供例如驅動電流或驅動電壓之類的控制信號以移動微顯示器部件的一或多個元件來達到針對由處理單元4或中樞電腦12或兩者中執行的軟體所計算出的聚焦區的位移。在掃過一定範圍的位移並且因此掃過一定範圍的聚焦區的實施例中，可變調整器驅動器237從時序產生器226，或者可替代地從時鐘產生器244接收時序信號，以便以所程式設計的速率或頻率來操作。音訊DAC和放大器238從耳機130接收音訊資訊。話筒前置放大器和音訊ADC 240提供話筒110的介面。溫度感測器介面242是用於溫度感測器138的介面。電源管理單元202亦向三軸磁力計132A、三軸陀螺儀132B以及三軸加速度計132C提供電源並從其接收回資料。

圖5是描述處理單元4的各個組件的方塊圖。圖5圖示與電源管理電路306通訊的控制電路304。控制電路304包括：中央處理單元(CPU)320；圖形處理單元322；快取記憶體324；RAM 326、與記憶體330(例如D-RAM)進行通訊的記憶體控制328、與快閃記憶體334(或其他類型的非揮發性儲存器)進行通訊的快閃記憶體控制器332、經由頻帶介面302和頻帶介面232與頭戴式顯示裝置2進行通訊的顯示輸出緩衝區336、經由頻帶介面302和頻帶介面232與頭戴式顯示裝置2進行通訊的顯示輸入緩衝區338、與用於連接到話筒的外部話筒連接器342進行通訊的話筒介面340、用於連接到無線通訊裝置346的PCI express介面；及USB埠348。在一個實施例中，無線通訊組件346可包括啟用Wi-Fi的通訊裝置、藍芽通訊裝置、紅外通訊裝置等。USB埠可以用於將處理單元4對接到中樞計算裝置12，以便將資料或軟體載入到處理單元4上以及對處理單元4進行充電。在一個實施例中，CPU 320和GPU 322是用於決定在何處、何時以及如何向使用者的視野內插入虛擬影像的主負荷設備。下文提供更多的細節。

電源管理電路306包括時鐘產生器360、類比數位轉換器362、電池充電器364、電壓調節器366、頭戴式顯示器電源376，以及與溫度感測器374進行通訊的溫度感測器介面372(其位於處理單元4的腕帶(wrist band)上)。交流電到直流電轉換器362被連接到充電插座370來接收AC電源並為該系統產生DC電源。電壓調節器366與用於向該系統提供電源的電池368進行通訊。電池充電器364被用來在從充電插孔370接收到電源時對電池368進行充電(經由電壓調節器366)。HMD電源介面376向頭戴式顯示裝置2提供電源。

上述系統將被配置為將虛擬影像插入到使用者的視野中，使得該虛擬影像在使用者看來為自然聚焦或失焦的。在各個實施例中，虛擬影像將基於該影像被插入到的環境而被調整為與合適的取向、大小和形狀相匹配。在一個實施例中，頭戴式顯示裝置2、處理單元4以及中樞計算裝置12一起工作，因為每個裝置皆包括用於獲得用於決定在何處、何時以及如何插入虛擬影像的資料的感測器的子集。在一個實施例中，決定在何處、如何以及何時插入虛擬影像的計算是由中樞計算裝置12執行的。在另一實施例中，彼等計算由處理單元4來執行。在另一實施例中，該等計算中的一些由中樞計算裝置12來執行，而其他計算由處理單元4來執行。在其他實施例中，該等計算可以由頭戴式顯示裝置2來執行。

在一個示例性實施例中，中樞計算裝置12將建立使用者所處的環境的模型，並且追蹤在該環境中的各個移動物體。另外，中樞計算裝置12藉由追蹤頭戴式顯示裝置2的位置和取向來追蹤頭戴式顯示裝置2的視野。該模型和追蹤資訊被從中樞計算裝置12提供給處理單元4。由頭戴式顯示裝置2所獲得的感測器資訊被傳送給處理單元4。隨後，處理單元4使用其從頭戴式顯示裝置2接收的額外感測器資訊來細化使用者的視野並且向頭戴式顯示裝置2提供關於如何、在何處以及何時插入虛擬影像的指令。

圖6圖示具有擷取裝置的中樞計算系統12的示例性實施例。在一個實施例中，擷取裝置20A和20B為相同結構，因此，圖6僅僅圖示擷取裝置20A。

根據一示例性實施例，擷取裝置20A可被配置為經由可包括例如飛行時間、結構化光、立體影像等在內的任何合適的技術來擷取包括深度影像的帶有深度資訊的視訊，該深度影像可包括深度值。根據一個實施例，擷取裝置20A可將深度資訊組織成「Z層」，或者可與從深度相機沿其視線延伸的Z軸垂直的層。

如圖6所示，擷取裝置20A可以包括相機組件423。根據一示例性實施例，相機組件423可以是或者可以包括可擷取場景的深度影像的深度相機。深度影像可包括所擷取的場景的二維(2-D)像素區域，其中2-D像素區域中的每個像素皆可以表示深度值，諸如所擷取的場景中的物體與相機相距的例如以公分、毫米等為單位的距離。

相機組件423可以包括可用於擷取場景的深度影像的紅外(IR)光組件425、三維(3D)相機426以及RGB(視覺影像)相機428。例如，在飛行時間分析中，擷取裝置20A的IR光組件425可以將紅外光發射到場景上，並且隨後可以使用感測器(在一些實施例中包括未圖示的感測器)，例如使用3D相機326及/或RGB相機428來偵測從場景中的一或多個目標和物體的表面後向散射的光。在一些實施例中，可以使用脈衝紅外光，使得可以量測出射光脈衝和相應的入射光脈衝之間的時間並將其用於決定從擷取裝置20A到場景中的目標或物體上的特定位置的實體距離。另外，在其他示例性實施例中，可將出射光波的相位與入射光波的相位進行比較來決定相移。隨後可以使用該相移來決定從擷取裝置到目標或物體上的特定位置的實體距離。

根據另一示例性實施例，可使用飛行時間分析，以藉由經由包括例如快門式光脈衝成像之類的各種技術分析反射光束隨時間的強度來間接地決定從擷取裝置20A到目標或物體上的特定位置的實體距離。

在另一示例性實施例中，擷取裝置20A可使用結構化光來擷取深度資訊。在此種分析中，圖案化光(亦即，被顯示為諸如網格圖案、條紋圖案或不同圖案之類的已知圖案的光)可經由例如IR光組件424被投影到場景上。在落到場景中的一或多個目標或物體的表面上時，作為回應，圖案可變形。圖案的此種變形可由例如3D相機426及/或RGB相機428(及/或其他感測器)來擷取，且隨後可被分析以決定從擷取裝置到目標或物體上的特定位置的實體距離。在一些實施中，IR光組件425與相機425和426分開，使得可以使用三角測量來決定與相機425和426相距的距離。在一些實施中，擷取裝置20A將包括感測IR光的專用IR感測器或具有IR濾光器的感測器。

根據另一實施例，擷取裝置20A可以包括兩個或兩個以上在實體上分開的相機，該等相機可以從不同的角度觀察場景以獲得視覺立體資料，該等視覺立體資料可以被分辨以產生深度資訊。亦可使用其他類型的深度影像感測器來建立深度影像。

擷取裝置20A可以進一步包括話筒430，該話筒430包括可以接收聲音並將其轉換成電氣信號的換能器或感測器。話筒430可用於接收亦可提供給中樞計算系統12的音訊信號。

在一示例性實施例中，擷取裝置20A可進一步包括可與影像相機組件423進行通訊的處理器432。處理器432可包括可執行指令的標準處理器、專用處理器、微處理器等，該等指令例如包括用於接收深度影像、產生合適的資料格式(例如，訊框)以及將資料傳送給中樞計算系統12的指令。

擷取裝置20A可進一步包括記憶體434，該記憶體434可儲存由處理器432執行的指令、由3D相機及/或RGB相機所擷取的影像或影像訊框，或任何其他合適的資訊、影像等等。根據一示例性實施例，記憶體434可包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快取記憶體、快閃記憶體、硬碟或任何其他合適的儲存組件。如圖6所示，在一個實施例中，記憶體434可以是與影像擷取組件423和處理器432進行通訊的單獨組件。根據另一實施例，記憶體434可被整合到處理器432及/或影像擷取組件422中。

擷取裝置20A和20B經由通訊鏈路436與中樞計算系統12通訊。通訊鏈路436可以是包括例如USB連接、火線連接、乙太網路電纜連線等的有線連接及/或諸如無線802.11b、802.11g、802.11a或802.11n連接等的無線連接。根據一個實施例，中樞計算系統12可以經由通訊鏈路436向擷取裝置20A提供可用於決定例如何時擷取場景的時鐘。另外，擷取裝置20A經由通訊鏈路436將由例如3D相機426及/或RGB相機428擷取的深度資訊和視覺(例如RGB)影像提供給中樞計算系統12。在一個實施例中，深度影像和視覺影像以每秒30訊框的速率來傳送，但是可以使用其他訊框速率。中樞計算系統12隨後可以建立模型並使用模型、深度資訊以及所擷取的影像來例如控制諸如遊戲或文字處理器等的應用及/或使化身或屏上人物動畫化。

中樞計算系統12包括深度影像處理和骨架追蹤模組450，該模組使用深度影像來追蹤可被擷取裝置20A的深度相機功能偵測到的一或多個人。深度影像處理和骨架追蹤模組450向應用452提供追蹤資訊，該應用可以是視訊遊戲、生產性應用、通訊應用或其他軟體應用等。音訊資料和視覺影像資料亦被提供給應用452和深度影像處理和骨架追蹤模組450。應用452將追蹤資訊、音訊資料和視覺影像資料提供給辨識器引擎454。在另一實施例中，辨識器引擎454直接從深度影像處理和骨架追蹤模組450接收追蹤資訊，並直接從擷取裝置20A和20B接收音訊資料和視覺影像資料。

辨識器引擎454與篩檢程式460、462、464、……、466的集合相關聯，每個篩檢程式皆包括關於可被擷取裝置20A或20B偵測到的任何人或物體執行的姿勢、動作或狀況的資訊。例如，來自擷取裝置20A的資料可由篩檢程式460、462、464、……、466來處理，以便識別出一個使用者或一群組使用者已經何時執行了一或多個姿勢或其他動作。彼等姿勢可與應用452的各種控制、物體或狀況相關聯。因此，中樞計算系統12可以將辨識器引擎454和篩檢程式一起用於解釋和追蹤物體(包括人)的移動。

擷取裝置20A和20B向中樞計算系統12提供RGB影像(或其他格式或色彩空間的視覺影像)和深度影像。深度影像可以是複數個觀測到的像素，其中每個觀測到的像素具有觀測到的深度值。例如，深度影像可包括所擷取的場景的二維(2D)像素區域，其中2D像素區域中的每個像素皆可具有深度值，諸如所擷取的場景中的物體與擷取裝置相距的距離。中樞計算系統12將使用RGB影像和深度影像來追蹤使用者或物體的移動。例如，系統將使用深度影像來追蹤人的骨架。可以使用許多方法以藉由使用深度影像來追蹤人的骨架。使用深度影像來追蹤骨架的一個合適的實例在Craig等人於2009年10月21日提出申請的美國專利申請案第12/603,437號的「Pose Tracking Pipeline(姿態追蹤管線)」(以下稱為‘437申請案)中提供，該申請案的全部內容以引用方式併入本文中。‘437申請案的程序包括：獲取深度影像；對資料進行減少取樣；移除及/或平滑化高方差雜訊資料；識別並移除背景；及將前景像素中的每個像素指派給身體的不同部位。基於彼等步驟，系統將使一模型擬合到該資料並建立骨架。該骨架將包括一組關節和該等關節之間的連接。亦可使用用於追蹤的其他方法。在下列四個美國專利申請案中亦揭示合適的追蹤技術，該等專利的全部內容皆以引用方式併入本文中：於2009年5月29日提出申請的美國專利申請案第12/475,308號的「Device for Identifying and Tracking Multiple Humans Over Time(用於隨時間識別和追蹤多個人類的裝置)」；於2010年1月29日提出申請的美國專利申請案第12/696,282號的「Visual Based Identity Tracking(基於視覺的身份追蹤)」；於2009年12月18日提出申請的美國專利申請案第12/641,788號的「Motion Detection Using Depth Images(使用深度影像的運動偵測)」；及於2009年10月7日提出申請的美國專利申請案第12/575,388號的「Human Tracking System(人類追蹤系統)」。

辨識器引擎454包括多個篩檢程式460、462、464、……、466來決定姿勢或動作。篩檢程式包括定義姿勢、動作或狀況以及該姿勢、動作或狀況的參數或元資料的資訊。例如，包括一隻手從身體背後經過身體前方的運動的投擲可被實施為包括表示使用者的一隻手從身體背後經過身體前方的運動的資訊的姿勢，因為該運動將由深度相機來擷取。隨後可為該姿勢設定參數。當姿勢是投擲時，參數可以是該手必須達到的閾值速度、該手必須行進的距離(絕對的，或相對於使用者的整體大小)，以及辨識器引擎對發生了該姿勢的置信度評級。用於姿勢的該等參數可以隨時間在各應用之間、在單個應用的各上下文之間，或在一個應用的一個上下文內變化。

篩檢程式可以是模組化的或是可互換的。在一個實施例中，篩檢程式具有數個輸入(彼等輸入中的每一個輸入具有一類型)以及數個輸出(彼等輸出中的每一個輸出具有一類型)。第一篩檢程式可用具有與第一篩檢程式相同數量和類型的輸入和輸出的第二篩檢程式來替換而不更改辨識器引擎架構的任何其他態樣。例如，可能具有要驅動的第一篩檢程式，該第一篩檢程式將骨架資料作為輸入，並輸出與該篩檢程式相關聯的姿勢正在發生的置信度和轉向角。在希望用第二驅動篩檢程式來替換該第一驅動篩檢程式的情況下(此可能是因為第二驅動篩檢程式更高效且需要更少的處理資源)，可以藉由簡單地用第二篩檢程式替換第一篩檢程式來如此執行，只要第二篩檢程式具有同樣的輸入和輸出--骨架資料類型的一個輸入，以及置信度類型和角度類型的兩個輸出。

篩檢程式不需要具有參數。例如，返回使用者的高度的「使用者高度」篩檢程式可能不允許可被調節的任何參數。可替代的「使用者高度」篩檢程式可具有可調節參數，諸如在決定使用者的高度時是否考慮使用者的鞋、髮型、頭飾以及體態。

對篩檢程式的輸入可包括諸如關於使用者的關節位置的關節資料、在關節處相交的骨所形成的角度、來自場景的RGB色彩資料以及使用者的某一態樣的變化速率等內容。來自篩檢程式的輸出可包括諸如正作出給定姿勢的置信度、作出姿勢運動的速度以及作出姿勢運動的時間等內容。

辨識器引擎454可以具有向篩檢程式提供功能性的基本辨識器引擎。在一實施例中，辨識器引擎454實施的功能性包括：追蹤所辨識的姿勢和其他輸入的隨時間輸入(input-over-time)存檔；隱藏式馬可夫模型實施(其中所建模的系統被假定為馬可夫程序，其中當前狀態封裝了決定將來狀態所需的任何過去狀態資訊，因此不必為此目的而維護任何其他過去狀態資訊的程序，該程序具有未知參數，並且隱藏參數是從可觀察資料來決定的)；及求解姿勢辨識的特定實例的其他功能性。

篩檢程式460、462、464、……、466在辨識器引擎454之上載入並實施，並且可利用辨識器引擎454提供給所有篩檢程式460、462、464、……、466的服務。在一個實施例中，辨識器引擎454接收資料來決定該資料是否滿足任何篩檢程式460、462、464、……、466的要求。由於該等所提供的諸如解析輸入之類的服務是由辨識器引擎454一次性提供而非由每個篩檢程式460、462、464、……、466提供的，因此此種服務在一段時間內只需被處理一次而不是在該時間段對每個篩檢程式處理一次，因此減少了決定姿勢所需的處理。

應用452可使用辨識器引擎454所提供的篩檢程式460、462、464、……、466，或者其可提供其自己的、插入到辨識器引擎454中的篩檢程式。在一實施例中，所有篩檢程式具有啟用該插入特性的共用介面。此外，所有篩檢程式可利用參數，因此可使用以下單個姿勢工具來調試並調節整個篩檢程式系統。

關於辨識器引擎454的更多資訊可在2009年4月13日提出申請的美國專利申請案第12/422,661號的「Gesture Recognizer System Architecture(姿勢辨識器系統架構)」中找到，該申請案的全部內容以引用方式併入本文中。關於辨識姿勢的更多資訊可在2009年2月23日提出申請的美國專利申請案第12/391,150號的「Standard Gestures(標準姿勢)」；及2009年5月29日提出申請的美國專利申請案第12/474,655號的「Gesture Tool(姿勢工具)」中找到，該兩個申請案的全部內容皆以引用方式併入本文中。

圖7圖示可用於實施中樞計算系統12的計算系統的示例性實施例。如圖7所示，多媒體控制台500具有含有一級快取記憶體501、二級快取記憶體504和快閃記憶體ROM(唯讀記憶體)506的中央處理單元(CPU)502。一級快取記憶體502和二級快取記憶體504臨時儲存資料並因此減少記憶體存取週期數，藉此改良處理速度和傳輸量。CPU 501可以被配備為具有大於一個的核心，並且由此具有附加的一級快取記憶體502和二級快取記憶體504。快閃記憶體ROM 506可儲存在多媒體控制台500電力開啟時在啟動程序初始化階段期間載入的可執行代碼。

圖形處理單元(GPU)508和視訊編碼器/視訊編解碼器(編碼器/解碼器)514形成用於高速、高解析度圖形處理的視訊處理管線。經由匯流排從圖形處理單元508向視訊編碼器/視訊編解碼器514攜帶資料。視訊處理管線向A/V(音訊/視訊)埠540輸出資料，用於傳輸至電視或其他顯示器。記憶體控制器510連接到GPU 508以促進處理器存取各種類型的記憶體512，諸如但不限於RAM(隨機存取記憶體)。

多媒體控制台500包括較佳在模組518上實施的I/O控制器520、系統管理控制器522、音訊處理單元523、網路介面控制器524、第一USB主控制器526、第二USB控制器528和前面板I/O子部件530。USB控制器526和528用作周邊控制器542(1)-542(2)、無線配接器548和外部記憶體裝置546(例如快閃記憶體、外部CD/DVD ROM驅動器、可移除媒體等)的主機。網路介面524及/或無線配接器548提供對網路(例如，網際網路、家用網路等)的存取並且可以是包括乙太網路卡、數據機、藍芽模組、電纜數據機等的各種不同的有線或無線配接器組件中任何一種。

提供系統記憶體543來儲存在啟動程序期間載入的應用資料。提供媒體驅動器544，且其可包括DVD/CD驅動器、藍光驅動器、硬碟機或其他可移除媒體驅動器等。媒體驅動器144可位於多媒體控制台500的內部或外部。應用資料可經由媒體驅動器544存取，以由多媒體控制台500執行、重放等。媒體驅動器544經由諸如串列ATA匯流排或其他高速連接(例如IEEE 1394)等匯流排連接到I/O控制器520。

系統管理控制器522提供關於確保多媒體控制台500的可用性的各種服務功能。音訊處理單元523和音訊編解碼器532形成具有高保真度和立體處理的相應的音訊處理管線。音訊資料經由通訊鏈路在音訊處理單元523與音訊編解碼器532之間攜帶。音訊處理管線將資料輸出到A/V埠540以供外部音訊使用者或具有音訊能力的裝置再現。

前面板I/O子部件530支援暴露在多媒體控制台100的外表面上的電源按鈕550和彈出按鈕552以及任何LED(發光二極體)或其他指示器的功能性。系統供電模組536向多媒體控制台100的組件供電。風扇538冷卻多媒體控制台500內的電路系統。

CPU 501、GPU 508、記憶體控制器510和多媒體控制台500內的各個其他組件經由一或多個匯流排互連，包括串列和平行匯流排、記憶體匯流排、周邊匯流排和使用各種匯流排架構中任一種的處理器或區域匯流排。作為實例，該等架構可以包括周邊組件互連(PCI)匯流排、PCI-Express匯流排等。

當多媒體控制台500電力開啟時，應用資料可從系統記憶體543載入到記憶體512及/或快取記憶體502、504中並在CPU 501上執行。應用可呈現在導覽到多媒體控制台500上可用的不同媒體類型時提供一致的使用者體驗的圖形使用者介面。在操作中，媒體驅動器544中包含的應用及/或其他媒體可從媒體驅動器544啟動或播放，以向多媒體控制台500提供附加功能性。

多媒體控制台500可藉由將該系統簡單地連接到電視機或其他顯示器而作為獨立系統來操作。在該獨立模式中，多媒體控制台500允許一或多個使用者與該系統互動、看電影或聽音樂。然而，隨著經由網路介面524或無線配接器548可用的寬頻連線的整合，多媒體控制台500可進一步作為較大網路社群中的參與者來操作。另外，多媒體控制台500可以經由無線配接器548與處理單元4通訊。

當多媒體控制台500電力開啟時，可以保留設定量的硬體資源以供由多媒體控制台作業系統作系統使用。該等資源可包括記憶體、CPU和GPU週期、網路頻寬等等的保留。因為該等資源是在系統啟動時保留的，所以所保留的資源從應用的角度而言是不存在的。具體而言，記憶體保留較佳足夠大，以包含啟動核心、並行系統應用和驅動程式。CPU保留較佳為恆定，使得若所保留的CPU用量不被系統應用使用，則閒置執行緒將消耗任何未使用的週期。

對於GPU保留，顯示由系統應用程式產生的輕量訊息(例如，彈出式訊窗)，該顯示是藉由使用GPU中斷來排程代碼以將彈出式訊窗呈現為覆蓋圖。覆蓋圖所需的記憶體量取決於覆蓋區域大小，並且覆蓋圖較佳與螢幕解析度成比例縮放。在並行系統應用使用完整使用者介面的情況下，較佳使用獨立於應用解析度的解析度。定標器可用於設置該解析度，使得消除了對改變頻率並引起TV重新同步的需求。

在多媒體控制台500啟動且系統資源被保留之後，執行並行系統應用來提供系統功能性。系統功能性被封裝在上述所保留的系統資源中執行的一組系統應用中。作業系統核心識別是系統應用執行緒而非遊戲應用執行緒的執行緒。系統應用較佳被排程為在預定時間並以預定時間間隔在CPU 501 上執行，以便為應用提供一致的系統資源視圖。進行排程是為了把由在控制台上執行的遊戲應用所引起的快取記憶體中斷最小化。

當並行系統應用需要音訊時，則由於時間敏感性而將音訊處理非同步地排程給遊戲應用。多媒體控制台應用管理器(如下所述)在系統應用有效時控制遊戲應用的音訊水平(例如，靜音、衰減)。

可選的輸入裝置(例如，控制器542(1)和542(2))由遊戲應用和系統應用共享。輸入裝置不是所保留的資源，但卻在系統應用和遊戲應用之間切換以使其各自皆將具有裝置的焦點。應用管理器較佳控制輸入串流的切換，而無需知曉遊戲應用的知識，並且驅動程式維護有關焦點切換的狀態資訊。擷取裝置20A和20B可以經由USB控制器526或其他介面來為控制台500定義附加的輸入裝置。在其他實施例中，中樞計算系統12可以使用其他硬體架構來實施。沒有一種硬體架構是必需的。

圖4、圖5、圖6和圖7中所示示例性電腦系統包括電腦可讀取儲存媒體的實例。此類媒體可包括以用於儲存諸如電腦可讀取指令、資料結構、程式模組或其他資料等資訊的任何方法或技術實施的揮發性和非揮發性、可移除和不可移除媒體。電腦儲存媒體包括，但不限於，RAM、ROM、EEPROM、快閃記憶體或其他記憶體技術、CD-ROM、數位多功能光碟(DVD)或其他光碟儲存器、記憶棒或儲存卡、磁帶盒、磁帶、磁碟儲存器或其他磁性儲存裝置，或能用於儲存所需資訊且可以由電腦存取的任何其他媒體。附圖中的電腦可讀取儲存媒體的一些實例包括圖4的記憶體214、圖5的快閃記憶體334、記憶體330、RAM 326以及快取記憶體324、圖6的記憶體434，以及ROM 506、快取記憶體502、504、記憶體512、系統記憶體543、記憶體單元546以及媒體驅動器544。

圖1圖示了與一個中樞計算裝置12(稱為中樞)通訊的一個頭戴式顯示裝置2和處理單元4(統稱為行動顯示裝置)。在另一實施例中，多個行動顯示裝置可以與單個中樞通訊。每個行動顯示裝置皆將如上所述使用無線通訊與中樞通訊。在此種實施例中預期有益於所有行動顯示裝置的資訊中的許多皆將在中樞處被計算和儲存並且傳送給每個行動顯示裝置。例如，中樞將產生環境的模型並且將該模型提供給與該中樞通訊的所有行動顯示裝置。另外，中樞可以追蹤行動顯示裝置以及房間中的移動物體的位置和取向，並且隨後將該資訊傳輸給每個行動顯示裝置。

在另一實施例中，可以將虛擬內容的焦點改變為處於使用者的焦點處的多使用者系統可以包括多個中樞，每個中樞皆包括一或多個行動顯示裝置。該等中樞可以直接地或者經由網際網路(或者其他網路)彼此通訊。例如，圖8圖示中樞560、562和564。中樞560直接與中樞562通訊。中樞560經由網際網路與中樞564通訊。中樞560與行動顯示裝置570、572、……、574通訊。中樞562與行動顯示裝置578、580、……、582通訊。中樞564與行動顯示裝置584、586、……、588通訊。每個行動顯示裝置皆如上文所論述經由無線通訊與其各別中樞通訊。若該等中樞處於共用的環境中，則每個中樞皆可以提供該等環境的模型的一部分，或者一個中樞可以為其他中樞建立該模型。每個中樞皆將追蹤移動物體的子集並且將該資訊與其他中樞共享，該等其他中樞進而將與合適的行動顯示裝置共享該資訊。用於行動顯示裝置的感測器資訊將被提供給其各別中樞，並且隨後與其他中樞共享以用於最終與其他行動顯示裝置共享。因此，在中樞間共享的資訊可以包括骨架追蹤、關於模型的資訊、各種應用狀態以及其他追蹤。在中樞與其各別行動顯示裝置之間傳遞的資訊包括：移動物體的追蹤資訊、世界模型的狀態和實體更新、幾何和紋理資訊、視訊和音訊，以及用於執行本文所述的操作的其他資訊。

圖9是描述由上述組件執行的用於顯示將在被使用者查看時處於焦點處的虛擬物體的程序的一個實施例的流程圖。在步驟602，配置該系統。例如，應用(例如圖6的應用452)可以將該系統配置為指示：特定虛擬影像(其表示虛擬物體)將被插入到場景的三維模型中的指定位置處。考慮如下實例：用虛擬物體來填充空房間以將該空房間轉變為虛擬實境。在另一實例中，在中樞計算系統12上執行的應用將指示：特定的虛擬影像(其表示虛擬物體)將作為視訊遊戲或其他程序的一部分被插入到該場景中。

在步驟604，該系統將建立頭戴式顯示裝置2所處的空間的體積模型。例如在一個實施例中，中樞計算裝置12將使用來自一或多個深度相機的深度影像來建立頭戴式顯示裝置2所處的環境或空間的三維模型。在步驟606，將該模型分割成一或多個物體。例如，若中樞計算裝置12建立房間的三維模型，則該房間很可能在裡面具有多個物體。可以處於房間中的物體的實例包括：人、椅子、桌子、沙發椅等等。步驟606包括：決定彼此不同的物體。在步驟608，該系統將識別出該等物體。例如，中樞計算裝置12可以識別出：特定物體是桌子並且另一物體是椅子。在步驟610，該系統將顯示將在被使用者查看時處於焦點處的虛擬物體。該虛擬物體看上去是聚焦的，就好像其是經由透視透鏡，例如116、118正在被實際和直接地查看的實境物體。亦即，該系統在使用者經由頭戴式顯示裝置2進行查看的同時在使用者的視野內使用者正在查看的焦點深度處顯示虛擬影像。因此，該虛擬影像將在顯示裝置上出現在其實境世界位置，該顯示裝置允許經由該顯示器實際直接地查看該實體環境的至少一部分。虛擬物體可以是靜止物體或者移動物體。在步驟612，頭戴式顯示裝置2的使用者將基於在頭戴式顯示裝置2中所顯示的虛擬物體來與執行在中樞計算裝置12(或另一計算裝置)上的應用互動。下文將更詳細地描述步驟604-610中的每個步驟。

圖10是描述了用於建立空間的三維模型的程序的一個實施例的流程圖。例如，圖10的程序是圖9的步驟604的一個示例性實施。在步驟640，中樞計算系統12接收頭戴式顯示裝置2所處的空間的多個視角的一或多個深度影像。例如，中樞計算裝置12可以從多個深度相機獲得深度影像，或者藉由使相機指向不同方向或者使用具有如下透鏡的深度相機來從同一相機獲得多個深度影像：該透鏡允許將要構建模型的空間的全視圖。在步驟642，基於共用的座標系來組合來自各個深度影像的深度資料。例如，若該系統從多個相機接收深度影像，則該系統將兩個影像相關以具有共用的座標系(例如使影像排齊)。在步驟644，使用深度資料來建立空間的體積描述。在步驟646，該系統將偵測和追蹤諸如在房間中移動的人類之類的移動物體。關於追蹤人的更多細節已在上文予以了描述。在步驟648，基於對移動物體的追蹤來更新對空間的體積描述。步驟646和648可以在系統的操作期間連續地執行，使得該模型藉由將移動物體考慮在內而被連續地更新。在另一實施例中，該模型將僅僅包括關於靜止物體的資訊，並且移動物體被單獨地追蹤。

圖11是描述了用於將空間的模型分割成物體的程序的一個實施例的流程圖。例如，圖11的程序是圖9的步驟606的一個示例性實施。在圖11的步驟680，該系統將如上文所論述從一或多個深度相機接收一或多個深度影像。或者，該系統可以存取其已經接收到的一或多個深度影像。在步驟682，該系統將如上所述從相機接收一或多個視覺影像。或者，該系統可以存取已經接收到的一或多個視覺影像。在步驟684，中樞計算系統將基於深度影像及/或視覺影像偵測一或多個人。例如，該系統將辨識一或多個骨架。在步驟686，中樞計算裝置將基於深度影像及/或視覺影像偵測該模型內的邊緣。在步驟688，中樞計算裝置將使用所偵測到的邊緣來識別出彼此不同的物體。例如，假定：該等邊緣是物體之間的邊界。在步驟690，將更新使用圖10的程序所建立的模型以展示：該模型的哪些部分與不同的物體相關聯。

圖12是描述用於識別出物體的程序的一個實施例的流程圖。例如，圖12的程序是圖9的步驟608的一個示例性實施。在步驟710，中樞計算裝置12將所識別出的人與使用者身份進行匹配。例如，該系統可以具有使用者設定檔，該等使用者設定檔具有可以與所偵測到的物體的影像相匹配的視覺影像。或者，使用者設定檔可以描述可基於深度影像或視覺影像來匹配的人的特徵。在另一實施例中，使用者可以登錄到系統中並且中樞計算裝置12可以使用登錄程序來識別出特定使用者並且在本文所述的互動的整個過程中追蹤該使用者。在步驟712，中樞計算裝置12將存取形狀資料庫。在步驟714，中樞計算裝置將模型中的多個物體與資料庫中的形狀進行匹配。在步驟716，將突出不匹配的彼等形狀並且將其顯示給使用者(例如使用監視器16)。在步驟718，中樞計算裝置12將接收識別出所突出形狀中的每個(或其子集)的使用者輸入。例如，使用者可以使用鍵盤、滑鼠、語音輸入或者其他類型的輸入來指示：每個未識別出的形狀是什麼。在步驟720，基於步驟718中的使用者輸入來更新形狀資料庫。在步驟722，藉由添加每個物體的元資料來進一步更新在步驟604被建立並且在步驟606被更新的環境模型。該元資料識別出該物體。例如，該元資料可以指示：特定物體處於擦亮的桌、某人、綠色真皮沙發椅等等的周圍。

圖13是描述用於顯示將在被查看透視顯示器的使用者查看時處於焦點處的虛擬物體的程序的一個實施例的流程圖。例如，圖13的程序是圖9的步驟610的一個示例性實施。在圖13的步驟950，系統決定使用者的視野。亦即，該系統決定：使用者正在查看該環境或空間的哪個部分。在一個實施例中，此是使用中樞計算裝置12、處理單元4和頭戴式顯示裝置2的協調工作。在一個示例性實施中，中樞計算裝置12將追蹤使用者和頭戴式顯示裝置2以便提供對頭戴式顯示裝置2的位置和取向的初步決定。頭戴式顯示裝置2上的感測器將用於細化所決定的取向。例如，上述慣性感測器34可以用於細化頭戴式顯示裝置2的取向。另外，可以使用上述眼睛追蹤程序來識別出最初所決定的視野的與使用者具體正在查看之處相對應的子集(另稱為視野中的使用者聚焦區或深度焦點)。下文將參照圖14、圖15和圖16來描述更多細節。

虛擬物體的類型及其在使用者視野中的位置由應用452基於預設參數、使用者輸入或者兩者的組合來決定。例如，使用者可以已經選擇了房間中的咖啡桌的實境世界物體，其中他執行應用452以看上去是巨石。虛擬巨石的目標位置將與咖啡桌在三維模型中的位置相關。在另一實例中，可以由使用者選擇將在房間四周遊動的虛擬海豚。海豚在房間四周的虛擬運動可以由海豚物體的軌跡路徑來實施，其中海豚的目標位置在每個顯示訊框中皆被更新。即使使用者注視巨石，海豚通常仍然很可能進入和離開使用者的聚焦區和視野。當使用者移動他或她的眼睛或頭時，使用者視野和當前聚焦區亦被用該等移動更新。一或多個虛擬物體可以在任何給定的時間位於使用者聚焦區和使用者視野中。

在上面的步驟950決定視野以後，該系統在步驟952決定：在使用者的當前視野中是否存在虛擬物體的任何目標位置。在諸如中樞計算裝置12之類的一或多個電腦系統，或者處理單元4中執行的軟體將識別出視野中的目標位置。在一個實施例中，中樞計算裝置12將向處理單元4提供該模型。作為步驟952的一部分，處理單元4將使用環境的模型以及對使用者的位置和取向的知識來決定：任何虛擬物體的目標位置是否處於使用者的視野中。

若在使用者的當前視野中不存在虛擬物體，則步驟966中的處理返回到步驟950中決定和更新使用者的視野。

若在使用者的視野中存在至少一個具有目標位置的虛擬物體，則在步驟954，諸如處理單元4中執行的軟體之類的該系統決定使用者在使用者的視野內的當前聚焦區。如下文在圖15和圖16中將進一步論述的，基於由眼睛追蹤相機134針對每隻眼睛所擷取的資料的眼睛追蹤處理可以提供使用者的當前聚焦區。例如，在有資料指示使用者臉位置的情況下，瞳孔之間的會聚可以用於三角測量焦點曲線、雙眼單視界上的焦點，從該焦點中可以計算出聚焦區、Panum融合區域。Panum融合區域是人眼所使用的雙眼立體視覺的單視覺區域。

在步驟956，在中樞電腦系統12、處理單元4或兩者中執行的軟體基於虛擬物體在模型中的目標位置來識別出：使用者視野中的哪個虛擬物體處於當前使用者聚焦區中。

在步驟958，處理單元4對影像的要插入到使用者視圖中的虛擬物體進行縮放和定向。虛擬影像的縮放和定向將基於在視野中的目標位置以及虛擬物體基於該模型的已知形狀。

在步驟960，處理單元4、控制電路系統136或共享處理的兩者藉由改變微顯示器部件的聚焦區來將每個所識別出的虛擬物體放置在當前使用者聚焦區中。在步驟962，根據與當前聚焦區相距的距離將人工深度場技術應用於其目標位置處於使用者視野內，但處於使用者當前聚焦區之外的虛擬物體。人工深度場技術的實例是人工模糊技術。

人工模糊可以藉由如下方式來實現：根據與聚焦區相距的距離應用深度場著色器或其他高斯模糊濾波器來模擬處於焦點之外的物體。該技術可以全部或部分地由在中樞電腦12、處理單元4或兩者上執行的軟體來執行。為便於描述，將參考處理單元4。由處理單元4從作為虛擬物體的目標位置的一部分的深度值中決定影像中的物體的焦距，該處理單元4亦決定：諸如包圍光導光學元件112的顯示元件之類的顯示元件112上的哪些像素將映射到影像中的虛擬物體。基於該焦距，藉由將該影像與高斯函數迴旋來應用一或多個加權高斯模糊濾波器以覆蓋至少二維，使得應用於與該影像的焦點或注視點相距越遠的像素的變換將受到越多的模糊化效果。在一個實例中，高斯模糊濾波器充當移除高頻資訊的低通濾波器。

在步驟964，顯示包括使用者視野中的虛擬物體的虛擬影像。在一個實例中，處理單元4向控制電路系統136的顯示驅動器220發送指令以用於在微顯示器120上顯示包括使用者視野中的虛擬物體的虛擬影像。隨後，透鏡系統122將從微顯示器120接收的虛擬影像投影到反射面124上或向使用者的眼睛投影，或者投影到光導光學元件112中以供使用者查看。在一個實施中，頭戴式顯示裝置中的正被使用者用來進行查看的顯示器(例如光導光學元件112)被劃分成像素。步驟964可以包括：決定哪些像素對應於目標位置，並且彼等像素將在步驟964顯示該虛擬影像。不透明度濾光器114可以用於防止不逼真的視覺效果。例如，不透明度濾光器114可以修改對光導光學元件112中的像素的光，使得背景虛擬物體不至於穿過前景虛擬物體被看見。處理返回到步驟950並且再次在該即時顯示系統中決定使用者視野。圖13的處理步驟可以在系統的操作期間連續地執行，使得使用者視野和使用者聚焦區隨著使用者移動他或她的頭而被更新，並且虛擬物體可以相應地被顯示為自然地移進和移出使用者的焦點。

圖16是描述了用於決定使用者視野的程序的一個實施例的流程圖，該程序是圖13的步驟950的示例性實施。圖16的程序依靠來自中樞計算裝置12的資訊和上述眼睛追蹤技術。圖14是描述了由中樞計算系統執行以提供用在圖16的程序中的追蹤資訊的程序的一個實施例的流程圖。圖15是描述了用於追蹤眼睛的程序的一個實施例的流程圖，其中該程序的結果供圖16的程序來使用。

在圖14的步驟810，中樞計算裝置12將追蹤使用者的位置。例如，中樞計算裝置12將使用一或多個深度影像和一或多個視覺影像來追蹤使用者(例如使用骨架追蹤)。可以在步驟812使用一或多個深度影像和一或多個視覺影像來決定頭戴式顯示裝置2的位置和頭戴式顯示裝置2的取向。在步驟814，將使用者和頭戴式顯示裝置2的位置和取向從中樞計算裝置12傳送給處理單元4。在步驟816，在處理單元4處接收該位置和取向資訊。圖14的處理步驟可以在系統的操作期間連續地執行，使得使用者被連續地追蹤。

圖15是描述用於使用上述技術來追蹤眼睛的一個實施例的流程圖。在步驟860，照明眼睛。例如，可以使用紅外光從眼睛追蹤照明144A來照明眼睛。在步驟862，使用一或多個眼睛追蹤相機134B來偵測來自眼睛的反射。在步驟864，將該反射資料從頭戴式顯示裝置2發送給處理單元4。在步驟866，處理單元4將如上文所論述基於反射資料來決定眼睛的位置。在步驟868，處理單元4亦將基於反射資料來決定使用者眼睛正在查看的焦點深度位置或聚焦區。圖15的處理步驟可以在系統的操作期間連續地執行，使得使用者的眼睛被連續地追蹤，從而提供用於追蹤當前使用者聚焦區的資料。

圖16是描述了用於決定視野的程序(例如圖13的步驟950)的一個實施例的流程圖。在步驟902，處理單元4將存取從中樞接收到的最新的位置和取向資訊。圖14的程序可以如從步驟814到步驟810的箭頭所圖示連續地執行，因此，處理單元4將週期性地從中樞計算裝置12接收經更新的位置和取向資訊。然而，處理單元4將需要與其從中樞計算裝置12接收經更新的資訊相比更頻繁地繪製虛擬影像。因此，處理單元4將需要依靠局部感測的資訊(其例如來自頭戴式裝置2)以在來自中樞計算裝置12的取樣之間提供取向的更新。在步驟904，處理單元4將從三軸陀螺儀132B存取資料。在步驟906，處理單元4將從三軸加速度計132C存取資料。在步驟908，處理單元4將從三軸磁力計132A存取資料。在步驟910，處理單元4將用來自該陀螺儀、加速度計和磁力計的資料來細化(或以其他方式更新)來自中樞計算裝置12的位置和取向資料。在步驟912，處理單元4將基於頭戴式顯示裝置的位置和取向來決定潛在的視野。

在步驟914，處理單元4將存取最新的眼睛位置資訊。在步驟916，處理單元4將基於眼睛位置作為潛在視野的子集來決定模型的被使用者觀看的一部分。例如，使用者可以朝向牆壁，並且因此頭戴式顯示器的視野可以包括沿著牆壁的任何地方。然而，若使用者的眼睛指向右邊，則步驟916將作出的結論是，使用者的視野僅僅是牆壁的右邊部分。在步驟916結束時，處理單元4已經決定了使用者經由頭戴式顯示器2的視野。處理單元4可以識別出虛擬物體在該視野內的目標位置。在步驟918，處理單元4基於眼睛位置決定該模型部分內的當前使用者聚焦區。處理單元4可以識別出處於當前使用者聚焦區中的虛擬物體在該模型中的目標位置。圖16的處理步驟可以在系統的操作期間連續地執行，使得使用者視野和使用者聚焦區隨著使用者移動他或她的頭而被連續更新，並且虛擬物體可以相應地被顯示為自然地移進和移出使用者的焦點。

圖17A是描述用於藉由使微顯示器部件的至少一個透鏡移位來改變該部件的聚焦區的程序的一個實施例的流程圖。該實施例可用於實施圖13中的步驟960。針對說明性上下文，參考之前參照圖2A和圖2B描述的微顯示器部件。微顯示器部件包括在光路徑133中與透鏡系統122對準的微顯示器單元120，該透鏡系統122使從微顯示器單元120到反射元件124或反射單元124a、124b、以及進入使用者眼睛或進入另一光學元件112的影像光準直化。微顯示器部件亦包括可變虛擬焦點調整器135，該可變虛擬焦點調整器135用於實體地移動光處理元件之一者以獲得所選或所決定的聚焦區。

在論述圖3A-圖3D以前，微顯示器部件位移和焦距的關係為下列等式：1/S₁+1/S₂=1/f。在步驟980，處理單元4決定透鏡系統122的前面節點與虛擬物體的目標位置之間的位移值S₁。另外，在步驟982，處理單元4決定反射元件124、124a與透鏡系統的背面節點之間的位移值S₂以基於該等式獲得透鏡系統的焦距f。處理單元4在步驟984致使控制電路系統136的處理器使可變調整器驅動器237向可變虛擬焦點調整器135施加至少一個驅動信號以實體地移動透鏡系統的至少一個透鏡以產生所決定的位移值S₁和S₂。除了圖2A和圖2B中所示的微顯示器部件以外，另一實施是使用圖3D的可插入透鏡系統實例的微顯示器部件。該移動是：若在原地則釋放透鏡的臂123並且移動該透鏡的臂123一決定的位移以將透鏡鎖定在光路徑133中。

圖17B是描述用於藉由改變微顯示器部件的至少一個透鏡的偏振性來改變該部件的聚焦區的程序的一個實施例的流程圖。該實施例可以用於實施圖13中的步驟960，並且適於與諸如圖3C所示之類的微顯示器部件的實施例一起使用。在該實施例中，該透鏡系統在微顯示器120與反射元件124(圖2A)、124a(圖2B)之間的光路徑中包括至少一個雙折射透鏡。在步驟986，處理單元4基於虛擬物體的目標位置以及等式1/S₁+1/S₂=1/f來選擇S₁的位移值。在步驟988，可變調整器驅動器237施加至少一個驅動信號以致使可變焦點調整器135改變該至少一個雙折射透鏡的偏振性以改變雙折射透鏡的焦距f來產生所選S₁值。由於每個雙折射透鏡皆具有與兩個偏振軸相對應的兩個離散焦距，因此兩個此類透鏡的組合將提供對4個離散焦距的選擇。因此，在軟體的控制下，控制電路系統136的處理單元4或處理器210選擇最接近的可用焦距以逼近f的值。對於所添加的每個雙折射透鏡，離散焦距的數目加倍。

圖17C是描述用於藉由改變微顯示器部件的至少一個流體透鏡的曲率半徑來改變該部件的聚焦區的程序的一個實施例的流程圖。該實施例可以用於實施圖13中的步驟960，並且適於與在其透鏡系統122中使用諸如圖3B1和圖3B2所示之類的至少一個液體透鏡的微顯示器部件的實施例一起使用。在步驟990，處理單元4基於虛擬物體的目標位置以及等式1/S₁+1/S₂=1/f來選擇S₁的位移值。在步驟992，可變調整器驅動器237施加至少一個驅動信號以致使可變焦點調整器135使流體透鏡中的流體量改變，從而導致其曲率半徑改變以改變其焦距f來產生所選S₁值。

如上文在圖13的實施例中所提到的，對於處於使用者視野中，但處於使用者的聚焦區之外的虛擬物體，可以應用人工模糊技術。在其他實施例中，可以產生不同聚焦區處的一系列影像。藉由移動經過一定範圍的焦點或聚焦區以及顯示每個聚焦區處的影像，可以使使用者看見由多層不同聚焦區影像構成的影像。當使用者重新調整他或她的焦點時，使用者將選定彼等區域之一者，並且其餘區域中的虛擬物體將被自然地模糊化。掃過一定範圍的聚焦區可以以預定速率或頻率進行。此足夠快地進行，使得人類暫態影像融合將使其所有看上去皆同時存在。對諸如人工模糊之類的人工深度場技術的需要將減少，但是渲染負荷可能顯著增加。

在一個實施例中，經過一定範圍的聚焦區的移動可以藉由如下方式來實施：以一定速率改變微處理器部件的光處理元件之間的位移，或者該部件中的光處理元件的光學能力。該速率可以為至少高達每秒30的訊框速率(fps)，但是可以在一些實施例中為更高速率，諸如60、120或180 Hz。以高速率被沿著光軸移位從而提供不同聚焦區處的影像的透鏡有時被稱為振動透鏡或振盪透鏡。在一些實例中，移動例如反射面124、124a之類的影像區域，而不是透鏡系統122或影像源120，但是原理是相同的。

圖18A是描述用於在擴展顯示顯示中產生不同聚焦區中的虛擬物體影像的程序的一個實施例的流程圖，該程序可以用於實施圖9中的步驟610。在圖18A的步驟1002，中樞計算裝置12或處理單元4或兩者在軟體的控制下如在圖13的步驟950中決定使用者的視野，並且如在步驟952中在步驟1004決定：在使用者的當前視野中是否存在虛擬物體的任何目標位置。類似於步驟966，若在使用者的當前視野中不存在虛擬物體，則步驟1006中的處理返回到步驟1002中決定和更新使用者的視野。

如在步驟958中，處理單元4在步驟1012將對影像的要插入到使用者視圖中的虛擬物體進行縮放和定向。虛擬影像的縮放和定向將基於目標在視野中的位置以及虛擬物體基於該模型的已知形狀。

在步驟1016，由控制電路系統的時序產生器226或時鐘產生器244啟動掃瞄速率時間段。在步驟1018，初始化計數器，以在掃瞄時間段期間經歷該範圍內的一定數目的聚焦區。在一些實例中，聚焦區是預定的。在掃瞄時間段的每個時步，調整微顯示器部件的元件的聚焦區，並且在步驟1022針對每個聚焦區在其掃瞄時間或時步向使用者顯示影像。在步驟1024，藉由遞增計數器來選擇下一聚焦區，並且重複步驟1020至1024的處理，直到計數器指示該範圍掃瞄完成。掃瞄時間段在步驟1028結束。在其他實例中，用於顯示的訊框結束可以中斷經過該掃瞄範圍的掃瞄，並且另一掃瞄從下一訊框開始。

在一個實施例中，可以藉由如下方式來降低渲染負荷：渲染聚焦區的子集；及使用對使用者聚焦區的追蹤來最佳化選擇哪些聚焦區進行渲染。在其他實例中，眼睛追蹤資料不提供足夠的精確度來決定使用者正在查看的焦點位置的深度。推斷邏輯可以推斷使用者聚焦到的物體。一旦選擇物體作為焦點物體，就可以使用當前場景的三維模型或映射來決定與焦點物體相距的距離。

圖18B圖示用於顯示將在被查看擴展實境顯示的使用者查看時處於焦點處的虛擬物體的程序的另一實施例，該程序可以用於實施圖9中的步驟610。圖18B是描述用於在擴展實境顯示中產生不同聚焦區中的虛擬物體影像的程序的一個實施例的流程圖。在圖18B的步驟1002，中樞計算裝置12或處理單元4或兩者在軟體的控制下如在圖13的步驟950中決定使用者的視野，並且如在步驟952中在步驟1004決定：在使用者的當前視野中是否存在虛擬物體的任何目標位置。類似於步驟966，若在使用者的當前視野中不存在虛擬物體，則步驟1006中的處理返回到步驟1002中決定和更新使用者的視野。

若存在至少一個在使用者的視野中具有目標位置的虛擬物體，則如在步驟954中，在步驟1008，諸如處理單元4中執行的軟體之類的該系統決定使用者在使用者的視野內的當前聚焦區，並且如在步驟956中，在中樞電腦系統12、處理單元4或兩者中執行的軟體在步驟1010基於虛擬物體在模型中的目標位置來識別出：使用者視野中的哪個虛擬物體處於當前使用者聚焦區中。如在步驟958中，處理單元4在步驟1012將對影像的要插入到使用者視圖中的虛擬物體進行縮放和定向。虛擬影像的縮放和定向將基於目標在視野中的位置以及虛擬物體基於該模型的已知形狀。

在步驟1014，處理單元4選擇包括當前使用者聚焦區在內的一定範圍的聚焦區。處理單元4可以基於諸如執行應用(例如452)的上下文之類的標準來選擇聚焦區的範圍。應用可以使用對具有預定運動軌跡的虛擬物體和觸發其出現的事件的選擇。當物體的模型隨著物體的移動被更新時，處理單元4按照圖10的論述來接收該等更新。在各更新之間，處理單元4可以使用關於使用者頭的位置和取向的感測器資料來決定他或她在當時很可能聚焦到哪些虛擬物體。處理單元4可以基於場景的三維模型來選擇虛擬物體的軌跡將經過的數個聚焦區。因此，一個示例性標準是包括虛擬物體所處的每個聚焦區。另外，亦可以選擇如下的聚焦區：在該等區域中，移動虛擬物體的軌跡將處於預定的時間訊框中。在一個實例中，預定的時間訊框可以是直到指示虛擬物體的精確位置的模型資料的下次更新為止。

掃過該範圍的聚焦區的起始聚焦區點可以是在使用者眼睛的使用者視野中接近無窮遠處的點。可以使用其他起始位置，然而，從無窮遠處開始可以簡化不透明度濾光器114的應用。在步驟1016，由控制電路系統的時序產生器226或時鐘產生器244啟動掃瞄速率時間段。在步驟1018，初始化計數器，以在掃瞄時間段期間經歷該範圍內的一定數目的聚焦區。在一些實例中，聚焦區是預定的。在掃瞄時間段的每個時步，調整微顯示器部件的元件的聚焦區，並且在步驟1022針對每個聚焦區在其掃瞄時間或時步向使用者顯示影像。在步驟1024，藉由遞增計數器來選擇下一聚焦區，並且重複步驟1020至1024的處理，直到計數器指示該範圍的掃瞄完成。掃瞄時間段在步驟1028結束。在其他實例中，用於顯示的訊框結束可以中斷經過該掃瞄範圍的掃瞄，並且另一掃瞄從下一訊框開始。

圖19A和圖19B示意性地圖示用於在擴展實境顯示中顯示多焦點虛擬物體的不同方式的實例。在圖19A中，在微顯示器部件的光路徑133中的不同位移處產生的不同聚焦區處產生4個影像1050a至1050d的實例，並且發送所有影像以供在光導光學元件112上顯示。在圖19B中，處理單元4致使每個影像的處於該聚焦區或影像區域處的焦點中的區段或部分被包括在複合影像1055中以供在顯示器112上顯示。在一個實例中，每個影像的處於焦點處的區段和部分可以是虛擬物體在其產生時在該影像中所位於的部分。

儘管用結構特徵及/或方法動作專用的語言描述了本標的，但可以理解，所附申請專利範圍中定義的標的不必限於上述具體特徵或動作。實情為，上述具體特徵和動作是作為實施請求項的示例性形式揭示的。

2．．．頭戴式顯示裝置

4．．．處理單元

6．．．線

10．．．系統/中樞計算裝置

12．．．中樞計算系統

16．．．視聽裝置

20A．．．擷取裝置

20B．．．擷取裝置

22．．．外部揚聲器

102．．．鏡腿

104．．．鼻樑

110．．．話筒

112．．．光導光學元件

113．．．實體環境的視訊相機/朝向房間的相機

114．．．不透明度濾光器

115．．．鏡架

116．．．透視透鏡

118．．．透視透鏡

120．．．微顯示器

122．．．透鏡系統

122a．．．透鏡

122b．．．透鏡

122c．．．透鏡

122d．．．透鏡

124．．．反射面

124a．．．反射單元

124b．．．反射單元

126．．．反射面

130．．．耳機

132．．．慣性感測器

132A．．．三軸磁力計

132B．．．三軸陀螺儀

132C．．．三軸加速計

133．．．光路徑

134．．．眼睛追蹤相機

134A．．．眼睛追蹤照明

134B．．．眼睛追蹤相機

134l．．．眼睛追蹤相機

134r．．．眼睛追蹤相機

135．．．可變虛擬焦點調整器

136．．．控制電路

137．．．電樞

138．．．溫度感測器

140．．．使用者的眼睛

142．．．箭頭/自然視圖

150．．．透鏡膜/彈性膜

152．．．撓性外部膜

154．．．玻璃板

156．．．儲存器

158．．．液體透鏡

160．．．盤支撐體

173．．．微顯示器部件

200．．．控制電路

202．．．電源管理電路

210．．．處理器

212．．．記憶體控制器

214．．．記憶體

216．．．相機介面

218．．．相機緩衝區

220．．．顯示驅動器

222．．．顯示格式化器

224．．．不透明度控制電路

228．．．顯示輸出

230．．．顯示輸入

232．．．頻帶介面

234．．．電壓調節器

236．．．眼睛追蹤照明驅動器

237．．．可變調整器驅動器

238．．．音訊DAC和放大器

240．．．話筒前置放大器和音訊ADC

242．．．溫度感測器介面

244．．．時鐘產生器

302．．．頻帶介面

304．．．控制電路

306．．．電源管理電路

320．．．中央處理單元(CPU)

322．．．圖形處理單元

324．．．快取記憶體

326．．．RAM/3D相機

328．．．記憶體控制

330．．．記憶體

332．．．快閃記憶體控制器

334．．．快閃記憶體

336．．．顯示輸出緩衝區

338．．．顯示輸入緩衝區

340．．．話筒介面

342．．．外部話筒連接器

346．．．無線通訊裝置

348．．．USB埠

360．．．時鐘產生器

362．．．類比數位轉換器

364．．．電池充電器

366．．．電壓調節器

367．．．頭戴式顯示器電源

368．．．電池

370．．．充電插孔

372．．．溫度感測器介面

374．．．溫度感測器

376．．．頭戴式顯示器電源

423．．．相機組件

425．．．紅外(IR)光組件

426．．．三維(3D)相機

428．．．RGB相機

430．．．話筒

432．．．處理器

434．．．記憶體

436．．．通訊鏈路

450．．．深度影像處理和骨架追蹤模組

452．．．應用

454．．．辨識器引擎

460．．．篩檢程式

462．．．篩檢程式

464．．．篩檢程式

466．．．篩檢程式

500．．．多媒體控制台

501．．．CPU

502．．．一級快取記憶體

504．．．二級快取記憶體

506．．．快閃記憶體ROM

508．．．圖形處理單元(GPU)

510．．．記憶體控制器

512．．．記憶體

514．．．視訊編碼器/視訊編解碼器

518．．．模組

520．．．I/O控制器

522．．．系統管理控制器

523．．．音訊處理單元

524．．．網路介面控制器

526．．．第一USB主控制器

528．．．第二USB控制器

530．．．前面板I/O子部件

532．．．音訊編解碼器

536．．．系統供電模組

538．．．風扇

540．．．A/V埠

542(1)．．．控制器

542(2)．．．控制器

543．．．系統記憶體

544．．．媒體驅動器

546．．．外部記憶體裝置

548．．．無線配接器

550．．．電源按鈕

552．．．彈出按鈕

560．．．中樞

562．．．中樞

564．．．中樞

570．．．行動顯示裝置

572．．．行動顯示裝置

574．．．行動顯示裝置

578．．．行動顯示裝置

580．．．行動顯示裝置

582．．．行動顯示裝置

584．．．行動顯示裝置

586．．．行動顯示裝置

588．．．行動顯示裝置

602．．．步驟

604．．．步驟

606．．．步驟

608．．．步驟

610．．．步驟

612．．．步驟

640．．．步驟

642．．．步驟

644．．．步驟

646．．．步驟

648．．．步驟

680．．．步驟

682．．．步驟

684．．．步驟

686．．．步驟

688．．．步驟

690．．．步驟

710．．．步驟

712．．．步驟

714．．．步驟

716．．．步驟

718．．．步驟

720．．．步驟

722．．．步驟

810．．．步驟

812．．．步驟

814．．．步驟

816．．．步驟

860．．．步驟

862．．．步驟

864．．．步驟

866．．．步驟

868．．．步驟

902．．．步驟

904．．．步驟

906．．．步驟

908．．．步驟

910．．．步驟

912．．．步驟

914．．．步驟

916．．．步驟

918．．．步驟

950．．．步驟

952．．．步驟

954．．．步驟

956．．．步驟

958．．．步驟

960．．．步驟

962．．．步驟

964．．．步驟

966．．．步驟

980．．．步驟

982．．．步驟

984．．．步驟

986．．．步驟

988．．．步驟

990．．．步驟

992．．．步驟

1002．．．步驟

1004．．．步驟

1006．．．步驟

1008．．．步驟

1010．．．步驟

1012．．．步驟

1014．．．步驟

1016．．．步驟

1018．．．步驟

1020．．．步驟

1022．．．步驟

1024．．．步驟

1026．．．步驟

1028．．．步驟

1050a．．．影像

1050b．．．影像

1050c．．．影像

1050d．．．影像

1055．．．複合影像

圖1是圖示了用於提供虛擬物體的可變焦點的系統的一個實施例的示例性組件的方塊圖。

圖2A是頭戴式顯示單元的一個實施例的一部分的俯視圖。

圖2B是頭戴式顯示單元的另一實施例的一部分的俯視圖。

圖3A是供用作近眼顯示器的微顯示器部件的一部分的可旋轉透鏡系統的實例。

圖3B1和圖3B2是展示出不同曲率半徑的流體透鏡的實例，該等流體透鏡供用作微顯示器部件的一部分。

圖3C是供用作近眼顯示器的微顯示器部件的一部分的雙折射透鏡系統的實例。

圖3D是供用作微顯示器部件的一部分的可插入透鏡系統的實例。

圖4是頭戴式顯示單元的組件的一個實施例的方塊圖。

圖5是與頭戴式顯示單元相關聯的處理單元的組件的一個實施例的方塊圖。

圖6是結合頭戴式顯示單元使用的中樞計算系統的組件的一個實施例的方塊圖。

圖7是圖示可用於實施在本文中所述的中樞計算系統的計算系統的一個實施例的方塊圖。

圖8是圖示可改變將處於使用者的焦點處的虛擬內容的焦點的多使用者系統的方塊圖。

圖9是描述用於顯示將在被使用者查看時處於焦點處的虛擬物體的程序的一個實施例的流程圖。

圖10是描述用於建立空間的模型的程序的一個實施例的流程圖。

圖11是描述用於將模型分割成物體的程序的一個實施例的流程圖。

圖12是描述用於識別出物體的程序的一個實施例的流程圖。

圖13是描述用於顯示將在被查看透視顯示器的使用者查看時處於焦點處的虛擬物體的程序的一個實施例的流程圖。

圖14是描述用於由中樞來追蹤使用者及/或頭戴式顯示單元的位置和取向的程序的一個實施例的流程圖。

圖15是描述用於追蹤眼睛位置的程序的一個實施例的流程圖。

圖16是描述用於決定使用者視野的程序的一個實施例的流程圖。

圖17A是描述用於藉由使微顯示器部件的至少一個透鏡移位來改變該部件的聚焦區的程序的一個實施例的流程圖。

圖17B是描述用於藉由改變微顯示器部件的至少一個透鏡的偏振性來改變該部件的聚焦區的程序的一個實施例的流程圖。

圖17C是描述用於藉由改變微顯示器部件的至少一個流體透鏡的曲率半徑來改變該部件的聚焦區的程序的一個實施例的流程圖。

圖18A是描述用於在擴展實境顯示中產生不同聚焦區中的虛擬物體影像的程序的一個實施例的流程圖。

圖18B是描述用於在擴展實境顯示中產生不同聚焦區中的虛擬物體影像的程序的另一實施例的流程圖。

圖19A和圖19B示意性地圖示用於在擴展實境顯示中顯示多焦點虛擬物體的不同方式的實例。

602．．．步驟

604．．．步驟

606．．．步驟

608．．．步驟

610．．．步驟

612．．．步驟

Claims (17)

1. 一種用於藉由一擴展實境系統以可變焦點來顯示虛擬物體的方法，包括以下步驟：透過一或多個處理器，識別出在該擴展實境系統的一近眼顯示裝置的一使用者視野內的一或多個虛擬物體的一個三維視野，該近眼顯示裝置包括一微顯示器部件以及光學耦合的一顯示器單元以從該微顯示器部件接收一或多個影像，該微顯示器部件包括一或多個光處理元件，該一或多個光處理元件包括至少一個光學元件以及在一光路徑中與該至少一個光學元件對準的一微顯示器單元；透過一或多個處理器決定出配戴該近眼顯示裝置的一使用者的在該使用者視野內的一個三維當前聚焦區；根據在該使用者視野內的該一或多個虛擬物體的該些三維位置，識別出該一或多個虛擬物體中的哪些處於該使用者的該當前聚焦區中；藉由移動在該光路徑上的受該一或多個處理器控制的該微顯示器部件的該一或多個光處理元件的一位置，來調整該微顯示器部件的一聚焦區以產生影像資料於該當前聚焦區中；透過該微顯示器部件，產生該一或多個虛擬物體的影像資料，該一或多個虛擬物體被識別為在該當前聚焦區中位於該經調整的聚焦區處；及從該微顯示器部件接收並藉由該顯示器單元來顯示該一或多個虛擬物體的經產生的影像資料。
2. 如請求項1之方法，其中透過一或多個處理器決定出配戴該近眼顯示裝置的一使用者的在該使用者視野內的一個三維當前聚焦區的步驟，進一步包括以下步驟：根據一Panum融合區域，決定出該使用者的該三維當前聚焦區。
3. 如請求項1之方法，進一步包括以下步驟：根據與該當前聚焦區相距的距離將至少一個人工深度場技術應用於處於該使用者視野內，但處於該使用者的該當前聚焦區之外的一虛擬物體。
4. 如請求項1之方法，其中移動在受該一或多個處理器控制的該微顯示器部件的該光路徑上的該一或多個光處理元件的步驟，進一步包括以下步驟：透過該一或多個處理器，決定該至少一個光學元件的一前面節點與至少一個虛擬物體的一目標位置之間的一位移值S₁，該至少一個光學元件在一光路徑中位於一微顯示器與一反射元件之間；透過該一或多個處理器，決定該反射元件與該至少一個光學元件的一背面節點之間的一位移值S₂，以基於等式1/S₁+1/S₂=1/f獲得該至少一個光學元件的一焦距f；及移動受該一或多個處理器控制的該至少一個光學元件以產生該等所決定的位移值S₁和S₂。
5. 一種提供虛擬物體的可變焦點的擴展實境系統，包括：一近眼支撐結構；一或多個處理器；一透視顯示器單元，位於該近眼支撐結構以使一使用者的眼睛能透視；一微顯示器部件，該微顯示器部件用於產生一或多個影像，該微顯示器部件由該近眼支撐結構所支撐且光學耦合到該透視顯示器單元以供輸出用於一當前使用者聚焦區的影像資料至該透視顯示器單元，該微顯示器部件包括含有一微顯示器的一或多個光處理元件、至少一個光學元件、以及一可變虛擬焦點調整器，該至少一個光學元件和該微顯示器在一光路徑中對準，藉由移動在一光路徑中的受該一或多個處理器控制的一或多個光處理元件的一位置，該可變虛擬調整器改變該微顯示器部件的該聚焦區以將一或多個虛擬物體放置在一使用者的一當前聚焦區中；該一或多個處理器控制該微顯示器部件以產生影像資料於該當前聚焦區中的該一或多個虛擬物體的該經改變的聚焦區中；該顯示器單元從該微顯示器部件接收該經產生的影像資料並顯示該經產生的影像資料包括一驅動器以控制該可變虛擬調整器，該處理器在軟體的控制下指示該微顯示器單元將至少一個虛擬物體包括在一當前使用者聚焦區中；及一顯示器，該顯示器經由該光路徑耦合到該微顯示器部 件以用於顯示三維虛擬影像。
6. 如請求項5之擴展實境系統，進一步包括：一電樞，該電樞用於支撐該微顯示器部件的至少一個處理元件，並且該電樞處於該可變虛擬調整器的控制下。
7. 如請求項5之擴展實境系統，其中該可變虛擬調整器為一壓電致動器。
8. 如請求項5之擴展實境系統，進一步包括一時序產生器，該時序產生器受該一或多個處理器控制，該時序產生器用於向控制該可變虛擬調整器的一驅動器提供一速率；該可變虛擬調整器以該速率移動該微顯示器部件的至少一個光處理元件在該微顯示器部件的該光路徑中經過一範圍的位移，該範圍的位移對應於一範圍的聚焦區；該範圍的聚焦區包括一聚焦區，在該聚焦區中透過該微顯示器所產生的影像，會導致影像資料被該顯示器單元顯示於該當前使用者聚焦區；及該一或多個處理器指示該微顯示器產生一影像，該影像包括當該範圍的位移中的該個別的位移已達到時，被識別為位於該範圍的一個別的聚焦區內的任何虛擬物體。
9. 如請求項5之擴展實境系統，其中： 該微顯示器部件的該至少一個光學元件包括一組可插入透鏡，且該可變虛擬調整器包括一各別臂，該臂用於移動該組可插入透鏡中的每一者進入或離開該光路徑；及藉由移動在一光路徑中的在該一或多個處理器控制下的一或多個光處理元件的一位置，該可變虛擬調整器改變該微顯示器部件的該聚焦區以將一或多個虛擬物體放置在一使用者的一當前聚焦區中的步驟，進一步包含移動該各別臂以移動該組可插入透鏡中的一個各別的可插入透鏡的相對於該光路徑的一位置，來改變該聚焦區的步驟。
10. 如請求項5之擴展實境系統，其中：該微顯示器部件的該至少一個光學元件包括一組透鏡，該組透鏡位在受該可變虛擬調整器控制的一可旋轉支撐中；及藉由移動在一光路徑中的在該一或多個處理器控制下的一或多個光處理元件的一位置，該可變虛擬調整器改變該微顯示器部件的該聚焦區以將一或多個虛擬物體放置在一使用者的一當前聚焦區中的步驟，進一步包含該可變虛擬調整器旋轉該可旋轉支撐以改變在該光路徑中的該組透鏡中的一個透鏡，來改變該聚焦區的步驟。
11. 如請求項8之擴展實境系統，其中該顯示器單元將由該範圍的位移所產生的該等影像投影到該至少一個眼睛位置。
12. 如請求項8之擴展實境系統，其中該微顯示器產生一複合影像，該複合影像包括由該範圍的位移所產生的該等不同影像的處於焦點處的部分；及該顯示器單元將該複合影像投影到該至少一個眼睛位置。
13. 如請求項8之擴展實境系統，進一步包括：一或多個相機由該近眼支撐結構所支撐，該一或多個相機用於在該使用者前方擷取一或多個實境物體的影像資料及深度資料；及一記憶體可供該一或多個處理器存取，該記憶體用於儲存該影像資料及該深度資料；及該一或多個處理器，基於來源於由該等相機擷取的該影像資料及該深度資料的一或多個實境物體的位置以及基於一執行軟體應用的一或多個虛擬物體的位置來產生一擴展實境場景的一個三維模型。
14. 如請求項13之擴展實境系統，進一步包括一取向感測器及一眼睛追蹤單元，該取向感測器及該眼睛追蹤單元由該近眼支撐結構所支撐；該一或多個處理器，基於該三維模型，以及來自該取向感測器的資料及來自該眼睛追蹤單元的眼睛位置資料來決定該使用者的該視野，識別出該使用者視野內的任何虛擬物體的目標位置，決定哪個聚焦區在任何虛擬物體的任何目標 位置內，及基於該當前使用者聚焦區及在該使用者視野內由該執行應用控制的任何虛擬物體的一運動軌跡來選擇該範圍的聚焦區。
15. 如請求項5之擴展實境系統，其中移動在受該一或多個處理器控制的該微顯示器部件的該光路徑上的該一或多個光處理元件的步驟，進一步包括以下步驟：透過該一或多個處理器，決定該至少一個光學元件的一前面節點與至少一個虛擬物體的一目標位置之間的一位移值S₁，該至少一個光學元件在一光路徑中位於一微顯示器與一反射元件之間；透過該一或多個處理器，決定該反射元件與該至少一個光學元件的一背面節點之間的一位移值S₂，以基於等式1/S₁+1/S₂=1/f獲得該至少一個光學元件的一焦距f；及移動受該一或多個處理器控制的該至少一個光學元件以產生該等所決定的位移值S₁和S₂。
16. 一種一或多個電腦可讀取非揮發性儲存媒體，其上編碼有指令，該等指令用於使一處理器執行一方法，該方法用於在一擴展實境系統顯示具有可變焦點的虛擬物體，該方法包括以下步驟：透過一或多個處理器，識別出在該擴展實境系統的一近眼顯示裝置的一使用者視野內的一或多個虛擬物體的一個三維位置，該近眼顯示裝置包括一微顯示器部件以及光學耦 合的一顯示器單元以從該微顯示器部件接收一或多個影像，該微顯示器部件包括一或多個光處理元件，該一或多個光處理元件包括至少一個光學元件以及在一光路徑中與該至少一個光學元件對準的一微顯示器單元；透過一或多個處理器決定出配戴該近眼顯示裝置的一使用者的在該使用者視野內的一個三維當前聚焦區；根據在該使用者視野內的該一或多個虛擬物體的該些三維位置，識別出該一或多個虛擬物體的何者係位於該使用者的該當前聚焦區中；藉由移動在該光路徑上的受該一或多個處理器控制的該微顯示器部件的該一或多個光處理元件的一位置，來調整該微顯示器部件的一聚焦區以產生影像資料於該當前聚焦區中；透過該微顯示器部件，產生該一或多個虛擬物體的影像資料，該一或多個虛擬物體被識別為在該當前聚焦區中位於該經調整的聚焦區處；以及從該微顯示器部件接收並藉由該顯示器單元來顯示該一或多個虛擬物體的經產生的影像資料。
17. 如請求項16之一或多個電腦可讀非揮發儲存媒體，該方法進一步包括：其中移動在受該一或多個處理器控制的該微顯示器部件的該光路徑上的該一或多個光處理元件的步驟，進一步包括以下步驟： 透過該一或多個處理器，決定該至少一個光學元件的一前面節點與至少一個虛擬物體的一目標位置之間的一位移值S₁，該至少一個光學元件在一光路徑中位於一微顯示器與一反射元件之間；透過該一或多個處理器，決定該反射元件與該至少一個光學元件的一背面節點之間的一位移值S₂，以基於等式1/S₁+1/S₂=1/f獲得該至少一個光學元件的一焦距f；及移動受該一或多個處理器控制的該至少一個光學元件以產生該等所決定的位移值S₁和S₂。