TWI549505B

TWI549505B - 用於擴展現實顯示的基於理解力和意圖的內容

Info

Publication number: TWI549505B
Application number: TW100140759A
Authority: TW
Inventors: 裴瑞茲凱蒂史東; 巴吉夫艾維; 卡茲沙吉
Original assignee: 微軟技術授權有限責任公司
Priority date: 2010-12-16
Filing date: 2011-11-08
Publication date: 2016-09-11
Also published as: AR084345A1; WO2012082444A1; EP2652940B1; US9213405B2; EP2652940A4; EP2652940A1; CN102566756B; US20120154557A1; TW201228380A; JP2014504413A; CN102566756A; HK1171103A1; KR101935061B1; KR20130130740A

Description

用於擴展現實顯示的基於理解力和意圖的內容

本發明係關於用於擴展現實顯示的基於理解力和意圖的內容。

擴展現實是一種允許將虛擬影像與現實世界實體環境或空間相混合的技術。通常，使用者佩戴近眼顯示器以查看虛擬物體和現實物體的混合影像。一般而言，近眼顯示器使用光學裝置與立體視覺的組合來將虛擬影像聚焦到空間內。

在某些情況下，經由近眼顯示裝置向使用者所顯示的虛擬影像可能包括包含高度精細圖形的虛擬影像或物體。然而，通常是行動的近眼顯示裝置往往受限於計算資源，並且可能無法準確地將虛擬影像呈現給使用者。另外，通常向佩戴近眼顯示裝置的使用者呈現該使用者不一定有興趣查看的大量資訊。

此處揭示在使用諸如透視顯示裝置或頭戴式顯示裝置之類的近眼顯示裝置時，藉由最佳化顯示給使用者的視覺化資訊來增強使用者體驗的方法和系統。藉由對顯示給使用者的視覺化資訊區分優先順序來最佳化視覺化資訊。在一種方法中，藉由決定使用者與使用者環境中一或多個物體進行互動的所推斷或表達的意圖來對視覺化資訊區分優先順序。在一個實施例中，基於區分了優先順序的可視資訊來產生經最佳化的影像。經最佳化的影像視覺上增強使用者環境中使用者意欲與之進行互動的物體的外觀，及/或縮小使用者環境中使用者不意欲與之進行互動的物體的外觀。在一種方法中，藉由分析使用者的眼睛移動以及使用者對使用者環境中物體的注視強度來決定使用者的意圖。在另一種方法中，基於與使用者有關的使用者專用資訊來自動地決定使用者的意圖。在一個實施例中，經最佳化的影像減少了頭戴式顯示裝置在處理並將視覺化資訊呈現給使用者中所需的計算資源。

在所揭示的技術的另一個實施例中，藉由自動地增強使用者環境中的一或多個物體來提高使用者對使用者環境中視覺化資訊的理解力。在一個實施例中，產生視覺上增強提高使用者理解力的一或多個物體的外觀的經最佳化的影像。在另一個實施例中，決定使用者與經最佳化的影像中一或多個視覺上已增強的物體進行互動的意圖。

在一個實施例中，提供用於基於擴展現實系統中的使用者意圖來產生經最佳化的影像的方法。在一種方法中，該方法包括以下步驟：決定使用者使用透視顯示裝置正在查看的場景中的感興趣的物體或人。決定使用者的視野。視野是使用者正在查看的空間或環境的一部分。決定視野內的使用者的聚焦區。決定使用者與使用者的聚焦區中的一或多個物體或人進行互動的意圖。在一個實施例中，基於使用者的意圖來為使用者產生經最佳化的影像。經最佳化的影像經由透視顯示裝置顯示給使用者。

提供本發明內容以便以簡化的形式介紹將在以下詳細描述中進一步描述的一些概念。本發明內容並不意欲識別出所主張的標的的關鍵特徵或必要特徵，亦不意欲用於幫助決定所主張的標的的範圍。此外，所主張的標的不限於解決在本發明的任一部分中提及的任何或所有缺點的實施。

揭示一種用於增強使用者在使用近眼顯示裝置時的體驗的技術。使用者經由諸如頭戴式顯示裝置之類的近眼顯示裝置來查看場景。決定使用者的視野，使用者的視野是使用者可觀察的環境或空間的一部分。亦決定視野內可能感興趣的物體。視野可包括使用者的聚焦區，或者在視野內使用者實際正聚焦在其上的事物上。藉由追蹤該使用者的眼睛在視野內的位置來決定使用者的聚焦區。隨後決定使用者與使用者的聚焦區中的一或多個物體進行互動的所推斷或表達的意圖。在一種方法中，藉由偵測使用者的聚焦區中使用者的眼睛移動模式以及決定使用者對使用者的聚焦區中使用者所查看的一或多個物體的注視強度來決定使用者與使用者的聚焦區中的一或多個物體進行互動的意圖。在另一種方法中，藉由存取與使用者有關的使用者專用資訊來自動地決定使用者與使用者的聚焦區中的一或多個物體進行互動的意圖。在另一種方法中，藉由提示使用者經由諸如語音輸入、鍵盤登錄、觸敏設備或姿勢的使用者實體動作指定與一或多個物體進行互動的意圖來決定使用者與使用者的聚焦區中的一或多個物體進行互動的意圖。在又一個實施例中，根據環境及諸如一天中的時間、位置和外部輸入的其他因素來決定使用者與一或多個物體進行互動的所推斷或表達的意圖。基於使用者的需要或意圖來產生經最佳化的影像。經最佳化的影像經由頭戴式顯示裝置顯示給使用者。經最佳化的影像可包括使用者的聚焦區中的一或多個物體的已增強的外觀、位於使用者的聚焦區以外但在使用者的視野以內的物體的已縮小的外觀，以及諸如虛擬影像或與使用者的聚焦區中使用者意欲與之互動的物體有關的虛擬物體的擴展內容。可以組合使用任意一或多個此種增強。

圖1是圖示了用於基於使用者意圖產生經最佳化的影像的系統10的一個實施例的示例性組件的方塊圖。系統10包括作為經由線6與處理單元4進行通訊的近眼頭戴式顯示裝置2的透視顯示裝置。

在其他實施例中，頭戴式顯示裝置2經由無線通訊來與處理單元4進行通訊。在一個實施例中為眼鏡形狀的頭戴式顯示裝置2被佩戴在使用者的頭上，使得使用者可以經由顯示器進行查看，並且從而具有該使用者前方的空間的實際直接視圖。使用術語「實際和直接視圖」來代表直接用人眼查看現實世界物體的能力，而不是查看對物體的所建立的影像表示。例如，在房間中經由眼鏡進行查看將允許使用者具有房間的實際直接視圖，而在電視上查看房間的視訊不是房間的實際直接視圖。下文提供頭戴式顯示裝置2的更多細節。

在一個實施例中，處理單元4由使用者佩戴，並且包括許多用於操作頭戴式顯示裝置2的計算能力。處理單元4可以與一或多個中樞計算系統12無線地(例如WiFi、藍芽、紅外線，或其他無線通訊手段)通訊。

中樞計算系統12可以是電腦、遊戲系統或控制台等等。根據一示例性實施例，中樞計算系統12可以包括硬體組件及/或軟體組件，使得中樞計算系統12可以用於執行諸如遊戲應用、非遊戲應用等等之類的應用。在一個實施例中，中樞計算系統12可以包括諸如標準化處理器、專用處理器、微處理器等等之類的處理器，該等處理器可以執行儲存在處理器可讀取儲存裝置上的指令以用於執行在此述及之程序。

中樞計算系統12進一步包括一或多個擷取裝置，如擷取裝置20A和20B。在其他實施例中，可以使用多於或少於兩個的擷取裝置。在一個示例性實施中，擷取裝置20A和20B指向不同方向，使得其可以擷取房間的不同部分。可能有利的是，兩個擷取裝置的視野稍微地重疊，使得中樞計算系統12可以理解擷取裝置的視野如何彼此相關。經由此種方式，可以使用多個擷取裝置來查看整個房間(或其他空間)。或者，若擷取裝置可以在操作期間平移，則可以使用一個擷取裝置，使得視野隨時間被擷取裝置查看。非重疊的擷取裝置亦可決定相對於另一個已知點的視野，諸如使用者所佩戴的頭戴式顯示器的位置。

擷取裝置20A和20B例如可以是相機，該相機在視覺上監視一或多個使用者和周圍空間，使得可以擷取、分析並追蹤該一或多個使用者所執行的姿勢及/或移動以及周圍空間的結構，以在應用中執行一或多個控制或動作及/或使化身或屏上人物動畫化。

中樞計算環境12可以連接到諸如電視機、監視器、高清電視機(HDTV)等可提供遊戲或應用程式視覺的視聽裝置16。例如，中樞計算系統12可包括諸如圖形卡等視訊配接器及/或諸如音效卡等音訊配接器，該等配接器可提供與遊戲應用、非遊戲應用等相關聯的視聽信號。視聽裝置16可從中樞計算系統12接收視聽信號，並且隨後可以輸出與視聽信號相關聯的遊戲或應用視覺及/或音訊。根據一個實施例，視聽裝置16可經由例如，S-視訊電纜、同軸電纜、HDMI電纜、DVI電纜、VGA電纜、分量視訊電纜、RCA電纜等連接至中樞計算系統12。在一個實例中，視聽裝置16包括內置揚聲器。在其他實施例中，視聽裝置16、單獨的身歷聲系統或中樞計算系統12連接到外部揚聲器22。

中樞計算裝置10可以與擷取裝置20A和20B一起用於辨識、分析及/或追蹤人類(以及其他類型的)目標。例如，可使用擷取裝置20A和20B來追蹤佩戴頭戴式顯示裝置2的使用者，使得可以擷取使用者的姿勢及/或移動來使化身或螢幕上人物動畫化，及/或可將使用者的姿勢及/或移動解釋為可用於影響中樞計算系統12所執行的應用的控制。

在所揭示的技術的一個實施例中，如下文將詳細論述的，系統10基於決定使用者與使用者環境中一或多個物體進行互動的意圖來為使用者產生經最佳化的影像。經最佳化的影像可包括使用者意欲與之互動的物體的已增強的外觀、使用者不意欲與之互動的物體的已縮小的外觀，或以上二者。經最佳化的影像經由頭戴式顯示裝置2顯示給使用者。

圖2圖示了頭戴式顯示裝置2的一部分的俯視圖，其包括鏡架的包含鏡腿102和鼻中104的彼部分。僅僅圖示了頭戴式顯示裝置2的右側。在鼻中104中置入了話筒110以用於記錄聲音以及將音訊資料傳送給處理單元4，此舉將在下文予以描述。在頭戴式顯示裝置2的前方是朝向可擷取視訊和靜止影像的視訊相機113的房間。該等影像被傳送給處理單元4，此舉將在下文予以描述。

頭戴式顯示裝置2的鏡架的一部分將圍繞顯示器(其包括一或多個透鏡)。為了圖示頭戴式顯示裝置2的組件，未圖示圍繞顯示器的鏡架部分。在一個實施例中，顯示器包括光導光學元件112、不透明度濾光器114、透視透鏡116和透視透鏡118。在一個實施例中，不透明度濾光器114處於透視透鏡116之後並與其對準，光導光學元件112處於不透明度濾光器114之後並與其對準，並且透視透鏡118處於光導光學元件112之後並與其對準。透視透鏡116和118是眼鏡中使用的標準透鏡，並且可根據任何處方(包括無處方)來製作。在一個實施例中，透視透鏡116和118可由可變處方透鏡取代。在一些實施例中，頭戴式顯示裝置2將僅僅包括一個透視透鏡或者不包括透視透鏡。在另一替代方案中，處方透鏡可以進入光導光學元件112內。不透明度濾光器114濾除自然光(要麼以每像素為基礎，要麼均勻地)以增強虛擬影像的對比度。光導光學元件112將人造光引導至眼睛。下文提供不透明度濾光器114和光導光學元件112的更多細節。在替代實施例中，可以不使用不透明度濾光器114。

在鏡腿102處或鏡腿102內安裝有影像源，該影像源(在一個實施例中)包括用於對虛擬影像進行投影的微顯示器部件120，以及用於將影像從微顯示器120引導到光導光學元件112中的透鏡122。在一個實施例中，透鏡122是準直透鏡。

控制電路136提供支援頭戴式顯示裝置2的其他組件的各種電子裝置。下文參考圖3提供控制電路136的更多細節。處於鏡腿102內部或安裝在鏡腿102處的有耳機130、慣性感測器132，以及溫度感測器138。在一個實施例中，慣性感測器132包括三軸磁力計132A、三軸陀螺儀132B，以及三軸加速度計132C(參見圖3)。慣性感測器用於感測頭戴式顯示裝置2的位置、取向，以及突然加速。

微顯示器120經由透鏡122來投影影像。存在著可用於實施微顯示器120的不同的影像產生技術。例如，微顯示器120可以使用透射投影技術來實施，其中光源由光學主動材料來調制，用白光從背後照亮。該等技術通常是使用具有強大背光和高光能量密度的LCD類型的顯示器來實施的。微顯示器120亦可使用反射技術來實施，其中外部光被光學活性材料反射並調制。根據該技術，由白光源或RGB源向前點亮照明。數位光處理(DLP)、矽上液晶(LCOS)，以及來自Qualcomm有限公司的Mirasol顯示技術皆是高效的反射技術的實例，因為大多數能量從已調制結構反射離開並且可用在本文描述的系統中。附加地，微顯示器120可以使用發射技術來實施，其中光由該顯示器產生。例如，來自Microvision有限公司的PicoP^TM顯示引擎使用微型鏡面舵來將雷射信號發射到充當透射元件的小型螢幕上或直接照射到眼睛(例如雷射)。

光導光學元件112將來自微顯示器120的光傳送到佩戴頭戴式顯示裝置2的使用者的眼睛140。光導光學元件112亦允許如箭頭142所示一般將光從頭戴式顯示裝置2的前方經由光導光學元件112透射到使用者的眼睛140，從而除接收來自微顯示器120的虛擬影像之外亦允許使用者具有頭戴式顯示裝置2的前方的空間的實際直接視圖。因此，光導光學元件112的壁是透視的。光導光學元件112包括第一反射面124(例如鏡面或其他表面)。來自微顯示器120的光穿過透鏡122並入射在反射面124上。反射面124反射來自微顯示器120的入射光，使得光經由內反射而被截獲在包括光導光學元件112的平面基底內。在離開基底的表面的若干反射之後，所截獲的光波到達選擇性反射面126的陣列。注意，五個表面中只有一個表面被標記為126以防止附圖太過擁擠。反射面126將從基底出射並入射在該等反射面上的光波耦合到使用者的眼睛140。由於不同光線將以不同角度傳播並彈離基底的內部，因此該等不同的光線將以不同角度擊中各個反射面126。因此，不同光線將被該等反射面中的不同反射面從基底中反射出。關於哪些光線將被哪個表面126從基底反射出的選擇是藉由選擇表面126的合適角度來設計的。在一個實施例中，每只眼睛將具有其自身的光導光學元件112。當頭戴式顯示裝置具有兩個光導光學元件時，每只眼睛皆可以具有其自身的微顯示器120，該微顯示器120可以在兩隻眼睛中顯示相同影像或者在兩隻眼睛中顯示不同影像。在另一實施例中，可以存在將光反射到兩隻眼睛中的一個光導光學元件。

與光導光學元件112對準的不透明度濾光器114要麼均勻地，要麼以每像素為基礎來選擇性地阻擋自然光，以免其穿過光導光學元件112。在一個實施例中，不透明度濾光器可以是透視LCD面板、電致變色膜(electrochromic film)或能夠充當不透明度濾光器的類似裝置。藉由從一般LCD中移除基底、背光和漫射體的各層，可以獲得此類透視LCD面板。LCD面板可包括一或多個透光LCD晶片，該透光LCD晶片允許光穿過液晶。例如，在LCD投影儀中使用了此類晶片。

不透明度濾光器114可以包括緻密的像素網格，其中每個像素的透光率能夠在最小和最大透光率之間被個別化地控制。儘管0-100%的透光率範圍是理想的，然而更有限的範圍亦是可以接受的。作為實例，具有不超過兩個偏振濾光器的單色LCD面板足以提供每像素約50%到90%的不透明度範圍，最高為該LCD的解析度。在50%的最小值處，透鏡將具有稍微帶色彩的外觀，此舉是可以容忍的。100%的透光率表示完美清澈的透鏡。可以從0-100%定義「阿爾法(alpha)」標度，其中0%不允許光穿過，並且100%允許所有光穿過。可以由下文描述的不透明度濾光器控制電路224為每個像素設置阿爾法的值。

在用代理伺服器為現實世界物體進行z-緩衝(z-buffering)之後，可以使用來自渲染流水線的阿爾法值的遮罩(mask)。當系統為增強現實顯示而呈現場景時，該系統注意到哪些現實世界物體處於哪些虛擬物體之前。若虛擬物體處於現實世界物體之前，則不透明度對於該虛擬物體的覆蓋區域而言應當是開啟的。若虛擬物體(實際上)處於現實世界物體之後，則不透明度以及該像素的任何色彩皆應當是關閉的，使得對於現實光的該相應區域(其大小為一個像素或更多)而言，使用者將會僅僅看到現實世界物體。覆蓋將是以逐像素為基礎的，所以該系統可以處理虛擬物體的一部分處於現實世界物體之前、該虛擬物體的一部分處於現實世界物體之後，以及該虛擬物體的一部分與現實世界物體相重合的情況。對此種用途而言，最期望的是能夠以低的成本、功率和重量從0%達到100%不透明度的顯示器。此外，不透明度濾光器可以諸如用彩色LCD或用諸如有機LED等其他顯示器來以彩色進行呈現，以提供寬視野。於2010年9月21日提出申請的美國專利申請案第12/887,426號「Opacity Filter For See-Through Mounted Display(用於透射安裝顯示器的不透明度濾光器)」中提供了不透明度濾光器的更多細節，該專利申請案的全部內容經由引用之方式併入本文。

諸如LCD之類的不透明度濾光器通常亦未與在此述及之透視透鏡一起使用，因為在與眼睛的該近距離下，其可能失焦。然而，在一些情況下，該結果可能是所期望的。經由使用相加色(additive color)的普通HMD顯示器(其被設計為是聚焦的)，使用者看到具有清晰彩色圖形的虛擬影像。該LCD面板被放置在該顯示器「之後」，使得模糊的黑色邊界圍繞任何虛擬內容，使其根據需要而不透明。該系統扭轉了自然模糊化的缺陷以方便地獲得了抗混疊特性和頻寬減少。該等是使用較低解析度且失焦影像的自然結果。存在對數位取樣影像的有效平滑化。任何數位影像皆經歷混疊，其中在光的波長附近，取樣的離散性導致與自然類比和連續信號相比的誤差。平滑化意謂在視覺上更靠近理想的類比信號。儘管在低解析度丟失的資訊沒有被恢復，但是得到的誤差的明顯程度更低。

在一個實施例中，顯示器和不透明度濾光器被同時渲染，並且被校準到使用者在空間中的精確位置以補償角度偏移問題。眼睛追蹤可用於計算視野的末端處的正確的影像偏移。在一些實施例中，在不透明度濾光器中可以使用不透明度的量在時間和空間上的淡化。類似地，在虛擬影像中可以使用在時間或空間上的淡化。在一種方法中，不透明度濾光器的不透明度的量在時間上的淡化對應於虛擬影像在時間上的淡化。在另一種方法中，不透明度濾光器的不透明度的量在空間上的淡化對應於虛擬影像中在空間上的淡化。

在一個示例性方法中，從所識別出的使用者眼睛的位置的視角出發，為不透明度濾光器的處於虛擬影像之後的像素提供增加的不透明度。經由此種方式，處於虛擬影像之後的像素被暗化，使得來自現實世界場景的相應部分的光被阻擋而無法到達使用者的眼睛。此舉允許虛擬影像是逼真的並且表示全範圍的色彩和亮度。此外，由於可以以更低的亮度提供虛擬影像，因此減少了增強現實發射器的功耗。在沒有不透明度濾光器的情況下，將需要以與現實世界場景的相應部分相比更亮的足夠高的亮度來提供虛擬影像，以使虛擬影像不同並且不是透明的。在暗化不透明度濾光器的像素時，一般而言，沿著虛擬影像的封閉周界的像素與周界內的像素一起被暗化。所期望的可能是提供一些重疊，使得恰好處於周界之外並且圍繞周界的一些像素亦被暗化(以相同的暗度級或者比周界內的像素暗度低)。恰好處於周界之外的該等像素可以提供從周界內的暗度到周界之外的完全量的不透光度的淡化(例如不透光度的逐漸過渡)。

為了提供不透明度濾光器的操作的實例，圖2A圖示了森林的示例性現實世界場景，該場景是經由頭戴式顯示裝置2進行查看的人眼可見的。圖2B圖示了虛擬影像，該虛擬影像在該情形下是海豚。圖2C圖示了基於圖2B的虛擬影像的形狀的不透明度濾光器的示例性配置。不透明度濾光器在應當渲染海豚之處提供了不透明度增加的暗化區域。增加的不透明度一般代表像素的暗化，此舉可以包括允許更少的光穿過。可以在單色方案中使用到不同灰度級(或黑色)的暗化，或者在彩色方案中使用到不同色彩級的暗化。圖2D圖示了使用者所看到的示例性影像，並且該影像是如下動作的結果：將海豚的虛擬影像投影到使用者的視界中；及使用不透明度濾光器來為與海豚的虛擬影像的位置相對應的像素移除光。如可以看見的一般，背景不是透過海豚可被看見的。為了比較的目的，圖2E圖示在不使用不透明度濾光器的情況下將虛擬影像插入到現實影像中。如可以看見的一般，實際背景可以透過海豚的虛擬影像被看見。

頭戴式顯示裝置2亦包括用於追蹤使用者的眼睛位置的系統。如下文將會解釋的一般，該系統將追蹤使用者的位置和取向，使得該系統可以決定使用者的視野。然而，人類將不會察覺處於其之前的所有事物。相反，使用者的眼睛將對準環境的子集。因此，在一個實施例中，該系統將包括用於追蹤使用者的眼睛位置的技術以便細化對使用者視野的量測。例如，頭戴式顯示裝置2包括眼睛追蹤部件134(參見圖2)，該眼睛追蹤部件134將包括眼睛追蹤照明裝置134A和眼睛追蹤相機134B(參見圖3)。在一個實施例中，眼睛追蹤照明源134A包括一或多個紅外線(IR)發射器，該等紅外線發射器向眼睛發射IR光。眼睛追蹤相機134B包括一或多個感測所反射的IR光的相機。經由偵測角膜的反射的已知成像技術，可以識別出瞳孔的位置。例如，參見2008年7月22日頒發給Kranz等人的、標題為「Head mounted eye tracking and display system(頭戴式眼睛追蹤和顯示系統)」的美國專利第7,401,920號，該專利經由引用之方式併入本文。此類技術可以定位眼睛的中心相對於追蹤相機的位置。一般而言，眼睛追蹤涉及獲得眼睛的影像以及使用電腦視覺技術來決定瞳孔在眼眶內的位置。在一個實施例中，追蹤一隻眼睛的位置就足夠了，因為眼睛通常一致地移動。然而，單獨地追蹤每只眼睛是可能的。或者，眼睛追蹤相機可以是使用眼睛的基於任何運動的影像在有或沒有照明源的情況下偵測位置的追蹤相機的替代形式。

在一個實施例中，該系統將使用以矩形佈置的4個IR LED和4個IR光電偵測器，使得在頭戴式顯示裝置2的透鏡的每個角處存在一個IR LED和IR光電偵測器。來自LED的光從眼睛反射離開。由在4個IR光電偵測器中的每個處所偵測到的紅外光的量來決定瞳孔方向。亦即，眼睛中眼白相對於眼黑的量將決定對於該特定光電偵測器而言從眼睛反射離開的光量。因此，光電偵測器將具有對眼睛中的眼白或眼黑的量的度量。從4個取樣中，該系統可以決定眼睛的方向。

另一替代方案是如上文所論述的一般使用4個紅外線LED，但是在頭戴式顯示裝置2的透鏡的側邊處僅僅使用一個紅外線CCD。該CCD將使用小鏡及/或透鏡(魚眼)，使得CCD可以從鏡框對高達75%的可見眼睛進行成像。隨後，該CCD將感測影像並且使用電腦視覺來發現該影像，就像上文所論述的一般。因此，儘管圖2圖示具有一個IR發射器的一個部件，但是圖2的結構可以被調整為具有4個IR發射機及/或4個IR感測器。亦可以使用多於或少於4個的IR發射機及/或多於或少於4個的IR感測器。

用於追蹤眼睛方向的另一實施例是基於電荷追蹤。該方案基於如下觀察：視網膜攜帶可量測的正電荷並且角膜具有負電荷。感測器經由使用者的耳朵來安裝(靠近耳機130)以偵測眼睛在轉動時的電勢並且有效地即時讀出眼睛正在進行的動作。亦可以使用用於追蹤眼睛的其他實施例，諸如安裝在眼鏡內部的小相機。

可以理解的是，一或多個附加的偵測器可被包括在頭戴式顯示裝置2上。此種偵測器可包括但不限於SONAR、LIDAR、結構化光，及/或被安置以偵測設備的佩戴者可能正在查看的資訊的飛行時間距離偵測器。

圖2僅僅圖示頭戴式顯示裝置2的一半。完整的頭戴式顯示裝置將包括另一組透視透鏡、另一不透明度濾光器、另一光導光學元件、另一微顯示器136、另一透鏡122、朝向房間的相機、眼睛追蹤部件、微顯示器、耳機以及溫度感測器。在經由引用之方式併入本文的2010年10月15日提出申請的標題為「Fusing Virtual Content Into Real Content」(將虛擬內容融合到現實內容中)的美國專利申請案第12/905952號中說明頭戴式顯示器2的附加細節。

圖3是圖示了頭戴式顯示裝置2的各個組件的方塊圖。圖4是描述處理單元4的各個組件的方塊圖。頭戴式顯示裝置2(其組件在圖3中圖示)用於基於決定使用者與使用者環境中一或多個物體進行互動的意圖，將經最佳化的影像顯示給使用者。另外，圖3的頭戴式顯示裝置組件包括追蹤各種狀況的許多感測器。頭戴式顯示裝置2將從處理單元4接收關於虛擬影像的指令，並且將感測器資訊提供回給處理單元4。圖3中圖示了處理單元4的組件，該處理單元4將從頭戴式顯示裝置2，並且亦從中樞計算裝置12(參見圖1)接收感測資訊。基於該資訊，處理單元4將決定在何處以及在何時向使用者提供虛擬影像並相應地將指令發送給圖3的頭戴式顯示裝置。

注意，圖3的組件中的一些(例如朝向背面的相機113、眼睛追蹤相機134B、微顯示器120、不透明度濾光器114、眼睛追蹤照明134A、耳機130和溫度感測器138)是以陰影圖示的，以指示該等的裝置中的每個皆存在兩個，其中一個用於頭戴式顯示裝置2的左側，並且一個用於頭戴式顯示裝置2的右側。圖3圖示與電源管理電路202通訊的控制電路200。控制電路200包括處理器210、與記憶體214(例如D-RAM)進行通訊的記憶體控制器212、相機介面216、相機緩衝器218、顯示器驅動器220、顯示格式化器222、時序產生器226、顯示輸出介面228，以及顯示輸入介面230。在一個實施例中，控制電路200的所有組件皆經由專用線路或一或多個匯流排彼此進行通訊。在另一實施例中，控制電路200的每個組件皆與處理器210通訊。相機介面216提供到兩個朝向房間的相機113的介面，並且將從朝向房間的相機所接收到的影像儲存在相機緩衝器218中。顯示器驅動器220將驅動微顯示器120。顯示格式化器222向控制不透明度濾光器114的不透明度控制電路224提供關於微顯示器120上所顯示的虛擬影像的資訊。時序產生器226被用於向該系統提供時序資料。顯示輸出介面228是用於將影像從朝向房間的相機113提供給處理單元4的緩衝器。顯示輸入230是用於接收諸如要在微顯示器120上顯示的虛擬影像之類的影像的緩衝器。顯示輸出228和顯示輸入230與作為到處理單元4的介面的帶介面232進行通訊。

電源管理電路202包括電壓調節器234、眼睛追蹤照明驅動器236、音訊DAC和放大器238、話筒前置放大器音訊ADC 240、溫度感測器介面242，以及時鐘產生器244。電壓調節器234經由帶介面232從處理單元4接收電能，並將該電能提供給頭戴式顯示裝置2的其他組件。眼睛追蹤照明驅動器236皆如上文述及之一般為眼睛追蹤照明134A提供IR光源。音訊DAC和放大器238從耳機130接收音訊資訊。話筒前置放大器和音訊ADC 240提供話筒110的介面。溫度感測器介面242是溫度感測器138的介面。電源管理單元202亦向三軸磁力計132A、三軸陀螺儀132B以及三軸加速度計132C提供電能並從其接收回資料。

圖4是描述處理單元4的各個組件的方塊圖。圖4圖示與電源管理電路306通訊的控制電路304。控制電路304包括：中央處理單元(CPU)320；圖形處理單元(GPU)322；快取記憶體324；RAM 326；與記憶體330(例如D-RAM)進行通訊的記憶體控制器328；與快閃記憶體334(或其他類型的非揮發性儲存)進行通訊的快閃記憶體控制器332；經由帶介面302和帶介面232與頭戴式顯示裝置2進行通訊的顯示輸出緩衝器336；經由帶介面302和帶介面232與頭戴式顯示裝置2進行通訊的顯示輸入緩衝器338；與用於連接到話筒的外部話筒連接器342進行通訊的話筒介面340，用於連接到無線通訊裝置346的PCI express介面；及USB埠348。在一個實施例中，無線通訊裝置346可以包括賦能Wi-Fi的通訊裝置、藍芽通訊裝置、紅外線通訊裝置等。USB埠可以用於將處理單元4對接到中樞計算裝置12，以便將資料或軟體載入到處理單元4上以及對處理單元4進行充電。在一個實施例中，CPU 320和GPU 322是用於決定在何處、何時以及如何向使用者的視野內插入虛擬影像的主負荷設備。下文提供更多的細節。

電源管理電路306包括時鐘產生器360、類比數位轉換器362、電池充電器364、電壓調節器366、頭戴式顯示器電源376，以及與溫度感測器374進行通訊的溫度感測器介面372(其位於處理單元4的腕帶(Wrist band)上)。類比數位轉換器362連接到充電插座370以用於接收AC供電並為該系統產生DC供電。電壓調節器366與用於向該系統提供電能的電池368進行通訊。電池充電器364被用來在從充電插座370接收到電能之後對電池368進行充電(經由電壓調節器366)。HMD電源376向頭戴式顯示裝置2提供電能。

上述系統將被配置為將虛擬影像插入到使用者的視野中，使得該虛擬影像替代現實世界物體的視圖。或者，可插入虛擬影像而不替換現實世界物體的影像。在各個實施例中，虛擬影像將基於被替換的物體或者該影像將被插入的環境而被調整為與合適的取向、大小和形狀相匹配。另外，虛擬影像可以被調整為包括反射和陰影。在一個實施例中，頭戴式顯示裝置12、處理單元4以及中樞計算裝置12一起工作，因為每個裝置皆包括用於獲得用於決定在何處、何時以及如何插入虛擬影像的資料的感測器的子集。在一個實施例中，決定在何處、如何以及何時插入虛擬影像的計算是由中樞計算裝置12執行的。在另一實施例中，該等計算由處理單元4來執行。在另一實施例中，該等計算中的一些由中樞計算裝置12來執行，而其他計算由處理單元4來執行。在其他實施例中，該等計算可以由頭戴式顯示裝置12來執行。

在一個示例性實施例中，中樞計算裝置12將建立使用者所處的環境的模型，並且追蹤在該環境中的多個移動物體。在替代實施例中，經由其他手段來決定環境中感興趣的物體和使用者。另外，中樞計算裝置12藉由追蹤頭戴式顯示裝置2的位置和取向來追蹤頭戴式顯示裝置2的視野。該模型和追蹤資訊被從中樞計算裝置12提供給處理單元4。由頭戴式顯示裝置2所獲得的感測器資訊被傳送給處理單元4。隨後，處理單元4使用其從頭戴式顯示裝置2接收的其他感測器資訊來細化使用者的視野並且向頭戴式顯示裝置2提供關於如何、在何處以及何時插入虛擬影像的指令。

圖5圖示具有擷取裝置的中樞計算系統12的示例性實施例。在一個實施例中，擷取裝置20A和20B是相同結構，因此，圖5僅僅圖示擷取裝置20A。根據一示例性實施例，擷取裝置20A可被配置為經由可包括例如飛行時間、結構化光、立體影像等在內的任何合適的技術來擷取包括深度影像的帶有深度資訊的視訊，該深度影像可包括深度值。根據一個實施例，擷取裝置20A可將深度資訊組織成「Z層」，或者可與從深度相機沿其視線延伸的Z軸垂直的層。

如圖5所示，擷取裝置20A可以包括相機組件423。根據一示例性實施例，相機組件423可以是或者可以包括可擷取場景的深度影像的深度相機。深度影像可包括所擷取的場景的二維(2-D)像素區域，其中2-D像素區域中的每個像素皆可以表示深度值，諸如所擷取的場景中的物體與相機相距的例如以釐米、毫米等為單位的距離。

相機組件23可以包括可用於擷取場景的深度影像的紅外線(IR)光組件425、三維(3D)相機426，以及RGB(視覺影像)相機428。例如，在飛行時間分析中，擷取裝置20A的IR光組件425可以將紅外光發射到場景上，並且隨後可以使用感測器(在一些實施例中包括未圖示的感測器)、例如使用3D相機426及/或RGB相機428來偵測從場景中的一或多個目標和物體的表面後向散射的光。在一些實施例中，可以使用脈衝紅外光，使得可以量測出射光脈衝和相應的入射光脈衝之間的時間並將其用於決定從擷取裝置20A到場景中的目標或物體上的特定位置的實體距離。附加地，在其他示例性實施例中，可將出射光波的相位與入射光波的相位進行比較來決定相移。隨後可以使用該相移來決定從擷取裝置到目標或物體上的特定位置的實體距離。

根據另一示例性實施例，可使用飛行時間分析，以藉由經由包括例如快門式光脈衝成像之類的各種技術分析反射光束隨時間的強度來間接地決定從擷取裝置20A到目標或物體上的特定位置的實體距離。

在另一示例性實施例中，擷取裝置20A可使用結構化光來擷取深度資訊。在此類分析中，圖案化光(亦即，被顯示為諸如網格圖案、條紋圖案，或不同圖案之類的已知圖案的光)可經由例如IR光組件424被投影到場景上。在落到場景中的一或多個目標或物體的表面上時，作為回應，圖案可變形。圖案的此種變形可由例如3D相機426及/或RGB相機428(及/或其他感測器)來擷取，隨後可被分析以決定從擷取裝置到目標或物體上的特定位置的實體距離。在一些實施中，IR光組件425與相機425和426分開，使得可以使用三角量測來決定與相機425和426相距的距離。在一些實施中，擷取裝置20A將包括感測IR光的專用IR感測器或具有IR濾光器的感測器。

根據另一實施例，擷取裝置20A可以包括兩個或兩個以上在實體上分開的相機，該等相機可以從不同的角度觀察場景以獲得視覺立體資料，該等視覺立體資料可以被分辨以產生深度資訊。亦可使用其他類型的深度影像感測器來建立深度影像。

擷取裝置20A進一步可以包括話筒430，該話筒430包括可以接收聲音並將其轉換成電信號的換能器或感測器。話筒430可用於接收亦可由中樞計算系統12來提供的音訊信號。

在一示例性實施例中，擷取裝置20A進一步可包括可與影像相機組件423進行通訊的處理器432。處理器432可包括可執行指令的標準處理器、專用處理器、微處理器等，該等指令例如包括用於接收深度影像、產生合適的資料格式(例如，訊框)以及將資料傳送給中樞計算系統12的指令。

擷取裝置20A進一步可包括記憶體434，該記憶體434可儲存由處理器432執行的指令、由3D相機及/或RGB相機所擷取的影像或影像訊框，或任何其他合適的資訊、影像等等。根據一示例性實施例，記憶體434可包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快取記憶體、快閃記憶體、硬碟或任何其他合適的儲存組件。如圖5所示，在一個實施例中，記憶體434可以是與影像擷取組件423和處理器432進行通訊的單獨組件。根據另一實施例，記憶體組件434可被整合到處理器432及/或影像擷取組件422中。

擷取裝置20A和20B經由通訊鏈路436與中樞計算系統12通訊。通訊鏈路436可以是包括例如USB連接、火線連接、乙太網路電纜連線等的有線連接及/或諸如無線802.11b、802.11g、802.11a或802.11n連接等的無線連接。根據一個實施例，中樞計算系統12可以經由通訊鏈路436向擷取裝置20A提供可用於決定例如何時擷取場景的時鐘。附加地，擷取裝置20A經由通訊鏈路436將由例如3D相機426及/或RGB相機428擷取的深度資訊和視覺(例如RGB)影像提供給中樞計算系統12。在一個實施例中，深度影像和視覺影像以每秒30訊框的速率來傳送，但是可以使用其他訊框速率。中樞計算系統12隨後可以建立模型並使用模型、深度資訊，以及所擷取的影像來例如控制諸如遊戲或文字處理器等的應用及/或使化身或屏上人物動畫化。

中樞計算系統12包括深度影像處理和骨架追蹤模組450，該模組使用深度影像來追蹤可被擷取裝置20A的深度相機功能偵測到的一或多個人。深度影像處理和骨架追蹤模組450向應用453提供追蹤資訊，該應用可以是視訊遊戲、生產性應用、通訊應用或其他軟體應用等。音訊資料和視覺影像資料亦被提供給應用452和深度影像處理和骨架追蹤模組450。應用452將追蹤資訊、音訊資料和視覺影像資料提供給辨識器引擎454。在另一實施例中，辨識器引擎454直接從深度影像處理和骨架追蹤模組450接收追蹤資訊，並直接從擷取裝置20A和20B接收音訊資料和視覺影像資料。

辨識器引擎454與篩檢程式460、462、464、……、466的集合相關聯，每個篩檢程式皆包括關於可被擷取裝置20A或20B偵測到的任何人或物體執行的姿勢、動作或狀況的資訊。例如，來自擷取裝置20A的資料可由篩檢程式460、462、464、……、466來處理，以便識別出一個使用者或一組使用者已經何時執行了一或多個姿勢或其他動作。該等姿勢可與應用452的各種控制、物體或狀況相關聯。因此，中樞計算系統12可以將辨識器引擎454和篩檢程式一起用於解釋和追蹤物體(包括人)的移動。

擷取裝置20A和20B向中樞計算系統12提供RGB影像(或其他格式或色彩空間的視覺影像)和深度影像。深度影像可以是複數個觀測到的像素，其中每個觀測到的像素具有觀測到的深度值。例如，深度影像可包括所擷取的場景的二維(2D)像素區域，其中2D像素區域中的每個像素皆可具有深度值，諸如所擷取的場景中的物體與擷取裝置相距的距離。中樞計算系統12將使用RGB影像和深度影像來追蹤使用者或物體的移動。例如，系統將使用深度影像來追蹤人的骨架。可以使用許多方法以藉由使用深度影像來追蹤人的骨架。使用深度影像來追蹤骨架的一個合適的實例在2009年10月21日提出申請的美國專利申請案第12/603,437號「Pose Tracking Pipeline(姿態追蹤流水線)」(以下稱為'437申請案)中提供，該申請案的全部內容經由引用之方式併入本文。'437申請案的程序包括：獲取深度影像；對資料進行降取樣；移除及/或平滑化高方差雜訊資料；識別並移除背景；及將前景像素中的每個像素分配給身體的不同部位。基於該等步驟，系統將使一模型擬合到該資料並建立骨架。該骨架將包括一組關節和該等關節之間的連接。亦可使用用於追蹤的其他方法。在下列四個美國專利申請案中亦揭示合適的追蹤技術，該專利的全部內容皆經由引用之方式併入本文：於2009年5月29日提出申請的的美國專利申請案第12/475,308號「Device for Identifying and Tracking Multiple Humans Over Time(用於隨時間識別和追蹤多個人類的設備)」；於2010年1月29日提出申請的美國專利申請案第12/696,282號「Visual Based Identity Tracking(基於視覺的身份追蹤)」；於2009年12月18日提出申請美國專利申請案第12/641,788號「Motion Detection Using Depth Images(使用深度影像的運動偵測)」；及於2009年10月7日提出申請的美國專利申請案第12/575,388號「Human Tracking System(人類追蹤系統)」。

辨識器引擎454包括多個篩檢程式460、462、464、……、466來決定姿勢或動作。篩檢程式包括定義姿勢、動作或狀況以及該姿勢、動作或狀況的參數或元資料的資訊。例如，包括一隻手從身體背後經過身體前方的運動的投擲可被實施為包括表示使用者的一隻手從身體背後經過身體前方的運動的資訊的姿勢，因為該運動將由深度相機來擷取。隨後可為該姿勢設定參數。當姿勢是投擲時，參數可以是該手必須達到的閾值速度、該手必須行進的距離(絕對的，或相對於使用者的整體大小)，以及辨識器引擎對發生了該姿勢的置信度評級。用於姿勢的該等參數可以隨時間在各應用之間、在單個應用的各上下文之間，或在一個應用的一個上下文內變化。

篩檢程式可以是模組化的或是可互換的。在一個實施例中，過濾器具有多個輸入(該等輸入中的每一個具有一類型)以及多個輸出(該等輸出中的每一個具有一類型)。第一篩檢程式可用具有與第一篩檢程式相同數量和類型的輸入和輸出的第二篩檢程式來替換而不更改辨識器引擎架構的任何其他態樣。例如，可能具有用於驅動的第一篩檢程式，該第一篩檢程式將骨架資料作為輸入並輸出與該篩檢程式相關聯的姿勢正在發生的置信度和轉向角。在希望用第二驅動篩檢程式來替換該第一驅動篩檢程式的情況下(如此可能是因為第二驅動篩檢程式更高效且需要更少的處理資源)，可以藉由簡單地用第二篩檢程式替換第一篩檢程式來如此做，只要第二過濾器具有同樣的輸入和輸出--骨架資料類型的一個輸入，以及置信度類型和角度類型的兩個輸出。

篩檢程式不需要具有參數。例如，返回使用者的高度的「使用者高度」篩檢程式可能不允許可被調諧的任何參數。備選的「使用者高度」篩檢程式可具有可調諧參數，諸如在決定使用者的高度時是否考慮使用者的鞋、髮型、頭飾以及體態。

對篩檢程式的輸入可包括諸如關於使用者的關節位置的關節資料、在關節處相交的骨所形成的角度、來自場景的RGB色彩資料，以及使用者的某一態樣的變化速率等內容。來自篩檢程式的輸出可包括諸如正作出給定姿勢的置信度、作出姿勢運動的速度，以及作出姿勢運動的時間等內容。

辨識器引擎454可以具有向篩檢程式提供功能的基本辨識器引擎。在一實施例中，辨識器引擎454所實施的功能包括：追蹤所辨識的姿勢和其他輸入的隨時間輸入(input-over-time)存檔；隱瑪律可夫模型實施(其中所建模的系統被假定為瑪律可夫程序-該程序是其中當前狀態封裝了用於決定將來狀態所需的任何過去狀態資訊，因此不必為此目的而維護任何其他過去狀態資訊的程序-該程序具有未知參數，並且隱藏參數是從可觀察資料來決定的)；及求解姿勢辨識的特定實例所需的其他功能。

篩檢程式460、462、464、……、466在辨識器引擎454之上載入並實施，並且可利用辨識器引擎454提供給所有篩檢程式460、462、464、……、466的服務。在一個實施例中，辨識器引擎454接收資料來決定該資料是否滿足任何篩檢程式460、462、464、……、466的要求。由於該等所提供的諸如解析輸入之類的服務是由辨識器引擎454一次性提供而非由每個篩檢程式460、462、464、……、466提供的，因此此類服務在一段時間內只需被處理一次而不是在該時間段對每個篩檢程式處理一次，因此減少了決定姿勢所使用的處理。

應用452可使用辨識器引擎454所提供的篩檢程式460、462、464、……、466，或者其可提供其自身的、插入到辨識器引擎454中的篩檢程式。在一實施例中，所有過濾器具有賦能該插入特性的通用介面。此外，所有篩檢程式可利用參數，因此可使用以下單個姿勢工具來診斷並調諧整個篩檢程式系統。

關於辨識器引擎454的更多資訊可在2009年4月13日提出申請的美國專利申請案第12/422,661號「Gesture Recognizer System Architecture(姿勢辨識器系統架構)」中發現，該申請經由引用之方式全部併入本文。關於辨識姿勢的更多資訊可在2009年2月23日提出申請的美國專利申請案第12/391,150號「Standard Gestures(標準姿勢)」；及2009年5月29日提出申請的美國專利申請案第12/474,655號「Gesture Tool(姿勢工具)」中發現，該兩個申請案的全部內容皆經由引用之方式併入本文。

在一個實施例中，計算系統12包括使用者設定檔資料庫470，該使用者設定檔資料庫470包括與同中樞計算系統12互動的一或多個使用者相關的使用者專用資訊。在一個實施例中，使用者專用資訊包括諸如下列與使用者相關的資訊：使用者所表達的偏好；使用者的朋友的列表；使用者所偏好的活動；使用者的提醒列表；使用者的社交群組；使用者的當前位置；使用者過去與該使用者的環境中的物體互動的意圖；及使用者建立的其他內容，諸如使用者的照片、影像和所記錄的視訊。在一個實施例中，使用者專用資訊可以從一或多個諸如下列資料來源獲得：使用者的社交網站、位址簿、電子郵件資料、即時通訊資料、使用者設定檔或者網際網路上的其他來源。在一種方法中並且如將在下文詳細描述的一般，使用者專用資訊用於自動決定使用者與該使用者的環境中的一或多個物體互動的意圖。

圖6圖示可用於實施中樞計算系統12的計算系統的示例性實施例。如圖6所示，多媒體控制台500具有含有一級快取記憶體502、二級快取記憶體504和快閃記憶體ROM(唯讀記憶體)506的中央處理單元(CPU)501。一級快取記憶體502和二級快取記憶體504臨時儲存資料，並因此減少記憶體存取週期數，由此改良處理速度和傳輸量。CPU 501可以被配備為具有多於一個的核，並且由此具有附加的一級和二級快取記憶體502和504。快閃記憶體ROM 506可儲存在多媒體控制台500通電時在引導程序初始化階段載入的可執行代碼。

圖形處理單元(GPU)508和視訊編碼器/視訊轉碼器(編碼器/解碼器)514形成用於高速和高解析度圖形處理的視訊處理流水線。經由匯流排從圖形處理單元508向視訊編碼器/視訊轉碼器514運送資料。視訊處理流水線向A/V(音訊/視訊)埠540輸出資料，用於傳輸至電視或其他顯示器。記憶體控制器510連接到GPU 508以促進處理器存取各種類型的記憶體512，諸如但不局限於RAM(隨機存取記憶體)。

多媒體控制台500包括優選地在模組518上實施的I/O控制器520、系統管理控制器522、音訊處理單元523、網路介面524、第一USB主控制器526、第二USB控制器528以及前面板I/O子部件530。USB控制器526和528用作周邊控制器542(1)-542(2)、無線配接器548和外置記憶體裝置546(例如快閃記憶體、外置CD/DVD ROM驅動器、可移除媒體等)的主機。網路介面524及/或無線配接器548提供對網路(例如，網際網路、家用網路等)的存取，並且可以是包括乙太網路卡、數據機、藍芽模組、電纜數據機等的各種不同的有線或無線配接器組件中任何一種。

提供系統記憶體543來儲存在引導程序期間載入的應用資料。提供媒體驅動器544，且其可包括DVD/CD驅動器、藍光驅動器、硬碟機，或其他可移除媒體驅動器等。媒體驅動器144可位於多媒體控制台500的內部或外部。應用資料可經由媒體驅動器544存取，以由多媒體控制台500執行、重播等。媒體驅動器544經由諸如串列ATA匯流排或其他高速連接(例如IEEE 1394)等匯流排連接到I/O控制器520。

系統管理控制器522提供涉及確保多媒體控制台500的可用性的各種服務功能。音訊處理單元523和音訊轉碼器532形成具有高保真度和身歷聲處理的對應的音訊處理流水線。音訊資料經由通訊鏈路在音訊處理單元523與音訊轉碼器532之間傳輸。音訊處理流水線將資料輸出到A/V埠540以供外部音訊使用者或具有音訊能力的裝置再現。

前面板I/O子部件530支援暴露在多媒體控制台100的外表面上的電源按鈕550和彈出按鈕552以及任何LED(發光二極體)或其他指示器的功能。系統供電模組536向多媒體控制台100的組件供電。風扇538冷卻多媒體控制台500內的電路。

CPU 501、GPU 508、記憶體控制器510和多媒體控制台500內的各種其他組件經由一或多條匯流排互連，匯流排包括串列和平行匯流排、記憶體匯流排、周邊匯流排和使用各種匯流排架構中任一種的處理器或區域匯流排。作為實例，該等架構可以包括周邊組件互連(PCI)匯流排、PCI-Express匯流排等。

當多媒體控制台500通電時，應用資料可從系統記憶體543載入到記憶體512及/或快取記憶體502、504中並在CPU 501上執行。應用可呈現在導覽到多媒體控制台500上可用的不同媒體類型時提供一致的使用者體驗的圖形化使用者介面。在操作中，媒體驅動器544中包含的應用及/或其他媒體可從媒體驅動器544啟動或播放，以向多媒體控制台500提供附加功能。

多媒體控制台500可藉由將該系統簡單地連接到電視機或其他顯示器而作為獨立系統來操作。在該獨立模式中，多媒體控制台500允許一或多個使用者與該系統互動、看電影，或聽音樂。然而，隨著經由網路介面524或無線配接器548可用的寬頻連線的整合，多媒體控制台500進一步可作為更大網路社群中的參與者來操作。附加地，多媒體控制台500可以經由無線配接器548與處理單元4通訊。

當多媒體控制台500通電時，可以保留設定量的硬體資源以供多媒體控制台作業系統作系統使用。該等資源可包括記憶體、CPU和GPU週期、網路頻寬等等的保留。因為該等資源是在系統引導時保留的，所以所保留的資源從應用的角度而言是不存在的。具體而言，記憶體保留優選地足夠大，以包含啟動核心、併發系統應用和驅動程式。CPU保留優選地為恆定，使得若所保留的CPU用量不被系統應用使用，則閒置執行緒將消耗任何未使用的週期。

對於GPU保留，顯示由系統應用程式產生的輕量訊息(例如，快顯視窗)，該顯示是藉由使用GPU中斷來排程代碼以將快顯視窗呈現為覆蓋圖。覆蓋圖所需的記憶體量取決於覆蓋區域大小，並且覆蓋圖優選地與螢幕解析度成比例縮放。在併發系統應用使用完整使用者介面的情況下，優選使用獨立於應用解析度的解析度。定標器(scaler)可用於設置該解析度，從而消除了對改變頻率並引起TV再同步的需求。

在多媒體控制台500引導且系統資源被保留之後，執行併發系統應用來提供系統功能。系統功能被封裝在上述所保留的系統資源中執行的一組系統應用中。作業系統核心標識是系統應用執行緒而非遊戲應用執行緒的執行緒。系統應用優選地被排程為在預定時間並以預定時間間隔在CPU 501上執行，以便為應用提供一致的系統資源視圖。進行排程是為了把由在控制台上執行的遊戲應用所引起的快取記憶體分裂最小化。

當併發系統應用需要音訊時，則由於時間敏感性而將音訊處理非同步地排程給遊戲應用。多媒體控制台應用管理器(如下所述)在系統應用有效時控制遊戲應用的音訊水平(例如，靜音、衰減)。

任選的輸入裝置(例如，控制器542(1)和542(2))由遊戲應用和系統應用共享。輸入裝置不是保留資源，而是在系統應用和遊戲應用之間切換以使其各自具有裝置的焦點。應用管理器優選地控制輸入串流的切換，而無需知曉遊戲應用的知識，並且驅動程式維護有關焦點切換的狀態資訊。擷取裝置20A和20B可以經由USB控制器526或其他介面來為控制台500定義附加的輸入裝置。在其他實施例中，中樞計算系統12可以使用其他硬體架構來實施。沒有一種硬體架構是必需的。

圖1圖示與一個中樞處理裝置12(稱為中樞)通訊的一個頭戴式顯示裝置2和處理單元4(統稱為行動顯示裝置)。在另一實施例中，多個行動顯示裝置可以與單個中樞通訊。每個行動顯示裝置皆將如上述一般使用無線通訊與中樞通訊。在此類實施例中所構思的是，有益於所有行動顯示裝置的資訊中的許多皆將在中樞處被計算和儲存並且傳送給每個行動顯示裝置。例如，中樞將產生環境的模型並且將該模型提供給與該中樞通訊的所有行動顯示裝置。附加地，中樞可以追蹤行動顯示裝置以及房間中的移動物體的位置和取向，並且隨後將該資訊傳輸給每個行動顯示裝置。

在另一實施例中，系統可以包括多個中樞，其中每個中樞皆包括一或多個行動顯示裝置。該等中樞可以直接地或者經由網際網路(或者其他網路)彼此通訊。例如，圖7圖示中樞560、562和564。中樞560直接與中樞562通訊。中樞560經由網際網路與中樞564通訊。中樞560與行動顯示裝置570、572、……、574通訊。中樞562與行動顯示裝置578、580、……、582通訊。中樞564與行動顯示裝置584、586、……、588通訊。每個行動顯示裝置皆如上文所論述的一般經由無線通訊與其相應的中樞通訊。若該等中樞處於共用的環境中，則每個中樞皆可以提供該環境的模型的一部分，或者一個中樞可以為其他中樞建立該模型。每個中樞皆將追蹤移動物體的子集並且將該資訊與其他中樞共享，該其他中樞進而將與合適的行動顯示裝置共享該資訊。用於行動顯示裝置的感測器資訊將被提供給其相應的中樞，並且隨後與其他中樞共享以用於最終與其他行動顯示裝置共享。因此，在中樞間共享的資訊可以包括骨架追蹤、關於模型的資訊、各種應用狀態，以及其他追蹤。在中樞及其相應的行動顯示裝置之間傳遞的資訊包括：移動物體的追蹤資訊、世界模型的狀態和實體更新、幾何和紋理資訊、視訊和音訊，以及用於執行在此述及之操作的其他資訊。

圖8圖示用於最佳化被呈現給頭戴式顯示裝置的使用者的視覺化資訊的顯示的程序的一個實施例。在步驟600，配置系統10。例如，應用(例如圖5的應用452)可以將該系統配置為指示：經最佳化的影像將被插入到場景的三維模型中的指定位置處。在另一實例中，在中樞計算系統12上執行的應用將指示：擴展內容(諸如特定的虛擬影像或虛擬物體)將作為視訊遊戲或其他程序的一部分被插入到該場景中。

在步驟605，將決定使用者環境中感興趣的物體。在一個實施例中，此舉可以藉由如步驟602-606所略述的建立使用者空間的三維模型來執行。在步驟602，該系統將建立頭戴式顯示裝置2所處的空間的體積模型。例如在一個實施例中，中樞計算裝置12將使用來自一或多個深度相機的深度影像來建立頭戴式顯示裝置2所處的環境或場景的三維模型。在步驟604，將該模型分割成一或多個物體。例如，若中樞計算設備12建立房間的三維模型，則該房間很可能在裡面具有多個物體。可以處於房間中的物體的實例包括：人、椅子、桌子、沙發椅等等。步驟604包括：決定彼此不同的物體。在步驟606，該系統將識別出該等物體。例如，中樞計算裝置12可以識別出：特定物體是桌子並且另一物體是椅子。

或者，步驟605可以經由任何數目的手段來執行。在一個實施例中，感測器可被嵌入到一或多個物體或房間內的人。感測器可用於識別使用者環境中的物體，該等感測器發射識別感興趣的物體或提供附加資訊的可偵測的信號，該附加資訊諸如物體的類型以及相對於特定的應用一個人可能對物體具有的興趣度。或者，其他感測器技術可用於識別以上揭示的任一擷取裝置的範圍以內的物體，安置於環境中或頭戴式顯示裝置上的採用其他距離偵測感測器技術(諸如SONAR、LIDAR、結構化光，及/或飛行時間距離偵測器)的其他感測器裝置均可用於提供可能的聚焦物體及其形狀。

另一個替代是使用一或多個以上描述的深度相機來每次一訊框地執行環境的立體重構。在另一個替代中，物體本身可以發射定向到頭戴式顯示器的光脈衝，並且向該顯示器指示對該物體感興趣以及包括該物體的顯示器的部分應被突出顯示。

在圖8的步驟608，該系統基於模型或以上技術來決定使用者的視野。亦即，該系統決定使用者正在查看的環境或空間的一部分。在一個實施例中，步驟608可以使用中樞計算裝置12、處理單元4和頭戴式顯示裝置2來執行。在一個示例性實施中，中樞電腦裝置12將追蹤使用者和頭戴式顯示裝置2以便提供對頭戴式顯示裝置2的位置和取向的初步決定。頭戴式顯示裝置2上的感測器將用於細化所決定的取向。例如，上述慣性感測器34可以用於細化頭戴式顯示裝置2的取向。附加地，可以使用下文述及之眼睛追蹤程序來識別出最初所決定的視野的與使用者具體正在查看之處相對應的子集(另稱為視野中的使用者聚焦區或深度焦點)。下文將參照圖12、13A和13B來描述更多細節。

在步驟610，諸如在處理單元4中執行的軟體之類的系統決定使用者在該使用者的視野內的當前聚焦區。如以下在圖13A和13B中將進一步論述的一般，基於由眼睛追蹤相機134針對每只眼睛所擷取的資料的眼睛追蹤處理可以提供使用者的當前聚焦區。例如，在有資料指示使用者臉位置的情況下，瞳孔之間的集中可以用於三角測定聚焦曲線、雙眼單視界上的焦點，從該焦點中可以計算出聚焦區、Panum匯合區域。Panum匯合區域是人眼所使用的代表雙眼立體視覺的單視力區域。

在步驟612，處理單元4單獨或與中樞計算裝置12協調(在軟體的控制下)決定使用者與使用者的聚焦區中的一或多個物體進行互動的意圖。在步驟614中，在軟體的控制下，處理單元4單獨或與中樞計算裝置12協調以基於使用者與一或多個物體互動的意圖，產生經最佳化的影像並且將經最佳化的影像顯示給使用者。

在步驟616，頭戴式顯示裝置2的使用者基於在頭戴式顯示裝置2中所顯示的經最佳化的影像來與執行在中樞計算裝置12(或另一計算裝置)上的應用互動。圖8的處理步驟(608-616)可在系統操作期間持續地執行，使得在使用者移動其頭時更新使用者的視野和聚焦區，決定使用者與使用者的聚焦區中的一或多個物體進行互動的意圖，並且基於該使用者的意圖向使用者顯示經最佳化的影像。下文將更詳細地描述步驟604-614中的每個。

圖9描述了使用者建立使用者的空間的模型的程序的一個實施例。例如，圖9的程序是圖8的步驟602的一個示例性實施。在步驟620，中樞計算系統12接收頭戴式顯示裝置所處的環境的多個視角(如圖1所示)的一或多個深度影像。例如，中樞計算裝置12可以從多個深度相機獲得深度影像，或者藉由使相機指向不同方向或者使用具有如下透鏡的相機來從同一相機獲得多個深度影像：該透鏡允許將要構建模型的環境或空間的全視圖。在步驟622，基於共用的座標系來組合來自各個深度影像的深度資料。例如，若該系統從多個相機接收深度影像，則該系統將兩個影像相關以具有共用的座標系(例如使影像排齊)。在步驟624，使用深度資料來建立空間的體積描述。

圖10是描述了用於將空間的模型分割成物體的程序的一個實施例的流程圖。例如，圖10的程序是圖8的步驟604的一個示例性實施。在圖10的步驟626，該系統將如上文所論述的一般從一或多個深度相機接收一或多個深度影像。或者，該系統可以存取其已經接收到的一或多個深度影像。在步驟628，該系統將如上述一般從相機接收一或多個視覺影像。或者，該系統可以存取已經接收到的一或多個視覺影像。在步驟630，中樞計算系統將基於深度影像及/或視覺影像偵測一或多個人。例如，該系統將辨識一或多個骨架。在步驟632，中樞計算裝置將基於深度影像及/或視覺影像偵測該模型內的邊緣。在步驟634，中樞計算裝置將使用所偵測到的邊緣來識別出彼此不同的物體。例如，假定：該等邊緣是物體之間的邊界。在步驟636，將更新使用圖9的程序所建立的模型以示出：該模型的哪些部分與不同的物體相關聯。

圖11是描述用於識別物體的程序的一個實施例的流程圖。例如，圖11A的程序是圖8的步驟606的一個示例性實施。在步驟640，中樞計算裝置12將所識別出的人與使用者身份進行匹配。例如，使用者設定檔可包括與擷取裝置所接收的偵測到的物體的影像相匹配的視覺影像。或者，使用者設定檔可以描述可基於深度影像或視覺影像來匹配的人的特徵。在另一實施例中，使用者可以登陸到系統中並且中樞計算裝置12可以使用登陸程序來識別出特定使用者並且在此處述及之互動的整個程序中追蹤該使用者。在步驟642，中樞計算裝置12將存取形狀資料庫。

在步驟644，中樞計算裝置將模型中的多個物體與資料庫中的形狀進行匹配。在步驟646，將突出顯示不匹配的彼等形狀並且將其顯示給使用者(例如使用監視器16)。在步驟648，中樞計算裝置12將接收識別出所突出形狀中的每個(或其子集)的使用者輸入。例如，使用者可以使用鍵盤、滑鼠、語音輸入，或者其他類型的輸入來指示：每個未識別出的形狀是什麼。在步驟650，基於步驟648中的使用者輸入來更新形狀資料庫。在步驟652，藉由添加每個物體的元資料來進一步更新在步驟602被建立並且在步驟636被更新的環境模型。該元資料識別出該物體。例如，該元資料可以指示：特定物體處於擦亮的桌、某人、綠色真皮沙發椅等等的周圍。

圖11B是描述了用於回應於移動物體(例如移動的人或其他類型的物體)而更新經由圖8的程序所建立的模型的程序的一個實施例的流程圖。在步驟654，該系統決定物體在移動。例如，系統將持續地接收深度影像。若深度影像隨時間改變，則物體在移動。若未偵測到移動物體，則該系統將繼續接收深度影像並且繼續尋找移動物體。

若存在移動物體，則在步驟654，該系統將識別出正在移動的物體。可以使用訊框差異或各種任何追蹤技術來辨識移動物體，並且將所辨識的物體與在圖8的步驟606所識別出的物體之一相關。一些物體將在移動時改變形狀。例如，人類可能在其行走或奔跑時改變形狀。在步驟658，識別出並儲存移動物體的新形狀。在步驟660，基於移動物體的新的位置和形狀來更新之前建立的空間模型。圖iiB的程序可以由中樞計算裝置12的處理單元4來執行。

圖12是描述了如下程序的一個實施例的流程圖：用於決定使用者視野的程序，該程序是圖8的步驟608的示例性實施；及用於決定使用者聚焦區的程序，該程序是圖8的步驟610的示例性實施。圖12的程序依靠來自中樞計算裝置12的資訊和上述眼睛追蹤技術。圖13A是描述了由中樞計算系統執行以提供圖12的程序中使用的追蹤資訊的程序的一個實施例的流程圖。圖13B是描述了用於追蹤眼睛的程序的一個實施例的流程圖，其中該程序的結果供圖12的程序來使用。

在圖13A的步驟686，中樞計算裝置12將追蹤使用者的位置。例如，中樞計算裝置12將使用一或多個深度影像和一或多個視覺影像來追蹤使用者(例如使用骨架追蹤)。可以在步驟688使用一或多個深度影像和一或多個視覺影像來決定頭戴式顯示裝置2的位置和頭戴式顯示裝置2的取向。在步驟690，將使用者和頭戴式顯示裝置2的位置和取向從中樞計算裝置12傳送給處理單元4。在步驟692，在處理單元4處接收該位置和取向資訊。圖13A的處理步驟可以在系統的操作期間連續地執行，使得使用者被連續地追蹤。

圖13B是描述用於追蹤在環境中使用者的眼睛位置的一個實施例的流程圖。在步驟662，照亮眼睛。例如，可以使用紅外光從眼睛追蹤照明134A來照亮眼睛。在步驟664，使用一或多個眼睛追蹤相機134B來偵測來自眼睛的反射。在步驟665，將該反射資料從頭戴式顯示裝置2發送給處理單元4。在步驟668，處理單元4將如上述一般基於反射資料來決定眼睛的位置。

圖12是描述了用於決定使用者的視野(例如圖8的步驟608)以及使用者的聚焦區(例如圖8的步驟610)的程序的一個實施例的流程圖。在步驟670，處理單元4將存取從中樞接收到的最新的位置和取向資訊。圖12的程序可以如從步驟686到步驟690的箭頭所圖示的一般連續地執行，因此，處理單元4將週期性地從中樞計算裝置12接收經更新的位置和取向資訊。然而，處理單元4將需要與其從中樞計算裝置12接收經更新的資訊相比更頻繁地繪製虛擬影像。因此，處理單元4將需要依靠本端感測的資訊(例如來自頭戴式裝置2)以在來自中樞計算裝置12的取樣之間提供取向的更新。

在步驟672，處理單元4將存取來自三軸陀螺儀132B的資料。在步驟674，處理單元4將存取來自三軸加速度計132C的資料。在步驟676，處理單元4將存取來自三軸磁力計132A的資料。在步驟678，處理單元4將用來自該陀螺儀、加速度計和磁力計的資料來細化(或以其他方式更新)來自中樞計算裝置12的位置和取向資料。在步驟680，處理單元4將基於頭戴式顯示裝置的位置和取向來決定潛在的視角。

在步驟682，處理單元4將存取最新的眼睛位置資訊。在步驟684，處理單元4將基於眼睛位置作為潛在視角的子集來決定使用者所觀看的模型的部分。例如，使用者可以朝向牆壁，並且因此頭戴式顯示器的視點可以包括沿著牆壁的任何地方。然而，若使用者的眼睛指向右邊，則步驟684將作出的結論是，使用者的視野僅僅是牆壁的右邊部分。在步驟684結束時，處理單元4已經決定了使用者經由頭戴式顯示器2的視角。隨後，處理單元4可識別該視野內的某位置以插入虛擬影像並使用不透明度濾光器來阻擋光。圖12的處理步驟可以在系統的操作期間連續執行，使得使用者的視野和聚焦區隨著使用者移動其頭而被連續更新。

圖14是描述用於決定使用者與使用者聚焦區中的一或多個物體進行互動的所推斷或表達的意圖的程序的一個實施例的流程圖。例如，圖14的程序是圖8的步驟612的一個示例性實施。圖14的步驟可由中樞計算裝置12或處理單元4在軟體的控制下執行。圖14描述了基於偵測使用者的聚焦區中使用者的眼睛移動模式以及決定使用者對使用者的聚焦區中使用者所查看的一或多個物體的注視強度來決定使用者與使用者的聚焦區中的一或多個物體進行互動的意圖的程序。圖14A描述了基於與使用者有關的使用者專用資訊來推斷使用者與一或多個物體或人進行互動的意圖的程序。圖14B描述了基於使用者與一或多個物體進行互動的所表達的意圖來決定使用者與一或多個物體進行互動的意圖的程序。

在圖14的步驟690中，偵測使用者的聚焦區中使用者的眼睛移動模式。如可以理解的是，眼睛移動通常被劃分為凝視和掃視，分別是當眼睛注視暫停在特定位置時以及當其移動到另一個位置時。眼睛移動模式可因此被定義為在查看影像或視覺場景時使用者的眼睛跟隨的一系列凝視和掃視。所得的系列凝視和掃視通常被稱為掃瞄路徑，該掃瞄路徑是在查看視覺場景時使用者的眼睛所沿著的路徑。另外，使得來自眼睛的大部分資訊在凝視期間可用。視角的中間一度或兩度(小凹)提供大量的視覺資訊，並且來自更大偏心率(周邊)的輸入具有較少的資訊量。由此，沿掃瞄路徑的凝視的位置示出使用者的眼睛在查看視覺場景時所處理的激勵上的資訊位置。在一個實例中，沿掃瞄路徑的凝視的位置可用於偵測使用者的聚焦區中由使用者所查看的一或多個物體。

在步驟692，決定使用者是否正在查看使用者的聚焦區中的一或多個物體。如以上所論述的，在一個實例中，沿掃瞄路徑的凝視的位置可用於偵測使用者是否正在查看使用者的聚焦區中的一或多個物體。若決定使用者未在查看任何物體，則在一個實施例中，執行圖14A中所描述的程序的步驟(710-716)。

若決定使用者正在查看使用者的聚焦區中的一或多個物體，則在步驟694中識別使用者所查看的物體。可以藉由利用圖11中所描述的程序來識別一或多個物體。例如，物體可被識別為掛鐘、圓的擦亮的桌、某人、綠色真皮沙發椅等。在步驟696中，決定對使用者的聚焦區中使用者所查看的一或多個物體的使用者的注視強度。在一個實例中，基於決定時間窗內使用者對物體的注視(或凝視)持續時間來決定使用者的注視強度。

在步驟698中，決定使用者的注視強度是否大於預定義的閾值。在一個實例中，預定義的閾值是10秒。若注視強度大於預定義的閾值，則在步驟700推斷使用者與使用者的聚焦區中的一或多個物體進行互動的意圖。在一個實例中，使用者環境中的每個物體可包括表示使用者與物體進行互動的意圖的參數。在一個實例中，在決定使用者與物體進行互動的意圖之後，系統10可為物體的參數分配二進位值，其中二進位值1指示使用者與物體進行互動的意圖。在步驟700中，使用者的意圖被儲存在使用者設定檔資料庫470中。

在另一個實例中，(在步驟696中決定的)使用者的注視強度亦可決定使用者在查看物體時所執行的活動的類型。例如，從使用者的注視強度得到的掃視序列的長度可用於決定使用者是否正在搜尋/瀏覽物體、閱讀物體所顯示的一行文字、考慮物體或認真地查看物體。在一個實施例中，由使用者對物體的注視強度所決定的使用者執行的活動的類型亦可用於推斷使用者與物體進行互動的意圖。

在步驟698中，若決定使用者的注視強度不大於預定義的閾值，則在一個實施例中，執行圖14B中所描述的程序的步驟(720-724)。

圖14A是描述用於決定使用者與使用者聚焦區中一或多個物體進行互動的意圖的程序的另一個實施例的流程圖。在一個實施例中，當使用者的眼睛移動模式指示該使用者未在查看使用者的聚焦區中的任何特定物體時(例如，圖14的步驟692)，執行圖14A中所描述的程序。例如，考慮佩戴HMD裝置的使用者具有低於正常視力並且可能無法非常清楚地看到其環境中的物體或人的示例性情形。在一種方法中，藉由存取與使用者有關的使用者專用資訊來自動地推斷使用者與一或多個物體或人進行互動的意圖。在以下步驟710-716中描述用於自動地決定使用者的意圖的程序。

在步驟710中，從使用者設定檔資料庫470存取與使用者有關的使用者專用資訊。如以上所論述的，使用者專用資訊包括諸如下列與使用者相關的資訊：使用者所表達的偏好、使用者的朋友的列表、使用者所偏好的活動、使用者的社交群組、使用者的當前位置、使用者過去與物體進行互動的意圖、使用者的提醒，以及使用者建立的其他內容，諸如使用者的照片、影像和所記錄的視訊。

在步驟712中，決定使用者的聚焦區中的任一物體或人是否與使用者專用資訊相關。例如，在使用者正試圖在聚會上發現其朋友的示例性情形中，可以將出現在使用者的聚焦區中的人與關於使用者的使用者專用資訊相關，以決定該等人中的一或多個是否對應於使用者朋友中的任一個。例如，臉孔辨識技術可用於將使用者聚焦區中的人的影像與儲存在使用者設定檔資料庫470中的使用者的朋友的視覺影像相關，以決定使用者聚焦區中的一或多個人是否對應於使用者朋友中的任一個。

在步驟712中，若決定使用者的聚焦區中沒有物體或人與使用者專用資訊相關，則在步驟704中，程序返回追蹤圖8的步驟608中的使用者的視野。在一個實例中，當決定使用者的聚焦區中沒有物體或人與使用者專用資訊相關時，諸如「當前在您的聚焦區中不存在感興趣的物體或人」的虛擬文字簡訊可經由使用者的HMD顯示給使用者。

在步驟714中，基於相關來識別一或多個物體或人。例如，人可被識別為使用者的朋友，John Doe和Sally Doe。在另一個實施例中，使用者的金鑰可被識別為放置在場景內。在步驟716中，基於相關來自動地推斷使用者與所識別的物體或人進行互動的意圖。如以上所論述的，在一個實例中，系統在決定使用者與物體或人進行互動的意圖之後，為一或多個所識別的物體或人表示的參數分配二進位值。在步驟716中，使用者與一或多個所識別的物體進行互動的意圖被儲存在使用者設定檔資料庫470中。步驟716可包括基於使用者專用或外部因素來自動地推斷意圖。此種因素可包括但不限於使用者的日曆或日程表資訊、如儲存在連絡人資料庫或社交圖中的使用者的朋友資訊、地理定位資訊、一天中的時間等。例如，使用者專用資訊可指示在星期一該使用者被安排參見會議，並且使用者的膝上型電腦位於視野內。根據以下圖15C所提供的描述，系統可以突出顯示膝上型電腦以引起使用者記得帶上膝上型電腦同其一起參加會議。

圖14B是描述用於基於使用者與一或多個物體進行互動的所表達的意圖來決定使用者與一或多個物體進行互動的意圖的程序的另一個實施例的流程圖。在一個實施例中，執行圖14B中所描述的程序，例如當決定使用者正在查看使用者的聚焦區中的一或多個物體但使用者的注視強度不足夠長時(即注視強度不大於預定的閾值，如圖14的步驟698中所論述的)。在步驟720中，提示使用者指定或表達與使用者聚焦區中的一或多個物體進行互動的意圖。在一個實例中，系統可經由使用者的HMD裝置向使用者顯示虛擬文字以提示使用者指定與一或多個物體進行互動的意圖。例如，可以經由諸如語音輸入、鍵盤登錄、觸摸或姿勢的使用者實體動作來提示使用者指定意圖。語音輸入可以是使用者發出的語音命令，諸如口述單詞、口哨、喊叫和其他發聲。例如，在使用者試圖在聚會上發現其朋友的示例性情形中，使用者可以發出諸如「幫我發現我的朋友！」的命令。

亦可以從使用者接收諸如拍手的非口聲聲音。在一個實例中，語音輸入或非口聲聲音可以由圖3所示的頭戴式顯示器中的話筒110或圖5所示的擷取裝置423中的話筒430來擷取。來自使用者的姿勢可包括使用者所表現的面部表情，諸如微笑、大笑或歡呼。在一個實例中，姿勢可由中樞計算裝置12中辨識器引擎454來擷取。

在步驟722中，決定是否已從使用者接收與一或多個物體進行互動的意圖。若尚未接收使用者的意圖，則在步驟704中，程序返回追蹤圖8的步驟608中的使用者的視野。若(經由實體動作)已經接收使用者的意圖，則決定使用者與一或多個物體進行互動的意圖，並將使用者所指定或表達的意圖儲存到使用者設定檔資料庫470中。

圖15A是描述用於基於決定使用者與一或多個物體進行互動的所推斷或表達的意圖，產生經最佳化的影像並將該經最佳化的影像顯示給使用者的程序的一個實施例的流程圖。在一個實施例中，產生經最佳化的影像包括視覺上增強使用者的聚焦區中使用者意欲與之互動的物體的外觀，並且縮小使用者的聚焦區以外但在使用者的視野內的使用者不意欲與之互動的物體的外觀。例如，圖15A的程序是圖8的步驟614的一個示例性實施。圖15A的步驟可由中樞計算裝置12或處理單元4在軟體的控制下執行。

在步驟730中，縮小位於使用者的聚焦區以外但在使用者的視野內的物體的外觀。在一個實施例中，HMD裝置2中的不透明度濾光器114用於阻擋或變暗位於使用者的聚焦區以外的物體從而縮小位於使用者的聚焦區以外的物體的外觀。由此，包括使用者不感興趣的物體的真實世界場景的一部分可被不透明度濾光器114阻擋無法達到使用者的眼睛，使得使用者聚焦區中的使用者意欲與之互動的物體可被使用者清楚地看到。

在步驟732中，視覺上增強了使用者聚焦區中的使用者意欲與之互動的物體。在一個實施例中，HMD裝置2中的微顯示部件120用於視覺上增強使用者聚焦區中的物體。在一種方法中，藉由突出顯示物體的邊緣來視覺上增強該物體。在另一種方法中，藉由在物體所位於的區域中顯示虛擬框、圓圈或視覺指示符來視覺上增強該物體。另外，顏色亦可用於視覺上增強物體。

在步驟734中，取得與一或多個物體有關的擴展內容。在一個實例中，擴展內容可包括從使用者設定檔資料庫470中取得的使用者專用資訊。在另一個實例中，擴展內容可包括即時地從一或多個諸如下列資料來源取得的使用者專用資訊：使用者的社交聯網網站、位址簿、電子郵件資料、即時通訊資料、使用者設定檔或者網際網路上的其他來源。

在步驟736中，提取與所識別的物體有關的音訊內容。步驟736是可選的。例如，若使用者正在看使用者起居室中的掛鐘，並且決定使用者意欲與掛鐘物體進行互動，則使用者可聽到關於時間的音訊資訊。或者例如，若使用者與其朋友在聚會上，並且決定使用者意欲與聚會上特定群組的朋友進行互動，則使用者可以僅聽到來自該特定群組的朋友的聲音。

在步驟738中，擴展內容被投影到使用者聚焦區中的一或多個物體上或旁邊。在一個實例中，擴展內容是包括顯示給使用者的一或多個虛擬物體或虛擬文字的虛擬影像。在另一個實例中，擴展內容可包括諸如具有一或多個選項的選項單的虛擬物體。

在步驟740中，經最佳化的影像經由頭戴式顯示裝置2顯示給使用者。經最佳化的影像包括使用者聚焦區中的物體的已增強的外觀、使用者聚焦區以外的物體的已縮小的外觀，並且可以可選地包括與一或多個物體有關的擴展內容。在圖16A-C、17A-D和18A-C中圖示產生經最佳化的影像並將該經最佳化的影像顯示給使用者的方式的示例性說明。

在一個實例中，處理單元4發送指令到控制電路136的顯示器驅動器220，以供擴展內容在微顯示器120上的顯示。透鏡系統122隨後將從微顯示器120接收的經最佳化的影像投影到反射面124上並向使用者的眼睛投影，或者投影到光導光學元件112中以供使用者查看。在一個實施中，使用者經由頭戴式顯示裝置正在查看的顯示器(例如光導光學元件112)被劃分成像素。經最佳化的影像由像素在目標位置來顯示。另外，不透明度濾光器114可以用於防止不實際的視覺效果。例如，不透明度濾光器114可以修改對光導光學元件112中的像素的光，使得經最佳化的影像中的背景虛擬物體不會穿過前景虛擬物體被看見。

圖15B是描述用於基於決定使用者與顯示在經最佳化的影像中的擴展內容進行互動的意圖，將附加的擴展內容顯示給使用者的程序的一個實施例的流程圖。在一個實例中，如圖15A的步驟740所描述的顯示經最佳化的影像之後，可以向使用者呈現附加的擴展內容。例如，考慮使用者看到使用者的起居室中放置在桌上的一籃蘋果的情形，並且決定使用者意欲與該籃蘋果進行互動。將視覺上增強該籃蘋果的外觀的經最佳化的影像顯示給使用者。假定經最佳化的影像亦向使用者投影包括諸如選項單的虛擬物體的擴展內容。

在步驟756中，決定使用者與選項單所顯示的選項進行互動的意圖。可根據圖14所描述的程序論述的一般決定使用者的意圖。在步驟760中，基於使用者的意圖接收使用者對選項單中選項的選擇。在步驟762中，取得擴展內容以及與選項單選項有關的可選的音訊資訊。在步驟762中，擴展內容被投影到經最佳化的影像中視覺上已增強的物體上或旁邊。在圖17A-D中圖示顯示包括選項單的經最佳化的影像以及決定使用者與選項單選項進行互動的意圖的方式的示例性說明。

在所揭示的技術的另一個實施例中，藉由自動地增強使用者環境中的特定物體來提高使用者對使用者環境中視覺化資訊的理解力。圖15C描述經由其提高使用者對使用者環境中視覺化資訊的理解力的程序。在步驟770中，識別使用者的聚焦區中的提高使用者對使用者環境的理解力的一或多個物體。在一個實例中，可藉由即時地收集關於使用者環境的資訊來識別提高使用者理解力的物體。例如，資訊可包括使用者環境中的緊急標記，或使用者環境中的危險物體或鋒利物體的存在。在另一個實例中，可以如以上參考圖14B述及之基於與使用者有關的使用者專用資訊來識別提高使用者理解力的物體。例如，與使用者有關的使用者專用資訊可包括當在使用者的起居室中識別諸如一籃蘋果的物體時指定到了使用者吃零食的時間的提醒。

在步驟772中，產生包括提高使用者理解力的一或多個物體的經最佳化的影像。在一個實施例中，經最佳化的影像視覺上增強提高使用者環境中的使用者理解力的一或多個物體的外觀。在一種方法中，藉由在物體所位於的區域中突出顯示物體的邊緣，顯示虛擬框、圓圈或視覺指示符來視覺上增強該物體。

在步驟774中，可以決定使用者與經最佳化的影像中一或多個視覺上已增強的物體進行互動的意圖。在一個實例中，可以藉由推斷使用者與一或多個視覺上已增強的物體進行互動的意圖(如圖14或圖14A中所論述的)來決定使用者的意圖。在另一個實例中，亦可以基於使用者與一或多個視覺上已增強的物體進行互動的所表達的意圖(如圖14B中所論述的)來決定使用者的意圖。

圖16A-C圖示了使用者與使用者環境中一或多個物體進行互動以及基於使用者的互動產生經最佳化的影像的一個實施例。圖16A圖示了使用者使用HMD裝置2來查看房間1100中的一或多個物體的環境。房間1100包括前壁1102、側壁1104和地板1108，以及諸如燈1106、椅子1107、掛鐘1118和桌子1120的示例性傢俱。在本實例中，視訊顯示螢幕1110安裝在壁1102上，而中樞1116安放在桌子1120上。在示例性情形中，使用者1112經由HMD裝置2查看諸如置於前壁1102上的掛鐘1118。1121表示使用者的視野，並且1122表示使用者的聚焦區。

圖16B圖示了在決定使用者與掛鐘物體118進行互動的意圖之後圖16A的HMD裝置的相機所產生的經最佳化的影像。在一個實施例中，可根據圖14描述的程序所論述的一般決定使用者的意圖。如圖16B所示，經最佳化的影像1124包括使用者的聚焦區中掛鐘物體1118的已增強的外觀和位於使用者的聚焦區以外但在使用者的視野內的燈1106、顯示螢幕1110、中樞1116和桌子1120的已縮小的外觀。在示例性說明中，掛鐘物體1118已被突出顯示以增強其外觀。物體1106、1110、1116和1120周圍的虛線指示其已縮小的外觀。另外，經最佳化的影像顯示在掛鐘物體1118旁邊以數位形式示出一天中的時間的擴展內容1126。在一個實例中，使用者亦可聽到關於一天中的時間的音訊資訊。

圖16C圖示使用者經由HMD裝置看到的圖16B的經最佳化的影像。經最佳化的影像分別由HMD裝置2的每個透鏡116和118來提供。開口區域1127和1128指示來自顯示螢幕的光進入使用者的眼睛的位置。

圖17A-D圖示了使用者與使用者環境中一或多個物體進行互動以及基於使用者的互動產生經最佳化的影像的另一個實施例。圖17A圖示了使用者使用HMD裝置2來查看房間1100中的一或多個物體的環境(諸如圖16A所示的)。在圖17A的圖示中，使用者1112看到被放置在桌子1130上的一籃蘋果1132。1121表示使用者的視野，並且1122表示使用者的聚焦區。

圖17B圖示了在決定使用者與一籃蘋果1132進行互動的意圖之後圖17A的HMD裝置的相機所產生的經最佳化的影像。在一個實施例中，可根據圖14描述的程序所論述的一般決定使用者的意圖。經最佳化的影像1133包括使用者聚焦區中一籃蘋果1132的已增強的外觀，以及位於使用者的聚焦區以外但在使用者的視野內的桌子1120的已縮小的外觀。在另一個實施例中，可以基於決定該籃蘋果提高了使用者對使用者環境的理解力來自動地增強該籃蘋果的外觀。根據圖15C所描述的程序，可以產生包括使用者聚焦區中該籃蘋果1132的已增強外觀的經最佳化的影像。經最佳化的影像1133亦可顯示擴展內容1134。在所示的實例中，擴展內容1134是具有向使用者1112顯示「你想做蘋果派嗎？」或「你想查看你的提醒嗎？」的選項的選項單。

圖17C圖示在決定使用者與選項單中顯示的選項之一進行互動的意圖之後向使用者顯示的另一個經最佳化的影像。在一個實施例中，可根據圖14描述的程序所論述的一般決定使用者的意圖。在所示的實例中，當決定使用者意欲與選項單選項「你想做蘋果派嗎？」進行互動時，經最佳化的影像1133顯示包括做蘋果派的配料的擴展內容1134。

圖17D圖示在決定使用者與選項單中顯示的選項之一進行互動的意圖之後向使用者顯示的經最佳化的影像。在所示的實例中，當決定使用者意欲與選項單選項「你想查看你的提醒嗎？」進行互動時，經最佳化的影像1133顯示包括提醒使用者到了使用者吃其零食的時間的擴展內容1136。

圖18A-C圖示了使用者與使用者環境中一或多個物體進行互動以及基於使用者的互動產生經最佳化的影像的另一個實施例。圖18A圖示了其中使用者1112在該使用者的後院進行的聚會上與很多人見面的環境。在圖18A所示的示例性情形中，使用者1112可能具有低於正常視力，並且經由HMD裝置2可能無法清楚地看到聚會中的所有人。或者，使用者可能不希望與聚會中的人直接互動，因為使用者不記得其姓名。

圖18B圖示藉由自動地決定使用者與聚會中一或多個人進行互動的意圖來向使用者顯示的經最佳化的影像。在一種方法中，並且如圖14A中所論述的，藉由存取與使用者有關的使用者專用資訊來自動地推斷使用者與使用者聚焦區中的一或多個人進行互動的意圖。在另一種方法中，並且如圖14B中所論述的，亦可以藉由從使用者接收諸如「幫我發現我的朋友！」的語音命令來決定使用者與使用者聚焦區中一或多個人進行互動的意圖。經最佳化的影像1136包括使用者的朋友John Doe 1136和Sally Doe 1138的已增強的外觀，以及位於使用者的聚焦區以外但在使用者的視野內的聚會上其他人1138的已縮小的外觀。經最佳化的影像1133亦顯示分別使用諸如「這是John Doe！」和「這是Sally Doe！」的虛擬文字簡訊來識別使用者的朋友John Doe 1136和Sally Doe 1138的擴展內容。對使用者可能意欲與之進行互動的個體的決定可以經由對(儲存在使用者專用資訊中的)使用者社交圖的分析，或參考可能同時正在尋找使用者的該使用者的朋友(無論如何決定)來執行。

圖18C圖示使用者經由HMD裝置看到的圖18B的經最佳化的影像。經最佳化的影像分別由HMD裝置2的每個透鏡116和118來提供。開口區域1127和1128指示來自視訊顯示螢幕的光進入使用者的眼睛的位置。

儘管用結構特徵及/或方法論行為專用的語言描述了本標的，但可以理解，所附申請專利範圍中定義的標的不必限於上述具體特徵或動作。更確切而言，上述具體特徵和動作是作為實施請求項的示例性形式揭示的。本發明的範圍意欲由所附的請求項進行定義。

2．．．近眼頭戴式顯示裝置

4．．．處理單元

6．．．線

10．．．系統

12．．．中樞計算系統

20A．．．擷取裝置

20B．．．擷取裝置

22．．．外部揚聲器

102．．．鏡腿

104．．．鼻中

110．．．話筒

112．．．光導光學元件

113．．．相機

114．．．不透明度濾光器

116．．．透視透鏡

118．．．透視透鏡

120．．．微顯示器

122．．．透鏡

124．．．反射面

126．．．反射面

130．．．耳機

132．．．慣性感測器

132A．．．三軸磁力計

132B．．．三軸陀螺儀

132C．．．三軸加速度計

134．．．眼睛追蹤部件

134A．．．眼睛追蹤照明裝置

134B．．．眼睛追蹤相機

136．．．控制電路

138．．．溫度感測器

140．．．使用者的眼睛

142．．．箭頭

200．．．控制電路

202．．．電源管理電路

210．．．處理器

212．．．記憶體控制器

216．．．相機介面

218．．．相機緩衝器

220．．．顯示器驅動器

222．．．顯示格式化器

224．．．不透明度控制電路

226．．．時序產生器

228．．．顯示輸出介面

230．．．顯示輸入介面

232．．．帶介面

234．．．電壓調節器

236．．．眼睛追蹤照明驅動器

238．．．音訊DAC和放大器

240．．．話筒前置放大器音訊ADC

242．．．溫度感測器介面

244．．．時鐘產生器

302．．．帶介面

304．．．控制電路

306．．．電源管理電路

320．．．中央處理單元(CPU)

322．．．圖形處理單元(GPU)

324．．．快取記憶體

326．．．RAM

328．．．記憶體控制器

330．．．記憶體

332．．．快閃記憶體控制器

334．．．快閃記憶體

336．．．顯示輸出緩衝器

338．．．顯示輸入緩衝器

340．．．話筒介面

342．．．外部話筒連接器

346．．．無線通訊裝置

348．．．USB埠

360．．．時鐘產生器

362．．．類比數位轉換器

364．．．電池充電器

366．．．電壓調節器

368．．．電池

370．．．充電插座

372．．．溫度感測器介面

374．．．溫度感測器

376．．．頭戴式顯示器電源

422．．．影像擷取組件

423．．．影像擷取組件

425．．．IR光組件

426．．．3D相機

428．．．RGB相機

430．．．話筒

432．．．處理器

434．．．記憶體組件

450．．．深度影像處理和骨架追蹤模組

452．．．應用

454．．．辨識器引擎

460．．．篩檢程式

462．．．篩檢程式

464．．．篩檢程式

466．．．篩檢程式

470．．．使用者設定檔資料庫

500．．．多媒體控制台

501．．．中央處理單元(CPU)

502．．．一級快取記憶體

504．．．二級快取記憶體

506．．．快閃記憶體ROM

508．．．圖形處理單元(GPU)

510．．．記憶體控制器

512．．．記憶體

514．．．視訊編碼器/視訊轉碼器

518．．．模組

520．．．I/O控制器

522．．．系統管理控制器

523．．．音訊處理單元

524．．．網路介面

526．．．第一USB主控制器

528．．．第二USB控制器

530．．．前面板I/O子部件

532．．．音訊轉碼器

536．．．系統供電模組

538．．．風扇

540．．．A/V(音訊/視訊)埠

542(1)．．．周邊控制器

542(2)．．．周邊控制器

543．．．系統記憶體

544．．．媒體驅動器

546．．．外置記憶體裝置

548．．．無線配接器

550．．．電源按鈕

552．．．彈出按鈕

560．．．中樞

562．．．中樞

564．．．中樞

570．．．行動顯示裝置

572．．．行動顯示裝置

574．．．行動顯示裝置

578．．．行動顯示裝置

580．．．行動顯示裝置

582．．．行動顯示裝置

584．．．行動顯示裝置

586．．．行動顯示裝置

588．．．行動顯示裝置

600．．．步驟

602．．．步驟

604．．．步驟

605．．．步驟

606．．．步驟

608．．．步驟

610．．．步驟

612．．．步驟

614．．．步驟

616．．．步驟

620．．．步驟

622．．．步驟

624．．．步驟

626．．．步驟

628．．．步驟

630．．．步驟

632．．．步驟

634．．．步驟

636．．．步驟

640．．．步驟

642．．．步驟

644．．．步驟

646．．．步驟

648．．．步驟

650．．．步驟

652．．．步驟

654．．．步驟

658．．．步驟

660．．．步驟

662．．．步驟

664．．．步驟

665．．．步驟

668．．．步驟

670．．．步驟

672．．．步驟

674．．．步驟

676．．．步驟

678．．．步驟

680．．．步驟

682．．．步驟

684．．．步驟

686．．．步驟

688．．．步驟

690．．．步驟

692．．．步驟

696．．．步驟

694．．．步驟

698．．．步驟

700．．．步驟

704．．．步驟

710．．．步驟

712．．．步驟

714．．．步驟

716．．．步驟

720．．．步驟

722．．．步驟

724．．．步驟

730．．．步驟

732．．．步驟

734．．．步驟

736．．．步驟

738．．．步驟

740．．．步驟

756．．．步驟

758．．．步驟

760．．．步驟

762．．．步驟

770．．．步驟

772．．．步驟

1100．．．房間

1102．．．前壁

1104．．．側壁

1106．．．燈

1107．．．椅子

1108．．．地板

1110．．．視訊顯示螢幕

1112．．．使用者

1116．．．中樞

1118．．．掛鐘

1120．．．桌子

1121．．．使用者的視野

1122．．．使用者的聚焦區

1124．．．經最佳化的影像

1126．．．擴展內容

1127．．．開口區域

1128．．．開口區域

1130．．．桌子

1132．．．一籃蘋果

1133．．．經最佳化的影像

1134．．．擴展內容

1136．．．擴展內容

1138．．．聚會上其他人

圖1是圖示用於基於使用者意圖產生經最佳化的內容的系統的一個實施例的示例性組件的方塊圖。

圖2是頭戴式顯示單元的一個實施例的一部分的俯視圖。

圖2A-2E提供圖示不透明度濾光器的操作的示例性影像。

圖3是頭戴式顯示單元的組件的一個實施例的方塊圖。

圖4是與頭戴式顯示單元相關聯的處理單元的組件的一個實施例的方塊圖。

圖5是結合頭戴式顯示單元使用的中樞計算系統的組件的一個實施例的方塊圖。

圖6是可用於實施在此述及之中樞計算系統的計算系統的一個實施例的方塊圖。

圖7是圖示用於基於使用者意圖來產生經最佳化的內容的多使用者系統的方塊圖。

圖8描述了用於基於使用者意圖產生經最佳化的內容的程序的一個實施例。

圖9描述了使用者建立使用者的空間的模型的程序的一個實施例。

圖10是描述了用於將空間的模型分割成物體的程序的一個實施例的流程圖。

圖11A是描述用於識別物體的程序的一個實施例的流程圖。

圖11B是描述用於回應於移動物體來更新圖8的程序所建立的模型的程序的一個實施例的流程圖。

圖12是描述用於追蹤使用者的視野以及決定使用者的聚焦區的程序的一個實施例的流程圖。

圖13A是描述了由中樞計算系統執行以提供圖12的程序中使用的追蹤資訊的程序的一個實施例的流程圖。

圖13B是描述了用於追蹤眼睛的程序的一個實施例的流程圖、其中該程序的結果供圖12的程序來使用。

圖14是描述用於決定使用者與使用者聚焦區中一或多個物體進行互動的意圖的程序的一個實施例的流程圖。

圖14A是描述用於決定使用者與使用者聚焦區中一或多個物體進行互動的意圖的程序的另一個實施例的流程圖。

圖14B是描述用於藉由提示使用者指定與一或多個物體進行互動的意圖來決定使用者與一或多個物體進行互動的意圖的程序的另一個實施例的流程圖。

圖15A是描述用於基於決定使用者與一或多個物體進行互動的意圖，產生並將經最佳化的影像顯示給使用者的程序的一個實施例的流程圖。

圖15B是描述用於基於決定使用者與顯示在經最佳化的影像中的擴展內容進行互動的意圖，將附加的擴展內容顯示給使用者的程序的一個實施例的流程圖。

圖15C描述增強使用者對使用者環境中視覺化資訊的理解力的程序。

圖16A-C圖示了使用者與使用者環境中一或多個物體進行互動以及基於使用者的互動產生經最佳化的影像的一個實施例。

圖17A-D圖示了使用者與使用者環境中一或多個物體進行互動以及基於使用者的互動產生經最佳化的影像的另一個實施例。

圖18A-C圖示了使用者與使用者環境中一或多個物體進行互動以及基於使用者的互動產生經最佳化的影像的另一個實施例。