TWI533162B - 用於擴充實境啓用裝置之使用者介面 - Google Patents

Description

用於擴充實境啟用裝置之使用者介面

本發明係關於擴充實境之領域。詳言之，本發明係關於用於擴充實境啟用裝置之使用者介面。

頭戴式顯示器可經組態以允許使用者看見位於其前面的世界，同時仍能夠閱讀其電子郵件、得到股票報價等。然而，現有裝置之共同問題係該等現有裝置可導致資訊超載，此係因為使用者不得不檢視真實世界且亦不得不改變焦點以檢視AR內容。現有裝置之另一問題係該等現有裝置並不基於待顯示之內容來對在使用者之視界中的可用區域進行優先順序排列及組織。圖1說明根據某些習知應用所顯示之資訊之實例。如圖1中所示，各種廣告被置放於顯示器螢幕上。該等廣告中之一些廣告(例如，152、154及156)可已阻擋場景之某些部分使之不被使用者看見。因此，習知應用尚未在使使用者能夠與其周圍事物自然地互動的同時有效地將擴充實境內容整合至環境中，從而可不利地影響頭戴式顯示器之使用者體驗。

因此，需要可解決習知解決方案之以上問題的方法及裝置。

本發明係關於用於擴充實境啟用裝置之使用者介面。根據本發明之實施例，一種顯示擴充實境內容之方法包含：控制攝影機來掃描 在使用者之視界中的環境；根據該環境之特性來識別在該環境中之一組表面以用於顯示使用者介面視窗；相對於環境中之該組表面來排列供顯示之一組擴充實境內容的優先順序；及在顯示器中將該組擴充實境內容顯示於該組表面上。該環境之特性至少包含：該組表面相對於待顯示之該組擴充實境內容的縱橫比；及/或該組表面相對於待顯示之該組擴充實境內容的背景色彩。

在一些實施中，相對於環境中之該組表面來排列供顯示之一組擴充實境內容的優先順序的方法包含基於以下各者來排列供顯示之該組擴充實境內容的優先順序：該組表面之面積、該組表面之定向、該組表面相對於使用者之視野的所在地及該組表面之可追蹤性。

在一些其他實施中，相對於環境中之該組表面來排列供顯示之一組擴充實境內容的優先順序的方法進一步包含基於以下各者中之至少一者來排列供顯示之該組擴充實境內容的優先順序：該組表面相對於待顯示之該組擴充實境內容的縱橫比；及該組表面相對於待顯示之該組擴充實境內容的背景色彩。

在又一些其他實施中，相對於環境中之該組表面來排列供顯示之一組擴充實境內容的優先順序的方法進一步包含根據使用者在環境中之先前使用型樣之歷史來判定供顯示之一組擴充實境內容。判定供顯示之一組擴充實境內容的方法包含以下各者中之至少一者：回應於判定使用者正在工作來選擇供顯示之第一組擴充實境內容；回應於判定使用者正在家中來選擇供顯示之第二組擴充實境內容；回應於判定使用者正身處商務會議中來選擇供顯示之第三組擴充實境內容；及回應於判定使用者正身處社交事件中來選擇供顯示之第四組擴充實境內容。

應注意，第一組擴充實境內容包括使用者習慣於在工作時使用之用於通信及文件處理的應用程式，且第二組擴充實境內容包括使用 者習慣於在家中使用之用於通信及娛樂的應用程式。用於通信及文件處理之第一組擴充實境內容包括電子郵件、網頁瀏覽器及辦公室生產率(office productivity)應用程式，且用於通信及娛樂之第二組擴充實境內容包括Facebook、Twitter、電影及視訊遊戲應用程式。

在又一些其他實施中，相對於環境中之該組表面來排列供顯示之一組擴充實境內容的優先順序的方法進一步包含基於以下各者中之至少一者來排列供顯示之該組擴充實境內容的優先順序：待顯示之該組擴充實境內容的比例因子；及待顯示之該組擴充實境內容的邏輯關係。

在又一些其他實施中，相對於環境中之該組表面來排列供顯示之一組擴充實境內容的優先順序的方法進一步包含：根據預定義之使用者偏好來判定供顯示之一組擴充實境內容；及在顯示器中將該組擴充實境內容顯示於該組表面上。該等預定義之使用者偏好包含以下各者中之至少一者：擴充實境內容對使用者的重要性；待顯示之擴充實境內容的量；及擴充實境內容相對於該組表面的檢視定向。

在另一實施例中，電腦程式產品包含一儲存供一或多個電腦系統執行之電腦程式的非暫態媒體；該電腦程式產品包含：用於控制攝影機來掃描在使用者之視界中之環境的程式碼；用於根據該環境之特性來識別在該環境中之一組表面以用於顯示使用者介面視窗的程式碼；用於相對於環境中之該組表面來排列供顯示之一組擴充實境內容的優先順序的程式碼；用於在顯示器中將該組擴充實境內容顯示於該組表面上的程式碼。

在又一實施例中，一設備包含至少一個處理器，其中該至少一個處理器包含：經組態以控制攝影機來掃描在使用者之視界中之環境的邏輯；經組態以根據該環境之特性來識別在該環境中之一組表面以用於顯示使用者介面視窗的邏輯；經組態以相對於環境中之該組表面 來排列供顯示之一組擴充實境內容的優先順序的邏輯；及經組態以在顯示器中將該組擴充實境內容顯示於該組表面上的邏輯。

在又一實施例中，一用於顯示擴充實境內容之系統包含：用於控制攝影機來掃描在使用者之視界中之環境的構件；用於根據該環境之特性來識別在該環境中之一組表面以用於顯示使用者介面視窗的構件；用於相對於環境中之該組表面來排列供顯示之一組擴充實境內容的優先順序的構件；及用於在顯示器中將該組擴充實境內容顯示於該組表面上的構件。

101‧‧‧外殼

102‧‧‧顯示器

104‧‧‧揚聲器

105‧‧‧攝影機

106‧‧‧麥克風

108‧‧‧攝影機

110‧‧‧使用者介面

112‧‧‧顯示器

114‧‧‧小鍵盤

116‧‧‧感測器

117‧‧‧麥克風

118‧‧‧揚聲器

120‧‧‧控制單元

122‧‧‧處理器

124‧‧‧記憶體/儲存器

126‧‧‧軟體

128‧‧‧硬體

130‧‧‧韌體

132‧‧‧追蹤模組

134‧‧‧擴充實境使用者介面模組

152‧‧‧廣告

154‧‧‧廣告

156‧‧‧廣告

200‧‧‧擴充實境啟用裝置(ARD)

300‧‧‧擴充實境啟用裝置(ARD)

400‧‧‧擴充實境啟用裝置(ARD)

500‧‧‧感測器陣列/場景感測器

503‧‧‧RGB-D攝影機

503a‧‧‧立體RGB攝影機

503b‧‧‧紅外線攝影機

503c‧‧‧紅外線發射器

505‧‧‧音訊感測器

507‧‧‧處理器

510‧‧‧場景管理器

515‧‧‧使用者控制區塊

520‧‧‧表面管理器區塊

525‧‧‧音訊管理器區塊

530‧‧‧資訊存取區塊

540‧‧‧顯示器

550‧‧‧音訊輸出裝置

551‧‧‧天線

552‧‧‧傳輸器/接收器

553‧‧‧類比至數位轉換器

555‧‧‧遠端記憶體/遠端資料儲存媒體/資料儲存器

602‧‧‧桌子

604‧‧‧窗戶

606‧‧‧油畫

608‧‧‧燈

610‧‧‧使用者介面視窗

612‧‧‧使用者介面視窗

614‧‧‧使用者介面視窗

616‧‧‧使用者介面視窗

618‧‧‧使用者介面視窗

620‧‧‧使用者介面視窗

622‧‧‧使用者介面視窗

624‧‧‧使用者介面視窗

在結合以下圖式閱讀本發明之實施例之詳細描述之後將可更加清楚地理解本發明之上述特徵及優點以及其額外特徵及優點。

圖1說明根據某些習知應用所顯示之資訊之實例。

圖2說明根據本發明之一些態樣的擴充實境啟用裝置。

圖3說明根據本發明之一些態樣的例示性擴充實境啟用裝置之方塊圖。

圖4說明根據本發明之一些態樣的另一例示性擴充實境啟用裝置。

圖5說明根據本發明之一些態樣的圖4的擴充實境啟用裝置之方塊圖。

圖6說明根據本發明之一些態樣的用於擴充實境啟用裝置之例示性使用者介面。

圖7說明根據本發明之一些態樣的顯示擴充實境內容之例示性方法。

揭示了用於擴充實境啟用裝置之使用者介面之實施例。呈現以下描述以使熟習此項技術者能夠製作並使用本發明。對特定實施例及 應用之描述僅被提供作為實例。本文中所描述之實例的各種修改及組合將容易被熟習此項技術者顯而易見，且可在不背離本發明之精神及範疇的情況下將本文中所界定之一般原理應用於其他實例及應用。因此，本發明並不意欲受限於所描述並展示之實例，而是將符合與本文中所揭示之原理及特徵一致的最廣範疇。詞語「例示性」或「實例」在本文中用以意謂「充當實例、例子或說明」。本文中被描述為「例示性」或「實例」之任何態樣或實施例不一定被解釋為比其他態樣或實施例較佳或有利。

圖2說明根據本發明之一些態樣的擴充實境啟用裝置。如圖2中所示，擴充實境啟用裝置(ARD)200包括外殼101、顯示器102、一或多個揚聲器104及麥克風106。顯示器102(其可為觸控螢幕顯示器)可說明由攝影機105俘獲之影像，或任何其他所要之使用者介面資訊。當然，ARD 200可包括未必與本發明相關之額外組件。

如本文中所使用，ARD裝置係指任何攜帶型電子裝置，諸如蜂巢式或其他無線通信裝置、個人通信系統(PCS)裝置、個人導航裝置(PND)、個人資訊管理器(PIM)、個人數位助理(PDA)、膝上型或其他合適之行動平台。行動平台可能夠接收無線通信信號及/或導航信號(諸如，導航定位信號)。術語ARD亦意欲包括諸如藉由短程無線、紅外線、有線連接或其他連接而與個人導航裝置(PND)通信之裝置，此與衛星信號接收、輔助資料接收及/或位置相關處理發生在該裝置處抑或在PND處無關。又，ARD意欲包括能夠俘獲在姿勢追蹤中所使用之影像以及能夠執行擴充實境使用者介面功能的所有電子裝置，包括無線通信裝置、電腦、膝上型電腦、平板電腦、智慧型手機、數位攝影機等。

圖3說明根據本發明之一些態樣的例示性擴充實境啟用裝置之方塊圖。ARD 300之行動平台包括一用於俘獲環境之影像的攝影機 108，該等影像可為個別照片抑或視訊圖框。ARD 300之行動平台亦可包括感測器116，該等感測器116可用以提供ARD 300之行動平台可藉以判定其位置及定向(亦即，姿勢)的資料。可與ARD 300之行動平台一起使用的感測器之實例包括加速計、石英感測器、迴轉儀、被用作線性加速計之微機電系統(MEMS)感測器，以及磁力計。

ARD 300之行動平台亦可包括一使用者介面110，該使用者介面110包括能夠顯示影像之顯示器112。使用者介面110亦可包括小鍵盤114或使用者可藉以將資訊輸入至ARD 300之行動平台中的其他輸入裝置。若需要，可藉由將虛擬小鍵盤整合至具有觸控感測器之顯示器112中而排除小鍵盤114。使用者介面110亦可包括麥克風117及一或多個揚聲器118(例如，若行動平台為蜂巢式電話)。當然，ARD 300之行動平台可包括與本發明無關之其他組件。

ARD 300之行動平台另外包括一控制單元120，該控制單元120連接至以下各者並與以下各者通信：攝影機108及感測器116，以及使用者介面110，連同任何其他所要特徵。可藉由一或多個處理器122及/或相關聯之記憶體/儲存器124來提供控制單元120。控制單元120亦可包括軟體126以及硬體128與韌體130。控制單元120包括一追蹤模組132，該追蹤模組132經組態以追蹤ARD 300之位置以及追蹤由ARD 300監視之一或多個物件的位置。控制單元120進一步包括擴充實境使用者介面模組134，該擴充實境使用者介面模組134經組態以將擴充實境互動呈現於ARD 300之顯示器112上。出於清晰性，追蹤模組132及擴充實境使用者介面模組134係與處理器122及/或硬體128分開來加以說明的，但可基於軟體126及韌體130中之指令將追蹤模組132及擴充實境使用者介面模組134組合及/或實施於處理器122及/或硬體128中。

圖4說明根據本發明之一些態樣之另一例示性擴充實境啟用裝置400。如圖4中所示，擴充實境啟用裝置400可為頭戴式裝置。根據本 發明之態樣，頭戴式裝置可經組態以學習使用者的以往之使用型樣及偏好，且基於使用者可能身處的時間及環境來自動地調適使用者介面視窗。舉例而言，頭戴式裝置可經組態以根據使用者在某一環境中之先前使用型樣之歷史來判定供顯示之一組擴充實境內容，且接著相應地顯示該組擴充實境內容。

在一種方法中，頭戴式裝置可經組態以回應於判定使用者正在工作來選擇供顯示之第一組擴充實境內容。在另一種方法中，頭戴式裝置可經組態以回應於判定使用者正在家中來選擇供顯示之第二組擴充實境內容。在又一種方法中，頭戴式裝置可經組態以回應於判定使用者正身處商務會議中來選擇供顯示之第三組擴充實境內容。在又一種方法中，頭戴式裝置可經組態以回應於判定使用者正身處社交事件中來選擇供顯示之第四組擴充實境內容。

根據本發明之態樣，第一組擴充實境內容可包括使用者習慣於在工作時使用之用於通信及文件處理的應用程式，且第二組擴充實境內容可包括使用者習慣於在家中使用之用於通信及娛樂的應用程式。用於通信及文件處理之第一組擴充實境內容可包括電子郵件、網頁瀏覽器及辦公室生產率應用程式，且用於通信及娛樂之第二組擴充實境內容可包括Facebook、Twitter、電影及視訊遊戲應用程式。

圖5說明根據本發明之一些態樣之圖4之擴充實境啟用裝置之方塊圖。在一些實施中，頭戴式裝置400可作為一系統之部分進行操作，在該系統中，感測器陣列500可將資料提供至處理器507，該處理器507執行本文中所描述之各種實施例之操作且將資料傳達至伺服器及自伺服器接收資料。應注意，頭戴式裝置400之處理器507可包括一個以上之處理器(或多核心處理器)，其中核心處理器可執行全部控制功能，而共處理器執行應用程式(有時被稱作應用處理器)。核心處理器及應用處理器可經組態於相同之微晶片封裝(諸如，多核心處理器) 中或分開之晶片中。又，處理器507可與關聯於其他功能之處理器封裝於相同的微晶片封裝內，該等其他功能諸如：無線通信(亦即，數據機處理器)、導航(例如，GPS接收器內之處理器)及圖形處理(例如，圖形處理單元或「GPU」)。

頭戴式裝置400可與一可包括其他計算裝置(諸如，可存取網際網路的個人電腦及行動裝置)之通信系統或網路通信。此等個人電腦及行動裝置可包括天線551、傳輸器/接收器或收發器552及類比至數位轉換器553，該類比至數位轉換器553耦接至處理器507以使該處理器能夠經由無線通信網路來發送及接收資料。舉例而言，行動裝置(諸如，蜂巢式電話)可經由無線通信網路(例如，Wi-Fi或蜂巢式電話資料通信網路)來存取網際網路。此等無線通信網路可包括耦接至閘道器之複數個基地台或耦接至網際網路之網際網路存取伺服器。個人電腦可以任何習知之方式耦接至網際網路，諸如藉由經由網際網路閘道器(未圖示)達成之有線連接或藉由無線通信網路。

參看圖5，頭戴式裝置400可包括耦接至控制系統處理器507的場景感測器500及音訊感測器505，該控制系統處理器507可組態有若干模組510-550。在一實施例中，處理器507或場景感測器500可將解剖特徵辨識演算法應用於影像以偵測一或多個解剖特徵。與控制系統相關聯之處理器507可檢閱所偵測到的解剖特徵以便辨識一或多個示意動作並將所辨識之示意動作處理為一輸入命令。舉例而言，如下文予以更詳細論述，使用者可執行對應於一輸入命令之移動示意動作，諸如將手指指向虛擬物件以關閉該虛擬物件。回應於辨識出此實例示意動作，處理器507可自顯示器移除該虛擬物件。作為另一實例，使用者可將一隻手上的食指輕觸拇指而形成「OK」符號以便確認呈現於顯示器上之指令或選項。

場景感測器500(其可包括立體攝影機、定向感測器(例如，加速 計及電子羅盤)及距離感測器)可將與場景相關之資料(例如，影像)提供至實施於處理器507內之場景管理器510，該場景管理器510可經組態以解譯三維場景資訊。在各種實施例中，場景感測器500可包括立體攝影機(如下文所描述)及距離感測器，其可包括用於為紅外線攝影機照明場景的紅外線光發射器。舉例而言，在圖5中所說明之實施例中，場景感測器500可包括：一立體紅綠藍(RGB)攝影機503a，其用於搜集立體影像；及一紅外線攝影機503b，其經組態以在可由結構化之紅外線光發射器503c提供的紅外線光中使場景成像。如下文所論述，結構化之紅外線光發射器可經組態以發射可由紅外線攝影機503b成像之紅外線光之脈衝，其中所接收之像素的時間被記錄並用以使用飛行時間計算來判定距影像元件之距離。可將立體RGB攝影機503a、紅外線攝影機503b及紅外線發射器503c共同地稱作RGB-D(D為距離)攝影機503。

場景管理器模組510可掃描由場景感測器500提供之距離量測及影像，以便產生影像內之物件的三維重建物，包括距立體攝影機之距離及表面定向資訊。在一實施例中，場景感測器500(且更特定言之，RGB-D攝影機503)可指向與使用者及頭戴式裝置400之視野對準的方向上。場景感測器500可提供全身三維運動俘獲及示意動作辨識。場景感測器500可具有與紅外線攝影機503b(諸如單色CMOS感測器)組合之紅外線光發射器503c。場景感測器500可進一步包括俘獲三維視訊資料之立體攝影機503a。場景感測器500可在環境光、太陽光或完全黑暗中工作，且可包括如本文中所描述之RGB-D攝影機。場景感測器500可包括一近紅外線(NIR)脈衝照明組件以及一具有快速閘控機構之影像感測器。可收集每一像素之脈衝信號，且該等脈衝信號對應於脈衝所反射自之所在地且可用以計算距所俘獲主體上之對應點的距離。

在另一實施例中，場景感測器500可使用其他距離量測技術(亦即，不同類型之距離感測器)來俘獲影像內之物件的距離，例如，超音波回聲定位、雷達、立體影像之三角量測等。如上文所論述，在一實施例中，場景感測器500可包括測距攝影機、閃光偵測及測距(LIDAR)攝影機、飛行時間(ToF)攝影機及/或RGB-D攝影機503，其可使用測距閘控ToF感測、RF調變ToF感測、脈衝光ToF感測及投影光立體感測中之至少一者來判定距物件之距離。在另一實施例中，場景感測器500可使用立體攝影機503a來俘獲場景之立體影像且基於該影像內含有之所俘獲像素的亮度來判定距離。如上文所提及，出於一致性，本文中大體上將此等類型之距離量測感測器及技術中之一或多者稱作「距離感測器」。可存在具不同能力及解析度之多個場景感測器以幫助對實體環境繪圖，準確追蹤使用者在環境內之位置且準確追蹤使用者對環境之視界。

頭戴式裝置400亦可包括音訊感測器505，諸如一麥克風或一麥克風陣列。音訊感測器505使頭戴式裝置400能夠記錄音訊，且進行聲源定位及環境雜訊抑制。音訊感測器505可俘獲音訊並將音訊信號轉換至音訊數位資料。與控制系統相關聯之處理器可檢閱音訊數位資料並應用話音辨識演算法以將該資料轉換至可搜尋之文字資料。處理器亦可檢閱所產生之文字資料以找到某些已辨識命令或關鍵字且將已辨識命令或關鍵字用作輸入命令來執行一或多個任務。舉例而言，使用者可說出諸如「錨定虛擬物件」之命令以將所顯示之虛擬物件錨定於所選表面上。舉例而言，使用者可說出「關閉應用程式」以關閉顯示於顯示器上之應用程式。

頭戴式裝置400亦可包括顯示器540。顯示器540可顯示由場景感測器500內之攝影機獲得或由位於頭戴式裝置400內或耦接至頭戴式裝置400之處理器產生的影像。在一實施例中，顯示器540可為微顯示 器。顯示器540可為全遮蔽顯示器(fully occluded display)。在另一實施例中，顯示器540可為半透明顯示器，其可在螢幕上顯示影像，使用者可透過該螢幕檢視環境之周圍事物。可以單眼或立體(亦即，雙眼)組態來組態顯示器540。或者，頭戴式顯示器400可為佩戴於頭部或作為頭盔之一部分的頭盔安裝型顯示裝置，其可具有位於一隻眼睛(單眼)前部或位於兩隻眼睛(亦即，雙眼或立體顯示器)前部之小型顯示器540光學元件。或者，頭戴式裝置400亦可包括兩個顯示單元540，該等顯示單元540經小型化且可為以下各者中之任何一或多者：陰極射線管(CRT)顯示器、液晶顯示器(LCD)、矽上液晶(LCos)顯示器、有機發光二極體(OLED)顯示器、基於干涉調變器(IMOD)元件(其為簡單之微機電系統(MEMS)裝置)之Mirasol顯示器、光導顯示器及波導顯示器，以及存在及可被開發之其他顯示器技術。在另一實施例中，顯示器540可包含多個微顯示器540以增加總解析度且增大視野。

頭戴式裝置400亦可包括音訊輸出裝置550，該音訊輸出裝置550可為耳機及/或揚聲器(被共同地展示為參考數字550)以輸出音訊。頭戴式裝置400亦可包括一或多個處理器，該一或多個處理器可將控制功能提供至頭戴式裝置400以及產生影像(諸如如下文與圖6相關聯而描述之使用者介面視窗)。舉例而言，頭戴式裝置400可包括核心處理器、應用處理器、圖形處理器及導航處理器。或者，頭戴式顯示器400可耦接至一分開之處理器，諸如位於智慧型手機或其他行動計算裝置中的處理器。可藉由處理器或藉由行動CPU來處理視訊/音訊輸出，該行動CPU連接(經由有線或無線網路)至頭戴式裝置400。頭戴式裝置400亦可包括場景管理器區塊510、使用者控制區塊515、表面管理器區塊520、音訊管理器區塊525及資訊存取區塊530，以上各者可為分開之電路模組或可作為軟體模組而實施於處理器內。頭戴式裝置400可進一步包括一本端記憶體及一用於與其他裝置或一區域無線或 有線網路通信之無線或有線介面，以便自遠端記憶體555接收數位資料。在系統中使用遠端記憶體555可藉由減少裝置中之記憶體晶片及電路板而使頭戴式裝置400能夠變得更輕便。

控制器之場景管理器區塊510可自場景感測器500接收資料並建構實體環境之虛擬表示。舉例而言，雷射器可用以發射自房間中之物件反射且被俘獲於攝影機中的雷射光，其中將光之往返時間用以計算距房間中之各個物件及表面的距離。此等距離量測可用以判定房間中之物件的所在地、大小及形狀，且產生場景之地圖。在編制地圖之後，場景管理器區塊510可將地圖連結至其他所產生之地圖以形成一預定區域之較大地圖。在一實施例中，可將場景及距離資料傳輸至伺服器或其他計算裝置，該伺服器或其他計算裝置可基於自若干頭戴式裝置接收之影像、距離及地圖資料(及隨時間的過去當使用者在場景內到處移動時)產生一合併或整合地圖。可經由無線資料鏈路使此整合地圖資料可供頭戴式裝置處理器使用。其他地圖可為由本裝置或由其他頭戴式裝置所掃描之地圖，或可接收自雲端服務。場景管理器510可基於來自場景感測器500之資料來識別表面並追蹤使用者之當前位置。使用者控制區塊515可搜集對系統之使用者控制輸入(例如，音訊命令、示意動作及輸入裝置(例如，鍵盤、滑鼠))。在一實施例中，使用者控制區塊515可包括一示意動作字典或可經組態以存取一示意動作字典，以解譯由場景管理器510識別之使用者身體部分的移動。應注意，示意動作字典可儲存用於辨識示意動作之移動資料或型樣，示意動作可包括輕戳、輕拍、輕觸、按、導引、筆觸、轉動、旋轉、抓取及拉動、雙手手掌攤開以用於水平移動影像、繪畫(例如，指畫法)、用手指形成形狀(例如，「OK」符號)及撥動，以上各者皆可在所產生之顯示物中之虛擬物件的視在所在地上實現或密切接近該視在所在地實現。使用者控制區塊515亦可辨識複合命令。此可包括兩個或 兩個以上命令。舉例而言，示意動作與聲音(例如，掌聲)或語音控制命令(例如，所作出並與語音命令或口述詞語組合以確認操作的偵測到的「OK」手部示意動作)。當識別了使用者控制515時，控制器可將請求提供至頭戴式裝置400之另一子組件。

頭戴式裝置400亦可包括表面管理器區塊520。表面管理器區塊520可基於所俘獲之影像(如由場景管理器區塊510管理)及來自距離感測器之量測來連續地追蹤場景內之表面之位置。表面管理器區塊520亦可連續地更新可被錨定於所俘獲之影像內的表面上之虛擬物件之位置。表面管理器區塊520可負責作用中表面及使用者介面視窗。音訊管理器區塊525可提供用於音訊輸入及音訊輸出之控制指令。音訊管理器區塊525可建構被遞送至耳機及揚聲器550之音訊串流。

資訊存取區塊530可提供控制指令以調停對數位資訊之存取。資料可儲存於頭戴式裝置400上之本端記憶體儲存媒體上。資料亦可儲存於可存取之數位裝置上的遠端資料儲存媒體555上，或資料可儲存於分散式雲端儲存記憶體上，該分散式雲端儲存記憶體可由頭戴式裝置400存取。資訊存取區塊530與資料儲存器555通信，該資料儲存器555可為記憶體、磁碟、遠端記憶體、雲端計算資源或整合記憶體555。

圖6說明根據本發明之一些態樣之用於擴充實境啟用裝置之例示性使用者介面。如圖6中所示，使用者介面可經組態以將真實世界物件與AR內容有效地融合。在一個例示性實施中，ARD使用前向攝影機來掃描環境。在一種方法中，Qualcomm Vuforia^TM電腦視覺應用程式可用以偵測平坦表面。如圖6中所示，該等平坦表面可包括在使用者之頂部視界、底部視界、左視界、右視界及前視界中的表面，且環境可包括真實世界物件，諸如桌子602、窗戶604、油畫606及燈608。可接著將使用者介面視窗(例如，610、612、614、616、618、620、 622及624)置於平坦表面以用於顯示擴充實境內容(諸如，電子郵件、PowerPoint簡報、Facebook、推文(tweet)、電影等)。

在一些實施中，若擴充實境內容之數目可能大於所識別之使用者介面視窗之數目，則ARD可經組態以對待顯示之該數目之擴充實境內容進行優先順序排列及剪除。在一些其他實施中，ARD可經組態以合併或分裂所偵測到的平坦表面，從而形成不同組使用者介面視窗來匹配待顯示之擴充實境內容。

根據本發明之實施例，ARD可經組態以基於以下準則來排列所偵測到的平坦表面之優先順序，該等準則包括(但不限於)：a)使用者介面視窗之特徵可被追蹤的程度；b)表面之面積/大小；c)表面相對於使用者視野(FOV)之所在地；4)表面之定向及縱橫比；及5)表面之背景色彩。在一些實施中，若表面具有許多色彩且具有高頻率變化，則可選擇一組標記使得即使使用者將他的頭自一個視界移至另一視界，一(或多個)虛擬使用者介面視窗仍可「黏」在表面上。另外，在使用者正與人交談的情形中，位於周邊中之表面可比位於中心中之表面較佳，以便使用者介面視窗不會干擾使用者與人的交談。在一些應用中，大區域可比小區域較佳。

在一些實施中，取決於待顯示之內容，具有垂直定向之表面可對於顯示Word文件而言較佳，而具有水平定向之表面可對於顯示電影而言較佳。此外，可在使待顯示之擴充實境內容與使用者介面視窗匹配時將每一使用者介面視窗之縱橫比用作準則。舉例而言，長而窄之水平使用者介面視窗可用以顯示股票行情指示器，而具有16：9或4：3之大致縱橫比的使用者介面視窗可用以顯示電影。

在其他實施中，可在使待顯示之擴充實境內容與使用者介面視窗匹配時將表面(例如，牆壁)之背景色彩用作準則。舉例而言，具有灰色壁紙之牆壁可比簡單的白色牆壁較佳，因為與會反射來自窗戶或 來自環境中之其他光源的光之簡單的白色牆壁相比，顯示於灰色表面上之擴充實境內容可具有更大之對比度。

根據本發明之態樣，在已排列待用作底圖之表面的優先順序之後，可接著將使用者介面視窗特徵化以供顯示。基於以下準則來向使用者介面視窗提供屬性，該等準則包括(但不限於)：a)某一內容對使用者之重要性；b)待顯示之內容的量；及c)待顯示之內容的檢視定向及縱橫比。

ARD可接著基於上文所描述之準則將使用者介面視窗指派給表面。舉例而言，可將具有許多內容之較高優先權使用者介面視窗置於具有大面積之高優先權表面中。ARD可經組態以追蹤一表面是否已在由前向攝影機俘獲之圖框中移動(因為使用者已移動了他的頭部，或在實際表面(例如，公共汽車側面)已被移動的情況下)。基於使用ARD中之一或多個六自由度感測器(例如，加速計、磁力計及迴轉儀)來做出此判定。舉例而言，若使用者頭部在表面已移動時保持為靜止，則可剪除彼表面，且可重新指派使用者介面視窗。根據本發明之態樣，在一種方法中，ARD可經組態以將尺度不變特徵變換(SIFT)技術用於由ARD之攝影機俘獲的影像來追蹤環境中之可用表面。在另一種方法中，ARD可經組態以將隨機取樣一致(RANSAC)技術用於由ARD之攝影機俘獲的影像來追蹤環境中之可用表面。在又一種方法中，ARD可經組態以使用非視覺方法(諸如使用環境中可用之射頻識別(RFID))來追蹤環境中之表面。

根據本發明之一些態樣，可連續地追蹤及顯現場景內之虛擬物件(諸如在錨定表面上)，使得甚至在使用者轉動她的頭且到處移動時虛擬物件仍可表現為固定的。如上文所提及，相對於周圍事物來定向ARD(例如，頭戴式裝置)且判定距各個表面之距離及各個表面之相對定向的程序可連續地藉由監視定向感測器(例如，加速計及迴轉儀)且 三角量測該裝置之位置及視角(當該裝置在空間中移動時，藉由不斷地參考所掃描之三維(3D)環境之地形的移位)來實現，因此執行同時定位及繪圖(SLAM)操作。

藉由使用上文所描述之方法，如圖6中所示，使用者介面視窗610可描述在影像橫式模式下地面上之大小為120平方英尺的區域，其具有相對低之優先權及相對低之可追蹤性。使用者介面視窗612可描述在影像直式模式下右牆壁上之大小為70平方英尺的區域，其具有相對中等之優先權及相對高之可追蹤性。使用者介面視窗614可描述在影像直式模式下右牆壁上之大小為100平方英尺的區域，其具有相對中等之優先權及相對高之可追蹤性。使用者介面視窗616可描述在影像橫式模式下天花板上之大小為100平方英尺的區域，其具有相對低之優先權及相對低之可追蹤性。使用者介面視窗618可描述在影像橫式模式下前牆壁上之大小為80平方英尺的區域，其具有相對高之優先權及相對高之可追蹤性。使用者介面視窗620可描述在影像橫式模式下左牆壁上之大小為50平方英尺的區域，其具有相對高之優先權及相對高之可追蹤性。使用者介面視窗622可描述在影像直式模式下左牆壁上之大小為100平方英尺的區域，其具有相對中等之優先權及相對高之可追蹤性。使用者介面視窗624可描述在影像橫式模式下左牆壁上之大小為50平方英尺的區域，其具有相對中等之優先權及相對高之可追蹤性。

在ARD已識別了環境中之平坦表面之後，ARD可將AR視窗按其各別優先權之次序指派給該等平坦表面。舉例而言，使用者在他的會議之前在他個人電腦上最近所忙於之Word文件可具有較高優先權，且可被置放於會議室中在他前面的牆壁上。根據本發明之態樣，ARD可考慮到AR視窗之大小以確保其與待顯示之AR內容匹配。舉例而言，若待顯示之文件中的字型可能太小且難以閱讀，則可放大AR視 窗之大小。另一方面，若AR視窗之大小對於文件而言可能太大且使得使用者眼睛不適，則可減小AR視窗之大小。在一些實施中，ARD可應用一組比例因子，其可用以伸展或縮小AR視窗。在一種方法中，最小比例因子及最大比例因子(諸如resize_min及resize_max)可用以調整AR視窗之大小。舉例而言，用於顯示文件之典型值可基於一預定AR視窗大小(諸如640x480 VGA)在resize_min係0.5(50%)與resize_max係3.0(300%)之間的範圍中。對於另一實例而言，來自Netflix應用程式之待播放之電影的resize_min及resize_max可分別為0.5(50%)及10.0(1000%)，此指示電影可被重新設定成遠大於文件之大小。

在一些實施中，基於可被顯示於一給定表面上之AR視窗之大小，可做出判定來分裂一平坦表面以支援兩個或兩個以上AR視窗。根據本發明之態樣，若待顯示於第一AR視窗中之AR內容可能不使用整個可用表面，則可將經分配至第一AR視窗之表面進一步分裂成多個AR視窗。另一方面，若待顯示之AR內容需要一較大之顯示表面，則可合併多個AR視窗以形成一新的AR視窗。

在一些其他實施中，可藉由待顯示之AR內容間的邏輯關係來判定AR內容之優先順序排列及AR內容至AR視窗之指派。ARD可經組態以在彼此接近之兩個或兩個以上之AR視窗中顯示多個邏輯上相關的AR內容。舉例而言，ARD可經組態以使用一AR視窗來顯示解釋科學理論之文件，且使用一鄰近之AR視窗來顯示展示該科學理論之示範的視訊。作為另一實例，ARD可經組態以使用一AR視窗來顯示在討論會上將公佈之論文，且使用一鄰近之AR視窗來顯示作者可用於在討論會上呈現該論文的簡報投影片。

藉由上文所描述之使用者介面，使用者可在自所建立之使用者介面視窗讀取擴充實境內容的同時與其周圍事物更自然地互動，此係 因為此等使用者介面視窗並非僅僅被置放於使用者前面。實情為，根據本發明之態樣，該等使用者介面視窗經置放而更好地融合至環境中之自然場景中。因此，可應用所揭示之使用者介面以改良使用者之效率及生產率。

圖7說明根據本發明之一些態樣之顯示擴充實境內容之例示性方法。在區塊702中，處理器122及/或擴充實境使用者介面模組134可經組態以控制攝影機來掃描在使用者之視界中的環境。在區塊704中，處理器122及/或擴充實境使用者介面模組134可經組態以根據該環境之特性來識別在該環境中之一組表面以用於顯示使用者介面視窗。在區塊706中，處理器122及/或擴充實境使用者介面模組134可經組態以相對於環境中之該組表面來排列供顯示之一組擴充實境內容的優先順序。在區塊708中，處理器122及/或擴充實境使用者介面模組134可經組態以在顯示器中將該組擴充實境內容顯示於該組表面上。

根據本發明之態樣，環境包含真實世界物件，且其中該組表面包括在使用者之頂部視界、底部視界、左視界、右視界及前視界中的表面，且顯示器為頭戴式顯示器。環境之特性包括(但不限於)：該組表面相對於待顯示之該組擴充實境內容的縱橫比；及該組表面相對於待顯示之該組擴充實境內容的背景色彩。

根據本發明之實施例，區塊706中所執行之方法可另外包括區塊710、712、714、716及718中所執行之方法。在區塊710中，處理器122及/或擴充實境使用者介面模組134可經組態以基於以下各者來排列供顯示之該組擴充實境內容的優先順序：該組表面之面積、該組表面之定向、該組表面相對於使用者之視野的所在地及該組表面之可追蹤性。

在區塊712中，處理器122及/或擴充實境使用者介面模組134可經組態以基於以下各者中之至少一者來排列供顯示之該組擴充實境內容 的優先順序：該組表面相對於待顯示之該組擴充實境內容的縱橫比；及該組表面相對於待顯示之該組擴充實境內容的背景色彩。

在區塊714中，處理器122及/或擴充實境使用者介面模組134可經組態以根據使用者在環境中之先前使用型樣之歷史來判定供顯示之一組擴充實境內容。在一些實施中，處理器122及/或擴充實境使用者介面模組134可經組態以：回應於判定使用者正在工作來選擇供顯示之第一組擴充實境內容；回應於判定使用者正在家中來選擇供顯示之第二組擴充實境內容；回應於判定使用者正身處商務會議中來選擇供顯示之第三組擴充實境內容；或回應於判定使用者正身處社交事件中來選擇供顯示之第四組擴充實境內容。

在一些實施中，第一組擴充實境內容包括使用者習慣於在工作時使用之用於通信及文件處理的應用程式，且第二組擴充實境內容包括使用者習慣於在家中使用之用於通信及娛樂的應用程式。另外，用於通信及文件處理之第一組擴充實境內容包括電子郵件、網頁瀏覽器及辦公室生產率應用程式，且用於通信及娛樂之第二組擴充實境內容包括Facebook、Twitter、電影及視訊遊戲應用程式。

在區塊716中，處理器122及/或擴充實境使用者介面模組134可經組態以基於以下各者中之至少一者來排列供顯示之該組擴充實境內容的優先順序：待顯示之該組擴充實境內容的比例因子；及待顯示之該組擴充實境內容的邏輯關係。

在區塊718中，處理器122及/或擴充實境使用者介面模組134可經組態以：根據預定義之使用者偏好來判定供顯示之一組擴充實境內容；及在顯示器中將該組擴充實境內容顯示於該組表面上。應注意，該等預定義之使用者偏好包含以下各者中之至少一者：擴充實境內容對使用者的重要性；待顯示之擴充實境內容的量；及擴充實境內容相對於該組表面的檢視定向。

根據本發明之態樣，處理器122及/或擴充實境使用者介面模組134可經組態以：識別環境中之一組標記；使該組標記與該組表面相關聯；及使用該組標記來追蹤該組表面。根據本發明之一些態樣，可藉由圖3之處理器122或擴充實境使用者介面模組134或藉由兩者之組合(潛在地與一或多個其他元件組合)來實施圖7中所描述之功能。在一些實施中，該等功能可藉由處理器122、軟體126、硬體128及韌體130或以上各者之用以執行本發明中所描述之設備之各種功能的組合來執行。在又一些其他實施中，圖7中所描述之功能可藉由與一或多個其他元件(例如，圖5之元件500-550)組合之處理器507來實施。

應注意，至少段落[0066]至[0068]、圖3、圖5、圖7及其對應之描述提供：用於控制攝影機來掃描在使用者之視界中之環境的構件；用於根據該環境之特性來識別在該環境中之一組表面以用於顯示使用者介面視窗的構件；用於相對於環境中之該組表面來排列供顯示之一組擴充實境內容的優先順序的構件；及用於在顯示器中將該組擴充實境內容顯示於該組表面上的構件。至少段落[0066]至[0068]、圖3、圖5、圖6、圖7及其對應之描述提供：用於基於以下各者來排列供顯示之該組擴充實境內容的優先順序的構件：該組表面之面積、該組表面之定向、該組表面相對於使用者之視野的所在地及該組表面之可追蹤性；及用於基於以下各者中之至少一者來排列供顯示之該組擴充實境內容的優先順序的構件：該組表面相對於待顯示之該組擴充實境內容的縱橫比；及該組表面相對於待顯示之該組擴充實境內容的背景色彩；用於根據使用者在環境中之先前使用型樣之歷史來判定供顯示之一組擴充實境內容的構件；用於基於以下各者中之至少一者來排列供顯示之該組擴充實境內容的優先順序的構件：待顯示之該組擴充實境內容的比例因子；及待顯示之該組擴充實境內容的邏輯關係；用於根據預定義之使用者偏好來判定供顯示之一組擴充實境內容的構件；及 用於在顯示器中將該組擴充實境內容顯示於該組表面上的構件。

本文中所描述之方法及行動裝置可取決於應用而藉由各種構件來實施。舉例而言，可以硬體、韌體、軟體或其組合來實施此等方法。對於硬體實施而言，處理單元可實施於一或多個特殊應用積體電路(ASIC)、數位信號處理器(DSP)、數位信號處理裝置(DSPD)、可程式化邏輯裝置(PLD)、場可程式化閘陣列(FPGA)、處理器、控制器、微控制器、微處理器、電子裝置、經設計以執行本文中所描述之功能的其他電子單元或其組合內。本文中，術語「控制邏輯」涵蓋藉由軟體、硬體、韌體或其組合所實施之邏輯。

對於韌體及/或軟體實施而言，該等方法可藉由執行本文中所描述之功能的模組(例如，程序、函式等等)來實施。可在實施本文所述之方法時使用有形地體現指令之任何機器可讀媒體。舉例而言，軟體程式碼可儲存於記憶體中且由處理單元來執行。記憶體可實施於處理單元內或位於處理單元外部。如本文中所使用，術語「記憶體」係指任何類型之長期、短期、揮發性、非揮發性或其他儲存裝置，且並不限制於任何特定類型之記憶體或任何特定數目之記憶體，或其上儲存記憶體之媒體之類型。

若以韌體及/或軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上。實例包括編碼有資料結構之電腦可讀媒體及編碼有電腦程式之電腦可讀媒體。電腦可讀媒體可採取製品之形式。電腦可讀媒體包括實體電腦儲存媒體及/或其他非暫態媒體。儲存媒體可為可由電腦存取之任何可用媒體。藉由實例而非限制，此等電腦可讀媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存裝置，或可用以儲存呈指令或資料結構之形式之所要程式碼且可由電腦存取的任何其他媒體；如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光碟、數位 影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。

除了儲存於電腦可讀媒體上之外，指令及/或資料還可作為信號而提供於包括於通信設備中之傳輸媒體上。舉例而言，通信設備可包括具有指示指令及資料之信號的收發器。該等指令及資料經組態以使一或多個處理器實施申請專利範圍中所概述之功能。亦即，通信設備包括具有指示用以執行所揭示功能之資訊之信號的傳輸媒體。在第一時間，通信設備中所包括之傳輸媒體可包括用以執行所揭示功能之資訊的第一部分，而在第二時間，通信設備中所包括之傳輸媒體可包括用以執行所揭示功能之資訊的第二部分。

可結合諸如無線廣域網路(WWAN)、無線區域網路(WLAN)、無線個人區域網路(WPAN)等等之各種無線通信網路來實施本發明。常常可互換地使用術語「網路」與「系統」。常常可互換地使用術語「位置」與「所在地」。WWAN可為分碼多重存取(CDMA)網路、分時多重存取(TDMA)網路、分頻多重存取(FDMA)網路、正交分頻多重存取(OFDMA)網路、單載波分頻多重存取(SC-FDMA)網路、長期演進(LTE)網路、WiMAX(IEEE 802.16)網路，等等。CDMA網路可實施一或多種無線電存取技術(RAT)，諸如cdma2000、寬頻CDMA(W-CDMA)，等等。cdma2000包括IS-95、IS2000及IS-856標準。TDMA網路可實施全球行動通信系統(GSM)、數位進階行動電話系統(D-AMPS)，或某一其他RAT。GSM及W-CDMA被描述於來自名為「第三代合作夥伴計劃」(3GPP)之協會的文件中。cdma2000被描述於來自名為「第三代合作夥伴計劃2」(3GPP2)之協會的文件中。3GPP及3GPP2文件係公開可得的。WLAN可為IEEE 802.11x網路，且WPAN可為藍芽網路、IEEE 802.15x或某一其他類型之網路。該等技術亦可結 合WWAN、WLAN及/或WPAN之任何組合來實施。

行動台係指一能夠接收無線通信信號及/或導航信號之裝置，諸如蜂巢式或其他無線通信裝置、個人通信系統(PCS)裝置、個人導航裝置(PND)、個人資訊管理器(PIM)、個人數位助理(PDA)、膝上型電腦或其他合適之行動裝置。術語「行動台」亦意欲包括諸如藉由短程無線、紅外線、有線連接或其他連接來與個人導航裝置(PND)通信之裝置，此與衛星信號接收、輔助資料接收及/或位置相關處理發生在該裝置處還是在PND處無關。又，「行動台」意欲包括所有裝置，包括無線通信裝置、電腦、膝上型電腦等，其能夠諸如經由網際網路、Wi-Fi或其他網路來與伺服器通信，且與衛星信號接收、輔助資料接收及/或位置相關處理發生在該裝置處、伺服器處還是與網路相關聯之另一裝置處無關。上述各者之任何可操作組合亦被視為「行動台」。

指定某物為「最佳化的」、「所要求的」或其他指定並不指示本發明僅適用於最佳化之系統，或其中存在「所要求的」元件之系統(或歸因於其他指定之其他限制)。此等指定僅指特定的所描述之實施。當然，許多實施係可能的。該等技術可與不同於本文中所論述之協定的協定(包括正在開發或待開發之協定)一起使用。

熟習此項技術者將認識到，可在仍使用相同的基本底層機構及方法的同時使用所揭示之實施例之許多可能之修改及組合。出於解釋之目的，已參考特定實施例而書寫上述描述。然而，上文之說明性論述並不意欲為詳盡的或將本揭示案限制至所揭示之精確形式。鑒於以上教示，許多修改及變化係可能的。選擇並描述該等實施例以解釋本發明之原理及其實際應用，且使熟習此項技術者能夠最好地利用本發明及具有適於所預期之特定用途之各種修改的各種實施例。

602‧‧‧桌子

604‧‧‧窗戶

606‧‧‧油畫

608‧‧‧燈

610‧‧‧使用者介面視窗

612‧‧‧使用者介面視窗

614‧‧‧使用者介面視窗

616‧‧‧使用者介面視窗

618‧‧‧使用者介面視窗

620‧‧‧使用者介面視窗

622‧‧‧使用者介面視窗

624‧‧‧使用者介面視窗

Claims (44)

1. 一種顯示擴充實境內容之方法，其包含：藉由一攝影機接收在一使用者之視界中的一環境之一掃描；識別在該環境中之一組表面以用於顯示使用者介面視窗；指派一表面優先順序給該組表面中之每一表面，其中每一表面之該表面優先順序級係自複數個表面優先順序級選擇；相對於該環境中之該組表面來指派一內容優先順序級給供顯示之一組擴充實境內容中的每一內容項目，其中每一內容項目之該內容優先順序級係自複數個內容優先順序級選擇；及基於該表面優先順序級與該內容優先順序級將供顯示之該組擴充實境內容中之每一內容項目顯示於在一顯示器之該組表面中之一表面上。
2. 如請求項1之方法，其中該環境包含真實世界物件，且其中該組表面包括在該使用者之頂部視界、底部視界、左視界、右視界及前視界中的表面；且其中該顯示器為一頭戴式顯示器。
3. 如請求項1之方法，其中指派該表面優先順序級給該組表面中之每一表面包含：基於以下各者來指派該表面優先順序級：該組表面之面積、該組表面之定向、該組表面相對於該使用者之視野的所在地及該組表面之可追蹤性，其中該複數個表面優先順序級包括高、中及低表面優先順序級。
4. 如請求項1之方法，其中相對於該環境中之該組表面來指派該內容優先順序級給供顯示之一組擴充實境內容中的每一內容項目包含：基於以下各者中之至少一者來指派該內容優先順序級：該組 表面相對於待顯示之該組擴充實境內容的縱橫比；及該組表面相對於待顯示之該組擴充實境內容的背景色彩。
5. 如請求項1之方法，其中相對於該環境中之該組表面來指派該內容優先順序級給供顯示之一組擴充實境內容中的每一內容項目包含：基於該使用者在該環境中之先前使用型樣之一歷史來指派該內容優先順序級。
6. 如請求項5之方法，其中基於該使用者在該環境中之先前使用型樣之一歷史來指派該內容優先順序級包含以下各者中之至少一者：回應於判定該使用者正在工作來選擇供顯示之一第一組擴充實境內容；回應於判定該使用者正在家中來選擇供顯示之一第二組擴充實境內容；回應於判定該使用者正身處一商務會議中來選擇供顯示之一第三組擴充實境內容；及回應於判定該使用者正身處一社交事件中來選擇供顯示之一第四組擴充實境內容。
7. 如請求項6之方法，其中該第一組擴充實境內容包括該使用者習慣於在工作時使用之用於通信及文件處理的應用程式；且該第二組擴充實境內容包括該使用者習慣於在家中使用之用於通信及娛樂的應用程式。
8. 如請求項7之方法，其中用於通信及文件處理之該第一組擴充實境內容包括電子郵件、網頁瀏覽器及辦公室生產率應用程式；且 用於通信及娛樂之該第二組擴充實境內容包括多個社交網路網址、電影及視訊遊戲應用程式。
9. 如請求項1之方法，其中相對於該環境中之該組表面來指派該內容優先順序級給供顯示之一組擴充實境內容中的每一內容項目包含：基於以下各者中之至少一者來指派該內容優先順序級：待顯示之該組擴充實境內容的比例因子；及待顯示之該組擴充實境內容的邏輯關係。
10. 如請求項1之方法，其中相對於該環境中之該組表面來指派該內容優先順序級給供顯示之一組擴充實境內容中的每一內容項目包含：基於預定義之使用者偏好來指派該內容優先順序級。
11. 如請求項10之方法，其中該預定義之使用者偏好包含以下各者中之至少一者：一擴充實境內容對該使用者的重要性；待顯示之該擴充實境內容的量；及該擴充實境內容相對於該組表面的檢視定向。
12. 如請求項1之方法，其進一步包含：識別該環境中之一組標記；使該組標記與該組表面相關聯；及使用該組標記來追蹤該組表面。
13. 如請求項9之方法，其中待顯示之該組擴充實境內容之該等邏輯關係包含：一文件及該文件之一對應視訊表示。
14. 如請求項9之方法，其中待顯示之該組擴充實境內容之該等邏輯關係包含： 一文件及該文件之多個對應簡報投影片。
15. 一種電腦程式產品，其包含一儲存供一或多個電腦系統執行之電腦程式的非暫態媒體，該電腦程式產品包含：用於藉由一攝影機接收在一使用者之視界中之一環境之一掃描的程式碼；用於識別在該環境中之一組表面以用於顯示使用者介面視窗的程式碼；用於指派一表面優先順序給該組表面中之每一表面的程式碼，其中每一表面之該表面優先順序級係自複數個表面優先順序級選擇；用於相對於該環境中之該組表面來指派一內容優先順序級給供顯示之一組擴充實境內容中的每一內容項目的程式碼，其中每一內容項目之該內容優先順序級係自複數個內容優先順序級選擇；及用於基於該表面優先順序級與該內容優先順序級將供顯示之該組擴充實境內容中之每一內容項目顯示於在一顯示器之該組表面中之一表面上的程式碼。
16. 如請求項15之電腦程式產品，其中該環境包含真實世界物件，且其中該組表面包括在該使用者之頂部視界、底部視界、左視界、右視界及前視界中的表面；且其中該顯示器為一頭戴式顯示器。
17. 如請求項15之電腦程式產品，其中用於指派該表面優先順序級給該組表面中之每一表面的程式碼包含：用於基於以下各者來指派該表面優先順序級的程式碼：該組表面之面積、該組表面之定向、該組表面相對於該使用者之視野的所在地及該組表面之可追蹤性，其中該複數個表面優先順序級包括高、中及低表面優先順序級。
18. 如請求項15之電腦程式產品，其中用於相對於該環境中之該組表面來指派該內容優先順序級給供顯示之一組擴充實境內容中的每一內容項目的程式碼包含：用於基於以下各者中之至少一者來指派該內容優先順序級的程式碼：該組表面相對於待顯示之該組擴充實境內容的縱橫比；及該組表面相對於待顯示之該組擴充實境內容的背景色彩。
19. 如請求項15之電腦程式產品，其中用於相對於該環境中之該組表面來指派該內容優先順序級給供顯示之一組擴充實境內容中的每一內容項目的程式碼包含：用於基於該使用者在該環境中之先前使用型樣之一歷史來指派該內容優先順序級的程式碼。
20. 如請求項19之電腦程式產品，其中用於基於該使用者在該環境中之先前使用型樣之一歷史來指派該內容優先順序級的程式碼包含以下各者中之至少一者：用於回應於判定該使用者正在工作來選擇供顯示之一第一組擴充實境內容的程式碼；用於回應於判定該使用者正在家中來選擇供顯示之一第二組擴充實境內容的程式碼；用於回應於判定該使用者正身處一商務會議中來選擇供顯示之一第三組擴充實境內容的程式碼；及用於回應於判定該使用者正身處一社交事件中來選擇供顯示之一第四組擴充實境內容的程式碼。
21. 如請求項20之電腦程式產品，其中該第一組擴充實境內容包括該使用者習慣於在工作時使用之用於通信及文件處理的應用程式；且 該第二組擴充實境內容包括該使用者習慣於在家中使用之用於通信及娛樂的應用程式。
22. 如請求項21之電腦程式產品，其中用於通信及文件處理之該第一組擴充實境內容包括電子郵件、網頁瀏覽器及辦公室生產率應用程式；且用於通信及娛樂之該第二組擴充實境內容包括多個社交網路網址、電影及視訊遊戲應用程式。
23. 如請求項15之電腦程式產品，其中用於相對於該環境中之該組表面來指派該內容優先順序級給供顯示之一組擴充實境內容中的每一內容項目的程式碼包含：用於基於以下各者中之至少一者來指派該內容優先順序級的程式碼：待顯示之該組擴充實境內容的比例因子；及待顯示之該組擴充實境內容的邏輯關係。
24. 如請求項15之電腦程式產品，其中用於相對於該環境中之該組表面來指派該內容優先順序級給供顯示之一組擴充實境內容中的每一內容項目的程式碼包含：基於用於根據預定義之使用者偏好來判定供顯示之一組擴充實境內容的程式碼而指派該內容優先順序級的程式碼。
25. 如請求項24之電腦程式產品，其中該預定義之使用者偏好包含以下各者中之至少一者：一擴充實境內容對該使用者的重要性；待顯示之該擴充實境內容的量；及該擴充實境內容相對於該組表面的檢視定向。
26. 如請求項15之電腦程式產品，其進一步包含：用於識別該環境中之一組標記的程式碼；用於使該組標記與該組表面相關聯的程式碼；及 用於使用該組標記來追蹤該組表面的程式碼。
27. 一種設備，其包含：至少一個處理器，其中該至少一個處理器包含：經組態以藉由一攝影機接收在一使用者之視界中之一環境之一掃描的邏輯；經組態以識別在該環境中之一組表面以用於顯示使用者介面視窗的邏輯；經組態以指派一表面優先順序給該組表面中之每一表面的邏輯，其中每一表面之該表面優先順序級係自複數個表面優先順序級選擇；經組態以相對於該環境中之該組表面來指派一內容優先順序級給供顯示之一組擴充實境內容中的每一內容項目的邏輯，其中每一內容項目之該內容優先順序級係自複數個內容優先順序級選擇；及經組態以基於該表面優先順序級與該內容優先順序級將供顯示之該組擴充實境內容中之每一內容項目顯示於在一顯示器之該組表面中之一表面上的邏輯。
28. 如請求項27之設備，其中該環境包含真實世界物件，且其中該組表面包括在該使用者之頂部視界、底部視界、左視界、右視界及前視界中的表面；且其中該顯示器為一頭戴式顯示器。
29. 如請求項27之設備，其中經組態以指派該表面優先順序級給該組表面中之每一表面的邏輯包含：經組態以基於以下各者來指派該表面優先順序級的邏輯：該組表面之面積、該組表面之定向、該組表面相對於該使用者之視野的所在地及該組表面之可追蹤性，其中該複數個表面優先順序級包括高、中及低表面優先順序級。
30. 如請求項27之設備，其中經組態以相對於該環境中之該組表面來指派該內容優先順序級給供顯示之一組擴充實境內容中的每一內容項目的邏輯包含：經組態以基於以下各者中之至少一者來指派該內容優先順序級的邏輯：該組表面相對於待顯示之該組擴充實境內容的縱橫比；及該組表面相對於待顯示之該組擴充實境內容的背景色彩。
31. 如請求項27之設備，其中經組態以相對於該環境中之該組表面來指派該內容優先順序級給供顯示之一組擴充實境內容中的每一內容項目的邏輯包含：經組態以基於該使用者在該環境中之先前使用型樣之一歷史來指派該內容優先順序級的邏輯。
32. 如請求項31之設備，其中經組態以基於該使用者在該環境中之先前使用型樣之一歷史來指派該內容優先順序級的邏輯包含以下各者中之至少一者：經組態以回應於判定該使用者正在工作來選擇供顯示之一第一組擴充實境內容的邏輯；經組態以回應於判定該使用者正在家中來選擇供顯示之一第二組擴充實境內容的邏輯；經組態以回應於判定該使用者正身處一商務會議中來選擇供顯示之一第三組擴充實境內容的邏輯；及經組態以回應於判定該使用者正身處一社交事件中來選擇供顯示之一第四組擴充實境內容的邏輯。
33. 如請求項32之設備，其中該第一組擴充實境內容包括該使用者習慣於在工作時使用之用於通信及文件處理的應用程式；且 該第二組擴充實境內容包括該使用者習慣於在家中使用之用於通信及娛樂的應用程式。
34. 如請求項33之設備，其中用於通信及文件處理之該第一組擴充實境內容包括電子郵件、網頁瀏覽器及辦公室生產率應用程式；且用於通信及娛樂之該第二組擴充實境內容包括多個社交網路網址、電影及視訊遊戲應用程式。
35. 如請求項27之設備，其中經組態以相對於該環境中之該組表面來指派該內容優先順序級給供顯示之一組擴充實境內容中的每一內容項目的邏輯包含：經組態以基於以下各者中之至少一者來指派該內容優先順序級的邏輯：待顯示之該組擴充實境內容的比例因子；及待顯示之該組擴充實境內容的邏輯關係。
36. 如請求項27之設備，其中經組態以相對於該環境中之該組表面來指派該內容優先順序級給供顯示之一組擴充實境內容中的每一內容項目的邏輯包含：經組態以基於預定義之使用者偏好來指派該內容優先順序級的邏輯。
37. 如請求項36之設備，其中該預定義之使用者偏好包含以下各者中之至少一者：一擴充實境內容對該使用者的重要性；待顯示之該擴充實境內容的量；及該擴充實境內容相對於該組表面的檢視定向。
38. 如請求項27之設備，其進一步包含：經組態以識別該環境中之一組標記的邏輯；經組態以使該組標記與該組表面相關聯的邏輯；及 經組態以使用該組標記來追蹤該組表面的邏輯。
39. 一種用於顯示擴充實境內容之系統，其包含：用於藉由一攝影機接收在一使用者之視界中之一環境之一掃描的構件；用於識別在該環境中之一組表面以用於顯示使用者介面視窗的構件；用於藉由指派一表面優先順序給該組表面中之每一表面而相對於該環境中之該組表面來排列供顯示之一組擴充實境內容的優先順序的構件，其中每一表面之該表面優先順序級係自複數個表面優先順序級選擇，且相對於該環境中之該組表面來指派一內容優先順序級給供顯示之一組擴充實境內容中的每一內容項目，其中每一內容項目之該內容優先順序級係自複數個內容優先順序級選擇；及用於基於該表面優先順序級與該內容優先順序級將供顯示之該組擴充實境內容中之每一內容項目顯示於在一顯示器之該組表面中之一表面上的構件。
40. 如請求項39之系統，其中用於相對於該環境中之該組表面來排列供顯示之一組擴充實境內容的優先順序的構件包含：用於基於以下各者來指派該表面優先順序的構件：該組表面之面積、該組表面之定向、該組表面相對於該使用者之視野的所在地及該組表面之可追蹤性，其中該複數個表面優先順序級包括高、中及低表面優先順序級。
41. 如請求項39之系統，其中用於相對於該環境中之該組表面來排列供顯示之一組擴充實境內容的優先順序的構件包含：用於基於以下各者中之至少一者來指派該內容優先順序的構件：該組表面相對於待顯示之該組擴充實境內容的縱橫比；及 該組表面相對於待顯示之該組擴充實境內容的背景色彩。
42. 如請求項39之系統，其中用於相對於該環境中之該組表面來排列供顯示之一組擴充實境內容的優先順序的構件包含：用於根據該使用者在該環境中之先前使用型樣之一歷史相對於該環境中之該組表面來排列供顯示之一組擴充實境內容的優先順序的構件。
43. 如請求項39之系統，其中用於相對於該環境中之該組表面來排列供顯示之一組擴充實境內容的優先順序的構件包含：用於基於以下各者中之至少一者來指派該內容優先順序的構件：待顯示之該組擴充實境內容的比例因子；及待顯示之該組擴充實境內容的邏輯關係。
44. 如請求項39之系統，其中用於相對於該環境中之該組表面來排列供顯示之一組擴充實境內容的優先順序的構件包含：用於根據預定義之使用者偏好相對於該環境中之該組表面來排列供顯示之該組擴充實境內容的優先順序的構件。