TWI567659B - 照片表示視圖的基於主題的增強 - Google Patents

Description

照片表示視圖的基於主題的增強

本發明涉及照片表示視圖的基於主題的增強。

存在用於模擬使用者可沉浸於其中的虛擬環境的虛擬實境系統。顯示器(諸如平視顯示器、頭戴式顯示器等)可被用來顯示虛擬環境。可能期望向使用者提供此種虛擬實境體驗，即使用者不完全沉浸其中而是與真實環境保持某種程度的連接。因此，正在開發增強現實系統，以用圖形、聲音等增強使用者對真實世界環境的感知。作為實例，增強現實系統可被用來提供座艙模擬環境，該環境將真實物體與虛擬影像整合以進行飛行培訓和模擬。現有增強現實技術通常依賴於預定資料，諸如類比環境的預先配置的模型等，以使虛擬元素被適當地整合。

根據本案的一個態樣，根據使用者選擇的主題增強使用者對使用者的環境的視圖。具體而言，顯示器向使用者提供使用者的環境的使用者視點(vantage point)的照片表示(photorepresentative)視圖。顯示器亦顯示與使用者選擇的主題相關聯的增強，以增強該視圖。此種增強的顯示是基於實體環境的空間模型的，該空間模型被即時產生和分析以標識可被增強的特徵。該等所標識的特徵與實體環 境中的實體特徵相對應。

提供本發明內容以便以簡化形式介紹將在以下具體實施方式中進一步描述的一些概念。本發明內容並不意欲標識所要求保護標的的關鍵特徵或必要特徵，也不意欲用於限制所要求保護標的的範圍。此外，所要求保護的標的不限於解決在本案的任一部分中所提及的任何或所有缺點的實現。

此處揭示涉及提供照片表示視圖的基於主題的增強的實施例。照片表示視圖由顯示器提供，並且是使用者位於其中的實體環境、使用者視點的視圖的相當逼真(例如，類似照片)的表示。用此種方式增強使用者對使用者的環境的感知允許使用者體驗使用者的環境的主題化視圖(themed view)，同時仍然與環境本身保持一定程度的連接。

現在將經由實例並參照所示的以上列出的實施例來描述本發明的各態樣。在一或多個實施例中基本相同的元件、程序步驟和其他元素被協調地標識並且以重複最小的方式描述。然而應該注意，協調地標識的元素亦可以在某種程度上不同。亦應該注意，本發明中包括的附圖是示意性的並且通常未按照比例繪製。相反，附圖中所示的各種繪製比例、縱橫比和元件數量可以有目的地失真，以使特定特徵或關係更加顯見。

圖1A圖示根據本案的實施例的示例性使用環境(即，使用者102所處的實體環境100)的示意性圖示。應當理解，圖1A是出於說明性目的的，而不是按比例繪製的。此外，儘管在本實例中將實體環境100圖示為起居室，然而應當理解，此種環境是說明性的，而因此不意欲以任何方式構成限制。相反，實體環境100可以是使用者102所處的基本上任何類型的實體環境，包括但不限於室內環境、室外環境、熟悉的環境、不熟悉的環境等。除了使用者102之外，實體環境100亦包括若干實體特徵104，包括沙發104a、咖啡桌104b以及狗104c。

圖1A亦圖示用於經由顯示輸出提供基於主題的增強的顯示系統106。顯示系統106包括顯示器108，該顯示器被配置為提供使用者102的視點的、實體環境100的照片表示視圖。顯示器108的非限制性實例包括平視顯示器(HUD)、頭戴式顯示器(HMD)等。

在一些實施例中，顯示器108可以是具有一或多個足夠透明的部分的光學透視顯示器。此種顯示器經由透明部分提供照片表示視圖，其中實體環境透過該透明部分對使用者可見。然而，在其他實施例中，顯示器108可以是沉浸式顯示器，該沉浸式顯示器被配置為藉由顯示該環境的空間模型的經完全渲染的圖像來提供照片表示視圖。

顯示系統106被配置為接收一或多個使用者輸入(例如，經由輸入裝置)，包括選擇用於增強該照片表示視圖的主題的輸入。作為回應，顯示系統106標識該環境中的 可根據該主題增強的實體特徵(例如，物體、人、建築物等)，諸如實體特徵104，隨後顯示此種增強(例如，同時仍然提供該照片表示視圖的至少一些)。用此種方式，使用者102體驗實體環境100的主題化視圖，同時仍然與環境本身保持某種程度的連接。

作為實例，顯示器108可顯示使用者102感知為覆蓋實體特徵104的圖像，以根據所選擇的主題增強實體環境100。如後文參考圖2更詳細地描述的，此種顯示系統可利用圖像擷取設備(諸如深度相機)來獲得關於實體環境100的資訊，該顯示系統可利用該資訊來產生該環境的空間模型。隨後該顯示系統可分析該模型以標識該模型內可被增強的特徵。

應當理解，如圖1A所示的顯示系統106不是限制性的。在其他實施例中，顯示系統的一或多個元件可在外部實現以在顯示器108處提供照片表示視圖。圖1B圖示另一示例性實體環境(即，實體環境100B)中的使用者102的示意性圖示，其中顯示系統106B提供/傳送照片表示視圖以在顯示器108處查看。如後文參考圖3更詳細地描述的，此種顯示系統可利用圖像擷取系統(諸如深度相機)來追蹤使用者102和實體環境來產生例如使用者視點的該實體環境的空間模型。

該顯示系統(例如，顯示系統106、顯示系統106B)可被配置為用任何適當方式提供基於主題的增強。圖2圖示提供照片表示視圖的基於主題的增強的示例性方法200。 此種方法可以由顯示系統(例如，顯示系統106、顯示系統106B)藉由例如執行儲存於其上的指令而提供。

在202，方法200包括從使用者接收選擇用於增強該照片表示視圖的主題的輸入。此種輸入可以從被配置為與該顯示系統通訊的輸入裝置接收，諸如在顯示器(例如，顯示器108)上或在另一位置處顯示的使用者可選按鈕、虛擬按鈕或其他使用者介面等。

在204，方法200包括：光學地且即時地，獲得實體環境的環境資訊。此種環境資訊可以是描述實體環境及實體環境特徵(諸如圖1A中所示的實體環境100的實體特徵104)的任何適當資訊。適當環境資訊的實例包括但不限於圖像資料(例如，色彩資訊、深度資訊、紅外線資訊等)、尺寸資料、表面資料、運動資料、音訊資料等。

顯示系統(例如，顯示系統106、顯示系統106B)可被配置為以任何適當方式獲得實體環境(例如，實體環境100、實體環境100B)的環境資訊。作為非限制性實例，該顯示系統可進一步包括被配置為光學地並即時地獲得此種環境資訊的一或多個感測器。如此，方法200可包括經由與該顯示器相關聯的一或多個感測器來偵測該環境資訊，如在206所指示的。

在一些實施例中，此種感測器可位於顯示器108附近，以便從使用者102的視點擷取環境資訊。圖1A圖示與顯示器108相關聯並被放置於顯示器108附近的此種示例感測器110。然而，作為另一實例，圖1B圖示與顯示器108 相關聯且被放置在離顯示器108一定距離處的示例性感測器110B。在後一種情況下，顯示系統106B可以被配置為基於所偵測的資訊決定使用者102的視點。作為非限制性實例，感測器可包括擷取設備，諸如視覺地監視或追蹤實體環境及實體環境特徵的所觀察的場景的深度相機。藉由追蹤使用者102的位置和定向等等，顯示系統106B可向顯示器108傳送資訊以使顯示器108提供反映使用者的當前的及/或變化的視點的照片表示視圖。

在208，方法200包括基於環境資訊產生實體環境的空間模型。此種空間模型可以是用於表示使用者視點的實體環境的任何適當模型，諸如兩維模型、三維模型等。該空間模型可包括從使用者的視點的、該實體環境的照片表示視圖內的幾乎任意的一或多個實體特徵的表示。具體而言，該空間模型包括該實體環境的表示和該實體環境內的物體的表示。該空間模型因此指示物體在該環境內的空間定位，以及與彼此的相對定位。作為非限制性實例，該空間模型可以是電腦產生的模型。此外，該模型可被即時地動態更新，以考慮變化的使用者有利位置。

圖3圖示，對於採用深度圖像分析的顯示系統的情況，形成空間模型的示例示意性圖示。儘管在後文中是參考圖1A更詳細地討論圖3的，其中感測器110偵測所觀察的場景112，然而應當理解，此種論述也可應用於圖1B，其中感測器110B偵測所觀察的場景112B。在前一種情況下，感測器110被放置在顯示器108附近，並因此所獲得的環 境資訊已經是來自使用者視點了(例如，由於使用者的頭的移動，該感測器是瞄準的)。在後一種情況下，因為感測器110B被放置在離顯示器108一定距離處，所以顯示系統可從環境資訊決定使用者的視點(例如，身體位置/定向、視線等)以產生從使用者的視角的實體環境的空間模型。

繼續圖3，顯示系統106的深度圖像分析系統可利用感測器110(例如，深度相機)來視覺地監視或追蹤所觀察的場景112(如由感測器110觀察的)內的實體環境100的實體特徵(例如，物體、人等)。在所圖示實例中，形式為狗104c的實體特徵被感測器110追蹤。應當理解，圖3中所圖示的場景是作為實例來提供的，但並不意味著以任何方式進行限制。相反，所圖示的場景意欲展示可以在不背離本案的範圍的情況下應用於各種各樣不同的應用的一般概念。如此，所觀察的場景112內的其他實體特徵可附加地或替代地被感測器110追蹤。

圖3圖示簡化處理排序緩衝，其中所觀察的場景112中的狗104c被建模成可用於產生虛擬化身316的虛擬骨架338。藉由用此種方式對環境內的實體特徵中的每一個建模，可產生該環境的空間模型。因此，化身、虛擬物體、表面、地板等在該空間模型內被適當參數化以精確表示化身、虛擬物體、表面、地板等的實體對應物的所追蹤的定位、定向、移動等，由此產生提供該實體環境的精確表示的空間模型。可以理解，與圖3中所圖示的彼等步驟相比， 處理排序緩衝可包括附加的步驟及/或替代步驟，而不背離本發明的範圍。

如在圖3中所圖示，該簡化處理排序緩衝開始於被諸如感測器110(例如，深度相機)的擷取設備成像的目標(例如，狗104c)。應當理解，該環境內的若干目標，以及該環境本身(例如，牆壁、地板等)也可被成像。深度相機可為每一像素決定在所觀察的場景中的表面相對於深度相機的深度。在不背離本案的範圍的情況下，可以使用基本上任何深度尋找(depth-finding)技術。示例性深度尋找技術參考圖5的擷取設備518來更詳細地討論。

為每個像素決定的深度資訊可用於產生深度圖336。此種深度圖可採用基本上任何合適的資料結構的形式，包括但不限於所觀察場景的每個像素的深度值的矩陣。在圖3中，深度圖336被示意性地圖示為該目標的輪廓的像素化網格。此例示是出於理解簡明的目的、而不是出於技術精確性的目的。可以理解，深度圖一般包括所有像素(不僅是對該目標進行成像的像素)的深度資訊，並且感測器110的視點不會得到圖3中所圖示的輪廓。

在一些實施例中，虛擬骨架338可從深度圖336匯出，以提供該目標的機器可讀表示。換言之，虛擬骨架338可以從深度圖336匯出以對該目標建模。虛擬骨架338可以按任何合適的方式從深度圖中匯出。在某些實施例中，可將一或多個骨架擬合算法應用於深度圖。本發明與基本上任何骨架建模技術相容。

虛擬骨架338可包括多個關節，每一關節對應目標的一部分。在圖3中，虛擬骨架338被圖示為多關節的線條畫。此例示是出於理解簡明的目的、而不是出於技術精確性的目的。根據本發明的虛擬骨架可包括基本上任何數量的關節，每個關節皆可與基本上任何數量的參數(例如三維關節位置、關節旋轉、對應身體部位的身體姿勢(例如手張開、手合上等)等)相關聯。應當理解，虛擬骨架可採取如下資料結構的形式：該資料結構包括多個骨架關節中的每個關節的一或多個參數(例如包含每個關節的x位置、y位置、z位置和旋轉的關節矩陣)。在一些實施例中，可使用其他類型的虛擬骨架(例如線框、一組形狀基元等等)。

如圖3所圖示，可產生虛擬化身316。此種化身提供與該環境相對應的空間模型內的目標的虛擬表示。更具體而言，因為虛擬骨架338對所追蹤的目標建模，且虛擬化身是基於虛擬骨架338產生的，所以虛擬化身316用作該空間模型內的目標的數位表示。應當理解，藉由用此種方式產生空間模型，該空間模型的任一或多個部分可以可任選地被渲染以進行顯示。此外，此種空間模型支援增強，在於該模型內的數位表示的屬性可被修改和渲染以進行顯示。

應當理解，儘管上面描述的用於對實體環境內的物體進行建模的技術是針對對單個目標進行建模的，然而此種描述是非限制性的。因此，可使用上面描述的技術對若干目 標進行建模而不背離本案的範圍。而且，如上面所指出的，除了移動目標之外的實體特徵可被建模，諸如地板、牆壁、天花板等。

用此種方式，經由對實體環境及實體環境特徵進行建模，可以產生該實體環境的空間模型。因為該環境資訊可被光學地並且即時地獲得，所以不僅該空間模型可以被即時地產生及/或更新，而且該空間模型亦不必依賴於預配置的資料。因此，與傳統模擬環境不同，使用者可在顯示系統對其具有很少的或沒有預先存在的知識(例如，預配置的空間模型、GPS資料等)的「新環境」中利用此種顯示系統。如此，使用者可以針對各種不同的實體環境體驗基於主題的增強，包括該系統對其不具有在先資訊的新環境。

返回圖2，在產生空間模型後，方法200接下來包括在210經由對該空間模型的分析標識該空間模型內的一或多個特徵，每個特徵對應於該實體環境中的一或多個實體特徵。用此種方式，該顯示系統決定使用者對環境的視圖內的特徵。此種分析可包括任何適當分析，諸如物體辨識、姿勢辨識、臉孔辨識、語音辨識、音訊辨識等。在一些情況下，此種分析可以產生一般性描述(例如，指示該物體的尺寸)等，而在其他情況下，此種分析可產生更詳細的描述(例如，指示該物體例如是狗)。

繼續圖2，在212，方法200接下來包括，基於此種分析，在顯示器(例如，顯示器108)上顯示一或多個所標 識的特徵的一或多個增強。在一些實施例中，該增強可在例如仍舊提供該實體環境的照片表示視圖的至少一部分的同時被顯示。該增強與使用者所選擇的主題相關聯。在一些實施例中，該增強可從與該主題相關聯的多個增強中選擇，並且此種選擇是基於該空間模型內所標識的特徵的，如在214所指示的。例如，如果在空間模型內標識了一個大物體，則可從與該主題相關聯的可用增強中選擇在尺度上類似量級的增強。例如，起居室中的相對大的物體(諸如沙發)可能導致主題內的特定可用增強的使用(例如，中世紀主題中的大城堡)。假設是自然/樹林主題，則該實體環境中的高的、窄的物體可用虛擬的樹覆蓋。

所顯示的增強可以是增強提供給該使用者的照片表示視圖的基本上任何類型的虛擬影像。作為實例，可以顯示圖像，該圖像從使用者的視點覆蓋實體環境中的相應實體特徵，如在216所指示的。作為非限制性實例，虛擬皮膚可被應用到該空間模型內的所標識的特徵，而該虛擬皮膚的圖像可被顯示。因為該皮膚被應用到該模型內的特徵，所以根據該使用者，所顯示的皮膚將顯得覆蓋該環境中的相應實體特徵。

圖4圖示圖1A的使用者102的實例，其中該使用者已選擇了中世紀主題。在本實例中，顯示系統106已產生實體環境100和所標識的特徵(即，沙發104a、咖啡桌104b和狗104c)的空間模型。基於此種分析，在顯示器108處顯示照片表示視圖的增強，在400在擴展視圖中圖示。顯 示此種增強使使用者能夠看到覆蓋到沙發104a上的城堡402、覆蓋到咖啡桌104b上的綠色植物404以及覆蓋到狗104c上的服飾406。因為該增強的顯示是基於對空間模型的分析的，所以可以針對實體環境定製增強。例如，城堡402可被定製以與沙發104a的尺寸和特徵相對應。此外，因為該空間模型可在獲得新環境資訊時被即時地更新，所以增強的顯示也可以被即時地更新。因此，當使用者移動穿過該實體環境時，可以維持增強的顯示，從而允許該使用者繼續基於主題的體驗。如此，增強的顯示在任何意義上皆不是「靜態」的。相反，當使用者移動時，增強的顯示可以被動態調整以使得根據使用者的動態變化的視點來繼續顯示增強。

應當理解，圖4中所圖示的場景是作為實例來提供的，但並不意味著以任何方式進行限制。相反，所圖示的場景意欲展示可以在不背離本案的範圍的情況下應用於各種各樣不同的應用的一般概念。

繼續圖2，可以用任何適當方式顯示該增強。例如，對於光學透視顯示器的情況，使用者可能已經在經由該顯示器的光學透明部分所提供的照片表示視圖來查看該環境了。在此種情況下，可在該顯示器上顯示虛擬物體的一或多個圖像，該圖像從使用者的視點覆蓋該實體環境中的相應實體特徵。如此，所顯示的圖像增強了使用者的視圖，如在218所指示的。用此種方式，向使用者提供了對使用者的環境的基於主題的體驗，同時仍然與環境本身保持某 種程度的連接。

可替換地，對於沉浸式顯示器的情況，使用者可能已經在經由經由空間模型的經完全渲染的圖像提供的照片表示視圖來查看該環境(例如，整個顯示器被渲染，而不是使用者透過該顯示器的光學透明部分直接查看該場景)。在此種情況下，可修改該空間模型內所標識的一或多個特徵，並且作為回應，可以顯示該空間模型的經完全渲染的圖像，該圖像反映該空間模型的此種修改。因為該空間模型內標識的特徵可以被充分維持，所以該使用者可以將該修改感知為覆蓋環境中的實體特徵，如在220所指示的。

因此，不管該顯示器是光學透視顯示器亦是沉浸式顯示器，皆向該使用者提供使用者的環境的基於主題的體驗，同時仍舊保持對環境本身有某種程度的關聯。換言之，通常所顯示的內容的某個部分保持照片表示，例如，以相對高的保真度水平提供該實體環境的精確視圖，諸如類似照片的。也就是說，在一些情況下，整個實體環境可用適當的基於主題的修改覆蓋、換膚(skin)等，該基於主題的修改是回應於該空間模型選擇的。

此外，因為該顯示系統光學地並且即時地獲得環境資訊，所以當使用者移動穿過該實體環境時，增強的顯示可以被保持，如在222所指示的。換言之，增強可隨使用者在實體環境中移動而被動態地顯示，以在該照片表示視圖中產生相應的變化。在一些實施例中，此可以包括修改該增強及/或空間模型以使所顯示的增強繼續根據使用者視 點來顯示，即便該使用者的視點也即時地變化。因此，當該使用者移動穿過該環境及/或與該環境互動時，該使用者可以自然地繼續基於主題的體驗。

在一些實施例中，可將以上所描述的方法和程序附隨到包括一或多個電腦的計算系統。具體而言，此處所述之方法和程序可被實現為電腦應用程式、電腦服務、電腦API、電腦庫及/或其他電腦程式產品。

圖5示意性圖示可以執行上述方法和程序之中的一或多個的非限制性計算系統500。以簡化形式圖示計算系統500。應當理解，可使用基本上任何電腦架構而不背離本案的範圍。在不同的實施例中，計算系統500可以採取大型電腦、伺服器電腦、桌上型電腦、膝上型電腦、平板電腦、家庭娛樂電腦、網路計算設備、行動計算裝置、行動通訊設備、遊戲裝置等等的形式。

計算系統500包括邏輯子系統502和資料保持子系統504。計算系統500可以任選地包括顯示子系統506、通訊子系統508、環境子系統510、分析子系統512及/或圖5中未圖示的其他元件。計算系統500亦可以任選地包括諸如下列使用者輸入裝置：例如鍵盤、滑鼠、遊戲控制器、相機、話筒及/或觸控式螢幕等等。

邏輯子系統502可包括被配置為執行一或多個指令的一或多個實體設備。例如，邏輯子系統可被配置為執行一或多個指令，該一或多個指令是一或多個應用程式、服務、程式、常式、庫、物件、元件、資料結構或其他邏輯構造 的部分。可實現此類指令以執行任務、實現資料類型、變換一或多個設備的狀態或以其他方式得到所需結果。

邏輯子系統可包括被配置成執行軟體指令的一或多個處理器。附加地或替代地，邏輯子系統可包括被配置成執行硬體或韌體指令的一或多個硬體或韌體邏輯機器。邏輯子系統的處理器可以是單核或多核，且在處理器上執行的程式可被配置為並行或分散式處理。邏輯子系統可以任選地包括遍佈兩個或兩個以上設備的獨立元件，該設備可遠端放置及/或被配置為進行協同處理。該邏輯子系統的一或多個態樣可被虛擬化並由以雲端計算配置進行配置的可遠端存取的網路連接計算設備執行。

資料保持子系統504可以可操作地與該顯示器和一或多個感測器(例如，感測器516)耦合，並且可包括一或多個實體的、非暫態的設備，該等設備被配置成保持資料及/或可由該邏輯子系統執行的指令，以實現此處描述的方法和程序。在實現此種方法和程序時，可以變換資料保持子系統504的狀態(例如，以保持不同的資料)。

資料保持子系統504可包括可移除媒體及/或內置設備。資料保持子系統504尤其可以包括光學記憶體設備(例如，CD、DVD、HD-DVD、藍光光碟等)、半導體記憶體設備(例如，RAM、EPROM、EEPROM等)及/或磁記憶體設備(例如，硬碟、軟碟機、磁帶驅動機、MRAM等)。資料保持子系統504可包括具有以下特性中的一或多個特性的設備：揮發性、非揮發性、動態、靜態、讀/寫、唯讀、 隨機存取、順序存取、位置可定址、檔可定址以及內容可定址。在某些實施例中，可以將邏輯子系統502和資料保持子系統504整合到一或多個常見設備中，如特殊應用積體電路或片上系統。

圖5亦圖示以可移除電腦可讀取儲存媒體514形式的資料保持子系統的態樣，可移除電腦可讀取儲存媒體可用於儲存及/或傳輸可執行以實現本文描述的方法和程序的資料及/或指令。可移除電腦可讀取儲存媒體514尤其是可以採取CD、DVD、HD-DVD、藍光光碟、EEPROM及/或軟碟等形式。

可以明白，資料保持子系統504包括一或多個實體的、非暫態的設備。相反，在一些實施例中，本文描述的指令的各態樣可以按暫態方式經由不由實體設備在至少有限持續時間期間保持的純信號(例如電磁信號、光信號等)傳播。此外，與本發明有關的資料及/或其他形式的資訊可以經由純信號傳播。

在包括顯示子系統506時，顯示子系統506可用於呈現由資料保持子系統504保持的資料的視覺表示(例如，虛擬化身及/或三維虛擬世界)。由於此處所描述的方法和程序改變由資料保持子系統保持的資料，並由此變換資料保持子系統的狀態，因此同樣可以變換顯示子系統506的狀態以在視覺上表示底層資料的改變。例如，計算系統500可被配置為呈現駕駛遊戲以供在顯示子系統506的顯示裝置上顯示。由此，計算系統500可包括顯示輸出以將駕駛 遊戲介面輸出到顯示裝置。顯示子系統506可以包括使用實際上任何類型的技術的一或多個顯示裝置。可將此種顯示裝置與邏輯子系統502及/或資料保存子系統504組合在共享封裝中，或此種顯示裝置可以是經由顯示輸出連接到邏輯子系統的周邊顯示裝置。

當包括通訊子系統508時，通訊子系統508可以被配置成將計算系統500與一或多個其他計算設備可通訊地耦合。通訊子系統可包括與一或多個不同的通訊協定相容的有線及/或無線通訊設備。作為非限制性實例，通訊子系統可被配置為經由無線電話網路、無線區域網路、有線區域網路、無線廣域網路、有線廣域網路等通訊。在一些實施例中，通訊子系統可允許計算系統500經由諸如網際網路之類的網路發送訊息至其他設備及/或從其他設備接收訊息。

環境子系統510可包括用於光學地且即時地獲得環境資訊的一或多個感測器516。感測器516可包括被配置成獲得一或多個目標的深度圖像的整合及/或周邊擷取設備518。在任一種情況下，計算系統500可包括周邊輸入以從深度相機接收深度圖像並將接收到的深度圖像傳遞到邏輯子系統以供處理。擷取設備518可被配置成經由任何合適的技術(例如飛行時間、結構化光、立體圖像等)擷取具有深度資訊的視訊。如此，擷取設備518可包括深度像機、視訊像機、立體像機及/或其他合適的擷取設備。

例如，在飛行時間分析中，擷取設備518可以向目標發 射紅外光，隨後使用感測器來偵測從目標的表面反向散射的光。在一些情況下，可以使用脈衝式紅外光，其中可以量測出射光脈衝和相應的入射光脈衝之間的時間並將該時間用於決定從該擷取設備到目標上的特定位置的實體距離。在一些情況下，出射光波的相位可以與入射光波的相位相比較以決定相移，並且該相移可以用於決定從該擷取設備到目標上的特定位置的實體距離。

在另一實例中，飛行時間分析可用於經由經由諸如快門式光脈衝成像之類的技術分析反射光束隨時間的強度，來間接地決定從該擷取設備到目標上的特定位置的實體距離。

在另一實例中，擷取設備518可利用結構化光分析來擷取深度資訊。在此種分析中，圖案化光(例如，被顯示為諸如網格圖案、條紋圖案或群集點之類的已知圖案的光)可以被投影到目標上。在落到目標的表面上以後，該圖案可能變為變形的，並且可以研究該圖案的此種變形以決定從該擷取設備到目標上的某一位置的實體距離。

在另一實例中，擷取設備可以包括兩個或兩個以上實體上分開的相機，該等相機從不同角度查看目標以獲得視覺立體資料。在此種情況下，該視覺立體資料可以被解析以產生深度圖像。

在其他實施例中，擷取設備518可利用其他技術來量測及/或計算深度值。此外，擷取設備518可以將所計算的深度資訊組織為「Z層」，例如，與從深度相機沿視線延伸到 目標的Z軸垂直的層。

在某些實施例中，可將兩個或兩個以上不同像機整合到一個整合擷取設備中。例如，可將深度像機和攝像機(例如RGB攝像機)整合到共同的擷取設備中。在某些實施例中，可協同使用兩個或兩個以上分開的擷取設備。例如，可使用深度像機和分開的攝像機。當使用攝像機時，該攝像機可用於提供：目標追蹤資料、對目標追蹤進行糾錯的確認資料、圖像擷取、臉孔辨識、對手指(或其他小特徵)的高精度追蹤、光感測及/或其他功能。

環境子系統510可進一步被配置為基於該環境資訊產生該實體環境的空間模型。要理解，至少一些目標分析和追蹤操作可以由一或多個擷取設備的邏輯機來執行。擷取設備可以包括被配置成執行一或多個目標分析及/或追蹤功能的一或多個機載處理單元。擷取設備可包括韌體以幫助更新此種機載處理邏輯。

計算系統500可以可任選地包括一或多個輸入裝置，諸如輸入裝置520。輸入裝置520可被用於接收例如選擇用於增強照片表示視圖的主題的使用者輸入。輸入裝置可被用於控制計算系統的操作。在遊戲的上下文中，輸入裝置可被用於控制遊戲的彼等不是經由此處所述之目標辨識、追蹤和分析方法和程序來控制的態樣。在某些實施例中，輸入裝置可包括可用於量測控制器在實體空間中的移動的加速計、陀螺儀、紅外線目標/感測器系統等中的一或多個。在某些實施例中，計算系統可任選地包括及/或利用 輸入手套、鍵盤、滑鼠、追蹤墊、軌跡球、觸控式螢幕、按鈕、開關、撥盤及/或其他輸入裝置。如將理解的，目標辨識、追蹤和分析可被用於控制或擴充遊戲或其他應用的一般上由諸如遊戲控制器之類的輸入裝置所控制的態樣。在某些實施例中，此處所述之目標追蹤可被用作對其他形式的使用者輸入的完全替代，而在其他實施例中，此種目標追蹤可被用於補充一或多個其他形式的使用者輸入。

分析子系統512可以被配置為隨後分析由環境子系統510建立的空間模型。此種分析可包括物體辨識、姿勢辨識、臉孔辨識、語音辨識、音訊辨識及/或任何其他適當類型的分析。

應該理解，此處所述之配置及/或方法在本質上是示例性的，並且，由於可能存在多個變體，所以該等特定實施例或實例不具有限制意義。本文中所述之具體常式或方法可表示任意數量的處理策略中的一或多個。由此，所圖示的各個動作可按所述之循序執行、按其他循序執行、並行地執行或者在某些情況下被省略。同樣，可改變上述程序的次序。

本案的標的包括各種程序、系統和配置的所有新穎和非顯而易見的組合和子群組合，和此處所揭示的其他特徵、功能、動作及/或特性，以及所述者之任何和全部均等物。

100‧‧‧實體環境

100B‧‧‧實體環境

102‧‧‧使用者

104‧‧‧實體特徵

104a‧‧‧沙發

104b‧‧‧咖啡桌

104c‧‧‧狗

106‧‧‧顯示系統

106B‧‧‧顯示系統

108‧‧‧顯示器

110‧‧‧感測器

110B‧‧‧感測器

112‧‧‧場景

112B‧‧‧場景

200‧‧‧方法

202‧‧‧步驟

204‧‧‧步驟

206‧‧‧步驟

208‧‧‧步驟

210‧‧‧步驟

212‧‧‧步驟

214‧‧‧步驟

216‧‧‧步驟

218‧‧‧步驟

220‧‧‧步驟

222‧‧‧步驟

316‧‧‧虛擬化身

336‧‧‧深度圖

338‧‧‧虛擬骨架

402‧‧‧城堡

404‧‧‧綠色植物

406‧‧‧服飾

500‧‧‧計算系統

502‧‧‧邏輯子系統

504‧‧‧資料保持子系統

506‧‧‧顯示子系統

508‧‧‧通訊子系統

510‧‧‧環境子系統

512‧‧‧分析子系統

514‧‧‧可移除電腦可讀取儲存媒體

516‧‧‧感測器

518‧‧‧擷取設備

520‧‧‧輸入裝置

圖1A圖示根據本案的實施例的示例性使用環境。

圖1B圖示根據本案的實施例的另一示例性使用環境。

圖2圖示根據本案的實施例的提供照片表示視圖的基於主題的增強的示例性方法。

圖3圖示根據本發明的實施例的形成空間模型的示例示意性圖示。

圖4圖示根據本發明的實施例的示例性的基於主題的增強。

圖5圖示根據本發明的實施例的示例性計算系統。

100‧‧‧實體環境

102‧‧‧使用者

104‧‧‧實體特徵

104a‧‧‧沙發

104b‧‧‧咖啡桌

104c‧‧‧狗

106‧‧‧顯示系統

108‧‧‧顯示器

110‧‧‧感測器

112‧‧‧場景

Claims (19)

1. 一種在一透視顯示器上提供一照片表示視圖的基於主題的增強(augmenting)的方法，該透視顯示器被配置為從一使用者所處的一實體環境之一使用者視點，透過該透視顯示器的一或多個足夠透明部分來提供該照片表示視圖，該實體環境可透過該透視顯示器的該一或多個足夠透明部分來觀看，該方法包括以下步驟：從該使用者接收選擇用於增強該照片表示視圖的一主題的一輸入，該主題包括複數個可能的增強，且該主題是從複數個可能的主題當中選擇；光學地且即時地獲得該實體環境的環境資訊；基於該環境資訊即時地產生該實體環境的一三維空間模型，該三維空間模型包含在該實體環境中存在的物件之表示；經由對該三維空間模型的分析，標識(identifying)該三維空間模型內的一或多個特徵，每個特徵對應於該實體環境中的一或多個實體特徵；基於此種分析，在該透視顯示器上顯示透過該三維空間模型的分析所標識的該一或更多個特徵的特徵之一增強，該增強與該主題相關聯，且在部分的該實體環境維持可透過該透視顯示器觀看的同時，該增強是可看見的，該增強是基於該所標識的特徵而選自該複數個可能的增強；隨著該使用者在該實體環境當中移動，基於該環境資訊而 即時地更新該三維空間模型；及由於更新該三維空間模型之故，在該透視顯示器上顯示一增強改變(augmentation change)。
2. 如請求項1所述之方法，其中該顯示器為一平視顯示器。
3. 如請求項1所述之方法，其中該顯示器為一頭戴式顯示器。
4. 如請求項1所述之方法，其中顯示該增強之步驟包括以下步驟：顯示該使用者視點的、覆蓋該實體環境中與該所標識的特徵相對應的該實體特徵的一圖像。
5. 如請求項1所述之方法，其中顯示該增強之步驟包括以下步驟：將一虛擬皮膚應用到該三維空間模型內的該所標識的特徵及顯示該虛擬皮膚的一圖像，該皮膚的該圖像在該使用者視點上覆蓋該實體環境中的該相應實體特徵。
6. 如請求項1所述之方法，其中顯示該增強之步驟包括以下步驟：將一虛擬物體覆蓋到該空間模型的該所標識的特徵上，以及顯示該虛擬物體的一圖像，其中該虛擬物體的該圖像在該使用者視點上覆蓋該實體環境中透過該透視顯示器對該使用者可見的該相應實體特徵。
7. 如請求項1所述之方法，其中獲得該環境資訊之步驟包括以下步驟：經由與該顯示器相關聯之一或多個感測器偵測該環境資訊。
8. 如請求項1所述之方法，其中經由對該三維空間模型的分析，標識(identifying)該三維空間模型內對應於該實體環境中的一或多個實體特徵之一或多個特徵的步驟，進一步包括以下步驟：在該三維空間模型上行使一物體辨識分析，以在該實體環境中標識一物體。
9. 如請求項8所述之方法，其中該增強是基於該所標識的物體而選自該複數個可能的增強，使得該增強的大小及形狀被設定以對應至該所標識的物體之尺寸及/或特徵。
10. 如請求項1所述之方法，其中顯示該增強改變之步驟包括以下步驟：顯示一第二增強，該第二增強與該主題相關聯，該第二增強是基於該空間模型中所標識的一額外特徵而從該複數個可能的增強中選擇。
11. 如請求項1所述之方法，其中顯示該增強改變之步驟包括以下步驟：隨著該使用者移動穿過該實體環境，調整該增強的該顯示。
12. 一種用於經由顯示輸出提供增強(augmentation)的顯示系統，該顯示系統包括：一頭戴式光學透視顯示器，該頭戴式光學透視顯示器被配置為從一實體環境的一使用者視點，透過該顯示器的一或更多個足夠透明部分來提供一照片表示視圖，該使用者可透過該顯示器的該一或多個足夠透明部分來觀看該實體環境；一或多個整合感測器，該一或多個感測器被配置為光學地且即時地獲得該實體環境的環境資訊；資料保持子系統，該資料保持子系統可操作地與該顯示器和該一或多個整合感測器耦合，該資料保持子系統包含指令，該等指令能夠由一邏輯子系統執行以便：基於該環境資訊產生該實體環境的一空間模型；接收一使用者輸入，該使用者輸入從複數個可能的主題當中選擇一主題，該主題包括複數個可能的增強；經由對該空間模型的分析，標識該空間模型內的一或多個特徵，每個特徵對應於該實體環境中的一或多個實體特徵；基於該分析，基於該一或更多個特徵的一所標識的特徵而自動地從該複數個可能的增強選擇一增強；及在該頭戴式光學透視顯示器上顯示該所標識的特徵的該增強，而同時提供該實體環境的其他部分之透視視圖。
13. 如請求項12所述之顯示系統，其中該一或多個感測器包括一圖像擷取設備，該圖像擷取設備被配置為獲得該實體環境的一或多個深度圖像。
14. 如請求項12所述之顯示系統，其中該圖像擷取設備包括一飛行時間深度相機。
15. 如請求項12所述之顯示系統，其中該圖像擷取設備包括一結構化光深度相機。
16. 如請求項12所述之顯示系統，其中該等指令是經執行以藉由從該等深度圖像產生該實體環境的一深度圖(depth map)，並從該深度圖匯出(deriving)該實體環境的一機器可讀表示而產生該空間模型。
17. 一種在一頭戴式透視顯示器上經由透過該頭戴式透視顯示器的一或多個足夠透明部分的顯示輸出提供基於主題的增強的方法，其中一實體環境可透過該頭戴式透視顯示器的該一或多個足夠透明部分來觀看，該方法包括以下步驟：從一使用者接收選擇用於增強該照片表示視圖的一主題的一輸入，該主題是從複數個可能的主題當中選擇，該照片表示視圖為該使用者一視點的、該使用者所在的一實體環境的； 經由位置鄰近於該顯示器的一或多個深度相機而光學地且即時地偵測該實體環境的深度資訊；基於該深度資訊而從該使用者的一角度產生該實體環境的一空間模型；經由對該空間模型的分析，標識該空間模型內的一或多個特徵，每個特徵對應於該實體環境中的一或多個實體特徵；基於一或多個標識的特徵，自與該主題相關聯的複數個增強自動地選擇一增強；及作為響應，在該頭戴式透視顯示器上顯示該增強，同時仍然提供該實體環境的該照片表示視圖的至少一些。
18. 如請求項17所述之方法，其中顯示該增強之步驟包括以下步驟：當該使用者在該實體環境中移動時動態地顯示該增強以引起該照片表示視圖中連續的變化。
19. 如請求項17所述之方法，其中基於該一或多個標識的特徵，自與該主題相關聯的該複數個增強選擇該增強的步驟，進一步包括以下步驟：選擇一增強，該增強的大小及形狀被設定以對應至位於該實體環境中的一物體之尺寸及/或特徵。