TW201633104A - 頭戴顯示器之追蹤系統 - Google Patents

Abstract

本案揭示一種追蹤頭戴顯示器之位置及產生額外虛擬實境場景資料之系統及方法，該系統及方法用以在該使用者與該虛擬實境場景互動且相對於該虛擬實境場景移動時，給該使用者提供無縫虛擬實境體驗。使用攝影機或安裝於該HMD上或該HMD中之類似感測器來判定該HMD之初始定位及姿勢。當該HMD移動至第二定位及姿勢中時，藉由該攝影機或感測器來捕獲兩個或兩個以上的固定點之影像，以判定該HMD之定位及姿勢的差異。該HMD之定位及姿勢的該差異用來預測該虛擬實境場景中之對應移動，且產生對應的額外虛擬實境場景資料，以便渲染於該HMD上。

Description

頭戴顯示器之追蹤系統

本發明大體上係關於虛擬環境，且更特定而言，係關於用於在佩戴及使用頭戴顯示器(HMD)之情境中與虛擬物件介接之方法及系統。

在人機互動領域迅速增長的技術中之一者為各種頭戴顯示器(HMD)，該等頭戴顯示器可佩戴於使用者的頭上，且該等頭戴顯示器在使用者眼睛中之一或兩者的前面具有一或兩個顯示器。此類顯示器具有涉及虛擬實境之模擬的多個商業應用，該等商業應用包括視訊遊戲、醫學、運動訓練、娛樂應用等。在遊戲領域中，此等顯示器可例如用來渲染三維(3D)虛擬遊戲世界。

雖然在HMD領域中發生了很大進步，但技術仍然需要進步以給與虛擬物件互動之真實使用者帶來物理實境，該等虛擬物件渲染於HMD中所呈現之虛擬環境中。

以下實施例正是在此情境下出現的。

概括而言，本發明藉由提供現在將描述的用於在使用者與虛擬環境互動時，將HMD動態定位於圍繞使用者之真實環境中的系統及方法來滿足此等需要。應瞭解，本發明可以許多方式來實行，該等方式包括如處理程序、設備、系統、電腦可讀媒體或裝置。以下描述本發明之若干發明性實施例。

一個實施例提供虛擬實境系統，該虛擬實境系統包括耦合至計算裝置之頭戴顯示器，該計算裝置能夠產生虛擬實境環境，該虛擬實境環境包括HMD上所渲染及顯示的多個虛擬實境場景。計算裝置可包括輸入裝置介面，該輸入裝置介面用於自使用者輸入裝置或HMD接收輸入。輸入裝置介面處理用以選擇在HMD中顯示之內容的指令。計算裝置亦可包括虛擬實境空間產生模組及HMD移動模組，該虛擬實境空間產生模組用於以虛擬實境場景之形式來將所選擇內容渲染於HMD中。HMD移動模組用於追蹤HMD在真實空間中之移動，且用於識別HMD在真實空間中之第一定位及姿勢，HMD移動模組向虛擬實境空間產生模組提供HMD定位及姿勢變化資料，以便渲染虛擬實境場景對應於HMD在真實空間中之第二定位及姿勢的額外內容。

虛擬實境系統亦可包括真實空間映射系統，該真實空間映射系統耦合至計算裝置。真實空間映射系統 包括光源，該光源用於跨真實空間之至少一部分投射多個光點；以及攝影機，該攝影機用於捕獲光點之影像。攝影機可與HMD整合或固定至使用者或諸如控制器的使用者輸入裝置。可使用來自由攝影機所捕獲之影像的固定點，藉由HMD移動模組來判定HMD之第二定位及姿勢。HMD移動模組能夠分析由攝影機所捕獲之影像，以識別真實空間中之多個固定點。在一個實行方案中，固定點可包括光點之至少一部分。在另一實行方案中，固定點可包括多個識別點之至少一部分，該等識別點設置於真實空間中所存在的一或多個固定物件上。

提供HMD定位及姿勢變化資料可包括將HMD識別於第一定位及姿勢中，選擇固定點中之至少兩者，利用第一定位及姿勢中之HMD來判定所選擇固定點之間的第一相對距離，將HMD識別於第二定位及姿勢中，利用第二定位及姿勢中之HMD來判定所選擇固定點之間的第二相對距離，以及比較第一相對距離與第二相對距離，以判定HMD定位及姿勢變化資料等於第一定位及姿勢與第二定位及姿勢之間的差異。

虛擬實境空間產生模組可取決於至少一個定位及姿勢連續地產生用於HMD之額外內容，當渲染虛擬實境場景時，HMD朝該至少一個定位及姿勢移動。分析由攝影機所捕獲之影像或多個影像用來偵測HMD在真實空間中之位置，其中HMD在真實空間中之位置轉化為HMD在虛擬實境場景中之位置，其中HMD用來識別使用 者輸入裝置與虛擬實境場景中之虛擬物件之間的互動。

光源可為真實空間中之穩定的、固定位置，或替代地，光源可為可移動的，諸如固定至HMD或使用者輸入裝置，或當使用者與HMD中所顯示之虛擬場景互動時，可由使用者以其他方式移動。光源可投射人類可見光譜之光中的光點或諸如紫外線或紅外線的非人類可見光譜之光中的光點。

另一實施例提供一種追蹤用於渲染虛擬實境場景之頭戴顯示器(HMD)的方法，HMD包括用於渲染虛擬實境場景之顯示螢幕。該方法包括使用整合於HMD之外表面上的至少一個裝置來捕獲影像資料，該影像資料捕獲HMD所在的真實空間。處理影像資料以識別投射到真實空間中之表面上的至少兩個光點。繼續捕獲及處理以識別所捕獲影像資料中之至少兩個光點的位置變化。該等位置變化藉由真實空間中之HMD來識別定位及姿勢變化。定位及姿勢變化經組配來自動控制對HMD之顯示螢幕上所渲染之虛擬實境場景的渲染調整，該等調整包括以下各項中之一或兩者：虛擬實境場景之觀察角度的變化，以及用於虛擬實境場景之額外內容的渲染。以當HMD之追蹤發生時繼續之訊框速率來執行繼續影像資料之捕獲。

用於捕獲影像資料的整合於HMD之外表面上的至少一個裝置可為以下各項中之一者：紅綠藍(RGB)攝影機、紅外(IR)攝影機、視訊攝影機或定位感測裝置(PSD)。該至少一個裝置可為攝影機，且外表面可為HMD 之殼體或HMD之帶的部分。亦可在真實空間中之定位及姿勢變化期間使用來自HMD中之慣性感測器的慣性資料，該慣性資料產生於HMD上以提供自動控制渲染調整時可用的額外追蹤變數。

另一實施例包括頭戴顯示器(HMD)。HMD包括殼體，該殼體包括螢幕，該螢幕用於顯示與虛擬實境場景相關聯的影像。感測裝置整合於殼體之外表面上。亦包括處理器，其用於控制對由感測裝置所捕獲之影像資料的捕獲。影像資料捕獲HMD所在的真實空間以及所偵測的至少兩個光點，以藉由發射器投射至真實空間之表面上，或真實空間中之至少兩個固定點上。處理器經組配來在真實空間中之HMD的定位追蹤期間將影像資料連續轉移至計算裝置。處理器經組配來基於影像資料中之至少兩個固定點的至少兩個光點之位置變化，來識別HMD之定位及姿勢變化。處理器亦可接收用於虛擬實境場景之內容，以基於所識別之定位及姿勢變化來渲染於螢幕上。定位及姿勢變化致使對以下各項中之一或兩者的自動調整：虛擬實境場景之觀察角度，以及用於虛擬實境場景之額外內容的渲染。

本發明之其他態樣及優點將自結合隨附圖式進行的藉由實例來例示出本發明之原理的以下詳細描述變得顯而易見。

100、140、2182‧‧‧使用者

102‧‧‧頭戴顯示器(HMD)

104‧‧‧控制器

106‧‧‧電腦

107‧‧‧顯示器

108‧‧‧攝影機

110、2150‧‧‧網路

112‧‧‧雲端遊戲提供者

120‧‧‧內容源

124‧‧‧連接

130‧‧‧遊戲

150‧‧‧遊戲資料

160‧‧‧社交資料

200A、200B、200C、200D、200E、200F、200G、200H、200I、200J、200K‧‧‧燈

202A、202B‧‧‧影像捕獲裝置

204A、204B、204C‧‧‧麥克風

210‧‧‧帶

224‧‧‧慣性感測器

402、404‧‧‧追蹤

406‧‧‧電纜

502、516‧‧‧固定物件

504-510‧‧‧家具

512、514‧‧‧窗

608‧‧‧固定發射器

609‧‧‧網格圖案

810‧‧‧虛擬實境內容選擇模組

814‧‧‧輸入裝置介面

816‧‧‧內容選擇模組

817‧‧‧內容介面

818‧‧‧VR空間產生模組

820‧‧‧HMD移動模組

920‧‧‧VR內容庫

922A-n‧‧‧內容空間

926‧‧‧VR內容

928‧‧‧物件空間映射

930‧‧‧物件3D空間組態模組

932‧‧‧物件聲音輪廓

934‧‧‧物件物理輪廓

1000‧‧‧方法操作

1005、1010、1015、1100、1105、1110、1115、1120、1125、1130、1135、1140、1145、1150、1155、1160‧‧‧操作

2000‧‧‧處理器

2002‧‧‧記憶體

2004‧‧‧顯示器

2006‧‧‧電池

2008‧‧‧運動偵測模組

2010‧‧‧磁強計

2012‧‧‧加速計

2014‧‧‧迴轉儀

2016‧‧‧攝影機

2018‧‧‧深度攝影機

2020‧‧‧揚聲器

2022‧‧‧麥克風

2024‧‧‧觸覺回饋模組

2026‧‧‧LED

2028‧‧‧讀卡機

2030‧‧‧USB

2032‧‧‧WiFi模組

2034‧‧‧藍芽模組

2036‧‧‧通訊鏈路

2038‧‧‧輸入按鈕/感測器

2040‧‧‧超音波通訊模組

2042‧‧‧生物感測器

2104‧‧‧資料交換

2106‧‧‧應用服務提供者

2108‧‧‧遊戲處理伺服器

2110‧‧‧廣播處理伺服器

2112‧‧‧儲存服務提供者

2114‧‧‧通訊提供者

2120‧‧‧客戶端裝置

2170‧‧‧資訊服務提供者(ISP)

藉由以下結合隨附圖式進行之詳細描述，將容易理解本發明。

圖1例示出根據所揭示實施例之用於視訊遊戲的互動玩遊戲之系統。

圖2例示出根據所揭示實施例之HMD。

圖3例示出使用客戶端系統之玩遊戲的一個實例，該客戶端系統能夠向使用者之HMD渲染視訊遊戲內容。

圖4例示出根據所揭示實施例之在使用期間佩戴HMD之使用者。

圖5例示出根據所揭示實施例之在內外追蹤過程中的使用期間佩戴HMD之使用者。

圖6例示出根據所揭示實施例之真實空間房間，其中使用者正在使用HMD。

圖7A例示出根據所揭示實施例之真實空間房間，其中使用者正在使用HMD。

圖7B為根據所揭示實施例之兩個不同位置中之HMD及用以判定HMD之位置的向量之圖。

圖8為根據所揭示實施例之用於追蹤HMD之移動及定位以及姿勢的系統之簡化示意圖。

圖9為根據所揭示實施例之內容源之簡化示意圖。

圖10為例示出根據所揭示實施例之在追蹤HMD之移動中執行的方法操作之流程圖。

圖11為例示出根據所揭示實施例之在追蹤HMD之移動中執行的方法操作之更詳細的流程圖。

圖12為展示例示出根據所揭示實施例之頭戴顯示器之示例性組件的圖。

圖13例示出資訊服務提供者架構之實施例。

現在將描述用於在使用者與虛擬環境互動時，將HMD動態定位於圍繞使用者之真實環境中的若干示範性實施例。對熟習此項技術者將明白的是，可在沒有本文所闡述的特定細節中之一些或所有的情況下實踐本發明。

用以在使用者與虛擬環境互動時，在圍繞使用者之真實環境中定位多個物件的一個途徑在於將多個光點投射於圍繞使用者之各種物件上。多個光點可與圍繞使用者之真實環境的一或多個照相視圖及/或視訊視圖結合。電腦可將與圍繞使用者之真實環境的照相視圖及/或視訊視圖結合的光點用作參考點，以在真實環境中追蹤移動物件及使用者。光點可自一或多個光源投射。光源可定位於頭戴顯示器(HMD)上、電腦上，或定位於耦合至電腦之另一周邊裝置中，諸如攝影機或專用光源。可手動或自動選擇光點，以用於在真實環境中追蹤物件。可手動或自動判定所選擇光點之數目。增加所選擇光點之數目可改良在真實環境中定位物件之準確度。光源可包括一或多個雷 射。使用雷射之一個優點是，可能不需要判定或以其他方式獲得至投射表面之焦距。

圖1例示出根據所揭示實施例之用於視訊遊戲的互動玩遊戲之系統。將使用者100展示為正佩戴頭戴顯示器(HMD)102。以類似於眼鏡、護目鏡或頭盔之方式佩戴HMD 102，且HMD 102經組配來向使用者100顯示視訊遊戲或其他內容。HMD 102經組配來藉助於其提供很接近使用者的眼睛之顯示機構(例如，光學螢幕及顯示螢幕)及傳遞至HMD之內容的格式，來向使用者提供沉浸式體驗。在一個實例中，HMD 102可向使用者的眼睛中之每一者提供顯示區域，該等顯示區域佔據使用者之視野的大部分或甚至全部。HMD顯示螢幕可具有每秒約30訊框至約500訊框(Hz)之再新率。在一個實行方案中，HMD顯示螢幕可具有約60Hz或約120Hz之可選擇再新率。

在一個實施例中，HMD 102可連接至電腦106。至電腦106之連接122可為有線的或無線的。電腦106可為任何通用或專用電腦，包括但不限於，遊戲控制台、個人電腦、膝上型電腦、平板電腦、行動裝置、蜂窩式電話、平板、瘦客戶端、機上盒、媒體串流裝置等。在一些實施例中，HMD 102可直接連接至諸如網際網路的網路110，從而可在不需要單獨的區域電腦的情況下允許雲端遊戲。在一個實施例中，電腦106可經組配來執行視訊遊戲(及其他數位內容)，且輸出來自視訊遊戲之視訊及音訊以便由HMD 102渲染。電腦106在本文中亦稱為客 戶端系統106，該客戶端系統106在一個實例中為視訊遊戲控制台。

在一些實施例中，電腦106可為區域電腦或遠程電腦，且該電腦可運行仿真軟體。在雲端遊戲實施例中，電腦106為遠程的，且可由可在資料中心虛擬化的多個計算服務表示，其中遊戲系統/邏輯可經由網路110虛擬化且分配至使用者。

使用者100可操作控制器104以提供用於視訊遊戲之輸入。在一個實例中，攝影機108可經組配來捕獲使用者100所在的互動環境之影像。可分析此等所捕獲影像來判定使用者100、HMD 102及控制器104之位置及移動。在一個實施例中，控制器104包括燈(或若干燈)，可追蹤該燈(或該等燈)來判定該控制器的定位/位置及姿勢。另外，如以下進一步詳細描述，HMD 102可包括一或多個燈200A-K，該等燈可作為標記來追蹤以在玩遊戲期間大體上即時地判定HMD 102之定位及姿勢。

攝影機108可包括一或多個麥克風來捕獲來自互動環境之聲音。可處理由麥克風陣列所捕獲之聲音來識別聲源之位置。可選擇性地利用或處理來自所識別位置之聲音，以排除並非來自所識別位置之其他聲音。此外，攝影機108可定義成包括多個影像捕獲裝置(例如攝影機之立體像對)、IR攝影機、深度攝影機及其組合。

在一些實施例中，電腦106可在電腦106的處理硬體上局部地執行遊戲。可經由網路110以諸如實體 媒體形式(例如，數位磁碟、磁帶、卡、拇指驅動器、固態晶片或卡等)的任何形式或藉由自網際網路下載之方式來獲得遊戲或內容。在另一實施例中，電腦106充當經由網路與雲端遊戲提供者112通訊之客戶端。雲端遊戲提供者112可維持並執行使用者100所玩的視訊遊戲。電腦106將來自HMD 102、控制器104及攝影機108之輸入傳輸至雲端遊戲提供者112，該雲端遊戲提供者112處理該等輸入以影響正在執行的視訊遊戲之遊戲狀態。來自正在執行的視訊遊戲之輸出(諸如視訊資料、音訊資料及觸覺回饋資料)被傳輸至電腦106。電腦106可在傳輸之前進一步處理資料，或可將資料直接傳輸至相關裝置。例如，向HMD 102提供視訊串流及音訊串流，而向控制器104或其他輸入裝置(例如，手套、衣服、HMD 102或其中之兩者或兩者以上的組合)提供振動回饋命令。

在一個實施例中，HMD 102、控制器104及攝影機108本身可為經網路連接之裝置，該等裝置連接至網路110以與雲端遊戲提供者112通訊。例如，電腦106可為諸如路由器之區域網路裝置，該裝置並不以其他方式執行視訊遊戲處理，但促進通道網路流量。HMD 102、控制器104及攝影機108至網路之連接124可為有線的或無線的。在一些實施例中，可自任何內容源120獲得HMD 102上所執行的或可在顯示器107上顯示的內容。示例性內容源可包括例如提供可下載內容及/或串流內容之網際網路網站。在一些實例中，內容可包括任何類型之多媒體 內容，諸如電影、遊戲、靜態/動態內容、圖片、社交媒體內容、社交媒體網站等。

如以下將更詳細地描述，使用者100可能正在HMD 102上玩遊戲，其中此種內容為沉浸式3D互動內容。當玩家正在玩時，HMD 102上之內容可共享至顯示器107。在一個實施例中，共享至顯示器107之內容可允許接近使用者100或遠離使用者100之其他使用者一起觀看使用者的玩法。在又一個實施例中，在顯示器107上觀察使用者100之玩遊戲的另一使用者可與玩家100互動地參與。例如，在顯示器107上觀察玩遊戲之使用者可控制遊戲場景中之角色、提供回饋、提供社交互動，及/或提供評論(經由本文、經由語音、經由動作、經由示意動作等)，從而使得未佩戴HMD 102之使用者能夠與使用者100、玩遊戲或正渲染於HMD 102中之內容社交地互動。

圖2例示出根據所揭示實施例之HMD 102。如圖所示，HMD 102包括複數個燈200A-K(例如，其中200K及200J朝HMD頭帶210之後方或後側定位)。此等燈中之每一者可組配成具有特定形狀及/或定位，且可組配成具有相同或不同顏色。燈200A、200B、200C及200D佈置於HMD 102之前表面上。燈200E及200F佈置於HMD 102之側表面上。且燈200G及200H佈置於HMD 102之轉角處，以便跨過HMD 102之前表面及側表面。應瞭解，可在互動環境之所捕獲影像中識別該等燈，使用者在該互動環境中使用HMD 102。

基於對燈的識別及追蹤，可判定HMD 102在互動環境中之定位及姿勢。應進一步瞭解，取決於HMD 102相對於影像捕獲裝置之特定定位及姿勢，該等燈200A-K中之一些可能可見或可能不可見。此外，取決於HMD 102相對於影像捕獲裝置之定位及姿勢，燈(例如，燈200G及200H)之不同部分可暴露以用於影像捕獲。在一些實施例中，慣性感測器設置於HMD 102中，該等慣性感測器提供關於定向之回饋，而不需要燈200A-K。在一些實施例中，燈及慣性感測器一起工作，以允許定位/運動資料之混合及選擇。

在一個實施例中，燈可經組配來向附近的其他人指示HMD 102之當前狀態。例如，燈200A-K中之一些或所有可組配成具有確定的顏色佈置、強度佈置，經組配來閃光，具有確定的開啟/關閉組態或指示HMD 102之當前狀態的其他佈置。舉例而言，燈200A-K可經組配來在視訊遊戲之作用中玩遊戲(通常係在作用中時間線期間或在遊戲之場景內發生的玩遊戲)與視訊遊戲之其他非作用中玩遊戲態樣(諸如，巡覽選單介面或組配遊戲設定，在此期間，遊戲時間線或場景可為非作用中或暫停)期間顯示不同的組態。燈200A-K亦可經組配來指示玩遊戲之相對強度等級。例如，燈200A-K之強度或閃光速率可在玩遊戲之強度增加時增加。

HMD 102可另外包括一或多個麥克風。在所例示實施例中，HMD 102包括：定義於HMD 102之前表 面上的麥克風204A及204B；以及定義於HMD 102之側表面上的麥克風204C。藉由利用麥克風204A-C之陣列，可處理來自該等麥克風中之每一者的聲音來判定聲源之位置。可以各種方式利用此資訊，該等方式包括：排除非所要的聲源，使聲源與視覺識別相關聯等。

HMD 102亦可包括一或多個影像捕獲裝置。在所例示實施例中，將HMD 102展示為包括影像捕獲裝置202A及202B。藉由利用影像捕獲裝置之立體像對，可自HMD 102之角度捕獲環境之三維(3D)影像及視訊。可向使用者呈現此種視訊以給正佩戴HMD 102時的使用者提供「視訊透視」能力。亦即，雖然使用者在嚴格意義上不能透過HMD 102看見東西，但由影像捕獲裝置202A及202B所捕獲之視訊可提供看見在HMD 102外部的環境之能力的功能等效物，就如同透過HMD 102來看一樣。

此種視訊可利用虛擬元素加以擴增來提供擴增實境體驗，或可以其他方式與虛擬元素組合或混合。雖然在所例示實施例中，在HMD 102之前表面上展示兩個攝影機，但應瞭解，可能存在任何數目之面向外的攝影機或單個攝影機可安裝於HMD 102上，且定向於任何方向中。例如，在另一實施例中，可能存在安裝於HMD 102之側面上的攝影機，以提供對環境之額外全景影像捕獲。在一個實施例中，面向前的攝影機(RCG，及/或深度攝影機)可用來追蹤定位及姿勢，以及使用者之手或手套的運動。如以下將描述，來自由面向前的攝影機所捕獲之影像 資料的資訊可用來在與虛擬物件介接時，向使用者提供較精細的解析度及以其他方式改良的觸覺回饋。

圖3例示出使用客戶端系統106之玩遊戲的一個實例，該客戶端系統能夠向使用者100之HMD 102渲染視訊遊戲內容。在此圖例中，向HMD 102提供之遊戲內容處於豐富的互動3-D空間中。如以上所論述，遊戲內容可下載至客戶端系統106或在一個實施例中可由雲端處理系統執行。雲端遊戲服務112可包括使用者140之資料庫，從而允許該等使用者訪問特定遊戲、與其他朋友共享體驗、發佈評論，以及管理他們的賬戶資訊。

雲端遊戲服務112亦可針對特定使用者儲存遊戲資料150，該遊戲資料在玩遊戲期間、將來玩遊戲期間可為可使用的，可共享至社交媒體網路，或可用於儲存獎品、獎勵、狀態、排名等。社交資料160亦可由雲端遊戲服務112管理。社交資料160可由單獨社交媒體網路管理，該單獨社交媒體網路可經由網際網路110與雲端遊戲服務112介接。經由網際網路110，可連接任何數目之客戶端系統106以便訪問內容及與其他使用者之互動。

繼續圖3之實例，HMD 102中所觀察到的三維互動場景可包括玩遊戲，諸如3-D視圖中所例示之角色。一個角色(例如，P1)可由正佩戴HMD 102之使用者100控制。此實例展示兩個玩家之間的籃球場景，其中HMD使用者100正將球扣於3-D視圖中之另一角色上。另一個角色可為遊戲之AI(人工智能)角色，或可由另一使 用者或若干使用者(Pn)控制。將正佩戴HMD 102之使用者100展示為在使用空間中來回移動，其中HMD可基於使用者之頭部移動及身體定位來回移動。將攝影機108展示為定位在房間內之顯示螢幕上方，然而，為HMD 102使用，可將攝影機108放置於可捕獲HMD 102之影像的任何位置。因而，將使用者100展示為自攝影機108及顯示器107以約90度轉動，因為自攝影機108之角度來看，HMD 102中所渲染之內容可取決於定位HMD 102之方向。當然，在HMD 102使用期間，使用者100將來回移動、轉動其頭部、在各種方向上看，可能需要此舉以利用由HMD所渲染之動態虛擬場景。

圖4例示出根據所揭示實施例之在使用期間佩戴HMD 102之使用者。在此實例中，展示的是使用自外向內追蹤過程來追蹤402HMD 102，其中攝影機108正追蹤HMD 102位置。攝影機108使用藉由攝影機108自所捕獲之視訊框所獲得的影像資料來追蹤HMD 102位置。在其他實施例中，追蹤亦可或替代地利用來自HMD自身之慣性資料。在各種實施例中，追蹤使用者之頭部/HMD可包括自影像追蹤及慣性追蹤所獲得之混合資料。另外，展示的是亦可使用藉由攝影機108自所捕獲之視訊框所獲得的影像資料來追蹤404控制器。亦展示的是HMD 102經由電纜406連接至計算系統106之組態。在一個實施例中，HMD 102自同一電纜獲得電力或可連接至另一電纜。在又一個實施例中，HMD 102可具有可再 充電的電池，以避免多餘的電力線。在其他實施例中，在具有或不具有手套的情況下，可追蹤使用者之手。

圖5例示出根據所揭示實施例之在自內向外追蹤過程中使用期間佩戴HMD 102之使用者。在自內向外追蹤過程中，使用藉由HMD 102中之一或多個攝影機202A、202B自所捕獲之視訊框所獲得的影像資料來追蹤HMD 102位置。

HMD 102之準確追蹤運動允許電腦106向HMD預測及渲染適當的額外虛擬環境，以使得當使用者正與虛擬環境互動時，隨著使用者在一個方向或另一方向上移動、轉動或傾斜HMD，使用者以大體上無縫的方式體驗虛擬環境中之虛擬場景之間的過渡。若未足夠準確或快速地偵測HMD 102之運動，則所渲染之虛擬環境可出現延遲、不清楚、急動或以其他方式與使用者不一致。

在一個實施例中，電腦106可在圍繞使用者之所有方向上渲染虛擬環境中之所有者。然而，在所有方向上渲染全部虛擬環境需要大量的計算能力及記憶體資源。在一些實施例中，預渲染在所有方向上之全空間360度。然而，在所有方向上之動態內容或進入或離開場景之額外內容可能需要即時計算。在一些實施例中，將提前渲染虛擬環境，以使得使用者可在所有方向上觀察虛擬環境。然而，例如，諸如當使用者自一個地方移動至另一地方或自一個房間移動至另一房間時，諸如其他移動角色、物件、移動圖示、本文或虛擬環境之擴展的一些內容可能 需要動態添加。在其他實施例中，渲染盡可能少的虛擬環境可能對於電腦106而言更有效且更快速，然而當使用者透過虛擬環境轉動及移動時，必須渲染足夠的虛擬環境以向使用者呈現無縫體驗。此渲染將基於使用者正觀察之處為即時渲染。當使用者移動或轉動以能夠在HMD中看到與使用者之頭部的移動相對應之虛擬環境時，HMD 102之移動的準確偵測允許電腦106判定額外虛擬環境、渲染額外虛擬環境及呈現額外虛擬環境。

如以上所描述，可藉由使用來自固定攝影機108之影像資料、來自HMD中的攝影機202A、202B之影像資料的電腦106及包括於HMD中之一或多個慣性感測器224及其組合來追蹤HMD 102之位置及運動。HMD 102之運動、定位及姿勢的精確判定允許電腦106對應於使用者之移動及轉動，按需要準確地預測及渲染額外虛擬環境，以看到虛擬環境之彼等額外部分。在一些實施例中，可以如下所預測之預期來渲染及緩衝額外內容：使用者將在所預測之方向上轉動其頭部。

圖6例示出根據所揭示實施例之真實空間房間，其中使用者正在使用HMD 102。一或多個固定發射器608可為光源，該光源可將多個固定點投射於真實空間房間之牆602、604、地板606、天花板(未展示)及家具504-510，以及諸如窗512、514、門516、電視502等的其他特徵上。可在所投射網格609之交點處選擇固定點。發射器可為能夠發射可見及不可見(例如，紅外線、紫外 線)光譜雷射之雷射發射器。在一些實施例中，發射器可具有濾光器以避免損害人眼。或者，固定點可為投射點、形狀、符號、代碼，諸如條碼及快速反應碼。可將多個發射器同步化以產生多個光輸出。可調變或以其他方式獨特地編碼多個光輸出中之每一者。舉例而言，可在時域及頻域中調變多個光輸出中之每一者，從而可允許獨特地編碼每一投射點。在一個實施例中，發射器可包括真實空間中之兩個或兩個以上發射器，且能夠發射雷射光以覆蓋HMD將在其內移動之真實空間。HMD及或帶中之感測器將捕獲來自發射器之光，該光自真實空間房間中之一或多個表面反射，且觸發或偵測以接收反射光之感測器用來運算HMD在真實空間中之定位、姿勢及移動。

攝影機108可感知網格圖案中之固定點，且識別網格圖案內之交點或其他特定點。應注意，光源608可以人類可見光譜或電磁光譜之其他人類不可見部分(諸如電磁光譜之微波、紫外線、紅外線或其他部分)投射網格圖案609。

可在HMD 102之使用期間連續投射網格圖案。或者，網格圖案609可暫時地或週期性地投射，以允許電腦106諸如在定位及姿勢或校準過程期間映射真實空間，該過程可在HMD 102之使用開始時發生及/或在HMD之使用期間間歇地發生。

在另一實行方案中，多個、時序光投射，其中多個點中之每一者可投射一段時間。舉例而言，多個點 中之第一者可投射第一段時間，且然後多個點中之第二者可投射第二段時間等，其中多個點中之隨後一者投射對應時間。類似地，多個點中之第一子組可投射第一時間段，且然後多個點中之第二子組可投射第二時間段。該等子組可為單獨的且離散的，或替代地可與一或多個子組中之所共享的投射點重疊。在又一實行方案中，多個點中之每一者的投射可以時分多路複用開啟/關閉序列編碼。開啟/關閉照明之此等變化可取決於用來捕獲自投射點所反射之光的感測器之類型，以高頻率(KHz或更多)發生。

亦應注意的是，將網格圖案609例示為矩形網格，該矩形網格在網格線中之每一者之間具有所選擇距離。矩形網格圖案在任何合適圖案中僅為示範性的，該任何合適圖案諸如可用於網格609之三角形、或多邊形、或梯形、或其他形狀或球形圖案及其組合。真實空間房間上之投射點不需要有規則地週期性地隔開，且可以電腦106所已知或可由電腦106所判定之不規則間距不規則地隔開。

網格圖案609允許電腦106分析來自固定攝影機108及HMD 102中之攝影機202A、202B，及/或諸如PSD的其他感測器之影像資料，以藉由隨著HMD移動且隨著HMD之定位及姿勢改變，比較自網格圖案中之所選擇固定點A-H所反射之光的對應角，來判定HMD之精確或近似定位及姿勢或運動。

在一個實施例中，電腦106可使用來自固定 攝影機108及攝影機202A、202B及可安裝於HMD 102及/或HMD之帶210中的其他感測器(諸如光電二極體及光電感測器)之影像資料來判定真實空間房間中之實體物件上的所選擇實體點A’-H’(諸如一或多個窗512、514之轉角A’-E’或一件家具504-510上之線的交點)或真實空間房間中之固定物件502、516上的其他所選擇實體點的相對位置。運算點A’-H’可用來判定HMD 102之精確定位及姿勢或運動。

圖7A例示出根據所揭示實施例之真實空間房間，其中使用者正在使用HMD 102。圖7B為根據所揭示實施例之兩個不同位置中之HMD 102及用以判定HMD之位置的向量之圖。雖然類似技術可用於多個PSD感測器，但安裝於HMD 102中之攝影機202A、202B中的一或多者可為立體攝影機。立體攝影機202A、202B可包括中心視線向量CV經過之光學中心。可經由校準及像素偏轉與角偏轉之間的關係來判定中心視線向量CV。

立體攝影機202A、202B可使用立體視覺來判定至諸如點K的所選擇光點的距離(例如，長度AK)。相對於中心向量CV之像素定位加上由立體視覺所量測之攝影機與所選擇點之間的距離(諸如長度AK及AF)提供相對於參考系之點定位。

在時間t1時，HMD 102處於第一位置/定向A。諸如點K及F的至少兩個所標記光點處於立體攝影機202A、202B之視線中。可在時間t1時之攝影機的參考系 中判定兩個點K與F之間的中心視線向量CVt1。

在時間t2時，HMD 102移動至新位置/定向B。相同的兩個所選擇光點K及F處於來自位置/定向B之立體攝影機202A、202B的視線中。可在時間t2時之攝影機的參考系中判定光點K與F之間的中心視線向量CVt2。

在時間t1時，HMD 102處於位置/定向A處，且攝影機之中心視線向量CVt1作為主軸。所選擇點K之定位由距離AK *像素角Θ1之sin/cos給出。

可將位置/定向A指定為起點來判定相對於位置/定向A之位置/定向B。

中心視線向量CVt1及CVt2相交於點Q。可判定HMD 102在中心視線向量CVt1與CVt2之間的角定向變化α。可使用各個角度Θ1、Θ2、ω1、ω2及α、使用點K及F之以下三角關係，來判定角定向變化α。

Bx=(AK sinΘ1)/BK(sinα * cosω1+cosα * sinω1)

By=(AK cosΘ1)/BK(cosα * cosω1-sinα * sinω1)

其中AK為在時間t1時處於定位/定向A中之HMD 102與點K之間的長度。BK為在時間t2時處於定位/定向B中之HMD 102與點K之間的長度。相對於在時間t1時之定位/定向A，Bx為在時間t2時處於定位/定向B中之HMD 102的X坐標且By為在時間t2時處於定位/定向B中之HMD 102的Y坐標。

以上運算亦可用來判定處於位置/定向A中之 HMD相對於位置/定向B之位置/定向。運算兩者可提供HMD之更準確位置/定向。

在另一實行方案中，可選擇兩個以上的點。舉例而言，可自定位/定向A及B及各個時間t1及t2中之每一者來分析點K、F及L。亦可選擇三個以上的點。所選擇點之數目僅受可供選擇點之數目及執行對應運算所需要之處理時間限制。使用兩個以上的點亦可改良判定HMD之位置/定向的準確度。HMD之位置/定向亦可使用加速計資料來向運算添加進一步精確度。

在一個實行方案中，時序編碼可用來獨特地識別點。以上技術可經修改來針對順序選擇的點考慮時間差。使用以上過程，隨時間構建諸如光點的特徵之模型，且然後針對每一訊框，感測器202A、B可偵測，演算法基於來自先前量測及運算之似真變化，作出最大努力來匹配該模型。

圖8為根據所揭示實施例之用於追蹤HMD 102之移動、定位及姿勢的系統850之簡化示意圖。系統850包括耦合至雲端網路110之遊戲控制台106，以及雲端遊戲提供者112及內容源120。遊戲控制台106亦耦合至頭戴顯示器102、諸如使用者輸入裝置812之其他周邊裝置。(例如，手套、控制器、運動控制器、慣性感測器、光控制器、磁控制器等)

遊戲控制台106包括內容選擇模組816、輸入裝置介面814、VR空間產生模組818及HMD移動模組 820。內容選擇模組816包括內容介面817及虛擬實境內容選擇模組810。

在操作中，內容介面817接收來自各種內容源120之虛擬實境內容。內容選擇模組810根據經由輸入裝置介面814及HMD移動模組820自各種輸入裝置接收到的輸入，自內容介面817選擇虛擬實境內容之適當部分。作為實例，當使用者將一方向上之HMD向左轉動時，HMD移動模組820自HMD上之一或多個感測器及/或自背離及朝向HMD之攝影機接收輸入，該攝影機偵測HMD朝左之移動，且向VR內容選擇模組810提供彼左轉動資料。VR內容選擇模組810在內容介面817中選擇對應的VR內容。內容介面817將所選擇VR內容輸出至VR空間產生模組818。VR空間產生模組818產生如以上圖8A中所描述的存在於HMD 102中之虛擬環境或空間。

圖9為根據所揭示實施例之內容源120之簡化示意圖。內容源120包括若干模組，該等模組包括VR內容庫920。在VR內容庫920內包括多個內容空間922A-n。VR內容926提供VR內容選擇模組810所需要之資料，以定義HMD 102上所顯示之虛擬空間。物件空間映射模組828定義虛擬空間中所顯示之各種虛擬物件的位置。

物件3D空間組態模組930提供所顯示物件之3D特徵。此等3D特徵可包括所顯示物件之重量、形狀、紋理及顏色。

物件聲音輪廓932提供對應於所顯示虛擬物件及虛擬空間之聲音。例如，存在於HMD上所顯示之虛擬空間中的使樹葉沙沙作響之風的聲音、遠雷及動物聲音。物件物理輪廓934提供虛擬空間中所顯示之各種物件的實體運動及紋理特性。由VR內容選擇模組810及VR空間產生模組所使用之物件的運動、紋理、聲音、定位及姿勢及位置中之每一者在虛擬空間內進行，以在HMD 102上所顯示之VR空間中產生物件。

圖10為例示出根據所揭示實施例之在追蹤HMD 102之移動中執行的方法操作1000之流程圖。在操作1005中，經由HMD 102向使用者呈現虛擬空間。亦向使用者顯示存在於虛擬空間中之各種虛擬物件。在操作1010中，HMD在真實空間中移動。作為實例，使用者可將HMD向左轉動或向右轉動。

在操作1015中，遊戲控制台106提供對應於HMD之移動的額外虛擬環境。當隨著使用者在虛擬環境內轉動及移動，向使用者呈現虛擬環境時，此給使用者提供平穩的掃描感覺。在一個實施例中，對使用者之感知就如同完全渲染圍繞該使用者之虛擬空間。

圖11為例示出根據所揭示實施例之在追蹤HMD 102之移動中執行的方法操作1100之更詳細的流程圖。在操作1105中，映射真實空間。真實空間為將使用HMD 102之房間或其他空間。可藉由識別真實空間之表面上的諸如圖6A及6B中所描述之多個固定點來映射真 實空間。

在操作1110中，判定HMD之初始定位及姿勢。相對於真實空間中之所選擇固定點來判定HMD初始定位及姿勢。在操作1115中，向遊戲控制台106提供HMD之初始定位及姿勢。HMD之初始定位及姿勢包括一或多個影像，該一或多個影像藉由攝影機或安裝於HMD上之慣性感測器或其他感測器(諸如光電檢測器及光電二極體)來捕獲。

在操作1120中，向使用者呈現虛擬環境。可經由HMD 102呈現虛擬環境。經由HMD 102所呈現之虛擬環境對應於HMD之初始定位及姿勢。

在操作1125中，相對於真實空間移動HMD 102，諸如使用者在真實空間中轉動或傾斜或前進或後退。在操作1130中，偵測HMD之移動。可藉由包括自內向外過程之一或多個過程來偵測HMD之移動，該自內向外過程包括隨著HMD移動來捕獲一或多個影像。可藉由與HMD成一體之攝影機來捕獲影像。

在操作1135中，將HMD之所偵測運動傳輸至HMD移動模組。在操作1140中，HMD移動模組820判定目前所捕獲影像與至少一個先前所捕獲影像之間的差異，以判定輸出至VR空間產生模組818之HMD移動變化資料。

在操作1145中，VR空間產生模組識別將要渲染及呈現於HMD上的額外虛擬環境，且將所識別的額 外虛擬環境輸出至內容選擇模組816中之內容介面817。在操作1150中，內容選擇模組816渲染額外虛擬環境，且在操作1155中，向HMD呈現所渲染的額外虛擬環境。舉例而言，隨著HMD轉動或移動，將額外虛擬環境呈現於HMD顯示器上，以使得HMD在真實空間中之移動平穩地對應HMD在虛擬環境中之移動。

在如以上所描述之操作1125-1155中，所繼續的HMD之移動的操作繼續。當HMD在真實空間中不再運動時，可結束該等方法操作。

參考圖12，展示例示出根據所揭示實施例之頭戴顯示器102之示例性組件的圖。應理解，取決於所實現之組態及功能，HMD 102可包括或除去更多或更少的組件。頭戴顯示器102可包括用於執行程式指令之處理器2000。記憶體2002經提供用於儲存目的，且可包括依電性記憶體及非依電性記憶體兩者。包括顯示器2004，其提供使用者可看到的視覺介面。

顯示器2004可由一個單一顯示器定義，或針對每一眼睛呈單獨的顯示螢幕形式。當提供兩個顯示螢幕時，有可能分別提供左眼及右眼視訊內容。視訊內容對每一眼睛之單獨呈現例如可提供三維(3D)內容之較好的沉浸式控制。如以上所描述，在一個實施例中，第二螢幕107藉由使用用於一個眼睛之輸出而具備HMD 102之第二螢幕內容，且然後格式化該內容以便以2D格式顯示。在一個實施例中，一個眼睛可為左眼視訊饋送，但在其他實施 例中，該眼睛可為右眼視訊饋送。

可提供電池2006作為用於頭戴顯示器102之電源。在其他實施例中，電源可包括至電力之出口連接件。在其他實施例中，可提供至電力之出口連接件及電池2006。運動偵測模組2008可包括各個種類之運動敏感硬體中之任一者，諸如磁強計2010、加速計2012及迴轉儀2014。

加速計2012為用於量測加速度及重力引發的反作用力之裝置。單軸模型及多軸(例如，六軸)模型能夠偵測不同方向中的加速度之量值及方向。使用加速計來感測傾角、振動及震動。在一個實施例中，使用三個加速計2012來提供重力方向，該重力方向給出對兩個角(世界空間俯仰角及世界空間滾動角)的絕對參考。

磁強計2010量測頭戴顯示器附近的磁場之強度及方向。在一個實施例中，在頭戴顯示器內使用三個磁強計2010，從而確保對世界空間偏轉角之絕對參考。在一個實施例中，磁強計經設計成跨過地球磁場，該地球磁場為±80微特士拉。磁強計受金屬的影響，且提供隨實際偏轉單調變化的偏轉量測。磁場可能由於環境中之金屬而扭曲，從而導致偏轉量測之扭曲。若必要，可使用來自諸如迴轉儀或攝影機的其他感測器之資訊來校準此扭曲。在一個實施例中，加速計2012與磁強計2010一起用來獲得頭戴顯示器102之傾角及方位角。

迴轉儀2014為用於基於角動量原理來量測或 維持定位及姿勢之裝置。在一個實施例中，三個迴轉儀2014基於慣性感測來提供關於跨各個軸(x、y及z)之移動的資訊。迴轉儀幫助偵測快速旋轉。然而，在不存在絕對參考的情況下，迴轉儀可隨時間漂移。此需要週期性地重設迴轉儀，此重設可使用其他可用資訊來完成，其他可用資訊諸如：基於對物件、加速計、磁強計等之視覺追蹤的定位及姿勢判定。

提供攝影機2016以用於捕獲真實環境之影像及影像串流。HMD 102中可(視需要)包括一個以上攝影機，該一個以上攝影機包括面向後(當使用者看著HMD 102之顯示時遠離使用者)的攝影機及面向前(當使用者看著HMD 102之顯示時朝向使用者)的攝影機。另外，HMD 102中可包括深度攝影機2018，該深度攝影機2018用於感測真實環境中的物件之深度資訊。

HMD 102包括用於提供音訊輸出之揚聲器2020。此外，可包括麥克風2022，該麥克風2022用於自真實環境捕獲音訊，該音訊包括來自周圍環境之聲音、使用者說出的語言等。HMD 102包括觸覺回饋模組2024，該觸覺回饋模組2024用於向使用者提供觸覺回饋。在一個實施例中，觸覺回饋模組2024能夠導致HMD 102之移動及/或振動，以便向使用者提供觸覺回饋。

提供LED 2026作為頭戴顯示器102之狀態的視覺指示器。例如，LED可指示電池位準、通電等。提供讀卡機2028以使頭戴顯示器102能夠自記憶卡讀取資訊 且向記憶卡寫入資訊。包括USB介面2030作為介面之一個實例，該介面用於實現手持式周邊裝置之連接，或至諸如其他可攜式裝置、電腦等的其他裝置之連接。在HMD 102之各種實施例中，可包括各個種類之介面中的任何者以實現HMD 102之更好的連接性。

可包括WiFi模組2032，以便實現經由無線網路連接技術至網際網路之連接。此外，HMD 102可包括藍芽模組2034，以便實現至其他裝置之無線連接。亦可包括通訊鏈路2036以便連接至其他裝置。在一個實施例中，通訊鏈路2036利用紅外傳輸來進行無線通訊。在其他實施例中，通訊鏈路2036可利用各種無線或有線傳輸協定中之任何者來與其他裝置通訊。

包括輸入按鈕/感測器2038來為使用者提供輸入介面。可包括各個種類之輸入介面中的任何者，諸如按鈕、示意動作、觸控板、操縱桿、軌跡球等。HMD 102中可包括超音通訊模組2040，以用於促進經由超音技術與其他裝置通訊。

包括生物感測器2042來實現對來自使用者之生理資料的偵測。在一個實施例中，生物感測器2042包括用於透過使用者的皮膚偵測使用者之生物電信號的一或多個乾電極、語音偵測、用以識別使用者/輪廓的眼睛視網膜偵測等。

已將HMD 102之前述組件僅描述為可包括於HMD 102中之示範性組件。在本發明之各種實施例中， HMD 102可包括或可不包括各種前述組件中之一些。出於促進本文中所描述之本發明的態樣之目的，HMD 102之實施例可另外包括目前未描述但此項技術中已知的其他組件。

熟習此項技術者將瞭解，在本發明之各種實施例中，可結合顯示於顯示器上之互動應用程式來利用前述手持式裝置，以提供各種互動功能。僅藉由實例且並非藉由限制來提供本文中所描述之示範性實施例。

在一個實施例中，如本文中所稱的客戶端及/或客戶端裝置可包括頭戴顯示器(HMD)、終端機、個人電腦、遊戲控制台、平板電腦、電話、機上盒、資訊站、無線裝置、數位板、獨立裝置、手持式玩遊戲的裝置及/或類似裝置。通常，客戶端經組配來接收編碼的視訊串流，解碼視訊串流，且將所得視訊呈現給使用者(例如，遊戲玩家)。接收已編碼視訊串流及/或解碼視訊串流之過程通常包括將各個視訊框儲存於客戶端之接收緩衝器中。可在與客戶端成一體的顯示器上或在諸如監視器或電視的單獨裝置上向使用者呈現視訊串流。

客戶端視需要經組配來支援一個以上遊戲玩家。例如，遊戲控制台可經組配來支援兩個、三個、四個或更多同時的使用者(例如，P1、P2、...Pn)。此等使用者中之每一者可接收或共享視訊串流，或單個視訊串流可包括特別針對每一玩家所產生的(例如，基於每一使用者之視角所產生的)訊框之區域。任何數目之客戶端可為區域 的(例如，共位的)或在地理上分散。遊戲系統中所包括的客戶端之數目可自一個或兩個廣泛變化至幾千個、幾萬個或更多。如本文中所使用，術語「遊戲玩家」或「使用者」係用來指代玩遊戲的人，且術語「玩遊戲的裝置」係用來指代用來玩遊戲之裝置。在一些實施例中，玩遊戲的裝置可指代進行合作來向使用者傳遞遊戲體驗的複數個計算裝置。

例如，遊戲控制台及HMD可與視訊伺服器系統合作來傳遞透過HMD看到的遊戲。在一個實施例中，遊戲控制台自視訊伺服器系統接收視訊串流，且遊戲控制台將視訊串流或對視訊串流之更新轉發至HMD及/或電視以便渲染。

仍然進一步，HMD可用於觀察及/或與所產生或使用的任何類型之內容互動，該內容諸如視訊遊戲內容、電影內容、視訊片段內容、網頁內容、廣告內容、競賽內容、嬉戲遊戲內容、會議電話/聚會內容、社交媒體內容(例如，發佈、訊息、媒體串流、朋友事件及/或玩遊戲)、視訊部分及/或音訊內容，以及用於經由瀏覽器及應用程式在網際網路上消耗來源所製作之內容，以及任何類型之串流內容。當然，未限制前述內容列表，因為可渲染任何類型之內容，只要可在HMD中看到該內容或向HMD之螢幕或若干螢幕渲染該內容即可。

客戶端可(但不需要)進一步包括經組配以用於修改接收到的視訊之系統。例如，客戶端可經組配來：執 行進一步渲染，將一個視訊影像疊加於另一視訊影像上，修剪視訊影像，及/或類似者。例如，客戶端可經組配來接收各種類型之視訊框，如I訊框、P訊框及B訊框，且將此等訊框處理成影像以便向使用者顯示。在一些實施例中，客戶端之構件經組配來對視訊串流執行進一步渲染、陰影處理、轉換成3-D、轉換成2D、失真去除、設定大小或類似操作。客戶端之構件視需要經組配來接收一個以上音訊或視訊串流。

客戶端之輸入裝置可包括：例如，單手遊戲控制器、雙手遊戲控制器、示意動作辨識系統、注視辨識系統、語音辨識系統、鍵盤、操縱桿、指向裝置、力回饋裝置、運動及/或位置感測裝置、滑鼠、觸控螢幕、神經介面、攝影機、還未開發出的輸入裝置，及/或類似裝置。

視訊源可包括渲染邏輯，例如，硬體、韌體及/或儲存於電腦可讀媒體(諸如儲存器)上之軟體。此渲染邏輯經組配來基於遊戲狀態創建視訊串流之視訊框。渲染邏輯之所有或部分視需要設置於一或多個圖形處理單元(GPU)內。渲染邏輯通常包括經組配以用於判定物件之間的三維空間關係及/或用於基於遊戲狀態及視角來應用適當紋理等的處理階段。渲染邏輯可產生已編碼的原始視訊。例如，可根據Adobe Flash®標準、HTML-5、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x.、Xvid.、FFmpeg、x264、VP6-8、 realvideo、mp3或類似標準對原始視訊進行編碼。編碼過程產生視訊串流，該視訊串流視需要經封裝以便傳遞至裝置上之解碼器。視訊串流係由訊框大小及訊框速率來表徵。典型的訊框大小包括800 x 600、1280 x 720(例如720p)、1024 x 768、1080p，但可使用任何其他訊框大小。訊框速率為每秒的視訊框數。視訊串流可包括不同類型之視訊框。例如，H.264標準包括「P」訊框及「I」訊框。I訊框包括用來再新顯示裝置上之所有巨集區塊/像素的資訊，而P訊框包括用來再新該等巨集區塊/像素之子集的資訊。P訊框之資料大小通常小於I訊框。如本文中所使用，術語「訊框大小」意欲指代訊框內之像素數。術語「訊框資料大小」用來指代儲存該訊框所需要的位元組數。

在一些實施例中，客戶端可為通用電腦、專用電腦、遊戲控制台、個人電腦、膝上型電腦、平板電腦、行動計算裝置、可攜式遊戲裝置、蜂窩式電話、機上盒、串流媒體介面/裝置、智慧電視或經網路連接之顯示器，或能夠經組配來滿足如本文中所定義的客戶端之功能性的任何其他計算裝置。在一個實施例中，雲端遊戲伺服器經組配來偵測正由使用者利用的客戶端裝置之類型，且提供適合於使用者的客戶端裝置之雲端遊戲體驗。例如，可針對使用者之客戶端裝置來最佳化影像設定、音訊設定及其他類型之設定。

圖13例示出資訊服務提供者架構之實施例。 資訊服務提供者(ISP)2170向地理上分散且經由網路2150連接之使用者2182傳遞大量資訊服務。ISP可僅傳遞諸如股票價格更新的一種類型之服務，或諸如廣播媒體、新聞、運動、遊戲等的各種服務。另外，由每一ISP所提供之服務為動態的，亦即，可在任何時間點添加或取走服務。因此，向特定個體提供特定類型之服務的ISP可隨時間變化。例如，當使用者在其家鄉時，可由接近使用者之ISP來服務該使用者，且當使用者旅行到不同城市時，可由不同ISP來服務該使用者。家鄉ISP將向新的ISP轉移所需要資訊及資料，以使得使用者資訊「跟隨」使用者到達新的城市，從而使該資料更接近使用者且更容易訪問。在另一實施例中，可在主ISP與伺服器ISP之間建立主-伺服器關係，該主ISP管理用於使用者之資訊，該伺服器ISP在主ISP的控制下直接與使用者介接。在另一實施例中，資料隨著客戶端在全世界移動自一個ISP轉移至另一ISP，以使得處在服務使用者的更好定位中的ISP成為傳遞此等服務之ISP。

ISP 2170包括應用服務提供者(ASP)2106，該應用服務提供者經由網路向顧客提供基於電腦的服務。使用ASP模型所提供之軟體有時亦稱為按需軟體或軟體即服務(SaaS)。提供對特定應用程式(諸如顧客關係管理)的訪問之簡單形式是藉由使用諸如HTTP的標準協定。應用軟體駐留於賣主的系統上，且經由使用HTML之網頁瀏覽器由使用者訪問，由賣主所提供之專用客戶端軟體、或諸 如瘦客戶端的其他遠程介面訪問。

在廣闊地理區域傳遞之服務經常使用雲端計算。雲端計算為一種計算型式，其中經由網際網路提供動態可伸縮且經常虛擬化的資源作為服務。使用者不需要是支援該等使用者之「雲端」的技術基礎建設方面的專家。可將雲端計算分成不同服務，諸如基礎建設即服務(IaaS)、平台即服務(PaaS)及軟體即服務(SaaS)。當在伺服器上儲存軟體及資料時，雲端計算服務經常提供在線公共商用應用，該等應用係自網頁瀏覽器訪問。基於在電腦網路圖中如何描繪網際網路及網際網路如何為對其隱藏之複雜基本建設的抽象，術語雲端用作對網際網路的隱喻(例如，使用伺服器、儲存器及邏輯)。

此外，ISP 2170包括遊戲處理伺服器(GPS)2108，該遊戲處理伺服器係由遊戲客戶端用來玩單玩家及多玩家視訊遊戲。在網際網路上玩的大多數視訊遊戲經由至遊戲伺服器之連接來操作。通常，遊戲使用專用伺服器應用，該專用伺服器應用自玩家收集資料且將該資料分配至其他玩家。此比點對點佈置更高效及有效，但其需要單獨的伺服器來主管伺服器應用。在另一實施例中，GPS在玩家之間建立通訊，且該等玩家的各個玩遊戲的裝置在不依賴集中GPS的情況下交換資訊。

專用GPS為獨立於客戶端運行之伺服器。此種伺服器通常在位於資料中心之專用硬體上運行，從而提供更大的頻寬及專用處理能力。針對大多數基於PC的多 玩家遊戲，專用伺服器是主管遊戲伺服器之優選方法。大規模多玩家線上遊戲在專用伺服器上運行，該等專用伺服器通常由擁有遊戲標題之軟體公司主管，從而允許該等專用伺服器控制及更新內容。

廣播處理伺服器(BPS)2110向聽眾分配音訊或視訊訊號。廣播至非常狹窄範圍的聽眾有時稱為窄播。廣播分配的最後步驟是訊號如何到達聽者或觀察者，且該訊號可經由空氣到達，正如無線電台或TV台至天線及接收器一樣，或可經由站台透過電纜TV或電纜無線電(或「無線電纜」)到達或直接自網路到達。尤其在多播允許共享訊號及頻寬的情況下，網際網路亦可向接受者帶來無線電或TV。在歷史上，廣播已由地理區域劃定界線，諸如國家廣播或區域廣播。然而，隨著快速網際網路之增殖，廣播不再由地理界定，因為內容幾乎可到達全世界的任何國家。

儲存服務提供者(SSP)2112提供電腦儲存空間及相關管理服務。SSP亦提供週期性備份及歸檔。藉由將儲存器提供為服務，使用者可按需要訂購更多儲存器。另一主要優點是：SSP包括備份服務，且若使用者的電腦之硬驅動機失效，使用者將不會丟失其所有資料。此外，複數個SSP可具有使用者資料之全部或部分複本，從而允許使用者以高效方式訪問資料，而與使用者所在之處或用來訪問資料之裝置無關。例如，使用者可在家庭電腦中訪問個人檔案，而且當使用者在移動中時，可在行動電話中 訪問個人檔案。

通訊提供者2114提供至使用者之連接性。一種通訊提供者為提供對網際網路之訪問的網際網路服務提供者(ISP)。ISP使用適合於傳遞網際網路協定資料報之資料傳輸技術來連接其顧客，該等網際網路協定資料報諸如撥號、DSL、電纜數據機、光纖、無線或專用高速互連。通訊提供者亦可提供訊息服務，該等訊息服務諸如電子郵件、即時訊息及SMS本文。另一類型之通訊提供者為網路服務提供者(NSP)，該網路服務提供者藉由提供對網際網路的直接主幹訪問來銷售頻寬或網路訪問。網路服務提供者可由電信公司、資料載體、無線通訊提供者、網際網路服務提供者、提供高速網際網路訪問之電纜電視操作者等組成。

資料交換2104使ISP 2170內部之若干模組互連，且經由網路2150將此等模組連接至使用者2182。資料交換2104可覆蓋ISP 2170之所有模組接近的小區域，或可當不同模組在地理上分散時，覆蓋大地理區域。例如，資料交換2104可包括資料中心箱內的快速十億位元乙太網路(或更快)，或洲際虛擬區域網路(VLAN)。

使用者2182利用客戶端裝置2120訪問遠程服務，該客戶端裝置至少包括CPU、顯示器及I/O。客戶端裝置可為PC、行動電話、隨身型易網機、平板、遊戲系統、PDA等。在一個實施例中，ISP 2170辨識客戶端所使用之裝置的類型，且調整所採用的通訊方法。在其他情 況下，客戶端裝置使用諸如html的標準通訊方法來訪問ISP 2170。

本發明之實施例可利用各種電腦系統組態來實踐，該等電腦系統組態包括手持式裝置、微處理器系統、基於微處理器的或可程式化的消費電子產品、小型電腦、大型電腦及類似者。本發明亦可在分佈式計算環境中實踐，其中藉由經由基於有線的網路或無線網路加以鏈接的遠程處理裝置來執行任務。

考慮到以上實施例，應理解，本發明可採用各種電腦實行的操作，該等操作涉及儲存於電腦系統中之資料。此等操作為需要對物理量進行物理操作之操作。本文中所描述之操作中的任何者為有用的機器操作，該等操作形成本發明之部分。本發明亦係關於用於執行此等操作之裝置或設備。該設備可出於所需目的專門構造而成，或該設備可為由儲存於電腦中之電腦程式選擇性地啟動或組配之通用電腦。詳言之，各種通用機器可與根據本文中之教示編寫的電腦程式一起使用，或可能更為方便的是，構造更專用的設備來執行所需操作。

本發明亦可體現為電腦可讀媒體上之電腦可讀碼。電腦可讀媒體為可儲存資料之任何資料儲存裝置，隨後可由電腦系統對其進行讀取。電腦可讀媒體之實例包括硬碟機、網路附接儲存器(NAS)、唯讀記憶體、隨機存取記憶體、CD-ROM、CD-R、CD-RW、磁帶及其他光學及非光學資料儲存裝置。電腦可讀媒體可包括分佈於網路 耦合電腦系統上之電腦可讀有形媒體，以使得電腦可讀碼以分佈式方式儲存及執行。

雖然以特定次序描述了方法操作，但應理解，可在操作之間執行其他內務操作，或可調整操作以使得其在略微不同的時間發生，或操作可分佈於系統中，該系統允許以與處理相關聯的各種時間間隔發生處理操作，只要以所要方式執行覆疊操作之處理即可。

雖然為了清楚理解之目的而略微詳細地描述了前述發明，但顯而易見的是，可在所附申請專利範圍之範疇內做出某些變化及修改。因此，本實施例應被認為是說明性的而非限制性的，且本發明不限於本文中給出的細節，而可在所附申請專利範圍之範疇及等效物內進行修改。

106‧‧‧電腦

108‧‧‧攝影機

Claims (19)

1. 一種用於處理用於頭戴顯示器(HMD)之位置內容的系統，其包含：一計算裝置，其與一使用者輸入裝置及該HMD介接，該計算裝置包括：一輸入裝置介面，其用於自一使用者輸入裝置或該HMD接收輸入，該輸入裝置介面處理用以選擇在該HMD中顯示之內容的指令；一虛擬實境空間產生模組，其用於以一虛擬實境場景之一形式來將所選擇內容渲染於該HMD中；以及一HMD移動模組，其用於追蹤該HMD在一真實空間中之移動，且用於識別該HMD在該真實空間中之一第一定位及姿勢，該HMD移動模組向該虛擬實境空間產生模組提供HMD定位及姿勢變化資料，以便渲染該虛擬實境場景對應於該HMD在該真實空間中之一第二定位及姿勢的額外內容；以及一真實空間映射系統，其耦合至該計算裝置，該真實空間映射系統包括：一光源，其用於跨該真實空間之至少一部分投射複數個光點；以及一攝影機，其與該HMD整合，該攝影機用於捕獲該複數個光點之一影像；其中使用來自由該攝影機所捕獲之該影像的該複數個點，藉由該HMD移動模組來判定該第二定位及姿 勢。
2. 如申請專利範圍第1項之系統，其中該HMD移動模組能夠分析由該攝影機所捕獲之該影像，以識別該真實空間中之複數個固定點。
3. 如申請專利範圍第2項之系統，其中提供HMD定位及姿勢變化資料包括：將該HMD識別至該第一定位及姿勢；選擇該複數個固定點中之至少兩者；利用該第一定位及姿勢中之HMD來判定該等所選擇固定點之間的一第一相對距離；將該HMD識別至該第二定位及姿勢；利用該第二定位及姿勢中之HMD來判定該等所選擇固定點之間的一第二相對距離；以及比較該第一相對距離與該第二相對距離，以判定該HMD定位及姿勢變化資料等於該第一定位及姿勢與該第二定位及姿勢之間的一差異。
4. 如申請專利範圍第2項之系統，其中該虛擬實境空間產生模組經組配來取決於至少一個定位及姿勢連續地產生用於該HMD之該額外內容，當渲染該虛擬實境場景時，該HMD朝該至少一個定位及姿勢移動。
5. 如申請專利範圍第2項之系統，其中對由該攝影機所捕獲之該影像或複數個影像的分析用來偵測該HMD在真實空間中之一位置，其中該HMD在真實空間中之該位置轉化為該HMD在該虛擬實境場景中之一位置，其中該 HMD用來識別該使用者輸入裝置與該虛擬實境場景中之一虛擬物件之間的互動。
6. 如申請專利範圍第2項之系統，其中該複數個固定點包括該複數個光點中之至少一部分。
7. 如申請專利範圍第2項之系統，其中該複數個固定點包括複數個識別點之至少一部分，該複數個識別點設置於該真實空間中所存在的一或多個固定物件上。
8. 如申請專利範圍第1項之系統，其中自該計算裝置之一局部儲存器，或經由一網路中之一或兩者來訪問選擇用於在該HMD中顯示的該內容。
9. 如申請專利範圍第1項之系統，其中該光源跨該真實空間之至少該部分投射該複數個光點作為一校準操作之部分，其中將該複數個光點中之至少一個影像保存為參考影像。
10. 如申請專利範圍第1項之系統，其進一步包含，至少一個慣性感測器，其設置於該HMD中，該慣性感測器產生該計算裝置可用的運動資料，以判定用於觀察該虛擬實境場景的該HMD之一對應定位及姿勢；其中該對應定位及姿勢用來使用該真實空間映射系統補充由HMD定位及姿勢變化資料所判定之定位及姿勢。
11. 一種用於追蹤用於渲染一虛擬實境場景之一頭戴顯示器(HMD)的方法，該HMD包括用於渲染該虛擬實境場景之一顯示螢幕，該方法包含：使用整合於該HMD之一外表面上的至少一個裝置來 捕獲影像資料，該影像資料捕獲該HMD所在的一真實空間；處理該影像資料以識別投射到該真實空間中之一表面上的至少兩個光點；繼續該捕獲及該處理以識別該所捕獲影像資料中之該至少兩個光點的位置變化，該等位置變化藉由該真實空間中之該HMD來識別定位及姿勢變化；其中該等定位及姿勢變化經組配來自動控制對該HMD之該顯示螢幕上所渲染之該虛擬實境場景的渲染調整，該等調整包括以下各項中之一或兩者：虛擬實境場景之觀察角度的變化，以及用於該虛擬實境場景之額外內容的渲染。
12. 如申請專利範圍第11項之方法，其中投射到該真實空間中之該表面上的該至少兩個光點係藉由一光發射器來投射。
13. 如申請專利範圍第11項之方法，其中以當該HMD之該追蹤發生時繼續之一訊框速率來執行繼續該捕獲。
14. 如申請專利範圍第11項之方法，其中藉由連接至該HMD之一計算裝置來判定該等定位及姿勢變化，且該計算裝置經組配來控制對該HMD之該顯示螢幕上所渲染之該虛擬實境場景的該渲染調整。
15. 如申請專利範圍第11項之方法，其進一步包含，在該真實空間中之該等定位及姿勢變化期間檢查該 HMD之慣性資料，該慣性資料產生於該HMD上以提供自動控制渲染調整時可用的一額外追蹤變數。
16. 一種頭戴顯示器(HMD)，其包含，一殼體，其包括一螢幕，該螢幕用於顯示與一虛擬實境場景相關聯的影像；一感測裝置，其整合於該殼體之一外表面上；以及一處理器，其用於控制對由該感測裝置所捕獲之影像資料的捕獲，該影像資料捕獲該HMD所在的一真實空間以及所偵測的至少兩個光點，以藉由一發射器投射至該真實空間之一表面上，該處理器經組配來在該真實空間中之該HMD的定位追蹤期間將該影像資料連續轉移至一計算裝置，該處理器經組配來基於該影像資料中之該至少兩個光點的位置變化，來識別該HMD之定位及定位及姿勢變化，該處理器進一步經組配來接收用於該虛擬實境場景之內容，以基於所識別之定位及定位及姿勢變化來渲染於該螢幕上；其中該等定位及定位及姿勢變化致使對以下各項中之一或兩者的自動調整：該虛擬實境場景之一觀察角度，以及用於該虛擬實境場景之額外內容的渲染。
17. 如申請專利範圍第16項之HMD，其進一步包含，一慣性感測器，其與該殼體整合，該慣性感測器向該處理器提供運動資料，以便判定定位、定位及姿勢或加速度中之一或多者。
18. 如申請專利範圍第16項之HMD，其中該感測裝置為以下各項中之一者：一攝影機、或一紅綠藍(RGB)攝影機、或一紅外(IR)攝影機、或一視訊攝影機、或一深度攝影機、或一定位感測裝置(PSD)。
19. 如申請專利範圍第16項之HMD，其中該發射器為以下各項中之一者：一光發射器、或一雷射光發射器、或一紅外發射器、或一可見光譜能量發射器，且其中該發射器以一固定位置位於該真實空間中，該固定位置與該HMD分離，且朝向該表面。