TW202339497A - 用於擴增實境裝置的彈性成像 - Google Patents

用於擴增實境裝置的彈性成像 Download PDF

Info

Publication number
TW202339497A
TW202339497A TW111146105A TW111146105A TW202339497A TW 202339497 A TW202339497 A TW 202339497A TW 111146105 A TW111146105 A TW 111146105A TW 111146105 A TW111146105 A TW 111146105A TW 202339497 A TW202339497 A TW 202339497A
Authority
TW
Taiwan
Prior art keywords
subset
rendering
certain embodiments
network
presentation
Prior art date
Application number
TW111146105A
Other languages
English (en)
Inventor
克里斯 羅哈斯
鄭東
尤金 哥羅巴特夫
饒子青
樊宇婷
澄 張
Original Assignee
美商元平台技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商元平台技術有限公司 filed Critical 美商元平台技術有限公司
Publication of TW202339497A publication Critical patent/TW202339497A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/08—Bandwidth reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明提供一種由一呈現裝置進行之方法，其包括：接收呈現對應於待同時顯示於一擴增實境（AR）頭戴式耳機上之多個虛擬物件之多個表面的一請求。該方法進一步包括該AR頭戴式耳機經由一無線鏈路連接至該呈現裝置。回應於該無線鏈路之一網路品質低於一臨限條件的一判定，該方法進一步包括選擇相比複數個表面之一第二子集具有更高優先級的該多個表面之一第一子集。該方法包括將多個表面之該第一子集傳輸至該AR頭戴式耳機以供顯示，且在傳輸該第一子集之後將多個表面之該第二子集傳輸至該AR頭戴式耳機以供顯示。此方法包括根據一呈現參數集呈現該等表面以便滿足一或多個網路約束。

Description

用於擴增實境裝置的彈性成像
本發明大體上係關於擴增實境（augmented-reality；AR）環境，且更特定而言，係關於為AR環境呈現圖形。
擴增實境（AR）系統通常可包括真實世界環境，該環境包括覆疊真實世界環境之一或多個特徵的AR內容。在典型的AR系統中，對應於虛擬物件之影像資料可在例如頭戴式顯示器（head-mounted display；HMD）上呈現，該頭戴式顯示器可經由實體有線或無線連接而耦接至負責產生影像資料之基本圖形產生裝置或呈現裝置。在一些情況下，輕型AR眼鏡及/或其他輕型可穿戴式電子裝置可包括降低的處理能力、低解析度攝影機及/或相對簡單的追蹤光學件，其顯現與在不良無線網路條件下提供高品質AR內容及傳輸影像資料相關聯的問題。因此，在不良無線網路條件下為AR系統提供改善表面之延時彈性呈現的技術可為有用的。
本發明係有關於解決與在由高延時、低頻寬或其他約束組成之不良無線條件下提供高品質AR內容相關聯的問題。長久以來，AR技術一直受到在AR裝置上呈現虛擬物件之延時問題的挑戰。若存在連接呈現裝置及AR裝置之不良無線條件，則當在傳輸影像資料期間丟失多個圖框或封包時，傳輸至AR裝置之影像資料可遺失。封包遺失可能會導致無法在AR裝置上顯示完整影像或僅顯示部分影像。另外，延時可能會導致AR裝置之使用者意欲關注的內容與顯示於AR裝置上的內容之間的滯後。當表面之幾何形狀複雜時或當需要顯示複數個虛擬物件時，滯後及部分呈現的虛擬物件尤其明顯。舉例而言，為創建沉浸式環境，使用者可能需要能夠在檢視環境時使其頭部來回移動，以關注環境內之不同虛擬物件或場景。因而，AR裝置必須能夠快速地修改與使用者之頭部移動對應的場景及虛擬物件。使用者之頭部移動與AR裝置上之環境呈現之間的延時可能會造成使用者體驗到不舒適的感官失調。重新呈現整個環境以考量使用者視角之改變為資源密集型的，且可能僅有可能以低圖框速率（例如，60 Hz或每1/60秒一次）實現。通常，為了防止使用者經歷滯後，環境中之物件應快速（例如，至少200 Hz或每1/200秒一次）呈現。一種解決方案涉及使用表示AR環境內之虛擬物件的「表面」。該等表面對應於預期作為一個單元一起移動、平移、偏斜、縮放、失真或以其他方式改變外觀的一或多個虛擬物件。呈現裝置之計算系統可判定此等表面之性質且根據當前無線網路品質動態地調整複數個參數。本發明具體實例係有關於可由呈現裝置用於向AR裝置之使用者呈現一或多個表面的各種彈性呈現技術。
本發明具體實例旨在藉由利用分離計算架構提供一種延時彈性AR體驗，其中呈現裝置之圖形處理單元（graphics processing unit；GPU）可接收顯示影像資料之請求，評估無線網路條件且在將影像資料傳輸至AR裝置以供顯示之前調整複數個參數。藉由解耦呈現裝置與HMD之間的圖框速率，呈現裝置具有調整如何將對應於虛擬物件之影像資料傳輸至HMD以供顯示的靈活性。
舉例而言，在特定具體實例中，呈現裝置可接收呈現對應於待同時顯示於擴增實境（AR）頭戴式耳機上之複數個虛擬物件之複數個表面的請求。在特定具體實例中，AR頭戴式耳機可經由無線鏈路連接至呈現裝置。在特定具體實例中，回應於無線鏈路之網路品質低於臨限條件的判定，呈現裝置可判定複數個表面之子集相比其他子集具有更高的優先級。舉例而言，呈現裝置可選擇相比複數個表面之第二子集具有更高優先級的複數個表面之第一子集，將複數個表面之第一子集傳輸至AR頭戴式耳機以供顯示，且接著將複數個表面之第二子集傳輸至AR頭戴式耳機以供顯示。應理解，複數個表面之第二子集係在複數個表面之第一子集之後傳輸。呈現裝置之計算系統可判定此等表面之性質，諸如表面之解析度及/或表面之維度（二維（2D）或三維（3D））。在特定具體實例中，基於複數個表面之性質，呈現裝置可將複數個表面劃分成子集，且基於各子集之性質，應用一或多種彈性呈現技術，且進一步將一或多個第一子集優先於一或多個第二子集以供傳輸至AR裝置。
在特定具體實例中，一種彈性呈現技術可為調整一或多個個別表面之影像品質或解析度。呈現裝置可基於不良網路條件之判定而判定需要降低一或多個表面之品質及解析度。在特定具體實例中，呈現裝置可能需要執行以下動作：重設影像資料自呈現裝置至AR裝置之串流；重新分配呈現裝置之記憶體；及減小自呈現裝置至AR裝置之資料傳輸速率。
在特定具體實例中，一種彈性呈現技術可為優先化表面。在一個具體實例中，呈現裝置可判定3D表面相比2D表面具有更高優先級，且結果，將表面之第一子集中的3D表面傳輸至AR頭戴式耳機，其中在後續子集中傳輸2D表面。另外，呈現裝置可回應於無線條件而將3D表面轉譯成2D表面。在特定具體實例中，需要首先更新的一或多個表面可被給予較高的優先級。在特定具體實例中，意欲被世界鎖定之表面可判定為相比頭部鎖定表面具有更高的傳輸優先級。
在特定具體實例中，一種彈性呈現技術可為速率控制。回應於當前無線條件之判定，呈現裝置可執行速率控制，其中呈現以減小之位元速率傳輸表面資料，藉此減小資料速率。
在特定具體實例中，一種彈性呈現技術可為多間隔表面傳送。回應於無線條件之判定，呈現裝置可以多個間隔傳送單一表面或複數個單一表面。為進行此操作，給定無線通道利用率之當前等級，呈現裝置可使每秒圖框數適應於可用無線頻寬，且經由多個無線間隔傳輸單一表面。在特定具體實例中，同一子集內之表面可分佈至多個系統間隔中以減少連續圖框丟失之發生，此影響使用者體驗。
在特定具體實例中，一種彈性呈現技術可為內容感知無線排程及圍欄。在特定具體實例中，呈現裝置可旋轉同一子集內之一或多個表面的排程以避免一個表面之圖框速率持續下降。另外，在特定具體實例中，呈現裝置可執行基於缺陷之動態熱圍欄，其中可調整作用工作循環時間使得可同時傳輸左眼球表面及右眼球表面或兩者將皆不會傳輸。若呈現裝置判定丟失例如四個圖框將引起抖動，則呈現裝置可判定及執行臨時解決方案，其中具有延長傳輸時間之四個圖框中之一者或兩者將被傳輸至AR裝置，同時跳過剩餘的兩個或三個圖框。
在特定具體實例中，一種彈性呈現技術可為回應於呈現裝置對無線網路條件之判定而減少內容。類似地，回應於呈現裝置對無線網路條件之判定，呈現裝置可減小視場（field of view；FoV），其中可將減小數目個像素傳輸至AR裝置以供顯示。在特定具體實例中，一種彈性呈現技術可為減少每秒內容圖框數（frames per second；FPS）。舉例而言且並非作為限制，具有45 FPS之表面可在具有系統間隔改變之情況下減少至30 FPS（或在無系統間隔改變之情況下減少至22.5）。在特定具體實例中，減少內容FPS之技術可改善具有抖動之環境中的世界鎖定表面之可感知性。
在特定具體實例中，一種彈性呈現技術可為維度調整。舉例而言，回應於呈現裝置對無線網路條件之判定，呈現裝置可將3D表面壓縮成2D表面，其可顯示相同表面，但相較於原始3D表面具有約1/10的壓縮大小。在特定具體實例中，一種彈性呈現技術可為將一表面劃分成多個表面。回應於無線網路條件之判定，呈現裝置可判定將具有多個無線封包之一表面劃分成多個表面。另外，在特定具體實例中，一種彈性呈現技術可為將一或多個表面傳輸至編碼友好材料中。回應於無線網路條件之判定，呈現裝置可傳輸例如更多地使用素色、具有梯度色彩方案及/或低解析度紋理之複數個表面中之一或多者。
因此，根據前述具體實例，本發明技術可提供各種呈現技術，該等呈現技術可在無線鏈路之網路品質低於臨限條件時由呈現裝置用於優先化及將表面之複數個子集傳輸至AR頭戴式耳機以供顯示。以此方式，可藉由管理呈現工作負載及減少連續圖框速率下降之發生來最佳化裝置管線，從而以最高品質操作。
本文中所揭示之具體實例僅為實例，且本發明之範圍不限於該等具體實例。特定具體實例可包括本文中所揭示之具體實例的組件、元件、特徵、功能、操作或步驟中之全部、一些或無一者。根據本發明之具體實例尤其在針對一種方法、一種儲存媒體、一種系統及一種電腦程式產品之所附申請專利範圍中揭示，其中在一個請求項類別中提及的任何特徵（例如，方法）亦可在另一請求項類別（例如，系統）中主張。僅出於形式原因選擇所附申請專利範圍中之相依性或反向參考。然而，亦可主張由對任何前述請求項之反向故意參考（特定而言，多重相依性）產生的任何主題，使得請求項及其特徵之任何組合被揭示且可無關於在所附申請專利範圍中選擇的相依性而主張。可主張的主題不僅包含如所附申請專利範圍中闡述的特徵之組合而且包含申請專利範圍中特徵之任何其他組合，其中申請專利範圍中所提及的各特徵可與任何其他特徵或申請專利範圍中之其他特徵之組合來組合。此外，本文中所描述或描繪之具體實例及特徵中之任一者可在獨立技術方案中及/或在與本文中描述或描繪之任何具體實例或特徵或與所附申請專利範圍之特徵中之任一者的任何組合中主張。
擴增實境（AR）系統通常可包括真實世界環境，該環境包括覆疊真實世界環境之一或多個特徵的AR內容。在典型的AR系統中，對應於虛擬物件之影像資料可在例如頭戴式顯示器（HMD）上呈現，該頭戴式顯示器可經由實體有線連接或無線連接而耦接至負責產生影像資料之基本圖形產生裝置。在HMD包括例如輕型AR眼鏡及/或其他可穿戴式電子裝置而非更堅固的頭戴式耳機裝置之情況下，相比之下，AR眼鏡或其他輕型可穿戴式電子裝置可包括降低的處理能力。因而，本發明具體實例係有關於一種具有分離計算架構及各種延時彈性工作負載管理技術之AR系統。
長久以來，AR技術一直受到在AR裝置上呈現虛擬物件之延時問題的挑戰。本發明之具體實例可包括分離計算架構，其中呈現裝置可經由共用無線網路通信耦接至HMD。舉例而言且並非作為限制，使用者可能會將HMD穿戴於其頭部上，且將呈現裝置儲存於各種位置中，諸如使用者之前褲袋、後褲袋或背包中。若存在連接呈現裝置及AR裝置之不良無線條件，則當在傳輸表面期間丟失多個圖框或封包時，傳輸至AR裝置之表面可遺失。封包遺失可導致抖動，無法在AR裝置上顯示完整影像或僅顯示部分影像。另外，延時可能會導致AR裝置之使用者意欲關注的內容與顯示於AR裝置上的內容之間的滯後。當表面之幾何形狀複雜時或當需要同時顯示複數個表面時，滯後及部分呈現表面可能尤其明顯。另外，為創建沉浸式環境，使用者可能需要能夠在檢視環境時使其頭部來回移動，以關注環境內之不同虛擬物件或場景。因而，AR裝置必須能夠快速地修改與使用者之頭部移動對應的場景及虛擬物件。使用者之頭部移動與AR裝置上之環境呈現之間的延時可能會造成使用者體驗到不舒適的感官失調。重新呈現整個環境以考量使用者視角之改變為資源密集型的，且可能僅有可能以低圖框速率（例如，60 Hz或每1/60秒一次）實現。通常，為了防止使用者經歷滯後，環境中之物件應快速（例如，至少200 Hz或每1/200秒一次）呈現。
一種解決方案涉及使用表示AR環境內之虛擬物件的「表面」。該等表面對應於預期作為一個單元一起移動、平移、偏斜、縮放、失真或以其他方式改變外觀的一或多個虛擬物件。呈現裝置之計算系統可判定此等表面之性質且根據當前無線網路品質動態地調整複數個參數。在特定具體實例中，可能存在三種類型之表面：影像表面、標籤表面及遮罩表面。影像表面可用以呈現陰影影像，例如視訊圖框、靜態影像或由GPU呈現之場景。作為實例而非作為限制，靜態影像（例如，基於使用者檢視其而改變的虛擬定製告示板）可由影像表面表示。作為另一實例而非作為限制，動態視訊（例如，「附接」至實體物件且適當地扭曲的AR電視）之各圖框可由影像表面表示。作為另一實例而非作為限制，參考性的若干化身（例如，定位於場景中之真實化身）可由影像表面表示。作為另一實例而非作為限制，同時向多個檢視者展示以促進合作之動態物件（例如，建築物之動態3D模型）可由影像表面表示。在特定具體實例中，影像表面可儲存其紋素（texel）中之一或多者的紅色-綠色-藍色（red-green-blue；RGB）分量。在特定具體實例中，影像表面可儲存其紋素中之一或多者的紅色-綠色-藍色-α（red-green-blue-α；RGBA）分量。α分量可為指定待符合於紋素之透明度等級的值。作為實例而非作為限制，α值為0可指示紋素完全透明，α值為1可指示紋素不透明，且在其間的α值可指示其間的透明度等級（準確的透明度等級由值判定）。影像表面可支援任何合適的影像格式。作為實例而非作為限制，影像表面可支援16位元及32位元像素格式兩者，其具有4位元至10位元RGB分量大小。在特定具體實例中，各影像格式可具有用於儲存α值之至少一個位元（例如，以允許透明區）。
在特定具體實例中，標籤表面可儲存帶正負號距離及色彩索引，且可用以呈現包括素色區之物件，例如文字、字符及圖示。作為實例而非作為限制，AR書可包括可由一或多個標籤表面表示之文字。在特定具體實例中，表面可固定至場景中之物件（例如，靜態或移動物件），可固定於空間中，或可相對於使用者頭部固定（例如，使得其不固定至場景中之任何特定物件，而是連同使用者頭部一起移動。作為另一實例而非作為限制，以文字與多種色彩之組合展示元素的週期表可由一或多個標籤表面表示。在此實例中，可相對於使用者頭部顯示週期表（例如，使得其不固定至場景中之任何特定物件，而是連同使用者頭部一起移動）。作為另一實例而非作為限制，用於導航目的之與不同公共汽車路線相關的不同色彩之線路及相關聯文字可由一或多個標籤表面表示，該等標籤表面可固定於空間中或相對於物件固定。作為另一實例而非作為限制，包括關於公共汽車之擴增資訊（例如，容量、到達時間、關於下一公共汽車站之資訊）的文字可由一或多個標籤表面表示，該一或多個標籤表面可相對於物件固定。標籤表面可具有任何合適的格式。作為實例而非作為限制，標籤表面可每紋素儲存8個位元，包括例如6位元距離欄位值及2位元索引。作為另一實例而非作為限制，雙標籤表面可每標籤紋素儲存16個位元（例如，第一6位元距離欄位及第一2位元索引，以及第二6位元距離欄位及第二2位元索引），以允許指定兩個帶正負號距離功能。在特定具體實例中，取決於內插距離之高階位元，此等實例中之索引可用以查找待使用的RGBA色彩。
在特定具體實例中，遮罩表面可儲存可用以遮擋在其後方之表面的α值（例如，值1）。作為實例而非作為限制，當使用者之（真實世界）手部在正由AR裝置顯示之AR物件前方通過時，遮罩表面可遮擋表示AR物件之表面之一部分。因而，本發明具體實例係有關於各種彈性呈現技術，其可由呈現裝置用於向使用者呈現一或多個影像表面、標籤表面、遮罩表面或其他表面。
本發明具體實例旨在藉由利用分離計算架構提供一種延時彈性AR體驗，其中呈現裝置之GPU可接收顯示影像資料之請求，評估無線網路條件且在將影像資料傳輸至AR裝置以供顯示之前調整複數個參數。藉由解耦呈現裝置與HMD之間的圖框速率，呈現裝置具有調整如何將對應於虛擬物件之影像資料傳輸至HMD以供顯示的靈活性。呈現裝置可包括一或多個處理器、記憶體裝置、攝影機、感測器、電池、使用者輸入及使用者輸出功能性。
舉例而言，在特定具體實例中，呈現裝置可接收呈現對應於待同時顯示於擴增實境（AR）頭戴式耳機上之複數個虛擬物件之複數個表面的請求。在特定具體實例中，AR頭戴式耳機可經由各種無線通信網路（例如，WLAN、WAN、PAN、蜂巢式、WMN、WiMAX、GAN、6LowPAN等）連接至呈現裝置。在特定具體實例中，回應於無線鏈路之網路品質低於臨限條件的判定，呈現裝置可判定複數個表面之子集相比其他子集具有更高的優先級。舉例而言，呈現裝置可選擇相比複數個表面之第二子集具有更高優先級的複數個表面之第一子集，將複數個表面之第一子集傳輸至AR頭戴式耳機以供顯示，且接著在傳輸第一子集之後將複數個表面之第二子集傳輸至AR頭戴式耳機以供顯示。呈現裝置之計算系統可判定此等表面之性質，諸如表面之解析度及/或表面之維度（二維（2D）或三維（3D））。在特定具體實例中，基於複數個表面之性質，呈現裝置可將複數個表面劃分成子集，且基於各子集之性質，應用一或多種彈性呈現技術，且進一步將一或多個第一子集優先於一或多個第二子集以供傳輸至AR裝置。
在特定具體實例中，一種彈性呈現技術可為調整一或多個個別表面之影像品質或解析度。呈現裝置可基於不良網路條件之判定而判定需要降低一或多個表面之品質及解析度。在特定具體實例中，呈現裝置可能需要執行以下動作：重設影像資料自呈現裝置至AR裝置之串流；重新分配呈現裝置之記憶體；及減小自呈現裝置至AR裝置之資料傳輸速率。
在特定具體實例中，一種彈性呈現技術可為優先化表面。在一個具體實例中，呈現裝置可判定3D表面相比2D表面具有更高優先級，且結果，將表面之第一子集中的3D表面傳輸至AR頭戴式耳機，其中在後續子集中傳輸2D表面。在特定具體實例中，需要首先更新的一或多個表面可被給予較高的優先級。在特定具體實例中，意欲被世界鎖定之表面可判定為相比頭部鎖定表面具有更高的傳輸優先級。
在特定具體實例中，一種彈性呈現技術可為速率控制。回應於當前無線條件之判定，呈現裝置可執行速率控制，其中呈現裝置以減小的位元速率傳輸表面資料，藉此減小資料速率。
在特定具體實例中，一種彈性呈現技術可為多間隔表面傳送。回應於無線條件之判定，呈現裝置可以多個間隔傳送單一表面或複數個單一表面。為進行此操作，給定無線通道利用率之當前等級，呈現裝置可使每秒圖框數適應於可用無線頻寬，且經由多個無線間隔傳輸單一表面。在特定具體實例中，同一子集內之表面可分佈至多個系統間隔中以減少連續圖框丟失之發生，此影響使用者體驗。
在特定具體實例中，一種彈性呈現技術可為內容感知無線排程及圍欄。在特定具體實例中，呈現裝置可旋轉同一子集內之一或多個表面的排程以避免一個表面之圖框速率持續下降。另外，在特定具體實例中，呈現裝置可執行基於缺陷之動態熱圍欄，其中可調整作用工作循環時間使得可同時傳輸左眼球表面及右眼球表面或兩者將皆不會傳輸。若呈現裝置判定丟失例如四個圖框將引起抖動，則呈現裝置可判定及執行臨時解決方案，其中具有延長傳輸時間之四個圖框中之一者或兩者將被傳輸至AR裝置，同時跳過剩餘的兩個或三個圖框。
在特定具體實例中，一種彈性呈現技術可為回應於呈現裝置對無線網路條件之判定而減少內容。類似地，回應於呈現裝置對無線網路條件之判定，呈現裝置可減小視場（FoV），其中可將減小數目個像素傳輸至AR裝置以供顯示。在特定具體實例中，一種彈性呈現技術可為減少每秒內容圖框數（FPS）。舉例而言且並非作為限制，具有45 FPS之表面可在具有系統間隔改變之情況下減少至30 FPS（或在無系統間隔改變之情況下減少至22.5）。在特定具體實例中，減少內容FPS之技術可改善具有抖動之環境中的世界鎖定表面之可感知性。
在特定具體實例中，一種彈性呈現技術可為維度調整。舉例而言，回應於呈現裝置對無線網路條件之判定，呈現裝置可將3D表面壓縮成2D表面，其可顯示相同表面，但相較於原始3D表面具有約1/10的壓縮大小。在特定具體實例中，一種彈性呈現技術可為將一表面劃分成多個表面。回應於無線網路條件之判定，呈現裝置可判定將具有多個無線封包之一表面劃分成多個表面。另外，在特定具體實例中，一種彈性呈現技術可為將一或多個表面傳輸至編碼友好材料中。回應於無線網路條件之判定，呈現裝置可傳輸例如更多地使用素色、具有梯度色彩方案及/或低解析度紋理之複數個表面中之一或多者。
因此，本發明具體實例係有關於各種呈現技術，該等技術可由AR系統用於減少或減輕封包遺失及/或封包錯誤率。在特定具體實例中，與呈現表面以及產生及修改表面相關聯之處理任務可在呈現裝置上執行。經修改或調整之表面可接著傳輸至AR眼鏡以供顯示。各表面可為一或多個物件之表示。作為實例而非作為限制，若判定個人及帽子將作為一個單位移動、平移、失真或以其他方式改變外觀，則個人化身及穿戴帽子之化身可對應於一個表面。在特定具體實例中，表面可為矩形「紋理」，其可為包括定義場景中之一或多個物件之視覺資訊（例如，色彩、透明度）的虛擬概念。該表面亦可包括變換矩陣以指定其在場景中之位置。表面的紋理資料可由在本文中被稱作「紋素」之一或多個子部分組成。此等紋素可為聚集在一起以創建組成表面之紋素陣列的區塊（例如，矩形區塊）。作為實例而非作為限制，其可為組成表面之連續區塊。出於說明性目的，表面之紋素可概念化為類似於影像之像素。作為實例而非作為限制，呈現裝置之CPU或GPU可產生表面。
在特定具體實例中，呈現裝置之計算系統可判定是否減少或調整與呈現表面相關聯之呈現工作負載以滿足不良網路條件之約束。舉例而言，在特定具體實例中，呈現裝置之計算系統可根據無線網路條件之判定而優先化及調整表面。呈現裝置之計算系統可更改一或多個參數，諸如更改圖框速率，更改解析度，更改維度（自3D至2D），更改位元深度、色彩通道，更改姿勢更新臨限值，更改深度連續性，更改內容範圍，更改深度密度，更改近場深度，更改遠場深度，更改亮度，更改對比度或更改色調。
在特定具體實例中，呈現裝置之計算系統可接收呈現待同時顯示於AR頭戴式耳機上之複數個表面的請求。呈現裝置可包括一或多個處理器。在特定具體實例中，回應於呈現裝置對無線鏈路之網路品質低於臨限條件的判定，呈現裝置可選擇相比複數個表面之第二子集具有更高優先級的複數個表面之第一子集。呈現裝置可將複數個表面之第一子集傳輸至AR頭戴式耳機以供顯示，且在傳輸第一子集之後將複數個表面之第二子集傳輸至AR頭戴式耳機以供顯示。作為另一實例而非作為限制，HMD之機載計算系統可在其自分開的計算系統（例如，自可穿戴式、手持型或膝上型電腦裝置之CPU或GPU）接收初始場景之後產生一或多個表面。在特定具體實例中，可能存在可出於效率目的而針對視圖產生之預定義最大數目個表面（例如，16個表面）。
因此，根據前述具體實例，本發明技術可提供可由AR系統利用之各種彈性呈現技術。舉例而言，可提供本發明技術以根據無線網路品質優先化及更改表面之各種參數。
圖 1繪示根據本發明所揭示之具體實例的示範性擴增實境（AR）系統100，該系統可適合於顯示一或多個表面。在特定具體實例中，AR系統100可包括AR裝置102、網路104及計算平台106。在特定具體實例中，使用者可穿戴可向使用者顯示視覺延展實境內容之AR裝置102。AR裝置102可包括可將音訊延展實境內容提供至使用者之音訊裝置。在特定具體實例中，AR裝置102可包括可俘獲環境之影像及視訊的一或多個攝影機。AR裝置102可包括眼球追蹤系統以判定使用者之輻輳距離。在特定具體實例中，AR裝置102可包括輕型頭戴式顯示器（HMD）（例如，護目鏡（goggle）、眼鏡（eyeglass）、平光眼鏡（spectacle）、目鏡（visor）等）。在特定具體實例中，AR裝置102亦可包括非HMD裝置，諸如輕型手持式顯示裝置或一或多個雷射投影平光眼鏡（例如，可將低功率雷射投影至使用者之視網膜上以向使用者投影及顯示影像或深度內容的平光眼鏡）。在特定具體實例中，網路104可包括例如可適合於將AR裝置102通信耦接至計算平台106之各種無線通信網路（例如，WLAN、WAN、PAN、蜂巢式、WMN、WiMAX、GAN、6LowPAN等）中之任一者。
在特定具體實例中，計算平台106可包括例如獨立主機計算系統、與AR裝置102整合之機載電腦系統、行動裝置、呈現裝置、工作台，或可能夠將延展實境內容提供至AR裝置102之任何其他硬體平台。在特定具體實例中，計算平台106可包括例如基於雲端之計算架構（包括一或多個伺服器108及資料儲存庫110），該架構適合於代管及服務在AR裝置102上執行之AR應用程式或體驗。舉例而言，在特定具體實例中，計算平台106可包括平台即服務（Platform as a Service；PaaS）架構、軟體即服務（Software as a Service；SaaS）架構及基礎架構即服務（Infrastructure as a Service；IaaS），或其他類似的基於雲端之計算架構。如可瞭解，在AR裝置102包括諸如護目鏡、眼鏡、平光眼鏡、目鏡等之輕型裝置的特定具體實例中，由於較小的架構面積，AR裝置102可包括減少的電源管理（例如，電池、電池大小）電子裝置。因此，如關於圖2、圖3、圖4及圖5將進一步瞭解，提供可由裝置用於在不良無線條件下呈現內容之各種技術可為有用的。
圖 2繪示根據本發明所揭示之具體實例的擴增實境（AR）系統200之詳細具體實例，該系統用於提供可由呈現裝置用於在變化之無線條件下呈現表面的各種彈性呈現技術。如所描繪，呈現裝置220可包括頭部姿勢追蹤功能區塊202、呈現引擎204、3D重投影扭曲功能區塊206、資源管理器208、內容管理器210及應用程式212。在特定具體實例中，呈現裝置220可經由呈現引擎204產生對應於影像圖框序列（例如，（紅）色、（藍）色、（綠）色影像資料）之表面。在特定具體實例中，呈現裝置220亦可存取對應於表面之一或多個深度圖。在特定具體實例中，如進一步所描繪，呈現裝置220亦可維護及追蹤由頭部姿勢功能區塊202計算之一或多個表面的姿勢資訊（例如，頭部姿勢資料、物件姿勢資料）及自AR裝置102接收到之姿勢資料。
在特定具體實例中，呈現裝置220可代管及服務應用程式212，其可包括例如在AR裝置102上執行之AR體驗。舉例而言，在特定具體實例中，應用程式212可包括例如AR應用程式，諸如視訊遊戲應用程式（例如，單人遊戲、多人遊戲、第一人稱視點（point of view；POV）遊戲）、地圖應用程式、音樂播放應用程式、視訊共用平台應用程式、視訊串流應用程式、電子商務應用程式、社交媒體應用程式、使用者介面（user interface；UI）應用程式，或使用者102可體驗的其他AR應用程式。在特定具體實例中，如由 圖 2進一步所描繪，應用程式212或其他AR內容可藉助於內容管理器210分析及管理。舉例而言，在特定具體實例中，內容管理器210可包括例如可用以分析及管理3D內容之任何系統（例如，軟體系統、構架、合成器（compositor），或管理由AR裝置102顯示之場景的其他形式之中間軟體/運行時間系統），該3D內容與待由AR裝置102呈現及顯示之應用程式212相關聯。類似地，資源管理器208可包括例如追蹤用於代管及服務應用程式212或其他AR內容之可用硬體及/或軟體組件的任何系統（例如，軟體系統）。
在特定具體實例中，如由 圖 2進一步所描繪，呈現裝置220可利用呈現引擎204將影像變換成對應於應用程式212或其他AR內容之表面。在特定具體實例中，呈現引擎204可接著將所呈現表面輸出至3D重投影扭曲功能區塊206，該功能區塊可用以補償網路104針對視點改變之延時，此係因為所呈現圖框係經由網路104提供至AR裝置102。在特定具體實例中，如進一步所描繪，所呈現且扭曲的圖框可接著經由網路104自3D重投影扭曲功能區塊206傳遞至AR裝置102之最新IMU功能區塊242。在特定具體實例中，最新IMU功能區塊242可用以例如使所呈現表面與最新的使用者頭部姿勢資料及物件姿勢資料（例如，即時或近即時的頭部姿勢資料及/或物件姿勢資料）相關聯，且將表面246重投影及顯示於AR裝置102之一或多個顯示器上以供AR裝置102之使用者互動。
在特定具體實例中，如前文關於 圖 1所論述，在AR裝置102包括例如輕型AR眼鏡及/或其他可穿戴式電子裝置而非更堅固的頭戴式耳機裝置之情況下，相比之下，AR裝置102可包括降低的處理能力、低解析度攝影機及/或相對簡單的追蹤光學件。另外，由於不良無線條件，AR裝置102可經歷封包遺失及連續圖框丟失。因此，在無提供用於在不良無線條件下減少連續圖框丟失之發生的彈性呈現技術的本發明所揭示之具體實例的情況下，AR裝置102將另外被排除在呈現表面之最大效能之外，此影響使用者體驗。舉例而言，在某些具體實例中，AR裝置102可能必須採取動作以保持在網路104傳輸約束之限制內。舉例而言，呈現裝置220可能必須降低表面之解析度，優先化表面，以較低位元速率傳輸表面，以多個間隔傳輸表面，減小表面之數目，減小FoV，減小FPS等。
舉例而言，如由 圖 2進一步所描繪，在特定具體實例中，AR裝置102可包括集中式內容及資源管理器232（例如，內容及場景管理器），該管理器可用以執行用於減輕圖框丟失之各種彈性呈現技術。應瞭解，雖然集中式內容及資源管理器232顯示為實施於AR裝置102上，但在一些具體實例中，集中式內容及資源管理器232可駐留於呈現裝置220或AR裝置102上，或在呈現裝置220與AR裝置102之間分離及共用。舉例而言，在一些具體實例中，集中式內容及資源管理器232可作為構架之部分實施於軟體模組中，或分佈於軟體模組與韌體模組之間。在一些具體實例中，本發明的呈現工作負載管理技術可由AR裝置102之集中式內容及資源管理器232且在關於呈現裝置220之呈現之後（例如，在圖框由呈現裝置220之呈現引擎234產生及呈現且被提供至AR裝置102之後）執行。在其他具體實例中，本發明的呈現工作負載管理技術可在一或多個表面之呈現及顯示已在進行中時由集中式內容及資源管理器232執行（例如，即時地或近即時地）。又，在其他具體實例中，本發明的彈性呈現技術可僅由AR裝置102之集中式內容及資源管理器232安排，且由AR裝置102之呈現引擎234或由呈現裝置220之呈現引擎204執行。
在特定具體實例中，集中式內容及資源管理器232可相對於與呈現一或多個表面相關聯之所判定呈現工作負載來監測網路104之條件（例如，網路104延時、網路104品質、網路104頻寬、網路104資料輸送量等）。舉例而言，在一些具體實例中，一或多個表面可包括可對延時敏感之AR內容（例如，世界鎖定之AR內容可隨著使用者頭部姿勢改變而不斷地更新）。根據本發明所揭示之具體實例，集中式內容及資源管理器232可因此分析一或多個表面之AR內容，且基於網路104之條件及與呈現一或多個表面相關聯之所判定呈現工作負載，在利用AR裝置102之呈現引擎234及相關聯之一或多個第一GPU呈現一或多個表面與利用呈現裝置220之呈現引擎204及相關聯之一或多個第二GPU呈現一或多個表面之間動態地切換。
舉例而言，在特定具體實例中，呈現裝置220之內容管理器210及/或資源管理器208可將對與待由AR裝置102呈現及顯示之一或多個應用程式212相關聯之表面的請求提供至集中式內容及資源管理器232，且集中式內容及資源管理器232可接著判定呈現及顯示所請求表面之方式。集中式內容及資源管理器232可接著藉由指示及利用呈現引擎204及3D重投影扭曲功能區塊206來進行所請求表面之呈現及顯示。在一個示範性具體實例中，集中式內容及資源管理器232可包括例如可用以分析、處理及管理待由AR裝置102呈現及顯示之AR內容之表面的任何系統（例如，軟體系統）。在另一示範性具體實例中，集中式內容及資源管理器232可包括例如維護及追蹤可用硬體資源及/或軟體資源（例如，功率預算、熱預算、攝影機資料238、感測器資料240、處理能力、記憶體容量、功率消耗、處理時間、網路104頻寬、網路104延時、網路104資料輸送量、網路104品質等）的任何系統（例如，軟體系統），該等硬體資源及/或軟體資源待用於在AR裝置102上呈現及顯示AR內容之表面。
在特定具體實例中，根據本發明所揭示之技術，集中式內容及資源管理器232可自呈現裝置220接收呈現一或多個表面之請求。舉例而言，在特定具體實例中，集中式內容及資源管理器232可接收呈現對應於應用程式212或其他AR內容之一或多個表面的請求。在特定具體實例中，集中式內容及資源管理器232可判定關於一或多個表面之內容之各物件的相關聯影像特性。舉例而言，在特定具體實例中，集中式內容及資源管理器232可相對於一或多個表面之內容的各物件判定中央凹區（例如，基於攝影機資料238，集中式內容及資源管理器232可判定及區分可在使用者之中央凹區中檢視到的物件及內容與可沿著使用者視野之周邊出現的相對物件及內容）、物件維度（例如，集中式內容及資源管理器232可判定及區分3D物件及內容與2D物件及內容）、檢視距離（例如，與檢視者之距離）、使用者互動（例如，遊戲可涉及使用者僅與某些物件互動而避開其他物件）等。
在特定具體實例中，集中式內容及資源管理器232可接著判定是否減少與呈現一或多個表面相關聯之呈現工作負載，以滿足與AR裝置102相關聯之一或多個網路104約束。
在特定具體實例中，呈現裝置220之呈現引擎204可回應於優先化或更改呈現工作負載之判定而產生用於回應於網路104品質之判定而呈現一或多個表面的呈現參數集。呈現參數可由一或多種呈現技術組成，如先前所論述。舉例而言且並非作為限制，呈現裝置220可產生由一或多個呈現參數組成之呈現模式之複數個集合。呈現模式可基於例如具有高使用者體驗影響（例如，減少向使用者顯示之表面的量）之呈現參數、具有中等/高使用者體驗影響（例如，優先化首先需要更新之表面）之呈現參數、具有中等/低使用者體驗影響（例如，經由多個無線間隔傳輸單一表面）之呈現參數及具有低使用者體驗影響（例如，色彩特性、梯度色彩方案等）之呈現參數而產生。在特定具體實例中，可基於具有變化程度之頻寬減少的呈現參數而產生呈現模式。在特定具體實例中，可基於電源供應器對AR裝置102之影響及/或各呈現參數可執行之位置（例如，GPU或無線）而產生呈現模式。
在特定具體實例中，呈現裝置220之呈現引擎204可執行指令以基於複數個表面之性質及網路104條件而將複數個表面劃分成子集，且基於各子集之性質而應用一或多種彈性呈現技術及/或呈現模式，且進一步將一或多個第一子集優先於一或多個第二子集以供傳輸至AR裝置102。
在特定具體實例中，呈現裝置220之呈現引擎204可執行指令以基於複數個表面之性質及網路104條件而調整一或多個個別表面之影像品質或解析度。呈現裝置220可基於不良網路104條件之判定而判定需要降低一或多個表面之品質及解析度。在特定具體實例中，呈現裝置220可能需要執行以下動作：重設影像資料自呈現裝置至AR裝置102之串流；重新分配呈現裝置之記憶體；及減小自呈現裝置至AR裝置102之資料傳輸速率。
在特定具體實例中，呈現裝置220之呈現引擎204可執行指令以基於複數個表面之性質及網路104條件而判定3D表面相比2D表面具有更高的優先級，且結果，將表面之第一子集中的3D表面傳輸至AR頭戴式耳機，其中在後續子集中傳輸2D表面。另外，呈現裝置220可回應於無線條件而將3D表面轉譯成2D表面。在特定具體實例中，需要首先更新的一或多個表面可被給予較高的優先級。在特定具體實例中，意欲被世界鎖定之表面可判定為相比頭部鎖定表面具有更高的傳輸優先級。
在特定具體實例中，呈現裝置220之呈現引擎204可執行指令以基於複數個表面之性質及網路104條件而執行速率控制，其中呈現以減小之位元速率傳輸表面資料，藉此減小資料速率。
在特定具體實例中，呈現裝置220之呈現引擎204可執行指令以基於複數個表面之性質及網路104條件而執行多間隔表面傳送。在特定具體實例中，呈現裝置220可以多個間隔傳送單一表面或複數個單一表面。為進行此操作，給定無線通道利用率之當前等級，呈現裝置220可使每秒圖框數適應於可用無線頻寬，且經由多個無線間隔傳輸單一表面。在特定具體實例中，同一子集內之表面可分佈至多個系統間隔中以減少連續圖框丟失之發生，此影響使用者體驗。
在特定具體實例中，呈現裝置220之呈現引擎204可執行指令以基於複數個表面之性質及網路104條件而執行內容感知無線排程及圍欄。在特定具體實例中，呈現裝置220可旋轉同一子集內之一或多個表面的排程以避免一個表面之圖框速率持續下降。另外，在特定具體實例中，呈現裝置220可執行基於缺陷之動態熱圍欄，其中可調整作用工作循環時間使得可同時傳輸左眼球表面及右眼球表面或兩者將皆不會傳輸。若呈現裝置220判定丟失例如四個圖框將引起抖動，則呈現裝置可判定及執行臨時解決方案，其中具有延長傳輸時間之四個圖框中之一者或兩者將被傳輸至AR裝置102，同時跳過剩餘的兩個或三個圖框。
在特定具體實例中，呈現裝置220之呈現引擎204可執行指令以基於複數個表面之性質及網路104條件而減少內容。減少內容可包括自呈現裝置220傳輸較少表面或表面內之較少物件以供在AR裝置102處顯示。類似地，回應於呈現裝置220對網路104條件之判定，呈現裝置220之呈現引擎204可執行指令以減小視場（FoV），其中可將減小數目個像素傳輸至AR裝置102以供顯示。在特定具體實例中，呈現裝置220之呈現引擎204可執行指令以基於複數個表面之性質及網路104條件而減少每秒內容圖框數（FPS）。舉例而言且並非作為限制，具有45 FPS之表面可在具有系統間隔改變之情況下減少至30 FPS（或在無系統間隔改變之情況下減少至22.5）。在特定具體實例中，減少內容FPS之技術可改善具有抖動之環境中的世界鎖定表面之可感知性。
在特定具體實例中，呈現裝置220之呈現引擎204可執行指令以基於複數個表面之性質及網路104條件而執行維度調整。舉例而言，回應於呈現裝置對網路104條件之判定，呈現裝置可將3D表面壓縮成2D表面，其可顯示相同表面，但相較於原始3D表面具有約1/10的壓縮大小。
在特定具體實例中，呈現裝置220之呈現引擎204可執行指令以基於複數個表面之性質及網路104條件而將一表面劃分成多個表面。呈現裝置220之呈現引擎204可判定將具有多個無線封包之一表面劃分成多個表面。另外，在特定具體實例中，呈現裝置220之呈現引擎204可執行指令以基於複數個表面之性質及網路104條件而將一或多個表面傳輸至編碼友好材料中。呈現裝置220可傳輸例如更多地使用素色、具有梯度色彩方案及/或低解析度紋理之複數個表面中之一或多者以供在AR裝置102處顯示。
在特定具體實例中，可基於與待呈現及顯示之各個別表面相關聯的特性（例如，焦曲面、2D對比3D物件尺寸、解析度等）而判定呈現參數集中之至少一個呈現參數。舉例而言，在特定具體實例中，集中式內容及資源管理器232可藉由產生更改的圖框速率（例如，如以圖框/秒（FPS）表達）、更改的解析度及更改的2D對比3D物件尺寸中之一或多者來產生呈現參數集。
在特定具體實例中，集中式內容及資源管理器232可接著使呈現引擎234根據呈現參數集來呈現一或多個表面以便滿足網路104約束。應瞭解，若在呈現裝置220上呈現內容，則情況將同樣適用，管理器206及208可設定呈現參數且呈現引擎234可相應地呈現。在特定具體實例中，呈現引擎234可接著將所呈現表面輸出至3D重投影扭曲功能區塊236。所呈現表面可接著自3D重投影扭曲功能區塊236傳遞至最新IMU功能區塊242，以使所呈現表面與最新的使用者頭部姿勢資料及物件姿勢資料相關聯，且將表面246重投影及顯示於AR裝置102之一或多個顯示器上。
在特定具體實例中，根據所提及的彈性呈現技術，集中式內容及資源管理器232可進一步接收呈現可對應於例如應用程式212之一或多個表面的請求。在特定具體實例中，集中式內容及資源管理器232可接著判定應用程式212可在當前無線約束內執行之效能容量。在其他具體實例中，集中式內容及資源管理器232可產生工作負載要求之預測且選擇在工作負載之持續時間內將不會違反當前無線限制之一或多個參數。在此具體實例中，集中式內容及資源管理器232確保系統能夠最大化效能，同時向使用者提供穩定的效能及品質等級。集中式內容及資源管理器232可在使用者啟動應用程式212時產生此預測。在一些具體實例中，工作負載要求之預測可基於先前應用程式歷史或其他（使用者/應用程式/系統）內容資訊。
在特定具體實例中，集中式內容及資源管理器232可接著基於AR裝置102之當前呈現工作負載及當前無線條件而產生用於呈現一或多個表面之持續時間的預測。舉例而言，在一個具體實例中，集中式內容及資源管理器232可基於可與特定應用程式212相關聯之一或多個參數或指令而產生用於呈現一或多個表面之持續時間的預測。在另一具體實例中，集中式內容及資源管理器232可利用一或多個機器學習演算法來隨時間啟發式地學習或判定持續時間，在該持續時間內，可鑒於當前無線網路容量以儘可能最佳的服務品質（「quality of service；QoS」）呈現與特定應用程式212相關聯之一或多個表面。在另一具體實例中，集中式內容及資源管理器232可基於可與特定應用程式（例如，單人遊戲應用程式、多人遊戲應用程式）相關聯之使用者上下文或使用者互動量而產生用於呈現一或多個表面之持續時間的預測。
在特定具體實例中，集中式內容及資源管理器232可接著基於用於呈現一或多個表面之持續時間的預測而選擇複數個預定呈現參數中之一者。舉例而言，在特定具體實例中，複數個呈現參數可包括高效能呈現模式、中等效能呈現模式及低效能呈現模式。舉例而言，在一些具體實例中，集中式內容及資源管理器232可將所預測之呈現工作負載映射至所判定之無線網路條件，從而以儘可能最佳的服務品質（QoS）且鑒於當前無線網路約束而呈現一或多個表面。在特定具體實例中，集中式內容及資源管理器232可接著使AR裝置102之呈現引擎234或呈現裝置220之呈現引擎204根據複數個預定呈現模式中之選定者呈現表面，以便滿足一或多個無線網路約束。舉例而言，可根據高效能呈現模式呈現對應於例如具有較短預測持續時間（例如，僅幾分鐘之運行時間）之應用程式的一或多個2D表面。相比之下，可根據低效能呈現模式呈現對應於例如具有較長預測持續時間（例如，30分鐘或更長之運行時間或1小時或更長之運行時間）之遊戲應用程式（例如，其亦可包括相當多的使用者互動）的一或多個3D表面。舉例而言，在良好無線條件下，呈現裝置102可執行指令從而以高解析度呈現所有3D表面，但在不良無線條件下，呈現裝置102可執行指令從而以低解析度呈現較少表面且在2D中呈現彼等表面。
在特定具體實例中，根據前述呈現技術，集中式內容及資源管理器232可進一步接收呈現可對應於例如應用程式212之一或多個表面的請求。在特定具體實例中，如前文所提到，AR裝置102可經由網路104自呈現裝置220接收請求或其他資料。在特定具體實例中，AR裝置102可包括用於驅動呈現引擎234之一或多個第一處理器（例如，一或多個第一圖形處理單元（GPU）），且類似地，呈現裝置220可包括用於驅動呈現引擎204之一或多個第二處理器（例如，一或多個第二GPU）。舉例而言，在特定具體實例中，AR裝置102及呈現裝置220可適合於支援例如分佈式圖形管線（例如，AR裝置102之一或多個第一GPU及呈現裝置220之一或多個第二GPU經由網路104傳送資料）。因此，在一個示範性具體實例中，可利用AR裝置102之呈現引擎234及相關聯之第一一或多個GPU或利用呈現裝置220之呈現引擎204及相關聯之第二一或多個GPU來呈現一或多個表面。
在特定具體實例中，相較於呈現裝置220之第二一或多個GPU，AR裝置102之第一一或多個GPU可包括更少的處理能力或支援呈現特徵/能力之子集。在特定具體實例中，集中式內容及資源管理器232可判定與呈現一或多個表面相關聯之呈現工作負載，以滿足與AR裝置102相關聯之一或多個網路104約束及關於將呈現裝置220與AR裝置102通信耦接之網路104的目標QoS。在特定具體實例中，集中式內容及資源管理器232可接著基於一或多個功率、處理或熱約束及目標QoS而在利用AR裝置102之呈現引擎234及相關聯之一或多個第一GPU呈現一或多個表面與利用呈現裝置220之呈現引擎204及相關聯之一或多個第二GPU呈現一或多個表面之間動態地切換。
因此，根據前述具體實例，本發明技術可提供可由裝置用於在變化之網路104條件下動態地呈現表面的各種呈現技術。舉例而言，可提供本發明技術以更改裝置之呈現工作負載的參數，且判定何時及以何種方式根據預定網路104約束更改裝置之呈現工作負載的參數。
圖 3繪示擴增實境（AR）系統300之詳細具體實例，該系統用於提供可由呈現裝置用於在多種網路104條件下呈現表面之各種彈性呈現技術。如所描繪，AR系統300可由雲端系統310、呈現裝置220、AR裝置102及可穿戴式裝置360組成。在特定具體實例中，雲端架構310可包括計算組件312、基於雲端之服務組件314及基於雲端之儲存器316。在特定具體實例中，雲端計算組件312可產生對應於複數個表面之圖框且存取對應於複數個表面中之各者之圖框的一或多個深度圖。在特定具體實例中，雲端計算組件312亦可維護及追蹤由頭部姿勢追蹤功能區塊202計算之圖框內之一或多個物件的姿勢資訊（例如，頭部姿勢資料、物件姿勢資料）及自AR裝置102接收到之姿勢資料。基於雲端之服務組件314可代管及服務應用程式212，其可包括例如在AR裝置102上執行之AR體驗。舉例而言，在特定具體實例中，基於雲端之服務組件314內的應用程式212可包括例如AR應用程式，諸如視訊遊戲應用程式（例如，單人遊戲、多人遊戲、第一人稱視點（POV）遊戲）、地圖應用程式、音樂播放應用程式、視訊共用平台應用程式、視訊串流應用程式、電子商務應用程式、社交媒體應用程式、使用者介面（UI）應用程式，或使用者可體驗的其他AR應用程式。在特定具體實例中，基於雲端之儲存器316可含有來自內部暫存器、內部快取記憶體或記憶體之指令。基於雲端之儲存器316可包括用於資料或指令之大容量儲存器。基於雲端之儲存器316可駐留於雲端中，該雲端可包括一或多個網路104中之一或多個雲端組件。
雲端系統310可經由諸如全球行動通信系統（Global System for Mobile Communications；GSM）網路之蜂巢式電話網路或諸如WI-FI網路之網路104將資料傳輸至呈現裝置220。如所描繪，其他使用者裝置318可經由藍牙WPAN將資料傳輸至呈現裝置220。其他使用者裝置318可包括且不限於連接至主機電腦系統之HMD、獨立式HMD、行動裝置或計算系統，或能夠提供擴增實境內容之任何其他硬體平台。
在特定具體實例中，呈現裝置220可包括計算裝置322、記憶體324、通信組件326、一或多個攝影機328、一或多個感測器330、使用者輸入/輸出模組332及一或多個電池334。計算裝置322可經由網路104或蜂巢式網路自雲端系統310接收資料或向雲端系統請求資料。在特定具體實例中，計算裝置322可經由網路104自AR裝置102接收資料或向AR裝置請求資料。在特定具體實例中，計算裝置322可經由藍牙WPAN自可穿戴式裝置360接收資料或向可穿戴式裝置請求資料。在特定具體實例中，呈現裝置220之計算裝置322可包括用於驅動呈現裝置220之呈現引擎204的一或多個第一處理器（例如，一或多個第一圖形處理單元（GPU）），如 圖 2中所顯示。類似地，計算裝置322可包括用於驅動AR裝置102之呈現引擎234的一或多個第二處理器（例如，一或多個第二GPU），如 圖 2中所顯示。在特定具體實例中，呈現裝置220之計算裝置322及AR裝置102之計算裝置342可適合於支援分佈式圖形管線，其中計算裝置322之一或多個GPU及計算裝置342之一或多個GPU可經由網路104傳送資料。
在特定具體實例中，計算裝置322可產生對應於影像圖框序列之表面。在特定具體實例中，計算裝置322亦可存取對應於表面之一或多個深度圖。在特定具體實例中，如進一步所描繪，計算裝置322可維護及追蹤由頭部姿勢追蹤功能區塊202計算之圖框內之一或多個物件的姿勢資訊姿勢資訊（例如，頭部姿勢資料、物件姿勢資料）及自AR裝置102接收到之姿勢資料。計算裝置322可代管及服務應用程式212，其可包括例如在AR裝置102上執行之AR體驗。
計算裝置322及計算裝置342之一或多個處理器可包括用於執行指令之硬體，諸如組成電腦程式之彼等指令。作為實例而非作為限制，為執行指令，計算裝置322及計算裝置342之一或多個處理器可自內部暫存器、內部快取記憶體、記憶體324或儲存器擷取或提取指令。在特定具體實例中，計算裝置322可執行頭部姿勢追蹤功能區塊202、呈現引擎204、3D重投影扭曲功能區塊206、資源管理器208、內容管理器210及應用程式212之功能。在特定具體實例中，呈現裝置220之計算裝置322可經由呈現引擎204產生對應於影像圖框序列之表面。在特定具體實例中，呈現裝置220之計算裝置322亦可存取對應於表面之一或多個深度圖。在特定具體實例中，計算裝置322亦可維護及追蹤由頭部姿勢功能區塊202計算之一或多個表面的姿勢資訊（例如，頭部姿勢資料、物件姿勢資料）及自AR裝置102之計算裝置342接收到的姿勢資料。
在特定具體實例中，計算裝置322可代管及服務應用程式212，其可包括例如在AR裝置102上執行之AR體驗。舉例而言，在特定具體實例中，應用程式212可包括例如AR應用程式，諸如視訊遊戲應用程式（例如，單人遊戲、多人遊戲、第一人稱視點（POV）遊戲）、地圖應用程式、音樂播放應用程式、視訊共用平台應用程式、視訊串流應用程式、電子商務應用程式、社交媒體應用程式、使用者介面（UI）應用程式，或使用者102可體驗的其他AR應用程式。在特定具體實例中，應用程式212或其他AR內容可藉助於在計算裝置322上執行之內容管理器210分析及管理。舉例而言，在特定具體實例中，內容管理器210可包括例如可用以分析及管理3D內容之任何系統（例如，軟體系統、構架、合成器，或管理由AR裝置102顯示之場景的其他形式之中間軟體/運行時間系統），該3D內容與待由AR裝置102呈現及顯示之應用程式212相關聯。類似地，資源管理器208可包括例如追蹤用於代管及服務應用程式212或其他AR內容之可用硬體及/或軟體組件的任何系統（例如，軟體系統）。
在特定具體實例中，呈現裝置220之計算裝置322可利用呈現引擎204呈現對應於應用程式212或其他AR內容之表面。在特定具體實例中，呈現引擎204可接著將所呈現表面輸出至3D重投影扭曲功能區塊206，該功能區塊可用以補償網路104針對視點改變之延時，此係因為所呈現圖框係經由網路104提供至AR裝置102之計算裝置342。在特定具體實例中，如進一步所描繪，所呈現且扭曲的圖框可接著經由網路104自3D重投影扭曲功能區塊206傳遞至AR裝置102之計算裝置342的最新IMU功能區塊242。在特定具體實例中，最新IMU功能區塊242可用以例如使所呈現表面與最新的使用者頭部姿勢資料及物件姿勢資料（例如，即時或近即時的頭部姿勢資料及/或物件姿勢資料）相關聯，且將表面246重投影及顯示於AR裝置102之一或多個顯示器上以供AR裝置102之使用者互動。
在特定具體實例中，如前文所論述，呈現裝置220之計算裝置322可能必須降低一或多個表面之解析度，優先化表面，以較低位元速率傳輸表面，以多個間隔傳輸表面，減小表面之數目，減小FoV，減小FPS等。
在特定具體實例中，AR裝置102之計算裝置342可包括集中式內容及資源管理器232（例如，內容及場景管理器），該管理器可用以執行用於減輕圖框丟失之各種彈性呈現技術。應瞭解，雖然集中式內容及資源管理器232顯示為實施於AR裝置102上，但在一些具體實例中，集中式內容及資源管理器232可駐留於呈現裝置220或AR裝置102上，或在呈現裝置220與AR裝置102之間分離及共用。舉例而言，在一些具體實例中，集中式內容及資源管理器232可作為構架之部分實施於軟體模組中，或分佈於軟體模組與韌體模組之間。在一些具體實例中，本發明的彈性呈現技術可由AR裝置102之集中式內容及資源管理器232且在關於呈現裝置220之呈現之後（例如，在表面由呈現裝置220之呈現引擎204產生及呈現且被提供至AR裝置102之後）執行。在其他具體實例中，本發明的彈性呈現技術可在一或多個表面之呈現及顯示已在進行中時由集中式內容及資源管理器232執行（例如，即時地或近即時地）。又，在其他具體實例中，本發明的彈性呈現技術可僅由AR裝置102之集中式內容及資源管理器232安排，且由AR裝置102之呈現引擎234或由呈現裝置220之呈現引擎204執行。
在特定具體實例中，計算裝置322可相對於與呈現一或多個表面相關聯之所判定呈現工作負載來監測網路104之條件（例如，網路104延時、網路104品質、網路104頻寬、網路104資料輸送量等）。舉例而言，在一些具體實例中，一或多個表面可包括可對延時敏感之AR內容（例如，世界鎖定之AR內容可隨著使用者頭部姿勢改變而不斷地更新）。根據本發明所揭示之具體實例，計算裝置322可因此分析一或多個表面之AR內容，且基於網路104之條件及與呈現一或多個表面相關聯之所判定呈現工作負載而利用計算裝置322之呈現引擎204及相關聯之一或多個第一GPU呈現一或多個表面。
舉例而言，在特定具體實例中，呈現裝置220之計算裝置322可將對與待由AR裝置102呈現及顯示之一或多個應用程式212相關聯之表面的請求提供至集中式內容及資源管理器232，且計算裝置322可接著判定呈現及顯示所請求表面之方式。計算裝置322可接著藉由指示及利用呈現引擎204及3D重投影扭曲功能區塊206來進行所請求表面之呈現及顯示。在一個示範性具體實例中，計算裝置322可包括例如可用以分析、處理及管理待由AR裝置102呈現及顯示之AR內容之表面的任何系統（例如，軟體系統）。在另一示範性具體實例中，計算裝置322可包括例如維護及追蹤可用硬體資源及/或軟體資源（例如，功率預算、熱預算、攝影機資料238、感測器資料240、處理能力、記憶體容量、功率消耗、處理時間、網路104頻寬、網路104延時、網路104資料輸送量、網路104品質等）的任何系統（例如，軟體系統），該等硬體資源及/或軟體資源待用於在AR裝置102上呈現及顯示AR內容之表面。
在特定具體實例中，根據本發明所揭示之技術，計算裝置322可自雲端系統310之雲端計算組件312、AR裝置102之計算裝置342及/或可穿戴式裝置360之計算裝置362接收呈現一或多個表面之請求。
在特定具體實例中，計算裝置322可判定關於一或多個表面之內容之各物件的相關聯影像特性。舉例而言，在特定具體實例中，計算裝置322可相對於一或多個表面之內容的各物件判定中央凹區（例如，基於攝影機資料238及/或攝影機資料348）、物件維度（例如，計算裝置322可判定及區分3D物件及內容與2D物件及內容）、檢視距離（例如，與檢視者之距離）、使用者互動（例如，遊戲可涉及使用者僅與某些物件互動而避開其他物件）等。
在特定具體實例中，計算裝置322可接著判定是否減少與呈現一或多個表面相關聯之呈現工作負載以滿足一或多個網路104約束。應理解，AR裝置102之計算裝置342可執行與呈現裝置220之計算裝置322相同的所有功能。
在特定具體實例中，計算裝置322可產生用於回應於網路104品質之判定而呈現一或多個表面之呈現參數集。呈現參數可由一或多種呈現技術組成，如先前所論述。舉例而言且並非作為限制，計算裝置322可產生由一或多個呈現參數組成之呈現模式之複數個集合。呈現模式可基於例如具有高使用者體驗影響（例如，減少向使用者顯示之表面的量）之呈現參數、具有中等/高使用者體驗影響（例如，優先化首先需要更新之表面）之呈現參數、具有中等/低使用者體驗影響（例如，經由多個無線間隔傳輸單一表面）之呈現參數及具有低使用者體驗影響（例如，色彩特性、梯度色彩方案等）之呈現參數而產生。在特定具體實例中，可基於具有變化程度之頻寬減少的呈現參數而產生呈現模式。在特定具體實例中，可基於電源供應器對AR裝置102之影響及/或各呈現參數可執行之位置（例如，GPU或無線）而產生呈現模式。
在特定具體實例中，呈現裝置220之計算裝置322可執行指令以基於複數個表面之性質及網路104條件而將複數個表面劃分成子集，且基於各子集之性質而應用一或多種彈性呈現技術及/或呈現模式，且進一步將一或多個第一子集優先於一或多個第二子集以供傳輸至AR裝置102。
在特定具體實例中，呈現裝置220之計算裝置322可執行指令以基於複數個表面之性質及網路104條件而調整一或多個個別表面之影像品質或解析度。呈現裝置220可基於不良網路104條件之判定而判定需要降低一或多個表面之品質及解析度。在特定具體實例中，計算裝置322可執行以下動作：重設影像資料自呈現裝置220至AR裝置102之串流；重新分配呈現裝置220之記憶體324；及減小自呈現裝置220至AR裝置102之資料傳輸速率。
在特定具體實例中，呈現裝置220之計算裝置322可執行指令以基於複數個表面之性質及網路104條件而判定3D表面相比2D表面具有更高的優先級，且結果，將表面之第一子集中的3D表面傳輸至AR裝置102，其中在後續子集中傳輸2D表面。另外，計算裝置322可回應於網路104條件而將3D表面轉譯成2D表面。在特定具體實例中，需要首先更新的一或多個表面可被給予較高的優先級。在特定具體實例中，意欲被世界鎖定之表面可判定為相比頭部鎖定表面具有更高的傳輸優先級。
在特定具體實例中，呈現裝置220之計算裝置322可執行指令以基於複數個表面之性質及網路104條件而執行速率控制，其中呈現以減小之位元速率傳輸表面資料，藉此減小資料速率。在特定具體實例中，呈現裝置220之計算裝置322可執行指令以基於複數個表面之性質及網路104條件而執行多間隔表面傳送。在特定具體實例中，計算裝置322可以多個間隔傳送單一表面或複數個單一表面。為進行此操作，給定無線通道利用率之當前等級，計算裝置322可使每秒圖框數適應於可用無線頻寬，且經由多個無線間隔傳輸單一表面。在特定具體實例中，同一子集內之表面可分佈至多個系統間隔中以減少連續圖框丟失之發生，此影響使用者體驗。
在特定具體實例中，呈現裝置220之計算裝置322可執行指令以基於複數個表面之性質及網路104條件而執行內容感知無線排程及圍欄。在特定具體實例中，計算裝置322可旋轉同一子集內之一或多個表面的排程以避免一個表面之圖框速率持續下降。另外，在特定具體實例中，計算裝置322可執行基於缺陷之動態熱圍欄，其中可調整作用工作循環時間使得可同時傳輸左眼球表面及右眼球表面或兩者將皆不會傳輸。若計算裝置322判定丟失例如四個圖框將引起抖動，則計算裝置220可判定及執行臨時解決方案，其中具有延長傳輸時間之四個圖框中之一者或兩者將被傳輸至AR裝置102，同時跳過剩餘的兩個或三個圖框。
在特定具體實例中，呈現裝置220之計算裝置322可執行指令以基於複數個表面之性質及網路104條件而減少內容。減少內容可包括自計算裝置322傳輸較少表面或表面內之較少物件以供在AR裝置102處顯示。類似地，回應於計算裝置322對網路104條件之判定，計算裝置322之呈現引擎204可執行指令以減小視場（FoV），其中可將減小數目個像素傳輸至AR裝置102以供顯示。在特定具體實例中，呈現裝置220之計算裝置322可執行指令以基於複數個表面之性質及網路104條件而減少每秒內容圖框數（FPS）。舉例而言且並非作為限制，具有45 FPS之表面可在具有系統間隔改變之情況下減少至30 FPS（或在無系統間隔改變之情況下減少至22.5）。在特定具體實例中，減少內容FPS之技術可改善具有抖動之環境中的世界鎖定表面之可感知性。
在特定具體實例中，呈現裝置220之計算裝置322可執行指令以基於複數個表面之性質及網路104條件而執行維度調整。舉例而言，回應於計算裝置322對網路104條件之判定，計算裝置322可將3D表面壓縮成2D表面，其可顯示相同表面，但相較於原始3D表面具有約1/10的壓縮大小。
在特定具體實例中，呈現裝置220之計算裝置322可執行指令以基於複數個表面之性質及網路104條件而將一表面劃分成多個表面。呈現裝置220之計算裝置322可判定將具有多個無線封包之一表面劃分成多個表面。另外，在特定具體實例中，呈現裝置220之計算裝置322可執行指令以基於複數個表面之性質及網路104條件而將一或多個表面傳輸至編碼友好材料中。呈現裝置220之計算裝置322可傳輸例如更多地使用素色、具有梯度色彩方案及/或低解析度紋理之複數個表面中之一或多者以供在AR裝置102處顯示。
在特定具體實例中，可基於與待呈現及顯示之各個別表面相關聯的特性（例如，焦曲面、2D對比3D物件尺寸、解析度等）而判定呈現參數集中之至少一個呈現參數。舉例而言，在特定具體實例中，計算裝置322可藉由產生更改的圖框速率（例如，如以圖框/秒（FPS）表達）、更改的解析度及更改的2D對比3D物件尺寸中之一或多者來產生呈現參數集。
在特定具體實例中，計算裝置322可接著基於AR裝置102之當前呈現工作負載及當前網路104條件而產生用於呈現一或多個表面之持續時間的預測。舉例而言，在一個具體實例中，計算裝置322可基於可與特定應用程式212相關聯之一或多個參數或指令而產生用於呈現一或多個表面之持續時間的預測。在另一具體實例中，計算裝置322可利用一或多個機器學習演算法來隨時間啟發式地學習或判定持續時間，在該持續時間內，可鑒於當前網路104容量以儘可能最佳的服務品質（「QoS」）呈現與特定應用程式212相關聯之一或多個表面。在另一具體實例中，計算裝置322可基於可與特定應用程式（例如，單人遊戲應用程式、多人遊戲應用程式）相關聯之使用者上下文或使用者互動量而產生用於呈現一或多個表面之持續時間的預測。
在特定具體實例中，計算裝置322可基於用於呈現一或多個表面之持續時間的預測而選擇複數個預定呈現參數中之一者。舉例而言，如先前所論述，在特定具體實例中，複數個呈現參數可包括高效能呈現模式、中等效能呈現模式及低效能呈現模式。舉例而言，在一些具體實例中，計算裝置322可將所預測之呈現工作負載映射至所判定之網路104條件，從而以儘可能最佳的服務品質（QoS）且鑒於當前網路104約束而呈現一或多個表面。在特定具體實例中，計算裝置322可接著使AR裝置102之呈現引擎234或呈現裝置220之呈現引擎204根據複數個預定呈現模式中之選定者呈現表面，以便滿足一或多個網路104約束。舉例而言，可根據高效能呈現模式呈現對應於例如具有較短預測持續時間（例如，僅幾分鐘之運行時間）之應用程式的一或多個2D表面。相比之下，可根據低效能呈現模式呈現對應於例如具有較長預測持續時間（例如，30分鐘或更長之運行時間或1小時或更長之運行時間）之遊戲應用程式（例如，其亦可包括相當多的使用者互動）的一或多個3D表面。舉例而言，在良好網路104條件下，計算裝置322可執行指令從而以高解析度呈現所有3D表面，但在不良網路104條件下，計算裝置322可執行指令從而以低解析度呈現較少表面且在2D中呈現彼等表面。
在特定具體實例中，相較於計算裝置322之第二一或多個GPU，AR裝置102之計算裝置342可包括更少的處理能力或支援呈現特徵/能力之子集。在特定具體實例中，計算裝置322可判定與呈現一或多個表面相關聯之呈現工作負載，以滿足與AR裝置102相關聯之一或多個網路104約束及關於將呈現裝置220與AR裝置102通信耦接之網路104的目標QoS。在特定具體實例中，計算裝置322可接著基於一或多個功率、處理或熱約束及目標QoS而在利用AR裝置102之計算裝置342呈現一或多個表面與利用呈現裝置220之計算裝置322呈現一或多個表面之間動態地切換。
因此，根據前述具體實例，本發明技術可提供可由裝置用於在變化之網路104條件下動態地呈現表面的各種呈現技術。舉例而言，可提供本發明技術以更改呈現裝置220之呈現工作負載的參數，且判定何時及以何種方式根據預定網路104約束更改裝置之呈現工作負載的參數。
在特定具體實例中，呈現裝置220包括記憶體324。資料快取記憶體中之資料可為記憶體324或儲存器中供在計算裝置322之一或多個處理器處執行的指令操作之資料的複本、供在計算裝置322處執行之後續指令存取或供寫入至記憶體324的在計算裝置322處執行的先前指令之結果。資料快取記憶體可加速計算裝置322進行的讀取或寫入操作。TLB可加速用於計算裝置322之虛擬位址轉譯。在特定具體實例中，計算裝置322可包括用於資料、指令或位址之一或多個內部暫存器。在本發明中，計算裝置322之一或多個處理器可包括任何合適數目個內部暫存器。在適當時，計算裝置322可包括一或多個算術邏輯單元（arithmetic logic unit；ALU）；為多核處理器；或包括一或多個處理器。應理解，本發明涵蓋任何合適的處理器。
在特定具體實例中，記憶體324包括用於儲存供計算裝置322執行或操作之指令的主記憶體。作為實例而非作為限制，呈現裝置220可將指令自儲存器載入至記憶體324。計算系統322可接著將指令自記憶體324載入至內部暫存器或內部快取記憶體。為執行指令，計算裝置322可自內部暫存器或內部快取記憶體擷取指令並對其進行解碼。在指令執行期間或之後，計算裝置322可將一或多個結果（其可為中間或最終結果）寫入至內部暫存器或內部快取記憶體。計算裝置322可接著將彼等結果中之一或多者寫入至記憶體324。在特定具體實例中，計算裝置322僅執行一或多個內部暫存器或內部快取記憶體或記憶體324中之指令，且僅對一或多個內部暫存器或內部快取記憶體或記憶體324中之資料進行操作。
一或多個記憶體匯流排（其可各自包括位址匯流排及資料匯流排）可將計算裝置322耦接至記憶體324。在特定具體實例中，記憶體324包括隨機存取記憶體（random access memory；RAM）。在適當時，此RAM可為揮發性記憶體。在適當時，此RAM可為動態RAM（dynamic RAM；DRAM）或靜態RAM（static RAM；SRAM）。此外，在適當時，此RAM可為單埠或多埠RAM。本發明涵蓋任何合適的RAM。在適當時，記憶體324可包括一或多個記憶體。
通信模組326可實現雲端系統310、其他使用者裝置318、AR裝置102、可穿戴式裝置360與呈現裝置220之模組之間的通信。作為實例而非作為限制，通信模組326可包括用於與乙太網路或其他基於有線之網路通信的網路介面控制器（network interface controller；NIC）或網路配接器，或用於與網路104通信之無線NIC（wireless NIC；WNIC）或無線配接器。應理解，AR裝置102之計算裝置342可執行與呈現裝置220之計算裝置322相同的所有功能。
呈現裝置220可包括可俘獲環境之影像及視訊的一或多個攝影機328。在特定具體實例中，呈現裝置220可包括一或多個感測器330，諸如加速度計、陀螺儀、磁力計及觸控感測器，以產生追蹤呈現裝置220及AR裝置102之位置的感測器資料240。AR裝置102可使用呈現裝置220之感測器330以判定關於AR裝置102之速度、位向及重力。在特定具體實例中，呈現裝置220可包括用於提供一或多個介面之使用者輸入/輸出（input/output；I/O）模組332，包括硬體、軟體或其兩者，該一或多個介面用於雲端系統310、呈現裝置220、AR裝置102及可穿戴式裝置360之間的通信。另外，I/O模組332可實現其他使用者裝置318與呈現裝置220之間的通信。在特定具體實例中，呈現裝置220可包括一或多個電池334。
在特定具體實例中，AR裝置102可包括計算裝置342、顯示器344、音訊346、一或多個攝影機348、一或多個感測器350、通信模組352及一或多個電池354。在特定具體實例中，計算裝置342可執行集中式內容及資源管理器232、呈現引擎234及3D重投影扭曲功能區塊236之功能性。AR裝置102
在特定具體實例中，計算裝置342可判定關於一或多個表面之內容之各物件的相關聯影像特性。舉例而言，在特定具體實例中，計算裝置342可相對於一或多個表面之內容的各物件判定中央凹區（例如，基於攝影機資料328及/或攝影機資料348）、物件維度（例如，計算裝置342可判定及區分3D物件及內容與2D物件及內容）、檢視距離（例如，與檢視者之距離）、使用者互動（例如，遊戲可涉及使用者僅與某些物件互動而避開其他物件）等。在特定具體實例中，計算裝置342可接著判定是否減少與呈現一或多個表面相關聯之呈現工作負載以滿足一或多個網路104約束。
在特定具體實例中，計算裝置342可產生用於回應於網路104品質之判定而呈現一或多個表面之呈現參數集。呈現參數可由一或多種呈現技術組成，如先前所論述。舉例而言且並非作為限制，計算裝置342可產生由一或多個呈現參數組成之呈現模式之複數個集合。呈現模式可基於例如具有高使用者體驗影響（例如，減少向使用者顯示之表面的量）之呈現參數、具有中等/高使用者體驗影響（例如，優先化首先需要更新之表面）之呈現參數、具有中等/低使用者體驗影響（例如，經由多個無線間隔傳輸單一表面）之呈現參數及具有低使用者體驗影響（例如，色彩特性、梯度色彩方案等）之呈現參數而產生。在特定具體實例中，可基於具有變化程度之頻寬減少的呈現參數而產生呈現模式。在特定具體實例中，可基於電源供應器對AR裝置102之影響及/或各呈現參數可執行之位置（例如，GPU或無線）而產生呈現模式。
在特定具體實例中，AR裝置102之計算裝置342可執行指令以基於複數個表面之性質及網路104條件而將複數個表面劃分成子集，且基於各子集之性質而應用一或多種彈性呈現技術及/或呈現模式，且進一步將一或多個第一子集優先於一或多個第二子集以供在AR裝置102處顯示。
在特定具體實例中，AR裝置102之計算裝置342可執行指令以基於複數個表面之性質及網路104條件而調整一或多個個別表面之影像品質或解析度。AR裝置102可基於不良網路104條件之判定而判定需要降低一或多個表面之品質及解析度。在特定具體實例中，計算裝置342可執行以下動作：重設影像資料自呈現裝置220至AR裝置102之串流；重新分配呈現裝置220之記憶體324；及減小自呈現裝置220至AR裝置102之資料傳輸速率。
在特定具體實例中，AR裝置102之計算裝置342可執行指令以基於複數個表面之性質及網路104條件而判定3D表面相比2D表面具有更高的優先級，且結果，在AR裝置102處呈現表面之第一子集中的3D表面，其中在後續子集中呈現2D表面。在特定具體實例中，需要首先更新的一或多個表面可被給予較高的優先級。在特定具體實例中，意欲被世界鎖定之表面可判定為相比頭部鎖定表面具有更高的傳輸優先級。
在特定具體實例中，AR裝置102之計算裝置342可執行指令以基於複數個表面之性質及網路104條件而執行速率控制，其中呈現裝置220以減小之位元速率傳輸表面資料，藉此減小資料速率。在特定具體實例中，AR裝置102之計算裝置342可執行指令以基於複數個表面之性質及網路104條件而執行多間隔表面傳送。在特定具體實例中，計算裝置342可以多個間隔呈現單一表面或複數個單一表面。為進行此操作，給定無線通道利用率之當前等級，計算裝置342可使每秒圖框數適應於可用無線頻寬，且經由多個無線間隔傳輸單一表面。在特定具體實例中，同一子集內之表面可分佈至多個系統間隔中以減少連續圖框丟失之發生，此影響使用者體驗。
在特定具體實例中，AR裝置102之計算裝置342可執行指令以基於複數個表面之性質及網路104條件而執行內容感知無線排程及圍欄。在特定具體實例中，計算裝置342可旋轉同一子集內之一或多個表面的排程以避免一個表面之圖框速率持續下降。另外，在特定具體實例中，計算裝置342可執行基於缺陷之動態熱圍欄，其中可調整作用工作循環時間使得可同時傳輸左眼球表面及右眼球表面或兩者將皆不會傳輸。若計算裝置342判定丟失例如四個圖框將引起抖動，則計算裝置342可判定及執行臨時解決方案，其中具有延長傳輸時間之四個圖框中之一者或兩者將被傳輸至AR裝置102，同時跳過剩餘的兩個或三個圖框。
在特定具體實例中，AR裝置102之計算裝置342可執行指令以基於複數個表面之性質及網路104條件而減少內容。減少內容可包括自計算裝置342傳輸較少表面或表面內之較少物件以供在AR裝置102處顯示。類似地，回應於計算裝置342對網路104條件之判定，計算裝置342之呈現引擎234可執行指令以減小視場（FoV），其中可將減小數目個像素傳輸至AR裝置102以供顯示。在特定具體實例中，AR裝置102之計算裝置342可執行指令以基於複數個表面之性質及網路104條件而減少每秒內容圖框數（FPS）。舉例而言且並非作為限制，具有45 FPS之表面可在具有系統間隔改變之情況下減少至30 FPS（或在無系統間隔改變之情況下減少至22.5）。在特定具體實例中，減少內容FPS之技術可改善具有抖動之環境中的世界鎖定表面之可感知性。
在特定具體實例中，AR裝置102之計算裝置342可執行指令以基於複數個表面之性質及網路104條件而執行維度調整。舉例而言，回應於計算裝置342對網路104條件之判定，計算裝置342可將3D表面壓縮成2D表面，其可顯示相同表面，但相較於原始3D表面具有約1/10的壓縮大小。
在特定具體實例中，AR裝置102之計算裝置342可執行指令以基於複數個表面之性質及網路104條件而將一表面劃分成多個表面。AR裝置102之計算裝置342可判定將具有多個無線封包之一表面劃分成多個表面。另外，在特定具體實例中，AR裝置102之計算裝置342可執行指令以基於複數個表面之性質及網路104條件而將一或多個表面傳輸至編碼友好材料中。AR裝置102之計算裝置342可傳輸例如更多地使用素色、具有梯度色彩方案及/或低解析度紋理之複數個表面中之一或多者以供在AR裝置102處顯示。
在特定具體實例中，可基於與待呈現及顯示之各個別表面相關聯的特性（例如，焦曲面、2D對比3D物件尺寸、解析度等）而判定呈現參數集中之至少一個呈現參數。舉例而言，在特定具體實例中，計算裝置342可藉由產生更改的圖框速率（例如，如以圖框/秒（FPS）表達）、更改的解析度及更改的2D對比3D物件尺寸中之一或多者來產生呈現參數集。
在特定具體實例中，計算裝置342可接著基於AR裝置102之當前呈現工作負載及當前網路104條件而產生用於呈現一或多個表面之持續時間的預測。舉例而言，在一個具體實例中，計算裝置342可基於可與特定應用程式212相關聯之一或多個參數或指令而產生用於呈現一或多個表面之持續時間的預測。在另一具體實例中，計算裝置342可利用一或多個機器學習演算法來隨時間啟發式地學習或判定持續時間，在該持續時間內，可鑒於當前網路104容量以儘可能最佳的服務品質（「QoS」）呈現與特定應用程式212相關聯之一或多個表面。在另一具體實例中，計算裝置342可基於可與特定應用程式（例如，單人遊戲應用程式、多人遊戲應用程式）相關聯之使用者上下文或使用者互動量而產生用於呈現一或多個表面之持續時間的預測。
在特定具體實例中，計算裝置342可基於用於呈現一或多個表面之持續時間的預測而選擇複數個預定呈現參數中之一者。舉例而言，如先前所論述，在特定具體實例中，複數個呈現參數可包括高效能呈現模式、中等效能呈現模式及低效能呈現模式。舉例而言，在一些具體實例中，計算裝置342可將所預測之呈現工作負載映射至所判定之網路104條件，從而以儘可能最佳的服務品質（QoS）且鑒於當前網路104約束而呈現一或多個表面。在特定具體實例中，計算裝置342可接著使AR裝置102之呈現引擎234或呈現裝置220之呈現引擎204根據複數個預定呈現模式中之選定者呈現表面，以便滿足一或多個網路104約束。舉例而言，可根據高效能呈現模式呈現對應於例如具有較短預測持續時間（例如，僅幾分鐘之運行時間）之應用程式的一或多個2D表面。相比之下，可根據低效能呈現模式呈現對應於例如具有較長預測持續時間（例如，30分鐘或更長之運行時間或1小時或更長之運行時間）之遊戲應用程式（例如，其亦可包括相當多的使用者互動）的一或多個3D表面。舉例而言，在良好網路104條件下，計算裝置342可執行指令從而以高解析度呈現所有3D表面，但在不良網路104條件下，計算裝置342可執行指令從而以低解析度呈現較少表面且在2D中呈現彼等表面。
在特定具體實例中，相較於計算裝置322之第二一或多個GPU，AR裝置102之計算裝置342可包括更少的處理能力或支援呈現特徵/能力之子集。在特定具體實例中，計算裝置322可判定與呈現一或多個表面相關聯之呈現工作負載，以滿足與AR裝置102相關聯之一或多個網路104約束及關於將呈現裝置220與AR裝置102通信耦接之網路104的目標QoS。在特定具體實例中，計算裝置322可接著基於一或多個功率、處理或熱約束及目標QoS而在利用AR裝置102之計算裝置342呈現一或多個表面與利用呈現裝置220之計算裝置322呈現一或多個表面之間動態地切換。
因此，根據前述具體實例，本發明技術可提供可由裝置用於在變化之網路104條件下動態地呈現表面的各種呈現技術。舉例而言，可提供本發明技術以更改呈現裝置220之呈現工作負載的參數，且判定何時及以何種方式根據預定網路104約束更改裝置之呈現工作負載的參數。
在特定具體實例中，AR裝置102包括顯示器344、音訊346、一或多個攝影機348、一或多個感測器350、通信模組352及一或多個電池354。通信模組356可實現雲端系統310、其他使用者裝置318、可穿戴式裝置360及呈現裝置220之間的通信。作為實例而非作為限制，通信模組352可包括用於與乙太網路或其他基於有線之網路通信的網路介面控制器（NIC）或網路配接器，或用於與網路104通信之無線NIC（WNIC）或無線配接器。
AR裝置102可包括可俘獲環境之影像及視訊的一或多個攝影機348。在特定具體實例中，AR裝置102可包括一或多個感測器350，諸如加速度計、陀螺儀、磁力計及觸控感測器，以產生追蹤呈現裝置220及AR裝置102之位置的感測器資料240。AR裝置102可使用呈現裝置220之感測器330以判定關於AR裝置102之速度、位向及重力。在特定具體實例中，AR裝置102可包括一或多個電池354。在特定具體實例中，可穿戴式裝置360可包括計算裝置362、通信模組364、一或多個感測器366及一或多個電池368。
圖 4繪示具有分離主體架構之擴增實境（AR）系統300的詳細具體實例，該系統可用於在AR裝置102上呈現表面。在特定具體實例中，呈現裝置220上之計算裝置322的行動圖形處理單元（GPU） 410可將含有複數個表面之影像資料傳輸至呈現裝置220之高效率視訊寫碼（high efficiency video coding；HEVC）編碼器420。HEVC編碼器420可經由鏈路650將資料傳輸至AR裝置102之高效率視訊寫碼（HEVC）解碼器430。自HEVC解碼器430，用於呈現之表面資料可分離成兩個部分，其中之一個部分可行進通過用於左眼處之顯示器460的圖形管線，且其中之一個部分可行進通過用於右眼處之顯示器470的圖形管線。一旦包含複數個表面之影像資料已行進通過各別管線，便可將意欲傳輸至左眼之資料傳輸至3D重投影扭曲功能區塊246A以用於AR裝置102上之顯示器460。類似地，在特定具體實例中，可將意欲傳輸至右眼之資料傳輸至3D重投影扭曲功能區塊246B以用於AR裝置102上之顯示器470。在特定具體實例中，3D重投影扭曲功能區塊246A及246B可包括於AR裝置102之計算裝置342中。在特定具體實例中，呈現裝置202可將所呈現表面輸出至AR裝置102，該AR裝置使用3D重投影扭曲功能區塊246A及246B來補償網路104延時及/或經由鏈路650提供之所呈現表面中的視點改變。在特定具體實例中，例如可將由AR裝置102接收到的所呈現且扭曲之表面傳遞至IMU功能區塊242，以使呈現及扭曲之表面與最新的使用者頭部姿勢資料及物件姿勢資料（例如，即時或近即時的頭部姿勢資料及/或物件姿勢資料）相關聯。可將來自呈現裝置202之扭曲表面及來自AR裝置102之本端產生表面（例如，使用呈現引擎234及3D重投影扭曲功能區塊236產生）傳遞至最終重投影扭曲功能區塊246A及246B以用於AR裝置102之其各別顯示器460及470。在特定具體實例中，3D重投影扭曲功能區塊246A及246B可包括用於根據使用者之最新視點（例如，基於來自242之最新IMU資料計算）調整及合成表面的時間扭曲模組。用於使用者之左眼顯示器460的區塊246A可使用對應於使用者左眼之視點，且用於使用者之右眼顯示器470的區塊246B可使用對應於使用者右眼之視點。執行此時間扭曲調整以補償自產生表面之時間以來使用者視點之潛在改變。在特定具體實例中，3D重投影扭曲功能區塊246A及246B可各自包括失真校正區塊，其中可在顯示器460及/或470處顯示之前對最終影像進行調整。舉例而言，由於AR裝置102之透鏡、波導及/或顯示面板可使輸出影像失真或將可見假影引入至輸出影像，因此3D重投影扭曲功能區塊246A及246B之失真校正區塊可補償影像之預期失真/假影（例如，藉由應用反失真），之後將影像傳輸至顯示器460及/或470。
本發明涵蓋任何合適的鏈路650，其為有線（諸如，數位用戶線（Digital Subscriber Line；DSL）或纜線資料服務介面規格（Data Over Cable Service Interface Specification；DOCSIS））、無線（諸如，Wi-Fi或微波存取全球互通（Worldwide Interoperability for Microwave Access；WiMAX））或光學（諸如，同步光學網路（Synchronous Optical Network；SONET）或同步數位階層（Synchronous Digital Hierarchy；SDH））鏈路。在特定具體實例中，一或多個鏈路650各自包括特用網路、企業內部網路、企業間網路、VPN、LAN、WLAN、WAN、WWAN、MAN、網際網路之一部分、PSTN之一部分、基於蜂巢式技術之網路、基於衛星通信技術之網路、另一鏈路650，或兩個或多於兩個此類鏈路650之組合。
圖 5繪示用於根據網路104條件呈現表面之示範性方法500。該方法可在步驟510處開始，在該步驟中呈現裝置220可接收呈現對應於待同時顯示於AR頭戴式耳機或AR裝置102上之虛擬物件之表面的請求。在步驟520處，回應於無線鏈路之網路104品質低於臨限條件的判定，選擇相比表面之第二子集具有更高優先級的表面之第一子集。在步驟530處，呈現裝置106可將表面之第一子集傳輸至AR裝置102以供顯示。在步驟540處，呈現裝置220可在如步驟530中所定義傳輸第一子集之後將表面之第二子集傳輸至AR裝置102以供顯示。在適當時，特定具體實例可重複 圖 5之方法的一或多個步驟。儘管本發明將 圖 5之方法之特定步驟描述及說明為以特定次序發生，但本發明涵蓋 圖 5之方法的任何合適步驟以任何合適的次序發生。此外，儘管本發明描述及說明用於接收呈現對應於待同時由AR裝置102顯示之虛擬物件之表面的請求之示範性方法，其中AR裝置102經由無線鏈路連接至呈現裝置220，該方法包括 圖 5之方法的特定步驟，但本發明涵蓋用於根據網路104條件呈現表面之任何合適方法，其包括任何合適步驟，在適當時，其可包括 圖 5之方法步驟中的全部、一些或無一者。此外，儘管本發明描述及說明進行 圖 5之方法之特定步驟的特定組件、裝置或系統，但本發明涵蓋進行 圖 5之方法之任何合適步驟的任何合適組件、裝置或系統之任何合適組合。
圖 6繪示與社交網路連接系統相關聯之示範性網路環境600。網路環境600包括藉由網路104彼此連接之使用者601、用戶端系統630、社交網路連接系統660及第三方系統670。儘管 圖 6繪示使用者601、用戶端系統630、社交網路連接系統660、第三方系統670及網路104之特定配置，但本發明涵蓋使用者601、用戶端系統630、社交網路連接系統660、第三方系統670及網路104之任何合適配置。作為實例而非作為限制，用戶端系統630、社交網路連接系統660及第三方系統670中之兩者或多於兩者可繞過網路610彼此直接連接。作為另一實例，用戶端系統630、社交網路連接系統660及第三方系統670中之兩者或多於兩者可完全或部分地彼此實體或邏輯共置。此外，儘管 圖 6繪示特定數目個使用者601、用戶端系統630、社交網路連接系統66I0、第三方系統670及網路120，但本發明涵蓋任何合適數目個使用者601、用戶端系統630、社交網路連接系統660、第三方系統670及網路104。作為實例而非作為限制，網路環境600可包括多個使用者601、用戶端系統630、社交網路連接系統660、第三方系統670及網路104。
在特定具體實例中，使用者601可為與社交網路連接系統660互動或通信或經由該社交網路連接系統互動或通信之個人（人類使用者）、實體（例如，企業、商業或第三方應用程式）或（例如，個人或實體之）群組。在特定具體實例中，社交網路連接系統660可為代管線上社交網路之網路可定址計算系統。社交網路連接系統660可產生、儲存、接收及發送社交網路連接資料，諸如使用者設定檔資料、概念設定檔資料、社交圖資訊，或與線上社交網路相關之其他合適資料。社交網路連接系統660可由網路環境600之其他組件直接或經由網路104存取。在特定具體實例中，社交網路連接系統660可包括授權伺服器（或其他合適組件），其允許使用者601例如藉由設定適當的隱私設定來選擇加入或選擇退出藉由社交網路連接系統660記錄或與其他系統（例如，第三方系統670）共用其動作。使用者之隱私設定可判定可記錄與使用者相關聯之哪些資訊、可如何記錄與使用者相關聯之資訊、何時可記錄與使用者相關聯之資訊、何人可記錄與使用者相關聯之資訊、可與何人共用與使用者相關聯之資訊及可出於何種目的記錄或共用與使用者相關聯之資訊。授權伺服器可用以在適當時經由阻擋、資料雜湊、匿名化或其他合適技術來強制執行社交網路連接系統660之使用者的一或多個隱私設定。在特定具體實例中，第三方系統670可為可代管表面資料之網路可定址計算系統。第三方系統670可產生、儲存、接收及發送表面資料。第三方系統670可由網路環境600之其他組件直接或經由網路104存取。在特定具體實例中，一或多個使用者601可使用一或多個用戶端系統630來存取資料，將資料發送至社交網路連接系統660或第三方系統670且自該社交網路連接系統或該第三方系統接收資料。用戶端系統630可直接、經由網路104或經由第三方系統存取社交網路連接系統660或第三方系統670。作為實例而非作為限制，用戶端系統630可經由社交網路連接系統660存取第三方系統670。用戶端系統630可為任何合適的呈現裝置，諸如個人電腦、膝上型電腦、蜂巢式電話、智慧型手機、平板電腦或人工實境裝置。
本發明涵蓋任何合適的網路104。作為實例而非作為限制，網路104之一或多個部分可包括特用網路、企業內部網路、企業間網路、虛擬專用網路（virtual private network；VPN）、區域網路（local area network；LAN）、無線LAN（wireless LAN；WLAN）、廣域網路（wide area network；WAN）、無線WAN（wireless WAN；WWAN）、都會區域網路（metropolitan area network；MAN）、網際網路之一部分、公眾交換電話網路（Public Switched Telephone Network；PSTN）之一部分、蜂巢式電話網路，或此等網路中之兩者或多於兩者之組合。網路104可包括一或多個網路104。
鏈路650可將用戶端系統630、社交網路連接系統660及第三方系統670連接至通信網路104或使其彼此連接。本發明涵蓋任何合適的鏈路650。在特定具體實例中，一或多個鏈路650包括一或多個有線（諸如，數位用戶線（DSL）或纜線資料服務介面規格（DOCSIS））、無線（諸如，Wi-Fi或微波存取全球互通（WiMAX））或光學（諸如，同步光學網路（SONET）或同步數位階層（SDH））鏈路。在特定具體實例中，一或多個鏈路&50各自包括特用網路、企業內部網路、企業間網路、VPN、LAN、WLAN、WAN、WWAN、MAN、網際網路之一部分、PSTN之一部分、基於蜂巢式技術之網路、基於衛星通信技術之網路、另一鏈路650，或兩個或多於兩個此類鏈路650之組合。鏈路650不必在整個網路環境600中相同。一或多個第一鏈路650可在一或多個方面不同於一或多個第二鏈路650。
圖 7繪示示範性電腦系統700。在特定具體實例中，一或多個電腦系統700執行本文中所描述或說明之一或多種方法之一或多個步驟。在特定具體實例中，一或多個電腦系統700提供本文中所描述或說明之功能性。在特定具體實例中，在一或多個電腦系統700上運行之軟體執行本文中所描述或說明的一或多種方法之一或多個步驟或提供本文中所描述或說明之功能性。特定具體實例包括一或多個電腦系統700之一或多個部分。本文中，在適當時，對電腦系統之提及可涵蓋呈現裝置，且反之亦然。此外，在適當時，對電腦系統之提及可涵蓋一或多個電腦系統。
本發明涵蓋任何合適數目個電腦系統700。本發明涵蓋採取任何合適的實體形式之電腦系統700。作為實例而非作為限制，電腦系統700可為嵌入式電腦系統、系統單晶片（system-on-chip；SOC）、單板電腦系統（single-board computer system；SBC）（諸如，模組電腦（computer-on-module；COM）或模組系統（system-on-module；SOM））、桌上型電腦系統、膝上型電腦或筆記型電腦系統、互動式資訊站、大型電腦、電腦系統之網格、行動電話、個人數位助理（personal digital assistant；PDA）、伺服器、平板電腦系統、擴增/虛擬實境裝置，或此等中之兩者或多於兩者的組合。在適當時，電腦系統700可包括一或多個電腦系統700；為整體或分散式；橫跨多個位置；橫跨多個機器；橫跨多個資料中心；或駐留於雲端中，該雲端可包括一或多個網路中之一或多個雲端組件。在適當時，一或多個電腦系統700可在無實質空間或時間限制之情況下執行本文中所描述或說明之一或多種方法之一或多個步驟。作為實例而非限制，一或多個電腦系統700可即時或以批量模式執行本文中所描述或說明之一或多種方法之一或多個步驟。在適當時，一或多個電腦系統700可在不同時間或在不同位置執行本文中所描述或說明之一或多種方法之一或多個步驟。
在特定具體實例中，電腦系統700包括處理器702、記憶體704、儲存器706、輸入/輸出（I/O）介面708、通信介面710及匯流排712。儘管本發明描述及說明具有在特定配置中之特定數目個特定組件的特定電腦系統，但本發明涵蓋具有在任何合適配置中之任何合適數目個任何合適組件的任何合適電腦系統。
在特定具體實例中，處理器702包括用於執行指令（諸如，組成電腦程式之彼等指令）之硬體。作為實例而非作為限制，為執行指令，處理器702可自內部暫存器、內部快取記憶體、記憶體704或儲存器706擷取（或提取）指令；對其進行解碼並執行其；且接著將一或多個結果寫入至內部暫存器、內部快取記憶體、記憶體704或儲存器706。在特定具體實例中，處理器702可包括用於資料、指令或位址之一或多個內部快取記憶體。在適當時，本發明涵蓋包括任何合適數目個任何合適內部快取記憶體的處理器702。作為實例而非限制，處理器702可包括一或多個指令快取記憶體、一或多個資料快取記憶體及一或多個轉譯後備緩衝器（translation lookaside buffer；TLB）。指令快取記憶體中之指令可為記憶體704或儲存器706中之指令的複本，且指令快取記憶體可加速處理器702對彼等指令的擷取。資料快取記憶體中之資料可為記憶體704或儲存器706中供在處理器702處執行的指令操作之資料的複本；供在處理器702處執行之後續指令存取或供寫入至記憶體704或儲存器706的在處理器702處執行的先前指令之結果；或其他合適資料。資料快取記憶體可加速處理器702進行的讀取或寫入操作。TLB可加速用於處理器702之虛擬位址轉譯。在特定具體實例中，處理器702可包括用於資料、指令或位址之一或多個內部暫存器。在適當時，本發明涵蓋包括任何合適數目個任何合適內部暫存器的處理器702。在適當時，處理器702可包括一或多個算術邏輯單元（ALU）；為多核處理器；或包括一或多個處理器702。儘管本發明描述及說明特定處理器，但本發明涵蓋任何合適的處理器。
在特定具體實例中，記憶體704包括用於儲存供處理器702執行之指令或供處理器702操作之資料的主記憶體。作為實例而非作為限制，電腦系統700可將指令自儲存器706或另一來源（諸如，另一電腦系統700）載入至記憶體704。處理器702可接著將指令自記憶體704載入至內部暫存器或內部快取記憶體。為執行指令，處理器702可自內部暫存器或內部快取記憶體擷取指令並對其進行解碼。在指令執行期間或之後，處理器702可將一或多個結果（其可為中間或最終結果）寫入至內部暫存器或內部快取記憶體。處理器702可接著將彼等結果中之一或多者寫入至記憶體704。在特定具體實例中，處理器702僅執行一或多個內部暫存器或內部快取記憶體中或記憶體704（與儲存器706相對或在別處）中的指令且僅對一或多個內部暫存器或內部快取記憶體中或記憶體704（與儲存器706相對或在別處）中之資料進行操作。一或多個記憶體匯流排（其可各自包括位址匯流排及資料匯流排）可將處理器702耦接至記憶體704。如下文所描述，匯流排712可包括一或多個記憶體匯流排。在特定具體實例中，一或多個記憶體管理單元（memory management unit；MMU）駐留在處理器702與記憶體704之間且促進由處理器702請求之對記憶體704的存取。在特定具體實例中，記憶體704包括隨機存取記憶體（RAM）。在適當時，此RAM可為揮發性記憶體。在適當時，此RAM可為動態RAM（DRAM）或靜態RAM（SRAM）。此外，在適當時，此RAM可為單埠或多埠RAM。本發明涵蓋任何合適的RAM。在適當時，記憶體704可包括一或多個記憶體704。儘管本發明描述及說明特定記憶體，但本發明涵蓋任何合適的記憶體。
在特定具體實例中，儲存器706包括用於資料或指令之大容量儲存器。作為實例而非作為限制，儲存器706可包括硬碟機（hard disk drive；HDD）、軟碟機、快閃記憶體、光碟、磁性光碟、磁帶或通用串列匯流排（Universal Serial Bus；USB）磁碟機或此等中之兩者或多於兩者的組合。在適當時，儲存器706可包括抽取式或非抽取式（或固定）媒體。在適當時，儲存器706可在電腦系統700內部或外部。在特定具體實例中，儲存器706為非揮發性固態記憶體。在特定具體實例中，儲存器706包括唯讀記憶體（read-only memory；ROM）。在適當時，此ROM可為遮罩程式化ROM、可程式化ROM（programmable ROM；PROM）、可抹除PROM（erasable PROM；EPROM）、電可抹除PROM（electrically erasable PROM；EEPROM）、電可改ROM（electrically alterable ROM；EAROM），或快閃記憶體或此等中之兩者或多於兩者的組合。本發明涵蓋採取任何合適實體形式的大容量儲存器706。在適當時，儲存器706可包括促進處理器702與儲存器706之間的通信之一或多個儲存器控制單元。在適當時，儲存器706可包括一或多個儲存器706。儘管本發明描述及說明特定儲存器，但本發明涵蓋任何合適的儲存器。
在特定具體實例中，I/O介面708包括硬體、軟體或其兩者，從而提供一或多個介面以用於電腦系統700與一或多個I/O裝置之間的通信。在適當時，電腦系統700可包括此等I/O裝置中之一或多者。此等I/O裝置中之一或多者可實現個人與電腦系統700之間的通信。作為實例而非作為限制，I/O裝置可包括鍵盤、小鍵盤、麥克風、監視器、滑鼠、印表機、掃描器、揚聲器、靜態攝影機、手寫筆、平板電腦、觸控螢幕、軌跡球、視訊攝影機、另一合適的I/O裝置或此等中之兩者或多於兩者的組合。I/O裝置可包括一或多個感測器。本發明涵蓋任何合適的I/O裝置及用於其之任何合適的I/O介面708。在適當時，I/O介面708可包括一或多個裝置或軟體驅動程式，使得處理器702能夠驅動此等I/O裝置中之一或多者。在適當時，I/O介面708可包括一或多個I/O介面708。儘管本發明描述及說明特定I/O介面，但本發明涵蓋任何合適的I/O介面。
在特定具體實例中，通信介面710包括硬體、軟體或其兩者，從而提供一或多個介面以用於電腦系統700與一或多個其他電腦系統700或一或多個網路之間的通信（諸如，基於封包之通信）。作為實例而非作為限制，通信介面710可包括用於與乙太網路或其他基於有線之網路通信的網路介面控制器（NIC）或網路配接器，或用於與無線網路（諸如，WI-FI網路）通信之無線NIC（WNIC）或無線配接器。本發明涵蓋任何合適的網路及用於其之任何合適的通信介面710。作為實例而非限制，電腦系統700可與特用網路、個人區域網路（personal area network；PAN）、區域網路（LAN）、廣域網路（WAN）、都會區域網路（MAN）或網際網路之一或多個部分或此等網路中之兩者或多於兩者的組合通信。此等網路中之一或多者的一或多個部分可為有線或無線的。作為實例，電腦系統700可與無線PAN（wireless PAN；WPAN）（諸如，藍牙WPAN）、WI-FI網路、WI-MAX網路、蜂巢式電話網路（諸如，全球行動通信系統（GSM）網路）或其他合適的無線網路或此等網路中之兩者或多於兩者的組合通信。在適當時，電腦系統700可包括用於此等網路中之任一者的任何合適的通信介面710。在適當時，通信介面710可包括一或多個通信介面710。儘管本發明描述及說明特定通信介面，但本發明涵蓋任何合適的通信介面。
在特定具體實例中，匯流排712包括將電腦系統700之組件彼此耦接的硬體、軟體或其兩者。作為實例而非作為限制，匯流排712可包括加速圖形埠（Accelerated Graphics Port；AGP）或其他圖形匯流排、增強行業標準架構（Enhanced Industry Standard Architecture；EISA）匯流排、前側匯流排（front-side bus；FSB）、超傳輸（HT）互連、行業標準架構（Industry Standard Architecture；ISA）匯流排、INFINIBAND互連、低腳位（low-pin-count；LPC）匯流排、記憶體匯流排、微通道架構（Micro Channel Architecture；MCA）匯流排、周邊組件互連（Peripheral Component Interconnect；PCI）匯流排、PCI快速（PCI-Express；PCIe）匯流排、串列進階附接技術（serial advanced technology attachment；SATA）匯流排、視訊電子標準協會區域（Video Electronics Standards Association local；VLB）匯流排，或另一合適的匯流排或此等匯流排中之兩者或多於兩者的組合。在適當時，匯流排712可包括一或多個匯流排712。儘管本發明描述及說明特定匯流排，但本發明涵蓋任何合適的匯流排或互連。
本文中，在適當時，一或多個電腦可讀非暫時性儲存媒體可包括一或多個基於半導體或其他積體電路（integrated circuit；IC）（諸如，場可程式化閘陣列（field-programmable gate array；FPGA）或特殊應用IC（application-specific IC；ASIC））、硬碟機（HDD）、混合式硬碟機（hybrid hard drive；HHD）、光碟、光碟機（optical disc drives；ODD）、磁性光碟、磁光碟機、軟碟、軟碟機（floppy disk drive；FDD）、磁帶、固態硬碟（solid-state drive；SSD）、RAM磁碟機、安全數位卡或磁碟機、任何其他合適的電腦可讀非暫時性儲存媒體，或此等中之兩者或多於兩者的任何合適組合。在適當時，電腦可讀非暫時性儲存媒體可為揮發性的、非揮發性的或揮發性與非揮發性的組合。
在本文中，除非另外明確指示或上下文另外指示，否則「或」為包括性且並非排他性的。因此，除非另外明確指示或上下文另外指示，否則本文中「A或B」意謂「A、B或其兩者」。此外，除非另外明確指示或上下文另外指示，否則「及」為聯合及各自兩者。因此，在本文中，除非另外明確指示或上下文另外指示，否則「A及B」意謂「A及B，聯合地或各自地」。
本發明之範圍涵蓋所屬技術領域中具有通常知識者將瞭解的本文中所描述或說明之示範性具體實例的所有改變、取代、變化、更改及修改。本發明之範圍不限於本文中所描述或說明的示範性具體實例。此外，儘管本發明將本文中各別具體實例描述及說明為包括特定組件、元件、特徵、功能、操作或步驟，但此等具體實例中之任一者可包括所屬技術領域中具有通常知識者將瞭解的本文中任何位置所描述或說明的組件、元件、特徵、功能、操作或步驟中之任一者的任何組合或排列。此外，所附申請專利範圍中對經調適以、經配置以、能夠、經組態以、經啟用以、可操作以或經操作以執行特定功能的設備或系統或設備或系統之組件的提及涵蓋只要彼設備、系統或組件如此經調適、經配置、能夠、經組態、經啟用、可操作或經操作，彼設備、系統、組件（不管係其抑或彼特定功能）即經啟動、接通或解除鎖定。另外，儘管本發明將特定具體實例描述或說明為提供特定優點，但特定具體實例可提供此等優點中之無一者、一些或全部。
100:擴增實境（AR）系統 102:AR裝置 104:通信網路 106:計算平台 108:伺服器 110:資料儲存庫 200:擴增實境（AR）系統 202:頭部姿勢追蹤功能區塊 204:呈現引擎 206:3D重投影扭曲功能區塊 208:資源管理器 210:內容管理器 212:應用程式 220:呈現裝置 232:集中式內容及資源管理器 234:呈現引擎 236:3D重投影扭曲功能區塊 238:攝影機資料 240:感測器資料 242:最新IMU功能區塊 246:表面 246A:3D重投影扭曲功能區塊 246B:3D重投影扭曲功能區塊 300:擴增實境（AR）系統 310:雲端系統 312:雲端計算組件 314:基於雲端之服務組件 316:基於雲端之儲存器 318:其他使用者裝置 322:計算裝置 324:記憶體 326:通信組件 328:攝影機 330:感測器 332:使用者輸入/輸出模組 334:電池 342:計算裝置 344:顯示器 346:音訊 348:攝影機資料 350:感測器 352:通信模組 354:電池 360:可穿戴式裝置 362:計算裝置 364:通信模組 366:感測器 368:電池 410:行動圖形處理單元（GPU） 420:高效率視訊寫碼（HEVC）編碼器 430:高效率視訊寫碼（HEVC）解碼器 460:使用者之左眼顯示器 470:使用者之右眼顯示器 500:方法 510:步驟 520:步驟 530:步驟 540:步驟 600:網路環境 601:使用者 630:用戶端系統 650:鏈路 660:社交網路連接系統 670:第三方系統 700:電腦系統 702:處理器 704:記憶體 706:儲存器 708:輸入/輸出（I/O）介面 710:通信介面 712:匯流排
[圖1]繪示示範性擴增實境（AR）系統。
[圖2]繪示具有可用網路連接之擴增實境（AR）系統的詳細具體實例。
[圖3]繪示用於提供呈現技術之方法的圖。
[圖4]繪示示範性圖形管線之圖。
[圖5]繪示優先化及傳輸表面之示範性方法。
[圖6]繪示與社交網路連接系統相關聯之示範性網路環境。
[圖7]繪示示範性電腦系統。
102:AR裝置
200:擴增實境(AR)系統
202:頭部姿勢追蹤功能區塊
204:呈現引擎
206:3D重投影扭曲功能區塊
208:資源管理器
210:內容管理器
212:應用程式
220:呈現裝置
232:集中式內容及資源管理器
234:呈現引擎
236:3D重投影扭曲功能區塊
238:攝影機資料
240:感測器資料
242:最新IMU功能區塊
246:表面

Claims (20)

  1. 一種由一呈現裝置進行之方法，包含： 接收呈現對應於待同時顯示於一擴增實境（AR）頭戴式耳機上之複數個虛擬物件之複數個表面的一請求，該AR頭戴式耳機經由一無線鏈路連接至該呈現裝置； 回應於該無線鏈路之一網路品質低於一臨限條件的一判定，選擇相比於該複數個表面之一第二子集具有更高優先級的該複數個表面之一第一子集； 將該複數個表面之該第一子集傳輸至該AR頭戴式耳機以供顯示；及 在傳輸該複數個表面之該第一子集之後將該複數個表面之該第二子集傳輸至該AR頭戴式耳機以供顯示。
  2. 如請求項1之方法，其中回應於該無線鏈路之該網路品質低於該臨限條件的該判定而調整該複數個表面之該第一子集及該複數個表面之該第二子集的一解析度。
  3. 如請求項1之方法，其中回應於該無線鏈路之該網路品質低於該臨限條件的該判定而調整該複數個表面之該第一子集及該複數個表面之該第二子集的一位元速率。
  4. 如請求項1之方法，其中傳輸該複數個表面之該第一子集進一步包含將該複數個表面之該第一子集分佈至一或多個系統間隔中。
  5. 如請求項1之方法，其中選擇該複數個表面之該第一子集包含優先化對應於該複數個虛擬物件之該複數個表面的一或多個三維（3D）表面。
  6. 如請求項1之方法，其中選擇該複數個表面之該第二子集包含對應於該複數個虛擬物件之該複數個表面的二維（2D）表面。
  7. 如請求項1之方法，其進一步包含： 旋轉該第一子集內之該複數個表面中之一或多者的排程以避免一個表面持續下降。
  8. 如請求項1之方法，其進一步包含：  回應於該無線鏈路之該網路品質低於該臨限條件的該判定，產生由一或多個呈現參數組成之呈現模式的複數個集合；及 基於該無線鏈路之該網路品質而選擇由該一或多個呈現參數組成之該呈現模式的該複數個集合中之一者；及 根據該呈現模式之選定集合而呈現表面以便滿足一或多個無線鏈路約束。
  9. 一種呈現裝置，其包含： 一或多個顯示器； 一或多個非暫時性電腦可讀儲存媒體，其包括指令；及 一或多個處理器，其耦接至該一或多個非暫時性電腦可讀儲存媒體，該一或多個處理器經組態以執行指令從而進行以下操作： 接收呈現對應於待同時顯示於一擴增實境（AR）頭戴式耳機上之複數個虛擬物件之複數個表面的一請求，該AR頭戴式耳機經由一無線鏈路連接至該呈現裝置； 回應於該無線鏈路之一網路品質低於一臨限條件的一判定，選擇相比於該複數個表面之一第二子集具有更高優先級的該複數個表面之一第一子集； 將該複數個表面之該第一子集傳輸至該AR頭戴式耳機以供顯示；及 在傳輸該複數個表面之該第一子集之後將該複數個表面之該第二子集傳輸至該AR頭戴式耳機以供顯示。
  10. 如請求項9之呈現裝置，其中回應於該無線鏈路之該網路品質低於該臨限條件的該判定而調整該複數個表面之該第一子集及該複數個表面之該第二子集的一解析度。
  11. 如請求項9之呈現裝置，其中回應於該無線鏈路之該網路品質低於該臨限條件的該判定而調整該複數個表面之該第一子集及該複數個表面之該第二子集的一位元速率。
  12. 如請求項9之呈現裝置，其中傳輸該複數個表面之該第一子集進一步包含將該複數個表面之該第一子集分佈至一或多個系統間隔中。
  13. 如請求項9之呈現裝置，其中選擇該複數個表面之該第一子集包含優先化對應於該複數個虛擬物件之該複數個表面的一或多個三維（3D）表面。
  14. 如請求項9之呈現裝置，其中選擇該複數個表面之該第二子集包含對應於該複數個虛擬物件之該複數個表面的二維（2D）表面。
  15. 一種電腦可讀非暫時性儲存媒體，其包含可由一處理器執行以進行以下操作的指令： 接收呈現對應於待同時顯示於一擴增實境（AR）頭戴式耳機上之複數個虛擬物件之複數個表面的一請求，該AR頭戴式耳機經由一無線鏈路連接至一呈現裝置； 回應於該無線鏈路之一網路品質低於一臨限條件的一判定，選擇相比於該複數個表面之一第二子集具有更高優先級的該複數個表面之一第一子集； 將該複數個表面之該第一子集傳輸至該AR頭戴式耳機以供顯示；及 在傳輸該第一子集之後將該複數個表面之該第二子集傳輸至該AR頭戴式耳機以供顯示。
  16. 如請求項15之媒體，其中回應於該無線鏈路之該網路品質低於該臨限條件的該判定而調整該複數個表面之該第一子集及該複數個表面之該第二子集的一解析度。
  17. 如請求項15之媒體，其中回應於該無線鏈路之該網路品質低於該臨限條件的該判定而調整該複數個表面之該第一子集及該複數個表面之該第二子集的一位元速率。
  18. 如請求項15之媒體，其中傳輸該複數個表面之該第一子集進一步包含將該複數個表面之該第一子集分佈至一或多個系統間隔中。
  19. 如請求項15之媒體，其中選擇該複數個表面之該第一子集包含優先化對應於該複數個虛擬物件之該複數個表面的一或多個三維（3D）表面。
  20. 如請求項15之媒體，其中選擇該複數個表面之該第二子集包含對應於該複數個虛擬物件之該複數個表面的二維（2D）表面。
TW111146105A 2022-01-10 2022-12-01 用於擴增實境裝置的彈性成像 TW202339497A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/572,439 2022-01-10
US17/572,439 US11917011B2 (en) 2022-01-10 2022-01-10 Resilient rendering for augmented-reality devices

Publications (1)

Publication Number Publication Date
TW202339497A true TW202339497A (zh) 2023-10-01

Family

ID=85150405

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111146105A TW202339497A (zh) 2022-01-10 2022-12-01 用於擴增實境裝置的彈性成像

Country Status (3)

Country Link
US (2) US11917011B2 (zh)
TW (1) TW202339497A (zh)
WO (1) WO2023133082A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114175630A (zh) * 2019-07-28 2022-03-11 谷歌有限责任公司 利用注视点网格渲染沉浸式视频内容的方法、系统和介质

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8514871B2 (en) * 2006-07-24 2013-08-20 At&T Intellectual Property I, L.P. Methods, systems, and computer program products for marking data packets based on content thereof
US8549405B2 (en) * 2006-08-22 2013-10-01 Centurylink Intellectual Property Llc System and method for displaying a graphical representation of a network to identify nodes and node segments on the network that are not operating normally
US20150141143A1 (en) * 2013-11-15 2015-05-21 Ol2, Inc. Systems and methods for coordinating input devices with rendered content being provided to platforms
US9694280B2 (en) * 2013-11-15 2017-07-04 Sony Interactive Entertainment America Llc Systems and methods for providing cross platform access to interactive content
US9401003B2 (en) * 2013-11-18 2016-07-26 Zebrafish Labs, Inc. Just-in-time processing of images
US10264211B2 (en) 2014-03-14 2019-04-16 Comcast Cable Communications, Llc Adaptive resolution in software applications based on dynamic eye tracking
US20170069054A1 (en) 2015-09-04 2017-03-09 Intel Corporation Facilitating efficient scheduling of graphics workloads at computing devices
US20170140570A1 (en) 2015-11-13 2017-05-18 Intel Corporation Facilitating efficeint centralized rendering of viewpoint-agnostic graphics workloads at computing devices
US11284109B2 (en) * 2016-01-29 2022-03-22 Cable Television Laboratories, Inc. Visual coding for sensitivities to light, color and spatial resolution in human visual system
US9978181B2 (en) * 2016-05-25 2018-05-22 Ubisoft Entertainment System for virtual reality display
US9786027B1 (en) 2016-06-16 2017-10-10 Waygate, Inc. Predictive bi-adaptive streaming of real-time interactive computer graphics content
US11474591B2 (en) 2016-08-05 2022-10-18 Ati Technologies Ulc Fine-grain GPU power management and scheduling for virtual reality applications
JP6250779B1 (ja) * 2016-12-26 2017-12-20 株式会社コロプラ 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置
US10769747B2 (en) 2017-03-31 2020-09-08 Intel Corporation Intermediate frame generation
US10424097B2 (en) * 2017-04-01 2019-09-24 Intel Corporation Predictive viewport renderer and foveated color compressor
US10591971B2 (en) 2017-04-01 2020-03-17 Intel Corporation Adaptive multi-resolution for graphics
WO2018200993A1 (en) 2017-04-28 2018-11-01 Zermatt Technologies Llc Video pipeline
US10477105B2 (en) 2017-06-08 2019-11-12 Futurewei Technologies, Inc. Method and system for transmitting virtual reality (VR) content
US10741143B2 (en) 2017-11-28 2020-08-11 Nvidia Corporation Dynamic jitter and latency-tolerant rendering
US10523979B2 (en) * 2017-12-21 2019-12-31 Vyu Labs, Inc. Streaming live video
US11145096B2 (en) * 2018-03-07 2021-10-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
US11133993B2 (en) * 2019-02-28 2021-09-28 At&T Intellectual Property I, L.P. Augmented/mixed reality virtual venue pipeline optimization
US10997954B2 (en) 2019-07-24 2021-05-04 Qualcomm Incorporated Foveated rendering using variable framerates
US10861422B1 (en) * 2019-08-16 2020-12-08 Facebook Technologies, Inc. Display rendering
US11409341B2 (en) 2019-10-01 2022-08-09 Intel Corporation Repeating graphics render pattern detection
US11792420B2 (en) 2019-11-04 2023-10-17 Qualcomm Incorporated Methods and apparatus for foveated compression
US11731043B2 (en) * 2019-11-19 2023-08-22 Sony Interactive Entertainment Inc. Adaptive graphics for cloud gaming
US11783510B2 (en) 2020-08-25 2023-10-10 Nvidia Corporation View generation using one or more neural networks

Also Published As

Publication number Publication date
US11917011B2 (en) 2024-02-27
US20230224369A1 (en) 2023-07-13
WO2023133082A1 (en) 2023-07-13
US20240205294A1 (en) 2024-06-20

Similar Documents

Publication Publication Date Title
US11244512B2 (en) Hybrid rendering for a wearable display attached to a tethered computer
US11640691B2 (en) Display engine for post-rendering processing
US10068553B2 (en) Enhanced rendering by a wearable display attached to a tethered computer
US11176901B1 (en) Pan-warping and modifying sub-frames with an up-sampled frame rate
US11862128B2 (en) Systems and methods for foveated rendering
JP2019535156A (ja) 仮想現実、拡張現実、および複合現実システムおよび方法
JP2019512750A (ja) 人間の視覚的なメカニズムに適合したヘッドマウント型ディスプレイのためのシステム及び方法
CN112912823A (zh) 生成和修改增强现实或虚拟现实场景中对象的表示
TW202134890A (zh) 用於應用計算的分佈的方法和裝置
US20240205294A1 (en) Resilient rendering for augmented-reality devices
US11211034B2 (en) Display rendering
US11398020B2 (en) Generating a composite image
US11557049B1 (en) Interpolation optimizations for a display engine for post-rendering processing
US11011123B1 (en) Pan-warping and modifying sub-frames with an up-sampled frame rate
US20220201271A1 (en) Temporal foveated rendering
TW202247646A (zh) 顯示偽影減少
US20230136064A1 (en) Priority-based graphics rendering for multi-part systems
US20230215074A1 (en) Rendering workload management for extended reality