TWI803590B - 藉由所關注區域之制定的異步時間及空間翹曲 - Google Patents

藉由所關注區域之制定的異步時間及空間翹曲 Download PDF

Info

Publication number
TWI803590B
TWI803590B TW108108104A TW108108104A TWI803590B TW I803590 B TWI803590 B TW I803590B TW 108108104 A TW108108104 A TW 108108104A TW 108108104 A TW108108104 A TW 108108104A TW I803590 B TWI803590 B TW I803590B
Authority
TW
Taiwan
Prior art keywords
frame
roi
warping
user
information
Prior art date
Application number
TW108108104A
Other languages
English (en)
Other versions
TW201946463A (zh
Inventor
克利許納普拉沙德 凡內 莫爾克德
蘇迪普多 貝納吉
帕溫 庫瑪 拜哈提
阿吉特 文卡特 拉奧
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201946463A publication Critical patent/TW201946463A/zh
Application granted granted Critical
Publication of TWI803590B publication Critical patent/TWI803590B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • Library & Information Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Radio Relay Systems (AREA)

Abstract

本發明揭示一種用於使一顯現圖框翹曲的方法及系統。在一分裂顯現系統之一主機器件上，該方法包括基於一使用者之頭部追蹤資訊產生該經顯現圖框。該方法亦包括識別該經顯現圖框之一所關注區域(ROI)。該方法亦包括自該ROI產生用於一翹曲操作之後設資料。該方法進一步包括傳輸該經顯現圖框及用於該經顯現圖框之一翹曲操作的該後設資料。在該分裂顯現系統之一用戶端器件上，該方法包括藉由一用戶端器件傳輸一使用者之頭部追蹤資訊。該方法亦包括接收該經顯現圖框及後設資料。該方法進一步包括使用該後設資料使該經顯現圖框翹曲並顯示姿態資訊。該主機器件及該用戶端器件可組合成一一體式頭戴式顯示器。

Description

藉由所關注區域之制定的異步時間及空間翹曲
本發明係關於影像內容資訊之處理，且更明確而言係關於影像內容資訊之後處理以供輸出至顯示器。
分裂顯現系統可包括經由網路(例如無線網路、有線網路等)通信的至少一個主機器件及至少一個用戶端器件。舉例而言，Wi-Fi直連(WFD)系統包括經由Wi-Fi網路通信之多個器件。主機器件充當無線存取點並使用一或多個無線通信標準(例如，IEEE 802.11)發送影像內容資訊至一或多個用戶端器件，該影像內容資訊可包括音訊視訊(AV)資料、音訊資料及/或視訊資料。影像內容資訊可在主機器件之顯示器及在用戶端器件中之每一者處的顯示器兩者處播放。更特定言之，參與用戶端器件中之每一者處理所接收影像內容資訊以用於呈現於其顯示螢幕及音訊裝備上。另外，主機器件可執行影像內容資訊之至少某一處理以用於呈現於用戶端器件上。
主機器件及用戶端器件中之一或多者可為無線器件或具有無線通信能力之有線器件。在一個實例中，作為有線器件，主機器件及用戶端器件中之一或多者可包含電視、監視器、投影儀、機上盒、DVD或藍光光碟播放器、數位視訊記錄器、膝上型電腦或桌上型個人電腦、視訊遊戲控制台及包括無線通信能力之類似者。在另一實例中，作為無線器件，主機器件及用戶端器件中之一或多者可包含行動電話、具有無線通信卡之攜帶型電腦、個人數位助理(PDA)、攜帶型媒體播放器，或具有無線通信能力之其他快閃記憶體器件，包括所謂的「智慧」電話及「智慧」板或平板電腦，或其他類型之無線通信器件(WCD)。
在一些實例中，用戶端器件中之至少一者可包含可穿戴顯示器件。可穿戴顯示器件可包含穿戴在使用者身體上之任何類型之有線或無線顯示器件。作為實例，可穿戴顯示器件可包含穿戴在使用者頭部上以便定位使用者眼睛面前之一或多個顯示器螢幕的無線頭部穿戴顯示器或無線頭戴式顯示器(WHMD)。主機器件通常負責執行影像內容資訊之至少某一處理以用於在可穿戴顯示器件上顯示。可穿戴顯示器件通常負責預備影像內容資訊以用於在可穿戴顯示器件處顯示。
一般而言，本發明係關於用於校正自用以顯現圖框之攝影機之定位至當在可穿戴顯示器件上向使用者顯示經顯現圖框時攝影機之定位的攝影機平移及旋轉(例如朝向或遠離虛擬物件移動可穿戴顯示器件)的技術。當主機器件基於自可穿戴顯示器件之頭部追蹤器接收到之最後頭部姿態顯現影像時，到影像被顯現並可供用於在可穿戴顯示器件上向使用者顯示時，使用者之頭部姿態可能已移動。主機器件可具有可用於校正攝影機平移及旋轉的每像素深度資料。然而，在分裂顯現系統(例如，其中主機器件及可穿戴顯示器件兩者處理諸如在遊戲虛擬實境(VR)、擴增實境(AR)應用等中之影像資料)中，自主機器件傳輸每像素深度資料至可穿戴顯示器件(其為用戶端器件之實例)可消耗顯著頻寬。
本發明之技術係關於准許經顯現圖框之時間及空間翹曲以校正頭部定位之移動及場景運動的系統，其中藉由識別所關注區域制定輔助時間及空間翹曲的後設資料。使用所關注區域之時間及空間翹曲減少與頭部定位之移動相關聯的有效運動至光子潛時以及與以慢於顯示再新速率之圖框速率顯現相關聯的定位抖動而不需要傳輸/接收每像素深度資料(諸如深度緩衝區)。使用來自所關注區域之後設資料用於時間及空間翹曲亦減少定位抖動及與其他時間空間翹曲技術相關聯的其他顯示假影。所關注區域可基於眼睛追蹤或內容資訊而制定。舉例而言，分裂顯現系統之主機器件可產生場景之所關注區域的單一深度平面以強調來自所關注區域之貢獻。用於單一深度平面之值及參數可基於眼睛追蹤資訊而制定。
在一個態樣中，來自所關注區域之用以輔助時間及空間翹曲的後設資料可包括用於取樣及濾波顯現圖框中的移動物件之運動向量的後設資料。舉例而言，分裂顯現系統之主機器件及顯示器件可基於內容或眼睛追蹤資訊制定眼睛緩衝區圖框中之所關注區域。主機器件可基於對所關注區域內之內容的分析制定運動向量柵格大小。運動向量柵格大小可表示上覆於眼睛緩衝區上以取樣運動向量的頂點之柵格。運動向量柵格大小之選擇可影響翹曲圖框之品質，諸如在移動物件之拐角處的空洞及變形。顯示器件可基於對所關注區域內的內容之分析制定運動向量濾波器核心大小。運動向量可使用運動向量濾波器核心大小來濾波以使相鄰頂點之間的運動向量之大的差異平滑。運動向量濾波器核心大小之選擇可影響前景物件之頂部上的背景物件的摺疊及物件之拉伸及變形。所關注區域之內容可經分析以在運動向量柵格大小、運動向量濾波器核心大小、定位抖動及紋理拉伸之間進行折衷以填充空洞。
在一個態樣中，所關注區域之內容可經分析以制定可產生較少顯示假影之翹曲技術。在一個態樣中，來自所關注區域之後設資料可包括關於當翹曲至新姿態時解決空洞的稱作向量串流之技術的場景中之物件之三角形的潛在可見集合的計算。經由眼睛追蹤獲得的所關注區域可用於產生在所關注區域中之可見場景後方的三角形之潛在可見集合。
在一個態樣中，所關注區域可藉由經顯現圖框中之內容資訊制定。舉例而言，場景中之一或多個字符或物件可標記為突出且眼睛緩衝區中之所關注區域可包括含有突出內容之片段。在一個實例中，當場景中之運動吸引使用者之注意力時，所關注區域可包括移動物件。
在一個態樣中，揭示一種用於藉由主機器件產生後設資料以輔助經顯現圖框之翹曲的方法。該方法包括基於使用者之頭部追蹤資訊產生經顯現圖框。該方法亦包括識別該經顯現圖框之一所關注區域(ROI)。該方法亦包括自該ROI產生用於一翹曲操作之後設資料。該方法進一步包括傳輸該經顯現圖框及用於該經顯現圖框之一翹曲操作的該後設資料。
在一個態樣中，揭示一種用於藉由用戶端器件使經顯現圖框翹曲之方法。該方法包括傳輸使用者之頭部追蹤資訊。該方法亦包括接收經顯現圖框及後設資料。經顯現圖框係基於頭部追蹤資訊且後設資料係基於經顯現圖框之所關注區域(ROI)。該方法進一步包括使用該後設資料使該經顯現圖框翹曲並顯示姿態資訊。
在附圖及以下描述中闡述本發明的一或多個實例的細節。其他特徵、目標及優勢自描述、圖式及申請專利範圍將係顯而易見的。
相關申請案之交叉參考
本申請案主張名為「ASYNCHRONOUS TIME AND SPACE WARP WITH DETERMINATION OF REGION OF INTEREST」並在2018年4月30日向印度專利局申請的印度申請案第201841016253號，及名為「ASYNCHRONOUS TIME AND SPACE WARP WITH DETERMINATION OF REGION OF INTEREST」並在2018年11月5日申請的美國專利申請案第16/181,288號之優先權權益，該等申請案以全文引用的方式明確地併入本文中。
成像系統可產生360度影像(例如畫布)以用於顯示視訊。舉例而言，成像系統可輸出在虛擬實境(VR)耳機處在使用者之視場中的畫布之一部分。
一些成像系統可經分裂顯現。實例分裂顯現系統可包括產生經壓縮顯現視訊緩衝區(及經壓縮顯現音訊緩衝區)的主機器件(例如電腦、雲等)及解壓經壓縮顯現視訊緩衝區(及音訊緩衝區)以用於在用戶端器件處顯示的用戶端器件(例如頭戴式顯示器(HMD))。
在分裂顯現系統中，用戶端器件可輸出指示使用者之視場的頭部姿態。主機器件可產生用於頭部姿態之經壓縮顯現視訊/音訊緩衝區。然而，分裂顯現系統可在發送頭部姿態與輸出顯現視訊/音訊緩衝區之間具有較小處理時間(例如20毫秒)。此延遲可使得正顯現之實際內容表示較早頭部姿態，而非當前頭部姿態。舉例而言，使用者可在分裂顯現系統處理經顯現視訊時稍微旋轉她的頭部。在此情況下，使用者正觀看之內容係來自與她的當前視場不同的較早視場，從而導致負面體驗。
為了考慮分裂顯現系統中之處理時間(其導致顯示器中之延遲)，用戶端器件可執行時間及空間翹曲以校正頭部定位及場景運動自最後完全經顯現圖框中之其狀態的演進。舉例而言，用戶端器件可基於所接收內容首先完全顯現圖框，其中經顯現圖框係基於較早頭部姿態，且接著該用戶端器件可執行校正使用者頭部之旋轉的異步時間翹曲(ATW)。
更特定言之，舉例而言，用戶端器件可包括接收來自主機器件之影像內容資訊的圖形處理單元(GPU)，且該器件接收的影像內容資訊可基於在用戶端器件請求影像內容資訊時用戶端器件之使用者的眼睛或頭部之定位。對於眼睛緩衝區輪，用戶端器件之GPU可基於所接收影像內容資訊產生顯現圖框。然而，使用者之眼睛或頭部的定位可已自請求之時間至目前時間發生改變。因此，在翹曲輪中，用戶端器件之GPU可翹曲(例如移位、旋轉、拉伸或以其他方式修改)在眼睛緩衝區輪中產生的影像內容以適應用戶端器件之使用者之眼睛或頭部的定位的任何變化。
然而，ATW技術可不校正使用者之視場朝向(或遠離)場景中之物件的移動。僅僅考慮使用者之定向變化(3自由度(DOF))的此等ATW技術可導致尤其對於靠近虛擬空間中之使用者的場景之物件的「定位抖動」。用戶端器件考慮與場景中之物件有關的頭部平移的一種方式係藉由利用每像素深度資料(例如Z緩衝區)；然而，此每像素深度資料可並不容易地可由用戶端器件得到。在分裂顯現系統(例如遊戲VR)之情形中，此每像素深度資料可在主機器件(例如顯現引擎)處容易得到。然而，自主機器件傳輸每像素深度資料至用戶端器件可消耗顯著頻寬。一種校正定位抖動及其他顯示假影之技術係利用額外資訊(諸如經顯現場景之深度及/或運動向量)以估計6 DOF ATW而不需要瞭解完整Z緩衝區。
本發明之技術係關於准許時間及空間翹曲以使用藉由識別所關注區域輔助時間及空間翹曲之後設資料校正自在最後完全經顯現圖框中之其狀態的頭部定位之移動(例如攝影機平移)及場景運動的分裂顯現系統。在諸如輔助ATW或被稱作異步平面再投影(APR)之ATW的經修改版本的後設資料之一些實施例中，該等技術排除對傳輸/移動完整深度緩衝區(其可在頻寬、潛時及功率方面代價大)之需求，同時仍保持自3 DOF ATW至6 DOF ATW移動之最多改良。不同於不為此所關注區域資訊可知的其他時間空間翹曲技術，使用來自所關注區域之後設資料用於時間及空間翹曲減少使用者主動地聚焦於其上或極可能聚焦於其上的區中之定位抖動及其他顯示假影。所關注區域可基於眼睛追蹤或內容資訊而制定。舉例而言，在APR中，分裂顯現系統之主機器件可產生用於場景中之所關注區域的單一深度平面後設資料。用於單一深度平面之值及參數可基於眼睛追蹤資訊而制定。在一個態樣中，在異步空間翹曲(ASW)(一種當執行翹曲時外推物件之運動的技術)中，分裂顯現系統之主機器件可基於對所關注區域內的內容之分析制定用於取樣運動向量的運動向量柵格大小。在一個態樣中，在ASW中，顯示器件可基於對所關注區域內之內容的分析制定用於濾波運動向量的運動向量濾波器核心大小。含有用於分析之場景之內容資訊的所關注區域可基於眼睛追蹤而制定。
圖1為說明包括主機器件10及可穿戴顯示器件16之分裂顯現系統2之方塊圖。在圖1之實例中，分裂顯現系統2包括主機器件10及僅一個用戶端器件，亦即可穿戴顯示器件16。在其他實例中，分裂顯現系統2可包括額外用戶端器件(圖中未示)，其可包含可穿戴顯示器件、無線器件或具有無線通信能力之有線器件。
在一些實例中，分裂顯現系統2可符合由Wi-Fi聯盟定義的Wi-Fi直連(WFD)標準。WFD標準使得能夠經由Wi-Fi網路(例如，無線區域網路)進行器件至器件通信，其中器件將其角色協商為存取點或用戶端器件。分裂顯現系統2可包括支援複數個無線網路的一或多個基地台(圖中未示)，通信會話可經由該複數個無線網路在主機器件10、可穿戴顯示器件16及其他參與用戶端器件之間建立。通信服務提供者或其他實體可在中心操作並使用基地台作為網路集線器管理此等無線網路中之一或多者。
根據WFD標準，主機器件10可充當無線存取點並接收來自可穿戴顯示器件16之請求以建立通信會話。舉例而言，主機器件10可使用即時串流協定(RTSP)在主機器件10與可穿戴顯示器件16之間建立通信會話。點對點(P2P)群組通信會話可經由一無線網路建立，該無線網路諸如使用無線通信標準(例如，先前802.11標準之IEEE 802.11a、802.11g或802.11n改良)的Wi-Fi網路。在一個實施例中，主機器件10可存在於雲中且用戶端器件可經由包括4g或5g網路之蜂巢式網路連接至主機器件10。
在建立P2P群組通信會話後，主機器件10可發送影像內容資訊(其可包括音訊視訊(AV)資料、音訊資料及/或視訊資料)至可穿戴顯示器件16，及參與特定通信會話之任何其他用戶端器件。舉例而言，主機器件10可使用即時輸送協定(RTP)發送影像內容資訊至可穿戴顯示器件16。影像內容資訊可在主機器件10之顯示器及可穿戴顯示器件16之顯示螢幕兩者處播放。應理解內容在主機器件10處的顯示僅為一個實例，且在全部實例中並不係必要的。可穿戴顯示器件16可處理自主機器件10接收到之影像內容資訊以呈現於其顯示螢幕及音訊裝備上。可穿戴顯示器件16可運用受大小及重量限制以便裝配於手持型器件之結構內的電腦處理單元及圖形處理單元執行此等操作。在一個態樣中，主機器件10可執行影像內容資訊之至少某一處理以用於呈現於可穿戴顯示器件16上。
可穿戴顯示器件16之使用者可經由包括於可穿戴顯示器件16內或連接至該可穿戴顯示器件16的介面(諸如人介面裝置(HID))提供使用者輸入。HID可包含以下各者中之一或多者：觸控顯示器、對輸入物件(例如手指、手寫筆等)敏感的輸入器件、鍵盤、追蹤球、滑鼠、操縱桿、遠端控制器、麥克風或其類似者。如所示，可穿戴顯示器件16可經由通用串列匯流排(USB)連接至一或多個體感測器及致動器12，該等體感測器及致動器可經由Bluetooth™連接至一或多個配件14。
可穿戴顯示器件16發送經提供使用者輸入至主機器件10。在一些實例中，可穿戴顯示器件16經由被稱作使用者輸入反通道(UIBC)之反向通道架構發送使用者輸入。以此方式，主機器件10可對在可穿戴顯示器件16處提供的使用者輸入作出回應。舉例而言，主機器件10可處理所接收使用者輸入並應用該使用者輸入對諸如發送至可穿戴顯示器件16的影像內容資訊之後續資料的任何效應。
主機器件10可為無線器件或具有無線通信能力之有線器件。在一個實例中，作為有線器件，主機器件10可包含以下各者中的一者：電視、監視器、投影儀、機上盒、DVD或藍光光碟播放器、數位視訊記錄器、膝上型電腦或桌上型個人電腦、視訊遊戲控制台及包括無線通信能力之類似者。主機器件10之其他實例係可能的。舉例而言，主機器件10可為儲存影像內容之檔案伺服器，並基於來自顯示器件16之使用者輸入選擇性地輸出影像內容。舉例而言，主機器件10可儲存360度視訊內容，且基於使用者輸入可輸出360度視訊內容的所選擇部分至可穿戴顯示器件16。因此，主機器件10不必一定包括圖1中所說明及在下文在全部實例中更詳細描述的高階圖形處理單元(GPU)。主機器件10可接近於可穿戴顯示器件16 (例如在同一房間中)，或主機器件10及可穿戴顯示器件16可在不同位置中。
如所示，主機器件10可經由一區域網路(LAN)連接至一網路8 (例如網際網路)。在另一實例中，作為一無線器件，主機器件10可包含以下各者中的一者：一行動電話、具有一無線通信卡之攜帶型電腦、個人數位助理(PDA)、便攜式媒體播放器，或具有無線通信能力之其他快閃記憶體器件，包括一所謂的「智慧」電話及「智慧」板或平板電腦，或其他類型之無線通信器件(WCD)。
可穿戴顯示器件16可包含穿戴在使用者身體上之任何類型之有線或無線顯示器件。作為實例，可穿戴顯示器件16可包含穿戴在使用者頭部上以便定位使用者眼睛面前之一或多個顯示螢幕的頭部穿戴顯示器或頭戴式顯示器(HMD)。一般而言，可穿戴顯示器件16之顯示螢幕可包含各種顯示螢幕中的一者，各種顯示螢幕諸如：一液晶顯示器(LCD)、依電漿顯示器、一有機發光二極體(OLED)顯示器，或另一類型之顯示螢幕。
在一個實例中，可穿戴顯示器件16可包含形成為玻璃之一HMD器件，其包括在眼睛鏡頭中之一或多者中的顯示螢幕，且亦包括待穿戴於使用者之臉部上的鼻樑架及鏡架腿。作為另一實例，可穿戴顯示器件16可包含形成為護目鏡之一HMD器件，其包括在個別眼睛鏡頭中之顯示螢幕或單一顯示螢幕，且亦包括用以將護目鏡固持於使用者之頭部上的至少一個綁帶。儘管可穿戴顯示器件16在本發明中主要描述為一HMD，但在其他實例中可穿戴顯示器件16可包含穿戴於使用者身體之其他部分上(諸如使用者之頸部、肩部、手臂或手腕上)的顯示器件。
在分裂顯現系統2中，主機器件10及可穿戴顯示器件16通常為無線器件。舉例而言，可穿戴顯示器件16可包含無線地連接至主機器件10的一無線HMD (WHMD)，且主機器件10可包含諸如一行動智慧型電話或智慧型板之一WCD。在此實例中，除了典型WCD操作之外，主機器件10執行用以在可穿戴顯示器件16上呈現的至少某一影像內容資訊處理及來自可穿戴顯示器件16處之使用者介面互動的使用者輸入處理。雖然主機器件10及可穿戴顯示器件16在圖1中經展示為兩個獨立器件，但在其他實施例中，主機器件及10及可穿戴顯示器件16可組合成一個一體式HMD。
在圖1之實例中，可穿戴顯示器件16輸出感測器及/或致動器資料至主機器件10。感測器及/或致動器資料可包括來自產生指示使用者可聚焦於其上的場景之哪一區的眼睛姿態資料的眼睛追蹤器之資料。感測器及/或致動器資料可包括來自產生包括用於制定使用者視場之使用者頭部定位的定向及/或定位資訊之頭部姿態資料的頭部追蹤器之資料。回應於接收到感測器及/或致動器資料，主機器件10可產生用於顯現圖框之影像內容資訊。舉例而言，主機器件10可使用藉由感測器及/或致動器資料指示的頭部姿態資料產生經壓縮視訊及音訊緩衝區。然而，如上文所論述，使用者可已移動可穿戴顯示器件16，使得頭部姿態在可穿戴顯示器件16傳輸眼睛姿態資料、主機器件10產生經壓縮顯現視訊及音訊緩衝區並傳輸經壓縮顯現視訊及音訊緩衝區之時間期間改變。為考慮頭部姿態之變化，可穿戴顯示器件16可執行時間及/或空間翹曲以校正使用者頭部之旋轉並校正使用者視場朝向(或遠離)場景中之物件的移動。
在一個實施例中，藉由主機器件利用的翹曲技術可能為APR，其為利用深度資訊並對使用者之姿態的6DOF變化作出反應的一種特點(flavor)的ATW(相較於典型僅僅定向ATW)。在此情況下，主機器件10可產生藉由眼睛追蹤器制定的所關注區域內之像素的單一深度平面資料以准許可穿戴顯示器件16校正使用者視場朝向(或遠離)場景中之物件的移動。亦即，當產生經壓縮顯現視訊及音訊緩衝區時，主機器件10可使用每像素深度值產生在顯現圖框內使用者可聚焦於其上的所關注區域之單一深度概算值。以此方式，相較於傳輸整個圖框(例如Z緩衝區)中的場景之每像素深度值，較少資料可自主機器件10傳輸至可穿戴顯示器件16。可穿戴顯示器件16可使用所關注區域之單一深度後設資料執行時間及空間翹曲以校正頭部定位之平移及場景運動。
在一個實施例中，主機器件10可在產生所關注區域之單一深度概算值時產生所關注區域中之像素的加權深度值。舉例而言，主機器件10可指派較大加權因數給相較於遠離中心之像素較接近於所關注區域之中心的像素。以此方式，相對於遠離凝視之中心的彼等像素之深度，強調更接近所關注區域之中心及因此更接近於使用者之凝視的中心的像素之深度。在一個實施例中，主機器件10可在產生單一深度概算值時指派相等加權給所關注區域內之全部像素。在一個實施例中，主機器件10可產生所關注區域內的像素深度之諧波平均用於場景之單一深度概算值。在一個實施例中，所關注區域內之像素深度可同樣經加權用於產生像素深度之諧波平均。在一個實施例中，所關注區域內之像素深度可具有取決於眼睛凝視資訊的空間加權因數以使得更接近所關注區域之中心的像素經指派較大加權因數。
在產生所關注區域之單一深度值概算值之後，主機器件10可輸出單一深度概算值至可穿戴顯示器件16，可穿戴顯示器件16可使用單一深度概算值執行時間及空間翹曲以校正自在最後完全經顯現圖框中之其狀態的頭部定位之平移及場景運動。
以此方式，可穿戴顯示器件16表示連接至主機器件之實例可穿戴顯示器件。可穿戴顯示器件可包括經組態以產生指示使用者可聚焦於其上的場景之哪一區的眼睛姿態資料、指示使用者視場之頭部姿態資料的一或多個感測器、一或多個顯示器，及實施於電路中之一或多個處理器。一或多個處理器經組態以輸出眼睛姿態資料及頭部姿態資料之表示至主機器件10。一或多個處理器經組態以接收藉由眼睛姿態資料識別的所關注區域之單一深度概算值並自主機器件10接收表示經顯現圖框中之場景之影像內容的眼睛緩衝區。使用頭部姿態資料產生經顯現圖框。一或多個處理器進一步經組態以使用單一深度概算值修改經顯現圖框之一或多個像素值以產生經翹曲顯現圖框並輸出經翹曲顯現圖框以用於在一或多個顯示器處顯示。
另外，主機器件10表示連接至可穿戴顯示器件16之主機器件的實例。主機器件10可包括在電路中實施的經組態以基於自可穿戴顯示器件16接收到之頭部姿態資料產生經顯現圖框之影像內容資訊的一或多個處理器。經顯現圖框可包括表示經顯現圖框中之場景之影像內容的眼睛緩衝區，及表示經顯現圖框中之場景的深度像素的Z緩衝區。主機器件10可產生藉由自可穿戴顯示器件16接收到之眼睛姿態資料識別的所關注區域之單一深度概算值。一或多個處理器進一步經組態以發送用於經顯現圖框之眼睛緩衝區及用於時間及空間翹曲之單一深度概算值至可穿戴顯示器件16。在一些實施例中，主機器件可基於場景之內容制定所關注之區域。舉例而言，場景中之移動物件可表示所關注之區域。單一深度概算值可自自場景之內容制定的此所關注區域制定。
圖2為更詳細地說明來自圖1之主機器件10及可穿戴顯示器件16之方塊圖。出於本發明的目的，主機器件10及可穿戴顯示器件16將主要描述為無線器件。舉例而言，主機器件10可包含智慧型電話或智慧型板，或其他手持型WCD，且可穿戴顯示器件16可包含WHMD器件。然而，在其他實例中，主機器件10及可穿戴顯示器件16可包含無線器件或具有無線通信能力之有線器件。
在圖2中所說明之實例中，主機器件10包括應用程式處理器30、無線控制器36、連接處理器38及多媒體處理器42。在其他實例中，主機器件10可包含用以控制並執行WCD操作的額外功能單元或模組。
應用程式處理器30可包含控制主機器件10之操作的通用或專用處理器。使用者可提供輸入至主機器件10以使得應用程式處理器30執行一或多個軟體應用程式。在應用程式處理器30上執行之軟件應用程式可包括例如作業系統、文書處理器應用程式、電子郵件應用程式、總分析表應用程式、媒體播放器應用程式、媒體編輯應用程式、視訊遊戲應用程式、圖形使用者介面應用程式、電話會議應用程式或另一種程式。使用者可經由一或多個輸入器件(圖中未示)提供輸入至主機器件10，該等輸入器件諸如鍵盤、滑鼠、麥克風、觸控板或耦接至主機器件10的另一輸入器件。
在應用程式處理器30上執行之軟體應用程式可包括指導多媒體處理器42顯現圖形資料的一或多個圖形顯現指令。在一些實例中，軟體指令可符合圖形應用程式設計介面(API)，諸如開放圖形庫(OpenGL® ) API、開放圖形庫嵌入式系統(OpenGL ES) API、Direct3D API、X3D API、RenderMan API、WebGL API或任何其他公用或專用標準圖形API。為了處理圖形顯現指令，應用程式處理器30可發出一或多個圖形顯現命令至多媒體處理器42以使得多媒體處理器42執行圖形資料之顯現之一些或全部。在一些實例中，待顯現的圖形資料可包括例如點、線、三角形、四邊形、三角形帶等圖形基元之列表。
如圖2中所說明，可穿戴顯示器件16包括頭部姿態感測單元20、眼睛姿態感測單元60、無線控制器46、連接處理器48、控制器50、多媒體處理器52及顯示螢幕54。控制器50包含用於可穿戴顯示器件16之主控制器，且控制可穿戴顯示器件16之總體操作。
控制器50可包含控制可穿戴顯示器件16之操作的通用或專用處理器。使用者可提供輸入至可穿戴顯示器件16以使得控制器50執行一或多個軟體應用程式。在控制器50上執行之軟件應用程式可包括例如作業系統、文書處理器應用程式、電子郵件應用程式、總分析表應用程式、媒體播放器應用程式、媒體編輯應用程式、視訊遊戲應用程式、圖形使用者介面應用程式、電話會議應用程式或另一種程式。使用者可經由一或多個輸入器件(圖中未示)提供輸入至可穿戴顯示器件16，該等輸入器件諸如鍵盤、滑鼠、麥克風、觸控板或耦接至可穿戴顯示器件16的另一輸入器件。
在控制器50上執行之軟體應用程式可包括指導多媒體處理器52顯現圖形資料的一或多個圖形顯現指令。在一些實例中，軟體指令可符合圖形應用程式設計介面(API)，諸如開放圖形庫(OpenGL® ) API、開放圖形庫嵌入式系統(OpenGL ES) API、Direct3D API、X3D API、RenderMan API、WebGL API或任何其他公用或專用標準圖形API。為了處理圖形顯現指令，應用控制器50可發出一或多個圖形顯現命令至多媒體處理器52以使得多媒體處理器52執行圖形資料之顯現之一些或全部。在一些實例中，待顯現的圖形資料可包括例如點、線、三角形、四邊形、三角形帶等圖形基元之列表。
顯示螢幕54可包括監視器、電視、投影器件、液晶顯示器(LCD)、電漿顯示板、發光二極體(LED)陣列、陰極射線管(CRT)顯示器、電子紙、表面傳導電子發射顯示器(SED)、雷射電視顯示器、奈米晶體顯示器或另一類型之顯示單元。顯示螢幕54可整合於可穿戴顯示器件16內。舉例而言，顯示螢幕54可為HMD之螢幕。替代地，顯示螢幕54可為經由有線或無線通信鏈路耦接至可穿戴顯示器件16的獨立器件。
頭部姿態感測單元20可包括用於產生指示使用者視場之資料的感測器及/或致動器。舉例而言，頭部姿態感測單元20可產生指示可穿戴顯示器件16之旋轉角及可穿戴顯示器件16之定位的頭部姿態資料(例如經由加速度計、陀螺儀、眼睛追蹤電路及類似者)。眼睛姿態感測單元60可包括用於追蹤使用者之凝視或使用者聚焦於其上的區域的感測器及/或致動器。
如所示，眼睛姿態資料自可穿戴顯示器件16傳送至主機器件10經說明為路徑60。特定言之，控制器50可接收來自眼睛姿態感測單元20之頭部姿態資料。多媒體處理器52可接收來自控制器50之頭部姿態資料。無線控制器46封裝頭部姿態資料，且連接處理器48經由Wi-Fi網路40傳輸經封裝使用者輸入至主機器件10。在主機器件10處，連接處理器38接收經傳輸頭部姿態資料，且無線控制器36解封裝所接收使用者輸入以供多媒體處理器42處理。以此方式，主機器件10可產生使用者之視場的特定頭部姿態之影像資料。
一般而言，主機器件10產生影像內容資訊以供在顯示螢幕54處呈現。更特定言之，多媒體處理器42可產生藉由藉由頭部姿態感測單元20產生的頭部姿態資料指示的使用者之視場的影像內容資訊。舉例而言，多媒體處理器42可產生指示在藉由藉由頭部姿態感測單元20產生之頭部姿態資料指示的使用者視場中配置之一或多個基元的影像內容資訊。在一些實例中，多媒體處理器42可產生指示表示使用者視場之二維圖框的影像內容資訊。
多媒體處理器42可能能夠存取每像素深度值以用於產生影像內容資訊(例如眼睛緩衝區)。舉例而言，多媒體處理器42可能能夠存取每像素深度值以制定場景之基元是否在使用者之視場中可見。因而，多媒體處理器42可使用每像素深度值產生Z緩衝區中之深度資料。舉例而言，多媒體處理器42可產生用於影像內容資訊之一或多個深度值。
在圖2的實例中，可穿戴顯示器件16可經由路徑62自主機器件10接收影像內容資訊及深度資料。為自主機器件10傳送影像內容資訊及深度資料至可穿戴顯示器件16，路徑62可在應用程式處理器30處開始。
應用程式處理器30提供其中各種應用程式可在主機器件10上執行的環境。應用程式處理器30可自內部或外部儲存器位置及/或與主機器件10相關聯的內部或外部感測器或攝影機接收資料以供此等應用程式使用。隨後，在應用程式處理器30上執行之應用程式產生影像內容資訊以呈現給主機器件10及/或可穿戴顯示器件16之使用者。在其他實例中，路徑62可在多媒體處理器42或產生影像內容資訊或直接自儲存位置及/或感測器或攝影機接收影像內容資訊的某其他功能器件處開始。
多媒體處理器42可處理所接收影像內容資訊以供呈現於可穿戴顯示器件16之顯示螢幕54上。無線控制器36封裝經處理資料以用於傳輸。封裝經處理資料可包括可取決於經由Wi-Fi網路40所使用之無線通信標準的將資料分組成多個封包、圖框或單元。連接處理器38接著使用Wi-Fi網路40傳輸經處理資料至可穿戴顯示器件16。連接處理器38管理主機器件10之連接，包括經由Wi-Fi網路40與可穿戴顯示器件16之通信會話，及資料經由連接之傳輸及接收。
當連接處理器48自主機器件10接收所傳輸資料時，影像內容資訊及深度資料之傳送在可穿戴顯示器件16處沿著路徑62繼續。類似於主機器件10之連接處理器38，可穿戴顯示器件16之連接處理器48管理可穿戴顯示器件16之連接，包括經由Wi-Fi網路40與主機器件10的通信會話，及資料經由連接之傳輸及接收。無線控制器46解封裝所接收資料以藉由多媒體處理器52處理。
在分裂顯現系統中，有可能當傳輸影像內容資訊之請求時使用者自其所在之定位改變他或她的眼睛或頭部位置。為考慮此定位變化，在被稱作翹曲輪之過程中，多媒體處理器52可擷取影像內容資訊並使圖框內容在使用者移動他或她眼睛及/或頭部所藉以之方向上翹曲(例如移位或旋轉影像內容)。另外，使用者可體驗抖動，其可負面影響觀看體驗。舉例而言，多媒體處理器52可藉助於自眼睛姿態資料識別的所關注區域之單一深度概算值使圖框內容翹曲以用於呈現於顯示螢幕54上。
應理解經顯現圖框可藉由可穿戴顯示器件16之多媒體處理器52使用藉由主機器件10之多媒體處理器42產生的影像內容來產生，或替代地經顯現圖框可藉由多媒體處理器42產生。在任何情況下，多媒體處理器52可在產生及/或接收經顯現圖框後執行一或多個翹曲處理。
圖3為說明根據本發明中所描述之一或多個技術的用於使用自所關注區域識別的單一深度後設資料使經顯現圖框翹曲以校正攝影機平移及旋轉的實例程序之概念性方塊圖300。方塊圖包括顯示器側16及遊戲引擎或顯現側10。顯示器側16可在藉由使用者穿戴的HMD上。遊戲引擎/顯現側可在主機上遠端地主控。在一個實施例中，遊戲引擎/顯現側可在一體式HMD上。
顯示器側16之眼睛追蹤器301可產生可用於指示使用者可聚焦於其上或對其關注的經顯現圖框之區域的使用者眼睛姿態資料302。眼睛追蹤器301可為感測器、致動器、掃描器或可偵測使用者之聚焦的其他器件。遊戲引擎/顯現側10之模組303可接收使用者眼睛姿態資料302且可使用眼睛姿態資料302制定影像內容中之所關注區域(ROI)。在一些實施例中，模組303可基於場景之內容制定ROI。舉例而言，場景中之移動物件可表示ROI。ROI可用於輔助時間及空間翹曲，諸如制定ROI之單一深度概算值以使得定位抖動或其他翹曲假影最小化。在一個實施例中，ROI可用於執行凹式顯現。在凹式顯現中，影像圖框(例如眼睛緩衝區)中之ROI相較於其他區域可以較高細節或解析度層次顯現以便節省用於傳輸眼睛緩衝區之頻寬或減小顯現負載。在一個實施例中，ROI可用於結合使用其用於凹式顯現輔助時間及空間翹曲，藉此減小中心凹區域中的定位抖動或其他翹曲假影。除了自使用者眼睛姿態資料302產生ROI之外，模組303還可在產生單一深度概算值時產生應用於所關注區域內的像素之像素深度的權重。舉例而言，靠近ROI之中心的像素可具有較高權重以使得單一深度概算值相較於靠近ROI之周邊的像素對於靠近ROI之中心的像素產生較少誤差。權重之假設為使用者對靠近ROI之中心的影像更關注且因此需要最小化靠近ROI之中心的翹曲假影。在一個實施例中，權重可為自ROI之中心的單調遞減函數。在一個實施例中，權重可能對於ROI內之全部像素係均勻的且對於ROI外部之像素係零，有效地屏蔽掉ROI外部之像素。模組303產生遮罩、權重及/或ROI資訊312。
在顯示器側16之頭部追蹤器305可產生顯現姿態304以指示使用者之視場。頭部追蹤器305可為感測器、致動器或可偵測6 DOF中的使用者之頭部之定向及定位的其他器件。在遊戲引擎/顯現側10之模組307可接收顯現姿態304且可顯現影像內容之眼睛緩衝區圖框及Z緩衝區圖框以產生經顯現圖框。眼睛緩衝區圖框表示基於使用者之由顯現姿態304表示的視場待向使用者顯示的影像內容且可包括左及右眼緩衝區圖框。Z緩衝區圖框可含有影像內容之像素深度資訊。模組307可傳輸含有眼睛緩衝區圖框及顯現姿態308之資訊308至顯示器側16，且可傳輸z緩衝區310至單一深度計算模組以用於計算單一深度概算值以輔助時間及空間翹曲。
模組309使用z緩衝區310及遮罩、權重及/或ROI資訊312計算ROI之單一深度概算值。單一深度概算值可用於輔助APR中之時間及空間翹曲。在APR中，影像之整個可見表面可(亦即使用平行於顯現攝影機之影像平面的平面)估計為3D空間中之單一平面。藉由將最佳(場景相依)深度z*計算為場景之各種深度的概算值，整個z緩衝區不需要傳輸至顯示器側16以用於翹曲。在一個實施例中，單一深度概算值z*經計算為z緩衝區中之像素深度的諧波平均。在APR中，單一深度概算值z*經由單應性經映射至顯示器攝影機之影像平面。在單應性之一個實施例中，單一深度概算值z*用以執行場景之深度察覺翹曲以考慮顯示攝影機自最後顯現圖框之平移，繼之以執行深度獨立翹曲以用於顯示攝影機之旋轉。使用場景之像素深度的諧波平均估計單一深度概算值z*意指單一深度概算值z*與遠離使用者之物件相比較較接近於鄰近於使用者的物件。因而，定位抖動在鄰近物件上減小且當使用者聚焦於此等物件時定位抖動可不被察覺。然而，若使用者例如當鄰近物件存在於顯現圖框之周邊上時藉由聚焦於遙遠物件而聚焦於遠離之物件，則定位抖動可歸因於遙遠物件之單一深度概算值z*的較大概算值誤差而被察覺。藉由使用眼睛追蹤來識別使用者之ROI，ROI中之物件之單一深度概算值z*的誤差可經減小，藉此減小靠近使用者之凝視的經顯現圖框之定位抖動。
在一個實施例中，模組309可藉由應用權重312使用ROI內的像素深度之諧波平均計算場景之單一深度概算值z*。舉例而言，單一深度概算值z*可經計算為： 𝑧∗=∑( ROI 中之全部像素 ) (𝑤𝑖 (𝑒)) / ∑( 全部像素 ) (𝑤𝑖 (𝑒)/𝑧𝑖 ) [方程式1] 其中Wi ( e ) 為應用於具有像素深度Zi 之第i像素的空間加權因數。Wi ( e ) 為眼睛凝視資訊e之函數，其中最高權重經指派用於凝視之中心處的像素。舉例而言，靠近ROI之中心的像素可具有較高加權因數Wi ( e ) 以使得單一深度概算值z*相較於對於靠近ROI之周邊的像素對於靠近ROI之中心的像素產生較少誤差。
在一個實施例中，模組309可藉由將均勻權重應用於所關注區域內之全部像素使用所關注區域內的像素深度之諧波平均計算場景之單一深度概算值z*。舉例而言，單一深度概算值z*可經計算為： 𝑧∗=∑( ROI 中之全部像素 ) 1/ ∑( 全部像素 ) (1/𝑧𝑖 ) [方程式2] 其中均勻權重1應用於ROI中之全部像素。ROI外部的像素經屏蔽掉。因為ROI中的像素深度之諧波平均相較於較遠像素對於鄰近像素固有地產生較佳概算值，所以甚至在均勻權重應用於ROI的情況下，與當歸因於ROI外部之像素的遮罩而不存在ROI時相比較，減小估計誤差。模組309可傳輸單一深度概算值z* 314至顯示器側16。
在顯示器側16的模組311可使用單一深度概算值z* 314、自遊戲引擎/顯現側10接收到之眼睛緩衝區圖框及顯現姿態資訊308及自頭部追蹤器305接收到之顯示姿態306執行APR中之翹曲。在一個實施例中，單一深度概算值z*用以執行眼睛緩衝區之深度察覺翹曲以考慮頭部追蹤器305自用以產生眼睛緩衝區之顯現姿態304至顯示姿態306的平移，繼之以執行深度獨立翹曲以用於頭部追蹤器305之旋轉。
在一個實施例中，ROI可自對眼睛緩衝區場景之內容分析制定，而非自使用者眼睛姿態資料302制定ROI。舉例而言，模組303可接收基於顯現姿態304的使用者之視場且可制定使用者之視場內的物件。模組303可根據物件之重要性或顯著性指派視場中之每一物件的預定評分值或顯著性值。在一個態樣中，顯著性值可自物件之運動向量制定以使得具有較大運動之物件可經指派較高顯著性值。在指派物件之顯著性值之後，模組303可制定眼睛緩衝區場景之哪一區域具有最高顯著性。舉例而言，模組303可制定眼睛緩衝區內的256×256像素(或可基於較大正方形區域，例如，1024×1024像素)之哪一正方形區域具有最高總顯著性值。模組303可將此區域識別為ROI以用於使用z緩衝區310計算單一深度概算值以用於輔助APR中之時間及空間翹曲。
圖4為說明根據本發明中所描述之一或多個技術的用於使用自所關注區域識別的運動向量柵格大小及運動向量濾波器核心大小使經顯現圖框翹曲以考慮物件之運動的實例程序之概念性方塊圖。方塊圖包括顯示器側16及遊戲引擎或顯現側10。顯示器側16可在藉由使用者穿戴之HMD上。遊戲引擎/顯現側可在主機上遠端地主控。在一個實施例中，遊戲引擎/顯現側可在一體式HMD上。
顯示器側16之眼睛追蹤器401可產生使用者眼睛姿態資料402。眼睛追蹤器401可類似於圖3之眼睛追蹤器301操作 同一引擎/顯現側10之模組403可接收使用者眼睛姿態資料402且可使用眼睛姿態資料402制定影像內容中之所關注區域(ROI)。
所關注區域可基於眼睛追蹤或內容資訊而制定。在一個態樣中，在當執行翹曲時外推物件之運動的ASW中，遊戲引擎/顯現側10可基於對所關注區域內的內容之分析制定用於取樣頂點柵格上之運動向量的運動向量柵格大小。顯示器側16可基於對所關注區域內的內容之分析制定用於濾波運動向量的運動向量濾波器核心大小。含有用於分析之場景之內容資訊的所關注區域可基於眼睛追蹤而制定。在ASW中，在運動向量柵格大小、運動向量濾波器核心大小、定位抖動與紋理拉伸之間存在折衷以填充空洞。
在ASW中，存在關於圖框中之不同區域之運動的資訊，但不使用深度資訊或前景/背景。當運動使得前景物件滑過其背景時，ASW可不能夠解決所得遮擋。另外，在翹曲之過程中，前景中之物件的一些三角形可落在如其所預期的背景之頂部上，而背景中之物件的一些其他三角形可到達前景。結果係稱作深度衝突(z-fighting)的破壞靠近其邊緣之物件的效應。為避免深度衝突，運動向量可使用2D濾波器來平滑以使得相鄰柵格頂點之間的運動向量之大的差異被減小。然而，濾波可導致將移動物件之運動擴展至經推測為靜止的相鄰區域，從而導致拉伸及變形。用以平滑運動向量的2D濾波器之選擇可取決於相鄰柵格頂點之運動向量之間的最大差異。在定位抖動/變形與深度衝突之間存在折衷。濾波器核心愈大，定位抖動或變形邊緣愈高但深度衝突假影愈少。
影響ASW中之經翹曲圖框之品質的另一參數選擇為取樣運動向量的粒度，亦即柵格點(例如頂點)之間的間隔或運動向量柵格大小。對於同一濾波器核心大小，較大運動向量柵格大小可減小深度衝突但可引入變形。舉例而言，運動向量柵格愈多顆粒(亦即，相較於4×4像素，16×16像素之一個運動向量)，柵格中之個別點的運動向量之表示愈不精確且定位抖動愈高。另一方面，顆粒運動向量柵格可意謂較少紋理拉伸以填充空洞且亦需要較低位元速率以供傳輸。眼睛追蹤資訊提供可經分析以輔助折衷以制定運動向量柵格大小及濾波器核心大小之選擇的ROI。舉例而言，若眼睛追蹤指示使用者聚焦於大部分由單一物件覆蓋的區域上，則空洞比較起來可不是問題，且較精細運動向量柵格大小可經選擇以表示物件之運動。在一個態樣中，運動向量濾波器核心大小可藉由ROI內之運動向量之間的最大差異制定以便不強調可能在ROI外部的偽快速移動物件。在一個實施例中，ROI可經分析以制定哪些翹曲技術作用最佳，亦即產生最小顯示假影，原因在於區域及分析之結果可用於在不同時間與空間翹曲技術之間(諸如在APR與ASW之間)切換。
遊戲引擎/顯現側10之模組403可自使用者眼睛姿態資料402制定ROI且可分析ROI內之內容以制定運動向量柵格大小410以用於取樣運動向量。在一個態樣中，若ROI中之移動物件可引起空洞，則大運動向量柵格大小410將引起拐角之變形或拉伸，如此選擇較精細柵格大小可係所需要的。在一個態樣中，若ROI中之移動物件可遮擋背景，因此增大深度衝突的可能性，則可能需要選擇較大運動向量柵格大小。因此，選擇後設資料以使用運動向量輔助翹曲的程序可受ROI及ROI內之內容影響。
在顯示器側16之頭部追蹤器405可產生顯現姿態404以指示使用者之視場。頭部追蹤器405可類似於圖3中的頭部追蹤器305操作。遊戲引擎/顯現側10之模組407可接收顯現姿態404且可顯現影像內容之眼睛緩衝區圖框408以產生經顯現圖框。眼睛緩衝區圖框408表示待基於由顯現姿態404表示的使用者之視場向使用者顯示的影像內容且可包括左及右眼緩衝區圖框。模組409可產生經顯現圖框中之像素的運動向量。像素之運動向量指示位置與對應於先前經顯現圖框中之同一物件中的同一點的像素之位置的差異。
模組411可取樣藉由上覆於眼睛緩衝區圖框408上之運動向量柵格大小410制定的頂點之柵格上的運動向量以產生經取樣運動向量。運動向量柵格大小410可藉由遊戲引擎/顯現側10之模組403自ROI制定。模組413可編碼眼睛緩衝區408以產生經編碼顯現圖框。經編碼顯現圖框及經取樣運動向量412可經傳輸至顯示器側16。
在顯示器側16，模組415可接收經編碼顯現圖框及經取樣運動向量412且可解碼經編碼顯現圖框以產生經解碼圖框416。模組415可剖析經取樣運動向量以產生經剖析運動向量414。
在顯示器側16之模組403 (類似於在遊戲引擎/顯現側10之模組403)可自使用者眼睛姿態資料402制定ROI且可分析ROI內之內容以制定運動向量濾波器核心大小418以用於濾波經剖析運動向量414。舉例而言，若ROI中之多數點正移動，則ROI中之相鄰頂點的運動向量之間的差異可較少。因而，可不存在對於平滑運動向量的需要，因此可需要較小運動向量濾波器核心大小418。
模組417可使用運動向量濾波器核心大小418濾波經剖析運動向量414以減小相鄰頂點之間的移動之大的差異，使相對運動平滑，並減小深度衝突。模組417可濾波運動向量以產生翹曲向量420。
模組419可接收翹曲向量420且可基於翹曲向量420將柵格上的頂點之位置外推至新的定位且可經由取決於顯現姿態404與顯示姿態406之間的定向之變化的單應性將彼等頂點再投影至自頭部追蹤器405接收到之顯示姿態406。
模組421可使用翹曲向量420與經解碼圖框416執行經解碼圖框416的ASW翹曲。在一個實施例中，片段著色器及光柵化操作可經執行以建立經顯示圖框。
圖5為說明根據本發明中所描述之一或多個技術的使用自所關注區域識別的單一深度後設資料使經顯現圖框翹曲以校正攝影機平移及旋轉的實例程序之流程圖。顯示器側16可針對圖3之APR翹曲操作執行圖5之程序。
在502中，顯示器側16可自眼睛追蹤器輸出指示使用者之聚焦區的眼睛姿態資料之表示。眼睛姿態資料可用於指示使用者可聚焦於其上或對其關注的經顯現圖框之區域。在504中，顯示器側16可自頭部追蹤器輸出顯現姿態資料。顯現姿態可包括關於在6 DOF中的使用者之頭部的定向及定位之資訊。在506中，顯示器件16可諸如自遊戲引擎/顯現側10接收顯現圖框之眼睛緩衝區及顯現姿態資料。在508中，顯示器件16可接收所關注區域之單一深度後設資料。ROI之單一深度後設資料可為自ROI內的像素深度之諧波平均計算的ROI之單一深度概算值z*。在510中，顯示器側16可制定或接收來自頭部追蹤器之顯示姿態資料。在512中，顯示器側16可使用單一深度後設資料及顯示姿態資料修改經顯現圖框之眼睛緩衝區之一或多個像素值以產生經翹曲顯現圖框。在514中，顯示器件16可輸出經翹曲顯現圖框以在一或多個顯示器處顯示。
圖6為說明根據本發明中所描述之一或多個技術的基於眼睛追蹤資訊自所關注區域產生單一深度後設資料以用於使經顯現圖框翹曲以校正攝影機平移及旋轉的實例程序之流程圖。遊戲引擎/顯現側10可執行圖6之程序以產生ROI之單一深度概算值以用於圖3的APR翹曲操作。
在602中，遊戲引擎/顯現側10可自顯示器側16的眼睛追蹤器接收指示使用者之聚焦區的眼睛姿態資料之表示。在604中，遊戲引擎/顯現側10可制定ROI且可產生關於ROI中之像素的加權因數及遮罩之資訊。在606中，遊戲引擎/顯現側10可接收來自顯示器側16之頭部追蹤器的顯現姿態資料。在608中，遊戲引擎/顯現側10可使用顯現姿態資料產生經顯現圖框之眼睛緩衝區及z緩衝區。在610中，遊戲引擎/顯現側10可產生ROI之單一深度後設資料。舉例而言，ROI之單一深度後設資料可為自ROI內的像素深度之諧波平均計算的所關注區域之單一深度概算值z*。在612中，遊戲引擎/顯現側10可傳輸經顯現圖框之眼睛緩衝區及顯現姿態資料至顯示器側16。在614中，遊戲引擎/顯現側10可傳輸ROI之單一深度後設資料至顯示器側16以供顯示器側16使用單一深度後設資料執行眼睛緩衝區之APR翹曲操作。
圖7為說明根據本發明中所描述之一或多個技術的基於內容分析自所關注區域產生單一深度後設資料以用於使經顯現圖框翹曲以校正攝影機平移及旋轉的實例程序之流程圖。遊戲引擎/顯現側10可執行圖7之程序以產生ROI之單一深度概算值以用於圖3的APR翹曲操作。
在702中，遊戲引擎/顯現側10可自顯示器側16之頭部追蹤器接收顯現姿態資料。在704中，遊戲引擎/顯現側10可自對顯現姿態的眼睛緩衝區場景之內容分析制定ROI且可產生關於ROI中之像素的加權因數及遮罩之資訊。在一個態樣中，遊戲引擎/顯現側10可接收基於顯現姿態的使用者之視場且可分析使用者之視場內的物件以制定ROI。遊戲引擎/顯現側10可根據物件之重要性或顯著性指派視場中之每一物件的預定評分值或顯著性值。在一個態樣中，顯著性值可自物件之運動向量制定以使得具有較大運動之物件可經指派較高顯著性值。在物件之顯著性值被指派之後，遊戲引擎/顯現側10可制定眼睛緩衝區場景之哪一區域具有最高顯著性。舉例而言，遊戲引擎/顯現側10可制定眼睛緩衝區內的256×256像素(或可基於較大正方形區域，例如，1024×1024像素)之哪一正方形區域具有最高總顯著性值。遊戲引擎/顯現側10可將此區域識別為ROI以用於使用Z緩衝區310計算單一深度概算值以輔助APR中之時間及空間翹曲。
在708中，遊戲引擎/顯現側10可使用經顯現姿態資料產生經顯現圖框之眼睛緩衝區及z緩衝區。在710中，遊戲引擎/顯現側10可產生ROI之單一深度後設資料。舉例而言，ROI之單一深度後設資料可為自ROI內的像素深度之諧波平均計算的所關注區域之單一深度概算值z*。在712中，遊戲引擎/顯現側10可傳輸經顯現圖框之眼睛緩衝區及顯現姿態資料至顯示器側16。在714中，遊戲引擎/顯現側10可傳輸ROI之單一深度後設資料至顯示器側16以供顯示器側16使用單一深度後設資料執行眼睛緩衝區之APR翹曲操作。
圖8為說明根據本發明中所描述之一或多個技術的產生自所關注區域識別之運動向量濾波器核心大小以用於使經顯現圖框翹曲以考慮物件之運動的實例程序之流程圖。顯示器側16可針對圖4之ASW操作執行圖8之程序。
在802中，顯示器側16可自眼睛追蹤器輸出指示使用者之聚焦區的眼睛姿態資料之表示。眼睛姿態資料可用於指示使用者可聚焦於其上或對其關注的經顯現圖框之區域。在804中，顯示器側16可自頭部追蹤器輸出顯現姿態資料。顯現姿態可包括關於在6 DOF中的使用者之頭部的定向及定位之資訊。在806中，顯示器件16可諸如自遊戲引擎/顯現側10接收經編碼顯現圖框及經取樣運動向量。在808中，顯示器件16可解碼經編碼顯現圖框且可剖析經取樣運動向量以產生經解碼圖框及經剖析運動向量。在810中，顯示器件16可制定或接收來自頭部追蹤器之顯示姿態資料。在812中，顯示器件16可自眼睛姿態資料制定ROI且可基於對ROI內的內容之分析制定運動向量濾波器核心大小。在一個實施例中，顯示器件16可自對顯現姿態的眼睛緩衝區場景之內容分析制定ROI。在814中，顯示器件16可使用運動向量濾波器核心大小濾波經剖析運動向量以產生翹曲向量。在816中，顯示器件16可接收翹曲向量且可基於翹曲向量將柵格上的頂點之位置外推至新的定位且可經由取決於顯現姿態與顯示姿態之間的定向之變化的單應性將彼等頂點再投影至顯示姿態資料。在818中，顯示器件16可使用經濾波運動向量修改經顯現圖框之像素值以產生經翹曲顯現圖框。在820中，顯示器件16可輸出經翹曲顯現圖框以在一或多個顯示器處顯示。
圖9為說明根據本發明中所描述之一或多個技術的基於對所關注區域內的內容之分析制定運動向量柵格大小以用於取樣運動向量以用於使經顯現圖框翹曲以考慮物件之運動的實例程序之流程圖。遊戲引擎/顯現側10可執行圖9之程序以基於自對ROI內之內容之分析制定的運動向量柵格大小產生經取樣運動向量以用於圖4之ASW翹曲操作。
在902中，遊戲引擎/顯現側10可自顯示器側16的眼睛追蹤器接收指示使用者之聚焦區的眼睛姿態資料之表示。在904中，遊戲引擎/顯現側10可自眼睛姿態資料制定ROI。在一個實施例中，遊戲引擎/顯現側10可自對顯現姿態的眼睛緩衝區場景之內容分析制定ROI。在906中，遊戲引擎/顯現側10可基於對ROI內的內容之分析制定運動向量柵格大小。在908中，遊戲引擎/顯現側10可自顯示器側16之頭部追蹤器接收顯現姿態資料。在910中，遊戲引擎/顯現側10可使用顯現姿態資料產生經顯現圖框。在912中，遊戲引擎/顯現側10可自經顯現圖框產生運動向量。在914中，遊戲引擎/顯現側10可基於運動向量柵格大小取樣運動向量以產生經取樣運動向量914。在916中，遊戲引擎/顯現側10、遊戲引擎/顯現側10可編碼並傳輸經編碼顯現圖框至顯示器側16。在918中，遊戲引擎/顯現側10可傳輸經取樣運動向量至顯示器側16以供顯示器側16使用經取樣運動向量執行經顯現圖框之ASW操作。
在一個實施例中，自眼睛追蹤制定的ROI可用於向量串流。向量串流為當翹曲至新姿態時解決空洞問題的像素串流之替代方法。對於每一經顯現眼睛緩衝區，向量串流計算場景中之三角形的「潛在可見集合」(PVS)。此包括「自顯現頭部姿態(亦在像素串流中捕獲)準確可見」的物件之什麼三角形以及可在使用者移動至不同姿態時變得可見之物。PVS包括在其紋理中以塗抹此等空洞。然而，PVS之計算可係代價高的且可需要將額外資料自顯現器件傳輸至顯示器件。在一個實施例中，PVS之產生可藉由考慮經由眼睛追蹤獲得的ROI而簡化。PVS可僅僅需要看ROI中之可見場景後面而非經顯現圖框中之各處。因此，所產生PVS可較小且可引起較少額外負擔。
在一個實施例中，場景中之字符或物件可明確地標記為突出且眼睛緩衝區中之ROI可為含有此突出內容的彼片段。在一個實施例中，ROI可經標記用於含有移動物件的區域，此係因為場景中之運動可吸引吾人之注意力。因而，輔助翹曲操作之後設資料(無論作為APR中之單一深度概算值、ASW中之運動向量柵格大小或濾波器核心大小，抑或用於向量串流中之PVS)可經制定以使用來自眼睛追蹤之ROI或使用自對場景中之物件的分析制定的ROI改良翹曲品質。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若在軟體中實施，則可將該等功能作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體傳輸。電腦可讀媒體包括電腦資料儲存媒體或包括促進電腦程式自一處傳送至另一處的任何媒體的通信媒體。在一些實例中，電腦可讀媒體可包含非暫時性電腦可讀媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。
藉助於實例而非限制，此類電腦可讀媒體可包含非暫時性媒體，諸如RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用於載運或儲存呈指令或資料結構形式的所要程式碼且可由電腦存取的任何其他媒體。又，將任何連接恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外、無線電及微波之無線技術自網站、伺服器或其他遠端源傳輸軟體，則同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外、無線電及微波之無線技術包括於媒體之定義中。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式顯現資料，而光碟使用雷射以光學方式顯現資料。以上各者的組合亦應包括於電腦可讀媒體之範疇內。
可藉由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路之一或多個處理器來執行程式碼。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文所描述之功能性可經提供於經組態以供編碼及解碼或併入於經組合編解碼器中之專用硬體及/或軟體模組內。此外，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於多種器件或裝置中，包括無線手機、積體電路(IC)或IC集合(例如晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必要求由不同硬體單元來實現。確切地說，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合而結合合適軟體及/或韌體一起來提供該等單元。
應理解，所揭示之程序/流程圖中之區塊的特定次序或階層為例示性方法的說明。基於設計偏好，應理解可重新配置程序/流程圖中之區塊的特定次序或階層。此外，可組合或省略一些區塊。隨附方法申請專利範圍以樣本次序呈現各種區塊之要素，且並非意謂受限於所呈現之特定次序或階層。
提供先前描述以使任何熟習此項技術者能夠實踐本文中所描述之各種態樣。對此等態樣之各種修改對於熟習此項技術者而言將為顯而易見的，且本文中定義之一般原理可應用於其他態樣。因此，申請專利範圍不意欲限於本文中所展示的態樣，而是將被賦予與語言申請專利範圍一致的完整範圍，其中以單數形式參考一元件不意欲意謂「一個且僅有一個」，除非明確地如此陳述，而是表示「一或多個」。字組｢例示性｣在本文中用以意謂｢充當實例、例子或說明｣。本文中被描述為「例示性」之任何態樣未必被認作比其他態樣更佳或更有利。除非另外特定地陳述，否則術語「一些」指代一或多個。諸如「A、B或C中之至少一個」、「A、B或C中之一或多個」、「A、B及C中之至少一個」、「A、B及C中之一或多個」及「A、B、C或其任何組合」之組合包括A、B及/或C之任何組合，且可包括A之倍數、B之倍數、或C之倍數。具體言之，諸如「A、B或C中之至少一個」、「A、B或C中之一或多個」、「A、B及C中之至少一個」、「A、B及C中之一或多個」及「A、B、C或其任何組合」之組合可僅為A、僅為B、僅為C、A及B、A及C、B及C、或A及B及C，其中任何該等組合可含有A、B或C之一者或多者。對一般熟習此項技術者已知或稍後將已知的所有本發明通篇所描述之各種態樣的要素之結構及功能等效物明確地以引用的方式併入本文中，且意欲藉由該申請專利範圍所涵蓋。此外，本文中所揭示之任何內容均不意欲專用於公眾，無論申請專利範圍中是否明確敍述此揭示內容。字組「模組」、「機制」、「元件」、「器件」及類似者不可取代字組「構件」。同樣地，任何申請專利範圍元件都不應解釋為構件加功能，除非該元件使用片語「用於...的構件」來明確地敍述。
2‧‧‧分裂顯現系統 8‧‧‧網路 10‧‧‧主機器件/遊戲引擎/顯現側 12‧‧‧體感測器及致動器 14‧‧‧配件 16‧‧‧可穿戴顯示器件/顯示器側 20‧‧‧頭部姿態感測單元 30‧‧‧應用程式處理器 36‧‧‧無線控制器 38‧‧‧連接處理器 40‧‧‧Wi-Fi網路 42‧‧‧多媒體處理器 46‧‧‧無線控制器 48‧‧‧連接處理器 50‧‧‧控制器 52‧‧‧多媒體處理器 54‧‧‧顯示螢幕 60‧‧‧眼睛姿態感測單元 62‧‧‧路徑 300‧‧‧概念性方塊圖 301‧‧‧眼睛追蹤器 302‧‧‧使用者眼睛姿態資料 303‧‧‧模組 304‧‧‧顯現姿態 305‧‧‧頭部追蹤器 306‧‧‧顯示姿態 307‧‧‧模組 308‧‧‧眼睛緩衝區圖框及顯現姿態/資訊 309‧‧‧模組 310‧‧‧z緩衝區 311‧‧‧模組 312‧‧‧遮罩/權重/ROI資訊 314‧‧‧單一深度概算值z* 401‧‧‧眼睛追蹤器 402‧‧‧使用者眼睛姿態資料 403‧‧‧模組 404‧‧‧顯現姿態 405‧‧‧頭部追蹤器 406‧‧‧顯示姿態 407‧‧‧模組 408‧‧‧眼睛緩衝區圖框 409‧‧‧模組 410‧‧‧運動向量柵格大小 411‧‧‧模組 412‧‧‧經取樣運動向量 413‧‧‧模組 414‧‧‧經剖析運動向量 415‧‧‧模組 416‧‧‧經解碼圖框 417‧‧‧模組 418‧‧‧運動向量濾波器核心大小 419‧‧‧模組 420‧‧‧翹曲向量 421‧‧‧模組 502、504、506、508、510、512、514、602、604、606、608、610、612、614、702、704、708、710、712、714、802、804、806、808、810、812、814、816、818、820、902、904、906、908、910、912、914、916、918‧‧‧步驟
圖1為說明包括主機器件及可穿戴顯示器件之分裂顯現系統之方塊圖。
圖2為更詳細地說明來自圖1之主機器件及可穿戴顯示器件之方塊圖。
圖3為說明根據本發明中所描述之一或多個技術的用於使用自所關注區域識別的單一深度後設資料使經顯現圖框翹曲以校正攝影機平移及旋轉的實例程序之概念性方塊圖。
圖4為說明根據本發明中所描述之一或多個技術的用於使用自所關注區域識別的運動向量柵格大小及運動向量濾波器核心大小使經顯現圖框翹曲以考慮物件之運動的實例程序之概念性方塊圖。
圖5為說明根據本發明中所描述之一或多個技術的使用自所關注區域識別的單一深度後設資料使經顯現圖框翹曲以校正攝影機平移及旋轉的實例程序之流程圖。
圖6為說明根據本發明中所描述之一或多個技術的基於眼睛追蹤資訊自所關注區域產生單一深度後設資料以用於使經顯現圖框翹曲以校正攝影機平移及旋轉的實例程序之流程圖。
圖7為說明根據本發明中所描述之一或多個技術的基於內容分析自所關注區域產生單一深度後設資料以用於使經顯現圖框翹曲以校正攝影機平移及旋轉的實例程序之流程圖。
圖8為說明根據本發明中所描述之一或多個技術的產生自所關注區域識別之運動向量濾波器核心大小以用於使經顯現圖框翹曲以考慮物件之運動的實例程序之流程圖。
圖9為說明根據本發明中所描述之一或多個技術的基於對所關注區域內的內容之分析制定運動向量柵格大小以用於取樣運動向量以用於使經顯現圖框翹曲以考慮物件之運動的實例程序之流程圖。
10‧‧‧主機器件/遊戲引擎/顯現側
16‧‧‧可穿戴顯示器件/顯示器側
401‧‧‧眼睛追蹤器
402‧‧‧使用者眼睛姿態資料
403‧‧‧模組
404‧‧‧顯現姿態
405‧‧‧頭部追蹤器
406‧‧‧顯示姿態
407‧‧‧模組
408‧‧‧眼睛緩衝區圖框
409‧‧‧模組
410‧‧‧運動向量柵格大小
411‧‧‧模組
412‧‧‧經取樣運動向量
413‧‧‧模組
414‧‧‧經剖析運動向量
415‧‧‧模組
416‧‧‧經解碼圖框
417‧‧‧模組
418‧‧‧運動向量濾波器核心大小
419‧‧‧模組
420‧‧‧翹曲向量
421‧‧‧模組

Claims (8)

  1. 一種用於藉由一用戶端器件使一經顯現圖框翹曲之方法，其包含：傳輸一使用者之眼睛追蹤資訊，其中該眼睛追蹤資訊用以制定一所關注區域(ROI)；傳輸該使用者之頭部追蹤資訊；接收一經顯現圖框及後設資料，其中該經顯現圖框係基於該頭部追蹤資訊且該後設資料係基於該經顯現圖框之該ROI，其中該後設資料包含該經顯現圖框之該ROI內的像素之複數個像素深度的一單一深度概算值；及制定該使用者之顯示姿態資訊；基於該後設資料及該顯示姿態資訊使該經顯現圖框翹曲。
  2. 如請求項1之方法，其進一步包含：分析該ROI內之該經顯現圖框之內容資訊；基於分析該ROI內的該經顯現圖框之該內容資訊產生一運動向量濾波器核心大小；接收該經顯現圖框之複數個運動向量；使用該運動向量濾波器核心大小濾波該經顯現圖框之該複數個運動向量以產生翹曲向量；及基於該等翹曲向量使該經顯現圖框翹曲。
  3. 如請求項1之方法，其中基於該後設資料及該顯示姿態資訊使該經顯現圖框翹曲包含：基於自該頭部追蹤資訊及該顯示姿態資訊制定的該用戶端器件之一平移使該經顯現圖框翹曲以考慮該ROI內的該等像素之該單一深度概算值； 及基於自該頭部追蹤資訊及該顯示姿態資訊制定的該用戶端器件之一旋轉獨立於該ROI內之該等像素的該單一深度概算值使該經顯現圖框翹曲。
  4. 如請求項1之方法，其中基於該後設資料及該顯示姿態資訊使該經顯現圖框翹曲包含：基於該後設資料產生該經顯現圖框中之潛在可見三角形以用於僅僅用於該經顯現圖框之該ROI的向量串流；及基於該經顯現圖框中之該等潛在可見三角形使該經顯現圖框翹曲。
  5. 一種用於翹曲一經顯現圖框之裝置，其包含：一記憶體，其儲存處理器可讀程式碼；及一處理器，其耦接至該記憶體並經組態以執行該處理器可讀程式碼以使得該裝置執行以下操作：傳輸一使用者之眼睛追蹤資訊，其中該眼睛追蹤資訊用以制定一所關注區域(ROI)；傳輸該使用者之頭部追蹤資訊；接收該經顯現圖框及後設資料，其中該經顯現圖框係基於該頭部追蹤資訊且該後設資料係基於該經顯現圖框之該ROI，其中該後設資料包含該經顯現圖框之該ROI內的像素之複數個像素深度的一單一深度概算值；制定該使用者之顯示姿態資訊；及基於該後設資料及該顯示姿態資訊使該經顯現圖框翹曲。
  6. 如請求項5之裝置，其中該處理器在執行該處理器可讀程 式碼時進一步使得該裝置執行以下操作：分析該ROI內之該經顯現圖框之內容資訊；基於該分析之內容資訊產生一運動向量濾波器核心大小；接收該經顯現圖框之複數個運動向量；使用該運動向量濾波器核心大小濾波該經顯現圖框之該複數個運動向量以產生翹曲向量；及基於該等翹曲向量使該經顯現圖框翹曲。
  7. 如請求項5之裝置，其中為基於該後設資料及該顯示姿態資訊使該經顯現圖框翹曲，該處理器在執行該處理器可讀程式碼時進一步使得該裝置執行以下操作：基於自該頭部追蹤資訊及該顯示姿態資訊制定的該裝置之一平移使該經顯現圖框翹曲以考慮該ROI內的該等像素之該單一深度概算值；及基於自該頭部追蹤資訊及該顯示姿態資訊制定的該裝置之一旋轉獨立於該ROI內之該等像素的該單一深度概算值使該經顯現圖框翹曲。
  8. 如請求項5之裝置，其中為基於該後設資料及該顯示姿態資訊使該經顯現圖框翹曲，該處理器在執行該處理器可讀程式碼時進一步使得該裝置執行以下操作：基於該後設資料產生該經顯現圖框中之潛在可見三角形以用於僅僅用於該經顯現圖框之該ROI的向量串流；及基於該經顯現圖框中之該等潛在可見三角形使該經顯現圖框翹曲。
TW108108104A 2018-04-30 2019-03-11 藉由所關注區域之制定的異步時間及空間翹曲 TWI803590B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
IN201841016253 2018-04-30
IN201841016253 2018-04-30
US16/181,288 US10861215B2 (en) 2018-04-30 2018-11-05 Asynchronous time and space warp with determination of region of interest
US16/181,288 2018-11-05

Publications (2)

Publication Number Publication Date
TW201946463A TW201946463A (zh) 2019-12-01
TWI803590B true TWI803590B (zh) 2023-06-01

Family

ID=68290751

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108108104A TWI803590B (zh) 2018-04-30 2019-03-11 藉由所關注區域之制定的異步時間及空間翹曲

Country Status (5)

Country Link
US (2) US10861215B2 (zh)
EP (1) EP3788781A1 (zh)
CN (1) CN112020858B (zh)
TW (1) TWI803590B (zh)
WO (1) WO2019212643A1 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160259404A1 (en) 2015-03-05 2016-09-08 Magic Leap, Inc. Systems and methods for augmented reality
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
US10909711B2 (en) 2015-12-04 2021-02-02 Magic Leap, Inc. Relocalization systems and methods
KR102626821B1 (ko) 2016-08-02 2024-01-18 매직 립, 인코포레이티드 고정-거리 가상 및 증강 현실 시스템들 및 방법들
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
JP7009494B2 (ja) 2017-03-17 2022-01-25 マジック リープ， インコーポレイテッド カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法
JP7009495B2 (ja) 2017-03-17 2022-01-25 マジック リープ， インコーポレイテッド 多ソース仮想コンテンツ合成を伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
CN110431599B (zh) 2017-03-17 2022-04-12 奇跃公司 具有虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法
US10861215B2 (en) 2018-04-30 2020-12-08 Qualcomm Incorporated Asynchronous time and space warp with determination of region of interest
JP7304934B2 (ja) 2018-07-23 2023-07-07 マジック リープ， インコーポレイテッド 仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
US10600236B2 (en) * 2018-08-06 2020-03-24 Valve Corporation Prediction and throttling adjustments based on application rendering performance
US11455705B2 (en) 2018-09-27 2022-09-27 Qualcomm Incorporated Asynchronous space warp for remotely rendered VR
US10733783B2 (en) * 2018-10-09 2020-08-04 Valve Corporation Motion smoothing for re-projected frames
CA3066838A1 (en) * 2019-01-08 2020-07-08 Comcast Cable Communications, Llc Processing media using neural networks
US11625806B2 (en) * 2019-01-23 2023-04-11 Qualcomm Incorporated Methods and apparatus for standardized APIs for split rendering
US11405913B2 (en) * 2019-03-08 2022-08-02 Facebook Technologies, Llc Latency reduction for artificial reality
US20220180473A1 (en) * 2019-03-21 2022-06-09 Apple Inc. Frame Rate Extrapolation
US20210192681A1 (en) * 2019-12-18 2021-06-24 Ati Technologies Ulc Frame reprojection for virtual reality and augmented reality
US11363247B2 (en) * 2020-02-14 2022-06-14 Valve Corporation Motion smoothing in a distributed system
US11107290B1 (en) 2020-02-27 2021-08-31 Samsung Electronics Company, Ltd. Depth map re-projection on user electronic devices
US11688073B2 (en) 2020-04-14 2023-06-27 Samsung Electronics Co., Ltd. Method and system for depth map reconstruction
US20230039100A1 (en) * 2020-05-08 2023-02-09 Qualcomm Incorporated Multi-layer reprojection techniques for augmented reality
US11510750B2 (en) * 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11412310B2 (en) 2020-05-18 2022-08-09 Qualcomm Incorporated Performing and evaluating split rendering over 5G networks
CN115668100B (zh) 2020-05-21 2023-10-27 奇跃公司 使用眼睛跟踪对激光束扫描显示器进行扭曲
US20230260191A1 (en) * 2020-08-05 2023-08-17 Telefonaktiebolaget Lm Ericsson (Publ) Improved Split Rendering for Extended Reality (XR) Applications
US11488345B2 (en) * 2020-10-22 2022-11-01 Varjo Technologies Oy Display apparatuses and rendering servers incorporating prioritized re-rendering
CN112230776B (zh) * 2020-10-29 2024-07-02 北京京东方光电科技有限公司 虚拟现实显示方法、装置及存储介质
KR20220093985A (ko) 2020-12-28 2022-07-05 삼성전자주식회사 이미지 지연 보정 방법 및 이를 이용한 장치
CN112598568B (zh) * 2020-12-28 2024-05-31 航天科技控股集团股份有限公司 全液晶仪表动态渲染方法
US11615594B2 (en) 2021-01-21 2023-03-28 Samsung Electronics Co., Ltd. Systems and methods for reconstruction of dense depth maps
CN115314696B (zh) * 2021-05-08 2024-07-16 中国移动通信有限公司研究院 一种图像信息的处理方法、装置、服务器及终端
EP4142285A4 (en) * 2021-05-17 2023-11-15 Qingdao Pico Technology Co., Ltd. HEAD-MOUNTED DISPLAY DEVICE AND HEAD-MOUNTED DISPLAY SYSTEM
US11822713B2 (en) 2021-06-11 2023-11-21 Rockwell Collins, Inc. Pose augmentation of head worn display video for latency reduction
CN113538648B (zh) * 2021-07-27 2024-04-30 歌尔科技有限公司 图像渲染方法、装置、设备及计算机可读存储介质
JP2023027651A (ja) * 2021-08-17 2023-03-02 富士フイルムビジネスイノベーション株式会社 遠隔支援システム、端末装置、遠隔装置、誘導画像表示プログラム、及び遠隔支援プログラム
CN113663328B (zh) * 2021-08-25 2023-09-19 腾讯科技（深圳）有限公司 画面录制方法、装置、计算机设备及存储介质
WO2023048955A1 (en) * 2021-09-24 2023-03-30 Callisto Design Solutions Llc Warping a frame based on pose and warping data
US20230128288A1 (en) * 2021-10-27 2023-04-27 Meta Platforms Technologies, Llc Compositor layer extrapolation
CN114286036A (zh) * 2021-12-22 2022-04-05 小派科技（上海）有限责任公司 用于虚拟现实设备的图像处理方法、装置及虚拟现实设备
WO2023211803A1 (en) * 2022-04-26 2023-11-02 Google Llc Encoding independent user interface streams to perform asynchronous reprojection
WO2023227223A1 (en) * 2022-05-26 2023-11-30 Telefonaktiebolaget Lm Ericsson (Publ) Split transport for warping
WO2024003577A1 (en) * 2022-07-01 2024-01-04 V-Nova International Ltd Applications of layered encoding in split computing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150304665A1 (en) * 2014-01-07 2015-10-22 Nokia Corporation Method and apparatus for video coding and decoding
US9704250B1 (en) * 2014-10-30 2017-07-11 Amazon Technologies, Inc. Image optimization techniques using depth planes
US20180081429A1 (en) * 2016-09-16 2018-03-22 Tomas G. Akenine-Moller Virtual reality/augmented reality apparatus and method

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9557812B2 (en) * 2010-07-23 2017-01-31 Gregory A. Maltz Eye gaze user interface and calibration method
US9727991B2 (en) * 2013-03-01 2017-08-08 Microsoft Technology Licensing, Llc Foveated image rendering
US9716899B2 (en) * 2013-06-27 2017-07-25 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
KR20160016468A (ko) * 2014-08-05 2016-02-15 삼성전자주식회사 리얼 3d 영상 생성 방법 및 그 장치
US9240069B1 (en) * 2015-06-30 2016-01-19 Ariadne's Thread (Usa), Inc. Low-latency virtual reality display system
EP3392739B1 (en) * 2015-12-17 2022-04-20 Looxid Labs Inc. Eye-brain interface (ebi) system and method for controlling same
WO2017147178A1 (en) * 2016-02-22 2017-08-31 Google Inc. Separate time-warping for a scene and an object for display of virtual reality content
US10401952B2 (en) * 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
CN108604391B (zh) * 2016-05-29 2022-06-14 谷歌有限责任公司 基于虚拟/增强现实系统中的深度信息的时间扭曲调整
GB2556634B (en) * 2016-11-18 2020-05-27 Advanced Risc Mach Ltd Graphics processing systems
US10580200B2 (en) * 2017-04-07 2020-03-03 Intel Corporation Virtual reality apparatus and method including prioritized pixel shader operations, alternate eye rendering, and/or augmented timewarp
US10467796B2 (en) * 2017-04-17 2019-11-05 Intel Corporation Graphics system with additional context
CN110574375B (zh) * 2017-04-28 2023-06-02 苹果公司 视频流水线
US10503457B2 (en) * 2017-05-05 2019-12-10 Nvidia Corporation Method and apparatus for rendering perspective-correct images for a tilted multi-display environment
CN107943287A (zh) * 2017-11-16 2018-04-20 烽火通信科技股份有限公司 一种基于Android机顶盒系统解决VR画面抖动的系统及方法
US10509463B2 (en) * 2017-11-17 2019-12-17 Microsoft Technology Licensing, Llc Mixed reality offload using free space optics
US11430169B2 (en) * 2018-03-15 2022-08-30 Magic Leap, Inc. Animating virtual avatar facial movements
US10861215B2 (en) 2018-04-30 2020-12-08 Qualcomm Incorporated Asynchronous time and space warp with determination of region of interest
US10733783B2 (en) * 2018-10-09 2020-08-04 Valve Corporation Motion smoothing for re-projected frames

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150304665A1 (en) * 2014-01-07 2015-10-22 Nokia Corporation Method and apparatus for video coding and decoding
US9704250B1 (en) * 2014-10-30 2017-07-11 Amazon Technologies, Inc. Image optimization techniques using depth planes
US20180081429A1 (en) * 2016-09-16 2018-03-22 Tomas G. Akenine-Moller Virtual reality/augmented reality apparatus and method

Also Published As

Publication number Publication date
WO2019212643A1 (en) 2019-11-07
TW201946463A (zh) 2019-12-01
CN112020858A (zh) 2020-12-01
US20210042985A1 (en) 2021-02-11
CN112020858B (zh) 2022-06-24
EP3788781A1 (en) 2021-03-10
US11321906B2 (en) 2022-05-03
US20190333263A1 (en) 2019-10-31
US10861215B2 (en) 2020-12-08

Similar Documents

Publication Publication Date Title
TWI803590B (zh) 藉由所關注區域之制定的異步時間及空間翹曲
US10776992B2 (en) Asynchronous time warp with depth data
US11127214B2 (en) Cross layer traffic optimization for split XR
US11303881B2 (en) Method and client for playing back panoramic video
CN107251567B (zh) 用于生成视频流的注释的方法和装置
US10779011B2 (en) Error concealment in virtual reality system
CN111052750B (zh) 用于点云流传输的方法和装置
WO2021147657A1 (zh) 插帧处理方法及相关产品
JP2022550501A (ja) 仮想カメラを使用するビデオ通信のためのシステムおよび方法
US10769754B2 (en) Virtual reality cinema-immersive movie watching for headmounted displays
US10572764B1 (en) Adaptive stereo rendering to reduce motion sickness
CN110537208B (zh) 头戴式显示器和方法
US11676330B2 (en) 3d conversations in an artificial reality environment
US11375170B2 (en) Methods, systems, and media for rendering immersive video content with foveated meshes
US9148463B2 (en) Methods and systems for improving error resilience in video delivery
JP7101269B2 (ja) ポーズ補正
US20220172440A1 (en) Extended field of view generation for split-rendering for virtual reality streaming
WO2021249562A1 (zh) 一种信息传输方法、相关设备及系统
US20230093933A1 (en) Low latency augmented reality architecture for camera enabled devices
US11910034B2 (en) Network-based assistance for receiver processing of video data
WO2021199128A1 (ja) 画像データ転送装置、画像生成方法およびコンピュータプログラム
CN116916028A (zh) 使用虚拟分辨率调整的视频流缩放