TW202027510A - 用於產生及演現視訊串流之設備及方法 - Google Patents

用於產生及演現視訊串流之設備及方法 Download PDF

Info

Publication number
TW202027510A
TW202027510A TW108134516A TW108134516A TW202027510A TW 202027510 A TW202027510 A TW 202027510A TW 108134516 A TW108134516 A TW 108134516A TW 108134516 A TW108134516 A TW 108134516A TW 202027510 A TW202027510 A TW 202027510A
Authority
TW
Taiwan
Prior art keywords
viewpoint
video stream
output
frames
frame
Prior art date
Application number
TW108134516A
Other languages
English (en)
Other versions
TWI824016B (zh
Inventor
巴特洛繆斯 威爾赫摩斯 戴米爾納斯 桑尼威爾特
克莉斯汀 維爾甘
Original Assignee
荷蘭商皇家飛利浦有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 荷蘭商皇家飛利浦有限公司 filed Critical 荷蘭商皇家飛利浦有限公司
Publication of TW202027510A publication Critical patent/TW202027510A/zh
Application granted granted Critical
Publication of TWI824016B publication Critical patent/TWI824016B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一種設備，其包含一處理器(301)，其提供用於一場景之複數個參考視點的複數個參考視訊串流。一接收器(305)接收來自一遠端用戶端的一視點請求，其中該視點請求指示一請求視點。一產生器(303)產生一輸出視訊串流，該輸出視訊串流包含一第一視訊串流及一第二視訊串流，該第一視訊串流具有來自一第一參考視訊串流的圖框，該第二視訊串流具有來自一第二參考視訊串流的圖框。該第二視訊串流的該等圖框係相對於該第一視訊串流的該等圖框以差分方式編碼。一控制器(307)回應於該視點請求而選擇用於該第一視訊串流及該第二視訊串流的該參考視訊串流，並可經配置以在該視點請求符合一準則時於非以差分方式編碼與以差分方式編碼之間交換該等參考視訊串流。

Description

用於產生及演現視訊串流之設備及方法
本發明係關於產生及演現一視訊串流，且具體而言但非排他地，係關於產生及演現用於一虛擬實境應用的一視訊串流。
近年來，影像及視訊應用之種類及範圍實質上增加，且持續發展及推出利用及消耗視訊的新服務及方式。
例如，一項越來越流行的服務係依使觀看者能夠主動地且動態地與系統互動以改變演現參數的方式來提供影像序列。在許多應用中，一項非常吸引人的特徵係改變觀看者的有效觀看位置及觀看方向之能力，例如諸如允許觀看者在呈現的場景中移動及「環視(look around)」。
此類特徵可具體地允許提供虛擬實境體驗給使用者。這可允許使用者在虛擬環境中（相對）自由四處移動且動態地改變其位置及其注視之處。一般而言，此類虛擬實境應用係基於場景的三維模型，其中動態評估該模型以提供特定請求的視圖。此方法在例如用於電腦及主控台的遊戲應用（諸如在第一人稱射擊遊戲類別中）係衆所周知的。
亦希望，特別是對於虛擬實境應用，所呈現的影像係三維影像。實際上，為最佳化觀看者的融入，使用者將所呈現場景體驗為三維場景一般而言係較佳的。實際上，虛擬實境體驗應較佳地允許使用者選擇他/她本身相對於虛擬世界的位置、攝影機視點及時間瞬間。
一般而言，虛擬實境應用固有地受限於，虛擬實境應用係基於預定場景模型，且一般係基於虛擬世界的人工模型。若虛擬實境體驗可基於真實世界攝取而提供，則其將係所欲的。然而，在許多情況中，此類方法非常受限制或往往要求從真實世界攝取來建置真實世界的虛擬模型。然後，藉由評估此模型來產生虛擬實境體驗。
然而，目前的方法往往是次佳的，且往往經常具有高運算或通訊資源需求及/或提供例如降低品質或受限制自由度的次佳使用者體驗。
作為一應用之實例，虛擬實境眼鏡已問市。這些眼鏡允許觀看者體驗經攝取的360度（全景）或180度視訊。這些360度視訊經常使用攝影機承架來預攝取，其中個別影像經拼接在一起成為單一球面映圖。180或360視訊的常見立體模式係上/下(top/bottom)及左/右(left/right)。類似於非全景立體視訊，左眼及右眼圖片經壓縮作為單一H.264視訊串流的部分。在解碼單一圖框之後，觀看者轉動他/她的頭以觀看圍繞他/她的世界。一實例係一記錄片，其中觀看者可體驗360度環視效果，且可離散地在從不同位置所記錄的視訊串流之間切換。當切換時，另一視訊串流被載入，其會使體驗中斷。
立體全景視訊方法的一個缺點在於，觀看者無法改變在虛擬世界中的位置。除了全景立體視訊外，編碼與傳輸全景深度圖可允許在用戶端側補償觀看者的小平移運動，但此類補償將固有地受限於小的變化及移動，且無法提供身歷其境與自由虛擬實境體驗。
相關技術係自由視點視訊，其中編碼具有深度圖的多個視點，且在單一視訊串流中傳輸。然而，此一方法需要高位元率，且在可產生的影像方面可能受到限制。
用於自由視點視覺化之一擷取及播放系統的一實例係繪示於圖1中。在擷取側（伺服器側SRV）上，藉由一維或二維的攝影機陣列103擷取場景101。各攝影機具有不同的參考位置/錨定位置，且從稍微不同的觀點觀察場景。在一遠端播放側（用戶端側CLNT）上，觀看者104在3D顯示器107上或使用虛擬實境眼鏡查看所擷取的內容。觀看者的眼睛位置，且因此係其觀看觀點，係使用例如眼睛追蹤器109來測量。對應的攝影機信號係選自並擷取自伺服器105，該伺服器透過網路111串流內容。可現場或從該伺服器檔案系統上發送內容。在用戶端側(CLNT)處，接收器113包含一解碼器，該解碼器可解碼所接收的內容/影像/視訊串流以產生一經解碼串流。接著，顯示控制器115產生適當的視圖影像並在顯示器107上演現該等影像。在系統中，取決於觀看者之經偵測的觀點/姿勢，攝影機串流之一子集經選擇及用以產生所演現之影像。
所呈現的視圖對應於頭部運動動態地變化之一方法係稱為「運動視差」。較佳地，運動視差與3D立體視覺一致，其中各眼睛接收場景之不同觀點的視圖。當攝影機視圖資料伴隨深度（或估計視差）資訊時，可合成實際攝影機視點之間的視點。此係用於流暢的播放。其亦使有限的外推能夠超出所擷取的視點。在圖1之系統中，資料係透過網路111從伺服器105轉移至一或多個用戶端。欲有效地達成此事，可使用影像及深度圖之（多視圖）視訊編碼。
所述應用係一互動式系統。一攝影機串流係回應於觀看者的頭部運動而選擇。在互動式部分上的任何潛時導致所感知的視圖遲滯在後並使視覺體驗降級。藉由使用基於深度的視圖合成，可補償小潛時。
可考慮影響互動性（視圖切換）之兩個主要潛時分量： 1.                        網路傳輸潛時。「選擇」信號係向上游發送至伺服器，且正確的攝影機視圖係向下游傳輸至觀看位點。通道或網路之往返延遲接著判定潛時之一第一部分。 2.                        解碼潛時。有效率的視訊編解碼器以差分方式將一組多個時序視訊圖框一起編碼在一「圖像群(Group Of Pictures, GOP)」中。一些圖框接著需要參考較早傳輸的圖框。大的GOP具有編碼效率（頻寬）優勢。然而，大的GOP亦增加解碼潛時。其防止經編碼串流之間的瞬時切換。
差分編碼對視訊編碼而言已是眾所周知，且係以許多不同方式應用，其中時間及空間差分編碼兩者均可行。例如，與其獨立地編碼一整個影像（圖框內），不如僅編碼關於來自其他時間例之圖框的差。例如，此係由高效率視訊編碼(High Efficiency Video Coding, HEVC)標準及其前身廣泛地使用。來自其他攝影機視點的圖框亦可以差分方式編碼。此係例如描述於MV-HEVC中，其係HEVC的多視圖延伸。
網路傳輸潛時最常係一給定參數，其無法由應用輕易地修改。其可隨時間變化，取決於例如網路負載。另一方面，解碼潛時係一設計考慮。選擇小的GOP大小減少潛時，但同時降低編碼效率。
所欲的是減少盡可能多的潛時，以便提供經改善的使用者體驗，且尤其是以便提供更動態的適應性體驗。用於解決此潛時問題的直接方法將係一起或作為分開串流編碼及傳輸所有攝影機視圖。在觀看位點處，其接著可瞬時地決定使用哪一個視圖。然而，此一方法將導致非常高的資料速率並需要高頻寬網路，其在許多應用中將係高度非所欲的。實際上，雖然此方法在一些情境中對少量攝影機而言可能是可行的，其卻無法很好地擴大至較大量的串流/攝影機，且在許多應用中均係無法實行的。此外，由於解碼器潛時，所有視圖應連續解碼，且此需要用戶端處之高計算資源。
因此，一改善方法將係有利的。具體而言，允許改善操作、增加靈活性、減少資料速率、促進散佈、降低複雜度、促進實施、降低計算需求、減少潛時、改善使用者體驗、及/或改善性能及/或操作的一方法將係有利的。
因此，本發明尋求單獨或採用任何組合較佳地緩和、減輕、或消除上文提及之缺點的一或多者。
根據本發明之一態樣，提供一種用於產生一輸出視訊串流之設備，該設備包含：一處理器，其用於提供用於一場景之複數個參考視點的複數個參考視訊串流；一接收器，其用於接收來自一遠端用戶端的一視點請求，該視點請求指示用於該輸出視訊串流之該場景的一請求視點；一產生器，其用於產生包含一第一視訊串流及一第二視訊串流之一輸出視訊串流，該第一視訊串流包含來自用於一第一視點之該複數個參考視訊串流之一第一參考視訊串流的第一輸出圖框，該第二視訊串流包含來自用於一第二參考視點之該複數個參考視訊串流之一第二參考視訊串流的第二輸出圖框，該等第二輸出圖框係相對於該等第一輸出圖框以差分方式編碼，且該等第一輸出圖框並未相對於該等第二輸出圖框以差分方式編碼；及一控制器，其用於回應於該視點請求而將該第一視點及該第二視點判定為該複數個參考視點的視點；其中該控制器經配置以回應於在該輸出視訊串流的該產生期間該視點請求之一變化符合一準則之一偵測，而將該第一視點從作為該複數個參考視點之一第一參考視點且將該第二視點從作為該複數個參考視點之一第二參考視點改變為該第一視點作為該第二參考視點且該第二視點作為該第一參考視點；其中該設備經配置以將一數目的額外視訊串流包括在該輸出視訊串流中，各額外視訊串流包含相對於該等第一輸出圖框以差分方式編碼之來自該複數個參考視訊串流之一額外參考視訊串流的輸出圖框；且其中該控制器經配置以回應於下列之至少一者而判定額外視訊串流的該數目：針對該視點請求的一變化測量及用於傳輸該輸出視訊串流之一通訊通道的一潛時測量。
本發明可提供表示一場景之一視訊串流之改善的及/或更有用的產生。其可提供額外的或冗餘的資訊，其可支援或促進基於該輸出視訊串流的遠端影像合成。該方法可允許有效率地支援一VR服務及/或可減少總體資料速率，同時為遠端影像合成維持高度靈活性。
該方法可例如支援一改善的基於主從式的VR服務，其中影像的最終合成係在該用戶端側處執行。
該方法具體可在不同的錨定視點之間切換時減少轉變假影。例如，當從一錨定視點切換至另一者時，兩個錨定視訊串流可在切換之前、切換期間、及切換之後連續地僅提供以此等變化的編碼。
該系統可經配置以動態地執行操作以提供該輸出視訊串流的一動態調適。
根據本發明之一可選特徵，該等第一輸出圖框係在不參考用於該第一視點以外之其他參考視點之圖框的情況下編碼。
在許多實施例中，此可提供改善的操作。
根據本發明之一可選特徵，該等第一輸出圖框係經內編碼(intracoded)。
在許多實施例中，此可提供改善的操作，且具體因為可減少解碼潛時而可減少潛時。一內編碼圖框可係獨立於所有其他圖框編碼的一圖框。
根據本發明之一可選特徵，該等第一輸出圖框之一些係相對於該等第一輸出圖框的其他圖框以差分方式編碼。
在許多實施例中，此可提供改善的性能，且具體而言可減少用於該輸出視訊串流的該總體資料速率。
根據本發明之一可選特徵，該輸出產生器經配置以藉由相對於該等第一輸出圖框以差分方式編碼來自該第二參考視訊串流的圖框來產生該等第二輸出圖框。
此可提供有效率且適應性的操作，且具體可適於即時應用，諸如即時多播應用。
根據本發明之一可選特徵，該處理器經配置以儲存該複數個參考視訊串流中之至少一些之以差分方式編碼的版本，一參考視訊串流之一以差分方式編碼的版本包含相對於另一參考視訊串流的圖框以差分方式編碼的圖框；且該產生器經配置以回應於擷取該第二參考視訊串流之一以差分方式編碼的版本而產生該第二視訊串流，該第二參考視訊串流之該以差分方式編碼的版本係包含相對於該第一參考視訊串流之圖框以差分方式編碼之圖框之該第二視訊串流的一版本。
在許多實施例中，此可提供更有效率的操作，且具體而言可減少計算複雜度及資源需求。其特別可適於設備在其中產生用於多個用戶端之不同輸出視訊串流的應用。
在一些實施例中，該處理器可經配置以儲存該複數個錨定視訊串流，且該複數個視訊串流中之至少一者的一數目之以差分方式編碼的錨定視訊串流係相對於用於其他視點的視訊串流以差分方式編碼；且該產生器可經配置以基於該視點請求從選自該複數個視訊串流的一經擷取視訊串流產生該第一位元流，並從相對於該經擷取視訊串流之一視點以差分方式編碼之一經擷取之以差分方式編碼的視訊串流產生該第二位元流。
根據本發明之一可選特徵，該處理器經配置以將該複數個參考視訊串流儲存為檔案，且該控制器經配置以回應於該視點請求之一檔案擷取請求而選擇該第一參考視訊串流及該第二參考視訊串流，該檔案擷取請求指示包含一參考視訊串流之一儲存檔案。
在許多實施例中，此可提供一有效率且低複雜度的實施方案。
根據本發明之一可選特徵，該控制器經配置以回應於該請求視點與該複數個參考視點之間的距離而改變該第一視點。
在許多實施例中，此可提供高度有利的操作。
根據本發明之一可選特徵，該控制器經配置以回應於用於該請求視點的一變化率而改變該第一視點。
在許多實施例中，此可提供高度有利的操作。
根據本發明之一可選特徵，該控制器經配置以回應於一潛時測量而改變該第一視點。
在許多實施例中，此可提供高度有利的操作。
該潛時測量可指示用於傳輸該輸出視訊串流之該通訊通道的一潛時測量。該潛時測量可指示該設備的該處理之一潛時，並可係接收一視點請求與基於該視點請求調適該輸出視訊串流之間的一延遲之一指示。
該設備經配置以將一數目的額外視訊串流包括在該輸出視訊串流中，各額外視訊串流包含相對於該等第一輸出圖框以差分方式編碼之來自該複數個參考視訊串流之一額外參考視訊串流的輸出圖框；且其中該控制器經配置以回應於用於傳輸該輸出視訊串流之一通訊通道的一潛時測量而判定額外視訊串流的該數目。
在許多實施例中，此可提供改善的性能，且具體而言可改善該資料速率對目前條件的動態調適。
該設備經配置以將一數目的額外視訊串流包括在該輸出視訊串流中，各額外視訊串流包含相對於該等第一輸出圖框以差分方式編碼之來自該複數個參考視訊串流之一額外參考視訊串流的輸出圖框；且其中該控制器經配置以回應於用於該視點請求之一變化測量而判定額外視訊串流的該數目。
在許多實施例中，此可提供改善的性能，且具體而言可改善該資料速率對目前條件的動態調適。
用於演現一視訊串流之設備可包含：一接收器，其用於接收該視訊串流，該視訊串流包含一第一視訊串流及一第二視訊串流，該第一視訊串流包含表示用於一場景之一第一視點之圖框的第一圖框，該第二視訊串流包含來自一第二視點之用於該場景的第二圖框，該等第二圖框係相對於該等第一圖框以差分方式編碼，且該等第一圖框並未相對於該等第二圖框以差分方式編碼；一演現器，其用於回應於該等第一視訊圖框及該等第二視訊圖框而演現用於一視點的輸出視圖影像；一偵測器，其用於偵測該視訊串流從該第一視點對應於一第一參考視點且該第二視點對應於一第二參考視點至該第一視點對應於該第二參考視點且該第二視點對應於該第一參考視點之一變化；及一調適器，其用於回應於該偵測而調適該演現。
該演現器可經配置以使用施加至該等第一圖框及該等第二圖框中之至少一者的視點偏移來合成該等視圖影像。
該調適器可經配置以調適該視點偏移，以補償用於該等第一圖框及該等第二圖框中之至少一者的視點之一變化。
根據本發明之一態樣，提供一種產生一輸出視訊串流之方法，該方法包含：提供用於一場景之複數個參考視點的複數個參考視訊串流；接收來自一遠端用戶端的一視點請求，該視點請求指示用於該輸出視訊串流之該場景的一請求視點；產生包含一第一視訊串流及一第二視訊串流之一輸出視訊串流，該第一視訊串流包含來自用於一第一視點之該複數個參考視訊串流之一第一參考視訊串流的第一輸出圖框，該第二視訊串流包含來自用於一第二參考視點之該複數個參考視訊串流之一第二參考視訊串流的第二輸出圖框，該等第二輸出圖框係相對於該等第一輸出圖框以差分方式編碼，且該等第一輸出圖框並未相對於該等第二輸出圖框以差分方式編碼；回應於該視點請求而將該第一視點及該第二視點判定為該複數個參考視點的視點；且其中判定該第一視點及該第二視點包含回應於在該輸出視訊串流的該產生期間該視點請求之一變化符合一準則之一偵測，而將該第一視點從作為該複數個參考視點之一第一參考視點且將該第二視點從作為該複數個參考視點之一第二參考視點改變為該第一視點作為該第二參考視點且該第二視點作為該第一參考視點；該方法進一步包含包括該輸出視訊串流中一數目的額外視訊串流，各額外視訊串流包含相對於該第一輸出圖框以差分方式編碼之來自該複數個參考視訊串流之一額外參考視訊串流的輸出圖框；及回應於下列之至少一者而判定額外視訊串流的該數目：針對該視點請求的一變化測量及用於傳輸該輸出視訊串流之一通訊通道的一潛時測量。
一種演現一視訊串流之方法可包含：接收該視訊串流，該視訊串流包含一第一視訊串流及一第二視訊串流，該第一視訊串流包含表示用於一場景之一第一視點之圖框的第一圖框，該第二視訊串流包含來自一第二視點之用於該場景的第二圖框，該等第二圖框係相對於該等第一圖框以差分方式編碼，且該等第一圖框並未相對於該等第二圖框以差分方式編碼；回應於該等第一視訊圖框及該等第二視訊圖框而演現用於一視點的輸出視圖影像；偵測該視訊串流從該第一視點對應於一第一參考視點且該第二視點對應於一第二參考視點至該第一視點對應於該第二參考視點且該第二視點對應於該第一參考視點之一變化；及回應於該偵測而調適該演現。
本發明的此等及其他態樣、特徵、及優點將參考下文描述的（一或多個）實施例闡明且將係顯而易見的。
允許使用者在一虛擬世界中四處移動的虛擬體驗已變得越來越流行，且正在開發服務以滿足此需求。然而，提供有效率的虛擬實境服務非常具挑戰性，尤其若體驗係基於擷取真實世界環境，而非基於完全虛擬地產生的人工世界。
在許多虛擬實境應用中，反映虛擬場景中之虛擬觀看者的姿勢而判定觀看者姿勢輸入。然後，虛擬實境設備/系統/應用針對對應於該觀看者姿勢的觀看者，產生對應於虛擬場景之視圖及視埠的一或多個影像。
一般而言，虛擬實境應用產生呈用於左眼及右眼的分開視圖影像形式的三維輸出。然後，這些視圖影像可藉由合適手段（諸如一般而言，VR頭戴裝置之個別左眼顯示器及右眼顯示器）來呈現給使用者。在其他實施例中，一或多個視圖影像可例如呈現在一裸視立體(autostereoscopic)顯示器上，或實際上在一些實施例中，可僅產生單一二維影像（例如，使用習知二維顯示器）。
在不同應用中，可以不同方式判定觀看者姿勢輸入。在許多實施例中，可直接追蹤使用者之實體移動。例如，監測使用者區域的攝影機可偵測且追蹤使用者頭部（或甚至眼睛）。在許多實施例中，使用者可配戴可被外部及/或內部構件追蹤的VR頭戴裝置。例如，該頭戴裝置可包含提供有關該頭戴裝置（且因此，頭部）之移動及旋轉之資訊的加速計及陀螺儀。在一些實例中，該VR頭戴裝置可傳輸信號或包含使外部感測器能夠判定該VR頭戴裝置之位置的（例如，視覺）識別符。
在一些系統中，可藉由手動方段來提供觀看者姿勢，例如，由使用者手動控制操縱桿或類似的手動輸入。例如，使用者可藉由以一手來手動控制第一類比操縱桿而使虛擬觀看者在虛擬場景內四處移動，且以另一手來手動移動第二類比操縱桿而手動控制虛擬觀看者的觀看方向。
在一些應用中，可使用手動及自動化方法之組合來產生輸入觀看者姿勢。例如，頭戴裝置可追蹤頭部定向，且可由使用者使用操縱桿來控制觀看者在場景中的移動/位置。
影像之產生係基於虛擬世界/環境/場景的合適表示。在許多系統中，可由對應於從不同擷取姿勢所擷取之視圖的影像資料來表示場景。例如，對複數個擷取姿勢而言，可擷取或儲存一影像或視訊序列。作為一實例，一運動事件可藉由複數個攝影機從不同位置（或姿勢）擷取事件並產生經擷取的視訊序列而擷取用於廣播作為一虛擬實境體驗（或支援此一體驗）。該組視訊序列可即時廣播或可例如經儲存以供稍後階段擷取。在場景於其中藉由儲存以供離散的參考視點/位置/姿勢之視圖資料描述/參考的系統中，此等在該領域中亦稱為錨定視點/位置/姿勢，且在下文中，用語參考(reference)及錨定(anchor)將作為等同物/同一者使用。一般而言，當已藉由擷取來自不同點/位置/姿勢的影像來擷取真實世界環境時，此等擷取點/位置/姿勢亦係參考/錨定點/位置/姿勢。
在本領域中，用語擺置(placement)及姿勢(pose)被用作位置及/或方向/定向之常見用語。例如物體、相機、頭部、或觀看之位置及方向/定向之組合可被稱為姿勢或擺置。在所屬技術領域中，通常亦使用用語視點(viewpoint)來指示用於一視圖的原點。用語常用以指示從其見到視圖之一位置，但其一般亦包括一定向，且實際上可僅係一定向。因此，提供用於一視圖或影像之基礎的姿勢或擺置通常稱為用於該視圖或影像的視點。
因此，用於一物體之一擺置或姿勢指示可包含六個值/分量/自由度，其中各值/分量一般描述對應物體之位置/定位或定向/方向之一個別性質。若物體係一視圖的基礎，例如，其表示攝影機或觀看者（虛擬或真實），物體的視點可由物體的對應姿勢或擺置表示。
當然，在許多情形中，一擺置、姿勢、或視點可用更少的分量考量及表示，例如，若將一或多個分量視為固定的或不相關的（例如，若將所有物體視為處於同一高度並具有一水平定向，則四個分量可提供一物體之姿勢的全面表示）。在下文中，用語姿勢(pose)及視點(viewpoint)係用以指稱可由一至六個值（對應於最大可能自由度）表示的一位置及/或定向。
基於提供最大自由度給觀看者之系統或實體一般稱為具有6個自由度(6 Degrees of Freedom, 6DoF)。許多系統及實體僅提供定向或位置，且這些系統及實體一般已知為具有3個自由度(3DoF)。
在許多實施方案中，VR應用係跨不同的實體/裝置分布，且具體可使用一主從式組態實施。例如，使用者本端之一裝置可偵測/接收移動/姿勢資料，該資料經處理以產生觀看者姿勢，該觀看者姿勢接著傳輸至遠端裝置。然後，該遠端裝置可基於描述場景資料的場景資料來產生觀看者姿勢的合適視圖影像。例如，其可選擇最接近觀看者姿勢的錨定點中之一者，並將此傳輸至本端用戶端裝置，該本端用戶端裝置可能直接呈現所接收的視訊串流。
可將一伺服器視為一功能、程序、方法、設備、電腦、或電腦程式，其管理對一網路中之一集中式資源或服務的存取，諸如在提供對表示一場景之視訊串流的存取之特定情況中。可將一用戶端視為一功能、程序、方法、設備、電腦、或電腦程式，其能夠從一伺服器獲取資訊及應用，諸如在獲取表示一場景之視訊串流之特定情況中。
圖2繪示其中遠端VR伺服器203與用戶端VR裝置201例如經由網路205（諸如網際網路）聯絡之一VR系統的此一實例。遠端VR伺服器203可經配置以同時支援潛在大量的用戶端VR裝置201。圖1之系統可具體用以實施圖1之方法，且下列描述將基於此一系統。
在許多情境中，諸如圖2之一方法可提供例如不同裝置的複雜度與資源需求、通訊需求等之間改善的權衡。例如，可以較大間隔傳輸觀看者目前視點及對應場景資料，其中本端裝置本端地處理視點及所接收的場景資料，以提供即時低延遲體驗。此可例如實質上減少所需的通訊頻寬，同時允許集中儲存、產生、及維持場景資料。例如，其可適於在其中提供VR體驗給複數個遠端裝置的應用，諸如例如VR廣播服務或應用，諸如例如廣播運動事件作為VR服務，其中使用者可改變位置。
然而，如先前所述，此類系統可引入潛時。例如，若視點從接近一第一錨定姿勢改變成接近一第二錨定姿勢，則此將導致伺服器從提供用於第一錨定姿勢的視訊串流改變成提供用於第二錨定姿勢的視訊串流。然而，從用戶端觀點看來，從一視訊串流改變成另一視訊串流的發生伴隨潛時，其相依於網路（往返程）延遲及任何解碼延遲兩者。此類延遲可係實質且非常可察覺的。例如，當移動以致使使用者視點從一錨定姿勢偏移至另一者時，偏移的發生實際上可伴隨顯著且可察覺的延遲。甚至在基於目前視點及所接收的視訊串流（及此之姿勢）執行本端視圖偏移之方法中，所需之增加的視圖偏移將導致品質降低。藉由伺服器傳輸多個視訊串流來解決潛時問題實質上增加頻寬及資源用量。
在下文中，將參考圖2（及圖1）描述一方法，其在許多情境中可提供減少的潛時，同時維持低頻寬及資源需求。該方法具體可採用具有一動態適應性編碼方法之冗餘視訊串流，以在潛時與頻寬/資源需求之間提供一改善的權衡。
圖3繪示伺服器201之元件的一實例，且圖4繪示此一實施例之用戶端203之元件的實例。
在實例中，伺服器201包含處理器301，其用於提供用於一給定場景之複數個錨定視點的複數個錨定視訊串流。因此，對複數個錨定視點之各者而言，處理器301可提供表示來自該視點之場景的視圖的一錨定視訊串流。將理解本領域中的用語錨定(anchor)僅係一標示，其不具有指稱複數個視訊串流以外的任何含意（亦即，其對應於描述處理器301可提供用於一給定場景之複數個視點的複數個視訊串流，且實際上用語錨定(anchor)可由另一標示（諸如例如用語「第一(first)」）取代）。然而，在許多實施例中，錨定視點及視訊串流可係擷取視點以及藉由從該等擷取視點擷取視訊串流所產生的擷取視訊串流。該等具體可係用於擷取一即時事件之攝影機的視點。
伺服器201進一步包含輸出產生器303，其經配置以產生包含表示場景之視訊的一輸出視訊（資料）串流。輸出視訊串流可經傳輸至用戶端203，其可繼續進行以演現場景之一視訊，可能藉由直接演現所接收的輸出視訊串流（或可能在首先執行一些操控（諸如例如執行一些視點偏移）之後）。
伺服器201進一步包含接收器305，其經配置以從用戶端203接收一視點請求，其中該視點請求指示用於輸出視訊串流之場景的一請求視點。因此，用戶端203可動態地判定一視點，所欲的是從該視點觀看場景，亦即，所演現的影像應從該視點產生。接著產生一視點請求以指示所欲視點，且此係可接著傳輸至伺服器201，其指示所欲視點。
伺服器201經配置以回應於所接收的視點請求而產生輸出視訊串流。具體而言，該設備包含控制器307，其經耦合至接收器305、輸出產生器303、及處理器301。控制器307具體經配置以回應於視點請求而從複數個錨定視訊串流選擇錨定視訊串流，並控制輸出視訊串流中之此等的表示。
圖2之伺服器201經配置以動態地產生輸出視訊串流，以包含錨定視訊串流中的至少兩者，其中錨定視訊串流中之一者係相對於另一者編碼。具體而言，輸出視訊串流經產生以包括來自錨定視訊串流之一第一者的圖框及來自錨定視訊串流之一第二者的圖框，其中來自第二錨定視訊串流的圖框係相對於來自第一視訊串流的圖框編碼。然而，來自第一錨定視訊串流的圖框並未相對於來自第二錨定視訊串流的圖框編碼（雖然其等在一些實施例中可相對於來自第一錨定視訊串流本身的其他圖框編碼，或甚至相對於來自另一錨定視訊串流的圖框編碼）。
在許多實施例中，輸出視訊串流尤其經產生使得其包含一第一視訊（資料/位元）串流，其在未相對於任何其他視訊（資料/位元）串流的情況下編碼，亦即，其係相對於包含在輸出視訊串流中的任何其他視訊串流以非差分方式編碼。此第一視訊串流將稱為主要視訊串流。此外，輸出視訊串流經產生以包含至少一第二視訊串流，其係相對於主要視訊串流編碼。此視訊串流將引用作為差分視訊串流，且具體可係相對於主要視訊串流以差分方式編碼的一視訊串流。在一些實施例中，輸出視訊串流可包含額外的視訊串流，且具體可包含已相對於主要位元流編碼之額外的差分視訊串流。
將理解用於以差分方式編碼差分位元流的不同方法可用在不同實施例中。作為一特定的低複雜度實例，可藉由從待編碼之圖框進行主要視訊串流之對應圖框的一像素層級減法而針對一差分視訊串流產生一殘餘圖框。接著可編碼所得之殘餘或誤差圖框。因為殘餘值將傾向於顯著小於原始值（因為圖框可能接近地彼此相似，因為其等從常相對接近的視點觀看相同場景），編碼可使用一顯著減少的資料速率執行。
將理解在大多數實際的差分編碼方案中，可使用更先進的方法，包括例如匹配不同圖框中的區段及藉由減去匹配區段來判定殘餘值等。此一方法可例如用以反映錨定視訊串流之間的視差偏移，以便提供更有效率的編碼。除了殘餘值以外，經編碼的資料可包括在不同區段之間的相對偏移之資訊（例如，由向量表示）。
控制器307可經配置以動態地選擇錨定視訊串流之一第一者，從該第一者產生主要視訊串流。一般而言，控制器307將針對最接近地對應於視點請求的錨定視點選擇錨定視訊串流。主要視訊串流經產生以包含所選的第一錨定視訊串流的圖框，且具體可藉由將所選的第一錨定視訊串流直接包括至輸出視訊串流中來產生，然而將理解在一些實施例中，圖框可經修改（例如，改變動態範圍或解析度），且在一些實施例中，主要視訊串流可經產生以具有多於或少於所選的第一錨定視訊串流的圖框（例如，藉由內插或子集選擇）。
此外，控制器307可動態地選擇錨定視訊串流之一第二者，從該第二者產生差分視訊串流（或在一些實施例中，可選擇複數個錨定視訊串流以用於不同的差分視訊串流）。一般而言，控制器307將選擇第二錨定視訊串流作為第一錨定視訊串流（其經選擇用於主要視訊串流）的一相鄰者。
差分視訊串流經對應地產生以包含來自第二錨定視訊串流的圖框。至於主要視訊串流，可引入一些修改（諸如，圖框率轉換、動態範圍變化、或解析度），但在大多數實施例中，差分視訊串流的圖框一般經產生以直接對應於第二錨定視訊串流的圖框。
然而，用於差分視訊串流的圖框係相對於來自主要視訊串流的圖框編碼。因此，來自第二錨定視訊串流的圖框係以相對於來自第一錨定視訊串流的圖框之以差分方式編碼的格式包括在輸出視訊串流中。第一錨定視訊串流係用於一第一錨定視點，且第二錨定視訊串流係用於一第二錨定視點，且因此輸出視訊串流係使用對應於第一錨定視點的一主要視訊串流及對應於第二錨定視點之具有以差分方式編碼之圖框的一差分視訊串流產生。
因此，控制器307可經配置以動態地且回應於錨定視點請求而選擇將錨定視訊串流中的何者編碼為主要（非以差分方式編碼）視訊串流，且錨定視訊串流中之何者（一者或多者）係相對於主要視訊串流以差分方式編碼。
進一步地，控制器307經配置以動態地調適選擇，使得其將回應於視點請求的變化而改變。具體而言，控制器307初始可選擇用於主要視訊串流的擷取視訊串流作為第一錨定視訊串流，因為第一錨定視點係最接近視點請求的錨定視點。進一步地，第二錨定視訊串流經選擇用於差分視訊串流，因為第二視點係第一視點的一相鄰視點，且一般而言，其可係最接近的相鄰者（或屬於一組預定數目的相鄰者，例如，對經配置在一線中的錨定視點而言，兩個最接近的視點可經選擇以用於產生差分視訊串流）。
然而，若視點請求現在改變得更接近第二視點，則控制器307可在某點處切換，使得主要視訊串流經選擇以對應於第二視點，亦即，第二錨定視訊串流將用於主要視訊串流。因此，控制器307將主要視訊串流從第一錨定視訊串流切換至第二錨定視訊串流，從而將其切換至更接近目前所請求視點且對應地在用戶端203處提供用於演現之一較佳基礎的一錨定視訊串流。此外，控制器307將差分視訊串流從基於用於第二視點的錨定視訊串流切換至用於第一視點者。因此，控制器307可在將擷取視訊串流的何者提供作為一以非差分方式編碼的視訊串流與將何者編碼作為一相對視訊串流之間有效地切換。
伺服器201可因此在變化期間連續地提供用於相同兩個錨定視點的視訊串流，但將改變此等之中以差分方式表示者。因此，輸出視訊串流在轉變期間係連續地產生以包括初始錨定視訊串流及目標錨定視訊串流兩者，但具有作為主要視訊串流與差分視訊串流之間的此等切換，亦即，在何者以差分方式編碼與何者以非差分方式編碼之間的切換。維持輸出視訊串流中之兩視訊串流的存在但在何者係主要視訊串流與何者係差分視訊串流之間進行切換之方法在許多實施例中可提供改善的性能。具體地，其可在用戶端側提供增加的一致性及改善的及/或促進的演現。實際上，對演現而言，相同的視訊串流係連續地存在，且因此可得到用於視圖合成演現的相同基礎。在例如一視點緩慢且逐漸地從一視訊串流的視點移動至相鄰視訊串流的視點之情況中，非常平滑且有效率的轉變可在一般於視訊串流之間進行切換時未察覺副效應的情況下達成。
圖4繪示用戶端203的元件之一實例。用戶端203在實例中經實施於一用戶端裝置中，其可經配置以動態地演現從伺服器201接收的影像。
用戶端203包含接收器401，其經配置以接收來自伺服器201的輸出視訊串流。因此，一視訊串流經接收，其包含至少一主要視訊串流及一差分視訊串流，該主要視訊串流包含用於一視點的圖框，該差分視訊串流包含用於一第二視點的圖框且其中圖框係相對於主要視訊串流之圖框以差分方式編碼。
用戶端進一步包含演現器403，其經配置以基於所接收的視訊串流而演現輸出視圖影像。輸出視圖影像具體可以允許其等直接顯示在一合適的顯示器上之格式提供。例如，輸出視圖影像可根據一合適標準（諸如例如，根據HDMI或DisplayPort標準）產生並包括在一位元流中。
演現器403經配置以產生輸出視圖影像以對應於一演現視點。演現視點一般將不直接對應於所接收之視訊串流中之一者的一視點，且因此演現器403在大多數實施例中將包含經配置以執行影像合成的功能，其中用於演現視點之一影像/圖框係由主要視訊串流及差分視訊串流的圖框中之至少一者（亦即，基於來自主要錨定視點或差分錨定視點之一影像圖框）而產生。一般而言，影像係基於來自兩個視點的影像/圖框（亦即，基於主要視訊串流及差分視訊串流兩者）而合成。
演現器403可對應地配置以執行視點偏移等，以從一新視點合成一影像。將理解所屬技術領域中具有通常知識者將察覺用於此類視圖偏移/合成之許多不同方法並可使用任何合適的方法。
演現器403視情況進一步包含用於解碼所接收的輸出視訊串流及主要視訊串流及差分視訊串流的構件。因此，具體而言，演現器403經配置以執行差分解碼以基於主要視訊串流的圖框來產生差分視訊串流的圖框。
在大多數實施例中，演現視點可動態地改變，且用戶端203包含接收一輸入並產生演現視點的視點輸入405。輸入一般可係一使用者輸入（諸如來自一使用者輸入裝置的一手動輸入，例如遊戲控制器），其可由使用者使用以手動且動態地改變並控制演現視點。作為另一實例，視點輸入405可包含眼睛追蹤功能或例如從VR頭盔接收移動資訊，且其可回應而產生演現視點。
因此，演現視點可連續地更新及改變，以例如藉由調適來反映使用者之所欲視點的變化以追隨使用者的移動。演現視點資料經饋送至演現器403，使得此動態變化產生對應於目前演現視點的輸出影像。
使用者輸入405係進一步耦接至傳輸器407，其經配置以產生一視點請求並將此傳輸至伺服器201。在許多實施例中，傳輸器407可經配置以僅直接傳輸目前的演現視點至伺服器201。伺服器201可接著直接比較此演現視點與錨定視點，以便選擇分別用於主要視訊串流及（多個）差分視訊串流的錨定視點。
在其他實施例中，用戶端203可例如直接請求錨定視訊串流中之一者作為主要錨定視訊串流，且伺服器201可直接提供所請求的錨定視訊串流作為一主要視訊串流，並視情況使用差分視訊串流進行增補。例如，當設置服務時，伺服器201可向用戶端203提供所有錨定視點的資料，且用戶端可繼續進行以比較目前演現視點與錨定視點，並請求用於最接近之錨定視點的錨定視訊串流。
因此，用戶端203接收輸出視訊串流，該輸出視訊串流包含主要視訊串流及至少一差分視訊串流，且由此其本端地產生用於目前演現視點的輸出影像。然而，如先前所述，用於主要視訊串流及差分視訊串流之錨定視訊串流的選擇並不固定，而是可動態地改變。
用戶端203因此包含偵測器409，其經配置以偵測藉由伺服器201選擇而用於主要視訊串流的錨定視訊串流及用於差分視訊串流的錨定視訊串流何時變化。
一般而言，所接收的輸出視訊串流將包含資料，該資料指示分別選擇哪一個錨定視訊串流或錨定視點用於主要視訊串流及差分視訊串流，且偵測器415可僅評估此類後設資料以偵測何時發生變化。在其他實施例中，無此類資料可提供，且偵測器415可例如經配置以偵測可對應於一視差偏移之影像中的一突然偏移。例如，在用戶端203直接請求一個錨定視訊串流作為主要視訊串流的一實施例中，當請求一新的錨定視訊串流時，可由傳輸器407知會偵測器415。其可接著繼續進行以監測主要視訊串流及/或差分視訊串流的圖框，以偵測影像物體/區段在連續圖框之間何時看起來突然偏移，因為此可指示當視點發生變化時的視差變化。偵測具體可考慮主要視訊串流及差分視訊串流兩者，以偵測兩個串流中的突然偏移對應於彼此但具有相反符號的狀況，因為此將反映主要視訊串流中的視差偏移係差分視訊串流的相反，因為兩視訊串流的視點經過交換。
在視圖選擇邏輯實施於用戶端203中的實施例中，偵測器415接著可僅基於本端資訊隱式地判定變化。在該情況下，用戶端203知曉其相對於錨定位置/姿勢的位置/姿勢，並可取決於位置/姿勢僅從伺服器201擷取不同資料。在該情況下，切換完全在用戶端中實施，且關於伺服器資料之唯一可假設的事係如何組織（例如以冗餘側視圖）區域，使得用戶端203能夠選擇適當的視訊串流。在此一情況下，偵測器415可回應於用戶端203本身請求一新的視訊串流而直接偵測變化，例如，具有一延遲以反映往返延遲。
偵測器409經耦接至調適器411，其進一步經耦接至演現器403。調適器411經配置以回應於在主要視訊串流及差分視訊串流的視點中已發生變化之偵測而調適演現。具體而言，其經配置以調適合成操作，使得此將用於主要視訊串流及差分視訊串流的視點已改變列入考慮。例如，其可藉由將演現/合成切換成基於主要視訊串流而非基於差分視訊串流來完成。
在許多實施例中，此可具體對應於將執行視點偏移從基於差分視訊串流切換至基於主要視訊串流。例如，若演現視點從主要視訊串流的視點（假定視點2）逐漸朝差分視訊串流的視點（假定視點3）移動，則演現器403在某點將從由主要視訊串流之圖框合成影像切換至基於差分視訊串流的圖框合成影像，因為該差分視訊串流的該等圖框來自一個更接近的視點。因此，除了解碼主要視訊串流（因為為了解碼差分視訊串流，此仍係需要的）以外，其可開始解碼差分視訊串流。
伺服器201可進一步偵測視點請求現指示更接近差分視訊串流的視點（視點3）而非主要視訊串流的視點（視點2）之一視點。因此，其可切換使得主要視訊串流現從視點3之錨定視訊串流的圖框產生。進一步地，差分視訊串流將從用於視點2之錨定視訊串流的圖框產生。
偵測器409可偵測此變化何時抵達用戶端203，且回應於此偵測，調適器411可控制演現器403以將合成輸出影像從基於差分視訊串流切換至基於主要視訊串流。進一步地，由於差分視訊串流現對應於先前視點（視點2），此錨定視訊串流仍藉由差分視訊串流提供給用戶端203，且因此若所欲的演現視點回轉朝向視點2即可輕易擷取。
在該系統中，控制器307因此經配置以將第一視點從作為複數個參考視點之一第一參考視點且將第二視點從作為複數個參考視點之一第二參考視點改變為第一視點作為第二參考視點且第二視點作為第一參考視點。控制器307經配置以回應於在輸出視訊串流的產生期間偵測視點請求之一變化符合一準則而引發此改變。
將理解所述方法可與任何準則併用以用於在將哪一個視訊串流/視點用作主要視訊串流/視點與將哪一個用作一差分視訊串流/視點之間進行切換。
在許多實施例中，準則可包含參考視點與（目前）視點請求之間的距離之考量。具體地，在一些實施例中，視點請求可直接係識別參考視點中之一者的一請求，且主要與差分視點/視訊串流之間的變化可僅起因於視點請求改變成請求一不同視點。
在許多實施例中，視點請求可係一視點作為亦包含參考視點之一座標系統（例如，用於虛擬實境場景的座標系統）中之一位置的指示。在此類實施例中，準則可包括至參考視點之各者之距離的考量，且控制器307可經配置以根據一合適的距離準則目前選擇最接近的參考視點。因此，若控制器307連續地選擇最接近的參考視點作為主要視點，則用於改變主要視點的一準則可僅係所請求的視點更接近一不同參考視點。
在許多實施例中，控制器307可執行一演算法，其包括施加用於選擇主要視點的一準則或規則。偵測視點請求的變化滿足一準則可對應於偵測用於選擇主要視點的準則已導致一不同視點被選擇作為主要視點。換言之，用以偵測視點請求的變化已發生且應執行參考視點的變化之準則可係用於選擇參考視點之準則是否已導致一不同視點被選擇的評估。具體而言，基於考量視點請求之一給定的準則或演算法而連續地選擇並使用一目前參考視點亦可固有地係用於偵測經選擇用於參考視點之視點何時應從一第一視點改變成一第二視點之變化的一準則。
因此，在許多實施例中，主要視點及差分視點的選擇及變化可基於或考量（空間）接近度。例如，可使用一簡單準則：若觀看者的眼睛（如由視點請求所指示者）在空間上較接近參考視點A而非參考視點B，則視點A經選擇作為第一參考，且視點B係相對於視點A編碼。
在一些實施例中，可將更複雜的演算法列入考慮。
例如，可產生基於視點請求之一預測模型，且用於眼睛移動之一合理模型係用以預測使用者之視點的變化方向。切換可接著基於此類預測而非原始觀察到的位置測量。此可提供一較快速且優先的切換。
在一些實施例中，用於切換的準則可包括視點請求之變化率的考量。例如，若眼睛以高速移動，此將導致視點請求的高變化率。在此情況下，可係所欲的是預測未來的視點請求，且歸因於較高速而可較早進行切換。
在一些實施例中，系統/通訊潛時可列入考慮。潛時可扮演間接角色，並可在選擇/切換準則中列入考慮。此一般可結合視點請求的目前位置及目前變化率的考量。
該潛時測量可指示用於傳輸該輸出視訊串流之該通訊通道的一潛時測量。該潛時測量可指示該設備的該處理之一潛時，並可係接收一視點請求與基於該視點請求調適該輸出視訊串流之間的一延遲之一指示。
例如，在使用第二及第三視訊串流相對於第一視訊串流以不同方式編碼之三個視訊串流的一情境中，一傳輸潛時可能太高而不允許足夠快速的視點切換。在以較高頻寬為代價的情況下，系統可決定替代地發送5、7、9、或更多個視圖。現在僅解碼硬體需要足夠快，但資料已經接收。在此類情況中，相較於偵測到低通訊潛時，參考視訊串流的切換在偵測到高通訊潛時時可較不頻繁。
該方法一方面可提供資料速率、頻寬、資源需求、與用於改變演現視點之可行的演現品質之間的一改善權衡。
該系統可使用（至少部分地）冗餘視訊串流以解決用戶端側的潛時問題。其可為各主要視圖提供以差分方式編碼的相鄰錨定視圖，以補償傳輸及解碼延遲。相鄰視圖可以解碼步驟的數目（解碼複雜度）在視圖之間切換時為低的此一結構相對於彼此以差分方式編碼。該方法可以伺服器側之多視圖編碼效率為代價減少用戶端側的潛時，同時使頻寬使用保持在控制之下。
該方法之一實例可參照圖5來描述。在此實例中，主要視訊串流係經內編碼，使得主要視訊串流的各圖框可在不參考無論是用於相同視點或來自另一視點之任何其他圖框的情況下解碼。實例係基於以一直線配置之一組錨定視點（其具體可係擷取場景時的攝影機位置）。
在實例中，藉由選擇來自錨定視訊串流的圖框及視訊封包來產生視訊封包。控制器307選擇攝影機/擷取視點中之一者作為主要視點。具體而言，其動態地選擇最接近視點請求的視點。用於此主要視點的視訊封包係包括在輸出視訊串流中作為經內編碼的封包/圖框（由圖5中的I指示），亦即作為主要視訊串流。此外，選擇兩個相鄰視點作為差分視點，且來自兩個對應的錨定視訊串流之視訊封包/圖框亦包括在輸出視訊串流中作為差分視訊串流。然而，對此等視點而言，經編碼的視訊封包/圖框係相對於主要視點的視訊封包/圖框以差分方式編碼（且在圖5中由D指示）。一圖像群(GOP)結構係對應地產生，其係空間的（垂直地描繪於圖5中）而非時間的。因此，此等視點/視訊串流係由更有效率編碼的視訊串流來表示。
主要視點，且因此差分視點，的選擇係動態地更新以反映所接收之視點請求的變化。例如，在圖5中，初始情況（在t=t0處）係用戶端203請求對應於視點2的一視點。其對應地接收用於視點2之一經內編碼的圖框及用於視點1及3之以差分方式編碼的圖框。視點1及3的差分編碼係相對於視點2而相關。由於僅需要一額外解碼步驟來產生用於視圖1或3的影像，此允許低潛時視點切換，因為用於此等之資料經提供作為來自伺服器201之輸出視訊串流的部分。
在實例中，所欲的視點可從視點2切換至視點3（或從更接近視點2切換至更接近視點3）。在圖4的實例中，從視點2至視點3的變化可發生在t1處，且因此傳輸至伺服器201的視點請求可從針對視點2的請求改變成針對視點3的請求。
當伺服器201接收此經改變的視點請求時，其繼續進行以選擇錨定視點3作為主要視點。因此，其切換使得主要視訊串流現對應於用於視點3而非視點2的錨定視訊串流，且因此現將用於視點3的視訊封包/圖框包括在輸出視訊串流中作為經內編碼的視訊封包/圖框。然而，此外，現選擇先前的主要視點作為差分視點中之一者，且仍將用於視點2的視訊封包/圖框包括在輸出視訊串流中，但其等現係相對於視點3的視訊封包/圖框以差分方式編碼。因此，兩個串流已在經內編碼與相對/以差分方式編碼之間切換。此外，控制器307切換以選擇視點4取代視點1作為一差分視點。在變化之後，主要視訊串流對應地對應於視點3，其中差分視訊串流對應於視點2及4。
然而，歸因於往返網路延遲，變化並未抵達用戶端203直到稍晚的時間時刻t2。然而，這並非主要問題，因為所請求的視訊串流（即用於視點3之視訊串流）可基於藉由首先解碼用於視點2的圖框所接收的資料來重新建立，然後藉由用於視點3的差分封包的差分解碼來產生用於視點3的圖框。當接著在t2處接收用於視點3的第一經內編碼圖框時，用戶端203可切換以繼續進行以直接解碼用於視點3的圖框且不需要兩階段解碼程序。
因此，該方法可允許在不同的錨定視訊串流與錨定視點之間的平滑且有效率的轉變。可藉由執行差分解碼來減少與一偏移相關聯的任何網路潛時。進一步地，可仔細地選擇所表示的視點，使得在不需要針對所有錨定點傳輸視訊資料的情況下發生有效率且平滑的轉變。該方法在資料速率與性能之間提供高度有效率的權衡。具體地執行兩個錨定視點之間的轉變，使得整個轉變期間存在一致性。用戶端203在整個轉變期間均可取得用於兩個視點的視訊串流，且實際上兩個視訊串流係在轉變之前、期間、及之後提供給用戶端203。變化不在於提供哪一個視訊串流給用戶端203而是在此等視訊串流如何編碼。在許多實際的系統及使用中的典型行為在於使用者常在不同位置之間交替，且因此常發生在兩個特定視點之間存在一重複變化的情境。所述方法在此類情境中可特別有利，因為其連續地提供兩個視訊串流給用戶端203。
在上述實例中，用於主要視訊串流及視點的圖框在未參考用於第一視點以外之其他視點的圖框，且實際上在未參考任何其他圖框的情況下經編碼。反而是，主要視訊串流的各圖框僅基於該圖框內之資訊而個別編碼（內編碼）。
然而，在一些實施例中，可使用主要視訊串流之圖框的預測，且實際上，主要視訊串流之圖框中的一些可以差分方式編碼。在一些實施例中，差分編碼可能相對於輸出視訊串流之其他視訊串流的圖框，但不會相對於差分視訊串流的圖框以差分方式編碼。因此，鑒於空間預測及差分編碼在一些實施例中亦可用於主要視訊串流的圖框，大多數實施例將不包括基於任何其他視訊串流之主要視訊串流之圖框的任何差分編碼，亦即，一般不包括主要視訊串流之圖框的空間差分編碼。
在許多實施例中，主要視訊串流之圖框中的一些可相對於主要視訊串流的其他圖框以差分方式編碼。在此一實例中，主要視訊串流可例如以一些經內編碼的圖框及相對於一經內編碼圖框以差分方式編碼之一些以差分方式編碼的圖框編碼。差分視訊串流的圖框仍相對於用於相同時間時刻之主要視訊串流的圖框以差分方式編碼，即使此圖框本身係以差分方式編碼亦然。具體而言，輸出產生器303首先可以差分方式編碼主要視訊串流的一圖框。接著，基於編碼，其可藉由解碼所產生的編碼資料來產生一經解碼的參考圖框。此圖框（其直接匹配將在用戶端203處產生者）接著係用作用於相同時間之差分視訊串流之差分編碼的一參考圖框。
圖6顯示此一方法的一實例。在實例中，主要視訊串流之圖框中的一些亦對應地經內編碼以便減少所得之位元率。
為了解碼此等圖框，編碼器必須可取得一較早的經內編碼的圖框。此引入一額外潛時，因為在此經解碼之前需要接收一I圖框以用於新的主要視訊串流。此額外潛時可例如藉由包括更多相鄰視圖來補償。在圖6的實例中，輸出視訊串流經產生以包含一個主要視訊串流及四個差分視訊串流。如所繪示，建立一GOP，其包括更多圖框且其具有空間及時間延伸兩者。
在許多實施例中，該設備可經配置以動態地編碼輸出視訊串流。例如，處理器301可即時接收錨定視訊串流，並可將此等饋送至輸出產生器303，其中一錨定視訊串流在控制器307的控制下經選擇作為主要視訊串流。經選擇之主要視訊串流接著可經編碼，例如其中所有圖框係經內編碼圖框或其中一些圖框係基於主要視訊串流之其他圖框而預測。在一些實施例中，若錨定視訊串流呈不同的編碼格式，則主要視訊串流的編碼可係一轉碼，或在一些實施例中，主要視訊串流可直接產生作為錨定視訊串流而無需任何重新編碼。
控制器307可進一步選擇一第二錨定視訊串流，其經編碼作為差分視訊串流。因此，此錨定視訊串流的圖框係相對於主要視訊串流的圖框動態地且即時地以差分方式編碼。此差分編碼可例如包括首先解碼錨定視訊串流以產生一經解碼的視訊串流，其接著相對於主要視訊串流的圖框以差分方式編碼。
此方法可例如有效率地實施支援VR體驗的一即時廣播伺服器。
在其他實施例中，錨定視訊串流可經儲存，且處理器301可經配置以擷取所選的錨定視訊串流，且輸出產生器303可以類似於針對即時實施方案所述的類似方式編碼（轉碼）所擷取的視訊串流。
在一些實施例中，不同視訊串流的編碼在操作期間並未動態地執行，而是可提前執行。具體而言，處理器301可儲存所有錨定視訊串流。此外，處理器301可儲存錨定視訊串流之以差分方式編碼的版本。
例如，對各錨定視訊串流而言，處理器301可儲存錨定視訊串流之一非以差分方式編碼的版本及一數目的以差分方式編碼的版本，其中各版本係相對於一個其他錨定視訊串流以差分方式編碼。例如，若輸出視訊串流經產生以包括一個主要視訊串流及兩個差分視訊串流，則處理器301可針對除了非以差分方式編碼的版本以外的各錨定視訊串流而儲存相對於在一方向上最靠近的相鄰錨定視訊串流以差分方式編碼的一個版本、以及相對於在另一方向上最靠近的相鄰錨定視訊串流以差分方式編碼的一個版本。
在此類實例中，輸出產生器303可不藉由選擇性編碼錨定視訊串流來產生輸出視訊串流，但可直接擷取適當的經儲存版本，並將其等包括在輸出視訊串流中。具體而言，輸出產生器303可針對目前選擇用於主要視訊串流之錨定視訊串流擷取非以差分方式編碼的版本，且針對該組差分視訊串流可提取相對於經選擇用於主要視訊串流的錨定視訊串流以差分方式編碼之所選的錨定視訊串流的版本。此等版本接著可直接包括在輸出視訊串流中。
例如，若主要視訊串流係針對視點2產生，則處理器301可提取用於視點2之錨定視訊串流之非以差分方式編碼的版本及相對於用於視點2的錨定視點以差分方式編碼之用於視點1及3之錨定視訊串流之以差分方式編碼的版本。
此一方法在許多實施例中可提供非常有效率的性能，且尤其可適於伺服器201支援多個用戶端（諸如例如用於廣播服務）之方法。
在錨定視訊串流（無論是否以不同版本）經儲存於檔案中的實施例中，從用戶端203所接收的視點請求可直接指示經請求以提供作為主要視訊串流的一特定檔案。
例如，取代用戶端203連續地發送目前演現視點的指示及伺服器201識別最靠近的錨定視點，用戶端203可直接判定並請求一檔案/錨定視訊串流。例如，當服務開始時，伺服器201可針對哪一個錨定視訊串流經儲存在伺服器201處傳輸錨定視點的資訊。接著，用戶端203可動態地評估演現視點並判定目前所欲用於本端產生對應於演現視點之影像的錨定視訊串流。接著，用戶端203可產生直接指示所欲檔案的一視點請求。伺服器201可回應地擷取所選檔案。其亦可擷取相對於所請求的錨定視訊串流以差分方式編碼之相鄰錨定視訊串流的檔案，且其可將此等包括在輸出視訊串流中。
在許多實施例中，此一方法可提供非常有效率之方法。例如，相較於要求連續地傳輸及更新一動態視點請求，用戶端203可僅在需要所選的錨定視訊串流之變化時傳輸一新視點/檔案請求。
在先前實例中，伺服器201經配置以產生一輸出視訊串流，其包含一預定數目的差分視訊串流，諸如具體而言，兩個或四個最靠近的相鄰者（在圖5及圖6的實例中）。
然而，在一些實施例中，伺服器201可經配置以動態地調適差分視訊串流的數目。因此，經選擇以被包括在輸出視訊串流中作為相對於主要視訊串流以差分方式編碼的錨定視訊串流的數目可取決於操作條件而變動。
在一些實施例中，差分視訊串流的數目可回應於針對用以傳輸輸出視訊串流之通訊通道的一潛時測量，且具體回應於伺服器201與用戶端203之間的潛時而調適。潛時可判定為一通訊延遲，且具體係判定為網路延遲。
網路延遲可例如藉由經時間戳記之傳輸至用戶端203的資料封包來判定，且其中用戶端203藉由比較時間戳記與接收時間來判定延遲。作為另一實例，用戶端203可測量從傳輸一視點請求導致所選的主要錨定視點的變化，直到偵測到變化的時間，且此延遲可用作一潛時測量。所判定的潛時測量接著可傳輸至伺服器201，其可對應地判定差分視訊串流的數目。
在許多實施例中，伺服器201可經配置以針對一增加的潛時增加差分視訊串流的數目。例如，伺服器201可在潛時與差分視訊串流數目之間使用一預定函數，其針對增加的潛時增加（一單調遞增函數）。
此一方法可允許將資料速率靈活調適至目前條件。對較大潛時而言，演現視點改變以進一步從目前的主要錨定視點要求一錨定視訊串流的可能性增加，且實際上，針對較快的變化，所提供之錨定視訊串流的變化可能不夠快。例如，若演現視點在往返延遲時間中可變化達例如兩個錨定視點之一距離，則不僅要求第一錨定視訊串流且亦要求下一個最接近的相鄰錨定視訊串流被包括在輸出視訊串流中。
在一些實施例中，伺服器201可經配置以回應於用於視點請求之一變化測量而判定額外視訊串流的數目。
例如，對具有許多及大變化的一視點請求而言，可係所欲的是包括高於有較少變化時之數目的差分視訊串流，以便增加在任何給定時間於用戶端203處所需的錨定視訊串流實際上係提供給此的可能性。
伺服器201具體可經配置以回應於視點請求的變化/改變速度而調適差分視訊串流的數目。具體而言，若視點請求指示一快速變化的視點，則相對於當視點請求指示緩慢變化時，伺服器201可增加所包括之差分視訊串流的數目。
因此，該方法可允許將資料速率可變地調適至目前條件。
應理解，為了清楚起見，上文描述已參考不同功能電路、單元、及處理器描述本發明之實施例。然而，將明白，可在不同功能電路、單元、或處理器之間使用任何合適的功能分布，而不減損本發明。例如，繪示為由分開的處理器或控制器執行之功能可由相同處理器或控制器實施例。因此，參考特定功能單元或電路僅被視為參考用於提供所描述之功能的合適手段，而非指示嚴格的邏輯或實體結構或組織。
本發明能以包括硬體、軟體、韌體、或彼等之任何組合的任何合適形式實作。本發明可任選地至少部分地實作為在一或多個資料處理及/或數位信號處理器上運行的電腦軟體。本發明之實施例的元件及組件可以任何合適方式實體地、功能地、及邏輯地實作。實際上，功能可以單一單元實作、以複數個單元實作、或實作為其他功能單元的一部分。因此，本發明可以單一單元實作，或可實體地及功能地分布在不同單元、電路、及處理器之間。
雖然本發明已相關於一些實施例描述，未意圖受限於本文陳述的具體形式。更確切地說，本發明的範圍僅由隨附的申請專利範圍限制。額外地，雖然特徵可顯現為結合特定實施例描述，所屬技術領域中具有通常知識者會認知所描述之實施例的各種特徵可根據本發明組合。在申請專利範圍中，用語包含不排除其他元件或步驟的存在。
另外，雖然個別地列舉，複數個構件、元件、電路、或方法步驟可藉由，例如，單一電路、單元、或處理器實作。額外地，雖然個別特徵可包括在不同的申請專利範圍中，可能有有利的組合，且包括在不同申請專利範圍中不暗示特徵的組合係可行及/或有利的。特徵包括在一類別之請求項中並未暗示對此類別的限制，反而指示該特徵可視需要同等地適用於其他請求項。另外，在申請專利範圍中的特徵次序並未暗示特徵必須以該次序作用的任何具體次序，且方法項中之個別步驟的次序未特別暗示步驟必須以此次序執行。更確切地說，步驟可以任何合適次序執行。此外，單數型參照未排除複數型。因此，對「一(a)」、「一(an)」、「第一(first)」、「第二(second)」等的參照不排除複數。申請專利範圍中的參考標誌僅提供為闡明實例，不應以任何方式解釋為限制申請專利範圍的範圍。
根據本發明之一些實施例，可提供： 1.                        一種用於產生一輸出視訊串流之設備，該設備包含： 一處理器(301)，其用於提供用於一場景之複數個參考視點的複數個參考視訊串流； 一接收器(305)，其用於接收來自一遠端用戶端的一視點請求，該視點請求指示用於該輸出視訊串流之該場景的一請求視點； 一產生器(303)，其用於產生包含一第一視訊串流及一第二視訊串流之一輸出視訊串流，該第一視訊串流包含來自用於一第一視點之該複數個參考視訊串流之一第一參考視訊串流的第一輸出圖框，該第二視訊串流包含來自用於一第二參考視點之該複數個參考視訊串流之一第二參考視訊串流的第二輸出圖框，該等第二輸出圖框係相對於該等第一輸出圖框以差分方式編碼，且該等第一輸出圖框並未相對於該等第二輸出圖框以差分方式編碼；及 一控制器(307)，其用於回應於該視點請求而將該第一視點及該第二視點判定為該複數個參考視點的視點；其中 該控制器(307)經配置以回應於在該輸出視訊串流的該產生期間該視點請求之一變化符合一準則之一偵測，而將該第一視點從作為該複數個參考視點之一第一參考視點且將該第二視點從作為該複數個參考視點之一第二參考視點改變為該第一視點作為該第二參考視點且該第二視點作為該第一參考視點。
在一些但非所有實施例中，該等第一輸出圖框係在不參考用於該第一視點以外之其他參考視點之圖框的情況下編碼。
在一些但非所有實施例中，該等第一輸出圖框經內編碼。
在一些但非所有實施例中，該等第一輸出圖框之一些係相對於該等第一輸出圖框之其他圖框以差分方式編碼。
在一些但非所有實施例中，該輸出產生器(303)經配置以藉由相對於該等第一輸出圖框以差分方式編碼來自該第二參考視訊串流的圖框來產生該等第二輸出圖框。
在一些但非所有實施例中，該處理器(301)經配置以儲存該複數個參考視訊串流中之至少一些之以差分方式編碼的版本，一參考視訊串流之一以差分方式編碼的版本包含相對於另一參考視訊串流的圖框以差分方式編碼的圖框；且該產生器(303)經配置以回應於擷取該第二參考視訊串流之一以差分方式編碼的版本而產生該第二視訊串流，該第二參考視訊串流之該以差分方式編碼的版本係包含相對於該第一參考視訊串流之圖框以差分方式編碼之圖框之該第二視訊串流的一版本。
在一些但非所有實施例中，該處理器(301)經配置以將該複數個參考視訊串流儲存為檔案，且該控制器(307)經配置以回應於該視點請求之一檔案擷取請求而選擇該第一參考視訊串流及該第二參考視訊串流，該檔案擷取請求指示包含一參考視訊串流之一儲存檔案。
在一些但非所有實施例中，該設備進一步經配置以將一數目的額外視訊串流包括在該輸出視訊串流中，各額外視訊串流包含相對於該等第一輸出圖框以差分方式編碼之來自該複數個參考視訊串流之一額外參考視訊串流的輸出圖框；且其中該控制器(307)經配置以回應於用於傳輸該輸出視訊串流之一通訊通道的一潛時測量而判定額外視訊串流的該數目。
在一些但非所有實施例中，該設備進一步經配置以將一數目的額外視訊串流包括在該輸出視訊串流中，各額外視訊串流包含相對於該等第一輸出圖框以差分方式編碼之來自該複數個參考視訊串流之一額外參考視訊串流的輸出圖框；且其中該控制器(307)經配置以回應於用於該視點請求之一變化測量而判定額外視訊串流的該數目。
一種用於演現一視訊串流之設備，該設備包含： 一接收器(401)，其用於接收該視訊串流，該視訊串流包含一第一視訊串流及一第二視訊串流，該第一視訊串流包含表示用於一場景之一第一視點之圖框的第一圖框，該第二視訊串流包含來自一第二視點之用於該場景的第二圖框，該等第二圖框係相對於該等第一圖框以差分方式編碼，且該等第一圖框並未相對於該等第二圖框以差分方式編碼； 一演現器(403)，其用於回應於該等第一視訊圖框及該等第二視訊圖框而演現用於一視點的輸出視圖影像； 一偵測器(409)，其用於偵測該視訊串流從該第一視點對應於一第一參考視點且從該第二視點對應於一第二參考視點至該第一視點對應於該第二參考視點且該第二視點對應於該第一參考視點之一變化；及 一調適器(411)，其用於回應於該偵測而調適該演現。
在一些但非所有實施例中，該演現器(403)經配置以使用施加至該等第一圖框及該等第二圖框中之至少一者的視點偏移來合成該等視圖影像。
在一些但非所有實施例中，該調適器經配置以調適該視點偏移，以補償用於該等第一圖框及該等第二圖框中之至少一者的視點之一變化。
一種產生一輸出視訊串流之方法，該方法包含： 提供用於一場景之複數個參考視點的複數個參考視訊串流； 接收來自一遠端用戶端的一視點請求，該視點請求指示用於該輸出視訊串流之該場景的一請求視點； 產生包含一第一視訊串流及一第二視訊串流之一輸出視訊串流，該第一視訊串流包含來自用於一第一視點之該複數個參考視訊串流之一第一參考視訊串流的第一輸出圖框，該第二視訊串流包含來自用於一第二參考視點之該複數個參考視訊串流之一第二參考視訊串流的第二輸出圖框，該等第二輸出圖框係相對於該等第一輸出圖框以差分方式編碼，且該等第一輸出圖框並未相對於該等第二輸出圖框以差分方式編碼； 回應於該視點請求而將該第一視點及該第二視點判定為該複數個參考視點的視點；且 其中判定該第一視點及該第二視點包含回應於在該輸出視訊串流的該產生期間該視點請求之一變化符合一準則之一偵測，而將該第一視點從作為該複數個參考視點之一第一參考視點且將該第二視點從作為該複數個參考視點之一第二參考視點改變為該第一視點作為該第二參考視點且該第二視點作為該第一參考視點。
一種演現一視訊串流之方法，該方法包含： 接收該視訊串流，該視訊串流包含一第一視訊串流及一第二視訊串流，該第一視訊串流包含表示用於一場景之一第一視點之圖框的第一圖框，該第二視訊串流包含來自一第二視點之用於該場景的第二圖框，該等第二圖框係相對於該等第一圖框以差分方式編碼，且該等第一圖框並未相對於該等第二圖框以差分方式編碼； 回應於該等第一視訊圖框及該等第二視訊圖框而演現用於一視點的輸出視圖影像； 偵測該視訊串流從該第一視點對應於一第一參考視點且從該第二視點對應於一第二參考視點至該第一視點對應於該第二參考視點且該第二視點對應於該第一參考視點之一變化；及 回應於該偵測而調適該演現。
101:場景 103:攝影機陣列 104:觀看者 105:伺服器 107:3D顯示器 109:眼睛追蹤器 111:網路 113:接收器 115:顯示控制器 201:伺服器/用戶端VR裝置 203:用戶端/遠端VR伺服器 205:網路 301:處理器 303:輸出產生器/產生器 305:接收器 307:控制器 401:接收器 403:演現器 405:使用者輸入/視點輸入 407:傳輸器 409:偵測器 411:調適器 415:偵測器 CLNT:用戶端側 SRV:伺服器側
將僅以舉例之方式參考圖式描述本發明的實施例，其中 圖1繪示用於自由視點視覺化之一擷取及播放系統的一實例； 圖2繪示用於提供一虛擬實境體驗的主從式配置(client server arrangement)的一實例； 圖3繪示根據本發明之一些實施例之一伺服器設備之元件的一實例； 圖4繪示根據本發明之一些實施例之一用戶端設備之元件的一實例； 圖5繪示根據本發明之一些實施例之用於由一伺服器設備所產生之視訊串流之一編碼方法的一實例；及 圖6繪示根據本發明的一些實施例之用於由一伺服器設備所產生之視訊串流之一編碼方法的一實例。
301:處理器
303:輸出產生器/產生器
305:接收器
307:控制器

Claims (12)

  1. 一種用於產生一輸出視訊串流之設備，該設備包含： 一處理器(301)，其用於提供用於一場景之複數個參考視點的複數個參考視訊串流； 一接收器(305)，其用於接收來自一遠端用戶端的一視點請求，該視點請求指示用於該輸出視訊串流之該場景的一請求視點； 一產生器(303)，其用於產生包含一第一視訊串流及一第二視訊串流之一輸出視訊串流，該第一視訊串流包含來自用於一第一視點之該複數個參考視訊串流之一第一參考視訊串流的第一輸出圖框，該第二視訊串流包含來自用於一第二參考視點之該複數個參考視訊串流之一第二參考視訊串流的第二輸出圖框，該等第二輸出圖框係相對於該等第一輸出圖框以差分方式編碼，且該等第一輸出圖框並未相對於該等第二輸出圖框以差分方式編碼；及 一控制器(307)，其用於回應於該視點請求而將該第一視點及該第二視點判定為該複數個參考視點的視點；其中 該控制器(307)經配置以回應於在該輸出視訊串流的該產生期間該視點請求之一變化符合一準則之一偵測，而將該第一視點從作為該複數個參考視點之一第一參考視點且將該第二視點從作為該複數個參考視點之一第二參考視點改變為該第一視點作為該第二參考視點且該第二視點作為該第一參考視點； 其特徵在於該設備經配置以將一數目的額外視訊串流包括在該輸出視訊串流中，各額外視訊串流包含相對於該等第一輸出圖框以差分方式編碼之來自該複數個參考視訊串流之一額外參考視訊串流的輸出圖框；且其中該控制器(307)經配置以回應於下列之至少一者而判定額外視訊串流的該數目： 針對該等視點請求之一變化測量，及 用於傳輸該輸出視訊串流之一通訊通道的一潛時測量。
  2. 如請求項1之設備，其中該等第一輸出圖框係在不參考用於該第一視點以外之其他參考視點之圖框的情況下編碼。
  3. 如請求項2之設備，其中該等第一輸出圖框經內編碼(intracoded)。
  4. 如請求項2之設備，其中該等第一輸出圖框之一些係相對於該等第一輸出圖框之其他圖框以差分方式編碼。
  5. 如前述請求項中任一項之設備，其中該輸出產生器(303)經配置以藉由相對於該等第一輸出圖框以差分方式編碼來自該第二參考視訊串流的圖框來產生該等第二輸出圖框。
  6. 如前述請求項中任一項之設備，其中該處理器(301)經配置以儲存該複數個參考視訊串流中之至少一些之以差分方式編碼的版本，一參考視訊串流之一以差分方式編碼的版本包含相對於另一參考視訊串流的圖框以差分方式編碼的圖框；且該產生器(303)經配置以回應於擷取該第二參考視訊串流之一以差分方式編碼的版本而產生該第二視訊串流，該第二參考視訊串流之該以差分方式編碼的版本係包含相對於該第一參考視訊串流之圖框以差分方式編碼之圖框之該第二視訊串流的一版本。
  7. 如前述請求項中任一項之設備，其中該處理器(301)經配置以將該複數個參考視訊串流儲存為檔案，且該控制器(307)經配置以回應於該視點請求之一檔案擷取請求而選擇該第一參考視訊串流及該第二參考視訊串流，該檔案擷取請求指示包含一參考視訊串流之一儲存檔案。
  8. 如前述請求項中任一項之設備，其中該控制器(307)經配置以回應於該請求視點與該複數個參考視點之間的距離而改變該第一視點。
  9. 如前述請求項中任一項之設備，其中該控制器(307)經配置以回應於用於該請求視點的一變化率而改變該第一視點。
  10. 如前述請求項中任一項之設備，其中該控制器(307)經配置以回應於一潛時測量而改變該第一視點。
  11. 一種產生一輸出視訊串流之方法，該方法包含： 提供用於一場景之複數個參考視點的複數個參考視訊串流； 接收來自一遠端用戶端的一視點請求，該視點請求指示用於該輸出視訊串流之該場景的一請求視點； 產生包含一第一視訊串流及一第二視訊串流之一輸出視訊串流，該第一視訊串流包含來自用於一第一視點之該複數個參考視訊串流之一第一參考視訊串流的第一輸出圖框，該第二視訊串流包含來自用於一第二參考視點之該複數個參考視訊串流之一第二參考視訊串流的第二輸出圖框，該等第二輸出圖框係相對於該等第一輸出圖框以差分方式編碼，且該等第一輸出圖框並未相對於該等第二輸出圖框以差分方式編碼； 回應於該視點請求而將該第一視點及該第二視點判定為該複數個參考視點的視點；且 其中判定該第一視點及該第二視點包含回應於在該輸出視訊串流的該產生期間該視點請求之一變化符合一準則之一偵測，而將該第一視點從作為該複數個參考視點之一第一參考視點且將該第二視點從作為該複數個參考視點之一第二參考視點改變為該第一視點作為該第二參考視點且該第二視點作為該第一參考視點； 該方法進一步包含將一數目的額外視訊串流包括在該輸出視訊串流中，各額外視訊串流包含相對於該等第一輸出圖框以差分方式編碼之來自該複數個參考視訊串流之一額外參考視訊串流的輸出圖框；及 回應於下列之至少一者而判定額外視訊串流的該數目： 針對該等視點請求之一變化測量，及 用於傳輸該輸出視訊串流之一通訊通道的一潛時測量。
  12. 一種電腦程式產品，其包含電腦程式碼構件，該電腦程式碼構件經調適以在該程式於一電腦上運行時執行如請求項11之所有步驟。
TW108134516A 2018-09-25 2019-09-25 用於產生及演現視訊串流之設備及方法 TWI824016B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18196433.9A EP3629584A1 (en) 2018-09-25 2018-09-25 Apparatus and method for generating and rendering a video stream
EP18196433.9 2018-09-25

Publications (2)

Publication Number Publication Date
TW202027510A true TW202027510A (zh) 2020-07-16
TWI824016B TWI824016B (zh) 2023-12-01

Family

ID=63787718

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108134516A TWI824016B (zh) 2018-09-25 2019-09-25 用於產生及演現視訊串流之設備及方法

Country Status (8)

Country Link
US (1) US11317124B2 (zh)
EP (2) EP3629584A1 (zh)
JP (1) JP7378465B2 (zh)
KR (1) KR20210065151A (zh)
CN (1) CN112753224B (zh)
BR (1) BR112021005361A2 (zh)
TW (1) TWI824016B (zh)
WO (1) WO2020064376A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7291224B2 (ja) * 2019-07-26 2023-06-14 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
CN111988596B (zh) * 2020-08-23 2022-07-26 咪咕视讯科技有限公司 虚拟视点合成方法、装置、电子设备及可读存储介质
US20220322306A1 (en) * 2021-03-31 2022-10-06 Tencent America LLC Method and apparatus for defining egest configuration and protocols in 5g uplink streaming
KR102510454B1 (ko) * 2022-09-02 2023-03-16 주식회사 솔디아 전송량을 저감시킨 동영상 전송 시스템

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5091143B2 (ja) 2005-10-07 2012-12-05 韓國電子通信研究院 多重カメラシステムにおける自由な基本設定ビューの符号化／復号化方法及びその装置
CN100496121C (zh) 2007-04-11 2009-06-03 宁波大学 一种交互式多视点视频系统的图像信号处理方法
JP5121367B2 (ja) * 2007-09-25 2013-01-16 株式会社東芝 映像を出力する装置、方法およびシステム
RU2522984C2 (ru) * 2008-08-26 2014-07-20 Ксир Способ переключения от кодированного видеопотока источника к кодированному видеопотоку пункта назначения
WO2012147621A1 (ja) * 2011-04-28 2012-11-01 ソニー株式会社 符号化装置および符号化方法、並びに、復号装置および復号方法
US9286711B2 (en) * 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
CN104396251A (zh) * 2012-04-23 2015-03-04 三星电子株式会社 使用用于多视点视频预测的参考列表对多视点视频进行编码的方法及其装置以及使用用于多视点视频预测的参考列表对多视点视频进行解码的方法及其装置
KR102106536B1 (ko) * 2012-04-25 2020-05-06 삼성전자주식회사 다시점 비디오 예측을 위한 참조픽처세트를 이용하는 다시점 비디오 부호화 방법 및 그 장치, 다시점 비디오 예측을 위한 참조픽처세트를 이용하는 다시점 비디오 복호화 방법 및 그 장치
KR102186605B1 (ko) 2012-09-28 2020-12-03 삼성전자주식회사 다시점 영상 부호화/복호화 장치 및 방법
RU2667605C2 (ru) * 2013-05-10 2018-09-21 Конинклейке Филипс Н.В. Способ кодирования сигнала видеоданных для использования с многовидовым устройством визуализации
US9942474B2 (en) * 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
JP2017135464A (ja) 2016-01-25 2017-08-03 キヤノン株式会社 映像送信装置、映像送信システム、映像送信方法、及びプログラム

Also Published As

Publication number Publication date
US11317124B2 (en) 2022-04-26
EP3857898A1 (en) 2021-08-04
CN112753224A (zh) 2021-05-04
CN112753224B (zh) 2023-07-11
KR20210065151A (ko) 2021-06-03
JP2022514140A (ja) 2022-02-10
EP3857898B1 (en) 2022-02-09
TWI824016B (zh) 2023-12-01
US20220053222A1 (en) 2022-02-17
EP3629584A1 (en) 2020-04-01
WO2020064376A1 (en) 2020-04-02
JP7378465B2 (ja) 2023-11-13
BR112021005361A2 (pt) 2021-06-15

Similar Documents

Publication Publication Date Title
TWI824016B (zh) 用於產生及演現視訊串流之設備及方法
JP6410918B2 (ja) パノラマ映像コンテンツの再生に使用するシステム及び方法
EP2490179B1 (en) Method and apparatus for transmitting and receiving a panoramic video stream
JP7486527B2 (ja) イマーシブメディアコンテンツの提示および双方向性の３６０°ビデオ通信
US20160198140A1 (en) System and method for preemptive and adaptive 360 degree immersive video streaming
KR20190038664A (ko) 비디오 데이터의 콘텐츠 기반 스트림 분할
JP7320146B2 (ja) ディスオクルージョンアトラスを用いたマルチビュービデオ動作のサポート
TWI831796B (zh) 用於產生場景之影像的設備及方法
JP2012094990A (ja) 視点連動画像表示システム
JP2019537303A (ja) 画像処理
US10412412B1 (en) Using reference-only decoding of non-viewed sections of a projected video
Gül et al. Cloud rendering-based volumetric video streaming system for mixed reality services
US10553029B1 (en) Using reference-only decoding of non-viewed sections of a projected video
JP7138653B2 (ja) ビデオからの画像生成
KR101922970B1 (ko) Vr 콘텐츠에 대한 라이브 스트리밍 방법 및 시스템
JP7463614B2 (ja) ビューポート変化に基づくデュアルストリーム動的ｇｏｐアクセス
US10609356B1 (en) Using a temporal enhancement layer to encode and decode stereoscopic video content
EP4013059A1 (en) Changing video tracks in immersive videos
CN116137954A (zh) 信息处理设备、信息处理方法和信息处理系统