TW201811025A - 一種用於流視訊內容的方法及裝置 - Google Patents

一種用於流視訊內容的方法及裝置 Download PDF

Info

Publication number
TW201811025A
TW201811025A TW106125489A TW106125489A TW201811025A TW 201811025 A TW201811025 A TW 201811025A TW 106125489 A TW106125489 A TW 106125489A TW 106125489 A TW106125489 A TW 106125489A TW 201811025 A TW201811025 A TW 201811025A
Authority
TW
Taiwan
Prior art keywords
projection
spatial relationship
region
segment
based spatial
Prior art date
Application number
TW106125489A
Other languages
English (en)
Other versions
TWI644562B (zh
Inventor
柏霖 賴
杉 劉
新 王
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201811025A publication Critical patent/TW201811025A/zh
Application granted granted Critical
Publication of TWI644562B publication Critical patent/TWI644562B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6581—Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本發明提供一種裝置，包括介面電路、處理電路和顯示裝置。介面電路用於接收媒體資料的媒體展現描述資訊。該媒體資料包括根據投影自球面的視訊內容投影的二維平面上的視訊內容。該二維平面上的視訊內容包括多個在該二維平面上具有不同視訊覆蓋的段流。該媒體展現描述資訊使用基於投影的空間關係描述以根據該投影該二維平面上的視訊內容描述不同的視訊覆蓋。處理電路用於基於用於圖像生成的感興趣區域和該基於投影的空間關係描述確定一個或者多個段流，在該一個或者多個段流中選擇多個段，並且使得該介面電路請求並接收該選擇的多個段流。

Description

一種用於流視訊內容的方法及裝置 【相關申請的交叉引用】
本申請的申請專利範圍依35 U.S.C.§119要求如下申請的優先權：2016年07月29日提出的名稱為“Methods and Apparatus of signalling Spatial Relationship and Dependency for VR and 360 video Content”的申請號為62/368,205號的美國臨時案。在此合併參考該申請案的申請標的。
本發明的所公開實施例涉及視訊編解碼方法及裝置，且更具體而言，涉及一種全向視訊編解碼技術。
此處提供的先前技術描述用作一般呈現本發明的內容的目的。目前署名發明人的工作內容，既包含在本先前技術部分中所描述的工作的內容，也包含在申請時未被認為是先前技術的說明書的各方面，這些既不明確也不暗示地被承認是本發明的先前技術。
可渲染三維環境以提供特殊的用戶體驗。例如，在虛擬實境(virtual reality，VR)應用中，電腦技術創建複製現實環境的現實圖像、聲音以及其他感覺，或者創建想像的環 境，這樣用戶可以具有在三維環境中物理存在的類比體驗。
本發明提供一種裝置，包括介面電路、處理電路和顯示裝置。介面電路用於接收媒體資料的媒體展現描述資訊。該媒體資料包括根據投影自球面的視訊內容投影的二維平面上的視訊內容。該二維平面上的視訊內容包括多個在該二維平面上具有不同視訊覆蓋的段流。該媒體展現描述資訊使用基於投影的空間關係描述以根據該投影該二維平面上的視訊內容描述不同的視訊覆蓋。處理電路用於基於用於圖像生成的感興趣區域和該基於投影的空間關係描述確定一個或者多個段流，在該一個或者多個段流中選擇多個段，並且使得該介面電路請求並接收該選擇的多個段流。顯示裝置用於顯示基於該選擇的多個段而產生的多個圖像。
在一個實施例中，處理電路用於自該基於投影的空間關係描述中解析出投影標識。進一步地，在一個示例中，該處理電路用於在該投影標識表示等角投影時，自該基於投影的空間關係描述中解析出球面坐標系統中的偏航座標和俯仰座標。在一個示例中，該處理電路用於自該基於投影的空間關係描述中解析出偏航座標的最小值、偏航座標的最大值、俯仰座標的最小值和俯仰座標的最大值，其中該基於投影的空間關係描述中定義了該二維平面內的區域。在另一個示例中，該處理電路用於解析出定義了矩形區域的角點的偏航座標和俯仰座標，並自該基於投影的空間關係描述中解析出在偏航座標和俯仰座標上的該矩形區域的寬度和高度。
在另一實施例中，該處理電路用於在該投影標識表示多面體投影時，自該基於投影的空間關係描述中解析出一個或者多個面索引。進一步地，在一個實施例中，該處理電路用於在該投影標識表示沒有投影時，自該基於投影的空間關係描述中解析出歐式坐標系統中的多個座標。
根據本發明的一方面，該處理電路用於解析該媒體展現描述資訊，以提取第一段流到第二段流的依存，在該第一段流和該第二段流中選擇多個段，並且，使得該介面電路請求並接收該選擇的多個段。例如，該處理電路用於提取該第一段流到該第二段流的區域依存、頻寬依存和圖像尺寸依存中的至少一個。
在一個實施例中，該媒體展現描述資訊使用在適應集層、展示層和子展示層中至少一個中的該基於投影的空間關係描述，以根據該投影描述該二維平面內不同的視訊覆蓋。
本發明提供一種圖像渲染的方法。該方法包括接收媒體資料的媒體展現描述資訊。該媒體資料包括根據投影自球面的視訊內容投影的二維平面上的視訊內容。該二維平面上的視訊內容包括多個在該二維平面上具有不同視訊覆蓋的段流。該媒體展現描述資訊使用基於投影的空間關係描述以根據該投影該二維平面上的視訊內容描述不同的視訊覆蓋。該方法進一步包括基於用於圖像生成的感興趣區域和該基於投影的空間關係描述確定一個或者多個段流，在該一個或者多個段流中選擇多個段，發送用於該選擇的多個段的請求，接收該選擇的多個段，以及顯示基於該選擇的多個段而產生的多個圖像。
100‧‧‧媒體系統
110‧‧‧源系統
112‧‧‧獲取設備
120、170‧‧‧處理電路
130‧‧‧MPD生成模組
115、141‧‧‧記憶體
111、161‧‧‧介面電路
140‧‧‧超文字傳輸協定伺服器
142、930、1030、1140、1230、1330、1400、1500、1600‧‧‧媒體展現描述檔
143‧‧‧段
160‧‧‧渲染系統
180‧‧‧MPD處理模組
190‧‧‧圖像生成模組
165‧‧‧顯示裝置
200、300‧‧‧媒體表示
201、301‧‧‧第一週期
210、310‧‧‧第二週期
220、320‧‧‧第一適應集
221、321‧‧‧第二適應集
230、330‧‧‧第一表示
231、251、225‧‧‧基於投影的空間關係描述
240、260‧‧‧段資訊
250、350‧‧‧第二表示
271‧‧‧初始化資訊
272‧‧‧第一段資訊
273‧‧‧第二段資訊
400‧‧‧示意圖
410‧‧‧第一段流
420‧‧‧第二段流
430‧‧‧第三段流
500‧‧‧處理示例
S501、S510、S520、S530、S540、S550、S560、S570‧‧‧步驟
600、700‧‧‧繪圖
610、640、740、910、1210、1310‧‧‧球面
611‧‧‧球體
605‧‧‧區域
620、651、661‧‧‧偏航圈
630、652、662‧‧‧俯仰圈
645‧‧‧感興趣區域
670、920、1020、1220、1320‧‧‧二維平面
1000‧‧‧示例
675‧‧‧感興趣區域
681、682‧‧‧垂直線
691、692‧‧‧水平線
800‧‧‧表格
810、820、830‧‧‧列
931、934、1031、1036、1141、1142、1146、1161、1231、1234、1331、1332、1333、1334‧‧‧值
1110‧‧‧第一矩形資訊框
1120‧‧‧第二矩形資訊框
1130‧‧‧第三矩形資訊框
1410、1420、1430、1440、1510、1520、1530、1540、1610、1620、1630、1640
將結合下面的圖式對被提供作為示例的本發明的各種實施例進行詳細描述，其中相同的符號表示相同的元件，以及其中：第1圖是根據本發明實施例的媒體系統100的方框圖；第2圖是根據本發明實施例的媒體表示(media presentation)200的示例；第3圖是根據本發明另一實施例的媒體表示300的示例；第4圖是根據本發明實施例的示出一種動態適應流(adaptive streaming)的示例的示意圖400；第5圖是根據本發明實施例的示出一種處理示例500的流程圖；第6圖是示出根據本發明實施例的等角投影(equirectangular projection，ERP)的繪圖600；第7圖是示出根據本發明實施例的多面體投影(platonic solid projection)示例的繪圖700；第8圖是示出根據本發明實施例的在基於投影的空間關係描述中所使用的參數的表格800；以及第9-16圖是示出根據本發明實施例的媒體表示的示例。
第1圖示出了根據本發明實施例的媒體系統100的方框圖。媒體系統100包括耦接在一起的源系統110、傳輸系統150和渲染系統160。源系統110用於獲取用於三維環境的媒體資料，並適當地封裝媒體資料。傳輸系統150用於將來 自於源系統110的已封裝的媒體資料傳輸到渲染系統160。渲染系統160用於根據媒體資料渲染類比的三維環境。
根據本發明的一方面，源系統110用於獲取三維(three-dimensional，3D)球面的視覺資料，將球面的視覺資料投影到二維(two-dimension，2D)平面，例如，二維矩形圖像，並且，根據投影生成在平面內具有不同視訊覆蓋(video coverages)(例如，區域覆蓋(region coverages)、品質覆蓋(quality coverages))的段流(segment stream)，且在描述檔中包含段流的空間資訊(spatial information)，例如，媒體展現描述(media presentation description，MPD)檔。在一個實施例中，媒體展現描述檔使用基於投影的空間關係描述(spatial relationship description，SRD)來描述二維平面內段流的不同視訊覆蓋。此外，在一個實施例中，媒體展現描述檔包括依存描述(dependency description)以輔助視訊編解碼。依存描述可以包括位於不同區域的視訊內容的區域依存、用於不同頻寬的視訊內容的頻寬依存和不同圖像尺寸的視訊內容的圖像尺寸依存。傳輸系統150被配置為存儲描述檔、用於視訊內容的段流以及其他合適的媒體資料。此外，渲染系統160可以下載描述檔，並基於空間要求(例如，用於圖像生成的感興趣區域)和空間資訊，例如基於投影的空間關係描述、依存描述等，來確定一個或者多個段流。進一步地，渲染系統160可以從一個或者多個段流中選擇段，並請求來自於傳輸系統150的已選擇的段。當渲染系統160接收已選擇的段，渲染系統160可以基於已選擇的段生成感興趣區域的圖像。
使用任何合適的技術可以實作源系統110。在一個示例中，在一個設備封裝中組裝源系統110的元件。在另一個示例中，源系統110是一個分散式系統，源系統110的元件可以被設置在不同位置，並適當耦接在一起，例如，通過有線連接和/或無線連接。
在第1圖的示例中，源系統110包括耦接在一起的獲取設備112、處理電路120(例如，包括影像處理電路、音訊處理電路等)、記憶體115以及介面電路111。
獲取設備112用於獲取各種媒體資料，如三維環境的圖像、視訊、聲音等。獲取設備112可以具有任何適當的配置。在一個示例中，獲取設備112包括具有多個攝像機的攝像設備(未示出)，如具有兩個魚眼(fisheye)攝像機的成像系統、具有四個攝像機的四面體成像系統、具有六個攝像機的立體成像系統、具有八個攝像機的八面成像系統、具有二十個攝像機的二十面成像系統等，其用於拍攝環繞空間內的各個方向的圖像和/或視訊。
在一個實施例中，由多個攝像機拍攝的圖像和/或視訊是重疊的，且可以被縫合(stitch)，以提供比單個攝像機更大覆蓋的環繞空間。在一個示例中，由多個攝像機拍攝的圖像和/或視訊可以提供整個環繞空間的360°球面覆蓋。應注意，由多個攝像機拍攝的圖像和/或視訊可以提供小於360°球面覆蓋的環繞空間。
可以適當地將獲取設備112所獲取的媒體資料進行存儲或者緩存，例如，在記憶體115內。處理電路120可以 訪問記憶體115、處理媒體資料以及以合適的格式封裝媒體資料。然後，將已封裝的媒體資料進行存儲或者緩存，例如，在記憶體115內。
在一個實施例中，處理電路120包括音訊處理路徑，其用於處理音訊資料，並且包括圖像/視訊處理路徑，其用於處理圖像/視訊資料。處理電路120然後根據合適的格式用中繼資料(metadata)對音訊、圖像和視訊資料進行封裝。
在一個示例中，在圖像/視訊處理路徑上，處理電路120可以將由不同攝像機拍攝的多個圖像縫合在一起，以形成一個已縫合的圖像，例如全向(omnidirectional)圖像等。然後，處理電路120可以根據合適的二維平面投影(project)全向圖像，以將全向圖像轉換成使用二維編碼技術可以編碼的二維圖像。然後處理電路120可以適當地編碼圖像和/或圖像流。
根據本發明的一方面，處理電路120可以根據不同投影技術將球面的全向圖像投影到二維平面內的二維圖像，且不同投影技術使得二維平面內二維圖像具有不同的與投影技術相關的空間關係特徵。因此，在一個實施例中，基於投影來描述空間關係。在一個示例中，基於投影的空間關係描述(projection based SRD，P-SRD)使用與不同的投影相關的不同空間描述技術。此外，在一個示例中，基於投影的空間關係描述用於反向相容(back-compatible)通用的二維空間關係描述，其用於沒有投影的二維圖像。
應注意，處理電路120可以根據任一合適的投影 技術投影全向圖像。在一個實施例中，處理電路120可以使用等角投影(equirectangular projection，ERP)投影全向圖像。等角投影以一種與將地球表面投影到地圖上的方式相似的方式將球面(sphere surface)，例如全向圖像，投影到二維平面，例如2D圖像。在一個示例中，球面(例如地球表面)使用偏航(yaw)(例如經度)和俯仰(pitch)(例如緯度)的球面坐標系統，並且二維平面使用XY坐標系統。在投影過程中，將偏航圈(yaw circle)轉換為垂直線，將俯仰圈(pitch circle)轉換為水平線，偏航圈和俯仰圈在球面坐標系統中是正交的，垂直線和水平線在XY坐標系統中是正交的。
在等角投影的實施例中，在等角投影過程中，圖案在水準方向(沿著緯度方向)上進行變形(deform)(例如，拉伸)，並基於緯度使用不同的度進行變形。等角投影可以保持空間連續性(spatial continuity)，這樣在球面上的相鄰物體在二維平面內也是相鄰物體。在一個實施例中，偏航和俯仰(例如，沿著經度和緯度)可以用於識別出二維平面內的位置。
在另一個實施例中，處理電路120可以將全向圖像投影到多面體(platonic solid)的面，例如，四面體、立方體、八面體、二十面體等。可以分別重新排列已投影的面，例如旋轉、重新定位(relocated)，以在矩形平面內形成2D圖像。然後編碼該2D圖像。
根據本發明的一方面，多面體投影會破壞球面內的空間連續性，球面內的相鄰物體在二維平面內可能不是相鄰物體。在一些實施例中，添加虛擬面(dummy face)，並且這 些虛擬面不具有圖像資訊或者具有更少圖像資訊。在一個示例中，由於投影過程中面的重新排列，相鄰面之間可以存在或者不存在空間關係，例如相似性、依存性等。非相鄰面可能具有空間關係，例如，相似性、依存性等。在一個實施例中，面索引用於定位用於多面體投影的二維平面內區域的位置。
應注意，在一個實施例中，由除了處理電路120之外的元件來執行該投影操作。在一個示例中，可以將不同攝像機所拍攝的圖像排列在二維平面內，以形成2D圖像。也應注意，在一個實施例中，處理電路120可以編碼由不同攝像機拍攝的多個圖像，並且對多個圖像不執行縫合操作和/或投影操作。
也應注意，處理電路120可以使用任一合適的格式封裝媒體資料。在一個示例中，以單軌道(single track)封裝媒體數據。例如，等角投影將球面投影到二維平面，單軌道可以包括二維平面的一個矩形圖像流。
在另一示例中，以多個軌道封裝媒體資料。在一個示例中，等角投影將球面投影到二維平面，二維平面被劃分成多個子圖像區域。一個軌道包括一個或者多個子圖像區域的圖像流。在另一示例中，一個軌道可以包括來自於一個或者多個攝像機的圖像流。在另一示例中，一個軌道可以包括多面體的一個或者多個投影面的圖像流。
根據本發明的一方面，處理電路120用於基於各種媒體特徵生成來自於媒體資料的段流，例如時間週期、空間特徵、媒體類型、語言、編碼方案等。進一步地，處理電路120 用於生成目錄(catalog)，例如媒體展現描述檔等。目錄包括段流的媒體特徵，並可以協助一個渲染系統，例如渲染系統160，以請求段序列(sequence of segments)。
在一個實施例中，媒體展現描述檔使用基於投影的空間關係描述來描述二維平面內不同視訊覆蓋。在一個示例中，基於投影的空間關係描述用於描述不同投影的視訊覆蓋，並且反向相容不使用投影的二維視訊處理。此外，在一個實施例中，媒體展現描述檔包括依存描述，以輔助視訊編解碼。
在第1圖的示例中，處理電路120包括MPD生成模組130，其用於生成包含段流的媒體特徵的媒體展現描述檔，媒體特徵包括空間特徵。媒體展現描述檔可以由一個渲染系統使用，如渲染系統160，以為了滿足客戶和環境要求來選擇段，例如，感興趣區域、語言、網路頻寬、使用者喜好等。
具體地，在一個實施例中，處理電路120可以生成用於視訊內容的適應集(adaptation set)，並生成視訊內容的替代表示(alternative representation)。在一個示例中，視訊內容是用於球面的，並且球面被投影以生成二維平面內的視訊內容，二維平面內的視訊內容可以被劃分成具有相同尺寸或者不同尺寸的子圖像(sub-picture，也可以用作sub-pic)區域。應注意，可以使用任何將球面投影或者映射到二維平面的合適的投影或者映射，例如，等角投影、多面體投影等。
根據本發明的一方面，基於投影的空間關係描述可以用於發信位於各種層的空間特徵(例如，位置、依存等)，例如，在運動圖像專家組(Moving Picture Experts Group， MPEG)DASH(Dynamic Adaptive Streaming over HTTP,DASH)，中的適應集層(adaptation set level)、展示層(representation level)、子展示層(sub-representation level)等。
在一個實施例中，媒體展現描述檔包括用於視訊的多個適應集。多個適應集分別用於多個子圖像區域，例如，用於第一區域的第一適應集、用於第二區域的第二適應集等。子圖像區域可以是二維平面的分割，可以是二維平面中的面，以及可以是二維平面的多個解析度分割(resolution partition)。在本實施例中，基於投影的空間關係描述可以用於發信位於適應集層處的子圖像區域的空間特徵(例如，位置、依存等)
在另一個實施例中，媒體展現描述檔包括用於視訊的適應集。適應集包括用於各自子圖像區域的多個表示集，例如用於第一區域的第一替代表示集(first set of alternative representation)、用於第二區域的第二替代表示集等。一個表示法(a representation)對應於具有用於連續時隙(time slot)的多個段的一個段流。在一個示例中，替代表示(alternative representations)具有不同的視訊品質，例如，不同的解析度，不同的視訊品質適合於不同的頻寬、不同的位元速率等。在本實施例中，基於投影的空間關係描述可以用於發信位於展示層處的子圖像區域的空間特徵(例如，位置、依存等)。
在另一個實施例中，媒體展現描述檔包括用於視訊的適應集。適應集包括具有不同品質的多個表示集，例如，第一品質的第一表示集、第二品質的第二表示集、第三品質的 第三表示集等。進一步地，表示包括分別用於多個子圖像區域的多個子表示。例如，第一表示包括用於第一區域的第一子表示，和用於第二區域的第二子表示。在本實施例中，基於投影的空間關係描述可以用於發信位於子表示集處的子圖像區域的空間特徵(例如，位置、依存等)。
將結合第2-3圖以及第8-16圖討論各種形式的媒體展現描述檔。
在一個實施例中，使用一個或者多個處理器來實作處理電路120，且一個或者多個處理器用於執行軟體指令來執行媒體資料處理。在另一個實施例中，使用積體電路來實作處理電路120。
在第1圖的示例中，通過介面電路111將段流和媒體展現描述檔提供給傳輸系統150。傳輸系統150用於適當地提供媒體資料給客戶設備，例如渲染系統160。在第1圖的示例中，傳輸系統150包括具有記憶體141的超文字傳輸協定(hypertext transfer protocol，HTTP)伺服器140。記憶體141存儲媒體展現描述檔142和多個段143。媒體展現描述檔142包括用於多個段143的各自位址(例如，URL位址)。在第1圖的示例中，媒體展現描述檔142使用基於投影的空間關係描述以描述空間特徵。超文字傳輸協定伺服器140用於根據HTTP協定提供多個段給渲染系統，例如渲染系統160。傳輸系統150的元件通過有線和/或無線連接適當地耦接在一起。傳輸系統150通過有線和/或無線連接適當地與源系統110和渲染系統160耦接。
可以使用任何適當的技術來實作渲染系統160。在一個示例中，在一個設備封裝中集成渲染系統160的元件。在另一個示例中，渲染系統160是一種分散式系統，源系統110的元件可以位於不同位置，並通過有線連接和/或無線連接適當地耦接在一起。
在第1圖的示例中，渲染系統160包括耦接在一起的介面電路161、處理電路170和顯示裝置165。介面電路161用於發送消息至傳輸系統150，例如請求消息等，以請求媒體資料，並用於接收來自於傳輸系統150的媒體資料的消息，例如媒體展現描述檔142、多個段等。
處理電路170用於處理媒體資料並生成圖像，以讓顯示裝置165展現給一個或者多個用戶。顯示裝置165可以是任何適合的顯示器，例如電視機、智慧手機、穿戴設備、頭戴式(head-mounted)設備等。
根據本發明的一方面，處理電路170用於使得介面電路161請求媒體展現描述檔並處理媒體展現描述檔。進一步地，處理電路170可以確定客戶要求和環境要求，例如感興趣區域、語言、網路頻寬、使用者喜好等。在一個示例中，處理電路170可以檢測感興趣區域。例如，處理電路170基於頭戴式設備的位置確定感興趣區域。基於感興趣區域，處理電路170可以確定空間要求。處理電路170可以確定其他要求，例如，位元速率要求。在一個示例中，處理電路170可以檢測網路狀態。例如，處理電路170可以監測一個用於緩存傳輸系統150所提供的多個段流的暫存器(未示出)，以檢測網路狀態。 在一個示例中，基於網路狀態，處理電路170可以確定位元速率要求。
進一步地，根據本發明的一方面，處理電路170可以基於媒體展現描述檔確定視訊內容的一個或者多個段流，以滿足空間要求以及其他合適的要求，例如，位元速率要求。處理電路170然後可以在確定的多個段流中選擇多個段，並使得介面電路161基於媒體展現描述檔中的選擇的多個段的位址請求來自於超文字傳輸協定伺服器140的選擇的多個段。
應注意，處理電路170可以確定其他媒體資料的多個段流，例如音訊等，從其他媒體資料的所確定的多個段流中選擇多個段，並使得介面電路161請求來自於超文字傳輸協定伺服器140的選擇的多個段。
在一個實施例中，當通過介面電路161接收媒體資料的請求的多個段，處理電路170可以處理多個段。例如，處理電路170可以解碼視訊內容的多個段，並相應地生成多個圖像。顯示裝置165可以將所生成的多個圖像展現給一個或者多個用戶。
在一個示例中，處理電路170包括MPD處理模組180和圖像生成模組190。例如，MPD處理模組180用於處理媒體展現描述檔，基於媒體展現描述檔中的空間資訊確定視訊內容的一個或者多個段流，在所確定的段流中選擇多個段，提取所選擇的多個段的位址(例如，URL位址)，以及使用位址來請求來自於超文字傳輸協定伺服器140的多個段。圖像生成模組190用於基於所接收的多個段生成感興趣區域的多個圖 像。MPD處理模組180和圖像生成模組190可以被實作為處理器，其執行軟體指令，並可以被實作為積體電路。
在一個實施例中，MPD處理模組180處理媒體展現描述檔，提取基於投影的空間關係描述，解析基於投影的空間關係描述，並判斷媒體展現描述檔是否用於使用投影將球面的全向圖像投影到二維平面內的二維圖像的全向視訊。當媒體展現描述檔用於全向視訊時，MPD處理模組180基於基於投影的空間關係描述確定投影的類型，並進一步基於投影的類型處理基於投影的空間關係描述。在一個示例中，MPD處理模組180可以提取用於多個段流的空間資訊，並且可以提取多個段流的依存資訊。基於多個段流的空間資訊和依存資訊，處理電路170可以選擇一個或者多個段流，並進一步選擇的段以請求。
第2圖示出了根據本發明實施例的媒體表示200的示例。在一個示例中，MPD生成模組130用於基於媒體表示200生成媒體展現描述檔，記憶體141用於存儲媒體展現描述檔，MPD處理模組180用於處理媒體展現描述檔。
在第2圖的示例中，媒體表示200表示多個結構，以排列媒體內容的已編碼的媒體資料。在第2圖的示例中，媒體內容是根據時間來劃分(sliced)的，媒體表示200包括一個或者多個週期的序列，例如媒體內容的第一週期201(例如，週期1)、媒體內容的第二週期210(例如，週期2)等。每個週期對應於一個時間間隔。在一個示例中，週期的序列是連續且非重疊的。例如，第一週期201從0秒處開始，並持續100秒，第二週期210從第100秒處開始，並持續195秒等。
進一步地，在第2圖的示例中，一個週期的媒體內容包括對應於不同媒體元件的多個適應集。例如，第二週期210包括視訊元件的第一適應集220、音訊元件或視訊元件的第二適應集221等。
在一個實施例中，第一適應集220和第二適應集221對應於空域內具有不同覆蓋的視訊元件。第一適應集220和第二適應集221均是用於子圖像區域的部分，並在用於子圖像區域的部分中分別包括地理資訊。例如，第一適應集220包括用於第一子圖像區域的一個或者多個表示，第二適應集221包括用於第二子圖像區域的一個或者多個表示，其中第二子圖像區域與第一子圖像區域不相同。當第二適應集221對應于視訊元件時，相似地，第二適應集221的配置方式與第一適應集220的配置方式相似。在本實施例中，基於投影的空間關係描述可以用於發信位於適應集層處的子圖像區域的空間特徵(例如，位置、依存等)。
進一步地，在第2圖的示例中，一個適應集包括用於媒體元件的一個或者多個表示。表示可以具有空間差異和/或其他差異(例如，品質)。例如，第一適應集220包括視訊內容的一個或者多個表示，例如具有空域上的不同覆蓋和/或其他差異的第一表示230、第二表示250等。在一個示例中，第一表示230和第二表示250是同一視訊內容的替代表示。第一表示230和第二表示250可以在空域上具有不同的覆蓋(例如，區域覆蓋、品質覆蓋)。在一個示例中，在第二週期210內的某個時間，可以選擇第一表示230和第二表示250中的一 個。
在第2圖的示例中，一個表示對應于一個段流。在媒體展現描述檔中，一個表示包括用於段流的特定資訊。在本實施例中，基於投影的空間關係描述可用于發信位於展示層處的子圖像區域的空間特徵(例如，位置、依存等)。例如，第一表示230包括為基於投影的空間關係描述的基於投影的空間關係描述231，以發信空間特徵，例如區域覆蓋等。在一個示例中，基於投影的空間關係描述231可以由渲染系統來使用，例如渲染系統160，以確定第一段流是否滿足空間要求。第一表示230也包括用於第一段流的段資訊240。同理，第二表示250包括基於投影的空間關係描述251和段資訊260。
在一個示例中，當兩個或者以上表示對應於相同區域，例如其具有不同品質，媒體展現描述檔可以包括位於展示層之上的區域部分，並包括位於區域部分處的基於投影的空間關係描述的複製本，例如，在第2圖的示例中的基於投影的空間關係描述225。
在第2圖的示例中，段資訊240包括段初始化資訊271、第一段流內的用於第一段的第一段資訊272、第一段流內的用於第二段的第二段資訊273等。第一段資訊272包括第一段的計時資訊和位址，如用於第一段的URL位址。在一個示例中，計時資訊表示第一週期201內的子時間間隔。例如，計時資訊可以由渲染系統160來使用，以在確定的段流內選擇多個段。位址由渲染系統160來使用，以請求來自於超文字傳輸協定伺服器140的選擇的多個段。
第3圖示出了根據本發明實施例的媒體表示300的示例。在一個示例中，MPD生成模組130用於基於媒體表示300生成媒體展現描述檔，記憶體141用於存儲媒體展現描述檔，MPD處理模組180用於處理媒體展現描述檔。
媒體表示300包括與媒體表示200相似的多個結構。上面已經提供了這些結構的說明，為了簡潔，此處將省略。但是，媒體表示300內的第一適應集320具有與媒體表示200內的第一適應集220不相同的結構。
具體地，第一適應集320對應於一個表面的視訊內容，例如球面、二維平面等。表面被劃分成重疊或者非重疊的多個子圖像區域。第一適應集320包括在空域中具有不同覆蓋的多個表示，例如，第一表示330、第二表示350等。
進一步地，每個表示包括用於子圖像區域的子表示。例如，第一表示330包括用於不同子圖像區域的子表示1.1和子表示1.2，第二表示350包括用於不同子圖像區域的子表示2.1和子表示2.2。在本實施例中，基於投影的空間關係描述可以用於發信位於子展示層處的子圖像區域的空間特徵(例如，位置、依存等)。
第4圖示出了根據本發明實施例的動態適應流的示例的示意圖400。在一個示例中，渲染系統160根據示意圖400請求並接收視訊內容的流。
示意圖400示出了在空域內具有不同覆蓋的視訊內容的用於第一段流410的第一表示、第二段流420的第二表示和第三段流430的第三表示。在一個示例中，第一段流410 具有第一解析度，其是相對較低的解析度，且第一段流410覆蓋第一區域，其是相對較大的區域(例如，整個平面)。第二段流420具有第二解析度，且第二段流420覆蓋第二區域。第三段流430具有第二解析度，且第三段流430覆蓋第三區域。在一個示例中，第二解析度比第一解析度高。在一個示例中，媒體展現描述檔，例如第11圖中的媒體展現描述檔，用於描述第一段流410、第二段流420和第三段流430的資訊。例如，在第11圖的示例中，第一段流410對應於區域1，第二段流420對應於區域2，第三段流430對應於區域3。
在第4圖的示例中，第一段流410包括多個第一段(第一段R1-S1到第一段R1-S6)，第二段流420包括多個第二段(第二段R2-S1到第二段R2-S4)，並且第三段流430包括多個第三段(第三段R3-S1到第三段R3-S4)。
在操作期間，在一個示例中，渲染系統160接收媒體展現描述檔，例如，第11圖中的媒體展現描述檔。媒體展現描述檔包括用於區域1的基於投影的空間關係描述(例如，基於投影的空間關係描述P-SRD-1)、用於區域2的基於投影的空間關係描述(例如，基於投影的空間關係描述P-SRD-2)和用於區域3的基於投影的空間關係描述(例如，基於投影的空間關係描述P-SRD-3)。在本示例中，開始時，渲染系統160請求並接收第一段流410內的段，例如R1-S1、R1-S2。第一段流410內的段具有較低位元速率，並佔用相對較低的頻寬。基於第一段流410內的段而生成的圖像具有相對較低的解析度。
隨後，渲染系統160檢測更高頻寬是可用的。渲染系統160檢測到感興趣區域是在第二子圖像區域內。因此，基於基於投影的空間關係描述P-SRD-2，渲染系統160選擇第二段流420，然後請求並接收第二段流420內的段，例如R2-S2，並且，基於例如段R2-S2生成圖像。進一步地，渲染系統160檢測到感興趣區域從第二子圖像區域到第三子圖像區域的變化，這樣基於基於投影的空間關係描述P-SRD-3，渲染系統160重新選擇第三段流430，然後請求並接收第三段流430內的段，例如R3-S3，並且，基於例如段R3-S3生成圖像。
第5圖示出了根據本發明實施例的一種處理示例500的流程圖。在一個示例中，根據本發明實施例，由渲染系統160執行處理500。從S501處開始，並繼續到S510。
在S510中，下載媒體展現描述檔。在一個示例中，渲染系統160從超文字傳輸協定伺服器140中下載媒體展現描述檔142。
在S520中，解析媒體展現描述檔，並且提取各種資訊，例如空間特徵資訊。在一示例中，渲染系統160提取用於子圖像區域的基於投影的空間關係描述、依存資訊等。
在S530中，確定空間要求(例如感興趣區域)和其他要求，例如位元速率要求。在一個示例中，渲染系統160確定初始位元速率和初始感興趣區域。
在S540中，確定滿足空間要求和其他要求的一個或者多個段流。在一個示例中，基於子圖像區域的基於投影的空間關係描述和依存資訊，渲染系統160選擇具有滿足空間要 求的地理資訊的一個或者多個子圖像區域。然後渲染系統160選擇用於所選擇的子圖像區域的多個表示中的一個，其滿足位元速率要求。所選擇的表示對應于段流，並包括段流內的段的段資訊(例如，計時資訊、URL位址資訊)。
在S550中，從所確定的段流中選擇段。在一個示例中，渲染系統160基於時間選擇段。
在S560中，下載所選擇的段。在一個示例中，渲染系統160基於所選擇的段的URL位址從超文字傳輸協定伺服器140中下載所選擇的段。隨後，基於下載的段生成圖像。
在S570中，當一個或者多個要求更新後，處理返回到S540，以基於更新後的要求確定段流；否則處理返回到S550，以從所確定的段流中選擇段。在一個示例中，渲染系統160檢測網路通信狀態內的變化，並更新位元速率要求，這樣，處理返回到S540。在另一示例中，渲染系統160檢測感興趣區域內的變化，並更新空間要求，這樣處理返回到S540。在另一示例中，渲染系統160更新時間週期，並且處理返回到S540。
第6圖示出了描述根據本發明實施例的等角投影的繪圖600。繪圖600示出了具有球面610的球體611。球面610(例如，地球表面)使用偏航角(yaw)(例如經度方向)和俯仰角(pitch)(例如緯度方向)的球面坐標系統。在第6圖的示例中，球面610上的區域605的邊界線是由偏航圈620(例如經度線)和俯仰圈630(例如緯度線)形成的。
進一步地，第6圖示出了從球面640到二維平面 670的等角投影。在本示例中，球面640使用偏航和俯仰的球面坐標系統。在本示例中，使用偏航圈(例如，偏航圈651、偏航圈652)和俯仰圈(例如，俯仰圈661、俯仰圈662)來參考球面640。二維平面670使用XY坐標系統，並使用垂直線和水平線來參考。在第6圖的示例中，X軸對應于經度，Y軸對應於緯度。
等角投影以與將地球表面投影到地圖的方式相似的方式將球面投影到二維平面。在投影過程中，偏航圈被轉換成垂直線，俯仰圈被轉換成水平線，偏航圈和俯仰圈在球面坐標系統中是正交的，並且，垂直線和水平線在XY坐標系統中是正交的。因此，球面被投影成二維平面670內的矩形。在一個示例中，矩形內的點具有位於[0,360]範圍的偏航座標，以及位於[-90,90]範圍的俯仰座標。
在第6圖的示例中，球面640上的感興趣區域645被投影到二維平面670上的感興趣區域675。在第6圖的示例中，球面640上的感興趣區域645的邊界線為偏航圈651-652和俯仰圈661-662。偏航圈651-652被投影到二維平面670，作為垂直線681-682，俯仰圈661-662被投影到二維平面670，作為水平線691-692。
第7圖示出了描述根據本發明實施例的多面體投影示例的繪圖700。在第7圖的示例中，如第7圖所示，球面740被投影到立方體的面(例如，面1到面6)。這些立方體的面被排列在二維平面內，並且，在二維平面內添加虛擬面(例如，陰影面)。
第8圖示出了根據本發明實施例的在基於投影的空間關係描述中所使用的參數的表格800。表格800包括3列，為列810-列830。列810提供基於投影的空間關係描述中參數的名稱，列820提供參數的類型，且列830提供參數的描述。
在第8圖的示例中，參數GEOMETRY_TYPE用作投影標識，以標識是否使用投影且使用哪種投影。例如，當參數GEOMETRY_TYPE的值為“0”時，不使用投影，且基於投影的空間關係描述以與傳統的歐式幾何(Euclidean geometry)空間關係描述的方式相同的方式被定義。在一個示例中，傳統的歐式幾何空間關係描述使用參數OBJECT_X、參數OBJECT_Y、參數OBJECT_WIDTH和參數OBJECT_HEIGHT來定義矩形區域。在本示例中，參數OBJECT_X和參數OBJECT_Y提供角點(corner point)的座標，例如，矩形區域的左上角。參數OBJECT_WIDTH提供矩形區域的寬度，以及參數OBJECT_HEIGHT提供矩形區域的高度。
此外，當參數GEOMETRY_TYPE的值為“1”時，使用等角投影，並且基於投影的空間關係描述使用球面幾何坐標系統。在第8圖的示例中，當參數GEOMETRY_TYPE的值為“1”時，參數REGION_YAW_MIN、參數REGION_YAW_MAX、參數REGION_PITCH_MIN和參數REGION_PITCH_MAX用於定義矩形區域。參數REGION_YAW_MIN提供矩形區域的最小偏航值，參數REGION_YAW_MAX提供矩形區域的最大偏航值，參數REGION_PITCH_MIN提供矩形區域的最小俯仰值，以及 REGION_PITCH_MAX提供矩形區域的最大俯仰值。應注意，其他參數集可以用於定義矩形區域。例如，通過角點的偏航值和俯仰值，在偏航的寬度，以及在俯仰的高度，矩形區域可以被定義。
在第8圖的示例中，當參數GEOMETRY_TYPE的值為“1”時，基於投影的空間關係描述可以包括多個可選的參數，例如參數TOTAL_YAW_MIN、參數TOTAL_YAW_MAX、參數TOTAL_PITCH_MIN和參數TOTAL_PITCH_MAX。例如，當全向圖像小於360°時，參數TOTAL_YAW_MIN、參數TOTAL_YAW_MAX、參數TOTAL_PITCH_MIN和參數TOTAL_PITCH_MAX可以用於提供全向圖像的尺寸。
此外，當參數GEOMETRY_TYPE的值為“2”時，使用多面體投影，並且基於投影的空間關係描述使用面索引(face index)系統。在第8圖的示例中，當參數GEOMETRY_TYPE的值為“2”時，參數REGION_FACE和參數TOTAL_FACE用於定義區域，其為多面體的面。參數TOTAL_FACE提供用於多面體的面數，參數REGION_FACE提供面的索引。
第9圖示出根據本發明實施例的在適應集層處使用基於投影的空間關係描述的媒體展現描述檔930以提供空間資訊的示例。
在第9圖的示例中，根據等角投影，球面910的視訊內容被投影到二維平面920內的矩形。二維平面920內的矩形被劃分成四個區域，區域1到區域4。媒體展現描述檔930 提供用於二維平面920內視訊內容的描述，並使用基於投影的空間關係描述來提供空間資訊。
媒體展現描述檔930包括對應於多個區域的多個適應集，並且包括在適應集層處的基於投影的空間關係描述，以提供用於多個區域的空間資訊。例如，基於投影的空間關係描述，在適應集層處的值931提供用於區域1的空間資訊，在適應集層處的值934提供用於區域4的空間資訊。
在一個示例中，處理電路170可以解析媒體展現描述檔930，以提取用於區域1的值931。進一步，處理電路170可以解析值931以確定區域1的空間資訊。例如，處理電路170確定參數SOURCE_ID的值為“0”，以及參數GEOMETRY_TYPE的值為“1”。這樣，處理電路170確定使用等角投影，且使用球面幾何坐標系統來定義區域1，例如，使用參數REGION_YAW_MIN、參數REGION_YAW_MAX、參數REGION_PITCH_MIN和參數REGION_PITCH_MAX。隨後，根據值931，處理電路170確定參數REGION_YAW_MIN的值為“0”，參數REGION_YAW_MAX的值為“180”，參數REGION_PITCH_MIN的值為“0”，以及參數REGION_PITCH_MAX的值為“90”。
相似地，根據值934，處理電路170確定用於區域4的參數REGION_YAW_MIN的值為“180”，參數REGION_YAW_MAX的值為“360”，參數REGION_PITCH_MIN的值為“-90”，以及參數REGION_PITCH_MAX的值為“0”。
第10圖示出根據本發明實施例的在適應集層處使 用基於投影的空間關係描述的媒體展現描述檔1030以提供空間資訊的示例1000。
在第10圖的示例中，球面的視訊內容被投影到立方體的面1-面6。面1到面6被重新排列成二維平面1020。媒體展現描述檔1030提供用於二維平面1020內視訊內容的描述，並使用基於投影的空間關係描述來提供空間資訊。
媒體展現描述檔1030包括對應於多個區域的多個適應集，例如第10圖的示例中的多個面，並且包括在適應集層處的基於投影的空間關係描述，以提供用於多個區域的空間資訊。例如，基於投影的空間關係描述，在適應集層處的值1031提供用於面1的空間資訊，在適應集層處的值1036提供用於面6的空間資訊。
在一個示例中，處理電路170可以解析媒體展現描述檔1030，以提取用於面1的值1031。進一步，處理電路170可以解析值1031以確定用於面1的空間資訊。例如，處理電路170確定參數SOURCE_ID的值為“0”，以及參數GEOMETRY_TYPE的值為“2”。這樣，處理電路170確定使用多面體投影，且使用球面幾何坐標系統來定義面1，例如，使用參數REGION_FACE和參數TOTAL_FACE。隨後，根據值1031，處理電路170確定參數REGION_FACE的值為“1”，參數TOTAL_FACE的值為“6”，其表示立方體投影。
相似地，根據值1036，處理電路170確定用於面6的參數TOTAL_FACE的值為“6”。
第11圖示出根據本發明實施例的在適應集層處使 用基於投影的空間關係描述的媒體展現描述檔1140以提供空間資訊的示例。
在第11圖的示例中，根據等角投影，球面的視訊內容被投影到二維平面。二維平面內的視訊內容被處理，例如，向下採樣(down-sample)，以產生多個解析度幀，例如480x270圖元的第一矩形資訊框(first rectangular frame)1110，960x540圖元的第二矩形資訊框1120和1920x1080圖元的第三矩形資訊框1130。在一個示例中，這些矩形資訊框被分割成多個區域，以具有相同數量的圖元。在第11圖的示例中，第一矩形資訊框1110被分割成區域1，第二矩形資訊框1120被分割成區域2-區域5，第三矩形資訊框1130被分割成區域6-區域21。媒體展現描述檔1140提供用於這些矩形資訊框1110-矩形資訊框1130內的視訊內容的描述，並使用基於投影的空間關係描述來提供空間資訊。
媒體展現描述檔1140包括對應於多個區域的多個適應集，並且包括在適應集層處的基於投影的空間關係描述，以提供用於多個區域的空間資訊。例如，基於基於投影的空間關係描述，在適應集層處的值1141提供用於區域1的空間資訊，在適應集層處的值1142提供用於區域2的空間資訊，在適應集層處的值1146提供用於區域6的空間資訊，並且，在適應集層處的值1161提供用於區域21的空間資訊。
在一個示例中，處理電路170可以解析媒體展現描述檔1140，以提取用於區域1的值1141。進一步，處理電路170可以解析值1141以確定區域1的空間資訊。例如，處 理電路170確定參數SOURCE_ID的值為“0”，以及參數GEOMETRY_TYPE的值為“1”。這樣，處理電路170確定使用等角投影，且使用球面幾何坐標系統來定義區域1，例如，使用參數REGION_YAW_MIN、參數REGION_YAW_MAX、參數REGION_PITCH_MIN和參數REGION_PITCH_MAX。隨後，根據值1141，處理電路170確定參數REGION_YAW_MIN的值為“0”，參數REGION_YAW_MAX的值為“360”，參數REGION_PITCH_MIN的值為“-90”，以及參數REGION_PITCH_MAX的值為“90”。
進一步地，處理電路170確定可選的參數TOTAL_YAW_MIN、參數TOTAL_YAW_MAX、參數TOTAL_PITCH_MIN和參數TOTAL_PITCH_MAX被用在值1141中。隨後，根據值1141，處理電路170確定參數TOTAL_YAW_MIN的值為“0”，參數TOTAL_YAW_MAX的值為“360”，參數TOTAL_PITCH_MIN的值為“-90”，以及參數TOTAL_PITCH_MAX的值為“90”。
相似地，根據值1142，處理電路170確定用於區域2的參數REGION_YAW_MIN的值為“0”，參數REGION_YAW_MA的值為“180”，參數REGION_PITCH_MIN的值為“0”，參數REGION_PITCH_MAX的值為“90”，參數TOTAL_YAW_MIN的值為“0”，參數TOTAL_YAW_MAX的值為“360”，參數TOTAL_PITCH_MIN的值為“-90”，以及參數TOTAL_PITCH_MAX的值為“90”。
相似地，根據值1146，處理電路170確定用於區 域6的參數REGION_YAW_MIN的值為“0”，參數REGION_YAW_MA的值為“90”，參數REGION_PITCH_MIN的值為“45”，參數REGION_PITCH_MAX的值為“90”，參數TOTAL_YAW_MIN的值為“0”，參數TOTAL_YAW_MAX的值為“360”，參數TOTAL_PITCH_MIN的值為“-90”，以及參數TOTAL_PITCH_MAX的值為“90”。
相似地，根據值1161，處理電路170確定用於區域21的參數REGION_YAW_MIN的值為“270”，參數REGION_YAW_MA的值為“360”，參數REGION_PITCH_MIN的值為“-90”，參數REGION_PITCH_MAX的值為“-45”，參數TOTAL_YAW_MIN的值為“0”，參數TOTAL_YAW_MAX的值為“360”，參數TOTAL_PITCH_MIN的值為“-90”，以及參數TOTAL_PITCH_MAX的值為“90”。
在一個示例中，處理電路170可以確定合適的段流，以基於媒體展現描述檔中的基於投影的空間關係描述和其他資訊進行請求以滿足空間要求和其他要求。例如，處理電路170確定感興趣區域(矩形資訊框1110、矩形資訊框1120和矩形資訊框1130中的黑色矩形)。隨後，根據解析度要求，處理電路170可以選擇區域1的段流，或者區域3的段流，或者區域8和區域12的段流。
第12圖示出根據本發明實施例的在展示層處使用基於投影的空間關係描述的媒體展現描述檔1230以提供空間資訊的示例。
在第12圖的示例中，根據等角投影，球面1210 的視訊內容被投影到二維平面1220內的矩形。二維平面1220內的矩形被劃分成四個區域，區域1到區域4。媒體展現描述檔1230提供用於二維平面1220內視訊內容的描述，並使用基於投影的空間關係描述來提供空間資訊。
媒體展現描述檔1230包括用於視訊內容的適應集。適應集包括多個表示。多個表示根據區域而被分組。例如，用於區域1的表示被分組在一起，用於區域4的表示被分組在一起。在第12圖的示例中，用於區域的表示是用於不同頻寬的替代表示。用於區域的一組表示包括在展示層處的基於投影的空間關係描述，以提供用於多個區域的空間資訊。例如，基於基於投影的空間關係描述，在展示層處的值1231提供用於區域1的空間資訊，在展示層處的值1234提供用於區域4的空間資訊。
在一個示例中，處理電路170可以解析媒體展現描述檔1230，以提取用於位於展示層處的區域1的值1231。進一步，處理電路170可以解析值1231以確定區域1的表示集的空間資訊。例如，處理電路170確定參數SOURCE_ID的值為“0”，以及參數GEOMETRY_TYPE的值為“1”。這樣，處理電路170確定使用等角投影，且使用球面幾何坐標系統來定義區域1，例如，使用參數REGION_YAW_MIN、參數REGION_YAW_MAX、參數REGION_PITCH_MIN和參數REGION_PITCH_MAX。隨後，根據值1231，處理電路170確定參數REGION_YAW_MIN的值為“0”，參數REGION_YAW_MAX的值為“180”，參數REGION_PITCH_MIN 的值為“0”，以及參數REGION_PITCH_MAX的值為“90”。
相似地，根據值1234，處理電路170確定用於區域4的參數REGION_YAW_MIN的值為“180”，參數REGION_YAW_MAX的值為“360”，參數REGION_PITCH_MIN的值為“-90”，以及參數REGION_PITCH_MAX的值為“0”。
應注意，媒體展現描述檔1230可以被適當地修改，以提供用於位於展示層處的多面體投影示例的空間資訊，並且可以被適當地修改以提供用於位於展示層處的多解析度和多分割示例的空間資訊。
第13圖示出根據本發明實施例的在展示層處使用基於投影的空間關係描述的媒體展現描述檔1330以提供空間資訊的示例。
在第13圖的示例中，根據等角投影，球面1310的視訊內容被投影到二維平面1320內的矩形。二維平面1320內的矩形被劃分成四個區域，區域1到區域4。媒體展現描述檔1330提供用於二維平面1320內視訊內容的描述，並使用基於投影的空間關係描述來提供空間資訊。
媒體展現描述檔1330包括用於視訊內容的適應集。適應集包括視訊內容的一個或者多個表示。一個表示包括對應於多個區域的多個子表示，對應於一個區域的一個子表示包括位於子展示層處的基於投影的空間關係描述，以提供用於區域的空間資訊。例如，基於基於投影的空間關係描述，在子展示層處的值1331提供用於區域1的空間資訊，在子展示層處的值1332提供用於區域2的空間資訊，在子展示層處的值 1333提供用於區域3的空間資訊，以及在展示層處的值1334提供用於區域4的空間資訊。
在一個示例中，處理電路170可以解析媒體展現描述檔1330，以提取用於區域1的值1331。進一步，處理電路170可以解析值1331以確定區域1的表示集的空間資訊。例如，處理電路170確定參數SOURCE_ID的值為“0”，以及參數GEOMETRY_TYPE的值為“1”。這樣，處理電路170確定使用等角投影，且使用球面幾何坐標系統來定義區域1，例如，使用參數REGION_YAW_MIN、參數REGION_YAW_MAX、參數REGION_PITCH_MIN和參數REGION_PITCH_MAX。隨後，根據值1331，處理電路170確定參數REGION_YAW_MIN的值為“0”，參數REGION_YAW_MAX的值為“180”，參數REGION_PITCH_MIN的值為“0”，以及參數REGION_PITCH_MAX的值為“90”。
相似地，根據值1332，處理電路170確定用於區域2的參數REGION_YAW_MIN的值為“180”，參數REGION_YAW_MAX的值為“360”，參數REGION_PITCH_MIN的值為“0”，以及參數REGION_PITCH_MAX的值為“90”。
相似地，根據值1333，處理電路170確定用於區域3的參數REGION_YAW_MIN的值為“0”，參數REGION_YAW_MAX的值為“180”，參數REGION_PITCH_MIN的值為“-90”，以及參數REGION_PITCH_MAX的值為“0”。
相似地，根據值1334，處理電路170確定用於區域4的參數REGION_YAW_MIN的值為“180”，參數 REGION_YAW_MAX的值為“360”，參數REGION_PITCH_MIN的值為“-90”，以及參數REGION_PITCH_MAX的值為“0”。
應注意，媒體展現描述檔1330可以被適當地修改，以提供用於位於子展示層處的多面體投影示例的空間資訊，並且可以被適當地修改以提供用於位於子展示層處的多解析度和多分割示例的空間資訊。
第14圖示出根據本發明實施例的具有區域依存資訊的媒體展現描述檔1400的示例。
媒體展現描述檔1400與媒體展現描述檔1230相似，其包括位於展示層處的基於投影的空間關係描述，以提供用於多個區域的空間資訊。例如，如1410所示，區域2的表示“r2_1”依存於區域1的表示“r1_1”；如1420所示，區域2的表示“r2_3”依存於區域1的表示“r1_3”；如1430所示，區域4的表示“r4_1”依存於區域3的表示“r3_1”；如1440所示，區域4的表示“r4_3”依存於區域1的表示“r3_3”。
在一個示例中，區域2的視訊內容與區域1的視訊內容相似。處理電路120計算區域2到區域1的視訊內容差值，並在用於區域2的段流中編碼視訊內容差值。例如，表示“r1_1”對應於區域1的視訊內容的段流，表示“r2_1”對應於區域2到區域1的視訊內容差值的段流。處理電路120包含媒體展現描述檔1400中的區域依存資訊。
在本示例中，處理電路170處理媒體展現描述檔1400，提取區域依存資訊，並且在視訊渲染過程中使用區域依存資訊。例如，當感興趣區域位於區域2內時，由於表示“r2_1” 到表示“r1_1”的依存關係，處理電路170可以選擇對應於表示“r2_1”到表示“r1_1”的段流中的兩個，並在這兩個段流中請求段。隨後，處理電路170可以基於區域1內的視訊內容和區域2到區域1的視訊內容差值對區域2內的視訊內容進行渲染。
第15圖示出根據本發明實施例的具有頻寬依存的媒體展現描述檔1500的示例。
媒體展現描述檔1500與媒體展現描述檔1230相似，其包括位於展示層處的基於投影的空間關係描述，以提供用於多個區域的空間資訊。進一步地，媒體展現描述檔1500包括不同頻寬下相同區域的多個表示之間的頻寬依存資訊。例如，表示“r1_1”和表示“r1_3”為不同頻寬下相同區域的替代表示。如1510所示，表示“r1_3”依存於表示“r1_1”。相似地，如1520所示，區域2的表示“r2_3”依存於區域2的表示“r2_1”。如1530所示；區域3的表示“r3_3”依存於區域3的表示“r3_1”；如1540所示，區域4的表示“r4_3”依存於區域4的表示“r4_1”。
在第15圖的示例中，高頻寬的表示依存於用於相同區域的低頻寬的表示。在一個示例中，處理電路120計算用於相同區域的不同頻寬的視訊內容差值，並在用於高頻寬的段流中編碼視訊內容差值。例如，表示“r1_1”對應於低頻寬的區域1的視訊內容的段流，表示“r1_3”對應於用於區域1的高頻寬與低頻寬之間的視訊內容差值的段流。處理電路120包含媒體展現描述檔1500中的表示“r1_3”到表示“r1_1”的依存資訊。
在本示例中，處理電路170處理媒體展現描述檔 1400，提取依存資訊，並且在視訊渲染過程中使用依存資訊。例如，感興趣區域為區域1，開始時，處理電路170可以選擇對應於表示“r1_1”的段流。當更高頻寬可用時，在一個示例中，由於表示“r1_3”到表示“r1_1”的依存關係，處理電路170可選擇對應於表示“r1_3”到表示“r1_1”的段流中的兩個，並在這兩個段流中請求段。隨後，處理電路170可以基於低頻寬的視訊內容和高頻寬與低頻寬之間的視訊內容差值渲染更高品質的視訊內容。
第16圖示出根據本發明實施例的具有圖像尺寸依存的媒體展現描述檔1600的示例。
媒體展現描述檔1600與媒體展現描述檔1230相似，其包括位於展示層處的基於投影的空間關係描述，以提供用於多個區域的空間資訊。進一步地，媒體展現描述檔1600包括圖像尺寸依存資訊。例如，表示“r1_2”和表示“r1_1”為不同圖像尺寸(例如寬度)下區域1的替代表示。如1610所示，表示“r1_2”依存於表示“r1_1”。相似地，如1620所示，區域2的表示“r2_2”依存於區域2的表示“r2_1”；如1630所示，區域3的表示“r3_2”依存於區域3的表示“r3_1”；如1640所示，區域4的表示“r4_2”依存於區域4的表示“r4_1”。
在第16圖的示例中，大圖像尺寸的表示依存於用於相同區域的小圖像尺寸的表示。在一個示例中，處理電路120計算用於相同區域的不同圖像尺寸的視訊內容差值，並在大圖像尺寸的段流中編碼視訊內容差值。例如，表示“r1_1”對應於小圖像尺寸的區域1的視訊內容的段流，表示“r1_2”對應於用 於區域1的大圖像尺寸與小圖像尺寸之間的視訊內容差值的段流。處理電路120包含媒體展現描述檔1600中的表示“r1_2”到表示“r1_1”的依存資訊。
在本示例中，處理電路170處理媒體展現描述檔1600，提取依存資訊，並且在視訊渲染過程中使用依存資訊。例如，感興趣區域為區域1，開始時，處理電路170可以選擇對應於表示“r1_1”的段流。當需要大圖像尺寸時，在一個示例中，由於表示“r1_2”到表示“r1_1”的依存關係，處理電路170可選擇對應於表示“r1_2”到表示“r1_1”的段流中的兩個，並在這兩個段流中請求段。隨後，處理電路170可以基於小圖像尺寸的視訊內容和大圖像尺寸與小圖像尺寸之間的視訊內容差值渲染大圖像尺寸的視訊內容。
當在硬體中實作時，硬體可以包括一個或者多個離散元件、積體電路、特定應用的積體電路(application-specific integrated circuit，ASIC)等。
由於已經結合本發明的被提出用作示例的具體實施例描述了本發明的各個方面，可以做出這些示例的替代、修改和變形。因此，此處所說明的實施例用作示意目的，但不用於限制。在不脫離請求項的範圍的情況下，可以做出改變。

Claims (20)

  1. 一種裝置，包括：介面電路，用於接收媒體資料的媒體展現描述資訊，其中，該媒體資料包括根據投影自球面的視訊內容投影的二維平面上的視訊內容，該平面上的視訊內容包括在該二維平面上具有不同視訊覆蓋的多個段流，並且該媒體展現描述資訊使用基於投影的空間關係描述以根據該投影該二維平面上的視訊內容描述不同的視訊覆蓋；處理電路，用於基於用於圖像生成的感興趣區域和該基於投影的空間關係描述確定一個或者多個段流，在該一個或者多個段流中選擇多個段，並且使得該介面電路請求並接收選擇的多個段；以及顯示裝置，用於顯示基於該選擇的多個段而產生的多個圖像。
  2. 如申請專利範圍第1項所述之裝置，其中，該處理電路用於自該基於投影的空間關係描述中解析出投影標識。
  3. 如申請專利範圍第2項所述之裝置，其中，該處理電路用於在該投影標識表示等角投影時，自該基於投影的空間關係描述中解析出球面坐標系統中的偏航座標和俯仰座標。
  4. 如申請專利範圍第3項所述之裝置，其中，該處理電路用於自該基於投影的空間關係描述中解析出偏航座標的最小值、偏航座標的最大值、俯仰座標的最小值和俯仰座標的最大值，其中該基於投影的空間關係描述中定義了該二維平面內的區域。
  5. 如申請專利範圍第3項所述之裝置，其中，該處理電路用於解析出定義了矩形區域的角點的偏航座標和俯仰座標，並自該基於投影的空間關係描述中解析出在偏航座標和俯仰座標上的該矩形區域的寬度和高度。
  6. 如申請專利範圍第2項所述之裝置，其中，該處理電路用於在該投影標識表示多面體投影時，自該基於投影的空間關係描述中解析出一個或者多個面索引。
  7. 如申請專利範圍第2項所述之裝置，其中，該處理電路用於在該投影標識表示沒有投影時，自該基於投影的空間關係描述中解析出歐式坐標系統中的多個座標。
  8. 如申請專利範圍第1項所述之裝置，其中，該媒體展現描述資訊使用在適應集層、展示層和子展示層中至少一個中的該基於投影的空間關係描述，以根據該投影描述該二維平面內不同的視訊覆蓋。
  9. 如申請專利範圍第1項所述之裝置，其中，該處理電路用於解析該媒體展現描述資訊，以提取第一段流到第二段流的依存，在該第一段流和該第二段流中選擇多個段，並且，使得該介面電路請求並接收該選擇的多個段。
  10. 如申請專利範圍第9項所述之裝置，其中，該處理電路用於提取該第一段流到該第二段流的區域依存、頻寬依存和圖像尺寸依存中的至少一個。
  11. 一種圖像渲染的方法，包括：接收媒體資料的媒體展現描述資訊，其中，該媒體資料包括根據投影自球面的視訊內容投影的二維平面上的視訊內 容，該二維平面上的視訊內容包括在該二維平面上具有不同視訊覆蓋的多個段流，並且該媒體展現描述資訊使用基於投影的空間關係描述以根據該投影該二維平面上描述不同的視訊覆蓋；基於用於圖像生成的感興趣區域和該基於投影的空間關係描述確定一個或者多個段流；在該一個或者多個段流中選擇多個段；發送用於選擇的多個段的請求；接收該選擇的多個段；以及顯示基於該選擇的多個段而產生的多個圖像。
  12. 如申請專利範圍第11項所述之圖像渲染的方法，其中，進一步包括：解析該基於投影的空間關係描述，以提取投影標識。
  13. 如申請專利範圍第12項所述之圖像渲染的方法，其中，進一步包括：在該投影標識表示等角投影時，自該基於投影的空間關係描述中解析出球面坐標系統中的偏航座標和俯仰座標。
  14. 如申請專利範圍第13項所述之圖像渲染的方法，其中，在該投影標識表示等角投影時，自該基於投影的空間關係描述中解析出球面坐標系統中的偏航座標和俯仰座標，包括：自該基於投影的空間關係描述中解析出偏航座標的最小值、偏航座標的最大值、俯仰座標的最小值和俯仰座標的最大值，其中該基於投影的空間關係描述中定義了該二維 平面內的區域。
  15. 如申請專利範圍第13項所述之圖像渲染的方法，其中，在該投影標識表示等角投影時，自該基於投影的空間關係描述中解析出球面坐標系統中的偏航座標和俯仰座標，包括：自該基於投影的空間關係描述中解析出定義了矩形區域的角點的偏航座標和俯仰座標；以及自該基於投影的空間關係描述中解析出在偏航座標和俯仰座標上的該矩形區域的寬度和高度。
  16. 如申請專利範圍第12項所述之圖像渲染的方法，其中，進一步包括：在該投影標識表示多面體投影時，自該基於投影的空間關係描述中解析出一個或者多個面索引。
  17. 如申請專利範圍第12項所述之圖像渲染的方法，其中，進一步包括：在該投影標識表示沒有投影時，自該基於投影的空間關係描述中解析出歐式坐標系統中的多個座標。
  18. 如申請專利範圍第11項所述之圖像渲染的方法，其中，進一步包括：解析該媒體展現描述資訊，以提取第一段流到第二段流的依存；在該第一段流和該第二段流中選擇多個段；發送用於該第一段流和該第二段流中的選擇的多個段的請求； 接收該選擇的多個段；以及顯示基於該第一段流和該第二段流中的該選擇的多個段而產生的多個圖像。
  19. 如申請專利範圍第11項所述之圖像渲染的方法，其中，該媒體展現描述資訊使用在適應集層、展示層和子展示層中至少一個中的該基於投影的空間關係描述，以根據該投影描述該二維平面內不同的視訊覆蓋。
  20. 如申請專利範圍第18項所述之圖像渲染的方法，其中，解析該媒體展現描述資訊，以提取該第一段流到該第二段流的依存，包括：提取該第一段流到該第二段流的區域依存、頻寬依存和圖像尺寸依存中的至少一個。
TW106125489A 2016-07-29 2017-07-28 一種用於流視訊內容的方法及裝置 TWI644562B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662368205P 2016-07-29 2016-07-29
US62/368,205 2016-07-29
US15/660,710 US10313763B2 (en) 2016-07-29 2017-07-26 Method and apparatus for requesting and receiving selected segment streams based on projection information
US15/660,710 2017-07-26

Publications (2)

Publication Number Publication Date
TW201811025A true TW201811025A (zh) 2018-03-16
TWI644562B TWI644562B (zh) 2018-12-11

Family

ID=61012391

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106125489A TWI644562B (zh) 2016-07-29 2017-07-28 一種用於流視訊內容的方法及裝置

Country Status (4)

Country Link
US (1) US10313763B2 (zh)
CN (1) CN109328462B (zh)
TW (1) TWI644562B (zh)
WO (1) WO2018019293A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10587934B2 (en) * 2016-05-24 2020-03-10 Qualcomm Incorporated Virtual reality video signaling in dynamic adaptive streaming over HTTP
EP3510744B1 (en) * 2016-09-09 2022-05-04 Vid Scale, Inc. Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming
JP7035401B2 (ja) * 2017-09-15 2022-03-15 ソニーグループ株式会社 画像処理装置およびファイル生成装置
CN113228658B (zh) * 2018-12-14 2023-10-17 中兴通讯股份有限公司 沉浸式视频比特流处理
KR102317938B1 (ko) * 2019-03-19 2021-10-27 한국전자기술연구원 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템
CN112150603B (zh) * 2019-06-28 2023-03-28 上海交通大学 基于三维点云的初始视角控制和呈现方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102056015B (zh) * 2009-11-04 2012-12-05 沈阳迅景科技有限公司 一种全景虚拟现实漫游中的流媒体应用方法
US9886552B2 (en) * 2011-08-12 2018-02-06 Help Lighting, Inc. System and method for image registration of multiple video streams
KR101998892B1 (ko) * 2012-03-01 2019-07-10 소니 주식회사 송신 장치, 송신 방법 및 수신 장치
US9628528B2 (en) 2013-07-19 2017-04-18 Electronics And Telecommunications Research Institute Apparatus and method for providing content
CA2948903C (en) * 2014-05-13 2020-09-22 Pcp Vr Inc. Method, system and apparatus for generation and playback of virtual reality multimedia
CN106464941B (zh) * 2014-06-30 2019-10-29 索尼公司 信息处理装置和方法
US10157448B2 (en) * 2016-02-12 2018-12-18 Qualcomm Incorporated Foveated video rendering
US10225546B2 (en) * 2016-02-26 2019-03-05 Qualcomm Incorporated Independent multi-resolution coding
US10319071B2 (en) * 2016-03-23 2019-06-11 Qualcomm Incorporated Truncated square pyramid geometry and frame packing structure for representing virtual reality video content
CN105812759A (zh) 2016-04-15 2016-07-27 杭州当虹科技有限公司 一种360度全景视频的平面投射方法及编码方法
US20170339469A1 (en) * 2016-05-23 2017-11-23 Arjun Trikannad Efficient distribution of real-time and live streaming 360 spherical video

Also Published As

Publication number Publication date
US20180035172A1 (en) 2018-02-01
CN109328462A (zh) 2019-02-12
CN109328462B (zh) 2021-05-04
WO2018019293A1 (en) 2018-02-01
TWI644562B (zh) 2018-12-11
US10313763B2 (en) 2019-06-04

Similar Documents

Publication Publication Date Title
TWI644562B (zh) 一種用於流視訊內容的方法及裝置
CN109691094B (zh) 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置
CN109565571B (zh) 标示关注区域的方法与装置
KR102261559B1 (ko) 정보 처리 방법 및 장치
US10467775B1 (en) Identifying pixel locations using a transformation function
CN108028921B (zh) 一种图像渲染方法及装置
EP3782368A1 (en) Processing video patches for three-dimensional content
JP7218826B2 (ja) 再生装置および画像生成方法
KR20190008325A (ko) 가상 현실 미디어 콘텐트의 적응적 스트리밍을 위한 방법, 디바이스, 및 컴퓨터 프로그램
WO2018068236A1 (zh) 一种视频流传输方法、相关设备及系统
WO2018126702A1 (zh) 一种应用于虚拟现实技术的流媒体的传输方法和客户端
TWI634516B (zh) 指示視訊內容之文件格式
CN110876051A (zh) 视频数据的处理，传输方法及装置，视频数据的处理系统
KR102499904B1 (ko) 가상 현실 미디어 콘텐트 내에 포함시키기 위해 실세계 장면의 맞춤화된 뷰의 가상화된 투영을 생성하기 위한 방법들 및 시스템들
KR20200065087A (ko) 다중 뷰포인트 기반 360 비디오 처리 방법 및 그 장치
US20190199921A1 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, 360-degree video transmitting device, and 360-degree video receiving device
CN108111899A (zh) 视频传输方法、客户端、服务器
CN111669561A (zh) 多角度自由视角图像数据处理方法及装置、介质、设备
CN118318453A (zh) 渲染包括对象的3d场景
KR102656191B1 (ko) 360 비디오 환경에서 포인트 클라우드 콘텐트 액세스 및 전달을 위한 방법 및 장치
WO2019193011A1 (en) Region description for 360 or spherical video