TWI670973B - 在iso基本媒體檔案格式推導虛擬實境投影、填充、感興趣區域及視埠相關軌跡並支援視埠滾動訊號之方法及裝置 - Google Patents

在iso基本媒體檔案格式推導虛擬實境投影、填充、感興趣區域及視埠相關軌跡並支援視埠滾動訊號之方法及裝置 Download PDF

Info

Publication number
TWI670973B
TWI670973B TW107110199A TW107110199A TWI670973B TW I670973 B TWI670973 B TW I670973B TW 107110199 A TW107110199 A TW 107110199A TW 107110199 A TW107110199 A TW 107110199A TW I670973 B TWI670973 B TW I670973B
Authority
TW
Taiwan
Prior art keywords
parameter
trajectory
viewport
conversion
virtual reality
Prior art date
Application number
TW107110199A
Other languages
English (en)
Other versions
TW201841510A (zh
Inventor
新 王
魯林 陳
柏霖 賴
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201841510A publication Critical patent/TW201841510A/zh
Application granted granted Critical
Publication of TWI670973B publication Critical patent/TWI670973B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Abstract

視訊處理方法，包括：接收虛擬實境(VR)內容；從VR內容獲得圖像；對圖像進行編碼以生成部分編碼比特流；以及將部分編碼比特流封裝為ISO基本媒體檔案格式(ISO Base Media File Format，ISOBMFF)檔案。在一範例中，ISOBMFF檔案可以包括轉換屬性項目，該轉換屬性項目被設置為啟用軌跡推導中之投影轉換、封包轉換、VR視埠選擇以及VR感興趣區域選擇中的至少一個。在另一範例中，ISOBMFF檔案可包括與視埠的方向相關聯的第一參數、第二參數和第三參數。其中第一參數、第二參數和第三參數分別指示視埠中心的偏航角、俯仰角和滾轉角。此外，本發明還提供相關聯的視訊處理裝置。

Description

在ISO基本媒體檔案格式推導虛擬實境投影、填充、感興趣區 域及視埠相關軌跡並支援視埠滾動訊號之方法及裝置
相關申請的交叉引用
本申請案主張於2017年3月24日提交的美國臨時申請號62/475,944、於2017年3月27日提交的美國臨時申請號62/476,939、以及於2017年3月29日提交的美國臨時申請號62/478,062之權利。上述申請之整體內容，包含美國臨時申請號62/475,944、美國臨時申請號62/476,939、美國臨時申請號62/478,062，以引用方式併入本文中。
本發明涉及虛擬實境(Virtual reality，VR)內容之處理，且更具體而言，涉及一種用於在ISO基本媒體檔案格式推導VR投影、填充(映射)、ROI以及視埠相關軌跡，並支援視埠滾動訊號之方法及裝置。
虛擬實境(VR)最近主要由於諸如頭戴式顯示器 (HMD)的消費設備的近期市場可用性而獲得顯著關注。使用頭戴式顯示(HMD)的虛擬實境(VR)有各種應用方式。其將廣闊的視野內容呈現給使用者的能力可用於提供身臨其境的視覺體驗。若要取得對應至一個球體的全方位VR內容，必須補捉真實世界環境所有方向的資訊。隨著相機及頭戴式顯示裝置的進步，由於重現此種360度內容所需的比特率很高，全方位虛擬實境內容的傳送可能即將成為技術發展之瓶頸。
近年來舉辦了大量的圍繞在虛擬實境週遭的活動，而大型產業的參與也證明了這一點。舉例而言，由於預期使用虛擬實境頭戴式顯示裝置的消費者日益普及將導致對虛擬實境內容的需求增加，各公司也開始開發全方位相機來進行360°內容的捕捉。然而，缺乏適當的標準並因而降低了互通性正逐漸成為問題。因此，動畫專家小組(MPEG)展開了名為全方位媒體應用格式(Omnidirectional Media Application Format，OMAF)的專案，旨在標準化360°影音內容的儲存和傳送格式。在OMAF的上下文中，儲存和傳送格式係基於ISO基本媒體檔案格式(ISO base media file format，ISOBMFF)。然而，關於VR內容儲存和傳送的開發標準，仍有很大的改進空間。
本發明要求保護的標的之一，係提供一種用於在ISO基本媒體檔案格式導入VR投影、填充(映射)、ROI以及視埠相關軌跡，並支援視埠滾動訊號之方法及裝置。
本發明的第一方面揭露了一種範例性的視訊處理方 法。此範例性視訊處理方法包括：接收虛擬實境(VR)內容；從VR內容獲取影像；將影像編碼以生成編碼比特流的一部分；以及藉由一檔案封裝電路將部分編碼後之比特流封裝到至少一ISO基本媒體檔案格式(ISOBMFF)之檔案，其中，該至少一ISOBMFF檔案包含指示用軌跡推導來從至少一視覺軌跡取得衍生軌跡(derived track)的一轉換屬性項目，而該轉換屬性項目被設置為得以啟用軌跡推導中至少一投影轉換、一封包轉換、一VR視埠選擇或一VR感興趣區域(region of interest)選擇。
本發明的第二方面揭露了一種範例性的視訊處理方法。範例性的視訊處理方法包括：接收一虛擬實境(VR)內容；從VR內容獲取一影像；編碼該影像以生成一編碼後之比特流；以及藉由一檔案封裝電路將部分編碼後之比特流封裝到至少一ISO基本媒體檔案格式(ISOBMFF)之檔案，其中，該至少一ISOBMFF檔案包含與視埠方向有關之第一參數、第二參數與第三參數，第一參數、第二參數與第三參數分別指示視埠中心的偏航角、俯仰角和滾轉角。
本發明的第三方面揭露了一種範例性的視訊處理方法。範例性的視訊處理方法包括：接收至少一ISO基本媒體檔案格式(ISOBMFF)檔案，其中虛擬實境(VR)內容係由所述至少一ISOBMFF檔案傳送，而所述至少一ISOBMFF檔案包含轉換屬性項目；由檔案解封裝電路將所述至少一ISOBMFF檔案解封裝成編碼比特流的一部分，其中所述轉換屬性項目係從所述至少一ISOBMFF檔案解析；將影像解碼以生成編碼比特流的 一部分；以及執行由轉換屬性項目所指示之軌跡推導以從最少一個視覺軌跡獲得衍生軌跡，其中所述轉換屬性項目得以啟用軌跡推導中至少一投影轉換、封包轉換VR視埠選擇或VR感興趣區域(ROI)選擇。
本發明的第四方面揭露了一種範例性的視訊處理方法。範例性的視訊處理方法包括：接收至少一ISO基本媒體檔案格式(ISOBMFF)檔案，其中虛擬實境(VR)內容係由所述至少一ISO基本媒體檔案格式(ISOBMFF)檔案所傳送，所述至少一ISO基本媒體檔案格式(ISOBMFF)檔案包含至少一ISOBMFF檔案包括與視埠方向有關之第一參數、第二參數與第三參數，其中，第一參數、第二參數與第三參數分別指示視埠中心的偏航角，俯仰角和滾轉角；解封裝所述至少一ISO基本媒體檔案格式(ISOBMFF)至編碼比特流之一部份，其中所述第一參數、第二參數及第三參數係解析自所述至少一ISO基本媒體檔案格式(ISOBMFF)；解碼該部分之編碼之比特流以得解碼後之視埠資料；根據解碼後之視埠資料將視埠渲染及顯示於螢幕上。
此外，提供與上述視訊處理方法相關之視訊處理裝置。
100‧‧‧虛擬實境系統
200‧‧‧球體
102、104‧‧‧來源/目標電子裝置
103‧‧‧傳輸裝置
112‧‧‧視訊擷取裝置
114‧‧‧轉換電路
116‧‧‧視訊編碼器
118‧‧‧檔案封裝電路
120‧‧‧檔案解封裝電路
122‧‧‧視訊解碼器
124‧‧‧圖形渲染電路
126‧‧‧顯示螢幕
202‧‧‧矩形圖像
302‧‧‧立方體映射投影佈局
304‧‧‧緊密之立方體映射投影佈局
1002、1004、1006、1102、1104、1106‧‧‧步驟
1202‧‧‧渲染
1024‧‧‧編碼
1206‧‧‧傳送
1208‧‧‧解碼
1210‧‧‧建構
1212‧‧‧渲染
1214‧‧‧互動
在結合下面附圖閱讀本發明的推薦實施例的以各式的數字與圖樣所呈現如下詳細描述後，本發明之內容對於本領域之通常 技術者而言無疑將成為顯而預見的。
第1圖為依據本發明之實施例之虛擬實境(VR)系統之示意圖。
第2圖為依據本發明之實施例之等矩形投影(ERP)之示意圖。
第3圖為依據本發明之實施例之立方體映射投影(CMP)之示意圖。
第4圖為依據本發明之實施例之第一區域填充範例之示意圖。
第5圖為依據本發明之實施例之第二區域填充範例之示意圖。
第6圖為依據本發明之實施例之目標電子裝置運動之示意圖。
第7圖為依據本發明之實施例之球體上之視埠之示意圖。
第8圖為依據本發明之實施例之球體上視埠VP之第一種形狀類型之示意圖。
第9圖為依據本發明之實施例之球體上視埠VP之第二種形狀類型之示意圖。
第10圖為依據本發明之實施例之球體上視埠之第一方式之示意圖。
第11圖為依據本發明之實施例之識別球體上視埠之第二方式之示意圖。
第12圖為依據本發明之實施例之VR串流架構之示意圖。
第13圖為依據本發明之實施例之運用單一轉換之軌跡推導之示意圖。
第14圖為依據本發明之實施例之複合軌跡之軌跡推導之示意圖。
第15圖為依據本發明之實施例之基於軌跡推導之軌跡階層之示意圖。
第16圖為依據本發明之實施例之反向填充與反向投影之組合之示意圖。
第17圖為依據本發明之實施例之使用兩個轉換屬性以推導2D ROI及3D視埠軌跡之示意圖。
第18圖為依據本發明之實施例之使用兩個所述轉換屬性以推導VR ROI及VR視埠軌跡之示意圖。
第19圖為依據本發明之實施例之提供一個更有效率方法以推導VR視埠或ROI軌跡之軌跡推導之示意圖。
第20圖為依據本發明之實施例之視/ROI形狀及大小之示意圖。
以下說明及專利申請範圍之敘述中，使用到的部分詞彙將用來指示某個具體的元件。如同本領域之通常技術者所熟知地，電子裝置製造者可能使用不同的名稱來指示同一個元件。此份檔案無意區別那些在名稱上有所差別、但在功能上並無差異的元件。在以下說明及專利申請範圍之敘述中，「包括」、「包含」等詞彙係用來做為開放性之敘述，故皆應被解讀為「包括，但不限於......」之意。此外，在本文中「耦合」一詞係有意被用於指示直接或是間接的電子連接。據此而言，如果將一裝置耦合至另一裝置，其之間之連接可能係透過一直接的電子連接，或者係透過其他裝置及連結間接進行連接。
第1圖為依據本發明之實施例之虛擬實境(VR)系統之示意圖。VR系統100包括兩個視訊處理裝置(如來源電子裝置102和目標電子裝置104)。來源電子裝置102包括視訊擷取裝 置112、轉換電路114、視訊編碼器116和檔案封裝電路118。視訊擷取裝置112為提供VR內容(如全方位VR內容)Bv之VR內容提供者。舉例而言，視訊擷取裝置112可為用於捕捉場景Av之不同方向的一組相機，使視訊擷取裝置112產生覆蓋整個環境的多個捕捉影像。在一些其他實施例中，覆蓋整個環境的多個擷取影像可以從多於一個來源裝置、多個視訊擷取裝置、或至少一來源裝置與至少一視訊擷取裝置的組合來接收。在此實施例中，視訊擷取裝置112可配備視訊拼接功能。因此，由視訊擷取裝置112的不同相機俘獲的內容可被拼接在一起以形成拼接影像。此外，拼接影像可以被進一步投影到三維(3D)投影架構(如球體)上。因此，視訊擷取裝置112可以在球體上提供VR內容Bv。
轉換電路114係耦合於視訊擷取裝置112與視訊編碼器116之間。轉換電路114透過將3D空間中的VR內容Bv進行影像前處理來在2D平面上生成圖像Dv。當VR內容Bv對應至3D空間中的球體時，在轉換電路114處執行的影像前處理(visual pre-processing)可以包括投影和選擇性區域填充(region-wise packing)。因此，圖像Dv可以為投影圖像或填充圖像。3D投影架構(如球體)上的VR內容Bv可以進一步經由360°VR投影格式佈置到2D投影圖像上。舉例而言，360°VR投影格式可為等矩形投影(ERP)格式或立方體映射投影(CMP)格式。假設使用了選擇性區域填充，則2D投影圖像上的區域會進一步映射到2D填充圖像上。
第2圖為依據本發明之實施例之等矩形投影 (equirectangular projection，ERP)之示意圖。球體200上的VR內容Bv被投影在2D平面上的矩形圖像202上。球體200被採樣為若干水平圓圈(緯度圓圈)，而其中的每一個圓圈被映射到矩形圖像202的水平線上。朝向上圖像邊界和下圖像邊界的水平線相對於它們在球體200上各自的圓圈被顯著地延展。
第3圖為依據本發明之實施例之立方體映射投影(cubemap projection，CMP)之示意圖。球體200上的VR內容Bv被投影到立方體的六個面上，包括頂面(由「上」標記)、底面(由「下」標記)、左面(由「左」標記)、正面(由「前」標記)、右面(由「右」標記)和背面(由「後」標記)，並且這些面隨後被佈置在2D平面上。要編碼的圖像Dv必須為矩形。如果直接將CMP佈局302用於產生圖像Dv，則因為在圖像Dv中填充了許多虛設區域(如黑色區、灰色區或白色區)，所以圖像Dv無法具有緊密的佈局。或者，圖像Dv可以將投影影像資料佈置於緊密的CMP佈局304上來避免使用虛設區域(如黑色區、灰色區或白色區)。
在編碼之前，可以將區域填充處理應用在具有特定投影布局(如ERP佈局或緊密的CMP佈局)的投影圖像上。舉例而言，投影圖像被劃分為多個矩形區域，而將區域填充應用到矩形區域以將矩形區域填充為填充圖像。關於投影圖像的矩形區域，區域填充可在將矩形區域填充為填充圖像前，將平移、縮放、旋轉和/或鏡像應用在矩形區域上。第4圖為依據本發明之實施例之第一區域填充範例之示意圖。具有ERP佈局的投影圖像被劃分成不同的區域(如頂部部分、中間部分和底部部 分)。頂部部分、中間部分和底部部分可以透過區域填充映射到填充圖像上。第5圖為依據本發明之實施例之第二區域填充範例之示意圖。具有CMP佈局的投影圖像被劃分成不同的區域(如左側面、正面、右側面、底面、背面和頂面)。可以透過區域填充將左側面、正面、右側面、底面、背面和頂面映射到填充圖像上。應注意的是，第4圖、第5圖所示之填充圖像僅用於說明之目的，而非用於對本發明做出限制。
圖像Dv可以為包括在轉換電路114所生成之視訊幀序列中的一個視訊幀。視訊編碼器116為一編碼電路，用於編碼/壓縮圖像Dv以生成編碼比特流之一部分。從視訊編碼器116接收到部分編碼比特流(其包括圖像Dv的編碼資料Ev)之後，檔案封裝電路118將編碼比特流的所述部分與附加元資料Dm一起封裝為一個或多個ISOBMFF檔案F。舉例而言，附加元資料Dm可以提供附加傳訊，以用於基於HTTP之動態自適性串流(dynamic adaptive streaming，DASH)。
視埠相關串流架構(如基於區塊或基於子圖像之串流架構)可以用於360°視訊傳輸。根據基於區塊之串流架構，圖像Dv被分割成多個瓦片(tile)(或子圖像)，每個瓦片(或子圖像)被獨立地編碼。換言之，圖像Dv的瓦片是圖像Dv的空間部分(即子圖像)，且通常為矩形。此外，同一個瓦片的內容可以用不同的品質及比特率編碼以生成編碼瓦片之變體，或者可以用不同的解碼器及保護架構來編碼以生成編碼瓦片之變體。在此情況下，每個ISOBMFF檔案F皆為基於區塊之檔案。檔案封裝電路118將相同瓦片的每個編碼變體封裝到變體軌跡 (即變體子圖像軌跡)中，並且將相同瓦片的所有編碼變體的變體軌跡封裝到相同的ISOBMFF檔案F中。元資料Dm可以包括透過使用軌跡元資料框直接放置在視覺軌跡中的元資料，和/或可以包括放置在與視覺軌跡相關聯的元資料軌跡(如定時元資料軌跡)中的元資料。舉例而言，傳訊之元資料Dm可以包括投影/定位資訊、填充資訊、子圖像組成資訊，感興趣區域(ROI)資訊、視埠資訊等。
或者，圖像Dv可以由球體上的VR內容Bv直接設置。因此，檔案封裝電路118在接收到來自視訊編碼器116的部分編碼比特流(其包括圖像Dv的編碼資料Ev)後，將所述部份編碼比特流與附加元資料Dm一起封裝到一個或多個ISOBMFF檔案F中，其中球面視訊軌跡(即VR 3D視訊軌跡)被包括在ISOBMFF檔案F中。不過，以上敘述僅用於說明之目的，而非用於對本發明做出限制。舉例而言，球體視訊軌跡(即VR 3D視訊軌跡)可以為在VR應用端(即目標電子裝置104)處執行軌跡推導所獲得之衍生軌跡。
檔案封裝電路118透過傳輸裝置103將ISOBMFF檔案F輸出至目標電子裝置104。舉例而言，傳輸裝置103可以為有線/無線通訊鏈路，透過HTTP並使用單播、多播或廣播傳送的傳送方式，將ISOBMFF檔案F傳送到目標電子裝置104。
目標電子裝置104可以為頭戴式顯示(HMD)裝置。如第1圖所示，目標電子裝置104包括檔案解封裝電路120、視訊解碼器122、圖形渲染電路124和顯示螢幕126。檔案解封裝電路120從傳輸裝置103接收ISOBMFF檔案F'。若沒有傳輸錯 誤，從檔案解封裝電路120接收的ISOBMFF檔案F'應與從檔案封裝電路118輸出的ISOBMFF檔案F相同。在接收到ISOBMFF檔案F'之後，檔案解封裝電路120會解封裝ISOBMFF檔案F'成編碼比特流的一部分(其包括要重構的圖像之編碼資料E'v)，並從ISOBMFF檔案F'中提取/解析附隨的元資料D'm。如果沒有傳輸錯誤和解封裝錯誤，則從ISOBMFF檔案F'提取/解析的元資料D'm應當與添加到ISOBMFF檔案F的元資料Dm相同。
視訊解碼器122耦合於檔案解封裝電路120和圖形渲染電路124之間，且為被配置於根據所提取的/解析的元資料D'm來解碼所述部分編碼比特流的一解碼電路。舉例而言，視訊解碼器122對所述部分編碼比特流進行解碼，以獲得由訊號元資料D'm指定的視埠的解碼資料D'v(如初始視埠或推薦視埠)。圖形渲染電路124為後處理電路，其被配置為根據從視埠的解碼資料所獲得的顯示資料A'v，在顯示屏幕126上渲染和顯示視埠。
最近出現了新的視訊應用。尤其是捕捉真實世界全景的360視訊(又名全方位視訊、球形視訊)和虛擬實境(VR)的使用，引起了顯著的關注。MPEG正在對一種「全方位媒體應用格式(OMAF)」應用格式進行標準化，以指定儲存、傳送和渲染全方位媒體內容的格式。在OMAF之委員會草案(CD)中，球體區域的定時元資料發送訊號，可用於指示視點和視埠。對於視埠，一般的語法結構是用訊號通知中心點(偏航，俯仰)，然後視情況選擇水平和垂直覆蓋。對於視點(水平和垂直覆蓋均為零)，本發明提出也發出參數滾動訊號。
第6圖為依據本發明之實施例之目標電子裝置運動之示意圖。第7圖為依據本發明之實施例之球體上之視埠之示意圖。如上所述，目標電子裝置104可以為戴在用戶的頭上的HMD裝置、或能夠顯示虛擬實境內容的任何其他裝置。因此，目標電子裝置104的方向也是用戶的觀看方向，並可以由沿著Y軸的偏航角(yaw angle)、沿著X軸的俯仰角(pitch angle)以及沿著Z軸的滾轉角(roll angle)來指定。如果目標電子裝置104的方向改變，則球體(如第2圖和第3圖中所示的球體200)上之視埠VP的位置和/或形狀亦會改變。
關於視埠傳訊，至少兩種形狀類型被定義：一種以四個大圓為界，另一種則以兩個偏航圓(yaw circle)和兩個節圓(pitch circle)為界。第8圖為依據本發明之實施例之球體上視埠VP之第一種形狀類型之示意圖。視點PV為視埠VP的中心點。視埠VP的邊界係由四個大圓C1、C2、C3和C4決定，每個大圓C1，C2，C3和C4各自與球體相交並位於穿過球體的中心的平面上。第9圖為依據本發明之實施例之球體上視埠VP之第二種形狀類型之示意圖。視點PV為視埠VP的中心點。視埠VP之邊界係由兩個偏航圓Y1和Y2以及兩個節圓P1和P2決定。每個偏航圓皆為球體上的一個圓，連接所有具有相同偏航角值的點。每個節圓皆為球體上的一個圓，連接所有具有相同俯仰角值的點。
本發明提出了一種支持視埠訊號滾動的方法。舉例而言，在VR服務提供者端(即來源電子裝置102)處從檔案封裝電路118生成的ISOBMFF檔案F視埠包括與球體上視埠VP之方 向相關聯的至少第一參數center_yaw、第二參數center_pitch以及第三參數center_roll，其中第一參數center_yaw、第二參數center_pitch和第三參數center_roll分別指示視埠VP的中心(即視點PV)的偏航角、俯仰角和滾轉角。第一參數center_yaw、第二參數center_pitch和第三參數center_roll被發訊給VR應用端(即目標電子裝置104)。在VR應用端(即目標電子裝置104)處的檔案解封裝電路120接收到ISOBMFF檔案F'之後，從ISOBMFF檔案F中提取/解析第一參數center_yaw、第二參數center_pitch和第三參數center_roll以指示視埠VP的中心(即視點PV)和視埠VP的滾轉角。
此外，在VR服務提供者端(即來源電子裝置102)處從檔案封裝電路118生成的ISOBMFF檔案F，亦可包括與球體上的視埠VP相關聯的至少第四參數hor_range和第五參數ver_range，其中第四參數hor_range指示視埠的水平範圍，並且第五參數ver_range指示視埠的垂直範圍。第四參數hor_range和第五參數ver_range也被發訊給VR應用端(即目標電子裝置104)。在VR應用端(即目標電子裝置104)處的檔案解封裝電路120接收到ISOBMFF檔案F'後，從ISOBMFF檔案F'提取/解析第四參數hor_range和第五參數ver_range以分別指示視埠口的水平範圍和視埠的垂直範圍。
在OMAF的CD之第7.3.3節中規定了球體上區域樣本格式。在一個示範性實作中，第三參數center_roll被添加至球體上區域樣本格式，使得包括第一參數center_yaw、第二參數center_pitch和第三參數center_roll的元資料被放置在每個視覺 軌跡中(如每個變體子圖像軌跡)。修改的樣本格式可以如下定義：
樣本格式
定義
每個樣本指示一個球體上的區域。RegionOnSphereSample結構可以在衍生軌跡格式下延伸。
語法
語意
當RegionOnSphereStruct()包含於 RegionOnSphereSample()structure時，有以下的應用：center_yaw、center_pitch和center_roll指定相對於大域座標系(global coordinate system)以0.01度為單位的視埠方向。center_yaw和center_pitch指示視埠的中心，center_roll指示視埠的滾轉角。center_roll應介於-18000到18000(含邊界值)之範圍內。
hor_range和ver_range，當存在時，分別以0.01度為單位指定由該樣本指定區域之水平和垂直範圍。hor_range和ver_range指定透過該區域中心點之範圍。
對於視點訊號(OMAF的委員會草案(CD)中的第7.3.4節)，由於已經以樣本格式發送訊號，所以不需要再次發送訊號。修改後的樣本格式定義如下：在樣本條目的RegionOnSphereConfigBox中，shape_type應等於0，dynamic_range_flag應等於0，static_hor_range應等於0，且static_ver_range應等於0。
樣本語法
class InitialViewpointSample() extends RegionOnSphereSample { unsigned int(1)refresh_flag； bit(7)reserved=0； }
如上所述，從VR服務提供者端(即來源電子裝置102)向VR應用端(即目標電子裝置104)發送與球體上的視埠VP相關聯的參數center_yaw、center_pitch、center_roll、hor_range和ver_range。因此，VR應用程序端(即目標電子裝置104)可根據用所傳訊的參數center_yaw、center_pitch、center_roll、ver_range和hor_range來識別視埠的位置和邊界(如初始視埠或推薦視埠)。舉例而言，視訊解碼器122和/或圖形渲染電路124可以根據所傳訊的參數來識別視埠。
第10圖為依據本發明之實施例之球體上視埠之第一方式之示意圖。視埠首先以由第一參數center_yaw指示的偏航角和由第二參數center_pitch指示的俯仰角為中心(步驟1002)。在視埠以偏航角和俯仰角為中心之後，根據由第四參數hor_range指示的水平範圍和第五參數ver_range指示的垂直範圍指定的覆蓋範圍決定視埠的邊界(步驟1004)。決定視埠的邊界後，根據第三個參數center_roll指示的滾轉角對視埠施加旋轉。
第11圖為依據本發明之實施例之球體上視埠之第二方式之示意圖。視埠首先以由第一參數center_yaw指示的偏航角和由第二參數center_pitch指示的俯仰角為中心(步驟1102)。在視埠以偏航角和俯仰角為中心之後，根據由第三參數center_roll指示的滾轉角施加旋轉至坐標系(步驟1104)。應 注意的是，此操作將改變水平方向和垂直方向之取向。坐標系與滾轉角一起旋轉後，將根據新的水平和垂直方向實施覆蓋。意即，在坐標系以滾轉角旋轉之後，視埠的邊界係根據第四參數hor_range指示的水平範圍和第五參數ver_range指示的垂直範圍所指定的覆蓋範圍來決定(步驟1106)。
應注意的是，如第8圖所示之由四個大圓所界定之視埠形狀，不論係由如第10圖所示之第一種方法，或係由如第11圖所示的第二種方法所界定，其結果皆為相同。這是因為這些圓不受水平方向和垂直方向之取向影響。然而，如第9圖所示之具有兩個偏航圓和兩個節圓的視埠形狀，如第10圖所示之第一種方法及如第11圖所示的第二種方法會導致不同的視埠。這是因為偏航圓和節圓的定義會根據坐標系的方向變化而改變。
在本發明的一些實施例中，關於視埠傳訊，僅將參數滾動添加到具有4個大圓的視埠形狀。如前段所述，滾動在其他視埠形狀上會產生問題，因為需要指定滾動和覆蓋的順序。因此，在另一設計中，對於2個偏航圓加上2個節圓之形狀禁止滾動。舉例而言，忽略了傳訊的參數center_roll。語法可以用與前述相同的方式來設計。但是，語義約束如下所示：center_yaw、center_pitch和center_roll指定相對於大域坐標系以0.01度為單位的視埠取向。center_yaw和center_pitch指示視埠的中心，center_roll指示視埠的滾轉角。center_roll應介於-18000到18000(含邊界值)之範圍內。當shape_type為1時，應忽略參數center_roll，並對視埠不起作用。
在如VR和免費電視(FTV)的許多應用中，期望從現有軌跡(如存在於第1圖中所示的ISOBMFF檔案F/F'中的視覺軌跡)發出訊號並將軌跡推導為複合軌跡。
舉例而言，由於目前的網路頻寬限制和各種適應要求(如不同品質、編解碼器和保護架構)，球體VR內容具有以下通用的視埠相關內容作業流程(此為標準化過程之簡化版本，並未考慮媒體來源之規範化)。其中，首先將3D球面VR內容處理(拼接、投影和映射)至2D平面上，然後封裝在多個用於回放和傳送的區塊式(tile-based)和分段的檔案中。在這樣的區塊式和分段的檔案中，一個2D平面上的空間區塊代表著一個2D平面內容空間部分，通常為矩形。2D平面上的空間區塊被封裝為其變體之集合(如圖中所示以不同的質量和比特率、或在不同的編解碼器及保護架構中使用不同的編碼演算法和模式)；這些變體對應於MPEG DASH中適配集內的代表。它基於用戶在視埠上的選擇，這些不同區塊的變體放在一起時提供所選視埠的覆蓋，被取回或傳遞給接收器，然後被解碼以構建和渲染所期望的視埠。
第12圖為依據本發明之實施例之VR串流架構之示意圖。步驟1202可以在第1圖所示的視訊擷取裝置112和/或轉換電路114中執行。步驟1204可以在第1圖所示的視訊編碼器116中執行。步驟1206可以在第1圖所示的傳輸裝置103中執行。步驟1208可以在第1圖中所示的視訊解碼器122中執行。步驟1210和1212可以在第1圖所示的圖形渲染電路124中執行。步驟 1214可以由VP應用端(即目標電子裝置104)的頭部/眼腈追蹤功能執行。
為了避免編解碼相同內容之冗餘，並未以更大或更小的瓦片(子圖像)來表示其他相同內容的瓦片(子圖像)。因此，當使用軌跡封裝單個瓦片時，檔案內軌跡之間缺乏層級結構會導致瓦片之間缺乏層次結構。所有這些情形，在為其各自之軌跡集合瓦片而尋址屬性與指定元資料時，會出現一些問題。舉例而言，當在最新的OMAF草案規範中傳訊投影和填充方案時，投影的全方位視訊盒和區域填充盒皆為可供參考之軌跡，這些軌跡為完整的2D投影及填充幀，而不是單個瓦片或區域軌跡，這會使得這些盒子不適合用於視埠相關的VR內容處理，如OMAF CD之附錄A中所示。
在ISOBMFF中，有一些用於軌跡的分組機制(並因此用於瓦片)，透過使用如Track Group Box'trgr'、Track Header Box'tkhd'和Track Selection Box'tsel'等盒子，來標記軌跡並用傳訊使其為一組軌跡、一組替代的軌跡、以及一組交替的軌跡，使得相同分組識別及分組類型的個別軌跡得以被歸類在同一組內。
然而，當在通用的視埠相關內容作業流程下使用時，透過標記單個軌跡的這些軌跡的分組機制呈現了許多問題和困難。這些問題源於以下事實：沒有單個「瓦片」軌跡來表示瓦片的變體軌跡之內容，也沒有單個軌跡來表示被投影並且可選地填充到所有單獨的「瓦片」軌跡的組合的整個球體VR內容的內容。這些問題包括：
1. 在未掃描檔案中的所有軌跡前，無法有效率地確定有多少軌跡屬於特定的分組。
2. 如果沒有與每個「變體」軌跡建立關聯的話，無法將任何與整個球體VR相關的大域資訊(如投影與映射資訊、視埠、ROI、及其他元資料)與任何特定軌跡建立關聯；這是因為任何的元資料軌跡(如空間訊息的定時元資料)應該與被其描述為'cdsc'(內容描述)軌跡引用的媒體軌跡相關聯。如果瓦片數量和每個瓦片變體數量的乘積相對較大，則每個元資料軌跡必須與每個媒體「變體」軌跡建立關聯之要求將變得繁瑣而乏味。
3. 難以支持從一組現有軌跡上建造新軌跡，舉例而言，如支持即時視埠建造以涵蓋一些目標感興趣區域等。
然而，當考慮現有媒體資源被儲存或封裝在ISOBMFF的媒體軌跡中之情形時，所考慮的技術建議欲構建的視訊軌跡應為由包含“dtrk”類型的樣本條目標識的衍生軌跡。衍生的樣本包含要在輸入影像或樣本的有序列表上執行的操作的有序列表。每個操作皆由TransformProperty指定或指示。
第13圖為依據本發明之實施例之運用單一轉換之軌跡推導之示意圖。如第13圖所示，分別存在有帶有媒體內容(分別包含在'mdat'類型的資料盒中)vs1、...、vsn的既存視覺軌跡(其包含在類型'trak'的軌跡盒中)v1、...、和vn。每個既存視覺軌跡皆有一個具有索引類型'hind'的軌跡索引盒'tref'。此外，存在有分別帶有媒體內容(包含在'mdata'類型的資料框中)ms1、...、和msn的元資料軌跡(包含在類型'trak'的軌跡盒中) m1、...、mn。元資料軌跡m1、...、和mn可以為定時的元資料軌跡，並可以與現有視覺軌跡v1、...、和vn相關聯或可以參考現有視覺軌跡v1、...、和vn，以提供關於現有視覺軌跡v1、...、和vn中的媒體內容的元資料。衍生軌跡是根據由TransformProperty項目指定的軌跡推導操作，從ISOMBFF檔案F/F'中的既存視覺軌跡推導出的邏輯軌跡。如第13圖所示，帶有媒體內容vs的衍生軌跡v(其包含在'trak'類型的軌跡盒中)係從TransformProperty項目指定或指示的轉換操作導出的。此外，帶有媒體內容ms的元資料軌跡m(其被包含在'mdat'類型的資料盒中)可以與所導出的軌跡v相關聯、或可以參考所導出的軌跡v以提供關於衍生軌跡中的媒體內容的元資料v。元資料軌跡m可以為定時元資料軌跡。
現有的TransformProperty項目列表有：
1. 'idtt'：身分
2. 'clap'：清潔光圈
3. 'srot'：旋轉
4. 'dslv'：溶解
5. '2dcc'：收成
顯然，要支持VR視埠相關內容流程，這仍然缺乏對構建複合軌跡的支持。
建議使用以下新的TransformProperty項目來推導複合軌跡：
1. 'cmpa'：全體之複合
2. 'cmp1'：僅一者之複合(在樣本階段允許切換)
3. 'cmpn'：任何之複合(在樣本階段允許切換)
4. 'sel1'：僅任何一者之選擇(在軌跡階段選擇，在樣本階段不允許切換)
5. 'seln'：任何之選擇(在軌跡階段選擇，在樣本階段不允許切換)
6. 'scal'：縮放
7. 'resz'：調整
軌跡分組、選擇和切換的標籤機制用於為以下TransformProperty項目提供替代定義：
1. 'cmpa'：全體之複合
2. 'cmp1'：僅一者之複合(在樣本階段允許切換)
3. 'sel1'：僅一者之選擇(在軌跡階段選擇，在樣本階段不允許切換)
第14圖為依據本發明之實施例之運用複合軌跡之軌跡推導之示意圖。複合軌跡v、v1、...、和vr係從其他軌跡v11、...、v1k，...、vr1、...和vrk中導出，其中每個vi，i=1、...、r為其變體之替代，vij，j=1、...、k，可以在採樣階段切換或不切換，v為全部v1、...、vr之複合。利用這些衍生軌跡，元資料軌跡(如定時元資料軌跡)m、m1、...、和mr可以與其產生關聯或參考它們，以提供關於這些軌跡中的媒體內容之元資料。
本發明還提供了用於使用投影、反向投影、填充(映射)和/或反向填充(反向映射)轉換從其它軌跡中導出軌跡的方法和系統。具體而言，本發明進一步提出了以下TransformProperty項目：
1. 'proj'：投影及反向投影
2. 'pack'：填充及反向填充
因此，從VR服務提供商端(即來源電子裝置102)處的檔案封裝電路118生成的ISOBMFF檔案F，可以包括一個指示軌跡推導來從至少一個視覺軌跡(如現有軌跡或衍生軌跡)來獲得衍生軌跡的TransformProperty項目，其中TransformProperty項目被設置為在軌跡推導中啟用投影轉換(TransformProperty='proj')及封包轉換(TransformProperty='pack')中之一個。
相似地，檔案解封裝電路120在VR應用端(即目標電子裝置104)接收到之ISOBMFF檔案F'可以包括TransformProperty項目，TransformProperty項目被設置為在軌跡導出中啟用投影轉換(TransformProperty='proj')及封包轉換(TransformProperty='pack')中之一個。視訊解碼器122對從檔案解封裝電路120解封裝的編碼比特流之一部分進行解碼。圖形渲染電路124根據對編碼比特流之一部分之解碼結果獲得至少一個視覺軌跡(如現有軌跡或衍生軌跡)，並執行由從ISOBMFF檔案F'提取/解析的TransformProperty項目所指示之軌跡推導，以推導出ISOBMFF中的VR投影相關軌跡或ISOBMFF中的VR填充(映射)相關軌跡。
在TransformProperty項目被設置為啟用投影轉換(即TransformProperty='proj')的第一種情況下，投影轉換的操作可以由前向投影來設置，其中，該前向投影被設置為投影至少一個視覺軌跡的媒體內容至二維(2D)平面上。或者，投影轉 換的操作可以透過反向投影來設置，其中，該反向投影被設置為將至少一個視覺軌跡的媒體內容反向向地投影至三維(3D)空間上。舉例而言，至少一個視覺軌跡當中的每一個係由軌跡推導而獲得，該至少一個視覺軌跡包括投影的二維(2D)視訊軌跡，而衍生軌跡則為未投影的VR 3D視訊軌跡。
在TransformProperty項目被設置為啟用封包轉換(即TransformProperty='pack')的第二種情況下，封包轉換的操作可以透過前向填充來設置，其中，該前向填充被設置為填充至少一個視覺軌跡的媒體內容至二維(2D)平面上。或者，封包轉換的操作可以透過反向填充來設置，其中，該反向填充被設置為將至少一個視覺軌跡的媒體內容反向向地填充至二維(2D)平面上。舉例而言，至少一個視覺軌跡當中的每一個係由軌跡推導而獲得，該至少一個視覺軌跡包括一個投影並填充的二維(2D)視訊軌跡，而衍生軌跡則為一個投影的2D視訊軌跡。
利用本發明提出的這些新項目「proj」和「pack、以及已經提出的項目，可以在ISOBMFF檔案內指定許多衍生軌跡，如下所示：可以使用'cmp1'或'sel1'將「瓦片」(或「區域」)軌跡指定為其「變體」軌跡的衍生複合軌跡，可以使用'cmpa'將投影和映射(或填充)的軌跡指定為其「瓦片」軌跡的衍生的複合軌跡，可以使用(反向)’pack’將投影軌跡指定為投影和映射軌跡的衍生軌跡， 也可以使用(反向)'proj'將未投影(或原始、初始)視訊軌跡指定為投影軌跡的衍生軌跡。
第15圖為依據本發明之實施例之基於軌跡推導之軌跡階層以及與衍生軌跡相關之適當元資料之示意圖。如第15圖所示，rProjection、rPacking、compose和alternate分別代表TransformProperty項目中之reverse 'proj'，reverse 'pack'，'cmpa'和'cmp1'(或'sel1')。須注意的是，元資料軌跡中顯示的元資料僅用於說明目的；可以透過OMAF的CD更嚴格地定義它們(如CMP和ERP等投影類型、以及如架構1及區域填充架構等填充架構)，並將其作為元資料放入視訊軌跡中。
在上面的分層結構中不一定需要一些中間衍生軌跡的情況下，相關推導步驟可以被組合成一個，如第16圖所示的情況。在第16圖中，反向填充和反向投影被組合在一起，以消除投影軌跡v(2)的存在。
仍須注意的是，也可以讓每個輸入軌跡在相關的定時元資料軌跡或視訊軌跡元資料中，攜帶其空間元資料。
本發明所提出之新的TransformProperty項目'proj'和'pack'定義如下。
投影
定義
盒子類型：'proj'
強制性(每個樣品)：否
數量(每個樣本)：任何
當投影'proj'轉換屬性存在時，要求num_inputs大於或等於1，且用於相應圖像操作之輸入實體為視覺軌跡。所有輸入軌跡可以屬於相同的分組軌跡(即它們可以全部包含具有相同track_group_id值的分組軌跡盒'trgr')，但是沒有任何兩個軌跡屬於相同的替代分組軌跡(即它們不包含具有相同的非零alternate_group值的標題軌跡盒'tkhd'，表明它們屬於同一個替代分組且僅從替代分組中選擇一個)。
此轉換屬性指定未投影軌跡的幾何類型geometry_type、未投影軌跡投影至投影軌跡上的投影類型projection_type以及指示操作為(前向)投影或反向投影之指標is_reverse。當操作為(前向)投影時，所有輸入軌跡中之媒體內容具有相同的幾何類型，且每個軌跡係根據投影類型(如ERP、CMP等)投影在2D平面上。當操作為反向投影時，所有輸入軌跡中之媒體內容皆位於2D訊框上，且每個軌跡係根據投影類型(如ERP、CMP等)反向投影在幾何類型之幾何圖形上。
須注意的是，當未投影的軌跡包含由OMAF的CD指定的其投影元資料之全方位視訊時，可以使用投影元資料來定義該投影“proj”轉換屬性，如ProjectedOmnidirectionalVideoBox所攜帶之投影元資料。
還要注意的是，該指標的引入是為了語法緊密的目的；可以分別為投影和反向投影定義轉換屬性。
語法
請注意，如果使用在OMAF的CD中指定的投影元資料(如ProjectedOmnidirectionalVideoBox)，則語法可以定義如下：
語意
is_reverse指示操作為(前向)投影('=0')或是反向投影('=1')。
geometry_type、projection_type和ProjectedOmnidirectionalVideoBox具有與OMAF的CD中定義的 元資料相同的語意。
填充(或映射)
定義
盒子類型：'pack'
強制性(每個樣品)：否
數量(每個樣本)：任何
填充'pack'轉換屬性存在時，要求num_inputs大於或等於1，且用於相應影像操作的輸入實體為視覺軌跡。所有輸入軌跡可以屬於相同的軌跡組(亦即它們可以皆包含具有相同track_group_id值的分組軌跡盒'trgr')，但卻沒有任兩個軌跡屬於相同的替代軌跡組(亦即它們不包含帶有相同的非零alternate_group值之標題軌跡盒'tkhd'，並表明它們屬於同一個替代分組且用於僅從替代分組中選擇一個)。
此轉換屬性指定投影軌跡的填充類型packing_type、填充軌跡上的未填充軌跡的填充結構PackingStruct以及指示操作為(前向)填充或反向填充之指標is_reverse。當操作為(前向)填充時，根據填充類型(如packing_type=0時的矩形區域填充)將每個輸入軌跡中之媒體內容(可能為區域或表面軌跡)填充置到2D平面上。當操作是反向填充時，根據填充類型(如packing_type=0時的矩形區域填充)，將每個輸入軌跡中的媒體內容反向填充至2D平面上。
還要注意的是，該指標的引入是為了語法緊密的目 的；可以分別為填充和反向填充定義轉換屬性。
語法
語意
is_reverse指示操作為(前向)填充('=0')或是反向填充('=1')。proj_frame_width、proj_frame_height、packing_type和RectRegionPacking具有與OMAF的CD中定義的元資料相同的語意。
須注意的是，Packing的結構類似於OMAF的CD中RegionWisePackingBox的結構，並考慮到操作之輸入為輸入軌跡而非輸入區域，其編號由num_inputs而非num_regions所指定，且還有一些不要求每個輸入軌跡有自己的packing_type的簡化。如果要使用非區域式包架構或其他填充類型，則可以以類似方式引入其他結構。
建議使用以下TransformProperty項目來導出2D ROI和3D視埠相關軌跡：
1.'sroi'：2D矩形ROI
2.'svpt'：6DoF中的各種形狀的通用3D視埠(自由度)
第17圖為依據本發明之實施例之使用此兩個轉換屬性以推導2D ROI及3D視埠軌跡，以及它們各自元資料軌跡的適當關聯之示意圖。
除了已經提出的那些之外，本發明還提供用於從其他軌跡推導VR ROI和VR視埠相關軌跡之實施例。具體而言，本發明提出了以下TransformProperty項目的新定義：
1.'svpt'：VR視埠選擇
2.'rois'：6DoF中的各種形狀的VR ROI選擇(自由度)
從概念上來說，ROI是VR內容中的感興趣區域，而視區是VR內容的視野、以及它的平移和取向；也就是說，ROI為一個與內容之性質相關的概念，而視埠係以觀看為導向的。在這個意義上說，它們只是不同的概念，因為ROI的「尺寸」可能小於或大於任何給定的HMD的視埠大小，而ROI的「形狀」 可能與任何給定的HMD地視埠形狀不同。實際上，ROI可能不是整個視埠，或者甚至可能不被市場上任何HMD之視埠覆蓋(如偏航寬度>180度)。
因此，即使視埠可以為ROI，ROI概念仍比視埠更普遍。因此，ROI傳訊並非視埠傳訊，且應獨立於任何HMD的視埠之限制。此即是為何在本發明中引入新的轉換屬性'rois'來推導VR ROI軌跡的原因。
從VR服務提供者端(即來源電子裝置102)處之檔案封裝電路118生成的ISOBMFF檔案F可以包括從至少一個視覺軌跡(如現有軌跡或衍生軌跡)指示軌跡推導的TransformProperty項目，其中TransformProperty項目被設置為在軌跡推導中啟用VR視埠選擇(TransformProperty='svpt')和VR ROI選擇(TransformProperty='rois')中之一個。
在VR應用端檔案解封裝電路120(即目標電子裝置104)接收到的ISOBMFF檔案F'可以包括被設置為啟用軌跡推導中的VR視埠選擇(TransformProperty='svpt')和VR ROI選擇(TransformProperty='rois')中之一個。視訊解碼器122對從檔案解封裝電路120解封裝將編碼比特流的一部分進行解碼。圖形渲染電路124根據解碼部分編碼比特流的解碼結果獲得至少一個視覺軌跡(如現有軌跡或衍生軌跡)，並根據從ISOBMFF檔案F'提取/解析的TransformProperty項目之指示執行軌跡推導，以推導出ISOBMFF中的VR視埠相關軌跡、或ISOBMFF中的VR ROI相關軌跡。
使用兩個新定義的轉換屬性'svpt'和'rois'，可以將VR 視埠或ROI軌跡指定為(原始)VR視訊軌跡的衍生軌跡。如上所述，設置新定義的TransformProperty項目'svpt'或'rois'以指示軌跡推導，用於從至少一個視覺軌跡獲得衍生軌跡。在整個原始VR視訊軌跡確實存在的情況下(即在ISOBMFF檔案F中存在VR 3D視訊軌跡，使得可以從封裝在ISOBMFF檔案F’中的編碼比特流的一部分獲得VR 3D視訊軌跡)，至少一個視覺軌跡包括VR 3D視訊軌跡。第18圖為依據本發明之實施例之使用兩個所述轉換屬性以推導VR ROI及VR視埠軌跡以及它們各自元資料軌跡的適當關聯之示意圖。
在整個原始VR視訊軌跡不存在且需要從多個投影和填充的2D區域軌跡推導之另一情況下，如在視埠相關的VR視訊處理中，可以透過'cmpa'將VR視埠或ROI軌跡指定為相關覆蓋「區域」(或「瓦片」/「子圖像」)軌跡之衍生複合軌跡之衍生軌跡vi1、...、viq，其中{i1、...、iq}{1、...、r}，接著為反向映射'pack'和反向投影'proj'轉換，而不需要推導出整個原始VR視訊軌跡。如上所述，設置新定義的TransformProperty項目'svpt'或'rois'以指示軌跡推導，用於從至少一個視覺軌跡獲得衍生軌跡。在此情況下，至少一個視覺軌跡中的每一個係從基於存在於ISOBMFF檔案F中的二維(2D)區域軌跡的軌跡推導來獲得(即基於可以從封裝在ISOBMFF檔案F'中的編碼比特流的一部分獲得的二維(2D)區域軌跡)。第19圖為依據本發明之實施例之此種提供一個更有效率方法以推導VR視埠或ROI軌跡之軌跡推導之示意圖，其在很大程度上反映了用於顯示VR視埠或ROI的高效渲染過程。
新的TransformProperty項目的'svpt'和'rois'定義如下：
VR球體視埠
定義
盒子類型：'svpt'
強制性(每個樣品)：否
數量(每個樣本)：任何
樣本視埠的'svpt'轉換屬性係根據視埠定義(如OMAF的CD中給出的球形視埠的視埠定義)從輸入VR示例圖像項目建構(或提取)視埠樣本影像。當然，如果使用非球形視埠以外的幾何類型，其他視埠定義也是可能的。
語法
語意
center_yaw和center_pitch以相對於全局坐標系0.01度為單位來指定由該樣本指定的視點中心點之位置。center_yaw應介於-18000至17999之範圍內(包含邊界值)。center_pitch應於-9000到9000之範圍內(包含邊界值)。
shape_type指定視埠之視野(FoV)的形狀的類型。其需要以下值：
0：FoV以中心點為中心，但其形狀未指定-保留給顯示裝置來決定
1：FoV由兩個大偏航圓和兩個大節圓指定
2：FoV由兩個小偏航圓和兩個大節圓指定
3：FoV由兩個大偏航圓和兩個小節圓指定
4：FoV由兩個小偏航圓和兩個小節圓指定
大於1的值被保留。
當hor_range和ver_range存在時，分別指定由該樣本指定之區域的水平和垂直範圍，單位為0.01度。hor_range和ver_range指定透過該區域中心點之範圍。
VR ROI
定義
盒子類型：'rois'
強制性(每個樣品)：否
數量(每個樣本)：任何
樣本視埠'rois'轉換屬性係根據VR ROI定義從輸入VR影像項目建構(或提取)ROI樣本圖像，其中，該ROI定義包括3/2/1維空間中的參考6/3/1 DoF，以及ROI的形狀和大小。
語法
語意
dimension係指ROI所處的自由空間的維度。其值為1、2或3。
reference_x、reference_y和reference_z分別給出參考系統中x軸、y軸和z軸坐標的參考(或偏移)值，其中參考系統中所有ROI的sway(x)、heave(y)和surge(z)之值係經過計算的。
reference_pitch、reference_yaw和reference_roll分別給出參考系統中的俯仰、偏航和滾轉角的參考(或偏移)值，其中所有ROI的俯仰、偏航和滾轉角係經過計算的。reference_pitch、reference_yaw和reference_rol的最大範圍分別為[0,180]、[0,360]和[0,360]，表示俯仰、偏航和滾轉的最大角度範圍[-90,90]、[-180,180]和[-180，180]。
註：最大值範圍也可以選擇[-90,90]、[0,360]和[0,360]來表示俯仰、偏航和滾轉的最大角度範圍。
reference_width和reference_height分別給出參考2D平面矩形空間的寬度和高度，其中所有ROI視圖坐標 (top_left_x、top_left_y、center_x和center_y)係經過計算的。
註：當ROI位於3/2/1維空間中時，其相應的DoF為：由reference_x、reference_y、reference_z、reference_pitch、reference_yaw和reference_roll組成的6-DoF。
由reference_x、reference_y和reference_roll組成的3-DoF。
由reference_x組成的1-DoF。
x、y和z分別給出參考系統中的x軸、y軸和z軸坐標值，其中ROI的sway(x)、heave(y)和surge(z)係經過計算的。這些領域允許將ROI元資料軌跡與不同品質的媒體軌跡相關聯，但代表相同的視覺來源。
pitch,yaw和roll分別給出參考系統中的俯仰角、偏航角和滾轉角的值，其中ROI的俯仰角、偏航角和滾轉角係經過計算的。這些領域允許將ROI元資料軌跡與不同品質的參考媒體軌跡的媒體樣本相關聯，但代表相同的視覺來源。
shape表示ROI的FoV的形狀。在第20圖中列出了其數值。須注意的是，可以根據需要適當地擴展此列表。舉例而言，多邊形的形狀可以用連接兩個相鄰視點之間的線之視點的循環列表來定義。此外，第20圖中所示的這些形狀和尺寸也可以應用於視埠。
top_left_x和top_left_y分別給予與參考軌跡的媒體樣本相關聯的矩形(形狀=1)、三角形(形狀=2)和方形(形狀=3)的視埠視圖之左上角之水平和垂直坐標。
width和height分別給予與參考軌跡的媒體樣本相關 聯的矩形(shape=1)和三角形(shape=2)視埠視圖之寬度和高度。
rotation給予與參考軌跡的媒體樣本相關聯的三角形(形狀=2)視埠視圖之方向。其值0、1、2和3分別代表上面在上(不旋轉)、上面在下(180°旋轉)、上面在左(逆時針90°旋轉)和上面在右(順時針90°旋轉)。
size給予與參考軌跡的媒體樣本相關聯的正方形(形狀=3)視埠視圖之尺寸。
center_x和center_y分別給予與參考軌跡的媒體樣本相關聯的圓形(shape=3)視埠視圖中心之水平和垂直坐標。
radius給予與參考軌跡的媒體樣本相關聯的圓形(形狀=3)視埠視圖之半徑。
還要注意的是，指標shape及不同形狀類型的各種數值的引入是為了語法緊密的目的；可以分別為個別形狀類型或各形狀類形之任何組合分別定義轉換屬性。
本領域之通常技術者可輕易觀察到在維持本發明的教導的同時，仍可對於此裝置及方法進行各種修改及變更。據此，上述揭露之內容應被解釋為僅受所附之專利申請範圍的界限之限制。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

Claims (26)

  1. 一種視訊處理方法，包括：接收一虛擬實境內容；從所述虛擬實境內容獲取一圖像；編碼所述圖像以生成一編碼比特流之一部分；以及由一檔案封裝電路將所述編碼比特流之所述部分封裝為至少一個ISO基本媒體檔案格式檔案，其中所述至少一個ISO基本媒體檔案格式檔案包括一轉換屬性項目，所述轉換轉換屬性項目指示從至少一視覺軌跡獲得一衍生軌跡之一軌跡推導，且所述轉換屬性項目被設置為啟用所述軌跡推導中至少一投影轉換、一封包轉換、一虛擬實境視埠選擇以及一虛擬實境區域填充選擇中之一者。
  2. 如申請專利範圍第1項所述之視訊處理方法，其中，所述轉換屬性項目被設置為至少啟用所述投影轉換；且所述投影轉換之一操作係由一前向投影所設置，所述前向投影被佈置為將所述至少一視覺軌跡之一媒體內容投影至一2D平面上。
  3. 如申請專利範圍第1項所述之視訊處理方法，其中，所述轉換屬性項目被設置為至少啟用所述投影轉換；且所述投影轉換之一操作係由一反向投影所設置，所述反向投影被佈置為將所述至少一視覺軌跡之一媒體內容反向投影至一3D空間上。
  4. 如申請專利範圍第3項所述之視訊處理方法，其中，所述至少一個所述視覺軌跡中的每一個係從軌跡推導所獲得，所述至少一個視覺軌跡包括一投影2D視訊軌跡，且所述衍生軌跡係為一未投影虛擬實境3D視訊軌跡。
  5. 如申請專利範圍第1項所述之視訊處理方法，其中，所述轉換屬性項目被設置為至少啟用所述封包轉換；並且所述封包轉換之一操作係透過前向填充來設置，所述前向填充被佈置為將所述至少一個視覺軌跡之一媒體內容填充至一2D平面上。
  6. 如申請專利範圍第1項所述之視訊處理方法，其中，所述轉換屬性項目被設置為至少啟用所述封包轉換；並且所述封包轉換之一操作係透過反向填充來設置，所述反向填充被佈置為將所述至少一個視覺軌跡之一媒體內容反向填充至一2D平面上。
  7. 如申請專利範圍第6項所述之視訊處理方法，其中，所述至少一個視覺軌跡中的每一個係從軌跡推導所獲得，所述至少一個視覺軌跡包括一投影和填充的2D視訊軌跡，且所述衍生軌跡為一投影2D視訊軌跡。
  8. 如申請專利範圍第1項所述之視訊處理方法，其中，所述轉換屬性項目被設置為啟用所述虛擬實境視埠選擇和所述虛擬實境感興趣區域選擇中的至少一個，並且所述至少一個視覺軌跡包括一虛擬實境3D視訊軌跡，所述虛擬實境3D視訊軌跡存在於所述至少一個ISO基本媒體檔案格式檔案中。
  9. 如申請專利範圍第1項所述之視訊處理方法，其中，所述轉換屬性項目被設置為啟用所述虛擬實境視埠選擇和所述虛擬實境感興趣區域選擇中的至少一個，並且所述至少一個視覺軌跡中之每一個係從基於存在於所述至少一個ISO基本媒體檔案格式檔案中之2D區域軌跡上。
  10. 一種視訊處理方法，包括：接收一虛擬實境內容；從所述虛擬實境內容獲取一圖像；編碼所述圖像以生成一編碼比特流之一部分；以及由一檔案封裝電路將所述編碼比特流之所述部分封裝為至少一個ISO基本媒體檔案格式檔案，其中所述至少一個ISO基本媒體檔案格式檔案包括與一視埠方向相關聯之一第一參數、一第二參數以及第三參數，其中所述第一參數、所述第二參數及所述第三參數分別指示所述視埠之一中心之一偏航角、一俯仰角及一滾轉角。
  11. 一種視訊處理方法，包括：接收至少一ISO基本媒體檔案格式檔案，其中一虛擬實境內容係由所述至少一ISO基本媒體檔案格式檔案傳送，且所述至少一ISO基本媒體檔案格式檔案包括一轉換屬性項目；使用一檔案解封裝電路將所述至少一ISO基本媒體檔案格式檔案解封裝成一編碼比特流之一部分，其中所述轉換屬性項目係從所述至少一ISO基本媒體檔案格式檔案解析；解碼所述編碼比特流之所述部分；根據所述編碼比特流之所述部分之解碼結果獲得至少一視覺軌跡；以及透過執行由所述轉換特性項目指示之軌跡推導，以從所述至少一個視覺軌跡獲得一衍生軌跡，其中，所述轉換特性項目啟用所述軌跡推導中一投影轉換、一封包轉換、一虛擬實境視埠選擇及一虛擬實境感興趣區域中之至少一個。
  12. 如申請專利範圍第11項所述之視訊處理方法，其中，所述轉換屬性項目至少啟用所述投影轉換；且所述投影轉換之一操作係將所述至少一視覺軌跡之一媒體內容投影至一2D平面上之一前向投影。
  13. 如申請專利範圍第11項所述之視訊處理方法，其中，所述轉換屬性項目至少啟用所述投影轉換；且所述投影轉換之一操作係將所述至少一視覺軌跡之一媒體內容反向投影至一3D空間上之一反向投影。
  14. 如申請專利範圍第13項所述之視訊處理方法，其中，所述至少一視覺軌跡中的每一個係從軌跡推導所獲得，所述至少一視覺軌跡包括一投影2D視訊軌跡，且所述衍生軌跡為未投影虛擬實境3D視訊軌跡。
  15. 如申請專利範圍第11項所述之視訊處理方法，其中，所述轉換屬性項目至少啟用所述封包轉換；且所述封包轉換之一操作係將所述至少一個視覺軌跡之一媒體內容填充至一2D平面上之一前向填充。
  16. 如申請專利範圍第11項所述之視訊處理方法，其中，所述轉換屬性項目至少啟用所述封包轉換；且所述封包轉換之一操作係將所述至少一個視覺軌跡之一媒體內容反向填充至一2D平面上之一反向填充。
  17. 如申請專利範圍第16項所述之視訊處理方法，其中，所述至少一個視覺軌跡中之每一個係從軌跡推導所獲得，所述至少一個視覺軌跡包括一投影及填充之2D視訊軌跡，且所述衍生軌跡為一投影2D視訊軌跡。
  18. 如申請專利範圍第11項所述之視訊處理方法，其中，所述轉換屬性項目啟用所述虛擬實境視埠選擇和所述虛擬實境感興趣區域選擇中之至少一個，且所述至少一個視覺軌跡包括從所述編碼比特流之所述部分獲得之一虛擬實境3D視訊軌跡。
  19. 如申請專利範圍第11項所述之視訊處理方法，其中，所述轉換屬性項啟用所述虛擬實境視埠選擇和所述虛擬實境感興趣區域選擇中之至少一個，且所述至少一個視覺軌跡中之每一個係基於從所述編碼比特流之所述部分中獲得之2D視訊區域軌跡之軌跡推導所獲得。
  20. 一種視訊處理方法，包括：接收至少一ISO基本媒體檔案格式檔案，其中一虛擬實境內容係由所述至少一ISO基本媒體檔案格式檔案所傳送，所述至少一ISO基本媒體檔案格式檔案包括與一視埠的方向相關聯之一第一參數、一第二參數及第三參數，所述第一參數、所述第二參數及所述第三參數分別指示一視埠中心之一偏航角、一俯仰角及一滾轉角；將所述至少一ISO基本媒體檔案格式檔案解封裝為一編碼比特流之一部分，其中所述第一參數、所述第二參數及所述第三參數係解析自所述至少一ISO基本媒體檔案格式檔案；解碼所述編碼比特流之所述部分以獲得所述視埠之一解碼資料；以及根據所述視埠之所述解碼資料在一顯示螢幕上渲染並顯示所述視埠。
  21. 如申請專利範圍第20項所述之視訊處理方法，其中，所述至少一個ISO基本媒體檔案格式檔案進一步包括一第四參數及一第五參數，其中所述第四參數及所述第五參數分別指示所述視埠之一水平範圍及所述視埠之一垂直範圍，而所述視訊處理方法更進一步包括：根據所述第一參數、所述第二參數、所述第三參數、所述第四參數及所述第五參數來識別所述視埠，包括：使所述視埠居於由所述第一參數指示之所述偏航角與由所述第二參數指示之所述俯仰角之中間；在所述視埠居於所述偏航角與所述俯仰角之中心後，根據所述水平範圍及所述垂直範圍確定所述視埠之邊界；以及在確定視埠的邊界之後，根據所述滾轉角向所述視埠施加旋轉。
  22. 如申請專利範圍第20項所述之視訊處理方法，其中，所述至少一個ISO基本媒體檔案格式檔案進一步包括一第四參數及一第五參數，其中所述第四參數及所述第五參數分別指示所述視埠之一水平範圍及所述視埠之一垂直範圍，所述視訊處理方法更進一步包括：根據所述第一參數、所述第二參數、所述第三參數、所述第四參數及所述第五參數來識別所述視埠，包括：使所述視埠居於由所述第一參數指示之所述偏航角與由所述第二參數指示之所述俯仰角之中間；在所述視埠居於所述偏航角與所述俯仰角之中心後，根據所述滾轉角對一坐標系施加旋轉；以及在所述坐標系與所述滾轉角一起旋轉後，根據所述水平範圍及所述垂直範圍確定所述視埠之邊界。
  23. 一種視訊處理裝置，包括：一轉換電路，用於接收一虛擬實境內容，並從所述虛擬實境內容中獲得一圖像；一視訊編碼器，用於編碼所述圖像以產生一編碼比特流之一部分；以及一檔案封裝電路，用於將所述部分之所述編碼比特流封裝為至少一ISO基本媒體檔案格式檔案，其中所述至少一ISO基本媒體檔案格式檔案包括一轉換屬性項目，所述轉換屬性項目指示軌跡推導以從所至少一視覺軌跡獲得一衍生軌跡，且所述轉換屬性項目被設置為在所述軌跡推導中啟用一投影轉換、一封包轉換、一虛擬實境視埠選擇和一虛擬實境感興趣區域選擇中之至少一個。
  24. 一種視訊處理裝置，包括：一轉換電路，用於接收一虛擬實境內容，並從所述虛擬實境內容中獲得一圖像；一視訊編碼器，用於編碼所述圖像以生成一編碼比特流之一部分；以及一檔案封裝電路，用於將所述部分編碼比特流之所述部分封裝成至少一ISO基本媒體檔案格式檔案，其中所述至少一ISO基本媒體檔案格式檔案包括與一視埠之方向相關聯之一第一參數、一第二參數及一第三參數，其中所述第一參數、所述第二參數及所述第三參數分別指示所述視埠之一中心的一偏航角、一俯仰角及一滾轉角。
  25. 一種視訊處理裝置，包括：一檔案解封裝電路，用於接收至少一ISO基本媒體檔案格式檔案，並將所述至少一ISO基本媒體檔案格式檔案解封裝為一編碼比特流之一部分，其中一虛擬實境內容係由所述至少一ISO基本媒體檔案格式檔案所傳送，所述至少一個ISO基本媒體檔案格式檔案包括一轉換屬性項目，而所述轉換屬性項目係從所述至少一個ISO基本媒體檔案格式檔案所解析；一視訊解碼器，用於解碼所述編碼比特流之所述部分；以及一後處理電路，用於根據所述編碼比特流之所述部分之一解碼結果得到至少一個視覺軌跡，並執行由所述轉換屬性項目指示之一軌跡推導，以從所述至少一個視覺軌跡中獲得一衍生軌跡，其中所述轉換特性項目啟用在所述軌跡推導中之一投影轉換、一封包轉換、一虛擬實境視埠選擇及一虛擬實境感興趣區域選擇中之至少一個。
  26. 一種視訊處理裝置，包括：一檔案解封裝電路，用於接收至少一ISO基本媒體檔案格式檔案，並將所述至少一ISO基本媒體檔案格式檔案解封裝為一編碼比特流之一部分，其中由所述至少一ISO基本媒體檔案格式檔案傳遞一虛擬實境內容，而所述至少一ISO基本媒體檔案格式檔案包括與一視埠的方向相關聯之一第一參數、一第二參數以及一第三參數，其中所述第一參數、所述第二參數及所述第三參數分別指示所述視埠之一中心的一偏航角、一俯仰角及一滾轉角，且所述第一參數、所述第二參數及所述第三參數係解析自所述至少一個ISO基本媒體檔案格式檔案；一視訊解碼器，用於解碼所述編碼比特流之所述部分以獲得一視埠之一解碼後資料；以及一後處理電路，用於根據所述解碼後資料將所述視埠渲染及顯示於在一顯示螢幕上。
TW107110199A 2017-03-24 2018-03-26 在iso基本媒體檔案格式推導虛擬實境投影、填充、感興趣區域及視埠相關軌跡並支援視埠滾動訊號之方法及裝置 TWI670973B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201762475944P 2017-03-24 2017-03-24
US62/475,944 2017-03-24
US201762476939P 2017-03-27 2017-03-27
US62/476,939 2017-03-27
US201762478062P 2017-03-29 2017-03-29
US62/478,062 2017-03-29
??PCT/CN2018/080338 2018-03-23
PCT/CN2018/080338 WO2018171758A1 (en) 2017-03-24 2018-03-23 Method and apparatus for deriving vr projection, packing, roi and viewport related tracks in isobmff and supporting viewport roll signaling

Publications (2)

Publication Number Publication Date
TW201841510A TW201841510A (zh) 2018-11-16
TWI670973B true TWI670973B (zh) 2019-09-01

Family

ID=63584193

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107110199A TWI670973B (zh) 2017-03-24 2018-03-26 在iso基本媒體檔案格式推導虛擬實境投影、填充、感興趣區域及視埠相關軌跡並支援視埠滾動訊號之方法及裝置

Country Status (4)

Country Link
US (1) US11049323B2 (zh)
CN (1) CN110431847B (zh)
TW (1) TWI670973B (zh)
WO (1) WO2018171758A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10958890B2 (en) * 2017-03-31 2021-03-23 Samsung Electronics Co., Ltd. Method and apparatus for rendering timed text and graphics in virtual reality video
KR102344073B1 (ko) * 2018-04-05 2021-12-28 엘지전자 주식회사 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오를 전송하는 장치 및 360도 비디오를 수신하는 장치
WO2019195101A1 (en) * 2018-04-05 2019-10-10 Futurewei Technologies, Inc. Efficient association between dash objects
KR102188270B1 (ko) * 2018-07-06 2020-12-09 엘지전자 주식회사 360 비디오 데이터의 서브픽처 기반 처리 방법 및 그 장치
JP7271672B2 (ja) * 2018-12-14 2023-05-11 中興通訊股▲ふん▼有限公司 没入型ビデオビットストリーム処理
CN111869201B (zh) * 2019-01-08 2023-01-31 三星电子株式会社 处理和发送三维内容的方法
US20210349308A1 (en) * 2020-05-05 2021-11-11 Szu Wen FAN System and method for video processing using a virtual reality device
CN112055263B (zh) * 2020-09-08 2021-08-13 西安交通大学 基于显著性检测的360°视频流传输系统
US11393432B2 (en) 2020-09-24 2022-07-19 Snap Inc. Rotational image viewer
GB2602643B (en) * 2021-01-06 2023-04-05 Canon Kk Method, device, and computer program for optimizing encapsulation of images
US20230007314A1 (en) * 2021-07-05 2023-01-05 Mediatek Singapore Pte. Ltd. System and method of server-side dynamic spatial and temporal adaptations for media processing and streaming
CN114786037B (zh) * 2022-03-17 2024-04-12 青岛虚拟现实研究院有限公司 一种面向vr投影的自适应编码压缩方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331732A (zh) * 2016-09-26 2017-01-11 北京疯景科技有限公司 生成、展现全景内容的方法及装置
US20170085917A1 (en) * 2015-09-23 2017-03-23 Nokia Technologies Oy Method, an apparatus and a computer program product for coding a 360-degree panoramic video

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2155724A1 (en) * 1995-08-09 1997-02-10 Rajesh C. Vadavia Vr em-cee
US8788933B2 (en) * 2005-12-01 2014-07-22 Nokia Corporation Time-shifted presentation of media streams
US7826536B2 (en) * 2005-12-29 2010-11-02 Nokia Corporation Tune in time reduction
EP2145270B1 (en) * 2007-05-04 2016-08-17 Nokia Technologies Oy Media stream recording into a reception hint track of a multimedia container file
KR101242472B1 (ko) * 2008-07-16 2013-03-12 노키아 코포레이션 트랙 및 트랙 서브세트의 그룹화를 위한 방법 및 장치
EP2392138A4 (en) * 2009-01-28 2012-08-29 Nokia Corp METHOD AND APPARATUS FOR VIDEO ENCODING AND DECODING
KR20110011000A (ko) * 2009-07-27 2011-02-08 삼성전자주식회사 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 생성 방법 및 그 장치, 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 수신 방법 및 그 장치
US10791315B2 (en) * 2013-01-04 2020-09-29 Qualcomm Incorporated Signaling of spatial resolution of depth views in multiview coding file format
CN105325003B (zh) * 2013-04-17 2019-05-28 诺基亚技术有限公司 用于视频编码和解码的装置、方法
GB2516826B (en) * 2013-07-23 2016-06-22 Canon Kk Method, device and computer program for encapsulating partitioned timed media data by creating tracks to be independently encapsulated in at least one media f
JP6539672B2 (ja) * 2013-11-25 2019-07-03 テッセランド・エルエルシーＴｅｓｓｅｌａｎｄ Ｌｌｃ 没入型コンパクトディスプレイグラス
WO2015172227A1 (en) * 2014-05-13 2015-11-19 Pcp Vr Inc. Method, system and apparatus for generation and playback of virtual reality multimedia
US9897450B2 (en) * 2015-05-20 2018-02-20 Nokia Technologies Oy Method and apparatus to obtain differential location information
US11245939B2 (en) * 2015-06-26 2022-02-08 Samsung Electronics Co., Ltd. Generating and transmitting metadata for virtual reality
JP6092437B1 (ja) * 2016-02-02 2017-03-08 株式会社コロプラ 仮想空間画像提供方法、及びそのプログラム
KR102560029B1 (ko) * 2016-09-12 2023-07-26 삼성전자주식회사 가상 현실 콘텐트를 송수신하는 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170085917A1 (en) * 2015-09-23 2017-03-23 Nokia Technologies Oy Method, an apparatus and a computer program product for coding a 360-degree panoramic video
CN106331732A (zh) * 2016-09-26 2017-01-11 北京疯景科技有限公司 生成、展现全景内容的方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"ISO/IEC 14496-12: Information technology Coding of audio-visual objects Part 12: ISO base media file format," Fifth edition, Feb. 2015.
R. Skupin, Y. Sanchez, C. Hellge, and T. Schierl, "Tile based hevc video for head mounted displays," in IEEE Int. Symp. Multimedia (ISM’16), Dec. 2016, pp. 399–400.
R. Skupin, Y. Sanchez, C. Hellge, and T. Schierl, "Tile based hevc video for head mounted displays," in IEEE Int. Symp. Multimedia (ISM’16), Dec. 2016, pp. 399–400. "ISO/IEC 14496-12: Information technology Coding of audio-visual objects Part 12: ISO base media file format," Fifth edition, Feb. 2015. *

Also Published As

Publication number Publication date
CN110431847A (zh) 2019-11-08
US20200105063A1 (en) 2020-04-02
WO2018171758A1 (en) 2018-09-27
CN110431847B (zh) 2022-07-22
TW201841510A (zh) 2018-11-16
US11049323B2 (en) 2021-06-29

Similar Documents

Publication Publication Date Title
TWI670973B (zh) 在iso基本媒體檔案格式推導虛擬實境投影、填充、感興趣區域及視埠相關軌跡並支援視埠滾動訊號之方法及裝置
KR102208129B1 (ko) 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
KR102241082B1 (ko) 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
US10887577B2 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
CN109691094B (zh) 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置
CN110870303B (zh) 呈现超出全方位媒体的vr媒体的方法和装置
CN110612723B (zh) 发送/接收包括鱼眼视频信息的360度视频的方法及其装置
US20190387212A1 (en) 360 video processing method and apparatus therefor
US10893254B2 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
US20200389640A1 (en) Method and device for transmitting 360-degree video by using metadata related to hotspot and roi
CN110121734B (zh) 一种信息的处理方法及装置
KR20190140903A (ko) 퀄리티 기반 360도 비디오를 송수신하는 방법 및 그 장치
TWI676388B (zh) 說明國際標準化組織基本媒體檔案格式的球面區域資訊的方法和裝置
KR20200065087A (ko) 다중 뷰포인트 기반 360 비디오 처리 방법 및 그 장치
CN113891117B (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
KR20190116928A (ko) 360도 비디오를 송수신하는 방법 및 그 장치