TW201911869A - 全方位視訊之解碼方法、編碼方法及電子設備 - Google Patents

全方位視訊之解碼方法、編碼方法及電子設備 Download PDF

Info

Publication number
TW201911869A
TW201911869A TW107127433A TW107127433A TW201911869A TW 201911869 A TW201911869 A TW 201911869A TW 107127433 A TW107127433 A TW 107127433A TW 107127433 A TW107127433 A TW 107127433A TW 201911869 A TW201911869 A TW 201911869A
Authority
TW
Taiwan
Prior art keywords
view
omnidirectional
video
specific
image
Prior art date
Application number
TW107127433A
Other languages
English (en)
Other versions
TWI690201B (zh
Inventor
林建良
林鴻志
張勝凱
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201911869A publication Critical patent/TW201911869A/zh
Application granted granted Critical
Publication of TWI690201B publication Critical patent/TWI690201B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20108—Interactive selection of 2D slice in a 3D data set
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

對於如360度虛擬實境(360VR)視訊的全方位視訊，提供了支援全方位視訊的不同視圖的獨立解碼的視訊系統。用於這種系統的解碼器可以提取比特流的指定部分以解碼全方位影像的期望的透視/表面/視圖，而無需解碼整個影像，同時編碼效率損失最小或沒有損失。

Description

全方位視訊之解碼方法、編碼方法及電子設備 【交叉引用】
本申請案主張於2016年8月8日提交的美國臨時申請號62/371,878之優先權利，且上述申請內容以引用方式併入本文中。
本發明一般涉及視訊處理。具體而言，本發明涉及全方位視訊之解碼方法、編碼方法及電子設備。
除非本文另有說明，否則本部分中描述的方法不是下面列出的申請專利範圍的先前技術，並且不包括在本部分中作為先前技術。
360度虛擬實境(360VR)是改變、增強或替代的視聽模擬環境。虛擬實境視訊環繞使用者，允許使用者以任何方向或任意視角觀看，就像他或她在現實生活中一樣。360VR視訊可生成出色的高質量和高分辨率全景視訊，可用於各種應用的列印和全景虛擬巡演，如娛樂、飛行員訓練、手術以及太空或深水探索。
近年來，三維(3D)電視一直是一種技術趨勢， 其旨在於為觀眾帶來令人驚艷的觀看體驗。為了實現3D收看，已經開發了各種技術。多視圖視訊是3D電視應用的關鍵技術之一。該視訊可以是二維(2D)媒介，其僅從錄影機的角度向觀看者提供場景的單個視圖。多視圖視訊能夠提供動態場景的任意視點，並為觀眾提供真實感。3D視訊格式還可以包括與對應的紋理圖像相關聯的深度圖。深度圖也可以被編解碼來呈現三維視圖或多視圖。
作為高效視訊編解碼(HEVC)和下一代3D視訊編解碼標準的擴展，3D視訊編解碼擴展開發聯合協作團隊(JCT-3V)正式啟動了3D-HEVC視訊編解碼標準的標準化。為了更實際地支援自動立體多視圖顯示螢幕，多視圖視訊加深度格式被引入作為3D-HEVC的新3D視訊格式。
以下發明內容僅是說明性的，並不意圖以任何方式進行限制。也就是說，以下發明內容係介紹本文描述的新穎和非顯而易見的技術的概念、要點、益處和優點。在下面的實施方式中，進一步描述所選擇的、而非所有實現的內容。因此，以下發明內容並非意圖標識所要求保護的實體內容，也不意圖用於確定所要求保護的實體內容。
對於如360度虛擬實境(360VR)視訊的全方位視訊，本發明的一些實施例提供了支援全方位視訊的不同視圖的獨立解碼的系統。用於這種系統的解碼器可以提取比特流的指定部分以解碼全方位影像的期望的透視/表面/視圖，而無需解碼整個影像，同時編解碼效率損失最小或沒有損失。
在一些實施例中，視訊編碼器接收全方位影像序列。每個全方位影像具有多個視圖。視訊編碼器將全方位影像序列編碼成比特流。每個視圖在比特流中具有對應的一組視圖特定資料，用於解碼視圖。每組視圖特定資料能夠獨立於其他視圖的視圖特定資料進行解碼。
在一些實施例中，視訊解碼器接收包括編碼的全方位影像序列的比特流。每個全方位影像具有多個視圖。每個視圖都有一組視圖特定資料，用於解碼視圖。視訊解碼器接收視圖的選擇。對於序列中的全方位影像，視訊解碼器解碼全方位影像的所選視圖的該組視圖特定資料。至少一個其他視圖的視圖特定資料不被解碼。然後，視訊解碼器基於解碼的該組視圖特定資料提供全方位影像的所選視圖以供顯示。
110‧‧‧全方位視訊
150‧‧‧VR裝置
190‧‧‧比特流
191-196‧‧‧視圖特定資料
410‧‧‧等距矩形投影影像
411-416‧‧‧轉換字等距矩形投影的六個立方面
421-425‧‧‧基於六個立方面的不同排列的全方位影像示意圖
510‧‧‧全方位影像
511-518‧‧‧切片
601-609‧‧‧資料片段
711-749、811-841、911-922、1215‧‧‧CU
801-804‧‧‧視訊圖像
901‧‧‧編解碼圖像
902‧‧‧參考圖像
1110‧‧‧運動向量候選模組
1115‧‧‧原始候選列表
1120‧‧‧基於視圖的候選濾波器
1125‧‧‧修改後候選列表
1130‧‧‧運動向量選擇模組
1135‧‧‧所選運動向量
1140、1210‧‧‧運動向量剪輯模組
1145‧‧‧剪輯後之運動向量
1150‧‧‧運動向量生成模組
1155‧‧‧已生成之運動向量
1165、1216‧‧‧運動向量資訊
1190、1290‧‧‧CABAC的狀態和/或統計
1300‧‧‧視訊序列
1301-1303‧‧‧基礎層影像
1304-1317‧‧‧增強層影像
1500‧‧‧確保特定視圖的參考元素不超過特定視圖的邊界之流程圖
1510-1530‧‧‧步驟
1600‧‧‧將全方位視訊編碼成允許獨立解碼所選視圖的比特流時之流程圖
1610-1670‧‧‧步驟
1700‧‧‧視訊編碼器
1705‧‧‧輸入視訊訊號
1708‧‧‧減法器
1710‧‧‧變換模組
1711‧‧‧量化模組
1712‧‧‧量化資料
1713‧‧‧預測像素資料
1715、1815‧‧‧逆變換模組
1720‧‧‧訊框內估計模組
1725、1825‧‧‧訊框內預測模組
1730、1835‧‧‧運動補償模組
1735‧‧‧運動估計模組
1745、1845‧‧‧環路濾波器
1750、1850‧‧‧重建圖像緩衝器
1765、1865‧‧‧運動向量緩衝器
1775、1875‧‧‧運動向量預測模組
1790‧‧‧熵編碼器
1795、1895‧‧‧比特流
1800‧‧‧視訊解碼器
1805‧‧‧逆量化模組
1812‧‧‧量化的變換係數
1813‧‧‧預測的像素資料
1814‧‧‧變換係數
1855‧‧‧顯示設備
1890‧‧‧熵解碼器
1900‧‧‧電子系統
1905‧‧‧匯流排
1910‧‧‧處理單元
1915‧‧‧圖形處理單元(GPU)
1920‧‧‧系統記憶體
1925‧‧‧網路
1930‧‧‧唯讀記憶體(ROM)
1935‧‧‧永久儲存設備
1940‧‧‧輸入設備
1945‧‧‧輸出設備
附圖被包括在內，以提供對本發明的進一步理解，並且附圖被併入並構成本發明的一部分。附圖示意出了本發明的實施方式，並且與說明書一起用於解釋本發明的原理。可以理解的是，為了清楚地說明本發明的概念，附圖不一定按比例繪製，一些部件可能被示出為與實際實施中的尺寸不成比例。
第1a圖與第1b圖概念性地示意出了支援全方位視訊中的不同視圖的獨立解碼的視訊編解碼系統。
第2圖示意出了基於球體的等距矩形投影的全方位影像。
第3圖示意出了各種全方位影像，其為不同類型的柏拉圖式固體的投影。
第4圖示意出了一全方位影像，其被分割為對應於立方體的面的多個視圖。
第5圖示意出了一全方位影像，其中每個視圖被編碼為一個或多個切片。
第6圖概念性地示意出了一全方位視訊的熵編碼，以便促進對不同視圖的獨立解碼。
第7圖示意出了訊框內預測編解碼像素區塊，其被約束為視訊圖像的相同視圖內的參考像素。
第8圖示意出了被約束到相同視圖的參考像素的訊框間預測編解碼像素區塊。
第9a圖至第9b圖示意出了確保訊框間預測的像素區塊僅參考相同視圖的像素的運動向量剪輯操作。
第10a圖示意出了HEVC的合併模式候選。
第10b圖示意出了HEVC的運動向量預測候選。
第11圖示意出了視訊編碼器，其被配置為將全方位視訊編碼為比特流，使得可以獨立地解碼全方位視訊的不同視圖。
第12圖示意出了能夠獨立解碼全方位視訊的所選視圖的視訊解碼器。
第13圖概念性地示意出了根據分層預測結構編碼的視訊序列。
第14圖概念性地示意出了用於對所選視圖執行獨立解碼的流程。
第15圖概念性地示意出了用於確保特定視圖的參考元素不超過特定視圖的邊界的流程。
第16圖概念性地示意出了編碼器在將全方位視訊編碼成允許獨立解碼所選視圖的比特流時執行的流程。
第17圖示意出了將全方位視訊編碼為允許獨立解碼不同視圖的比特流的視訊編碼器。
第18圖示意出了視訊解碼器，其在全方位視訊中執行對所選視圖的獨立解碼。
第19圖概念性地示意出了可以實現本發明的一些實施例的電子系統。
在以下詳細描述中，透過範例闡述了許多具體細節，以提供對相關教導的透徹理解。基於本文描述的教導的任何變化、衍生物和/或擴展都在本發明的保護範圍內。在一些實例中，可以在沒有細節的情況下以相對高階的描述與本文發明的一個或多個範例實現有關的公知方法、流程、組件和/或電路，以避免不必要地模糊本發明各方面的教導。
對於如360度虛擬實境(360VR)視訊的全方位視訊，本發明的一些實施例提供了支援全方位視訊的不同視圖的獨立解碼的系統。用於這種系統的解碼器可以提取比特流的指定部分以解碼全方位影像的期望的透視/表面/視圖，而無需解碼整個影像並且不損失編解碼效率。
第1a圖與第1b圖概念性地示意出了支援全方位視訊中的不同視圖的獨立解碼的視訊編解碼系統。在一些實施例中，全方位視訊編解碼系統包括視訊編碼器系統和/或視訊解碼器系統，其編碼視訊影像或解碼符合視訊編碼標準的比特流 ，例如高階視訊編解碼(H.264 AVC)或高效視訊編解碼(H.265 HEVC)。視訊編解碼標準可以指定語法元素以便支援全方位視訊。
第1a圖示意出了視訊編碼器1700，其將全方位視訊編碼為允許獨立解碼不同視圖的比特流。如圖所示，視訊編碼器1700接收具有全方位影像的全方位視訊110，對全方位視訊110進行編碼並產生比特流190。
全方位視訊110具有六個視圖/表面/透視(以下稱為視圖)。全方位視訊110的不同視圖被編碼到比特流190的不同部分中。在此範例中，全方位視訊的視圖1至視圖6被編碼成不同組的視圖特定資料(視圖1至6分別為視圖特定資料191-196)。給定視圖的一組視圖特定資料包含用於重建對應於給定視圖的一影像的一部分(或複數個影像的複數個部分)的已編碼資訊。視圖的一組視圖特定資料不是指用於重建影像的像素的另一視圖的視圖特定資料，並且不依賴於從比特流190提取(如熵解碼)另一視圖的視圖特定資料。
第1b圖示意出了視訊解碼器1800，其對在全方位視訊中的所選視圖執行獨立解碼。如圖所示，視訊解碼器1800接收並解碼比特流190以重建全方位視訊110。視訊解碼器1800將重建的全方位視訊提供給虛擬實境(VR)設備150以供顯示。VR設備150的範例是VR虛擬實境眼鏡。在一些實施例中，VR設備是電子設備，其可以包括解碼器1800、顯示螢幕和用於接收來自使用者的輸入的使用者介面設備或電路。在一些實施例中，解碼器1800位於VR設備150外部，並且VR設備包括用 於從解碼器1800接收已解碼影像/視訊的輸入介面。
VR設備150的使用者可以僅查看全方位視訊110的六個視圖中的一個，而VR設備150(或VR設備內的使用者介面電路或設備)選擇全方位視訊110的一個視圖作為目前視圖進行顯示。VR設備150將目前視圖的選擇中繼(relay)到視訊解碼器1800，而解碼器1800僅解碼目前視圖的視圖特定資料，並將目前視圖的像素傳送到VR設備150。其他視圖的特定資料不會被解碼。在所示意的範例中，VR設備150選擇視圖3作為目前視圖，以及解碼器解碼視圖3的視圖特定資料。視圖1、2、4、5和6的視圖特定資料並未被解碼。因此，僅視圖3的像素被重建並提供給VR設備150。
在一些實施例中，VR設備150可以顯示與目前視圖相關(如鄰近或鄰接)的其他視圖的部分。在這些實例中，VR設備150選擇要顯示的視圖，而解碼器1800除了解碼目前視圖的視圖特定資料之外，還解碼相關視圖的視圖特定資料。在所示意的範例中，VR設備150顯示視圖2和4的部分，因為它們皆鄰近視圖3。除了視圖3之外，解碼器相應地解碼視圖2和4的視圖特定資料。視圖1、5和6的視圖特定資料皆不被解碼。在一些實施例中，VR設備將多個視圖的選擇中繼到解碼器1800，且解碼器將解碼所選擇的多個視圖的視圖特定資料，而不解碼未選擇的視圖。
在一些實施例中，全方位視訊110是具有一序列全方位影像的360VR視訊。每個全方位影像被分成多個視圖。全方位影像可以是不同類型的幾何形狀的表面區域的投影。第2 圖示意出了基於球體的等距矩形投影的全方位影像。第3圖示意出了各種全方位影像，其為不同類型的柏拉圖式固體的投影，包括立方體(6個面)、四面體(4個面)、八面體(8個面)、十二面體(12個面)或二十面體(20個面)。該圖還包括它們與球形投影和等距矩形投影(ERP)相比的面積比。
在第1a圖至第1b圖所示意的範例中，全方位視訊110的每個影像是具有六個視圖的全方位影像，其對應於立方體的六個面。全方位影像的六個視圖(或六個立方面)以6×1(1列)的格式排列。對於一些實施例，其視圖對應於立方體的不同面的全方位影像可以具有其他類型的佈置，如1×6(1行)、2×3、3×2或3×4(展開盒)等格式。
第4圖示意出了一全方位影像，其被分割為對應於立方體的面的多個視圖。如圖所示，等距矩形投影影像410被轉換為六個立方面411-416。然後將這六個面佈置在一起作為360VR全方位視訊的全方位影像的不同視圖。該圖示意出了基於六個立方面的不同排列的幾個全方位影像，包括6×1單列格式(421)、3×2雙列格式(422)、2×3三列格式(423)、3×4展開盒格式(424)以及1x6單行格式(425)。六個面中的影像可以形成一個連續影像(如展開盒的情況)。六面中的影像也可以不相交。
在一些實施例中，每個視圖或表面被編解碼為獨立區域。在一些實施例中，不同的獨立區域被編解碼為由編解碼標準定義的不同資料片段，如切片、瓦片或其他類型的分段。視圖的視圖特定資料被編碼為一個或多個切片(或一個或多 個瓦片)，使得給定視圖的視圖特定切片中的資料在邏輯上獨立於其他視圖的視圖特定切片(儘管給定視圖的視圖特定切片可能在邏輯上依賴於相同給定視圖的另一視圖特定切片)。換句話說，視訊解碼器可以在沒有解碼其他視圖的視圖特定切片的情況下，透過解碼給定視圖的視圖特定切片來解碼給定視圖的影像內容。
第5圖示意出了一全方位影像，其中每個視圖被編碼為一個或多個切片。如圖所示，全方位影像510(全方位視訊110中的視訊影像)被編碼為切片511-518。切片511-518中的每一個切片是視圖特定切片，其包含特定於影像510的一個視圖的資料。如圖所示，切片511包含特定於視圖1的資料，切片512和513包含特定於視圖2的資料，切片514包含特定於視圖3的資料，切片515包含特定於視圖4的資料，切片516和517包含特定於視圖5的資料，而切片518包含特定於視圖6的資料。
如圖所示，每個切片包括一個或多個像素區塊(如宏塊、編碼單元(CU))。可以對像素區塊進行訊框內編解碼(不參考區塊外部的像素)、訊框內預測(參考相同影像或視訊影像的像素)、或者訊框間預測(透過如運動向量參考時間上不同的影像或視訊圖像的像素)。
不同視圖的視圖特定切片在邏輯上彼此獨立。因此，舉例而言，解碼器1800可以解碼切片514的像素區塊/CU(特定於視圖3)，而不解碼切片511-513和515-518中的任何切片。
在一些實施例中，為了確保給定視圖的視圖特定 資料片段(切片、瓦片)可以被獨立解碼，每個視圖特定資料段被獨立地熵編碼並且不依賴於其他片段的熵編碼狀態。具體而言，熵編解碼依賴不允許跨越視圖(或表面)的邊界。針對每個表面或視圖初始化在上下文自適應熵編解碼中使用的統計。
第6圖概念性地示意出了一全方位視訊的熵編碼，以便促進對不同視圖的獨立解碼。該圖示意出了比特流190的熵編碼，其包括不同資料片段601-609。片段602-607和609是對應至全方位視訊110的不同視圖的影像內容的片段(如諸如切片511-518的切片)。片段601和608是攜帶對所有視圖共同的資料的片段(如影像標題、序列標題等)。
如圖所示，比特流190的熵編碼狀態(如在上下文自適應熵編解碼中使用的統計)在每個資料段的開始處重置，使得可以獨立地提取每個資料片段並對其進行熵解碼。這允許視訊解碼器1800在不需要對其他視圖的資料段進行熵解碼的情況下透過對該視圖的資料段進行熵解碼，來提取給定視圖的影像內容。
在一些實施例中，為了確保可以獨立地解碼給定視圖的視圖特定資料片段(切片、瓦片)，每個資料片段的像素區塊在不參考任何其他視圖的像素的情況下進行編碼。具體而言，當對給定視圖的像素區塊進行訊框內預測編解碼時，訊框內預測被約束為參考同一視訊影像中的相同視圖的像素；當對給定視圖的像素區塊進行訊框間預測編解碼時，訊框間預測被約束為參考在時間上不同的視訊影像中相同視圖的像素。
第7圖示意出了訊框內預測編解碼像素區塊，其被約束為參考視訊圖像的相同視圖內的像素。該圖示意出了全方位視訊的視訊圖像700。(為簡單起見，該圖僅描繪了四個視圖)。視訊影像700的每個視圖包括一個或多個CU，其被訊框內預測編解碼為參考相同視訊圖像的像素。其中，CU 711、721、731、741和742與它們各自視圖的頂部和左側邊界充分遠離，而CU 719、728、729、739和749則位於他們各自視圖邊界靠近頂部或左側的位置。
為了支援不同視圖的獨立解碼，在一些實施例中，編碼器1700被約束為僅使用不參考CU視圖之外的像素的訊框內預測模式。對於所示意的範例，CU 711、721、731、741和742可由任何訊框內預測模式編解碼，所述訊框內預測模式將像素參考到那些CU的左側或頂部，因為那些CU的左側或頂部的像素位於相同的視圖內。另一方面，CU 719、728、729、739和749不能透過至少一些訊框內預測模式進行訊框內預測編解碼，因為這些CU的一些訊框內預測模式參考了他們各自的視圖的邊界外的像素。因此，為了透過訊框內預測對視圖2的CU 729進行編碼，編碼器1700被約束為僅使用參考CU 729左側的像素的訊框內預測模式，而不使用參考CU 729頂部的像素的訊框內預測模式，因為到CU 729頂部的像素可能屬於另一個視圖(視圖1)。
在一些實施例中，當CU針對訊框內預測參考在其相應視圖的邊界之外的像素時，所參考的像素被視為不可使用，並且可以基於位於各自視圖內部的鄰接參考像素的值來替換 為默認值。
第8圖示意出了被約束到參考相同視圖(在時間上不同的視訊影像中)的像素的訊框間預測編解碼像素區塊。該圖示意出了具有幾個視訊圖像801-804的視訊序列800，其被安排在不同的時間顯示。視訊序列800是全方位視訊的一部分，其視訊影像包括多個視圖(為簡單起見，該圖僅描繪了四個視圖)。
該圖描繪了訊框間預測編解碼的一些CU，包括CU 811、821、822、831、832、841。訊框間預測編解碼的CU是視訊圖像802的一部分。每個訊框間預測編解碼CU包括參考其他視訊影像(如801、803和804中的像素，其為具有與視訊圖像802不同的顯示時間的視訊影像)中的像素的一個或多個參考元素(如運動向量)。
為了使解碼器能夠獨立地解碼不同視圖的影像內容，訊框間預測編解碼CU被約束為僅參考相同視圖中的像素，而不參考其他視圖中的像素。舉例而言，CU 811位於視訊影像802的視圖1中。它具有參考視訊圖影像801和804的視圖1中的像素的運動向量。CU 821位於視訊圖影像802的視圖2中。它具有參考視訊圖影像801和803的視圖2中的像素的運動向量。CU 811、821、822、831、832和841中的任何一個都不具有參考其各自視圖之外的像素的運動向量。
在一些實施例中，為了確保像素區塊的運動向量保持在同一視圖內，編碼器1700僅對停留在與像素區塊相同的視圖內的運動向量(無論是透過合併模式、運動向量預測還是 其他方法)進行編碼。在一些實施例中，編碼器1700和解碼器1800執行運動向量剪輯(clip)操作。運動向量剪輯操作將參考視圖外部的像素的運動向量修改為僅參考與像素區塊相同的視圖內的像素而不參考視圖外的任何像素剪輯的運動向量。
第9a圖至第9b圖示意出了確保訊框間預測的像素區塊僅參考相同視圖的像素、而不參考視圖邊界外的運動向量剪輯或修改操作。第9a圖至第9b圖示意出了編解碼圖像901(正被編碼或解碼的視訊影像)的視圖1中的CU 911。CU 911最初被分配了參考在參考圖像902的視圖2中的像素的運動向量921。運動向量剪輯或修改操作將運動向量921修改為剪輯或修改的運動向量922，其完全參考了參考圖像902的視圖1內的像素。
在一些實施例中，運動向量剪輯操作將運動向量的目標移動到最接近運動向量的原始目標的同一視圖內的位置。在第9a圖的範例中，視圖2在視圖1的右側，因此運動向量剪輯操作在純x方向上將運動向量的目標移動到參考圖像902的視圖1內。在第9b圖的範例中，視圖2是視圖1的底部，因此運動向量剪輯操作在純y方向上將運動向量的目標移回到參考圖像902的視圖1內。
在一些實施例中，為了確保像素區塊的運動向量保持在同一視圖內，用於參考其相應視圖之外的像素的運動向量的運動向量預測子候選係被認為是不可使用的。在一些實施例中，以其相應視圖外部的參考像素為目標的運動向量可以被替換為從參考圖像列表或從空間鄰接的參考區塊或時間參考 區塊導出的另一運動向量。
在一些實施例中，編碼器1700透過在編碼運動向量之前修改超出邊界的運動向量來執行運動向量剪輯操作。在一些實施例中，編碼器1700將運動向量編碼到比特流中而不進行修改，同時讓編碼器1700和解碼器1800都檢測超出視圖邊界的運動向量。在檢測超出邊界的運動向量時，編碼器1700和解碼器1800將在執行運動補償時將各自將運動向量的目標移動到同一視圖內的相同位置。
一些視訊編碼標準提供了多種編碼運動向量的方式。舉例而言，H.265 HEVC允許編碼器透過合併模式或運動向量預測(MVP)對運動向量進行編碼。合併模式允許運動向量繼承自鄰接預測區塊，而運動向量預測使用基於鄰接CU(特別是訊框間預測編解解碼的鄰接CU)的運動向量的差分編解碼運動向量預測子。合併模式和運動向量預測兩者都允許編碼器1700在編碼運動向量時，從候選列表中進行選擇。
第10a圖示意出了HEVC的合併模式候選，包括從正被編碼的區塊的空間和時間鄰接區塊導出的空間和時間候選。每個候選鄰接區塊可以是訊框間預測編解碼區塊，其具有像素區塊可以繼承的運動向量。
第10b圖說明HEVC的運動向量預測候選，包括從正被編碼的區塊的空間和時間鄰接區塊導出的空間和/或時間候選。每個候選鄰接區塊可以是訊框間預測編解碼區塊，其具有編碼器可以做為運動向量預測子的運動向量。
如前所述，在一些實施例中，不論運動向量是透 過合併模式還是MVP編碼，視訊編碼器不編碼參考其它視圖中的像素的運動向量。為了確保編碼的運動向量停留在其關聯的像素區塊的視圖內，在一些實施例中，編碼器排除可能導致超出邊界的運動向量的合併候選或MVP候選。在一些實施例中，編碼器導出或選擇另一運動向量以替換可導致超出邊界的運動向量的合併候選或MPV候選。
在一些實施例中，編碼器還排除屬於另一視圖的鄰接像素區塊的合併候選或MVP候選。編碼器可以透過識別這樣的合併候選或MVP候選並且透過避免選擇所識別的候選用於編碼運動向量(如透過將這些候選視為不可使用的)來實現這一點。編碼器還可以將從所選候選計算的運動向量(無論是從合併模式還是MVP)剪輯到目前視圖內(如到視圖的邊界)，如上面參考第9a圖至第9b圖所描述的。透過比特流190將候選的選擇作為運動向量資訊集合的一部分傳送給解碼器，使得解碼器可以執行相同的運動向量剪輯。
第11圖示意出了視訊編碼器1700，其被配置為將全方位視訊編碼為比特流，使得全方位視訊的不同視圖可以獨立地被解碼。具體而言，該圖示意出了視訊編碼器1700的組件，其操作確保可以獨立於其他視圖提取和解碼任何給定視圖的編碼影像內容。參考下面的第17圖更詳細地描述視訊編碼器1700及其各種組件。
如第11圖所示，熵編碼器1790維持用於上下文自適應熵編解碼的狀態和/或統計(CABAC的狀態和/或統計)1190。每當熵編碼器1790接收到針對不同視圖的資料(來自量 化器1711)時，熵編碼器1790就重置熵編碼的狀態，並且開始新的片段以將資料儲存到比特流190中。
運動估計模組1735透過基於運動向量緩衝器1765和重建圖像緩衝器1750的內容從合併模式和/或MVP中選擇候選來執行運動估計。如圖所示，運動估計模組1735包括運動向量候選模組1110、基於視圖的候選濾波器1120、運動向量選擇模組1130、運動向量剪輯模組1140和運動向量生成模組1150。這些模組可以是由計算設備或電子設備的一個或多個處理單元(如處理器)執行的軟體指令的模組。這些模組也可以是由電子設備的一個或多個積體電路(IC)實現的硬體電路的模組。
運動向量候選模組1110基於儲存在運動向量緩衝器1765中的時間和空間鄰接像素區塊的運動向量，來識別並提供用於合併模式和/或MVP的候選列表(原始候選列表1115)。基於視圖的候選濾波器1120檢查(go through)候選列表，以識別可以參考目前視圖之外的像素的合併模式候選和/或MVP候選。然後從候選列表中移除所識別的候選，以創建經修改的候選列表1125。運動向量選擇模組1130從經修改的候選列表1125中選擇候選。運動向量選擇模組1130還可以從運動向量生成模組1150接收所生成的運動向量1155，其可以基於搜索來生成所生成的運動向量1155。這允許運動向量選擇模組1130基於鄰接區塊(合併模式和MVP)或生成的運動向量1155從候選中選擇運動向量1135。
然後，運動估計模組1735將用於所選運動向量的 運動向量資訊集合1165發送到熵編碼器1790以編碼到比特流190中。運動向量資訊1165可包括運動向量模式(如運動向量是否由合併模式或MVP編碼)、候選選擇索引和運動向量差值(或MVD，即所選候選運動向量與要使用的實際最終運動向量之間的差)。運動向量資訊1165被編碼到比特流190中，作為目前視圖的資料的一部分。
運動向量剪輯模組1140接收所選運動向量1135，並將運動向量剪輯到目前視圖的邊界。在一些實施例中，所選擇的運動向量在被運動向量剪輯模組1140剪輯之前被編碼到比特流中。在一些實施例中，所選擇的運動向量在被運動向量剪輯模組1140剪輯之後被編碼到比特流中。運動補償模組1730使用剪輯運動向量1145來重建正被編碼的像素區塊。運動向量剪輯模組1140可以是運動補償模組1730或運動估計模組1735的一部分。
第12圖示意出了能夠獨立解碼全方位視訊的所選視圖的視訊解碼器。具體而言，該圖示意出了視訊解碼器1800的組件，其操作提取和解碼全方位視訊110的所選視圖，而不解碼其他視圖。下面參考第18圖更詳細地描述視訊解碼器1800及其各種組件。
如第12圖所示，熵解碼器1890維持用於上下文自適應熵編解碼的狀態和/或統計(CABAC的狀態和/或統計)1290。每當熵解碼器1890從比特流190檢測到用於不同視圖的資料時，熵解碼器1890就重置熵編碼的狀態。熵解碼器1890還從VR設備150接收視圖選擇訊號，使得熵解碼器1890得知從比 特流190中提取哪個視圖特定資料。
由熵解碼器提取的所選視圖的視圖特定資料包括用於不同像素區塊的資料。該圖示意出了範例CU 1215，其包括量化的變換係數以及用於計算CU 1215的運動向量的運動向量資訊1216。
運動向量資訊1216被轉發到運動補償模組1835，其可包括運動向量剪輯模組1210。運動補償模組1835基於運動向量資訊1216和儲存在運動向量資訊緩衝器1865中的參考運動向量來重建運動向量。然後，如果需要的話，運動向量剪輯模組1210將重建的運動向量剪輯到由視圖選擇模組150選擇的視圖內。然後，運動補償模組1835使用運動向量和/或剪輯的運動向量，從重建影像緩衝器1850獲取像素資料。從重建影像緩衝器1850獲取的資料與由逆變換模組1815提供的資料相加，並在被儲存在重建影像緩衝器1850之前由環路濾波器1845進行濾波。
對於一些實施例，如解區塊、SAO或ALF的環路濾波器操作是不跨越面或視圖之間的邊界的。在一些實施例中，在邊界上禁止使用濾波器。在一些實施例中，如果在濾波操作中使用的像素值位於另一個面或視圖中，則可以將其視為不可使用，或者由默認值(如其鄰接像素值或邊界像素值)來替換。
為了允許視訊解碼器1800在執行對所選視圖的獨立解碼的同時切換到另一表面/視圖，在一些實施例中，視訊系統使用分層預測結構。具體而言，允許視訊解碼器在基礎層 圖像的解碼期間切換到全方位視訊的另一視圖或表面。
第13圖概念性地示意出了根據分層預測結構編碼的視訊序列1300。視訊序列1300包括基礎層影像1301-1303以及非基礎層或增強層影像1304-1317。基礎層圖像1301-1303可以彼此參考，但不參考任何非基礎層圖像。第一增強層圖像1304-1305可以參考基礎層圖像，但不參考任何第二或第三層增強層圖像。第二增強層圖像1306-1309可以參考基礎層圖像1301-1303和第一增強層圖像1304-1305，但不參考任何第三層增強圖像。第三層增強層圖像1310-1317可以參考任何下層圖像1301-1309。
為了允許視訊解碼器1800在執行對所選視圖的獨立解碼的同時平滑地切換到另一表面/視圖，當解碼基礎層圖像1301-1303時，視訊解碼器解碼所選視圖的影像內容以及部分或全部未選擇的視圖。當解碼非基礎層(增強層)圖像時，所選擇的目標視圖/表面被解碼並顯示，但是解碼器可以切換到非基礎層圖像參考的在下層圖像(包括基礎層)處解碼的另一個所選視圖或表面。舉例而言，第一增強層圖像1304參考基礎層圖像1301和1302，兩者都解碼所有可用視圖(1到6)。因此，解碼圖像1304時解碼器也可以解碼並顯示視圖1到6中的任何一個，儘管它選擇僅解碼視圖2到5而不解碼其他視圖。作為另一範例，第三層增強層圖像1313參考第二增強層圖像1307和基礎層圖像1302。由於解碼器解碼了圖像1307的視圖3到5，所以解碼器可在解碼圖像1313時解碼並顯示視圖3到5中的任何一個，儘管它選擇僅解碼視圖4到5而不解碼其他視圖。
在一些實施例中，當對目前切片/視圖/表面/瓦片進行編碼時，鄰接視圖的至少一些資訊被嵌入在比特流中的目前視圖的視圖特定資料中。舉例而言，在一些實施例中，鄰接視圖/表面/圖塊/切片中的像素區塊或CU的運動向量資訊被編碼並嵌入比特流中的目前切片/視圖/表面/圖塊的視圖特定資料中，以提供更好的MVP預測。在一些實施例中，鄰接切片/視圖/表面/瓦片的邊界像素被編碼並嵌入到比特流中的目前切片/視圖/面/瓦片的視圖特定資料中，以在編解碼目前切片/視圖/面/瓦片時，為訊框內預測提供邊界參考像素(而不是上面參考第7圖所描述避免參考鄰接視圖中的像素的訊框內預測模式)。
第14圖概念性地示意出了用於對所選視圖執行獨立解碼的流程1400。該流程接收一個或多個視圖的選擇，提取和解碼所選擇的視圖，而不解碼未選擇的視圖。
在一些實施例中，實現解碼器1800的計算設備的一個或多個處理單元(如處理器)透過執行儲存在電腦可讀媒介中的指令來執行流程1400。在一些實施例中，實現解碼器1800的電子設備執行流程1400。
解碼器接收(在步驟1410)具有全方位影像的編碼序列的比特流，每個全方位影像具有多個視圖，每個視圖具有用於解碼視圖的一組視圖特定資料。不同視圖的視圖特定資料被編碼在比特流的不同片段中，如切片或瓦片。
解碼器識別(在步驟1420)全方位影像序列中的全方位影像，作為要解碼的目前影像。然後，解碼器確定(在 步驟1425)要解碼的目前影像是否在預測階層的基礎層。如果是，則流程進行到步驟1430。如果目前影像不在預測層級的基礎層，則流程進行到步驟1450。
在步驟1430，解碼器接收一個或多個視圖的新選擇。在一些實施例中，解碼器接收一個視圖的選擇，並識別要與所選視圖一起被解碼和顯示的與所選視圖相關的一個或多個視圖(如鄰接視圖)。
解碼器還提取(在步驟1440)並解碼目前影像的所選視圖的視圖特定資料。解碼器還可以解碼影像的更多視圖(如所有視圖)，以允許在增強層圖像的解碼期間進行視圖切換。然後該流程進行到步驟1460。
在步驟1450，解碼器提取並解碼目前影像的所選視圖的視圖特定資料。不提取或解碼至少一個未選擇視圖的視圖特定資料。
解碼器顯示(在步驟1460)目前影像的所選視圖。對於顯示設備不是解碼器的一部分的一些實施例，解碼器透過輸入介面將所選視圖的重建或解碼像素發送到顯示設備，該顯示設備可以是VR設備。然後，流程1400結束，或返回到步驟1420以識別和解碼視訊序列中的另一影像。
第15圖概念性地示意出了用於確保特定視圖的參考元素不超過特定視圖的邊界的流程1500。當解碼器1800解碼屬於目前影像的所選視圖的像素區塊時(如當解碼器正在執行流程1400的步驟1450時)，執行流程1500。
解碼器從比特流接收(在1510處)所選視圖的視 圖特定資料中的參考元素。參考元素可以被編碼為運動向量資訊集合，其可以包括運動向量、運動向量模式(如運動向量是否由合併模式或MVP編碼)、候選選擇和/或運動向量差值(或MVD，即所選候選運動向量與要使用的實際最終運動向量之間的差)。
然後，解碼器確定(在1520處)參考元素是否參考所選視圖之外的資料(如像素)。如果是，則解碼器將參考元素(在步驟1530)修改以參考所選視圖內的資料。舉例而言，解碼器可執行運動向量剪裁，以將運動向量剪輯到參考所選視圖的邊界內的像素。
第16圖概念性地示意出了編碼器1700在將全方位視訊編碼成允許獨立解碼所選視圖的比特流時執行的流程1600。在一些實施例中，實現編碼器1700的計算設備的一個或多個處理單元(如處理器)透過執行儲存在電腦可讀媒介中的指令來執行流程1600。在一些實施例中，實現編碼器1700的電子設備執行流程1600。
當編碼器接收(在步驟1610)全方位影像的視訊序列時，流程1600開始，其中每個全方位影像具有多個視圖。然後，編碼器將全方位影像序列(在步驟1620)編碼為比特流，每個視圖在比特流中具有對應的一組視圖特定資料，用於解碼視圖的影像內容。每個視圖的特定於該組視圖的資料不依賴於任何其他視圖的視圖特定資料。這允許每組視圖特定資料獨立於其他視圖的視圖特定資料進行解碼。
對於每個像素區塊或編碼單元，編碼器識別(在 步驟1630)用於編碼像素區塊的一個或多個候選參考元素。這些候選參考元素可以包括鄰接像素區塊的運動向量和/或基於搜索的新生成的運動向量。這些參考元素可以做為合併模式運動向量或MVP運動向量預測子。
編碼器識別(在步驟1640)可導致參考像素區塊的視圖之外的像素的運動向量的候選參考元素。然後編碼器識別(在步驟1650)最合適的候選參考元素和最合適的運動向量模式；標識為視圖外部的參考像素的候選參考元素被排除在考慮範圍之外。
然後，編碼器確定(在步驟1655)所識別的最合適的參考元素是否參考所選視圖之外的資料。如果最合適的參考元素沒有參考視圖之外的資料，則流程進行到步驟1670，以便編碼器編碼最合適的參考元素。如果最合適的參考元素確實參考視圖之外的資料，則編碼器修改(在步驟1660)參考元素，以僅參考完全在視圖內的資料(如用於運動補償)。
在步驟1670，編碼器將識別的最合適的參考元素編碼到比特流中作為運動向量資訊集合。該組運動向量資訊可包括運動向量、運動向量模式(如運動向量是否透過合併模式或MVP編碼)、候選選擇和/或運動向量差值(或MVD，即所選候選運動向量與要使用的實際最終運動向量之間的差)。
視訊編碼器
第17圖示意出了將全方位視訊編碼為允許獨立解碼不同視圖的比特流的視訊編碼器1700或視訊編碼設備。
如圖所示，視訊編碼器1700從視訊源接收輸入視 訊訊號1705，並將訊號編碼到比特流1795中。視訊編碼器1700具有用於編碼視訊訊號1705的一些組件或模組，包括變換模組1710、量化模組1711、逆變換模組1715、訊框內估計模組1720、訊框內預測模組1725、運動補償模組1730、運動估計模組1735、環路濾波器1745、重建圖像緩衝器1750、MV緩衝器1765和MV預測模組1775，以及熵編碼器1790。
在一些實施例中，模組1710-1790是由計算設備或電子設備的一個或多個處理單元(如處理器)執行的軟體指令的模組。在一些實施例中，模組1710-1790是由電子設備的一個或多個積體電路(IC)實現的硬體電路的模組。儘管模組1710-1790被圖示為單獨的模組，但是一些模組可以組合成單個模組。
視訊來源1705提供原始視訊訊號，其呈現每個視訊訊框的像素資料而無需壓縮。減法器1708計算視訊來源1705的原始視訊像素資料與來自運動補償1730或訊框內預測1725預測像素資料1713之間的差值。變換模組1710將差值(或殘差像素資料)轉換為變換係數(如透過執行離散餘弦變換或DCT)。量化器1711將變換係數量化為量化資料(或量化變換係數)1712，其由熵編碼器1790編碼到比特流1795中。
逆變換模組1715對量化的變換係數1712執行逆變換，並(在添加預測像素資料1713之後)產生重建像素資料。在一些實施例中，重建像素資料臨時儲存在線緩衝器(未示出)中，用於訊框內預測和空間MV預測。重建的像素由環路濾波器1745濾波，並儲存在重建圖像緩衝器1750中。在一些實施 例中，重建圖像緩衝器1750是視訊編碼器1700外部的儲存器。在一些實施例中，重建圖像緩衝器1750是視訊編碼器1700內部的儲存器。
訊框內估計模組1720基於重建像素資料執行訊框內預測，以產生訊框內預測資料。訊框內預測資料被提供給熵編碼器1790以被編碼成比特流1795。訊框內預測資料也被訊框內預測模組1725用來產生預測像素資料1713。
運動估計模組1735透過產生MV來參考儲存在重建圖像緩衝器1750中的先前解碼的訊框的像素資料，來執行訊框間預測。這些MV被提供給運動補償模組1730以產生預測的像素資料。這些MV對於在單通道解碼系統處重建視訊訊框也是必需的。視訊編碼器1700使用時間MV預測來產生預測的MV，而不是對比特流中的完整實際MV進行編碼，且用於運動補償的MV與預測的MV之間的差值被編碼為殘餘運動資料並儲存在比特流1795中，以用於單通道解碼系統。
視訊編碼器1700基於為對先前視訊訊框進行編碼而生成的參考MV(即用於執行運動補償的運動補償MV)來生成預測的MV。視訊編碼器1700從來自MV緩衝器1765的先前視訊訊框中取得參考MV。視訊編碼器1700將針對目前視訊訊框生成的MV儲存在MV緩衝器1765中，作為用於生成預測MV的參考MV。
MV預測模組1775使用參考MV來創建預測的MV。可以透過空間MV預測或時間MV預測來計算預測的MV。預測的MV與目前訊框的運動補償MV(MC MV)之間的差值(殘餘 運動資料)由熵編碼器1790編碼到比特流1795中。
熵編碼器1790透過使用如上下文自適應二進制算術編解碼(CABAC)或霍夫曼編碼的熵編碼技術，將各種參數和資料編碼到比特流1795中。熵編碼器1790將如量化變換資料和殘餘運動資料的參數編碼到比特流中。
環路濾波器1745對重建像素資料執行濾波或平滑操作以減少編碼的假影，特別是在像素區塊的邊界處。在一些實施例中，執行的濾波操作包括樣本自適應偏移(SAO)。在一些實施例中，濾波操作包括自適應環路濾波器(ALF)。
視訊解碼器
第18圖示意出了視訊解碼器1800或視訊解碼設備，其在全方位視訊中執行對所選視圖的獨立解碼。如圖所示，視訊解碼器1800是視訊解碼電路，其接收比特流1895並將比特流的內容解碼為視訊訊框的像素資料以供顯示。視訊解碼器1800具有用於解碼比特流1895的一些組件或模組，包括逆量化模組1805、逆變換模組1815、訊框內預測模組1825、運動補償模組1835、環路濾波器1845、解碼/重建圖像緩衝器1850、MV緩衝器1865、MV預測模組1875和比特流解析器(熵解碼器)1890。
在一些實施例中，模組1810-1890是由計算設備的一個或多個處理單元(如處理器)執行的軟體指令的模組。在一些實施例中，模組1810-1890是由電子設備的一個或多個IC實現的硬體電路的模組。儘管模組1810-1890被圖示為單獨的模組，但是一些模組可以組合成單個模組。
解析器(熵解碼器)1890接收比特流1895並根據由視訊編碼或影像編碼標準定義的語法執行初始解析。經解析的語法元素包括不同標頭元素、旗標以及量化的變換係數。解析器1890透過使用諸如上下文自適應二進制算術編解碼(CABAC)或霍夫曼編碼的熵編碼技術來解析各種語法元素。
逆量化1805和逆變換模組1815對量化的變換係數1812執行逆量化和逆變換，並(在從訊框內預測模組1825或運動補償模組1835添加預測的像素資料1813之後)產生重建像素資料。重建像素資料儲存在重建影像緩衝器1850中。重建像素資料由環路濾波器1845濾波，並儲存在重建影像緩衝器1850中。在一些實施例中，重建影像緩衝器1850是外部的儲存器。在一些實施例中，重建圖像緩衝器1850是視訊編碼器1800內部的儲存器。
訊框內預測模組1825從比特流1895接收訊框內預測資料，並據此從儲存在重建圖像緩衝器1850中的重建像素資料產生預測像素資料1813。在一些實施例中，重建像素資料還儲存在線緩衝器(未示出)中，用於訊框內預測和空間MV預測。
在一些實施例中，解碼/重建圖像緩衝器1850的內容係用於顯示。顯示設備1855或者取得解碼/重建影像緩衝器1850的內容以便直接顯示，或者將解碼的影像緩衝器的內容取到顯示緩衝器。在一些實施例中，顯示設備透過像素傳輸從解碼圖像緩衝器接收像素值。
運動補償模組1835根據運動補償MV(MC MV)從 儲存在解碼/重建圖像緩衝器1850中的解碼像素資料來產生預測像素資料1813。這些運動補償MV是透過將從比特流1895接收的殘餘運動資料與從MV預測模組1875接收的預測MV相加來重建。
視訊解碼器1800基於先前已解碼出的參考MV(即用於執行運動補償的運動補償MV)，來產生運動補償的MV。視訊解碼器1800從MV緩衝器1865取得先前已解碼出的參考MV。視訊解碼器1800還將用於解碼目前視訊資料而生成的運動補償MV儲存在MV緩衝器1865中，作為用於產生預測MV的參考MV。
環路濾波器1845對重建像素資料執行濾波或平滑操作以減少編碼的假影，特別是在像素區塊的邊界處。在一些實施例中，執行的濾波操作包括樣本自適應偏移(SAO)。在一些實施例中，濾波操作包括自適應環路濾波器(ALF)。
範例電子系統
許多上述特徵和應用被實現為被指定為記錄在電腦可讀儲存媒介(也稱為電腦可讀媒介)上的一組指令的軟體流程。當這些指令由一個或多個計算或處理單元(如一個或多個處理器、處理器核或其他處理單元)執行時，它們使處理單元執行指令中指示的動作。電腦可讀媒介的範例包括但不限於CD-ROM、快閃驅動程式、隨機存取記憶體(RAM)晶片、碟驅動程式，抹除式可複寫唯讀記憶體(EPROM)、電子抹除式可複寫唯讀記憶體(EEPROM)。電腦可讀媒介不包括透過無線或有線連接傳遞的載波和電子訊號。
在本說明書中，術語「軟體」旨在包括駐留在唯讀記憶體中的韌體或儲存在磁碟中的應用程式，其可被讀入記憶體以供處理器處理。而且，在一些實施例中，多個軟體發明可以實現為較大程式的子部分，同時保持不同的軟體發明。在一些實施例中，多個軟體發明也可以實現為單獨的程式。最後，共同實現這裡描述的軟體發明的單獨程式的任何組合都在本發明的範圍內。在一些實施例中，當安裝軟體程式以在一個或多個電子系統上操作時，軟體程式定義執行和執行軟體程式的操作的一個或多個特定機器實現。
第19圖概念性地示意出了實現本發明的一些實施例的電子系統1900。電子系統1900可以是電腦(如桌上型電腦、個人電腦、平板電腦等)、電話、PDA、VR設備或任何其他種類的電子設備。這種電子系統包括各種類型的電腦可讀媒介和用於各種其他類型的電腦可讀媒介的介面。電子系統1900包括匯流排1905、處理單元1910、圖形處理單元(GPU)1915、系統記憶體1920、網路1925、唯讀記憶體1930、永久儲存設備1935、輸入設備1940和輸出設備1945。
匯流排1905共同表示在通訊上連接電子系統1900的眾多內部設備的所有系統、外圍設備和晶片組匯流排。舉例而言，匯流排1905在通訊上連接處理單元1910與GPU 1915、唯讀記憶體1930、系統記憶體1920和永久儲存設備1935。
從這些各種記憶體單元、處理單元1910取得要執行的指令和要處理的資料，以便執行本發明的流程。在不同實施例中，處理單元可以是單個處理器或多核處理器。一些指令 被傳遞到GPU 1915並由GPU 1915執行。GPU 1915可以卸載各種計算或補充由處理單元1910提供的影像處理。
唯讀記憶體(ROM)1930儲存處理單元1910和電子系統的其他模組所需的靜態資料和指令。另一方面，永久儲存設備1935是讀寫記憶體設備。該設備是非揮發性記憶體單元，即使在電子系統1900關閉時也儲存指令和資料。本發明的一些實施例使用大容量儲存設備(如磁碟或光碟及其相應的磁碟驅動程式)作為永久儲存設備1935。
其他實施例使用可移動儲存設備(如軟碟、快閃記憶體設備等，以及其對應的磁碟驅動程式)作為永久儲存設備。與永久儲存設備1935類似，系統記憶體1920是讀寫儲存設備。然而，與儲存設備1935不同，系統記憶體1920是揮發性讀寫記憶體，如隨機存取記憶體。系統記憶體1920儲存處理器在運行時需要的一些指令和資料。在一些實施例中，根據本發明的流程儲存在系統記憶體1920、永久儲存設備1935和/或唯讀記憶體1930中。舉例而言，在一些實施例中，各種記憶體單元包括用於按照處理多媒體剪輯的指令。處理單元1910從這些各種記憶體單元取得要執行的指令和要處理的資料，以便執行一些實施例的流程。
匯流排1905還連接到輸入設備1940和輸出設備1945。輸入設備1940讓使用者能夠向電子系統傳送資訊和選擇命令。輸入設備1940包括字母數字鍵盤和指示設備(也稱為「游標控制設備」)、相機(如網路攝影機)、麥克風或用於接收語音命令等的類似設備。輸出設備1945顯示由電子系統 生成的影像，或以其他方式輸出資料。輸出設備1945包括印表機和顯示設備，如陰極射線管(CRT)或液晶顯示螢幕(LCD)，以及喇叭或類似的音頻輸出設備。一些實施例包括如觸控螢幕之類的設備，其功能作為輸入和輸出設備兩者。
最後，如第19圖所示，匯流排1905還透過網路介面卡(未示出)將電子系統1900耦合到網路1925。以這種方式，電腦可以是電腦網路的一部分(如區域網路(「LAN」)、廣域網路(「WAN」)或內部網路、或網路的網路，如網際網路。電子系統1900的任何或所有組件皆可以與本發明結合使用。
一些實施例包括電子組件，如微處理器、儲存器和記憶體，其將電腦程式指令儲存在機器可讀或電腦可讀媒介中(或者稱為電腦可讀儲存媒介、機器可讀媒介或機器-可讀儲存媒介)。這種電腦可讀媒介的一些範例包括RAM、ROM、唯讀記憶光碟(CD-ROM)、可錄光碟(CD-R)、可讀寫光碟(CD-RW)，唯讀數位多功能光碟(如DVD-ROM、雙層DVD-ROM)、各種可記錄/可複寫DVD(如DVD-RAM、DVD-RW、DVD+RW等)、快閃記憶體(如SD卡、mini-SD卡、micro-SD卡等)，磁性和/或固態硬碟驅動程式、唯讀並可記錄的Blu-Ray®光碟、超密度光碟、任何其他光學或磁性媒介以及軟碟。電腦可讀媒介可以儲存可由至少一個處理單元執行的電腦程式，並且包括用於執行各種操作的指令集。電腦程式或電腦代碼的範例包括如由編譯器產生的機器代碼，以及包括由電腦、電子組件或使用直譯器的微處理器執行的更高階代碼的檔案。
雖然上述討論主要涉及執行軟體的微處理器或多核處理器，但許多上述特徵和應用由一個或多個積體電路執行，如特殊應用積體電路(ASIC)或現場可程式化邏輯閘陣列(FPGA)。在一些實施例中，這種積體電路執行儲存在電路自身上的指令。此外，一些實施例執行儲存在可程式化邏輯裝置(PLD)、ROM或RAM裝置中的軟體。
如在本說明書和本申請的任何申請專利範圍中所使用的，術語「電腦」、「伺服器」、「處理器」和「記憶體」均指電子或其他技術設備。這些術語不包括人或人的群體。出於說明書的目的，術語顯示或顯示裝置係指顯示在電子設備上。如在本說明書和本申請的任何申請專利範圍中所使用的，術語「電腦可讀媒介」、「電腦可讀媒介」和「機器可讀媒介」完全限於以電腦可讀之格式儲存資訊的有形物理對象。這些術語不包括任何無線訊號、有線下載訊號和任何其他短暫訊號。
雖然已經參考許多具體細節描述了本發明，但是本領域通常技術人員將認識到，在不脫離本發明的精神的情況下，本發明可以以其他具體形式實施。此外，許多圖(包括第14圖至第16圖)概念性地示意了流程。這些流程的具體操作可能不會按照顯示和描述的確切順序執行。可以不在一個連續的一序列操作中執行特定操作，並可以在不同的實施例中執行不同的特定操作。此外，該流程可以使用多個子流程來實現，或者作為更大的總體過程的一部分來實現。因此，本領域通常技術人員將理解，本發明不受前述說明性細節的限制，而是由所附之申請專利範圍來限定。
補充說明
本文描述的實體事項有時示意出包含在不同的其他組件內、或與不同的其他組件連接的不同組件。應理解的是，這樣描繪的架構僅僅是範例，並且實際上可以由實現相同功能的許多其他架構來實現。在概念意義上，實現相同功能的任何組件佈置有效地「關聯」，使得期望的功能被實現。因此，這裡組合以實現特定功能的任何兩個組件可以被視為彼此「相關聯」，使得期望的功能被實現，而不論架構或中間組件。同樣地，如此關聯的任何兩個組件也可以被視為彼此「可操作地連接」或「可操作地耦合」以實現期望的功能，並且能夠如此關聯的任何兩個組件也可以被視為「可操作地耦合」，以彼此實現所需的功能。可操作地耦合的具體範例包括但不限於物理上可配對和/或物理上相互作用的組件和/或可無線相互作用和/或無線相互作用的組件和/或邏輯上相互作用和/或邏輯上可相互作用的組件。
此外，關於本文中基本上任何複數和/或單數術語的使用，本領域技術人員可以根據適當的上下文或申請從複數轉換為單數和/或從單數轉換為複數。為清楚起見，這裡可以明確地闡述各種單數/複數置換。
此外，本領域技術人員將理解，通常而言，本文使用的術語，尤其是所附申請專利範圍，如所附申請專利範圍的主體，通常旨在作為「開放」術語，如術語「包括」應解釋為「包括但不限於」，術語「具有」應解釋為「至少具有」，術語「包括」應解釋為「包括但不限於」，本領域技術人員將進 一步理解，如果有意在申請專利範圍引入特定數量，則在專利請求項中將明確地陳述這樣的意圖，並且在沒有這樣的敘述的情況下，不存在這樣的意圖。舉例而言，為了幫助理解，以下所附申請專利範圍可以將包含介紹性短語「至少一個」和「一個或多個」的使用引入專利請求項敘述。然而，這些短語的使用不應被解釋為暗示由不定冠詞「一」或「一個」介紹專利請求項，而限制了任何包含所介紹的專利請求項，即便是在相同專利請求項包含介紹性短語「至少一個」和「一個或多個」與不定冠詞「一」或「一個」。舉例而言，「一」和/或「一個」應該被解釋為「至少一個」或「一個或多個」；同樣情況適用於使用用於介紹專利請求項的定冠詞。此外，即使明確地參考了特定數量的引入的申請專利範圍陳述，本領域技術人員將認識到，這種陳述應該被解釋為至少表示所參考的數字，如僅僅「兩個專利請求項」的敘述而無其他修飾語，表示至少兩個專利請求項，或兩個或多個專利請求項。此外，在使用類似於「A、B和C等中的至少一個」的約定的那些情況下，通常這樣的結構有意在本領域技術人員將理解該慣例的意義上，如「具有A、B和C中的至少一個的系統」，會包括但不限於僅具有A、僅具有B、僅具有C、A和B一起、A和C一起、B和C一起、和/或A、B、C一起的系統等情形。在使用類似於「A、B或C等中的至少一個」的約定的那些情況下，通常這樣的結構有意在本領域技術人員將理解該慣例的意義上，如「具有A、B或C中的至少一個的系統」將包括但不限於僅具有A、僅具有B、僅具有C、A和B一起、A和C一起、B和C一起、和/或A、 B和C一起的系統等情形。本領域技術人員將進一步理解，無論在說明書、申請專利範圍或附圖中，實際上呈現兩個或更多個替代術語的任何析取詞和/或短語，應理解為可能包括術語中之一者、其中一個術語或術語兩者。舉例而言，短語「A或B」將被理解為可能包括「A」或「B」或「A和B」。
從前述內容可以理解，本文已經出於說明的目的描述了本發明的各種實施方式，並且在不脫離本發明的範圍和精神的情況下可以進行各種修改。因此，本文發明的各種實施方式不意圖作為限制性的，真正的範圍和精神由所附申請專利範圍所指示。

Claims (20)

  1. 一種全方位視訊之解碼方法，包括：接收包括複數個全方位影像的一已編碼序列的一比特流，每個全方位影像具有複數個視圖，每個視圖具有用於解碼所述視圖的一視圖特定資料集合；接收一視圖的選擇；對於所述序列中的一全方位影像，解碼所述全方位影像的所述選擇的視圖的所述視圖特定資料集合，其中至少一個其他視圖的視圖特定資料未被解碼；以及基於所述已解碼的視圖特定資料集合提供所述全方位影像的所述選擇的視圖，以供顯示。
  2. 如申請專利範圍第1項所述之全方位視訊之解碼方法，其中，每個視圖被編碼為一組切片或一組瓦片。
  3. 如申請專利範圍第1項所述之全方位視訊之解碼方法，其中，每個視圖的所述視圖特定資料集合係被獨立地熵編碼，其中編碼一視圖的一視圖特定資料集合包括重置一熵編碼狀態。
  4. 如申請專利範圍第1項所述之全方位視訊之解碼方法，其中，所述選擇的視圖的所述視圖特定資料集合不依賴於另一視圖的一視圖特定資料。
  5. 如申請專利範圍第1項所述之全方位視訊之解碼方法，其中所述選擇的視圖的所述視圖特定資料集合包括與參考一像素區塊外部的一資料的所述像素區塊相關聯的一參考元素，所述解碼方法並進一步包括在所述參考元素參考所述視 圖外部的一資料時修改所述參考元素，其中所述修改的參考元素參考所述視圖內的一資料。
  6. 如申請專利範圍第5項所述之全方位視訊之解碼方法，其中，所述參考元素是從包括與複數個鄰接像素區塊相關聯的複數個運動向量的一組候選列表中選擇的。
  7. 如申請專利範圍第1項所述之全方位視訊之解碼方法，並進一步包括：當所述全方位影像是一預測階層中的一基礎層影像時：解碼所述全方位影像的所有視圖的一視圖特定資料；以及允許一不同視圖的選擇。
  8. 一種全方位視訊之編碼方法，包括：接收一序列的全方位影像，每個全方位影像具有複數個視圖；以及將所述序列之全方位影像編碼成一比特流，每個視圖在所述比特流中具有一相應的一視圖特定資料集合，用於解碼所述視圖，其中每個視圖特定資料集合能夠獨立於其他視圖的一視圖特定資料被解碼。
  9. 如申請專利範圍第8項所述之全方位視訊之編碼方法，其中，每個視圖被編碼為一組切片或一組瓦片。
  10. 如申請專利範圍第8項所述之全方位視訊之編碼方法，其中編碼所述全方位影像的一特定視圖包括：將所述特定視圖的所述視圖特定資料約束為不參考任何其他視圖的一視圖特定資料，以進行編解碼。
  11. 如申請專利範圍第8項所述之全方位視訊之編碼方法，其中編碼所述全方位影像的一特定視圖包括：約束所述特定視圖的一參考元素僅參考所述特定視圖的像素。
  12. 如申請專利範圍第11項所述之全方位視訊之編碼方法，其中約束所述特定視圖的所述參考元素包括：確定基於一運動向量預測子導出的一運動向量是否將超過所述特定視圖的一邊界。
  13. 如申請專利範圍第8項所述之全方位視訊之編碼方法，其中編碼所述全方位影像的一特定視圖包括：識別用於透過訊框間預測對一像素區塊進行編碼的複數個候選參考元素的一列表，以及選擇一參考元素，所述參考元素不參考所述列表的所述特定視圖之外的像素。
  14. 如申請專利範圍第8項所述之全方位視訊之編碼方法，其中編碼所述全方位影像的一特定視圖包括：識別參考所述特定視圖外的像素的一參考元素，並將所述識別的參考元素修改為參考所述視圖內的像素。
  15. 如申請專利範圍第8項所述之全方位視訊之編碼方法，其中，每個視圖的所述視圖特定資料集合被獨立地熵編碼，其中編碼一視圖的一視圖特定資料集合包括重置一熵編碼狀態。
  16. 一種電子設備，包括：一視訊解碼電路，能夠：接收包括複數個全方位影像的一已編碼序列的一比特流，每個全方位影像具有複數個視圖，每個視圖具有用於解碼 所述視圖的一視圖特定資料集合；接收一視圖的一選擇；對於所述序列中的一全方位影像，解碼所述全方位影像的所述選擇的視圖的所述視圖特定資料集合，其中至少一個其他視圖的視圖特定資料未被解碼；以及基於所述已解碼的視圖特定資料集合顯示所述全方位影像的所述選擇的視圖；以及一使用者界面電路，能夠提供所述視圖之所述選擇。
  17. 如申請專利範圍第16項所述的電子設備，其中，所述選擇的視圖的所述視圖特定資料集合包括與參考一像素區塊外部一資料的一像素區塊相關聯的一參考元素，所述方法並進一步包括在所述參考元素參考所述視圖外部的一資料時，修改所述參考元素，其中所述修改的參考元素參考所述視圖內的一資料。
  18. 如申請專利範圍第16項所述之電子設備，其中，所述視訊解碼器電路並進一步能夠：當所述全方位影像是一預測階層中的一基礎層影像時：解碼所述全方位影像的所有視圖的視圖特定資料；以及允許一不同視圖的一選擇。
  19. 一種電子設備，包括：一視訊編碼電路，能夠：接收一序列複數個全方位影像，每個全方位影像具有複數個視圖；以及將所述全方位影像序列編碼成一比特流，每個視圖在所述 比特流中具有一相應的視圖特定資料集合，用於解碼所述視圖，其中每個特定視圖資料集合能夠獨立於其他視圖的一視圖特定資料進行解碼；以及一儲存器，能夠儲存所述比特流。
  20. 如申請專利範圍第19項所述之電子設備，其中編碼所述全方位影像的一特定視圖包括：約束所述特定視圖的所述視圖特定資料，以不參考任何其他視圖的一視圖特定資料來進行編解碼。
TW107127433A 2016-08-08 2018-08-07 全方位視訊之解碼方法、編碼方法及電子設備 TWI690201B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662371878P 2016-08-08 2016-08-08
US15/671,070 US10771791B2 (en) 2016-08-08 2017-08-07 View-independent decoding for omnidirectional video
US15/671,070 2017-08-07

Publications (2)

Publication Number Publication Date
TW201911869A true TW201911869A (zh) 2019-03-16
TWI690201B TWI690201B (zh) 2020-04-01

Family

ID=61070165

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107127433A TWI690201B (zh) 2016-08-08 2018-08-07 全方位視訊之解碼方法、編碼方法及電子設備

Country Status (3)

Country Link
US (1) US10771791B2 (zh)
CN (1) CN109391827A (zh)
TW (1) TWI690201B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10743003B1 (en) 2016-09-01 2020-08-11 Amazon Technologies, Inc. Scalable video coding techniques
US10743004B1 (en) * 2016-09-01 2020-08-11 Amazon Technologies, Inc. Scalable video coding techniques
US10412412B1 (en) * 2016-09-30 2019-09-10 Amazon Technologies, Inc. Using reference-only decoding of non-viewed sections of a projected video
US10553029B1 (en) * 2016-09-30 2020-02-04 Amazon Technologies, Inc. Using reference-only decoding of non-viewed sections of a projected video
CN114531592A (zh) 2016-10-04 2022-05-24 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
US12022199B2 (en) 2016-10-06 2024-06-25 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US10380715B2 (en) * 2016-12-07 2019-08-13 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
US10609356B1 (en) 2017-01-23 2020-03-31 Amazon Technologies, Inc. Using a temporal enhancement layer to encode and decode stereoscopic video content
FR3072850B1 (fr) * 2017-10-19 2021-06-04 Tdf Procedes de codage et de decodage d'un flux de donnees representatif d'une video omnidirectionnelle
US11145108B2 (en) * 2018-03-21 2021-10-12 Nvidia Corporation Uniform density cube map rendering for spherical projections
EP3618442B1 (en) * 2018-08-27 2020-09-30 Axis AB An image capturing device, a method and computer program product for forming an encoded image
EP3900360A4 (en) * 2018-12-20 2022-03-16 Telefonaktiebolaget Lm Ericsson (Publ) METHOD OF ENCODING AND/OR DECODING VIDEO WITH SYNTAX DISPLAY AND IMAGE HEADER
US11012710B2 (en) * 2019-03-06 2021-05-18 Tencent America LLC Techniques for intra prediction for 360 image and video coding
US11159822B2 (en) * 2019-07-11 2021-10-26 Qualcomm Incorporated Intra-prediction according to virtual boundaries for video coding
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
JP2023518337A (ja) * 2020-04-15 2023-05-01 中興通訊股▲ふん▼有限公司 ボリュメトリック視覚的メディアプロセス方法および装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3014513A1 (de) * 1980-04-16 1981-10-22 Scantron GmbH & Co Elektronische Lesegeräte KG, 6000 Frankfurt Verfahren und vorrichtung zum indentifizieren von gegenstaenden
US6084979A (en) * 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
US7039113B2 (en) * 2001-10-16 2006-05-02 Koninklijke Philips Electronics N.V. Selective decoding of enhanced video stream
JP2004072694A (ja) * 2002-08-09 2004-03-04 Sony Corp 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム
JP2004118786A (ja) * 2002-09-30 2004-04-15 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
CN101496407B (zh) * 2006-07-06 2013-02-06 汤姆逊许可证公司 用于针对多视角视频编码和解码解耦合帧号和/或图像顺序计数（poc）的方法和装置
US8103111B2 (en) * 2006-12-26 2012-01-24 Olympus Imaging Corp. Coding method, electronic camera, recording medium storing coded program, and decoding method
CN101383962B (zh) * 2007-09-07 2010-12-01 武汉大学 基于感兴趣区域的低码率空域增强层编解码方法
US20100259595A1 (en) * 2009-04-10 2010-10-14 Nokia Corporation Methods and Apparatuses for Efficient Streaming of Free View Point Video
KR101694821B1 (ko) * 2010-01-28 2017-01-11 삼성전자주식회사 다시점 비디오스트림에 대한 링크 정보를 이용하는 디지털 데이터스트림 전송 방법와 그 장치, 및 링크 정보를 이용하는 디지털 데이터스트림 전송 방법과 그 장치
WO2013001941A1 (ja) * 2011-06-27 2013-01-03 日本電気株式会社 物体検知装置、物体検知方法および物体検知プログラム
US8767824B2 (en) * 2011-07-11 2014-07-01 Sharp Kabushiki Kaisha Video decoder parallelization for tiles
EP2806649A1 (en) * 2012-01-18 2014-11-26 Electronics and Telecommunications Research Institute Method and device for encoding and decoding image
KR20140100656A (ko) * 2013-02-06 2014-08-18 한국전자통신연구원 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법
EP3008896B1 (en) * 2013-07-15 2021-03-31 Sony Corporation Extensions of motion-constrained tile sets sei message for interactivity
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US10104361B2 (en) * 2014-11-14 2018-10-16 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
US10469873B2 (en) * 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
CN106612426B (zh) * 2015-10-26 2018-03-16 华为技术有限公司 一种多视点视频传输方法及装置
CN105681805B (zh) * 2016-01-19 2019-05-21 北京大学深圳研究生院 视频编码、解码方法及其帧间预测方法和装置
CN105554506B (zh) * 2016-01-19 2018-05-29 北京大学深圳研究生院 基于多方式边界填充的全景视频编码、解码方法和装置
US10249019B2 (en) * 2016-05-06 2019-04-02 Mediatek Inc. Method and apparatus for mapping omnidirectional image to a layout output format
CN106162207B (zh) * 2016-08-25 2019-02-12 北京字节跳动科技有限公司 一种全景视频并行编码方法和装置
EP3422724B1 (en) * 2017-06-26 2024-05-01 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video

Also Published As

Publication number Publication date
US20180041764A1 (en) 2018-02-08
TWI690201B (zh) 2020-04-01
US10771791B2 (en) 2020-09-08
CN109391827A (zh) 2019-02-26

Similar Documents

Publication Publication Date Title
TWI690201B (zh) 全方位視訊之解碼方法、編碼方法及電子設備
TWI734100B (zh) 視訊處理方法及裝置
US10212411B2 (en) Methods of depth based block partitioning
TW201911863A (zh) 用於360度視訊寫碼之參考圖推導及動作補償
CN111837397A (zh) 基于子图像码流的视角相关视频编码中的错误消除的码流指示
CN115514974A (zh) 对视频信号进行解码/编码及发送数据的方法及介质
US20150172714A1 (en) METHOD AND APPARATUS of INTER-VIEW SUB-PARTITION PREDICTION in 3D VIDEO CODING
JP5950541B2 (ja) 動きベクトル符号化装置、動きベクトル符号化方法及びプログラム、動きベクトル復号装置、動きベクトル復号方法及びプログラム
JP2005253088A (ja) グレイアルファチャンネルを含んだ映像の符号化／復号化装置および方法
US20150365698A1 (en) Method and Apparatus for Prediction Value Derivation in Intra Coding
KR20140029383A (ko) 화상 부호화 장치 및 화상 복호 장치
CN110381317B (zh) 导出子预测单元的时间点之间的运动信息的方法和装置
JP6409516B2 (ja) ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置
KR20200015783A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN112956201B (zh) 使用句法来执行编码的句法设计方法和设备
CN117528112A (zh) 解码设备、编码设备及发送图像的数据的设备
CN113767625A (zh) 基于mpm列表的帧内预测方法及其设备
KR101386651B1 (ko) 다시점 비디오 인코딩 및 디코딩 방법 및 이를 이용한 인코딩 및 디코딩 장치
CN114450943A (zh) 用于基于子画面的图像编码/解码的方法和装置及发送比特流的方法
JP6184558B2 (ja) 符号化装置、符号化方法及びプログラム、復号装置、復号方法及びプログラム
JP2020526119A (ja) 画像をエンコーディング及びデコーディングする方法、エンコーディング及びデコーディング装置、並びに、対応するコンピュータプログラム
CN110868601B (zh) 帧间预测方法、装置以及视频编码器和视频解码器
CN113273210A (zh) 用于编译关于合并数据的信息的方法和装置
KR20230162801A (ko) 비디오 코딩을 위한 외부적으로 향상된 예측
CN118215941A (zh) 基于实例的网格编码的自适应量化