TWI666914B - ３ｄ視訊壓縮中參考圖像產生及管理之編解碼方法及裝置 - Google Patents

３ｄ視訊壓縮中參考圖像產生及管理之編解碼方法及裝置 Download PDF

Info

Publication number
TWI666914B
TWI666914B TW106135010A TW106135010A TWI666914B TW I666914 B TWI666914 B TW I666914B TW 106135010 A TW106135010 A TW 106135010A TW 106135010 A TW106135010 A TW 106135010A TW I666914 B TWI666914 B TW I666914B
Authority
TW
Taiwan
Prior art keywords
image
reference image
current
reference picture
substitute
Prior art date
Application number
TW106135010A
Other languages
English (en)
Other versions
TW201820864A (zh
Inventor
許曉中
杉 劉
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201820864A publication Critical patent/TW201820864A/zh
Application granted granted Critical
Publication of TWI666914B publication Critical patent/TWI666914B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/62—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明公開一種編解碼方法及裝置，該方法及裝置對360度虛擬實境圖像序列進行編解碼。根據一個方法，接收與所述360度虛擬影像序列中的當前圖像相關的輸入資料，也接收與所述當前圖像相關的目標參考圖像。然後，透過延伸來自於與所述目標參考圖像相關的一個或者多個邊界的多個球面相鄰圖元的多個圖元，生成替代參考圖像。提供包含所述替代參考圖像的參考圖像清單對所述當前圖像進行編碼或者解碼。本發明在將運動估計應用到已投影的2D平面時，提高參考資料的可用性，進而改善與已投影的2D平面相關的編解碼性能。

Description

3D視訊壓縮中參考圖像產生及管理之編解碼方法及裝置 【交叉引用】
本申請主張在2016年10月17日提出申請的美國臨時專利申請第62/408,870號的優先權。該美國臨時專利申請以引用方式整體併入本文中。
本發明涉及視頻編解碼。具體而言，本發明涉及用於3D視頻的視訊壓縮的生成和管理參考圖像的技術。
360度視頻，也稱為沉浸式視頻，是一種新興技術，其可以提供“身臨其境的感覺”。透過用覆蓋全景的環繞式場景來環繞用戶，以實現沉浸式感覺，特別是360度的視野。透過立體渲染進一步改善“身臨其境的感覺”。因此，全景視頻廣泛應用於虛擬實境(Virtual Reality，VR)應用中。但是，3D視頻需要非常大的頻寬來進行傳輸，以及很多存儲空間來進行存儲。因此，通常以壓縮格式來傳輸並存儲3D視頻。下面將介紹與視訊壓縮以及3D格式相關的各種技術。
HEVC標準中的運動補償
高效視頻編碼(High Efficiency Video Coding，HEVC)標準，是高級視頻編碼(Advanced Video Coding，AVC)標準的繼任，於2013年1月完成。自此之後，不斷有在HEVC基礎上的新的視頻編碼技術的發展。下一代視頻編碼技術目標在於提供有效解決方案，以用於以各種格式壓縮視頻內容，例如YUV444、RGB444、YUV422和YUV420。這些方案特別用於高解析度視頻，例如，超高清(ultra-high definition，UHD)或者8K TV。
現今通常使用攝像機運動來捕獲視頻內容，例如，平移、變焦和傾斜。另外，並不是視頻內的所有運動物體符合平移運動假設(translational motion assumption)。據觀察，透過有效利用合適的運動模型有時可以提高編碼效率，例如，用於壓縮某些視頻內容的仿射運動補償(affine motion compensation)。
在HEVC中，幀間運動補償可以以兩種不同的方式來進行使用：顯性式發信或者隱性式發信。在顯性式發信中，透過使用預測編碼方法來發信給塊(例如預測單元(prediction unit))的運動向量(motion vector，MV)。可以從當前塊的空間或者時間相鄰塊中推導出運動向量預測因子。在預測之後，對運動向量差(motion vector difference，MVD)進行編碼並傳輸。該模式也稱為高級運動向量預測(advanced motion vector prediction，AMVP)模式。在隱性式發信中，從預測因子集(predictor set)中選擇一個預測因子作為當前塊(例如，預測單元)的運動向量。換言之，在隱性式發信中，無需傳輸 MVD或者MV。該模式也稱為合併模式(Merge mode)。合併模式中的預測因子集的形式也稱為合併候選列表構造(Merge candidate list construction)。稱為合併索引(Merge index)的索引被發信，以表示用於表示該當前塊的MV的所選擇的預測因子。
透過所提供的一些之前已解碼的參考圖像，使用當前圖像與這些來自於參考圖像的圖像之間的關係及其運動場，用於預測當前圖像內的樣本的預測信號可以用運動補償的插值生成。
在HEVC中，多個參考圖像用於預測當前切片(slice)內的塊(block)。對於每個切片，建立一個或者兩個參考圖像清單。每個清單包括一個或者多個參考圖像。從已解碼的圖像暫存器(decoded picture buffer，DPB)中選擇參考圖像清單中的參考圖像，該已解碼的圖像暫存器用於存儲之前已解碼的圖像。在開始解碼每個片時，執行參考圖像清單構造，以在參考圖像清單中包含DPB內的已存在的圖像。在可伸縮編碼或者螢幕內容編碼的情況下，除了時間參考圖像，存儲一些額外的參考圖像清單，以用於預測當前切片。例如，將當前已解碼的圖像本身與其他時間參考圖像一起存儲在DPB內。對於使用這個參考圖像(即該當前圖像本身)的預測，分配特定的參考索引，以發信當前圖像用作參考圖像。或者，在可伸縮視頻編碼的情況下，當選擇特殊的參考索引時，已知上取樣(up-sampled)的基層(base layer)信號用作增強層(enhanced layer)中當前樣本的預測。在這種情況下，不將這 些上取樣的信號存儲在DPB中。相反地，當需要時才生成這些上取樣的信號。
對於給定的編碼單元，編碼塊可以被分割成一個或者多個預測單元。在HEVC中，支援不同的預測單元分割模式，即2Nx2N、2NxN、Nx2N、NxN、2NxnU、2NxnD、nLx2N和nRx2N。用於幀間模式和幀內模式的下表中列出了分割模式的二值化過程。
HEVC中DPB管理和螢幕內容編碼擴展
在HEVC中，在當前圖像的解碼之後，可以在逐塊的基礎上來實現，或者在逐圖像的基礎上來實現環形濾波操作，其包括去塊(deblocking)濾波器和樣本適應偏移(sample adaptive offset，SAO)濾波器。將當前已解碼的圖像的濾波版 本以及一些之前已解碼的圖像存儲在DPB內。當解碼當前圖像時，僅限仍然保留在DPB中的之前已解碼的圖像，才可以用作當前圖像的運動補償的參考圖像。一些非參考圖像可以保持在DPB中，是因為其在顯示順序中位於當前圖像之後。這些圖像等待輸出，直到顯示順序中的所有之前的圖像已經被輸出完。一旦某個圖像變得不再用作參考圖像或者不再等待輸出，其會從DPB中被移除。隨後相應的圖像暫存器被清空且對後來圖像開放存儲。當解碼器開始解碼圖像時，需要DPB中有可用的空的暫存器，以存儲這個當前圖像。一旦該當前圖像解碼完成時，將該當前圖像標記為“用於短期參考(short-term reference)”，並存儲在DPB中作為將來使用的參考圖像。在任何情況下，DPB中包含正在解碼的當前圖像的圖像數量一定不能超過所表明的最大DPB大小容量。
為了保持不同的HEVC實施方式中的設計靈活度，用於幀內塊複製(Intra block copy，IBC)模式的重構已解碼的圖像內所使用的圖元是位於環形濾波操作之前的重構圖元。作為用於IBC模式的參考圖像的當前重構圖像稱為“未濾波版本(unfiltered version)的當前圖像”，位於環形濾波操作之後的一個稱為“濾波版本(filtered version)的當前圖像”。同樣，視實施方式而定，當前圖像的兩個版本可以同時存在。
由於未濾波版本的當前圖像也可以用作HEVC螢幕內容編碼擴展(Screen Content Coding extensions，SCC)中的參考圖像，也將該未濾波版本的當前圖像存儲並管理在DPB內。這個技術稱為幀內圖像塊運動補償(Intra-picture block motion compensation)，或者簡稱IBC。因此，當在圖像層處使能IBC模式時，除了為存儲該濾波版本的當前圖像而創建的圖像暫存器之外，在解碼當前圖像之前，DPB內的另一個圖像存儲暫存器需要被清空，並且對於該參考圖像而言是可用的。該當前圖像標記為“用於長期參考(long-term reference)圖像”。一旦包括環形濾波操作的該當前圖像解碼完成，將從DPB中移除該參考圖像。可注意到，僅當用於當前圖像的去塊濾波操作或者SAO濾波操作啟用時，這個額外的參考圖像才是必需的。在當前圖像內不使用環形濾波器時，僅存在當前圖像的一個版本(即未濾波版本)，並且該圖像用作用於IBC模式的參考圖像。
DPB的最大容量與分層編碼結構(hierarchical coding structure)中所允許的時間子層的數量存在某些聯繫。例如，所需要的最小圖像暫存器尺寸為5，以存儲支援4-時間層(4-temporal-layer)的分層的時間參考圖像，其通常用在HEVC參考編碼器中。增加未濾波版本的當前圖像之後，在HEVC標準中，層所允許的用於最高空間解析度的最大DPB容量將變成6。在用於解碼當前圖像的IBC模式時，未濾波版本的當前圖像可以從已存在的DPB容量中佔用一個圖像暫存器。在HEVC SCC中，因此，層所允許的用於最高空間解析度的最大DPB容量從6增加到7，以在保持相同的分層編碼能力的同時能容納用於IBC模式的該額外的參考圖像。
360度視頻格式和編碼
使用現有的轉碼器來部署高品質的VR視頻解決方 案幾乎不可能，虛擬實境和360度視頻對轉碼器的處理速度和編碼性能提出了大量的要求。用於VR和360度視頻內容消費的最常用的使用情況是，觀察者將看圖像內部的一個較小的視窗(也稱為視埠(viewport))，該視窗表示從所有側面處所捕獲到的資料。觀察者可以在一個智慧手機應用(smart phone app)上查看該視頻。觀察者也可以在一個頭戴式顯示器(head-mounted display，HMD)上查看這些內容。
視埠尺寸通常相對較小(例如，高清(high definition，HD))。但是，對應於所有側面的視頻解析度可以明顯更高(例如，8K)。8K視頻到行動設備的傳輸和解碼從延時、頻寬和計算資源的角度看是不實際的。因此，為了允許人們能體驗低延時且高解析度的VR，並能使用最佳的省電演算法(battery friendly algorithm)，需要更有效的VR內容的壓縮。
用於360度視頻應用的最常用的等角投影(equirectangular projection，ERP)類似於製圖學中所使用的以平面上的矩形格式描述地球表面的解決方案。該類型的投影已廣泛被應用到電腦圖形應用中，以表示球面物體的紋理，並且已在遊戲行業中獲得認可。儘管在自然圖像情況下與合成內容完全相容，但這種格式面臨著一些問題。等角投影以簡單的轉換過程而著稱。但是，由於該轉換過程，不同的緯度線具有不同的拉伸。在該渲染方法中，赤道線具有最小失真，或者免失真，而兩極區域具有最大拉伸，並存在最大失真。
當球面本身表示360度視頻內容時，使用等角投影方法從球面到平面的圖像的轉換(translation)所保持的解析 度導致圖元數量增加。在第1A圖和第1B圖中，示出了等角投影的示例。第1A圖示出了將球體110上的網格映射到矩形網格120的等角投影的示例。第1B圖示出了球體130上的網格與矩形網格140之間的一些對應關係，其中北極132被映射到線142，南極138被映射到線148。緯度線134和赤道136分別被映射到線144和線146。
對於等角投影而言，可以按照下面數學形式描述該等角投影。根據x=(λ-λ0)cos φ1可以確定2D平面的x座標。根據y=(φ-φ1)，可以確定2D平面的y座標。在上述等式中，λ是待投影位置的經度，φ是待投影位置的緯度，φ1是標準平行線(即赤道的南極和北極)，其中該等角投影的比例為真，且λ0是該映射的中央子午線。
除了等角投影之外，如下表所示，存在很多已廣泛被使用的其他投影格式。
球面格式也可以被投影到多面體上，例如，立方 體、四面體、八面體、二十面體和十二面體。第2圖示出了立方體、四面體、八面體、二十面體和十二面體的多面體的示例，其中示出了3D模型、2D模型、頂點數、面積比對球面(area ratio vs.sphere)和等角投影。第3A圖示出了將球面投影到立方體上的示例，其中立方體的六個面被標記為A到F。在第3A圖中，面F對應於前面；面A對應於左面；面C對應於頂面；面E對應於背面；面D對應於底面；以及面B對應於右面。從視圖中看，面A、面D和麵E不可見。
為了將360度視頻資料饋入到視頻轉碼器符合的格式，需要在平面(即，2D矩形形狀)內對輸入資料進行排列。第3B圖示出了將立方體格式組織到3x2內而沒有任何空白區域的示例。在該3x2成型的平面記憶體在這六個面的其他順序的排列。第3C圖示出了將立方體格式組織到4x3內且有空白區域的示例。在這種情況中，將這六個面從立方體展開到4x3平面，其中由於位於立方體上，兩個面共用一個公共邊緣(即面C與面F之間的邊緣，以及面F與面D之間的邊緣)。另一方面，由於位於立方體上，面F、面B、面E和麵A這四個面物理連接。4x3平面的剩餘部分是空白區域。這些空白區域可以被預設填充黑值(black value)。在解碼4x3立方體圖像平面之後，對應面內的圖元用於重構原始立方體內的資料。可以丟棄不在對應面內的圖元(例如，這些被填充黑值的圖元)，或者僅為了將來參考的目的，將不在對應面內的圖元保留下來。
當將運動估計應用到已投影的2D平面時，當前面內的塊需要訪問位於當前幀外部的參考資料。但是位於當前面 外部的參考資料可能不可用。從而，有效的運動搜索範圍將受到限制，且壓縮效率降低。因此需要發展改善與已投影的2D平面相關的編碼性能的技術。
有鑑於此，本發明提出一種編解碼方法及裝置，以解決上述問題。
根據本發明一實施例，公開一種360度虛擬影像序列之編解碼方法。該編解碼方法對360度虛擬實境圖像序列進行編碼，包括：接收與所述360度虛擬影像序列中的當前圖像相關的輸入資料；接收與所述當前圖像相關的目標參考圖像；透過延伸來自於與所述目標參考圖像相關的一個或者多個邊界的多個球面相鄰圖元的多個圖元，生成替代參考圖像；以及提供包含所述替代參考圖像的參考圖像清單對所述當前圖像進行編碼或者解碼。
根據本發明一實施例，公開一種編解碼裝置。該編解碼裝置對對360度虛擬實境圖像序列進行編碼。該編解碼裝置包括一個或者多個電子電路或者處理器。該一個或者多個電子電路或者處理器用於接收與所述360度虛擬影像序列中的當前圖像相關的輸入資料；接收與所述當前圖像相關的目標參考圖像；透過延伸來自於與所述目標參考圖像相關的一個或者多個邊界的多個球面相鄰圖元的多個圖元，生成替代參考圖像；以及提供包含所述替代參考圖像的參考圖像清單對所述當前圖像進行編碼或者解碼。
根據本發明的實施例，在編碼360度VR圖像序列 時，透過生成替代參考圖像，以使用包含該替代參考圖像的參考圖像清單來編碼或者解碼當前圖像，從而在將運動估計應用到已投影的2D平面時，提高參考資料的可用性，進而改善與已投影的2D平面相關的編解碼性能。
110，130‧‧‧球體
120，140‧‧‧矩形網格
132‧‧‧北極
134‧‧‧緯度線
136‧‧‧赤道
138‧‧‧南極
142，144，146，148‧‧‧線
410，420‧‧‧塊
510，520，530‧‧‧圖像
610‧‧‧球面
810，910‧‧‧原始圖像
820，920‧‧‧參考圖像
1010-1040‧‧‧步驟
第1A圖是例示將球體上的網格映射到矩形網格的等角投影的示例；第1B圖是例示球體上的網格與矩形網格之間的一些對應關係，其中北極132被映射到頂部線，南極138被映射到底部線；第2圖是例示立方體、四面體、八面體、二十面體和十二面體的多面體的示例，其中示出了3D模型、2D模型、頂點數、面積比對球面和等角投影；第3A圖是例示將球體投影到立方體上的示例，其中立方體的六個面被標記為A到F；第3B圖是例示將立方體格式組織到3x2內而沒有任何空白區域的示例；第3C圖是例示將立方體格式組織到4x3內且有空白區域的示例；第4圖是例示用於CMP格式的所選擇的主面(即第3A圖中的前面F)與其四個相鄰面(即頂面、底面、左面和右面)之間的幾何關係的示例；第5圖是例示透過延伸主面的相鄰面以形成正方形或者矩 形延伸的參考圖像而生成用於CMP格式的替代參考圖像；第6A圖是例示透過投影比對應於主面的目標球面區域更大的區域而生成用於CMP格式的替代參考圖像；第6B圖是例示根據第6A圖中的投影方法的主面的用於CMP格式的替代參考圖像的示例；第7圖是例示透過展開主面的相鄰面而用於CMP格式的替代參考圖像的示例；第8圖是例示透過水準行動參考圖像180度而生成用於等角投影格式的替代參考圖像的示例；第9圖是例示透過在位於目標參考圖像的一個垂直邊界的外部填充第一圖元而生成用於等角投影格式的替代參考圖像的示例，該第一圖元來自於位於目標參考圖像的另一個垂直邊界的內部的第二圖元；第10圖示出了結合本發明實施例的360度VR圖像序列的視頻編碼系統的示例流程圖，其中替代參考圖像被生成且包含在參考圖像清單中。
下面說明為實施本發明之最佳方式。說明是以展現本發明之原理而非用於限制本發明。本發明之範圍由後附之申請專利範圍所決定。
如上所述，當將運動估計應用到已投影的2D平面時，當前面內的塊需要訪問位於當前幀外部的參考資料。但是位於當前面外部的參考資料可能不可用。為了改善與已投影的2D平面相關的編解碼性能，本發明公開了參考資料生成和管理 技術，以提高參考資料的可用性。
對於360度圖像資料中的任一圖元，該圖元總是被一些其他圖元環繞。換言之，在360度圖像中不存在圖像邊界或者空區域。當將球面域上的這樣的視頻資料投影到2D平面，可能會引進一些非連續性。也會引進一些不具有任何意義的圖元的空白區域。例如，在等角投影格式中，如果物體穿過該圖像的左邊界，其將出現在後續圖像的右邊界上。又例如，在CMP格式中，如果物體穿過一個面的左邊界，根據2D圖像平面內的面排列，其將出現在另一個面的另一邊界上。這些問題將會使得傳統的運動補償變得困難起來，其中假設運動場是連續的。
在本發明中，根據球面域上的幾何關係，將2D圖像平面內不連接的圖元組裝在一起，以形成用於編碼後來圖像或者當前圖像的將來區域的更好的參考。在本發明中，一個或者多個參考圖像被稱為“生成參考圖像”或者“替代參考圖像”。
新的參考圖像的生成
對於CMP格式，當前圖像記憶體存在六個待編碼的面。對於每個面，可以使用數個不同的方法來生成用於預測當前圖像的給定面內的圖元的參考圖像。延伸多個圖元包括直接複製一個圖元區域，用一個旋轉的圖元區域填滿所述多個圖元，用一個鏡像圖元區域填滿多個圖元中的一個或者組合。待編碼的面稱為“主面”。
在第一方法中，參考圖像內的主面用作創建新的生成參考圖像(即替代參考圖像)的基礎。這是透過使用來自 於該參考圖像內來自相鄰面的圖元而延伸該主面來完成的。第4圖示出了如塊410所示的所選擇的主面(即第3A圖中的前面F)與其四個相鄰面(即頂面、底面、左面和右面)之間的幾何關係。在右手邊的塊420中，示出了延伸2D平面的主面的示例，其中這四個相鄰面中的每個被拉伸成梯形並被填充到該主面的一側，以形成正方形內的延伸的參考圖像。
透過當前圖像的尺寸確定圍繞主面的這些延伸的相鄰面的高度和寬度，透過CMP投影的填充方法(packing method)來進一步確定這些延伸的相鄰面的高度和寬度。例如，在第5圖中，圖像510對應於3x2填充平面。因此，如第5圖的圖像520所示，如上所述的延伸的參考區域不能超過該參考圖像的尺寸。又例如，如圖像530所示，這些相鄰面進一步用於填充整個矩形圖像區域。儘管在上述示例中前面用作主面，任何其他面可以用作主面，且可以延伸相應的相鄰面以形成延伸的參考圖像。
根據另一個方法，面上的每個圖元是將球面610的起點O延伸到該球面上的一點，然後延伸到投影平面而創建的。例如，在第6A圖中，該球面上的點P1被投影到平面上的點P。點P位於底面的內部，該底面是本示例中的主面。因此，點P將位於立方體格式的底面中。對於該球面上的另一點T1，被投影到平面上的點T，且點T位於主面的外部。因此，在傳統的立方體投影中，點T屬於另一個面，其屬於主面的相鄰面。根據本方法，在當前圖像是在立方體投影格式中時，替代參考圖像是透過將球面上的延伸區域投影到對應於當前面的投影平 面而產生的，其中球面上的延伸區域包圍被投影到當前面的球面上的對應區域。如第6B圖所示，延伸主面612以覆蓋更大的區域614。該延伸的面可以是正方形或者矩形。使用相同的投影規則創建該延伸的主面內的圖元，作為該主面內的圖元。例如，對於該延伸的主面內點T，其從該球面的點T1被投影而來。參考圖像內的該延伸的主面可以用於預測當前圖像內對應的主面。參考圖像內的該延伸的主面的尺寸由該參考圖像的尺寸來確定，並進一步由CMP格式的填充方法來確定。
根據又一方法，用於預測當前面(即主面)的生成參考圖像是透過以該主面為中心而簡單地展開該立方體面來創建的。如第7圖所示，四個相鄰面位於該主面的四個邊緣的周圍，其中前面F是該主面，相鄰面(即面A、面B、面C和麵D)的名稱遵循第3A圖中的規定。
對於等角投影格式，根據一個實施例，透過平移原始的等角投影圖像而形成生成參考圖像。如第8圖所示的一個示例中，原始圖像810被水準向右移動180度(即圖像寬度的一半)，以生成參考圖像820。原始參考圖像也可被移動其他角度和/或其他方向。因此，當當前圖像內的塊的運動向量指向這個生成參考圖像(即替代參考圖像)時，應該將偏移量應用到將從原始圖像中圖元的移動數量的運動向量。例如，第8圖的原始圖像810中的左上位置被設計為點A(0,0)。當由MV=(-1,0)所示的點A(即812)向左移動一個整數位置時，如果使用傳統的參考圖像，則不存在對應關係。但是在移動的參考圖像(即第8圖中的圖像820)中，原始圖像內相對於(0,0)的對應位置(即 822)則是(image_width/2,0)，其中image_width是ERP圖像的寬度。因此，偏移量(image_width/2,0)將應用到運動向量(-1,0)上。對於原始圖元A，生成參考圖像內的得到的參考圖元位置B(即824)被計算為：A的位置+MV+偏移量=(0,0)+(-1,0)+(image_width/2,0)=(image_width/2-1,0)。因此，可以在高層語法(high level syntax)處一起使用生成參考圖像與偏移量值，例如，使用序列參數集(sequence parameter set，SPS)標誌。
在另一方法中，透過填充已存在的參考圖像邊界來生成參考圖像。用於填充圖像邊界的圖元來自於圖像邊界的另一側，該圖元開始時是相互連接的。這個新的參考圖像被物理分配一個記憶體，或者由位址的合適計算進行虛擬使用。當使用虛擬的參考圖像時，仍然將偏移量應用到MV中，該MV指向超過圖像邊界的參考位置。例如，在第9圖中，原始圖像910內的左上位置912為點A(0,0)；且當(由MV=(-1,0)所示)該點A(即812)向左移動一個整數位置時，參考位置變成(-1,0)，其超出該原始圖像邊界。透過填充，這個位置具有有效圖元924作為參考圖元(第9圖中虛線框內的圖元)，以形成參考圖像920。可選地，image_width的偏移量可以應用到超出左圖像邊界的水準位置，而無需使用物理記憶體來存儲填充後的參考圖像，從而模仿填充效果。在本示例中，A的參考位置將變成A的位置+MV+偏移量=(0,0)+(-1,0)+(image_width,0)=(image_width-1,0)。同理，(-image_width)的偏移量可應用到超出右圖像邊界的水準位置。
可以在高層語法處表示使用用於超出圖像邊界的參考位置的偏移量，例如使用SPS標誌或者圖像參數集(picture parameter set，PPS)標誌。
由於本發明已經公開了上述用於CMP格式和ERP格式的延伸的參考圖像生成方法，相似的方法能用於生成該新的參考圖像(或者物理的或者虛擬的)，該新的參考圖像用於使用其他投影格式(例如，用20個面的二十面體投影(Icosahedron Projection，ISP)和用8個面的八面體投影(Octahedron Projection，OHP))編碼360度視頻序列。
除了上述創建生成參考圖像內的圖元的方法，可以使用適當地過濾或者處理這些圖元的方法以降低補償失真。例如，在第7圖中，左相鄰面內的圖元是從主面的左相鄰面中推導而來的。可以進一步處理和/或過濾這些左相鄰圖元，以生成具有更低失真的參考圖像，從而預測當前圖像的當前面內的圖元。
生成參考圖像的參考圖像管理
是否將這個生成參考圖像放入DPB中可以是序列層決策和/或圖像層決策。特別地，圖像層標誌(例如，GeneratedPictureInDPBFlag)可以被發信或者被推導以決定保留空的圖像暫存器且將這個圖像放入到該DPB中是否是必需的。下列方法的一個或者一些結合可以用於確定GeneratedPictureInDPBFlag的值。
●在一個方法中，GeneratedPictureInDPBFlag由一些高層語法(例如，圖像層或者以上)來確定，以表示如上所公開 的替代參考圖像的使用。僅當被發信以表示生成圖像可以用作參考圖像時，GeneratedPictureInDPBFlag可能等於1.
●在另一方法中，GeneratedPictureInDPBFlag由DPB記憶體在的可用的圖像暫存器來確定。例如，僅當在DPB記憶體在至少一個可用的參考圖像時，可以生成該“新”的參考圖像。因此，DPB的最小要求是包含3個圖像(即一個已存在的參考圖像、一個生成圖像和一個當前解碼圖像)。當最大DPB尺寸小於3時，GeneratedPictureInDPBFlag將為0。在當前圖像用作參考圖像(即正在使用的幀內塊運動補償)以及未濾波版本的當前圖像存儲在DPB內作為當前解碼圖像的額外版本的情況中，則最大DPB尺寸被要求為4，以支持幀內塊複製和生成參考圖像。
●在上述方法中，每個生成參考圖像通常需要DPB內的一個圖像暫存器；對於創建該生成圖像而言，DPB中應該已經存在至少一個參考圖像；對於用於幀內圖像塊運動補償目的的存儲當前已解碼圖像(在環形濾波之前)而言，DPB內需要一個圖像暫存器；同時，在解碼期間，該當前已解碼圖像需要被存儲在DPB內。將所有這些進行計數以用於DPB中的圖像總數，這個總數將不超過DPB尺寸。如果DPB中存在其他類型的參考圖像，則也需要將這些參考圖像計數到DPB尺寸中。
當GeneratedPictureInDPBFlag為真時，在解碼當前圖像的開始時，執行下列處理：
●如果幀內圖像塊運動補償不用於當前圖像，或者在使用幀內塊運動補償但僅需要當前已解碼圖像的一個版本時， DPB操作需要清空兩個圖像暫存器，一個用於存儲當前已解碼圖像而另一個用於存儲生成參考圖像。
●如果幀內圖像塊運動補償用於當前圖像，且需要當前已解碼圖像的兩個版本時，DPB操作需要清空三個圖像暫存器，其用於存儲當前已解碼圖像(即兩個版本)和生成參考圖像。
當GeneratedPictureInDPBFlag為假時，在解碼當前圖像的開始時，基於視幀內圖像塊運動補償的使用以及當前已解碼圖像的兩個版本的存在，需要一個或者兩個空圖像暫存器。
當GeneratedPictureInDPBFlag為真時，解碼當前圖像完成之後，執行下列處理：
●在一個實施例中，DPB操作需要清空用於存儲生成參考圖像的圖像暫存器。換言之，生成參考圖像不能被其他後來圖像用作參考圖像。
●在另一個實施例中，DPB操作以與其他參考圖像相似的方式被應用到這個生成參考圖像上。僅當沒有被標記為“用於參考”時，則移除該參考圖像。注意到，生成參考圖像不能用於輸出(例如，顯示暫存器)。
使用生成圖像作為用於時間預測的參考圖像由下列因素中的一個或者結合來確定： ●高層標誌(例如，位於SPS和/或PPS內，例如，sps_generated_ref_pic_enabled_flag和/或pps_generated_ref_pic_enabled_flag)，以表示對當前序列或者 當前圖像使用生成參考圖像，●如果這個生成參考圖像將被創建並存儲在DPB中，則上述的“GeneratedPictureInDPBFlag”等於1(即為真)
如果確定使用生成圖像作為參考圖像，而不考慮是否將其存儲在DPB中，該生成圖像被放入到用於預測當前切片/圖像內的塊的參考圖像清單中的一個或者兩個。下面公開了幾種修改參考圖像清單構造的方法：
●在一個實施例中，這個生成圖像被放入到參考圖像清單的位置N處。N是整數，其範圍為從0到用於當前切片的所允許的參考圖像的數量。在存在多個生成參考圖像的情況下，N表示第一生成參考圖像的位置，其他的生成參考圖像以連續的順序位於該第一生成參考圖像之後。
●在另一個實施例中，這個生成圖像被放入到參考圖像清單的最後位置處。在存在多個生成參考圖像的情況下，所有生成參考圖像以連續的順序被放入到最後位置處。
●在另一個實施例中，如果當前已解碼圖像用作參考圖像(即幀內圖像塊運動補償)，則該生成參考圖像被放入到倒數第二的位置(a second to last position)，而該當前已解碼圖像被放入到最後位置。在存在多個生成參考圖像的情況下，所有生成參考圖像以連續的順序被放入到倒數第二位置處，而該當前已解碼圖像被放入到最後位置。
●在另一個實施例中，如果當前已解碼圖像用作參考圖像(即幀內圖像塊運動補償)，則該生成參考圖像被放入到倒數第二位置，而該當前已解碼圖像被放入到最後位置。在存在 多個生成參考圖像的情況下，所有生成參考圖像以連續的順序被放入到最後位置處。
●在另一個實施例中，這個生成圖像被放入到參考圖像清單中短期參考圖像和長期參考圖像之間(即位於短期參考圖像之後，且位於長期參考圖像之前)。在當前已解碼圖像也被放入到這個位置的情況下，其順序可以是任一種方式(生成圖像在前，當前已解碼圖像在後，或者反過來)。在存在多個生成參考圖像的情況下，所有生成參考圖像一起被放入到短期參考圖像和長期參考圖像之間。當前已解碼圖像本身可以被放入到所有生成參考圖像之前的後面。
●在另一個實施例中，這個生成圖像被放入到高層語法(即圖像層或者序列層)所建議的參考圖像的位置處。當高層語法不存在時，使用默認位置，例如最後位置或者短期參考圖像和長期參考圖像之間的位置。在存在多個生成參考圖像的情況下，被發信或者建議的位置表示第一生成參考圖像的位置。其他的生成參考圖像以連續的順序位於該第一生成參考圖像之後。
在解碼當前圖像之前，如果允許一個或者多個生成參考圖像，需要做以下幾個圖像層的決策：
●指定DPB內哪個參考圖像用作創建生成參考圖像的基礎。這個可以由顯性發信參考圖像清單中的這個參考圖像的位置來完成。這個也可以由隱性且透過選擇默認位置而無需發信來完成。例如，可以選擇相對於清單0中的當前圖像而言具有最小POC差的參考圖像。
●基於DPB中已存在的選擇的參考圖像，創建一個或者多個生成參考圖像。
●移除所有標記為“不用於參考”的之前的生成參考圖像，以解碼當前圖像。
第10圖示出了結合本發明實施例的360度VR圖像序列的視頻編碼系統的示例流程圖，其中替代參考圖像被生成且包含在參考圖像清單中。流程圖中所示的步驟可以被實現為位於編碼器側的一個或者多個處理器(例如，一個或者多個CPU)上可執行的程式碼。流程圖中所示的步驟可以被實現基於硬體，例如一個或者多個電子設備或者處理器，其用於執行流程圖中所示的步驟。根據本方法，在步驟1010中，接收與360度VR圖像序列中的當前圖像相關的輸入資料。在步驟1020中，接收與該當前圖像相關的目標參考圖像。該目標參考圖像對應於用於該當前圖像的傳統的參考圖像。在步驟1030中，透過延伸來自於一個或者多個邊界的球面相鄰圖元的圖元而生成替代參考圖像(即新的生成參考圖像)，該一個或者多個邊界與該目標參考圖像相關。在步驟1040中，提供包含該替代參考圖像的參考圖像清單以編碼或者解碼該當前圖像。
上述流程圖對應於本發明公開的電腦、行動設備、數位訊號處理器或者可程式設計設備上待執行的軟體程式碼。該程式碼可以以各種可程式設計語言來寫，例如，C++。該流程圖也對應於基於硬體的實施方式，其中一個或者多個電子電路(例如，特定於應用的積體電路(application specific integrated circuit，ASIC)和現場可程式設計閘陣列(field programmable gate array，FPGA))或者處理器(例如數位訊號處理器(digital signal processor，DSP))。
上述說明，使得本領域的普通技術人員能夠在特定應用程式的內容及其需求中實施本發明。對本領域技術人員來說，所描述的實施例的各種變形將是顯而易見的，並且本文定義的一般原則可以應用於其他實施例中。因此，本發明不限於所示和描述的特定實施例，而是將被賦予與本文所公開的原理和新穎特徵相一致的最大範圍。在上述詳細說明中，說明了各種具體細節，以便透徹理解本發明。不僅如此，將被本領域的技術人員能理解的是，本發明能夠被實踐。
如上所述的本發明的實施例可以在各種硬體、軟體代碼或兩者的結合中實現。例如，本發明的實施例可以是集成在視訊壓縮晶片內的電路，或者是集成到視訊壓縮軟體中的程式碼，以執行本文所述的處理。本發明的一個實施例也可以是在數位訊號處理器(Digital Signal Processor，DSP)上執行的程式碼，以執行本文所描述的處理。本發明還可以包括由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列(FPGA)所執行的若干函數。根據本發明，透過執行定義了本發明所實施的特定方法的機器可讀軟體代碼或者固件代碼，這些處理器可以被配置為執行特定任務。軟體代碼或固件代碼可以由不同的程式設計語言和不同的格式或樣式開發。軟體代碼也可以編譯為不同的目標平臺。然而，執行本發明的任務的不同的代碼格式、軟體代碼的樣式和語言以及其他形式的配置代碼，不會背離本發明的精神和範圍。
本發明上面描述以特定實施進行範例說明，但實施例可被修改，調整，變化。因此，上述實施例僅作為說明而非用來限制本發明。凡依本發明申請專利範圍所做之均等變化與修飾，皆不脫離本發明之精神與範圍。

Claims (21)

  1. 一種編解碼方法，對360度虛擬實境圖像序列進行編解碼，該編解碼方法包括：接收與該360度虛擬影像序列中一當前圖像相關之一輸入資料；接收與該當前圖像相關之一目標參考圖像；透過延伸來自於與該目標參考圖像相關之一或者多個邊界之複數個球面相鄰圖元之複數個圖元，生成一替代參考圖像；以及提供包含該替代參考圖像之一參考圖像清單對該當前圖像進行編碼或者解碼；其中該替代參考圖像被存儲在該參考圖像清單中之位置N處，其中N為正整數。
  2. 如申請專利範圍第1項之編解碼方法，其中該延伸該等圖元包括直接複製一圖元區域，用一旋轉的該圖元區域填滿該等圖元，用一鏡像圖元區域填滿該等圖元中的一個或者組合。
  3. 如申請專利範圍第1項之編解碼方法，其中該當前圖像是在立方體投影格式中；該替代參考圖像是透過展開圍繞該當前圖像之當前面之四個邊緣之複數個相鄰面而產生的。
  4. 如申請專利範圍第1項之編解碼方法，其中該當前圖像是在立方體投影格式中；以及該替代參考圖像是透過使用各自的複數個相鄰面來生成沒有空白區域之一正方形參考圖像而延伸位於該當前圖像之當前面之四個邊緣外部之複數個圖元，並且透過將該正方形參考圖像包含在該替代參考圖像之視窗內部而產生的。
  5. 如申請專利範圍第1項之編解碼方法，其中該當前圖像是在立方體投影格式中；以及該替代參考圖像是透過使用各自之複數個相鄰面來生成一正方形參考圖像以填充該替代參考圖像之視窗而延伸位於該當前圖像之當前面之四個邊緣外部之複數個圖元而產生的。
  6. 如申請專利範圍第1項之編解碼方法，其中該當前圖像是在立方體投影格式中；以及該替代參考圖像是透過將球面上之延伸區域投影到對應於當前面之投影平面而產生的，其中該球面上之該延伸區域包圍被投影到該當前面之該球面上之對應區域。
  7. 如申請專利範圍第1項之編解碼方法，其中該當前圖像是在等角投影格式中；以及該替代參考圖像是透過水平移動該目標參考圖像180度而產生的。
  8. 如申請專利範圍第1項之編解碼方法，其中該當前圖像是在等角投影格式中；以及該替代參考圖像是透過填充位於該目標參考圖像之一垂直邊界外部之複數個第一圖元而產生的，該等第一圖元來自於位於該目標參考圖像之另一個垂直邊界內部之複數個第二圖元。
  9. 如申請專利範圍第1項之編解碼方法，其中該替代參考圖像是透過使用修改後的偏移量位址訪問該目標參考圖像，且基於存儲在已解碼圖像暫存器內的該目標參考圖像而虛擬實現的。
  10. 如申請專利範圍第1項之編解碼方法，其中該替代參考圖像被存儲在該參考圖像清單中之最後位置處。
  11. 如申請專利範圍第1項之編解碼方法，其中若該目標參考圖像對應於當前已解碼圖像，則該替代參考圖像被存儲在該參考圖像清單中之倒數第二位置處，且該當前已解碼圖像被存儲在該參考圖像清單中之最後位置處。
  12. 如申請專利範圍第1項之編解碼方法，其中若該目標參考圖像對應於當前已解碼圖像，則該替代參考圖像被存儲在該參考圖像清單中之最後位置處，且該當前已解碼圖像被存儲在該參考圖像清單中之倒數第二位置處。
  13. 如申請專利範圍第1項之編解碼方法，其中該替代參考圖像被存儲在該參考圖像清單中位於複數個短期參考圖像之後且位於複數個長期參考圖像之前之目標位置處。
  14. 如申請專利範圍第1項之編解碼方法，其中該替代參考圖像被存儲在如高層語法所表示之該參考圖像清單中之目標位置處。
  15. 如申請專利範圍第1項之編解碼方法，其中發信或者推導一變數，以表示該替代參考圖像清單是否用作該參考圖像清單中一參考圖像。
  16. 如申請專利範圍第15項之編解碼方法，其中根據一或多個被發信之高層標誌，確定該變數之值。
  17. 如申請專利範圍第15項之編解碼方法，其中在可用圖像暫存器之數量為用於非幀內塊複製編碼模式之至少兩個或者用於幀內塊複製編碼模式之至少三個時，根據已解碼圖像暫存器中之該可用圖像暫存器之數量，確定該變數之值。
  18. 如申請專利範圍第15項之編解碼方法，其中根據已解碼圖像暫存器中是否存在生成該替代參考圖像之一參考圖像，確定該變數之值。
  19. 如申請專利範圍第15項之編解碼方法，進一步包括：若該變數表示該替代參考圖像用作該參考圖像清單中之一參考圖像，則在已解碼圖像暫存器中分配一圖像暫存器，以用於在解碼該當前圖像之前將該替代參考圖像進行存儲。
  20. 如申請專利範圍第19項之編解碼方法，進一步包括：從該已解碼圖像暫存器中移除該替代參考圖像，或者將該替代參考圖像進行存儲以用於在解碼該當前圖像之後解碼後來圖像。
  21. 一種編解碼裝置，用於編解碼360度虛擬實境圖像序列，該裝置包括一或者多個電子電路或者處理器，用於：接收與該360度虛擬影像序列中之當前圖像相關之一輸入資料；接收與該當前圖像相關之一目標參考圖像；透過延伸來自於與該目標參考圖像相關之一或多個邊界之複數個球面相鄰圖元之複數個圖元，生成一替代參考圖像；以及提供包含該替代參考圖像之一參考圖像清單對該當前圖像進行編碼或者解碼；其中該替代參考圖像被存儲在該參考圖像清單中之位置N處，其中N為正整數。
TW106135010A 2016-10-17 2017-10-13 ３ｄ視訊壓縮中參考圖像產生及管理之編解碼方法及裝置 TWI666914B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662408870P 2016-10-17 2016-10-17
US62/408,870 2016-10-17
US15/730,842 2017-10-12
US15/730,842 US20180109810A1 (en) 2016-10-17 2017-10-12 Method and Apparatus for Reference Picture Generation and Management in 3D Video Compression

Publications (2)

Publication Number Publication Date
TW201820864A TW201820864A (zh) 2018-06-01
TWI666914B true TWI666914B (zh) 2019-07-21

Family

ID=61904247

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106135010A TWI666914B (zh) 2016-10-17 2017-10-13 ３ｄ視訊壓縮中參考圖像產生及管理之編解碼方法及裝置

Country Status (3)

Country Link
US (1) US20180109810A1 (zh)
CN (1) CN108012153A (zh)
TW (1) TWI666914B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10701396B2 (en) * 2015-11-23 2020-06-30 Electronics And Telecommunications Research Institute Multi-viewpoint video encoding/decoding method
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US20180242016A1 (en) * 2017-02-21 2018-08-23 Intel Corporation Deblock filtering for 360 video
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US10506255B2 (en) * 2017-04-01 2019-12-10 Intel Corporation MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10764605B2 (en) * 2018-02-14 2020-09-01 Qualcomm Incorporated Intra prediction for 360-degree video
GB2588004B (en) 2018-06-05 2023-03-01 Beijing Bytedance Network Tech Co Ltd Interaction between IBC and affine
US11303923B2 (en) * 2018-06-15 2022-04-12 Intel Corporation Affine motion compensation for current picture referencing
CN113115046A (zh) 2018-06-21 2021-07-13 北京字节跳动网络技术有限公司 分量相关的子块分割
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
WO2020007094A1 (zh) * 2018-07-02 2020-01-09 浙江大学 一种全景图像滤波方法及装置
CN110771165A (zh) * 2018-08-01 2020-02-07 深圳市大疆创新科技有限公司 图像处理方法和设备
CN109246477B (zh) * 2018-08-17 2021-04-27 南京泓众电子科技有限公司 一种全景视频插帧方法及装置
TWI729477B (zh) * 2018-08-31 2021-06-01 聯發科技股份有限公司 視訊編解碼中的子塊去塊及裝置
CN110944196B (zh) 2018-09-24 2023-05-30 北京字节跳动网络技术有限公司 简化的基于历史的运动矢量预测
WO2020094150A1 (en) 2018-11-10 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Rounding in current picture referencing
CN113170167A (zh) 2018-11-29 2021-07-23 北京字节跳动网络技术有限公司 块内拷贝模式中的标志指示方法
CN113228658B (zh) * 2018-12-14 2023-10-17 中兴通讯股份有限公司 沉浸式视频比特流处理
EP3672250A1 (en) * 2018-12-21 2020-06-24 InterDigital VC Holdings, Inc. Method and apparatus to encode and decode images of points of a sphere
US11295541B2 (en) * 2019-02-13 2022-04-05 Tencent America LLC Method and apparatus of 360 degree camera video processing with targeted view
CN111866485A (zh) * 2019-04-25 2020-10-30 中国移动通信有限公司研究院 立体画面投影和传输方法、装置和计算机可读存储介质
US11445174B2 (en) * 2019-05-06 2022-09-13 Tencent America LLC Method and apparatus for video coding
WO2021013239A1 (en) * 2019-07-25 2021-01-28 Beijing Bytedance Network Technology Co., Ltd. Size restriction for intra-block copy virtual buffer
US11539939B2 (en) * 2019-11-27 2022-12-27 Hfi Innovation Inc. Video processing methods and apparatuses for horizontal wraparound motion compensation in video coding systems
WO2021138870A1 (en) * 2020-01-09 2021-07-15 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Multi-frame noise reduction method, terminal, and system
AR121127A1 (es) 2020-02-29 2022-04-20 Beijing Bytedance Network Tech Co Ltd Señalización de información de imagen de referencia en un flujo de bits de video
CN111526370B (zh) * 2020-04-17 2023-06-02 Oppo广东移动通信有限公司 视频编码、解码方法及装置和电子设备
KR102447796B1 (ko) * 2020-11-27 2022-09-27 한국전자기술연구원 V-pcc 부호화기를 위한 패치 세그먼트 고속 정제 장치 및 그 방법
CN114786037B (zh) * 2022-03-17 2024-04-12 青岛虚拟现实研究院有限公司 一种面向vr投影的自适应编码压缩方法
CN116540872B (zh) * 2023-04-28 2024-06-04 中广电广播电影电视设计研究院有限公司 Vr数据处理方法、装置、设备、介质及产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140218354A1 (en) * 2013-02-06 2014-08-07 Electronics And Telecommunications Research Institute View image providing device and method using omnidirectional image and 3-dimensional data
US20160012855A1 (en) * 2014-07-14 2016-01-14 Sony Computer Entertainment Inc. System and method for use in playing back panorama video content
US20160142697A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3576412B1 (en) * 2011-11-08 2021-09-01 Nokia Technologies Oy Reference picture handling
GB2526263B (en) * 2014-05-08 2019-02-06 Sony Interactive Entertainment Europe Ltd Image capture method and apparatus
US9911395B1 (en) * 2014-12-23 2018-03-06 Amazon Technologies, Inc. Glare correction via pixel processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140218354A1 (en) * 2013-02-06 2014-08-07 Electronics And Telecommunications Research Institute View image providing device and method using omnidirectional image and 3-dimensional data
US20160012855A1 (en) * 2014-07-14 2016-01-14 Sony Computer Entertainment Inc. System and method for use in playing back panorama video content
US20160142697A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing

Also Published As

Publication number Publication date
TW201820864A (zh) 2018-06-01
US20180109810A1 (en) 2018-04-19
CN108012153A (zh) 2018-05-08

Similar Documents

Publication Publication Date Title
TWI666914B (zh) ３ｄ視訊壓縮中參考圖像產生及管理之編解碼方法及裝置
US11863732B1 (en) Image data encoding/decoding method and apparatus
US11706531B2 (en) Image data encoding/decoding method and apparatus
US11528414B2 (en) Method and apparatus for reconstructing 360-degree image according to projection format
US11831914B2 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
US11812155B2 (en) Image data encoding/decoding method and apparatus
KR102342874B1 (ko) 360도 비디오에 대한 영상 코딩 시스템에서 프로젝션 타입 기반 양자화 파라미터를 사용한 영상 디코딩 방법 및 장치
KR20200062258A (ko) 360도 비디오에 대한 영상 코딩 시스템에서 회전 파라미터를 사용한 영상 디코딩 방법 및 장치
US12126787B2 (en) Image data encoding/decoding method and apparatus
US20240305764A1 (en) Image data encoding/decoding method and apparatus

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees