TWI650996B - 視頻編碼或解碼方法及裝置 - Google Patents

視頻編碼或解碼方法及裝置 Download PDF

Info

Publication number
TWI650996B
TWI650996B TW106121041A TW106121041A TWI650996B TW I650996 B TWI650996 B TW I650996B TW 106121041 A TW106121041 A TW 106121041A TW 106121041 A TW106121041 A TW 106121041A TW I650996 B TWI650996 B TW I650996B
Authority
TW
Taiwan
Prior art keywords
reference plane
plane
video encoding
face
current
Prior art date
Application number
TW106121041A
Other languages
English (en)
Other versions
TW201813399A (zh
Inventor
黃昭智
林鴻志
林建良
李佳盈
張勝凱
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201813399A publication Critical patent/TW201813399A/zh
Application granted granted Critical
Publication of TWI650996B publication Critical patent/TWI650996B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提供一種視頻編碼或解碼方法及裝置，用於視頻編碼或解碼系統，並應用於360度虛擬現實序列。根據本發明，產生用於表示該360度虛擬現實序列之一個或多個多面序列。若為當前面中之當前區塊選擇畫面間預測，則經由將一個目標參考面分配至一個虛擬參考畫面之中心，並在該目標參考面之多個邊界處將該目標參考面之多個相鄰面連接至該目標參考面，來為該一個或多個多面序列之每個面產生該虛擬參考畫面。然後，使用為該當前面所產生之當前虛擬參考畫面來對該當前面中之該當前區塊進行編碼或解碼，以為該當前區塊產生畫面間預測子。

Description

視頻編碼或解碼方法及裝置
本發明係關於影像(image)與視頻(video)編碼(coding)；特別地，本發明係關於用於多面體所映射之(polyhedral mapped)360度虛擬現實(Virtual Reality,VR)視頻之畫面間編碼(Inter coding)參考之產生與使用。
360度視頻，也稱為沉浸式視頻(immersive video)，是一種新興技術，該技術可以提供「身臨其境之感受」。沉浸式感覺是經由為使用者營造環繞式場景(wrap-around scene)來實現的，其中該環繞式場景覆蓋一全景視圖(panoramic view)，特別是360度視野(field of view)。「身臨其境之感受」可以使用立體呈現(stereographic rendering)來進一步改善。相應地，全景視頻(panoramic video)廣泛使用於多種虛擬現實(Virtual Reality,VR)應用之中。
沉浸式視頻包括使用多個相機(cameras)來抓取一場景，以覆蓋一全景視圖，如360度視野。典型地，沉浸式相機使用兩個或更多個相機。所有視頻必須同時被拍攝，並記錄該場景之多個分離片段(fragments)(也稱為分離視點(perspectives))。此外，經常安排一組相機來水平抓取多個視 角(views)，也可以對這些相機進行其它安排。
360度全景相機抓取周邊之多個場景，且訂合後之球型影像(stitched spherical image)是表示VR視頻之一種方式，該球型影像在水平方向上連續。換言之，在左端之該球型影像之內容延續至右端。該球型影像也可以投影轉換至(projected to)一立方體之六個面，以作為一可替代之360度形式。該轉換可以使用投影轉換來執行，以產生呈現一立方體之六個面之六面影像。在該立方體之多個面上，這六個影像在該立方體之多個邊界(boundaries)處進行連接。在第1圖中，影像100對應於一展開之立方影像，其空白區域使用虛擬資料(dummy data)來填充。該展開之立方畫面(frame)也稱為一立方體展開圖(cubic net)，該立方體展開圖具有多個空白區域。如第1圖所示，具有多個空白區域之多個展開立方面影像可納入覆蓋(cover)該六個展開之立體面影像之一最小矩形(rectangular)。
如第1圖所示，這六個立體面以某一方式互相連接，這是因為這六個立體面對應於一立方體之該六個面上之六個圖像(pictures)。相應地，該立方體上之每個邊界由兩個立體面所共用。換言之，在x、y和z方向上之每四個面在其各自方向上是環狀連續的(continuous circularly)。具有空白區域之立方面集合畫面(例如，第1圖中之影像100)之多個環狀邊界(circular edges)如第2圖之影像200所示。與該多個立方面邊界有關之多個立方邊界進行了標識。具有相同邊界數字之立方面邊界指示著兩個立方面邊界相連，並共用相同之立方邊界。舉 例而言，邊界#2位於面2(face 2)之上方，面4(face 4)之右側。因此，面2(face 2)之上方連接於面4(face 4)之右側。相應地，當面2(face 2)逆時針旋轉90度時，面2(face 2)之上方之內容將連續滾入面4(face 4)之右側。
第1圖與第2圖顯示了用於360度VR視頻之一立方面表示(representation)之立方體展開圖與立方邊界連接性(cubic boundary connectivity)之一示例，同樣也存在360度VR視頻之其它多面表示。該多個面表示可以被分割為多個面或者一多面畫面(multi-face frame)。與一個面有關之每個序列可以分別進行編碼。可替代地，該畫面序列也可以作為一視頻序列進行編碼，其中，每個畫面對應於一個展開之多面畫面或來自多個面之一個集合畫面(assembled frame)。在本發明中，記載了多個畫面間編碼參考之產生與使用。
本發明提供一種視頻編碼或解碼方法及裝置，用於一視頻編碼或解碼系統，並應用於一360度虛擬現實序列。根據本發明多個實施例，產生用於表示該360度虛擬現實序列之一個或多個多面序列。若為該一個或多個多面序列中之一當前面中之一當前區塊選擇畫面間預測，則經由將一個目標參考面分配至一個虛擬參考畫面之一中心，並在該目標參考面之多個邊界處將該目標參考面之多個相鄰面連接至該目標參考面，來為該一個或多個多面序列之每個面產生該虛擬參考畫面。然後，使用為該當前面所產生之一當前虛擬參考畫面來對該當前面中之該當前區塊進行編碼或解碼，以為該當前區塊產 生一畫面間預測子(predictor)。
該第一個或多個多面序列可以對應於N個單獨(individual)面序列，且每個面序列單獨進行編碼或解碼，以及其中，N為一整數，對應於表示該360度虛擬現實序列之一多面體(polyhedron)中之多個面之一總數。該一個或多個多面序列也可以對應於一個畫面序列，以及其中，每個畫面包含具有同一時間索引(time index)之一多面體之所有面。
本發明提供虛擬參考畫面之多種方法。在一個實施例中，提供一固定視埠(fixed-viewport)之虛擬參考畫面，其中，為該當前面而分配至該目標參考畫面之該中心之該目標參考畫面對應於一參考面，該參考面與該當前面具有相同面編號(face number)且無旋轉(rotation)。在另一實施例中，提供一改變視埠之虛擬參考畫面，其中，為該當前面而分配至該目標參考畫面之該中心之該目標參考面對應於一參考面，該參考面具有與該當前面不同之一面編號。此外，具有與該當前面不同之該面編號之該參考畫面可以旋轉一角度。與該參考面有關之面識別資訊(face identification information)、與旋轉之該角度有關之角度資訊、或者二者，在一編碼器端進行發信告知(signaled)或者在一解碼器端解析得出。
在產生虛擬參考畫面之又一實施例中，提供一任意視埠(arbitrary-viewport)之虛擬參考畫面。其中，為該當前面而分配至該目標參考畫面之該中心之該目標參考畫面對應於一參考面，該參考面是經由將一個原始目標參考面從一原始視埠在一有關之等距柱狀投影圖(equirectangular)之三正交軸 中之一個或多個上進行旋轉來產生的。詳細之任意視埠操作之一示例如下所示：將位於一原始虛擬參考畫面之中心之該原始目標參考面變換為(transformed to)在該有關之等距柱狀投影圖中之一對應參考面圖像；然後，將該對應參考面圖像經由從該原始視埠在該有關之等距柱狀投影圖之該三個正交軸中之該一個或多個上進行旋轉以變為具有一新視埠之一新的對應參考面圖像；然後，將在該有關之等距柱狀投影圖中之該新的對應參考面圖像變為一多面畫面中之一新目標參考面；以及將該新目標參考面用作該目標參考面。該旋轉資訊可以在一編碼器端之一視頻比特流中進行發信告知(signaled)，或者在一解碼器端從該視頻比特流中解析得出。該旋轉資訊也可以間接地(implicitly)從該當前區塊或一個或多個之前已編碼之時域(temporal)或空域(spatial)相鄰區塊之一個或多個運動向量所產生。
該虛擬參考畫面之構建操作可以進一步包括：若在將該目標參考面分配至該虛擬參考畫面之該中心，並在該目標參考面之多個邊界處將該目標參考面之多個相鄰面連接至該目標參考面後，該虛擬參考畫面包含任何空白區域(empty region)，則填充(padding)一個或多個空白區域。舉例而言，若一目標空白區域位於一個面邊界之外部，以及一既有之相鄰面能夠被放置於該目標空白區域且不模糊，則使用該既有之相鄰面來填充該目標空白區域。在另一情形中，若該目標空白區域沒有對應之相鄰面，則使用從其他面所產生之填充資料對該目標空白區域進行填充。
若該當前面非矩形(non-rectangular)，則使用包含該當前面之一最小矩形對該當前面進行編碼或解碼。該最小矩形被調整為可以分割(divisible)為數量為一整數之多個處理區塊，以用於編碼或解碼。若一目標處理區塊不包含屬於該當前面之像素，則將該目標處理區塊編碼為一跳過模式(Skip mode)。在一解碼器端，位於該當前面外部之所有像素均設置為0或進行忽略(disregarded)。
100、200、1310、1320、1330、1340、1350、1410、1420、1430、1510‧‧‧影像
310‧‧‧正多面體
320、420‧‧‧連接面
410‧‧‧小斜方截半立方體
510‧‧‧展開畫面
512、514、710、810、910、932‧‧‧目標面
520、530‧‧‧重新安排之畫面
610‧‧‧立方面
620、720‧‧‧虛擬參考
622、722、822、922、962‧‧‧中心面
820、920、1240~1245、1520~1525‧‧‧虛擬參考畫面
824‧‧‧非中心位置
930‧‧‧等距柱狀投影圖表示
940‧‧‧球面
942、944‧‧‧偏移
950、970‧‧‧參考畫面
952‧‧‧視埠
960、1110、1120、1130‧‧‧立方體展開圖
1010‧‧‧右上角區域
1020‧‧‧垂直邊界
1022‧‧‧水平邊界
1032‧‧‧對角線
1042‧‧‧角落像素
1112、1122、1132‧‧‧單獨面
1210‧‧‧面序列
1220‧‧‧視頻編碼器
1230‧‧‧比特流
1412、1422、1432‧‧‧起始MB/CU
1512、1514、1516‧‧‧區塊
1532、1534、1536‧‧‧共位區塊
1610~1650‧‧‧步驟
face 0~face 5‧‧‧面
#1~#7、#9‧‧‧邊界
第1圖為對應於空白區域使用虛擬資料填充之一立方展開圖之一展開立方畫面之一示例之示意圖。
第2圖為第1圖中具有多個空白區域之該立方面集合畫面之該多個環狀邊界之一示例之示意圖。
第3圖為具有20個面且每個面為三角形之一正多面體(regular polyhedron)(即，20面體(icosahedron))之一示例之示意圖。
第4圖為對應於一小斜方截半立方體(rhombicuboctahedron)且由三角形與矩形所構成之一非正多面體(non-regular polyhedron)之一示例之示意圖。
第5圖為經由將多個目標面置於中心(centering)來重組(re-organizing)展開畫面之一示例之示意圖，其中，選擇兩個面作為目標參考面，並在每個目標參考面之所有邊上連接多個相鄰面。
第6圖為根據本發明一實施例之為一立方面重建一虛擬參 考之一示例之示意圖。
第7圖為根據本發明另一實施例之為正20面體之一面重建一虛擬參考之一示例之示意圖。
第8圖為用於多個立體面之改變視埠之虛擬參考畫面之一示例之示意圖。
第9A圖至第9C圖為透過等距柱狀投影圖之立方面之任意視埠之虛擬參考構建所包含之多個步驟之一示例之示意圖。
第10A圖為使用基於列之填充(line-based padding)來填充右上方未滿角落之一示例之示意圖，其中每個列分配來自一單一像素之一值(例如，一邊界像素)。
第10B圖為使用基於列之填充(line-based padding)來填充右上方未滿角落之一示例之示意圖，其中每個垂直列分配來自一個像素之一個值，以及每個水平列分配來自另一像素之另一值。
第10C圖為使用基於環狀之填充(circular-based padding)來填充右上方未滿角落之一示例之示意圖，其中每個環狀列分配來自一單一像素之一值、或來自兩個邊界之兩個像素之一加權和。
第10D圖為使用基於點之填(point-based padding)充來填充右上方未滿角落之一示例之示意圖，其中每個環狀列分配來自一單一像素之一值、或來自兩個邊界之兩個像素之一加權和。
第11A圖為將一立方畫面分割為多個獨立面之一示例之示意圖，其中該多個獨立面是從一立方展開面中提取的。
第11B圖為將一立方畫面分割為多個獨立面之一示例之示意圖，其中該多個獨立面是從一6×1集合立方畫面中提取的。
第11C圖為將一立方畫面分割為多個獨立面之一示例之示意圖，其中該多個獨立面是從一3×2集合立方畫面中提取的。
第12A圖為對多個面序列各自單獨進行編碼之一架構之示意圖。
第12B圖為分別用於多個獨立面之多個虛擬參考畫面之示意圖。
第13A圖為根據本發明一實施例之對一非矩形面之編碼操作之一示例之示意圖。
第13B圖為根據本發明一實施例之對一非矩形面進行解碼操作之一示例之示意圖。
第14圖為對於不同立方映射佈局(一3×2集合立方畫面、一立方體展開圖及一6×1集合立方畫面)之畫面序列編碼之一些示例之示意圖。
第15圖為在對應於一立方體展開圖之一畫面序列之情形中為不同面確定多個虛擬參考畫面之一示例之示意圖。
第16圖為根據本發明應用於一360度虛擬現實序列之一視頻編碼或解碼系統之流程圖，其中，多組虛擬參考畫面。
以下說明為執行本發明之較佳規劃模式。該說明僅用於說明本發明之一般精神，不應作為本發明之限制。本發明之範圍請參考後附之申請專利範圍來確定。
對於360度VR之表示或產生(rendering)，一球型影 像經常被映射至一多面體。該多面體之多個面可以分別進行編碼。可替代地，該多面體之多個面可以是展開的，或者被組合為一畫面。從該多面體之多個面到一展開畫面或一組合畫面之轉換也稱為多面體展開(polyhedral expansion)。多面體展開之多個畫面之編碼遇到了一些問題。舉例而言，由於以下所述原因，時域參考並不會全部應用於所有面。在展開一多面體並將其組合為一畫面期間，一些面會不可避免地被旋轉或連接至原本在該多面體中並未相互連接之一個或多個其他面。此外，由於將一球型影像映射至一多面體有可能會引入失真(distortion)，且該失真在整個影像中並不均勻(uniform)，因此，用以確定運動(motion)之傳統區塊匹配(block matching)技術需要擴展至更加複雜之運動模型(motion model)，例如仿射轉換(affine transform)，以匹配當前區塊與參考區塊。同樣，不存在面(non-existing-face)之多個區域需要進行填充(padded)。相應地，本發明公開了與畫面間編碼參考(例如畫面間編碼參考之產生與使用)有關之多種技術。
如之前所提到的，也存在位於立方體之多個面外部之360度VR之其他多面表示(multi-face representations)。舉例而言，該多面表示可以對應於一正多面體(regular polyhedron)，該正多面體之所有面具有相同之形狀與尺寸，例如矩形、三角形、六角形等。第3圖為具有20個面之一正多面體310之示例示意圖，其中每個面具有一三角形形狀。具有20個面之多面體310(即，正二十面體(icosahedron))可以展開成為一連接面320(也稱為一畫面)該多面表示也可以對應於一 非正多面體(on-regular polyhedron)，非正多面體之多個面具有兩個或更多個不同之多邊形形狀。第4圖為小斜方截半立方體(rhombicuboctahedron)410之示例示意圖，小斜方截半立方體410由三角形與矩形所構成。小斜方截半立方體410可以展開成為一連接面420(也稱為一畫面)。
第3圖與第4圖顯示了經由將剪開一些邊界來分離多個面而將多面體展開成為一畫面之多個示例。換言之，多面體可以被展開成為一畫面。然而，多面體中之目標面之任何邊(side)原本連接至另一面。因此，一展開畫面總是可以經由將目標面放置在中心而進行重新安排。多個相鄰面可以全部連接至各個邊。第5圖顯示經由將目標面512與514放置於中心而重新安排展開畫面510的示例示意圖。在重新安排之畫面520中，三個相鄰之方形面A、B和C連接至目標面512之三條邊。在重新安排之畫面530中，兩個相鄰方形面(Y和W)與兩個相鄰三角形(X和Z)連接至目標面514之四條邊。利用連接之相鄰面，使得位於目標面之邊界外部之邊界資料在被參考時更加可行(available)。
本發明提供一種使用虛擬參考畫面之VR視頻之畫面間編碼方法。說明書中記載了用於為360度VR之畫面間編碼構建虛擬參考之多種方法。對於待編碼之每個面(即，目標面)，確定位於中心之面fcenter。然後，將位於中心之面fcenter從參考畫面貼合至虛擬參考畫面之中心。來自參考畫面之多個相鄰面連接至位於中心之面fcenter之多個邊界。若存在空白區域，如不存在面之區域，則填充該不存在之面區域。
第6圖為根據本發明一實施例之一立方面之一虛擬參考構建之示例之示意圖。立方面610(即，面1(face 1))對應於待編碼之目標面。來自參考畫面之對應之面被貼合至虛擬參考畫面620之中心(622)。來自參考畫面之相鄰面(即，面0(face 0)、面2(face 2)、面4(face 4)和面5(face 5))連接至目標面之多個邊界。如第6圖所示，四個角落區域沒有面存在。相應地，這些非存在之面區域被填充。
第7圖為根據本發明另一實施例之用於立方面之正二十面體之面之一虛擬參考構建之示例之示意圖。正二十面體之目標面710對應於待編碼之目標面。來自參考畫面之對應面被貼合至虛擬參考畫面720之中心(722)。來自參考畫面之多個相鄰面共用目標面之一共同(common)邊界或頂點(vertex)，這些相鄰面連接至目標面之多個邊界或多個頂點。如第7圖所示，有9個相鄰面連接至目標面。當相鄰面被連接後，有三個區域不存在可以被插入之面。相應地，這些不存在面之區域可以被填充。
第6圖與第7圖顯示虛擬參考畫面構建之兩個實施例，本發明也公開了用於虛擬參考畫面構建之兩項其他技術。第6圖與第7圖中之兩個實施例對應於固定視埠之虛擬參考畫面，其中，虛擬參考畫面之中心使用了與參考畫面相同之目標面。在此情形下，不執行面旋轉。除固定視埠之虛擬參考畫面外，本發明也公開了改變視埠之虛擬參考畫面與任意視埠之虛擬參考畫面。對於改變視埠之虛擬參考畫面，目標面以外之一面可以被分配於參考畫面之中心。此外，可以分配該面之一旋 轉角度。舉例而言，在多個立方面之情形下，旋轉角度可以是0度、90度、180度或270度。被分配之中心面之識別碼(Identification,ID)與旋轉角度可以在視頻比特流中被發信告知(signaled)。
第8圖為用於立方面之改變視埠之虛擬參考畫面之示例示意圖。在本實施例中，目標面對應於面1(face 1)(810)。然而，參考畫面之面2(face 2)放置於虛擬參考畫面820之中心(822)。另外，位於中心之面被順時針旋轉90度。在本實施例中，參考畫面之旋轉後之面1(face 1)放置於非中心位置824。與多個面有關之多個文本(texts)隨著面之旋轉而進行旋轉。與新的視埠說明有關之資訊在視頻比特流中被發信告知。舉例而言，被分配之中心面ID與旋轉角度可以被發信告知，以便解碼器可以在解碼器端構建相同之虛擬參考畫面。
本發明也公開了任意視埠之虛擬參考畫面構建。根據本方法，使用視點偏移(view offset)與旋轉，可以等距柱狀投影圖域中任意定義被新的視埠。一3D目標可以在大概三個正交軸上被旋轉，如等距柱狀投影圖之x軸、y軸與z軸。假設x、y與z分別為用於在等距柱狀投影圖之x軸、y軸與z軸上旋轉之偏移，該多個偏移(即，x、y與z)可以直接(explicitly)在視頻比特流中進行發送。這些偏移值也可以從當前畫面之任意當前部分中之當前編碼區塊或一個或多個之前編碼區塊(例如，圖像/片段(slice)/圖塊(tile)/視圖(view))之已發送之運動向量所得到。這些偏移也可以間接地(implicitly)從多個共位區塊、多個空域相鄰區域或多個時域區域之一個或多個MV所產 生。同樣，這些偏移也可以間接地從當前視圖、面、或片段/圖像之全局(global)MV所產生，或從之前已編碼之視圖、面、或片段/圖像之全局MV所產生。
第9A圖至第9C圖為透過等距柱狀投影圖域為立體面構建任意視埠之虛擬參考之示例示意圖。在第9A圖中，立方體之目標面910顯示為位於原虛擬參考畫面920之中心922。原虛擬參考畫面920是從映射至等距柱狀投影圖表示930之立方體轉換而來的，等距柱狀投影圖表示930在原視埠中具有目標面932。第9B圖顯示經由在球面940之x軸上進行旋轉(即，x)而在等距柱狀投影圖域中之視埠改變之示例示意圖。原視埠對應於x軸上之偏移942。視埠改變為在x軸上之偏移944。在x軸上之新的偏移944對應於影像區域952。相應地，在等距柱狀投影圖參考畫面950中確定新的視埠952。第9C圖顯示將等距柱狀投影圖參考畫面中之新的視埠轉換回立方體映射之示例示意圖。在轉換之後，在等距柱狀投影圖參考畫面950中之新的視埠952映射至一立方體展開圖960之中心面962。利用所顯示之原目標面910，中心面962顯示於重建之任意視埠參考畫面970中，其中中心面962具有連接之四個相鄰面。
在相鄰面連接至目標面之後，一些區域仍然沒有資料。在第6圖與第7圖中，顯示了用於立方體映射與正二十面體映射之不存在面之多個區域之示例。本發明也公開了多種技術，以用於填充虛擬參考畫面中之不存在面之多個區域。舉例而言，若一存在之相鄰面可以被明確放置，則用於該存在之相鄰面之對應之相鄰面可以被連接以用於邊界外部之區域。對於 沒有對應面存在之多個區域，可以從其他面處產生填充資料。
本發明公開了多種技術，以用於為填充區域之四個未填充角落產生填充資料。根據一實施例，基於列(line-based)之填充是經由沿每列分配一相同值來使用。舉例而言，如第10圖所示，可以從當前面之邊界或相鄰面之邊界來獲取列，以用於右上角區域1010之填充。該多個列顯示為連接兩相鄰立方體邊緣之箭頭線。像素值可以從位於垂直邊界1020或水平邊界1022處之多個像素開始，沿箭頭線進行複製(copy)。該列可以被分配一個值，該值來自單一像素或多個像素。舉例而言，第10B圖顯示每列使用兩個像素之示例示意圖，其中，該列在對角線1032之上部區域內沿水平方向延伸，並在對角線1032之下部區域內沿垂直方向延伸。對於水平方向，該列從垂直邊界1020複製像素，以及對於垂直方向，該列從水平邊界1022複製像素。
在另一實施例中，如第10C圖所示，基於環形之填充是經由沿每個環形線分配一相同值來使用的。該值可以從邊界(即，1020或1022)中的一個或來自兩個邊界(即，1020與1022)之兩個像素之加權和來產生。在又一實施例中，如第10D圖所示，基於點之填充經由將角落像素(corner pixel)1042擴展至未填充角落區域以用於產生填充資料。在此情形下，填充區域中之多個像素之像素值與角落像素1042相同。
如之前所提到的，用於每個面之序列可以單獨進行編碼。可替代地，具有相同時間索引之所有面可以被組合為一畫面，且該畫面序列進行編碼。對於相同多面體映射之多個 面序列分別進行編碼之編碼系統，每個面單獨進行編碼，而不是用來自其他面之預測。相同畫面之所有面之視頻比特流可以打包在一起(packed together)。若輸入VR源(source)根據一佈局機制(layout scheme)安排為一畫面格式，則該多個面可以從畫面中提取出並作為單獨之面序列進行編碼。
如前所述，與用於一多面體之同一畫面有關之多個面與多個相鄰面在共同共用之面邊界上相互連接。為了改善單獨面序列編碼之編碼效率，本發明公開了使用多個虛擬參考畫面之畫面間預測。該方法包括：構建N組虛擬參考畫面，其中每組虛擬參考畫面被其對應面所使用，且N對應於多面體之面之數量。對於每個面序列，該方法選擇一組虛擬參考畫面(一個或多個虛擬參考畫面)以用於畫面間預測，並使用視頻編碼器對面序列進行編碼。
第11A圖至第11C圖顯示將立方體畫面分割為多個單獨面之多個實施例之示意圖。在第11A圖中，單獨面1112是從立方體展開圖1110中提取的。在第11B圖中，單獨面1122是從6×1組合之立方體畫面1120中提取的。在第11C圖中，單獨面1132是從3×2組合之立方體畫面1130中提取的。然後，單獨對該多個面序列進行編碼。
第12A圖顯示對多個面序列單獨進行編碼之示例結構示意圖。在本實施例中，面序列1210被提供至視頻編碼器1220。比特流1230從視頻編碼器1220中產生，其中，用於同一畫面之所有面之被壓縮之資料被打包在一起。當畫面間預測應用於每個畫面序列時，根據本發明，可以使用對應一組虛擬參 考畫面。第12B圖為分別用於單獨之面0(face 0)至面5(face 5)之虛擬參考畫面(1240-1245)之示意圖。用於構建虛擬參考畫面之方法已在前面進行了說明。
在第11A-11C圖與第12A-12B圖所示之多個實施例中，來自一立方體之多個面全部為矩形。然而，當對一展開之多面體映射進行編碼時，該多個面可以不總是矩形。舉例而言，展開一正二十面體將產生20個三角形之面。然而，視頻編碼系統經常被設計為處理矩形影像。為了處理非矩形面，根據本發明多個實施例提供了多種方法。舉例而言，經由使用空白資料或填充資料將三角形面之外部填充像素，產生包含該面之最小矩形，該最小矩形可以被劃分為整數個宏區塊(Macroblocks,MBs)或編碼單元(Coding Units,CU)。然後，根據MB或CU掃描順序對被填充之面進行編碼。若MB/CU未遮蓋(cover)面之任何部分(即，純粹填充資料)，則該MB/CU使用跳過模式(Skip mode)進行處理。若MB/CU遮蓋面之任意部分，則對該MB/CU進行編碼。當重建之後，位於面外部之所有像素被設置為0或被丟棄(即，不使用)。
第13A圖為根據本發明一實施例之用於非矩形面之編碼操作之示例示意圖。影像1310對應於包含三角形面之一最小矩形影像，並可被劃分為整數個MB或CU，以用於後續編碼操作。影像1320顯示被填充之矩形影像被劃分為多個MB/CU，且該多個MB/CU根據光柵線所指示之掃描順序進行編碼。在編碼操作期間，如影像1330所示，完全位於三角形面外部之MB/CU在跳過模式下進行編碼。
第13B圖為根據本發明一實施例之用於非矩形面之解碼操作之示例示意圖。影像1340表示在初始解碼操作(initial decoding process)後之影像。位於三角形面外部之解碼資料不是真實面資料之部分。相應地，如影像1350所示，位於三角形面外部之所有資料設置為0。
本發明另公開一種用於VR視頻之編碼系統，將具有同一時間索引之所有面組合為一畫面，然後對該畫面序列進行編碼。每個源畫面(source frame)由安排在所選佈局機制中之所有面構成。然後，將該多個源畫面提供至一編碼器作為輸入，以及編碼器根據掃描順序對MB/CU進行編碼。該掃描順序可以根據標準進行定義。對於每個MB/CU，區塊可以使用其自身之虛擬參考畫面以用於畫面間預測。
如前所述，源畫面可以被安排為多種佈局格式(layout formats)。根據本發明多個實施例，多面畫面被分割為多個MB/CU，該多個MB/CU根據掃描順序進行編碼。目標MB/CU之參考畫面取決於MB/CU所屬之面。第14圖為用於不同立方體映射佈局之畫面序列編碼之一些示例示意圖。影像1410對應於一組合之3×2立方體畫面，且該畫面被分割為多個MB/CU。該多個MB/CU根據虛線所指示之掃描順序進行編碼，起始MB/CU 1412如圖所指示。影像1420對應於具有多個空白區域之一立方體展開圖，起始MB/CU 1422如圖所指示。影像1430對應於一組合6×1立方體畫面，起始MB/CU 1432如圖所指示。
第15圖為在對應於一立方體展開圖之一畫面序列 之情形下為不同面確定虛擬參考畫面之示例示意圖。影像1510對應於標識了多個面編碼之一立方體展開圖畫面。區塊1512、1514和1516對應於待編碼之立方體展開圖畫面中之三個區塊。如前所述，可以為每個面構建虛擬參考畫面(即，1520、1521、1522、1523、1524或1525)。當對一區塊進行編碼時，虛擬參考畫面可以根據該區塊所位於之面來選擇。舉例而言，若面4(face 4)中之區塊1512被編碼，則虛擬參考畫面1524被選擇用於區塊1512之畫面間預測。對應於區塊1512之共位區塊1532可以在虛擬參考畫面1524之中心面中被識別出。類似地，若面5(face 5)中之區塊1514被編碼，則選擇虛擬參考畫面1525以用於區塊1514之畫面間預測。對應於區塊1514之共位區塊1534可以在虛擬參考畫面1525之中心面中被識別出。當對面2(face 2)中之區塊1516進行編碼時，虛擬參考畫面1522可以被選擇以用於區塊1516之畫面間預測。對應於區塊1516之共位區塊1536可以在虛擬參考畫面1522之中心面中識別出。
第16圖為根據本販賣那個之應用於360度VR序列之視頻編碼或解碼系統之流程圖，其中，多組虛擬參考畫面被構建並用於多面畫面序列之畫面間編碼。根據本方法，在步驟1610中，接收與360度VR序列有關之輸入資料。在編碼器端，輸入資料對應於待編碼之多個多面序列之像素資料。在解碼器端，輸入資料對應於視頻比特流或待解碼之編碼資料。在步驟1620中，產生表示360度VR序列之一個或多個多面序列。在步驟1630中，檢測是否選擇畫面間預測以用於所述一個或多個多面序列之當前面中之當前區塊。若選擇畫面間預測以用於當前 塊(即，步驟1630中選擇「是」路徑)，則執行步驟1640與步驟1650。否則(即，步驟1630中選擇「否」路徑)，則跳過步驟1640與步驟1650。在步驟1640中，經由將一個目標參考面分配於所述虛擬參考畫面之中心，並在所述目標參考面之多個邊界處將所述目標參考面之多個相鄰面連接於所述目標參考面，從而為所述一個或多個多面序列之每個面產生一個虛擬參考畫面。在步驟1650中，使用為當前面所產生之當前虛擬參考畫面來對當前面中之當前區塊進行編碼或解碼，以產生當前區塊之畫面間預測。
對於本發明，上述流程圖可以對應於在計算機、行動裝置、數位信號處理器或可程式化裝置上執行之多個軟體程式代碼。該多個程式代碼可以使用諸如C++之多種程式語言來編寫。該流程圖也可以對應於基於硬體之實施方式，其中可包括一個或多個電子電路(例如，特殊應用積體電路(ASIC))及FPGA(現場可程式化閘陣列)或處理器(例如，DSP)。
以上說明可以使得所屬領域具有通常知識者能夠以特定應用及其需求的形式來實施本發明。所屬領域具有通常知識者可以輕易了解對上述多個實施例之多種變形，此處所定義之一般原則可以應用於其它實施例。因此，本發明並非僅限於此處所述及所示之多個特定實施例，應符合此處所公開之多個原則與新的特徵之最廣泛為。在上述詳細說明中，顯示了多種具體細節，其目的在於提供有關本發明之全面理解。然而，所屬領域具有通常知識者應當理解，本發明能夠實施。
本發明之上述實施例可以以多種硬體、軟體代碼 或二者之組合來實施。舉例而言，本發明之一實施例可以為整合於一視頻壓縮芯片中之電路或整合於視頻壓縮軟體之程式代碼，以執行此處所述之處理。本發明之一實施例也可以是在DSP上執行之程式代碼，以執行此處所述之處理。本發明也可以包括由計算機處理器、數位信號處理器、微處理器或FPGA所執行之多個功能。這些處理器可以根據本發明配置為執行多個特定任務，執行定義了本發明所體現之多個特定方法之計算機可讀軟體代碼或韌體碼。該軟體代碼或韌體嗎可以以不同程式語言與不同格式或類型來開發。該軟體代碼也可以進行編譯以用於不同目標平台。然而，多個軟體代碼之不同代碼格式、類型和語言，以及根據本發明配置代碼以執行多個任務之其它方式，均不脫離本發明之精神與範圍。
在不脫離本發明之精神或實質特徵之前提下，本發明可以體現為其它具體格式。上述多個示例之全部僅視為說明而非限制。因此，本發明之範圍由後附之申請專利範圍所指示，而非上述說明。在申請專利範圍之含義及等效範圍內之所有改變均包含於其範圍內。

Claims (19)

  1. 一種視頻編碼或解碼方法，用於一視頻編碼或解碼系統，該視頻編碼或解碼方法應用於一360度虛擬現實序列，該視頻編碼或解碼方法包括：接收與該360度虛擬現實序列有關之輸入資料；產生用於表示該360度虛擬現實序列之一個或多個多面序列；若為該一個或多個多面序列中之一當前面中之一當前區塊選擇畫面間預測，則：經由將一個目標參考面分配至一個虛擬參考畫面之一中心，並在該目標參考面之多個邊界處將該目標參考面之多個相鄰面連接至該目標參考面，來為該一個或多個多面序列之每個面產生該虛擬參考畫面；以及使用為該當前面所產生之一當前虛擬參考畫面來對該當前面中之該當前區塊進行編碼或解碼，以為該當前區塊產生一畫面間預測子。
  2. 根據申請專利範圍第1項之視頻編碼或解碼方法，其中，該一個或多個多面序列對應於N個單獨面序列，且每個面序列單獨進行編碼或解碼，以及其中，N為一整數，對應於表示該360度虛擬現實序列之一多面體中之多個面之一總數。
  3. 根據申請專利範圍第1項之視頻編碼或解碼方法，其中，該一個或多個多面序列對應於一個畫面序列，以及其中，每個畫面包含具有同一時間索引之一多面體之所有面。
  4. 根據申請專利範圍第1項之視頻編碼或解碼方法，其中，該 當前面之該目標參考面對應於與該當前面具有相同面編號且無旋轉之一個參考面，其中，該當前面之該目標參考面被分配至該虛擬參考畫面之該中心。
  5. 根據申請專利範圍第1項之視頻編碼或解碼方法，其中，為該當前面而分配至該虛擬參考畫面之該中心之該目標參考面對應於一個參考面，該參考面具有與該當前面不同之一面編號。
  6. 根據申請專利範圍第5項之視頻編碼或解碼方法，其中，具有與該當前面不同之該面編號之該參考畫面旋轉一角度。
  7. 根據申請專利範圍第6項之視頻編碼或解碼方法，其中，與該參考面有關之面識別資訊、與旋轉之該角度有關之角度資訊、或者二者，在一編碼器端進行發信告知或者在一解碼器端解析得出。
  8. 根據申請專利範圍第1項之視頻編碼或解碼方法，其中，為該當前面而分配至該虛擬參考畫面之該中心之該目標參考面對應於一個任意視埠參考面，該任意視埠參考面是經由將一個原始目標參考面從一原始視埠在一有關之等距柱狀投影圖之三正交軸中之一個或多個上進行旋轉來產生的。
  9. 根據申請專利範圍第8項之視頻編碼或解碼方法，其中，將位於一原始虛擬參考畫面之一中心之該原始目標參考面變換為在該有關之等距柱狀投影圖中之一對應參考面圖像，將該對應參考面圖像經由從該原始視埠在該有關之等距柱狀投影圖之該三個正交軸中之該一個或多個上進行旋轉以變為具有一新視埠之一新的對應參考面圖像，將在該有關 之等距柱狀投影圖中之該新的對應參考面圖像變為一多面畫面中之一新目標參考面，以及將該新目標參考面用作該目標參考面。
  10. 根據申請專利範圍第8項之視頻編碼或解碼方法，其中，與將該原始目標參考面從該院是視埠在該有關之等距柱狀投影圖之該三個正交軸中之一個或多個上進行旋轉有關之旋轉資訊，在一編碼器端在一視頻比特流中進行發信告知，或者在一解碼器端從該視頻比特流中解析得出。
  11. 根據申請專利範圍第8項之視頻編碼或解碼方法，其中，與將該原始目標參考面從該院是視埠在該有關之等距柱狀投影圖之該三個正交軸中之一個或多個上進行旋轉有關之旋轉資訊，是在一解碼器端從該當前區塊之一個或多個運動向量、或一個或多個之前已編碼之時域或空域相鄰區塊之一個或多個運動向量所產生，以及其中，在一視頻比特流中未直接發信告知該旋轉資訊。
  12. 根據申請專利範圍第11項之視頻編碼或解碼方法，其中，與將該原始目標參考面從該院是視埠在該有關之等距柱狀投影圖之該三個正交軸中之一個或多個上進行旋轉有關之旋轉資訊，是在一解碼器端從該當前區塊之該一個或多個運動向量、或一個或多個之前已編碼之時域或空域相鄰區塊之該一個或多個運動向量所產生。
  13. 根據申請專利範圍第1項之視頻編碼或解碼方法，其中，若在將該目標參考面分配至該虛擬參考畫面之該中心，並在該目標參考面之多個邊界處將該目標參考面之多個相鄰面 連接至該目標參考面後，該虛擬參考畫面包含任何空白區域，則填充一個或多個空白區域。
  14. 根據申請專利範圍第13項之視頻編碼或解碼方法，其中，若一個目標空白區域位於一個面邊界之外部，以及一既有之相鄰面能夠被放置於該目標空白區域且不模糊，則使用該既有之相鄰面來填充該目標空白區域。
  15. 根據申請專利範圍第13項之視頻編碼或解碼方法，其中，若一個目標空白區域沒有對應之相鄰面，則使用從其他面所產生之填充資料對該目標空白區域進行填充。
  16. 根據申請專利範圍第1項之視頻編碼或解碼方法，其中，若該當前面非矩形，則使用包含該當前面之一最小矩形對該當前面進行編碼或解碼，以及其中，該最小矩形被調整為可以分割為數量為一整數之多個處理區塊，以用於編碼或解碼。
  17. 根據申請專利範圍第16項之視頻編碼或解碼方法，其中，若一目標處理區塊不包含屬於該當前面之像素，則將該目標處理區塊編碼為一跳過模式。
  18. 根據申請專利範圍第16項之視頻編碼或解碼方法，其中，在一解碼器端，位於該當前面外部之所有像素均設置為0或進行忽略。
  19. 一種視頻編碼或解碼裝置，用於一視頻編碼或解碼系統，該視頻編碼或解碼裝置應用於一360度虛擬現實序列，該視頻編碼或解碼裝置包含一個或多個電子元件或處理器，用於： 接收與該360度虛擬現實序列有關之輸入資料；產生用於表示該360度虛擬現實序列之一個或多個多面序列；若為該一個或多個多面序列中之一當前面中之一當前區塊選擇畫面間預測，則：經由將一個目標參考面分配至一個虛擬參考畫面之一中心，並在該目標參考面之邊界處將該目標參考面之多個相鄰面連接至該目標參考面，來為該一個或多個多面序列之每個面產生該虛擬參考畫面；以及使用為該當前面所產生之一當前虛擬參考畫面來對該當前面中之該當前區塊進行編碼或解碼，以為該當前區塊產生一畫面間預測子。
TW106121041A 2016-06-27 2017-06-23 視頻編碼或解碼方法及裝置 TWI650996B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662354856P 2016-06-27 2016-06-27
US62/354,856 2016-06-27
US15/629,855 2017-06-22
US15/629,855 US10264282B2 (en) 2016-06-27 2017-06-22 Method and apparatus of inter coding for VR video using virtual reference frames

Publications (2)

Publication Number Publication Date
TW201813399A TW201813399A (zh) 2018-04-01
TWI650996B true TWI650996B (zh) 2019-02-11

Family

ID=60678140

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106121041A TWI650996B (zh) 2016-06-27 2017-06-23 視頻編碼或解碼方法及裝置

Country Status (5)

Country Link
US (1) US10264282B2 (zh)
EP (1) EP3456042A1 (zh)
CN (1) CN109417634B (zh)
TW (1) TWI650996B (zh)
WO (1) WO2018001194A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043237B2 (en) * 2015-08-12 2018-08-07 Gopro, Inc. Equatorial stitching of hemispherical images in a spherical image capture system
WO2018043905A1 (ko) * 2016-08-29 2018-03-08 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
JP2019530311A (ja) 2016-09-02 2019-10-17 ヴィド スケール インコーポレイテッド ３６０度ビデオ情報をシグナリングするための方法およびシステム
US10593122B1 (en) 2017-01-24 2020-03-17 Amazon Technologies, Inc. Mirroring edge pixels
US10580167B1 (en) 2017-01-24 2020-03-03 Amazon Technologies, Inc. Excluding masked regions of virtual reality (VR) frames from encoder processing
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
EP3596926A1 (en) 2017-03-17 2020-01-22 Vid Scale, Inc. Predictive coding for 360-degree video based on geometry padding
US11277635B2 (en) * 2017-03-17 2022-03-15 Vid Scale, Inc. Predictive coding for 360-degree video based on geometry padding
US10467775B1 (en) * 2017-05-03 2019-11-05 Amazon Technologies, Inc. Identifying pixel locations using a transformation function
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US11223848B2 (en) * 2017-06-30 2022-01-11 Vid Scale, Inc. Weighted to spherically uniform PSNR for 360-degree video quality evaluation using cubemap-based projections
KR102442089B1 (ko) * 2017-12-20 2022-09-13 삼성전자주식회사 이미지의 관심 영역의 위치에 따라 이미지를 다면체에 매핑하는 장치 및 그 영상 처리 방법
CN111602401B (zh) * 2018-01-16 2024-01-09 Vid拓展公司 用于360度视频译码的自适应帧封装
US11069026B2 (en) * 2018-03-02 2021-07-20 Mediatek Inc. Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding
US10922783B2 (en) 2018-03-02 2021-02-16 Mediatek Inc. Cube-based projection method that applies different mapping functions to different square projection faces, different axes, and/or different locations of axis
KR20190110043A (ko) * 2018-03-19 2019-09-27 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2020249124A1 (en) 2019-06-14 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries based on color format
EP3970366A4 (en) * 2019-06-14 2023-03-29 Beijing Bytedance Network Technology Co., Ltd. HANDLING VIDEO UNIT LIMITS AND VIRTUAL LIMITS
CN117478878A (zh) 2019-07-09 2024-01-30 北京字节跳动网络技术有限公司 用于自适应环路滤波的样点确定
WO2021004542A1 (en) 2019-07-11 2021-01-14 Beijing Bytedance Network Technology Co., Ltd. Sample padding in adaptive loop filtering
BR112022000794A2 (pt) 2019-07-15 2022-03-15 Beijing Bytedance Network Tech Co Ltd Método de processamento de dados de vídeo, aparelho para processamento de dados de vídeo, meios de armazenamento e gravação não transitórios legíveis por computador
CN114616834B (zh) * 2019-08-16 2024-04-02 谷歌有限责任公司 用于视频通话的基于面容的帧封装
KR102476057B1 (ko) * 2019-09-04 2022-12-09 주식회사 윌러스표준기술연구소 클라우드 가상 현실을 위한 imu 센서 데이터를 활용한 비디오 인코딩 및 디코딩 가속 방법 및 장치
CN114430902B (zh) 2019-09-22 2023-11-10 北京字节跳动网络技术有限公司 自适应环路滤波中的填充过程
WO2021057946A1 (en) 2019-09-27 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering between different video units
KR20220071203A (ko) 2019-10-10 2022-05-31 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링에서 이용 불가능한 샘플 위치들에서의 패딩 프로세스

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140218354A1 (en) * 2013-02-06 2014-08-07 Electronics And Telecommunications Research Institute View image providing device and method using omnidirectional image and 3-dimensional data
US20160142697A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
CN105681805A (zh) * 2016-01-19 2016-06-15 北京大学深圳研究生院 视频编码、解码方法及其帧间预测方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685532B (zh) 2012-06-04 2014-04-16 山东大学 自由视点四维空间视频编码系统的编码方法
CN105554506B (zh) 2016-01-19 2018-05-29 北京大学深圳研究生院 基于多方式边界填充的全景视频编码、解码方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140218354A1 (en) * 2013-02-06 2014-08-07 Electronics And Telecommunications Research Institute View image providing device and method using omnidirectional image and 3-dimensional data
US20160142697A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
CN105681805A (zh) * 2016-01-19 2016-06-15 北京大学深圳研究生院 视频编码、解码方法及其帧间预测方法和装置

Also Published As

Publication number Publication date
CN109417634A (zh) 2019-03-01
EP3456042A1 (en) 2019-03-20
TW201813399A (zh) 2018-04-01
US10264282B2 (en) 2019-04-16
WO2018001194A1 (en) 2018-01-04
US20170374385A1 (en) 2017-12-28
CN109417634B (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
TWI650996B (zh) 視頻編碼或解碼方法及裝置
TWI666914B (zh) ３ｄ視訊壓縮中參考圖像產生及管理之編解碼方法及裝置
TWI678915B (zh) 一種視訊編解碼的方法及裝置
TWI702832B (zh) 虛擬現實視訊處理的邊界填充的方法與裝置
CN107454468B (zh) 对沉浸式视频进行格式化的方法、装置和流
KR102273199B1 (ko) 곡선 뷰 비디오 인코딩/디코딩에서 효율성 향상을 위한 시스템 및 방법
TWI673995B (zh) 生成和編碼包括堆疊在360度虛擬實境投影佈局中的至少一個填充區域和至少一個投影面的基於投影的圖框的方法及裝置
WO2017125030A1 (en) Apparatus of inter prediction for spherical images and cubic images
TW201916685A (zh) 用於處理360°vr幀序列的方法及裝置
TWI655862B (zh) 視頻編碼或解碼方法與裝置
TWI690728B (zh) 用於處理包括堆疊在具有填充的基於立方體的投影佈局中的投影面的基於投影的圖框的方法
TWI688258B (zh) 一種用於重構的基於投影的幀的解塊方法
TWI681662B (zh) 用於減少基於投影的圖框中的偽影的方法和裝置
CN114051734A (zh) 一种解码三维场景的方法和装置
KR20220109433A (ko) 다중 뷰포인트 3DoF+ 콘텐츠의 인코딩 및 디코딩을 위한 방법 및 장치
WO2019115867A1 (en) An apparatus, a method and a computer program for volumetric video
JP7271672B2 (ja) 没入型ビデオビットストリーム処理
TW201941597A (zh) 用於重構的基於投影的幀的樣本適應性偏移濾波方法
KR102011431B1 (ko) 영상 병렬 처리 방법 및 장치
KR20220066328A (ko) 볼류메트릭 비디오를 인코딩, 송신 및 디코딩하기 위한 방법 및 장치
KR20220054430A (ko) 볼류메트릭 비디오 콘텐츠를 전달하기 위한 방법 및 장치들
CN109845270B (zh) 一种视频处理方法和装置
CN115885513A (zh) 用于对体积视频进行编码和解码的方法和装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees