TWI655862B - 視頻編碼或解碼方法與裝置 - Google Patents

視頻編碼或解碼方法與裝置 Download PDF

Info

Publication number
TWI655862B
TWI655862B TW106120876A TW106120876A TWI655862B TW I655862 B TWI655862 B TW I655862B TW 106120876 A TW106120876 A TW 106120876A TW 106120876 A TW106120876 A TW 106120876A TW I655862 B TWI655862 B TW I655862B
Authority
TW
Taiwan
Prior art keywords
face
target
sequence
faces
video encoding
Prior art date
Application number
TW106120876A
Other languages
English (en)
Other versions
TW201813392A (zh
Inventor
林建良
黃昭智
林鴻志
李佳盈
張勝凱
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201813392A publication Critical patent/TW201813392A/zh
Application granted granted Critical
Publication of TWI655862B publication Critical patent/TWI655862B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明公開一種視頻編碼或解碼方法與裝置，用於一視頻編碼或解碼系統，該視頻編碼或解碼方法與裝置用於對應於一360度虛擬現實序列之多個多面序列。根據本發明之多個實施例，該多個多面序列中之至少一面序列使用面獨立編碼進行編碼或解碼，其中，該面獨立編碼對使用預測參考資料之一目標面序列進行編碼或解碼，其中該預測參考資料僅根據該目標面序列之之前已編碼資料所產生。此外，在一編碼器端之一視頻比特流中發信告知一個或多個語法元素，或者在一解碼器端從該視頻比特流中解析該一個或多個語法元素。

Description

視頻編碼或解碼方法與裝置
本發明係關於影像(image)與視頻(video)編碼(coding)；特別地，本發明係關於面序列(face sequences)之編碼，其中，該多個面(faces)對應於立體面(cube faces)或作為360度虛擬現實視頻(360-degree virtual reality video)之代表之多個面。
360度視頻，也稱為沉浸式視頻(immersive video)，是一種新興技術，該技術可以提供“身臨其境之感受”。沉浸式感覺是經由為使用者營造環繞式場景(wrap-around scene)來實現的，其中該環繞式場景覆蓋一全景視圖(panoramic view)，特別是360度視野(field of view)。“身臨其境之感受”可以使用立體呈現(stereographic rendering)來進一步改善。相應地，全景視頻(panoramic video)廣泛使用於多種虛擬現實(Virtual Reality,VR)應用之中。
沉浸式視頻包括使用多個相機(cameras)來抓取一場景，以覆蓋一全景視圖，如360度視野。典型地，沉浸式相機使用兩個或更多個相機。所有視頻必須同時被拍攝，並記錄該場景之多個分離片段(fragments)(也稱為分離視點 (perspectives))。此外，經常安排一組相機來水平抓取多個視角(views)，也可以對這些相機進行其它安排。
360度全景相機抓取周邊之多個場景，且訂合(stitched)後之球形影像是表示VR視頻之一種方式，該球形影像在水平方向上連續。換言之，在左端之該球形影像之內容延續至右端。該球形影像也可以投影轉換至(projected to)一立方體之六個面，以作為一可替代之360度形式。該轉換可以使用投影轉換來執行，以產生呈現一立方體之六個面之六面影像。在該立方體之多個面上，這六個影像在該立方體之邊緣處進行連接。在第1圖中，影像100對應於一展開之立方影像，其空白區域使用虛擬資料(dummy data)來填充。該展開之立方畫面(frame)也稱為一立方體展開圖(cubic net)，該立方體展開圖具有多個空白區域。如第1圖所示，具有多個空白區域之多個展開立方面影像可納入覆蓋該六個展開之立體面影像之一最小矩形(rectangular)。
如第1圖所示，這六個立體面以某一方式互相連接，這是因為這六個立體面對應於一立方體之該六個面上之六個圖像(pictures)。相應地，該立方體上之每個邊緣由兩個立體面所共用。換言之，在x、y和z方向上之每四個面在其各自方向上是環狀連續的(continuous circularly)。具有空白區域之立方面集合畫面(cubic-face assembled frame)(例如，第1圖中之影像100)之多個環狀邊緣(circular edges)如第2圖之影像200所示。與該多個立方面邊界有關之多個立方邊緣進行了標識。具有相同邊緣數字之立方面邊界指示著兩個立方面邊界相 連，並共用相同之立方邊緣。舉例而言，邊緣#2位於面1(face 1)之上方，面5(face 5)之右側。因此，面1(face 1)之上方連接於面5(face 5)之右側。相應地，當面1(face 1)逆時針旋轉90度時，面1(face 1)之上方之內容將連續滾入面之右側。
在本發明中，公開了編碼及多個多面序列之信令(signaling)之多種技術。
本發明公開一種視頻編碼或解碼方法，用於一視頻編碼或解碼系統，該視頻編碼或解碼方法適用於對應於一360度虛擬現實序列之多個多面序列(multi-face sequences)。根據本發明多個實施例，該多個多面序列中之至少一面序列使用面獨立編碼(face-independent coding)進行編碼或解碼，其中，該面獨立編碼使用預測參考資料對一目標面序列進行編碼或解碼，該預測參考資料僅根據該目標面序列之之前已編碼資料所產生(derive)。此外，可以在一編碼器端之一視頻比特流中發信告知一個或多個語法元素，或者在一解碼器端從該視頻比特流中解析出該一個或多個語法元素，其中，這些語法元素用於指示與該多個多面序列中之一面總數有關之第一資訊、與面獨立編碼後之每個面序列之一面索引(face index)有關之第二資訊、或者該第一資訊與該第二資訊。這些語法元素可以位於該視頻比特流之一序列級別(sequence level)、視頻級別(video level)、面級別(face level)、視頻參數集(Video Parameter Set,VPS)、序列參數集(Sequence Parameter Set,SPS)或應用參數集 (Application Parameter Set,APS)中。
在一實施例中，該多個多面序列之全部使用面獨立編碼進行編碼。一個或多個面序列可以使用一虛擬參考畫面(virtual reference frame)以用於畫面間預測(Inter prediction)、畫面內預測(Intra prediction)、或畫面間與畫面內預測，該虛擬參考畫面包括在一既定時間索引(given time index)上之該多個多面序列之全部面。在另一實施例中，一個或多個面內部集合(Intra-face sets)可以作為隨機存取點(Random Access Points,RAPs)進行編碼，其中，每個面內部集合由具有同一時間索引之全部面構成，且每個隨機存取點使用畫面內預測進行編碼，或使用僅基於一個或多個特定圖像之畫面間預測進行編碼。當一目標特定圖像用於該畫面間預測時，在目標特定圖像用於該畫面間預測之前，對該目標特定圖像中之所有面進行解碼。對於具有緊隨一RAP之後之一時間索引之任意目標面，若該目標面使用時域(temporal)參考資料進行編碼，則該時域參考資料排除任何非RAP參考資料。
在一實施例中，一個或多個第一面序列使用預測資料進行編碼，該預測資料所包含之至少一部分是根據一第二序列所產生。該一個或多個第一面序列中之該一個或多個目標第一面分別使用從該第二面序列中之一目標第二面處所產生之畫面內預測，其中，該一個或多個第一面序列中之該一個或多個目標第一面與該第二面序列中之該目標第二面全部具有同一時間索引。在此情形下，對於位於一個目標第一面之一面邊界上之一當前第一區塊，該目標第二面對應於與該目標第一 面之該面邊界相鄰之一相鄰面。
在另一實施例中，該一個或多個第一面序列中之一個或多個目標第一面分別使用從該第二面序列中之一目標第二面處所產生之畫面間預測，其中，該一個或多個第一面序列中之該一個或多個目標第一面與該第二面序列中之該目標第二面全部具有同一時間索引。對於位於一個目標第一面序列中之一個目標第一面中之一當前第一區塊，該目標第二面對應於與一個參考第一面之一面邊界相鄰之一相鄰面，其中，該目標第一面序列具有一當前向量(Motion Vector,MV)，該MV指向跨越該目標第一面序列中之該參考第一面之該面邊界之一參考區塊。
在又一實施例中，該一個或多個第一面序列中之一個或多個目標第一面分別使用從該第二面序列中之一目標第二面處所產生之畫面間預測，其中，該第二面序列中之該目標第二面之一時間索引小於該一個或多個第一面序列中之任何目標第一面之一時間索引。對於位於一個目標第一面序列中之一個目標第一面中之一當前第一區塊，該目標第二面對應於與一個參考第一面之一面邊界相鄰之一相鄰面，其中該目標第一面序列具有一當前MV，該MV指向跨越該目標第一面序列中之該參考第一面之該面邊界之一參考區塊。
100、200‧‧‧影像
610、620、630、710、720、730、1210、1220、1230‧‧‧圖像
612、712、722、726、1212、1222‧‧‧區塊
614、624、714、724、734、1224‧‧‧面邊界
622‧‧‧參考資料
716、1214‧‧‧運動向量
732‧‧‧參考像素
1226、1232‧‧‧區域
1310~1320‧‧‧步驟
face 0~face 5‧‧‧面
#1~#7‧‧‧邊緣
第1圖為對應於空白區域使用虛擬資料填充之一立方體展開圖之一展開立方畫面之一示例之示意圖。
第2圖為第1圖中具有多個空白區域之該立方面集合畫面之該多個環狀邊緣之一示例之示意圖。
第3圖為用於VR視頻之一完全面獨立編碼結構之一示例之示意圖，其中，一視頻編碼器將每個立方面序列用作一輸入視頻序列。
第4圖為具有一隨機存取點(k+n)之面獨立編碼之一示例之示意圖，其中，在時間k上之該多個面之集合為一特定圖像。
第5圖為根據本發明一實施例之允許從其它面進行預測之面序列編碼之一示例之示意圖。
第6圖為使用來自與該當前面具有同一時間索引之另一面之資訊進行畫面內預測之一示例之示意圖。
第7圖為使用來自具有相同時間索引之另一面之資訊進行畫面間預測之一示例之示意圖。
第8圖為根據本發明一實施例之允許從具有相同時間索引之其它面進行預測之面序列編碼之另一示例之示意圖。
第9圖為根據本發明一實施例之允許從具有相同時間索引之其它面進行預測之面序列編碼之又一示例之示意圖。
第10圖為根據本發明一實施例之允許來自其它面之時域參考資料之面序列編碼之一示例之示意圖。
第11圖為根據本發明一實施例之允許來自其它面之時域參考資料之面序列編碼之另一示例之示意圖。
第12圖為同樣使用來自另一面之參考資料進行畫面間預測之一示例之示意圖，其中，面0(face 0)中之一當前圖像(時間索引為k+2)中之一當前區塊是同樣使用對應於面0(face 0) 與面4(face 4)中之多個之前圖像(即，時間索引k+1)之參考資料進行畫面間預測的。
第13圖為根據本發明一實施例之對應於360度虛擬現實序列之多個多面序列之視頻編碼之流程圖。
以下說明為執行本發明之較佳規劃模式。該說明僅用於說明本發明之一般精神，不應作為本發明之限制。本發明之範圍請參考後附之申請專利範圍來決定。
在本發明中，公開了編碼及獨立面序列之信令之多種技術。第3圖為用於VR視頻之一完全面獨立編碼結構之示意圖，其中，每個立方面序列被一視頻編碼器用作一個輸入視頻序列。在解碼器端，接收一人列序列之一視頻比特流，且該解碼器對該視頻比特流進行解碼。對於第3圖所示之多個立方面，六個面序列用作六個視頻序列，並進行獨立編碼。換言之，根據本發明之該實施例，每個面序列僅適用預測資料(畫面間或畫面內)進行編碼，該預測資料是從同一面序列所產生的。在第3圖中，具有同一時間索引(例如，k、k+1、k+2等)之多個面在本說明書中稱為一面內部集合。
在第3圖中，雖然與一立方體有關之六個面用作多面VR視頻代表之一示例，但本發明也可以應用於其它多面代表。本發明之另一方面在於獨立編碼之多個面之信令。舉例而言，可以在視頻比特流中發信告知一個或多個語法元素，以致命與該多個多面序列中之一面總數有關之資訊。此外，也可以發信告知獨立編碼後之每個面之面索引有關之資訊。該一個或 多個語法元素可以在序列級別、視頻級別、面級別、VPS、SPS或APS中發信告知。
一虛擬參考畫面用於預測，以改善編碼性能。該虛擬參考畫面由與一個時間索引有關之至少兩個面構成，該時間索引可以用於運動補償及/或畫面內預測。因此，該虛擬參考畫面可以用於使用該虛擬參考畫面中之其它面所提供之一當前面外之參考資料，為來產生每個面之參考資料。舉例而言，若面0(face 0)為當前面，面0(face 0)外部之參考資料有可能在相鄰面中找到，如面1(face 1)、面2(face 2)、面4(face 4)和面5(face 5)。類似地，當該參考資料位於一已選擇之面外部時，該虛擬參考畫面也可以為其它面提供參考資料。
本發明也引入了使用一隨機存取點之面獨立編碼。該隨機存取點可以是來自一特定圖像之圖像內預測，或者來自多個特定圖像之圖像間預測，也可以是其它隨機存取點。對於一隨機存取點畫面，該特定圖像中之所有面將被解碼。其它普通圖像(regular picture)可以被選擇並進行獨立編碼。在該隨機存取點後之多個圖像無法從該多個普通圖像(即，多個非特定圖像)來預測，其中該多個普通圖像在該隨機存取點之前進行編碼。若同樣應用上述虛擬參考畫面，則若只解碼了該多個普通圖像之一部分，則該虛擬參考圖像有可能無法完成。否則，這將導致預測錯誤(prediction error)。然而，該錯誤遞延將在該隨機存取點處終止。
第4圖為使用一隨機存取點(k+n)之面獨立編碼之 一示例之示意圖。在時間k之該多個面之集合為一特定圖像。在時間k之該特定圖像後之該多個面之多個集合(即，k+1、k+2等)將作為多個普通圖像使用來自相同之多個面之時域預測(temporal prediction)進行編碼，直至一隨機存取點被編碼。如第4圖所示，該時域預測鏈(temporal prediction chain)在時間k+n之隨機存取點之前終止。在時間k+n之隨機存取點可以使用(一個或多個)參考圖像作為(一個或多個)特定圖像進行畫面內編碼、或者進行畫面間編碼。
如第3圖與第4圖所示之完全面獨立編碼提供了更加穩健(robust)之編碼，以消除不同面序列間之編碼依賴性。然而，完全面獨立編碼不使用多個面間之關聯，特別是兩個相鄰面間之連續跨越之多個面邊界。為了改善編碼效率，根據本發明另一方法，允許預測使用來自其它面之參考資料。舉例而言，一當前面之畫面內預測可以使用具有相同時間索引之其它面中之參考資料。同樣，對於畫面間預測，若運動向量指向位於當前參考面邊界外部之多個參考像素，則用於畫面間預測之多個參考像素可以從具有相同時間索引之當前面之多個相鄰面處所產生。
第5圖為根據本發明另一方法之允許從多個其它面處預測之面序列編碼之一示例之示意圖。在第5圖之實施例中，面5(face 5)與面3(face 3)均使用來自面4(face 4)之資訊來產生預測資料。同樣，面2(face 2)與面0(face 0)均使用來自面1(face 1)之資訊來產生預測資料。第5圖之該示例對應於使用來自具有相同時間索引之另一面之資訊進行預 測之情形。對於面4(face 4)與面1(face 1)，該多個面序列是使用面獨立編碼的，而沒有使用來自其它面之參考資料。
第6圖為使用來自與當前面具有相同時間索引之另一面之資訊進行畫面內預測以產生參考資料之一示例之示意圖。如第1圖與第2圖所示，面5(face 5)之該底部面邊界與面0(face 0)之頂部邊界相連。因此，在靠近頂部面邊界614之時間索引為k+2之當前面0(face 0)圖像610中之當前區塊612之畫面內編碼，可以使用時間索引為k+2之面5(face 5)圖像620之底部邊界624處之畫面內預測參考資料622。在此情形下，假設位於面5(face 5)圖像620之底部面邊界624處之像素資料是在位於面0(face 0)圖像610之頂部邊界之當前區塊612之前進行編碼的。當時間索引為k+2之當前面0(face 0)圖像610使用畫面間編碼，則其可以使用時間索引為k+1之面0(face 0)圖像630來產生該畫面間預測資料。
第7圖為使用來自具有相同時間索引之另一面之資訊進行畫面間預測之一示例之示意圖。在本示例中，當前面0(face 0)圖像正在使用畫面間預測進行編碼，該畫面間預測是從相同面序列中之之前已編碼資料中所產生的。然而，當運動向量指向位於同一面序列中之參考面外部之多個參考像素時，來自具有相同時間索引之另一面之參考資料可以用於產生所需之參考資料。在第7圖之示例中，位於當前面0(face 0)圖像710之底部面邊界714處之當前區塊712使用畫面間編碼，以及運動向量716指向參考區塊722，其中，參考區塊722之部分參考區塊726位於面0(face 0)參考圖像720之底部面邊界724 之外部。位於面0(face 0)參考圖像720之底部面邊界724外部之參考區域726對應於位於面4(face 4)圖像730之頂部面邊界734處之多個像素，這是因為面4(face 4)之頂部面邊界與面0(face 0)之底部面邊界共用同一邊界。根據本發明之一實施例，具有相同索引之面4(face 4)圖像之對應多個參考像素732用於產生位於面0(face 0)參考圖像720之底部面邊界724外部之多個畫面間預測參考像素(726)。請注意，與當前面0(face 0)圖像具有相同時間索引之面4(face 4)之參考資料用於產生位於當前參考面720外部之畫面間預測參考資料。
第8圖為根據本發明一實施例之允許從時間索引相同之其它面進行預測之面序列編碼之另一示例之示意圖。在本實施例中，面0(face 0)、面1(face 1)、面2(face 2)和面4(face 4)使用具有相同時間索引之面3(face 3)之參考資料。此外，面5(face 5)使用具有相同時間索引之面4(face 4)之參考資料。對於面3(face 3)，面序列使用面獨立編碼，不使用來自其它面之參考資料。
第9圖為根據本發明一實施例之允許從具有相同時間索引之其它面進行預測之面序列編碼之又一示例之示意圖。在本實施例中，面1(face 1)、面2(face 2)和面4(face 4)使用從具有相同時間索引之面3(face 3)所產生之參考資料。面0(face 0)、面3(face 3)和面4(face 4)使用從具有相同時間索引之面5(face 5)所產生之參考資料。對於面5(face 5)，面序列使用面獨立編碼，不使用來自其它面之參考資料。在第9圖中，僅顯示時間為k+1之面內依賴性(Intra face dependency)，以簡化說明。然而，相同之面內依賴性也可以應用於其它時間索引。
在之前多個示例中，該多個面間之預測使用具有相同時間單元之其它面。根據本發明另一方法，多個面間之預測也可以使用來自其它面之時域參考資料。第10圖為根據本發明一實施例之允許來自其它面之時域參考資料之面序列編碼之一示例之示意圖。換言之，其它面用於產生當前面中之當前區塊之畫面間預測，其中，其它面用於為當前面中之當前區塊產生該畫面間預測，其中，其它面用於為當前面中之當前區塊產生畫面間預測，其中，用於產生該參考資料之其它面之時間索引小於當前面之時間索引。舉例而言，在時間k之面0(face 0)可以用於為時間索引k+1處之面1(face 1)至面5(face 5)產生畫面間預測。對於面0(face 0)，該面序列使用面獨立編碼，不使用來自其它面之參考資料。
第11圖為根據本發明一實施例之允許來自多個其它面之時域參考資料之面序列編碼之另一示例之示意圖。在本實施例中，具有時間k之面2(face 2)用於為具有時間索引k+1之面1(face 1)、面3(face 3)和面4(face 4)產生畫面間預測資料。對於面0(face 0)、面2(face 2)和面5(face 5)，該多個面序列使用面獨立編碼，不使用來自多個其它面之參考資料。
第12圖為使用來自另一面之參考資料進行畫面間預測之一示例之示意圖。在本示例中，面0(face 0)中具有時間索引k+2之當前圖像1210中之當前區塊1212使用面0(face 0) 中時間索引為k+1之之前圖像1220進行畫面間預測。運動向量1214指向參考區塊1222，該參考區塊1222部分位於面邊界之外部(即，位於面邊界1224下方)。位於面0(face 0)之面邊界1224外部之區域1226對應於位於時間索引為k+1之面4(face 4)圖像1230之頂部之區域1232。根據本發明一實施例，時間索引為k+1之面4(face 4)圖像用於產生參考資料，該參考資料對應於位於面0(face 0)之面邊界外部之區域1226。
本發明上述公開內容可以以多種形式引入多種視頻編碼或解碼系統。舉例而言，本發明可以使用基於硬體之方法來實施，例如專用積體電路(Integrated Circuit,IC)、現場可程式化邏輯陣列(Field Programmable Logic Array,FPGA)、數位信號處理器(DSP)、中央處理單元(CPU)等。本發明也可以使用計算機、膝上型或行動裝置(如智慧型手機)可執行之軟體代碼或韌體碼來實施。此外，該多個軟體代碼或韌體碼可以在混合型平台上執行，該混合型平台可例如具有多個專用處理器之CPU(例如，視頻編碼引擎或共同引擎(co-processor))。
第13圖為根據本發明一實施例之用於多個多面序列之視頻編碼之流程圖，其中該多個多面序列對應於一360度虛擬現實序列。根據該方法，在步驟1310中，接收與多個多面序列有關之輸入資料，該多個多面資料對應於一360度虛擬現實序列。在編碼器端，該輸入資料對應於待編碼之多個多面序列之像素資料。在解碼器端，該輸入資料對應於待解碼之一視頻比特流或已編碼資料。在步驟1320中，該多個多面序列中之 至少一面序列使用面獨立編碼進行編碼或解碼(即，使用面獨立編碼對該多個多面序列中之至少一面序列進行編碼或解碼)，其中，該面獨立編碼使用預測參考資料對一目標面序列進行編碼或解碼，其中該預測參考資料僅從該目標面序列之之前已編碼資料所產生。
對於本發明，上述流程圖可以對應於在計算機、行動裝置、數位信號處理器或可程式化裝置上執行之多個軟體程式代碼。該多個程式代碼可以使用諸如C++之多種程式語言來編寫。該流程圖也可以對應於基於硬體之實施方式，其中可包括一個或多個電子電路(例如，特殊應用積體電路(ASIC))及FPGA(現場可程式化閘陣列)或處理器(例如，DSP)。
以上說明可以使得所屬領域具有通常知識者能夠以特定應用及其需求的形式來實施本發明。所屬領域具有通常知識者可以輕易了解對上述多個實施例之多種變形，此處所定義之一般原則可以應用於其它實施例。因此，本發明並非僅限於此處所述及所示之多個特定實施例，應符合此處所公開之多個原則與新的特徵之最廣泛為。在上述詳細說明中，顯示了多種具體細節，其母的在於提供有關本發明之全面理解。然而，所屬領域具有通常知識者應當理解，本發明能夠實施。
本發明之上述實施例可以以多種硬體、軟體代碼或二者之組合來實施。舉例而言，本發明之一實施例可以為整合於一視頻壓縮芯片中之電路或整合於視頻壓縮軟體之程式代碼，以執行此處所述之處理。本發明之一實施例也可以是在DSP上執行之程式代碼，以執行此處所述之處理。本發明也可 以包括由計算機處理器、數位信號處理器、微處理器或FPGA所執行之多個功能。這些處理器可以根據本發明配置為執行多個特定任務，執行定義了本發明所體現之多個特定方法之計算機可讀軟體代碼或韌體碼。該軟體代碼或韌體嗎可以以不同程式語言與不同格式或類型來開發。該軟體代碼也可以進行編譯以用於不同目標平台。然而，多個軟體代碼之不同代碼格式、類型和語言，以及根據本發明配置代碼以執行多個任務之其它方式，均不脫離本發明之精神與範圍。
在不脫離本發明之精神或實質特徵之前提下，本發明可以體現為其它具體格式。上述多個示例之全部僅視為說明而非限制。因此，本發明之範圍由後附之申請專利範圍所指示，而非上述說明。在申請專利範圍之含義及等效範圍內之所有改變均包含於其範圍內。

Claims (16)

  1. 一種視頻編碼或解碼方法，用於一視頻編碼或解碼系統，該視頻編碼或解碼方法用於對應於一360度虛擬現實序列之多個多面序列，該視頻編碼或解碼方法包括：接收與對應於該360度虛擬現實序列之該多個多面序列有關之輸入資料；其中該360度虛擬現實序列之每一影像投影轉換至一立方體之六個面，以產生六面影像，具有不同時間索引的六面影像中一面影像形成一面序列；以及使用面獨立編碼對該多個多面序列中之至少一面序列進行編碼或解碼，其中，該面獨立編碼使用預測參考資料對一目標面序列進行編碼或解碼，該預測參考資料僅從該目標面序列之之前已編碼資料中所產生。
  2. 根據申請專利範圍第1項之視頻編碼或解碼方法，其中，在一編碼器端之一視頻比特流中發信告知一個或多個語法元素，或者從解碼器端之該視頻比特流中解析出該一個或多個語法元素，其中，該一個或多個語法元素用於指示與該多個多面序列中之面總數有關之第一資訊、與使用面獨立編碼後之每個面序列之一面索引有關之第二資訊、或者該第一資訊與該第二資訊。
  3. 根據申請專利範圍第2項之視頻編碼或解碼方法，其中，該一個或多個語法元素位於該視頻比特流之一序列級別、視頻級別、面級別、視頻參數集合、序列參數集合、或應用參數集合。
  4. 根據申請專利範圍第1項之視頻編碼或解碼方法，其中，該多個多面序列之全部使用該面獨立編碼進行編碼。
  5. 根據申請專利範圍第1項之視頻編碼或解碼方法，其中，一個或多個面序列使用一個虛擬參考畫面以用於畫面間預測、畫面內預測、或者畫面間與畫面內預測，其中該虛擬參考畫面包括該多個多面序列在既定時間索引處之至少兩個面。
  6. 根據申請專利範圍第1項之視頻編碼或解碼方法，其中，一個或多個面內部集合作為隨機存取點進行編碼，其中，每個面內部集合由具有同一時間索引之所有面構成，且每個隨機存取點使用畫面內預測進行編碼，或僅基於一個或多個特定圖像使用畫面間預測進行編碼。
  7. 根據申請專利範圍第6項之視頻編碼或解碼方法，其中，當一目標特定圖像用於該畫面間預測時，在該目標特定圖像用於該畫面間預測之前，對該目標特定圖像中之所有面進行解碼。
  8. 根據申請專利範圍第6項之視頻編碼或解碼方法，其中，對於具有一隨機存取點後之一時間索引之任意目標面，若該目標面使用時域參考資料進行編碼，則該時域參考資料排除在該隨機存取點前編碼之任何非隨機存取點參考資料。
  9. 根據申請專利範圍第1項之視頻編碼或解碼方法，其中，一個或多個第一面序列使用預測資料進行編碼，該預測資料中所包含之至少一部分是從一第二面序列中所產生。
  10. 根據申請專利範圍第9項之視頻編碼或解碼方法，其中，在該一個或多個第一面序列中之一個或多個目標第一面分別使用根據該第二面序列中之一目標第二面所產生之畫面內預測，其中，該一個或多個第一面序列中之該一個或多個目標第一面與該第二面序列中之該目標第二面具有同一時間索引。
  11. 根據申請專利範圍第10項之視頻編碼或解碼方法，其中，對於位於一個目標第一面之一面邊界處之一當前第一區塊，該目標第二面對應於與該目標第一面之該面邊界相鄰之一相鄰面。
  12. 根據申請專利範圍第9項之視頻編碼或解碼方法，其中，該一個或多個第一面序列中之一個或多個目標第一面分別使用根據該第二面序列中之一目標第二面所產生之畫面間預測，其中，該一個或多個第一面序列中之該一個或多個目標第一面與該第二面序列中之該目標第二面具有同一時間索引。
  13. 根據申請專利範圍第12項之視頻編碼或解碼方法，其中，對於在一個目標第一面序列中之一個目標第一面中之一當前第一區塊，該目標第二面對應於與一個參考第一面之一面邊界相鄰之一相鄰面，其中該目標第一面序列之一當前運動向量指向跨越該目標第一面序列中之該參考第一面之該面邊界之一參考區塊。
  14. 根據申請專利範圍第9項之視頻編碼或解碼方法，其中，該一個或多個第一面序列中之一個或多個目標第一面分別使用根據該第二面序列中之一目標第二面所產生之畫面間預測，其中，該第二面序列中之該目標第二面之一時間索引小於該一個或多個第一面序列中之任意目標第一面。
  15. 根據申請專利範圍第14項之視頻編碼或解碼方法，其中，對於一個目標第一面序列中之一個目標第一面中之一當前第一區塊，該目標第二面對應於與一個參考第一面之一面邊界相鄰之一相鄰面，其中該目標第一面序列之一當前運動向量指向跨越該目標第一面序列中之該參考第一面之該面邊界之一參考區塊。
  16. 一種視頻編碼或解碼裝置，用於一視頻編碼或解碼系統，該視頻編碼或解碼裝置用於對應於一360度虛擬現實序列之多個多面序列，該視頻編碼或解碼裝置包括一個或多個電子元件或處理器，用於：接收與多個多面序列有關之輸入資料，該多個多面序列對應於一360度虛擬現實序列；其中該360度虛擬現實序列之每一影像投影轉換至一立方體之六個面，以產生六面影像，具有不同時間索引的六面影像中一面影像形成一面序列；以及使用面獨立編碼對該多個多面序列中之至少一面序列進行編碼或解碼，其中，該面獨立編碼使用預測參考資料對一目標面序列進行編碼或解碼，該預測參考資料僅根據該目標面序列之之前已編碼資料所產生。
TW106120876A 2016-06-23 2017-06-22 視頻編碼或解碼方法與裝置 TWI655862B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662353584P 2016-06-23 2016-06-23
US62/353,584 2016-06-23
US15/628,826 2017-06-21
US15/628,826 US20170374364A1 (en) 2016-06-23 2017-06-21 Method and Apparatus of Face Independent Coding Structure for VR Video

Publications (2)

Publication Number Publication Date
TW201813392A TW201813392A (zh) 2018-04-01
TWI655862B true TWI655862B (zh) 2019-04-01

Family

ID=60678160

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106120876A TWI655862B (zh) 2016-06-23 2017-06-22 視頻編碼或解碼方法與裝置

Country Status (7)

Country Link
US (1) US20170374364A1 (zh)
CN (1) CN109076232B (zh)
DE (1) DE112017003100T5 (zh)
GB (1) GB2566186B (zh)
RU (1) RU2715800C1 (zh)
TW (1) TWI655862B (zh)
WO (1) WO2017220012A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10922783B2 (en) 2018-03-02 2021-02-16 Mediatek Inc. Cube-based projection method that applies different mapping functions to different square projection faces, different axes, and/or different locations of axis
TWI690728B (zh) 2018-03-02 2020-04-11 聯發科技股份有限公司 用於處理包括堆疊在具有填充的基於立方體的投影佈局中的投影面的基於投影的圖框的方法
US20190289316A1 (en) * 2018-03-19 2019-09-19 Mediatek Inc. Method and Apparatus of Motion Vector Derivation for VR360 Video Coding
WO2019199637A1 (en) * 2018-04-11 2019-10-17 Alcacruz Inc. Digital media system
WO2019240425A1 (ko) 2018-06-11 2019-12-19 에스케이텔레콤 주식회사 인터 예측 방법 및 영상 복호화 장치
KR20190140387A (ko) * 2018-06-11 2019-12-19 에스케이텔레콤 주식회사 360도 영상의 인터 예측 방법 및 이를 이용한 영상 복호화 장치
TWI822863B (zh) 2018-09-27 2023-11-21 美商Ｖｉｄ衡器股份有限公司 360度視訊寫碼樣本導出

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103607568A (zh) * 2013-11-20 2014-02-26 深圳先进技术研究院 立体街景视频投影方法及系统
CN105554506A (zh) * 2016-01-19 2016-05-04 北京大学深圳研究生院 基于多方式边界填充的全景视频编码、解码方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7423666B2 (en) * 2001-05-25 2008-09-09 Minolta Co., Ltd. Image pickup system employing a three-dimensional reference object
JP2008048383A (ja) * 2006-06-16 2008-02-28 Ericsson Ab 会議コールに独立したマルチメディアソースを結び付ける方法
RU2554465C2 (ru) * 2009-07-27 2015-06-27 Конинклейке Филипс Электроникс Н.В. Комбинирование 3d видео и вспомогательных данных
KR20110090511A (ko) * 2010-02-04 2011-08-10 삼성전자주식회사 통신 기기에서 3차원 영상을 위한 영상 처리 방법 및 장치
US9525884B2 (en) * 2010-11-02 2016-12-20 Hfi Innovation Inc. Method and apparatus of slice boundary filtering for high efficiency video coding
CN103765902B (zh) * 2011-08-30 2017-09-29 英特尔公司 多视角视频编码方案
KR102127281B1 (ko) * 2013-04-08 2020-06-26 지이 비디오 컴프레션, 엘엘씨 효율적인 다-시점/계층 코딩을 허용하는 코딩 개념
GB2516824A (en) * 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
KR20150047225A (ko) * 2013-10-24 2015-05-04 엘지전자 주식회사 파노라마 비디오 서비스를 위한 방송 신호를 처리하는 방법 및 장치
US9172909B2 (en) * 2013-10-29 2015-10-27 Cisco Technology, Inc. Panoramic video conference
GB2536232B (en) * 2015-03-09 2021-09-15 Advanced Risc Mach Ltd Graphics Processing Systems
US10645362B2 (en) * 2016-04-11 2020-05-05 Gopro, Inc. Systems, methods and apparatus for compressing video content

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103607568A (zh) * 2013-11-20 2014-02-26 深圳先进技术研究院 立体街景视频投影方法及系统
CN105554506A (zh) * 2016-01-19 2016-05-04 北京大学深圳研究生院 基于多方式边界填充的全景视频编码、解码方法和装置

Also Published As

Publication number Publication date
GB2566186B (en) 2021-09-15
US20170374364A1 (en) 2017-12-28
CN109076232A (zh) 2018-12-21
CN109076232B (zh) 2021-05-28
RU2715800C1 (ru) 2020-03-03
WO2017220012A1 (en) 2017-12-28
GB201819117D0 (en) 2019-01-09
GB2566186A (en) 2019-03-06
DE112017003100T5 (de) 2019-04-11
TW201813392A (zh) 2018-04-01

Similar Documents

Publication Publication Date Title
TWI655862B (zh) 視頻編碼或解碼方法與裝置
RU2716156C1 (ru) Способ и устройство для составления всенаправленного изображения в выходной формат макета
US10264282B2 (en) Method and apparatus of inter coding for VR video using virtual reference frames
US10972730B2 (en) Method and apparatus for selective filtering of cubic-face frames
US20170353737A1 (en) Method and Apparatus of Boundary Padding for VR Video Processing
US20180192074A1 (en) Video processing method for processing projection-based frame with 360-degree content represented by projection faces packed in 360-degree virtual reality projection layout
US10212411B2 (en) Methods of depth based block partitioning
TWI652934B (zh) 自適應視頻解碼方法及其裝置
TWI702835B (zh) Vr360 視訊編解碼的運動向量推導方法和裝置
CN110022481A (zh) 视频码流的解码、生成方法及装置、存储介质、电子装置
TWI699114B (zh) Vr360視訊編碼的塊分割方法和裝置
CN114731432A (zh) 在重构帧中禁用跨虚拟边界的样本自适应偏移滤波的视频处理方法和相关视频处理装置
JP7416820B2 (ja) ビデオコーディングにおけるヌルタイルコーディング
TWI637356B (zh) 將全向圖像映射到佈局輸出格式的方法和裝置
KR102011431B1 (ko) 영상 병렬 처리 방법 및 장치
US20240161380A1 (en) Mpi layer geometry generation method using pixel ray crossing
KR20240066108A (ko) 픽셀 레이 크로싱 기반 다시점 mpi 기하생성 방법