TWI702835B - Vr360 視訊編解碼的運動向量推導方法和裝置 - Google Patents

Vr360 視訊編解碼的運動向量推導方法和裝置 Download PDF

Info

Publication number
TWI702835B
TWI702835B TW108109046A TW108109046A TWI702835B TW I702835 B TWI702835 B TW I702835B TW 108109046 A TW108109046 A TW 108109046A TW 108109046 A TW108109046 A TW 108109046A TW I702835 B TWI702835 B TW I702835B
Authority
TW
Taiwan
Prior art keywords
motion vector
block
neighboring block
projection
real
Prior art date
Application number
TW108109046A
Other languages
English (en)
Other versions
TW201939956A (zh
Inventor
施正軒
林建良
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201939956A publication Critical patent/TW201939956A/zh
Application granted granted Critical
Publication of TWI702835B publication Critical patent/TWI702835B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公開了編解碼360度虛擬實境（VR360）圖片的方法和裝置。 根據該方法，當用於當前塊的目標相鄰塊的第一MV（運動向量）在2D投影圖片內不可用時，或者當目標相鄰塊不在與當前塊相同的面時：在2D投影內識別與目標相鄰塊對應的相鄰塊圖像; 如果真實相鄰塊的第二MV存在，則將真實相鄰塊的第二MV變換為導出的MV; 並且使用導出的MV或包括導出的MV的MV候選列表中的一個所選候選作為MV預測值來對當前塊的當前MV進行編碼或解碼。

Description

VR360視訊編解碼的運動向量推導方法和裝置
本發明涉及用於360度虛擬實境(VR)圖片的圖片處理。特別地，本發明涉及用於VR360視訊編解碼的運動向量推導。
360度視訊，也被稱為沉浸式視訊，是一種新興的技術，它可以提供"當下感覺(feeling as sensation of present)"。沉浸感是通過圍繞使用者環繞場景而實現的，環繞場景覆蓋了全景視圖，特別是360度視野。通過立體呈現(render)可以進一步提高"當下感覺"的效果。因此，全景視訊被廣泛應用於虛擬實境(VR)應用中。
沉浸式視訊涉及使用多個攝像機拍攝場景，以覆蓋全景視圖，例如360度視野。沉浸式相機通常使用全景相機或一組攝像機來捕捉360度視野。通常，兩台或更多攝像機用作沉浸式攝像機。所有視訊必須同時拍攝，並記錄場景的單獨片段(也稱為單獨的視角)。此外，攝像機組通常被佈置成水平地捕獲視圖，但攝像機的其他佈置也是可能的。
可以使用360度球面全景相機捕獲360度虛擬實境(VR)圖像，或者佈置多個圖像以覆蓋360度的所有視野。使用傳統的圖像/視訊處理設備難以處理或存儲三維(3D)球形圖像。因此，通常使用3D到2D投影方法(例如，等 角投影(ERP)和立方圖投影(CMP))。除了ERP和CMP投影格式之外，存在多種其他投影格式，如本領域廣泛使用的八面體投影(OHP)、二十面體投影(ISP)、分段球投影(SSP)和旋轉球投影(RSP)。
VR360視訊序列通常比傳統的2D視訊序列需要更多的存儲空間。因此，視訊壓縮通常應用於VR360視訊序列，以減少用於存儲的存儲空間或用於流/傳輸的位元率。
高效視訊編碼解碼(HEVC)標準是在ITU-T視訊編碼解碼專家組(VCEG)和ISO/IEC運動圖像專家組(MPEG)標準化組織的聯合視訊項目下(並且特別是與視訊編碼解碼聯合協作小組(JCT-VC)合作)開發的。可以使用HEVC對VR360視訊序列進行編碼。然而，本發明也可以適用於其他編解碼方法。
在HEVC中，一個片(slice)被劃分為多個編解碼樹單元(CTU)。對於彩色圖片，可以將顏色片劃分為多個編解碼樹塊(CTB)。CTU進一步劃分為多個編解碼單元(CU)以適應各種本地特性。HEVC支持多個幀內預測模式，並且對於幀內編解碼CU，信令所選擇的幀內預測模式。除了編解碼單元的概念之外，還在HEVC中引入了預測單元(PU)的概念。一旦完成CU分層樹的分割，則根據預測類型和PU分區將每個葉CU進一步分割成一個或多個預測單元(PU)。在預測之後，將與CU相關聯的殘差劃分為變換塊，稱為變換單元(TU)用於變換過程。
幀間預測是視訊編解碼中的重要編解碼工具。對於幀間預測，從一個或多個參考圖片中的一個或多個參考塊預測當前塊。導出運動向量以定位最佳候選塊作為預測值。此外，為了提高編解碼效率，合併模式和AMVP(高級運動向量預測)模式用於編解碼運動向量。在合併模式中，通過與相鄰運動向量(空間或時間候選)“合併”來編解碼當前運動向量。換句話說，當前運 動向量(MV)與合併的運動向量候選相同(MV值和參考圖片索引)。除了用於在合併候選者列表中標識所選合併候選者的索引之外，不需要信令(signal)運動向量資訊。在AMVP模式中，編碼當前MV和所選AMVP候選之間的差異。
對於VR360視訊，一些投影打包格式將投影面打包在一起作為傳統視訊幀，並且視訊中可存在不連續的面邊緣。第1圖示出了VR360圖片110的運動向量推導的示例。在第1圖中，v2是當前塊112的MV，並且v1是塊B0 114的MV，其中當前塊112和塊B0 114位于同一個面內。用於合併或AMVP候選的相鄰塊在圖示120中示出。在這種情況下，由於相鄰塊中的相關性，塊B0的MV v1可以類似於當前塊的MV v2。因此，使用v1作為v2的預測值可能有助於提高編解碼效率。然而，當前塊和相鄰塊B0可以處於不同的面中，如第2圖所示。第2圖示出了VR360圖像210的運動向量推導的示例。在第2圖中，v2 212是當前塊的MV，v1是塊B0 214的MV。在這種情況下，將v1作為v2的預測值是不合適的，因為這兩個塊的視訊內容可能是不相關的。通常，如果兩個MV處於不同的面中，則它們不能彼此作為參考。
如第2圖中所示，傳統的MV推導可能不適用於VR360圖片。因此，期望開發將考慮VR360圖片的特性的MV推導方法。
在VR360圖片內，可能存在許多面和面邊緣。對於VR360圖像內的面邊緣，通過一些面邊緣的圖像內容可以是連續的，而通過另一些面邊緣的圖像內容可以是不連續的。第3圖示出了用於各種投影格式的VR360圖像內的面邊緣。在第3(A)圖中，示出了2×3立方圖投影(CMP)格式310，其中虛線表示不連續的面邊緣，點劃線表示連續的面邊緣。第3(B)圖示出了具有3×4打包(packing)的CMP格式320的VR360圖像內的連續和不連續的面邊緣。第3(C)圖示出了桶形佈局格式330中的VR360圖像內的連續和不連續的面邊緣。第3(D)圖示出了具有3×4打包340的另一種CMP格式的VR360 圖像內的連續和不連續的面邊緣。第3圖(E)示出了分段球投影(SSP)格式350中的VR360圖片內的連續和不連續面邊緣。
第4圖示出了更多投影格式的VR360圖片內的面邊緣，其中虛線表示不連續的面邊緣，點劃線表示連續的面邊緣。第4(A)圖示出了八面體投影(OHP)格式410中的VR360圖像內的連續和不連續的面邊緣。第4(B)圖示出了旋轉球面投影(RSP)格式420中的VR360圖像內的連續和不連續的面邊緣。第4(C)圖示出了二十面體投影(ISP)格式430中的VR360圖像內的連續和不連續的面邊緣。第4(D)圖示出了調整後的立方圖投影(ACP)格式440中的VR360圖片內的連續和不連續的面邊緣。
公開了編解碼360度虛擬實境(VR360)圖片的方法和裝置。根據該方法，接收2D(二維)投影圖像中的當前塊的輸入資料，其中根據目標投影格式從3D(三維)圖像投影2D投影圖像。當當前塊的目標相鄰塊的第一MV(運動向量)在2D投影圖片內不可用時，或者當目標相鄰塊與當前塊不在同一面中時：在2D投影中識別對應於目標相鄰塊的真實當前相鄰塊圖片；如果存在真實相鄰塊的第二MV，則將真實相鄰塊的第二MV變換為導出的MV；並且使用導出的MV或包括導出的MV的MV候選列表中的一個所選候選作為MV預測值來對當前塊的當前MV進行編碼或解碼。
該方法還可以包括：當當前塊的目標相鄰塊的第一MV可用且目標相鄰塊與當前塊在同一面中時，使用目標相鄰塊的第一MV或包括目標相鄰塊的第一MV的MV候選列表中的一個所選候選作為MV預測值來對當前塊的當前MV進行編碼或解碼。
在一個實施例中，使用與3D圖片和2D投影圖片之間的投影和映 射有關的投影映射函數來識別真實相鄰塊。例如，投影映射函數可以將包含當前塊的當前面外的目標點投影到球體上的對應點，並且投影映射函數將球體上的對應點投影到另一面中的映射點，並且真實的相鄰塊被標識為包含映射點的封閉塊。在另一示例中，投影映射函數可以將包含當前塊的當前面外的目標點投影到另一面中的映射點，並且將真實的相鄰塊標識為包含映射點的封閉映射塊。
在另一實施例中，使用與3D圖片和2D投影圖片之間的投影有關的打包資訊來識別真實相鄰塊。例如，打包資訊可以用於定位與3D圖片中的當前面相鄰的連續邊界相鄰面中的對應點，並且其中對應點對應於包含當前塊的當前面外的目標點；定位與2D投影圖像中的連續邊界相鄰面相對應的目標面中的真實點；並且目標面中的真實相鄰塊被識別為包含真實點的目標面中的封閉塊。在另一示例中，當包含當前塊的當前面外的目標點不在任何連續邊界相鄰面內時，打包資訊用於將目標點映射到與3D圖片中的當前面相鄰的連續邊界相鄰面中的對應點；並且其中，真實的相鄰塊被識別為包含對應點的連續邊界相鄰面中的封閉塊。打包資訊可包括關於當前塊的相鄰面的第一資訊和與每個相鄰面相關聯的對應旋轉角。
在一個實施例中，映射函數用於將真實相鄰塊的第二MV變換為導出的MV。例如，映射函數可以使用包括真實相鄰塊的第二MV、真實相鄰塊的第二MV的第一位置、包圍真實相鄰塊的第一面、2D投影圖像中對應於真實相鄰塊的第二MV的第一位置的對應點、包圍對應點的第二面和目標投影格式的一組輸入。
在另一實施例中，投影映射函數用於將真實相鄰塊的第二MV變換為導出的MV。例如，投影映射函數可以將包圍真實相鄰塊的第一面中的真實相鄰塊的第二MV投影到包圍當前塊的第二面上。
在另一實施例中，打包資訊用於從真實相鄰塊的第二MV導出導 出的MV。打包資訊可包括關於當前塊的相鄰面的第一資訊和與每個相鄰面相關聯的對應旋轉角。
目標投影格式可以對應於立方圖投影(CMP)、桶佈局、分段球投影(SSP)、八面體投影(OHP)、旋轉球投影(RSP)、二十面體投影(ISP)或調整後的立方圖投影(ACP)。
MV候選列表可以對應於合併候選列表或AMVP(高級運動向量預測)候選列表。
110、210、710、1210:VR360圖片
112、212、714、954、1154、1211、1412、1712、1812、1842、2312:當前塊
114、214、934、1213、1214、1414、1442、2112、2124、2126、2212、223、2314、2322:塊
120、220、952、953、1155、1410、1610、1710、1810、1910~1930、2010~2030:圖示
310、320、340、510、520、540、640:立方圖投影格式
330、530:桶形佈局格式
350、550:分段球投影格式
410、610:八面體投影格式
420、620:旋轉球面投影格式
430、630:二十面體投影格式
440:調整後的立方圖投影格式
712:不連續邊緣
716、1212、1714、1814:相鄰塊
718、938、953、1138、1153、1215、2324:真實相鄰塊
810~870、1010~1060、2410~2450:步驟
911~916、922、932、936、1101~1105、1132、1136:情況
956、1134、1156:對應塊
1310:3D空間
1320:平面
1410、1620、1630、2310、2320:圖片
1420、1520、1720、1730、1820:步驟A
1422:球體
1426、2242:範圍
1424、2230:立方體
1430、1740、1830:步驟B
1432:點
1440、2110、2210、2220、2222:區域
1742、1840:步驟C
1844:qf
2120、2240:擴展區域
2122:面
第1圖示出了VR360圖片的運動向量推導的示例，其中當前塊和參考塊B0處於同一面。
第2圖示出了VR360圖片的運動向量推導的示例，其中當前塊和參考塊B0處於不同的面。
第3圖示出了針對各種投影格式的VR360圖片內的面邊緣，其中虛線表示不連續的面邊緣，點劃線表示連續的面邊緣。
第4圖示出了更多投影格式的VR360圖片內的面邊緣，其中虛線表示不連續的面邊緣，點劃線表示連續的面邊緣。
第5圖示出了針對各種投影格式的VR360圖片內的區域邊緣。
第6圖示出了更多投影格式的VR360圖片內的面邊緣。
第7圖示出了根據本發明的實施例的MV推導的示例。
第8圖示出了根據本發明的MV推導方法1的示例性流程圖。
第9A圖示出了第8圖的步驟1過程的一些示例，其中實心小方框指示當前塊，虛線框指示相鄰塊。
第9B圖示出了第8圖的步驟2過程的一些示例，其中檢查相鄰塊以確定它是否與當前塊在相同的區域中。
第9C圖示出了第8圖的步驟3過程的一些示例，其中找到了真實相鄰塊的位置。
第9D圖示出了第8圖的步驟4過程的一些示例，其中檢查了真實相鄰塊的運動向量的可用性。
第9E圖示出了第8圖的步驟5過程的一些示例，其中應用了將真實相鄰塊的運動向量變換到當前塊的區域的映射函數。
第10圖示出了根據本發明的MV推導方法2的另一示例性流程圖。
第11A圖示出了第10圖的步驟1過程的一些示例，其中實心小方框指示當前塊，虛線框指示相鄰塊。
第11B圖示出了第10圖的步驟2過程的一些示例，其中找到了真實相鄰塊的位置。
第11C圖示出了第10圖的步驟3過程的一些示例，其中檢查了真實相鄰塊的運動向量的可用性。
第11D圖示出了第10圖的步驟4過程的一些示例，其中應用了將真實相鄰塊的運動向量變換到當前塊的區域的映射函數。
第12圖示出了以立方圖格式查找VR360圖片的真實相鄰塊的過程的示例。
第13圖示出了將3D空間(例如球體)中的坐標位置映射到平面(例如，ERP)中的坐標位置的投影映射函數的示例。
第14圖示出了使用兩個函數步驟將區域B中的當前塊映射到真實的相鄰塊的過程的示例。
第15圖示出了通過組合第14圖中的過程的兩個函數將區域B中的當前塊映射到真實的相鄰塊的過程的示例。
第16圖示出了2D投影格式的示例，其中立方體的六個面被打包成3×4格式圖片或2×3格式圖片。
第17圖示出了根據本發明實施例的通過使用打包資訊找到真實相鄰塊的示例。
第18圖示出了根據本發明實施例的通過使用打包資訊找到真實相鄰塊的另一示例。
第19圖示出了根據本發明一個實施例的第18圖所示情況的步驟B的映射規則的示例。
第20圖示出了根據本發明另一實施例的第18圖中所示情況的步驟B的映射規則的示例。
第21圖示出了將運動向量從一個區域變換到另一個區域的示例。
第22圖示出了根據本發明一個實施例的通過使用投影映射函數來變換運動向量的示例。
第23圖示出了根據本發明另一實施例的通過使用立方體投影格式的打包資訊來變換運動向量的示例。
第24圖示出了根據本發明實施例的結合用於VR360視訊的運動向量(MV)導出方法的系統的示例性框圖。
以下描述是實現本發明的最佳方案。進行該描述是為了說明本發明的一般原理，而不應被視為具有限制意義。通過參考所附申請專利範圍最好地確定本發明的範圍。
容易理解的是，如本文附圖中一般描述和說明的本發明的組件可以以各種不同的配置來佈置和設計。因此，如附圖所示，本發明的系統和方法 的實施例的以下更詳細的描述並非旨在限制所要求保護的本發明的範圍，而僅僅代表本發明的所選實施例。
本說明書中對“一個實施例”、“實施例”或類似語言的引用意味著結合該實施例描述的特定特徵、結構或特性可以包括在本發明的至少一個實施例中。因此，貫穿本說明書在各個地方出現的短語“在一個實施例中”或“在實施例中”不一定都指代相同的實施例。
此外，所描述的特徵、結構或特性可以在一個或多個實施例中以任何合適的方式組合。然而，相關領域的技術人員將認識到，可以在沒有一個或多個具體細節的情況下或者利用其他方法、組件等來實踐本發明。在其他情況下，未示出或詳細描述公知的結構或操作以避免模糊本發明的各方面。
通過參考附圖將最好地理解本發明的所示實施例，其中相同的部分始終由相同的數字表示。以下描述僅旨在作為示例，並且僅僅示出了與本文要求保護的本發明一致的裝置和方法的某些選定實施例。
在描述中，出現在附圖和描述中的相同參考標號表示不同視圖中的對應或相同元件。
區域邊緣和區域邊緣內的區域被定義用於VR360圖片。第5圖示出了用於各種投影格式的VR360圖像內的區域邊緣。在第5圖(A)中，示出了2×3立方圖投影(CMP)格式510，其中虛線表示區域邊緣，由區域邊緣包圍的範圍對應於區域。如第5圖(A)所示，一些相鄰面(即，區域)之間具有連續的邊界，其中內容流跨越邊緣連續地從一個面到另一個面。例如，頂部子幀中的任意兩個面或底部子幀中的任意兩個面具有連續邊緣。這些連續邊緣相鄰面對應於相應多面體上的兩個相鄰面。例如，2x3投影格式的6個面對應於立方體上的6個面。頂部3個面對應於立方體上的3個相鄰面，而底部3個面對應於立方體上的另外3個相鄰面。第5圖(B)示出了具有3×4打包的CMP格式520的VR360 圖像的區域邊緣和區域。第5圖(C)示出了桶形佈局格式530中的VR360圖像的區域邊緣和區域。第5圖(D)示出了具有3×4打包540的另一種CMP格式的VR360圖像的區域邊緣和區域。第5圖(E)示出了分段球投影(SSP)格式550中的VR360圖片的區域邊緣和區域。
第6圖示出了更多投影格式的VR360圖片內的面邊緣，其中虛線表示區域邊緣，由區域邊緣包圍的範圍對應於區域。第6圖(A)示出了八面體投影(OHP)格式610中的VR360圖像的區域邊緣和區域。第6圖(B)示出了旋轉球面投影(RSP)格式620中的VR360圖像的區域邊緣和區域。第6圖(C)示出了二十面體投影(ISP)格式630中的VR360圖像的區域邊緣和區域。第6圖(D)示出了調整的立方圖投影(ACP)格式640中的VR360圖片的區域邊緣和區域。
VR360的運動向量(MV)推導的方法
根據本發明的實施例，識別當前塊的真實相鄰塊。真實相鄰塊(true neighboring block)指的是當前塊在三維空間中的相鄰塊(有別於在二維圖像中當前塊的相鄰塊)。轉換真實相鄰塊的運動向量以導出新的運動向量。然後將導出的運動向量應用於合併模式、跳過模式、幀間模式、AMVP(高級運動向量預測)或參考相鄰塊的MV的其他預測方法。
在第7圖中針對具有不連續邊緣712的2×3投影格式的VR360圖片710公開了根據本發明的實施例的MV推導的示例。示出了當前塊714及其相鄰塊716。然而，相鄰塊716跨越不連續邊緣，並且內容與當前塊具有低相關性。換句話說，相鄰塊716在二維圖像2x3投影格式中與當前塊相鄰，其不是真實的相鄰塊。根據本發明的實施例，根據VR360圖片的結構和當前塊的位置來識別真實相鄰塊718。真實相鄰塊718的v2在當前塊的坐標空間中被變換為v2'，並且v2'被用作當前MV(v2)的預測值。真實相鄰塊718位於包圍當前塊的當前面的連續邊界相鄰面中。根據生成2x3立方圖圖片的方式，包圍當前塊的當前面的上邊緣 與包圍真實相鄰塊的面的右邊緣相同。
VR360的MV推導方法1
如下公開的方法可以防止濫用不相關的MV。對於參考相鄰塊的MV的運動向量(MV)參考方法(例如，合併模式、AMVP和其他預測方法)，MV推導方法在第8圖中描述。
步驟1(810)：檢查相鄰塊的運動向量是否可用。如果可用，請轉到步驟2；否則轉到步驟3。
步驟2(820)：檢查相鄰塊是否與當前塊在同一區域中。如果是，轉到步驟6。如果不是，轉到步驟3(即，830)。
步驟3(830)：找到當前塊的真實相鄰塊的位置並轉到步驟4(即，840)。
步驟4(840)：檢查真實相鄰塊的運動向量是否可用。如果是，轉到步驟5；否則轉到步驟7。
步驟5(850)：應用映射函數，該映射函數將真實相鄰塊的運動向量變換為當前塊的區域。轉到步驟6(即，860)。
步驟6(860)：將(變換的)運動向量作為當前塊的參考MV。過程終止。
步驟7(870)：如果相鄰塊不是用於幀間預測的可用候選，則將候選標記為不可用。過程終止。
在以下實施例中詳細描述了這些步驟。第9A圖示出了步驟1過程的一些示例。在第9A圖中，實心小方框表示當前塊，虛線框表示相鄰塊。對於每個當前塊，定位相應的相鄰塊。如第9A圖所示，某些情況下的相鄰塊不可用。例如，用於情況911和912的相鄰塊是可用的。然而，用於情況913到916的相鄰塊是不可用的，其中“X”用於指示不可用的相鄰塊。
步驟2的一些示例在第9B圖中示出。在步驟2中，檢查相鄰塊以 確定它是否與當前塊在同一區域中。如果它們在相同區域中，則相鄰塊的MV可以由當前塊引用。如果不是，則轉到步驟3。在第9B圖中，雖然在情況922中相鄰可用，但是相鄰塊在區域0中，而當前塊在區域1中。根據本發明的實施例，相鄰塊不能用作參考的預測值(如“X”所示)。
步驟3的一些示例在第9C圖中示出。在步驟3中，找到真實相鄰塊的位置，並且處理轉到步驟4。可以基於投影格式的結構和當前塊的位置來確定塊的真實相鄰塊。例如，立方圖圖片從立方體展開，並且可以相應地確定面之間的連接性。例如，在情況932中，因為區域1連接到區域5，當前塊的真實相鄰塊對應於塊934。在情況936中，可以在區域2中找到當前塊的真實相鄰塊938。
步驟4的一些示例在第9D圖中示出。在步驟4中，檢查真實相鄰塊的運動向量的可用性。如果MV存在，則過程轉到步驟5；否則轉到步驟7。在第9D圖的示例中，用於情況932的真實相鄰塊934的MV是可用的，並且用於情況936的真實相鄰塊938的MV不可用(如“X”所示)。
步驟5的一些示例在第9E圖中示出。在步驟5中，應用將VR360圖片的上子幀(upper sub-frame)圖示952中的真實相鄰塊B 953的運動向量變換為當前塊C 954的區域的映射函數。當前塊位於VR360圖像的下子幀(lower sub-frame)的區域1中。下子幀(lower sub-frame)的連接的相鄰範圍在圖示955中示出。在變換之後，用於塊B 953的對應塊956在第9E圖中示出。與對應塊956相關聯的變換MV V2'在第9E圖中示出。
v2’=Tregion(B)→region(C) (v2)
在上面的等式中，Tregion(B)→region(C)(．)是變換函數。對於圖片955，我們可以根據以下內容將v2轉換為v2'：v2’=Tregion5→region1 (v2)
在步驟5完成之後，該過程轉到步驟6。
在步驟6中，將(變換的)運動向量(即，v2')用作當前塊C的參考MV。過程終止。
在步驟7中，相鄰塊不是用於幀間預測的可用候選，並且候選被標記為不可用。過程終止。
VR360的MV推導方法2
如下公開的方法可以防止濫用不相關的MV。對於參考相鄰塊的MV的運動向量(MV)參考方法(例如，合併模式、AMVP和其他預測方法)，MV推導方法在第10圖中描述。處理流程類似於第8圖。但是，方法1的步驟1和步驟2結合為方法2的步驟1。
步驟1(1010)：檢查相鄰塊的運動向量是否可用以及相鄰塊是否與當前塊在同一區域中。如果是，轉到步驟5(1050)；否則轉到步驟2(1020)。
步驟2(1020)：找到當前塊的真實相鄰塊的位置，並轉到步驟3(1030)。
步驟3(1030)：檢查真實相鄰塊的運動向量是否可用。如果是，轉到步驟4(1040)；否則轉到步驟6(1060)。
步驟4(1040)：應用映射函數，該映射函數將真實相鄰塊的運動向量變換為當前塊的區域。轉到步驟5(1050)。
步驟5(1050)：將(變換的)運動向量作為當前塊的參考MV。過程終止。
步驟6(1060)：如果相鄰塊不是用於幀間預測的可用候選，則候選被標記為不可用。過程終止。
在以下實施例中詳細描述了這些步驟。第11A圖示出了步驟1過程的一些示例。在第11A圖中，實心小方框表示當前塊，虛線框表示相鄰塊。對於每個當前塊，定位相應的相鄰塊。如第11A圖所示，對於某些情況，相鄰塊 不可用(情況1101、1102和1103)，並且一些相鄰塊不在與相應的當前塊相同的區域中(情況1104)。對於這些示例，相鄰塊由“X”標記。在第11A圖中，僅對於情況1105，相鄰塊是可用的，並且相鄰塊與當前塊在相同的區域中。
步驟2的一些示例在第11B圖中示出。在步驟2中，找到真實的相鄰塊的位置，並且流程轉到步驟3。可以基於投影格式的結構和當前塊的位置來確定塊的真實相鄰塊。例如，立方圖圖片從立方體展開，並且可以相應地確定面之間的連接性。例如，在情況1132中，因為區域1連接到區域5，當前塊的真實相鄰塊對應於塊1134。在情況1136中，可以在區域2中找到當前塊的真實相鄰塊1138。
步驟3的一些示例在第11C圖中示出。在步驟3中，檢查真實相鄰塊的運動向量的可用性。如果MV存在，則過程轉到步驟4；否則轉到步驟6。在第11C圖的示例中，用於情況1132的真實相鄰塊1134的MV是可用的，並且用於情況1136的真實相鄰塊1138的MV不可用(如“X”所示)。
在第11D圖中示出步驟4的一些示例。在步驟4中，應用將VR360圖片的上子幀(圖示1152)中的真實相鄰塊B1153的運動向量變換為當前塊C1154的區域的映射函數。當前塊位於VR360圖像的下子幀的區域1中。在圖示1155中示出了下子幀的連通相鄰範圍。在變換之後，第11D圖中示出了用於塊B 1153的對應塊1156。與對應塊1156相關聯的變換MV V2'在第11D圖中示出。
v2’=Tregion(B)→region(C) (v2)
在上面的等式中，Tregion(B)→region(C)(．)是變換函數。對於圖片1155，我們可以根據以下內容將v2轉換為v2'：v2’=Tregion5→region1 (v2)
在步驟4完成之後，該過程轉到步驟5。
在步驟5中，將(變換的)運動向量(即，v2')用作當前塊C的參考MV。過程終止。
在步驟6中，相鄰塊不是用於幀間預測的可用候選，並且候選被標記為不可用。過程終止。
找到真實的相鄰塊
在如上所述的MV推導方法中，一個重要步驟是定位真實的相鄰塊。真實的相鄰塊是3D空間中當前塊附近的塊，其與當前塊具有高相關性。第12圖中示出了一個示例，其中立體圖格式的VR360圖片1210對應於立方體1220的6個面。對於面2的右邊緣處的當前塊A 1211，相鄰塊1212不可用。通過在立方體上定位塊位置，可以找到真實相鄰塊。例如，如第12圖所示，面0的上邊緣與面2的右邊緣相同，並且立方體上的相應塊A位置是塊1213。因此，立方體上的相鄰塊被識別為面0中的塊1214，而對應於塊1214的VR360投影圖像中的真實相鄰塊1215可被定位。下面公開了兩種識別真實相鄰塊的方法。
I：通過使用映射函數找到真實的相鄰塊
可以將VR360圖片投影到3D空間中的球體上。投影映射函數是一對一函數，其將3D空間1310(例如球體)中的坐標位置映射到平面1320(例如ERP)中的坐標位置，並且投影映射函數是可逆的，其具有如第13圖所示的逆函數。
假設p是球面上的點，並且我們可以使用投影映射函數來找到平面q上的對應位置：q=F(p)
投影映射函數的逆可以從q找到p的位置：p=F -1(q)
對於區域B中的當前塊和區域B外的點q b ，需要定位點q b 的真實相鄰塊。對於投影映射函數F A 和F B ，其將點從球體映射到平面“區域A”和平面“區域B”，並且它們的逆函數是
Figure 108109046-A0305-02-0017-1
和
Figure 108109046-A0305-02-0017-2
。在第14圖中，圖片1410對應於區域B圖 片，其中當前塊1412在頂部邊緣。塊1414對應於當前塊1412的相鄰塊。
步驟A1420：對於區域B處的點q b ，我們將
Figure 108109046-A0305-02-0018-4
應用於q b 並在球體1422上產生對應點p s 。範圍1426對應於區域B，其擴展範圍包括點q b 。立方體1424由從球體投射的6個面組成。
Figure 108109046-A0305-02-0018-3
步驟B1430：對於球體上的點p s ，我們將F A 應用於p s 並在A區域產生對應的點q a (1432)。
q a =F A (p S )
步驟C：在區域A 1440中找到q a 所位於的塊1442，並且該塊是當前塊的真實相鄰塊。
因為投影映射函數是1對1函數，所以我們可以將多個投影映射函數組合成單個函數。
對於上面所示的步驟A和步驟B，我們將兩個函數組合在一起：
Figure 108109046-A0305-02-0018-5
且q a =F A (p S )→
Figure 108109046-A0305-02-0018-6
→ q a =F S→A (qb)函數F S→A 從區域B向區域A映射點
該方法的程序如第15圖所示：
步驟A 1510：對於區域B處的點q b (如第14圖中的圖示1410所示)，我們將F S→A 應用於q b 並在區域A處產生對應點q a 。
q a =F S→A (q b )
步驟B(在第15圖中未繪示出)：找到q a 所在的塊，並且該塊是當前塊的真實相鄰塊。該組合映射的步驟B與第14圖中的步驟C相同。
II：通過使用打包資訊找到真實的相鄰塊
根據該方法，可以將包含VR360視訊的視訊的不同部分投影到不 同的平面。投影平面在本公開中被稱為“面”。多個面可以作為一個幀打包在一起。將多個面打包到幀的方式可以被描述為打包資訊，並且打包資訊可以用於找到當前塊的真實相鄰塊。例如，可以將對應球體上3D圖像的VR360幀投影到立方體的六個面上，如圖示1610所示。如第16圖所示，立方體的六個面可以打包成3x4格式圖片1620或2x3格式圖片1630。
第17圖示出了根據本發明實施例的通過使用打包資訊找到真實相鄰塊的示例。對於面B的邊緣處的當前塊1712和面B外部的相鄰塊1714的點q b (如圖示1710所示)，我們想要找到點q b 的真實相鄰塊。請注意，在部分圖示中，區域和面表示同樣的意思，例如，在第17圖和第18圖中，面A~面C在圖中表示為區域A~區域C。
步驟A(1720和1730)：基於打包資訊，面B的相鄰面和相鄰面的相應旋轉角度是已知的。根據這些資訊，我們試圖找到q b 所屬的面。假設q b 處於面A的位置中。
步驟B(1740)：我們將面A處的q b 表示為q a 。q a 的位置是(xa，ya)。根據打包資訊，我們可以將面A的q a 映射到打包幀。假設q a 映射到q f 處的幀。
步驟C(1740)：找到q f 所在的塊1742，塊1742是當前塊的真實相鄰塊。
第18圖示出了根據本發明實施例的通過使用打包資訊來找到真實相鄰塊的另一示例。對於面B的邊緣處的當前塊1812和面B外部的相鄰塊1814的點q b ，如圖示1810所示，我們想要找到點q b 的真實相鄰塊。
步驟A(1820)：基於打包資訊，面B的相鄰面(即，面A和C)和相鄰面的對應旋轉角度是已知的。根據這些資訊，我們試圖找到q b 所在位置的面。此外，我們假設在此示例中q b 不位於任何面。
步驟B(1830)：我們將q b 映射到面B的相鄰面之一。假設我們 將q b 映射到面C的q c 處。此步驟的映射規則將在下一頁解釋。
步驟C(1840)：q c 的位置是(xc，yc)。根據打包資訊，我們可以將面C中的q c 映射到打包幀。假設將q c 映射到幀C的q f 1844處，其中當前塊1842已被指示。
步驟D(1840)：找到q f 所在的塊，並且該塊是當前塊的真實相鄰塊。
第18圖中所示的情況的步驟B1830的映射規則如下所示：
˙假設當前塊位於B面的位置。
˙對於面B左上角的位置(稱為q a )，我們將q a 映射到q a '。q a '位於面B的左面。q a '的對應位置在第19圖的圖示1910中示出。
˙對於面B左下角的位置(q b 所在的位置)，我們將q b 映射到q b '。q b '位於面B的左面(left face)。q b '的對應位置在第19圖的圖示1920中示出。
˙對於面B右上角的位置(q c 所在的位置)，我們將q c 映射到q c '。q c '位於面B的右面。q c '的對應位置在第19圖的圖示1930中示出。
根據另一實施例，第18圖中所示的情況的步驟B1830的映射規則如下所示：
˙假設當前塊位於面B的位置。
˙對於面B左上角的位置，稱為q a ，我們將qa映射到q a '。q a '位於面B的上方面(upper face)。q a '的對應位置在第20圖的圖示2010中示出。
˙對於面B左下角的位置(q b 所在的位置)，我們將q b 映射到q b '。q b '位於面B的下方。q b '的對應位置在第20圖的圖示2020中示出。
˙對於面B右上角的位置(q c 所在的位置)，我們將q c 映射到q c '。q c '位於面B的上方面。q c '的對應位置在第20圖的圖示2030中示出。
變換運動向量
對於方法1的步驟5和方法2的步驟4，將運動向量從一個區域變換 到另一個區域。例如，第21圖中，區域B 2110中的塊B 2112的MV(即，vb)需要被變換到區域A中的塊C 2124的相鄰塊2126中的位置a。塊2126的運動向量va是用作塊C 2124的運動向量vc的預測。虛線表示擴展區域2120內的子幀中的三個面2122。公開了三種變換運動向量的變換方法。
I：通過使用映射函數來變換運動向量
對於投影類型P(例如，ERP、CMP或其他投影)，假設運動向量vb在點b處，並且點b在區域B處，如第21圖所示。我們想要將vb從b變換到區域A 2126的點a處。對於給定的投影類型P，映射函數f(a，區域A，b，區域B，vb，P)可以將區域B的b處的vb變換為區域A的a處的va。
變換運動向量的過程是將映射函數f應用於MV vb：va=f(a,Region A,b,Region B,vb,P)
II：通過使用投影映射函數來變換運動向量
第22圖中，MV v是區域A中的塊2212的向量，並且MV v'是MV v的“陰影”，其將MV v從區域A 2210投影到區域B 2220。v'可以通過以下方式導出：將投影映射函數及其逆函數應用於向量v的起點和終點：v’=Pregion A→regionB (v)
圖片2220對應於區域B周圍的擴展區域，其中塊C位於區域B的頂部。立方體2230在第22圖中示出，其中區域A被標記。區域B位於立方體2230的底側。擴展範圍2240對應於擴展範圍2220。立方體2230的區域A上的塊2232可以投影到擴展範圍2240中的範圍2242。範圍2242對應於擴展圖片2220中的區域2222。
III：通過使用打包資訊來變換運動向量
如果投影類型是多面體(例如四面體、立方體、八面體、十二面體或二十面體)，我們可以通過將周圍面旋轉到中心面來將相鄰面連接在一起，以在中心面周圍形成具有連續內容的更大圖像。在形成連接圖像之後，可以 識別真實相鄰塊。此方法的過程示例如下所示：相應地旋轉真實相鄰塊的mv v’=Rotation(v)；
在上面的等式中，旋轉函數基於打包資訊。
第23圖示出了通過使用立方體投影格式的打包資訊來變換運動向量的示例。圖片2310對應於2x3立方圖格式的VR360圖片。當前塊2312位於中心面中。連接到多面體上的中心面(即，在該示例中為立方體)的面與中心面連接，以在中心面周圍形成具有連續內容的更大圖片2320。連接圖片(joined picture)2320中的當前塊被標記為塊2322，其中在連接圖片2320中具有其真實相鄰塊2324。真實相鄰塊2324對應於圖片2310中的塊2314。
在連接圖片中，連接圖片中真實相鄰塊的MV v'可用作當前塊的MV的預測值。在將MV v'用作當前塊的預測值之前，需要旋轉MV v'(例如，圖片2320中的垂直MV v'=>圖片2310中的水平MV v)。
第24圖示出了根據本發明實施例的包含用於VR360視訊的運動向量(MV)導出方法的系統的示例性框圖。流程圖中示出的步驟以及本公開中的其他後續流程圖可以實現為在編碼器側和/或解碼器側的一個或多個處理器(例如，一個或多個CPU)上可執行的程式代碼。流程圖中示出的步驟還可以基於諸如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器的硬體來實現。根據該方法，在步驟2410中接收2D(二維)投影圖像中的當前塊的輸入資料，其中根據目標投影格式從3D(三維)圖像投影2D投影圖像。在步驟2420中檢查當前塊的目標相鄰塊的第一MV(運動向量)在2D投影圖片中是否不可用或者目標相鄰塊與當前塊不在同一面中。如果當前塊的目標相鄰塊的第一MV(運動向量)在2D投影圖片內不可用或者目標相鄰塊與當前塊不在同一面(即，步驟2420中的“是”路徑)，執行步驟2430至步驟2450。否則(即，步驟2420的“否”路徑)，該過程終止。在步驟2430中，識別對應於目標相鄰塊的真實相鄰塊，其中真實相鄰塊在2D投影圖片內。在步驟2440中，如果存在真實相鄰塊的第 二MV，則將真實相鄰塊的第二MV變換為導出的MV。在步驟2450中，使用導出的MV或包括導出的MV的MV候選列表中的一個所選候選作為MV預測值來對當前塊的當前MV進行編碼或解碼。
以上所示的流程圖旨在用作示例以說明本發明的實施例。所屬領域具有通常知識者可以通過在不脫離本發明的精神的情況下修改各個步驟、分裂或組合步驟來實踐本發明。
呈現以上描述是為了使得本領域具有通常知識者能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於所屬領域具有通常知識者來說是顯而易見的，並且這裡定義的一般原理可以應用於其他實施例。因此，本發明不限於所示出和描述的特定實施例，而是與符合本文所公開的原理和新穎特徵的最寬範圍相一致。在以上詳細描述中，示出了各種具體細節以便提供對本發明的透徹理解。然而，所屬領域具有通常知識者將理解，可以實施本發明。
如上所述的本發明的實施例可以以各種硬體，軟體代碼或兩者的組合來實現。例如，本發明的實施例可以是集成到視訊壓縮晶片中的一個或多個電子電路或集成到視訊壓縮軟體中的程式代碼，以執行這裡描述的處理。本發明的實施例還可以是要在數位信號處理器(DSP)上執行的程式代碼，以執行這裡描述的處理。本發明還可以涉及由計算機處理器、數位信號處理器、微處理器或現場可程式化門陣列(FPGA)執行的許多功能。這些處理器可以被配置為通過執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。軟體代碼或韌體代碼可以用不同的程式語言和不同的格式或樣式開發。還可以針對不同的目標平台編譯軟體代碼。然而，軟體代碼的不同代碼格式、樣式和語言以及配置代碼以執行根據本發明的任務的其他裝置將不脫離本發明的精神和範圍。
在不脫離本發明的精神或基本特徵的情況下，本發明可以以其他 特定形式實施。所描述的示例在所有方面都應被視為僅是說明性的而非限制性的。因此，本發明的範圍由所附請求項而不是前面的描述表示。在申請專利範圍的含義和等同範圍內的所有變化都包含在其範圍內。
810、820、830、840、850、860、870‧‧‧步驟

Claims (18)

  1. 一種編解碼360度虛擬實境圖片的方法，該方法包括：接收二維投影圖像中的當前塊的輸入資料，其中，根據目標投影格式從三維圖像投影該二維投影圖像；當該當前塊的目標相鄰塊的第一運動向量在該二維投影圖片內不可用時，或者當該目標相鄰塊與該當前塊不在同一面時：識別對應於該目標相鄰塊的真實相鄰塊，其中該真實相鄰塊在該二維投影圖像內；如果存在該真實相鄰塊的第二運動向量，則將該真實相鄰塊的該第二運動向量變換為導出的運動向量；以及使用該導出的運動向量或包括該導出的運動向量的運動向量候選列表中的一個所選候選作為運動向量預測值來編碼或解碼該當前塊的當前運動向量。
  2. 如申請專利範圍第1項所述之方法，還包括：當用於該當前塊的該目標相鄰塊的該第一運動向量可用且該目標相鄰塊與該當前塊在同一面中時，使用該目標相鄰塊的該第一運動向量或包括該目標相鄰塊的該第一運動向量的該運動向量候選列表中的一個所選候選作為運動向量預測值編碼或解碼該當前塊的該當前運動向量。
  3. 如申請專利範圍第1項所述之方法，其中，使用與該三維圖像和該二維投影圖像之間的投影和映射有關的投影映射函數來識別該真實相鄰塊。
  4. 如申請專利範圍第3項所述之方法，其中，該投影映射函數將包含該當前塊的當前面外的目標點投影到球體上的對應點，並且該投影映射函數將該球體上的該對應點投影到另一個面中的映射點，該真實相鄰塊被識別為包含該映射點的封閉塊。
  5. 如申請專利範圍第3項所述之方法，其中，該投影映射函數將包含該當前塊的當前面外的目標點投影到另一面中的映射點，並且將該真實相鄰塊標識為包含該映射點的封閉映射塊。
  6. 如申請專利範圍第1項所述之方法，其中，使用與該三維圖片和該二維投影圖片之間的投影有關的打包資訊來識別該真實相鄰塊。
  7. 如申請專利範圍第6項所述之方法，其中，該打包資訊用於定位與該三維圖片中的當前面相鄰的連續邊界相鄰面中的對應點，並且其中，該對應點對應於包含該當前塊的該當前面外的目標點；定位與該二維投影圖像中的該連續邊界相鄰面相對應的目標面中的真實點；並且該目標面中的該真實相鄰塊被識別為包含該真實點的該目標面中的封閉塊。
  8. 如申請專利範圍第6項所述之方法，其中當包含該當前塊的當前面外的目標點不在任何連續邊界相鄰面內時，該打包資訊用於將該目標點映射到與該三維圖像中的該當前面相鄰的連續邊界相鄰面中的對應點；並且其中，該真實的相鄰塊被識別為包含該對應點的該連續邊界相鄰面中的封閉塊。
  9. 如申請專利範圍第6項所述之方法，其中，該打包資訊包括關於該當前塊的相鄰面的第一資訊和與每個相鄰面相關聯的相應旋轉角度。
  10. 如申請專利範圍第1項所述之方法，其中，映射函數用於將該真實相鄰塊的該第二運動向量變換為該所導出的運動向量。
  11. 如申請專利範圍第10項所述之方法，其中，該映射函數使用一組輸入，該組輸入包括該真實相鄰塊的該第二運動向量、該真實相鄰塊的該第二運動向量的第一位置、包圍該真實相鄰塊的第一面、對應於該真實相鄰塊的該第二運動向量的該第一位置的該二維投影圖像中的對應點、包圍該對應點的第二面和該目標投影格式。
  12. 如申請專利範圍第1項所述之方法，其中，投影映射函數用於將 該真實相鄰塊的該第二運動向量變換為該導出的運動向量。
  13. 如申請專利範圍第12項所述之方法，其中，該投影映射函數將包圍該真實相鄰塊的第一面中的該真實相鄰塊的該第二運動向量投影到包圍該當前塊的第二面上。
  14. 如申請專利範圍第1項所述之方法，其中，打包資訊用於從該真實相鄰塊的該第二運動向量導出該導出的運動向量。
  15. 如申請專利範圍第14項所述之方法，其中，該打包資訊包括關於當前塊的相鄰面的第一資訊和與每個相鄰面相關聯的對應旋轉角度。
  16. 如申請專利範圍第1項所述之方法，其中，該目標投影格式對應於立方圖投影、桶佈局、分段球投影、八面體投影、旋轉球投影、二十面體投影，或調整後的立方圖投影。
  17. 如申請專利範圍第1項所述之方法，其中，該候選列表對應於合併候選列表或高級運動向量預測候選列表。
  18. 一種用於編解碼360度虛擬實境圖片的裝置，該裝置包括一個或多個電子設備或處理器，被配置為：接收二維投影圖像中的當前塊的輸入資料，其中，根據目標投影格式從三維圖像投影該二維投影圖像；當該當前塊的目標相鄰塊的第一運動向量在該二維投影圖片內不可用時，或者當該目標相鄰塊與該當前塊不在同一面時：識別對應於該目標相鄰塊的真實相鄰塊，其中該真實相鄰塊在該二維投影圖像內；如果存在該真實相鄰塊的第二運動向量，則將該真實相鄰塊的該第二運動向量變換為導出的運動向量；以及使用該導出的運動向量或包括該導出的運動向量的運動向量候選列表中的 一個所選候選作為運動向量預測值來編碼或解碼該當前塊的當前運動向量。
TW108109046A 2018-03-19 2019-03-18 Vr360 視訊編解碼的運動向量推導方法和裝置 TWI702835B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862644636P 2018-03-19 2018-03-19
US62/644,636 2018-03-19
US16/354,303 US20190289316A1 (en) 2018-03-19 2019-03-15 Method and Apparatus of Motion Vector Derivation for VR360 Video Coding
US16/354,303 2019-03-15

Publications (2)

Publication Number Publication Date
TW201939956A TW201939956A (zh) 2019-10-01
TWI702835B true TWI702835B (zh) 2020-08-21

Family

ID=67904300

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108109046A TWI702835B (zh) 2018-03-19 2019-03-18 Vr360 視訊編解碼的運動向量推導方法和裝置

Country Status (3)

Country Link
US (1) US20190289316A1 (zh)
TW (1) TWI702835B (zh)
WO (1) WO2019179418A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11190801B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method
US11190768B2 (en) * 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus
US11659206B2 (en) 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170353737A1 (en) * 2016-06-07 2017-12-07 Mediatek Inc. Method and Apparatus of Boundary Padding for VR Video Processing
WO2018009746A1 (en) * 2016-07-08 2018-01-11 Vid Scale, Inc. 360-degree video coding using geometry projection

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9918082B2 (en) * 2014-10-20 2018-03-13 Google Llc Continuous prediction domain
CN105681805B (zh) * 2016-01-19 2019-05-21 北京大学深圳研究生院 视频编码、解码方法及其帧间预测方法和装置
WO2017222301A1 (ko) * 2016-06-21 2017-12-28 주식회사 픽스트리 부호화 장치 및 방법, 복호화 장치 및 방법
US20170374364A1 (en) * 2016-06-23 2017-12-28 Mediatek Inc. Method and Apparatus of Face Independent Coding Structure for VR Video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170353737A1 (en) * 2016-06-07 2017-12-07 Mediatek Inc. Method and Apparatus of Boundary Padding for VR Video Processing
WO2018009746A1 (en) * 2016-07-08 2018-01-11 Vid Scale, Inc. 360-degree video coding using geometry projection

Also Published As

Publication number Publication date
TW201939956A (zh) 2019-10-01
US20190289316A1 (en) 2019-09-19
WO2019179418A1 (en) 2019-09-26

Similar Documents

Publication Publication Date Title
US10264282B2 (en) Method and apparatus of inter coding for VR video using virtual reference frames
TWI666914B (zh) ３ｄ視訊壓縮中參考圖像產生及管理之編解碼方法及裝置
TWI702832B (zh) 虛擬現實視訊處理的邊界填充的方法與裝置
TWI690196B (zh) 360度虛擬現實視訊的環路濾波方法和裝置
KR102273199B1 (ko) 곡선 뷰 비디오 인코딩/디코딩에서 효율성 향상을 위한 시스템 및 방법
TWI702835B (zh) Vr360 視訊編解碼的運動向量推導方法和裝置
WO2017125030A1 (en) Apparatus of inter prediction for spherical images and cubic images
US20170230668A1 (en) Method and Apparatus of Mode Information Reference for 360-Degree VR Video
TWI686079B (zh) 處理360度虛擬實境圖像之方法及裝置
CN109076232B (zh) 视频编码或解码方法与装置
US20200074587A1 (en) Method and Apparatus for Mapping Virtual-Reality Image to a Segmented Sphere Projection Format
JP6690061B2 (ja) 動き補償予測方法およびデバイス
TWI688256B (zh) 具有無效區域的vr 圖像的視訊編解碼方法和裝置
TWI699114B (zh) Vr360視訊編碼的塊分割方法和裝置
US20210150665A1 (en) Image processing method and device
US20180338160A1 (en) Method and Apparatus for Reduction of Artifacts in Coded Virtual-Reality Images
US11240512B2 (en) Intra-prediction for video coding using perspective information
CN109496429A (zh) 视频编码方法、视频解码方法及相关装置
WO2020042185A1 (zh) 视频处理方法及相关装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees