TW202345594A - 視訊編解碼方法和裝置 - Google Patents

視訊編解碼方法和裝置 Download PDF

Info

Publication number
TW202345594A
TW202345594A TW112114598A TW112114598A TW202345594A TW 202345594 A TW202345594 A TW 202345594A TW 112114598 A TW112114598 A TW 112114598A TW 112114598 A TW112114598 A TW 112114598A TW 202345594 A TW202345594 A TW 202345594A
Authority
TW
Taiwan
Prior art keywords
prediction
distance
predictor
block
mode
Prior art date
Application number
TW112114598A
Other languages
English (en)
Inventor
江嫚書
徐志瑋
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202345594A publication Critical patent/TW202345594A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Abstract

用於視訊編解碼的方法和裝置被提供。當前塊沿著分區線被劃分成第一區域和第二區域。分區線周圍的混合區域被決定，其中混合區域包括具有第一混合區域和第二混合區域，該第一混合區域具有在由分區線和distance_1定義的第一區域中的第一像素，以及該第二混合區域具有在由分區線和distance_2定義的第二區域中的第二像素。distance_1和distance_2對應兩個非負值，可以不同。分別對第一區域和第二區域決定第一預測子和第二預測子。混合區域的混合預測子藉由混合第一預測子和第二預測子來生成。當前塊藉由使用包括混合預測子的預測資料來編碼或解碼。

Description

視訊編解碼系統中混合預測的方法和裝置
本發明涉及視訊編解碼系統。具體而言，本發明涉及使用適應性混合區域來混合預測子以提高編解碼效率。
多功能視訊編解碼（versatile video coding，簡稱VVC）是由ITU-T視訊編解碼專家組（Video Coding Experts Group，簡稱VCEG）和ISO/IEC運動圖像專家組（Moving Picture Experts Group，簡稱MPEG）的聯合視訊專家組（Joint Video Experts Team，簡稱JVET）開發的最新國際視訊編解碼標準。該標準已作為ISO標準於2021年2月發佈：ISO/IEC 23090-3:2021，資訊技術-沉浸式媒體的編解碼表示-第3部分：多功能視訊編解碼。VVC是基於其上一代高效視訊編解碼（High Efficiency Video Coding，簡稱HEVC）藉由添加更多的編解碼工具，來提高編解碼效率以及處理包括三維（3-dimensional，簡稱3D）視訊訊號在內的各種類型的視訊源。
第1A圖示出結合迴圈處理的示例適應性幀間/幀內視訊編解碼系統。對於幀內預測，​​預測資料基於當前圖片中先前編解碼的視訊資料得出。對於幀間預測112，運動估計（Motion Estimation，簡稱ME）在編碼器端執行以及運動補償（Motion Compensation，簡稱MC）基於ME的結果執行以提供從其他圖片和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112，以及選擇的預測資料被提供至加法器116以形成預測誤差，也被稱為殘差。然後預測誤差由變換（Transform，簡稱T）118接著量化（Quantization，簡稱Q）120處理。然後經變換和量化的殘差由熵編碼器122進行編碼，以包括在對應於壓縮視訊資料的視訊位元流中。然後，與變換係數相關聯的位元流與輔助資訊（諸如與幀內預測和幀間預測相關聯的運動和編碼模式等輔助資訊）和其他資訊（與應用於底層圖像區域的環路濾波器相關聯的參數等）打包。如第1A圖所示，與幀內預測110、幀間預測112和環路濾波器130相關聯的輔助資訊被提供至熵編碼器122。當幀間預測模式被使用時，一個或多個參考圖片也必須在編碼器端重構。因此，經變換和量化的殘差由逆量化（Inverse Quantization，簡稱IQ）124和逆變換（Inverse Transformation，簡稱IT）126處理以恢復殘差。然後殘差在重構（REC）128被加回到預測資料136以重構視訊資料。重構的視訊資料可被存儲在參考圖片緩衝器134中以及用於其他幀的預測。
如第1A圖所示，輸入的視訊資料在編碼系統中經過一系列處理。由於一系列處理，來自REC128的重構視訊資料可能會受到各種損害。因此，在重構視訊資料被存儲在參考圖片緩衝器134中之前，環路濾波器130通常被應用於重構視訊資料，以提高視訊品質。例如，去塊濾波器（deblocking filter,簡稱DF）、樣本適應性偏移（Sample Adaptive Offset，簡稱SAO）和適應性環路濾波器（Adaptive Loop Filter，簡稱ALF）可被使用。環路濾波器資訊可能需要被合併到位元流中，以便解碼器可以正確地恢復所需的資訊。因此，環路濾波器資訊也被提供至熵編碼器122以結合到位元流中。在第1A圖中，在重構樣本被存儲在參考圖片緩衝器134中之前，環路濾波器130被應用於重構的視訊。第1A圖中的系統旨在說明典型視訊編碼器的示例結構。它可以對應於高效視訊編解碼（High Efficiency Video Coding，簡稱HEVC）系統、VP8、VP9、H.264或VVC。
如第1B圖所示的解碼器可以使用與編碼器相似或部分相同的功能塊，除了變換118 和量化120，因為解碼器只需要逆量化124和逆變換126。解碼器使用熵解碼器140而不是熵編碼器122來將視訊位元流解碼為量化的變換係數和所需的編解碼資訊（例如，ILPF資訊、幀內預測資訊和幀間預測資訊）。解碼器端的幀內預測150不需要執行模式搜索。相反，解碼器只需要根據從熵解碼器140接收到的幀內預測資訊生成幀內預測。此外，對於幀間預測，解碼器只需要根據從熵解碼器140接收到的幀內預測資訊執行運動補償（MC 152）無需運動估計。
根據VVC，輸入圖片被劃分為稱為編解碼樹單元（Coding Tree unit，簡稱CTU）的非重疊方形塊區域，類似於HEVC。每個CTU可被劃分為一個或多個較小尺寸的編解碼單元（coding unit，簡稱CU）。生成的CU分區可以是正方形或矩形。此外，VVC將CTU劃分為預測單元（prediction unit，簡稱PU）作為一個單元來應用預測處理，例如幀間預測、幀內預測等。
VVC標準合併了各種新的編解碼工具以進一步提高超過HEVC標準的編解碼效率。在各種新的編解碼工具中，與本發明相關的一些編解碼工具綜述如下。
幀間預測概述
根據JVET-T2002第3.4節（Jianle Chen, et. al., “Algorithm description for Versatile Video Coding and Test Model 11 (VTM 11)” , Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, 20th Meeting, by teleconference, 7 – 16 October 2020, Document: JVET-T2002）, 對於每個幀間預測CU，由運動向量，參考圖片索引和參考圖片列表使用索引組成的運動參數以及額外資訊被用於幀間預測樣本的生成。運動參數可以顯式或隱式方式發送。當CU以跳過模式進行編解碼時，CU與一個PU相關聯以及沒有顯著的殘差係數，沒有被編解碼的運動向量增量或參考圖片索引。合併模式指當前CU的運動參數是從相鄰CU獲得的，包括空間和時間候選，以及VVC中引入的額外排程。合併模式可被用於任一幀間預測的CU。合併模式的可選方案是運動參數的顯式傳輸，其中每個CU的運動向量，每個參考圖片列表的相應參考圖片索引和參考圖片列表使用標誌以及其他所需資訊被顯式地發送。 除了HEVC中的幀間編解碼功能之外，VVC還包括許多新的和改進的幀間預測編解碼工具，如下所列： – 擴展的合併預測 – 具有MVD的合併模式（Merge mode with MVD，簡稱MMVD） – 對稱MVD（symmetric MVD，簡稱SMVD）發送 – 仿射運動補償預測 – 基於子塊的時間運動模式預測（Subblock-based temporal motion vector prediction，簡稱SbTMVP） – 適應性運動向量解析度（Adaptive motion vector resolution，簡稱AMVR） – 運動場存儲：1/16亮度樣本MV存儲和8x8運動場壓縮 – CU級權重雙向預測（Bi-prediction with CU-level weight，簡稱BCW） – 雙向光流（Bi-directional optical flow，簡稱BDOF） – 解碼器側運動向量細化（Decoder side motion vector refinement，簡稱DMVR） – 幾何分區模式（Geometric partitioning mode，簡稱GPM） – 組合的幀間和幀內預測（Combined inter and intra prediction，簡稱CIIP）
下面的描述提供了在VVC中指定的那些幀間預測方法的細節。
擴展的合併預測
在VVC中，合併候選列表藉由依次包括以下五類候選來構建： 1）來自空間相鄰CU的空間MVP 2）來自同位CU的時間MVP 3）來自FIFO表的基於歷史的MVP 4）成對平均MVP 5）零MV。
合併列表的大小在序列參數集（sequence parameter set，簡稱SPS）報頭中發送以及合併列表的最大允許大小是6。對於在合併模式中編解碼的每個CU，最佳合併候選的索引使用截斷一元二值化（truncated unary binarization）進行編碼。合併索引的第一個bin使用上下文進行編解碼，旁路編解碼用於其餘bin。
本環節提供了每個類別的合併候選的推導處理。與在HEVC中所做的一樣，VVC還支援一定大小的區域內的所有CU的合併候選列表（或被稱為合併候選列表）的並行推導。
空間候選推導
除了交換前兩個合併候選的位置之外，VVC中空間合併候選的導出與HEVC中的相同。在位於第2圖所示位置的候選中當前CU 210的最多四個合併候選（B 0、A 0、B 1和A 1）被選擇。導出的順序是B 0、A 0、B 1、A 1和B 2。位置B 2僅在位置B 0、A 0、B 1和A 1的一個或多個相鄰CU不可用（例如，屬於另一個片段或圖塊）或被幀內編解碼時才被考慮。位置A 1的候選被添加後，對剩餘候選的添加進行冗餘檢查，保證具有相同運動資訊的候選被排除在列表之外，從而提高編解碼效率。為了降低計算複雜度，在提到的冗餘檢查中並未考慮所有可能的候選對。相反，僅考慮第3圖中用箭頭連結的對，以及僅當用於冗餘檢查的相應候選不具有相同運動資訊時才將候選添加到列表中。
時間候選推導
在該步驟中，僅一個候選被添加到列表中。具體地，在對當前CU 410的該時間合併候選的推導中，縮放的運動向量基於屬於如第4圖所示的同位參考圖片的同位CU 420進行推導。參考圖片列表和用於推導同位CU的參考索引在片段報頭中顯式地發送。如第4圖中的虛線所示，時間合併候選的縮放運動向量430被獲取，其使用圖片順序計數（Picture Order Count，簡稱POC）距離tb和td從位於同位的CU的運動向量440進行縮放，其中tb被定義為當前圖片的參考圖片與當前圖片的POC差值，td被定義為同位圖片的參考圖片與同位圖片的POC差值。時間合併候選的參考圖片索引設置為等於零。
時間候選的位置在候選C­ 0和C 1之間選擇，如第5圖所示。如果位置C 0的CU不可用，被幀內編解碼或在當前CTU橫列（row）之外，則位置C 1被使用。否則，位置C 0被用來推導時間合併候選。
基於歷史的合併候選推導
基於歷史的MVP（history-based MVP，簡稱HMVP）合併候選被添加到合併列表中空間MVP和TMVP之後。在該方法中，先前編解碼塊的運動資訊存儲在表中並用作當前CU的MVP。在編碼/解碼處理中，具有多個HMVP候選的表被保留。當遇到新的CTU橫列（row）時，該表將被重置（清空）。每當存在非子塊幀間編解碼CU時，相關聯的運動資訊將作為新的HMVP候選添加到表的最後一個條目。
HMVP表大小 S被設置為6，這指示最多5個基於歷史的MVP（HMVP）候選可以被添加到表中。當向表中插入新的運動候選時，受約束的先進先出（first-in-first-out，簡稱FIFO）規則被使用，其中首先冗餘檢查被應用以查閱資料表中是否存在相同的HMVP。如果找到，相同的HMVP被從表中移除以及之後的所有HMVP候選被向前移動，以及相同的HMVP被插入到表的最後條目。
HMVP候選可以用在合併候選列表構建處理中。表中最新的幾個HMVP候選被依次檢查，以及被插入到候選列表中TMVP候選之後。冗餘檢查應用於HMVP候選到空間或時間合併候選。
為了減少冗餘檢查操作的數量，以下簡化被引入： 1.分別對表中的最後兩個條目相對於A 1和B 1空間候選進行冗餘檢查。 2.一旦可用合併候選總數達到最大允許合併候選-1，HMVP的合併候選列表構建處理終止。
成對平均合併候選推導
藉由使用前兩個合併候選對現有合併候選列表中的預定候選對進行平均來生成成對平均候選。第一合併候選被定義為p0Cand，第二合併候選可以被定義為p1Cand。根據p0Cand和p1Cand的運動向量的可用性分別對每個參考列表計算平均運動向量。如果兩個運動向量在一個列表中都可用，則即使這兩個運動向量指向不同的參考圖片，也對其進行平均，以及將其參考圖片設置為p0C和p0C之一；如果只有一個運動向量可用，則直接使用這個運動向量；如果沒有可用的運動向量，則保持此列表無效。此外，如果p0Cand和p1Cand的半像素插值濾波器索引不同，則其被設置為0。
當添加成對平均合併候選後合併列表未滿時，零MVP被插入最後直到達到最大合併候選數。
合併估計區域
合併估計區域（merge estimation region，簡稱MER）允許同一合併估計區域（Merge estimation region，簡稱MER）中的CU的合併候選列表的獨立推導。與當前CU在同一MER內的候選塊不包括在當前CU的合併候選列表的生成中。此外，僅當（xCb + cbWidth）＞＞ Log2ParMrgLevel大於xCb ＞＞ Log2ParMrgLevel以及（yCb + cbHeight）＞＞ Log2ParMrgLevel大於（yCb ＞ ＞ Log2ParMrgLevel），基於歷史的運動向量預測子候選列表的更新處理被更新，其中（xCb, yCb）是圖片中當前CU的左上角亮度樣本位置，（cbWidth, cbHeight）是CU大小。MER大小在編碼器側被選擇，以及在序列參數集（Sequance Parameter Set，簡稱SPS）中作為log2_parallel_merge_level_minus2被發送。
具有 MVD 的合併模式（ Merge Mode with MVD ，簡稱 MMVD ）
除了其中隱式導出的運動資訊直接用於當前CU的預測樣本生成的合併模式之外，在VVC中引入了具有運動向量差的合併模式（merge mode with motion vector difference，簡稱MMVD）。在發送常規合併標誌後MMVD標誌被立即發送，以指定MMVD模式是否用於CU。
在MMVD中，在合併候選（在本公開中被稱為基本合併候選）被選擇之後，藉由發送的MVD資訊對其進一步細化。進一步的資訊包括合併候選標誌，用於指定運動幅度的索引和用於指示運動方向的索引。在MMVD模式下，合併列表中的前兩個候選中的一個被選擇用作MV基礎。MMVD候選標誌被發送以指定在第一和第二合併候選之間使用哪一個。
距離索引指定運動幅度資訊以及指示從L0參考塊610和L1參考塊620的起點（612和622）的預定偏移量。如第6圖所示，偏移量被添加到起始MV的水平分量或垂直分量，其中不同樣式的小圓圈對應於距中心的不同偏移量。距離索引和預定偏移量的關係在表1中指定 表 1 – 距離索引與預定偏移量的關係
距離IDX 0 1 2 3 4 5 6 7
偏移量（以亮度樣本為單位） 1/4 1/2 1 2 4 8 16 32
方向索引表示MVD相對於起始點的方向。方向索引可以表示如表2所示的四個方向。需要注意的是，MVD符號的含義可以根據起始MV的資訊而變化。當起始MV是單向預測MV或雙向預測MV，其中兩個列表都指向當前圖片的同一側（即兩個參考圖片的POC均大於當前圖片的POC，或均小於當前圖片的POC），表2中的符號指定添加到起始MV的MV偏移量的符號。當起始MV是雙向預測MV，兩個MV指向當前圖片的不同側（即一個參考圖片的POC大於當前圖片的POC，另一個參考圖片的POC小於當前圖片的POC），以及列表0中的POC的差值大於列表1中的POC，表2中的符號指定添加到起始MV的列表0 MV分量的MV偏移量的符號和列表1 MV的符號具有相反的值。否則，如果列表1中的POC之差值大於列表0，則表2中的符號指定添加到起始MV的列表1 MV分量的MV偏移量的符號和列表0 MV的符號具有相反的值。
MVD根據每個方向上的POC的差值來進行縮放。如果兩個列表中POC的差值相同，則不需要縮放。否則，如果列表0中的POC差值大於列表1中的差值，則藉由將L0的POC差值定義為td以及將L1的POC差值定義為tb來縮放列表1的MVD，如第4圖所示。如果L1的POC差值大於L0，則列表0的MVD以相同的方式縮放。如果起始MV是單向預測，則MVD被添加到可用MV。 表 2 – 方向索引指定的 MV 偏移量符號
方向 IDX 00 01 10 11
x-axis + − N/A N/A
y-axis N/A N/A + −
仿射運動 補償預測
在HEVC中，僅平移運動模型被應用於運動補償預測（motion compensation prediction，簡稱MCP）。而在現實世界中，有很多種運動，例如放大/縮小，旋轉，透視運動和其他不規則運動。在VVC中，基於塊的仿射變換運動補償預測被應用。如第7A-B圖所示，塊710的仿射運動場由第7A圖中的兩個控制點（4參數）的運動資訊或第7B圖中的三個控制點運動向量（6參數）描述。
對於4參數仿射運動模型，塊中樣本位置（x，y）處的運動向量被導出為： （1）
對於6參數仿射運動模型，塊中樣本位置（x，y）處的運動向量被導出為： （2）
其中（ mv 0x ， mv 0y ）為左上角控制點的運動向量，（ mv 1x ， mv 1y ）為右上角控制點的運動向量，（ mv 2x ， mv 2y ）為左下角控制點的運動向量。
為了簡化運動補償預測，基於塊的仿射變換預測被應用。為了導出每個4×4亮度子塊的運動向量，每個子塊的中心樣本的運動向量，如第8圖所示，根據上述等式計算，四捨五入到1/16分數精度。然後，運動補償插值濾波器被應用以生成具有導出的運動向量的每個子塊的預測。色度分量的子塊大小也被設置為4×4。4×4色度子塊的MV計算為同位8x8亮度區域中左上角和右下角亮度子塊的MV的平均值。
對於平移運動幀間預測，也有兩種仿射運動幀間預測模式：仿射合併模式和仿射AMVP模式。
仿射合併 預測
AF_MERGE模式可以應用於寬度和高度都大於或等於8的CU。在該模式下，基於空間相鄰CU的運動資訊生成當前CU的控制點MV（Control Point MV，簡稱CPMV）。最多可以有五個CPMVP（CPMV 預測）候選，索引被發送以指示要用於當前CU的那個候選。下面三種類型的CPVM候選被用來構成仿射合併候選列表： - 從相鄰CU的CPMV推斷出的繼承仿射合併候選 - 使用相鄰CU的平移MV導出的構建仿射合併候選（constructed affine merge candidate，簡稱CPMVP） - 零MV
在VVC中，最多有兩個繼承的仿射候選，它們來自相鄰塊的仿射運動模型，一個來自左側相鄰CU，一個來自上方相鄰CU。候選塊與第2圖所示的塊相同。對於左側預測子，掃描順序為A 0-＞A 1，對於上方預測子，掃描順序為B 0-＞B 1-＞B 2。僅每一側的第一繼承候選被選擇。在兩個繼承的候選之間不執行修剪檢查。當相鄰的仿射CU被識別出時，其控制點運動向量用於導出當前CU的仿射合併列表中的CPMVP候選。如第9圖所示，如果當前塊910的左下相鄰塊A以仿射模式進行編解碼，則包含塊A的CU 920的左上角，右上角和左下角的運動向量v 2，v 3和v 4被獲得。當塊A採用4參數仿射模型編解碼時，當前CU的兩個CPMV（即v 0和v 1）根據v 2和v 3進行計算。在塊A採用6參數仿射模型編解碼時，當前CU的三個CPMV根據v 2，v 3和v 4進行計算。
構建仿射候選是指藉由結合每個控制點的相鄰平移運動資訊來構建候選。如第10圖所示，控制點的運動資訊是從當前塊1010的指定空間相鄰和時間相鄰塊導出。CPMV k（k=1，2，3，4）表示第k個控制點。對於CPMV 1，B 2-＞B 3-＞A 2塊被檢查以及第一可用塊的MV被使用。對於CPMV 2，B 1-＞B 0塊被檢查，對於CPMV 3，A 1-＞A 0塊被檢查。如果TMVP可用，則其被用作CPMV 4。
在獲得四個控制點的MV之後，基於運動資訊構建仿射合併候選。以下控制點MV的組合用於按順序構建： {CPMV 1, CPMV 2, CPMV 3}, {CPMV 1, CPMV 2, CPMV 4}, {CPMV 1, CPMV 3, CPMV 4}, {CPMV 2, CPMV 3, CPMV 4}, { CPMV 1, CPMV 2}, { CPMV 1, CPMV 3}
3個CPMV的組合構建6參數仿射合併候選以及2個CPMV的組合構建4參數仿射合併候選。為了避免運動縮放處理，如果控制點的參考索引不同，則控制點MV的相關組合被丟棄。
在繼承的仿射合併候選和構建的仿射合併候選被檢查後，如果列表仍未滿，則零MV被插入到列表的末尾。
仿射 AMVP 預測
仿射AMVP模式可以應用於寬度和高度都大於或等於16的CU。CU級別的仿射標誌在位元流中發送以指示是否使用仿射AMVP模式，然後另一標誌被發送以指示4參數仿射還是6參數仿射被使用。在這種模式下，當前CU的CPMV與其預測子CPMVP的差值在位元流中發送。仿射AVMP候選列表大小為2，由以下四種CPVM候選依次生成： - 從相鄰CU的CPMV推斷出的繼承仿射AMVP候選 - 構建的仿射AMVP候選CPMVP使用相鄰CU的平移MV導出 - 來自相鄰CU的平移MV - 零MV
繼承的仿射AMVP候選的檢查順序與繼承的仿射合併候選的檢查順序相同。唯一的區別是，對於AVMP候選，僅考慮與當前塊具有相同參考圖片的仿射CU。當將繼承的仿射運動預測子插入候選列表時，修剪處理（pruning process）不被應用。
構建的AMVP候選從第10圖中所示的指定空間相鄰塊導出。與仿射合併候選構建中相同的檢查順序被使用。此外，相鄰塊的參考圖片索引還被檢查。在檢查順序中，使用幀間編解碼以及具有當前CU中相同的參考圖片的第一塊被使用。當當前CU使用4參數仿射模式編碼，以及 mv 0 和 mv 1 都可用時，它們作為一個候選被添加到仿射AMVP列表中。當當前CU使用6參數仿射模式編解碼，以及所有三個CPMV都可用時，它們作為一個候選被添加到仿射AMVP列表中。否則，構建的AMVP候選被設置為不可用。
如果插入有效繼承的仿射AMVP候選和構建的AMVP候選後，仿射AMVP候選列表的數量仍然小於2，則 mv 0 ， mv 1 和 mv 2 作為平移MV被添加以便在可用時預測當前CU的所有控制點MV。最後，如果仿射AMVP列表仍未滿，則零MV被用來填充仿射AMVP列表。
仿射運動 資訊存儲
在VVC中，仿射CU的CPMV存儲在單獨的緩衝器中。存儲的CPMV僅用於在仿射合併模式和仿射AMVP模式下對最近編解碼的CU生成繼承的CPMVP。從CPMV導出的子塊MV用於運動補償，合併的MV導出/平移MV的AMVP列表和去塊。
為了避免用於額外CPMV的圖片行緩衝器，從上方CTU的CU繼承的仿射運動資料對於從常規相鄰CU繼承的處理不同。如果用於仿射運動資料繼承的候選CU在上方CTU行中，則行緩衝器（line buffer）中的左下和右下子塊MV而不是CPMV被用於仿射MVP推導。這樣，CPMV僅存儲在本地緩衝器中。如果候選CU是6參數仿射編解碼，則仿射模型退化為4參數模型。 如第11圖所示，沿著頂部CTU邊界，CU的左下和右下子塊運動向量用於底部CTU中CU的仿射繼承。在第11圖中，橫列1110和直行1112表示原點（0，0）在左上角的圖片的x和y座標。圖例1120顯示各種運動向量的含義，其中箭頭1122表示局部緩衝器中用於仿射繼承的CPMV，箭頭1124表示用於局部緩衝器中的MC/合併/跳過/AMVP/去塊/TMVPs的子塊向量和行緩衝器中的仿射繼承的子塊向量，箭頭1126代表MC/合併/跳過/AMVP/去塊/TMVPs的子塊向量。
適應性運動向量分辨率（ Adaptive Motion Vector Resolution ，簡稱 AMVR ）
在HEVC中，當片段報頭中的use_integer_mv_flag等於0時，（CU 的運動向量和預測運動向量之間的）運動向量差（motion vector difference，簡稱MVD）以四分之一亮度樣本為單位發送。在VVC中，CU級適應性運動向量解析度（adaptive motion vector resolution，簡稱AMVR）方案被引入。AMVR允許CU的MVD以不同的精度進行編解碼。根據當前CU的模式（普通AMVP模式或仿射AVMP模式），當前CU的MVD可以適應性地選擇如下： - 常規AMVP模式：四分之一亮度樣本，半亮度樣本，整數亮度樣本或四亮度樣本。 - 仿射AMVP模式：四分之一亮度樣本，整數亮度樣本或1/16亮度樣本。
如果當前CU具有至少一個非零MVD分量，則CU級MVD解析度指示被有條件地發送。如果所有MVD分量（即，參考列表L0和參考列表L1的水平和垂直MVD）均為零，則四分之一亮度樣本MVD解析度被推斷出。
對於具有至少一個非零MVD分量的CU，第一標誌被發送以指示四分之一亮度樣本MVD精度是否用於CU。如果第一標誌為0，則不需要進一步的發送，以及四分之一亮度樣本MVD精度用於當前CU。否則，第二標誌被發送以指示將半亮度樣本或其他MVD精度（整數或四亮度樣本）用於常規的AMVP CU。在半亮度樣本的情況下，半亮度樣本位置使用6抽頭插值濾波器而不是默認的8抽頭插值濾波器。否則，第三標誌被發送以指示是將整數亮度樣本還是四亮度樣本MVD精度用於常規AMVP CU。在仿射AMVP CU的情況下，第二標誌用於指示是否使用整數亮度樣本或1/16亮度樣本MVD精度。為了確保重構的MV具有預期的精度（四分之一亮度樣本，半亮度樣本，整數亮度樣本或四亮度樣本），在與MVD相加之前，CU的運動向量預測子將被四捨五入到與MVD相同的精度。運動向量預測子向零舍入（即，負運動向量預測子向正無窮大舍入，正運動向量預測值向負無窮大舍入）。
編碼器使用RD檢查來確定當前CU的運動向量解析度。在VTM11中，為了避免總是對每個MVD解析度執行四次CU級RD檢查，除四分之一亮度樣本之外的MVD精度的RD檢查僅被有條件地調用。對於常規的AVMP模式，首先四分之一亮度樣本MVD精度和整數亮度樣本MV精度的RD成本被計算。然後，將整數亮度樣本MVD精度的RD成本與四分之一亮度樣本MVD精度的RD成本進行比較，以決定是否有必要進一步檢查四亮度樣本MVD精度的RD成本。當四分之一亮度樣本MVD精度的RD成本遠小於整數亮度樣本MVD精度的RD成本時，四亮度樣本MVD精度的RD成本檢查被跳過。然後，如果整數亮度樣本MVD精度的RD成本明顯大於先前測試的MVD精度的最佳RD成本，則半亮度樣本MVD精度的檢查被跳過。對於仿射AMVP模式，如果在檢查仿射合併/跳過模式，合併/跳過模式，四分之一亮度樣本MVD精度常規AMVP模式和四分之一亮度樣本MVD精度仿射AMVP模式的率失真成本後仿射幀間模式未被選擇，則1/16亮度樣本MV精度和1像素MV精度仿射幀間模式未被檢查。此外，在四分之一亮度樣本MV精度仿射幀間模式中獲得的仿射參數被用作1/16亮度樣本和四分之一亮度樣本MV精度仿射幀間模式的起始搜索點。
具有 CU 級權重的雙向預測（ Bi-Prediction with CU-level Weight ，簡稱 BCW ）
在HEVC中，雙向預測訊號 藉由對從兩個不同參考圖片和/或使用兩個不同運動向量獲得的兩個預測訊號 P 0和 P 1進行平均而生成。在VVC中，雙向預測模式被擴展到簡單的平均之外，允許對兩個預測訊號進行加權平均。 （3）
加權平均雙向預測允許五個權重，w∈{-2,3,4,5,10}。對於每個雙向預測的CU，權重w由以下兩種方式之一決定：1）對於非合併CU，權重索引在運動向量差值之後被發送；2）對於合併CU，權重索引根據合併候選索引從相鄰塊中推斷出來。BCW僅適用於具有256個或更多亮度樣本的CU（即，CU寬度乘以CU高度大於或等於256）。對於低延遲圖片，所有5個權重被使用。對於非低延遲圖片，僅3個權重（w∈{3,4,5}）被使用。在編碼器處，快速搜索演算法被用來查找權重索引，而不會顯著增加編碼器的複雜性。這些演算法總結如下。詳細資訊在VTM軟體和文檔JVET-L0646中公開（Yu-Chi Su, et. al., “CE4-related: Generalized bi-prediction improvements combined from JVET-L0197 and JVET-L0296”, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, 12th Meeting: Macao, CN, 3–12 Oct. 2018, Document: JVET-L0646）。 - 當與AMVR結合時，如果當前圖片是低延遲圖片，則僅對1像素和4像素運動向量精度有條件地檢查不相等的權重。 - 當與仿射相結合時，當且僅當選擇仿射模式作為當前最佳模式時，仿射ME將被執行用於不相等的權重。 - 當雙向預測中的兩個參考圖片相同時，不相等的權重僅被有條件地檢查。 - 當特定條件被滿足時不相等的權重不被搜索，這取決於當前圖片與其參考圖片之間的POC距離，編解碼QP和時間級別。
BCW權重索引使用上下文編解碼的bin和隨後的旁路編解碼bin進行編解碼。第一上下文編解碼的bin指示是否使用相等的權重；如果不相等的權重被使用，則額外bin使用旁路編解碼發送，以指示哪個不相等的權重被使用。
加權預測（weighted prediction，簡稱WP）是H.264/AVC和HEVC標準支援的編解碼工具，用於有效編解碼具有衰落的視訊內容。對WP的支援也被添加到VVC標準中。WP允許對每個參考圖片列表L0和L1中的每個參考圖片發送加權參數（權重和偏移量）。然後，在運動補償期間，相應參考圖片的權重和偏移量被應用。WP和BCW專為不同類型的視訊內容而設計。為了避免WP和BCW之間的交互，這會使VVC解碼器設計複雜化，如果CU使用WP，則BCW權重索引不被發送，以及權重w被推斷為4（即應用相等的權重）。對於合併CU，權重索引根據合併候選索引從相鄰塊中推斷出來。這可以應用於普通合併模式和繼承仿射合併模式。對於構建的仿射合併模式，仿射運動資訊基於最多3個塊的運動資訊構建。使用構建的仿射合併模式的CU的BCW索引被簡單地設置為等於第一控制點MV的BCW索引。
在VVC中，CIIP和BCW不能聯合用於CU。當CU使用CIIP模式編解碼時，當前CU的BCW索引被設置為2，（即w=4的相等權重）。相等權重意味著 BCW索引的默認值。
組合的幀間和幀内預測（ Combined Inter and Intra Prediction, 簡稱 CIIP ）
在VVC中，當CU以合併模式編解碼時，如果CU包含至少64個亮度樣本（即CU寬度乘以CU高度等於或大於64），以及如果CU寬度和CU高度都小於128個亮度樣本，額外的標誌被發送以指示組合幀間/幀內預測（CIIP）模式是否應用於當前CU。正如其名稱所示，CIIP預測將幀間預測訊號與幀內預測訊號組合在一起。CIIP模式 P inter 中的幀間預測訊號使用與應用於常規合併模式的相同幀間預測處理導出；以及幀內預測訊號 P intra 遵循具有平面模式的常規幀內預測處理導出。然後，幀內和幀間預測訊號使用加權平均進行組合，其中權重值 wt根據當前CU 1210的頂部和左側相鄰塊（如第12圖所示）的編解碼模式被計算如下： - 如果頂部相鄰塊可用且被幀內編解碼，則isIntraTop被設置為 1，否則isIntraTop被設置為 0； - 如果左側相鄰塊可用且被幀內編解碼，則isIntraLeft被設置為1，否則 isIntraLeft被設置為 0； - 如果（isIntraLeft + isIntraTop）等於2，則wt被設置為3； - 否則，如果（isIntraLeft + isIntraTop）等於 1，則wt被設置為2； - 否則，wt被設置為 1。
CIIP預測形成如下： （4）
幾何分區模式（ Geometric Partitioning Mode ，簡稱 GPM ）
在VVC中，幾何分區模式（Geometric Partitioning Mode，簡稱GPM）可支援幀間預測，如JVET-W2002（Adrian Browne, et al., Algorithm description for Versatile Video Coding and Test Model 14 (VTM 14), ITU-T/ISO/IEC Joint Video Exploration Team (JVET), 23rd Meeting, by teleconference, 7–16 July 2021, document: document JVET-M2002）。幾何分區模式使用CU級標誌作為一種合併模式，其他合併模式包括常規合併模式、MMVD模式、CIIP模式和子塊合併模式。對於每個可能的CU大小，幾何分區模式總共支援64個分區，w×h=2 m×2 n其中m,n∈{3⋯6}，不包括8x64和64x8。GPM模式可應用於跳過或合併CU，該CU大小在上述限制內且具有至少兩種常規合併模式。
當使用這種模式時，CU被一定角度的幾何定位的直線分成兩部分。在VVC中，總共有20個角度和4個偏移距離用於GPM，這已比早期草案中的24個角度有所減少。分區線的位置根據特定分區的角度和偏移參數從數學上得出。在VVC中，共有64個分區，如第13圖所示，其中分區按角度分組，虛線表示冗餘分區。CU中幾何分區的每個部分都使用自己的運動進行幀間預測；每個分區只允許單向預測，即每個部分有一個運動向量和一個參考索引。在第13圖中，每條線對應一個分區的邊界。分區根據其角度分組。例如，分區組1310由三個垂直GPM分區（即90°）組成。分區組1320由四個與垂直方向成小角度的傾斜GPM分區組成。此外，分區組1330由三個垂直GPM分區（即270°）組成，類似於組1310，但方向相反。單向預測運動約束被應用以確保每個CU只需要兩次運動補償預測，與傳統的雙向預測相同。每個分區的單向預測運動使用稍後描述的處理導出。
如果幾何分區模式用於當前CU，則指示幾何分區的所選分區模式（角度和偏移）的幾何分區索引和兩個合併索引（每個分區一個）被進一步發送。最大GPM候選大小的數量在序列參數集合（Sequence Parameter Set，簡稱SPS）中顯式地表示，以及指定GPM合併索引的語法二值化。在預測幾何分區的每個部分之後，沿幾何分區邊緣的樣本值藉由使用稍後描述的處理的具有適應性權重的混合處理來調整。這是整個CU的預測訊號，和其他預測模式一樣，變換和量化處理將應用於整個CU。最後，使用稍後描述的處理，使用幾何分區模式預測的CU的運動場被存儲。
單向預測候選列表構建
單向預測候選列表直接從根據擴展合併預測處理構建的合併候選列表導出。將n表示為單向預測運動在幾何單向預測候選列表中的索引。第n個擴展合併候選的LX運動向量（X=0或1，即LX=L0或L1），其中X等於n的奇偶性，被用作第n個單向預測運動向量幾何分區模式。這些運動向量在第14圖中用“x”標記。如果不存在擴展合併候選的相應LX運動向量，則相同候選的L（1-X）運動向量代替幾何分區模式的單向預測運動向量。
沿幾何分區邊緣混合
在使用其自己的運動來預測幾何分區的每個部分之後，混合被應用於兩個預測訊號以導出幾何分區邊緣周圍的樣本。CU的每個位置的混合權重基於各個位置和分區邊緣之間的距離導出。
兩個整數混合矩陣（ W 0 和 W 1 ）用於GPM混合處理。GPM混合矩陣中的權重包含[0, 8]的取值範圍，以及基於從樣本位置到GPM分區邊界1540的位移導出，如第15圖所示。
具體地，權重由具有位移和兩個閾值的離散斜坡函數給出，如第16圖所示，其中斜坡的兩個端點（即，-τ和τ）對應於第15圖中的行1542和1544。
這裡，閾值τ定義GPM混合區域的寬度以及被選擇為VVC中的固定值。也就是說，如JVET-Z0137（Han Gao, et. al., “Non-EE2: Adaptive Blending for GPM”, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, 26th Meeting, by teleconference, 20–29 April 2022, JVET- Z0137）所述，對於所有不同的內容，混合強度或混合區域寬度θ是固定的。
混合遮罩中的權重值可以由斜坡函數給出： （5）
在當前ECM（VVC）設計中固定θ=2像素的情況下，此斜坡函數可以被量化為： （6）
位置（x,y）到分區邊緣的距離被導出為： （7） （8） （9） （10）
其中 i, j是幾何分區的角度和偏移量的索引，其取決於發送的幾何分區索引。 ρ x,j 和 ρ y,j 的符號取決於角度索引 i。
第17圖示出根據ECM 4.0 （Muhammed Coban, et. al., “Algorithm description of Enhanced Compression Model 4 (ECM 4)”, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, 26th Meeting, by teleconference, 20–29 April 2022, JVET- Y2025)的GPM混合的示例。在第17圖中，分區邊界每側的混合區域大小用 表示。幾何分區的每個部分的權重推導如下： （11） （12） （13）
partIdx取決於角度索引 i。權重 w 0 的一個示例如第15圖所示，其中角度 1510和偏移量 1520指示GPM索引 i，點1530對應於塊的中心。行1540對應於GPM分區邊界。
幾何分區模式的運動場存儲
來自幾何分區的第一部分的Mv1、來自幾何分區的第二部分的Mv2以及Mv1和Mv2的組合MV被存儲在由幾何分區模式編解碼的CU的運動場中。
運動場中每個單獨位置的存儲運動向量類型被決定為： （14）
其中motionIdx等於d（4x+2,4y+2），其從等式（7）重新計算得到。partIdx 取決於角度索引 i。
如果sType等於0或1，則Mv0或Mvl存儲在相應的運動場中，否則如果sType等於2，則來自Mv0和Mv2的組合MV被存儲。組合的Mv使用以下處理被生成： 1） 如果Mv1和Mv2來自不同的參考圖片列表（一個來自L0，另一個來自 L1），則Mv1和Mv2被簡單地組合以形成雙向預測運動向量。 2）否則，如果Mv1和Mv2來自同一個列表，則僅單向預測運動Mv2被存儲。
具有 67 種幀內預測 模式的幀內模式編解碼
為了獲取自然視訊中出現的任意邊緣方向，VVC中的定向幀內模式的數量從HEVC中使用的33個擴展到65個。HEVC中沒有的新定向模式在第14中用虛線箭頭表示。平面和直流模式保持不變。這些更密集的定向幀內預測模式適用於所有塊大小以及亮度和色度幀內預測。
在VVC中，對非方形塊，幾種傳統的角度幀內預測模式被適應性地替換為廣角幀內預測模式。
在HEVC中，每個幀內編解碼塊具有正方形形狀以及其每條邊的長度是2的冪。因此，不需要除法運算來使用DC模式生成幀內預測子。在VVC中，塊可以具有矩形形狀，這在一般情況下需要對每個塊使用除法運算。為了避免DC預測的除法操作，只有較長的邊用於計算非正方形塊的平均值。
為了保持最可能模式（most probable mode，簡稱MPM）列表生成的複雜性較低，具有6個MPM的幀內模式編解碼方法藉由考慮兩個可用的相鄰幀內模式使用。構建MPM列表考慮以下三個方面： - 默認幀内模式 - 相鄰幀内模式 - 導出的幀内模式
無論是否應用MRL和ISP編解碼工具，統一的6-MPM列表用於幀內塊。MPM列表基於左側和上方相鄰塊的幀內模式構建。假設左側的模式被標記為Left，上面塊的模式被標記為Above，則統一的MPM列表構建如下： - 當相鄰塊不可用時，其幀內模式默認設置為平面。 - 如果Left和Above兩種模式都是非角度模式： -MPM列表à {平面, DC, V, H, V − 4, V + 4} - 如果Left和Above模式之一是角度模式，另一個是非角度模式： - 將模式Max設置為Left和Above中的較大模式 -MPM列表à {平面, Max, DC, Max − 1, Max + 1, Max − 2} - 如果Left和Above都是有角度的並且它們不同： - 將模式Max設置為Left和Above中的較大模式 - 如果模式Left和Above的差值在2到62的範圍內，包括 • MPM列表à {平面, Left, Above, DC, Max − 1, Max + 1} - 否則 • MPM列表à {平面,Left, Above, DC, Max − 2, Max + 2} - 如果Left和Above都是有角度的並且它們是相同的： -MPM列表à {平面, Left, Left − 1, Left + 1, DC, Left − 2}
此外，MPM索引碼字的第一個bin被CABAC上下文編解碼。總共三個上下文被使用，對應於當前幀內塊是啟用MRL，啟用ISP還是正常幀內塊。
在6個MPM列表生成處理中，修剪被用來去除重複的模式，使得只有獨特的模式可以被包括在MPM列表中。對於61種非MPM模式的熵編解碼，截斷二進位碼（Truncated Binary Code，簡稱TBC）被使用。
非正方形塊的廣角幀內預測（ Wide-Angle Intra Prediction for Non-Square Blocks ）
常規角度幀內預測方向被定義為順時針方向從45度到-135度。在VVC中，幾種傳統的角度幀內預測模式被適應性地替換為非正方形塊的廣角幀內預測模式。替換的模式使用原始模式索引發送，原始模式索引在解析後重新映射到廣角模式的索引。幀內預測模式總數不變，即67，幀內模式編解碼方式不變。
為了支援這些預測方向，長度為2W+1的頂部參考和長度為2H+1的左側參考被分別如第19A圖和第19B圖所示定義。
在廣角方向模式中可替換模式的數量取決於塊的縱橫比（aspect ratio）。替換的幀內預測模式如表3所示。 表 3 – 被廣角模式替換的幀內預測模式
縱橫比 替換的幀內預測模式
W / H == 16 模式 12, 13,14,15
W / H == 8 模式 12, 13
W / H == 4 模式 2,3,4,5,6,7,8,9,10,11
W / H == 2 模式 2,3,4,5,6,7,
W / H == 1 無
W / H == 1/2 模式 61,62,63,64,65,66
W / H == 1/4 模式 57,58,59,60,61,62,63,64,65,66
W / H == 1/8 模式 55, 56
W / H == 1/16 模式 53, 54, 55, 56
在VVC中，4:2:2和4:4:4以及4:2:0色度格式均被支援。4:2:2色度格式的色度導出模式（derived mode，簡稱DM）導出表最初從HEVC移植，將條目數從35擴展到67，以與幀內預測模式的擴展保持一致。由於HEVC規範不支援-135度以下和45度以上的預測角度，從2到5的亮度幀內預測模式被映射到2。因此，4:2:2的色度DM推導表：色度格式藉由替換映射表條目的一些值進行更新，以更精確地轉換色度塊的預測角度。
解碼器側幀內模式推導（ Decoder Side Intra Mode Derivation ，簡稱 DIMD ）
當DIMD被使用時，兩個幀內模式從重構的相鄰樣本導出，以及這兩個預測子與平面模式預測子組合，該平面模式預測子具有從梯度導出的權重。DIMD模式用作替換的預測模式，並始終在高複雜度RDO模式下進行檢查。
為了隱式地導出塊的幀內預測模式，在編碼器和解碼器側執行紋理梯度分析。此處理從具有65個條目的空梯度長條圖（Histogram，簡稱HoG）開始，對應於65個角度模式。這些條目的振幅在紋理梯度分析期間被決定。
在第一步中，DIMD分別從當前塊的左側和上方選取T＝3直行和橫列的範本。該區域用作基於梯度的幀內預測模式推導的參考。
在第二步中，水平和垂直索貝爾（Sobel）濾波器應用於所有3×3視窗位置，以範本中線的像素為中心。在每個視窗位置，索貝爾（Sobel）濾波器計算純水平和垂直方向的強度分別為 G x 和 G y 。然後，視窗的紋理角度計算為： （15）
這可以被轉換成65個角幀內預測模式之一。一旦當前視窗的幀內預測模式索引被導出為 idx，其在HoG[idx]中的條目的幅度藉由以下加法更新： （16）
第20A-C圖示出在對範本中的所有像素位置應用上述操作之後計算的HoG的示例。第20A圖示出當前塊2010的選擇的範本2020的示例。範本2020包括當前塊上方的T橫列和當前塊左側的T直行。對於當前塊的幀內預測，當前塊上方和左側的區域2030對應於重構區域，而塊下方和右側的區域2040對應於不可用區域。第20B圖示出T＝3的示例以及HoG是對中間橫列中的像素2060和中間直行中的像素2062進行的計算。例如，對於像素2052，3x3視窗2050被使用。第20C圖示出對於如從等式（15）決定的角度幀內預測模式的基於等式（16）計算的振幅（ampl）的例子。
一旦HoG被計算出，具有兩個最高長條圖條的索引被選擇作為塊的兩個隱式導出的幀內預測模式，以及進一步與平面模式組合作為DIMD模式的預測。預測融合被應用為上述三個預測子的加權平均。為此，平面的權重固定為 21/64（~1/3）。然後剩餘的權重43/64（~2/3）在兩個HoG IPM之間共用，與它們的HoG條的振幅成比例。第21圖示出混合處理的示例。如第21圖所示，兩個幀內模式（M1 2112和M2 2114）根據具有長條圖條2110的兩個最高條的索引進行選擇。三個預測子（2140，2142和2144）用於形成混合預測。三個預測子對應於將M1，M2和平面幀內模式（分別為2120，2122和2124）應用到參考像素2130以形成相應的預測子。三個預測子由相應的加權因數（ ）2150 加權。加權預測變子使用加法器2152求和以生成混合預測子2160。
此外，兩個隱式導出的幀內模式被包括在MPM列表中，使得在構建MPM列表之前執行DIMD處理。DIMD塊的主要導出幀內模式與塊一起被存儲，並用於相鄰塊的MPM列表構建。
基於範本的幀內模式推導（ Template-based Intra Mode Derivation ，簡稱 TIMD ）
基於範本的幀內模式推導（Template-based Intra Mode Derivation，簡稱TIMD）模式在編碼器和解碼器處使用相鄰範本隱式地導出CU的幀內預測模式，而不是將幀內預測模式發送至解碼器。如第22圖所示，當前塊2210的範本預測樣本（2212和2214）使用每個候選模式的範本參考樣本（2220和2222）生成。成本被計算為範本的預測樣本和重構樣本之間的絕對轉換差值之和（Sum of Absolute Transformed Differences，簡稱SATD）。成本最小的幀內預測模式被選擇作為DIMD模式以及用於CU的幀內預測。候選模式可以是如VVC中的67種幀內預測模式或擴展到131種幀內預測模式。通常，MPM可以提供線索來指示CU的方向資訊。因此，為了減少幀內模式搜索空間以及利用CU的特性，幀內預測模式可以從MPM列表中隱式地導出。
對於MPM中的每個幀內預測模式，範本的預測和重構樣本之間的SATD被計算。具有最小SATD的前兩種幀內預測模式被選擇作為TIMD模式。這兩種TIMD模式在應用PDPC處理後與權重融合，這種加權的幀內預測用於對當前CU進行編解碼。位置相關幀內預測組合（position dependent intra prediction combination，簡稱PDPC）包含在TIMD模式的推導中。
將兩種選擇模式的成本與閾值進行比較，在測試中，成本因數2應用如下： costMode2 ＜ 2*costMode1.
如果該條件為真，則融合被應用，否則僅模式1被使用。模式的權重根據其SATD成本計算如下： weight1 = costMode2/(costMode1+ costMode2) weight2 = 1 - weight1.
幀 內子分區（ Intra Sub-Partitions ，簡稱 ISP ）
幀內子分區（Intra Sub-Partition，簡稱ISP）根據塊大小將亮度幀內預測塊垂直或水平分成2或4個子分區。例如，ISP的最小塊大小為4x8（或 8x4）。如果塊大小大於4x8（或8x4），則相應的塊被劃分為4個子分區。已經注意到M×128（M≤64）和128×N（N≤64）ISP塊可能會產生64×64虛擬解碼器管線單元（Virtual Decoder Pipeline Unit，簡稱VDPU）的潛在問題。例如，單樹情況下的M×128 CU具有M×128亮度TB和兩個對應的M/2×64色度TB。如果CU使用ISP，那麼亮度TB會被分成4個M×32 TB（只能水平劃分），每個都小於一個64×64的塊。然而，在目前的ISP設計中，色度塊並沒有被劃分。因此，兩個色度分量的大小都將大於32×32塊。類似地，使用ISP的128×N CU可能會產生類似的情況。因此，這兩種情況是64×64解碼器管線的問題。為此，可以使用ISP的CU大小被限制為最大64×64。第23A圖和第23B圖展示兩種可能性的示例。所有子分區都滿足至少有16個樣本的條件。
在ISP中，不允許1xN和2xN子塊預測依賴於編解碼塊的先前解碼的1xN和2xN子塊的重構值，使得子塊的最小預測寬度變為四個樣本。例如，使用具有垂直分區的ISP進行編解碼的8xN（N＞4）編解碼塊被劃分為兩個預測區域，每個預測區域的大小為4xN，四個變換的大小為2xN。此外，4xN編解碼塊（使用具有垂直分區的ISP進行編解碼）使用完整的4xN塊進行預測；四個變換被使用，其中每個變換為1xN。儘管1xN和2xN的變換大小被允許，但可以斷言的是執行4xN區域中這些塊的變換可以並存。例如，當一個4xN的預測區域包含四個1xN的變換時，水平方向沒有變換；垂直方向上的變換可以作為垂直方向上的單個4xN變換來執行。類似地，當一個4xN預測區域包含兩個2xN變換塊時，兩個2xN塊在每個方向（水平和垂直）的變換操作可以並行進行。因此，與處理4x4常規編解碼幀內塊相比，在處理這些較小的塊時，延遲不會被增加。
塊大小 係數組大小
所有其他可能 情況
對於每個子分區，重構樣本藉由將殘差訊號添加到預測訊號來獲得。這裡，殘差訊號藉由熵解碼，逆量化和逆變換等處理生成。因此，每個子分區的重構樣本值可用於生成下一個子分區的預測，以及每個子分區被連續處理。此外，要處理的第一子分區是包含CU左上角樣本的子分區，然後繼續向下（水平拆分）或向右（垂直拆分）。結果，用於生成子分區預測訊號的參考樣本僅位於行的左側和上方。所有子分區共用相同的幀內模式。以下是ISP與其他編解碼工具交互的總結。 - 多輔助行（Multiple Reference Line，簡稱MRL）：如果塊的MRL索引不是0，則ISP編解碼模式將被推斷為0，因此ISP模式資訊將不會被發送到解碼器。 - 熵編解碼係數組大小：熵編解碼子塊的大小已被修改，因此它們在所有可能的情況下都有16個樣本，如表4所示。請注意，新的尺寸僅影響ISP生成的塊，其中一個維度少於4個樣本。在所有其他情況下，係數組保持4×4維度。 - CBF編解碼：假設至少有一個子分區具有非零CBF。因此，如果 n是子分區的數量，以及前n-1個子分區產生零CBF，則第n個子分區的CBF被推斷為1。 - 變換大小限制：所有長度大於16點的ISP變換都使用DCT-II。 - MTS標誌：如果CU使用ISP編解碼方式，MTS CU標誌會被設置為0，不會被發送至解碼器。因此，編碼器不會對每個結果子分區的不同可用變換執行RD測試。ISP模式的變換選擇將改為固定，以及根據幀內模式、處理順序和使用的塊大小進行選擇。因此，信令不被需要。例如，令t H和t V分別為w×h子分區選擇的水平和垂直變換，其中w是寬度，h是高度。然後變換可以根據以下規則選擇： - 如果 w=1或 h=1，則分別沒有水平或垂直變換。 - 如果w≥4且w≤16，則 t H = DST-VII，否則， t H = DCT-II - 如果h≥4且h≤16，則 t V = DST-VII，否則， t V = DCT-II
在ISP模式中，所有67種幀內模式被允許。如果相應的寬度和高度至少為4個樣本長度，則PDPC也被應用。此外，參考樣本濾波處理（參考平滑）和幀內插值濾波器選擇條件不再存在，Cubic（DCT-IF）濾波器始終應用於ISP模式下的分數位置插值。
多假設預測（ Multi-Hypothesis Prediction ，簡稱 MHP ）
在多假設幀間預測模式（JVET-M0425）中，除了傳統的雙向預測訊號之外，一個或多個額外運動補償預測訊號被發出。最終的整體預測訊號藉由樣本加權疊加獲得。利用雙向預測訊號 p bi 和第一額外幀間預測訊號/假設 h 3 ，得到的結果預測訊號 p 3 如下： （17）
根據以下映射（表 5），權重因數α由新語法元素 add_hyp_weight_idx指定： 表 5. 將 α 映射到 add_hyp_weight_idx
add_hyp_weight_idx
0 1/4
1 -1/8
與上文類似，一個以上的額外預測訊號被使用。得到的整體預測訊號與每個額外預測訊號一起被反覆地累積。 （18）
所得到的整體預測訊號被獲取作為最後的 p n （即，具有最大索引 n的 p n ）。例如，最多兩個額外的預測訊號被使用（即，n被限制為2）。
每個額外預測假設的運動參數可以藉由指定參考索引，運動向量預測值索引和運動向量差值來顯式地發送，或者藉由指定合併索引來隱式地發送。 一個單獨的多假設合併標誌用於區分這兩種訊號模式。
對於幀間AMVP模式，僅當在雙向預測模式中選擇了BCW中的非等權重時MHP才被應用。VVC的MHP的詳細資訊可以在JVET-W2025 （Muhammed Coban, et. al., “Algorithm description of Enhanced Compression Model 2 (ECM 2)”, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, 23rd Meeting, by teleconference, 7–16 July 2021, Document: JVET- W2025）中找到。
GPM 擴展
GPM模式的幾種變化（JVET-W0097 (Zhipin Deng, et. al., “AEE2-related: Combination of EE2-3.3, EE2-3.4 and EE2-3.5”, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, 23rd Meeting, by teleconference, 7–16 July 2021, Document: JVET- W0097)和JVET-Y0065 (Yoshitaka Kidani, et. al., “EE2-3.1: GPM with inter and intra prediction (JVET-X0166)”, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, 25th Meeting, by teleconference, 12–21 January 2022, Document: JVET- Y0065)）已經提出提高VVC中GPM模式的編解碼效率。這些方法被納入探索實驗（exploration experiment，簡稱EE2）進行進一步評估，主要技術方面描述如下：
EE2-3.3 關於具有 MMVD 的 GPM （ GPM-MMVD ）：1）額外的MVD被添加到現有的GPM合併候選；2）MVD的訊號發送方式與VVC中的MMVD相同，即一個距離索引加一個方向索引；3）發出兩個標誌以分別控制MMVD是否應用於每個GPM分區。
EE2-3.4-3.5 關於具有範本匹配的 GPM （ GPM-TM ）：1）藉由基於當前CU的左上相鄰樣本細化GPM MV，將範本匹配擴展到GPM模式；2）根據GPM拆分方向選擇範本樣本；3）發出一個標誌以共同控制是否將範本匹配應用於兩個GPM分區的MV。
JVET-W0097提出EE2-3.3、EE2-3.4和EE2-3.5的組合以進一步提高GPM模式的編解碼效率。具體而言，在提議的組合中，EE2-3.3、EE2-3.4和EE2-3.5中的現有設計保持不變，同時進一步進行以下修改以協調兩種編解碼工具： 1) GPM-MMVD和GPM-TM專用於一個GPM CU。這是藉由首先用發送GPM-MMVD語法來完成。當兩個GPM-MMVD控制標誌都等於假（即，GPM-MMVD 對兩個GPM分區禁用）時，GPM-TM標誌被發送以指示範本匹配是否應用於兩個GPM分區。否則（至少一個GPM-MMVD標誌等於真），GPM-TM標誌的值被推斷為假。 2) EE2-3.3和EE2-3.4-3.5中的GPM合併候選列表生成方法直接結合EE2-3.4-3.5中的MV修剪方案（其中MV修剪閾值根據當前CU大小進行調整）用於替換EE2-3.3中應用的默認MV修剪方案；此外，與EE2-3.4-3.5一樣，多個零MV被添加，直到GPM候選列表被完全填滿。
在JVET-Y0065中，在具有幀間和幀內預測的GPM（或命名為GPM 內）中，最終預測樣本藉由對每個GPM分隔區域的幀間預測樣本和幀內預測樣本進行加權來生成。幀間預測樣本藉由與當前ECM中的GPM相同的方案導出，而幀內預測樣本藉由幀內預測模式（intra prediction mode，簡稱IPM）候選列表和從編碼器發出的索引訊號導出。IPM候選列表大小被預先定義為3。如第24A-C圖所示，可用的IPM候選是相對GPM塊邊界的平行角模式（平行模式），相對GPM塊邊界的垂直角模式（垂直模式），以及平面模式（Planar mode）。此外，如第24D圖所示，具有幀內和幀內預測的GPM在所提出的方法中受到限制，以減少IPM的信令開銷並避免硬體解碼器上幀內預測電路的大小增加。此外，直接運動向量和IPM存儲在GPM混合區域引入，以進一步提高編解碼性能。
空間 GPM
類似於幀間GPM，空間GPM（Spatial GPM，簡稱SGPM）由一個分區模式和兩個關聯的幀內預測模式組成。如果這些模式直接在位元流中發送，如第25A圖所示，它將產生大量的開銷位元。為了在位元流中更有效地表達必要的分區和預測資訊，候選列表被應用以及在位元流中僅發送候選索引。如第25B圖所示，列表中的每個候選都可以導出一種分區模式和兩種幀內預測模式的組合。
範本被用來生成該候選列表。範本的形狀如第26圖所示。對於一種分區模式和兩種幀內預測模式的每種可能組合，對範本生成預測，以及將分區權重擴展到範本，如第26圖所示。這些組合基於範本的預測和重構按其SATD的昇冪排列。候選列表的長度被設置為16，這些候選被認為是當前塊最可能的SGPM組合。編碼器和解碼器都基於範本構建相同的候選列表。
為了降低構建候選列表的複雜性，可能的分區模式的數量和可能的幀內預測模式的數量都被刪減。在下面的測試中，64種分區模式中的26種被使用，以及僅67種幀內預測模式中的MPM被使用。
雖然GPM連同邊界區域的混合已經顯示出編解碼性能的改進，但需要開發適應性混合預測以進一步提高編解碼性能。
一種用於視訊編解碼的方法和裝置被公開。根據該方法，在編碼器側與當前塊相關聯的資料被接收或在解碼器側與待解碼的當前塊相關聯的編解碼資料被接收。當前塊沿著分區線被劃分成第一區域和第二區域。分區線周圍的混合區域被決定，其中混合區域包括第一混合區域和第二混合區域，該第一混合區域包含由分區線和distance_1定義的第一區域中的第一像素，以及該第二混合區域包含由分區線和distance_2定義的第二區域中的第二像素，distance_1和distance_2對應兩個非負值，允許兩個非負值不同。分別對第一區域和第二區域決定第一預測子和第二預測子。混合區域的混合預測子藉由混合第一預測子和第二預測子來生成。當前塊藉由使用包括混合預測子的預測資料來編碼或解碼。
在一個實施例中，混合預測子被生成為第一預測子和第二預測子的加權和。
在一個實施例中，混合區域的大小的候選集被預先定義，其中混合區域的大小與distance_1和distance_2相關。在另一個實施例中，當前塊的混合區域的大小根據候選集中實現最小範本匹配成本的目標成員隱式地決定，以及其中範本匹配成本基於當前塊的範本和擴展的混合區域來測量。
在一個實施例中，顯式索引被發送或解析以指示從當前塊的候選集中選擇的混合區域的大小。例如，與顯式索引相關的語法可以在塊級、序列參數集（Sequence Parameter Set，簡稱SPS）級、圖片參數集（Picture Parameter Set，簡稱PPS）級、適配參數集（Adaptation Parameter Set，簡稱）級、圖片報頭（Picture Header，簡稱PH）級、片段報頭（Slice header，簡稱SH）級或它們的組合中發送。在一個實施例中，候選集根據與候選集的每個成員相關聯的成本重新排序。 在一個實施例中，成本對應於基於範本和擴展混合區域測量的範本匹配成本，以及其中範本包括當前塊的左側相鄰區域，當前塊的頂部相鄰區域或兩者。
在一個實施例中，根據當前塊的塊大小從當前塊的候選集中選擇目標候選（distance_1，distance_2）。塊大小可以對應於塊寬度，塊高度或塊面積。在一個實施例中，候選集包括distance_1和distance_2的組合對應的資料對，其中distance_1和distance_2分別選自0，1，2，4和8的值組。
在一個實施例中，如果塊寬度或塊高度小於預定閾值，則僅值組中較小的值被用來形成候選集的資料對。在另一個實施例中，如果第一區域小於第二區域，則distance_1被設置為小於distance_2的值。在又一個實施例中，如果第一區域大於第二區域，則distance_1被設置為大於distance_2的值。
在一個實施例中，第一預測子和第二預測子對應於預測假設，該預測包括來自具有預定方向或雙向的運動的一個或多個第一預測、從運動候選生成的一個或多個第二預測、來自幀内候選的一個或多個第三預測、一個或多個運動候選或其任一組合。
容易理解的是，如本文附圖中一般描述和說明的本發明的組件可以以各種不同的配置來佈置和設計。因此，如附圖所示，本發明的系統和方法的實施例的以下更詳細的描述並非旨在限制所要求保護的本發明的範圍，而僅僅代表本發明的所選實施例。本說明書中對“實施例”，“一些實施例”或類似語言的引用意味著結合實施例描述的具體特徵，結構或特性可以包括在本發明的至少一實施例中。因此，貫穿本說明書在各個地方出現的短語“在實施例中”或“在一些實施例中”不一定都指代相同的實施例。
此外，所描述的特徵，結構或特性可在一個或多個實施例中以任何合適的方式組合。然而，相關領域的習知技藝者將認識到，可在沒有一個或多個具體細節的情況下或者利用其他方法，組件等來實施本發明。在其他情況下，未示出或詳細描述公知的結構或操作，以避免模糊本發明的各方面。藉由參考附圖將最好地理解本發明的所示實施例，其中相同的部件自始至終由相同的數字表示。以下描述僅作為示例，並且簡單地說明了與如本文所要求保護的本發明一致的裝置和方法的一些選定實施例。
為了提高視訊編解碼效率，一個或多個預測假設與現有的一個或多個預測假設的混合被用於實現更好的預測準確性。在一個實施例中，預測假設意味著根據具有預定方向（列表0或列表1）的運動進行預測。在另一實施例中，預測假設是指從運動候選（例如，合併候選或AMVP候選）生成的預測。在另一實施例中，預測假設意味著根據具有預定方向（列表0或列表1）的運動的預測或雙向預測。在另一個實施例中，預測假設意味著從幀內候選，運動候選，具有第三模式類型的候選中進行預測。例如，所有預測假設都來自幀内候選。又如，預測的所有假設均來自運動候選。又如，一個或多個預測假設來自一個或多個幀內候選，而另一個或多個預測假設來自一個或多個運動候選。在另一個實施例中，預測假設意味著來自幀內候選的預測。幀內候選可以參考標準中規定的任一幀內預測模式。例如，幀內預測模式可以是DC，平面，角度預測模式，TIMD，DIMD，色度幀內預測模式或以上的任一子集。色度幀內預測模式包括交叉分量預測模式，其藉由使用具有一個或多個線性和/或非線性模型的同位亮度重構樣本來預測當前塊中的色度預測子。例如，交叉分量預測模式是指CCLM模式或來自CCLM的任一擴展或選項。第三模式類型的候選可以指標準中定義的任一模式類型的候選。例如，第三模式類型的候選是指幀內塊複製候選，其藉由參考與當前塊相同的圖片中的重構樣本來使用塊向量來預測當前塊。幀內候選和/或運動候選的實施例可以用作具有第三模式類型的候選的實施例。在另一個實施例中，混合預測工具是指（但不限於）如下所列的任一或多個工具或者所列工具的任一組合。 - 混合預測工具包括雙向預測運動候選，可以是合併候選和/或AMVP候選。 - 混合預測工具包括GPM、GPM擴展的一種或多種變體和/或空間 GPM。
由於不止一個預測假設被用於當前塊，因此需要混合處理來形成當前塊的最終預測。當前塊可以屬於亮度或色度分量。對於單樹分區，亮度和色度分量處於同一樹分區結構中，所提出的方法可以僅用於亮度分量，僅用於色度分量，或用於亮度和色度分量。對於雙樹分區，亮度和色度處於不同的樹分裂結構中，所提出的方法可以僅用於亮度分量，僅用於色度分量，或用於亮度和色度分量。在一個實施例中，當提出方法同時用於亮度和色度分量時，提出的方法的設置對於亮度和色度分量是統一的。以同一樹分區結構中的亮度和色度分量為例，同一編解碼單元中的亮度和色度分量使用所提出方法的統一設置。對於不同樹分區結構中的亮度和色度分量的另一個示例，色度塊遵循用於一個或多個同位亮度塊的所提出的方法的設置。
在本發明中，適應性混合處理被提出以改進在混合預測中使用的加權方案。下面以GPM作為混合工具為例。然而，所提出的適應性混合處理可以應用於一個或多個提到的混合預測工具和/或提到的混合預測工具的任一組合。
根據本發明的實施例，首先分區線（例如，GPM分區邊界）被定義以將當前塊劃分為兩個預測區域，如第27圖所示。分區線附近的區域（即，來自 分區線的the和分區線的-theta2）被定義為混合區域。這裡，theta1和theta2是兩個非負值，-theta2的符號是為了表示混合區域2在混合區域1的分區線的另一側。混合區域1和混合區域2的大小分別被稱為theta1（或distance_1）和theta2（或distance_2）。在混合區域內，多個（例如2，first_hyp_pred和second_hyp_pred）預測假設與加權相結合（參考W0[x][y]）。混合區域外：對於位於第一預測區域的樣本，第二預測假設的權重為零，第一預測假設的權重為N，N為正整數；對於位於第二預測區域的樣本，第一預測假設的權重為零，第二預測假設的權重為N。幾個實施例被提出： •在一實施例中，final_pred[ x ][ y ] = ( first_hyp_pred [ x ][ y ] * W0[ x ][ y ] +  second_hyp_pred [ x ][ y ] * ( N – W0[ x ][ y ] ) + offset1 ) ＞＞ shift1 o （x, y）是當前塊中的樣本位置。 o 對於當前塊中位於（x, y）的樣本，W0[x][y]是first_hyp_pred的權重，（N – W0[x][y]）是second_hyp_pred的權重。 •在另一個實施例中，N被預先定義為固定的正整數（例如8，16，32或64）或由塊級，序列參數集（Sequence Parameter Set，簡稱）級，圖片參數集（Picture Parameter Set，簡稱）級、適應性參數集（Adaptation Parameter Set，簡稱APS）級、圖片報頭（Picture header，簡稱PH）級和/或片段報頭（Slice header，簡稱SH）級語法指定。 •在另一個實施例中，offset1和shift1根據N和/或BitDepth被決定。對於N =8的示例， o shift1 = Max（ 5, 17 − BitDepth ） o offset1 = 1 ＜＜ （ shift1 − 1 ） •在另一個實施例中，如果樣本（x, y）位於第二預測區域（（即，距離 （x, y）小於或等於–theta2），則W0[x][y]被定義為0。或者，W0[x][y]的定義遵循對混合區域的推導，該推導得到的值等於0或接近0。 •在另一個實施例中，如果樣本（x, y）在第一預測區域（即distance（x，y）大於或等於theta1），則W0[x][y]被定義為N。或者W0[x][y]的定義遵循對混合區域的推導，該推導得到的值等於N或接近N。 •在另一個實施例中，thata1等於0意味著在第一預測區域內沒有混合。在這種情況下，W0[x][y]在第一預測區域中被定義為N。 •在另一個實施例中，thata2等於0表示在第二預測區域內沒有混合。也就是說，W0[x][y]在第二預測區域中被定義為0。 •在另一個實施方案中，如果樣本（x，y）位於混合區域（即distance（x，y）大於–theta2且小於theta1），則W0[x][y]根據距離、theta1和/或theta2定義。例如，W0[x][y]根據現有的GPM權重推導（例如VVC方法）來定義，以及將theta（用於GPM權重推導）設置為我們提出的theta1或theta2。 o 在另一個子實施例中，如果樣本（x，y）位於第一預測區域內的混合區域（即distance（x，y）大於0且小於theta1），則W0[x][y]根據距離和theta1定義。例如，W0[x][y]被定義為（N*（distance（x， y）+theta1））/（2*theta1）或者可以藉由量化來簡化。例如，量化後，W0[x][y]被定義為（（distance'（x，y）+16*theta1 +offset2）＞＞ shift2）並被剪裁到[0，N]。 § distance'可以是GPM介紹部分中的 wIdxL§ offset2=theta1＞＞1 § shift2=log2(theta1) o 再舉一個例子，量化後，W0[x][y]被定義為（（distance'（x，y）+16*theta1+offset3）＞＞ shift3）並被剪裁到[0，N]。 § distance'可以是GPM介紹部分中的 wIdxL§ offset3可以對N右移（right-shift）1。Shift3可以是log2（N）。以N等於8為例。offset3將為4，shift3將為3。 o 在另一個子實施例中，如果樣本（x，y）位於第二預測區域內的混合區域（distance（x，y）小於0且大於–theta2），則W0[x][y]根據距離和theta2定義。例如，W0[x][y]被定義為（N*（distance（x，y）+theta2））/（2*theta2）或者可以藉由量化來簡化。例如，量化後，W0[x][y]被定義為（（distance'（x，y）+ 16*theta2 +offset2） ＞＞ shift2）並被剪裁為[0，N]。 § distance'可以是GPM介紹部分中的wIdxL § offset2 = theta2＞＞1 § shift2 = log2(theta2) o 再舉一個例子，量化後，W0[x][y]被定義為（（distance'（x，y）+16*theta2 +offset3）＞＞ shift3）並被剪裁為[0，N]。 § distance'可以是GPM介紹部分中的 wIdxL§ offset3可以對N右移（right-shift）1。Shift3可以是log2（N）。以N等於32為例。offset 3將為16，shift3將為5。 o 在另一個子實施例中，如果樣本（x，y）位於分區線上的混合區域（distance（x，y）等於0），則W0[x][y]被定義為“樣本（x，y）位於第一預測區域內的混合區域”的情況，“樣本（x，y）位於第二預測區域內的混合區域”的情況，任一提議的實施例，或被定義為相等權重（N＞＞1）。
根據本發明，一些實施例被提出來決定theta1和theta2的值如下。在一個實施例中，theta1和theta2的值是指有多少像素或樣本。例如，等於2的值表示2個像素。在另一個實施例中，一個值用作其餘值的錨點。例如，如果該值為2是錨點，則基於值為1的混合大小為基於值為2的混合大小的一半，基於值為4的混合大小為基於等於2的值的混合大小的兩倍。
在一個實施例中，theta1被預先定義為固定值（例如0，1/2，1/4，1，2，4或8）或由塊級，SPS級，PPS級，APS級，PH級和/或SH級語法指定。類似地，theta2可以被預先定義為固定值或由塊級，SPS級，PPS級，APS級，PH級和/或SH級語法指定。
在另一個實施例中，theta1選自包括至少一個候選值的候選集。類似地，theta2可以從包括至少一個候選值的候選集中選擇。
在一個子實施例中，候選集包括{0，1/2，1/4，1，2，4或8}中的至少一個或以上值的任一組合。
在另一個子實施例中，候選集包括{a/b，a，b*a}中的至少一個或上述值的任一組合，其中a和b被設置為正整數。例如，a等於2，b等於4。
在另一個子實施例中，候選集隨著塊寬度，塊高度和/或塊面積而變化。例如，當當前塊的短邊等於或小於預定閾值時，僅較小的值被包含在候選集中；否則只有較大的值被包含在候選集中。
在另一個實施例中，theta1可以與theta2相同或不同。允許不同的theta1和theta2值（即允許不對稱的theta1和theta2）的好處是，不同視訊序列的最佳混合品質可能需要第一預測區域和第二預測區域的不同混合區域。例如，如果第一預測區域的面積較小，則theta1應該小於theta2。或者反過來，如果第一個預測區域的面積較大，則theta1應該小於theta2。
在一個子實施例中，theta1和theta2分別具有它們自己的候選集（例如theta1_set和theta2_set）。例如，theta1_set 和 theta2_set的候選數（即候選集中的候選數）可以不同。又例如，一個候選集是另一個候選集的子集。再比如，theta1_set和theta2_set的候選數相同。
在另一個子實施例中，theta1和theta2共用單個候選集。例如，theta1和theta2相同。再例如，theta1和theta2可以相同也可以不同。
在另一個實施例中，候選集的候選數被定義為固定值（例如3或5）或由塊級，SPS級，PPS級，APS級，PH級，和/或SH級語法指定。
在另一個實施例中，theta1和theta2的選擇取決於顯式信令。
在一個子實施例中，在塊級，SPS級，PPS級，APS級，PH級和/或SH級語法發送兩個單獨的語法以分別指示theta1和theta2。例如，theta1和theta 2分別從包含{0,1,2,4,8}的候選集中選出。索引（例如index_theta1，範圍從0到4）被發送以從候選集中選擇一個值，以及索引（例如 index_theta2，範圍從0到4）被發送以從候選集中選擇一個值。
在一個子實施例中，語法在塊級，SPS級，PPS級，APS級，PH級和/或SH級語法發送以指示theta1和theta2的組合。 - Theta1和theta 2從包含{0, 1, 2, 4, 8}的候選集中選出。theta1和theta2的候選組合，被表示為（theta1, theta2），可以是： o (0, 0), (0, 1), (0, 2), (0, 4), (0, 8), (1, 0), (1, 1), (1, 2), (1, 4), (1, 8), (2, 0), (2, 1), (2, 2), (2, 4), (2, 8), (4, 0), (4, 1), (4, 2), (4, 4), (4, 8), (8, 0), (8, 1), (8, 2), (8, 4), (8, 8)。 o 候選組合的數量可以藉由本發明中提出的其他方法來減少。例如，當第一預測區域的面積較小時，theta1應該小於theta2。因此，那些具有較大theta1的組合可以被消除。在另一示例中，當當前塊的短邊等於或小於預定閾值時，僅更小的值被包括在候選集中，從而可以減少候選組合的數量。 - 指示索引（例如，範圍從0到候選組合的數量- 1）被發送。 o 在一種方式中，發送的索引可以用截斷的一元編解碼來進行編解碼。 o 換句話說，索引可以是上下文編解碼。 o 以另一種方式，候選組合以其範本成本按昇冪重新排序以形成重新排序的列表。範本成本的度量可以參考本發明中隱式推導規則的相關章節。發送的索引指的是使用的組合在重新排序的列表中的位置。編碼器和解碼器都基於範本構建相同的重新排序列表。 § 具有最小範本成本的候選組合使用所有候選組合中最短的碼字。
在另一個實施例中，theta1和theta2的選擇取決於隱式推導。
在一個子實施例中，範本匹配被用作隱式推導規則。 - 步驟1：使用範本（或當前塊的相鄰區域，在當前塊之前編碼或解碼）來衡量每個候選組合的成本。例如，theta1和theta 2是從包含{0, 1, 2, 4, 8}的候選集中選出的。theta1和theta2的候選組合，表示為（theta1, theta2），可以是： o (0, 0), (0, 1), (0, 2), (0, 4), (0, 8), (1, 0), (1, 1), (1, 2), ( 1, 4), (1, 8), (2, 0), (2, 1), (2, 2), (2, 4), (2, 8), (4, 0), (4, 1), (4, 2), (4, 4), (4, 8), (8, 0), (8, 1), (8, 2), (8, 4), (8, 8)。候選組合的數量可以藉由本發明提出的其他方法來減少。例如，當第一預測區域的面積較小時，theta1應該小於theta2。因此，那些具有較大theta1的組合可以被消除。在另一示例中，當當前塊的短邊等於或小於預定閾值時，僅更小的值被包括在候選集中，從而可以減少候選組合的數量。 - 步驟2：對於每個候選組合，範本成本藉由範本的“預測”和重構之間的失真計算。 o “預測”藉由將GPM與混合（使用候選組合）應用於範本生成。如第28圖所示，分區線延伸至範本2810。範本包括當前塊的左側相鄰區域（左側範本），當前塊的上方相鄰區域（上方範本），或兩者。例如，範本選擇取決於來自分區線的資訊。分區線的資訊可以是指分區線的角度和/或分區線的偏移距離。例如，對於屬於或接近垂直分區的角度，（僅）上方範本被選擇。例如，對於屬於或接近水平分區的角度，（僅）左側範本被選擇。例如，對於屬於或接近於對角線分區的角度（不屬於或接近于垂直或水平分區），左側和上方範本被選擇。範本的混合權重與用於對當前塊生成混合預測子的混合權重被統一，或者藉由使用較少的權重來簡化。對於在範本上使用簡化混合權重的示例，當前塊的權重可以在0到（X-1）的範圍內以及範本的權重可以只有小於X個權重。唯一的情況是只有0和1是範本的權重。 o 失真可以是SATD、絕對差之和（Sum of Absolute Difference，簡稱SAD）、均方誤差（Mean Squared Errors）、誤差平方和（Sum of Squared Errors）或任一失真測量等式/指標。 - 步驟3：theta1和theta2由具有最小範本成本的組合隱式設置。
本發明中提出的方法可以與多個混合工具統一。例如，用於GPM、GPM擴展和/或空間GPM的建議方法被統一。
本發明提出的方法只能應用於所有候選分區線中的一些預定的分區線。
可以根據隱式規則（例如塊寬度、高度或面積）或根據顯式規則（例如關於塊，圖塊，片段，圖片，SPS或PPS級），本發明中提出的方法可以被啟用和/或禁用。例如，當塊區域大於閾值時，所提出的方法被應用。又例如，當較長的塊邊大於或等於閾值（例如2）乘以較短的塊邊時，所提出的方法被應用。
發明中的術語“塊”可以指代TU/TB，CU/CB，PU/PB，預定區域或CTU/CTB。
本發明中的AMVP類似於JVET-T2002（Jianle Chen, et. al., “Algorithm description for Versatile Video Coding and Test Model 11 (VTM 11)”, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, 20th Meeting, by teleconference, 7 – 16 October 2020, Document: JVET- T2002）中的“AMVP”。AMVP運動來自語法“合併標誌”等於假的運動候選。（例如，VVC中的general_merge_flag等於假）。
本發明中提出的方法的任一組合可被應用。
任一前述提出的用於使用混合預測子的編解碼工具的適應性預測子混合方法可以在編碼器和/或解碼器中實現。例如，混合預測子對應於兩個幀內預測子或幀內和幀間預測子的混合，其可以在編碼器的幀間/幀內/預測模組和/或解碼器的幀間/幀內/預測模組中實現。例如，在編碼器側，所需的處理可以作為如第1A圖所示的幀間預測單元112或幀内預測單元110的一部分來實現。然而，編碼器也可以使用額外的處理單元來實現所需的處理。對於解碼器側，所需的處理可以作為如第1B圖所示的MC單元152和/或幀内預測150的一部分來實現。然而，解碼器也可以使用額外的處理單元來實現所需的處理。或者，所提出的任一方法都可以實現為耦合到編碼器的幀間/幀內/預測模組和/或解碼器的幀間/幀內/預測模組的電路，以便提供幀間/幀內/預測模組所需的資訊。而在編碼器側的幀間預測112和幀内預測110以及在解碼器側的MC 152和幀内預測150被示為單獨的處理單元，它們可以對應於存儲在諸如硬碟或快閃記憶體之類的介質上的可執行軟體或韌體代碼，用於中央處理單元（Central Processing Unit，簡稱CPU）或可程式設計設備（例如數位訊號處理器（Digital Signal Processor，簡稱DSP） 或現場可程式設計閘陣列（Field Programmable Gate Array，簡稱FPGA））。
第29圖示出根據本發明實施例的利用適應性混合預測子的示例性視訊編解碼系統的流程圖。流程圖中所示的步驟可以實現為可在編碼器側的一個或多個處理器（例如，一個或多個CPU）上執行的程式碼。流程圖中所示的步驟也可以基於硬體來實現，諸如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。根據該方法，在步驟2910中，在編碼器側與當前塊相關聯的資料被接收，或在解碼器側與待解碼的當前塊相關聯的已編解碼資料被接收。在步驟2920中，當前塊沿著分區線被劃分成第一區域和第二區域。在步驟2930中，分區線周圍的混合區域被決定，其中混合區域包括第一混合區域和第二混合區域，第一混合區域包括由分區線和distance_1定義的第一區域中的第一像素，第二混合區域包括由分區線和distance_2定義的第二區域中的第二像素，其中distance_1和distance_2對應於兩個非負值以及兩個非負值被允許為不同值。在步驟2940中，分別對第一區域和第二區域決定第一預測子和第二預測子。在步驟2950中，混合區域的混合預測子藉由混合第一預測子和第二預測子來生成。在步驟2960中，當前塊藉由使用包括混合預測子的預測資料被編碼或解碼。
所示流程圖旨在說明根據本發明的視訊編解碼的示例。在不脫離本發明的精神的情況下，本領域技術人員可以修改每個步驟，重新排列步驟，拆分步驟或組合步驟來實施本發明。在本公開中，特定的語法和語義被用來說明示例以實現本發明的實施例。技術人員可藉由用等效的語法和語義代替上述語法和語義來實施本發明，而不背離本發明的精神。
呈現上述描述是為了使本領域普通技術人員能夠實施在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於本領域技術人員來說將是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。因此，本發明不旨在限於所示和描述的特定實施例，而是要符合與本文公開的原理和新穎特徵相一致的最寬範圍。在以上詳細描述中，為了提供對本發明的透徹理解，說明了各種具體細節。然而，本領域的技術人員將理解，本發明可被實施。
如上所述的本發明的實施例可以以各種硬體，軟體代碼或兩者的組合來實現。例如，本發明的一個實施例可以是集成到視訊壓縮晶片中的一個或多個電路或集成到視訊壓縮軟體中以執行本文描述的處理的程式碼。本發明的實施例還可以是要在數位訊號處理器（Digital Signal Processor，簡稱DSP）上執行以執行這裡描述的處理的程式碼。本發明還可以涉及由電腦處理器，數位訊號處理器，微處理器或現場可程式設計閘陣列（field programmable gate array，簡稱FPGA）執行的許多功能。這些處理器可以被配置為藉由執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。軟體代碼或韌體代碼可以以不同的程式設計語言和不同的格式或樣式開發。軟體代碼也可以對不同的目標平臺進行編譯。然而，軟體代碼的不同代碼格式，風格和語言以及配置代碼以執行根據本發明的任務的其他方式將不脫離本發明的精神和範圍。
在不背離其精神或本質特徵的情況下，本發明可以以其他特定形式體現。所描述的示例在所有方面都僅被認為是說明性的而不是限制性的。因此，本發明的範圍由所附申請專利範圍而不是由前述描述指示。在申請專利範圍的等效含義和範圍內的所有變化都應包含在其範圍內。
110:幀內預測 112:幀間預測 114:開關 116:加法器 118:變換 120:量化 122:熵編碼器 124:逆量化 126:逆變換 128:REC 130:環路濾波器 134:參考圖片緩衝器 136:預測資料 140:熵解碼器 150:幀內預測 152:MC 210:當前CU 410:當前CU 420:同位CU 430:縮放運動向量 440:同位的CU的運動向量 510:當前CU 610:L0參考塊 612:L0參考塊的起點 620:L1參考塊 622:L1參考塊的起點 710:塊 910:當前塊 920:CU 1010:當前塊 1110:橫列 1112:直行 1120:圖例 1122:箭頭 1124:箭頭 1126:箭頭 1210:當前CU 1310:組 1320:分區組 1330:分區組 1510:角度1520:偏移量1530:點 1540:行 1542:行 1544:行 2010:當前塊 2020:範本 2030:區域 2040:區域 2050:3x3視窗 2052:像素 2060:像素 2062:像素 2110:長條圖條 2112:幀內模式 2114:幀內模式 2120:平面幀內模式 2122:平面幀內模式 2124:平面幀內模式 2130:參考像素 2140:預測子 2142:預測子 2144:預測子 2150:加權因數 2152:加法器 2160:混合預測子 2210:當前塊 2212:範本預測樣本 2214:範本預測樣本 2220:範本參考樣本 2222:範本參考樣本 2810:範本 2910、2920、2930、2940、2950、2960:步驟
第1A圖示出結合迴圈處理的示例適應性幀間/幀內視訊編解碼系統。 第1B圖示出與第1A圖中的編碼器對應的解碼器。 第2圖示出用於導出VVC空間合併候選的相鄰塊。 第3圖示出在VVC中考慮進行冗餘檢查的可能候選對。 第4圖示出時間候選推導的例子，其中根據圖片順序計數（Picture Order Count，簡稱POC）距離推導縮放運動向量。 第5圖示出在候選C 0和C 1之間選擇的時間候選的位置。 第6圖示出根據具有MVD的合併模式（Merge Mode with MVD，簡稱MMVD）從起始MV在水平和垂直方向上的距離偏移。 第7A圖示出由兩個控制點（4-參數）的運動資訊描述的塊的仿射運動場的例子。 第7B圖示出由兩個控制點（6-參數）的運動資訊描述的塊的仿射運動場的例子。 第8圖示出基於塊的仿射變換預測的示例，其中每個4×4亮度子塊的運動向量從控制點MV導出。 第9圖示出基於相鄰塊的控制點MV的繼承仿射候選的推導例子。 第10圖示出藉由結合來自空間鄰居和時間的每個控制點的平移運動資訊，說明了仿射候選構造的例子。 第11圖示出用於運動資訊繼承的仿射運動資訊存儲的例子。 第12圖示出根據頂部和左側相鄰塊的編解碼模式用於組合幀間和幀內預測（Combined Inter and Intra Prediction，簡稱CIIP）的權重值推導的例子。 第13圖示出VVC標準中使用的64個分區的示例，其中分區根據其角度分組，虛線表示冗餘分區。 第14圖示出幾何分區模式的單向預測MV選擇的例子。 第15圖示出使用幾何分區模式的bending權重 的例子。 第16圖示出根據邊界周圍混合區域的離散斜坡函數的GPM混合處理的示例。 第17圖示出用於ECM 4.0中GPM混合的GPM混合處理例子。 第18圖示出VVC視訊編解碼標準採用的幀內預測模式。 第19A-B圖示出寬度大於高度的塊（第19A圖）和高度大於寬度的塊（第19B圖）的廣角幀內預測的例子。 第20A圖示出當前塊選擇的範本的例子，其中範本包括當前塊上方的T橫列和當前塊左側的T直行。 第20B圖示出T＝3以及對中間橫列中的像素和中間直行中的像素計算梯度長條圖（Histogram of Gradient，簡稱HoGs）的例子。 第20C圖示出角度幀內預測模式的振幅（ampl）例子。 第21圖示出混合處理的例子，其中兩個角度幀內模式（M1和M2）根據具有長條圖條中兩個最高條的索引選擇。 第22圖示出基於範本的幀內模式推導（template-based intra mode derivation，簡稱TIMD）模式例子，其中TIMD在編碼器和解碼器上使用相鄰範本隱式推導CU的幀內預測模式。 第23A圖示出幀内子分區（Intra Sub-Partition，簡稱ISP）的例子，其中塊被水平或垂直地分成兩個子塊。 第23B圖示出幀内子分區（Intra Sub-Partition，簡稱ISP）的例子，其中塊被水平或垂直地分成四個子塊。 第24A-C圖分別示出可用IPM候選的例子：相對於GPM塊邊界的平行角模式（平行模式，第24A圖）、相對於GPM塊邊界的垂直角模式（垂直模式，第24B圖）和平面模式（第24C圖）。 第24D圖示出具有幀內和幀內預測的GPM的例子，其中幀內預測被限制以減少IPM的信令開銷和硬體解碼器成本。 第25A圖示出在使用簡化方法之前用於空間GPM（Spatial GPM，簡稱SGPM）的語法編解碼的例子。 第25B圖示出空間GPM（Spatial GPM，簡稱SGPM）的簡化語法編解碼的例子。 第26圖示出空間GPM（Spatial GPM，簡稱SGPM）的範本的例子。 第27圖示出根據本發明的一個實施例的具有用於兩個混合區域的單獨的混合大小的適應性混合的例子。 第28圖示出根據本發明的一個實施例的基於範本和擴展的混合區域來決定與單獨的混合大小相關聯的成本的例子。 第29圖示出根據本發明實施例的利用混合預測子的示例性視訊編解碼系統的流程圖。
2910、2920、2930 2940、2950、2960:步驟

Claims (16)

  1. 一種視訊編解碼方法，用於多個彩色圖片，該方法包括： 在一編碼側接收與一當前塊相關聯的像素資料，或在一解碼側接收與該當前待解碼塊相關聯的已編解碼資料； 沿著一分區線將該當前塊劃分成一第一區域和一第二區域； 決定該分區線周圍的一混合區域，其中該混合區域包括一第一混合區域和一第二混合區域，該第一混合區域包括由該分區線和distance_1定義的該第一區域中的多個第一像素，該第二混合區域包括由該分區線和distance_2定義的該第二區域中的多個第二像素，以及其中distance_1和distance_2對應兩個正值，允許該兩個正值不同； 分別對該第一區域和該第二區域決定一第一預測子和一第二預測子； 藉由混合該第一預測子和該第二預測子來生成該混合區域的一混合預測子；以及 藉由使用包括該混合預測子的預測資料對該當前塊進行編碼或解碼。
  2. 如請求項1所述之視訊編解碼方法，其中，該混合預測子被生成作為該第一預測子和該第二預測子的一加權和。
  3. 如請求項1所述之視訊編解碼方法，其中，該混合區域的大小的一候選集被預先定義，其中該混合區域的該大小與distance_1和distance_2有關。
  4. 如請求項3所述之視訊編解碼方法，其中，一顯式索引被發送或被解析以指示從該當前塊的該候選集中選擇的該混合區域的該大小。
  5. 如請求項4所述之視訊編解碼方法，其中，與該顯式索引相關的一語法在一塊級，一序列參數集級，一圖片參數集級，一適應性參數集級，一圖片報頭級，一片段報頭級或一組合被發送。
  6. 如請求項4所述之視訊編解碼方法，其中，該候選集根據與該候選集的每個成員相關聯的一成本進行重新排序。
  7. 如請求項6所述之視訊編解碼方法，其中，該成本對應於基於一範本匹配成本，該範本匹配成本基於一範本和一擴展混合區域進行測量，以及其中該範本包括該當前塊的一左側相鄰區域，該當前塊的一頂部相鄰區域或兩者。
  8. 如請求項3所述之視訊編解碼方法，其中，該當前塊的該混合區域的該大小根據該候選集的一目標成員隱式地決定，該候選集的該目標成員實現一最小範本匹配成本，以及其中該範本匹配成本基於該當前塊的一範本和一擴展混合區域進行測量。
  9. 如請求項1所述之視訊編解碼方法，其中，（distance_1, distance_2）的一目標候選根據該當前塊的一塊大小從該當前塊的一候選集選擇。
  10. 如請求項9所述之視訊編解碼方法，其中，該塊大小對應於塊寬度，塊高度或塊面積。
  11. 如請求項9所述之視訊編解碼方法，其中，該候選集包括一資料對，該資料對對應於distance_1和distance_2的組合，以及其中ditance_1和distance_2中的每個選自包括0，1，2，4和8的一值組。
  12. 如請求項11所述之視訊編解碼方法，其中，如果該塊寬度或塊高度小於一預定閾值，則僅該值組的多個較小值被用來形成該候選集的多個資料對。
  13. 如請求項11項所述之視訊編解碼方法，其中，如果該第一區域小於該第二區域，distance_1被設置為小於distance_2的一值。
  14. 如請求項11項所述之視訊編解碼方法，其中，如果該第一區域大於該第二區域，distance_1被設置為大於distance_2的一值。
  15. 如請求項1所述之視訊編解碼方法，其中，如果該第一預測子和/或該第二預測子對應於預測假設，該預測假設包括來自具有一預定方向或雙向方向的一個或多個第一預測，從一運動候選生成的一個或多個第二預測，來自一幀内候選的一個或多個第三預測，一個或多個運動候選，或其任一組合。
  16. 一種用於視訊編解碼的裝置，該裝置包括一個或多個電子設備或處理器，這些裝置被佈置成： 在一編碼側接收與一當前塊相關聯的像素資料，或在一解碼側接收與該當前待解碼塊相關聯的已編解碼資料； 沿著一分區線將該當前塊劃分成一第一區域和一第二區域； 決定該分區線周圍的一混合區域，其中該混合區域包括一第一混合區域和一第二混合區域，該第一混合區域包括由該分區線和distance_1定義的該第一區域中的多個第一像素，該第二混合區域包括由該分區線和distance_2定義的該第二區域中的多個第二像素，以及其中distance_1和distance_2對應兩個正值，允許該兩個正值不同； 分別對該第一區域和該第二區域決定一第一預測子和一第二預測子； 藉由混合該第一預測子和該第二預測子來生成該混合區域的一混合預測子；以及 藉由使用包括該混合預測子的預測資料對該當前塊進行編碼或解碼。
TW112114598A 2022-04-25 2023-04-19 視訊編解碼方法和裝置 TW202345594A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263334327P 2022-04-25 2022-04-25
US63/334,327 2022-04-25
WOPCT/CN2023/088598 2023-04-17
PCT/CN2023/088598 WO2023207646A1 (en) 2022-04-25 2023-04-17 Method and apparatus for blending prediction in video coding system

Publications (1)

Publication Number Publication Date
TW202345594A true TW202345594A (zh) 2023-11-16

Family

ID=88517507

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112114598A TW202345594A (zh) 2022-04-25 2023-04-19 視訊編解碼方法和裝置

Country Status (2)

Country Link
TW (1) TW202345594A (zh)
WO (1) WO2023207646A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022538969A (ja) * 2019-06-24 2022-09-07 アリババ グループ ホウルディング リミテッド 映像コード化における動きフィールド記憶のための方法及び装置
US11570434B2 (en) * 2019-08-23 2023-01-31 Qualcomm Incorporated Geometric partition mode with harmonized motion field storage and motion compensation
US11212523B2 (en) * 2020-01-12 2021-12-28 Mediatek Inc. Video processing methods and apparatuses of merge number signaling in video coding systems
CN113473133A (zh) * 2020-03-31 2021-10-01 北京达佳互联信息技术有限公司 利用几何分区geo模式进行预测的方法和装置

Also Published As

Publication number Publication date
WO2023207646A1 (en) 2023-11-02

Similar Documents

Publication Publication Date Title
JP7263529B2 (ja) デコーダ側精緻化ツールのサイズ選択アプリケーション
CN113796077B (zh) 视频编解码之亮度mpm列表导出的方法及装置
JP2023164833A (ja) インター－イントラ複合予測の簡単化
CN113383554A (zh) LUT和共享Merge列表之间的交互
CN117915083A (zh) 块内拷贝模式和帧间预测工具之间的交互
JP7377894B2 (ja) サブブロックマージモードでのシンタックスシグナリング
TW202139702A (zh) 視訊編解碼系統中的視訊處理方法和裝置
CN110677668B (zh) 空间运动压缩
TWI737142B (zh) 視訊編碼中結合畫面間和畫面內預測之方法和裝置
WO2020192726A1 (en) History-based motion vector prediction
JP2022536090A (ja) 幾何学的分割モードコーディングを用いた動き候補リスト
KR20210134644A (ko) 변환된 단예측 후보의 사용
TWI821103B (zh) 在視訊編解碼系統中使用邊界匹配進行重疊塊運動補償的方法和裝置
TW202046728A (zh) 用於視頻編解碼系統的簡化仿射子塊處理的方法及裝置
TW202329694A (zh) 視訊編解碼方法及裝置
TWI720470B (zh) 用於視訊編解碼中的獨立編碼樹的語法交錯方法和裝置
TW202345594A (zh) 視訊編解碼方法和裝置
TWI830558B (zh) 視頻編解碼系統中多重假設預測的方法和裝置
CN113545038A (zh) 依赖于尺寸的帧间编解码
TW202341738A (zh) 視訊編碼解碼方法和裝置
CN113273208A (zh) 仿射预测模式的改进
TW202412525A (zh) 視訊編解碼系統中混合預測的方法和裝置
WO2024017188A1 (en) Method and apparatus for blending prediction in video coding system
CN110677650A (zh) 降低非相邻Merge设计的复杂度
WO2024083251A1 (en) Method and apparatus of region-based intra prediction using template-based or decoder side intra mode derivation in video coding system