TW202341738A - 視訊編碼解碼方法和裝置 - Google Patents

視訊編碼解碼方法和裝置 Download PDF

Info

Publication number
TW202341738A
TW202341738A TW112113988A TW112113988A TW202341738A TW 202341738 A TW202341738 A TW 202341738A TW 112113988 A TW112113988 A TW 112113988A TW 112113988 A TW112113988 A TW 112113988A TW 202341738 A TW202341738 A TW 202341738A
Authority
TW
Taiwan
Prior art keywords
block
predictor
color
prediction
samples
Prior art date
Application number
TW112113988A
Other languages
English (en)
Inventor
江嫚書
徐志瑋
陳慶曄
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202341738A publication Critical patent/TW202341738A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種視訊編解碼的方法和裝置被公開。根據該方法，對第二顏色塊決定包括當前塊的預測樣本的第一預測子。基於第一顔色塊對第二顔色塊決定至少一個第二預測子，其中一個或多個目標模型參數與對應於該至少一個第二預測子的至少一個目標預測模型相關聯，該一個或多個目標模型參數藉由使用第二顔色塊的相鄰樣本和/或第一顏色塊的相鄰樣本隱式地導出，以及其中該至少一個第二預測子對應於當前塊的預測樣本的所有樣本或一個子集。最終預測子藉由混合第一預測子和該至少一個第二預測子生成。與第二顏色塊相關聯的輸入資料使用包括最終預測子的預測資料進行編碼或解碼。

Description

視訊編解碼系統中隱式交叉分量預測的方法和裝置
本公開一般涉及視訊編解碼。具體而言，本公開涉及混合預測子以進行交叉顏色預測以提高編解碼效率。
多功能視訊編解碼（versatile video coding，簡稱VVC）是由ITU-T視訊編解碼專家組（Video Coding Experts Group，簡稱VCEG）和ISO/IEC運動圖像專家組（Moving Picture Experts Group，簡稱MPEG）的聯合視訊專家組（Joint Video Experts Team，簡稱JVET）開發的最新國際視訊編解碼標準。該標準已作為ISO標準於2021年2月發佈：ISO/IEC 23090-3:2021，資訊技術-沉浸式媒體的編解碼表示-第3部分：多功能視訊編解碼。VVC是基於其上一代高效視訊編解碼（High Efficiency Video Coding，簡稱HEVC）藉由添加更多的編解碼工具，來提高編解碼效率以及處理包括三維（3-dimensional，簡稱3D）視訊訊號在內的各種類型的視訊源。
第1A圖示出結合迴圈處理的示例適應性幀間/幀內視訊編解碼系統。對於幀內預測，​​預測資料基於當前圖片中先前編解碼的視訊資料得出。對於幀間預測112，運動估計（Motion Estimation，簡稱ME）在編碼器端執行以及運動補償（Motion Compensation，簡稱MC）基於ME的結果執行以提供從其他圖片和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112，以及選擇的預測資料被提供至加法器116以形成預測誤差，也被稱為殘差。然後預測誤差由變換（Transform，簡稱T）118接著量化（Quantization，簡稱Q）120處理。然後經變換和量化的殘差由熵編碼器122進行編碼，以包括在對應於壓縮視訊資料的視訊位元流中。然後，與變換係數相關聯的位元流與輔助資訊（諸如與幀內預測和幀間預測相關聯的運動和編碼模式等輔助資訊）和其他資訊（與應用於底層圖像區域的環路濾波器相關聯的參數等）打包。如第1A圖所示，與幀內預測110，幀間預測112和環路濾波器130相關聯的輔助資訊被提供至熵編碼器122。當幀間預測模式被使用時，一個或多個參考圖片也必須在編碼器端重構。因此，經變換和量化的殘差由逆量化（Inverse Quantization，簡稱IQ）124和逆變換（Inverse Transformation，簡稱IT）126處理以恢復殘差。然後殘差在重構（REC）128被加回到預測資料136以重構視訊資料。重構的視訊資料可被存儲在參考圖片緩衝器134中以及用於其他幀的預測。
如第1A圖所示，輸入的視訊資料在編碼系統中經過一系列處理。由於一系列處理，來自REC 128的重構視訊資料可能會受到各種損害。因此，在重構視訊資料被存儲在參考圖片緩衝器134中之前，環路濾波器130通常被應用於重構視訊資料，以提高視訊品質。例如，去塊濾波器（deblocking filter,簡稱DF），樣本適應性偏移（Sample Adaptive Offset，簡稱SAO）和適應性環路濾波器（Adaptive Loop Filter，簡稱ALF）可被使用。環路濾波器資訊可能需要被合併到位元流中，以便解碼器可以正確地恢復所需的資訊。因此，環路濾波器資訊也被提供至熵編碼器122以結合到位元流中。在第1A圖中，在重構樣本被存儲在參考圖片緩衝器134中之前，環路濾波器130被應用於重構的視訊。第1A圖中的系統旨在說明典型視訊編碼器的示例結構。它可以對應於高效視訊編解碼（High Efficiency Video Coding，簡稱HEVC）系統，VP8，VP9，H.264或VVC。
如第1B圖所示，解碼器可以使用與編碼器相似或部分相同的功能塊，除了變換118和量化120，因為解碼器只需要逆量化124和逆變換126。解碼器使用熵解碼器140而不是熵編碼器122來將視訊位元流解碼為量化的變換係數和所需的編解碼資訊（例如，ILPF資訊，幀內預測資訊和幀間預測資訊）。解碼器側的幀內預測150不需要執行模式搜索。相反，解碼器只需要根據從熵解碼器140接收到的幀內預測資訊生成幀內預測。此外，對於幀間預測，解碼器只需要根據從熵解碼器140接收到的幀內預測資訊執行運動補償（MC 152）無需運動估計。
根據VVC，輸入圖片被劃分為稱為編解碼樹單元（Coding Tree unit，簡稱CTU）的非重疊正方形塊區域，類似於HEVC。每個CTU可被劃分為一個或多個較小尺寸的編解碼單元（coding unit，簡稱CU）。生成的CU分區可以是正方形或矩形。此外，VVC將CTU劃分為預測單元（prediction unit，簡稱PU）作為一個單元來應用預測處理，例如幀間預測，幀內預測等。
一種視訊編解碼的方法和裝置被公開。根據該方法，與第一顏色塊和包括第二顏色塊的當前塊相關聯的輸入資料被接收，其中輸入資料包括用於第一顏色塊和當前塊的像素資料，該像素資料將在編碼器側被編碼，與第一顔色塊和當前塊相關聯的已編解碼資料被接收，該已編解碼資料將在解碼器側被解碼。用於第二顏色塊的第一預測子被決定，其中該第一預測子對應於當前塊的預測樣本的所有樣本或一個子集。基於第一顔色塊，第二顔色塊的至少一個第二預測子被決定，其中一個或多個目標模型參數與對應於該至少一個第二預測子的至少一個目標預測模型相關聯，該一個或多個目標模型參數藉由使用第二顏色塊的一個或多個相鄰樣本和/或第一顏色塊的一個或多個相鄰樣本被隱式地導出，以及其中該至少一個第二預測子對應於當前塊的預測樣本的所有樣本或一個子集。最終預測子被生成，其中最終預測子包括第一預測子的一部分和該至少一個第二預測子的一部分。與第二顏色塊相關聯的輸入資料使用包含最終預測子的預測資料進行編碼或解碼。
在一實施例中，第一預測子對應於幀內預測子。在另一實施例中，第一預測子對應於一種交叉顔色預測子。例如，第一預測子可以基於CCLM_LT，CCLM_L或CCLM_T被生成。
在一實施例中，所述至少一個第二預測子基於多模型交叉分量線性模型（Multiple Model CCLM（Cross Component Linear Model），簡稱MMLM）模式生成。
在一實施例中，第一預測子的該部分基於具有第一權重的第一預測子導出，以及該至少一個第二預測子的該部分基於具有至少一個第二權重的該至少一個第二預測子導出。最終預測子作為第一預測子的該部分和該至少一個第二預測子的該部分的總和而導出。該第一權重，該至少一個第二權重或兩者會藉由對該第二顔色塊的各個樣本進行推導而被決定。
在一實施例中，語法在編碼器側被發送以指示是否允許決定至少一個第二預測子，生成最終預測子以及使用包括最終預測子的預測資料對當前塊進行編碼或解碼。此外，語法可以在塊級，圖塊級，片段級，圖片級，序列參數集（Sequance Parameter，簡稱SPS）級或圖片參數集（Picture Parameter Set，簡稱PPS）級中在編碼器側發送或在解碼器側解析。在一實施例中，如果當前塊使用預定交叉顔色模式，則該語法指示允許決定該至少一個第二預測子，生成最終預測子以及使用包括最終預測子的預測資料對當前塊進行編碼或解碼。預定交叉顔色模式的示例是指線性模型（Linear Model，簡稱LM）模式。LM模式可以對應於CCLM_LT模式，CCLM_L模式或CCLM_T模式。
在一實施例中，是否允許決定該至少一個第二預測子，生成最終預測子以及使用包括最終預測子的預測資料對當前塊進行編碼或解碼被隱式地決定。
在一實施例中，候選集的每個預測模型的一個或多個模型參數被決定，以及候選集的每個預測模型的成本被評估，以及其中，候選集中實現最小成本的一個預測模型被選擇為該至少一個目標預測模型，以及與候選集中實現最小成本的該一個預測模型相關聯的該一個或多個模型參數被選擇為該一個或多個目標模型參數。
在一實施例中，如果最小成本低於閾值，則決定該至少一個第二預測子，生成最終預測子以及使用包括最終預測子的預測資料對當前塊進行編碼或解碼被允許。
在一實施例中，包括第二顏色塊的選定相鄰樣本的第二顏色範本和包括第一顏色塊的相應相鄰樣本的第一顏色範本被決定，基於第一顏色範本的參考樣本和第二顏色範本的參考樣本，該候選集的每個預測模型的該一個或多個模型參數被決定，以及其中該候選集的每個預測模型的成本基於重構樣本和預測樣本被決定，以及第二顏色範本的預測樣本藉由將對該每個預測模型決定的該一個或多個模型參數應用於第一顏色範本而導出。在一實施例中，第二顏色範本包括第二顏色塊的頂部相鄰樣本，第二顏色塊的左側相鄰樣本或第二顏色塊的兩者，以及第一顏色範本包括第一顔色塊的頂部相鄰樣本，第一顔色塊的左側相鄰樣本，或第一顔色塊的兩者。在一實施例中，當前塊包括Cr塊和Cb塊，第一顏色塊對應於Y塊，第二顏色塊對應於Cr塊或Cb塊，其中當語法指示：決定所述至少一個第二預測子，生成最終預測子以及使用包括最終預測子的預測資料對當前塊進行編碼或解碼被允許用於Cr塊和Cb塊之一，然後決定所述至少一個第二預測子，生成最終預測子以及使用包括最終預測子的預測資料對當前塊進行編碼或解碼也被允許用於Cr塊和Cb塊中的另一個。
在一實施例中，該候選集的每個預測模型的成本對應於邊界匹配成本，邊界匹配成本用於測量第二顏色塊的預測樣本和第二顏色塊的相鄰重構樣本之間的不連續性，以及其中第二顔色塊的預測樣本基於第一顔色塊使用對該每個預測模型決定的該一個或多個模型參數導出。在一實施例中，邊界匹配成本包括頂部邊界匹配成本，左側邊界匹配成本，或兩者，該頂部邊界匹配成本在第二顏色塊的頂部預測樣本與第二顏色塊的相鄰頂部重構樣本之間進行比較，該左側邊界匹配成本在第二顏色塊的左側預測樣本和第二顔色塊的相鄰左側重構樣本之間進行比較。
在一實施例中，包括第二顏色塊的選定相鄰樣本的第二顏色範本和包括第一顏色塊的對應相鄰樣本的第一顏色範本被決定，該候選集的每個預測模型的該一個或多個模型參數基於第二顏色範本和第一顏色範本被決定，以及其中該候選集的每個預測模型的成本基於第二顏色範本的重構樣本和預測樣本被決定，第二顏色範本的預測樣本藉由將對每個預測模型決定的該一個或多個模型參數應用到第一顏色範本而導出。
容易理解的是，如本文附圖中一般描述和說明的本發明的組件可以以各種不同的配置來佈置和設計。因此，如附圖所示，本發明的系統和方法的實施例的以下更詳細的描述並非旨在限制所要求保護的本發明的範圍，而僅僅代表本發明的所選實施例。本說明書中對“實施例”，“一些實施例”或類似語言的引用意味著結合實施例描述的具體特徵，結構或特性可以包括在本發明的至少一實施例中。因此，貫穿本說明書在各個地方出現的短語“在實施例中”或“在一些實施例中”不一定都指代相同的實施例。
此外，所描述的特徵，結構或特性可在一個或多個實施例中以任何合適的方式組合。然而，相關領域的習知技藝者將認識到，可在沒有一個或多個具體細節的情況下或者利用其他方法，組件等來實施本發明。在其他情況下，未示出或詳細描述公知的結構或操作，以避免模糊本發明的各方面。藉由參考附圖將最好地理解本發明的所示實施例，其中相同的部件自始至終由相同的數字表示。以下描述僅作為示例，並且簡單地說明了與如本文所要求保護的本發明一致的裝置和方法的一些選定實施例。
VVC標準併入了各種新的編解碼工具以進一步改進HEVC標準的編解碼效率。在各種新的編解碼工具中，與本發明相關的一些編解碼工具綜述如下。
幀間預測概述
根據JVET-T2002第3.4節（Jianle Chen, et. al., “Algorithm description for Versatile Video Coding and Test Model 11 (VTM 11)” , Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, 20th Meeting, by teleconference, 7 – 16 October 2020, Document: JVET-T2002）, 對於每個幀間預測CU，由運動向量，參考圖片索引和參考圖片列表使用索引組成的運動參數以及額外資訊被用於幀間預測樣本的生成。運動參數可以顯式或隱式方式發送。當CU以跳過模式進行編解碼時，CU與一個PU相關聯以及沒有顯著的殘差係數，沒有被編解碼的運動向量增量或參考圖片索引。合併模式指當前CU的運動參數是從相鄰CU獲得的，包括空間和時間候選，以及VVC中引入的額外排程。合併模式可被用於任一幀間預測的CU。合併模式的可選方案是運動參數的顯式傳輸，其中每個CU的運動向量，每個參考圖片列表的相應參考圖片索引和參考圖片列表使用標誌以及其他所需資訊被顯式地發送。 除了HEVC中的幀間編解碼功能之外，VVC還包括許多新的和改進的幀間預測編解碼工具，如下所列： —擴展的合併預測 —具有MVD的合併模式（Merge mode with MVD，簡稱MMVD） —對稱MVD（symmetric MVD，簡稱SMVD）發送 —仿射運動補償預測 —基於子塊的時間運動模式預測（Subblock-based temporal motion vector prediction，簡稱SbTMVP） —適應性運動向量解析度（Adaptive motion vector resolution，簡稱AMVR）—運動場存儲：1/16亮度樣本MV存儲和8x8運動場壓縮 —CU級權重雙向預測（Bi-prediction with CU-level weight，簡稱BCW） —雙向光流（Bi-directional optical flow，簡稱BDOF） —解碼器側運動向量細化（Decoder side motion vector refinement，簡稱DMVR） —幾何分區模式（Geometric partitioning mode，簡稱GPM） —組合的幀間和幀內預測（Combined inter and intra prediction，簡稱CIIP）
下面的描述提供了在VVC中指定的那些幀間預測方法的細節。
擴展的合併預測
在VVC中，合併候選列表藉由依次包括以下五類候選來構建： 1）來自空間相鄰CU的空間MVP 2）來自同位CU的時間MVP 3）來自FIFO表的基於歷史的MVP 4）成對平均MVP 5）零MV。
合併列表的大小在序列參數集（sequence parameter set，簡稱SPS）報頭中發送以及合併列表的最大允許大小是6。對於在合併模式中編解碼的每個CU，最佳合併候選的索引使用截斷一元二值化（truncated unary binarization）進行編碼。合併索引的第一個bin使用上下文進行編解碼，旁路編解碼用於其餘bin。
本環節提供了每個類別的合併候選的推導處理。與在HEVC中所做的一樣，VVC還支援一定大小的區域內的所有CU的合併候選列表（或被稱為合併候選列表）的並行推導。
空間候選推導
除了交換前兩個合併候選的位置之外，VVC中空間合併候選的導出與HEVC中的相同。在位於第2圖所示位置的候選中當前CU 210的最多四個合併候選（B 0、A 0、B 1和A 1）被選擇。導出的順序是B 0、A 0、B 1、A 1和B 2。位置B 2僅在位置B 0、A 0、B 1和A 1的一個或多個相鄰CU不可用（例如，屬於另一個片段或圖塊）或被幀內編解碼時才被考慮。位置A 1的候選被添加後，對剩餘候選的添加進行冗餘檢查，保證具有相同運動資訊的候選被排除在列表之外，從而提高編解碼效率。為了降低計算複雜度，在提到的冗餘檢查中並未考慮所有可能的候選對。相反，僅考慮第3圖中用箭頭連結的對，以及僅當用於冗餘檢查的相應候選不具有相同運動資訊時才將候選添加到列表中。
時間候選推導
在該步驟中，僅一個候選被添加到列表中。具體地，在對當前CU 410的該時間合併候選的推導中，縮放的運動向量基於屬於如第4圖所示的同位參考圖片的同位CU 420進行推導。參考圖片列表和用於推導同位CU的參考索引在片段報頭中顯式地發送。如第44 中圖的虛線所示，時間合併候選的縮放運動向量430被獲取，其使用圖片順序計數（Picture Order Count，簡稱POC）距離tb和td從位於同位的CU的運動向量440進行縮放，其中tb被定義為當前圖片的參考圖片與當前圖片的POC差值，td被定義為同位圖片的參考圖片與同位圖片的POC差值。時間合併候選的參考圖片索引設置為等於零。
時間候選的位置在候選C­ 0和C 1之間選擇，如第5圖所示。如果位置C 0的CU不可用，被幀內編解碼或在當前CTU行（row）之外，則位置C 1被使用。 否則，位置C 0被用來推導時間合併候選。
基於歷史的合併候選推導
基於歷史的MVP（history-based MVP，簡稱HMVP）合併候選被添加到合併列表中空間MVP和TMVP之後。在該方法中，先前編解碼塊的運動資訊存儲在表中並用作當前CU的MVP。在編碼/解碼處理中，具有多個HMVP候選的表被保留。當遇到新的CTU行時，該表將被重置（清空）。每當存在非子塊幀間編解碼CU時，相關聯的運動資訊將作為新的HMVP候選添加到表的最後一個條目。
HMVP表大小S被設置為6，這指示最多5個基於歷史的MVP（HMVP）候選可以被添加到表中。當向表中插入新的運動候選時，受約束的先進先出（first-in-first-out，簡稱FIFO）規則被使用，其中首先冗餘檢查被應用以查閱資料表中是否存在相同的HMVP。如果找到，相同的HMVP被從表中移除以及之後的所有HMVP候選被向前移動，以及相同的HMVP被插入到表的最後條目。
HMVP候選可以用在合併候選列表構建處理中。表中最新的幾個HMVP候選被依次檢查，以及被插入到候選列表中TMVP候選之後。冗餘檢查應用於HMVP候選到空間或時間合併候選。
為了減少冗餘檢查操作的數量，以下簡化被引入： 1. 分別對表中的最後兩個條目相對於A 1和B 1空間候選進行冗餘檢查。 2.一旦可用合併候選總數達到最大允許合併候選-1，HMVP的合併候選列表構建處理終止。
成對平均合併候選推導
藉由使用前兩個合併候選對現有合併候選列表中的預定候選對進行平均來生成成對平均候選。第一合併候選被定義為p0Cand，第二合併候選可以被定義為p1Cand。根據p0Cand和p1Cand的運動向量的可用性分別對每個參考列表計算平均運動向量。如果兩個運動向量在一個列表中都可用，則即使這兩個運動向量指向不同的參考圖片，也對其進行平均，以及將其參考圖片設置為p0C和p0C之一； 如果只有一個運動向量可用，則直接使用這個運動向量；如果沒有可用的運動向量，則保持此列表無效。此外，如果p0Cand和p1Cand的半像素插值濾波器索引不同，則其被設置為0。
當添加成對平均合併候選後合併列表未滿時，零MVP被插入最後直到達到最大合併候選數。
合併估計區域
合併估計區域（merge estimation region，簡稱MER）允許同一合併估計區域（Merge estimation region，簡稱MER）中的CU的合併候選列表的獨立推導。與當前CU在同一MER內的候選塊不包括在當前CU的合併候選列表的生成中。此外，僅當（xCb + cbWidth）＞＞ Log2ParMrgLevel大於xCb ＞＞ Log2ParMrgLevel以及（yCb + cbHeight） ＞＞ Log2ParMrgLevel大於（yCb ＞ ＞ Log2ParMrgLevel ），基於歷史的運動向量預測子候選列表的更新處理被更新，其中（xCb, yCb）是圖片中當前CU的左上角亮度樣本位置，（cbWidth, cbHeight）是CU大小。MER大小在編碼器側被選擇，以及在序列參數集（Sequance Parameter Set，簡稱SPS）中作為 log2_parallel_merge_level_minus2被發出。
具有 MVD 的合并模式（ Merge Mode with MVD ，簡稱 MMVD ）
除了其中隱式導出的運動資訊直接用於當前CU的預測樣本生成的合併模式之外，在VVC中引入了具有運動向量差的合併模式（merge mode with motion vector difference，簡稱MMVD）。在發送常規合併標誌後MMVD標誌被立即發送，以指定MMVD模式是否用於CU。
在MMVD中，在合併候選（在本公開中被稱為基本合併候選）被選擇之後，藉由發送的MVD資訊對其進一步細化。進一步的資訊包括合併候選標誌，用於指定運動幅度的索引和用於指示運動方向的索引。在MMVD模式下，合併列表中的前兩個候選中的一個被選擇用作MV基礎。MMVD候選標誌被發送以指定在第一和第二合併候選之間使用哪一個。
距離索引指定運動幅度資訊以及指示從L0參考塊610和L1參考塊620的起點（612和622)的預定偏移量。如第6圖所示，偏移量被添加到起始MV的水平分量或垂直分量，其中不同樣式的小圓圈對應於距中心的不同偏移量。距離索引和預定偏移量的關係在表1中指定。 表 1 – 距離索引與預定偏移量的關係
距離IDX 0 1 2 3 4 5 6 7
偏移量（以亮度樣本為單位） 1/4 1/2 1 2 4 8 16 32
方向索引表示MVD相對於起始點的方向。方向索引可以表示如表2所示的四個方向。需要注意的是，MVD符號的含義可以根據起始MV的資訊而變化。當起始MV是un-predictionMV或雙向預測 MV，其中兩個列表都指向當前圖片的同一側（即兩個參考的POC均大於當前圖片的POC，或均小於當前圖片的POC），表2中的符號指定添加到起始MV的MV偏移量的符號。當起始MV是雙向預測MV，兩個MV指向當前圖片的不同側（即一個參考的POC大於當前圖片的POC，另一個參考的POC小於當前圖片的POC），以及列表0中的POC的差值大於列表1中的POC，表2中的符號指定添加到起始MV的列表0 MV分量的MV偏移量的符號和列表1 MV的符號具有相反的值。否則，如果列表1中的POC之差值大於列表0，則表2中的符號指定添加到起始MV的列表1 MV分量的MV偏移量的符號和列表0 MV的符號具有相反的值。
MVD根據每個方向上的POC的差值來進行縮放。如果兩個列表中POC的差值相同，則不需要縮放。否則，如果列表0中的POC差值大於列表1中的差值，則藉由將L0的POC差值定義為td以及將L1的POC差值定義為tb來縮放列表1的MVD，如第5圖所示。如果L1的POC差值大於L0，則列表0的MVD以相同的方式縮放。如果起始MV是單向預測，則MVD被添加到可用MV。 表 2 – 方向索引指定的 MV 偏移量符號
方向 IDX 00 01 10 11
x-axis + − N/A N/A
y-axis N/A N/A + −
仿射運動補償預測
在HEVC中，僅平移運動模型被應用於運動補償預測（motion compensation prediction，簡稱MCP）。而在現實世界中，有很多種運動，例如放大/縮小，旋轉，透視運動和其他不規則運動。在VVC中，基於塊的仿射變換運動補償預測被應用。如第7A-B圖所示，塊710的仿射運動場由第7A圖中的兩個控制點（4參數）的運動資訊或第7B圖中的三個控制點運動向量（6參數）描述。
對於4參數仿射運動模型，塊中樣本位置（x，y）處的運動向量被導出為： （1）
對於6參數仿射運動模型，塊中樣本位置（x，y）處的運動向量被導出為： （2）
其中（ mv 0x ， mv 0y ）為左上角控制點的運動向量，（ mv 1x ， mv 1y ）為右上角控制點的運動向量，（ mv 2x ， mv 2y ）為左下角控制點的運動向量。
為了簡化運動補償預測，基於塊的仿射變換預測被應用。為了導出每個4×4亮度子塊的運動向量，每個子塊的中心樣本的運動向量，如第8圖所示，根據上述等式計算，四捨五入到1/16分數精度。然後，運動補償插值濾波器被應用以生成具有導出的運動向量的每個子塊的預測。色度分量的子塊大小也被設置為4×4。4×4色度子塊的MV計算為同位8x8亮度區域中左上角和右下角亮度子塊的MV的平均值。
對於平移運動幀間預測，也有兩種仿射運動幀間預測模式：仿射合併模式和仿射AMVP模式。
仿射合併預測
AF_MERGE模式可以應用於寬度和高度都大於或等於8的CU。在該模式下，基於空間相鄰CU的運動資訊生成當前CU的控制點MV（Control Point MV，簡稱CPMV）。最多可以有五個CPMVP（CPMV 預測）候選，索引被發送以指示要用於當前CU的那個候選。下面三種類型的CPVM候選被用來構成仿射合併候選列表： –從相鄰CU的CPMV推斷出的繼承仿射合併候選 –使用相鄰CU的平移MV導出的構建仿射合併候選（constructed affine merge candidate，簡稱CPMVP） –零MV
在VVC中，最多有兩個繼承的仿射候選，它們來自相鄰塊的仿射運動模型，一個來自左側相鄰CU，一個來自上方相鄰CU。候選塊與第2圖所示的塊相同。對於左側預測子，掃描順序為A 0-＞A 1，對於上方預測子，掃描順序為B 0-＞B 1-＞B 2。僅每一側的第一繼承候選被選擇。在兩個繼承的候選之間不執行修剪檢查。當相鄰的仿射CU被識別出時，其控制點運動向量用於導出當前CU的仿射合併列表中的CPMVP候選。如第9圖所示，如果當前塊910的左下相鄰塊A以仿射模式進行編解碼，則包含塊A的CU 920的左上角，右上角和左下角的運動向量v 2，v 3和v 4被獲得。當塊A採用4參數仿射模型編解碼時，當前CU的兩個CPMV（即v 0和v 1）根據v 2和v 3進行計算。在塊A採用6參數仿射模型編解碼時，當前CU的三個CPMV根據v 2，v 3和v 4進行計算。
構建仿射候選是指藉由結合每個控制點的相鄰平移運動資訊來構建候選。如第10圖所示，控制點的運動資訊是從當前塊1010的指定空間相鄰和時間相鄰塊導出。CPMV k（k=1，2，3，4）表示第k個控制點。對於CPMV1，B 2-＞B 3-＞A 2塊被檢查以及第一可用塊的MV被使用。對於CPMV2，B 1-＞B 0塊被檢查，對於CPMV3，A 1-＞A 0塊被檢查。如果TMVP可用，則其被用作CPMV4。
在獲得四個控制點的MV之後，基於運動資訊構建仿射合併候選。以下控制點MV的組合用於按順序構建： {CPMV 1, CPMV 2, CPMV 3}, {CPMV 1, CPMV 2, CPMV 4}, {CPMV 1, CPMV 3, CPMV 4}, {CPMV 2, CPMV 3, CPMV 4}, { CPMV 1, CPMV 2}, { CPMV 1, CPMV 3}
3個CPMV的組合構建6參數仿射合併候選以及2個CPMV的組合構建4參數仿射合併候選。為了避免運動縮放處理，如果控制點的參考索引不同，則控制點MV的相關組合被丟棄。
在繼承的仿射合併候選和構建的仿射合併候選被檢查後，如果列表仍未滿，則零MV被插入到列表的末尾。
仿射 AMVP 預測
仿射AMVP模式可以應用於寬度和高度都大於或等於16的CU。CU級別的仿射標誌在位元流中發送以指示是否使用仿射AMVP模式，然後另一標誌被發送以指示4參數仿射還是6參數仿射被使用。在這種模式下，當前CU的CPMV與其預測子CPMVP的差值在位元流中發送。仿射AVMP候選列表大小為2，由以下四種CPVM候選依次生成： — 從相鄰CU的CPMV推斷出的繼承仿射AMVP候選 — 構建的仿射AMVP候選CPMVP使用相鄰CU的平移MV導出 — 來自相鄰CU的平移MV — 零MV
繼承的仿射AMVP候選的檢查順序與繼承的仿射合併候選的檢查順序相同。唯一的區別是，對於AVMP候選，僅考慮與當前塊具有相同參考圖片的仿射CU。當將繼承的仿射運動預測子插入候選列表時，修剪處理（pruning process）不被應用。
構建的AMVP候選從第10圖中所示的指定空間相鄰塊導出。與仿射合併候選構建中相同的檢查順序被使用。此外，相鄰塊的參考圖片索引還被檢查。在檢查順序中，使用幀間編解碼以及具有當前CU中相同的參考圖片的第一塊被使用。當當前CU使用4參數仿射模式編碼，以及 mv 0 和 mv 1 都可用時，它們作為一個候選被添加到仿射AMVP列表中。當當前CU使用6參數仿射模式編解碼，以及所有三個CPMV都可用時，它們作為一個候選被添加到仿射AMVP列表中。否則，構建的AMVP候選被設置為不可用。
如果插入有效繼承的仿射AMVP候選和構建的AMVP候選後，仿射AMVP候選列表的數量仍然小於2，則 mv 0 ， mv 1 和 mv 2 作為平移MV被添加以便在可用時預測當前CU的所有控制點MV。最後，如果仿射AMVP列表仍未滿，則零MV被用來填充仿射AMVP列表。
仿射運動資訊存儲
在VVC中，仿射CU的CPMV存儲在單獨的緩衝器中。存儲的CPMV僅用於在仿射合併模式和仿射AMVP模式下對最近編解碼的CU生成繼承的CPMVP。從CPMV導出的子塊MV用於運動補償，合併的MV導出/平移MV的AMVP列表和去塊。
為了避免用於額外CPMV的圖片行緩衝器，從上述CTU的CU繼承的仿射運動資料對於從常規相鄰CU繼承的處理不同。如果用於仿射運動資料繼承的候選CU在上述CTU行中，則行緩衝器（line buffer）中的左下和右下子塊MV而不是CPMV被用於仿射MVP推導。這樣，CPMV僅存儲在本地緩衝器中。如果候選CU是6參數仿射編解碼，則仿射模型退化為4參數模型。 如第11圖所示，沿著頂部CTU邊界，CU的左下和右下子塊運動向量用於底部CTU中CU的仿射繼承。在第11圖中，橫列1110和直行1112表示原點（0，0）在左上角的圖片的x和y座標。圖例1120顯示各種運動向量的含義，其中箭頭1122表示局部緩衝器中用於仿射繼承的CPMV，箭頭1124表示用於局部緩衝器中的MC/合併/跳過/AMVP/去塊/TMVPs的子塊向量和行緩衝器中的仿射繼承的子塊向量，箭頭1126代表MC/合併/跳過/AMVP/去塊/TMVPs的子塊向量。
適應性运动向量分辨率（ Adaptive Motion Vector Resolution ，簡稱 AMVR ）
在HEVC中，當片段報頭中的use_integer_mv_flag等於0時，（CU 的運動向量和預測運動向量之間的）運動向量差（motion vector difference，簡稱MVD）以四分之一亮度樣本為單位發送。在VVC中，CU級適應性運動向量解析度（adaptive motion vector resolution，簡稱AMVR）方案被引入。AMVR允許CU的MVD以不同的精度進行編解碼。根據當前CU的模式（普通AMVP模式或仿射AVMP模式），當前CU的MVD可以適應性地選擇如下： — 常規AMVP模式：四分之一亮度樣本，半亮度樣本，整數亮度樣本或四亮度樣本。 — 仿射AMVP模式：四分之一亮度樣本，整數亮度樣本或1/16亮度樣本。
如果當前CU具有至少一個非零MVD分量，則CU級MVD解析度指示被有條件地發送。如果所有MVD分量（即，參考列表L0和參考列表L1的水平和垂直MVD）均為零，則四分之一亮度樣本MVD解析度被推斷出。
對於具有至少一個非零MVD分量的CU，第一標誌被發送以指示四分之一亮度樣本MVD精度是否用於CU。如果第一標誌為0，則不需要進一步的發送，以及四分之一亮度樣本MVD精度用於當前CU。否則，第二標誌被發送以指示將半亮度樣本或其他MVD精度（整數或四亮度樣本）用於常規的AMVP CU。在半亮度樣本的情況下，半亮度樣本位置使用6抽頭插值濾波器而不是默認的8抽頭插值濾波器。否則，第三標誌被發送以指示是將整數亮度樣本還是四亮度樣本MVD精度用於常規AMVP CU。在仿射AMVP CU的情況下，第二標誌用於指示是否使用整數亮度樣本或1/16亮度樣本MVD精度。為了確保重構的MV具有預期的精度（四分之一亮度樣本，半亮度樣本，整數亮度樣本或四亮度樣本），在與MVD相加之前，CU的運動向量預測子將被四捨五入到與MVD相同的精度。運動向量預測子向零舍入（即，負運動向量預測子向正無窮大舍入，正運動向量預測值向負無窮大舍入）。
編碼器使用RD檢查來確定當前CU的運動向量解析度。在VTM11中，為了避免總是對每個MVD解析度執行四次CU級RD檢查，除四分之一亮度樣本之外的MVD精度的RD檢查僅被有條件地調用。對於常規的AVMP模式，首先四分之一亮度樣本MVD精度和整數亮度樣本MV精度的RD成本被計算。然後，將整數亮度樣本MVD精度的RD成本與四分之一亮度樣本MVD精度的RD成本進行比較，以決定是否有必要進一步檢查四亮度樣本MVD精度的RD成本。當四分之一亮度樣本MVD精度的RD成本遠小於整數亮度樣本MVD精度的RD成本時，四亮度樣本MVD精度的RD檢查被跳過。然後，如果整數亮度樣本MVD 精度的RD成本明顯大於先前測試的MVD精度的最佳RD成本，則半亮度樣本MVD精度的檢查被跳過。對於仿射AMVP模式，如果在檢查仿射合併/跳過模式，合併/跳過模式，四分之一亮度樣本MVD精度常規AMVP模式和四分之一亮度樣本MVD精度仿射AMVP模式的率失真成本後仿射幀間模式未被選擇，則1/16亮度樣本MV精度和1像素MV精度仿射幀間模式未被檢查。此外，在四分之一亮度樣本MV精度仿射幀間模式中獲得的仿射參數被用作1/16亮度樣本和四分之一亮度樣本MV精度仿射幀間模式的起始搜索點。
具有 CU 級權重的雙向預測（ Bi-Prediction with CU-level Weight ，簡稱 BCW ）
在HEVC中，雙向預測訊號 藉由對從兩個不同參考圖片和/或使用兩個不同運動向量獲得的兩個預測訊號 P 0和 P 1進行平均而生成。在VVC中，雙向預測模式被擴展到簡單的平均之外，允許對兩個預測訊號進行加權平均。 （3）
加權平均雙向預測允許五個權重，w∈{-2,3,4,5,10}。對於每個雙向預測的CU，權重w由以下兩種方式之一決定：1）對於非合併CU，權重索引在運動向量差值之後被發送；2）對於合併CU，權重索引根據合併候選索引從相鄰塊中推斷出來。BCW僅適用於具有256個或更多亮度樣本的CU（即，CU寬度乘以CU高度大於或等於256）。對於低延遲圖片，所有5個權重被使用。對於非低延遲圖片，僅3個權重（w∈{3,4,5}）被使用。在編碼器處，快速搜索演算法被用來查找權重索引，而不會顯著增加編碼器的複雜性。這些演算法總結如下。詳細資訊在VTM軟體和文檔JVET-L0646中公開（Yu-Chi Su, et. al., “CE4-related: Generalized bi-prediction improvements combined from JVET-L0197 and JVET-L0296”, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, 12th Meeting: Macao, CN, 3–12 Oct. 2018, Document: JVET-L0646）。 — 當與AMVR結合時，如果當前圖片是低延遲圖片，則僅對1像素和4像素運動向量精度有條件地檢查不相等的權重。 — 當與仿射相結合時，當且僅當選擇仿射模式作為當前最佳模式時，仿射ME將被執行用於不相等的權重。 — 當雙向預測中的兩個參考圖片相同時，不相等的權重僅被有條件地檢查。 — 當特定條件被滿足時不相等的權重不被搜索，這取決於當前圖片與其參考圖片之間的POC距離，編解碼QP和時間級別。
BCW權重索引使用上下文編解碼的bin和隨後的旁路編解碼bin進行編解碼。第一上下文編解碼的bin指示是否使用相等的權重；如果不相等的權重被使用，則額外bin使用旁路編解碼發送，以指示哪個不相等的權重被使用。
加權預測（weighted prediction，簡稱WP）是H.264/AVC和HEVC標準支援的編解碼工具，用於有效編解碼具有衰落的視訊內容。對WP的支援也被添加到VVC標準中。WP允許對每個參考圖片列表L0和L1中的每個參考圖片發送加權參數（權重和偏移量）。然後，在運動補償期間，相應參考圖片的權重和偏移量被應用。WP和BCW專為不同類型的視訊內容而設計。為了避免WP和BCW之間的交互，這會使VVC解碼器設計複雜化，如果CU使用WP，則BCW權重索引不被發送，以及權重w被推斷為4（即應用相等的權重）。對於合併CU，權重索引根據合併候選索引從相鄰塊中推斷出來。這可以應用於普通合併模式和繼承仿射合併模式。對於構建的仿射合併模式，仿射運動資訊基於最多3個塊的運動資訊構建。使用構建的仿射合併模式的CU的BCW索引被簡單地設置為等於第一控制點MV的BCW索引。
在VVC中，CIIP和BCW不能聯合用於CU。當CU使用CIIP模式編解碼時，當前CU的BCW索引被設置為2，（即w=4的相等權重）。相等權重意味著 BCW索引的默認值。
組合的幀間和幀内預測（ Combined Inter and Intra Prediction, 簡稱 CIIP ）
在VVC中，當CU以合併模式編解碼時，如果CU包含至少64個亮度樣本（即CU寬度乘以CU高度等於或大於64），以及如果CU寬度和CU高度都小於128個亮度樣本，額外的標誌被發送以指示組合幀間/幀內預測（CIIP）模式是否應用於當前CU。正如其名稱所示，CIIP預測將幀間預測訊號與幀內預測訊號組合在一起。CIIP模式 P inter 中的幀間預測訊號使用與應用於常規合併模式的相同幀間預測處理導出；以及幀內預測訊號 P intra 遵循具有平面模式的常規幀內預測處理導出。然後，幀內和幀間預測訊號使用加權平均進行組合，其中權重值 wt根據當前CU 1210的頂部和左側相鄰塊（如第12圖所示）的編解碼模式被計算如下： — 如果頂部相鄰塊可用且被幀內編解碼，則isIntraTop被設置為 1，否則isIntraTop被設置為 0； — 如果左側相鄰塊可用且被幀內編解碼，則isIntraLeft被設置為1，否則 isIntraLeft被設置為 0； — 如果（isIntraLeft + isIntraTop）等於2，則wt被設置為3； — 否則，如果（isIntraLeft + isIntraTop）等於 1，則wt被設置為2； — 否則，wt被設置為 1。
CIIP預測形成如下： （4）
交叉分量線性模型（ Cross Component Liear Model ，簡稱 CCLM ）
CCLM模式（有時縮寫為LM模式）背後的主要思想是彩色圖片的顏色分量（例如，Y/Cb/Cr，YUV和RGB）之間通常存在一些相關性。在本公開中，這些顏色可以被稱為第一顏色，第二顏色和第三顏色。CCLM技術藉由線性模型從同位的重構亮度樣本預測塊的色度分量來利用相關性，線性模型的參數源自與塊相鄰的重構的亮度和色度樣本。
在VVC中，CCLM模式藉由從重構的亮度樣本預測色度樣本來利用通道間依賴性。該預測使用以下形式的線性模型進行： （5）
這裡， P（ i, j）表示CU中的預測色度樣本，而 表示同一CU的重構的亮度樣本，這些樣本對非4:4:4彩色格式的情況進行了下採樣。模型參數a和b基於編碼器和解碼器側重構的相鄰亮度和色度樣本導出，沒有顯式發送。
在VVC中規定了三種CCLM模式，即，CCLM_LT，CCLM_L和CCLM_T。這三種模式在用於模型參數推導的參考樣本的位置方面有所不同。CCLM_T模式中僅涉及來自頂部邊界的樣本，CCLM_L模式中僅來自左側邊界的樣本。在CCLM_LT模式中，來自頂部邊界和左側邊界的樣本被使用。
總的來說，CCLM模式的預測處理包括三個步驟： 1）對亮度塊及其相鄰重構樣本的下採樣以匹配相應色度塊的大小， 2）基於重構的相鄰樣本的模型參數推導，以及 3）應用模型等式（1）生成色度幀內預測樣本。
亮度分量的下採樣：為了匹配4:2:0或4:2:2:彩色格式視訊序列的色度樣本位置，兩種類型的下採樣濾波器可以應用於亮度樣本，其中兩者在水平和垂直方向上具有2:1的下取樣速率。這兩個濾波器分別對應於“類型-0”和“類型-2”4:2:0色度格式內容，分別由以下給出： （6）
基於SPS級標誌資訊，二維6階（即 f 2）或5階（即 f 1 ）濾波器應用於當前塊內的亮度樣本及其相鄰亮度樣本。SPS級別指的是序列參數集合級別（Sequence Parameter Set level）。如果當前塊的頂部行是CTU邊界，則會發生異常。在這種情況下，一維濾波器[1,2,1]/4應用於上述相鄰亮度樣本，以避免在CTU 邊界上方使用多個亮度線。
模型參數推導處理：來自等式（5）的模型參數a和b基於編碼器和解碼器側重構的相鄰亮度和色度樣本導出，以避免需要任何發送開銷。在最初採用的CCLM模式版本中，線性最小均方誤差（linear minimum mean square error，簡稱LMMSE）估計器用於參數的推導。然而，在最終設計中，只涉及四個樣本以降低計算複雜度。第13圖示出“類型-0”內容的M×N色度塊1310的相對樣本位置，相應的2M×2N亮度塊1320及其相鄰樣本（顯示為實心圓和三角形）。
在第13圖的示例中，在CCLM_LT模式中使用的四個樣本被示出，它們用三角形標記。它們位於頂部邊界M/4和M∙3/4的位置，以及左側邊界N/4和N∙3/4的位置。在CCLM_T和CCLM_L模式下，頂部邊界和左側邊界被擴展到（M+N）個樣本的大小，用於模型參數推導的四個樣本位於（M+N）/8，（M+ N）∙3/8，（M+N）∙5/8和（M + N）∙7/8。
一旦選擇四個樣本，就使用四個比較操作來決定其中兩個最小和兩個最大的亮度樣本值。令 X l 表示兩個最大亮度樣本值的平均值，令 X s 表示兩個最小亮度樣本值的平均值。類似地，令 Y l 和 Y s 表示相應色度樣本值的平均值。然後，線性模型參數根據以下等式獲得： .                                          （7）
在這個等式中，計算參數a的除法運算藉由查閱資料表實現。為了減少存儲該表所需的記憶體， diff值，即最大值和最小值之間的差值，以及參數a用指數標記法表示。這裡， diff的值用4位元有效部分和指數近似。因此，1/ diff的表僅包含16個元素。這樣做的好處是既降低了計算的複雜性，又減少了存儲表所需的記憶體大小。
MMLM 概述
如名稱所示，原始的CCLM模式採用一種線性模型來預測來自整個CU的亮度樣本的色度樣本，而在MMLM（多模型CCLM）中，可以有兩種模型。在MMLM中，當前塊的相鄰亮度樣本和相鄰色度樣本被分為兩組，每組作為訓練集合以推導線性模型（即對特定組推導特定的α和β）。此外，當前亮度塊的樣本也基於與相鄰亮度樣本的分類相同的規則進行分類。 o 閾值（ Threshold ）被計算為相鄰重構亮度樣本的平均值。Rec′L[x,y] ＜=閾值的相鄰樣本被分類為第1組；而Rec′L[x,y] ＞閾值的相鄰樣本被分類為第2組。 o 相應地，色度的預測使用線性模型獲得：
色度幀內模式編解碼
對於色度幀內模式編解碼，總共8種幀內模式被允許用於色度幀內模式編解碼。這些模式包括五種傳統幀內模式和三種交叉分量線性模型模式（CCLM，LM_A和LM_L）。色度模式信令和推導處理如表3所示。色度模式編解碼直接取決於相應亮度塊的幀內預測模式。由於在I片段中啟用了用於亮度和色度分量的單獨塊劃分結構，所以一個色度塊可以對應於多個亮度塊。因此，對於色度導出的模式（DM）模式，覆蓋當前色度塊中心位置的對應亮度塊的幀內預測模式被直接繼承。 表 3. 啟用 CCLM 時從亮度模式導出色度預測模式
色度預測模式 相應的亮度幀内預測模式
0 50 18 1 X （ 0 ＜= X ＜= 66 )
0 66 0 0 0 0
1 50 66 50 50 50
2 18 18 66 18 18
3 1 1 1 66 1
4 0 50 18 1 X
5 81 81 81 81 81
6 82 82 82 82 82
7 83 83 83 83 83
如表4所示，無論sps_cclm_enabled_flag的值如何，都使用單個二值化表。 表 4. 色度預測模式統一二值化表
intra_chroma_pred_mode的值 Bin串
4 00
0 0100
1 0101
2 0110
3 0111
5 10
6 110
7 111
第一個bin表示它是常規模式（即 0）還是LM模式（即 1）。如果它是LM模式，則下一個bin指示它是LM_CHROMA（即0）還是不是（即1）。如果不是LM_CHROMA，則下一個bin指示它是LM_L（即0）還是LM_A（即1）。對於這種情況，當sps_cclm_enabled_flag為0時，可以在熵編解碼之前忽略對應 intra_chroma_pred_mode的二值化表的第一個bin。或者，換句話說，第一個bin被推斷為0，因此未被編解碼。此單個二值化表用於sps_cclm_enabled_flag等於0和1的情況。前兩個bin使用其自己的上下文模型進行上下文編解碼，其餘bin進行旁路編解碼。
多假設預測（ Multi-Hypothesis prediction ，簡稱 MHP ）
在多假設幀間預測模式（JVET-M0425）中，除了傳統的雙向預測訊號之外，一個或多個額外運動補償預測訊號被發出。最終的整體預測訊號藉由樣本加權疊加（sample-wise weighted superpostition）獲得。利用雙向預測訊號 p bi 和第一額外幀間預測訊號/假設 h 3 ，得到的結果預測訊號 p 3 如下： （8）
根據以下映射（表 5），權重因數α由新語法元素 add_hyp_weight_idx 指定： 表 5. 将 α 映射到 add_hyp_weight_idx
add_hyp_weight_idx
0 1/4
1 -1/8
與上文類似，一個以上的額外預測訊號可被使用。得到的整體預測訊號與每個額外預測訊號一起反覆運算累積。 （9）
得到的整體預測訊號作為最後的 p n （即，具有最大索引n的 p n ）被獲得。例如，最多兩個額外的預測訊號（即，n限制為2）可被使用。
每個額外預測假設的運動參數可以藉由指定參考索引，運動向量預測子索引和運動向量差值來顯式地發送，或者藉由指定合併索引來隱式地發送。一個單獨的多假設合併標誌用於區分這兩種訊號模式。
對於幀間AMVP模式，僅當在雙向預測模式中選擇了BCW中的不相等的權重時才應用MHP。VVC的MHP的詳細資訊可以在JVET-W2025中找到（Muhammed Coban, et. al., “Algorithm description of Enhanced Compression Model 2 (ECM 2)”, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, 23rd Meeting, by teleconference, 7–16 July 2021, Document: JVET- W2025）。
具有 67 種幀內預測模式的幀內模式編解碼
為了獲取自然視訊中出現的任意邊緣方向，VVC中的定向幀內模式的數量從HEVC中使用的33個擴展到65個。HEVC中沒有的新定向模式在第14中用虛線箭頭表示。平面和直流模式保持不變。這些更密集的定向幀內預測模式適用於所有塊大小以及亮度和色度幀內預測。
在VVC中，針對非方形塊，幾種傳統的角度幀內預測模式被適應性地替換為廣角幀內預測模式。
在HEVC中，每個幀內編解碼塊具有正方形形狀以及其每條邊的長度是2的冪。因此，不需要除法運算來使用DC模式生成幀內預測子。在VVC中，塊可以具有矩形形狀，這在一般情況下需要對每個塊使用除法運算。為了避免DC預測的除法操作，只有較長的邊用於計算非正方形塊的平均值。
為了保持最可能模式（most probable mode，簡稱MPM）列表生成的複雜性較低，具有6個MPM的幀內模式編解碼方法藉由考慮兩個可用的相鄰幀內模式使用。構建MPM列表考慮以下三個方面： — 默認幀内模式 — 相鄰幀内模式 — 導出的幀内模式
無論是否應用MRL和ISP編解碼工具，統一的6-MPM列表用於幀內塊。MPM列表基於左側和上方相鄰塊的幀內模式構建。假設左側的模式被標記為Left，上面塊的模式被標記為Above，則統一的MPM列表構建如下： — 當相鄰塊不可用時，其幀內模式默認設置為平面。 — 如果Left和Above兩種模式都是非角度模式： —MPM列表{平面, DC, V, H, V − 4, V + 4} — 如果Left和Above模式之一是角度模式，另一個是非角度模式： —將模式Max設置為Left和Above中的較大模式 —MPM列表{平面, Max, DC, Max − 1, Max + 1, Max − 2} — 如果Left和Above都是有角度的並且它們不同： —將模式Max設置為Left和Above中的較大模式 —如果模式Left和Above的差值在2到62的範圍內，包括 • MPM列表{平面, Left, Above, DC, Max − 1, Max + 1} —否則 • MPM列表{平面,Left, Above, DC, Max − 2, Max + 2} — 如果Left和Above都是有角度的並且它們是相同的： —MPM列表{平面, Left, Left − 1, Left + 1, DC, Left − 2}
此外，MPM索引碼字的第一個bin被CABAC上下文編解碼。總共三個上下文被使用，對應於當前幀內塊是啟用MRL，啟用ISP還是正常幀內塊。
在6個MPM列表生成處理中，修剪被用來去除重複的模式，使得只有獨特的模式可以被包括在MPM列表中。對於61種非MPM模式的熵編解碼，截斷二進位碼（Truncated Binary Code，簡稱TBC）被使用。
非正方形塊的廣角幀內預測（ Wide-Angle Intra Prediction for Non-Square Blocks ）
常規角度幀內預測方向被定義為順時針方向從45度到-135度。在VVC中，幾種傳統的角度幀內預測模式被適應性地替換為非正方形塊的廣角幀內預測模式。替換的模式使用原始模式索引發送，原始模式索引在解析後重新映射到廣角模式的索引。幀內預測模式總數不變，即67，幀內模式編解碼方式不變。
為了支援這些預測方向，長度為2W+1的頂部參考和長度為2H+1的左側參考被分別如第15A圖和第15B圖所示定義。
在廣角方向模式中替換模式的數量取決於塊的縱橫比（aspect ratio）。替換的幀內預測模式如表6所示。 表 6 – 被廣角模式取代的幀內預測模式
縱橫比 替換的幀內預測模式
W / H == 16 模式 12, 13,14,15
W / H == 8 模式 12, 13
W / H == 4 模式 2,3,4,5,6,7,8,9,10,11
W / H == 2 模式 2,3,4,5,6,7,
W / H == 1 無
W / H == 1/2 模式 61,62,63,64,65,66
W / H == 1/4 模式 57,58,59,60,61,62,63,64,65,66
W / H == 1/8 模式 55, 56
W / H == 1/16 模式 53, 54, 55, 56
如第16圖所示，在廣角幀內預測的情況下，兩個垂直相鄰的預測樣本（樣本1610和1612）可以使用兩個不相鄰的參考樣本（樣本1620和1622）。因此，低通參考樣本濾波器和邊平滑被應用於廣角預測，以減少增加的間隙∆p α的負面影響。假設廣角模式表示非分數偏移量。廣角模式中有8個模式滿足這個條件，分別是[-14, -12, -10, -6, 72, 76, 78, 80]。當藉由這些模式預測塊時，參考緩衝器中的樣本被直接複製而不應用任一插值。藉由此修改，需要平滑的樣本數量被減少。此外，它對齊了傳統預測模式和廣角模式中非分數模式的設計。
在VVC中，4:2:2和4:4:4以及4:2:0色度格式均被支援。4:2:2色度格式的色度導出模式（derived mode，簡稱DM）導出表最初從HEVC移植，將條目數從35擴展到67，以與幀內預測模式的擴展保持一致。由於HEVC規範不支援-135度以下和45度以上的預測角度，從2到5的亮度幀內預測模式被映射到2。因此，4:2:2的色度DM推導表：色度格式藉由替換映射表條目的一些值進行更新，以更精確地轉換色度塊的預測角度。
解碼器側幀內模式推導（ Decoder Side Intra Mode Derivation ，簡稱 DIMD ）
當DIMD被使用時，兩個幀內模式從重構的相鄰樣本導出，以及這兩個預測子與平面模式預測子組合，該平面模式預測子具有從梯度導出的權重。DIMD模式用作替換的預測模式，並始終在高複雜度RDO模式下進行檢查。
為了隱式地導出塊的幀內預測模式，在編碼器和解碼器側執行紋理梯度分析。此處理從具有65個條目的空梯度長條圖（Histogram，簡稱HoG）開始，對應於65個角度模式。這些條目的振幅在紋理梯度分析期間被決定。
在第一步中，DIMD分別從當前塊的左側和上方選取T＝3列和行的範本。該區域用作基於梯度的幀內預測模式推導的參考。
在第二步中，水平和垂直索貝爾（Sobel）濾波器應用於所有3×3視窗位置，以範本中線的像素為中心。在每個視窗位置，索貝爾（Sobel）濾波器計算純水平和垂直方向的強度分別為 G x 和 G y 。然後，視窗的紋理角度計算為： （10）
這可以被轉換成65個角幀內預測模式之一。一旦當前視窗的幀內預測模式索引被導出為 idx，其在HoG[idx]中的條目的幅度藉由以下加法更新： （11）
第17A-C圖示出在對範本中的所有像素位置應用上述操作之後計算的HoG的示例。第17A圖示出當前塊1710的選擇的範本1720的示例。範本1720包括當前塊上方的T行和當前塊左側的T列。對於當前塊的幀內預測，當前塊上方和左側的區域1730對應於重構區域，而塊下方和右側的區域1740對應於不可用區域。第17B圖示出T＝3的示例以及HoG是對中間行中的像素1760和中間列中的像素1762進行的計算。例如，對於像素1752，3x3視窗1750被使用。第17C圖示出對於如從等式（10）決定的角度幀內預測模式的基於等式（11）計算的振幅（ampl）的示例。
一旦HoG被計算出，具有兩個最高長條圖條的索引被選擇作為塊的兩個隱式導出的幀內預測模式，以及進一步與平面模式組合作為DIMD模式的預測。預測融合被應用為上述三個預測子的加權平均。為此，平面的權重固定為 21/64（~1/3）。然後剩餘的權重43/64（~2/3）在兩個HoG IPM之間共用，與它們的HoG條的振幅成比例。第18圖示出混合處理的示例。如第18圖所示，兩個幀內模式（M1 1812和M2 1814）根據具有長條圖條1810的兩個最高條的索引進行選擇。三個預測子（1840，1842和1844）用於形成混合預測。三個預測子對應於將M1，M2和平面幀內模式（分別為1820，1822和1824）應用到參考像素1830以形成相應的預測子。三個預測子由相應的加權因數（ ）1850 加權。加權預測變子使用加法器1852求和以生成混合預測子1860。
此外，兩個隱式導出的幀內模式被包括在MPM列表中，使得在構建MPM列表之前執行DIMD處理。DIMD塊的主要導出幀內模式與塊一起被存儲，並用於相鄰塊的MPM列表構建。
基於範本的幀內模式推導（ Template-based Intra Mode Derivation ，簡稱 TIMD ）
基於範本的幀內模式推導（Template-based Intra Mode Derivation，簡稱TIMD）模式在編碼器和解碼器處使用相鄰範本隱式地導出CU的幀內預測模式，而不是將幀內預測模式發送至解碼器。如第19圖所示，當前塊1910的範本預測樣本（1912和1914）使用每個候選模式的範本的參考樣本（1920和1922)生成。成本被計算為範本的預測樣本和重構樣本之間的絕對轉換差值之和（Sum of Absolute Transformed Differences，簡稱SATD）。成本最小的幀內預測模式被選擇作為DIMD模式以及用於CU的幀內預測。候選模式可以是如VVC中的67種幀內預測模式或擴展到131種幀內預測模式。通常，MPM可以提供線索來指示CU的方向資訊。因此，為了減少幀內模式搜索空間以及利用CU的特性，幀內預測模式可以從MPM列表中隱式地導出。
對於MPM中的每個幀內預測模式，範本的預測和重構樣本之間的SATD被計算。具有最小SATD的前兩種幀內預測模式被選擇作為TIMD模式。這兩種TIMD模式在應用PDPC處理後與權重融合，這種加權的幀內預測用於對當前CU進行編解碼。位置相關幀內預測組合（position dependent intra prediction combination，簡稱PDPC）包含在TIMD模式的推導中。
將兩種選擇模式的成本與閾值進行比較，在測試中，成本因數2應用如下： costMode2 ＜ 2*costMode1.
如果該條件為真，則融合被應用，否則僅模式1被使用。模式的權重根據其SATD成本計算如下： weight1 = costMode2/(costMode1+ costMode2) weight2 = 1 - weight1.
為了提高視訊編解碼效率，越來越多的編解碼工具被設計用於生成/細化幀內和/或幀間塊的預測子。這裡的幀內和/或幀間在標準中用模式類型定義。例如，幀內是指模式類型幀內，幀間是指模式類型幀間。所提出的方法不限於用於改進具有傳統模式類型的塊，以及可以用於具有標準中定義的任一模式類型的塊。對於傳統機制，幀間模式利用時間資訊來預測當前塊，以及對於幀內塊，空間上相鄰的參考樣本用於預測當前塊。在本發明中，編解碼工具使用交叉分量資訊來預測或進一步改進當前塊的預測子。編解碼工具的概念描述如下。 — 首先，當前塊的顏色分量（例如Y、Cb和Cr）被分成幾組，以及一個顏色分量被選擇作為每組的代表顏色分量。 O 在一實施例中，Y在第一組中，Cb和Cr在第二組中。例如，Y是第一組的代表顏色分量。又例如，Cb和Cr中的一個為第二組的代表顏色分量。又例如，對於第二組，來自代表顏色分量的資訊是來自Cb和Cr的平均資訊。 O 在另一實施例中，Y在第一組中，Cb在第二組中，以及Cr在第三組中。第一組，第二組和第三組的代表顔色分量分別是Y，Cb和Cr。 O 在另一實施例中，Cb在第一組中，以及Cr在第二組中。第一組和第二組的代表顏色分量分別是Cb和Cr。 — 其次，第一代表顏色分量和第二（或第三）代表顏色分量的相鄰樣本（可以是相鄰的重構或預測樣本）用於生成模型參數。 O 在另一實施例中，模型是線性模型以及模型參數包括α和β。 — 第三，對當前塊（可以是當前重構或當前預測樣本）內的樣本（屬於第一組）執行模型參數以獲得第二（或第三）設置。 O 如果第一組用於亮度分量而第二（或第三）組用於色度分量，則下採樣處理被應用於第一組。 — 在另一子實施例中，交叉分量預測子可以是第二（或第三）組的最終預測子。 — 在另一子實施例中，交叉分量預測子與第二（或第三）組的現有預測子混合。這是在現有預測假設之上混合一個額外的預測假設的示例。所提出的方法不僅限於混合一個額外的預測假設，還可以擴展到混合多個預測假設。 O O 例如，w1和w2可以基於樣本。每個樣本都有自己的權重。當範本匹配設置被使用時，一個預測是從上方範本中建議，另一個預測是從左側的範本中建議。權重取決於當前樣本與上方範本之間的距離和/或當前樣本與左側範本之間的距離。接近上方範本的樣本對於上方範本建議的候選的預測具有更高的權重。靠近左側範本的樣本對於左側範本建議的候選的預測具有更高的權重。所提出的方法可用於邊界匹配設置和/或模型精度設置。在一個實施例中，P existing由子範本建議的一種模式生成，P由另一子範本建議的另一種模式生成。在另一實施例中，P existing由信令指示，以及多個P由子範本建議的多個模式生成。 O 再例如，w1和w2對於當前塊是統一的。權重取決於P和P existing的成本。當範本匹配設置被使用時，具有較小範本匹配成本的預測具有較高的權重。當邊界匹配設置被使用時，具有較小邊界匹配成本的預測具有較高的權重。當模型精度設置被使用時，失真較小的預測具有較高的權重。在一實施例中，P existing是具有最小範本匹配成本（或邊界匹配成本/模型精度失真）的模式和/或P是具有第二小範本匹配成本（或邊界匹配成本/模型精度失真）的模式。當更多的預測假設被混合時，更多具有小範本匹配成本（或邊界匹配成本/模型精度失真）的模式將被使用。在另一實施例中，P existing由信令指示，以及建議的設置用於決定權重和/或要混合的一個或多個P。 O 再例如，w1和w2取決於相鄰塊。當相鄰幀內（或CCLM）塊的數量多於相鄰幀間（或非幀內或非CCLM）塊的數量時，w2大於w1。 ▪ 相鄰塊是指頂部和左側的相鄰塊。 ▪ 相鄰塊表示當前塊左側和頂部周圍的任一預定的4x4塊。
在上面的示例中，最終預測子（即 ）包括第一預測子的一部分（即 ）和所述至少一個第二預測子的一部分（即，w2·P）。在一個實施例中，P existing來自交叉分量模式。在另一實施例中，P existing是幀內預測，幀間預測或第三類預測。P existing的預測類型暗示當前塊的模式類型。當P existing為幀內預測時，當前塊為模式類型幀内。當P existing為幀間預測時，當前塊為模式類型幀間。當P existing為第三類型預測時，當前塊為第三模式類型。第三種預測可以藉由使用幀內塊複製方案來生成，以藉由（1）位移向量（被稱為塊向量或BV），用於指示從當前塊的位置到參考塊的位置的相對位移和/或（2）範本匹配機制，用於在預定搜索區域中搜索參考塊，和/或第三模式類型，可以指幀內塊複製（intra block copy，簡稱IBC）或特殊的幀內模式類型，例如幀內範本匹配預測（幀內TMP）。雖然具體的等式被用來說明組合兩個預測子以形成最終的預測子，但不應將具體形式理解為對本發明的限制。例如，可以在移位操作（即，“＞＞d”）之前將偏移量添加到第一預測子和第二預測子的加權和。此外，w1和w2可以表示為 w1(i,j)和 w2(i,j)，因為在一個實施例中w1和w2可以基於樣本。
在另一子實施例中，編解碼工具對應於CCLM或MMLM。
在另一子實施例中，編解碼工具對應於利用交叉分量資訊來改進當前塊的預測子的工具。編解碼工具可以包括各種候選模式。不同的模式可以使用不同的方式來推導模型參數。例如，編解碼工具對應於CCLM，候選模式對應於CCLM_LT、CCLM_L、CCLM_T或以上的任一組合。又例如，編解碼工具對應於MMLM以及候選模式對應於MMLM_LT、MMLM_L、MMLM_T或以上的任一組合。又例如，編解碼工具對應於LM系列（包括CCLM和MMLM），候選模式對應於CCLM_LT、CCLM_L、CCLM_T、MMLM_LT、MMLM_L、MMLM_T或以上任一組合。例如，卷積交叉分量模式（convolutional cross-component mode，簡稱CCCM）是一種交叉組件模式。當該交叉分量模式應用於當前塊時，具有一個或多個模型的交叉分量資訊（包括非線性項和/或使用預定回歸方法推導）被用於生成色度預測。這種交叉分量模式可以遵循CCLM的範本選擇，因此CCCM 系列包括CCCM_LT CCCM_L 和/或 CCCM_T。再例如，使用亮度樣本梯度來預測色度樣本的梯度線性模型（gradient linear model，簡稱GLM）是一種交叉分量模式。GLM模式的候選可以指的是不同的梯度濾波器和/或GLM的不同變體。不同的GLM變體可以使用一種或多種二參數模型和/或一種或多種三參數模型。當使用二參數GLM時，亮度樣本梯度用於推導線性模型。使用三參數GLM時，色度樣本可以基於亮度樣本梯度和具有不同參數的下採樣亮度值來預測。三參數GLM的模型參數作為CCCM的預定回歸方法導出。預定回歸方法的一個例子是藉由基於分解的最小化方法使用6行和6列的相鄰樣本。又如，對於交叉分量模式，不同的候選是指不同的下採樣處理（例如下採樣濾波器）。也就是說，對於交叉分量模式，首先亮度樣本使用選定的下採樣濾波器進行下採樣，然後用於導出模型參數和/或預測色度樣本。當應用範本匹配設置（或邊界匹配設置/模型精度設置）來選擇下採樣濾波器時，範本（或邊界）包括與當前色度塊上方相鄰的N1行相鄰樣本和/或與當前色度塊左側相鄰的N2行相鄰樣本被預先定義，用於測量每個候選濾波器的成本。一個候選濾波器的成本是基於預定範本（template）（或邊界）中重構的色度樣本和該候選濾波器的相應預測子而得出。最後，成本最小的候選濾波器被選擇作為下採樣濾波器以生成當前塊的預測。N1和N2是任一預先定義的整數，例如1、2、4、8，或取決於塊寬度、塊高度和/或塊面積的適應性調整值。N1和/或N2的更多行設置可以參考邊界匹配設置部分中對n和/或m行的描述。
在另一實施例中，顯式規則用於決定是啟用還是禁用編解碼工具和/或當編解碼工具被啟用時，顯式規則用於決定候選模式。例如，標誌在塊級別發送/解析。如果標誌為真，則編解碼工具應用於當前塊；否則，對當前塊禁用編解碼工具。
在另一實施例中，隱式規則用於決定是啟用還是禁用編解碼工具和/或當編解碼工具被啟用時隱式規則用於決定候選模式。例如，隱式規則取決於範本匹配設置，邊界匹配設置或模型精度設置。
在另一實施例中，Cb和Cr可以使用不同的候選模式。
在另一實施例中，幀內塊和幀間塊的隱式規則可以被統一。例如，當範本設置用作隱式規則時，幀間塊的範本設置的推導處理與幀內塊（例如TIMD塊）的處理統一。
在另一實施例中，在範本匹配和/或邊界匹配和/或模型精度中使用的閾值可以取決於當前塊的塊大小，序列解析度，相鄰塊和/或QP。
範本 - 匹配設置步驟 0：當範本匹配設置被使用時，每個候選模式的模型參數基於亮度和色度範本的參考樣本推導，然後導出的模型參數在當前的範本（即相鄰區域）上被執行。第20圖示出用於導出模型參數和失真的亮度和色度的範本和範本的參考樣本的示例。在第20圖中，塊2010表示當前色度塊（Cb或Cr）以及塊2020表示相應的亮度塊。區域2012對應於色度範本，區域2014對應於色度範本的參考樣本。區域2022對應於亮度範本，區域2024對應於亮度範本的參考樣本。 以LM系列為例如下： — 不同的模型參數由不同的LM模式（即候選集）導出。 O 藉由使用亮度和色度範本的參考樣本（重構或預測樣本）來導出模型參數（例如alpha和beta），從而導出每個LM模式（即每個候選模式）的模型參數。 O 然後，導出的模型參數可以包括各個候選模式： § alpha CCLM_LT_cb, beta CCLM_LT_cb, alpha CCLM_LT_cr, beta CCLM_LT_cr§ alpha CCLM_L_cb, beta CCLM_L_cb, alpha CCLM_L_cr, beta CCLM_L_cr§ alpha CCLM_T_cb, beta CCLM_T_cb, alpha CCLM_T_cr, beta CCLM_T_cr§ alpha MMLM_LT_cb, beta MMLM_LT_cb, alpha MMLM_LT_cr, beta MMLM_LT_cr§ alpha MMLM_L_cb, beta MMLM_L_cb, alpha MMLM_L_cr, beta MMLM_L_cr§ alpha MMLM_T_cb, beta MMLM_T_cb, alpha MMLM_T_cr, beta MMLM_T_cr步驟1：將當前塊範本上的重構樣本作為黃金資料（即待比較或匹配的目標資料）。 步驟2：對於每個候選模式，將導出的模型參數應用於相應亮度塊的範本，以獲得當前色度塊範本內的預測樣本步驟3：對於每個候選模式，計算範本上的黃金資料和預測樣本之間的失真。 步驟4：根據計算出的失真決定當前塊的模式。 — 在另一子實施例中，具有最小失真的候選模式被選擇並被用於當前塊。 — 在另一子實施例中，具有最小失真的候選模式的模型參數被選擇並被用於當前塊。 — 在另一子實施例中，關於編解碼工具的啟用條件，當最小失真小於預定閾值時，編解碼工具可以被應用於當前塊。 O 比如，預定閾值是T*範本區域。： § T可以是任一浮點值或1/N。（N可以是任意正整數） § 範本區域被設置為範本寬度*當前塊高度+範本高度*當前塊寬度。 O 對於另一例子，預定閾值是當前塊範本的重構樣本與從預設模式（原始模式，未使用建議的編解碼工具改進）生成的範本的預測樣本之間的失真。當交叉分量預測用於細化幀間預測時，預設模式是原始幀間模式，可以是常規，合併候選，AMVP 候選，仿射候選，GPM候選或合併候選中的任一。 — 在另一子實施例中， O 如果Cb的最小失真小於預定閾值，則具有最小失真的候選模式被用於Cb。 O 否則，沒有候選模式可以被應用於Cb。 O 如果Cr的最小失真小於預定閾值，則具有最小失真的候選模式被用於Cr。 O 否則，沒有候選模式可以被應用於Cr。 — 在另一子實施例中，同時決定是否對Cb和Cr應用任一候選模式。（以LM為例，當LM應用於Cb時，LM也應用於Cr。） O 如果Cb的最小失真和Cr的最小失真小於預定閾值，則LM被應用於Cb和Cr。 O 否則，LM不適用於Cb和Cr。 O 如果Cb的最小失真或Cr的最小失真小於預定閾值，則LM被應用於Cb和Cr。 O 否則，LM不適用於Cb和Cr。 — 在另一實施例中，範本大小可以根據邊界匹配設置中的描述進行調整。（例如邊界匹配設置部分中對n和/或m行的描述）
如以上基於TM的方法中所述，包括第二顏色塊的所選相鄰樣本的第二顏色範本和包括第一顏色塊的相應相鄰樣本的第一顏色範本被決定。例如，第一顏色可以是亮度訊號，第二顏色可以是色度分量之一或兩者。在另一示例中，第一顏色可以是色度分量中的一個（例如Cb/Cr）以及第二顏色可以是色度分量中的另一個（例如Cr/Cb）。基於第一顏色範本的參考樣本和第二顏色範本的參考樣本，對候選集的每個預測模型決定一組模型參數（例如α和β）。候選集可以包括從CCLM_TL，CCLM_T，CCLM_L，MMLM_TL，MMLM_T和MMLM_L中選擇的一些模式。第20圖中示出範本的示例。然而，範本可以僅包括頂部範本，僅包括左側範本或包括頂部範本和左側範本。在另一示例中，範本選擇可以取決於當前塊的編解碼模式資訊或候選集中的候選的候選類型。
邊界匹配設置
如第21圖所示，當邊界匹配設置被使用時，候選模式的邊界匹配成本是指從候選模式生成的當前預測（即，當前塊內的預測樣本）與相鄰重構（即一個或多個相鄰塊內的重構樣本）之間的不連續性測量（包括頂部邊界匹配和/或左邊界匹配），其中 pred i,j 指預測塊， reco i,j 指相鄰重構塊，以及塊2110（如粗線框所示）對應於當前塊。頂部邊界匹配是指當前頂部預測樣本與相鄰頂部重構樣本之間的比較，左側邊界匹配是指當前左側預測樣本與相鄰左側重構樣本之間的比較。
在另一子實施例中，具有最小邊界匹配成本的候選模式被應用於當前塊。
在另一子實施例中，關於編解碼工具的啟用條件，當最小邊界匹配成本小於預定閾值時，編解碼工具被應用於當前塊。例如，預定閾值是預設模式（例如原始模式，未使用建議的編解碼工具改進）的邊界匹配成本。當交叉分量預測被用於細化幀間預測時，預設模式是原始幀間模式，可以是常規，合併候選，AMVP 候選，仿射候選，GPM 候選或合併候選中的任一。 - 在另一子實施例中， O 如果Cb的最小失真小於預定閾值，則具有最小失真的候選模式被用於Cb。 O 否則，沒有候選模式可以被應用於Cb。 O 如果Cr的最小失真小於預定閾值，則具有最小失真的候選模式被用於Cr。 O 否則，沒有候選模式可以被應用於Cr。 - 在另一子實施例中，同時決定是否對Cb和Cr應用任一候選模式。（以LM為例，當LM應用於Cb時，LM也應用於Cr。） O 如果Cb和Cr的最小失真小於預定閾值，則LM被應用於Cb和Cr。 O 否則，LM不適用於Cb和Cr。 O 如果Cb的最小失真或Cr的最小失真小於預定閾值，則LM被應用於Cb和Cr。 O 否則，LM不用於Cb和Cr。
在一實施例中，當前預測的預定子集被用來計算邊界匹配成本。當前塊內頂部邊界的n行和/或當前塊內左側邊界的m行被使用。（此外，頂部相鄰重構的n2行和/或左側相鄰重構的m2行被使用。）
在計算邊界匹配成本的示例中，n = 2, m = 2, n2 = 2, m2 = 2:
在上式中，權重（a、b、c、d、e、f、g、h、i、j、k、l）可以是任一正整數，例如a = 2，b = 1， c = 1，d = 2，e = 1，f = 1，g = 2，h = 1，i = 1，j = 2，k = 1，l = 1。
在另一個計算邊界匹配成本的例子中，n = 2, m = 2, n2 = 1 和 m2 = 1:
在上式中，權重（a，b，c，g，h和i）可以是任意正整數，例如a = 2，b = 1，c = 1，g = 2，h = 1，以及i= 1。
在計算邊界匹配成本的又一示例中，n = 1，m = 1，n2 = 2和m2 = 2:
在上式中，權重（d，e，f，j，k和l）可以是任何正整數，例如d = 2，e = 1，f = 1，j = 2，k = 1，l = 1。
在計算邊界匹配成本的又一示例中，n = 1，m = 1，n2 = 1和m2 = 1:
在上述等式中，權重（a，c，g和i）可以是任意正整數，例如a = 1，c = 1，g = 1和i = 1。
在計算邊界匹配成本的又一示例中，n = 2，m = 1，n2 = 2和m2 = 1:
在上式中，權重（a，b，c，d，e，f，g和i）可以是任意正整數，例如a = 2，b = 1，c = 1，d = 2，e = 1，f = 1，g = 1，i = 1。
在計算邊界匹配成本的又一示例中，n = 1，m = 2，n2 = 1和m2 = 2:
在上式中，權重（a、c、g、h、i、j、k和l）可以是任意正整數，例如a = 1，c = 1，g = 2，h = 1，i = 1，j = 2，k = 1，l = 1。 （以下對n和m的示例也可以應用於n2和m2。）
對於另一個例子，n可以是任一正整數，例如1，2，3，4等。
對於另一個例子，m可以是任一正整數，例如1，2，3，4等。
對於另一個例子，n和/或m隨塊寬度，高度或面積而變化。在一個實施例中，m對於更大的塊變得更大（例如面積＞閾值2）。例如， O 閾值2 = 64，128或256。 O 當面積＞閾值2時，m增加到2。（最初，m是1。） O 當面積＞閾值2時，m增加到4。（最初，m是1或2。）
在另一個示例中，對於更高的塊，m變大和/或n變小（例如，高度＞閾值2*寬度）。例如， O 閾值2 = 1，2或4。 O 當高度＞閾值2*寬度時，m增加到2。（最初，m是1。） O 當高度＞閾值2*寬度時，m增加到4。（最初，m是1或2。）
在另一個實施例中，對於更大的塊（面積＞閾值2）n變得更大。 O 閾值2 = 64，128或256。 O 當面積＞閾值2時，n增加到2。（最初，n為1。） O 當面積＞閾值2時，n增加到4。（最初，n為1或2。）
在另一個實施例中，對於更寬的塊（寬度＞閾值2*高度）n變大和/或m變小。例如， O 閾值2 = 1，2或4。 O 當寬度＞閾值2 *高度時，n增加到2。（最初，n是1。） O 當寬度＞閾值2 *高度時，n增加到4。（最初，n是1或2。）
如以上基於邊界匹配的方法中所述，候選集的每個預測模型的成本對應於邊界匹配成本，邊界匹配成本用於測量第二顏色塊的預測樣本與第二顏色的相鄰重構樣本之間的不連續性。第二顔色塊的預測樣本基於第一顔色塊使用對每個預測模型決定的模型參數集導出。例如，第一顏色可以是亮度訊號，第二顏色可以是色度分量之一或兩者。在另一示例中，第一顏色可以是色度分量中的一個（例如Cb/Cr）以及第二顏色可以是色度分量中的另一個（例如Cr/Cb）。該模型參數集可以包括阿爾法和貝塔（alpha和beta）。候選集可以包括從CCLM_TL，CCLM_T，CCLM_L，MMLM_TL，MMLM_T和MMLM_L中選擇的一些模式。第21圖中示出了邊界的示例。然而，邊界可以僅包括頂部邊界、僅包括左邊界或包括頂部邊界和左邊界。在另一示例中，邊界選擇可以取決於當前塊的編解碼模式資訊或候選集中的候選的候選類型。
模型精度設置步驟0：當模型精度設置被使用時，每個候選模式的模型參數在當前塊的範本（即相鄰區域）上執行。第22圖示出用於導出模型參數和失真的亮度和色度的範本的示例。在第22圖中，塊2210表示當前色度塊（Cb或Cr）以及塊2220表示相應的亮度塊。區域2212對應於色度範本。區域2222對應於亮度範本。以LM系列為例。 — 不同的模型參數由不同的LM模式導出。 O 藉由使用相鄰的重構亮度樣本和相鄰的重構色度樣本來應用每個LM模式以獲得模型參數（即alpha和beta）。 O 然後，各個候選模式的導出的模型參數可以包括： § alpha CCLM_LT_cb, beta CCLM_LT_cb, alpha CCLM_LT_cr, beta CCLM_LT_cr§ alpha CCLM_L_cb, beta CCLM_L_cb, alpha CCLM_L_cr, beta CCLM_L_cr§ alpha CCLM_T_cb, beta CCLM_T_cb, alpha CCLM_T_cr, beta CCLM_T_cr§ alpha MMLM_LT_cb, beta MMLM_LT_cb, alpha MMLM_LT_cr, beta MMLM_LT_cr§ alpha MMLM_L_cb, beta MMLM_L_cb, alpha MMLM_L_cr, beta MMLM_L_cr§ alpha MMLM_T_cb, beta MMLM_T_cb, alpha MMLM_T_cr, beta MMLM_T_cr步驟1：將當前塊範本的重構樣本作為黃金資料。 步驟2：對於每個候選模式，將導出的模型參數應用於相應亮度塊範本內的重構/預測樣本，以獲得當前色度塊範本內的預測樣本 步驟3：對於每個候選模式，計算範本上的黃金資料和預測樣本之間的失真。
步驟3中計算失真的方式有很多種，在一個實施例中，失真計算中使用的範本是用於模型參數推導的範本。在另一實施例中，範本選擇可以取決於當前塊的編解碼模式資訊或候選集中的候選的候選類型。
例如，對於CCLM_LT/MMLM_LT，失真計算中使用的範本是包含左側範本和頂部範本的範本。
在另一示例中，對於CCLM_L/MMLM_L，在失真計算中使用的範本是包括左側範本的範本。
在另一示例中，對於CCLM_T/MMLM_T，在失真計算中使用的範本是包括頂部範本的範本。
在另一個實施例中，在失真計算中使用的範本是包括左側範本和頂部範本的範本。 步驟4：根據計算出的失真決定當前塊的模式。 — 在另一子實施例中，具有最小失真的候選模式被用於當前塊。 — 在另一子實施例中，關於編解碼工具的啟用條件，當最小失真小於預定閾值時，編解碼工具被應用於當前塊。 — 例如，預定閾值是T*範本區域。 O T可以是任一浮點值或1/N（N可以是任一正整數）。 O 範本區域被設置為範本寬度*當前塊高度+範本高度*當前塊寬度。 — 例如，預定閾值是當前塊範本的重構樣本與從預設模式生成的範本的預測樣本之間的失真。當交叉分量預測用於細化幀間預測時，預設模式是原始幀間模式，可以是常規，合併候選，AMVP候選，仿射候選，GPM候選或合併候選中的任一。 — 在另一子實施例中， O 如果Cb的最小失真小於預定閾值，則具有最小失真的候選模式被用於Cb。 O 否則，沒有候選模式可以被應用於Cb。 O 如果Cr的最小失真小於預定閾值，則具有最小失真的候選模式被用於Cr。 O 否則，沒有候選模式可以被應用於Cr — 在另一子實施例中，同時決定是否對Cb和Cr應用任一候選模式。（以LM為例，當LM應用於Cb時，LM也應用於cr。） O 如果Cb的最小失真和Cr的最小失真小於預定閾值，則LM被應用於Cb和Cr。 O 否則，LM不被用於Cb和Cr。 O 如果Cb的最小失真或Cr的最小失真小於預定閾值，則LM被應用於Cb和 Cr。 O 否則，LM不被用於Cb和Cr。
如上述基於模型精度的方法中所述，包括第二顏色塊的選定相鄰樣本的第二顏色範本和包括第一顏色塊的相應相鄰樣本的第一顏色範本被決定。例如，第一顏色可以是亮度訊號，第二顏色可以是色度分量之一或兩者。在另一示例中，第一顏色可以是色度分量中的一個（例如Cb/Cr）以及第二顏色可以是色度分量中的另一個（例如Cr/Cb）。候選集的每個預測模型的模型參數集基於第二顏色範本和第一顏色範本被決定，以及其中候選集的每個預測模型的成本基於第二顏色範本的重構樣本和預測樣本被決定。第二顏色範本的預測樣本藉由將對每個預測模型決定的所述一個或多個模型參數應用到第一顏色範本而導出。
本發明中提出的方法可以根據隱式規則（例如塊寬度、高度或面積）或根據顯式規則（例如塊，圖塊，片段，圖片，序列參數集合（Sequance Parameter Set）或圖片參數集合（Picture Parameter Set）級別中的語法）被啟用和/或禁用。例如，當塊寬度，高度和/或面積小於閾值時，所提出的方法被應用。例如，當塊寬度，高度和/或面積大於閾值時，所提出的方法被應用。
本發明中的術語“塊”可以指代TU/TB，CU/CB，PU/PB，預定區域或CTU/CTB。以下是當前塊引用CU的示例。在單樹分割中，當前塊是指包含Y，Cb和Cr的CU。當所提出的方法用於色度分量以改進預測時，相應的亮度分量可以保持不變。也就是說，如果當前CU是幀間或IBC模式類型，則亮度分量仍然採用運動補償或幀內塊複製方案來生成亮度預測。在雙樹分割中，對於亮度雙樹，一個亮度CU包含Y，對於色度雙樹，當前塊指的是包含Cb和Cr的一個色度CU。
本發明中的術語“LM”可以被視為CCLM/MMLM模式中的一種模式或CCLM的任一其他擴展/變體（例如本發明中提出的CCLM擴展/變體）。
本發明中提出的方法（用於CCLM）可以用於任一其他LM模式。
本發明中提出的方法的任一組合可以被應用。
任一前述提出的用於使用混合預測子的編解碼工具的隱式交叉分量預測方法可以在編碼器和/或解碼器中實現。例如，混合預測子對應於兩個交叉分量幀內或幀間預測子，其可以在編碼器的幀間/幀內/預測模組和/或解碼器的幀間/幀內/預測模組中實現。例如，在編碼器側，所需的處理可以作為如第1A所示的幀間預測單元112或幀内預測單元110的一部分來實現。然而，編碼器也可以使用額外的處理單元來實現所需的處理。對於解碼器側，所需的處理可以作為如第1B圖所示的MC單元152或幀内預測150的一部分來實現。然而，解碼器也可以使用額外的處理單元來實現所需的處理。或者，所提出的任一方法都可以實現為耦合到編碼器的幀間/幀內/預測模組和/或解碼器的幀間/幀內/預測模組的電路，以便提供幀間/幀內/預測模組所需的資訊。儘管編碼器側的幀間預測112和幀內預測110以及在解碼器側的MC 152和幀内預測150個被示為單獨的處理單元，它們可以對應於存儲在諸如硬碟或快閃記憶體之類的介質上的可執行軟體或韌體代碼，用於中央處理單元（Central Processing Unit，簡稱）或可程式設計設備（例如數位訊號處理器（Digital Signal Processor）或現場可程式設計閘陣列（Field Programmble Gate Array，簡稱FPGA））。
第23圖示出根據本發明實施例的利用混合預測子的示例性視訊編解碼系統的流程圖。流程圖中所示的步驟可以實現為可在編碼器側的一個或多個處理器（例如，一個或多個CPU）上執行的程式碼。流程圖中所示的步驟也可以基於硬體來實現，諸如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。根據該方法，在步驟2310，第一顏色塊和包括第二顏色塊的當前塊相關聯的輸入資料被接收，其中輸入資料包括將在編碼器側編碼的當前塊的像素資料或將在解碼器側解碼的與當前塊相關聯的已編解碼資料。在步驟2320中，第二顏色塊的第一預測子被決定，其中第一預測子對應於當前塊的預測樣本的所有樣本或一個子集。在步驟2330中，第二顔色塊的至少一個第二預測子基於第一顏色塊被決定，其中藉由使用第二顏色塊的一個或多個相鄰樣本和/或第一顏色塊的一個或多個相鄰樣本，與對應於所述至少一個第二預測子的至少一個目標預測模型相關聯的一個或多個目標模型參數被隱式地導出，以及其中所述至少一個第二預測子對應於當前塊的預測樣本的所有樣本或一個子集。在步驟2340中，最終預測子被生成，其中最終預測子包括第一預測子的一部分和所述至少一個第二預測子的一部分。在步驟2350中，與第二顏色塊相關聯的輸入資料使用包括最終預測子的預測資料進行編碼或解碼。
所示流程圖旨在說明根據本發明的視訊編解碼的示例。本領域技術人員在不脫離本發明的精神的情況下，可以修改每個步驟，重新排列步驟，拆分步驟或組合步驟來實施本發明。在本公開中，特定的語法和語義被用來說明示例以實現本發明的實施例。技術人員可藉由用等效的語法和語義代替上述語法和語義來實施本發明，而不背離本發明的精神。
呈現上述描述是為了使本領域普通技術人員能夠實施在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於本領域技術人員來說將是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。因此，本發明不旨在限於所示和描述的特定實施例，而是要符合與本文公開的原理和新穎特徵相一致的最寬範圍。在以上詳細描述中，為了提供對本發明的透徹理解，說明了各種具體細節。然而，本領域的技術人員將理解，本發明可被實施。
如上所述的本發明的實施例可以以各種硬體，軟體代碼或兩者的組合來實現。例如，本發明的一個實施例可以是集成到視訊壓縮晶片中的一個或多個電路電路或集成到視訊壓縮軟體中以執行本文描述的處理的程式碼。本發明的實施例還可以是要在數位訊號處理器（Digital Signal Processor，簡稱DSP）上執行以執行這裡描述的處理的程式碼。本發明還可以涉及由電腦處理器，數位訊號處理器，微處理器或現場可程式設計閘陣列（field programmable gate array，簡稱FPGA）執行的許多功能。這些處理器可以被配置為藉由執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。軟體代碼或韌體代碼可以以不同的程式設計語言和不同的格式或樣式開發。軟體代碼也可以對不同的目標平臺進行編譯。然而，軟體代碼的不同代碼格式，風格和語言以及配置代碼以執行根據本發明的任務的其他方式將不脫離本發明的精神和範圍。
在不背離其精神或本質特徵的情況下，本發明可以以其他特定形式體現。所描述的示例在所有方面都僅被認為是說明性的而不是限制性的。因此，本發明的範圍由所附申請專利範圍而不是由前述描述指示。在申請專利範圍的等效含義和範圍內的所有變化都應包含在其範圍內。
110:幀內預測 112:幀間預測 114:開關 116:加法器 118:變換 120:量化 122:熵編碼器 124:逆量化 126:逆變換 128:REC 130:環路濾波器 134:參考圖片緩衝器 136:預測資料 140:熵解碼器 150:幀內預測 152:MC 210:當前CU 410:當前CU 420:同位CU 430:縮放運動向量 440:運動向量 510:塊 610:L0參考塊 612:起點 620:L1參考塊 622:起點 710:塊 910:當前塊 920:CU 1010:當前塊 1110:行 1112:行 1120:圖例 1122:箭頭 1124:箭頭 1126:箭頭 1210:當前CU 1310:M×N色度塊 1320:2M×2N亮度塊 1610:樣本 1612:樣本 1620:樣本 1622:樣本 1710:當前塊 1720:範本 1730:區域 1740:區域 1750:3x3視窗 1752:像素 1760:像素 1762:像素 1810:長條圖條 1812:幀內模式 1814:幀內模式 1820:幀內模式 1822:幀內模式 1824:幀內模式 1830:參考像素 1840:預測子 1842:預測子 1844:預測子 1850:加權因數 1852:加法器 1860:混合預測子 1910:當前塊 1912:範本預測樣本 1914:範本預測樣本 1920:範本的參考樣本 1922:範本的參考樣本 2010:塊 2012:區域 2014:區域 2020:塊 2022:區域 2024:區域 2110:塊 2210:塊 2212:區域 2220:塊 2222:區域 2310、2320、2330、2340、2350:步驟
第1A圖示出包含迴圈處理的示例適應性幀間/幀內視訊編解碼系統。 第1B圖示出第1A圖中編碼器的相應解碼器。 第2圖示出用於導出VVC的空間合併候選的相鄰塊。 第3圖示出在VVC中考慮進行冗餘檢查的可能候選對。 第4圖示出時間候選推導的示例，其中縮放的運動向量根據圖片順序計數（Picture Order Count，簡稱POC）距離導出。 第5圖示出在候選C 0和C 1之間選擇的時間候選的位置。 第6圖示出根據具有MVD的合併模式（Merge Mode with MVD，簡稱MMVD）從起始MV在水平和垂直方向上的距離偏移。 第7A圖示出由兩個控制點（4參數）的運動資訊描述的塊的仿射運動場的示例。 第7B圖示出由三個控制點運動向量（6參數）的運動資訊描述的塊的仿射運動場的示例。 第8圖示出基於塊的仿射變換預測的示例，其中每個4×4亮度子塊的運動向量從控制點MV導出。 第9圖示出基於相鄰塊的控制點MV的繼承仿射候選的推導示例。 第10圖示出藉由結合來自空間相鄰和時間的每個控制點的平移運動資訊的仿射候選構建的示例。 第11圖示出用於運動資訊繼承的仿射運動資訊存儲的示例。 第12圖示出根據頂部和左側相鄰塊的編解碼模式的組合幀間和幀內預測（Combined Inter and Intra Prediction，簡稱CIIP）的權重值推導的示例。 第13圖示出使用相鄰色度樣本和相鄰亮度樣本的交叉分量線性模型（CCLM）的模型參數推導示例。 第14圖示出VVC視訊編解碼標準採用的幀內預測模式。 第15A-B圖示出廣角幀內預測的示例，其中寬度大於高度的塊（第15A圖）和高度大於寬度的塊（第15B圖）。 第16圖示出在廣角幀內預測的情況下使用兩個非相鄰參考樣本的兩個垂直相鄰預測樣本的示例。 第17A圖示出當前塊的選定範本的示例，其中範本包括當前塊上方的T行和當前塊左側的T列。 第17B圖示出T=3以及對中間行中的像素和中間列中的像素計算了梯度長條圖（Histogram of Gradient，簡稱HoG）的示例。 第17C圖示出角度幀內預測模式的振幅（amplitude，簡稱ampl）的示例。 第18圖示出混合處理的示例，其中兩個幀內模式（Ml和M2）和平面模式根據具有長條圖條的兩個最高條的索引被選擇。 第19圖示出基於範本的幀內模式導出（template-based intra mode derivation，簡稱TIMD）模式的示例，其中TIMD在編碼器和解碼器處使用相鄰範本隱式地導出CU的幀內預測模式。 第20圖示出用以導出模型參數和範本匹配失真的亮度和色度的範本和範本的參考樣本的示例。 第21圖示出邊界匹配的示例，其測量當前預測和相鄰重構之間的不連續性測量。 第22圖示出用於導出模型參數和範本匹配失真的亮度和色度範本的示例。 第23圖示出根據本發明實施例的利用混合預測子的示例性視訊編解碼系統的流程圖。
2310、2320、2330、2340、2350:步驟

Claims (23)

  1. 一種視訊編解碼方法，用於多個顔色圖片，該方法包括： 接收與一第一顏色塊和包括一第二顏色塊的一當前塊相關聯的輸入資料，其中該輸入資料包括該第一顏色塊和該當前塊的像素資料，該像素資料將在一編碼器側被編碼，或與該第一顔色塊和該當前塊相關聯的一已編解碼資料，該已編解碼資料將在一解碼器側被解碼； 決定該第二顏色塊的一第一預測子，其中該第一預測子對應於該當前塊的多個預測樣本的所有樣本或一子集； 基於該第一顏色塊決定該第二顏色塊的至少一個第二預測子，其中藉由使用該第二顏色塊的一個或多個相鄰樣本和/或該第一顏色塊的一個或多個相鄰樣本，與對應於該至少一個第二預測子的至少一個目標預測模型相關聯的一個或多個目標模型參數被隱式地導出，以及其中該至少一個第二預測子對應於該當前塊的該等預測樣本的所有樣本或一子集； 生成一最終預測子，其中該最終預測子包括該第一預測子的一部分和該至少一個第二預測子的一部分；以及 在該編碼器側使用包括該最終預測子的預測資料對與該第二顏色塊相關聯的該輸入資料進行編碼，或者在該解碼器側使用包括該最終預測子的該預測資料對與該第二顏色塊相關聯的該輸入資料進行解碼。
  2. 如請求項1所述之視訊編解碼方法，其中，該第一預測子對應於一幀内預測子。
  3. 如請求項1所述之視訊編解碼方法，其中，該第一預測子對應於一種交叉顏色預測子。
  4. 如請求項3所述之視訊編解碼方法，其中，該第一預測子基於CCLM_LT，CCLM_L或CCLM_T生成。
  5. 如請求項1所述之視訊編解碼方法，其中，該至少一個第二預測子基於多模型交叉分量線性模型模式生成。
  6. 如請求項1所述之視訊編解碼方法，其中，該第一預測子的該部分基於具有一第一權重的該第一預測子導出，以及該至少一個第二預測子的該部分基於具有至少一個第二權重的該至少一個第二預測子導出。
  7. 如請求項6所述之視訊編解碼方法，其中，該最終預測子作為該第一預測子的該部分和該至少一個第二預測子的該部分的一總和導出。
  8. 如請求項6所述之視訊編解碼方法，其中，該第一權重，該至少一個第二權重或兩者會藉由對該第二顔色塊的各個樣本進行推導而被決定。
  9. 如請求項1所述之視訊編解碼方法，其中，在該編碼器側一語法被發送以指示是否允許決定該至少一個第二預測子，生成該最終預測子以及使用包括該最終預測子的該預測資料對該當前塊進行編碼或解碼。
  10. 如請求項9所述之視訊編解碼方法，其中，在一塊級別，一圖塊級別，一片段級別，一圖片級別，一序列參數集合級別或以圖片參數集合級別，該語法在該編碼器側被發送或在該解碼器側被解析。
  11. 如請求項9所述之視訊編解碼方法，其中，當該當前塊使用一預定交叉顔色模式，該語法被發送以指示是否允許決定該至少一個第二預測子，生成該最終預測子以及使用包括該最終預測子的該預測資料對該當前塊進行編碼或解碼。
  12. 如請求項11所述之視訊編解碼方法，其中，該預定交叉顔色模式對應於CCLM_LT模式，CCLM_L模式或CCLM_T模式。
  13. 如請求項1所述之視訊編解碼方法，其中，是否允許決定該至少一個第二預測子，生成該最終預測子以及使用包括該最終預測子的該預測資料對該當前塊進行編碼或解碼被隱式地決定。
  14. 如請求項1所述之視訊編解碼方法，其中，一候選集的每個預測模型所對應的一個或多個模型參數被決定，以及該候選集的每個預測模型的一成本被評估，以及其中該候選集中實現一最小成本的一預測模型被選擇作為該至少一個目標預測模型，以及與該候選集中的實現該最小成本的該一個預測模型相關聯的該一個或多個模型參數被選擇作為該一個或多個目標模型參數。
  15. 如請求項13所述之視訊編解碼方法，其中，如果該最小成本低於一閾值，則決定該至少一個第二預測子，生成該最終預測子以及使用包括該最終預測子的該預測資料對該當前塊進行編碼或解碼被允許。
  16. 如請求項15所述之視訊編解碼方法，其中，該閾值取決於該當前塊的塊大小，序列解析度，相鄰塊，量化參數，或其任一組合。
  17. 如請求項14所述之視訊編解碼方法，其中，包括該第二顏色塊的多個選定相鄰樣本的一第二顏色範本和包括該第一顏色塊的多個相應相鄰樣本的一第一顏色範本被決定，基於該第一顏色範本的多個參考樣本和該第二顏色範本的多個參考樣本，該候選集的每個預測模型所對應的該一個或多個模型參數被決定，以及其中該候選集的每個預測模型的該成本基於該第二顏色範本的多個重構樣本和多個預測樣本被決定，以及該第二顏色範本的該等預測樣本藉由將對每個預測模型決定的該一個或多個模型參數應用到該第一顏色範本而導出。
  18. 如請求項17所述之視訊編解碼方法，其中，該第二顏色範本包括該第二顏色塊的多個頂部相鄰樣本，多個左側相鄰樣本或兩者，以及該第一顏色範本包括該第一顔色塊的多個頂部相鄰樣本，多個左側相鄰樣本，或兩者。
  19. 如請求項17所述之視訊編解碼方法，其中，該當前塊包括一Cr塊和一Cb塊，該第一顔色塊對應一Y塊以及該第二顔色塊對應該Cr塊或該Cb塊，其中當一語法指示決定該至少一個第二預測子，生成該最終預測子，以及使用包括該最終預測子的該預測資料對該當前塊進行編碼或解碼被允許用於該Cr塊和該Cb塊之一，然後決定該至少一個第二預測子，生成該最終預測子，以及使用包括該最終預測子的該預測資料對當前塊進行編碼或解碼也被允許用於該Cr塊和該Cb塊中的另一個。
  20. 如請求項14所述之視訊編解碼方法，其中，該候選集的每個預測模型的該成本對應於一邊界匹配成本，該邊界匹配成本用於測量該第二顏色塊的多個預測樣本和該第二顏色塊的多個相鄰重構樣本之間的不連續性，以及其中該第二顏色塊的該等預測樣本使用對每個預測模型決定的該一個或多個模型參數基於該第一顏色塊導出。
  21. 如請求項20所述之視訊編解碼方法，其中，該邊界匹配成本包括一頂部邊界匹配成本，一左側邊界匹配成本或兩者，該頂部邊界匹配成本用於在該第二顏色塊的多個頂部預測樣本與該第二顏色塊的多個相鄰頂部重構樣本之間進行比較，該左側邊界匹配成本用於在該第二顏色塊的多個左預測樣本與該第二顔色塊的多個相鄰左側重構樣本之間進行比較。
  22. 如請求項14所述之視訊編解碼方法，其中，包括該第二顏色塊的多個選定相鄰樣本的一第二顏色範本和包括該第一顏色塊的多個相應相鄰樣本的一第一顏色範本被決定，基於該第一顏色範本和該第二顏色範本，該候選集的每個預測模型所對應的該一個或多個模型參數被決定，以及其中該候選集的每個預測模型的該成本基於該第二顏色範本的多個重構樣本和多個預測樣本決定，以及該第二顏色範本的該等預測樣本藉由將對每個預測模型決定的該一個或多個模型參數應用到該第一顏色範本而導出。
  23. 一種用於視訊編解碼的裝置，該裝置包括一個或多個電子設備或處理器，被佈置成： 接收與一第一顏色塊和包括一第二顏色塊的一當前塊相關聯的輸入資料，其中該輸入資料包括該第一顏色塊和該當前塊的像素資料，該像素資料將在一編碼器側被編碼，或與該第一顔色塊和該當前塊相關聯的一已編解碼資料，該已編解碼資料將在一解碼器側被解碼； 決定該第二顏色塊的一第一預測子，其中該第一預測子對應於該當前塊的多個預測樣本的所有樣本或一子集； 基於該第一顏色塊決定該第二顏色塊的至少一個第二預測子，其中藉由使用該第二顏色塊的一個或多個相鄰樣本和/或該第一顏色塊的一個或多個相鄰樣本，與對應於該至少一個第二預測子的至少一個目標預測模型相關聯的一個或多個目標模型參數被隱式地導出，以及其中該至少一個第二預測子對應於該當前塊的該等預測樣本的所有樣本或一子集； 生成一最終預測子，其中該最終預測子包括該第一預測子的一部分和該至少一個第二預測子的一部分；以及 在該編碼器側使用包括該最終預測子的預測資料對與該第二顏色塊相關聯的該輸入資料進行編碼，或者在該解碼器側使用包括該最終預測子的該預測資料對與該第二顏色塊相關聯的該輸入資料進行解碼。
TW112113988A 2022-04-14 2023-04-14 視訊編碼解碼方法和裝置 TW202341738A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263330827P 2022-04-14 2022-04-14
US63/330,827 2022-04-14
WOPCT/CN2023/088010 2023-04-13
PCT/CN2023/088010 WO2023198142A1 (en) 2022-04-14 2023-04-13 Method and apparatus for implicit cross-component prediction in video coding system

Publications (1)

Publication Number Publication Date
TW202341738A true TW202341738A (zh) 2023-10-16

Family

ID=88329068

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112113988A TW202341738A (zh) 2022-04-14 2023-04-14 視訊編碼解碼方法和裝置

Country Status (2)

Country Link
TW (1) TW202341738A (zh)
WO (1) WO2023198142A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017143467A1 (en) * 2016-02-22 2017-08-31 Mediatek Singapore Pte. Ltd. Localized luma mode prediction inheritance for chroma coding
US11025903B2 (en) * 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode
US10757420B2 (en) * 2017-06-23 2020-08-25 Qualcomm Incorporated Combination of inter-prediction and intra-prediction in video coding
WO2020073864A1 (en) * 2018-10-08 2020-04-16 Huawei Technologies Co., Ltd. Intra prediction method and device
CN112840645B (zh) * 2018-10-10 2023-12-12 寰发股份有限公司 视频编码系统中组合多个预测子用于块预测的方法及装置
US11736713B2 (en) * 2018-11-14 2023-08-22 Tencent America LLC Constraint on affine model motion vector

Also Published As

Publication number Publication date
WO2023198142A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
JP7263529B2 (ja) デコーダ側精緻化ツールのサイズ選択アプリケーション
TWI792152B (zh) 視訊編解碼系統中的視訊處理方法和裝置
CN113796077B (zh) 视频编解码之亮度mpm列表导出的方法及装置
JP2024008948A (ja) 動き候補リスト構築プロセスの条件付き実行
TWI738292B (zh) 用於視頻編解碼系統的簡化仿射子塊處理的方法及裝置
TWI821103B (zh) 在視訊編解碼系統中使用邊界匹配進行重疊塊運動補償的方法和裝置
TW202329694A (zh) 視訊編解碼方法及裝置
TW202341738A (zh) 視訊編碼解碼方法和裝置
TWI830558B (zh) 視頻編解碼系統中多重假設預測的方法和裝置
TW202345594A (zh) 視訊編解碼方法和裝置
CN113545038A (zh) 依赖于尺寸的帧间编解码
CN113273208A (zh) 仿射预测模式的改进
TW202408234A (zh) 視訊編解碼系統中具有混合的跨分量預測的方法和裝置
TWI830334B (zh) 視頻編解碼系統中低延遲模板匹配的方法和裝置
TW202327351A (zh) 視頻編解碼系統中編解碼模式選擇的方法和裝置
TWI752488B (zh) 視訊編解碼之方法和裝置
WO2024083115A1 (en) Method and apparatus for blending intra and inter prediction in video coding system
TW202349958A (zh) 視頻編解碼的方法和裝置
WO2024016844A1 (en) Method and apparatus using affine motion estimation with control-point motion vector refinement
WO2024017188A1 (en) Method and apparatus for blending prediction in video coding system
TW202412525A (zh) 視訊編解碼系統中混合預測的方法和裝置
TW202341741A (zh) 視訊編解碼方法及相關裝置
TW202335496A (zh) 用於視頻編解碼系統幀間預測的方法和装置
TW202335495A (zh) 視頻編解碼系統中多假設幀內模式的方法和裝置
CN116418979A (zh) 视频编解码方法及相关装置