TW202329688A - 視訊編解碼方法及相關裝置 - Google Patents

視訊編解碼方法及相關裝置 Download PDF

Info

Publication number
TW202329688A
TW202329688A TW112100575A TW112100575A TW202329688A TW 202329688 A TW202329688 A TW 202329688A TW 112100575 A TW112100575 A TW 112100575A TW 112100575 A TW112100575 A TW 112100575A TW 202329688 A TW202329688 A TW 202329688A
Authority
TW
Taiwan
Prior art keywords
current block
block
boundary matching
mode
codec
Prior art date
Application number
TW112100575A
Other languages
English (en)
Inventor
江嫚書
陳俊嘉
徐志瑋
向時達
陳慶曄
莊子德
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202329688A publication Critical patent/TW202329688A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提供一種視訊編解碼方法和相關裝置。視訊編解碼方法包括接收與當前塊相關聯的輸入資料；確定與編解碼模式或模式參數相關的一組候選；確定與該組候選相關聯的邊界匹配成本，其中，藉由對該組候選中的每一個目標候選，通過使用根據該每一目標候選確定的該當前塊的重建或預測的樣本以及該當前塊的一個或多個相鄰塊的相鄰重建的或預測的樣本，來確定每個邊界匹配成本，並且其中每個邊界匹配成本是使用從多個配置中選擇的一個目標配置來計算的；基於邊界匹配成本從組候選中確定最終候選；以及使用最終候選對當前塊進行編碼或解碼。本發明的視訊編解碼方法及相應裝置可以提高編解碼性能。

Description

視訊編解碼方法及相關裝置
本發明涉及視訊編解碼系統。更具體地，本發明涉及一種用於視訊編解碼系統中基於邊界匹配的模式選擇的新視訊編解碼工具。
通用視訊編解碼(VVC)是由ITU-T視訊編解碼專家組(VCEG)和ISO/IEC運動圖像專家組的聯合視訊專家組(JVET)制定的最新國際視訊編解碼標準（MPEG）。 該標準已作為 ISO 標準發佈：ISO/IEC 23090-3:2021，Information technology - Coded representation of immersive media - Part 3: Versatile video coding，2021 年 2 月發佈。通過基於其前身HEVC（High Efficiency Video coding），添加更多編解碼工具來提高編解碼效率，並處理各種類型的視訊源，包括 3 維（3D）視訊訊號，發展出VVC。
第1A圖說明瞭包含迴圈處理的示例性適應性幀間/幀內（adaptive Inter/Intra）視訊編解碼系統。 對於幀內預測，預測資料是根據當前圖片（在後文中也稱為畫面）中先前編解碼的視訊資料匯出的（derived）。 對於幀間預測112，在編碼器側執行運動估計(Motion Estimation，簡寫為ME)並且基於ME的結果執行運動補償(Motion Compensation，簡寫為MC)以提供從其他畫面和運動資料匯出的預測資料。 開關114選擇幀內預測110或幀間預測112並且所選擇的預測資料被提供給加法器116以形成預測誤差，也稱為殘差（residual）。 預測誤差然後由變換(T) 118和隨後的量化(Q) 120處理。變換和量化的殘差然後由熵編碼器122編碼以包括在對應於壓縮視訊資料的視訊位元流中。 然後，與變換係數相關聯的位元流將與輔助資訊（side information）（例如與幀內預測和幀間預測相關聯的運動和解碼模式）以及其他資訊（例如與應用於底層圖像區域（underlying image area）的環路濾波器相關聯的參數）一起打包。 與幀內預測110、幀間預測112和環路濾波器130相關聯的輔助資訊被提供給熵編碼器122，如第1A圖所示。 當使用幀間預測模式時，也必須在編碼器端重建一個或多個參考圖片。 因此，經變換和量化的殘差由逆量化（IQ）124和逆變換（IT）126處理以恢復殘差。 然後在重建(REC)128處將殘差加回到預測資料136以重建視訊資料。 重建的視訊資料可以存儲在參考圖片緩衝器134中並用於預測其他幀。
如第1A圖 所示，輸入的視訊資料在編碼系統中經過一系列處理。 由於一系列處理，來自 REC 128 的重建的視訊資料可能會受到各種損害。 因此，環路濾波器130經常在重建的視訊資料被存儲在參考圖片緩衝器134中之前應用於重建的視訊資料以提高視訊品質。 例如，可以使用去塊濾波器（deblocking filter，簡寫為DF）、樣本適應性偏移（Sample Adaptive Offset，簡寫為SAO）和適應性環路濾波器（Adaptive Loop Filter，簡寫為ALF）。 可能需要將環路濾波器資訊合併到位元流中，以便解碼器可以正確地恢復所需的資訊。 因此，環路濾波器資訊也被提供給熵編碼器122以合併到位元流中。 在第1A圖中，環路濾波器130在重建樣本被存儲在參考圖片緩衝器134中之前被應用於重建的視訊。第1A圖中的系統旨在說明典型視訊轉碼器的示例性結構。 它可能對應于高效視訊編解碼（HEVC）系統、VP8、VP9、H.264或VVC。
如第1B圖 所示，除了變換 118 和量化 120 之外，解碼器可以使用與編碼器相似或相同的功能塊，因為解碼器只需要逆量化 124 和逆變換 126。取代熵編碼器122，解碼器使用熵解碼器140將視訊位元流解碼為量化的變換係數和需要的編解碼資訊（例如ILPF資訊、幀內預測資訊和幀間預測資訊）。 解碼器側的幀內預測150不需要執行模式搜索。 相反，解碼器僅需要根據從熵解碼器140接收的幀內預測資訊生成幀內預測。此外，對於幀間預測，解碼器僅需要根據從熵解碼器140接收的幀間預測資訊執行運動補償（MC 152）而無需運動估計。
根據 VVC，與 HEVC 類似，輸入圖片被劃分（partition）為稱為 CTU（編解碼樹單元）的非重疊方形塊區域。 每個 CTU 可以劃分為一個或多個更小的編解碼單元 (CU)。 生成的 CU 分區可以是正方形或矩形。 此外，VVC 將 CTU 劃分為預測單元 (PU)，作為應用預測處理的單元，例如幀間預測、幀內預測等。
VVC標準結合了各種新的編解碼工具，以進一步在HEVC標準基礎上提高編解碼效率。 在各種新的編解碼工具中，與本發明相關的一些編解碼工具綜述如下。 使用樹結構劃分 CTU
在 HEVC 中，CTU 通過使用表示為編解碼樹的四叉樹 (quaternary-tree，簡寫為QT) 結構被分成 CU 以適應各種局部特徵。 使用圖片間（inter-picture）（時間）(temporal)還是圖片內（intra-picture ）（空間）(spatial)預測對圖片區域進行編解碼的決定是在葉 CU 級別做出的。 每個葉CU可以根據PU分割類型（splitting type）進一步分割成一個、兩個或四個PU。 在一個 PU 內部，應用相同的預測過程，並將相關資訊以 PU 為基礎傳輸到解碼器。 在通過應用基於 PU 分割類型的預測過程獲得殘差塊後，可以根據類似於 CU 的編解碼樹的另一種四叉樹結構將葉 CU 劃分為變換單元 (TU)。 HEVC結構的關鍵特徵之一是它具有多個分區概念，包括CU、PU和TU。
在VVC中，使用二元和三元分割分段結構（binary and ternary splits segmentation structure）的具有嵌套多類型樹（nested multi-type tree）的四叉樹取代了多劃分單元類型的概念，即它去除了CU、PU和TU概念的分離(separation)(除了對於具有對於最大變換長度來說尺寸太大的CU)，並且支持更靈活(flexibility)的 CU 分區形狀。 在解碼樹結構中，CU可以是正方形或長方形。 一個編解碼樹單元（CTU）首先被一個四叉樹（又名四元樹（quadtree））結構劃分。 然後四叉樹葉節點可以進一步劃分為多類型樹結構。 如第2圖所示，多類型樹結構中有四種分割類型，垂直二元分割（SPLIT_BT_VER 210）、水平二元分割（SPLIT_BT_HOR 220）、垂直三元分割（SPLIT_TT_VER 230）、水平三元分割（SPLIT_TT_HOR 240）。多類型樹葉節點稱為編解碼單元（CU），除非 CU 對於最大變換長度來說太大，否則此分段用於預測和變換處理，而無需進一步劃分。 這意味著，在大多數情況下，CU、PU 和 TU 在具有嵌套多類型樹塊結構的四叉樹中具有相同的塊大小。 當支持的最大變換長度小於 CU 顏色分量的寬度或高度時會發生例外（exception）。
第3圖說明瞭嵌套多類型樹編解碼樹結構的四叉樹中劃分分割資訊的發信（signaling）機制。 編解碼樹單元（CTU）被視為四叉樹的根，並首先由四叉樹結構劃分。 每個四元樹葉節點（當足夠大以允許它時）然後由多類型樹結構進一步劃分。 在多類型樹結構中，發信第一標誌(mtt_split_cu_flag)以指示節點是否被進一步劃分； 當一個節點被進一步劃分時，發信第二標誌（mtt_split_cu_vertical_flag）以指示分割方向，然後發信第三標誌（mtt_split_cu_binary_flag）以指示分割是二元分割還是三元分割。 根據mtt_split_cu_vertical_flag和mtt_split_cu_binary_flag的值，推導出CU的多類型樹分割模式（MttSplitMode），如表1所示。 表 1 – 基於多類型樹句法元素（syntax element）的 MttSplitMode 推導
MttSplitMode mtt_split_cu_vertical_flag mtt_split_cu_binary_flag
SPLIT_TT_HOR 0 0
SPLIT_BT_HOR 0 1
SPLIT_TT_VER 1 0
SPLIT_BT_VER 1 1
第4圖顯示了利用四叉樹和嵌套的多類型樹編解碼塊結構將一個 CTU 分成多個 CU，其中粗體塊邊緣表示四叉樹劃分，其餘邊緣表示多類型樹劃分。 具有嵌套多類型樹劃分的四叉樹提供了由 CU 組成的內容適應性編解碼樹結構。 CU 的大小可以與 CTU 一樣大，也可以以亮度（luma）樣本為單位小至 4×4。 對於 4:2:0 色度（chroma）格式，最大色度 CB 大小為 64×64，最小大小色度 CB 由 16 個色度樣本組成。
在VVC中，支持的最大亮度變換大小為64×64，支持的最大色度變換大小為32×32。 當 CB 的寬度或高度大於最大變換寬度或高度時，CB 會自動在水平和/或垂直方向上拆分以滿足該方向上的變換大小限制。
以下參數由用於具有嵌套多類型樹編解碼樹方案的四叉樹的SPS句法元素定義和指定。 CTU大小（CTU size）：四叉樹的根節點大小 MinQTSize：允許的最小四叉樹葉節點大小 MaxBtSize：允許的最大二叉樹根節點大小 MaxTtSize：最大允許的三叉樹根節點大小 MaxMttDepth：從四叉樹葉分割出的多類型樹的最大允許層次深度（hierarchy depth） MinBtSize：允許的最小二叉樹葉節點大小 MinTtSize：允許的最小三叉樹葉節點大小
在具有嵌套（nested）多類型樹編解碼樹結構的四叉樹的一個示例中，CTU大小設置為128×128亮度樣本和4:2:0色度樣本的兩個對應的64×64塊，MinQTSize設置為 16×16，MaxBtSize 設置為 128×128，MaxTtSize 設置為 64×64，MinBtSize 和 MinTtSize（寬度和高度）設置為 4×4，MaxMttDepth 設置為 4。 四叉樹劃分首先應用於 CTU 以生成四叉樹葉節點。 四叉樹葉節點的大小可以從 16×16（即 MinQTSize）到 128×128（即 CTU 大小）。 如果葉QT節點為128×128，由於大小超過了MaxBtSize和MaxTtSize（即64×64），二叉樹將不再進一步分割。 否則，葉 qdtree 節點可能會被多類型樹進一步劃分。 因此，四叉樹葉節點也是多類型樹的根節點，其多類型樹深度（mttDepth）為0。當多類型樹深度達到MaxMttDepth（即4）時，不再考慮進一步分割。 當多類型樹節點的寬度等於MinBtSize且小於或等於2 * MinTtSize時，不再考慮進一步水平分割。 類似地，當多類型樹節點的高度等於MinBtSize且小於或等於2 * MinTtSize時，不考慮進一步的垂直分割。
為了在 VVC 硬體解碼器中允許 64×64 亮度塊和 32×32 色度管線設計（pipelining design），當亮度編解碼塊的寬度或高度大於 64 時，禁止 TT 拆分，如第5圖所示。其中塊 500 對應於 128x128 亮度 CU。 可以使用垂直二進位劃分（510）或水平二進位劃分（520）來拆分CU。 將塊拆分成4個CU，每個CU大小為64x64，CU可以進一步使用包括TT在內的分區進行拆分。 例如，左上角的 64x64 CU 使用垂直三元拆分（vertical ternary splitting） (530) 或水平三元拆分（horizontal ternary splitting）(540) 進行劃分。 當色度編解碼塊的寬度或高度大於 32 時，也禁止 TT 拆分。
在VVC中，編解碼樹方案支持亮度和色度具有單獨的塊樹結構（block tree structure）的能力。 對於 P 和 B 切片，一個 CTU 中的亮度和色度 CTB 必須共用相同的編解碼樹結構。 然而，對於 I 切片，亮度和色度可以具有單獨的塊樹結構。 當應用分離塊樹模式（separate block tree mode）時，亮度CTB被一個編解碼樹結構劃分成CU，色度CTB被另一個編解碼樹結構劃分成色度CU。 這意味著 I 切片中的 CU 可能由亮度分量的編解碼塊或兩個色度分量的編解碼塊組成，而 P 或 B 切片中的 CU 總是由所有三個顏色分量的編解碼塊組成，除非視訊是單色（monochrome）的。 圖片邊界上的 CU 拆分
如在 HEVC 中所做的那樣，當樹節點塊的一部分超出圖片邊界的底部或右側時，樹節點塊被強制拆分，直到每個編解碼的 CU 的所有樣本都位於圖片邊界內。 VVC 中應用了以下拆分規則： – 如果樹節點塊的任何部分超出了底部或右側圖片邊界（right picture boundaries），並且由於塊大小限制不允許QT、BT和TT拆分，則該塊被強制使用QT拆分方式拆分。 – 否則，如果樹節點塊的一部分超過了底部以及右側圖片邊界， • 如果塊是一個QT節點，並且塊的大小大於最小QT大小，則塊被強制使用QT拆分模式進行拆分。 • 否則，塊被強制以SPLIT_BT_HOR模式拆分 – 否則，如果樹節點塊的一部分超出了底部圖片邊界（bottom picture boundaries）， • 如果塊是QT節點，且塊大小大於最小QT大小，且塊大小大於最大BT大小，則強制使用QT拆分方式拆分塊。 • 否則，如果該塊為QT節點，且塊大小大於最小QT大小且塊大小小於或等於最大BT大小，則該塊被強制使用QT拆分模式或 SPLIT_BT_HOR 模式拆分。 • 否則（該塊為BTT節點或塊大小小於或等於最小QT大小），強制以SPLIT_BT_HOR模式拆分塊。 –   否則，如果樹節點塊的一部分超出了圖片右側邊界， • 如果塊是QT節點，且塊大小大於最小QT大小，且塊大小大於最大BT大小，則強制使用QT拆分方式拆分塊。 • 否則，如果該塊為QT節點，且塊大小大於最小QT大小且塊大小小於或等於最大BT大小，則該塊被強制使用QT拆分模式或 SPLIT_BT_VER 模式拆分。 • 否則（該塊為BTT節點或塊大小小於或等於最小QT大小），強制以SPLIT_BT_VER模式拆分塊。 冗餘CU（Redundant CU）拆分的限制
具有嵌套多類型樹編解碼塊結構的四叉樹提供了高度靈活的塊劃分結構。 由於支援多類型樹的拆分類型，不同的拆分模式（splitting pattern）可能會導致相同的編解碼塊結構。 在 VVC 中，其中一些冗餘拆分模式是不允許的。
第6圖說明瞭二叉樹分割和三叉樹分割的冗餘分割模式。 如第6圖所示，一個方向上的兩層連續二叉樹分割（垂直 610 和水平 630）可能具有與三元樹分割（垂直 620 和水平 640）後利用中央劃分的二叉樹分割相同的塊結構。 在這種情況下，語法（syntax）阻止了三元樹分割的中央分區的二叉樹分割（在給定方向上）。 此限制適用於所有圖片中的 CU。
當如上所述禁止分割時，相應語法元素的發信被修改以解決被禁止的情況。 例如，當識別出第6圖中的任一情況（即，對於中央劃分（central partition）的 CU 禁止二進位元分割），語法元素 mtt_split_cu_binary_flag（指定分割是二進位分割還是三分分割）未被發信，而是被解碼器推斷為等於 0 。 虛擬管線資料單元（Virtual Pipeline Data Unit，簡寫為VPDU）
虛擬管線資料單元(VPDU)被定義為畫面中的非重疊單元。 在硬體解碼器中，連續的 VPDU 由多個管線級同時處理。 在大多數管線級，VPDU 大小與緩衝區大小大致成正比，因此保持 VPDU 大小較小很重要。 在大多數硬體解碼器中，VPDU 大小可以設置為最大變換塊 (transform block，簡寫為TB) 大小。 然而，在 VVC 中，三叉樹 (TT) 和二叉樹 (BT)劃分可能會導致 VPDU 大小增加。
為了將 VPDU 大小保持為 64x64 亮度樣本，在 VTM 中應用以下規範劃分限制（具有語法信令修改），如第7圖所示： – 對於寬度或高度等於128或寬度和高度都等於 128 的 CU，不允許進行 TT 拆分（如第7圖中的“X”所示）。
– 對於 N ≤ 64（即寬度等於 128 且高度小於 128）的 128xN CU，不允許水平 BT。
對於N≤64(即高度等於128且寬度小於128)的Nx128CU，不允許垂直BT。 在第7圖中，亮度塊大小為 128x128。 虛線表示塊大小為 64x64。 根據上述限制，不允許劃分的例子用“X”表示，如第7圖中的各種例子（710-780）所示。 幀內色度（Intra Chroma）劃分和預測限制（Prediction Restriction）
在典型的硬體視訊轉碼器和解碼器中，由於相鄰幀內塊(neighboring intra block)之間的樣本處理資料依賴性，當圖片具有更多小幀內塊（small intra block）時處理輸送量下降。 幀內塊的預測子生成需要來自相鄰塊的頂部和左側邊界重建樣本。 因此，必須逐塊順序地處理幀內預測。
在HEVC中，最小的幀內CU是8x8亮度樣本。 最小幀內CU的亮度分量可以進一步分割為4個4x4亮度幀內預測單元（Pus），但最小幀內CU的色度分量不能進一步分割。 因此，當處理 4x4 色度幀內塊或 4x4 亮度幀內塊時，會出現最壞情況的硬體處理輸送量。 在 VVC 中，為了提高最壞情況下的輸送量，通過限制色度幀內 CB （chroma intra CB）的劃分，不允許小於 16 個色度樣本（大小 2x2、4x2 和 2x4）的色度內 CB 和寬度小於 4 個色度樣本（大小 2xN）的色度內 CB。
在單個編解碼樹中，最小色度幀內預測單元(smallest chroma intra prediction unit ，簡寫為SCIPU)被定義為色度塊大小大於或等於16個色度樣本並且具有至少一個小於64亮度樣本的子亮度塊的編解碼樹節點，或者其色度塊大小不是 2xN，並且至少有一個子 亮度塊 4xN亮度樣本的編碼樹節點。 要求在每個 SCIPU 中，所有 CB 都是幀間（inter）的，或者所有的 CB 都是非幀間（non-inter）的，即幀內（intra）或幀內塊複製（intra block copy，簡寫為IBC）。 在非幀間SCIPU的情況下，還要求非幀間SCIPU的色度不應該被進一步分割並且SCIPU的亮度被允許進一步分割。 這樣，大小小於 16 個色度樣本或大小為 2xN 的小色度幀內 CB 被移除。 此外，在非幀間 SCIPU 的情況下不應用色度縮放。在這裡，不發信額外的語法，並且SCIPU是否是非幀間的可以通過SCIPU中的第一個亮度CB的預測模式來匯出。 如果當前切片是I切片（I-slice），或者當前SCIPU在進一步分割一次後有4x4 亮度劃分，則推斷SCIPU的類型為非幀間（因為VVC不允許幀間 4x4）； 否則，在解析 SCIPU 中的 CU 之前，通過一個標誌指示SCIPU 的類型（幀間或非幀間）。
對於圖片內（intra picture）中的雙樹（dual tree），通過分別針對 4xN 和 8xN 色度劃分禁用垂直二元和垂直三元分割來移除 2xN 幀內色度塊。 大小為 2x2、4x2 和 2x4 的小色度塊也通過劃分限制被刪除。
另外，通過考慮圖片寬度和高度是max(8，MinCbSizeY)的倍數，考慮對圖片尺寸的限制以避免圖片角處的2x2/2x4/4x2/2xN幀內色度塊。 具有 67 種幀內預測 模式的幀內模式編解碼
為了捕獲自然視訊中呈現的任意邊緣方向（arbitrary edge direction），VVC 中的定向幀內模式（directional intra mode）的數量從 HEVC 中使用的 33 個擴展到 65 個。HEVC 中沒有的新定向模式在第8圖中被描繪為紅色虛線箭頭，平面（planar）和DC模式保持不變。 這些更密集的定向幀內預測模式適用於所有塊大小以及亮度和色度幀內預測。
在VVC中，針對非方形塊，幾種傳統的角度幀內預測模式被適應性地替換為廣角幀內預測模式。
在HEVC中，每個幀內編解碼塊具有正方形形狀並且其每條邊的長度是2的冪。因此，不需要除法操作（division operation）來使用DC模式生成幀內預測子（intra-predictor）。 在 VVC 中，塊可以具有矩形形狀，這在一般情況下需要對每個塊使用除法運算。 為了避免 DC 預測的除法操作，只有較長的邊用於計算非方形塊的平均值。
為了保持最可能模式（most probable mode，簡寫為MPM）列表生成的複雜性較低，通過考慮兩個可用的相鄰幀內模式，使用具有 6 個 MPM 的幀內模式編解碼方法。 構建MPM列表考慮以下三個方面： i. – 預設幀內模式 ii. – 相鄰幀內模式 iii. – 匯出的幀內模式。
統一的（unified）6-MPM列表用於幀內塊，而不管是否應用MRL和ISP編解碼工具。 MPM 列表是基於左側和上方相鄰塊的幀內模式構建的。 假設左側的模式記為Left，上方塊的模記為Above，則統一的MPM列表構造如下： – 當相鄰塊不可用時，其幀內模式預設設置為Planar。 – 如果 Left 和 Above 兩種模式都是非角度模式（non-angular mode）： – MPM 列表 → {Planar, DC, V, H, V − 4, V + 4} – 如果 Left 和 Above 模式之一是角度模式（angular mode），另一個是非角度模式： – 將模式 Max 設置為 Left 和 Above 中的較大模式 – MPM 列表→ {Planar, Max, DC, Max − 1, Max + 1, Max − 2} – 如果 Left 和 Above 都是有角度的並且它們不同： – 將模式 Max 設置為 Left 和 Above 中的較大模式 – 如果模式 Left 和 Above 的差異在 2 到 62 的範圍內，包括2和62 • MPM 列表→ {Planar, Left, Above, DC, Max − 1, Max + 1} – 否則 • MPM 列表→  {Planar, Left, Above, DC, Max − 2, Max + 2} – 如果 Left 和 Above 都是有角度的並且它們是相同的： – MPM 列表→  {Planar, Left, Left − 1, Left + 1, DC, Left − 2}
此外，MPM索引碼字的第一個位元子（bin）是CABAC上下文編解碼的。 總共使用了三個上下文，對應於當前幀內塊是啟用 MRL、啟用 ISP 還是正常幀內塊。
在6 MPM列表生成過程中，修剪（pruning）用於去除重複的模式，使得只有獨特的模式可以被包括到MPM列表中。 對於 61 種非 MPM 模式的熵編解碼，使用截斷的二進位編解碼 (Truncated Binary Code，簡寫為TBC)。 非正方形塊的廣角幀內預測
常規角度幀內預測方向被定義為順時針方向從45度到-135度。 在 VVC 中，幾種傳統的角度幀內預測模式被適應性地替換為非方形塊的廣角幀內預測模式。 替換的模式使用原始模式索引發信，原始模式索引在解析後重新映射到廣角模式的索引。 幀內預測模式總數不變，即67，且幀內模式編解碼方法不變。
為了支持這些預測方向，長度為 2W+1 的頂部參考和長度為 2H+1 的左側參考分別如第9A圖 和第9B圖被定義。
廣角方向模式中替換模式的數量取決於塊的縱橫比。 替換的幀內預測模式如表 2 所示。 表2 – 廣角模式替換的幀內預測模式
縱橫比 替換的幀內預測模式
W / H == 16 模式 12, 13,14,15
W / H == 8 模式 12, 13
W / H == 4 模式 2,3,4,5,6,7,8,9,10,11
W / H == 2 模式 2,3,4,5,6,7,
W / H == 1 無
W / H == 1/2 模式 61,62,63,64,65,66
W / H == 1/4 模式57,58,59,60,61,62,63,64,65,66
W / H == 1/8 模式55, 56
W / H == 1/16 模式53, 54, 55, 56
如第10圖所示，在廣角幀內預測的情況下，兩個垂直相鄰的預測樣本（樣本1010和1012）可能使用兩個不相鄰的參考樣本（樣本1020和1022）。 因此，將低通參考樣本濾波器和邊平滑（side smoothing）應用於廣角預測，以減少增加的間隙 Δpα 的負面影響。 如果廣角模式表示非分數偏移。 廣角模式中有8個模式滿足這個條件，分別是[-14, -12, -10, -6, 72, 76, 78, 80]。 當通過這些模式預測塊時，直接複製參考緩衝區中的樣本而不應用任何插值。 通過此修改，需要平滑的樣本數量減少了。 此外，它對齊（align）了傳統預測模式和廣角模式中非分數模式的設計。
在VVC中，支持4:2:2和4:4:4以及4:2:0色度格式。 4:2:2 色度格式的色度匯出模式 (derived mode，簡寫為DM) 匯出表最初是從 HEVC 移植的，將條目數從 35 擴展到 67，以與幀內預測模式的擴展保持一致。 由於HEVC規範不支援−135°以下和45°以上的預測角度，從2到5的亮度幀內預測模式映射到2。因此，用於4:2:2色度格式的色度DM推導表透過替換映射表(mapping table)條目的一些值來更新，以更精確地轉換色度塊的預測角度。 模式相關幀內平滑（ Mode Dependent Intra Smoothing ，簡寫為 MDIS)
四抽頭（Four-tap）幀內插值濾波器被用來提高定向幀內預測精度（directional intra prediction accuracy）。 在 HEVC 中，雙抽頭線性插值濾波器已用於在定向預測模式（即不包括平面和 DC 預測子）中生成幀內預測塊。 在 VVC 中，簡化的 6 位 4 抽頭高斯插值濾波器僅用於定向幀內模式。 非定向幀內預測過程未修改。 4 抽頭濾波器的選擇是根據提供非分數位移的定向幀內預測模式的 MDIS 條件執行的，即除以下模式外的所有定向模式：2、HOR_IDX、DIA_IDX、VER_IDX、66。
根據幀內預測模式，執行以下參考樣本處理： – 定向幀內預測模式分為以下幾組之一： – 垂直或水平模式（HOR_IDX、VER_IDX）， – 表示45°倍數的角度的對角線模式（2、DIA_IDX、VDIA_IDX）， – 剩餘的定向模式； – 如果定向幀內預測模式屬於 A 組，則不對參考樣本應用濾波器來生成預測樣本； – 否則，如果模式屬於 B 組，則可以將 [1, 2, 1] 參考樣本濾波器（取決於 MDIS 條件）應用於參考樣本，以根據所選的方向進一步將這些濾波的值複製到幀內預測子中 ，但不應用插值濾波器； – 否則，如果模式被分類為屬於 C 組，則僅將幀內參考樣本插值濾波器應用於參考樣本以生成預測樣本，該預測樣本根據所選方向落入參考樣本之間的小數或整數位置（不執行參考樣本濾波）。 交叉分量線性模型 (Cross-Component Linear Model ，簡寫為 CCLM) 預測
為了減少交叉分量冗餘，在VVC中使用交叉分量線性模型(CCLM)預測模式，其中通過使用線性模型基於相同CU的重建的亮度樣本來預測色度樣本如下： (1) 其中 表示 CU 中預測的色度樣本， 表示同一 CU 的下採樣的重建的亮度樣本（downsampled reconstructed luma sample）。
CCLM 參數（α 和 β）由最多四個相鄰色度樣本及其相應的下採樣的亮度樣本匯出。 假設當前色度塊維度為W×H，則W'和H'設置為 當應用LM模式時，W’ = W, H’ = H; 當應用LM-A模式時，W’ =W + H; 當應用LM-L模式時，H’ = H + W; 上述相鄰位置記為S[0，-1]…S[W'-1，-1]，左相鄰位置記為S[-1，0]…S[-1，H ' - 1 ]。 然後選擇四個樣本作為 – 當應用LM模式，且上方和左側相鄰樣本可用時，S[W’ / 4, -1 ], S[ 3 * W’ / 4, -1 ], S[ -1, H’ / 4 ], S[ -1, 3 * H’ / 4 ]; – 當應用LM-A模式，且僅上方相鄰樣本可用時，S[ W’ / 8, -1 ], S[ 3 * W’ / 8, -1 ], S[ 5 * W’ / 8, -1 ], S[ 7 * W’ / 8, -1 ] ; – 當應用LM-L模式，且僅左側相鄰樣本可用時，S[ -1, H’ / 8 ], S[ -1, 3 * H’ / 8 ], S[ -1, 5 * H’ / 8 ], S[ -1, 7 * H’ / 8 ]; 所選位置處的四個相鄰亮度樣本被下採樣並比較四次以找到兩個較小的值： x 0 A 和 x 1 A ，以及兩個較大的值： x 0 B 和 x 1 B 。 它們對應的色度樣本值表示為 y 0 A , y 1 A , y 0 B 和 y 1 B 。 x A , x B , y A 和 y B 匯出為： Xa=(x0A + x1A +1)＞＞1; Xb=(x0B + x1B +1)＞＞1; Ya=(y0A + y1A +1)＞＞1; Yb=(y0B + y1B +1)＞＞1 (2) 最後，根據以下等式獲得線性模型參數α和β。 (3) (4)
第11圖顯示了CCLM模式中涉及的當前塊的樣本以及左側和上方樣本的位置示例。 第11圖顯示了N×N色度塊1110、相應的2N×2N亮度塊1120及其相鄰樣本（顯示為實心圓）的相對樣本位置。
計算參數 α 的除法運算是通過查閱資料表實現的。 為了減少存儲表所需的記憶體，diff值（最大值和最小值之間的差）和參數α用指數標記法表示。 例如，diff 由一個 4 位元有效部分（significant part）和一個指數來近似。 因此，對於 16 個有效數值(significand values)，1/diff 的表被簡化為 16 個元素(elements)，如下所示： DivTable [ ] = { 0, 7, 6, 5, 5, 4, 4, 3, 3, 2, 2, 1, 1, 1, 1, 0 }     (5)
這將具有降低計算複雜性以及存儲所需表格所需的記憶體大小的益處。
上方範本（above template）和左側範本（left template）可以一起用於計算線性模型係數外，它們還可以可選地用於其他2種LM模式，稱為LM_A和LM_L模式。
在LM_A模式下，僅使用上方範本計算線性模型係數。 為了獲得更多樣本，將上方範本擴展為 (W+H)。 在 LM_L 模式下，只使用左側範本計算線性模型係數。 為了獲得更多樣本，將左側範本擴展為 (H+W)。
對於非正方形塊，將上方範本擴展為W+W，將左側範本擴展為H+H。
為了匹配4:2:0視訊序列的色度樣本位置，將兩種類型的下採樣濾波器應用於亮度樣本以在水平和垂直方向上實現2比1的下採樣比率。 下採樣濾波器的選擇由 SPS 級別標誌指定。 兩個下採樣濾波器如下，分別對應“type-0”和“type-2”內容。 (6) (7)
注意，當上方輔助線（upper reference line）在CTU邊界處時，僅使用一條亮度線（幀內預測中的通用線緩衝器）來製作下採樣的亮度樣本。
該參數計算作為解碼過程的一部分執行，而不僅僅是作為編碼器搜索操作。 因此，沒有語法用於將 α 和 β 值傳送給解碼器。
對於色度幀內模式編解碼，色度幀內模式編解碼總共允許8種幀內模式。 這些模式包括五種傳統幀內模式和三種跨分量線性模型模式（CCLM、LM_A 和 LM_L）。 色度模式信令和推導過程如表 3 所示。色度模式編解碼直接取決於相應亮度塊的幀內預測模式。 由於在I切片中啟用了用於亮度和色度分量的單獨塊劃分結構，所以一個色度塊可以對應於多個亮度塊。 因此，對於色度 DM模式，直接繼承覆蓋當前色度塊中心位置的對應亮度塊的幀內預測模式。 表 ‑3 – 當啟用cclm時從亮度模式匯出色度預測模式
色度預測模式 對應的亮度幀內預測模式
0 50 18 1 X ( 0 ＜= X ＜= 66 )
0 66 0 0 0 0
1 50 66 50 50 50
2 18 18 66 18 18
3 1 1 1 66 1
4 0 50 18 1 X
5 81 81 81 81 81
6 82 82 82 82 82
7 83 83 83 83 83
如表4所示，無論sps_cclm_enabled_flag的值如何，都使用單個二值化表。 表 4–用於色度预测模式的统一二值化表
intra_chroma_pred_mode的值 二進位字元串（Bin string）
4 00
0 0100
1 0101
2 0110
3 0111
5 10
6 110
7 111
在表 4 中，第一個位元子表示它是常規 (0) 還是 LM 模式 (1)。 如果是LM模式，則下一個位元子表示是否為LM_CHROMA(0)。 如果不是LM_CHROMA，則下一個位元子表示是LM_L（0）還是LM_A（1）。 對於這種情況，當 sps_cclm_enabled_flag 為 0 時，對應 intra_chroma_pred_mode 的二值化表的第一個位元子可以在熵編解碼之前被丟棄。 或者，換句話說，第一個位元子被推斷為 0，因此未被編解碼。 此單個二值化表用於 sps_cclm_enabled_flag 等於 0 和 1 的情況。 表 4 中的前兩個位元子使用其自己的上下文模型進行上下文編進而碼，其餘位元子進行旁路編解碼。
此外，為了減少雙樹中的亮度-色度延遲，當64x64亮度編解碼樹節點不分割(並且64x64 CU不使用ISP)或使用QT劃分時，32x32 / 32x16色度編解碼樹節點中的色度CU允許通過以下方式使用 CCLM： – 如果32x32色度節點不分割或使用QT分割劃分，則32x32節點中的所有色度CU都可以使用CCLM – 如果32x32色度節點採用水平BT劃分，32x16子節點不分割或使用垂直 BT分割，則32x16色度節點中的所有色度 CU都可以使用CCLM。
在所有其他亮度和色度編解碼樹分割條件下，CCLM不允許用於色度CU。 位置相關（ Position Dependent ）幀內預測組合
在VVC中，DC、平面和若干角度模式的幀內預測結果通過位置相關幀內預測組合（position dependent intra prediction combination ，簡寫為PDPC)方法進一步修改。 PDPC 是一種幀內預測方法，它調用未濾波的邊界參考樣本和 HEVC 樣式的幀內預測搭配濾波的邊界參考樣本的組合。 PDPC應用於以下幀內模式而無需信令（without signaling）：平面、DC、水平、垂直、左下角模式及其八個相鄰角度模式（angular mode）、右上角模式及其八個相鄰角度模式。
使用幀內預測模式（DC、平面、角度）和參考樣本的線性組合根據如下的等式（8）預測預測樣本pred(x’,y’)： pred( x’, y ’)=( wL× R ­1 ,y’ + wT× R x ’, ­1− wTL× R ­1 ,­1 +(64 − wL− wT+ wTL)× pred( x’, y ’) + 32 )＞＞6                                                                                                    (8)
其中 R x, − 1, R − 1 ,y 分別表示位於當前樣本(x, y)上方和左側邊界的參考樣本， R − 1 , − 1表示位於當前塊左上角的參考樣本。
如果 PDPC 應用於 DC、平面、水平和垂直幀內模式，則不需要額外的邊界濾波器，如在 HEVC DC 模式邊界濾波器或水平/垂直模式邊緣濾波器的情況下所需要的。 DC 和 平面模式的 PDPC 過程是相同的，並且避免了削波操作。 對於角度模式，調整 PDPC 比例因數，這樣就不需要範圍檢查，並且刪除啟用 PDPC 的角度條件（使用 ＞=0 的比例（scale ＞=0））。 此外，在所有角度模式情況下，PDPC 權重均基於 32。 PDPC 權重取決於預測模式，如表 5 所示。PDPC 應用於寬度和高度均大於或等於 4 的塊。 表 5 – 依據預測模式的PDPC權重的示例
預測模式 wT wL wTL
對角線右上角（Diagonal top-right） 16 ＞＞ ( ( y’＜＜1 ) ＞＞ shift) 16 ＞＞ ( ( x’＜＜1 ) ＞＞ shift) 0
對角線左下角（Diagonal bottom-left） 16 ＞＞ ( ( y’＜＜1 ) ＞＞ shift) 16 ＞＞ ( ( x’＜＜1 ) ＞＞ shift) 0
相鄰對角線右上角 32 ＞＞ ( ( y’＜＜1 ) ＞＞ shift) 0 0
相鄰對角線左下角 0 32 ＞＞ ( ( x’＜＜1 ) ＞＞ shift) 0
第12A圖-D說明瞭應用於各種預測模式的 PDPC 的參考樣本( R x, − 1, R − 1 ,y 和 R − 1 , − 1)的定義，其中圖 12A 對應於對角線右上角模式，圖 12B 對應於對角線左下角模式，第12C圖對應於相鄰對角線右上角模式，第12D圖對應於相鄰對角線左下角模式。 預測樣本 pred(x’, y’)位於預測塊內的 (x', y') 處。 例如，參考樣本 R x, − 1的座標 x 由下式給出：x = x' + y' + 1，參考樣本 R − 1 ,y 的座標 y 類似地由下式給出：y = x ' + y' + 1 用於對角(diagonal)模式。 對於其它角度模式，參考樣本 R x, − 1和 R − 1 ,y 可以位於分數樣本位置。 在這種情況下，使用最近的整數樣本位置的樣本值。 多輔助線（ Multiple Reference Line ，簡寫為 MRL ）幀內預測
多輔助線（MRL)幀內預測使用更多輔助線用於幀內預測。第13圖 描述了 4 條輔助線的示例，其中片段（segment） A 和 F 的樣本不是從重建的相鄰樣本中提取的，而是分別用片段 B 和 E 中最接近的樣本填充的。 HEVC 畫面內預測使用最近的輔助線（即輔助線 0）。 在 MRL 中，使用了 2 條附加線（輔助線 1 和輔助線 3）。
所選輔助線的索引（mrl_idx)被發信並用於生成幀內預測子。 對於大於0的輔助線idx，僅在MPM列表中包括額外的輔助線模式並且僅發信mpm索引而不發信剩餘模式。 輔助線索引在幀內預測模式之前發信，並且在發信非零輔助線索引的情況下，平面模式被排除在幀內預測模式之外。
MRL對於CTU內的塊的第一行被禁用以防止使用當前CTU行之外的擴展參考樣本。 此外，當使用附加線時，PDPC（Position-Dependent Prediction Combinatio，位置相關預測組合）將被禁用。 對於 MRL 模式，非零輔助線索引的 DC 幀內預測模式中 DC 值的推導與輔助線索引 0 的推導對齊。MRL 需要存儲 CTU的 3 個相鄰的亮度輔助線以生成預測。 交叉分量線性模型 (CCLM) 工具還需要 3 條相鄰的亮度輔助線用於其下採樣濾波器。MRL 的定義與 CCLM 一致去使用相同 3 行，以減少解碼器的存儲要求。
具有CU級別權重的雙向預測(Bi-prediction with CU-level weight，簡寫為BCW)。
在HEVC中，通過對從兩個不同的參考圖片獲得的兩個預測信號求平均和/或使用兩個不同的運動向量來生成雙向預測信號。 在 VVC 中，雙向預測模式被擴展到簡單的平均之外，以允許對兩個預測信號進行加權平均。 (9)
加權平均雙向預測允許五個權重，w∈{-2,3,4,5,10}。 對於每個雙向預測的 CU，權重 w 由以下兩種方式之一確定：1）對於非合併 CU，權重索引在運動向量差異之後發信； 2）對於合併CU，權重索引是根據合併候選索引從相鄰塊中推斷出來的。 BCW 僅適用於具有 256 個或更多亮度樣本的 CU（即，CU 寬度乘以 CU 高度大於或等於 256）。 對於低延遲圖片，使用所有 5 個權重。 對於非低延遲圖片，僅使用 3 個權重 (w ∈{3,4,5})。
在編碼器處，應用快速搜索演算法來查找權重索引，而不會顯著增加編碼器的複雜性。 這些演算法總結如下。 有關更多詳細資訊，請參閱 VTM 軟體和檔 JVET-L0646（Yu-Chi Su 等人，“CE4-related: Generalized bi-prediction improvements combined from JVET-L0197 and JVET-L0296”， ITU-T SG 16 WP 3 和 ISO/IEC JTC 1/SC 29 聯合視訊專家團隊（JVET），第 12 次會議：中國澳門，2018 年 10 月 3-12 日，文件：JVET-L0646）。 當與 AMVR 結合時，如果當前圖片是低延遲圖片，則僅針對 1 圖元和 4 圖元運動向量精度有條件地檢查不等權重。
當與仿射相結合時，當且僅當仿射模式被選為當前最佳模式時，才會對不等權重（unequal weight）執行仿射ME。
當雙向預測中的兩個參考圖片相同時，僅有條件地檢查不等權重。
當滿足某些條件時不搜索不等權重，這取決於當前圖片與其參考圖片之間的 POC 距離、編解碼 QP 和時間級別。
BCW 權重指數使用一個上下文編解碼的位元子和旁路編解碼的位元子進行編解碼。 第一個上下文編碼的位元元子指示是否使用相等的權重； 如果使用不等權重，則使用旁路編解碼發信額外的位元子，以指示使用了哪個不等權重。
加權預測（weighted prediction，簡寫為WP)是H.264/AVC和HEVC標準支援的編解碼工具，用於有效編解碼具有衰落的視訊內容。 對 WP 的支援也被添加到 VVC 標準中。 WP 允許為每個參考圖片清單 L0 和 L1 中的每個參考圖片發送加權參數（權重和偏移）。 然後，在運動補償期間，應用相應參考圖片的權重和偏移。 WP 和 BCW不同類型的視訊內容而設計。 為了避免 WP 和 BCW 之間的相互作用（這會使 VVC 解碼器設計複雜化），如果 CU 使用 WP，則 BCW 權重索引不被發信，並且 w 被推斷為 4（即應用相等的權重）。 對於合併 CU，權重索引是根據合併候選索引從相鄰塊中推斷出來的。 這可以應用於普通合併模式和繼承的仿射合併模式。 對於構造的仿射合併模式，仿射運動資訊是基於最多3個塊的運動資訊構造的。 使用構造的仿射合併模式的 CU 的 BCW 索引被簡單地設置為等於第一個控制點 MV 的 BCW 索引。
在VVC中，CIIP和BCW不能一起應用於一CU。 當CU採用CIIP模式編解碼時，當前CU的BCW索引設置為2，例如，權重相等。
ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的聯合視訊專家組(JVET)目前正在探索下一代視訊編解碼標準。 增強壓縮模型 2 (Enhanced Compression Model 2，簡寫為ECM 2) 中採用了一些有前途的新編解碼工具（M. Coban 等人，“Algorithm description of Enhanced Compression Model 2 (ECM 2)”， ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的聯合視訊專家組(JVET)，第 23 次會議，通過電話會議，2021 年 7 月 7 日至 16 日，檔 JVET-W2025）以進一步改進 VVC。 採用的新工具已在參考軟體 ECM-2.0 中實現（ECM 參考軟體 ECM-2.0，可在 https://vcgit.hhi.fraunhofer.de/ecm/ECM [Online] 獲得）。 特別地，已經開發了一種用於聯合預測殘差變換塊中變換係數級別的符號集合的新方法（JVET-D0031，Felix Henry 等人，“Residual Coefficient Sign Prediction”， ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的聯合視訊專家組(JVET)，第 4 次會議：中國成都，2016 年 10 月 15-21 日，文件 JVET-D0031）。 在 ECM 2 中，為了得出殘差變換塊的最佳符號預測假設，將成本函式定義為跨塊邊界的不連續性度量，如第14圖 所示，其中塊 1410 對應於變換塊，圓圈 1420 和 1422 對應於相鄰塊樣本，圓圈 1430 和 1432 對應於與塊 1410 的符號(sign)候選相關聯的重建樣本。成本函數被定義為上方行和左側列的殘差域中的絕對二階導數之和，如下所示： (10)
上式中，R為重建相鄰，P為當前塊的預測，r為殘差假設。 變換塊中每個符號預測假設(hypothesis)的允許的最大預測符號個數 N sp在序列參數集 (SPS) 中發信，並且在 ECM-2.0 中被限制為小於或等於 8。 為所有假設測量成本函數，並選擇具有最小成本的假設作為係數符號的預測子（predictor）。 僅允許將來自變換塊中左上角 4x4 變換子塊區域（具有最低頻率係數）的係數符號包含在假設中。 根據左上角 4x4 子塊上的光柵掃描順序收集和編解碼前 N sp個（first N sp ）非零係數（如果可用）的符號。 對於那些預測的係數，代替係數符號，指示預測的符號是否等於所選假設的符號預測位元元子被發信。 這個符號預測位元元子是上下文編解碼的，其中所選上下文是從係數是否為 DC 中匯出的。 上下文針對塊內塊（intra block）和塊間塊(inter block)以及亮度和色度分量是分開的。 對於那些沒有符號預測的其他係數，相應的符號在旁路模式下由CABAC編解碼。 色度殘差聯合 編碼
VVC支援色度殘差聯合編解碼(joint codingof chroma residual，簡寫為JCCR)工具，其中色度殘差被聯合編解碼。 JCCR 模式的使用（啟動）由 TU 級標誌 tu_joint_cbcr_residual_flag 指示，所選模式由色度 CBF 隱式指示。 如果 TU 的一個或兩個色度 CBF 等於 1，則存在標誌 tu_joint_cbcr_residual_flag。在 PPS（圖片參數集）和切片報頭中，發信色度 QP 偏移值用於 JCCR 模式，以區別於為常規色度殘差編解碼模式發信的通常的色度 QP 偏移值。 這些色度 QP 偏移值用於匯出使用 JCCR 模式編解碼的某些塊的色度 QP 值。 JCCR 模式有 3 個子模式。 當相應的 JCCR 子模式（表1中的子模式 2）在 TU 中處於活動狀態時，此色度 QP 偏移量會在該 TU 的量化和解碼期間添加到應用的亮度匯出的色度 QP 。對於其他 JCCR 子模式（表6中的子模式 1 和 3），色度 QP 的匯出方式與傳統 Cb 或 Cr 塊相同。 傳輸的變換塊的色度殘差（resCb 和 resCr）的重建過程展示在表1中。當JCCR模式被啟動時，發信一個單一的聯合色度殘差塊（表1中 resJointC[x][y]），Cb的殘差塊（resCb）和Cr的殘差塊 (resCr)是考慮諸如tu_cbf_cb、tu_cbf_cr和CSign之類的資訊而匯出的，CSign是切片報頭中指定的符號值。
在編碼器側，聯合色度分量的匯出如下所述。 根據模式（在上表中列出），resJointC{1,2} 由編碼器生成，如下所示： 如果模式對於2 (單個殘差，重建 Cb = C, Cr = CSign * C), 聯合殘差的確定如下 resJointC[ x ][ y ] = ( resCb[ x ][ y ] + CSign * resCr[ x ][ y ] ) / 2 否則，如果模式等於1 (單個殘差，重建  Cb = C, Cr = (CSign * C) / 2), 聯合殘差的確定如下 resJointC[ x ][ y ] = ( 4 * resCb[ x ][ y ] + 2 * CSign * resCr[ x ][ y ] ) / 5 否則 (模式等於3，即, 單個殘差，重建Cr = C, Cb = (CSign * C) / 2), 聯合殘差的確定如下 resJointC[ x ][ y ] = ( 4 * resCr[ x ][ y ] + 2 * CSign * resCb[ x ][ y ] ) / 5 表 6. 重建色度殘差。 值 CSign 是一個符號值（ +1 或 -1 ），在切片報頭中指定， resJointC [ ][ ] 是傳輸的殘差。
tu_cbf_cb tu_cbf_cr Cb和Cr殘差的重建 模式
1 0 resCb[ x ][ y ] = resJointC[ x ][ y ] resCr[ x ][ y ] = ( CSign * resJointC[ x ][ y ] ) ＞＞ 1 1
1 1 resCb[ x ][ y ] = resJointC[ x ][ y ] resCr[ x ][ y ] = CSign * resJointC[ x ][ y ] 2
0 1 resCb[ x ][ y ] = ( CSign * resJointC[ x ][ y ] ) ＞＞ 1 resCr[ x ][ y ] = resJointC[ x ][ y ] 3
上述三種聯合色度編解碼子模式僅在I切片中被支援。 在 P 和 B 切片中，僅支援模式 2。 因此，在 P 和 B 切片中，語法元素 tu_joint_cbcr_residual_flag 僅在兩個色度 cbfs 均為 1 時才存在。
JCCR 模式可以與色度變換跳過 (transform skip，簡寫為TS) 模式組合（TS 模式的更多細節可以在 JVET-T2002 的 Section 3.9.3中找到）。 為了加快編碼器決策，JCCR變換選擇取決於Cb和Cr分量的獨立編解碼是選擇DCT-2還是TS作為最佳變換，以及獨立色度編解碼中是否存在非零係數。 具體來說，如果一個色度分量選擇DCT-2（或TS）而另一個分量全為零，或者兩個色度分量都選擇DCT-2（或TS），那麼在JCCR編碼中只會考慮DCT-2（或TS）。 否則，如果一個分量選擇 DCT-2 而另一個分量選擇 TS，那麼 DCT-2 和 TS 都將在 JCCR編碼中考慮。
本發明提供一種視訊編解碼方法，包括接收與當前塊相關聯的輸入資料，其中，輸入資料包括編碼器側待編碼的當前塊的圖元資料或解碼器側與當前塊相關聯的待解碼的編碼資料；確定與編解碼模式或模式參數相關的一組候選；確定與該組候選相關聯的邊界匹配成本，其中，藉由對該組候選中的每一個目標候選，通過使用(1)根據該每一目標候選確定的該當前塊的重建或預測的樣本以及(2)該當前塊的一個或多個相鄰塊的相鄰重建的或預測的樣本，來確定每個邊界匹配成本，並且其中每個邊界匹配成本是使用從多個配置中選擇的一個目標配置來計算的；基於邊界匹配成本從組候選中確定最終候選； 以及使用最終候選對當前塊進行編碼或解碼。
本發明提供一種用於視訊編解碼的裝置，裝置包括一個或多個電子設備或處理器，用於：接收與當前塊相關聯的輸入資料，其中，輸入資料包括編碼器側待編碼的當前塊的圖元資料或解碼器側與當前塊相關聯的待解碼的編碼資料；確定與編解碼模式或模式參數相關的一組候選；確定與該組候選相關聯的邊界匹配成本，其中，藉由對該組候選中的每一個目標候選，通過使用(1)根據該每一目標候選確定的該當前塊的重建或預測的樣本以及(2)該當前塊的一個或多個相鄰塊的相鄰重建的或預測的樣本，來確定每個邊界匹配成本，並且其中每個邊界匹配成本是使用從多個配置中選擇的一個目標配置來計算的；基於邊界匹配成本從組候選中確定最終候選； 以及使用最終候選對當前塊進行編碼或解碼。
本發明的視訊編解碼方法及相應裝置可以提高編解碼性能。
容易理解的是，如本文附圖中大體描述和圖示的本發明的元件可以以多種不同的配置來佈置和設計。 因此，以下對如圖所示的本發明的系統和方法的實施例的更詳細描述並不旨在限制所要求保護的本發明的範圍，而僅代表本發明的選定實施例 。貫穿本說明書對“一實施例”、“一個實施例”或類似語言的引用意味著結合該實施例描述的特定特徵、結構或特性可以包括在本發明的至少一個實施例中。 因此，貫穿本說明書各處出現的短語“在一實施例中”或“在一個實施例中”不一定都指代相同的實施例。
此外，所描述的特徵、結構或特性可以以任何合適的方式組合在一個或多個實施例中。 然而，相關領域的技術人員將認識到，本發明可以在沒有一個或多個特定細節的情況下，或使用其他方法、元件等來實踐。在其他情況下，未顯示或未顯示眾所周知的結構或操作 詳細描述以避免模糊本發明的方面。 參考附圖將最好地理解本發明的所示實施例，其中相同的部分自始至終由相同的數位表示。 下面的描述僅旨在作為示例，並且簡單地說明與如本文要求保護的本發明一致的設備和方法的某些選定實施例。
在當前新興的國際視頻標準的發展過程中，提出了越來越多的編解碼模式。 通常，需要發信選定的編解碼模式，以便解碼可以使用相同的編碼模式。 隨著編解碼模式的增加，需要更多的資料來表示與編解碼模式相關的語法元素。 因此，需要開發技術來減少甚至消除發信相關語法元素所需的資料。 用於ECM2.0中使用的變換係數的聯合符號編解碼的邊界匹配（boundary matching）技術說明了一種技術，即編碼器和解碼器都可以根據相鄰資料進行相同的成本評估，以選擇最小成本函數（smallest cost function）的符號組合（sign combination）。 在本發明中，使用塊邊界匹配（block boundary matching）方法來提高性能。 邊界平滑度測量的附加角度
與僅包括垂直（用於頂部）或水平（用於左側）方向匹配（direction matching）（例如 ECM 內的殘差符號預測）的傳統邊界匹配演算法相比，在所提出的方法中，邊界匹配標準不僅包括垂直（ 對於頂部邊緣）和/或水平（對於左邊緣），還有一些其他角度。 如第15圖所示，傳統的邊界匹配是垂直比較圖元1510； 所提出的邊界匹配方法可以在對角線方向（在右上方向1520或左上方向1530的角度）上比較圖元。 對於其他角度，可以使用濾波器（例如FIR 濾波器）對圖元的小數位置進行插值（例如，如果角度指向的對應位置不是圖元的整數位置）。
匹配過程的角度可以被明確地發信或隱式地匯出（在解碼過程中）。
在一個實施例中，平滑度匹配角度（smoothness matching angle）可以在CU/PU/CTU基礎上明確地發信，它也可以由相鄰CU預測（例如，發信左側或頂部相鄰CU的平滑度匹配角度和細節角度（detail angle） 差異。）
在另一個實施例中，可以隱含地決定平滑度匹配角度。 在一個實施例中，該角度由幀內（intra-mode）模式決定（例如，在VVC中，幀內編解碼模式有各種角度，幀內模式指定的角度可以重新用作邊界平滑度匹配角度）。 在另一個實施例中，可以通過對當前L形（當前L形是當前CU周圍的頂部、左側和/或左上角圖元區域）的上下文分析來決定角度，例如角度分析（使用角度濾波器）或一些角度濾波器的角度長條圖。
在另一個實施例中，角度可以部分地發信，部分地隱含地決定。 在一個示例中，編碼器可以發送一個粗略角度（coarse angle）並且解碼器匯出一個精細角度（fine-angle）。 粗略角度和匯出的精細角度可以組合在一起形成最終角度。 在另一示例中，編碼器可以發送一個精細角度，而解碼器匯出一個粗略角度。
角度確定後，邊界匹配可以根據角度進行平滑匹配（沿方向比較圖元）或梯度值匹配（沿方向比較梯度值）。 計算差異期間的值削波
在一些情況下，(當前CU周圍的相鄰圖元的)L形可以是另一個物件(與當前CU的物件不同)。 在這種情況下，邊界平滑度匹配可能會造成損失。 為瞭解決這個風險，提出了一種新方法。 該方法在計算邊界平滑度匹配時，會對樣本匹配差值（sample matching difference）進行裁剪。 以下是截斷差異的示例。 首先，預定義最小閾值和/或預定義最大閾值。 然後，應用裁剪過程來調整差值。 進行裁剪時，如果差值大於最大閾值，則設置為等於最大閾值； 如果差異小於最小閾值，則將其設置為等於最小閾值。
在一個實施例中，限幅閾值可以是固定的。 在另一個實施例中，限幅閾值可以在CTU級或圖片級或序列級中發信。 在又一實施例中，限幅閾值可以通過當前L形和當前預測子的上下文分析或長條圖分析來隱含地決定。 在又一個實施例中，可以根據原始視訊比特深度或轉碼器中的內部比特深度來隱式地決定剪切閾值。 基於運動向量相似性的邊界選擇
可以隱式地執行邊界選擇。 以下是隱式邊界選擇的一些示例。
在一些情況下，相鄰圖元可能與當前CU具有不連續性（例如，相鄰CU位於另一個物件中）。 在這種情況下，邊界匹配方法可能會造成損失。 因此，需要一種方法來決定是否信任相鄰圖元。
在這個提出的方法中，在一個實施例中，編解碼資訊被用來決定所信任的相鄰圖元。 以編解碼資訊為當前塊的至少兩個運動向量和當前塊的一個或多個相鄰塊為例。 如果該邊（頂部或左側）的相鄰 MV 的 MV 與當前 CU MV 差異較大，則該邊將被排除在邊界匹配之外。 用於相似性（或差異性）比較的 MV 可以是圖元級（假設相鄰區域和當前 CU 區域具有圖元級 MV）、子塊級（假設相鄰區域和當前 CU 區域具有子塊級 MV）或 CU（塊 ）級。
根據該方法的一個示例在第16圖中示出，其中塊1610對應於當前CU，塊1620對應於左側相鄰子塊並且塊1630對應於頂部相鄰子塊。 左側相鄰子塊的運動向量標記為 1622 和 1624。頂部相鄰子塊的運動向量標記為 1632、1634、1636 和 1638。左側當前塊的運動向量標記為 1611 和 1612。當前塊靠近頂部的運動向量被標記為1612、1614、1616和1618。如第16圖所示，當前塊的運動向量類似於左側相鄰子塊的運動向量並且當前塊的運動向量與頂部相鄰子塊的運動向量非常不同。 因此，只有左邊界圖元被包括在邊界匹配計算中。 預先定義了一個閾值來衡量運動向量的相似性。 在一種方式中，閾值被預定義為標準中的一個或多個固定值。 另一種方式是根據MV取值範圍（標準中定義）、塊寬、塊高、塊面積、當前塊或相鄰編解碼塊的編解碼資訊或上下文來選擇閾值。
在另一個實施例中，解碼器可以參考相應的參考圖元（參考圖片1720中由當前CU 1710的當前MV 1712指向的圖元1730)和參考圖片中的相應的L形區域1740，如第17圖所示。以下是參考塊及其對應的L形相鄰區域的上下文分析示例。 如果頂部或左側的相應L形圖元1740與參考塊1730非常不同，則它可以隱含地放棄（即，不使用）當前CU的相應側。 例如，如果頂邊對應的L形圖元與參考塊差異很大，則當前塊將不會使用當前L形的頂部圖元進行匹配。
當啟用JCCR時，同時考慮Cb和Cr塊邊界。
在ECM 2.0中，有一種符號預測方法(通過邊界匹配)的編解碼工具，在JCCR情況下，邊界匹配只應用於一個固定的顏色分量(例如固定比較Cb的邊界匹配) )。
在該方法中，當針對JCCR情況通過邊界匹配對殘差進行符號預測時，建議同時考慮Cb和Cr塊邊界。
在一個實施例中，Cb圖元和Cr圖元都是邊界匹配的，並且總失真（total distortion）被用來決定殘差符號位元（residual sign bit）。
在另一個實施例中，對Cb邊界匹配結果和Cr邊界匹配結果進行加權以確定剩餘符號位元。
在另一個實施例中，編碼器可以發送信號以通知解碼器選擇Cb邊界匹配或Cr邊界匹配。
在另一個實施例中，Cb邊界匹配和Cr邊界匹配的加權（匹配成本的加權和）取決於JCCR模式。 例如，如果在某種JCCR模式下，Cb比Cr更重要，那麼Cb邊界匹配在加權求和中將更重要。
在另一個子實施例中，它取決於當前預測值和相鄰重建圖元之間的差異。 例如，如果 Cb 的當前預測值與相鄰重建圖元之間的差異遠大於 Cr 的當前預測值與相鄰重建圖元之間的差異，則它對 Cb 邊界匹配具有更高的權重（或者，在另一個示例中，跳過 Cr 邊界匹配）。 僅基於水平邊界的檢查或子採樣
在該方法中，為了降低邊界匹配的複雜度，邊界匹配可以僅基於水平邊界。 在可以通過邊界匹配隱式選擇具有N個不同變換核的多變換核的情況下，解碼器將生成N個不同版本的逆變換並加回到預測子以進行N個不同版本的重建。 然後，解碼器將使用內核來實現最小的邊界匹配成本。 因此，無需與多內核選擇相關的額外信令即可實現編解碼增益。 在解碼器處，通常首先執行垂直逆變換，然後進行水平逆變換。 根據本發明，對於邊界匹配僅執行水平邊界檢查。 理論上，我們只需要生成最左邊的一列樣本進行水平逆變換。 因此，邊界匹配計算的複雜度大大降低。
另一種節省多核選擇複雜度的方法是對匹配樣本進行子採樣。 因此，根據本實施例不需要生成所有逆變換樣本。 L 型的增強
在該方法中，為了提高邊界匹配方法的編解碼增益，改進當前的L形圖元，提出如下一些實施例。
根據一個實施例，建議對邊界圖元進行降噪以獲得更好的邊界匹配品質。 邊界匹配過程將在降噪處理之後應用。
在另一個實施例中，提出進行一些MH(multi-hypothesi，多假設)混合(例如使用兩個其他MH塊的L形來稍微調整當前的L形)，例如，它將使用一個或多個 MV 並從參考圖片（MV 指向）中取出相應的 L 形圖元進行一些混合，得到的 L 形圖元將更好地進行邊界匹配。 用於匹配的選擇性邊界區域
該提議方法的主要目的是避免不正確的邊界圖元用於匹配，此外，該方法是基於區域的（不使用整個頂部邊緣或左側邊緣，而是僅使用頂部或左側相鄰圖元的部分區域）。
在一個實施例中，如果對於某些區域，相鄰 MV (例如，子塊單元）與當前 MV 有很大不同，則將放棄該區域的邊界圖元用於匹配。
在另一個實施例中，可以使用基於分割的方法對L形區域進行分析。 換句話說，本實施例將根據L形的物件(object)形狀來分割和判斷相鄰的L形。 然後，它可以通過排除邊界匹配的相應區域來避免來自不同物件的邊界匹配。 用於計算平滑度的適應性線數
在該提議的方法中，適應性地改變用於邊界平滑度計算的線的數量。 在一個示例中，它可以根據一些尺寸條件、內容條件等使用或多或少的相鄰邊界線來計算邊界平滑度。 邊界平滑度計算可以對應於圖元平滑度、梯度平滑度或角度平滑度。
在一個實施例中，對於更大的CU，它將使用更多的線來進行邊界匹配。
在另一個實施例中，對於較小的CU，它將使用較少的線來進行邊界匹配。
在又一個實施例中，對於窄CU，它將使用更多線用於更短的邊緣以進行邊界匹配。 對於低紋理 CU，它將使用更多線。
在又一個實施例中，對於其中頂部和/或左側相鄰圖元具有高度紋理的圖元周圍的高紋理（high-texture）CU，它將使用較少的線用於邊界匹配。
BCW 加權選擇與僅預測子隱式選擇（Predictor-only Implicit Selection）或語法重新排序。
邊界匹配也可以應用於BCW加權選擇以節省BCW加權語法位元元元元元速率。 例如，我們可以在解碼器端生成具有不同 BCW 加權假設的預測子，將不同的加權假設結果添加到殘差中，以製作不同假設版本的重建塊。 然後將邊界匹配應用於那些不同版本的重建塊，以便在解碼器側選擇BCW 加權決策最佳的一個。
除了上述方法之外，下面還公開了基於邊界匹配的BCW加權語法保存的其他實施例。
在一個實施例中，BCW加權值根據不同版本的重建塊的匹配成本來排序。 然後使用編碼器發送的重新排序的索引從排序的權重值列表中選擇最終的 BCW 權重值。
在另一個實施例中，我們不向殘差添加不同版本的預測子。 相反，對應於不同權重值假設的不同版本的預測子直接與相鄰 L 形狀的重建相鄰圖元進行比較，以確定解碼器匯出的權重的最小值。
任何前述提出的方法都可以在編碼器和/或解碼器中實現。 例如，所提出的任何方法都可以在解碼器的幀內（例如第1B圖中的幀內 150）/幀間編解碼模組、運動補償模組（例如第1B圖中的 MC 152）、合併候選推導中實現。或者，所提出的任何方法都可以實現為耦合到編碼器的幀內（例如第1A圖中的幀內 110）/幀間編解碼模組和/或編碼器的運動補償模組（例如第1B圖中的 MC 112）、合併候選推導模組的電路。
第18圖示出了根據本發明實施例的基於當前塊及其相鄰塊的編碼上下文利用選擇性邊界匹配的示例性視頻編解碼系統的流程圖。 流程圖中所示的步驟可以實現為可在編碼器側的一個或多個處理器(例如，一個或多個CPU)上執行的程式碼。 流程圖中所示的步驟也可以基於硬體來實現，諸如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。 根據該方法，在步驟1810中接收與當前塊相關聯的輸入資料，其中輸入資料包括在編碼器側待編碼的當前塊的圖元資料或在解碼器側待解碼的與當前塊相關聯的編碼資料。 在步驟1820中確定與編解碼模式或模式參數相關聯的一組候選。在步驟1830中確定與該組候選相關聯的邊界匹配成本，其中，藉由對該組候選中的每一個目標候選，通過使用(1)根據該每一目標候選確定的該當前塊的重建或預測的樣本以及(2)該當前塊的一個或多個相鄰塊的相鄰重建的或預測的樣本，來確定每個邊界匹配成本，並且其中每個邊界匹配成本是使用從多個配置中選擇的一個目標配置來計算的。在步驟1840中基於邊界匹配成本從候選集合中選擇最終候選。在步驟1850中使用最終候選對當前塊進行編碼或解碼。
所示流程圖旨在說明根據本發明的視頻編解碼的示例。 在不脫離本發明的精神的情況下，本領域的技術人員可以修改每個步驟、重新安排步驟、拆分步驟或組合步驟來實施本發明。 在本公開中，已經使用特定語法和語義來說明示例以實現本發明的實施例。 在不脫離本發明的精神的情況下，技術人員可以通過用等同的句法和語義替換句法和語義來實施本發明。
提供以上描述是為了使所屬領域具有通常知識者能夠實踐在特定應用及其要求的上下文中提供的本發明。 對所描述的實施例的各種修改對於所屬領域具有通常知識者而言將是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。 因此，本發明並不旨在限於所示出和描述的特定實施例，而是符合與本文公開的原理和新穎特徵一致的最寬範圍。 在以上詳細描述中，舉例說明了各種具體細節以提供對本發明的透徹理解。 然而，本領域的技術人員將理解可以實施本發明。
如上所述的本發明的實施例可以以各種硬體、軟體代碼或兩者的組合來實現。 例如，本發明的一個實施例可以是集成到視訊壓縮晶片中的一個或多個電路電路或者集成到視訊壓縮軟體中的程式碼以執行這裡描述的處理。 本發明的實施例還可以是要在數位訊號處理器(DSP)上執行以執行這裡描述的處理的程式碼。 本發明還可以涉及由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列(FPGA)執行的許多功能。 這些處理器可以被配置為通過執行定義由本發明體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。 軟體代碼或韌體代碼可以以不同的程式設計語言和不同的格式或風格來開發。 也可以為不同的目標平臺編譯軟體代碼。 然而，軟體代碼的不同代碼格式、風格和語言以及配置代碼以執行根據本發明的任務的其他方式都不會脫離本發明的精神和範圍。
在不脫離其精神或基本特徵的情況下，本發明可以以其他特定形式體現。 所描述的示例在所有方面都應被視為說明性而非限制性的。 因此，本發明的範圍由所附申請專利範圍而不是由前述描述來指示。 落入申請專利範圍等同物的含義和範圍內的所有變化都應包含在其範圍內。
110:幀內預測 112:幀間預測 114:開關 116:加法器 118:變換 120:量化 122:熵編碼器 130:環路濾波器 124:逆量化 126:逆變換 128:重建 134:參考圖片緩衝器 136:預測資料 140:熵解碼器 150:幀內預測 152:MC 210~240:分割類型 500:塊 510:垂直二進位劃分 520:水平二進位劃分 530:垂直三元拆分 540:水平三元拆分 610、630:二叉樹分割 620、640:三元樹分割 710~780:劃分示例 1010、1012、1020、1022、1420、1422、1430、1432:樣本 1110、1120、1410、1610、1620、1630:塊 1510:垂直比較圖元 1520、1530:對角線方向比較圖元 1611~1618、1622~1624、1632~1638、1712:運動矢量 1710:CU 1720:圖片 1730:圖元 1740:L形區域 1810~1850:步驟
與說明書一起用於解釋本發明的原理： 第1A圖 說明瞭包含迴圈處理的示例性適應性幀間/幀內視訊編解碼系統。 第1B圖圖示了第1A圖中的編碼器的相應解碼器。 第2圖示出了對應於垂直二元分割(SPLIT_BT_VER)、水平二元分割(SPLIT_BT_HOR)、垂直三元分割(SPLIT_TT_VER)和水平三元分割(SPLIT_TT_HOR)的多類型樹結構的示例。 第3圖示出了具有嵌套多類型樹編解碼樹結構的四叉樹中的劃分分割資訊的信令機制的示例。 第4圖示出了CTU被劃分為具有四叉樹和嵌套多類型樹編解碼塊結構的多個CU的示例，其中粗體塊邊緣表示四叉樹劃分而其餘邊緣表示多類型樹劃分。 第5圖顯示了當亮度編解碼塊的寬度或高度大於64時禁止TT分割的示例。 第6圖示出了二叉樹分割和三叉樹分割的冗餘分割模式的示例。 第7圖顯示了當亮度編解碼塊的寬度或高度大於64時禁止TT分割的一些例子。 第8圖顯示了VVC視訊編解碼標準採用的幀內預測模式。 第9A-B圖圖示了寬度大於高度的塊（第9A圖）和高度大於寬度的塊（第9B圖）的廣角幀內預測的示例。 第10圖圖示了在廣角幀內預測的情況下使用兩個不相鄰參考樣本的兩個垂直相鄰預測樣本的示例。 第11圖示出了CCLM模式中涉及的當前塊的樣本和左側及上方樣本位置示例。 第12A-D圖圖示了應用於各種預測模式的PDPC的參考樣本定義的示例，其中第12A圖對應於對角右上模式，第12B圖對應于對角左下模式，第12C圖對應於相鄰對角線右上模式，第12D圖對應於相鄰對角線左下模式。 第13圖示出了多輔助線(MRL)幀內預測使用更多輔助線進行幀內預測的示例。 第14圖示出了邊界匹配成本計算中涉及的邊界圖元的示例。 第15圖示出了根據本發明的一個實施例的方向性邊界匹配的例子，包括除了水平和垂直方向之外的角度方向。 第16圖示出了根據本發明的一個實施例的基於當前塊與一個或多個相鄰塊之間的運動向量的相似性/差異性來選擇性地排除頂部或左側區域以用於邊界匹配計算的示例。 第17圖示出了根據本發明的一個實施例的通過對參考塊及其L形相鄰區域的上下文分析來選擇性地排除頂部或左側區域以用於邊界匹配計算的另一示例。 第18圖示出了根據本發明的一個實施例的示例性視訊編解碼系統的流程圖，該系統利用基於當前塊及其相鄰塊的編碼上下文的選擇性邊界匹配。
1810~1850:步驟

Claims (16)

  1. 一種視訊編解碼方法，該方法包括： 接收與當前塊相關聯的輸入資料，其中，該輸入資料包括編碼器側待編碼的該當前塊的圖元資料或解碼器側與該當前塊相關聯的待 解碼的編碼資料； 確定與編解碼模式或模式參數相關的一組候選； 確定與該組候選相關聯的邊界匹配成本，其中，藉由對該組候選中的每一個目標候選，通過使用(1)根據該每一目標候選確定的該當前塊的重建或預測的樣本以及(2)該當前塊的一個或多個相鄰塊的相鄰重建的或預測的樣本，來確定每個邊界匹配成本，並且其中每個邊界匹配成本是使用從多個配置中選擇的一個目標配置來計算的； 基於該邊界匹配成本從該組候選中確定最終候選； 以及 使用該最終候選對該當前塊進行編碼或解碼。
  2. 如請求項1所述之視訊編解碼方法，其中，為了確定邊界匹配成本，該多個配置中的至少一個不包括該當前塊的頂部圖元或左側圖元以及該一個或多個相鄰塊的對應的頂部圖元或對應的左側圖元。
  3. 如請求項2所述之視訊編解碼方法，其中，該多個配置中的至少一種取決於該當前塊和該一個或多個相鄰塊的至少兩個運動向量。
  4. 如請求項3所述之視訊編解碼方法，其中，如果該當前塊與該一個或多個相鄰塊之間的一個或多個運動向量差異超過相應頂側或相應左側的閾值，則排除該當前塊的該頂側圖元或該左側圖元以及該一個或多個相鄰塊的該對應頂側圖元或該對應左側圖元。
  5. 如請求項3所述之視訊編解碼方法，其中，該當前塊和該一個或多個相鄰塊的該至少兩個運動向量的相似性或差異是在逐圖元、逐子塊或逐塊的基礎上確定的。
  6. 如請求項1所述之視訊編解碼方法，其中，為了確定邊界匹配成本，該多個配置中的至少一個僅包括該當前塊的頂側圖元或左側圖元以及該一個或多個相鄰塊的對應的頂側圖元或對應的左側圖元。
  7. 如請求項1所述之視訊編解碼方法，其中，該多個配置中的至少一個在除水平方向和垂直方向之外的角度方向上計算邊界匹配。
  8. 如請求項7所述之視訊編解碼方法，其中與該角度方向相關聯的一個或多個語法元素在該編碼器側在位元流中發信或在該解碼器側從該位元流解析。
  9. 如請求項8所述之視訊編解碼方法，其中，該一個或多個語法元素在該位元流中發信或在CU、PU或CTU級別從該位元流解析。
  10. 如請求項7所述之視訊編解碼方法，其中，該當前塊的該角度方向是基於一個相鄰塊的該角度方向來預測的。
  11. 如請求項7所述之視訊編解碼方法，其中，通過分析該當前塊的L形相鄰圖元的上下文資訊來隱式地確定該當前塊的該角度方向。
  12. 如請求項1所述之視訊編解碼方法，其中，該組候選對應於BCW的加權。
  13. 如請求項12所述之視訊編解碼方法，其中使用根據一個權重匯出的該當前塊的該重建樣本針對該權重確定邊界匹配成本，針對每個權重確定一個邊界匹配成本，並且權重索引在該編碼器側發信或在該解碼器側解析，用於根據該邊界匹配成本從重新排序的 BCW 權重中選擇最終權重值。
  14. 如請求項12所述之視訊編解碼方法，其中，使用根據一個權重匯出的該當前塊的該預測樣本針對該權重確定邊界匹配成本，針對每個權重確定一個邊界匹配成本，並且隱式地選擇對應於最小邊界匹配成本的權重為最終權重值。
  15. 如請求項1所述之視訊編解碼方法，其中每個邊界匹配成本是使用根據該當前塊的一個或多個編解碼資訊或上下文和/或該當前塊的該一個或多個相鄰塊的一個或多個編解碼資訊或上下文從多個配置中選擇的一個目標配置來計算的。
  16. 一種用於視訊編解碼的裝置，該裝置包括一個或多個電子設備或處理器，用於： 接收與當前塊相關聯的輸入資料，其中，該輸入資料包括編碼器側待編碼的該當前塊的圖元資料或解碼器側與該當前塊相關聯的待解碼的編碼資料； 確定與編解碼模式或模式參數相關的一組候選； 確定與該組候選相關聯的邊界匹配成本，其中，藉由對該組候選中的每一個目標候選，通過使用(1)根據該每一目標候選確定的該當前塊的重建或預測的樣本以及(2)該當前塊的一個或多個相鄰塊的相鄰重建的或預測的樣本，來確定每個邊界匹配成本，並且其中每個邊界匹配成本是使用從多個配置中選擇的一個目標配置來計算的； 基於該邊界匹配成本從該組候選中確定最終候選； 以及 使用該最終候選對該當前塊進行編碼或解碼。
TW112100575A 2022-01-07 2023-01-06 視訊編解碼方法及相關裝置 TW202329688A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263297250P 2022-01-07 2022-01-07
US63/297,250 2022-01-07
US18/065,179 US20230224455A1 (en) 2022-01-07 2022-12-13 Method and Apparatus Using Boundary Matching for Mode Selection in Video Coding System
US18/065,179 2022-12-13

Publications (1)

Publication Number Publication Date
TW202329688A true TW202329688A (zh) 2023-07-16

Family

ID=87050474

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112100575A TW202329688A (zh) 2022-01-07 2023-01-06 視訊編解碼方法及相關裝置

Country Status (3)

Country Link
US (1) US20230224455A1 (zh)
CN (1) CN116418979A (zh)
TW (1) TW202329688A (zh)

Also Published As

Publication number Publication date
US20230224455A1 (en) 2023-07-13
CN116418979A (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
Han et al. Improved video compression efficiency through flexible unit representation and corresponding extension of coding tools
EP4221202A1 (en) Image encoding and decoding method and image decoding device
US11405613B2 (en) Method for encoding/decoding image signal and device therefor
WO2021244935A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding
WO2020035064A1 (en) Shared candidate list
CN114765688A (zh) 用于解码器侧帧内模式导出的模板的使用
KR20220062085A (ko) 비디오 처리에서 양자화 파라미터 시그널링
US11936890B2 (en) Video coding using intra sub-partition coding mode
KR20190096432A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
TWI821103B (zh) 在視訊編解碼系統中使用邊界匹配進行重疊塊運動補償的方法和裝置
KR20200119744A (ko) 화면 내 예측에서 예측 모드 관련 신호를 시그널링하는 방법 및 장치
CN117178552A (zh) 边界外条件的基于子块的双向预测约束
TW202329688A (zh) 視訊編解碼方法及相關裝置
WO2023193516A1 (en) Method and apparatus using curve based or spread-angle based intra prediction mode in video coding system
WO2023246901A1 (en) Methods and apparatus for implicit sub-block transform coding
WO2023198112A1 (en) Method and apparatus of improvement for decoder-derived intra prediction in video coding system
US20240187623A1 (en) Video Coding Using Intra Sub-Partition Coding Mode
WO2023138627A1 (en) Method and apparatus of cross-component linear model prediction with refined parameters in video coding system
WO2023193806A1 (en) Method and apparatus using decoder-derived intra prediction in video coding system
WO2024017179A1 (en) Method and apparatus of blending prediction using multiple reference lines in video coding system
WO2024104086A1 (en) Method and apparatus of inheriting shared cross-component linear model with history table in video coding system
WO2024088340A1 (en) Method and apparatus of inheriting multiple cross-component models in video coding system
WO2024017187A1 (en) Method and apparatus of novel intra prediction with combinations of reference lines and intra prediction modes in video coding system
WO2024074129A1 (en) Method and apparatus of inheriting temporal neighbouring model parameters in video coding system
WO2024083238A1 (en) Method and apparatus of matrix weighted intra prediction in video coding system