TW202406341A - 使用交叉分量預測對彩色圖片進行視訊編解碼的方法和裝置 - Google Patents

使用交叉分量預測對彩色圖片進行視訊編解碼的方法和裝置 Download PDF

Info

Publication number
TW202406341A
TW202406341A TW112128174A TW112128174A TW202406341A TW 202406341 A TW202406341 A TW 202406341A TW 112128174 A TW112128174 A TW 112128174A TW 112128174 A TW112128174 A TW 112128174A TW 202406341 A TW202406341 A TW 202406341A
Authority
TW
Taiwan
Prior art keywords
cross
target
convolutional
filter
component
Prior art date
Application number
TW112128174A
Other languages
English (en)
Inventor
莊政彥
陳慶曄
徐志瑋
莊子德
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202406341A publication Critical patent/TW202406341A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

用於視訊編解碼的CCCM方法和裝置被提供。根據一種方法，與參考區域中的參考亮度樣本的卷積濾波器的覆蓋區相關聯的自相關矩陣被導出。參考區域中參考亮度樣本和參考色度樣本之間與覆蓋區相關聯的互相關向量被導出。卷積濾波器的係數基於自相關矩陣和互相關向量使用高斯消去法導出。對於色度塊中的目標色度樣本，具有導出的係數的卷積濾波器被應用於亮度塊的相應位置以形成目標色度樣本的卷積交叉分量模型預測子。目標色度樣本的最終預測子從包括卷積交叉分量模型預測子的預測候選集合中生成。目標色度樣本使用最終預測子進行編碼或解碼。

Description

使用交叉分量預測對彩色圖片進行視訊編解碼的方法和裝置
本發明涉及視訊編解碼系統。具體而言，本發明涉及在視訊編解碼系統中提高交叉分量線性模型（Cross-Component Linear Model，簡稱CCLM）相關模式的性能或降低其複雜性的方案。
多功能視訊編解碼（versatile video coding，簡稱VVC）是由ITU-T視訊編解碼專家組（Video Coding Experts Group，簡稱VCEG）和ISO/IEC運動圖像專家組（Moving Picture Experts Group，簡稱MPEG）的聯合視訊專家組（Joint Video Experts Team，簡稱JVET）開發的最新國際視訊編解碼標準。該標準已作為ISO標準於2021年2月發佈：ISO/IEC 23090-3:2021，資訊技術-沉浸式媒體的編解碼表示-第3部分：多功能視訊編解碼。VVC是基於其上一代高效視訊編解碼（High Efficiency Video Coding，簡稱HEVC）藉由添加更多的編解碼工具，來提高編解碼效率以及處理包括三維（3-dimensional，簡稱3D）視訊訊號在內的各種類型的視訊源。
第1A圖示出結合迴圈處理的示例適應性幀間/幀內視訊編解碼系統。對於幀內預測，​​預測資料基於當前圖片中先前編解碼的視訊資料得出。對於幀間預測112，運動估計（Motion Estimation，簡稱ME）在編碼器端執行以及運動補償（Motion Compensation，簡稱MC）基於ME的結果執行以提供從其他圖片和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112，以及選擇的預測資料被提供至加法器116以形成預測誤差，也被稱為殘差。然後預測誤差由變換（Transform，簡稱T）118接著量化（Quantization，簡稱Q）120處理。然後經變換和量化的殘差由熵編碼器122進行編碼，以包括在對應於壓縮視訊資料的視訊位元流中。然後，與變換係數相關聯的位元流與輔助資訊（諸如與幀內預測和幀間預測相關聯的運動和編碼模式等輔助資訊）和其他資訊（與應用於底層圖像區域的環路濾波器相關聯的參數等）打包。如第1A圖所示，與幀內預測110、幀間預測112和環路濾波器130相關聯的輔助資訊被提供至熵編碼器122。當幀間預測模式被使用時，一個或多個參考圖片也必須在編碼器端重構。因此，經變換和量化的殘差由逆量化（Inverse Quantization，簡稱IQ）124和逆變換（Inverse Transformation，簡稱IT）126處理以恢復殘差。然後殘差在重構（REC）128被加回到預測資料136以重構視訊資料。重構的視訊資料可被存儲在參考圖片緩衝器134中以及用於其他幀的預測。
如第1A圖所示，輸入的視訊資料在編碼系統中經過一系列處理。由於一系列處理，來自REC128的重構視訊資料可能會受到各種損害。因此，在重構視訊資料被存儲在參考圖片緩衝器134中之前，環路濾波器130通常被應用於重構視訊資料，以提高視訊品質。例如，去塊濾波器（deblocking filter,簡稱DF）、樣本適應性偏移（Sample Adaptive Offset，簡稱SAO）和適應性環路濾波器（Adaptive Loop Filter，簡稱ALF）可被使用。環路濾波器資訊可能需要被合併到位元流中，以便解碼器可以正確地恢復所需的資訊。因此，環路濾波器資訊也被提供至熵編碼器122以結合到位元流中。在第1A圖中，在重構樣本被存儲在參考圖片緩衝器134中之前，環路濾波器130被應用於重構的視訊。第1A圖中的系統旨在說明典型視訊編碼器的示例結構。它可以對應於高效視訊編解碼（High Efficiency Video Coding，簡稱HEVC）系統、VP8、VP9、H.264或VVC。
如第1B圖所示的解碼器可以使用與編碼器相似或部分相同的功能塊，除了變換118 和量化120，因為解碼器只需要逆量化124和逆變換126。解碼器使用熵解碼器140而不是熵編碼器122來將視訊位元流解碼為量化的變換係數和所需的編解碼資訊（例如，ILPF資訊、幀內預測資訊和幀間預測資訊）。解碼器端的幀內預測150不需要執行模式搜索。相反，解碼器只需要根據從熵解碼器140接收到的幀內預測資訊生成幀內預測。此外，對於幀間預測，解碼器只需要根據從熵解碼器140接收到的幀內預測資訊執行運動補償（MC 152）無需運動估計。
根據VVC，輸入圖片被劃分為稱為編解碼樹單元（Coding Tree unit，簡稱CTU）的非重疊方形塊區域，類似於HEVC。每個CTU可被劃分為一個或多個較小尺寸的編解碼單元（coding unit，簡稱CU）。生成的CU分區可以是正方形或矩形。此外，VVC將CTU劃分為預測單元（prediction unit，簡稱PU）作為一個單元來應用預測處理，例如幀間預測、幀內預測等。
使用樹結構對 CTU 進行分區
在HEVC中，藉由使用表示為編解碼樹的四叉樹（QT）結構，CTU被分成CU以適應各種局部特性。使用圖片間（時間）或圖片內（空間）預測對圖片區域進行編解碼的決定在葉CU級別做出。每個葉CU可以根據PU分割類型進一步被分割成一個、兩個或四個PU。在一個PU內部，相同的預測處理被應用，以及相關資訊以PU為基礎被傳輸到解碼器。在藉由應用基於PU分割類型的預測處理獲得殘差塊之後，葉CU可以根據類似於CU的編解碼樹的另一種四叉樹結構被劃分為變換單元（transform unit，簡稱TU）。HEVC結構的關鍵特徵之一是它具有多個分區概念，包括CU、PU和TU。
在VVC中，使用具有二元和三元劃分分割結構的巢狀多類型樹（MTT）的四叉樹取代了多分割單元類型的概念，即它消除了CU，PU和TU概念的獨立性，除非CU的大小對於最大變換長度來說太大，並且支持更靈活的CU分割形狀。。在編解碼樹結構中，CU可以是正方形或長方形。編解碼樹單元（coding tree unit，簡稱CTU）首先按四叉樹（也被稱為四分樹）結構進行劃分。然後四叉樹葉節點可以進一步被劃分為多類型樹結構。如第2圖所示，多類型樹結構中有四種分割類型，垂直二元分割（SPLIT_BT_VER 210），水平二元分割（SPLIT_BT_HOR 220），垂直三元分割（SPLIT_TT_VER 230），以及水平三元分割（SPLIT_TT_HOR 240）。多類型樹葉節點被稱為編解碼單元（coding unit，簡稱CU），除非CU對於最大變換長度來說太大，否則此分段將用於預測和變換處理，而無需進一步劃分。這意味著，在大多數情況下，CU、PU和TU在具有巢狀多類型樹編碼塊結構的四叉樹中具有相同的塊大小。當支援的最大變換長度小於CU顏色分量的寬度或高度時會發生異常。
第3圖示出具有巢狀多類型樹編解碼樹結構的四叉樹中劃分分割資訊的發送機制。編解碼樹單元（coding tree unit，簡稱CTU）被視為四叉樹的根，以及首先由四叉樹結構進行劃分。然後，每個四叉樹葉節點（當足夠大時）被多類型樹結構進一步劃分。在具有巢狀多類型樹編解碼樹結構的四叉樹中，對於每個CU節點，第一標誌（split_cu_flag）被發送以指示該節點是否被進一步劃分。如果當前CU節點是四叉樹CU節點，則第二標誌（split_qt_flag）被發送以指示是QT分區還是MTT分區模式。當使用MTT分區模式對節點進行分區時，第三標誌（mtt_split_cu_vertical_flag）被發送以指示分割方向，然後第四標誌（mtt_split_cu_binary_flag）被發送以指示分割是二元分割還是三元分割。根據mtt_split_cu_vertical_flag和mtt_split_cu_binary_flag的值， CU的多類型樹切分模式（MttSplitMode）被導出，如表1所示。 表 1 – 基於多類型樹語法元素的 MttSplitMode 推導
MttSplitMode mtt_split_cu_vertical_flag mtt_split_cu_binary_flag
SPLIT_TT_HOR 0 0
SPLIT_BT_HOR 0 1
SPLIT_TT_VER 1 0
SPLIT_BT_VER 1 1
第4圖示出CTU被劃分為具有四叉樹和巢狀多類型樹編解碼塊結構的多個CU，其中粗體塊邊緣表示四叉樹劃分，其餘邊緣表示多類型樹劃分。具有巢狀多類型樹劃分的四叉樹提供了由CU組成的內容適應性編解碼樹結構。CU 的大小可以與CTU一樣大，也可以以亮度樣本為單位小至4×4。對於4:2:0色度格式，最大色度CB大小為64×64，最小大小色度CB由16個色度樣本組成。
在VVC中，支援的最大亮度變換大小是64×64以及支援的最大色度變換大小是32×32。當CB的寬度或高度大於最大變換寬度或高度時，CB會自動在水平和/或垂直方向上分割以滿足該方向上的變換大小限制。
以下參數可被定義用於具有巢狀多類型樹編碼樹方案的四叉樹定義。這些參數由SPS語法元素指定，以及可以藉由圖片標頭語法元素進一步細化。 – CTU大小：四叉樹的根節點大小 – MinQTSize：允許的最小四叉樹葉節點大小 – MaxBtSize：允許的最大二叉樹根節點大小 – MaxTtSize：允許的最大三叉樹根節點大小 – MaxMttDepth：從四叉樹葉分割出的多類型樹的允許的最大層次深度 – MinCbSize：允許的最小編解碼塊節點大小
在具有巢狀多類型樹編解碼樹結構的四叉樹的一個示例中，CTU大小被設置為128×128亮度樣本和兩個對應的64×64塊的4:2:0色度樣本， MinQTSize被設置為16×16， MaxBtSize被設置為128×128， MaxTtSize被設置為64×64， MinCbsize（寬度和高度）被設置為4×4， MaxMttDepth被設置為4。四叉樹劃分首先應用於CTU以生成四叉樹葉節點。四叉樹葉節點的大小可以從16×16（即 MinQTSize）到128×128（即CTU大小）。如果葉QT節點為128×128，由於大小超過了 MaxBtSize和 MaxTtSize（即64×64），二叉樹將不再進一步分割。否則，四叉樹葉節點可能會被多類型樹進一步劃分。因此，四叉樹葉節點也是多元樹的根節點，其多元樹深度（ mttDepth）為0。當多元樹深度達到 MaxMttDepth（即4）時，不考慮進一步分割。當多類型樹節點的寬度等於 MinCbsize時，不再考慮進一步垂直分割。類似地，當多類型樹節點的高度等於 MinCbsize時，不考慮進一步的水平分割。
在VVC中，編解碼樹方案支援亮度和色度具有單獨的塊樹結構的能力。對於P和B片段，一個CTU中的亮度和色度CTB必須共用相同的編解碼樹結構。然而，對於I片段，亮度和色度可以具有單獨的塊樹結構。當單獨塊樹模式被應用時，亮度CTB被一種編解碼樹結構分割成CU，色度CTB被另一種編解碼樹結構分割成色度CU。這意味著I片段中的CU可能由亮度分量的編解碼塊或兩個色度分量的編解碼塊組成，而P或B片段中的CU總是由所有三種顏色分量的編解碼塊組成，除非視訊為單色。
虛擬管線資料單元（ Virtual Pipeline Data Unit ，簡稱 VPDU ）
虛擬流水線資料單元（VPDU）被定義為圖片中的非重疊單元。在硬體解碼器中，連續的VPDU由多個管線級同時處理。在大多數管線級別中，VPDU大小與緩衝區大小大致成正比，因此保持VPDU大小較小很重要。在大多數硬體解碼器中，VPDU大小可以被設置為最大變換塊（transform block，簡稱TB）大小。然而，在VVC中，三叉樹（ternary tree，簡稱TT）和二叉樹（binary tree，簡稱BT）分割可能會導致VPDU大小增加。
為了將VPDU大小保持為64x64亮度樣本，以下規範分割限制（具有語法信令修改）被應用於VTM，如第5圖所示： – 對於寬度或高度，或寬度和高度均等於128的CU， TT分割（如第5圖中的“X”所示）不被允許。 – 對於N≤64（即寬度等於128且高度小於128）的128xN的CU，水平BT不被允許。 – 對於N≤64（即高度等於128且寬度小於128）的Nx128的CU，垂直BT不被允許。
在第5圖中，亮度塊大小為128x128。虛線表示塊大小為64x64。根據上述限制，不被允許的分割示例使用“X”表示，如第5圖中的各種示例（510-580）所示。
幀內色度劃分以及預測限制
在典型的硬體視訊編碼器和解碼器中，由於相鄰幀內塊之間的樣本處理資料依賴性，當圖片具有更多小幀內塊時處理輸送量下降。幀內塊的預測子生成需要來自相鄰塊的頂部和左側邊界重構樣本。因此，幀內預測必須逐塊連續地處理。
在HEVC中，最小的幀內CU是8x8亮度樣本。最小幀內CU的亮度分量可以進一步被分割為4個4x4亮度幀內預測單元（Pus），但最小幀內CU的色度分量不能進一步被分割。因此，當4x4色度幀內塊或4x4亮度幀內塊被處理時，會出現最壞情況的硬體處理輸送量。在VVC中，為了提高最壞情況下的輸送量，藉由約束色度幀內CB的劃分，小於16個色度樣本（大小2x2，4x2和2x4）的色度幀內CB和寬度小於4個色度樣本（大小2xN）的色度幀內CB不被允許。
在單個編解碼樹中，最小色度幀內預測單元（smallest chroma intra prediction unit，簡稱SCIPU）被定義為編解碼樹節點，其色度塊大小大於或等於16個色度樣本以及具有至少一個小於64個亮度樣本的子亮度塊，或者被定義為編解碼樹節點，其色度塊大小不是2xN以及具有至少有一個子亮度塊（具有4xN亮度樣本）。要求在每個SCIPU中，所有CB都是幀間的（inter），或者所有的CB都是非幀間的（non-inter），即幀內或幀內塊複製（intra block copy，簡稱IBC）。在非幀間SCIPU的情況下，還要求非幀間SCIPU的色度不應該被進一步分割且SCIPU的亮度被允許進一步分割。這樣，大小小於16個色度樣本或大小為2xN的小色度幀內CB被移除。此外，在非幀間SCIPU的情況下，色度縮放不被應用。這裡，沒有額外的語法被發送，以及SCIPU是否是非幀間的可以藉由SCIPU中的第一亮度CB的預測模式來導出。如果當前片段是I-片段，或者當前SCIPU在進一步分割一次後有4x4亮度劃分，則推斷SCIPU的類型為非幀間（因為VVC中幀間4x4不被允許）；否則，在解析SCIPU中的CU之前，SCIPU的類型（幀間或非-幀間）由一個標誌指示。
對於幀內圖片中的雙樹，2xN幀內色度塊藉由分別對4xN和8xN色度分區禁用垂直二元和垂直三元分割來移除。大小為2x2，4x2和2x4的小色度塊也藉由分區限制被移除。
另外，藉由考慮圖片寬度和高度是max（8，MinCbSizeY）的倍數，對圖片大小的限制被考慮以避免圖片角處的2x2/2x4/4x2/2xN幀內色度塊。
具有 67 種幀內預測模式的幀內模式編解碼
為了獲取自然視訊中出現的任意邊緣方向，VVC中的定向幀內模式的數量從HEVC中使用的33個擴展到65個。HEVC中沒有的新定向模式在第6圖中用虛線箭頭表示。平面和直流模式保持不變。這些更密集的定向幀內預測模式適用於所有塊大小以及亮度和色度幀內預測。
在VVC中，針對非方形塊，幾種傳統的角度幀內預測模式被適應性地替換為廣角幀內預測模式。
在HEVC中，每個幀內編解碼塊具有正方形形狀以及其每條邊的長度是2的冪。因此，不需要除法運算來使用DC模式生成幀內預測子。在VVC中，塊可以具有矩形形狀，這在一般情況下需要對每個塊使用除法運算。為了避免DC預測的除法操作，只有較長的邊用於計算非正方形塊的平均值。
為了保持最可能模式（most probable mode，簡稱MPM）列表生成的複雜性較低，具有6個MPM的幀內模式編解碼方法藉由考慮兩個可用的相鄰幀內模式使用。構建MPM列表考慮以下三個方面： – 默認幀内模式 – 相鄰幀内模式 – 導出的幀内模式
無論是否應用MRL和ISP編解碼工具，統一的6-MPM列表用於幀內塊。MPM列表基於左側和上方相鄰塊的幀內模式構建。假設左側的模式被標記為Left，上面塊的模式被標記為Above，則統一的MPM列表構建如下： – 當相鄰塊不可用時，其幀內模式默認設置為平面。 – 如果Left和Above兩種模式都是非角度模式： – MPM列表→{平面, DC, V, H, V − 4, V + 4} – 如果Left和Above模式之一是角度模式，另一個是非角度模式： – 將模式Max設置為Left和Above中的較大模式 – MPM列表→{平面, Max, Max − 1, Max + 1, Max – 2, Max + 2} – 如果Left和Above都是有角度的並且它們不同： – 將模式Max設置為Left和Above中的較大模式 – 如果Max-Min等於1： ˙MPM列表→{平面, Left, Above, Min − 1, Max + 1,Min-2} – 否則，如果Max-Min大於或等於62： ˙MPM列表→{平面,Left, Above,Min+1, Max-1, Min+2} – 否則，如果Max-Min等於2： ˙MPM列表→{平面,Left, Above,Min+1,Min-1,Max+1} – 否則： ˙MPM列表→{平面，Left, Above,Min-1,Min+1,Max-1} – 如果Left和Above都是有角度的並且它們是相同的： – MPM列表→{平面, Left, Left − 1, Left + 1, Left – 2,Left+2}
此外，MPM索引碼字的第一個bin被CABAC上下文編解碼。總共三個上下文被使用，對應於當前幀內塊是啟用MRL，啟用ISP還是正常幀內塊。
在6個MPM列表生成處理中，修剪被用來去除重複的模式，使得只有獨特的模式可以被包括在MPM列表中。對於61種非MPM模式的熵編解碼，截斷二進位碼（Truncated Binary Code，簡稱TBC）被使用。
非正方形塊的廣角幀內預測（ Wide-Angle Intra Prediction for Non-Square Blocks ）
常規角度幀內預測方向被定義為順時針方向從45度到-135度。在VVC中，幾種傳統的角度幀內預測模式被適應性地替換為非正方形塊的廣角幀內預測模式。替換的模式使用原始模式索引發送，原始模式索引在解析後重新映射到廣角模式的索引。幀內預測模式總數不變，即67，幀內模式編解碼方式不變。
為了支援這些預測方向，長度為2W+1的頂部參考和長度為2H+1的左側參考被分別如第7A圖和第7B圖所示定義。第7A圖和第7B圖中的Dia. mode為對角（diagonal）模式，即模式34。
在廣角方向模式中替換模式的數量取決於塊的長寬比（aspect ratio）。替換的幀內預測模式如表2所示。 表 2 – 被廣角模式取代的幀內預測模式
長寬比 替換的幀內預測模式
W / H == 16 模式 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13,14,15
W / H == 8 模式 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13
W / H == 4 模式 2,3,4,5,6,7,8,9,10,11
W / H == 2 模式 2,3,4,5,6,7,
W / H == 1 無
W / H == 1/2 模式 61,62,63,64,65,66
W / H == 1/4 模式 57,58,59,60,61,62,63,64,65,66
W / H == 1/8 模式 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66
W / H == 1/16 模式 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66
在VVC中，4:2:2和4:4:4以及4:2:0色度格式均被支援。4:2:2色度格式的色度導出模式（derived mode，簡稱DM）導出表最初從HEVC移植，將條目數從35擴展到67，以與幀內預測模式的擴展保持一致。由於HEVC規範不支援-135度以下和45度以上的預測角度，從2到5的亮度幀內預測模式被映射到2。因此，4:2:2的色度DM推導表：色度格式藉由替換映射表條目的一些值進行更新，以更精確地轉換色度塊的預測角度。
交叉 分量線性模型（ Cross-Component Linear Model ，簡稱 CCLM ）預測
為了減少交叉分量冗餘，VVC中採用交叉分量線性模型（CCLM）預測模式，色度樣本利用線性模型基於同一CU的重構亮度樣本來預測如下： （1） 其中pred C（i,j)表示CU中的預測色度樣本，rec L（i,j）表示同一CU的下採樣重構亮度樣本。
CCLM參數（α和β）藉由最多四個相鄰色度樣本及其相應的下採樣亮度樣本導出。假設當前色度塊尺寸為W×H，則W'和H'被設置為： – 當LM_LA模式被使用時，W' = W，H' = H； – 當LM_A模式被使用時，W' =W + H； – 當LM_L模式被使用時，H' = H + W。
上面的相鄰位置被表示為S[0, -1]…S[W' - 1, -1]以及左側相鄰位置被表示為S[-1, 0]…S[-1, H ' - 1 ]。然後四個樣本被選擇為： – S[W'/4, −1], S[3*W'/4, −1], S[ −1, H'/4 ], S[−1, 3*H'/4 ]，當LM模式被使用以及上方和左側的相鄰樣本都可用時； – S[ W'/8, −1], S[3*W'/8, −1], S[5*W'/8, −1], S[7*W'/8, −1]，當LM-A模式被使用或只有上方相鄰樣本可用時； – S[−1, H'/8], S[−1, 3*H'/8], S[−1, 5*H'/8], S[−1, 7*H'/8]，當LM-L模式被使用或僅左側相鄰樣本可用時。
所選位置處的四個相鄰亮度樣本被下採樣以及被比較四次以找到兩個較大值：x 0 A和x l A，以及兩個較小值：x 0 B和x l B。它們對應的色度樣本值表示為y 0 A、y 1 A、y 0 B和y 1 B。然後x A、x B、y A和y B被導出為： x A=(x 0 A+ x 1 A+1)＞＞1; x B=(x 0 B+ x 1 B+1)＞＞1; y A=(y 0 A+ y 1 A+1)＞＞1; y B=(y 0 B+ y 1 B+1)＞＞1                                                        （2）
最後，線性模型參數α和β根據以下等式得到。 （3） （4）
第8圖示出LM_LA模式中涉及的左側、上方樣本以及當前塊的樣本的位置示例。第8圖示出N×N色度塊810、對應的2N×2N亮度塊820以及它們的相鄰樣本（示出為實心圓圈）的相對樣本位置。
計算參數α的除法運算藉由查閱資料表來實現。為了減少存儲表格所需的記憶體， diff值（最大值和最小值之間的差值）和參數α用指數標記法來表示。例如， diff用4位元有效部分和指數來近似。因此，1/diff的表被縮減為16個有效數值的16個元素，如下所示： DivTable [ ] = { 0, 7, 6, 5, 5, 4, 4, 3, 3, 2, 2, 1, 1, 1, 1, 0 }    （5）
這將具有降低計算複雜性以及存儲所需表所需的記憶體大小的優點。
除了上方範本和左側範本可以一起用於計算線性模型係數之外，它們還可以交替地用於另外2種LM模式，被稱為LM_A和LM_L模式。
在LM_A模式下，僅上方範本被用來計算線性模型係數。為了獲得更多樣本，上方範本被擴展為（W+H）個樣本。在LM_L模式下，僅左側範本被用來計算線性模型係數。為了獲得更多樣本，左側範本被擴展為（H+W）個樣本。
在LM_LA模式下，左側和上方範本被用來計算線性模型係數。
為了匹配4:2:0視訊序列的色度樣本位置，兩種類型的下採樣濾波器被應用於亮度樣本以在水平和垂直方向上實現2比1的下採樣比。下採樣濾波器的選擇由SPS級別標誌指定。兩個下採樣濾波器如下，分別對應“type-0”和“type-2”內容。 （6） （7）
注意，當上方參考線位於CTU邊界時，僅一條亮度線（幀內預測中的通用線緩衝器）被用來產生下採樣的亮度樣本。
該參數計算作為解碼處理的一部分來執行，而不僅僅是作為編碼器搜索操作。因此，不使用任一語法將α和β值傳送給解碼器。
對於色度幀內模式編解碼，總共允許8種幀內模式用於色度幀內模式編解碼。這些模式包括五種傳統的幀內模式和三種交叉分量線性模型模式（LM_LA、LM_A和LM_L）。色度模式發送和推導過程如表3所示。色度模式編解碼直接取決於相應亮度塊的幀內預測模式。由於在I片段中啟用用於亮度和色度分量的單獨的塊劃分結構，所以一個色度塊可以對應於多個亮度塊。 因此，對於色度DM模式，覆蓋當前色度塊中心位置的對應亮度塊的幀內預測模式被直接繼承。 表 3 –CCLM 被啟用時從亮度模式導出色度預測模式
色度預測模式 相應亮度幀内預測模式
0 50 18 1 X （ 0 ＜= X ＜= 66 ）
0 66 0 0 0 0
1 50 66 50 50 50
2 18 18 66 18 18
3 1 1 1 66 1
4 0 50 18 1 X
5 81 81 81 81 81
6 82 82 82 82 82
7 83 83 83 83 83
無論sps_cclm_enabled_flag的值如何，都使用單個二值化表，如表4中所示。 表 4 – 色度預測模式統一二值化表
intra_chroma_pred_mode的值 Bin 串
4 00
0 0100
1 0101
2 0110
3 0111
5 10
6 110
7 111
在表4中，第一個bin指示是常規模式（0）還是CCLM模式（1）。如果是LM模式，那麼下一個bin表示是否是LM_LA（0）。如果不是LM_LA，則下1個bin表示是LM_L（0）還是LM_A（1）。對於這種情況，當sps_cclm_enabled_flag為0時，對應intra_chroma_pred_mode的二值化表的第一個bin可以在熵編解碼之前被丟棄。或者，換句話說，第一個bin被推斷為0，因此不進行編解碼。此單個二值化表用於 sps_cclm_enabled_flag 等於0和1的情況。表4中的前兩個bin使用其自己的上下文模型進行上下文編解碼，其餘bin進行旁路編解碼。
另外，為了減少雙樹中的亮度-色度延遲，當64x64亮度編解碼樹節點以Not Split（以及ISP不用於64x64 CU）或QT進行分區時，32x32/中的色度CU 32x16色度編解碼樹節點允許按以下方式使用CCLM： – 如果32x32色度節點未被分割或使用QT分割進行劃分，則32x32節點中的所有色度CU都可以使用CCLM。 – 如果32x32色度節點採用水平BT劃分，且32x16子節點不被劃分或採用垂直BT劃分，則32x16色度節點中的所有色度CU都可以使用CCLM。在所有其他亮度和色度編解碼樹分割條件下，色度CU不允許使用 CCLM。
在所有其他亮度和色度編解碼樹分割條件下，色度CU不允許用於CCLM。
多模型 CCLM （ Multiple Model ，簡稱 MMLM ）
在JEM（J. Chen, E. Alshina, G. J. Sullivan, J.-R. Ohm, and J. Boyce, Algorithm Description of Joint Exploration Test Model 7, document JVET-G1001, ITU-T/ISO/IEC Joint Video Exploration Team (JVET), Jul. 2017）中，多模型CCLM模式（Multiple model CCLM mode，簡稱MMLM）被提出，用於使用兩個模型從整個CU的亮度樣本預測色度樣本。在MMLM中，當前塊的相鄰亮度樣本和相鄰色度樣本被分為兩組，每組用作訓練集合來導出線性模型（即，對特定組導出特定的α和β）。此外，當前亮度塊的樣本還基於與相鄰亮度樣本的分類相同的規則進行分類。
第9圖示出將相鄰樣本分類為兩組的示例。 Threshold計算為相鄰重構亮度樣本的平均值。Rec’L[x,y]＜=Threshold 的相鄰樣本被分類為組1；而Rec’L[x,y] ＞ Threshold的相鄰樣本被分類為組2。 （8）
局部照明補償（ Local illumination compensation ，簡稱 LIC ）
局部照明補償（Local illumination compensation，簡稱LIC）是一種使用當前塊和參考塊的相鄰樣本的幀間預測方法。它基於使用縮放因數a和偏移量b的線性模型。它藉由參考當前塊和參考塊的相鄰樣本來導出縮放因數a和偏移量b。此外，編解碼工具對每個CU適應性地被啟用或禁用。
對於LIC的更多細節，可以參考文檔JVET-C1001（J. Chen, et al., “Algorithm Description of Joint Exploration Test Model 3”, Joint Video Exploration Team（JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 3rd Meeting: Geneva, CH, 26 May – 1 June 2016, document JVET-C1001）。
卷積交叉分量模型（ Convolutional cross-component model ，簡稱 CCCM ）
在CCCM中，卷積模型被用來提高色度預測性能。卷積模型使用由5抽頭加號形狀空間分量、非線性項和偏置項組成的7抽頭濾波器。濾波器的空間5抽頭分量的輸入由中心（C）亮度樣本（該樣本與要預測的色度樣本搭配）及其上/北（N）、下/南（S）、左/西（W）和右/東（E）相鄰樣本組成，如第10圖所示。
非線性項（表示為P）被表示為中心亮度樣本C的二的冪以及被縮放到內容的樣本值範圍： P = (C*C + midVal)＞＞ bitDepth                                     （9）
因此，對於10位元內容，計算如下： P =( C*C + 512) ＞＞ 10                                            （10）
偏置項（表示為B）表示輸入和輸出之間的標量偏移（類似於CCLM中的偏移項）以及被設置為中間色度值（例如，對於10位元內容為512）。
當前像素位置（即，第10圖中的“C”）處的濾波器的輸出被計算為濾波器係數c i和輸入值之間的卷積，以及被裁剪到有效色度樣本的範圍： predChromaVal = c 0C + c 1N + c 2S + c 3E + c 4W + c 5P + c 6B            （11）
濾波器係數c i藉由最小化參考區域中的預測色度樣本和重構色度樣本之間的MSE來計算。第11圖示出由PU上方和左側的6行色度樣本組成的參考區域。參考區域向右延伸1個PU寬度，以及在PU邊界下方延伸1個PU高度。區域已調整為僅包含可用樣本。以灰色顯示的區域需要進行擴展以支援加號形狀空間濾波器的“側邊樣本”，以及如果不可用則被填充。
MSE最小化藉由計算亮度輸入的自相關矩陣以及亮度輸入和色度輸出之間的互相關向量來執行。自相關矩陣被執行LDL分解，以及最終的濾波器係數使用向後替換法計算。該過程大致遵循ECM中ALF濾波器係數的計算，但是LDL分解被選擇而不是Cholesky分解以避免使用平方根運算。
卷積交叉分量模型（CCCM）已被公開以考慮VVC之外的下一代視訊編解碼，並且已顯示出性能改進。本發明公開了進一步提高CCCM的性能或降低其複雜度的期望。據此，本發明公開了一些進一步提高CCCM性能的方案。另外，一些降低CCCM複雜度的方案也被公開。
一種用於視訊編解碼的卷積交叉顏色預測模型（convolutional cross-colour prediction model，簡稱CCCM）的方法和裝置被公開。根據該方法，與包括亮度塊和色度塊的當前塊相關聯的輸入資料被接收，其中輸入資料包括要在編碼器側編碼的像素資料或者與要在解碼器側解碼的當前塊相關聯的已編碼資料。參考區域中的參考亮度樣本的自相關矩陣被導出，其中該自相關矩陣與卷積濾波器的覆蓋區相關聯。參考區域中的參考亮度樣本和參考色度樣本之間的互相關向量被導出，其中互相關向量與卷積濾波器的覆蓋區相關聯。卷積濾波器的係數基於自相關矩陣和互相關向量使用高斯消去法導出。對於色度塊中的目標色度樣本，目標色度樣本的卷積交叉分量模型預測子藉由應用具有導出到亮度塊的對應位置的係數的卷積濾波器來生成。目標色度樣本的最終預測子從包括卷積交叉分量模型預測子的預測候選集合中生成。目標色度樣本使用最終預測子進行編碼或解碼。
根據另一種方法，目標卷積濾波器的濾波器抽頭的數量根據一個或多個條件來決定。對於色度塊中的目標色度樣本，目標色度樣本的卷積交叉分量模型預測子藉由將目標卷積濾波器應用到亮度塊的對應位置來實現。包括卷積交叉分量模型預測子的目標色度樣本的最終預測子被生成。目標色度樣本使用最終預測子目進行編碼或解碼。
在一個實施例中，所述一個或多個條件對應於一個或多個預定的隱式規則。在一個實施例中，目標卷積濾波器根據當前塊大小隱式地決定。
在一個實施例中，如果導出的係數小於預定閾值，則目標卷積濾波器藉由將參考卷積濾波器的導出係數設置為零來導出。在另一實施例中，如果導出係數小於多個參考卷積濾波器的係數之和乘以預定閾值，則目標卷積濾波器藉由將參考卷積濾波器的導出係數設置為零來導出。
在一個實施例中，目標卷積濾波器從具有不同數量的濾波器抽頭的多個卷積濾波器中選擇。
在一個實施例中，目標卷積濾波器從藉由分離參考卷積濾波器而生成的多個卷積濾波器中選擇。在一個實施例中，實現最佳性能的所述多個卷積濾波器之一被顯式地發送為目標卷積濾波器。
在一個實施例中，目標卷積濾波器根據塊級語法從具有不同形狀的多個卷積濾波器中選擇。
在一個實施例中，目標卷積濾波器包括可選的非線性抽頭以及語法被用來指示是否使用可選的非線性抽頭。
根據另一種方法，用於指示從多個卷積交叉分量濾波器中選擇的目標卷積交叉分量濾波器的一個或多個語法元素被發送或解析，其中每個卷積交叉分量濾波器使用來自兩個不同位置的至少兩個不同的亮度樣本。對於色度塊中的目標色度樣本，目標色度樣本的卷積交叉分量模型預測子藉由將目標卷積交叉分量濾波器應用到亮度塊的對應位置來生成。目標色度樣本的最終預測子從包括卷積交叉分量模型預測子的預測候選集合中生成。目標色度樣本使用最終預測子進行編碼或解碼。
在一個實施例中，所述一個或多個語法元素在序列參數集合（Sequence Parameter Set，簡稱SPS）、圖片參數集合（Picture Parameter Set，簡稱PPS）、圖片標頭（Picture Header，簡稱PH）、片段標頭（Slice Header，簡稱SH）或編解碼樹單元（Coding Tree Unit，簡稱CTU）級發送或解析。
容易理解的是，如本文附圖中一般描述和說明的本發明的組件可以以各種不同的配置來佈置和設計。因此，如附圖所示，本發明的系統和方法的實施例的以下更詳細的描述並非旨在限制所要求保護的本發明的範圍，而僅僅代表本發明的所選實施例。本說明書中對“實施例”，“一些實施例”或類似語言的引用意味著結合實施例描述的具體特徵，結構或特性可以包括在本發明的至少一實施例中。因此，貫穿本說明書在各個地方出現的短語“在實施例中”或“在一些實施例中”不一定都指代相同的實施例。
此外，所描述的特徵，結構或特性可在一個或多個實施例中以任何合適的方式組合。然而，相關領域的習知技藝者將認識到，可在沒有一個或多個具體細節的情況下或者利用其他方法，組件等來實施本發明。在其他情況下，未示出或詳細描述公知的結構或操作，以避免模糊本發明的各方面。藉由參考附圖將最好地理解本發明的所示實施例，其中相同的部件自始至終由相同的數字表示。以下描述僅作為示例，並且簡單地說明了與如本文所要求保護的本發明一致的裝置和方法的一些選定實施例。
以下方法被提出來降低CCCM的複雜度。
在當前的CCCM中，LDL分解隨後向前替換和向後替換的方法被用來導出最優濾波器係數。然而，這種方法中的大部分過程都是循序，這會帶來一些延遲問題或加速困難。我們提出使用基於消去的方法來推導CCCM模型的最優係數，該方法具有更低的延遲並且更容易並行處理。
在一個實施例中，高斯消去法可以被用來推導CCCM模型的最優係數。在數學中，高斯消去法，也被稱為行縮減（row reduction），是一種求解線性方程組的演算法。它由對相應係數矩陣執行的一系列操作組成。為了對矩陣執行行縮減，需要使用一系列基本行運算（row operation）來修改矩陣，直到矩陣的左下角盡可能地用零填充。高斯消去法的計算複雜度比LDL分解和Cholesky分解低。
根據本發明，傳統CCCM所使用的用於MSE最小化的LDL或Cholesky分解被高斯消去法取代，以降低計算複雜度。因此，首先亮度輸入的自相關矩陣以及亮度輸入和色度輸出之間的互相關向量被計算。亮度輸入的自相關矩陣可以使用參考區域（例如第11圖中的參考區域）中的亮度資料根據參考卷積濾波器（例如7抽頭CCCM濾波器）的覆蓋區來計算。亮度輸入和色度輸出之間的互相關向量可以使用參考區域（例如第11圖中的參考區域）中的亮度資料和色度資料根據參考卷積濾波器（例如7抽頭CCCM濾波器）的覆蓋區來計算。
CCCM使用7抽頭濾波器來制定色度預測模型，其已被證明實現顯著的編解碼增益。然而，求解7抽頭濾波器的最佳參數可能相當複雜，尤其是在微小的色度塊上。參考樣本的過度擬合也可能是一個問題。因此，幾種方法被提出來隱式或顯式地減少初始或參考卷積濾波器（例如傳統CCCM中使用的7抽頭濾波器）的濾波器抽頭數量。
在一個實施例中，具有適應性濾波器形狀的CCCM模型被提出以減少濾波器抽頭的數量。它將藉由一個或多個預定的隱式規則適應性地減少濾波器抽頭的數量。
在一個實施例中，具有適應性濾波器形狀的CCCM模型的隱式選擇取決於CU大小。在一個實施例中，一個或多個預定值被用於濾波器抽頭，而不是在解碼器側被導出。
在一個實施例中，如果CCCM模型的導出係數小於預定閾值，則係數被設置為零以減少濾波器抽頭的數量。
在一個實施例中，首先參考卷積濾波器的所有導出係數的總和被計算。如果一個係數小於參考卷積濾波器的所有係數之和乘以預定閾值，我們將該係數設置為零以減少濾波器抽頭的數量。
在一個實施例中，存在具有不同數量的濾波器抽頭的多個CCCM模型。當具有更多濾波器抽頭的模型比具有較少濾波器抽頭的模型表現更好時，具有更多濾波器抽頭的模型將被選擇。否則，我們寧願選擇濾波器抽頭較少的模型，即使它比濾波器抽頭較多的模型稍差。
另一種方法被提出以減少濾波器抽頭的數量。原始7抽頭CCCM濾波器可分為多種濾波器形狀，然後藉由RDO過程顯式地發出最佳濾波器。
在一個實施例中，有兩種濾波器形狀。第一濾波器由中心項、左側項、右側項、非線性項和偏置項組成（第13A圖）；第二濾波器由中心項、上方項、下方項、非線性項和偏置項組成（第13B圖）。 predChromaVal 1= c 0C + c 1E + c 2W + c 3P + c 4B,                                            （12） predChromaVal 2= c 0C + c 1N + c 2S + c 3P + c 4B.                        （13）
在一個實施例中，存在四種濾波器形狀。第一濾波器由中心項、右項、非線性項和偏置項組成（第14A圖）；第二濾波器由中心項、左側項、非線性項和偏置項組成（第14B圖）；第三濾波器由中心項、上方項、非線性項和偏置項組成（第14C圖）；第四濾波器由中心項、下方項、非線性項和偏置項組成（第14D圖）。 predChromaVal 1= c 0C + c 1E + c 2P + c 3B,                             （14） predChromaVal 2= c 0C + c 1W + c 2P + c 3B,                            （15） predChromaVal 3= c 0C + c 1N + c 2P + c 3B,                            （16） predChromaVal 4= c 0C + c 1S + c 2P + c 3B.                             （17）
在一個實施例中，存在四種濾波器形狀。第一濾波器由中心項、右側項、上方項、非線性項和偏置項組成（第15A圖）；第二濾波器由中心項、左側項、上方項、非線性項和偏置項組成（第15B圖）；第三濾波器由中心項、右側項、下方項、非線性項和偏置項組成（第15C圖）；第四濾波器由中心項、左側項、下方項、非線性項和偏置項組成（第15D圖）。 predChromaVal 1= c 0C + c 1E + c 2N + c 3P + c 4B,                                                                                                                 （18） predChromaVal 2= c 0C + c 1W + c 2N + c 3P + c 4B,                                                                                                                （19） predChromaVal 3= c 0C + c 1W + c 2S + c 3P + c 4B,                                                                                                                （20） predChromaVal 4= c 0C + c 1E + c 2S + c 3P + c 4B.                                                                                                                 （21）
在一個實施例中，非線性項被去除以進一步降低模型複雜度。
在一個實施例中，非線性項是可選的並且由編碼器決定。 發出附加標誌信號以啟用非線性項。
在一個實施例中，存在由中心項、非線性項和偏置項組成的另一種模式，而其他模式中的非線性項可以被去除。
在一個實施例中，允許具有多個濾波器形狀的CCCM模型可以取決於高級語法。例如，標誌可以在序列參數集合（Sequence Parameter Set，簡稱SPS）、圖片參數集合（Picture Parameter Set，簡稱PPS）、圖片標頭（Picture Header，簡稱PH）、片段標頭（Slice Header，簡稱SH）或編解碼樹單元（Coding Tree Unit，簡稱CTU）級中發送。
在一個實施例中，允許具有多個濾波器形狀的CCCM模型可以取決於塊級語法。例如，可以對每個CU發送標誌，或者對每個色度塊發送標誌。
在一個實施例中，指示在CCCM中使用哪種濾波器形狀可以取決於語法，以及語法可以藉由截斷一元編碼或截斷二進位編解碼來進行編解碼。
代替直接使用樣本值，使用差分形式來構建CCCM模型的方法被提出。全部或部分相鄰空間項被差分項替代，差分項是各個相鄰空間項與中心項之間的差值。此外，裁剪操作可以被應用於差分項以減少雜訊。
在一個實施例中，6抽頭CCCM模型被使用，其由四個空間差分項、一個非線性項和一個偏置項組成。差分項是各個相鄰樣本值與中心樣本值之間的差值。 predChromaVal = c0(N-C) + c1(S-C) + c2(E-C) + c3(W-C) + c4P + c5B    （22）
在一個實施例中，6抽頭CCCM模型被使用，其由四個空間差分項、一個非線性項和一個偏置項組成。差分項對應於各個相鄰樣本值與中心樣本值之間的截取差值，其中在計算差值之後進行裁剪操作。閾值被預先定義用於裁剪操作。 predChromaVal = c 0*Clip(N-C) + c 1*Clip(S-C) + c 2*Clip(E-C) + c 3*Clip(W-C) + c 4P + c 5B                                      （23）
在一個實施例中，CCCM模型中使用裁剪的差分項。每個差分項的預定裁剪閾值可以不同或部分不同。
在一個實施例中，CCCM模型中使用裁剪的差分項。存在多個預定的裁剪閾值，以及語法可以被發送以指示所選擇的閾值。
在一個實施例中，我們有兩個6抽頭CCCM模型。第一模型使用差分項，第二模型使用裁剪的差分項。標誌可以被發送以指示所選擇的模型。
如上所述的具有高斯消去法或具有多個CCCM模型的卷積交叉分量模型（Convolutional Cross-Component Model，簡稱CCCM）可以在編碼器側和/或解碼器側實現。例如，任一所提出的CCCM方法可以在解碼器側的幀內編解碼模組（例如第1B圖中的幀內預測150）和/或幀間預測模組（例如第1B圖中的MC 152）或者編碼器中的幀內編解碼模組（例如第1A圖中的幀內預測110）和/或幀間預測模組（例如第1A圖中的幀間預測112）中實現。任一所提出的CCCM方法還可以被實現為耦合到解碼器或編碼器處的幀內/幀間編解碼模組的電路。然而，解碼器或編碼器還可以使用額外的處理單元來實現所需的CCCM處理。而幀内預測單元（例如第1A圖中的單元110和第1B圖中的單元150）和/或幀間預測模組（例如第1A圖中的幀間預測112和第1B圖中的MC 152）被示出為單獨的處理單元，它們可以對應於存儲在諸如硬碟或快閃記憶體之類的介質上的可執行軟體或韌體代碼，用於中央處理單元（Central Processing Unit，簡稱CPU）或可程式設計設備（例如數位訊號處理器（Digital Signal Processor，簡稱DSP） 或現場可程式設計閘陣列（Field Programmable Gate Array，簡稱FPGA））。
第16圖示出根據本發明的實施例的結合使用高斯消去法的卷積交叉分量模型（CCCM）相關模式的示例性視訊編解碼系統的流程圖。流程圖中所示的步驟可以被實現為在編碼器側的一個或多個處理器（例如，一個或多個CPU）上可執行的程式碼。流程圖中所示的步驟還可以基於硬體來實現，例如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。根據該方法，在步驟1610中，與包括亮度塊和色度塊的當前塊相關聯的輸入資料被接收，其中輸入資料包括要在編碼器側編碼的像素資料或者與要在解碼器側解碼的當前塊相關聯的已編碼資料。在步驟1620中，參考區域中的參考亮度樣本的自相關矩陣被導出，其中該自相關矩陣與卷積濾波器的覆蓋區相關聯。在步驟1630中，參考區域中的參考亮度樣本和參考色度樣本之間的互相關向量被導出，其中互相關向量與卷積濾波器的覆蓋區相關聯。在步驟1640中，卷積濾波器的係數使用高斯消去法基於自相關矩陣和互相關向量導出。在步驟1650中，對於色度塊中的目標色度樣本，用於目標色度樣本的卷積交叉分量模型預測子藉由應用具有導出到亮度塊的對應位置的係數的卷積濾波器來生成。在步驟1660中，目標色度樣本的最終預測子從包括卷積交叉分量模型預測子的預測候選集合中生成。在步驟1670中，目標色度樣本使用最終預測子進行編碼或解碼。
第17圖示出根據本發明實施例的利用具有多個濾波器抽頭的多個CCCM模型的示例性視訊編解碼系統的流程圖。根據該方法，在步驟1710中，與包括亮度塊和色度塊的當前塊相關聯的輸入資料被接收，其中輸入資料包括要在編碼器側編碼的像素資料或者與要在解碼器側解碼的當前塊相關聯的已編碼資料。在步驟1720中，目標卷積濾波器的濾波器抽頭的數量根據一個或多個條件來決定。在步驟1730中，對於色度塊中的目標色度樣本，目標色度樣本的卷積交叉分量模型預測子藉由將目標卷積濾波器應用於亮度塊的對應位置來生成。在步驟1740中，包括卷積交叉分量模型預測子的目標色度樣本的最終預測子被生成。步驟1750中，目標色度樣本使用最終預測子進行編碼或解碼。
第18圖示出根據本發明實施例的合併用於從多個CCCM模型中選擇目標濾波器的信令的示例性視訊編解碼系統的流程圖。根據該方法，在步驟1810中，與包括亮度塊和色度塊的當前塊相關聯的輸入資料被接收，其中輸入資料包括要在編碼器側編碼的像素資料或者與要在解碼器側解碼的當前塊相關聯的已編碼資料。在步驟1820中，用於指示從多個卷積交叉分量濾波器中選擇的目標卷積交叉分量濾波器的一個或多個語法元素被發送或解析，其中每個卷積交叉分量濾波器使用來自兩個不同位置的至少兩個不同的亮度樣本。在步驟1830中，對於色度塊中的目標色度樣本，目標色度樣本的卷積交叉分量模型預測子藉由將目標卷積濾波器應用到亮度塊的對應位置來生成。在步驟1840中，包括卷積交叉分量模型預測子的目標色度樣本的最終預測子被生成。在步驟1850中，目標色度樣本使用最終預測子進行編碼或解碼。
所示流程圖旨在說明根據本發明的視訊編解碼的示例。在不脫離本發明的精神的情況下，本領域技術人員可以修改每個步驟，重新排列步驟，拆分步驟或組合步驟來實施本發明。在本公開中，特定的語法和語義被用來說明示例以實現本發明的實施例。技術人員可藉由用等效的語法和語義代替上述語法和語義來實施本發明，而不背離本發明的精神。
呈現上述描述是為了使本領域普通技術人員能夠實施在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於本領域技術人員來說將是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。因此，本發明不旨在限於所示和描述的特定實施例，而是要符合與本文公開的原理和新穎特徵相一致的最寬範圍。在以上詳細描述中，為了提供對本發明的透徹理解，說明了各種具體細節。然而，本領域的技術人員將理解，本發明可被實施。
如上所述的本發明的實施例可以以各種硬體，軟體代碼或兩者的組合來實現。例如，本發明的一個實施例可以是集成到視訊壓縮晶片中的一個或多個電路或集成到視訊壓縮軟體中以執行本文描述的處理的程式碼。本發明的實施例還可以是要在數位訊號處理器（Digital Signal Processor，簡稱DSP）上執行以執行這裡描述的處理的程式碼。本發明還可以涉及由電腦處理器，數位訊號處理器，微處理器或現場可程式設計閘陣列（field programmable gate array，簡稱FPGA）執行的許多功能。這些處理器可以被配置為藉由執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。軟體代碼或韌體代碼可以以不同的程式設計語言和不同的格式或樣式開發。軟體代碼也可以對不同的目標平臺進行編譯。然而，軟體代碼的不同代碼格式，風格和語言以及配置代碼以執行根據本發明的任務的其他方式將不脫離本發明的精神和範圍。
在不背離其精神或本質特徵的情況下，本發明可以以其他特定形式體現。所描述的示例在所有方面都僅被認為是說明性的而不是限制性的。因此，本發明的範圍由所附申請專利範圍而不是由前述描述指示。在申請專利範圍的等效含義和範圍內的所有變化都應包含在其範圍內。
110:幀內預測 112:幀間預測 114:開關 116:加法器 118:變換 120:量化 122:熵編碼器 124:逆量化 126:逆變換 128:REC 130:環路濾波器 134:參考圖片緩衝器 136:預測資料 140:熵解碼器 150:幀內預測 152:MC 210:垂直二元分割 220:水平二元分割 230:垂直三元分割 240:水平三元分割 510:CU 520:CU 530:CU 540:CU 550:CU 560:CU 570:CU 580:CU 810:色度塊 820:亮度塊 1610、1620、1630、1640、1650、1660、1670:步驟 1710、1720、1730、1740、1750:步驟 1810、1820、1830、1840、1850:步驟
第1A圖示出結合迴圈處理的示例適應性幀間/幀內視訊編解碼系統。 第1B圖示出與第1A圖中的編碼器對應的解碼器。 第2圖示出與垂直二元分割（SPLIT_BT_VER）、水平二元分割（SPLIT_BT_HOR）、垂直三元分割（SPLIT_TT_VER）和水平三元分割（SPLIT_TT_HOR）相對應的多類型樹結構的示例。 第3圖示出具有巢狀多類型樹編解碼樹結構的四叉樹中的劃分分割資訊的信令機制的示例。 第4圖示出使用四叉樹和巢狀多類型樹編碼塊結構將CTU劃分為多個CU的示例，其中粗體塊邊緣表示四叉樹劃分，其餘邊緣表示多類型樹劃分。 第5圖示出當亮度編解碼塊的寬度或高度大於64時禁止TT分割的一些示例。 第6圖示出VVC視訊編解碼標準採用的幀內預測模式。 第7A-B圖示出廣角幀內預測的示例，其中寬度大於高度的塊（第7A圖）和高度大於寬度的塊（第7B圖）。 第8圖示出LM_LA模式中涉及的左側和上方樣本的位置以及當前塊的樣本的示例。 第9圖示出根據多模式CCLM將相鄰樣本分為兩組的示例。 第10圖示出CCCM 卷積濾波器的空間部分的示例。 第11圖示出用於導出CCCM濾波器係數的參考區域（及其填充）的示例。 第12圖示出用於對YUV420顏色格式的亮度樣本進行下採樣的3x2下採樣濾波器。 第13A-B圖示出根據本發明的一個實施例的具有多個濾波器抽頭的兩種濾波器形狀。 第14A-D圖示出根據本發明的一個實施例的具有多個濾波器抽頭的四種濾波器形狀。 第15A-D圖示出根據本發明的一個實施例的具有多個濾波器抽頭的四種濾波器形狀。 第16圖示出根據本發明的實施例的結合使用高斯消去法的卷積交叉分量模型（CCCM）相關模式的示例性視訊編解碼系統的流程圖。 第17圖示出根據本發明實施例的利用具有多個濾波器抽頭的多個CCCM模型的示例性視訊編解碼系統的流程圖。 第18圖示出根據本發明實施例的合併用於從多個CCCM模型中選擇目標濾波器的信令的示例性視訊編解碼系統的流程圖。
1610、1620、1630、1640、1650、1660、1670:步驟

Claims (16)

  1. 一種使用交叉分量預測對彩色圖片進行視訊編解碼的方法，該方法包括： 接收與包括一亮度塊和一色度塊的一當前塊相關聯的輸入資料，其中該輸入資料包括要在一編碼器側編碼的像素資料或與要在一解碼器側解碼的該當前塊相關聯的已編碼資料； 導出一參考區域中的多個參考亮度樣本的一自相關矩陣，其中該自相關矩陣與一卷積濾波器的一覆蓋區相關聯； 導出該參考區域中的該等參考亮度樣本和多個參考色度樣本之間的一互相關向量，其中該互相關向量與該卷積濾波器的該覆蓋區相關聯； 使用高斯消去法基於該自相關矩陣和該互相關向量推導該卷積濾波器的多個係數； 對於該色度塊中的一目標色度樣本，藉由應用具有導出到該亮度塊的一應位置的該等係數的該卷積濾波器來生成該目標色度樣本的一卷積交叉分量模型預測子； 從包括該卷積交叉分量模型預測子的一預測候選集合生成該目標色度樣本的一最終預測子；以及 使用該最終預測子對該目標色度樣本進行編碼或解碼。
  2. 一種使用交叉分量預測對彩色圖片進行視訊編解碼的裝置，該裝置包括一個或多個電子器件或處理器，被佈置為： 接收與包括一亮度塊和一色度塊的一當前塊相關聯的輸入資料，其中該輸入資料包括要在一編碼器側編碼的像素資料或與要在一解碼器側解碼的該當前塊相關聯的已編碼資料； 導出一參考區域中的多個參考亮度樣本的一自相關矩陣，其中該自相關矩陣與一卷積濾波器的一覆蓋區相關聯； 導出該參考區域中的該等參考亮度樣本和多個參考色度樣本之間的一互相關向量，其中該互相關向量與該卷積濾波器的該覆蓋區相關聯； 使用高斯消去法基於該自相關矩陣和該互相關向量推導該卷積濾波器的多個係數； 對於該色度塊中的一目標色度樣本，藉由應用具有導出到該亮度塊的一應位置的該等係數的該卷積濾波器來生成該目標色度樣本的一卷積交叉分量模型預測子； 從包括該卷積交叉分量模型預測子的一預測候選集合生成該目標色度樣本的一最終預測子；以及 使用該最終預測子對該目標色度樣本進行編碼或解碼。
  3. 一種使用交叉分量預測對彩色圖片進行視訊編解碼的方法，該方法包括： 接收與包括一亮度塊和一色度塊的一當前塊相關聯的輸入資料，其中該輸入資料包括要在一編碼器側編碼的像素資料或與要在一解碼器側解碼的該當前塊相關聯的已編碼資料； 根據一個或多個條件決定一目標卷積濾波器的多個濾波器抽頭的一數量； 對於該色度塊中的一目標色度樣本，藉由將該目標卷積濾波器應用到該亮度塊的一相應位置來生成該目標色度樣本的一卷積交叉分量模型預測子； 從包括該卷積交叉分量模型預測子的一預測候選集合生成該目標色度樣本的一最終預測子；以及 使用該最終預測子對該目標色度樣本進行編碼或解碼。
  4. 如請求項3所述之使用交叉分量預測對彩色圖片進行視訊編解碼的方法，其中，該一個或多個條件對應於一個或多個預定的隱式規則。
  5. 如請求項4所述之使用交叉分量預測對彩色圖片進行視訊編解碼的方法，其中，該目標卷積濾波器根據一當前塊大小隱式地決定。
  6. 如請求項3所述之使用交叉分量預測對彩色圖片進行視訊編解碼的方法，其中，如果導出係數小於一預定閾值，則該目標卷積濾波器藉由將一參考卷積濾波器的一導出的係數設置為零來導出。
  7. 如請求項3所述之使用交叉分量預測對彩色圖片進行視訊編解碼的方法，其中，如果該導出的係數小於該參考卷積濾波器的多個係數之和乘以一預定閾值，則該目標卷積濾波器藉由將該參考卷積濾波器的該導出的係數設置為零來導出。
  8. 如請求項3所述之使用交叉分量預測對彩色圖片進行視訊編解碼的方法，其中，該目標卷積濾波器是從具有多個不同濾波器抽頭數的多個卷積濾波器中選擇。
  9. 如請求項3所述之使用交叉分量預測對彩色圖片進行視訊編解碼的方法，其中，該目標卷積濾波器從藉由分離一參考卷積濾波器生成的多個卷積濾波器中選擇。
  10. 如請求項9所述之使用交叉分量預測對彩色圖片進行視訊編解碼的方法，其中，實現一最佳性能的該等多個卷積濾波器之一被顯式地發送為該目標卷積濾波器。
  11. 如請求項3所述之使用交叉分量預測對彩色圖片進行視訊編解碼的方法，其中，該目標卷積濾波器包括可選的一非線性抽頭，以及一語法被用來指示可選的該非線性抽頭是否被使用。
  12. 一種使用交叉分量預測對彩色圖片進行視訊編解碼的裝置，該裝置包括一個或多個電子器件或處理器，被佈置為： 接收與包括一亮度塊和一色度塊的一當前塊相關聯的輸入資料，其中該輸入資料包括要在一編碼器側編碼的像素資料或與要在一解碼器側解碼的該當前塊相關聯的已編碼資料； 根據一個或多個條件決定一目標卷積濾波器的多個濾波器抽頭的一數量； 對於該色度塊中的一目標色度樣本，藉由將該目標卷積濾波器應用到該亮度塊的一對應位置來生成該目標色度樣本的一卷積交叉分量模型預測子； 從包括該卷積跨分量模型預測子的一預測候選集合中生成該目標色度樣本的一最終預測子；以及 使用該最終預測子對該目標色度樣本進行編碼或解碼。
  13. 一種使用交叉分量預測對彩色圖片進行視訊編解碼的方法，該方法包括： 接收與包括一亮度塊和一色度塊的一當前塊相關聯的輸入資料，其中該輸入資料包括要在一編碼器側編碼的像素資料或與要在一解碼器側解碼的該當前塊相關聯的已編碼資料； 發送或解析一個或多個語法元素以指示從多個卷積交叉分量濾波器中選擇的一目標卷積交叉分量濾波器，其中每個卷積交叉分量濾波器使用來自兩個不同位置的至少兩個不同的亮度樣本； 對於該色度塊中的一目標色度樣本，藉由將該目標卷積交叉分量濾波器應用到該亮度塊的一對應位置來生成該目標色度樣本的一卷積交叉分量模型預測子； 從包括該卷積交叉分量模型預測子的一預測候選集合生成該目標色度樣本的一最終預測子；以及 使用該最終預測子對該目標色度樣本進行編碼或解碼。
  14. 如請求項13項所述之使用交叉分量預測對彩色圖片進行視訊編解碼的方法，其中，該目標卷積濾波器根據一塊級語法從多個不同形狀的卷積濾波器中選擇。
  15. 如請求項13所述之使用交叉分量預測對彩色圖片進行視訊編解碼的方法，其中，該一個或多個語法元素在一序列參數集合、一圖片參數集合、一圖片標頭、一片段標頭或一編解碼樹單元級別被發送或解析。
  16. 一種使用交叉分量預測對彩色圖片進行視訊編解碼的裝置，該裝置包括一個或多個電子器件或處理器，被佈置為： 接收與包括一亮度塊和一色度塊的一當前塊相關聯的輸入資料，其中該輸入資料包括要在一編碼器側編碼的像素資料或與要在一解碼器側解碼的該當前塊相關聯的已編碼資料； 發送或解析一個或多個語法元素以指示從多個卷積交叉分量濾波器中選擇的一目標卷積交叉分量濾波器，其中每個卷積交叉分量濾波器使用來自兩個不同位置的至少兩個不同的亮度樣本； 對於該色度塊中的一目標色度樣本，藉由將該目標卷積交叉分量濾波器應用到該亮度塊的一對應位置來生成該目標色度樣本的一卷積交叉分量模型預測子； 從包括該卷積交叉分量模型預測子的一預測候選集合生成該目標色度樣本的一最終預測子；以及 使用該最終預測子對該目標色度樣本進行編碼或解碼。
TW112128174A 2022-07-27 2023-07-27 使用交叉分量預測對彩色圖片進行視訊編解碼的方法和裝置 TW202406341A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263369524P 2022-07-27 2022-07-27
US63/369,524 2022-07-27
PCT/CN2023/109349 WO2024022390A1 (en) 2022-07-27 2023-07-26 Method and apparatus of improving performance of convolutional cross-component model in video coding system
WOPCT/CN2023/109349 2023-07-26

Publications (1)

Publication Number Publication Date
TW202406341A true TW202406341A (zh) 2024-02-01

Family

ID=89705404

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112128174A TW202406341A (zh) 2022-07-27 2023-07-27 使用交叉分量預測對彩色圖片進行視訊編解碼的方法和裝置

Country Status (2)

Country Link
TW (1) TW202406341A (zh)
WO (1) WO2024022390A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109842799B (zh) * 2017-11-29 2021-02-09 杭州海康威视数字技术股份有限公司 颜色分量的帧内预测方法、装置及计算机设备
GB2571312B (en) * 2018-02-23 2020-05-27 Canon Kk New sample sets and new down-sampling schemes for linear component sample prediction
GB2571311B (en) * 2018-02-23 2021-08-18 Canon Kk Methods and devices for improvement in obtaining linear component sample prediction parameters
CN118741108A (zh) * 2019-08-06 2024-10-01 现代自动车株式会社 用于视频数据的帧内预测编码的方法和装置

Also Published As

Publication number Publication date
WO2024022390A1 (en) 2024-02-01

Similar Documents

Publication Publication Date Title
US11523136B2 (en) Methods and apparatuses for coding transform blocks
TWI708502B (zh) 視訊編解碼系統中對具有分割約束的視訊圖像進行編碼或解碼的視訊處理方法
TWI751623B (zh) 具有虛擬邊界的跨分量自適應環路濾波的視頻編解碼方法及裝置
CN114430903B (zh) 视频编解码的方法和装置
KR100906243B1 (ko) Ｒｇｂ 색 공간 신호의 영상 부호화 방법
TW202021350A (zh) 視訊處理系統中色度量化參數導出的方法以及裝置
US20240291985A1 (en) Methods and Apparatuses of Processing Video Data of Out-of-bounds Nodes
CN114598873B (zh) 量化参数的解码方法和装置
TWI821103B (zh) 在視訊編解碼系統中使用邊界匹配進行重疊塊運動補償的方法和裝置
TW202406341A (zh) 使用交叉分量預測對彩色圖片進行視訊編解碼的方法和裝置
TW202406342A (zh) 使用交叉分量預測對彩色圖片進行視訊編解碼的方法和裝置
TWI821112B (zh) 視頻編解碼系統中跨分量線性模型預測的方法和裝置
WO2023138627A1 (en) Method and apparatus of cross-component linear model prediction with refined parameters in video coding system
WO2024088340A1 (en) Method and apparatus of inheriting multiple cross-component models in video coding system
WO2024074129A1 (en) Method and apparatus of inheriting temporal neighbouring model parameters in video coding system
TWI853402B (zh) 視訊編解碼方法及相關裝置
WO2024088058A1 (en) Method and apparatus of regression-based intra prediction in video coding system
WO2024074131A1 (en) Method and apparatus of inheriting cross-component model parameters in video coding system
WO2023197837A1 (en) Methods and apparatus of improvement for intra mode derivation and prediction using gradient and template
WO2023236708A1 (en) Method and apparatus for entropy coding partition splitting decisions in video coding system
WO2024149338A1 (en) Video coding method of applying bit depth reduction to cross-component prediction parameters before storing cross-component prediction parameters into buffer and associated apparatus
WO2023193516A1 (en) Method and apparatus using curve based or spread-angle based intra prediction mode in video coding system
WO2024120386A1 (en) Methods and apparatus of sharing buffer resource for cross-component models
WO2024017179A1 (en) Method and apparatus of blending prediction using multiple reference lines in video coding system
WO2024149159A1 (en) Methods and apparatus for improvement of transform information coding according to intra chroma cross-component prediction model in video coding