TW202335496A - 用於視頻編解碼系統幀間預測的方法和装置 - Google Patents

Abstract

公開了一種用於視頻編解碼系統中的幀間預測的方法和裝置。根據該方法，確定第二色塊的一個或多個交叉顔色模型的一個或多個模型參數。然後，確定第二顏色塊的交叉顏色預測子，其中通過應用所述一個或多個交叉顏色模型到相應的重建或預測的第一顏色像素為第二顏色塊的每個第二顏色像素生成第二顏色塊的一個交叉顏色預測值。在編碼器側使用包括用於第二顏色塊的交叉顏色預測子的預測資料對與第二顏色塊相關聯的輸入資料進行編碼，或者在解碼器側使用包括第二顏色塊的交叉顏色預測子的預測資料對與第二顏色塊相關聯的輸入資料進行解碼。

Description

用於視頻編解碼系統幀間預測的交叉分量線性模型的方法和裝置

本發明涉及視頻編解碼系統。特別地，本發明涉及一種用於在視頻編碼系統中使用交叉分量線性模型(cross-component linear model)進行幀間預測的新視頻編碼工具。

通用視頻編碼(VVC)是由ITU-T視頻編碼專家組(VCEG)的聯合視頻專家組(JVET)和ISO/IEC運動圖像專家組(MPEG)共同製定的最新國際視頻編碼標準,該標準已作為 ISO 標準發布：ISO/IEC 23090-3:2021，信息技術 - 沉浸式媒體的編碼表示-第3部分：通用視頻編碼，2021年2月發布。VVC是在其前身 HEVC（High Efficiency Video Coding）通過添加更多的編解碼工具來提高編解碼效率，還可以處理各種類型的視頻源，包括3維（3D）視頻信號。

第1A圖說明了包含循環處理的示例性自適應幀間/幀內視頻編碼系統。對於幀內預測，預測資料是根據當前圖片中先前編碼的視頻資料導出的。對於幀間預測112，在編碼器側執行運動估計(ME)並且基於ME的結果執行運動補償(MC)以提供從其他圖片和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112並且所選擇的預測資料被提供給加法器116以形成預測誤差，也稱為殘差。預測誤差然後由變換(T)118和隨後的量化(Q)120處理。變換和量化的殘差然後由熵編碼器122編碼以包括在對應於壓縮視頻資料的視頻位元流中。 與變換係數相關聯的位元流然後與輔助信息（例如與幀內預測和幀間預測相關聯的運動和編碼模式）以及其他信息（例如與應用於底層圖像區域的環路濾波器相關聯的參數）一起打包。與幀內預測110、幀間預測112和環內濾波器130相關聯的輔助信息被提供給熵編碼器122，如第1A圖所示。當使用幀間預測模式時，也必須在編碼器端重構一個或多個參考圖片。因此，經變換和量化的殘差由逆量化（IQ）124和逆變換（IT）126處理以恢復殘差。然後在重構(REC)128處將殘差加回到預測資料136以重構視頻資料。重構的視頻資料可以存儲在參考圖片緩衝器134中並用於預測其他幀。

如第1A圖所示，輸入的視頻資料在編碼系統中經過一系列處理。由於一系列處理，來自REC128的重構視頻資料可能會受到各種損害。因此，環路濾波器130經常在重構視頻資料被存儲在參考圖片緩衝器134中之前應用於重構視頻資料以提高視頻質量。例如，可以使用去塊濾波器（DF）、樣本自適應偏移（SAO）和自適應環路濾波器（ALF）。可能需要將環路濾波器信息合併到位元流中，以便解碼器可以正確地恢復所需的信息。因此，環路濾波器信息也被提供給熵編碼器122以合併到位元流中。第1A圖中，環路濾波器130在重構樣本被存儲在參考圖片緩衝器134中之前被應用於重構視頻。第1A圖中的系統旨在說明典型視頻編碼器的示例性結構。它可能對應於高效視頻編碼 (HEVC) 系統、VP8、VP9、H.264 或 VVC。

如第1B圖所示，解碼器可以使用與編碼器相似或相同的功能塊，除了變換118和量化120之外，因為解碼器只需要逆量化124和逆變換126。替代熵編碼器122，解碼器使用熵解碼器140將視頻位元流解碼為量化的變換係數和所需的編碼信息(例如ILPF信息、幀內預測信息和幀間預測信息)。解碼器側的幀內預測150不需要執行模式搜索。相反，解碼器僅需要根據從熵解碼器140接收的幀內預測信息生成幀內預測。此外，對於幀間預測，解碼器僅需要根據從熵解碼器140接收的幀間預測信息執行運動補償（MC152）而無需運動估計。

根據VVC，類似於HEVC，輸入圖片被劃分為稱為CTU(編碼樹單元）的非重疊方形塊區域。每個CTU都可以劃分為一個或多個較小尺寸的編碼單元(CU)。生成的CU分區可以是正方形或矩形。此外，VVC將CTU劃分為預測單元(PU)，作為應用預測過程的單元，例如幀間預測、幀內預測等。

VVC標準結合了各種新的編碼工具，進一步提高了HEVC標準的編碼效率。在本公開中，提出了各種新的編碼工具以提高VVC之外的編碼效率。 特別地，公開了與CCLM相關的編碼工具。

公開了一種用於視頻編碼系統中的幀間預測的方法和裝置。根據該方法，接收與包括第一顏色塊和第二顏色塊的當前塊相關聯的輸入資料，其中，輸入資料包括編碼器側待編碼的當前塊的像素資料或解碼器側的與當前待解碼塊相關聯的編碼資料。其中第一顔色塊以非幀內塊方式編碼。確定第二色塊的一個或多個交叉顔色模型的一個或多個模型參數。然後，確定第二顏色塊的交叉顏色預測子，其中通過應用所述一個或多個交叉顏色模型到相應的重建或預測的第一顏色像素，為第二顏色塊的每個第二顏色像素生成第二顏色塊的一個交叉顏色預測子。在編碼器側使用包括用於第二顏色塊的交叉顏色預測子的預測資料對與第二顏色塊相關聯的輸入資料進行編碼，或者在解碼器側使用包括第二顏色塊的交叉顏色預測子的預測資料對與第二顏色塊相關聯的輸入資料進行解碼。

在一個實施例中，預測資料還包括基於先前編解碼的參考圖片中的重構第二顏色資料的第二顏色幀間預測資料。在一個實施例中，預測資料被生成為交叉顏色預測子和第二顏色幀間預測資料的加權和。在一個實施例中，加權和的權重根據相鄰編碼信息、樣本位置、塊寬度、塊高度、塊面積、塊模式或其組合來確定。在一個實施例中，如果塊大小小於閾值，則交叉顔色預測子的權重高於第二顏色幀間預測資料的權重。在另一實施例中，如果當前塊的大部分相鄰塊以幀內模式編碼，則交叉顔色預測器的權重高於第二顏色幀間預測資料的權重。在一個實施例中，權重對應於當前塊的固定權重。

在一個實施例中，預測資料還包括由一個或多個其他交叉顔色模型生成的一個或多個預測假設。在一個實施例中，至少一個交叉顔色模型是線性模型(LM)。

在一個實施例中，模型參數是基於與第二顏色塊相關聯的並置第一顏色塊的相鄰重建第一顏色像素和第二顏色塊的相鄰重建第二顏色像素來確定的。在一個實施例中，並置的第一顏色塊的相鄰重建的第一顏色像素對應於並置的第一顏色塊的頂部相鄰樣本、並置的第一顏色塊的左相鄰樣本或兩者。

在一個實施例中，預測資料選自包括交叉顔色預測子的預定義集合。

在一個實施例中，當前塊對應於幀間CU或對應於IBC CU。

在一個實施例中，預測資料還包括基於IBC模式的第二顏色預測資料。

在一個實施例中，第一顏色塊對應於亮度塊並且第二顏色塊對應於色度塊。

將容易理解的是，如本文附圖中大體描述和圖示的本發明的分量可以以多種不同的配置來佈置和設計。因此，以下對如圖所示的本發明的系統和方法的實施例的更詳細描述並不旨在限制所要求保護的本發明的範圍，而僅代表本發明的選定實施例 . 貫穿本說明書對“一個實施例”、“一個實施例”或類似語言的引用意味著結合該實施例描述的特定特徵、結構或特性可以包括在本發明的至少一個實施例中。因此，貫穿本說明書各處出現的短語“在一個實施例中”或“在一個實施例中”不一定都指代相同的實施例。

此外，所描述的特徵、結構或特性可以以任何合適的方式組合在一個或多個實施例中。然而，相關領域的技術人員將認識到，本發明可以在沒有一個或多個特定細節的情況下，或使用其他方法、分量等來實踐。在其他情況下，未顯示或未顯示眾所周知的結構或操作 詳細描述以避免模糊本發明的方面。 參考附圖將最好地理解本發明的所示實施例，其中相同的部分自始至終由相同的數字表示。下面的描述僅旨在作為示例，並且簡單地說明與如本文要求保護的本發明一致的設備和方法的某些選定實施例。

具有67種幀內預測模式的幀內模式編碼

為了捕獲自然視頻中出現的任意邊緣方向，VVC中的定向幀內模式的數量從HEVC中使用的33個擴展到65個。HEVC中沒有的新定向（角度）模式在第2圖中用紅色虛線箭頭表示、平面和DC模式保持不變。這些更密集的定向幀內預測模式適用於所有塊大小以及亮度和色度幀內預測。

為了保持最可能模式（MPM）列表生成的複雜性較低，通過考慮兩個可用的相鄰幀內模式，使用具有6MPM的幀內模式編碼方法。構建MPM列表考慮以下三個方面： – 默認幀內模式 – 相鄰幀內模式 – 導出幀內模式

多參考線幀內預測(Multiple Reference Line Intra Prediction)

多參考線(MRL)幀內預測使用更多參考線進行幀內預測。在第3圖中，描繪了4條參考線的示例，其中段A和F的樣本不是從重構的相鄰樣本中提取的，而是分別用來自段B和E的最近樣本填充的。HEVC圖片內預測使用最近的參考線（即參考線 0）。在MRL中，使用了2條附加線（參考線1和參考線3）。

選定的參考線的索引(mrl_idx)被發出信號，並用於生成幀內預測子。對於大於0的參考線idx，僅在MPM列表中包括額外的參考線模式，並且僅信號mpm索引而沒有剩餘模式。參考線索引在幀內預測模式之前用信號發送，並且在用信號發送非零參考線索引的情況下，平面模式被排除在幀內預測模式之外。

MRL對CTU內的第一行塊禁用，以防止在當前CTU行之外使用擴展參考樣本。此外，當使用附加線時，位置相關預測組合（Position-Dependent Prediction Combination，PDPC）將被禁用。對於MRL模式，非零參考線索引的DC幀內預測模式中DC值的推導與參考線索引0的推導類同。MRL需要使用CTU存儲3個相鄰的亮度參考線以生成預測。交叉分量線性模型(CCLM)工具還需要3條相鄰的亮度參考線用於其下採樣濾波器。使用相同3行的MRL定義與CCLM一致，以減少解碼器的存儲要求。

幀内子分區(Intra Sub-partitions)

幀內子分區(ISP)根據塊大小將亮度幀內預測塊垂直或水平劃分為2或4個子分區。例如，ISP的最小塊大小為4x8（或8x4）。如果塊大小大於4x8（或8x4），則相應的塊被劃分為4個子分區。已經註意到M×128（M≤64）和128×N（N≤64）ISP塊可能會產生64×64虛擬解碼器管道單元（Virtual Decoder Pipeline Unit，VDPU）的潛在問題。例如，單樹情況下的M×128 CU具有M×128亮度TB和兩個對應的M/2×64色度TB。如果CU使用ISP，那麼亮度TB會被分成4個M×32TB（只能水平分割），每個都小於一個64×64的塊。然而，在目前的ISP 設計中，色度塊並沒有被劃分。因此，兩個色度分量的大小都將大於32×32塊。類似地，使用ISP的128×N CU可能會產生類似的情況。因此，這兩種情況是64×64解碼器流水線的問題。為此，可以使用ISP的CU大小被限制為最大64×64。第4A圖和第4B圖顯示了兩種可能性的示例。所有子分區都滿足至少有16個樣本的條件。

在ISP中，不允許1xN和2xN子塊預測依賴於編碼塊的先前解碼的1xN和2xN子塊的重構值，使得子塊預測的最小寬度為四個樣本。例如，使用帶有垂直分割的ISP編碼的8xN(N＞4)編碼塊被劃分為兩個預測區域，每個預測區域的大小為4xN，四個變換的大小為2xN。此外，使用帶垂直分割的ISP編碼的4xN 編碼塊是使用完整的4xN塊預測；使用四個變換，每個變換是1xN。儘管允許1xN和2xN的變換大小，但設定可以並行執行4xN區域中這些塊的變換。例如，當一個4xN的預測區域包含四個1xN的變換時，水平方向沒有變換；垂直方向上的變換可以作為垂直方向上的單個4xN變換來執行。類似地，當一個4xN預測區域包含兩個2xN變換塊時，兩個2xN塊在每個方向（水平和垂直）的變換操作可以並行進行。因此，與處理 4x4常規幀内塊相比，處理這些較小的塊不會增加延遲。

對於每個子分區，通過將殘差信號添加到預測信號來獲得重構樣本。這裡，殘差信號是通過熵解碼、反量化和反變換等過程生成的。因此，每個子分區的重構樣本值可用於生成下一個子分區的預測，並且每個子分區被連續處理。此外，要處理的第一個子分區是包含CU左上角樣本的子分區，然後繼續向下（水平拆分）或向右（垂直拆分）。結果，用於生成子分區預測信號的參考樣本僅位於線的左側和上方。所有子分區共享相同的幀內模式。

矩陣加權幀內預測(Matrix Weighted Intra Prediction)

矩陣加權幀內預測(MIP)方法是VVC中新加入的幀內預測技術。為了預測寬度為W和高度為H的矩形塊的樣本，矩陣加權幀內預測(MIP)將塊左側的一隊列H個重構相鄰邊界樣本和塊上方的一隊列W個重構相鄰邊界樣本作為輸入。如果重構樣本不可用，則按照傳統幀內預測中的方式生成它們。預測信號的生成基於以下三個步驟，即平均，矩陣向量乘法和線性插值，如第5圖所示。塊左側的一隊列H個重構相鄰邊界樣本512，塊上方的一隊列W重構相鄰邊界樣本510，顯示為點填充的小方塊。在平均過程之後，邊界樣本被下採樣到頂部邊界線514和左邊界線516。下採樣樣本被提供給矩陣向量乘法單元520以生成下採樣預測塊530。然後應用插值過程來生成預測塊540。

平均相鄰樣本

在邊界樣本中，根據塊大小和形狀平均選擇四個樣本或八個樣本。具體來說，輸入邊界 和 。通過根據取決於塊大小的預定義規則平均相鄰邊界樣本來減少到更小的邊界 和 。然後，將兩個減少的邊界 和 連接到一個減少的邊界向量 。因此對於形狀為4×4的塊大小為4，對於所有其他形狀的塊為大小為8。如果模式指的是MIP模式，則此連接定義如下：

矩陣乘法

將平均樣本作為輸入執行矩陣向量乘法，然後添加偏移量。結果是在原始塊中的二次採樣樣本集上減少了預測信號。從減少的輸入向量 中，生成減少的預測信號 ，它是寬度 和高度 的下採樣塊上的信號。這裡， 和 定義為：

縮減後的預測信號 是通過計算一個矩陣向量乘積，加上一個偏移量來計算的：

這裡，A 是一個矩陣，對於W=H=4，有 行和4列，對於所有其他情況有8列。b是大小為 的向量。矩陣A和偏移向量b取自集合 , , 之一。定義一個索引 如下：

這裡，矩陣A的每個係數以8位精度表示。集合 由16個矩陣 組成，每個矩陣有16行4列，以及16個偏移向量 ，每個大小為16。該集合的矩陣和偏移向量用於大小為4×4的塊。集合 由8個矩陣 組成，每個矩陣有16行8列，和8個偏移向量 ，每個大小為16。集合 由6個矩陣 組成，每個矩陣有64行8列，以及6個偏移向量 ，每個尺寸為64。

插值

其餘位置的預測信號是通過線性插值從子採樣集上的預測信號生成的，這是在每個方向上的單步線性插值。無論塊形狀或塊大小如何，首先在水平方向然後在垂直方向執行插值。

MIP模式的信令和與其他編碼工具的協調

對於幀內模式中的每個編碼單元(CU)，發送指示是否應用MIP模式的標誌。如果要應用MIP模式，則用信號通知MIP模式 。對於MIP模式，轉置標誌 決定模式是否轉置，MIP模式Id 決定給定的MIP模式使用哪個矩陣，推導如下

MIP編碼模式通過考慮以下方面與其他編碼工具協調： – 低頻不可分離變換（LFNST）在大塊上為MIP啟用。這裡，使用平面模式的LFNST變換 – MIP的參考樣本推導與傳統幀內預測模式完全相同 – 對於MIP預測中使用的上採樣步驟，使用原始參考樣本而不是下採樣樣本 – 裁剪是在上採樣之前執行的，而不是在上採樣之後執行的 – 無論最大變換大小如何，MIP最大允許64x64 – 對於sizeId=0，MIP模式的數量為32，對於sizeId=1為16，對於sizeId=2為12

塊內復制(Intra Block Copy)

IBC是在HEVC擴展的屏幕內容編碼（Screen Content Coding, SCC）中採用的一種工具。眾所周知，它顯著提高了屏幕內容的編碼效率。由於IBC模式被實現為塊級編碼模式，因此在編碼器處執行塊匹配(BM)以找到每個CU的最佳塊向量（或運動向量）。這裡，塊向量用於指示從當前塊到參考塊的位移，該參考塊已經在當前圖片內部重構。IBC編碼的CU的亮度塊向量是整數精度的。色度塊向量也四捨五入到整數精度。當與AMVR（自適應運動矢量分辨率）結合使用時，IBC模式可以在1像素和4像素運動矢量精度之間切換。IBC編碼的CU被視為除幀內或幀間預測模式之外的第三預測模式。IBC模式適用於寬度和高度均小於或等於64個亮度樣本的CU。

在編碼器端，為IBC執行基於哈希(hash)的運動估計。編碼器對寬度或高度不大於16個亮度樣本的塊執行RD檢查。對於非合併模式，首先使用基於哈希的搜索執行塊向量搜索。如果哈希搜索未返回有效候選者，將執行基於塊匹配的本地搜索。

在基於哈希的搜索中，當前塊和參考塊之間的哈希鍵(hash key)匹配（32-位元 CRC）被擴展到所有允許的塊大小。當前圖片中每個位置的哈希鍵計算都是基於4x4的子塊。對於較大尺寸的當前塊，當所有4×4子塊的所有哈希鍵都與相應參考位置的哈希鍵匹配時，確定一個哈希鍵與參考塊的哈希鍵匹配。如果發現多個參考塊的哈希鍵與當前塊的哈希鍵匹配，則計算每個匹配參考的塊向量成本，並選擇成本最小的一個。

在塊匹配搜索中，搜索範圍設置為覆蓋先前和當前的CTU。

在CU級別，IBC模式通過標誌發出信號，它可以作為IBC AMVP（高級運動矢量預測）模式或IBC跳過/合併模式發出信號，如下所示： – IBC跳過/合併模式：合併候選索引用於指示來自相鄰候選IBC編碼塊的列表中的哪個塊向量被用於預測當前塊。合併列表由空間、基於歷史的運動矢量預測（History based Motion Vector Prediction，HMVP）和成對候選組成。 – IBC AMVP 模式：塊向量差以與運動向量差相同的方式編碼。塊向量預測方法使用兩個候選作為預測變量，一個來自左鄰居，一個來自上鄰居（如果IBC編碼）。當任一鄰居不可用時，默認塊向量將用作預測子。用信號發送標誌以指示塊矢量預測子索引。

IBC 參考區域

為了減少內存消耗和解碼器的複雜性，VVC中的IBC只允許重構預定義區域的部分，包括當前CTU的區域和左CTU的一些區域。第6圖說明了IBC模式的參考區域，其中每個塊代表64x64亮度採樣單元。根據當前CTU中當前編碼CU的位置，適用以下內容： – 如果當前塊落入當前CTU的左上64x64塊（第6圖中的情況610），則除了當前CTU中已經重構的樣本外，還可以參考左側CTU的底部-右側64x64塊的參考樣本，使用當前圖片參考(CPR)模式。（有關CPR的更多詳細信息，請參見 JVET-T2002（Jianle Chen等，“Versatile Video Coding and Test Model 11 (VTM 11) 的算法描述”，ITU-T SG聯合視頻專家組(JVET)16 WP 3和 ISO/IEC JTC 1/SC 29，第20次會議，電話會議，2020年10月7日至16日，文件：JVET-T2002)。當前塊還可以參考左CTU左下角64x64 塊中的參考樣本和左CTU右上角64x64塊中的參考樣本，使用CPR模式。 – 如果當前塊落入當前CTU的右上角64x64塊（第6圖中的情況620），則除了當前CTU中已經重構的樣本之外，如果相對於當前CTU的亮度位置(0, 64)尚未重構，當前塊也可以參考左側CTU左下64x64塊和右下64x64塊中的參考樣本，使用CPR模式；否則，當前塊也可以參考左側CTU右下角64x64塊中的參考樣本。 – 如果當前塊落入當前CTU的左下64x64塊（第6圖中的情況630），則除了當前CTU中已經重構的樣本外，如果相對於當前CTU的亮度位置（64, 0）尚未重構，當前塊也可以參考左CTU右上64x64塊和右下64x64塊中的參考樣本，使用CPR模式。否則，當前塊也可以使用CPR模式引用左側CTU右下角64x64塊中的參考樣本。 – 如果當前塊落入當前CTU的右下角64x64塊（第6圖中的情況640），則它只能引用當前CTU中已經重構的樣本，使用CPR 模式。

此限制允許IBC模式使用本地片上存儲器來實現硬件實現。

色度殘差聯合編碼(Joint Coding of Chroma Residuals)

VVC支持色度殘差聯合編碼（JCCR）工具，其中色度殘差被聯合編碼。JCCR模式的使用（激活）由TU級標誌tu_joint_cbcr_residual_flag指示，所選模式由色度CBF隱式指示。如果一個TU的一個或兩個色度CBF等於1，則存在標誌tu_joint_cbcr_residual_flag。在PPS（圖片參數集）和切片標頭中，用於 JCCR模式的色度QP偏移值用信號表示，以區別於常規色度殘差編碼模式的常規的色度QP偏移值的信號。這些色度QP偏移值用於導出使用JCCR模式編碼的某些塊的色度QP值。JCCR模式有3個子模式。當相應的JCCR子模式（表1中的子模式2）在TU中處於活動狀態時，此色度QP偏移量會在該TU的量化和解碼期間添加到應用的亮度導出色度QP。對於其他JCCR 子模式（表1中的子模式1和3），色度QP的導出方式與傳統的Cb或Cr塊相同。來自傳輸的變換塊的色度殘差（resCb和resCr）的重構過程如表1所示。當JCCR模式被激活時，一個單一的聯合色度殘差塊（表1中的resJointC[x][y]）被發送信號,Cb的殘差塊(resCb)和Cr的殘差塊(resCr)是考慮tu_cbf_cb、tu_cbf_cr和CSign等信息導出的，其是切片頭中指定的符號值。

在編碼器端，聯合色度分量的導出如下所述。根據模式（在上表中列出），resJointC{1,2}由編碼器生成，如下所示： – 如果模式等於2（具有重構的單個殘差Cb=C，Cr=CSign*C），聯合殘差根據以下確定 resJointC[ x ][ y ]=( resCb[ x ][ y ] + CSign * resCr[ x ][ y ] ) / 2 –否則，如果模式等於1（具有重構的單個殘差Cb=C,Cr=(CSign*C)/2），聯合殘差根據 resJointC[ x ][ y ]=( 4 * resCb[ x ][ y ] + 2 * CSign * resCr[ x ][ y ] ) / 5 – 否則（模式等於3，即單殘差，重構Cr=C，Cb=（CSign*C）/2），聯合殘差根據 resJointC[ x ][ y ]=( 4 * resCr[ x ][ y ] + 2 * CSign * resCb[ x ][ y ] ) / 5 表 1. 色度殘差的重構。CSign的值是sign值(+1或−1)，其在切片頭中指定，resJointC[ ][ ]是傳遞殘差

tu_cbf_cb	tu_cbf_cr	Cb與Cr殘差重構	模式
1	0	resCb[ x ][ y ] = resJointC[ x ][ y ] resCr[ x ][ y ] = ( CSign * resJointC[ x ][ y ] ) ＞＞ 1	1
1	1	resCb[ x ][ y ] = resJointC[ x ][ y ] resCr[ x ][ y ] = CSign * resJointC[ x ][ y ]	2
0	1	resCb[ x ][ y ] = ( CSign * resJointC[ x ][ y ] ) ＞＞ 1 resCr[ x ][ y ] = resJointC[ x ][ y ]	3

上述三種聯合色度編碼子模式僅在I片中得到支持。在P和B切片中，僅支持模式2。因此，在P和B切片中，語法元素tu_joint_cbcr_residual_flag僅在兩個色度cbfs均為1時才存在。

JCCR模式可以與色度變換跳過(TS)模式結合使用（有關TS模式的更多詳細信息，請參見JVET-T2002的第3.9.3節）。為了加速編碼器決策，JCCR變換選擇取決於Cb和Cr分量的獨立編碼是否選擇DCT-2或TS作為最佳變換，以及獨立色度編碼是否存在非零係數。具體來說，如果一個色度分量選擇DCT-2（或TS）而另一個分量全為0，或者兩個色度分量都選擇DCT-2（或TS），那麼在JCCR編碼中只會考慮DCT-2（或TS）。否則，如果一個分量選擇DCT-2而另一個分量選擇TS，則在JCCR編碼中將同時考慮DCT-2和TS。

跨分量線性模型（Cross Component Linear Model，CCLM）

CCLM模式（有時縮寫為LM 模式）背後的主要思想如下：塊的色度分量可以通過線性模型從並置(collocated)的重構亮度樣本中預測出來，線性模型的參數來自與塊相鄰的已經重構的亮度和色度樣本。

在VVC中，CCLM模式通過從重構的亮度樣本中預測色度樣本來利用通道間依賴性。該預測是使用以下形式的線性模型進行的 .                                         (1)

這裡，P(i,j)表示CU中的預測色度樣本，而 表示同一 CU 的重構亮度樣本，這些樣本針對非4:4:4彩色格式的情況進行了下採樣。模型參數a和b是基於編碼器和解碼器端重構的相鄰亮度和色度樣本導出的，沒有顯式信令。

VVC中指定了三種CCLM 模式，即CCLM_LT、CCLM_L和CCLM_T。這三種模式在用於模型參數推導的參考樣本的位置方面有所不同。僅來自頂部邊界的樣本涉及CCLM_T模式，僅來自左邊界的樣本涉及CCLM_L模式。在CCLM_LT模式下，使用來自頂部邊界和左側邊界的樣本。

總體而言，CCLM模式的預測過程包括三個步驟： 1) 亮度塊及其相鄰重構樣本的下採樣以匹配相應色度塊的大小， 2) 基於重構的相鄰樣本的模型參數推導，以及 3) 應用模型方程(1)生成色度幀內預測樣本。

亮度分量的下採樣：為了匹配4:2:0或4:2:2彩色格式視頻序列的色度樣本位置，可以對亮度樣本應用兩種類型的下採樣濾波器，它們都具有水平和垂直方向上的2比1下採樣率。這兩個濾波器分別對應於“類型-0”和“類型-2”4:2:0 色度格式內容，分別由以下兩項給出： .                                                                                                                                                 (2)

基於SPS級標誌信息，二維6抽頭（即f ₂）或5抽頭（即f ₁）濾波器應用於當前塊內的亮度樣本及其相鄰亮度樣本。SPS-level指的是序列參數集層次(Sequence Parameter Set level)。如果當前塊的頂行是CTU邊界，則會發生異常。在這種情況下，一維濾波器[1,2,1]/4應用於上述相鄰亮度樣本，以避免在CTU邊界上方使用多個亮度線。

模型參數推導過程：來自等式(1)的模型參數a和b是基於編碼器和解碼器端重構的相鄰亮度和色度樣本導出的，以避免需要任何信令開銷。在最初採用的CCLM模式版本中，線性最小均方誤差(linear minimum mean square error ，LMMSE)估計器用於參數的推導。然而，在最終設計中，只涉及四個樣本以降低計算複雜度。第7圖顯示了M×N色度塊710、對應的2M×2N亮度塊720及其“類型 0”內容的相鄰樣本（顯示為實心圓和三角形）的相對樣本位置。

在第7圖的示例中，顯示了CCLM_LT 模式中使用的四個樣本，它們用三角形標記。它們位於上邊界M/4和M∙3/4的位置，以及左邊界N/4和N∙3/4的位置。在CCLM_T和CCLM_L模式下，上邊界和左邊界被擴展到(M+N)個樣本的大小，用於模型參數推導的四個樣本位於(M+N)/8,(M+N)3/8、(M+N)5/8和(M+N)7/8。

一旦選擇了四個樣本，就使用四個比較操作來確定其中兩個最小和兩個最大的亮度樣本值。令X_ _l表示兩個最大亮度樣本值的平均值，令X_ _s表示兩個最小亮度樣本值的平均值。類似地，讓Y_ _l和Y_s表示相應色度樣本值的平均值。然後，根據以下等式獲得線性模型參數： (3)

在這個等式中，計算參數a的除法運算是通過查找表實現的。為了減少存儲該表所需的內存，diff值，即最大值和最小值之間的差值，以及參數a用指數表示法表示。這裡，diff的值用4位有效部分和指數近似。因此，1/diff的表僅包含16個元素。這樣做的好處是既降低了計算的複雜性，又減少了存儲表所需的內存大小。

MMLM概覽

顧名思義，原始的CCLM模式採用一個線性模型來自亮度樣本預測整個CU的色度樣本，而在MMLM（多模型 CCLM）中，可以有兩個模型。在MMLM中，將當前塊的相鄰亮度樣本和相鄰色度樣本分為兩組，每組作為訓練集推導線性模型（即針對特定組推導特定的α和β）。此外，當前亮度塊的樣本也基於與相鄰亮度樣本的分類相同的規則進行分類。 o 閾值計算為相鄰重構亮度樣本的平均值。Rec′L[x,y]＜=閾值的相鄰樣本被分類為第1組；而Rec′L[x,y]＞閾值的相鄰樣本被分類為第2組。 o 相應地，色度的預測是使用線性模型獲得的：

色度導出模式（Chroma DM）模式

對於色度DM模式，直接繼承覆蓋當前色度塊中心位置的相應(並置(collocated))亮度塊的幀內預測模式。

重構相鄰樣本預處理

在推導模型參數時，使用第一分量和第二分量的重構相鄰樣本。以概述部分描述的CCLM為例。第一個分量是亮度，第二個分量是cb或cr。為了提高模型性能，重構的相鄰樣本在成為推導模型參數的輸入之前進行預處理。

第8圖示出了在成為用於推導模型參數的輸入之前預處理的重構相鄰樣本的示例，其中亮度塊812的相鄰區域810和色度（cb或cr）塊822的相鄰區域820是在提供給模型參數推導塊830之前進行預處理。

在一個實施例中，對第一分量的重構相鄰樣本進行預處理。

在一個實施例中，第二分量的重構相鄰樣本被預處理。

在另一個實施例中，僅對第一和第二分量中的一個的重構相鄰樣本進行預處理。

在一個實施例中，預處理方法可以是(但不限於)以下過程中的任何一種或任何組合：3x3或5x5濾波、偏置、裁剪、類似ALF或CCALF的濾波或裁剪、類SAO濾波、濾波器集合(例如ALF集合)。

在另一個實施例中，第一分量是亮度、cb和cr中的任何一個。例如，當第一個分量是亮度時，第二個分量是cb或cr。又例如，當第一分量為cb時，第二分量為亮度或cr。又例如，當第一分量為cr時，第二分量為亮度或cb。又例如，當第一分量為亮度時，第二分量基於cb和cr的加權組合。

在一個實施例中，一個分量（例如cr）的預處理方法取決於另一分量（例如cb）。例如，cb的預處理方法的選擇是根據信令/位元流導出的，而cr遵循cb的選擇。又如，假設cb與cr之間存在高度相關性，則cr的預處理方法選擇如下： -cb重構（無預處理）加上cb殘差被視為金指示(golden)(即用於指導處理的一個標的) -根據cb的預處理重構和金指示選擇cr的預處理方式 - 比如cb的預處理重構和金指示很像，就用cb的預處理方法作為cr的預處理方法。

在另一個實施例中，在重構第一和/或第二分量的相鄰樣本之後立即應用預處理方法。

在另一個實施例中，預處理方法在生成當前塊的模型參數之前被應用於重構的相鄰樣本。

預測樣本後處理

將CCLM應用於當前塊後，生成當前塊的預測，並可以使用後處理方法進一步調整。後處理方法可以是（但不限於）以下過程中的任何一種或任何組合：3x3或5x5濾波、偏置、裁剪、類似ALF或CCALF的濾波或裁剪、類SAO濾波、濾波器組（例如ALF組）。

在一個實施例中，當前塊是指亮度、cb和/或cr。例如，當LM（例如在本公開的後面部分中描述的建議的逆LM）被用於生成亮度預測時，後處理被應用於亮度。又例如，當CCLM用於生成色度預測時，後處理應用於色度。

在另一個實施例中，當塊大小（寬度和/或高度）大於閾值時，應用後處理。

在另一個實施例中，一個分量（例如cr）的後處理方法取決於另一個分量（例如cb）。例如，cb的後處理方法的選擇是根據信令/位元流導出的，而cr遵循cb的選擇。又如，假設cb與cr之間存在高度相關性，則cr的後處理方法選擇如下： -cb預測（無後處理）加上cb殘差被視為金指示 - 根據cb的後處理預測和金指示選擇cr的後處理方式 - 例如，如果cb的後處理預測與金指示非常相似，則使用cb的後處理方法作為cr的後處理方法。

增量-預LM（Delta-pred LM）

本節提出了一種新穎的LM方法。不同於前面背景部分公開的CCLM，推導模型參數的輸入是第一分量的預測樣本（用作X）和第一分量的重構樣本和預測樣本之間的增量樣本（用作Y）。導出的參數和第二分量的初始預測樣本可以決定第二分量的當前預測樣本。例如，cb和cr的預測變量可以基於以下計算： delta_cb = alpha * initial_pred_cb + beta, pred_cb = initial_pred_cb + delta_cb, delta _cr =  alpha * initial_pred_cr – beta, pred_cr = initial_pred_cr + delta_cr.

再例如，cb和cr的預測變量可以計算為： delta_cb = alpha * initial_pred_cb + beta, pred_cb = initial_pred_cb + delta_cb, delta _cr =  -alpha * initial_pred_cr + beta, , pred_cr = initial_pred_cr + delta_cr.

預-重構LM的實施例可以用於增量-預LM。

預偵測LM

本節提出了一種新穎的LM方法。不同於前面背景部分公開的CCLM，推導模型參數的輸入是第一分量的預測樣本（用作X）和第一分量的重構樣本（用作Y）。導出的參數和第二分量的初始預測樣本可以決定第二分量的當前預測樣本。例如，cb和cr的預測變量可以基於以下計算： Pred_cb = alpha * initial_pred_cb + beta Pred_cr =  alpha * initial_pred_cr – beta

再例如，cb和cr的預測變量可以計算為 Pred_cb = alpha * initial_pred_cb + beta, Pred_cr =  -alpha * initial_pred_cr + beta.

在一個實施例中，第一分量是亮度而第二分量是cb或cr。

在另一個實施方案中，第一組分是cb並且第二組分是cr。

在另一個實施例中，第一分量被加權cb和cr並且第二分量是亮度，其中應用逆LM。例如，導出模型參數的輸入是cb和cr的加權預測以及cb和cr的加權重構樣本。

在一個子實施例中，(cb，cr)的權重可以相等。

在另一個子實施例中，(cb,cr)的權重可以是(1,3)或(3,1)。以(3,1)為例，加權公式可以為： weighted_pred = (3*pred_cb + 1*pred_cr + offset) ＞＞ 2, weighted_reco = (3* reco _cb + 1* reco _cr + offset) ＞＞ 2.

在另一個實施例中，第二分量的初始預測樣本由色度DM生成。

在另一個實施例中，第二分量的初始預測樣本由一個或多個傳統幀內預測模式（例如角度幀內預測模式、DC、平面）生成。

聯合LM

不同於前面背景部分中公開的CCLM，聯合線性模型被提出來共享色度分量（cb和cr）的單一模型。

在一個實施例中，導出的單一模型的參數包括α和β。例如，可以根據亮度重構樣本和參數計算cb和cr的預測值。 Pred_cb = alpha * reco_luma + beta, Pred_cr =  alpha * reco_luma – beta.

再例如，cb 和 cr 的預測變量可以計算為 Pred_cb = alpha * reco_luma + beta, Pred_cr =  -alpha * reco_luma + beta.

在另一個實施例中，當導出模型參數時，使用亮度、cb和cr。亮度部分保持原樣，色度部分發生變化。例如，cb和cr的重構相鄰樣本在作為推導模型參數的輸入之前被加權。加權方法可以是JCCLM-方法1/-方法2 部分中描述的方法中的任何一種或任意組合。

在另一個實施例中，當導出模型參數時，使用亮度和色度分量之一。例如，亮度和cb用於決定模型參數。

在另一個實施例中，不是使用相鄰的重構樣本，而是使用相鄰的殘差來導出模型參數。然後，推導出cb和cr的聯合殘差如下： b

在一個子實施例中，如果應用JCCR，則Cb和Cr的LM參數相同（即應用聯合LM）。

在另一個子實施例中，色度的相鄰殘差是相鄰cb和cr殘差的加權和。

在另一個子實施例中，如果應用聯合LM，則JCCR被推斷為啟用。

在另一個子實施例中，當使用聯合LM時，當前色度塊的預測由色度DM模式生成。

在另一個子實施例中，當使用聯合LM時，通過色度DM模式生成當前色度塊的初始預測，並且基於初始預測和resiC生成當前色度塊的最終預測（例如初始預測+resic）。

殘差LM

不是使用相鄰的重構樣本，而是使用相鄰的殘差來推導模型參數。然後，當前色度塊的聯合殘差推導如下（cb和cr分別有自己的模型）。 b

在一個實施例中，當前色度塊的預測(表示為pred_c)由色度DM生成並且當前色度塊的重構由pred_c+resi_c形成。

在另一實施例中，當前色度塊的初始預測由色度DM模式生成，並且當前色度塊的最終預測基於初始預測和resiC生成（例如初始預測 +resic）。

JCCLM（JCCR與CCLM）—方法 1

JCCLM-方法1被提出作為一種新穎的LM推導方案。與前面背景部分公開的CCLM不同的是，相鄰亮度重構樣本和加權重構相鄰cb和cr樣本被用作模型推導的輸入X和Y。在本公開中，導出的模型被稱為JCCLM並且模型參數被稱為JCCLM參數。然後，根據JCCLM參數和並置亮度塊的重構樣本來確定JCCLM預測子。最後，cb和cr的預測由JCCLM預測子計算。

在一個實施例中，用於生成加權的重構相鄰cb和cr樣本的權重對於(cb，cr)可以是(1，-1)。

在另一個實施例中，用於生成加權的重構相鄰cb和cr樣本的權重對於(cb，cr)可以是(1/2，1/2)。

在另一個實施例中，cb和cr的預測計算如下： pred_cb = 1* JCCLM_預測, pred_cr = -1* JCCLM_預測 +k

在另一個子實施例中，k可以是任何正值。例如，k=512。

在另一個子實施例中，k隨位元深度而變化。例如，如果位元深度為10，則k=512。

在另一子實施例中，k在標準中被預定義或取決於塊、SPS、PPS和/或圖像級別的信令。

在另一個實施例中，cb和cr的預測計算如下： pred_cb = 1* JCCLM_預測, pred_cr = 1* JCCLM_預測.

在另一個實施例中，當用於生成加權的重構相鄰cb和cr樣本的權重對於(cb,cr)是(1,-1)時，cb和cr的預測計算如下： pred_cb = 1* JCCLM_預測, pred_cr = -1* JCCLM_預測 + k

上述等式中，k的取值可以參考上述子實施例。在另一個實施例中，當用於生成加權的重構相鄰cb和cr樣本的權重對於(cb，cr)是(1/2，1/2)時，如下計算cb和cr的預測。 pred_cb = 1* JCCLM_預測, pred_cr = 1* JCCLM_預測

在另一個實施例中，當應用JCCLM時，殘差編碼自動使用JCCR。

JCCLM（JCCR與CCLM）—方法2

JCCLM-方法2被提議作為一種新穎的LM推導方案。不同於前面背景部分公開的CCLM，使用兩個模型來生成當前塊的預測。兩個模型及其對應的預測變量的推導過程如下圖所示： - JCCLM：相鄰亮度重構樣本和加權重構相鄰cb和cr樣本用作模型推導的輸入X和Y。在本公開中，導出的模型被稱為JCCLM並且模型參數被稱為JCCLM參數。然後，根據JCCLM參數和並置亮度塊的重構樣本來確定JCCLM預測子。 - Cb_CCLM：相鄰亮度重構樣本和相鄰cb重構樣本用作模型推導的輸入X和Y。在本公開中，導出的模型被稱為cb_CCLM並且模型參數被稱為cb_CCLM參數。然後，根據cb_CCLM參數和並置亮度塊的重構樣本來決定cb_CCLM預測子。

最後，cb和cr的預測由JCCLM預測子和cb_CCLM預測子計算。第9圖圖示了cr預測910、cb預測920和JCCLM預測子930之間的關係的示例。

在一個實施例中，用於生成加權的重構相鄰cb和cr樣本的權重對於(cb，cr)可以是(1/2，1/2)。

在另一個實施例中，cb的預測計算如下： pred_cb = cb_CCLM_預測

在另一個實施例中，cr的預測計算如下： pred_cr = 2* JCCLM_預測 - cb_CCLM_預測

在另一實施例中，當應用JCCLM時，殘差編碼自動使用JCCR。

CCLM預測的多重假設

除了前面在背景部分中公開的CCLM（對於cb，從亮度和cb導出模型參數；對於cr，從亮度和cr導出模型參數），更多的CCLM變體被公開。下面顯示了一些示例。 - 在一個變體中，cr預測是通過以下方式得出的： o 推導模型參數，將cb和cr的相鄰重構樣本作為模型推導的輸入X和Y o 然後通過導出的模型參數和cb重構樣本生成cr預測。 - 在另一個變體中，使用了MMLM。 - 在另一個變體中，用於cb（或cr）預測的模型參數來自多個並置的亮度塊。

每種CCLM方法適用於不同的場景。對於一些複雜的特徵，組合預測可能會產生更好的性能。因此，多假設 CCLM 被公開以混合來自多個 CCLM 方法的預測。待混合的CCLM方法可以來自（但不限於）上述CCLM方法。加權方案用於混合。

在一個實施例中，用於不同CCLM方法的權重在編碼器和解碼器處被預定義。

在另一個實施例中，權重基於樣本（或區域）位置與參考樣本位置之間的距離而變化。

在另一實施例中，權重取決於相鄰編碼信息。

在另一個實施例中，權重索引被發信號通知/解析。碼字可以固定或自適應變化。例如，代碼字隨基於模板的方法而變化。

自適應幀內模式選擇

隨著視頻編碼的改進，產生了更多的編解碼工具。選擇編碼工具的語法開銷成為一個問題。可以使用幾種簡單的方法來減少語法開銷。例如，一個大塊可以使用相同的編碼模式。在另一個示例中，多個分量（例如cb和cr）可以共享相同的編碼模式。

然而，使用這些簡單的方法，幀內預測的準確性/性能會降低。可能的原因可能如下： - 幀內預測與相鄰參考樣本高度相關。當整個塊使用單一的幀內預測模式時，幀內預測模式可能適用於那些靠近參考樣本的樣本，但可能不適用於那些遠離參考樣本的樣本。 - 在處理cr時，生成了cb和亮度的重構，可用於選擇c 的編碼模式。

在本節中，建議根據先前的分量編碼/解碼，自適應地改變當前塊內的一個或多個樣本或子塊的幀內預測模式。

在一個實施例中，通過重構先前編碼/解碼的分量，決定不同編碼模式的性能。然後，更好的模式用於其餘分量（隨後編碼和解碼的分量）。例如，對於cb，如果來自傳統幀內預測模式（例如角度幀內預測模式、DC、平面）的預測優於LM模式的預測（例如，“更好”意味著類似於cb的重構）。那麼，傳統的幀內預測模式對於cr是更可取的。

在一個子實施例中，所提出的方法可以是基於子塊的。例如，一個色度塊被分成幾個子塊。對於每個子塊，如果對於cb，LM模式的子塊預測優於傳統幀內預測模式（例如角度幀內預測模式、DC、平面）的子塊預測（例如“更好”意味著類似於cb的重構和減少cb的殘差），那麼LM模式對於cr的相應子塊是優選的。示例如第10圖 所示，其中色度塊被劃分為4個子塊。如果cb塊1010的子塊1和2使用LM模式有更好的預測結果，則cr塊1020的子塊1和2也使用LM模式。

在另一個實施例中，自適應改變規則可以在編碼器和/或解碼器上執行並且不需要額外的語法。

逆LM

對於前面在背景部分中公開的CCLM模式，亮度重構樣本用於導出色度塊中的預測值。在本公開中，逆LM被提議使用色度信息來導出亮度塊中的預測值。當支持逆LM 時，色度在亮度之前被編碼/解碼（發送信號/解析）。

在一個實施例中，色度信息指的是色度重構樣本。在為逆LM導出模型參數時，重構的相鄰色度樣本用作X，重構的相鄰亮度樣本用作Y。此外，色度塊（與當前亮度塊並置）中的重構樣本和導出的參數用於生成當前亮度塊的預測子。另一種方式是，本實施例中的“信息”可以指代預測樣本。

在一個實施例中，色度是指cb和/或cr分量。

在一個子實施例中，僅使用了cb和cr的信息之一。

在另一個子實施例中，色度信息來自cb和cr。例如，對相鄰的重構cb和cr樣本進行加權，然後將其用作推導模型參數的輸入。在另一個示例中，對色度塊（與當前亮度塊並置）中的重構cb和cr樣本進行加權，然後用於導出當前亮度塊中的預測值。

在另一個實施例中，對於當前亮度塊，預測（由提出的逆LM生成）可以與一個或多個預測假設（由一個或多個其他幀內預測模式生成）組合。

在一個子實施例中，“其他幀內預測模式”可以指角度幀內預測模式、DC、平面、MIP、ISP、MRL、任何其他現有幀內模式（在HEVC/VVC中支持）和/或任何其他幀內預測模式 .

在另一個子實施例中，當組合預測的多個假設時，每個假設的權重可以固定或自適應地改變。例如，對每個假設應用相同的權重。在另一示例中，權重隨相鄰編碼信息、樣本位置、塊寬度、高度、預測模式或區域而變化。相鄰編碼信息使用的一些示例如下所示： - 與樣本位置相關的一種可能規則描述如下。 o 當樣本位置離參考樣本較遠時，權重f或者來自其他幀內預測模式的預測減少。 - 與相鄰編碼信息相關的另一種可能規則描述如下。 o 當更多相鄰塊（左、上、左上、右上和/或左下）使用特定模式（例如模式A）編碼時，模式A的預測權重會更高。 - 另一個與樣本位置相關的可能規則描述如下。 o 當前塊被劃分為幾個區域。同一區域的樣本位置共享相同的權重。如果當前區域靠近參考L鄰居，則來自其他幀內預測模式的預測權重高於來自CCLM的預測權重。以下顯示了對當前塊進行分區的一些可能方法，如第11A-C圖中的虛線所示： § 第11A圖（寬高比接近或恰好為1:1）：考慮了當前區域與左上參考L鄰居之間的距離。 § 第11圖B（寬度＞n* 高度，其中n可以是任何正整數）：考慮當前區域與頂部參考L鄰居之間的距離。 § 第11圖C（高度＞n*寬度，其中n可以是任何正整數）：考慮當前區域與左參考L鄰居之間的距離。

幀間塊的CCLM

在概述部分，CCLM用於幀內塊以改進色度幀內預測。對於幀間塊，色度預測可能不如亮度準確。可能的原因如下： - 色度分量的運動矢量繼承自亮度，（色度沒有自己的運動矢量。） - 更少的編碼工具旨在改進幀間色度預測。

因此，CCLM被提議作為編碼塊間的替代方式。使用這個提出的方法，可以改進根據用於幀間塊的亮度的色度預測。根據幀間塊的CCLM，相應的亮度塊以幀間模式編碼，即使用運動補償和一個或多個運動矢量來訪問一個或多個先前編碼的參考幀中的先前重構的亮度塊。基於該幀間編碼亮度的交叉顏色線性模式可以提供比基於一個或多個先前編碼參考幀中的先前重構色度塊的幀間預測更好的預測。用於幀內模式的CCLM已在背景部分中進行了描述。前面描述的CCLM過程可以在這裡應用。然而，雖然傳統的CCLM在與色度塊相同的幀中使用重構亮度塊，但CCLM幀間模式在一個或多個先前編碼的參考幀中使用從重構亮度塊導出的重構或預測亮度塊。

在一個實施例中，對於色度分量，除了原始幀間預測（由運動補償生成）之外，一個或多個預測假設（由任意的交叉-顔色工具，例如CCLM和/或任何其他LM模式生成）用於形成當前預測。

在一個子實施例中，當前預測是幀間預測和CCLM預測的加權和。根據相鄰編碼信息、樣本位置、塊寬度、高度、模式或區域來設計權重。部分示例如下所示： - 在一個示例中，對於小塊（例如面積 ＜ 閾值），CCLM預測的權重高於幀間預測的權重。 - 在另一個示例中，當大多數相鄰編碼塊是幀內塊時，CCLM預測的權重高於幀間預測的權重。 - 在另一個示例中，權重是整個塊的固定值。

在另一個實施例中，原始幀間預測（由運動補償生成）用於亮度，並且色度分量的預測由CCLM和/或任何其他LM模式生成。

在一個子實施例中，當前CU被視為幀間CU、幀內CU或新型預測模式（既不是幀內也不是幀間）。

上述提出的方法也可以應用於IBC塊。即對於色度分量，本節中的“幀內”可以改為IBC。塊向量預測可以與CCLM預測結合或代替。

跨CU LM

與傳統的幀內預測模式（例如角度幀內預測模式、DC和平面）相比，LM模式的好處是預測不規則模式，如第12圖 所示，其中塊具有不規則模式，角度幀內預測無法提供的一個很好的預測。然而，亮度塊1210可以使用LM模式為色度塊1220提供良好的預測。

對於幀間圖像中不規則模式的編碼/解碼，幀內和幀間編碼模式的分佈可能如下所示。對於某些區域（與鄰居高度相關），使用幀內模式。對於其他地區，最好使用幀間模式。

為了處理上述情況，提出了跨CU LM模式。基於對當前CU的祖先節點的觀察，應用LM模式。例如，如果祖先節點包含不規則模式（例如，部分幀內和部分幀間），則屬於該祖先節點的塊將使用LM模式進行編碼/解碼。使用所提出的方法，不需要LM模式的CU級開/關標誌。第13圖圖示了與節點相關聯的亮度圖片區域包含不規則圖案的示例。與節點相關的區域根據不規則模式被劃分為亮度塊。不規則圖案的亮度塊（虛點塊）佔據作為幀內塊處理的塊的顯著部分；其餘亮度塊（虛線塊）將作為幀間亮度塊處理。

在一個實施例中，LM模式的塊級開/關標誌在祖先節點級定義/用信號發送。例如，當祖先節點上的標誌指示啟用跨CU LM時，屬於祖先節點的CU（即，從其劃分的CU）使用LM。在另一個示例中，當祖先節點處的標誌指示跨CU LM被禁用時，屬於祖先節點的CU（即，從其劃分的CU）不使用LM。

在另一個實施例中，祖先節點是指CTU。

在另一個實施例中，是否啟用跨CU LM是根據對祖先節點的塊屬性的分析來隱式推導的。

在本節中，CU可以是任何塊。例如，它可以是PU。

LM 輔助角/平面模式

對於傳統的幀內預測模式（例如角度幀內預測模式、DC、和平面），參考樣本來自頂部和左側相鄰的重構樣本。因此，對於當前塊內的右下樣本，幀內預測的準確性會降低。在本節中，使用LM模式來改進傳統幀內預測模式的預測。

在一個實施例中，當前塊的預測由一個或多個來自傳統幀內預測模式的預測假設和一個或多個來自LM模式的預測假設的加權和形成。在以下示例中，交叉分量模式指的是一種或多種LM模式和/或CCLM的擴展/變體。在一個子實施例中，對兩者應用相等的權重。在另一個子實施例中，權重隨相鄰編碼信息、樣本位置、塊寬度、高度、模式或面積而變化。例如，當樣本位置遠離左上角區域時，傳統幀內預測模式的預測權重會降低。更多的加權方案可以參考“逆LM”部分。

在另一個實施例中，提出使用LM模式在當前塊內或附近生成右下區域。在進行幀內預測時，參考樣本不僅可以基於原始的左和頂部相鄰重構樣本，還可以基於建議的右和底部LM預測樣本。下面顯示了一個例子。 - 在對色度塊進行幀內預測之前，重構並置的亮度塊。 - “並置亮度塊的相鄰亮度重構樣本”和“當前色度塊的相鄰色度重構樣本”用於推導LM參數。 - “並置亮度塊的重構樣本”和導出參數用於獲取當前色度塊的右下LM預測樣本。 當前色度塊的右下區域可以是第14A-B圖中區域的任何子集。第14A圖圖示了右下區域1412在當前色度塊1410之外的示例。第14B圖圖示了右下區域1422在當前色度塊1420之外的示例。 - 當前塊的預測是通過參考原始L相鄰區域（原始頂部和左側區域，使用傳統幀內預測模式獲得）和建議的逆L區域（使用LM獲得）雙向生成的。

在一個子實施例中，來自原始頂部和左側區域的預測子和來自底部和左側區域的預測子被加權組合。在一個示例中，對兩者應用相同的權重。在另一示例中，權重隨相鄰編碼信息、樣本位置、塊寬度、高度、模式或面積而變化。例如，當樣本位置遠離頂部和左側區域時，傳統幀內預測模式的預測權重降低。

在另一個實施例中，該提議的方法可以應用於逆LM。然後，在進行亮度幀內預測時，最終的預測是雙向的，這類似於上述色度塊的示例。

在另一個實施例中，在進行分割以了解亮度的曲線模式之後，所提出的LM輔助角度/平面模式幫助色度獲得正確的彎曲角度。

可以根據隱式規則（例如，塊寬度、高度或區域）或根據顯式規則（例如，塊、切片、圖片、SPS或PPS 級別中的語法）啟用和/或禁用本公開中提出的方法。

本公開中的術語“塊”可以指代TU/TB、CU/CB、PU/PB或CTU/CTB。

本公開中的術語“LM”可以被視為一種CCLM/MMLM模式或CCLM的任何其他擴展/變體（例如本公開中提出的CCLM擴展/變體）。

本公開中提出的方法（用於CCLM）可以用於任何其他LM模式。

可以應用本公開中提出的方法的任何組合。

任何前述提出的方法都可以在編碼器和/或解碼器中實現。例如，所提出的任何方法都可以在編碼器的幀內編碼模塊（例如第1A圖中的幀內預測 110與幀間預測112）、幀內解碼模塊（例如第1B圖中的MC152）、解碼器的混合候選推導模塊。或者，所提出的方法中的任何一個都可以實現為耦合到編碼器的幀內或幀間編碼模塊和/或運動補償模塊、解碼器的合併候選推導模塊的電路。

第15圖示出了根據本發明的一個實施例的將交叉顔色線性模型用於幀間模式的示例性視頻編碼系統的流程圖。流程圖中所示的步驟可以實現為可在編碼器側的一個或多個處理器(例如，一個或多個CPU)上執行的程序代碼。流程圖中所示的步驟也可以基於硬件來實現，諸如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。根據該方法，在步驟1510接收與包括第一顏色塊和第二顏色塊的當前塊相關聯的輸入資料，其中輸入資料包括要在編碼器側編碼的當前塊的像素資料或在解碼端解碼的與當前塊相關聯的編碼資料，其中第一顏色塊以非幀內塊模式編碼。在步驟1520中確定第二顏色塊的一個或多個交叉顔色模型的一個或多個模型參數。在步驟1530中確定第二顏色塊的交叉顔色預測子，其中通過將所述一個或多個交叉顏色模型應用於對應的重建或預測的第一顏色像素，為第二顏色塊的每個第二顏色像素生成一個交叉顔色預測值。在步驟1540中，在編碼器側使用包括用於第二顏色塊的交叉顏色預測子的預測資料對與第二顏色塊相關聯的輸入資料進行編碼，或者在解碼器側使用包括用於第二顏色塊的交叉顏色預測子的預測資料解碼與第二顏色塊相關聯的輸入資料。

在步驟1510中接收與包括至少一顏色塊的當前塊相關聯的資料，其中輸入資料包括在編碼器側要編碼的當前塊的像素資料或解碼器側待解碼的與所述至少一顏色塊相關聯的編碼資料，其中，當前塊以幀內塊模式編碼。在步驟1520中根據基於一個或多個第一預測假設、一個或多個第二預測假設或兩者生成的至少兩個候選預測的加權和來確定混合預測子，其中所述一個或多個第一預測假設是基於包括DC模式、平面模式或至少一種角度模式的一種或多種幀內預測模式生成，並且所述一個或多個第二預測模式是基於一種或多種交叉分量模式以及至少一顔色塊的並置塊生成。在步驟1530中，在編碼器側使用混合預測子對與所述至少一個顏色塊相關聯的輸入資料進行編碼，或者在解碼器側使用混合預測子對與所述至少一個顏色塊相關聯的輸入資料進行解碼。

所示的流程圖旨在說明根據本發明的視頻編碼的示例。在不脫離本發明的精神的情況下，本領域的技術人員可以修改每個步驟、重新安排步驟、拆分步驟或組合步驟來實施本發明。在本公開中，已經使用特定語法和語義來說明示例以實現本發明的實施例。在不脫離本發明的精神的情況下，技術人員可以通過用等同的語法和語義替換語法和語義來實施本發明。

提供以上描述是為了使本領域的普通技術人員能夠如在特定應用及其要求的上下文中提供的那樣實踐本發明。對所描述的實施例的各種修改對於本領域技術人員而言將是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。因此，本發明並不旨在限於所示出和描述的特定實施例，而是符合與本文公開的原理和新穎特徵一致的最寬範圍。在以上詳細描述中，舉例說明了各種具體細節以提供對本發明的透徹理解。然而，本領域的技術人員將理解可以實施本發明。

如上所述的本發明的實施例可以以各種硬件、軟件代碼或兩者的組合來實現。例如，本發明的一個實施例可以是一個或集成到視頻壓縮芯片中的更多電路或集成到視頻壓縮軟件中的程序代碼以執行這裡描述的處理。 本發明的實施例還可以是要在數字信號處理器(DSP)上執行以執行這裡描述的處理的程序代碼。本發明還可以涉及由計算機處理器、數字信號處理器、微處理器或現場可編程門陣列(FPGA)執行的許多功能。這些處理器可以被配置為通過執行定義由本發明體現的特定方法的機器可讀軟件代碼或固件代碼來執行根據本發明的特定任務。軟件代碼或固件代碼可以以不同的編程語言和不同的格式或風格來開發。也可以為不同的目標平台編譯軟件代碼。然而，軟件代碼的不同代碼格式、風格和語言以及配置代碼以執行根據本發明的任務的其他方式都不會脫離本發明的精神和範圍。

在不脫離其精神或本質特徵的情況下，本發明可以以其他特定形式體現。所描述的示例在所有方面都應被視為說明性而非限制性的。因此，本發明的範圍由所附請求項而不是由前述描述來指示。落入請求項等同物的含義和範圍內的所有變化都應包含在其範圍內。

112:幀間預測 114:開關 110、150:幀內預測 116:加法器 118:變換(T) 120:量化(Q) 122:熵編碼器 130:環內濾波器 124:逆量化（IQ） 126:逆變換（IT） 128:重構(REC) 136:預測資料 134:參考圖片緩衝器 140:熵解碼器 152:MC 510、512:重構相鄰邊界樣本 514:頂部邊界線 516:左邊界線 520:矩陣向量乘法單元 530:採樣預測塊 540:預測塊 610、620、630、640:情況 710、822、1220、1410、1420:色度塊 720、812、1210:亮度塊 810、820:相鄰區域 830:模型參數推導塊 910:cr預測 920:cb預測 930:JCCLM預測子 1010:cb塊 1020:cr塊 1414、1422:右下區域 1510-1530:步驟

第1A圖示出了包含循環處理的示例性自適應幀間/幀內視頻編碼系統。 第1B圖示了第1A圖中的編碼器的相應解碼器。 第2圖說明了幀内預測的方向（角度）模式的一個示例。 第3圖圖示了多參考線(MRL)幀內預測的示例，其中4條參考線用於幀內預測。 第4A圖圖示了幀內子分區(ISP)的示例，其中塊被水平或垂直地分成兩個子塊。 第4B圖圖示了幀內子分區(ISP)的示例，其中塊被水平或垂直地分成四個子塊。 第5圖圖示了矩陣加權幀內預測(MIP)的處理流程的示例。 第6圖 說明了IBC 模式的參考區域，其中每個塊代表64x64亮度採樣單元，參考區域取決於當前編碼CU的位置。 第7圖顯示了M×N色度塊、相應的2M×2N亮度塊及其相鄰樣本（顯示為“類型-0”內容的實心圓和三角形）的相對樣本位置。 第8圖說明了在成為推導模型參數的輸入之前經過預處理的重構相鄰樣本的示例。 第9圖舉例說明了cr預測、cb預測和JCCLM預測子之間的關係。 第10圖說明了自適應幀內模式選擇的示例，其中色度塊被劃分為 4個子塊。 第11A-C圖說明了一些可能的方式來劃分當前塊和用於來自與這些劃分相關聯的CCLM的預測的權重選擇。 第12圖說明了交叉-CU LM的示例，其中塊具有不規則模式，角度幀內預測無法提供良好的預測。 第13圖圖示了與節點相關聯的亮度圖片區域包含不規則圖案，並且圖片區域被劃分成用於應用幀間或幀內預測的各種塊的示例。 第14A-B圖示了使用LM模式來生成當前塊內（第14A圖）或外部（第14B圖）的右下區域的示例。 第15圖示出了根據本發明的一個實施例的將交叉顔色線性模型用於幀間模式的示例性視頻編碼系統的流程圖。

1510-1540:步驟

Claims (16)

1. 一種彩色圖片的幀間預測方法，該方法包括： 接收與包括第一顏色塊和第二顏色塊的當前塊相關聯的輸入資料，其中輸入資料包括在編碼器側用於待編碼的當前塊的像素資料或與在解碼器側待解碼的當前塊相關聯的編碼資料，其中第一色塊以非幀內塊模式編碼； 為所述第二顏色塊確定一個或多個交叉顔色模型的一個或多個模型參數； 確定所述第二顏色塊的交叉顔色預測子，其中通過應用所述一個或多個交叉顔色模型至相應的重建或預測的第一顏色像素，為所述第二顏色塊的每個第二顏色像素生成所述第二顏色塊的一交叉顔色預測值；以及 在編碼器側使用包括用於所述第二顏色塊的交叉顏色預測子的預測資料對與第二顏色塊相關聯的輸入資料進行編碼，或者在所述解碼器側使用包括第二顏色塊的交叉顏色預測子的預測資料對與所述第二顏色塊相關聯的輸入資料進行解碼。
2. 如請求項1所述的方法，其中，所述預測資料還包括基於先前編解碼的參考圖片中重構的第二顏色資料的第二顏色幀間預測資料。
3. 如請求項2所述的方法，其中，所述預測資料被生成為所述交叉顏色預測子和第二顏色幀間預測資料的加權和。
4. 如請求項3所述的方法，其中，所述加權和的權重根據相鄰編解碼信息、樣本位置、塊寬度、塊高度、塊面積、塊模式或其組合來確定。
5. 如請求項4所述的方法，其中，如果塊大小小於閾值，則所述交叉顔色預測子的權重高於所述第二顏色幀間預測資料的權重。
6. 如請求項4所述的方法，其中，如果當前塊的大部分相鄰塊以幀內模式編碼，則所述交叉顔色預測子的權重高於所述第二顏色幀間預測資料的權重。
7. 如請求項4所述的方法，其中，所述加權對應於所述當前塊的固定權重。
8. 如請求項1所述的方法，其中，所述預測資料還包括由一個或多個其他交叉顔色模型生成的一個或多個預測假設。
9. 如請求項1所述的方法，其中，至少一個交叉顔色模型是線性模型(LM)。
10. 如請求項1所述的方法，其中，所述模型參數是基於與所述第二顏色塊相關聯的並置第一顏色塊的相鄰重建第一顏色像素和所述第二顏色塊的相鄰重建第二顏色像素來確定的。
11. 如請求項10所述的方法，其中，所述並置的第一顏色塊的相鄰重建的第一顏色像素對應於並置的第一顏色塊的頂部相鄰樣本、並置的第一顏色塊的左相鄰樣本或兩者。
12. 如請求項1所述的方法，其中，所述預測資料選自包括交叉顔色預測子的預定義集合。
13. 如請求項1所述的方法，其中，所述當前塊對應於幀間編碼單元（CU）或對應於幀內塊複製（IBC）CU。
14. 如請求項1所述的方法，其中，所述預測資料還包括基於IBC模式的第二顏色預測資料。
15. 如請求項1所述的方法，其中，所述第一顏色塊對應於亮度塊並且所述第二顏色塊對應於色度塊。
16. 一種用於彩色圖片幀間預測的裝置，該裝置包括一個或多個電子設備或處理器，被佈置成： 接收與包括第一顏色塊和第二顏色塊的當前塊相關聯的輸入資料，其中輸入資料包括在編碼器側用於待編碼的當前塊的像素資料或在解碼器側與待解碼的當前塊相關聯的編碼資料，其中第一色塊以非幀內塊模式編碼； 為所述第二顔色塊確定一個或多個交叉顔色模型的一個或多個模型參數； 確定所述第二顏色塊的交叉顔色預測子，其中通過應用所述一個或多個交叉顔色模型至相應的重建或預測的第一顏色像素為第二顏色塊的每個第二顏色像素生成第二顏色塊的一個交叉顔色預測子；以及 在編碼器側使用包括用於第二顏色塊的交叉顏色預測子的預測資料對與第二顏色塊相關聯的輸入資料進行編碼，或者在解碼器側使用包括第二顔色塊的交叉顏色預測子的預測資料對與所述第二顏色塊相關聯的輸入資料進行解碼。

Images