TWI839923B - 視頻編解碼系統中基於交叉分量線性模型的預測方法及裝置 - Google Patents

Abstract

公開了一種使用基於交叉顏色線性模型的幀內預測的視頻編解碼系統的方法和裝置。 根據該方法，確定第一顏色預測模型的模型參數，並且第一顏色預測模型根據至少兩個對應的重構第二顏色像素值的組合提供預測的第一顏色像素值。 根據另一種方法，第一顏色預測模型基於一個或多個對應的重構第二顏色像素值的二階模型或更高階模型提供預測的第一顏色像素值。當前第一顏色塊的第一顏色預測子根據第一顏色預測模型確定。然後輸入資料在編碼器側被編碼或在解碼器側使用第一顏色預測子解碼。

Description

視頻編解碼系統中基於交叉分量線性模型的預測方法及裝置

本發明涉及視頻編解碼系統。 特別地，本發明涉及在視頻編解碼系統中使用交叉分量線性模型的幀內預測。

多功能視頻編碼 (VVC) 是由 ITU-T 視頻編碼專家組 (VCEG) 和 ISO/IEC 運動圖像專家組 (MPEG) 的聯合視頻專家組 (JVET) 開發的最新國際視頻編碼標準。該標準已作為 ISO 標準發布：ISO/IEC 23090-3:2021，信息技術 - 沉浸式媒體的編碼表示 - 第 3 部分：多功能視頻編碼，2021 年 2 月發布。VVC 是基於其前身 HEVC（高Efficiency Video Coding）通過添加更多編碼工具來提高編碼效率並處理各種類型的視頻源，包括 HDR（高動態範圍）、屏幕內容、360° 視頻和空間可伸縮視頻信號。

第1A圖圖示了結合循環處理的示例性自適應幀間/幀內視頻編碼系統。對於幀內預測110，預測資料是基於當前圖像中先前編碼的視頻資料得出的。對於幀間預測112，在編碼器側執行運動估計(ME)並且基於ME的結果執行運動補償(MC)以提供從其他圖像和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112，並且選擇的預測資料被提供給加法器116以形成預測誤差，也稱為殘差。然後由變換(T) 118接著量化(Q)120處理預測誤差。然後由熵編碼器122對變換和量化的殘差進行編碼以包括在對應於壓縮視頻資料的視頻位元流中。然後，與變換係數相關聯的位元流與諸如與幀內預測和幀間預測相關聯的運動和編碼模式等輔助信息以及與應用於底層圖像區域的環路濾波器相關聯的參數等其他信息打包。如第1A圖所示，與幀內預測110、幀間預測112和環路濾波器130相關聯的邊信息被提供給熵編碼器122。當使用幀間預測模式時，參考圖像也必須在編碼器端重建。因此，變換和量化的殘差由反量化（IQ）124和反變換（IT）126處理以恢復殘差。然後在重建(REC)128將殘差加回到預測資料136以重建視頻資料。重構的視頻資料可以存儲在參考圖像緩衝器134中並且用於其他幀的預測。

如第1A圖所示，輸入視頻資料在編碼系統中經歷一系列處理。由於一系列處理，來自 REC 128 的重建視頻資料可能會受到各種損害。因此，在將重構視頻資料存儲在參考圖像緩衝器134中之前，經常將環路濾波器130應用於重構視頻資料，以提高視頻質量。例如，可以使用去塊濾波器（DF）、樣本自適應偏移（SAO）和自適應環路濾波器（ALF）。可能需要將環路濾波器信息合併到位元流中，以便解碼器可以正確地恢復所需的信息。因此，環路濾波器信息也被提供給熵編碼器122以結合到位元流中。在第1A圖中，在將重構樣本存儲在參考圖像緩衝器134中之前，將環路濾波器130應用於重構視頻。第1A圖中的系統旨在說明典型視頻編碼器的示例性結構。它可以對應於高效視頻編碼 (HEVC) 系統、VP8、VP9、H.264 或 VVC。

如第1B圖所示，解碼器可以使用與編碼器相似或部分相同的功能塊，除了變換118和量化120之外，因為解碼器只需要反量化124和反變換126。代替熵編碼器在圖122中，解碼器使用熵解碼器140將視頻位元流解碼為量化的變換係數和所需的編碼信息（例如ILPF信息、幀內預測信息和幀間預測信息）。解碼器側的幀內預測150不需要執行模式搜索。相反，解碼器只需要根據從熵解碼器140接收到的幀內預測信息來生成幀內預測。此外，對於幀間預測，解碼器只需要根據從熵解碼器140接收到的幀間預測信息執行運動補償（MC 152） 無需運動估計。

根據VVC，類似於HEVC，輸入圖像被劃分為稱為CTU (編碼樹單元)的非重疊方形塊區域。每個 CTU 可以劃分為一個或多個較小尺寸的編碼單元 (CU)。生成的 CU 分區可以是正方形或矩形。此外，VVC 將 CTU 劃分為預測單元（PU）作為一個單元來應用預測過程，例如幀間預測、幀內預測等。

VVC標準結合了各種新的編碼工具，以進一步提高HEVC標準的編碼效率。在各種新的編碼工具中，有些已經被標准採用，有些沒有。在新的編碼工具中，採用了一種名為 CCLM（交叉分量線性模型）的技術。CCLM簡要回顧如下。

CCLM ( 交叉分量線性模型 )

CCLM模式(有時簡稱為LM模式)背後的主要思想是彩色圖像的顏色分量(例如，Y/Cb/CR、YUV和RGB)之間經常存在一些相關性。這些顏色在本公開中可以稱為第一顏色、第二顏色和第三顏色。 CCLM 技術通過線性模型從同位的重構亮度樣本預測塊的色度分量來利用相關性，所述線性模型的參數源自與塊相鄰的已重構亮度和色度樣本。

在 VVC 中，CCLM 模式(mode)通過從重構的亮度樣本預測色度樣本來利用通道間依賴性。該預測是使用以下形式的線性模型進行的 .                                                  (1)

這裡， 表示 CU 中的預測色度樣本， 表示同一 CU 的重建亮度樣本，在非 4 :4:4採樣顏色格式的情況下。模型參數 a 和 b 是基於在編碼器和解碼器端重建的相鄰亮度和色度樣本而無需顯式信令導出的。

VVC 中指定了三種 CCLM 模式，即 CCLM_LT、CCLM_L 和 CCLM_T。這三種模式在用於模型參數推導的參考樣本的位置方面有所不同。僅來自頂部邊界的樣本參與 CCLM_T 模式，僅來自左側邊界的樣本參與 CCLM_L 模式。在 CCLM_LT 模式下，使用來自上邊界和左邊界的樣本。

總體而言，CCLM 模式的預測過程包括三個步驟： 1) 對亮度塊及其相鄰重構樣本進行下採樣以匹配相應色度塊的大小， 2)基於重構的相鄰樣本的模型參數推導，以及 3)應用模型方程(1)生成色度幀內預測樣本。

亮度分量的下採樣：為了匹配 4:2:0 或 4:2:2：顏色格式視頻序列的色度採樣位置，可以對亮度採樣應用兩種類型的下採樣過濾器，這兩種過濾器都具有在水平和垂直方向上的下採樣率為 2:1。這兩個過濾器分別對應“類型-0”和“類型-2”4:2:0 色度格式內容，由下式給出 .                                                                                                                                                        (2)

基於 SPS 級別的標誌信息，二維 6 抽頭（即 f2）或 5 抽頭（即 f1）濾波器應用於當前塊內的亮度樣本及其相鄰的亮度樣本。 SPS 級別是指序列參數集級別。如果當前塊的頂部隊列是 CTU 邊界，則會發生異常。在這種情況下，一維濾波器 [1,2,1]/4 應用於上述相鄰亮度樣本，以避免在 CTU 邊界上方使用多條亮度隊列。

模型參數推導過程：公式(1)的模型參數 a 和 b 是基於在編碼器和解碼器端重建的相鄰亮度和色度樣本得出的，以避免需要任何信令開銷。在最初採用的 CCLM 模式版本中，使用線性最小均方誤差 (LMMSE) 估計器來推導參數。然而，在最終設計中，僅涉及四個樣本以降低計算複雜度。第2圖顯示了W×H色度塊210、對應的2W×2H亮度塊220及其「類型0」內容的相鄰樣本（顯示為實心圓和三角形）的相對樣本位置。

在第2圖的示例中，顯示了 CCLM_LT 模式中使用的四個樣本，它們用三角形標記。它們位於上邊界的 M/4 和 M∙3/4 的位置，以及左邊界的 N/4 和 N∙3/4 的位置。在 CCLM_T 和 CCLM_L 模式下，上下邊界擴展為 (M+N) 個樣本大小，用於模型參數推導的四個樣本位於 (M+N)/8,(M+ N)∙3/8、(M+N)∙5/8 和 (M + N)∙7/8。

一旦選擇了四個樣本，就使用四個比較運算來確定其中兩個最小和兩個最大的亮度樣本值。令 表示兩個最大亮度樣本值的平均值，讓 表示兩個最小亮度樣本值的平均值。類似地，讓 和 表示相應色度樣本值的平均值。然後，根據以下等式獲得線性模型參數： .                                                                              (3)

在這個等式中，計算參數a的除法運算是通過查找表實現的。 為了減少存儲此表所需的內存，diff 值（最大值和最小值之間的差）和參數 a 用指數表示法表示。 這裡，diff 的值是用一個 4 位有效部分和一個指數來近似的。 因此，1/diff 表僅包含 16 個元素。 這樣做的好處是既可以降低計算的複雜性，又可以減少存儲表所需的內存大小。

CCLM 幀內預測在編碼增益方面顯示出明顯的改進。 期望開發進一步提高CCLM效率的技術和/或在保留編碼效率的同時簡化過程的技術。

公開了一種使用基於顔色交叉線性模型的幀內預測的視頻編碼系統的方法和裝置。根據該方法，接收在編碼器側要編碼的當前第一顏色塊或與解碼器側要解碼的當前第一顏色塊相關聯的輸入資料。在一些實施例中，輸入資料包括用於要在編碼器側編碼的當前第一顏色塊的像素資料或與要在解碼器側解碼的當前第一顏色塊相關聯的預測殘差資料。確定第一顏色預測模型的模型參數，其中第一顏色預測模型根據與對應第二顏色塊相關聯的至少兩個對應重構第二顏色像素值的組合提供預測的第一顏色像素值，根據與當前第一顏色塊相關聯的同位第二顏色塊的相鄰重建第二顏色像素和當前第一顏色塊的相鄰重建第一顏色像素確定模型參數。確定當前第一顏色塊的第一顏色預測子，其中通過將第一顏色預測模型應用於與所述每個第一顏色像素相對應的重構第二顏色像素，為當前第一顏色塊的每個第一顏色像素生成一個第一顏色預測值。然後使用編碼器側的第一顏色預測子對輸入資料進行編碼，或者使用解碼器側的第一顏色預測子對輸入資料進行解碼。

在一個實施例中，所述至少兩個對應的重構第二顏色像素值對應於M×N個重構第二顏色樣本，M和N為正整數且M×N大於或等於1。例如， M 等於 3，N 等於 2。在另一個示例中，M 等於 2，N 等於 2。

在一個實施例中，根據所述至少兩個對應的重構的第二顏色像素值的線性組合來提供預測的第一顏色像素值。在另一個實施例中，使用包括對所述至少兩個對應的重構的第二顏色像素值的非線性運算的運算來提供預測的第一顏色像素值。非線性運算可以包括裁剪、最小值、最大值或其組合。

在一個實施例中，最終預測的第一顏色像素值被生成為預測的第一顏色像素值和第二預測的第一顏色像素值的融合，其中第二預測的第一顏色像素值是使用生成的當前第一色塊的正常幀內模式。

在一個實施例中，當同位的第二顏色塊和當前的第一顏色塊具有不同的採樣率時，使用多相位濾波器來生成所述至少兩個對應的重構第二顏色像素值。在一個實施例中，可以在不同的編碼級別確定對預定義的多個函數或公式的選擇。

在一個實施例中，相鄰的重構第二顏色像素來自同位的第二顏色塊的一個或多個頂部相鄰隊列和/或一個或多個左側相鄰隊列，並且相鄰的重構第一顏色像素來自一個當前第一色塊的一個或多個頂部隊列和/或一個或多個左側隊列。

還公開了另一種用於視頻編碼系統的方法和設備，其使用基於交叉顏色線性模型的幀內預測。根據該方法，第一顏色預測模型基於一個或多個對應的重構第二顏色像素值的二階模型或更高階模型提供預測的第一顏色像素值。在一個實施例中，所提供的預測的第一顏色像素值對應於一個對應的重構第二顏色像素值的二階模型。

將容易理解，如本文附圖中一般描述和圖示的本發明的組件可以以多種不同的配置來佈置和設計。因此，如附圖中所表示的本發明的系統和方法的實施例的以下更詳細的描述並不旨在限制所要求保護的本發明的範圍，而僅代表本發明的選定實施例.在整個說明書中對「一個實施例」、「一個實施例」或類似語言的引用意味著結合該實施例描述的特定特徵、結構或特性可以包括在本發明的至少一個實施例中。因此，在整個說明書的各個地方出現的短語「在一個實施例中」或「在一個實施例中」不一定都指代相同的實施例。

此外，所描述的特徵、結構或特性可以在一個或多個實施例中以任何合適的方式組合。然而，相關領域的技術人員將認識到，本發明可以在沒有一個或多個具體細節的情況下，或使用其他方法、組件等來實踐。在其他情況下，未示出或未示出眾所周知的結構或操作。詳細描述以避免模糊本發明的方面。通過參考附圖將最好地理解本發明的所示實施例，其中相同的部件自始至終由相同的數字表示。以下描述僅作為示例，並且簡單地說明了與如本文所要求保護的本發明一致的設備和方法的某些選定實施例。

如前所述，VVC 採用的 CCLM 編碼工具顯示出顯著的編碼效率提升。期望開發進一步提高編碼增益的技術。

亮度和色度之間的模型

在一個實施例中，MxN濾波器形狀可用於定義用於CCLM的線性模型的參數。與基於單個重構亮度值進行預測的傳統線性模型相比， 如方程(1)所示。本發明基於MxN重構亮度樣本推導色度預測。在一個實施例中，M=N=2，意味著線性模型的方程中有 5 個未知變量，方程如下所示： (4)

在第3圖 中，色度樣本 ch 的位置（或定位）在亮度樣本 y0 和 y2 之間，涉及的亮度樣本用 y0、y1、y2 和 y3 標記。 等式 (4) 表示基於線性模型的色度預測示例，其中 ch 生成為 y0、y1、y2 和 y3 的線性組合。 等式 (4) 具有線性濾波器的形式，其中 ch 對應於應用於 y0、y1、y2 和 y3 的線性濾波器的輸出。 因此，根據本發明的亮度和色度之間的模型也稱為MxN濾波器形狀。

在一個實施例中，在 1x2 濾光片的情況下，亮度和色度方程如下： (5)

在另一實施例中，在3x2濾波器的情況下，針對亮度與色度的等式如下: (6)

在這種情況下，為了定義線性模型的所有參數，至少需要在編碼器和解碼器處訪問 7 個色度樣本。

在一個實施例中，非線性運算可以集成在方程中。 例如，剪裁或最小/最大運算可以集成到等式中。

在一個實施例中，使用更高階模型來預測色度樣本，而不是線性模型。 高階模型是指使用二階或更高階模型的情況。 在一個實施例中，用於色度的方程如下： (7)

在當前版本的 CCLM 中，預測的色度樣本 P(i,j) 被視為最終預測子，這意味著沒有應用額外的後處理來進一步細化預測的樣本值。在一個實施例中，在正常幀內模式和使用當前CU的CCLM模式獲得的預測子之間應用融合，並且該融合的結果進一步被認為是預測子。在一個實施例中，類似於PDPC（位置相關預測組合）概念，應用邊界濾波器來細化CU的頂部和左側邊界處的樣本。

在一個實施例中，將遞歸細化應用於預測參數。在一個實施例中，細化如下進行： 1. 定義比例 a 和偏移量 b（或更多參數，如果需要） 2. 使用比例 a 和偏移量 b 預測相鄰（從相鄰或不僅相鄰（多於一個相鄰）隊列）色度樣本 3. 如果預測不夠好 - 更新參數/使用點並返回步驟1 4. 重複直到獲得所需的預測精度或達到最大步數

由於 CCLM 模型僅根據相鄰樣本定義，因此可能無法完全反映相鄰 CU 與當前 CU 之間的空間關係。因此，在一個實施例中，可以將附加邊界過濾應用於CCLM預測子。

在一個實施例中，為了提高預測質量，在CCLM中使用了當前CU的附加相鄰點。在一個實施例中，首先計算相鄰樣本的平均值（例如，對於 CCLM_LT 模式，找到位於每個邊界的位置（M/4 和 M/2）和（M∙3/4 和 M）的樣本的平均值，然後在左邊界做類似的事情）然後執行四個比較運算，用於確定其中兩個最小和兩個最大的亮度樣本值。在一個實施例中，來自兩條相鄰頂部隊列和/或兩條相鄰左側隊列的樣本可用於CCLM。在一個實施例中，首先計算原始位置的樣本和與當前 CU 的相鄰隊列的相鄰隊列（即，距當前 CU 更遠的一條隊列）的樣本之間的加權和，然後計算這 4 個值中定義的兩個最小(Min)和兩個最大（Max）樣本值。在另一個實施例中，考慮/可用的 CCLM 隊列的數量擴展到超過 2 個。

在一個實施例中，在所有可用於 CCLM 的樣本中確定兩個最小和兩個最大的亮度樣本值，而不僅僅是在某些位置（例如，與當前 CU 相鄰的行，或從頂部和/或左側開始的多於一個相鄰行 ）。在另一個實施例中，在 Min/Max 中使用超過 4 個值，例如考慮在當前 CU 左上位置的附加亮度樣本，這意味著兩個 Min 和兩個 Max 樣本值被定義在 5 之間而不是 4位置。

雖然上述公開以亮度和色度信號作為示例來說明交叉分量預測，但是本發明不限於亮度/色度彩色視頻。相反，本發明可以與其他顏色格式和/或其他顏色子採樣比率相關聯。本公開中提到的方法可以相應地調整以應用於其他二次採樣率和/或顏色方案。在一個實施例中，使用原始的 4 個（或更多點）和不同的線性回歸方法（例如 Theil-Sen 估計、Ridge回歸）或其他回歸（逐步（可以從 4 下降到 2）、多項式/更高階模型）用於定義線性/更高階模型的參數。

對應的亮度樣本選擇

在最初的 CCLM 設計中，來自同位亮度塊的亮度樣本用於預測當前 CB 的色度樣本，並且當亮度和色度採樣率不同時（例如 YUV420、YUV422、YUV411）使用一個下採樣濾波器生成相應的亮度樣本。

對於 YUV420 和 YUV422 格式，亮度和色度樣本具有不同的分辨率。因此，必須使用下採樣來為每個色度樣本導出相應的亮度樣本。在一個實施例中，可以使用濾波器的多個相位來代替下採樣濾波器（即應用於 YUV420 情況下的亮度的那個）。在一個實施例中，當在 CCLM 中定義線性模型的參數時，直接使用原始亮度樣本之一（y0、y1、y2 或 y3）而不是下採樣。

在一個實施例中，非線性運算用於選擇用於定義 CCLM 中線性模型的參數的四個候選（即 y0、y1、y2 或 y3）之一。在一個實施例中，使用以下非線性函數之一： ・Max( , ) ・Min ( , ) ・Vote ( , )

在一個實施例中，預定義了多個函數/公式，並且允許在不同級別進行某些選擇。

在一個實施例中，模型參數可以基於多個亮度塊導出，因此將存在從不同亮度塊定義的多個比例a和多個偏移量b。在一個實施例中，最終比例和偏移值被定義為它們的平均值。在另一個實施例中，在多個候選中選擇最終的比例和偏移值。在一個實施例中，可以/必須向解碼器發信號通知該決定。在另一個實施例中，可以在解碼器處以及在編碼期間執行該決定過程，這意味著不需要額外的信令。

在一個實施例中，使用來自多個同位塊的元素定義比例a和偏移b（例如，使用來自同位亮度塊的樣本定義的一組a1和b1，使用來自同位的亮度塊的父塊的樣本定義的另一組比例a2和偏移b2；另外，如果使用二叉樹，則當前色度塊可以有多個同位的亮度塊，可用於推導線性模型的參數）。例如，算法如下： 是 （來自亮度塊 Y1）、 （來自亮度塊 Y2）的平均值…… 是來自 （來自亮度塊 Y1）、 （來自亮度塊 Y2）、……的平均值

在一個實施例中，用於預測色度的重構亮度值可以等於來自多個同位亮度塊的重構樣本的平均和（加權和/組合）。在一個實施例中，以下重建的亮度塊可用於預測色度： ・亮度塊 Y1：原始 CCLM 算法中使用的同位亮度塊 •亮度塊 Y2：下採樣的父亮度塊 •應用二叉樹時，可以有多個同位的亮度塊

在另一個實施例中，可以使用類似IBC的方法來找到更多的亮度塊，然後混合亮度重建的相鄰樣本，其中IBC（Intra Block Copy）是VVC標准採用的另一種編碼工具。在另一個實施例中，可以另外執行Cb/Cr到Cr/Cb的預測。例如，當我們進行 Cr 預測時，我們可以使用來自亮度的多個預測以及來自 Cb 的另一個預測。

基於歷史的 CCLM

在一個實施例中，基於歷史的方法被併入CCLM中。在一個實施例中，先前定義的（來自先前的CTU/CU/片）CCLM參數被保存到專門定義的表中，然後還檢查這些參數中的一些或全部以預測當前CU，連同新定義的CCLM參數預測。在一個實施例中，用信號發送單獨的標誌以指示是選擇來自歷史表的參數還是選擇新的​​參數。在另一個實施例中，該選擇在解碼器處隱含地進行(例如，通過使用邊界平滑條件)。

在一個實施例中，解碼器可以首先檢查基於歷史的方法，並且如果結果足夠好，則跳過新模型的定義。在一個實施例中，可能需要額外的信令（例如所選模型的索引）。

基於直方圖的 CCLM

在該實施例中，假設真實幀中的亮度和色度之間的關係並不總是線性的，因此直方圖可以比僅僅線性模型更準確地反映它。在一個實施例中，來自前一幀的信息（例如在同位區域/CTU處）可用於獲得和/或細化亮度和色度的直方圖。在一個實施例中，該信息（例如直方圖）與例如亮度和色度的 L 形鄰居和解碼的亮度可用於根據當前區域 (CU/CTU) 中的亮度信息（例如直方圖）預測色度樣本。

在一個實施例中，為了提高預測的準確性，直方圖變換之間的增量值被發送（例如，每個 CTU）到解碼器。在一個實施例中，當前幀中的直方圖變換僅基於亮度和色度的相鄰L形信息構建，並且附加增量被解碼並添加到「預測的」直方圖變換。這樣，直方圖變換將更準確，並產生更好的色度預測。在一個實施例中，傳輸Cb/Cr分量兩者的一個增量。在一個實施例中，針對每個Cb和Cr分量的增量發送附加符號信息（類似於JCCR（色度殘差的聯合編碼（Joint Coding of Chrominance Residuals）））。在另一個實施例中，為每個Cb和Cr分量傳輸單獨的增量。

在一個實施例中，在一些情況下，CCLM模型可能不是線性模型。例如，分段線性模型（類似於 LMCS）可用於從亮度樣本中預測色度。然而，雖然 LMCS 是單調遞增的，但 CCLM 的分段線性模型不一定必須具有相同的行為。在一個實施例中，可以使用直方圖。例如，可以將 Y 分量的直方圖劃分為幾個區域，為每個區域計算一個單獨的 CCLM 模型，然後用於預測色度分量。在一個實施例中，定義範圍的樞軸，然後使用單獨的線性模型定義每個範圍內的所有點。在一個實施例中，如果某些區域沒有足夠的樣本，則可以將上面提出的基於歷史的CCLM方法與基於直方圖的方法相結合。在一個實施例中，使用多於一條的相鄰線來構建直方圖，這將導致更準確的直方圖並因此產生更好的預測。

CCLM可以用作用於色度分量的幀內預測的幀內預測技術。因此，CCLM 過程被認為是幀內預測的一部分。因此，上述提出的與CCLM相關的方法可以在編碼器和/或解碼器中實現。例如，所提出的方法可以在編碼器的幀內編碼模塊（例如，第 1A圖 中的幀内預測110）中實現。對於另一個示例，所提出的方法可以在解碼器的幀內編碼模塊（例如第1B圖中的幀内預測150）中實現。

第4圖示出了根據本發明實施例的利用交叉顏色線性模型的示例性視頻編碼系統的流程圖。流程圖中所示的步驟可以實現為在編碼器側的一個或多個處理器(例如，一個或多個CPU)上可執行的程序代碼。流程圖中所示的步驟也可以基於硬件來實現，例如一個或多個電子設備或處理器，這些電子設備或處理器被佈置為執行流程圖中的步驟。根據該方法，在步驟410中接收用於在編碼器側被編碼或與在解碼器側被解碼的當前第一顏色塊相關聯的當前第一顏色塊的輸入資料。在一些實施例中，輸入資料包括要在編碼器側編碼的當前第一顏色塊的像素資料或與要在解碼器側解碼的當前第一顏色塊相關聯的預測殘差資料。在步驟420中確定第一顏色預測模型的模型參數，其中第一顏色預測模型根據與對應的第二顏色塊相關聯的至少兩個對應的重構第二顏色像素值的組合來提供預測的第一顏色像素值；根據與當前第一顏色塊相關聯的同位第二顏色塊的相鄰重建第二顏色像素和當前第一顏色塊的相鄰重建第一顏色像素確定模型參數。在步驟430中確定當前第一顏色塊的第一顏色預測子，其中通過將第一顏色預測模型應用於與所述每個第一顏色像素對應的重建的第二顏色像素，來為當前第一顏色塊的每個第一顏色像素生成一個第一顏色預測值。然後在步驟440中使用第一顏色預測子在編碼器側對輸入資料進行編碼或在解碼器側對其進行解碼。

第5圖示出了根據本發明實施例的利用交叉顏色線性模型的示例性視頻編碼系統的流程圖。根據該方法，在步驟510中接收用於在編碼器側被編碼或與在解碼器側被解碼的當前第一顏色塊相關聯的當前第一顏色塊的輸入資料。在一些實施例中，輸入資料包括要在編碼器側編碼的當前第一顏色塊的像素資料或與要在解碼器側解碼的當前第一顏色塊相關聯的預測殘差資料。在步驟520中確定第一顏色預測模型的模型參數，其中第一顏色預測模型基於關聯的一個或多個對應的第二顏色塊的重構第二顏色像素值的二階模型或更高階模型提供預測的第一顏色像素值，並且基於與當前第一顏色塊相關聯的同位第二顏色塊的相鄰重構第二顏色像素和當前第一顏色塊的相鄰重構第一顏色像素來確定模型參數。在步驟530中確定當前第一顏色塊的第一顏色預測值，其中通過將第一顏色預測模型應用到與所述每個第一顏色像素相關聯的重構第二顏色像素為當前第一顏色塊的每個第一顏色像素生成一個第一顏色預測值。然後在步驟540中使用第一顏色預測子在編碼器側對輸入資料進行編碼或在解碼器側對其進行解碼。

所示流程圖旨在說明根據本發明的視頻編碼的示例。本領域技術人員在不脫離本發明的精神的情況下，可以修改每個步驟、重新排列步驟、拆分步驟或組合步驟來實施本發明。在本公開中，已經使用特定的句法和語義來說明示例以實現本發明的實施例。技術人員可以通過用等效的句法和語義代替句法和語義來實踐本發明，而不背離本發明的精神。

呈現以上描述是為了使本領域普通技術人員能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於本領域技術人員來說將是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。因此，本發明不旨在限於所示和描述的特定實施例，而是要符合與本文公開的原理和新穎特徵相一致的最寬範圍。在以上詳細描述中，說明了各種具體細節以便提供對本發明的透徹理解。然而，本領域的技術人員將理解，可以實踐本發明。

如上所述的本發明的實施例可以以各種硬件、軟件代碼或兩者的組合來實現。例如，本發明的一個實施例可以是集成到視頻壓縮芯片中的一個或多個電路電路或集成到視頻壓縮軟件中以執行本文描述的處理的程序代碼。本發明的實施例還可以是要在數字信號處理器(DSP)上執行以執行這裡描述的處理的程序代碼。本發明還可以涉及由計算機處理器、數字信號處理器、微處理器或現場可編程門陣列(FPGA)執行的許多功能。這些處理器可以被配置為通過執行定義本發明所體現的特定方法的機器可讀軟件代碼或固件代碼來執行根據本發明的特定任務。軟件代碼或固件代碼可以以不同的編程語言和不同的格式或樣式開發。軟件代碼也可以針對不同的目標平台進行編譯。然而，軟件代碼的不同代碼格式、風格和語言以及配置代碼以執行根據本發明的任務的其他方式將不脫離本發明的精神和範圍。

本發明可以在不背離其精神或基本特徵的情況下以其他特定形式體現。所描述的示例在所有方面都僅被認為是說明性的而不是限制性的。因此，本發明的範圍由所附權利要求而不是由前述描述指示。在權利要求的等效含義和範圍內的所有變化都應包含在其範圍內。

110:幀內預測 112:幀間預測 114:開關 116:加法器 118:變換(T) 120:量化(Q) 122:熵編碼器 124:反量化（IQ） 126:反變換（IT） 128:重建(REC) 134:圖像緩衝器 130:環路濾波器 136:預測資料 140:熵解碼器 150:幀內預測 152:運動補償（MC） 210:色度塊 220:亮度塊 410-440、510-540:步驟

第1A圖圖示了結合循環處理的示例性自適應幀間/幀內視頻編碼系統。 第1B圖圖示了第1A圖中的編碼器的對應解碼器。 第2圖顯示了 W × H 色度塊的相對樣本位置，對應的 2W × 2H 亮度塊及其“type-0”內容的相鄰樣本（顯示為實心圓圈和三角形）。 第3圖示出了亮度樣本y0和y2之間的色度樣本位置ch的示例，涉及的亮度樣本用y0、y1、y2和y3標記。 第4圖圖示了根據本發明實施例的利用交叉顏色線性模型的示例性視頻編碼系統的流程圖，其中至少兩個對應的重構亮度像素值用於確定色度預測子。 第5圖圖示了根據本發明實施例的利用交叉顏色線性模型的示例性視頻編碼系統的流程圖，其中一個或多個對應的重構亮度像素值的二階或更高階模型用於確定色度預測子。

410-440:步驟

Claims (18)

1. 一種跨色預測方法，該方法包括： 在編碼器側接收當前待編碼的第一顏色塊的輸入資料或在解碼器側與當前待解碼的第一顏色塊相關聯的輸入資料； 確定第一顏色預測模型的模型參數，其中第一顏色預測模型根據與對應第二顏色塊相關聯的至少兩個對應的重構第二顏色像素值的組合，提供預測的第一顏色像素值；其中，模型參數是基於與當前第一顏色塊相關聯的同位第二顏色塊的相鄰重構第二顏色像素和當前第一顏色塊的相鄰重構第一顏色像素確定的； 確定當前第一顏色塊的第一顏色預測子，其中通過將第一顏色預測模型應用於與所述每個第一顏色像素相關聯的重構第二顏色像素，為當前第一顏色塊的每個第一顏色像素生成一個第一顏色預測值；和 使用編碼器側的第一顏色預測子對輸入資料進行編碼或使用解碼器側的第一顏色預測子對輸入資料進行解碼。
2. 如請求項1所述的方法，其中所述至少兩個對應的重構第二顏色像素值對應於M×N重構第二顏色樣本，並且其中M和N是正整數並且M×N大於或等於2。
3. 如請求項2所述的方法，其中M等於3並且N等於2。
4. 如請求項2所述的方法，其中M等於2並且N等於2。
5. 如請求項1所述的方法，其特徵在於，所述預測的第一顏色像素值是根據所述至少兩個對應的重構第二顏色像素值的線性組合來提供的。
6. 如請求項1所述的方法，其特徵在於，所述預測的第一顏色像素值是使用包括對所述至少兩個對應的重構第二顏色像素值的非線性運算的運算來提供的。
7. 如請求項6所述的方法，其特徵在於，所述非線性運算包括裁剪、最小值、最大值或其組合。
8. 如請求項1所述的方法，其中最終預測的第一顏色像素值是作為所述預測的第一顏色像素值和第二預測的第一顏色像素值的融合而生成的，並且其中所述第二預測的第一顏色像素值是使用當前第一顏色塊的正常幀內模式生成的。
9. 如請求項1所述的方法，其中，當同位的第二顏色塊與當前的第一顏色塊具有不同的採樣率時，多相位濾波器用於生成所述至少兩個對應的重構第二顏色像素值。
10. 如請求項9所述的方法，其中，所述多相位濾波器對應於預定義的多個函數或公式。
11. 如請求項10所述的方法，其中，所述預定義的多個函數或公式的選擇是在不同的編碼級別確定的。
12. 如請求項1所述的方法，其中，所述當前第一顏色塊對應於色度塊並且對應的第二顏色塊對應於亮度塊。
13. 如請求項1所述的方法，其中，所述相鄰的重構的第二顏色像素來自所述同位的第二顏色塊的一條或多條頂部相鄰線和/或一條或多條左側相鄰線，並且所述相鄰的重構第一顏色像素是來自當前第一顏色塊的一個或多個頂隊列和/或一個或多個左測隊列。
14. 一種用於交叉顏色預測的設備，該設備包括一個或多個電子設備或處理器，用於： 在編碼器側接收當前待編碼的第一顏色塊的輸入資料或在解碼器側與待解碼的當前第一顏色塊相關聯的輸入資料； 確定第一顏色預測模型的模型參數，其中第一顏色預測模型根據與對應第二顏色塊相關聯的至少兩個對應的重構的第二顏色像素值的組合，提供預測的第一顏色像素值；其中，模型參數是基於與當前第一顏色塊相關聯的同位第二顏色塊的相鄰重構第二顏色像素和當前第一顏色塊的相鄰重構第一顏色像素確定的； 確定當前第一顏色塊的第一顏色預測子，其中通過將第一顏色預測模型應用於與所述每個第一顏色像素對應的重構第二顏色像素，為當前第一顏色塊的每個第一顏色像素生成一個第一顏色預測值；和 使用編碼器側的第一顏色預測子對輸入資料進行編碼或使用解碼器側的第一顏色預測子對輸入資料進行解碼。
15. 一種交叉顏色預測方法，該方法包括： 在編碼器側接收當前待編碼的第一顏色塊的輸入資料或在解碼器側與當前待解碼的第一顏色塊相關聯的輸入資料； 確定用於第一顏色預測模型的模型參數，其中第一顏色預測模型基於與對應的第二顏色塊相關聯的一個或多個對應的重構第二顏色像素值的二階模型或更高階模型，提供預測的第一顏色像素值；其中，模型參數是基於與當前第一顏色塊相關聯的同位第二顏色塊的相鄰重構第二顏色像素和當前第一顏色塊的相鄰重構第一顏色像素確定的； 確定當前第一顏色塊的第一顏色預測子，其中通過將第一顏色預測模型應用與所述每個第一顏色像素對應的重構第二顏色像素，為當前第一顏色塊的每個第一顏色像素生成一個第一顏色預測值；以及 使用編碼器側的第一顏色預測子對輸入資料進行編碼或使用解碼器側的第一顏色預測子對輸入資料進行解碼。
16. 如請求項15所述的方法，其中，所提供的所述預測的第一顏色像素值對應於一個對應的重構第二顏色像素值的第二度模型。
17. 如請求項15所述的方法，其中，所述當前第一顏色塊對應於色度塊，並且所述對應的第二顏色塊對應於亮度塊。
18. 一種用於交叉顏色預測的裝置，該裝置包括一個或多個電子設備或處理器，用於： 在編碼器側接收當前待編碼的第一顏色塊的輸入資料或在解碼器側接收與待解碼的當前第一顏色塊相關聯的輸入資料； 確定用於第一顏色預測模型的模型參數，其中第一顏色預測模型基於與對應的第二顏色塊相關聯的一個或多個對應的重建第二顏色像素值的二階模型或更高階模型提供預測的第一顏色像素值；其中，模型參數是基於與當前第一顏色塊相關聯的同位第二顏色塊的相鄰重構第二顏色像素和當前第一顏色塊的相鄰重構第一顏色像素確定的； 確定當前第一顏色塊的第一顏色預測子，其中通過將第一顏色預測模型應用於與所述每一個第一顏色像素對應的重構第二顏色像素，為當前第一顏色塊的每個第一顏色像素生成一個第一顏色預測值； 和 使用編碼器側的第一顏色預測子對輸入資料進行編碼或使用解碼器側的第一顏色預測子對輸入資料進行解碼。