TWI826079B - 視訊編解碼方法及裝置 - Google Patents

Abstract

一種使用色度預測的視訊編解碼系統被提供。該系統接收像素塊的資料，該像素塊將被編碼或解碼為視訊的當前圖片的當前塊。系統基於與當前塊相鄰的亮度和色度樣本構建色度預測模型。該系統發送與色度預測相關的一組語法元素和色度預測模型的細化。系統藉由將色度預測模型應用於當前塊的重構亮度樣本進行色度預測，得到當前塊的預測色度樣本。系統使用預測色度樣本來重構當前塊的色度樣本或對當前塊進行編碼。

Description

視訊編解碼方法及裝置

本公開總體上涉及視訊編解碼。具體地，本公開涉及發送色度預測的參數的方法。

除非本文另有說明，否則本節中描述的方法不是下面列出的申請專利範圍的現有技術，以及不被包含在本節中而被承認為現有技術。

高效視訊編解碼（High-Efficiency Video Coding，簡稱HEVC）是由視訊編解碼聯合協作小組（Joint Collaborative Team on Video Coding，簡稱JCT-VC）開發的國際視訊編解碼標準。HEVC基於基於混合塊的運動補償類DCT變換編解碼架構。壓縮的基本單元，被稱為編解碼單元（Coding unit，簡稱CU），是2Nx2N的正方形區塊，每個CU可以被遞迴地分成四個較小的CU，直到達到預定的最小尺寸。每個CU包含一個或多個預測單元（prediction unit，簡稱PU）。

多功能視訊編解碼（Versatile Video Coding，簡稱VVC）是一種編解碼器，旨在滿足視訊會議、OTT（over-the-top）串流媒體、行動電話等方面的未來需求。VVC解決了從低解析度和低位元速率到高解析度和高位元速率、高動態範圍（high dynamic range，簡稱HDR）、360全向（omnidirectional）等。VVC支援YCbCr 顏色空間，取樣速率為4:2:0，每個分量10位元，YCbCr/RGB 4:4:4和YCbCr 4:2:2，位元深度高達每個分量16位元，具有HDR和廣色域顏色，以及用於透明度、深度等的輔助通道。

以下概述僅是說明性的並且不旨在以任何方式進行限制。即，以下概述被提供以介紹本文所述的新穎且非顯而易見的技術的概念、亮點、益處和優點。選擇而不是所有的實施方式在下面的詳細描述中被進一步描述。因此，以下概述並非旨在識別所要求保護的主題的基本特徵，也不旨在用於確定所要求保護的主題的範圍。

本公開的一些實施例提供了一種使用色度預測的視訊編解碼系統。該系統接收像素塊，該像素塊將被編碼或解碼為視訊的當前圖片的當前塊。系統基於與當前塊相鄰的亮度和色度樣本構建色度預測模型。該系統發送與色度預測相關的一組語法元素和色度預測模型的細化。系統藉由將色度預測模型應用於當前塊的重構亮度樣本進行色度預測，得到當前塊的預測色度樣本。系統使用預測的色度樣本來重構當前塊的色度樣本或對當前塊進行編碼。

在一些實施例中，當當前塊大於或等於閾值大小時或當前塊小於閾值大小時，不同的發送方法被用來發送與色度預測相關的一組語法元素。色度預測模型根據與色度預測相關的該組語法元素的集合來構建。在一些實施例中，色度預測模型具有一組模型參數，其包括縮放參數和偏移參數。

在一些實施例中，與色度預測相關的一組語法元素可以選擇涉及與當前塊相鄰的不同區域的多個不同色度預測模式（例如，LM-T/LM-L/LM-LT）中的一個，以及色度預測模型根據選擇的色度預測模式構建。候選列表可以基於由不同色度預測模式獲得的色度預測的比較來重新排序，該候選列表包括多個不同色度預測模式。

在一些實施例中，基於當前塊的亮度幀內角度資訊，多個色度預測模式之一被選擇作為選定色度預測模式。在一些實施例中，基於當前塊的預測色度樣本與當前塊的相鄰區域（例如，L形）的重構色度樣本之間的不連續性測量，多個色度預測模式之一被選擇作為選定色度預測模式。在一些實施例中，基於相鄰塊的分割資訊，多個色度預測模式之一被選擇作為選定色度預測模式。在一些實施例中，基於當前塊的大小、寬度或高度，多個色度預測模式之一被選擇作為選定色度預測模式。在一些實施例中，根據不同色度預測模式構建的色度預測模型被用來對當前塊的不同子區域進行色度預測。

在一些實施例中，從當前塊的相鄰亮度和色度樣本導出的色度預測模型被進一步細化。色度預測模型的細化可以包括對縮放參數（Δ a）的調整和對偏移參數（Δ b）的調整。發送的細化還可以包括對至少一個色度分量的縮放參數的調整的符號。

在一些實施例中，發送的細化包括對縮放參數的調整，但不包括對每個色度分量的偏移參數的調整。發送的細化可以包括適用於兩個色度分量的縮放參數的一種調整，而每個色度分量的偏移參數在視訊解碼器處被隱式地調整。在一些實施例中，發送的細化包括對第一色度分量的模型參數（ a和 b）的調整，但不包括對第二色度分量的模型參數的調整。

在一些實施例中，發送的細化僅適用於當前塊的子區域，其中縮放和偏移參數的單獨細化被編解碼和被發送用於當前塊的不同區域。在一些實施例中，色度預測模型是多個色度預測模型之一，該多個色度預測模型被應用於當前塊的重構亮度樣本以獲得當前塊的預測色度樣本，以及發送的細化包括對多個色度預測模型的模型參數的調整。

在以下詳細描述中，藉由示例的方式闡述了許多具體細節，以便提供對相關教導的透徹理解。基於本文描述的教導的任何變化、衍生和/或擴展都在本公開的保護範圍內。在一些情況下，與在此公開的一個或多個示例實施方式有關的眾所周知的方法、處理、組件和/或電路可以在相對較高的水平上進行描述而沒有細節，以避免不必要地模糊本公開的教導的方面。

一、交叉分量線性模型（ Cross Component Linear Model ，簡稱 CCLM ）

交叉分量線性模型（Cross Component Linear Model，簡稱CCLM）或線性模型（Linear Model，簡稱LM）模式是色度預測模式，其中塊的色度分量藉由線性模型從同位的重構亮度樣本（collocated reconstructed luma sample）預測。線性模型的參數（例如，縮放和偏移）從與塊相鄰的已經重構的亮度和色度樣本中導出。例如，在VVC中，CCLM模式利用通道間依賴關係從重構的亮度樣本中預測色度樣本。該預測使用以下形式的線性模型進行： 等式（1）

等式（1）中的 P（ i, j）表示CU中的預測色度樣本（或當前CU的預測色度樣本），以及 表示同一CU的重構亮度樣本（或當前CU的對應的重構亮度樣本）在非4:4:4顏色格式的情況下被下採樣。模型參數a（縮放參數）和 b（偏移參數）基於在編碼器和解碼器端重構的相鄰亮度和色度樣本導出，而無需顯式發送（即隱式地導出）。

來自等式（1）的模型參數a和b基於在編碼器和解碼器端重構的相鄰亮度和色度樣本導出，以避免信令開銷。在一些實施例中，線性最小均方誤差（linear minimum mean square error，簡稱LMMSE）估計器被用來導出模型參數 a和 b。在一些實施例中，CCLM模型參數推導中僅涉及部分相鄰樣本（例如，僅四個相鄰樣本）以降低計算複雜度。

第1圖概念性地示出使用重構的相鄰亮度和色度樣本來計算色度預測模型參數。該圖示出CU 100，其具有相鄰區域（例如，在頂部和左側的相鄰CU中）110和120。相鄰區域具有已經重構的色度（Cr/Cb）和亮度（Y）樣本。

一些對應的重構亮度和色度樣本被用來構建色度預測模型130。色度預測模型130包括分別用於兩個色度分量Cr和Cb的兩個線性模型131和132。 每個線性模型131和132都有它自己的一組模型參數a（縮放）和b（偏移）。線性模型131和132可以應用於CU 100的亮度樣本以產生CU 100的預測色度樣本（Cr和Cb分量）。

VVC對CU指定三種CCLM模式：CCLM_LT、CCLM_L和CCLM_T。這三種模式在用於模型參數推導的參考樣本的位置方面有所不同。對於CCLM_T模式，來自頂部邊界（例如，相鄰區域110）的亮度和色度樣本被用於計算參數a和b。對於CCLM_L模式，來自左側邊界（例如，相鄰區域120的樣本被使用。對於CCLM_LT模式，來自頂部和左側邊界的樣本被使用（CU的頂部邊界和左側邊界相鄰區域統稱為CU的L相鄰，因為頂部邊界和左側邊界一起形成與CU相鄰的L形區域）。

CCLM模式的預測處理包括三個步驟：1）對亮度塊及其相鄰重構樣本進行下採樣以匹配對應色度塊的大小（例如，對於非4:4:4顏色格式的情況），2）基於重構的相鄰樣本推導模型參數，3）應用模型等式（1）來生成預測色度樣本（或色度幀內預測樣本）。對於亮度分量的下採樣，為了匹配4:2:0或4:2:2顏色格式視訊序列的色度樣本位置，兩種類型的下採樣濾波器可被用於亮度樣本，這兩種濾波器在水平和垂直方向上具有2比1的下取樣速率。這兩種濾波器 f1和 f2分別對應“type-0”和“type-2”4:2:0 色度格式內容。具體來說， , （2）

基於SPS級標誌資訊，二維6抽頭或5抽頭濾波器被應用於當前塊內的亮度樣本及其相鄰亮度樣本。如果當前塊的頂部行是CTU邊界，則會發生異常。在這種情況下，一維濾波器[1, 2, 1]/4被應用於上述相鄰亮度樣本，以避免在CTU邊界上方使用多於一條亮度線。

第2圖示出MxN色度塊、對應的2Mx2N亮度塊及其相鄰樣本的相對樣本位置。該圖顯示了“type-0”內容的相應色度和亮度樣本的位置。圖中，CCLM_LT模式下使用的四個樣本使用三角形來標記。它們位於頂部邊界的M/4 和M•3/4位置，以及左側邊界的N/4和N•3/4位置。對於CCLM_T和CCLM_L模式（圖中未顯示），上下邊界被擴展為（M+N）個樣本大小，用於模型參數推導的四個樣本位於位置（M+N）/8、（M+N）•3/8、（M+N）•5/8 和（M+N）•7/8。

一旦用於CCLM模型參數推導的樣本被選擇，四個比較操作被用來確定或識別其中兩個最小和兩個最大的亮度樣本值。令 X _l 表示兩個最大亮度樣本值的平均值，令 X _s 表示兩個最小亮度樣本值的平均值。類似地，令 Y _l 和 Y _s 表示相應色度樣本值的平均值。然後，根據以下等式獲得線性模型參數a和b: , （3）

在等式（3）中，計算縮放參數 a的除法運算藉由查閱資料表來實現。在一些實施例中，為了減少存儲該表所需的記憶體，差值（即最大值和最小值之間的差值）和參數a以指數符號表示。具體而言，差值由4位元（即，包含16個元素）來近似有效部分和指數。這有利於降低計算的複雜性和減少存儲表所需的記憶體大小。

二、發送色度預測模型參數

在一些實施例中，用於色度預測的線性模型（例如， a、 b）的所有參數在編碼器和解碼器兩者處被定義和導出。在一些實施例中，至少一些參數可以顯示地發送至解碼器。例如，所有參數可以在編碼器處被定義，然後所有參數或其中一些參數被發送至解碼器，而其他參數在解碼器處被定義。

在一些實施例中，編碼器可以計算模型參數 a和/或 b的預測差值（也被稱為細化）以及將細化（Δ a和/或Δ b）發送至解碼器，導致更精確或更準確的模型參數（例如，色度預測值）。參數 a（和/或 b）的這種預測差值或細化可以被定義為“從當前塊導出的 a”和“從相鄰樣本導出的 a”之間的差值。第3A-B圖概念性地示出了用於細化CU 300的色度預測模型參數的資料流程。

第3A圖示出，當對CU 300進行編碼時，編碼器使用CU 300的相鄰區域305（例如，沿著頂部和/或左側邊界）中的重構亮度和色度樣本來生成（藉由使用線性模型生成器310）第一色度預測模型，該模型中每個色度分量Cr/Cb具有參數 a和 b。CU 300本身的輸入亮度和色度樣本用於生成（藉由使用線性模型生成器320）第二細化色度預測模型，該模型中每個色度分量Cr/Cb的具有參數 a'和 b'。視訊編碼器計算它們的差值，以生成每個色度分量的細化Δ a和Δ b，它們將被發送至解碼器。

第3B圖示出了，當對CU 300進行解碼時，解碼器使用CU 300的相鄰區域中的重構亮度和色度樣本來生成（藉由使用線性模型生成器330）相同的第一色度預測模型，該模型中每個色度分量Cr/Cb具有參數 a和 b。解碼器接收模型參數Δ a和Δ b的細化，以及將它們添加到參數 a和 b第一模型，以重新創建其中每個色度分量具有參數 a'和 b'的細化色度預測模型。然後，解碼器藉由將模型參數 a'和 b'應用於CU 300的重構亮度樣本以重新創建每個色度分量Cr/Cb的樣本（例如，藉由生成色度預測以及添加色度預測殘差），使用細化模型來執行CU 300的色度預測（在色度預測器340處）。

在一些實施例中，僅縮放參數 a（即，Δ a）的細化被發送至解碼器，而偏移參數 b（有或沒有細化）在解碼器處導出。在一些實施例中，對色度（Cb和Cr）分量中的一個或兩個發送 a和 b兩者的細化。在一些實施例中，僅對兩個色度分量（Cr和Cb）發送縮放參數 a的一個細化，以及對每個色度分量單獨隱式地定義偏移參數 b（有或沒有細化）。在一些實施例中，參數 a的細化的額外符號（正/負）被編解碼用於色度（Cb/Cr）分量中的一個或兩個（例如，在對兩個色度分量的符號進行上下文編解碼時需要至多2個二進制數位（bin））。

在一些實施例中，縮放和偏移（ a和 b）的單獨細化可被編解碼用於CU的不同子區域，或者縮放和偏移的細化僅適用於CU的一個或一些子區域，而CU的其他子區域不細化縮放和偏移參數（即，僅使用從相鄰或邊界區域導出的 a和 b）。在一些實施例中，當更高（階）模型（例如，具有比等式（1）更高階的多項式）或多個模型（例如，多個不同的線性模型或多項式）被用來執行色度預測時，此類細化也被發送用於額外的參數，使得細化可以包括對多於兩個參數的調整（除了參數 a和 b之外至少一個參數）。在一些實施例中，帶偏移（band offset）（而不是縮放參數 a的增量或差值）被發送。

三、發送色度預測模式

在一些實施例中，CCLM相關的語法，例如用於在不同CCLM模式 （LM-T/LM-L/LM-LT）中選擇的標誌，根據當前CU和/或其相鄰的特徵被發送或隱式地推導。

例如，在一些實施例中，CCLM相關語法重新排序基於CU大小來執行，使得大CU的CCLM相關語法具有不同於小CU的發送方法。執行CCLM相關語法的重新排序是因為假設CCLM色度預測對大CU比對小CU有更多好處。因此，為了提高CCLM的編解碼增益，對於大CU，CCLM語法被移到前面，而對於小 CU，CCLM語法移到更後面或不改變。

在一些實施例中，CCLM語法對於大CU（例如，如果CU的寬度和高度都≥64）與小CU不同。換言之，不同的發送方法被用於大CU的CCLM模式。因此，例如，如果CU大於閾值大小，則在特定的非CCLM參數或語法元素被發送之前，CCLM相關語法（例如，啟用CCLM、色度預測模型的選擇或模型參數細化）被發送用於CU；相反，如果CU小於閾值大小，則在特定非CCLM參數或語法元素被發送之後，CCLM相關語法被發送。

在一些實施例中，存在以下候選模式用於色度預測：Planar、Ver、Hor、DC、DM、LM-L、LM-T、LM-LT。在一些實施例中，用於色度預測的候選模式列表根據CCLM資訊被重新排序（或候選模式被分配重新排序的索引）。在一些實施例中，在對列表中的色度預測候選模式重新排序期間，亮度L-相鄰和/或色度L-相鄰和/或亮度重構塊資訊被使用。這種重新排序有助於節省傳輸索引位元所需的位元以及提高編解碼增益。例如，在一些實施例中，將藉由CCLM模式獲得的色度預測與藉由其他色度預測模式獲得的（當前CU的）色度預測進行比較。然後色度預測模式的候選列表基於這種比較的結果進行重新排序，以及提供更好預測的模式被移動到色度預測候選列表的前面（例如，類似於合併候選重新排序）。例如，如果CU的亮度重構是“平坦的”，則DC模式可以移動到色度預測候選列表的前面（即，分配對應於候選列表前面的索引）。

在一些實施例中，存在發送到用於CCLM的解碼器的指示符，該指示符標識在編碼器處選擇了LM-L、LM-T、LM-LT模式中的哪一個。在一些實施例中，為了節省用於識別所選模式的比特，LM-L、LM-T、LM-LT標誌在解碼器處隱式地導出。

在一些實施例中，CU在預測和L形之間的色度L形不連續性用於在用於大CU的LM-L/LM-T/LM-LT模式中進行選擇。這也減少了要發送的資訊量。色度L形不連續性測量當前預測（即當前塊或CU內的預測色度樣本）和相鄰重構（例如，一個或多個相鄰塊或CU內的重構色度樣本）之間的不連續性。L形不連續測量包括頂部邊界匹配和/或左側邊界匹配。

第4圖示出在用於確定CU 400的L形不連續性的邊界匹配中涉及的樣本。在圖中，CU 400中的預測樣本被標記為“Pred”以及與CU 400相鄰的重構樣本被標記為“Reco”。頂部邊界匹配是指當前頂部預測樣本（例如，0,0；1,0；2,0；3,0）與相鄰頂部重構樣本（例如，0,-1；1,-1；2,-1；3,-1）之間的比較。左側邊界匹配是指當前左預測樣本（例如，0,0；0,1；0,2；0,3）與相鄰的左重構樣本（例如，-1,0；-1,1；-1,2；-1,3）之間的比較。

在一些實施例中，最初使用所有三種CCLM模式（LM-L、LM-T、LM-LT）獲得預測色度。將每個CCLM模式的預測色度樣本與邊界處的L形（L相鄰）處的色度樣本進行比較，以檢查L形不連續性。提供具有最小不連續性的色度預測的模式在解碼器處被選擇。在一些實施例中，如果色度預測導致大於閾值的不連續性，則色度預測被丟棄。

在一些實施例中，LM-L模式或LM-T模式基於亮度幀內角度資訊隱式地選擇。在一些實施例中，當CU為幀內編解碼以及幀內編解碼的角度被發送或被隱式地發送時，亮度幀內角度資訊可用於選擇CCLM模式。在一些實施例中，如果亮度幀內預測角度方向是從左上角到左下角（表明頂部相鄰樣本比左邊相鄰樣本是更好的預測子），則LM-T模式被隱式地選擇。在一些實施例中，如果亮度幀內預測角度方向是從左下角到右上角（表明左側相鄰樣本是比頂部相鄰樣本更好的預測子），則LM-L模式被隱式地選擇。

在一些實施例中，解碼器基於相鄰分割資訊選擇LM-L、LM-T和LM-LT模式之一（藉由例如設置或定義標誌）。例如，在一些實施例中，如果左側相鄰CU被分割/分割成小的CU，則編解碼幀在該區域中可能具有更多細節以及解碼器可以丟棄LM-L模式。作為另一示例，在一些實施例中，如果在CU一側的相鄰樣本屬於同一CU，則認為該側更可靠，因此指代該側的相應CCLM模式（如果是頂側則為LM-T，或者如果是左側則為LM -L）被選中。

觀察到對於一些大CU，將所有相鄰樣本用於CCLM處理並不是最優的。因此，在一些實施例中，視訊解碼器僅使用相鄰樣本的子集來導出CCLM模型參數（ a和 b）。在一些實施例中，對於大CU，相鄰樣本被劃分為多個部分，以及將被用於相應CCLM模式（LM-L/LM-T/LM-LT）的多個部分被隱式地決定。在一些實施例中，對於大CU，不同的CCLM模型被計算以及被用於CU的不同部分的色度預測，該CU的不同部分使用不同部分的相鄰樣本。例如，對於CU的左上部分，LM-LT模式被使用（以構建色度預測模型）。對於CU的右上部分，LM-T模式被使用等。在一些實施例中，對於寬度遠大於高度（W＞＞H）的CU，對於CU的左側部分，LM-LT模式被使用，對於CU的右側部分，LM-T模式被使用。

第5A-C圖示出對使用CCLM模式的大CU 500將相鄰樣本劃分為多個部分。對於CU 500的不同部分，相鄰樣本的不同部分用於（計算其模型參數）不同的CCLM模式。第5A圖示出相鄰樣本的部分510，部分510用於計算LM-L模式的模型參數並用於CU 500的底部501的色度預測。第5B圖示出相鄰樣本（L形區域）的部分520，部分520用於計算LM-LT模式的模型參數並用於CU 500的左上部分502的色度預測。第5C圖示出相鄰樣本的部分530，部分530用於計算LM-T模式的模型參數並用於CU 500的右上部分503的色度預測。

在一些實施例中，LM模式的數量被隱式地減少。在一些實施例中，藉由分析LM模式的模型參數，三種（LM-T/LM-L/LM-LT）中的一種LM模式被去除。在一些實施例中，如果一種LM模式的模型參數與其他兩種LM模式的模型參數非常不同，則該“離群”LM模式被丟棄並且不考慮該CU。在這種情況下，丟棄的LM模式的信令開銷可被減少。在一些實施例中，三種LM模式中的（至少）一種總是被丟棄。

在一些實施例中，用於色度預測的多個色度預測模型（基於不同的CCLM模式LM-T/LM-L/LM-LT）被定義用於同一CU，以及在預測當前CU的每個最終樣本時，加權混合被應用於由不同CCLM模式的模型獲得的所有色度預測。在一些實施例中，混合權重基於樣本與CU的邊界/左上點之間的距離來確定。 在一些實施例中，對於更接近CU左側邊界的樣本，LM-L模式的模型的權重會更高；以及如果樣本更接近CU的頂部邊界，則LM-LT模式的模型或LM-T模式的模型的權重會更高。

在一些實施例中，類似於樣本適應性偏移（sample adaptive offset，簡稱SAO）或適應性環路濾波器（adaptive loop filter，簡稱ALF），CU的每個樣本/塊被分類為不同的類別，以及不同的LM模型被應用於不同類別的樣本/塊（例如，用於色度預測）。在一些實施例中，樣本的分類基於樣本與CU的邊界/左上點的距離來執行。

在一些實施例中，LM模型選擇基於邊界匹配條件（例如，成本）或邊界平滑條件來執行。具體而言，將藉由每個模型（例如，LM-L/T/LT模式）獲得的內部預測（例如，CU或CU的一部分的色度預測）與L形邊界像素中的樣本進行比較。在一些實施例中，提供最接近邊界L形中的樣本的內部色度預測的線性模型被選擇。在一些實施例中，藉由將LM模型預測的色度樣本（內部預測）與頂部和/或左側邊界中的樣本進行匹配，每個LM模型的邊界平滑條件被確定。根據邊界平滑條件，提供最佳預測的LM模型被選擇以及被用於預測色度樣本。在一些實施例中，LM模式的邊界匹配成本或邊界平滑度條件是指內部色度預測與對應的緊接地相鄰的色度重構（例如，一個或多個相鄰塊內的重構樣本）之間的差異測量。差值測量可以基於頂部邊界匹配和/或左側邊界匹配。基於頂部邊界匹配的差值測量是當前塊頂部的內部預測樣本與與當前塊頂部相鄰的相應相鄰重構樣本之間的差值（例如，SAD）。基於左側邊界匹配的差值測量是當前塊左側的內部預測樣本與當前塊左側相鄰的相應相鄰重構樣本之間的差值（例如，SAD）。

在一些實施例中，CU被劃分為子CU以及CCLM被分別應用於每個子CU。基於子CU的CCLM可能有助於提高色度預測的準確性，因為對於大CU，從邊界像素到一些內部像素的距離可能太大。在一些實施例中，CCLM被用於第一子CU，該第一子CU使用左側邊界和來自僅與該子CU而不與其他子CU相鄰的頂部邊界部分的元素。對於第二子CU，僅與該子CU相鄰的左側邊界和部分頂部邊界的元素被用來定義CCLM模型參數，以及定義的模型僅應用於該子CU。

第6圖概念性地示出基於CU的邊界的各個子CU的色度預測。該圖示出具有子CU 610、620、630、640的CU 600。CU具有左側邊界602和頂部邊界604，其具有分別與子CU 610、620、630和640相鄰的四個部分612、622、632、642。左側邊界602和直接在子CU 610上方的頂部邊界部分612（以及沒有其他子CU）被用來導出LM模型，其用於預測子CU 610的色度的。左側邊界602和子CU 620正上方的頂部邊界部分622（而不是任一其他子CU）被用來導出LM模型，其用於預測子CU 620的色度。左側邊界602和頂部邊界部分子CU 630正上方的頂部邊界部分632被用來導出用LM模型，其用於預測子CU 630的色度。左側邊界602和子CU 640正上方的頂部邊界部分642被用來導出LM模型，其用於預測子CU 640的色度。

在一些實施例中，CCLM一個接一個地應用於每個子CU，以及用於確定LM模型參數的樣本取自相鄰子CU的先前重構的樣本。因此，對於每個下一個子CU元素，CU的左側（或頂部）邊界被左側（或頂部）相鄰子CU的先前重構樣本替換。

第7圖概念性地示出基於與先前重構的子CU的邊界的連續子CU的色度預測。該圖示出CU700，CU700被劃分為被連續編解碼和重構的子CU 710、720、730和740。CU 700具有左側邊界702和頂部邊界704，其具有分別與子CU 710、720、730和740相鄰的四個部分712、722、732、742。當對子CU 710執行色度預測時，左側邊界702和頂部邊界部分712被用來導出LM參數。

當對子CU 720執行色度預測時，代替左側邊界702，在子CU邊界718（在子CU 710中以及與子CU 720相鄰）處的重構樣本被用來導出LM參數。類似地，當對子CU 730執行色度預測時，代替左側邊界702，在子CU邊界728（在子CU 720中以及與子CU 730相鄰）處的重構樣本被用來導出LM參數。這可能會導致對CU進行編碼或解碼的順序延遲，因為對於每個子CU的重構需要重構CU中所有先前的子CU。

四、示例視訊編碼器

第8圖示出可以執行色度預測的示例視訊編碼器800。如圖所示，視訊編碼器800從視訊源805接收輸入視訊訊號以及將該信號編碼為位元流895。視訊編碼器800具有用於對來自視訊源805的訊號進行編碼的若干組件或模組，至少包括選自以下的一些組件：變換模組810、量化模組811、逆量化模組814、逆變換模組815、幀内估計模組820、幀内預測模組825、運動補償模組830、運動估計模組835、環路濾波器845、重構圖片緩衝器850、MV緩衝器865、MV預測模組875和熵編碼器890。運動補償模組830和運動估計模組835是幀間預測模組840的一部分。

在一些實施例中，模組810-890是由計算設備或電子設備的一個或多個處理單元（例如，處理器）執行的軟體指令模組。在一些實施例中，模組810-890是由電子設備的一個或多個積體電路（integrated circuit，簡稱IC）實現的硬體電路模組。儘管模組810-890被示為單獨的模組，但一些模組可以組合成單個模組。

視訊源805提供原始視訊訊號，其呈現每個視訊幀的像素資料而不進行壓縮。減法器808計算視訊源805的原始視訊像素資料與來自運動補償模組830或幀內預測模組825的預測像素資料813之間的差值。變換模組810將差值（或殘差像素資料或殘差訊號808）轉換成變換係數（例如，藉由執行離散余弦變換或DCT）。量化模組811將變換係數量化成量化資料（或量化係數）812，其由熵編碼器890編碼成位元流895。

逆量化模組814對量化資料（或量化係數）812進行去量化以獲得變換係數，以及逆變換模組815對變換係數執行逆變換以產生重構殘差819。重構殘差819被添加至預測的像素資料813來產生重構的像素資料817。在一些實施例中，重構的像素資料817被臨時存儲在行緩衝器（未示出）中用於幀內預測和空間MV預測。重構像素由環路濾波器845濾波以及存儲在重構圖片緩衝器850中。在一些實施例中，重構圖片緩衝器850是視訊編碼器800外部的記憶體。在一些實施例中，重構圖片緩衝器850是視訊編碼器800內部的記憶體。

幀內估計模組820基於重構的像素資料817執行幀內預測以產生幀內預測資料。幀內預測資料被提供至熵編碼器890以被編碼成位元流895。幀內預測資料還被幀內預測模組825用來產生預測像素資料813。

運動估計模組83藉由產生MV以參考存儲在重構圖片緩衝器850中的先前解碼幀的像素資料來執行幀間預測。這些MV被提供至運動補償模組830以產生預測像素資料。

視訊編碼器800不是對位元流中的完整實際MV進行編碼，而是使用MV預測來生成預測的MV，以及用於運動補償的MV與預測的MV之間的差值被編碼為殘差運動資料以及存儲在位元流895中。

基於為編碼先前視訊幀而生成的參考MV，即用於執行運動補償的運動補償MV，MV預測模組875生成預測的MV。MV預測模組875從MV緩衝器865中獲取來自先前視訊幀的參考MV。視訊編碼器800將對當前視訊幀生成的MV存儲在MV緩衝器865中作為用於生成預測MV的參考MV。

MV預測模組875使用參考MV來創建預測的MV。預測的MV可以藉由空間MV預測或時間MV預測來計算。預測的MV和當前幀的運動補償MV（MC MV）之間的差值（殘差運動資料）由熵編碼器890編碼到位元流895中。

熵編碼器890藉由使用諸如上下文適應性二進位算術編解碼（context-adaptive binary arithmetic coding，簡稱CABAC）或霍夫曼編碼的熵編解碼技術將各種參數和資料編碼到位元流895中。熵編碼器890將各種報頭元素、標誌連同量化的變換係數812和作為語法元素的殘差運動資料編碼到位元流895中。位元流895繼而被存儲在存放裝置中或藉由比如網路等通訊媒介傳輸到解碼器。

環路濾波器845對重構的像素資料817執行濾波或平滑操作以減少編解碼的偽影，特別是在像素塊的邊界處。在一些實施例中，所執行的濾波操作包括樣本適應性偏移（sample adaptive offset，簡稱SAO）。在一些實施例中，濾波操作包括適應性環路濾波器（adaptive loop filter，簡稱ALF）。

第9圖示出實現色度預測的視訊編碼器800的部分。如圖所示，視訊源805提供輸入的亮度和色度樣本，而重構圖片緩衝器850提供重構的亮度和色度樣本。輸入和重構的亮度和色度樣本由色度預測模組910處理，該模組使用對應的亮度樣本和色度樣本來生成預測的色度樣本912和對應的色度預測殘差訊號915。色度預測殘差訊號915被編碼（變換，幀間/幀内預測等）代替常規色度樣本。

色度預測模組910使用色度預測模型920來基於輸入的亮度樣本產生預測的色度樣本912。預測色度樣本912用於藉由減去輸入色度樣本來產生色度預測殘差915。色度預測模組910還基於從視訊源805和重構圖片緩衝器850接收的色度和亮度樣本生成色度預測模型920。上面的 部分一描述了使用重構相鄰的亮度和色度樣本來創建色度預測模型。色度預測模型920的參數（ a和 b）可以藉由調整參數（Δ a和/或Δ b）來細化。上面的第3A圖描述視訊編碼器，該視訊編碼器使用重構的亮度和色度樣本來創建第一色度預測模型以及使用輸入的亮度和色度樣本來創建第二、細化的色度預測模型。色度預測模型920的參數（ a和/或 b）和/或參數的細化（Δ a和/或Δ b）被提供至熵編碼器890。熵編碼器890又可以發送色度預測模型參數或細化至解碼器。色度預測模型參數的發送在上面的 部分二中被描述。

對於每個CU或CU的子分區，幾種不同色度預測模式（LM-T/LM-L/LM-LT）中的一種可被選擇作為構建色度預測模型920的基礎。用於CU或子CU的色度預測模式的資訊的選擇被提供至熵編碼器890以發送至解碼器。色度預測模式的選擇也可以基於CU的特性（例如亮度幀內角度資訊、L形不連續性、相鄰塊分割資訊或CU大小/寬度/高度資訊）的隱式選擇（未發送至解碼器）。熵編碼器890還可以基於CU的特性對與色度預測（CCLM）相關的語法進行重新排序。熵編碼器890還可以基於由不同色度預測模式獲得的色度預測的比較，對不同的色度預測模式重新排序（例如，藉由分配重新排序的索引），由色度預測模組910提供的這種比較的測量。與色度預測相關的語法的發送和重新排序在上面的 部分三中被描述。

第10圖概念性地示出處理1000，處理1000用於發送與色度預測相關的語法和參數以及執行色度預測。在一些實施例中，實現編碼器800的計算設備的一個或多個處理單元（例如，處理器）藉由執行存儲在電腦可讀介質中的指令來執行處理1000。在一些實施例中，實現編碼器800的電子設備執行處理1000。

編碼器接收（在塊1010）要編碼為視訊的當前圖片的當前塊的資料。編碼器（在塊1020）將與色度預測相關的一組語法元素發送至視訊解碼器。在一些實施例中，在當前塊大於或等於閾值大小以及當前塊小於閾值大小時，不同的發送方法被用來發送與色度預測相關的該組語法元素。

編碼器（在塊1030）基於與當前塊相鄰的亮度和色度樣本來構建色度預測模型。色度預測模型根據與色度預測相關的該組語法元素來構建。在一些實施例中，色度預測模型具有一組模型參數，包括縮放參數 a和偏移參數 b。

在一些實施例中，與色度預測相關的該組語法元素可以選擇多個不同色度預測模式（例如，LM-T/LM-L/LM-LT）中的一個，多個不同色度預測模式涉及與當前塊相鄰的不同區域，以及色度預測模型根據選擇的色度預測模式構建。基於由不同色度預測模式獲得的色度預測的比較，包括多個不同色度預測模式的候選列表被重新排序。

在一些實施例中，基於當前塊的亮度幀內角度資訊，多個色度預測模式之一被選擇作為選定色度預測模式。在一些實施例中，基於當前塊的預測色度樣本與當前塊的相鄰區域（例如，L形）的重構色度樣本之間的不連續性測量，多個色度預測模式之一被選擇作為選定色度預測模式。在一些實施例中，基於相鄰塊的分割資訊，多個色度預測模式之一被選擇作為選定色度預測模式。在一些實施例中，基於當前塊的大小、寬度或高度，多個色度預測模式之一被選擇作為選定色度預測模式。在一些實施例中，根據不同色度預測模式構建的色度預測模型用於對當前塊的不同子區域進行色度預測。

編碼器將色度預測模型的細化（在塊1040）發送至視訊解碼器。細化根據當前塊內的亮度和色度樣本確定。色度預測模型的細化可以包括對縮放參數（Δ a）的調整和對偏移參數（Δ b）的調整。發送的細化還可以包括對至少一個色度分量的縮放參數的調整的符號。

在一些實施例中，發送的細化包括對縮放參數的調整，但不包括對每個色度分量的偏移參數的調整。發送的細化可以包括適用於兩個色度分量的縮放參數的同一調整，而每個色度分量的偏移參數在視訊解碼器處被隱式地調整。在一些實施例中，發送的細化包括對第一色度分量的模型參數（ a和 b）的調整，但不包括對第二色度分量的模型參數的調整。

在一些實施例中，發送的細化僅適用於當前塊的子區域，縮放和偏移參數的單獨細化可被編解碼和發送用於當前塊的不同區域。在一些實施例中，色度預測模型是應用於當前塊的重構亮度樣本的多個色度預測模型之一，以獲得當前塊的預測色度樣本，以及發送的細化包括對多個色度預測模型的模型參數的調整。

編碼器藉由將色度預測模型應用於當前塊的重構亮度樣本來執行（在塊1050）色度預測以獲得當前塊的預測色度樣本。編碼器藉由使用預測的色度樣本來編碼（在塊1060）當前塊。在一些實施例中，預測色度樣本用於計算色度預測的殘差，以及色度預測殘差被變換和編碼為位元流或編碼視訊的一部分。

五、示例視訊解碼器

在一些實施例中，編碼器可以發送（或生成）位元流中的一個或多個語法元素，使得解碼器可以從位元流中解析該一個或多個語法元素。

第11圖示出可以執行色度預測的示例視訊解碼器1100。如圖所示，視訊解碼器1100是圖像解碼或視訊解碼電路，其接收位元流1195以及將位元流的內容解碼為視訊幀的像素資料以供顯示。視訊解碼器1100具有用於解碼位元流1195的若干組件或模組，包括選自以下的組件：逆量化模組1111、逆變換模組1110、幀内預測模組1125、運動補償模組1130、環路濾波器的1145、解碼圖片緩衝器1150、MV緩衝器1165、MV預測模組1175和解析器1190。運動補償模組1130是幀間預測模組1140的一部分。

在一些實施例中，模組1110-1190是由計算設備的一個或多個處理單元（例如，處理器）執行的軟體指令模組。在一些實施例中，模組1110-1190是由電子設備的一個或多個IC實現的硬體電路模組。儘管模組1110 – 1190被示為單獨的模組，但一些模組可以組合成單個模組。

根據由視訊編解碼或圖像編解碼標準定義的語法，解析器1190 （或熵解碼器）接收位元流1195以及執行初始解析。解析的語法元素包括各種頭部元素、標誌以及量化資料（或量化係數）1112。解析器1190藉由使用熵編解碼技術（例如上下文適應性二進位算術編解碼（context-adaptive binary arithmetic coding，簡稱CABAC）或霍夫曼編碼（Huffman encoding）。

逆量化模組1111對量化資料（或量化係數）1112進行去量化以獲得變換係數，以及逆變換模組1110對變換係數1116執行逆變換以產生重構的殘差訊號1119。重構的殘差訊號1119與來自幀內預測模組1125或運動補償模組1130的預測像素資料1113相加以產生解碼的像素資料1117。解碼像素資料由環路濾波器1145濾波並存儲在解碼圖片緩衝器1150中。在一些實施例中，解碼圖片緩衝器1150是視訊解碼器1100外部的記憶體。在一些實施例中，解碼圖片緩衝器1150是視訊解碼器1100內部的記憶體。

幀內預測模組1125從位元流1195接收幀內預測資料，以及據此，從存儲在解碼圖片緩衝器1150中的解碼的像素資料1117產生預測像素資料1113。在一些實施例中，解碼的像素資料1117也被存儲在線緩衝器（未示出）中，用於幀內預測和空間MV預測。

在一些實施例中，解碼圖片緩衝器1150的內容用於顯示。顯示裝置1155或者獲取解碼圖片緩衝器1150的內容用於直接顯示，或者獲取解碼圖片緩衝器的內容到顯示緩衝器。在一些實施例中，顯示裝置藉由像素傳輸從解碼圖片緩衝器1150接收像素值。

運動補償模組1130根據運動補償MV（MC MV）從解碼圖片緩衝器1150中存儲的解碼的像素資料1117產生預測像素資料1113。這些運動補償MV藉由將從位元流1195接收的殘差運動資料與從MV預測模組1175接收的預測MV相加來解碼。

基於為解碼先前視訊幀而生成的參考MV（例如，用於執行運動補償的運動補償MV），MV預測模組1175生成預測的MV。MV預測模組1175從MV緩衝器1165中獲取先前視訊幀的參考MV。視訊解碼器1100將為解碼當前視訊幀而生成的運動補償MV存儲在MV緩衝器1165中作為用於產生預測MV的參考MV。

環路濾波器1145對解碼的像素資料1117執行濾波或平滑操作以減少編碼的偽影，特別是在像素塊的邊界處。在一些實施例中，所執行的濾波操作包括樣本適應性偏移（sample adaptive offset，簡稱SAO）。在一些實施例中，濾波操作包括自適應性濾波器（adaptive loop filter，簡稱ALF）。

第12圖示出實現色度預測的視訊解碼器1100的部分。 如圖所示，解碼圖片緩衝器1150將解碼的亮度和色度樣本提供至色度預測模組1210，其藉由基於亮度樣本預測色度樣本來產生用於顯示或輸出的色度樣本。

色度預測模組1210接收解碼的像素資料1117，其包括重構的亮度樣本1225和色度預測殘差1215。色度預測模組1210使用色度預測模型1220來基於重構的亮度樣本產生預測的色度樣本1225。然後預測的色度樣本與色度預測殘差1215相加以產生重構的色度樣本1235。然後重構的色度樣本1235被存儲在解碼圖片緩衝器1150中以供顯示和參考。

色度預測模組1210基於重構的色度和亮度樣本構建色度預測模型1220。上面的 部分一描述了使用重構相鄰的亮度和色度樣本來創建色度預測模型。色度預測模型1220的參數（ a和 b）可以藉由調整參數（Δ a和/或Δ b）來細化。上面的第3B圖示出視訊解碼器，其使用重構的亮度和色度樣本來創建色度預測模型以及使用細化來調整色度預測模型的參數。模型參數（Δ a和/或Δ b）的細化由熵解碼器1190提供，熵解碼器1190可以藉由位元流1195從視訊編碼器接收細化。熵解碼器1190也可以隱式地導出參數之一（例如，偏移參數 b） 的細化或色度分量Cr/Cb之一的細化。色度預測模型參數的發送在上面的 部分二中描述。

對於每個CU或CU的子分區，多種不同的色度預測模式（LM-T/LM-L/LM-LT）中之一被選擇作為構建色度預測模型1220的基礎。CU或子CU的色度預測模式的選擇可以由熵解碼器1190提供。該選擇可以由視訊編碼器在位元流中顯式地發送。該選擇也可以是隱式的。例如，熵解碼器1190可以基於諸如亮度幀內角度資訊、L形不連續性、相鄰塊分割資訊或CU大小/寬度/高度資訊等CU的特性來推導色度預測模式的選擇。熵解碼器1190還可處理色度預測（chroma prediction，簡稱CCLM）相關語法，其基於CU的特性重新排序。熵解碼器1190還可以基於由不同色度預測模式獲得的色度預測的比較，對不同的色度預測模式重新排序（例如，藉由分配重新排序的索引），由色度預測模組1210提供的這種比較的測量。色度預測相關語法的發送和重新排序在上面的 部分三中描述。

第13圖概念性地示出用於接收色度預測相關語法和參數以及執行色度預測的處理1300。在一些實施例中，計算設備的一個或多個處理單元（例如，處理器）實現解碼器1100，其藉由執行存儲在電腦可讀介質中的指令來執行處理1300。在一些實施例中，實現解碼器1100的電子設備執行處理1300。

解碼器接收（在塊1310）要被解碼為視訊的當前圖片的當前塊的資料。解碼器接收（在塊1320）由視訊編碼器發送的與色度預測相關的一組語法元素。在一些實施例中，在當前塊大於或等於閾值大小以及當前塊小於閾值大小時，不同的發送方法被用來發送與與色度預測相關的該組語法元素。

解碼器基於與當前塊相鄰的亮度和色度樣本構建（在塊1330）色度預測模型。色度預測模型根據與色度預測相關的該組語法元素來構建。在一些實施例中，色度預測模型具有一組模型參數，包括縮放參數 a和偏移參數 b。

在一些實施例中，與色度預測相關的該組語法元素可以選擇多個不同色度預測模式（例如，LM-T/LM-L/LM-LT）中的一個，多個不同色度預測模式涉及與當前塊相鄰的不同區域，以及色度預測模型根據選擇的色度預測模式來構建。基於由不同色度預測模式獲得的色度預測的比較，包括多個不同色度預測模式的候選列表被重新排序。

在一些實施例中，基於當前塊的亮度幀內角度資訊，多個色度預測模式之一被選擇作為選定色度預測模式。在一些實施例中，基於當前塊的預測色度樣本與當前塊的相鄰區域（例如，L形）的重構色度樣本之間的不連續性測量，多個色度預測模式之一被選擇作為選定色度預測模式。在一些實施例中，基於相鄰塊的分割資訊，多個色度預測模式之一被選擇作為選定色度預測模式。在一些實施例中，基於當前塊的大小、寬度或高度，多個色度預測模式之一被選擇作為選定色度預測模式。在一些實施例中，根據不同色度預測模式構建的色度預測模型被用於對當前塊的不同子區域進行色度預測。

解碼器接收（在塊1340）向視訊解碼器發送的色度預測模型的細化。在一些實施例中，細化由編碼器根據當前塊內的亮度和色度樣本確定。色度預測模型的細化可以包括對縮放參數（Δ a）的調整和對偏移參數（Δ b）的調整。發送的細化還可以包括對至少一個色度分量的縮放參數的調整的符號。

在一些實施例中，發送的細化包括對縮放參數的調整，但不包括對每個色度分量的偏移參數的調整。發送的細化可以包括適用於兩個色度分量的縮放參數的同一調整，而每個色度分量的偏移參數在視訊解碼器處被隱式地調整。在一些實施例中，發送的細化包括對第一色度分量的模型參數（ a和 b）的調整，但不包括對第二色度分量的模型參數的調整。

在一些實施例中，發送的細化僅適用於當前塊的子區域，其中縮放和偏移參數的單獨細化可被編解碼和發送用於當前塊的不同區域。在一些實施例中，色度預測模型是應用於當前塊的重構亮度樣本多個色度預測模型之一，以獲得當前塊的預測色度樣本，以及發送的細化包括對多個色度預測模型的模型參數的調整。

解碼器藉由將色度預測模型應用於當前塊的重構亮度樣本來執行（在塊1350）色度預測以獲得當前塊的預測色度樣本。解碼器基於預測的色度樣本（例如藉由添加色度預測殘差）重構（在塊1360）當前塊的色度樣本。解碼器基於重構的亮度和色度樣本輸出（在塊1370）當前塊，用於顯示為重構的當前圖片的一部分。

六、 示例電子系统

許多上述特徵和應用被實現為軟體處理，這些軟體處理被指定為記錄在電腦可讀存儲介質（也稱為電腦可讀介質）上的一組指令。當這些指令由一個或多個計算或處理單元（例如，一個或多個處理器、處理器內核或其他處理單元）執行時，它們使處理單元執行指令中指示的動作。電腦可讀介質的示例包括但不限於唯讀光碟驅動器（compact disc read-only memory，簡稱CD-ROM）、快閃記憶體驅動器、隨機存取記憶體（random-access memroy，簡稱RAM）晶片、硬碟驅動器、可擦除可程式設計唯讀記憶體（erasable programmble read-only memory，簡稱EPROM）、電可擦除可程式設計唯讀記憶體 （electrically erasable proagrammble read-only memory，簡稱EEPROM）等。電腦可讀介質不包括藉由無線或有線連接傳遞的載波和電子訊號。

在本說明書中，術語“軟體”意在包括駐留在唯讀記憶體中的韌體或存儲在磁記憶體中的應用程式，其可以讀入記憶體以供處理器處理。此外，在一些實施例中，多個軟體發明可以實現為更大程式的子部分，同時保留不同的軟體發明。在一些實施例中，多個軟體發明也可以實現為單獨的程式。最後，共同實現此處描述的軟體發明的單獨程式的任一組合都在本公開的範圍內。在一些實施例中，軟體程式，在被安裝以在一個或多個電子系統上運行時，定義一個或多個特定機器實施方式，該實施方式處理和執行軟體程式的操作。

第14圖概念性地示出了實現本公開的一些實施例的電子系統1400。電子系統1400可以是電腦（例如，臺式電腦、個人電腦、平板電腦等）、電話、PDA或任一其他類型的電子設備。這種電子系統包括各種類型的電腦可讀介質和用於各種其他類型的電腦可讀介質的介面。電子系統1400包括匯流排1405、處理單元1410、圖形處理單元（graphics-processing unit，簡稱GPU）1415、系統記憶體1420、網路1425、唯讀記憶體1430、永久存放裝置1435、輸入設備1440 , 和輸出設備1445。

匯流排1405共同表示與電子系統1400通訊連接的眾多內部設備的所有系統、週邊設備和晶片組匯流排。例如，匯流排1405將處理單元1410與GPU 1415，唯讀記憶體1430、系統記憶體1420和永久存放裝置1435通訊地連接。

處理單元1410從這些各種記憶體單元中獲取要執行的指令和要處理的資料，以便執行本公開的處理。在不同的實施例中，處理單元可以是單個處理器或多核處理器。一些指令被傳遞到GPU 1415並由其執行。GPU 1415可以卸載各種計算或補充由處理單元1410提供的影像處理。

唯讀記憶體（read-only-memory，簡稱ROM）1430存儲由處理單元1410和電子系統的其他模組使用的靜態資料和指令。另一方面，永久存放設備1435是讀寫存放設備。該設備是即使在電子系統1400關閉時也存儲指令和資料的非易失性存儲單元。本公開的一些實施例使用大容量記憶裝置（例如磁片或光碟及其對應的磁碟機）作為永久存放裝置1435。

其他實施例使用卸除式存放裝置設備（例如軟碟、快閃記憶體設備等，及其對應的磁碟機）作為永久存放裝置。與永久存放裝置1435一樣，系統記憶體1420是讀寫記憶體設備。然而，與永久存放裝置1435不同，系統記憶體1420是易失性（volatile）讀寫記憶體，例如隨機存取記憶體。系統記憶體1420存儲處理器在運行時使用的一些指令和資料。在一些實施例中，根據本公開的處理被存儲在系統記憶體1420、永久存放裝置1435和/或唯讀記憶體1430中。例如，根據本公開的一些實施例，各種記憶體單元包括用於根據處理多媒體剪輯的指令。從這些各種記憶體單元中，處理單元1410獲取要執行的指令和要處理的資料，以便執行一些實施例的處理。

匯流排1405還連接到輸入設備1440和輸出設備1445。輸入設備1440使使用者能夠向電子系統傳達資訊和選擇命令。輸入設備1440包括字母數位鍵盤和定點設備（也被稱為“游標控制設備”）、照相機（例如，網路攝像頭）、麥克風或用於接收語音命令的類似設備等。輸出設備1445顯示由電子系統生成的圖像或者輸出資料。輸出設備1445包括印表機和顯示裝置，例如陰極射線管（cathode ray tubes，簡稱CRT）或液晶顯示器（liquid crystal display，簡稱LCD），以及揚聲器或類似的音訊輸出設備。一些實施例包括用作輸入和輸出設備的設備，例如觸控式螢幕。

最後，如第14圖所示，匯流排1405還藉由網路介面卡（未示出）將電子系統1400耦合到網路1425。以這種方式，電腦可以是電腦網路（例如局域網（“LAN”）、廣域網路（“WAN”）或內聯網的一部分，或者是多種網路的一個網路，例如互聯網。電子系統1400的任一或所有組件可以與本公開結合使用。

一些實施例包括電子組件，例如微處理器、存儲裝置和記憶體，其將電腦程式指令存儲在機器可讀或電腦可讀介質（或者被稱為電腦可讀存儲介質、機器可讀介質或機器可讀存儲介質）中。這種電腦可讀介質的一些示例包括RAM、ROM、唯讀光碟（read-only compact discs，簡稱CD-ROM）、可記錄光碟（recordable compact discs，簡稱CD-R）、可重寫光碟（rewritable compact discs，簡稱CD-RW）、唯讀數位多功能光碟（read-only digital versatile discs）（例如, DVD-ROM, 雙層DVD-ROM）, 各種可燒錄/可重寫DVD （例如, DVD-RAM, DVD-RW, DVD+RW等）, 快閃記憶體 （例如, SD卡, 迷你SD卡、微型SD卡等）、磁性和/或固態硬碟驅動器、唯讀和可記錄Blu-Ray®光碟、超密度光碟、任一其他光學或磁性介質以及軟碟。電腦可讀介質可以存儲可由至少一個處理單元執行以及包括用於執行各種操作的指令集合的電腦程式。電腦程式或電腦代碼的示例包括諸如由編譯器產生的機器代碼，以及包括由電腦、電子組件或使用注釋器（interpreter）的微處理器執行的高級代碼的文檔。

雖然上述討論主要涉及執行軟體的微處理器或多核處理器，但許多上述特徵和應用由一個或多個積體電路執行，例如專用積體電路（application specific integrated circuit，簡稱ASIC）或現場可程式設計閘陣列（field programmable gate array，簡稱FPGA）。在一些實施例中，這樣的積體電路執行存儲在電路本身上的指令。此外，一些實施例執行存儲在可程式設計邏輯器件（programmable logic device，簡稱PLD）、ROM或RAM器件中的軟體。

如在本說明書和本申請的任一申請專利範圍中使用的，術語“電腦”、“伺服器”、“處理器”和“記憶體”均指電子或其他技術設備。這些術語不包括人或人群。出於本說明書的目的，術語顯示或顯示是指在電子設備上顯示。如在本說明書和本申請的任何申請專利範圍中所使用的，術語“電腦可讀介質”、“電腦可讀介質”和“機器可讀介質”完全限於以電腦可讀形式存儲資訊的有形物理物件。這些術語不包括任何無線訊號、有線下載訊號和任何其他短暫訊號。

雖然已經參考許多具體細節描述了本公開，但是本領域之通常知識者將認識到，本公開可以以其他特定形式實施而不背離本公開的精神。此外，許多圖（包括第10圖和第13圖）概念性地說明了處理。這些處理的具體操作可能不會按照所示和描述的確切循序執行。具體操作可以不是在一個連續的一系列操作中執行，在不同的實施例中可以執行不同的具體操作。此外，該處理可以使用幾個子處理來實現，或者作為更大的宏處理的一部分來實現。因此，本領域之通常知識者將理解本公開不受前述說明性細節的限制，而是由所附申請專利範圍限定。 補充說明

本文所描述的主題有時表示不同的組件，其包含在或者連接到其他不同的組件。可以理解的是，所描述的結構僅是示例，實際上可以由許多其他結構來實施，以實現相同的功能，從概念上講，任何實現相同功能的組件的排列實際上是“相關聯的”，以便實現所需功能。因此，不論結構或中間部件，為實現特定的功能而組合的任何兩個組件被視爲“相互關聯”，以實現所需的功能。同樣，任何兩個相關聯的組件被看作是相互“可操作連接”或“可操作耦接”，以實現特定功能。能相互關聯的任何兩個組件也被視爲相互“可操作地耦接”，以實現特定功能。能相互關聯的任何兩個組件也被視爲相互“可操作地耦合”以實現特定功能。可操作連接的具體例子包括但不限於物理可配對和/或物理上相互作用的組件，和/或無線可交互和/或無線上相互作用的組件，和/或邏輯上相互作用和/或邏輯上可交互的組件。

此外，關於基本上任何複數和/或單數術語的使用，本領域之通常知識者可以根據上下文和/或應用從複數變換為單數和/或從單數到複數。為清楚起見，本發明明確闡述了不同的單數/複數排列。

此外，本領域之通常知識者可以理解，通常，本發明所使用的術語特別是申請專利範圍中的，如申請專利範圍的主題，通常用作“開放”術語，例如，“包括”應解釋為“包括但不限於”，“有”應理解為“至少有”“包括”應解釋為“包括但不限於”等。本領域之通常知識者可以進一步理解，若計畫介紹特定數量的申請專利範圍内容，將在申請專利範圍内明確表示，並且，在沒有這類内容時將不顯示。例如，為幫助理解，下面申請專利範圍可能包含短語“至少一個”和“一個或複數個”，以介紹申請專利範圍的内容。然而，這些短語的使用不應理解為暗示使用不定冠詞“一個”或“一種”介紹申請專利範圍内容，而限制了任何特定神專利範圍。甚至當相同的申請專利範圍包括介紹性短語“一個或複數個”或“至少有一個”，不定冠詞，例如“一個”或“一種”，則應被解釋為表示至少一個或者更多，對於用於介紹申請專利範圍的明確描述的使用而言，同樣成立。此外，即使明確引用特定數量的介紹性内容，本領域之通常知識者可以認識到，這樣的内容應被解釋為表示所引用的數量，例如，沒有其他修改的“兩個引用”，意味著至少兩個引用，或兩個或兩個以上的引用。此外，在使用類似於“A、B和C中的至少一個”的表述的情況下，通常如此表述是為了本領域之通常知識者可以理解該表述，例如，“系統包括A、B和C中的至少一個”將包括但不限於單獨具有A的系統，單獨具有B的系統，單獨具有C的系統，具有A和B的系統，具有A和C的系統，具有B和C的系統，和/或具有A、B和C的系統等。本領域之通常知識者進一步可理解，無論在説明書中，申請專利範圍中或者附圖中，由兩個或兩個以上的替代術語所表現的任何分隔的單詞和/或短語應理解為，包括這些術語中的一個，其中一個，或者這兩個術語的可能性。例如，“A或B”應理解為，“A”，或者“B”，或者“A和B”的可能性。

從前述可知，出於説明目的，本發明已描述了各種實施方案，並且在不偏離本發明的範圍和精神的情況下，可以進行各種變形。因此，此處所公開的各種實施方式不用於限制，真實的範圍和申請由申請專利範圍表示。

100:CU 110:相鄰CU 120:相鄰CU 130:色度預測模型 131:線性模型 132:線性模型 300:CU 305:相鄰區域 310:線性模型生成器 320:線性模型生成器 330:線性模型生成器 340:色度預測器 400:CU 500:CU 501:底部 502:左上部分 503:右上部分 510:部分 520:部分 600:CU 602:左側邊界 604:頂部邊界 610:子CU 612:頂部邊界部分 620:子CU 622:頂部邊界部分 630:子CU 632:頂部邊界部分 640:子CU 642:頂部邊界部分 700:CU 702:左側邊界 704:頂部邊界 710:子CU 712:頂部邊界部分 718:子CU邊界 720:子CU 722:相鄰部分 728:子CU邊界 730:子CU 732:相鄰部分 738:子CU邊界 740:子CU 742:相鄰部分 800:編碼器 805:視訊源 808:殘差訊號 810:變換模組 811:量化模組 812:量化係數 814:逆量化模組 815:逆變換模組 816:變化係數 817:重構的像素資料 819:重構殘差 820:幀內估計模組 825:幀內預測模組 830:運動補償模組 835:運動估計模組 840:幀間預測模組 845:環路濾波器 850:重構圖片緩衝器 865:MV緩衝器 875:MV預測模組 890:熵編碼器 895:位元流 910:色度預測模組 912:預測色度樣本 915:色度預測殘差 920:色度預測模型 1000:處理 1010、1020、1030、1040、1050、1060:步驟 1100:解碼器 1110:逆變換模組 1111:逆量化模組 1112:量化資料 1113:預測像素資料 1116:變換係數 1117:像素資料 1119:重構的殘差訊號 1125:幀內預測模組 1130:運動補償模組 1140:幀間預測模組 1145:環路濾波器 1150:解碼圖片緩衝器 1155:顯示裝置 1165:MV緩衝器 1175:MV預測模組 1190:熵解碼器 1195:位元流 1210:色度預測模組 1215:色度預測殘差 1220:色度預測模型 1225:預測的色度樣本 1235:重構的色度樣本 1300:處理 1310、1320、1330、1340、1350、1360、1370:步驟 1400:電子系統 1405:匯流排 1410:處理單元 1415:GPU 1420:系統記憶體 1425:網路 1430:唯讀記憶體 1435:永久存放裝置 1440:輸入設備 1445:輸出設備

附圖被包括以提供對本公開的進一步理解並且被併入並構成本公開的一部分。附圖說明了本公開的實施方式，並且與描述一起用於解釋本公開的原理。值得注意的是，附圖不一定是按比例繪製的，因為在實際實施中特定組件可能被顯示為與尺寸不成比例，以便清楚地說明本公開的概念。 第1圖概念性地示出了使用重構的相鄰亮度和色度樣本來計算色度預測模型參數。 第2圖顯示了M x N色度塊、相應的2M x 2N亮度塊及其相鄰樣本的相對樣本位置。 第3A-B圖概念性地示出用於細化編解碼單元的色度預測模型參數的資料流程。 第4圖示出涉及用於確定編解碼單元（coding unit，簡稱CU）的L形不連續性的邊界匹配的樣本。 第5A-C圖示出將相鄰樣本劃分為大CU的CCLM模式的多個部分。 第6圖概念性地示出基於CU邊界的各個子CU的色度預測。 第7圖概念性地示出基於與先前重構的子CU的邊界的連續子CU的色度預測。 第8圖示出可以執行色度預測的示例視訊編碼器。 第9圖示出實現色度預測的視訊編碼器部分。 第10圖概念性地示出用於發送與色度預測相關的語法和參數以及執行色度預測的處理。 第11圖示出可以執行色度預測的示例視訊解碼器。 第12圖示出實現色度預測的視訊解碼器部分。 第13圖概念性地示出用於接收與色度預測相關的語法和參數以及執行色度預測的處理。 第14圖概念性地示出實施本公開的一些實施例的電子系統。

1300:處理

1310、1320、1330、1340、1350、1360、1370:步驟

Claims (15)

1. 一種視訊編解碼方法，包括：接收一像素塊的資料，該像素塊將被編碼或解碼作為一視訊的一當前圖片的一當前塊；基於與該當前塊相鄰的多個亮度和色度樣本構建一色度預測模型，進一步包括發送與色度預測相關的一組語法元素或接收與色度預測相關的該組語法元素，其中該色度預測模型根據與色度預測相關的該組語法元素構建，與色度預測相關的該組語法元素選擇多個不同色度預測模式之一作為一選定色度預測模式，以及基於該當前塊的一大小、一寬度或一高度，或者基於該當前塊的一亮度幀內角度資訊，或者基於該當前塊的多個預測色度樣本與該當前塊的一相鄰區域的多個重構色度樣本之間的不連續性測量，或者基於一相鄰塊的一分割資訊，該等色度預測模式之一被選擇作為該選定色度預測模式；藉由將該色度預測模型應用於該當前塊的多個重構亮度樣本進行色度預測，以獲得該當前塊的多個預測色度樣本；以及使用該等預測色度樣本來重構該當前塊的多個色度樣本或對該當前塊進行編碼。
2. 如請求項1所述之視訊編解碼方法，進一步包括向發送該色度預測模型的一細化或接收該色度預測模型的該細化。
3. 如請求項2所述之視訊編解碼方法，其中，該色度預測模型具有多個模型參數，該等模型參數包括一縮放參數和一偏移參數，以及該色度預測模型的該細化包括對該縮放參數的一調整和對該偏移參數的一調整。
4. 如請求項2所述之視訊編解碼方法，其中，該色度預測模型具有一組模型參數，該組模型參數包括每個色度分量的一縮放參數和一偏移參數，其中發送的該細化包括對該縮放參數的多個調整，但不包括對每個色度分 量的該偏移參數的多個調整。
5. 如請求項4所述之視訊編解碼方法，其中，發送的該細化包括適用於兩個色度分量的該等縮放參數的一調整，其中每個色度分量的該偏移參數被隱式地調整。
6. 如請求項4所述之視訊編解碼方法，其中，該偏移參數源自調整後的該縮放參數。
7. 如請求項2所述之視訊編解碼方法，其中，該色度預測模型包括用於每個色度分量的多個模型參數，其中發送的該細化包括對一第一色度分量的該等模型參數的調整，而不包括對一第二色度分量的該等模型參數的調整。
8. 如請求項2所述之視訊編解碼方法，其中，該細化還包括對至少一個色度分量的該縮放參數的該調整的一符號。
9. 如請求項2所述之視訊編解碼方法，其中，該細化僅適用於該當前塊的一子區域，其中該縮放參數和該偏移參數的多個單獨細化被編解碼和發送用於該當前塊的多個不同區域。
10. 如請求項2所述之視訊編解碼方法，其中，該色度預測模型是多個色度預測模型之一，該等色度預測模型應用於該當前塊的該等重構亮度樣本以獲得該當前塊的該等預測色度樣本，其中該細化包括對該等色度預測模型的該等模型參數的調整。
11. 如請求項1所述之視訊編解碼方法，其中，當該當前塊大於或等於一閾值大小時以及該當前塊小於一閾值大小時，不同的方法被用來發送或接收與色度預測相關的該組語法元素。
12. 如請求項1所述之視訊編解碼方法，其中，該等不同色度預測模式涉及與該當前塊相鄰的多個不同區域，其中應用的該色度預測模型根據該選定色度預測模式構建。
13. 如請求項1所述之視訊編解碼方法，其中，包括該等色度預測模式的多個候選列表基於由多個不同色度預測模式獲得的該等色度預測的一比較而被重新排序。
14. 如請求項1所述之視訊編解碼方法，其中，根據多個不同色度預測模式構建的多個色度預測模型被用來對該當前塊的多個不同子區域進行色度預測。
15. 一種電子裝置，包括：一視訊編解碼電路，被配置為執行以下多個操作：接收一像素塊的資料，該像素塊將被編碼或解碼作為一視訊的一當前圖片的一當前塊；基於與該當前塊相鄰的多個亮度和色度樣本構建一色度預測模型，進一步包括發送與色度預測相關的一組語法元素或接收與色度預測相關的該組語法元素，其中該色度預測模型根據與色度預測相關的該組語法元素構建，與色度預測相關的該組語法元素選擇多個不同色度預測模式之一作為一選定色度預測模式，以及基於該當前塊的一大小、一寬度或一高度，或者基於該當前塊的一亮度幀內角度資訊，或者基於該當前塊的多個預測色度樣本與該當前塊的一相鄰區域的多個重構色度樣本之間的不連續性測量，或者基於一相鄰塊的一分割資訊，該等色度預測模式之一被選擇作為該選定色度預測模式；藉由將該色度預測模型應用於該當前塊的多個重構亮度樣本進行色度預測，以獲得該當前塊的多個預測色度樣本；以及使用該等預測色度樣本來重構該當前塊的多個色度樣本或對該當前塊進行編碼。

Images