TW202335499A - 多模型跨分量線性模型預測 - Google Patents

多模型跨分量線性模型預測 Download PDF

Info

Publication number
TW202335499A
TW202335499A TW111149211A TW111149211A TW202335499A TW 202335499 A TW202335499 A TW 202335499A TW 111149211 A TW111149211 A TW 111149211A TW 111149211 A TW111149211 A TW 111149211A TW 202335499 A TW202335499 A TW 202335499A
Authority
TW
Taiwan
Prior art keywords
current block
chroma
samples
prediction
model
Prior art date
Application number
TW111149211A
Other languages
English (en)
Inventor
蕭裕霖
歐萊娜 邱巴赫
陳俊嘉
蔡佳銘
江嫚書
徐志瑋
莊子德
陳慶曄
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202335499A publication Critical patent/TW202335499A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一種使用多個模型來預測色度樣本的視頻編解碼系統。視頻編解碼系統接收要被編碼或解碼為視頻的當前圖片的當前塊的像素塊的資料。系統基於與當前塊相鄰的亮度和色度樣本構建兩個或更多個色度預測模型。系統將兩個或更多個色度預測模型應用於當前塊的輸入或重構的亮度樣本以產生兩個或更多個模型預測。系統通過組合兩個或多個模型預測來計算預測的色度樣本。系統使用預測的色度樣本來重構當前塊的色度樣本或對當前塊進行編碼。

Description

多模型跨分量線性模型預測
本發明涉及視頻編解碼系統。特別地，本發明涉及跨分量線性模型(cross-component linear model)預測。
除非本文另有說明，否則本節中描述的方法不是下面列出的請求項的現有技術，並且不因包含在本節中而被承認為現有技術。
高效視頻編碼(HEVC)是由視頻編碼聯合協作小組(JCT-VC)開發的國際視頻編碼標準。HEVC基於混合的基於塊的運動補償類DCT變換編碼架構。壓縮的基本單元，稱為編碼單元(CU)，是一個2Nx2N的方形像素塊，每個CU可以遞歸地分成四個更小的CU，直到達到預定義的最小尺寸。每個CU包含一個或多個預測單元(PU)。
多功能視頻編碼(VVC)是一種編解碼器，旨在滿足視頻會議、OTT流媒體、移動電話等方面即將到來的需求。VVC旨在提供多種功能，滿足從低分辨率和低位元率到高分辨率和高位元率、高動態範圍(HDR)、360全向等的所有視頻需求。VVC支持具有4:2:0採樣、每個分量10位元、YCbCr/RGB 4:4:4和YCbCr 4:2:2的YCbCr色彩空間，每個分量的位元深度高達16位元，具有HDR和廣色域顏色，以及用於透明度、深度等的輔助通道。
以下概述僅是說明性的，並不旨在以任何方式進行限制。即，提供以下概述以介紹本文描述的新穎的和非顯而易見的技術的概念、亮點、好處和優勢。在下面的詳細描述中進一步描述了選擇的而不是所有的實施方式。因此，以下概述不旨在識別要求保護的主題的基本特徵，也不旨在用於確定要求保護的主題的範圍。
本公開的一些實施例提供了一種使用多個模型來預測色度樣本的視頻編解碼系統。視頻編解碼系統接收要被編碼或解碼為視頻的當前圖片的當前塊的像素塊的資料。系統基於與當前塊相鄰的亮度和色度樣本構建兩個或更多個色度預測模型。系統將兩個或更多個色度預測模型應用於當前塊的輸入或重構的亮度樣本以產生兩個或更多個模型預測。系統通過組合兩個或多個模型預測來計算預測的色度樣本。系統使用預測的色度樣本來重構當前塊的色度樣本或對當前塊進行編碼。
兩個或更多個色度預測模型可以包括基於當前塊上方的相鄰重構亮度樣本導出的LM-T模型、基於當前塊左側的相鄰重構亮度樣本導出的LM-L模型，以及基於當前塊上方和當前塊左側的相鄰重構亮度樣本導出的LM-LT模型。在一些實施例中，兩個或更多個色度預測模型包括多個LM-T模型和/或多個LM-L模型。
預測的色度樣本可以計算為兩個或多個模型預測的加權和。在一些實施例中，兩個或更多個模型預測中的每一個基於當前塊中的預測樣本（或當前樣本）的位置來加權。在一些實施例中，根據從預測樣本到當前塊的上邊界和左邊界的距離對兩個或更多個模型預測進行加權。在一些實施例中，根據對應的兩個或更多個權重因子對兩個或更多個模型預測進行加權。在一些實施例中，兩個或更多個模型預測中的每一個基於當前塊的邊界樣本和當前塊的重構相鄰樣本之間的相似性度量來加權。
在一些實施例中，可以通過不同的融合方法來計算當前塊的不同區域中的預測色度樣本。例如，對應的兩個或多個權重因子可以在當前塊的不同區域被賦予不同的值。當前塊的不同區域中的預測色度樣本可以由不同的線性模型集合來計算。
在一些實施例中，通過進一步組合當前塊的幀間預測或幀內預測與由兩個或更多個色度預測模型產生的兩個或更多個模型預測來計算預測的色度樣本。
在下面的詳細描述中，通過示例的方式闡述了許多具體細節，以便提供對相關教導的透徹理解。基於本文描述的教導的任何變化、派生和/或擴展都在本公開的保護範圍內。在一些情況下，可以在相對較高的水平上描述與本文公開的一個或多個示例實現有關的眾所周知的方法、處理、組件和/或電路而不詳細，以避免不必要地模糊本公開的教導的方面 . I. 跨分量線性模型（CCLM）
跨分量線性模型(Cross Component Linear Model，CCLM)或線性模型(Linear Model，LM)模式是一種色度預測模式，其中塊的色度分量是通過線性模型從並置的重構亮度樣本中預測的。線性模型的參數（例如，比例和偏移）源自與塊相鄰的已經重構的亮度和色度樣本。例如，在VVC中，CCLM模式利用通道間依賴性從重構的亮度樣本中預測色度樣本。該預測是使用以下形式的線性模型進行的： 等式(1)
等式(1)中的P(i,j)表示一個CU中的預測色度樣本（或當前CU的預測色度樣本）， 表示同一CU的下採樣重構亮度樣本（或當前CU對應的重構亮度樣本的CU）。
CCLM模型參數 （縮放參數）和 （偏移參數）是基於最多四個相鄰色度樣本及其對應的下採樣亮度樣本導出的。在LM_A模式（也稱為LM-T模式）中，僅使用上面或頂部相鄰的模板來計算線性模型係數。在LM_L模式（也稱為LM-L模式）下，只使用左模板計算線性模型係數。在LM-LA模式（也稱為LM-LT模式）中，左側和上方模板都用於計算線性模型係數。
假設當前色度塊維度為W×H，則W'和H'設置為 – 當應用 LM-LT 模式時，W' = W，H' = H； – 當應用 LM-T 模式時，W' = W + H； – 當應用 LM-L 模式時，H’ = H+W
上面的相鄰位置表示為S[ 0, −1 ]...S[ W' − 1, −1 ]，左邊的相鄰位置表示為S[ -1, 0 ]... S[ -1, H' - 1]。然後選擇四個樣本作為 – S[W' / 4, −1 ], S[ 3 * W' / 4, −1 ], S[ −1, H' / 4 ], S[ −1, 3 * H' / 4 ] 當應用LM模式（上方和左側相鄰樣本均可用）； – S[ W' / 8, -1 ], S[ 3 * W' / 8, -1 ], S[ 5 * W' / 8, -1 ], S[ 7 * W' / 8, -1 ] 當應用LM-T模式時（只有上相鄰樣本可用）； – S[ −1, H' / 8 ], S[ −1, 3 * H' / 8 ], S[ −1, 5 * H' / 8 ], S[ −1, 7 * H' / 8 ] 當應用 LM-L 模式時（只有左相鄰樣本可用）；
所選位置的四個相鄰亮度樣本被下採樣並比較四次以找到兩個較大的值：x 0 A和 x 1A，以及兩個較小的值：x 0B和x 1B。它們對應的色度樣本值表示為y 0A、y 1A、y 0B和y 1B。那麼X A、X B、Y A和Y B推導為： X a= (x 0A+ x 1A+1)＞＞1; X b=(x 0B+ x 1B+1)＞＞1;                 等式(2) Y a= (y 0A+ y 1A+1)＞＞1; Y b=(y 0B+ y 1B+1)＞＞1                       等式(3)
線性模型參數 和 根據以下等式獲得 等式(4) 等式(5)
第1圖顯示了CCLM模式涉及的左側和上方樣本以及當前塊的樣本的位置。換句話說，該圖顯示了用於導出 和 參數的樣本的位置。
可以通過查找表來實現根據等式(4)和(5)計算 和 參數的操作。在一些實施例中，為了減少儲存查找表所需的內存，diff值（最大值和最小值之間的差值）和參數 用指數表示法表示。例如，diff由一個4位元有效部分和一個指數來近似。因此，對於16個有效數字值，1/diff的表減少為16個元素，如下所示： DivTable [ ] = { 0, 7, 6, 5, 5, 4, 4, 3, 3, 2, 2, 1, 1, 1, 1, 0 } 等式(6)
這降低了計算的複雜性以及儲存所需表格所需的內存大小。
在一些實施例中，為了獲得用於計算CCLM模型參數 和 的更多樣本，將上述模板擴展為包含用於LM-T模式的(W+H)個樣本，將左側模板擴展為包含用於LM-L模式的(H+W)個樣本。對於LM-LT模式，擴展左模板和擴展上模板均用於計算線性模型係數。
為了匹配4:2:0視頻序列的色度樣本位置，將兩種類型的下採樣濾波器應用於亮度樣本以實現2:1水平和垂直方向的下採樣率。下採樣濾波器的選擇由序列參數集(SPS)級別標誌指定。兩個下採樣濾波器如下，分別對應“類型-0”和“類型-2”內容。 等式(7) 等式(8)
在一些實施例中，當上參考線在CTU邊界處時，僅使用一條亮度線(line)（幀內預測中的通用線緩衝器）來製作下採樣的亮度樣本。
在一些實施例中， 和 參數計算作為解碼處理的一部分執行，而不僅僅是作為編碼器搜索操作。因此，沒有語法用於將 和 值傳送給解碼器。
對於色度幀內模式編碼，總共允許8種幀內模式。這些模式包括五種傳統幀內模式和三種跨分量線性模型模式（LM_LA、LM_A和LM_L）。色度模式編碼直接依賴於相應亮度塊的幀內預測模式。色度（幀內）模式信令和相應的亮度幀內預測模式根據下表：
色度幀內預測模式 相應的亮度幀內預測模式
0 50 18 1 X (0 ≤ X ≤66)
0 66 0 0 0 0
1 50 66 50 50 50
2 18 18 66 18 18
3 1 1 1 66 1
4 0 50 18 1 X
5 81 81 81 81 81
6 82 82 82 82 82
7 83 83 83 83 83
由於在I切片中啟用了用於亮度和色度分量的單獨塊劃分結構，所以一個色度塊可以對應於多個亮度塊。因此，對於色度DM（**什麼是DM**）模式，直接繼承覆蓋當前色度塊中心位置的對應亮度塊的幀內預測模式。
根據下表，單個統一二值化表（映射到bin字符串）用於色度幀內預測模式：
色度幀內預測模式 Bin字符串
4 00
0 0100
1 0101
2 0110
3 0111
5 10
6 110
7 111
在表中，第一個bin表示它是常規(0)還是LM模式 (1)。如果是LM模式，則下一個bin表示是否為LM_色度(0)。 如果不是LM_色度，則下一個1 bin表示是LM_L（0）還是LM_A（1）。對於這種情況，當sps_cclm_enabled_flag為0時，可以在熵編碼之前丟棄相應intra_chroma_pred_mode的二值化表的第一個bin。或者，換句話說，第一個bin被推斷為 0，因此未被編碼。此單個二值化表用於sps_cclm_enabled_flag等於0和1的情況。表中的前兩個bin使用其自己的上下文模型進行上下文編碼，其餘bin進行旁路編碼。
此外，為了降低雙樹中的亮度-色度延遲，當64x64亮度編碼樹節點未分裂（且ISP未用於64x64 CU）或應用QT分區時，32x32/32x16色度編碼中的色度CU樹節點可以通過以下方式使用CCLM： • 如果32x32色度節點沒有被拆分或者QT拆分分區，那麼32x32節點中的所有色度CU都可以使用CCLM • 如果32x32色度節點採用水平BT劃分，32x16子節點不拆分或使用垂直BT拆分，則32x16色度節點中的所有色度CU都可以使用CCLM。 • 在所有其他亮度和色度編碼樹分裂條件下，CCLM不允許用於色度CU。 I. 多模型CCLM聯合預測
為了提高CCLM的編碼效率，本公開的一些實施例提供了一種應用多模型跨分量線性模型預測的方法，其具有針對跳過（Skip）、混合（Merge）、直接（Direct）、幀間（Inter）模式和/或IBC模式的預測組合。在一些實施例中，導出來自不同類型的CCLM的LM參數。色度預測是這些模型的預測組合，如下式所示：（n表示不同模型） 等式(9)
第2圖概念性地說明像素塊的多模型色度預測。如圖所示，等式(9)由多模型色度預測模塊205實現，其應用於當前塊200的亮度樣本210以生成預測色度樣本220。多模型色度預測模塊205包括線性模型231、232和233（模型1-3），每個線性模型都基於參數 和參數 。每個線性模型基於亮度樣本210生成其自己的模型預測（預測1-3）。不同模型231-233的模型預測分別由權重因子241-243（W1、W2、W3）加權並組合以產生預測的色度樣本220。在一些實施例中，使用兩個單獨的多模型色度預測模塊來產生Cr和Cb分量的色度預測樣本，每個色度分量具有它自己的線性模型集合。
在一些實施例中，來自三種類型的CCLM模式（LM-LT、LM-L、LM-T）的不同LM參數集（ 和 ）被導出並用作多模型色度預測的一部分。最終的色度預測是這三個模型的加權組合，如下式所示： 等式(10)
權重因子p、q、r分別為LM-LT模式預測、LM-L模式預測、LM-T模式預測的權重因子。第3圖概念性地說明了三種CCLM模式的色度預測線性模型的構造。具體地，該圖顯示了當前塊300上方的重構亮度樣本(Y-above)和當前塊300左側的重構亮度樣本(Y-left)用於構建三個線性模型331-333。線性模型331是從Y-above和Y-left導出的LM-LT模型。線性模型332是從Y-left導出的LM-L模型332。線性模型333是從Y-above導出的LM-T模型。線性模型331-333的輸出分別由權重因子p、q和r加權。
在一些實施例中，等式(10)中的權重值p、q和r對於塊中的不同樣本位置可以不同。例如，如果將一個塊拆分為4個區域，則根據以下內容，這4個不同區域中樣本位置的p、q和r值可能不同：
區域1: p=1/2, q=1/4, r=1/4 區域2: p=1/2, q=0, r=1/2
區域3: p=1/2, q=1/2, r=0 區域4: p=1, q=0, r=0
在一些實施例中，可以基於左邊界和/或上邊界是否可用來確定權重因子p、q和r。 例如，如果只有左邊界可用，則 p 和 r 設置為 0 或幾乎為 0。如果兩個（上方和左側）模板都可用，則 p、q 和 r 都設置為非零。
在一些實施例中，權重因子的值是基於到頂部（j）和左（i）邊界（從被預測的樣本）的距離來計算的。第4圖概念性地說明了當前塊400中的位置410到頂部和左側的距離j和i。距離i和j用於確定該位置410的權重因子p、q和r的值。在一些實施例中，權重因子的值可以計算為： 等式(11)
在一些實施例中，權重因子的值可以計算為： 等式(12)
H和W是當前塊的高度和寬度。A和B可以是常數值（例如，A=B=0.5）。A和B也可以是從H和W導出的參數，例如A=W/(W+H)和B=H/(W+H)；或A=H/(W+H)和B=W/(W+H)。通常，基於位置的權重因子可用於實現基於多個LM-T模型和/或多個LM-L模型的多模型色度預測。具體來說，組合色度預測是多個不同LM-T和LM-L模型輸出的加權和，每個線性模型根據預測樣本（或當前樣本）的位置（i和j）進行加權。
第5圖概念性地說明了具有多個LM-T和/或多個LM-L模型的多模型色度預測。如圖所示，多模型色度預測模塊500接收亮度樣本505並產生預測的色度樣本520。多個LM-L模型511、513、515和多個LM-T模型512、514、516基於亮度樣本505生成模型預測。每個線性模型511-516具有對應的權重因子521-526。權重因子的值可以基於預測樣本的位置通過類似於等式（11）、等式（12）、或另一個方程來確定。組合加權模型預測以產生預測色度樣本550。
在一些實施例中，不同的LM-T模型可以對應於不同的水平位置並且不同的LM-L模型可以對應於不同的垂直位置。第6A-B圖概念性地說明基於預測樣本的位置使用多個線性模型進行色度預測。如圖所示，當前塊600具有被劃分為區域Y-A、Y-B和Y-C的上方相鄰亮度樣本以及被劃分為區域Y-D、Y-E和Y-F的左相鄰亮度樣本。第6A圖說明了不同區域的亮度樣本被用來導出不同的線性模型。例如，與Y-A和Y-D對齊的位置的預測樣本可能使用從Y-A導出的LM-T模型，或從Y-D導出的LM-L模型，或從Y-A和Y-D導出的LM-LT模型；與Y-C和Y-E對齊的位置的預測樣本可以使用從Y-C導出的LM-T 模型，或從Y-E導出的LM-L模型，或從Y-C和Y-E導出的M-LT模型。這些不同的線性模型可以組合使用以產生預測的色度樣本，其中不同模型的預測輸出基於被預測的樣本的位置被差異地加權。
在一些實施例中，為了色度預測的目的，可以將當前塊劃分為多個區域，當前塊的不同區域各自具有其自己的組合不同模型的預測的方法。給定區域內的樣本將使用該區域的色度預測組合的方法。第6B圖概念性地說明使用不同的色度預測組合方法的當前塊600的不同區域。在示例中，當前塊的不同區域對LM-LT、LM-T和LM-L使用不同的權重因子集合（或P、Q和R）。因此，與Y-A和Y-D對齊的區域具有特定於(A,D)區域的P、Q和R權重因子，而與Y-C和Y-E對齊的區域具有特定於(C,E)區域的的P、Q和R權重因子。在一些實施例中，當前塊的一個區域的色度預測組合方法可以被配置為混合其他區域的線性模型的預測結果，或其他類型的預測結果（例如，幀間或幀內預測）。在一些其他實施例中(如第6C圖所示)，當前塊600具有劃分為區域Y-A、Y-B、Y-C和Y-D的上方相鄰亮度樣本，以及劃分為區域Y-E以及Y-F的左相鄰亮度樣本。第6C圖中的當前塊600的不同區域採用不同的色度預測組合方法。
在一些實施例中，導出多個不同的模型，並且根據頂部和左側CU邊界處的邊界樣本的相似性度量和/或一些預定義的權重來執行多個不同模型的混合。例如，如果當前塊上方的相鄰樣本與沿當前塊的頂部邊界的樣本之間存在低相似性度量，則來自LT-T模型的模型預測可以被較少地加權。
在一些實施例中，多模型預測是通過組合正常幀內模式和CCLM模式來計算的，其中不同的權重分配給每個模式的預測。例如，對於接近左邊界和/或上邊界的樣本，在多模型預測中可以為正常幀內模式預測分配更大的權重；否則，可以為CCLM模式預測分配更大的權重。在這些實施例中的一些中，分配給正常幀內模式預測和CCLM模式預測的權重是從亮度殘差幅度導出的。例如，如果亮度殘差幅度較小，則可以為正常幀內模式預測分配較大的權重；否則，可以為CCLM模式預測分配更大的權重。
在一些實施例中，通過組合正常幀間模式和CCLM模式的預測來計算多模型預測。在一些實施例中，分配給正常幀間模式預測和CCLM模式預測的權重是從亮度殘差幅度導出的。在一些實施例中，使用CCLM的預測細化導出並添加到色度預測。
前述提出的方法可以在編碼器和/或解碼器中實現。例如，所提出的方法可以在編碼器的幀間預測模塊和/或幀內塊複製預測模塊和/或解碼器的幀間預測模塊（和/或幀內塊複製預測模塊）中實現。 III. 示例視頻編碼器
第7圖說明可實施色度預測的實例視頻編碼器700。如圖所示，視頻編碼器700從視頻源705接收輸入視頻信號並將該信號編碼為位元流795。視頻編碼器700具有用於對來自視頻源705的信號進行編碼的若干組件或模塊，至少包括選自以下的一些組件：變換模塊710、量化模塊711、逆量化模塊714、逆變換模塊715、幀內估計模塊720、幀內預測模塊725、運動補償模塊730、運動估計模塊735、環路濾波器745、重構圖片緩衝器750、MV緩衝器765、MV預測模塊775和熵編碼器790。運動補償模塊730和運動估計模塊735是幀間預測模塊740的一部分。
在一些實施例中，模塊710-790是由計算設備或電子設備的一個或多個處理單元（例如，處理器）執行的軟體指令模塊。在一些實施例中，模塊710-790是由電子裝置的一個或多個集成電路(IC)實現的硬體電路模塊。儘管模塊710-790被示為單獨的模塊，但是一些模塊可以組合成單個模塊。
視頻源705提供未壓縮的原始視頻信號，其呈現每個視頻幀的像素資料。減法器70計算視頻源705的原始視頻像素資料與來自運動補償模塊730或幀內預測模塊725的預測像素資料713之間的差異。變換模塊710將差異（或殘差像素資料或殘差信號708)轉換成變換係數(例如，通過執行離散餘弦變換或DCT)。量化模塊711將變換係數量化為量化資料（或量化係數）712，其由熵編碼器790編碼為位元流795。
逆量化模塊714對量化資料(或量化係數)712進行逆量化以獲得變換係數，逆變換模塊715對變換係數進行逆變換以產生重構殘差719。重構殘差719與預測像素資料713相加以產生重構像素資料717。在一些實施例中，重構像素資料717被臨時儲存在行緩衝器（未示出）中用於幀内預測和空間MV預測。重構像素由環路濾波器745過濾並儲存在重構圖片緩衝器750中。在一些實施例中，重構圖片緩衝器750是視頻編碼器700外部的儲存器。在一些實施例中，重構圖片緩衝器750是視頻編碼器700內部的儲存器。
幀内估計模塊720基於重構像素資料717執行幀内預測以產生幀内預測資料。幀內預測資料被提供給熵編碼器790以被編碼成位元流795。幀內預測資料也被幀內預測模塊725用來產生預測像素資料713。
運動估計模塊735通過產生MV以參考儲存在重構圖片緩衝器750中的先前解碼幀的像素資料來執行幀間預測。這些MV被提供給運動補償模塊730以產生預測像素資料。
視頻編碼器700不是在位元流中編碼完整的實際MV，而是使用MV預測來生成預測MV，並且用於運動補償的MV與預測MV之間的差異被編碼為殘差運動資料並儲存在位元流795中。
MV預測模塊775基於為先前編碼視頻幀而生成的參考MV，即用於執行運動補償的運動補償MV，生成預測MV。MV預測模塊775從MV緩衝器765中檢索來自先前視頻幀的參考MV。視頻編碼器700將為當前視頻幀生成的MV儲存在MV緩衝器765中作為用於生成預測MV的參考MV。
MV預測模塊775使用參考MV來創建預測MV。預測MV可以通過空間MV預測或時間MV預測來計算。熵編碼器790將預測MV與當前幀的運動補償MV(MC MV)之間的差異(殘差運動資料)編碼到位元流795中。
熵編碼器790通過使用諸如上下文自適應二進制算術編碼（CABAC）或霍夫曼編碼的熵編碼技術將各種參數和資料編碼到位元流795中。熵編碼器790將各種報頭元素、標誌連同量化變換係數712和殘差運動資料作為語法元素編碼到位元流795中。位元流795又儲存在儲存設備中或通過網絡通信媒介，例如網絡，傳輸到解碼器。
環內濾波器745對重構的像素資料717執行濾波或平滑操作以減少編碼的偽像，特別是在像素塊的邊界處。在一些實施例中，執行的濾波操作包括樣本自適應偏移（SAO）。在一些實施例中，濾波操作包括自適應環路濾波器（ALF）。
第8圖解說了實現多模型色度預測的視頻編碼器700的部分。如圖所示，視頻源705提供輸入的亮度和色度樣本802和804，而重構圖片緩衝器750提供重構的亮度和色度樣本。輸入亮度樣本802用於生成預測色度樣本812。預測色度樣本812然後用於通過減去輸入色度樣本804來產生色度預測殘差815。色度預測殘差信號815被編碼（變換，幀間/幀內預測等）以代替常規色度樣本。
色度預測模塊810使用多個色度預測模型820以基於輸入亮度樣本802產生預測色度樣本812。多個色度預測模型820中的每一個輸出是基於輸入亮度樣本802的模型預測。不同的色度預測模型820由對應的權重因子830加權並求和以產生預測的色度樣本812。權重因子830的值可以隨著當前樣本在當前塊中的位置而變化。
色度預測模型820是基於從重構圖片緩衝器750檢索的重構色度和亮度樣本806導出的，特別是與當前塊的頂部和左邊界相鄰的重構亮度和色度樣本。在一些實施例中，色度預測模型820可以包括LM-L、LM-T和LM-LT線性模型。在一些實施例中，色度預測模型820可以包括多個LM-L模型和多個LM-T模型。
第9圖概念性地說明使用多模型色度預測來編碼像素塊的處理900。在一些實施例中，實現編碼器700的計算設備的一個或多個處理單元(例如，處理器)通過執行儲存在計算機可讀介質中的指令來執行處理900。在一些實施例中，實現編碼器700的電子設備執行處理900。
編碼器接收（在方框910處）要被編碼為視頻的當前圖片中的當前塊的像素塊的資料。
編碼器基於與當前塊相鄰的亮度和色度樣本構建（在框920）兩個或更多個色度預測模型。兩個或更多個色度預測模型可以包括基於當前塊上方的相鄰重構亮度樣本導出的LM-T模型、基於當前塊左側的相鄰重構亮度樣本導出的LM-L模型，以及基於當前塊上方和當前塊左側的相鄰重構亮度樣本導出的LM-LT模型。在一些實施例中，兩個或更多個色度預測模型包括多個LM-T模型和/或多個LM-L模型。
編碼器將兩個或更多個色度預測模型應用（在塊930）到當前塊的輸入亮度樣本以產生兩個或更多對應模型預測。
編碼器通過組合兩個或多個模型預測來計算（在框940）預測的色度樣本。預測的色度樣本可以計算為兩個或多個模型預測的加權和。在一些實施例中，兩個或更多個模型預測中的每一個基於當前塊中的預測樣本（或當前樣本）的位置來加權。在一些實施例中，根據從預測樣本到當前塊的上邊界和左邊界的距離對兩個或更多個模型預測進行加權。在一些實施例中，根據對應的兩個或更多個權重因子對兩個或更多個模型預測進行加權。在一些實施例中，兩個或更多個模型預測中的每一個基於當前塊的邊界樣本和當前塊的重構相鄰樣本之間的相似性度量來加權。
在一些實施例中，當前塊的不同區域中的預測色度樣本由不同的融合方法計算。例如，對應的兩個或多個權重因子可以在當前塊的不同區域被賦予不同的值。當前塊的不同區域中的預測色度樣本可以由不同的線性模型集合來計算。
在一些實施例中，通過進一步組合當前塊的幀間預測或幀內預測與由兩個或更多個色度預測模型產生的兩個或更多個模型預測來計算預測的色度樣本。
編碼器通過使用預測的色度樣本對當前塊進行編碼（在框950）。 具體而言，預測的色度樣本用於通過減去輸入的實際色度樣本來產生色度預測殘差。色度預測殘差信號被編碼（變換、幀間/幀內預測等）為位元流。 IV. 示例視頻解碼器
在一些實施例中，編碼器可以用信號通知（或生成）位元流中的一個或多個語法元素，使得解碼器可以從位元流中解析所述一個或多個語法元素。
第10圖說明可實施色度預測的實例視頻解碼器1000。如圖所示，視頻解碼器1000是圖像解碼或視頻解碼電路，其接收位元流1095並將位元流的內容解碼成視頻幀的像素資料以供顯示。視頻解碼器1000具有用於解碼位元流1095的若干組件或模塊，包括選自逆量化模塊1011、逆變換模塊1010、幀內預測模塊1025、運動補償模塊1030、環路濾波器1045的一些組件、解碼圖片緩衝器1050、MV緩衝器1065、MV預測模塊1075和解析器1090。運動補償模塊1030是幀間預測模塊1040的一部分。
在一些實施例中，模塊1010-1090是由計算設備的一個或多個處理單元（例如處理器）執行的軟體指令模塊。在一些實施例中，模塊1010-1090是由電子裝置的一個或多個IC實現的硬體電路模塊。儘管模塊1010-1090被示為單獨的模塊，但是一些模塊可以組合成單個模塊。
解析器1090（或熵解碼器）接收位元流1095並根據由視頻編碼或圖像編碼標准定義的語法執行初始解析。解析的語法元素包括各種頭部元素、標誌以及量化資料（或量化係數）1012。解析器1090通過以下方式解析出各種語法元素使用熵編碼技術，例如上下文自適應二進制算術編碼(CABAC)或霍夫曼編碼。
逆量化模塊1011對量化資料(或量化係數)1012進行逆量化得到變換係數，逆變換模塊1010對變換係數1016進行逆變換得到重構殘差信號1019。將重構殘差信號1019與來自幀內預測模塊1025或運動補償模塊1030的預測像素資料1013相加一起產生解碼像素資料1017。解碼像素資料由環內濾波器1045過濾並儲存在解碼圖片緩衝器1050中。如圖所示，在一些實施例中，解碼圖片緩衝器1050是視頻解碼器1000外部的儲存。在一些實施例中，解碼圖片緩衝器1050是視頻解碼器1000內部的儲存。
幀內預測模塊1025從位元流1095接收幀內預測資料，並據此從解碼圖片緩衝器1050中儲存的解碼像素資料1017中生成預測像素資料1013。在一些實施例中，解碼像素資料1017也是儲存在行緩衝器（未示出）中用於幀内預測和空間MV預測。
在一些實施例中，解碼圖片緩衝器1050的內容用於顯示。顯示設備1055或者檢索解碼圖片緩衝器1050的內容以直接顯示，或者檢索解碼圖片緩衝器的內容到顯示緩衝器。在一些實施例中，顯示設備通過像素傳輸從解碼圖片緩衝器1050接收像素值。
運動補償模塊1030根據運動補償MV(MC MV)從儲存在解碼圖片緩衝器1050中的解碼像素資料1017產生預測像素資料1013。通過將從位元流1095接收的殘差運動資料與從MV預測模塊1075接收的預測MV相加來解碼這些運動補償MV。
MV預測模塊1075基於為解碼先前視頻幀而生成的參考MV生成預測MV，例如，用於執行運動補償的運動補償MV。MV預測模塊1075從MV緩衝器1065中檢索先前視頻幀的參考MV。視頻解碼器1000將為解碼當前視頻幀而生成的運動補償MV儲存在MV緩衝器1065中作為用於產生預測MV的參考MV。
環內濾波器1045對解碼像素資料1017執行濾波或平滑操作以減少編碼偽像，特別是在像素塊的邊界處。在一些實施例中，執行的濾波操作包括樣本自適應偏移（SAO）。在一些實施例中，濾波操作包括自適應環路濾波器（ALF）。
第11圖說明實施多模型色度預測的視頻解碼器1000的部分。如圖所示，解碼圖片緩衝器1050將解碼亮度和色度樣本提供給色度預測模塊1110，色度預測模塊1110通過基於亮度樣本預測色度樣本來產生用於顯示或輸出的重構色度樣本1135。
色度預測模塊1110接收解碼像素資料1017，其包括重構亮度樣本1125和色度預測殘差1115。色度預測模塊1110使用重構亮度樣本1125產生預測色度樣本1112。然後混合預測色度樣本1112與色度預測殘差1115以產生重構的色度樣本1135。重構的色度樣本1135隨後被儲存在解碼圖片緩衝器1050中用於顯示以及供後續塊和圖片參考。
色度預測模塊1110使用多個色度預測模型1120以基於重構亮度樣本1125產生預測色度樣本1112。多個色度預測模型1120中的每一個基於重構亮度樣本1125輸出模型預測。不同的色度預測模型1120由對應的權重因子1130加權並求和以產生預測的色度樣本1112。權重因子1130的值可以隨著預測樣本（或當前樣本）在當前塊中的位置而變化。
多個色度預測模型1120源自從解碼圖片緩衝器1050檢索的解碼色度和亮度樣本1106，特別是與當前塊的頂部和左邊界相鄰的重構亮度和色度樣本。在一些實施例中，多個色度預測模型1120可以包括LM-L、LM-T和LM-LT線性模型。在一些實施例中，色度預測模型1120可以包括多個LM-L模型和多個LM-T模型。
第12圖概念性地說明用於使用多模型色度預測來解碼像素塊的處理1200。在一些實施例中，實現解碼器700的計算設備的一個或多個處理單元(例如，處理器)通過執行儲存在計算機可讀介質中的指令來執行處理1200。在一些實施例中，實現解碼器700的電子設備執行處理1200。
解碼器接收（在框1210）要解碼為視頻的當前圖片中的當前塊的像素塊的資料。
解碼器基於與當前塊相鄰的亮度和色度樣本來構造（在框1220）兩個或更多個色度預測模型。兩個或更多個色度預測模型可以包括基於當前塊上方的相鄰重構亮度樣本導出的LM-T模型、基於當前塊左側的相鄰重構亮度樣本導出的LM-L模型，和/或基於當前塊上方和當前塊左側的相鄰重構亮度樣本導出的LM-LT模型。在一些實施例中，兩個或更多個色度預測模型包括多個LM-T模型和/或多個LM-L模型。
解碼器將兩個或更多個色度預測模型應用（在框1230）到當前塊的重構亮度樣本以產生兩個或更多對應模型預測。
解碼器通過組合兩個或多個模型預測來計算（在塊1240）預測的色度樣本。 預測的色度樣本可以計算為兩個或多個模型預測的加權和。 在一些實施例中，兩個或更多個模型預測中的每一個基於預測樣本在當前塊中的位置被加權。在一些實施例中，根據從預測樣本到當前塊的上邊界和左邊界的距離對兩個或更多個模型預測進行加權。在一些實施例中，根據對應的兩個或更多個權重因子對兩個或更多個模型預測進行加權。在一些實施例中，兩個或更多個模型預測中的每一個基於當前塊的邊界樣本和當前塊的重構相鄰樣本之間的相似性度量來加權。
在一些實施例中，當前塊的不同區域中的預測色度樣本由不同的融合方法計算。例如，對應的兩個或多個權重因子可以在當前塊的不同區域被賦予不同的值。當前塊的不同區域中的預測色度樣本可以由不同的線性模型集合來計算。
在一些實施例中，通過進一步組合當前塊的幀間預測或幀內預測與由兩個或更多個色度預測模型產生的兩個或更多個模型預測來計算預測的色度樣本。
解碼器通過使用預測的色度樣本重構（在塊1250）當前塊。具體地，預測的色度樣本與色度預測殘差相加以產生重構的色度樣本。重構的色度樣本被提供用於顯示和/或儲存以供後續塊和圖片參考。 V. 示例電子系統
許多上述特徵和應用被實現為軟體處理，這些軟體處理被指定為記錄在計算機可讀儲存介質（也稱為計算機可讀介質）上的一組指令。當這些指令由一個或多個計算或處理單元（例如，一個或多個處理器、處理器核心或其他處理單元）執行時，它們會導致處理單元執行指令中指示的動作。計算機可讀介質的示例包括但不限於CD-ROM、閃存驅動器、隨機存取儲存器(RAM)芯片、硬盤驅動器、可擦除可編程只讀儲存器(EPROM)、電可擦除可編程只讀儲存器 (EEPROM)等。計算機可讀介質不包括無線或通過有線連接傳遞的載波和電子信號。
在本說明書中，術語“軟體”意味著包括駐留在只讀儲存器中的軔體或儲存在磁儲存器中的應用程序，其可以被讀入儲存器以供處理器處理。此外，在一些實施例中，多個軟體發明可以作為較大程序的子部分來實現，同時保留不同的軟體發明。在一些實施例中，多個軟體發明也可以被實現為單獨的程序。最後，一起實現這裡描述的軟體發明的單獨程序的任何組合都在本公開的範圍內。在一些實施例中，當軟體程序被安裝以在一個或多個電子系統上運行時，定義了一個或多個執行和執行軟體程序的操作的特定機器實現。
第13圖概念性地圖示了實現本公開的一些實施例的電子系統1300。電子系統1300可以是計算機(例如台式計算機、個人計算機、平板計算機等)、電話、PDA或任何其他種類的電子設備。這樣的電子系統包括各種類型的計算機可讀介質和用於各種其他類型的計算機可讀介質的接口。電子系統1300包括總線1305、處理單元1310、圖形處理單元(GPU)1315、系統儲存器1320、網絡1325、只讀儲存器1330、永久儲存設備1335、輸入設備1340和輸出設備1345。
總線1305共同表示通信連接電子系統1300的眾多內部設備的所有系統、外圍設備和芯片組總線。例如，總線1305通信連接處理單元1310和GPU1315，只讀儲存器1330、系統儲存器1320和永久儲存設備1335。
從這些不同的儲存器單元，處理單元1310檢索要執行的指令和要處理的資料以便執行本公開的處理。在不同的實施例中，處理單元可以是單處理器或多核處理器。一些指令被傳遞到GPU1315並由其執行。GPU1315可以卸載各種計算或補充由處理單元1310提供的圖像處理。
只讀儲存器(ROM)1330儲存由處理單元1310和電子系統的其他模塊使用的靜態資料和指令。另一方面，永久儲存設備1335是讀寫儲存設備。該設備是即使在電子系統1300關閉時也儲存指令和資料的非易失性儲存單元。本公開的一些實施例使用大容量儲存設備（例如磁盤或光盤及其相應的磁盤驅動器）作為永久儲存設備1335。
其他實施例使用可移動儲存設備(例如軟盤、閃存設備等及其對應的磁盤驅動器)作為永久儲存設備。與永久儲存設備1335一樣，系統儲存器1320是讀寫儲存設備。然而，與儲存設備1335不同，系統儲存器1320是易失性讀寫儲存器，例如隨機存取儲存器。系統儲存器1320儲存處理器在運行時使用的一些指令和資料。在一些實施例中，根據本公開的處理儲存在系統儲存器1320、永久儲存設備1335和/或只讀儲存器1330中。例如，各種儲存器單元包括用於處理多媒體剪輯的指令 與一些實施例。從這些不同的儲存器單元，處理單元1310檢索要執行的指令和要處理的資料以便執行一些實施例的處理。
總線1305還連接到輸入和輸出設備1340和1345。輸入設備1340使用戶能夠向電子系統傳送信息和選擇命令。輸入設備1340包括字母數字鍵盤和d指點設備（也稱為“光標控制設備”）、相機（例如，網絡攝像頭）、麥克風或用於接收語音命令的類似設備等。輸出設備1345顯示由電子系統生成的圖像或以其他方式輸出資料。輸出設備1345包括打印機和顯示設備，例如陰極射線管(CRT)或液晶顯示器(LCD)，以及揚聲器或類似的音頻輸出設備。一些實施例包括同時用作輸入和輸出設備的設備，例如觸摸屏。
最後，如第13圖所示，總線1305還通過網絡適配器(未示出)將電子系統1300耦合到網絡1325。以這種方式，計算機可以是計算機網絡的一部分，例如局域網（“LAN”）、廣域網（“WAN”）或內聯網，或網絡網絡。電子系統1300的任何或所有組件可以結合本公開使用。
一些實施例包括電子元件，例如微處理器、儲存器和儲存器，其將計算機程序指令儲存在機器可讀或計算機可讀介質（或者稱為計算機可讀儲存介質、機器可讀介質或機器可讀儲存介質）中。此類計算機可讀介質的一些示例包括RAM、ROM、只讀光盤 (CD-ROM)、可記錄光盤(CD-R)、可重寫光盤 (CD-RW)、只讀數字多功能光盤（例如DVD-ROM,雙層DVD-ROM),各種可刻錄/可重寫DVD(例如,DVD-RAM,DVD-RW,DVD+RW,等等), 閃存(例如,SD卡,mini-SD卡、微型SD 卡等）、磁性和/或固態硬盤驅動器、只讀和可刻錄Blu-Ray® 光盤、超密度光盤、任何其他光學或磁性介質以及軟盤。計算機可讀介質可以儲存可由至少一個處理單元執行並且包括用於執行各種操作的指令集的計算機程序。計算機程序或計算機代碼的示例包括機器代碼，例如由編譯器生成的機器代碼，以及包括由計算機、電子組件或使用解釋器的微處理器執行的高級代碼的文件。
雖然上述討論主要涉及執行軟體的微處理器或多核處理器，但上述許多功能和應用都是由一個或多個集成電路執行的，例如專用集成電路 (ASIC) 或現場可編程門陣列 ( FPGA）。在一些實施例中，這樣的集成電路執行儲存在電路本身上的指令。此外，一些實施例執行儲存在可編程邏輯設備(PLD)、ROM或RAM設備中的軟體。
如本說明書和本申請的任何請求項中所用，術語“計算機”、“服務器”、“處理器”和“儲存器”均指電子或其他技術設備。 這些術語不包括人或人群。出於說明書的目的，術語顯示或顯示表示在電子設備上顯示。如本說明書和本申請的任何請求項中所使用，術語“計算機可讀介質”、“計算機可讀介質”和“機器可讀介質”完全限於以可讀形式儲存信息的有形物理對象。這些術語不包括任何無線信號、有線下載信號和任何其他臨時信號。
儘管已經參考許多具體細節描述了本公開，但是本領域的普通技術人員將認識到，在不脫離本公開的精神的情況下，可以以其他具體形式來實施本公開。此外，多個附圖(包括第9圖和第12圖)概念性地說明了處理。這些處理的特定操作可能不會按照所示和描述的確切順序執行。具體操作可以不在一個連續的系列操作中執行，並且可以在不同的實施例中執行不同的具體操作。此外，該處理可以使用多個子處理或作為更大的宏處理的一部分來實現。因此，本領域的普通技術人員將理解本公開不受前述說明性細節的限制，而是由所附請求項限定。 補充筆記
此處描述的主題有時說明包含在不同的其他組件內或與不同的其他組件連接的不同組件。應當理解，這樣描繪的架構僅僅是示例，並且實際上可以實現實現相同功能的許多其他架構。從概念上講，實現相同功能的組件的任何佈置都被有效地“關聯”，從而實現了所需的功能。因此，本文中的任何兩個組件組合以實現無論架構或中間組件如何，都可以將特定功能視為彼此“關聯”，從而實現所需的功能。同樣，如此關聯的任何兩個組件也可被視為彼此“可操作地連接”或“可操作地耦合”以實現期望的功能，並且能夠如此關聯的任何兩個組件也可被視為“可操作地連接” 耦合”，彼此實現所需的功能。可操作地耦合的具體示例包括但不限於物理上可配合和/或物理上交互的組件和/或無線上可交互和/或無線上交互的組件和/或邏輯上交互和/或邏輯上可交互的組件。
此外，關於本文中基本上任何復數和/或單數術語的使用，本領域技術人員可以根據上下文和/或從復數翻譯成單數和/或從單數翻譯成複數。 應用。為了清楚起見，可以在本文中明確地闡述各種單數/複數排列。
此外，本領域技術人員將理解，一般而言，本文使用的術語，尤其是所附請求項中使用的術語，例如所附請求項的主體，通常意在作為“開放”術語，例如，術語“包含”應解釋為“包括但不限於”、“具有”應解釋為“至少有”。本領域的技術人員將進一步理解，如果意圖引入特定數量的請求項陳述，則該意圖將在請求項中明確地陳述，並且在沒有該陳述的情況下不存在該意圖。例如，為了幫助理解，以下所附請求項可能包含使用介紹性短語“至少一個”和“一個或多個”來介紹請求項的敘述。然而，使用此類短語不應被解釋為暗示通過不定冠詞“一”或“一個”引入的請求項將包含此類引入的請求項的任何特定請求項限制為僅包含一個此類陳述的實現，即使當同一請求項包括介紹性短語“一個或多個”或“至少一個”和不定冠詞如“一個”，應解釋為“至少一個”或“一個或多個”。這同樣適用於使用定冠詞來引入索賠陳述。此外，即使明確引用了引入的請求項記載的具體數目，本領域技術人員將認識到，這種記載應被解釋為至少表示引用的數目，例如，“兩次迭代”的引用，而不包含其他修飾語，表示至少兩次迭代，或者兩次或更多次迭代。此外，在那些約定使用類似於“A、B和C等中的至少一個”的情況下，一般來說，這樣的結構意在本領域技術人員會理解約定的意義上，例如，“具有A、B和C中的至少一個的系統”將包括但不限於這樣的系統：單獨有A，單獨有B，單獨有C，A和B在一起，A和C在一起，B和C 在一起，和/或A、B和C在一起，等等。在那些使用類似於“至少一個A、B或C”的情況下，通常這樣的結構意在本領域技術人員理解約定的意義上，例如，“具有A、B或C中的至少一個的系統”將包括但不限於系統：具有單獨的A、單獨的B、單獨的C、A和B在一起、A和C在一起、B和C在一起和/或A、B和C在一起等。本領域技術人員將進一步理解實際上，無論是在說明書、請求項書還是附圖中，任何出現兩個或更多替代術語的分離詞和/或短語都應該被理解為考慮包括一個術語、一個術語或兩個術語的可能性。例如，短語“A或 B”將被理解為包括“A”或“B”或“A和B”的可能性。
從上文中可以理解，為了說明的目的，本文已經描述了本公開的各種實施方式，並且在不脫離本公開的範圍和精神的情況下可以進行各種修改。因此，本文公開的各種實施方式並非旨在限制，真正的範圍和精神由所附請求項指示。
200、300、400、600:當前塊 210、505:亮度樣本 205、500:多模型色度預測模塊 220、550:預測色度樣本 231、232、233、331-333:線性模型 241-243、521-526:權重因子 410:位置 511、513、515:LM-L模型 512、514、516:LM-T模型 700:視頻編碼器 705:視頻源 795、1095:位元流 710:變換模塊 711:量化模塊 714、1011:逆量化模塊 715、1010:逆變換模塊 720:幀內估計模塊 725、1025:幀內預測模塊 730、1030:運動補償模塊 735:運動估計模塊 745、1045:環路濾波器 750:重構圖片緩衝器 765、1065:MV緩衝器 775:MV預測模塊 790:熵編碼器 713:預測像素資料 708:殘差信號 712、1012:量化係數 719:重構殘差 713:預測像素資料 717:重構像素資料 802:輸入亮度樣本 812:預測色度樣本 804:輸入色度樣本 815:色度預測殘差 810:色度預測模塊 820:色度預測模型 900、1200:處理 910-950、1210-1250:步驟 1000:視頻解碼器 1050:解碼圖片緩衝器 1075:MV預測模塊 1090:解析器 1040:幀間預測模塊 1016:變換係數 1019:重構殘差信號 1013:預測像素資料 1017:解碼像素資料 1110:色度預測模塊 1135:重構色度樣本 1125:重構亮度樣本 1115:色度預測殘差 1112:預測色度樣本 1120:色度預測模型 1130:權重因子 1106:解碼色度+亮度樣本 1300:電子系統 1305:總線 1310:處理單元 1315:圖形處理單元(GPU) 1320:系統儲存器 1325:網絡 1330:只讀儲存器 1335:永久儲存設備 1340:輸入設備 1345:輸出設備
所包含的附圖是為了提供對本公開的進一步理解，並且併入並構成本公開的一部分。附圖圖示了本公開的實施方式，並且與描述一起用於解釋本公開的原理。值得注意的是，附圖不一定是按比例繪製的，因為為了清楚地說明本公開的概念，一些組件可能被示出為與實際實施中的尺寸不成比例。 第1圖顯示了跨分量線性模型(CCLM)模式中涉及的左側和上方樣本以及當前塊的樣本的位置。 第2圖概念性地說明像素塊的多模型色度預測。 第3圖概念性地說明了三種CCLM模式的色度預測線性模型的構造。 第4圖概念性地圖示從當前塊中的位置到頂部和左側的距離。 第5圖概念性地說明了具有多個LM-T和/或多個LM-L模型的多模型色度預測。 第6A-C圖概念性地說明基於預測樣本的位置使用多個線性模型進行色度預測。 第7圖說明可實施色度預測的實例視頻編碼器。 第8圖解說了實現多模型色度預測的視頻編碼器的部分。 第9圖概念性地說明使用多模型色度預測來編碼像素塊的處理。 第10圖說明可實施色度預測的實例視頻解碼器。 第11圖說明實施多模型色度預測的視頻解碼器的部分。 第12圖概念性地說明使用多模型色度預測來解碼像素塊的處理。 第13圖概念性地圖示了實現本公開的一些實施例的電子系統。
1210-1250:步驟

Claims (14)

  1. 一種視頻編解碼方法，包括： 接收待編碼或解碼的作為視頻的當前圖片的當前塊的像素塊的資料； 基於與所述當前塊相鄰的亮度和色度樣本構建兩個或多個色度預測模型； 將所述兩個或多個色度預測模型應用到所述當前塊的輸入或重構亮度樣本以產生兩個或多個模型預測； 通過組合所述兩個或多個模型預測來計算預測的色度樣本；以及 使用預測的色度樣本來重構所述當前塊的色度樣本或對所述當前塊進行編碼。
  2. 如請求項1所述的視頻編解碼方法，其中，所述預測色度樣本是所述兩個或多個模型預測的加權和。
  3. 如請求項2所述的視頻編解碼方法，其中，基於預測樣本在當前塊中的位置對所述兩個或多個模型預測中的每一個進行加權。
  4. 如請求項2所述的視頻編解碼方法，其中，根據從預測樣本到所述當前塊的上邊界和左邊界的距離對所述兩個或多個模型預測進行加權。
  5. 如請求項2所述的視頻編解碼方法，其中，所述兩個或多個模型預測根據相應的兩個或多個權重因子進行加權，其中所述相應的兩個或多個權重因子在所述當前塊的不同區域被賦予不同的值。
  6. 根據請求項2所述的視頻編解碼方法，其中，基於所述當前塊的邊界樣本和當前塊的重構相鄰樣本之間的相似性度量，對所述兩個或多個模型預測中的每一個進行加權。
  7. 根據請求項1所述的視頻編解碼方法，其中，所述兩個或多個色度預測模型包括基於所述當前塊上方的相鄰重構亮度樣本導出的第一線性模型和基於所述當前塊的左側相鄰重構亮度樣本導出的第二線性模型。
  8. 如請求項7所述的視頻編解碼方法，其中，所述兩個或多個色度預測模型還包括第三線性模型，其基於所述當前塊上方和所述當前塊左側的相鄰重構亮度樣本導出。
  9. 如請求項1所述的視頻編解碼方法，其中，所述當前塊不同區域的預測色度樣本由不同集合的線性模型計算得到。
  10. 如請求項1所述的視頻編解碼方法，其中，所述兩個或多個色度預測模型包括基於所述當前塊上方的相鄰重構亮度樣本導出的第一多個線性模型和基於當前塊左側的相鄰重構亮度樣本導出的第二多個線性模型。
  11. 如請求項1所述的視頻編解碼方法，其中，通過將所述當前塊的幀間預測或幀內預測與由兩個或多個色度預測模型產生的兩個或多個模型預測進一步組合來計算預測色度樣本。
  12. 一種電子設備，包括： 一種視頻編解碼電路，被配置為執行操作，包括： 接收待編碼或解碼的作為視頻的當前圖片的當前塊的像素塊的資料； 基於與所述當前塊相鄰的亮度和色度樣本構建兩個或多個色度預測模型； 將所述兩個或多個色度預測模型應用到所述當前塊的輸入或重構亮度樣本以產生兩個或多個模型預測； 通過組合兩個或多個模型預測來計算預測的色度樣本；以及 使用預測的色度樣本來重構所述當前塊的色度樣本或對所述當前塊進行編碼。
  13. 一種視頻解碼方法，包括： 接收作為視頻的當前圖片的當前塊的待解碼像素塊的資料； 基於與所述當前塊相鄰的亮度和色度樣本構建兩個或多個色度預測模型； 將兩個或多個色度預測模型應用於所述當前塊的重構亮度樣本以產生兩個或多個模型預測； 通過組合兩個或多個模型預測來計算預測的色度樣本；以及 使用預測的色度樣本來重構所述當前塊的色度樣本。
  14. 一種視頻編碼方法，包括： 接收要被編碼為視頻的當前圖片的當前塊的像素塊的資料； 基於與所述當前塊相鄰的亮度和色度樣本構建兩個或多個色度預測模型； 將兩個或多個色度預測模型應用於所述當前塊的輸入亮度樣本以產生兩個或更多對應模型預測； 通過組合兩個或多個模型預測來計算預測的色度樣本；以及 使用預測的色度樣本對所述當前塊進行編碼。
TW111149211A 2021-12-21 2022-12-21 多模型跨分量線性模型預測 TW202335499A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163291996P 2021-12-21 2021-12-21
US63/291,996 2021-12-21
WOPCT/CN2022/140402 2022-12-20
PCT/CN2022/140402 WO2023116704A1 (en) 2021-12-21 2022-12-20 Multi-model cross-component linear model prediction

Publications (1)

Publication Number Publication Date
TW202335499A true TW202335499A (zh) 2023-09-01

Family

ID=86901247

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111149211A TW202335499A (zh) 2021-12-21 2022-12-21 多模型跨分量線性模型預測

Country Status (2)

Country Link
TW (1) TW202335499A (zh)
WO (1) WO2023116704A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017139937A1 (en) * 2016-02-18 2017-08-24 Mediatek Singapore Pte. Ltd. Advanced linear model prediction for chroma coding
US10652575B2 (en) * 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
WO2020041306A1 (en) * 2018-08-21 2020-02-27 Futurewei Technologies, Inc. Intra prediction method and device
KR20210113188A (ko) * 2018-12-21 2021-09-15 브이아이디 스케일, 인크. 템플릿 기반 비디오 코딩을 위한 개선된 선형 모델 추정에 관한 방법들, 아키텍처들, 장치들 및 시스템들
US11399195B2 (en) * 2019-10-30 2022-07-26 Tencent America LLC Range of minimum coding block size in video coding

Also Published As

Publication number Publication date
WO2023116704A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
TWI685246B (zh) 編解碼變換塊
US10887594B2 (en) Entropy coding of coding units in image and video data
US11778235B2 (en) Signaling coding of transform-skipped blocks
TWI792149B (zh) 量化相關參數之傳訊技術
US20200322607A1 (en) Coding Transform Coefficients With Throughput Constraints
TWI785502B (zh) 在分塊中指明切片之切片組塊的視訊編解碼方法及電子裝置
KR20220082022A (ko) 이미지 및 비디오의 블록 분할 구조 시그널링
TWI692972B (zh) 一種編碼/解碼的方法及電子裝置
TW202335499A (zh) 多模型跨分量線性模型預測
TWI834269B (zh) 視訊處理方法及裝置
TWI826079B (zh) 視訊編解碼方法及裝置
TWI832602B (zh) 轉換係數符號的熵編碼
WO2024027566A1 (en) Constraining convolution model coefficient
WO2024017006A1 (en) Accessing neighboring samples for cross-component non-linear model derivation
TWI839968B (zh) 具有編碼參數的局部照明補償
TW202335497A (zh) 跨分量線性模型預測
TW202420818A (zh) 用於跨分量非線性模式推導之相鄰樣本存取
TW202349954A (zh) 自適應編解碼的圖像以及視訊資料
TW202406350A (zh) 統一的交叉分量模型推導
TW202404354A (zh) 利用卷積模型的預測改進
TW202408242A (zh) 隱式多通道解碼器端運動向量細化
TW202349957A (zh) 基於模板的幀內模式推導和預測
TW202349965A (zh) 高效的幾何分區模式視頻編解碼
TW202406334A (zh) 電子設備和視訊編解碼的方法
TW202325025A (zh) 具有編碼參數的局部照明補償