TW202349952A - 視訊編解碼方法及其裝置 - Google Patents

視訊編解碼方法及其裝置 Download PDF

Info

Publication number
TW202349952A
TW202349952A TW112115578A TW112115578A TW202349952A TW 202349952 A TW202349952 A TW 202349952A TW 112115578 A TW112115578 A TW 112115578A TW 112115578 A TW112115578 A TW 112115578A TW 202349952 A TW202349952 A TW 202349952A
Authority
TW
Taiwan
Prior art keywords
samples
current block
chroma
reference lines
linear model
Prior art date
Application number
TW112115578A
Other languages
English (en)
Inventor
蔡佳銘
徐志瑋
陳慶曄
莊子德
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202349952A publication Critical patent/TW202349952A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種使用多條參考線進行跨分量預測的視訊編解碼方法被提供。視訊編解碼器接收像素塊的資料，該像素塊的資料將被編碼或解碼為當前圖片的當前塊。視訊編解碼器基於來自一條或多條參考線的亮度和色度樣本導出線性模型，所述一條或多條參考線從以不同距離鄰近當前塊的多條參考線中選擇。視訊編解碼器將線性模型應用於當前塊的亮度樣本以獲得當前塊的的色度預測樣本。視訊編解碼器藉由使用當前塊的的色度預測樣本來對當前塊進行編碼或解碼。線性模型可以使用僅一條所選參考線或兩條或多條所選參考線的亮度和色度樣本來導出。

Description

藉由多條參考線進行跨分量預測的線性模型推導
本公開一般涉及視訊編解碼。具體而言，本公開涉及藉由跨分量預測對像素塊進行編解碼。
除非本文另有說明，否則本節中描述的方法不是下面列出的申請專利範圍的習知技術，以及不被包含在本節中而被承認為習知技術。
高效視訊編解碼（High-Efficiency Video Coding，簡稱HEVC）是由視訊編解碼聯合協作組（Joint Collaborative Team on Video Coding，簡稱JCT-VC）開發的國際視訊編解碼標準。HEVC基於混合的基於塊的運動補償類DCT 變換編解碼架構。壓縮的基本單元，被稱為編解碼單元（coding unit，簡稱CU），是一個2Nx2N的方形像素塊，每個CU可以遞迴地分成四個更小的CU，直到達到預定的最小大小。每個CU包含一個或多個預測單元（prediction unit，簡稱PU）。
多功能視訊編解碼（Versatile video coding，簡稱VVC）是由ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的聯合視訊專家組（Joint Video Expert Team，簡稱JVET）制定的最新國際視訊編解碼標準。輸入視訊訊號從重構訊號預測，該重構訊號從編解碼圖片區域導出。預測殘差訊號藉由塊變換進行處理。變換係數與位元流中的其他輔助資訊一起被量化和熵編解碼。重構訊號根據預測訊號和對去量化變換係數進行逆變換後的重構殘差訊號生成。重構訊號藉由環路濾波進一步被處理，以去除編解碼偽像。解碼後的圖片存儲在幀緩衝器中，用於預測輸入視訊訊號中的未來圖片。
在VVC中，已編解碼圖片被劃分為由相關聯的編解碼樹單元（coding tree unit，簡稱CTU）表示的非重疊方形塊區域。編解碼圖片可以由片段集合表示，每個片段包含整數個CTU。片段中的各個CTU以光柵掃描連續處理。幀內預測或幀間預測可以被用來對雙向預測（bi-predictive，簡稱B）片段進行解碼，其中最多有兩個運動向量和參考索引來預測每個塊的樣本值。預測（P）片段使用具有至多一個運動向量和參考索引的幀內預測或幀間預測來解碼以預測每個塊的樣本值。幀內（intra，簡稱I）片段僅使用幀內預測對進行解碼。
CTU可以使用巢狀多類型樹（multi-type-tree，簡稱MTT）結構的四叉樹（quadtree，簡稱QT）被劃分成一個或多個非重疊編解碼單元（coding unit，簡稱CU），以適應各種局部運動和紋理特徵。CU可以使用五種分割類型之一被進一步分割成更小的CU：四叉樹分割、垂直二叉樹分割、水平二叉樹分割、垂直中心側三叉樹分割、水平中心側三叉樹分割。
每個CU包含一個或多個預測單元（prediction unit，簡稱PU）。預測單元與關聯的CU語法一起作為用於發送預測資訊的基本單元。指定的預測處理用於預測PU內的相關像素樣本的值。每個CU可以包含一個或多個變換單元（transform unit，簡稱TU）用於表示預測殘差塊。變換單元（transform unit，簡稱TU）由亮度樣本的變換塊（transform block，簡稱TB）和兩個相應的色度樣本變換塊組成，每個TB對應於來自一種顏色分量的樣本的一個殘差塊。整數變換被應用於變換塊。量化係數的級別值與其他輔助資訊一起在位元流中進行熵編解碼。術語編解碼樹塊（coding tree block，簡稱CTB）、編解碼塊（coding block，簡稱CB）、預測塊（prediction block，簡稱PB）和變換塊（transform block，簡稱TB）被定義為指定分別與CTU、CU、PU和TU相關的一個顔色分量的2D樣本陣列。因此，一個CTU由一個亮度CTB、兩個色度CTB和相關語法元素組成。類似的關係對CU、PU和TU有效。
對於每個幀間預測CU，由運動向量，參考圖片索引和參考圖片列表使用索引組成的運動參數以及額外資訊用於幀間預測樣本生成。運動參數可以以顯式或隱式方式發送。當CU以跳過模式進行編解碼時，CU與一個PU相關聯並且沒有顯著的殘差係數，沒有被編解碼的運動向量增量或參考圖片索引。合併模式被指定，當前CU的運動參數從相鄰CU獲得，包括空間和時間候選，以及VVC中引入的額外排程。合併模式可以應用於任一幀間預測的CU。合併模式的可選方案是運動參數的顯式傳輸，其中運動向量，每個參考圖片列表的相應參考圖片索引和參考圖片列表使用標誌以及其他所需資訊按每個CU被顯式地發送。
以下概述僅是說明性的並且不旨在以任何方式進行約束。即，以下概述被提供以介紹本文所述的新穎且非顯而易見的技術的概念、亮點、益處和優點。選擇而不是所有的實施方式在下面的詳細描述中被進一步描述。因此，以下概述並非旨在識別所要求保護的主題的基本特徵，也不旨在用於決定所要求保護的主題的範圍。
提供一種使用多條參考線進行跨分量預測的視訊編解碼方法。視訊編解碼器接收像素塊的資料，該像素塊的資料將被編碼或解碼為當前圖片的當前塊。視訊編解碼器基於來自一條或多條參考線的亮度和色度樣本導出線性模型，所述一條或多條參考線從以不同距離鄰近當前塊的多條參考線中選擇。視訊編解碼器將線性模型應用於當前塊的亮度樣本以獲得當前塊的色度預測樣本。視訊編解碼器藉由使用當前塊的色度預測樣本來對當前塊進行編碼或解碼。
在一些實施例中，選擇的參考線中的至少一條與當前塊的邊界相鄰。在一些實施例中，選擇的參考線中的至少一條與當前塊的邊界不相鄰。在一些實施例中，線性模型使用僅一條選擇的參考線的亮度和色度樣本來導出。在一些實施例中，線性模型使用兩個或多個所選擇的參考線的亮度和色度樣本來導出。兩條或更多條所選擇的參考線可以彼此相鄰，也可以不相鄰。在一些實施例中，用於推導線性模型的亮度樣本和色度樣本可以具有相同或不同的選擇的參考線。在一些實施例中，用於推導線性模型的亮度樣本被進行子採樣，而不應用下採樣濾波處理。
在一些實施例中，編碼器發送語法元素，該語法元素指示是否從多條參考線中選擇多於一條參考線以用於推導線性模型。在一些實施例中，從多條參考線中選擇的多條參考線基於當前塊的尺寸或用於當前塊的跨分量預測模式來決定。
在一些實施例中，多條參考線中的亮度樣本被組合成融合的亮度樣本線，以及多條參考線中的色度樣本被組合到融合的色度樣本線上。線性模型基於融合亮度樣本線和融合色度樣本線而導出。每個融合樣本是包含多條參考線的視窗內樣本的加權平均值。
在一些實施例中，線性模型從一條特定參考線的樣本中導出，該條特定參考線從多條參考線中選擇且具有最小邊界匹配成本。參考線的邊界匹配成本基於（i）由參考線的候選模型預測的當前塊的邊界色度樣本（藉由將候選模型應用於當前塊的邊界亮度樣本）與（ii）與當前塊相鄰的重構色度樣本之間的差值。
在以下詳細描述中，藉由示例的方式闡述了許多具體細節，以便提供對相關教導的透徹理解。基於本文描述的教導的任何變化、衍生和/或擴展都在本公開的保護範圍內。在一些情況下，與在此公開的一個或多個示例實施方式有關的眾所周知的方法、處理、組件和/或電路可以在相對較高的水平上進行描述而沒有細節，以避免不必要地模糊本公開的教導的方面。 Ⅰ 、交叉分量線性模型（ Cross Component Linear Model ，簡稱 CCLM ）
交叉分量線性模型（Cross Component Linear Model，簡稱CCLM）或線性模型（Linear Model，簡稱LM）模式是交叉分量預測模式，其中塊的色度分量藉由線性模型從同位的重構亮度樣本來預測。線性模型的參數（例如，比例和偏移）是從與塊相鄰的已重構的亮度和色度樣本導出。例如，在VVC中，CCLM 模式利用通道間依賴性從重構的亮度樣本中色度預測樣本。該預測使用以下形式的線性模型進行： 等式（1）
等式（1）中的P（i,j）表示CU中的色度預測樣本（或當前CU的色度預測樣本）， 表示同一CU的下採樣重構亮度樣本（或當前CU的對應的重構亮度樣本）。
CCLM模型參數 （縮放參數）和 （偏移參數）基於至多四個相鄰色度樣本及其對應的下採樣亮度樣本來導出。在LM_A模式（也被稱為LM-T模式）中，僅上方或頂部相鄰範本被用來計算線性模型係數。在LM_L模式（也被稱為LM-L模式）中，僅左側範本被用來計算線性模型係數。在LM-LA模式（也被稱為LM-LT模式）中，左側和上方範本均被用於計算線性模型係數。
第1圖概念性地示出用於推導線性模型參數的色度和亮度樣本。該圖示出具有4:2:0格式的亮度分量樣本和色度分量樣本的當前塊100。與當前塊相鄰的亮度和色度樣本是重構樣本。這些重構樣本用於導出跨分量線性模型（參數 和 ）。由於當前塊採用4:2:0格式，因此在用於線性模型推導之前，首先亮度樣本被下採樣。在該示例中，與當前塊相鄰有16對重構的亮度（下採樣）和色度樣本。這16對亮度與色度值用於導出線性模型參數。
假設當前色度塊尺寸為W×H，則W'和H'設置為： – 當LM-LT模式被應用時，W' = W，H' = H； – 當LM-T模式被應用時，W' = W + H； – 當LM-L模式被應用時，H' = H+W
上面的相鄰位置被表示為S[0, -1]...S[W' - 1, -1]以及左側相鄰位置被表示為S[-1, 0]...S[ -1，H'-1]。然後四個樣本被選擇為： – 當LM模式被應用（上方和左側相鄰樣本均可用），S[W'/4, −1 ], S[ 3*W'/4, −1 ], S[−1, H'/4 ], S[ −1, 3*H'/4 ]； – 當LM-T模式被應用時（只有上方相鄰樣本可用），S[ W'/8, −1 ], S[3*W'/8, −1 ], S[5*W'/8, −1], S[7*W'/8, −1]； – 當LM-L模式被應用時（僅左側相鄰樣本可用），S[−1, H'/8]、S[−1, 3* H'/8]、S[−1, 5*H'/8]、S[−1, 7*H'/8]；
所選位置處的四個相鄰亮度樣本被下採樣並比較四次以找到兩個較大值：x 0 A和x l A，以及兩個較小值：x 0 B和x l B。它們對應的色度樣本值表示為 y 0 A、y 1 A、y 0 B和y 1 B。則X A、X B、Y A、Y B可被推導為： X a = ( x 0 A + x 1 A +1)＞＞1; X b =( x 0 B + x 1 B +1)＞＞1;                     等式（2） Y a = ( y 0 A + y 1 A +1)＞＞1; Y b =( y 0 B + y 1 B +1)＞＞1                       等式（3）
線性模型參數α和β根據以下等式獲得： 等式（4） 等式（5）
根據等式（4）和（5）計算α和β參數的操作可以藉由查閱資料表來實現。在一些實施例中，為了減少存儲查閱資料表所需的記憶體， diff值（最大值和最小值之間的差值）和參數α用指數標記法來表達。例如， diff用4位元有效部分和指數來近似。因此，1/diff的表減少為16個有效數值的16個元素，如下所示： DivTable [ ] = { 0, 7, 6, 5, 5, 4, 4, 3, 3, 2, 2, 1, 1, 1, 1, 0 }          等式（6）
這降低了計算的複雜性以及存儲所需表所需的記憶體大小。
在一些實施例中，為了獲得更多的樣本來計算CCLM模型參數α和β，對於LM-T模式，上方範本被擴展為包含的（W+H）個樣本，對於LM-L模式，左側範本被擴展為包含（H+ W）個樣本。對於LM-LT模式，擴展的左側範本和擴展的上方範本都用於計算線性模型係數。
為了匹配4:2:0視訊序列的色度樣本位置，兩種類型的下採樣濾波器應用於亮度樣本以在水平和垂直方向上實現2比1的下採樣比。下採樣濾波器的選擇由序列參數集（sequence parameter set，簡稱SPS）級別標誌指定。兩個下採樣濾波器如下，分別對應“類型-0”和“類型-2”內容。 等式（7） 等式（8）
在一些實施例中，當上參考線位於CTU邊界處時，僅一條亮度線（幀內預測中的通用線緩衝器）被用來產生下採樣的亮度樣本。
在一些實施例中，α和β參數計算被執行作為解碼處理的一部分，而不僅僅是作為編碼器搜索操作。因此，沒有任何語法被用來傳送α和β值給解碼器。
對於色度幀內模式編解碼，總共允許8種幀內模式。這些模式包括五種傳統的幀內模式和三種跨分量線性模型模式（LM_LA、LM_A 和 LM_L）。色度幀內模式編解碼可以直接取決於相應亮度塊的幀內預測模式。色度幀內模式信令和對應的亮度幀內預測模式如下表所示：
色度幀内預測模式 相應亮度幀内預測模式
0 50 18 1 X (0 ≤ X ≤66)
0 66 0 0 0 0
1 50 66 50 50 50
2 18 18 66 18 18
3 1 1 1 66 1
4 0 50 18 1 X
5 81 81 81 81 81
6 82 82 82 82 82
7 83 83 83 83 83
由於在I片段中啟用用於亮度和色度分量的單獨的塊劃分結構，所以一個色度塊可以對應於多個亮度塊。因此，對於色度導出模式（derived mode，簡稱DM）模式，直接繼承覆蓋當前色度塊的中心位置的對應亮度塊的幀內預測模式。
根據下表，單個統一二值化表（映射到bin串）用於色度幀內預測模式：
色度幀内預測模式 Bin 串
4 00
0 0100
1 0101
2 0110
3 0111
5 10
6 110
7 111
在表中，第一個bin指示是常規（0）還是LM模式（1）。如果是LM模式，那麼下一個bin表示是否是LM_CHROMA(0)。如果不是LM_CHROMA，則下一個bin表示是LM_L(0)還是LM_A(1)。對於這種情況，當sps_cclm_enabled_flag為0時，對應intra_chroma_pred_mode的二值化表的第一個bin可以在熵編解碼之前被丟棄。或者，換句話說，第一個bin被推斷為0，因此不進行編解碼。此單個二值化表用於sps_cclm_enabled_flag等於0和1的情況。表中的前兩個bin使用其自己的上下文模型進行上下文編解碼，其餘bin進行旁路編解碼。
另外，為了減少雙樹中的亮度-色度延遲，當64x64亮度編解碼樹節點不被分割（以及ISP不用於64x64CU）或用QT進行劃分時，32x32/32x16色度編解碼樹中的色度CU節點允許按以下方式使用CCLM： ˙如果32x32色度節點未進行分割或使用QT分割進行劃分，則32x32節點中的所有色度CU都可以使用CCLM ˙如果32x32色度節點採用水平BT進行劃分，以及32x16子節點不進行分割或使用垂直BT劃分，32x16色度節點中的所有色度CU都可以使用CCLM。 ˙在所有其他亮度和色度編解碼樹分割條件下，色度CU不允許使用CCLM。 Ⅱ 、多模型 CCLM （ MMLM ）
多模型CCLM模式（MMLM）使用兩個模型以利用整個CU的亮度樣本來預測色度樣本。與CCLM類似，三種多模型CCLM模式（MMLM_LA、MMLM_A和MMLM_L）用於指示在模型參數推導中是否使用上方和左側相鄰樣本、僅使用上方相鄰樣本或僅使用左側相鄰樣本。
在MMLM中，當前塊的相鄰亮度樣本和相鄰色度樣本被分為兩組，每組用作訓練集來推導線性模型（即，對特定組推導特定的α和β）。此外，當前亮度塊的樣本還基於與相鄰亮度樣本的分類相同的規則進行分類。
第 2 圖示出將相鄰樣本分為兩組的示例。 閾值被計算為相鄰重構亮度樣本的平均值。[x,y]處且Rec’ L[x,y] ＜= 閾 值的相鄰樣本被分類為組1；而[x,y]處Rec’ L[x,y]＞閾值的相鄰樣本被分類為組2。因此，色度樣本的多模型CCLM預測為： Pred c [ x,y] = 1 ×Recʹ L [ x,y] + 1 if Rec′ L [ x,y] ≤ Threshold Pred c [ x,y] = 2 ×Recʹ L [ x,y] + 2 if Rec′ L [ x,y] ＞ Threshold等式（9） Ⅲ 、基於多條參考線的線性模型
A. 使用多條參考線
在一些實施例中，如果當前塊的色度分量或亮度分量具有多條相鄰參考線，則用於跨分量預測（例如，CCLM/MMLM)的模型參數的相鄰樣本可以基於參考線選擇適應性地導出。第3圖示出用於交叉分量預測的當前塊300的多條參考線。如圖所示，當前塊300具有多條參考線311-313，每條參考線是當前塊的重構的（頂部和左側）相鄰像素的線。在該示例中，參考線311-313距當前塊的邊界不同的距離，其中參考線311是最接近當前塊邊界的線，而參考線313是距當前塊邊界最遠的線。
在一些實施例中，如果當前塊具有N條相鄰參考線，則第i條相鄰參考線可以被選擇來導出CCLM/MMLM的模型參數，其中N＞1以及N≥ i≥1。在實施例中，如果當前塊具有N條相鄰參考線，則多於一條參考線可以被選擇用來導出CCLM/MMLM的模型參數。例如，如果當前塊具有N個相鄰參考線，則視訊編解碼器可以選擇N條相鄰參考線中的2條、N條中的3條、……或者N條相鄰參考線中的N條來導出模型參數。
在一些實施例中，如果多條參考線被選擇，則所選擇的參考線可以彼此相鄰或彼此不相鄰。例如，如果N條相鄰參考線中的兩條被選擇，則所選擇的兩條線可以是第一和第二參考線，但也可以是第一和第三參考線、第二和第四參考線、第一和第四參考線等等。
在一些實施例中，如果色度相鄰參考線被選擇用於CCLM/MMLM模型推導，則視訊編解碼器可以選擇可以對應於或可以不對應於所選擇的色度參考線的亮度參考線。例如，如果第 i個亮度相鄰參考線被選擇，則視訊編解碼器可以選擇第 j個色度相鄰參考線，其中 i和 j可以不同或相同。
在一些實施例中，視訊編解碼器可以在推導模型參數時使用亮度參考線樣本而不執行亮度下採樣處理。第4圖示出用於在沒有亮度子採樣的情況下導出模型參數的亮度和色度樣本。圖中，顏色分量為4:2:0格式，各種亮度樣本相位用黑圓圈標記，色度樣本相位用空心圓圈標記。亮度樣本Y0、Y1、Y2、Y3的集合410與色度樣本C相關聯。亮度樣本Y'0、Y'1、Y'2、Y'3的相鄰集合411與色度樣本C'相關聯。亮度樣本Y”0、Y”1、Y”2、Y”3的另一相鄰組412與色度樣本C”相關聯。視訊編解碼器可以選擇{Y0，Y1，(Y0+Y2+1)＞＞1，(Y'2+(Y0＜＜1)+Y2+2)＞＞2，(Y0+(Y2＜＜1 )+Y”0+2)＞＞2，或(Y0 + Y2 - Y'2)}在指定的相鄰亮度線上導出模型參數，而不應用亮度下採樣濾波器。又例如，視訊編解碼器可以選擇{Y1，Y3，(Y1+Y3+1)＞＞1，(Y'3+(Y1＜＜1)+Y3+2)＞＞2，(Y1+( Y3＜＜1)+Y”1+2)＞＞2 或 (Y1 + Y3 - Y'3)}在指定的相鄰亮度線處上導出模型參數，而不應用亮度下採樣濾波器。
在一些實施例中，如果多於一條相鄰參考線用於CCLM/MMLM模型推導，則用於不同參考線的亮度下採樣濾波器可以是不同的。例如，如果使用兩條參考線進行CCLM/MMLM模型推導，則用於輸出更接近當前塊邊界的所選線的下採樣濾波器可以是m抽頭高通或低通濾波器，而用於輸出遠離當前塊邊界的線的下採樣濾波器可以是n抽頭高通或低通濾波器。在一些實施例中，m是6，以及n是4。在一些實施例中，m大於n。在一些實施例中，m小於n。
在一些實施例中，如果多條參考線中的參考線由於相鄰樣本不可用或者由於CTU行緩衝器大小限制而無效，則視訊解碼器可以使用另一有效參考線來替換無效參考線。例如，如第3圖所示的三條參考線311-313。參照第3圖，如果第三參考線313無效但第一和第二參考線311-312有效，則視訊編解碼器可以使用第一（或第二）參考線來代替第三參考線。在一些實施例中，在跨分量模型推導中僅使用有效參考線，使得在跨分量模型推導中不使用無效參考線。
B. 融合多條參考線
在一些實施例中，如果當前塊的色度分量或亮度分量具有多個相鄰參考線，則視訊編解碼器可以將多個相鄰參考線組合或融合成一條線以導出CCLM/MMLM的模型參數。因此，多條參考線中的亮度樣本被組合成一條融合的亮度樣本線，以及多條參考線中的色度樣本被組合成一條融合的色度樣本線。然後融合亮度樣本線和融合色度樣本線被用來導出CCLM或MMLM的線性模型。
第5A-B圖概念性地示出將多個相鄰參考線組合成一條線以導出用於跨分量預測的模型參數。如第5A圖示出當前塊500，其具有三條可用的相鄰參考線511-513。視訊編解碼器使用3x3視窗將三條相鄰參考線組合成一條融合線，特別是藉由對移動視窗內的樣本執行加權平均。該圖顯示一個示例3x3視窗，用於組合樣本 C i 的3個相鄰線，可以是亮度或色度。3x3視窗的組合結果（或融合樣本CF）公式為 ，w i可以是正值或負值或0，b是一個偏移值。類似地，視訊編解碼器可以首先使用3x2視窗來組合三條相鄰參考線。
第5B圖示出使用3x2視窗來組合3條相鄰線。3x2視窗的組合結果（或融合樣本CF）被表示為 ，其中w i可以是正值或負值，b是偏移值。
更一般地，可以使用公式 來融合多行的亮度樣本，以及公式 可用於融合多行色度樣本，其中L i和C i是相鄰的亮度和色度樣本，S是應用的視窗大小，w i可以是正值或負值或0，b是一個偏移值。
C. 用於模型推導的參考線的選擇的發送
在一些實施例中，視訊編解碼器可以從多個不同的相鄰參考線中選擇相鄰參考線以用於當前塊的CCLM/MMLM模型推導。這樣的選擇可以是顯式決定的或隱式導出的。例如，如果當前塊允許一條或兩條參考線，以及CCLM/MMLM的所選線被顯式地決定，則第一bin被用來指示是否使用一條線或兩線。然後，第二bin或多個bin（由截斷一元或固定長度代碼編解碼）被用來指示選擇哪條參考線或哪條線組合。例如，如果一條參考線被用來進行模型推導，則第二bin（或更多bin）被用來從{第一條線、第二條線、第三條線…}中進行選擇。如果兩條參考線被用來進行模型推導，則第二bin（或更多bin）被用來從{第一條線+第二條線，第二條線+第三條線，第一條線+第三條線…}中進行選擇。
用於CCLM/MMLM模型推導的參考線的選擇也可以藉由使用解碼器側工具例如藉由範本成本或邊界匹配來隱式地推導。例如，在一些實施例中，在解碼器側，CCLM/MMLM模型的最終線選擇被隱式地決定為最小化當前塊和相鄰樣本的邊界樣本的差值的參考線，換句話說，是最小化相鄰範本失真的參考線。
例如，在使用特定條參考線導出CCLM/MMLM模型的參數之後，該模型被應用於邊界的亮度樣本以計算導出的模型的成本（藉由將模型預測的邊界色度樣本與相鄰範本的色度樣本進行比較）。然後，視訊編解碼器藉由使用另一條參考線推導另一個CCLM/MMLM模型的參數，然後計算推導模型的成本。該過程不斷應用於其他模型（其他參考線）以計算其成本，以及使得相鄰範本預測成本最低的模型（以及參考線）被隱式選擇。然後當前塊的最終色度預測藉由所選模型進行計算。
第6圖概念性地示出當前塊600的參考線的隱式選擇。當前塊具有邊界樣本605，已經對其重構亮度樣本。與當前塊600相鄰的線611-613被用作相鄰參考線。當前塊上方和左側的重構的相鄰樣本被用作相鄰範本620。
參考線611-613的亮度和色度樣本分別用於生成對應的候選模型631-633。相鄰範本620可以包括參考線611-613中的一些（例如，與當前塊600相鄰的參考線611的樣本）。
視訊編解碼器將候選模型631-633中的每一個應用到邊界樣本605的亮度分量以預測對應的色度分量。將每個線性模型產生的邊界605的色度預測樣本與相鄰範本620的色度樣本（當前的上方/左側相鄰樣本）進行比較，以決定候選模型的成本（例如，SATD）。生成最小化成本的候選模型的參考線被隱式選擇（由編碼器和解碼器兩者）作為當前塊的CCLM/MMLM模型。
在一些實施例中，多於一條參考線的使用可以取決於用於導出不同CCLM/MMLM模式（例如，LM_A、LM_L、LM_LA）的模型的當前塊尺寸。例如，在一些實施例中，如果當前塊寬度小於閾值，則在CCLM_A或MMLM_A中使用多於一條參考線（用於導出跨分量線性模型）。類似地，在一些實施例中，如果當前塊高度小於閾值，則在CCLM_L或MMLM_L中使用多於一條參考線。在一些實施例中，如果當前塊的（寬度+高度）小於閾值，則在CCLM_LA或MMLM_LA中使用多於一條參考線。在一些實施例中，如果當前塊的面積小於閾值，則在CCLM或MMLM中使用多於兩條參考線。在一些實施例中，在CCLM_A、CCLM_L、MMLM_A或MMLM_L中使用多於一條參考線。在一些實施例中，語法在SPS、PPS、PH、SH、CTU、CU或PU級別被發送以指示當前塊是否允許多於一個參考線。 Ⅳ 、 示例視訊編碼器
第7圖示出可以實現跨分量預測的示例視訊編碼器700。如圖所示，視訊編碼器700從視訊源705接收輸入視訊訊號以及將訊號編碼成位元流795。視訊編碼器700具有用於對來自視訊源705的訊號進行編碼的若干組件或模組，至少包括選自以下的一些組件：變換模組710、量化模組711、逆量化模組714、逆變換模組715、幀內估計模組720、幀內預測模組725、運動補償模組730、運動估計模組735、環路濾波器745、重構圖片緩衝器750、MV緩衝器765、MV預測模組775和熵編碼器790。運動補償模組730和運動估計模組735是幀間預測模組740的一部分。
在一些實施例中，模組710-790是由計算設備或電子裝置的一個或多個處理單元（例如，處理器）執行的軟體指令模組。在一些實施例中，模組710-790是由電子裝置的一個或多個積體電路（integrated circuit，簡稱IC）實現的硬體電路模組。儘管模組710-790被示為單獨的模組，但一些模組可以組合成單個模組。
視訊源705提供原始視訊訊號，其呈現每個視訊幀的像素資料而不進行壓縮。減法器708計算視訊源705的原始視訊像素資料與來自運動補償模組730或幀內預測模組725的預測像素資料713之間的差值作為預測殘差709。變換模組710將差值（或殘差像素資料或殘差訊號708）轉換成變換係數（例如，藉由執行離散余弦變換或DCT）。量化模組711將變換係數量化為量化資料（或量化係數）712，其由熵編碼器790編碼為位元流795。
逆量化模組714對量化資料（或量化係數）712進行去量化以獲得變換係數，以及逆變換模組715對變換係數執行逆變換以產生重構殘差719。重構殘差719與預測像素資料713相加一起產生重構的像素資料717。在一些實施例中，重構的像素資料717被臨時存儲在行緩衝器（未展示）中用於幀內預測和空間MV預測。重構像素由環路濾波器745濾波並被存儲在重構圖片緩衝器750中。在一些實施例中，重構圖片緩衝器750是視訊編碼器700外部的記憶體。在一些實施例中，重構圖片緩衝器750是視訊編碼器700內部的記憶體。
幀內估計模組720基於重構的像素資料717執行幀內預測以產生幀內預測資料。幀內預測資料被提供至熵編碼器790以被編碼成位元流795。幀內預測資料還被幀內預測模組725用來產生預測像素資料713。
運動估計模組735藉由產生MV以參考存儲在重構圖片緩衝器750中的先前解碼幀的像素資料來執行幀間預測。這些MV被提供至運動補償模組730以產生預測像素資料。
視訊編碼器700不是對位元流中的完整實際MV進行編碼，而是使用MV預測來生成預測的MV，以及用於運動補償的MV與預測的MV之間的差值被編碼為殘差運動資料並存儲在位元流795。
基於為編碼先前視訊幀而生成的參考MV，即用於執行運動補償的運動補償MV，MV預測模組775生成預測的MV。MV預測模組775從MV緩衝器765中獲取來自先前視訊幀的參考MV。視訊編碼器700將對當前視訊幀生成的MV存儲在MV緩衝器765中作為用於生成預測MV的參考MV。
MV預測模組775使用參考MV來創建預測的MV。預測的MV可以藉由空間MV預測或時間MV預測來計算。預測的MV和當前幀的運動補償MV（MC MV）之間的差值（殘差運動資料）由熵編碼器790編碼到位元流795中。
熵編碼器790藉由使用諸如上下文適應性二進位算術編解碼（context-adaptive binary arithmetic coding，簡稱CABAC）或霍夫曼編碼的熵編解碼技術將各種參數和資料編碼到位元流795中。熵編碼器790將各種報頭元素、標誌連同量化的變換係數712和作為語法元素的殘差運動資料編碼到位元流795中。位元流795繼而被存儲在存放裝置中或藉由比如網路等通訊媒介傳輸到解碼器。
環路濾波器745對重構的像素資料717執行濾波或平滑操作以減少編解碼的偽影，特別是在像素塊的邊界處。在一些實施例中，所執行的濾波操作包括樣本適應性偏移（sample adaptive offset，簡稱SAO）。在一些實施例中，濾波操作包括適應性環路濾波器（adaptive loop filter，簡稱ALF）。
第8圖視訊編碼器700的基於多條參考線實現線性模型推導的部分。如圖所示，視訊源705提供輸入的亮度和色度樣本802和804，而重構圖片緩衝器750提供重構的亮度和色度樣本806。
色度預測模組810被應用於輸入亮度樣本802以生成色度預測子812。然後色度預測子812用於藉由減去輸入色度樣本804來產生色度預測殘差815。色度預測殘差訊號815被編碼（變換、幀間/幀內預測等）來代替常規色度樣本。
交叉分量預測模型820是用於當前塊的交叉分量預測（從亮度到色度）的線性模型。跨分量預測模型820的參數（例如，α和β）由模型推導模組840從與當前塊相鄰的一個或多條參考線的樣本導出。多條參考線的樣本由重構圖片緩衝器750提供作為重構的亮度和色度樣本806。參考線選擇模組830選擇參考線中的一條或多條作為要用於線性模型推導的亮度和色度樣本源。當至少兩條參考線被選擇時，這兩條參考線可以彼此相鄰，也可以不相鄰。所選擇的參考線的指示可以或可以不被提供給熵編碼器790以發送給解碼器。
在一些實施例中，模型推導模組840將來自多條不同參考線的樣本組合為一條融合樣本線。在一些實施例中，模型推導模組840可以在不應用下採樣濾波器的情況下對亮度樣本進行子採樣。
在一些實施例中，模型推導模組840對多條參考線推導多個候選線性模型825，使得每條參考線的亮度和色度樣本被用來推導一個對應的候選線性模型。跨分量預測模型820可以決定每個候選模型的成本以及識別最低成本候選模型（及其對應的參考線）。候選模型（以及因此相應的參考線）的成本可以是基於（i）由候選模型在當前塊的邊界處生成的色度預測樣本和（ii）與當前塊相鄰的重構的色度樣本計算的邊界匹配成本。
第9圖概念性地示出用於使用多條參考線來執行跨分量預測的處理900。在一些實施例中，實現編碼器700的計算設備的一個或多個處理單元（例如，處理器）藉由執行存儲在電腦可讀介質中的指令來執行處理900。在一些實施例中，實現編碼器700的電子裝置執行處理900。
編碼器接收（在塊910）像素塊的資料，該像素塊的資料將被編碼為當前圖片的當前塊。
編碼器基於來自一條或多條參考線的亮度和色度樣本來導出（在塊920）線性模型，所述一條或多條參考線從以不同距離與當前塊相鄰的多條參考線中選擇。在一些實施例中，選擇的參考線中的至少一條與當前塊的邊界相鄰。在一些實施例中，所選擇的參考線中的至少一條與當前塊的邊界不相鄰。在一些實施例中，僅一條選擇的參考線的亮度和色度樣本被用來導出線性模型。在一些實施例中，兩個或多條選擇的參考線的亮度和色度樣本被用來導出線性模型。兩條或多條選擇的參考線可以彼此相鄰，也可以彼此不相鄰。在一些實施例中，用於推導線性模型的亮度樣本和色度樣本可以具有相同或不同的選擇的參考線。在一些實施例中，用於推導線性模型的亮度樣本被子採樣，而不應用下採樣濾波處理，如參考第4圖所描述。
在一些實施例中，編碼器發送語法元素，該語法元素指示是否從多條參考線中選擇多於一條參考線以用於推導線性模型。在一些實施例中，從多條參考線中選擇的多條參考線基於當前塊的尺寸或用於當前塊的跨分量預測模式（例如，CCLM_A、CCLM_L、CCLM_LA）來決定。
在一些實施例中，多條參考線中的亮度樣本被組合成一行融合的亮度樣本，以及多條參考線中的色度樣本被組合到融合的色度樣本線上。線性模型基於融合亮度樣本線和融合色度樣本線而導出。每個融合樣本是包含多條參考線的視窗內樣本的加權平均值。
在一些實施例中，線性模型從多條參考線中選擇的具有最小邊界匹配成本的一條特定參考線的樣本中導出。參考線的邊界匹配成本基於（i）由參考線的候選模型預測的當前塊的邊界色度樣本（藉由將候選模型應用於當前塊的邊界亮度樣本）(ii)與當前塊相鄰的重構色度樣本之間的差值來決定。
編碼器將線性模型應用於（在塊930）當前塊的亮度樣本以獲得當前塊的色度預測樣本。編碼器藉由使用當前塊的色度預測樣本生成當前塊的色度預測殘差來對當前塊進行編碼（在塊940）。 Ⅴ 、示例視訊解碼器
在一些實施例中，編碼器可以發送（或生成）位元流中的一個或多個語法元素，使得解碼器可以從位元流中解析所述一個或多個語法元素。
第10圖展示可執行運動向量細化的實例視訊解碼器1000。如圖所示，視訊解碼器1000是圖像解碼或視訊解碼電路，該圖像解碼或視訊解碼電路接收位元流1095以及將位元流的內容解碼為視訊幀的像素資料以供顯示。視訊解碼器1000具有用於解碼位元流1095的若干組件或模組，包括選自以下的一些組件：逆量化模組1011、逆變換模組1010、幀內預測模組1025、運動補償模組1030、環路濾波器的1045、解碼圖片緩衝器1050、MV緩衝器1065、MV預測模組1075和解析器1090。運動補償模組1030是幀間預測模組1040的一部分。
在一些實施例中，模組1010-1090是由計算設備的一個或多個處理單元（例如，處理器）執行的軟體指令模組。在一些實施例中，模組1010-1090是由電子設備的一個或多個IC實現的硬體電路模組。儘管模組1010-1090被示為單獨的模組，但一些模組可以組合成單個模組。
解析器1090（或熵解碼器）接收位元流1095以及根據由視訊編碼或圖像編碼標準定義的語法執行初始解析。解析的語法元素包括各種報頭元素、標誌以及量化資料（或量化係數）1012。解析器1090藉由使用熵編解碼技術（例如上下文適應性二進位算術編解碼（context-adaptive binary arithmetic coding，簡稱CABAC）或霍夫曼編碼（Huffman encoding）解析出各種語法元素。
逆量化模組1011對量化資料（或量化係數）1012進行去量化以獲得變換係數，以及逆變換模組1010對變換係數1016進行逆變換以產生重構殘差訊號1019。重構殘差訊號1019與來自幀內預測模組1025或運動補償模組1030的預測像素資料1013相加以產生解碼像素資料1017。解碼像素資料由環路濾波器1045濾波以及存儲在解碼圖片緩衝器1050中。在一些實施例中，解碼圖片緩衝器1050是視訊解碼器1000外部的記憶體。在一些實施例中，解碼圖片緩衝器1050是視訊解碼器1000內部的記憶體。
幀內預測模組1025從位元流1095接收幀內預測資料，以及據此，從存儲在解碼圖片緩衝器1050中的解碼像素資料1017產生預測像素資料1013。在一些實施例中，解碼像素資料1017也被存儲在行緩衝器（未展示）中，用於幀內預測和空間MV預測。
在一些實施例中，解碼圖片緩衝器1050的內容用於顯示。顯示裝置1055或者獲取解碼圖像緩衝器1050的內容以直接顯示，或者獲取解碼圖像緩衝器的內容到顯示緩衝器。在一些實施例中，顯示裝置藉由像素傳輸從解碼圖片緩衝器1050接收像素值。
運動補償模組1030根據運動補償MV（MC MV）從解碼圖片緩衝器1050中存儲的解碼像素資料1017產生預測像素資料1013。藉由將從位元流1095接收的殘差運動資料與從MV預測模組1075接收的預測MV相加，這些運動補償MV被解碼。
MV預測模組1075基於為解碼先前視訊幀而生成的參考MV（例如，用於執行運動補償的運動補償MV）生成預測的MV。MV預測模組1075從MV緩衝器1065中獲取先前視訊幀的參考MV。視訊解碼器1000將用於解碼當前視訊幀而生成的運動補償MV存儲在MV緩衝器1065中作為用於產生預測MV的參考MV。
環路濾波器1045對解碼的像素資料1017執行濾波或平滑操作以減少編解碼的偽影，特別是在像素塊的邊界處。在一些實施例中，所執行的濾波操作包括樣本適應性偏移（sample adaptive offset，簡稱SAO）。在一些實施例中，濾波操作包括適應性環路濾波器（adaptive loop filter，簡稱ALF）。
第11圖展示視訊解碼器1000的部分，其實現基於多條參考線的線性模型推導。如圖所示，解碼圖片緩衝器1050將解碼的亮度和色度樣本提供給色度預測模組1110，色度預測模組1110藉由基於亮度樣本來色度預測樣本來產生用於顯示或輸出的重構色度樣本1135。
色度預測模組1110接收解碼的像素資料1017，其包括重構的亮度樣本1125和色度預測殘差1115。色度預測模組1110使用重構的亮度樣本1125來產生色度預測子1112。然後，色度預測子1112與色度預測殘差1115相加以產生重構的色度樣本1135。然後，重構的色度樣本1135被存儲在解碼圖片緩衝器1050中用於顯示以及供後續塊和圖片參考。
交叉分量預測模型1120是用於當前塊的交叉分量預測（從亮度到色度）的線性模型。跨分量預測模型1120的參數（例如，α和β）由模型推導模組1140從與當前塊相鄰的一個或多條參考線的樣本導出。多條參考線的樣本由解碼圖片緩衝器1050提供作為重構的亮度和色度樣本1106。參考線選擇模組1130選擇一條或多條參考線作為要用於線性模型推導的亮度和色度樣本源。當至少兩條參考線被選擇時，這兩條參考線可以彼此相鄰，也可以不相鄰。熵解碼器1090可以提供從位元流1095解析出的所選擇的參考線的指示。
在一些實施例中，模型推導模組1140將來自多個不同參考線的樣本組合為一條融合樣本線。在一些實施例中，模型推導模組1140可以在不應用下採樣濾波器的情況下對亮度樣本進行子採樣。
在一些實施例中，模型推導模組1140對多條參考線推導多個候選線性模型1125，使得每條參考線的亮度和色度樣本被用來推導一個對應的候選線性模型。跨分量預測模型1120可以決定每個候選模型的成本以及識別最低成本候選模型（及其對應的參考線）。候選模型（以及因此相應的參考線）的成本可以是基於（i）在當前塊的邊界處由候選模型生成的色度預測樣本以及（ii）與當前塊相鄰的重構的色度樣本計算的邊界匹配成本。
第12圖概念性地示出用於使用多條參考線來執行交叉分量預測的處理1200。在一些實施例中，實現解碼器1000的計算設備的一個或多個處理單元（例如，處理器）藉由執行存儲在電腦可讀介質中的指令來執行處理1200。在一些實施例中，實現解碼器1000的電子裝置執行處理1200。
解碼器接收（在塊1210）像素塊的資料，該像素塊的資料將被解碼為當前圖片的當前塊。
解碼器基於來自一條或多條參考線的亮度和色度樣本導出（在塊1220）線性模型，所述一條或多條參考線從以不同距離與當前塊相鄰的多條參考線中選擇。在一些實施例中，所選擇的參考線中的至少一條與當前塊的邊界相鄰。在一些實施例中，所選擇的參考線中的至少一條與當前塊的邊界不相鄰。在一些實施例中，僅一條選擇的參考線的亮度和色度樣本被用來導出線性模型。在一些實施例中，兩條或多條選擇的參考線的亮度和色度樣本被用來導出線性模型。兩條或多條選擇的參考線可以彼此相鄰，也可以不相鄰。在一些實施例中，用於推導線性模型的亮度樣本和色度樣本可以具有相同或不同的選擇的參考線。在一些實施例中，用於推導線性模型的亮度樣本被子採樣，而不應用下採樣濾波處理，如參考上述第4圖所描述。
在一些實施例中，解碼器接收語法元素，該語法元素指示是否從多條參考線中選擇多於一條參考線以用於推導線性模型。在一些實施例中，從多條參考線中選擇的多條參考線基於當前塊的尺寸或用於當前塊的跨分量預測模式（例如，CCLM_A、CCLM_L、CCLM_LA)來決定。
在一些實施例中，多條參考線中的亮度樣本被組合成一行融合的亮度樣本，以及多條參考線中的色度樣本被組合到融合的色度樣本線上。線性模型基於融合的亮度樣本線和融合色度樣本線而導出。每個融合樣本是包含多條參考線的視窗內樣本的加權平均值。
在一些實施例中，線性模型從多條參考線中選擇的具有最小邊界匹配成本的一條特定參考線的樣本中導出。參考線的邊界匹配成本基於（i）由參考線的候選模型預測的當前塊的邊界色度樣本（藉由將候選模型應用於當前塊的邊界亮度樣本）和（ii）與當前塊相鄰的重構色度樣本之間的差值來決定。
解碼器將線性模型應用於（在塊1230）當前塊的亮度樣本以獲得當前塊的色度預測樣本。解碼器藉由使用當前塊的色度預測樣本（以與色度預測殘差組合）來重構（在塊1240）當前塊。解碼器然後可以提供重構的當前塊以作為重構的當前圖片的一部分進行顯示。 Ⅵ 、示例電子系統
許多上述特徵和應用被實現為軟體處理，這些軟體處理被指定為記錄在電腦可讀存儲介質（也稱為電腦可讀介質）上的一組指令。當這些指令由一個或多個計算或處理單元（例如，一個或多個處理器、處理器內核或其他處理單元）執行時，它們使處理單元執行指令中指示的動作。電腦可讀介質的示例包括但不限於唯讀光碟驅動器（compact disc read-only memory，簡稱CD-ROM）、快閃記憶體驅動器、隨機存取記憶體（random-access memroy，簡稱RAM）晶片、硬碟驅動器、可擦除可程式設計唯讀記憶體（erasable programmble read-only memory，簡稱EPROM）、電可擦除可程式設計唯讀記憶體 （electrically erasable proagrammble read-only memory，簡稱EEPROM）等。電腦可讀介質不包括藉由無線或有線連接傳遞的載波和電子訊號。
在本說明書中，術語“軟體”意在包括駐留在唯讀記憶體中的韌體或存儲在磁記憶體中的應用程式，其可以讀入記憶體以供處理器處理。此外，在一些實施例中，多個軟體發明可以實現為更大程式的子部分，同時保留不同的軟體發明。在一些實施例中，多個軟體發明也可以實現為單獨的程式。最後，共同實現此處描述的軟體發明的單獨程式的任一組合都在本公開的範圍內。在一些實施例中，軟體程式，在被安裝以在一個或多個電子系統上運行時，定義一個或多個特定機器實施方式，該實施方式處理和執行軟體程式的操作。
第13圖概念性地展示了實現本公開的一些實施例的電子系統1300。電子系統1300可以是電腦（例如，臺式電腦、個人電腦、平板電腦等）、電話、PDA或任一其他類型的電子設備。這種電子系統包括各種類型的電腦可讀介質和用於各種其他類型的電腦可讀介質的介面。電子系統1300包括匯流排1305，處理單元1310，圖形處理單元（graphics-processing unit，簡稱GPU）1315，系統記憶體1320，網路1325，唯讀記憶體1330，永久存放設備1335，輸入設備1340，和輸出設備1345。
匯流排1305共同表示與電子系統1300通訊連接的眾多內部設備的所有系統、週邊設備和晶片組匯流排。例如，匯流排1305將處理單元1310與GPU 1315，唯讀記憶體1330，系統記憶體1320和永久存放設備1335通訊地連接。
處理單元1310從這些各種記憶體單元中獲取要執行的指令和要處理的資料，以便執行本公開的處理。在不同的實施例中，處理單元可以是單個處理器或多核處理器。一些指令被傳遞到GPU 1315並由其執行。GPU 1315可以卸載各種計算或補充由處理單元1310提供的影像處理。
唯讀記憶體（read-only-memory，簡稱ROM）1330存儲由處理單元1310和電子系統的其他模組使用的靜態資料和指令。另一方面，永久存放設備1335是讀寫存放設備。該設備是即使在電子系統1300關閉時也存儲指令和資料的非易失性存儲單元。本公開的一些實施例使用大容量記憶裝置（例如磁片或光碟及其對應的磁碟機）作為永久存放設備1335。
其他實施例使用卸載式存放裝置設備（例如軟碟、快閃記憶體設備等，及其對應的磁碟機）作為永久存放設備。與永久存放設備1335一樣，系統記憶體1320是讀寫記憶體設備。然而，與永久存放設備1335不同，系統記憶體1320是易失性（volatile）讀寫記憶體，例如隨機存取記憶體。系統記憶體1320存儲處理器在運行時使用的一些指令和資料。在一些實施例中，根據本公開的處理被存儲在系統記憶體1320、永久存放設備1335和/或唯讀記憶體1330中。例如，根據本公開的一些實施例，各種記憶體單元包括用於根據處理多媒體剪輯的指令。從這些各種記憶體單元中，處理單元1310獲取要執行的指令和要處理的資料，以便執行一些實施例的處理。
匯流排1305還連接到輸入設備1340和輸出設備1345。輸入設備1340使使用者能夠向電子系統傳達資訊和選擇命令。輸入設備1340包括字母數位元元鍵盤和定點設備（也被稱為“遊標控制設備”）、照相機（例如，網路攝像頭）、麥克風或用於接收語音命令的類似設備等。輸出設備1345顯示由電子系統生成的圖像或者輸出資料。輸出設備1345包括印表機和顯示裝置，例如陰極射線管（cathode ray tubes，簡稱CRT）或液晶顯示器（liquid crystal display，簡稱LCD），以及揚聲器或類似的音訊輸出設備。一些實施例包括用作輸入和輸出設備的設備，例如觸控式螢幕。
最後，如第13圖所示，匯流排1305還藉由網路介面卡（未展示）將電子系統1300耦合到網路1325。以這種方式，電腦可以是電腦網路（例如局域網（“LAN”）、廣域網路（“WAN”）或內聯網的一部分，或者是多種網路的一個網路，例如互聯網。電子系統1300的任一或所有組件可以與本公開結合使用。
一些實施例包括電子組件，例如微處理器、存儲裝置和記憶體，其將電腦程式指令存儲在機器可讀或電腦可讀介質（或者被稱為電腦可讀存儲介質、機器可讀介質或機器可讀存儲介質）中。這種電腦可讀介質的一些示例包括RAM、ROM、唯讀光碟（read-only compact discs，簡稱CD-ROM）、可記錄光碟（recordable compact discs，簡稱CD-R）、可重寫光碟（rewritable compact discs，簡稱CD-RW）、唯讀數位多功能光碟（read-only digital versatile discs）（例如, DVD-ROM, 雙層DVD-ROM）, 各種可燒錄/可重寫DVD （例如, DVD-RAM, DVD-RW, DVD+RW等）, 快閃記憶體 （例如, SD卡, 迷你SD卡、微型SD卡等）、磁性和/或固態硬碟驅動器、唯讀和可記錄Blu-Ray®光碟、超密度光碟、任一其他光學或磁性介質以及軟碟。電腦可讀介質可以存儲可由至少一個處理單元執行以及包括用於執行各種操作的指令集合的電腦程式。電腦程式或電腦代碼的示例包括諸如由編譯器產生的機器代碼，以及包括由電腦、電子組件或使用注釋器（interpreter）的微處理器執行的高級代碼的文檔。
雖然上述討論主要涉及執行軟體的微處理器或多核處理器，但許多上述特徵和應用由一個或多個積體電路執行，例如專用積體電路（application specific integrated circuit，簡稱ASIC）或現場可程式設計閘陣列（field programmable gate array，簡稱FPGA）。在一些實施例中，這樣的積體電路執行存儲在電路本身上的指令。此外，一些實施例執行存儲在可程式設計邏輯器件（programmable logic device，簡稱PLD）、ROM或RAM器件中的軟體。
如在本說明書和本申請的任一申請專利範圍中使用的，術語“電腦”、“伺服器”、“處理器”和“記憶體”均指電子或其他技術設備。這些術語不包括人或人群。出於本說明書的目的，術語顯示或顯示是指在電子設備上顯示。如在本說明書和本申請的任何申請專利範圍中所使用的，術語“電腦可讀介質”、“電腦可讀介質”和“機器可讀介質”完全限於以電腦可讀形式存儲資訊的有形物理物件。這些術語不包括任何無線訊號、有線下載訊號和任何其他短暫訊號。
雖然已經參考許多具體細節描述了本公開，但是本領域之通常知識者將認識到，本公開可以以其他特定形式實施而不背離本公開的精神。此外，許多圖（包括 第 9 圖和 第 12 圖）概念性地說明瞭處理。這些處理的具體操作可能不會按照所示和描述的確切循序執行。具體操作可以不是在一個連續的一系列操作中執行，在不同的實施例中可以執行不同的具體操作。此外，該處理可以使用幾個子處理來實現，或者作為更大的宏處理的一部分來實現。因此，本領域之通常知識者將理解本公開不受前述說明性細節的約束，而是由所附申請專利範圍限定。 補充說明
本文所描述的主題有時表示不同的組件，其包含在或者連接到其他不同的組件。可以理解的是，所描述的結構僅是示例，實際上可以由許多其他結構來實施，以實現相同的功能，從概念上講，任何實現相同功能的組件的排列實際上是“相關聯的”，以便實現所需功能。因此，不論結構或中間部件，為實現特定的功能而組合的任何兩個組件被視為“相互關聯”，以實現所需的功能。同樣，任何兩個相關聯的組件被看作是相互“可操作連接”或“可操作耦接”，以實現特定功能。能相互關聯的任何兩個組件也被視為相互“可操作地耦接”，以實現特定功能。能相互關聯的任何兩個組件也被視為相互“可操作地耦合”以實現特定功能。可操作連接的具體例子包括但不限於物理可配對和/或物理上相互作用的組件，和/或無線可交互和/或無線上相互作用的組件，和/或邏輯上相互作用和/或邏輯上可交互的組件。
此外，關於基本上任何複數和/或單數術語的使用，本領域之通常知識者可以根據上下文和/或應用從複數變換為單數和/或從單數到複數。為清楚起見，本發明明確闡述了不同的單數/複數排列。
此外，本領域之通常知識者可以理解，通常，本發明所使用的術語特別是申請專利範圍中的，如申請專利範圍的主題，通常用作“開放”術語，例如，“包括”應解釋為“包括但不限於”，“有”應理解為“至少有”“包括”應解釋為“包括但不限於”等。本領域之通常知識者可以進一步理解，若計畫介紹特定數量的申請專利範圍內容，將在申請專利範圍內明確表示，並且，在沒有這類內容時將不顯示。例如，為幫助理解，下面申請專利範圍可能包含短語“至少一個”和“一個或複數個”，以介紹申請專利範圍的內容。然而，這些短語的使用不應理解為暗示使用不定冠詞“一個”或“一種”介紹申請專利範圍內容，而約束了任何特定神專利範圍。甚至當相同的申請專利範圍包括介紹性短語“一個或複數個”或“至少有一個”，不定冠詞，例如“一個”或“一種”，則應被解釋為表示至少一個或者更多，對於用於介紹申請專利範圍的明確描述的使用而言，同樣成立。此外，即使明確參考特定數量的介紹性內容，本領域之通常知識者可以認識到，這樣的內容應被解釋為表示所參考的數量，例如，沒有其他修改的“兩個參考”，意味著至少兩個參考，或兩個或兩個以上的參考。此外，在使用類似於“A、B和C中的至少一個”的表述的情況下，通常如此表述是為了本領域之通常知識者可以理解該表述，例如，“系統包括A、B和C中的至少一個”將包括但不限於單獨具有A的系統，單獨具有B的系統，單獨具有C的系統，具有A和B的系統，具有A和C的系統，具有B和C的系統，和/或具有A、B和C的系統等。本領域之通常知識者進一步可理解，無論在説明書中，申請專利範圍中或者附圖中，由兩個或兩個以上的替代術語所表現的任何分隔的單詞和/或短語應理解為，包括這些術語中的一個，其中一個，或者這兩個術語的可能性。例如，“A或B”應理解為，“A”，或者“B”，或者“A和B”的可能性。
從前述可知，出於説明目的，本發明已描述了各種實施方案，並且在不偏離本發明的範圍和精神的情況下，可以進行各種變形。因此，此處所公開的各種實施方式不用於約束，真實的範圍和申請由申請專利範圍表示。
100:當前塊 300:當前塊 311:參考線 312:參考線 313:參考線 500:當前塊 511:參考線 512:參考線 513:參考線 600:當前塊 605:邊界樣本 611:參考線 612:參考線 613:參考線 620:相鄰範本 631:候選模型 632:候選模型 633:候選模型 700:編碼器 705:視訊源 708:減法器 709:預測殘差 710:變換模組 711:量化模組 712:變換係數 713:預測像素資料 714:逆量化模組 715:逆變換模組 716:變換係數 717:重構的像素資料 719:重構殘差 720:幀內估計模組 725:幀內預測模組 730:運動補償模組 735:運動估計模組 740:幀間預測模組 745:環路濾波器 750:重構圖片緩衝器 765:MV緩衝器 775:MV預測模組 795:位元流 802:亮度樣本 804:色度樣本 806:重構的亮度和色度樣本 810:色度預測模組 815:色度預測殘差 820:跨分量預測模型 825:候選線性模型 830:參考線選擇模組 840:模型推導模組 900:處理 910、920、930、940:步驟 1000:視訊解碼器 1010:逆變換模組 1011:逆量化模組 1012:量化資料 1013:預測像素資料 1016:變換係數 1017:解碼像素資料 1019:重構殘差訊號 1025:幀內預測模組 1030:運動補償模組 1040:幀間預測模組 1050:解碼圖片緩衝器 1055:顯示裝置 1065:MV緩衝器 1075:MV預測模組 1090:熵解碼器 1095:位元流 1106:重構的亮度和色度樣本 1110:色度預測模組 1112:色度預測子 1115:色度預測殘差 1120:跨分量預測模型 1125:候選線性模型 1130:參考線選擇模組 1135:重構的色度樣本 1200:處理 1210、1220、1230、1240:步驟 1300:電子系統 1305:匯流排 1310:處理單元 1315:GPU 1320:系統記憶體 1325:網路 1330:唯讀記憶體 1335:永久存放設備 1340:輸入設備 1345:輸出設備
附圖被包括以提供對本公開的進一步理解並且被併入並構成本公開的一部分。附圖說明瞭本公開的實施方式，並且與描述一起用於解釋本公開的原理。值得注意的是，附圖不一定是按比例繪製的，因為在實際實施中特定組件可能被顯示為與大小不成比例，以便清楚地說明本公開的概念。 第1圖概念性地示出用於推導線性模型參數的色度和亮度樣本。 第2圖示出將相鄰樣本分為兩組的示例。 第3圖示出用於交叉分量預測的當前塊的多條參考線。 第4圖示出使用亮度和色度樣本來導出模型參數，而無需進行亮度子採樣。 第5A-5B圖概念性地示出將多條相鄰參考線組合成一條線以導出用於跨分量預測的模型參數。 第6圖概念性地示出當前塊的參考線的隱式選擇。 第7圖示出可以實現跨分量預測的示例視訊編碼器。 第8圖示出視訊編碼器的基於多條參考線實現線性模型推導的部分。 第9圖概念性地示出使用多條參考線來執行跨分量預測的處理。 第10圖示出可以實現跨分量預測的示例視訊解碼器。 第11圖示出視訊解碼器的基於多條參考線實現線性模型推導的部分。 第12圖概念性地示出使用多條參考線來執行跨分量預測的處理。 第13圖概念性地示出用於實現本公開的一些實施例的電子系統。
1200:處理
1210、1220、1230、1240:步驟

Claims (17)

  1. 一種視訊編解碼方法，包括： 接收一像素塊的資料，該像素塊的資料將被編碼或解碼為一當前圖片的一當前塊； 基於來自一條或多條參考線的多個亮度樣本和多個色度樣本導出一線性模型，該一條或多條參考線從以不同距離與該當前塊相鄰的多條參考線中選擇； 將該線性模型應用於該當前塊的多個亮度樣本以獲得該當前塊的多個色度預測樣本；以及 使用該當前塊的該等色度預測樣本對該當前塊進行編碼或解碼。
  2. 如請求項1所述之視訊編解碼方法，其中，該線性模型使用僅一條選擇的參考線的多個亮度樣本和多個色度樣本導出。
  3. 如請求項1所述之視訊編解碼方法，其中，該線性模型使用兩條或多條選擇的參考線的多個亮度樣本和多個色度樣本導出。
  4. 如請求項3所述之視訊編解碼方法，其中，該兩條或多條選擇的參考線彼此相鄰。
  5. 如請求項3所述之視訊編解碼方法，其中，該兩條或多條選擇的參考線彼此不相鄰。
  6. 如請求項1所述之視訊編解碼方法，其中，所選擇的該等參考線中的至少一條參考線與該當前塊的一邊界相鄰。
  7. 如請求項1所述之視訊編解碼方法，其中，所選擇的該等參考線中的至少一條參考線與該當前塊的一邊界不相鄰。
  8. 如請求項1所述之視訊編解碼方法，其中，用於推導該線性模型的該等亮度樣本源於一第一選擇的參考線，以及用於推導該線性模型的chrosamples源於一第二選擇的參考線，該第二選擇的參考線與該第一選擇的參考線不同。
  9. 如請求項1所述之視訊編解碼方法，其中，用於推導該線性模型的該等亮度樣本和該等色度樣本源自相同的一選擇的參考線。
  10. 如請求項1所述之視訊編解碼方法，其中，用於推導該線性模型的該等亮度樣本在不使用一濾波器的情況下進行子採樣。
  11. 如請求項1所述之視訊編解碼方法，其中，該等參考線中的該等亮度樣本被組合成一融合的亮度樣本線，以及該等參考線中的該等色度樣本被組合成一融合的色度樣本線，其中，該線性模型基於該融合的亮度樣本線和該融合的色度樣本線導出，其中每個融合的樣本是包含多條參考線的一視窗內的多個樣本的一加權平均值。
  12. 如請求項1所述之視訊編解碼方法，還包括接收或發送一語法元素，該語法元素指示是否從該等參考線中選擇多於一條參考線以導出該線性模型。
  13. 如請求項1所述之視訊編解碼方法，其中，該線性模型從該等參考線中選擇的具有一最小邊界匹配成本的一條特定參考線的多個樣本導出，其中一參考線的一邊界匹配成本基於(i)由該參考線的一候選模型預測的該當前塊的多個邊界色度樣本以及(ii)與該當前塊相鄰的多個重構色度樣本之間的一差值決定。
  14. 如請求項1所述之視訊編解碼方法，其中，從多條參考線中決定該等參考線是基於該當前塊的一尺寸或用於該當前塊的一跨分量預測（CCLM_A、CCLM_L、CCLM_LA）的模式。
  15. 一種電子設備，包括： 一視訊編解碼器電路被配置為執行多個操作，包括： 接收一像素塊的資料，該像素塊的資料將被編碼或解碼為一當前圖片的一當前塊； 基於來自一條或多條參考線的多個亮度樣本和多個色度樣本導出一線性模型，該一條或多條參考線從以不同距離與該當前塊相鄰的多條參考線中選擇； 將該線性模型應用於該當前塊的多個亮度樣本以獲得該當前塊的多個色度預測樣本；以及 使用該當前塊的該等色度預測樣本對該當前塊進行編碼或解碼。
  16. 一種視訊解碼方法，包括： 接收一像素塊的資料，該像素塊的資料將被解碼為一當前圖片的一當前塊； 基於來自一條或多條參考線的多個亮度樣本和多個色度樣本導出一線性模型，該一條或多條參考線從以不同距離與該當前塊相鄰的多條參考線中選擇； 將該線性模型應用於該當前塊的多個亮度樣本以獲得該當前塊的多個色度預測樣本；以及 使用該當前塊的該等色度預測樣本對該當前塊進行重構。
  17. 一種視訊編碼方法，包括： 接收一像素塊的資料，該像素塊的資料將被編碼為一當前圖片的一當前塊； 基於來自一條或多條參考線的多個亮度樣本和多個色度樣本導出一線性模型，該一條或多條參考線從以不同距離與該當前塊相鄰的多條參考線中選擇； 將該線性模型應用於該當前塊的多個亮度樣本以獲得該當前塊的多個色度預測樣本；以及 使用該當前塊的該等色度預測樣本對該當前塊進行編碼。
TW112115578A 2022-04-26 2023-04-26 視訊編解碼方法及其裝置 TW202349952A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263334733P 2022-04-26 2022-04-26
US63/334,733 2022-04-26
PCT/CN2023/090940 WO2023208063A1 (en) 2022-04-26 2023-04-26 Linear model derivation for cross-component prediction by multiple reference lines
WOPCT/CN2023/090940 2023-04-26

Publications (1)

Publication Number Publication Date
TW202349952A true TW202349952A (zh) 2023-12-16

Family

ID=88517835

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112115578A TW202349952A (zh) 2022-04-26 2023-04-26 視訊編解碼方法及其裝置

Country Status (2)

Country Link
TW (1) TW202349952A (zh)
WO (1) WO2023208063A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10419754B1 (en) * 2018-04-02 2019-09-17 Tencent America LLC Method and apparatus for video decoding using multiple line intra prediction
WO2020149630A1 (ko) * 2019-01-15 2020-07-23 엘지전자 주식회사 영상 코딩 시스템에서 cclm 예측 기반 영상 디코딩 방법 및 그 장치
CN113994665A (zh) * 2019-03-12 2022-01-28 北京达佳互联信息技术有限公司 采用多模型线性模型的视频编码
US20220264098A1 (en) * 2019-08-22 2022-08-18 Lg Electronics Inc. Image decoding method using chroma quantization parameter, and apparatus therefor

Also Published As

Publication number Publication date
WO2023208063A1 (en) 2023-11-02

Similar Documents

Publication Publication Date Title
US11297320B2 (en) Signaling quantization related parameters
US20200059659A1 (en) Shared Candidate List
US11936890B2 (en) Video coding using intra sub-partition coding mode
TW202349952A (zh) 視訊編解碼方法及其裝置
WO2023198187A1 (en) Template-based intra mode derivation and prediction
WO2024016955A1 (en) Out-of-boundary check in video coding
WO2024146511A1 (en) Representative prediction mode of a block of pixels
TWI832602B (zh) 轉換係數符號的熵編碼
WO2023143173A1 (en) Multi-pass decoder-side motion vector refinement
WO2023193769A1 (en) Implicit multi-pass decoder-side motion vector refinement
WO2023236916A1 (en) Updating motion attributes of merge candidates
WO2024037641A1 (en) Out-of-boundary reference block handling
WO2024037645A1 (en) Boundary sample derivation in video coding
TW202406348A (zh) 視訊編解碼方法及其裝置
WO2023131299A1 (en) Signaling for transform coding
WO2024017006A1 (en) Accessing neighboring samples for cross-component non-linear model derivation
WO2023217235A1 (en) Prediction refinement with convolution model
TW202341740A (zh) 視訊編解碼方法及其電子裝置
TW202341736A (zh) 視訊編解碼方法及裝置
WO2023174426A1 (en) Geometric partitioning mode and merge candidate reordering
WO2023241340A1 (en) Hardware for decoder-side intra mode derivation and prediction
WO2023241347A1 (en) Adaptive regions for decoder-side intra mode derivation and prediction
WO2024027566A1 (en) Constraining convolution model coefficient
TW202349953A (zh) 視訊編解碼方法及其裝置
WO2023198105A1 (en) Region-based implicit intra mode derivation and prediction