TW202406350A - 統一的交叉分量模型推導 - Google Patents

統一的交叉分量模型推導 Download PDF

Info

Publication number
TW202406350A
TW202406350A TW112126042A TW112126042A TW202406350A TW 202406350 A TW202406350 A TW 202406350A TW 112126042 A TW112126042 A TW 112126042A TW 112126042 A TW112126042 A TW 112126042A TW 202406350 A TW202406350 A TW 202406350A
Authority
TW
Taiwan
Prior art keywords
samples
model
codec
encoding
current block
Prior art date
Application number
TW112126042A
Other languages
English (en)
Inventor
莊政彥
蔡佳銘
陳慶曄
莊子德
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202406350A publication Critical patent/TW202406350A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

視頻編解碼器接收複數個編解碼工具中的一個編解碼工具的選擇。該視頻編解碼器根據編解碼工具的選擇，指定回歸資料集。該指定的回歸資料集從參考塊或當前塊內或鄰近的分量樣本中選擇。該視頻編解碼器根據編解碼工具的選擇，指定卷積模型的配置。該卷積模型是可配置的，以支援每個該編解碼工具。該視頻編解碼器根據指定的配置，通過應用回歸資料集，得出該卷積模型的參數。該視頻編解碼器將具有生成的參數的該卷積模型應用於參考分量樣本集，以獲得預測分量樣本集。該視頻編解碼器通過使用該預測分量樣本對當前塊進行編碼或解碼。

Description

統一的交叉分量模型推導
本申請涉及視頻編解碼。特別是，本申請涉及通過交叉分量模型對圖元進行編解碼的方法。
除非本文另有說明，本節所述的方法不是針對下文所列的申請專利範圍的現有技術，並且不因包含在本節中而被承認為現有技術。
高效視頻編碼（HEVC）是由視頻編碼聯合協作小組（JCT-VC）制定的國際視頻編碼標準。HEVC是基於基於混合塊的運動補償DCT類轉換編碼架構。壓縮的基本單元，稱為編碼單元（CU），是一個2Nx2N的正方形塊，每個CU可以遞迴地分割成四個更小的CU，直到達到預定的最小尺寸。每個CU包含一個或複數個預測單元（PU）。
多功能視頻編碼（VVC）是由ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的聯合視頻專家小組（JVET）制定的最新國際視頻編碼標準。輸入的視訊訊號是從重建訊號中預測出來的，而重建訊號是由編碼的圖片區域得出的。預測的殘餘訊號由塊變換處理。變換係數被量化，並與位元流中的其他側資訊一起進行熵編碼。重構訊號是由預測訊號和重建殘餘訊號在對去量化的變換係數進行反變換後產生的。重構訊號通過環內濾波進一步處理，以消除編碼偽影。解碼後的圖片被存儲在幀緩衝器中，用於預測輸入視訊訊號中未來的圖片。
在VVC中，編碼圖片被劃分為非重疊的方形塊區域，由相關的編碼樹單元（CTU）表示。編碼樹的葉節點對應於編碼單元（CU）。編碼圖片可以用切片的集合來表示，每個切片包括整數個的CTU。切片中的各個CTU是按光柵掃描連續處理的。雙預測（B）片可以使用幀內預測或幀間預測進行解碼，最多使用兩個運動向量和參考索引來預測每個塊的樣本值。預測（P）片使用幀內預測或幀間預測進行解碼，最多使用一個運動向量和參考索引來預測每個塊的樣本值。內部（I）片僅使用幀內預測進行解碼。
CTU可以使用具有嵌套多類型樹（MTT）結構的四叉樹（QT）被分割成一個或複數個不重疊的編碼單元（CU），以適應各種局部運動和紋理特徵。CU可以使用五種分割類型之一進一步分割成更小的CU：四叉樹分割、垂直二叉樹分割、水平二叉樹分割、垂直中心側三叉樹分割、水平中心側三叉樹分割。
每個CU包含一個或複數個預測單元（PU）。預測單元與相關的CU語法一起，作為訊號預測器資訊的基本單元工作。採用指定的預測過程來預測PU內相關圖元樣本的值。每個CU可以包含一個或複數個轉換單元（TU），用於表示預測殘餘塊。變換單元（TU）由一個亮度樣本的變換塊（TB）和兩個相應的色度樣本的變換塊組成，每個TB對應一個顏色分量的樣本殘餘塊。整數轉換被應用於轉換塊。量化係數的電平值與其他側面資訊一起在位元流中進行熵編碼。術語編碼樹塊（CTB）、編碼塊（CB）、預測塊（PB）、和變換塊（TB）被分別定義為指定與CTU、CU、PU、和TU相關的單色分量的二維樣本陣列。因此，CTU由一個亮度CTB、兩個色度CTB、和相關的語法元素組成。類似的關係適用於CU、PU和TU。
對於每個幀間預測的CU，由運動向量、參考圖片索引、參考圖片清單使用索引、以及附加資訊組成的運動參數被用於幀間預測的樣本生成。該運動參數可以以顯式或隱式方式發出訊號。當CU被編碼為跳過模式時，該CU與一個PU相關，並且沒有顯著的殘餘係數，沒有編碼的運動向量增量或參考圖片索引。規定了一種合併模式，其中，當前CU的運動參數從鄰近的CU中獲得，包括空間和時間上的候選以及VVC中引入的附加時間表。該合併模式可以應用於任何幀間預測的CU。該合併模式的替代方案是運動參數的顯式傳輸，其中運動向量、每個參考圖片清單的相應參考圖片索引、參考圖片清單使用標誌、以及其他需要的資訊在每個CU中顯式地發出訊號。
下面的總結只是說明性的，不旨在以任何方式進行限制。也就是說，提供以下發明內容是為了介紹本文所述的新穎和非顯而易見的技術的概念、亮點、益處、和優點。下面的詳細描述中會進一步描述選擇的和並非所有的實施方案。因此，下面的發明內容並不旨在確定所要求的主題的基本特徵，也不旨在用於確定所要求的主題的範圍。
本申請的一些實施例提供了一種推導和使用統一的卷積模型的方法，該模型可針對不同的編解碼工具進行配置。視頻編解碼器接收收在複數個編解碼工具中選擇一個編解碼工具的選擇結果。視頻編解碼器根據編解碼工具的選擇，指定回歸資料集。指定的回歸資料集從參考塊或當前塊內或鄰近的分量樣本中選擇。視頻編解碼器根據編碼工具的選擇，指定卷積模型的配置。卷積模型是可配置的，以支援該複數個編解碼工具中的每一個編解碼工具。視頻編解碼器根據指定的配置，通過應用回歸資料集，得出卷積模型的參數。視頻編解碼器將具有生成的參數的卷積模型應用於參考分量樣本集以獲得預測分量樣本集。視頻編解碼器通過使用預測分量樣本對當前塊進行編碼或解碼。
在一些實施例中，該卷積模型是包括濾波器的高階模型，該濾波器具有兩個以上的濾波器抽頭。該卷積模型的該參數是通過使用統一的求解器獲得的，該求解器用於求解該複數個編解碼工具的矩陣方程；其中，該矩陣方程用Ax=b表示，A是自相關矩陣，b是交叉相關向量，x是待求解的該參數。該統一的求解器可以使用基於消除的方法、基於分解的方法、或基於反覆運算的方法來確定該卷積模型的最佳向量，作為該卷積模型的該參數的解決方案。
在一些實施例中，該回歸資料集是從與該當前塊相鄰的複數條參考行的統一範圍中選擇的，該統一範圍是複數個編解碼工具所共有的。在一些實施例中，不同編解碼工具的回歸資料是從該統一範圍內相同數量的參考行中選擇的。在一些實施例中，該複數條參考行的該統一範圍被存儲在該複數個編解碼工具使用的行緩衝器中。該回歸資料集選自被分為複數個參考樣本組的參考樣本，不同編解碼工具的回歸資料選自不同的參考樣本組。
在一些實施例中，當該回歸資料集包括無效樣本時，視頻編解碼器執行該複數個編解碼工具共有的統一行動。無效樣本是指超出限制邊界或被該複數個編解碼工具中的至少一個所禁止的樣本。
在下面的詳細描述中，通過示例闡述了許多具體細節，以提供對相關教義的全面理解。基於本文所述教義的任何變化、衍生、和/或擴展都在本申請的保護範圍內。在某些情況下，與本文披露的一個或複數個示例實施方案有關的眾所周知的方法、程式、元件、和/或電路可以在相對較高的水準上進行描述，而不進行詳細說明，以避免不必要地掩蓋本披露的教義的各個方面 I.   交叉分量線性模型（CCLM）
交叉分量線性模型（CCLM）或線性模型（LM）模式是一種交叉分量預測模式，其中通過線性模型從並置的重建亮度（Luma）樣本中預測出塊的色度分量。線性模型的參數（例如，縮放和偏移）從已經重建的與該塊相鄰的亮度和色度（Chroma）樣本推導。例如，在VVC中，CCLM模式利用通道間的依存關係，從重建的亮度樣本中預測色度樣本。這種預測是使用以下形式的線性模型進行的： (1)
公式（1）中的 代表CU中的預測色度樣本（或當前CU的預測色度樣本）， 代表同一CU的下採樣重建的亮度樣本（或當前CU的相應重建的亮度樣本）。
CCLM模型參數α（縮放參數）和β（偏移參數）是根據最多四個相鄰的色度樣本和它們相應的下採樣的亮度樣本得出的。在LM_A模式下（也表示為LM-T模式），只有上側或頂部相鄰的範本被用來計算線性模型係數。在LM_L模式下（也表示為LM-L模式），只有左側範本被用來計算線性模型係數。在LM-LA模式（也表示為LM-LT模式）中，左側和上側的範本都被用來計算線性模型係數。
第1圖概念性地說明了用於推導線性模型參數的色度和亮度樣本。該圖式示出了具有4:2:0格式的亮度分量樣本和色度分量樣本的當前塊100。與當前塊相鄰的亮度和色度樣本是重建樣本。這些重建樣本被用來得出交叉分量的線性模型（參數α和β）。由於當前塊為4:2:0格式，在用於線性模型推導之前，先對亮度樣本進行下採樣。在這個示例中，有16對重建的亮度（下採樣）和色度樣本與當前塊相鄰。這16對的亮度與色度值被用來推導線性模型參數。
假設當前的色度塊尺寸為W×H，那麼W'和H'被設定為： -當應用LM-LT模式時，W'=W，H'=H； -當應用LM-T模式時，W'=W+H； -當應用LM-L模式時，H'=H+W。
上側相鄰位置表示為S[0, -1]...S[W' -1, -1]，左側相鄰位置表示為S[-1, 0]... S[-1, H' -1]。然後選擇四個樣本為： -當應用LM模式時（上側和左側的相鄰樣本都可用），S[W'/4, -1], S[3*W'/4, -1], S[-1, H'/4], S[-1, 3*H'/4]； -當應用LM-T模式時（只有上側的相鄰樣本可用），S[W'/8, -1], S[3*W'/8, -1], S[5*W'/8, -1], S[7*W'/8, -1]； -當應用LM-L模式時（只有左側的相鄰樣本可用），S[-1, H'/8], S[-1, 3*H'/8], S[-1, 5*H'/8], S[-1, 7*H'/8]；
選定位置的四個相鄰的亮度樣本被下採樣，並進行四次比較，找到兩個較大的值：x 0 A和x 1 A，以及兩個較小的值：x 0 B和x 1 B。它們對應的色度樣本值被表示為y 0 A、y 1 A、y 0 B、和y 1 B。然後，X A、X B、Y A、和Y B被推導為： X a= (x 0A+ x 1A+1)＞＞1; X b=(x 0B+ x 1B+1)＞＞1                                      (2) Y a= (y 0A+ y 1A+1)＞＞1; Y b=(y 0B+ y 1B+1)＞＞1                                      (3)
線性模型參數α和β，根據以下公式得到： (4) (5)
根據公式（4）和（5）計算α和β參數的操作可以通過查閱資料表來實現。在一些實施例中，為了減少存儲查閱資料表所需的記憶體，diff值（最大值和最小值之差）和參數α，用指數符號表示。例如，diff用4位元有效部分和一個指數來近似表示。因此，1/diff的表格被簡化為16個元素，用於16個有效值，如下所示： DivTable [ ] = {0, 7, 6, 5, 5, 4, 4, 3, 3, 2, 2, 1, 1, 1, 1, 0}                   (6)
這減少了計算的複雜性以及存儲所需表格所需的記憶體大小。
在一些實施例中，為了獲得更多的樣本用於計算CCLM模型參數α和β，對於LM-T模式，上側範本被擴展為包含（W+H）樣本，對於LM-L模式，左側範本被擴展為包含（H+W）樣本。對於LM-LT模式，擴展的左側範本和擴展的上側範本都被用來計算線性模型係數。
為了匹配4:2:0視頻序列的色度樣本位置，兩種類型的下採樣濾波器被應用於亮度樣本，以實現水平和垂直方向上的2比1下取樣率。下採樣濾波器的選擇由序列參數集（SPS）級別的標誌來指定。兩個下採樣濾波器如下，分別對應「類型0」和「類型2」（「type-0」和「type-2」）的內容。 recL’(i,j)=[recL(2i-1,2j-1)+2*recL(2i-1,2j-1)+recL(2i+1,2j-1)+recL(2i-1,2j) +2*recL(2i,2j) +recL(2i+1,2j)+4] ＞＞ 3                                                       (7) recL’(i,j)=[recL(2i,2j-1)+recL(2i-1,2j)+4*recL(2i,2j)+recL(2i+1,2j) +recL(2i,2j+1)+4] ＞＞3                                                                                  (8)
在一些實施例中，當上層參考線在CTU邊界時，只有一條亮度線（幀內預測中的一般行緩衝）被用來做下採樣的亮度樣本。
在一些實施例中，α和β參數計算是作為解碼過程的一部分進行的，而不僅僅是作為編碼器搜索操作。因此，沒有使用語法將α和β的值傳達給解碼器。
對於色度幀內模式編解碼，總共允許有8種幀內模式。這些模式包括五種傳統的幀內模式和三種交叉分量的線性模式（LM_LA、LM_A和LM_L）。色度幀內模式編解碼可以直接取決於相應的亮度塊的幀內預測模式。色度幀內模式訊號和相應的亮度幀內預測模式如下表所示：
色度幀內預測模式 對應的亮度幀內預測模式
0 50 18 1 X (0 ≤ X ≤66)
0 66 0 0 0 0
1 50 66 50 50 50
2 18 18 66 18 18
3 1 1 1 66 1
4 0 50 18 1 X
5 81 81 81 81 81
6 82 82 82 82 82
7 83 83 83 83 83
由於在I片中啟用了獨立的亮度和色度分量的塊劃分結構，一個色度塊可能對應複數個亮度塊。因此，對於色度衍生模式（DM）模式，直接繼承覆蓋當前色度塊中心位置的相應亮度塊的幀內預測模式。
根據下表，統一的二值化表（映射到bin字串）用於色度幀內預測模式：
色度幀內預測模式 bin字串
4 00
0 0100
1 0101
2 0110
3 0111
5 10
6 110
7 111
在該表中，第一個bin表示它是常規模式（0）還是LM模式（1）。如果它是LM模式，那麼下一個bin表示它是否是LM_CHROMA（0）。如果它不是LM_色度，下一個bin表示它是LM_L（0）還是LM_A（1）。對於這種情況，當sps_cclm_enabled_flag為0時，可以在熵編解碼之前丟棄相應的intra_chroma_pred_mode的二值化表的第一個bin。或者，換句話說，第一個bin被推斷為0，因此不會被編解碼。這個單一的二值化表被用於sps_cclm_enabled_flag等於0和1的情況。表中的前兩個bin用其自身的上下文模型進行上下文編解碼，其餘的bin是旁路編解碼。
此外，為了減少雙樹中的幀內色度延遲，當64x64的亮度編解碼樹節點沒有被分割（並且ISP沒有用於64x64的CU）或用QT分割時，32x32/32x16色度編解碼樹節點中的色度CU被允許以如下方式使用CCLM： 如果32x32色度節點沒有被分割或用QT分割，32x32節點中的所有色度CU可以使用CCLM。 如果32x32色度節點用水平BT（Horizontal BT）分割，而32x16子節點沒有分割或使用垂直BT（Vertical BT）分割，32x16色度節點中的所有色度CU都可以使用CCLM。 在所有其他的亮度和色度編解碼樹分割條件下，色度CU不允許使用CCLM。 II.  多模式CCLM(MMLM)
多模型CCLM模式（MMLM）使用兩個模型從整個CU的亮度樣本中預測色度樣本。與CCLM類似，三種多模型CCLM模式（MMLM_LA、MMLM_A和MMLM_L）被用來指示在模型參數推導中是否同時使用上側和左側的相鄰樣本，只使用上側的相鄰樣本，或者只使用左側的相鄰樣本。
在MMLM中，當前塊的相鄰亮度樣本和相鄰色度樣本被分為兩組，每組被用作一訓練集以推導出一個線性模型（即為特定組推導出特定的α和β）。此外，當前亮度塊的樣本也根據相鄰亮度樣本分類的相同規則進行分類。
第2圖示出了將相鄰樣本分類為兩組的示例。閾值（Threshold）被計算為相鄰重建的亮度樣本的平均值。在[x,y]處的相鄰樣本，如果Rec’ L[x,y] ＜= Threshold，則被歸入第一組；而在[x,y]處的相鄰樣本，如果Rec’ L[x,y] ＞ Threshold，則被歸入第二組。因此，色度樣本的多模型CCLM預測是： Pred c[x,y] = α 1×Recʹ L[x,y]+ β 1if Rec’ L[x,y] ≤ Threshold Pred c[x,y] = α 2×Recʹ L[x,y]+ β 2if Rec’ L[x,y] ＞ Threshold III.       卷積交叉分量模型
在一些實施例中，應用卷積交叉分量模型（CCCM）來提高交叉分量預測性能。對於一些實施例，卷積模型有7抽頭濾波器，具有5抽頭加符號形狀的空間分量、非線性項、和偏置項。濾波器的空間5抽頭分量的輸入包括中心（C）亮度樣本，它與要預測的色度樣本匹配，及其上側/北方（N）、下側/南方（S）、左側/西方（W）、和右側/東方（E）的相鄰樣本。第3圖概念性地說明了卷積濾波器的空間分量。非線性項（表示為P）被表示為中心亮度樣本C的二次冪，並按內容的樣本值範圍進行縮放： P = (C*C + midVal) ＞＞ bitDepth                                                        (9)
因此，對於10位元的內容，非線性項P的計算方法是： P = (C*C + 512) ＞＞ 10                                                                 (10)
偏置項（表示為B）表示輸入和輸出之間的標量偏移（類似於CCLM中的偏置項），並被設置為中間色度值（對於10位元內容為512）。濾波器的輸出被計算為濾波器係數c i和輸入值之間的卷積，並被剪切到有效的色度樣本範圍內： predChromaVal = c0C + c1N + c2S + c3E + c4W + c5P + c6B                      (11)
濾波係數c i是通過在一個參考區域最小化預測和重建色度樣本之間的MSE來計算的。第4圖示出了用於導出當前塊的卷積模型的濾波器係數的參考區域。該參考區域包括當前塊400上側和左側的（色度）樣本的（參考）行。(在這個示例中，當前塊400是一個PU）。參考區域向右延伸一個PU寬度，在PU邊界以下延伸一個PU高度。區域被調整為只包括可用的樣本。參考區域的擴展區域被用來支援加符號形狀的空間濾波器的「側面樣本」，在不可用的區域時被填充。
MSE的最小化是通過計算亮度輸入的自相關矩陣和亮度輸入與色度輸出之間的交叉相關向量來實現的。自相關矩陣被LDL分解，最後的濾波係數用反置換法計算。該過程類似於ECM中ALF濾波器係數的計算，然而，在一些實施例中，選擇LDL分解而不是柯列斯基（Cholesky）分解，以避免使用平方根運算。 IV 多重線性模型
對於一些實施例，兩組資料X和Y（分別為參考樣本和當前樣本）之間的關係可以用如下線性模型表示： y = c 0x + c 1(12)
更一般地說，多重線性模型可以用來表示資料組X和Y之間更複雜的關係： y = c 0x 0+ c 1x 1+ c 2x 2+… + c N-1x N-1+ c N(13)
多重線性模型可以改寫為： y = c 0x 0+ c 1x 1+ c 2x 2+… + c N-1x N-1+ c N =c f Tc = [ c 0, c 1, c 2, … c N-1, c N] f = [ x 0, x 1, x 2,… x N-1]                                                                  (14)
通過最小化所有回歸資料的（y – c f T）的SSD（差異平方之和），可以得到最佳參數集c。SSD最小化問題等同於求解矩陣方程Ax = b，其中A是特徵向量f的自相關矩陣，b是特徵向量f和目標y的交叉相關向量。可以用高斯（Gaussian）消除法或柯列斯基或LDL分解法來解決矩陣方程Ax = b。 V.  統一交叉分量預測
A.   統一高階模型
本申請的一些實施例提供了提高交叉分量預測精度或編解碼性能的方法。視頻編解碼器不使用線性模型，而使用高階模型來進行交叉分量預測。該高階模型包括k-tap空間項、非線性項（表示為P）、和偏置項（表示為B）。該高階模型可被指定為： (15)
其中 是位置 的下採樣重建的亮度樣本， 是 的一個鄰近樣本， 、 、 、和 是模型參數。第5圖示出了重建的亮度樣本及其鄰近的樣本。
在一些實施例中，高階模型公式(15)被用於推導顏色分量之間的模型參數，或當前幀和參考幀的樣本之間的模型參數。該模型參數可以根據特定的編解碼模式或工具進行自我調整配置。例如，根據公式(10)預測的CCCM的色度值可以通過設置以下內容由高階模型公式(15)表示：rec L' (i,j)= C; neiRec L' (1)= N; neiRec L' (2)= W; neiRec L' (3)= E; and neiRec L' (4)= S。在一些實施例中，一些不同編解碼模式可以共用同一個模型和同一個模型參數推導方法。
在一些實施例中，對於一個編碼模式，用於生成色度預測器的方程式如下：（這可以看作是公式(15)的特例，通過設置參數a 1至a k-1和b為零） (16)
在一些實施例中，對於一個編解碼模式，用於生成色度預測器的方程式如下：（這可以看作是公式(15)的特例，通過設置參數a 1至a k-1為零） (17)
在一些實施例中，對於一個編解碼模式，用於生成色度預測器的方程式如下：（這可以看作是公式(15)的特例，通過設置參數a 5至a k-1和b為零） (18)
在一些實施例中，對於一個編解碼模式，用於生成色度預測器的方程式如下：（這可以看作是公式(15)的特例，通過設置參數a 5至a k-1和b為零） (19)
在一些實施例中，對於一個編解碼模式，用於生成色度預測器的方程式如下：（這可以看作是公式(15)的特例，通過設置參數a 10至a k-1和b為零） (20)
在一些實施例中，對於一個編解碼模式，用於生成照度補償預測器的方程如下：（這可以看作是公式(15)的特例，通過設置參數a 1至a k-1和b為零） (21)
對於使用線性模型或高階模型（例如，公式(15)或公式(15)的任何特例）的一些實施例，可以通過求解矩陣方程Ax = b得到最優參數，其中A是自相關矩陣，b是交叉相關向量，x是待解的最優參數。在一些實施例中，對於不同的編解碼工具，使用相同的方法或統一的求解器來解決矩陣方程Ax = b。
在一些實施例中，可以使用基於消除的方法（如高斯消除法）來求解方程Ax = b，並找到線性模型或高階模型的最優向量x。在一些實施例中，可以使用基於分解的方法（例如，柯列斯基或LDL分解）來求解方程Ax = b，並找到最優向量x，這是線性模型或高階模型的最佳參數。在一些實施例中，可以使用基於反覆運算的方法（例如，雅可比方法）來求解方程Ax = b，並找到最優向量x，這是線性模型或高階模型的最佳參數。
例如，對於CCCM，預測的色度值公式(10)可以改寫為： y = c 0C + c 1N + c 2S + c 3E + c 4W + c 5P + c 6B                                (22)
A是特徵向量f = [C, N, S, E, W, P, B]的自相關矩陣
ƩC i 2    ƩC iN i  ƩC iS i  ƩC iE i  ƩC iW i   ƩC iP i ƩC iB i
ƩN iC i  ƩN i 2    ƩN iS i ƩN iE i    ƩN iW i  ƩN iP i   ƩN iB i
ƩS iC i   ƩS iN i   ƩS i 2   ƩS iE i    ƩS iW i   ƩS iP i   ƩS iB i
A = ƩE iC i   ƩE iN i  ƩE iS i   ƩE i 2    ƩE iW i   ƩE iP i   ƩE iB i
ƩW iC i  ƩW iN i ƩW iS i  ƩW iE i  ƩW i 2    ƩW iP i  ƩW iB i
ƩP iC i   ƩP iN i  ƩP iS i   ƩP iE i   ƩP iW i  ƩP i 2     ƩP iB i
ƩB iC i  ƩB iN i  ƩB iS i   ƩB iE i    ƩB iW i  ƩB iP i   ƩB i 2
b是特徵向量f和目標y的交叉相關向量
ƩC iy i
ƩN iy i 
ƩS iy i 
b = ƩE iy i 
ƩW iy i  
ƩP iy i 
ƩB iy i
B.   回歸資料的統一選擇
在一些實施例中，在推導模型參數時對回歸資料（包括參考樣本和當前樣本）的選擇也可以在不同的編解碼模式之間統一。在複數個不同的編解碼模式之間使用或共用高階模型的參考樣本的相同輸入介面。
在一些實施例中，不同的編解碼工具共用相同的方法來定義統一的可用於回歸的資料範圍。例如，參考/當前樣本可以被分為許多組，執行特定編解碼模式的視頻編解碼器可以通過選擇那些屬於指定組的參考/當前樣本作為回歸資料來輸入所需的參考/當前樣本，從而得出相應的模型參數。
在一些實施例中，不同的編解碼工具可以共用相同方法來處理無效資料。一些編解碼工具可以只允許上側樣本或左側的樣本進行回歸，而將另一側的參考資料作為無效的參考資料進行處理，將其設置為NULL、0、或預定的非活動值。例如，假設輸入介面需要當前塊和/或參考塊（參考塊可以是當前塊對應的亮度塊或運動補償的參考塊）的上側、右上側、左上側、左下側的參考樣本，如果當前編解碼模式只使用一側的參考樣本，視頻編解碼器可以將其他側的參考樣本設置為NULL、0、或預定義值，將模型推導過程中不使用的那些參考樣本呈現為非活性。作為另一個示例，如果所需的參考資料在限制邊界（切片邊界、子圖片邊界、或CTU邊界）之外，視頻編解碼器可以通過將參考資料設置為NULL、0、預定義的非活動值、或從相鄰的可用資料中重複來對外部區域的參考資料進行無效的參考資料處理。
在一些實施例中，編解碼模式可以指定將高通濾波器或低通濾波器應用於參考/當前樣本以獲得梯度或平滑/下採樣的參考/當前樣本，視頻編解碼器在執行編解碼模式時可以輸入需要的參考/當前樣本，然後將高通濾波器或低通濾波器應用於輸入的參考/當前樣本。
在一些實施例中，一個參考行緩衝器被共用同一高階模型的不同編解碼模式所使用。對於不同的編解碼模式，參考行的數量可以是2、3、4、5、或6。在一些實施例中，不同編解碼工具的回歸資料在統一的範圍內從相同數量的參考行中選擇。如果所需的參考行落在限制邊界（如切片邊界、子圖片邊界、或CTU邊界）之外，所需的參考行的內容就會從一個或複數個可用的參考行中重複。在一些實施例中，在模型參數推導過程中不使用落在限制邊界之外的參考行。
第6圖概念性地說明了卷積模型生成系統600，其可針對不同的編解碼工具進行配置。在一些實施例中，該系統600由視頻編解碼器（編碼器或解碼器）實現。該卷積模型生成系統600可以被配置為針對幾個編解碼工具中的一個。每個編解碼工具對該卷積模型生成系統600有相應的配置集。
如該圖式所示，基於編解碼工具選擇訊號的編解碼工具多工器610選擇幾個配置資料集中的一個。所選擇的配置資料集605被用來配置資料選擇器620、濾波引擎630、和回歸引擎640。
資料選擇器620從記憶體660（例如，重建圖片緩衝器850或解碼圖片緩衝器1150）檢索重建樣本。濾波引擎630可以將過濾操作應用於該重建樣本。然後，該重建樣本（可能經過過濾）被回歸引擎640用作回歸資料以生成卷積模型650。
資料選擇器620可以被配置為檢索所選編解碼工具所需的重建樣本。在一些實施例中，與當前塊相關的重建樣本被分為幾組，所選的配置資料集605指定要檢索哪一組（幾組）重建樣本。在一些實施例中，所選的配置資料集指定了要為所選的編解碼工具使用哪一條或幾條參考行。在一些實施例中，所選的配置資料集指定了對所選的編解碼工具的無效參考資料的處理。例如，當所選的編解碼工具所需的參考樣本或參考行落在指定的邊界之外時，資料選擇器620可以將參考資料設置為NULL、0、預定義的非活動值，或從鄰近的可用資料中重複。
所選的配置資料集605還配置了濾波引擎630，以便在該重建樣本上應用高通或低通濾波器。這允許按照所選編解碼工具的要求在回歸資料上應用過濾。
回歸引擎640可以被配置為基於由濾波引擎630和資料選擇器620提供的重建樣本執行資料回歸。回歸引擎640可以執行LDL分解或柯列斯基分解以生成卷積模型650的模型參數。卷積模型650能夠支援公式(15)，但是可以通過將高階模型的指定項設置為零，由所選的配置資料集605配置為支援任何公式(16)-(22)。有了生成的模型參數，卷積模型650可以用來生成用於編碼或解碼當前塊的預測樣本。
C.   分量樣本的通用預測
本節所述的高階卷積模型的方法可用於交叉分量預測，例如，使用亮度樣本作為參考資料來預測同一區塊的色度樣本。在一些實施例中，本節所述的高階卷積模型可以基於任何兩組分量樣本作為回歸資料（X和Y）來構建，構建的模型可以應用於在具有類似關係的另外兩組分量樣本之間進行預測。例如，高階卷積模型可以基於參考塊的分量樣本和與參考塊相鄰的參考範本的分量樣本構建，構建的模型可以用於基於與當前塊相鄰的當前範本的分量樣本對當前塊的分量樣本執行預測。
第7A-B圖概念性地說明了可用於構建高階卷積模型的分量樣本的示例來源。這些圖式示出了當前塊及其參考塊。當前塊710是在當前圖片700中。參考塊711是根據幀間預測或幀內預測的當前塊710的預測器。
第7A圖示出了參考塊711是當前塊710在幀間預測下的預測器。如該圖式所示，當前塊710的運動向量（MV）720將參考圖片701中的參考塊711確定為用於幀間預測的當前塊的預測器。
第7B圖示出了參考塊711是當前塊710在幀內預測下的預測器。如該圖式所示，幀內預測方向或模式721或塊向量（BV）從當前圖片700的樣本中識別或導出參考塊711，並確定為用於幀內預測的當前塊710的預測器。
如第7A-B圖所示，當前範本區域730包括與當前圖片700中的當前塊710相鄰的重建樣本。當前範本區域730在當前圖片700（用於幀內預測）或參考圖片701（用於幀間預測）具中有與參考塊711相鄰的相應或並置的參考範本區域731。當前樣本可以從當前塊710和當前範本區域730內或周圍採集。參考樣本可以從參考塊711和參考範本區域731內或周圍採集。在一些實施例中，參考樣本和當前樣本被用來推導卷積模型。
卷積模型可以是交叉分量模型。例如，在一些實施例中，卷積模型可以使用並置區域中的第一顏色分量的參考和當前樣本（例如，參考範本731中的Y樣本和當前範本730中的Y樣本之間）構建，並用於預測並置區域中的第二顏色分量的樣本（例如，從參考塊711的Cr/Cb到當前塊710的Cr/Cb的精細預測）。對於另一個示例，在一些實施例中，卷積/交叉分量模型可以使用第一區域的第一和第二顏色分量的相應交叉分量參考和/或當前樣本（例如，參考塊711或當前範本730中的Y與Cr/Cb）構建，並用於在第二區域進行交叉分量預測（例如，當前塊710中的從Y到Cr/Cb的預測）。
卷積模型也可以以非交叉分量的方式使用。例如，基於第一塊中和周圍的第一顏色分量的參考和當前樣本（例如，參考範本731中的Y樣本和參考塊711的Y樣本之間）得出的卷積模型可用於預測第二塊中相同的第一顏色分量的樣本（例如，從當前範本730的Y樣本到當前塊710的Y樣本的預測）。
上述提出的任何方法都可以在編碼器和/或解碼器中實現。例如，所提出的任何方法可以在編碼器的幀間/幀內預測（inter/intra/prediction）模組，和/或解碼器的inter/intra/prediction模組中實現。或者，所提出的任何方法可以實現為與編碼器的inter/intra/prediction模組和/或解碼器的inter/intra/prediction模組耦合的電路，以便提供inter/intra/prediction模組所需的資訊。 VI. 視頻編碼器實例
第8圖示出了可實現交叉分量預測的示例性視頻編碼器800。如圖所示，視頻編碼器800接收來自視頻源805的輸入視訊訊號，並將該訊號編碼為位元流895。視頻編碼器800具有複數個元件或模組用於對來自視頻源805的訊號進行編碼，至少包括選自變換模組810、量化模組811、反量化模組814、反變換模組815、圖內估計模組820，幀內預測模組825，運動補償模組830，運動估計模組835，環內濾波器845，重建圖片緩衝器850，MV緩衝器865，MV預測模組875，以及熵編碼器890中的一些元件。運動補償模組830和運動估計模組835是幀間預測模組840的一部分。
在一些實施例中，模組810-890是由計算裝置或電子裝置的一個或複數個處理單元（例如，處理器）執行的軟體指令的模組。在一些實施例中，模組810-890是由電子裝置的一個或複數個積體電路（IC）實現的硬體電路的模組。雖然模組810-890被圖示為是獨立的模組，但一些模組可以被組合成一個單一的模組。
視頻源805提供了原始的視訊訊號，呈現了每個視頻幀的圖元資料，沒有壓縮。減法器808計算視頻源805的原始視頻圖元資料與來自運動補償模組830或幀內預測模組825的預測圖元資料813之間的差異，作為預測殘差809。變換模組810將差值（或殘餘圖元資料或殘餘訊號）轉換為變換係數816（例如，通過執行離散餘弦變換，或DCT）。量化模組811將變換係數816量化為量化資料（或量化係數）812，由熵編碼器890將其編碼到位元流895。
反量化模組814對量化資料（或量化係數）812進行去量化，以獲得變換係數816，反變換模組815對變換係數816進行反變換，以產生重建殘差819。重建殘差819與預測圖元資料813相加，產生重建圖元資料817。在一些實施例中，重建圖元資料817被暫時存儲在行緩衝器中（未圖示），用於圖內預測和空間MV預測。重建圖元被環內濾波器845過濾並存儲在重建圖片緩衝器850中。在一些實施例中，重建圖片緩衝器850是視頻編碼器800的外部存儲。在一些實施例中，重建圖片緩衝器850是視頻編碼器800的內部存儲。
圖內估計模組820基於重建圖元資料817執行幀內預測，以產生幀內預測資料。幀內預測資料被提供給熵編碼器890以被編碼到位元流895。幀內預測資料也被幀內預測模組825用來產生預測圖元資料813。
運動估計模組835通過產生MV以參考存儲在重建圖片緩衝器850中的先前解碼幀的圖元資料來執行幀間預測。這些MV被提供給運動補償模組830以產生預測圖元資料。
視頻編碼器800使用MV預測來產生預測MV，而不是在位元流中編碼完整的實際MV，用於運動補償的MV和預測MV之間的差異被編碼為殘餘運動資料並存儲在位元流895中。
MV預測模組875基於為編碼先前視頻幀而生成的參考MV，即用於執行運動補償的運動補償MV，生成預測MV。MV預測模組875從MV緩衝器865中檢索先前視頻幀的參考MV。視頻編碼器800將為當前視頻幀生成的MV存儲在MV緩衝器865中，作為用於生成預測MV的參考MV。
MV預測模組875使用參考MV來創建預測MV。預測MV可以通過空間MV預測或時間MV預測來計算。預測MV和當前幀的運動補償MV（MC MV）之間的差異（殘餘運動資料）由熵編碼器890編碼到位元流895。
熵編碼器890通過使用熵編碼技術，例如上下文自我調整二進位算術編碼（CABAC）或哈夫曼（Huffman）編碼，將各種參數和資料編碼到位元流895中。熵編碼器890將各種頭元素、標誌、以及量化的變換係數812和殘餘運動資料作為語法元素編碼到位元流895中。位元流895又被存儲在存放裝置中，或通過通信介質如網路傳輸給解碼器。
環內濾波器845對重建圖元資料817進行過濾或平滑操作，以減少編解碼的偽影，特別是在塊的邊界。在一些實施例中，由環內濾波器845執行的濾波或平滑操作包括解鎖濾波器（DBF）、採樣自我調整偏移（SAO）、和/或自我調整環形濾波器（ALF）。
第9圖示出了實現統一的交叉分量卷積模型的視頻編碼器800的部分。當當前塊通過交叉預測進行編解碼時，運動估計模組835提供MV，該MV被運動補償模組830用於識別參考圖片中的參考塊。當當前塊被幀內預測編解碼時，幀內預測估計模組820提供幀內模式或BV，由幀內預測模組825用於識別當前圖片中的參考塊。在一些實施例中，參考塊被用作當前塊的初始預測器。初始預測器可以包括用於預測當前塊的分量樣本的參考塊的分量樣本（亮度或色度），或用於交叉分量預測的當前塊的分量樣本。
為了得出卷積模型910，回歸資料選擇模組930從重建圖片緩衝器850中檢索當前塊內和/或周圍以及參考塊內和/或周圍的圖元的分量樣本以作為回歸資料，其中可包括參考樣本（X）和當前樣本（Y）。回歸資料選擇模組930根據為當前塊選擇的編解碼工具，在不同的樣本集（例如，不同的參考行或不同的樣本組）中選擇作為參考/當前樣本。
模型構造器905使用回歸資料，利用消除法、反覆運算法、或分解法等技術推導卷積模型910的參數。卷積模型910是具有複數個濾波器抽頭的高階模型，可以被配置為支援不同的編解碼工具，例如，通過根據為當前塊選擇的編解碼工具，將某些項或濾波器抽頭設置為零。參照前述第6圖描述了用於不同編解碼工具的卷積模型910的推導。
卷積模型910被應用於初始預測器915以生成精細預測器925。該精細預測器925的樣本可作為預測圖元資料813。在一些實施例中，由卷積模型910進行的精細幀內預測或幀間預測可以被顯式地或隱式地啟用或禁用（以便初始預測器的樣本被用作預測圖元資料813），並且熵編碼器890可以向語法元素發出訊號以表明這一點。在一些實施例中，預測發生器920可以將初始預測器915和精細預測器925結合起來（例如，作為加權和）作為預測圖元資料813。
第10圖概念性地說明了用於推導和使用統一的卷積模型的過程1000，該卷積模型可針對不同的編解碼工具進行配置。在一些實施例中，實現編碼器800的計算裝置的一個或複數個處理單元（例如，處理器）通過執行存儲在電腦可讀介質中的指令來執行該過程1000。在一些實施例中，實現編碼器800的電子裝置執行該過程1000。
編碼器（在1010處）接收將要被編碼的資料，作為視頻的當前圖片中的當前圖元塊。編碼器（在1020處）接收在複數個編解碼工具中選擇一個編解碼工具的選擇結果。
編碼器（在1030處）根據編解碼工具的選擇指定的回歸資料集。該指定的回歸資料集從參考塊或當前塊內或鄰近的分量樣本中選擇。在一些實施例中，該回歸資料集選自鄰近當前塊的複數個參考行，不同編解碼工具的回歸資料選自不同參考行。在一些實施例中，該回歸資料集選自被分為複數個參考樣本組的參考樣本，不同編解碼工具的回歸資料選自不同的參考樣本組。在一些實施例中，當該回歸資料集包括落在限制邊界（例如，切片邊界、子圖片邊界、或CTU邊界）之外的無效樣本時，編碼器根據編解碼工具的選擇執行動作（例如，將無效樣本設置為NULL、0、或預定的非活動值）。
編碼器（在1040處）根據編解碼工具的選擇，指定卷積模型的配置。卷積模型是可配置的，以支援每個編解碼工具。在一些實施例中，卷積模型是具有濾波器的高階模型，該濾波器具有兩個以上的濾波器抽頭。在一些實施例中，卷積模型包括複數個項，編碼器通過將一個或複數個項設置為零來配置卷積模型。卷積模型可以有複數個抽頭，對應於圍繞中心分量樣本的分量樣本。中心樣本可以是與將要預測的色度樣本相匹配的亮度樣本。卷積模型可以包括（加符號形狀）多抽頭空間分量、非線性項、和偏置項，對該空間5抽頭分量的輸入包括中心（C）分量樣本及其北（N）、南（S）、西（W）和東（E）鄰近分量樣本。
編碼器（在1050處）根據指定的配置，通過應用回歸資料集，得出卷積模型的參數。在一些實施例中，卷積模型的參數是通過使用例如基於消除的方法、基於分解的方法、或基於反覆運算的方法找到高階模型的最佳向量而得出的。
編碼器（在1060處）將具有所生成的參數的卷積模型應用於參考分量樣本集以獲得預測分量樣本集。編碼器（在1070處）通過使用預測分量樣本對當前塊進行編碼，以產生預測殘差並重建當前塊。 VII.      視頻解碼器實例
在一些實施例中，編碼器可以在位元流中發出訊號（或產生）一個或複數個語法元素，從而解碼器可以從位元流中解析所述一個或複數個語法元素。
第11圖示出了可實現交叉分量預測的視頻解碼器1100的示例。如圖式所示，視頻解碼器1100是圖像解碼或視頻解碼電路，它接收位元流1195，並將位元流的內容解碼成視頻幀的圖元資料，以供顯示。視頻解碼器1100具有複數個用於解碼位元流1195的元件或模組，包括選自反量化模組1111、反變換模組1110、幀內預測模組1125、運動補償模組1130、環內濾波器1145、解碼圖片緩衝器1150、MV緩衝器1165、MV預測模組1175、和解析器1190的一些元件。運動補償模組1130是幀間預測模組1140的一部分。
在一些實施例中，模組1110-1190是由計算裝置的一個或多個處理單元（例如，處理器）執行的軟體指令的模組。在一些實施例中，模組1110-1190是由電子裝置的一個或多個IC實現的硬體電路的模組。雖然模組1110-1190被說明為是獨立的模組，但其中一些模組可以被組合成一個單一的模組。
解析器1190（或熵解碼器）接收位元流1195，並根據視頻編解碼或圖像編解碼標準定義的語法執行初始解析。被解析的語法元素包括各種頭元素、標誌、以及量化資料（或量化係數）1112。解析器1190通過使用熵編解碼技術，如上下文自我調整二進位算術編解碼（CABAC）或哈夫曼編碼，解析出各種語法元素。
反量化模組1111對量化資料（或量化係數）1112進行去量化，以獲得變換係數，反變換模組1110對變換係數1116進行反變換，以產生重建殘餘訊號1119。重建殘餘訊號1119與來自幀內預測模組1125或運動補償模組1130的預測圖元資料1113相加，產生解碼圖元資料1117。解碼後的圖元資料由環內濾波器1145過濾並存儲在解碼圖片緩衝器1150中。在一些實施例中，解碼圖片緩衝器1150是視頻解碼器1100的外部存儲。在一些實施例中，解碼圖片緩衝器1150是視頻解碼器1100的內部存儲。
幀內預測模組1125從位元流1195接收幀內預測資料，並據此從存儲在解碼圖片緩衝器1150中的解碼圖元資料1117產生預測圖元資料1113。在一些實施例中，解碼圖元資料1117也被存儲在行緩衝器中（未圖示），用於圖內預測和空間MV預測。
在一些實施例中，解碼圖片緩衝器1150的內容被用於顯示。顯示裝置1155直接檢索解碼圖片緩衝器1150的內容用於顯示，或者將解碼圖片緩衝器的內容檢索到顯示緩衝器。在一些實施例中，顯示裝置通過圖元傳輸從解碼圖片緩衝器1150接收圖元值。
運動補償模組1130根據運動補償MV（MC MV）從存儲在解碼圖片緩衝器1150中的解碼圖元資料1117產生預測圖元資料1113。這些運動補償MV是通過將從位元流1195收到的殘餘運動資料與從MV預測模組1175收到的預測MV相加而解碼的。
MV預測模組1175基於為解碼先前視頻幀而生成的參考MV，例如，用於執行運動補償的運動補償MV，生成預測MV。MV預測模組1175從MV緩衝器1165檢索先前視頻幀的參考MV。視頻解碼器1100將為解碼當前視頻幀而生成的運動補償MV存儲在MV緩衝器1165中，作為用於產生預測MV的參考MV。
環內濾波器1145對解碼的圖元資料1117進行過濾或平滑操作，以減少編解碼的偽影，特別是在塊的邊界。在一些實施例中，由環內濾波器1145執行的過濾或平滑操作包括解鎖濾波器（DBF）、樣本自我調整偏移（SAO）、和/或自我調整環形濾波器（ALF）。
第12圖示出了實現統一的交叉分量卷積模型的視頻解碼器1100的部分。當當前塊通過交叉預測進行編碼時，熵解碼器模組1190或MV緩衝器865可以提供MV，該MV被運動補償模組1130用來識別參考圖片中的參考塊。當當前塊被幀內預測編解碼時，熵解碼器模組1190提供幀內模式或BV，該模式或BV被幀內預測模組1125用於識別當前圖片中的參考塊。在一些實施例中，參考塊被用作當前塊的初始預測器。初始預測器可以包括用於預測當前塊的分量樣本的參考塊的分量樣本（亮度或色度），或用於交叉分量預測的當前塊的分量樣本。
為了得出卷積模型1210，回歸資料選擇模組1230從重建圖片緩衝器1150中檢索當前塊內和/或周圍以及參考塊內和/或周圍的圖元的分量樣本以作為回歸資料，其中可包括參考樣本（X）和當前樣本（Y）。回歸資料選擇模組1230根據為當前塊選擇的編解碼工具，在不同的樣本集（例如，不同的參考行或不同的樣本組）中選擇作為參考/當前樣本。
模型構造器1205使用回歸資料，利用消除法、反覆運算法、或分解法等技術推導卷積模型1210的參數。卷積模型1210是具有複數個濾波器抽頭的高階模型，可以被配置為支援不同的編解碼工具，例如，通過根據為當前塊選擇的編解碼工具，將某些項或濾波器抽頭設置為零。參考前述第6圖描述了用於不同編解碼工具的卷積模型1210的推導。
卷積模型1210被應用於初始預測器1215以生成精細預測器1225。精細預測器1225的樣本可作為預測圖元資料1113。在一些實施例中，熵解碼器1190可以接收語法元素，用於顯式地啟用或禁用卷積模型1210的精細幀內預測或幀間預測，以便初始預測器的樣本可以作為預測圖元資料1113。在一些實施例中，預測發生器1220可以將初始預測器1215和精細預測器1225結合起來（例如，作為加權和）作為預測圖元資料1113。
第13圖概念性地說明了用於推導和使用統一的卷積模型的過程1300，該卷積模型可針對不同的編解碼工具進行配置。在一些實施例中，實現解碼器1100的計算裝置的一個或複數個處理單元（例如，處理器）通過執行存儲在電腦可讀介質中的指令來執行該過程1300。在一些實施例中，實現解碼器1100的電子裝置執行該過程1300。
解碼器（在1310處）接收將要被解碼的資料，作為視頻的當前圖片中的當前圖元塊。解碼器（在1320處）接收在複數個編解碼工具中選擇一個編解碼工具的選擇結果。
解碼器（在1330處）根據編解碼工具的選擇指定的回歸資料集。該指定的回歸資料集從參考塊或當前塊內或鄰近的分量樣本中選擇。在一些實施例中，該回歸資料集選自鄰近當前塊的複數個參考行，不同編解碼工具的回歸資料選自不同參考行。在一些實施例中，該回歸資料集選自被分為複數個參考樣本組的參考樣本，不同編解碼工具的回歸資料選自不同的參考樣本組。在一些實施例中，當該回歸資料集包括落在限制邊界（例如，切片邊界、子圖片邊界、或CTU邊界）之外的無效樣本時，解碼器根據編解碼工具的選擇執行動作（例如，將無效樣本設置為NULL、0、或預定的非活動值）。
解碼器（在1340處）根據編解碼工具的選擇，指定卷積模型的配置。卷積模型是可配置的，以支援每個編解碼工具。在一些實施例中，卷積模型是具有濾波器的高階模型，該濾波器具有兩個以上的濾波器抽頭。在一些實施例中，卷積模型包括複數個項，解碼器通過將一個或複數個項設置為零來配置卷積模型。卷積模型可以有複數個抽頭，對應於圍繞中心分量樣本的分量樣本。中心樣本可以是與將要預測的色度樣本相匹配的亮度樣本。卷積模型可以包括（加符號形狀）多抽頭空間分量、非線性項、和偏置項，對該空間5抽頭分量的輸入包括中心（C）分量樣本及其北（N）、南（S）、西（W）和東（E）鄰近分量樣本。
解碼器（在1350處）根據指定的配置，通過應用回歸資料集，得出卷積模型的參數。在一些實施例中，卷積模型的參數是通過使用例如基於消除的方法、基於分解的方法、或基於反覆運算的方法找到高階模型的最佳向量而得出的。
解碼器（在1360處）將具有生成的參數的卷積模型應用於參考分量樣本集以獲得預測分量樣本集。解碼器（在1370處）通過使用預測分量樣本重建當前塊。然後，解碼器可以提供重建的當前塊，作為重建的當前圖片的一部分進行顯示。 VIII.    電子系統實例
上文描述的許多特徵和應用是作為軟體過程實現的，這些軟體過程被指定為記錄在電腦可讀存儲介質（也被稱為電腦可讀介質）上的一組指令。當這些指令被一個或複數個計算或處理單元（例如，一個或複數個處理器、處理器的核心、或其他處理單元）執行時，它們會使處理單元執行指令中指示的行動。電腦可讀介質的示例包括但不限於CD-ROM、快閃記憶體驅動器、隨機存取記憶體（RAM）晶片、硬碟、可擦除可程式設計唯讀記憶體（EPROM）、電可擦除可程式設計唯讀記憶體（EEPROM）等。電腦可讀介質不包括以無線方式或通過有線連接傳遞的載波和電子訊號。
在本說明書中，術語「軟體」是指包括駐留在唯讀記憶體中的固件或存儲在磁性記憶體中的應用程式，它們可以被讀入記憶體以便由處理器處理。另外，在一些實施例中，複數個軟體發明可以作為一個較大程式的子部分來實現，同時保持不同的軟體發明。在一些實施例中，複數個軟體發明也可以作為單獨的程式來實現。最後，共同實現此處描述的軟體發明的獨立程式的任何組合都在本申請的範圍內。在一些實施例中，軟體程式在安裝到一個或複數個電子系統上運行時，定義了一個或複數個具體的機器實現，這些機器執行和實現軟體程式的操作。
第14圖概念性地說明了用於實現本申請的一些實施例的電子系統1400。電子系統1400可以是電腦（例如，臺式電腦、個人電腦、平板電腦等）、電話、PDA、或任何其他種類的電子裝置。這樣的電子系統包括各種類型的電腦可讀介質和各種其他類型的電腦可讀介質的介面。電子系統1400包括匯流排1405、處理單元1410、圖形處理單元（GPU）1415、系統記憶體1420、網路1425、唯讀記憶體1430、永久存放裝置1435、輸入裝置1440、和輸出裝置1445。
匯流排1405統稱為所有的系統、週邊裝置、和晶片組匯流排，它們以通信方式連接電子系統1400的眾多內部裝置。例如，匯流排1405將處理單元1410與GPU 1415、唯讀記憶體1430、系統記憶體1420、和永久存放裝置1435通信連接。
從這些不同的存儲單元中，處理單元1410檢索要執行的指令和要處理的資料，以執行本申請的過程。在不同的實施例中，處理單元可以是單一的處理器或多核處理器。一些指令被傳遞給GPU 1415並由其執行。GPU 1415可以卸載各種計算或補充由處理單元1410提供的影像處理。
唯讀記憶體（ROM）1430存儲靜態資料和指令，由處理單元1410和電子系統的其他模組使用。另一方面，永久存放裝置1435是讀寫存放裝置。該裝置是非易失性存儲單元，即使在電子系統1400關閉時也能存儲指令和資料。本申請的一些實施例使用大型存放區裝置（如磁性或光學磁片及其相應的磁碟機）作為永久存放裝置1435。
其他實施例使用卸載式存放裝置裝置（如軟碟、快閃記憶體裝置等、及其相應的磁碟機）作為永久存放裝置。與永久存放裝置1435一樣，系統記憶體1420是讀寫記憶體裝置。然而，與存放裝置1435不同，系統記憶體1420是易失性讀寫記憶體，如隨機存取記憶體。系統記憶體1420存儲處理器在運行時使用的一些指令和資料。在一些實施例中，根據本申請內容的進程被存儲在系統記憶體1420、永久存儲裝置1435、和/或唯讀記憶體1430中。例如，各種記憶體單元包括根據一些實施例的處理多媒體剪輯的指令。從這些不同的存儲單元，處理單元1410檢索要執行的指令和要處理的資料，以便執行一些實施例的進程。
匯流排1405也連接到輸入和輸出裝置1440和1445。輸入裝置1440使使用者能夠向電子系統傳達資訊和選擇命令。輸入裝置1440包括字母數位元鍵盤和指點裝置（也稱為「遊標控制裝置」）、攝像頭（例如網路攝像頭）、麥克風或用於接收語音命令的類似裝置，等等。輸出裝置1445顯示由電子系統產生的圖像或以其他方式輸出資料。輸出裝置1445包括印表機和顯示裝置，如陰極射線管（CRT）或液晶顯示器（LCD），以及揚聲器或類似的音訊輸出裝置。一些實施例包括諸如觸控式螢幕等既作為輸入又作為輸出裝置的裝置。
最後，如圖14所示，匯流排1405還通過網路介面卡（未顯示）將電子系統1400耦合到網路1425。以這種方式，電腦可以是電腦網路（如局域網（「LAN」），廣域網路（「WAN」），或內聯網，或網路的網路，如互聯網）的一部分。電子系統1400的任何或所有元件都可與本申請內容結合使用。
一些實施例包括電子元件，如微處理器、存放裝置、和記憶體，它們將電腦程式指令存儲在機器可讀或電腦可讀介質（可替代地稱為電腦可讀存儲介質、機器可讀介質、或機器可讀存儲介質）。這種電腦可讀介質的一些示例包括RAM、ROM、唯讀光碟（CD-ROM）、可錄光碟（CD-R）、可改寫光碟（CD-RW）、唯讀數位多功能光碟（例如，DVD-ROM、雙層DVD-ROM）、各種可錄/可改寫DVD（例如，DVD-RAM、DVD-RW、DVD+RW等）、快閃記憶體（例如，SD卡、迷你SD卡、微型SD卡等）、磁性和/或固態硬碟、唯讀和可記錄的Blu-Ray®光碟、超密度光碟、任何其他光學或磁性媒體以及軟碟。電腦可讀介質可存儲電腦程式，該程式可由至少一個處理單元執行，包括用於執行各種操作的指令集。電腦程式或電腦代碼的示例包括機器代碼，如由編譯器產生的，以及包括由電腦、電子元件、或微處理器使用解譯器執行的高級代碼的檔。
雖然上述討論主要是指執行軟體的微處理器或多核處理器，但上述的許多功能和應用是由一個或複數個積體電路執行的，如特定應用積體電路（ASIC）或現場可程式設計閘陣列（FPGA）。在一些實施例中，這種積體電路執行存儲在電路本身的指令。此外，一些實施例執行存儲在可程式設計邏輯裝置（PLD）、ROM、或RAM裝置中的軟體。
在本說明書和本申請的任何專利範圍中，術語「電腦」、「伺服器」、「處理器」、和「記憶體」均指電子或其他技術設備。這些術語不包括人或人的群體。在本說明書中，術語「顯示」或「展示」是指在電子設備上顯示。在本說明書和本申請的任何專利範圍中，術語「電腦可讀介質」、「電腦可讀媒體」、和「機器可讀介質」完全限於以電腦可讀的形式存儲資訊的有形、物理物體。這些術語不包括任何無線訊號、有線下載訊號，以及任何其他短暫的訊號。
雖然本申請內容已參照許多具體細節進行了描述，但本領域的通常知識者將認識到，本申請內容可以在不背離本申請內容的精神的情況下以其他具體形式體現出來。此外，一些圖式（包括第10圖和第13圖）在概念上說明了過程。這些過程的具體操作可能不會按照所示和所述的確切順序進行。具體操作可能不是以一個連續的操作系列進行的，不同的具體操作可以在不同的實施例中進行。此外，該過程可以使用幾個子過程來實現，或作為一個更大的宏觀過程的一部分。因此，本領域的通常知識者可以理解，本申請內容不受前述說明性細節的限制，而是由所附的專利範圍來定義。 補充說明
本文所描述的主題有時會說明包含在不同的其他元件中，或與不同的其他元件相連的不同元件。應該理解的是，這種描述的架構僅僅是示例，事實上，許多其他的架構可以實現同樣的功能。從概念上講，任何實現相同功能的元件排列都是有效的「關聯」，從而實現了所需的功能。因此，這裡的任何兩個元件結合起來實現一個特定的功能可以被看作是相互「關聯」的，從而實現了所需的功能，而不考慮架構或中間元件。同樣，任何兩個如此關聯的元件也可被視為彼此「可操作地連接」或「可操作地耦合」，以實現所需的功能，並且任何兩個能夠如此關聯的元件也可被視為彼此「可操作地耦合」，以實現所需的功能。可操作的耦合的具體示例包括但不限於物理上可配對和/或物理上相互作用的元件和/或無線上可相互作用和/或無線上可相互作用和/或邏輯上可相互作用的元件。
此外，關於本文中基本上任何複數和/或單數術語的使用，本領域的通常知識者可以根據上下文和/或應用的需要從複數翻譯成單數和/或從單數翻譯成複數。為清楚起見，各種單數/複數的排列組合可在此明確提出。
此外，本領域的通常知識者將理解，一般來說，本文使用的術語，特別是在所附專利範圍中，例如所附專利範圍的主體，一般是作為「開放」術語。例如，術語「包括」應解釋為「包括但不限於」，術語「具有」應解釋為「至少具有」，術語「含有」應解釋為「含有但不限於」，等等。本領域的通常知識者將進一步理解，如果引入的專利範圍的具體數字是有意的，這樣的意圖將在專利範圍中明確地敘述，而在沒有這樣敘述的情況下，沒有這樣的意圖。例如，為了幫助理解，以下所附的專利範圍可能包含使用介紹性短語「至少一個」和「一個或複數個」來引入請求項敘述。然而，這些短語的使用不應理解為暗示由不定冠詞「一個」或「一種」引入的請求項敘述，將包含這種引入的請求項敘述的任何特定請求項限制為只包含一個這種敘述的實施方案，即使同一請求項包括引入短語「一個或複數個」或「至少一個」和不定冠詞如「一個」或「一種」。例如，「一個」和/或「一種」應被解釋為「至少一個」或「一個或更多」；對於使用定語來引入請求項敘述也是如此 此外，即使明確敘述了引入的請求項敘述的具體數目，本領域的通常知識者也會認識到，這種敘述應被解釋為至少是指所敘述的數目；例如，不加其他修飾語的「兩個敘述」的直接敘述是指至少兩個敘述，或兩個或複數個敘述。此外，在那些使用類似於「A、B、和C等中的至少一個」的慣例的情況下，一般來說，這樣的結構是在本領域的通常知識者理解的慣例的意義上進行的。例如，「具有A、B、和C中至少一個的系統」包括但不限於具有A單獨、B單獨、C單獨、A和B一起、A和C一起、B和C一起、和/或A、B和C一起的系統，等等。本領域的通常知識者將進一步理解，無論是在描述、專利範圍、或圖式中，幾乎任何呈現兩個或更多備選術語的非連接詞和/或短語，都應理解為考慮包括其中一個術語、任意一個術語、或兩個術語的可能性。例如，短語「A或B」將被理解為包括「A」或「B」或「A和B」的可能性。
從上述內容可以看出，為了說明，這裡已經描述了本申請的各種實施方案，在不偏離本申請的範圍和精神的情況下，可以做出各種修改。因此，這裡公開的各種實施方案並不意味著是限制性的，真正的範圍和精神是由以下的專利範圍來表示的。
100，400，710:當前塊 600:卷積模型生成系統 605:配置資料集 610:編解碼工具多工器 620:資料選擇器 630:濾波引擎 640:回歸引擎 650:卷積模型 660:記憶體 700:當前圖片 701:參考圖片 711:參考塊 720:運動向量 721:幀內預測方向或模式 730:當前範本區域 731:參考範本區域 800:視頻編碼器 805:視頻源 808:減法器 809:預測殘差 810:變換模組 811:量化模組 812，1112:量化係數 813，1113:預測圖元資料 814，1111:反量化模組 815，1110:反變換模組 816，1116:變換係數 817:重建圖元資料 819:重建殘差 820:圖內估計模組 825，1125:幀內預測模組 830，1130:運動補償模組 835:運動估計模組 840:幀間預測模組 845，1145:環內濾波器 850，1150:重建圖片緩衝器 865，1165:MV緩衝器 875，1175:MV預測模組 890:熵編碼器 895，1195:位元流 905，1205:模型構造器 910，1210:卷積模型 915，1215:初始預測器 920，1220:預測發生器 925，1225:精細預測器 930，1230:回歸資料選擇模組 1000，1010，1020，1030，1040，1050，1060，1070:步驟 1100:視頻解碼器 1190:解析器（熵解碼器） 1117:解碼圖元資料 1119:重建殘餘訊號 1155:顯示裝置 1300，1310，1320，1330，1340，1350，1360，1370:步驟 1400:電子系統 1405:匯流排 1410:處理單元 1415:圖形處理單元（GPU） 1420:系統記憶體 1425:網路 1430:唯讀記憶體 1435:永久存放裝置 1440:輸入裝置 1445:輸出裝置
包括如下附圖以提供對本申請的進一步理解，並納入本申請內容並構成其一部分。附圖說明了本申請的實施方案，並與描述一起，用於解釋本申請的原理。值得注意的是，附圖不一定是按比例繪製的，為清楚地說明本申請的概念，一些部件可能顯示為與實際實施的尺寸不相稱。 第1圖概念性地說明了用於推導線性模型參數的色度和亮度樣本。 第2圖示出了將相鄰樣本分類為兩組的示例。 第3圖概念性地說明了卷積濾波器的空間分量。 第4圖示出了用於導出當前塊的卷積模型的濾波器係數的參考區域。 第5圖示出了重建的亮度樣本及其鄰近的樣本。 第6圖概念性地說明了卷積模型生成系統600，其可針對不同的編解碼工具進行配置。 第7A-B圖概念性地說明了可用於構建高階卷積模型的分量樣本的示例來源。 第8圖示出了可實現交叉分量預測的示例性視頻編碼器。 第9圖示出了實現統一的交叉分量卷積模型的視頻編碼器的部分。 第10圖概念性地說明了用於推導和使用統一的卷積模型的過程，該卷積模型可針對不同的編解碼工具進行配置。 第11圖示出了可實現交叉分量預測的視頻解碼器的示例。 第12圖示出了實現統一的交叉分量卷積模型的視頻解碼器的部分。 第13圖概念性地說明了用於推導和使用統一的卷積模型的過程，該卷積模型可針對不同的編解碼工具進行配置。 第14圖概念性地說明了用於實現本申請的一些實施例的電子系統。
1000，1010，1020，1030，1040，1050，1060，1070:步驟

Claims (14)

  1. 一種視頻編解碼方法，包括： 接收將被編碼或解碼的圖元塊的資料，作為視頻的當前圖片的當前塊； 接收在複數個編解碼工具中選擇一個編解碼工具的選擇結果； 根據該編解碼工具的選擇，指定回歸資料集；其中，該指定的回歸資料集是從參考塊或當前塊內或鄰近的分量樣本中選擇的； 根據該編解碼工具的選擇，指定卷積模型的配置；其中，該卷積模型是可配置的，以支援該複數個編解碼工具中的每一個編解碼工具； 根據該指定的配置，通過應用該回歸資料集，得出該卷積模型的參數； 將具有該生成的參數的該卷積模型應用於參考分量樣本集以獲得預測分量樣本集；以及 通過使用該預測分量樣本對該當前塊進行編碼或解碼。
  2. 如請求項1所述之方法，其中，該卷積模型是包括濾波器的高階模型，該濾波器具有兩個以上的濾波器抽頭。
  3. 如請求項2所述之方法，其中，該卷積模型的該參數是通過使用統一的求解器獲得的，該求解器用於求解該複數個編解碼工具的矩陣方程；其中，該矩陣方程用Ax=b表示，A是自相關矩陣，b是交叉相關向量，x是待求解的該參數。
  4. 如請求項3所述之方法，其中，該統一的求解器使用基於消除的方法來確定該卷積模型的最佳向量，作為該卷積模型的該參數的解決方案。
  5. 如請求項3所述之方法，其中，該統一的求解器使用基於分解的方法來確定該卷積模型的最佳向量，作為該卷積模型的該參數的解決方案。
  6. 如請求項3所述之方法，其中，該統一求解器使用基於反覆運算的方法來確定該卷積模型的最佳向量，作為該卷積模型的該參數的解決方案。
  7. 如請求項3所述之方法，其中，該回歸資料集是從與該當前塊相鄰的複數條參考行的統一範圍中選擇的，該統一範圍是複數個編解碼工具所共有的。
  8. 如請求項7所述之方法，其中，不同編解碼工具的回歸資料是從該統一範圍內相同數量的參考行中選擇的。
  9. 如請求項7所述之方法，其中，該複數條參考行的該統一範圍被存儲在該複數個編解碼工具使用的行緩衝器中。
  10. 如請求項7所述之方法，其中，該回歸資料集選自被分為複數個參考樣本組的參考樣本，不同編解碼工具的回歸資料選自不同的參考樣本組。
  11. 如請求項7所述之方法，其中，進一步包括：當該回歸資料集包括無效樣本時，執行該複數個編解碼工具共有的統一行動。
  12. 如請求項11所述之方法，其中，該無效樣本是指超出限制邊界或被該複數個編解碼工具中的至少一個所禁止的樣本。
  13. 一種電子裝置，包括： 視頻編碼電路，被配置為執行包括： 接收將被編碼或解碼的圖元塊的資料，作為視頻的當前圖片的當前塊； 接收在複數個編解碼工具中選擇一個編解碼工具的選擇結果； 根據該編解碼工具的選擇，指定回歸資料集；其中，該指定的回歸資料集是從參考塊或當前塊內或鄰近的分量樣本中選擇的； 根據該編解碼工具的選擇，指定卷積模型的配置；其中，該卷積模型是可配置的，以支援該複數個編解碼工具中的每一個編解碼工具； 根據該指定的配置，通過應用該回歸資料集，得出該卷積模型的參數； 將具有該生成的參數的該卷積模型應用於參考分量樣本集以獲得預測分量樣本集；以及 通過使用該預測分量樣本對該當前塊進行編碼或解碼。
  14. 一種視頻解碼方法，包括： 接收將被解碼的圖元塊的資料，作為視頻的當前圖片的當前塊； 接收在複數個編解碼工具中選擇一個編解碼工具的選擇結果； 根據該編解碼工具的選擇，指定回歸資料集；其中，該指定的回歸資料集是從參考塊或當前塊內或鄰近的分量樣本中選擇的； 根據該編解碼工具的選擇，指定卷積模型的配置；其中，該卷積模型是可配置的，以支援該複數個編解碼工具中的每一個編解碼工具； 根據該指定的配置，通過應用該回歸資料集，得出該卷積模型的參數； 將具有該生成的參數的該卷積模型應用於參考分量樣本集以獲得預測分量樣本集；以及 通過使用該預測分量樣本集重建該當前塊。
TW112126042A 2022-07-15 2023-07-12 統一的交叉分量模型推導 TW202406350A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263368512P 2022-07-15 2022-07-15
US63/368,512 2022-07-15
PCT/CN2023/104376 WO2024012243A1 (en) 2022-07-15 2023-06-30 Unified cross-component model derivation
WOPCT/CN2023/104376 2023-06-30

Publications (1)

Publication Number Publication Date
TW202406350A true TW202406350A (zh) 2024-02-01

Family

ID=89535516

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112126042A TW202406350A (zh) 2022-07-15 2023-07-12 統一的交叉分量模型推導

Country Status (2)

Country Link
TW (1) TW202406350A (zh)
WO (1) WO2024012243A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108184129B (zh) * 2017-12-11 2020-01-10 北京大学 一种视频编解码方法、装置及用于图像滤波的神经网络
WO2021086237A2 (en) * 2020-04-01 2021-05-06 Huawei Technologies Co., Ltd. Method and apparatus of sample fetching and padding for downsampling filtering for cross-component linear model prediction
CN113538507B (zh) * 2020-04-15 2023-11-17 南京大学 一种基于全卷积网络在线训练的单目标跟踪方法
CN112270286B (zh) * 2020-11-09 2024-05-10 北京机电工程研究所 一种抗阴影干扰的单色视频目标跟踪方法

Also Published As

Publication number Publication date
WO2024012243A1 (en) 2024-01-18

Similar Documents

Publication Publication Date Title
US20230037689A1 (en) Methods and apparatuses for coding transform blocks
TWI723448B (zh) 圖像以及視訊資料中編碼單元的熵編解碼
JP2022523925A (ja) 映像コンテンツを処理するための方法及びシステム
TWI830629B (zh) 轉換省略區塊之傳訊編碼技術
JP7343668B2 (ja) Ｖｖｃにおける色変換のための方法及び機器
JP2017511620A (ja) オーバーラップエリア内の再構成されたサンプル値のブロックベクトル予測及び推定におけるイノベーション
JP7480303B2 (ja) ビデオ符号化のための方法並びに、その装置、及びコンピュータプログラム
CN114930817A (zh) 量化相关参数的传讯技术
TW202002636A (zh) 網格寫碼之量化係數寫碼
JP2022538747A (ja) ルマ及びクロマ信号を処理するための方法及びシステム
KR20220080001A (ko) 다중 변환 선택 시그널링
JP7467650B2 (ja) ビデオ復号の方法、機器、及びコンピュータプログラム
TW202406350A (zh) 統一的交叉分量模型推導
TWI832602B (zh) 轉換係數符號的熵編碼
WO2024017006A1 (en) Accessing neighboring samples for cross-component non-linear model derivation
TWI834269B (zh) 視訊處理方法及裝置
WO2024027566A1 (en) Constraining convolution model coefficient
TW202420818A (zh) 用於跨分量非線性模式推導之相鄰樣本存取
TW202404354A (zh) 利用卷積模型的預測改進
US20230199196A1 (en) Methods and Apparatuses of Frequency Domain Mode Decision in Video Encoding Systems
US20230007311A1 (en) Image encoding device, image encoding method and storage medium, image decoding device, and image decoding method and storage medium
US20230403397A1 (en) Cross component prediction of chroma samples
TW202335499A (zh) 多模型跨分量線性模型預測
TW202408242A (zh) 隱式多通道解碼器端運動向量細化
TW202335497A (zh) 跨分量線性模型預測