TW202404354A - 利用卷積模型的預測改進 - Google Patents

Abstract

提供了一種用於在對像素塊進行編碼或解碼時得出並使用跨分量模型來改進幀內或幀間預測的方法。視訊編解碼器接收像素塊資料，以被編碼或解碼為視頻的當前圖片的當前塊。視訊編解碼器基於參考塊來生成當前塊的初始預測子。視訊編解碼器接收參考塊內或者鄰近的第一組分量樣本的像素。視訊編解碼器接收當前塊內或者鄰近的第二組分量樣本的像素。視訊編解碼器基於第一組和第二組的分量樣本來得出模型。視訊編解碼器向初始預測子應用所得出的模型，以生成經改進的預測子。視訊編解碼器通過使用經改進的預測子來解碼或編碼當前塊。

Description

利用卷積模型的預測改進

本公開總體上涉及視頻編碼。特別地，本公開涉及通過幀間預測改進（inter-prediction refinement）來對區塊進行編碼的方法。

除非此處有額外說明，本節所描述的方法不屬於下列申請專利範圍的習知技術，也不因包括本節而被承認為習知技術。

高效視頻編解碼（High-Efficiency Video Coding，HEVC）是由視頻編碼聯合協作團隊（Joint Collaborative Team on Video Coding，JCT-VC）開發的國際視頻編解碼標準。HEVC是基於混合塊的運動補償類DCT變換編碼架構。用於壓縮的基本單元（稱為編碼單元（coding unit，CU））是2Nx2N的方形區塊，並且各個CU可以被遞迴地劃分成四個較小的CU，直到達到預定義最小尺寸為止。每個CU包含一個或多個預測單元（prediction unit，PU）。

通用視頻編解碼（Versatile video coding，VVC）是由ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的聯合視頻專家組（Joint Video Experts Team，JVET）開發的最新國際視頻編解碼標準。根據從經編解碼的圖片區域得出的經重構的信號來預測輸入視訊訊號。通過塊變換來處理預測殘差信號。變換係數是與位元流中的其它輔助資訊（side information）一起來進行量化和熵編碼的。根據預測信號以及在對經去量化的變換係數進行逆變換之後的經重構的殘差信號來生成經重構的信號。通過環路內濾波進一步來處理經重構的信號以去除編解碼偽像(artifact)。將經解碼的圖片存儲在幀緩衝器中，以用於對輸入視訊訊號中的未來圖片進行預測。

在VVC中，將經編解碼的圖片分區成由關聯的編解碼樹單元（coding tree unit，CTU）表示的非交疊的方形塊區域。編解碼樹的葉節點對應於編解碼單元（CU）。經編解碼的圖片可以由切片（slice）的集合來表示，每個切片包括整數個CTU。以光柵掃描次序處理切片中的個體CTU。可以使用具有至多兩個運動向量和參考索引的幀內預測或幀間預測來解碼雙向預測（B）切片以預測各個塊的樣本值。使用具有至多一個運動向量和參考索引的幀內預測或幀間預測來解碼預測（P）切片以預測各個塊的樣本值。僅使用幀內預測來解碼幀內（I）切片。

可以使用具有嵌套多類型樹（multi-type-tree，MTT）結構的四叉樹（quadtree，QT）來將CTU分區成一個或多個非交疊編解碼單元（CU），以適應各種局部運動和紋理特徵。可以使用以下五種劃分類型之一來將CU進一步劃分成更小的CU：四叉樹分區、垂直二叉樹分區、水準二叉樹分區、垂直中心側（center-side）三叉樹分區、水準中心側三叉樹分區。

每個CU包含一個或多個預測單元（PU）。預測單元與關聯的CU語法一起用作用信號通知預測子（predictor）資訊的基本單元。採用指定的預測過程來預測PU內部的關聯的像素樣本的值。每個CU可以包含用於表示預測殘差塊的一個或多個變換單元（transform unit，TU）。變換單元（TU）包括亮度樣本的變換塊（transform block，TB）以及兩個對應的色度樣本的變換塊，並且每個TB對應於來自一個顏色分量的樣本的一個殘差塊。將整數變換應用於變換塊。將經量化的係數的水準值與其它輔助資訊一起在位元流中進行熵編碼。定義了術語編解碼樹塊（coding tree block，CTB）、編解碼塊（coding block，CB）、預測塊（prediction block，PB）以及變換塊（TB），以指定分別與CTU、CU、PU以及TU相關聯的一個顏色分量的2D樣本陣列。因此，CTU包括一個亮度CTB、兩個色度CTB以及關聯的語法元素。類似的關係對於CU、PU以及TU是有效的。

對於各個經幀間預測的CU，將由運動向量、參考圖片索引以及參考圖片清單使用索引組成的運動參數以及附加資訊用於經幀間預測的樣本生成。可以以明示(explicit)或暗示(implicit)方式用信號通知運動參數。當以跳過模式(skip mode)編解碼CU時，該CU與一個PU相關聯並且不具有顯著殘差係數、不具有經編解碼的運動向量差異（delta）或參考圖片索引。指定合併模式，由此從鄰近CU獲得當前CU的運動參數，包括空間候選和時間候選，以及在VVC中引入的附加調度。可以將合併模式應用於任何經幀間預測的CU。合併模式的替代是運動參數的明示傳輸，其中，按照各個CU來明示地用信號通知運動向量、各個參考圖片清單的對應參考圖片索引和參考圖片清單使用標誌(flag)，以及其它所需資訊。

以下發明內容僅是說明性的，不打算以任何方式加以限制。也就是說，以下發明內容被提供以介紹此處所描述的新且非顯而易見的技術的概念、重點、好處和優勢。選擇而不是所有的實施方式在下面的詳細說明中進行進一步描述。因此，以下發明內容不用於確定所要求主題的本質特徵，也不用於確定所要求主題的範圍。

本公開的一些實施方式提供了一種用於在對區塊進行編碼或解碼時得出並使用跨分量（cross component）模型來改進幀內預測或幀間預測的方法。視訊編解碼器接收要被編碼或解碼為視頻的當前圖片的當前塊的像素塊的資料。視訊編解碼器基於參考塊來生成當前塊的初始預測子。視訊編解碼器接收參考塊內或者鄰近的第一組分量樣本的像素。可以通過當前塊的運動向量、塊向量或幀內預測模式來辨識參考塊。視訊編解碼器接收當前塊內或者鄰近的第二組分量樣本的像素。視訊編解碼器基於第一組和第二組分量樣本來得出模型。所得出的模型可以是線性的或非線性的。所得出的模型可以是包括MxN濾波器的卷積模型。視訊編解碼器向初始預測子應用所得出的模型，以生成經改進的預測子。視訊編解碼器通過使用經改進的預測子來解碼或編碼當前塊。

在一些實施方式中，第一組分量樣本是參考塊的鄰近樣本，並且第二組分量樣本是當前塊的鄰近樣本。在一些實施方式中，第一組分量樣本是參考塊的亮度樣本，並且第二組分量樣本是當前塊的亮度樣本。在一些實施方式中，第一組分量樣本是參考塊的色度樣本，並且第二組分量樣本是當前塊的色度樣本。

在一些實施方式中，視訊編解碼器基於第一組分量樣本和第二組分量樣本來得出多個候選模型，以及從所述多個候選模型中選擇一個候選模型。在一些實施方式中，視訊編解碼器在位元流中用信號通知或者接收指示（例如，語法元素），以用於從所述多個候選模型中選擇候選模型。在一些實施方式中，基於用於對當前塊進行編解碼的設定（例如，範本匹配設定、邊界匹配設定或模型準確度設定）來暗示地選擇候選模型。

在一些實施方式中，視訊編解碼器在位元流中用信號通知或者接收指示，以用於確定是使用初始預測子還是經改進的預測子來編碼或解碼當前塊。在一些實施方式中，視訊編解碼器基於用於對當前塊進行編碼的設定（例如，範本匹配設定、邊界匹配設定或模型準確度設定）來暗示地確定是使用初始預測子還是經改進的預測子來編碼或解碼當前塊。

在一些實施方式中，將經改進的預測子和初始預測子的加權和用作用於重構當前塊的最終預測子。在一些實施方式中，基於被用於對當前塊的一個或多個鄰近塊進行編碼的一個或多個預測模式來確定被指派給初始預測子的第一權重以及被指派給經改進的預測子的第二權重，以用於生成加權和。在一些實施方式中，基於以第一預測模式編碼的鄰近塊的第一數量以及以第二預測模式編碼的鄰近塊的第二數量來確定第一權重和第二權重。（第一預測模式和第二預測模式可以是幀內、幀間、AMVP、合併模式等中的任一種）。

在下面詳細的說明書中，為了透徹理解相關教示內容，通過舉例的方式進行說明大量具體的細節。基於本文所描述的教示內容的任何改變、推導和/或拓展均在本發明的保護範圍內。在一些例子中，為了避免不必要地混淆本發明的教示內容的方面，在相對較高的級別而無細節上描述已知的方法、程式、元件和/或關於此處所公開的一個或者複數個示例性實施方式的電路。 I. 通過卷積模型(Convolution Model)改進預測

為了提高視訊壓縮效率，視訊編解碼器可以使用視頻編解碼工具(video coding tool)或者使用預測子(predictor)的預測模式。幀間(inter)編解碼工具可以利用時間資訊來預測當前塊。幀內(intra)編解碼工具可以參考空間鄰近樣本來預測當前塊。跨分量(cross-component)編解碼工具可以使用跨分量資訊來生成當前塊的跨分量預測。

在一些實施方式中，對於引用參考塊作為用於幀間預測或幀內預測的預測子的當前塊，使用來自當前塊和參考塊的顏色分量（例如，YCbCr或RGB）的兩組（第一組和第二組）樣本來得出卷積模型。將卷積模型用於改進當前塊的幀間預測或幀內預測。第一組樣本處於參考塊（也被稱為參考樣本）中或者鄰近該參考塊。第二組樣本處於當前塊（也被稱為當前樣本）中或者鄰近該當前塊。可以通過使用第一組樣本和第二組樣本來得出卷積模型。可以將卷積模型用於基於第一（組）顏色分量或第二（組）顏色分量來生成跨分量預測。

圖1A至圖1B概念性地例示了當前塊及其參考塊。當前塊110處於當前圖片100中。參考塊111是當前塊110的根據幀間預測或幀內預測的預測子。

圖1A例示了在幀間預測下作為當前塊110的預測子的參考塊111。如圖所示，當前塊110的運動向量（motion vector，MV）120將參考圖片101中的參考塊111辨識(identify)為當前塊的用於幀間預測的預測子。

圖1B例示了在幀內預測下作為當前塊110的預測子的參考塊111。如圖所示，幀內預測方向或模式12或者或塊向量（block vector，BV）從當前圖片100的樣本中辨識或得出參考塊111來作為當前塊110的用於幀內預測的預測子。

如圖1A至圖1B所示，當前範本(template)區域130包括與當前圖片100中的當前塊110鄰近的經重構的樣本。當前範本區域130具有與當前圖片100（針對幀內預測）或參考圖片101（針對幀間預測）中的參考塊111鄰近的對應或並置（collocate）的參考範本區域131。可以從當前塊110和當前範本區域130內或當前塊110和當前範本區域130周圍取得當前樣本。可以從參考塊111和參考範本區域131內或當前塊110和當前範本區域130周圍取得參考樣本。在一些實施方式中，將參考樣本和當前樣本用於得出卷積模型。

卷積模型可以是跨分量模型。例如，在一些實施方式中，卷積模型可以使用所並置的區域中的第一顏色分量的參考樣本和當前樣本（例如，在參考範本131中的Y樣本與當前範本130中的Y樣本之間）來進行構建(construct)，並且被用於預測所並置的區域中的第二顏色分量的樣本（例如，從參考塊111的Cr或Cb到當前塊110的Cr或Cb的經改進的預測）。又例如，在一些實施方式中，卷積/跨分量模型可以使用第一區域的第一顏色分量和第二顏色分量的對應的跨分量參考樣本和/或當前樣本（例如，參考塊111或當前範本130中的Y對比Cr/Cb）來進行構建，並且被用於在第二區域（例如，當前塊110中從Y到Cr/Cb）中進行跨分量預測。

也可以以非跨分量的方式來使用卷積模型。例如，可以將基於第一塊中及第一塊周圍的第一顏色分量的參考樣本和當前樣本（例如，在參考範本131中的Y樣本與參考塊111的Y樣本之間）得出的卷積模型用於預測第二塊中的相同第一顏色分量的樣本（例如，從當前範本130中的Y樣本到當前塊110中的Y樣本）。然而，在以下章節中，將術語“跨分量模型”與術語“卷積模型”互換使用。

圖2A至圖2E概念性地例示了基於參考樣本和當前樣本得出卷積模型。圖2A示出了使用參考樣本211和當前樣本212來得出卷積模型210的推導過程201。參考樣本211是參考塊111中的Y樣本，而當前樣本212是當前塊110中的Y樣本。圖2B示出了使用參考樣本221和當前樣本222來得出卷積模型220的推導過程202。參考樣本221是參考塊111（或當前範本130）中的Y樣本，而當前樣本222是參考塊111（或當前範本130）中的Cr/Cb樣本。圖2C示出了使用參考樣本231和當前樣本232來得出卷積模型230的推導過程203。參考樣本231是參考範本131中的Y樣本，而當前樣本232是參考塊111中的Y樣本。圖2D示出了使用參考樣本241和當前樣本242來得出卷積模型240的推導過程204。參考樣本241是參考範本131中的Y樣本，而當前樣本242是當前範本130中的Y樣本。圖2E示出了使用參考樣本251和當前樣本252來得出卷積模型250的推導過程205。參考樣本251是參考塊111中的Y樣本，而當前樣本252是參考塊111中的Cr/Cb樣本。下面將在章節B中進一步描述跨分量/卷積模型的推導。

圖3A至圖3E例示了應用所得出的卷積模型以將初始預測改進成經改進的預測。圖3A示出了使用卷積模型210將初始預測(prediction)311改進成經改進的預測312。初始預測311是參考塊111的Cr或Cb，而經改進的預測312是用於對當前塊110的Cr或Cb進行重構。圖3B示出了使用卷積模型220將初始預測321改進成經改進的預測322。初始預測321是當前塊110的經重構的Y樣本，而經改進的預測322是用於對當前塊110中的Cr/Cb進行重構。圖3C示出了使用卷積模型230將初始預測331改進成經改進的預測332。初始預測331是當前範本130中的經重構的Y樣本，而經改進的預測332是用於對當前塊110中的Y樣本進行重構。圖3D示出了使用卷積模型240將初始預測341改進成經改進的預測342。初始預測341是參考塊111中的Y樣本，而經改進的預測342是用於對當前塊110中的Y樣本進行重構。圖3E示出了使用卷積模型250將初始預測351改進成經改進的預測352。初始預測351是當前塊110中的Y樣本，而經改進的預測352是用於對當前塊110中的Cr/Cb樣本進行重構。下面在章節A至章節C中將進一步描述通過使用跨分量/卷積模型來對預測子(prediction)進行改進。

A. 選擇卷積模型的輸入

在一些實施方式中，可以將在參考塊111（包括參考範本131）內或周圍取得的參考樣本的不同顏色分量以及在當前塊110（包括當前範本130）內或周圍取得的當前樣本的不同顏色分量分別用作第一組樣本和第二組樣本，以得出跨分量模型。

例如，第一組是參考塊111的Y（亮度）分量，而第二組是當前塊110的Y分量；或者，第一組是參考塊111的Cb，而第二組是當前塊110的Cb；或者，第一組是參考塊111的Cr，而第二組是當前塊110的Cr。

在一些實施方式中，第一組中的樣本是參考塊111的鄰近樣本（在參考範本區域121中），而第二組中的樣本是當前塊110的鄰近樣本（在當前範本區域120中）。在一些實施方式中，第一組中的樣本是參考塊111中的樣本，而第二組中的樣本是當前塊110中的樣本。

在一些實施方式中，第一組或第二組中的樣本可以是整數或分數位置樣本。例如，第一組或第二組中的整數位置樣本可以是1-精度、2-精度、4-精度或8-精度位置樣本；或者，例如，第一組或第二組中的分數位置樣本可以是1/2-精度、1/4-精度、1/8-精度或1/16-精度位置樣本。

在一些實施方式中，第一組或第二組中的樣本可以是經重構(reconstructed)的樣本或原始的樣本。在一些實施方式中，第一組或第二組中的樣本可以處於“重新整形（reshape）域”中。在一些實施方式中，第一組或第二組中的樣本是在應用梯度濾波器（例如，[-1，0，1；-2，0，2；-1，0，1]、[1，2，1；0，0，0；-1，-2，-1]、[0，1，2；-1，0，1；-2，-1，0]、[0，-1，-2；1，0，-1；2，1，0]或[0，-1，0；-1，4，-1；0，-1，0]）之後的參考塊或當前塊的鄰近樣本。在一些實施方式中，被應用於第一組樣本和第二組樣本的梯度濾波器是相同的。

在一些實施方式中，可以組合上面提及的特徵以形成第一組和第二組中的樣本。例如，第一組樣本可以是參考塊111（例如，參考範本區域121）的鄰近的經重構的整數Y樣本，而第二組樣本可以是當前塊110（例如，當前範本區域120）的鄰近的經重構的整數Y樣本。又例如，第一組樣本是參考塊111中的經重構的整數Y樣本，而第二組樣本是當前塊110的原始整數Y樣本。

B. 推導跨分量模型

如所提及，將第一組和第二組中的樣本分別用作參考樣本和當前樣本，以得出用於跨分量預測的線性或非線性卷積模型。在一些實施方式中，卷積模型是線性模型，並且要得出的模型參數包括尺度（scale）（被表示為alpha或 ）和偏移量（offset）（表示為beta或 ）參數。圖4概念性地例示了使用對應的參考樣本和當前樣本的資料對來得出用於跨分量預測的線性模型。

在一些實施方式中，使用MxN濾波器形狀來定義卷積/跨分量模型的模型參數。圖5例示了被用於得出用於定義跨分量線性模型的MxN濾波器的對應的參考樣本和當前樣本。在圖中，將參考樣本（第一組）表示為 ，而將當前樣本（第二組）表示為Y'。 的位置可以處於整數或分數位置。參考塊111的鄰近樣本（與當前塊110的鄰近樣本並置）對應於 ，其中 ，以及 ，並且Y'的相位被映射至 。

對於1x2濾波器（即，M = 1，N = 2），跨分量模型是 ，其中， 和 是尺度(scale)參數，以及 是偏移量(offset)。對於2x2濾波器（即，M = 2，N = 2）的情況來說，跨分量模型是 ，其中， 是尺度參數，以及 是偏移量。對於3x2濾波器（即，M = 3，N = 2）的情況來說，跨分量模型是 ，其中， 是尺度參數，以及 是偏移量。模型參數（即， 和 ）可以具有為正、負或零的值。

對於一些實施方式，將使用MxN濾波器形狀的線性模型的通用模型公式化為 ，其中， 是參考塊的鄰近樣本， 是尺度參數，以及 是偏移量。模型參數（即， 和 ）可以是正值或負值或0。如果參考塊的鄰近樣本不可用(unavailable)，那麼可以使用其它樣本或預設樣本值來替換該不可用樣本。

在一些實施方式中，可以將非線性項集成(integrate)到卷積模型中（從而，使該模型轉變為非線性模型）。例如，可以將裁剪（clipping）、表示樣本值的基於比特深度(bit-depth)的常數或者Min/Max運算集成到卷積模型中。

在一些實施方式中，使用更高階(higher degree)模型而不是線性模型來預測色度樣本。例如， ，其中， 。又例如，鄰近樣本的均值的指數項(exponential term) 。

在一些實施方式中，模型參數是在編碼器側得出的，並且被用信號通知(signaled)給解碼器側，以減輕解碼器的複雜性或編碼依賴性。例如，可以在位元流中明示地用信號通知尺度參數或偏移量參數或其校正項。

在一些實施方式中，可以將多於一個模型參數用信號通知給解碼器側，但僅用信號通知該模型參數的子集，而暗示地得出剩餘的模型參數（通過鄰近樣本或者用信號通知的校正項）。例如，如果將兩個模型參數用於當前塊，則僅用信號通知一個模型參數，而通過鄰近樣本暗示地得出另一模型參數。又例如，如果將MxN個模型參數用於當前塊，則用信號通知MxN個模型參數中的k個模型參數（ ），而通過鄰近樣本暗示地得出其它模型參數。又例如，視訊編解碼器可以用信號通知校正項以改進暗示地得出的參數，而根據經校正的參數來進一步改進其它參數。

C. 應用所得出的模型來改進預測樣本

將所得出的模型參數用於改進當前塊的預測樣本。在下文中，將當前塊的預測子（例如，幀間預測或幀內預測）表示為P。通過將所得出的跨分量/卷積模型應用於初始或未改進的預測子P來獲得被表示為P'的經改進的預測子。

在一些實施方式中，如果線性模型使用1x2濾波器形狀，則將當前塊內的位置 處的經改進的預測公式化為 ，其中， 和 是未改進的預測樣本(prediction sample) 、 ，以及 是通過參考塊和當前塊的鄰近樣本明示地用信號通知或者暗示地得出的模型參數。

在一些實施方式中，如果卷積/跨分量模型使用3x2濾波器形狀，則將當前塊內部的位置 處的經改進的預測公式化為 ，其中， 是未改進的預測樣本 ，以及 是通過參考塊和當前塊的鄰近樣本明示地用信號通知或者暗示地得出的模型參數。

在一些實施方式中，如果卷積/跨分量模型使用MxN濾波器形狀，則將當前塊內的位置 處的經改進的預測公式化為 ，其中， 是未改進的預測樣本 ，以及 是通過參考塊和當前塊的鄰近樣本顯式地用信號通知或者暗示地得出的模型參數。在一些實施方式中，如果未改進的預測樣本不可用，則視訊編解碼器可以使用其它樣本或預設樣本值來替換該不可用樣本。

在一些實施方式中，P中的樣本是整數位置樣本。在一些實施方式中，如果當前塊的預測樣本處於分數精度位置，則將分數精度位置的最近（nearest）整數位置處的樣本用於P。

在一些實施方式中，如果將梯度濾波器（例如，[-1，0，1；-2，0，2；-1，0，1]、[1，2，1；0，0，0；-1，-2，-1]、[0，1，2；-1，0，1；-2，-1，0]、[0，-1，-2；1，0，-1；2，1，0]或[0，-1，0；-1，4，-1；0，-1，0]）應用於第一組或第二組中的樣本，則視訊編解碼器可以在應用模型參數之前，將相同的梯度濾波器應用於當前塊的預測樣本。注意，如果（未改進的）預測樣本不可用，則視訊編解碼器可以使用其它樣本或預設樣本值來替換該不可用樣本。

在一些實施方式中，將P的預測子和P'的預測子混合為當前塊的最終預測子並且公式化為：

其中，w1和w2是加權參數。在一些實施方式中，根據位置 來設定設置w1和w2。各個位置可以具有不同的w1和w2。在一些實施方式中，對於當前塊的w1和w2是一致的。在一些實施方式中，基於鄰近塊來確定w1和w2。在一些實施方式中，當以第一預測模式編解碼的鄰近塊的數量大於閾值或者大於以第二不同預測模式編解碼的鄰近塊的數量時，w2大於w1。鄰近（neighbor）塊可以指的是頂側和左側鄰居（neighbor），或者當前塊的左側和頂側周圍的任何4x4塊。第一預測模式和第二預測模式可以是具有所提出的預測改進方法的模式、幀內、幀間、AMVP或合併模式，縱使第一預測模式和第二預測模式應當不同。

在一些實施方式中，基於濾波器形狀的不同設定或者鄰近樣本的不同分組，可以使用多於一個候選模型來改進當前預測子。

在一些實施方式中，使用明示規則來決定是啟用還是禁用跨分量編碼工具，和/或當啟用跨分量編碼工具時使用明示規則來決定候選模型。例如，可以在塊級(block level)上用信號通知/解析標誌(flag)，以確定是否將跨分量編碼工具應用於當前塊（例如，如果標誌為真，則啟用當前塊的工具；如果標誌為假，則禁用當前塊的工具）。如果多於一個候選模型可用於當前塊，則可以用信號通知另一語法(syntax)以指示選擇應用哪個候選模型。

在一些實施方式中，使用暗示規則來確定是啟用還是禁用跨分量編碼工具，和/或當啟用跨分量編碼工具時，使用暗示規則來決定候選模式（candidate mode）。暗示規則可以取決於範本匹配(template-matching)設定、邊界匹配(boundary-matching)設定或模型準確度設定。以下在章節D中描述範本匹配設定。以下在章節E中描述邊界匹配設定。以下在章節F中描述模型準確度設定。

在一些實施方式中，可以統一經幀內和幀間編碼的塊的暗示規則。例如，當將範本設定用作暗示規則時，將用於幀間塊的範本設定的推導過程與用於幀內塊（例如，TIMD塊）的過程統一。

在一些實施方式中，在範本匹配和/或邊界匹配和/或模型準確度中使用的閾值可以取決於塊大小、序列解析度、鄰近塊、和/或QP。在一些實施方式中，以所提出的方法來用信號通知或隱式得出的當前塊的MV具有整數精度。在一些實施方式中，如果以所提出的方法用信號通知或暗示地得出的當前塊的MV被舍入(rounded)/裁剪(clipped)至整數精度，則當前塊的預測子（P）來自整數精度MV。

D. 範本匹配(Template-Matching)

當使用範本匹配設定時，基於參考塊和當前塊的範本的參考樣本來得出各個候選模式的模型參數，然後對當前塊的範本（鄰近區域）執行所得出的模型參數。

步驟1：把當前塊的範本上的經重構的樣本作為黃金資料（golden data）。

步驟2：對於各個候選模式，將所得出的模型參數應用於對應的亮度塊的範本，以得到當前色度塊的範本內的預測樣本。

步驟3：對於各個候選模式，計算黃金資料與範本上的預測樣本之間的失真量（distortion）。

步驟4：根據所計算的失真量來決定當前塊的模式。在一些實施方式中，將具有最小失真量的候選模式用於當前塊。

在一些實施方式中，關於編解碼工具的啟用條件，當最小失真量小於預定義閾值時，可以將編解碼工具應用於當前塊。例如，預定義閾值可以是T * 範本面積，其中，T可以是任何浮動值或1/N。（N可以是任何正整數），並且可以將範本面積設定為範本寬度 * 當前塊高度 ＋ 範本高度 * 當前塊寬度。

又例如，預定義閾值是當前塊的範本的經重構的樣本與根據預設模式（未通過跨分量模型改進的原始模式）生成的範本的預測樣本之間的失真量。當使用跨分量預測來改進幀間預測時，預設模式是原始幀間模式，其可以是常規的合併候選、AMVP候選、仿射候選、GPM候選或者合併候選中的任一者。在一些實施方式中，可以調整範本大小。將連同邊界匹配設定一起來描述範本大小的調整。

E. 邊界匹配設定

對於一些實施方式，當使用邊界匹配設定時，候選模式的邊界匹配成本指的是從候選模式生成的當前預測（當前塊內的預測樣本）與鄰近重構（一個或多個鄰近塊內的經重構的樣本）之間的不連續性測量（包括頂側邊界匹配和/或左側邊界匹配）。頂側邊界匹配是指當前頂側預測樣本與鄰近頂側經重構的樣本之間的比較，而左側邊界匹配是指當前左側預測樣本和鄰近左側經重構的樣本之間的比較。在一些實施方式中，將具有最小邊界匹配成本的候選模式應用於當前塊。

在一些實施方式中，關於編碼工具的啟用條件（由跨分量模型進行的預測子改進），當最小邊界匹配成本小於預定義閾值時，可以將編碼工具應用於當前塊。例如，預定義閾值是來自預設模式（未利用所提出的編碼工具改進的原始模式）的邊界匹配成本。當使用跨分量預測來改進幀間預測時，預設模式是原始幀間模式，其可以是常規的合併候選、AMVP候選、仿射候選、GPM候選或者合併候選中的任一者。

在一些實施方式中，使用當前預測的預定義子集來計算邊界匹配成本，例如，通過使用當前塊內的頂側邊界的n行和/或當前塊內的左側邊界的m行。（此外，使用頂側鄰近經重構的n2行和/或左側鄰近經重構的m2行）。

還可以將n和m的以下示例應用於n2和m2。例如，n可以是任何正整數，諸如1、2、3、4等。又例如，m可以是任何正整數，諸如1、2、3、4等。一種可能的方式是n和/或m隨塊寬度、高度或面積而改變。例如，對於較大的塊（面積 ＞ threshold2），m變得更大。Threshold2 = 64、128或256。當面積 ＞ threshold2時，m增加至2。（最初，m是1)。當面積 ＞ threshold2時，m增加至4。（最初，m是1或2)。另一種可能的方式是，對於較高的塊（高度 ＞ thrershold2 * 寬度），m變得更大和/或n變得更小。Threshold2 = 1、2或4。當高度 ＞ thrershold2 * 寬度時，m增加至2。（最初，m是1)。當高度 ＞ thrershold2 * 寬度時，m增加至4。（最初，m是1或2)。另一種可能的方式是，對於較大的塊（面積 ＞ threshold2），n變得更大。Threshold2 = 64、128或256。當面積 ＞ threshold2時，n增加至2。（最初，n是1)。當面積 ＞ threshold2時，n增加至4。（最初，n是1或2)。另一種可能的方式是，對於較寬的塊（寬度 ＞ thrershold2 * 高度），n變得更大和/或m變得更小。Threshold2 = 1、2或4。當寬度 ＞ thrershold2 * 高度時，n增加至2。（最初，n是1)。當寬度 ＞ thrershold2 * 高度時，n增加至4。（最初，n是1或2)。

F. 模型準確度設定

當使用範本匹配設定時，基於參考塊和當前塊的範本的參考樣本來得出各個候選模式的模型參數，然後對當前塊的範本（鄰近區域）執行所得出的模型參數。

步驟1：把當前塊的範本上的經重構的樣本作為黃金資料（golden data）。

步驟2：對於各個候選模式，將所得出的模型參數應用於對應的參考塊的範本內的經重構/預測的樣本，以得到當前塊的範本內的預測樣本。

步驟3：對於各個候選模式，計算黃金資料與範本上的預測樣本之間的失真量。在一些實施方式中，在失真量計算中使用的範本是用於模型參數推導的範本。例如，模型可以使用左側範本和頂側範本兩者來計算失真量。又例如，模型可以使用左側範本來計算失真量。又例如，模型可以使用上述範本來計算失真量。

步驟4：根據所計算的失真量來決定當前塊的模式。在一些實施方式中，將具有最小失真量的候選模式用於當前塊。在一些實施方式中，關於編碼工具的啟用條件，當最小失真量小於預定義閾值時，可以將編碼工具應用於當前塊。例如，預定義閾值是T * 範本面積，T可以是任何浮動值或1/N（N可以是任何正整數），並且可以將範本面積設定為範本寬度 * 當前塊高度 ＋ 範本高度 * 當前塊寬度。

例如，預定義閾值是當前塊的範本的經重構的樣本與根據預設模式生成的範本的預測樣本之間的失真量。當使用跨分量預測來改進幀間預測時，預設模式是原始幀間模式，其可以是常規、合併候選、AMVP候選、仿射候選、GPM候選或者合併候選中的任一者。

可以根據暗示規則（例如，塊寬度、高度或面積）或者根據顯式規則（例如，在塊、圖塊（tile）、切片（slice）、圖片、SPS或PPS級別上的語法）來啟用和/或禁用跨分量模型（或卷積模型）的預測改進。例如，當塊面積小於閾值時，可以應用重新排序。本文中的術語“塊”可以指TU/TB、CU/CB、PU/P、預定義區域、CTU/CTB等。

可以應用本發明中所提出的方法的任何組合。可以在編碼器和/或解碼器中實現前述提出的方法中的任一方法。例如，可以在編碼器的幀間/幀內/預測模組和/或解碼器的幀間/幀內/預測模組中實現所提出的方法中的任一方法。另選地，可以將所提出的方法中的任一方法實現為被聯接至編碼器的幀間/幀內/預測模組和/或解碼器的幀間/幀內/預測模組的電路，以便提供幀間/幀內/預測模組所需的資訊。 II. 示例視訊編解碼器

圖6例示了可以使用跨分量模型來改進幀間預測或幀內預測的示例視訊編解碼器600。如圖所示，視訊編解碼器600從視頻源605接收輸入視訊訊號，並將該信號編碼為位元流695。視訊編解碼器600具有用於對來自視頻源605的信號進行編碼的若干元件或模組，所述若干元件或模組至少包括選自以下項中的一些組件：變換模組610、量化模組611、逆量化模組614、逆變換模組615、幀內圖片估計模組620、幀內預測模組625、運動補償模組630、運動估計模組635、環路內濾波器(in-loop filter) 645、經重構圖片緩衝器650、MV緩衝器665以及MV預測模組675以及熵編碼器(entropy encoder) 690。運動補償模組630和運動估計模組635是幀間預測模組640的部分。

在一些實施方式中，模組610至模組690是正由計算設備或電子裝置的一個或多個處理單元（例如，處理器）執行的軟體指令的模組。在一些實施方式中，模組610至模組690是由電子裝置的一個或多個積體電路（integrated circuit，IC）實現的硬體電路的模組。儘管模組610至模組690被例示為單獨的模組，但是可以將這些模組中的一些模組組合成單個模組。

視頻源605提供在無壓縮情況下呈現各個視頻幀的像素(pixel)資料的原始視訊訊號。減法器608將視頻源605的原始視頻像素資料與來自運動補償模組630或幀內預測模組625的預測像素資料(predicted pixel data) 613之間的差計算為預測殘差(prediction residual) 609。變換模組610將該差（或者殘差像素資料或殘差信號608）轉換成變換係數（例如，通過執行離散餘弦變換（Discrete Cosine Transform），或DCT）。量化模組611將變換係數量化成經量化的資料（或者經量化的係數，quantized coefficients）612，該經量化的資料由熵編碼器690編碼成位元流695。

逆量化模組614對經量化的資料（或者經量化的係數）612進行去量化(de-quantize)以獲得變換係數，並且逆變換模組615對變換係數執行逆變換以生成經重構的殘差619。將經重構的殘差619與預測像素資料613相加，以生成經重構的像素資料617。在一些實施方式中，將經重構的像素資料617臨時存儲在用於圖片內預測和空間MV預測的行緩衝器（未例示）中。經重構的像素由環路內濾波器645進行濾波並且被存儲在經重構圖片緩衝器650中。在一些實施方式中，經重構圖片緩衝器650是視訊編解碼器600外部的存儲裝置。在一些實施方式中，經重構圖片緩衝器650是視訊編解碼器600內部的存儲裝置。

圖片內估計模組620基於經重構的像素資料617來執行幀內預測以生成幀內預測資料。將幀內預測資料提供給熵編碼器690以被編碼成位元流695。幀內預測模組625還使用幀內預測資料來生成預測像素資料613。

運動估計模組635通過針對被存儲在經重圖片緩衝器650中的先前經解碼的幀的參考像素資料生成MV來執行幀間預測。將這些MV提供給運動補償模組630以生成預測像素資料。

代替在位元流中編碼完整的實際MV，視訊編解碼器600使用MV預測來生成預測MV，並且將被用於運動補償的MV與預測MV之間的差編碼為殘差運動資料並且存儲在位元流695中。

MV預測模組675基於為編碼先前視頻幀而生成的參考MV（即，被用於執行運動補償的運動補償MV）來生成預測MV。MV預測模組675從來自MV緩衝器665的先前視頻幀取回參考MV。視訊編解碼器600將為當前視頻幀生成的MV存儲在MV緩衝器665中，作為用於生成預測MV的參考MV。

MV預測模組675使用參考MV來創建預測MV。可以通過空間MV預測或時間MV預測來計算預測MV。熵編碼器690將當前幀的預測MV與運動補償MV（motion compensation MV，MC MV）之間的差（殘差運動資料）編碼到位元流695中。

熵編碼器690通過使用諸如上下文自我調整二進位算術編碼（context-adaptive binary arithmetic coding，CABAC）或霍夫曼（Huffman）編碼的熵編碼技術來將各種參數和資料編碼到位元流695中。熵編碼器690將各種報頭元素、標誌，連同經量化的變換係數612和殘差運動資料作為語法元素編碼到位元流695中。位元流695又被存儲在存儲裝置中或者通過諸如網路之類的通信介質而被發送至解碼器。

環路內濾波器645對經重構的像素資料617執行濾波或平滑操作，以減少編碼偽像，特別是區塊的邊界處的編碼偽像。在一些實施方式中，由環路內濾波器645執行的濾波或平滑操作包括去塊濾波器（deblock，DBF）、樣本自我調整偏移（sample adaptive offset，SAO）、和/或自我調整環路濾波器（adaptive loop filter，ALF）。

圖7例示了視訊編解碼器600的通過跨分量模型來實現對幀間預測或幀內預測的改進的部分。當通過幀間預測對當前塊進行編碼時，運動估計模組635提供由運動補償模組630用於辨識參考圖片中的參考塊的MV。當通過幀內預測對當前塊進行編碼時，幀內預測估計模組620提供由幀內預測模組625用於辨識當前圖片中的參考塊的幀內模式或BV。在一些實施方式中，將參考塊用作當前塊的初始預測子。

為了得出跨分量（或卷積）模型710，模型構建器705從經重構圖片緩衝器650取回當前塊中和/或周圍的像素的分量樣本以及參考塊中和/或周圍的像素的分量樣本，以用作參考樣本（第一組）和當前樣本（第二組）。在上面的章節I-A中描述了對參考樣本和當前樣本的選擇。在上面的章節I-B中描述了對跨分量模型的推導。

將跨分量模型710應用於初始預測子715（由運動補償模組630或幀內預測模組625提供的）以生成經改進的預測子725。在上面的章節I-C中描述了使用跨分量模型710來改進預測子。可以將經改進的預測子725的樣本用作預測像素資料613。在一些實施方式中，可以明確地或暗示地啟用或禁用跨分量模型對幀內預測或幀間預測的改進（以使初始預測子的樣本被用作預測像素資料613），並且熵編碼器690可以用信號通知語法元素以指示這種情況。在一些實施方式中，預測生成器720將初始預測子715和經改進的預測子725組合（例如，作為加權和）為預測像素資料613。

圖8概念性地例示了在對區塊進行編碼時使用由跨分量模型改進的預測子的過程800。在一些實施方式中，實現編碼器600的計算設備的一個或多個處理單元（例如，處理器）通過執行被存儲在電腦可讀介質中的指令來執行過程800。在一些實施方式中，實現編碼器600的電子裝置執行過程800。

編碼器接收（在框810處）要被編碼為視頻的當前圖片中的當前像素塊的資料。

編碼器基於參考塊來生成（在框820處）當前塊的初始預測子。可以通過當前塊的運動向量、塊向量或幀內預測模式來辨識參考塊。

編碼器接收（在框830處）參考塊內或者鄰近該參考塊的第一組分量樣本的像素。編碼器接收（在框840處）當前塊內或者鄰近該當前塊的第二組分量樣本的像素。在一些實施方式中，第一組分量樣本是參考塊的鄰近樣本，並且第二組分量樣本是當前塊的鄰近樣本。在一些實施方式中，第一組分量樣本是參考塊的亮度樣本(luma samples)，並且第二組分量樣本是當前塊的亮度樣本。在一些實施方式中，第一組分量樣本是參考塊的色度樣本(chroma samples)，並且第二組分量樣本是當前塊的色度樣本。

編碼器基於第一組分量樣本和第二組分量樣本來得出（在框850處）模型。所得出的模型可以是線性的或非線性的（例如，具有諸如裁剪的非線性項）。所得出的模型可以是包括MxN濾波器的卷積模型。

編碼器向初始預測子應用（在框860處）所得出的模型，以生成經改進的預測子。在一些實施方式中，編碼器基於第一組分量樣本和第二組分量樣本來得出多個候選模型，以及從所述多個候選模型中選擇一個候選模型。在一些實施方式中，編碼器在位元流中用信號通知指示（例如，語法元素），以用於從所述多個候選模型中選擇候選模型。在一些實施方式中，基於用於對當前塊進行編碼的設定（例如，範本匹配設定、邊界匹配設定或模型準確度設定）來暗示地選擇候選模型。

編碼器通過使用經改進的預測子來對（在框870處）當前塊進行編碼，以生成預測殘差並重構當前塊。在一些實施方式中，編碼器將指示用信號通知給位元流，以用於確定是使用初始預測子還是經改進的預測子來對當前塊進行編碼。在一些實施方式中，編碼器基於用於對當前塊進行編碼的設定（例如，範本匹配設定、邊界匹配設定或模型準確度設定）來暗示地確定是使用初始預測子還是經改進的預測子來對當前塊進行編碼。

在一些實施方式中，將經改進的預測子和初始預測子的加權和用作用於重構當前塊的最終預測子。在一些實施方式中，基於被用於對當前塊的一個或多個鄰近塊進行編碼的一個或多個預測模式來確定用於生成加權和的、被指派給初始預測子的第一權重以及被指派給經改進的預測子的第二權重。在一些實施方式中，基於以第一預測模式編碼的鄰近塊的第一數量以及以第二預測模式編碼的鄰近塊的第二數量來確定第一權重和第二權重。（第一預測模式和第二預測模式可以是幀內、幀間、AMVP、合併模式等中的任一種）。 III. 示例視頻解碼器

在一些實施方式中，編碼器可以在位元流中用信號通知（或生成）一個或多個語法元素(syntax element)，使得解碼器可以從位元流中解析所述一個或多個語法元素。

圖9例示了可以使用跨分量模型來改進幀間預測或幀內預測的示例視頻解碼器900。如圖所示，視頻解碼器900是接收位元流995並將該位元流的內容解碼成視頻幀的像素資料以供顯示的圖像解碼或視頻解碼電路。視頻解碼器900具有用於對位元流995進行解碼的若干元件或模組，包括選自以下項中的一些組件：逆量化模組911、逆變換模組910、幀內預測模組925、運動補償模組930、環路內濾波器945、經解碼圖片緩衝器950、MV緩衝器965、MV預測模組975以及解析器990。運動補償模組930是幀間預測模組940的部分。

在一些實施方式中，模組910至模組990是正由計算設備的一個或多個處理單元（例如，處理器）執行的軟體指令的模組。在一些實施方式中，模組910至模組990是由電子裝置的一個或多個IC實現的硬體電路的模組。儘管模組910至模組990被例示為單獨的模組，但是可以將這些模組中的一些模組組合成單個模組。

解析器990（或熵解碼器）接收位元流995並且根據由視頻編碼或圖像編碼標準定義的語法來執行初始解析。經解析的語法元素包括各種報頭元素、標誌以及經量化的資料（或經量化的係數）912。解析器990通過使用諸如上下文自我調整二進位算術編碼（context-adaptive binary arithmetic coding，CABAC）或霍夫曼編碼之類的熵編碼技術來解析出各種語法元素。

逆量化模組911對經量化的資料（或者經量化的係數）912進行去量化以獲得變換係數，並且逆變換模組910對變換係數916執行逆變換以生成經重構的殘差信號919。將經重構的殘差信號919與來自幀內預測模組925或運動補償模組930的預測像素資料913相加，以生成經解碼的像素資料917。經解碼的像素資料由環路內濾波器945進行濾波並且存儲在經解碼圖片緩衝器950中。在一些實施方式中，經解碼圖片緩衝器950是視頻解碼器900外部的存儲裝置。在一些實施方式中，經解碼圖片緩衝器950是視頻解碼器900內部的存儲裝置。

幀內預測模組925從位元流995接收幀內預測資料，並且根據該幀內預測資料，從被存儲在經解碼圖片緩衝器950中的經解碼的像素資料917來生成預測像素資料913。在一些實施方式中，還將經解碼的像素資料917存儲在用於圖片內預測和空間MV預測的行緩衝器(line buffer)（未例示）中。

在一些實施方式中，將經解碼圖片緩衝器950的內容用於顯示。顯示裝置955取回經解碼圖片緩衝器950的內容以用於直接顯示，或者將經解碼圖片緩衝器的內容取回至顯示緩衝器。在一些實施方式中，顯示裝置通過像素傳輸從經解碼圖片緩衝器950接收像素值。

運動補償模組930根據運動補償MV（MC MV）從被存儲在經解碼圖片緩衝器950中的經解碼的像素資料917來生成預測像素資料913。通過將從位元流995接收到的殘差運動資料與從MV預測模組975接收到的預測MV相加來解碼這些運動補償MV。

MV預測模組975基於為解碼先前視頻幀而生成的參考MV（例如，被用於執行運動補償的運動補償MV）來生成預測MV。MV預測模組975從MV緩衝器965中取回先前視頻幀的參考MV。視頻解碼器900將為解碼當前視頻幀而生成的運動補償MV存儲在MV緩衝器965中，作為用於生成預測MV的參考MV。

環路內濾波器945對經解碼的像素資料917執行濾波或平滑操作，以減少編碼偽像，特別是區塊的邊界處的編碼偽像。在一些實施方式中，由環路內濾波器945執行的濾波或平滑操作包括去塊濾波器（deblock filter，DBF）、樣本自我調整偏移（sample adaptive offset，SAO）、和/或自我調整環路濾波器（adaptive loop filter，ALF）。

圖10例示了視頻解碼器900的通過跨分量模型來實現對幀間預測或幀內預測的改進的部分。當通過幀間預測對當前塊進行編解碼時，熵解碼器990提供由運動補償模組930用於辨識參考圖片中的參考塊的MV。當通過幀內預測對當前塊進行編解碼時，熵解碼器990提供由幀內預測模組925用於辨識當前圖片中的參考塊的幀內模式或BV。在一些實施方式中，將參考塊用作當前塊的初始預測子1015。

為了得出跨分量（或卷積）模型1010，模型構建器1005從經解碼圖片緩衝器950取回當前塊中和/或周圍以及參考塊中和/或周圍的像素的分量樣本，以用作參考樣本（第一組）和當前樣本（第二組）。在上面的章節I-A中描述了對參考樣本和當前樣本的選擇。在上面的章節I-B中描述了對跨分量模型的推導。

將跨分量模型1010應用於初始預測子1015（由運動補償模組930或幀內預測模組925提供），以生成經改進的預測子1025。在上面的章節I-C中描述了使用跨分量模型1010來改進預測子。可以將經改進的預測子1025的樣本用作預測像素資料913。在一些實施方式中，可以明示地或暗示地啟用或禁用跨分量模型對幀內預測或幀間預測的改進（以使初始預測子715的樣本被用作預測像素資料913），並且熵解碼器990可以接收語法元素以指示這種情況。在一些實施方式中，預測生成器1020可以將初始預測子1015和經改進的預測子1025組合（例如，作為加權和）為預測像素資料913。

圖11概念性地例示了在對區塊進行解碼時使用由跨分量模型改進的預測子的過程1100。在一些實施方式中，實現解碼器900的計算設備的一個或多個處理單元（例如，處理器）通過執行被存儲在電腦可讀介質中的指令來執行過程1100。在一些實施方式中，實現解碼器900的電子裝置執行過程1100。

解碼器接收（在框1110處）要被解碼為視頻的當前圖片中的當前塊的像素資料。

解碼器基於參考塊來生成（在框1120處）當前塊的初始預測子。可以通過當前塊的運動向量、塊向量或幀內預測模式來辨識參考塊。

解碼器接收（在框1130處）參考塊內或者鄰近該參考塊的第一組分量樣本的像素。解碼器接收（在框1140處）當前塊內或者鄰近該當前塊的第二組分量樣本的像素。在一些實施方式中，第一組分量樣本是參考塊的鄰近樣本，並且第二組分量樣本是當前塊的鄰近樣本。在一些實施方式中，第一組分量樣本是參考塊的亮度樣本，並且第二組分量樣本是當前塊的亮度樣本。在一些實施方式中，第一組分量樣本是參考塊的色度樣本，並且第二組分量樣本是當前塊的色度樣本。

解碼器基於第一組分量樣本和第二組分量樣本來得出（在框1150處）模型。所得出的模型可以是線性的或非線性的（例如，具有諸如裁剪的非線性項）。所得出的模型可以是包括MxN濾波器的卷積模型。

解碼器向初始預測子應用（在框1160處）所得出的模型，以生成經改進的預測子。在一些實施方式中，解碼器基於第一組分量樣本和第二組分量樣本來得出多個候選模型，以及從所述多個候選模型中選擇一個候選模型。在一些實施方式中，解碼器從位元流中接收指示（例如，語法元素），以用於從所述多個候選模型中選擇候選模型。在一些實施方式中，基於用於對當前塊進行解碼的設定（例如，範本匹配設定、邊界匹配設定或模型準確度設定）來暗示地選擇候選模型。

解碼器通過使用經改進的預測子來重構（在框1170處）當前塊。然後，解碼器可以提供經重構的當前塊以作為經重構的當前圖片的部分來顯示。在一些實施方式中，解碼器從位元流中接收指示，以用於確定是使用初始預測子還是經改進的預測子來解碼當前塊。在一些實施方式中，解碼器基於用於對當前塊進行解碼的設定（例如，範本匹配設定、邊界匹配設定或模型準確度設定）來暗示地確定是使用初始預測子還是經改進的預測子來解碼當前塊。

在一些實施方式中，將經改進的預測子和初始預測子的加權和用作用於重構當前塊的最終預測子。在一些實施方式中，基於被用於對當前塊的一個或多個鄰近塊進行編碼的一個或多個預測模式來確定被指派給初始預測子的第一權重以及被指派給經改進的預測子的第二權重，以用於生成加權和。在一些實施方式中，基於以第一預測模式編碼的鄰近塊的第一數量以及以第二預測模式編碼的鄰近塊的第二數量來確定第一權重和第二權重。（第一預測模式和第二預測模式可以是幀內、幀間、AMVP、合併模式等中的任一種）。 IV. 示例電子系統

很多上述的特徵和應用可以被實作為軟體過程，其被指定為記錄在電腦可讀存儲介質（computer readable storage medium）（也被稱為電腦可讀介質）上的指令集。當這些指令由一個或者複數個計算單元或者處理單元（例如，一個或者複數個處理器、處理器核或者其他處理單元）來執行時，則這些指令使得處理單元執行這些指令所表示的動作。電腦可讀介質的示例包括但不限於CD-ROM、快閃記憶體驅動器（flash drive）、隨機存取記憶體（random access memory，RAM）晶片、硬碟、可讀寫可程式設計唯讀記憶體（erasable programmable read only memory，EPROM），電可擦除可程式設計唯讀記憶體（electrically erasable programmable read-only memory，EEPROM）等。電腦可讀介質不包括通過無線或有線連接的載波和電訊號。

在本說明書中，術語「軟體」意味著包括唯讀記憶體中的固件或者存儲在磁存放裝置中的應用程式，應用程式可以被讀入到記憶體中以用於處理器進行處理。同時，在一些實施例中，複數個軟體發明可以作為更大程式的子部分來實作，而保留不同的軟體發明。在一些實施例中，複數個軟體發明可以作為獨立的程式來實作。最後，一起實作此處所描述的軟體發明的獨立的程式的任何結合是在本發明的範圍內。在一些實施例中，當被安裝以在一個或者複數個電子系統上進行操作時，軟體程式定義了一個或者複數個特定的機器實作方式，機器實作方式執行和實施軟體程式的操作。

圖12概念性地例示了實現本公開的一些實施方式的電子系統1200。電子系統1200可以是電腦（例如，臺式電腦、個人電腦、平板電腦等）、電話、PDA或任何其它類別的電子設備。這種電子系統包括各種類型的電腦可讀介質以及用於各種其它類型的電腦可讀介質的介面。電子系統1200包括：匯流排1205、處理單元1210、圖形處理單元（graphics-processing unit，GPU）1215、系統記憶體1220、網路1225、唯讀記憶體1230、永久存放裝置1235、輸入裝置1240以及輸出設備1245。

匯流排1205共同表示以通信方式連接電子系統1200的多個內部設備的所有系統、週邊裝置以及晶片組匯流排。例如，匯流排1205以通信方式將處理單元1210與GPU 1215、唯讀記憶體1230、系統記憶體1220以及永久存放裝置1235連接。

從這些各種記憶體單元，處理單元1210取回要執行的指令以及要處理的資料以便執行本公開的過程。在不同實施方式中，處理單元可以是單個處理器或多核處理器。一些指令被傳遞至GPU 1215並由其執行。GPU 1215可以卸載各種計算或者補充由處理單元1210提供的影像處理。

唯讀記憶體（read-only-memory，ROM）1230存儲由處理單元1210以及電子系統的其它模組使用的靜態資料和指令。另一方面，永久存放裝置1235是讀寫記憶體設備。該設備是即使在電子系統1200關閉時也存儲指令和資料的非易失性記憶體單元。本公開的一些實施方式使用大型存放區設備（諸如磁片或光碟及其對應的盤驅動器）作為永久存放裝置1235。

其它實施方式使用可去除存放裝置（諸如軟碟、快閃記憶體設備等，及其對應的盤驅動器）作為永久存放裝置。與永久存放裝置1235類似，系統記憶體1220是讀寫存放裝置。然而，與存放裝置1235不同，系統記憶體1220是易失性讀寫記憶體，諸如隨機存取記憶體。系統記憶體1220存儲處理器在運行時使用的指令和資料中的一些。在一些實施方式中，將根據本公開的過程存儲在系統記憶體1220、永久存放裝置1235、和/或唯讀記憶體1230中。例如，根據一些實施方式，各種記憶體單元包括用於處理多媒體剪輯（multimedia clip）的指令。處理單元1210從這些各種記憶體單元取回要執行的指令以及要處理的資料，以便執行一些實施方式的過程。

匯流排1205還連接至輸入裝置1240和輸出設備1245。輸入裝置1240使得使用者能夠向電子系統傳送資訊和選擇命令。輸入裝置1240包括字母數位鍵盤和定點設備（也被稱為“游標控制設備”）、攝像機（例如，網路攝像頭）、麥克風或者用於接收語音命令的類似設備等。輸出設備1245顯示由電子系統生成的圖像或者以其它方式輸出資料。輸出設備1245包括印表機和顯示裝置，諸如陰極射線管（cathode ray tube，CRT）或液晶顯示器（liquid crystal display，LCD），以及揚聲器或類似的音訊輸出設備。一些實施方式包括諸如觸控式螢幕的設備，其充任輸入和輸出設備兩者。

最後，如圖12所示，匯流排1205還通過網路介面卡（未示出）將電子系統1200聯接至網路1225。以這種方式，電腦可以是電腦網路（諸如局域網（local area network，LAN）、廣域網路（wide area network，WAN））、或內聯網、或諸如互聯網之類的網路中的網路。電子系統1200的任何或所有元件可以與本公開結合使用。

一些實施方式包括電子元件，諸如微處理器、將電腦程式指令存儲在機器可讀或電腦可讀介質（另選地被稱為電腦可讀存儲介質、機器可讀介質或機器可讀存儲介質）中的存儲裝置和記憶體。這種電腦可讀介質的一些示例包括：RAM、ROM、唯讀緻密盤（read-only compact disc，CD-ROM）、可記錄緻密盤（recordable compact disc，CD-R）、可重寫緻密盤（rewritable compact disc，CD-RW）、唯讀數位通用盤（例如，DVD-ROM、雙層DVD-ROM）、多種可記錄/可重寫DVD（例如，DVD-RAM、DVD-RW、DVD＋RW等）、快閃記憶體（例如，SD卡、迷你SD卡、微型SD卡等）、磁和/或固態硬碟驅動器、唯讀和可記錄Blu-Ray®盤、超密度光碟、任何其它光或磁介質以及軟碟。電腦可讀介質可以存儲可由至少一個處理單元執行並且包括用於執行各種操作的指令集的電腦程式。電腦程式或電腦代碼的示例包括諸如由編譯器生成的機器代碼，以及包括由電腦、電子元件或使用解譯器的微處理器執行的高級代碼的檔。

雖然上述討論主要涉及執行軟體的微處理器或多核處理器，但是上面所描述的特徵和應用中的許多特徵和應用由一個或多個積體電路執行，諸如專用積體電路（application specific integrated circuit，ASIC）或現場可程式設計閘陣列（field programmable gate array，FPGA）。在一些實施方式中，這種積體電路執行被存儲在電路本身上的指令。另外，一些實施方式執行被存儲在可程式設計邏輯裝置（PLD）、ROM或RAM設備中的軟體。

如本說明書和本申請的任何權利要求中所使用的，術語“電腦”、“伺服器”、“處理器”以及“記憶體”全部指電子或其它技術設備。這些術語排除了人或人的群體。處於本說明書的目的，術語“顯示（display）”或“顯示（displaying）”是指在電子設備上顯示。如本說明書和本申請的任何權利要求中所使用的，術語“電腦可讀介質”、“電腦可讀媒介（media）”以及“機器可讀介質”完全限於以電腦可讀的形式存儲資訊的有形的物理物件。這些術語不包括任何無線信號、有線下載信號以及任何其它暫時的信號。

雖然已經參照許多具體細節描述了本公開，但是本領域普通技術人員將認識到，在不脫離本公開的精神的情況下，本公開可以以其它具體形式來實施。另外，多個附圖（包括圖8和圖11）概念性地例示了過程。這些過程的具體操作可以不按所示和所述的確切次序來執行。特定操作可以不在一個連續的操作系列中執行，並且不同的特定操作可以在不同的實施方式中執行。而且，該過程可以使用若干子過程來實現，或者作為較大巨集過程的部分來實現。因此，本領域普通技術人員將理解，本公開不受前述例示性細節的限制，而是要由所附權利要求來限定。 額外說明

本文所描述的主題有時表示不同的元件，其包含在或者連接到其他不同的元件。可以理解的是，所描述的結構僅是示例，實際上可以由許多其他結構來實施，以實作相同的功能。從概念上講，任何實作相同功能的組件的排列實際上是「相關聯的」，以便實作所需的功能。因此，不論結構或中間部件，為實作特定的功能而組合的任何兩個元件被視為「相互關聯」，以實作所需的功能。同樣，任何兩個相關聯的元件被看作是相互「可操作連接」或「可操作耦接」，以實作特定功能。能相互關聯的任何兩個組件也被視為相互「可操作地耦合」以實作特定功能。可操作連接的具體例子包括但不限於物理可配對和/或物理上相互作用的元件，和/或無線可交互和/或無線上相互作用的元件，和/或邏輯上相互作用和/或邏輯上可交互的元件。

此外，關於基本上任何複數和/或單數術語的使用，本領域通常知識者可以依據上下文和/或應用從複數轉換為單數和/或從單數到複數。為清楚起見，本文明確規定了不同的單數/複數排列。

此外，本領域通常知識者可以理解，通常，本發明所使用的術語特別是請求項中的，如請求項的主題，通常用作「開放」術語，例如，「包括」應解釋為「包括但不限於，「有」應理解為「至少有」，「包括」應解釋為「包括但不限於」等。本領域通常知識者可以進一步理解，若計畫介紹特定數量的請求項的內容，將在請求項內明確表示，並且，在沒有這類內容時將不顯示。例如，為幫助理解，請求項可能包含短語「至少一個」和「一個或複數個」，以介紹請求項的內容。然而，這些短語的使用不應理解為暗示使用不定冠詞「a」或「an」介紹請求項的內容，而限制了任何特定的專利範圍。甚至當相同的請求項包括介紹性短語「一個或複數個」或「至少有一個」，不定冠詞，例如「a」或「an」，則應被解釋為表示至少一個或者更多，對於用於介紹權利要求的明確描述的使用而言，同樣成立。此外，即使明確引用特定數量的介紹性內容，本領域通常知識者可以認識到，這樣的內容應被解釋為表示所引用的數量，例如，沒有其他修改的「兩個引用」，意味著至少兩個引用，或兩個或兩個以上的引用。此外，在使用類似於「A、B和C中的至少一個」的表述的情況下，通常如此表述是為了本領域通常知識者可以理解表述，例如，「系統包括A、B和C中的至少一個」將包括但不限於單獨具有A的系統，單獨具有B的系統，單獨具有C的系統，具有A和B的系統，具有A和C的系統，具有B和C的系統，和/或具有A、B和C的系統，等。本領域通常知識者進一步可理解，無論在說明書中、請求項中或者圖式中，由兩個或兩個以上的替代術語所表現的任何分隔的單詞和/或短語應理解為，包括這些術語中的一個，其中一個，或者這兩個術語的可能性。例如，「A或B」應理解為，「A」，或者「B」，或者「A和B」的可能性。

從前述可知，為了說明目的，此處已描述了各種實施方案，並且在不偏離本發明的範圍和精神的情況下，可以進行各種變形。因此，此處所公開的各種實施方式不用於限制，權利要求表示真實的範圍和精神。

110:當前塊 111:參考塊 600:視訊編解碼器 605:視頻源 610:變換 611:量化 612:經量化的係數 613:預測的像素資料 614:逆量化 615:逆變換 616:變換係數 617:經重構的像素資料 619:經重構的殘差 620:幀內預測估計 625:幀內預測 630:運動補償 635:運動估計 645:環路內濾波器 650:經重構的圖片緩衝器 665:MV緩衝器 675:MV預測 690:熵編碼器 695:位元流 715:初始預測子 705:構建器 710:卷積模型 720:預測生成 725:經改進的預測子 810~870:框 900:視頻解碼器 910:逆變換 911:逆量化 912:經量化的係數 913:預測的像素資料 916:變換係數 917:經解碼的像素資料 919:經重構的殘差 925:幀內預測 930:運動補償 945:環路內濾波器 950:經解碼圖片緩衝器 955:顯示器 965:MV緩衝器 975:MV預測 990:解析器（熵解碼器） 995:位元流 1015:初始預測子 1005:構建器 1010:卷積模型 1020:預測生成 1025:經改進的預測子 1110~1170:框 1210:處理單元 1220:系統記憶體 1225:網路 1235:永久存放裝置 1240:輸入裝置 1245:輸出設備

圖式被包含，以為了提供對本發明的進一步理解，並被納入到本發明中並構成本發明的一部分。圖式說明了本發明的實施方式，並與說明書一起用於解釋本發明的原理。值得注意的是，圖式不一定是按比例繪製的，因為為了清楚地說明本發明的概念，一些元件可能會顯示出與實際實施方式中的尺寸不成比例。 圖1A至圖1B概念性地例示了當前塊及其參考塊。 圖2A至圖2E概念性地例示了基於參考樣本和當前樣本得出卷積模型。 圖3A至圖3E例示了應用所得出的卷積模型以將初始預測改進成經改進的預測。 圖4概念性地例示了使用對應的參考樣本和當前樣本的資料對來得出用於跨分量預測的線性模型。 圖5例示了被用於得出用於定義跨分量線性模型的MxN濾波器的對應的參考樣本和當前樣本。 圖6例示了可以使用跨分量模型來改進幀間預測或幀內預測的示例視訊編解碼器。 圖7例示了視訊編解碼器的通過跨分量模型來實現對幀間預測或幀內預測的改進的部分。 圖8概念性地例示了在對區塊進行編碼時使用由跨分量模型改進的預測子的過程。 圖9例示了可以使用跨分量模型來改進幀間預測或幀內預測的示例視頻解碼器。 圖10例示了視頻解碼器的通過跨分量模型來實現對幀間預測或幀內預測的改進的部分。 圖11概念性地例示了在對區塊進行解碼時使用由跨分量模型改進的預測子的過程。 圖12概念性地例示了實現本公開的一些實施方式的電子系統。

1100:過程

1110~1170:框

Claims (19)

1. 一種視頻編解碼方法，包括： 接收要被編碼或解碼為視頻的當前圖片的當前塊的像素塊的資料； 基於參考塊來生成所述當前塊的初始預測子； 接收所述參考塊內或者鄰近的第一組分量樣本的像素； 接收所述當前塊內或者鄰近的第二組分量樣本的像素； 基於所述第一組和第二組分量樣本來得出模型； 向所述初始預測子應用所得出的模型，以生成經改進的預測子；以及 通過使用所述經改進的預測子來解碼或編碼所述當前塊。
2. 如請求項1所述之視頻編解碼方法， 其中，所述第一組分量樣本是所述參考塊的鄰近樣本，並且所述第二組分量樣本是所述當前塊的鄰近樣本。
3. 如請求項1所述之視頻編解碼方法，其中，所述第一組分量樣本是所述參考塊的亮度樣本，並且所述第二組分量樣本是所述當前塊的亮度樣本。
4. 如請求項1所述之視頻編解碼方法，其中，所述第一組分量樣本是所述參考塊的鄰近色度樣本，並且所述第二組分量樣本是所述當前塊的鄰近色度樣本。
5. 如請求項1所述之視頻編解碼方法，其中，所得出的模型包括非線性項。
6. 如請求項1所述之視頻編解碼方法，其中，所得出的模型包括MxN濾波器。
7. 如請求項1所述之視頻編解碼方法，其中，所述經改進的預測子和所述初始預測子的加權和被用作用於重構所述當前塊的最終預測子。
8. 如請求項7所述之視頻編解碼方法，其中，基於被用於對所述當前塊的一個或多個鄰近塊進行編解碼的一個或多個預測模式來決定被指派給所述初始預測子的第一權重以及被指派給所述經改進的預測子的第二權重，以用於生成所述加權和。
9. 如請求項8所述之視頻編解碼方法，其中，基於以第一預測模式編解碼的鄰近塊的第一數量以及以第二預測模式編解碼的鄰近塊的第二數量來決定所述第一權重和所述第二權重。
10. 如請求項1所述之視頻編解碼方法，其中，得出所述模型包括：基於所述第一組和第二組分量樣本來得出多個候選模型，以及從所述多個候選模型中選擇一個候選模型。
11. 如請求項10所述之視頻編解碼方法，還包括：從位元流接收指示或者將所述指示用信號通知給所述位元流，以用於從所述多個候選模型中選擇所述候選模型。
12. 如請求項10所述之視頻編解碼方法，其中，基於用於對所述當前塊進行編碼或解碼的設定來暗示地選擇所述候選模型。
13. 如請求項1所述之視頻編解碼方法，還包括：從位元流接收指示或者將所述指示用信號通知給所述位元流，以用於決定是使用所述初始預測子還是所述經改進的預測子來編碼或解碼所述當前塊。
14. 如請求項1所述之視頻編解碼方法，還包括：基於用於對所述當前塊進行編碼或解碼的設定來暗示地確定是使用所述初始預測子還是所述經改進的預測子來編碼或解碼所述當前塊。
15. 一種電子裝置，所述電子裝置包括： 視訊編解碼器電路，被配置成執行包括以下項的操作： 接收要被編碼或解碼為視頻的當前圖片的當前塊的像素塊的資料； 基於參考塊來生成所述當前塊的初始預測子； 接收所述參考塊內或者鄰近的第一組分量樣本的像素； 接收所述當前塊內或者鄰近的第二組分量樣本的像素； 基於所述第一組和第二組分量樣本來得出模型； 向所述初始預測子應用所得出的模型，以生成經改進的預測子；以及 通過使用所述經改進的預測子來解碼或編碼所述當前塊。
16. 一種視訊解碼方法，所述視頻解碼方法包括： 接收要被解碼為視頻的當前圖片的當前塊的像素塊的資料； 基於參考塊來生成所述當前塊的初始預測子； 接收所述參考塊內或者鄰近的第一組分量樣本的像素； 接收所述當前塊內或者鄰近的第二組分量樣本的像素； 基於所述第一組分量樣本和所述第二組分量樣本來得出模型； 向所述初始預測子應用所得出的模型，以生成經改進的預測子；以及 通過使用所述經改進的預測子來重構當前塊。
17. 一種視訊編碼方法，所述視頻編碼方法包括： 接收要被編碼為視頻的當前圖片的當前塊的像素塊的資料； 基於參考塊來生成所述當前塊的初始預測子； 接收所述參考塊內或者鄰近的第一組分量樣本的像素； 接收所述當前塊內或者鄰近的第二組分量樣本的像素； 基於所述第一組和第二組分量樣本來得出模型； 向所述初始預測子應用所得出的模型，以生成經改進的預測子；以及 通過使用所述經改進的預測子來編碼所述當前塊。
18. 一種視訊編解碼方法，所述視頻編解碼方法包括： 接收要被編碼或解碼為視頻的當前圖片的當前塊的像素塊的資料； 基於參考塊來生成所述當前塊的初始預測子； 接收所述當前塊或所述參考塊內或者鄰近的的第一組和第二組分量樣本的像素，其中，所述第一組和第二組分量樣本的像素中的至少其中之一來自所述參考塊； 基於所述第一組分量樣本和所述第二組分量樣本來得出模型； 基於所述初始預測子來應用所得出的模型，以生成經改進的預測子；以及 通過使用所述經改進的預測子來解碼或編碼所述當前塊。
19. 如請求項18所述之視頻編解碼方法，其中，所述第一組分量樣本是所述參考塊的亮度樣本，並且所述第二組分量樣本是所述參考塊的色度樣本。