TW202348027A - 用於應用預測平均值修改之上取樣濾波器 - Google Patents

Abstract

描述一種用於視訊編碼之上取樣濾波器。該上取樣濾波器經組態以將一輸入視訊訊框自一第一解析度上取樣至一第二解析度，該第二解析度高於該第一解析度。該上取樣濾波器具有經組態以修改該上取樣濾波器之輸出以應用一預測平均值修改符的一濾波器係數集合。在實例中，該預測平均值修改符經定義為在應用該上取樣濾波器之後在該第二解析度下的像素之一資料區塊的一平均值與在應用該上取樣濾波器之前在該第一解析度下之一對應像素值之間的一差。

Description

用於應用預測平均值修改之上取樣濾波器

本發明係關於用於視訊編碼之上取樣。特別地，實例係關於一種上取樣濾波器，其修改視訊訊框以應用增加自視訊訊框導出之殘餘資料之編碼效率的預測平均值修改。

EP 2850829 B1描述一種變換諸如殘餘資料等元素資訊以允許高效視訊編碼之方法。特別地，EP 2850829 B1描述可如何將定向分解應用於殘餘資料之較小區塊以及可如何使用所謂的「預測平均值」來調整給定資料區塊之平均值以導出經變換殘餘資料集合以用於作為經編碼位元串流而進一步熵編碼及傳輸或儲存。在本文中所描述之實例中，預測平均值經判定為在第一較低解析度下之像素值與在第二較高解析度下的經上取樣之像素集合之平均值之間的差，其中經上取樣之像素集合對應於像素值之上取樣。使用預測平均值允許減少經變換殘餘資料內之平均分量的能量，從而產生較小位元串流及更高效之編碼。

在EP 2850829 B1之實例內，在視訊訊框的解碼期間，使用可供解碼器使用之信號資訊來計算預測平均值之估計。因此，預測平均值不需要在位元串流內顯式地傳輸。特別地，在第一較低解析度下之像素值可自第一經編碼位元串流（例如，編碼之第一層）導出，並且在第二較高解析度下的經上取樣之像素集合的平均值可自在解碼器處執行之上取樣導出。在EP 2850829 B1之實例中，將預測平均值添加至經解碼之經變換殘餘的資料區塊之所接收增量或經調整平均分量以恢復資料區塊之原始平均值。接著可（例如，經由應用反向定向分解）重編寫資料區塊以獲得資料區塊之殘餘值。可接著將此等殘餘值添加至第一經編碼位元串流之解碼的上取樣，從而以第二較高解析度輸出視訊信號之解碼。

WO2020/188242 A1描述一種形式之經修改上取樣，藉此在視訊信號的解碼期間，可計算預測平均值修改符且將其添加至經上取樣之信號的輸出。在此情況下，使用上取樣階段之輸入及輸出來計算預測平均值，而非計算預測平均值作為用於經編碼位元串流層之解碼程序的部分且應用預測平均值以在反向定向分解之前恢復平均分量。有可能歸因於解碼操作之主要線性序列而在上取樣之後應用預測平均值而非作為解碼程序的部分（例如，由此，操作可在解碼操作序列內移動而無不利影響）。WO2020/188242 A1之方法允許更高效解碼，此係因為其避免需要將反向定向分解應用於預測平均分量，由此節省計算資源且增大解碼速度（例如，藉由減少操作數目）。舉例而言，在反向定向分解期間跨資料區塊維持零之經變換之經調整平均分量可減少位元操作數目（即使並非所有經調整分量皆為零）。

雖然應用EP 2850829 B1之預測平均值修改會增大所得位元串流的編碼效率並且移動WO2020/188242 A1中之修改的應用會增大解碼效率，但預測平均值之計算及應用可增加編碼及解碼程序之複雜度。此對於較舊之所謂的「舊式」硬體裝置（諸如機上盒或內置式解碼器）尤其成問題。舉例而言，歸因於編碼器及解碼器中之一者或多者處的硬體約束而可能難以支援對預測平均值修改之使用。在此等情況下，視訊分配器可選擇關斷預測平均值功能性且為了更廣舊式裝置支援而權衡較少壓縮之位元串流。

在視訊編碼領域內，始終需要更高效之視訊編碼，例如針對給定經解碼視訊品質而減小位元串流之位元速率及/或減少計算或功率消耗的視訊編碼。視訊編碼通常為涉及用於共同視訊編碼標準之硬體加速器的資源密集型操作。此亦呈現改良視訊編碼效率同時維持對較舊硬體裝置之支援的問題。

本發明之範疇及變化形式係闡述於隨附申請專利範圍中。

某些未主張之範疇進一步闡述於以下實施方式中。

本文中所描述之某些實例係關於可例如用於視訊編碼中的經調適上取樣操作。特別地，本文中所描述之某些實例應用諸如EP 2850829 B1或WO2020/188242 A1中所描述的預測平均值計算作為上取樣操作之部分。此係藉由對上取樣濾波器之上取樣係數集合進行組態來實現。舉例而言，上取樣濾波器之上取樣係數集合可經最佳化以使得上取樣操作提供減小殘餘資料串流之位元速率的像素資料之上取樣以及等效於WO2020/188242 A1中所描述的經修改之經上取樣輸出的輸出。此可藉由對上取樣係數進行組態以使得經上取樣之資料區塊之像素值的平均值（例如，2×2或4×4資料區塊用於特定明度或色度平面）等於或大致等於（例如，在量化容限內）經上取樣以產生經上取樣之資料區塊的像素值來實現。此接著有效地將預測平均值修改符設定為零，以使得在經變換殘餘資料區塊內，平均分量與經調整平均分量相同。

本文之實例中所描述的經調適上取樣操作可用於編碼器及解碼器中之一者或多者處。在一種情況下，實例之經調適上取樣器可在編碼器及解碼器兩者處應用，例如以分別產生新的經編碼位元串流並對彼等位元串流進行解碼。

在某些特定實例中，經調適上取樣操作實施為針對兩個影像維度中之各者具有小於五個係數的可分離濾波器，例如實施為四分接頭可分離濾波器。在實例中，描述了提供經調適上取樣操作之一般形式之上取樣係數。因此，不同之現有上取樣濾波器可經調適以提供預測平均值計算。此意謂受限於具有四個係數之硬體實施濾波器的諸如機上盒等舊式硬體裝置可以計算上高效方式應用預測平均值計算。在多於四個係數可供使用之情況下，可使用具有五個或多於五個係數之一維濾波器。在進一步減小殘餘資料之位元速率的更具表現力之上取樣濾波器存在較少硬體限制的情況下，此可為較佳的。

本文中所描述之某些實例可實施為MPEG 5第2部分低複雜度增強視訊編碼（LCEVC）實施方案及/或SMPTE VC-6 2117實施方案之部分。

在下文中，首先描述示例性信號編碼器及解碼器之某些特徵。此等示例性信號編碼器及解碼器可使用如本文中所描述之經調適上取樣操作。在此總體描述之後，將詳細地描述經調適上取樣操作之某些特定範疇。經調適上取樣操作更易於理解為具有使用上取樣之基於層次之階層式編碼方案或格式的第一理解實例，但稍後實例中所描述之方法不必限於此等方案。

通用信號處理術語及定義本文中所描述之實例係關於信號處理。信號可被視為一連串樣本（亦即，二維影像、視訊訊框、視訊欄位、聲音訊框等）。在本說明書中，術語「影像」、「圖像」或「平面」（意欲具有「超平面」之最廣泛意義，亦即具有任何數目個維度及給定取樣柵格之元素陣列）將通常用以識別沿著樣本序列之信號之樣本的數位顯現，其中各平面具有用於其維度（例如，X及Y）中之各者的給定解析度，並且包含表徵為一個或多個「值」或「設定」（例如，舉非限制性實例來說，合適色彩空間中之色彩設定、指示密度等級的設定、指示溫度等級之設定、指示音訊音調的設定、指示幅度之設定、指示深度的設定、指示alpha通道透明度等級之設定等）之平面元素集合（或「元素」，或「像素」，或用於通常稱為「像素」之二維影像、用於通常稱為「立體像素」之體積影像等的顯示元素）。各平面元素係藉由合適座標集合識別，從而指示該元素在影像之取樣柵格中的整數位置。信號維度可僅包括空間維度（例如，在影像之情況下）或亦包括時間維度（例如，在隨時間演進之諸如視訊信號等信號之情況下）。

作為實例，信號可為影像、音訊信號、多通道音訊信號、遙測信號、視訊信號、3DoF/6DoF視訊信號、體積信號（例如，醫學成像、科學成像、全像成像等）、體積視訊信號或甚至具有大於四個維度之信號。

為簡單起見，本文中所描述之實例通常係指顯示為設定之2D平面（例如，合適色彩空間中之2D影像）的信號，諸如視訊信號。術語「訊框」或「欄位」將可與術語「影像」互換地使用，以便指示視訊信號之時間上的樣本：針對由訊框製成之視訊信號（漸進視訊信號）繪示的任何概念及方法亦可容易地適用於由欄位製成之視訊信號（交錯視訊信號），且反之亦然。儘管本文中所繪示之實施例集中於影像及視訊信號，但熟習此項技術者可容易地理解，相同概念及方法亦適用於任何其他類型之多維信號（例如，音訊信號、體積信號、立體視訊信號、3DoF/6DoF視訊信號、全光信號、點雲等）。

本文中所描述之某些基於層次之階層式格式使用變化量的校正（例如，亦呈「殘餘資料」或僅呈「殘餘」之形式），以便在給定品質等級下產生信號之重構，其與原始信號最相似（或甚至無損地重構原始信號）。校正量可基於給定品質等級之預測顯現的保真度。

為實現高保真重構，編碼方法可將信號之較低解析度重構上取樣至信號之下一較高解析度重構。在某些情況下，不同信號可藉由不同方法最佳地處理，亦即，相同方法對於所有信號可能並非最佳的。

基於層次之階層式編碼方案或格式的實例在較佳實例中，編碼器或解碼器係基於層次之階層式編碼方案或格式的部分。基於層次之階層式編碼方案的實例包括LCEVC：MPEG-5第2部分LCEVC及VC-6：SMPTE VC-6 ST-2117，前者描述於PCT/GB2020/050695（及相關聯標準文獻）中並且後者描述於PCT/GB2018/053552（及相關聯標準文獻）中，以上所有者以引用之方式併入本文中。然而，本文中所繪示之概念不必限於此等特定階層式編碼方案。

圖1至圖7提供不同示例性基於層次之階層式編碼格式的概述。此等經提供為用於在圖7之後的圖式中闡述之經調適上取樣操作的上下文。圖1至圖5提供類似於SMPTE VC-6 ST-2117之實施方案的實例，而圖6及圖7提供類似於MPEG-5第2部分LCEVC之實施方案的實例。可看出，兩組實例利用共同基礎操作（例如，下取樣、上取樣及殘餘產生）且可共用模組化實施技術。

通用階層式編碼方案圖1極大體地繪示階層式編碼方案。待編碼之資料101係由輸出經編碼資料103之階層式編碼器102擷取。隨後，經編碼資料103係由對資料進行解碼且輸出經解碼資料105之階層式解碼器104接收。

通常，用於本文之實例中的階層式編碼方案產生基礎或核心等級，其為較低品質等級下以及可用以使用基礎等級資料之經解碼版本來在較高品質等級下重新產生原始資料的一個或多個殘餘等級下之原始資料的表示。一般而言，如本文中所使用之術語「殘餘」係指參考陣列或參考訊框之值與實際陣列或資料訊框之間的差。陣列可為表示編碼單元之一維或二維陣列。舉例而言，編碼單元可為對應於輸入視訊訊框之類似大小區域的2×2或4×4殘餘值集合。

應注意，一般化實例對於輸入信號之本質不可知。參考如本文中所使用之「殘餘資料」係指自殘餘集合（例如，殘餘集合本身或對殘餘集合執行之資料處理操作集合的輸出）導出之資料。在整個本說明書中，殘餘集合通常包括複數個殘餘或殘餘元素，各殘餘或殘餘元素對應於信號元素，亦即信號或原始資料之元素。

在特定實例中，資料可為影像或視訊。在此等實例中，殘餘集合對應於影像或視訊訊框，其中各殘餘與信號之像素相關聯，該像素為信號元素。

本文中所描述之方法可應用於反映視訊信號之不同色彩分量的所謂資料平面。舉例而言，該等方法可應用於反映不同色彩通道之YUV或RGB資料的不同平面。可並行處理不同色彩通道。可以任何邏輯次序對各串流之分量進行校對。

第一示例性階層式編碼器 & 組件現將描述其中可部署本發明之概念的階層式編碼方案。該方案在概念上繪示於圖2至圖5中且大體上對應於上文所描述之VC-6。在此等編碼技術中，殘餘資料用於逐漸較高品質等級中。在此所提議技術中，核心層表示第一解析度下之影像，並且分層階層中之後續層係殘餘資料或解碼側在較高解析度下重構影像所必需的調整層。各層或等級可被稱作階梯索引，以使得殘餘資料係校正存在於較低階梯索引中之低品質資訊所需的資料。此階層式技術中之各層或階梯索引，尤其各殘餘層，通常為具有許多零值元素之相對稀疏資料集合。當參考階梯索引時，其共同地係指在該等級下之所有階梯或分量集合，例如由在該品質等級下執行之變換步驟產生的所有子集。

以此特定階層式方式，所描述之資料結構移除對先前或進行中之品質等級的任何要求或依賴性。品質等級可分別經編碼及解碼，且不參考任何其他層。因此，與許多已知其他階層式編碼方案相比，在需要對最低品質等級進行解碼以便對任何較高品質等級進行解碼的情況下，所描述之方法不需要對任何其他層進行解碼。儘管如此，下文所描述之交換資訊之原理亦可適用於其他階層式編碼方案。

如圖2中所展示，經編碼資料表示一組層或等級，在本文中通常被稱作階梯索引。基礎或核心等級表示原始資料訊框210，儘管處於最低品質等級或解析度，並且後續殘餘資料階梯可與核心階梯索引處之資料組合以在逐漸較高解析度下重新產生原始影像。

為產生核心階梯索引，可使用對應於待用於階層式編碼操作中之等級或階梯索引之數目的數個下取樣操作201對輸入資料訊框210進行下取樣。需要比階層中之等級數目少一個下取樣操作201。在本文中所繪示之所有實例中，存在輸出經編碼資料之4個等級或階梯索引且因此存在3個下取樣操作，但當然應理解此等僅用於說明。其中 n指示等級之數目，下取樣器之數目為 n-1。核心等級R _1-n係第三下取樣操作之輸出。如上文所指示，核心等級R _1-n對應於在最低品質等級下之輸入資料訊框之表示。

為區分下取樣操作201，將按對輸入資料210或由其輸出表示之資料執行操作的次序參考各下取樣操作。舉例而言，實例中之第三下取樣操作201 _1-n亦可被稱作核心下取樣器，此係因為其輸出產生核心階梯索引或階梯 _1-n，亦即，此等級處之所有階梯的索引為1-n。因此，在此實例中，第一下取樣操作201 _-1對應於R _-1下取樣器，第二下取樣操作201 _-2對應於R _-2下取樣器，並且第三下取樣操作201 _1-n對應於核心或R _-3下取樣器。

如圖2中所展示，表示核心品質等級R _1-n之資料經歷上取樣操作202 _1-n，其在本文中被稱作核心上取樣器。第二下取樣操作201 _-2之輸出（R _-2下取樣器之輸出，亦即至核心下取樣器的輸入）與核心上取樣器202 _1-n之輸出之間的差203 _-2作為第一殘餘資料R _-2而輸出。此第一殘餘資料R _-2因此表示核心等級R _-3與用以產生該等級之信號之間的誤差。由於該信號本身在此實例中已經歷兩個下取樣操作，因此第一殘餘資料R _-2係調整層，其可用以重新產生在比核心品質等級高之品質等級但比輸入資料訊框210低之等級下的原始信號。

如何產生表示較高品質等級之殘餘資料的變化形式在概念上繪示於圖2及圖3中。

在圖2中，對第二下取樣操作201 _-2之輸出（或R _-2下取樣器，亦即用以產生第一殘餘資料R _-2之信號）進行上取樣202 _-2，並且以與產生第一殘餘資料R _-2之方式大致相同的方式來計算至第二下取樣操作201 _-2之輸入（或R _-2下取樣器，亦即R _-1下取樣器之輸出）之間的差203 _-1。此差因此為第二殘餘資料R _-1且表示調整層，該調整層可用以使用來自較低層之資料在較高品質等級下重新產生原始信號。

然而，在圖3之變化形式中，組合第二下取樣操作201 _-2（或R _-2下取樣器）之輸出或將其與第一殘餘資料R _-2求和304 _-2以重新產生核心上取樣器202 _1-n的輸出。在此變化形式中，此經重新產生資料係經上取樣202 _-2而非經下取樣之資料。經上取樣之資料與至第二下取樣操作（或R _-2下取樣器，亦即R _-1下取樣器之輸出）之輸入進行相似比較203 _-1以產生第二殘餘資料R _-1。

圖2及圖3之實施方案之間的變化形式引發兩個實施方案之間的殘餘資料之微小變化。圖2得益於較大並行化潛力。

程序或循環重複以產生第三殘餘R ₀。在圖2及圖3之實例中，輸出殘餘資料R ₀（亦即，第三殘餘資料）對應於最高等級且用於解碼器處以重新產生輸入資料訊框。在此等級處，差操作係基於與至第一下取樣操作之輸入相同的輸入資料訊框。

圖4繪示用於對資料之等級或階梯索引中的各者進行編碼以產生具有階梯索引之經編碼資料階梯集合的示例性編碼程序401。此編碼程序僅用於例如用於對等級中之各者進行編碼的合適編碼程序，但應理解，可使用任何合適編碼程序。至程序之輸入係自圖2或圖3輸出之殘餘資料的各別等級，並且輸出係經編碼殘餘資料階梯集合，經編碼殘餘資料階梯一起以階層方式表示經編碼資料。

在第一步驟中，執行變換402。變換可為如WO2013/171173中所描述之定向分解變換。若使用定向分解變換，則可輸出四個分量之集合（亦被稱作經變換係數）。舉例而言，2×2資料區塊可經變換以產生四個分量：與資料區塊內之水平、豎直及對角線方向大致相關的三個定向分量以及表示應用於整個資料區塊之聚集計算的平均分量。當參考階梯索引時，其共同地指代所有方向，例如，4個階梯。舉例而言，2×2資料區塊可展平為4×1值集合，且接著使用4×4哈達瑪（Hadamard）變換來變換。在某些情況下，正規化因子（例如，針對變換而省略¼，此係因為經由諸如量化或熵編碼等其他處理而隱式地應用正規化）。因此可藉由對資料區塊中之個別殘餘值求和（例如，乘以哈達瑪列{1, 1, 1, 1}）而針對2×2資料區塊產生平均分量。可藉由減去「預測平均值」而進一步調整平均分量。此詳細描述於EP 2850829 B1中。概言之，預測平均值係較低層次像素值與對應較高層次經上取樣值集合之平均值之間的差（例如，對於來自上取樣器202之各輸出2×2資料區塊，輸入像素減去經上取樣像素之平均值）。由於此預測平均值可在解碼器處使用所接收資料來恢復，因此在編碼器處減去預測平均值且在解碼器處再添加預測平均值會減小經變換資料區塊之平均分量的大小。在稍後實例中，應用可由上取樣器202使用以減小平均分量之大小而無需顯式地應用預測平均值修改的特殊上取樣操作，例如其中經調適上取樣操作應用預測平均值修改，從而無需在編碼器處減去預測平均值及在解碼器處再添加。儘管關於2×2資料區塊描述實例，但類似方法亦可應用於較大資料區塊（例如，4×4及以上），其中此等資料區塊亦將具有「平均值」或「平均值之平均值」分量。

返回至圖4，接著在熵編碼之前量化403由變換402輸出之分量集合。在此實例中，熵編碼操作404耦接至稀疏化步驟405，該稀疏化步驟利用殘餘資料之稀疏性來減小總體資料大小且涉及將資料元素映射至有序四元樹。熵編碼及稀疏化之此耦接進一步描述於WO2019/111004中，但此程序的精確細節與本發明之理解不相關。各殘餘陣列可被認為階梯。

上文所闡述之程序對應於適合於根據SMPTE ST 2117、VC-6多平面圖像格式對用於重構之資料進行編碼的編碼程序。VC-6係能夠壓縮整數元素柵格之任何有序集合的靈活、多解析度、僅內部位元串流格式，該等整數元素柵格中之各者具有獨立大小但亦經設計用於圖像壓縮。其採用資料不可知技術以進行壓縮且能夠壓縮低或高位元深度圖像。位元串流之標頭可含有關於圖像之多種後設資料。

如將理解，可使用單獨編碼器或編碼操作來實施各階梯或階梯索引。類似地，可將編碼模組分成下取樣步驟及比較步驟以產生殘餘資料，且隨後對殘餘進行編碼，或替代地，階梯步驟中之各者可實施於組合編碼模組中。因此，可例如使用4個編碼器實施程序，一個編碼器用於各階梯索引，1個編碼器及複數個編碼模組並聯或串聯操作，或者一個編碼器對不同資料集合反覆地操作。

第一示例性階層式解碼器 & 組件以下闡述重構原始資料訊框之實例，該資料訊框已使用以上例示性程序編碼。此重構程序可被稱作錐形重構。有利地，該方法提供一種高效技術來重構在所接收資料集合中編碼之影像並組合來自一個經解碼分量集合的影像細節與來自較低解析度分量集合之按比例擴大的經解碼影像資料，該所接收資料集合可藉助於資料串流接收，例如藉助於對與不同影像大小或解析度等級相對應之不同分量集合進行個別地解碼。因此，藉由針對兩個或更多個分量集合執行此程序，可針對逐漸較高解析度或較大數目個像素而重構結構或其中細節處之數位影像，而不需要接收最高解析度分量集合之完整或完全影像細節。實情為，該方法有助於逐漸添加愈來愈高解析度細節，同時以分階段方式重構來自較低解析度分量集合之影像。

此外，對各分量集合之解碼分別促進對所接收分量集合之並行處理，由此改良其中複數個程序可供使用之實施方案中的重構速度及效率。

各解析度等級對應於品質等級或階梯索引。此為與描述所有新輸入或所接收分量集合之平面（在此實例中為整數值元素柵格之表示）及用於索引m之循環的輸出重構影像相關聯的集體項。舉例而言，階梯索引零中之經重構影像係錐形重構之最終循環的輸出。

錐形重構可為重構倒金字塔形之程序，自初始階梯索引開始並使用新殘餘循環以導出高階梯索引，直至達到階梯索引零處之最大品質，品質零。循環可被視為此類錐形重構中之步驟，該步驟係藉由索引m識別。該步驟通常包含對來自可能先前步驟之資料輸出進行上取樣，例如使經解碼第一分量集合按比例擴大，且採用新殘餘資料作為其他輸入以便獲得待在可能後續步驟中上取樣之輸出資料。在僅接收第一及第二分量集合之情況下，階梯索引之數目將為二，且不存在可能的後續步驟。然而，在分量集合或階梯索引之數目為三或更大的實例中，輸出資料可在後續步驟中逐漸地經上取樣。

第一分量集合通常對應於初始階梯索引，其可由階梯索引1-N表示，其中N為平面中之階梯索引的數目。

通常，經解碼第一分量集合之按比例擴大包含針對初始階梯索引將上取樣器應用於解碼程序之輸出。在實例中，此涉及使自初始階梯索引分量集合之解碼輸出的經重構圖像之解析度與對應於2-N之第二分量集合的解析度一致。通常，來自較低階梯索引分量集合之按比例擴大的輸出對應於較高階梯索引解析度下之預測影像。由於較低解析度之初始階梯索引影像及上取樣程序，預測影像通常對應於平滑或模糊圖像。

將來自以上階梯索引之較高解析度細節添加至此預測圖像提供組合式經重構影像集合。有利地，在用於一個或多個較高階梯索引分量集合之所接收分量集合包含殘餘影像資料或指示按比例擴大之預測圖像與原始未經壓縮或預編碼影像之間的像素值差之資料的情況下，重構給定解析度或品質之影像或資料集合所需的所接收資料之量可顯著小於使用其他技術接收相同品質影像所需的資料之量或速率。因此，藉由組合在較低解析度下接收之低細節影像資料與根據該方法在愈來愈高之解析度下接收的逐漸更加細節影像資料，資料速率要求得以減少。

通常，經編碼資料集合包含一個或多個其他分量集合，其中一個或多個其他分量集合中之各者對應於比第二分量集合高的影像解析度，並且其中一個或多個其他分量集合中之各者對應於逐漸較高影像解析度，該方法包含針對一個或多個其他分量集合中之各者而對分量集合進行解碼以獲得經解碼集合，該方法進一步包含針對一個或多個其他分量集合中之各者按對應影像解析度的遞增次序：按比例擴大具有最高對應影像解析度之經重構集合以便將經重構集合的對應影像解析度增大至等於其他分量集合之對應影像解析度；以及將經重構集合與其他分量集合組合在一起以便產生另一經重構集合。

以此方式，該方法可涉及：獲取給定分量集合等級或階梯索引之經重構影像輸出；按比例擴大該經重構集合；以及將其與分量集合或以上階梯索引之經解碼輸出組合，以產生新的較高解析度之經重構圖像。應理解，此可針對逐漸較高階梯索引而反覆地執行，這取決於所接收集合中之分量集合的總數目。

在典型實例中，分量集合中之各者對應於逐漸較高影像解析度，其中各逐漸較高影像解析度對應於對應影像中之像素數目的四倍增加。通常，因此，對應於給定分量集合之影像大小為對應於以下分量集合之影像的像素大小或數目之四倍，或為高度及寬度的兩倍，該以下分量集合為具有比所討論之階梯索引小一的階梯索引之分量集合。舉例而言，其中各對應影像之線性大小相對於以下影像大小為兩倍的分量集合之所接收集合可促進更簡單的按比例擴大操作。

在所繪示之實例中，其他分量集合之數目為二。因此，所接收集合中之分量集合的總數目為四。此對應於為階梯-3之初始階梯索引。

第一分量集合可對應於影像資料，並且第二及任何其他分量集合對應於殘餘影像資料。如上文所提及，在作為第一分量集合之最低階梯索引含有正被傳輸的影像之低解析度或經下取樣版本的情況下，該方法提供用於給定影像大小之特別有利的資料速率要求減少。以此方式，在重構之各循環的情況下，自低解析度影像開始，該影像按比例擴大以便產生高解析度但平滑版本，並且該影像接著藉助於添加按比例擴大之預測圖像與待在該解析度下傳輸之實際影像之間的差而得以改良，並且此添加式改良可針對各循環而重複。因此，高於初始階梯索引之分量集合的各分量集合僅需含有殘餘資料以便再引入可能已在將原始影像下取樣至最低階梯索引時丟失的資訊。

該方法提供在接收到含有例如已藉助於分解、量化、熵編碼及稀疏化而壓縮之資料的集合後獲得可為殘餘資料之影像資料的方式。殘餘可為第一影像之元素與第二影像之元素之間的差，通常位於同一地點。此殘餘影像資料可通常具有高度稀疏性。此可被視為對應於影像，其中細節區域在細節最小、可忽略或不存在之區域當中稀疏地分佈。此稀疏資料可描述為資料陣列，其中資料係以至少二維結構（例如，柵格）組織，並且其中如此組織之資料的大部分為零（邏輯上或數值上）或被認為低於某一臨限值。殘餘資料僅為一個實例。另外，後設資料可為稀疏的，且因此藉由此程序在很大程度上減小大小。發送已經稀疏化之資料允許藉由省略發送此等稀疏區域且替代地在解碼器處之所接收位元組內的適當位置處將其再引入來達成所需資料速率之顯著減小。

通常，根據由發送所接收之經編碼資料集合的編碼器或節點定義之參數來執行熵解碼、去量化及定向組成變換步驟。對於各階梯索引或分量集合，該等步驟用以對影像資料進行解碼以便獲得可按照上文所揭示之技術而與不同階梯索引組合的集合，同時允許用於各等級之集合以資料高效方式傳輸。

亦可提供一種根據上文所揭示之方法重構經編碼資料集合的方法，其中第一分量集合及第二分量集合中之各者的解碼係根據上文所揭示之方法來執行。因此，本發明之有利解碼方法可用於所接收之影像資料集合中的各分量集合或階梯索引且因此經重構。

參考圖5，現描述解碼實例。接收經編碼資料集合501，其中該集合包含四個階梯索引，各階梯索引包含四個階梯：自作為最高解析度或品質等級之階梯 ₀至作為初始階梯之階梯 _-3。階梯 _-3分量集合中攜載之影像資料對應於影像資料，並且其他分量集合含有用於所傳輸影像之殘餘資料。雖然等級中之各者可輸出可被視為殘餘的資料，但初始階梯等級中之殘餘，亦即階梯 _-3，有效地對應於實際經重構影像。在階段503處，並行地處理分量集合中之各者以便對經編碼集合進行解碼。

參考初始階梯索引或核心階梯索引，針對各分量集合階梯 _-3至階梯 ₀實行以下解碼步驟。

在步驟507處，分量集合經去稀疏化。去稀疏化可為不以其他基於層次之階層式格式執行的視情況選用之步驟。在此實例中，去稀疏化使得稀疏二維陣列自在各階梯處接收到之經編碼位元組重新產生。在二維陣列內之未接收到之位置處分組的零值（由於自所傳輸位元組省略以便減少所傳輸之資料的數量）藉由此程序而重新填充。陣列中之非零值保持其正確值及在重新產生之二維陣列內的位置，其中去稀疏化步驟在其間適當位置或位置群組處重新填充所傳輸零值。

在步驟509處，範圍解碼器應用於各階梯處之去稀疏化集合以便用像素值取代陣列內之經編碼符號，該範圍解碼器的經組態參數與在傳輸之前用來對所傳輸資料進行編碼之彼等參數相對應。根據用於影像之像素值分佈的近似，所接收集合中之經編碼符號取代像素值。使用該分佈之近似（亦即跨越影像中之所有像素值的各值之相對頻率）而非真實分佈會允許減少對集合進行解碼所需之資料量，此係因為分佈資訊係範圍解碼器所需的以便實行此步驟。如本發明中所描述，去稀疏化及範圍解碼之步驟為相互依賴的，而非依序的。此藉由流程圖中之箭頭所形成的迴路指示。

在步驟511處，值陣列經去量化。根據在傳輸之前用來對經分解影像進行量化之參數而再次實行此程序。

在去量化之後，在步驟513處藉由組成變換來變換該集合，該組成變換包含將反向定向分解操作應用於經去量化陣列。此使得定向濾波根據包含平均或經調整之平均、水平、豎直及對角線運算子的運算子集合而逆轉，以使得所得陣列為用於階梯 _-3之影像資料及用於階梯 _-2至階梯 ₀之殘餘資料。由於哈達瑪變換為其自身的逆轉，因此共同變換矩陣可應用於正變換及逆變換兩者（加上任何額外正規化，然而此可經由量化隱式地執行）。在比較實例中，反向定向分解亦可包括在逆變換之前將經解碼器計算之預測平均值添加至經調整平均分量。本文中所描述之稍後實例提供跳過預測平均值調整且經由上取樣操作隱式地應用此調整之方式。

階段505繪示重構中涉及之若干循環，其將組成變換之輸出用於階梯分量集合501中之各者。階段515指示自解碼器503輸出之用於初始階梯的經重構影像資料。在實例中，經重構圖像515具有64×64之解析度。在516處，此經重構圖像經上取樣以便使其成分數目個像素增大四倍，藉此產生具有128×128之解析度的預測圖像517。在階段520處，在階梯 _-2處將預測圖像517加上來自解碼器之輸出的經解碼殘餘518。此等兩個128×128大小之影像的相加產生128×128大小之經重構影像，其含有藉由來自階梯 _-2的殘餘之較高解析度細節增強的來自初始階梯之平滑影像細節。若所需輸出解析度為對應於階梯 _-2之解析度，則可輸出或顯示此所得經重構圖像519。在本實例中，經重構圖像519用於另一循環。在步驟512處，以與步驟516處相同之方式對經重構影像519進行上取樣，以便產生256×256大小之預測圖像524。此接著在步驟528處與經解碼階梯 _-1輸出526組合，藉此產生256×256大小之經重構圖像527，其為藉由殘餘526之較高解析度細節增強的預測519之按比例擴大版本。在530處，最後一次重複此程序，並且將經重構圖像527按比例擴大至512×512之解析度以用於在階段532處與階梯 ₀殘餘組合。由此，獲得512×512之經重構圖像531。

在比較實施方案中，諸如EP 2850829 B1之實施方案，可計算預測平均值且添加預測平均值作為步驟513之部分。在諸如WO2020/188242 A1之其他比較實施方案中，預測平均值可在各上取樣步驟（例如，526、522及530中之一者或多者）之後添加為修改符。預測平均值之使用可為可組態參數，以使得其可經由位元串流中之組態資料而接通及斷開及經指示。在本文中所描述之較佳實例中，藉由適當地組態在步驟526、522及530中之一者或多者處執行上取樣的上取樣濾波器之係數來隱式地應用預測平均值計算。在此情況下，可計算變換後之平均分量而無需顯式地應用預測平均值修改，但平均分量之能量或位元含量在經編碼位元串流內仍減少。

第二示例性階層式編碼器 & 組件利用本發明之原理時可藉由的另一階層式編碼技術繪示於圖6及圖7中。此技術為組合不同視訊編碼格式、基礎編解碼器（例如，AVC、HEVC或任何其他當前或未來編解碼器）與至少兩個增強等級之經編碼資料的靈活、可調式、高效且計算上便宜之編碼格式。

編碼方案之通用結構使用藉由基礎編解碼器進行編碼的經下取樣源信號，將第一等級之校正資料添加至基礎編解碼器的經解碼輸出以產生經校正圖像，且接著將另一等級之增強資料添加至經校正圖像的經上取樣版本。因此，串流被視為基礎串流及增強串流，其可經進一步多工或以其他方式組合以產生經編碼資料串流。在某些情況下，可分別傳輸基礎串流及增強串流。對如本文中所描述之經編碼資料的參考可指增強串流或者基礎串流與增強串流之組合。基礎串流可由硬體解碼器進行解碼，而增強串流可適合於具有合適功率消耗之軟體處理實施。此通用編碼結構產生允許對許多情形具有較大靈活性及可調適性之複數個自由度，因此使編碼格式適用於許多使用情況，包括OTT傳輸、直播、即時超高清晰度UHD廣播等等。儘管基礎編解碼器之經解碼輸出並不意欲用於檢視，但其為在較低解析度下之完全經解碼視訊，從而使得輸出與現有解碼器相容，且在認為合適的情況下亦可用作較低解析度輸出。

在某些實例中，可使用一組網路抽象層單元（NALU）將各或兩個增強串流囊封至一個或多個增強位元串流中。NALU意圖囊封增強位元串流以便將該增強應用於正確之基礎經重構訊框。NALU可例如含有對NALU之參考索引，該NALU含有必須應用該增強的基礎解碼器重構訊框位元串流。以此方式，該增強可同步至基礎串流及經組合以產生經解碼輸出視訊（亦即，增強等級之各訊框的殘餘與基礎經解碼串流之訊框組合）之各位元串流的訊框。圖像群組可表示多個NALU。

返回至上文所描述之初始程序，其中基礎串流連同增強串流內之兩個等級（或子等級）的增強一起提供，一般化編碼程序之實例描繪於圖6之方塊圖中。處理初始解析度下之輸入視訊600以產生各種經編碼串流601、602、603。第一經編碼串流（經編碼基礎串流）係藉由向基礎編解碼器（例如，AVC、HEVC或任何其他編解碼器）饋入輸入視訊之經下取樣版本而產生。經編碼基礎串流可被稱作基礎層或基礎等級。第二經編碼串流（經編碼1級串流）係藉由處理由獲取經重構基礎編解碼器視訊與輸入視訊之經下取樣版本之間的差而獲得之殘餘來產生。第三經編碼串流（經編碼2級串流）係藉由處理由獲取經重構之基礎經編碼視訊的經校正版本之經上取樣版本與輸入視訊之間的差而獲得之殘餘來產生。在某些情況下，圖6之組件可提供通用低複雜度編碼器。在某些情況下，可藉由形成低複雜度編碼器之部分的編碼程序來產生增強串流，並且低複雜度編碼器可經組態以控制獨立基礎編碼器及解碼器（例如，封裝為基礎編解碼器）。在其他情況下，可供應基礎編碼器及解碼器作為低複雜度編碼器之部分。在一種情況下，圖6之低複雜度編碼器可被視為基礎編解碼器的一種包裝形式，其中基礎編解碼器之功能性可對實施低複雜度編碼器之實體隱藏。

由下取樣組件105繪示之下取樣操作可應用於輸入視訊以產生待由基礎編解碼器之基礎編碼器613進行編碼的經下取樣視訊。下取樣可在豎直方向及水平方向兩者上進行或替代地僅在水平方向上進行。基礎編碼器613及基礎解碼器614可藉由基礎編解碼器（例如，作為共同編解碼器之不同函數）實施。基礎編解碼器及/或基礎編碼器613及基礎解碼器614中之一者或多者可包含經合適組態的電子電路系統（例如，硬體編碼器/解碼器）及/或由處理器執行之電腦程式碼。

各增強串流編碼程序可能未必包括上取樣步驟。舉例而言，在圖6中，第一增強串流在概念上為校正串流，而第二增強串流經上取樣以提供增強等級。

更詳細地觀察產生增強串流之程序，為產生經編碼1級串流，藉由基礎解碼器614對經編碼基礎串流進行解碼（亦即，將解碼操作應用於經編碼基礎串流以產生經解碼基礎串流）。解碼可由基礎編解碼器之解碼功能或模式執行。接著在1級比較器610處產生經解碼基礎串流與經下取樣之輸入視訊之間的差（亦即，將減法運算應用於經下取樣之輸入視訊及經解碼基礎串流以產生第一殘餘集合）。比較器610之輸出可被稱作第一殘餘集合，例如殘餘資料之表面或訊框，其中殘餘值係針對各圖像元素在基礎編碼器613、基礎解碼器614及下取樣區塊605之輸出的解析度下判定。

接著藉由第一編碼器615（亦即，1級編碼器）對該差進行編碼以產生經編碼1級串流602（亦即，將編碼操作應用於第一殘餘集合以產生第一增強串流）。

如上文所提及，增強串流可包含第一增強等級602及第二增強等級603。第一增強等級602可被視為經校正串流，例如將校正等級提供至在比輸入視訊600低之解析度下的基礎經編碼/經解碼視訊信號之串流。第二增強等級603可被視為另一增強等級，其將經校正串流轉換成例如將增強或校正等級應用於自經校正串流重構之信號的原始輸入視訊600。

在圖6之實例中，第二增強等級603係藉由對另一殘餘集合進行編碼而產生。另一殘餘集合係藉由2級比較器619產生。2級比較器619判定經解碼1級串流之經上取樣版本（例如，上取樣組件617之輸出）與輸入視訊600之間的差。至上取樣組件617之輸入係藉由將第一解碼器（亦即，1級解碼器）應用於第一編碼器615之輸出而產生。此產生1級殘餘之經解碼集合。此等接著在求和組件620處與基礎解碼器614之輸出組合。此有效地將1級殘餘應用於基礎解碼器614之輸出。其允許藉由2級殘餘來校正1級編碼及解碼程序中之損耗。求和組件620之輸出可被視為表示將1級處理在解碼器處應用於經編碼基礎串流601及經編碼1級串流602之輸出的模擬信號。

如所提及，將經上取樣串流與產生另一殘餘集合（亦即，將差運算應用於經上取樣之重新產生的串流以產生另一殘餘集合）之輸入視訊進行比較。另一殘餘集合接著係藉由第二編碼器621（亦即，2級編碼器）編碼為經編碼2級增強串流（亦即，將編碼操作接著應用於另一殘餘集合以產生經編碼另外增強串流）。

因此，如圖6中所繪示且如上文所描述，編碼程序之輸出係基礎串流601及一個或多個增強串流602、603，該一個或多個增強串流較佳地包含第一增強等級及另一增強等級。三個串流601、602及603可與或不與諸如控制標頭等額外資訊組合，以產生用於表示輸入視訊600之視訊編碼框架的組合串流。應注意，圖6中所展示之組件可對例如對應於特定等級之解析度下的訊框之2×2或4×4部分的資料之區塊或編碼單元進行操作。組件在無任何區塊間相依性情況下操作，因此其可並行地應用於訊框內之多個區塊或編碼單元。此不同於比較性視訊編碼方案，其中在區塊之間存在相依性（例如，空間相依性或時間相依性）。比較性視訊編碼方案之相依性限制並行性等級且需要高得多的複雜度。

第二示例性階層式解碼器 & 組件對應一般化解碼程序描繪於圖7之方塊圖中。圖7可被稱為展示對應於圖6之低複雜度編碼器的低複雜度解碼器。低複雜度解碼器接收由低複雜度編碼器產生之三個串流601、602、603連同含有進一步解碼資訊之標頭704。經編碼基礎串流601係由對應於低複雜度編碼器中所使用之基礎編解碼器的基礎解碼器710進行解碼。經編碼1級串流602係由第一解碼器711（亦即，1級解碼器）接收，該第一解碼器對如由圖1之第一編碼器615編碼的第一殘餘集合進行解碼。在第一求和組件712處，基礎解碼器710之輸出與自第一解碼器711獲得之經解碼殘餘進行組合。可被稱為1級經重構視訊信號之經組合視訊係由上取樣組件713進行上取樣。經編碼2級串流103係由第二解碼器714（亦即，2級解碼器）接收。第二解碼器714對如由圖1之第二編碼器621編碼的第二殘餘集合進行解碼。儘管標頭704在圖7中展示為由第二解碼器714使用，但其亦可由第一解碼器711以及基礎解碼器710使用。第二解碼器714之輸出係第二經解碼殘餘集合。此等對於第一殘餘集合及至上取樣組件713之輸入可能處於較高解析度。在第二求和組件715處，來自第二解碼器714之第二殘餘集合與上取樣組件713之輸出（亦即，經上取樣之經重構1級信號）進行組合，以重構經解碼視訊750。

按照低複雜度編碼器，圖7之低複雜度解碼器可對視訊信號之給定訊框的不同區塊或編碼單元並行地操作。另外，藉由基礎解碼器710、第一解碼器711及第二解碼器714中之兩者或更多者進行的解碼可並行地執行。此係可能的，因為不存在區塊間相依性。

在解碼程序中，解碼器可解析標頭704（其可含有全域組態資訊、圖像或訊框組態資訊以及資料區塊組態資訊）且基於彼等標頭而組態低複雜度解碼器。為了重新產生輸入視訊，低複雜度解碼器可對基礎串流、第一增強串流及另一或第二增強串流中之各者進行解碼。串流之訊框可經同步且接著經組合以導出經解碼視訊750。經解碼視訊750可為原始輸入視訊100之有損或無損重構，此取決於低複雜度編碼器及解碼器之組態。在許多情況下，經解碼視訊750可為原始輸入視訊600之有損重構，其中損耗對經解碼視訊750之感知具有減小的或最小的影響。

在圖6及圖7中之各者中，2級及1級編碼操作可包括變換、量化及熵編碼之步驟（例如，按該次序）。此等步驟可以類似於圖4及圖5中所展示之操作的方式實施。編碼操作亦可包括殘餘分級、加權及濾波。類似地，在解碼階段，殘餘可穿過熵解碼器、去量化器及逆變換模組（例如，按該次序）。可使用任何合適編碼及對應解碼操作。然而較佳地，2級及1級編碼步驟可在軟體中執行（例如，如由編碼裝置中之一個或多個中央或圖形處理單元執行）。

在本文中所描述之實例中，變換係諸如基於哈達瑪之變換等定向分解變換。此可涉及將較小內核或矩陣應用於殘餘之展平編碼單元（亦即，殘餘之2×2或4×4區塊）。關於變換之更多細節可發現於例如專利申請案WO2020188273 A1或WO2018046941 A1中，其以引用之方式併入本文中。編碼器可在待使用之不同變換之間進行選擇，例如在待應用之內核大小之間進行選擇。

變換可將殘餘資訊變換成四個表面。舉例而言，變換可產生以下分量或經變換係數：平均值、豎直、水平及對角線。特定表面可包含用於特定分量之所有值，例如第一表面可包含所有平均值，第二表面包含所有豎直值等等。如在本發明中較早提及，藉由變換輸出之此等分量可被視為待量化之資料。變換可包含如上文所論述之哈達瑪變換。在比較實例中，平均分量可使用預測平均值來調整；在本實例中，預測平均值調整並未顯式地應用，而是使用經調整上取樣濾波器來隱式地應用。因而，在稍後描述之實例中，提供預測平均值之益處而無需額外預測平均值計算（例如，如同預測平均值模式關閉一般）。量化方案可適用於將殘餘信號產生為量子，以使得某些變數可僅採用某些離散量值。在此實例中，熵編碼可包含運行長度編碼（RLE），接著使用霍夫曼編碼器處理處理經編碼輸出。在某些情況下，在需要熵編碼時僅可使用此等方案中之一者。

概言之，本文中之方法及設備係基於建構於現有編碼及/或解碼演算法（諸如MPEG標準，諸如AVC/H.264、HEVC/H.265等，以及非標準演算法，諸如VP9、AV1及其他）上的總體方法，該現有編碼及/或解碼演算法用作增強層之基線，該增強層相應地對不同編碼及/或解碼方法起作用。實例之總體方法背後的想法係對視訊訊框進行階層式編碼/解碼，而非使用如在MPEG系列演算法中所使用的基於區塊之方法。對訊框進行階層式編碼包括產生全訊框之殘餘，且接著產生抽取訊框等等。

如上文所指示，由於不存在區塊間相依性，因此程序可並行地應用於訊框之色彩分量的編碼單元或區塊。亦可並行地執行對色彩分量集合內之各色彩分量的編碼（例如，以使得根據（訊框數目）*（色彩分量數目）*（每訊框之編碼單元數目）而複製操作）。亦應注意，不同色彩分量可具有不同的每訊框之編碼單元數目，例如明度（例如，Y）分量可在比色度（例如，U或V）分量集合高的解析度下處理，此係因為人類視覺可偵測到的亮度變化多於色彩變化。

因此，如上文所繪示及描述，解碼程序之輸出係（視情況選用之）基礎重構及在較高等級下的原始信號重構。此實例特別適合於在不同訊框解析度下產生經編碼及經解碼視訊。舉例而言，輸入信號30可為包含在1920×1080解析度下之訊框的HD視訊信號。在某些情況下，基礎重構及2級重構兩者均可由顯示裝置使用。舉例而言，在網路訊務之情況下，2級串流可比1級及基礎串流受到更多破壞（因為其可含有至多4倍資料量，其中下取樣將各方向上之維度減少2）。在此情況下，當訊務發生時，顯示裝置可在2級串流受到破壞的同時（例如，在2級重構為不可獲得的同時）恢復顯示基礎重構，且接著在網路條件改良時返回至顯示2級重構。類似方法可在解碼裝置遭受資源約束時應用，例如執行系統更新之機上盒可能具有操作基礎解碼器220以輸出基礎重構，但可能不具有計算2級重構之處理能力。

編碼配置亦使得視訊分配器能夠將視訊分配至異質裝置集合；具有僅基礎解碼器720之彼等異質裝置檢視基礎重構，而具有增強等級之彼等異質裝置可檢視較高品質2級重構。在比較情況下，需要在獨立解析度下之兩個完整視訊串流來服務兩個裝置集合。由於2級及1級增強串流對殘餘資料進行編碼，因此2級及1級增強串流可經更有效地編碼，例如殘餘資料之分佈通常大部分質量在0左右（亦即其中不存在差異）且通常取約0之小範圍的值。此可尤其為在量化之後的情況。相比之下，在不同解析度下之完整視訊串流將具有非零平均值或中值的不同分佈，其需要較高位元速率以供傳輸至解碼器。

在本文中所描述之實例中，殘餘由編碼管線進行編碼。此可包括變換、量化及熵編碼操作。其亦可包括殘餘分級、加權及濾波。殘餘接著經傳輸至解碼器，例如作為L-1及L-2增強串流，其可與作為混合串流之基礎串流組合（或分開傳輸）。在一種情況下，針對包含基礎串流及兩個增強串流之混合資料串流而設定位元速率，且接著基於經處理以滿足經設定位元速率之資料而將不同自適應性位元速率應用於個別串流（例如，藉由低級假影而感知的高品質視訊可藉由甚至在逐訊框級下將位元速率自適應性地指派給不同個別串流而建構，以使得受約束資料可由最具感知影響之個別串流使用，其可隨著影像資料改變而改變）。

如本文中所描述之殘餘集合可被視為稀疏資料，例如在許多情況下，對於給定像素或區域不存在差異且所得殘餘值為零。當查看殘餘之分佈時，大部分機率質量經分配至位於零附近的小殘餘值，例如，對於-2、-1、0、1、2等某些視訊值而最頻繁地出現。在某些情況下，殘餘值之分佈係關於0對稱或近似對稱的。在某些測試視訊情況下，發現殘餘值之分佈形狀類似於關於0之對數或指數分佈（例如，對稱或近似對稱）。殘餘值之準確分佈可取決於輸入視訊串流之內容。

殘餘自身可被視為二維影像，例如差異之增量影像。以此方式可看出資料之稀疏性與殘餘影像中可見之如「圓點」、較小「線」、「邊緣」、「拐角」等等特徵相關。已發現，此等特徵通常並不完全相關（例如，在空間上及/或在時間上）。其具有不同於其來源於之影像資料之特性（例如，原始視訊信號之像素特性）的特性。

由於殘餘之特性不同於其來源於之影像資料的特性，因此通常不可能應用標準編碼方法，例如在傳統動畫專家群（MPEG）編碼及解碼標準中發現之彼等編碼方法。舉例而言，許多比較方案使用大變換（例如，正常視訊訊框中之大區域像素的變換）。歸因於例如上文所描述之殘餘之特性，在殘餘影像上使用此等比較性大變換將為極低效的。舉例而言，使用經設計以用於正常影像區域之大區塊來對殘餘影像中之小圓點進行編碼將為非常艱難的。

本文中所描述之某些實例藉由替代地使用較小及簡單變換內核（例如，如本文中所呈現之2×2或4×4內核——定向分解及定向分解平方）來解決此等問題。本文中所描述之變換可使用哈達瑪矩陣（例如，用於展平2×2編碼區塊之4×4矩陣或用於展平4×4編碼區塊之16×16矩陣）而應用。此在與比較性視訊編碼方法不同之方向上移動。將此等新方法應用於殘餘之區塊會產生壓縮效率。舉例而言，某些變換產生可高效壓縮之不相關的經變換係數（例如，在空間上）。雖然經變換係數之間的相關性可用於例如殘餘影像中之線，但此等相關性可產生編碼複雜度，此難以實施於舊式及低資源裝置上，且通常產生需要校正之其他複雜假影。藉由將某些殘餘值設定為0來預處理殘餘（亦即，不轉遞此等殘餘值以供處理）可提供用以管理位元速率及串流頻寬以及資源使用之可控且靈活的方式。

與增強上取樣相關之實例本發明係關於上取樣濾波器之實施方案。舉例而言，如本文中所描述之方法可用於圖1至圖7中的上取樣器202、522、526、530、617及713中之一者或多者的實施方案中。

經調適上取樣濾波器圖8展示應用根據本發明而組態之上取樣濾波器的示例性方法800。在區塊805處，在第一解析度下獲得輸入視訊訊框。此可為上述階層式或基於層次之組態中的下部層或層次處之經重構訊框（例如，圖5中之資料515、520或528、圖6中之求和620的輸出或圖7中之求和712的輸出）。在區塊810處，應用上取樣濾波器，以在區塊815處在第二解析度下輸出經上取樣訊框。此可包含圖5中之資料517或534、圖6中之至殘餘計算619的輸入或圖7中之至重構求和715的輸入。

在本實例中，上取樣濾波器經組態以應用預測平均值修改符。此預測平均值修改符可包含WO2020/188242 A1中所描述之修改符或EP 2850829 B1中所描述之「預測平均」值。在比較實例中，預測平均值修改符經導出為在應用上取樣濾波器之後在第二解析度下的像素之資料區塊的平均值與在應用上取樣濾波器之前在第一解析度下之對應像素值之間的差。舉例而言，對於2倍上取樣，值平面中之輸入像素集合中的各者可經上取樣至值之對應2×2區塊（其中在某些情況下以不同方式處理邊緣情況——例如藉由填補或削減）。預測平均值修改符修改（例如，減小）殘餘之資料區塊的平均值，該等殘餘經導出為在上取樣之後在第二解析度下之視訊訊框與在第二解析度下的用以導出用於該上取樣之輸入視訊訊框的原始視訊訊框之間的差。舉例而言，殘餘之平面在圖6中之2級比較器619處產生或作為圖2及圖3中的差203中之一者產生。在殘餘之此平面內，可將像素值分組成 n× n資料區塊以形成編碼單元，其中 n通常為2或4。殘餘之此等 n× n資料區塊將在經上取樣訊框內具有對應 n× n資料區塊，例如，如由2級比較器619輸出的殘餘之64×64平面將具有由輸入視訊600中的32×32個對應2×2資料區塊及上取樣617之輸出產生的殘餘之32×32個2×2資料區塊。在圖6中之2級編碼621期間或在圖4中之階梯編碼401期間，殘餘的各 n× n資料區塊經變換以產生 n ²定向分量集合，其中彼等定向分量中之一者係藉由對資料區塊中之值進行求和而計算的平均分量。在比較實例中，例如，如EP 2850829 B1中所描述，預測平均值修改符可計算為在應用上取樣濾波器之後在第二解析度下的像素之資料區塊的平均值與在應用上取樣濾波器之前在第一解析度下之對應像素值之間的差，且接著自資料區塊中之殘餘值的平均值減去。然而，藉由最佳化上取樣濾波器之係數，在應用上取樣濾波器之後在第二解析度下的像素之資料區塊的平均值可接近於（例如，在定量範圍內）或等於在第一解析度下之對應像素值，以使得預測平均值修改符為零，其等效於隱式地應用預測平均值。

在本文中所描述之某些實例中，提供可分離上取樣濾波器，其中可分離濾波器係數集合經組態以最小化殘餘之資料區塊的平均值與殘餘之資料區塊的預測平均值之間的差。此處，殘餘之資料區塊經導出為在上取樣之後在第二解析度下之視訊訊框與在第二解析度下的用以導出用於該上取樣之輸入視訊訊框的原始視訊訊框之間的差。濾波器因此藉由更改上取樣濾波器係數而在上取樣程序期間隱式地應用預測平均值（以產生「預測平均值保持濾波器」），其中預測平均值表示在上取樣之後在第二解析度下的像素之資料區塊的平均值與在上取樣之前在第一解析度下之對應像素值之間的差，在編碼期間以「預測平均值模式」自各資料區塊減去比較實例中之預測平均值並且在解碼期間以「預測平均值模式」將該預測平均值添加至各資料區塊。實例之經調適上取樣濾波器因此提供此「預測平均值模式」，但無需除上取樣操作外之顯式計算。或換言之，預測平均值係經由上取樣而經組態以具有0值，從而無需（在編碼器處）顯式地減去預測平均值或（在解碼器處）添加預測平均值至資料區塊。

示例性可分離濾波器圖9A及圖9B展示可經組態以應用如本文所描述之預測平均值的示例性可分離濾波器。在圖9A及圖9B之實例中，展示了五係數可分離濾波器。可分離濾波器之概念係此項技術中已知的：可分離濾波器為其中信號之多個維度（諸如用於視訊訊框的平面之兩個空間維度）藉由各別較低維度濾波器（諸如兩個一維濾波器）串聯濾波的濾波器，其中各濾波器係在不同方向上應用。在此情況下，存在各自具有五個係數之二維濾波器（亦即，5分接頭濾波器）。

圖9A展示用於待上取樣之一個較低解析度像素值d ₂₂的接受域905。接受域905係較低解析度像素周圍之5×5區域，且可表示為5列像素值910或5×5柵格915。接受域具有5×5大小，此係因為兩個1D五係數濾波器有效地執行5×5 2D濾波。圖9A亦展示包含第一濾波器922及第二濾波器924之示例性可分離濾波器920的定義，其中濾波器係數展示為926及928。在此實例中，執行兩倍上取樣，以使得應用於接受域D 905之濾波器F 920產生展示為V 930之四個輸出像素。圖9B展示如何自涉及資料列910及第一濾波器922及第二濾波器924之計算導出四個輸出像素中之各者。四個輸出像素930之2×2柵格可因此計算為：V = F ^TD ^TF，其中F = [F ₀, F ₁]且D為接受域。類似計算可應用於不同長度可分離濾波器，例如應用於三係數濾波器，接受域係圍繞當前像素而居中之3×3柵格，或應用於四係數濾波器，接受域係其中在四個中心像素中之一者處對像素進行上取樣的4×4柵格（例如，如在設計濾波器時所定義）。

使用上述構架， n× n資料區塊之平均分量可計算為： 其中I為輸入訊框（例如，210或600）之 n× n資料區塊並且v _i為V的元素，亦即，殘餘平均值可計算為輸入訊框資料區塊之平均值減去經上取樣之資料區塊的平均值。

在上述實例中，輸入信號經下取樣且接著經上取樣以產生V。舉例而言，在圖2及圖3中之201處且在圖6中之605處，在編碼器處應用下取樣。輸入信號之下取樣產生用於接受域D的資料，其中此資料可為在如圖6之實例中所展示的基礎編碼及解碼之後的經重構較低解析度信號。若吾人將 d視為經上取樣以產生V之像素值，則吾人可定義 如在經下取樣輸入訊框中發現的此像素與經重構像素值 d之間的差： 其中 為對自輸入訊框I導出之資料區塊進行下取樣的函數。現在若下取樣函數為平均下取樣器，則 且吾人可將A定義為： A = (d + ) - 並且在解碼器能夠存取d及 時，吾人可將經調整平均分量定義為： 其中預測平均值經定義為： PA =

在比較編碼器中，因此在編碼器處計算預測平均值PA且自平均值A減去該預測平均值，以使得對較小 進行編碼來代替各資料區塊之A。然而，若上取樣濾波器經組態以使得預測平均值PA為零，亦即d= ，則此與將預測平均值修改隱式地應用為 相同。因此，在本實例中，上取樣濾波器經組態以使得：

對於2×2資料區塊，此意謂濾波器係數經組態以使得： v ₀+v ₁+v ₂+v ₃= 4d

在諸如圖9A及圖9B中所展示之五係數濾波器中，當所有資料值d _mn，m,n ϵ [0, 1, 2, 3, 4]，取消而只留下中心值d ₂₂時，滿足上述方程式。舉例而言，圖9C展示實例942，其中圖9B中之經上取樣像素值v _i940之表達式中的D ₀項得以擴展。在此情況下，可將諸如群組944等各群組項約束為總和為零。自此，方程式集合950可經定義以使得該等項取消（亦即，行或群組944總和為零）。此可接著自D ₀情況擴展至具有如圖9C中所展示之方程式集合960的一般D _n情況，其中n≠2。用於該方程式集合960之非明顯解係其中對於n≠2而f _n0+ f _n1= 0的情況。對於其中n=2之情況，除了第三中心方程式外之所有方程式可如960中所展示而設定；第三中心品質接著可用公式表示為： f ₂₀(f ₂₀+ f ₂₁) + f ₂₁(f ₂₀+ f ₂₁) = 4

求解f ₂₀及f ₂₁，得出f ₂₀+ f ₂₁= ±2。此接著將用於五係數預測平均值保持可分離濾波器之通解指示為：

因此，具有上述形式之可分離濾波器將滿足經上取樣之資料區塊的平均值等於經上取樣之較低解析度值的約束條件。

上述解決方案允許現有非預測平均值保持濾波器經調適以提供預測平均值保持濾波器。舉例而言，可分離五係數非預測平均值保持立方上取樣器可經定義為：

為了調適此濾波器以隱式地提供預測平均值計算，係數可經調適以確認以上所展示之一般形式。上文所展示之係數因此經修改如下：

儘管上述解決方案提供預測平均值保持濾波器（亦即，隱式地應用預測平均值計算之濾波器），但上文所描述之濾波器為五係數（五分接頭）濾波器。在諸如機上盒及舊式裝置等某些視訊解碼器中，存在對可用於上取樣濾波器之資源的限制。特別地，此限制可關於可供使用之濾波器係數之數目。舉例而言，某些視訊處理裝置例如歸因於硬體約束而限於四係數濾波器。

諸如LCEVC等某些視訊編碼標準亦指定上取樣濾波器之濾波器組含有符合特定所定義圖案（亦即，受限於濾波器係數之某些形式）之係數。在LCEVC中，用於特定上取樣濾波器之濾波器係數集合經指定為具有以下形式： F = [-a, b, …, y, -z] 亦即，第一及最後一個係數需要為負。此形式之「鏡像內核」可不必在位元串流中發送負值（例如， a及 z在位元串流中作為正係數發送且接著在解碼器處自動設定成其負值對應體，等效於 a*-1及 z*-1），此可改良壓縮且減小複雜度同時允許其中係數變化之自適應性濾波器。亦可存在除第一及最後一個係數外之係數值為正的約束條件。在上文闡述之五係數預測平均值保持可分離濾波器之通解中，滿足本說明書之一個實施方案將具有f ₀= -f ₀= 0及f ₄= -f ₄= 0。然而，此將五係數濾波器基本上減小至三係數濾波器，同時保持五係數濾波器之實施複雜度。

鑒於應用於某些實施方案之此等額外約束，亦需要具有對具有四係數且針對各濾波器組中之第一及最後一個濾波器係數具有負值的預測平均值保持（可分離）濾波器的近似值。

轉向四係數濾波器，此可經指定為具有以下一般形式：

此四係數濾波器亦可經指定為五係數濾波器，其中各濾波器階段之一個係數經設定為0，亦即：

採用此式且查核用於預測平均值應用濾波器之解中之一者，存在如下約束： 對於n≠2，f _n0+ f _n1= 0 f ₂₀+ f ₂₁= ±2

返回至經指定為五係數濾波器之四係數濾波器，此等約束之一個解係a = -c及b = ±1以及d=0。此接著指示用於四係數預測平均值應用濾波器之一般形式可寫為：

比較此形式與上文之五係數 規格，此接著建議保持或應用預測平均值之原始四係數濾波器的近似值可被定義為：

因此，以上公式可用以將非預測平均值應用濾波器F轉換成預測平均值應用濾波器F'或 。

圖10展示根據以上說明書而經組態以隱式地應用預測平均值計算之一組四係數非預測平均值應用濾波器F 1005及其對應體F' 1010的實例1000。根據以上導出，現有四或五係數上取樣濾波器可因此適用於產生應用上取樣濾波器之預測平均值（有時被稱作預測殘餘）。預測平均值應用濾波器近似於原始濾波器之濾波以及應用預測平均值。在此等情況下，預測平均值應用濾波器係在以下情況下的濾波器：例如若如EP 2850829 B1中所描述之逆變換之前或如在WO2020/188242 A1中所描述作為上取樣後修改符應用預測平均值，則預測平均值（亦即，任何修改符）將為零。因此，上取樣器運作得如同應用了預測平均值一般，而無需顯式地進行預測平均值校正。此情況為當上取樣器經組態以在上取樣之前將像素之經上取樣資料區塊的平均值約束至對應像素值時的情況。本方法允許任何定製濾波器內核例如藉由應用上文所展示之轉換而易於轉換為預測平均值應用濾波器。藉由使用定製預測平均值應用濾波器，預測平均值計算可在用於LCEVC或VC-6之組態內禁用，但仍將應用預測平均值計算（即使啟用預測平均值計算，但其將不具有效應，此係因為預測平均值修改符在各種情況下將為零）。

經由上取樣器之組態隱式地執行預測平均值計算會提供與在何處執行處理無關之益處。舉例而言，其可藉由減少需要執行之操作的數目而加速圖形處理單元（GPU）及中央處理單元（CPU）兩者上之處理（例如，無論如何在所有編碼及解碼期間執行上取樣，並且本方法不增加所使用之係數的數目或上取樣計算之數目）。藉由減少針對各資料區塊而執行之操作的數目，在行動裝置上消耗之電池功率亦可能得以節省（例如，在測試中觀測到電池消耗之約5%的節省）。

訓練經調適上取樣濾波器在某些情況下，如上文所描述，可基於多個約束而選擇例如用於可分離上取樣濾波器之上取樣係數集合以隱式地應用預測平均值計算。在其他情況下，亦可訓練或最佳化應用預測平均值之經調適上取樣濾波器的係數。圖11展示可如何達成此情形之一個示例性組態。舉例而言，上取樣器可實施為神經網路上取樣器，諸如卷積神經網路。

圖11展示訓練設置1100，其中可訓練預測平均值應用上取樣器1105可經訓練以模仿現有非預測平均值應用上取樣器1110之操作。可訓練上取樣器1105可為任何線性或非線性上取樣濾波器，包括可分離及不可分離濾波器。可訓練上取樣器1105可實施為具有一個或多個濾波器之卷積神經網路，各濾波器具有可訓練濾波器參數集合。現有上取樣器1110可為任何已知上取樣濾波器，同樣包括線性及非線性濾波器，且可為可分離或不可分離的。在一種情況下，現有上取樣器1110可包含呈上文所描述之（非預測平均值應用）五及四係數濾波器形式的已知 n係數可分離濾波器。在其他情況下，現有上取樣器1110可包含經訓練神經網路取樣器。在此情況下，現有上取樣器1110可先前已經受訓練以對經下取樣序列進行上取樣以便儘可能緊密地匹配在經上取樣解析度下之原始輸入地表實況序列。當訓練時，現有上取樣器1110之任何可訓練係數為固定或凍結的——此等係數不經受訓練或更新。實情為，訓練之目標係組態可訓練上取樣器1105之可訓練係數。

在訓練設置1100中，獲得地表實況視訊序列1120。地表實況序列1120可為用於視訊序列之訊框集合（例如，明度及色度平面中之一者或多者）。視訊序列可經選擇以具有廣泛範圍之視訊特性的特徵以便提供穩固訓練（例如，具有多種紋理之靜態及動態場景兩者）。在訓練設置1100中，下取樣器1125用以對視訊訊框之地表實況序列1120進行下取樣以獲得視訊訊框之經下取樣序列1130。此可逐訊框或按批次進行。接著將視訊訊框之經下取樣序列1130傳遞至可訓練上取樣器1105及現有上取樣器1110中之各者以供進行上取樣。現有上取樣器1110使用具有固定係數集合之上取樣濾波器對視訊訊框之經下取樣序列1130進行上取樣以產生第一經上取樣序列。在此之後，應用預測平均值修改符1135。舉例而言，預測平均值修改符1135可計算為經上取樣資料區塊之元素值與輸入經下取樣元素之間的差，例如WO2020/188242 A1中所描述。在區塊1135處藉由預測平均值進行修改之後，獲得經修改之第一經上取樣序列1140。同樣，此序列可逐訊框或按批次產生。

與由現有上取樣器1110及預測平均值修改符1135執行之上取樣及修改並行地，在正向傳遞或推斷模式下的可訓練上取樣器1105亦對視訊訊框之經下取樣序列1130進行上取樣以產生第二經上取樣序列1145。接著將視訊訊框之經修改之第一經上取樣序列1140與視訊訊框之第二經上取樣序列1145作為損失計算1160之部分進行比較以判定用於可訓練上取樣器1105的更新。舉例而言，可訓練上取樣器1105之係數值可使用梯度下降（以已知形式，諸如使用隨機梯度下降）及反向傳播來更新。作為訓練之部分，可訓練上取樣器1105的可訓練係數經最佳化以便使視訊訊框之兩個序列1140、1145之間的差（亦即，損失）最小化。因此，可訓練上取樣器1105學習模仿現有上取樣1110及預測平均值修改符1135之動作，亦即經訓練為預測平均值應用上取樣器。在圖11中所展示之訓練設置1100中，因此最佳化可訓練上取樣器1105以重構自身已經下取樣、經上取樣且應用預測平均值的地表實況序列1120之有損版本。

如本文中所描述之經調適上取樣濾波器可實施為硬體及/或軟體濾波器。舉例而言，定製係數可載入至存在於諸如機上盒或嵌入式裝置等裝置中的專用上取樣器濾波器組中（例如，經由韌體更新或其類似者）。在諸如個人電腦及行動裝置等裝置中，可使用電腦程式碼執行濾波。在此情況下，記憶體可儲存如此處所描述之濾波器係數集合，諸如包含用於在第一方向上進行濾波的第一濾波器係數集合以及用於在第二方向上進行濾波之第二濾波器係數集合的可分離濾波器係數集合，並且諸如CPU及/或GPU等處理器可應用該濾波器係數集合以將輸入視訊訊框自第一解析度上取樣至第二解析度，第二解析度高於第一解析度。

使用如上文所描述（例如，如根據以上規格所組態或如在圖11中所展示而經最佳化）之預測平均值應用濾波器的一個益處為，即使在解碼裝置之硬體限制阻止顯式地執行預測平均值計算時亦可獲得預測平均值計算的優點。舉例而言，諸如機上盒等某些舊式裝置具有有限數目個可能解碼組態，並且雖然此等舊式裝置可能夠支援定製上取樣濾波器係數及LCEVC解碼管線，但其可能無法支援預測平均值計算（例如，如在逆變換之前或作為在上取樣之後添加的修改符而應用）。因此，本實例允許在此等情況下應用預測平均值。

以上實例應理解為說明性的。設想其他實例。應理解，關於任一實例所描述之任何特徵可單獨使用，或與所描述之其他特徵組合使用，且亦可與任何其他實例的一個或多個特徵或與任何其他實例之任何組合組合使用。此外，亦可在不脫離隨附申請專利範圍中界定之本發明之範圍的情況下採用上文未描述之等效物及修改。

101:資料 102:階層式編碼器 103:經編碼資料 104:階層式解碼器 105:經解碼資料 201 _-1:第一下取樣操作 201 _-2:第二下取樣操作 201 _1-n:第三下取樣操作 202 _-1:上取樣 202 _-2:上取樣 202 _1-n:核心上取樣器/上取樣操作 203 ₀:差 203 _-1:差 203 _-2:差 210:原始資料訊框/輸入資料訊框/輸入資料 304 _-1:求和 304 _-2:求和 401:編碼程序 402:變換 403:量化 404:熵編碼操作 405:稀疏化步驟 501:經編碼資料/階梯分量集合 503:階段/解碼器 505:階段 507:步驟 509:步驟 511:步驟 513:步驟 515:階段/經重構圖像/資料 517:預測圖像/資料 518:經解碼殘餘 520:階段/資料 522:步驟/上取樣器 524:預測圖像 526:經解碼階梯 _-1輸出/殘餘/步驟/上取樣器 527:經重構圖像 528:步驟/資料 530:步驟/上取樣器 531:經重構圖像 532:階段 600:輸入視訊 601:經編碼串流/經編碼基礎串流 602:經編碼串流/經編碼1級串流/第一增強等級/增強串流 603:經編碼串流/第二增強等級/增強串流 605:下取樣區塊 610:1級比較器 613:基礎編碼器 614:基礎解碼器 615:第一編碼器 617:上取樣組件/上取樣器 619:2級比較器 620:求和組件 621:第二編碼器/2級編碼 704:標頭 710:基礎解碼器 711:第一解碼器 712:第一求和組件 713:上取樣組件/上取樣器 714:第二解碼器 715:第二求和組件 750:經解碼視訊 800:示例性方法 805:區塊 810:區塊 815:區塊 905:接受域 910:像素值/資料列 915:柵格 920:濾波器 922:第一濾波器 924:第二濾波器 926:濾波器係數 928:濾波器係數 930:輸出像素 940:經上取樣像素值 942:實例 944:群組 950:方程式 960:方程式 1000:實例 1005:四係數非預測平均值應用濾波器 1010:對應體 1100:訓練設置 1105:可訓練預測平均值應用上取樣器/可訓練上取樣器 1110:現有非預測平均值應用上取樣器/現有上取樣器 1120:地表實況視訊序列 1125:下取樣器 1130:視訊訊框之經下取樣序列 1135:預測平均值修改符/區塊 1140:經修改之第一經上取樣序列 1145:第二經上取樣序列 1160:損失計算 R ₀:第三殘餘/輸出殘餘資料 R _-1:第二殘餘資料 R _-2:第一殘餘資料 R _1-n:核心等級/核心品質等級

[圖1]展示階層式編碼及解碼程序之高級示意圖。 [圖2]展示階層式解構程序之高級示意圖。 [圖3]展示階層式解構程序之替代性高級示意圖。 [圖4]展示適合於對分層輸出之殘餘進行編碼的編碼程序之高級示意圖。 [圖5]展示適合於對來自圖4之各輸出等級進行解碼的階層式解碼程序之高級示意圖。 [圖6]展示階層式編碼技術之編碼程序的高級示意圖。 [圖7]展示適合於對圖6之輸出進行解碼的解碼程序之高級示意圖。 [圖8]展示上取樣之示例性方法。 [圖9A]至[圖9C]展示用於上取樣之示例性可分離五分接頭濾波器以及用於設計預測平均值保持上取樣濾波器之示例性約束。 [圖10]展示根據本文中所描述之方法轉換成預測平均值保持上取樣濾波器的非預測平均值保持上取樣濾波器集合之實例。 [圖11]展示用於訓練預測平均值保持上取樣濾波器之示例性訓練組態。

800:示例性方法

805:區塊

810:區塊

815:區塊

Claims (21)

1. 一種對影像資料進行解碼之方法，其包含： 在一第一解析度下接收第一影像資料，該第一影像資料與一視訊訊框相關聯； 對該第一影像資料進行上取樣以在一第二解析度下產生用於該視訊訊框之第二影像資料，該第二解析度高於該第一解析度； 在該第二解析度下接收經編碼殘餘資料，該經編碼殘餘資料包含複數個經編碼資料區塊，一經編碼資料區塊包含一個或多個定向分量並且至少一個分量係自該經編碼資料區塊內之該殘餘資料之一平均值導出； 將一反向定向分解應用於該經編碼殘餘資料之資料區塊以導出經解碼殘餘資料；以及 將該經解碼殘餘資料與該第二影像資料組合以在該第二解析度下產生用於該視訊訊框之一輸出， 其中自該經編碼資料區塊內之該殘餘資料之一平均值導出的該至少一個分量經計算為使用一預測平均值調整之未經編碼殘餘資料之一資料區塊的一平均分量，該預測平均值係自該第一影像資料中之一像素值及該第二影像資料內的像素之一對應資料區塊之一平均值導出，該對應資料區塊係自該第一影像資料中之該像素值的一上取樣導出，且 其中該上取樣包含應用經選擇以將該第二影像資料中之像素之該資料區塊的該平均值約束至該第一影像資料中之該對應像素值的一上取樣係數集合以便在該上取樣期間應用該預測平均值。
2. 如請求項1之方法，其中該上取樣包含針對兩個影像維度中之各者應用具有小於五個係數的一可分離濾波器。
3. 如請求項2之方法，其中該上取樣係數集合具有以下形式： 。
4. 如請求項3之方法，其中對於具有以下形式之一可分離上取樣濾波器： ； 該上取樣係數集合經判定為： 。
5. 如請求項1之方法，其中該上取樣包含針對兩個影像維度中之各者應用具有五個係數的一可分離濾波器。
6. 如請求項5之方法，其中該上取樣係數集合具有以下形式： 。
7. 如請求項6之方法，其中對於具有以下形式之一可分離上取樣濾波器： ； 該上取樣係數集合經判定為： 。
8. 如請求項1至7中任一項之方法，其中對影像資料進行解碼之該方法應用低複雜度增強型視訊編碼（LCEVC）或SMPTE VC-6 2117中的一者。
9. 如請求項1至7中任一項之方法，其中該係數集合係根據具有一所應用約束集合之一訓練程序而判定。
10. 一種對影像資料進行編碼之方法，其包含： 在一第一解析度下接收第一影像資料，該第一影像資料與一原始視訊訊框相關聯； 對該第一影像資料進行上取樣以在一第二解析度下產生用於該視訊訊框之第二影像資料，該第二解析度高於該第一解析度； 在該第二解析度下產生殘餘資料作為該第二影像資料與該原始視訊訊框之間的一差，該殘餘資料包含複數個資料區塊；以及 變換該複數個資料區塊以產生複數個經編碼資料區塊，一經編碼資料區塊包含一個或多個定向分量並且至少一個分量係自正經編碼之該資料區塊內的該殘餘資料之一平均值導出， 其中該上取樣包含應用經選擇以將該第二影像資料中之像素之一資料區塊的一平均值約束至該第一影像資料中之一對應像素值的一上取樣係數集合，且 其中該上取樣修改該第二影像資料以調整一經編碼資料區塊內之該殘餘資料的該平均值，該平均值係使用一預測平均值來調整，該預測平均值表示該第二影像資料中之像素之該資料區塊的該平均值與該第一影像資料中之該對應像素值之間的一差。
11. 如請求項10之方法，其中該上取樣包含針對兩個影像維度中之各者應用具有小於五個係數的一可分離濾波器。
12. 如請求項11之方法，其中該上取樣係數集合具有以下形式： 。
13. 如請求項12之方法，其中對於具有以下形式之一可分離上取樣濾波器： ； 該上取樣係數集合經判定為： 。
14. 如請求項10之方法，其中該上取樣包含針對兩個影像維度中之各者應用具有五個係數的一可分離濾波器。
15. 如請求項14之方法，其中該上取樣係數集合具有以下形式： 。
16. 如請求項15之方法，其中對於具有以下形式之一可分離上取樣濾波器： ； 該上取樣係數集合經判定為： 。
17. 如請求項10至16中任一項之方法，其中對影像資料進行編碼之該方法應用低複雜度增強型視訊編碼（LCEVC）或SMPTE VC-6 2117中的一者。
18. 如請求項10至16中任一項之方法，其中該係數集合係根據具有一所應用約束集合之一訓練程序而判定。
19. 一種訓練用於一上取樣濾波器之一係數集合的方法，其包含： 獲得視訊訊框之一地表實況序列； 對視訊訊框之該地表實況序列進行下取樣以獲得視訊訊框之一經下取樣序列； 使用具有一固定係數集合的一第一上取樣濾波器對視訊訊框之該經下取樣序列進行上取樣以產生一第一經上取樣序列； 將一預測平均值修改符應用於自該第一經上取樣序列導出的資料以輸出一經修改之第一經上取樣序列，該預測平均值修改符表示該第一經上取樣序列中的像素之該資料區塊的該平均值與視訊訊框之該經下取樣序列中的對應像素值之間的一差； 使用具有一可訓練係數集合的一第二上取樣濾波器對視訊訊框之該經下取樣序列進行上取樣以產生一第二經上取樣序列； 計算該第二經上取樣序列與該經修改之第一經上取樣序列之間的一損失；以及 使該可訓練係數集合最佳化以減少該損失， 其中經最佳化之可訓練係數集合提供該第一上取樣濾波器之一預測平均值保持版本。
20. 一種用於視訊編碼之上取樣濾波器，其包含： 一記憶體，其包含一可分離濾波器係數集合，該可分離濾波器係數集合包含用於在一第一方向上進行濾波之一第一濾波器係數集合以及用於在一第二方向上進行濾波的一第二濾波器係數集合；以及 一處理器，其用以應用該可分離濾波器係數集合以將一輸入視訊訊框自一第一解析度上取樣至一第二解析度，該第二解析度高於該第一解析度， 其中該可分離濾波器係數集合經組態以修改該上取樣濾波器之該輸出以應用一預測平均值修改符，該預測平均值修改符經導出為在應用該上取樣濾波器之後在該第二解析度下的像素之一資料區塊的一平均值與在應用該上取樣濾波器之前在該第一解析度下之一對應像素值之間的一差，該預測平均值修改符修改殘餘之一資料區塊的一平均值，該等殘餘經導出為在上取樣之後在該第二解析度下之一視訊訊框與在該第二解析度下的用以導出用於該上取樣之一輸入視訊訊框的一原始視訊訊框之間的一差。
21. 一種對用於視訊編碼之一視訊訊框進行上取樣的方法，其包含： 在一第一解析度下獲得一輸入視訊訊框；以及 應用由一可分離濾波器係數集合定義之一上取樣濾波器以在一第二解析度下獲得一輸出視訊訊框，該可分離濾波器係數集合包含用於在一第一方向上進行濾波之一第一濾波器係數集合以及用於在一第二方向上進行濾波的一第二濾波器係數集合，該第二解析度高於該第一解析度， 其中該可分離濾波器係數集合經組態以修改該上取樣濾波器之該輸出以應用一預測平均值修改符，該預測平均值修改符經導出為在應用該上取樣濾波器之後在該第二解析度下的像素之一資料區塊的一平均值與在應用該上取樣濾波器之前在該第一解析度下之一對應像素值之間的一差，該預測平均值修改符修改殘餘之一資料區塊的一平均值，該等殘餘經導出為在上取樣之後在該第二解析度下之一視訊訊框與在該第二解析度下的用以導出用於該上取樣之一輸入視訊訊框的一原始視訊訊框之間的一差。