TWI816439B

TWI816439B - 以區塊為基礎之預測技術

Info

Publication number: TWI816439B
Application number: TW111122604A
Authority: TW
Inventors: 強納森帕雅夫; 托比亞斯辛茲; 菲利浦希利; 飛利浦馬克爾; 柏喬恩史泰倫柏格; 麥可夏佛; 班傑明布洛斯; 馬汀文肯; 米斯洽希克曼; 希可史瓦茲; 迪特利夫馬皮; 湯瑪士威剛德
Original assignee: 弗勞恩霍夫爾協會
Priority date: 2019-05-10
Filing date: 2020-05-11
Publication date: 2023-09-21
Also published as: EP3967037A1; JP2023145655A; WO2020229394A1; TW202101992A; JP7325540B2; TWI771679B; JP2022531902A; MX2021013521A; TW202315408A; CN114073087A; US20220058239A1; BR112021022540A2; KR20220013941A

Abstract

一種用於使用多個參考樣本預測一圖像之一預定區塊的設備。該設備經組配以：自該多個參考樣本形成一樣本值向量；自該樣本值向量導出一另一向量，該樣本值向量藉由一預定可逆線性變換經映射至該另一向量上；計算該另一向量與一預定預測矩陣之間的一矩陣向量乘積以便獲得一預測向量；及基於該預測向量預測該預定區塊之樣本。

Description

以區塊為基礎之預測技術

發明領域

本申請案係關於以區塊為基礎之技術的領域。實施例係與用於判定預測向量之有利的方式相關。

發明背景

現今存在不同的以區塊為基礎之框內及框間預測模式。鄰近待預測之區塊之樣本或自其他圖像獲得之樣本可形成樣本向量，其可經歷矩陣乘法以判定用於待預測之區塊的預測信號。

矩陣乘法應較佳地以整數算術實行，並且應將藉由某一基於機器學習之訓練演算法導出的矩陣用於矩陣乘法。

然而，此訓練演算法通常僅產生以浮點精確度給定之矩陣。因此，面臨以下問題：指定整數運算，使得使用此等整數運算很好地近似矩陣乘法及/或實現計算效率的改良及/或在實施方面使預測更有效。

此係藉由本申請案之獨立技術方案的主題來達成。

根據本發明之其他實施例係由本申請案之附屬申請專利範圍的主題界定。

發明概要

根據本發明之一第一態樣，本申請案之發明人意識到當嘗試藉由編碼器或解碼器判定預測向量時遇到的一個問題為可能缺少使用整數算術來計算用於預定區塊之預測向量。根據本申請案之第一態樣，此困難係藉由自樣本值向量導出另一向量來解決，該樣本值向量藉由預定可逆線性變換經映射至該另一向量上，使得樣本值向量不直接應用於計算預測向量之矩陣向量乘積。反而，計算另一向量與預定預測矩陣之間的矩陣向量乘積以計算預測向量。舉例而言，另一向量經導出使得可藉由該設備使用整數算術運算及/或定點算術運算來預測預定區塊之樣本。此係基於以下想法：樣本值向量之分量係相關的，其中可使用有利的預定可逆線性變換例如以獲得具有主要為較小條目之另一向量，從而使得能夠使用整數矩陣及/或具有定點值之矩陣及/或具有較小經預期量化錯誤之矩陣作為預定預測矩陣。

因此，根據本申請案之第一態樣，一種用於使用多個參考樣本預測圖像之預定區塊的設備經組配以自多個參考樣本形成樣本值向量。舉例而言，該等參考樣本為鄰近框內預測處之預定區塊的樣本或框間預測處之另一圖像中之樣本。根據一實施例，例如，可藉由平均化來縮減參考樣本以獲得具有值之經縮減數目的樣本值向量。此外，該設備經組配以：自樣本值向量導出另一向量，該樣本值向量係藉由預定可逆線性變換經映射至另一向量上；計算另一向量與預定預測矩陣之間的矩陣向量乘積以便獲得預測向量；及基於預測向量預測預定區塊之樣本。基於另一向量，預定區塊之樣本的預測可表示樣本值向量與矩陣之間的直接矩陣向量乘積之整數近似以獲得預定區塊之經預測樣本。

樣本值向量與矩陣之間的直接矩陣向量乘積可等於另一向量與第二矩陣之間的第二矩陣向量乘積。第二矩陣及/或矩陣例如為機器學習預測矩陣。根據一實施例，第二矩陣可基於預定預測矩陣及整數矩陣。舉例而言，第二矩陣等於預定預測矩陣與整數矩陣之總和。換言之，另一向量與第二矩陣之間的第二矩陣向量乘積可由另一向量與預定預測矩陣之間的矩陣向量乘積及整數矩陣與另一向量之間的另一矩陣向量乘積來表示。舉例而言，整數矩陣為具有預定行i ₀及為零之行i≠i ₀之矩陣，該預定行由一組成。因此，可藉由該設備來實現第一及/或第二矩陣向量乘積之良好整數近似及/或良好定點值近似。此係基於以下想法：預定預測矩陣可經量化或為已經量化之矩陣，此係由於另一向量主要包含較小的值，從而導致第一及/或第二矩陣向量乘積之近似中之可能量化錯誤的邊際影響。

根據一實施例，可逆線性變換乘以預定預測向量與整數矩陣之總和可對應於機器學習預測矩陣之經量化版本。舉例而言，整數矩陣為具有預定行i ₀及為零之行i≠i ₀之矩陣，該預定行由一組成。

根據一實施例，可逆線性變換經界定使得另一向量之預定分量變為a，且另一向量之除了預定分量之外的其他分量中之每一者等於樣本值向量之對應的分量減去a，其中a為預定值。因此，可實現具有較小值之另一向量，從而使得能夠量化預定預測矩陣且產生預定區塊之經預測樣本中之量化錯誤的邊際影響。在此另一向量之情況下，有可能藉由整數算術運算及/或定點算術運算預測預定區塊之樣本。

根據一實施例，預定值為樣本值向量之分量的平均值(諸如算術均值或經加權平均值)、預設值、以圖像經寫碼成之資料串流用信號通知的值及樣本值向量之對應於預定分量的分量中之一者。舉例而言，樣本值向量係由多個參考樣本或由多個參考樣本當中之參考樣本的群組之平均值包含。舉例而言，參考樣本之群組包含至少二個參考樣本，較佳地為相鄰參考樣本。

舉例而言，預定值為樣本值向量之一些分量(例如，至少二個分量)或樣本值向量之所有分量的算術均值或經加權平均值。此係基於以下想法：樣本值向量之分量係相關的，亦即分量之值可為類似的及/或分量中之至少一些可具有相等值，其中另一向量之分量不等於另一向量之預定分量，亦即i≠i ₀之分量i，其中i ₀表示預定分量，可能具有小於樣本值向量之對應的分量的絕對值。因此，可實現具有較小值之另一向量。

預定值可為預設值，其中預設值例如選自預設值之清單或對於所有區塊大小、預測模式等等係相同的。預設值之清單之分量可與不同區塊大小、預測模式、樣本值向量大小、樣本值向量之值的平均值等等相關聯。因此，例如，取決於預定區塊，亦即取決於與預定區塊相關聯之解碼或編碼設置，經最佳化預設值係藉由該設備選自預設值之清單。

替代地，預定值可為以圖像寫碼成之資料串流用信號通知的值。在此狀況下，例如，用於編碼之設備判定預定值。預定值之判定可基於與如上文在預設值之上下文中所描述相同的考量。

另一向量之分量不等於另一向量之預定分量，亦即i≠i ₀之分量i，其中i ₀表示預定分量，該另一向量之該等分量具有例如小於樣本值向量之對應的分量之絕對值，其中使用預設值或以資料串流用信號通知的值作為預定值。

根據一實施例，該預定值可為樣本值向量之對應於預定分量之分量。換言之，藉由應用可逆線性變換，樣本值向量之對應於預定分量之分量的值不會改變。因此，樣本值向量之對應於預定分量之分量的值等於例如另一向量之預定分量的值。

預定分量例如係默認選擇的，如例如上文關於作為預設值之預定值所描述。清楚的是，可藉由替代程序選擇預定分量。預定分量例如經選擇為類似於預定值。根據一實施例，選擇預定分量使得樣本值向量之對應的分量之值等於或僅具有與樣本值向量之值的平均值之邊際偏差。

根據一實施例，預定預測矩陣之行內之預定預測矩陣的對應於另一向量之預定分量的矩陣分量均為零。該設備經組配以藉由計算捨棄行(亦即由零組成之行)而產生於預定預測矩陣之經縮減預測矩陣與藉由捨棄預定分量而產生於另一向量之又另一向量之間的矩陣向量乘積來執行乘法而計算矩陣向量乘積，亦即另一向量與預定預測矩陣之間的矩陣向量乘積。此係基於以下想法：另一向量之預定分量經設置為預定值並且若樣本值向量之值係相關的，則此預定值確切為用於預定區塊之預測信號中之樣本值或接近該等樣本值。因此，預定區塊之樣本的預測係任選地基於預定預測矩陣乘以另一向量或實際上基於經縮減預測矩陣乘以又另一向量及整數矩陣乘以另一向量，該整數矩陣之對應於預定分量之行i ₀由一組成，且該整數矩陣之所有其他其行i≠i ₀係零。換言之，經變換機器學習預測矩陣例如藉由預定可逆線性變換之逆變換可基於另一向量拆分成預定預測矩陣或實際上經縮減預測矩陣及整數矩陣。因此，僅預測矩陣應經量化以獲得機器學習預測矩陣及/或經變換機器學習預測矩陣之整數近似，其係有利的，此係由於又另一向量不包含預定分量且所有其他分量具有比樣本值向量之對應的分量小得多的絕對值，從而允許機器學習預測矩陣及/或經變換機器學習預測矩陣之所得量化中之量化錯誤的邊際影響。此外，在經縮減預測矩陣及又另一向量之情況下，必須執行較少乘法以獲得預測向量，從而降低複雜性並且產生較高計算效率。任選地，所有分量均為預定值之向量可在預測預定區塊之樣本時添加至預測向量。如上文所描述，可藉由整數矩陣與另一矩陣之間的矩陣向量乘積來獲得此向量。

根據一實施例，產生於將預定預測矩陣之一行內之預定預測矩陣的對應於另一向量之預定分量的每一矩陣分量與一求和的矩陣乘以預定可逆線性變換對應於機器學習預測矩陣之經量化版本。預定預測矩陣之一行內之預定預測矩陣的對應於另一向量之預定分量之每一矩陣分量與一之求和表示例如經變換機器學習預測矩陣。經變換機器學習預測矩陣表示例如藉由預定可逆線性變換之逆變換來變換之機器學習預測矩陣。該求和可對應於預定預測矩陣與整數矩陣之求和，該整數矩陣之對應於預定分量之行i ₀由一組成且其所有其他行i≠i ₀係零。

根據一實施例，該設備經組配以使用預測參數來表示預定預測矩陣並且藉由對另一向量之分量及預測參數以及自其產生之中間結果執行乘法及求和來計算矩陣向量乘積。預測參數之絕對值可由n位元定點數表示來表示，其中n係等於或低於14，或替代地等於或低於10，或替代地等於或低於8。換言之，預測參數乘以矩陣向量乘積之元素(如另一向量、預定預測矩陣及/或預測向量)及/或與其進行求和。藉由乘法及求和運算，可獲得例如預定預測矩陣、預測向量及/或預定區塊之經預測樣本的定點格式。

根據本發明之實施例係關於一種用於對圖像進行編碼之設備，其包含根據本文中所描述之實施例中之任一者的用於使用多個參考樣本預測圖像之預定區塊以獲得預測信號之設備。此外，該設備包含熵編碼器，其經組配以對用於預定區塊之預測殘差進行編碼以用於校正預測信號。為了預測預定區塊以獲得預測信號，該設備例如經組配以：自多個參考樣本形成樣本值向量；自樣本值向量導出另一向量，該樣本值向量藉由預定可逆線性變換經映射至另一向量上；計算另一向量與預定預測矩陣之間的矩陣向量乘積以便獲得預測向量；及基於預測向量預測預定區塊之樣本。

根據本發明之實施例係關於一種用於對圖像進行解碼之設備，其包含根據本文中所描述之實施例中之任一者的用於使用多個參考樣本預測圖像之預定區塊以獲得預測信號之設備。此外，該設備包含：熵解碼器，其經組配以對用於預定區塊之預測殘差進行解碼；及預測校正器，其經組配以使用預測殘差校正預測信號。為了預測預定區塊以獲得預測信號，該設備例如經組配以：自多個參考樣本形成樣本值向量；自樣本值向量導出另一向量，該樣本值向量藉由預定可逆線性變換經映射至另一向量上；計算另一向量與預定預測矩陣之間的矩陣向量乘積以便獲得預測向量；及基於預測向量預測預定區塊之樣本。

根據本發明之實施例係關於一種用於使用多個參考樣本預測圖像之預定區塊之方法，其包含：自多個參考樣本形成樣本值向量；自樣本值向量導出另一向量，該樣本值向量藉由預定可逆線性變換經映射至該另一向量上；計算另一向量與預定預測矩陣之間的矩陣向量乘積以便獲得預測向量；及基於預測向量預測預定區塊之樣本。

根據本發明之實施例係關於一種用於對圖像進行編碼之方法，其包含根據上文所描述之方法使用多個參考樣本預測圖像之預定區塊以獲得預測信號及對用於預定區塊之預測殘差進行熵編碼以用於校正預測信號。

根據本發明之實施例係關於一種用於對圖像進行解碼之方法，其包含根據上文所描述之方法中之一者使用多個參考樣本預測圖像之預定區塊以獲得預測信號、對用於預定區塊之預測殘差進行熵解碼及使用預測殘差校正預測信號。

根據本發明之實施例係關於一種資料串流，其係使用本文中所描述之用於對圖像進行編碼之方法由圖像編碼成。

根據本發明之實施例係關於一種電腦程式，其具有當在電腦上運行時用於執行本文中所描述之實施例中之任一者之方法的程式碼。

較佳實施例之詳細說明

即使出現於不同圖中，以下描述中仍藉由相等或等效附圖標記表示具有相等或等效功能性之相等或等效(若干)元件。

在以下描述中，闡述多個細節以提供對本發明之實施例的更透徹解釋。然而，熟習此項技術者將顯而易見，可在無此等特定細節之情況下實踐本發明之實施例。在其他情況下，以方塊圖形式而非詳細地展示熟知結構及裝置以便避免混淆本發明之實施例。另外，除非另外特定地指出，否則可將本文中所描述之不同實施例的特徵彼此組合。 1．前言

在下文中，將描述不同的本發明實例、實施例及態樣。此等實例、實施例及態樣中之至少一些尤其係指用於視訊寫碼及/或用於例如使用線性或仿射變換及鄰近樣本縮減來以區塊為基礎之預測技術及/或用於最佳化視訊遞送(例如，廣播、流式傳輸、檔案播放等)(例如，用於視訊應用程式及/或用於虛擬現實應用程式)之方法及/或設備。

此外，實例、實施例及態樣可指代高效率視訊寫碼(HEVC)或後繼者。又，其他實施例、實例及態樣將由所附申請專利範圍界定。

應注意，如申請專利範圍所界定之任何實施例、實例及態樣可由以下章節中所描述之細節(特徵及功能性)中之任一者補充。

又，以下章節中所描述之實施例、實例及態樣可個別地使用，且亦可由另一章節中之特徵中之任一者或由申請專利範圍中所包括之任一特徵補充。

又，應注意，本文中所描述的個體、實例、實施例及態樣可個別地或組合地使用。因此，細節可經添加至該等個別態樣中之每一者而無需將細節添加至該等實例、實施例及態樣中之另一者。

亦應注意，本揭露內容明確地或隱含地描述解碼及/或編碼系統及/或方法之特徵。

此外，本文中關於一種方法所揭示之特徵及功能性亦可用於設備中。此外，本文中關於設備所揭示之任何特徵及功能性亦可用於對應方法中。換言之，本文中所揭示之方法可藉由關於設備所描述的特徵及功能性中之任一者加以補充。

又，本文中所描述之特徵及功能性中之任一者可實施於硬體或軟體中，或使用硬體與軟體之一組合加以實施，如將在章節「實施替代方案」中所描述。

此外，在一些實例、實施例或態樣中，括號(「(…)」或「[…]」)中所描述之特徵中之任一者可被視為任選的。 2. 編碼器，解碼器

在下文中，描述各種實例，其可輔助當使用以區塊為基礎之預測技術時實現更有效壓縮。一些實例藉由使用一組框內預測模式來實現高壓縮效率。後面的實例可添加至例如經探索性設計地其他框內預測模式，或可專門地提供。且甚至其他實例利用剛剛論述之二種特例。然而，作為此等實施例之振動，可藉由使用另一圖像中之參考樣本將框內預測變為框間預測。

為了易於理解本申請案之以下實例，本說明書開始呈現可能的編碼器及適合其之解碼器，隨後概述之本申請案之實例可經構建至該呈現中。圖1展示用於將圖像10逐區塊編碼成資料串流12之設備。該設備使用參考符號14指示且可為靜止圖像編碼器或視訊編碼器。換言之，當編碼器14經組配以將包括圖像10之視訊16編碼成資料串流12，或編碼器14可排他地將圖像10編碼成資料串流12時，圖像10可為視訊16當中之當前圖像。

如所提及，編碼器14以逐區塊方式或基於區塊執行編碼。為此，編碼器14將圖像10細分成區塊，該編碼器14之單元將圖像10編碼成資料串流12。在下文更詳細地闡述將圖像10可能細分成區塊18之實例。通常，細分可能諸如藉由使用分層多樹細分而最終變成具有恆定大小之區塊18，諸如以列及行配置之區塊之陣列，或可能最終變成具有不同區塊大小之區塊18，其中多樹細分起始於圖像10之整個圖像區域或開始於圖像10預分割成樹型區塊之陣列，其中此等實例不應被視為排除將圖像10細分成區塊18之其他可能方式。

此外，編碼器14為經組配以將圖像10預測性地編碼成資料串流12之預測性編碼器。對於特定區塊18，此意謂編碼器14判定用於區塊18之預測信號且將預測殘差(亦即，預測信號偏離區塊18內之實際圖像內容之預測誤差)編碼成資料串流12。

編碼器14可支援不同預測模式以便導出用於特定區塊18之預測信號。在以下實例中具有重要性之預測模式為框內預測模式，根據該等框內預測模式，區塊18之內部根據圖像10之相鄰已經編碼樣本而在空間上預測。將圖像10編碼成資料串流12且因此對應的解碼程序可基於在區塊18當中定義之特定寫碼次序20。舉例而言，寫碼次序20可以光柵掃描次序(諸如自上而下逐列)遍歷區塊18，其中例如自左至右遍歷每一列。在基於分層多樹之細分之狀況下，光柵掃描排序可應用在每一層級層次內，其中可應用深度優先遍歷次序，亦即，特定層級層次之區塊內之葉節點可根據寫碼次序20在同一層級層次之具有相同父區塊之區塊之前。取決於寫碼次序20，區塊18之相鄰已經編碼樣本通常可定位在區塊18之一或多個側處。在本文中所呈現之實例之狀況下，例如區塊18之相鄰已經編碼樣本定位在區塊18之頂部及左邊。

框內預測模式可能並非編碼器14支援之僅有框內預測模式。在編碼器14為視訊編碼器之狀況下，例如編碼器14亦可支援框間預測模式，根據該等框間預測模式，區塊18暫時根據視訊16之先前編碼之圖像來預測。此框間預測模式可為運動補償預測模式，根據該運動補償預測模式，將移動向量用信號通知給此區塊18，從而指示區塊18之預測信號將從其導出作為複本之部分的相對空間偏移。另外或替代地，其他非框內預測模式亦可為可用的，諸如在編碼器14為多視圖編碼器之狀況下之框間預測模式，或非預測性模式，根據該等非預測性模式，區塊18之內部按原樣，亦即無任何預測之情況下，經寫碼。

在開始將本申請案之描述集中至框內預測模式上之前，用於可能的以區塊為基礎之編碼器(亦即用於編碼器14之可能實施)之更特定實例，如關於圖2所描述，其中接著分別呈現適合圖1及圖2之解碼器之二個對應的實例。

圖2展示圖1之編碼器14之可能實施，亦即其中編碼器經組配以使用變換寫碼以用於編碼預測殘差之實施，但此近似實例且本申請案並不限於彼類別之預測殘差寫碼。根據圖2，編碼器14包含減法器22，其經組配以自入站信號(亦即圖像10或在區塊基礎上自當前區塊18)減去對應的預測信號24以便獲得預測殘差信號26，該預測殘差信號接著由預測殘差編碼器28編碼成資料串流12。預測殘差編碼器28由有損編碼級28a及無損編碼級28b構成。有損級28a接收預測殘差信號26且包含量化器30，該量化器量化預測殘差信號26之樣本。如上文已經提及，本發明實例使用預測殘差信號26之變換寫碼，且因此有損編碼級28a包含連接於減法器22與量化器30之間的變換級32以便變換此經頻譜分解之預測殘差26，其中量化器30之量化關於呈現殘差信號26之經變換係數進行。該變換可為DCT、DST、FFT、哈達馬德(Hadamard)變換等等。經變換且經量化預測殘差信號34接著藉由無損編碼級28b進行無損寫碼，該無損編碼級為將經量化預測殘差信號34熵寫碼成資料串流12之熵寫碼器。編碼器14進一步包含預測殘差信號重建級36，其連接至量化器30之輸出以便以亦可用在解碼器處之方式自經變換且經量化預測殘差信號34重建預測殘差信號，亦即考慮寫碼損失為量化器30。為此目的，預測殘差重建級36包含反量化器38，其執行量化器30之量化之逆，接著包含反變換器40，其相對於由變換器32執行之變換執行反變換，諸如頻譜分解之逆，諸如以上提及之具體變換實例中之任一者之逆。編碼器14包含加法器42，其添加由反變換器40輸出之經重建預測殘差信號及預測信號24以便輸出經重建信號，亦即經重建樣本。此輸出經饋送至編碼器14之預測器44中，該預測器接著基於其判定預測信號24。預測器44支援上文已經關於圖1所論述的所有預測模式。圖2亦說明在編碼器14為視訊編碼器之狀況下，編碼器14亦可包含迴路內濾波器46，其對經重建圖像進行完全濾波，該等經重建圖像在已經濾波之後關於經框間預測區塊形成用於預測器44之參考圖像。

如上文已提及，編碼器14基於區塊操作。對於後續描述，所關注之區塊基礎為將圖像10細分成區塊之基礎，針對該等區塊而自分別由預測器44或編碼器14支援之一組或多個框內預測模式當中選擇框內預測模式，且個別地執行所選擇的框內預測模式。然而，亦可存在將圖像10細分成其他類別的區塊。舉例而言，無論圖像10經框間寫碼抑或經框內寫碼，以上提及之決策均可以粒度或以自區塊18偏離之區塊之單位來進行。舉例而言，框間/框內模式決策可以圖像10細分成之寫碼區塊之級別來執行，且每一寫碼區塊細分成預測區塊。具有已經決定使用框內預測之編碼區塊之預測區塊各自細分成框內預測模式決策。為此，對於此等預測區塊中之每一者，決定各別預測區塊應使用哪一經支援框內預測模式。此等預測區塊將形成此處感興趣之區塊18。與框間預測相關聯之寫碼區塊內的預測區塊將由預測器44以不同方式處理。該等預測區塊將藉由判定運動向量且自參考圖片中由運動向量指向之位置複製用於此區塊之預測信號而自參考圖像經框間預測。另一區塊細分關於細分成變換區塊，在該等變換區塊之單元處，藉由變換器32及反向變換器40執行變換。經變換區塊可例如為進一步細分寫碼區塊之結果。當然，本文中所闡述之實例不應被視為限制性的，且亦存在其他實例。僅出於完整性起見，應注意，細分成寫碼區塊可例如使用多樹細分，且預測區塊及/或變換區塊亦可藉由使用多樹細分進一步細分寫碼區塊而獲得。

圖3中描繪適合圖1之編碼器14之用於逐區塊解碼之解碼器54或設備。此解碼器54與編碼器14之行為相反，亦即其以逐區塊方式自資料串流12解碼圖像10且為此目的支援多個框內預測模式。舉例而言，解碼器54可包含殘差提供器156。上文關於圖1所論述的所有其他可能性對於解碼器54亦有效。為此，解碼器54可為靜止圖像解碼器或視訊解碼器且所有預測模式及預測可能性亦由解碼器54支援。編碼器14與解碼器54之間的差異主要在於編碼器14根據某一最佳化選擇寫碼決策例如以便最小化可取決於寫碼速率及/或寫碼失真之某一成本函數之事實。此等寫碼選項或寫碼參數中之一者可涉及可用或經支援框內預測模式當中之待用於當前區塊18之一系列框內預測模式。選定的框內預測模式接著可在資料串流12內由編碼器14用信號通知給當前區塊18，其中解碼器54使用用於區塊18之資料串流12中之此傳信重新進行選擇。同樣地，圖像10細分成區塊18可在編碼器14內進行最佳化，且對應的細分資訊可在資料串流12內傳送，其中解碼器54基於細分資訊恢復將圖像10細分成區塊18。綜上所述，解碼器54可為在區塊基礎上進行操作之預測性解碼器，且除框內預測模式之外，解碼器54可支援其他預測模式，諸如在例如解碼器54為視訊解碼器之狀況下之框間預測模式。在解碼時，解碼器54亦可使用關於圖1論述的寫碼次序20，且因為編碼器14及解碼器54均遵守此寫碼次序20，所以相同相鄰樣本可用於編碼器14及解碼器54處之當前區塊18。因此，為了避免不必要的重複，就圖像10細分成區塊而言，例如就預測而言及就預測殘差之寫碼而言，編碼器14之操作模式之描述亦應適用於解碼器54。差異在於以下事實：編碼器14藉由最佳化選擇一些寫碼選項或寫碼參數，且在資料串流12內用信號發送寫碼參數或將寫碼參數插入至資料串流12中，該等寫碼參數接著藉由解碼器54自資料串流12導出以便重新進行預測、細分等等。

圖4展示圖3之解碼器54之可能實施，亦即適合圖1之編碼器14之實施的實施，如圖2中所展示。由於圖4之編碼器54的許多元件與圖2之對應編碼器中出現的彼等元件相同，因此在圖4中使用具備撇號之相同參考符號以便指示此等元件。詳言之，加法器42'、任選的迴路內濾波器46'及預測器44'以與其在圖2之編碼器中相同的方式連接至預測迴路中。應用於加法器42'之經重建，亦即經去量化及經再變換預測殘差信號藉由以下各者之序列導出：熵解碼器56，其反向轉換熵編碼器28b之熵編碼；接著為殘差信號重建級36'，其由反量化器38'及反變換器40'構成，正好與編碼側之狀況相同。解碼器之輸出為圖像10之重建。圖像10之重建可直接在加法器42'之輸出處或替代地在迴路內濾波器46'之輸出處獲得。一些後置濾波器可配置在解碼器之輸出處以便使圖像10之重建進行一些後置濾波，以便改良圖像品質，但圖4中並未描繪此選項。

再次，關於圖4，上面關於圖2提出之描述對於圖4亦應有效，除了僅編碼器執行最佳化任務及關於寫碼選項之相關聯決策之外。然而，關於區塊細分、預測、反量化及再變換的所有描述對於圖4之解碼器54亦有效。 3. 仿射線性經加權框內預測器(ALWIP)

特此論述關於ALWIP之一些非限制性實例，即使ALWIP並非一直必須體現此處論述的技術。

本申請案尤其涉及用於逐區塊圖像寫碼之經改良的以區塊為基礎之預測模式概念，該概念諸如可用在諸如HEVC或HEVC之任何後續者的視訊編解碼器中。預測模式可為框內預測模式，但理論上本文中所描述的概念亦可傳送至框間預測模式上，其中參考樣本為另一圖像之一部分。

尋求以區塊為基礎之預測概念，其允許諸如硬體友好實施之高效實施。

此目標係藉由本申請案之獨立技術方案的主題來達成。

框內預測模式廣泛地用於圖像及視訊寫碼中。在視訊寫碼中，框內預測模式與其他預測模式競爭，諸如框間預測模式，諸如運動補償預測模式。在框內預測模式中，基於相鄰樣本預測當前區塊，該等相鄰樣本亦即就編碼器側而言已經編碼且就解碼器側而言已經解碼之樣本。相鄰樣本值經外推至當前區塊中以便形成用於當前區塊之預測信號，其中預測殘差在用於當前區塊之資料串流中傳輸。預測信號越佳，則預測殘差越低，且相應地必需較低數目的位元以對預測殘差進行寫碼。

為了有效，應考慮若干態樣以便在逐區塊圖像寫碼環境中形成用於框內預測之有效框架。舉例而言，由編解碼器支援之框內預測模式之數目越大，則旁側資訊速率消耗越大，以便將選擇用信號通知給解碼器。另一方面，所支援之框內預測模式之集合應能夠提供良好預測信號，亦即導致低預測殘差之預測信號。

在下文中，揭示-作為比較實施例或基礎實例-用於自資料串流逐區塊解碼圖像之設備(編碼器或解碼器)，該設備支援至少一個框內預測模式，根據該框內預測模式，藉由將鄰近當前區塊之樣本的第一範本應用至仿射線性預測器上來判定用於圖像之預定大小之區塊的框內預測信號，該仿射線性預測器在該sequel中應被稱作仿射線性經加權框內預測器(ALWIP)。該設備可具有以下屬性中之至少一者(其可適用於例如實施於非暫時性儲存單元中之方法或另一技術，該非暫時性儲存單元儲存在由處理器執行時使該處理器實施該方法及/或用作該設備之指令)： 3.1 預測器可與其他預測器互補

可形成下文進一步描述在實施改良之主題的框內預測模式可與編解碼器的其他框內預測模式互補。因此，該等框內預測模式可與在HEVC編碼解碼器中，相應地在JEM參考軟體中定義之DC預測模式、平面預測模式及角度預測模式互補。框內預測模式之後三種類型今後應被稱作習知框內預測模式。因此，對於框內模式中之給定區塊，旗標需要由解碼器解析，從而指示將使用抑或不使用該設備支援之框內預測模式中之一者。 3.2 多於一個所提議的預測模式

該設備可含有多於一個ALWIP模式。因此，在解碼器已知將使用該設備所支援之ALWIP模式中之一者之狀況下，該解碼器需要解析額外資訊，該額外資訊指示將使用該設備所支援之ALWIP模式中之哪一ALWIP模式。

所支援模式之發信可具有如下屬性：一些ALWIP模式之寫碼可能需要比其他ALWIP模式少之位元子。此等模式中之哪些模式需要較少位元子且哪些模式需要較多位元子可取決於可自已解碼之位元串流提取的資訊，或可預先固定。 4. 一些態 樣

圖2展示用於自資料串流12解碼圖像之解碼器54。解碼器54可經組配以解碼圖像之預定區塊18。詳言之，預測器44可經組配以使用線性或仿射線性變換[例如，ALWIP]將與預定區塊18相鄰之P個相鄰樣本之集合映射至預定區塊之樣本的Q個預測值之集合上。

如圖5中所展示，預定區塊18包含待預測之Q個值(在操作結束時，其將為「預測值」)。若區塊18具有M列及N行，則Q=M▪N。區塊18之Q個值可在空間域(例如，像素)中或在變換域(例如，DCT，離散小波變換等)中。可基於自一般鄰近於區塊18之相鄰區塊17a至17c獲取的P個值來預測區塊18之Q個值。相鄰區塊17a至17c之P個值可在最接近(例如，鄰近)區塊18之位置中。相鄰區塊17a至17c之P個值已被處理及預測。P個值係指示為部分17'a至17'c中之值，以區分該等部分與其作為一部分(在一些實例中，不使用17'b)之區塊。

如圖6中所展示，為了執行預測，有可能與具有P個條目(每一條目係與相鄰部分17'a至17'c中之特定位置相關聯)之第一向量17P、具有Q個條目(每一條目係與區塊18中之特定位置相關聯)之第二向量18Q及映射矩陣17M (每一列係與區塊18中之特定位置相關聯，每一行係與相鄰部分17'a至17'c中之特定位置相關聯)一起操作。因此，映射矩陣17M根據預定模式執行將相鄰部分17'a至17'c之P個值預測成區塊18之值。映射矩陣17M中之條目可因此理解為加權因子。在以下段落中，吾人將使用符號17a至17c代替17'a至17'c來指代邊界之相鄰部分。

在此項技術中，已知若干習知模式，諸如DC模式、平面模式及65個方向性預測模式。可能已知例如67種模式。

然而，已注意到，亦有可能利用不同模式，其在此處被稱作線性或仿射線性變換。線性或仿射線性變換包含P▪Q個加權因子，在該等加權因子當中，至少¼ P▪Q個加權因子係非零加權值，其針對Q個經預測值中之每一者，包含與各別經預測值有關之一系列P個加權因子。當在預定區塊之樣本當中根據光柵掃描次序而一個接一個地配置時，該系列形成全向非線性之包絡。

有可能映射相鄰值17'a至17'c(範本)之P個位置、相鄰樣本17'a至17'c之Q個位置，且在矩陣17M之P*Q個加權因子之值處進行映射。平面為用於DC變換之系列的包絡之實例(其為用於DC變換之平面)。包絡明顯為平面的，且因此被線性或仿射線性變換(ALWIP)之定義所排除。另一實例為產生角度模式之仿真的矩陣：包絡將自ALWIP定義排除，且坦言之，將看起來像沿著P/Q平面中之方向自上而下傾斜之山丘。平面模式及65種方向預測模式將具有不同包絡，然而，其將在至少一個方向上為線性的，亦即例如用於經例示DC之所有方向及例如用於角度模式之山丘方向。

相反，線性或仿射變換之包絡將並非全向線性的。已理解，在一些情形中，此種變換對於執行區塊18之預測可為最佳的。已注意，較佳地，加權因子之至少¼不同於零(亦即，P*Q個加權因子中之至少25%不同於0)。

根據任何常規的映射規則，該等加權因子可能彼此不相關。因此，矩陣17M可使得其條目之值不具有明顯可辨識之關係。舉例而言，加權因子無法由任何分析或差分函數描述。

在實例中，ALWIP變換使得有關於各別經預測值之第一系列加權因子與有關於除各別經預測值以外之經預測值的第二系列加權因子或後一系列之反轉版本-無論何者導致較高最大值-之間的交叉相關之最大值之均值可低於預定臨限值(例如，0.2或0.3或0.35或0.1，例如，在0.05與0.035之間的範圍內之臨限值)。舉例而言，對於ALWIP矩陣17M之每一對列(i ₁，i ₂)，可藉由將第i ₁列之P個值乘以第i ₂列之P個值來計算交叉相關。對於每一經獲得交叉相關，可獲得最大值。因此，可針對整個矩陣17M獲得均值(平均值) (亦即，平均化所有組合中之交叉相關的最大值)。此後，臨限值可為例如0.2或0.3或0.35或0.1，例如，在0.05與0.035之間的範圍內的臨限值。

區塊17a至17c之P個相鄰樣本可沿著一維路徑定位，該一維路徑沿著預定區塊18之邊界(例如，18c，18a)延伸。對於預定區塊18之Q個經預測值中之每一者，有關於各別經預測值之P個加權因子之系列可以在預定方向(例如，自左至右，自上至於等) 上遍歷一維路徑之方式排序。

在實例中，ALWIP矩陣17M可為非對角或非區塊對角的。

用於自4個已預測之相鄰樣本來預測4×4區塊18的ALWIP矩陣17M之實例可為： { { 37, 59, 77, 28}, { 32, 92, 85, 25}, { 31, 69, 100, 24}, { 33, 36, 106, 29}, { 24, 49, 104, 48}, { 24, 21, 94, 59}, { 29, 0, 80, 72}, { 35, 2, 66, 84}, { 32, 13, 35, 99}, { 39, 11, 34, 103}, { 45, 21, 34, 106}, { 51, 24, 40, 105}, { 50, 28, 43, 101}, { 56, 32, 49, 101}, { 61, 31, 53, 102}, { 61, 32, 54, 100} }。

(此處，{ 37, 59, 77, 28}為矩陣17M之第一列；{ 32, 92, 85, 25}為第二列；且{ 61, 32, 54, 100}為第16列。)矩陣17M具有尺寸16×4，且包括64個加權因子(由於16*4=64)。此係因為矩陣17M具有尺寸Q×P，其中Q=M*N，其為待預測之區塊18的樣本數目(區塊18為4×4區塊)，且P為已預測樣本之樣本數目。此處，M=4，N=4，Q=16 (由於M*N=4*4=16)，P=4。該矩陣為非對角及非區塊對角的，且不由特定規則描述。

如可看出，少於¼的加權因子係0 (在上文所展示之矩陣之狀況下，六十四個當中之一個加權因子為零)。當根據光柵掃描次序一個接一個地配置時，由此等值形成之包絡形成全向非線性之包絡。

即使主要參考解碼器(例如，解碼器54)論述以上解釋，但該解釋可在編碼器(例如，編碼器14)處執行。

在一些實例中，對於每一區塊大小(在區塊大小之集合中)，用於各別區塊大小之框內預測模式之第二集合內的框內預測模式之ALWIP變換為相互不同的。另外或替代地，用於區塊大小之集合中之區塊大小的框內預測模式之第二集合之基數可一致，但用於不同區塊大小之框內預測模式之第二集合內的框內預測模式之相關聯之線性或仿射線性變換不可藉由按比例調整來彼此轉換。

在一些實例中，可定義ALWIP變換，其方式為使得其與習知變換「無共用部分」(例如，ALWIP變換可能與對應習知變換「無」共用部分，即使該等變換已經由以上映射中之一者映射)。

在實例中，ALWIP模式用於亮度分量及色度分量二者，但在其他實例中，ALWIP模式用於亮度分量但不用於色度分量。 5. 具有編碼器加速之仿射線性經加權框內預測模式( 例如，測試CE3-1.2.1) 5.1 方法或設備之描述

在CE3-1.2.1中測試之仿射線性經加權框內預測(ALWIP)模式可與在測試CE3-2.2.2下在JVET-L0199中提議之模式相同，除了以下改變以外： ●與多個參考線(MRL)框內預測(尤其編碼器估計及傳信)之協調，亦即MRL不與ALWIP組合且傳輸MRL索引經限於非ALWIP區塊。 ●現在必須對所有W×H≥32×32的區塊進行次取樣(以前對於32×32係任選的)；因此，已刪除了編碼器處之發送次取樣旗標之額外測試。 ●藉由分別減少取樣至32×N及N×32並應用對應的ALWIP模式，已添加了用於64×N及N×64區塊(其中N≤32)的ALWIP。

此外，測試CE3-1.2.1包括用於ALWIP之以下編碼器最佳化： ●經組合模式估計：習知及ALWIP模式使用用於全部RD估計之共用哈達馬德候選者清單，亦即ALWIP模式候選者基於哈達馬德成本添加至與習知(及MRL)模式候選者相同的清單。 ●針對經組合模式清單支援EMT框內快速及PB框內快速，其中額外最佳化用於縮減全部RD檢查之數目。 ●按照與習知模式相同的方法，僅將可用的左側及上方區塊的MPM添加至該清單，以進行ALWIP的完整RD估計。 5.2 複雜性評估

在測試CE3-1.2.1中，不包括調用離散餘弦變換的計算，每個樣本最多需要12個乘法才能生成預測信號。此外，總共需要136492個參數，每一參數16個位元。此對應於0.273百萬位元組的內存。 5.3 實驗結果

根據共同測試條件JVET-J1010 [2]對具有VTM軟體3.0.1版本的僅框內(AI)及隨機存取(RA)組配執行測試評估。在具有Linux OS及GCC 7.2.1編譯器的Intel Xeon集群(E5-2697A v4，AVX2打開，英特爾睿頻加速技術(turbo boost)關閉)上進行了對應的模擬。 表1. 用於VTM AI 組配之CE3-1.2.1 的結果

	Y	U	V	編碼時間	解碼時間
類別A1	-2,08%	-1,68%	-1,60%	155%	104%
類別A2	-1,18%	-0,90%	-0,84%	153%	103%
類別B	-1,18%	-0,84%	-0,83%	155%	104%
類別C	-0,94%	-0,63%	-0,76%	148%	106%
類別E	-1,71%	-1,28%	-1,21%	154%	106%
總計	-1,36%	-1,02%	-1,01%	153%	105%
類別D	-0,99%	-0,61%	-0,76%	145%	107%
類別F (任選的)	-1,38%	-1,23%	-1,04%	147%	104%

表2. 用於VTM RA 組配之CE3-1.2.1 的結果

	Y	U	V	編碼時間	解碼時間
類別A1	-1,25%	-1,80%	-1,95%	113%	100%
類別A2	-0,68%	-0,54%	-0,21%	111%	100%
類別B	-0,82%	-0,72%	-0,97%	113%	100%
類別C	-0,70%	-0,79%	-0,82%	113%	99%
類別E
總計	-0,85%	-0,92%	-0,98%	113%	100%
類別D	-0,65%	-1,06%	-0,51%	113%	102%
類別F (任選的)	-1,07%	-1,04%	-0,96%	117%	99%

5.4 複雜性降低之仿射線性經加權框內預測( 例如測試CE3- 1.2.2)

CE2中所測試之技術係關於JVET-L0199[1]中所描述之「仿射線性框內預測」，但就內存要求及計算複雜度而言簡化了該等預測： ●可僅存在三組不同的預測矩陣(例如S ₀，S ₁，S ₂，亦參見下文)及偏差向量(例如用於提供偏移值)覆蓋所有區塊形狀。因此，參數的數量縮減至14400個10位元值，此比在 CTU中儲存的內存要少。 ●預測器之輸入及輸出大小經進一步縮減。此外，代替經由DCT變換邊界，可對邊界樣本執行平均化或減少取樣，並且預測信號的生成可使用線性內插代替逆DCT。因此，為了生成預測信號，每個樣本最多可需要四個乘法。 6. 實例

此處論述如何運用ALWIP預測執行一些預測(例如，如圖6中所展示)。

原則上，參考圖6，為了獲得待預測的M×N區塊18之Q=M*N個值，應執行將Q×P ALWIP預測矩陣17M的Q*P個樣本乘以P×1相鄰向量17P之P個樣本。因此，通常，為了獲得待預測的M×N區塊18的Q=M*N個值中之每一者，至少需要P=M+N值乘法。

此等乘法具有極非所需的效應。邊界向量17P之尺寸P通常取決於與待預測的M×N區塊18鄰近(例如，與之相鄰)的邊界樣本(位元子或像素)17a、17c的數量M+N。此意謂，若待預測的區塊18之大小較大，則邊界像素(17a，17c)的數量M+N相應地較大，因此增加了P×1邊界向量17P的尺寸P=M+N，及Q×P ALWIP預測矩陣17M的每一列的長度，以及相應地，亦增加必需的乘數之數量(一般而言，Q=M*N=W*H，其中寬度(W)係N之另一符號且高度(H)係M之另一符號；在邊界向量僅由一列和/或一行樣本形成之狀況下，P為P=M+N=H+W)。

通常，以下事實會加劇此問題：在基於微處理器之系統(或其他數位處理系統)中，乘法通常為消耗功率的運算。可想像，針對大量區塊的極大量樣本進行的大量乘法會導致計算功率之浪費，此通常為非所需的。

因此，較佳地，縮減預測M×N區塊18所必需的乘法之數量Q*P。

已理解，有可能藉由智慧型地選擇替代乘法並且更易於處理之運算，來在某種程度上縮減待預測的每一區塊18之每一框內預測所必需的計算功率。

詳言之，參考圖7.1至圖7.4，已理解，編碼器或解碼器可使用多個相鄰樣本(例如17a，17c)藉由以下操作來預測圖片的預定區塊(例如18)：縮減(例如在步驟811處) (例如藉由平均化或減少取樣)多個相鄰樣本(例如17a，17c)以獲得相較於多個相鄰樣本在樣本數目上較低之經縮減樣本值集合，對經縮減樣本值集合進行(例如在步驟812處)線性或仿射線性變換，以獲得預定區塊的預定樣本之經預測值。

在一些狀況下，解碼器或編碼器亦可例如藉由內插基於用於預定樣本及多個相鄰樣本之經預測值導出用於預定區塊之其他樣本的預測值。因此，可獲得增加取樣策略。

在實例中，有可能對邊界17之樣本執行(例如例如，在步驟811處)一些平均值，以便獲得具有經縮減樣本數目之經縮減樣本集合102 (圖7.1至圖7.4) (經縮減樣本數目102之樣本中之至少一者可為原始邊界樣本或一系列原始邊界樣本中之二個樣本的平均值)。舉例而言，若原始邊界具有P=M+N個樣本，則經縮減樣本集合可具有P _red=M _red+N _red，其中M _red＜M及N _red＜N中之至少一者，使得P _red＜P。因此，將實際上用於預測(例如在步驟812b處)之邊界向量17P將不具有P×1個條目但具有P _red×1個條目，其中P _red＜P。類似地，針對預測所選擇的ALWIP預測矩陣17M將不具有Q×P尺寸，但具有Q×P _red(或Q _red×P _red，參見下文)，其具有矩陣之經縮減數目個元素，至少因為P _red＜P (藉助於M _red＜M及N _red＜N中之至少一者)。

在一些實例中(例如圖7.2，圖7.3)，若藉由ALWIP獲得(在步驟812處)之區塊為具有大小 (其中及/或 )，則甚至有可能進一步縮減乘法之數目(亦即藉由ALWIP直接預測之樣本在數目上少於實際上經預測之區塊18的樣本)。因此，設定成，此將藉由使用Q _red*P _red乘法代替Q*P _red乘法(其中Q _red*P _red＜ Q*P _red＜Q*P)而獲得ALWIP預測。此乘法將預測經縮減區塊，其中尺寸。儘管如此，將有可能執行(例如在後續步驟813處)自經縮減之經預測區塊至最終的經M×N預測之區塊中的增加取樣(例如，藉由內插獲得)。

此等技術可為有利的，此係由於雖然矩陣乘法涉及經縮減的乘法數目(Q _red*P _red或Q*P _red)，但初始縮減(例如，平均化或減少取樣)及最終變換(例如內插)二者均可藉由縮減(或甚至避免)乘法來執行。舉例而言，減少取樣、平均化及/或內插可藉由採用計算上不需要功率的二進位運算(諸如加法及移位)來執行(例如在步驟811及/或813處)。

又，該加法係極容易的運算，其無需大量的計算工作即可容易地執行。

此移位運算可例如用於平均化二個邊界樣本及/或用於內插(或從邊界取得之)經縮減之經預測區塊的二個樣本(支援值)，以獲得最終的經預測區塊。(對於內插，必須有二個樣本值。在該區塊內，吾人一直具有二個預定值，但對於沿區塊的左邊界及上方邊界內插樣本，吾人僅具有一個預定值，如圖7.2中，因此吾人使用邊界樣本作為內插的支援值。)

可使用二步驟程序，諸如：首先對二個樣本之值求和；接著將總和的值減半(例如，藉由向右移位)。

替代地，有可能：首先將樣本中之每一者減半(例如，藉由向左移位)；接著對二個經減半樣本的值求和。

當減少取樣(例如，在步驟811處)時，可執行甚至更容易的操作，因為僅需要在樣本之群組(例如，彼此鄰近之樣本)中選擇一個樣本量。

因此，現在有可能界定用於縮減待執行之乘法的數目之技術。此等技術中之一些可尤其基於以下原理中之至少一者：即使實際上經預測之區塊18具有大小M×N，但可縮減區塊(在二維中之至少一者中)，且可應用具有經縮減大小Q _red×P _red之ALWIP矩陣(其中，P _red=N _red+M _red，其中及/或及/或M _red＜M 及/或N _red＜N)。因此，邊界向量17P將具有大小P _red×1，僅意指P _red＜P乘法 (其中P _red= M _red+ N _red且P=M+N)。 P _red×1邊界向量17P可自原始邊界17容易地獲得，例如：藉由減少取樣(例如藉由僅選擇邊界之一些樣本)；及/或藉由平均化邊界之多個樣本(該邊界可藉由加法及移位而不使用乘法之情況下容易地獲得)。另外或替代地，代替藉由乘法預測待預測之區塊18的所有Q=M*N值，有可能僅預測具有經縮減尺寸之經縮減區塊(例如，，其中及/或 )。將藉由內插例如使用Q _red樣本作為用於待預測之剩餘的Q-Q _red值之支援值來獲得待預測之區塊18的剩餘的樣本。

根據圖7.1中所說明之一實例，將預測4×4區塊18 (M=4，N=4，Q=M*N=16)，且已經在先前反覆下預測樣本17a (具有四個已經預測之樣本的豎直列行)及17c (具有四個已經預測之樣本的水平列)之鄰域17 (鄰域17a及17c可共同由17指示)。先驗地，藉由使用圖5中所展示之等式，預測矩陣17M應為Q×P=16×8矩陣(藉助於Q=M*N=4*4且P=M+N=4+4=8)，邊界向量17P應具有8×1尺寸(藉助於P=8)。然而，此將驅使對於待預測的4×4區塊18之16個樣本中之每一者執行8次乘法的必要性，因此導致總共需要執行16*8=128次乘法。(應注意，每個樣本之乘法之平均數量為計算複雜度之良好評估。對於習知框內預測，每個樣本需要四次乘法，且此增加待涉及之計算工作。因此，可使用此作為ALWIP之上限，將確保複雜性係合理的並且不超過習知框內預測之複雜性。)

儘管如此，已理解，藉由使用本發明技術，有可能在步驟811處將與待預測的區塊18相鄰的樣本17a及17c之數目自P縮減至P _red＜P。詳言之，已理解，有可能平均化(例如在圖7.1中之100處)彼此鄰近之邊界樣本(17a，17c)，以獲得具有二個水平列及二個豎直行之經縮減邊界102，因此2×2區塊用作區塊18 (經縮減邊界係藉由經平均化值形成)。替代地，有可能執行減少取樣，因此選擇用於列17c之二個樣本及用於行17a之二個樣本。因此，而非具有四個原始樣本之水平列17c經處理為具有二個樣本(例如經平均化樣本)，而最初具有四個樣本之豎直行17a經處理為具有二個樣本(例如經平均化樣本)。亦有可能理解，在細分每二個樣本的群組110中之列17c及行17a之後，維持單個樣本(例如，群組110之樣本的平均值或群組110之樣本當中的簡單選擇)。因此，藉助於僅具有四個樣本之集合102而獲得所謂的經縮減樣本值集合102 (M _red=2，N _red=2，P _red=M _red+N _red=4，其中P _red＜P)。

已理解，有可能執行操作(諸如平均化或減少取樣100)而無需在處理器層級下實行太多的乘法：在步驟811執行之平均化或減少取樣100可簡單地藉由直接的且計算上不消耗功率運算(諸如加法及移位)來獲得。

已理解，此時，可對經縮減樣本值集合102進行線性或仿射線性(ALWIP)變換19 (例如，使用諸如圖5的矩陣17M之預測矩陣)。在此狀況下，ALWIP變換19直接將四個樣本102映射至區塊18之樣本值104上。在當前狀況下，不需要內插。

在此狀況下，ALWIP矩陣17M具有尺Q×P _red=16×4：此遵循以下事實：待預測的區塊18之所有Q=16個樣本均藉由ALWIP乘法直接獲得(不需要內插)。

因此，在步驟812a處，選擇具有尺寸Q×Pred之合適的ALWIP矩陣17M。該選擇可至少部分地基於例如自資料串流12之傳信。選定的ALWIP矩陣17M亦可運用A _k來指示，其中k可理解為索引，其可在資料串流12中用信號通知(在一些狀況下，該矩陣亦指示為，參見下文)。該選擇可根據以下方案執行：對於每一尺寸(例如，待預測之區塊18的高度/寬度配對)，在例如矩陣之三個集合S ₀、S ₁、S ₂中之一者當中選擇ALWIP矩陣17M (三個集合S ₀、S ₁、S ₂中之每一者可對具有相同尺寸之多個ALWIP矩陣17M進行分組，且待針對預測選擇的ALWIP矩陣將為其中之一者)。

在步驟812b處，執行選定的Q×P _redALWIP矩陣17M (亦經指示為A _k)與P _red×1邊界向量17P之間的乘法。

在步驟812c處，可將偏移值(例如，b _k)添加至例如藉由ALWIP獲得之向量18Q的所有經獲得值104。偏移之值(b _k或在一些狀況下亦運用指示，參見下文)可與特定的選定ALWIP矩陣(A _k)相關聯，且可基於索引(例如，其可在資料串流12中用信號通知)。

因此，此處恢復使用本發明技術與不使用本發明技術之間的比較：在不具有本發明技術之情況下：待預測之區塊18，該區塊具有尺寸M=4，N=4；待預測之Q=M*N=4*4=16個值； P=M+N=4+4=8邊界樣本用於待預測之Q=16個值中之每一者的P=8乘法 P*Q=8*16=128乘法之一總數目；在本發明技術之情況下，吾人具有：待預測之區塊18，該區塊具有尺寸M=4，N=4；待結束時預測之Q=M*N=4*4=16個值；邊界向量之經縮減尺寸：P _red=M _red+N _red=2+2=4；用於待藉由ALWIP預測之Q=16個值中之每一者的P _red=4乘法， P _red*Q=4*16=64乘法之一總數目(128的一半!) 乘法之數目與待獲得之最終值的數目之間的比率為P _red*Q/Q=4，亦即用於每一待預測的樣本之P=8個乘法的不到一半！

如可理解，藉由依賴於諸如平均化(且，假使，加法及/或移位及/或減少取樣)的直接且計算上不需要功率的運算，有可能在步驟812處獲得適當的值。

參考圖7.2，待預測之區塊18此處為64個樣本之8×8區塊(M=8，N=8)。此處，先驗地，預測矩陣17M應具有大小Q×P=64×16 (Q=64，藉助於Q=M*N=8*8=64，M=8且N=8並且藉助於P=M+N=8+8=16)。因此，先驗地，將需要用於待預測之8×8區塊18之Q=64個樣本中之每一者的P=16次乘法，以得到用於整個8×8區塊18之64*16=1024次乘法。

然而，如圖7.2中可見，可提供方法820，根據該方法，代替使用邊界之所有16個樣本，僅使用8個值(例如，邊界之原始樣本之間的水平邊界列17c中之4及豎直邊界行17a中之4)。自邊界列17c，可使用4個樣本代替8個樣本(例如，4個樣本可為二乘二之平均值及/或自二個樣本選擇一個樣本)。因此，邊界向量並非P×1=16×1向量，而僅為P _red×1=8×1向量(P _red=M _red+N _red=4+4)。已理解，有可能選擇或平均化(例如，二乘二)水平列17c之樣本及豎直行17a之樣本以僅具有P _red=8個邊界值，而非原始的P=16個樣本，從而形成經縮減樣本值集合102。此經縮減集合102將准許獲得區塊18之經縮減版本，經縮減版本具有Q _red=M _red*N _red=4*4=16個樣本(而非Q=M*N=8*8=64)。有可能應用ALWIP矩陣以用於預測具有大小M _red×N _red=4×4之區塊。區塊18之經縮減版本包括在圖7.2之方案106中運用灰色指示之樣本：運用灰色正方形指示之樣本(包括樣本118'及118'')形成4×4經縮減區塊，其具有在進行步驟812獲得之Q _red=16個值。藉由在進行步驟812時應用線性變換19而獲得4×4經縮減區塊。在獲得4×4經縮減區塊之值之後，有可能例如藉由內插獲得剩餘的樣本(在方案106中運用白色樣本指示之樣本)之值。

關於圖7.1之方法810，此方法820可另外包括例如藉由內插導出用於待預測之M×N=8×8區塊18的剩餘的Q-Q _red=64-16=48個樣本(白色正方形)之預測值的步驟813。剩餘的Q-Q _red=64-16=48個樣本可藉由內插自Q _red=16個直接獲得之樣本獲得(該內插亦可利用例如邊界樣本之值)。如圖7.2中可見，雖然在步驟812處已經獲得樣本118'及118'' (如由灰色正方形指示)，但樣本108' (在樣本118'與118''中間且運用白色正方形指示)在步驟813處藉由樣本118'與118''之間的內插獲得。已理解，內插亦可藉由類似於用於平均化的運算(諸如，移位及加法)之運算來獲得。因此，在圖7.2中，通常可將值108'判定為樣本118'的值與樣本118''的值之間的中間值(其可為平均值)。

藉由執行內插，在步驟813處，亦有可能基於在104中指示之多個樣本值而得到M×N=8×8區塊18之最終版本。

因此，使用本發明技術與不使用本發明技術之間的比較係：在不具有本發明技術之情況下：待預測之區塊18，該區塊具有尺寸M=8，N=8，及區塊18中之待預測之Q=M*N=8*8=64個樣本；邊界17中之P=M+N=8+8=16個樣本；用於待預測之Q=64個值中之每一者的P=16次乘法， P*Q=16*64=1028次乘法之一總數目乘法之數目與待獲得之最終值之數目之間的比率係P*Q/Q=16 在具有本發明技術之情況下：待預測之區塊18，其具有尺寸M=8，N=8 待結束時預測之Q=M*N=8*8=64個值；僅待使用之Q _red×P _redALWIP矩陣，其中P _red=M _red+N _red，Q _red= M _red*N _red，M _red=4，N _red=4 邊界中之P _red=M _red+N _red=4+4=8個樣本，其中P _red＜P 用於待預測之4×4經縮減區塊(在方案106中由灰色正方形形成)之Q _red=16個值中之每一者的P _red=8次乘法， P _red*Q _red=8*16=128次乘法之一總數目(比1024小得多!) 乘法之數目與待獲得之最終值之數目之間的比率係P _red*Q _red/Q=128/64=2 (比在不具有本發明技術之情況下獲得之16小得多)。

因此，特此呈現之技術對功率之需求比前一個技術少8倍。

圖7.3展示另一實例(其可基於方法820)，其中待預測之區塊18為矩形4×8區塊(M=8，N=4)，其具有待預測之Q=4*8=32個樣本。邊界17係藉由具有N=8個樣本之水平列17c及具有M=4個樣本之豎直行17a形成。因此，先驗地，邊界向量17P將具有尺寸P×1=12×1，而預測ALWIP矩陣應為Q×P=32×12矩陣，因此使得需要Q*P=32*12=384次乘法。

然而，有可能例如平均化或較少取樣水平列17c之至少8個樣本，以獲得僅具有4個樣本(例如，經平均化樣本)之經縮減水平列。在一些實例中，豎直行17a將保持原樣(例如不進行平均化)。總而言之，經縮減邊界將具有尺寸P _red=8，其中P _red＜P。因此，邊界向量17P將具有尺寸P _red×1=8×1。ALWIP預測矩陣17M將為具有尺寸M*N _red*P _red=4*4*8=64之矩陣。直接在進行步驟812時獲得之4×4經縮減區塊(在方案107中藉由灰色行形成)將具有大小Q _red=M*N _red=4*4=16個樣本(而非待預測之原始4×8區塊18的Q=4*8=32)。一旦藉由ALWIP獲得經縮減4×4區塊，則有可能在步驟813處添加偏移值b _k(步驟812c)且執行內插。如可在圖7.3中之步驟813處看出，經縮減4×4區塊擴增至4×8區塊18，其中未在步驟812處獲得之值108'藉由內插在步驟812處獲得之值118'及118'' (灰色正方形)而在步驟813處獲得。

因此，使用本發明技術與不使用本發明技術之間的比較係：在不具有本發明技術之情況下：待預測之區塊18，該區塊具有尺寸M=4，N=8 待預測之Q=M*N=4*8=32個值；邊界中之P=M+N=4+8=12個樣本；用於待預測之Q=32個值中之每一者的P=12次乘法， P*Q=12*32=384次之一總數目乘法之數目與待獲得之最終值之數目之間的比率係P*Q/Q=12 在具有本發明技術之情況下：待預測之區塊18，該區塊具有尺寸M=4，N=8 待結束時預測之Q=M*N=4*8=32個值；但可使用Q _red×P _red=16×8ALWIP矩陣，其中M=4，N _red=4，Q _red=M*N _red=16，P _red=M+N _red=4+4=8 邊界中之P _red=M+N _red=4+4=8個樣本，其中P _red＜P 用於待預測之經縮減區塊之Q _red=16個值中之每一者的P _red=8次乘法， Q _red*P _red=16*8=128次乘法之之一總數目(小於384!) 乘法之數目與待獲得之最終值之數目之間的比率係P _red*Q _red/Q=128/32=4 (比在不具有本發明技術之情況下獲得之12小得多)。

因此，在具有本發明技術之情況下，計算工作經縮減至三分之一。

圖7.4展示待預測之具有尺寸M×N=16×16且待在結束時預測之具有Q=M*N=16*16=256個值的區塊18之狀況，該區塊具有P=M+N=16+16=32個邊界樣本。此將產生具有尺寸Q×P=256×32之預測矩陣，其將暗示256*32=8192次乘法!

然而，藉由應用方法820，有可能在步驟811處(例如藉由平均化或減少取樣)將邊界樣本之數目例如自32縮減至8：例如，對於列17a之四個連續樣本的每一群組120，仍存在單個樣本(例如，選自四個樣本，或樣本的平均值)。亦對於行17c之四個連續樣本的每一群組，仍存在單個樣本(例如，選自四個樣本，或樣本之平均值)。

此處，ALWIP矩陣17M為Q _red×P _red=64×8矩陣：此係由於選擇了P _red=8 (藉由使用來自邊界之32個樣本之8個經平均化或選定的樣本)之事實及待在步驟812處預測之經縮減區塊為8×8區塊(在方案109中，灰色正方形係64)之事實。

因此，一旦在步驟812處獲得經縮減8×8區塊之64個樣本，則有可能在步驟813處導出待預測之區塊18的剩餘的Q-Q _red=256-64=192個值104。

在此狀況下，為了執行內插，已經選擇使用邊界行17a之所有樣本及邊界列17c中之僅替代的樣本。可進行其他選擇。

在具有本發明方法時，乘法之數目與最終經獲得值之數目之間的比率係Q _red*P _red/Q=8*64/256=2，其比在不具有本發明技術之情況下用於每一值之32次乘法小得多。

使用本發明技術與不使用本發明技術之間的比較係：在不具有本發明技術之情況下：待預測之區塊18，該區塊具有尺寸M=16，N=16 待預測之Q=M*N=16*16=256個值；邊界中之P=M+N=16*16=32個樣本；用於待預測之Q=256個值中之每一者的P=32次乘法， P*Q=32*256=8192次乘法之一總數目；乘法之數目與待獲得之最終值之數目之間的比率係P*Q/Q=32 在具有本發明技術之情況下：待預測之區塊18，該區塊具有尺寸M=16，N=16 待結束時預測之Q=M*N=16*16=256個值；僅待使用之Q _red×P _red=64×8 ALWIP矩陣，其中M _red=4， N _red=4，待藉由ALWIP預測之Q _red=8*8=64個樣本，P _red=M _red+N _red=4+4=8 邊界中之P _red=M _red+N _red=4+4=8個樣本，其中P _red＜P 用於待預測之經縮減區塊之Q _red=64個值中之每一者的P _red=8次乘法， Q _red*P _red=64*4=256次乘法之一總數目(少於8192!) 乘法之數目與待獲得之最終值之數目之間的比率係PP _red*Q _red/Q=8*64/256=2 (比在不具有本發明技術之情況下獲得之32小得多)。

因此，本發明技術所需之計算功率比傳統技術少16倍。

因此，有可能使用多個相鄰樣本(17)藉由以下操作預測圖像之預定區塊(18)：縮減(100，813)多個相鄰樣本以獲得相較於多個相鄰樣本(17)在樣本數目上較低之經縮減樣本值集合(102)，使經縮減樣本值集合(102)進行(812)線性或仿射線性變換(19，17M)以獲得用於預定區塊(18)之預定樣本(104，118'，188'')之經預測值。

詳言之，有可能藉由減少取樣多個相鄰樣本以獲得相較於多個相鄰樣本(17)在樣本數目上較低之經縮減樣本值集合(102)來執行縮減(100，813)。

替代地，有可能藉由平均化多個相鄰樣本以獲得相較於多個相鄰樣本(17)在樣本數目上較低之經縮減樣本值集合(102)來執行縮減(100，813)。

此外，有可能藉由內插基於用於預定樣本(104，118'，118'')及多個相鄰樣本(17)之經預測值來導出(813)用於預定區塊(18)之其他樣本(108，108')的預測值。

多個相鄰樣本(17a，17c)可沿著預定區塊(18)的二個側面(例如圖7.1至圖7.4中朝向右邊及朝向下方)在一維上擴展。預定樣本(例如藉由ALWIP在步驟812中獲得之樣本)亦可以列及行配置，且沿著列及行中之至少一者，預定樣本可定位於自預定樣本112之毗鄰預定區塊18的二個側面之樣本(112)開始的每一第n位置處。

基於多個相鄰樣本(17)，有可能針對列及行中之至少一者中的每一者判定用於多個相鄰位置中之一者(118)的支援值(118)，該支援值與列及行中之至少一者中之各別者對準。亦有可能藉由內插基於用於預定樣本(104，118'，118'')之經預測值及用於相鄰樣本(118)之與列及行中之至少一者對準的支援值導出用於預定區塊(18)之其他樣本(108，108')之預測值118。

預定樣本(104)可沿著列定位於自毗連預定區塊18之二個側面的樣本(112)開始的每一第n位置處，且預定樣本沿著行定位於自毗連預定區塊(18)之二個側面的預定樣本(112)的樣本(112)開始之每一第m位置處，其中n、m＞1。在一些狀況下，n=m (例如，在圖7.2及圖7.3中，其中直接藉由ALWIP在812處獲得且運用灰色正方形指示之樣本104、118'、118''沿著列及行交替至隨後在步驟813處獲得之樣本108、108')。

沿著列(17c)及行(17a)中之至少一者，可能例如藉由針對每一支援值減少取樣或平均化(122)多個相鄰樣本內之相鄰樣本的群組(120)來執行判定支援值，該群組包括判定各別支援值所針對之相鄰樣本(118)。因此，在圖7.4中，在步驟813處，有可能藉由使用預定樣本118''' (先前在步驟812處獲得)及相鄰樣本118之值作為支援值來獲得樣本119的值。

多個相鄰樣本可沿著預定區塊(18)的二個側面在一維上擴展。可能藉由將多個相鄰樣本(17)分組成一或多個連續相鄰樣本之群組(110)且對一或多個相鄰樣本之群組(110)中之每一者執行減少取樣或平均化來執行縮減(811)，該群組具有二個或多於二個相鄰樣本。

在實例中，線性或仿射線性變換可包含P _red*Q _red或P _red*Q加權因子，其中P _red係經縮減樣本值集合內之樣本值(102)的數目，且Q _red或Q為預定區塊(18)內之預定樣本的數目。至少¼ P _red*Q _red或 ¼ P _red*Q加權因子係非零加權值。P _red*Q _red或P _red*Q加權因子可針對Q或Q _red預定樣本中之每一者包含關於各別預定樣本之一系列P _red加權因子，其中該等系列在根據光柵掃描次序在預定區塊(18)之預定樣本當中一個配置在另一個下方時形成全向非線性之包絡。P _red*Q或P _red*Q _red加權因子可經由任何普通的映射規則而彼此不相關。關於各別預定樣本之第一系列的加權因子與關於除各別預定樣本之外的預定樣本之第二系列的加權因子或後一系列的反向版本之間的交叉相關之最大值(不論任何內容產生較高最大值)的均值低於預定臨限值。預定臨限值可0.3[或在一些狀況下0.2或0.1]。P _red相鄰樣本(17)可沿著一維路徑(其沿著預定區塊(18)之二個側面延伸)定位，且對於Q或Q _red預定樣本中之每一者，關於各別預定樣本之該等系列之P _red加權因子以在預定方向上遍歷一維路徑之方式排序。 6.1 方法及設備之描述

為了預測具有寬度 (亦運用N指示)及高度 (亦運用M指示)之矩形區塊的樣本，仿射線性經加權框內預測(ALWIP)可將一行在區塊左邊之H經重建相鄰邊界樣本及一行區塊上方之經重建相鄰邊界樣本作為輸入。若經重建樣本不可用，則如在習知框內預測中進行來生成該等經重建樣本。

生成預測信號(例如，用於完整的區塊18之值)可基於以下三個步驟中之至少一些： 1.在邊界樣本17中，樣本102 (例如，在W=H=4之狀況下的四個樣本及/或在其他狀況下的八個樣本)可藉由平均化或減少取樣而獲取(例如，步驟811)。 2.可運用作為輸入之經平均化樣本(或自減少取樣剩餘的樣本)來實行矩陣向量乘法，之後為偏移之相加。該結果可為關於原始區塊中之經次取樣樣本集的經縮減預測信號(例如，步驟812)。 3.可例如藉由增加取樣自關於經次取樣集合之預測信號例如藉由線性內插生成剩餘的位置處之預測信號(例如，步驟813)。

由於步驟1. (811)及/或3. (813)，在計算矩陣向量乘積時所需之乘法之總數目可使得該數目一直小於或等於。此外，僅藉由使用加法及位元移位來實行對邊界之平均化操作及經縮減預測信號之線性內插。換言之，在實例中，ALWIP模式至多需要每個樣本四次乘法。

在一些實例中，生成預測信號所需之矩陣(例如，17M)及偏移向量(例如，b _k)可取自矩陣集合(例如，三個集合)，例如，、，該等集合例如儲存在解碼器及編碼器之儲存單元中。

在一些實例中，該集合可包含 (例如， =16 或 =18或另一數目)矩陣 {0, … ,n0-1}(例如，由其組成)，該等矩陣中之每一者可具有16列及4行以及各自具有大小16之18個偏移向量 {0, … , n0-1}，以根據圖7.1執行該技術。此集合之矩陣及偏移向量係用於具有大小4×4之區塊18。一旦邊界向量已經縮減至P _red=4向量(對於圖7.1之步驟811)，則有可能將經縮減樣本集合102之P _red=4樣本直接映射至待預測之4×4區塊18的Q=16樣本中。

在一些實例中，集合可包含n1 (例如， =8或 =18或另一數目)矩陣 {0,…,n1-1} (例如，由其組成)，該等矩陣中之每一者可具有16列及8行以及各自具有大小16之18個偏移向量 {0,…,n1-1}，以根據圖7.2或圖7.3執行該技術。此集合S ₁之矩陣及偏移向量可用於具有大小4×8、4×16、4×32、4×64、16×4、32×4、64×4、8×4及8×8之區塊。另外，其亦可用於用於具有大小 (其中 )之區塊，亦即用於具有大小4×16或16×4、4×32或32×4及4x×64或64×4之區塊。16×8矩陣係指區塊18 (其為4×4區塊)之經縮減版本，如在圖7.2及圖7.3中所獲得。

另外或替代地，該集合可包含n2 (例如， =6 或 =18或另一數目)矩陣 {0, … ,n2-1}(例如，由其組成)，該等矩陣中之每一者可具有64列及8行以及具有大小64之18個偏移向量 {0, … ,n2-1}。64×8矩陣係指區塊18 (其為8×8區塊)之經縮減版本，例如如在圖7.4中獲得。此集合之矩陣及偏移向量可用於具有大小8×16、8×32、8×64、16×8、16×16、16×32、16×64、32×8、32×16、32×32、32×64、64×8、64×16、64×32、64×64之區塊。

彼集合之矩陣及偏移向量或此等矩陣及偏移向量之部分可用於所有其他區塊形狀。 6.2 邊界之平均化或減少取樣

此處，提供關於步驟811之特徵。

如上文所解釋，邊界樣本(17a，17c)可經平均化及/或減少取樣(例如，自P個樣本至P _red＜P個樣本)。

在第一步驟中，輸入邊界 (例如，17c)及 (例如，17a)可經縮減至較小邊界及以得到經縮減集合102。此處，在4×4區塊之狀況下，及由2個樣本組成，且在其他狀況下，二者均由4個樣本組成。

在4×4區塊之狀況下，有可能界定，並且類似地界定。因此，、、 [1]係例如使用位元移位運算獲得之平均值。

在所有其他狀況下(例如，對於具有不同於4之寬度或高度之區塊)，若區塊寬度W經給定為 W ，則對於，吾人界定 . 且類似地界定。

在又其他狀況下，有可能減少取樣邊界(例如，藉由自邊界樣本之群組選擇一個特定邊界樣本)以得到經縮減樣本數目。舉例而言，可在及當中選擇，且可在及當中選擇。亦有可能類似地界定。

二個經縮減邊界及可級聯至經縮減邊界向量 (與經縮減集合102相關聯) (亦運用17P指示)。經縮減邊界向量因此可具有用於形狀4×4之區塊的大小四(P _red=4) (圖7.1之實例)及具有用於所有其他形狀之區塊的大小八(P _red=8) (圖7.2至圖7.4之實例)。

此處，若 (或矩陣集合中之矩陣之數目)，則有可能界定

若 (其對應於之經轉置的模式)，則有可能界定

因此，根據特定狀態( )，有可能沿著不同掃描次序(例如，一個掃描次序：；另一掃描次序： )分配輸出向量之經預測值。

可實行其他策略。在其他實例中，模式索引「模式」不必在0至35之範圍(可界定其他範圍)內。此外，不必三個集合S ₀、S ₁、S ₂中之每一者具有18個矩陣(因此，代替如模式≥18之表達， ₀ , ₁ , ₂ 係可能的，該等模式分別為每一矩陣集合S ₀、S ₁、S ₂之矩陣的數目)。此外，該等集合可各自具有不同數目個矩陣(例如，S ₀可具有16個矩陣、S ₁可具有八個矩陣，且S ₂可具有六個矩陣)。

模式及經轉置資訊未必作為一個經組合模式索引「模式」來儲存及/或傳輸：在一些實例中，有可能作為經轉置旗標及矩陣索引(用於S ₀之0 -15、用於S ₁之0-7及用於S ₂之0-5)明確地傳信。

在一些狀況下，經轉置旗標及矩陣索引之組合可經解譯為經設置索引。舉例而言，可存在作為經轉置旗標操作之一個位元及指示矩陣索引之一些位元，該等位元共同經指示為「經設置索引」。 6.3 藉由矩陣向量乘法生成經縮減預測信號

此處，提供關於步驟812之特徵。

在經縮減輸入向量 (邊界向量17P)中，吾人可生成經縮減預測信號。後一信號可為關於具有寬度及高度之經減少取樣之區塊的信號。此處，及可經界定為：；若或者，。

可藉由計算矩陣向量乘積及添加偏移來計算經縮減預測信號：。

此處，為矩陣(例如，預測矩陣17M)，其可具有列及4行(若W=H=4，且在所有其他狀況下為8行)，且為可具有大小之向量。

若，則A可具有4行及16列且因此在彼狀況下可需要每個樣本4次乘法以計算。在所有其他狀況下，A可具有8行，且無人可證實在此等狀況下，吾人具有，亦即亦在此等狀況下，至多需要每個樣本4次乘法以計算。

矩陣A及向量𝑏可如下取自集合、中之一者。吾人藉由在W=H=4之情況下設置、在之情況下設置為在所有狀況下設置，吾人界定索引。此外，吾人在之情況下吾人可使則使。接著，若或且，則吾人可使且。在 =2且之狀況下，吾人使為矩陣，其藉由捨棄每一列而產生，該每一列在W=4之狀況下對應於經減少取樣區塊中之奇數x座標或在H=4之狀況下對應於經減少取樣區塊中之奇數y座標。若，則吾人藉由經縮減預測信號之經轉置信號來代替該經縮減預測信號。在替代性實例中，可實行不同策略。舉例而言，，代替縮減較大矩陣之大小(「捨棄」)，使用較小矩陣S ₁(idx=1)，其中W _red=4且H _red=4。亦即，現在將此類區塊指派給S ₁而非S ₂。

可實行其他策略。在其他實例中，模式索引「模式」不必在0至35之範圍內(可界定其他範圍)。此外，不必三個集合S ₀、S ₁、S ₂中之每一者具有18個矩陣(因此，代替如之表達， ₀ , ₁ , ₂ 係可能的，該等模式分別為每一矩陣集合S ₀、S ₁、S ₂之矩陣的數目)。此外，該等集合可各自具有不同數目個矩陣(例如，S ₀可具有16個矩陣、S ₁可具有八個矩陣，且S ₂可具有六個矩陣)。 6.4 用以生成最終預測信號之線性內插

此處，提供關於步驟812之特徵。

關於較大區塊之經次取樣預測信號之內插，可能需要經平均化邊界之第二版本。亦即，若且，則吾人撰寫 W ，且對於，界定。

若且，則吾人類似地界定。

另外或替代地，有可能具有「硬減少取樣」，其中等於

又，可類似地界定。

在生成時捨棄之樣本位置處，最終預測信號可藉由線性內插自出現(例如，圖7.2至圖7.4之實例中之步驟813)。在一些實例中，若，則此線性內插可為不必要的(例如，圖7.1之實例)。

線性內插可如下給定(儘管如此，其他實例係可能的)。假設。接著，若，則可執行之豎直增加取樣。在彼狀況下，可如下擴展一行至頂部。若，則可具有寬度且可藉由經平均化邊界信號擴展至頂部，例如如上文所界定。若，則具有寬度，且其藉由經平均化邊界信號擴展至頂部，例如如上文所界定。吾人可針對第一行寫入。接著，關於具有寬度及高度之區塊的信號可給定為 [x][2*y+1] = [x][y]， [x][2*y] = [x][y-1] + [x][y] + 1)＞＞1，其中且後一程序可實行k次，直至2 ^k H _red=H為止。因此，若 H 或 H ，則其至多可實行一次。若 H ，則其可實行二次。若 H ，則其可實行三次。接下來，水平增加取樣運算可應用於豎直增加取樣之結果。後一增加取樣運算可使用預測信號左邊的全部邊界。最終，若，則吾人可藉由首先在水平方向上(必要時)且接著在豎直方向上增加取樣而類似地繼續進行。

此係使用用於第一內插(水平地或豎直地)之經縮減邊界樣本及用於第二內插(豎直地或水平地)之原始邊界樣本進行內插之實例。取決於區塊大小，僅需要第二內插或不需要內插。若需要水平及豎直內插，則該次序取決於區塊之寬度及高度。

然而，可實施不同技術：例如，原始邊界樣本可用於第一及第二內插，且該次序可為固定的，例如首先水平接著豎直(在其他狀況下，首先豎直接著水平)。

因此，經縮減/原始邊界樣本之內插次序(水平/豎直)及使用可變化。 6.5 整個ALWIP 程序之實例的說明

針對圖7.1至圖7.4中之不同形狀說明平均化、矩陣向量乘法及線性內插之整個程序。注意，剩餘的形狀經視為所描繪狀況中之一者。

1.給定4×4區塊，ALWIP可藉由使用圖7.1的技術而採用沿著邊界之每一軸線的二個平均值。所得四個輸入樣本進入矩陣向量乘法。矩陣係取自集合。在添加偏移之後，此可產生16個最終預測樣本。線性內插不必生成預測信號。因此，每個樣本執行總共 ( 次乘法。參見例如圖7.1。

2.給定8×8區塊，ALWIP可採用沿著邊界之每一軸線的四個平均值。所得八個輸入樣本藉由使用圖7.2的技術進入矩陣向量乘法。矩陣係取自集合。此會在預測區塊之奇數位置上產生16個樣本。因此，每個樣本執行總共 ( 次乘法。在添加偏移之後，可例如藉由使用頂部邊界豎直地及例如藉由使用左邊邊界水平地內插此等樣本。參見例如圖7.2。

3.給定8×4區塊，ALWIP可藉由使用圖7.3的技術而採用沿著邊界之水平軸線的四個平均值及在左邊邊界上之四個原始邊界值。所得八個輸入樣本進入矩陣向量乘法。矩陣係取自集合。此會在預測區塊之奇數水平位置及每一豎直位置上產生16個樣本。因此，每個樣本執行總共 ( 次乘法。在添加偏移之後，例如藉由使用左邊邊界水平地內插此等樣本。參見例如圖7.3。

相應地處理經轉置狀況。

4.給定16×16區塊，ALWIP可採用沿著邊界之每一軸線的四個平均值。所得八個輸入樣本藉由使用圖7.2的技術進入矩陣向量乘法。矩陣係取自集合。此會在預測區塊之奇數位置上產生64個樣本。因此，每個樣本執行總共 ( 次乘法。在添加偏移之後，例如，藉由使用頂部邊界豎直地及藉由使用左邊邊界水平地內插此等樣本。參見例如圖7.2。參見例如圖7.4。

對於較大形狀，該程序可基本上相同，且容易檢查每個樣本之乘法之數目小於二。

對於 W×8區塊，僅水平內插係必需的，因為在奇數水平及每一豎直位置處給定樣本。因此，在此等狀況下，每個樣本至多執行 ( 次乘法。

最終對於 W×4區塊(其中 W＞8)，使為藉由捨棄對應於沿著經減少取樣區塊之水平軸線的奇數條目之每一列而出現的矩陣。因此，該輸出大小可為32並且再次，僅水平內插仍待執行。每個樣本可至多執行 ( 次乘法。

可相應地處理經轉置狀況。 6.6 所需參數之數目及複雜性評估

針對所有可能的經提議框內預測模式所需之參數可由屬於集合、之矩陣及偏移向量包含。所有矩陣係數及偏移向量可儲存為10位元值。因此，根據以上描述，經提議方法可需要14400個參數之一總數目，每一參數之精確度為10位元。此對應於0,018百萬位元組的內存。指出，當前，標準4:2:0色度次取樣中之具有大小128×128之CTU由24576個值組成，每一值為10位元。因此，經提議框內預測工具之內存要求不超過在上一次會議上採用之當前圖像參考工具之內存要求。又，指出，由於PDPC工具或具有分數角度位置之角預測模式的4抽頭內插濾波器，習知框內預測模式需要每個樣本四次乘法。因此，就可操作複雜性而言，經提議方法不超過習知框內預測模式。 6.7 經提議框內預測模式之傳信

對於明度區塊，例如提議35個ALWIP模式(可使用其他數目個模式)。對於框內模式中之每一寫碼單元(CU)，在位元串流中發送指示是否在對應的預測單元(PU)上應用ALWIP模式。後一索引之傳信可以與第一CE測試相同之方式與MRL協調。若應用ALWIP模式，則ALWIP模式之索引可使用具有3個MPM之MPM清單來傳信。

此處，可如下使用上方及左邊PU之框內模式來執行MPM之導出。可存在表格，例如三個固定表格 , ，其可經指派給每一習知框內預測模式、ALWIP模式

對於具有寬度及高度之每一PU，吾人界定並且索引其指示從三個集合中之哪一者獲取ALWIP參數，如以上章節4中所述。若以上預測單元係可用的、屬與當前PU相同的CTU並且處於框內模式、若且若在具有ALWIP模式之上應用ALWIP，則吾人使得

若以上PU係可用的，則其屬與當前PU相同的CTU且處於框內模式，且若在以上PU上應用習知框內預測模式，則吾人使

在所有其他狀況下，吾人使此意謂此模式係不可用的。以相同方式但不限制左邊PU需要屬於與當前PU相同的CTU，吾人導出模式

最終，提供三個固定預設清單 , ，該等清單中之每一者含有三個不同ALWIP模式。在預設清單及模式及當中，吾人藉由預設值替換-1以及去除重複來建構三個不同的MPM。

本文中所描述之實施例不受經提議框內預測模式之上文所描述的傳信限制。根據替代性實施例，無MPM及/或映射表用於MIP (ALWIP)。 6.8 用於習知明度及色度框內預測模式之經調適MPM 清單導出

經提議ALWIP模式可如下與習知框內預測模式之基於MPM之寫碼協調。用於習知框內預測模式之明度及色度MPM清單導出程序可使用固定的表格，，從而將給定PU上之ALWIP模式映射至習知框內預測模式中之一者。

對於明度MPM清單導出，每當遇到使用ALWIP模式之相鄰明度區塊時，此區塊可經視為如同其正使用習知框內預測模式。對於色度MPM清單導出，每當當前明度區塊使用LWIP模式時，相同映射可用於將ALWIP模式轉變為習知框內預測模式。

清楚的是，亦可在不使用MPM及/或映射表之情況下將ALWIP模式與習知框內預測模式相協調。舉例而言，可能對於色度區塊，每當當前明度區塊使用ALWIP模式時，ALWIP模式經映射至平面框內預測模式。 7. 實施有效實施例

簡要地概述以上實例，因為其可能在下文形成用於進一步擴展本文中所描述的實施例之基礎。

為了預測圖像10之預定區塊18，在使用多個相鄰樣本之情況下，使用17a、17c。

藉由平均化縮減100多個相鄰樣本已經進行以獲得相較於多個相鄰樣本在樣本數目上較低之經縮減樣本值集合102。此縮減在本文中之實施例中係任選的，且會產生在下文中提及之所謂的樣本值向量。經縮減樣本值集合進行線性或仿射線性變換19以獲得用於預定區塊之預定樣本104的經預測值。此變換稍後使用矩陣A及偏移向量b指示並且應為效地預先形成之實施，該矩陣A及偏移向量b已經藉由機器學習(ML)獲得。

藉由內插，基於用於預定樣本及多個相鄰樣本之經預測值導出用於預定區塊之其他樣本108之預測值。應該說，理論上，仿射/線性變換的結果可與區塊18之非全像素樣本位置相關聯，使得根據替代性實施例，可藉由內插獲得區塊18的所有樣本。亦根本不需要內插。

多個相鄰樣本可能沿著預定區塊之二個側面在一維上延伸，預定樣本以列及行且沿著列及行中之至少一者配置，其中預定樣本可定位於自預定樣本之毗鄰預定區塊之二個側面的樣本(112)開始之每一第n位置處。基於多個相鄰樣本，對於列及行中之至少一者中的每一者，可判定用於多個相鄰位置中之一者(118)的支援值，該支援值與列及行中之至少一者中之各別者對準，並且藉由內插，可基於用於預定樣本之經預測值及用於相鄰樣本之與列及行中之至少一者對準的支援值導出用於預定區塊之其他樣本108的預測值。預定樣本可沿著列定位於自預定樣本之毗連預定區塊之二個側面的樣本112開始之每一第n位置處，且預定樣本可沿著行定位於自預定樣本之毗連預定區塊之二個側面的樣本112開始之每一第m位置處，其中n,m＞1。可能n=m。沿著列及行中之至少一者，可藉由針對每一支援值平均化(122)多個相鄰樣本內包括判定各別支援值所針對之相鄰樣本118之相鄰樣本的群組120來判定該等支援值。多個相鄰樣本可沿著預定區塊之二個側面在一維上擴展，且藉由將多個相鄰樣本分組成一或多個連續相鄰樣本之群組110並且對具有多於二個相鄰樣本之一或多個相鄰樣本的群組中之每一者執行平均化而進行縮減。

對於預定區塊，可在資料串流中傳輸預測殘差。預測殘差可自解碼器處之資料串流導出，且預定區塊可使用用於預定樣本之預測殘差及經預測值來重建。在編碼器處，預測殘差經編碼成編碼器處之資料串流。

該圖像可細分成具有不同區塊大小之多個區塊，該多個區塊包含預定區塊。接著，可能取決於預定區塊之寬度W及高度H選擇用於區塊18之線性或仿射線性變換，使得在第一組線性或仿射線性變換當中選擇針對預定區塊選擇之線性或仿射線性變換，只要預定區塊之寬度W及高度H係在第一組寬度/高度配對及第二組線性或仿射線性變換內，只要預定區塊之寬度W及高度H係在不與第一組寬度/高度配對相交之第二組寬度/高度配對內。再次，隨後變得清楚的是，仿射/線性變換係藉助於參數(亦即C之權重，且任選地，偏移及尺度參數)表示。

解碼器及編碼器可經組配以：將圖像細分成具有不同區塊大小之多個區塊，其包含預定區塊；及取決於預定區塊之寬度W及高度H選擇線性或仿射線性變換，使得在以下各者當中選擇針對預定區塊選擇之線性或仿射線性變換第一組線性或仿射線性變換，只要預定區塊之寬度W及高度H係在第一組寬度/高度配對內，第二組線性或仿射線性變換，只要預定區塊之寬度W及高度H係在不與第一組寬度/高度配對相交之第二組寬度/高度配對內，及第三組線性或仿射線性變換，只要預定區塊之寬度W及高度H係在不與第一組及第二組寬度/高度配對相交之第三組一或多個寬度/高度配對內。

第三組一或多個寬度/高度配對僅僅包含一個寬度/高度配對W'、H'，且第一組線性或仿射線性變換內之每一線性或仿射線性變換係用於將N'樣本值變換為用於W'×H'樣本位置陣列之W'*H'經預測值。

第一及第二組寬度/高度配對中之每一者可包含W _p不等於H _p之第一寬度/高度配對W _p、H _p，及H _q=W _p且W _q=H _p之第二寬度/高度配對W _q、H _q。

第一及第二組寬度/高度配對中之每一者可另外包含W _p等於H _p且H _p＞H _q之第三寬度/高度配對W _p、H _p。

對於預定區塊，經設置索引可在資料串流中式傳輸，該資料串流指示針對區塊18在一組預定線性或仿射線性變換當中選擇哪一線性或仿射線性變換。

多個相鄰樣本可沿著預定區塊的二個側面在一維上擴展，且可藉由針對鄰接預定區塊之第一側面的多個相鄰樣本之第一子集將第一子集分組成一或多個連續相鄰樣本之第一群組110及針對鄰接預定區塊之第二側面的多個相鄰樣本之第二子集將第二子集分組成一或多個連續相鄰樣本之第二群組110及對具有多於二個相鄰樣本之一或多個相鄰樣本的第一及第二群組中之每一者執行平均化而進行縮減，以便自第一群組獲得第一樣本值及獲得用於第二群組之第二樣本值。接著，可取決於經設置索引而在一組預定線性或仿射線性變換當中選擇線性或仿射線性變換，使得經設置索引之二個不同狀態導致選擇線性或仿射線性變換之預定集合中之線性或仿射線性變換中之一者，在經設置索引採用呈第一向量之形式的二個不同狀態中之第一狀態之狀況下，經縮減樣本值集合可進行預定線性或仿射線性變換以產生經預測值的輸出向量，並且沿著第一掃描次序將輸出向量之經預測值分配至預定區塊之預定樣本上，且在經設置索引採用呈第二向量之形式的二個不同狀態中之第二狀態之狀況下，第一及第二向量不同，使得由第一向量中之第一樣本值中之一者填充之分量係由第二向量中之第二樣本值中之一者填充，並且由第一向量中之第二樣本值中之一者填充之分量係由第二向量中之第一樣品值中之一者填充，以便產生經預測值之輸出向量，並且沿著第二掃描次序將輸出向量之經預測值分配至預定區塊之預定樣本上，該預定區塊相對於第一掃描次序轉置。

第一組線性或仿射線性變換內之每一線性或仿射線性變換可用於針對樣本位置之w ₁×h ₁陣列將N ₁樣本值變換為w ₁*h ₁經預測值，且第一組線性或仿射線性變換內之每一線性或仿射線性變換係用於針對樣本位置之w ₂×h ₂陣列將N ₂樣本值變換為w ₂*h ₂經預測值，其中對於第一組寬度/高度配對中之第一預定寬度/高度配對，w ₁可超過第一預定寬度/高度配對之寬度或h ₁可超過第一預定寬度/高度配對之高度，並且對於第一組寬度/高度配對中之第二預定寬度/高度配對，w ₁無法超過第二預定寬度/高度配對之寬度，h ₁亦無法超過第二預定寬度/高度配對之高度。接著可藉由平均化縮減(100)多個相鄰樣本以獲得經縮減樣本值集合(102)，使得在預定區塊具有第一預定寬度/高度配對之情況下且在預定區塊具有第二預定寬度/高度配對之情況下經縮減樣本值集合102具有N ₁個樣本值，且在預定區塊具有第一預定寬度/高度配對之情況下可在w ₁超過一個寬度/高度配對之寬度之情況下沿著寬度尺寸或在h ₁超過一個寬度/高度配對之高度之情況下沿著高度尺寸藉由僅使用與樣本位置之w1×h1陣列的次取樣有關之選定的線性或仿射線性變換之第一子部分來使經縮減樣本值集合進行選定的線性或仿射線性變換，且在預定區塊具有第二預定寬度/高度配對之情況下使經縮減樣本值集合徹底地進行選定的線性或仿射線性變換。

第一組線性或仿射線性變換內之每一線性或仿射線性變換可用於針對w ₁=h ₁之樣本位置的w ₁×h ₁陣列將N ₁個樣本值變換為w ₁*h ₁個經預測值，且第二組線性或仿射線性變換內之每一線性或仿射線性變換係用於針對w ₂=h ₂之樣本位置的w ₂×h ₂陣列將N ₂個樣本值變換為w ₂*h ₂個經預測值。

所有上文所描述之實施例僅僅為說明性的，因為其可在下文形成用於本文中所描述的實施例之基礎。亦即，以上概念及細節應用以理解以下實施例並且應在下文充當本文中所描述的實施例之可能擴展及修正之儲庫。詳言之，許多上文所描述之細節係任選的，諸如相鄰樣本之平均化、相鄰樣本用作參考樣本之事實等等。

更一般而言，本文中所描述之實施例假設自已經重建之樣本生成關於矩形區塊之預測信號，諸如自區塊左邊及上方之相鄰的已經重建之樣本生成關於矩形區塊之框內預測信號。預測信號之生成係基於以下步驟。 1.在被稱作邊界樣本之參考樣本中，但不排除將描述轉移至定位在別處之參考樣本，可藉由平均化來獲取樣本。此處，針對區塊左邊及上方之邊界樣本或僅針對二個側面中之一者上之邊界樣本來實行平均化。若在側面上不實行平均化，則彼側面上之樣本保持不變。 2.實行矩陣向量乘法，任選地之後為添加偏移，其中矩陣向量乘法之輸入向量為在僅在左側應用平均化之情況下之區塊左邊的經平均化邊界樣本與區塊上方之原始邊界樣本的級聯，或在僅在以上側面上應用平均化之情況下之區塊左邊之原始邊界樣本與區塊上方之經平均化邊界樣本之級聯或在僅在區塊之二側上應用平均化之情況下區塊左邊之經平均化邊界樣本與區塊上方之經平均化邊界樣本的級聯。再次，將存在替代方案，諸如完全不使用平均化之替代方案。 3.矩陣向量乘法及任選的偏移加法之結果可任選地為關於原始區塊中之經次取樣樣本集之經縮減預測信號。剩餘的位置處之預測信號可藉由線性內插自關於經次取樣集合之預測信號生成。

步驟2中之矩陣向量乘積之計算應較佳地以整數算術來實行。因此，若指代用於矩陣向量乘積之輸入，亦即指代區塊左邊及上方之(經平均化)邊界樣本之級聯，則在當中，應僅使用位元移位、偏移向量之相加及整數乘法來計算在步驟2中計算之(經縮減)預測信號。理想地，步驟2中之預測信號將經給定為，其中為可為零之偏移向量且其中藉由某一基於機器學習之訓練演算法導出。然而，此訓練演算法通常僅產生以浮點精確度給定之矩陣。因此，吾人面臨在前述意義上指定整數運算使得表達式使用此等整數運算經很好地近似之問題。此處，重要的是提及，不必選擇此等整數運算使得其近似假設向量之均勻分佈的表達式但通常考慮到表達式將近似之輸入向量為來自自然視訊信號之(經平均化)邊界樣本，其中吾人可預期之分量之間的一些相關性。

圖8展示用於使用多個參考樣本17預測圖像10之預定區塊18的設備1000之實施例。多個參考樣本17可取決於由設備1000使用以預測預定區塊18之預測模式。若預測模式為例如框內預測，則可使用鄰近預定區塊之參考樣本17 ₁。換言之，多個參考樣本17例如沿著預定區塊18之外部邊緣配置於圖像10內。若預測模式為例如框間預測，則可使用另一圖像10'當中之參考樣本17 ₂。

該設備1000經組配以自多個參考樣本17形成100樣本值向量400。樣本值向量可藉由不同技術獲得。樣本值向量可例如包含所有參考樣本17。任選地，該等參考樣本可經加權。根據另一實例，可如關於圖7.1至圖7.4中之一者針對樣本值向量102所描述而形成樣本值向量400。換言之，樣本值向量400可藉由平均化或減少取樣而形成。因此，例如，參考樣本之群組可經平均化以獲得具有經縮減值集合之樣本值向量400。換言之，該設備例如經組配以藉由針對樣本值向量400之每一分量採用多個參考樣本17中之一個參考樣本作為樣本值向量之各別分量及/或平均化樣本值向量400之二個或多於二個分量，亦即平均化多個參考樣本17之二個或多於二個參考樣本以獲得樣本值向量400之各別分量而自多個參考樣本17形成100樣本值向量102。

該設備1000經組配以自樣本值向量400導出401另一向量402，樣本值向量400藉由預定可逆線性變換403經映射至該另一向量上。另一向量402僅包含例如整數及/或定點值。舉例而言，選擇可逆線性變換403使得藉由整數算術或定點算術執行預定區塊18之樣本的預測。

此外，該設備1000經組配以計算另一向量402與預定預測矩陣405之間的矩陣向量乘積404以便獲得預測向量406，並且基於預測向量406預測預定區塊18之樣本。基於有利的另一向量402，預定預測矩陣可經量化以使得能夠進行整數及/或定點運算，其中量化錯誤僅稍微影響預定區塊18之經預測樣本。

根據一實施例，該設備1000經組配以使用定點算術運算來計算矩陣向量乘積404。替代地，可使用整數運算。

根據一實施例，該設備1000經組配以在不使用浮點算術運算之情況下計算矩陣向量乘積404。

根據一實施例，該設備1000經組配以儲存預定預測矩陣405之定點數表示。另外或替代地，可儲存預定預測矩陣405之整數表示。

根據一實施例，該設備1000經組配以在基於預測向量406預測預定區塊18之樣本時使用內插以基於預測向量406來計算預定區塊18之至少一個樣本位置，該預測向量406之每一分量係與預定區塊18內之對應位置相關聯。可如關於圖7.1至圖7.4中所展示之實施例中之一者所描述來執行內插。

圖9展示本文中所描述之發明的想法。可基於藉由某一基於機器學習之訓練演算法導出之矩陣A 1100與樣本值向量400之間的第一矩陣向量乘積來預測預定區塊之樣本。任選地，可添加偏移b 1110。為了實現此第一矩陣向量乘積之整數近似或定點近似，樣本值向量可進行可逆線性變換403以判定另一向量402。另一矩陣B 1200與另一向量402之間的第二矩陣向量乘積可等於第一矩陣向量乘積之結果。

由於另一向量402之特徵，第二矩陣向量乘積可為藉由預定預測矩陣C 405與另一向量402加上另一偏移408之間的矩陣向量乘積404近似之整數。另一向量402及另一偏移408可由整數或定點值組成。舉例而言，另一偏移之所有分量係相同的。預定預測矩陣405可為經量化矩陣或待量化之矩陣。預定預測矩陣405與另一向量402之間的矩陣向量乘積404之結果可理解為預測向量406。

在下文中，提供關於此整數近似之更多細節。 根據一實施例之可能解決方案I ：減去及加上平均值

可用於以上情境中之表達式之整數近似的一個可能併入為藉由之分量之平均值 (亦即預定值1400)來替換 (亦即樣本值向量400)之第分量，亦即預定分量1500及自所有其他分量減去此平均值。換言之，界定如圖10a中所展示之可逆線性變換403使得另一向量402之預定分量1500變成a，且另一向量402之其他分量中之每一者(除了預定分量1500之外)等於樣本值向量之對應的分量減去a，其中a為預定值1400，其例如為樣本值向量400之分量之平均值，諸如算術均值或經加權平均值。關於該輸入之此運算係藉由可逆變換 403給定，該可逆變換尤其在之尺寸為二之冪的情況下具有明顯的整數實施。

由於，因此若吾人對輸入進行此變換，則吾人必須找到矩陣向量乘積之積分近似，其中且。由於矩陣向量乘積表示關於矩形區塊(亦即預定區塊)之預測，且由於由彼區塊之(例如，經平均化)邊界樣本包含，因此吾人應預期在之所有樣本值相等之狀況下，亦即在針對所有，之情況下，預測信號中之每一樣本值應接近或確切地等於。此意謂，吾人應預期 (亦即另一矩陣1200)之第行，亦即對應於預定分量之行，極接近或等於僅由一組成之行。因此，若 )，亦即整數矩陣1300，為第行由一組成且所有其他行為零之矩陣，從而撰寫 )y及，則吾人應預期 (亦即預定預測矩陣405)之第行具有實際上較小條目或為零，如圖10b中所展示。此外，由於之分量相關，因此吾人可預期對於每一，之第i分量常常具有比x之第i分量小得多之絕對值。由於矩陣為整數矩陣，因此在給定之整數近似之情況下實現之整數近似，且藉由以上自變數，吾人可預期藉由以合適方式量化之每一條目而產生之量化錯誤應回應於而僅稍微影響之所得量化的錯誤。

預定值1400未必為平均值。表達式的本文中所描述之整數近似亦可運用預定值1400之以下替代的定義來實現：

在表達式之整數近似的另一可能併入中，之第分量保持不變且同一值係自所有其他分量減去。亦即，對於每一且。換言之，預定值1400可為樣本值向量400之對應於預定分量1500的分量。

替代地，預定值1400為預設值或以圖像經寫碼成之資料串流傳信的值。

預定值1400等於例如2 ^bitdepth-1。在此狀況下，另一向量402可由y ₀=2 ^bitdepth-1及y _i=x _i-x ₀界定，其中i＞0。

替代地，預定分量1500變為常數減去預定值1400。常數等於例如2 ^bitdepth-1。根據一實施例，另一向量y 402之預定分量 1500等於2 ^bitdepth-1減去樣本值向量400對應於預定分量1500之分量，且另一向量402之所有其他分量等於樣本值向量400之對應的分量減去樣本值向量400之對應於預定分量1500的分量。

舉例而言，預定值1400與預定區塊之樣本的預測值具有較小偏差係有利的。

根據一實施例，該設備1000經組配以包含多個可逆線性變換403，該等可逆線性變換中之每一者係與另一向量402之一個分量相關聯。此外，該設備例如經組配以自樣本值向量400之分量當中選擇預定分量1500並且使用多個可逆線性變換中之與預定分量1500相關聯之可逆線性變換403作為預定可逆線性變換。此係例如由於第i ₀列(亦即對應於預定分量之可逆線性變換403的列)之不同位置，此取決於另一向量402中之預定分量的位置。若例如另一向量402之第一分量，亦即y ₁，係預定分量，則第i _o列將替代可逆線性變換之第一列。

如圖10b中所展示，預定預測矩陣405之行412 (亦即第i ₀行)內之預測矩陣C 405的矩陣分量414 (其對應於另一向量402之預定分量1500)例如均為零。在此狀況下，該設備例如經組配以藉由計算捨棄行412而產生於預定預測矩陣C 405之經縮減預測矩陣C'405與捨棄預定分量1500而產生於另一向量402之又另一向量410之間的矩陣向量乘積407而執行乘法來計算矩陣向量乘積404，如圖10c中所展示。因此，預測向量406可運用較少乘法來計算。

如圖9、圖10b及圖10c中所展示，該設備1000可經組配以在基於預測向量406預測預定區塊之樣本時針對預測向量406之每一分量計算各別分量與a (亦即預定值1400)的總和。此求和可由預測向量406與向量409之總和表示，其中向量409之所有分量等於預定值1400，如圖9及圖10c中所展示。替代地，該求和可由預測向量406同整數矩陣M 1300與另一向量402之間的矩陣向量乘積1310的總和表示，如圖10b中所展示，其中整數矩陣1300之矩陣分量為整數矩陣1300之行內之1，亦即第i ₀行，該矩陣分量對應於另一向量402之預定分量1500，且所有其他分量例如為零。

預定預測矩陣405與整數矩陣1300之求和的結果等於或近似例如圖9中所展示之另一矩陣1200。

換言之，產生於將預定預測矩陣405之行412 (亦即第i ₀行)內之預定預測矩陣C 405之每一矩陣分量(其對應於另一向量402之預定分量1500)與一求和之矩陣(亦即矩陣B)，亦即另一矩陣B 1200，乘以可逆線性變換403，對應於例如機器學習預測矩陣A 1100之經量化版本，如圖9、圖10a及圖10b中所展示。第i ₀行412內之預定預測矩陣C 405之每一矩陣分量與一之求和可對應於預定預測矩陣405與整數矩陣1300之求和，如圖10b中所展示。如圖9中所展示，機器學習預測矩陣A 1100可等於另一矩陣1200乘以可逆線性變換403之結果。此係由於。預定預測矩陣405為例如經量化矩陣、整數矩陣及/或定點矩陣，藉此可實現機器學習預測矩陣A 1100之經量化版本。 僅使用整數運算之矩陣乘法

對於低複雜性實施(就加上及乘以純量值之複雜性而言，以及就所涉及矩陣之條目所需的儲存而言)，需要僅使用整數算術來執行矩陣乘法404。

為了計算之近似，亦即在僅使用整數運算之情況下，根據一實施例，實值必須映射至整數值。此可例如藉由均一的純量量化，或藉由考慮值之間的特定相關性來進行。整數值表示例如定點數，其可各自以固定數目的位元n_bit來儲存，例如n_bit=8。

接著可如同此偽程式碼中所展示來實行與具有大小m×n之矩陣(亦即預定預測矩陣405)之矩陣向量乘積404，其中＜＜, ＞＞係算術二進位左移位運算及右移位運算，且+、-及*僅對整數值進行運算。 (1)final_offset = 1 ＜＜ (right_shift_result - 1); for i in 0…m-1 { accumulator = 0 for j in 0…n-1 { accumulator: = accumulator + y[j]*C[i,j] } z[i] = (accumulator + final_offset) ＞＞ right_shift_result; }

此處，陣列C，亦即預定預測矩陣405，將定點數字儲存作為例如整數。final_offset之最終相加及right_shift_result之右移位運算藉由捨位降低精確度以獲得輸出處所需之定點格式。

為了允許可由C中之整數表示之實值的增加範圍，可使用二個額外矩陣及，如圖11及圖12之實施例中所展示，使得矩陣向量乘積中之的每一係數係由下式給定

值及自身為整數值。舉例而言，此等整數可表示定點數，其可各自以固定數目之位元(例如8個位元)或以例如相同數目的位元n_bit (其用於儲存值 )來儲存。

換言之，該設備1000經組配以使用預測參數(例如整數值以及值及 )表示預定預測矩陣405且藉由對另一向量402之分量及預測參數以及自其產生之中間結果執行乘法及求和而計算矩陣向量乘積404，其中預測參數之絕對值可由n位元定點數表示來表示，其中n等於或低於14，或替代地等於或低於10，或替代地等於或低於8。舉例而言，另一向量402之分量乘以預測參數以產生作為中間結果之乘積，其又進行求和或形成求和之加數。

根據一實施例，預測參數包含權重，其中之每一者係與預測矩陣之對應的矩陣分量相關聯。換言之，預定預測矩陣例如由預測參數替代或表示。該等權重例如為整數及/或定點值。

根據一實施例，預測參數進一步包含一或多個縮放因數，例如值縮放 _i,j，該一或多個縮放因數中之每一者係與用於縮放權重(例如整數值 )之預定預測矩陣405的一或多個對應的矩陣分量相關聯，該一或多個對應的矩陣分量與預定預測矩陣405之一或多個對應的矩陣分量相關聯。另外或替代地，預測參數包含一或多個偏移，例如值偏移 _i,j，其中之每一者係與使權重(例如整數值 )偏移之預定預測矩陣405之一或多個對應的矩陣分量相關聯，該一或多個對應的矩陣分量與預定預測矩陣405之一或多個對應的矩陣分量相關聯。

為了縮減及必需之儲存量，其值可經選擇成對於索引i、j之特定集合係恆定的。舉例而言，其條目對於每一行可為恆定的，且其對於每一列可為恆定的，或其對於所有i、j可為恆定的，如圖11中所展示。

舉例而言，在一個較佳實施例中，及對於一個預測模式之矩陣的所有值為恆定的，如圖12中所展示。因此，當存在K個預測模式時，其中k =0..K-1，僅需要單個值及單個值來計算用於模式k之預測。

根據一實施例，及/或對於所有基於矩陣之框內預測模式為恆定的，亦即相同的。另外或替代地，及/或對於所有區塊大小可能為恆定的，亦即相同的。

在偏移表示並且縮放表示之情況下，(1)中之計算可經修改成： (2)final_offset = 0; for i in 0…n-1 { final_offset: = final_offset - y[i]; } final_offset *= final_offset * offset * scale; final_offset += 1 ＜＜ (right_shift_result - 1); for i in 0…m-1 { accumulator = 0 for j in 0…n-1 { accumulator: = accumulator + y[j]*C[i,j] } z[i] = (accumulator*scale + final_offset) ＞＞ right_shift_result; } 由彼解決 方案產生之擴大實施例

以上解決方案意指以下實施例： 1.如在章節I中之預測方法，其中在章節I之步驟2中，以下係針對所涉及矩陣向量乘積之整數近似來進行：在(經平均化)邊界樣本中，對於之固定，計算向量，其中對於，，且其中，且其中指代𝑥之均值。向量接著充當用於矩陣向量乘積之輸入(矩陣向量之整數實現)使得來自章節I之步驟2之(經減少取樣)預測信號作為給定。在此等式中，指代等於之用於(經減少取樣)預測信號之域中的每一樣本位置的信號。(參見例如圖10b) 2.如在章節I中之預測方法，其中在章節I之步驟2中，以下係針對所涉及矩陣向量乘積之整數近似來進行：在(經平均化)邊界樣本中，對於之固定，計算向量，其中對於，且其中對於，且其中指代之均值。向量接著充當用於矩陣向量乘積之輸入(矩陣向量之整數實現)使得來自章節I之步驟2之(經減少取樣)預測信號作為給定。在此等式中，指代等於之用於(經減少取樣)預測信號之域中之每一樣本位置的信號。(參見例如圖10c) 3.如在章節I中之預測方法，其中藉由使用矩陣向量乘積中之係數來給定矩陣向量乘積之整數實現。(參見例如圖11) 4.如在章節I中之預測方法，其中步驟2使用K個矩陣中之一者，使得可計算多個預測模式，每一預測模式使用k=0…K-1之不同矩陣，其中藉由使用矩陣向量乘積中之係數來給定矩陣向量乘積之整數實現。(參見例如圖12)

亦即，根據本申請案之實施例，編碼器及解碼器如下操作以便預測圖像10之預定區塊18，參見圖9。為了預測，使用多個參考樣本。如上文所概述，本申請案之實施例將不限於框內寫碼並且因此，參考樣本將不限於鄰近樣本，亦即圖像10相鄰區塊18之樣本。詳言之，該等參考樣本將不限於沿著區塊18之外部邊緣配置的參考樣本，諸如鄰接區塊之外部邊緣的樣本。然而，此情形必然為本申請案之一個實施例。

為了執行預測，自諸如參考樣本17a及17c之參考樣本形成樣本值向量400。上文已經描述可能的形成。該形成可涉及平均化，進而相較於促成形成之參考樣本17縮減樣本102之數目或向量400之分量的數目。如上文所描述，該形成亦可在某種程度上取決於區塊18之尺寸或大小，諸如其寬度及高度。

此向量400應進行仿射或線性變換以便獲得區塊18之預測。上文已經使用不同命名。使用最近的一個命名，旨在藉由在執行偏移向量b之求和內藉助於矩陣向量乘積將向量400應用於矩陣A而執行預測。偏移向量b係任選的。A或A及B判定之仿射或線性變換可由編碼器及解碼器判定，或更確切而言，為基於區塊18之大小及尺寸的預測起見，來判定該仿射或線性變換，如上文已經描述。

然而，為了實現上文所概述之計算效率改良或就實施而言使預測更有效，該仿射或線性變換已經量化，且編碼器及解碼器或其預測器使用上文所提及之C及T以便表示及執行線性或仿射變換，其中以上文所描述的方式應用之C及T表示仿射變換之經量化版本。詳言之，代替將向量400直接應用於矩陣A，編碼器及解碼器中之預測器應用向量402，其藉助於經由預定可逆線性變換T將樣本值向量400進行映射而產生於該樣本值向量。只要向量400具有相同大小，則如此處所使用之變換T可能為相同的，亦即不取決於區塊之尺寸，亦即寬度及高度，或至少對於不同仿射/線性變換為相同的。在上文中，向量402已經標示為y。用以執行如藉由機器學習所判定之仿射/線性變換之確切矩陣將為B。然而，代替確切地執行B，編碼器及解碼器中之預測係藉助於其近似或經量化版本來進行。詳言之，該表示係經由以上文所概述之方式適當地表示C而進行，其中C + M表示B之經量化版本。

因此，進一步藉由計算向量402與以上文所描述的方式在編碼器及解碼器處適當地表示且儲存之預定預測矩陣C之間的矩陣向量乘積404來進行編碼器及解碼器中之預測。產生於此矩陣向量乘積之向量406接著用於預測區塊18之樣本104。如上文所描述，為預測起見，向量406之每一分量可與如在408處所指示之參數a進行求和，以便補償C之對應的定義。向量406與偏移向量b之任選的求和亦可涉及基於向量406導出區塊18之預測。如上文所描述，向量406之每一分量且因此向量406、在408處指示之所有a的向量及任選的向量b之求和的每一分量可直接對應於區塊18之樣本104，且因此，指示樣本之經預測值。亦可以彼方式僅預測區塊之樣本104之子集並且亦可藉由內插導出區塊18之剩餘的樣本，諸如108。

如上文所描述，設置a存在不同實施例。舉例而言，其可為向量400之分量的算術均值。對於彼狀況，參見圖10。可逆線性變換T可如圖10中所指示。i ₀分別為樣本值向量及向量402之預定分量，其由a替代。然而，亦如上文所指示，存在其他可能性。然而，就C之表示而言，上文亦已指示C可以不同方式體現。舉例而言，矩陣向量乘積404可在其實際計算中以具有較低維度之較小矩陣向量乘積的實際計算結束。詳言之，如上文所指示，由於C的定義，C的整個第i ₀行412可變為0，使得可藉由向量402之經縮減版本來進行乘積404之實際計算，該經縮減版本藉由省略分量，亦即藉由將此經縮減向量410乘以經縮減矩陣C'而產生於向量402，該經縮減矩陣藉由捨棄第i ₀行412而產生於C。

C之權重或C'之權重，亦即此矩陣的分量，可以定點數表示來表示及儲存。然而，此等權重414可又如上文所描述以與不同縮放及/或偏移相關的方式儲存。縮放及偏移可針對整個矩陣C界定，亦即對於矩陣C或矩陣C'之所有權重414為相等的，或可以一方式界定使得對於矩陣C及矩陣C'之相同列的所有權重414或相同行的所有權重414分別為恆定或相等的。圖11說明就此而言，矩陣向量乘積之計算(亦即乘積之結果)實際上可稍微不同地執行，亦即例如藉由將與縮放之乘法朝向向量402或404移位，進而縮減必須進一步執行之乘法的數目。圖12說明使用用於C或C'之所有權重414的一個縮放及一個偏移之狀況，諸如在以上計算(2)中進行。根據一實施例，用於預測圖像之預定區塊的本文中所描述之設備可經組配以使用基於矩陣之框內樣本預測，其包含以下特徵：

該設備經組配以自多個參考樣本17形成樣本值向量pTemp[x]400。假設pTemp[x]為2* boundarySize，可藉由以下操作填充pTemp[x]，-例如，藉由直接複製位於預定區塊之頂部處之鄰近樣本(x = 0..boundarySize - 1之redT[ x ])之後為位於預定區塊左邊之鄰近樣本(x = 0..boundarySize - 1之redL[ x ]) (例如在isTransposed=0之狀況下) (或在經轉置處理之狀況下反之亦然(例如在isTransposed=1之狀況下))或對以上樣本進行次取樣或合併。

導出x = 0.. inSize − 1之輸入值p[ x ]，亦即該設備經組配以自樣本值向量pTemp[x]導出另一向量p[x]，樣本值向量pTemp[x]藉由預定可逆線性變換(或更特定言之，預定可逆仿射線性變換)映射至該另一向量，如下：若mipSizeId等於2，則以下適用： p[ x ] = pTemp[ x + 1 ] − pTemp[ 0 ] 否則(mipSizeId小於2)，以下適用： p[ 0 ] = ( 1 ＜＜ ( BitDepth − 1 ) ) − pTemp[ 0 ] p[ x ] = pTemp[ x ] − pTemp[ 0 ] ，其中x = 1..inSize − 1

此處，可變mipSizeId指示預定區塊之大小。亦即，根據本實施例，另一向量自樣本值向量導出所使用之可逆變換取決於預定區塊之大小。該依賴性可能根據以下給定

mipSizeId	boundarySize	predSize
0	2	4
1	4	4
2	4	8

其中predSize指示預定區塊內之經預測樣本之數目，且根據inSize = ( 2 * boundarySize ) − ( mipSizeId = = 2 ) ? 1 : 0，2*bondarySize指示樣本值向量之大小且與inSize (亦即另一向量之大小)有關。更精確而言，inSize指示實際上參與計算之另一向量之彼等分量的數目。inSize係與用於較小區塊大小之樣本值向量之大小一樣大，且一個分量對於較大區塊大小較小。在前一狀況下，可忽略一個分量，亦即將對應於另一向量之預定分量的分量，如在隨後計算之矩陣向量乘積中，對應的向量分量之貢獻無論如何將產生零，且因此，實際上不需要計算。在替代實施例之狀況下，可忽略對區塊大小之依賴性，其中僅二個替代方案中之一者不可避免地使用，亦即，不管區塊大小(對應於mipSizeId之選項小於2，或對應於mipSizeId之選項等於2)。

換言之，例如，界定預定可逆線性變換使得另一向量p之預定分量變為a，而所有其他分量對應於樣本值向量之分量減去a，其中例如a=pTemp[0]。在對應於mipSizeId之第一選項等於2之狀況下，此係容易地可見並且進一步考慮另一向量之以差分方式形成之分量。亦即，在第一選項之狀況下，另一向量實際上為{p[0… inSize];pTemp[0]}，其中pTemp[0]為a，且用以產生矩陣向量乘積之矩陣向量乘法之實際上經計算部分，亦即乘法之結果，僅限於另一向量之inSize分量及矩陣之對應的行，因為矩陣具有不需要計算之零行。在其他狀況下，對應於小於2之mipSizeId，選擇a=pTemp[0]，作為除了p[0]之外的另一向量之所有分量，亦即另一向量p之除了預定分量p[0]之外的其他分量p[x] (其中x = 1..inSize − 1)中之每一者等於樣本值向量pTemp[x]之對應的分量減去a，但p[0]經選擇為常數減去a。接著計算矩陣向量乘積。該常數為可表示值之均值，亦即2 ^x-1(亦即1 ＜＜ ( BitDepth − 1 ))，其中x表示所使用之計算表示的位元深度。應注意，若p[0]反而經選擇為pTemp[0]，則經計算乘積將僅與使用如上文所指示之p[0] (p[ 0 ] = ( 1 ＜＜ ( BitDepth − 1 ) ) − pTemp[ 0 ])計算之一個乘積偏離一常數向量，當基於該乘積預測內部區塊時，可考慮該常數向量，亦即預測向量。因此，值a為預定值，例如，pTemp[0]。預定值pTemp[0]在此狀況下例如為樣本值向量pTemp之對應於預定分量p[0]之分量。其可為預定區塊頂部或預定區塊左邊之最接近預定區塊之左上角的鄰近樣本。

對於根據predModeIntra之例如指定框內預測模式的框內樣本預測製程，該設備例如經組配以應用以下步驟，例如執行至少第一步驟： 1. x = 0..predSize − 1，y = 0..predSize − 1之基於矩陣之框內預測樣本predMip[ x ][ y ]如下導出：可變modeId經設置成等於predModeIntra。 x = 0..inSize − 1, y = 0..predSize * predSize − 1之權重矩陣mWeight[ x ][ y ]係藉由使用mipSizeId及modeId調用MIP權重矩陣導出製程而經導出作為輸入。 x = 0..predSize − 1，y = 0..predSize − 1之基於矩陣之框內預測樣本predMip[ x ][ y ]如下導出： oW = 32 − 32 * ( ) predMip[ x ][ y ] = ( ( ( ) + oW ) ＞＞ 6 ) + pTemp[ 0 ] 換言之，該設備經組配以計算另一向量p[i]或在mipSizeId等於2之狀況下為{p[i];pTemp[0]}與預定預測矩陣mWeight或在mipSizeId小於2之狀況下為具有對應於p之經省略分量的額外零權重行之預測矩陣mWeight之間的矩陣向量乘積，以便獲得預測向量，其在此處已經指派給分佈於預定區塊之內部中的區塊位置{x,y}之陣列以便產生陣列predMip[ x ][ y ]。預測向量將分別對應於predMip[ x ][ y ]之列或predMip[ x ][ y ]之行的級聯。根據一實施例，或根據不同解釋，僅分量((( ) + oW ) ＞＞ 6 )經理解為預測向量，且該設備經組配以在基於預測向量預測預定區塊之樣本時針對預測向量之每一分量計算各別分量與a (例如pTemp[0])之總和。該設備可任選地經組配以在基於預測向量預測預定區塊之樣本(例如predMip或(( ) + oW ) ＞＞ 6)時另外執行以下步驟。 2.x = 0..predSize − 1、y = 0..predSize − 1 之基於矩陣之框內預測樣本predMip[ x ][ y ]例如如下經削剪： predMip[ x ][ y ] = Clip1( predMip[ x ][ y ] ) 3.當isTransposed等於TRUE時，predSize×predSize陣列predMip[ x ][ y ] (其中x = 0..predSize − 1，y = 0..predSize − 1)例如如下經轉置： predTemp[ y ][ x ] = predMip[ x ][ y ] predMip = predTemp 4.經預測樣本predSamples[ x ][ y ] (其中x = 0..nTbW − 1，y = 0..nTbH − 1)例如如下導出：若指定變換區塊寬度之nTbW大於predSize或指定變換區塊高度之nTbH大於predSize，則運用輸入區塊大小predSize、基於矩陣之框內預測樣本predMip[ x ][ y ] (其中x = 0..predSize − 1，y = 0..predSize − 1)、變換區塊寬度nTbW、變換區塊高度nTbH、頂部參考樣本refT[ x ] (其中x = 0..nTbW − 1)及作為輸入之左邊參考樣本refL[ y ] (其中y = 0..nTbH − 1)調用MIP預測增加取樣製程，且輸出係經預測樣本陣列predSamples。否則，x = 0..nTbW − 1、y = 0..nTbH − 1之predSamples[ x ][ y ]經設置成等於predMip[ x ][ y ]。換言之，該設備經組配以基於預測向量predMip來預測預定區塊之樣本predSamples。

圖13展示用於使用多個參考樣本預測圖像之預定區塊的方法2000，其包含：自多個參考樣本形成2100樣本值向量；自樣本值向量導出2200另一向量，樣本值向量藉由預定可逆線性變換經映射至該另一向量上；計算2300另一向量與預定預測矩陣之間的矩陣向量乘積以便獲得預測向量；及基於預測向量預測2400預定區塊之樣本。

參考文獻 [1] P. Helle et al., “Non-linear weighted intra prediction”, JVET-L0199, Macao, China, October 2018. [2] F. Bossen, J. Boyce, K. Suehring, X. Li, V. Seregin, “JVET common test conditions and software reference configurations for SDR video”, JVET-K1010, Ljubljana, SI, July 2018. 其他實施例及實例

通常，實例可實施為具有程式指令之電腦程式產品，當電腦程式產品運行於電腦上時，程式指令操作性地用於執行該等方法中之一者。程式指令可例如儲存於機器可讀媒體上。

其他實例包含用於執行本文中所描述之方法中之一者、儲存於機器可讀載體上的電腦程式。

換言之，方法之實例因此為電腦程式，其具有用於在電腦程式於電腦上運行時執行本文中所描述之方法中之一者的程式指令。

該方法之另一實例因此為資料載體媒體(或數位儲存媒體，或電腦可讀媒體)，其包含、上面記錄有用於執行本文中所描述之方法中之一者的電腦程式。資料載體媒體、數位儲存媒體或記錄媒體為有形及/或非暫時性的，而非無形及暫時性的信號。

因此，該方法之另一實例為表示用於執行本文中所描述之方法中之一者的電腦程式之資料串流或信號序列。該資料串流或信號序列可例如經由資料通訊連接，例如經由網際網路來傳送。

另一實例包含處理構件，例如電腦或可規劃邏輯裝置，其執行本文中所描述之方法中之一者。

另一實例包含電腦，該電腦具有安裝於其上的用於執行本文中所描述之方法中之一者的電腦程式。

另一實例包含將用於執行本文中所描述之方法中之一者的電腦程式傳送(例如，以電子方式或以光學方式)至接收器之設備或系統。舉例而言，接收器可為電腦、行動裝置、記憶體裝置等等。該設備或系統可(例如)包含用於將電腦程式傳送至接收器之檔案伺服器。

在一些實例中，可規劃邏輯裝置(例如，場可規劃閘陣列)可用以執行本文中所描述之方法的功能性中之一些或全部。在一些實例中，場可規劃閘陣列可與微處理器協作，以便執行本文中所描述之方法中的一者。通常，該等方法可由任何適當的硬體設備執行。

由上述討論，將可理解，本發明可以多種實施例形式體現，包含但不限於下列：實施例1. 一種用於使用多個參考樣本預測一圖像之一預定區塊的設備，該設備經組配以自該多個參考樣本形成一樣本值向量，自該樣本值向量導出一另一向量，該樣本值向量藉由一預定可逆線性變換經映射至該另一向量上，計算該另一向量與一預定預測矩陣之間的一矩陣向量乘積以便獲得一預測向量，及基於該預測向量預測該預定區塊之樣本。實施例2. 如實施例1之設備，其中該預定可逆線性變換經界定使得該另一向量之一預定分量變為 a或一常數減去 a，且該另一向量之除了該預定分量之外的其他分量中之每一者等於該樣本值向量之一對應的分量減去 a，其中 a為一預定值。實施例3. 如實施例2之設備，其中該預定值為以下各者中之一者該樣本值向量之分量的一平均值，諸如一算術均值或經加權平均值，一預設值，以該圖像經寫碼成之一資料串流傳信之一值，及該樣本值向量之對應於該預定分量的一分量。實施例4. 如實施例1之設備，其中該預定可逆線性變換經界定使得該另一向量之一預定分量變為 a或一常數減去 a，且該另一向量之除了該預定分量之外的其他分量中之每一者等於該樣本值向量之一對應的分量減去 a，其中 a為該樣本值向量之分量的一算術均值。實施例5. 如實施例1之設備，其中該預定可逆線性變換經界定使得該另一向量之一預定分量變為 a或一常數減去 a，且該另一向量之除了該預定分量之外的其他分量中之每一者等於該樣本值向量之一對應的分量減去 a，其中 a為該樣本值向量之對應於該預定分量的一分量，其中該設備經組配以：包含多個可逆線性變換，該多個可逆線性變換中之每一者係與該另一向量之一個分量相關聯，在該樣本值向量之該等分量中選擇該預定分量，及使用該多個可逆線性變換中之與該預定分量相關聯之該可逆線性變換作為該預定可逆線性變換。實施例6. 如實施例2至5中任一者之設備，其中該預定預測矩陣之一行內之該預定預測矩陣的對應於該另一向量之該預定分量的矩陣分量均為零且該設備經組配以：藉由計算捨棄該行而產生於該預定預測矩陣之一經縮減預測矩陣與捨棄該預定分量而產生於該另一向量之一又另一向量之間的一矩陣向量乘積來執行乘法而計算該矩陣向量乘積。實施例7. 如實施例2至6中任一者之設備，其經組配以在基於該預測向量預測該預定區塊之該等樣本時，針對該預測向量之每一分量計算各別分量與 a之一總和。實施例8. 如實施例2至7中任一者之設備，其中產生於將該預定預測矩陣之一行內之該預定預測矩陣之對應於該另一向量之該預定分量的每一矩陣分量與一求和之一矩陣乘以該預定可逆線性變換對應於一機器學習預測矩陣之一經量化版本。實施例9. 如實施例1至8中任一者之設備，其經組配以針對該樣本值向量之每一分量藉由以下操作自該多個參考樣本形成該樣本值向量，採用該多個參考樣本中之一個參考樣本作為該樣本值向量之各別分量，及/或對該樣本值向量之二個或多於二個分量進行平均化以獲得該樣本值向量之各別分量。實施例10. 如實施例1至9中任一者之設備，其中該多個參考樣本沿著該預定區塊之一外部邊緣配置於該圖像內。實施例11. 如實施例1至10中任一者之設備，其經組配以使用定點算術運算計算該矩陣向量乘積。實施例12. 如實施例1至11中任一者之設備，其經組配以在不使用浮點算術運算之情況下計算該矩陣向量乘積。實施例13. 如實施例1至12中任一者之設備，其經組配以儲存該預定預測矩陣之一定點數表示。實施例14. 如實施例1至13中任一者之設備，其經組配以使用預測參數表示該預定預測矩陣及藉由對該另一向量之該等分量及該等預測參數以及自其產生之中間結果執行乘法及求和而計算該矩陣向量乘積，其中該等預測參數之絕對值可藉由一n位元定點數表示來表示，其中n等於或低於14，或替代地等於或低於10，或替代地等於或低於8。實施例15. 如實施例14之設備，其中該等預測參數包含權重，其中之每一者係與該預定預測矩陣之一對應的矩陣分量相關聯。實施例16. 如實施例15之設備，其中該等預測參數進一步包含一或多個縮放因數，其中之每一者係與該預定預測矩陣之一或多個對應的矩陣分量相關聯，該一或多個縮放因數用於縮放與該預定預測矩陣之該一或多個對應的矩陣分量相關聯之該權重，及/或一或多個偏移，其中之每一者係與該預定預測矩陣之一或多個對應的矩陣分量相關聯，該一或多個偏移用於使與該預定預測矩陣之該一或多個對應的矩陣分量相關聯之該權重偏移。實施例17. 如前述實施例中任一者之設備，其經組配以在基於該預測向量預測該預定區塊之該等樣本時，使用內插以基於該預測向量計算該預定區塊之至少一個樣本位置，該預測向量之每一分量係與該預定區塊內之一對應的位置相關聯。實施例18. 一種用於對圖像進行編碼之設備，其包含一如前述實施例中任一者之設備，其用於使用多個參考樣本預測該圖像之一預定區塊，以獲得一預測信號，及一熵編碼器，其經組配以對用於該預定區塊之一預測殘差進行編碼以用於校正該預測信號。實施例19. 一種用於對圖像進行解碼之設備，其包含一如實施例1至17中任一者之設備，其用於使用多個參考樣本預測該圖像之一預定區塊，以獲得一預測信號，一熵解碼器，其經組配以對用於該預定區塊之一預測殘差進行解碼，及一預測校正器，其經組配以使用該預測殘差校正該預測信號。實施例20. 一種用於使用多個參考樣本預測一圖像之一預定區塊的方法，其包含自該多個參考樣本形成一樣本值向量，自該樣本值向量導出一另一向量，該樣本值向量藉由一預定可逆線性變換經映射至該另一向量上，計算該另一向量與一預定預測矩陣之間的一矩陣向量乘積以便獲得一預測向量，及基於該預測向量預測該預定區塊之樣本。實施例21. 一種用於對圖像進行編碼之方法，其包含根據如實施例20之方法使用多個參考樣本來預測該圖像之一預定區塊，以獲得一預測信號，及對用於該預定區塊之一預測殘差進行熵編碼以用於校正該預測信號。實施例22. 一種用於對圖像進行解碼之方法，其包含根據如實施例20之方法使用多個參考樣本來預測該圖像之一預定區塊，以獲得一預測信號，對用於該預定區塊之一預測殘差進行熵解碼，及使用該預測殘差校正該預測信號。實施例23. 一種使用一如實施例21之方法將一圖像編碼成之資料串流。實施例24. 一種具有程式碼之電腦程式，該程式碼運行於一電腦上時，用於執行一如實施例20至22中任一者之方法。

上文所描述之實例僅說明上文所論述之原理。應理解，本文中所描述之配置及細節之修改及變化將為顯而易見的。因此，其意欲由接下來之申請專利範圍的範疇限制，而非由藉助於本文中實例之描述及解釋所呈現的特定細節限制。

10,10':圖像 12:資料串流 14:設備/編碼器 16:視訊 17:鄰域 17 ₁,17 ₂ _,171,172:參考樣本 17a,17c,17e,:相鄰區塊 17'a,17'c, 17'e:部分 17M:映射矩陣 17P:第一向量 18:區塊 18a,18c:邊界 18Q:第二向量 19:線性或仿射線性(ALWIP)變換 20:寫碼次序 22:減法器 24:預測信號 26:預測殘差信號 28:預測殘差編碼器 28a:有損編碼級 28b:無損編碼級 30:量化器 32:變換級 34:經量化預測殘差信號 36:預測殘差信號重建級 36':殘差信號重建級 38,38':反量化器 40,40':反變換器 42,42':加法器 44,44':預測器 46,46':迴路內濾波器 54:解碼器 56:熵解碼器 100,122:平均化或減少取樣 102:經縮減樣本集合 104:樣本值 106,107,109:方案 108,108',119,112,118',118'':樣本 110,120:群組 118:相鄰樣本/預測值 156:殘差提供器 400:樣本值向量 401:導出 402,410:另一向量 403:預定可逆線性變換 404,407,1310:矩陣向量乘積 405:預定預測矩陣 406:預測向量 408:另一偏移 409:向量 412:行 414:矩陣分量 811,812,812a,812b,812c,813,2100,2200,2300,2400:步驟 820,2000:方法 1000:設備 1100:矩陣A 1110:偏移b 1200:矩陣B 1300:整數矩陣 1400:預定值 1500:預定分量

圖式未必按比例繪製，實際上重點一般放在說明本發明之原理上。在以下描述中，參看以下圖式描述本發明之各種實施例，其中：圖1展示編碼成資料串流之實施例；圖2展示編碼器之實施例；圖3展示圖像之重建之實施例；圖4展示解碼器之實施例；圖5展示根據一實施例之用於編碼及/或解碼之區塊的預測之示意圖；圖6展示根據一實施例之用於編碼及/或解碼之區塊的預測之矩陣運算；圖7.1展示根據一實施例之具有經減小樣本值之區塊的預測；圖7.2展示根據一實施例之使用樣本之內插的區塊之預測；圖7.3展示根據一實施例之具有經減小樣本值向量之區塊的預測，其中僅平均化一些邊界樣本；圖7.4展示根據一實施例之具有經減小樣本值向量之區塊的預測，其中平均化四個邊界樣本之群組；圖8展示根據一實施例之用於預測區塊之設備的示意圖；圖9展示根據一實施例之由設備執行之矩陣運算；圖10a至圖10c展示根據一實施例之由設備執行之詳細矩陣運算；圖11展示根據一實施例之由設備使用偏移及縮放參數執行之詳細矩陣運算；圖12展示根據不同實施例之由設備使用偏移及縮放參數執行之詳細矩陣運算；且圖13展示根據一實施例之用於預測預定區塊之方法的方塊圖。

10,10':圖像

17:鄰域

17₁,17₂:參考樣本

18:區塊

100:平均化或減少取樣

400:樣本值向量

401:導出

402:另一向量

403:預定可逆線性變換

404:矩陣向量乘積

405:預定預測矩陣

406:預測向量

1000:設備

Claims

一種用於使用多個參考樣本預測一圖像之一預定區塊的設備，該設備經組配以自該多個參考樣本形成一樣本值向量pTemp[x]，獲得一變數mipSizeId，其指示該預定區塊之大小，導出一另一向量p[x]，該樣本值向量pTemp[x]根據以下藉由一預定可逆線性變換而被映射至該另一向量上：若該變數mipSizeId等於2，則適用以下情況： p[x] = pTemp[x+1] - pTemp[0]，否則，適用以下情況： p[x] = pTemp[x] - pTemp[0]，其中x = 1、2、…、 inSize-1，且inSize為該另一向量p[x]中參與導出該另一向量p[x]之分量的數目，根據以下計算該另一向量p[x]與一預定預測矩陣mWeight[x][y]之間的一矩陣向量乘積以便獲得一預測陣列predMip[x][y]： oW=32-32*( )， predMip[x][y]=((( ，及基於該預測陣列predMip[x][y]預測該預定區塊之樣本。
如請求項1之設備，其中該預定可逆線性變換經界定使得該另一向量之一預定分量變為 a，且該另一向量之除了該預定分量之外的其他分量中之每一者等於該樣本值向量之一對應的分量減去 a，其中 a為一預定值。
如請求項2之設備，其中該預定值為以下各者中之一者該樣本值向量之分量的一平均值，諸如一算術均值或經加權平均值，一預設值，以該圖像經寫碼成之一資料串流傳信之一值，及該樣本值向量之對應於該預定分量的一分量。
如請求項1之設備，其中該預定可逆線性變換經界定使得該另一向量之一預定分量變為 a，且該另一向量之除了該預定分量之外的其他分量中之每一者等於該樣本值向量之一對應的分量減去 a，其中 a為該樣本值向量之分量的一算術均值。
如請求項1之設備，其中該預定可逆線性變換經界定使得該另一向量之一預定分量變為 a或一常數減去 a，且該另一向量之除了該預定分量之外的其他分量中之每一者等於該樣本值向量之一對應的分量減去 a，其中 a為該樣本值向量之對應於該預定分量的一分量，其中該設備經組配以：包含多個可逆線性變換，該多個可逆線性變換中之每一者係與該另一向量之一個分量相關聯，在該樣本值向量之該等分量中選擇該預定分量，及使用該多個可逆線性變換中之與該預定分量相關聯之該可逆線性變換作為該預定可逆線性變換。
如請求項2之設備，其中該預定預測矩陣之一行內之該預定預測矩陣的對應於該另一向量之該預定分量的矩陣分量均為零且該設備經組配以：藉由計算捨棄該行而產生於該預定預測矩陣之一經縮減預測矩陣與捨棄該預定分量而產生於該另一向量之一又另一向量之間的一矩陣向量乘積來執行乘法而計算該矩陣向量乘積。
如請求項2之設備，其經組配以在基於該預測陣列預測該預定區塊之該等樣本時，針對該預測陣列之每一分量計算各別分量與 a之一總和。
如請求項2之設備，其中產生於將該預定預測矩陣之一行內之該預定預測矩陣之對應於該另一向量之該預定分量的每一矩陣分量與一求和之一矩陣乘以該預定可逆線性變換對應於一機器學習預測矩陣之一經量化版本。
如請求項1之設備，其經組配以針對該樣本值向量之每一分量藉由以下操作自該多個參考樣本形成該樣本值向量，採用該多個參考樣本中之一個參考樣本作為該樣本值向量之各別分量，及/或對該樣本值向量之二個或多於二個分量進行平均化以獲得該樣本值向量之各別分量。
如請求項1之設備，其中該多個參考樣本沿著該預定區塊之一外部邊緣配置於該圖像內。
如請求項1之設備，其經組配以使用定點算術運算計算該矩陣向量乘積。
如請求項1之設備，其經組配以在不使用浮點算術運算之情況下計算該矩陣向量乘積。
如請求項1之設備，其經組配以儲存該預定預測矩陣之一定點數表示。
如請求項1之設備，其經組配以使用預測參數表示該預定預測矩陣及藉由對該另一向量之該等分量及該等預測參數以及自其產生之中間結果執行乘法及求和而計算該矩陣向量乘積，其中該等預測參數之絕對值可藉由一n位元定點數表示來表示，其中n等於或低於14，或替代地等於或低於10，或替代地等於或低於8。
如請求項14之設備，其中該等預測參數包含權重，其中之每一者係與該預定預測矩陣之一對應的矩陣分量相關聯。
如請求項15之設備，其中該等預測參數進一步包含一或多個縮放因數，其中之每一者係與該預定預測矩陣之一或多個對應的矩陣分量相關聯，該一或多個縮放因數用於縮放與該預定預測矩陣之該一或多個對應的矩陣分量相關聯之該權重，及/或一或多個偏移，其中之每一者係與該預定預測矩陣之一或多個對應的矩陣分量相關聯，該一或多個偏移用於使與該預定預測矩陣之該一或多個對應的矩陣分量相關聯之該權重偏移。
如請求項1之設備，其經組配以在基於該預測陣列預測該預定區塊之該等樣本時，使用內插以基於該預測陣列計算該預定區塊之至少一個樣本位置，該預測陣列之每一分量係與該預定區塊內之一對應的位置相關聯。
一種用於對圖像進行編碼之設備，其包含一如請求項1至17中任一項之設備，其用於使用多個參考樣本預測該圖像之一預定區塊，以獲得一預測信號，及一熵編碼器，其經組配以對用於該預定區塊之一預測殘差進行編碼以用於校正該預測信號。
一種用於對圖像進行解碼之設備，其包含一如請求項1至17中任一項之設備，其用於使用多個參考樣本預測該圖像之一預定區塊，以獲得一預測信號，一熵解碼器，其經組配以對用於該預定區塊之一預測殘差進行解碼，及一預測校正器，其經組配以使用該預測殘差校正該預測信號。
一種用於使用多個參考樣本預測一圖像之一預定區塊的方法，其包含自該多個參考樣本形成一樣本值向量pTemp[x]，獲得一變數mipSizeId，其指示該預定區塊之大小，導出一另一向量p[x]，該樣本值向量pTemp[x]根據以下藉由一預定可逆線性變換而被映射至該另一向量上：若該變數mipSizeId等於2，則適用以下情況： p[x] = pTemp[x+1] - pTemp[0]，否則，適用以下情況： p[x] = pTemp[x] - pTemp[0]，其中x = 1、2、…、 inSize-1，且inSize為該另一向量p[x]中參與導出該另一向量p[x]之分量的數目，根據以下計算該另一向量p[x]與一預定預測矩陣mWeight[x][y]之間的一矩陣向量乘積以便獲得一預測陣列predMip[x][y]： oW=32-32*( )， predMip[x][y]=((( ，及基於該預測陣列predMip[x][y]預測該預定區塊之樣本。
一種用於對圖像進行編碼之方法，其包含根據如請求項20之方法使用多個參考樣本來預測該圖像之一預定區塊，以獲得一預測信號，及對用於該預定區塊之一預測殘差進行熵編碼以用於校正該預測信號。
一種用於對圖像進行解碼之方法，其包含根據如請求項20之方法使用多個參考樣本來預測該圖像之一預定區塊，以獲得一預測信號，對用於該預定區塊之一預測殘差進行熵解碼，及使用該預測殘差校正該預測信號。
一種有資料串流儲存於其上之數位儲存媒體，使用一如請求項21之方法而將一圖像編碼於該資料串流中。
一種具有程式碼之電腦程式，該程式碼運行於一電腦上時，用於執行一如請求項20至22中任一項之方法。