TW202332274A - 在4:4:4色度格式及單一樹狀結構情況下針對所有通道之基於矩陣的內部預測技術 - Google Patents
在4:4:4色度格式及單一樹狀結構情況下針對所有通道之基於矩陣的內部預測技術 Download PDFInfo
- Publication number
- TW202332274A TW202332274A TW112112042A TW112112042A TW202332274A TW 202332274 A TW202332274 A TW 202332274A TW 112112042 A TW112112042 A TW 112112042A TW 112112042 A TW112112042 A TW 112112042A TW 202332274 A TW202332274 A TW 202332274A
- Authority
- TW
- Taiwan
- Prior art keywords
- block
- intra
- color component
- matrix
- mode
- Prior art date
Links
- 239000011159 matrix material Substances 0.000 claims abstract description 248
- 239000013598 vector Substances 0.000 claims abstract description 247
- 238000005070 sampling Methods 0.000 claims abstract description 61
- 238000000638 solvent extraction Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims description 107
- 241000023320 Luma <angiosperm> Species 0.000 claims description 37
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 37
- 230000011664 signaling Effects 0.000 claims description 18
- 238000005192 partition Methods 0.000 abstract description 3
- 239000000523 sample Substances 0.000 description 143
- 230000009466 transformation Effects 0.000 description 88
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 57
- 230000011218 segmentation Effects 0.000 description 55
- 238000012935 Averaging Methods 0.000 description 37
- 230000000875 corresponding effect Effects 0.000 description 23
- 238000012360 testing method Methods 0.000 description 19
- 238000000844 transformation Methods 0.000 description 19
- 238000004590 computer program Methods 0.000 description 12
- 238000007792 addition Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000002441 reversible effect Effects 0.000 description 7
- 230000009977 dual effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000009795 derivation Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005755 formation reaction Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010348 incorporation Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- IESVDEZGAHUQJU-ZLBXKVHBSA-N 1-hexadecanoyl-2-(4Z,7Z,10Z,13Z,16Z,19Z-docosahexaenoyl)-sn-glycero-3-phosphocholine Chemical compound CCCCCCCCCCCCCCCC(=O)OC[C@H](COP([O-])(=O)OCC[N+](C)(C)C)OC(=O)CC\C=C/C\C=C/C\C=C/C\C=C/C\C=C/C\C=C/CC IESVDEZGAHUQJU-ZLBXKVHBSA-N 0.000 description 1
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000013277 forecasting method Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
Abstract
一種基於區塊之解碼器經組配以使用一分割方案將具有多於一個色彩分量及據以同等地取樣每一色彩分量之一色彩取樣格式之一圖像分割成區塊，根據該分割方案，該圖像相對於每一色彩分量同等地分割。另外，該基於區塊之解碼器經組配以藉由針對該圖像之經內部預測第一色彩分量區塊中之每一者選擇內部預測模式之一第一集合中之一個內部預測模式而以該等區塊為單位解碼該圖像之一第一色彩分量。該第一集合包含基於矩陣的內部預測模式，根據其中之每一者，藉由以下操作預測一區塊內部：自鄰近該區塊內部之參考樣本導出一樣本值向量；計算該樣本值向量與相關聯於各別基於矩陣的內部預測模式的一預測矩陣之間的一矩陣向量乘積以便獲得一預測向量；以及基於該預測向量預測該區塊內部中之樣本。另外，該基於區塊之解碼器經組配以藉由使用針對一共置經內部預測第一色彩分量區塊選擇的該基於矩陣的內部預測模式來對該圖像之一預定第二色彩分量區塊進行內部預測而以該等區塊為單位解碼該圖像之一第二色彩分量。
Description
發明領域
根據本發明之實施例係關於用於在4:4:4色度格式及單一樹狀結構之情況下針對所有通道使用基於矩陣的內部預測(MIP)來編碼或解碼一圖像或一視訊的設備及方法。
發明背景
在當前VTM中，MIP僅用於明度分量[3]。若在色度內部區塊上，內部模式為直接模式(DM)且若共置明度區塊之內部模式為MIP模式，則色度區塊必須使用平面模式產生內部預測信號。據確證，在MIP之情況下對DM模式進行此處理的主要原因為對於4:2:0情況或對於雙樹狀結構之情況，共置明度區塊可具有與色度區塊不同的形狀。因此，由於MIP模式不能應用於所有區塊形狀，因此共置明度區塊之MIP模式在彼情況下可能不適用於色度區塊。
因此，需要提供用於致使圖像寫碼及/或視訊寫碼更高效以支援對於所有通道的基於矩陣的內部預測的概念。另外或替代地，需要減少位元串流，且因此降低傳信成本。
此係藉由本申請案之獨立請求項之標達成實現的。
根據本發明之其他實施例係由本申請案之附屬技術方案之主題定義。
發明概要
根據本發明之一第一態樣，本申請案之發明人意識到，當嘗試使用基於矩陣的內部預測模式(MIP模式)來預測圖像之預定區塊之樣本時所遇到的一個問題源自以下事實：當前不可能對於圖像之所有色彩分量使用MIP。根據本申請案之該第一態樣，在共享圖像中之相同位置的兩個色彩分量同等地取樣且同等地分割成區塊的情況下，例如藉由將相同MIP模式用於該等兩個色彩分量之經內部預測區塊(即，共置經內部預測區塊)來克服此困難。本發明人發現，對於圖像之兩個或更多個色彩分量的共置經內部預測區塊使用相同MIP模式係有利的。此係基於以下構思：跨越圖像之所有色彩分量的預測信號之強相關性係有益的，且若將相同內部預測模式用於圖像之經內部預測區塊之兩個或更多個色彩分量，則此相關性可增大。由於將相同MIP模式用於相同圖像之不同色彩分量的共置區塊，位元串流及因此傳信成本可能降低。另外，可降低寫碼複雜度。
因此，根據本申請案之一第一態樣，一種基於區塊之解碼器/編碼器經組配以使用一分割方案將具有多於一個色彩分量及據以同等地取樣每一色彩分量(例如，該圖像之第一色彩分量具有與該圖像之所有其他色彩分量相同的取樣，例如該圖像之所有色彩分量具有相同的空間解析率)之一色彩取樣格式之一圖像分割成區塊，根據該分割方案，該圖像相對於每一色彩分量同等地分割，例如，該圖像之第一色彩分量以與該圖像之所有其他色彩分量相同的方式分割，例如所有色彩分量具有相同空間解析率。該圖像可由例如YUV、YPbPr及/或YCbCr色彩空間中之明度分量及兩個色度分量構成，其中明度分量及兩個色度分量表示多於一個色彩分量。亦有可能例如在RGB色彩空間中，圖像可由表示多於一個色彩分量之紅色分量、綠色分量及藍色分量構成。舉例而言，該圖像由一第一色彩分量、一第二色彩分量及視情況一第三色彩分量構成。顯而易見，所描述的基於區塊之解碼器/編碼器亦可用於具有其他色彩分量之圖像及用於具有不同數目個色彩分量之圖像。舉例而言，藉由將第一色彩分量分割成第一色彩分量區塊、藉由將第二色彩分量分割成第二色彩分量區塊及視情況藉由將第三色彩分量分割成第三色彩分量區塊而相對於每一色彩分量同等地分割圖像。圖像之色彩分量係經框間預測(亦即，經框間寫碼)抑或經內部預測(亦即，經內部寫碼)之決策可以粒度或以色彩分量區塊為單位進行。該基於區塊之解碼器/編碼器經組配以藉由針對圖像之經內部預測第一色彩分量區塊中之每一者(亦即，針對與內部預測相關聯之第一色彩分量區塊中之每一者)選擇內部預測模式之第一集合中的一個內部預測模式而以區塊為單位(亦即，以第一色彩分量區塊為單位)自資料串流解碼圖像之第一色彩分量/將其編碼為資料串流。將以不同方式處理與框間預測相關聯之第一色彩分量區塊，亦即，經框間預測之第一色彩分量區塊。內部預測模式之該第一集合包含基於矩陣的內部預測模式，根據其中之每一者，藉由以下操作預測一區塊內部：自鄰近該區塊內部之參考樣本導出一樣本值向量；計算該樣本值向量與相關聯於各別基於矩陣的內部預測模式的一預測矩陣之間的一矩陣向量乘積以便獲得一預測向量；以及基於該預測向量預測該區塊內部中之樣本。另外，該基於區塊之解碼器/編碼器經組配以藉由使用針對一共置經內部預測第一色彩分量區塊選擇的該基於矩陣的內部預測模式來對該圖像之一預定第二色彩分量區塊進行內部預測而以該等區塊為單位解碼/解碼該圖像之第二色彩分量。圖像之第一色彩分量可為圖像之明度分量，且圖像之第二色彩分量可為圖像之色度分量。
根據一實施例，預測向量之分量的數目低於區塊內部中之樣本的數目，且基於區塊之解碼器/編碼器經組配以藉由基於經指派以支援區塊內部中之樣本位置的預測向量之分量內插樣本而基於預測向量預測區塊內部中之樣本。此係基於以下構思：矩陣向量乘積之計算中所需的乘法之總數目可減少以獲得此預測向量，因此解碼器/編碼器複雜度及傳信成本可降低。
根據一實施例，該基於區塊之解碼器/編碼器經組配以針對圖像之經內部預測第二色彩分量區塊中之每一者，亦即針對與內部預測相關聯之第二色彩分量區塊中之每一者，選擇第一選項及第二選項中之一者。在第一選項，以如下方式基於經選擇用於一共置經內部預測第一色彩分量區塊的一內部預測模式導出用於該各別經內部預測第二色彩分量區塊之一內部預測模式：使得在經選擇用於該共置經內部預測第一色彩分量區塊之該內部預測模式為該等基於矩陣的內部預測模式中之一者的情況下，用於該各別經內部預測第二色彩分量區塊之該內部預測模式等於經選擇用於該共置經內部預測第一色彩分量區塊之該內部預測模式。在第二選項，基於存在於/傳信於用於該各別經內部預測第二色彩分量區塊的資料串流中的一內部模式索引而選擇用於該各別經內部預測第二色彩分量區塊的一內部預測模式。舉例而言，在針對經內部預測之第二色彩分量區塊指示直接模式或殘餘寫碼色彩變換模式的情況下，解碼器/編碼器可經組配以選擇第一選項。否則，藉由選擇第二選項，例如，在資料串流中傳信的模式用於預測經內部預測第二色彩分量區塊。
根據一實施例，該基於區塊之解碼器/編碼器經組配以使得內部預測模式之該第一集合所包含的該等基於矩陣的內部預測模式取決於該各別經內部預測第一色彩分量區塊之區塊尺寸而選擇，以便為基於矩陣的內部預測模式之彼此不相交子集之一集合中的基於矩陣的內部預測模式的一個子集。舉例而言，基於矩陣的內部預測模式之每一子集可能與某一區塊尺寸相關聯。舉例而言，僅選定子集之基於矩陣的內部預測模式由內部預測模式之第一集合包含。其中選擇用於各別經內部預測第一色彩分量區塊之內部預測模式的內部預測模式之第一集合對於不同區塊尺寸可能不同。因此，解碼器/編碼器經組配以基於經內部預測第一色彩分量區塊之區塊尺寸預選內部預測模式，其可適合於各別經內部預測第一色彩分量區塊。此可降低解碼器/編碼器複雜度及傳信成本。
根據一實施例，與基於矩陣的內部預測模式之相互不相交子集之該集合相關聯的預測矩陣經機器學習，由基於矩陣的內部預測模式之一個子集包含的預測矩陣具有彼此相等的大小，且由經選擇用於不同區塊大小的基於矩陣的內部預測模式之兩個子集包含的預測矩陣具有彼此不同的大小。每一子集可將與相同維度之預測矩陣相關聯的多個基於矩陣的內部預測模式分組。
根據一實施例，該基於區塊之解碼器/編碼器經組配以使得與由內部預測模式之該第一集合包含的基於矩陣的內部預測模式相關聯的預測矩陣具有彼此相等的大小且經機器學習。
根據一實施例，該基於區塊之解碼器/編碼器經組配以使得由內部預測模式之該第一集合所包含的不同於由內部預測模式之該第一集合所包含的該等基於矩陣的內部預測模式的內部預測模式包含一DC模式、一平面模式及定向模式。舉例而言，內部預測模式之第一集合除了基於矩陣的內部預測模式之外另外包含DC模式及/或平面模式及/或定向模式。
根據一實施例，該基於區塊之解碼器/編碼器經組配以自分割方案之一集合中選擇該分割方案。分割方案之該集合包含另一分割方案，根據該另一分割方案，使用存在於/傳信於資料串流中之第一分割資訊相對於該第一色彩分量分割該圖像，且使用存在於/傳信於資料串流中的與該第一分割資訊分離之第二分割資訊相對於該第二色彩分量分割該圖像。因此，分割方案之集合例如包含據以相對於每一色彩分量同等地分割該圖像之分割方案及據以相對於與第二色彩分量不同的第一色彩分量分割該圖像之另一分割方案。
根據一實施例，基於區塊之解碼器/編碼器經組配以針對圖像之經內部預測第二色彩分量區塊中之每一者選擇第一選項及第二選項中之一者，例如，如上文已指示。在第一選項，以如下方式基於經選擇用於一共置經內部預測第一色彩分量區塊的一內部預測模式導出用於該各別經內部預測第二色彩分量區塊之一內部預測模式：使得在經選擇用於該共置經內部預測第一色彩分量區塊之該內部預測模式為該等基於矩陣的內部預測模式中之一者的情況下，用於該各別經內部預測第二色彩分量區塊之該內部預測模式等於經選擇用於該共置經內部預測第一色彩分量區塊之該內部預測模式。在第二選項，基於存在於/傳信於用於該各別經內部預測第二色彩分量區塊的資料串流中的一內部模式索引而選擇用於該各別經內部預測第二色彩分量區塊的一內部預測模式。另外，基於區塊之解碼器/編碼器經組配以使用另一分割方案將具有多於一個色彩分量及據以同等地取樣每一色彩分量之色彩取樣格式的另一圖像分割成其他區塊，亦即，另一圖像相對於第一色彩分量以與相對於第二色彩分量不同之方式分割，如例如上文所提及。可將該另一圖像之一第一色彩分量分割成第一色彩分量其他區塊，且可將該另一圖像之一第二色彩分量分割成第二色彩分量其他區塊。舉例而言，該解碼器/編碼器經組配以藉由針對該另一圖像之經內部預測第一色彩分量其他區塊中之每一者選擇內部預測模式之該第一集合中之一個內部預測模式而以該等其他區塊為單位解碼/編碼該另一圖像之該第一色彩分量。另外，解碼器/編碼器可經組配以針對另一圖像之經內部預測第二色彩分量其他區塊中之每一者選擇第一選項及第二選項中之一者。在第一選項，以如下方式基於經選擇用於一共置第一色彩分量其他區塊的一內部預測模式導出用於該各別經內部預測第二色彩分量其他區塊之一內部預測模式：使得在經選擇用於該共置第一色彩分量其他區塊之該內部預測模式為該等基於矩陣的內部預測模式中之一者的情況下，用於該各別經內部預測第二色彩分量其他區塊之該內部預測模式等於一平面內部預測模式。在第二選項，基於存在於/傳信於用於該各別經內部預測第二色彩分量其他區塊的資料串流中的一內部模式索引而選擇用於該各別經內部預測第二色彩分量其他區塊的一內部預測模式。如上文已概述，舉例而言，第一選項指示，用於經內部預測第二色彩分量區塊之預測模式係直接自共置經內部預測第一色彩分量區塊之預測模式導出。此導出可能取決於經選擇用於圖像之分割方案。因此，第一選項之實施可能對於該圖像與另一圖像相比不同，此係由於該圖像係使用據以相對於每一色彩分量同等地分割該圖像之分割方案分割，且該另一圖像係使用據以使用存在於/傳信於資料串流中的第一分割資訊相對於第一色彩分量分割該圖像且使用存在於/傳信於資料串流中的與第一分割資訊分離的第二分割資訊相對於第二色彩分量分割該圖像的另一分割方案分割。
根據一實施例，基於區塊之解碼器/編碼器經組配以針對圖像之經內部預測第二色彩分量區塊中之每一者選擇第一選項及第二選項中之一者，例如，如上文已指示。在第一選項，以如下方式基於經選擇用於一共置經內部預測第一色彩分量區塊的一內部預測模式導出用於該各別經內部預測第二色彩分量區塊之一內部預測模式：使得在經選擇用於該共置經內部預測第一色彩分量區塊之該內部預測模式為該等基於矩陣的內部預測模式中之一者的情況下，用於該各別經內部預測第二色彩分量區塊之該內部預測模式等於經選擇用於該共置經內部預測第一色彩分量區塊之該內部預測模式。在第二選項，基於存在於/傳信於用於該各別經內部預測第二色彩分量區塊的資料串流中的一內部模式索引而選擇用於該各別經內部預測第二色彩分量區塊的一內部預測模式。另外，該基於區塊之解碼器/編碼器經組配以分割具有多於一個色彩分量及據以以不同方式取樣該等多於一個色彩分量之一不同色彩取樣格式的又一圖像，且藉由針對該又一圖像之經內部預測第一色彩分量又其他區塊中之每一者選擇內部預測模式之該第一集合中之一個內部預測模式而以該等又其他區塊為單位解碼/編碼該又一圖像之該第一色彩分量。基於區塊之解碼器/編碼器可經組配以針對該又一圖像之經內部預測第二色彩分量又其他區塊中之每一者選擇第一選項及第二選項中之一者。在第一選項，以如下方式基於經選擇用於一共置第一色彩分量又一區塊的一內部預測模式導出用於該各別經內部預測第二色彩分量又一區塊之一內部預測模式：使得在經選擇用於該共置第一色彩分量又一區塊之該內部預測模式為該等基於矩陣的內部預測模式中之一者的情況下，用於該各別經內部預測第二色彩分量又一區塊之該內部預測模式等於一平面內部預測模式。在第二選項，基於存在於/傳信於用於該各別經內部預測第二色彩分量又一區塊的資料串流中的一內部模式索引而選擇用於該各別經內部預測第二色彩分量又一區塊的一內部預測模式。如上文已概述，舉例而言，第一選項指示，用於經內部預測第二色彩分量區塊之預測模式係直接自共置經內部預測第一色彩分量區塊之預測模式導出。此導出可能取決於該圖像之色彩取樣格式。因此，第一選項之實施可能對於該圖像與另一圖像相比不同，此係由於該圖像具有據以同等地取樣每一色彩分量之色彩取樣格式，且該另一圖像具有據以以不同方式取樣多於一個色彩分量之不同色彩取樣格式。
根據一實施例，該基於區塊之解碼器/編碼器經組配以自分割方案之一集合中選擇該分割方案，分割方案之該集合包含另一分割方案，根據該另一分割方案，使用資料串流中之第一分割資訊相對於該第一色彩分量分割該圖像，且使用存在於/傳信於資料串流中的與該第一分割資訊分離之第二分割資訊相對於該第二色彩分量分割該圖像。該基於區塊之解碼器/編碼器經組配以使用該分割方案或該另一分割方案分割具有多於一個色彩分量之又一圖像。
根據一實施例，該基於區塊之解碼器/編碼器經組配以若一殘餘寫碼色彩變換模式經傳信以針對該資料串流中之該各別經內部預測第二色彩分量區塊撤銷啟動，則取決於存在於/傳信於用於該各別經內部預測第二色彩分量區塊之該資料串流中的一傳信而執行該第一選項及該第二選項之該選擇，且若該殘餘寫碼色彩變換模式經傳信以針對該資料串流中之該各別經內部預測第二色彩分量區塊啟動，則推斷將選擇該第一選項。
一實施例係關於一種用於基於區塊之解碼/編碼的方法，其包含使用一分割方案將具有多於一個色彩分量及據以同等地取樣每一色彩分量之一色彩取樣格式之一圖像分割成區塊，根據該分割方案，該圖像相對於每一色彩分量同等地分割。另外，該方法包含藉由針對該圖像之經內部預測第一色彩分量區塊中之每一者選擇內部預測模式之一第一集合中之一個內部預測模式而以該等區塊為單位解碼/編碼該圖像之一第一色彩分量，該第一集合包含基於矩陣的內部預測模式，根據其中之每一者，藉由以下操作預測一區塊內部：自鄰近該區塊內部之參考樣本導出一樣本值向量；計算該樣本值向量與相關聯於各別基於矩陣的內部預測模式的一預測矩陣之間的一矩陣向量乘積以便獲得一預測向量；以及基於該預測向量預測該區塊內部中之樣本。另外，該方法包含藉由使用針對一共置經內部預測第一色彩分量區塊選擇的該基於矩陣的內部預測模式來對該圖像之一預定第二色彩分量區塊進行內部預測而以該等區塊為單位解碼/編碼該圖像之一第二色彩分量。
如上文所描述之方法係基於與上述編碼器/解碼器相同的考慮因素。順便而言，該方法可藉由亦關於編碼器/解碼器描述之所有特徵及功能性完成。
一實施例係關於一種資料串流，其具有使用本文所描述之用於編碼之方法編碼至其中之圖像或視訊。
一實施例係關於一種電腦程式，其具有在於電腦上運行時用於執行本文所描述之方法之程式碼。
較佳實施例之詳細說明
即使具有相同或等效功能性之相同或等效的一或多個元件出現於不同圖式中，以下描述中仍藉由相同或等效參考數字來表示該一或多個元件。
在以下描述中，闡述多個細節以提供對本發明之實施例的較透徹解釋。然而，本領域中具有通常知識者將顯而易見，可在無此等特定細節之情況下實踐本發明之實施例。在其他情況下，以方塊圖形式而非詳細地展示熟知結構及裝置以便避免混淆本發明之實施例。另外，除非另外特定地指出，否則本文所描述之不同實施例的特徵可彼此組合。
1 引言
在下文中，將描述不同的本發明實例、實施例及態樣。此等實例、實施例及態樣中之至少一些尤其係指用於視訊寫碼及/或用於例如使用線性或仿射變換及鄰近樣本縮減來以區塊為基礎之預測技術及/或用於最佳化視訊遞送(例如，廣播、流式傳輸、檔案播放等)(例如，用於視訊應用程式及/或用於虛擬現實應用程式)之方法及/或設備。
此外，實例、實施例及態樣可指代高效率視訊寫碼(HEVC)或後繼者。並且，其他實施例、實例及態樣將由所附申請專利範圍界定。
應注意，如申請專利範圍所界定之任何實施例、實例及態樣可由以下章節中所描述之細節(特徵及功能性)中之任一者補充。
並且，以下章節中所描述之實施例、實例及態樣可個別地使用，且亦可由另一章節中之特徵中之任一者或由申請專利範圍中所包括之任一特徵補充。
並且，應注意，本文中所描述的個體、實例、實施例及態樣可個別地或組合地使用。因此，細節可添加至該等個別態樣中之每一者而無需將細節添加至該等實例、實施例及態樣中之另一者。
亦應注意，本揭露內容明確地或隱含地描述解碼及/或編碼系統及/或方法之特徵。
此外，本文中關於一種方法所揭示之特徵及功能性亦可用於設備中。另外，本文中相對於設備所揭示之任何特徵及功能性亦可用於對應方法中。換言之，本文中所揭示之方法可藉由關於設備所描述之特徵及功能性中之任一者來補充。
又，本文中所描述之特徵及功能性中之任一者可用硬體或軟體來實施，或使用硬體與軟體之組合來實施，如將在章節「實施替代例」中所描述。
此外，在一些實例、實施例或態樣中，括號(「(…)」或「[…]」)中所描述之特徵中之任一者可被視為可選的。
2 編碼器、解碼器
在下文中，描述各種實例，其可輔助在使用基於區塊之預測時實現更有效壓縮。一些實例藉由使用一組內部預測模式來實現高壓縮效率。後面的實例可添加至例如經探索性設計地其他內部預測模式，或可專門地提供。且甚至其他實例利用剛剛論述之二種特例。然而，作為此等實施例之振動，可藉由使用另一圖像中之參考樣本將內部預測變為框間預測。
為了易於理解本申請案之以下實例，本說明書開始於呈現適合其的可供建置本申請案之隨後概述實例的可能編碼器及解碼器。圖1展示用於將圖像10逐區塊編碼成資料串流12之設備。該設備使用參考符號14指示且可仍然為圖像編碼器或視訊編碼器。換言之，當編碼器14經組配以將包括圖像10之視訊16編碼至資料串流12中，或編碼器14可排他地將圖像10編碼至資料串流12中時，圖像10可為視訊16當中之當前圖像。
如所提及，編碼器14以逐區塊方式或以區塊為基礎執行編碼。為此，編碼器14將圖像10細分成區塊，編碼器14以區塊為單位將圖像10編碼成資料串流12。在下文更詳細地闡述將圖像10可能細分成區塊18之實例。一般而言，細分可能諸如藉由使用階層式多分樹細分而最終變成具有恆定大小之區塊18，諸如配置成列及行之區塊的陣列，或可能最終變成具有不同區塊大小之區塊18，其中多分樹細分開始於圖像10之整個圖像區域或開始於將圖像10預分割成樹型區塊之陣列，其中此等實例不應被視為排除將圖像10細分成區塊18之其他可能方式。
此外，編碼器14為經組配以將圖像10預測性地編碼成資料串流12之預測性編碼器。對於某一區塊18，此意謂編碼器14判定用於區塊18之預測信號且將預測殘餘(亦即，預測信號偏離區塊18內之實際圖像內容的預測誤差)編碼至資料串流12中。
編碼器14可支援不同預測模式，以便導出用於某一區塊18之預測信號。在以下實例中重要之預測模式為內部預測模式，根據該等內部預測模式，自圖像10之相鄰已編碼樣本在空間上預測區塊18之內部。將圖像10編碼成資料串流12且因此對應的解碼程序可基於在區塊18當中定義之特定寫碼次序20。舉例而言，寫碼次序20可以光柵掃描次序(諸如自上而下逐列)遍歷區塊18，其中例如自左至右遍歷每一列。在基於分層多樹之細分之情況下，光柵掃描排序可應用在每一層級層次內，其中可應用深度優先遍歷次序，亦即，某一層級層次之區塊內之葉節點可根據寫碼次序20在同一層級層次之具有相同父區塊之區塊之前。取決於寫碼次序20，區塊18之相鄰已編碼樣本通常可位於區塊18之一或多個側處。在本文中所呈現之實例的情況下，例如區塊18之相鄰已編碼樣本位於區塊18之頂部及左方。
內部預測模式可能並非編碼器14支援之僅有預測模式。在編碼器14為視訊編碼器之情況下，例如編碼器14亦可支援框間預測模式，根據該等框間預測模式，區塊18暫時根據視訊16之先前編碼之圖像來預測。此框間預測模式可為運動補償預測模式，根據該運動補償預測模式，將移動向量傳信給此區塊18，從而指示區塊18之預測信號將自其導出作為複本之部分的相對空間偏移。另外或替代地，其他非內部預測模式亦可為可用的，諸如在編碼器14為多視圖編碼器之情況下之框間預測模式，或非預測性模式，根據該等非預測性模式，區塊18之內部按原樣，亦即無任何預測之情況下，經寫碼。
在開始將本申請案之描述集中於畫面內部預測模式之前，關於圖2描述可能的基於區塊之編碼器(亦即，編碼器14之可能實施)的更特定實例，接著分別呈現適合於圖1及圖2之解碼器的兩個對應實例。
圖2展示圖1之編碼器14之可能實施，亦即其中編碼器經組配以使用變換寫碼以用於編碼預測殘差之實施，但此近似實例且本申請案並不限於彼類別之預測殘差寫碼。根據圖2，編碼器14包含減法器22，其經組配以自入站信號(亦即圖像10)或在區塊基礎上自當前區塊18減去對應的預測信號24以便獲得預測殘餘信號26，該預測殘餘信號接著由預測殘差編碼器28編碼成資料串流12。預測殘差編碼器28由有損編碼級28a及無損編碼級28b構成。有損級28a接收預測殘餘信號26且包含量化器30，該量化器量化預測殘餘信號26之樣本。如上文已提及，本發明實例使用預測殘餘信號26之變換寫碼，且因此有損編碼級28a包含連接於減法器22與量化器30之間的變換級32，以便變換此經頻譜分解之預測殘餘26，其中對呈現殘餘信號26之經變換係數進行量化器30之量化。該變換可為DCT、DST、FFT、哈達馬德(Hadamard)變換等。經變換且經量化預測殘餘信號34接著藉由無損編碼級28b進行無損寫碼，該無損編碼級為將經量化預測殘餘信號34熵寫碼成資料串流12之熵寫碼器。編碼器14進一步包含預測殘餘信號重構級36，其連接至量化器30之輸出以便以亦可用在解碼器處之方式自經變換且經量化預測殘餘信號34重構預測殘餘信號，亦即考慮寫碼損失為量化器30。為此目的，預測殘差重構級36包含反量化器38，其執行量化器30之量化之逆，接著包含反變換器40，其相對於由變換器32執行之變換執行逆變換，諸如頻譜分解之逆，諸如以上提及之具體變換實例中之任一者之逆。編碼器14包含加法器42，其將由反變換器40輸出之經重構預測殘餘信號與預測信號24相加以便輸出經重構信號，亦即經重構樣本。此輸出經饋送至編碼器14之預測器44中，該預測器接著基於該輸出判定預測信號24。預測器44支援上文已關於圖1所論述的所有預測模式。圖2亦說明在編碼器14為視訊編碼器之情況下，編碼器14亦可包含環路內濾波器46，其對經重構圖像進行完全濾波，該等經重構圖像在已經濾波之後關於經框間預測區塊形成用於預測器44之參考圖像。
如上文已提及，編碼器14基於區塊操作。對於後續描述，所關注之區塊基礎為將圖像10細分成區塊之基礎，針對該等區塊而自分別由預測器44或編碼器14支援之一組或多個內部預測模式當中選擇內部預測模式，且個別地執行所選擇的內部預測模式。然而，亦可將圖像10細分成其他類別之區塊。舉例而言，無論圖像10經框間寫碼抑或經內部寫碼，以上提及之決策均可以粒度或以自區塊18偏離之區塊之單位來進行。舉例而言，框間/內部模式決策可以圖像10細分成之寫碼區塊之級別來執行，且每一寫碼區塊均被細分成預測區塊。具有已決定使用內部預測之編碼區塊的預測區塊各自被細分為內部預測模式決策。為此，對於此等預測區塊中之各者，決定各別預測區塊應使用哪一所支援之內部預測模式。此等預測區塊將形成此處關注之區塊18。與框間預測相關聯之寫碼區塊內的預測區塊將由預測器44以不同方式處理。該等預測區塊將藉由判定運動向量及自參考圖像中由運動向量所指向之部位複製用於此區塊之預測信號而自參考圖像進行框間預測。另一區塊細分關於細分成變換區塊，變換器32及反變換器40以變換區塊為單位執行變換。經變換區塊可例如為進一步細分寫碼區塊之結果。當然，本文中所闡述之實例不應被視為限制性的，且亦存在其他實例。僅出於完整性起見，應注意，細分成寫碼區塊可例如使用多分樹細分，且預測區塊及/或變換區塊亦可藉由使用多分樹細分進一步細分寫碼區塊而獲得。
圖3中描繪適合圖1之編碼器14之用於逐區塊解碼之解碼器54或設備。此解碼器54與編碼器14之行為相反，亦即其以逐區塊方式自資料串流12解碼圖像10且為此目的支援多個內部預測模式。舉例而言，解碼器54可包含殘餘提供器156。上文關於圖1所論述的所有其他可能性對於解碼器54亦有效。為此，解碼器54可為靜止圖像解碼器或視訊解碼器且所有預測模式及預測可能性亦由解碼器54支援。編碼器14與解碼器54之間的差異主要在於以下事實：編碼器14根據某種最佳化而選取或選擇寫碼決策，例如以便最小化可取決於寫碼速率及/或寫碼失真之某一成本函數。此等寫碼選項或寫碼參數中之一者可涉及可用或經支援內部預測模式當中之待用於當前區塊18之一系列內部預測模式。選定的內部預測模式接著可在資料串流12內由編碼器14用信號通知給當前區塊18，其中解碼器54使用用於區塊18之資料串流12中之此傳信重新進行選擇。同樣，圖像10細分成區塊18可在編碼器14內進行最佳化，且對應的細分資訊可在資料串流12內傳送，其中解碼器54基於細分資訊恢復將圖像10細分成區塊18。綜上所述，解碼器54可為在區塊基礎上進行操作之預測性解碼器，且除內部預測模式之外，解碼器54可支援其他預測模式，諸如在例如解碼器54為視訊解碼器之情況下之框間預測模式。在解碼時，解碼器54亦可使用關於圖1論述的寫碼次序20，且因為編碼器14及解碼器54均遵守此寫碼次序20，所以相同相鄰樣本可用於編碼器14及解碼器54處之當前區塊18。因此，為了避免不必要的重複，就圖像10細分成區塊而言，例如就預測而言及就預測殘差之寫碼而言，編碼器14之操作模式之描述亦應適用於解碼器54。差異在於以下事實：編碼器14藉由最佳化來選取一些寫碼選項或寫碼參數，且在資料串流12內傳信寫碼參數或將寫碼參數插入至資料串流12中，該等寫碼參數接著藉由解碼器54自資料串流12導出以便重新進行預測、細分等。
圖4展示圖3之解碼器54之可能實施，亦即適合圖1之編碼器14之實施的實施，如圖2中所展示。由於圖4之編碼器54的許多元件與圖2之對應編碼器中出現的彼等元件相同，因此在圖4中使用具備撇號之相同參考符號以便指示此等元件。詳言之，加法器42'、可選迴路內濾波器46'及預測器44'以與其在圖2之編碼器中相同的方式連接至預測迴路中。應用於加法器42'之經重構，亦即經去量化及經再變換預測殘餘信號藉由以下各者之序列導出：熵解碼器56，其反向轉換熵編碼器28b之熵編碼；接著為殘餘信號重構級36'，其由反量化器38'及反變換器40'構成，正好與編碼側之情況相同。解碼器之輸出為圖像10之重構。圖像10之重構可直接在加法器42'之輸出端處或替代地在迴路內濾波器46'之輸出端處獲得。一些後置濾波器可配置在解碼器之輸出處以便使圖像10之重構進行一些後置濾波，以便改良圖像品質，但圖4中並未描繪此選項。
同樣，關於圖4，上面關於圖2提出之描述對於圖4亦應有效，除了僅編碼器執行最佳化任務及關於寫碼選項之相關聯決策之外。然而，關於區塊細分、預測、反量化及重變換的所有描述對於圖4之解碼器54亦有效。
3
仿射線性經加權內部預測器 (ALWIP)
特此論述關於ALWIP之一些非限制性實例，即使ALWIP並非一直必須體現此處論述的技術。
本申請案尤其涉及用於逐區塊圖像寫碼之經改良的基於區塊之預測模式概念，該概念諸如可用在諸如HEVC或HEVC之任何後續者的視訊編解碼器中。預測模式可為內部預測模式，但理論上本文中所描述的概念亦可傳送至框間預測模式上，其中參考樣本為另一圖像之一部分。
尋求基於區塊之預測概念，其允許諸如對硬體友好實施之高效實施。
此目標係藉由本申請案之獨立請求項的主題來達成。
內部預測模式廣泛地用於圖像及視訊寫碼中。在視訊寫碼中，內部預測模式與其他預測模式競爭，諸如框間預測模式，諸如運動補償預測模式。在內部預測模式中，基於相鄰樣本預測當前區塊，該等相鄰樣本亦即就編碼器側而言已經編碼且就解碼器側而言已經解碼之樣本。將相鄰樣本值外推至當前區塊中，以便形成用於當前區塊之預測信號，其中在用於當前區塊之資料串流中傳輸預測殘餘。預測信號愈佳，則預測殘差愈低，且相應地必需較低數目的位元以對預測殘差進行寫碼。
為了有效，應考慮若干態樣以便在逐區塊圖像寫碼環境中形成用於內部預測之有效構架。舉例而言，由編碼解碼器支援之內部預測模式之數目愈大，則將選擇傳信給解碼器之旁側資訊速率消耗愈大。另一方面，所支援之畫面內部預測模式的集合應能夠提供良好的預測信號，亦即，產生低預測殘餘之預測信號。
在下文中，揭示(作為比較實施例或基礎實例)用於自資料串流逐區塊解碼圖像之設備(編碼器或解碼器)，該設備支援至少一種內部預測模式，根據該內部預測模式，藉由將鄰近當前區塊之樣本的第一範本應用至仿射線性預測器上來判定用於圖像之預定大小之區塊的內部預測信號，該仿射線性預測器在下文中應被稱作仿射線性經加權內部預測器(ALWIP)。
該設備可具有以下屬性中之至少一者(其可適用於例如實施於非暫時性儲存單元中之方法或另一技術，該非暫時性儲存單元儲存在由處理器執行時使該處理器實施該方法及/或用作該設備之指令)：
3.1 預測器可與其他預測器互補
可形成下文進一步描述之實施改良之主題的內部預測模式可與編解碼器的其他內部預測模式互補。因此，其可分別與HEVC編碼解碼器中所定義之DC預測模式、平面預測模式或角度預測模式互補。the JEM reference software. 內部預測模式之後三種類型今後應被稱作習知內部預測模式。因此，對於內模式中之給定區塊，旗標需要由解碼器解析，從而指示是否將使用該設備支援之內部預測模式中之一者。
3.2 多於一個所提議的預測模式
該設備可含有多於一個ALWIP模式。因此，在解碼器已知將使用該設備所支援之ALWIP模式中之一者之情況下，該解碼器需要解析額外資訊，該額外資訊指示將使用該設備所支援之ALWIP模式中之哪一ALWIP模式。
所支援模式之傳信可具有如下屬性：一些ALWIP模式之寫碼可能需要比其他ALWIP模式少之位元子。此等模式中之哪些模式需要較少位元子且哪些模式需要較多位元子可取決於可自已解碼之位元串流提取的資訊，或可預先固定。
4
一些態樣
圖2展示用於自資料串流12解碼圖像之解碼器54。解碼器54可經組配以解碼圖像之預定區塊18。詳言之，預測器44可經組配以使用線性或仿射線性變換[例如，ALWIP]將與預定區塊18相鄰之P個相鄰樣本之集合映射至預定區塊之樣本的Q個預測值之集合上。
如圖5中所展示，預定區塊18包含待預測之Q個值(在操作結束時，其將為「預測值」)。若區塊18具有M列及N行，則Q=M▪N。區塊18之Q個值可在空間域(例如，像素)中或在變換域(例如，DCT，離散小波變換等)中。可基於自大體上鄰近於區塊18之相鄰區塊17a至17c獲取的P個值來預測區塊18之Q個值。相鄰區塊17a至17c之P個值可在最接近(例如，鄰近)區塊18之位置中。相鄰區塊17a至17c之P個值已被處理及預測。P個值指示為部分17'a至17'c中之值，以區分該等部分與其作為一部分(在一些實例中，不使用17'b)之區塊。
如圖6中所展示，為了執行預測，有可能與具有P個條目(每一條目係與相鄰部分17'a至17'c中之特定位置相關聯)之第一向量17P、具有Q個條目(每一條目係與區塊18中之特定位置相關聯)之第二向量18Q及映射矩陣17M (每一列係與區塊18中之特定位置相關聯，每一行係與相鄰部分17'a至17'c中之特定位置相關聯)一起操作。因此，映射矩陣17M根據預定模式執行將相鄰部分17'a至17'c之P個值預測成區塊18之值。映射矩陣17M中之條目可因此理解為加權因數。在以下段落中，將使用符號17a至17c代替17'a至17'c來指代邊界之相鄰部分。
在此項技術中，已知若干習知模式，諸如DC模式、平面模式及65個方向性預測模式。可能已知例如67種模式。
然而，已注意到，亦有可能利用不同模式，其在此處被稱作線性或仿射線性變換。線性或仿射線性變換包含P▪Q個加權因數，在該等加權因數當中，至少¼ P▪Q個加權因數係非零加權值，其針對Q個經預測值中之每一者，包含與各別經預測值有關之一系列P個加權因數。當在預定區塊之樣本當中根據光柵掃描次序而一個接一個地配置時，該系列形成全向非線性之包絡。
有可能映射相鄰值17'a至17'c (範本)之P個位置、相鄰樣本17'a至17'c之Q個位置，且在矩陣17M之P*Q個加權因數之值處進行映射。平面為用於DC變換之系列的包絡之實例(其為用於DC變換之平面)。包絡明顯為平面的，且因此被線性或仿射線性變換(ALWIP)之定義所排除。另一實例為產生角度模式之仿真的矩陣：包絡將自ALWIP定義排除，且坦言之，將看起來像沿著P/Q平面中之方向自上而下傾斜之山丘。平面模式及65種方向性預測模式將具有不同包絡，然而，其將在至少一個方向上為線性的，亦即例如用於經例示DC之所有方向及例如用於角度模式之山丘方向。
相反，線性或仿射變換之包絡將並非全向線性的。已理解，在一些情形中，此種變換對於執行區塊18之預測可為最佳的。已注意，較佳地，加權因數之至少¼不同於零(亦即，P*Q個加權因數中之至少25%不同於0)。
根據任何常規的映射規則，該等加權因數可能彼此不相關。因此，矩陣17M可使得其條目之值不具有明顯可辨識之關係。舉例而言，加權因數無法由任何分析或差分函數描述。
在實例中，ALWIP變換使得有關於各別經預測值之第一系列加權因數與有關於除各別經預測值以外之經預測值的第二系列加權因數或後一系列之反轉版本-無論何者導致較高最大值-之間的交叉相關之最大值之均值可低於預定臨限值(例如，0.2或0.3或0.35或0.1，例如，在0.05與0.035之間的範圍內之臨限值)。舉例而言，對於ALWIP矩陣17M之每一對列(i
1，i
2)，可藉由將第i
1列之P個值乘以第i
2列之P個值來計算交叉相關。對於每一經獲得交叉相關，可獲得最大值。因此，可針對整個矩陣17M獲得均值(平均值)(亦即，平均化所有組合中之交叉相關的最大值)。此後，臨限值可為例如0.2或0.3或0.35或0.1，例如，在0.05與0.035之間的範圍內的臨限值。
區塊17a至17c之P個相鄰樣本可沿著一維路徑定位，該一維路徑沿著預定區塊18之邊界(例如，18c、18a)延伸。對於預定區塊18之Q個預測值中之各者，可按在預定方向(例如，自左向右，自上而下等)上遍歷一維路徑之方式對與各別預測值有關之該系列P個加權因數進行排序。
在實例中，ALWIP矩陣17M可為非對角或非區塊對角的。
用於自4個已預測之相鄰樣本來預測4×4區塊18的ALWIP矩陣17M之實例可為：
{
{ 37, 59, 77, 28},
{ 32, 92, 85, 25},
{ 31, 69, 100, 24},
{ 33, 36, 106, 29},
{ 24, 49, 104, 48},
{ 24, 21, 94, 59},
{ 29, 0, 80, 72},
{ 35, 2, 66, 84},
{ 32, 13, 35, 99},
{ 39, 11, 34, 103},
{ 45, 21, 34, 106},
{ 51, 24, 40, 105},
{ 50, 28, 43, 101},
{ 56, 32, 49, 101},
{ 61, 31, 53, 102},
{ 61, 32, 54, 100}
}。
(此處，{ 37, 59, 77, 28}為矩陣17M之第一列；{ 32, 92, 85, 25}為第二列；且{ 61, 32, 54, 100}為第16列。) 矩陣17M具有尺寸16×4，且包括64個加權因數(由於16*4=64)。此係因為矩陣17M具有尺寸Q×P，其中Q=M*N，其為待預測之區塊18的樣本數目(區塊18為4×4區塊)，且P為已預測樣本之樣本數目。此處，M=4，N=4，Q=16 (由於M*N=4*4=16)，P=4。該矩陣為非對角及非區塊對角的，且不由特定規則描述。
如可看出，少於¼的加權因數係0 (在上文所展示之矩陣之情況下，六十四個當中之一個加權因數為零)。當根據光柵掃描次序一個接一個地配置時，由此等值形成之包絡形成全向非線性之包絡。
即使主要參考解碼器(例如，解碼器54)論述以上解釋，但該解釋可在編碼器(例如，編碼器14)處執行。
在一些實例中，對於每一區塊大小(在區塊大小之集合中)，用於各別區塊大小之內部預測模式之第二集合內的內部預測模式之ALWIP變換為彼此不同的。另外或替代地，用於區塊大小之集合中之區塊大小的內部預測模式之第二集合之基數可一致，但用於不同區塊大小之內部預測模式之第二集合內的內部預測模式之相關聯的線性或仿射線性變換不可藉由按比例調整來彼此轉換。
在一些實例中，可定義ALWIP變換，其方式為使得其與習知變換「無共用部分」(例如，ALWIP變換可能與對應習知變換「無」共用部分，即使該等變換已經由以上映射中之一者映射)。
在實例中，ALWIP模式用於亮度分量及色度分量二者，但在其他實例中，ALWIP模式用於亮度分量但不用於色度分量。
5
具有編碼器加速之仿射線性經加權 內部預測 模式 ( 例如，測試 CE3-1.2.1) 5.1 方法或設備之描述
在CE3-1.2.1中測試之仿射線性經加權內部預測(ALWIP)模式可與在測試CE3-2.2.2下在JVET-L0199中提議之模式相同，除了以下改變以外：
· 與多參考線(MRL)內部預測(尤其編碼器估計及傳信)之協調，亦即MRL不與ALWIP組合且傳輸MRL索引被限於非ALWIP區塊。
· 現在必須對所有W×H≥32×32的區塊進行子取樣(以前對於32×32係任選的)；因此，已刪除了編碼器處之發送子取樣旗標之額外測試。
· 藉由分別減少取樣至32×N及N×32並應用對應的ALWIP模式，已添加了用於64×N及N×64區塊(其中N≤32)的ALWIP。
此外，測試CE3-1.2.1包括用於ALWIP之以下編碼器最佳化：
· 經組合模式估計：習知及ALWIP模式使用用於全部RD估計之共用哈達馬德候選者清單，亦即ALWIP模式候選者基於哈達馬德成本添加至與習知(及MRL)模式候選者相同的清單。
· 針對經組合模式清單支援EMT內快速及PB內快速，其中額外最佳化用於縮減完整RD檢查之數目。
· 按照與習知模式相同的方法，僅將可用的左側及上方區塊的MPM添加至該清單，以進行ALWIP的完整RD估計。
5.2 複雜度評定
在測試CE3-1.2.1中，不包括調用離散餘弦變換的計算，每一樣本最多需要12次乘法才能產生預測信號。此外，總共需要136492個參數，每一參數16個位元。此對應於0.273百萬位元組的記憶體。
5.3 實驗結果
根據共同測試條件JVET-J1010 [2]對具有VTM軟體3.0.1版本的僅框內(AI)及隨機存取(RA)組配執行測試評估。在具有Linux OS及GCC 7.2.1編譯器的Intel Xeon集群(E5-2697A v4，AVX2打開，英特爾睿頻加速技術(turbo boost)關閉)上進行了對應的模擬。
表1 . 用於VTM AI 組配之CE3 -1 .2 .1 的結果
表2 . 用於VTM RA 組配之CE3 -1 .2 .1 的結果
5.4 複雜性降低之仿射線性經加權內部預測 ( 例如測試CE3 -1 .2 .2 )
| Y | U | V | 編碼時間 | 解碼時間 | |
| 種類A1 | -2,08% | -1,68% | -1,60% | 155% | 104% |
| 種類A2 | -1,18% | -0,90% | -0,84% | 153% | 103% |
| 種類B | -1,18% | -0,84% | -0,83% | 155% | 104% |
| 種類C | -0,94% | -0,63% | -0,76% | 148% | 106% |
| 種類E | -1,71% | -1,28% | -1,21% | 154% | 106% |
| 總計 | -1,36% | -1,02% | -1,01% | 153% | 105% |
| 種類D | -0,99% | -0,61% | -0,76% | 145% | 107% |
| 種類F (可選) | -1,38% | -1,23% | -1,04% | 147% | 104% |
| Y | U | V | 編碼時間 | 解碼時間 | |
| 種類A1 | -1,25% | -1,80% | -1,95% | 113% | 100% |
| 種類A2 | -0,68% | -0,54% | -0,21% | 111% | 100% |
| 種類B | -0,82% | -0,72% | -0,97% | 113% | 100% |
| 種類C | -0,70% | -0,79% | -0,82% | 113% | 99% |
| 種類E | |||||
| 總計 | -0,85% | -0,92% | -0,98% | 113% | 100% |
| 種類D | -0,65% | -1,06% | -0,51% | 113% | 102% |
| 種類F (可選) | -1,07% | -1,04% | -0,96% | 117% | 99% |
CE2中所測試之技術係關於JVET-L0199 [1]中所描述之「仿射線性內部預測」，但就內存要求及計算複雜度而言簡化了該技術：
· 可僅存在三組不同的預測矩陣(例如S
0，S
1，S
2，亦參見下文)及偏差向量(例如用於提供偏移值)覆蓋所有區塊形狀。因此，參數之數目縮減至14400個10位元值，此比在
CTU中儲存的記憶體要少。
· 預測器之輸入及輸出大小經進一步縮減。此外，代替經由DCT變換邊界，可對邊界樣本執行平均化或減少取樣，並且預測信號之產生可使用線性內插代替逆DCT。因此，為了產生預測信號，每一樣本最多可需要四次乘法。
6. 實例
此處論述如何運用ALWIP預測執行一些預測(例如，如圖6中所展示)。
原則上，參考圖6，為了獲得待預測的M×N區塊18之Q=M*N個值，應執行將Q×P ALWIP預測矩陣17M的Q*P個樣本乘以P×1相鄰向量17P之P個樣本。因此，一般而言，為了獲得待預測的M×N區塊18的Q=M*N個值中之每一者，至少需要P=M+N次值乘法。
此等乘法具有極其不合需要的效應。邊界向量17P之尺寸P通常取決於與待預測的M×N區塊18鄰近(例如，與之相鄰)的邊界樣本(位元子或像素) 17a、17c的數量M+N。此意謂，若待預測的區塊18之大小較大，則邊界像素(17a，17c)的數量M+N相應地較大，因此增加了P×1邊界向量17P的尺寸P=M+N，及Q×P ALWIP預測矩陣17M的每一列的長度，以及相應地，亦增加必需的乘數之數量(一般而言，Q=M*N=W*H，其中寬度(W)係N之另一符號且高度(H)係M之另一符號；在邊界向量僅由一列及/或一行樣本形成之情況下，P為P=M+N=H+W)。
一般而言，以下事實會加劇此問題：在基於微處理器之系統(或其他數位處理系統)中，乘法通常為消耗功率的運算。可想像，針對大量區塊的極大量樣本進行的大量乘法會導致計算功率之浪費，此通常為不合需要的。
因此，較佳地，縮減預測M×N區塊18所必需的乘法之數目Q*P。
已理解，有可能藉由智慧型地選擇替代乘法並且更易於處理之運算，來在某種程度上縮減待預測的每一區塊18之每一內部預測所必需的計算功率。
詳言之，參考圖7.1至圖7.4，已理解，編碼器或解碼器可使用多個相鄰樣本(例如17a，17c)藉由以下操作來預測圖像的預定區塊(例如18)：
縮減(例如在步驟811處) (例如藉由平均化或減少取樣)多個相鄰樣本(例如17a，17c)以獲得相較於多個相鄰樣本在樣本數目上較低之樣本值之縮減的集合，
對經縮減樣本值集合進行(例如在步驟812處)線性或仿射線性變換，以獲得預定區塊的預定樣本之經預測值。
在一些情況下，解碼器或編碼器亦可例如藉由內插基於用於預定樣本及多個相鄰樣本之經預測值導出用於預定區塊之其他樣本的預測值。因此，可獲得增加取樣策略。
在實例中，有可能對邊界17之樣本執行(例如，在步驟811處)一些平均化，以便獲得具有經縮減樣本數目之經縮減樣本集合102 (圖7.1至圖7.4) (經縮減樣本數目102之樣本中之至少一者可為原始邊界樣本或一系列原始邊界樣本中之兩個樣本的平均值)。舉例而言，若原始邊界具有P=M+N個樣本，則經縮減樣本集合可具有P
red=M
red+N
red，其中M
red＜M及N
red＜N中之至少一者，使得P
red＜P。因此，將實際上用於預測(例如在步驟812b處)之邊界向量17P將不具有P×1個條目但具有P
red×1個條目，其中P
red＜P。類似地，針對預測所選擇的ALWIP預測矩陣17M將不具有Q×P尺寸，但具有Q×P
red(或Q
red×P
red，參見下文)，其具有矩陣之經縮減數目個元素，至少因為P
red＜P (藉助於M
red＜M及N
red＜N中之至少一者)。
在一些實例(例如，圖7.2、圖7.3)中，甚至有可能進一步減少乘法之數目，若藉由ALWIP獲得之區塊(在步驟812處)為大小為
之經縮減區塊，其中
及/或
(亦即，直接藉由ALWIP預測之樣本相較於實際上待預測之區塊18之樣本在數目上較少)。因此，設定
，此將藉由使用Q
red*P
red乘法而非Q*P
red乘法(其中Q
red*P
red＜Q*P
red＜Q*P)獲得ALWIP預測。此乘法將預測經縮減區塊，其尺寸為
。儘管如此，將有可能執行(例如，在後續步驟813處)自經縮減
預測區塊至最終的M×N預測區塊的增加取樣(例如，藉由內插獲得)。
此等技術可為有利的，此係由於雖然矩陣乘法涉及經縮減的乘法數目(Q
red*P
red或Q*P
red)，但初始縮減(例如，平均化或減少取樣)及最終變換(例如內插)二者均可藉由縮減(或甚至避免)乘法來執行。舉例而言，減少取樣、平均化及/或內插可藉由採用非計算功率需求的二進位運算(諸如加法及移位)來執行(例如在步驟811及/或813處)。
並且，加法係極容易的運算，其無需大量的計算工作即可容易地執行。
此移位運算可例如用於平均化兩個邊界樣本及/或用於內插(或自邊界取得之)經縮減之經預測區塊的兩個樣本(支援值)，以獲得最終的經預測區塊。(對於內插，必須有兩個樣本值。在該區塊內，吾人一直具有兩個預定值，但對於沿區塊的左邊界及上方邊界內插樣本，吾人僅具有一個預定值，如圖7.2中，因此吾人使用邊界樣本作為內插的支援值。)
可使用二步驟程序，諸如：
首先對兩個樣本之值求和；
接著將總和的值減半(例如，藉由向右移位)。
替代地，有可能：
首先將樣本中之每一者減半(例如，藉由向左移位)；
接著對兩個經減半樣本的值求和。
當減少取樣(例如，在步驟811處)時，可執行甚至更容易的運算，因為僅需要在樣本之群組(例如，彼此鄰近之樣本)中選擇一個樣本。
因此，現在有可能界定用於縮減待執行之乘法的數目之技術。此等技術中之一些可尤其基於以下原理中之至少一者：
即使實際上預測的區塊18具有大小M×N，亦可減小區塊(在兩個維度中的至少一者上)，且可應用具有減小的大小Q
red×P
red的ALWIP矩陣 (其中
,，P
red=N
red+M
red，其中
及/或
及/或M
red＜M及/或N
red＜N)。因此，邊界向量17P將具有大小P
red×1，僅意指P
red＜P乘法 (其中P
red= M
red+ N
red且P=M+N)。
P
red×1邊界向量17P可自原始邊界17容易地獲得，例如：
藉由減少取樣(例如藉由僅選擇邊界之一些樣本)；及/或
藉由平均化邊界之多個樣本(該邊界可藉由加法及移位而不使用乘法之情況下容易地獲得)。
另外或替代地，替代藉由乘法預測待預測之區塊18之所有Q=M*N值，有可能僅預測具有經縮減尺寸之經縮減區塊(例如，
，其中
及/或
)。將藉由內插例如使用Q
red樣本作為用於待預測之剩餘的Q-Q
red值之支援值來獲得待預測之區塊18的剩餘的樣本。
根據圖7.1中所說明之一實例，將預測4×4區塊18 (M=4，N=4，Q=M*N=16)，且已經在先前反覆下預測樣本17a (具有四個已經預測之樣本的豎直列行)及17c (具有四個已經預測之樣本的水平列)之鄰域17 (鄰域17a及17c可共同由17指示)。先驗地，藉由使用圖5中所展示之等式，預測矩陣17M應為Q×P=16×8矩陣(藉助於Q=M*N=4*4且P=M+N=4+4=8)，邊界向量17P應具有8×1尺寸(藉助於P=8)。然而，此將驅使對於待預測的4×4區塊18之16個樣本中之每一者執行8次乘法的必要性，因此導致總共需要執行16*8=128次乘法。(應注意，每一樣本之乘法之平均數目為對計算複雜度之良好評定。對於習知內部預測，每一樣本需要四次乘法，且此增加待涉及之計算工作。因此，可使用此作為ALWIP之上限，將確保複雜度係合理的並且不超過習知內部預測之複雜度。)
儘管如此，已理解，藉由使用本發明技術，有可能在步驟811處將與待預測的區塊18相鄰的樣本17a及17c之數目自P縮減至P
red＜P。詳言之，已理解，有可能平均化(例如在圖7.1中之100處)彼此鄰近之邊界樣本(17a，17c)，以獲得具有兩個水平列及兩個豎直行之經縮減邊界102，因此將2×2區塊用作區塊18 (經縮減邊界係藉由經平均化值形成)。替代地，有可能執行減少取樣，因此選擇用於列17c之兩個樣本及用於行17a之兩個樣本。因此，替代具有四個原始樣本之水平列17c經處理為具有兩個樣本(例如經平均化樣本)，而最初具有四個樣本之豎直行17a經處理為具有兩個樣本(例如經平均化樣本)。亦有可能理解，在細分每兩個樣本的群組110中之列17c及行17a之後，維持單個樣本(例如，群組110之樣本的平均值或群組110之樣本當中的簡單選擇)。因此，藉助於僅具有四個樣本之集合102而獲得所謂的經縮減樣本值集合102 (M
red=2，N
red=2，P
red=M
red+N
red=4，其中P
red＜P)。
已理解，有可能執行運算(諸如平均化或減少取樣100)而無需在處理器層級下實行太多的乘法：在步驟811執行之平均化或減少取樣100可簡單地藉由直接的且計算上非功率消耗運算(諸如加法及移位)來獲得。
已理解，此時，可對經縮減樣本值集合102進行線性或仿射線性(ALWIP)變換19 (例如，使用諸如圖5的矩陣17M之預測矩陣)。在此情況下，ALWIP變換19直接將四個樣本102映射至區塊18之樣本值104上。在當前情況下，不需要內插。
在此情況下，ALWIP矩陣17M具有尺寸Q×P
red=16×4：此遵循以下事實：待預測的區塊18之所有Q=16個樣本均藉由ALWIP乘法直接獲得(不需要內插)。
因此，在步驟812a處，選擇具有尺寸Q×P
red之合適的ALWIP矩陣17M。該選擇可至少部分地基於例如自資料串流12之傳信。選定的ALWIP矩陣17M亦可運用A
k來指示，其中k可理解為索引，其可在資料串流12中傳信(在一些情況下，該矩陣亦指示為
，參見下文)。該選擇可根據以下方案執行：對於每一尺寸(例如，待預測之區塊18的高度/寬度配對)，在例如矩陣之三個集合S
0、S
1、S
2中之一者當中選擇ALWIP矩陣17M (三個集合S
0、S
1、S
2中之每一者可對具有相同尺寸之多個ALWIP矩陣17M進行分組，且待針對預測選擇的ALWIP矩陣將為其中之一者)。
在步驟812b處，執行選定的Q×P
redALWIP矩陣17M (亦經指示為A
k)與P
red×1邊界向量17P之間的乘法。
在步驟812c處，可將偏移值(例如，b
k)與例如藉由ALWIP獲得之向量18Q的所有經獲得值104相加。偏移值(b
k或在一些情況下亦運用
指示，參見下文)可與特定的選定ALWIP矩陣(A
k)相關聯，且可基於索引(例如，其可在資料串流12中傳信)。
因此，此處恢復使用本發明技術與不使用本發明技術之間的比較：
在不具有本發明技術之情況下：
待預測之區塊18，該區塊具有尺寸M=4，N=4；
待預測之Q=M*N=4*4=16個值；
P=M+N=4+4=8個邊界樣本
用於待預測之Q=16個值中之每一者的P=8次乘法
總數目達P*Q=8*16=128之乘法；
在本發明技術之情況下，吾人具有：
待預測之區塊18，該區塊具有尺寸M=4，N=4；
待在結束時預測之Q=M*N=4*4=16個值；
邊界向量之經縮減尺寸：P
red=M
red+N
red=2+2=4；
用於待藉由ALWIP預測之Q=16個值中之每一者的P
red=4次乘法，
總數目P
red*Q=4*16=64次乘法(128的一半!)
乘法之數目與待獲得之最終值的數目之間的比率為P
red*Q/Q=4，亦即用於每一待預測的樣本之P=8個乘法的不到一半！
如可理解，藉由依賴於諸如平均化的直接且計算上功率要求不高的運算(且，在加法及/或移位及/或減少取樣之情況下)，有可能在步驟812處獲得適當的值。
參考圖7.2，待預測之區塊18此處為64個樣本之8×8區塊(M=8，N=8)。此處，先驗地，預測矩陣17M應具有大小Q×P=64×16 (Q=64，藉助於Q=M*N=8*8=64，M=8且N=8並且藉助於P=M+N=8+8=16)。因此，先驗地，將需要用於待預測之8×8區塊18之Q=64個樣本中之每一者的P=16次乘法，以得到用於整個8×8區塊18之64*16=1024次乘法！
然而，如圖7.2中可見，可提供方法820，根據該方法，代替使用邊界之所有16個樣本，僅使用8個值(例如，邊界之原始樣本之間的水平邊界列17c中之4及豎直邊界行17a中之4)。自邊界列17c，可使用4個樣本代替8個樣本(例如，其可為二乘二之平均值及/或自兩個樣本選擇一個樣本)。因此，邊界向量並非P×1=16×1向量，而僅為P
red×1=8×1向量(P
red=M
red+N
red=4+4)。已理解，有可能選擇或平均化(例如，二乘二)水平列17c之樣本及豎直行17a之樣本以僅具有P
red=8個邊界值，而非原始的P=16個樣本，從而形成經縮減樣本值集合102。此經縮減集合102將准許獲得區塊18之經縮減版本，經縮減版本具有Q
red=M
red*N
red=4*4=16個樣本(而非Q=M*N=8*8=64)。有可能應用ALWIP矩陣以用於預測具有大小M
red×N
red=4×4之區塊。區塊18之經縮減版本包括在圖7.2之方案106中運用灰色指示之樣本：運用灰色正方形指示之樣本(包括樣本118'及118'')形成4×4經縮減區塊，其具有在進行步驟812獲得之Q
red=16個值。藉由在進行步驟812時應用線性轉換19而獲得4×4經縮減區塊。在獲得4×4經縮減區塊之值之後，有可能例如藉由內插獲得剩餘的樣本(在方案106中運用白色樣本指示之樣本)之值。
關於圖7.1之方法810，此方法820可另外包括例如藉由內插導出用於待預測之M×N=8×8區塊18的剩餘的Q-Q
red=64-16=48個樣本(白色正方形)之預測值的步驟813。剩餘的Q-Q
red=64-16=48個樣本可藉由內插自Q
red=16個直接獲得之樣本獲得(該內插亦可利用例如邊界樣本之值)。如圖7.2中可見，雖然在步驟812處已經獲得樣本118'及118'' (如由灰色正方形指示)，但樣本108' (在樣本118'與118''中間且運用白色正方形指示)在步驟813處藉由樣本118'與118''之間的內插獲得。已理解，內插亦可藉由類似於用於平均化的運算(諸如，移位及加法)來獲得。因此，在圖7.2中，通常可將值108'判定為樣本118'的值與樣本118''的值之間的中間值(其可為平均值)。
藉由執行內插，在步驟813處，亦有可能基於在104中指示之多個樣本值而得到M×N=8×8區塊18之最終版本。
因此，使用本發明技術與不使用本發明技術之間的比較係：
在不具有本發明技術之情況下：
待預測之區塊18，該區塊具有尺寸M=8，N=8，及區塊18中之待預測之Q=M*N=8*8=64個樣本；
邊界17中之P=M+N=8+8=16個樣本；
用於待預測之Q=64個值中之每一者的P=16次乘法，
總數目P*Q=16*64=1028次乘法
乘法之數目與待獲得之最終值之數目之間的比率係P*Q/Q=16
在具有本發明技術之情況下：
待預測之區塊18，其具有尺寸M=8，N=8
待在結束時預測之Q=M*N=8*8=64個值；
僅待使用之Q
red×P
redALWIP矩陣，其中P
red=M
red+N
red，Q
red= M
red*N
red，M
red=4，N
red=4
邊界中之P
red=M
red+N
red=4+4=8個樣本，其中P
red＜P
用於待預測之4×4經縮減區塊(在方案106中由灰色正方形形成)之Q
red=16個值中之每一者的P
red=8次乘法，
總數目P
red*Q
red=8*16=128次乘法 (比1024小得多!)
乘法之數目與待獲得之最終值之數目之間的比率係P
red*Q
red/Q=128/64=2 (比在不具有本發明技術之情況下獲得之16小得多！)。
因此，特此呈現之技術對功率之需求比前一個技術少8倍。
圖7.3展示另一實例(其可基於方法820)，其中待預測之區塊18為矩形4×8區塊(M=8，N=4)，其具有待預測之Q=4*8=32個樣本。邊界17係藉由具有N=8個樣本之水平列17c及具有M=4個樣本之豎直行17a形成。因此，先驗地，邊界向量17P將具有尺寸P×1=12×1，而預測ALWIP矩陣應為Q×P=32×12矩陣，因此使得需要Q*P=32*12=384次乘法。
然而，有可能例如平均化或減少取樣水平列17c之至少8個樣本，以獲得僅具有4個樣本(例如，經平均化樣本)之經縮減水平列。在一些實例中，豎直行17a將保持原樣(例如不進行平均化)。總而言之，經縮減邊界將具有尺寸P
red=8，其中P
red＜P。因此，邊界向量17P將具有尺寸P
red×1=8×1。ALWIP預測矩陣17M將為具有尺寸M*N
red*P
red=4*4*8=64之矩陣。直接在進行步驟812時獲得之4×4經縮減區塊(在方案107中藉由灰色行形成)將具有大小Q
red=M*N
red=4*4=16個樣本(而非待預測之原始4×8區塊18的Q=4*8=32)。一旦藉由ALWIP獲得經縮減4×4區塊，則有可能在步驟813處添加偏移值b
k(步驟812c)且執行內插。如可在圖7.3中之步驟813處看出，經縮減4×4區塊擴增至4×8區塊18，其中未在步驟812處獲得之值108'藉由內插在步驟812處獲得之值118'及118''(灰色正方形)而在步驟813處獲得。
因此，使用本發明技術與不使用本發明技術之間的比較係：
在不具有本發明技術之情況下：
待預測之區塊18，該區塊具有尺寸M=4，N=8
待預測之Q=M*N=4*8=32個值；
邊界中之P=M+N=4+8=12個樣本；
用於待預測之Q=32個值中之每一者的P=12次乘法，
總數目P*Q=12*32=384次乘法
乘法之數目與待獲得之最終值之數目之間的比率係P*Q/Q=12
在具有本發明技術之情況下：
待預測之區塊18，該區塊具有尺寸M=4，N=8
待在結束時預測之Q=M*N=4*8=32個值；
但可使用Q
red×P
red=16×8 ALWIP矩陣，其中M=4，N
red=4，Q
red=M*N
red=16，P
red=M+N
red=4+4=8
邊界中之P
red=M+N
red=4+4=8個樣本，其中P
red＜P
用於待預測之經縮減區塊之Q
red=16個值中之每一者的P
red=8次乘法，
Q
red*P
red=16*8=128次乘法之之一總數目(少於384!)
乘法之數目與待獲得之最終值之數目之間的比率係P
red*Q
red/Q=128/32=4 (比在不具有本發明技術之情況下獲得之12小得多！)。
因此，在具有本發明技術之情況下，計算工作經縮減至三分之一。
圖7.4展示待預測之具有尺寸M×N=16×16且待在結束時預測之具有Q=M*N=16*16=256個值的區塊18之情況，該區塊具有P=M+N=16+16=32個邊界樣本。此將產生具有尺寸Q×P=256×32之預測矩陣，其將暗示256*32=8192次乘法!
然而，藉由應用方法820，有可能在步驟811處(例如藉由平均化或減少取樣)將邊界樣本之數目例如自32縮減至8：例如，對於列17a之四個連續樣本的每一群組120，仍存在單個樣本(例如，選自四個樣本，或樣本的平均值)。亦對於行17c之四個連續樣本的每一群組，仍存在單個樣本(例如，選自四個樣本，或樣本之平均值)。
此處，ALWIP矩陣17M為Q
red×P
red=64×8矩陣：此係由於選擇了P
red=8 (藉由使用來自邊界之32個樣本之8個經平均化或選定的樣本)之事實及待在步驟812處預測之經縮減區塊為8×8區塊(在方案109中，灰色正方形係64)之事實。
因此，一旦在步驟812處獲得經縮減8×8區塊之64個樣本，則有可能在步驟813處導出待預測之區塊18的剩餘的Q-Q
red=256-64=192個值104。
在此情況下，為了執行內插，已經選擇使用邊界行17a之所有樣本及邊界列17c中之僅替代的樣本。可進行其他選擇。
在具有本發明方法時，乘法之數目與最終獲得值之數目之間的比率係Q
red*P
red/Q=8*64/256=2，其比在不具有本發明技術之情況下用於每一值之32次乘法小得多!
使用本發明技術與不使用本發明技術之間的比較係：
在不具有本發明技術之情況下：
待預測之區塊18，該區塊具有尺寸M=16，N=16
待預測之Q=M*N=16*16=256個值；
邊界中之P=M+N=16*16=32個樣本；
用於待預測之Q=256個值中之每一者的P=32次乘法，
總數目P*Q=32*256=8192次乘法；
乘法之數目與待獲得之最終值之數目之間的比率係P*Q/Q=32
在具有本發明技術之情況下：
待預測之區塊18，該區塊具有尺寸M=16，N=16
待在結束時預測之Q=M*N=16*16=256個值；
但將使用Q
red×P
red=64×8 ALWIP矩陣，其中M
red=4，N
red=4，待藉由ALWIP預測之Q
red=8*8=64個樣本，P
red=M
red+N
red=4+4=8
邊界中之P
red=M
red+N
red=4+4=8個樣本，其中P
red＜P
用於待預測之經縮減區塊之Q
red=64個值中之每一者的P
red=8次乘法，
總數目Q
red*P
red=64*4=256次乘法(少於8192!)
乘法之數目與待獲得之最終值之數目之間的比率係PP
red*Q
red/Q=8*64/256=2 (比在不具有本發明技術之情況下獲得之32小得多)。
因此，本發明技術所需之計算功率比傳統技術小16倍！
因此，有可能使用多個相鄰樣本(17)藉由以下操作預測圖像之預定區塊(18)：
縮減(100，813)多個相鄰樣本以獲得相較於多個相鄰樣本(17)在樣本數目上較低之經縮減樣本值集合(102)，
使經縮減樣本值集合(102)進行(812)線性或仿射線性變換(19，17M)以獲得用於預定區塊(18)之預定樣本(104，118'，188'')之經預測值。
詳言之，有可能藉由減少取樣多個相鄰樣本以獲得相較於多個相鄰樣本(17)在樣本數目上較低之經縮減樣本值集合(102)來執行縮減(100，813)。
替代地，有可能藉由平均化多個相鄰樣本以獲得相較於多個相鄰樣本(17)在樣本數目上較低之經縮減樣本值集合(102)來執行縮減(100，813)。
此外，有可能藉由內插基於用於預定樣本(104，118'，118'')及多個相鄰樣本(17)之經預測值來導出(813)用於預定區塊(18)之其他樣本(108，108')的預測值。
多個相鄰樣本(17a，17c)可沿著預定區塊(18)的兩個側面(例如圖7.1至圖7.4中朝向右邊及朝向下方)在一維上擴展。預定樣本(例如藉由ALWIP在步驟812中獲得之樣本)亦可以列及行配置，且沿著列及行中之至少一者，預定樣本可定位於自預定樣本112之毗鄰預定區塊18的二側之樣本(112)開始的每一第n位置處。
基於多個相鄰樣本(17)，有可能針對列及行中之至少一者中的每一者判定用於多個相鄰位置中之一者(118)的支援值(118)，該支援值與列及行中之至少一者中之各別者對準。亦有可能藉由內插基於用於預定樣本(104，118'，118'')之經預測值及用於相鄰樣本(118)之與列及行中之至少一者對準的支援值導出用於預定區塊(18)之其他樣本(108，108')之預測值118。
預定樣本(104)可沿著列定位於自毗連預定區塊18之兩個側面的樣本(112)開始的每一第n位置處，且預定樣本沿著行定位於自(112)毗連預定區塊(18)之兩個側面的預定樣本的樣本(112)開始之每一第m位置處，其中n, m＞1。在一些情況下，n=m (例如，在圖7.2及圖7.3中，其中直接藉由ALWIP在812處獲得且運用灰色正方形指示之樣本104、118'、118''沿著列及行交替至隨後在步驟813處獲得之樣本108、108')。
沿著列(17c)及行(17a)中之至少一者，可能例如藉由針對每一支援值減少取樣或平均化(122)多個相鄰樣本內之相鄰樣本的群組(120)來執行判定支援值，該群組包括判定各別支援值所針對之相鄰樣本(118)。因此，在圖7.4中，在步驟813處，有可能藉由使用預定樣本118''' (先前在步驟812處獲得)及相鄰樣本118之值作為支援值來獲得樣本119的值。
多個相鄰樣本可沿著預定區塊(18)的兩個側面在一維上擴展。可能藉由將多個相鄰樣本(17)分組成一或多個連續相鄰樣本之群組(110)且對一或多個相鄰樣本之群組(110)中之每一者執行減少取樣或平均化來執行縮減(811)，該群組具有兩個或更多個相鄰樣本。
在實例中，線性或仿射線性變換可包含P
red*Q
red或P
red*Q加權因數，其中P
red係經縮減樣本值集合內之樣本值(102)的數目，且Q
red或Q為預定區塊(18)內之預定樣本的數目。至少¼ P
red*Q
red或¼ P
red*Q加權因數為非零加權值。P
red*Q
red或P
red*Q加權因數可針對Q或Q
red預定樣本中之每一者包含關於各別預定樣本之一系列P
red加權因數，其中該等系列在根據光柵掃描次序在預定區塊(18)之預定樣本當中一個配置在另一個下方時形成全向非線性之包絡。P
red*Q或P
red*Q
red加權因數可經由任何常規映射規則而彼此不相關。關於各別預定樣本之第一系列的加權因數與關於除各別預定樣本之外的預定樣本之第二系列的加權因數或後一系列的反向版本之間的交叉相關之最大值(無論任何均產生較高最大值)的均值低於預定臨限值。預定臨限值可為0.3[或在一些情況下為0.2或0.1]。Pred相鄰樣本(17)可沿著一維路徑(其沿著預定區塊(18)之兩個側面延伸)定位，且對於Q或Qred預定樣本中之每一者，關於各別預定樣本之該等系列之Pred加權因數以在預定方向上遍歷一維路徑之方式排序。
6.1 方法及設備之描述
為了預測具有寬度
(亦運用N指示)及高度
(亦運用M指示)之矩形區塊的樣本，仿射線性經加權內部預測(ALWIP)可將一行在區塊左邊之H經重構相鄰邊界樣本及一行區塊上方之
經重構相鄰邊界樣本作為輸入。若經重構樣本不可用，則可如在習知內部預測中進行來產生該等經重構樣本。
產生預測信號(例如，用於完整的區塊18之值)可基於以下三個步驟中之至少一些：
1. 在邊界樣本17中，樣本102 (例如，在W=H=4之情況下的四個樣本及/或在其他情況下的八個樣本)可藉由平均化或減少取樣(例如，步驟811)而提取。
2. 可運用作為輸入之經平均化樣本(或自減少取樣剩餘的樣本)來實行矩陣向量乘法，之後為偏移之相加。結果可為關於原始區塊中之經子取樣樣本集的經縮減預測信號(例如，步驟812)。
3. 可例如藉由增加取樣自關於經子取樣集合之預測信號，例如藉由線性內插產生剩餘位置處之預測信號(例如，步驟813)。
由於步驟1. (811)及/或3. (813)，在計算矩陣向量乘積時所需之乘法之總數目可使得該數目始終小於或等於
。此外，僅藉由使用加法及位元移位來實行對邊界之平均化運算及經縮減預測信號之線性內插。換言之，在實例中，對於ALWIP模式，每一樣本至多需要四次乘法。
在一些實例中，生成預測信號所需之矩陣(例如，17M)及偏移向量(例如，b
k)可取自矩陣集合(例如，三個集合)，例如，
、
，該等集合例如儲存在解碼器及編碼器之儲存單元中。
在一些實例中，集合
可包含
(例如，
=16或
=18或另一數目)矩陣
{0,…,n
0-1}(例如，由其組成)，該等矩陣中之各者可具有16列及4行以及各自具有大小16之18個偏移向量
{0,…, n
0-1}，以根據圖7.1執行該技術。此集合之矩陣及偏移向量係用於具有大小
之區塊18。一旦邊界向量已經縮減至P
red=4向量(對於圖7.1之步驟811)，則有可能將經縮減樣本集合102之P
red=4樣本直接映射至待預測之4×4區塊18的Q=16樣本中。
在一些實例中，集合
可包含n
1(例如，
=8或
=18或另一數目)矩陣
{0,…,n
1-1} (例如，由其組成)，該等矩陣中之各者可具有16列及8行以及各自具有大小16之18個偏移向量
{0,…,n
1-1}，以根據圖7.2或圖7.3執行該技術。此集合S
1之矩陣及偏移向量可用於具有大小4×8、4×16、4×32、4×64、16×4、32×4、64×4、8×4及8×8之區塊。另外，其亦可用於具有大小
之區塊(其中
)，即用於具有大小4×16或16×4、4×32或32×4及4×64或64×4之區塊。16×8矩陣係指區塊18 (其為4×4區塊)之經縮減版本，如在圖7.2及圖7.3中所獲得。
另外或替代地，集合
可包含n
2(例如，
=6或
=18或另一數目)矩陣
{0,…,n
2-1}(例如，由其組成)，該等矩陣中之各者可具有64列及8行以及具有大小64之18個偏移向量
{0,…,n
2-1}。64×8矩陣係指區塊18 (其為8×8區塊)之經縮減版本，例如如在圖7.4中獲得。此集合之矩陣及偏移向量可用於具有大小
之區塊。
彼集合之矩陣及偏移向量或此等矩陣及偏移向量之部分可用於所有其他區塊形狀。
6.2 邊界之平均化或減少取樣
此處，提供關於步驟811之特徵。
如上文所解釋，邊界樣本(17a，17c)可經平均化及/或減少取樣(例如，自P個樣本至P
red＜P個樣本)。
在第一步驟中，輸入邊界
(例如17c)及
(例如17a)可縮減成較小邊界
及
以獲得經縮減集合102。此處，
及
二者在4×4區塊情況下由2個樣本組成且在其他情況下由4個樣本組成。
在4×4區塊之情況下，有可能界定
，
且類似地界定
。因此，
、
、
、
[1]為例如使用位元移位運算獲得之平均值。
在所有其他情況下(例如，對於具有不同於4之寬度或高度之區塊)，若區塊寬度W經給定為W
，則對於
，界定
。
且類似地界定
。
在另外其他情況下，有可能減少取樣邊界(例如，藉由自邊界樣本之群組選擇一個特定邊界樣本)以獲得經縮減樣本數目。舉例而言，
可選自
及
且
可選自
及
。亦有可能類似地界定
。
兩個經縮減邊界
及
可級聯至經縮減邊界向量
(與經縮減集合102相關聯)，亦用17P指示。經縮減邊界向量
因此可具有用於形狀
之區塊的大小四(P
red=4) (圖7.1之實例)及具有用於所有其他形狀之區塊的大小八(P
red=8) (圖7.2至圖7.4之實例)。
在此，若
(或矩陣集合中之矩陣之數目)，則有可能界定
若
，其對應於
之經轉置眾數，則有可能界定
因此，根據特定狀態(
)，有可能沿著不同掃描次序(例如，一種掃描次序：
)分配輸出向量之經預測值。
可實行其他策略。在其他實例中，眾數索引「模數」不必在0至35之範圍內(可界定其他範圍)。此外，不必三個集合S
0、S
1、S
2中之每一者具有18個矩陣(因此，代替如
之表達式，
0、
1、
2係可能的，該等眾數分別為每一矩陣集合S
0、S
1、S
2之矩陣的數目)。此外，該等集合可各自具有不同數目個矩陣(例如，S0可具有16個矩陣、S1可具有八個矩陣，且S2可具有六個矩陣)。
眾數及經轉置資訊未必作為一個經組合眾數索引「眾數」來儲存及/或傳輸：在一些實例中，有可能作為經轉置旗標及矩陣索引(用於S
0之0-15、用於S
1之0-7及用於S
2之0-5)明確地傳信。
在一些情況下，經轉置旗標及矩陣索引之組合可經解譯為索引集合。舉例而言，可存在作為經轉置旗標操作之一個位元及指示矩陣索引之一些位元，該等位元共同經指示為「集合索引」。
6.3 藉由矩陣向量乘法產生經縮減預測信號
此處，提供關於步驟812之特徵。
自經縮減輸入向量
(邊界向量17P)，可產生經縮減預測信號
。後一信號可為具有寬度
及高度
之經減少取樣區塊上之信號。此處，
及
可界定為：
； 若
否則。
可藉由計算矩陣向量乘積並加上偏移來計算經縮減預測信號
：
。
此處，
為矩陣(例如，預測矩陣17M)，其可具有
個列及在W=H=4時具有4個行且在所有其他情況下具有8個行，且
為可具有大小
之向量。
若
，則A可具有4行及16列且因此在這種情況下可需要每一樣本4次乘法以計算
。在所有其他情況下，A可具有8行且可驗證在此等情況下，使得
，即亦在此等情況下，每一樣本至多需要4次乘法來計算
。
矩陣A及向量
可自如下集合
、
中之一者取得。藉由設定
界定索引
，若
；界定索引
，若
；並在所有其他情況下界定索引
。此外，可使得
，若
，否則
。接著，若
或
且
，可使得
且
。在
=2且
之情況下，使
為藉由遺漏
之每一列而產生在矩陣，其在W=4之情況下對應於經減少取樣區塊中之奇數x座標，或在H=4之情況下對應於經減少取樣區塊中之奇數y座標。若
，則藉由其經轉置信號替代經縮減預測信號。在替代性實例中，可實行不同策略。舉例而言，代替縮減較大矩陣之大小(「遺漏」)，使用較小矩陣S
1(idx=1)，其中W
red=4且H
red=4。即，現在將此類區塊指派給S
1而非S
2。
可實行其他策略。在其他實例中，眾數索引「模數」不必在0至35之範圍內(可界定其他範圍)。此外，不必三個集合S
0、S
1、S
2中之每一者具有18個矩陣(因此，代替如
之表達式，
0 1 2係可能的，該等眾數分別為每一矩陣集合S
0、S
1、S
2之矩陣的數目)。此外，該等集合可各自具有不同數目個矩陣(例如，S0可具有16個矩陣、S1可具有八個矩陣，且S2可具有六個矩陣)。
6.4 用以產生最終預測信號之線性內插
此處，提供關於步驟812之特徵。
關於較大區塊之經子取樣預測信號之內插，可能需要經平均化邊界之第二版本。即，若
且
，則得出W
，且對於
，界定
。
若
且
，則類似地界定
。
另外或替代地，有可能「難以減少取樣」，其中
等於
又，可類似地界定
。
在產生
時遺漏之樣本位置處，最終預測信號可藉由線性內插自
產生(例如，圖7.2至圖7.4之實例中之步驟813)。在一些實例中，若
，則此線性內插可為不必要的(例如，圖7.1之實例)。
線性內插可給定如下(儘管如此，其他實例係可能的)。假定
。接著，若
，則可執行
之豎直增加取樣。在這種情況下，
可如下擴展一行至頂部。若
，則
可具有寬度
且可藉由經平均化邊界信號
擴展至頂部，例如如上文所界定。若
，則
具有寬度
且藉由經平均化邊界信號
擴展至頂部，例如如上文所界定。對於
之第一行，可得出
。接著，具有寬度
及高度
之區塊上之信號
可給定為
[x][2*y+1] =
[x][y]，
[x][2*y] =
[x][y-1] +
[x][y] + 1)＞＞1，
其中
且
。後一過程可實行k次，直至
為止。因此，若H=8或H=16，則其至多可實行一次。若H
，則該過程可實行二次。若H
，則該過程可實行三次。接下來，水平增加取樣運算可應用於豎直增加取樣之結果。後一增加取樣運算可使用預測信號左邊之完整邊界。最終，若
，則可藉由首先在水平方向上(必要時)且接著在豎直方向上增加取樣而類似地繼續進行。
此係使用用於第一內插(水平地或豎直地)之經縮減邊界樣本及用於第二內插(豎直地或水平地)之原始邊界樣本進行內插之實例。取決於區塊大小，僅需要第二內插或不需要內插。若需要水平及豎直內插，則次序取決於區塊之寬度及高度。
然而，可實施不同技術：例如，原始邊界樣本可用於第一及第二內插，且次序可為固定的，例如首先水平接著豎直(在其他情況下，首先豎直接著水平)。
因此，經縮減/原始邊界樣本之內插次序(水平/豎直)及使用可變化。
6.5 整個 ALWIP 過程之實例的說明
針對圖7.1至圖7.4中之不同形狀說明平均化、矩陣向量乘法及線性內插之整個過程。應注意，剩餘的形狀被視為所描繪情況中之一者。
1. 給定
區塊，ALWIP可藉由使用圖7.1的技術而採用沿著邊界之每一軸線的兩個平均值。所得四個輸入樣本進入矩陣向量乘法。矩陣係取自集合
。在加上偏移之後，此可以產生16個最終預測樣本。對於產生預測信號，並不需要線性內插。因此，每一樣本執行總共(
次乘法。見例如圖7.1。
2. 給定
區塊，ALWIP可採用沿著邊界之每一軸線的四個平均值。所得八個輸入樣本藉由使用圖7.2的技術進入矩陣向量乘法。矩陣係取自集合
。此會在預測區塊之奇數位置上產生16個樣本。因此，每一樣本執行總共(
次乘法。在加上偏移之後，可例如藉由使用頂部邊界豎直地及例如藉由使用左邊邊界水平地內插此等樣本。見例如圖7.2。
3. 給定
區塊，ALWIP可藉由使用圖7.3的技術而採用沿著邊界之水平軸線的四個平均值及在左邊邊界上之四個原始邊界值。所得八個輸入樣本進入矩陣向量乘法。矩陣係取自集合
。此會在預測區塊之奇數水平位置及每一豎直位置上產生16個樣本。因此，每一樣本執行總共(
次乘法。在加上偏移之後，例如藉由使用左邊邊界水平地內插此等樣本。見例如圖7.3。
相應地處理經轉置情況。
4. 給定
區塊，ALWIP可採用沿著邊界之每一軸線的四個平均值。所得八個輸入樣本藉由使用圖7.2的技術進入矩陣向量乘法。矩陣係取自集合
。此會在預測區塊之奇數位置上產生64個樣本。因此，每一樣本執行總共(
次乘法。在加上偏移之後，例如，藉由使用頂部邊界豎直地及藉由使用左邊邊界水平地內插此等樣本。見例如圖7.2。見例如圖7.4。
對於較大形狀，程序可能基本上相同，且易於檢查出每個樣本之乘法的次數小於二次。
對於
W×8區塊，僅水平內插係必需的，因為在奇數水平及每一豎直位置處給定樣本。因此，在此等情況下每一樣本至多執行(
次乘法。
最終，對於
W×4區塊(其中
W＞8)，使
為藉由遺漏對應於沿著經減少取樣區塊之水平軸線的奇數條目之每一列而出現的矩陣。因此，該輸出大小可為32，並且再次，僅水平內插仍待執行。每一樣本至多可執行(
次乘法。
可相應地處理經轉置情況。
6.6 所需參數之數目及複雜度評估
針對所有可能的經提議內部預測模式所需之參數可由屬於集合
、
之矩陣及偏移向量包含。所有矩陣係數及偏移向量可儲存為10位元值。因此，根據以上描述，經提議方法可需要總數目14400個參數，每一參數之精確度為10位元。此對應於0,018百萬位元組的記憶體。指出，當前，標準4:2:0色度子取樣中之具有大小128×128之CTU由24576個值組成，每一值為10位元。因此，經提議內部預測工具之內存要求不超過在上一次會議上採用之當前圖像參考工具之內存要求。並且，指出，由於PDPC工具或具有分數角度位置之角預測模式的4抽頭內插濾波器，習知內部預測模式需要每一樣本四次乘法。因此，就可操作複雜度而言，經提議方法不超過習知內部預測模式。
6.7 經提議 內部預測 模式之傳信
對於明度區塊，例如提議35個ALWIP模式(可使用其他數目個模式)。對於內模式中之每一寫碼單元(CU)，在位元串流中發送指示是否在對應的預測單元(PU)上應用ALWIP模式的旗標。後一索引之傳信可以與第一CE測試相同之方式與MRL調和。若應用ALWIP模式，則ALWIP模式之索引
可使用具有3個MPM之MPM清單來傳信。
此處，可如下使用上方及左邊PU之內模式來執行MPM之導出。可存在例如三個固定表格
，
等表格，其可將ALWIP模式指派給每一習知內部預測模式
對於具有寬度
及高度
之每一PU，界定並且索引
其指示自三個集合中之哪一者獲取ALWIP參數，如以上章節4中所述。若上述預測單元
可用、與當前PU屬於同一CTU且在內模式下，若
，且若在ALWIP模式
下將ALWIP應用於
，則使得
若上述PU可用、與當前PU屬於同一CTU且在內模式下，且若將習知內部預測模式
應用於上述PU，則使得
在所有其他情況下，使得
此意謂此模式不可用。以相同方式但不限制左邊PU需要屬於與當前PU相同的CTU，吾人導出眾數
最後，提供三個固定預設清單
，
，其各含有三種不同ALWIP模式。在預設清單
及模式
與
當中，藉由以預設值取代-1以及排除重複來建構三個不同MPM。
6.8 用於習知明度及色度 內部預測 模式之經調適 MPM 清單導出
經提議ALWIP模式可如下與習知內部預測模式之基於MPM之寫碼調和。用於習知內部預測模式之明度及色度MPM清單導出過程可使用固定表格
，
，將給定PU上之ALWIP模式
映射至習知內部預測模式中之一者
。
對於明度MPM清單導出，每當遇到使用ALWIP模式
之相鄰明度區塊時，此區塊可被處理為仿佛正使用習知內部預測模式
。對於色度MPM清單導出，每當當前明度區塊使用LWIP模式時，相同映射可用於將ALWIP模式轉變為習知內部預測模式。
7 實施高效實施例
簡要地概述以上實例，因為其可能在下文形成用於進一步擴展本文中所描述的實施例之基礎。
為了預測圖像10之預定區塊18，在使用多個相鄰樣本之情況下，使用17a、17c。
藉由平均化縮減100多個相鄰樣本已經進行以獲得相較於多個相鄰樣本在樣本數目上較低之經縮減樣本值集合102。此縮減在本文中之實施例中係任擇的，且會產生在下文中提及之所謂的樣本值向量。經縮減樣本值集合進行線性或仿射線性變換19以獲得用於預定區塊之預定樣本104的經預測值。此變換以後使用矩陣A及偏移向量b指示並且應為高效地預先形成之實施，該矩陣A及偏移向量b已經藉由機器學習(ML)獲得。
藉由內插，基於用於預定樣本及多個相鄰樣本之經預測值導出用於預定區塊之其他樣本108之預測值。應該說，理論上，仿射/線性轉換的結果可與區塊18之非全像素樣本位置相關聯，使得根據替代實施例，可藉由內插獲得區塊18的所有樣本。亦根本不需要內插。
多個相鄰樣本可能沿著預定區塊之兩個側面在一維上延伸，預定樣本以列及行且沿著列及行中之至少一者配置，其中預定樣本可定位於自預定樣本之毗鄰預定區塊之兩個側面的樣本(112)開始之每一第n位置處。基於多個相鄰樣本，對於列及行中之至少一者中的每一者，可判定用於多個相鄰位置中之一者(118)的支援值，該支援值與列及行中之至少一者中之各別者對準，並且藉由內插，可基於用於預定樣本之經預測值及用於相鄰樣本之與列及行中之至少一者對準的支援值導出用於預定區塊之其他樣本108的預測值。預定樣本可沿著列定位於自預定樣本之毗連預定區塊之兩個側面的樣本112開始之每一第n位置處，且預定樣本可沿著行定位於自預定樣本之毗連預定區塊之兩個側面的樣本112開始之每一第m位置處，其中n,m＞1。可能n=m。沿著列及行中之至少一者，可藉由針對每一支援值平均化(122)多個相鄰樣本內包括判定各別支援值所針對之相鄰樣本118之相鄰樣本的群組120來判定該等支援值。多個相鄰樣本可沿著預定區塊之兩個側面在一維上擴展，且為藉由將多個相鄰樣本分組成一或多個連續相鄰樣本之群組110並且對具有多於兩個相鄰樣本之一或多個相鄰樣本的群組中之每一者執行平均化而進行縮減。
對於預定區塊，可在資料串流中傳輸預測殘差。預測殘差可自解碼器處之資料串流導出，且預定區塊可使用用於預定樣本之預測殘差及經預測值來重構。在編碼器處，預測殘差經編碼成編碼器處之資料串流。
該圖像可細分成具有不同區塊大小之多個區塊，該多個區塊包含預定區塊。接著，可能取決於預定區塊之寬度W及高度H選擇用於區塊18之線性或仿射線性變換，使得在第一組線性或仿射線性變換當中選擇針對預定區塊選擇之線性或仿射線性變換，只要預定區塊之寬度W及高度H係在第一組寬度/高度配對及第二組線性或仿射線性變換內，只要預定區塊之寬度W及高度H係在不與第一組寬度/高度配對相交之第二組寬度/高度配對內。再次，隨後變得清楚的是，仿射/線性變換係藉助於參數(亦即C之權重，且視情況，偏移及尺度參數)表示。
解碼器及編碼器可經組配以：將圖像細分成具有不同區塊大小之多個區塊，其包含預定區塊；及取決於預定區塊之寬度W及高度H選擇線性或仿射線性變換，使得在以下各者當中選擇針對預定區塊選擇之線性或仿射線性變換
第一組線性或仿射線性變換，只要預定區塊之寬度W及高度H係在第一組寬度/高度對內，
第二組線性或仿射線性變換，只要預定區塊之寬度W及高度H係在不與第一組寬度/高度對相交之第二組寬度/高度對內，以及
第三組線性或仿射線性變換，只要預定區塊之寬度W及高度H係在不與第一及第二組寬度/高度對相交之第三組一或多個寬度/高度對內。
第三組一或多個寬度/高度配對僅僅包含一個寬度/高度配對W'、H'，且第一組線性或仿射線性變換內之每一線性或仿射線性變換係用於將N'樣本值變換為用於W'×H'樣本位置陣列之W'*H'經預測值。
第一及第二組寬度/高度配對中之每一者可包含W
p不等於H
p之第一寬度/高度配對W
p、H
p，及H
q=W
p且W
q=H
p之第二寬度/高度配對W
q、H
q。
第一及第二組寬度/高度對中之每一者可另外包含W
p等於H
p且H
p＞H
q之第三寬度/高度對W
p、H
p。
對於預定區塊，經設定索引可在資料串流中傳輸，該資料串流指示針對區塊18在一組預定線性或仿射線性變換當中選擇哪一線性或仿射線性變換。
多個相鄰樣本可沿著預定區塊的兩個側面在一維上擴展，且可藉由針對鄰接預定區塊之第一側面的多個相鄰樣本之第一子集將第一子集分組成一或多個連續相鄰樣本之第一群組110及針對鄰接預定區塊之第二側面的多個相鄰樣本之第二子集將第二子集分組成一或多個連續相鄰樣本之第二群組110及對具有多於兩個相鄰樣本之一或多個相鄰樣本的第一及第二群組中之每一者執行平均化而進行縮減，以便自第一群組獲得第一樣本值及獲得用於第二群組之第二樣本值。接著，可取決於經設定索引而在一組預定線性或仿射線性變換當中選擇線性或仿射線性變換，使得經設定索引之兩個不同狀態導致選擇線性或仿射線性變換之預定集合之線性或仿射線性變換中之一者，在經設定索引採用呈第一向量之形式的兩個不同狀態中之第一狀態之情況下，經縮減樣本值集合可進行預定線性或仿射線性變換以產生經預測值的輸出向量，並且沿著第一掃描次序將輸出向量之經預測值分配至預定區塊之預定樣本上，且在經設定索引採用呈第二向量之形式的兩個不同狀態中之第二狀態之情況下，第一及第二向量不同，使得由第一向量中之第一樣本值中之一者填充之分量係由第二向量中之第二樣本值中之一者填充，並且由第一向量中之第二樣本值中之一者填充之分量係由第二向量中之第一樣本值中之一者填充，以便產生經預測值之輸出向量，並且將沿著第二掃描次序將輸出向量之經預測值分配至預定區塊之預定樣本上，該預定區塊相對於第一掃描次序轉置。
第一組線性或仿射線性轉換內之各線性或仿射線性轉換可用於針對樣本位置之w
1×h
1陣列將N
1樣本值轉換為w
1*h
1經預測值，且第一組線性或仿射線性轉換內之各線性或仿射線性轉換係用於針對樣本位置之w
2×h
2陣列將N
2樣本值轉換為w
2*h
2經預測值，其中對於第一組寬度/高度對中之第一預定寬度/高度對，w
1可超過第一預定寬度/高度對之寬度或h
1可超過第一預定寬度/高度對之高度，並且對於第一組寬度/高度對中之第二預定寬度/高度對，w
1無法超過第二預定寬度/高度對之寬度，h
1亦無法超過第二預定寬度/高度對之高度。接著可藉由平均化縮減(100)多個相鄰樣本以獲得經縮減樣本值集合(102)，使得在預定區塊具有第一預定寬度/高度配對之情況下且在預定區塊具有第二預定寬度/高度配對之情況下經縮減樣本值集合102具有N
1個樣本值，且在預定區塊具有第一預定寬度/高度配對之情況下可在w
1超過一個寬度/高度配對之寬度之情況下沿著寬度尺寸或在h
1超過一個寬度/高度配對之高度之情況下沿著高度尺寸藉由僅使用與樣本位置之w
1×h
1陣列的子取樣有關之選定的線性或仿射線性變換之第一子部分來使經縮減樣本值集合進行選定的線性或仿射線性變換，且在預定區塊具有第二預定寬度/高度配對之情況下使經縮減樣本值集合徹底地進行選定的線性或仿射線性變換。
第一組線性或仿射線性轉換內之每一線性或仿射線性轉換可用於針對w
1=h
1之樣本位置的w
1×h
1陣列將N
1個樣本值轉換為w
1*h
1個經預測值，且第一組線性或仿射線性轉換內之每一線性或仿射線性轉換係用於針對w
2=h
2之樣本位置的w
2×h
2陣列將N
2個樣本值轉換為w
2*h
2個經預測值。
所有上文所描述之實施例僅僅為說明性的，因為其可在下文形成用於本文中所描述的實施例之基礎。亦即，以上概念及細節應用以理解以下實施例並且應在下文充當本文中所描述的實施例之可能擴展及修正之儲庫。詳言之，許多上文所描述之細節係任擇的，諸如相鄰樣本之平均化、相鄰樣本用作參考樣本之事實等等。
更一般而言，本文中所描述之實施例假設自已經重構之樣本生成關於矩形區塊之預測信號，諸如自區塊左邊及上方之相鄰的已經重構之樣本生成關於矩形區塊之內部預測信號。預測信號之產生係基於以下步驟。
1. 在目前被稱作邊界樣本之參考樣本中，但不排除將描述轉移至定位在別處之參考樣本之可能性，可藉由平均化來提取樣本。此處，針對區塊左邊及上方之邊界樣本或僅針對二側中之一者上之邊界樣本來實行平均化。若在一側上不實行平均化，則彼側上之樣本保持不變。
2. 實行矩陣向量乘法，任擇地之後為添加偏移，其中矩陣向量乘法之輸入向量為在僅在左側應用平均化之情況下之區塊左邊的經平均化邊界樣本與區塊上方之原始邊界樣本的級聯，或在僅在上述一側上應用平均化之情況下之區塊左邊之原始邊界樣本與區塊上方之經平均化邊界樣本之級聯或在僅在區塊之二側上應用平均化之情況下區塊左邊之經平均化邊界樣本與區塊上方之經平均化邊界樣本的級聯。同樣，將存在替代方案，諸如完全不使用平均化之替代方案。
3. 矩陣向量乘法及任擇的偏移加法之結果可任擇地為關於原始區塊中之經子取樣樣本集之經縮減預測信號。剩餘的位置處之預測信號可藉由線性內插自關於經子取樣集合之預測信號產生。
步驟2中之矩陣向量乘積之計算應較佳地以整數算術來實行。因此，若
表示用於矩陣向量乘積之輸入，即
表示區塊左邊及上方之(經平均化)邊界樣本之級聯，則在
當中，在步驟2中計算出的(經縮減)預測信號應僅使用位元移位、將偏移向量相加，及與整數相乘來計算。理想地，步驟2中之預測信號將給定為
，其中
為可為零之偏移向量且其中
藉由某一基於機器學習之訓練演算法導出。然而，此訓練演算法通常僅產生以浮點精確度給定之矩陣
。因此，面臨著在前述意義上指定整數運算使得使用此等整數運算較佳近似表達式
的問題。此處，重要的是提及，不必選擇此等整數運算使得其近似假設向量
之均勻分佈的表達式
但通常考慮到表達式
將近似之輸入向量
為來自自然視訊信號之(經平均化)邊界樣本，其中可預期
之分量
之間的一些相關性。
圖8展示改良之ALWIP預測。可基於藉由某一基於機器學習之訓練演算法導出之矩陣A 1100與樣本值向量400之間的第一矩陣向量乘積來預測預定區塊之樣本。視情況，可添加偏移b 1110。為了達成此第一矩陣向量乘積之整數近似或定點近似，樣本值向量可進行可逆線性轉換403以判定另一向量402。另一矩陣B 1200與另一向量402之間的第二矩陣向量乘積可等於第一矩陣向量乘積之結果。
由於另一向量402之特徵，第二矩陣向量乘積可為藉由預定預測矩陣C 405與另一向量402加上另一偏移408之間的矩陣向量乘積404近似之整數。另一向量402及另一偏移408可由整數或定點值組成。舉例而言，另一偏移之所有分量係相同的。預定預測矩陣405可為經量化矩陣或待量化之矩陣。預定預測矩陣405與另一向量402之間的矩陣向量乘積404之結果可理解為預測向量406。
在下文中，提供關於此整數近似之更多細節。
根據實例之可能解決方案 I ：減去及加上平均值
可用於以上情境中之表達式
之整數近似的一個可能併入為藉由
之分量之平均值
(即預定值1400)來替換
(即樣本值向量400)之第
𝑖
0 分量
，即預定分量1500及自所有其他分量減去此平均值。換言之，界定如圖9a中所展示之可逆線性轉換403使得另一向量402之預定分量1500變成
a，且另一向量402之其他分量中之每一者(除了預定分量1500之外)等於樣本值向量之對應分量減去
a，其中
a為預定值1400，其例如為樣本值向量400之分量之平均值，諸如算術均值或經加權平均值。關於該輸入之此運算係藉由可逆轉換
403給定，該可逆轉換尤其在
之尺寸
為二之冪的情況下具有明顯的整數實施。
由於
，若對輸入
進行此轉換，則必須發現矩陣向量乘積
之整數近似，其中
且
。由於矩陣向量乘積
表示對矩形區塊，即預定區塊之預測，且由於
包含該區塊之(例如，經平均化)邊界樣本，應預期在
之所有樣本值相等之情況下，即對於所有
之情況下，預測信號
中之每一樣本值應接近於
或完全等於
。此意謂應預期第
行，即對應於
之預定分量之行非常接近或等於僅由一組成之行。因此，若
)，即整數矩陣1300為其第𝑖
0行由一組成且所有其他行均為零之矩陣，寫為
)y，其中
，則應預期
之第𝑖
0行，即預定預測矩陣405實際上具有較小條目或為零，如圖9b中所示。此外，由於
之分量為相關的，可預期對於每一
，
之第i分量
相較於x之第i分量常常具有小得多的絕對值。由於矩陣
為整數矩陣，因此在給定
之整數近似之情況下實現
之整數近似，且藉由以上自變量，可預期藉由以合適方式量化
之每一條目而產生之量化錯誤應回應於
而僅稍微影響
之所得量化的錯誤。
在表達式
之整數近似之另一可能併入中，
之第
分量
保持不變且自所有其他分量減去同一值
。即，
且
，對於每一
。換言之，預定值1400可為樣本值向量400之對應於預定分量1500的分量。
替代地，預定值1400為預設值或在圖像經寫碼成之資料串流中傳信的值。
舉例而言，預定值1400與預定區塊之樣本的預測值具有較小偏差係有利的。
根據一實施例，一設備經組配以包含多個可逆線性轉換403，該等可逆線性轉換中之每一者與另一向量402之一個分量相關聯。此外，該設備例如經組配以自樣本值向量400之分量當中選擇預定分量1500並且使用多個可逆線性轉換中之與預定分量1500相關聯之可逆線性轉換403作為預定可逆線性轉換。此係例如由於第i
0列(即對應於預定分量之可逆線性轉換403的列)之不同位置，此取決於另一向量中之預定分量的位置。若例如另一向量402之第一分量，即y
1係預定分量，則第i
o列將替代可逆線性轉換之第一列。
如圖9b中所展示，預定預測矩陣405之行412 (即第i
0行)內之預測矩陣C 405的矩陣分量414 (其對應於另一向量402之預定分量1500)例如均為零。在此情況下，該設備例如經組配以藉由計算由預定預測矩陣C 405去掉行412產生之經縮減預測矩陣C' 405與由另一向量402去掉預定分量1500產生之又一向量410之間的矩陣向量乘積407執行乘法而計算矩陣向量乘積404，如圖9c中所示。因此，可藉由較少次乘法計算預測向量406。
如圖8、圖9b及圖9c中所展示，一設備可經組配以在基於預測向量406預測預定區塊之樣本時針對預測向量406之每一分量計算各別分量與a (即預定值1400)的總和。此求和可由預測向量406與向量409之總和表示，其中向量409之所有分量等於預定值1400，如圖8及圖9c中所展示。替代地，該求和可由預測向量406同整數矩陣M 1300與另一向量402之間的矩陣向量乘積1310的總和表示，如圖9b中所展示，其中整數矩陣1300之矩陣分量為整數矩陣1300之一行，即第i
0行內之1，該矩陣對應於另一向量402之預定分量1500，且所有其他分量例如均為零。
預定預測矩陣C 405與整數矩陣1300之求和的結果等於或近似例如圖8中所展示之另一矩陣1200。
換言之，藉由將預定預測矩陣405之行412 (即第i
0行)內之預定預測矩陣C 405之每一矩陣分量(其對應於另一向量402之預定分量1500)與一進行求和(即矩陣B)乘以可逆線性轉換403得出之矩陣，即另一矩陣B 1200，對應於例如機器學習預測矩陣A 1100之經量化版本，如圖8、圖9a及圖9b中所展示。第i
0行412內之預定預測矩陣C 405之每一矩陣分量與一之求和可對應於預定預測矩陣405與整數矩陣1300之求和，如圖9b中所示。如圖8中所展示，機器學習預測矩陣A 1100可等於另一矩陣1200乘以可逆線性轉換403之結果。此係由於
。預定預測矩陣405為例如經量化矩陣、整數矩陣及/或定點矩陣，藉此可實現機器學習預測矩陣A 1100之經量化版本。
僅使用整數運算之矩陣乘法
對於低複雜度實施(就加上及乘以純量值之複雜度而言，以及就所涉及矩陣之條目所需的儲存而言)，需要僅使用整數算術來執行矩陣乘法404。
為了計算
之近似，即
在僅使用整數運算之情況下，根據一實施例，實值
必須映射至整數值
。此可例如藉由均一的純量量化，或藉由考慮值
之間的特定相關性來進行。整數值表示例如定點數，其可各自以固定數目的位元n_bit來儲存，例如n_bit=8。
接著可如同此偽程式碼中所展示來實行與具有大小m×n之矩陣(即預定預測矩陣405)之矩陣向量乘積404，其中＜＜, ＞＞係算術二進位左移位運算及右移位運算，且+、-及*僅對整數值進行運算。
(1)final_offset = 1 ＜＜ (right_shift_result - 1);
for i in 0…m-1
{
accumulator = 0
for j in 0…n-1
{
accumulator: = accumulator + y[j]*C[i,j]
}
z[i] = (accumulator + final_offset) ＞＞ right_shift_result;
}
此處，陣列C，即預定預測矩陣405，將定點數字儲存作為例如整數。final_offset之最終相加及right_shift_result之右移位運算藉由捨位降低精確度以獲得輸出處所需之定點格式。
為了允許可由C中之整數表示之實值之增大範圍，可使用兩個額外矩陣
offset
i,j 及
scale
i,j ，如圖10及圖11之實施例中所示，使得以下矩陣向量乘積中
之每一係數
由下式給出
值
offset
i,j 及
scale
i,j 自身為整數值。舉例而言，此等整數可表示定點數，其可各自以固定數目之位元(例如8個位元)或以例如相同數目的位元n_bits (其用於儲存值
)來儲存。
換言之，一設備經組配以使用預測參數(例如整數值
以及值
及
)表示預定預測矩陣405且藉由對另一向量402之分量以及產生於其之預測參數及中間結果執行乘法及求和而計算矩陣向量乘積404，其中預測參數之絕對值可由n位元定點數表示來表示，其中n等於或低於14，或替代地等於或低於10，或替代地等於或低於8。舉例而言，另一向量402之分量乘以預測參數以產生作為中間結果之乘積，其又進行求和或形成求和之加數。
根據一實施例，預測參數包含權重，其中之每一者係與預測矩陣之對應的矩陣分量相關聯。換言之，預定預測矩陣例如由預測參數替換或表示。該等權重例如為整數及/或定點值。
根據一實施例，預測參數進一步包含一或多個縮放因數，例如值
scale
i,j ，該一或多個縮放因數中之每一者與用於縮放權重(例如整數值
)之預定預測矩陣405的一或多個對應的矩陣分量相關聯，該權重與預定預測矩陣405之一或多個對應的矩陣分量相關聯。另外或替代地，預測參數包含一或多個偏移，例如值
offset
i,j ，其中之每一者與使權重(例如整數值
)偏移之預定預測矩陣405之一或多個對應的矩陣分量相關聯，該權重與預定預測矩陣405之一或多個對應的矩陣分量相關聯。
為了縮減
及
必需之儲存量，其值可經選擇成對於索引i、j之特定集合係恆定的。舉例而言，其條目對於每一行可為恆定的，且其對於每一列可為恆定的，或其對於所有i、j可為恆定的，如圖10中所展示。
舉例而言，在一個較佳實施例中，
及
對於一個預測模式之矩陣之所有值均為恆定的，如圖11中所示。因此，當存在K個預測模式時，其中k =0…K-1，僅需要單個值
及單個值
來計算用於眾數k之預測。
在偏移表示
且縮放表示
之情況下，(1)中之計算可經修改成：
(2)final_offset = 0;
for i in 0…n-1
{
final_offset: = final_offset - y[i];
}
final_offset *= final_offset * offset * scale;
final_offset += 1 ＜＜ (right_shift_result - 1);
for i in 0…m-1
{
accumulator = 0
for j in 0…n-1
{
accumulator: = accumulator + y[j]*C[i,j]
}
z[i] = (accumulator*scale + final_offset) ＞＞ right_shift_result;
}
由彼解決方案產生之擴大實施例
以上解決方案意指以下實施例：
1. 如第I部分中，第I部分之步驟2中之預測方法，進行以下運算以用於所涉及矩陣向量乘積之整數近似： 在(經平均化)邊界樣本
當中，對於固定
(其中
)，計算向量
，其中
(對於
)且其中
且其中
表示
之均值。向量
接著充當用於矩陣向量乘積
之輸入(矩陣向量乘積之整數實現)，使得來自第I部分之步驟2之(經減少取樣)預測信號
給定為
。在此等式中，
表示等於
之用於(經減少取樣)預測信號之域中之每一樣本位置的信號。(見例如圖9b)
2. 如第I部分中，第I部分之步驟2中之預測方法，進行以下運算以用於所涉及矩陣向量乘積之整數近似： 在(經平均化)邊界樣本
當中，對於固定
(其中
)，計算向量
，其中
(對於
)且其中
(對於
)且其中
表示
之均值。向量
接著充當用於矩陣向量乘積
之輸入(矩陣向量乘積之整數實現)，使得來自第I部分之步驟2之(經減少取樣)預測信號
給定為
。在此等式中，
表示等於
之用於(經減少取樣)預測信號之域中之每一樣本位置的信號。(見例如圖9c)
3. 如第I部分中之預測方法，其中矩陣向量乘積
之整數實現藉由使用矩陣向量乘積
中之係數
給定。(見例如圖10)
4. 如第I部分中之預測方法，其中步驟2使用K個矩陣中之一者，使得可計算出多個預測模式，其各自使用不同矩陣
(其中k=0…K-1)，其中矩陣向量乘積
之整數實現藉由使用矩陣向量乘積
中之係數
給定。(見例如圖11)
亦即，根據本申請案之實施例，編碼器及解碼器如下操作以便預測圖像10之預定區塊18，參見圖8結合圖7.1至圖7.4中之一者。為了預測，使用多個參考樣本。如上文所概述，本申請案之實施例將不限於內寫碼並且因此，參考樣本將不限於鄰近樣本，即圖像10相鄰區塊18之樣本。詳言之，該等參考樣本將不限於沿著區塊18之外部邊緣配置的參考樣本，諸如鄰接區塊之外部邊緣的樣本。然而，此情形必然為本申請案之一個實施例。
為了執行預測，自諸如參考樣本17a及17c之參考樣本形成樣本值向量400。上文已經描述可能的形成。該形成可涉及平均化，進而相較於促成形成之參考樣本17縮減樣本102之數目或向量400之分量的數目。如上文所描述，該形成亦可在某種程度上取決於區塊18之尺寸或大小，諸如其寬度及高度。
此向量400應進行仿射或線性轉換以便獲得區塊18之預測。上文已經使用不同命名法。使用最近的一個命名法，旨在藉由在執行偏移向量b之求和內藉助於矩陣向量乘積將向量400應用於矩陣A而執行預測。偏移向量b係可選的。A或A及B判定之仿射或線性轉換可由編碼器及解碼器判定，或更確切而言，為基於區塊18之大小及尺寸的預測起見，來判定該仿射或線性轉換，如上文已經描述。
然而，為了實現上文所概述之計算效率改良或就實施而言使預測更有效，該仿射或線性變換已經量化，且編碼器及解碼器或其預測器使用上文所提及之C及T以便表示及執行線性或仿射變換，其中以上文所描述的方式應用之C及T表示仿射變換之經量化版本。詳言之，代替將向量400直接應用於矩陣A，編碼器及解碼器中之預測器應用向量402，其藉助於經由預定可逆線性轉換T將樣本值向量400進行映射而產生於該樣本值向量。如此處所使用之轉換T可能相同，只要向量400具有相同大小，即並不取決於區塊之尺寸，即寬度及高度，或至少對於不同仿射/線性轉換相同。在上文中，向量402已經表示為y。用以執行如藉由機器學習所判定之仿射/線性轉換之確切矩陣將為B。然而，代替確切地執行B，編碼器及解碼器中之預測係藉助於其近似或經量化版本來進行。詳言之，該表示係經由以上文所概述之方式適當地表示C而進行，其中C + M表示B之經量化版本。
因此，進一步藉由計算向量402與以上文所描述的方式在編碼器及解碼器處適當地表示且儲存之預定預測矩陣C之間的矩陣向量乘積404來進行編碼器及解碼器中之預測。產生於此矩陣向量乘積之向量406接著用於預測區塊18之樣本104。如上文所描述，為預測起見，向量406之每一分量可與參數a進行求和，如在408處所指示，以便補償C之對應的定義。基於向量406導出區塊18之預測中亦可涉及向量406與偏移向量b之任擇的求和。如上文所描述，向量406之每一分量，及因此向量406、在408處所指示之所有
a之向量及任擇的向量b之求和之每一分量有可能直接對應於區塊18之樣本104且因此指示樣本之經預測值。亦可僅以彼方式預測區塊之樣本104之子集且藉由內插導出區塊18之剩餘樣本，諸如108。
如上文所描述，設定
a存在不同實施例。舉例而言，其可為向量400之分量的算術均值。對於彼情況，見例如圖9。可逆線性轉換T可如圖9a中所指示。i
0指示樣本值向量及向量402之各別預定分量，其由a替代。然而，亦如上文指示，存在其他可能性。然而，就C之表示而言，上文亦已指示C可以不同方式體現。舉例而言，矩陣向量乘積404可在其實際計算中以具有較低維度之較小矩陣向量乘積的實際計算結束，見例如圖9c。詳言之，如上文所指示，由於C的定義，C的整個第i
0行412可變為0，使得可藉由向量402之經縮減版本來進行乘積404之實際計算，該經縮減版本藉由省略分量
，即藉由將此經縮減向量410乘以經縮減矩陣C'而產生於向量402，該經縮減矩陣藉由遺漏第i
0行412而產生於C。
C之權重或C'之權重，即此矩陣的分量可以定點數表示來表示及儲存。然而，此等權重414可又如上文所描述以與不同縮放及/或偏移相關的方式儲存。縮放及偏移可針對整個矩陣C界定，即對於矩陣C或矩陣C'之所有權重414為相等的，或可以一方式界定使得對於矩陣C及矩陣C'之相同列的所有權重414或相同行的所有權重414分別為恆定或相等的。圖10說明就此而言，矩陣向量乘積之計算(即乘積之結果)實際上可稍微不同地執行，即例如藉由將與縮放之乘法朝向向量402或404，進而縮減必須進一步執行之乘法的數目。圖11說明使用用於C或C'之所有權重414的一個縮放及一個偏移之情況，諸如在以上計算(2)中進行。
8. 在特殊情況下針對所有通道使用基於區塊之內部預測模式的實施例
所有上述描述均應被視為目前所描述之實施例之任擇的實施細節。請注意，在下文中，術語基於矩陣的內部預測(MIP)用以表示內部預測模式，例如基於區塊之內部預測模式，其可體現或等於由以上例如關於圖5至圖11所描述的ALWIP所指示的模式。
在此文件中，對於4:4:4色度格式及單一樹狀結構，提出在其中色度內部模式為直接模式(DM)模式且其中明度內部模式為MIP模式之色度內部區塊上，將使用此MIP模式產生色度內部預測信號。
在直接模式下，色度內部預測模式係例如自明度內部預測模式導出。舉例而言，色度內部預測模式等於明度內部預測模式。針對明度內部預測模式為MIP模式存在例外情況，其中色度內部預測模式僅在4:4:4色彩取樣格式之情況下及單一樹狀結構之情況下為MIP模式，且在所有其他情況下，色度內部預測模式為平面模式。4:4:4色彩取樣格式表示據以對每一色彩分量同等地取樣之色彩取樣格式。
8.1 所提出的方法之描述
在當前VTM中，MIP僅用於明度分量[3]。若在色度內部區塊上，內部模式為直接模式(DM)且若共置明度區塊之內部模式為MIP模式，則色度區塊必須使用平面模式產生內部預測信號。據確證，在MIP之情況下對於DM模式進行此處理的主要原因為對於4:2:0情況或對於雙樹狀結構之情況，共置明度區塊可具有與色度區塊不同的形狀。因此，由於MIP模式不能應用於所有區塊形狀，因此共置明度區塊之MIP模式在彼情況下可能不適用於色度區塊。
另一方面，據確證，在色度格式為4:4:4且使用單一樹狀結構之情況下，明度MIP模式至色度分量之以上非適用性永不成立。因此，提出，在此情況下，若在內部區塊上，色度內部模式為DM模式且若明度內部模式為MIP模式，則色度內部預測信號將由此MIP模式產生。
據確證，此所提出的改變尤其在啟用ACT (適應性色彩變換)之情況下係恰當的，此係因為針對ACT用於給定區塊上的情況，推斷色度模式為DM模式。據確證，特別是對於ACT情況，跨越所有通道之預測信號的強相關性係有益的，且若相同的內部預測模式用於區塊之全部三個分量，則此相關性可增大。據確證，下文所報告之實驗結果在所提出的改變對呈RGB格式之相機擷取內容具有顯著影響的意義上支援此觀點，該影響經確證為主要設計MIP及ACT之情況的相交點。
8.2 所提出的方法之實施例
圖12展示圖像10之預定第二色彩分量區塊182之預測的實施例。基於區塊之解碼器、基於區塊之編碼器及/或用於預測圖像10之設備可經組配以執行此預測。
根據一實施例，使用分割方案11'將具有多於一個色彩分量10
1、10
2及據以同等地取樣每一色彩分量10
1、10
2之色彩取樣格式11的圖像10分割成區塊，例如第一色彩分量區塊18'
11至18'
1n及第二色彩分量區塊18'
21至18'
2n，根據該分割方案，相對於每一色彩分量10
1、10
2同等地分割圖像10。根據色彩取樣格式11，每一色彩分量10
1、10
2例如經同等地取樣，且根據分割方案11'，每一色彩分量10
1、10
2例如以相同方式分割。因此，例如，根據分割方案11'，第一色彩分量區塊18'
11至18'
1n具有與第二色彩分量區塊18'
21至18'
2n相同的幾何特徵，且根據色彩取樣格式11，第一色彩分量區塊18'
11至18'
1n具有與第二色彩分量區塊18'
21至18'
2n相同的取樣。藉由預定第二色彩分量區塊18
2及共置經內部預測第一色彩分量區塊18
1中之樣本點指示取樣。
藉由針對圖像10之經內部預測第一色彩分量區塊18'
11至18'
1n中之每一者選擇內部預測模式之第一集合508中之一個內部預測模式而以區塊為單位解碼/編碼圖像10之第一色彩分量10
1，該第一集合508包含基於矩陣的內部預測模式(MIP模式) 510
1至510
m，根據其中之每一者，藉由以下操作預測一區塊內部18：自鄰近該區塊內部18之參考樣本17導出樣本值向量514；計算該樣本值向量514與相關聯於各別基於矩陣的內部預測模式510
1至510
m的預測矩陣516之間的矩陣向量乘積512以便獲得預測向量514；以及基於該預測向量514預測該區塊內部18中之樣本。舉例而言，樣本值向量514具有如關於圖6中之樣本值向量400所描述或如關於圖8至圖11中之另一向量402所描述的特徵及/或功能性。換言之，基於矩陣的內部預測510
1至510
m例如如關於圖5至圖11中之一者所描述而預先形成。
視情況，預測向量518之分量的數目低於區塊內部18中之樣本的數目。在此情況下，區塊內部18中的樣本係藉由基於經指派以支援區塊內部18中之樣本位置的預測向量518之分量內插樣本而基於預測向量518預測。
視情況，內部預測模式之該第一集合508所包含的基於矩陣的內部預測模式510
1至510
m係取決於各別經內部預測第一色彩分量區塊18
1之區塊尺寸而選擇，以便為基於矩陣的內部預測模式之彼此不相交子集之一集合中的基於矩陣的內部預測模式的一個子集。舉例而言，與基於矩陣的內部預測模式之相互不相交子集之該集合相關聯的預測矩陣516經機器學習，由基於矩陣的內部預測模式之一個子集包含的預測矩陣516具有彼此相等的大小，且由經選擇用於不同區塊大小的基於矩陣的內部預測模式之兩個子集包含的預測矩陣516具有彼此不同的大小。換言之，由一個子集包含之預測矩陣具有互相相等的大小，但不同子集之預測矩陣具有不同大小。
視情況，與由內部預測模式之該第一集合508包含的基於矩陣的內部預測模式510
1至510
m相關聯的預測矩陣516具有彼此相等的大小且經機器學習。
視情況，由內部預測模式之該第一集合508所包含的不同於由內部預測模式之該第一集合508所包含的基於矩陣的內部預測模式510
1至510
m的內部預測模式包含一DC模式506、一平面模式504及定向模式500
1至500
l。
藉由使用針對共置經內部預測第一色彩分量區塊18
1選擇的該基於矩陣的內部預測模式來對圖像10之預定第二色彩分量區塊18
2進行內部預測來以區塊為單位解碼及/或編碼圖像10之第二色彩分量10
2。因此，對於至少一個經框內寫碼之第2/第3色彩分量區塊，解碼器及/或編碼器需要能夠採用MIP模式510
1至510
m。舉例而言，此在預定第二色彩分量區塊18
2之初始預測模式為直接模式的情況下執行。
在直接模式下，舉例而言，預定第二色彩分量區塊182的內部預測模式係自共置經內部預測第一色彩分量區塊18
1的內部預測模式導出。舉例而言，預定第二色彩分量區塊18
2之內部預測模式等於共置經內部預測第一色彩分量區塊181之內部預測模式。換言之，在共置經內部預測第一色彩分量區塊18
1的內部預測模式為MIP模式510
1至510
m的情況下，預定第二色彩分量區塊18
2亦由相同MIP模式510
1至510
m預測。
根據一實施例，若在資料串流中無指示預測模式的索引經傳信用於預定第二色彩分量區塊18
2，則可推斷直接模式。否則，在資料串流中傳信的模式用於預測預定第二色彩分量區塊18
2。
換言之，對於圖像10之第二色彩分量區塊18'
21至18'
2n中之每一者，可選擇第一選項及第二選項中之一者。根據該第一選項，基於經選擇用於共置經內部預測第一色彩分量區塊18'
11至18'
1n的內部預測模式導出用於各別第二色彩分量區塊18'
21至18'
2n之內部預測模式，使得在經選擇用於共置經內部預測第一色彩分量區塊18'
11至18'
1n之內部預測模式為基於矩陣的內部預測模式510
1至510
m中之一者的情況下，用於各別經內部預測第二色彩分量區塊18'
21至18'
2n之內部預測模式等於經選擇用於共置經內部預測第一色彩分量區塊18'
11至18'
1n之內部預測模式。在經選擇用於共置經內部預測第一色彩分量區塊18'
11至18'
1n之內部預測模式為不同於基於矩陣的內部預測模式510
1至510
m的內部預測模式(如平面內部預測模式504、DC內部預測模式506及/或定向內部預測模式500
1至500
l)中之一者的情況下，用於各別第二色彩分量區塊18'
21至18'
2n之內部預測模式亦可等於經選擇用於共置經內部預測第一色彩分量區塊18'
11至18'
1n之內部預測模式。第一選項可表示直接模式。根據第二選項，基於存在於用於各別第二色彩分量區塊18'
21至18'
2n中的內部模式索引選擇用於各別第二色彩分量區塊18'
21至18'
2n之內部預測模式。視情況，除了存在於用於共置經內部預測第一色彩分量區塊18'
11至18'
1n之資料串流中的另一內部模式索引之外，內部模式索引亦存在於資料串流中，用於自內部預測模式之第一集合508進行選擇。舉例而言，存在於各別第二色彩分量區塊18'
21至18'
2n中之資料串流中的內部模式索引指示來自內部預測模式之第一集合508之預測模式將經選擇用於預測各別第二色彩分量區塊18'
21至18'
2n。
根據一實施例，在圖像10之4:4:4色彩取樣格式11之情況下及預定第二色彩分量區塊18
2之預測模式為直接模式的情況下，用於預測圖像之預定區塊之設備、基於區塊之解碼器及/或基於區塊之編碼器經組配以使用與共置經內部預測第一色彩分量區塊18
1相同的MIP模式510
1至510
m用於預定第二色彩分量區塊18
2，其中共置經內部預測第一色彩分量區塊18
1與預定第二色彩分量區塊18
2表示與不同色彩分量(即第一色彩分量及第二色彩分量)相關聯的預定區塊。共置經內部預測第一色彩分量區塊18
1及預定第二色彩分量區塊18
2包含例如在圖像10中之相同幾何特徵及相同空間定位。換言之，第一色彩分量寫碼樹狀結構(例如，明度寫碼樹狀結構)等於第二色彩分量寫碼樹狀結構(例如，色度寫碼樹狀結構)。舉例而言，使用單一樹狀結構。相對於每一色彩分量10
1、10
2同等地分割圖像10。舉例而言，分割方案11'界定圖像10之單一樹狀結構處理。
根據一實施例，對圖像10之雙樹狀結構處理亦為可能的。雙樹狀結構處理可與另一分割方案11'相關聯，根據該另一分割方案，使用資料串流中之第一分割資訊相對於第一色彩分量10
1分割圖像10，且使用存在於資料串流中的與該第一分割資訊分離之第二分割資訊相對於第二色彩分量10
2分割圖像10。
在雙樹狀結構或非單一樹狀結構之情況下，用於預測圖像之預定區塊的設備、基於區塊之解碼器及/或基於區塊之編碼器例如經組配以在共置經內部預測第一色彩分量區塊18
1之預測模式為MIP模式510
1至510
m且預定第二色彩分量區塊18
2之預測模式為直接模式的情況下使用平面內部預測模式504。然而，在共置經內部預測第一色彩分量區塊18
1之預測模式並非MIP模式的情況下，例如在共置經內部預測第一色彩分量區塊18
1之預測模式為DC內部預測模式506、平面內部預測模式504或定向內部預測模式500
1至500
l(例如，角形內部預測模式)，且預定第二色彩分量區塊18
2之預測模式為直接模式的情況下，預定第二色彩分量區塊18
2之預測模式等於共置經內部預測第一色彩分量區塊18
1之預測模式。此亦可在使用單一樹狀結構而非4:4:4色彩取樣格式11之情況下應用，例如在使用4:1:1色彩取樣格式11、4:2:2色彩取樣格式11或4:2:0色彩取樣格式11之情況下應用。
色彩取樣格式11可表示為x:y:z，其中第一數目x指代例如色彩分量區塊18'之大小，且兩個後續數字y及z二者指代第2及/或第3色彩分量樣本。其(亦即，y及z)均相對於第一數目,且分別界定水平及豎直取樣。具有4:4:4之信號不具有壓縮(因此其未經子取樣)，且完全傳輸第一色彩分量及其他色彩分量資料兩者，例如第2及/或第3色彩分量樣本，亦即，色度樣本。在四乘二像素陣列中，4:2:2具有4:4:4之一半色度樣本，且4:2:0及4:1:1具有四分之一色度資訊可用。4:2:2信號將在水平上具有一半取樣率，但將在豎直上維持完整取樣。另一方面，4:2:0將僅取樣第一列上之一半像素的色彩，且完全忽略樣本之第二列，且4:1:1將僅取樣第一列上之一個像素的色彩及樣本之第二列上之一個像素的色彩，亦即4:1:1信號將在水平上具有四分之一取樣率，但將在豎直上維持完整取樣。
根據一實施例，在共置經內部預測第一色彩分量區塊18
1之預測模式不為MIP模式510
1至510
m(例如為DC內部預測模式506、平面內部預測模式504或定向內部預測模式500
1-500
l)的情況下及在預定第二色彩分量區塊18
2之預測模式為直接模式的情況下，用於預測圖像之預定區塊的設備、基於區塊之解碼器及/或基於區塊之編碼器經組配以獨立於色彩取樣格式11及/或獨立於相對於每一色彩分量對圖像10之分割方案而使用共置經內部預測第一色彩分量區塊18
1之預測模式作為預定第二色彩分量區塊之預測模式，即使用單一樹狀結構或雙樹狀結構。
在DC內部預測模式506下，例如，一個值(準DC值)係基於在空間上鄰近預定區塊18之相鄰樣本17 (例如共置經內部預測第一色彩分量區塊18
1及/或預定第二色彩分量區塊18
2)而導出，且此一個DC值歸於預定區塊18之所有樣本以便獲得內部預測信號。
在平面內部預測模式504下，例如，由水平斜率、豎直斜率及偏移界定之二維線性函數係基於在空間上鄰近預定區塊18之相鄰樣本17 (例如共置經內部預測第一色彩分量區塊18
1及/或預定第二色彩分量區塊18
2)而導出，其中此線性函數界定預定區塊18之經預測樣本值。
在定向內部預測模式500
1至500
l(例如，角度內部預測模式)下，鄰近預定區塊18之參考樣本17 (例如，共置經內部預測第一色彩分量區塊18
1及/或預定第二色彩分量區塊18
2)用以填充預定區塊18以便獲得用於預定區塊18之內部預測信號。詳言之，在預定區塊18之邊界旁邊(諸如在預定區塊18之左上邊緣旁邊)配置的參考樣本17表示沿預定方向502外插或複製至預定區塊18之內部中的圖像內容。在外插或複製之前，由相鄰樣本17表示之圖像內容可能經受內插濾波，或換言之，可藉助於內插濾波自相鄰樣本17導出。角度內部預測模式500
1至500
l彼此不同之處在於內部預測方向502。每一角度內部預測模式500
1至500
l可具有與其相關聯之索引，其中索引與角度內部預測模式500
1至500
l之相關性可使得方向502在根據相關聯模式索引排序角度內部預測模式500
1至500
l時單調地順時針或逆時針旋轉。
圖13更詳細地展示取決於不同分割方案及色彩取樣格式的圖像10之預定第二色彩分量區塊182之預測。
針對圖像10a、另一圖像10b及又一圖像10c展示預測，其中針對不同圖像設定不同條件。
根據一實施例，一設備(例如，基於區塊之解碼器、基於區塊之編碼器及/或用於預測圖像之設備)包含或能夠存取分割方案之集合11'以選擇及/或獲得用於圖像10之分割方案。分割方案之集合11'包含據以相對於每一色彩分量10
1、10
2同等地分割圖像10之分割方案11'
1(即第一分割方案)及視情況選用的另一分割方案11'
2，根據該另一分割方案使用資料串流12中的第一分割資訊11'
2a相對於第一色彩分量10
1分割圖像10，且使用存在於資料串流12中的與第一分割資訊11'
2a分離的第二分割資訊11'
2b相對於第二色彩分量10
2分割圖像10。第一分割方案11'
1可表示圖像10之單一樹狀結構處理，且另一分割方11'
2可表示圖像之雙樹狀結構處理。
在另一分割方案11'
2下，第一色彩分量10
1以與第二色彩分量10
2不同之方式分割。可精細化分色彩分量10
1、10
2中之一者，且可大致劃分另一色彩分量10
1、10
2。亦有可能第二色彩分量區塊18'
21至18'
24之邊界並不位於與第一色彩分量區塊18'
11至18'
116之邊界相同的位置處。第二色彩分量區塊18'
21至18'
24之邊界可通過第一色彩分量區塊18'
11至18'
116之區塊內部，如10
2alternative中或在另一圖像10b之分割處所示。
對於圖像10a，可應用與關於圖12所描述相同的預測，其中自分割方案之集合11'選擇第一分割方案11'
1，且其中使用據以同等地取樣每一色彩分量10a
1、10a
2之色彩取樣格式。
圖13中之設備例如經組配以針對圖像10a之經內部預測第二色彩分量區塊中之每一者選擇第一選項及第二選項中之一者。根據第一選項，以如下方式基於經選擇用於共置經內部預測第一色彩分量區塊18a
1的內部預測模式導出用於各別經內部預測第二色彩分量區塊(例如，用於預定第二色彩分量區塊18a
2)之內部預測模式：使得在經選擇用於共置經內部預測第一色彩分量區塊18a
1之內部預測模式為如圖12中所示的基於矩陣的內部預測模式510
1至510
m中之一者的情況下，用於各別經內部預測第二色彩分量區塊18a
2之內部預測模式等於經選擇用於共置經內部預測第一色彩分量區塊18a
1之內部預測模式。根據第二選項，基於存在於用於各別經內部預測第二色彩分量區塊18a
2的資料串流12中的內部模式索引509而選擇用於各別經內部預測第二色彩分量區塊18a
2的內部預測模式。舉例而言，除了存在於用於共置經內部預測第一色彩分量區塊18a
1之資料串流12中的另一內部模式索引507之外，內部模式索引509亦存在於資料串流12中，用於自內部預測模式之第一集合進行選擇。
視情況，該設備經組配以使用另一分割方案11'
2將具有多於一個色彩分量10b
1、10b
2及據以同等地取樣每一色彩分量之色彩取樣格式之另一圖像10b分割成其他區塊。因此，第一色彩分量10b
1與第二色彩分量10b
2具有相同色彩取樣，但具有不同區塊大小。如圖13中所示，另一圖像10b之預定第二色彩分量其他區塊18b
2具有例如另一圖像10b之共置第一色彩分量其他區塊18b1之大小的四分之一。舉例而言，另一圖像10b係運用4:4:4色彩取樣格式進行取樣。
在使用另一分割方案11'
2之情況下，例如基於定位於區塊18b
1及18b
2兩者中之像素而判定預定第二色彩分量其他區塊18b
2之共置第一色彩分量其他區塊18b
1。根據一實施例，此像素定位於預定第二色彩分量其他區塊18b
2之左上角、右上角、左下角、右下角及/或中間。
藉由針對另一圖像10b之經內部預測第一色彩分量其他區塊中之每一者選擇內部預測模式之第一集合中之一個內部預測模式而以其他區塊為單位解碼另一圖像10b之第一色彩分量10b
1。
對於另一圖像10b之經內部預測第二色彩分量其他區塊中之每一者，可選擇第一選項及第二選項中之一者。根據該第一選項，以如下方式基於經選擇用於共置第一色彩分量其他區塊18b
1的內部預測模式導出用於各別經內部預測第二色彩分量其他區塊(例如預定第二色彩分量其他區塊18b
2)之內部預測模式：使得在經選擇用於共置第一色彩分量其他區塊18b
1之內部預測模式為基於矩陣的內部預測模式510
1至510
m中之一者的情況下，用於各別經內部預測第二色彩分量其他區塊18b
2之內部預測模式等於平面內部預測模式504。在經選擇用於共置第一色彩分量其他區塊18b
1之內部預測模式不為基於矩陣的內部預測模式510
1至510
m中之一者的情況下，例如在內部預測模式為平面內部預測模式504、DC內部預測模式506或定向內部預測模式500
1至500
l的情況下，用於各別經內部預測第二色彩分量其他區塊18b
2之內部預測模式等於經選擇用於共置第一色彩分量其他區塊18b
1之內部預測模式。根據第二選項，基於存在於用於各別經內部預測第二色彩分量其他區塊18b
2之資料串流12中的內部模式索引509
2選擇用於各別經內部預測第二色彩分量其他區塊18b
2之內部預測模式。舉例而言，除了存在於用於共置經內部預測第一色彩分量其他區塊18b
1之資料串流12中的另一內部模式索引507
2之外，內部模式索引509
2亦存在於資料串流12中，用於自內部預測模式之第一集合進行選擇。
視情況，該設備經組配以分割具有多於一個色彩分量及據以以不同方式取樣多於一個色彩分量的不同色彩取樣格式之又一圖像10c。如圖13中所示，第一色彩分量10c
1與第二色彩分量10c2以不同方式取樣。藉由樣本點指示取樣。根據圖13中所展示之實施例，根據4:2:1色彩取樣格式對又一圖像進行取樣。但顯而易見，亦可使用除4:4:4色彩取樣格式以外的其他色彩取樣格式。此對於第一分割方案11'
1之使用展示一次，且對於另一分割方案11'
2之使用展示一次。獨立於分割方案11'，可執行對又一圖像10c之以下預測。
藉由針對又一圖像10c之經內部預測第一色彩分量又其他區塊中之每一者選擇內部預測模式之第一集合中之一個內部預測模式而以又其他區塊為單位解碼又一圖像10c之第一色彩分量10c
1。
此外，該設備例如經組配以針對又一圖像10c之經內部預測第二色彩分量又其他區塊中之每一者選擇第一選項及第二選項中之一者。根據第一選項，以如下方式基於經選擇用於共置第一色彩分量又一區塊18c
1的內部預測模式導出用於各別經內部預測第二色彩分量又一區塊18c
2之內部預測模式：使得在經選擇用於共置第一色彩分量又一區塊18c
1之內部預測模式為基於矩陣的內部預測模式510
1至510
m中之一者的情況下，用於各別經內部預測第二色彩分量又一區塊18c
2之內部預測模式等於平面內部預測模式504。在經選擇用於共置第一色彩分量又一區塊18c
1之內部預測模式不為基於矩陣的內部預測模式510
1至510
m中之一者的情況下，例如在內部預測模式為平面內部預測模式504、DC內部預測模式506或定向內部預測模式500
1至500
l的情況下，用於各別經內部預測第二色彩分量又一區塊18c
2之內部預測模式等於經選擇用於共置第一色彩分量其他區塊18c
1之內部預測模式。根據第二選項，基於存在於用於各別經內部預測第二色彩分量又一區塊18c
2之資料串流中的內部模式索引509
3選擇用於各別經內部預測第二色彩分量又一區塊18c
2之內部預測模式。視情況，除了存在於用於共置經內部預測第一色彩分量又一區塊18c
1之資料串流12中的又一內部模式索引507
3之外，內部模式索引509
3亦存在於資料串流12中，用於自內部預測模式之第一集合進行選擇。
根據一實施例，若殘餘寫碼色彩變換模式經傳信以針對資料串流12中之區塊18a
2、18b
2及/或18c
2撤銷啟動(例如，撤銷啟動ACT (適應性色彩變換))，則第一選項及第二選項之選擇取決於存在於用於各別經內部預測第二色彩分量區塊18a
2、各別經內部預測第二色彩分量其他區塊18b
2及/或各別經內部預測第二色彩分量又一區塊18c
2之資料串流12中的傳信。若殘餘寫碼色彩變換模式經傳信以針對資料串流12中的區塊18a
2、18b
2及/或18c
2啟動(例如，啟動ACT (適應性色彩變換))，則無傳信係必要的。在此情況下，亦即殘餘寫碼色彩轉換模式經傳信以針對區塊18a
2、18b
2及/或18c
2啟動，例如啟動ACT (適應性色彩轉換)，設備可經組配以推斷將選擇第一選項。
舉例而言，對於在ACT用於給定區塊上的情況，推斷色度模式為DM模式，亦即第一選項。據確證，詳言之對於ACT情況，跨越所有通道之預測信號的強相關性係有益的，且若相同內部預測模式用於區塊之全部三個分量，則此相關性可增大。據確證，下文所報告之實驗結果在所提出之改變對呈RGB格式之相機擷取內容具有顯著影響的意義上支援此觀點，該影響經確證為主要設計MIP及ACT之情況的相交點。
8.3 實驗結果
在此部分中，根據4:4:4之共同測試條件報告實驗結果。在表1及表2中，分別針對AI及RA組配之與VTM-7.0錨點相比的所提出的變化報告結果。在具有Linux OS及GCC 7.2.1編譯器之Intel Xeon叢集(E5-2697A v4，AVX2打開，渦輪升壓斷開)上進行對應模擬。根據CE-8條件，對RGB及YUV報告結果。單一樹狀結構始終被啟用，此係因為為使單一樹狀結構斷開，所提出的改變並不改變位元串流。
表1.所提出的改變之RGB結果：參考為VTM-8.0錨點，測試為具有所提出的改變之VTM-8.0，AI組配。在錨點及測試中實現單一樹狀結構。
| G | R | B | 編碼時間 | 解碼時間 | |
| TGM 1080 | -0,05% | -0,05% | -0,03% | 100% | 101% |
| TGM 720 | -0,49% | -0,35% | -0,31% | 99% | 102% |
| 動畫 | -1,08% | -1,10% | -0,95% | 101% | 99% |
| 混合 | -0,81% | -0,74% | -0,65% | 98% | 99% |
| 相機擷取 | -3,30% | -0,94% | -1,34% | 95% | 98% |
| 總計 | -0,88% | -0,49% | -0,49% | 99% | 101% |
| TGM 1080 | -0,05% | -0,05% | -0,03% | 100% | 101% |
| TGM 720 | -0,49% | -0,35% | -0,31% | 99% | 102% |
表2.所提出的改變之RGB結果：參考為VTM-8.0錨點，測試為具有所提出的改變之VTM-8.0，RA組配。在錨點及測試中實現單一樹狀結構。
| G | R | B | 編碼時間 | 解碼時間 | |
| TGM 1080 | -0,03% | -0,01% | -0,03% | 100% | 100% |
| TGM 720 | -0,30% | -0,22% | -0,29% | 99% | 104% |
| 動畫 | -0,50% | -0,56% | -0,48% | 98% | 102% |
| 混合 | -0,81% | -0,63% | -0,59% | 99% | 100% |
| 相機擷取 | -1,35% | -0,46% | -0,77% | 98% | 98% |
| 總計 | -0,50% | -0,31% | -0,36% | 99% | 102% |
| TGM 1080 | -0,03% | -0,01% | -0,03% | 100% | 100% |
| TGM 720 | -0,30% | -0,22% | -0,29% | 99% | 104% |
表3.所提出的改變之YUV結果：參考為VTM-8.0錨點，測試為具有所提出的改變之VTM-8.0，AI組配。在錨點及測試中實現單一樹狀結構。
| Y | U | V | 編碼時間 | 解碼時間 | |
| TGM 1080 | -0,01% | -0,02% | -0,02% | 100% | 101% |
| TGM 720 | -0,08% | 0,01% | -0,04% | 100% | 99% |
| 動畫 | -0,19% | -0,09% | -0,19% | 100% | 101% |
| 混合 | -0,10% | -0,17% | -0,19% | 100% | 102% |
| 相機擷取 | -0,12% | -0,29% | -0,16% | 99% | 99% |
| 總計 | -0,09% | -0,09% | -0,11% | 100% | 100% |
| TGM 1080 | -0,01% | -0,02% | -0,02% | 100% | 101% |
| TGM 720 | -0,08% | 0,01% | -0,04% | 100% | 99% |
表4.所提出的改變之YUV結果：參考為VTM-8.0錨點，測試為具有所提出的改變之VTM-8.0，RA組配。在錨點及測試中實現單一樹狀結構。
8.4 結論
| Y | U | V | 編碼時間 | 解碼時間 | |
| TGM 1080 | 0,04% | 0,03% | -0,01% | 100% | 103% |
| TGM 720 | -0,03% | 0,06% | -0,08% | 100% | 98% |
| 動畫 | -0,07% | -0,15% | -0,16% | 99% | 99% |
| 混合 | -0,14% | -0,15% | -0,26% | 100% | 102% |
| 相機擷取 | -0,08% | -0,13% | -0,09% | 99% | 101% |
| 總計 | -0,05% | -0,05% | -0,11% | 100% | 100% |
| TGM 1080 | 0,04% | 0,03% | -0,01% | 100% | 103% |
| TGM 720 | -0,03% | 0,06% | -0,08% | 100% | 98% |
在本文件中，提議在4:4:4內容及單一樹狀結構之情況下針對所有三個通道啟用MIP。對於此情況，若在內部區塊上，明度分量使用MIP模式且若色度內部模式為DM模式，則提出藉由此MIP模式產生色度內部預測信號。提出將本發明文件中所描述之技術採用至VVC之下一工作草稿。
9. 參考文獻
[1] P. Helle et al., ''Non-linear weighted intra prediction'', JVET-L0199, Macao, China, October 2018.
[2] F. Bossen, J. Boyce, K. Suehring, X. Li, V. Seregin, ''JVET common test conditions and software reference configurations for SDR video'', JVET-K1010, Ljubljana, SI, July 2018.
[3] B. Bross, J. Chen, S. Liu, Y.-K. Wang, Verstatile Video Coding (Draft 7), Document JVET-P2001, Version 14 , Geneva, Switzerland, October 2019
[…] Common test conditions for 4:4:4
其他實施例及實例
一般而言，實例可實施為具有程式指令之電腦程式產品，當電腦程式產品於電腦上運行時，程式指令操作性地用於執行該等方法中之一者。程式指令可例如儲存於機器可讀媒體上。
其他實例包含用於執行本文所描述之方法中之一者、儲存於機器可讀載體上之電腦程式。
換言之，方法之實例因此為電腦程式，其具有用於在電腦程式於電腦上運行時執行本文中所描述之方法中之一者的程式指令。
方法之另一實例因此為資料載體媒體(或數位儲存媒體，或電腦可讀媒體)，其上包含、記錄用於執行本文中所描述之方法中之一者的電腦程式。資料載體媒體、數位儲存媒體或記錄媒體為有形及/或非瞬變的，而非無形及暫時性的信號。
因此，該方法之另一實例為表示用於執行本文中所描述之方法中之一者的電腦程式之資料串流或信號序列。該資料串流或信號序列可例如經由資料通訊連接，例如經由網際網路來傳送。
另一實例包含處理構件，例如電腦或可規劃邏輯裝置，其執行本文中所描述之方法中之一者。
另一實例包含電腦，該電腦具有安裝於其上的用於執行本文中所描述之方法中之一者的電腦程式。
另一實例包含將用於執行本文中所描述之方法中之一者的電腦程式傳送(例如，以電子方式或以光學方式)至接收器之設備或系統。接收器可為例如電腦、行動裝置、記憶體裝置或類似者。設備或系統可例如包含用於傳送電腦程式至接收器之檔案伺服器。
在一些實例中，可規劃邏輯裝置(例如，場可規劃閘陣列)可用以執行本文中所描述之方法的功能性中之一些或全部。在一些實例中，場可規劃閘陣列可與微處理器協作，以便執行本文中所描述之方法中之一者。一般而言，該等方法可由任何適當的硬體設備執行。
由上述討論，將可理解，本發明可以多種實施例形式體現，該等實施例包含但不限於下列：
1. 一種基於區塊之解碼器，其經組配以
使用一分割方案將具有多於一個色彩分量及據以同等地取樣每一色彩分量之一色彩取樣格式之一圖像分割成區塊，根據該分割方案，該圖像相對於每一色彩分量同等地分割，
藉由針對該圖像之經內部預測第一色彩分量區塊中之每一者選擇內部預測模式之一第一集合中之一個內部預測模式而以該等區塊為單位解碼該圖像之一第一色彩分量，該第一集合包含基於矩陣的內部預測模式，根據其中之每一者，藉由以下操作預測一區塊內部：自鄰近該區塊內部之參考樣本導出一樣本值向量；計算該樣本值向量與相關聯於各別基於矩陣的內部預測模式的一預測矩陣之間的一矩陣向量乘積以便獲得一預測向量；以及基於該預測向量預測該區塊內部中之樣本，
藉由使用針對一共置經內部預測第一色彩分量區塊選擇的該基於矩陣的內部預測模式來對該圖像之一預定第二色彩分量區塊進行內部預測而以該等區塊為單位解碼該圖像之一第二色彩分量。
2. 如實施例1之基於區塊之解碼器，其中該預測向量之分量之一數目低於該區塊內部中的樣本之一數目，且該基於區塊之解碼器經組配以
藉由基於經指派以支援該區塊內部中的樣本位置之該預測向量之該等分量內插該區塊內部中之該等樣本來基於該預測向量預測該等樣本。
3. 如實施例1或2之基於區塊之解碼器，其經組配以
針對該圖像之經內部預測第二色彩分量區塊中之每一者，選擇以下各者中之一者：
一第一選項，根據該第一選項，以如下方式基於經選擇用於一共置經內部預測第一色彩分量區塊的一內部預測模式導出用於該各別經內部預測第二色彩分量區塊之一內部預測模式：使得在經選擇用於該共置經內部預測第一色彩分量區塊之該內部預測模式為該等基於矩陣的內部預測模式中之一者的情況下，用於該各別經內部預測第二色彩分量區塊之該內部預測模式等於經選擇用於該共置經內部預測第一色彩分量區塊之該內部預測模式，及
一第二選項，根據該第二選項，基於存在於用於該各別經內部預測第二色彩分量區塊的資料串流中的一內部模式索引而選擇用於該各別經內部預測第二色彩分量區塊的一內部預測模式。
4. 如實施例1至3中任一者之基於區塊之解碼器，其經組配以使得內部預測模式之該第一集合所包含的該等基於矩陣的內部預測模式取決於該各別經內部預測第一色彩分量區塊之區塊尺寸而選擇，以便為基於矩陣的內部預測模式之彼此不相交子集之一集合中的基於矩陣的內部預測模式的一個子集。
5. 如實施例4之基於區塊之解碼器，其中與基於矩陣的內部預測模式之彼此不相交子集之該集合相關聯的預測矩陣經機器學習，由基於矩陣的內部預測模式之一個子集包含的預測矩陣具有彼此相等的大小，且由經選擇用於不同區塊大小的基於矩陣的內部預測模式之兩個子集包含的預測矩陣具有彼此不同的大小。
6. 如前述實施例中任一者之基於區塊之解碼器，其經組配以使得與由內部預測模式之該第一集合包含的基於矩陣的內部預測模式相關聯的預測矩陣具有彼此相等的大小且經機器學習。
7. 如前述實施例中任一者之基於區塊之解碼器，其經組配以使得由內部預測模式之該第一集合所包含的不同於由內部預測模式之該第一集合所包含的該等基於矩陣的內部預測模式的內部預測模式包含一DC模式、一平面模式及定向模式。
8. 如前述實施例中任一者之基於區塊之解碼器，其經組配以
自分割方案之一集合中選擇該分割方案，分割方案之該集合包含另一分割方案，根據該另一分割方案，使用資料串流中之第一分割資訊相對於該第一色彩分量分割該圖像，且使用存在於資料串流中的與該第一分割資訊分離之第二分割資訊相對於該第二色彩分量分割該圖像。
9. 如實施例8之基於區塊之解碼器，其經組配以
針對該圖像之經內部預測第二色彩分量區塊中之每一者，選擇以下各者中之一者：
一第一選項，根據該第一選項，以如下方式基於經選擇用於一共置經內部預測第一色彩分量區塊的一內部預測模式導出用於該各別經內部預測第二色彩分量區塊之一內部預測模式：使得在經選擇用於該共置經內部預測第一色彩分量區塊之該內部預測模式為該等基於矩陣的內部預測模式中之一者的情況下，用於該各別經內部預測第二色彩分量區塊之該內部預測模式等於經選擇用於該共置經內部預測第一色彩分量區塊之該內部預測模式，及
一第二選項，根據該第二選項，基於存在於用於該各別經內部預測第二色彩分量區塊的該資料串流中的一內部模式索引而選擇用於該各別經內部預測第二色彩分量區塊的一內部預測模式，
使用該另一分割方案將具有多於一個色彩分量及據以同等地取樣每一色彩分量之一色彩取樣格式的另一圖像分割成其他區塊，
藉由針對該另一圖像之經內部預測第一色彩分量其他區塊中之每一者選擇內部預測模式之該第一集合中之一個內部預測模式而以該等其他區塊為單位解碼該另一圖像之該第一色彩分量，
針對該另一圖像之經內部預測第二色彩分量其他區塊中之每一者，選擇以下各者中之一者：
該第一選項，根據該第一選項，以如下方式基於經選擇用於一共置第一色彩分量其他區塊的一內部預測模式導出用於該各別經內部預測第二色彩分量其他區塊之一內部預測模式：使得在經選擇用於該共置第一色彩分量其他區塊之該內部預測模式為該等基於矩陣的內部預測模式中之一者的情況下，用於該各別經內部預測第二色彩分量其他區塊之該內部預測模式等於一平面內部預測模式，及
該第二選項，根據該第二選項，基於存在於用於該各別經內部預測第二色彩分量其他區塊的該資料串流中的一內部模式索引而選擇用於該各別經內部預測第二色彩分量其他區塊的一內部預測模式。
10. 如前述實施例中任一者之基於區塊之解碼器，其經組配以
針對該圖像之經內部預測第二色彩分量區塊中之每一者，選擇以下各者中之一者：
一第一選項，根據該第一選項，以如下方式基於經選擇用於一共置經內部預測第一色彩分量區塊的一內部預測模式導出用於該各別經內部預測第二色彩分量區塊之一內部預測模式：使得在經選擇用於該共置經內部預測第一色彩分量區塊之該內部預測模式為該等基於矩陣的內部預測模式中之一者的情況下，用於該各別經內部預測第二色彩分量區塊之該內部預測模式等於經選擇用於該共置經內部預測第一色彩分量區塊之該內部預測模式，及
一第二選項，根據該第二選項，基於存在於用於該各別經內部預測第二色彩分量區塊的該資料串流中的一內部模式索引而選擇用於該各別經內部預測第二色彩分量區塊的一內部預測模式，
分割具有多於一個色彩分量及據以以不同方式取樣該多於一個色彩分量之一不同色彩取樣格式的又一圖像，
藉由針對該又一圖像之經內部預測第一色彩分量又其他區塊中之每一者選擇內部預測模式之該第一集合中之一個內部預測模式而以該等又其他區塊為單位解碼該又一圖像之該第一色彩分量，
針對該又一圖像之經內部預測第二色彩分量又其他區塊中之每一者，選擇以下各者中之一者：
該第一選項，根據該第一選項，以如下方式基於經選擇用於一共置第一色彩分量又一區塊的一內部預測模式導出用於該各別經內部預測第二色彩分量又一區塊之一內部預測模式：使得在經選擇用於該共置第一色彩分量又一區塊之該內部預測模式為該等基於矩陣的內部預測模式中之一者的情況下，用於該各別經內部預測第二色彩分量又一區塊之該內部預測模式等於一平面內部預測模式，及
該第二選項，根據該第二選項，基於存在於用於該各別經內部預測第二色彩分量又一區塊的該資料串流中的一內部模式索引而選擇用於該各別經內部預測第二色彩分量又一區塊的一內部預測模式。
11. 如實施例10之基於區塊之解碼器，其經組配以
自分割方案之一集合中選擇該分割方案，分割方案之該集合包含另一分割方案，根據該另一分割方案，使用資料串流中之第一分割資訊相對於該第一色彩分量分割該圖像，且使用存在於資料串流中的與該第一分割資訊分離之第二分割資訊相對於該第二色彩分量分割該圖像；
使用該分割方案或該另一分割方案分割具有多於一個色彩分量之該又一圖像。
12. 如實施例3至11之基於區塊之解碼器，其經組配以
若一殘餘寫碼色彩變換模式經傳信以針對該資料串流中之該各別經內部預測第二色彩分量區塊撤銷啟動，則取決於存在於用於該各別經內部預測第二色彩分量區塊之該資料串流中的一傳信而執行該第一選項及該第二選項之該選擇，且若該殘餘寫碼色彩變換模式經傳信以針對該資料串流中之該各別經內部預測第二色彩分量區塊啟動，則推斷將選擇該第一選項。
13. 一種基於區塊之編碼器，其經組配以
使用一分割方案將具有多於一個色彩分量及據以同等地取樣每一色彩分量之一色彩取樣格式之一圖像分割成區塊，根據該分割方案，該圖像相對於每一色彩分量同等地分割，
藉由針對該圖像之經內部預測第一色彩分量區塊中之每一者選擇內部預測模式之一第一集合中之一個內部預測模式而以該等區塊為單位將該圖像之一第一色彩分量編碼為一資料串流，該第一集合包含基於矩陣的內部預測模式，根據其中之每一者，藉由以下操作預測一區塊內部：自鄰近該區塊內部之參考樣本導出一樣本值向量；計算該樣本值向量與相關聯於各別基於矩陣的內部預測模式的一預測矩陣之間的一矩陣向量乘積以便獲得一預測向量；以及基於該預測向量預測該區塊內部中之樣本，
藉由使用針對一共置經內部預測第一色彩分量區塊選擇的該基於矩陣的內部預測模式來對該圖像之一預定第二色彩分量區塊進行內部預測而以該等區塊為單位編碼該圖像之一第二色彩分量。
14. 如實施例13之基於區塊之編碼器，其中該預測向量之分量之一數目低於該區塊內部中的樣本之一數目，且該基於區塊之編碼器經組配以
藉由基於經指派以支援該區塊內部中的樣本位置之該預測向量之該等分量內插該區塊內部中之該等樣本來基於該預測向量預測該等樣本。
15. 如實施例13或14之基於區塊之編碼器，其經組配以
針對該圖像之經內部預測第二色彩分量區塊中之每一者，選擇以下各者中之一者：
一第一選項，根據該第一選項，以如下方式基於經選擇用於一共置經內部預測第一色彩分量區塊的一內部預測模式導出用於該各別經內部預測第二色彩分量區塊之一內部預測模式：使得在經選擇用於該共置經內部預測第一色彩分量區塊之該內部預測模式為該等基於矩陣的內部預測模式中之一者的情況下，用於該各別經內部預測第二色彩分量區塊之該內部預測模式等於經選擇用於該共置經內部預測第一色彩分量區塊之該內部預測模式，及
一第二選項，根據該第二選項，基於在用於該各別經內部預測第二色彩分量區塊的該資料串流中傳信的一內部模式索引而選擇用於該各別經內部預測第二色彩分量區塊的一內部預測模式。
16. 如實施例13至15中任一者之基於區塊之編碼器，其經組配以使得內部預測模式之該第一集合所包含的該等基於矩陣的內部預測模式取決於該各別經內部預測第一色彩分量區塊之區塊尺寸而選擇，以便為基於矩陣的內部預測模式之彼此不相交子集之一集合中的基於矩陣的內部預測模式的一個子集。
17. 如實施例16之基於區塊之編碼器，其中與基於矩陣的內部預測模式之彼此不相交子集之該集合相關聯的預測矩陣經機器學習，由基於矩陣的內部預測模式之一個子集包含的預測矩陣具有彼此相等的大小，且由經選擇用於不同區塊大小的基於矩陣的內部預測模式之兩個子集包含的預測矩陣具有彼此不同的大小。
18. 如前述實施例中任一者之基於區塊之編碼器，其經組配以使得與由內部預測模式之該第一集合包含的基於矩陣的內部預測模式相關聯的預測矩陣具有彼此相等的大小且經機器學習。
19. 如前述實施例中任一者之基於區塊之編碼器，其經組配以使得由內部預測模式之該第一集合所包含的不同於由內部預測模式之該第一集合所包含的該等基於矩陣的內部預測模式的內部預測模式包含一DC模式、一平面模式及定向模式。
20. 如前述實施例中任一者之基於區塊之編碼器，其經組配以
自分割方案之一集合中選擇該分割方案，分割方案之該集合包含另一分割方案，根據該另一分割方案，使用資料串流中之第一分割資訊相對於該第一色彩分量分割該圖像，且使用在資料串流中傳信的與該第一分割資訊分離之第二分割資訊相對於該第二色彩分量分割該圖像。
21. 如實施例20之基於區塊之編碼器，其經組配以
針對該圖像之經內部預測第二色彩分量區塊中之每一者，選擇以下各者中之一者：
一第一選項，根據該第一選項，以如下方式基於經選擇用於一共置經內部預測第一色彩分量區塊的一內部預測模式導出用於該各別經內部預測第二色彩分量區塊之一內部預測模式：使得在經選擇用於該共置經內部預測第一色彩分量區塊之該內部預測模式為該等基於矩陣的內部預測模式中之一者的情況下，用於該各別經內部預測第二色彩分量區塊之該內部預測模式等於經選擇用於該共置經內部預測第一色彩分量區塊之該內部預測模式，及
一第二選項，根據該第二選項，基於在用於該各別經內部預測第二色彩分量區塊的該資料串流中傳信的一內部模式索引而選擇用於該各別經內部預測第二色彩分量區塊的一內部預測模式；
使用該另一分割方案將具有多於一個色彩分量及據以同等地取樣每一色彩分量之一色彩取樣格式的另一圖像分割成其他區塊，
藉由針對該另一圖像之經內部預測第一色彩分量其他區塊中之每一者選擇內部預測模式之該第一集合中之一個內部預測模式而以該等其他區塊為單位編碼該另一圖像之該第一色彩分量，
針對該另一圖像之經內部預測第二色彩分量其他區塊中之每一者，選擇以下各者中之一者：
該第一選項，根據該第一選項，以如下方式基於經選擇用於一共置第一色彩分量其他區塊的一內部預測模式導出用於該各別經內部預測第二色彩分量其他區塊之一內部預測模式：使得在經選擇用於該共置第一色彩分量其他區塊之該內部預測模式為該等基於矩陣的內部預測模式中之一者的情況下，用於該各別經內部預測第二色彩分量其他區塊之該內部預測模式等於一平面內部預測模式，及
該第二選項，根據該第二選項，基於在用於該各別經內部預測第二色彩分量其他區塊的該資料串流中傳信的一內部模式索引而選擇用於該各別經內部預測第二色彩分量其他區塊的一內部預測模式。
22. 如前述實施例中任一者之基於區塊之編碼器，其經組配以
針對該圖像之經內部預測第二色彩分量區塊中之每一者，選擇以下各者中之一者：
一第一選項，根據該第一選項，以如下方式基於經選擇用於一共置經內部預測第一色彩分量區塊的一內部預測模式導出用於該各別經內部預測第二色彩分量區塊之一內部預測模式：使得在經選擇用於該共置經內部預測第一色彩分量區塊之該內部預測模式為該等基於矩陣的內部預測模式中之一者的情況下，用於該各別經內部預測第二色彩分量區塊之該內部預測模式等於經選擇用於該共置經內部預測第一色彩分量區塊之該內部預測模式，及
一第二選項，根據該第二選項，基於在用於該各別經內部預測第二色彩分量區塊的該資料串流中傳信的一內部模式索引而選擇用於該各別經內部預測第二色彩分量區塊的一內部預測模式，
分割具有多於一個色彩分量及據以以不同方式取樣該多於一個色彩分量之一不同色彩取樣格式的又一圖像，
藉由針對該又一圖像之經內部預測第一色彩分量又其他區塊中之每一者選擇內部預測模式之該第一集合中之一個內部預測模式而以該等又其他區塊為單位編碼該又一圖像之該第一色彩分量，
針對該又一圖像之經內部預測第二色彩分量又其他區塊中之每一者，選擇以下各者中之一者：
該第一選項，根據該第一選項，以如下方式基於經選擇用於一共置第一色彩分量又一區塊的一內部預測模式導出用於該各別經內部預測第二色彩分量又一區塊之一內部預測模式：使得在經選擇用於該共置第一色彩分量又一區塊之該內部預測模式為該等基於矩陣的內部預測模式中之一者的情況下，用於該各別經內部預測第二色彩分量又一區塊之該內部預測模式等於一平面內部預測模式，及
該第二選項，根據該第二選項，基於在用於該各別經內部預測第二色彩分量又一區塊的該資料串流中傳信的一內部模式索引而選擇用於該各別經內部預測第二色彩分量又一區塊的一內部預測模式。
23. 如實施例22之基於區塊之編碼器，其經組配以
自分割方案之一集合中選擇該分割方案，分割方案之該集合包含另一分割方案，根據該另一分割方案，使用在一資料串流中傳信之第一分割資訊相對於該第一色彩分量分割該圖像，且使用在該資料串流中傳信的與該第一分割資訊分離之第二分割資訊相對於該第二色彩分量分割該圖像；
使用該分割方案或該另一分割方案分割具有多於一個色彩分量之該又一圖像。
24. 如實施例15至23之基於區塊之編碼器，其經組配以
若一殘餘寫碼色彩變換模式經傳信以針對該資料串流中之該各別經內部預測第二色彩分量區塊撤銷啟動，則取決於用於該各別經內部預測第二色彩分量區塊之該資料串流中的一傳信而執行該第一選項及該第二選項之該選擇，且若該殘餘寫碼色彩變換模式經傳信以針對該資料串流中之該各別經內部預測第二色彩分量區塊啟動，則推斷將選擇該第一選項。
25. 一種用於基於區塊之解碼的方法，其包含
使用一分割方案將具有多於一個色彩分量及據以同等地取樣每一色彩分量之一色彩取樣格式之一圖像分割成區塊，根據該分割方案，該圖像相對於每一色彩分量同等地分割，
藉由針對該圖像之經內部預測第一色彩分量區塊中之每一者選擇內部預測模式之一第一集合中之一個內部預測模式而以該等區塊為單位解碼該圖像之一第一色彩分量，該第一集合包含基於矩陣的內部預測模式，根據其中之每一者，藉由以下操作預測一區塊內部：自鄰近該區塊內部之參考樣本導出一樣本值向量；計算該樣本值向量與相關聯於各別基於矩陣的內部預測模式的一預測矩陣之間的一矩陣向量乘積以便獲得一預測向量；以及基於該預測向量預測該區塊內部中之樣本，
藉由使用針對一共置經內部預測第一色彩分量區塊選擇的該基於矩陣的內部預測模式來對該圖像之一預定第二色彩分量區塊進行內部預測而以該等區塊為單位解碼該圖像之一第二色彩分量。
26. 一種用於基於區塊之編碼的方法，其包含
使用一分割方案將具有多於一個色彩分量及據以同等地取樣每一色彩分量之一色彩取樣格式之一圖像分割成區塊，根據該分割方案，該圖像相對於每一色彩分量同等地分割，
藉由針對該圖像之經內部預測第一色彩分量區塊中之每一者選擇內部預測模式之一第一集合中之一個內部預測模式而以該等區塊為單位將該圖像之一第一色彩分量編碼為一資料串流，該第一集合包含基於矩陣的內部預測模式，根據其中之每一者，藉由以下操作預測一區塊內部：自鄰近該區塊內部之參考樣本導出一樣本值向量；計算該樣本值向量與相關聯於各別基於矩陣的內部預測模式的一預測矩陣之間的一矩陣向量乘積以便獲得一預測向量；以及基於該預測向量預測該區塊內部中之樣本，
藉由使用針對一共置經內部預測第一色彩分量區塊選擇的該基於矩陣的內部預測模式來對該圖像之一預定第二色彩分量區塊進行內部預測而以該等區塊為單位編碼該圖像之一第二色彩分量。
27. 一種資料串流，其具有使用一如實施例26之方法編碼成該資料串流之一圖像。
28. 一種具有一程式碼之電腦程式，該程式碼在一電腦上運行時用於執行一如實施例25或26之方法。
上文所描述之實例僅說明上文所論述之原理。應理解，本文中所描述之配置及細節之修改及變化將為顯而易見的。因此，其意欲由接下來之申請專利範圍的範疇限制，而非由藉助於本文中實例之描述及解釋所呈現的特定細節限制。
即使具有相同或等效功能性之相同或等效的一或多個元件出現於不同圖式中，以下描述中仍藉由相同或等效參考數字來表示該一或多個元件。
10,10a,10b,10c:圖像
10
1:第一色彩分量
10
2:第二色彩分量
10a
1,10a
2,10b
1,10b
2,10c
1,10c
2:色彩分量
11:色彩取樣格式
11',11'
1,11'
2,11'
2a,11'
2b:分割方案
12:資料串流
14:編碼器
16:視訊
17,17a,17b,17c,17M,18,18b
1,18b
2,18c
1,18c
2:區塊
17'a,17'b,17'c:部分
17P:第一向量
18a,18c:邊界
18
1,18
2,18'
11,18'
11b,18'
12,18'
15,18'
1n,18a
1:第一色彩分量區塊
18'
21,18'
22,18'
23,18'
24,18'
25,18'
2n,18a
2:第二色彩分量區塊
18Q:第二向量
19:仿射線性(ALWIP)變換
20:寫碼次序
22:減法器
24:預測信號
26:預測殘餘
28a:有損編碼級
28b:無損編碼級
30:量化器
32:變換級
34:經量化預測殘餘信號
36,36':預測殘差重構級
38,38':反量化器
40,40':反變換器
42,42':加法器
44,44':預測器
46,46':迴路內濾波器
54:解碼器
56:熵解碼器
100:減少取樣
102,108,108',118,118',118'',119:樣本
104:樣本值
106,109:方案
110
1,110
2,110
3,110
4,120:群組
112:預定樣本
122:平均化
156:殘餘提供器
400,514:樣本值向量
402:另一向量
403:可逆線性轉換
405:預定預測矩陣
406,518:預測向量
407,512,1310:矩陣向量乘積
408:另一偏移
409:向量
410:經縮減向量
412:第i
0行
414:權重
500
1:定向模式
502:預定方向
506:DC內部預測模式
507,507
2,507
3,509,509
2,509
3:內部模式索引
508:第一集合
510
1,510
m:內部預測模式
516:預測矩陣
811,812,813:步驟
1100:矩陣A
1200:矩陣B
1300:整數矩陣
1400:預定值
1500:預定分量
圖式未必按比例繪製，實際上重點一般放在說明本發明之原理上。在以下描述中，參考以下圖式描述本發明之各種實施例，在圖式中：
圖1展示編碼成資料串流之實施例；
圖2展示編碼器之實施例；
圖3展示圖像之重構之實施例；
圖4展示解碼器之實施例；
圖5展示根據一實施例的用於編碼及/或解碼之區塊的預測之示意圖；
圖6展示根據一實施例的用於編碼及/或解碼之區塊的預測之矩陣運算；
圖7.1展示根據一實施例的具有經減小樣本值向量之區塊的預測；
圖7.2展示根據一實施例的使用樣本之內插的區塊之預測；
圖7.3展示根據一實施例之具有經減小樣本值向量之區塊的預測，其中僅平均化一些邊界樣本；
圖7.4展示根據一實施例的具有經減小樣本值向量之區塊的預測，其中平均化四個邊界樣本之群組；
圖8展示根據一實施例的由設備執行之矩陣運算；
圖9a至圖9c展示根據一實施例的由設備執行之詳細矩陣運算；
圖10展示根據一實施例的由設備使用偏移及縮放參數執行之詳細矩陣運算；
圖11展示根據不同實施例的由設備使用偏移及縮放參數執行之詳細矩陣運算；
圖12展示圖像之預定第二色彩分量區塊之預測的實施例；以及
圖13展示圖像之預定第二色彩分量區塊之不同預測的實施例。
10:圖像
101:第一色彩分量
102:第二色彩分量
11:色彩取樣格式
11':分割方案
17,17a,17c,18:區塊
181,182,18'11,18'12,18'15,18'1n:第一色彩分量區塊
18'21,18'22,18'25,18'2n:第二色彩分量區塊
5001:定向模式
502:預定方向
506:DC內部預測模式
508:第一集合
5101,510m:內部預測模式
512:矩陣向量乘積
514:樣本值向量
516:預測矩陣
518:預測向量
Claims (20)
- 一種用以從一資料串流解碼一圖像(10)之方法，該圖像(10)包含一明度分量(10 1)及一色度分量(10 2)，該方法包含： 使用由傳信於該資料串流中之一索引指示的一第一基於矩陣之內部預測(MIP)模式來解碼該明度分量(10 1)之一第一區塊，其中基於該第一區塊之多個頂部及左方相鄰樣本的一向量係乘以對應於該第一MIP模式之一矩陣以預測該第一區塊； 決定是否使用一4:4:4色彩取樣格式； 決定是否使用一單一樹來分割該明度分量(10 1)及該色度分量(10 2)之一寫碼樹節點； 響應於決定使用該4:4:4色彩取樣格式及該單一樹，選擇用以解碼與該第一區塊共置之該色度分量(10 2)之一第二區塊的一內部預測模式為該第一MIP模式；以及 響應於決定不使用該4:4:4色彩取樣格式及該單一樹中之至少一者，選擇用以解碼該第二區塊的該內部預測模式為一平面內部預測模式。
- 如請求項1之方法，進一步包含取決於該第一區塊之尺寸而從三個可能的MIP模式集合當中決定一MIP模式集合。
- 如請求項2之方法，進一步包含藉由從該資料串流解碼該第一MIP模式來從該MIP模式集合中決定該第一MIP模式。
- 如請求項2之方法，其中該等三個可能的MIP模式集合包含尺寸為16之一第一集合、尺寸為8之一第二集合及尺寸為6之一第三集合。
- 如請求項1之方法，其中該向量係基於對該等頂部及左方相鄰樣本降取樣。
- 一種用以從一資料串流解碼一圖像(10)之解碼器，該圖像(10)包含一明度分量(10 1)及一色度分量(10 2)，該解碼器經組配以： 使用一第一基於矩陣之內部預測(MIP)模式傳信於該資料串流中之一索引來解碼該明度分量(10 1)之一第一區塊，其中基於該第一區塊之多個頂部及左方相鄰樣本的一向量係乘以對應於該第一MIP模式之一矩陣以預測該第一區塊； 決定是否使用一4:4:4色彩取樣格式； 決定是否使用一單一樹來分割該明度分量(10 1)及該色度分量(10 2)之一寫碼樹節點； 響應於決定使用該4:4:4色彩取樣格式及該單一樹，選擇用以解碼與該第一區塊共置之該色度分量(10 2)之一第二區塊的一內部預測模式為該第一MIP模式；以及 響應於決定不使用該4:4:4色彩取樣格式及該單一樹中之至少一者，選擇用以解碼該第二區塊的該內部預測模式為一平面內部預測模式。
- 如請求項6之解碼器，進一步包含取決於該第一區塊之尺寸而從三個可能的MIP模式集合當中決定一MIP模式集合。
- 如請求項7之解碼器，進一步包含藉由從該資料串流解碼該第一MIP模式來從該MIP模式集合中決定該第一MIP模式。
- 如請求項7之解碼器，其中該等三個可能的MIP模式集合包含尺寸為16之一第一集合、尺寸為8之一第二集合及尺寸為6之一第三集合。
- 如請求項6之解碼器，其中該向量係基於對該等頂部及左方相鄰樣本降取樣。
- 一種用以將一圖像(10)編碼為一資料串流之方法，該圖像(10)包含一明度分量(10 1)及一色度分量(10 2)，該方法包含： 使用根據傳信於該資料串流中之一索引的一第一基於矩陣之內部預測(MIP)模式來編碼該明度分量(10 1)之一第一區塊，其中基於該第一區塊之多個頂部及左方相鄰樣本的一向量係乘以對應於該第一MIP模式之一矩陣以預測該第一區塊； 決定是否使用一4:4:4色彩取樣格式； 決定是否使用一單一樹來分割該明度分量(10 1)及該色度分量(10 2)之一寫碼樹節點； 基於使用該4:4:4色彩取樣格式及該單一樹的一決定，選擇用以編碼與該第一區塊共置之該色度分量(10 2)之一第二區塊的一內部預測模式為該第一MIP模式；以及 基於不使用該4:4:4色彩取樣格式及該單一樹中之至少一者的一決定，選擇用以編碼該第二區塊的該內部預測模式為一平面內部預測模式。
- 如請求項11之方法，進一步包含取決於該第一區塊之尺寸而從三個可能的MIP模式集合當中決定一MIP模式集合。
- 如請求項12之方法，進一步包含將該第一MIP模式編碼到該資料串流中。
- 如請求項12之方法，其中該等三個可能的MIP模式集合包含尺寸為16之一第一集合、尺寸為8之一第二集合及尺寸為6之一第三集合。
- 如請求項11之方法，其中該向量係基於對該等頂部及左方相鄰樣本降取樣。
- 一種用以將一圖像(10)編碼為一資料串流之編碼器，該圖像(10)包含一明度分量(10 1)及一色度分量(10 2)，該編碼器經組配以： 使用根據傳信於該資料串流中之一索引的一第一基於矩陣之內部預測(MIP)模式來編碼該明度分量(10 1)之一第一區塊，其中基於該第一區塊之多個頂部及左方相鄰樣本的一向量係乘以對應於該第一MIP模式之一矩陣以預測該第一區塊； 決定是否使用一4:4:4色彩取樣格式； 決定是否使用一單一樹來分割該明度分量(10 1)及該色度分量(10 2)之一寫碼樹節點； 基於使用該4:4:4色彩取樣格式及該單一樹的一決定，選擇用以編碼與該第一區塊共置之該色度分量(10 2)之一第二區塊的一內部預測模式為該第一MIP模式；以及 基於不使用該4:4:4色彩取樣格式及該單一樹中之至少一者的一決定，選擇用以編碼該第二區塊的該內部預測模式為一平面內部預測模式。
- 如請求項16之編碼器，進一步包含取決於該第一區塊之尺寸而從三個可能的MIP模式集合當中決定一MIP模式集合。
- 如請求項17之編碼器，進一步包含將該第一MIP模式編碼到該資料串流中。
- 如請求項17之編碼器，其中該等三個可能的MIP模式集合包含尺寸為16之一第一集合、尺寸為8之一第二集合及尺寸為6之一第三集合。
- 如請求項16之編碼器，其中該向量係基於對該等頂部及左方相鄰樣本降取樣。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20167808.3 | 2020-04-02 | ||
| EP20167808 | 2020-04-02 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TW202332274A true TW202332274A (zh) | 2023-08-01 |
Family
ID=70277139
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW112112042A TW202332274A (zh) | 2020-04-02 | 2021-04-01 | 在4:4:4色度格式及單一樹狀結構情況下針對所有通道之基於矩陣的內部預測技術 |
| TW110112211A TWI800812B (zh) | 2020-04-02 | 2021-04-01 | 在4:4:4色度格式及單一樹狀結構情況下針對所有通道之基於矩陣的內部預測技術 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110112211A TWI800812B (zh) | 2020-04-02 | 2021-04-01 | 在4:4:4色度格式及單一樹狀結構情況下針對所有通道之基於矩陣的內部預測技術 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20230188720A1 (zh) |
| EP (1) | EP4128754A1 (zh) |
| JP (1) | JP7538243B2 (zh) |
| KR (1) | KR20220161439A (zh) |
| CN (1) | CN115516854A (zh) |
| TW (2) | TW202332274A (zh) |
| WO (1) | WO2021198402A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118741109A (zh) * | 2019-08-06 | 2024-10-01 | 现代自动车株式会社 | 用于视频数据的帧内预测编码的方法和装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080170793A1 (en) * | 2007-01-12 | 2008-07-17 | Mitsubishi Electric Corporation | Image encoding device and image encoding method |
| JP5475409B2 (ja) | 2009-11-20 | 2014-04-16 | 三菱電機株式会社 | 動画像符号化装置および動画像符号化方法 |
| US9462272B2 (en) * | 2010-12-13 | 2016-10-04 | Electronics And Telecommunications Research Institute | Intra prediction method and apparatus |
| BR112015025113B1 (pt) | 2013-04-05 | 2023-03-21 | Mitsubishi Electric Corporation | Dispositivo de decodificação de imagem a cores, e, método de decodificação de imagem a cores |
| CN114339227B (zh) * | 2016-05-04 | 2024-04-12 | 夏普株式会社 | 用于对变换数据进行编码的系统和方法 |
| CN113545089B (zh) * | 2019-03-06 | 2024-07-02 | 韩国电子通信研究院 | 图像编码/解码方法和设备以及存储比特流的记录介质 |
| CN118741109A (zh) | 2019-08-06 | 2024-10-01 | 现代自动车株式会社 | 用于视频数据的帧内预测编码的方法和装置 |
| CN110708559B (zh) | 2019-09-03 | 2022-03-25 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置及存储介质 |
-
2021
- 2021-04-01 WO PCT/EP2021/058558 patent/WO2021198402A1/en active Application Filing
- 2021-04-01 JP JP2022559426A patent/JP7538243B2/ja active Active
- 2021-04-01 EP EP21715894.8A patent/EP4128754A1/en active Pending
- 2021-04-01 TW TW112112042A patent/TW202332274A/zh unknown
- 2021-04-01 CN CN202180027434.9A patent/CN115516854A/zh active Pending
- 2021-04-01 TW TW110112211A patent/TWI800812B/zh active
- 2021-04-01 US US17/916,574 patent/US20230188720A1/en active Pending
- 2021-04-01 KR KR1020227037835A patent/KR20220161439A/ko active Search and Examination
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023519945A (ja) | 2023-05-15 |
| TW202139704A (zh) | 2021-10-16 |
| JP7538243B2 (ja) | 2024-08-21 |
| WO2021198402A1 (en) | 2021-10-07 |
| US20230188720A1 (en) | 2023-06-15 |
| CN115516854A (zh) | 2022-12-23 |
| TWI800812B (zh) | 2023-05-01 |
| EP4128754A1 (en) | 2023-02-08 |
| KR20220161439A (ko) | 2022-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI815272B (zh) | 使用具有鄰近取樣縮減的線性或仿射變換的內預測 | |
| TWI816439B (zh) | 以區塊為基礎之預測技術 | |
| JP7477538B2 (ja) | 行列ベースのイントラ予測および二次変換を使用したコーディング | |
| WO2012087034A2 (ko) | 화면 내 예측 방법 및 이러한 방법을 사용하는 장치 | |
| KR20200004467A (ko) | 휘도 샘플을 이용한 색차 블록의 화면 내 예측 방법 및 이러한 방법을 사용하는 장치 | |
| US11622107B2 (en) | Unequal weight planar motion vector derivation | |
| TWI727826B (zh) | 使用內預測之寫碼技術 | |
| TW202332274A (zh) | 在4:4:4色度格式及單一樹狀結構情況下針對所有通道之基於矩陣的內部預測技術 | |
| KR102038818B1 (ko) | 화면 내 예측 방법 및 이러한 방법을 사용하는 장치 |